weixin_56097064的博客

在分析网页前，需要明白爬取的数据是什么，由于b站的视频跟音频是分开存放的，所以我们需要分别找到视频和音频的url，然后在对其发起请求将视频和音频保存至本地；最后将两者合并在一起，才能形成完整的视频文件。

根据王者荣耀，将王者荣耀的全部英雄的全部皮肤图片爬取保存到本地。

本文主要是记录了爬虫过程中的三种反反爬方法，主要是添加user-agent、使用ip代理、使用cookie。user-agent可以使用python第三方库fake-useragent随机获取，ip代理可以在网上找免费的或者付费的ip代理（可参考快代理 - 企业级HTTP代理IP云服务_专注IP代理11年），cookie可以自己登入账号后获取也可以写程序通过模拟登入后通过get_cookies()获得并保存为文件，之后在读取文件获取该cookie继续登入。

Selenium是一个用于自动化测试的工具，它可以模拟用户在浏览器中的各种操作。除了用于爬虫，Selenium还可以用于测试，尤其是在处理动态加载页面时非常有用。本文将提供一个超级详细的Selenium教程，以帮助您快速入门并了解其各种功能和用法。

利用python爬取CSDN指定文章并保存为HTML、PDF、MD三种格式

爬取JavaScript动态加载数据

线程池（Thread Pool）是一种多线程管理技术，它创建了一个线程的集合（池），这些线程可以重复使用，而不是每次需要时都创建和销毁。线程池的主要目的是减少在创建和销毁线程时所产生的性能开销。资源优化：通过重用线程，减少了线程创建和销毁的开销。控制并发：限制同时运行的线程数量，避免系统过载。提高响应速度：线程池中的线程可以立即执行新任务，而不需要等待线程创建。更好的系统稳定性：通过控制线程数量，避免过多的线程竞争系统资源。进程（Process）是计算机中的一个术语，指的是一个正在执行的程序的实例。

【代码】Python爬虫——小白篇。

是一种用于在XML文档中进行选择节点的查询语言。它被设计用来在XML文档中进行遍历，支持模式匹配。XPath是W3C（万维网联盟）推荐的标准，广泛应用于XML和HTML文档的解析中。注：获取销量和好评不到，尚未解决。

1.1、简要介绍：是一个用于解析HTML和XML文档的Python库。它能够从网页中提取数据，并且可以处理不规范的标记，主要的方法有find_all()find_all()

一、正则表达式1、正则表达式基本知识1、概念：正则表达式（Regular Expression，简称regex或regexp）是一种文本模式描述的工具，它使用单个字符串来描述、匹配一系列符合某个句法规则的字符串。正则表达式的应用非常广泛，包括但不限于文本编辑器查找和替换、编程语言中的字符串处理、日志分析、数据验证等2、规则：2、基于re的方法练习2.1、re的基本方法（findall、finditer、match、search、compile）import re# f

简要介绍：HTTP（超文本传输协议，HyperText Transfer Protocol）是一种用于分布式、协作式、超媒体信息系统的通信协议。它是万维网（World Wide Web）上应用最广泛的协议之一，用于在网络中传输超文本数据。以下是HTTP协议的一些基本要点：1. 请求-响应模型：HTTP协议是基于请求-响应模型的，客户端（如浏览器）向服务器发送请求，服务器处理请求后返回响应。2. 无状态协议：HTTP协议本身是无状态的，这意味着每个请求都是独立的，服务器不会保存任何关于前一个请求的信息。