2401_87633706的博客

以上就是python使用openpyxl模块保存Excel数据的简单操作。

本文是针对bs4方法使用的简单介绍。

print(tree.xpath('/html')) # [html标签对象]最左侧的斜杠：xpath表达式一定要从根标签开始匹配标签非最左侧的斜杠：一个层级 html的儿子title// 最左侧的双斜杠：从html中直接提取到标题（不管title是属于谁的儿子）非最左侧的// 代表后代（儿子，孙子，重孙子....）标签注意特殊情况：有时候参照浏览器的元素面板找标签可以正确找到，但是python通过xpath表达式找不到。

字典--通过json.dumps()-》转化为json字符串json字符串--通过json.loads()-》转化为字典。

使用：请求某个数据，cookie是必须要加的伪装直接cookie放到请求头先requests请求登录/主页 获取响应的cookie requests请求目标url 传入cookie先session请求登录/主页 再session请求目标url。

本文主要是针对python中的post请求传参方式的简单介绍使用。

如果从目标url的响应中看到数据格式长得像python中的列表或者字典，可以使用.json的方法获取。分页从0开始，每页显示20条数据，下一页的start值加20。使用input函数可以在控制台中输入内容。params:get请求参数的字典。headers:请求伪装（请求头）得到的数据类型就一定是字符串类型。'keyword': '长沙','cname': '长沙',修改url中kw的参数的值。

注意伪装有中文乱码的话，可以自动获取响应内容的编码进行设置。

注意伪分布式得到数据之后进行保存，文件名不能重复。

数据库编程是在应用程序中与数据库交互和管理数据的关键部分。MySQL是一种流行的关系型数据库管理系统（RDBMS），在Python中进行MySQL数据库编程相对容易二、使用步骤1.细节完善代码如下（示例）：2.实例代码如下（示例）：

scrapy中有两个中间件下载中间件DownloaderMiddleware：位于引擎和下载器中间爬虫中间件SpiderMiddleware：位于引擎和爬虫中间，一般不用下载中间件的作用是用来篡改请求和响应，比如篡改请求：加一些请求头，加代理等等，篡改响应就是更改响应的内容注意settings中也要开启中间件才可以DOWNLOADER_MIDDLEWARES={#开启中间件"scrapy4.middlewares.Scrapy4DownloaderMiddleware":

代码如下（示例）：# 获取parse方法传递过来的item对象# 获取所有详情车型的数据# 定义一个列表，保存单辆车的详情页数据# 车型名称# 车型：名称，价格yield itemitems.py文件里的内容同一个item在两个方法中需要通过meta参数传递。

使用方式：CrawlSpider类：定义了一些规则来做跟进爬取，从爬取的页面中获取链接并且进行爬虫scrapy genspider -t crawl 爬虫名 爬虫域名。

运行scrapy crawl zzsc。

提示：这里对文章进行总结：例如：以上就是今天要讲的内容，本文仅仅简单介绍了pandas的使用，而pandas提供了大量能使我们快速便捷地处理数据的函数和方法。t=O83AChromeDriver下载安装-CSDN博客https://blog.csdn.net/a1053765496/article/details/140723456。

推荐的方式： 单线程+多个任务 当程序中遇到阻塞时，cpu会切换到其它软件工作，不会等待着处理。我们希望在遇到阻塞的时候，cpu可以还继续 帮我们执 行其它的任务处理方案：协程：当程序遇见了阻塞操作的时候，可以选择性的切换到其它任务上。

DrissionPage 是一个基于 python 的网页自动化工具。它既能控制浏览器，也能收发数据包，还能把两者合而为一。可兼顾浏览器自动化的便利性和 requests 的高效率。它功能强大，内置无数人性化设计和便捷功能。它的语法简洁而优雅，代码量少，对新手友好。提示：先安装 pip install drissionpage自动化爬虫之drissionpage学习注意点：等待时间懒加载处理方法。

安装pip install scrapy查看安装列表pip list得到的信息（版本可能不兼容）Scrapy 2.9.0Twisted-23.8.0scrapy因为scrapy是异步框架，为什么是异步框架，是因为用了Twisted如果使用scrapy2.9.0 会有兼容问题需要手动降版本先卸载 pip uninstall Twisted （可以省略）再安装 pip install Twisted==22.10.01，通过终端命令创建 scrapy startp

代码如下（示例）：注意：.get（） 要带小括号，四种方式都要带小括号