
网络爬虫
嘘……一只bug
逆风的方向更适合飞翔,我不怕千万人阻挡只怕自己投降
——五月天《倔强》
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Windows环境下Pycharm进行Scrapy框架的安装
什么是scrapy?爬虫中封装好的一个明星框架。功能:高性能的持久化存储,异步的数据下载,高性能的数据解析环境的安装mac或者linux:pip install scrapywindows环境下安装比较繁琐一点,需要先安装几个scrapy依赖的库先安装wheel库pip install wheel2.下载twisted库,下载地址为https://www.lfd.uci.edu/~gohlke/pythonlibs/ #这是一个非常实用的python包网站,里面的py原创 2021-01-26 10:42:30 · 457 阅读 · 2 评论 -
爬虫过程中获取网页标签内的中文乱码的解决方法
第一种方法手动设置响应数据的编码格式response=requests.get()response.encoding='utf-8'第二种方法如果第一种方法还是不能解决问题的话,这个是通用处理中文乱码的解决方案name-tree.xpath()[0]name.encode('iso-8859-1').decode('gbk')...原创 2021-01-23 22:27:06 · 329 阅读 · 0 评论