Python爬虫之windows10安装scrapy

Python爬虫之windows10安装scrapy

一、scrapy的配置

第一次写博客，既可以分享学习，也可以记录下自己学习时遇到的问题，如果日后再需要也方便自己使用，当做补充，上网搜了好多类似的分享，总算可以弄成功了。有点小紧张，嘻嘻，加油，希望对我们学习都用帮助！（我的是win10 64位，如果不是可以搜索相关的设置，我没有尝试，我在已经装好Python3.5版本下，如果没有安装Python，请先安装Python再进行下面
可以参考：https://www.cnblogs.com/Alier/p/6362652.html）

1、配置lxml模块

国内源参考：https://www.cnblogs.com/sunnydou/p/5801760.html

	pip install lxml -i http://mirrors.aliyun.com/pypi/simple/

2、配置cryptography模块

	pip install cryptography -i http://mirrors.aliyun.com/pypi/simple/

3、配置pywin32模块

	pip install pywin32 -i http://mirrors.aliyun.com/pypi/simple/

4、 配置setuptools模块

	pip install  setuptools -i http://mirrors.aliyun.com/pypi/simple/

5、 配置Twisted模块

这个我当时需要下载安装，出现报错缺VC++ 14.0解决措施，类似：https://blog.csdn.net/weixin_42117682/article/details/81412257

你可以先尝试安装试试：

	pip install Twisted -i http://mirrors.aliyun.com/pypi/simple/

报错再去下载网址：https://www.lfd.uci.edu/~gohlke/pythonlibs/

6、配置pyOpenSSL模块

	pip install pyOpenSSL -i http://mirrors.aliyun.com/pypi/simple/

7、配置scrapy模块

	pip install scrapy -i http://mirrors.aliyun.com/pypi/simple/

剩下就可以去爬取网站测试了！！！

参考学习博客链接：

1、超简单Windows安装Scrapy (仅需一步)
https://www.cnblogs.com/lfoder/p/6565088.html
2、Twisted-18.7.0-cp37-cp37m-win_amd64.whl下载，以及安装Scrapy时，报错缺VC++ 14.0解决措施
https://blog.csdn.net/weixin_42117682/article/details/81412257
3、下载Twisted网址
https://www.lfd.uci.edu/~gohlke/pythonlibs/
4、安装下载的Twisted
https://www.cnblogs.com/zfquan/p/8093297.html