python爬虫环境搭建(windows)

本文介绍如何安装Python2.7并配置环境变量,安装必要的第三方库,选择合适的代码编辑器PyCharm,以及MongoDB的安装与设置为Windows服务的方法。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

 
一、下载安装python2.7并配置环境变量(64位)
1、下载安装:
1)进入python官网,下载python2.7 网址: https://www.python.org/

 

 2)点击安装包,运行

3)选择自己的安装目录

4)一路按照提示进行即可

2、配置环境变量

1)打开系统高级设置,找到系统变量path,在后面加上自己python的安装路径,注意确保安装路径前加上了英文的 ; 

2)测试安装是否成功

打开cmd命令,输入python,显示python版本即可

 

3、下载安装
在python安装目录中找到 python.exe,双击运行

3)下载以下插件

     beautifulsoup
     requests
     lxml    
     pymongo
     scrapy
在打开的 python.exe面板中一个个键入以下内容
pip install BeautifulSoup4
pip install requests
pip install lxml
pip install pymongo
pip install scrapy

  

4)注意:python2.7应该是默认安装了pip,如果以上提示不存在pip命令,则安装pip
安装pip步骤:
选择下载

下载在任意一个文件夹,但是建议在python下新建一个文件夹存放并解压

在CMD进入存放解压后的pip目录

键入

python setup.py install

 安装好了以后,配置环境变量

同样在path中添加

 D://python/Scripts

注意,Scripts前是你自己python的安装目录,并且注意要和前面的有英文的 ; 分隔

二、下载代码编辑器pyCharm
2、点击下载

 

3、选择下载社区版

 

4、选择自己的路径安装好,打开后选择自己python安装目录即可
三、安装MongoDB
1、下载地址:

http://pan.baidu.com/s/1pKQZDaV

 

2、新建一个文件夹(最好是名为mongoDB)

  1)然后将下载的zip文件解压到新建的文件夹,如(d:\mongodb)

    2) 然后创建数据库文件存放位置,如(d:/mongodb/data/db)

  3)打开cmd(windows键+r输入cmd)命令行,进入D:\mongodb\bin目录(先输入 d: 进入d盘;然后输入 cd d:\mongodb\bin),

  4)输入如下的命令启动mongodb服务:

  D:/mongodb/bin>mongod --dbpath D:\mongodb\data\db

 

  5)打开浏览器(建议安装谷歌浏览器chrome)

  输入http://localhost:27017,显示以下则成功

3、设置mongoDB为Windows服务,每次开机自动启动,减少麻烦

1)d:\mongodb\data下新建文件夹log

2)在新建的文件夹log中新建文件mongodb.log

3)在d:\mongodb新建文件mongo.config

4)用记事本打开mongo.config输入:(要具体看自己的文件路径,建议完全和本教程一致)

  dbpath=D:\mongodb\data\db

  logpath=D:\mongodb\data\log\mongo.log 

5)用管理员身份打开cmd命令行,进入D:\mongodb\bin目录,输入如下的命令:

  D:\mongodb\bin>mongod --config D:\mongodb\mongo.config 

  有人提醒改为如下:

  mongod --config D:\mongodb\mongo.config --install --serviceName "MongoDB"

  
  如图结果存放在日志文件中,查看日志发现已经成功。如果失败有可能没有使用管理员身份,遭到拒绝访问。

  

 

6)打开cmd输入services.msc查看服务可以看到MongoDB服务,点击可以启动

 

2)安装mongoDB可视化工具mongoVUE
下载地址: https://pan.baidu.com/s/1o6SWnW2 (或者自己百度上面找,都有的)
注:在此以给定地址(https://pan.baidu.com/s/1o6SWnW2)来说明安装破解
下载后一路安装,注意下图

一路安装即可,下面说明怎么破解

将解压zip下“破解补丁”文件夹中的“MongoVUE.exe”文件替换到安装文件目录下,如下图:

 

至此破解完毕

3)下面是连接数据库

打开mongovue

 

连接完毕

 

 

 

 

 

 


 

 

转载于:https://www.cnblogs.com/qz18/p/6879554.html

Python爬虫环境搭建通常涉及以下几个步骤: 1. **选择Python版本**:Python 3.x是主要版本,尤其是Python 3.6及以上,因为它们支持最新的爬虫库。 2. **安装Python**:如果你还没安装,可以从Python官网下载按照指示安装。 3. **安装基础库**: - `requests`:用于发送HTTP请求,获取网页内容。 - `BeautifulSoup`或`lxml`:解析HTML或XML文档。 - `urllib`或`http`:更底层的网络处理。 - `fake_useragent`:模拟浏览器用户代理,防止网站识别为爬虫。 4. **安装第三方库**(如使用Selenium进行动态内容抓取): - `selenium` `webdriver_manager` 或对应浏览器的驱动(ChromeDriver、FirefoxDriver等)。 5. **设置环境变量**(如ChromeDriver路径): - Windows: `os.environ['PATH']` - Linux/macOS: `export PATH` 6. **编码编写脚本**: - 使用你喜欢的文本编辑器(如Visual Studio Code, PyCharm)创建Python文件。 - 写入代码,例如使用`requests.get()`获取页面,然后用`BeautifulSoup`解析内容。 7. **异常处理**:确保代码能处理可能的网络错误、解析错误等。 8. **调试运行**:使用`python`命令行执行脚本,或者在集开发环境(IDE)中运行。 9. **遵守网站规则**:爬虫应遵循Robots协议,且尊重网站的反爬虫策略,避免对服务器造过大的压力。 **相关问题--:** 1. Python爬虫具体是用哪个模块发送HTTP请求的? 2. 如何在Python中处理HTML解析? 3. 当遇到需要验证码的情况,如何解决?
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值