VirtualBox CentOS7.7 搭建Python3.8 Scrapy开发环境图文教程

本教程详细阐述了如何在VirtualBox虚拟环境中使用CentOS 7.7.1908操作系统和Python 3.8版本搭建Scrapy爬虫开发环境。通过图文教程的方式，适合初学者参考。 首先，我们需要安装VirtualBox v6.0.14，这是一款虚拟机软件，它允许我们在Windows主机上运行CentOS操作系统。CentOS 7.1908是Linux发行版，提供了一个稳定的基础来构建开发环境。Python 3.8.0是Python编程语言的最新稳定版本，对于Scrapy框架的支持非常完善。 在安装CentOS时，我们推荐配置两个虚拟网卡，确保虚拟机与宿主机之间的双向通信。第一个网卡应设置为"NAT"模式，使虚拟机能够访问外部网络和宿主机。第二个网卡设置为"桥接网卡"模式，以便宿主机可以直接访问虚拟机。在CentOS安装过程中，请确保两块网卡都被启用。安装完成后，使用`ip addr`命令检查网卡的IP地址信息。 如果发现某个网卡的IP信息缺失，可能是因为系统安装时未启用该网卡。此时，你需要在`/etc/sysconfig/network-scripts/ifcfg-enp0s3`和`/etc/sysconfig/network-scripts/ifcfg-enp0s8`文件中将`ONBOOT`参数设置为`yes`，然后重启网络服务，如`systemctl start network.service`或`service network restart`。 CentOS安装完成后，默认已经启用了SSH服务，这对于从宿主机远程连接到虚拟机非常重要。为了允许SSH连接，你需要通过防火墙命令`firewall-cmd --zone=public --add-port=22/tcp --permanent`永久开启22端口。 接下来，我们将安装Python 3.8。由于系统自带Python 2.7.5，但本教程将专注于Python 3环境。避免使用pyenv导致的问题，我们选择手动编译安装Python 3.8。安装完成后，使用pip v19.3.1安装Scrapy和其他必要的依赖库。MongoDB v3.2.22作为数据库支持，用于存储Scrapy爬取的数据。 在PyCharm（推荐使用企业版，但社区版也可用于开发）中设置远程解释器，连接到虚拟机上的Python 3.8环境，这样就可以在Windows环境下使用强大的IDE进行Scrapy项目的开发和调试。 本教程详细地指导了如何配置一个完整的Scrapy开发环境，包括虚拟机的设置、网络配置、Python环境的搭建以及开发工具的连接。通过遵循这些步骤，开发者可以在一个隔离且稳定的环境中开始他们的Scrapy项目。