scrapy框架爬取的数据存到MySQL中步骤和代码scrapy项目名称是GAME MYSQL 中的库是game_db表是games

要在scrapy框架中将爬取的数据存储到MySQL数据库中，可以按照以下步骤进行： 1. **安装必要的库**： 首先，确保你已经安装了`scrapy`和`pymysql`库。如果没有安装，可以使用以下命令进行安装： ```bash pip install scrapy pymysql ``` 2. **创建Scrapy项目**： 如果还没有创建Scrapy项目，可以使用以下命令创建一个名为`GAME`的项目： ```bash scrapy startproject GAME ``` 3. **配置数据库连接**： 在`GAME/settings.py`文件中，添加数据库连接的配置信息： ```python # GAME/settings.py import pymysql pymysql.install_as_MySQLdb() DATABASES = { 'default': { 'ENGINE': 'django.db.backends.mysql', 'NAME': 'game_db', 'USER': 'your_username', 'PASSWORD': 'your_password', 'HOST': 'localhost', 'PORT': '3306', } } ``` 4. **创建数据模型**： 在`GAME/game/models.py`文件中，定义一个数据模型来映射MySQL中的`games`表： ```python # GAME/game/models.py from django.db import models class Game(models.Model): title = models.CharField(max_length=255) platform = models.CharField(max_length=100) release_date = models.DateField() def __str__(self): return self.title ``` 5. **编写爬虫**： 在`GAME/game/spiders`目录下创建一个新的爬虫文件，例如`game_spider.py`： ```python # GAME/game/spiders/game_spider.py import scrapy from game.models import Game class GameSpider(scrapy.Spider): name = 'game_spider' start_urls = ['http://example.com/games'] def parse(self, response): for game in response.css('div.game'): title = game.css('h2::text').get() platform = game.css('span.platform::text').get() release_date = game.css('span.release_date::text').get() yield Game( title=title, platform=platform, release_date=release_date ) ``` 6. **运行爬虫并存储数据**： 在项目根目录下运行以下命令来启动爬虫，并将数据存储到MySQL数据库中： ```bash scrapy crawl game_spider ``` 7. **迁移数据库**： 如果你使用的是Django，可以通过以下命令进行数据库迁移： ```bash python manage.py makemigrations python manage.py migrate ``` 通过以上步骤，你可以将Scrapy爬取的数据存储到MySQL数据库中的`games`表中。