通过django运行scrapy

### 整合 Django 和 Scrapy 实现网页抓取 在现代 Python Web 开发中，Django 是一个流行的全栈框架，而 Scrapy 则专注于高效的数据提取。两者结合能够创建强大的数据采集应用。 #### 创建 Django 项目并配置环境 首先，在目标环境中安装必要的包： ```bash pip install django scrapy ``` 接着初始化一个新的 Django 项目以及应用程序： ```bash django-admin startproject myproject cd myproject python manage.py startapp scraper_app ``` 确保 `scraper_app` 已经被加入到项目的设置文件 (`settings.py`) 中的应用列表里。 #### 构建 Scrapy 爬虫 在同一目录下建立新的 Scrapy 项目结构而不是默认位置，以便更好地管理依赖关系和服务发现路径： ```bash scrapy startproject crawler . ``` 调整 `crawler/settings.py` 来指定自定义项存储管道，并引入 Django 设置模块： ```python import os import sys sys.path.append(os.path.join(os.path.dirname(__file__), "..")) os.environ['DJANGO_SETTINGS_MODULE'] = 'myproject.settings' # 导入 Django 模型和其他资源前必须执行此操作 import django django.setup() ITEM_PIPELINES = { 'crawler.pipelines.CrawlerPipeline': 300, } ``` #### 设计爬虫逻辑与模型交互 编写具体的 Spider 类来描述要访问的目标网站及其解析规则；同时设计 Pipeline 处理函数用于保存获取的信息至数据库表单内。由于 Scrapy 默认运行于异步模式之下，当涉及到同步 API 如 Django ORM 查询时，则需借助 Twisted 提供的帮助方法——即通过装饰器 `@sync_to_async` 将其转换成协程形式[^1]。 下面给出一段简单的例子说明如何利用上述技术完成从页面读取新闻标题的任务并将它们存入对应的记录之中： ```python from twisted.internet import defer, threads from asgiref.sync import sync_to_async class CrawlerPipeline: @defer.inlineCallbacks def process_item(self, item, spider): yield threads.deferToThread( self._process_item_sync, item=item, spider=spider ) def _process_item_sync(self, item, spider): model_instance = MyModel(title=item.get('title')) # 使用 sync_to_async 调用同步的 Django ORM 方法 loop = asyncio.new_event_loop() asyncio.set_event_loop(loop) result = loop.run_until_complete(sync_to_async(model_instance.save)()) return item ``` 这里假设存在名为 `MyModel` 的 Django 数据库映射类负责持久化所收集的内容片段。