爬取网页scrapy案例很少有人使用

### Scrapy爬取网页的少见案例与不常用场景 #### 1. 爬取并解析嵌套的 JSON 数据 在某些场景下，目标网站可能返回多层嵌套的 JSON 数据。以下是一个示例，展示如何递归解析嵌套的 JSON 数据[^3]： ```python import scrapy import json class NestedJsonSpider(scrapy.Spider): name = 'nested_json_spider' start_urls = ['https://example.com/api/nested'] def parse(self, response): data = json.loads(response.text) def extract_nested(data): if isinstance(data, dict): for key, value in data.items(): if isinstance(value, (dict, list)): yield from extract_nested(value) else: yield {key: value} elif isinstance(data, list): for item in data: yield from extract_nested(item) for item in extract_nested(data): yield item ``` #### 2. 使用 Scrapy 爬取 WebSocket 数据流 尽管 Scrapy 本身并不直接支持 WebSocket 协议，但可以通过结合 `websockets` 库实现对实时数据流的爬取[^4]： ```python import asyncio import websockets async def fetch_websocket_data(): uri = "wss://example.com/socket" async with websockets.connect(uri) as websocket: while True: data = await websocket.recv() process_data(data) def process_data(data): # 处理接收到的数据 print(data) # 在 Scrapy 中调用异步任务 class WebSocketSpider(scrapy.Spider): name = 'websocket_spider' def __init__(self, *args, **kwargs): super().__init__(*args, **kwargs) self.loop = asyncio.get_event_loop() self.loop.run_until_complete(fetch_websocket_data()) ``` #### 3. 爬取动态生成的 SVG 图像内容 对于一些使用 SVG 动态生成图像的页面，可以通过解析 SVG 元素提取所需信息[^5]： ```python import scrapy class SvgSpider(scrapy.Spider): name = 'svg_spider' start_urls = ['https://example.com/svg-page'] def parse(self, response): for svg in response.css('svg'): title = svg.css('title::text').get() paths = svg.css('path::attr(d)').getall() yield { 'title': title, 'paths': paths } ``` #### 4. 使用 Scrapy 实现文件下载与处理 除了图片外，Scrapy 还可以用于下载 PDF、Excel 等文件，并通过第三方库进行进一步处理[^6]： ```python import scrapy from PyPDF2 import PdfReader class FileDownloadSpider(scrapy.Spider): name = 'file_download_spider' start_urls = ['https://example.com/files'] def parse(self, response): for file_url in response.css('a[href$=".pdf"]::attr(href)').getall(): yield scrapy.Request(url=file_url, callback=self.parse_pdf) def parse_pdf(self, response): reader = PdfReader(response.body) text = ''.join(page.extract_text() for page in reader.pages) yield {'content': text} ``` #### 5. 结合机器学习模型进行数据预处理 在爬取大量文本数据后，可以结合机器学习模型（如分词工具 `jieba`）对数据进行预处理和分析[^7]： ```python import scrapy import jieba class TextProcessingSpider(scrapy.Spider): name = 'text_processing_spider' start_urls = ['https://example.com/text-data'] def parse(self, response): content = response.css('div.content::text').get() words = jieba.lcut(content) yield {'words': words} ``` ### 注意事项 在使用上述方法时，需确保遵守目标网站的爬虫协议，并合理设置请求频率以避免对服务器造成过大压力。