利用scrapy框架爬取酷狗音乐TOP500歌曲信息，并存储到文本文件里实验实验收获

利用Scrapy框架爬取酷狗音乐Top500歌曲信息并将其存储到文本文件是一个Python爬虫项目的基本实践。首先，你需要了解以下几个步骤： 1. **安装Scrapy**：确保你已经安装了Scrapy库，如果还没有，可以使用`pip install scrapy`命令来安装。 2. **创建Spider**：编写一个新的Scrapy Spider，这是负责抓取数据的核心部分。需要定义起始URL、解析规则以及下载处理函数。 ```python # 首先导入必要的模块 from scrapy.spiders import CrawlSpider, Rule from scrapy.linkextractors import LinkExtractor from scrapy.http import Request class KugouMusicSpider(CrawlSpider): name = 'kugou_music' allowed_domains = ['kuwo.cn'] start_urls = ['https://www.kuwo.cn/top500'] # 酷狗音乐Top500页面地址 rules = ( Rule(LinkExtractor(restrict_css=['//a[@class="song-item-title"]']), callback='parse_item', follow=True), ) def parse_item(self, response): song_info = { 'title': response.css('h3 a::text').get(), # 歌曲标题 'artist': response.css('.artist::text').get(), # 歌手名 # ... 可能还包括其他如专辑、链接等信息，需根据网页结构提取 } yield {'歌单': song_info} # 将数据yield出去，Scrapy会自动保存到文件或数据库 ``` 3. **设置下载和保存**：配置Scrapy将爬取的数据写入文件，例如使用JsonLinesItemExporter： ```python from scrapy.exporters import JsonLinesItemExporter def spider_closed(spider, reason): if not hasattr(spider, 'item_exporter'): return with open('songs.jsonl', 'w') as f: for item in spider.item_exporter.file_iter(): f.write(item + '\n') ``` 4. **运行爬虫**：通过命令行运行`scrapy crawl kugou_music`启动爬虫，它会在指定目录下生成`songs.jsonl`这样的文件。 实验收获包括： - 理解了Scrapy的工作原理，如何定义Spider、提取和处理HTML数据。 - 掌握了基本的网络请求、数据解析和数据持久化技巧。 - 学习了如何针对网站结构调整爬虫规则。 - 实践了在实际场景中使用Scrapy解决信息获取的问题。