music163-spiders：开源网易云音乐爬虫-CSDN博客

本文链接：https://blog.csdn.net/gitblog_00124/article/details/148322748

music163-spiders：开源网易云音乐爬虫

music163-spiders 网易云音乐歌曲评论爬虫项目地址: https://gitcode.com/gh_mirrors/mu/music163-spiders

在数字化时代，音乐已经成为了人们生活中不可或缺的一部分。作为国内最受欢迎的音乐平台之一，网易云音乐以其丰富的曲库、个性化的推荐算法以及便捷的社交功能赢得了大量用户的喜爱。然而，有时候我们可能需要从网易云音乐获取一些特定的数据，比如歌手的id号、热门歌曲的id号、歌曲的评论等等，这些数据可能无法直接从网站上获取。这时候，我们就需要用到网易云音乐爬虫——music163-spiders。

项目介绍

music163-spiders 是一个开源的网易云音乐爬虫项目，旨在帮助用户爬取网易云音乐上的各种数据。该项目提供了多个功能模块，包括获取全部歌手的id号、通过歌手id号爬取全部歌手的每一首热门歌曲的id号、爬取全部歌手的每一首热门歌曲的全部评论以及制作网易云音乐歌手粉丝地域分布热力图等。

项目技术分析

music163-spiders 使用了多种技术来实现其功能。在获取歌手id号时，由于网易云音乐使用了内联框架，需要使用 selenium 的 switch_to_frame() 方法来切换到子网页中，才能获取到需要的内容。在爬取热门歌曲id号时，可以使用两种方法：一种方法是使用 selenium 爬取嵌在iframe里面的子页面；另一种方法是直接爬取嵌在iframe里面的子页面。在爬取歌曲评论时，由于网易云音乐的歌曲评论是通过Ajax进行加载的，并且加载过程还对参数进行了js混淆加密，因此需要分析出加密过程，然后使用 Python 进行相应的加密得到对应的参数，利用得到的加密参数发起带 data 的 post 请求即可获得含有歌曲评论的 json 格式的数据。在制作热力图时，需要先获取歌手全部的粉丝信息，然后通过粉丝的id号，爬取粉丝个人主页中的地理位置信息，最后使用百度地图开放平台的 API 将位置转换为经纬度，并生成热力图。