万字博文教你爬虫必备 -＞ Selenium【详解篇】（上）

Python爬虫使用Selenium可以模拟浏览器交互，而requests则更侧重于HTTP请求。如果你想从酷狗音乐网站获取飙升榜的信息，通常需要结合两者。以下是简要步骤： 1. 安装必要的库： - Selenium（用于浏览器自动化） - requests（用于发送HTTP请求） - ChromeDriver（如果使用Chrome作为Selenium的浏览器驱动） ```bash pip install selenium pip install requests ``` 2. 使用Selenium启动浏览器并导航到酷狗音乐： ```python from selenium import webdriver # 创建一个新的Chrome浏览器实例 driver = webdriver.Chrome() # 打开酷狗音乐的飙升榜页面 url = "https://www.kugou.com/ranking/song/" driver.get(url) ``` 3. 等待页面加载完成，找到相关的HTML元素（这一步可能依赖具体的网页结构，需要分析DOM）。这里假设排行榜信息在JavaScript渲染后隐藏在某个特定的div里。 4. 使用`BeautifulSoup`或`lxml`解析HTML内容，提取歌手、歌名和时长等信息。如果你打算直接使用Selenium的`find_element_by_*`方法，记得处理可能出现的异常，并等待元素加载完毕。 ```python from bs4 import BeautifulSoup import time # 获取页面源码并解析 html = driver.page_source soup = BeautifulSoup(html, 'lxml') # 查找元素并提取数据 song_list = soup.find_all('div', class_='song-item') # 假设这个类名包含所需信息 songs = [] for song in song_list: singer = song.find('span', class_='artist').text # 歌手名称 title = song.find('a', class_='title').text # 歌曲标题 duration = song.find('span', class_='duration').text # 时长 songs.append({ 'singer': singer, 'title': title, 'duration': duration }) # 添加时间等待，让页面充分渲染 time.sleep(3) # 关闭浏览器 driver.quit() ``` 请注意，实际操作可能会因为网站结构的变化而有所不同。同时，频繁抓取网站数据可能违反服务条款，所以在编写爬虫之前，请确保了解并遵守目标网站的robots.txt文件以及使用条款。