python爬虫爬取电影数据代码
时间: 2024-09-19 15:10:30 浏览: 120
在Python中编写爬虫获取电影数据,我们可以使用一些流行库如`requests`用于发送HTTP请求,`BeautifulSoup`或`lxml`处理HTML内容,以及`pandas`存储数据。这里是一个基本的示例,展示如何从一个网站抓取电影名称和链接:
```python
import requests
from bs4 import BeautifulSoup
# 目标网页URL
url = "https://www.example.com/movie-list"
# 发送GET请求
response = requests.get(url)
# 检查请求是否成功
if response.status_code == 200:
# 解析HTML内容
soup = BeautifulSoup(response.text, 'html.parser')
# 找到电影列表元素,这通常由class或id标识
movie_elements = soup.find_all('div', class_='movie-item')
# 存储数据结构,例如字典或列表
movies_data = []
for element in movie_elements:
title = element.find('h2').text
link = element.find('a')['href']
movies_data.append({'title': title, 'link': link})
# 使用pandas将数据转换成DataFrame并保存
import pandas as pd
df_movies = pd.DataFrame(movies_data)
df_movies.to_csv('movies.csv', index=False)
else:
print(f"Failed to fetch data with status code {response.status_code}")
阅读全文
相关推荐


















