Python爬取肖申克的救赎相关信息
时间: 2023-08-27 07:59:35 浏览: 171
好的,以下是一个简单的Python爬虫示例代码,可以爬取与《肖申克的救赎》相关的信息:
```python
import requests
from bs4 import BeautifulSoup
# 发送请求获取网页内容
url = 'https://www.baidu.com/s?wd=%E8%82%96%E7%94%B3%E5%85%8B%E7%9A%84%E6%95%91%E8%B5%8E'
response = requests.get(url)
# 解析网页内容
soup = BeautifulSoup(response.text, 'html.parser')
# 查找与肖申克的救赎相关的信息
results = soup.find_all('a', text='肖申克的救赎')
# 输出结果
for result in results:
print(result['href'])
```
这个示例代码使用了requests库发送请求,使用BeautifulSoup库解析网页内容,并查找与《肖申克的救赎》相关的信息。你可以根据自己的需求修改代码,例如,可以将搜索引擎改为豆瓣、知乎等,以获取更加详细的信息。
相关问题
爬虫爬取豆瓣肖申克救赎影评代码完整
使用Python编写一个简单的爬虫来抓取豆瓣电影《肖申克的救赎》的影评需要几个步骤,这里提供一个基础示例,我们假设使用requests和BeautifulSoup库来进行网络请求和HTML解析。请注意,实际的网页结构可能会有所变化,所以这只是一个大概的框架,可能需要根据实际情况调整。
```python
import requests
from bs4 import BeautifulSoup
# 目标URL,这里是一个示例,通常需要替换为你获取数据的实际URL
url = "https://movie.douban.com/subject/1292052/" # 豆瓣电影详情页链接
def get_reviews(url):
response = requests.get(url)
soup = BeautifulSoup(response.text, 'lxml')
# 查找评论区域的HTML标签,这可能因网站更新而改变
reviews_container = soup.find('div', {'class': 'comment-thread'})
if reviews_container is not None:
for review in reviews_container.find_all('span', {'class': 'short'}): # 这里假设每个评论都在一个'span'元素中
title = review.find('a').text # 用户名
content = review.text.strip() # 评论内容
print(f"用户名:{title}\n评论内容:{content}\n--")
else:
print("未找到评论区或评论已关闭")
get_reviews(url)
```
python爬取豆瓣影评
好的,可以使用 Python 中的 requests 和 BeautifulSoup 库来实现这个功能。
首先,需要用 requests 库发送 HTTP 请求获取网页内容。可以使用如下代码:
```python
import requests
url = "https://movie.douban.com/subject/1292052/comments?start=0&limit=20&sort=new_score&status=P"
response = requests.get(url)
html = response.text
```
这里以电影《肖申克的救赎》为例,获取该电影的影评页面。这个页面的 URL 中包含了几个参数,如 start、limit 和 sort 等,可以根据需要进行修改。
接下来,可以使用 BeautifulSoup 库解析 HTML 页面,提取需要的信息。可以使用如下代码:
```python
from bs4 import BeautifulSoup
soup = BeautifulSoup(html, "html.parser")
comments = soup.find_all("span", class_="short")
for comment in comments:
print(comment.text)
```
这里使用了 find_all 方法查找所有 class 属性为 "short" 的 span 标签,即影评内容所在的标签。然后使用 text 属性获取标签中的文本内容,并输出到控制台。
这样就可以实现简单的豆瓣影评爬取功能了。当然,在实际应用中需要注意一些法律和道德规范,避免侵犯他人的权益。
阅读全文
相关推荐















