python爬虫

最新推荐文章于 2025-05-23 08:35:29 发布

Knigh_art

最新推荐文章于 2025-05-23 08:35:29 发布

阅读量248

点赞数

CC 4.0 BY-SA版权

本文链接：https://blog.csdn.net/qq_40955914/article/details/81088555

本文介绍了一种使用Python从豆瓣网站爬取特定电影海报的方法。通过读取本地文件中的电影名称，构造搜索URL并利用requests和lxml.etree库抓取页面上的海报图片链接，最后下载并保存海报到指定目录。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

import time
import os

from lxml import etree
import requests
import os

headers = {
            'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.84 Safari/537.36'
        }
openfile = os.path.dirname(os.path.abspath("__file__")) + "\\movies.dat"
with open("C:\\Users\\10693\\Documents\\Tencent Files\\1069300778\\FileRecv\\111.txt", "r") as f:
    while True:
        rs=f.read()
        #print(rs)
        if  rs:
            break
    
#print(rs)
de=rs.split('::')
for i in range(0,len(de)):
    if i%3==0:
       print(de[i])
       url = 'https://www.douban.com/search?cat=1002&q='+de[i]
       n=de[i]
       request =requests.get(url=url,headers=headers)
       res=etree.HTML(request.content).xpath("//div/div/a/img/@src")
       #print(res)
       #tt=res[0].split(".")
       #print(n)
       mm=i/3+1
       if len(res)==0:
           continue
       with open("D:\\BaiduNetdiskDownload\\"+str(mm)+str(n) + ".jpg", "wb") as f:
                print("保存第{0}张".format(i/3+1))
                url1=res[0]
                f.write((requests.get(url=url1, headers=headers)).content)
                f.close()

爬取文件了指定电影名称的海报