python 使用xpath requests下载.txt文件

marc_chen

于 2022-07-03 17:19:41 发布

阅读量576

点赞数 2

CC 4.0 BY-SA版权

分类专栏： python 文章标签： python 开发语言

本文链接：https://blog.csdn.net/marc_chen/article/details/125586742

python 专栏收录该内容

27 篇文章

订阅专栏

这篇博客介绍了如何在Python中结合requests库和XPath解析技术来下载.txt文本文件，重点在于请求过程中字符串到文件的转换，即通过encode()方法实现。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

使用xpath requests下载.txt文件
注意：requests获取的str格式，如果需要.txt文件则需要encode()

import requests
from lxml import etree
"""
利用requets xpath下载对应文件
"""
url = "https://www.openvswitch.org/support/dist-docs/"

#获取url
resp = requests.get(url)   #使用requests访问网页，由于此处网页没有中文，所以不用encoding
et = etree.HTML(resp.text)  #将获取到的网页内容提供给et,将得到一个element对象
links = et.xpath("//td/a[3]/@href")   #td标签下的a标签的第3个值的href属性
#拼接url
for link in links:
    new_url = url + link
    #下载文档,并保存
    data = requests.get(new_url).text.encode()    #得到的数据是str；.txt文档需要用encode();否则会提示TypeError: a bytes-like object is required, not 'str
    with open(link,mode="wb") as f:   #使用link变量作为文件名，直接保存
        f.write(data)