Python爬虫——xpath

(๑• . •๑)框

于 2020-02-16 23:09:00 发布

阅读量138

点赞数

CC 4.0 BY-SA版权

分类专栏： python爬虫

本文链接：https://blog.csdn.net/weixin_45051787/article/details/104350854

python爬虫专栏收录该内容

34 篇文章

订阅专栏

本文介绍了一种利用Python的Requests库和lxml库中的XPath语法抓取网页数据的方法，具体展示了如何从百度新闻首页获取标题和链接等信息。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

import  requests
from lxml import  etree
url = "https://news.baidu.com"
headers = {
     "User-Agent":"Opera/9.80 (Windows NT 6.1; U; en) Presto/2.8.131 Version/11.11"}
data = requests.get(url,headers=headers).content.decode()
#xpath语法 1、节点/
#          2、  跨界点//
#          3、找精确的节点//a[@属性=“属性值”]
#          4、标签包裹的内容text（）
#          5、属性：@href
#          6、xpath返回列表
#转解析类型
html_new=data.replace(r'<!--','"').replace(r'-->','"')
xpath_data = etree.HTML(data)
#调用xpath的方法
with open("11.html","w")as f:
     f.write(data)

result = xpath_data.xpath('/html/head/title/text()')
result = xpath_data.xpath("//a/text()")
result1 = xpath_data.xpath('//a[@data-path="s?wd="]/text()')
#result = xpath_data.xpath('//a[@mon="target=appLink"]/@href')


print(result1)