python scrapy中的xpath和css选择器

解忧杂货铺Q

已于 2022-05-16 11:43:34 修改

阅读量282

点赞数

CC 4.0 BY-SA版权

分类专栏：爬虫文章标签： xpath css python

于 2021-02-03 15:12:54 首次发布

本文链接：https://blog.csdn.net/qq_26003101/article/details/113606559

爬虫专栏收录该内容

10 篇文章

订阅专栏

本文介绍了一个使用Python Scrapy框架实现的简单天气爬虫案例。该爬虫针对The Weather Channel网站，抓取了每日天气预报信息，并通过解析网页结构获取具体数据。此示例有助于理解Scrapy的基本用法及如何解析HTML。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

import scrapy

class ShSpider(scrapy.Spider):
  name = 'sh'
  start_urls = [
    'https://weather.com/zh-CN/weather/today/l/7f14186934f484d567841e8646abc61b81cce4d88470d519beeb5e115c9b425a']

  def parse(self, response):
    # 每日预报
    for li in response.css('div.DailyWeatherCard--TableWrapper--12r1N ul li'):
      yield {
        "name": li.css('a>h3>span::text').get(),
        "text": li.xpath('a/h3/span/text()').get()
      }
    pass