本章节以博客园-新闻的爬取,来讲解scrapy的入门使用,分成上中下三篇

一.scrapy安装

pip安装的时候是从国外的服务器下载,国内有一个非常常用的镜像,可以提高下载速度

pip install -i https://pypi.douban.com/simple scrapy

有些windows环境下安装scrapy会出错,安装出错则按下面的方式处理

https://www.lfd.uci.edu/~gohlke/pythonlibs/

这个网址可以直接下载会安装出错的包,安装scrapy需要下载下面4个,下载时需要选对应解释器的版本

lxml twisted  pywin32 scrapy进入到下载目录下,按照以下方式安装,如果lxml等包有其依赖的包,也会通过镜像自动下载安装

scrapy包放最后安装因为它依赖前面的3个包

二.使用scrapy创建一个项目

命令行输入:

scrapy startproject ArticleSpider

scrapy startproject 项目名称

大家先不要着急了解每个文件的作用,后期会介绍到,命令行输入:

scrapy genspider cnblogs news.cnblogs.com

scrapy genspider 爬虫名称 抓取的网址

爬虫隶属于项目，一个项目下可以有多个爬虫，这就类似于Django项目和其下app的关系。

三.调试代码

scrapy启动

通过命令行启动的爬虫程序,无法调试

scrapy crawl 爬虫名 带运行日志

scrapy crawl 爬虫名 --nolog  不带运行日志

crawl的英语翻译：爬行

在项目的目录下新建一个main.py(名字自取)内容如下，然后就可以鼠标右键debug这个爬虫

from scrapy.cmdline import execute
import sys
import os

sys.path.append(os.path.dirname(os.path.abspath(__file__)))
execute(["scrapy","crawl","cnblogs"])

四.重点:response

当运行main.py,进入parse方法后,start_url里面的网址已经是被爬取下来的.

response对象可以使用xpath,css选择器来提取元素

title_list = response.css('.link-title')
title_list = response.xpath('//a[contains(@class,"link-title")]')

xpath/css可以看这篇

五. 重点:parse()方法

parse()方法的使命是用来解析起始网址(start_url)中的url,并把这些url交给scrapy去下载;同时,解析下一页的url,交给scrapy去下载

这样,每一页的url,以及每一页中具体内容的url都被一层一层提取出来,交给scrapy下载了.

import scrapy
from scrapy import Request
from urllib import parse


class CnblogsSpider(scrapy.Spider):
    name = 'cnblogs'
    allowed_domains = ['news.cnblogs.com']
    start_urls = ['http://news.cnblogs.com/']

    def parse(self, response):
        """
        1.获取新闻列表页中的新闻url并交给scrapy进行下载后调用相应的解析方法
        2.获取下一页的url交给scrapy进行下载,然后交给parse()方法进行提取新闻url来下载
        """
        post_nodes = response.css("#news_list .news_block")
        for post_node in post_nodes:
            image_url = post_node.css("div.entry_summary img::attr(src)").extract_first("")
            post_url = post_node.css("div.content h2 a::attr(href)").extract_first("")  # 新闻页标题:具体详情的url
            yield Request(url=parse.urljoin(response.url,post_url),  # 这个请求会立马交给scrapy下载;
                          meta={"front_image_url":image_url},        # meta用于传参
                          callback=self.parse_detail)                # 下载好后回调真正提取数据的方法

        # 提取下一页并交给scrapy下载
        next_url = response.xpath('//div[@class="pager"]//a[contains(text(),"Next >")]/@href').extract_first("")
        yield Request(url=parse.urljoin(response.url,next_url),callback=self.parse)



    def parse_detail(self,response):  # response参数是scrapy自动传递进来的,已经下载好的页面
        pass

下一节:介绍解析详情页