python爬虫爬取小说

最新推荐文章于 2025-06-11 16:04:45 发布

原创

最新推荐文章于 2025-06-11 16:04:45 发布 · 1.1k 阅读

5 ·

CC 4.0 BY-SA版权

文章标签：

#python #爬虫

本文展示了如何利用Python轻量级爬虫框架Feapder爬取网络小说，从指定网页抓取章节标题和链接，并将内容保存为单独的TXT文件。代码中定义了爬虫类，设置了起始和结束回调函数，通过start_requests方法下发请求，并在parse方法中解析HTML，提取章节信息并写入文件。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

今天我们用爬虫框架feapder进行小说的简单爬取

话不多说

下面是代码

import feapder

path = r'D:\爬取文件'

#轻量级爬虫
class TaobaoSpider(feapder.AirSpider):

    def start_callback(self):
        print("爬虫开始")

    def end_callback(self):
        print("爬虫结束")

    #下发任务
    def start_requests(self):
        #网页地址链接
        yield feapder.Request('http://book.zongheng.com/showchapter/1141504.html', render=True)

    def parse(self, request, response):
        '''
        解析详情
        :param request:
        :param response:
        :return:
        '''
        #不支持的字符忽略
        response.encoding_errors = 'ignore'
        #找到网页内容标签
        content_list = response.xpath('//div[@class="volume-list"]/div[2]/ul')
        #创建字典
        lists = []
        for content in content_list:
            #遍历
            # print(content)
            #找章节标题
            title = content.xpath('li/a//text()').extract()
            #找章节链接