Python进阶之Scrapy通过下载中间件携带随机U-A(DOWNLOADER_MIDDLEWARES,random.choice(),request.headers[])

最新推荐文章于 2021-09-09 10:21:49 发布

kingx3

最新推荐文章于 2021-09-09 10:21:49 发布

阅读量226

点赞数

CC 4.0 BY-SA版权

分类专栏： Python进阶 PYTHON爬虫文章标签： python

本文链接：https://blog.csdn.net/kingx3/article/details/108409934

Python进阶之Scrapy通过下载中间件携带随机U-A

Scrapy随机U-A项目

需求:
Scrapy访问网页时采用随机U-A
测试页面: http://httpbin.org/user-agent
通过DOWNLOADER_MIDDLEWARES实现

Scrapy随机U-A项目

scrapy startproject MV
cd MV
scrapy genspider ua httpbin.org

ua.py

import scrapy

class UaSpider(scrapy.Spider):
    name = 'ua'
    allowed_domains = ['httpbin.org']
    start_urls = ['http://httpbin.org/user-agent']

    def parse(self, response):

        print(response.text)

middlewares.py

在原有代码的下方添加类

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

kingx3

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
打赏
打赏
打赏举报

举报

专栏目录

Scrapy爬虫框架 Downloader Middleware 下载器中间件内置参数

Mr数据杨

02-03

3万+

本教程详细介绍了 Scrapy 2.6 版本中内置的下载器中间件。每个中间件在不同的场景下提供了强大的功能，如自动处理 Cookies、遵循robots.txt规则、管理 HTTP 认证和代理等。通过理解和灵活运用这些中间件，开发者可以显著提升爬虫的性能和适应性。在实际应用中，这些工具帮助爬虫有效应对网络环境和目标网站的复杂性，实现高效、稳定的数据抓取。掌握这些中间件的使用后，你将能够更自信地设计和部署复杂的爬虫项目，并根据具体需求定制解决方案。

【Python爬虫(55)】Scrapy进阶：深入剖析下载器与下载中间件

邓邓子的博客

02-23

1406

本文围绕 Scrapy 下载器与下载中间件展开。先是介绍下载器工作原理，从请求到响应的流程；并阐述性能优化，如并发请求控制、下载延迟与超时设置、缓存机制。接着讲解编写下载中间件实现添加代理、修改请求头功能。然后探讨下载过程中异常情况的处理，包括超时处理和重定向处理。最后总结，强调下载器和下载中间件在爬虫开发中的重要性，鼓励开发者根据需求运用知识，关注爬虫领域新趋势，以应对反爬虫挑战。

参与评论您还未登录，请先登录后发表或查看评论

python爬虫之Scrapy框架:两种随机选择User-Agent的方法

修炼的Coder

05-05

2763

修改请求时的User-Agent一般有两种思路:一是修改setting中的User-Agent变量(适用于极少量的agent更换,一般不采用);另一种就是通过Downloader Middleware的process_request()方法来修改,即在middlewares.py里面添加一个RandomUserAgentMiddleware的类.首先介绍下scrapy框架默认的UserAgentM...

Scrapy：使用下载器中间件设置随机ua和代理ip

旧人小表弟的博客 - 无业游民学习笔记

12-06

1141

爬虫代码 # -*- coding: utf-8 -*- import scrapy import json class HttpbinSpider(scrapy.Spider): name = 'httpbin' allowed_domains = ['httpbin.org'] start_urls = ['http://httpbin.org/user-agent'] def parse(self, response): user_agent =

Scrapy设置下载延时和自动限速

m0_49501453的博客

09-09

5577

Scrapy设置下载延时和自动限速 DOWNLOAD_DELAY 在settings.py文件中设置 #延时2秒，不能动态改变，时间间隔固定，容易被发现，导致ip被封 DOWNLOAD_DELAY=2　　 RANDOMIZE_DOWNLOAD_DELAY 在settings.py文件中设置 # 启用后，当从相同的网站获取数据时，Scrapy将会等待一个随机的值，延迟时间为0.5到1.5之间的一个随机值乘以DOWNLOAD_DELAY RANDOMIZE_DOWNLOAD_DELAY=Tru

Scrapy随机延时下载

m0_49501453的博客

09-08

1223

Scrapy随机延时下载 scrapy中有一个参数：DOWNLOAD_DELAY 或者 download_delay 可以设置下载延时，不过Spider类被初始化的时候就固定了，爬虫运行过程中没发改变。随机延时，可以降低被封ip的风险在中间件中添加 import logging import random import time class RandomDelayMiddleware(object): def __init__(self, delay): self.d

scrapy框架配置随机延时、UA、IP

大数据-攻城狮

04-23

4302

作为强大的采集框架scrapy，有几个基本配置，大家一定要掌握。下面猫哥一一为大家介绍。随机延时在scrapy框架settings.py文件中有一个默认的延时设置DOWNLOAD_DELAY = 2，这个设置的延时时间是固定的，也就是说每次请求的延时时间都是3秒。那么我想让延时时间随机的变动，也就是说假如我设置延时时间是5s，那么我希望每次延时会随机的从1-5s之间选择一个值进行延时。下面我们...

Python爬虫之Scrapy框架系列（18）——深入剖析中间件及实战使用

孤寒者的博客

09-04

3万+

Python爬虫之Scrapy框架系列（18）——深入剖析中间件及实战使用

python3实现网络爬虫（6）--正则表达式和BeautifulSoup配合使用

陌上行走的博客

11-21

8219

这一次介绍下正则表达式和BeautifulSoup结合使用。对于正则表达式，在python中是一种很好的工具，可与帮助我们匹配

python爬虫随机获取User-Agent

wly926454926632的博客

07-09

5055

刚刚学习Python爬虫的小伙伴们应该面临反爬问题，那么初步解决办法除了代理ip还有就是随机生成UA今天给大家推荐两种随机生成UA的方法，废话不多说了，直接上代码第一种：1.导入random模块：import random2.定义一个列表存放UA,(来源：网上查找，可以去github上查）list = [{'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; ...

Scrapy的中间件Downloader Middleware实现User-Agent随机切换

SpiderFlame的博客

04-18

3128

如何实现随机更换User-Agent这里要做的是通过自己在Downlaoder Middleware中定义一个类来实现随机更换User-Agent,但是我们需要知道的是scrapy其实本身提供了一个user-agent这个我们在源码中可以看到如下图：源码：from scrapy import signals class UserAgentMiddleware(object): """Thi...

Numpy中的random.choice()函数随机选择

热门推荐

MyNotes

03-14

4万+

import numpy as np 1、参数意思分别是从a 中以概率P，随机选择3个, p没有指定的时候相当于是一致的分布，a为一维数组或int，如果是int，则生成随机样本，就好像a是np.arange(N)一样。 a1 = np.random.choice(a=5, size=3, replace=False, p=None) 2、非一致的分布，会以多少的概率提出来 a2 = np.r...

巧用Python的choice()方法

戴翔的技术博客

01-21

1万+

python中choice() 方法返回一个列表，元组或字符串的随机项。有些时候我们需要返回字典里的随机项，怎么办呢？我们可以先遍历字典的值，将值存储到列表中，再通过choice()方法返回随机项。案例展示： >>> import pandas as pd >>> import random >>> My_dict = {225093:'铁道飞虎', 228494:'老师也疯狂',225

scrapy通用随机下载延迟、IP代理、UA

qq_42988748的博客

11-25

4131

目录结构 main.py文件 # -*- coding:utf-8 -*- from scrapy import cmdline cmdline.execute('scrapy crawl test'.split()) settings.py文件 # -*- coding: utf-8 -*- BOT_NAME = 'mytest' SPIDER_MODULES = ['myt...

request设置请求头_收藏 Scrapy框架各组件详细设置

weixin_39927378的博客

11-26

671

今天说一下Scrapy框架各组件的详细设置。关于ScrapyScrapy是纯Python语言实现的爬虫框架，简单、易用、拓展性高是其主要特点。这里不过多介绍Scrapy的基本知识点，主要针对其高拓展性详细介绍各个主要部件的配置方法。其实也不详细，不过应该能满足大多数人的需求了 : )。当然，更多信息可以仔细阅读官方文档。首先还是放一张Scrapy数据流的图供复习和参考。接下来进入正题，有...

[numpy]random.choice()随机选取内容

01-02

7623

概述：可以从一个int数字或1维array里随机选取内容，并将选取结果放入n维array中返回。说明：numpy.random.choice(a, size=None, replace=True, p=None)a : 1-D array-like or int If an ndarray, a random sample is generated from its elements.

scrapy动态设置user agent,使用IP地址池,禁用cookies,设置下载延迟.

简单就是美

01-20

1万+

转自:http://www.cnblogs.com/rwxwsblog/p/4575894.html 1、创建middlewares.py scrapy代理IP、user agent的切换都是通过DOWNLOADER_MIDDLEWARES进行控制，下面我们创建middlewares.py文件。

numpy：np.random.choice的用法

三人行必有我师的博客

08-22

5285

import numpy as np # 参数意思分别是从a 中以概率P，随机选择3个,从0开始选，取不到a，最多取到a-1. p没有指定的时候相当于是一致的分布 a = np.random.choice(a=5, size=3, replace=False, p=None) print(a) # 非一致的分布，会以多少的概率提出来，出现0点概率为0.2，出现1点概率为0.1，以此类推，出现...

# -*- coding: utf-8 -*- BOT_NAME = 'spider' SPIDER_MODULES = ['spiders'] NEWSPIDER_MODULE = 'spiders' ROBOTSTXT_OBEY = False DEFAULT_REQUEST_HEADERS = { 'User-Agent': 'Mozilla/5.0 (iPhone; CPU iPhone OS 15_0 like Mac OS X) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.61 Mobile Safari/537.36', 'Referer': 'https://weibo.com/', 'Cookie': 'SCF=AgqHjsCD6PFCTQvhkhDV_5xV3cOZ1wMAWHeOwlyzXHHzgee-jRWGV3da2uTTSTt4FKe-Em3JNT_p8F3b5VN81so.; SINAGLOBAL=4541434264227.427.1736433023560; SUB=_2A25KysEKDeRhGeBK7VQQ8S3LzD-IHXVpplzCrDV8PUNbmtAYLWjYkW1NR4hNkw8TOc9gC8F8IhgUf_WlGRQj-ckJ; SUBP=0033WrSXqPxfM725Ws9jqgMF55529P9D9W5VFgGklZiw-wvM2Vq2x1Z15JpX5KzhUgL.FoqXSoqpeKeNS0e2dJLoI0YLxKnLBKqL1h2LxK-L1K5L1heLxK-LBKBL12qLxK-LBKBLBK.LxKML1-2L1hBLxKnLBK-LB.qLxKML1KeL1-et; ALF=02_1744191066; WBPSESS=6Axpu1TacVAKouPlQL8eUxLX1pyDayQXzA6Te2GXxJaj9Oro1D-tweRELev6_uwlz4ip9biTlZbF2sx58BB-zVRDaBkKlmosa4LcVtxpotxtEQy7eT14vllmsl7ePx57wZ0Cuap1NeK2mYz7NJLOHQ==; ULV=1741837498210:4:2:2:7357620306498.613.1741837498194:1741652383524; XSRF-TOKEN=9CFI5izfq6XlYszxBEVEdxqS' } CONCURRENT_REQUESTS = 16 DOWNLOAD_DELAY = 3 RANDOMIZE_DOWNLOAD_DELAY = True DOWNLOADER_MIDDLEWARES = { 'scrapy.downloadermiddlewares.cookies.CookiesMiddleware': None, 'scrapy.downloadermiddlewares.redirect.RedirectMiddleware': None, 'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware': 810, # 'middlewares.IPProxyMiddleware': 100, # 如果有 IP 代理中间件 'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware': 110, } REDIRECT_ENABLED = False # 彻底关闭 302 自动重定向 # 如果有代理： # HTTP_PROXY = 'http://your_proxy_ip:port' ITEM_PIPELINES = { 'pipelines.JsonWriterPipeline': 300, } 这个是我的代码