python之selenium访问网站被反爬限制封锁解决方法

最新推荐文章于 2024-04-28 22:02:45 发布

字节自动化测试

最新推荐文章于 2024-04-28 22:02:45 发布

阅读量2.6k

点赞数 3

分类专栏：软件测试软件自动化测试程序员文章标签： python selenium 开发语言自动化测试测试工具软件测试程序员

本文链接：https://blog.csdn.net/software_test010/article/details/131316522

版权

在访问某些网站时，selenium webdriver 开启网页失败，被发现为爬虫，目前我碰到的有效解决方案是：

1、因为selenium在命令行手动开启后的谷歌浏览器加了一些变量值，比如window.navigator.webdriver，在正常的谷歌浏览器是undefined，在selenium打开的谷歌浏览器是True，然后对方服务器就会下发js代码，检测这个变量值给网站，网站判断这个值，为True就是爬虫程序就封锁你的访问，如下图。

实现代码是在请求之前改变一些参数，绕过检测，具体细节可以自己了解下网站检测selenium的原理，需要设置对应其它的值都可以加：

　　# 下面代码本人是基于命令行打开再接管浏览器窗口，
　　from selenium import webdriver
　　options = webdriver.ChromeOptions()
　　 
　　# chrome在79版之前用下面两行代码
　　#options.add_experimental_option("excludeSwitches", ["enable-automation"])
　　#options.add_experimental_option('useAutomationExtension', False)
　　 
　　# -我是最新谷歌浏览器版本