Python 中 selenium 设置参数,不打开可视化页面,后台执行爬虫程序

前言

        在使用 selenium 浏览器渲染技术,爬取网站信息时,默认情况下就是一个普通的纯净的 chrome 浏览器,而我们平时在使用浏览器时,经常就添加一些插件,扩展,代理之类的应用。相对应的,当我们用chrome浏览器爬取网站时,可能需要对这个chrome做一些特殊的配置,以满足爬虫的行为。

        常用的控制行为有:

  1. 禁止图片和视频的加载:提升网页加载速度。
  2. 添加代理:用于翻墙访问某些页面,或者应对IP访问频率限制的反爬技术。
  3. 使用移动头:访问移动端的站点,一般这种站点的反爬技术比较薄弱。
  4. 添加扩展:像正常使用浏览器一样的功能。
  5. 设置编码:应对中文站,防止乱码。
  6. 阻止JavaScript执行。

正文

        小编常用的功能就是:禁用浏览器启动,让 selenium 操作的就像 BeautifulSoup 那样后台执行。

1. 禁用前

        随便展示一段 selenium 操作的代码,流程如下:打开网页 → 输入搜索内容 → 触发搜索→ 滑动页面→ 关闭网页。

  • 代码展示
#_*_coding:utf-8_*_
import time
from selenium.webdriver.common.keys import Keys                     # 模仿键盘,操作下拉框的
from selenium import webdriver                                      # selenium驱动
from selenium.webdriver.support.wait import WebDriverWait           # 导入等待类
from selenium.webdriver.support import expected_conditions as EC    # 等待条件
from selenium.webdriver.comm
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Java Punk

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值