ccql's Blog

使用Selenium爬虫技术爬取新闻数据。

首先声明本篇博客以学习为目的，侵权即删。文章目录1. Fidder抓包1.1 在电脑上打开微信小程序视频播放页以及Fidder软件1.2 点击视频播放按钮，并查看Fidder抓到的数据包2. Python爬虫2.1 视频下载2.2 视频合并2.3 完整代码3. 写在最后1. Fidder抓包       关于fidder软件的安装和配置，这里我就不多赘述了，大家上网都很容易搜到。1.1 在电脑上打开微信小程序视频播放页以及Fidd

之前其实还用selenium函数试着爬过csdn自己的博客标题，结果失败了，可能是csdn自身的一些反扒措施导致的，所以我们这次采用requests函数来爬取自己博客的标题~源码：import requestsfrom bs4 import BeautifulSoupz=0for j in range(0,2):#我博客有两页 link="https://blog.csdn.ne...

1.先从安居客官网上淘到如下数据（详细方法可见博主爬取爱彼迎那篇博客）：2.源码（警告：若频繁爬取安居客官网数据，将被要求入网验证…）import requestsfrom bs4 import BeautifulSoupheaders={'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHT...

1.分析网站：（1）.找到一个体验的全部数据的地址为：div._1yfus1e（2）.找到体验名称的地址：div._5g44xtq（3）.找到价格的地址：li._g86r3e（4）.找到评价的地址：div._1sny8g3（5）.找到所属类别的地址：div._fp7zl9s2.代码：from selenium import webdriverdriver=webdriver.Fi...

1.按照之前定制请求头的方法，先提取其中重要的请求头：headers={'user-agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.131 Safari/537.36'，'Host':'movie.douban.com'}每一页有25个电影...

1.在Chrome浏览器中点击右键选择“检查”命令；2.打开后选择Network;3.按下ctrl+r，在其中找到需要请求的网站，单击后选择Headers;4.得到请求头信息为：Host: www.baidu.comReferer: https://www.baidu.com/?tn=98012088_2_dg&ch=7User-Agent: Mozilla/5.0 (Win...