分布式爬虫
关注
分享
扫一扫
汤愈韬
沉默是金
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
模拟用户登录网址-post请求之后携带cookie
参考代码import urllib.requestfrom http import cookiejarfrom urllib import parse# cookiejar 自动保存cookie""" 直接获取 个人中心页面 1.代码登录 登录成功(Cookie有效) 2.自动带着cookie去请求个人中心"""# 1. 登录的网址 # 1....原创 2019-08-24 20:38:48 · 3335 阅读 · 0 评论 -
原生携带cookie访问网页
import urllib.request""" 直接获取 个人中心页面 手动黏贴 复制到 PC 抓包的cookie 放在请求头里面"""url = 'https://www.douban.com/'# 请求头headers = { "User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWe...原创 2019-08-25 08:51:02 · 927 阅读 · 0 评论 -
使用Requests携带cookies访问网页
import requestsheaders = { "User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.115 Safari/537.36"}# 请求数据的urlmemurl = 'https://www.yaozh...原创 2019-08-25 08:53:11 · 5886 阅读 · 0 评论 -
使用Requests携带cookie登录访问页面
import requestsheaders = { "User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.115 Safari/537.36"}# 1.代码登录login_url = 'https://www.yaoz...原创 2019-08-25 09:10:05 · 6066 阅读 · 0 评论 -
爬虫实战-爬取网站的评论和链接
爬取网站的评论数据和每条评论对应的链接,然后存在本地原创 2019-08-25 16:22:15 · 1724 阅读 · 0 评论 -
Python连接MongoDB,Redis,MySql数据库代码
Python代码连接MongoDB,Redis,MySQL,并实现数据库的操作原创 2019-08-27 10:50:58 · 403 阅读 · 0 评论 -
多线程使用正则抓取啊猫眼Top100
多线程使用正则抓取猫眼Top100原创 2019-08-28 08:16:00 · 150 阅读 · 0 评论 -
selenium.common.exceptions.WebDriverException: Message: 'chromedriver' executable needs to be in PAT
selenium.common.exceptions.WebDriverException: Message: 'chromedriver' executable needs to be in PATH原创 2019-08-28 09:27:36 · 428 阅读 · 0 评论