python下载知乎某个问题下的全部图片

前言 最近看知乎老是给我推荐‘有个xxx的女朋友是什么体验？’这种类似的钓鱼问题，索性就打开电脑开始撸代码爬图片。 目标：把这个问题下所有回答下的图片下载到我的电脑。 1. 先来分析一下网页 1.1 打开问题网页 `https://www.zhihu.com/question/285906324/answer/603575032` 这里提一下其实不用登陆知乎也能访问到问题的回答页面，也就...

首先，需要获取任意知乎的问题，只需要你输入问题的ID，就可以获取相关的页面信息，比如最重要的合计有多少人回答问题。问题ID为如下标红数字编写代码，下面的代码用来检测用户输入的是否是正确的ID，并且通过拼接URL去获取该问题下面合计有多少答案。import requestsimport reimport pymongoimport timeDATABASE_IP = '127.0.0.1'DATAB...

#coding=utf-8 import urllib import re def getHtml(url): page = urllib.urlopen(url) html = page.read() return html def getImg(html): reg = r'src="(http.+?\.jpg)"' imgre = re.compi

【Python黑科技】免登陆爬虫一键下载知乎文章图片（保姆级图文+实现代码） 实现效果 实现思路 需要安装的库 测试能否使用selenium 保存文件 实现代码 总结

该爬虫主要是通过requests来实现的，该模块完全可以很好的代替urllib和urllib2，而且功能更强大，详细可以看这里。同时也用到了pillow模块中的image对象，实现环境是Python2，不过在Python3上只需很小的改动就可以正常运行。 首先通过cookie模拟登陆到知乎，然后获取知乎某一个问题的链接，打开并获取该问题回答下的图片，然后保存到本地。我们先看下知乎中的网页

主要用户你看到某个感兴趣的问题，需要回答者的图片，比如制作和收集表情包，还有其他用途你懂的! 一、运行环境       (1) win7      (2) python 2.7     (3)  pycharm 二、 主要代码 #-*- coding:utf-8 -*- import re import requests import os from urlparse impo

学习python挺好玩的，可以做一些好玩的事情。 这个答案分享了1000+图片，也是蛮拼，网页打开都卡死，正好做示范抓取图片使用。 import urllib.request as request import urllib.parse as parse import string import re import os import urllib.error as error de

首先，我们查看一下知乎的robots协议。 User-agent: * Disallow: / 知乎是不允许爬取其根目录的。 但是，我们只是用于实验，而且访问频率和正常访问差距不大，所以可以爬取。 先明确目的： 对手动输入的网址进行解析 把爬取到的图片保存到指定目录 __author__ = '_liky' import requests from bs4 import Beau...

比如要爬取：https://www.zhihu.com/collection/26347524 只用自带库，没用框架。 # -*- coding: utf-8 -*- from __future__ import unicode_literals import urllib import urllib2 import re import socket import os class

新手搞这个真是费精力。 完整代码如下： import requests import re import time import os def getHTMltext(url_, header={'User-Agent': 'Mozilla/5.0 (Windows NT 6.1;' 'Win64; x64) AppleWebKit/537.36 (KHTML, like'...

接着上一篇Python练手爬虫系列No.1 知乎福利收藏夹图片批量下载，今天我们来按照知乎问题抓图片！比起收藏夹，更加直接精准。为什么先抓收藏夹后抓取问题呢，其实是因为知乎的一点限制。 那就是！知乎问题下方的回答是通过动态加载的……普通的静态网站抓取的办法是没办法获取到所有的数据的。 那么怎么处理呢？我们一起试试。网页数据分析 这个时候跟我做打开Firefox浏览器，按F12,进入网络模式下，

#方法一：下载知乎单独答案图片 # coding=utf-8 # # from urllib import request as rr # from bs4 import BeautifulSoup # from collections import Counter # import os # import re # # url = "https://www.zhihu.com/question/...

代码如下： from zhihu_oauth import ZhihuClientfrom zhihu_oauth.exception import NeedCaptchaExceptionfrom docx import Documentfrom docx.shared import Inchesfrom w3lib.html import remove_tagsimport urll...

# -*- coding: utf-8 -*- import requests import re import uuid session=requests.session() questionurl='https://www.zhihu.com/question/36007260' agent=r'Mozilla/5.0 (Windows NT 10.0; Win64; x...

平时逛知乎的时候，经常能看到很多很棒的图片，精美的壁纸，搞笑的表情包，有趣的截图等等，总有想全部保存下来的冲动。 于是在一个小老弟的拜托之下，我把之前的知乎爬虫改造了一下，改装成了一个可以下载知乎回答中全部图片的新爬虫。 1. 分析网站 知乎的网站我们已经爬取过很多次了 《Python 网络爬虫实战：爬取知乎一个话题下的全部问题》 《Python网络爬虫实战：爬取知乎话题下 18934 条回答数据》 《Python网络爬虫实战：近千条中秋节祝福语文案让你成为亲朋好友里最靓的仔》 所以，网站分析的抓包过程我们