python爬取百度贴吧数据

最新推荐文章于 2021-02-10 18:21:32 发布
原创 最新推荐文章于 2021-02-10 18:21:32 发布 · 1.4k 阅读 · 7 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文详细介绍如何使用Python虚拟环境和Scrapy框架创建并调试爬虫项目，实现贴吧数据抓取及MySQL数据库存储。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

（一） python虚拟环境安装

1.安装virtualenv
pip install virtualenv
2.安装 virtualenvwrapper
pip install virtualenvwrapper-win
ps： linux下运行pip install virtualenvwrapper
3.设置WORK_HOME环境变量

1.在Anaconda中新建了一个文件夹ENV
2.WORK_HOME变量值为ENV文件夹的地址，设置此环境变量的作用为：使用mkvirtualenv创建环境时，新创建的环境自动放入此环境变量设置的文件中
在这里插入图片描述

4.创建环境

（1）使用mkvirtualenv创建环境spider_1

C:\Users\Adminstrate>mkvirtualenv spider_1

（2）创建成功后使用workon和lsvirtualenv查看所有环境：

 C:\Users\Adminstrate>workon

 C:\Users\Adminstrate>lsvirtualenv

（3）使用workon 启动环境spider_1

 C:\Users\Adminstrate>workon spider_1

（4）退出虚拟环境

(spider_1) C:\Users\Adminstrate>deactivate

（4）删除虚拟环境

C:\Users\Adminstrate>rmvirtualenv spideri_1
5 安装包

workon spider_1 启动虚拟环境 spider_1后
安装Scrapy、mysqlclient

(spider_1) C:\Users\Adminstrate>pip install Scrapy
(spider_1) C:\Users\Adminstrate>pip install mysqlclient

（二）创建第一个爬虫项目

（1）创建项目

(spider_1) C:\Users\Adminatrate>scrapy startproject nlp_spider

创建完成后显示：
在这里插入图片描述
进入项目文件：

(spider_1) C:\Users\Adminatrate>cd nlp_spider
(spider_1) C:\Users\12823\nlp_spider>scrapy genspider tieba http://tieba.baidu.com/f?ie=utf-8&kw=%E8%81%8A%E5%9F%8E%E5%A4%A7%E5%AD%A6&red_tag=b1186180911

其中的网址是我们要爬取的网页，tieba是这个网址的标签
如果出现：‘kw’ 不是内部或外部命令，也不是可运行的程序，可以加上禁止重定向命令：

(spider_1) C:\Users\Adminstrate\nlp_spider>scrapy genspider tieba "http://tieba.baidu.com/f?ie=utf-8&kw=%E8%81%8A%E5%9F%8E%E5%A4%A7%E5%AD%A6&red_tag=b1186180911,meta={'dont_redirect':True}"

创建完成后nlp_spider目录结构：在这里插入图片描述
继续进入nlp_spider，看到生成了如下文件：
在这里插入图片描述
进入spiders：在这里插入图片描述
打开tieba文件：在这里插入图片描述
修改allowned_domains为 [‘tieba.baidu.com’]：
修改start_urls去掉 http://
在这里插入图片描述

（三）调试爬虫程序

1.下载pycharm：https://www.jetbrains.com/pycharm/
2.file/settings修改Project Interpreter
在这里插入图片描述
点击show All在这里插入图片描述
选择新创建环境spider_1下的python.exe:
在这里插入图片描述
如果没有的话点击右边的+号添加，在Existing environment/Interpreter中选择spider_1下python.exe的路径：
在这里插入图片描述
3. 打开nlp_spider项目，在nlp_spider中新建main.py文件
在这里插入图片描述
4.scrapy shell 操作
为了方便操作网页元素，可以先在命令行中用scrapy shell url进行测试
使用scrapy shell时应该在spider_1环境下
在这里插入图片描述
打开 设置/工具/开发人员工具：
在这里插入图片描述
使用最左边工具选中作者姓名，将自动定位到该元素
在这里插入图片描述

(spider_1) C:\Users\Adminatrate>scrapy shell https://tieba.baidu.com/p/4482506671
>>response.css('.p_author_name.j_user_card::text').extract()

在这里插入图片描述
5. tieba.py文件内容

# -*- coding: utf-8 -*-
from urllib import parse
import re
import scrapy

from nlp_spider.items import TiebaItem


class TiebaSpider(scrapy.Spider):
    name = 'tieba'
    allowed_domains = ['tieba.baidu.com']
    start_urls = ['https://tieba.baidu.com/f?ie=utf-8&kw=%E9%98%B2%E9%AA%97&fr=search']

    def parse(self, response):
        # 页面中帖子的url地址
        url_list = response.css('.j_th_tit::attr(href)').extract()
        for url in url_list:
            print(url)
            # 发送一个请求，拼接响应url和每一个url，请求完的结果交给parse_detail处理
            yield scrapy.Request(url=parse.urljoin(response.url,url),callback=self.parse_detail)
        next_url = response.css('.next.pagination-item::attr(href)').extract()
        if next_url:
            yield scrapy.Request(url=parse.urljoin(response.url,next_url[0]),callback=self.parse)
    def parse_detail(self,response):
        # 帖子的主题
        title = response.css(".core_title_txt.pull-left.text-overflow::text").extract()
        if title:
            # 作者们，变量为一个list
            authors = response.css(".p_author_name.j_user_card::text").extract()
            # 帖子回复的内容，需要进一步处理
            contents_list = response.css(".d_post_content.j_d_post_content").extract()
            # 进一步处理帖子的内容，包含图片地址，以及前端的换行标签
            contents_list = self.get_content(contents_list)
            # 处理帖子的发送时间和帖子位于楼数
            bbs_sendtime_list, bbs_floor_list = self.get_send_time_and_floor(response)
            for i in range(len(authors)):
                tieba_item = TiebaItem()
                tieba_item['title'] = title[0]
                tieba_item['author'] = authors[i]
                tieba_item['content'] = contents_list[i]
                tieba_item['reply_time'] = bbs_sendtime_list[i]
                tieba_item['floor'] = bbs_floor_list[i]
                yield tieba_item

    def get_content(self,contents):
        contents_list = []
        for content in contents:
            reg = ";\">(.*)</div>"
            result = re.findall(reg,content)[0]
            contents_list.append(result)
        return contents_list
    def get_send_time_and_floor(self,response):
        bbs_send_time_and_floor_list = response.css('.post-tail-wrap span[class=tail-info]::text').extract()
        for lz in bbs_send_time_and_floor_list:
            if lz == "来自":
                bbs_send_time_and_floor_list.remove(lz)
        i = 0  # 记录 bbs_send_time_and_floor_list角标位置，0 是楼数，1是发帖时间，0，1成对出现
        bbs_sendtime_list = []
        bbs_floor_list = []
        for bbs_send_time_and_floor in bbs_send_time_and_floor_list:
            if i % 2 == 0:  # 代表楼数
                bbs_floor_list.append(bbs_send_time_and_floor)
            elif i % 2 == 1:  # 代表时间
                bbs_sendtime_list.append(bbs_send_time_and_floor)
            i += 1
        return bbs_sendtime_list,bbs_floor_list

（四）数据持久化代码开发

1.settings.py文件，添加四行代码
作用：配置MySQL

ITEM_PIPELINES = {
    'nlp_spider.pipelines.NlpSpiderPipeline': 300,
    'nlp_spider.pipelines.MysqlTwistedPipeline': 1,
}
MYSQL_HOST = "localhost"
MYSQL_DBNAME = "spider"
MYSQL_USER = "root"
MYSQL_PASSWORD = "123456"

2.items.py文件
作用：数据存储模型，将数据装到一个对象当中

import scrapy
class TiebaItem(scrapy.Item):
    # 帖子的标题
    title = scrapy.Field()
    # 帖子的作者
    author = scrapy.Field()
    # 帖子的内容
    content = scrapy.Field()
    # 帖子回复的时间
    reply_time = scrapy.Field()
    # 帖子所在的楼数
    floor = scrapy.Field()
    # 执行一个SQL语句，把数据插入到数据库中
    def get_insert_sql(self):
        insert_sql = """
        insert into baidutieba(title,author,content,reply_time,floor)
        values(%s,%s,%s,%s,%s)
        """
        params = (self['title'],self['author'],self['content'],self['reply_time'],self['floor'])
        return insert_sql,params

3.pipelines.py文件

from twisted.enterprise import adbapi
import MySQLdb
import MySQLdb.cursors
class MysqlTwistedPipeline(object):
    def __init__(self,dbpool):
        self.dbpool = dbpool
    @classmethod
        #固定从settings文件中把所有配置读取出来
    def from_settings(cls,settings):
        dbparms = dict(
            host=settings["MYSQL_HOST"],
            db=settings["MYSQL_DBNAME"],
            user=settings["MYSQL_USER"],
            password=settings["MYSQL_PASSWORD"],
            charset="utf8",
            cursorclass=MySQLdb.cursors.DictCursor,
            use_unicode=True
        )
        dbpool = adbapi.ConnectionPool("MySQLdb",**dbparms)
        return cls(dbpool)
    def process_item(self,item,spider):
        query = self.dbpool.runInteraction(self.doinsert,item)
    def do_insert(self,cursor,item):
        insert_sql,params = item.get_insert_sql()
        cursor.execute(insert_qsl,params)

（五）数据入库

1.MySQL下载:https://dev.mysql.com/downloads/mysql/
2.新建链接，名字与settings.py文件对应在这里插入图片描述
3.新建表spider
4.新建表baidu_tieba,与items.py文件sql语句中的表对应
在这里插入图片描述
5.爬取完成：在这里插入图片描述

Python论坛社区内容抓取全攻略：贴吧与Reddit数据采集实战教程
2201_76125261的博客
05-29 179
论坛社区如贴吧和Reddit，汇聚了大量真实用户讨论，信息丰富且极具参考价值。爬取这些数据不仅能进行舆情分析、用户行为研究，还能为产品优化、市场调研、学术研究提供宝贵数据。bash复制编辑准备好Chrome浏览器及对应的ChromeDriver，安装MongoDB或MySQL用于数据存储。
Python爬虫_获取贴吧内容
业精于勤，荒于嬉；行成于思，毁于随。
03-15 3300
参考http://cuiqingcai.com/993.html，写的第一个比较完整的python爬虫程序。 对正则表达式要有更加深刻的研究，本程序对百度贴吧使用，但是截取不了表情。如果想把所有页面的内容都获取下来不难，拓展一下即可。 # -*- coding:utf-8 -*- import urllib import urllib2 import re #处理页面标签类 class T
Python抓取百度贴吧网页信息代码
11-23
代码是抓取百度贴吧帖子的回复内容的。包括帖子标题、帖子回复数量，帖子页码，回复楼层、回复时间，也可以只查看楼主的回复信息。最后将获取到的帖子信息记录到记事本中。 博客地址：http://blog.csdn.net/u010156024/article/details/49995797
python爬取贴吧数据_用Python爬取百度贴吧帖子
weixin_39929793的博客
11-26 332
一、介绍前前后后拖了很久的一个爬虫纯原创我心中的NBA2014-2015赛季现役50大，一般的抓取信息还是蛮简单的，但这个爬虫在于有些楼层是含图片的，这样我们抓取下来就会有之类的东西，很难受；还有就是这个爬虫告诉我们当正则走投无路时BeautifulSoup或许是个不错的选择，在匹配数据的时候很好用二、流程目标站点分析用浏览器打开纯原创我心中的NBA2014-2015赛季现役50大，开始审查元素，...
python爬取贴吧数据_Python爬虫——抓取贴吧帖子
weixin_39741459的博客
11-21 763
原博文2016-11-13 23:13 −抓取百度贴吧帖子 按照这个学习教程，一步一步写出来，中间遇到很多的问题，一一列举 首先， 获得 标题 和 贴子总数 # -*- coding:utf-8 -*- #!/user/bin/python import urllib import urllib2 import re class ...相关推荐2019-12-24 10:03 −http...
python爬虫获取百度贴吧内容
qq_43764365的博客
07-04 4924
python爬虫获取百度贴吧内容python爬虫获取百度贴吧内容*声明：本文仅供学习交流使用，请勿用于商业用途，违者后果自负。* python爬虫获取百度贴吧内容 博主是一个比较懒的人，不会按时更新分享分章，今天看到有人留言评论说希望我出一个爬取贴吧的教程，那么我就满足他，教程如下： 分析网页:首先我们要去爬取一个网页的内容，那么我们就需要对这个网页的网页结构有一定的了解 ，接下来我们就一步一步的来分析今天我们要去获取的目标网站百度贴吧 首先找到我们的目标网站https://tieba.baidu.com
Python爬取百度贴吧数据.zip
06-01
本案例“Python爬取百度贴吧数据”就是一个典型的Python网络爬虫应用，主要涉及以下几个关键知识点： 1. Python基础：理解Python的基础语法是进行爬虫开发的前提，包括变量、数据类型、控制结构（如if-else、for...
python爬取百度贴吧的数据.rar
最新发布
07-03
python爬取百度贴吧的数据.rarpython爬取百度贴吧的数据.rarpython爬取百度贴吧的数据.rarpython爬取百度贴吧的数据.rarpython爬取百度贴吧的数据.rarpython爬取百度贴吧的数据.rarpython爬取百度贴吧的数据....
python爬取百度贴吧前1000页内容（requests库面向对象思想实现）
12-26
首先去百度贴吧分析贴吧地址栏中url后的参数，找到分页对应的参数pn，贴吧名字对应的参数kw 首先创建类，写好__init__方法，run方法，__init__方法里先可以直接写pass run方法里大概整理一下整体的思路 构造 url...
python爬取百度贴吧数据_15-python爬取百度贴吧-excel存储
weixin_33152959的博客
02-10 303
让我们爬取百度贴吧旅游信息，看看哪些地方是大家旅游关注的热点。不要问我这个十一去哪儿旅游了，我还在家没日没夜的码代码。这次我们用 urllib 爬取页面，再用BeautifulSoup提取有用信息，最后用 xlsxwriter 把获取的信息 写入到excel表一 、用到技术python 基础xlsxwriter 用来写入excel文件的urllib python内置爬虫工具BeautifulSou...
python爬取贴吧所有帖子-通过python爬取贴吧数据并保存为word
weixin_37988176的博客
11-01 1114
前言Python是一种跨平台的计算机程序设计语言。是一种面向对象的动态类型语言，最初被设计用于编写自动化脚本(shell)，随着版本的不断更新和语言新功能的添加，越来越多被用于独立的、大型项目的开发。日前，在学习中思考，如何整理一份贴吧历史数据出来，从中找寻当年玩贴吧的回忆呢。于是就有了想从贴吧爬取数据的想法，此代码的由来就是如此。事前准备应先安装pycharm，此处使用的是社区版用于个人学习。如...
使用python爬取数据，里面有爬取的贴吧、微博、微信公众号的数据
06-01
运行的软件是python3，里面命名不规则，可以爬取贴吧，微博及微信公众号里的数据及一些学习时写的代码，可以将数据成功导出到数据库里。只需要改连接数据库的语句。
网络爬虫 Python爬虫 可爬取贴吧新闻等
05-06
基于Python网络爬虫的设计，可以爬取360新闻，百度贴吧等，百分百可用
python爬取贴吧数据_爬取百度贴吧数据（练习Python爬虫）
weixin_39918690的博客
11-26 435
爬取百度贴吧数据（Python）1.总代码：from urllib.request import Request, urlopenfrom urllib.parse import quotedef get_html(html):headers = {"User-Agent": "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:76.0) Gecko/2010...
python爬虫爬取百度贴吧
qq_35723619的博客
10-22 487
python版本2.7 由于python3和python2中的urllib的变化较大选择了使用较多的python2 先引入模块 2.创建爬取页面的函数 headers:是为了模仿浏览器的访问 3.保存爬取内容 4.创建贴吧启动函数 5.创建调用函数 6.运行结果 了解可视化显示数据请参考：https://blog.csdn.net/qq_35723619/...
python爬取百度贴吧数据_python3爬虫爬取百度贴吧帖子图片
weixin_39873741的博客
12-05 97
import requestsimport refrom threading import Threadfrom bs4 import BeautifulSoupimport osclass Pictures(object):def __init__(self, url):self.url = urldef main(self):req = requests.get(self.url)req.en...
Python3爬虫爬取百度贴吧
读万卷书 行万里路
08-31 236
1.需求分析 为了爬取贴吧中楼主所发表的帖子，并把内容提取出来保存到txt文件中。 2.全部代码 这份代码写的比较早，所以里面提取内容基本上用的全是正则表达式，并没有调用一些非常高级的包。代码如下： # -*- coding:utf-8 -*- import urllib.request import urllib.parse import re class Tools: re...
使用Python爬虫爬取贴吧图片数据
m_buddy的博客
02-15 1099
1. 概述 最近刚接触Python爬虫，通过所学及了解这里写一篇文章记录爬取网络图像数据。程序的大体思想是这样：首先爬虫直接打开一个网页（该网页不对爬虫抵制），使用bs4解析网页，之后查找标签为img的结点寻找图片的原链接地址，之后便使用这个链接地址将网络上的图片下载下来。 2. 实现 # -*- coding=utf-8 -*- import urllib2 as url_lib
python：爬取贴吧的某个吧的网页信息
superXZT的博客
12-02 588
#-*-coding:utf-8-*- import urllib #负责url编码处理 import urllib2 import sys import os if sys.getdefaultencoding() != 'utf-8': reload(sys) sys.setdefaultencoding('utf-8') def writeFile(html,...
python爬取百度贴吧
05-17
使用 Python 爬取百度贴吧，可以通过以下步骤实现： 1. 导入需要的库 ```python import requests from bs4 import BeautifulSoup ``` 2. 构造 URL 百度贴吧的 URL 构造方式比较简单，例如要爬取某个贴吧的第一页...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值