- 博客(18)
- 收藏
- 关注
RSS订阅原创 微博话题评论爬虫实战：手把手教你用Python多线程+DrissionPage开源库高效抓取评论
本文介绍了使用Python多线程技术高效爬取微博话题评论数据的方法。通过DrissionPage库实现浏览器模拟和API监听，结合DataRecorder存储数据，仅需30行核心代码即可解决传统爬虫效率低、易被封IP的问题。文章详细讲解了从话题搜索到文章详情页链接获取，再到评论数据监听与采集的完整流程，并展示了如何通过ThreadPoolExecutor实现多线程并发爬取。该方法支持多话题、多文章下的评论自动采集，最终数据将保存为结构化CSV文件。相比传统方案，该技术栈在反爬破解、数据监听和存储性能方面具有
2025-06-11 17:01:15
346
原创 Python的requests库实现微博评论爬取（保姆版+翻页爬取）
本文介绍了如何使用 Python 的 requests 库实现微博评论的爬取，并提供了详细的步骤和代码。其中，主要涉及到获取微博评论的接口 URL 和参数，以及如何构造请求头和发送 GET 请求。此外，还讲解了翻页爬取的方法和实现，以及如何将爬取到的数据保存为 CSV 文件。通过本文的学习，读者可以掌握使用 Python 进行微博评论爬取的基本技能。
2025-06-11 15:11:46
758
原创 rabbitmq教程
RabbitMQ 是一个广泛使用的消息服务器，采用 Erlang 语言编写，是一种开源的实现实现了AMQP（高级消息队列协议）的消息中间件；RabbitMQ 最初起源于金融系统，它的性能及稳定性都非常出色；AMQP 协议（http://www.amqp.org），即 Advanced Message Queuing Protocol，高级消息队列协议，是应用层协议的一个开放标准，为面向消息的中间件设计。
2024-03-07 21:01:57
1095
原创 解决mybatis的头文件报红http://mybatis.org/dtd/mybatis-3-config.dtd
http://mybatis.org/dtd/mybatis-3-config.dtd报红问题解决
2022-11-18 21:24:03
344
原创 Establishing SSL connection without server‘s identity verification is not recommended.问题解决
mybatis报错解决
2022-10-24 23:05:15
166
原创 ArraysList源码分析
public class ArrayList<E> extends AbstractList<E> implements List<E>, RandomAccess, Cloneable, java.io.Serializable{ private static final long serialVersionUID = 8683452581122892189L; /** * Default initial capacity.
2021-06-11 22:40:27
160
原创 在主机里面找不到VMnet1和VMnet8的问题解决方案，非常有效，记录一下
在主机里面找不到VMnet1和VMnet8会导致用一些图形化界面软件连接不上虚拟机一、打开这两个服务，卸载电脑上的VMware二、下载这个软件三、按图中步骤来四、重新安装vmware，完美解决
2021-01-27 23:00:24
2253
原创 Java基础写注册登录
纯Java基础写登录注册public class Register { public static void main(String[]args){ Scanner sc=new Scanner(System.in);//将形参实参化 register(sc);//调用注册的方法 } public static void register(Scanner sc){//用户注册方法 String registerPhone="";//将形参实参化 Stri
2020-09-27 14:27:34
4202
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人