- 博客(124)
- 资源 (11)
- 收藏
- 关注
RSS订阅原创 Android Studio 打 release 包 Algorithm HmacPBESHA256 not available 问题解决
在 Settings->Build,Execution,Development->Gradle 处，如果没有 JDK 12 或者 13，点击 Download JDK，选择一个 13 版本下载 Apply 后再打包就 ok 了。解决办法也很简单，把 JDK 升级到 12 或者 13 就行，实测升级到太高，比如 17、18 容易出现新的问题。今天 Android Studio 在打 Release 包的时候，碰到这个问题，而一般用的是 Java8 或者 Java 11，就碰到这个问题了，
2025-07-10 17:43:36
193
原创 Django 使用 matplotlib 遇到 RuntimeError: main thread is not in main loop 解决办法
matplotlib 默认使用的后端（如 TkAgg）依赖于 GUI 环境，而 Django 运行在服务器端，没有这样的环境。通常是因为 matplotlib 默认会使用 GUI 后端，而 Django 是一个 Web 框架，在服务器端运行，没有 GUI 环境，且 matplotlib 的 GUI 后端在非主线程的上下文中使用时会出现问题。在 django 开发的接口服务中需要返回由 matplotlib 生成的图片，第一次页面请求接口正常，刷新页面后出现了以下异常导致服务崩溃，
2025-04-02 23:45:12
432
原创 XPath 语法无法定位到 svg 标签
有一个真实存在的 html，里面有一个 svg 标签，且路径如下，div -> span -> svg。实测发现这样无论怎样不行，几经搜索到 StackOverflow 才知道，需要使用下面的语法。通常情况下，我们可以通过下面的 xpath 语句获取到这个 svg 标签，这样才能正确获取到，事实上，获取 svg 标签下面的。
2025-03-09 17:03:03
281
原创 git 仓库下 .git/objects/pack/ 文件太大解决办法
连接起来，意味着首先清理所有分支的引用日志中的旧条目，然后在仓库中执行更彻底的垃圾收集。这种组合通常用于在清理引用日志之后，进一步清理和优化仓库。连接，这意味着如果第一部分命令成功执行，那么第二部分命令也会执行。总的来说，这个命令会立即执行更彻底的垃圾收集，包括清理无用的对象和优化仓库存储。总的来说，这个命令会立即清理所有分支的引用日志中的旧条目。实测省出来出来 20 多G空间，执行 20 分钟左右。命令由两部分组成，每部分都用。
2024-10-11 21:33:53
1502
原创 Ubuntu 20 安装 uwsgi 失败解决办法
这一切都可以在虚拟环境激活的时候完成，不需要卸载 Python 环境或者重新创建虚拟环境，非常简单。解决办法：安装对应的 Python 对应版本的编译依赖包即可。然后直接在虚拟环境里安装 uwsgi 就可以了。Python 版本：python3.8.10。环境：Ubuntu 20.04 LTS。虚拟环境路径：/home/venv。激活虚拟环境后，安装 uswgi。
2024-07-17 17:20:49
593
原创 2018-2022 年份微博签到数据集
前两年采集的深圳签到数据是 2022 年是当年的尚可，这次虽然时间跨度只有两个月，但是由于时间太过久远，但是颇费了一番心力，还好最终老师只需要每个月 10000 条左右，我赶紧停止了集群的采集，一看代理池马上欠费了。微博签到数据的采集，时间越久越难采集，看到网上有很多分享 2014 年全国微博签到数据的，我看了下其实那个只是 poi 数据，而且绝大部分的 poi 被重置了，poi 链接打不开，查无此微博。前阵子接到一个实验室老师的需求，采集五年前（2024-5=2019）过年前后的北京微博签到数据。
2024-07-10 00:24:58
915
7
原创 Android ANR 日志导出及分析
adb shelllsexit然后尝试尝试导出，发现权限不足，这是因为需要手机 root。退而求其次，使用bugreport最终在导出一个 zip 压缩文件，解压后 anr 在下述路径中其中的 anr 日志文件没有后缀名，其实是普通文本文件，可以用记事本打开。
2024-04-23 22:08:45
826
1
原创 Android Studio 通过 WIFI 调试手机 app
其中 xxxx 就是手机被分配的局域网 ip，可以系统设置 --> 关于手机 --> 状态消息（信息）里看到。其中端口号 5555 也可以指定其他值，该命令将会重启手机上的 adbd，该步成功的话无输出。第一种方法：只需要断开其他 usb 或者 wifi 连上的设备，只保留我们的目标设备手机即可。，则是由于连上了多个设备（ usb 连上的设备 + wifi 连上的设备），(最好只看到一个连上的设置，如果有多个，可能有麻烦，解决办法见后文)首先第一步，PC 和手机都需要连在同一个局域网 WIFI。
2024-04-02 21:56:19
1397
原创 Ubuntu 上 Pyexecjs报错 execjs._exceptions.ProgramError: SyntaxError: Unexpected token ?
这是因为 nodejs 版本太低了。
2024-03-05 17:10:55
1141
原创 携程上海酒店数据采集及可视化
价格越低，消费者评分的方差就越大，1-5 分都有分布，价格越高，评分越高，几乎都在 4 分以上。我觉得这有两个原因，第一，价格高的酒店数量远远不如酒店低的数量，第二，花了 2w 块住一晚酒店，那体验能不好吗？价格多分布在区间的下行，即大部分酒店价格较低，评分则多分布在区间上行，大部分酒店评分较高，这反映了上海市酒店服务业的整体水平较高。从价格的中位数来看，只平平无奇，但是从平均价格来看，上海的酒店价格至少是我老家，湖南一个省内著名省外无名三线城市价格的 2 倍。最后，把酒店价格可视化地展示在上海地图上。
2024-01-12 09:54:55
1796
7
原创 百度统计代码安装出现「referrer被禁用」或者「代码未生效」解决办法
今天安装官方指定的流程和位置安装百度统计代码时，出现了**「referrer被禁用」**，于是上网一搜，几乎绝大部分搜索结果都是让我在 head 标签内加下面一行代码。，这一搜，由于引发这个未生效的原因有很多种，我渐行渐远了，后来直接把这行代码删了，就安装成功了，笑死。于是我索性把下面这行替换成上面那行，结果就出现了。
2023-07-06 11:02:28
1874
原创 中国-省-市三级地图及世界地图在线编辑可视化工具上线
中国、省、地级市三级联动地图，可钻入钻出，可以选择全国地图、任意省份地图、任意地级市等层次地图进行编辑可视化
2022-10-12 14:54:12
25156
18
原创 streamlit 集成百度统计或谷歌分析的三种方法
streamlit 是当前炙手可热的快速搭建机器学习和数据分析工具站点的 Python web 框架，今天来探讨下有关 streamlit 网站统计相关的问题。给 streamlit 统计 PV 大概有三种方法。笔者环境：ubuntu 18.04 + Python 3.8.10 + streamlit 1.1.3.0第一种是使用 streamlit.components.v1 注入 js 代码，例如这种方法简单，但是对应多页面应用就比较麻烦了，每个 python 脚本都要复制一份同样的内容（may
2022-10-05 23:01:03
948
原创 2022 年 8 月初北上广深杭热门签到打卡点微博数据集
北上广深杭热门的微博打卡点约 20w 数据集，时间跨度为 2022 年元旦至 8 月 9 日。
2022-08-12 22:40:56
842
4
原创 2022 年最新微博签到数据集
微博签到数据集，目前全网搜到的多为较老的 800w 数据集或已下线的接口，没有多大参考价值。所以自研了一个系统，可以抓取全国任意城市的微博签到数据，单城市签到微博去重最多可达 100w+，字段包括经纬度、签到地点、微博链接、博主链接、内容、图片链接（图片可下载）、发布时间、转评赞数等数十个字段。下面是深圳 2022 年 4 月底最新微博签到数据集：共计 50w，csv 文件 330M。除了深圳，全国其他任意城市也可，如果一个城市需要更多数据，则需要定时增量抓取，北上广深杭一线城市达到 100w 数据
2022-05-09 11:52:49
5921
21
原创 RecyclerView 设置 maxHeight 无效的解决办法
遇到了这个如题所示问题，网上搜的都是自定义一个 MaxHeightRecyclerView 继承自 RecyclerView，然后重绘它的 onMeasure 方法，大概如下： @Override protected void onMeasure(int widthMeasureSpec, int heightMeasureSpec) { if (mHeightMax > 0) { heightMeasureSpec = MeasureSpec.
2022-04-21 11:27:36
4835
8
原创 Django 站点图标设置本地生效，远程服务器部署不生效解决
遇到这种情况多半是用了path('favicon.ico', serve, {'path': 'img/fav.ico'}),这样本地生效，远程不生效。解决办法是在 base.html 中 header 间添加一行<link rel="shortcut icon" href="{% static 'img/fav.ico' %}">
2022-02-19 23:51:11
800
原创 开源：用户微博备份助手浏览器扩展
扩展介绍得空写了个微博用户备份助手，它是一款浏览器扩展（插件）。它的作用是备份用户自己或者任意微博用户的微博数据，并将结果保存到本地的 lxsx 文件。使用指南1、确保在浏览器登录了 weibo.cn2、在 weibo.cn 或者 weibo.com 站点内的微博用户主页上点击扩展图标，会显示如上图，自动解析数字 uid，然后点击开始抓取按钮即可；如果自动解析失败，可手动输入然后抓取；如果自定义微博主页用户的数字 uid 获取方式为：在它的主页上任意一条微博上的用户名右键在新标签页打开，浏览器
2022-02-16 18:57:10
1465
原创 geopy 库 ConfigurationError 错误
错误详情geopy.exc.ConfigurationError: Using Nominatim with default or sample `user_agent` "geopy/2.2.0" is strongly discouraged, as it violates Nominatim's ToS https://operations.osmfoundation.org/policies/nominatim/ and may possibly cause 403 and 429 HTTP e
2021-12-21 17:15:10
2394
3
原创 微博评论爬虫解决 meiko 之问，S 11 冠军皮肤选猫咪还是选露露呢
S11 结束了，EDG 牛逼就完事了。作为 Meiko 十年老粉，我看到他发了这样一条微博：所以是选露露还是猫咪呢？广大网友在评论区讨论得不亦乐乎。我突然灵光一闪，可以用爬虫把这些评论抓取下来，提取每一条评论中的包含露露、猫咪等关键词，每一条评论出现一次 vote 就 + 1，然后可视化出来大家都想选啥英雄，说干就干。昨晚下班后熬夜干到快 12 点，终于 done 了。差不多把这 3 w条评论全部抓取下来了，评论数据时间是截止 2021.11.11 晚上 11 点。然后就是抽取分析统计了，核
2021-11-13 16:54:22
889
原创 微博位置爬虫发布
微博数据分析经常需要和地理位置相关联，比如查看某一话题下发博人员地理分布，或者用户爬虫下某人轨迹分布，等等；而这次的微博位置爬虫则是直接以位置为切入点爬取微博，只需要输入一个地名，就能抓取在该地点发过的微博具体信息，表结构类似话题爬虫。这个位置爬虫的结果可以和用户信息爬虫联动，比如有这样一个分析任务：去北京环球影城的人，都发了什么微博，男生多还是女生多，年龄群体分布怎么样，等等。都可以先用这个微博位置爬虫，爬完后的 csv 交给用户信息爬虫处理即可。闲话不多说，首先在 公众号 月小水长 后台回复 微博
2021-09-17 10:43:43
2606
1
原创 不写一行，自动生成爬虫代码
从今天开始，开一个专栏，编程每日一问，如其名，旨在分享探讨编程中那些实用的技巧或知识，多短小精悍。今天的话题是，如果不写一行代码，完成一份最小可运行性的爬虫代码。直接举 com 微博评论爬虫这个例子，打开下面这个网网址https://weibo.com/1192329374/Knsnj9B3D按照以下步骤来在 Network 栏目 Filter 处输入 ’build’ 过滤请求，找到评论获取的那个接口在接口上右键，Copy --> Copy as cURL(bash)；（cur
2021-09-04 11:04:19
1139
原创 开源一个豆瓣用户广播爬虫
应不住读者的请求，打算新开一个豆瓣系列的爬虫，主要是为了爬取豆瓣的小组和用户信息，并且全部开源出来。今天这篇主要是分享豆瓣用户广播爬虫，可能还是有不少同学对豆瓣广播不熟悉的，看下图就很清楚，豆瓣的广播有点类似于 QQ 空间的说说，但是多了一些豆瓣自己的元素，比如，”在看“、”在读“，”听过“ 这些 Action。抓取的主要内容是广播里的听说读看这四部分（不包括转发的内容），但是听这一个又包括在听，想听，听过等，所有种类比较多，同时字段又不规则，所以本次保存的文件形式不再是 csv，而是 json；我个
2021-08-25 10:39:36
696
原创 2021 新版微博转发爬虫发布
今日发布的微博转发爬虫，是之前从没有发布过的微博爬虫，一样是付费内容，主要实现概述如下：根据指定的微博 mid 爬取该微博的转发信息。爬取该微博的转发微博的转发信息；甚至转发地转发地转发，可以无限地套娃…爬取并保存的，字段信息如下：字段名解释mid纯数字形式的微博唯一标识，可与字母+数字形式 id 互转publish_time发布时间user_name微博作者名user_link微博作者链接content内容weibo_link微博链
2021-07-17 18:36:19
1241
原创 2021 年 7 月最新微博话题爬虫发布
写在前面时光飞逝，距离微博爬虫这个项目及系列文章 微博超级爬虫 第一次发布已经过去将近两年了，最开始，我也没想到，会维护这个项目如此之久。项目更新过很多次，从代码到文章，熬过夜，也废过食，还好一直有读者反馈，也有不少点赞支持的粉丝，这些大概都是维护这个项目的动力来源。这一年，完成了从一名学生到大厂工程师的转变，自由支配的时间少了许多；有感于大家的热情咨询，这一两周抽空，完成了 2021 年最新版微博爬虫的代码；包括话题、评论、用户三个部分。今天要发布的就是新版****微博话题爬虫。微博话题爬虫相
2021-07-09 09:33:33
877
原创 20 w 新闻数据集分享
新闻系列的分享进入尾声了，在开启这个系列前，我说过一个目标是，让 nlper 有足够多的新闻语料数据集去训练。不知不觉中，新闻聚合网站（https://xt98.tech:9494) 自从 2021/03/28 上线以来，已经稳定运行 3 个月整了，这三个月来，澎湃新闻爬虫、腾讯新闻爬虫每天都在不辞辛劳地抓取数据并保存在阿里云服务器上，最近由于阿里云服务器快到期了，原本不到 200 一年的服务器今年续费价格快 2000 了，不打算续费了，所以想把这些保存的数据免费分享出来，算是对一直默默关注我的粉丝的小福
2021-07-09 09:24:57
4084
1
原创 新闻平台聚合之纽约时报爬虫发布
idea of startproject对于 web 开发者而言，目前各大新闻门户网站，新浪新闻，百度新闻，腾讯新闻，澎湃新闻，头条新闻并没有提供稳定可用的 feed api。对于 nlper，缺乏足够的新闻语料数据集来供训练。对于新闻传播/社会学/心理学等从业者，缺乏获取新闻数据的简单易用途径来供分析。如果上面三点是某见识所限，其实并不存在的话，第 4 点，则是某的私心，某以为互联网的记忆太短了，热搜一浪盖过一浪，所以试图定格互联网新闻的某些瞬间，最后会以网站的形式发布出来。
2021-03-28 14:05:13
1997
6
原创 新闻平台聚合之新浪新闻爬虫发布
idea of startproject对于 web 开发者而言，目前各大新闻门户网站，新浪新闻，百度新闻，腾讯新闻，澎湃新闻，头条新闻并没有提供稳定可用的 feed api。对于 nlper，缺乏足够的新闻语料数据集来供训练。对于新闻传播/社会学/心理学等从业者，缺乏获取新闻数据的简单易用途径来供分析。如果上面三点是某见识所限，其实并不存在的话，第 4 点，则是某的私心，某以为互联网的记忆太短了，热搜一浪盖过一浪，所以试图定格互联网新闻的某些瞬间，最后会以网站的形式发布出来。
2021-03-12 22:34:44
763
原创 新闻平台聚合之腾讯新闻爬虫发布
idea of startproject对于 web 开发者而言，目前各大新闻门户网站，新浪新闻，百度新闻，腾讯新闻，澎湃新闻，头条新闻并没有提供稳定可用的 feed api。对于 nlper，缺乏足够的新闻语料数据集来供训练。对于新闻传播/社会学/心理学等从业者，缺乏获取新闻数据的简单易用途径来供分析。如果上面三点是某见识所限，其实并不存在的话，第 4 点，则是某的私心，某以为互联网的记忆太短了，热搜一浪盖过一浪，所以试图定格互联网新闻的某些瞬间，最后会以网站的形式发布出来。
2021-03-11 23:05:21
787
5
原创 澎湃新闻网站全站新闻爬虫及各大新闻平台聚合爬虫发布
idea of startproject对于 web 开发者而言，目前各大新闻门户网站，新浪新闻，百度新闻，腾讯新闻，澎湃新闻，头条新闻并没有提供稳定可用的 feed api。对于 nlper，缺乏足够的新闻语料数据集来供训练。对于新闻传播/社会学/心理学等从业者，缺乏获取新闻数据的简单易用途径来供分析。如果上面三点是某见识所限，其实并不存在的话，第 4 点，则是某的私心，某以为互联网的记忆太短了，热搜一浪盖过一浪，所以试图定格互联网新闻的某些瞬间，最后会以网站的形式发布出来。这个 proje
2021-01-01 13:11:08
2878
3
原创 百度新闻爬虫
这是本项目的开篇，在这个小项目中，将要基于爬虫和GUI编程写一个写个小工具，目的是不用打开浏览器，也能搜到一些关键信息，并将这些信息持久化保存下来，读者可以对这些数据进行分析，比如舆情分析，或作为 NLP 的语料输入。众所周知，搜索引擎的一个核心技术就是爬虫技术，各大搜索引擎的爬虫将个网站的快照索引起来 ，用户搜索时，输入关键词并回车后，基于搜索引擎的浏览器就将相关信息按照一定排序规则展现给用户，今天分享的这个爬虫，是爬取百度爬虫爬取的内容，听起来，有点像俄罗斯套娃。其实你现在能够在网站看到的这篇文章，
2020-11-29 16:43:26
5846
4
原创 我用 Python 写了个基金涨跌通知助手
2020 年，世界风云变化，基金也是。我们都知道股票或者债券，它们都属于直接投资，而基金是间接投资，我们把钱投在基金里，相当于把这些钱交给专业基金公司的专业经理人，这些经理人再去投资股票或者债券。理论上比我们自己直接投资更靠谱些，但是天总是有不测风云。这篇文章不讨论基金策略，而是讨论查看基金涨跌的策略，相信很多人看基金都是通过手机，但是基金的涨跌扣人心弦，隔几分钟我就忍不住打开手机查看基金实时净值，在某些公司，这样是会被扣工资的。于是乎，花了一晚上写了个基金提示小助手，并部署上了阿里云服务器，关注的
2020-09-02 22:41:29
3010
1
原创 像学 SQL 那样学 pandas
作为 pandas 教程的第四篇，本篇将对比 SQL 语言，学习 pandas 中各种类 SQL 操作，文章篇幅较长，可以先收藏后食用，但不可以收藏后积灰~为了方便，依然以下面这个 DataFrame 为例，其变量名为 df，设有一同样结构的 SQL 表，表名为 tb：and、or、not 和集合资格测试 in1、and需求：选择成绩大于 90 分的男生的成绩单sql 写法：select * from tb where sex="male" and grade>90pandas 写法：
2020-06-26 14:05:27
407
原创 数据分析利器 pandas 系列教程（三）：读写文件三十六计
前面我们学完了 pandas 中最重要的两个数学结构：Series 和 DataFrame，今天来侃侃 pandas 读写文件的那些 tricks，我有十足的信心，大家看了定会有所收获。读写 csv 的正确姿势假如要保存下面这个 DataFrame保存到 csv 中，我常用的一行代码是：df.to_csv('exam_result.csv', index=False, encoding='utf-8-sig')第一个参数是保存的文件名，第二个参数是不保存 index 索引，第三个参数是指定保
2020-06-22 12:52:52
394
原创 B 站视频下载器（BV号、dash、音视频分离）
我为什么要写 B 站视频爬虫这几天沉迷于 B 站的某些剪辑，洗脑循环中，如 up 主 上天下 的《白蛇：缘起》无对白版片尾曲《前世今生》完整版4分06秒 演唱：龚笑笑，链接如下https://www.bilibili.com/video/BV1Qb411q7Xu面对这样一个深得我心的视频，我脑海里瞬间冒出了下载到本地这个需求，一来方便离线播放，二来可以进行再创作（当然会注明出处~），于...
2020-04-13 12:41:23
4852
某乎问题下回答数据集 CSV
2024-07-09
CUFE 思享推送经验心得
2024-07-09
RUC 思享推送经验心得
2024-07-09
BIT 思享推送经验心得
2024-07-09
Yelp 爬虫，洛杉矶 500 家饭店数据样例
2023-10-30
2020 英雄联盟全球总决赛 SN vs DWG 约 50000 条弹幕文本
2023-10-30
ChatGPT 话题数据集（英文）
2023-04-21
发布自己的轮子到 pypi 后 pip install 确是 not found 的原因
2022-10-11
TA创建的收藏夹 TA关注的收藏夹
TA关注的人