CreateABetter-CSDN博客

原创爬虫——手机抓包，fiddler抓取手机qq请求

fiddler一个抓包工具，我们每一个页面请求，都可以被它检测到，用于分析请求，模拟手机，浏览器请求，制作我们的爬虫程序。我要做一个模拟QQ群搜索的工具 1.配置电脑端的fiddler 2.手机和电脑连接在同一wifi上面（没有wifi可以用360免费wifi用笔记本开一个) 3.手机连接wifi并设置代理端口是fiddler设置的8888 4.手机用浏览器...

2018-08-14 18:07:06 6301 1

原创机器学习聚类分析——k-means文本聚类分析

最近比较喜欢听《认真的老去》这首歌，那就抓这个豆瓣评论做数据集吧，，做个评论的聚类分析。一、抓到数据抓出来140条评论~~ 放代码~~ import requests from bs4 import BeautifulSoup start_page = 1 end_page = 7 data = [] while start_page <...

2018-08-13 17:59:20 3934 1

原创数据分析工具推荐-tableau

我是从excel起步的，对excel非常了解，做数据分析画图表时，会明显感到excel的图表的美观度较差，需要调很多的参数。后来，接触到tableau这个软件，感觉还不错。 excel适合数据处理，tableau适合图表展示。原创（AI_大数据)文章，公众号首发，欢迎您的关注打赏作者（下图），未来写出更好的文章及教程 ...

2018-08-10 16:16:29 1252

原创 python_pandas操作-数值上下滑动一个格

我在做上证指数计算，公式是：涨跌幅= (今日收盘价-作日收盘价)/昨日收盘价那么在pandas中如何操作呢？ 1.抓到数据（卖萌）。。。 2.我们有了两列值（日期，今日收盘价）那么我们如何求得昨日收盘价呢？今日收盘价上滑动一个格。 data['昨日收盘价'] = [0] + list(data['今日收盘价'].values[:-1]) ...

2018-08-10 16:13:12 851

原创机器学习特征工程之皮尔森相关系数 pearson correlation of features

示例图：皮尔森相关系数为了确定每个特征之间是否紧密相关，如果很相关就属于重复特征，可以去除。我们输入机器学习模型中的每个特征都独一无二，这才是最佳。 python实现代码 import seaborn as sns #图表模块 import matplotlib.pyplot as plt #绘图模块库 colormap = plt.cm.RdBu # 绘图库中的颜色查找表。比...

2018-08-09 17:30:27 3854