- 博客(33)
- 收藏
- 关注
RSS订阅原创 14-美妆数据分析
美妆数据分析可以帮助企业更好地理解市场趋势、客户偏好和产品表现importpandasaspdimportnumpyasnp二、使用步骤1.标题切分代码如下（示例）：2.数据分析1）各品牌分布代码如下（示例）：
2025-01-18 23:07:22
733
原创 13-电商数据分析
import pandas as pdimport numpy as np二、数据分析1.每年销售额的增长情况代码如下（示例）：2.各个地区分店的销售额代码如下（示例）：
2025-01-16 23:03:56
701
原创 12-用户画像分析
用户画像分析是一种通过收集和分析用户的个人信息、行为数据、兴趣偏好等，来描绘和描述用户的特征和特点的技术方法。用户画像可以帮助企业更好地了解自己的目标用户群体，从而更准确地针对用户需求进行产品设计、服务定位、营销推广等工作。用户画像分析可以从多个维度进行，如以下几个方面：人口统计信息：通过用户的年龄、性别、教育程度、职业等基本信息，来了解用户的社会背景和一些基本特征。行为特征：通过用户在平台或应用上的行为数据，如浏览记录、购买记录、搜索关键词等，来了解用户的消费习惯、偏好和需求。
2025-01-13 21:22:37
1051
原创 11-天猫订单数据分析
import numpy as npimport pandas as pd二、使用步骤1.数据清洗代码如下（示例）：2.对订单状况进行分析代码如下（示例）：
2025-01-12 00:24:32
829
原创 10-pyecharts绘图
Pyecharts是Python中数据可视化的强大工具，适合初学者和有经验的用户，他们希望轻松创建专业质量的图表。使用模板：全局配置项 set_global_opts 设置全局配置项图表实例.set_global_opts(配置项名称=opts.配置项类名({配置项key:value}))系列配置项图表实例.set_series_opts(配置项名称=opts.配置项类名({配置项key:value}))
2025-01-10 20:47:11
652
原创 8-matplotlib画图
plt.show() # 显示图形,pycharm里一定要使用这条语句才能将图显示出来plt.rcParams['font.family']='SimHei' # 设置中文显示为黑体# 设置画布大小plt.figure(figsize=(8,4),dpi=80,facecolor='pink') # 逗号前表示的是宽度,后面的表示高度# linestyle线的风格，color颜色,marker设置折点的形状,markersize折点的大小,markeredgecolor折点的边框颜色。
2025-01-05 15:16:28
479
原创 6-pandas分组聚合与数据读取
groupby() 是 pandas 库中用于对数据进行分组操作的一个非常重要的方法。2. agg方法：（1）单个函数聚合----如果你只想对某一列应用一个函数，可以直接传递该函数的名字或函数对象给 agg 方法：eg：agg({'金额': 'sum'})（2）多个函数聚合----如果你想对某一列应用多个函数，可以传递一个列表给 agg 方法。eg:agg({'金额': ['sum', 'mean']})（3）不同的列不同函数----如果你希望对不同的列应用不同的聚合函数，可以在 agg 方法中传
2024-12-30 23:31:13
1904
原创 5-pandas常用操作2
例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。
2024-12-28 19:58:06
1936
原创 4-pandas常用操作
可以使用concat()方法将多个DataFrame进行拼接。使用merge()方法可以按照指定的列将两个DataFrame进行合并。df2 = pd.DataFrame(np.arange(9).reshape(3,3),index=['sh','cs','bj'],columns=['a','b','c'])df2.index2.修改indexdf2.index = ['shanghai','ch
2024-12-25 19:04:55
772
原创 3-pandas基本使用
安装使用DataFrame：一种二维表状数据结构，用于存储和操作数据。Series：一维标记数组，类似于电子表格中的列。Pandas是一个强大的库，简化了Python中的数据操作和分析过程。
2024-12-22 22:10:10
695
原创 02-numpy计算
广播机制在数据分析和科学计算中非常有用，它允许你以一种高效和简洁的方式对不同形状的数据集进行运算。例如，在图像处理中，你可能需要将一个三维的RGB图像数组与一个一维的颜色调整数组相乘，广播使得这种类型的操作变得直接而简单。总的来说，NumPy的广播机制是一个强大的工具，它增强了数组运算的灵活性，同时保持了代码的简洁性和性能。
2024-12-21 01:15:02
847
原创 7-python之数据解析xpath方法解析
print(tree.xpath('/html')) # [html标签对象]最左侧的斜杠：xpath表达式一定要从根标签开始匹配标签非最左侧的斜杠：一个层级 html的儿子title// 最左侧的双斜杠：从html中直接提取到标题（不管title是属于谁的儿子）非最左侧的// 代表后代（儿子，孙子，重孙子....）标签注意特殊情况：有时候参照浏览器的元素面板找标签可以正确找到，但是python通过xpath表达式找不到。
2024-12-14 18:51:02
969
原创 6-python之数据解析
字典--通过json.dumps()-》转化为json字符串json字符串--通过json.loads()-》转化为字典。
2024-12-14 00:01:42
568
原创 3-请求传参与响应
如果从目标url的响应中看到数据格式长得像python中的列表或者字典，可以使用.json的方法获取。分页从0开始，每页显示20条数据，下一页的start值加20。使用input函数可以在控制台中输入内容。params:get请求参数的字典。headers:请求伪装（请求头）得到的数据类型就一定是字符串类型。'keyword': '长沙','cname': '长沙',修改url中kw的参数的值。
2024-12-08 22:21:58
474
原创 numpy操作-2
Numpy（Numerical Python）是一个开源的Python科学计算库，它提供了一个强大的N维数组对象和用于操作这些数组的工具。Numpy的核心功能包括：1.Numpy提供了向量化操作，可以在单个操作中处理整个数组，而不是逐个元素处理，大大提高了计算效率,便捷的运算与多功能的函数2.广播机制,可以对形状不同的数组进行相互操作3.内存优化,Numpy的数组在内存中是连续存储的，这使得对数组的访问和操作非常高效。4.多库兼容,许多其他重要的数据科学和机器学习库都依赖于它在使用 之前，需要先导入库，
2024-11-09 17:49:24
945
1
原创 5,1 Python请求之cookie
使用：请求某个数据，cookie是必须要加的伪装直接cookie放到请求头先requests请求登录/主页 获取响应的cookie requests请求目标url 传入cookie先session请求登录/主页 再session请求目标url。
2024-10-15 13:34:44
590
原创 10-python连接mysql
数据库编程是在应用程序中与数据库交互和管理数据的关键部分。MySQL是一种流行的关系型数据库管理系统（RDBMS），在Python中进行MySQL数据库编程相对容易二、使用步骤1.细节完善代码如下（示例）：2.实例代码如下（示例）：
2024-10-14 17:58:02
231
原创 20，Scrapy中间件的使用
scrapy中有两个中间件下载中间件DownloaderMiddleware：位于引擎和下载器中间爬虫中间件SpiderMiddleware：位于引擎和爬虫中间，一般不用下载中间件的作用是用来篡改请求和响应，比如篡改请求：加一些请求头，加代理等等，篡改响应就是更改响应的内容注意settings中也要开启中间件才可以DOWNLOADER_MIDDLEWARES={#开启中间件"scrapy4.middlewares.Scrapy4DownloaderMiddleware":
2024-10-13 17:59:44
164
原创 19-1，scrapy解析详情页数据之CrawlSpider类可实现自动分页
使用方式：CrawlSpider类：定义了一些规则来做跟进爬取，从爬取的页面中获取链接并且进行爬虫scrapy genspider -t crawl 爬虫名 爬虫域名。
2024-10-11 17:00:52
275
原创 18.Python第三方框架scrapy之多页数据
代码如下（示例）：# 获取parse方法传递过来的item对象# 获取所有详情车型的数据# 定义一个列表，保存单辆车的详情页数据# 车型名称# 车型：名称，价格yield itemitems.py文件里的内容同一个item在两个方法中需要通过meta参数传递。
2024-10-09 17:03:29
1003
原创 11-自动化爬虫Selenium（了解）
提示：这里对文章进行总结：例如：以上就是今天要讲的内容，本文仅仅简单介绍了pandas的使用，而pandas提供了大量能使我们快速便捷地处理数据的函数和方法。t=O83AChromeDriver下载安装-CSDN博客https://blog.csdn.net/a1053765496/article/details/140723456。
2024-10-07 00:11:13
824
原创 15，异步（async）爬虫
推荐的方式： 单线程+多个任务 当程序中遇到阻塞时，cpu会切换到其它软件工作，不会等待着处理。我们希望在遇到阻塞的时候，cpu可以还继续 帮我们执 行其它的任务处理方案：协程：当程序遇见了阻塞操作的时候，可以选择性的切换到其它任务上。
2024-10-04 07:08:03
355
原创 12-自动化爬虫之drissionpage学习
DrissionPage 是一个基于 python 的网页自动化工具。它既能控制浏览器，也能收发数据包，还能把两者合而为一。可兼顾浏览器自动化的便利性和 requests 的高效率。它功能强大，内置无数人性化设计和便捷功能。它的语法简洁而优雅，代码量少，对新手友好。提示：先安装 pip install drissionpage自动化爬虫之drissionpage学习注意点：等待时间懒加载处理方法。
2024-09-27 23:57:41
3385
原创 16，17-1Python第三方框架之scrapy
安装pip install scrapy查看安装列表pip list得到的信息（版本可能不兼容）Scrapy 2.9.0Twisted-23.8.0scrapy因为scrapy是异步框架，为什么是异步框架，是因为用了Twisted如果使用scrapy2.9.0 会有兼容问题需要手动降版本先卸载 pip uninstall Twisted （可以省略）再安装 pip install Twisted==22.10.01，通过终端命令创建 scrapy startp
2024-09-27 07:38:27
543
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人