崔子末-CSDN博客

原创 Pandas读取excel异常

Pandas处理Excel常见异常 ValueError: Excel file format cannot be determined, you must specify an engine manually. zipfile.BadZipFile: File is not a zip file

2024-06-07 09:11:43 1316

原创自动化工具之-影刀RPA

影刀RPA是一款软件机器人，能模拟人的各种操作，在任何应用程序上进行鼠标点击、键盘输入、信息读取等操作，释放各种有逻辑规则、重复性的人工工作。作为刚入门的自动化工具，上手快，操作方便，其部分功能能够提高开发的效率，而且还是零基础，对于开发，测试都有益的工具，我觉得各位兄弟们可以学起来。

2023-12-06 08:12:20 2602

最近在写一个自动化的项目, 其中需要工具去实现文件的上传和下载, 因为在之前的工作中没有使用过类似方法, 所以我在学习和尝试中，找到了很多乐趣，下面给大家分享下，如何去实现操作操作前提你要有一个上传文件的接口, 例如: http://xx.xxx.xxx.xxx:xxxx/file/upload (IP属于公司内部的不方便透露)上传参数: {"'dataM'": "202111", "file": "202111.zip"} 这里的话只用到了两个参数一个是时间, 一个是文件名, 这里没有限制文件的大

2021-11-29 14:12:30 1279

原创 linux下部署selenium爬虫程序

文章目录前言一、selenium是什么？二、使用步骤1.引入库2.测试代码三、部署程序1.安装chrome2.安装chromedriver驱动3.运行测试代码总结前言提示：我这里是工作需要把selenium 爬虫程序部署到Linux 服务器上面顺便跟大家交流一下如果有兴趣的话可以看一下,一、selenium是什么？示例：Selenium是一个用于Web应用程序测试的工具。Selenium测试直接运行在浏览器中，就像真正的用户在操作一样, 爬虫用它来抓取一些js动态加载的数据二、使用步骤.

2021-11-24 14:36:06 4899 12

原创 MySQL入门一

1.概述1.数据库的介绍定义对大量信息进行管理的高效解决方案，按照数据结构来组织、储存和管理的库数据库系统(DataBase System)=数据库管理系统(DBMS) + 数据库管理员关系型数据库系统,建立在关系模型上的数据库系统关系模型：当将日常生活中的实体（学生）,和实体的属性（学号、姓名）存储到数据中,应该如何处理该实体结构数据结构可以规定,同类数据,结构一致,就是一个...

2020-06-22 12:48:23 146

原创 scrapy 爬虫的部署以及gerapy使用

scrapy部署介绍相关的中文文档地址https://scrapyd.readthedocs.io/en/latest/安装相关库scrapyd是运行scrapy爬虫的服务程序,它支持以http命令方式发布、删除、启动、停止爬虫程序。而且scrapyd可以同时管理多个爬虫,每个爬虫还可以有多个版本pip3 install scrapydscrapyd-client发布爬虫需要使用另一...

2019-09-22 19:36:41 458

原创 scrapy_redis使用后小总结

为什么要用呢；Scrapy_redis在scrapy的基础上实现了更多，更强大的功能，具体体现在：reqeust去重，爬虫持久化，和轻松实现分布式首先安装：pip3 install scrapy-redis如果这样不可以的话加镜像源试一下哦：-i https://pypi.douban.com/simple搞定看下一步：Scrapy-redis提供了下面四种组件（compon...

2019-09-22 18:51:17 239

原创 python的多线程与线程池的使用

线程python的thread模块是比较底层的模块，python的threading模块是对thread做了一些包装的，可以更加方便的被使用说到线程要知道它是什么东东1.线程是cpu执行的基本单元2.线程之间的执行是无序的3.同一进程下的线程的资源是共享的（线程锁，互斥锁）4.线程可以实现多任务，多用来处理I/O密集型任务GIL:由于python的CPython解释器的原因...

2019-09-10 20:27:50 346

原创 BeautifulSoup4 和 pyquery 的基本用法

CSS选择器：BeautifulSoup4啰嗦一下我们安装 pip install BeautifulSoup4 #如果安装慢或者报错的话不如在最后面加一个镜像源试一试 -i https://pypi.douban.com/simple解决一个疑问 BeautifulSoup4是什么东西呢？Beautiful Soup 和 lxml 一样，Beautiful Soup...

2019-09-10 19:58:45 543

原创 requsets请求方式和xpath解析器的基本用法

requestsPython的标准库中 urllib 模块已经包含了平常我们使用的大多数功能，但是它的 API 使用起来让人感觉不太好，Requests 继承了urllib的所有特性，并且API使用更加方便，可以简化我们的代码首先安装pip3 install requests它有两种请求方式：get 和 postget示例代码url = "https://xueqiu.com/v4/s...

2019-09-09 17:32:35 617