- 博客(53)
- 收藏
- 关注
原创 实现模型服务的公网访问,通过FRP实现内网透传
内网透传的常用方式就是部署花生壳,或者最直接的用本地路由器上的NAT转换,但还有一种更流行,且免费的解决方案,就是找一台有公网IP的服务器做服务端,在本地windows电脑上部署客户端,部署FRP服务。
2025-07-21 14:36:18
21
原创 python调用ollama.client读取本地向量数据库实现问答。解决503报错!
这个代码可以很清楚的展示如何使用python调用ollama.client,确定ollama的具体服务IP端口,然后读取本地向量数据库,最后对输入的问题进行回答的过程。
2025-07-20 21:36:41
50
原创 常见的调用ollama的方法
上面的代码,即便通过科学上网,也不影响使用,代码可以正常访问本地localhost的服务,同时,我们在科学上网的情况下,也可以用浏览器正常打开localhost:11434,也证明这种通过页面接口的访问是正常的。这个代码是直接调用ollama的url接口地址,调用本地的大模型来进行对话,代码中可见,调用的是deepseek。但这个代码的前提条件是ollama服务要运行,也就是运行了ollama serve命令。要想在本地部署deepseek,大家可以自行百度基于ollama部署的教程。
2025-07-20 21:26:18
42
原创 ollama基本配置
新建”环境变量,修改默认端口号,ollama默认使用11434端口,变量名为“OLLAMA_PORT”,变量值为可以自定义一个5为数字,我这里使用“11438”,这样就可以解决端口号被占用有冲突的问题,要是这个端口号还不行,那么再更换一个。确认ollama已经启动,我们打开命令提示符,使用win键+R键输入 “cmd”打开命令提示符,下图所示,输入“ollama”然后回车,如果有下图所示的返回信息,就表示ollama没有问题了。到此,ollama的全部安装配置就完成了,如还有其他问题可以留言评论。
2025-07-20 20:31:12
196
原创 04训练windows电脑低算力显卡如何部署pytorch实现GPU加速
后来我发现安装的pytorch算力需要与安装的cuda算力相匹配,具体说来是**cuda算力(Linux下可通过nvidia-smi命令查看cuda算力)要大于等于pytorch算力,**而我所安装的pytorch由于版本较新,不满足以上条件,因此会报以上错误。大多数人用的电脑的显卡配置可能没有那么强,也就是说,我们很难享受到最新版本pytorch给我们带来的模型训练的速度和效率,为此,我们需要想办法在现有显卡情况下部署应用pytorch。前期,本人曾一顿鼓捣,也安装了cuda,版本为11.4。
2025-07-20 19:40:45
147
原创 使用unsloth模型微调过程
本文介绍了使用Jupyter Notebook进行模型微调的方法,重点讲解了环境检查和预训练模型加载过程。首先通过torch库检查CUDA环境是否可用,然后详细说明了如何从本地加载4bit量化预训练模型(如Qwen2.5-VL-7B-Instruct)来减少内存占用。文章提供了官方文档参考链接,并解释了模型列表的作用和使用场景。通过使用FastVisionModel.from_pretrained方法加载模型,同时开启梯度检查点功能以支持长上下文处理。最后展示了模型成功加载时的预期输出效果。
2025-07-20 19:38:06
31
原创 内网ubuntu系统安装mysql
选择箭头所指版本即可,这个版本是MySQL 官方为 Ubuntu 25.04 提供的完整 DEB 安装包集合(deb-bundle),包含了服务端、客户端、库、工具等全部依赖,非常适合下载后拷贝进内网机器手动安装。/etc/mysql/mysql.conf.d/mysqld.cnf这个路径下的配置文件,增加bind-address的配置,如下面箭头所示。我们在创建一个专门用于远程访问的数据库用户,可以通过以下命令创建,其中hubeietc是我随便起的名字,密码也可以随便设置。登录这个页面,选择对应版本。
2025-06-30 22:12:59
81
原创 linux ubuntu系统运行python虚拟环境,启用端口服务和定时任务
查找当前系统python虚拟环境删除虚拟环境创建一个python虚拟环境激活某一个虚拟环境退出某一个虚拟环境deactivate查看crontab运行日志查看crontab打印的脚本日志tail -n 100 /home/mine/pyproject/congesstion/cron.log (只看最近100行) 加上-f可以一值看cat /home/mine/pyproject/congesstion/cron.log (看所有)创建crontab。
2025-03-04 13:25:11
914
原创 zabbix简单配置
访问本机ip加端口80,用户名(Username):Admin密码(Password):zabbix上述三项都是默认配置在服务器端,可以安装agent也可以用snmp来监控首先进入root权限,对于ubuntu系统来说,首先设置root用户名ubuntu服务器进入root用户sudo passwd root 设置root初始密码su - 切换进入root用户是的,您可以不安装 Zabbix Agent,而是通过 SNMP(简单网络管理协议)进行监控。
2025-03-03 11:47:42
283
原创 linux server docker 拉取镜像速度太慢或者超时的问题处理记录
将对应的tar包上传到linux服务器的文件夹下,和docker-compose.yml同一个文件夹。上述四个镜像全部加载完成后,再次运行compose文件。可以看到现在就已经可以运行了。我在window的docker中下载了对应的镜像,并用以下语句生成了tar包。甚至已经连续下载一晚上了,还是卡在这里,不见任何下载进展。
2025-03-03 11:46:42
220
原创 01数据准备 抓取图片 通过爬虫方式获取bing的关键词搜索图片
这就是我们通过链接下载图片的核心思路。我们虽然得到了很多搜索出来的图片,但这里我们虽然需要评估一下搜索引擎搜索出来的结果是否符合预期,但更重要的是关注他上面的链接地址,因为即便搜索效果不好,我们还可以通过下载更多的图片,人工辅助筛选,但如果页面本来就很难去人工构造模拟请求,那么就不好做后续工作了。我们在搜索的结果页面,右键点击鼠标,进入“检查”页面,或者也可以直接进入开发者页面,点击进入元素页面后,我们鼠标在各类元素中移动的时候,上面的页面也会高亮,突出具体的元素对应的位置,我们挨个检查不同的div。
2025-02-19 09:37:06
219
原创 00基础环境准备--python环境的准备
选择 Python 环境时,有一些不同的选项,包括直接使用 Python 安装包、使用 Anaconda。
2024-07-22 13:40:29
159
原创 05预测识别-依托YOLO V8进行训练模型的识别——对视频中的目标进行跟踪统计
上文中详细介绍了如何对视频进行抽帧,并对帧的图像进行目标识别。但在日常工作中,我们也会遇到需要对目标进行跟踪统计的情况,比如我们需要连续统计某一类目标有多少个的时候,如果单纯从帧中抽取图像的话,系统将无法判断是否为同一目标,从而造成目标数量统计的重复,导致结果不准确或者远远脱离正常水平。这就需要我们掌握对目标做动态跟踪的程序实现方法,从而更为准确的统计目标数量。
2023-11-08 13:01:02
1139
原创 04训练——基于YOLO V8的自定义数据集训练-----windows环境下训练代码
在下面代码中,为了更高效,本人使用了yolov8s这一个轻量级模型,我们可以查看官网上各类模型在目标识别方面的性能对比情况,大家可以结合实际使用更大的模型从而追求更好的效果。于前面讲的在colab中的代码不同,因为colab本质上是linux环境,linux环境和windows环境下对多进程的调用方法不同,在参数上,需要增加amp=False,这是因为不加这个参数的话,会出现Nan Loss的情况,导致训练异常,得到的模型无法检测到目标。windows环境下需要增加“if。windows环境下训练代码。
2023-11-06 19:36:36
351
原创 00基础环境准备--GPU资源配置
安装完成后,在cmd中运行nvidia-smi命令,可以看到如下提示,证明英伟达显卡的驱动程序已经安装完毕了,其中显卡驱动版本为537.70,可以支持CUDA的最新版本为12.2,对应的,我们就要安装相关版本的CUDA和pytorch。访问https://developer.nvidia.com/cuda-toolkit-archive,下载12.2版本的cuda,如下图所示,我们下载12.2中最新版本的CUDA Toolkit 12.2.2。安装完成后,在系统环境变量中,增加如下两个变量。
2023-11-02 18:43:39
528
原创 04训练——基于YOLO V8的自定义数据集训练——在windows环境准备
为此,在我们实际的项目需求中,仍然需要掌握如何在windows环境下,调用本地电脑的GPU资源进行模型的训练。三是免费使用gpu的额度有限制,也就是说当你频繁使用colab做训练的时候,会提示配额已满,甚至我们耗费很长时间进行训练的时候,突然运行报错,实际上就是配额慢了,造成前期工作白费了。在上述步骤完成之后,便可调用本地电脑的GPU资源了,具体的代码与基于linux环境的colab上运行的代码类似,但有些许不同,笔者将逐一讲解。一是需要通过虚拟服务器做为跳板机来访问,总体操作起来非常繁杂。
2023-10-09 08:48:45
1076
原创 04训练——基于YOLO V8的自定义数据集训练——训练结果说明
PR_curve 是 P-R 曲线的简称,它是精确率和召回率之间的关系曲线,精确率表示预测为正类的样本中有多少是真正的正类,召回率表示真正的正类中有多少被预测为正类。当你看到如下图所示的结果,就证明训练已经结束,并且可以在左侧文件夹中找到生成的weights文件夹,其中的best.pt就是生成的效果最好的模型文件,last.pt是生成的训练到当前状态最新的模型文件。例如,all类别的mAP50-95是0.316,表示整个模型在测试集上按照IOU从0.5到0.95的不同标准,目标检测的平均精度是31.6%。
2023-10-08 18:53:06
4016
1
原创 05预测识别-依托YOLO V8进行训练模型的识别——对视频中的图片进行识别
在前面的一些章节中,我们已经讲如何准备打标签的素材、如何制作标签、如何训练以及得到我们最终需要的用于YOLO目标识别的模型。那么现在我们就要正式开始,利用我们训练得到的best.pt,这个模型文件来对图片视频进行识别。
2023-09-21 15:37:36
1889
2
原创 06视频推流测试——使用ffmpeg进行推流生成rtsp视频流
在我们完成开发工作之后,需要通过推流的形式来验证能否正确接收视频流,并送入视频检测程序。笔者在这里使用的是业内最为常用的ffmpeg。具体方法如下。
2023-09-11 10:39:54
1961
原创 07程序发布——使用pyinstaller打包识别程序为exe可执行文件 详解
pyinstaller是一个Python程序打包工具,它可以将Python脚本和相关的依赖文件打包成一个可执行文件,从而方便在没有安装Python的环境中运行。除了常用的pyinstaller之外,还有一款auto-py-to-exe这个第三方库也可以将python脚本进行打包,它就是pyinstaller的视窗版本,是基于pyinstaller做为底层来开发实现的。本节将重点介绍pyinstaller的基本使用。
2023-09-04 14:02:05
825
原创 06-2 打包报错——使用pyinstaller打包解决dll丢失问题
我们通常使用pyinstaller或者其对应的图形化的auto-py-to-exe来生成exe可执行文件时,换了一个电脑经常会出现报错,特别是我们当前开发大多数使用温室操作系统,而很多用户使用的是win7操作系统,这就造成了会提示缺少dll文件。为此我们一方面通过网络下载 dll文件,版本可多次尝试确定,一般而言不要电脑,计算位数一致都可以,64位操作系统就下载对应的64位dll文件,32位操作系统就下载对应的32位dll文件。完成后,将dll文件存放于新生成的 exe文件根目录下,就可以解决了。
2023-09-01 14:29:46
3148
原创 04训练——基于YOLO V8的自定义数据集训练——使用免费在线GPU资源
Colab 是一个由 Google Research 团队开发的在线平台,可以让你在浏览器中编写和运行 Python 代码,无需任何配置,免费使用 GPU 和 TPU,还可以方便地与其他人共享你的工作。Google Colab 适合进行机器学习、数据分析和教育等目的。其主要特点有:• 零配置:你只需要一个 Google 账号和一个浏览器,就可以开始使用 Google Colab,无需安装任何软件或硬件。
2023-08-23 18:57:49
5519
2
原创 01素材准备——准备用于标注和训练的图片素材——从视频监控视频中生成图片素材
通过上述方法,便可通过视频抽帧的形式快速生成大量的素材图片了,便于我们进一步开展标注和训练工作。
2023-08-21 13:51:29
1187
原创 01素材准备——准备用于标注和训练的图片素材——使用simple_image_download工具下载
笔者为大家推荐一款python工具,叫做simple_image_download,这个第三方库可以直接用几行脚本调用google搜索关键词图片,并且下载下来。simple_image_download是一个Python包,它可以让你使用关键词从Google图片下载图片。你也可以使用它来获取图片的URL而不下载它们。它是一个有用的工具,可以用于各种目的,比如机器学习,数据分析,或者网页开发。你可以使用pip或者从GitHub下载源代码来安装它。
2023-08-21 13:06:17
410
原创 03标签丰富——labelIMG工具使用——自动化标注
在实际生产项目中,为了提升目标识别的准确性,我们往往需要3000-5000张图片进行标注。而直接参与过标注的人都有一个共同的感觉,就是标注是一个简单、枯燥、无聊且十分耗时费力的差事。为此,我们可以在有了初步训练模型的基础上,采用更加自动化的方式进行标注,届时,你讲不用每个照片、每个目标的重复标注,而是直接在现有模型对图片进行识别后的结果上进行调整标注或者新增标注。本章节,笔者将重点围绕使用labelIMG进行自动化高效率的标注进行讲解。
2023-08-17 18:10:35
7755
5
原创 python cuda torch验证是否成功安装,版本是否匹配
如果以上的命令都能正常运行,没有报错,那么说明你的cuda版本和GPU是匹配的。如果有任何错误,那么说明你的cuda版本和GPU有不兼容的问题,需要更新或者更换。• 用torch.cuda.get_device_name(0)命令来查看PyTorch使用的GPU和CUDA版本。• 用nvidia-smi命令来查看你安装的CUDA驱动程序的版本。• 用nvcc -V命令来查看你安装的CUDA工具包的版本。
2023-05-20 00:32:08
4794
原创 python 网络编程示例 TCP客户端、服务端搭建
在实际工程中,我们的服务端程序会一直监听TCP上报的数据,比如在物联网场景,因此,我们需要将TCP程序进行修改。使用python实现TCP数据上报功能,需要具体由客户端、服务端构成。2、以下代码便可运行最简单的TCP服务端。1、客户端Python代码示例。3、持续接收客户端上报数据。
2023-05-18 17:29:13
2229
3
原创 paddle使用的环境准备
笔者的电脑为win10操作系统,有一块低配置的英伟达显卡,为了满足业务需求,需要通过python调用paddlenlp。也经历了一些坑,为了笔者将过程记录如下,免得大家再次踏吭。
2023-01-06 20:09:38
494
原创 python对MP4文件的音轨读取和整合
python 读取mp4音轨文件,并将音轨整合到新生成的mp4中这里新生成的mp4是对原mp4文件的每一帧做处理后的新视频文件。
2023-01-03 19:53:44
915
原创 python 安装lxml库报错 提示安装Microsoft Visual C++ 14.0
python 安装lxml库报错 提示安装Microsoft Visual C++ 14.0
2022-11-08 13:00:11
1461
原创 总结经验:python310 requests.get报错get() takes 1 positional argument but 2 were given
python报错解决
2022-09-01 19:02:43
1956
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人