CSPhD-winston的博客

本文介绍了YOLOv13目标检测模型的安装、测试和训练流程。首先通过GitHub获取源码并安装依赖环境。测试阶段展示了如何使用预训练模型进行图像检测并保存结果。训练部分详细说明了准备数据集、配置YAML文件以及设置训练参数的步骤，包括epochs、batch size等关键参数。文章提供了完整的代码示例和操作截图，帮助用户快速实现从模型安装到实际应用的全过程。YOLOv13作为新一代实时目标检测模型，通过超图增强的自适应视觉感知技术提升了检测性能。

抬头率YOLOv7和视觉大模型对比YOLO：42.6%豆包：无法计数通义：6%YOLO：93.9%豆包：22.2%通义：87.5%YOLO：94.4%豆包： 67%通义：70%YOLO：98.6%豆包：30%通义：0%在这里插入图片描述YOLO：58.6%豆包：3.57%通义：3.33%YOLO只能判断明显低头的人数，所以抬头率在学生低头幅度不大的情况下，判断为抬头，所以抬头率偏高。豆包不准确率。通义较好，但是不稳定。

0 前言GPU平台：https://www.autodl.com/home知乎：github：？？https://github.com/Whiffe/yolov5-visible-and-full-person-crowdhumanb站：？在对拥挤人群（我应用场景是学生课堂）进行检测时，采用现有的模型代码，有一定问题，比如直接采用yolov8、yolov7、yolov5、yolov3、faster rcnn等，在拥挤场景的检测效果不佳，但使用crowded human数据集重训练后的yolov7

码云参考：b站魔傀面具。

ava数据

EVBD。

这应该是torch、cuda版本问题（报错环境的PyTorch 1.8.1，Python 3.8(ubuntu18.04)，Cuda 11.1）在/root/EVAD/demo/下面的ava.json写入。ViT_B_16x4_demo.yaml写入。在/root/EVAD/demo/下面的。

创建mul环境安装ffmpeg。

我们先看看数据集的格式。

第一列代表batch维度的索引，第二代表类别id，第三四五六列代表xywh，最后一列是ai，代表anchor的索引（0、1、2）。上图中的p，展开后，有3层，每层的格子不一样（第一层80 80，第二层40 40，第三层20 20），因为越往下面走，特征图越小。在8张图片中，一共标注了42个标签，每个标签6个值，注意这42不是针对一张图像的，是对一个batch。把targets（3，42，6）和ai进行cat（3，42）拼接，沿着2的维度进行拼接。targets从（42，6）变成（3，42，6）

将下面的文件放到：ultralytics/ultralytics/datasets/这里使用YOLOv8 训练自定义数据集（SCB-Dataset3）在平台中上传数据，通过阿里云盘的方式上传。

rtdetr-project：https://github.com/z1069614715/objectdetection_script/blob/master/yolo-improve/rtdetr-project.md2023-10-24 YOLOV8、RTDETR改进项目介绍~(里面有较多二次创新、原创模块喔)2023-11-08 给YOLOV8换了个RT-DETR的TransformerDecoderHead后在VisDrone2019提升了4个点!2023-11-19YOLOV8、RTDETR改进

然后，我们重新组织这些行为数据，如图 6的步骤1所示，我们将整个视频中的每一位学生的行为集中在一个数组中，形成学生的原始行为序列，需要注意的是，由于行为的连续性，这些原始行为序列通常包含大量的连续重复行为ID，为了后续标准化与模型训练的方便，我们对原始行为序列进行重复删除的操作，然后对每个行为ID+1，这样做的目的是让行为ID不从0开始，如图 6的步骤2。训练结束后的模型，我们就用于对学生视频专注度的预测，图 6的步骤5。上面的代码资料分两部分，代码与数据。图 6 学生科学实验评估流程。

YOLOv10 安装 训练 测试 对比YOLOv7结果。

睁眼闭眼检测，对给定文件夹中的所有图片进行睁眼闭眼检测，并将带有检测结果的可视化图片保存到另一个文件夹中。如果在图片中未检测到脸部，代码会在图片上添加"No face"标签（红色字体），并保存结果。这是通过OpenCV库中的Haar级联分类器实现的。三种检测结果：1，没有检测到脸，no face 红色2，没有检测到睁眼，Eyes closed 红色，脸部边框 蓝色3，检测到睁眼，Eyes open 绿色，脸部边框 蓝色：包含待处理图片的输入文件夹路径。：保存处理结果图片的输出文件夹路径。

表情识别分类: resnet18,resnet34,resnet50, mobilenet_v2以及googlenet等常见的深度学习模型。面部表情识别由两部分组成：人脸检测与表情识别分类。如果网速问题无法下载，我已经同步到码云上（推荐）

├── yolov7.pt # YOLOv7 模型文件。在网上查到两个解决方案，但是都是把视频转化为图片，然后图片再检测，再把图片变成视频。│ └── output.mp4 # 检测结果视频。│── result.html # 前端页面模板。└── index.html # 前端页面模板。查看视频，是检测成功了，就是gradio无法在页面中呈现出来。可以看到，视频检测结束后，还是在网页端无法查看。

这两篇博客都有些问题，第一篇是我依托的平台倒闭了，所以这次在自己的机器上搭建；第二篇是搞复杂了点。

configs/detection/ava/my_slowfast_kinetics_pretrained_r50_4x16x1_20e_ava_rgb.py为配置文件地址。当然，如果你直接使用官网的代码，大概率会报错，因为跑slowfast的训练后，生成的训练日志里面，没有：loss_cls、top-5。对日志的分析，当然是需要先进行训练咯，为了能得到更加详细全面的训练日志，我们需要先知道，训练有哪些配置？这一小节抄的官网，因为我所使用的配置文件，几乎与官网相同，所以直接用官网的解析。......

7秒一个视频搭积木10001.mp4 30 36 42 48 54 75 86 110 140 146 270 280 290 310 530 540 550 560 570拿东西10001.mp4 7 13 66 80 126 330 575 80 210 360 370 370 598做饭10001.mp4 100 110 150 160 170 180 190 200 340 350 560画画10001.mp4 10 20 30 80 300 340 10 20 30 80 300 340

下载choose_frames_middle与VIA标注。

yolov5与deep sort 安装mmaction2 安装。

将现有的标签dense_proposals_train.pkl、train_all.csv分成train、val、test。在取名上，裁剪的视频帧存在与训练不匹配的问题，所以需要对/home/videoData/frames中的图片进行名字修改。在/home/AVA-6-seconds/mmaction2_YF/tools/data/ava/在/home/AVA-6-seconds/Dataset/annotations/下。原本的名字rawframes/20/20_000001.jpg。......

将现有的标签dense_proposals_train.pkl、train_all.csv分成train、val、test。在取名上，裁剪的视频帧存在与训练不匹配的问题，所以需要对/home/videoData/frames中的图片进行名字修改。在：home/AVA-6-seconds/mmaction2_YF/tools/data/ava/在/home/AVA-6-seconds/Dataset/annotations/下。原本的名字：rawframes/20/20_000001.jpg。

yolov5与deep sort 安装接下来使用deep sort来关联人的ID将图片与yolov5检测出来的坐标，送入deep sort进行检测其它标注文件的生成included_timestamps.txt然后在included_timestamps.txt 中写入action_list.pbtxtdense_proposals_train.pklrawframes在取名上，裁剪的视频帧存在与训练不匹配的问题，所以需要对/home/Dataset/frames中的图片进行名字修改例

github：https://github.com/Whiffe/Multi-person-collaborative-labeling-of-spatio-temporal-behavior-datasets-with-training码云：https://gitee.com/YFwinston/Multi-person-collaborative-labeling-of-spatio-temporal-behavior-datasets-with-training在/home/MPCLST/Da

在chooseVideoFrame中上传待检测的图片如果之前检测过，则要先做清除

apt-get updateapt-get install zipapt-get install unzipconda install x264 ffmpeg -c conda-forge -y制作缩小版ava数据集准备标注文件提前下载好：https://research.google.com/ava/download/ava_v2.2.zip然后上传文件至：AI平台的 /user-data/AVAFilemkdir -p /user-data/AVAFile/ava /user-data

首先准备好数据集：/user-data/studentVideo/clips下放着裁剪好的所有视频：10.avi到99.avi/user-data/yolov5File/下准备：Arial.ttf crowdhuman_vbody_yolov5m.ptapt-get updateapt-get install zipapt-get install unzipcd /homegit clone https://gitee.com/YFwinston/Custom-ava-dataset

目录1 最终要产生的标注文件2 AI平台3 数据集来源3.1 视频上传3.2 视频裁剪3.3 抽帧3.4 去掉多余的帧3.5 整合与缩减帧3.5 不整合的缩减4 yolov5与deep sort 安装4.1 安装4.2下载yolov5-crowdhuman权重4.3 测试4.4 报错解决 ckpt.t74.5 对choose_frames_all进行检测5 avaMin_dense_proposals_train.pkl5.1 格式转化，生成目标文件5.2 可视化目标文件6 导入via6.1 via3_to

如果在人密集的地方，yolov5检测效果不理想，本文将采用 yolov5-crowdhuman来解决该问题。本系列的链接00【mmaction2 行为识别商用级别】快速搭建mmaction2 pytorch 1.6.0与 pytorch 1.8.0 版本03【mmaction2 行为识别商用级别】使用mmaction搭建faster rcnn批量检测图片输出为via格式04【mmaction2 行为识别商用级别】slowfast检测算法使用yolov3来检测人！！！等论文发布后公开 ！！！！05【

下面是ava数据集的一部分第一列：视频的名字第二列：哪一帧，比如15:02这一帧，表示为902，15:03这一帧表示为903（这里是我在思考的地方，自定义数据集的时候，这个902，改成 2 可以么）第三列到第六列： 人的坐标值（x1，y1，x2，y2）第七列：动作类别编号第八列：人的ID针对第二列的思考，我使用代码将第二列的编号全部剪去900，代码与结果如下：代码：import csvminCsv2 = []with open('./data/ava/annotations/ava_

ava数据集可视化B站视频：https://www.bilibili.com/video/BV1yL411c7pR?spm_id_from=333.999.0.0前言这个训练的跟踪过程使用的数据集是缩小版的，我只去了ava数据集中的2个视频，2个视频加起来也有30分钟，这个也不小了。1 mmaction2 安装1.1 安装在AI平台中选择如下版本镜像：安装命令如下：cd homegit clone https://gitee.com/YFwinston/mmaction2.gitpi

github（新版）：https://github.com/Whiffe/mmaction2_YF码云（新版）：https://gitee.com/YFwinston/mmaction2_YF.gitgithub（老版本）：https://github.com/Whiffe/YF-OpenLib-mmaction2码云（老版本）：https://gitee.com/YFwinston/YF-OpenLib-mmaction2.gitmmaction2 官网：https://github.com/op

0，前言由于mmaction2与yolov5 deepsort的pytorch版本不同，所以需要对mmaction2的pytorch版本升级，原来是用的1.6.0，现在使用1.7.0。1，mmaction2 的安装记住这几个版本，pytroch1.8.0，python3.8，cuda11.1git clone https://gitee.com/YFwinston/mmaction2.gitpip install mmcv-full==1.3.8 -f https://download.ope

引言我最近一个月都在写论文，反反复复改了不下20次。我觉得还是写博客舒服，只要把思路写清楚就可以，不用在乎用词和语法问题。本文所写的改进方案适合数据集中数据存在不平衡的情况。数据越失衡，效果越好。二，项目搭建使用的项目的例子就用我之前的slowfast项目：01【mmaction2 slowfast 行为分析(商用级别)】项目下载02【mmaction2 slowfast 行为分析(商用级别)】项目demo搭建2.1 平台选择我还是用极链AI创建实例：2.2 开始搭建进入home

参考这篇博客gituhub上项目的ipynb代码图片标注-基于PyTorch的多标签图像分类[译]图像标注-基于PyTorch的多输出图像分类[译]Multi-Label Image Classification with PyTorch: Image TaggingMulti-Label Image Classification with PyTorch: Image TagginglearnopencvPyTorch-Multi-Label-Image-Classification-Ima

在之前的一篇文章，我介绍了slowfast采用sigmoid来实现多标签分类，我们知道faster rcnn采用softmax来实现多类分类，假如我们把softmax改成sigmoid，可以让faster rcnn变成多标签分类么？首先，我们要在detecton2中找到softmax的位置：detectron2_repo/detectron2/modeling/roi_heads/fast_rcnn.py中的：class FastRCNNOutputLayers(nn.Module):中的：

前言slowfast众所周知，是多标签分类，一个人是有多个动作，可能不止一个。参考的博客：Multi-Label Classification with Deep LearningMulti-Label Image Classification（多标签图像分类多标签分类（一) | CNN-RNN: A Unified Framework for Multi-label Image Classification多标签图像分类–HCP: A Flexible CNN Framework for Mu

前言对于人密集的地方，人在图片或者视频中的像素比较小，遮挡比较严重的场景，我们往往需要重新训练自己的faster rcnn权重，怎么训练自己的faster rcnn权重，我在之前的博客写的有：【detectron2 faster rcnn 训练自己的数据集】，这篇博客要讲的是，怎么使用把训练好的faster rcnn权重用在slowfast中。使用slowfast检测自己的视频，也可以参考我之前写的博客：【SlowFast复现】SlowFast Networks for Video Recogniti