MMAction2自定义数据集开发指南

MMAction2自定义数据集开发指南

mmaction2 OpenMMLab's Next Generation Video Understanding Toolbox and Benchmark 项目地址: https://gitcode.com/gh_mirrors/mm/mmaction2

概述

在视频理解领域，使用自定义数据集进行模型训练是常见需求。本文将详细介绍如何在MMAction2框架中实现自定义数据集的集成，包括视频数据集、关键点数据集等多种类型的数据处理方式。

MMAction2数据集架构解析

MMAction2采用分层设计的Dataset类架构，不同任务类型对应不同的数据集实现：

1. 基础数据集类：BaseDataset提供核心数据加载和预处理功能
2. 动作识别专用类：BaseActionDataset扩展基础功能，支持视频和帧序列处理
3. 任务特定类：如VideoDataset、AVADataset等针对不同任务优化

关键方法说明

• load_data_list()：从标注文件加载数据列表
• get_data_info()：获取指定索引的数据样本
• __getitem__()：完整的数据获取管道，包含预处理流程

自定义视频数据集实现

基本实现步骤

1. 继承合适的基类（如VideoDataset）
2. 实现load_data_list()方法
3. 确保返回的数据字典包含必要字段

数据字段要求

不同任务对数据字段有不同要求：

动作识别任务：

• filename：视频文件路径
• label：动作类别标签

时空动作检测任务：

• frame_dir：帧序列目录
• video_id：视频唯一标识
• timestamp：时间戳
• gt_bboxes：边界框标注
• gt_labels：动作标签

示例代码结构

class CustomVideoDataset(VideoDataset):
    def load_data_list(self):
        data_list = []
        # 解析自定义标注文件
        for item in annotations:
            data_list.append({
                'filename': item['video_path'],
                'label': item['category_id'],
                # 可添加自定义字段
                'extra_info': item.get('metadata', {})
            })
        return data_list

自定义关键点数据集实现

支持的关键点格式

MMAction2原生支持三种关键点格式：

1. COCO格式（17个关键点）
2. NTURGB+D格式（25个关键点）
3. OpenPose格式（18个关键点）

自定义关键点配置

当使用非标准关键点格式时，需要配置以下内容：

1. 图结构定义：

   • 关键点数量
   • 节点连接关系（inward连接）
   • 中心节点指定

2. 骨骼对定义：

   • 关节到骨骼的映射关系
   • 对称关系定义

配置示例

# 自定义图结构配置
custom_layout = {
    'num_node': 20,  # 关键点数量
    'inward': [(0,1),(1,2),...],  # 连接关系
    'center': 0  # 中心节点
}

# 骨骼对配置
custom_pairs = (
    (0,0),(1,0),(2,1),...
)

模型配置调整

在模型配置中指定自定义格式：

model = dict(
    backbone=dict(
        graph_cfg=dict(layout='custom_layout', mode='spatial')),
    ...
)

train_pipeline = [
    dict(type='GenSkeFeat', dataset='custom_layout'),
    ...
]

最佳实践建议

1. 数据验证：实现数据加载后，建议可视化检查样本是否正确解析
2. 性能优化：对于大型数据集，考虑使用缓存机制加速加载
3. 格式转换：复杂标注格式建议先转换为中间格式再处理
4. 错误处理：在数据加载中加入健壮性检查，处理异常样本

常见问题解决方案

1. 字段缺失错误：检查pipeline各阶段所需字段是否在数据样本中提供
2. 关键点不匹配：确认自定义布局与实际的标注点顺序一致
3. 性能瓶颈：对于视频数据，考虑使用更高效的解码后端

通过本文介绍的方法，开发者可以灵活地将各种格式的视频和动作数据集成到MMAction2框架中，充分利用其丰富的算法库进行模型训练和评估。

mmaction2 OpenMMLab's Next Generation Video Understanding Toolbox and Benchmark 项目地址: https://gitcode.com/gh_mirrors/mm/mmaction2