2021-07-28百度Paddle直播回顾

一、数据集获取

1. 公开数据集

     AiStudio、Kaggle、天池、DataFountain、科大讯飞、COCO数据集、VOC数据集

2. 完整流程

2.1 数据处理流程

1. 图片数据获取
2. 图片数据清洗
3. 图片数据标注
4. 图片数据预处理Data Processing：标准化（中心化、归一化）
   • 中心化：加快收敛速度
   • 归一化：提高收敛效率
5. 图片数据准备（训练集、验证集、测试集）
6. 图片数据增强Data Augmentation（训练阶段）
   • paddle.vision.transform

2.2 纯数据处理流程（结构化赛题常用、这里不再赘述）

二、数据处理

1.数据集格式转换

COCO数据集Json格式解析、COCO格式转VOC格式

2. 自定义数据集处理

常见标注工具（labelimg、labelme、PPOCRLabel）

三、数据处理方法

1. 图片的本质

位图：由像素点定义一放大会糊、文件体积较大、色彩表现丰富逼 真

矢量图：超矢量定义、放太不模糊、文件体积较小、表现力差

2. 数据增强

增加数据量
减少过拟合

四、模型的训练与评估

1. 对比实验

2. map介绍：

2.1 IOU

2.2 TP、FP、FN、TN

常见的评 判方式，第一位的T,F代表正确或者错误。第二位的P和N代表判断的正确或者错误

map为PR曲线下的面积

五、模型预测推理

利用Vistual DL进行可视化。