【Pytorch】nvidia-dali

0,介绍
    NVIDIA/DALI(NVIDIA Data Loading Library) 库包含了用于加速深度学习应用的数据预处理的高度优化的构建模块(highly optimized building blocks)和执行引擎(execution engine).
    深度学习应用中，往往需要复杂的、多阶段的数据预处理管道. 这些数据管道主要是在CPU上执行的数据密集型操作(compute-intensive operation),b 比如，从磁盘加载数据，解码，裁剪，随机resize，颜色和空间增强，格式转换，等等，都主要是在 CPUs 上完成的，其限制了训练和推断时的性能和可扩展性.

特点

• 易于使用的 Python API
• 在多个 GPU 之间显式地缩放
• 加快图像分类（ResNet-50）和目标检测分类（SSD）工作流
• 灵活的计算图使得开发人员可创建自定义的数据处理 pipeline
• 支持多种格式 - LMDB、RecordIO、TFRecord、COCO、JPEG、H.264 以及 HEVC
• 开发人员可添加自定义的图像或视频处理 operator

1,安装

pip install --extra-index-url https://developer.download.nvidia.com/compute/redist nvidia-dali-cuda102
https://developer.download.nvidia.com/compute/redist/nvidia-dali-cuda102 #下载指定版本文件

2,使用

3,参考
dali应用1
dali应用1
dali_letterbox