TuSimple数据集下载

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

前言

在服务器上下载TuSimple数据集过程中遇到的问题，TuSimple数据集是TuSimple公司发布的车道线检测相关的。包括训练集：3626个视频剪辑，3626个带标注的帧（每个剪辑clips有20帧，最后一帧带有标注）；测试集：2782个视频剪辑。背景是2018年6 月份，其举办了一次以摄像头图像数据做车道检测的比赛，公司公开了一部分数据及其标注。

一、如何下载

目前可以通过kaggle下载，但是下载速度很慢。而且我只知道怎么下载到本地，后续需要上传服务器，比较麻烦，下载链接TuSimple

快一点的方式是使用OpenDataLab进行下载，可以直接下载到服务器上，下载链接数据集-OpenDataLab

使用了里面提供的CLI下载方式，可能遇到的问题是复制密钥AK的时候会把Access Key这两个词复制上，注意一下删掉就可以。然后就可以用这个下载数据集的语句顺利下载了

二、下载之后如何解压

1.正确的数据集格式

根据github上的文章展示了数据集的格式包含训练集和测试集以及json文件

2.OpenDataLab下载的数据集格式

下载之后没有找到train_set以及test_set命名的文件以及json文件，但在raw下有一个压缩包命名为tusimple_lane.tar.gz，解压这个压缩包到当前路径下。

# 1. 创建目标目录（如果不存在），改成自己想要解压数据到的目录
mkdir -p /tmp/project/OpenDataLab___tusimple_lane/raw/tusimple_lane

# 2. 进入包含压缩文件的目录，应该是在OpenDataLab___tusimple_lane/raw下
cd /tmp/project/OpenDataLab___tusimple_lane/raw

# 3. 解压文件到目标目录（步骤1中你创建的目录）
tar -xzvf tusimple_lane.tar.gz -C /tmp/project/OpenDataLab___tusimple_lane/raw/tusimple_lane

解压之后的目录结构应该是这样的

下一步是解压zip文件，可以在对应文件夹下创建存放解压后的文件的目录，然后进行解压，以test_set.zip为例

# 1. 进入数据目录
cd /tmp/project/OpenDataLab___tusimple_lane/raw/tusimple_lane/lane_detection

# 2. 创建必要的目录结构（如果不存在）
mkdir -p test_set 

# 3. 解压各个 ZIP 文件到对应目录
unzip -o test_set.zip -d test_set

解压之后的文件目录结构是这样的

总结

目前我只下载完了数据集，还没有进行图片分割，还有后续的一些测试模型等等，分享一下下载数据集过程中遇到的不懂的点，希望能帮到和我一样在下载这个数据集过程中遇到问题的小白。