dataset__getitem___【小白学PyTorch】3 浅谈Dataset和Dataloader

本文介绍了PyTorch中的Dataset基类和Dataloader的使用。Dataset是PyTorch读取数据的基础,而Dataloader则负责批量加载和乱序处理数据。通过构建Dataset子类并实现__init__和__getitem__方法,可以自定义数据加载方式。Dataloader通过设置batch_size和shuffle参数,可以灵活地调整训练过程中的数据批次和顺序。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

文章来自:微信公众号【机器学习炼丹术】。一个干货个人公众号。

文章目录:

  • 1 Dataset基类
  • 2 构建Dataset子类
    • 2.1 __Init__
    • 2.2 __getitem__
  • 3 dataloader

1 Dataset基类

PyTorch 读取其他的数据,主要是通过 Dataset 类,所以先简单了解一下 Dataset 类。在看很多PyTorch的代码的时候,也会经常看到dataset这个东西的存在。Dataset类作为所有的 datasets 的基类存在,所有的 datasets 都需要继承它。

先看一下源码:

52daa396aee07482066e43651c576674.png

这里有一个__getitem__函数,__getitem__函数接收一个index,然后返回图片数据和标签,这个index通常是指一个list的index,这个list的每个元素就包含了图片数据的路径和标签信息。之后会举例子来讲解这个逻辑

其实说着了些都没用,因为在训练代码里是感觉不到这些操作的,只会看到通过DataLoader就可以获取一个batch的数据,这是触发去读取图片这些操作的是DataLoader里的__iter__(self)(后面再讲)。

2 构建Dataset子类

下面我们构建一下Dataset的子类,叫他MyDataset类:

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值