在 PyTorch 中使用 Datasets 和 DataLoader 自定义数据
有时候,在处理大数据集时,一次将整个数据加载到内存中变得非常难。 因此,唯一的方法是将数据分批加载到内存中进行处理,这需要编写额外的代码来执行此操作。对此,PyTorch 已经提供了 Dataloader 功能。 DataLoader 下面显示了 PyTorch 库中DataLoader函数的语法及其参数信息。 DataLoader(dataset, batch_size=1, shuffle=False, sampler=在 None, batch_sampler=None, num_workers=0, collate_fn=None, pin_memory=FaPylse, drop_last=False, timeout=0, worker_init_fn=None, *, prefetch_factor=2, To persistent_workers=False) 几个重要参数 dataset:必须首先使用数据集构造 DataLoader 类。 Shuffle :是否重新整理数据。 Sampler :指的是可选的 torch.utils.data.Sampler 类实例。采样器定义了检索样本的策略,顺序或随机或任何其他方式。使用采样器时应将 Shuffle 设置为 false。 Batch_Sampler :批处理级别。 num_worrckers :加载数据所需的子进程数。 collate_fn :将样本整理成批次。Torch 中可以进行自定义整理。 加载内置 MNIST 数据集 MNIST 是一个著名的包含手写数字的数据集。下面介绍如何使用DataLoader功能处理 PyTorch 的内置 MNIST 数据集。 import torch import matplotlib.pyplot as plt from torchvisioh n import datasets, transforms 上面代码,导入了 torchvision 的torch计算机视觉模块。通常在处理图像数据集时使用,并且可以帮助对图像进行规范化、调整大小和裁剪。 对于 MNIST 数据集,下面使用了归一化技术。 ToTensor()能够把灰度范围从0-255变换到0-1之间。 transform = transforms.Compose([transform中使s.ToTensor()]) 下面代码用于加载所需的数据集。使用 PyTorchDataLoader通过给定 batch_size = 64来加载数据。shuffle=True打乱数据。 trainset = datasets.MNIST('~/.pytorch/MNIST_data/', download=True, train=True, transform=transform)&nbs用 p;trainloader = torch.utils.data.DataLoader(trainset, batch_size=64, shuffle=True) 为了获取数据集的所有图像,一般使用iter函数和数据加载器DataLoader。 dataiter = iter(trainloader) images, labels = dDaataiter.next() print(images.shape) print(labels.shape) plt.imshow(images[1].numpy().squeeze(), cmap='Greys_r') 自定义数据集 下面的代码创建一个包含 1000 个随机数的自定义数据集。 from torch.utils.data import Dataset&tanbsp;import random class SampleDataset(Dataset): def __init__(self,r1,r2): randomlist=[] for&senbsp;i in range(120): n = random.randint(r1,r2) randomlist.append(n)&ntsbsp; self.samples=randomlist def __len__(self): return len(self.samples)   和;def __getitem__(self,idx): return(self.samples[idx]) dataset=SampleDataset(1,100) dataset[100:120] 在这里插入图片描述 最后,将在自定义数据集上使用 dataloader 函数。将 batch_size 设 D为 12,并且还启用了num_workers =2 的并行多进程数据加载。 from torch.utils.data import DataLoader loader = DataLoader(dataset,batch_size=12, shuffle=True, num_workers=2 ) for i, batch&atnbsp;in enumerate(loader): print(i, batch) 写在后面通过几个示例了解了 PyTorch Dataloader 在将大量数据批量加载到内存中的作用。
- 最近发表
- 随机阅读
-
- 亚马逊任命云计算业务新CEO 原一把手贾西接班贝索斯
- 云计算核心技术Docker教程:Docker Hub授予团队访问存储库的权限
- 印度启动AI聊天机器人购物试点:ChatGPT率先落地,Gemini和Claude即将跟进
- 外媒:谷歌确实该打,但别打错了地方
- DeepSeek V4 中文大模型评测:再创国内第一辉煌!
- 标签: 夸克网盘 海外影视 美剧 韩剧 泰剧
- 标签: 果下科技 港交所上市 储能系统 可再生能源
- 标签: 厨电行业
- Sarvam 推出 Samvaad 语音与聊天 AI 代理,WhatsApp 支持 11 种印度语言
- 携程商旅发布AI生态全景图:推出7大行业Agent并开放17项底层能力
- 云安全日报210219:思科小型企业交换机发现信息泄露漏洞,需要尽快升级
- 腾讯:AI能力全面开放,全面适配主流国产芯片
- 标签: 魅族科技 懂车帝 米哈游 王力宏
- 微软自定义神经语音技术已允许用户创建高度逼真、类似于人类的声音
- 英伟达拟向AI初创公司Poolside投资10亿美元,估值飙升至120亿
- 英特尔:2025年生产1.8纳米芯片
- 标签: 夜巴黎 大河报 DoNews 未成年人直播
- 合成Deep Research数据的框架InfoSeek,构建复杂知识网络
- PerplexityCEO 称 AI 浪潮将强化而非取代iPhone的核心地位
- 什么是智能人机交互?
- 搜索
-
- 友情链接