用 Pytorch 框架训练深度学习模型,怎么能避得开 Dataloader 的使用呢?这个类的各个参数是什么意思?如何用好 Dataloader?本文的初衷,就是试着去回答这些问题。
dataset
:torch.Dataset 子类的一个实例。batch_size
:批量大小,默认为 1shuffle
:指定是否打乱数据集。默认为 False在单进程下(num_workers=0
),根据是否需要数据加载的可复现性,可以通过 shuffle
参数控制 Dataloader 的随机性。我们之后会看到,多进程下需要更复杂的设置来保证可复现性。
sampler
:定义如何从数据集中采样数据。当 shuffle=False
时,Pytorch 默认使用 SequentialSampler
,从数据集中顺序取出数据;当 shuffle=False
时,Pytorch 会使用 RandomSampler
,随机取数据。num_workers
:默认为 0,利用主进程进行数据加载;设置它为一个大于零的整数时,Pytorch 会开启多个子进程,同时进行数据加载。from multiprocessing import cpu_count
n_cpu = cpu_count() # 检查 CPU 内核个数
collate_fn
:定义数据处理和合并成 batch 的方式。collate_fn
,把当前 batch 的样本按照当前 batch 的最大长度进行 padding(可以使用辅助函数 pad_sequence
),这样就可以组合成 batch 了。from torch.nn.utils.rnn import pad_sequence, pack_padded_sequence
def collate_fn(train_data):
train_data.sort(key=lambda data: len(data), reverse=True) # 按照序列长度进行排序
data_length = [len(data) for data in train_data]
train_data = pad_sequence(train_data, batch_first=True, padding_value=0) # 利用 rnn_utils.pad_sequence 进行 padding
return train_data, data_length
注:这里之所以要先把数据按照长度从大到小排序,是因为我们想载入 batch 数据后,用
pack_padded_sequence()
将填充过的变长序列“压紧”。不过这些是后话。关于如何较好地处理 RNN 变长输入,可以参考文章 pytorch 如何在 LSTM 中输入可变长的序列、pytorch RNN 变长输入序列问题
Pytorch 的官网教程 中也有一个例子:
from torch.nn.utils.rnn import pad_sequence
# function to collate data samples into batch tensors
def collate_fn(batch):
src_batch, tgt_batch = [], []
for src_sample, tgt_sample in batch:
src_batch.append(src_sample)
tgt_batch.append(tgt_sample)
src_batch = pad_sequence(src_batch, padding_value=PAD_IDX)
tgt_batch = pad_sequence(tgt_batch, padding_value=PAD_IDX)
return src_batch, tgt_batch
train_dataloader = DataLoader(train_iter, batch_size=BATCH_SIZE, collate_fn=collate_fn)
利用 Dataloader 中的 collate_fn 函数,可以动态将序列 padding 到当前 batch 中的最大长度,而不是将所有训练数据的序列都 padding 到统一的长度。这样可以加速训练,节省计算。这个细节对于大语言模型的训练还是蛮重要的。
pin_memory
:默认为 False。设置为 True 时,可以加速 CPU 向 GPU 传输数据的速度。可以与 non_blocking
搭配使用。详见我的另一篇博客:Pytorch 中 pin_memory 和 non_blocking 用法drop_last
:默认为 False。设置为 True 时,如果数据集的总量不能被 batch_size 整除,那么最后一个不完整的 batch 会被丢掉,保证所有 batch 都是同样大小。worker_init_fn
:默认为 None。它需要是一个可调用 (Callable) 的对象,比如 function。它会在每个子进程中被调用,并且把每个子进程相应的 worker id ( [ 0 , num_workers − 1 ] [0, \text{num\_workers} - 1] [0,num_workers−1] 之间的整数) 作为输入。generator
:默认为 None。它会被用来产生 base_seed
。我们可以利用上面两个参数控制多进程下 Dataloader 的随机性。默认情况下:
By default, each worker will have its PyTorch seed set to
base_seed
+worker_id
, wherebase_seed
is a long generated by main process using its RNG or a specifiedgenerator
.
Inworker_init_fn
, you may access the PyTorch seed set for each worker with eithertorch.utils.data.get_worker_info().seed
ortorch.initial_seed()
, and use it to seed other libraries before data loading.
通过下面这种方式,我们可以保证多进程下数据加载的可复现性——运行多次,数据会以相同的顺序和方式被加载、训练。参考:Pytorch: REPRODUCIBILITY
def seed_worker(worker_id):
worker_seed = torch.initial_seed() % 2**32
numpy.random.seed(worker_seed)
random.seed(worker_seed)
g = torch.Generator()
g.manual_seed(0)
DataLoader(
train_dataset,
batch_size=batch_size,
num_workers=num_workers,
worker_init_fn=seed_worker,
generator=g,
)
文章浏览阅读2w次,点赞7次,收藏51次。四个步骤1.创建C++ Win32项目动态库dll 2.在Win32项目动态库中添加 外部依赖项 lib头文件和lib库3.导出C接口4.c#调用c++动态库开始你的表演...①创建一个空白的解决方案,在解决方案中添加 Visual C++ , Win32 项目空白解决方案的创建:添加Visual C++ , Win32 项目这......_c#调用lib
文章浏览阅读4.6k次。苹方字体是苹果系统上的黑体,挺好看的。注重颜值的网站都会使用,例如知乎:font-family: -apple-system, BlinkMacSystemFont, Helvetica Neue, PingFang SC, Microsoft YaHei, Source Han Sans SC, Noto Sans CJK SC, W..._ubuntu pingfang
文章浏览阅读159次。表单表单概述表单标签表单域按钮控件demo表单标签表单标签基本语法结构<form action="处理数据程序的url地址“ method=”get|post“ name="表单名称”></form><!--action,当提交表单时,向何处发送表单中的数据,地址可以是相对地址也可以是绝对地址--><!--method将表单中的数据传送给服务器处理,get方式直接显示在url地址中,数据可以被缓存,且长度有限制;而post方式数据隐藏传输,_html表单的处理程序有那些
文章浏览阅读1.2k次。使用说明:开启Google的登陆二步验证(即Google Authenticator服务)后用户登陆时需要输入额外由手机客户端生成的一次性密码。实现Google Authenticator功能需要服务器端和客户端的支持。服务器端负责密钥的生成、验证一次性密码是否正确。客户端记录密钥后生成一次性密码。下载谷歌验证类库文件放到项目合适位置(我这边放在项目Vender下面)https://github.com/PHPGangsta/GoogleAuthenticatorPHP代码示例://引入谷_php otp 验证器
文章浏览阅读4.3k次,点赞5次,收藏11次。matplotlib.plot画图横坐标混乱及间隔处理_matplotlib更改横轴间距
文章浏览阅读2.2k次。①Storage driver 处理各镜像层及容器层的处理细节,实现了多层数据的堆叠,为用户 提供了多层数据合并后的统一视图②所有 Storage driver 都使用可堆叠图像层和写时复制(CoW)策略③docker info 命令可查看当系统上的 storage driver主要用于测试目的,不建议用于生成环境。_docker 保存容器
文章浏览阅读834次,点赞27次,收藏13次。网络拓扑结构是指计算机网络中各组件(如计算机、服务器、打印机、路由器、交换机等设备)及其连接线路在物理布局或逻辑构型上的排列形式。这种布局不仅描述了设备间的实际物理连接方式,也决定了数据在网络中流动的路径和方式。不同的网络拓扑结构影响着网络的性能、可靠性、可扩展性及管理维护的难易程度。_网络拓扑csdn
文章浏览阅读1.8k次,点赞5次,收藏8次。IOS系统Date的坑要创建一个指定时间的new Date对象时,通常的做法是:new Date("2020-09-21 11:11:00")这行代码在 PC 端和安卓端都是正常的,而在 iOS 端则会提示 Invalid Date 无效日期。在IOS年月日中间的横岗许换成斜杠,也就是new Date("2020/09/21 11:11:00")通常为了兼容IOS的这个坑,需要做一些额外的特殊处理,笔者在开发的时候经常会忘了兼容IOS系统。所以就想试着重写Date函数,一劳永逸,避免每次ne_date.prototype 将所有 ios
文章浏览阅读5.3k次。方法一:用PLSQL Developer工具。 1 在PLSQL Developer的sql window里输入select * from test for update; 2 按F8执行 3 打开锁, 再按一下加号. 鼠标点到第一列的列头,使全列成选中状态,然后粘贴,最后commit提交即可。(前提..._excel导入pl/sql
文章浏览阅读83次。Git常用命令速查手册1、初始化仓库git init2、将文件添加到仓库git add 文件名 # 将工作区的某个文件添加到暂存区 git add -u # 添加所有被tracked文件中被修改或删除的文件信息到暂存区,不处理untracked的文件git add -A # 添加所有被tracked文件中被修改或删除的文件信息到暂存区,包括untracked的文件...
文章浏览阅读202次。分享119个ASP.NET源码总有一个是你想要的_千博二手车源码v2023 build 1120
文章浏览阅读1.8k次。版权声明:转载请注明出处 http://blog.csdn.net/irean_lau。目录(?)[+]1、缺省构造函数。2、缺省拷贝构造函数。3、 缺省析构函数。4、缺省赋值运算符。5、缺省取址运算符。6、 缺省取址运算符 const。[cpp] view plain copy_空类默认产生哪些类成员函数