变长序列怎么使用mini-batch SGD训练?
的有关信息介绍如下:
最近在研究 Pytorch 下的 RNN,CookBook 上都是单个样本的训练过程,没有 mini-batch 的方案,就自己研究了一下。
有一种最简单的方案,将所有的样本,都用 0 补全到固定长度。比如,每个 minibatch 中有三个句子,全部做长度为 15 的补全:
在计算 cost 时,再跳过将补全位置的值。对于翻译任务,attention 的 softmax 计算也要跳过这些位置。这种方案实现简单,但是为了和训练过程保持一致,预测解码也需要做补全。对于线上实时系统来说,对所有句子做补全,会大大降低处理速度。设想一下,将 “How are you ?” 这种短句做补全到 100,要多做25倍的迭代。
Pytorch 有 torch.nn.utils.rnn 工具包,来支持 RNN 的卷积。分三个步骤来做。
1. padding
第一步还是 padding 补全,但需要保留每个输入序列的长度信息作为 mask。按照 batch 中最长的序列的长度,作为补全长度。和第一种方案相区别,每个 mini-batch 的补全长度是不一样的。
sen_ten:
2. embedding
由于PAD_VALUE 没有对应的embedding值,pytorch 支持将对应位置的embedding输出,设置为 0。注意 num_beddings 需要包含 PAD_VALUE。
3. 在 lstm 之前
对 embedding 层的输出做 pack,保证 lstm 不会处理补全的时序位置。需要使用第一步计算的长度信息。这一步是 pad -> pack。
4. 在 lstm 之后
对 lstm 的输出,恢复成带补全的矩阵形式,这一步是 pack -> pad。contiguous() 返回一个内存连续的有原数据的tensor。
在后续的非时序卷积的层,直接使用 padded 作为输入。
5. decoder
以上都是对源端数据做的处理。在目标端,除了上面的部分外,还需要在最初计算 mask 值。在 backword 过程中,计算 loss 时要跳过补全的位置。
mask:
在解码时,循环次数为 trg_ten.size()[0],即补全后的长度。在时序位置 i,假设有对应的损失函数值 loss,使用 masked_select() 来获得非补全的序列。
需要额外注意的部分,就是以上几个。全部的代码还没有写完,后续再更新。



