spiderChow
11/26/2017 - 5:22 AM

pytorch RNN 变长输入 padding

https://zhuanlan.zhihu.com/p/28472545 用RNN（包括LSTM\GRU等）做NLP任务时，对于同一个batch内的短句子一般需要padding补齐，这些padding的字符一般不应该拿去算output、hidden state、loss...的。

pack.py
content_copyfile_download
# x内的seq需要按长度降序排列
x_emb = self.emb(x)
x_emb_p = torch.nn.utils.rnn.pack_padded_sequence(x_emb, xlen, batch_first=True)
out_pack, (ht, ct) = self.rnn(x_1_emb_p, None)
'''
返回的ht和ct就是剔除padding字符后的hidden state和cell state，都是Variable类型的。
但是返回的output是PackedSequence类型的
'''
out = torch.nn.utils.rnn.pad_packed_sequence(out_pack, batch_first=True)
#将output转化成tuple：(padded sequence, sequence lengths)。