lstm输出输出和参数你懂了吗-程序员宅基地

技术标签： lstm NLP DL

最近在做一个nlp的练习赛，把lstm重新彻底温习了一遍。把以前很多没搞懂的东西重新倒腾了一遍，收获真的很多，但是由于知识点较多，所以写一篇博客来记录。
本文绝多数图片及内容参考自：https://www.zhihu.com/question/41949741
但是本文不会讲一下很基础的东西，只会讲一些很扰人的东西。

1.lstm初探

相信你第一次学习lstm的时候，一定也是百度lstm，开始看博文，当你对遗忘门，输入门，输出门有所理解的时候，那么恭喜你，你已经入门了，但是入门的同时也是痛苦的开始。
不信的话，我问你几个问题：

2.LSTM 的 cell 里面的 num_units 该怎么理解

这个问题也困扰了我很久，后来终于明白了，很多资料都没有在这个地方做详细的解释，那就是 LSTM 的 cell 里面的 num_units 该怎么理解，其实也是很简单，看看下图：

在这里插入图片描述可以看到中间的 cell 里面有四个黄色小框，你如果理解了那个代表的含义一切就明白了，每一个小黄框代表一个前馈网络层，对，就是经典的神经网络的结构，num_units就是这个层的隐藏神经元个数，就这么简单。其中1、2、4的激活函数是 sigmoid，第三个的激活函数是 tanh。
另外几个需要注意的地方：

1、 cell 的状态是一个向量，是有多个值的。。。一开始没有理解这点的时候怎么都想不明白

2、上一次的状态 h(t-1)是怎么和下一次的输入 x(t) 结合（concat）起来的，这也是很多资料没有明白讲的地方，也很简单，concat，直白的说就是把二者直接拼起来，比如 x是28位的向量，h(t-1)是128位的，那么拼起来就是156位的向量，就是这么简单。。

3、 cell 的权重是共享的，这是什么意思呢？这是指这张图片上有三个绿色的大框，代表三个 cell 对吧，但是实际上，它只是代表了一个 cell 在不同时序时候的状态，所有的数据只会通过一个 cell，然后不断更新它的权重。

4、那么一层的 LSTM 的参数有多少个？根据第 3 点的说明，我们知道参数的数量是由 cell 的数量决定的，这里只有一个 cell，所以参数的数量就是这个 cell 里面用到的参数个数。假设 num_units 是128，输入是28位的，那么根据上面的第 2 点，可以得到，四个小黄框的参数一共有（128+28）（1284），也就是156 * 512，可以看看 TensorFlow 的最简单的 LSTM 的案例，中间层的参数就是这样，不过还要加上输出的时候的激活函数的参数，假设是10个类的话，就是128*10的 W 参数和10个bias 参数5、cell 最上面的一条线的状态即 s(t) 代表了长时记忆，而下面的 h(t)则代表了工作记忆或短时记忆暂时这么多。

作者：lonlon ago
链接：https://www.zhihu.com/question/41949741/answer/309529532
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

3.推荐一篇博文，是讲LSTM中的参数个数是怎么计算的

from: zackhttps://www.zhihu.com/question/41949741

推荐一篇博文，是讲LSTM中的参数个数是怎么计算的
https://www.cnblogs.com/wushaogui/p/9176617.html
(博主注：很重要)
在这里插入图片描述

4 超清晰的lstm训练过程

在这里插入图片描述

说明：上面画红框的地方，如想输出如上的三维矩阵，需要指明参数：return_sequences=True

参考：https://blog.csdn.net/wjc1182511338/article/details/79689409

本文链接：https://blog.csdn.net/ssswill/article/details/88429794

原作者删帖不实内容删帖广告或垃圾文章投诉

智能推荐

AVFrame&AVPacket_天天av-程序员宅基地

文章浏览阅读1.5w次。AVFrame：（ This structure describes decoded (raw) audio or video data. AVFrame must be allocated using av_frame_alloc(). Note that this only allocates the AVFrame itself, the buffers for the data mus_天天av

Java经典例题07：用100元人民币兑换10元、5元、1元的纸币_编程把100元换成1元5元10元-程序员宅基地

文章浏览阅读3.5k次，点赞2次，收藏12次。解题思路分析：1.100元兑换10元纸币，可以兑换10张，但每种纸币都要有，所以最多只能兑换9张，最少兑换1张。则初始值为1；循环条件小于10或者小于等于9。2.100元兑换5元纸币，可以兑换20，但每种纸币都要有，所以最多只能兑换19张，最少兑换1张。初始值为1；循环条件小于20或者小于等于19。3.100元兑换1元纸币，可以兑换100张，但每种纸币都要有，所以最多只能兑换99张，最少兑换1张。则初始值为1；循环条件小于100或者小于等于99。_编程把100元换成1元5元10元

猜三次年龄_找人猜三次年龄-程序员宅基地

文章浏览阅读450次。1、允许用户最多尝试三次2、每尝试三次后，如果还没猜对，就问用户是否继续玩，如果回答Y，y，就继续猜三次，以此往复，如果回答N，n，就直接退出times=0count=3while times<=3:age=int(input(‘请输入年龄：’))if age == 18:print(‘猜对了’)breakelif age > 18:print(‘猜大了’)else:print(‘猜小了’)times+=1if times3:choose = input(‘继续猜Y_找人猜三次年龄

SDOI2017 Round2 详细题解-程序员宅基地

文章浏览阅读152次。这套题实在是太神仙了。。做了我好久。。。好多题都是去搜题解才会的 TAT。剩的那道题先咕着，如果省选没有退役就来填吧。「SDOI2017」龙与地下城题意丢 \(Y\) 次骰子，骰子有 \(X\) 面，每一面的概率均等，取值为 \([0, X)\) ，问最后取值在 \([a, b]\) 之间的概率。一个浮点数，绝对误差不超过 \(0.013579\) 为正确。数据范围每组数据有 \...

嵌入式数据库-Sqlite3-程序员宅基地

文章浏览阅读1.1k次，点赞36次，收藏25次。阅读引言：本文将会从环境sqlite3的安装、数据库的基础知识、sqlite3命令、以及sqlite的sql语句最后还有一个完整的代码实例，相信仔细学习完这篇内容之后大家一定能有所收获。

C++ Builder编写WinForm从Web服务器下载文件-程序员宅基地

文章浏览阅读51次。UnicodeString templateSavePath = ChangeFileExt(ExtractFilePath(Application->ExeName),"tmp.doc");IdAntiFreeze1->OnlyWhenIdle = false;//设置使程序有反应.TMemoryStream *templateStream ;templateStre..._c++webserver下载文件