【NLP】因果卷积（causal）与扩展卷积（dilated）_扩张因果卷积_阿木鸣的博客-程序员秘密

技术标签： NLP

因果卷积：

因为要处理序列问题（即要考虑时间问题，）就不能使用普通的CNN卷积，必须使用新的CNN模型，这个就是因果卷积的作用，看下面一个公式，对与序列问题（sequence modeling），主要抽象为，根据x1......xt和y1.....yt-1去预测yt，使得yt接近于实际值。

我们根据图片来看下因果卷积的样子，下面这个图片来自：https://deepmind.com/blog/wavenet-generative-model-raw-audio/

上面的图片可以详细的解释因果卷积，但是问题就来，如果我要考虑很久之前的变量x，那么卷积层数就必须增加。卷积层数的增加就带来：梯度消失，训练复杂，拟合效果不好的问题，为了决绝这个问题，出现了扩展卷积（dilated）。

扩展卷积：

对于因果卷积，存在的一个问题是需要很多层或者很大的filter来增加卷积的感受野。本文中，我们通过大小排列来的扩大卷积来增加感受野。扩大卷积（dilated convolution）是通过跳过部分输入来使filter可以应用于大于filter本身长度的区域。等同于通过增加零来从原始filter中生成更大的filter。

这就可以解决因果卷积带来的问题，在示意图中，卷积感受野扩大了1,2,4,8倍。扩大卷积（dilated convolution）可以使模型在层数不大的情况下有非常大的感受野。

本文链接：https://blog.csdn.net/My123456abc/article/details/100875742

原作者删帖不实内容删帖广告或垃圾文章投诉

智能推荐

java中Class对象详解、类名.class, class.forName(), getClass()区别_路易斯睿齐的博客-程序员秘密

Java反射学习所谓反射，可以理解为在运行时期获取对象类型信息的操作。传统的编程方法要求程序员在编译阶段决定使用的类型，但是在反射的帮助下，编程人员可以动态获取这些信息，从而编写更加具有可移植性的代码。严格地说，反射并非编程语言的特性，因为在任何一种语言都可以实现反射机制，但是如果编程语言本身支持反射，那么反射的实现就会方便很多。1，获得类型类我们知道在Java中一切都是对象，我们一般所使用的对象都

Python读取excel 日期时分秒_python 把一列时分秒_amberom的博客-程序员秘密

import xlrdimport datetimefile=u"伏特加.xls"#注意读中文文件名稍微处理一下data=xlrd.open_workbook(file)table = data.sheet_by_index(0)#按照索引读Excel文件colContent=table.col_values(1)#读某一列，日期在第二列nrows=table.nrows #行数print nrowsncols = table.ncols#列数print "有%s列"%ncols #只.

Result Maps collection does not contain value for java.util.HashMap_tornado430的博客-程序员秘密

Result Maps collection does not contain value for java.util.HashMap出现上述错误主要是因为select标签内部的resultMap、resultType属性指向的不正确注意：在mybatis .xml文件中只要有任何一个resultMap或resultType属性指向错误，则在这个文件中其余正确的语句也不能执行，con...

uni-app 安卓打包流程；未获取AppKey或配置错误_dcloud_appkey__套码的汉子的博客-程序员秘密

打包后安装应用提示: 未获取AppKey或配置错误；移步最下边第7节uni-app 安卓打包流程（预备环节）：1. 安装 SDK 和 android studio2. 申请证书获取Appkey3. （第一步和第二步按照uni-app官方文档都可以顺利完成）官方文档 https://nativesupport.dcloud.net.cn/AppDocs/usesdk/android?id=versionCode建议下载官方的SDK 会包含 HBuilder-Integrate-AS 项目（在 an

ue4 设置intellisence_虚幻引擎4设置Visual Studio_weixin_39683598的博客-程序员秘密

转自：http://www.unrealchina.net/portal.php?mod=view&aid=149设置Visual Studio和虚幻引擎4协同工作有利于提高开发人员使用UE4 的效率和整体用户体验。On this page:推荐设置Intellisense(智能编码)、Live Errors(实时错误)和Squiggles(波浪线提示)实现细节UnrealVS 插件调试针...

如何创建一个简单的二叉树（TreeNode）？_怎样创建treenode_南丘xf的博客-程序员秘密

我们都知道，数据结构最典型的就是数组和链表，在《算法图解》一书中，详细介绍了数组和链表的优缺点：数组查询快（下标），但删除或者插入就比较慢（遍历）链表与之相反，删除和插入元素很快，但查找很慢所以二叉树就应运而生了，它结合二者的优点，取二家之长，但是在实际编程中，大多时候，根本用不到二叉树（实际编程中，我从来没用过二叉树，但是面试可能会问啊，所以趁有空学习总结下），网上找了一下二叉树的应用场...