为什么卷积要翻转/为什么深度学习卷积不翻转/卷积和相关_卷积为什么要翻转-程序员宅基地

1、一维卷积

在这里插入图片描述
一维卷积要翻转,究其原因,是因为“时间的相对”,x(t’)过去1秒后,对“现在t"的影响力度是h(1);x(t’’)过去2秒后,对“现在t"的影响力度是h(2);…
站在现在时刻t,向左看,看到的是h(3),h(2),h(1),h(0),倒过来的
参考

2、卷积和相关

相关是信号与信号间的关系,参考此处,衡量两个信号是正线性相关/负线性相关/无相关关系。
卷积是信号与系统间的关系,某时刻输入信号,系统的输出是什么。在一维时间序列信号情况下,系统的输出不仅取决于当前时刻的输入,还取决于之前时刻的输入,而这是因为系统对某时刻的响应h(n)是一个串会对”未来“产生影响。参考上一部分的解释。(仅限于1维时间序列)

3、为什么传统二维卷积要翻转

传统图像/信号处理中,二维卷积(比如对图像)也要翻转。
我认为,这个是对1中一维时间序列卷积的定义延续与同意。
(我认为其实不翻转也行的,因为如果不是时间序列,某个局部patch响应就不会”未来“产生影响)

4、为什么深度学习卷积不翻转

解释1:因为卷积核是from stratch学习到的,如果翻转是必须的,那么学习到的卷积核就应该是翻转过后的卷积核了
解释2:如3中我猜想的,图像(二维/三维)没有时间概念,所以没有类似1中信号与“系统”的概念,没有旧时刻输入对现在时刻输出的影响效应,其实是不需要卷积的。而深度学习borrow了图像处理的空间“卷积”名词,而图像处理的“卷积”本质上也是不用翻转的(相关),所以深度学习卷积不用翻转。所以,深度学习,用的应该是“相关”这个概念。而“相关”貌似也更合理,参考 风格迁移中对Style这个概念的构思,相关应该才是图像处理所需要的。

Firstly, since CNNs are trained from scratch instead of human-designed, if the flip operation is necessary, the learned filters would be the flipped one and
the cross-correlation with the flipped filters is implemented.
Secondly, flipping is neccessary in 1D time-series processing, since the past inputs impact the current system output given the “current” input. But in 2D/3D image spatial convolution, there is not “time” concept, then not “past” input and its impact on “now”, therefore, we don’t need to consider the relationship of “signal” and “system”, and there is only the relationship of “signal”(image patch) and “signal”(image patch), which means we only need cross-correlation instead of convolution (although DL borrow this concept from signal processing).
Therefore, the flip operation is actually not needed.
(I guess.)

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/zhuazengbian9095/article/details/114577303

智能推荐

嵌入式系统软件架构设计_嵌入式方案设计-程序员宅基地

文章浏览阅读2.7k次,点赞3次,收藏32次。嵌入式系统软件架构设计目录1.前言42.决定架构的因素和架构的影响42.1.常见的误解52.1.1.小型的系统不需要架构52.1.2.敏捷开发不需要架构73.嵌入式环境下软件设计的特点73.1.和硬件密切相关73.2.稳定性要求高83.3.内存不足83.3.1.虚拟内存技术83.3.2.两段式构造9..._嵌入式方案设计

基于vscode&python的opencv基础代码(2)_图像处理的vcod任务-程序员宅基地

文章浏览阅读3k次,点赞5次,收藏4次。环境配置:Python 版本: 3.9; opencv-python 版本:4.5.5 ; 参考其他博文配置环境!_图像处理的vcod任务

P1379 八数码难题 题解-程序员宅基地

文章浏览阅读238次。这个题就是一个 BFS 的经典题目,将整个序列状态放到队列里,一一检索,如果达到答案就结束搜索。我们存放空位所在的位置,每一次取出时就不用寻找空位在哪里了。枚举将上下左右移到空位的情况,如果当前情况没有被搜索到就放到队列里,如果当前状态就是目标状态就停止搜索,退出。我们可以将整个序列当成一个数字存进一个 map 里去重,map 很快,查询只有log级别,所以可以在很优秀的时间复杂度内完成问题。这个题还可以用双向广搜,从起点和终点同时开始搜,时间复杂度更优,但是我不会。

html语言与网页设计p249,html语言与网页设计期末考试题.doc-程序员宅基地

文章浏览阅读261次。html语言与网页设计期末考试题.doc HTML 期末复习题(含答案) 第 1题 判断正误 (1)HTML 标记符的属性一般不区分大小写。 (对) (2)网站就是一个链接的页面集合。 (对) (3)将网页上传到 Internet 时通常采用 FTP 方式。 (对) (4)所有的 HTML 标记符都包括开始标记符和结束标记符。 (错) (5)用 H1 标记符修饰的文字通常比用 H6 标记符修饰的要..._要控制单元格内容与表格框线之间的空白,应在 table 标记符中使用属性______

python修改ini保留注释_保留注释换行的python模块configparser-程序员宅基地

文章浏览阅读581次。def_read(self, fp, fpname):"""Parse a sectioned setup file.The sections in setup file contains a title line at the top,indicated by a name in square brackets (`[]'), plus key/valueoptions lines, indic..._python ini配置文件 换行

AndroidQ SystemUI之插件化机制Plugin_systemui plugin-程序员宅基地

文章浏览阅读6.3k次,点赞3次,收藏19次。这篇文章接着上一篇SystemUI之启动未分析完的SystemUI插件化机制相关的代码SystemUI插件SystemUI插件提供了一种快速创建SystemUI功能原型的简便方法,可以在运行时更改SystemUI的行为。 这是通过创建插件可以期望在SysUI中使用的一组基本接口来完成的,然后可以以比当前更快的速度迭代由该接口控制的部分代码。简单来说就是可以快速替换SystemUI原有的组件,..._systemui plugin

随便推点

12款免商用中文字体,有谁不爱!(附下载)-程序员宅基地

文章浏览阅读3.8k次,点赞5次,收藏11次。作为设计师,最怕被举报侵权。所以,今天给大家整理了12款用于各场景标题字的免商中文字体,也算是目前最新的版本。有了这些字体,再也不用担心版权问题。

怎么在python中导入excel_5分钟学会用Python 读取Excel-程序员宅基地

文章浏览阅读7.5k次。日常办公使用频率最高的软件非Excel莫属了,如果我们遇到需要导入别人的Excel进行后续数据分析、读取内容等操作,我们该怎么办呢?测试开发哥哥说:莫要慌,人生苦短,我用Python!环境配置Python的基础环境配置相信大家都很熟悉了,此处不再赘述,如需详细文档,可以善用搜索引擎。Python读取Excel的外部库的方法参考上次的文章,本次继续使用好用的openpyxl库进行Excel的读取安装..._python中excel导入

Python 调用 C 动态链接库,包括结构体参数、回调函数_python so 回调函数-程序员宅基地

文章浏览阅读4.8k次,点赞5次,收藏22次。环境准备ctypes 包准备使用 ctypes,需要首先安装 python-dev 包:Ubuntu:$ sudo apt-get install python-dev -yCentOS:$ sudo yum install python-devel -y这里主要包含了ctypes包。.so 文件准备将你的 C 代码编译成 .so 文件。这里假设目标文件是..._python so 回调函数

组态王 力控 MCGS 瑞尔 杰控等国内组态软件一点看法_组态王与力控的区别-程序员宅基地

文章浏览阅读8.7k次。组态王 力控 MCGS 瑞尔 杰控等国内组态软件一点看法_组态王与力控的区别

ZOJ 2042 Divisibility (DP)_consider an arbitrary sequence of integers. one ca-程序员宅基地

文章浏览阅读822次。【问题描述】Consider an arbitrary sequence ofintegers. One can place + or - operators between integers in the sequence, thusderiving different arithmetical expressions that evaluate to different values.Le_consider an arbitrary sequence of integers. one can place + or - operato

php里进程创建和分析-程序员宅基地

文章浏览阅读108次。Linux系统中,进程的执行模式划分为用户模式和内核模式,当进程运行于用户空间时属于用户模式,如果在用户程序运行过程中出现系统调用或者发生中断事件,就要运行操作系统(即核心)程序,进程的运行模式就变为内核模式在该模式下运行的进程可以执行机器特权指令,而且该进程的运行不受用户的干预。pcntl_fork()函数创建一个子进程,这个子进程仅PID(进程号) 和PPID(父进程号)与其父进程不同..._php 创建进程

推荐文章

热门文章

相关标签