实值复变函数求导 ——(Wirtinger derivatives)_wirtinger导数-程序员宅基地

技术标签: 算法  虚数  神经网络  数字信号处理  

1.背景知识

在工程应用中,特别是信号处理领域,经常会遇到一些关于复信号的计算,一个典型的例子就是著名的快速傅里叶变换(FFT),它会将实信号也映射为复信号。与实信号相比,复信号包含额外的相位信息。某些物体,例如phase object,其有效信息完全包含在相位信号中。 而且实数作为复数的一个子集,针对复信号设计的算法往往有更加广泛的应用。因此,研究复信号是非常有必要的。    

一些余弦波叠加的FFT分析(图片来源:维基百科)

常见的对的复信号的处理是将其实部和虚部分开,然后进行单独处理,这样就可以用处理实信号的方法解决复信号的问题。但是,这种方法往往包含很多重复步骤分别用来处理实部和虚部。 我们希望能够直接在复数域进行相关分析,从而让整个算法的结构变得更加精简。

信号复原是信号处理中一个重要的方向,主要研究根据测量结果恢复出原始信号,而这个问题常常被看作是一个优化问题。解决优化问题经常要用到函数的梯度,因此有必要研究复变函数的一些求导理论。

2.经典的复变函数可导性

在传统的复变函数理论中,可导性的要求非常严格,具体定义为:如果复变函数f(z)z_0处可导,那么极限

                                                                   \lim_{z \to z_0} \frac{f(z)-f(z_0)}{z-z_0}

总是存在,与z趋近于z_0的路径无关。因此,若将其写成实部和虚部的形式,那么对于函数f(z) = u(z)+iv(z)和变量z = x+iy, 必须满足条件:

                                                                           \frac{\partial u}{\partial x} = \frac{\partial v}{\partial y}, \frac{\partial u}{\partial y} = -\frac{\partial v}{\partial x},

这一性质与势能函数类似,即做功只与始末位置有关,而与路径无关,比如重力势能只与高度有关。因此其在一个封闭路径上的积分为0,从而可导函数具有上述的偏导数约束。 

重力势能(来源:百度百科)

                         

这种定义下的导函数是实数导数理论的一个直接推广,但是适用性较窄,使用时限制条件较多。一类典型的不具有这种可导性的函数包括所有的实值复变函数(非常函数)。对于这种函数,u(z)不为常数,v(z) = 0,因此\frac{\partial v}{\partial y} = \frac{\partial v}{\partial x} = 0,必不满足上述偏导数条件。但是,这类实值函数在实际应用中很常见,一个例子是评价函数。对于一个复原后的复信号,我们对它的评价一定为一个实数,这样才可以用该指标的大小评价信号的好坏(一般复数无法直接比较大小)。在模仿深度学习进行误差反向传播更新的过程中,必然会涉及到实值复变函数的求导,而上述导数定义无法使用,因此引入了Wirtinger导数体系解决这个问题。

3. Wirtinger 导数

Wirtinger 导数由Remmert与1995年提出 [1],用于解决实值复变函数的问题。首先通过实部与虚部分离的方法研究一个复变函数f(z) = F(x,y) = U(x,y)+iV(x,y), z = x+iy的微分问题。根据多元函数的微分性质

                                                dF = \frac{\partial F}{\partial x} dx +\frac{\partial F}{\partial y} dy = \frac{\partial U}{\partial x} dx + \frac{\partial V}{\partial x} idx + \frac{\partial U}{\partial y} dy + \frac{\partial V}{\partial y} idy,

根据z与x和y的关系,可将其改写成关于z的微分:

                                                                              x = \frac{z+z^*}{2}, dx = \frac{dz+dz^*}{2}\\ ~~~~~y = \frac{z-z^*}{2i}, dx = \frac{dz-dz^*}{2i},

带入上式可得,若dF = \frac{\partial F}{\partial z}dz + \frac{\partial F}{\partial z^*}dz^*,那么

                                                                                  \frac{\partial }{\partial z} = \frac{1}{2}(\frac{\partial }{\partial x}-i\frac{\partial }{\partial y})\\ ~~~~~\frac{\partial }{\partial z^*} = \frac{1}{2}(\frac{\partial }{\partial x}+i\frac{\partial }{\partial y}),

这两个导数就被称为Wirtinger导数(Wirtinger derivatives)。

根据上述定义,可以得到一个Wirtinger求导法则中非常重要的一组等式

                                                              \frac{\partial z^*}{\partial z} = \frac{1}{2}\left[\frac{\partial x}{\partial x}-i\frac{\partial (-iy)}{\partial y}\right] = 1-i*(-i) = 0\\ ~~~~~\frac{\partial z}{\partial z^*} = \frac{1}{2}\left[\frac{\partial x}{\partial x}+i\frac{\partial (iy)}{\partial y}\right] = 1+i*i = 0.

类比多元函数中偏导数恒为零的情况,我们可以很自然得得出一个结论:在Wirtinger求导法则中,zz^*可以看作两个互不相关的变量,只要分别对其单独求导即可。例如,对z求导时,可将z^*看作常量,反之亦然。

最后举一个例子。复数的模平方的计算公式为\|z\|^2 = z^*z,那么在Wirtinger导数体系下,其关于z的导数为

                                                                 \frac{\partial \|z\|^2}{\partial z} =\frac{\partial z^*z}{\partial z} = z^*, \frac{\partial \|z\|^2}{\partial z^*} =\frac{\partial z^*z}{\partial z^*} = z.

模函数也为一个实值函数,它也具有实值函数特有的求导性质

                                                                                         dF = 2Re(\frac{\partial F}{\partial z}dz).

对于梯度下降法,其最速下降方向为\frac{\partial F}{\partial z^*},其中F为实值复变函数。

参考文献:

[1] Remmert, R. (1991). Theory of complex functions (Vol. 122). Springer Science & Business Media.

[2] (一份实用课件) https://mediatum.ub.tum.de/doc/631019/631019.pdf

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/weixin_37872766/article/details/107673096

智能推荐

Git学习系列(一)初识Git-程序员宅基地

文章浏览阅读718次。Git作为一个版本控制工具,在工作中我们常常会用到它,尤其是在移动开发中,Git可谓是版本管理神器。下面让我们来认识一下Git:Git是一个分布式版本控制软件,它是由Linux的作者Linus用C写的一个分布式版本控制系统。如果大家对Git的历史比较感兴趣,可以点击链接进入官网了解:A Short History of GitGit主要特点有如下:1、速度:Git在本地上保存着所有

餐饮行业怎么才能玩转大数据?-程序员宅基地

文章浏览阅读154次。编者按:用数据将传统餐饮门店信息搬到线上,大众点评兴起;以数据化为基础,餐饮门店经营实现移动化,点单、叫号、排队模式火了。目前,餐饮行业的数据应用更多在供应链管理和餐饮门店运营状况实时监控分析,每个餐饮商家各自为战,实际数据的应用比大数据的应用更多,而大数据更多用于用户画像和少数大企业的经营管理。不过,基于大数据在电商的应用和餐饮的发展趋势,大数据的应..._如何获得每个城市的餐饮大数据

Dialog异常 Unable to add window, token not valid_token not valid-程序员宅基地

文章浏览阅读584次。好记性不如烂笔头问题描述 Activity 延时显示 Dialog ,在显示之前, Activity 已经销毁 报错 Unable to add window -- token android.os.BinderProxy@e6ee7d8 is not valid; is your activity running?问题分析 错误信息很明确,是没有 token 导致的. 而 toke_token not valid

基于SSH框架的电影订票系统网站的设计与实现-程序员宅基地

文章浏览阅读3.9k次。源码及论文:源码及论文下载:http://www.byamd.xyz/tag/java/开发计划1. 甘特图2. 开发计划简述如图所示在项目初期阶段,首先开始需求调研。需求调研阶段,我们将首先根据初期的会议内容考虑市场需求以及基本的市场现状,并根据以上的内容设计问卷来寻找痛点。我们准备使用第三方问卷工具,以电子问卷的方式来进行调查。初步预计会收到200份问卷。在需求调查阶段,同时开展对同类型的网站的评估工作。进入初步的需求分析阶段。目标是取得现有电影购票网站的基本购票流程,并对其交互等

异常的捕获和处理-程序员宅基地

文章浏览阅读3k次。异常的处理

ASP.NET Core微服务实战系列-程序员宅基地

文章浏览阅读510次。ASP.NET Core微服务实战系列 原文:ASP.NET Core微服务实战系列  希望给你3-5分钟的碎片化学习,可能是坐地铁、等公交,积少成多,水滴石穿,码字辛苦,如果你吃了蛋觉得味道不错,希望点个赞,谢谢关注。前言  这里记录的是个人奋斗和成长的地方,该篇只是一个系列目录和构想,并没有完全真正开弓。之所以有这个题目,是..._微服务 asp.net core

随便推点

Java NIO SocketChannel简述及示例_niosocketchannel-程序员宅基地

文章浏览阅读596次,点赞2次,收藏3次。SocketChannel简述及demoJAVA NIO之SocketChannel1. 简述2. 特点3. 解决问题4. demo功能5. 工作原理6. 代码示例7. 涉及知识扩充JAVA NIO之SocketChannel1. 简述NIO(Non-blocking I/O,在Java领域,也称为New I/O),是一种同步非阻塞的I/O模型,也是I/O多路复用的基础,已经被越来..._niosocketchannel

docker内的debian9使用ntpdate同步时间时报错step-systime: Operation not permitted-程序员宅基地

文章浏览阅读3.8k次。场景在docker下使用tzselect设置时间,最后提示编辑profile追加TZ='Asia/Shanghai'; export TZvim/etc/profilesource /etc/profile发现时区正确了,但时间和宿主机相差几分钟....使用 ntpdate cn.pool.ntp.org同步时间提示ntpdate[534]: step-systime: Operation not permitted使用 ntpdate ntp.s..._step-systime: operation not permitted

基于功能安全的车载计算平台开发:硬件层面_mcu 不同通道 共因-程序员宅基地

文章浏览阅读537次,点赞18次,收藏6次。如果不具备关于复杂元器件的安全故障比例的详细信息,可假定安全故障的保守比例为50%,并假定通过内部自检和外部看门狗(表中的安全机制SM4)达到对违背安全目标的总体覆盖率为90%。这里的意图不是一定需要全面的分析,比如要求对于微控制器内或者来自于一个复杂的PCB板上任何理论可能的信号组合的桥接故障进行详尽的分析。根据硬件故障对安全目标产生影响的不同,硬件故障可分为安全相关故障与非安全相关故障,其中安全相关故障又进一步分为单点故障、残余故障、多点可探测故障、多点可感知故障、多点潜伏故障与安全故障。

VS2022无法启动程序(系统找不到制定的文件)问题_vs2022无法启动程序找不到指定文件-程序员宅基地

文章浏览阅读3.1w次,点赞47次,收藏108次。如何解决VS2022无法启动程序(系统找不到制定的文件)的问题。_vs2022无法启动程序找不到指定文件

Chapter4 The Relational Model_order pairs and cartesian product-程序员宅基地

文章浏览阅读756次。Chapter4 The Relational Model4.2TerminologyAn relational model is based on the mathematical concept of a relation,whichis phycisally represented as a table.4.2.1Relational Data Structurewe d_order pairs and cartesian product

java检查手机号是否被注册_【java】如何开发一个检测手机号注册过哪些网站的应用?...-程序员宅基地

文章浏览阅读707次。问题描述使用python或其它语言开发一个检测手机号注册过哪些网站的应用问题出现的环境背景及自己尝试过哪些方法在登陆一个很久没使用的网站时,原注册的手机号已弃用无法找回密码。所以希望有这么一款应用,能够在我输入手机号时列出注册过的网站,方便更换注册账号用的手机号目前的思路是,使用爬虫爬到网站中忘记密码的页面,然后输入手机号。这么做有几个问题:爬取忘记密码页面的通用规则该用什么思路去写关于验证码,我..._java 导入验证手机号是否注册某个网站