特征值,特征向量,SVD分解,PCD分解-程序员宅基地

技术标签: 算法  机器学习  1024程序员节  人工智能  

特征值,特征向量:

 对于n阶方阵A,在A张成的空间里,存在非零向量v, 该向量转换到A张成的空间时,方向不变,大小变为λ倍。

①  Av = λv 

变换一下:

②  (A - λI)v = 0

对于A向量,特征向量存在非零解的充要条件是下面的行列式值为0:

det(A - λI) = 0

计算出特征值λ。

λ可能有多个值,分别将每个值代入公式②,计算向量v,v是个表达式,也就是可以是多个向量。

向量v只会被伸缩而不会改变方向。代入任意一个值,得到一个特征值λ的特征向量v。

  • 特征值性质:

        特征值λ相加 = 矩阵迹相加

        特征值λ相乘 = 矩阵的行列式

A矩阵的特征值分解:
A = W\Sigma W^{-1}

其中W为特征向量组成的矩阵,Σ为对应特征值组成的对角矩阵

W^{-1}AW = \Sigma


奇异值分解 SVD

任意一个形状的矩阵M,可以分解成如下的形式:

        M = U\Sigma V^{T}

  • M 的形状为m*n,U的形状为m*m的方阵,V为n*n的方阵,Σ为m*n形状矩阵。
  • U 是 MM^{T}得到的结果矩阵的特征向量组成的m*m的方阵
  • Σ对角为奇异值,该值的平方等于特征值,而且依次从大到小排列。
  • V 是  M^{T}M得到的结果矩阵的特征向量组成的n*n的方阵,公式用的是其转置,numpy中提供的函数:np.linalg.svd(),给出的结果也是转置后的结果。
    V^{T}也是PCA主成分的方向。
  • U和V都是酉矩阵,即满足:AA^{T} = I

求解步骤:


主成分分析 PCA

主成分可以看作是数据的新坐标系中的基向量,将原始数据投影到这些主成分上,可以实现数据降维。

步骤:

  1. 将原点放到数据的中心位置。
  2. 找到方差最大的方向

也就是:先将坐标轴的原点移动到数据的中心,再将坐标系旋转到方差最大的方向。这样大多数数据被压缩到一个低维度的X轴上。

关键步骤是找到方差最大的方向。而其结果刚好就是SVD分解的V^{T}

假设手里的数据是D',符合正态分布的白数据是D(图例在下面有)。

D变换到D'的过程相当于:先拉伸S,再旋转R

D' = RSD

 其中R就是我们要找的旋转方向。

先对数据D'进行SVD分解:

D' = U\Sigma V^{T}

其中V值是D'^{T}D'得到的结果矩阵的特征向量组成的n*n的方阵

V^{T} 就是 (D'^{T}D')^{T} = D'D'^{T}得到的结果矩阵的特征向量组成的n*n的方阵

记住V^{T}这个结果,后面会用到它。

手上的数据D'的协方差是:

                C' = \frac{1}{n-1}D'D'^{T}

进行下面的推导:

 经过上面的推导,总结如下:

C = \frac{1}{n-1}D'D'^{T} = R\Sigma R^{-1}

因为A矩阵的特征值分解:A = W\Sigma W^{-1}

所以C的特征分解,也就是D'D'^{T}的特征分解后的W值就是上面的旋转矩阵R,就是对D'进行SVD分解后的V^{T}

L值为特征值组成的矩阵,为S矩阵在两个方向拉伸倍数的平方,为旋转后的坐标系下,数据的方差。此时在该坐标系下方差最小。

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/laocui1/article/details/132660979

智能推荐

leetcode 172. 阶乘后的零-程序员宅基地

文章浏览阅读63次。题目给定一个整数 n,返回 n! 结果尾数中零的数量。解题思路每个0都是由2 * 5得来的,相当于要求n!分解成质因子后2 * 5的数目,由于n中2的数目肯定是要大于5的数目,所以我们只需要求出n!中5的数目。C++代码class Solution {public: int trailingZeroes(int n) { ...

Day15-【Java SE进阶】IO流(一):File、IO流概述、File文件对象的创建、字节输入输出流FileInputStream FileoutputStream、释放资源。_outputstream释放-程序员宅基地

文章浏览阅读992次,点赞27次,收藏15次。UTF-8是Unicode字符集的一种编码方案,采取可变长编码方案,共分四个长度区:1个字节,2个字节,3个字节,4个字节。文件字节输入流:每次读取多个字节到字节数组中去,返回读取的字节数量,读取完毕会返回-1。注意1:字符编码时使用的字符集,和解码时使用的字符集必须一致,否则会出现乱码。定义一个与文件一样大的字节数组,一次性读取完文件的全部字节。UTF-8字符集:汉字占3个字节,英文、数字占1个字节。GBK字符集:汉字占2个字节,英文、数字占1个字节。GBK规定:汉字的第一个字节的第一位必须是1。_outputstream释放

jeecgboot重新登录_jeecg 登录自动退出-程序员宅基地

文章浏览阅读1.8k次,点赞3次,收藏3次。解决jeecgboot每次登录进去都会弹出请重新登录问题,在utils文件下找到request.js文件注释这段代码即可_jeecg 登录自动退出

数据中心供配电系统负荷计算实例分析-程序员宅基地

文章浏览阅读3.4k次。我国目前普遍采用需要系数法和二项式系数法确定用电设备的负荷,其中需要系数法是国际上普遍采用的确定计算负荷的方法,最为简便;而二项式系数法在确定设备台数较少且各台设备容量差..._数据中心用电负荷统计变压器

HTML5期末大作业:网页制作代码 网站设计——人电影网站(5页) HTML+CSS+JavaScript 学生DW网页设计作业成品 dreamweaver作业静态HTML网页设计模板_网页设计成品百度网盘-程序员宅基地

文章浏览阅读7k次,点赞4次,收藏46次。HTML5期末大作业:网页制作代码 网站设计——人电影网站(5页) HTML+CSS+JavaScript 学生DW网页设计作业成品 dreamweaver作业静态HTML网页设计模板常见网页设计作业题材有 个人、 美食、 公司、 学校、 旅游、 电商、 宠物、 电器、 茶叶、 家居、 酒店、 舞蹈、 动漫、 明星、 服装、 体育、 化妆品、 物流、 环保、 书籍、 婚纱、 军事、 游戏、 节日、 戒烟、 电影、 摄影、 文化、 家乡、 鲜花、 礼品、 汽车、 其他 等网页设计题目, A+水平作业_网页设计成品百度网盘

【Jailhouse 文章】Look Mum, no VM Exits_jailhouse sr-iov-程序员宅基地

文章浏览阅读392次。jailhouse 文章翻译,Look Mum, no VM Exits!_jailhouse sr-iov

随便推点

chatgpt赋能python:Python怎么删除文件中的某一行_python 删除文件特定几行-程序员宅基地

文章浏览阅读751次。本文由chatgpt生成,文章没有在chatgpt生成的基础上进行任何的修改。以上只是chatgpt能力的冰山一角。作为通用的Aigc大模型,只是展现它原本的实力。对于颠覆工作方式的ChatGPT,应该选择拥抱而不是抗拒,未来属于“会用”AI的人。AI职场汇报智能办公文案写作效率提升教程 专注于AI+职场+办公方向。下图是课程的整体大纲下图是AI职场汇报智能办公文案写作效率提升教程中用到的ai工具。_python 删除文件特定几行

Java过滤特殊字符的正则表达式_java正则表达式过滤特殊字符-程序员宅基地

文章浏览阅读2.1k次。【代码】Java过滤特殊字符的正则表达式。_java正则表达式过滤特殊字符

CSS中设置背景的7个属性及简写background注意点_background设置背景图片-程序员宅基地

文章浏览阅读5.7k次,点赞4次,收藏17次。css中背景的设置至关重要,也是一个难点,因为属性众多,对应的属性值也比较多,这里详细的列举了背景相关的7个属性及对应的属性值,并附上演示代码,后期要用的话,可以随时查看,那我们坐稳开车了······1: background-color 设置背景颜色2:background-image来设置背景图片- 语法:background-image:url(相对路径);-可以同时为一个元素指定背景颜色和背景图片,这样背景颜色将会作为背景图片的底色,一般情况下设置背景..._background设置背景图片

Win10 安装系统跳过创建用户,直接启用 Administrator_windows10msoobe进程-程序员宅基地

文章浏览阅读2.6k次,点赞2次,收藏8次。Win10 安装系统跳过创建用户,直接启用 Administrator_windows10msoobe进程

PyCharm2021安装教程-程序员宅基地

文章浏览阅读10w+次,点赞653次,收藏3k次。Windows安装pycharm教程新的改变功能快捷键合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能,丰富你的文章UML 图表FLowchart流程图导出与导入导出导入下载安装PyCharm1、进入官网PyCharm的下载地址:http://www.jetbrains.com/pycharm/downl_pycharm2021

《跨境电商——速卖通搜索排名规则解析与SEO技术》一一1.1 初识速卖通的搜索引擎...-程序员宅基地

文章浏览阅读835次。本节书摘来自异步社区出版社《跨境电商——速卖通搜索排名规则解析与SEO技术》一书中的第1章,第1.1节,作者: 冯晓宁,更多章节内容可以访问云栖社区“异步社区”公众号查看。1.1 初识速卖通的搜索引擎1.1.1 初识速卖通搜索作为速卖通卖家都应该知道,速卖通经常被视为“国际版的淘宝”。那么请想一下,普通消费者在淘宝网上购买商品的时候,他的行为应该..._跨境电商 速卖通搜索排名规则解析与seo技术 pdf

推荐文章

热门文章

相关标签