【机器学习系列】概率图模型第一讲：从概率和图的角度理解概率图模型_CHEONG_KG的博客-程序员秘密

作者：CHEONG

公众号：AI机器学习与知识图谱

研究方向：自然语言处理与知识图谱

前言： 文中含有大量公式，若需获取本文全部的手书版原稿资料，扫码关注公众号【AI机器学习与知识图谱】，回复: 概率图模型第一讲即可获取。可添加微信号【17865190919】进公众号讨论群，加好友时备注来自CSDN。原创不易，转载请告知并注明出处！

让我们进入正文。本文将从从概率和图两个角度先来理解一下概率图模型。

一、概率角度

首先从概率的角度看，概率问题关注什么？随机变量x服从何种概率分布，对于高维随机变量 $p(x_1, x_2, ..., x_p)$ ，如何求边缘概率分布 $p(x_i)$ 和条件概率分布 $p(x_j|x_i)$ ，使用两个基本法则是：

1、加法法则：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-5pebrz7f-1615599578265)(file:///C:/Users/zl_sd/AppData/Local/Temp/msohtmlclip1/01/clip_image008.png)]

2、乘法法则：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-8jNsPSMh-1615599578280)(file:///C:/Users/zl_sd/AppData/Local/Temp/msohtmlclip1/01/clip_image010.png)]

概率中的运算都是基于上述两个简单的加法法则和乘法法则，由其衍生出来的两个重要的法则分别是：

1、链式法则：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-VAreYpJc-1615599578287)(file:///C:/Users/zl_sd/AppData/Local/Temp/msohtmlclip1/01/clip_image012.png)]

2、贝叶斯法则：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-xPb7Ryc1-1615599578293)(file:///C:/Users/zl_sd/AppData/Local/Temp/msohtmlclip1/01/clip_image014.png)]

但高维随机变量问题存在的困境是：维度高，计算复杂， $p(x_1, x_2, ..., x_p)$ 计算量太大，因此有以下三种简化方式，简化强度分别由强到弱为：相互独立假设、一阶马尔科夫假设和条件独立性假设。

1、相互独立假设：以朴素贝叶斯模型为代表，计算公式为：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-N1YMFVGC-1615599578300)(file:///C:/Users/zl_sd/AppData/Local/Temp/msohtmlclip1/01/clip_image016.png)]

2、一阶马尔科夫假设：即HMM模型中的齐次马尔科夫假设，放宽了相互独立假设条件，即随机变量 $x_i$ 只和 $x_{i-1}$ 有关，和其他随机变量都不相关，公式表示为：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-eDNDzydy-1615599578312)(file:///C:/Users/zl_sd/AppData/Local/Temp/msohtmlclip1/01/clip_image022.png)]

3、条件独立性假设：又放宽了一阶马尔科夫假设，计算公式为：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-nyaxq8A3-1615599578318)(file:///C:/Users/zl_sd/AppData/Local/Temp/msohtmlclip1/01/clip_image024.png)]

$x_A,x_B,x_C$ 都是集合且不相交，含义是在给定集合 $x_C$ 情况下，集合 $x_A$ 和集合 $x_B$ 相互独立。

注意： 条件独立性假设在图中有明显体现，在概率图中可以很清晰的判断出随机变量之间的条件独立性，不需要通过计算得出，相对于传统概率计算来说是概率图的一大优势所在。

二、图角度

从图的角度，分为图的表示Representation，推断Inference和学习Learning三个方面。

1、在Representation方面：图可分为有向图和无向图，有向图经典模型即贝叶斯网络，无向图经典模型即马尔科夫网络。这里提一个常用重要的概率图即高斯图，高斯和有向和无向概念结合又可分为高斯贝叶斯网络和高斯马尔科夫网络。

2、在Graph Inference方面：首先明白推断的含义是在给定已知数据情况下，求某些数据概率分布是什么。图的推断方法可分为精确推断和近似推断，近似推断又可分为确定性近似推断如变分推断和随机近似推断如MCMC。

3、在Graph Learning方面：图学习可分为两种：参数学习和结构学习，参数学习又分完备数据和隐变量两种，完备数据即不含有隐变量，隐变量学习一般用EM算法求解。结构学习即给定了数据前提下学习那种图结构更符合当前数据，再学习参数。

接下来章节将依次介绍有向图的因子分解和条件独立性，无向图的因子分解和条件独立性。

参考视频资料：【机器学习】【白板推导系列】作者：shuhuai008

本文链接：https://blog.csdn.net/feilong_csdn/article/details/114729856

原作者删帖不实内容删帖广告或垃圾文章投诉

智能推荐

图像梯度和平滑_铿锵的玫瑰的博客-程序员秘密

图像梯度图像平滑参考网址https://blog.csdn.net/myarrow/article/details/53232254

Java学习总结——抽象类与接口_原来是松松呀~的博客-程序员秘密

拾叁——抽象类与接口一、抽象类在 Java 中可以创建一种类专门用来做父类，这种类称为 “ 抽象类 ”。抽象类实际上也是一个类，只是与之前的普通类相比，内部新增了抽象方法。1.抽象类的基本概念抽象方法是只声明而未实现的方法，所有的抽象方法必须使用 abstract 关键字声明，包含抽象方法的类也必须使用 abstract class 声明。抽象类定义规则如下：（1）抽象类和...

【计算机操作系统】测试题:动态分区内存分配;调页系统;分页存储管理;快表是什么?计算指令操作数地址;有效存储访问时间,缺页次数,缺页率;_使用修改位的目的是:_霜前月下的博客-程序员秘密

目录填空题：选择题：简答题：应用题：填空题： 1. 在动态分区式内存分配算法中，倾向于优先使用低地址部分空闲区的算法是首次适应算法；能使内存空间中空闲区分布较均匀的算法是循环首次适应算法。 2. 在请求调页系统中的调页策略有预调页策略，它是以预测为基础的；另一种是请求调页策略由于较易实现，故目前使用较多。 3. ...

rdkit SMARTS支持和扩展_smart rdkit_qq_36801966的博客-程序员秘密

文章目录一、引入所需库二、SMARTS 不支持的特性三、SMARTS 支持的扩展3.1 杂化方式查询3.2 配位键3.3 邻居杂原子查询3.4 范围查询3.5 SMARTS语法参考四、子结构匹配4.1 具有SMARTS查询的功能组rdkit 支持Daylight定义的SMARTS的绝大部分标准特性以及一些有用的拓展一、引入所需库#! /usr/bin/python# coding: utf-8import osfrom rdkit import Chemfrom rdkit.Chem imp

内部类最通俗易懂_寒笑半步巅的博客-程序员秘密

内部类详解如果一个事物内部包含另一个事物，就是一个类中包含着其他类。**例如：**身体和心脏的关系，汽车和发动机的关系。。。分类:成员内部类 public /protected/（default）/private局部内部类（匿名内部类）无访问修饰符1、成员内部类package com.hanxiao.inner;public class Body { private String name; public class Hert{

Vue(uni.app如何避免手势冲突)_uniapp手势冲突_椿雪的博客-程序员秘密

手势冲突问题解决办法问题一:在h5页面上由于手势冲突导致页面自动返回，主要用于（电子签名）解决办法代码<template> <view> <button @tap="createCanvas">{{i18n.autograph.autographBtn}}</button> <view class="signature" v-show="showCanvas" @touchmove.prevent> <c

随便推点

封装：el-upload上传图片组件（解决图片闪动、多选问题）-程序员秘密

（1）粘贴上传图片，不点击输入框，点击粘贴元素所在的行空白处，然后按ctrl+v也会触发粘贴paste事件，即也会自动上传，但此时点击确定所在行，再按ctrl+v又不触发了，失焦导致？：使用el-upload组件，自定义上传方法（调后台接口），传图片file给后台，后台返回对应阿里云的oss链接，前端临时保存，最后点击页面提交按钮，再传后台oss数组链接。

怎么自学python，大概要多久？上岸程序员告诉你_普通网友的博客-程序员秘密

我就是从零基础开始学的Python，也算是一个过来人了吧，现在看来当初我也是走了许多弯路，来给大家分享一下我的经验吧。首先是最重要的一点，想清楚你为什么要去学Python？你是想要做一个网站，写一个顺手的工具，还是只要能够通过学校的考试就行，这很大程度的影响了你该如何去学Python，学到什么程度或者是你是否该转去学习另一种语言。如果你只是想做一个个人网站或者博客，你大可去学PHP，甚至根本不用学，网上有很多网站模板，直接就能用。如果你们和当初的我一样是希望通过Python写一些小工具来提升自己在职场上的

云服务器我的数据保存在哪个文件夹,云服务器存储在哪里_葱切成葱花的博客-程序员秘密

云服务器存储在哪里内容精选换一换整机镜像是包含云服务器操作系统、应用软件和业务数据的镜像。一般适用于云服务器数据整体搬迁，例如：将云服务器共享给其他租户将“华北-北京一”的云服务器迁移至“华南-广州”区域将老旧云服务器上的数据迁移至新服务器使用云备份创建整机镜像时，必须选择一个存储库，这个存储库相当于存储容器，镜像、备份都存放在该容器中。用户需要为存储库付费。使用云服务可以。如果您有业务部署在华...

UE4小技巧之官方Snippet导入_unreal engine 4 snippets_执手画眉弯的博客-程序员秘密

UE4 官方Snippet导入Visual Studio Snippets for Unreal Engine C++ ProjectsHow to install snippets?How to use snippets?UE4 引擎自带了一部分扩展部件在Engine/Extras/ 目录下，平时最常用的是UnrealVS的Vistual Studio插件，另外还有一个比较实用的就是VisualStudioSnippets。在 Engine/Extras/VisualStudioSnippets/ 文

mc9s08dz60 BootLoader基于bin文件_bin文件怎么包含bootloader_Allen__Xia的博客-程序员秘密

项目需求：统一BootLoader下载协议为客户协议。统一BootLoader下载文件类型为bin文件。 Boot时需要备份，如果中途下载失败需要恢复成之前版本。硬件环境： MCU: mc9s08dz60. ZLG USB-CAN II. 项目控制器。软件环境： WIN7. CodeWarrior10.7.通常来说，大家写NXP的BootLo...

半监督学习_mousever的博客-程序员秘密

传统的机器学习技术分为两类，一类是无监督学习，一类是监督学习。无监督学习只利用未标记的样本集，而监督学习则只利用标记的样本集进行学习。但在很多实际问题中，只有少量的带有标记的数据，因为对数据进行标记的代价有时很高，比如在生物学中，对某种蛋白质的结构分析或者功能鉴定，可能会花上生物学家很多年的工作，而大量的未标记的数据却很容易得到。这就促使能同时利用标记样本和未标记样