决策树——ID3算法-程序员宅基地

前言

我们在使用数据挖掘的时候，完成数据的“清洗”等一系列繁琐的步骤，就可以对数据进一步地进行“挖掘”——对数据进行分类的建立、预测、聚类分析等等的操作。在分类和预测的过程中，有一系列的算法得以脱颖而出——“回归分析”、“决策树”、“人工神经网络”等等

那么今天我就来介绍一下”决策树“——ID3算法

一、ID3算法

ID3作为一种经典的决策树算法，是基于信息熵来选择最佳的测试属性，其选择了当前样本集中具有最大信息增益值的属性作为测试属性。
样本集的划分则依据了测试属性的取值进行，测试属性有多少种取值就能划分出多少的子样本集；同时决策树上与该样本集相应的节点长出新的叶子节点。
ID3算法根据信息论理论，采用划分后样本集的不确定性作为衡量划分样本子集的好坏程度，用“信息增益值”度量不确定性——信息增益值越大，不确定性就更小，这就促使我们找到一个好的非叶子节点来进行划分。

二、ID3算法的基本原理以及实例分析

1.我们假设一个这样的数据样本集S，其中数据样本集S包含了s个数据样本，假设类别属性具有m个不同的值（判断指标）：C_i(i=1,2,3,…,m)

S_i是C_i中的样本数，对于一个样本集
总的信息熵为：
I(S1,S2,...,Sm)=
其中，P_i表示任意样本属于C_i的概率，也可以用s_i/s 进行估计。
我们假设一个属性A具有k个不同的值 {a₁,a₂,…,a_k}, 利用属性A将数据样本S划分为k个子集{S₁，S₂，…， S_k}，其中S_j包含了集合S中属性A取a_j值的样本。若是选择了属性A为测试属性，则这些子集就是从集合S的节点生长出来的新的叶子节点。
设S_ij是子集S_j中类别为C_i的样本数，则根据属性A划分样本的信息熵值为：

最后，我们利用属性A划分样本集S后得到的信息熵增益为：
在这里插入图片描述

2.实例分析

我们假设有这么一个案例，小学校门口总是会出现一些零食小贩，判断某一天这些零食小贩的收入是否良好可以依据很多因素，如：天气、学生是否放假、保安是否打压、是否进行活动促销等等多个属性来衡量。
对于天气属性，我们将是否下雨作为一个天气好坏的叛别，则天气具有“好”与“不好”两种属性值；
学生是否放假也有两种属性值“是”与“否”；
保安是否打压也分为“好”与“不好”；
活动促销的两种属性值为“是”与“否”
而对于小贩的收入，我们假设取全年的平均收入为平均值，高于平均值为“高”，否则为“低”。
由此，我们得到了这样的一个表格：

在这里插入图片描述
计算过程：
首先，我们先计算总的信息熵，其中共有10条记录，收入为“高”有5条，收入为“低”也有5条
步骤1 总信息熵:

在这里插入图片描述
下面计算各个属性的信息熵:
步骤2 天气属性：
天气好的情况下，收入为“高”的记录为4条，收入为“低”的记录为1条，可以表示为(4,1)；天气不好的情况下，收入为“高”的记录为1条，收入为“低”的记录为4条,可以表示为(1,4).
则天气属性的信息熵的计算过程如下：
在这里插入图片描述

步骤3 学生放假属性：
学生放假时，收入为“高”有0条，收入为“低”有4条。记为（0,4）；
学生不放假时，收入为“高”有5条，收入为“低”有1条。记为（5,1）；

学生放假属性的计算过程为：
在这里插入图片描述

在这里插入图片描述
步骤4 促销属性：
当小贩进行促销时，收入为“高”有3条，收入为“低”有2条。记为（3,2）；
当小贩不进行促销时，收入为“高”有2条，收入为“低”有3条。记为（2,3）；
促销属性的计算过程为：

在这里插入图片描述

步骤5 计算信息增益值

由步骤4可以知道“学生放假”的信息增益值最大，所以以“学生放假“为节点进行划分，划分为两个分支分别为“是”、“否”（指学生是否放假），然后再循环进行步骤1 ~步骤5的过程（排除已经进行划分的节点步骤），对剩下的2个节点分支进行划分，再进行信息增益的计算。

直至无法形成新的节点，从而生成一棵“决策树”。

ID3算法参考了《python数据分析与挖掘实战》中关于ID3算法的解释，感兴趣的可以前往观看。

总结

ID3算法是经典的决策树算法，但是随着时间的发展，出现的C4.5算法弥补了许多ID3算法在使用信息增益率来选择节点属性的不足之处。
感谢各位的观看，望斧正。

本文链接：https://blog.csdn.net/weixin_46245411/article/details/114703474

原作者删帖不实内容删帖广告或垃圾文章投诉

智能推荐

c# 调用c++ lib静态库_c#调用lib-程序员宅基地

文章浏览阅读2w次，点赞7次，收藏51次。四个步骤1.创建C++ Win32项目动态库dll 2.在Win32项目动态库中添加外部依赖项 lib头文件和lib库3.导出C接口4.c#调用c++动态库开始你的表演...①创建一个空白的解决方案，在解决方案中添加 Visual C++ , Win32 项目空白解决方案的创建：添加Visual C++ , Win32 项目这......_c#调用lib

deepin/ubuntu安装苹方字体-程序员宅基地

文章浏览阅读4.6k次。苹方字体是苹果系统上的黑体，挺好看的。注重颜值的网站都会使用，例如知乎：font-family: -apple-system, BlinkMacSystemFont, Helvetica Neue, PingFang SC, Microsoft YaHei, Source Han Sans SC, Noto Sans CJK SC, W..._ubuntu pingfang

html表单常见操作汇总_html表单的处理程序有那些-程序员宅基地

文章浏览阅读159次。表单表单概述表单标签表单域按钮控件demo表单标签表单标签基本语法结构<form action="处理数据程序的url地址“ method=”get|post“ name="表单名称”></form><!--method将表单中的数据传送给服务器处理，get方式直接显示在url地址中，数据可以被缓存，且长度有限制；而post方式数据隐藏传输，_html表单的处理程序有那些

PHP设置谷歌验证器（Google Authenticator）实现操作二步验证_php otp 验证器-程序员宅基地

文章浏览阅读1.2k次。使用说明:开启Google的登陆二步验证（即Google Authenticator服务）后用户登陆时需要输入额外由手机客户端生成的一次性密码。实现Google Authenticator功能需要服务器端和客户端的支持。服务器端负责密钥的生成、验证一次性密码是否正确。客户端记录密钥后生成一次性密码。下载谷歌验证类库文件放到项目合适位置(我这边放在项目Vender下面)https://github.com/PHPGangsta/GoogleAuthenticatorPHP代码示例://引入谷_php otp 验证器

【Python】matplotlib.plot画图横坐标混乱及间隔处理_matplotlib更改横轴间距-程序员宅基地

文章浏览阅读4.3k次，点赞5次，收藏11次。matplotlib.plot画图横坐标混乱及间隔处理_matplotlib更改横轴间距

docker — 容器存储_docker 保存容器-程序员宅基地

文章浏览阅读2.2k次。①Storage driver 处理各镜像层及容器层的处理细节，实现了多层数据的堆叠，为用户提供了多层数据合并后的统一视图②所有 Storage driver 都使用可堆叠图像层和写时复制（CoW）策略③docker info 命令可查看当系统上的 storage driver主要用于测试目的，不建议用于生成环境。_docker 保存容器

随便推点

网络拓扑结构_网络拓扑csdn-程序员宅基地

文章浏览阅读834次，点赞27次，收藏13次。网络拓扑结构是指计算机网络中各组件（如计算机、服务器、打印机、路由器、交换机等设备）及其连接线路在物理布局或逻辑构型上的排列形式。这种布局不仅描述了设备间的实际物理连接方式，也决定了数据在网络中流动的路径和方式。不同的网络拓扑结构影响着网络的性能、可靠性、可扩展性及管理维护的难易程度。_网络拓扑csdn

JS重写Date函数，兼容IOS系统_date.prototype 将所有 ios-程序员宅基地

文章浏览阅读1.8k次，点赞5次，收藏8次。IOS系统Date的坑要创建一个指定时间的new Date对象时，通常的做法是：new Date("2020-09-21 11:11:00")这行代码在 PC 端和安卓端都是正常的，而在 iOS 端则会提示 Invalid Date 无效日期。在IOS年月日中间的横岗许换成斜杠，也就是new Date("2020/09/21 11:11:00")通常为了兼容IOS的这个坑，需要做一些额外的特殊处理，笔者在开发的时候经常会忘了兼容IOS系统。所以就想试着重写Date函数，一劳永逸，避免每次ne_date.prototype 将所有 ios