机器学习实战第三章（决策树）_mydat,labels-程序员宅基地

第二章介绍的k-近邻算法可以完成很多分类任务，但是最大缺点是无法给出数据的内在含义，决策树的主要优势就在于数据形式非常容易理解。

决策树：
优点：计算复杂度不高，输出结果易于理解，对中间值的缺失不敏感，可以处理不相关特征数据
缺点：可能会产生过度匹配问题
树用数据类型：数值型和标称型。

在构造决策树时，我们需要解决的第一个问题就是，当前数据集上哪个特征在划分数据分类时起决定性作用。为了找到决定性的特征，划分出最好的结果，我们必须评估每个特征。我们假设已经根据一定的方法选取了待划分的特征，则原始数据集将根据这个特征被划分为几个数据子集。这数据子集会分布在决策点（关键特征）的所有分支上。如果某个分支下的数据属于同一类型，则无需进一步对数据集进行分割。如果数据子集内的数据不属于同一类型，则需要递归地重复划分数据子集的过程，直到每个数据子集内的数据类型相同。
创建分支的过程用伪代码表示如下：
- 检测数据集中的每个子项是否属于同一类型：
　　如果是，则返回类型标签
　　否则：
　　　　寻找划分数据集的最好特征
　　　　划分数据集
　　　　创建分支节点
　　　　对划分的每个数据子集：
　　　　　　递归调用本算法并添加返回结果到分支节点中
　　　　返回分支节点

决策树的一般流程：

收集数据：可以使用任何方法。
准备数据：树构造算法只适用于标称数据，因此数值型数据必须离散化。
分析数据：可以使用任何方法，构造树完成之后，我们应该检查图形是否符合预期。
训练算法：构造树的数据结构。
测试算法：使用经验树计算错误率。
使用算法：此步骤可以适用于任何监督学习算法，而使用决策树可以更好地理解数据的内在含义。

一些决策树算法使用二分法划分数据，本书并不采用这种方法。如果依据某个属性划分数据将会产生4个可能的值，我们将把数据划分成四块，并创建四个不同的分支。

本书将使用ID3算法划分数据集，该算法处理如何划分数据集，何时停止划分数据集（进一步的信息可以参见http://en.wikipedia.org/wiki/ID3_algorithm）。每次划分数据集我们只选取一个特征属性，那么应该选择哪个特征作为划分的参考属性呢？

表1的数据包含5个海洋动物，特征包括：不浮出水面是否可以生存，以及是否有脚噗。我们可以将这些动物分成两类：鱼类和非鱼类。现在我们想要决定依据第一个特征还是第二个特征划分数据。在回答这个问题之前，我们必须采用量化的方法判断如何划分数据

这里写图片描述

信息增益

划分数据集的大原则是：将无序的数据变得更加有序。我们可以使用多种方法划分数据集，但是每种方法都有各自的优缺点。组织杂乱无章数据的一种方法就是使用信息论度量信息，信息论是量化处理信息的分支科学。我们可以在划分数据之前或之后使用信息论量化度量信息的内容。

在划分数据集之前之后信息发生的变化成为信息增益，我们可以计算每个特征划分数据集获得的信息增益，获得信息增益最高的特征就是最好的选择。

集合信息的度量方式成为香农熵或者简称为熵。

熵定义为信息的期望值。我们先确定信息的定义：

如果待分类的事务可能划分在多个分类之中，则符号xi定义为：
这里写图片描述
其中p(xi)是选择该分类的概率。

为了计算熵，我们需要计算所有类型所有可能值包含的信息的期望值，通过下面的公式得到：
这里写图片描述
其中n是分类的数目。

创建简单的鱼鉴定数据集

# -*- coding: UTF-8 -*-  

from math import log

def createDataSet():  #创建数据集
    dataSet = [
        [1,1,'yes'],
        [1,1,'yes'],
        [1,0,'no'],
        [0,1,'no'],
        [0,1,'no']
    ]

    labels = ['no surfacing', 'flippers']
    return dataSet, labels

myDat, labels = createDataSet()  
print myDat, labels

output:
[[1, 1, ‘yes’], [1, 1, ‘yes’], [1, 0, ‘no’], [0, 1, ‘no’], [0, 1, ‘no’]]
[‘no surfacing’, ‘flippers’]

程序清单3-1 计算给定数据集的信息熵

def calcShannonEnt(dataSet): #计算给定数据集的香农熵
    numEntries = len(dataSet) #计算数据集中的实例总数</

本文链接：https://blog.csdn.net/AndyCao9527/article/details/68488709

原作者删帖不实内容删帖广告或垃圾文章投诉

智能推荐

Cocos2d-x 窗口大小调整_cocos2dx设置窗口大小-程序员宅基地

文章浏览阅读4.2k次。打开src目录下的AppDelegate.cpp文件，若无修改则在第45行处找到全局声明的Size变量，修改`designResolutionSize`中的大小即可。_cocos2dx设置窗口大小

springboot接收枚举值的默认方式_springboot get请求怎么接收前端传递的枚举数字-程序员宅基地

文章浏览阅读1.6k次。测试代码：@PostMapping() public void test(@RequestBody Student student){ System.out.println(student.getLover().name()); }class Student{ private Lover lover; public Lover getLover() { return lover; } public void setLover_springboot get请求怎么接收前端传递的枚举数字

【数学建模笔记】【第七讲】多元线性回归分析（二）：虚拟变量的设置以及交互项的解释，以及基于Stata的普通回归与标准化回归分析实例_stata两个虚拟变量的交互项-程序员宅基地

文章浏览阅读1.5w次，点赞24次，收藏120次。简单来说就是去量纲后的回归（因为你要比较不同变量之间的显著性的大小，那么带着量纲怎么比，所以先把量纲去掉，然后再比较）官话：为了更为精准的研究影响评价量的重要因素（去除量纲的影响），我们可考虑使用标准化回归系数。_stata两个虚拟变量的交互项

mysql-程序员宅基地

文章浏览阅读203次。有时候安装mysql后使用mysql命令时报错 Can't connect to MySQL server on localhost (10061)，或者用net start mysql 时报服务名无效，一般是因为mysql服务没有启动。这时候可以用管理身份运行cmd.exe(注意必须是管理..._c:\program files\mysql\mysql server 5.6\bin>mysqld --install install/remove

亚信科技java笔试题答案_亚信笔试题卷以及答案.docx-程序员宅基地

文章浏览阅读6.2k次，点赞3次，收藏44次。亚信联创科技校园招聘B 卷考试时间60_分钟 _考试方式(闭)卷(本试卷满分 100 分，答案请写在答题卡上)请不要在问卷上答题或涂改，笔试结束后请务必交回试卷部分内容分值备注一、计算机基础40分C/C++语言基础40分技能部分二、二选一JAVA 语言基础40分三、数据库20分总分100 分第一部分——计算机基础一、选择题(每题 2 分，总分 40分)1.CPU 状态分为目态和管态两种..._亚信科技java实习笔试题

三线城市程序员的薪资待遇怎么样？我分享提高java技术水平的几个方法_三线城市学java-程序员宅基地

文章浏览阅读1.3k次。3年对一个程序员来说是非常重要的。像我自己本身就是做程序员的，目前的薪资待遇是13K左右，虽然在我所在的公司不是最高的，但在所在的这个城市的消费水平来说，除了日常的开支，包括房租、水电、伙食、人际交往等费用之外，还能留下一部分闲钱自己存起来。不同城市的薪资待遇是不一样的，这主要是由于当地的消费水平和经济发展水平不同，所以如果你想要更高的薪资待遇，就要考虑在一线城市或者经济发达的城市工作。一个有着丰富工作经验的程序员，他的技能水平、经验和能力都比没有经验的程序员更加出色，所以他们的薪资待遇也会更高一些。_三线城市学java

随便推点

恭迎万亿级营销(圈人)潇洒的迈入毫秒时代 - 万亿user_tags级实时推荐系统数据库设计...-程序员宅基地

文章浏览阅读418次。标签PostgreSQL , 标签 , 推荐系统 , 实时圈人 , 数组 , gin , gist , 索引 , rum , tsvector , tsquery , 万亿 , user , tag , 淘宝背景我们仅用了PostgreSQL的两个小特性，却解决了业务困扰已久的大问题。推荐系统是广告营销平台的奶牛，其核心是精准、实时、..._实时圈人

软件测试风险追踪表_软件测试风险管理表格-程序员宅基地

文章浏览阅读430次。软件测试风险追踪表风险追踪表项目名称：填制人：编号风险描述影响风险等级发生的可能性应对策略状态责任人备注 ..._软件测试风险管理表格

AAC ADTS封装实现-程序员宅基地

文章浏览阅读1.2k次。一、AAC音频格式种类有哪些AAC音频格式是一种由MPEG-4标准定义的有损音频压缩格式。AAC包含两种格式 ADIF（Audio Data Interchange Format音频数据交换格式）和ADTS（Audio Data transport Stream音频数据传输流）。ADIF特点：可以确定的找到音视频数据的开始，不需要进行在音视频数据流中间开始的解码，它的解码必须在明确的定义开始。应用场景：常用在磁盘文件中。ADTS特点：具有同步字的比特流，解码可以在这个流中任何位置开始。类似于mp_aac adts