技术标签： 后剪枝方法——代价复杂度算法 决策树为什么要进行剪枝处理 机器学习 决策树的剪枝策略 预剪枝和后剪枝的常用方法 剪枝系数的计算
决策树的过拟合的风险很大，因为理论上来说可以将数据完全分的开，如果树足够大，每个叶子节点就剩下了一个数据。那么，这就会造成模型在训练集上的拟合效果很好，但是泛化能力很差，对新样本的适应能力不足。所以，对决策树进行剪枝，可以降低过拟合的风险。
决策树的剪枝策略分为预剪枝和后剪枝
预剪枝就是边建立决策时边进行剪枝的操作。在决策树生成的过程中，对每个节点在划分前向首先进行估计，若当前节点的划分不能带来决策树泛化性能的提升，则停止划分并将当前节点标记为叶子节点。
预剪枝可以：限制树的深度，叶子节点个数，叶子节点的样本数，信息增益量等。
当建立完决策树后再进行剪枝操作。后剪枝是先从训练集生成一棵完整的决策树，然后自底向上地对非叶子节点进行考察，若将该节点对应的子树替换为叶子节点能够带来决策树泛化性能的提升，将该子树替换为叶子节点。
通过一定的衡量标准。这里讲的是CART算法的后剪枝方法——代价复杂度算法，即CCP算法。
CART算法请参考博文
T T T表示树
C ( T ) C(T) C(T)表示当前损失
T l e a f T_{leaf} Tleaf表示分裂后的叶子节点数
α ≥ 0 \alpha\ge0 α≥0为参数
C α ( T ) C_\alpha(T) Cα(T)表示损失函数的正则化
α ∣ T l e a f ∣ \alpha|T_{leaf}| α∣Tleaf∣实际上是损失函数的正则项
下面是代价复杂度算法的基本思想：
C α ( T ) = C ( T ) + α ∣ T l e a f ∣ C_\alpha(T) = C(T)+\alpha|T_{leaf}| Cα(T)=C(T)+α∣Tleaf∣
C ( T ) C(T) C(T)表示当前损失,实际上就是求分类后叶子节点的经验熵期望，计算方式为当前叶节点的样本数与当前叶结点的熵值的乘积。也就是说，叶子节点含有的样本数越多，那么这个分类效果就越混乱，损失值越大。
熵的计算参考我的博文
C ( T ) = ∑ t = 1 ∣ T l e a f ∣ N t H t ( T ) \begin{aligned}C(T) =\sum_{t=1}^{|T_{leaf}|} N_tH_t(T)\end{aligned} C(T)=t=1∑∣Tleaf∣NtHt(T)
N t N_t Nt表示该叶结点含有的样本点个数
那么， C α ( T ) = ∑ t = 1 ∣ T l e a f ∣ N t H t ( T ) + α ∣ T l e a f ∣ \begin{aligned}C_\alpha(T) = \sum_{t=1}^{|T_{leaf}|} N_tH_t(T)+\alpha|T_{leaf}|\end{aligned} Cα(T)=t=1∑∣Tleaf∣NtHt(T)+α∣Tleaf∣
α ∣ T l e a f ∣ \alpha|T_{leaf}| α∣Tleaf∣是修正项，它是基于复杂度的考虑。当叶节点分裂后与不分裂的熵值相等，实际上没有进行任何分类，但是我们认为不分类的情况更好，因为，分类后树的复杂度会更高。加了修正项后，如果 α = 0 \alpha=0 α=0表示未剪枝的树损失更小，也就是熵更小，如果 α → ∞ \alpha \to \infty α→∞表示剪枝到根节点更好，因为叶结点的个数占了主导地位。修正项 α ∣ T l e a f ∣ \alpha|T_{leaf}| α∣Tleaf∣可以避免过拟合。 α \alpha α值的设置可以更好的避免出现完全树和根节点这种极短情况，所以可以避免过拟合。
假设当前对以 t t t为根节点的子树 T t T_t Tt剪枝，剪枝后只保留 t t t本身，而删除掉所有的子节点
剪枝后的损失函数为 C α ( t ) = C ( t ) + α C_\alpha(t)=C(t)+\alpha Cα(t)=C(t)+α
剪枝前的损失函数为 C α ( T t ) = C ( T t ) + α ∣ T l e a f ∣ C_\alpha(T_t) = C(T_t)+\alpha|T_{leaf}| Cα(Tt)=C(Tt)+α∣Tleaf∣
令二者相等可得到 α = C ( t ) − C ( T ) ∣ T l e a f ∣ − 1 \begin{aligned}\alpha = \frac{C(t)-C(T)}{|T_{leaf}|-1}\end{aligned} α=∣Tleaf∣−1C(t)−C(T)，因为损失相同，那么就取复杂度小的，所以就可以剪枝。 α \alpha α就是节点 t t t的剪枝系数。
文章浏览阅读1.6k次。安装配置gi、安装数据库软件、dbca建库见下：http://blog.csdn.net/kadwf123/article/details/784299611、检查集群节点及状态：[root@rac2 ~]# olsnodes -srac1 Activerac2 Activerac3 Activerac4 Active[root@rac2 ~]_12c查看crs状态
文章浏览阅读1.3w次，点赞45次，收藏99次。我个人用的是anaconda3的一个python集成环境，自带jupyter notebook，但在我打开jupyter notebook界面后，却找不到对应的虚拟环境，原来是jupyter notebook只是通用于下载anaconda时自带的环境，其他环境要想使用必须手动下载一些库：1.首先进入到自己创建的虚拟环境(pytorch是虚拟环境的名字)activate pytorch2.在该环境下下载这个库conda install ipykernelconda install nb__jupyter没有pytorch环境
文章浏览阅读5.2k次，点赞19次，收藏28次。选择scoop纯属意外，也是无奈，因为电脑用户被锁了管理员权限，所有exe安装程序都无法安装，只可以用绿色软件，最后被我发现scoop，省去了到处下载XXX绿色版的烦恼，当然scoop里需要管理员权限的软件也跟我无缘了（譬如everything）。推荐添加dorado这个bucket镜像，里面很多中文软件，但是部分国外的软件下载地址在github，可能无法下载。以上两个是官方bucket的国内镜像，所有软件建议优先从这里下载。上面可以看到很多bucket以及软件数。如果官网登陆不了可以试一下以下方式。_scoop-cn
文章浏览阅读4.5k次，点赞2次，收藏3次。首先要有一个color-picker组件 <el-color-picker v-model="headcolor"></el-color-picker>在data里面data() { return {headcolor: ’ #278add ’ //这里可以选择一个默认的颜色} }然后在你想要改变颜色的地方用v-bind绑定就好了，例如：这里的:sty..._vue el-color-picker
文章浏览阅读640次。基于芯片日益增长的问题，所以内核开发者们引入了新的方法，就是在内核中只保留函数，而数据则不包含，由用户（应用程序员）自己把数据按照规定的格式编写，并放在约定的地方，为了不占用过多的内存，还要求数据以根精简的方式编写。boot启动时，传参给内核，告诉内核设备树文件和kernel的位置，内核启动时根据地址去找到设备树文件，再利用专用的编译器去反编译dtb文件，将dtb还原成数据结构，以供驱动的函数去调用。firmware是三星的一个固件的设备信息，因为找不到固件，所以内核启动不成功。_exynos 4412 刷机
文章浏览阅读2w次，点赞24次，收藏42次。Linux系统配置jdkLinux学习教程，Linux入门教程（超详细）_linux配置jdk
文章浏览阅读3.3k次，点赞5次，收藏19次。xlabel('\delta');ylabel('AUC');具体符号的对照表参照下图：_matlab微米怎么输入
文章浏览阅读119次。顺序读写指的是按照文件中数据的顺序进行读取或写入。对于文本文件，可以使用fgets、fputs、fscanf、fprintf等函数进行顺序读写。在C语言中，对文件的操作通常涉及文件的打开、读写以及关闭。文件的打开使用fopen函数，而关闭则使用fclose函数。在C语言中，可以使用fread和fwrite函数进行二进制读写。 Biaoge 于2024-03-09 23:51发布 阅读量：7 ️文章类型：【 C语言程序设计 】在C语言中，用于打开文件的函数是____，用于关闭文件的函数是____。
文章浏览阅读3.4k次，点赞2次，收藏13次。跟随鼠标移动的粒子以grid（SOP）为partical（SOP）的资源模板，调整后连接【Geo组合+point spirit（MAT)】，在连接【feedback组合】适当调整。影响粒子动态的节点【metaball(SOP)+force(SOP)】添加mouse in（CHOP)鼠标位置到metaball的坐标，实现鼠标影响。..._touchdesigner怎么让一个模型跟着鼠标移动
文章浏览阅读178次。项目运行环境配置：Jdk1.8 + Tomcat7.0 + Mysql + HBuilderX（Webstorm也行）+ Eclispe（IntelliJ IDEA,Eclispe,MyEclispe,Sts都支持）。项目技术：Springboot + mybatis + Maven +mysql5.7或8.0+html+css+js等等组成，B/S模式 + Maven管理等等。环境需要1.运行环境：最好是java jdk 1.8，我们在这个平台上运行的。其他版本理论上也可以。_基于java技术的停车场管理系统实现与设计
文章浏览阅读3.5k次。前言对于MediaPlayer播放器的源码分析内容相对来说比较多，会从Java-&amp;gt;Jni-&amp;gt;C/C++慢慢分析，后面会慢慢更新。另外，博客只作为自己学习记录的一种方式，对于其他的不过多的评论。MediaPlayerDemopublic class MainActivity extends AppCompatActivity implements SurfaceHolder.Cal..._android多媒体播放源码分析 时序图
文章浏览阅读2.4k次，点赞41次，收藏13次。java 数据结构与算法 ——快速排序法_快速排序法