前情回顾KNN:
假如我们现在有一个数据集,当给定一个新的实例时,最简单粗暴的方法就是计算它和所有点的距离,然后找到k个最近邻,最后根据多数表决的规则判断这个实例所属的类。
但是如果这个数据集中的训练实例非常多且密集,而且一个实例就有很多特征,那么就要计算出成千上万个距离,运算量极其庞大。
这时,我们就可以用一个更快速的计算方法——kd树。
kd 树从根本上看,是一个二叉树结构,根据这个结构对k维空间进行不断的划分,每一个结点就代表了k维超矩形区域。
二维(k=2)的矩形区域:
三维(k=3)的矩形区域:
注意,kd树这里的k代表的是特征的个数,也就是数据的维度,而k近邻中的k指的是距离新实例点最近的k个邻居。
输入: k维空间数据集:
T = { x 1 , x 2 , . . . , x n } T=\lbrace x_1,x_2,...,x_n \rbrace T={
x1,x2,...,xn}
xi=(xi(1),xi(2),…,xi(k))T,xi(l)的上标代表的是第l个特征值
输出: kd树
在根结点处选择一个最优特征进行切割,一般通过比较每个特征上的方差来决定,方差最大的特征就是我们要选取的坐标轴。
假如我们选出来的是x(1),以它作为坐标轴,找切分点,将超矩形区域切割为两个子区域。通常选取x(1)方向上数据的中位数作为切分点,由根结点生出深度为 1 的左右子结点,左结点的坐标小于切分点,右结点坐标大于切分点。
继续对深度为j的结点,选择x(1)为切分坐标轴,l=j(mod k)+1,以该结点区域中所有实例x(1)坐标的中位数作为切分点,将区域不断分割为两个子区域。
直到两个子区域没有实例时停止分割,即得到一棵 kd 树。
输入:
T = { ( 2 , 3 ) , ( 5 , 4 ) , ( 9 , 6 ) , ( 4 , 7 ) , ( 8 , 1 ) , ( 7 , 2 ) } T=\lbrace(2,3),(5,4),(9,6),(4,7),(8,1),(7,2)\rbrace T={
(2,3),(5,4),(9,6),(4,7),(8,1),(7,2)}
输出: kd 树
为了方便,给数据集里的数据点标号后进行可视化展示:
因为该训练数据集的维度是2,那么任选一个特征即可。不妨选择x(1)为坐标轴,将x(1)中的数据按照从小到大排序,分别是:2,4,5,7,8,9
中位数不妨选7,即以(7,2)为根结点,切分整个区域。
左边的就是小于7的子结点,右边的是大于7的子结点。
再次划分区域:
对第一个特征加1,以x(2)为坐标轴。
对于第一次切分后的左边区域而言,将x(2)中的数据按照从小到大排序,分别是:2,3,4,7
中位数取4,切分点坐标为 (5,4),再画一条横线进行第二次切分。
同样地,对第一次切分后的右边区域而言,将x(2)中的数据按照从小到大排序,分别是:1,6
因为只有两个点,不妨选择6作为切分点,右边区域切分点坐标为 (9,6) ,画一条横线进行第二次切分。
第二个特征加1,以x(3)为坐标轴,而这里只有x(1)和x(2),所以只对x(1)进行划分。或者直接计算2(mod 2)+1=1即可得到所选的特征。
可以明显看出A(2,3),D(4,7),E(8,1) 三个实例点还未切分,那么以这些点为根结点分别画一条垂直于x(1)轴的线进行切分。
这几次划分中的根结点分别是:
第一级:(7,2)
第二级:(5,4),(9,6)
第三级:(2,3),(4,7),(8,1)
根据这个层次绘制出kd树:
输入: 已构造的kd树,目标点是x
输出: x的最近邻
寻找“当前最近点”: 从根结点出发,递归访问kd树,找出包含x的叶结点,以此叶结点为“当前最近点”
回溯: 以目标点和”当前最近点“的距离沿树根部进行回溯和迭代,当前最近点一定存在于该结点一个子结点对应的区域,检查子结点的父结点的另一子结点对应的区域是否有更近的点。
当回退到根结点时,搜索结束,最后的”当前最近点“即为x的最近邻点。
以上文生成的那棵kd树为例:
输入: kd树,目标点 x=(2.1,3.1)
输出: 该目标的最近邻点
寻找当前最近点: 从根结点开始,x=(2.1,3.1)在根结点(7,2)的左子区域内,继续到(5,4)所确定的左子区域内,继续到(2,3)的右子区域中,(2,3)就是当前最近邻点。
回溯: 以(2.1,3.1)为圆心,以其与已确定的最近邻点之间的距离为半径画一个圆,这个区域里没有其他的点,那就证明(2,3)是(2.1,3.1)的最近邻点。
输入: kd树,目标点 x=(2,4.5)
输出: 该目标点的最近邻点
寻找当前最近点: 从根结点开始,x=(2,4.5)在根结点(7,2)的左子区域内,继续到(5,4)所确定的上子区域内,继续到(4,7)的左子区域中,(4,7)就是当前最近邻点。
回溯: 我们以(2,4.5)为圆心,以(2,4.5)到(4,7)两点之间的距离为半径画一个圆,这个区域内有两个结点,分别是(2,3)和(5,4),通过计算(2,4.5)到这两点的距离,得出到(2,3)距离最近,那么(2,3)就是最邻近点。接着再以(2,4.5)为圆心,以(2,4.5)到(2,3)两点之间的距离为半径画一个圆,此时圆里没有其他的结点,说明可以确认(2,3)就是(2,4.5)的最近邻点。
文章浏览阅读2.6k次,点赞5次,收藏13次。1)5.2.1弹出两次已连接或者未连接这是因为你同时打开了流量和WiFi,他就会发出两次广播。2)5.3.1中发送自定义广播问题标准广播未能弹出消息:Intent intent=new Intent("com.example.broadcasttest.MY_BROADCAST");sendBroadcast(intent);上述已经失效了。修改:Intent intent=new Intent("com.example.broadcasttest...._代码里的广播错误
文章浏览阅读249次。作者 |平名 阿里服务端开发技术专家导读:Kubernetes 作为云原生时代的“操作系统”,熟悉和使用它是每名用户的必备技能。本篇文章概述了容器服务 Kubernet..._k8知识库
文章浏览阅读923次。分别是etc/pear.conf,etc/php-fpm.conf, etc/php-fpm.d/www.conf,lib/php.ini。php8安装基本一致,因为一个服务期内有2个版本,所以注意修改不同的安装目录和端口号。可以直接使用sbin下的nginx命令启动服务。完成编译安装需要gcc支持,如果没有,使用如下命令安装。安装过程基本一致,下面是安装7.1.33的步骤。执行如下命令,检查已经安装的包和可安装的包。执行如下命令,检查已经安装的包和可安装的包。执行如下命令,检查已经安装的包和可安装的包。_tencentos-3.1
文章浏览阅读3.1w次,点赞21次,收藏75次。import urllib.requesturl = 'https://www.python.org'# 方式一response = urllib.request.urlopen(url)print(type(response)) # <class 'http.client.HTTPResponse'># 方式二request = urllib.request.Req..._urllib.request.urlopen(url)
文章浏览阅读1.5k次,点赞12次,收藏15次。如何用ChatGPT+GEE+ENVI+Python进行高光谱,多光谱成像遥感数据处理?
文章浏览阅读1.2k次。RS485总线常识 2010-10-12 15:56:36| 分类: 知识储备 | 标签:rs485 总线 传输 差分 |字号大中小 订阅RS485总线RS485采用平衡发送和差分接收方式实现通信:发送端将串行口的TTL电平信号转换成差分信号A,B两路输出,经过线缆传输之后在接收端将差分信号还原成TTL电平信号。由于传输线通常使用双绞线,又是差分传输,所_rs485 差分走綫間距
文章浏览阅读621次。u-boot、linux烧录_uboot制作
文章浏览阅读1.2w次,点赞10次,收藏44次。windos上git安装,git bash安装_64-bit git for windows setup.
文章浏览阅读196次。环形链表(算法java)的两种解决方法_java 实现环形链表
文章浏览阅读5.7k次。Airflow什么是 Airflow?Airflow 的架构Airflow 解决哪些问题一、docker-compose 安装airflow(postgres)1、创建启动文件airflow-docker-compose.yml.1.1、添加挂载卷,需要修改airflow-docker-compose.yml的位置2、创建本地配置文件airflow.cfg2.1、如果想修改WEB URL地址,需要修改airflow.cfg中以下两个地方3、之后up -d直接启动即可web访问地址:二、存储数据库更换post_airflow docker
文章浏览阅读28次。选题背景:随着社会的发展和教育的普及,高校教务管理系统在现代高等教育中扮演着至关重要的角色。传统的手工管理方式已经无法满足高校日益增长的规模和复杂的管理需求。因此,开发一套高效、智能的教务管理系统成为了当今高校管理的迫切需求。选题意义:高校教务管理系统的开发具有重要的意义和价值。首先,它可以提高高校教务管理的效率和准确性。通过自动化处理学生选课、排课、考试安排等繁琐的事务,大大减轻了教务人员的工作负担,提高了工作效率。同时,系统可以实时更新学生信息和课程信息,减少了数据错误和冗余,保证了管理的准确性
文章浏览阅读132次。首页>基础教程>常用类>常用 Integer类Java Integer转换double,float,int,long,stringjava中Integer类可以很方便的转换成double,float,int,long,string等类型,都有固定的方法进行转换。方法double doubleValue() //以 double 类型返回该 Integer 的值。flo..._java integet接收float类型的参数