python剔除列表异常值_Python:拒绝列表中的异常值(序列)_名再道号直行的博客-程序员秘密

技术标签: python剔除列表异常值  

你可以做的是计算数据的前后梯度,假设步长为1。离群值是那些条件适用的元素:向后和向前的坡度没有相同的标志:趋势变化

后向梯度的绝对值大于左邻域绝对值的1%

我对你的解释是,这两种说法都必须是真的。在

让f成为数据的一维numpy数组。在f=np.array([

0.0937,

0.0934,

0.0933,

0.0931,

0.0933,

0.0936,

0.1091, #< == outlier,

0.0938,

0.0945,

0.0949,

0.0956,

0.1082,

0.1065, #< == outlier since -,

0.1123,

0.1198

])

bg = 0.0*f # backward gradient, we want them to have the same size as f

fg = 0.0*f # forward gradient, we want them to have the same size as f

bg[1:] = f[1:]-f[:-1]

fg[:-1] = f[1:]-f[:-1]

outliers = (bg*fg<0) * np.hstack((False, np.where(np.abs(bg[1:])>0.01*np.abs(f[:-1]),True,False) ))

# You don't want to remove an element and the next

outliers[1:] = outliers[1:]*np.where( outliers[:-1], False, True )

print 'Outliers = ', f[outliers]

print 'Good = ', f[np.where( outliers, False, True)]

我用你的数据做了这个例子,只要用任何东西替换f。在

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/weixin_31422487/article/details/113971873

智能推荐

好用实用的软件_weixin_33933118的博客-程序员秘密

为什么80%的码农都做不了架构师?&gt;&gt;&gt; ...

模式识别与机器学习笔记(一)_BJ_BUPT_Cai的博客-程序员秘密

本系列博文是对研一课程《模式识别与机器学习》的随堂笔记,希望将老师所讲的与自己的见解记录下来,方便加深自己的理解以及以后复习查看,笔记完全按照老师所讲顺序,欢迎交流。一、模式识别与机器学习的基本问题机器学习主要解决以下四类问题:1.监督学习:指的是训练的数据既包括特征(feature)又包括标签(label),通过训练,让机器可以自己找到特征和标签之间的联系,在面对只有特征没有标签的数据时,...

验证码识别与自动灌水(http://blog.csdn.net/deadcat/archive/2007/02/15) _fengyouhua的博客-程序员秘密

近来,一个朋友请我帮他在某个网站投票。投票程序设立了验证码,并且限制每个IP每天只能投一票。我是在debian sarge 3.1下面通过ADSL拨号上网的,IP限制可以通过重新拨号轻松搞定。网上有人说使用代理也可以,但是我找了很久,发现网上列出的大部分代理服务器都已 经无法访问。好了,下面的问题主要就是识别验证码和自动投票了。网上有很多关于验证码识别的方法和思路,不过大部分都是在window...

考核知识点:static关键字与ArrayList类_尘垢475的博客-程序员秘密

描述类:package ketang;public class Book { //定义图书类(Book),要求有属性name(书名),price(价格),author(作者), private String name; private int price; private String author; @Override public String toString() { return "Book{" + ...

javanio2_weixin_33721427的博客-程序员秘密

package com.lanhuigu.nio.selector; import java.net.InetSocketAddress;import java.nio.ByteBuffer;import java.nio.channels.SelectionKey;import java.nio.channels.Selector;import java.nio.channels....

FTP上传中文设置_wang812745312的博客-程序员秘密

package com.wq.test;import java.io.File;    import java.io.FileInputStream;    import org.apache.commons.net.ftp.FTPClient;    import org.apache.commons.net.ftp.FTPClientConfig;import or

随便推点

activemq学习总结 (转)Java消息队列--ActiveMq 实战_anzuo0925的博客-程序员秘密

转:https://www.cnblogs.com/jaycekon/p/6225058.html 感谢作者ActiveMQ官网下载地址:http://activemq.apache.org/download.html  ActiveMQ 提供了Windows 和Linux、Unix 等几个版本,楼主这里选择了Linux 版本下进行开发。  下载完安装包,解压...

软件安装管家NavisWorks2020中文版软件安装包下载地址及安装教程_软件新管家安装教程_rjazgj的博客-程序员秘密

软件介绍: Autodesk NavisWorks2020是目前由Autodesk推出的最新软件,NavisWorks2020是一个综合性项目审阅解决方案,支持5D 模拟、协调、分析及交流设计意图和可施工性,拥有可升级的,灵活的和可设计编程的用户界面,支持市场上Dwg、3ds、nwd、dwg、dwf等等主流CAD制图软件所有的数据格式,他将多领域设计数据整合到单一的集成项目模型中,以供冲突管理和碰撞检测使用,更够帮助设计和施工专家在施工钱预测和避免潜在问题,可以帮助您显著提高工作效率、减少在工程设计

点云法线估计:C++实现_点云处理Zzz的博客-程序员秘密

点云法线估计:PCL实现一、理论基础1、为什么要求点云的法线2、如何估计法向量二、程序实现三、运行结果一、理论基础1、为什么要求点云的法线表面法线是几何体表面的重要属性,在很多领域都有大量应用,例如:在进行光照渲染时产生符合可视习惯的效果时需要表面法线信息才能正常进行,对于一个已知的几何体表面,根据垂直于点表面的矢量,因此推断表面某一点的法线方向通常比较简单。然而,由于我们获取的点云数据集在真实物体的表面表现为一组定点样本,这样就会有两种解决方法:1)使用曲面重建技术,从获取的点云数据集中得到采样点

思科ccie工程师必看——OSPF在广播类型的网络拓扑中DR和BDR的选举_ie-lab网络实验室ccie认证之家的博客-程序员秘密

思科ccie工程师必看——OSPF在广播类型的网络拓扑中DR和BDR的选举。指定路由器(DR):一个网段上的其他路由器都和指定路由器(DR)构成邻接关系,而不是它们互相之间构成邻接关系。备份指定路由器(BDR):当DR出现问题,由BDR接手DR的工作,同时会在选举出一个BDR。其他路由器我们叫做DR Other。BDR首先会和DR形成邻接关系;其它的路由器(DR Other)也要和BDR形成邻接关系。这样做是有原因的,当DR出故障以后,BDR会成为新的DR。如果DR oth.

IntelliJ IDEA SVN使用一 导入、更新、提交、解决冲突_technologys的博客-程序员秘密

大体上是转载,针对版本14有一些特殊的添加。查看svn的资源库:  下面的多出了一个svn的窗口,在左边有加号可以添加一个svn的库输入svn的地址,我用的是本地的测试,所以地址为svn://127.0.0.1/newproject 根据服务不同这个地址也不一样 可能是http或着https 添加上svn库的地址后,我们可以浏览库上的文件,当然也可以做一些操作,比如删除,查看历史记录等,这里在添加...

通信 三元组/五元组_dhwu43996的博客-程序员秘密

几个定义:(1)IP地址:即依照TCP/IP协议分配给本地主机的网络地址,两个进程要通讯,任一进程首先要知道通讯对方的位置,即对方的IP。(2)端口号:用来辨别本地通讯进程,一个本地的进程在通讯时均会占用一个端口号,不同的进程端口号不同,因此在通讯前必须要分配一个没有被访问的端口号。(3)连接:指两个进程间的通讯链路。(4)半相关:网络中用一个三元组可以在全局唯一标志一个进程:(协议,本...

推荐文章

热门文章

相关标签