异常数据剔除（精选4篇）
异常数据剔除 篇1
计量测量是对数据准确性要求非常高的一项工作, 在充分利用计量测量得出相应的数据以后, 对这部分数据进行合理、适当的收集和处理, 进而对其中存在较为异常的数据进行有效提出, 保证数据实际准确性, 并给相关活动提供参考依据和使用依据。因此, 文章对在计量测试过程中可能会出现的异常数据产生的原因和相关的剔除方法进行深入探究, 希望能够给计量测量数据的准确性提升给予一定的帮助。
1 计量测试工作实际重要性
在我们日常生活、生产中, 都会接触到相应的计量测试, 其是对所需要的不同类型的数据, 施工有效检测仪器对其结果做出的评价, 然后使用相应的评价结果对仪器的好坏做出判断, 查看其设备是否能够满足实际使用需求。众所周知, 检测数据具是非常重要的, 因为在生产过程只有保证数据的稳定性, 才能使生产工艺的发哦保证, 进而对成品的各项数据符合科学判断的依据。同时计量测试也是指导产品生产工艺、改革和质量的有效方式和工具。因为, 没有准确的计量, 就不能产生使人信服的数据, 而产品生产质量也就不能得到有效保证[1]。
2 计量设备出现误差的原因
在统计学中, 将对统一物体的多次反复测量数据中, 和其他测量数据有着明显差异的数据称作可疑数据, 其最显著的特征就是它和组内其他数据存在很大的差异, 而变化的数据究竟在不在合理范围内, 就需要使用有效的判断进行最后的确定。
计量设备是一种具有高精度、高精密的测量仪器, 其自身对外部环境有着很高的要求, 而外部因素的变化可能会对计量设备产生一定的影响, 导致测量结果与实际结果间存在及较大的误差。通常情况下, 致使计量仪器出现误差的主要原因可能有以下几点:第一, 计量设备受到冲击, 例如, 机械冲击以及外部工作台的振动等。第二, 供电系统中电压的变化以及受到电磁波的影响, 也都会导致计量设备不能进行正常工作。第三, 由于设备操作人员的疏漏, 自身主观臆断以及工作经验不足等因素所导致的操作不正确、不规范。第四, 计量设备自身故障的影响。例如, 零件磨损、内部构建损坏等。
异常数据是与正常数据值之间存在很大的偏差, 一旦将这部分错误的数据放入到计算中去, 就会对相应的结果造成很大的影响, 进而不能帮助人们做出准确的判断。因此, 想要保证计量数据的准确性, 就要对其中所存在的异常数据进行剔除, 这是由于一旦使用不恰当的剔除方式, 就不能消除异常数据对其造成的影响, 并且还会出现测量重复性较好假象, 对数据真实性的判别造成严重影响和限制, 使得人们误以为提升了监测设备的测量水平。如果对异常数据不进行剔除, 又会减少数据的重复性, 给设备等级带来不好的影响。通过上述分析得知, 只有对异常值使用有效方法进行提出, 才能使测量数据满足人们的实际需求[2]。
3 异常值的判断标准
在计量检测过程中, 对于异常值的判断一般情况下会使用以下几种方式, 即:3σ、t值检验法、肖维勒以及格拉布斯准则等。这里值得注意的是, 虽然上述准则中所涵盖的内容有一定的不同, 但是在判断过程中都应用了置信水平。置信水平值得就是随机变量在置信范围内的实际概率, 将置信范围内的数据值以X作为代替, 其可疑数据的检验的具体如下:
3.1 3σ准则
, 将计量测得的数据带入公式中, 如果计算值符合判定值, 就说明该值为异常值, 要将进行剔除。
3.2 t值检测法
4 结论
总而言之, 在计量测量的实际应用过程中, 为了进一步保证数据的准确性以及精度, 避免出现错误的判断, 而导致产品质量问题受到影响, 就可以使综合运用两种或者是两种以上的方法进行判断, 一旦结论保持一致就要对其数据进行剔除, 这就能够在一定程度上提升数据的可靠性。而在判定结果不一致的情况下, 就要进行较为慎重的考虑, 进行再一次的验证, 而这种情况下则可以将数据进行保留。
参考文献
[1]赵, 孙明珠, 王中禹等.计量测试中异常数据剔除方法的探讨[J].科技创新与应用, 2014 (28) :293-293.
[2]叶川, 伍川辉, 张嘉怡等.计量测试中异常数据剔除方法比较[J].计量与测试技术, 2010, 34 (7) :26-27.
[3]梁慧, 刘子勇, 蔡友发等.卧式金属罐容量光电内测法中测量数据预处理方法的研究[C].//2012年全国容量计量学术交流会暨中国计量测试学会容量计量专委会年会论文集.2012 (1) :47-51.
[4]吴展, 蔡萍.一种改进的动态过程测量数据预处理方法[J].传感技术学报, 2010, 23 (4) :558-561.
异常数据剔除 篇2
固井作业是石油钻井作业中非常重要的一个环节。固井作业效果的好坏, 会对整个钻井项目最终的成败产生关键性影响。在实际作业中, 有很多因素都会对固井质量产生影响。为了确保钻井工作的万无一失, 应该努力寻找到分析固井质量与影响因素之间关系的方法, 即一种预测模型。这样在固井施工之前, 我们可以通过预测模型进行事前模拟, 并根据得出的数值对相关影响因素进行干预和控制, 保证固井的质量。因此, 数据的真实性与可靠性对建立模型至关重要。但是, 数据中可能会出现一些异常值, 这些异常值对于建立模型会有很大的影响。因此, 判断并剔除数据中的异常值就显得至关重要。
2 异常值的判别方法
在对异常值进行判别时, 可以将其分成两类, 即预先已知标准偏差的场合和未知标准偏差的场合。在判断方法上, 通常只能通过待检验分析数据的自身检验来辨别其中是否有异常值。本文专门讨论如何对同一组分析数据中的异常值进行辨别, 而忽略对同一总体中不同样本间存在的异常值的研究。
2.1 标准偏差已知
检验时使用统计量
公式中Xd代表被检验的离群值, X軍表示测定值的算术平均值, σ是除去异常值后, 由其他实验测定值得出。对于公式 (1.1) 计算出的T值, 从表中查得相应的临界值, 并进行比较。如果在相应置信度下, T值比舍弃界限中临界值要大, 则Xd可以被视为异常值舍弃。
2.2 标准偏差未知
在实际中, 遇到更多的是标准偏差未知的情况。这样一来, 只能通过待检验分析数据的自身检验来辨别其中是否有异常值。以下是几种常用的检验方法。
2.2.1 格拉布斯 (Grubbs) 检验法
方法应用的前提限制:认为随即样本从正态总体中获得, 且符合正态分布。
依照从小到大的顺序, 对xi (i=1, 2, …, n) 进行排列, 设为x1≤x2≤…≤xn。
如果怀疑x1或者xn是异常值, 可以采用如下程序进行辨别:第一步, 算出它们的算术平均值x軈和标准差s;第二步, 通过计算得出统计量gn, 将其与临界值g (α, n) 进行比较和判断, 具体公式为:
临界值g (α, n) 中, α为显著性水平, 通常取α=0.05, 即取置信度为95%, n为数据数目。Grubbs检验法的临界值g (0.05, n) , 如表1.1所示。
判定规则:如果gn
2.2.2 狄克逊 (Dixon) 检验法
将xi (i=1, 2, …, n) 根据其大小顺序依次排列, 设为x1≤x2≤…≤xn。
该方法省去了x軈、s的计算过程, 而是将n的数目作为依据, 对与之相对应的r值进行计算。表1.2给出了Dixon检验法的临界值r (0.05, n) 。
将计算求得的r大、r小分别与表1.2查得的r (0.05, n) 进行比较:
(1) 当r大 (或r小) >r (0.05, n) 时, 则最大 (或最小) 的试验数据为异常数据, 不可信, 并应剔除。
(2) 若r大
2.2.3 t分布检验法
经数次实验发现, 个别 (误差值较大的) 剩余误差疑似过失误查, 必须剔除包含该剩余误差的测试值, 同时根据n-1个测试值和剩余误差ui标准差的估计量s进行计算:
表1.3给出了t分布临界值t (0.05, n-2) 。按置信概率Pα=1-α=1-0.05=95%以及t分布的自由度n-2与t分布临界值进行比对, 根据比对结果来判定是否需要剔除这个测试值。
若则需将该测试值剔除。
若则该测试值中未包含过失误差, 应将其归置到测试值的数列中, 然后再次对标准差估计量s进行计算。
上述方法有着各自的特点和适用范围。狄克逊检验法、格拉布斯法、t检验法等则同时兼顾了置信度, 明确界定了概率意义, 提高了计算结果的精确度和科学性。其中, 格拉布斯法设定了一定的置信度, 同时将平均值、标准偏差引入计算过程, 大大提高了计算的精确度, 因而得到了国内外一些实验机构的引荐应用;t检验法进行数据处理前, 预先将被检验的离群值“剔除”, 确保了计算标准偏差的独立性及正确性, 取得了预期的理论性的结果, 不论是检验的灵敏度, 还是测定精度都显著提升。至于检验方法, 则要根据实际条件和实验要求而定。
3 固井参数异常值剔除
对影响固井质量的因素进行分析, 同时构建固井质量预测模型和相应的优化模型, 所有工作程序必须基于固井历史数据来完成, 因此现场数据一定力求真实准确。实际操作中仍有一些因素影响现场数据的准确性, 造成部分数据出现误差, 其缘由主要是:录入了部分错误的数据;因现场数据测量及计算过程存在误差, 造成所得数据与实际不符。为纠正后续的计算结果, 应该筛选或提出部分不合理的现场固井数据, 确保其科学合理。仅根据常规办法或自身的测量经验来判定数据是否准确, 缺少理论支持, 最终的结果不一定准确、客观。鉴于此, 先要从技术层面来分析计算结果, 查明错误根源。若以上办法均不奏效, 则改用格拉布斯 (Grubbs) 检验法来检验, 将异常值剔除。
本文以大庆油田北一区的异常数据为检验对象, 针对98条数据来检验其异常值, 运用Vis ual Bas ic语言编程进行计算, 上表1.4为部分计算结果。
4 结论
表1.4中的固井参数井径扩大率与井径规则度两个数列, 在1-54-E61与井北1-312-P28的行列中分别出现了异常数据11.45、13.57, 综合分析这两列参数后判定11.45、13.57为异常值。
参考文献
[1]张永忠, 张立刚.新民地区调整井固井技术研究[J].中小企业管理与科技 (上旬刊) , 2011 (09) .
[2]肖新礼.延长油田低密度水泥浆固井技术的研究与应用[J].中小企业管理与科技 (下旬刊) , 2009 (08) .
异常数据剔除 篇3
随着化学计量学的发展,近红外光谱分析技术被广泛应用于食品、药品、石油等的品质检测、产地鉴别等方面[1,2,3,4]。传统煤质测定方法普遍存在分析时间长、测定精度低、破坏样品结构等缺陷[5],而近红外光谱分析技术可以快速、无损地对煤炭中各成分的含量进行检测,它将会成为煤质分析未来发展的主要趋势。
近红外光谱分析技术是一种间接分析技术,其分析结果主要依靠预测模型的准确性和稳定性。煤炭样品的光谱图和标准值的相关性直接影响模型的预测能力,异常样品对分析模型的干扰是最为严重的。产生异常样品的原因:(1) 测量仪器、测试方法和环境等因素的影响;(2) 技术人员实验操作失误;(3) 煤炭的复杂性、多样性。在实际参与训练定量分析模型的样品中常常混有问题样品,因此在训练模型之前,要先对训练集样品进行逐一排查,剔除异常样品。本文首先利用模糊C均值聚类法(Fuzzy C-Mean Algorithm,FCM)对样品进行聚类,得到可疑样品;然后将可疑样品作为验证集,通过PCA-GA-BP模型进行二次诊断,从而剔除异常样品。
1 数据采集与分析方法
1.1 光谱数据采集
本实验中的光谱数据由Nicolet公司的Antaris II型傅里叶变换近红外光谱分析仪采集,光谱仪的波长范围为3 799.079 3~10 001.028 3 (cm-1),共有1 609个波长点,分辨率为8 cm-1,系统自身波数重现性为10次,测量的标准偏差小于0.006 cm-1,扫描次数为64次。85个煤炭样品的近红外光谱如图1所示。
1.2 全水分含量测定
水分是煤炭的重要组成部分,是煤炭质量的重要指标,其测定方法有加热干燥法、共沸蒸馏法、微波加热法等[6]。本实验中水分的测量仪器是FD-720红外线快速水分测定仪。该水分测定仪采用与干燥标准法相近的测定方式,对干燥机中的煤炭样品进行加热、干燥,并采用高精度的铝制一体型质量传感器分别测量干燥前后煤炭样品的质量M0、Md,则全水分含量Mt=M0-Md。
1.3 二次诊断法流程
二次诊断法实验步骤:(1) 采用FCM进行初次诊断。将样品进行聚类,由于正常的样品分类比较集中,如果某类别中的样品个数较少,则该组中的样品可能为异常样品。(2) 采用PCA-GA-BP模型进行二次诊断。将可疑样品作为验证集,剩余的正常样品作为训练集,通过比较预测值与标准测量值之间的误差,完成二次诊断。二次诊断法的流程如图2所示。
2 FCM初次诊断过程
1981年,Ruspini和Bezdek提出了FCM算法,该算法用隶属度来确定每个数据点属于某个聚类的程度[7,8]。测量值与光谱图的准确度及它们之间相关系数的大小都是判断样品是否为异常样品的依据。因此在聚类时要综合测试值与光谱图,取样品特征数为1 610个(1 609个波长点加1个水分标准测量值)。在聚类过程中,光谱数据与水分标准值在特征向量中占比差距很大,光谱值占有绝对的主导权,为使占比达到1∶1,在特征向量中加入一个平衡权值ω。
将70组样品聚成10类,结果如表1所示。5、9、10三类样品中的样品数量较少(4个),因此可认为第11、18、27、31、33、40、45、49、52、53、54、59组样品为可疑样品,需对这些样品进行二次诊断。
3 PCA-GA-BP模型二次诊断过程
PCA即主成分分析,其目的就是把光谱数据降维[9]。前5个主成分的累计可信度(%)分别为96.191 0、99.289 3、99.645 9、99.813 4、99.882 8,当累加到第5个主成分值时,累计可信度接近于100,也就是说前5个主成分几乎包含了所有的光谱信息。然后建立一个典型的三层BP神经网络,将前5个主成分作为输入向量,利用GA(遗传算法)的全局搜索能力,搜索BP神经网络全局最优的初始权值和阈值,构建一个具有较高预测精度和较快收敛速度的近红外光谱煤质分析模型[10,11]。
初次诊断后,用58组正常的煤炭样品训练PCA-GA-BP模型,12组可疑样品作为验证集。预测结果如表2所示,第18、31、45、52、53、54、59组样品的预测值与标准测量值的误差较大(>0.03),属于异常样品,应将其剔除,而剩余的5组样品应归入训练集样品中。因此,最终适合参与近红外光谱煤质分析建模的训练集样品有63组。
异常样品剔除前后,各验证集样品的预测值与标准测量值的误差如图3所示。
从图3可以看出,大部分样品预测值的精度较异常样品剔除前都有显著的提高。
4 结语
在建立近红外光谱煤质分析模型时,预测值与标准值之间决定系数的大小反映了模型的准确性及可靠性。实验证明,二次诊断法可以剔除异常样品,减少对异常样品的误判,有效提高模型的准确性,为剔除异常样品提供了一个有效、可靠的新方法。由于FCM算法对大样本聚类时将耗费大量的存储空间和运算时间,且有时会收敛到局部极小点上,因此在剔除大样品中的异常样品时,需进一步改进聚类算法。
摘要：针对建立近红外光谱煤质定量分析模型时训练集中的异常样品严重影响模型预测精度的问题,提出一种二次诊断法剔除异常样品:利用模糊C均值聚类法对样品进行聚类,得到可疑样品;将可疑样品作为验证集,通过PCA-GA-BP模型进行二次诊断,剔除异常样品。实验对比了训练集中异常样品剔除前后,模型对15组待测样品的预测能力,结果表明该方法能够准确剔除异常样品,并有效提高模型的预测精度。
关键词：煤质分析,近红外光谱,异常样品,二次诊断,模糊C均值聚类,PCA-GA-BP模型
参考文献
[1]CEN Haiyan,HE Yong,HUANG Min.Measurement of Soluble Solids Contents and PH in Orange Juice Using Chemometrics and Vis-NIRS[J].Journal of Agricultural and Food Chemistry,2006,54(20):7437-7443.
[2]王加华,韩东海.基于遗传算法的苹果糖度近红外光谱分析[J].光谱学与光谱分析,2008,28(10):2308-2311.
[3]陈永明,林萍,何勇.基于遗传算法的近红外光谱橄榄油产地鉴别方法研究[J].光谱学与光谱分析,2009,29(3):671-674.
[4]陆婉珍,袁洪福,徐广通,等.现代近红外光谱分析技术[M].北京:中国石化出版社,2000.
[5]ANDRES J M,BONA M T.Analysis of Coal by Diffuse Reflectance Near-infrared Spectroscopy[J].Analytica Chimica Acta,2005,535(1-2):123-132.
[6]张双全,吴国光.煤化学[M].徐州:中国矿业大学出版社,2004.
[7]李雷,罗红旗,丁亚丽.一种改进的模糊C均值聚类算法[J].计算机技术与发展,2009,19(12):71-73.
[8]WANG Weina,ZHANG Yunjie,LI Yi,et al.The Global Fuzzy C-Means Clustering Algorithm[C]∥Proceedings of the 6th World Congress on Intelligent Control and Automation,2006,Dalian:3604-3607.
[9]何晓群.多元统计分析[M].北京:中国人民大学出版社,2004.
[10]靳建彬,王元钦,陈源.基于遗传算法的BP神经网络优化策略研究[J].计算机与现代化,2010(9):88-91.
异常数据剔除 篇4
GPS(Global Positioning System)已广泛应用于各个领域,但其定位精度容易受到多种因素如系统误差(卫星的轨道误差、大气折射误差等)及偶然误差(多路径效应误差、观测误差等)的干扰,国内外的许多学者对于如何提高GPS测量精度做了大量的研究[1,2,3,4,5,6],如采用双频接收机方法补偿电离层折射误差[1],利用卡尔曼滤波法降低多路径效应误差中的随机误差[2],采用非线性滤波技术提高GPS的定位精度和鲁棒性[3]。
目前,基于GPS,GPRS/GSM,GIS的航标监控系统已应用于我国各地航道管理部门,实现了对航标的全天候监控[7],其中GPS采集航标位置,用于判断航标当前的位置、漂移速度。如果出现GPS异常数据时,会发送航标漂移的误报警情况,增加额外的人力物力来维护航标终端,频繁误报警的航标监控系统某种程度上影响了用户对系统的信任程度,严重时会“弃用”该系统。因此快速识别出并剔除接收机输出的异常数据点,降低航标漂移误报警的概率,是此类系统需要重点解决的问题。
2 方法的数学基础
2.1 古典概型
若随机试验E具有以下两个特征:
(1)所有可能的试验结果(基本事件)为有限个,即:
(2)每个基本事件发生的可能性相同,即:
则称这类试验的数学模型为古典概型[8]。设随机试验E为古典概型,其样本空间Ψ及事件A分别为:Ψ=
则随机事件A的概率为:
2.2 莱以特判别法
莱以特判别法即莱以特准则,是指当标准差D(x)已知时,用来检验一组预测值中的异常值的方法。根据正态分布规律,当偏差值大于3倍标准差D(x),测定值出现的概率比较小是一个小概率事件可以忽略其存在,即可判断其为异常值而剔除。实际应用中,用样本值计算的样本标准差S代替D(x)来判断预测值中的异常值。
3 异常数据处理
3.1 异常数据点的处理方法
采用古典概率与莱以特判别法相结合来处理GPS的异常数据点。基点位置是航标预设的位置,R1,R2是指航标终端随波浪等起伏引起的相对基点位置的、允许发生偏移的距离。R1范围内的航标位置,被认为是由于水位变化等导致航标位置变化的正常范围,超过R1但小于R2范围的航标位置,被认为是多种因素变化而导致航标位置变化的临界范围,超过R2则认为航标漂移了正常范围,需要进行恢复。
理想状态下,GPS数据点(即预测数据点)应均匀分布在基点周围,每个数据点发生的概率相同。于是,可以确定一个以基点为圆心,以给定的偏移距离R1为半径的圆,如图1所示。
图1中GPS数据随机分布于以半径为R1的圆的内外,箭号所指的小圆为基点所在的位置。由于可能受到天气以及其他多种因素的影响,可能使位于半径R1外的有些数据点是正常点,并且异常数据点在数量上与正常数据点相比,是占少数。异常数据点由于作用强烈,影响较大,总是较远的偏离基点位置,下面通过图2进行辅助说明。图2中,GPS数据随机分布于以偏移距离R1,R2为半径的圆的内外,箭号所指的小圆为基点所在的位置。
通过计算所有预测点到基点的距离,这些值作为预测数据值。分别统计位于半径R1内、介于半径R1与R2之间以及位于半径R2外的数据点的总数。将介于半径R1与R2之间以及位于半径R2外的数据点数相加即为下文预测数据点数N。由于预测点到基点距离小于R1的数据点是航标允许发生偏移的范围,属于正常数据值,不会发生异常,故不对它们进行异常处理。将介于半径R1与R2之间以及位于半径R2外的预测点到基点的距离当作一个样本空间,其随机序列为Distance 1,Distance 2,Distance N。设预测点到基点的距离服从正态分布,则样本均值和标准方差的计算公式分别为:
由式(1)与式(2)可计算出预测值的样本均值和样本标准方差值。由统计量公式计算每个预测数据值的残差,式中为待检验的可疑测定值,如果,则可判定Distance i为异常数据值,即可删除该数据点值及其相关信息(Distance_i等于该数据点到基点的距离)。重复步骤(1),(2)直到无异常数据值为止,即完成了对整个GPS异常数据点的处理。
3.2 异常数据点处理流程
对异常数据点的处理关键是把异常数据从所预测数据中分离出来,而分离异常数据点通过图3的流程即可快速实现。
4 性能仿真分析
为了检验本方法,仿真所用数据来自于受各种环境因数影响航标定位的GPS数据,采用VC++及Matlab等工具进行仿真,得到如图4所示的原始分布图。
图4中红色圆表示基点所在的位置,小圆表示半径为R1的圆,大圆表示半径为R2的圆,GPS数据随机分布于以半径为R1,R2的圆的内外。将图4中的GPS原始数据按本文所提出的方法进行处理之后,得到图5的处理结果
在图5中,红色点表示测量数据中的异常数据点。对图5的异常数据点进行剔除后得到图6所示的结果。
在图6中,GPS原始数据通过处理后,均匀分布于以半径为R1,R2的圆的内外。
5 结语
本文提出了一种航标定位的GPS异常点快速判别及剔除方法,该方法通过采用古典概率与莱以特判别法相结合来判断航标定位的GPS异常数据点。实验仿真结果,表明该方法计算简单、处理速度快,特别适用于航标遥测遥控系统航标定位的GPS接收机输出的GPS数据的处理,将该方法应用于航标终端的定位,降低了航标漂移的误报警机率具有一定的推广和应用价值。
参考文献
[1]欧吉坤,王振杰.GPS精密测量中系统误差的分离方法[J].数据采集与处理,2003,18(4):365-368.
[2]张满生,张学庄,陈保平,等.新型GPS动态定位自适应卡尔曼滤波方法[J].中南工业大学学报,2003(5):544-547.
[3]茅旭初,WadaMassaki,桥本秀纪.一种用于GPS定位估计滤波算法的非线性模型[J].上海交通大学学报,2004,38(4):610-615.
[4]俞海红,陈素珊,何勇.GPS定位试验及提高定位精度的方法研究[J].浙江大学学报,2004,30(6):662-667.
[5]Peng Dongju,WU Bin.Zero-difference and Single-differencePrecise Orbit Determination for LEO Using GPS[J].Chi-nese Science Bulletin,2007,52(15):2 024-2 030.
[6]Guo Jianfeng,Ou Jikun,Ren Chao.Partial ContinuationModel and Its Application in Mitigating Systematic Errorsof Double-differenced GPS Measurements[J].Progress inNatural Science,2005,15(3):246-251.
[7]吴允平,蔡声镇,刘华松,等.航标遥测遥控信息系统的设计与实现[J].计算机工程,2006,32(12):253-255.
[8]盛骤,谢式千.概率论与数理统计[M].北京:高等教育出版社,2001.