剔除方法（共7篇）
剔除方法 篇1
计量测量是对数据准确性要求非常高的一项工作, 在充分利用计量测量得出相应的数据以后, 对这部分数据进行合理、适当的收集和处理, 进而对其中存在较为异常的数据进行有效提出, 保证数据实际准确性, 并给相关活动提供参考依据和使用依据。因此, 文章对在计量测试过程中可能会出现的异常数据产生的原因和相关的剔除方法进行深入探究, 希望能够给计量测量数据的准确性提升给予一定的帮助。
1 计量测试工作实际重要性
在我们日常生活、生产中, 都会接触到相应的计量测试, 其是对所需要的不同类型的数据, 施工有效检测仪器对其结果做出的评价, 然后使用相应的评价结果对仪器的好坏做出判断, 查看其设备是否能够满足实际使用需求。众所周知, 检测数据具是非常重要的, 因为在生产过程只有保证数据的稳定性, 才能使生产工艺的发哦保证, 进而对成品的各项数据符合科学判断的依据。同时计量测试也是指导产品生产工艺、改革和质量的有效方式和工具。因为, 没有准确的计量, 就不能产生使人信服的数据, 而产品生产质量也就不能得到有效保证[1]。
2 计量设备出现误差的原因
在统计学中, 将对统一物体的多次反复测量数据中, 和其他测量数据有着明显差异的数据称作可疑数据, 其最显著的特征就是它和组内其他数据存在很大的差异, 而变化的数据究竟在不在合理范围内, 就需要使用有效的判断进行最后的确定。
计量设备是一种具有高精度、高精密的测量仪器, 其自身对外部环境有着很高的要求, 而外部因素的变化可能会对计量设备产生一定的影响, 导致测量结果与实际结果间存在及较大的误差。通常情况下, 致使计量仪器出现误差的主要原因可能有以下几点:第一, 计量设备受到冲击, 例如, 机械冲击以及外部工作台的振动等。第二, 供电系统中电压的变化以及受到电磁波的影响, 也都会导致计量设备不能进行正常工作。第三, 由于设备操作人员的疏漏, 自身主观臆断以及工作经验不足等因素所导致的操作不正确、不规范。第四, 计量设备自身故障的影响。例如, 零件磨损、内部构建损坏等。
异常数据是与正常数据值之间存在很大的偏差, 一旦将这部分错误的数据放入到计算中去, 就会对相应的结果造成很大的影响, 进而不能帮助人们做出准确的判断。因此, 想要保证计量数据的准确性, 就要对其中所存在的异常数据进行剔除, 这是由于一旦使用不恰当的剔除方式, 就不能消除异常数据对其造成的影响, 并且还会出现测量重复性较好假象, 对数据真实性的判别造成严重影响和限制, 使得人们误以为提升了监测设备的测量水平。如果对异常数据不进行剔除, 又会减少数据的重复性, 给设备等级带来不好的影响。通过上述分析得知, 只有对异常值使用有效方法进行提出, 才能使测量数据满足人们的实际需求[2]。
3 异常值的判断标准
在计量检测过程中, 对于异常值的判断一般情况下会使用以下几种方式, 即:3σ、t值检验法、肖维勒以及格拉布斯准则等。这里值得注意的是, 虽然上述准则中所涵盖的内容有一定的不同, 但是在判断过程中都应用了置信水平。置信水平值得就是随机变量在置信范围内的实际概率, 将置信范围内的数据值以X作为代替, 其可疑数据的检验的具体如下:
3.1 3σ准则
, 将计量测得的数据带入公式中, 如果计算值符合判定值, 就说明该值为异常值, 要将进行剔除。
3.2 t值检测法
4 结论
总而言之, 在计量测量的实际应用过程中, 为了进一步保证数据的准确性以及精度, 避免出现错误的判断, 而导致产品质量问题受到影响, 就可以使综合运用两种或者是两种以上的方法进行判断, 一旦结论保持一致就要对其数据进行剔除, 这就能够在一定程度上提升数据的可靠性。而在判定结果不一致的情况下, 就要进行较为慎重的考虑, 进行再一次的验证, 而这种情况下则可以将数据进行保留。
参考文献
[1]赵, 孙明珠, 王中禹等.计量测试中异常数据剔除方法的探讨[J].科技创新与应用, 2014 (28) :293-293.
[2]叶川, 伍川辉, 张嘉怡等.计量测试中异常数据剔除方法比较[J].计量与测试技术, 2010, 34 (7) :26-27.
[3]梁慧, 刘子勇, 蔡友发等.卧式金属罐容量光电内测法中测量数据预处理方法的研究[C].//2012年全国容量计量学术交流会暨中国计量测试学会容量计量专委会年会论文集.2012 (1) :47-51.
[4]吴展, 蔡萍.一种改进的动态过程测量数据预处理方法[J].传感技术学报, 2010, 23 (4) :558-561.
剔除方法 篇2
对于微型工件的视觉检测系统, 在工业现场几乎都需要对被测件 (直径10 mm以内) 进行工艺上的清洁预处理, 以防止零件沾染细小纤维、灰尘、头发、皮屑等微小附着物影响图像测量。尤其在精度要求比较高的视觉检测中, 微小附着物会为图像处理边缘提取过程带来伪边缘信息, 影响测量结果。然而, 微型零件的清洗工序耗时耗力, 而且清洗效果随着操作人员的技术和经验有差异, 经过清洗的零件很难甚至不可能完全去除微小附着物。因此, 从图像处理角度出发, 在有微小附着物存在的前提下 (即图像存在伪边缘) , 如何减小或消除它对零件测量结果的影响就成为视觉检测过程中有待解决的一个重要问题。
目前, 有关杂质或异物识别和剔除方法的研究在国内外得到了开展, 但针对工件微小附着物识别与去除方法的研究还鲜见报道。在原棉纤维的识别中, 文献[1]从原棉异纤与背景的灰度和纹理两个方面的特征差异考虑图像的分割;文献[2-5]在空域中提取棉纤的纹理和形状特征, 使用灰度共生矩阵、马尔科夫随机场和形态学方法及纹理模型, 在人工神经网络下对棉纤异物分类识别。在粮食颗粒杂质的视觉识别中, 文献[6]根据杂质与一般颗粒的亮度特征不同进行图像分割。烟草异物的识别中, 根据烟草与异物颜色区别来进行分割与识别[7,8]。文献[8]基于正常物料与异物颜色差异及异物颜色随机性的特点, 提出了一种基于一类支持向量机的异物识别算法。在图像算法研究方面, 有学者研究了粘连目标的分割方法, 主要基于物体形状、灰度、纹理、颜色等特征, 如分水岭算法[9,10]、基于凹点的分离算法[11]、计算分形维数的方法[12,13]以及多颜色特征融合的方法[14]等。以上方法在各自的实验条件下取得了有益的结果, 但难以用于微小附着物的识别与剔除, 如对于曲而细、粗而直或聚集成块或分散成丝的微小附着物来说, 附着物出现随机性及形状的不规则性难以用以上方法处理。
为此, 本文针对有附着物存在的微型工件视觉检测, 特别是附着物灰度与工件存在一定差异, 提出了基于区域分割的先验知识, 结合由粗到精的筛选算法定位附着物轮廓, 剔除并智能修复工件轮廓的算法。由于轮廓代表了物体的架构, 当光照、物体颜色和纹理都可变时, 静止物体的轮廓一直都是不变量[15], 因此, 该算法从曲率角度结合先验知识定位附着物, 当附着物出现在不同位置, 不同形状时都能准确的定位, 消除它的同时并不改变原始轮廓的位置, 从而保证精度的前提下增强视觉检测的可靠性和稳定性。
1 附着物的定位
灰尘、细小纤维等附着物不仅形状具有不确定性, 而且附着位置也不固定。虽然如此, 但是微小附着物无一例外的引起接触轮廓位置的曲率发生显著变化。本文采取的算法是一种由粗到精的筛选算法, 即对于有附着物存在的原始轮廓图像, 首先通过计算轮廓点的曲率角提取局部曲率最大点, 然后利用先验知识从角点中筛选出附着物角点。本文所指的附着物始末角点定义为目标轮廓与附着物轮廓相交点, 这对附着物轮廓进行了定位。
1.1 建立基于区域生长的先验知识
考虑到大部分微小附着物灰度与工件灰度有一定差距。本文从分割工件区域入手提出了以区域生长的轮廓作为后续附着物轮廓分割的先验知识。该方法基于图像背景灰度分布一致性较好, 接近高斯分布这一假设[16]。通过对系统实际采集图像的分析, 图像背景区域的灰度分布满足这一假设, 通过下文的实验结果也证实了该分割零件与附着物方法的有效性。
区域生长的思想是将具有相似性质的像素集合起来构成区域, 在每个分割的区域中找一个种子像素作为生长的起点, 然后将种子像素周围邻域中与种子像素有相同或相似性质的像素合并到种子像素所在的区域中[17]。利用背景与零件灰度的显著差异, 由灰度分布可以明显得到前景目标聚类的中心灰度值f0 (x, y) , 将所有灰度值等于f0 (x, y) 的像素设置为种子像素。
设已生长出的种子区域为R, 区域内像素数为N, 则其灰度均值为
区域的方差为
位于种子区域边缘的待生长像素 (x, y) , 灰度为f (x, y) , 则生长规则可表示为
为生长因子, 当背景灰度分布一致性较好时各像素灰度可以认为是均值m与一零均值高斯白噪声的叠加, 此时s为该高斯白噪声均方差的无偏估计。从种子区域向外不断吸收和本区域具有灰度一致性的边界待生长像素, 直至没有合适的像素可以生长。对有附着物存在的原始图像a经过区域生长算法后提取的目标轮廓记为a'。设原始图像a采用合适的算法提取接近真实情况的目标轮廓为b, 具体过程不再详述。单一的基于区域生长的图像分割算法对边缘的定位精度不够准确, 因而不能直接用于测量[18]。由于基于区域图像分割算法对边缘定位精度不够准确, 但误分割的可能性很小, 所以真实的边缘不会偏离目标边界太远, 在图像中目标向背景的过渡区域内[18]。标定a'与b这个过渡区域范围, 记为d。
1.2 基于曲率角的附着物角点定位方法
附着物定位采取由粗到精的筛选方法, 首先提取包含附着物的原始图像中曲率变化较大的点。曲线上任意一点的曲率k表达式为
其中 (35) 是曲线上无限接近此点的切线转角。由式 (4) 可得, 对于轮廓上任一点的曲率, 切线转角即曲率角越大, 曲率越大。本文用计算曲率角来代替曲率的方法, 以减小计算量。
定义原始图像轮廓为集合Aj, Aj={P1j, P2j, …, PjN}, 其中Pi j= (xi j, yi j) 是轮廓上各个点的坐标。如图1所示, 在目标轮廓上建立以轮廓点Pi为中心, 前后距离中心点Pi为R的区域, 在Pi点下方的R区域记作R-, 在Pi点上方R区域记作R+。则轮廓中包含的点为集合S (i) ={p (j) = (x (j) , y (j) ) |j=i-R, i-R+1, …, i+R-1, i+R}。设R-中心点为
R+中心点为
Pt (i) 与P (i) 及P (i) 与Pb (i) 构成向量方向角分别为
求两个方向角差值, 计算曲率角为
提取外轮廓上的角点, 记作集合B (i) , 附着物角点包括在B (i) 中, 这个过程是“粗”筛选。“细”筛选具体方法如下, 根据1.1节得到的轮廓a'作基准, 若对于任意一点P (i) ∈B (i) , 在区域生长的轮廓图像a'中, 搜索以P (i) 点为中心d的邻域, 如果在邻域内有目标轮廓点存在, 则P (i) 是工件自身的角点, 否则P (i) 为附着物的角点。
2 附着物轮廓的去除与目标轮廓的修复
根据上文所述能够找到附着物的角点, 附着物自身如果曲率存在局部最大, 则造成附着物自身的角点。这里所说的附着物角点包括自身角点和始末角点, 附着物的始末角点是指外轮廓与附着物轮廓相交点。找到始末角点, 即可容易地去除附着物轮廓。附着物的角点聚集成簇, 离散分布, 如图2所示。
对于任意附着物的角点PW (i) , 如果满足PW (i) 与前一角点及后一角点的距离在以γ为半径的范围之内, 则这三个点算作一簇, 同时计算每簇的个数n。当n2时每一簇就是每一段附着物轮廓。找到每一簇的起始点, 从原始图像的轮廓集合Aj中删除起始角点之间的轮廓点, 即去除了附着物轮廓, 原始图像外轮廓的一段断开。本文研究一种自动修复外轮廓图像的方法, 它以区域生长算法提取的目标轮廓图像a′做导航, 按照相应轮廓点的位置关系进行跟踪, 实现外轮廓的生长和修复。图3是此算法的说明示意图, 其算法步骤如下:
1) 找到外轮廓b的端点A在导航轮廓中相对应的轮廓点A'。在图像a′中以A为中心扫描图像, 距离A最近的轮廓点认为是其对应点。
2) 计算由起点到终点方向向量所在的象限。对八邻域方向编码, 如图4所示。搜索准则如下, 若在第一象限, 则初始方向由7开始扫描, 若7位置有黑点, 则为轮廓点, 把此黑点在外轮廓图像上置黑, 并将它作为新的轮廓点;否则搜索方向逆时针转45, 直至到3方向不再扫描。扫描方向回7。相似的, 其它情况见表1。最终修复的图像如图3 (c) 所示。
3 测量实验与结果
基于自行研制的“擒纵轮视觉检测仪”, 视觉采集系统如图5所示。测量对象是擒纵轮, 直径4~6 mm, 是手表中的精密零件之一, 齿外径、齿顶高度、齿距等各项参数都要求逐个检验。视觉检测中需要得到洁净的擒纵轮原图像, 但工业现场用汽油清洗后的擒纵轮还会沾染毛发、纤维等微小附着物。图6是标准工件原始图像, 实验用它验证本文提出的剔除零件附着物的算法有效性以及它对测量精度的影响。按照2.1区域生长的方法建立先验轮廓图像a′, 按照2.2所述附着物定位方法求取外轮廓各点曲率角, 将其映射到第一象限, 分布图如图7所示。
设置曲率角阈值20, 通过局部曲率最大的筛选方法结合轮廓图像a′定位附着物轮廓角点。然后去除附着物伪轮廓, 按照本文提出的轮廓修复算法对去除轮廓进行修复。放大其中被污染的齿A, 具体图像处理的步骤如图8所示。
实验所用擒纵轮为标准合格件, 型号为ST36, 齿外径、齿宽和齿距是其测量参数。以齿外径参数为例, 测量方法参考图8 (a) 。其中, a是长齿顶点、b是短齿顶点。通过拟合长短齿的顶点确定topline与拟合分度圆圆心的距离即规定的齿外径。如果附着物存在齿顶点附近会影响长短齿顶点的提取。合格齿外径的标准范围是测量齿半径R为 (3.15±0.006) mm。有图6附着物存在时, 通过视觉检测系统测得一组实验数据, 记作数据I。应用本文所述算法去除附着物, 再通过原先检测算法测得的数据, 记作数据II。具体数据如表2所示, 当量为3.416m/pixel。附着物存在的第9齿引起齿外径参数较大跳变, 数据I中第9齿为3.0915 mm, 系统判为不合格齿。用模板标定该标准合格件每个齿的实际尺寸, 记作数据III。标定该齿标准值的平均值为922.122 4 pixel, 转化为实际值是3.149 9 mm, 属于合格齿, 可见若不进行附着物剔除与修复会造成结果的误判。用本文算法改进后第9齿修正测量值为3.146 2 mm。误差在6m以内, 基本满足了此视觉检测系统的精度误差要求。同时, 从表中可以看出, 对其他无污染齿的测量影响非常小, 几乎可以忽略。齿宽和齿距实验结果通过图9示出, 第9齿 (横坐标标号8) 沾染附着物使其宽度明显增大, 在合格范围之外, 改进之后测量齿宽趋近正常, 齿距亦如此。
4 结论
针对工业现场微型工件清洁之后仍会沾染少量附着物从而影响视觉测量结果的问题, 本文研究了如何将附着物与目标相分离的方法。研究了以区域生长分割图像作先验知识, 通过定位附着物轮廓角点来去除附着物轮廓并自动修复目标轮廓的算法。基于本文研究的方法, 由擒纵轮视觉检测的实验结果可以看出, 加入附着物去除与修复算法后测量精度没有降低, 算法精度误差6m以内, 图像边缘的定位准确度能够给予保证。同时, 在视觉检测系统中, 该方法能够有效的改善附着物对于工件测量的影响, 进而提高了视觉检测系统测量的可靠性和稳定性。
摘要：工业现场清洁过的微型工件表面仍会有少量灰尘、发屑等附着物存在, 在微型工件的视觉检测系统中会因其改变提取的目标轮廓而影响检测结果。为此, 以灰尘与工件存在较小差异的任意位置和形状的一类附着物为考察对象, 以区域生长提取的目标轮廓为先验背景, 研究附着物定位与剔除算法。首先, 获取沾染附着物的工件图像, 采用基于区域的分割算法做处理, 以建立工件轮廓的先验知识;其次, 从曲率角度定位附着物轮廓角点, 以此剔除附着物轮廓;最后, 根据先验知识自动修复断开的外轮廓。实验结果显示, 加入附着物去除与修复算法后测量精度没有降低, 测量结果误差6?m以内, 图像边缘的定位准确度能够给予保证。表明所研究的附着物定位与剔除方法使检测系统在允许微小附着物存在并且不影响测量精度的情况下, 实现了目标轮廓的正确判别, 提高了视觉检测系统的可靠性。
剔除方法 篇3
固井作业是石油钻井作业中非常重要的一个环节。固井作业效果的好坏, 会对整个钻井项目最终的成败产生关键性影响。在实际作业中, 有很多因素都会对固井质量产生影响。为了确保钻井工作的万无一失, 应该努力寻找到分析固井质量与影响因素之间关系的方法, 即一种预测模型。这样在固井施工之前, 我们可以通过预测模型进行事前模拟, 并根据得出的数值对相关影响因素进行干预和控制, 保证固井的质量。因此, 数据的真实性与可靠性对建立模型至关重要。但是, 数据中可能会出现一些异常值, 这些异常值对于建立模型会有很大的影响。因此, 判断并剔除数据中的异常值就显得至关重要。
2 异常值的判别方法
在对异常值进行判别时, 可以将其分成两类, 即预先已知标准偏差的场合和未知标准偏差的场合。在判断方法上, 通常只能通过待检验分析数据的自身检验来辨别其中是否有异常值。本文专门讨论如何对同一组分析数据中的异常值进行辨别, 而忽略对同一总体中不同样本间存在的异常值的研究。
2.1 标准偏差已知
检验时使用统计量
公式中Xd代表被检验的离群值, X軍表示测定值的算术平均值, σ是除去异常值后, 由其他实验测定值得出。对于公式 (1.1) 计算出的T值, 从表中查得相应的临界值, 并进行比较。如果在相应置信度下, T值比舍弃界限中临界值要大, 则Xd可以被视为异常值舍弃。
2.2 标准偏差未知
在实际中, 遇到更多的是标准偏差未知的情况。这样一来, 只能通过待检验分析数据的自身检验来辨别其中是否有异常值。以下是几种常用的检验方法。
2.2.1 格拉布斯 (Grubbs) 检验法
方法应用的前提限制:认为随即样本从正态总体中获得, 且符合正态分布。
依照从小到大的顺序, 对xi (i=1, 2, …, n) 进行排列, 设为x1≤x2≤…≤xn。
如果怀疑x1或者xn是异常值, 可以采用如下程序进行辨别:第一步, 算出它们的算术平均值x軈和标准差s;第二步, 通过计算得出统计量gn, 将其与临界值g (α, n) 进行比较和判断, 具体公式为:
临界值g (α, n) 中, α为显著性水平, 通常取α=0.05, 即取置信度为95%, n为数据数目。Grubbs检验法的临界值g (0.05, n) , 如表1.1所示。
判定规则:如果gn
2.2.2 狄克逊 (Dixon) 检验法
将xi (i=1, 2, …, n) 根据其大小顺序依次排列, 设为x1≤x2≤…≤xn。
该方法省去了x軈、s的计算过程, 而是将n的数目作为依据, 对与之相对应的r值进行计算。表1.2给出了Dixon检验法的临界值r (0.05, n) 。
将计算求得的r大、r小分别与表1.2查得的r (0.05, n) 进行比较:
(1) 当r大 (或r小) >r (0.05, n) 时, 则最大 (或最小) 的试验数据为异常数据, 不可信, 并应剔除。
(2) 若r大
2.2.3 t分布检验法
经数次实验发现, 个别 (误差值较大的) 剩余误差疑似过失误查, 必须剔除包含该剩余误差的测试值, 同时根据n-1个测试值和剩余误差ui标准差的估计量s进行计算:
表1.3给出了t分布临界值t (0.05, n-2) 。按置信概率Pα=1-α=1-0.05=95%以及t分布的自由度n-2与t分布临界值进行比对, 根据比对结果来判定是否需要剔除这个测试值。
若则需将该测试值剔除。
若则该测试值中未包含过失误差, 应将其归置到测试值的数列中, 然后再次对标准差估计量s进行计算。
上述方法有着各自的特点和适用范围。狄克逊检验法、格拉布斯法、t检验法等则同时兼顾了置信度, 明确界定了概率意义, 提高了计算结果的精确度和科学性。其中, 格拉布斯法设定了一定的置信度, 同时将平均值、标准偏差引入计算过程, 大大提高了计算的精确度, 因而得到了国内外一些实验机构的引荐应用;t检验法进行数据处理前, 预先将被检验的离群值“剔除”, 确保了计算标准偏差的独立性及正确性, 取得了预期的理论性的结果, 不论是检验的灵敏度, 还是测定精度都显著提升。至于检验方法, 则要根据实际条件和实验要求而定。
3 固井参数异常值剔除
对影响固井质量的因素进行分析, 同时构建固井质量预测模型和相应的优化模型, 所有工作程序必须基于固井历史数据来完成, 因此现场数据一定力求真实准确。实际操作中仍有一些因素影响现场数据的准确性, 造成部分数据出现误差, 其缘由主要是:录入了部分错误的数据;因现场数据测量及计算过程存在误差, 造成所得数据与实际不符。为纠正后续的计算结果, 应该筛选或提出部分不合理的现场固井数据, 确保其科学合理。仅根据常规办法或自身的测量经验来判定数据是否准确, 缺少理论支持, 最终的结果不一定准确、客观。鉴于此, 先要从技术层面来分析计算结果, 查明错误根源。若以上办法均不奏效, 则改用格拉布斯 (Grubbs) 检验法来检验, 将异常值剔除。
本文以大庆油田北一区的异常数据为检验对象, 针对98条数据来检验其异常值, 运用Vis ual Bas ic语言编程进行计算, 上表1.4为部分计算结果。
4 结论
表1.4中的固井参数井径扩大率与井径规则度两个数列, 在1-54-E61与井北1-312-P28的行列中分别出现了异常数据11.45、13.57, 综合分析这两列参数后判定11.45、13.57为异常值。
参考文献
[1]张永忠, 张立刚.新民地区调整井固井技术研究[J].中小企业管理与科技 (上旬刊) , 2011 (09) .
[2]肖新礼.延长油田低密度水泥浆固井技术的研究与应用[J].中小企业管理与科技 (下旬刊) , 2009 (08) .
剔除方法 篇4
近红外光谱定量分析的过程中，分析结果的可靠性主要取决于原始数据的准确性，即获得的近红外光谱及化学值的可靠性。小麦粉样品的原始数据(即样品的近红外光谱图和化学值的相关性)直接影响模型的预测能力，而异常样品的干扰是影响分析模型的重要因素，因此异常样品的判别与处理是提高模型预测能力的一个重要步骤。产生异常样品的原因主要有3方面:一是测量仪器、测量方法及环境等客观因素影响;二是技术人员主观因素的作用;三是样品的复杂性、多样性。所以，判断异常数据是近红外光谱检测过程中首要解决的问题。建立定量分析模型时，样品中常常混有异常样本，需要在训练模型之前，把异常样本进行剔除[1,2]。
1 异常样本判别方法
1.1 马氏距离法
设光谱数据为A(n×k)矩阵，n为样品数，k为选出的主成分数。马氏距离算法分为以下步骤[3]:
1)计算n个样本的平均光谱，公式为
式中A—光谱矩阵;
j—波长序号;
n—样品数;
A—平均光谱。
2)把近红外光谱矩阵进行中心化处理，公式为
3)计算得到马氏矩阵，公式为
此时的波长数为k，所以M是k×k维矩阵。
4)计算校正集各个样品到平均光谱的马氏距离，公式为
5)根据计算出的n个马氏距离设置一个阈值来检验异常样品的存在，阈值范围的计算公式为
式中—马氏距离平均值;
e—调整闭值范围参数;
σD—马氏距离标准差。
如果当Di≤Dt，则样品i与样品的平均光谱很接近，则称i为平均样品的邻近样品。令Ni为i的邻近的样品个数，Ni值越大，样品i邻近的样品数越多，在空间上越密集。可以设置不同的阈值范围参数e，来调节Ni值的大小。e值越大，Ni值越大，阈值的范围越宽，邻近样品空间上的密集度就会越高;反之亦然[4,5]。本文阈值范围参数设定为3，使用PLS方法建立校正模型判定剔除异常样本前后建立的校正模型对精度的影响。图1为近红外光谱的马氏距离分布图。从图1中可以看出，马氏距离剔除的异常样本为3号和5号样本。
1.2 蒙特卡洛交叉验证法(MCCV)
MCCV是最近提出的筛选奇异样本的方法。该方法基于预测误差对异常样本的敏感特性，能够在一定程度上降低由掩蔽效应带来的风险，有效检出光谱阵和性质阵方向的奇异点，与传统方法相比具有较高的识别奇异样本的能力[6]。具体算法如下:
1)利用PCR或PLS确定最佳主成分数;
2)利用蒙特卡洛随机取样(Monte Carlo Sampling,MCS)法取80%的样本作校正集，剩余20%作预测集，分别建立PLS回归模型;
3)校正集通过第1步确定的主成分数建模，预测集用来预测每一个样本的预测误差，循环保证每个样本均被预测到，本文选择循环2 000次，从而得到每个样本的预测误差分布;
4)计算每个样本的预测残差的均值(MEAN)和方差(STD)，绘制样本的均值-方差分布图。
对150个小麦粉样本用MCCV法剔除异常样本，结果如下:
1)经MCCV计算，小麦粉灰分的均值方差分布图如图2所示。由图2可知，对于小麦粉的灰分这一品质参数而言，应剔除的为8,79,147,148,149,150共6个样本。
2)经MCCV计算，小麦粉水分的均值方差分布图如图3所示。由图3可知，对于小麦粉的水分这一品质参数而言，应剔除的为9,16,87,91,119,125共6个样本。
3)经MCCV计算，小麦粉面筋的均值方差分布图如图4所示。由图4可知，对于小麦粉的面筋这一品质参数而言，应剔除的为1,7,8,16,17,91共6个样本。
2 剔除异常样本结果评价
经过马氏距离的运算可知，剔除的样本数为2个，分别为3号、5号;经过MCCV运算后剔除的样本数为6，分别为8,79,147,148,149,150号(灰分)，9,16,87,91,119,125号(水分)，1,7,8,16,17,91号(面筋)。从剔除异常样本后的样本集中按照4:1浓度法选择30个样本作为预测样本(保证预测集样本相同)，来比较剔除异常样本前后模型的预测精度。这里采用典型的PLS方法进行建模，用剔除样本前后的交互验证均方差RMSECV和预测均方差RMSEP作为评价指标，试验结果如表1所示。
3 结论
由表1可知，经过马氏距离和MCCV两种算法筛选后，交互验证均方差RMSECV和预测均方差RMSEP都有所减小，预测精度得到了提高。由此可知，两种算法对剔除异常样本都具有一定的作用，为增强模型的稳定性提供了确实可行的方法。但由整体情况可知，MCCV方法相对马氏距离法剔除异常样本后交互验证均方差RMSECV和预测均方差RMSEP变化较大，更能提高模型的预测精度。这可能是由于马氏距离剔除异常样本只需要对近红外光谱数据进行计算而不需要样本的化学值，剔除的可能是由于测量近红外光谱时人为误差造成光谱存在异常的情况;而MC-CV法不仅需要光谱数据而且需要样本的化学值，并经过2 000次的PLS建模交叉验证得到每个样本的均值-方差分布，从而得到剔除异常样本的结果，由此既能减少由于人为误差造成的近红外光谱的异常情况，又可以避免由于人为误差或客观因素造成小麦粉品质参数真值测量误差的情况，得到结果更为精确[7,8]。
参考文献
[1]张德然.统计数据中异常值的检验方法[J].统计研究,2003,5(5):53-55.
[2]崔广.基于近红外光谱分析的纺织品中羊毛含量检测技术研究[D].镇江:江苏大学,2007.
[3]刘景沿,彭黔荣,鲍峰伟,等.主成分分析-马氏距离法优选近红外模型定标样品[M].北京:中国石化出版社,2006.
[4]陈斌,邹贤勇,朱文静.PCA结合马氏距离法剔除近红外异常样品[J].江苏大学学报,2008,29(4):277-279.
[5]王毅.近红外光谱分析技术在食用植物油品质检测中的应用[D].镇江:江苏大学,2010.
[6]李水芳,单杨,范伟,等.基于MCCV奇异样本筛选和CARS变量选择法对蜂蜜pH值和酸度的近红外光谱检测[J].食品科学学,2011,32(8):182-184.
[7]张华秀,李晓宁,范伟,等.近红外光谱结合CARS变量筛选方法用于液态奶中蛋白质与脂肪含量的测定[J].分析测试学报,2010,29(5):430-434.
剔除方法 篇5
关键词：子宫肌瘤剔除术,腹腔镜,开腹手术,临床分析
子宫肌瘤为一种肿瘤, 在中年妇女群体中比较常见, 广大女性深受其害。临床上常规的治疗方法是进行开腹切除术, 尽量在保留子宫完整性的前提下, 达到治愈疾病的目的。随着医学的发展进步, 开腹手术逐渐被更加安全、可行的腹腔镜切除术所代替, 现将我院接诊患者的治疗情况做相关分析。
1 资料与方法
1.1 一般资料
选择我院2009年11月—2010年11月接诊的子宫肌瘤患者112例, 按照住院先后顺序将其随机分为观察组和对照组, 每组56例患者, 年龄24岁~52岁, 其中未婚女性14例, 已婚女性98例。2组患者在年龄、肌瘤生长情况、数量、有无其他手术情况方面没有显著的差异, 不影响治疗效果。手术前对患者进行常规检查, 排除其他子宫病症的影响。
1.2 方法
1.2.1 接受开腹手术的患者首先进行硬膜外麻醉, 然后按照严格的妇产科手术操作方法剔除子宫肌瘤。手术过程中注意对患者实施止血操作, 在肌瘤底部注射垂体后叶素;剔除过程中可先将子宫颈和子宫体间的血管扎紧, 完成手术后再松开血管;手术时间过长的情况下, 中途可暂时松开止血带恢复血液供应。
1.2.2 接受腹腔镜肿瘤剔除术的患者先进行全身麻醉, 取头低脚高位, 患者皮肤要经过消毒处理。在脐孔以下部位做1 cm左右的纵切口, 保持12 mm Hg压力状态进行穿刺操作, 将腹腔镜放置于切口内, 检查腹内肝胆、大网膜有无病变。若患者体征正常, 将其摆成头低臀高的姿势, 于右下腹部位的麦氏点和左下腹部位的反麦氏点分别进行穿刺, 明确肌瘤的生长情况。将稀释后的催产素和垂体后叶素放入肌瘤切口处, 在最显著的肌瘤部位进行单极电凝操作, 切除肌瘤包膜直至见到瘤核后用电刀切除, 然后缝合好子宫, 注意止血操作[1]。
1.3 观察指标
观察2组患者的术后恢复情况, 出血情况, 术后复发率, 手术费用等。
2 结果
接受腹腔镜手术的患者, 有54例顺利完成手术, 无其他并发症出现, 有2例患者因手术中出血过多转而接受开腹手术治疗。
对子宫肌瘤患者进行腹腔镜手术所需时间较长, 手术中能够很好地控制出血情况, 减少大量出血的情况发生。观察组患者术后1 d即恢复正常体温, 而对照组患者需要2 d~3 d的恢复时间;观察组患者1 d后出现排气症状, 对照组患者至少需要2 d时间;腹腔镜手术患者的疾病复发率仅为1.5%, 而开腹手术患者的术后复发率高达9.8%;观察组患者住院期间, 病情恢复状况良好, 经过3 d~4 d的仔细调养即可提前出院, 而对照组患者平均住院时间长达7 d, 住院期间伴有不同程度的并发症。
3 讨论
3.1 腹腔镜子宫肌瘤剔除术
腹腔镜子宫肌瘤术之所以能够得到广大患者和医生的认可, 是因为其采用先进的微创技术治疗子宫肌瘤。腹腔镜子宫肌瘤切除术对传统治疗方案进行了改进, 术后创伤小, 对腹壁干扰小, 手术不会引起患者内环境变化, 利用电凝切除技术, 减少手术过程中的大量出血情况, 对腹腔不会造成严重影响, 患者几乎不会出现复发的症状, 很快恢复健康, 腹部不会出现太大的瘢痕, 患者对治疗结果非常满意[2]。患者手术后出现的排气现象早, 住院时间也比对照组短。但是整个腹腔镜切除术都是在腹腔环境内进行的, 这对进行镜下缝合操作的医生提出了更高的技术要求, 目前该手术的治疗时间比开腹手术长很多, 原因就在于此。只有随着技术的不断进步, 医疗器械的精密化程度更高, 主刀医师的操作技术不断熟练, 腹腔镜切除术的时间才能缩短。
3.2 开腹子宫肌瘤切除术
开腹切除术之所以有更加广阔的适用范围, 是因为该手术不受肌瘤大小、数量和生长位置的制约, 如子宫颈等手术条件比较困难的地方, 更适宜选用开腹切除治疗。该方法也适用于肿瘤大且多的情况, 通过手术中的直接触摸, 医生能够发现仪器无法检测的深部小肿瘤[3]。这些都是开腹切除术优于腹腔镜切除术的方面, 在进行开腹切除过程中, 患者会有大量出血症状, 可能与手术中切除大量的深部肿瘤有关, 医护人员要注意手术中及时止血和适时补血。
3.3 根据患者病情选择合理的手术方式
手术前要详细评估患者病情, 根据肿瘤部位, 大小、数量, 选择最佳的治疗方案, 提高手术成功率, 减少术后复发情况和不良反应出现。手术前仔细检查备用医疗器械, 调整好心理状态。手术过程中, 密切注意患者体征变化, 必要时转开腹手术完成肿瘤切除[4]。我院接诊的患者中, 就有2例患者手术过程中大量出血, 继续腹腔镜切除术可能会使输尿管严重受损, 所以果断中转开腹切除术降低手术风险。通过以上分析我们可以看到, 腹腔镜切除术并不能完全代替开腹切除术进行子宫肌瘤的切除治疗, 应该详细评估患者状况, 选择最安全、有效的治疗方案。
参考文献
[1]李秋萍, 李光仪, 黄浩, 等.腹腔镜与开腹子宫肌瘤剜出术对比研究[J].中国微创外科杂志, 2009, 25 (4) :228-229.
[2]崔颖, 孟庆伟, 申桂华, 等.阴式与腹腔镜下复杂子宫肌瘤剔除术的对比分析[J].中华临床医师杂志 (电子版) , 2011, 28 (12) :96-97.
[3]王康荣.巨大或多发子宫肌瘤行腹腔镜子宫肌瘤剔除术和开腹剔除术临床疗效比较[J].中国全科医学, 2010, 54 (33) :152-153.
剔除方法 篇6
GPS(Global Positioning System)已广泛应用于各个领域,但其定位精度容易受到多种因素如系统误差(卫星的轨道误差、大气折射误差等)及偶然误差(多路径效应误差、观测误差等)的干扰,国内外的许多学者对于如何提高GPS测量精度做了大量的研究[1,2,3,4,5,6],如采用双频接收机方法补偿电离层折射误差[1],利用卡尔曼滤波法降低多路径效应误差中的随机误差[2],采用非线性滤波技术提高GPS的定位精度和鲁棒性[3]。
目前,基于GPS,GPRS/GSM,GIS的航标监控系统已应用于我国各地航道管理部门,实现了对航标的全天候监控[7],其中GPS采集航标位置,用于判断航标当前的位置、漂移速度。如果出现GPS异常数据时,会发送航标漂移的误报警情况,增加额外的人力物力来维护航标终端,频繁误报警的航标监控系统某种程度上影响了用户对系统的信任程度,严重时会“弃用”该系统。因此快速识别出并剔除接收机输出的异常数据点,降低航标漂移误报警的概率,是此类系统需要重点解决的问题。
2 方法的数学基础
2.1 古典概型
若随机试验E具有以下两个特征:
(1)所有可能的试验结果(基本事件)为有限个,即:
(2)每个基本事件发生的可能性相同,即:
则称这类试验的数学模型为古典概型[8]。设随机试验E为古典概型,其样本空间Ψ及事件A分别为:Ψ=
则随机事件A的概率为:
2.2 莱以特判别法
莱以特判别法即莱以特准则,是指当标准差D(x)已知时,用来检验一组预测值中的异常值的方法。根据正态分布规律,当偏差值大于3倍标准差D(x),测定值出现的概率比较小是一个小概率事件可以忽略其存在,即可判断其为异常值而剔除。实际应用中,用样本值计算的样本标准差S代替D(x)来判断预测值中的异常值。
3 异常数据处理
3.1 异常数据点的处理方法
采用古典概率与莱以特判别法相结合来处理GPS的异常数据点。基点位置是航标预设的位置,R1,R2是指航标终端随波浪等起伏引起的相对基点位置的、允许发生偏移的距离。R1范围内的航标位置,被认为是由于水位变化等导致航标位置变化的正常范围,超过R1但小于R2范围的航标位置,被认为是多种因素变化而导致航标位置变化的临界范围,超过R2则认为航标漂移了正常范围,需要进行恢复。
理想状态下,GPS数据点(即预测数据点)应均匀分布在基点周围,每个数据点发生的概率相同。于是,可以确定一个以基点为圆心,以给定的偏移距离R1为半径的圆,如图1所示。
图1中GPS数据随机分布于以半径为R1的圆的内外,箭号所指的小圆为基点所在的位置。由于可能受到天气以及其他多种因素的影响,可能使位于半径R1外的有些数据点是正常点,并且异常数据点在数量上与正常数据点相比,是占少数。异常数据点由于作用强烈,影响较大,总是较远的偏离基点位置,下面通过图2进行辅助说明。图2中,GPS数据随机分布于以偏移距离R1,R2为半径的圆的内外,箭号所指的小圆为基点所在的位置。
通过计算所有预测点到基点的距离,这些值作为预测数据值。分别统计位于半径R1内、介于半径R1与R2之间以及位于半径R2外的数据点的总数。将介于半径R1与R2之间以及位于半径R2外的数据点数相加即为下文预测数据点数N。由于预测点到基点距离小于R1的数据点是航标允许发生偏移的范围,属于正常数据值,不会发生异常,故不对它们进行异常处理。将介于半径R1与R2之间以及位于半径R2外的预测点到基点的距离当作一个样本空间,其随机序列为Distance 1,Distance 2,Distance N。设预测点到基点的距离服从正态分布,则样本均值和标准方差的计算公式分别为:
由式(1)与式(2)可计算出预测值的样本均值和样本标准方差值。由统计量公式计算每个预测数据值的残差,式中为待检验的可疑测定值,如果,则可判定Distance i为异常数据值,即可删除该数据点值及其相关信息(Distance_i等于该数据点到基点的距离)。重复步骤(1),(2)直到无异常数据值为止,即完成了对整个GPS异常数据点的处理。
3.2 异常数据点处理流程
对异常数据点的处理关键是把异常数据从所预测数据中分离出来,而分离异常数据点通过图3的流程即可快速实现。
4 性能仿真分析
为了检验本方法,仿真所用数据来自于受各种环境因数影响航标定位的GPS数据,采用VC++及Matlab等工具进行仿真,得到如图4所示的原始分布图。
图4中红色圆表示基点所在的位置,小圆表示半径为R1的圆,大圆表示半径为R2的圆,GPS数据随机分布于以半径为R1,R2的圆的内外。将图4中的GPS原始数据按本文所提出的方法进行处理之后,得到图5的处理结果
在图5中,红色点表示测量数据中的异常数据点。对图5的异常数据点进行剔除后得到图6所示的结果。
在图6中,GPS原始数据通过处理后,均匀分布于以半径为R1,R2的圆的内外。
5 结语
本文提出了一种航标定位的GPS异常点快速判别及剔除方法,该方法通过采用古典概率与莱以特判别法相结合来判断航标定位的GPS异常数据点。实验仿真结果,表明该方法计算简单、处理速度快,特别适用于航标遥测遥控系统航标定位的GPS接收机输出的GPS数据的处理,将该方法应用于航标终端的定位,降低了航标漂移的误报警机率具有一定的推广和应用价值。
参考文献
[1]欧吉坤,王振杰.GPS精密测量中系统误差的分离方法[J].数据采集与处理,2003,18(4):365-368.
[2]张满生,张学庄,陈保平,等.新型GPS动态定位自适应卡尔曼滤波方法[J].中南工业大学学报,2003(5):544-547.
[3]茅旭初,WadaMassaki,桥本秀纪.一种用于GPS定位估计滤波算法的非线性模型[J].上海交通大学学报,2004,38(4):610-615.
[4]俞海红,陈素珊,何勇.GPS定位试验及提高定位精度的方法研究[J].浙江大学学报,2004,30(6):662-667.
[5]Peng Dongju,WU Bin.Zero-difference and Single-differencePrecise Orbit Determination for LEO Using GPS[J].Chi-nese Science Bulletin,2007,52(15):2 024-2 030.
[6]Guo Jianfeng,Ou Jikun,Ren Chao.Partial ContinuationModel and Its Application in Mitigating Systematic Errorsof Double-differenced GPS Measurements[J].Progress inNatural Science,2005,15(3):246-251.
[7]吴允平,蔡声镇,刘华松,等.航标遥测遥控信息系统的设计与实现[J].计算机工程,2006,32(12):253-255.
[8]盛骤,谢式千.概率论与数理统计[M].北京:高等教育出版社,2001.
剔除方法 篇7
飞机的飞行参数,简称飞参,它是研究和分析飞机性能指标的原始依据,这些数据,对于飞机各种性能研究极其重要。其数据的质量优劣,将直接影响飞参数据快速处理结果、飞行训练质量客观评估、飞行动作识别等。在飞行再现研究过程中,将出现飞机模型的扰动,使飞行过程再现不真实等。但是对这些数据从采集、编码、传输直至接收的过程要经历非常复杂的外部环境,譬如:记录器系统误差、电磁干扰和随机干扰等因素的影响,使飞参数据不可避免地存在野值点或发生数据丢失的现象,因此,在使用飞行数据前,必须对飞行数据进行顶处理,剔除野值,补偿缺失的数据。
由于飞机的飞行参数数据量大,采用人工检测和剔除野值,补偿缺失的数据相当困难,同时检测和剔除会带有一定的主观性。因此,对于飞参数据的判读,大多数采用的是智能软件,部分或完全代替了人工判读,提高了工作效率和判读精度。而软件判读的必要前提之一,则是对野值数据的剔除与修补,基于此,本文提出了一种基于可变阈值的方差的飞参数据野值识别和基于牛顿插值法的野值补偿的软件实现算法。
1 插值法基本理论
插值法是函数逼近的一种常用方法,它是被插函数的一种近似式。拉格朗日插值法表达式简单明确,便于理论推导,逐次线性插值法便于给定计算插值点处插值多项式的值,牛顿插值法计算量小,便于写出插值多项式的表示,也便于计算多个插值点处的值。牛顿插值一般形式为:
它的系数满足插值条件:
系数也必须满足方程组:
令n=6,x0=0,xi-xi-1=1,求解出系数:
于是,牛顿插值六次多项式为:
2 飞参野值数据的判断与修正
牛顿插值法用一个高次的多项式将试验数据进行拟合。它有中心插值法、前推插值法和后推插值法。为避免后面的野值递传,只能采用前推插值法。前推插值法利用的数据是经处理过的,已剔除了野值,这些数据是可靠的。
因此,通过这些数据来拟合后续点的数据,能保证后续点数据的准确性。
假设前7个点的数据已判断为正常数据。yi是原始数据,yi为插值数据。令x=7,代入式(5),计算第8点的插值有:
根据莱特准则,当测量值服从正态分布时,残差落在3倍方差即[-3σ,3σ]区间的概率超过99.7%,落在此区间外的概率只有不到0.3%,因此,可以认为残差落于该区间之外的数据为野值。
本文以第8点数据为例,来判断其是否为野值。
方差计算
飞参数据在总体的统计特性上,不满足正态分布的要求,因此采用标准的3σ门限检测方法在数据平稳阶段基本上不能起到检测作用。
在实际工作中,因参数值的大小、变化幅度差异较大,如电压值为几十伏,发动机转速每分钟达到几千转,是电压值的上百倍,且两个参数变化幅度的也有差异,电压值始终较为平稳,几乎没变化,而发动机转速的变化幅度在几秒钟内可以达到一千甚至几千,所以残差落在3倍方差即[-3σ,3σ]区间的概率也不一样。根据具体参数来设置方差的倍数,可以达到所有参数落在某变化区域的概率值相似或相等的目的。
若y7的残差大于K倍标准偏差的,则所对应的数据被认为是野值,应予以剔除。表示如下:
式中,
如果y7满足下式:
则y7也为野值。
式(10)则称为野值判断公式。
为防止把阶跃数据y7误判为野值,必须对其后续数据进行判断。在飞参数据中,连续野值的值都比较接近,可用式(11)判断野值连续。当y7为野值时,则满足下式的点也是野值:
式中i=1,2,…m。
一般连续野值不超过4个,取m=3。当m>3时,则认为y7及其后续点为阶跃数据,不必当野值处理。
当出现锯形野值时,式(11)会把野值误判为正常数据。因此,式(11)须进行如下改进:
式中:i=1,2,…n;j=1,2,…m。式(12)称为后续点野值判定公式。
当y7满足式(10),y7三个后续点中有满足式(12)的,且i≠3时,即后续点存有野值,则y7是野值;
当y7满足式(10),y7三个后续点中没有一个点满足式(12)时,即后续点不存在野值,则y7是野值;
当y7满足式(10),y7三个后续点均满足式(12),且i=3时,则y7不是野值,其是阶跃数据。
识别出野值,需对野值进行修正,以保证数据的准确性。本文采用牛顿插值法求出修正值,来替换野值,即:
野值识别与修正的流程图,如图1所示。
3 Matlab仿真验证
对于上述方法,采用Matlab仿真,其中:k值根据参数类型做了相应的调整。如:“液压压力”参数,k取值2.1;“高度”参数,k取值2.43;“滑油压力”参数,k取值0.8等。采用经过修正的3σ门限检测方法,由于不同的参数采用了不同的衡量标准,根据参数值大小和变化情况调整门限值,能够检测出非平稳过渡的连续野值,保证了数据预处理后的完整性。因此无论在数据幅值较低区域,还是在数据幅值较高的区域,该方法都有较好的检测效果。
在输出信号的各个阶段, 采用该方法的漏警率在4.5%左右,误警率在2.7%左右,满足工程上预处理阶段对野值去除的要求。
某型飞机飞参记录的发动机转速通道某一时间段数据曲线如图2中所示。图中含有孤立野值、连续野值及锯形野值,0至k时发动机转速逐步提升,然后收油门,降低转速,k时刻后转速数据产生了跃变。为了方便比较,把时间坐标进行了放大处理。
图3是对图2野值处理后的效果。可以看出,野值处理得较为干净,修正后的数据准确,曲线较为平滑,达到了预期的目的。
4 结 语
本文提出了基于方差的毛刺识别方法和基于牛顿插值的毛刺修正方法,不仅能处理孤立毛刺,还能处理连续毛刺以及锯形毛刺,并在某型飞机飞参软件开发中加以应用,证明了这一方法的有效性。
参考文献
[1]邓建忠,刘之行.计算方法[M].西安:西安交通大学出版社,2001.
[2]史忠科.最优估计的计算方法[M].北京.科学出版社,2001.
[3]朱新岩,史忠科.基于残差特性分析的野值检测与剔除方法[J].飞行力学,2008,26(6):79-82.
[4]陈方樱,徐锡文,郑更新.概率论与数理统计[M].北京:机械工业出版社,2006.
[5]李丽容,田琛.工程测量中异常数据的剔除[J].石油仪器,1998,12(5):28-29.