自适应加权插值（精选6篇）
自适应加权插值 篇1
摘要：通过将图像分为非边缘部分和边缘部分,得出了一种基于图像边缘信息的图像插值算法。根据边缘部分映射点邻域图像的复杂程度,自适应地调节插值权值的图像插值方法。应用该算法插值后的边界清晰、自然,忠实地反映了原始图像的面貌,与传统的插值算法相比,其边界处理效果好且易于实现,实验也验证了该方法的有效性。
关键词：图像插值,边缘信息,自适应
0 引 言
图像放大处理在医学、军事、气象、遥感、动画制作和电影合成等方面均有普遍的应用。图像放大的方法很多,目前比较成熟的算法有最近点插值, 双线性插值以及立方卷积插值等。其中立方卷积插值法普遍认为效果比较好。
文献[1]提出了相邻像素加权的插值算法,算法简单速度快但精度不高。文献[2]提出了一种根据图像内部特征的插值算法,算法复杂难以大规模应用。文献[3]提出了自适应双线性和自适应立方卷积算法,得到的图像精度有一定的改善。在文献[4]中提出了一种利用边缘信息的快速插值算法,该算法成功地实现了图像的放大且具有较好的图像质量,但由于在放大图像边缘部分时,利用的是其相邻的新生成的像素点来估算待插入像素点的值,这样会产生累积误差,影响图像质量。文献[5]在文献[3]自适应立方卷积算法的基础上提出了改进方法,考虑了邻点间灰度值变化率对图像的影响,算法实现较复杂。本文提出的基于边缘信息的图像自适应插值算法思想是:利用阈值将图像区分为非边缘部分和边缘部分,区分与插值同时进行,针对图像边缘的特性采用了自适应插值算法,这样既不会产生累积误差还能加快插值速度。
1 基于边缘信息的图像自适应插值算法
1.1 利用阈值区分图像非边缘部分和边缘部分
本算法首先将原图分成两部分:非边缘部分和边缘部分,而后针对不同的部分采取不同的插值算法。具体思路如图1所示。
要定义非边缘部分和边缘部分首先需预置一个阈值,然后,分别沿水平、垂直和两个对角共四个方向计算像素间差值,再与预置阈值比较。如果像素点间差值比预置阈值小, 则待内插像素点归类为非边缘像素点,直接使用双线性插值算法;反之,如果像素点间差值比预置阈值大,则待内插像素点就归为边缘像素点,则使用本文下面介绍的自适应插值算法。具体算法描述如下:
E1= | f(i,j)-f(i+1,j) |
E2= | f(i,j)-f(i,j+1) |
E3= | f(i,j)-f(i+1,j) |
E4= | f(i,j)-f(i,j+1)) |
If( E1<r)&(E2<r)&(E3<r)&(E4<r))
Then 双线性插值
Else 自适应插值
其中f(i,j)为原图坐标点(i,j)的灰度,r为预置的阈值。
1.2 立方卷积插值
立方卷积插值是一种应用较广泛的插值方式,不仅考虑到四个直接邻点灰度值的影响, 还考虑到各邻点间灰度值变化率的影响, 利用了待采样点周围更大邻域内像素的灰度值作三次插值。此法用了三次多项式S(w),其数学表达式为:
式中w为自变量;S(w)为三次多项式的值。计算时利用周围16个邻点的灰度值按下式进行内插:
f(i+u,j+v)=A·B·C (2)
分析式(1)和式(2),可得:
S(1+u)=4-8|1+u|+5|1+u|2-|1+u|3=-(|u|-2|u|2+|u|)
S(u)=1-2|u|2+|u|3=(1-|u|)+(|u|-2|u|2+|u|3)
令k=|u|-2|u|2+|u|3
则: S(1+u)=-k S(u)=(1-|u|)+k (3)
若令k = 0, 则立方卷积法就退化为双线性内插法。因此,可以把用三次多项式插值的立方卷积法看成由两部分组成, 其中( 1 - | u | )代表直接邻点的灰度值对待采样点的影响, 而k则代表邻点间灰度值的变化率对待采样点的影响。与双线性内插法相比, 立方卷积法不仅考虑了直接邻点的灰度值对待采样点的影响, 还考虑了邻点间灰度值变化率的影响, 因此具有更高的插值精度。
1.3 自适应插值法
由于人眼对图像边缘特别敏感,插值图像边缘部分的分辨率对整个图像放大有着非常重要的影响。由于图像边缘灰度值变化剧烈,不仅要考虑邻点灰度值的影响,同时也必须考虑邻点间灰度值变化率的影响, 因此可将(3)式改写成:
S(1+u)=-λk S(u)=(1-|u|)+λk (4)
当λ=0时,式(4)为双线形插值,当λ=1时,式(4)为立方卷积插值。λ越大,邻点间灰度值变化率的影响权值就越大;λ越小,直接邻点灰度值的影响权值就越大。经过计算与统计分析可以发现,当λ取0～1之间的值时,内插效果优于立方卷积法。但固定的λ值只在图像某个邻域内效果比较好,因此可根据该映射点周围各邻点灰度值的变化情况,自适应地调整λ值,以此来达到提高插值精度和缩放质量的目的。判据可以有多种选择,为简化算法采用了直接邻点与间接邻点的灰度差是否大于一个给定的阈值来判断该映射点的周围是高频区或低频区,再以此来自适应地选择一个λ值进行插值运算。
r=f(i)-f(i-1)
在缩放时,λ的取值由下式决定:
2 实验结果
分别用256×256的pepper、baboon、lena灰度图像进行缩放实验。实验时先把每幅图缩小2倍,然后再放大2倍,再根据放大后图像与原图的峰值信噪比(PSNR)作为缩放质量的标准。PSNR越高说明插值图像与原图像相符合的程度越高。实验结果如表1所示。
从表1中可以看出,在对三种图像pepper、baboon、lena进行缩放实验时,本文算法的PSNR值最高,说明本文算法的效果是比较好的。
为进一步验证本插值算法的有效性,把512×512的Lean灰度图用四种算法放大到1024×1024的图像,图2显示了放大后的局部图像。从图2中可以可看到,本文算法的视觉效果优于其它算法。
表2显示4种插值算法分别连续插值处理10幅Lena灰度图512 ×512到1024 ×1024的平均CPU处理时间(s/图像) (实验条件P4 CPU 2.6GHz,内存512M,编译系统Matlab7.0)。从表2看出本文算法CPU处理插值的平均时间与Bicubic算法相近,因此,本文算法不但有较好的视觉质量,而且有相对较低的计算复杂性及平均CPU处理时间。
3 结 论
本文主要研究了一种基于图像边缘信息自适应插值算法,使用本算法对低分辨率图像进行重建,效果要比传统插值法好,特别在边界部分清晰自然, 明显好于传统插值方法。从实验结果也看到,本文算法还是比较有效的。当然根据图像的复杂度如何更好的选取边缘预置阈值和参数λ的值还有待进一步的研究。
参考文献
[1]Lukin A,Kubasov D.High-quality algorithm for Bayer Pattern interpo-lation[J].Programming and Computer Software,2004,30(6):347-358.
[2]El-Khamy S E,Hadhoud MM,Dessouky MI,et al.Efficient implemen-tation of image interpolation as an inverse problem[J].Digital SignalProcessing.2005(15):137-152.
[3]庞博,张旭东,徐小红.自适应图像插值在超分辨率图像重建中的应用[J].合肥工业大学学报:自然科学版,2006(7):825-829.
[4]Mei-Juan Chen,Chin-Hui Huang,Wen-Li Lee.Afast edge-oriented al-gorithm for image interpolation[J].Image and Vision Computing,2005(23):791-798.
[5]金海丁,周孝宽.数字图像自适应插值法[J].激光与红外,2006(9):907-910.
自适应加权插值 篇2
关键词：人脸识别,局部相位量化,自适应加权,近邻保持嵌入
0 引言
人脸识别是当前计算机视觉和模式识别领域的热门研究课题之一[1,2]。目前, 主要的人脸识别方法分为基于全局特征和基于局部特征的方法。基于局部特征方法如Gabor小波法[3]、子图像法[4]相对于全局特征方法具有旋转、平移不变性等特点, 因此具有更高的稳定性和识别率。Ahonen[5]等人将局部二值模式 (Loca Binary Pattern, LBP) 应用于人脸识别, 将其用于描述人脸图像的特征, 取得了较好的识别效果。随后LBP算子被广泛地用于人脸检测、人脸识别等领域, 并得到了不断的改进[6,7,8]。考虑到LBP纹理模型过于依赖中心点像素的灰度值, 对噪声比较敏感, Ojansivu[9]提出了局部相位量化的人脸纹理描述方法, 该方法提取的图像局部纹理特征受光照变化和噪声影响很小, 具有更强的纹理描述效果。
在基于纹理特征的人脸识别方法中, 高维的特征向量是个普遍存在的难题, 因此特征降维方法的选取是影响识别效果的重要因素。PCA[10]和LDA[11]是常用的降维方法, 对线性数据降维有良好的效果。但是作为一种线性降维方法, 并不能保持原始数据的非线性的特点。人脸图像受诸如表情、姿态等因素影响, 它更可能位于一个非线性流形上。近年来产生了很多流形学习算法[12,13,14], 其中最具代表性的是He等人提出的近邻保持嵌入 (NPE) 算法[13], 该方法对非线性数据分类有良好的效果。
本文第一节和第二节介绍了LPQ特征的提取方法并提出了改进算法AWLPQ, 第三节针对目前局部相位量化特征提取中存在的问题, 进一步提出了基于AWLPQ和NPE的人脸识别方法。
1 模糊不变的局部相位量化方法LPQ
LPQ是用来处理空间的模糊图像纹理的描述算子, 具有很好的模糊不变性。如果定义u为二维坐标向量[u, v]T, 分别用G (u) 、F (u) 和H (u) 表示模糊图像、原始图像和点扩散函数的离散傅里叶变换, 则根据傅里叶变换的性质有:
同时可推出它们的幅值和相位之间的关系满足:
当点扩散函数h (x) 是中心对称函数时, 那么它的傅里叶变换总是实数, 也就是H只能取0或, 即:
进而可推出当H (u) 0时, 恒有G (u) (28) F (u) , 所以此时相位特征具有一定的模糊不变性。
设x (28) [x1, x2]T为图像f (x) 的一个像素点, 则LPQ特征就是通过离散的短时傅里叶变换 (STFT) 计算出该像素点的邻域Nx的相位, 计算公式为
式中:u表示频率, LPQ分别在四个频率u1 (28) [a0, ]T, u2 (28) [, 0a]T, u3 (28) [a, a]T, u4 (28) [a, -a]T计算傅里叶系数, a是一个足够小的使H (iu) 0的数。此时, 图像中的每个像素点都可以用一个向量来表示:
然后进行量化:
其中:fj是F (x) 中的第j个分量, 量化之后的F (x) 是一个8位的二进制编码, 同LBP算法一样, 然后对每位编码赋予权值系数即可求出该像素点的LPQ特征值:
2 自适应加权的局部相位量化方法
2.1 图像分块
如果对一幅图像直接应用LPQ算子, 这样只能描述该图像的整体的轮廓特征, 不能表征图像细节的纹理特征。所以应该将原始图像分若干块, 求出每个子模块的直方图特征, 然后串联起来作为整体特征进行匹配。
2.2 自适应加权系数
人脸的主要特征集中在变化明显的眼睛, 嘴巴, 鼻子等信息量丰富的部位, 但是对人脸图像分块时, 会有相当部分的子模块只包含一些对识别作用很小的边缘信息, 如果同等对待这些子模块的话, 会影响识别率的提升。
根据香农理论, 一张图片中所含的信息量可以用信息熵来表示, 信息量越大, 熵就越大。信息熵可以表示该图像的信息量, 同时也表示其纹理的丰富程度。信息熵的提出, 有利于我们计算各个子模块对图像信息的贡献率, 从而进行自适应的权重调整。
式中:ip为信源X取第i个符号的概率, n为符号的个数, H (X) 表示信源X的信息熵。
在本算法中, 假定将图像分为m个子块, 则第j个子块的熵为
其中:pji表示每级像素点的概率, n为该区域的像素级数, 通常为256。当子块的熵越大, 就赋予它更大的权值, 因此各分块权值定义如下:
设Rk为各子块的直方图向量, 则对各子块的直方图向量进行串接加权得到人脸图像最终的特征向量:
2.3 实验流程
综上所述, 本算法流程如下:
1) 对图像分块:X (28) [X0, X1 (42) Xm-1];
2) 计算子块的LPQ直方图Hj (28) fLPQ (Xj) ;
3) 计算子块的信息熵:
4) 求出每个子块的权值:
5) 串接各个子块加权后的直方图向量φ (28) (W0 X0, W1 X1, W2 X2, (42) Wm-1Xm-1) ;
6) 通过norm最近邻分类器进行分类。
2.4 实验结果及分析
为了验证本文提出方法的有效性, 我们在FERET人脸数据库中进行实验。该库包括200人的1400张图像, 每人7副图像。图像尺寸为8080, 其中包括了大量不同姿势、光照、表情的变化, 是一个极具挑战性的人脸库。
我们从中分别随机选取该库200个人的3、4张图像作为训练样本, 另外4、3张作为测试样本, 取10次实验的平均值作为最终结果。所得实验数据如表1。
分析实验数据可知, 本文提出的AWLPQ获得了最好的性能, 相对于次优的LPQ, 其中最小提高幅度约1个百分点, 最大可达2个百分点。主要原因在于AWLPQ考虑了每个子图像对人脸识别的不同的贡献率, 对图像特征的描述更合理。
但是, LPQ的特征值在0~255之间, 所以求出的每个子图像的LPQ直方图特征维数为1256。如果将人脸图像分为nn, 那么每张人脸的最终LPQ特征维数就是256nn, 高维的特征向量大大增加了分类时的计算负担。为解决这一问题, 本文提出了相应的解决办法。
3 基于近邻保持嵌入的自适应加权LPQ
3.1 近邻保持嵌入
在这里, 我们引入流形算法中的近邻保持嵌入 (NPE) 对AWLPQ获得的直方图数据进行降维。
设X (28) (x 1, x2, (42) , xn) 是由D维向量组成的数据集合, NPE算法的目的是寻找一个变换矩阵A, 将数据映射到低维空间Rd (d (27) (27) D) 中, 数据点xi在Rd中表示为yi, 且yi (28) ATxi。
NPE采用与LLE近似的方法构造数据集的k近邻图, 假定每个局部近邻是线性的, 可以通过线性组合系数矩阵W来描述局部几何特征。每个数据点通过它的k个近邻线性重构, 重构的损失函数为
NPE认为如果能在D维空间中重构数据点ix, 则可以重构ix对应在d维空间中的yi, 因此线性变换A可以通过求解下面最小化问题得到:
约束条件为ATXXTA (28) 1。其中M (28) (I-W) T (I-W) , tr表示矩阵的迹。
上式的最优化问题可以转换成下面的广义特征值求解问题, 即
3.2 实验结果及分析
ORL人脸库中有40类, 共计400张尺寸为11292的人脸图像。这些图像拍摄于不同时期, 图像光照、姿态表情有一定的变化。随机选取每类5张作为训练样本, 另外5张作为测试样本, 取10次实验的平均值作为最终结果。测得在不同分块个数下各方法的消耗时间 (图2) 和识别率 (表2) 。
由图2可知, 随着图像分块数量的增多, 计算所耗时间也不断增加。由于AWLPQ需要计算各个分块的信息熵和权重, 所以比LPQ更消耗时间。而本文提出的AWLPQ-PCA, AWLPQ-LDA与AWLPQ-NPE三种方法均对高维的特征向量进行了降维, 实时性得到了显著提高。
自适应加权插值 篇3
目前,单标签分类已经无法满足日益增长的海量多标签数据分类的需求,传统的文本分类方法[1]无法简单有效地应用于多标签分类中,尤其是对中文文本的分类,已逐渐成为受到广泛关注的研究热点。在实际应用中,对日常新闻,各类文章的多标签分类更能反映文本的全面特性[2]。
文本训练向量[3]的表示方式为Xi= ( x1,x2,…,xn) ,xi∈Rn,其对应的标签集表示为Yi= ( y1,y2,…,ym) ,yi∈{ 0,1} 。当样本属于第J类时,yj= 1,不属于第j类时,yj= 0。单标签分类问题即为多标签分类的一个当Y向量的值中只有一个1时的特例。
多标签分类[4]指的是,由输入训练数据集定义相关多标签分类器后得到机器学习预测的标签集,使其与实际标签集更为接近。多标签自适应阈值调整[5]是指: 根据多标签阈值结果设定的测试迭代,当输入未分类样例数据De∈X时,对于任意的Yi∈Y,获得置信系数g( x,y) ,多次线性去随机化后得到置信系数使其总体结果与真实情况最为接近。目前,有已被广泛认可的衡量分类结果的正确性与精确度多标签测试指标,例如Hamming Loss、One-Error、Ranking Loss、Coverage、Average Precision等等[6]。
针对多标签分类大致有两大主要策略[7],基于问题转化的方法和基于算法转化的方法。前者是将一个多标签问题转化成一组单标签问题后运用已有的单标签分类方法解决,其最大的优势在于灵活性,通过从现有的单标签分类器直接抽象成一个特定的分类器来适应需求。常见的有BR( BinaryRelevance) 、基于标签对比PW( pairwise comparison) 、LP( Label Powerset) 等算法。BR算法的优势在于概念上的简单和相对快速,但却被认为其脱离了标签间的相关信息,PW算法的缺点在于其时间复杂度过大,LP算法的缺点在于其只能对新例子进行分类,而对训练集中的例子过度拟合。后者则是通过改变已有的单标签分类算法,从而使其能够处理多标签数据,如Ada Boost. MH算法,其对由简单决策树算法产生的弱规则进行加强,经若干次迭代后,得到一个准确度更高的规则,但训练速度慢,难以处理大文本量信息、ML-k NN算法、贝叶斯算法等等,它们训练速度快,但若原始语料出现较大的类别偏差,会降低效率[8]。
本文结合了问题转化和多标签算法改进的思想,提出的是一种在各类特征选择基准调整后,基于已有单标签分类结果进行加权、自适应阈值设定,不同权重投票相结合的方法,对待分类实例进行多标签分类,能提高多标签文本分类的准确度与精度。
1 文本分类的工作基础
1. 1 汉语文本自动分词
本文采用的是最大正向匹配的中文分词算法[9],相当于分词粒度等于零。若在分词词典中的最长词有k个汉字字符,将用被处理文本的目标字符串中的前i个字作为匹配字段查找字典。若字典中存在这样的一个K字词,即为匹配成功,作为一个词切分出来。如果词典中找不到这样的一个k字词,即为匹配失败,将匹配字段中的最后一个字去掉,对剩下的字符串重新进行匹配处理……如此迭代进行下去,直到匹配成功,切分出一个词或剩余字串的长度为零为止。然后取下一个K字字符串进行匹配处理,直到文本扫描完毕。
1. 2 特征选择
首先对文本粗降维,指的是训练文本经分词后首先去掉停用词,即一些没有实际分类意义的高频词、稀有词。高频词会多次出现在各种类别的文本中,稀有词属于偶尔出现在各个类别中,没有实际的分类检索意义,同时清除些多余的符号等冗余。本文中采用了经过各类别字词贝叶斯统计分析后,建立停用词表,通过词表法去掉高频词和稀有词[10]。
但是文本的向量空间表示初始维数依旧有可能太大,会导致维度爆炸,我们必须对向量空间进行降维。特征选择的目的就是从原有的特征中选择出与标签集有最大的依赖度的子集。根据TF-IDF公式[11]计算互信息量的方法选择最具有类别识别度的特征,从而选出对分类贡献重大的特征向量,与此同时也可以提高分类的精度和程序的运行速率及效率。
其中,w( t,d) 为词t在文本d中的权重,tf( t,d) 为词t在文本d中的词频,N为训练文本集的训练文本总数。ni为训练文本集中出词t的文本数。分母为归一化因子。我们需要对向量空间进行降维,保留那些对分类贡献重大的词,提高分类的精度。同时也可以提高程序的运行速率和效率。
1. 3 特征权重调整
为了更好地选取文本特征,我们必须尽可能选出在各个类别中具有代表性的词,为了达到其目的,采用了一种特征权重调整的策略,为每个前期特征选择后的特征赋予权值,设定为该特征在最大类别中的出现频率与所有类别出现频率的平均值的比值,,使得在文本中更能体现类别特点的词获得更大的权重。
2 相关信息加权的自适应多标签分类算法
2. 1 信息加权模型算法
信息相关模型加权的基本思想是从一个文本出发,随机找到其相邻文本,并计算出文本间的距离作为权重。遍历其在一定距离范围内的邻居文本,反复迭代后得到一个与初始文本相关度最大的各个文本并得到距离概率分布。
首先将训练集合D映射成模型图中的一个点集合V,对于待处理点计算其vi相邻点的欧氏距离并且将其相连,基于欧氏距离的相似概率可定义为:
模型图可表示为: 图G中有点集合V,其包含的边为距离在一定范围内的相邻点。
其权重值表示为Wij:
例如: 根据一个四类标签集合语料,Y = { y1,y2,y3,y4} ,训练数据集中包含四个文本实例,文本类标签为表1所示,模型计算的新加入实例与各个类标签间的权重为表2所示。
任意两个样例在特征集合表现出相似性时,那么它们在类标签集合上也会具有相似性。由于多类标数据集的类标维度大于1,有时甚至和特征集合的维度相当,上面的特性反过来也成立: 就是说任意两个样例在类标集合上具有相似性时,在特征集合也会表现出相似性。因此根据这个特性提出加权属性调节权值的方法: 分别对训练数据集特征空间的每个特征分量进行分析,计算每个样例在缺少这个特征分量时的多个近邻,得到的类标签集合与这个样例基于类标的多个近邻类标集合。
2. 2 WeightedL abel Power 投票预测
这个方法即将多标签问题转换为单标签多类分类问题,转换类的属性值与训练样本实例的标签集相关,基于投票机制,对所属文本进行类标签判断,如表3所示,总计大于阈值K×0. 5的即为预测标签,此例为K = 4。
2. 3 多标签分类算法的框架描述
对于训练集的样本特征进行统计后得到每个特征的权重调整,从而使特征更能反应其类别特性。为每个测试实例通过调整后的权重特征,找到其在训练集中相应的K个邻居实例,将它们与其K个邻居节点间的距离作为类别实例权重。通过WeightedL abel Power投票策略,预测出分类结果。对于总体结果进行统计性能测试,基于Hamming Loss、Ranking Loss、Coverage、Average Precision、One-Error的总体评价,调整邻居节点的数目,反复迭代得出结果。
3 实验结果及分析
3. 1多标签性能测量指标
本文选取的多标签性能指标为Hamming Loss、One-Error、Ranking Loss、Coverage、Average Precision,如表4所示。Hammingloss指的是实例真实结果与实例预测结果集间的异或,此评价代表了实例标签对错分类的次数; One-error是指该预测实例类别相关度最高的类与实际结果的异或,此评价代表了最高排名的标签不在例子实际分类中的次数; Coverage指的是正确结果的错误度,此评估代表了平均每个预测实例需要降低多少格才能找到精确的标签; Ranki-loss指的是评估了平均标签对的局部排序错误,该评估反应了预测结果在排名上的错误,Averagepercision评估了预测出的标签平均精确程度。前四个方面评估值越小越好,但最后的Average-percision值是越大表现越好。
注: ↑表示值越大效果越好,↓表示值越小效果越好。
注: ↑表示值越大效果越好,↓表示值越小效果越好。
3. 2 语料描述
本文采用的是酵母[12]、景象[13]和情感[14]英文数据集和一个来自同济大学卫志华老师提供的中文新闻文本语料库[15],其具体的信息包括训练样本数、测试样本数、样本特征数、标签数、及平均标签长度,如表5所示。酵母数据集是一个关于基因功能分类的数据集,其中每个样本代表一个基因,它的特征来自于基因的微阵列表示和系统发育谱; 景象数据集的每个样本代表一幅图像,样本的特征取自于图像的颜色信息和结构信息; 情感数据集的每个样本代表人们听到某种音乐所产生的情感,样本的特征取自于音乐的节奏和音色。中文文本语料库的样本是取自教育,经济,军事,科技,商务,社会,体育,娱乐,政治共九大类的中文文本新闻数据集。现实的新闻语料的多标签情况受到许多因素的影响,如在人工划分对内容理解的主观影响、概念区分不清晰、标签之间从属关系等。数据本身就存在大量噪声。此外,在多标签数据中各类样本分布很不均匀,所以要尽量选取较为平均分布的语料。
表5中的标签势是指训练数据集中实例的平均标签数目,而标签密度指的是标签势数除以标签数。
3. 3实验结果
本文实验环境为Intel( R) Xero CPU E5620@ 2. 40 GHz,15. 9 GB内存,1T硬盘的华为服务器,操作系统为Winserver2003,Java版本Sun JDK 1. 7. 0。采用10倍交叉验证( 10—foldCross—validation) 策略对四个数据集进行了仿真实验。根据自适应迭代测试,情感、景象和酵母数据集和同济新闻语料库的初始K值分别选定为10、10、10、15。实验中与IWLC算法采用的对比算法有MLk NN[16]( Multi-Label k-nearest neighbor ) 、BRk NN[6]( Binary Relevance k-nearest neighbor ) 、RAk EL[17]( Random k-Labelsets) 、NB[6]( Naive Bayes) 。在对比实验中,将原有数据集和测试集混合,随机平衡采样各类并排序。
从表6到表9中的5个评价指标中可以看出,在Emotions和Scene以及yeast的大部分 指标上IWLC均好于MLk NN、BRkN N、RAk EL、Naive Bayes方法,说明了在小数据集分类方面IWLC有着明显的分类准确性提高; 但在Scene上的Hammingloss分类效果上略逊于ML-kN N和BR-k NN,这很有可能是因为其语料为图像数据且特征选取代表性不均衡且标签势太小。在非海量数据实例集上测试,IWLC的Ranking Loss、Coverage、Average Precision、One-Error分类效率显著高于其余各种测试方法,说明了其总体实验结果较之于其他方法有排序较好、整体错分率降低、平均精度提高、最高排名分类准确度更高。在对同济大学提供的大信息新闻语料库的测试中,由于数据分布的复杂性和分类算法达到效果的侧重点不同,ML-kN N和BR-k NN在Hamming-loss分类效果上稍优于IWLC,但其他方面,IWLC方法例如Rankingloss、One-Error依旧尤为突出,在Coverage,AveragePercision上也优于其他方法,故综合比较还是一种较为可行且有效的多标签分类算法。
4 结 语
本文采用的一种相关信息加权的自适应多标签分类算法,相对于现有的一些多标签分类方法在大部分性能指标上有所提高。自适应选择的过程会帮助算法在针对不同领域的的语料库有更好的效果,将经典线性回归体系扩展到多标签分类。实验可见,IWLC算法提供了一种更为有效,分类可靠性更高的多标签分类算法,本文的后续工作是进一步改进其在分类精度上的进一步改善。
摘要：在文本分类中,传统单标签分类问题的解决方法无法简单地应用于多标签文本分类,现有的方法通常会通过单标签问题转化思想或者多标签自身算法改进实现对多标签的文本分类。提出一种相关信息加权的自适应多标签分类算法,该算法具有相关信息加权、自适应阈值调整、权重投票相结合的特点。实验结果表明,该算法的某些性能指标优于现有一些常用的多标签分类方法。
自适应加权插值 篇4
在图像的采集和传输过程中,由于传感器和通信系统固有的缺陷,不可避免的会引入噪声。噪声使图像模糊,有时甚至淹没和改变了整个图像的特征,让图像的理解和分析变得很难,因此在对图像进行处理以前我们一般要对图像做一些预处理。针对不同的噪声我们一般有不同的滤波方法,总结起来一般有线性滤波和非线性滤波。线性滤波对于高斯噪声效果较好,但对于脉冲噪声、椒盐噪声的去噪效果不好,而非线性滤波对这些噪声的处理能力比线性滤波要好。中值滤波是最常见的非线性滤波,它避免线性滤波对图像模糊的同时又保留边缘细节,被广泛的应用在数字图像处理中。中值滤波是Tukey于20世纪70年代提出[1],中值滤波被广泛的应用在消除图像中的脉冲噪声。
2 自适应中值滤波
2.1 椒盐噪声
图像在生成、传输过程中,容易产生脉冲噪声[2]。产生脉冲噪声的原因多种多样,其中包括传感器的局限性以及通信系统的故障和缺陷,噪声也可能在通信系统的电气开关和继电器改变状态时产生[3]。脉冲噪声的概率密度函数如下:
若Pa或者Pb为零,则脉冲噪声称为单极脉冲。如果Pa和Pb都不为零,切近似相等时,则脉冲噪声值将类似于随机分布在图像上的胡椒和盐粉微粒,因此双极脉冲噪声也称为椒盐噪声。
2.2 自适应中值滤波
对于噪声比较弱的时候(Pa<0.2,Pb<0.2),中值滤波的效果就会很好,随着噪声的密度增大中值滤波的性能会大大降低,自适应中值滤波器可以处理具有更大概率的冲击噪声[4]。自适应中值滤波器的另一个优点是,平滑非冲击噪声时可以保留细节,这是传统中值滤波器所不能做到的。自适应中值滤波器也能工作于矩形窗口区Sxy,在进行滤波处理时依赖一定条件而改变Sxy大小。
采用如下符号:
Zmin——Wxy中灰度级的最小值
Zmax——Wxy中灰度级的最大值
Zmed——Wxy中灰度级的中值
Zxy——在坐标(x,y)上的灰度级
Wmax——在Wxy上允许的最大尺寸
自适应中值滤波器算法工作在两个层次,定义为A层和B层。
A层:
如果A1>0且A2<0,则转到B层,否则增大窗口尺寸
如果窗口尺寸小于等于Wmax,则重复A层否则输出Zmed。
B层:
如果B1>0且B2<0,则输出Zxy否则输出Zmed
该算法的主要目的有三个:(1)除去脉冲噪声(2)平滑其他非冲激噪声(3)减少物体边界细化或粗化等失真。
3 改进的自适应中值滤波
传统的中值滤波就是以某一点为中心选定一窗口,并将其窗口内的所有像素点进行排序,找出最中间的像素点,用该像素点代替该像素的值。中值滤波器对于单极或双极脉冲噪声非常有效,但由于中值滤波中只考虑图像的灰度值而没有像素点的空间位置关系,所以当图像的噪声大于信号点的时候,中值滤波对于图像的去噪能力会大大降低。自适应中值滤波在去噪和保留细节方面效果要好于其他中值滤波[5,6],但由于没有考虑各像素点的空间分布,故其在噪声大于信号本身的时候对图像的滤波效果会随着噪声的增加而减弱,针对传统中值滤波和自适应中值滤波算法的缺点,本文主要从窗口尺寸和像素点的空间分布来改进自适应中值滤波算法。
3.1 噪声点的判定
图像中像素点灰度值有一定连续性,邻点之间存在很大的相关性,某一点的灰度值与周围点的灰度值非常接近,除了孤立点外(一般认为是噪声点),即使在边缘部分也是这样,基于这样的思想我们将噪声的判定方法如下:
(1)在一幅图像中,当某点的灰度值为其领域的最大或者最小值,判定该点为噪声点.
(2)当某点的灰度值与中值差值的绝对值大于某一范围时,也判定该点为噪声点。如果以上两点都不满足,则判定该点为信号点。判定噪声点和信号点的方法用公式表示如下:
该判定噪声点的算法比较容易实现,只需要按照如下步骤操作即可(以3*3的窗口为例):
(1)sort(W),然后剔除Wij中包括W[0]和W[9]在内的,灰度值等于W[0]和W[9]的所有点。
(2)将剩下的像素点逐一和Zij求差的绝对值,若绝对值大于预先设定的阈值M,则判定为噪声点,反之则为信号点。
3.2 窗口大小的确定
初始的时候我们将滤波窗口大小设定size=3,window大小等于size的平方,统计出噪声点的总数,若像素点的总数大于等于窗口内总像素点的一半,如果窗口小于设定的最大计算窗口,则将窗口size扩大为(size+1)重复以上步骤,否则窗口大小就为当前的size。
3.3 隶属度的计算
当窗口内噪声点数小于窗口内总像素点一半时,将判定为噪声的像素点将剔除,接着求出剩下的像素点的中值,然后进行基于中值的隶属度分析。根据像素值的连续性分布,我们采用梯形模型来进行隶属度分析。
a,b,c,d为参数,a
3.4 权重的设定
由Ownership的计算过程我们可以知道各像素点的灰度值越是接近信号点的中值时它的归属度就越大,而中值是非常接近像素点的真实灰度值,根据这一原则我们将Ownership数组中归属度值为1的加权值设定为Wgt,其余像素点加权值为1,算出加权平均。根据反复的实验得出Wgt值设定为5时,滤波效果比较好。Ownership分别乘以其权重得到Weight数组。
最后将各像素点的灰度值乘以其对应的Weight(i,j),累加求和,即可得到输出结果。
4 实验结果分析
仿真实验及结果分析以1024*1024的elaine的灰度图像来检测椒盐噪声点算法的优劣。
首先,对原始图像分别加3种不同程度的噪声,用以比较在加噪声程度不同的情况下,标准中值滤波、自适应中值滤波和本文的改进的自适应加权中值滤波的效果。
对原始图像分别加入的椒盐噪声为0.9、0.8、0.7时,各种算法得到的输出结果如下:
从视觉只管效果来看,改进的自适应加权中值滤波比标准中值滤波和自适应中值滤波滤波效果都好,但是滤波效果的评价除了主观的视觉效果之外,还需要客观的评价方法,故本文使用平均绝对值差(Mean Absolute Error)、峰值信噪比(Peak Signal Noise Ratio’PSNR)来量化滤波效果。
由(8)(9)可知,当MAE越小和PSNR越大时对图像的滤波效果越好。当椒盐噪声浓度分别为0.9、0.8、0.7时,各种算法对应的MAE和PSNR如表所示:
5 结论
改进的自适应中值相对于标准中值滤波和自适应滤波加入了噪声点的判断,也考虑了滤波窗口尺寸及像素点空间位置,视觉效果上来说改进的自适应中值滤波在噪声浓度很高的时候具有较好的滤波效,从客观评价标准来看改进的自适应中值滤波具有较低的平均绝对值差和较高的信噪比。
参考文献
[1]Tukey J W.Nonlinear methods for smoothing data[C]//Proc of EASON,74,1974:673-681.
[2]Gonzalez R C.Woods R E.Digital image processing[M].2nd ed.Newersy:Prentice-Hall’2001.NewJersy:Prentice-Hall’,2001.
[3]王晓凯,李锋.改进的自适应中值滤波[J].计算机工程与应用,2010,46(3):2-4.
[4]Rafael C.Gonzalez Richard E.Woods.数字图像处理:192[M].2版.北京:电子工业出版社,2007:189-190.
[5]Szirányi T,Zerubia J,Czúni L,et al.Image Segmentation using Markov random field model in fully parallel cellular network archi tecture-s[J].Real-Time Imaging,2000,6(3):195-211.
自适应加权插值 篇5
核磁共振成像MRI( Magnetic Resonance Imaging) 能够提供高分辨率、高品质的图像,对大脑的解剖结构进行准确地描述, 是当前医学图像分析领域的研究热点之一[1],也是脑肿瘤诊断的重要辅助手段,对脑肿瘤的诊断、治疗及手术引导具有重要的意义[2]。为了充分利用图像中的解剖信息,为临床诊断提供量化、直观的参考,首先必须精确的对脑肿瘤进行分割。然而,由于脑肿瘤形状多变、结构复杂以及灰度不均匀,脑肿瘤边界多伴有水肿存在,使得MR图像脑肿瘤分割仍是一个值得深入研究的问题[3]。
近年来,对MR图像脑肿瘤的分割国内外都有广泛研究,这些方法大致可以分为基于阈值的分割方法、基于区域的分割方法、基于像素分类器的分割方法以及基于模型的分割方法等。 基于像素分类器的方法能够充分利用每一个像素的邻域灰度信息和局部纹理等特征,是当前图像分割领域的热点方法,也是MR图像脑肿瘤分割中的主流方法之一[4]。其中,由Vapnik等人[5]提出的基于统计学习理论的支持向量机SVM分类器,综合考虑期望风险和经验风险,泛化能力强,在处理小样本、非线性、 高维模式识别问题上表现出独特优势[6],是脑肿瘤分割中应用最为广泛的像素分类器之一。在基于SVM像素分类器的脑肿瘤分割方法中,研究主要针对特征提取和选择,直接运用单一径向基( RBF) 核SVM进行分割[7,8,9]。基于单一核函数SVM虽然能获得比较好的结果,但对于肿瘤周围存在的水肿部分,肿瘤边界模糊的脑部MR图像,分割结果仍有待进一步提高,以达到最终临床应用的目的。
为弥补单核SVM的不足,本文首次提出将混合核函数SVM应用于MR图像脑肿瘤分割。混合核函数由Smits[10]等人于2002年首次提出,通过局部核函数和全局核函数的加权组合, 能同时保证SVM的学习能力和泛化性能,其性能优于单一核函数,并在人脸识别[11]和掌纹识别[12]中得到广泛应用。而脑肿瘤形状、大小、位置多变等,恶性肿瘤边界模糊不清,相对于单一核函数,经典混合核函数并不能使分割结果得到很好的改善,却增加了待优化参数的个数,使得混合核函数在脑肿瘤分割得不到应用。
基于以上问题,本文提出一种自适应加权混合核函数,将同是由神经网络演化而来的RBF局部核函数和Simoid全局核函数组合,并且优化混合核函数的权重系数。首先,权重系数的优化能自适应调节新映射空间中各样本点的距离,消弱惩罚因子C的影响,使得参数寻优过程中可以固定惩罚因子C,而不影响分割精度; 其次,权重系数的优化能改变序列最小优化SMO算法中的修正因子,从而影响支持向量的选取,以得到更优的分类间隔,最终大大提高脑肿瘤分割的精度。
1 自适应加权混合核函数 SVM
1. 1 混合核函数 SVM 基本原理
SVM通过对待分类数据进行用核函数定义的非线性特征映射 φ( x) : RN→E,将其映射到某一更高维特征空间中,从而能够线性可分,形成样本分类的决策规则[5]。应用Lagrange乘子法得到Wolfe对偶优化问题如下:
式中: { ( xi,yi) ; xi∈RN; yi= ± 1; i = 1,2,…,l} 为给定训练数据, K( xi,yj) = φ( xi) ·φ( xi) 为核函数,表示原特征空间与新特征空间的映射关系,αi称为Lagrange乘子,C是惩罚因子,一个调节常数,实际上起控制对错分样本惩罚程度的作用,实现在错分样本的比例与算法复杂度间的折中。
任何一种单一核函数都不能同时保证学习能力和泛化性能,局部核函数学习能力强、泛化性能较弱,而全局核函数泛化性能强、学习能力较弱[10]。根据Mercer定理,如式( 2) ,两个核函数相加后仍是核函数,Smits[10]等人提出将局部核函数和全局核函数组合成混合核函数,既能提高核函数的学习能力,又能获得更好的泛化性能。于是形如式( 3) 的经典混合核函数得到了广泛的应用。
式中 ρ∈( 0,1) 。
虽然经典混合核函数的分割性能优于单一核函数,但是混合核函数增加了待寻优参数的数目,使得训练SVM的时间复杂度增加。为了降低计算复杂度,实际应用中往往忽视惩罚因子C的影响,获得单一核函数的最优参数后,仅仅对 ρ 进行寻优[11,12]。且由于含肿瘤组织的脑部图像的特殊性,使用SVM进行MR图像脑肿瘤分割时,经典混合核函数仅仅是增加了训练时间复杂度,分割精度上相对于单一核函数并没有明显的改善。
1. 2 自适应加权混合核函数
为了构造出学习能力和泛化性能更好的混合核函数,本文提出一种自适应加权混合核函数。基于式( 2) ,打破经典混合核函数组合系数和为一的局限,将RBF核函数和Sigmoid核函数线性组合,公式表示为:
式中 ρ1、ρ2,在一定正数范围内根据样本点的特性自适应取值。
式( 4) 中,由神经网络发展而来的RBF核函数是性能最优的局部核函数,也是使用最广泛的单核核函数[13],公式表达为:
同是由神经网络发展而来的Sigmoid全局核函数虽然是条件半正定的( 即当v > 0,r < 0符合Mercer条件) ,且分类性能没有RBF核函数好,但应用十分广泛[14],公式表达为:
SVM的核心问题是对式( 1) 的求解,SMO[15]算法在固定其他参数的前提下,每步选择最违反KKT条件的两个Lagrange乘子 α1和 α2优化,找到这两个乘子的最优值,并更新相应的 α 值。单次更新的主要公式为:
其中: η = K( x1,x1) + K( x2,x2) - 2K( x1,x2) 为修正因子:
由式( 7) 可见,在惩罚因子C为定值的情况下,当核函数K ( xi,x) 乘一个系数变成a K( xi,x) 后,对目标函数实现最直接的影响是改变了修正因子 η 的值,从而改变了每次迭代过程中 α2*更新的值。合适的系数 α 能促使SMO实现过程中找到更优的支持向量集,以得到分类精度更高的分类器。
由以上分析可见,在混合核函数各组合系数寻优的过程中, 固定惩罚因子C为定值,在一定范围内自适应寻优 ρ1、ρ2的值, 在得到最佳组合比例的同时,获得错分样本的比例与算法复杂度间的折中。同时改变序列最小优化( SMO) 过程中的修正因子,改变拉格朗日乘子的取值,从而可以大大提高混合核函数SVM的分类性能。
2 基于优化混合核函数的 MR 图像脑肿瘤分割
基于SVM的经典脑肿瘤MR图像分割分为图像预处理、特征提取、特征选择、训练SVM、分割图像等过程。本文具体分割过程如图2所示。
为了实现脑肿瘤MR图像的精确分割,参考文献[8],采用多模态MR图像的邻域灰度信息、邻域内均值、标准差、Haar小波变换低频系数构建原始特征集。为了充分利用脑肿瘤MR图像的邻域信息,本文将2D邻域信息特征提取扩展成3D,并采用主成分分析方法对原始特征集进行特征选择,达到降维和剔除冗余信息的目的。在分类器的训练上,随机选取病人一层含肿瘤图像,肿瘤内外各取60个点作为训练样本。
为了提高支持向量的分类性能,以改善脑肿瘤的分割精度, 采用基于式( 4) 的自适应加权混合核函数SVM。核参数和组合系数值的选择,使用网格搜索与k折交叉验证方法[16]首先分别训练单一核函数的最优核参数 σ∈( 2- 5,25) 、v∈( 2- 5,25) 、r∈ ( - 3,0) ,然后将最优核参数值固定,寻找最优的组合系数 ρ1、 ρ2,ρ1、ρ2取值范围的通过实验获得,具体见第3节。此过程中惩罚因子C取默认值1。
训练得到最优混合核函数SVM分类器后,对同一病人的其它测试图像层进行分割。
3 实验结果及分析
在本节实验中,我们首先通过实验确定 ρ1、ρ2的取值范围; 然后用自适应优化混合核函数SVM实现对3D脑肿瘤MR图像的分割,并和经典混合核函数SVM等进行对比; 最后将本方法同文献[3]和文献[17]方法进行对比,以验证本文方法的正确性、有效性及鲁棒性,采用Dice系数( Dice similarity coefficient) 、 Sensitivity[4]和假阳性率( FP)[8]等技术指标评价分割结果,其中Dice系数表示实验分割结果与专家分割结果的吻合程度,Sensitivity表示正确分割的肿瘤,FP表示分割结果中将非肿瘤误判成肿瘤的比例。计算环境为Matlab2011a,CPU3. 40 GHz,RAM 4. 00 GB,Windows XP Professional。
这里所用的MR图像来自同文献中相同的在线图库MICCAI2012( http: / / www. imm. dtu. dk / projects / BRATS2012) ,该图库由B. Menze,A. Jakab,S. Bauer,M. Reyes,M. Prastawa,和K. Van Leemput等人组建,有包括ETH Zurich,University of Bern,University of Debrecen,和University of Utah在内的机构提供完全匿名的病人数据。图库中给出病人的FLAIR、T1、T2、T1C四种已配准图像。选择15例真实病人和15例仿真病人数据进行脑肿瘤分割实验。
3. 1 参数范围确定
本文通过实验确定 ρ1、ρ2的取值范围为( 0,10) 。根据式 ( 2) ,在固定惩罚因子C的条件下,单一高斯核乘、单一Sigmoid核函数分割精度Dice系数随系数的变化结果如图3所示。若a值过大,不仅会增加参数寻优的时间复杂度,分类精度上也得不到进一步提高。
3. 2 与其它核函数 SVM 分割方法的比较
为了有效验证本文所提出的自适应加权混合核函数SVM分割方法优于其它核函数方法,将本文方法同单一核函数、经典混合核函数等进行对比实验。实验结果如表1和图4所示。
与单一RBF核函数和单一Sigmoid核函数相比,经典混合核函数的Dice系数得到些许提高,假阳性率略有降低。这是由于经典混合核函数结合了局部RBF核函数和全局Sigmoid核函数的优势,提高学习能力的同时保证泛化性能。但是由于脑肿瘤的特殊性,分割精度的提高并不理想。
为验证与K( xi,x) 相比,a K( xi,x) 核函数能得到更好的支持向量集,达到更好的分割性能,对a KRBF( xi,x) ,固定惩罚因子C = 1,通过交叉验证网格寻优获得最优系数a∈( 0,10 ) 和 σ∈ ( 2- 5,25) ,对KRBF( xi,x) ,同样采用交叉验证网格寻优得到最佳惩罚因子C∈( 2- 5,25) 和 σ∈( 2- 5,25) 。从表1和图4可以看出,a KRBF( xi,x) 核函数分割结果明显优于KRBF( xi,x) 核函数SVM,假阳性率明显降低,同时参数寻优次数并没有明显增加。 实验证明对单一核函数SVM,自适应获取最优系数,能消弱惩罚因子的影响,同时改变修正因子的值以获得更优的支持向量集,最终提高SVM的分类性能,进一步提高肿瘤与水肿的区分度,降低假阳性率。
本文方法与经典混合核函数相比,本文方法的平均Dice系数为91. 29% ,假阳性率为11. 31% ,相对于经典混合核函数的86. 82% 和20. 42% ,分割精度得到很大提高。这是由于自适应调节最优的组合系数 ρ1∈( 0,10) 、ρ2∈( 0,10) ,使得优化混合核函数获得最优的支持向量集,分类器的学习能力和泛化性能得到进一步提高,以更好的区分肿瘤和水肿组织,即使是对复杂的脑肿瘤MR图像,仍能获得很好的分割结果。
3. 3 与其他分割方法比较
为了验证基于自适应混合核函数SVM分割方法的优势,将本文方法与文献[4]和文献[17]方法进行对比实验。文献[4] 将总体特征和特定病人特征先分别使用boosting分类器进行分割,然后通过图割的方法将两类分割结果相结合,实现对脑肿瘤的三维分割,图割是时下比较新潮的一种分割方法[4]。文献 [17]采用基于贝叶斯策略的前馈神经网络模式识别分割方法, 最近几十年在图像分割中得到广泛应用[17]。实验结果对比如表2和图5所示。表2为对30个病人图像采用三种不同分割方法的平均结果值,从表中可以看出,相对于其他两种方法,本文方法的假阳性率明显改善。图5为某一病人的分割结果,从真值图中可以看出,肿瘤组织与周围水肿及正常脑组织边界模糊,难以精确分割,文献[4]和文献[17]方法的分割结果将大量周围水肿及正常组织错分为肿瘤,本文方法可以得到比较精确的分割结果,分割出的轮廓与专家手工分割结果大体相近。
4 结 语
本文提出一种基于优化混合核函数SVM的3D脑肿瘤分割方法。SVM尽管是一种比较成熟的方法,但并不能很好地解决脑肿瘤的分割问题,尤其是不能很好的区分肿瘤和水肿组织。 首先提出了局部RBF核函数和全局Sigmoid核函数组合的混合核函数,该核函数结合了局部核函数和全局核函数的优点,同时具有更好的学习能力和泛化性能。为了进一步提高混合核函数的分割性能,打破传统的组合方法,优化组合系数的值,同时固定惩罚因子,寻找最优组合比例的同时影响SMO算法的修正因子,以得到最优的支持向量集,提高脑肿瘤分割中肿瘤与水肿的区分度。实验结果表明,该方法能够准确地分割脑肿瘤。
自适应加权插值 篇6
超短期负荷预测是对未来1 h以内的负荷进行预测,其主要用于实时安全分析、实时经济调度、自动发电控制[1]。长期以来,国内外学者对超短期负荷预测的理论和方法做出了大量的研究,提出了许多预测方法,如线性外推法[2,3]、神经网络法[4,5]等,线性外推法为线性模型难以反映电力负荷的非线性特性;而神经网络法存在容易陷入局部最优、“过拟合”、泛化性能力不强等缺点。以上方法的缺点对预测的精度都存在一定的影响。
近年来,Vapnik等[6,7]提出了标准的支持向量机(SVM)方法已在许多领域取得了成功的应用,显示出巨大的优越性,文献[8-9]利用SVM进行负荷预测,收到了一定的效果。但SVM存在计算速度较慢、鲁棒性不强等局限性。为解决速度问题,Suykens等[10,11]提出最小二乘SVM算法(LS-SVM)。目前,最小二乘支持向量机在预测方面已有不少应用[12,13],都取得了一定的效果,也有相应的改进,如文献[14]中考虑了影响预测精度的主要为近期样本,故赋予各组样本一定的隶属度,使得训练中近期样本的误差相对较小,远期样本的误差相对较大。但该方法的LS-SVM相关参数为定值,其未随着样本的更新而变动,在一定程度上降低了预测的准确性。超短期负荷预测在不考虑气象因素的条件下,预测样本的输入需考虑与预测时刻之前若干时段的负荷值和相同类型日同一时刻的负荷值,这些信息在时间上是纵向分布的,对所预测负荷的影响不同。鉴于以上原因,本文提出了基于自适应双向加权最小二乘支持向量机的超短期负荷预测,即对训练样本赋予纵向隶属度的同时,给各训练样本输入向量的元素赋予横向隶属度,充分体现训练样本各个方位“近大远小”的原则。同时为了能够根据新样本不断更新模型相关参数,应用快速留一(fast leave-one-out,FLOO)交叉验证法[15]对模型参数进行优化,实现每次预测前模型参数的自适应选择。
1 双向加权最小二乘支持向量机
1.1 LS-SVM
LS-SVM是标准SVM的一种扩展。假设训练样本集为T={(x 1,y 1),(x 2,y2),⋅⋅⋅,(xN,yN)},N为训练样本对的数目,其中输入xk∈Rn,输出值yk∈R,回归模型可以表示为
其中:ϕ(*)是把训练数据映射到一个高维特征空间;w是加权向量;b是常值偏差。则目标函数定义为
约束条件为
其中:γ>0为惩罚系数,用来平衡模型的复杂度和精度的;ek为估计误差。
1.2 输入向量的横向加权
本文是多输入单输出模式,输入ix向量中的值是随时间纵向分布的,通过加权处理体现不同时刻的负荷值对预测值影响的差异。输入向量按式θi=δ(1-δ)n-i加权,则加权后输入样本变为
式中,l为输入向量维数。
1.3 训练样本集的纵向加权
预测值不仅与输入向量中各元素的值相关,同时也与训练的样本组有一定的相关性。近期样本对预测值的影响相对较大,而远期的影响则相对较小,所以根据历史样本对当前负荷影响程度赋予不同的隶属度,减小早期样本对预测模型的影响,同时增大近期样本对预测模型的影响。应用线性隶属度μi予以赋值,μi=β+i1(-β)/N,且0≤μi≤1,则输入样本集变为
T={(x1,y1,μ1),(x2,y2,μ2),…,(xN,yN,μN)}
1.4 双向加权LS-SVM
将1.2节和1.3节加权理论相结合便构成LS-SVM的双向加权,此时目标函数(2)变为
约束条件同式(3),通过建立Lagrange方程求解该问题:
其中,ak为Lagrange乘子,根据KKT最优条件[6,7]可得
其中,k=1,2,…,N。消去ek与w,则得到如下线性方程组:
Ω是满足Mercer条件的对称函数。
本文选择高斯径向基RBF核。Ωij表示矩阵Ω第i行第j列对应的值。则最终的非线性回归函数可以表示为:
2 快速留一法
2.1 快速留一法策略
为了利用生成的新样本来不断更新双向加权LS-SVM的相关参数,实现预测模型相关参数的自适应选择,则需要快速有效的优化算法。传统的LOO[11]法计算量大,FLOO[15]则使得模型参数的在线选择成为可能。本文预测算法的横向加权参数δ取定值,则需要优化选择模型局部参数有γ,σ和β。
记Q=Ω+VC,将式(9)重新分块为
对式(12)的分块矩阵进行求逆并用FLOO处理后发现
由式(8)可知,改变各方程的顺序不影响各解,各个样本的误差可以表示为
接下来就是如何确定Cii-1的值,对式(12)求逆有
这里，对于正定矩阵Q,将其分解为三角矩阵。设R=[rij]li,j=1为Q的下三角矩阵,且Q=RRT,设S=[sij]li,j=1=R-1,则Q-1=STS,求解各样本的误差时只关心Q-1的对角阵元素
将上式求出的Cii-1代入式(14),则预测误差可以表示为
由于ζi与QL的计算量很小,所以计算训练样本预测总误差的复杂度仅约ο(N)。
2.2 负荷数据的选择与应用
采集数据生成最新样本,输入量x(k)=[Pd-L(k),…,Pd-2(k),Pd-1(k),Pd(k-m),…,Pd(k-2),Pd(k-1)]样本输出量为y(k)=Pd(k),Pd-L(k)指与预测当天相同类型日最近的前L天k时刻的负荷值,Pd(k-m)指预测时刻前m个步长点的负荷值,本文L取3,m取5。取与预测时刻最近的N组样本,并对样本按1.2、1.3节中的方法进行横向、纵向加权,利用加权后的样本进行训练,选择相应的最优参数来建立模型,利用建立的模型进行预测。每次预测前要实现训练样本的更新,建模过程见下节。
2.3 在线建模过程
本文对于横向加权参数δ取0.85,对于γ、σ以及纵向加权参数β采用实时优化处理,利用FLOO对预测模型的参数进行在线选择,具体步骤如下:
Step1.基于已有的训练样本离线选择最优参数P=[γopt,σopt,βopt]。
Step2.参考历史相应时刻的P,设定P的范围,基于FLOO对参数进行优化,选择使训练样本误差最小的一组最优参数[γs,opt,σs,opt,βs,opt],利用确定的模型预测下一时刻的负荷值y(k)。
Step3.当前预测结束后,保存当前的[γs,opt,σs,opt,βs,opt],将新生成的样本作为下次训练样本的最近样本,同时删除离预测点时间分布最远的样本,利用新训练样本离线选择最优参数[γopt,σopt,βopt]。为预测y(k+1)做准备,回到step 2。
3 预测结果分析对比
本文应用的平台是Matlab7.1,硬件基础为主频1.60 GH,内存256 MB的计算机上,在工具箱toolbox LS-SVM lab的基础上编制相应的程序完成预测。以15 min为步长,预测一天24 h的负荷值,每次预测一个时段,然后将该点加入历史序列,并将预测结果与其他方法预测结果进行对比。
在文献[14]的基础上引入横向加权是为了体现不同时刻输入数据对输出数据的影响程度不同,用图1对比文献[14]中的方法与引入双向加权方法的预测效果进行对比(模型相关参数都为定值),为直观,只对预测曲线的局部放大进行对比。
由图1可以看出在考虑双向加权后的预测结果比只考虑纵向加权的预测曲线更接近实际的负荷值,可见在考虑了横向“近大远小”的原则后,预测效果比单单考虑纵向加权的预测效果更佳。另外,由于横向加权后,参与预测的数据大大减小,所以在预测耗时由原来未进行横向加权的0.234 s减小为现在的0.141 s。
用BP神经网络法、双向加权固定系数支持向量法、本文所提出的变系数支持向量法和文献[2]中曲线外推法分别进行了预测。预测结果及相关处理见图2、图3与表1、表2。
方法1文献[2]中应用的方法;2表示一般线性自适应神经网络法;3表示双向加权固定系数支持向量机模型;4表示采用本文的变系数方法。
A表示:绝对百分比误差<1的个数;B表示:1≤绝对百分比误差<2的个数;C表示:2≤绝对百分比误差<3的个数;D表示:3≤绝对百分比误差<4的个数;E表示:绝对百分比误差≥4的个数
由图3可见变系数的预测效果明显比固定系数的效果要好。因为变系数预测模型根据训练样本的变化不断调整模型参数,充分体现近期数据对预测值影响的情况,并使训练样本误差在模型相关参数选择的范围内达到最小。
预测时间对比与分析。文献[2]中所述的方法简单,只由若干历史同一时刻的负荷值计算负荷增量而来,所以预测用时极少,神经网络耗时最多。固定加权最小二乘支持向量机将传统支持向量法中的不等式约束用等式约束代替,减小了运算复杂性,耗时较少。变系数预测法则由于对相关系数的自适应选择,所以CPU耗时比固定系数预测多。
预测精度比较。由表1可见,本文所提出的预测方法的平均绝对百分比误差和归一化方差比所对比的方法效果更满意。这是因为,文献[2]中的方法难以反映负荷预测非线性的特点,且过分依赖历史样本与当前预测值的相似性,而没有考虑到预测日当天负荷变化的特点;神经网络法则易陷入局部最优,难以保证解的最优性。本文所提出的方法则充分考虑了近期数据对预测值的影响,赋予近期数据较大的比重,同时,选择使训练样本误差最小的相关参数来确定预测模型,所以预测精度相对较高。另外由表2可见,本文提出方法的稳定性较好,预测值的绝对百分比误差未超过3%。
4 结论
考虑到负荷预测“近大远小”的原则,本文应用了时间隶属度分布的双向加权支持向量机的预测模型,即输入向量横向加权与训练样本纵向加权。为克服固定权重最小二乘支持向量机对预测精度的影响,同时考虑到在线建模时间问题,用FLOO法自适应优化模型参数,在解决固定权重方法预测的同时也保证了较小的计算复杂度。应用本文提出的方法,以15 min为步长,对一天24 h负荷进行了预测,结果表明,该方法与传统方法相比,提高了超短期负荷预测的精度。
摘要：应用模糊加权最小二乘支持向量机对超短期负荷进行预测,为了体现离预测点越远的历史负荷数据对预测点负荷值的影响越不明显的特点,即“近大远小”的原则,在双向,即横向(输入样本)与纵向(训练样本集)引入时间域的隶属分布。并用快速留一法在线优化模型的参数,实现了相关参数的自适应选择,克服了应用固定系数进行预测的缺点。应用某地区的负荷数据进行了仿真预测,并应用不同的方法进行了对比。结果表明,所提出的方法与传统方法相比提高了超短期负荷的预测精度。