非线性独立分量分析

2024-06-17

非线性独立分量分析（通用8篇）

非线性独立分量分析篇1

0 引言

随着电力系统中非线性负荷的大量投用,电力系统中的谐波情况也愈发复杂,不仅存在频率是基频整数次的整数次谐波,而且存在非整数次谐波成份。这些对电力系统的安全、稳定运行造成了极大的危害。而对谐波间谐波进行有效分析治理的基础便是对其准确的检测。

传统的谐波检测方法大体分为四类。第一类是基于时域坐标变换的瞬时无功法[1,2],如dp0法、pq法等。这些方法是将原三相谐波分量转换成新坐标系下的直流分量,再进行检测。这些方法动态响应速度较快,但拓扑结构复杂。第二类是基于频域下进行谐波分析的FFT算法及其改进算法[3,4]。这类算法一般用于整周期采样,而对于非整周期采样,或对非整数次谐波分析则存在频谱泄漏和栏栅效应现象,影响检测精度。改进算法中应用了加窗及插值的方法,分别用于克服上述两种现象。此外频率域的检测法还包括小波分析法,及现代谱估计法[5~9]。但这些方法需要较复杂的计算,并且存在频谱混叠、对噪声敏感的缺点,因此还要有相关的去混叠及去噪的辅助算法。第三类方法是以数据挖掘技术为基础,典型的是将神经网络、支持向量机技术[10~13]应用到谐波检测当中。这类算法多以正交三角函数集作为特征集的基,将时域信号映射到该域,并通过对权向量的训练最终得到谐波的幅值和相位信息。由于这种算法是建立在神经网络或支持向量机的回归算法之上,故需要大量的训练样本,计算的实时性较差,且算法的收敛无法完全保证。第四类是以自适应噪声对消原理为基础的自适应谐波检测法。这类方法目前也已应用到有源滤波器的谐波检测模块中。其优点是滤波器参数自适应,但其收敛速度和稳定性之间很难平衡,学习参数也不好确定。

本文将电力系统谐波检测的问题归于盲源分离问题BSS(Blind Source Separation),从而将目前该领域广泛使用的独立分量分析法(ICA)应用到谐波检测。不同于一般的盲源分离问题,我们对于谐波干扰的先验知识(如频率和相位)是有一定了解,因此这种盲源分离问题处理起来要简单。实验结果表明,基于ICA的谐波检测法精度较好,同时也可应用到间谐波的检测中。

1 独立分量分析法

1.1 独立分量分析原理

ICA是一种新的盲源分离技术,其定义是:在对源信号未知的情况下,将多个观测信号按照统计独立原则通过优化算法分解为若干独立分量,以获得对源信号的估计。ICA算法可描述为:X1,X2,⋅⋅⋅,Xn为n个观测信号,由m个未知原信号S1,S 2,⋅⋅⋅,Sm线性组合而成(n≥m),用矩阵形式表示为X=[x 1,x 2,x 3,,x n],S=[s1,s2,s3,,sm],A为n×m的混合矩阵[14],即:

图1显示了X与S的线性组合关系

ICA的任务是S及混合矩阵A未知的条件下,从观测信号X中恢复出原信号S。一般ICA的约束条件是各个原信号Si相互独立,且最多只有一个服从高斯分布。令分离矩阵为m×n的矩阵W,则原信号S的估计Y由式(2)得出:

式中:B为球化阵;U为正交系统;白化使得E[z(t)zT(t)]=IN,即要求z(t)中的各分量正交归一。

1.2 Fast ICA算法处理步骤

独立分量分析的关键问题是建立一个能够读两分离结果独立性的目标函数及其相应的分离算法。本文采用由芬兰学者Hyvarinen等提出的基于固定点算法的Fast ICA方法,该方法采用牛顿迭代法,使得收敛更有保证,且收敛速度较快。其框图如图2。

本文中采用Fast ICA算法时的迭代公式为:

式中令f(x)=tan(a1 x),1≤a1≤2,处理步骤为[15]

(1)把原始数据x去均值,再球化,得z;

(2)设m为待提取独立分量的数目,令p=1;

(3)任意取up(0),但要求‖up(0)‖2=1;

(4)迭代:

(7)如up未收敛,回到步骤(4);

(8)令p加1,如p≤m,则回到步骤(3),否则计算结束。

1.3 ICA在谐波检测中的具体应用

在ICA算法模型中要求观测通道数m不少于独立源的个数n,而谐波检测时只有一路观测通道(三相电流或电压观测量相关,故只能取一路)。因此,要应用ICA方法还需要构造至少n-1路虚拟观测信号x2,x 3,x 4,,xn。这样可得到如下n-1个扩充的方程。

式中:sn的基本表达式为

一般情况下,谐波的频率可以通过简单的谱分析获得,但幅值和相位通常是未知的。如果有同步测量的谐波干扰源信号,那么相位幅值估计问题就相对比较简单,否则就比较复杂。为此我们将源Sn的表达式作如下变换:

这样就将原来的相位和幅值估计转化为对Sn1和Sn2的估计。但与此同时,也增加了n-1个独立源,这样就必须再构造n-1个观测源以满足ICA运算前提。当存在随机噪声时需加入噪声虚拟信号,这样可将噪声信号单独分离出来。

2 模拟仿真

2.1 无噪声环境下的谐波检测

通过Matlab模拟一个含有3,5次谐波的待检测信号及4路虚拟通道信号:

进行ICA分析,得到混合矩阵A和解混矩阵W如下:

混合信号波形如下:

将混合信号进行去均值及球化处理,最后用Fast ICA算法对球化信号进行分离。由于ICA分解的不确定性故需对分解信号作误差分析,这可通过将分离信号还原成混合信号,并与实际观测信号作比较,当误差较大时重复进行ICA处理,直至符合误差要求。实验中得到的最终分离信号如图4所示。

2.2 噪声环境下的谐波检测

为分析ICA算法的抗噪性能,在原观测信号的基础上加入随机噪声,并相应构造一个噪声独立源以便将噪声信号分离出来。(原始观测信号的信噪比为15 d B)

加入噪声后的混合信号波形如图5。

经Fast ICA算法分离得到的独立源信号波形如图6。

2.3 间谐波的检测测试

间谐波是频率为基波非整数倍的谐波,主要是由电力系统中的各种波动负荷(如电弧炉)和电力电子变频装置产生。现构造一路含间谐波及高斯噪声的观测信号及4路虚拟观测信号如下(信噪比15 d B):

混合信号及用Fast ICA方法得到的各个独立信号波形如图7、8。

2.4 讨论

在ICA算法中,分离出的估计信号与源信号没有固定的对应关系,因此还需要结合波形及混合矩阵A进行识别。表1为三个测试实验中的具体对应关系。

混合矩阵A的部分元素为负表明对应的波形反相,这可从ICA分离出的各独立源估计量波形中看出。

对三组实验分离出的信号作误差分析,结果见表2。

通过表2可以看出,在混有高斯噪声的条件下本算法对幅值的估计仍有较高精度但相位估计存在较大误差。同时实验3的结果也说明独立分量法对间谐波的检测同样有效。

由于虚拟观测量的建立是以先验知识为基础的,因此准确构建虚拟观测量(建立适当的个数)是能否使用ICA方法分析谐波的前提。本文中为讨论方便仅模拟了含有3次及5次谐波的情况,实际的谐波要复杂的多。为此,可以使用FFT方法从频域上大致的估出主要谐波的个数,再据此构建虚拟观测量。实际上文献中在神经元个数的确定也是跟据这种方式确定的。

3 结束语

本文将谐波检测问题视作盲源分离问题,并运用目前该领域流行的独立分量分析法进行分析。但由于谐波分析中的观测源只有一路,故需构建虚拟观测量,以满足ICA运算条件。通过实验表明该算法可以较准确地对所含谐波的幅值和频率进行估计。在混有高斯噪声的条件下也有较好的抗噪效果。同时,本算法可以用于目前被广泛关注的间谐波的检测。但应该指出的是ICA算法本身属于迭代算法,其计算延时不能满足实时性要求,因此一般可用于谐波分析,而不适于谐波的实时检测。

非线性独立分量分析篇2

基于独立分量分析的航空发动机振动信号盲源分离

阐述了基于峭度的盲源分离开关算法,对仿真信号进行分离,验证了该算法的可行性.并将该算法与FFT分离法结合,对某型双转子航空发动机高、低压转子实测振动信号进行了盲源分离实践,取得了很好的分离效果,从而为双转子发动机振动监测与故障诊断提供了一种可行的`信号处理方法.

作者：刘秀芳艾延廷张k LIU Xiu-fang AI Yan-ting ZHANG Cheng 作者单位：沈阳航空工业学院工程振动与噪声研究所,辽宁,沈阳,110136刊名：沈阳航空工业学院学报英文刊名：JOURNAL OF SHENYANG INSTITUTE OF AERONAUTICAL ENGINEERING年，卷(期)：25(5)分类号：V263.6关键词：航空发动机盲源分离峭度 FFT方法

非线性独立分量分析篇3

对于复杂信号的脉内调制特征的研究一直是非平稳信号处理中的热点,学者们提出了诸多方法,例如瞬时自相关法、时频分析法、相位差分法等。相位差分法利用信号的瞬时相位序列,其计算简单,有较高的工程应用价值,但对噪声敏感,抗噪能力较弱。谱相关方法是传统频率谱分析的延伸,在低信噪比下需要对信号多次积累处理。时频分析法是通过时频分析将一维信号变换到二维时频面,将信号时频特征分离,进而可在具体时间和特定频率上展开分析[2,3]]。但由于非线性时频分析方法不可避免地存在交叉项干扰,对噪声敏感性很高,因而限制了其应用。而线性小波变换能克服交叉项的影响,在时频域有良好的局部化和多分辨的特征,可以改善信噪比[4],因此小波变换被广泛应用于大时宽带宽积信号的脉内特征分析中[5]。

文献中提到的方法较少考虑到未知辐射源的雷达信号识别问题,目前对已有先验信息的雷达信号有较好的识别效果,而对未知雷达辐射源并不适用。在实际战场环境中,对缺少先验知识的雷达信号进行识别判决具有更为重要的意义。对此,本文提出了联合盲信号分离和小波变换脊线提取的方法。在多分量信号混叠的条件下,首先利用独立分量分析对观测信号进行盲分离,将盲源分离作为预处理,把多分量信号的调制识别的问题转化成对单信号的脉内信息分析,然后采用小波变换实现对各个雷达信号辐射源的调制类型识别。

1 ICA的基本原理和分析模型

独立分量分析(ICA)是一种基于高阶统计量的盲源分离技术,在源信号和传输信道参数未知时,仅由多通道观测信号恢复出源信号的各个独立分量。它的核心思想是寻找一组线性非正交坐标系对多通道观测信号进行变换,分解成满足统计独立的分量,从而完成信号的盲分离。

假设m个源信号S=[s1,s2,…,sm]T,各个信号相互独立,侦察机接收到的n个观测信号X=[x1,x2,…,xn]T。其观测分量xi是各个源信号的线性混合,即X与S之间的关系为

式(1)中,A为未知的m×n阶混合矩阵,N=[n1,n2,…,nm]T为m维加性噪声信号。峭度、负熵和互信息是度量分离后各分量之间独立性的主要准则[6]。Hyvrinen等人提出了基于固定点迭代的快速ICA算法(Fast ICA)[7]。Fast ICA是一种快速寻优迭代算法,利用负熵最大化的准则进行信号分离,求得一个分离矩阵W(m×n维)。

观测信号经Fast ICA后,各单分量信号之间统计独立性达到最大。

Fast ICA的处理流程图可以由图1表示。

2 小波变换和脊线提取

瞬时频率是描述信号调制特征的重要参数,相比于幅度具有更强的抗干扰性。因此正确提取信号的瞬时频率信息是多分量信号分离识别的重要手段[8]。

2.1 连续小波变换

连续小波变换是一种线性时频变换,是分析信号与小波基函数的内积。设信号s(t)∈L2(R),小波基函数为ψ(t),其连续小波变换(CWT)的定义为

式(3)中,a、b分别是尺度和平移参数,ψ*(·)是ψ(·)的共轭复数。本文选择了时频特性较好的Morlet小波作为小波基,它是一种常见的单频复正弦调制高斯波[9],其定义为

式(4)中,fc是小波的中心频率。

2.2 小波脊线

根据信号理论得知,信号频率f与尺度参数a之间的关系为a=fc/f,引入瞬时频率的定义:

设分析信号形式f(t)=A(t)cos(t)。选择的解析小波函数为φ(t)=g(t)exp(iw0t),其中w0是小波的中心频率,若ξ=w0/a为信号的载频,利用上文的连续小波变换公式得到:

式(6)中,G是g(t)的傅里叶变换;校正项ε(b,ξ)满足

式中,a和b分别是尺度因子和平移参数。如果在变换过程中消除了偏移,则b等于时间t,A(b)表示时间点b的振幅大小,φ'(b)和φ(b)分别表示b时刻的瞬时频率和瞬时相位。

由式(1)和式(2)可以说明,若A(t)和φ'(t)在窗函数g(t)的支集上有很小的变差且φ'(b)≥Δw/a,记Δw为G的带宽,则校正项ε(b,ξ)可以忽略不计。由此可知,对于每个b值,当不计校正项时,在ξ=φ'(b)时连续小波变换模取得极大值。相应的时频点(b,ξ(b))称为小波脊点,脊点组成的集合称为小波脊线,脊点处φ'(b)值表征了信号瞬时频率的变化[10]。

3 基于脊线特征的调制识别

根据上节的论述,利用信号小波脊线可以估计出信号的瞬时频率,从而获得判决信号调制类型的特征参数。下面对几种常见的雷达辐射源信号,分析通过小波变换提取出小波脊线从而进行调制识别的可行性。

单一载频正弦信号由于载波频率固定,小波脊线的幅度没有发生起伏,斜率为0。线性调频信号调频斜率不为0时,频率随时间线性变化,因此小波脊线是斜率不为0的直线[11]。相位调制信号在不同的码元内,载波的频率和振幅不变,相应脊线的位置和幅度也相同[12]。而在不同码元间,相位发生跳变,瞬时频率不同于载波的频率,因此跳变时刻的脊线位置将产生跳变,出现若干脉冲。如果码元间跳变时刻增多,相应的脉冲分布情况也会变得复杂。其中脉冲的幅度信息表征了PSK的调制特征,幅度的个数对应了相位调制的调制阶数。

综上所述,对不同信号的小波脊线可以提取特征参数进行识别。本文采用最小二乘估计的方法,在时频平面对小波脊线进行直线拟合,获取特征参数估计值,进而判决调制类型。

设需要拟合的直线函数关系为y=kx+b,采样点数为N,得到待估计序列为(xi,yi)(i=1,2,…,N),其中yi为小波脊在采样时刻对应的瞬时频率值。用最小二乘法估计参数时,要求观测值yi的估计误差ε2最小,即

分别对斜率k和斜率b求偏导,

经计算可得,斜率k的估计值

定义特征参数,其中fs为采样率。可以明显看出,P1代表了小波脊线在时频面的斜率,表征了信号的调制斜率信息。

由于相位调制信号小波脊线在跳变时刻出现脉冲,因此将当前时刻频率值与前后若干时刻频率均值进行对比,可以分辨出小波脊线中的跳变点。对于采样序列中提取出的跳变点,统计超过一定门限的跳变点分布情况,进而可以识别出相位调制信号的调制阶数特征。

定义特征参数P2=max(ξ(k)),设,其中μ1(k)和μ2(k)分别为小波脊线在k时刻前后各M点的均值。P2表征了采样序列中是否存在跳变点。

定义特征参数P3=sum(ξ(n)>h0),其中h0为门限。P3统计了码元跳变点的分布情况。

特征参数P1对应的是信号的调制斜率。首先对特征参数P1进行判决,如果小波脊线斜率较大,则P1较大,可以识别出线性调频信号。然后判断特征参数P2,单频信号频率固定,不存在相位跳变点,进而识别出单频信号。对于相位调制信号,采用特征参数P3判决,P3表征了相位跳变点的分布情况,根据信号序列中跳变点的数量和分布可以区分出二相编码和四相编码信号。图2是基于脊线特征的调制识别流程图。

4 实验结果与仿真分析

图3给出了侦察机多通道接收到的雷达信号的混叠分离的仿真过程。

假设源信号是线性调频信号,单频正弦信号,7位巴克码二相调制信号和13位巴克码四相调制信号等常见雷达辐射源信号。四种信号波形如图3(a)由上到下依次所示。

将这四种信号随机混合,图3(b)中是由侦察接收机接收到的四路观测信号。

混合矩阵A是随机矩阵,具体阵列为

将观测信号经过Fast ICA处理,结果由图3(c)所示。由图中可以明显看出,分离后的单分量信号由上至下依次为线性调频信号,BPSK信号,QPSK信号和单频正弦信号。根据上述的算法流程,计算出分离矩阵

解混后的信号次序与源信号并不一致,但基本恢复了各个分量信号,幅度得到了增强,有效地完成了对各信号的分离。

对分离后的单分量信号分别连续小波变换并提取时频面的小波脊线,如图4所示。

图4(a)是单一载频正弦信号,频率是50 MHz。小波脊线斜率为0,横坐标指向恒定载频值50 MHz,不存在跳变点。

图4(b)是线性调频信号,中心频率是40 MHz,调频斜率为80。小波脊线在起点处有频率的波动,随后是一条斜率不为0的直线,不存在跳变点。

图4(c)是7位巴克码编码的二相编码信号,载频10 MHz,采样频率为100 MHz,脉宽10.5μs。BPSK信号的小波脊线斜率为0,在相位跳变时刻出现间隔不等,幅度相同的脉冲,跳变点分布比较简单。

图4(d)是13位巴克码编码的四相编码信号,载频10 MHz,采样频率为100 MHz,脉宽19.5μs。与BPSK信号不同的是,QPSK信号小波脊线在一个码元周期中脉冲数目增加,幅度值增多,且脉冲分布在多个区域。脉冲共有三个幅度值,符合了相位调制信号的调制阶数特征。

最后对以上四种信号提取小波脊线分别进行调制识别仿真。测试信噪比从-5 d B增加到5 d B的调制识别概率,以1 d B为步长,进行500次Mont Carlo实验,得到了各信号在不同信噪比条件下的识别概率曲线,如图5所示。从图中可以得出,盲分离和小波变换对多分量信号调制识别具有较好的效果,当信噪比大于0时,基本可以实现各分量信号调制类型的自动识别。

5 结论

本文基于复杂电磁环境下多分量信号调制识别问题,提出了一种联合独立分量分析和小波变换的方法。在无先验信息条件下,采用独立分量分析将时频混叠信号恢复成单分量信号。通过连续小波变换,提取信号小波脊线和瞬时频率,利用最小二乘法拟合直线,计算小波脊线特征参数最终完成各信号的调制类型识别。分离过程中不需要雷达信号的先验知识,具有自适应性。此外小波变换可以改善信噪比,该方法具有较强的抗噪性,在低信噪比情况下仍有较好的识别效果。

参考文献

[1]罗永江,赵国庆,斯海飞.基于ICA和小波脊的多辐射源调制类型识别.航天电子对抗,2010;26(6):38-41Luo Y J,Zhao G Q,Si H F.Modulation type recognition base on ICA and wavelet ridge in multiple radar overlapping signal.Aerospace Electronic Warfare,2010;26(6):38-41

[2] Gustavo L R,Jesus G,Alvora S.Digital channelized receiver based on time-frequency analysis for signal interception.IEEE Trans Aerospace and Electronic Systems,2005;41(3):879-898

[3]殷晓中,于盛林.信号的时频分析理论与应用评述.现代电子技术,2006;29(21):118-120Yin X Z,Yu S L.Time-frequency analysis theory and its application.Modern Electronics Technique,2006;29(21):118-120

[4]赵彩华,刘琚,孙建德,等.基于小波变换和独立分量分析的含噪混叠语音盲分离.电子与信息学报,2006;28(9):1565-1568Zhao C H,Liu J,Sun J D,et al.Blind separation of noisy speech mixtures based on wavelet transform and independent component analysis.Journal of Electronics&Information Technology,2006;28(9):1565-1568

[5]刘凯,韩嘉宾,王韵白,等.基于切割聚类的快速多分量LFM信号分离.系统工程与电子技术,2015;37(6):1004-1008Liu K,Han J B,Wang Y B,et al.Fast separation of multi-component LFM signals based on segmented clustering.Systems Engineerin and Electronics,2015;37(6):1004-1008

[6]冷明伟,陈晓云,谭国律.基于小样本集弱学习规则的KNN分类算法.计算机应用研究,2011;28(3):915-917Leng M W,Chen X Y,Tan G L.KNN classification algorithm based on rule of weak leaming on small sample sets.Application Research of Computers,2011;28(3):915-917

[7] Hyvrinen A,Oja E.A fast fixed-point algorithm for independen component analusis.Neural Computation,2000;9(7):1483-1482

[8]任春辉,魏平,肖先赐.改进的Morlet小波在信号特征提取中的应用.电波科学学报,2003;18(6):633-677Ren C H,Wei P,Xiao X C.Application of a modified morlet wavele in feature extraction.Chinese Journal of Radio Science,2003;18(6):633-677

[9]郁春来,万建伟,徐如海.改进小波脊线法算法分析和仿真.现代雷达,2005;27(8):46-47Yu C L,Wan J W,Xu R H.Algorithem analysis and simulation o improved wavelet-ridge method.Modern Radar,2005;27(8):46-47

[10]余志斌,陈春霞,金炜东.一种新的Morlet小波及其在雷达信号特征提取中的应用研究.电路与系统学报,2010;15(1):129-134Yu Z B,Chen C X,Jin W D.Application of a new morlet wavelet in feature extraction.Journal of Circuits and Systems,2010;15(1):129-134

[11]张晓松,林明.小波变换与线性调频信号脉内调制特征分析.科学技术与工程,2012;12(36):9840-9844Zhang X S,Lin M.Modulation ananlysis of wavelet and LFM signal.Science Technology and Engineering,2012;12(36):9840-9844

独立分量分析盲信号分离方法研究篇4

近年来,盲信号处理技术已成为信息处理领域的热门课题,在阵列信号处理、语音处理和通信等领域均显示了诱人的应用前景。盲信号处理涵盖的内容十分广泛,包括信号盲分离、信号盲解卷、信号盲辨识和图像盲恢复等。其中盲信号分离(Blind Signal Separation,BSS)是盲信号处理的一个重要方面,盲信号分离是指从若干观测到的混合信号中恢复出未知的源信号的方法,它可以应用于许多领域,如语音分离与识别、雷达信号处理、声纳信号处理和电子对抗等。根据不同的分类标准,盲信号分离可以分成若干类。从混合通道的个数上分,信号的盲分离可以分为多通道信号分离和单通道信号分离;从源信号的混合方式上分,可将盲信号分离问题分为瞬时混合和卷积混合[1],线性混合和非线性混合等不同种类。

至今,已经发展了许多瞬时混合盲信号分离的算法,这些算法大致可分为以下3种:独立分量分析法、熵最大化法和非线性主分量分析法。其中,独立分量分析方法是近几年才发展起来的一种新的方法,但是由于其大量成功的应用,使得独立分量分析方法在盲信号分离领域尤其是在瞬时混合信号的盲分离上得到了越来越多的关注。

1 盲信号分离的数学模型

盲信号分离(BSS)是指从若干观测到的多个信号的混合信号中恢复出无法直接观测到的原始信号的方法。通常,观测信号来自一组传感器的输出,其中每一个传感器接收到多个原始信号的一组混合。

设有n个信号源和m个传感器,测量信号和源信号之间关系式为:

undefined。

式中,A=(aij)m×n为混合矩阵;undefined是观测信号,它是n个未知源信号undefined的瞬时线性混迭;N(t)是m×1的加性噪声矢量。这里只研究如下无噪声信号混迭模型公式:

undefined。

根据上式,盲信号分离问题可以描述为:在混合矩阵A和源信号矢量S(t)均未知的条件下,求一分离矩阵W,使得W对混合信号矢量X(t)的线性变换:

undefined

为对源信号矢量S(t)或其某些分量的一个可靠的估计,即

undefined,

由于求得的分离矩阵W不会恰好是A-1,因此分离信号与源信号存在不确定性,即和源信号S(t)相比,Y(t)的幅度和排列次序是不确定的,而在实际应用中,只要保持波形的形状不变,这2个不确定性都是可以接受的。

2 非高斯性最大化的ICA算法

用于进行盲信号分离的独立分量分析(Independent Component Analysis,ICA)方法主要有以下几种,非高斯性最大化的ICA算法、最大似然估计的ICA算法[4]、互信息最小化的ICA算法、非线性去相关和非线性主分量分析的ICA算法。其中,非高斯性最大化的ICA算法又包括基于四阶累积量的和基于负熵的非高斯性最大化的ICA算法。主要介绍用四阶累积量度量非高斯性进行瞬时混合盲信号分离的方法。

2.1 四阶累积量判决准则

由中心极限定理可知,一随机量如由许多相互独立的随机量之和组成,只要各独立的随机量具有有限的均值和方差,则不论各独立随机量为何种分布,则该随机量必接近高斯分布。因此可以在分离过程中,通过对分离结果非高斯性的度量来监测分离结果间的相互独立性,当非高斯性度量达到最大时,则表明完成了对独立分量的分离[5]。

首先假设所有的随机变量都是零均值的,这样一随机变量y的四阶累积量记作kurt(y),定义式为:

undefined。

进一步假设y是标准化的,以便其方差为1,这时E{y2}=1。上面的定义式就被简化为:

undefined。

根据信息理论,对于一高斯随机变量y,它的四阶累积量kurt为零;对于大多数非高斯随机变量,它们的四阶累积量kurt一般是非零的。所以,四阶累积量偏离0的程度越大,非高斯性越强。这样,用四阶累积量度量非高斯性的方法可归纳如下:

kurt(y)=0,则y呈高斯分布;

kurt(y)<0,则y呈亚高斯分布;

kurt(y)>0,则y呈超高斯分布。

2.2 预处理

所谓的预处理即对观测信号进行的白化处理。此时的白化处理可去除各观测信号间的相关性,因而简化了后续独立分量提取的过程。信号的白化处理比较简单,用类似主分量分析方法即可实现。设白化后的信号为Z,则Z满足:

E{Z·ZT}=E{(B·X)(B·X)T}=I。

式中,B称为白化矩阵;I为单位矩阵,符号“T”为矩阵(向量)的转置。经白化处理后,观测信号X变为具有单位方差的信号向量Z,且Z中各信号分量相互正交。接下来对白化信号Z进一步处理,即寻找分离矩阵W以实现独立分量的提取。

2.3 基于四阶累积量的快速定点算法

快速定点算法的收敛速度快,并且不存在学习步长选择的问题,因此它比梯度算法更稳定。下面直接给出了基于四阶累积量的快速定点算法:

w←E{Z(wTZ)3}-3w,

w←w/‖w‖。

2.4 降阶正交化和对角正交化

分离一个信号时可直接利用前面给出的梯度算法或快速定点算法。但是如果要分离n个独立源信号,则必须运行前面的某个算法n次,并且为了保证每次所估计的是不同的独立成分,需要在迭代过程后做正交化处理,下面是2种正交化处理的方法。

降阶正交化意味着一个一个地估计独立源信号。假设已经估计出p个源信号,或者说求出了p个分离列向量w1,w2,…,wp,在求第p+1个源信号时,先要用前面的某个算法求出wp+1,再做下面的正交化处理以保证分离的第p+1个信号和前面分离出的p个信号不同:

undefined。

对角正交化是同时估计出n个分离列向量wi,然后令W=(w1,w2,…,wn)T,再做如下处理:

W←(WWT)-1/2W。

式中,(WWT)-1/2可以通过对WWT=Ediag(d1,…,dn)ET进行特征值分解得到:

(WWT)-1/2=Ediag(d1-1/2,…,dundefined)ET。

这样就求出了可以同时分离n个信号的分离矩阵W。此外,还有一种更简单的方法求分离矩阵W:

① W←W/‖W‖;

② W←3/2W-1/2WWTW;

③ 不收敛则返回第②步。

2.5 快速定点ICA算法描述

① 对观测信号X进行去均值处理,使得E(xi)=0,再对X进行去白化处理,使得undefined;

② 令n等于要估计的独立源信号的个数;设置计数器p=1;

③ 随机产生一列向量wp,令wp=wp/‖wp‖;

④ wp←E{Z(wundefinedZ)3}-3wp,wp←wp/‖wp‖;

⑤ 做正交化处理:

undefined;

⑥ 如果wp不收敛,则返回到步骤④;

⑦ 令p=p+1;如果p≤n,则返回到步骤③。

3 仿真结果

现举例说明上述基于四阶累积量的快速定点ICA算法的有效性。

考虑3个传感器接收到来自3个源的混叠信号,这3个源信号为:

s1=sin(600*t+5*cos(60*t)),

s2=sin(60*pi*t),

s3=sin(5*pi*t)。

混叠矩阵A随机选定。分离结果如表1、图1和图2所示。

4 结束语

介绍了一种具体的非高斯性最大化的独立分量分析方法。从度量非高斯性的准则出发,利用四阶累积量进行判决,得到了相应的定点算法。该定点算法收敛速度较快,是二次收敛的,而且不需要选择学习步长,所以使用起来简单方便,并且使用任意非线性函数都可以直接找到非高斯分布的独立分量,而不需像许多算法那样首先要进行概率分布函数的一些估计,再相应选择非线性函数。利用该方法对多个通信信号的混合信号进行了分离[6]。分离结果表明该算法对通信信号的分离能取得较好的分离效果,说明ICA算法在盲源分离方面具有很大的潜力。 

摘要：盲源分离是指从多个相互独立的源信号的混合信号中分离出源信号来。独立分量分析法是盲源分离的一种新方法,由于其在语音信号处理、阵列信号处理、生物医学信号处理、移动通信及图象处理等领域的应用前景,越来越引起人们的关注,成为研究的热点。介绍一种基于四阶累积量的非高斯性最大化的ICA算法解决盲源分离的问题,并给出了该算法分离通信信号的计算机仿真结果,验证了算法的有效性。

关键词：盲信号处理,盲源分离,独立分量分析

参考文献

[1]刘琚,何振亚.盲源分离和盲反卷积[J].电子学报,2002,30(4):570-576.

[2]刘琚,梅良模,何振亚.一种盲信号分离的信息理论方法[J].山东大学学报,1998,33(4):398-403.

[3]COMON P.Independent Component Analysis,A New Con-cept[J].Signal Processing,1994,36(3):287-314.

[4]解静,李艳斌,陈建峰.最大似然估计的独立分量分析法[J].无线电工程,2004,182(34):10-11.

[5]LEE T W.GIROLAMI M,SEJNOWSKI T J.IndependentComponent Analysis Using an Extended Infomax Algorithmfor Mixed Sub-gaussian and Super-gaussian Sources[J].Neural Computation,1998(11):609-633.

非线性独立分量分析篇5

关键词：文本聚类,向量空间模型,独立分量分析,非负矩阵分解,特征提取

0 引言

在文本聚类的过程中,通常涉及到两个关键问题,一是文本的预处理,二是选择合适的文本聚类算法模型。对文本预处理主要包括分词、去停用词处理和特征词提取等几个过程。北京大学计算机语言研究所在中文分词领域做了很多工作,提出了中文分词的有效方法[1];词频/倒文档频率方法是筛选特征词的有效方法,康乃尔大学的萨尔顿(Salton)多次写文章、写书讨论TF/IDF在信息检索中的用途。

文本聚类算法目前常用的则有分层法、分割法、密度法、网格法、基于模型的方法、基于模糊的方法等等。但这些算法多数都对文本特征矩阵的维度有较为苛刻的要求,一旦维度增大,则聚类效果会急剧下降。由于原始文本数据的复杂性,经处理形成的文本特征矩阵维度仍然相当大,出现了“维度灾难”问题[2]。这种不平衡问题导致许多聚类算法不能直接在文本特征数据上有效应用。在文本特征矩阵中还存在着冗余、词语多义和噪声等问题。为了克服这些缺点,本文提出将独立分量分析(ICA)用于特征词提取,目的是,在聚类之前,减少冗余数据和噪声数据的影响,以得到一个更为理想的聚类结果。

文本聚类过程如下:先通过数据清洗、分词过滤等处理过程构建出向量空间矩阵(Vectro-space Model,VSM);然后,采用独立分量分析(Independent Component Analysis,ICA)算法选出m个特征词构成的矩阵Y;进而,应用非负矩阵分解(NMF)、稀疏非负矩阵分解(SNMF)等算法对选出的数据集聚类,得出聚类结果。处理流程如图1所示。

1 文本的向量空间模型

本文采用向量空间模型(VSM)[3]来表示文本数据。其基本思想是:假设词与词之间是不相关的,以向量来表示文本,从而简化了文本中关键词之间的复杂关系,使得模型具备了可计算性。

在VSM中,将文档看成是相互独立的词条组(T1,T2,T3,…,Tn)构成,对于每一个词条Ti,根据其在文档中的重要程度赋予一定权值Wi,并将(T1,T2,T3,…,Tn)看成是一个n维坐标系中的坐标轴,(W1,W2,W3,…,Wn)为对应的坐标值。这样由(T1,T2,T3,…,Tn)分解得到的正交词条矢量组就构成了一个文档向量空间[4]。常用[0,1]区间内的实数来表示某个特征词在文档中的权重,权重主要根据词频tf、倒文档频率idf、规格化因子来计算。

目前应用效果比较好的权值函数是改进的TF-IDF公式,如式(1)所示。

t f(T):词T在整个文本集中的总频数,log(N/df(T)):为词T的倒文档率,

df(T):包含词T的文本数,N:整个文本集中的文本数。

采用该算法计算各文本筛选出来的每个特征词的权重Wi,构成向量空间模型矩阵X,如式(2)所示。设T={t1,…,tp}表示某文本中所有特征词组成的一个词条组,其中ti(1≤i≤p)表示一个特征词,表示全部特征词的个数。设S={s1,…,sn}表示由文本所构成的样本集合,其中表示样本数量,每一个样本si(1≤i≤n)表示在某文本中所有特征词的权重向量,即si(1≤i≤n)是一个p维空间向量,且。

2 文本特征提取过程

上述文本特征矩阵X仍然具有较高的维度,且数据具有典型的非高斯性,不仅要抽取数据的线性(二阶)统计信息,而且要注重数据的非线性(高阶)统计信息。

2.1 独立分量分析算法

独立分量分析(ICA)是主分量分析(PCA)的一种扩展[5],它已被用于声音信号的分离以及生物信息的处理等领域,并取得了很好的效果。PCA作为一种有用的无监督统计方法用来找出一致特征样本,其特点是只对二阶统计信息敏感。而在对文本特征数据作分析时,很多重要的信息是含在样本的高阶关系之中。独立分量分析(ICA)可以克服这一缺陷,其主要任务是使得变换后的信号尽可能地相互独立,这意味着数据的高阶相关性可以由ICA来去除。实验中,我们分析了一系列的独立分量(ICs)的数目和所选特征词的数量,旨在找出可以得到最大聚类正确率的最小特征词数。

设有n×p的矩阵X,其行表示变量(对于文本特征数据来说表示文本样本),其列表示个体(对于文本特征数据来说表示特征词),则矩阵的ICA模型可以记为式(3):

式(3)中,S是源矩阵,A是n×n维的混合矩阵。S的各列sk是统计独立的,称作矩阵S的独立分量ICs。X的各列是ICs的线性混合。我们将混合矩阵作如式(4)的转换:

ICA算法就是寻找合适的权矩阵W,从特征词矩阵X中提取独立的特征样本U(S的拷贝),以使U的各列尽可能地统计独立。

2.2 Fast-ICA算法

目前,已经提出了很多的独立分量分析算法[6]。由于Fast-ICA所具有的快速计算性及处理海量数据的能力,我们用该算法对特征词矩阵数据进行分析处理,在Fast-ICA中[7],各分量间的互信息是用近似计算公式(5)来表示的:

其中,G是任意的非二次函数,ζ是均值为0、方差为1的高斯分布的变量。ICA在分离变量的幅值和顺序上存在一定的不确定性,为消除不确定性,通常假定分离变量的方差为1。

Fast-ICA算法处理过程如图2所示,样本的快照ri看作是一系列相互统计独立的特征样本si的线性叠加。ICA算法就是要寻找合适的权矩阵W,从文本特征数据X中提取独立的特征样本U。在这个模型中,每一个快照ri看作一个随机变量,其中的每个文本各特征词权重组成的向量看作是随机变量的一个取值。

用ICA算法来估算矩阵W,使得矩阵U的各行统计独立,然后就可以用这些独立的特征样本(U的各行)来表示各个样本的快照ri。如式(6)所示,一个文本样本ri可以用独立的特征样本U和与之对应的坐标ai来表示。

这些坐标实际上就是混合矩阵A=W-1的各个行。

3 实验分析

为验证上述方法的有效性,于2011年11月从新浪网(www.sina.com.cn)上采集了中文文本数据集。数据集有400例样本。这400例样本分别属于4类:财经、社会、科技、体育。实验中,采用了评估文本分类经常使用的指标--召回率进行结果正确率评价。

在运行关键特征词选择程序时,独立分量的个数z值从1至10分别取10个不同的值,对于每个值,试验了50个不同的m值(1≤m≤p)。为了论证我们所用方法的有效性,对每个所选出的数据集,都分别应用NMF、SNMF、NMFSC进行聚类。使用召回率来表述聚类正确率[8],召回率计算公式如式(7)。

其中若样本ji的聚类正确,则I(ji)值为1,否则为0,n为样本数。

表1给出了对应不同关键特征词数NMF,SNMF和NMFSC算法对所选出的数据集聚类时的聚类正确率,其中,对于ICA,独立分量(ICs)数值z=7,对于NMF,SNMF和NMFSC,k=4。由以上结果可以看出,对于此数据集,ICA算法提取特征词可以有效改善聚类效果。

4 总结

本文提出了将独立分量分析方法用于文本特征词的提取。文中通过选择用ICA抽取的独立分量的个数和关键特征词的个数,找到了利用不同聚类算法得到最大聚类正确率的最少关键特征词数。至于关键特征词选择对于聚类稳定性的影响,并没有发现明显的规则。今后,应在更多的数据集上针对ICA算法与其他聚类算法的协作问题以及聚类稳定性等问题作更深入的研究。

参考文献

[1]北京大学计算语言学研究所.[EB/OL].http://icl.pku.edu.cn,2011.9.20

[2]West M.Bayesian factor regression models in the'large p,small n'paradigm[J].Bayesian Statistics,2003(7):723-732.

[3]王秀娟.文本检索中若干问题的研究[D].北京:北京邮电大学,2006.

[4]沈斌.基于分词的中文文本相似度计算研究[D].天津:天津财经大学,2006.

[5]Shahnaz F,Berry M,Pauca P,et al.Document clustering using nonnegative matrix factorization[J].Journal on Information Processing&Management,2006,42(2):373-386.

[6]HyvarinenA,Oja E.Independent component analysis:algorithm and applications[J].IEEE Transactions on Neural Networks,2000(13):411-430.

[7]HyvarinenA.Fast and robust fixed-point algorithms for independent component analysis[J].IEEE Transactions on Neural Networks,1999(10):626-634.

非线性独立分量分析篇6

在生产﹑科研和日常生活中我们经常会遇到判别分类问题, 在这些问题中, 已经知道研究对象可以分为几个类, 而且对这些类别也已经作了一些观测, 取得了一批样本数据.我们需要对这些数据进行处理, 找到不同类别之间的显著性区别和判别方法.

主分量分析和线性判别分析是我们最常用的两种方法[1].主分量分析又称主成分分析, 也有称经验正交函数分解或特征向量分析.判别分析又称“分辨法”, 是在分类确定的条件下, 根据某一研究对象的各种特征值, 判别其类型归属问题的一种多变量统计分析方法.线性判别分析是判别分析的一种, 它是运用线性方程进行判别.Fisher线性判别为线性判别中最重要的判别方法之一[2].

1主分量分析和线性判别分析的原理

主分量分析的基本原理:把原来多个变量划为少数几个综合指标的一种统计分析方法, 是一降维处理技术.主分量分析的基本思想:主分量分析是设法将原来众多具有一定相关性的指标 (比如p个指标) , 重新组合成一组新的互相无关的综合指标来代替原来的指标.通常数学上的处理就是将原来p个指标作线性组合, 作为新的综合指标[3].

Fisher线性判别分析的基本原理:将高维空间中的类映射到低维空间, 并且要求在低维空间类与类之间较好区分, 是一降维处理技术.Fisher线性判别分析的基本思想:对于多个类来讲, 我们希望类内离散度越小越好, 类间离散度越大越好.对于原始的类, 我们想通过将其投影到低维空间, 并且要求经过投影后达到类内离散度最小, 类间离散度最大.在投影的过程中, 如果投影到一维空间效果不是很好, 我们可以将其维数增多[4].

2实例

现对三类品种的鸢尾属 (Iris) 植物进行研究, 希望通过研究鸢尾属植物的几个主要指标, 可以将一个未知样本进行归类.对鸢尾属植物的四个指标进行了统计.对统计数据作如下变换:

1对所有样本数据X进行中心化标准化.

2对处理后的数据求解相关系数矩阵R得

3求解R的特征值λi和特征向量ei.

由上表可以看出, 前三个特征值的累积贡献率已达到99.485%, 所以我们选取前三个特征值所对应的特征向量为主成分, 这样我们就将四维空间降到三维空间.原始数据经过主分量分析, 位数降低, 得到变换Y=X*E.

经过主分量分析, 原始数据已经降到三维, 我们将对得到的三维空间里的数据再次进行降维处理.我们选取各类中的前40个样本代表该类进行研究.

4分别计算出各类的样本均值mk和所有样本的均值

5计算类内离散度矩阵Sw和类间离散度矩阵Sb

6计算Sb和Sw的广义特征值和特征向量

由于η2比η1小很多, 并且η2接近于0, 所以我们只选取特征值η1所对应的特征向量组成最优投影矩阵

7对Y进行Fisher线性判别, 得到变换Z=Y*W.

8计算经过变换后所得到的类的均值

通过主分量分析和Fisher线性判别, 我们将样本由四维空间降到一维空间.由上面的计算, 我们可以得到公式Z=X*E*W.

随机选取45个样本得到样本组x, 在选取样本时, 前15个样本是从第一类中抽取的, 中间15个样本是从第二类中抽取的, 最后15个样本是从第三类中抽取的.我们首先对需要判别的样本进行变换, 然后分别计算这45个样本到三类均值的距离

dij表示第i个样本到第j类的距离.

表2中加粗的数字表示该样本距离某类均值距离最小, 也就是样本属于这个类.判别结果为前15个样本判为第一类, 中间16个样本判为第二类, 最后14个样本判为第三类.其中第31个样本通过距离判别判为第二类, 而这个样本是从第三类中抽取的;其他样本判别均正确.在这次判别中, 错误率为1/45, 我们认为判别是比较合理的.对所有的样本都进行分类判别, 其错误率为4/150, 我们认为对数据的处理以及距离判别的方法是比较合理的.

3小结

我们在研究鸢尾属植物的三个品种时, 首先运用主分量分析, 在这个过程中维数降低了一维, 但我们保留了99.485%的原有信息, 可以说这一数据变换很有意义.在主分量分析之后, 我们再运用Fisher线性判别分析, 将数据进行投影, 投影到一维空间.然后我们选取了45个样本进行分类判别时, 判别结果比较理想, 从而验证了两次降维处理的有效性和距离判别的可行性.

参考文献

[1]陆元鸿.数理统计方法[M].上海:华东理工大学出版社, 2005, 8.

[2]吴翊, 李永乐, 胡庆军, 等.应用数理统计[M].长沙:国防科技大学出版社, 2005.

[3]朱永生.实验数据多元统计分析[M].北京:科学出版社, 2009.

[4]杨淑莹.模式识别与智能计算Matlab技术实现[M].北京:电子工业出版社, 2008.

非线性独立分量分析篇7

21世纪是信息时代, 信号处理一直在科学技术的发展中扮演着十分重要的角色。盲信号处理是目前信号处理中最热门的新兴学科之一, 盲源分离是盲信号处理的重要分支。所谓盲源分离就是在对信源和通道先验知识甚少的情况下, 仅由观察信号推断信源和通道的特性, 最终恢复或提取独立的各个源信号的方法[1]。盲信号分离被广泛应用于通信、生物医学、图像处理、语音识别等众多领域, 有着非常广阔的应用前景, 己经成为信号处理学界和神经网络学界共同感兴趣的热点研究课题之一。

1 独立分量分析的基本概念

独立分量分析就是从多维观测信号中发现隐含在其中的独立分量或因素, 是利用高阶统计工具和信息论的知识来分析信号的统计独立性, 实现信号的盲源分离。独立分量分析算法在很多文献中以不同的名字被提及, 独立分量分析理论和盲源分离很接近, 通过独立分量分析问题的解就可以在盲源分离中恢复出源信号, 反之也可以用盲源分离的算法来找到独立分量分析问题的解。但是, 独立分量分析理论具有更强的通用性。独立分量分析通过最大化一个基于高阶累计量的分离准则, 有的文献称之为对照函数, 使得互累积量为零。在此情况下寻找一个新的矢量坐标系, 使得混合信号在该坐标系下的投影是相互独立的, 并且与原始信号相对应, 从而实现信号的分离[2]。

2 ICA的主要准则

2.1 信息传输最大化准则和最大化负熵

信息量的大小代表了信号中不确定信息的多少, 而度量信息量是通过熵来测量。冗余量描述了数据的内在顺序和结构, 同样冗余量也可以测量数据的信息量大小。从互信息的定义可知, 由I (x|y) 可测量系统输出和输入的关系, 当两者的冗余量信息最少时, I (x|y) 达到最小值。A.T.Bell和T.J.Sejnowski提出最小化I (x|y) 来减少系统输出y和输入x之间的冗余量[3]。

P.Commonls证明最大化系统的输出负熵也能导致信号的分离[4]。负熵是从熵概念中引申出来的, 输出y的负熵定义为:

$J (y) = Η (y_{f}) - Η (y) (1)$

式中:yf是与y具有相同协方差矩阵的高斯随机变量。负熵的特点是对y的线性变换保持不变, 而且总是非负的, 只有当y是高斯分布时才为零。基于这些特点, 负熵是一个很好的目标函数。由此可以推出负熵和互信息的关系为:

$Ι (y | [y_{1}, y_{2}, \dots, y_{m}]) = J (y) - \sum_{i = 1}^{m} J (y_{i}) + \frac{1}{2} \ln \frac{π C_{i i}}{\det C} (2)$

式中:C是y的协方差矩阵;Cii是矩阵的对角元素。当y的各个元素不相关时, 式 (2) 右边第三项为零, 式 (2) 变为:

$Ι (y | [y_{1}, y_{2}, \dots, y_{m}]) = J (y) - \sum_{i = 1}^{m} J (y_{i}) (3)$

根据负熵的特点, 输出y和元素的最小互信息等价于最大化元素的负熵的和。因此基于负熵的目标函数为:

$Θ_{j} = \sum_{j = 1}^{m} J (y_{j}) (4)$

最大化式 (4) 就能实现盲源分离。

2.2 最小互信息准则

盲源分离的目的是使输出信号尽可能的独立, 而KL散度或互信息则是测量统计独立的最好信息量。观测数据经过分离矩阵W后, 如果输出y的各个元素相互独立时, 则输出y与各个分量的互信息为零。

以y的互信息为准则的目标函数定义为:

$\begin{array}{l} Ψ_{m l} = Κ L (p (y), \prod_{i = 1}^{m} p (y_{i})) \\ = \int p (y) \ln \frac{p (y)}{p (y_{1}) p (y_{2}) \dots p (y_{m})} d y (5) \end{array}$

最小化目标函数Ψml就可减少y中各个元素的相互依赖性。当Ψml=0时, y的各个元素是相互独立的。由互信息和熵的关系, 式 (5) 可写为:

Ψml=H (y1) +H (y2) +…+H (ym) -H (y) (6)

2.3 极大似然准则计算法

盲源分离中惟一知道的信息就是观测数据, 因此极大似然估计就是比较自然的选择。对于给定的模型, 观测数据的似然函数是模型参数的函数。若假定源信号的概率密度函数为p (s) , 当混合系统定义为x (k) =As (k) , y (k) =Wx (k) 时, 观测信号x的概率密度函数p (x) 与源信号的概率密度函数p (s) 之间满足:

$p (x) = \frac{p (W^{- 1} x)}{| \det W |} (7)$

则观测数据的对数似然函数定义为:

$\begin{array}{l} Ψ_{m l} = E [\ln p (x)] = \int l n p (x) p (x) d x \\ = \int (\ln p (W^{- 1} x) - \ln | \det W |) p (x) d x \\ = \int p (x) \ln p (W^{- 1} x) d x - \ln | \det W | (8) \end{array}$

当仅获得数据的T个独立同分布的样本时, 对数似然函数近似为:

$Ψ_{m l} = \frac{1}{Τ} \sum_{i = 1}^{Τ} (\ln p (W x (t)) + \ln | \det W |) (9)$

最大化对数似然函数式, 可以获得关于W的最佳估计。

3 衡量盲源分离算法性能的方法

(1) 利用信噪比来衡量盲源分离算法的性能, 为:

$S Ν R (y) = 10 \lg [\frac{E [| s |^{2}]}{E [| y - s |^{2}]}] (10)$

信噪比越高, 说明分离性能越好。

(2) 盲源分离算法的性能也可通过矩阵P=WA来衡量, 如果P的每一行每一列有一个元素远大于其他元素, 说明算法能很好地恢复源信号。令P=[p1, p2], 由于p1和p2都是非单位矩阵, 这意味着分离出的源信号的幅度和列顺序发生了变化, 因此说明了盲源分离存在着信号幅度和恢复次序的不确定性。

4 常见的ICA算法

ICA算法的基本原理就是依据等独立性度量的准则来建立目标函数, 使分离出的独立分量最大程度地逼近各个源信号。不同ICA算法的研究主要体现在独立性度量准则的选取和对目标函数的优化准则上的不同。

ICA算法的目标函数很多, 主要有最大化非高斯性、最小化互信息、Infomax和极大似然估计。虽然建立不同目标函数的基础和出发点不尽相同, 但是许多目标函数都有相同的形式, 在一定条件下它们是等价的[5]。

ICA算法的实现大致分为两条:批处理 (Batch Processing) 和自适应处理 (Adaptive Processing) 。批处理的含义是指依据一批已经取得的数据来进行统计学处理, 尽管这些数据可以反复使用, 但是却需要大量的存储空间来存储, 而且统计处理无法快速适应变化的数据, 属于离线处理, 如FastICA算法;自适应处理的含义是指随着数据的不断输入作递归式迭代处理, 其无需大量的数据存储空间, 输入一个数据就处理一个, 所以数据的整个处理过程也被称为实时处理或在线处理。前者适宜于非实时数据处理的场合, 但收敛速度较快;后者适合于实时信号处理的场合, 但收敛速度较慢, 并且算法的收敛性能与步长的选择有关。

4.1 Infomax算法 (最大熵法)

Infomax[6]算法是基于信息最大化判据导出的一种新的优化算法。这个算法是由Bell和Sejnowski于1995年提出的一种单层前馈神经网络算法。Informax算法的处理流程如图1所示。

在图1中, x为m路观测信号向量, 它是由n个独立源信号线性混合而成。网络输出为u=Wx, 是对真实源信号的逼近, g (·) 为可逆单调非线性函数, 非线性输出为yi。

Infomax算法的处理过程的特点是:经W解混后, 对输出y的每一个分量yi分别用一个可逆的单调非线性函数g (yi) 加以处理, 在给定合适的g (yi) 后, 通过调节W使g (y) 的综合信息熵H (g (y) ) 最大。使用随机梯度下降优化算法, 用瞬时或随机梯度代替真实梯度, 即得到随机梯度算法为:

$Δ W = μ [W^{- Τ} - g (y) x^{Τ}] (11)$

式中:μ为步长;g (·) 为给定的非线性函数, g (y) 是将向量y的每个成分执行给定的标量函数g (·) 。

对于一个单层线性前馈神经网络, 简单的最大化将使输出熵H (y) 发散至无穷。Bell提出在线性神经网络的输出端引入非线性环节:

$y = g (u) = g (W x) (12)$

由于非线性函数是单调可逆函数, 因此由yi相互独立必然能得出ui相互独立, 从而实现独立源的盲信号分离。这样将线性网络的信息极大传输问题转变为非线性网络的信息传输极大问题, 采用统计梯度算法对神经网络连接权值进行调整。即算法中只对分离矩阵W进行调整。在低噪声的情况下, 可较好地实现多路线性混合信号的盲源分离。

该算法对所有的超高斯源都采用了相同的非线性函数, 也得到了非常理想的盲源分离效果。这说明了非线性函数选择条件不一定非要严格满足。只要非线性函数逼近源信号的累积分布函数就可以得到较好的分离效果。通常, 采用统一而固定的非线性sigmoid函数, 即:

$y_{i} = g_{i} (u) = 1 / (1 + e^{- (a u + b)}) (13)$

式中:参数a的大小决定着sigmoid函数上升沿和导函数的陡峭度;b为波形位置偏移参数。

Infomax算法可有效地分离多个超高斯分布的源信号, 结合Amari等提出的自然梯度和极大似然估计法, 对其进行了推广, 使该算法能够分离超高斯和亚高斯分布的混合信号。主要缺点是:收敛速度慢, 同时由于涉及分离矩阵W的求逆, 一旦W在更新过程中条件数变差, 算法就可能发散。

4.2 互信息极小法

互信息是盲源分离算法中的一个规范的代价函数, 因为它表达了独立源的关键性质。不同的ICA算法中包含不同的代价函数, 但是一般都是以输出信号的互信息最小为最终目的。

对于盲分离问题的估计信号y, 它的互信息量为:

$\begin{array}{l} Ι (y) = \int p (y) \log \frac{p (y)}{\prod_{i = 1}^{n} p (y_{i})} d y = \\ \int p (y) \log p (y) d y - \sum_{i = 1}^{n} \int p (y_{i}) \log p (y_{i}) d y_{i} (14) \end{array}$

可将式 (14) 中的互信息量用微分熵来表示:

$Ι (y, W) = \sum_{i = 1}^{n} Η (y_{i}, W) - Η (y, W) (15)$

由y=Wx可以得到输入信号与输出信号熵之间的关系为:

$Η (y, W) = Η (x) + \log | W | (16)$

式中:H (x) , H (y) 分别是输入信号熵和输出信号熵。

将式 (16) 代入式 (15) 可得:

$Ι (y ‚ W) = - Η (x) - \log | W | + \sum_{i = 1}^{n} Η (y_{i}) (17)$

当通过选择W, 使互信息量I (y) 极小, 则得出最小互信息量判据。

该方法的目标函数是使I (y, W) 极小, 因此调节规律是:

$Δ W = - μ \frac{\partial Ι (y, W)}{\partial W} (18)$

最后得系数调节公式为:

W (k+1) =W (k) +μk[W-T (k) -φ (y (k) ) xT (k) ] (19)

4.3 固定点算法 (FastICA)

固定点算法是对一组给定数据的递推计算, 属于批处理。首先对观测信号进行预处理, 包括中心化和白化。中心化即观测信号减去它的均值, 变成零均值矢量。白化是通过PCA网络将观测信号线性变换为具有单位方差且各分量互不相关的z。预处理是简化计算。下面对x做进一步处理, 即依据负熵判据来寻找矩阵以实现独立分量的分离。依据牛顿迭代定理, FastICA算法的调整公式为:

$\begin{array}{l} W^{+} = E {z g (W^{Τ} z)} - E {g^{'} (W^{Τ} z)} W (20) \\ W^{*} = W^{+} / ∥ W^{+} ∥ (21) \end{array}$

式中:W+为某一次牛顿迭代的结果;W*是W+归一化后的更新值。上述过程只估计了一个独立分量, 若要估计n个独立分量, 在每次提取一个分量之后, 要从观测信号中减去该独立分量, 如此重复, 直到所有分量都被提取出来为止。去掉已提取的独立分量的方法为 (设已估计了p个分量) :

$\begin{array}{l} W_{p + 1} = W_{p + 1} - \sum_{j = 1}^{p} W_{p + 1}^{Τ} W_{j} (22) \\ W_{p + 1} = W_{p + 1} / \sqrt{W_{p + 1}^{Τ} W_{p + 1}} (23) \end{array}$

与基于梯度的算法相比, 固定点算法不需要选择学习步长或其它参数, 使得这种算法更易使用, 更可靠。由于这个算法一次只提取一个独立分量, 而不是所有的分量, 所以, 如果只要提取某个分量, 又有足够的先验知识, 就可以很快地把它提取出来, 从而减小计算量。此外, 不管是具有正峭度还是负峭度的分量, 采用该算法都能提取出来。

5 结语

盲源分离技术是近二十年发展起来的一门新型科学, 在各国科学家和研究人员的努力下获得了长足的发展, 但是ICA的研究方兴未艾, 它毕竟是一个涉及面广并且仍处在发展前沿的课题, 在理论上还远没有成熟, 许多问题都有待进一步研究和解决。

(1) 非平稳混合信号的盲源分离算法。

许多情况下源信号可能是非平稳的, 如何利用信号的非平稳特性进行盲源分离, 是摆在广大研究人员面前的一个现实问题。

(2) 带噪混合信号的盲分离问题。

盲信号处理中的未知条件太多, 混合信号含有的噪声情况下的盲源分离问题解决起来是相当困难的。尽管目前已有部分算法对存在噪声的情况表现出了良好的性能, 但由于噪声种类繁多, 因此处理起来仍很棘手。现有的大多数盲源分离或盲解卷积算法都假设不含噪声或者把噪声看作是一个独立的信源信号来处理。

(3) 卷积混合信号的盲源分离算法。

在实际中, 系统接收到的混合输入信号是源信号经过不同的传播途径到达接收器的信号。在这个过程中, 不可避免地存在信号的时延和反射。针对这种情况的盲源分离算法还很不成熟。

(4) ICA的推广应用。

在算法应用方面, ICA可以取得进一步的发展, 如可以在语音识别、图像处理、特征提取、医学信号处理方面作进一步的研究。目前的关键问题是如何将理论算法转化为实际应用, 以及如何建立更加符合实际情况的模型等。

(5) 算法的收敛性。

算法全局收敛性的研究, 可以考虑将遗传算法、混沌算法等具有全局收敛性的优化算法和ICA结合起来, 以提高算法的全局收敛性。

参考文献

[1]杨福生, 洪波.独立分量分析的原理与应用[M].北京:清华大学出版社, 2006.

[2]HYVARINEN A.Survey on independent component analy-sis[J].Neural Computing Surveys, 1999, 2 (4) :94-128.

[3]BELL A J, SEJNOWSKI T J.An information-maximizationapproach to blind separation and blind deconvolution[J].Neutral Compution, 1995, 7 (7) :1129-1159.

[4]COMMON P.Independent component analysis[J].SignalProcessing, 1994, 36 (3) :287-314.

[5]LEE T W, GIROLAMI M, BELL A J, et al.A UnifyingInformation-theoretic framework for independent componentanalysis[J].Computers&Mathematics with Applications, 2003, 1 (11) :1-22.

[6]COMMON P.Independent component analysis:a new con-cept[J].Signal Processing, 1994, 36 (3) :191-235.

[7]杨行峻, 郑君里.人工神经网络与盲信号处理[M].北京:清华大学出版社, 2003.

[8]GARDOSO J F.Entropic contrast for source separation:geometry and stability unsupervised adaptive filtering, volume 1:blind source separation[M].[S.l.]:John Wiley&Sons, 2000:129-189.

[9]AMARI S, CARDOSO J F.Blind source separation-semi-parametric statical approach[J].IEEE Trans.on SignalProcessing, 1997, 45 (11) :2692-2700.

[10]HYVARINEN A, KARHUNEN J, OJA E.Inde pendentcomponent analysis[M].Canada:[s.n.], 2001.

[11]虞晓, 胡光锐.基于统计估计的盲信号分离算法[J].上海交通大学学报, 1999, 33 (5) :566-569.

非线性独立分量分析篇8

关键词：涡流检测,自然裂纹,缺陷信号,独立分量分析

涡流检测(Eddy Current Testing,ECT)是一种检测导电结构表面和亚表面缺陷的有效技术,具有灵敏度高和不需耦合剂等优点。但是,在实际应用中,被检测工件表面形状变化、探头提离和环境噪声等都会对检测信号产生影响,降低缺陷信号的信噪比,直接影响对缺陷的分析和评价[1]。因此,在对缺陷进行定量评价之前,需要对检测信号进行预处理,除去其中的提离噪声和白噪声等非缺陷信号。常用的信号预处理方法有带通滤波、傅里叶变换和小波变换等。带通滤波和傅里叶变换技术可以有效除去平稳信号中部分由于探头提离变化或表面粗糙度引起的非缺陷信号,但不适用于ECT信号这种随时间变化的非连续信号。小波变换是非平稳信号处理的有力工具,已取得许多成功应用,但当有用信号的特征较弱而噪声较强,或有用信号与噪声的频带交叠严重时,小波降噪方法也不是很有效[2,3,4]。

独立分量分析(Independent Component Analysis,ICA)是一种近年发展起来的盲信号处理方法,许多学者对其进行了研究,提出了一系列算法[5,6,7]。与传统的盲信号分离算法相比,ICA算法基于数据的高阶统计量,分离得到的各分量不仅互不相关,而且高阶统计独立,更能反映数据的本质特征。因此,ICA算法在信号处理和工程领域得到广泛应用[8,9]。但尚未在ECT信号分析中得到应用。本文尝试采用ICA算法对ECT信号进行预处理,目的是从混合信号中提取出有效缺陷信号。

1 独立分量分析原理

独立分量分析是一种基于统计的方法,对于一组相关的混合观测信号,寻求一个数据的非奇异变换,使得变换后的数据分量之间相互独立。

图1所示为ICA方法的简单模型框图,图中S(t)=[S1(t),...,Sn(t)]T是由n个未知信号源构成的向量;A是一个混合矩阵。信源S(t)、矩阵A与n个可观测信号X(t)=[X1(t),...,Xn(t)]T之间有下列关系:

ICA方法可以在X(t)已知,S(t)与A均为未知的条件下,求解一个分离矩阵W,使得X(t)可经过下列变换得到n维输出向量Y(t):

Y(t)=[Y1(t),...,Yn(t)]T中各分量相互独立,可以作为S(t)的有效估计值。

2 基于负熵的FastICA算法

ICA算法在对信号进行处理时通常要进行目标函数的确定、观测数据的预处理和独立分量的提取与算法的实现等过程。目标函数确定的关键在于如何度量结果的独立性。目前独立性的度量准则主要有峭度、负熵和互信息等,通过引入合适的非线性函数来近似地计算负熵时,解ICA问题可以获得较快的收敛速度和较精确的计算结果。FastICA算法就是芬兰学者Aapo Hyvarinen等人提出的一种基于负熵这种非高斯性度量准则,逐次提取独立分量的固定点算法[5]。

2.1 负熵目标函数的确定

设一密度为p(y)的随机向量y的熵定义如下:

在具有相同方差的所有随机变量中,高斯变量具有最大的熵,因此可以将熵作为非高斯性的一种度量。

为了对非高斯性的度量更合理,且对高斯变量其取值为零且非负,定义如下形式的负熵:

式(4)中,yGuss为一高斯随机向量且与y具有相同相关矩阵。由式(4)可知:负熵总是非负的,当且仅当y具有高斯分布时其值为零。y的非高斯性越强,Ng(y)的值越大。从统计学角度来讲,负熵是度量随机变量非高斯性的最优工具之一,可作为度量随机变量非高斯性的目标函数。

为了对涉及到的随机变量概率密度进行有效估算,使用一个非二次函数G,可以将负熵近似为:

式(5)中,yGauss为零均值、单位方差的高斯变量;E()为均值运算,G()为高斯函数,由y=wTX(y为其中一个独立分量,w为分离矩阵W的一行,X为混合矩阵),负熵的近似函数也可表示为

问题转换为求分离矩阵W,使分离出的估计信号y=wTX能使函数Ng(y)达到最大这种无限制条件的优化问题。

2.2 FastICA算法

整个算法的步骤如下:

2.2.1 信号预处理

进行ICA处理之前,为了简化计算,去除观测信号间的相关性,可对采样信号进行中心化和白化等预处理。

a)中心化:是对观测信号进行去均值处理。其处理过程是从观测信号中减去信号的均值即E(X),使得观测信号成为零均值变量。其算法为:

b)白化:对去均值后的观测信号向量X施加一个线性变换B,使得新向量珘X=BX的各个分量间互不相关且具有单位方差,其协方差矩阵是单位矩阵,且满足

则称是白化的。

对观测信号进行白化处理使得ICA算法收敛更快,并能获得更好的稳定性和减少需要估计的参数个数。

2.2.2 独立分量分离

经过白化处理后,观测信号变换为具有单位方差的信号珘X,且珘X中各信号分量相互正交。继而可以寻找合适的解混矩阵W,来实现独立分量信号的分离。

分离的过程是一个迭代逼近的过程,用变量n=1,2,…来表示迭代次数,设yi(n)是Yi(n)中n次迭代后的某一分量,wi(n)为待求解混矩阵W(n)中与yi(n)对应的某一行向量,即

根据所确定的目标函数对yi(n)的非高斯性进行度量,用牛顿迭代法对该目标函数求解并化简,可得FastICA固定点算法迭代公式:

式(10)、式(11)中g()为G()的一阶导数。当调整相邻两次的wi(n)没有变化或变化不大时,即wi(n)/‖wi(n)‖收敛时,可认为yi(n)≈yi,否则依据式(10)重新调整wi(n)。

3 实验研究

3.1 实验构建

首先模拟自然环境制作自然裂纹。选用200 mm长,100 mm宽,8 mm厚的Inconel600合金钢板,在机械装置上固定并使平板两端及中间三点反复受力弯曲,直至产生疲劳裂纹。另外采用施力及酸性液体浸泡相结合的方法使试样产生应力腐蚀裂纹。按这样的方法制作了多块具有疲劳裂纹和应力腐蚀裂纹的试样。然后采用如图2所示的实验装置,用涡流检测仪在多种频率下对裂纹进行扫描以获得尽可能多的ECT信号。探头由一台涡流检测仪激励并由计算机控制的扫描平台进行精确定位,采集的ECT信号经A/D转换后在计算机中存储起来用于分析处理。

在利用ECT方法进行缺陷的实际测量过程中,探头不可避免地受到提离(包括被检测物体表面粗糙度、形状变化)、被检测物边缘影响、环境白噪声等因素的影响,得到的测量信号是几种源信号的混合产物。由于探头扫描主要围绕在试样中心的裂纹附近,所以边缘效应对探头的影响可以忽略;考虑到ECT信号中的缺陷成分、提离和干扰噪声是统计独立的,服从非高斯分布,符合ICA应用的基本要求。尝试利用独立分量分析的方法将缺陷响应信号从被污染的ECT信号中分离出来,从而提高缺陷信号的信噪比。

3.2 基于ICA的ECT信号预处理

3.2.1 疲劳裂纹信号预处理

图3(a)所示是采用同一扁平线圈涡流探头分别在不同激励频率下对同一疲劳裂纹进行扫描得到的三组ECT源信号。其中,横坐标为采样点序号,纵坐标为信号幅度。从图3中可见,缺陷信号很微弱,几乎消失在提离噪声和白噪声信号中。

根据ICA理论,采用FastICA算法对图3(a)中的观测信号进行分离,得到的独立分量成份如图3(b)所示。图3中从上至下依次为疲劳裂纹信号,白噪声和探头提离干扰信号,分离效果较好。

3.2.2 应力腐蚀裂纹信号预处理

由于应力腐蚀裂纹内部结构比疲劳裂纹更为复杂,在各种噪声干扰的影响下,所获得的ECT信号往往背离了实际缺陷的情况。图4(a)所示是同一探头分别在不同频率下对同一应力腐蚀裂纹扫描所获得的三组ECT源信号。从中已经很难判断缺陷的位置和形状。

采用FastICA算法对图4(a)中的应力腐蚀裂纹ECT源信号进行分离得到的各独立分量如图4(b)所示。图中从上至下依次为缺陷信号,探头提离干扰和白噪声信号。可见已将缺陷信号清晰分离出来。

为了验证ICA方法在ECT信号预处理中的效果,同时采用小波分析方法对图3(a)所示的疲劳裂纹ECT源信号进行了处理。将提离等低频噪音分解成逼近信号,而将缺陷信号和高频噪音分解成细节信号。图5(a)所示为小波分析过程,图中最上方波形是源信号,图中其它波形是采用经试验选定的一定阶数Daubechies小波将ECT源信号分解成多个频率级的部分结果。从图中可见低频逼近分量提取出了提离噪声,白噪声被分解成高频细节分量。

小波分解之后,按照表征缺陷信号的分解系数不变而其余的设为零的原则来滤除噪声。这样就除去了低频提离噪声和高频白噪声。得到如图5(b)所示的缺陷信号。

将图5(b)小波分解提取的缺陷信号与图3(b)ICA分离结果进行对比,可以发现,除幅度等有所不同外,信号的其余特征非常相近,说明ICA算法在ECT信号预处理中是有效的,分离出的缺陷信号能够有效反映缺陷位置、形状等特征。

4 结论

针对自然裂纹ECT信号由于受到探头提离和白噪声严重影响而难以有效表征缺陷的问题,提出将ICA算法应用在ECT信号预处理中。利用FastI-CA算法对实验获得的疲劳裂纹和应力腐蚀裂纹ECT信号进行了预处理,取得了良好的缺陷信号分离效果。

同时采用小波分析算法进一步验证了ICA技术是提取ECT信号中缺陷分量的有效方法,具有一定应用前景。

采用ICA分离得到的缺陷信号还明显含有白噪声成分,可进一步采用小波分析等方法去噪。对于实际环境中的ECT信号噪声消除,以及如何对不同种类探头获得的源信号进行ICA分离并获得最佳效果,还需进一步研究。

参考文献

[1] Chen Zhenmao,Janousek L,Yusa N,et al.A nondestructive strategyfor the distinction of natural fatigue and stress corrosion cracks basedon signals from eddy current testing.Journal of Pressure Vessel Tech-nology,2007;129(11):719—728

[2]时振堂,陈德智.涡流检测信号小波除噪与缺陷特征提取.无损检测,2003;25(9):472—493

[3]张思全,陈铁群,刘桂雄.基于智能算法的涡流检测自然裂纹形状重构.华南理工大学学报,2008;36(10):129—134

[4]赵晓燕,李宏男.一种改进的小波分析消噪方法及其在健康监测中的应用.振动与冲击,2007;26(10):137—139

[5] Hyvarinen A,Oja E.A fast fixed-point algorithm for independentcomponent analysis.Neural Computation,1997;9(7):1483—1492

[6] Hyvarinen A.Fast and robust fixed-point algorithms for independentcomponent analysis.IEEE Transactions on Neural Networks,1999;10(3):626—634

[7] Hyvarinen A,Oja E.Independent component analysis:algorithms andapplications.Neural Networks,2000;13(4):411—430

[8]潘城,田社平,颜国正.超定独立分量分析及其在结肠压力信号分析中的应用.上海交通大学学报,2010;(44)11:1595—1599

【非线性独立分量分析】推荐阅读：