独立分量分析

独立分量分析（精选8篇）

独立分量分析 篇1

0 引言

随着电力系统中非线性负荷的大量投用,电力系统中的谐波情况也愈发复杂,不仅存在频率是基频整数次的整数次谐波,而且存在非整数次谐波成份。这些对电力系统的安全、稳定运行造成了极大的危害。而对谐波间谐波进行有效分析治理的基础便是对其准确的检测。

传统的谐波检测方法大体分为四类。第一类是基于时域坐标变换的瞬时无功法[1,2],如dp0法、pq法等。这些方法是将原三相谐波分量转换成新坐标系下的直流分量,再进行检测。这些方法动态响应速度较快,但拓扑结构复杂。第二类是基于频域下进行谐波分析的FFT算法及其改进算法[3,4]。这类算法一般用于整周期采样,而对于非整周期采样,或对非整数次谐波分析则存在频谱泄漏和栏栅效应现象,影响检测精度。改进算法中应用了加窗及插值的方法,分别用于克服上述两种现象。此外频率域的检测法还包括小波分析法,及现代谱估计法[5~9]。但这些方法需要较复杂的计算,并且存在频谱混叠、对噪声敏感的缺点,因此还要有相关的去混叠及去噪的辅助算法。第三类方法是以数据挖掘技术为基础,典型的是将神经网络、支持向量机技术[10~13]应用到谐波检测当中。这类算法多以正交三角函数集作为特征集的基,将时域信号映射到该域,并通过对权向量的训练最终得到谐波的幅值和相位信息。由于这种算法是建立在神经网络或支持向量机的回归算法之上,故需要大量的训练样本,计算的实时性较差,且算法的收敛无法完全保证。第四类是以自适应噪声对消原理为基础的自适应谐波检测法。这类方法目前也已应用到有源滤波器的谐波检测模块中。其优点是滤波器参数自适应,但其收敛速度和稳定性之间很难平衡,学习参数也不好确定。

本文将电力系统谐波检测的问题归于盲源分离问题BSS(Blind Source Separation),从而将目前该领域广泛使用的独立分量分析法(ICA)应用到谐波检测。不同于一般的盲源分离问题,我们对于谐波干扰的先验知识(如频率和相位)是有一定了解,因此这种盲源分离问题处理起来要简单。实验结果表明,基于ICA的谐波检测法精度较好,同时也可应用到间谐波的检测中。

1 独立分量分析法

1.1 独立分量分析原理

ICA是一种新的盲源分离技术,其定义是:在对源信号未知的情况下,将多个观测信号按照统计独立原则通过优化算法分解为若干独立分量,以获得对源信号的估计。ICA算法可描述为:X1,X2,⋅⋅⋅,Xn为n个观测信号,由m个未知原信号S1,S 2,⋅⋅⋅,Sm线性组合而成(n≥m),用矩阵形式表示为X=[x 1,x 2,x 3,,x n],S=[s1,s2,s3,,sm],A为n×m的混合矩阵[14],即:

图1显示了X与S的线性组合关系

ICA的任务是S及混合矩阵A未知的条件下,从观测信号X中恢复出原信号S。一般ICA的约束条件是各个原信号Si相互独立,且最多只有一个服从高斯分布。令分离矩阵为m×n的矩阵W,则原信号S的估计Y由式(2)得出:

式中:B为球化阵;U为正交系统;白化使得E[z(t)zT(t)]=IN,即要求z(t)中的各分量正交归一。

1.2 Fast ICA算法处理步骤

独立分量分析的关键问题是建立一个能够读两分离结果独立性的目标函数及其相应的分离算法。本文采用由芬兰学者Hyvarinen等提出的基于固定点算法的Fast ICA方法,该方法采用牛顿迭代法,使得收敛更有保证,且收敛速度较快。其框图如图2。

本文中采用Fast ICA算法时的迭代公式为:

式中令f(x)=tan(a1 x),1≤a1≤2,处理步骤为[15]

(1)把原始数据x去均值,再球化,得z;

(2)设m为待提取独立分量的数目,令p=1;

(3)任意取up(0),但要求‖up(0)‖2=1;

(4)迭代:

(7)如up未收敛,回到步骤(4);

(8)令p加1,如p≤m,则回到步骤(3),否则计算结束。

1.3 ICA在谐波检测中的具体应用

在ICA算法模型中要求观测通道数m不少于独立源的个数n,而谐波检测时只有一路观测通道(三相电流或电压观测量相关,故只能取一路)。因此,要应用ICA方法还需要构造至少n-1路虚拟观测信号x2,x 3,x 4,,xn。这样可得到如下n-1个扩充的方程。

式中:sn的基本表达式为

一般情况下,谐波的频率可以通过简单的谱分析获得,但幅值和相位通常是未知的。如果有同步测量的谐波干扰源信号,那么相位幅值估计问题就相对比较简单,否则就比较复杂。为此我们将源Sn的表达式作如下变换:

这样就将原来的相位和幅值估计转化为对Sn1和Sn2的估计。但与此同时,也增加了n-1个独立源,这样就必须再构造n-1个观测源以满足ICA运算前提。当存在随机噪声时需加入噪声虚拟信号,这样可将噪声信号单独分离出来。

2 模拟仿真

2.1 无噪声环境下的谐波检测

通过Matlab模拟一个含有3,5次谐波的待检测信号及4路虚拟通道信号:

进行ICA分析,得到混合矩阵A和解混矩阵W如下:

混合信号波形如下:

将混合信号进行去均值及球化处理,最后用Fast ICA算法对球化信号进行分离。由于ICA分解的不确定性故需对分解信号作误差分析,这可通过将分离信号还原成混合信号,并与实际观测信号作比较,当误差较大时重复进行ICA处理,直至符合误差要求。实验中得到的最终分离信号如图4所示。

2.2 噪声环境下的谐波检测

为分析ICA算法的抗噪性能,在原观测信号的基础上加入随机噪声,并相应构造一个噪声独立源以便将噪声信号分离出来。(原始观测信号的信噪比为15 d B)

加入噪声后的混合信号波形如图5。

经Fast ICA算法分离得到的独立源信号波形如图6。

2.3 间谐波的检测测试

间谐波是频率为基波非整数倍的谐波,主要是由电力系统中的各种波动负荷(如电弧炉)和电力电子变频装置产生。现构造一路含间谐波及高斯噪声的观测信号及4路虚拟观测信号如下(信噪比15 d B):

混合信号及用Fast ICA方法得到的各个独立信号波形如图7、8。

2.4 讨论

在ICA算法中,分离出的估计信号与源信号没有固定的对应关系,因此还需要结合波形及混合矩阵A进行识别。表1为三个测试实验中的具体对应关系。

混合矩阵A的部分元素为负表明对应的波形反相,这可从ICA分离出的各独立源估计量波形中看出。

对三组实验分离出的信号作误差分析,结果见表2。

通过表2可以看出,在混有高斯噪声的条件下本算法对幅值的估计仍有较高精度但相位估计存在较大误差。同时实验3的结果也说明独立分量法对间谐波的检测同样有效。

由于虚拟观测量的建立是以先验知识为基础的,因此准确构建虚拟观测量(建立适当的个数)是能否使用ICA方法分析谐波的前提。本文中为讨论方便仅模拟了含有3次及5次谐波的情况,实际的谐波要复杂的多。为此,可以使用FFT方法从频域上大致的估出主要谐波的个数,再据此构建虚拟观测量。实际上文献中在神经元个数的确定也是跟据这种方式确定的。

3 结束语

本文将谐波检测问题视作盲源分离问题,并运用目前该领域流行的独立分量分析法进行分析。但由于谐波分析中的观测源只有一路,故需构建虚拟观测量,以满足ICA运算条件。通过实验表明该算法可以较准确地对所含谐波的幅值和频率进行估计。在混有高斯噪声的条件下也有较好的抗噪效果。同时,本算法可以用于目前被广泛关注的间谐波的检测。但应该指出的是ICA算法本身属于迭代算法,其计算延时不能满足实时性要求,因此一般可用于谐波分析,而不适于谐波的实时检测。

独立分量分析 篇2

【关键词】主分量分析;Fisher线性判别;距离判别法

【Abstract】As to an object of multi dimension， we always hope to make its dimension reduced in order to facilitate the study on it。 Principal component analysis and Fisher linear discriminant analysis are two common methods widely used in various fields of pattern recognition。 This article reduced the dimension of original data， by the principal component analysis at first， and then use Fisher linear discriminant analysis to reduce the dimension once again， obtaining lower-dimensional data， finally experimental results demonstrated the effectiveness of two methods’ combination。

【Key words】Principle compoment analysis; Fisher linear discriminant analysis; A method of differentiating distances

引言

独立分量分析 篇3

对于复杂信号的脉内调制特征的研究一直是非平稳信号处理中的热点,学者们提出了诸多方法,例如瞬时自相关法、时频分析法、相位差分法等。相位差分法利用信号的瞬时相位序列,其计算简单,有较高的工程应用价值,但对噪声敏感,抗噪能力较弱。谱相关方法是传统频率谱分析的延伸,在低信噪比下需要对信号多次积累处理。时频分析法是通过时频分析将一维信号变换到二维时频面,将信号时频特征分离,进而可在具体时间和特定频率上展开分析[2,3]]。但由于非线性时频分析方法不可避免地存在交叉项干扰,对噪声敏感性很高,因而限制了其应用。而线性小波变换能克服交叉项的影响,在时频域有良好的局部化和多分辨的特征,可以改善信噪比[4],因此小波变换被广泛应用于大时宽带宽积信号的脉内特征分析中[5]。

文献中提到的方法较少考虑到未知辐射源的雷达信号识别问题,目前对已有先验信息的雷达信号有较好的识别效果,而对未知雷达辐射源并不适用。在实际战场环境中,对缺少先验知识的雷达信号进行识别判决具有更为重要的意义。对此,本文提出了联合盲信号分离和小波变换脊线提取的方法。在多分量信号混叠的条件下,首先利用独立分量分析对观测信号进行盲分离,将盲源分离作为预处理,把多分量信号的调制识别的问题转化成对单信号的脉内信息分析,然后采用小波变换实现对各个雷达信号辐射源的调制类型识别。

1 ICA的基本原理和分析模型

独立分量分析(ICA)是一种基于高阶统计量的盲源分离技术,在源信号和传输信道参数未知时,仅由多通道观测信号恢复出源信号的各个独立分量。它的核心思想是寻找一组线性非正交坐标系对多通道观测信号进行变换,分解成满足统计独立的分量,从而完成信号的盲分离。

假设m个源信号S=[s1,s2,…,sm]T,各个信号相互独立,侦察机接收到的n个观测信号X=[x1,x2,…,xn]T。其观测分量xi是各个源信号的线性混合,即X与S之间的关系为

式(1)中,A为未知的m×n阶混合矩阵,N=[n1,n2,…,nm]T为m维加性噪声信号。峭度、负熵和互信息是度量分离后各分量之间独立性的主要准则[6]。Hyvrinen等人提出了基于固定点迭代的快速ICA算法(Fast ICA)[7]。Fast ICA是一种快速寻优迭代算法,利用负熵最大化的准则进行信号分离,求得一个分离矩阵W(m×n维)。

观测信号经Fast ICA后,各单分量信号之间统计独立性达到最大。

Fast ICA的处理流程图可以由图1表示。

2 小波变换和脊线提取

瞬时频率是描述信号调制特征的重要参数,相比于幅度具有更强的抗干扰性。因此正确提取信号的瞬时频率信息是多分量信号分离识别的重要手段[8]。

2.1 连续小波变换

连续小波变换是一种线性时频变换,是分析信号与小波基函数的内积。设信号s(t)∈L2(R),小波基函数为ψ(t),其连续小波变换(CWT)的定义为

式(3)中,a、b分别是尺度和平移参数,ψ*(·)是ψ(·)的共轭复数。本文选择了时频特性较好的Morlet小波作为小波基,它是一种常见的单频复正弦调制高斯波[9],其定义为

式(4)中,fc是小波的中心频率。

2.2 小波脊线

根据信号理论得知,信号频率f与尺度参数a之间的关系为a=fc/f,引入瞬时频率的定义:

设分析信号形式f(t)=A(t)cos(t)。选择的解析小波函数为φ(t)=g(t)exp(iw0t),其中w0是小波的中心频率,若ξ=w0/a为信号的载频,利用上文的连续小波变换公式得到:

式(6)中,G是g(t)的傅里叶变换;校正项ε(b,ξ)满足

式中,a和b分别是尺度因子和平移参数。如果在变换过程中消除了偏移,则b等于时间t,A(b)表示时间点b的振幅大小,φ'(b)和φ(b)分别表示b时刻的瞬时频率和瞬时相位。

由式(1)和式(2)可以说明,若A(t)和φ'(t)在窗函数g(t)的支集上有很小的变差且φ'(b)≥Δw/a,记Δw为G的带宽,则校正项ε(b,ξ)可以忽略不计。由此可知,对于每个b值,当不计校正项时,在ξ=φ'(b)时连续小波变换模取得极大值。相应的时频点(b,ξ(b))称为小波脊点,脊点组成的集合称为小波脊线,脊点处φ'(b)值表征了信号瞬时频率的变化[10]。

3 基于脊线特征的调制识别

根据上节的论述,利用信号小波脊线可以估计出信号的瞬时频率,从而获得判决信号调制类型的特征参数。下面对几种常见的雷达辐射源信号,分析通过小波变换提取出小波脊线从而进行调制识别的可行性。

单一载频正弦信号由于载波频率固定,小波脊线的幅度没有发生起伏,斜率为0。线性调频信号调频斜率不为0时,频率随时间线性变化,因此小波脊线是斜率不为0的直线[11]。相位调制信号在不同的码元内,载波的频率和振幅不变,相应脊线的位置和幅度也相同[12]。而在不同码元间,相位发生跳变,瞬时频率不同于载波的频率,因此跳变时刻的脊线位置将产生跳变,出现若干脉冲。如果码元间跳变时刻增多,相应的脉冲分布情况也会变得复杂。其中脉冲的幅度信息表征了PSK的调制特征,幅度的个数对应了相位调制的调制阶数。

综上所述,对不同信号的小波脊线可以提取特征参数进行识别。本文采用最小二乘估计的方法,在时频平面对小波脊线进行直线拟合,获取特征参数估计值,进而判决调制类型。

设需要拟合的直线函数关系为y=kx+b,采样点数为N,得到待估计序列为(xi,yi)(i=1,2,…,N),其中yi为小波脊在采样时刻对应的瞬时频率值。用最小二乘法估计参数时,要求观测值yi的估计误差ε2最小,即

分别对斜率k和斜率b求偏导,

经计算可得,斜率k的估计值

定义特征参数,其中fs为采样率。可以明显看出,P1代表了小波脊线在时频面的斜率,表征了信号的调制斜率信息。

由于相位调制信号小波脊线在跳变时刻出现脉冲,因此将当前时刻频率值与前后若干时刻频率均值进行对比,可以分辨出小波脊线中的跳变点。对于采样序列中提取出的跳变点,统计超过一定门限的跳变点分布情况,进而可以识别出相位调制信号的调制阶数特征。

定义特征参数P2=max(ξ(k)),设,其中μ1(k)和μ2(k)分别为小波脊线在k时刻前后各M点的均值。P2表征了采样序列中是否存在跳变点。

定义特征参数P3=sum(ξ(n)>h0),其中h0为门限。P3统计了码元跳变点的分布情况。

特征参数P1对应的是信号的调制斜率。首先对特征参数P1进行判决,如果小波脊线斜率较大,则P1较大,可以识别出线性调频信号。然后判断特征参数P2,单频信号频率固定,不存在相位跳变点,进而识别出单频信号。对于相位调制信号,采用特征参数P3判决,P3表征了相位跳变点的分布情况,根据信号序列中跳变点的数量和分布可以区分出二相编码和四相编码信号。图2是基于脊线特征的调制识别流程图。

4 实验结果与仿真分析

图3给出了侦察机多通道接收到的雷达信号的混叠分离的仿真过程。

假设源信号是线性调频信号,单频正弦信号,7位巴克码二相调制信号和13位巴克码四相调制信号等常见雷达辐射源信号。四种信号波形如图3(a)由上到下依次所示。

将这四种信号随机混合,图3(b)中是由侦察接收机接收到的四路观测信号。

混合矩阵A是随机矩阵,具体阵列为

将观测信号经过Fast ICA处理,结果由图3(c)所示。由图中可以明显看出,分离后的单分量信号由上至下依次为线性调频信号,BPSK信号,QPSK信号和单频正弦信号。根据上述的算法流程,计算出分离矩阵

解混后的信号次序与源信号并不一致,但基本恢复了各个分量信号,幅度得到了增强,有效地完成了对各信号的分离。

对分离后的单分量信号分别连续小波变换并提取时频面的小波脊线,如图4所示。

图4(a)是单一载频正弦信号,频率是50 MHz。小波脊线斜率为0,横坐标指向恒定载频值50 MHz,不存在跳变点。

图4(b)是线性调频信号,中心频率是40 MHz,调频斜率为80。小波脊线在起点处有频率的波动,随后是一条斜率不为0的直线,不存在跳变点。

图4(c)是7位巴克码编码的二相编码信号,载频10 MHz,采样频率为100 MHz,脉宽10.5μs。BPSK信号的小波脊线斜率为0,在相位跳变时刻出现间隔不等,幅度相同的脉冲,跳变点分布比较简单。

图4(d)是13位巴克码编码的四相编码信号,载频10 MHz,采样频率为100 MHz,脉宽19.5μs。与BPSK信号不同的是,QPSK信号小波脊线在一个码元周期中脉冲数目增加,幅度值增多,且脉冲分布在多个区域。脉冲共有三个幅度值,符合了相位调制信号的调制阶数特征。

最后对以上四种信号提取小波脊线分别进行调制识别仿真。测试信噪比从-5 d B增加到5 d B的调制识别概率,以1 d B为步长,进行500次Mont Carlo实验,得到了各信号在不同信噪比条件下的识别概率曲线,如图5所示。从图中可以得出,盲分离和小波变换对多分量信号调制识别具有较好的效果,当信噪比大于0时,基本可以实现各分量信号调制类型的自动识别。

5 结论

本文基于复杂电磁环境下多分量信号调制识别问题,提出了一种联合独立分量分析和小波变换的方法。在无先验信息条件下,采用独立分量分析将时频混叠信号恢复成单分量信号。通过连续小波变换,提取信号小波脊线和瞬时频率,利用最小二乘法拟合直线,计算小波脊线特征参数最终完成各信号的调制类型识别。分离过程中不需要雷达信号的先验知识,具有自适应性。此外小波变换可以改善信噪比,该方法具有较强的抗噪性,在低信噪比情况下仍有较好的识别效果。

参考文献

[1]罗永江,赵国庆,斯海飞.基于ICA和小波脊的多辐射源调制类型识别.航天电子对抗,2010;26(6):38-41Luo Y J,Zhao G Q,Si H F.Modulation type recognition base on ICA and wavelet ridge in multiple radar overlapping signal.Aerospace Electronic Warfare,2010;26(6):38-41

[2] Gustavo L R,Jesus G,Alvora S.Digital channelized receiver based on time-frequency analysis for signal interception.IEEE Trans Aerospace and Electronic Systems,2005;41(3):879-898

[3]殷晓中,于盛林.信号的时频分析理论与应用评述.现代电子技术,2006;29(21):118-120Yin X Z,Yu S L.Time-frequency analysis theory and its application.Modern Electronics Technique,2006;29(21):118-120

[4]赵彩华,刘琚,孙建德,等.基于小波变换和独立分量分析的含噪混叠语音盲分离.电子与信息学报,2006;28(9):1565-1568Zhao C H,Liu J,Sun J D,et al.Blind separation of noisy speech mixtures based on wavelet transform and independent component analysis.Journal of Electronics&Information Technology,2006;28(9):1565-1568

[5]刘凯,韩嘉宾,王韵白,等.基于切割聚类的快速多分量LFM信号分离.系统工程与电子技术,2015;37(6):1004-1008Liu K,Han J B,Wang Y B,et al.Fast separation of multi-component LFM signals based on segmented clustering.Systems Engineerin and Electronics,2015;37(6):1004-1008

[6]冷明伟,陈晓云,谭国律.基于小样本集弱学习规则的KNN分类算法.计算机应用研究,2011;28(3):915-917Leng M W,Chen X Y,Tan G L.KNN classification algorithm based on rule of weak leaming on small sample sets.Application Research of Computers,2011;28(3):915-917

[7] Hyvrinen A,Oja E.A fast fixed-point algorithm for independen component analusis.Neural Computation,2000;9(7):1483-1482

[8]任春辉,魏平,肖先赐.改进的Morlet小波在信号特征提取中的应用.电波科学学报,2003;18(6):633-677Ren C H,Wei P,Xiao X C.Application of a modified morlet wavele in feature extraction.Chinese Journal of Radio Science,2003;18(6):633-677

[9]郁春来,万建伟,徐如海.改进小波脊线法算法分析和仿真.现代雷达,2005;27(8):46-47Yu C L,Wan J W,Xu R H.Algorithem analysis and simulation o improved wavelet-ridge method.Modern Radar,2005;27(8):46-47

[10]余志斌,陈春霞,金炜东.一种新的Morlet小波及其在雷达信号特征提取中的应用研究.电路与系统学报,2010;15(1):129-134Yu Z B,Chen C X,Jin W D.Application of a new morlet wavelet in feature extraction.Journal of Circuits and Systems,2010;15(1):129-134

[11]张晓松,林明.小波变换与线性调频信号脉内调制特征分析.科学技术与工程,2012;12(36):9840-9844Zhang X S,Lin M.Modulation ananlysis of wavelet and LFM signal.Science Technology and Engineering,2012;12(36):9840-9844

独立分量分析盲信号分离方法研究 篇4

近年来,盲信号处理技术已成为信息处理领域的热门课题,在阵列信号处理、语音处理和通信等领域均显示了诱人的应用前景。盲信号处理涵盖的内容十分广泛,包括信号盲分离、信号盲解卷、信号盲辨识和图像盲恢复等。其中盲信号分离(Blind Signal Separation,BSS)是盲信号处理的一个重要方面,盲信号分离是指从若干观测到的混合信号中恢复出未知的源信号的方法,它可以应用于许多领域,如语音分离与识别、雷达信号处理、声纳信号处理和电子对抗等。根据不同的分类标准,盲信号分离可以分成若干类。从混合通道的个数上分,信号的盲分离可以分为多通道信号分离和单通道信号分离;从源信号的混合方式上分,可将盲信号分离问题分为瞬时混合和卷积混合[1],线性混合和非线性混合等不同种类。

至今,已经发展了许多瞬时混合盲信号分离的算法,这些算法大致可分为以下3种:独立分量分析法、熵最大化法和非线性主分量分析法。其中,独立分量分析方法是近几年才发展起来的一种新的方法,但是由于其大量成功的应用,使得独立分量分析方法在盲信号分离领域尤其是在瞬时混合信号的盲分离上得到了越来越多的关注。

1 盲信号分离的数学模型

盲信号分离(BSS)是指从若干观测到的多个信号的混合信号中恢复出无法直接观测到的原始信号的方法。通常,观测信号来自一组传感器的输出,其中每一个传感器接收到多个原始信号的一组混合。

设有n个信号源和m个传感器,测量信号和源信号之间关系式为:

undefined。

式中,A=(aij)m×n为混合矩阵;undefined是观测信号,它是n个未知源信号undefined的瞬时线性混迭;N(t)是m×1的加性噪声矢量。这里只研究如下无噪声信号混迭模型公式:

undefined。

根据上式,盲信号分离问题可以描述为:在混合矩阵A和源信号矢量S(t)均未知的条件下,求一分离矩阵W,使得W对混合信号矢量X(t)的线性变换:

undefined

为对源信号矢量S(t)或其某些分量的一个可靠的估计,即

undefined,

由于求得的分离矩阵W不会恰好是A-1,因此分离信号与源信号存在不确定性,即和源信号S(t)相比,Y(t)的幅度和排列次序是不确定的,而在实际应用中,只要保持波形的形状不变,这2个不确定性都是可以接受的。

2 非高斯性最大化的ICA算法

用于进行盲信号分离的独立分量分析(Independent Component Analysis,ICA)方法主要有以下几种,非高斯性最大化的ICA算法、最大似然估计的ICA算法[4]、互信息最小化的ICA算法、非线性去相关和非线性主分量分析的ICA算法。其中,非高斯性最大化的ICA算法又包括基于四阶累积量的和基于负熵的非高斯性最大化的ICA算法。主要介绍用四阶累积量度量非高斯性进行瞬时混合盲信号分离的方法。

2.1 四阶累积量判决准则

由中心极限定理可知,一随机量如由许多相互独立的随机量之和组成,只要各独立的随机量具有有限的均值和方差,则不论各独立随机量为何种分布,则该随机量必接近高斯分布。因此可以在分离过程中,通过对分离结果非高斯性的度量来监测分离结果间的相互独立性,当非高斯性度量达到最大时,则表明完成了对独立分量的分离[5]。

首先假设所有的随机变量都是零均值的,这样一随机变量y的四阶累积量记作kurt(y),定义式为:

undefined。

进一步假设y是标准化的,以便其方差为1,这时E{y2}=1。上面的定义式就被简化为:

undefined。

根据信息理论,对于一高斯随机变量y,它的四阶累积量kurt为零;对于大多数非高斯随机变量,它们的四阶累积量kurt一般是非零的。所以,四阶累积量偏离0的程度越大,非高斯性越强。这样,用四阶累积量度量非高斯性的方法可归纳如下:

kurt(y)=0,则y呈高斯分布;

kurt(y)<0,则y呈亚高斯分布;

kurt(y)>0,则y呈超高斯分布。

2.2 预处理

所谓的预处理即对观测信号进行的白化处理。此时的白化处理可去除各观测信号间的相关性,因而简化了后续独立分量提取的过程。信号的白化处理比较简单,用类似主分量分析方法即可实现。设白化后的信号为Z,则Z满足:

E{Z·ZT}=E{(B·X)(B·X)T}=I。

式中,B称为白化矩阵;I为单位矩阵,符号“T”为矩阵(向量)的转置。经白化处理后,观测信号X变为具有单位方差的信号向量Z,且Z中各信号分量相互正交。接下来对白化信号Z进一步处理,即寻找分离矩阵W以实现独立分量的提取。

2.3 基于四阶累积量的快速定点算法

快速定点算法的收敛速度快,并且不存在学习步长选择的问题,因此它比梯度算法更稳定。下面直接给出了基于四阶累积量的快速定点算法:

w←E{Z(wTZ)3}-3w,

w←w/‖w‖。

2.4 降阶正交化和对角正交化

分离一个信号时可直接利用前面给出的梯度算法或快速定点算法。但是如果要分离n个独立源信号,则必须运行前面的某个算法n次,并且为了保证每次所估计的是不同的独立成分,需要在迭代过程后做正交化处理,下面是2种正交化处理的方法。

降阶正交化意味着一个一个地估计独立源信号。假设已经估计出p个源信号,或者说求出了p个分离列向量w1,w2,…,wp,在求第p+1个源信号时,先要用前面的某个算法求出wp+1,再做下面的正交化处理以保证分离的第p+1个信号和前面分离出的p个信号不同:

undefined。

对角正交化是同时估计出n个分离列向量wi,然后令W=(w1,w2,…,wn)T,再做如下处理:

W←(WWT)-1/2W。

式中,(WWT)-1/2可以通过对WWT=Ediag(d1,…,dn)ET进行特征值分解得到:

(WWT)-1/2=Ediag(d1-1/2,…,dundefined)ET。

这样就求出了可以同时分离n个信号的分离矩阵W。此外,还有一种更简单的方法求分离矩阵W:

① W←W/‖W‖;

② W←3/2W-1/2WWTW;

③ 不收敛则返回第②步。

2.5 快速定点ICA算法描述

① 对观测信号X进行去均值处理,使得E(xi)=0,再对X进行去白化处理,使得undefined;

② 令n等于要估计的独立源信号的个数;设置计数器p=1;

③ 随机产生一列向量wp,令wp=wp/‖wp‖;

④ wp←E{Z(wundefinedZ)3}-3wp,wp←wp/‖wp‖;

⑤ 做正交化处理:

undefined;

⑥ 如果wp不收敛,则返回到步骤④;

⑦ 令p=p+1;如果p≤n,则返回到步骤③。

3 仿真结果

现举例说明上述基于四阶累积量的快速定点ICA算法的有效性。

考虑3个传感器接收到来自3个源的混叠信号,这3个源信号为:

s1=sin(600*t+5*cos(60*t)),

s2=sin(60*pi*t),

s3=sin(5*pi*t)。

混叠矩阵A随机选定。分离结果如表1、图1和图2所示。

4 结束语

介绍了一种具体的非高斯性最大化的独立分量分析方法。从度量非高斯性的准则出发,利用四阶累积量进行判决,得到了相应的定点算法。该定点算法收敛速度较快,是二次收敛的,而且不需要选择学习步长,所以使用起来简单方便,并且使用任意非线性函数都可以直接找到非高斯分布的独立分量,而不需像许多算法那样首先要进行概率分布函数的一些估计,再相应选择非线性函数。利用该方法对多个通信信号的混合信号进行了分离[6]。分离结果表明该算法对通信信号的分离能取得较好的分离效果,说明ICA算法在盲源分离方面具有很大的潜力。 

摘要：盲源分离是指从多个相互独立的源信号的混合信号中分离出源信号来。独立分量分析法是盲源分离的一种新方法,由于其在语音信号处理、阵列信号处理、生物医学信号处理、移动通信及图象处理等领域的应用前景,越来越引起人们的关注,成为研究的热点。介绍一种基于四阶累积量的非高斯性最大化的ICA算法解决盲源分离的问题,并给出了该算法分离通信信号的计算机仿真结果,验证了算法的有效性。

关键词：盲信号处理,盲源分离,独立分量分析

参考文献

[1]刘琚,何振亚.盲源分离和盲反卷积[J].电子学报,2002,30(4):570-576.

[2]刘琚,梅良模,何振亚.一种盲信号分离的信息理论方法[J].山东大学学报,1998,33(4):398-403.

[3]COMON P.Independent Component Analysis,A New Con-cept[J].Signal Processing,1994,36(3):287-314.

[4]解静,李艳斌,陈建峰.最大似然估计的独立分量分析法[J].无线电工程,2004,182(34):10-11.

[5]LEE T W.GIROLAMI M,SEJNOWSKI T J.IndependentComponent Analysis Using an Extended Infomax Algorithmfor Mixed Sub-gaussian and Super-gaussian Sources[J].Neural Computation,1998(11):609-633.

独立分量分析 篇5

关键词：文本聚类,向量空间模型,独立分量分析,非负矩阵分解,特征提取

0 引言

在文本聚类的过程中,通常涉及到两个关键问题,一是文本的预处理,二是选择合适的文本聚类算法模型。对文本预处理主要包括分词、去停用词处理和特征词提取等几个过程。北京大学计算机语言研究所在中文分词领域做了很多工作,提出了中文分词的有效方法[1];词频/倒文档频率方法是筛选特征词的有效方法,康乃尔大学的萨尔顿(Salton)多次写文章、写书讨论TF/IDF在信息检索中的用途。

文本聚类算法目前常用的则有分层法、分割法、密度法、网格法、基于模型的方法、基于模糊的方法等等。但这些算法多数都对文本特征矩阵的维度有较为苛刻的要求,一旦维度增大,则聚类效果会急剧下降。由于原始文本数据的复杂性,经处理形成的文本特征矩阵维度仍然相当大,出现了“维度灾难”问题[2]。这种不平衡问题导致许多聚类算法不能直接在文本特征数据上有效应用。在文本特征矩阵中还存在着冗余、词语多义和噪声等问题。为了克服这些缺点,本文提出将独立分量分析(ICA)用于特征词提取,目的是,在聚类之前,减少冗余数据和噪声数据的影响,以得到一个更为理想的聚类结果。

文本聚类过程如下:先通过数据清洗、分词过滤等处理过程构建出向量空间矩阵(Vectro-space Model,VSM);然后,采用独立分量分析(Independent Component Analysis,ICA)算法选出m个特征词构成的矩阵Y;进而,应用非负矩阵分解(NMF)、稀疏非负矩阵分解(SNMF)等算法对选出的数据集聚类,得出聚类结果。处理流程如图1所示。

1 文本的向量空间模型

本文采用向量空间模型(VSM)[3]来表示文本数据。其基本思想是:假设词与词之间是不相关的,以向量来表示文本,从而简化了文本中关键词之间的复杂关系,使得模型具备了可计算性。

在VSM中,将文档看成是相互独立的词条组(T1,T2,T3,…,Tn)构成,对于每一个词条Ti,根据其在文档中的重要程度赋予一定权值Wi,并将(T1,T2,T3,…,Tn)看成是一个n维坐标系中的坐标轴,(W1,W2,W3,…,Wn)为对应的坐标值。这样由(T1,T2,T3,…,Tn)分解得到的正交词条矢量组就构成了一个文档向量空间[4]。常用[0,1]区间内的实数来表示某个特征词在文档中的权重,权重主要根据词频tf、倒文档频率idf、规格化因子来计算。

目前应用效果比较好的权值函数是改进的TF-IDF公式,如式(1)所示。

t f(T):词T在整个文本集中的总频数,log(N/df(T)):为词T的倒文档率,

df(T):包含词T的文本数,N:整个文本集中的文本数。

采用该算法计算各文本筛选出来的每个特征词的权重Wi,构成向量空间模型矩阵X,如式(2)所示。设T={t1,…,tp}表示某文本中所有特征词组成的一个词条组,其中ti(1≤i≤p)表示一个特征词,表示全部特征词的个数。设S={s1,…,sn}表示由文本所构成的样本集合,其中表示样本数量,每一个样本si(1≤i≤n)表示在某文本中所有特征词的权重向量,即si(1≤i≤n)是一个p维空间向量,且。

2 文本特征提取过程

上述文本特征矩阵X仍然具有较高的维度,且数据具有典型的非高斯性,不仅要抽取数据的线性(二阶)统计信息,而且要注重数据的非线性(高阶)统计信息。

2.1 独立分量分析算法

独立分量分析(ICA)是主分量分析(PCA)的一种扩展[5],它已被用于声音信号的分离以及生物信息的处理等领域,并取得了很好的效果。PCA作为一种有用的无监督统计方法用来找出一致特征样本,其特点是只对二阶统计信息敏感。而在对文本特征数据作分析时,很多重要的信息是含在样本的高阶关系之中。独立分量分析(ICA)可以克服这一缺陷,其主要任务是使得变换后的信号尽可能地相互独立,这意味着数据的高阶相关性可以由ICA来去除。实验中,我们分析了一系列的独立分量(ICs)的数目和所选特征词的数量,旨在找出可以得到最大聚类正确率的最小特征词数。

设有n×p的矩阵X,其行表示变量(对于文本特征数据来说表示文本样本),其列表示个体(对于文本特征数据来说表示特征词),则矩阵的ICA模型可以记为式(3):

式(3)中,S是源矩阵,A是n×n维的混合矩阵。S的各列sk是统计独立的,称作矩阵S的独立分量ICs。X的各列是ICs的线性混合。我们将混合矩阵作如式(4)的转换:

ICA算法就是寻找合适的权矩阵W,从特征词矩阵X中提取独立的特征样本U(S的拷贝),以使U的各列尽可能地统计独立。

2.2 Fast-ICA算法

目前,已经提出了很多的独立分量分析算法[6]。由于Fast-ICA所具有的快速计算性及处理海量数据的能力,我们用该算法对特征词矩阵数据进行分析处理,在Fast-ICA中[7],各分量间的互信息是用近似计算公式(5)来表示的:

其中,G是任意的非二次函数,ζ是均值为0、方差为1的高斯分布的变量。ICA在分离变量的幅值和顺序上存在一定的不确定性,为消除不确定性,通常假定分离变量的方差为1。

Fast-ICA算法处理过程如图2所示,样本的快照ri看作是一系列相互统计独立的特征样本si的线性叠加。ICA算法就是要寻找合适的权矩阵W,从文本特征数据X中提取独立的特征样本U。在这个模型中,每一个快照ri看作一个随机变量,其中的每个文本各特征词权重组成的向量看作是随机变量的一个取值。

用ICA算法来估算矩阵W,使得矩阵U的各行统计独立,然后就可以用这些独立的特征样本(U的各行)来表示各个样本的快照ri。如式(6)所示,一个文本样本ri可以用独立的特征样本U和与之对应的坐标ai来表示。

这些坐标实际上就是混合矩阵A=W-1的各个行。

3 实验分析

为验证上述方法的有效性,于2011年11月从新浪网(www.sina.com.cn)上采集了中文文本数据集。数据集有400例样本。这400例样本分别属于4类:财经、社会、科技、体育。实验中,采用了评估文本分类经常使用的指标--召回率进行结果正确率评价。

在运行关键特征词选择程序时,独立分量的个数z值从1至10分别取10个不同的值,对于每个值,试验了50个不同的m值(1≤m≤p)。为了论证我们所用方法的有效性,对每个所选出的数据集,都分别应用NMF、SNMF、NMFSC进行聚类。使用召回率来表述聚类正确率[8],召回率计算公式如式(7)。

其中若样本ji的聚类正确,则I(ji)值为1,否则为0,n为样本数。

表1给出了对应不同关键特征词数NMF,SNMF和NMFSC算法对所选出的数据集聚类时的聚类正确率,其中,对于ICA,独立分量(ICs)数值z=7,对于NMF,SNMF和NMFSC,k=4。由以上结果可以看出,对于此数据集,ICA算法提取特征词可以有效改善聚类效果。

4 总结

本文提出了将独立分量分析方法用于文本特征词的提取。文中通过选择用ICA抽取的独立分量的个数和关键特征词的个数,找到了利用不同聚类算法得到最大聚类正确率的最少关键特征词数。至于关键特征词选择对于聚类稳定性的影响,并没有发现明显的规则。今后,应在更多的数据集上针对ICA算法与其他聚类算法的协作问题以及聚类稳定性等问题作更深入的研究。

参考文献

[1]北京大学计算语言学研究所.[EB/OL].http://icl.pku.edu.cn,2011.9.20

[2]West M.Bayesian factor regression models in the'large p,small n'paradigm[J].Bayesian Statistics,2003(7):723-732.

[3]王秀娟.文本检索中若干问题的研究[D].北京:北京邮电大学,2006.

[4]沈斌.基于分词的中文文本相似度计算研究[D].天津:天津财经大学,2006.

[5]Shahnaz F,Berry M,Pauca P,et al.Document clustering using nonnegative matrix factorization[J].Journal on Information Processing&Management,2006,42(2):373-386.

[6]HyvarinenA,Oja E.Independent component analysis:algorithm and applications[J].IEEE Transactions on Neural Networks,2000(13):411-430.

[7]HyvarinenA.Fast and robust fixed-point algorithms for independent component analysis[J].IEEE Transactions on Neural Networks,1999(10):626-634.

独立分量分析 篇6

21世纪是信息时代, 信号处理一直在科学技术的发展中扮演着十分重要的角色。盲信号处理是目前信号处理中最热门的新兴学科之一, 盲源分离是盲信号处理的重要分支。所谓盲源分离就是在对信源和通道先验知识甚少的情况下, 仅由观察信号推断信源和通道的特性, 最终恢复或提取独立的各个源信号的方法[1]。盲信号分离被广泛应用于通信、生物医学、图像处理、语音识别等众多领域, 有着非常广阔的应用前景, 己经成为信号处理学界和神经网络学界共同感兴趣的热点研究课题之一。

1 独立分量分析的基本概念

独立分量分析就是从多维观测信号中发现隐含在其中的独立分量或因素, 是利用高阶统计工具和信息论的知识来分析信号的统计独立性, 实现信号的盲源分离。独立分量分析算法在很多文献中以不同的名字被提及, 独立分量分析理论和盲源分离很接近, 通过独立分量分析问题的解就可以在盲源分离中恢复出源信号, 反之也可以用盲源分离的算法来找到独立分量分析问题的解。但是, 独立分量分析理论具有更强的通用性。独立分量分析通过最大化一个基于高阶累计量的分离准则, 有的文献称之为对照函数, 使得互累积量为零。在此情况下寻找一个新的矢量坐标系, 使得混合信号在该坐标系下的投影是相互独立的, 并且与原始信号相对应, 从而实现信号的分离[2]。

2 ICA的主要准则

2.1 信息传输最大化准则和最大化负熵

信息量的大小代表了信号中不确定信息的多少, 而度量信息量是通过熵来测量。冗余量描述了数据的内在顺序和结构, 同样冗余量也可以测量数据的信息量大小。从互信息的定义可知, 由I (x|y) 可测量系统输出和输入的关系, 当两者的冗余量信息最少时, I (x|y) 达到最小值。A.T.Bell和T.J.Sejnowski提出最小化I (x|y) 来减少系统输出y和输入x之间的冗余量[3]。

P.Commonls证明最大化系统的输出负熵也能导致信号的分离[4]。负熵是从熵概念中引申出来的, 输出y的负熵定义为:

$J(\mathit{y})={\rm H}(\mathit{y}{}_{\text{f}})-{\rm H}(\mathit{y})(1)$

式中:yf是与y具有相同协方差矩阵的高斯随机变量。负熵的特点是对y的线性变换保持不变, 而且总是非负的, 只有当y是高斯分布时才为零。基于这些特点, 负熵是一个很好的目标函数。由此可以推出负熵和互信息的关系为:

${\rm I}(\mathit{y}|[y{}_1,y{}_2,\cdots ,y{}_m])=J(\mathit{y})-{\displaystyle \sum _{i=1}^{m}J}(y{}_i)+\frac{1}{2}\ln \frac{\text{π}C{}_{ii}}{\det \mathit{C}}(2)$

式中:C是y的协方差矩阵;Cii是矩阵的对角元素。当y的各个元素不相关时, 式 (2) 右边第三项为零, 式 (2) 变为:

${\rm I}(\mathit{y}|[y{}_1,y{}_2,\cdots ,y{}_m])=J(\mathit{y})-{\displaystyle \sum _{i=1}^{m}J}(y{}_i)(3)$

根据负熵的特点, 输出y和元素的最小互信息等价于最大化元素的负熵的和。因此基于负熵的目标函数为:

$\Theta {}_j={\displaystyle \sum _{j=1}^{m}J}(y{}_j)(4)$

最大化式 (4) 就能实现盲源分离。

2.2 最小互信息准则

盲源分离的目的是使输出信号尽可能的独立, 而KL散度或互信息则是测量统计独立的最好信息量。观测数据经过分离矩阵W后, 如果输出y的各个元素相互独立时, 则输出y与各个分量的互信息为零。

以y的互信息为准则的目标函数定义为:

$\begin{array}{l}\Psi {}_{\text{m}\text{l}}=\text{Κ}\text{L}(p(\mathit{y}),{\displaystyle \prod _{i=1}^{m}p}(y{}_i))\\ ={\displaystyle \int p}(\mathit{y})\ln \frac{p(\mathit{y})}{p(y{}_1)p(y{}_2)\cdots p(y{}_m)}\text{d}\mathit{y}(5)\end{array}$

最小化目标函数Ψml就可减少y中各个元素的相互依赖性。当Ψml=0时, y的各个元素是相互独立的。由互信息和熵的关系, 式 (5) 可写为:

Ψml=H (y1) +H (y2) +…+H (ym) -H (y) (6)

2.3 极大似然准则计算法

盲源分离中惟一知道的信息就是观测数据, 因此极大似然估计就是比较自然的选择。对于给定的模型, 观测数据的似然函数是模型参数的函数。若假定源信号的概率密度函数为p (s) , 当混合系统定义为x (k) =As (k) , y (k) =Wx (k) 时, 观测信号x的概率密度函数p (x) 与源信号的概率密度函数p (s) 之间满足:

$p(\mathit{x})=\frac{p(\mathit{W}{}^{-1}\mathit{x})}{\left|\det \mathit{W}\right|}(7)$

则观测数据的对数似然函数定义为:

$\begin{array}{l}\Psi {}_{\text{m}\text{l}}=E[\ln p(\mathit{x})]={\displaystyle \int \text{l}}\text{n}p(\mathit{x})p(\mathit{x})\text{d}\mathit{x}\\ ={\displaystyle \int (}\ln p(\mathit{W}{}^{-1}\mathit{x})-\ln \left|\det \mathit{W}\right|)p(\mathit{x})\text{d}\mathit{x}\\ ={\displaystyle \int p}(\mathit{x})\ln p(\mathit{W}{}^{-1}\mathit{x})\text{d}\mathit{x}-\ln \left|\det \mathit{W}\right|(8)\end{array}$

当仅获得数据的T个独立同分布的样本时, 对数似然函数近似为:

$\Psi {}_{\text{m}\text{l}}=\frac{1}{{\rm T}}{\displaystyle \sum _{i=1}^{{\rm T}}(}\ln p(\mathit{W}\mathit{x}(t))+\ln \left|\det \mathit{W}\right|)(9)$

最大化对数似然函数式, 可以获得关于W的最佳估计。

3 衡量盲源分离算法性能的方法

(1) 利用信噪比来衡量盲源分离算法的性能, 为:

$\text{S}\text{Ν}\text{R}(\mathit{y})=10\lg \left[\frac{E[\left|s\right|{}^2]}{E[\left|\mathit{y}-s\right|{}^2]}\right](10)$

信噪比越高, 说明分离性能越好。

(2) 盲源分离算法的性能也可通过矩阵P=WA来衡量, 如果P的每一行每一列有一个元素远大于其他元素, 说明算法能很好地恢复源信号。令P=[p1, p2], 由于p1和p2都是非单位矩阵, 这意味着分离出的源信号的幅度和列顺序发生了变化, 因此说明了盲源分离存在着信号幅度和恢复次序的不确定性。

4 常见的ICA算法

ICA算法的基本原理就是依据等独立性度量的准则来建立目标函数, 使分离出的独立分量最大程度地逼近各个源信号。不同ICA算法的研究主要体现在独立性度量准则的选取和对目标函数的优化准则上的不同。

ICA算法的目标函数很多, 主要有最大化非高斯性、最小化互信息、Infomax和极大似然估计。虽然建立不同目标函数的基础和出发点不尽相同, 但是许多目标函数都有相同的形式, 在一定条件下它们是等价的[5]。

ICA算法的实现大致分为两条:批处理 (Batch Processing) 和自适应处理 (Adaptive Processing) 。批处理的含义是指依据一批已经取得的数据来进行统计学处理, 尽管这些数据可以反复使用, 但是却需要大量的存储空间来存储, 而且统计处理无法快速适应变化的数据, 属于离线处理, 如FastICA算法;自适应处理的含义是指随着数据的不断输入作递归式迭代处理, 其无需大量的数据存储空间, 输入一个数据就处理一个, 所以数据的整个处理过程也被称为实时处理或在线处理。前者适宜于非实时数据处理的场合, 但收敛速度较快;后者适合于实时信号处理的场合, 但收敛速度较慢, 并且算法的收敛性能与步长的选择有关。

4.1 Infomax算法 (最大熵法)

Infomax[6]算法是基于信息最大化判据导出的一种新的优化算法。这个算法是由Bell和Sejnowski于1995年提出的一种单层前馈神经网络算法。Informax算法的处理流程如图1所示。

在图1中, x为m路观测信号向量, 它是由n个独立源信号线性混合而成。网络输出为u=Wx, 是对真实源信号的逼近, g (·) 为可逆单调非线性函数, 非线性输出为yi。

Infomax算法的处理过程的特点是:经W解混后, 对输出y的每一个分量yi分别用一个可逆的单调非线性函数g (yi) 加以处理, 在给定合适的g (yi) 后, 通过调节W使g (y) 的综合信息熵H (g (y) ) 最大。使用随机梯度下降优化算法, 用瞬时或随机梯度代替真实梯度, 即得到随机梯度算法为:

$\text{Δ}\mathit{W}=\mu [\mathit{W}{}^{-\text{Τ}}-g(\mathit{y})\mathit{x}{}^{\text{Τ}}](11)$

式中:μ为步长;g (·) 为给定的非线性函数, g (y) 是将向量y的每个成分执行给定的标量函数g (·) 。

对于一个单层线性前馈神经网络, 简单的最大化将使输出熵H (y) 发散至无穷。Bell提出在线性神经网络的输出端引入非线性环节:

$\mathit{y}=g(\mathit{u})=g(\mathit{W}\mathit{x})(12)$

由于非线性函数是单调可逆函数, 因此由yi相互独立必然能得出ui相互独立, 从而实现独立源的盲信号分离。这样将线性网络的信息极大传输问题转变为非线性网络的信息传输极大问题, 采用统计梯度算法对神经网络连接权值进行调整。即算法中只对分离矩阵W进行调整。在低噪声的情况下, 可较好地实现多路线性混合信号的盲源分离。

该算法对所有的超高斯源都采用了相同的非线性函数, 也得到了非常理想的盲源分离效果。这说明了非线性函数选择条件不一定非要严格满足。只要非线性函数逼近源信号的累积分布函数就可以得到较好的分离效果。通常, 采用统一而固定的非线性sigmoid函数, 即:

$y{}_i=g{}_i(u)=1/(1+\text{e}{}^{-(au+b)})(13)$

式中:参数a的大小决定着sigmoid函数上升沿和导函数的陡峭度;b为波形位置偏移参数。

Infomax算法可有效地分离多个超高斯分布的源信号, 结合Amari等提出的自然梯度和极大似然估计法, 对其进行了推广, 使该算法能够分离超高斯和亚高斯分布的混合信号。主要缺点是:收敛速度慢, 同时由于涉及分离矩阵W的求逆, 一旦W在更新过程中条件数变差, 算法就可能发散。

4.2 互信息极小法

互信息是盲源分离算法中的一个规范的代价函数, 因为它表达了独立源的关键性质。不同的ICA算法中包含不同的代价函数, 但是一般都是以输出信号的互信息最小为最终目的。

对于盲分离问题的估计信号y, 它的互信息量为:

$\begin{array}{l}{\rm I}(\mathit{y})={\displaystyle \int p}(\mathit{y})\log \frac{p(\mathit{y})}{{\displaystyle \prod _{i=1}^{n}p}(y{}_i)}\text{d}\mathit{y}=\\ {\displaystyle \int p}(\mathit{y})\log p(\mathit{y})\text{d}\mathit{y}-{\displaystyle \sum _{i=1}^n{\displaystyle \int p}}(y{}_i)\log p(y{}_i)\text{d}y{}_i(14)\end{array}$

可将式 (14) 中的互信息量用微分熵来表示:

${\rm I}(\mathit{y},\mathit{W})={\displaystyle \sum _{i=1}^n{\rm H}}(y{}_i,\mathit{W})-{\rm H}(\mathit{y},\mathit{W})(15)$

由y=Wx可以得到输入信号与输出信号熵之间的关系为:

${\rm H}(\mathit{y},\mathit{W})={\rm H}(\mathit{x})+\log |\mathit{W}|(16)$

式中:H (x) , H (y) 分别是输入信号熵和输出信号熵。

将式 (16) 代入式 (15) 可得:

${\rm I}(\mathit{y}‚\mathit{W})=-{\rm H}(\mathit{x})-\log |\mathit{W}|+{\displaystyle \sum _{i=1}^n{\rm H}}(y{}_i)(17)$

当通过选择W, 使互信息量I (y) 极小, 则得出最小互信息量判据。

该方法的目标函数是使I (y, W) 极小, 因此调节规律是:

$\text{Δ}\mathit{W}=-\mu \frac{\partial {\rm I}(\mathit{y},\mathit{W})}{\partial \mathit{W}}(18)$

最后得系数调节公式为:

W (k+1) =W (k) +μk[W-T (k) -φ (y (k) ) xT (k) ] (19)

4.3 固定点算法 (FastICA)

固定点算法是对一组给定数据的递推计算, 属于批处理。首先对观测信号进行预处理, 包括中心化和白化。中心化即观测信号减去它的均值, 变成零均值矢量。白化是通过PCA网络将观测信号线性变换为具有单位方差且各分量互不相关的z。预处理是简化计算。下面对x做进一步处理, 即依据负熵判据来寻找矩阵以实现独立分量的分离。依据牛顿迭代定理, FastICA算法的调整公式为:

$\begin{array}{l}\mathit{W}{}^{+}=E\{zg(\mathit{W}{}^{\text{Τ}}z)\}-E\{g^{\prime }(\mathit{W}{}^{\text{Τ}}z)\}\mathit{W}(20)\\ \mathit{W}{}^{*}=\mathit{W}{}^{+}/\parallel \mathit{W}{}^{+}\parallel (21)\end{array}$

式中:W+为某一次牛顿迭代的结果;W*是W+归一化后的更新值。上述过程只估计了一个独立分量, 若要估计n个独立分量, 在每次提取一个分量之后, 要从观测信号中减去该独立分量, 如此重复, 直到所有分量都被提取出来为止。去掉已提取的独立分量的方法为 (设已估计了p个分量) :

$\begin{array}{l}\mathit{W}{}_{p+1}=\mathit{W}{}_{p+1}-{\displaystyle \sum _{j=1}^p\mathit{W}}{}_{p+1}^{\text{Τ}}\mathit{W}{}_j(22)\\ \mathit{W}{}_{p+1}=\mathit{W}{}_{p+1}/\sqrt{\mathit{W}{}_{p+1}^{\text{Τ}}\mathit{W}{}_{p+1}}(23)\end{array}$

与基于梯度的算法相比, 固定点算法不需要选择学习步长或其它参数, 使得这种算法更易使用, 更可靠。由于这个算法一次只提取一个独立分量, 而不是所有的分量, 所以, 如果只要提取某个分量, 又有足够的先验知识, 就可以很快地把它提取出来, 从而减小计算量。此外, 不管是具有正峭度还是负峭度的分量, 采用该算法都能提取出来。

5 结 语

盲源分离技术是近二十年发展起来的一门新型科学, 在各国科学家和研究人员的努力下获得了长足的发展, 但是ICA的研究方兴未艾, 它毕竟是一个涉及面广并且仍处在发展前沿的课题, 在理论上还远没有成熟, 许多问题都有待进一步研究和解决。

(1) 非平稳混合信号的盲源分离算法。

许多情况下源信号可能是非平稳的, 如何利用信号的非平稳特性进行盲源分离, 是摆在广大研究人员面前的一个现实问题。

(2) 带噪混合信号的盲分离问题。

盲信号处理中的未知条件太多, 混合信号含有的噪声情况下的盲源分离问题解决起来是相当困难的。尽管目前已有部分算法对存在噪声的情况表现出了良好的性能, 但由于噪声种类繁多, 因此处理起来仍很棘手。现有的大多数盲源分离或盲解卷积算法都假设不含噪声或者把噪声看作是一个独立的信源信号来处理。

(3) 卷积混合信号的盲源分离算法。

在实际中, 系统接收到的混合输入信号是源信号经过不同的传播途径到达接收器的信号。在这个过程中, 不可避免地存在信号的时延和反射。针对这种情况的盲源分离算法还很不成熟。

(4) ICA的推广应用。

在算法应用方面, ICA可以取得进一步的发展, 如可以在语音识别、图像处理、特征提取、医学信号处理方面作进一步的研究。目前的关键问题是如何将理论算法转化为实际应用, 以及如何建立更加符合实际情况的模型等。

(5) 算法的收敛性。

算法全局收敛性的研究, 可以考虑将遗传算法、混沌算法等具有全局收敛性的优化算法和ICA结合起来, 以提高算法的全局收敛性。

参考文献

[1]杨福生, 洪波.独立分量分析的原理与应用[M].北京:清华大学出版社, 2006.

[2]HYVARINEN A.Survey on independent component analy-sis[J].Neural Computing Surveys, 1999, 2 (4) :94-128.

[3]BELL A J, SEJNOWSKI T J.An information-maximizationapproach to blind separation and blind deconvolution[J].Neutral Compution, 1995, 7 (7) :1129-1159.

[4]COMMON P.Independent component analysis[J].SignalProcessing, 1994, 36 (3) :287-314.

[5]LEE T W, GIROLAMI M, BELL A J, et al.A UnifyingInformation-theoretic framework for independent componentanalysis[J].Computers&Mathematics with Applications, 2003, 1 (11) :1-22.

[6]COMMON P.Independent component analysis:a new con-cept[J].Signal Processing, 1994, 36 (3) :191-235.

[7]杨行峻, 郑君里.人工神经网络与盲信号处理[M].北京:清华大学出版社, 2003.

[8]GARDOSO J F.Entropic contrast for source separation:geometry and stability unsupervised adaptive filtering, volume 1:blind source separation[M].[S.l.]:John Wiley&Sons, 2000:129-189.

[9]AMARI S, CARDOSO J F.Blind source separation-semi-parametric statical approach[J].IEEE Trans.on SignalProcessing, 1997, 45 (11) :2692-2700.

[10]HYVARINEN A, KARHUNEN J, OJA E.Inde pendentcomponent analysis[M].Canada:[s.n.], 2001.

[11]虞晓, 胡光锐.基于统计估计的盲信号分离算法[J].上海交通大学学报, 1999, 33 (5) :566-569.

独立分量分析 篇7

随着科技的高速发展, 海量数据的采集和存储已不再成为问题。在模式识别领域中, 仅获得待识别目标的原始数据是不够的, 需要从原始数据中发掘潜在的本质信息。通常待识别目标的原始数据的数据量相当大, 处于一个高维空间中, 直接用原始数据进行分类识别, 计算复杂度高且影响了分类器的性能。为了有效实现分类识别, 需要从待识别目标的原始数据映射到一个低维空间, 提取到最大可能反映待识别目标的本质信息。目前常用的提取特征的方法有主成份分析 (PCA) 和独立成分分析 (ICA) 。

PCA方法[1,2]是一种最小均方意义上的最优变换, 它的目标是去除输入随机向量之间的相关性, 突出原始数据中的隐含特性。其优势在于数据压缩以及对多维数据进行降维。但PCA方法利用二阶统计信息进行计算, 并未考虑到信号数据的高阶统计特性, 变换后的数据间仍有可能存在高阶冗余信息。从统计观点来看, 实际信号的大部分重要信息往往包含在高阶统计特性当中, 因此只有当多变量数据是由高斯分布的源信号构成时, PCA方法才能用来实现信号的分离。然而在现实中, 真正满足正态 (高斯) 分布的随机变量很少, 绝大部分随机变量都是非高斯的。

ICA方法[3,4,5]是20世纪90年代 Jutten和Herault提出的一种新的信号处理方法。该方法的目的是将观察到的数据进行某种线性分解, 使其分解成统计独立的成分。从统计分析的角度看, ICA和PCA同属多变量数据分析方法, 但ICA处理得到的各个分量不仅去除了相关性, 还是相互统计独立的, 而且是非高斯分布。因此, ICA能更加全面揭示数据间的本质结构。因此, ICA在许多方面对传统方法的重要突破使得其越来越成为信号处理中一个极具潜力的工具, 并己在模式识别、信号除噪、图像处理等诸多领域中得到了广泛应用。

本文把ICA应用到钞票识别中, 提出基于ICA的钞票识别。首先介绍了ICA的基本原理;接着提出了基于ICA的钞票识别方案;然后以第五套人民币作为实验对象进行了实验, 并对实验结果进行分析。

1 ICA原理[6,7,8]

假设存在N个独立的源信号, 写成向量形式为S= (s1, s2, ..., sn) T, 以及N个观测信号X= (x1, x2, ..., xn) T。这些信号是由未知且相互独立的源信号经混合系统A线性混合而成, X=AS。则由己知的观测信号X在A未知时求未知的源信号S问题就构成ICA模型。A称为混合阵, 由混合系数组成, A的每个行向量中的N个元素作为N个源信号的加权系数对源信号进行混合, 就得到对应的一个观测信号。

ICA方法的基本目标是寻找一个线性变换W, 称之为分离矩阵, 将其施加到观测信号X, 通过它能由观测信号恢复相互独立的源信号S。当W通过某种优化算法得到, 便有:Y=WX=WAS。

可见, 输出Y= (y1, y2, ..., yn) T是源信号S的一个估计。当分离矩阵W是A的逆时, 源信号S在Y中得到了分离, 由于没有任何参照目标, 这一过程只能是无监督的、无组织的过程。因此, ICA算法首先是要建立度量分离结果独立程度的准则即目标函数, 然后是对目标函数选择优化算法, 找出分离矩阵W。

在使用ICA算法对数据进行分离前, 通常需要对数据进行预处理。通过对数据进行预处理, 既可以简化下面的分析和计算, 也可以使ICA的算法更加稳定。

1.1 标准化

数据标准化的主要目的是从观测数据中除去其均值。

设均值m=E{x}, 可得到x′=x-m, 从而使E{x′}=0, 且x=x-m=As-E{As}=A (s-E{s}) =As′, E{s′}=0, 从上面可以看出, 数据去中心化后, 其混合矩阵不变, 在估计出s′后, 再加上相应的A-1E (x) , 就可以得到s。下面我们把x′和s′分别称为x和s。

1.2 白 化

白化的主要目的是去除数据的相关性。数据的白化处理可以使随后的计算大为简化, 并且还可以压缩数据。我们通常使用特征值分解的方法进行数据的白化, 即将x的协方差矩阵进行特征值分解为:

其中E为特征向量构成的正交阵, D=diag (d1, d2, ..., dn) 由特征值构成的对角阵。白化矩阵的形式如下:

其中, D-1/2 = diag (d1 -1/2, d2 -1/2, ..., dn-1/2) , 则x=D-1/2ETAs那么:

$E\{xx{}^{{\rm T}}\}=E\{\tilde{A}ss{}^{{\rm T}}\tilde{A}{}^{{\rm T}}\}=\tilde{A}E\{ss{}^{{\rm T}}\}\tilde{A}{}^{{\rm T}}=\tilde{A}\tilde{A}{}^{{\rm T}}={\rm I}$

可以看出白化后得到的新的混合矩阵互是正交阵。白化减少了需要估计的参数的个数, 若要估计出n×n的原混合矩阵A, 需要估计出它的n×n个元素, 现在我们需要估计的是新的混合矩阵, 因其为正交阵, 只有n× (n-1) /2个未知参数。可以看出白化能极大地减少ICA的后续的计算量。白化还能压缩数据的维数, 考察x的协方差矩阵E{xxT}的特征值时, 可以舍去那些特征值很小的特征值, 这一点也有助于去掉噪声的影响。

1.3 ICA判据

在设计ICA算法的过程中, 最实际的困难是如何可靠地验证源信号分量间的独立性。由于概率密度未知, 直接利用互信息的方法去测度独立程度几乎是不可能的。为了测度这些分量的独立性, 需要给出独立性判据。目前常用的独立性判据[9,10]主要有:

(1) 非高斯的最大化;包括4阶累计量 (Kurtosis) 、负熵等。

(2) 互信息的最小化。

(3) 最大似然函数估计 (ML) 。

独立性判据的选择有赖于具体应用想要得到的最优计算性能。

1.4 FastICA算法

固定点算法又称为FastICA算法[12,13,14], 是一种快速寻优迭代算法。它有基于峰度、基于最大似然和负嫡最大化等多种形式。基于负墒最大化的FastICA算法, 以负嫡最大作为一个搜寻方向, 可以实现顺序地提取独立源, 充分体现了投影追踪这种传统线性变换的思想;而且该算法采用了定点迭代的优化算法, 使得收敛更加快速、稳健。采用基于负熵的固定点算法的优点是:

(1) 在ICA模型中, FastICA算法的收敛速度是二次以上的, 而梯度搜索法只是一次收敛。

(2) 与梯度搜索法相比, FastICA的步长参数容易确定。

(3) 该算法适合于任何非高斯信号。

(4) 可以通过选择不同的非线性函数f使算法获得不同的性能。

(5) 一次性可以估计出所有的独立成分。

(6) 该算法是并行的、分布的, 且计算简单, 需要的内存较少。

因此, 本文将采用基于负嫡的FastICA算法, 算法的实现步骤如下:

(1) 将x去均值、标准化, 然后加以白化得z。

(2) 设p为待提取独立成分的数目, 令i=1。

(3) 任意选择ui的初值ui (0) , 要求‖ui (0) ‖=1。

(4) 令ui (k + 1) =E{ zf[uiT (k) z]}-E{ f ′[uiT (k) z} ui (k) , f和f ′可以查表得到。

(5) 正交化:

$u{}_i(k+1)-{\displaystyle \sum _{j=1}^i\langle }u{}_i(k+1),u{}_j\rangle u{}_j\to u{}_i(k+1)$

(6) 归一化:$u{}_i(k+1)\leftarrow \frac{u{}_i(k+1)}{\parallel u{}_i(k+1)\parallel {}_2}$

(7) 如ui未收敛, 回到步骤 (4) 。

(8) 令i加1, 如i≤p, 则回到步骤 (3) 。否则迭代结束。

2 基于ICA的钞票识别

在基于ICA的钞票识别算法中, 把钞票图像X 看作是统计独立基图像S 和未知混合矩阵A 的线性混合。钞票图像是独立基图像的线性组合。

提取到钞票图像的独立基图像, 由这些独立基图像张成的空间构成钞票的特征空间。钞票图像在特征空间上的投影向量可作为钞票识别的特征向量, 即可用钞票图像在特征空间上的投影来表示该钞票。

因训练样本的类别标记已知, 利用训练样本在钞票特征空间的投影可得到不同类的投影向量, 构成了特征模板库。根据特征模板库设计分类器。

基于ICA的识别框架如图1所示。

2.1 ROI切割

由于直接对钞票图像进行PCA, 其运算量是非常大, 以至于不能实用化。因此, 我们对倾斜校正后的图像进行ROI切割, 如表1所示。

表中的ROI切割位置为:行6～26, 列60～110。其ROI大小为50×20。

2.2 提取独立基图像

对于由ROI图像组成的图像库, 把图像库中每幅图像的各个像素逐行串接, 构成一维向量。再把库中的M幅图片构成的M个一维向量组成数据矩阵。设每幅图像的像素总数为N, 则数据的结构为:每幅图片的一维向量为一行。将各个图片的向量逐行叠置构成M×N数据阵X, 如图2所示。矩阵X经过解混矩阵W处理而得到独立成分矩阵U=WX, U的各行是相互独立的基本图像, 而解混矩阵之逆W-1的各行是各独立基图像在各原图像中的组合系数。

本文采用FastICA算法提取独立基图像。为了降低计算复杂度, 先采用PCA去除钞票ROI图像的二阶统计相关性, 其余的高阶统计量由FastICA进行分离。

先对图像作标准化、白化处理。设P是前k (k<m) 个特征向量组成p×k维矩阵, p是图像的像素数, k是主元个数。按FastICA算法步骤对PT进行处理, 提取到k个独立基图像:

由上式可得:

设R是m×n维的PCA系数, 则:

由上式可得:

由式 (3) 及式 (4) 可得:

因此, 独立系数B为:

经上述处理步骤提取到的独立基图像如图3所示。

2.3 分类决策

对任一待识别目标, 把它往特征空间上投影, 得到其投影向量, 通过比较待识别目标在特征空间上的投影向量与特征模板的距离, 可实现分类识别。这里选取最近邻分类器作为分类器。

对于有L个类别ω1, ω2, …, ωL的模式识别问题, 每类的特征模板为Bi, i=1, 2, …, L;设待识别目标X在特征空间上的投影向量为BX, d (·) 为马氏距离度量准则, X被判为ωj类的判别规则为:

为提高识别性能, 增加拒识处理。按照最小距离法获得待识别目标的最可能类别后, 按如下规则给出识别结果。

式中, Tmin和Tmax为经验阈值。

3 实 验

选取人民币第五套2005版的钞票作为实验样本, 该套人民币有五个面值、四个面向。训练样本:每个面值、面向各有10张图像, 对应200个样本。测试样本:每个面值、面向各有20张图像, 对应400个样本。实验样本共600个, 为了测试算法的泛化能力, 训练样本和测试样本分别来自两批钞票。

为了对比, 采用上述实验样本, 本文还实现了文献[15]提出的基于神经网络的钞票识别算法。

实验是在Intel Pentium Dual Core 1.8G CPU以及Miscrosoft Windows 2000的环境下用VC++ 6.0编程实现。

3.1 实验结果

用识别率、拒识率来衡量识别性能。以下是性能指标的说明。

(1) 识别率

识别率=正确判别数 / 总测试样本数;

(2) 拒识率

拒识率=拒识样本数 / 总测试样本数。

测试实验结果如表2所示。

3.2 实验结果分析

实验结果表明, 与文献[15]提出的识别方法相比, 本文方法的识别效果更好。神经网络可解释性差, 是黑盒模型, 给权值和网络节点的训练带来困难。此外, 实验给两种方法都加入拒识。

通过分析拒识样本, 发现拒识的原因主要有: (1) 钞票污损严重, 存在折痕、笔画, 给钞票图像引入大量的噪声; (2) 钞票图像残缺导致信息不完整; (3) 成像设备的限制影响了钞票图像质量。

由于ICA处理的对象是ROI图像, 因此, 识别性能与ROI的选取有关:只有选取的ROI图像具有较好的可区分性时, 才能保证识别算法的性能。

4 结 论

ICA是一种基于高阶统计的多变量分析方法, 能够从非高斯分布的信号中分离出独立的信号分量。实际的随机变量多为非高斯分布。本文的实验结果表明, ICA能从钞票图像中提出到有效特征, 可应用于钞票识别。

ICA处理的对象是ROI图像, 通过寻找更为适合的ROI切割方法将有助于提高ICA算法性能。

摘要：提出一种基于独立分量分析的钞票识别算法。先对钞票图像作感兴趣区域 (ROI) 切割;接着对ROI图像作标准化、白化预处理;然后采用基于负熵独立性判据的固定点方法 (FastICA) 对预处理后的ROI图像做ICA分离, 提取独立基图像, 进而获得钞票的特征空间, 并构建特征模板;通过计算待识别目标与特征模板的距离实现识别。以第五套人民币作为实验对象进行实验, 实验结果表明方法的有效性。

独立分量分析 篇8

目前, PCMA技术的研究重点是非盲分离算法, 它要求通信双方准确估计自身上行信号的各项参数, 以便从接收信号中抑制自身信号, 得到对方发送的有用信号。从信号分离的角度来看PCMA信号的获取, 也就是从单个传感器接收到的PCMA信号中分离出2路上行信号, 即单通道盲分离问题。因为组成PCMA信号的2路上行信号具有完全相同的频率、时隙和符号速率, 且这2路上行信号的功率相当, 这就导致了PCMA信号的盲分离问题不能使用传统的基于不同功率、符号速率、滚降系数等的单通道盲分离算法[2,3,4,5]来解决。文献[6]中提出了基于PSP和Kalman滤波的算法来解决这个问题, 但该算法对参数的变化不敏感, 文献[7]使用粒子滤波算法来实现同频MPSK信号的盲分离, 但算法的计算比较复杂。

本文研究的是非协作通信中PCMA信号的盲分离问题, 即第三方在未知2个卫星地面站发送的上行信号的情况下, 根据接收到的PCMA信号分离出2路上行信号。本文在现有研究的基础上, 结合PCMA信号的特点, 将独立分量分析应用到这类信号的处理中。首先对接收到的单路PCMA信号进行参数估计得出其残余载波频率, 再对其处理得到2路基带混合信号, 最后利用FastICA算法分离出源基带信号。本文提出的算法有效地解决了单通道的欠定问题, 并经过仿真对上述处理方法进行了实际验证。

1 信号模型

PCMA卫星通信系统中, 通信站1和2使用一样的频率、时隙和扩频码来发射上行信号S1和S2。由于PCMA卫星通信系统采用透明转发器, 每个卫星站接收到的下行信号均为自身上行信号和对方上行信号叠加后得到的混合信号, 因此, 在忽略噪声的情况下, 经转发器转发后, 卫星站1和2接收到的信号为S1+S2。其通信示意图如图1所示。

PCMA混合信号的复基带形式表达式如下

式中:y1 (t) 和y2 (t) 为2个不同卫星站发射的上行信号;h1和h2对应y1 (t) 和y2 (t) 的瞬时幅度;Δf1和Δf2对应y1 (t) 和y2 (t) 的残余载波频率;Φ1和Φ2对应y1 (t) 和y2 (t) 的初相, v (t) 是方差为σ2的加性高斯白噪声, x1 (t) 和x2 (t) 为2路基带信号, 表达式如下

式中:sn (i) 为第i路上行信号的第n个信息符号, 其取值与基带数字调制方式有关;Ts为符号周期;τi为第i路上行信号的信道传输时延, 满足-Ts/2≤τi≤Ts/2;本文中基带信号x1 (t) 和x2 (t) 均采用升余弦滚降成型, 因此这2路基带信号采用的成型滤波器的冲激响应函数gi (t) 的表达式为

式中:αi为升余弦滚降系数。

2 基于FastICA算法的PCMA盲分离算法

2.1 基于二阶循环累积量的残余载波频率估计

记2个不同卫星站发射的上行信号yi (t) (i=1, 2) 的实部Re[yi (t) ]为yRi (t) , 计算其二阶循环累积量如下

式中:〈·〉t表示时间平均;hi为第i路上行信号的瞬时幅度;Δfi表示第i路上行信号的残余载波;Φi表示第i路上行信号的初始相位;Rαxi (τ) 为基带信号si (t) 的二阶循环统计量。

记单个传感器接收到PCMA信号y (t) 的实部Re[y (t) ]为yR (t) , 计算其二阶循环累积量如下

因此, 只要求出Rαxi (τ) 就能计算出yR (t) 的二阶循环统计量RαyR (τ) 。

xi (t) 的循环谱为

式中:Gi (f) 表示第i路基带信号xi (t) 成型滤波器的冲激响应函数gi (t) 的傅里叶变换;Tc表示这2路基带信号的码元周期。求Sxi (α, f) 的逆傅里叶变换就能计算出第i路基带信号xi (t) 的二阶循环累积量Rαxi (τ)

在估计PCMA信号的残余载波频率时, 令τ=0, 得到:Ryα (0) =Rαy1 (0) +Rαy2 (0) , 由式 (7) 知Rαxi (τ) 仅在循环频率α=0处不等于零, 因此Rαyi (0) , i=1, 2在α分别等于0、±2Δfi时非零, 则当且仅当α等于0、±2Δf1、±2Δf2时Ryα (0) 的值不等于零。此时, 在一定的循环频率取值内, 循环谱图中零频附近两非零谱线处的循环频率就分别对应了2路上行信号y1 (t) 和y2 (t) 的残余载波频率值Δf1与Δf2。

PCMA信号的残余载波频率估计实现步骤如下:

1) 根据单个传感器接收到的PCMA信号的频谱, 初步估算其带宽B^, 这样算法执行过程中循环频率α的取值范围也就随之确定了。

2) 计算PCMA信号实部部分的二阶循环累积量RαyR (τ) , 令τ=0, 当RαyR (τ) ≠0时对应的循环频率α1和α2 (α1, α2均不等于零) 就分别代表了2路上行信号y1 (t) 和y2 (t) 的残余载波频率值Δf1与Δf2。

2.2 FastICA算法

FastICA算法是一种用来解决非欠定盲分离问题的高效算法[8], 其收敛速度与运算速度均比较快。运用FastICA算法有以下4个前提条件:

1) 由于是批处理算法, 要求源信号是平稳的;

2) 用于接收信号的传感器个数不小于源信号个数;

3) 混合矩阵列满秩;

4) 各路源信号在统计意义上相互独立, 并且至多有一个服从高斯分布。

假设有N个相互独立的源信号s1 (t) , s2 (t) , …, sN (t) , 若使用M (M≥N) 个接收天线, 则有M个观测信号x1 (t) , x2 (t) , …, xM (t) 。设M个接收天线同时开始工作, 此时FastICA模型的表达式为

定义:X=[x1 (t) , x2 (t) , …, xM (t) ]T, S=[s1 (t) , s2 (t) , s3 (t) , …, sN (t) ]T。

定义混合矩阵

所以式 (8) 可被写成矩阵形式:X=AS, FastICA算法可实现在缺乏源信号的先验知识的情况下, 得到混合矩阵A的估计值, 再求得分离矩阵这样源信号向量Y=[y1 (t) , y2 (t) , …, yN (t) ]T就能通过Y=WX计算出来。

2.3 算法原理及推导

第i (i=1, 2) 路上行信号可表示为

记为Δfi的估计值, 以为残余载波频率值构造出余弦波信号则

因此

对进行低通滤波, 由于其高频部分不能通过, 那么剩下的低通信号为

同理:对进行低通滤波得到

将上述2路低通信号yd1与yd2写成矩阵形式, 其表达式如下

其中

由式 (14) 可知, 如果可以准确估计2路上行信号y1 (t) 和y2 (t) 的残余载波频率值且Δf1与Δf2数值相等或相差很小时, 矩阵A就可以看作是不变的。此时式 (14) 可以近似等价为

当y1 (t) 和y2 (t) 的载波初相满足Φ1≠Φ2+2kπ, k∈Z的条件时, 矩阵A不可逆。通过上述分析可知, 式 (20) 所描述的即为适定盲分离问题。其中, 矩阵A等效成混合矩阵, X等效成源信号向量, 此时就可以使用FastICA算法来实现源基带信号x1 (t) 和x2 (t) 的分离。

本文算法的算法模型如图2所示, 具体实现步骤如下:

1) 取单个传感器接收到的PCMA信号y (t) 的实部部分yR (t) , 计算其二阶循环统计量得到2路上行信号y1 (t) 和y2 (t) 的残余载波频率

2) 由残余载波频率的估计值构造出余弦波信号

3) 将y (t) 分别乘以, 取所得结果的实部部分, 对其进行低通滤波后产生2路相互独立的低通信号yd1和yd2。

4) 对yd1和yd2应用FastICA算法就可以求出源基带信号x1 (t) 和x2 (t) 的估计值x^1和x^2。

3 仿真实验结果和分析

取单个传感器接收到的PCMA信号作为实验对象, 本实验中源基带信号x1 (t) 和x2 (t) 的成型滤波器选取滚降系数为0.33的升余弦滤波器。发送码元符号数目为50。2路上行信号y1 (t) 和y2 (t) 的参数设置如下:码元速率fd=1×106bit/s, 采样速率fs=1×108Hz, 第一路上行信号y1 (t) 的残余频偏Δf1=1×107Hz, 初相θ1=0.6, 信号的传输信道衰落h1=1, 采样矩形脉冲;第二路上行信号y1 (t) 的残余频偏Δf2=1×107Hz, 初相θ2=1.2, 信号的传输信道衰落h2=1。

图3中, 当循环频率分别取0和2×107时, PCMA信号实部部分的二阶循环累积量出现峰值。而最大值位置处的循环频率的1/2即1×107Hz就是上行信号残余载波频率估计值。

设置信噪比为SNR=15 dB, 图4给出了在该信噪比下的源基带信号x1 (t) 和x2 (t) , 图5给出了使用本文算法分离出的基带信号x^1 (t) 和x^2 (t) , 将图4和图5进行对比就可以发现信号x^1 (t) 和x1 (t) , x^2 (t) 和x2 (t) 的波形十分相似, 本文采用相似系数来衡量信号x^i (t) 与xi (t) 的波形相似程度, 仿真表明此时两路基带信号的相似系数可达到0.974与0.987。

设置信噪比的取值范围为-10～10 d B, 每间隔1 d B进行100次试验, 图6和图7分别给出了利用FastICA算法和联合对角化算法 (Joint Approximative Diagonalization of Eigen-matrix, JADE) 分离出的2路基带信号与源基带信号x1 (t) 、x2 (t) 的波形相似系数随信噪比的变化曲线。可以看出, 2路基带信号的波形相似系数均随着信噪比的提高而增大。当信噪比SNR=-10 d B时, 使用FastICA算法得到信号的波形相似系数可分别达到0.94与0.86以上, 而使用JADE算法得到的2路基带信号波形相似系数仅分别达到0.87与0.83。由此可以看出, 本文算法相较于使用JADE算法, 能适应更低的信噪比, 其抗噪声性能更优。

4 结论

本文提出了一种基于独立分量分析的PCMA信号盲分离算法。本算法首先对接收到的单路PCMA信号进行参数估计得到其残余载波载频率值, 再对其处理得到2路基带混合信号, 最后利用FastICA算法分离出源基带信号。仿真实验表明, 本文算法可以适应较低的信噪比, 且具有分离性能稳定、运行速度快等优点。

然而本文要求构成PCMA信号的2路上行信号的残余载波频率值相等或相差很小, 当2路上行信号的残余载波频率值相差超过一定范围时, 算法的分离效果就会明显下降。

参考文献

[1]姚莳霖, 陈惠民.卫星通信系统成对载波多址技术的应用[J].上海大学学报:自然科学版, 2004, 10 (3) :241-243.

[2]BRANDT-PEARCE M.Signal separation using fractional sampling in multiuser communications[J].IEEE Trans.Communications, 2000, 48 (2) :242-251.

[3]WARNER E S, PROUDLER I K.Single-channel blind signal separation of filtered MPSK signals[C]//Proc.Radar, Sonar and Navigation.[S.l.]:IET, 2003, 150 (6) :396-402.

[4]ZHANG Y, KASSAM S A.Multichannel blind source separation and blind equalisation using fractional sampling[C]//Proc.ICA.[S.l.]:IEEE Press, 2000:285-289.

[5]彭耿, 黄知涛, 姜文利, 等.单通道盲信号分离研究进展与展望[J].中国电子科学研究院学报, 2009, 4 (3) :268-277.

[6]毕琰, 钱良.基于PSP及Kalman滤波的PCMA信号盲分离算法[J].信息技术, 2013 (7) :20-23.

[7]SHILONG T, SHAOHE C, HUI Z, et al.Particle filtering based single-channel blind separation of co-frequency MPSK signals[C]//Proc.2007 International Symposium on Intelligent Signal Processing and Communication Systems.[S.l.]:IEEE Press, 2007:582-585.