损失数据自回归模型的随机梯度辨识算法（精选2篇）
损失数据自回归模型的随机梯度辨识算法 篇1
损失数据自回归模型的随机梯度辨识算法
运用多项武变换技术将损失观测数据自回归模型转化为一种特殊形式的`模型,该模型可以利用稀少观测数据来辨识模型参数,再利用模型等价原理来估计损失观测数据,提出了基于残差的随机梯度辨识算法,仿真结果验证了提出算法的有效性.
作 者：陈晓明 丁锋 CHEN Xiao-ming DING Feng 作者单位：江南大学控制科学与工程研究中心,无锡,214122 刊 名：科学技术与工程 ISTIC英文刊名：SCIENCE TECHNOLOGY AND ENGINEERING 年，卷(期)： 8(8) 分类号：O212.1 关键词：AR 模型 参数估计 随机梯度 损失数据损失数据自回归模型的随机梯度辨识算法 篇2
关键词：递推辨识,参数估计,多新息辨识,随机梯度
多新息辨识理论是基于扩展标量新息(innovation)到向量新息,扩展信息向量到信息矩阵和构成堆积系统输出的思想,而提出的辨识方法。多新息辨识方法能够提高参数估计精度[1,2,3],且多新息辨识理论已广泛应用于多种模型的参数估计,提出了相应的参数估计方法。例如,多输入单输出系统的多新息最小二乘算法[4]、辅助模型多新息最小二乘算法[5]等。多新息随机梯度算法已应用于前向神经网络算法的优化[6]。本文将多新息辨识理论加以发展,用于研究自回归模型的参数辨识问题,提出了相应的多新息随机梯度辨识算法和多新息最小二乘辨识算法。
1问题描述与多新息随机梯度算法
考虑自回归(AR)模型描述的系统,
(1)式中{y(t)}表示系统输出观测序列,{v(t)}是零均值随机白噪声序列,z-1为单位后移算子[z-1y(t)=y(t-1)],A(z)是单位后移算子z-1的多项式。且
式(1)可以写为一个辩识模型,
(2)式中上标T表示矩阵转置,参数向量和信息向量分别定义为
辨识的目标是,利用系统输出数据{y(t)},研究和提出AR模型的多新息随机梯度算法和多新息最小二乘算法,来估计系统参数向量θ,并进行计算机仿真研究。
设θ(t)为t时刻θ的估计。由于模型(2)中信息量φ(t)是可测的,故可用下列随机梯度(SG)算法估计参数向量θ[7]:
如文献[3]所指出,SG算法收敛速度慢。为了克服这个问题,本文借助于多新息辨识理论[3],把标量新息e(t)∈瓗1扩展为新息向量,
其中正整数p表征新息长度,并把信息向量φ(t)扩展为信息矩阵Υ(p,t),输出y(t)扩展为堆积输出向量Y(p,t)如下:
那么新息向量可以表示为
借助于文献[3]的多新息辨识理论,从SG算法可以推广AR模型的新息长度为p的多新息随机梯度算法(MISG):
由于算法里E(p,t)∈Rp是一个新息向量,称之为多新息,所以算法(7)式—(12)式称为AR模型的多新息随机梯度辨识算法(MISG)。当p=1时,该算法就蜕化为随机梯度算法。当然,按照多新息辨识理论,式(9)中r(t)也可以取为
2多新息最小二乘算法
估计模型(2)式中参数向量θ的最小二乘(LS)算法如下[7]:
借助于上面多新息随机梯度辨识方法的推导思想,也把标量新息e(t)∈瓗1扩展为新息向量E(p,t),把信息向量φ(t)扩展为信息矩阵Υ(p,t),把输出y(t)扩展为堆积输出向量Y(p,t),从而可以得到估计AR模型参数向量θ的多新最小二乘算法
由于这个算法是借助于多新息辨识理论,从最小二乘算法推导而来,故称为AR模型的多新息最小二乘辨识算法(MILS)。当p=1时,该算法就蜕化为标准递推最小二乘辩识算法,所以说多新息辨识算法是一种推广,而随机梯度算法和递推最小二乘算法是多新息辨识算法的特殊情形。
3数字仿真
考虑下列线性仿真对象,
仿真时,{v(t)}采用零均值单位方差σ2=1.002的白噪声序列。将MISG算法和MILS算法用于估计这个系统的参数。不同新息长度时参数估计及其误差δ∶=‖θ(t)-θ‖/‖θ‖如表1所示,估计误差δ随t的变化曲线如图1所示(限于篇幅,MILS估计及其误差表略)。
4结论
本文研究了自回归模型的多新息随机梯度辨识方法和多新息最小二乘辨识算法,并用仿真例子验证了算法的有效性。
参考文献
[1]丁锋,谢新民,方崇智.时变系统辨识的多新息方法.自动化学报,1996;22(1):85—91
[2]丁锋,萧德云,丁韬.多新息随机梯度辩识方法.控制理论与应用,2003;20(6)870—874
[3]Ding F,Chen T.Performance analysis of multiinnovation gradient type identification methods Automatica,2007;43(1):1—14
[4]Ding F,Shi Y,Chen T.A new identification algorithm for multi-in-put ARX systems.2005IEEE International Conference on Mechatron-ics and Automation,July29-August1,2005,Niagara Fall,Canada,764—769
[5]Ding F,Chen HB,Li M.Multi-innovation least squares identifica-tion methods based on the auxiliary model for MISO systems.Applied Mathematics and Computation,2007;187(2)658—668
[6]刘英玉,申东日,陈义俊,等.基于前向神经网络的多新息随机梯度辨识算法.哈尔滨商业大学学报(自然科学),2006;22(2):83—86