最小二乘迭代

2024-06-07

最小二乘迭代（精选7篇）

最小二乘迭代篇1

0 引言

总体最小二乘[1]认为平差模型中观测向量和系数矩阵同时含有误差, 并对其进行改正。针对系数矩阵含有误差的平差问题, 在理论上总体最小二乘较最小二乘更为严密。总体最小二乘的经典解法是奇异值分解法 (SVD) , 但由于其计算复杂且不利于编程, 测量学者提出了一些基于平差模型的迭代解法[2~7], 并对其实际应用作了一些研究[8~10]。在测量数据处理中, 线性拟合是总体最小二乘一个最重要的应用, 但总体最小二乘的常规解法 (即奇异值分解法和迭代解法) 都无法顾及线性回归中系数矩阵的常数列而是对其进行了改正, 这对线性回归模型来讲是不合理的。文献[5]以直线必须通过数据点的中心, 才能使其偏差最小为约束条件, 推导了一种求解线性模型的总体最小二乘算法, 虽然该算法提高了线性回归的逼近精度, 但仍然存在偏差。文献[7]通过将数据中心化后再采用奇异值分解法对回归参数进行解算, 则分离了系数矩阵的常数列, 得到的参数估值合理可靠。但其缺陷是计算复杂难以编程实现。鉴于此, 本文在基于平差模型的基础上, 推导了一种求解线性回归参数的总体最小二乘算法, 该算法易于编程实现。算例分析表明其可靠、合理。

1 总体最小二乘常规解法

1.1 SVD解法

线性回归模型为[1,2,6]:

式中:Δ观测量y的真误差, ak为回归参数, 当同时考虑到自变量xk也含有误差, 此时系数矩阵A中的元素含有误差, 则式 (2) 变换为总体最小二乘的平差模型:

采用奇异值分解 (SVD) 法将式 (2) 变换为:

求得参数估值为[1,2,6]:

式 (4) 中, n为非固定列对应参数的个数, σ2n+1为增广矩阵[A L]的最小特征值。其单位权中误差计算公式为σ02=σ2n+1/ (m-n-1) , 其中m为观测个数, n+1为参数的个数。

SVD解是将系数矩阵中所有元素看成是含有误差的, 这对线性回归模型来讲是不合理的。而且SVD解法较为复杂, 不利于测量数据处理的编程实现。

1.2 常规迭代解法

总体最小二乘的迭代解法为[2]:

进行迭代解算时, 首先按最小二乘法计算参数的初值X (0) , 然后根据式 (5) 反复迭代直到‖X (i+1) -X (i) ‖<ε则停止计算输出参数值, 单位权中误差按σ0=V/ (m-n) 计算。迭代解法最大的优点是充分运用到测量平差模型, 其迭代格式简单易于编程。但常规的总体最小二乘迭代解法都是将系数矩阵所有元素看成是含误差的, 这对线性回归模型也是不合理的。

2 线性回归参数的总体最小二乘迭代解法

2.1 算法推导

根据前文所述, 有必要建立基于总体最小二乘的线性回归模型和解法, 线性回归数学模型为:

可将式 (6) 进行等价转换为:

表示为矩阵形式为:

设v=vec (EA) , vec表示向量拉直运算, vec (EA) 即将矩阵从左至右逐列拉直成一列向量。在不考虑权重时, 根据总体最小二乘原理, 相应的误差期望和方差为:

式 (9) 中, 为矩阵的克罗内克积, Im和In分别为m和n阶的单位矩阵, 相应的其平差准则为:

根据式 (8) 与式 (10) 构造拉格朗日目标函数:

式 (11) 中, k为 (n+1) ×1的拉格朗日乘数;, In+1为n+1阶的单位矩阵。根据拉格朗日函数求极值的必要条件, 将式 (11) 分别对v、x求导并令其等于0, 化简整理后可得:

由式 (12) 的第一式可得:

式 (13) 中, vec-1表示vec的逆运算, 即将矩阵重新构造为m× (n+1) 的矩阵。

将式 (12) 的第一式代入到式 (8) 中, 并顾及, 整理后可得:

根据式 (11) 第二式和式 (14) 则可得:

根据式 (15) 即可得到参数^x的表达式:

根据上述推导, 其参数解算步骤如下:

(1) 对回归参数附初值^x (0)

(2) 按式 (17) 计算k值和新的回归参数值

(3) 重复步骤 (2) , 直到‖x (i+1) -x (i) ‖<ε, 则停止迭代

按上述迭代方法即可求得式 (7) 的方程, 相应的线性回归方程的参数解:

2.2 单位权中误差评定

根据线性回归模型式 (7) , 当同时考虑自变量误差即采用总体最小二乘求取回归参数值时, 其单位权中误差的计算公式为:

根据上文的迭代解再结合式 (12) 可得:

则按本文的推导, 其单位权中误差计算公式为:

在计算线性回归单位权中误差时, 按常规的总体最小二乘解法算得的结果比按式 (19) 计算的结果要小, 这与实践是不不相符的。因为, 常规的总体最小二乘解法没有顾及线性回归模型中系数矩阵常数列。而本文推导的解法从理论上比常规总体最小二乘解法更严密, 究其原因, 是因为按常规总体最小二乘解法对线性回归模型的单位权中误差评定有误, 下面则具体进行讨论。

按常规总体最小二乘法将线性回归系数矩阵中的常数列也进行了改正并参与精度评定, 其改正后的模型可表示为:

其单位权中误差评定公式为:

从式 (22) 可以看出, 其将常数列的改正值看成是自变量的改正值, 这显然是不对的。从改正模型来看, 应该将常数列的改正值归入到因变量的改正值中, 则变量的改正值为:

按式 (24) 进行改正值修正后, 再按式 (19) 进行单位权中误差的评定。如此得到的结果才与线性回归模型相符。这也解释了前文提出的疑问, 同时也表明不能单一以单位权中误差来评定一种平差模型和算法的优劣。因为它们的单位权中误差评定方式不一定都相同。

3 算例分析

3.1 算例1

运用文献[6]例5~10的数据, 用三个点 (1, 2) 、 (2, 6) 、 (6, 1) 来拟合一元线性回归方程。运用本文的解法得到的参数估值为6、1。这与文献[5]中将数据中心化后再采用奇异值分解法得到的结果相同, 而按常规总体最小二乘的奇异值分解法和迭代解法得到的参数估值皆为6.74、0.99。这是因为总体最小二乘的常规解法将系数矩阵的常数列也进行了改正, 得到的结果有偏差。而本文的解法则将系数矩阵的常数列分离开不加改正, 计算得到的参数估值较之可靠。

3.2 算例2

为进一步验证本文方法对线性回归模型的统一性和可靠性, 运用MATLAB模拟一平面方程。设平面方程为:z=1.5+x+2y, 在x和y没有误差时求得z的值上加上均值为0, 方差为0.005的随机误差, 组成观测值。然后分别对x和y添加均值为0, 方差为0.03的随机误差, 组成新的观测值, 如表1所示。分别采用最小二乘法 (LS) 、常规总最小二乘法、本文解法解算线性回归方程的参数值, 并按文中所述的单位权中误差评定公式计算其单位权中误差, 结果如表2所示。

从表2中的参数估值结果不难看出, 采用本文的总体最小二乘解法解算的回归参数值与真值最为接近, 而常规的总体最小二乘解法由于将线性回归模型中的系数矩阵中的常数列也进行了改正导致其结果与真实值有偏差, 最小二乘法由于没有考虑到线性回归自变量的误差即系数矩阵元素的误差, 计算的结果与真值偏差最大。这也可以从其单位权中误差中得出, 本文的总体最小二乘解法所得单位权中误差最小, 常规总体最小二乘解法次之, 最小二乘法最小。需要指出的是, 如果按常规总体最小二乘的单位权中误差计算公式得到的单位权中误差为0.0227, 比本文方法得到的值要小, 这就会误以为按常规总体最小二乘解法解算线性回归参数得到的精度比本文要高。其实不然, 这是因为其针对线性回归模型的单位权中误差计算公式有误, 通过本文的纠正得出的值才符合其实际。这也可以通过参数的估值结果与真值的比较中看出。

4 结束语

本文给出了一种线性回归参数估计的总体最小二乘算法, 该算法即能同时考虑线性回归自变量的误差即平差模型系数矩阵元素的误差, 又能顾及线性回归中系数矩阵常数列即对常数项不加改正。这弥补了常规总体最小二乘解法针对线性回归模型解算的不足, 且对基于总体最小二乘的线性回归单位权中误差进行了探讨, 纠正了针对线性回归模型的常规总体最小二乘单位权中误差评定的偏颇。

摘要：根据线性回归模型的特点, 推导了一种解线性回归参数的总体最小二乘算法。并对其单位权中误差的评定进行了探讨, 通过理论推导表明按常规的总体最小二乘解法求得的线性回归单位权中误差与实际不符, 并对其进行了纠正。通过算例分析且与常规的总体最小二乘解法进行比较, 结果表明了算法的正确性和可靠性。

关键词：总体最小二乘,线性回归,平差模型,迭代解法,奇异值分解

参考文献

[1]GOLUB G H, VAN L C F.An Analysis of the Total Least Squares Problem[J].SIAM J Numer.Anal, 1980, 17:883~893.

[2]鲁铁定, 周世健.总体最小二乘的迭代解法[J].武汉大学学报 (信息科学版) , 2010, 35 (11) :1351~1354.

[3]孔建, 姚宜斌, 吴寒.整体最小二乘的迭代解法[J].武汉大学学报 (信息科学版) , 2010, 35 (6) :711~714.

[4]许超钤, 姚宜斌, 张豹等.基于整体最小二乘的参数估计新方法及精度评定[J].测绘通报, 2011, (10) :1~4.

[5]邱卫宁, 齐公玉, 田丰瑞.整体最小二乘求解线性模型的改进算法[J].武汉大学学报 (信息科学版) , 2010, 35 (6) 708~710.

[6]丁士俊, 姜卫平, 杨颜梅.整体最小二乘线性回归模型与算法[J].测绘通报, 2012, (12) :8~10.

[7]邱卫宁, 陶本藻, 姚宜斌等.测量数据处理理论与方法[M].武汉:武汉大学出版社, 2008.

[8]陈义, 陆珏, 郑波.总体最小二乘方法在空间后方交会中的应用[J].武汉大学学报 (信息科学版) , 2008, 33 (12) :1271~1274.

[9]陆珏, 陈义, 郑波.总体最小二乘方法在三维坐标转换中的应用[J].大地测量与地球动力学, 2008, 28 (5) :77~81.

[10]刘运明, 邹积亭, 边春雷.基于整体最小二乘的盾构环中心拟合方法[J].测绘通报, 2010, (S1) :174~176.

最小二乘迭代篇2

关键词：坐标转换,迭代法,线性化,罗德里格矩阵,最小二乘法

0 引言

不同空间直角坐标系之间的转换问题在理论研究和实际计算中扮演着重要的角色[1]。常用的坐标转换模型有7参数Bursa-Wlof模型、Molodensky模型和武测模型[2]。通常旋转矩阵R由坐标轴之间的夹角θ、Φ、ψ表示,不仅表示繁琐,而且在参数求解时需要处理判断象限的问题,操作复杂,有一定的精度损失。罗德里格矩阵由3个独立的参数表示,它组成旋转矩阵在计算转换参数时,具有稳定性好、精度高和计算速度快等优点。

本文主要工作是在理论上推导了基于罗德里格矩阵的坐标转换模型,以及基于该模型的最小二乘迭代法坐标转换的严密公式。迭代法计算空间直角坐标转换参数的主要步骤:①确定初值;②迭代运算:线性化和粗差剔除;③精度评定。

1 基于罗德里格矩阵的坐标转换公式计算初值

一对点pi和qi的坐标关系可由旋转矩阵R和位移矢量T表示为[4]:

此处把两个坐标处理为同等长度基准,没有考虑尺度因子。旋转矩阵R可由3个旋转参数(坐标轴的夹角)表示,同样可由罗德里格矩阵3个独立参数a、b、c表示[3]。

反对称矩阵S由a、b、c构成的表达式为[4]

其中,a、b、c相互独立。R可由S构成罗德里格矩阵

其中,I是3阶单位矩阵。

反对称矩阵与罗德里格矩阵的性质有

基于上述理论,可以推导基于罗德里格矩阵的坐标转换模型。

由点对1和点对2分别按照(1)式构建方程组,做差消去位移矢量得

将(2)式、(3)式带入式(5)得

即

将方程组展开,把a、b、c提取出来,写成向量的形式。整理可得

该方程组中只有两个方程独立,要解出三个参数需要另外建立一个方程组。由点对1和点对3再建立方程组,同理可得

联立(8)、(9)式得[3]

求解a、b、c,结合(2)、(3)式得到旋转矩阵R的初值R0。R0带入(1)式解得位移矢量初值T0,此处以点集的质心坐标参与计算精度会更高。

2 线性化

旋转矩阵R一般由坐标轴之间的夹角θ、Φ、ψ表示为[5]

其中,θ、Φ、ψ分别是绕X、Y、Z轴旋转的角度。

在参数θ、Φ、ψ的求解以及R的线性化等过程中需考虑θ、Φ、ψ的象限判断问题,难以操作,精度损失较大[6]。如果用罗德里格独立参数a、b、c表示R,其线性化过程将十分简单。

由(3)式可知

将(2)式带入式(12)可得

对于任意对应的一组点,转换关系式为

这里的未知参数共有6个,即a、b、c、T1、T2、T3,将(14)式线性化得到误差方程如下

因此可解得

其中,

系数阵A的表达式为

其中,

常数项l=(l1l2l3)T,分别为

3 精度评定

由(15)、(16)式可以实现迭代计算,单位权中误差μ为[7,8]

直到计算出符合精度要求单位权中误差,即可得到最小的改变量Δx,并由此解算出参数a、b、c、T1、T2、T3的最终值。再根据(13)式即可求出旋转矩阵R。

4 算例

将十组实测点的三维坐标数据带入计算,如表1所示,首先基于罗德里格矩阵的转换模型计算出初值R0、T0,并结合(1)式将点集1转换得到P′=R0P+T0,总体转换精度则可表示为

将初值带入线性化方程进行迭代计算,同样可计算出每次迭代后的转换误差。

通过上述计算可以得到总体误差,见表2。

表2

可以看出,基于罗德里格矩阵的转换模型计算出的转换参数R0、T0具有较高的准确度,其转换误差达到了10-4。经过两次迭代后精度就达到了10-5,完全满足了坐标转换要求。

表1

5 总结

(1)基于罗德里格矩阵的最小二乘迭代法优缺点如下:

缺点:理论较为复杂,不易实现;

优点:精度灵活可靠、便于控制、计算速度快;考虑全面、稳定性好、可融合其它更多完善的理论和算法,具有很好的理论可拓展性,应用面广泛,理论深刻,具有很好的研究价值。

(2)该方法还有一些需要完善的地方:

1)确定初值的方法有很多,比如罗德里格矩阵模型、SVD法、四元组法等,什么样的方法才是最快速、准确的,需要进一步探讨。

2)在求解罗德里格矩阵3个独立参数时需要从点集中提取出3组点。提取方法有很多,哪种方法能避免粗差影响、精度最好,需要深入研究。本文采用随机提取的方法,不能很好地保证精度。更科学的办法是融合一些完善的采样算法,比如RANSAC算法,使得采样更科学,计算得到的初值精度更高。

本文推导了基于罗德里格矩阵3参数的空间直角坐标转换模型的严密公式、其线性化误差方程,以及最小二乘迭代计算公式。最后通过实测数据计算,验证了该理论的可行性。

参考文献

[1]秦世伟,谷川,潘国荣.任意旋转角坐标转换的简便模型[J].工程勘察,2009,(6):62～65.

[2]姚吉利.三维坐标转换参数直接计算的严密公式[J].测绘通报,2006,(5):7～10.

[3]原玉磊.三维激光扫描应用技术研究[D].郑州:解放军信息工程大学测绘学院,2009.

[4]姚吉利,韩保民,杨元喜.罗德里格矩阵在三维坐标转换严密解算中的应用[J].武汉大学学报(信息科学版),2006,31(12):1094～1097.

[5]黄浴,袁保宗.一种基于旋转矩阵单位四元组分解的运动估计算法[J].电子科学学刊,1996,18(4):337～343.

[6]张宏.布尔莎—沃尔夫转换模型的几何证明[J].测绘与空间地理信息,2006,29(2):46～51.

[7]隋立芬,宋力杰.误差理论与测量平差基础[M].北京:解放军出版社,2004.

轴承沟道形状误差的最小二乘评定篇3

轴承主要用于确定旋转件与固定件相对运动,是起支承或导向作用的典型零部件,在机器及各类机械中占有重要地位。因此,研究轴承沟道形状误差评定对提高轴承的精度及整个机器或机械的性能有重要的意义。目前多使用圆度、线轮廓度来评价轴承沟道形状误差,即用一条线轮廓和底圆形成的几何要素的误差对轴承沟道的形状误差进行评定,而对轴承沟道整体形状误差的评定国内外很少报道。本文依据最小二乘形状误差的定义,提出了轴承沟道形状误差的最小二乘评定。

1 最小二乘算法过程及步骤

1.1 提取测量点坐标

将工件水平放置在工作台上,利用三坐标测量机对轴承沟道的每条线轮廓进行采样取点,从中取得的测量点为Pij(xij,yij,zij)(i表示测量线轮廓数,i=1,2,…,M;j表示每条线轮廓上的测量点数,j=1,2,…,N)。

1.2 求空间每条线轮廓的中心点

通过三坐标测量机对轴承沟道每条线轮廓进行测量并得到采样点,用最小二乘法对每条线轮廓求其半径及圆心的位置,但轴承沟道轮廓是非整圆,不能直接用整圆的最小二乘法公式,需要坐标变换求空间每条线轮廓的中心点。

1.2.1 坐标变换

在空间坐标系中,直接用最小二乘法求每条线轮廓的中心点比较复杂,为了便于计算,将空间内的线轮廓绕z轴转θi角度至yoz平面。其中:

undefined。

空间线轮廓上各点坐标通过坐标(xij,yij,zij)变换至yoz平面上的新坐标为:undefined。

1.2.2 求所有平面线轮廓的圆心

设平面线轮廓的最小二乘拟合方程为:

(y-a′i)2+(z-b′i)2=rundefined。 (1)

其圆心为(a′i,b′i),半径为ri,平面线轮廓最小二乘拟合方程见图1。对式(1)展开并整理得:

y2+z2-2ai′y-2bi′z+(ai′2+bi′2-rundefined)=0 。 (2)

令c=ai′2+bi′2-rundefined,由式(2)得:

y2+z2-2ai′y-2bi′z+c=0 。 (3)

以每条线轮廓上测点坐标(y′ij,z′ij)代入式(3),方程式明显不等于零,而为:

Δij=y′2ij+z′ij2-2a′iy′ij-2b′iz′ij+c 。 (4)

其中:Δij为实际线轮廓上各点与理论线轮廓上对应点的函数偏差值。设:

当偏差值为最小值时,理论线轮廓逼近实际线轮廓效果最佳。令:

依据求最小值的方法,对系数a′i、b′i、c求偏导数后得出:

其中:undefined。

再由式(3)得出:undefined,在求出待定系数a′i,b′i,c和ri后,可以得出平面线轮廓上所有中心点O′i(a′i,b′i)。

1.2.3 坐标变换

将上一步得到的平面线轮廓的中心点代入下式可以得到空间线轮廓上的中心点Oi(ai,bi,ci):

1.3 最小二乘法拟合空间圆

将每条线轮廓的中心点用最小二乘法拟合一个空间圆,但空间圆没有特定的方程, 只能由空间圆和空间平面的方程联立来表示。距差与z轴的关系如图2所示,由于拟合的空间圆不在一个平面内,其圆心(中心点)为z向的一系列点,r′1,r′2,r′0分别为被测轮廓的测点到中心点的距离,通过式r′21 -r′20 =Δz2,证明空间坐标系中被测轮廓的测点与中心点的距离r′相对于z轴的距差(Δz)大得多,故Δz对r′的影响可以忽略不计。因此可得出中心点在空间平面上,而空间圆也在空间平面上且平行于xoy平面。

设空间圆的方程为:

(x-a0)2+(y-b0)2+(z-c0)2=R2。

其中:圆心为(a0,b0,c0),半径为R。展开并整理得:

x2+y2+z2-2a0x-2b0y-2c0z+aundefined+bundefined+cundefined=R2 。 (10)

设A=-2a0,B=-2b0,C=-2c0,D=aundefined+bundefined+c20-R2。由式(6)得:

x2+y2+z2+Ax+By+Cz+D=0 。 (11)

将最小二乘法拟合每条线轮廓得到的中心点坐标Oi(ai,bi,ci)代入式(11),方程式明显不等于零,而为:

δi=aundefined+bundefined+cundefined+Aai+Bbi+Cci+D 。 (12)

其中:δi为空间圆上各点的函数偏差值,则:

当undefined为最小值时,空间圆拟合的效果最佳。令:

undefined。 (14)

依据求最小值的方法,对系数A、B、C和D求偏导数后得出关于方程的系数A、B、C和D的线性方程如下:

解得A、B、C、D后,代入计算得:

undefined。

即可得到圆心坐标(a0,b0,c0)和圆半径R。

1.4 求解空间圆与每条线轮廓平面的交点坐标

空间圆与线轮廓平面的方程为:

如式(17)所示,每条线轮廓所在平面与z轴平行且共面,那么该平面的方向数C等于零;最小二乘拟合的空间圆与xoy平面平行且共面,所以每条线轮廓所在平面与空间圆相交,可以得到所有的交点坐标值Li(xi,yi,zi)。而交点坐标值Li(xi,yi,zi)既在平面内又在空间圆内,并且交点与所对应线轮廓的测点在一个象限内。

1.5 轴承沟道形状误差

轴承沟道形状误差模型见图3。

由图3可知,每条线轮廓上的测量点Pij(xij,yij,zij)至所对应的每个交点Li(xi,yi,zi)的距离为:

由轴承沟道形状误差的定义可以知道,每条线轮廓上各测量点至所对应交点的距离中,存在最大值、最小值和极差(最大值与最小值的差值)。因而可以得到M个最大值max(dij)、最小值min(dij)和极差Δdijcha。

以最大值、最小值所在的线轮廓绕z轴转360°形成圆环区域,比较所有的极差值,其中最大值为max(Δdijcha),即得到包容整个轴承沟道的最小二乘形状误差值TLSM为:

TLSM=max{Δdijcha} 。 (19)

2 结论

采用最小二乘算法进行轴承沟道形状误差评定,计算简单,完全满足最小二乘法的评定标准。另外,评定方法不仅可以给出轴承沟道形状误差,还能适用于现代机械的精密设计和精密测量。这种评定方法简单正确,收敛速度快,易于计算机程序实现,具有较好的推广应用价值。

参考文献

[1]王伦.轴承基本知识[M].北京:机械工业出版社,2002.

[2]《数学手册》编写组.数学手册[M].北京:高等教育出版社,2004.

[3]沈世德,徐辛伯.最小二乘圆弧法在图像分析中的应用[J].机械设计与制造,1999,10(5):46-47.

最小二乘迭代篇4

如何确定视频的拍摄地点和拍摄日期是视频数据分析的重要方面。其中一种简单的情形是:根据相关影长数据确定参照物位置, 这一技术也称为太阳影子定位技术。在本文中, 根据2015 年全国大学生数学建模竞赛A题附件1 的数据[1], 确定出该地点的位置。

2 影长与时间的函数关系

2.1 影响影长的各个参数

太阳高度角是指太阳光的入射方向和地平面之间的夹角, 可以用太阳高度角来估计影子场电影。太阳高度角h与实测地的地理纬度θ, 太阳直射角纬度 φ, 时角 Ω 满足以下函数关系式[2]:

其中, 关于各个位置参数确定如下:

太阳直射点每时都在向西移动, 每小时移过15 度经度, 在地理题的计算中可粗略取每天移动0.25 度纬度[3]。据此求解出太阳直射角纬度与日期之间的关系, 进而通过MATLAB编程, 得到了每天太阳直射点的纬度, 部分表见表1, 在4 月18 日的太阳直射点纬度为 φ=7。

一个天体的时角表示该天体是否通过了当地的子午圈, 其数值则表示了该天体与当地子午圈的角距离, 以小时来计量 (1 时角=15 度) 。根据以上理论, 建立时角的关系表达式[4], 即:

其中Cr表示北京时;LC表示经度校正 (4min/度) , 经度大于120 的经度校正为正, 小于120 的经度校正为负;EQ为时差。

2.2 建立影长随时间变化函数

根据式 (1) , 我们得到了太阳高度角与时角、太阳直射点纬度以及实测地的地理纬度的函数关系式, 进而我们可以通过太阳高度角与影子长度之间的关系, 建立影长随时间变化的函数关系式, 其步骤如下:

根据太阳高度角的定义, 得到太阳高度角与影子长度之间满足以下关系:

其中L为影子长度;H为旗杆高度3m;h为太阳高度角;

根据式 (1) , 将各个参数值代入公式进行整理, 得到太阳高度角与各个参数之间的函数关系:

再根据式 (4) , 将 (5) 转化为:

其中:

3 利用最小二乘拟合确定直杆高度以及所处位置

3.1 模型的建立

已知对应时刻的影子长度 (ti, Li) , 影长与时间的函数关系, 见公式 (6) , 利用最小二乘原理, 建立如下模型:

其中c1, c2, c3的初始值设为1, 0.1, 10

3.2 参数及经度的确定

根据参数的初始值, 将21 组 (ti, Li) 代入拟合方程中进行拟合。在拟合之前, 本文根据c1, c2, c3的表达式做了以下猜想:发现c1, c2关于其自身的自变量的表达式十分简单, 而c3表达式较为复杂, 并且c3在拟合方程中的表达式也较为复杂, 所以关于c3的拟合效果相对于c1, c2来说, 拟合效果较差, 可能得不到精确的解。

而在实际拟合过程也证明了我们的猜想。在实际拟合过程中, 随着初始值的不断变化, c1, c2变化不大或者只在固定的值的范围内小幅度变化, 而c3的变化幅度较大, 且不能找到唯一确定的值, 因此通过求出的纬度以及直杆高度来确定经度。经求解:c1=2.1316m, c2=0.313或0.1287, 即H=2.1316m, φ=18.24N或7.3969N。

将H, φ 中的数据代入 (5) 中, 用MATLAB编程计算, 我们得到21个时间点所对应的经度位置, 我们发现, 这21 个经度变化都十分小, 故我们经度该位置的经度就选取求出的21 个经度的平均值, 得到4 个经度, 进而得到四个固定直杆可能所处的地理位置: (18.24N, 105.9528E) , (18.24N, 37.4972E) , (7.3969N, 107.1988E) , (7.3969N, 36.2512E) 。

4 地理位置的检验

根据测定的关于x, y的坐标, 我们发现随着时间的增加, 影子长度也在不断增加, 说明当地时间已经过了正午时间12:00, 而此时的北京时间为14:42-15:42, 结合北京时间以东八区120 度为标准, 每向西15 度, 当地时间往前1 小时的规律, 我们计算出在79.5 E时, 北京时间为14:52, 当地时间恰好为12:00, 因此我们所确定的经度必须大于79.5E。进而确定可能的地理位置为: (18.24N, 105.9528E) 和 (7.3969N, 107.1988 E) 。

根据地图确定地理位置为 (18.24N, 105.9528E) 的地点为越南, 地理位置为 (7.3969N, 107.1988E) 的地点为泰国湾 (为靠近马来西亚的一个海峡) , 故这个位置不符合我们的标准, 故我们确定的直杆所处位置大致在越南。

5 模型的检验

我们将所确定的地理位置代入关于太阳高度角的式子 (5) 中, 画出14:42-15:42的影子长度的变化曲线l1, 同时拟合出附件1中影子长度随时间变化曲线l2, 两者之间的误差, 可以这21个时刻的误差分别为:0.0004, 0.0005, 0.0005, 0.0006, 0.0006, 0.0006, 0.0006, 0.0006, 0.0006, 0.0006, 0.0005, 0.0005, 0.0005, 0.0005, 0.0004, 0.0004, 0.0004, 0.0004, 0.0004, 0.0004, 0.0004。两条影子长度随时间变化的曲线 (见图1) 。

根据图1, 结合21 个点的误差, 可以发现两条曲线误差最大的为0.0006, 误差非常小, 认为该模型合理。

参考文献

[1]http://www.shumo.com/2015cumcm.html[OL].

[2]http://baike.baidu.com/view/86609.htm[OL].

[3]http://baike.baidu.com/link?url=_a Uu Zt IGSo3DBZgj Wi SGC2Nq H9NNBj Ec XX37JYu5MWs F6M22qio Ndju Y81e Nje P31Llpv JKTBhf_e PWF9g5CXa#1[OL].

[4]王国安, 米鸿涛, 邓天宏, 李亚男, 李兰霞.太阳高度角和日出日落时刻太阳方位角一年变化范围的计算[J].气象与环境科学, 2007, 30:161-163.

最小二乘迭代篇5

卫星导航定位在现代军事和经济领域扮演着不可或缺的重要角色, 卫星导航系统除了提供导航功能外, 还必须具有在系统不能使用时及时向用户发出告警的能力, 这种能力叫做系统的完好性。完好性和定位精度是卫星导航中两个重要指标。当卫星导航用于航空、武器系统等生命相关场合时, 完好性成为决定性指标。因此, 卫星导航系统的完好性问题已成为卫星导航领域重点解决的问题, 并将存在于卫星导航整个生命周期。

引起接收机伪距观测量偏差的主要因素有较大的卫星钟漂、导航电文的不正确上传、各种欺骗与干扰以及卫星组成部分的故障等, 这里统称为卫星故障, 在GPS系统中这种故障发生的概率大约为10～4/小时。对这种故障, 导航系统本身做出告警反应的时间较长, 如GPS系统的反应时间为15分钟到数小时, 对于生命相关场合显然太慢, 不能满足需求。因此, 卫星故障的快速检测只有在用户端进行, 因而出现了接收机自主完好性检测技术 (Receiver Autonomous Integrity Monitoring, 英文简写RAIM) 。本文针对导航接收机常用的位置解算方法, 即最小二乘法, 设计了基于最小二乘残差法的RAIM检测方案, 并对方案进行了仿真分析。

1 基于最小二乘残差法的RAIM检测方案

导航接收机位置解算常用最小二乘法, 针对最小二乘位置解算方法, 设计了相应的RAIM检测方案, 即基于最小二乘残差法的RAIM检测方案。基于最小二乘残差法的RAIM方案除了对当前可视卫星的几何结构有很强的依赖性, 还对可视卫星数目提出了很高要求。如果接收机要完成故障检测, 最少需要5颗可视卫星;如果接收机要完成故障排除, 则最少需要6颗卫星。

1.1 最小二乘位置解算法[5,6]

对于伪距定位方程:

undefined. (1)

在X0= (x0, y0, z0, B0) ′ (B=cΔt, 看作一个未知数, 以米为单位) 处进行泰勒级数展开[4,5], 略去二次项及高次项得到:

undefined

令undefined

则:undefined. (3)

undefined. (4)

undefined. (5)

将式 (3) (4) (5) 代入式 (2) , 方程可整理为:

ρi-ρ0=αi (x-x0) +βi (y-y0) +γi (z-z0) + (B-B0)

=αiΔx+βiΔy+γiΔz+ΔB. (6)

测量四颗卫星的伪距, 可获得四个类似式 (6) 的方程, 联立这四个方程得到一个四元线性方程组:

令

undefined

ΔX=ΔX ΔY ΔZ ΔBT.

Y=T.

则式 (7) 变为: GΔX=Y. (8)

解此方程得: ΔX=G-1Y. (9)

若测量伪距的卫星数n大于4, 则G为n×4的矩阵, 解此方程得:

ΔX= (GTG) -1GTY. (10)

所以 X=X0+ΔX. (11)

再以新的X作为X0, 继续上述解算, 迭代数次后, 当满足设定的误差时, 迭代结束, 得到所求的解, 实践经验表明, 迭代次数为5左右。

1.2 故障检测与识别

基于最小二乘位置解算原理, 利用最小二乘迭代解算过程的中间结果, 就可以完成RAIM故障检测与识别。引入RAIM故障检测与识别的最小二乘位置解算过程如图1所示, 其中完好性处理部分的详细流程如图2所示。

完好性处理部分首先对观测量Y进行故障检测后, 观测量Y才能进入最小二乘迭代运算过程。完好性处理主要完成可视卫星数目的判断、水平定位误差保护级HPL、检验统计量及其限值的计算, 并对故障进行检测、识别等。具体过程如下:在RAIM检测之前, 有两个重要的限值需要计算, 它们是水平定位误差保护限值HAL和故障检测门限T。水平定位误差保护限值和故障检测门限可通过文献中给出的算法计算得到, 或者可通过文献提出的基于最小风险准则来确定。

在RAIM检测开始时, 首先根据获取的观测信息, 判断可视卫星数目是否达到故障检测与识别要求, 判断可视卫星数目的流程如图3所示。判断可视卫星的主要依据是计算过境卫星的仰角, 如果仰角大于5度, 认为可视。理论上卫星导航系统中最多可视卫星为12颗, 所以判断可视卫星时最多进行12次循环判断。

如果前面判断的可视卫星数目符合要求, 对水平定位误差保护级HPL进行计算, 并与HAL比较, 看是否超限, 以保证RAIM检测的有效性。当HPL小于HAL时, 对检验统计量进行计算。如果检验统计量小于检测门限值T, 则认为无故障, 否则, 进入故障识别与隔离阶段。如果可视卫星数目只有5颗, 那么只能完成故障的检测, 并对检测到的故障向用户发出告警;如果可视卫星数目大于等于6颗, 则可以对检测到的故障进行隔离。最后, 输出完好性处理结果。

2 方案仿真

为了验证基于最小二乘残差法的RAIM方案对故障检测与识别的性能, 利用STK5.0软件产生星座数据, 采用MATLAB软件对该方案进行仿真。由于GPS系统已有较为准确的误差统计数据, 因此仿真采用的卫星星座是GPS卫星星座。利用了在GPS系统时间1 Jan 2010 13:15:00.00至1 Jan 2010 13:17:00.00之间, 在某地区所有的可视卫星, 它们分别是GPS星座系统第1、2、3、6、9、11、15、20颗卫星。仿真条件如下:故障检测误警率为0.005, 由此计算得到故障检测门限值为10.343 m。设观测噪声均值为0, 标准差为5 m。在观测时段内第30秒时刻, 对其中一颗卫星对应的伪距加入一个100 m突变, 模拟此时卫星出现故障, 相应的伪距出现异常。

在上面仿真条件下, 仿真结果如图4所示。横轴为观测时间, 单位为秒。左边纵轴表示检验统计量, 单位为米, 右边纵轴为观测伪距残差, 单位为米。从仿真结果图上可以看出, 在30秒时刻观测伪距发生异常时, 相应的伪距残差出现突变, 从而导致了检验统计量的突变。图中所示的检验统计量在30秒时刻已经超过了故障检测门限值, 因此, 此时的故障完全能够被检测出来。仿真结果表明, 本文所设计的基于最小二乘残差法的RAIM故障检测方案是可行的, 有效的。

3 结束语

完好的系统故障检测性能、快速的故障反馈能力是现代卫星导航定位系统接收机自主完好性检测的发展趋势。本文提出的基于接收机自主完好性检测方案具有告警时问短、运算量小的特点。接收机位置解算如果采用最小二乘法, 就可以很容易地将该方案嵌入其中。我国二代卫星导航定位系统正在建设当中, 建议在系统建设中考虑好系统的完好性检测扩展能力, 在接收机的设计中加入自主完好性检测功能。

摘要：为了使导航接收机的自主完好性检测算法与最小二乘位置解算法结合起来, 提供准确可靠的定位定时服务, 对最小二乘位置解算法和基于最小二乘残差法的接收机自主完好性检测算法进行了研究。针对导航接收机最小二乘位置解算法, 提出了基于最小二乘残差法的卫星导航接收机自主完好性检测方案, 并对方案进行了仿真分析, 仿真结果表明方案是可行的, 有效的。

关键词：导航接收机,自主完好性,最小二乘法

参考文献

[1]Brown R G.Global Positioning System Theory and Appli-cations[M].American:American Institute of Aeronauticsand Astronantics, 1996:143-164.

[2]Xie G, Pullen S, Luo M, et al.Integrity Design and Up-dated Test Results for the Stanford LAAS Integrity MonitorTestbed[C].Albuquerque, NM:Proceedings of ION 57thAnnual Meeting and CIGTF 20th Biennial Guidance TestSymposium, 2001:681-693.

[3]冯庆堂, 沈林成, 常文森.一种监测GPS完好性的新方法[J].导航与控制, 2004, 3 (1) :4-5.

[4]Bradford W, Parkinson, Penina Axelrad.AutonomousGPS Integrity Monitoring Using the Pseudorange Residual[J].Journal of the Institute of Navigation, 1988, 35 (2) :456-460.

[5]王惠南.GPS导航原理与应用[M].北京:科学出版社, 2003.

[6]刘基余.GPS卫星导航定位原理与方法[M].北京:科学出版社, 2003.

[7]黄晓瑞, 田巍, 李波.GPS接收机的自主完善性监测算法研究[J].遥测遥控, 2003, 24 (1) :1-3.

最小二乘迭代篇6

空间直线拟合在工程中具有重要应用[1,2,3,4,5,6,7,8],如在计算机视觉[4]、三坐标测量问题[5]、机器人焊缝中心三维定位[6]和空间管线网络干线的确定[7]中。

由于最小二乘准则下问题求解比较容易,一些文献在该准则下给出确定空间直线的算法。文献[1]将直线理解为两个平面的交集,通过求取两个平面方程,从而确定直线。文献 [2,3]根据最佳平方逼近原理,证明直线必过数据中心,并用逐步迭代给定方向向量,从而确定点向式直线方程。文献 [5]则通过两次降维,先按全最小二乘准则拟合二维平面,将空间中的点投影到该平面上,再将该平面上数据利用全最小二乘准则拟合直线,从而确定空间直线。文献[6]先确定直线经过的点,再求导得到一个非线性方程组,解方程组确定方向向量,从而最终确定空间直线。这些算法比较复杂,本文给出一种基于主成分分析的简便算法,通过计算机仿真验证了算法的有效性。

由于最小一乘准则下确定空间直线是一个不可微优化问题,难度较大。文献 [7]提出了空间中按全加权最小一乘准则下确定直线问题,但没有给出具体的算法,文献[8,9]给出了平面上的求解方法,没有对空间中全加权最小一乘准则下确定直线问题进行讨论。本文给出一种基于无约束优化的搜索算法,并进行了计算机仿真。

1 空间直线拟合问题

空间直线拟合问题可以描述为:在三维空间给定n个点P1(x1,y1,z1),P2(x2,y2,z2),…,Pn(xn,yn,zn),求空间直线L: $\frac{x - x_{0}}{m} = \frac{y - y_{0}}{n} = \frac{z - z_{0}}{p}$ ,其中M(x,y,z)为直线上任意点,M0(x0,y0,z0)为直线上确定的一点,非零向量 $\vec{s} = (m, n, p)$ 为直线的方向向量,使得目标函数:

$\sum_{i = 1}^{n} d^{2} (Ρ_{i}, L) (1)$

为最小,其中 $d (Ρ_{i}, L) = \frac{| \vec{Μ_{0} Ρ_{i}} \times \vec{s} |}{| \vec{s} |}$ 表示点Pi到直线L的距离[10] ,其中|·|表示向量的模。式(1)实际上是按全最小二乘拟合空间直线,等价于文献[1,2,3,4,5,6]中拟合空间直线的准则。

如在上述假设下,改为求目标函数:

$\sum_{i = 1}^{n} d (Ρ_{i}, L) (2)$

最小,则是按全最小一乘拟合空间直线,这样得到的直线不易受奇异点(outliers)的影响。

如在上述假设下,改为求目标函数:

$\sum_{i = 1}^{n} w_{i} d (Ρ_{i}, L) (3)$

最小,其中wi(i=1,2,…,n)为权重,则是按加权全最小一乘拟合空间直线,这样得到的直线可以用于空间中管道的主干线确定问题。当wi=1(i=1,2,…,n)时,式(3)变为式(2)。

2 拟合空间直线的算法

2.1 全最小二乘准则下的拟合算法

将空间中三维分布的点集拟合为一维的直线,其本质就是降维,因此可以按照主成分的思想,对三维分布的空间数据进行主成分分析,提取第一主成分向量作为直线方向向量。文献[3]证明在最小二乘准则下,空间直线必通过数据中心点,因此可以由点向式确定空间直线方程。按此思想给出求问题式(1)中直线的算法如下:

第1步输入三维空间中点坐标的n个数据点矩阵Xn×3,求出均值 $\bar{X} = (\bar{x}, \bar{y}, \bar{z})$ ,拟合直线必过数据中心 $(\bar{x}, \bar{y}, \bar{z})$ ;

第2步求协方差矩阵 $S = \frac{1}{n} (X - \vec{1}_{n} \bar{X})^{Τ} \cdot (X - \vec{1}_{n} \bar{X})$ ,其中1n为n行1列元素全为1的n维列向量;

第3步求出S的最大特征值λ1和对应特征向量 $\vec{v}_{1}$ ,以 $\vec{s} = \vec{v}_{1} = (a, b, c)$ 作为直线方向向量;

第4步由点向式确定直线 $\frac{x - \bar{x}}{a} = \frac{y - \bar{y}}{b} = \frac{z - \bar{z}}{c}$ ,其中(x,y,z)为直线上任意一点。

由主成分意义,点到直线距离平方和为n(λ2+λ3),其中λ2与λ3为S的其余两个特征值,与由式(1)得到的结果相同。

2.2 加权全最小一乘准则下的拟合算法

由于问题式(2)是式(3)的特殊情形,因此讨论式(3)。在问题式(3)中目标函数中含有绝对值,是一个不可微函数,因而求解比较困难。

要在空间中确定一条直线,无论采用确定两个相交平面还是点向式方程都至少需要确定6个未知参数。

将问题式(3)中的目标函数看作是一个含有6个自变量的不可微无约束优化问题,可以采用文献[11]中不依赖于导数的Nelder-Mead的单纯形算法与Hooke-Jeeves的模式搜索法求解。MATLAB中有基于单纯形算法的fminsearch()命令可以直接调用。

本文采用点向式方程确定直线,约定6个自变量按下面方式排列 $\vec{v} = (x_{0}, y_{0}, z_{0}, a, b, c)$ ,给出求问题式(3)中直线的算法如下:

第1步输入三维空间中点坐标的n个数据点矩阵Xn×3,给出初始值,给出 $\vec{v} = (x_{0}, y_{0}, z_{0}, a, b, c)$ 的初始值。初始值可以选为全最小二乘准则下给出的值。

第2步利用初始值和MATLAB中fminsearch()对目标函数 $\sum_{i = 1}^{n} w_{i} d (Ρ_{i}, L)$ 进行迭代求解,给出收敛值,从而确定直线经过的点(x0,y0,z0)和方向向量(a,b,c)。收敛的最终结果(x0,y0,z0)不唯一,方向向量(a,b,c)经标准化并指定方向后唯一。

第3步由点向式确定直线 $\frac{x - x_{0}}{a} = \frac{y - y_{0}}{b} = \frac{z - z_{0}}{c}$ ,其中(x,y,z)为直线上任意一点。

2.3 空间点到拟合直线的投影

为了在计算机仿真中绘制空间中点到拟合直线的垂线,这里给出点到直线的垂足坐标确定方法。

由于空间拟合直线已经求出,故可以确定空间中每一个点Pi(xi,yi,zi)在直线上的垂直投影点P′i(x′i,y′i,z′i)。由空间解析几何知识[10]可知投影点P′i(x′i,y′i,z′i)为直线在经过点Pi(xi,yi,zi)且与直线垂直平面上的垂足,联立直线的参数式方程与直线垂直的平面方程。

${\begin{cases} x = \bar{x} + a t y = \bar{y} + b t z = \bar{z} + c t \\ a (x - x_{i}) + b (y - y_{i}) + c (z - z_{i}) = 0 \end{cases} (4)$

可以解出 $t = \frac{a (x_{i} - \bar{x}) + b (y_{i} - \bar{y}) + c (z_{i} - \bar{z})}{a^{2} + b^{2} + c^{2}}$ ,从而代入参数式方程解出(x,y,z),即为垂足P′i(x′i,y′i,z′i)。

3 计算机仿真

为了检验本文算法的正确性和有效性,给出下面例子。

仿真环境为 Intel酷睿2双核 P8400、2G内存、Windows Vista OS、MATLAB7.5环境。

例1 设直线方程为x=1+t,y=1+t,z=1+t,t为参数。

参数t取值区间为[-6,6],先将该区间等分为30个小区间,t取区间端点,从而可在直线上确定31个点,可以确定31×3的数据矩阵。对直线上每个点进行随机扰动,让x,y,z分别加上随机数种子为rand(‘twister’,10),rand(‘twister’,20),rand(‘twister’,30) 的服从[-1,1]上均匀分布的n维随机列向量。绘出这些点三维散点图,如图1所示。

表1给出不同准则和算法得到的数值结果。其中方向向量已经标准化并约定向上(c>0),加权最小一乘准则中取权重全为1,即最小一乘,优化使用MATLAB自带的fminsearch()。

按最小二乘准则,绘制出拟合直线和点到拟合直线的垂线,如图2所示。

按最小一乘准则绘制出拟合直线和点到拟合直线的垂线,如图3所示。

4 结论

本文讨论了空间中的直线拟合问题,针对全最小二乘和全加权最小一乘准则下,分别给出了基于主成分分析和无约束优化的空间直线拟合方法,这些方法在计算机上实现起来比较简便,计算机仿真验证了算法的有效性。这对使用空间直线拟合方法的科研人员具有一定的参考价值。

空间中曲线拟合比较复杂,未见到统一的方法,然而特殊情况比较容易。如空间中拟合圆周,可以先拟合平面,将三维数据投影到拟合平面上(降维到2),再根据平面法向量的方向角对平面上投影数据旋转使得一个分量全部为0,将旋转后的数据拟合圆周,得到圆周对应的圆心和半径。最后进行旋转逆变换,将球面方程与平面方程联立即得空间圆周方程。

参考文献

[1]袭杨.空间直线拟合的一种方法[J].齐齐哈尔大学学报,2009,25(2):64-68.

[2]许海涛,高彩霞.直线拟合算法[J].电脑知识与技术,2009,5(4):864-867.

[3]杜明芳.空间直线拟合[J].北京印刷学院学报,1996,4(2):27-31.

[4]李畅,张剑清,邹松柏,等.自动识别街道立面凹凸边界[J].计算机工程与应用,2009(15):6-8.

[5]胡学军,王俊亮,王刚.全最小二乘法在三坐标测量中的应用[J].武汉工程大学学报,2008,30(4):112-113.

[6]郭学军,王喜平,刘贺平.机器人焊缝中心三维定位的解析方法[J].数学的实践与认识,2009,39(9):123-127.

[7]梁怡,吴可法.一类非光滑最优化问题的有限步解法[C].中国运筹学会第六届学术交流会论文集(章祥荪等主编),Global-Link出版公司,香港,2000,801-811.

[8]林诒勋,尚松蒲.平面上的点—线选址问题[J].运筹学学报,2002,6(3):61-68.

[9]冯守平,杨桂元.关于加权全最小一乘法[J].应用概率统计,2009,25(2):135-142.

[10]同济大学应用数学系.高等数学(第五版上册)[M].北京:高等教育出版社,2002.

最小二乘迭代篇7

支持向量机

支持向量机(Support Vectormachine,SVM)作为一类新型机器学习方法,由Vapnik等人提出的是,这种方法对小样本、非线性及高维等模式识别问题有更好的解决办法。该方法具有良好的泛化能力,因而在模式识别中得到了广泛应用。

1最优分类面

SVM算法是假设有一个两类样本的分类问题,给定训练样本{xi,yi},{xi,yi},i=,1,2∧n,x∈Rn,yi∈{-,1+1},存在一个超平面可以将它划分。支持向量机的基本思路是寻找一个最优超平面,使它的分类间隙最大。

2广义最优分类面

如果一个超平面不能把两类点彻底分开时,可引入松弛变量ξi(ξi≥,0i=,1∧,n),,使超平面wTx+b=0满足:

当0<ξi<1时,可以对样本点进行正确分类。针对包含噪音的数据,导致训练集达到零误差,会影响模型发生过拟合和较差的泛化能力。根据实际情况分析,为解决该问题并允许存在一些样本的错分,目标函数变为:

i1式中c>0为规定常数,为样本的错分上界,也称为损失函数。

在式(2)约束下,求式(1)目标函数的极小值,在线性不可分条件下可以得到最优超平面。线性不可分情况下最优超平面的对偶问题与线性可分情况大致相同,只在条件上有所变化。

3支持向量机的核函数

目前,主要有以下四种常用的核函数形式。

(1)线性核函数

该核函数没有待定参数。

(2)多项式核函数(Polynomial)

d为其待定系数。

(3)径向基形式核函数

其优越性体现在将原有空间中的非线性问题转换为其他特征空间中的线性问题,而且实际涉及的计算又全部在原空间进行。

最小二乘支持向量机

介于SVM在其训练时总能找到全局最优解和良好泛化能力和,其广泛应用在经验建模领域。但其有约束的二次规划问题,导致了训练时间较长,从而不被接受。为提高训练效率,1999年J.A.KSuyken等人提出一种新的最小二乘支持向量机(简称LSSVM)。该方法的训练只需求解一个线性方程组,使SVM容易实现,大幅度提高SVM的训练效率,因此在模式识别领域得到广泛应用。

1构造多类分类最小二乘支持向量机

经典支持向量机和最小二乘支持向量机的基本思想相同,但后者为每个数据点加入一个改正量ei,即把求最优分类超平面问题就转化为求解凸优化问题。

本文把车型分为轿车、货车和客车三类,因此首先要构造多类分类的LS-SVM。

当LS-SVM在多类分类问题应用时,假设给出的c-分类问题训练样本为{yim,xi}i=,1,2∧,n;m=,1∧,c,n为训练样本数,yim为第i个样本,其识别可以表示为求解下面的问题

约束条件:

定义拉格朗日函数,求解得:就可以得到多元分类最小二乘支持向量机的决策函数为:

2分类方法的选取

本文采用的是基于LS-SVM的多类识别。在识别时,常用的有三种方法,本文对这三种方法进行了研究和对比。

(1)一对多方法(OAA法)

该方法基本思想是如果数据有类,则需要构造个k分类器,将第i个分类的样本数据记为正k类,不属于类别i的样本数据记为负类。测试中,对测试数据计算各子分类器的判别函数值,将最大判别函数值所对应的类别做为测试数据的类别。该算法缺点是每个分类函数都要所有的样本参与,训练时间与类别数量成正比,扩展能力差,存在有不可区分的区域。

(2)一对一方法(OAO法)

该方法基本思想是选取2个不同类别构成一个子分类器,总共有k(k-)1/2个子分类器。在构造类别i和类别j的子分类器时,样本数据集选取属于类别i、类别j的样本数据作为训练样本数据,并将属于类别i的数据标记为正,将属于类别i的数据标记为负。该算法可导致过学习问题,而且训练时间随和类别数呈超线性关系。

(3)多对多方法(ECOC法)

该方法的基本思想是按规则构造n个两分类器,要求对每个类的样本两分类器都判断正确,从而得到一个k行n列的编码矩阵。

实验结果及分析

1实验环境

本文采用海康4004HC/B视频监控,Windows XP SP3操作系统,Matlab 2010软件。

2实验步骤

本文将从监控系统中得到的视频图像作为实验数据,采集客车30辆、货车29辆、轿车35辆。

(1)视频图像的背景差分及运算,消除图像中的孤立噪声,确定识别车辆的边界,将识别车辆目标从图像序列中分割出来,得到车辆几何特征。

(2)在提取车辆尺寸和长宽比的基础上引入伪Zernike矩车型特征。

(3)确定LS-SVM的惩罚因子c和径向基核函数参数σ2等参数,进行测试,确定最优的LSSVM分类模型。