二次回归分析法

2024-11-07

二次回归分析法（共3篇）

二次回归分析法篇1

摘要：在线性回归分析人工神经网络的基础上提出二次回归分析人工神经网络,用于解决二值非线性分类问题。

关键词：人工智能,人工神经网络,二次回归分析

0 引言

BP(Back Propagation)是目前应用最为广泛的多层前向式人工神经网络模型。然而,没有完备的解的唯一性证明;隐层神经元总数无法确定;网络训练结果缺乏准确性和可信性,是该网络模型的致命弱点。针对BP网络中存在的各种问题,许多学者和工程技术人员做了大量的研究工作,提出了多种基于BP网络的改进方法[1,2,3,4,5,6,7]。但是,这些方法并没有取得令人十分满意的结果。

回归分析(Regression Analysis, RA)人工神经网络模型[8]给出了解的唯一性证明并提出正、反序训练方法。在此前提之下,可以确保网络的准确性和可信性。

然而,RA网络仍然无法解决非线性分类问题。在RA网络的基础上,本文提出二次回归分析人工神经网络。二次回归分析(Conic Regression Analysis, CRA)人工神经网络继承了RA网络的优点,而且具备非线性分类能力。

1 二次回归分析人工神经网络

CRA网络在准确性、可信性等方面与RA网络完全相同。不同的是,具备非线性分类能力。

1.1 网络拓扑结构定义

CRA网络由输入层神经元和输出层神经元构成。输入层神经元接收网络输入,输出层神经元完成网络输出,输入层神经元与输出层神经元之间采用全互联方式进行连接。网络拓扑结构定义如图1所示。

其中,xj表示网络输入层神经元的二次q维输入;y表示网络输出层神经元的输出。每一个输入层神经元接收单一输入,输出层神经元提供单一输出。

1.2 训练算法

网络中各层神经元一律采用线性激励函数(Linear Function),称之为透明神经元。线性激励函数可以表示为:

f(x)=x

$\frac{\partial f (x)}{\partial x} = 1$

设网络的训练样本为S,总数为n,维数为m,则S可以表示为:

$S = [\begin{matrix} s_{11} & \dots & s_{1 j} & \dots & s_{1 m} \\ \dots & \dots & \dots & \dots & \dots \\ s_{i 1} & \dots & s_{i j} & \dots & s_{i m} \\ \dots & \dots & \dots & \dots & \dots \\ s_{n 1} & \dots & s_{n j} & \dots & s_{n m} \end{matrix}]$

设网络的训练实例为E,总数为n,维数为p=1,则E可以表示为:

E=[e1 …ei … en]T

设网络输入层与输出层神经元之间的连接权矩阵为W,则W可以表示为:

W=[w1 …wj … wq]

对于m维网络输入,二次转换矩阵如下:

$X = [\begin{matrix} 1 & x_{1} & \dots & x_{m} \\ x_{1}^{2} & \dots & x_{1} x_{m} \\ \dots & \dots \\ x_{m}^{2} \end{matrix}]$

X中的各个元素xj作为输入层神经元的输入,总数为:

$q = \frac{(m + 2) (m + 1)}{2}$

对于第i个训练实例,设网络的实际输出为y,训练实例(期望输出)与实际输出之间的偏差可以表示为:

δi=ei-y (i=1,2,…,n)

方差可以表示为:

$E_{i} = δ_{i}^{2} = \frac{1}{2} (e_{i} - y)^{2}$

Ei对网络输入层与输出层之间连接权的一阶偏导可以表示为:

$\frac{\partial E_{i}}{\partial w_{j}} = \frac{\partial E_{i}}{\partial y} \cdot \frac{\partial y}{\partial w_{j}} (j = 1, 2, \dots, m)$

其中,Ei对网络输出的一阶偏导可以进一步表示为:

$\frac{\partial E_{i}}{\partial y} = \frac{\partial E_{i}}{\partial δ_{i}} \cdot \frac{\partial δ_{i}}{\partial y} = - δ_{i} = - (e_{i} - y)$

设网络输入层神经元的输出为:

yj=f(xij)=xj

则,网络输出层神经元的输入可以表示为:

$x = \sum_{j = 1}^{m} w_{j} y_{j}$

网络输出层神经元的输出可以表示为:

y=f(x)=x

网络实际输出对网络输入层与输出层之间连接权的一阶偏导可以进一步表示为:

$\frac{\partial y}{\partial w_{j}} = \frac{\partial y}{\partial x} \cdot \frac{\partial x}{\partial w_{j}} = y_{j}$

最终,Ei对网络输入层与输出层之间连接权的一阶偏导可以表示为:

$\frac{\partial E_{i}}{\partial w_{j}} = \frac{\partial E_{i}}{\partial y} \cdot \frac{\partial y}{\partial w_{j}} = - (e_{i} - y) y_{j}$

网络输入层与输出层之间的连接权的修正量定义为:

$Δ w_{j} = - α [\frac{\partial E_{i}}{\partial w_{j}}] = α (e_{j} - y) y_{j} = α (e_{i} - y) x_{y}$

其中:α为学习速率。

1.3 解的唯一性证明

设网络输入为X,网络训练实例为E,网络连接权矩阵为W,则有:

E=XWT

XTE=XTXWT

令:A=XTX,Y=XTE,则有:

Y=AWT

A-1Y=A-1AWT=WT

WT=A-1Y

证毕。

根据双层人工神经网络训练过程的特点,如果A-1存在,说明其解是唯一的,可以获得唯一解;如果存在多解,可以获得其中的一个最佳解;如果无解,则网络训练过程不会收敛。

1.4 网络训练过程定义

网络训练过程可分为以下6个步骤:

第1步:加载训练样本和训练实例数据。

第2步:初始化连接权矩阵V(wj=1.0)。

第3步:正序训练。对所有训练样本与训练实例,按自然排序,分别计算网络连接权的修正量(Δwj),对网络连接权进行修正。

第4步:反序训练。对所有训练样本与训练实例,按自然排序的反序,分别计算网络连接权的修正量(Δwj),对网络连接权进行修正。

第5步:计算网络实际输出与训练实例(期望输出)之间的均方差(E(·))。设网络第t次训练的均方差为E(t),网络第t+1次训练的均方差为E(t+1),网络允许的最大误差为ε,如果|E(t+1)-E(t)|>ε,则转向第3步。

第6步:结束训练。

以往各种人工神经网络对其连接权矩阵的初始值一律采用随机函数生成,导致的后果是每次网络训练结果(连接权矩阵)都不一致,降低了网络应用的可信度。由于回归分析网络的解是唯一的,因此,可以将网络连接权矩阵的初始值采用1.0,针对同一组训练样本和训练实例,每一次训练得到的训练结果都是一致的。

CRA网络训练活动如图2所示。

1.5 网络工作过程定义

网络工作过程可分为以下3个步骤:

第1步:加载工作数据。

第2步:根据工作数据计算网络输出。

第3步:结束工作。

具体如图3所示。

2 实验结果

以普遍采用的与、或、同或、异或数据分别对CRA网络进行测试。测试数据如表1所示。

与、或、同或、异或数据的网络收敛过程如图4所示。

网络工作得到的测试结果如表2所示。

CRA网络与RA网络同样在训练中通过正、反序训练方法,并把连接权矩阵初始值设置为1.0,有效解决了两次随机过程对训练结果造成的不利影响并给出解的唯一性证明,在稳定性和可信性上对人工神经网络的应用提供了理论依据和技术支持。

RA网络、CRA网络只能解决二值线性、非线性分类问题。对于多值分类问题,可以通过对训练实例进行二值编码,将一维空间多值分类问题转换为高维空间二值分类问题。例如:将一组训练样本I分为8类C={0,1,2,3,4,5,6,7},对其进行二值编码结果如表3所示。

3 结束语

由此可见,一维8值分类问题,可以转换为三维二值分类问题。但在实际应用中,经过这种转换的训练实例需要多次使用RA网络、CRA网络进行计算,给使用者带来诸多不便。提出多重RA、CRA网络模型用于解决多值分类问题是下一步研究内容。

参考文献

[1]高雪鹏,丛爽.BP网络改进算法的性能对比研究[J].控制与决策,2001.

[2]李朝峰,屈颖歌,夏德深,等.BP网络改进模型的性能对比研究[J].计算机工程与应用,2003.

[3]穆阿华,周绍磊,刘青志,等.利用遗传算法改进BP学习算法[J].计算机仿真,2005.

[4]李翱翔,陈健.BP神经网络参数改进方法综述[J].电子科技,2007.

[5]Hecht-Nielsen R.Theory of the backpropagation neural network[J].IJCNN,1989:593-605.

[6]Zhang Liyi,Liu Ting,Zhang Jingyu.Analysis of Momentum Factorin Neural Network Blind Equalization Algorithm Communicationsand Mobile Computing[J].2009.CMC'09.WRI International Con-ference on Volume 1,6-8 Jan.2009 Page(s):345-348.

[7]McCulloch,Pitts W C.A logical calculus of ideas immanent innervous activity[J].Bulletin of Mathematical Biophysics,1943:115-133.

[8]林和平,张秉正,乔幸娟.回归分析人工神经网络[J].吉林大学学报:信息科学版,2001.

二次回归分析法篇2

a) 知识与技能

能根据散点分布特点，建立不同的回归模型。

知道有些非线性模型通过变换可以转化为线性回归模型。

通过散点图及相关指数比较体验不同模型的拟合效果。

b) 过程与方法

通过将非线性模型转化为线性回归模型，使学生体会“转化”的思想。

让学生经历数据处理的过程，培养他们对数据的直观感觉，体会统计方法的特点，认识统计方法的应用。

通过使用转化后的数据，利用计算器求相关指数，使学生体会使用计算器处理数据的方法。

c) 情感、态度与价值观

从实际问题中发现已有知识不足，激发好奇心、求知欲。

通过寻求有效的数据处理方法，开阔学生的思路，培养学生的探索精神和转化能力。

通过案例的分析，使学生了解回归分析在生活实际中的应用，增强数学“取之生活，用于生活”的意识，提高学习兴趣。

二.教学重点、难点

重点：通过探究使学生体会有些非线性模型运用等量变换、对数变换可以转化为线性回归模型。

二次回归分析法篇3

近来的一些研究表明, 生姜含有大量黄酮类物质, 黄酮类物质具有抗菌、消炎, 具有生物抗氧化性, 可抗衰老、降血脂, 具有治疗心脑血管疾病等药用保健功能, 是一类天然的抗氧化剂[3,4]。为了更好地开发利用生姜, 提高其附加值, 本文对生姜黄酮的提取工艺进行了有益的探索, 得到了生姜黄酮的较优工艺条件。

1实验部分

1.1主要材料与仪器

原料 (生姜) 购于自贡市农贸市场, 将生姜切成厚度为2 mm左右的生姜片于60℃下烘干后粉碎后备用;无水乙醇, 亚硝酸钠, 硝酸铝, 氢氧化钠, 石油醚等均为分析纯;芦丁 (生化试剂) , 国药集团化学试剂有限公司。

101A-1E型电热鼓风干燥箱, 上海安亭科学仪器有限公司;SHZ-D (Ⅲ) 型循环水式真空泵, 巩义市英峪予华仪器厂;WFZ VV-2000型紫外可见分光光度计, 尤尼柯 (上海) 仪器有限公司;AR1140电子分析天平, 梅特勒-托利多仪器 (上海) 有限公司;80-2离心机, 常州国华电器有限公司;W-0系

列恒温水 (油) 浴锅, 上海申顺生物科技仪器有限公司。

1.2试验方法

1.2.1检测方法

以芦丁为标准品用NaNO2-Al (NO3) -NaOH显色法测定总黄酮的含量[5]。吸光度-浓度的回归方程:

y=-0.00211+11.05606x

其中:y为吸光度, x为溶液质量浓度mg/mL。

回归系数r=0.999, 标准曲线如图1。

1.2.2单因素试验

以乙醇溶液作为提取剂, 分别考查固液比 (m原料 ∶V乙醇, 单位为g/mL, 下同) 分别为1 ∶10, 1 ∶20, 1 ∶30, 1 ∶40, 乙醇溶液的体积分数为0.5, 0.6, 0.7, 0.8, 0.9, 以及提取温度为40, 50, 60, 70, 80, 90℃时的提取率。

1.2.3回归正交试验

根据考察的因素数和零水平试验次数, 确定星号臂值r=1.287, 因素水平编码表见表1。

1.2.4提取方法

精确称取2 g生姜粉于圆底烧瓶中, 根据试验安排的因素和水平用一定浓度和体积的乙醇溶液在指定温度下提取2 h, 将提取液趁热过滤后, 转入分液漏斗中用石油醚萃取3次, 将下层清液转入容量瓶中, 并用60%的乙醇溶液定容至刻度线作为待测液, 取一定量待测液用NaNO2-Al (NO3) -NaOH显色法在560 nm处测定吸光度并计算出提取率。

2结果与分析

2.1单因素试验

2.1.1固液比的影响

由图2可以看出, 提取率随着溶剂用量的增加而增加, 在试验过程中从节约试验成本出发, 没有进行更高溶剂用量的试验。

2.1.2提取剂乙醇体积分数的影响

从图3可以看出, 当乙醇体积分数为80%时, 提取率最高, 当乙醇体积分数继续增加时, 提取率显著降低。

2.1.3提取温度的影响

从图4可知, 70℃时提取率最高, 当温度继续升高时, 提取率减小, 这可能是由于黄酮类化合物的不稳定性造成的。

2.2二次回归正交组合试验

2.2.1回归正交组合试验结果

依据回归正交组合试验设计方法以及因素水平编码表 (表1) , 选取固液比 z1, 乙醇体积分数z2, 提取温度z3 3因素编制试验设计表, 并将试验结果提取率y列入表2。

2.2.2回归方程的建立以及检验