深信度网络

深信度网络（精选3篇）

深信度网络 篇1

0 引言

目前,我国可再生能源利用发展迅速,并将在未来占据越来越重要的地位。其中,风发一直以来就是新能源电力行业最具发展前景的研究热点之一[1,2]。然而,风电功率具有较强的随机不确定性,大规模风电并网对电网的安全高效运行带来重大影响[3]。因此,许多研究人员从不同方面做了探索性的研究工作[4,5,6,7,8]。其中,准确的风电场功率预测是解决该问题的最重要的、最基础的问题之一,其可以帮助电网制定合理的调度计划,确定旋转备用,保证电网的安全经济运行。由于风速是风电功率最主要的影响因素,因此,对风速进行准确预测是风功率预测的重要前提[9,10]。一般来讲,风速预测最常用的、最简单的、也是研究最多的模型为统计模型。为了进一步改善模型预报效果、满足实际工程需求,大量的研究人员都从各个不同的角度来尝试完善或者改变模型,不仅提出了融合数值天气预报的混合模型[11],而且还提出了考虑实际风速特性的预报模型[12,13]。然而,当前用于风速预报的多数回归算法基本都可看作一个浅层结构算法,其在有限样本和计算单元情况下对复杂函数的表示能力有限,针对复杂分类问题其泛化能力受到一定制约[14]; 神经网络虽然也具备深层算法结构,但随着神经网络隐含层数的增加,采用梯度下降法的误差反向传播算法会得到非常不好的效果,甚至比只有一个或者两个隐含层的浅层神经网络的效果要差[15]。此外,当前此方面的大部分研究都以进一步提高回归算法的预报精度为目标,研究工作都从减小预报误差( 在统一测试集相对常规典型回归算法,如支持向量回归机、神经网络等) 的角度来展开,而对于有实际工程需求的预报算法鲁棒性没有做过多的侧重。实际中所需的风电预报效果要具备以下条件: 不仅预报误差最小,而且预报误差的鲁棒性也要好; 此外,模型计算效率也要高一些,降低计算成本。

幸运的是,近几年发展起来的深度学习理论在语音识别、计算机视觉等多种分类任务应用中都已经取得了大量突破性的进展[17],并开始受到回归任务应用研究者的重视。如文献[18]通过建立基于受限玻尔兹曼机的生成型深信度网络进行风速预报研究,尝试将深度学习理论引入风速预报的回归任务领域。本文基于堆栈降噪自动编码器建立混合型深信度网络回归模型进行风速日前预测实验,研究同一模型对不同数据集敏感程度的鲁棒性及具有不同隐含层模型对预报误差的影响规律,为深度学习在风速预测中的实际应用进一步奠定基础。

1 深信度网络[17,18,19]

1. 1 深度特征学习的出现

目前应用最为广泛的前馈神经网络是由多层神经元连接组成的,经常采用误差反向传播算法( BP算法) 进行训练,常被称为BP网络。然而,当隐含层数增加时,其预报效果甚至会比只有一个或者两个隐含层的浅层神经网络的效果要差。Hinton于2006 年通过受限玻尔兹曼机( RBM) 的叠置构建了一个深信度网络( DBN) ,并使用无监督的逐层贪心算法进行预训练,在多个数据集上取得了非常好的效果。在此基础上,文献[16]明确提出了面向人工智能的机器学习算法。该深信度网络输入观测数据x,底层隐含层提取输入的低水平特征,随着层数的向上,输入被不断地重新表达,其逐渐得到更抽象的特征。在此过程中,不仅能够保留输入中有效的信息,而且重新表达后得到的特征又较为简单并易于建模。这种恰好是模拟了人脑工作方式: 大脑不同位置处理不同问题,信号需要层层传输,逐步提取有用的信息[19]。

实际上,深度学习涉及相当广泛的机器学习技术和结构,基于RBM的DBN属于生成性深度结构。该结构描述数据的高阶相关特性,或观测数据和相应类别的联合概率分布。区分性深度结构的目的是提供对模式分类的区分性能力,通常描述数据的后验分布。而应用层叠自动编码器取代传统RBM的DBN属于混合型结构。它的目标是区分性的,但通常利用了生成型结构的输出会更易优化。

1. 2 生成型深信度网络的构建[20]

受限的玻尔兹曼机是一个基于能量的生成型模型。其可以表示成一个无向图的形式,如图1 所示。其中,v为输入层( 有时称为可见层) ,h为隐含层( 有时成为重新表达层) 。

对于全体的可见层单元和隐含层单元,给定一个能量函数energy( v,h) ,其联合概率分布可以表示为

其中,Z是一个归一化因子,其计算次数随着隐含层数目和输入层数目成指数次增长,因子在实际计算中很难计算出其真实分布。受限的玻尔兹曼机的能量函数为

式中vk———第k个可见层单元;

hj———第j个隐含层单元;

wjk———二者的连接权值;

ck———第k个可见层单元的阈值;

bj———第j个隐含层单元的阈值。

RBM的一个重要特性是: 当给定其中一个层时另一个层的后验概率的计算是易于得到的。基于RBM可以构建一个具有多隐含层的DBN模型,其实际上就是一个l层神经网络,记向量x = h0表示输入,( h1,……,hl - 1) 表示隐含层,hl表示输出层[20]。如图2 所示,其1: l - 1 的底层网络由RBM构成,使用sigmoid函数,对于回归问题,顶层激活函数可使用纯线性函数。其相对于输入x和l层的隐单元定义了一个联合概率分布

DBN学习算法的基本思想是,把网络分层来处理,由下至上,对每一层进行无监督的训练,然后使用有监督的学习对网络进行精调。具体如下: 首先,输入层与第一个隐含层之间构成一个RBM,通过上一节的训练方法使其达到能量平衡; 以h1作为输入,与h2构成第二个RBM,调节参数使得该RBM训练完成; 重复此过程训练第三个RBM。完成无监督的逐层预训练以后,对于原始的输入x,以目标输出作为监督信号,构造损失函数,采用梯度下降法对网络进行有监督训练,即精调过程。

1. 3 混合型深信度网络的构建[17,18]

目前,和DBN有关的研究还包括堆栈自动编码器,它是通过用堆栈自动编码器来替换传统DBN里面的RBM。这就使得可以通过同样的规则来训练产生深度多层神经网络架构,但它缺少层的参数化的严格要求。与DBN不同,自动编码器使用判别模型,这样这个结构就很难采样输入采样空间,这就使得网络更难捕捉它的内部表达。但是,降噪自动编码器却能很好的避免这个问题,并且比传统的DBN更优。它通过在训练过程添加随机的污染并堆叠产生场泛化性能。训练单一的降噪自动编码器( SDA)的过程和RBM训练生成模型的过程一样。

2 预报实验及结果分析

2. 1 实验设计说明

不同于之前的回归算法在风速预报任务中的应用研究,本文为了研究同一模型对不同数据集敏感程度的鲁棒性及具有不同隐含层模型对预报误差的影响规律,设计了两组实验。如图3 所示,实验采用宁夏某风电场16 个月的实测风速数据,采样间隔为10 min。将数据集分成4 组训练测试集,分别记为Test 1、Test 2、Test 3 和Test 4: 每组由4 个月的数据组成,其中,前3 个月为训练集,后1 一个月为测试集。为挖掘时间序列与序列之间的相关性,基于堆叠SDA建立DBN回归模型,每个隐含层节点数为100,采用逐层贪心算法进行训练。同时,预报性能评价采用最常用的两个度量指标: 平均值绝对误差( MAE) 和相对平均值绝对误差( MSE) :

式中yri———实测值;

yfi———预测值;

n———测试样本数目。

此外,为了评价回归算法的鲁棒性,还需要对日前144 步预报结果的误差( MAE和MSE) 的均值和方差( STD) 进行统计。

2. 2 预报结果及分析

首先,进行第一组实验: 基于堆栈降噪自动编码器建立了具有3 个隐含层的混合深信度网络模型,在四个测试集上进行日前风速预报。如图4 所示,为预报误差MSE和MAE在四个测试集上随着预报步长和测试集的变化情况; 如表1 和表2 所示,对日前预报误差的均值和方差也进行了统计。从预报结果中可以看出: 相同隐含层模型在4 个测试集上的回归误差( MSE和MAE) 随着预报步长的变化不仅都维持在一个较低的水平,而且变化都相对比较平稳、波动性不大; 所以,深信度网络模型的鲁棒性较好对数据集的敏感性不强。这是回归模型能够在风场中得到实际应用的一个基本要求。

然后,进行第二组实验: 基于堆栈降噪自动编码器建立了具有1 ~ 8 个隐含层的混合深信度网络模型,分别在四个测试集上进行日前风速预报实验。如图4 所示,为预报误差MSE和MAE在测试集1上随着预报模型隐含层数的变化情况; 从图5 可以看出: 预报误差随着预报模型隐含层数的变化规律性很强,存在一个最优的隐含层数能够使预报误差最小。如表3 所示,对4 组预报实验的最优隐含层数的统计,对于该风电场的实际应用,找到了一个合适隐含层数的预报模型。这对于提高模型的计算效率,降低计算成本具有重要意义。

2. 3 基于传统预报方法的对比实验

为了进一步凸显深度学习算法的优势,以目前常用支持向量回归机( SVR) 方法[13]对本文的测试集进行风速预测方法,统计相同的误差参数,如表4和表5 所示。通过对比表1 和表4 可以看出: 混合型深信度网络的预测误差的均值以及对样本的敏感程度均小于常用的典型SVR预报方法。通过对比表2 和表5 也可以看出: 混合型深信度网络的预测误差的波动性小于常用的典型SVR预报方法。

3 结论及展望

目前,准确的风速预测是解决大规模风电安全高效并网的关键基础问题之一; 但是,由于自然界中的风速受多种因素影响而具有多种变化模式,当前的浅层学习方法在短期预报中的应用效果还无法满足实际工程需求。然而,深度学习理论是在近年来迅速发展并得到广泛关注的研究方向,尤其是在语音识别、计算机视觉等多种分类任务应用中都已经取得了大量突破性的进展。这点亮了研究人员相信最初提出的人工智能目标能得以实现的希望之光。因此,本文在前人研究的基础上将深度学习理论引入风速预报回归任务中,进行进一步的应用探讨研究工作,得到了以下结论:

( 1) 基于堆栈降噪自动编码器建立起一个具有多个隐含层数的深信度网络模型( DBN) ,模型结构为144 输入144 输出,并基于实际风场风速数据进行了2 组风速日前预测实验研究;

( 2) 通过第一组具有相同隐含层数的预报模型结构在不同测试集上的预报结果表明: 深度学习其强大的非线性映射能力,可以学习得到序列之间的映射关系,自动地将风速变化模式提取出来,从而可以有效提高模型的预测精度; 不仅预报误差的均值小,而且预报误差的方差也小,因此,混合型深信度网络模型具有很好的鲁棒性;

( 3) 通过第二组具有不同隐含层数的预报模型结构在不同测试集上的预报结果表明: 存在一个最优的隐含层数,可以使预报误差达到最小,这对平衡预报误差和计算成本具有重要的意义。

本文首次将深度学习理论应用到风速预测领域中,并取得了较好的实验效果。深度学习的研究目前处于快速发展阶段,通过本文的研究,为其在风速预测领域的进一步研究奠定了基础。

深信度网络 篇2

云南电网公司是中国南方电网有限责任公司的全资子公司，服务全省1 399 380客户。公司贯彻南网方略，主动承担社会责任，全力做好电力供应，服务于云南国民经济和社会发展，以电网运营为核心业务，定位于省内市场，积极开拓省外市场和国外市场，致力于夯实安全基础，加快电网发展，提高服务水平，强化经营管理，深化体制改革, 培育优秀文化，一步一个脚印，一年一个台阶，走上了科学发展的轨道。

1 网络发展萌发新的挑战

为认真贯彻落实科学发展观，把中央的路线、方针、政策在企业具体化，体现国家意志，认真践行“对中央负责、为五省区服务”的企业宗旨，云南电网公司秉持企业效益为重、社会效益优先的经营理念，注重依靠科技进步，打造经营型、服务型、一体化、现代化的企业。

通过参考同行业伙伴的信息化建设，并对比自身网络状况，云南电网发现近年来公司的网络建设虽然可圈可点，却不免渐渐暴露出一些弊端。首先，公司网络链路中的流量逐渐变得日益丰富而泛滥，加之组织部署的业务系统越来越多，以至于这些业务系统的带宽争抢导致业务系统运行速度越来越不尽人意。虽然公司为此曾数次扩充带宽，然而却是治标不治本，新增的带宽很快又显得不堪负荷。长此以往，就形成了带宽投资成本不断上涨，却无法根治问题的恶性循环。

其次，伴随着近几年来网络资源的膨胀和网络娱乐的兴起，迅雷/BT等P2P下载、流媒体、网络游戏等非工作流量如蝗虫一般抢占了有限的带宽资源，直接导致了语音和视频会议、OA、ERP等业务系统运行不稳定，访问速度变慢。还一点不容忽视的是，眼看着公司的网速越来越慢，相关的IT管理人员既无法了解具体的带宽使用、流量分布等情况，也不能为管理策略的制定提供数据支撑或建议，管理工作渐渐陷入了窘境。

针对公司信息化建设过程中出现的这些问题，云南电网决定未雨绸缪，寻求一套切实可行的解决方案，既要避免带宽投资的浪费，也能保障关键应用的带宽需求，同时还可掌握网络中应用流量分布情况，三管齐下将网络隐患扼杀在萌芽阶段。

2 追根求源透视业界发展

纵观互联网近几年来的高速发展，牵引着信息资源的爆炸式传播。由此催生了P2P技术的迅速普及与应用，导致企业、ISP、运营商网络带宽需求急速增加，给网络管理与运营带来了很大困扰与不便，线路拥塞导致服务品质下降的现象层出不穷。在如此背景之下，业内对于网络带宽管理的呼声诞生了流控设备这一概念。

透视现行的大多数流量管理类的解决方案，其流控设备对流经的数据进行处理的时候，通常会遵循Internet应用识别、流量分类和流量控制三大处理流程，且普遍都引入了监控与分析网络带宽的使用情况，防止P2P等应用过度占用网络带宽，针对时间、应用种类做优先级控制与优化等手段。从实际需求和最终效果2个方面来看，流量管理解决方案与云南电网公司网络建设的需要可以说是不谋而合。

3 海外产品VS本土产品，如何选择

经过市场考察，对比了几家国际知名厂商的流控产品后，云南电网公司发现外籍品牌的流量管理设备大都是针对于境外的网络用户设计的，在国内复杂的网络环境中难免有些水土不服，性能无法发挥，功能设计也与国内用户的使用习惯有些格格不入。在选择了思科公司的SCE设备进行试用后，也体验到该产品虽然功能强大，但是易用性方面相当不足，升级维护过于复杂，致使设备本身的应用识别能力大打折扣，空有强劲的处理性能，效果却不尽如人意。

诚然，一款流量管理设备功能强大与否首先要看它的识别能力是否足够专业。特别是针对不同国家不同地区，用户的使用习惯往往不尽相同，识别能力只有真正实现本土化，才能实现更加强大的流量管理功能。显而易见的是，国外厂商虽然在技术上拥有一定的优势，但是在了解中国用户的使用习惯和管理国内的各类应用流量方面，远不及主场作战的本土品牌如鱼得水。云南电网公司在认识到这样一个事实以后，又将目光投向了参差不齐的国内市场。然而国内品牌的一些相关产品，虽然适应性强，比较灵活，但大都不够成熟稳定，而且厂商规模不大，软件开发和变更发布也不够规范，唯有深信服科技的流控产品比较贴合需求。

云南电网公司经过与深信服科技的工作人员细致沟通和详细探讨后，最终决定启用深信服BM系列网络流量管理产品，旨在为公司量身打造一套全面的网络可视、带宽管理专业解决方案，释放带宽潜能，提升现有带宽价值，为公司带来持续性的价值。

4 强本创新构建高效网络

经过一段时间的使用后，云南电网公司可喜的发现组织的网络状况得到了明显改善。深信服BM系列专业流量管理设备不仅通过细致划分带宽资源，保证核心业务的带宽需求，限制非业务应用的带宽占用，彻底解决了P2P滥用带宽等问题，大幅度提升了业务运行效率;而且提供细致且直观的流量分布、趋势、对比报表等，让网络更加透明，为组织的IT决策提供科学依据。

深信度网络 篇3

作为中国成长最快、创新能力最强的前沿网络设备供应商, 深信服科技为用户提供了从连通、管理到优化的网络解决方案, 以提升用户的互联网带宽价值。在刚过去的2007年, 深信服科技的销售收入和公司规模都实现了“翻番”, 公司的“上网行为管理”、“SSL VPN”、“IPSec VPN”等3个产品线在国内的市场占有率继续保持遥遥领先, 2007年初推出的新产品线“广域网加速”在去年也取得了重大销售突破, 已在中国海监总队、华宝集团、东方基金、华铭投资等众多知名客户中获得了成功应用。在2007年10月份, 深信服更是连续第3年入选德勤“中国高科技、高成长50强”、“亚太高科技、高成长500强”, 成为中国网络和网络安全领域近年来耀眼的一颗新星。

随着深信服市场战略的迅速部署, 深信服人的身影还开始频频出现在各种大型活动中。在中国香港特别行政区、新加坡、德国、日本、西班牙等地的网络和信息安全展会上, 深信服作为中国同类厂商的唯一代表, 正在开始和国际重量级厂商展开角逐。在2008年3月结束的德国汉诺威CEBIT博览会上, 作为中国前沿网络领域的唯一参展厂商, 深信服科技更是率先把上网行为管理产品、广域网加速产品推向了欧洲, 显示了其坚定的国际化战略。