带宽选择论文（共7篇）
带宽选择论文 篇1
0引言
多种无线网络的存在,如LTE、WLAN、无线城域网、 3/4G、MANET网络等,由于每种网络中的用户数量与用户数据交流的数据大小不同导致每个网络在每个时刻的带宽使用情况不同。如何能够选择带宽较大(即网络比较空闲)的传输路径在短时间内完成用户的数据交流是用户对网络服务质量的评判标准之一。同时,当用户从一个无线环境移动到另一个无线环境中时,发送数据的速率到底该为多大(如当切换到新网络时,如果TCP/SCTP从慢启动状态重新开始,则效率低下),这时带宽的估算显得尤为重要。于是产生了一些用于相关用途的测量工具,如Pathchar(Jacobson 1997)［１］、Clink(Downey 1999)、Pchar (Mah 2005)［２］等。
1测量算法原理
采用测量工具进行网络带宽估算的方式,一般分为主动测量和被动测量两种。主动测量方式通过主动发送测量包来获取相应网络环境中的网络数据,可以获知端到端的带宽情况,通常不需要多个网络节点间的协作,具有灵活方便、可操作性强等优点。在进行大规模网络带宽测量初期或满足网络用户日常的测量需求时,主动测量是一种快速有效的方式。被动测量方式使用接入网络的探针来记录和统计路径上数据包的网络特性,难以了解端到端的性能,并且在测量异构网络路径带宽时需要多方协作,因此测量范围受限,实现复杂度较高。在高速的异构网络中,测量结果的准确性依赖于探针的性能和采用方法。另外,被动测量需要捕获和分析用户数据包信息,可能会侵犯用户隐私,影响网络安全。
包对算法［３］是Robert L Carter和Mark E Crovella提出的,用来测量路径的瓶颈带宽,该算法在Linux系统下已得到证实。它通过同时发出多个连续的数据包,使它们在路径瓶颈处排队,利用相邻两个数据包通过瓶颈路径的时间间隔计算出瓶颈路径的带宽,如图1所示。基于数据包对算法的工具有很多,例如Pathload［４］。
目前Internet中使用的可靠传输协议(如TCP、 SCTP),在建立连接或基站切换的初始阶段,默认情况下都通过“慢启动”方式来探知新路径的端对端瓶颈带宽,也有基于带宽估算的TCP变体(如TCP Westwood),但这种基于带宽估算的机制在拥塞窗口大小的控制上仍存在一些缺点(如瞬时流量的变化会使测量结果在一定程度上与实际带宽不符)。如果能通过一种简单的端到端的测量方法测得相应时间内的网络带宽,从而为多媒体流、大数据传输提供可靠的依据,在一定程度上将会提高传输协议的性能,从而提高网络利用率。
因此,本文在终端采用对于网络和终端透明的带宽预测技术,为移动用户数据发送速率的设定提供依据,进而提高网络利用率。在无线网络环境中,瞬时流量的变化会使测量结果在一定程度上与实际带宽不符。为此,本文利用非参数估计方法中的核密度估算方法来减少突发流量对测量结果的影响。主要采用数据包对的算法计算端到端的可用带宽,这种方法容易嵌入SCTP协议中,从而达到优化。
2端到端带宽测量模型
假设一条路径由n个节点串联而成,则:
其中,参数A为路径的瓶颈带宽,Cｉ为路径上第i跳(由第i和第i+1个节点构成)链路的带宽值,n-1为路径上的总跳数。通过上式可以获知,如果在该路径上移动用户以速率A或小于A的速率发送数据,数据包则会以较快的速度通过路径到达终端,相反则会在较窄的链路处造成网络拥塞,网络时延加大,吞吐量下降。假如发送速率过大,则会造成数据包大量丢失,严重时会发生Time- out,从而导致带宽利用率大大下降。依据香农理论,信源的发送速率必须小于或等于信道容量。因此,当源端带宽远大于路径瓶颈带宽,形成带宽瓶颈时,会导致数据包在网络节点排队等待,造成网络拥塞。
端到端的数据传输可以看作是n对数据包从源节点M０经过i条链路最终到达目的节点Mｎ的传输过程。链路i上的带宽值为Cｉ,路径的瓶颈带宽为A,数据包的长度为L。数据包从源端到目的端的途中所用的时延包括发送时延、传播时延、处理时延以及排队时延,这里主要考虑传播时延。数据包k、k+1到达目的节点Mｎ的时间间隔为:
带宽的计算为:
数据包之间的时间间隔会受到干扰流量影响,此时会比实际数据包之间的间隔时间增大或减小,当不受干扰流量限制时,则会符合实际情况,具体情况如下:
(1)当第k个数据包在传输过程中,在其前方有干扰流量插入,这时会导致第k个数据包的排队延时增加,而第k+1个数据包此时以原速率传输,从而导致第k个数据包与第k+1个数据包的时间间隔减小。由式(2)可知, 这种情况会导致测量计算的带宽比实际带宽偏大,如图2所示。
(2)当第k个数据包在传输过程中,与第k+1个数据包之间有干扰流量介入,此时会导致第k+1个数据包的排队与第k个数据包的时间间隔大于其正常情况下的时间间隔,从而会导致测量计算的带宽比实际带宽偏小,如图3所示。
(3)当第k个数据包在传输过程中,没有干扰流量的介入,这时计算所得的测量值即为实际情况下的带宽值, 如图4所示。
3多环境下端对端最优路径选择方案——— GPA算法/机制
本文提出的路径瓶颈带宽的估算方法是将包对算法与统计学中的非参数统计的核密度估算方法相结合,可以减少干扰流量对带宽测量结果的影响。核密度估算方法中,在已知某一事物概率分布的情况下,如果得到的某一个事物在观察中出现在已知的概率分布范围内,则可以认为该事物的概率密度相对较大。同理,和这个事物接近(如距离、范围、程度)的概率密度也会较大,而那些离该事物远的概率密度则较小。基于这种想法,本文将其用于带宽的估算上,在此过程中可以针对每一个测量出的结果拟合出概率密度分布函数。该概率密度函数的核函数为:
其中h为带宽(与本文所测带宽不同),{x１,……,xｎ} 为带宽的测量结果样本序列。对于减小干扰流量对测量结果的影响还有其它两种方法。一是利用平均值估算带宽值,在这种情况下,测量的边界值会大大影响最后的结果,导致误差太大,测量失败;二是利用直方图来测量,它的一个缺点是很难选择一个合适的箱尺寸。一方面,如果箱尺寸太小,则许多正常对象会落入空的或稀疏箱,从而被误识别为离群点。这将导致很高的假正例率和低精度; 另一方面,如果箱尺寸太大,则离群点对象可能渗入某些频繁的箱中,因而假扮成正常的［５］。所以综合考虑,为了解决这些问题,可以采用核密度估计来估计数据的概率密度分布,进而估算网络带宽值。
4实验
4.1实验背景
本实验的场景如图5所示,MN是移动用户,在移动到3G网络与WLAN交叉的环境下,MN进行数据传输之前,如果能知道各个无线网络环境的带宽,则可以选择合适的速率进行数据包发送,使数据包丢包率降低,网络吞吐量增加,数据可以以较快速度进行传输。本实验中假设AP１、AP２分别与3G网络基站、WLAN网络基站连接,移动端MN通过AP１、AP２分别测量各自的路径带宽,通过比较路径带宽大小来选择发送数据包的路径。MN会依据测量结果选择较优路径进行数据传输,从而提高路径利用率。在实际测量过程中,很难像实验那么理想,在干扰流量干扰的情况下,带宽测量结果偏大或偏小都会使移动终端发送数据速率比实际路径带宽偏大或偏小,从而导致网络拥塞或利用率不高。
4.2实验过程
实验在ns2环境下进行。如图6所示,节点n０表示现实中3G无线网络的AP,n１表示现实中WLAN无线网络的AP,n２、n３、n４代表现实中链路上的节点,n６、n７分别代表现实中的n１、n０所对应的接收端。
n０与n６之间建立的是以UDP为通信协议的CBR连接,n１与n７之间建立的是以SCTP为通信协议的FTP连接。n０~n２、n１~n２、n５~n６、n５~n７之间的带宽为10Mbps,延迟时间为10ms;n２~ n３之间的带宽为15Mbps,延迟时间为7ms;n３~n４之间的带宽为3Mbps, 延迟时间为5ms;n４~n５之间的带宽为10Mbps,延迟时间为6ms。
在实验过程中,在0ms时开始发送10个FTP数据包,在0.4ms时以速率2Mbps发送CBR数据包,并且同时发送5个FTP数据包,在0.6ms时结束CBR数据包发送,在1.0ms时结束所有数据包发送。 实验测得的带宽值根据GPA算法中h值的不同分别如图7~ 图9所示。
根据上图可知:1当h=0.3时,密度函数曲线比较粗糙,如图7所示;2当h=1时,密度函数曲线比较平滑, 较为理想,如图8所示;3当h=3时,密度函数曲线最平滑,但是信息损失较多,如图9所示。
在这部分实验中,若采用平均值对实验结果进行处理,得出的带宽值为2.2Mbps,远远大于实际瓶颈带宽值, 主要原因是受边界数值影响而造成测量值偏大。若采用直方图估算,则受箱尺寸影响,估算结果同样不准确。
4.3实验结果
综合以上实验结果,实验验证最后选取h=1的结果作为0.4~0.6秒之间的带宽值,即在这个时间段内的带宽值为0.87Mbps。因此,在该时段内发送数据包将会大大减少网络拥塞现象发生。该结果与假设的带宽1Mbps虽然不完全相等,但是已经很接近,达到了本实验目的。
5结语
在多环境下,准确测量路径瓶颈带宽是移动通信中正确进行切换的基础,很多端到端瓶颈带宽的测量方法已经得到了一定应用,大方向主要包括主动测量和被动测量。 本文进行了在多种无线网络环境中基于主动测量,通过测量端到端路径的瓶颈带宽来选择较优路径进行数据的传输实验,并给出实验结果。其主要思想是利用包对测量算法与非参数估计方法结合来优化测量结果,达到了比较好的预想结果,使移动终端能够根据测量结果选择较优路径进行数据传输。本方法操作简便,容易扩充和实现。然而此方法仍然存在一定不足,例如在较多路径的选择中,如何快速而又使移动终端在负载轻的条件下通过路径估算来进行数据传输,这也是将来需要改进的方向。
带宽选择论文 篇2
随着网络覆盖范围的扩大以及宽带业务的普及,基于网络流媒体的在线视频、音频、远程课堂、视频会议等应用,如pptv,pps等取得了快速发展。据文献[1]报告显示,2013年网络视频用户与2012年相比增幅超过15%,在整个网民中的比率接近70%。流媒体网络应用已成为互联网中的重要业务。
流媒体服务质量严格依赖于带宽、丢包率、时延等指标,而现有网络体系设计初衷是用于数据传输业务,并非针对流媒体业务。传统集中式服务,是基于网络的不可靠交付,容错性差,不适合部署支撑大规模用户访问的流媒体系统。P2P模式的负载分担、自组织、资源分布式存储等特点很好地解决了传统中心模式的可扩展性、容错性差和带宽瓶颈问题。本文是基于混合式P2P模式进行分析研究,在此基础上进行算法改进。
对于混合式P2P流媒体系统[2]而言,超级节点具有更强的处理能力、更大带宽,它为网络子节点提供流媒体源数据,同时还要对普通节点的路由选择进行管理。随机节点选择算法和洪泛法选择算法是当前超级节点的一般选择算法,早期随机节点选择算法存在着许多缺陷,如该算法容错性和可扩展性差,网络动态适应能力弱,面对大规模数据流量容易造成系统瘫痪。采用洪泛法会造成非常多的冗余信息,消耗了大量的网络带宽资源。
除此之外,带宽和节点负载度是影响节点服务质量的关键因素。面对以上问题,本文提出了利用ELM神经网络预估节点带宽和负载度的节点选择算法ELM-SGP。该算法能够根据网络的实时动态变化,及时调整选择能力强、带宽高的超级节点。经过验证分析,ELM-SGP有效地解决了P2P流媒体的Qo S问题。
1相关工作
文献[3]提出通过分析节点离线规律,预测节点无效时刻,安排后备节点。该算法减少了控制信息的流量,造成信息的同步性较差,然而流媒体应用更强调对带宽、CPU处理能力的要求。文献[4]提出根据区域划分实现超级节点的选取,该方法根据节点在物理网络中的实际距离进行区域划分,保证物理位置最近的节点在同一区域。文献[5]提出一种算法,该算法通过超级节点在网络中的区域,计算出一条最短路径选取超级节点。H2O[6](Hierarchical 2-level overlay)是基于P2P重叠网络的节点选择算法。该算法向所有节点广播自己的资源信息,这种以广告形式进行的信息交互将产生大量通信消息,增加网络负载。文献[7]基于距离对节点进行聚类然后进行节点选择,优先选择上传、下载能力强的节点作为邻居节点,这种方法显著提高了系统吞吐量。但是对节点的聚类方法仅考虑距离,不能很好地反映节点间实时可用带宽等,不适用于流媒体系统。文献[8]引入了信誉的概念,用节点的贡献度、在线时长等指标衡量节点的信誉等级,选择较好信誉的节点。文献[9]引入了模糊集理论,将节点选择转化为多属性决策问题,从理论上给出了节点选择算法。文献[10]根据节点到达目标节点的相似度,判断节点是否为同一自治域(AS),同时结合节点的能力和综合流速率,优先选择最优同域节点作为资源提供节点。通过以上分析,本文在传统随机算法基础上进行改进,使用ELM算法对节点可用带宽和负载度进行预估,以下部分将详细介绍ELM-SGP算法及其验证分析过程。
2基于ELM动态可用带宽的超级节点选择
神经网络模型是一种基于生物神经科学,模拟人脑构造和功能的数学模型。1943年W.Mc Culloch和W.Pits提出了形式神经元抽象数学模型。这项技术经过70多年的发展,相关研究和模型已经发展成融合了数学、生物学、计算机科学、物理学等的交叉学科。它被广泛应用于各种领域,如:图形处理、经济预测、组合优化、航空技术、通信网络等,ELM则是其中性能较优的一种。它对于随机性、非线性变化的数据的收敛性很好。
2.1系统描述
在混合式P2P网络中,超级节点(sp)除了作为服务器为子节点提供源数据外,还负责管理子节点的行为、与临近层节点进行交互。包括:资源查询、路径选择、信息交互等。每个超级节点都是其管辖范围的代表,子节点可以自由选择加入或离开,超级节点则是长时间在线、能力强的节点。一般为了保证网络的可靠性都会有备份的超级节点,如图1所示。
2.2 ELM神经网络
极限学习ELM[11]是一种快速学习的前馈神经网络(SLFN)算法,是由Huang G.B.等人提出,该算法在训练过程中隐层节点参数(内权和偏置值)可以随机生成,不需要调节,它的输出权值依据MP广义矩阵得到。使得它具有学习速度更快、结构更简单、收敛性能好等优点。该网络在这些年在各个领域得到了广泛的应用,SLFN结构如图2所示。
对于一个SLFN包含L个隐含节点和m个输出,假设有任意N个训练样本(xi,ti),其中xi∈Rn,ti∈Rm则标准的单隐层神经网络数学建模为:
其中,Wi=[wi,1,wi,2,…,wi,L]T为SLFN的输入权重,βi为其输出权重,bi表示的是第i个隐层单元的偏置,SLFN的激活函数为g(x),Wi·Xj表示Wi和Xj的内积。单隐层神经网络学习的目标是使得输出目标可以零误差逼近训练样本,即:
存在βi、Wi和bi,使得:
上式可以矩阵表示为:
其中,H表示隐层节点的输出,β为输出权,T是期望输出。
根据文献[12]在ELM算法中,只要随机确定了输入权重Wi和隐层的偏置bi,则隐层的输出矩阵H就被唯一确定。训练单隐层神经网络可以转化为求解一个线性系统Hβ=T。同时输出权重β可以被等式β=H+·T确定,H+是矩阵H的MoorePenrose广义逆。
为了避免数据差异过大,统一量纲ELM要对输入数据进行归一化处理,将原始数据归一到[0,1]区间,将可用带宽时间序列进行归一化处理,具体处理公式为:
2.3算法描述
超级节点监视器记录本机的CPU使用情况,并计算本机实时的可用带宽。通过ELM分别对CPU负载率和可用带宽进行预测,并根据历史数据预测下一时刻CPU负载、可用带宽。其中Ciresidual代表超级节点Si的剩余负载。Biresidual代表超级节点Si未利用的剩余带宽,g(i)代表Si的综合可用性。公式描述如下。
节点Si的可用带宽:
即节点的Biresidual为Si总带宽Bitotal与已分配带宽Biallocated之差。
节点的CPU剩余负载率:
其中Ciloading代表Si的CPU实时负载率。
节点Si的综合可用性:
将Biresidual通过式(8)统一量纲,然后超级节点代理分别交换各自节点的预测数据,通过式(11),按照g(i)的高低分为三个级别:优良、一般、较差。最后Si代理将这些信息发送给普通节点(op),op再结合Si资源匹配率、通信开销、信誉等进行选择。有效地减少了洪泛法对网络带来的负载压力及延时,优化了系统服务性能。
基于ELM-SGP的算法具体步骤如下(如图3所示):
Step1初始化ELM算法的控制参数,设置激活函数g(x)与隐含层节点个数L,随机生成隐含层节点参数(ai,bi),计算输出矩阵H,设置惯性因子的范围[wmin,wmax],使用式(8)归一化带宽时间序列X={x1,x2,…,xn},归一化CPU动态负载时间序列C={c1,c2,…,cn},并根据ELM算法求出最优输出权值βi,将X和C代入式(3)计算出每个xi对应的输出目标oj。
Step2 Si代理通过ELM神经网络,计算下一时刻每个Si的有效可用带宽Biresidual及CPU剩余负载率Ciresidual。
Step3超级节点代理根据预测结果,如图3所示利用式(11)计算每个节点的综合可用价值,并向邻居超级节点代理发送该消息。
Step4超级节点代理对步骤3消息进行分析后,根据每个节点的g(i)值划分为3个等级,当普通节点(op)请求连接超级节点Si时,邻近Si代理将综合可用性优良的Si列表Node List发送给op。
Step5普通节点得到反馈信息后,再综合考虑节点信誉、区域等进行选择,如算法流程图3所示。
具体ELM-SGP算法伪代码实现如下:
3仿真实验及结果分析
本文通过Matlab评测实验比较传统随机选择算法RandomSGP与基于带宽和CPU动态负载预测算法ELM-SGP,系统模拟真实网络环境,模拟环境的建立如下:op数量范围[100,1000],sp数量范围[20,100],自由op为20个,sp代理数量为20个。可用参数α设置为0.4。为了能够仿真现实网络中节点的异构性,将普通节点聚类为三类:A、B、C,设置它们的下载带宽分别为:4 Mbps、1.8 Mbps、750 Kbps,上传带宽分别为:900、465、125 Kbps。它们在系统中所占比例分别为:A:56%、B:32%、C:12%。为了验证ELM-SGP预测算法效果,通过与传统RandomSGP算法在平均吞吐量、平均播放延时、平均播放质量三个指标进行比较评价该方法。实验结果如图4-图6所示。
实验1比较了ELM-SGP与传统Random-SGP方法在吞吐量上的差异。节点的吞吐量是指接收报文的速率,包括流媒体数据包和控制报文。获得越高的吞吐量,一个节点才能获得更好的播放质量。如图4所示ELM-SGP算法的吞吐量相对于RandomSGP算法提高了7.74%,这主要是因为本文提出的ELM-SGP方法更加全面的衡量了超级节点的网络性能来做出选择。
实验2对ELM-SGP算法的播放延迟进行评估,播放延迟是指服务器发送数据时刻到此数据被节点接收时刻的延迟。这个性能参数直接影响用户的观看体验,特别是对于直播系统而言。本文提出的算法相对于Random-SGP优化了选择指标,使播放延时降低了44.4%,这将明显改善用户的体验。
实验3比较了ELM-SGP方法与传统Random-SGP方法的播放质量。在仿真实验中,间隔30秒,用节点在这段时间所收到的有效数据包与流媒体服务器发送数据包的比值作为该节点的播放质量。该参数直接反映了用户观看视频的质量,图6反映了ELM-SGP算法的播放质量明显优于Random-SGP,相对提高了8.7%。ELM-SGP的播放质量虽然没有达到100%,但随着吞吐量的提高,平均播放质量基本稳定在90%以上,为用户提供了流畅稳定的高质量服务。
4结语
安永:释放带宽的力量 篇3
罗奕智认为, 目前市场条件仍极具挑战性, 但具备实力的仍是大型运营商。在经济不确定的时期, 电信业被视为一个波动平缓的防守型行业, 但近年来电信业已经发生了重大转变。
过去语音市场发生了很多不同的变化, 现在已经变得比较稳定。但不管在固网还是在移动方面, 宽带领域的在位运营商实力仍然很强, 这些电信业的转变并没有对他们没有形成很大的冲击。
罗奕智对2006年至2009年的电信业发展状况进行了分析, 以欧洲运营商为例, 英国电信2006～2009年宽带市场份额由原来的33%增长到35%, 荷兰皇家电信也从41%增长到44%。可以看出, 整个电信业稳中有升。他表示, 从在位运营商和新兴运营商波动情况来看, 在位运营商波动明显比较低, 原因可能是市场环境有问题或者不太稳定时, 通信行业永远都会被看成历史公用事业。
在2006年, 电信运营商关心更多的是如何拥有和掌控一个客户, 而现在的运营商则意识到提供客户更多的选择和自主权是更好的手段。因此, 当前在位运营商重点关心的有两个问题, 一个是客户, 他们认为客户是最重要的, 从客户得到最多的价值是在位运营商战略目标里排名最高的一项。另一个是业务创新, 新业务成为在位运营商的一个手段, 他们希望可以为客户提供更好的产品和服务。移动互联网、移动支付等都已经成为在位运营商挖掘客户价值的重要手段。
对未来电信运营业的格局, 罗奕智表示, “2006年大家都比较关心一些新技术, 到了2009年大家可能关心的是合作、联盟、提高市场份额的做法。我们估计三年之后的2012年会有更多的改变, 这些改变很多都是一些业务模式的创新, 通过改变原来收入来源的方向而实现的。”
罗奕智表示, 在改变过程中, 我们发现整合具有周期性。在欧美不同的国家里, 同一个地区的固移整合是他们实现整合的第一步, 之后他们会有另外一个新的方向, 跨地区, 跨地域, 跨行业整合, 特别是发展中的国家很多都关心并购活动, 这增加了运营商在临近地区的并购活动。运营商对其它领域, 比如IT软件、媒体等领域也寻求一些新的产品领域, 从而促进跨行业的整合。
罗奕智认为, 融合的道路是循序渐进的, 运营商都是基于自己主打的产品, 再往外延伸, 比如, 他们都会把重点放在家庭固话和个人移动电话, 延伸到其他家庭成员的移动电话上, 又或者是移动宽带基础上加入固网宽带的能力, 作为一个补充。
带宽存储算法与实现 篇4
假定代理从一台路由器通过网络流消息收集HTTP所使用的总带宽, 然后每隔5分钟向服务器报告一下。如何存储这些收集值以便可计算出任意时间段所使用的总带宽呢?
如果将收集的带宽值存储在RRD中, 虽然可以很容易地绘制出带宽使用情况时间序列图, 但却不能准确计算出任意时间段 (例如, 2014-06-20 10:00至2014-06-20 11:00) HTTP所使用的总带宽。为解决这一问题, 设计一种带宽存储算法 (Band Width Storage Algorithm, 即BWSA) 用来存储、处理详细带宽值和汇总值。
1 算法设计
(1) 归档文件设计
归档文件是一个按时间顺序存储带宽值的固定长度的数组阵列。例如, 可以用3个归档文件分别存储来自于3个网络流设备的所有带宽值。
归档文件中的一条记录存储一个包含N个步长 (步长是指将时间轴均匀分成若干段, 每段包含的分钟数, 比如网络流设备可使用5分钟的步长。N可自行设置) 的特定时间段的所有带宽值。例如, 为了存储来自网络流设备的带宽信息, 可创建一个包含366条记录的归档文件, 每条记录存储包含288个步长的所有带宽值, 而每个步长为5分钟。这样, 1条记录就可存储1天的数据 (288 x 5分钟=1440分钟=24小时) , 而1个归档文件就可存储长达1年的数据。
如果有新的第367天的数据需要存储, 而归档文件却仅有366条记录, 怎么办?其实, 归档文件被视为一个循环数组阵列。当需要存储第367天的数据时, 原来存储第1天数据的那条记录将被改写。
(2) 记录设计
每条记录均包含两种信息。
汇总带宽值。例如, 如果一条记录对应于1天, 而步长为5分钟, 并且代理已经发给服务器涵盖从00:00到03:00时间段的36次带宽收集值, 那么此时, 汇总数据等于在开始的3小时内所使用的总带宽。
每次收集的详细带宽值。在上述包含288个步长、每个步长5分钟的记录例子中, 假如代理已经发给服务器涵盖从00:00到00:15时间段的数据, 那么这条记录就包含3个分别对应于00:05、00:10和00:15的详细带宽值, 和1个汇总值 (总是1个, 并且等于该记录中到目前为止所有详细带宽值的总和。
(3) 增加操作设计
服务器在收到一个新的带宽值 (例如, 2012-06-25 03:50 UDP=1.2M, TCP=4M) 后, 将找到适当的记录。如果在此之前更新过的记录与该记录间有间隔, 那么服务器将清除掉间隔间的所有记录值。然后服务器追加带宽值到详细信息部分并更新汇总值。
(4) 查询操作设计
假如希望查询从2014-06-25 10:00至2014-06-28 09:00时间段的总带宽, 操作方法为:首先, 载入2014-06-25、2014-06-26、2014-06-27和2014-06-28这4天的记录。由于这一时间段涵盖了2014-06-26和2014-06-27全天, 所以可以直接使用它们的汇总值。但是, 这一时间段只涵盖了2014-06-25和2014-06-28的部分时段, 因此需要加载这两天的详细信息, 并计算2014-06-25 00:00至2014-06-25 10:00之间以及2014-06-28 00:00至2014-06-28 09:00之间的汇总值。然后, 对这4个汇总值进行算术运算就得到总带宽。
2 基于My SQL的实现
使用My SQL作为后端存储数据库的实现方法如下。
2.1 创建元信息表
命名为bwarchivecontrols的表用来保存归档文件的元信息, 表创建代码如下。
在表bwarchivecontrols中, 每个归档文件都有相应的记录以便存储元数据信息, 其中:
(1) name:标识归档文件的唯一的名称。
(2) step_length:一步的长度 (单位:分钟) 。
(3) step_count:每条记录所包含的步长数。
(4) archive_length:归档文件包含的记录数。
(5) last_collecting_sequence:最近报告的时间段所对应的序列号 (需先将时间按步长分成若干时间段, 并给每个时间段分配一个序列号) 。
2.2 创建归档记录表
命名为bwarchives的表用来存储归档记录, 表创建代码如下。
其中:
(1) record_index:每条记录分配的索引号, 范围0~archive_length-1。
(2) valid:表示是否参与计算总带宽。在现实世界中, 代理可能会漏报告, 设备也有可能停止工作, 因此不可能指望每条记录都填满数据。当要计算特定时间段的总带宽时, 可以忽略valid='n'的记录, 以提高查询性能。
(3) compressed:表示details值是否已被压缩。details列中存储的是JSON字符串, 从逻辑上讲, 它是当前记录所涵盖的时间段上所有详细带宽值的一个数组阵列。若JSON字符串长度超过规定的阈值, 那么就在数据库中保存压缩版本。
(4) aggregated:针对当前记录, 存储到目前为止的时间段内带宽汇总值。这些值存储在一个JSON字符串中, 格式为{metric1:value1, metric2:value2, ......}, 例如, {udp:1677721, tcp:10256}。
(5) details:以JSON字符串数组形式存储所有详细带宽值。在数组中, 每个详细带宽值都存储在JSON对象中, 格式如下:
一个详细带宽值所在的JSON对象必须包含一个sequence键, 其值为当前步长时段所分配的序列号, metrics的值也存储在一个JSON对象中。JSON对象中的每个键值都将参与汇总。
为加快查询bwarchives表的速度, 需创建索引 (bwarchivecontrol_id, record_index) 。
2.3 创建归档文件
当创建一个新归档文件时, 用户需提供一个唯一名称, 以便于管理。服务器首先会在表bwarchivecontrols中插入一条记录, 用来保存新归档文件的元信息。然后, 服务器将在表bwarchives中插入数量为archive_length的多条记录, 记录索引号0~archive_length-1。
3 结语
设计的BWSA由于使用My SQL作为后端存储数据库, 并以JSON (字符串) 数组形式存储所有带宽值, 可扩展性和灵活性好。通过BWSA, 能够准确计算出任意时间段HTTP所使用的总带宽, 给网管全面了解带宽使用情况提供了良好的方法。
摘要：带宽使用情况是网管时刻关注的内容, 针对存储、处理任一时间段的详细带宽值和总带宽的要求, 设计一种带宽存储算法, 并以My SQL作为后端存储数据库、以JSON字符串形式存储带宽值, 不仅灵活性好, 而且可以很方便地准确计算出任意时间段HTTP所使用的总带宽。
关键词：带宽存储算法,My SQL,JSON,带宽
参考文献
[1]施瓦茨.高性能My SQL (第3版) [M].北京:电子工业出版社.2013.
[2]Json.http://www.json.org/json-zh.html.
[3]王魁生, 王晓波.利用JSON进行网站客户端与服务器数据交互[J].软件导刊, 2010, 09 (3) :147-149.
高带宽传输网络搭建探讨 篇5
为满足市场需求, 各地广电运营商已经开始了互动电视和高带宽接入的建设。广州珠江数码集团有限公司作为广州地区最大的有线电视网络运营商, 已经明确把互动电视和高带宽接入定位为未来的主营业务, 至今已经发展了18万互动用户, 并全网开展6M和10M的高带宽接入。本文结合广电网络现状, 从业务需求入手, 对构建能支持高带宽业务发展的网络展开探讨。
1 互动平台概况
互动前端平台作为系统网络搭建的第一核心要素, 其传输模式、编码格式、节目内容和双向网络建设的通道容量息息相关。珠江数码建立了基于Mediaroom的互动电视平台, 平台根据广州实际情况开发集成业务, 再通过IP网络进行分发, 以实现交互式数字电视服务, 给用户提供多种高质量业务服务。互动的流媒体业务包含节目时移、回看、点播和各类应用。这些数据通过城域网传输到各分前端, 通过本地CMTS按用户需求分发到各机顶盒。目前系统已经提供高清直播频道19套、标清直播频道90套的直播服务、45套节目4小时时移及72小时频道回看服务。节目内容采用H.264的编码格式, 高清节目带宽9M, 标清节目带宽4M。
在互动电视中, 直播节目采用了组播的模式, 目前采用DOCISIS 3.0技术进行覆盖, 全网采用了一台CMTS进行节目分发, 配置16个直播 (组播) 专用频点, 广播至全网用户;点播业务经部署在各分前端的分散CMTS上联至城域网, 用户共享点播CMTS带宽。整个互动平台的架构如图1所示。
2 用户行为分析
互动电视打破了传统的单向视频服务传输模式, 提供以用户为中心的多种交互性业务, 如点播、时移和回看等。在双向数字网络传输中, 各类交互性业务均单独占用网络资源, 用户行为直接影响网络建设。
为更好了解用户行为, 笔者通过互动电视平台实施全网数据采集, 提取上线用户数量、开机时间、收视内容、占用流量和出口负荷等数据, 整理出用户开机率、开机并发率和户均占用带宽这三个关键数据, 如表1所示。
用户开机率反映了互动用户收看电视的比例, 由数据来看用户开机集中在每晚的八点至十点, 周日晚上为收视高峰, 周平均开机率为59.75%, 季度峰值曾达到69.85%, 建议选择70%作为开机率的设计模型参数。
开机并发率代表了在线用户点播节目单独占用带宽的机率, 本周的峰值为10.77%, 该数据和市场策略及节目内容密切相关, 在免费试看推广期间, 并发率曾一度上升到30%, 建议选择正常推广时期的峰值15%作为设计模型参数。
户均带宽是全网点播高清和标清节目的带宽平均值, 从表1可以得出峰值为4.25M, 考虑到高清内容视频点播的逐步增加, 建议每户分配5M作为设计模型参数。
除高清业务外, 高带宽接入和三屏融合等业务也在全面开展。为满足业务需求, 网络建设需有一定的超前性, 向户均带宽30M发展。
3 基于DOCSIS技术的解决方案
在全国各地的有线电视网络中, 同轴电缆仍是信号传输的承载主体, 鉴于充分发掘利用同轴网络资源, DOCSIS技术是主流选择。目前DOCSIS技术已经进入了V3.0时代, DOCSIS 3.0的最大亮点是数据传输带宽的扩充, 通过上下行多个信道的捆绑技术, 已具备直接与FTTH竞争的带宽优势。新一代的DOCSIS 3.1标准已在讨论和制定中, 大数据量和高密度仍将是趋势。对于已部署CMTS的网络, 建议可通过以下三种方式进行网络优化。
3.1 宽带和互动双业务共用一台CMTS
为确保业务的稳定开展, 在珠江数码早期的网络建设中, 宽带和互动业务分别部署在不同的CMTS上。随着用户量的增加和用户习惯的改变, 宽带CMTS上行带宽资源不足, 而互动CMTS的下行带宽资源也不足, 为提高频点资源利用率, 同时满足单一终端 (CM3.0) 发放的市场需求, 对全网CMTS可实施融合改造, 如图2所示。首先完成CMTS双业务融合系统的配置, 再对前端射频分配网络进行逐步改造, 并完成单台CMTS割接。
3.2 增加原有光发射机分配CMTS频点
在广电传统的网络结构中, 一个光发射机覆盖4个光站, 每个光站覆盖用户规模各地略有区别, 珠江数码多数光站已按覆盖400户规划改造, 部分未改造光站仍保留在1000户。在这样的网络环境下, 一个光发射机覆盖用户至少1600户, 互动业务下, 分配CMTS下行频点2个或4个, 能最高支持100Mbps或200Mbps的下行流量, 支持互动业务40户同时点播, 满足互动业务400户报装, 即不超出25%的互动报装率。对于双向业务发展较好的楼盘, 报装率已达30%或者更高, 在此情况下, 快速扩容的方式便是增加CMTS下行频点资源。
利用目前现有机房CMTS机框, 快速更换高密度板块进行改造升级, 可使得单一物理口对应频点升至32个, 鉴于频率资源有限, 一般能使用到12个下行频点, 可使得互动报装率提升至75%, 改造模式如图3所示。
3.3 减少发射机所带光站数量
从固定资产的折旧来看, 前端设备一般在10年左右, 无论是从设备性能还是资产保值的角度来看, 原有的CMTS仍有很大的利用价值。使用低密度的CMTS, 可通过降低单位频点覆盖的双向用户数量来实现。
方案一, 可通过光站分配网络的分割改造, 降低单位光机覆盖用户规模, 如把原有光机覆盖400户的分配网络分割至200户, 或者100户乃至更低, 但改造周期长、改造成本高;方案二, 调整前端单台光发射机所带光机数量, 如将1:4改造为1:1, 可使得网络支持能力提升4倍, 方案如图4所示。
4 基于C-DOCSIS技术的网络解决方案
随着高带宽业务的全面展开, 特别是用户渗透率的逐步提高, 网络支持要尽快从广覆盖提升到单位地域内高带宽覆盖。在这种情况下, 现有的DOCSIS技术出现了两个困境:一方面是网络投资大幅度增加, 当双向业务渗透率超出25%时, CMTS硬件投入在大幅度增加, 而CMTS的生产一直被少数国外厂家垄断, 价格居高不下;另一方面是现有机房资源紧张, 面对不断增加的CMTS及射频分配设备, 原有分前端机房无论是空间还是电力容量都较难有太大的扩容空间, 而新建机房寻址难度大且建设周期较长。
为此, 我们在寻求一种迅速提升接入带宽, 无需增加机房负荷, 成本相对较低, 并且能兼容原有终端产品的双向解决方案。在2012年8月, 广电总局正式发布了《NGB宽带接入系统C-DOCSIS技术规范》 (GY/T 266-2012) , 给双向网络的建设提供了一个新的解决方案。
4.1 C-DOCSIS部署规划
C-DOCSIS系统由C-DOCSIS头端、C-DOCSIS终端、配置系统和网管系统组成, 并根据模块组成的不同, 分成集成式和分布式。在考虑到光纤资源不够丰富和网络FTTH演变的发展, 我们按照分布式搭建, C-DOCSIS接入技术将ITU-T J.222的物理层与数据链路层的接口 (即为C-CMTS) 从分中心机房下移至有线电视光节点处, 向下通过射频接口与同轴电缆分配网络相连, 向上通过PON或以太网与汇聚网络相接。接口下移后的组网模式, 由于C-CMTS所在的位置, 决定了它和光节点设备的融合方式, 整个系统由OLT、C-CMTS和终端CM组成, OLT与C-CMTS之间通过EPON光分配网 (ODN) 连接, C-CMTS与终端之间通过同轴电缆分配网连接, C-CMTS兼容所有DOCSIS2.0/3.0规格的CM。
从2012年12月开始, 珠江数码开始规模部署C-CMTS, OLT一般安装在分前端机房内, 上链三层汇聚交换机, 通过三层汇聚交换机接入城域网。对覆盖400户以内的光机改造, 采用C-CMTS模式在光机同地部署, 如图5所示。
对于覆盖用户仍较多的光机, 如部分光机覆盖仍在1000户左右, 在网络改造时, 实施一次到位改造方式, 在光机处安装光分路, C-CMTS部署点进一步延伸至下一级放大器, 确保C-CMTS覆盖用户在400户以内, 如图6所示。对于大型小区, 建议设立本地接入间机房或野外综合地箱, 就近安装OLT、交换机和EDFA等设备, 进一步降低对骨干光纤网络的占用。
4.2 C-CMTS在测试和应用中的优化部分
C-CMTS设备采用模块化设计 (如上联模块、内置光机模块、射频放大模块等) , 支持灵活的功能配置以及关键模块的维修、升级。
C-CMTS设备的供电方式可采用60V或220V供电, 考虑到C-CMTS下一级仍较多使用双向放大器, 设备应提供向下馈电能力。基于C-CMTS系统每个射频端口的下连射频放大器级联一般不超过2级, 每端馈电的最大电流通过能力达到3A或6A即可, 同时, 每路主输出应支持单独跳线馈电、自恢复保险、防雷接闪器, 不采用单独供电输出口。
C-CMTS的每一路射频端口均应具备独立的上行、下行信号测试口, 设备内C-DOCSIS信号与DVB信号混合前, 均应具备独立的信号测试口, 所有测试口按-20d B衰减设计。
C-CMTS产品16个连续频道带宽为128MHz。光接收机在全频段范围内输出信号的预均衡量一般在12d B以内, 如果全频段 (862MHz或1GHz) 预均衡量为12d B, 则任意128MHz连续频段的预均衡量则不会超过2d B (128MHz连续频段放置在低端110~238MHz时均衡量最大) , 因此建议C-CMTS系统应规划为16个连续频道, 这样不必为每路射频通道设置C-CMTS信号均衡器。
整机产品应该具有一定的浪涌防护能力 (通常指标为:5k V、10/700μs) , 以适应雷雨季节的可靠使用。
C-CMTS产品基本上属于野外安装的类型, 宜使用全密封铸铝外壳以加强其散热能力, 并实现对雨、盐雾、酸雾等外部环境的防护 (内部接头需要密闭环境的防护) 。
为方便C-CMTS产品野外安装及维护, 单边RF射频信号口 (输出或输入) 按合计不超过2路设计。内置光接收机C-CMTS设备, RF射频信号输出最多4路, 外挂光站的C-CMTS设备, RF射频信号输出最多2路。
C-CMTS设备应采用光缆引入口能适配尾纤和尾缆设计, 并在内部配置小型的盘纤盒。
4.3 C-CMTS仍然存在的不足
任何一种技术解决方案都有自身的局限性和不足, C-CMTS也不例外, 特别是在没有经过大规模应用和部署的情况下, 还有很多方面需要调整改进。珠江数码在实施和应用过程中, 主要遇到的问题有:
(1) 产品的稳定性和实用性有待提高。作为一款新产品, C-CMTS在硬件设计、性能测试、稳定性等方面没有经过大规模应用的考验, 珠江数码从实验室测试, 到试点小区推广, 再到全网部署了900台, 在一年多的实施中, 不断向厂家提出改进建议和需求。例如射频端口间距过密、输出电平偏低、缺乏内置光接收模块、业务流处理能力偏低等问题, 以及增加测试端口、匹配多品牌CM等建议。目前这些均一一得到解决, 但随着大规模的推进, 发现新问题和解决难题的工作仍将会同步推进。
(2) 产品配套的运维管理手段有待完善。C-CMTS方案将原机房内CMTS设备下移到光机位置, 改变了原有的以CMTS设备为核心的集中维护方式, 在CMTS上的检测仪表和网管软件均需做同步调整。目前是对CMTS的管理模式移植到C-CMTS上来完善运维管理, 检测仪表采用了9581SST的监控管理模式下移至光站, 网管软件同步完善对终端CM的管理, 并实施了综合网管建设。
(3) 单台C-CMTS支持并并发流过低。C-CMTS的分布式下移的部署降低了前端机房压力, 大幅提高了单个接入点带宽, 16个下行频点可达800M。但在目前实际应用中, 仅支持300个终端上线, 对于双向业务未能全面发展的区域, 频点带宽利用率偏低, 造成一定程度上的投资浪费。
5 结束语
大带宽业务广受追捧 篇6
在多彩业务的映衬之下, 关于有线网络的元素似乎被冲淡不少, 然而目前业界的几大热点技术仍然在各设备商展台处处可见。包括100G、超100G高速传输技术, 下一代PON技术等仍然有较多的展示, 同时也不可否认, 随着宽带提速工程的进一步实施, PON等FTTx中广泛应用的设备已经得到大范围部署, 各厂商也不再过多展示相关方案。
从整个展会中所展示出的光通信的元素来看, 纯粹的技术元素在逐步变少, 而基于有线网络的多样化业务应用开始充斥着整个展会, 这也反映出运营商的大规模建网阶段已告一段落, 而新型业务模式、商业变现方式渐成为各大运营商关注的焦点。
10 0 G当仁不让成为各技术展台的一大亮点。
接入市场展示的焦点放在了下一代PON接入上。
高带宽传输网络搭建技术研究 篇7
搭建系统网络的关键在于建设可靠的互动前端平台, 这主要是因为互动前端平台的编码格式、传输模式和节目内容与双向网络建设的通道容量密不可分。笔者以我国广东珠江某数码集团建设的互动电视平台-Mediaroom为例进行了互动前端平台的详细建设过程。该集团根据自身的实际发展情况开发了一系列的集成业务, 并通过IP网络将这些集成业务以交互式数字电视服务的模式提供给用户。这些业务主要包含以下几种:第一, 回看;第二, 时移;第三, 点播。该集团将这些数据通过城域网传送至不同的分前端, 再按照各用户的不同需求通过本地的CMTS分发至各用户的机顶盒。至今, 该互动前端平台已为用户提供了如下服务:第一, 标清直播频道90套的直播;第二, 高清直播频道19套直播;第三, 72小时频道回看;第四, 45套的节目4小时时移。该平台的节目内容的基本参数如下:第一, 高清节目带宽为9M;第二, 编码格式为H.264;第三, 标清节目带宽为4M。而在该互动前端平台中, 直播节目则采用了全新的组播模式, 并采用先进的DOCISIS 3.0技术对区域进行全覆。该平台在全网采用了CMTS对全网节目进行分发, 并通过配置16个直播专用频点将广播分发至全网的所有用户。
2 用户行为分析
众所周知, 互动电视的出现给用户提供了诸如回看和点播等在内的丰富多彩的交互性便利功能, 从而改变了单向视频服务的传统传输模式, 这是传输网络发展质的飞跃。而这些交互性功能在双向数字网络的传输过程中均单独占用一定的网路资源, 这种用户的行为直接关系到网路的建设过程。笔者通过调查各不同层次的用户的户均占用带宽、开机并发率和用户开机率等关键性的基础数据, 得出了如下基本结论:第一, 大多数用户习惯在晚上八点至十点之间开机, 星期天晚上为收视高峰时段, 每周平均开机率接近60%, 单季度的开机峰值接近70%, 因此, 笔者建议选择70%的开机率作为设计模型的基本参数。第二, 开机并发率在一定程度上显示了在线用户的点播节目占用带宽的几率, 如单周峰值接近11%, 而在免费试看的推广时段内, 该数据一度攀升至30%, 因此, 笔者建议选择15%的开机并发率作为设计模型的基本参数。第三, 户均带宽在一定程度上显示了全网点播标清或高清节目的带宽平均值, 而当前我国高清内容视频点播的数量在逐年增加, 因此, 笔者建议选择户均带宽5M作为设计模型的基本参数。
3 基于DOCSIS技术的解决方案
众所周知, 同轴电缆仍然是当前我国有限网路电视的信号传输的主要承载体。而DOCSIS技术是当前发同轴网络资源的主流技术选择。当前, DOCSIS 3.0技术的主要创新点在于扩充了数据传输带宽, 并通过采用上下行多信道捆绑技术, 具备了与FTTH技术直接竞争的带宽优势。笔者认为, 对于已经部署的CMTS的网络, 可通过如下三种方式对网路进行优化。第一, 尽可能的使发射机所带光站的数量降低。已有经验表明, 前端设备的固定资产的折旧期为10年, 因而原有的CMTS的资产保值和设备性能均有较大价值。而可以通过减少单位频点覆盖的双向用户数来降低CMTS密度。主要的解决方案如下:首先, 将前端单台光发射机所带光机数量由1:1调整为1:1;其次, 降低原单位光机覆盖的用户数量, 将原光站分配网络进行分割改造, 这种方案的成本和周期均不甚理想。第二, 使互动双业务和宽带共享CMTS。为了保证业务的可持续发展, 该数码集团在早期网路建设过程中奖互动双业务和宽带分别部署在不同的CMTS上, 而伴随着用户数量和习惯的不断改变, 出现了CMTS上的互动双业务的下行带宽资源和宽带业务的上行带宽资源均不足的现象。因此, 为使频点资源利用率进一步提高, 并使单一终端进行发放的市场基本要求得到满足, 该数码集团对全网的CMTS进行了融合改造, 具体的改造流程如下:首先, 尽力外传CMTS的双向业务融合系统的配置;其次, 逐步改造前端射频分配网络;最后, 对单台CMTS进行割接。第三, 使原有光发射机分配CMTS频点得到增加。众所周知, 传统的广电网络结构中, 单个光发射最多可覆盖4个光站。虽然不同光站的覆盖用户数量有所不同, 但该数码集团的多数光站仍然按照400户进行了规划改造。在此网路环境内, 一个光发射机覆盖用户可提高至最少1600户, 而在互动业务基础上, 分配CMTS的下行频点可提高至2个, 最多可支持200Mbps的下行流量, 而在支持互动业务40户进行同时点播, 对满足互动业务的务400户报装, 因此, 使得互动报装率降至25%。而在区域内双向业务发展较好的小区, 报装率高至30%。在此背景下, 增加CMTS的下行频点资源是进行快速扩容的有效措施。利用目前现有机房CMTS机框, 快速更换高密度板块进行改造升级, 可使单一物理口对应频点升至32个, 鉴于频率资源有限, 一般能使用到12个下行频点, 可使得互动报装率提升至75%。
4 结论
综上所述, 当前我国政府正在大力推进三网融合, 在此背景下, 建设双向传输网络通道已成为我国宽带业务发展的基础。将市场规律和我国网路现状结合起来, 将DOCSIS技术覆盖至我国双向网路业务发展较薄弱的地区。而在我国双向网路业务发展较好的地区, 用光传输和C-DOCSIS技术来不断提升宽带质量。
参考文献
[1]钟远强.广东电网长距离高带宽光传输技术的研究与实现[J].中国高新技术企业, 2012 (21) .
[2]王照.企业无线网络搭建技术研究[J].信息系统工程, 2013 (02) .