内容分发系统（共7篇）
内容分发系统 篇1
随着互联网技术和多媒体技术的不断发展,流媒体技术的出现使得在互联网中传播多媒体信息成为可能。农业信息可以通过互联网更快更有效的传播到农民群众身边,成为农民群众的好帮手。农民可以通过电脑、电视、手机等进入农业信息门户网站点播农业技术相关视频、浏览最新农业信息进行学习。这些视频文件在网络中的有效传输的方案是基于CDN技术,使流缓存代理服务器,构建基于缓存复制的流内容分发网络。它能够有效的解决流媒体传输过程中的延迟、抖动、带宽、丢包率等问题。
1 流媒体技术
流媒体指在internet/intranet中使用流式传输技术的连续时基媒体,如:音频、视频或多媒体文件,它在播放前并不下载整个文件,只将开始部分内容存入内存,其他的数据流随时传送随时播放,只是在开始时有一些延迟,其关键技术就是流式传输。
2 CDN工作原理
CDN的英文全称是Content Delivery Network,即互联网内容发布网络。一种新型的网络构建方式,它采用分布式缓存/复制、负载均衡、流量调度和客户端重定向等技术,设立若干分支节点,尽量将用户请求的内容缓存到距离用户“最后一公里”的边缘节点上用户可以在“最近”的位置快速访问到所需的内容,大大提高了终端用户的访问速度和服务质量;从广义的角度,CDN代表了一种基于质量与秩序的网络服务模式。内容发布网是一个经策略性部署的整体系统,包括分布式存储、负载均衡、网络请求的重定向和内容管理4个要件,而内容管理和全局的网络流量管理(traffic management)是CDN的核心所在[1]。
3 农业信息化系统的设计及内容分发的研究
3.1 农业信息化平台架构
该门户网站主要是关注的是“农业、农村、农民”,其主要内容(见图1)都是与农民群众相关系、农民群众关心的。其中信息的提供主要以流媒体的方式提供,能够进行收看实时新闻、了解市场动态、进行视频教学等。农民可以通过点播视频学习到最新的养殖、种植等先进技术,这样可以新技术更快更直观更有效的在农民群众中普及,这样可以减少人力物力,又能更好的提高农民的知识水平。
3.2 农业信息服务系统的总体结构
该系统中用户的终端通过接入农业信息门户网站浏览信息,当查询到用户想要的多媒体信息时进行浏览、点播或下载,用户的请求经过综合业务管理子系统的认证和处理后交给流媒体内容分发服务子系统,内容分发服务子系统接受请求后将流媒体信息发往申请该信息的用户,三个子系统之间通过网络进行连接通信,而移动终端则需经过移动通讯网络通过专用设备接入到IP网络,其他用户终端则直接接入到IP网络中。该系统中运用了多种连接方式,农民可通过电脑、电视、手机全方位的获得农业信息,政府部门也可以通过农业信息门户网站将信息发布到网上,使得农民能够及时的了解最新资讯,这样即能增加政府与农民之间的互动,又能给互相带来极大的方便。
3.3 系统内容分发网的选择与内容分发的策略
3.3.1 内容分发
构建一个覆盖该地区的流媒体内容发布网,我们选择了一种基于CDN的移动流媒体内容分发网络MSM-CDN。它是一种覆盖在现有IP网络上的复合虚拟网络,它通过设置边缘服务器实现端到端的媒体传输以及网间的媒体业务。MSM-CDN能够提高了端到端的流媒体传输的性能,向大规模移动用户提供流媒体传输业务,是实现移动流媒体技术的基础,它具有资源利用率高及时间延迟小等优点[2]。
该系统中CDN子系统的设计目标是通过将媒体内容缓存于离用户较近的缓存代理服务器以提高客户端的访问质量,同时减轻流媒体对骨干网络上带宽的消耗(传输成本)。对于Internet网络中的流媒体内容发布,可以使用基于内容访问量的策略来进行流媒体内容的发布。内容访问量存在两种情况:绝对内容访问量和相对内容访问量。对于绝对内容访问量,即在某一定长的时间内,若某个内容的访问量大于门限值则将该内容分发到所有节点缓存服务器中,否则不予分发。对于相对内容访问量,若两个相同的时间段内,对某个流媒体内容的访问量存在一个增量△V,当△V大于门限值△M且大于0时,表明该内容在此时不仅受欢迎的程度有所提高而且受欢迎的程度提高的很快,此时,将内容对所有节点的缓存服务器进行分发[3]。
3.3.2 分发策略
农业信息要求信息报道的及时性,预测性,区域性。根据农业信息发布的特点给出流媒体内容分发策略:
首先由内容分发模块控制信息中心内容服务器向不同的地域分发与该地区相关的农业流媒体信息内容,地域级CDN节点获得的节目内容再下分到边缘缓存服务器中,所有这些信息的初始访问记录为0。这样,与该地区有关的流媒体内容例如农情动态、价格行情、供求关系等多媒体内容就被分配在各个不同地域的节点上了。在移动流媒体内容分发网络MSM-CDN中,根据内容访问量的大小,来考虑删除边缘服务器上缓存的流媒体内容以释放被流媒体内容占用的边缘缓存服务器的存储空间。
由于访问记录为0的流媒体内容可能存在两种情况:即刚刚分发下来的内容和已经分发了很长时间的内容。对于分发时间小于定长时间T且访问记录为0的内容,先不予删除。对于抽过一定长的时间T之后,访问记录始终为0的内容,直接将其删除。而访问记录不为0的内容,在经过了某个定长时间之后,我们采取下面的基于内容绝对访问量V的边缘缓存服务器容量保留策略来筛选服务器中的内容。
设在CDN一个网络中,有N个边缘缓存服务器,分别为edge cache1,edge cache2…edge cacheN,每个边缘缓存服务器上有N(i),i=1,…i=N个内容,且均不相同。
对于edge cache1上的内容C1,在时间间隔T内有V1个用户访问它(不计重复访问次数),内容C1的绝对访问量V=V1,这时C1的访问度VD=V=V1,设绝对访问量门限值为M(判断是否删除边缘缓存服务器中的内容),若内容C1访问度小于M值则说明该内容不被关注,我们就将该内容删除并分发新的内容,反之则保留该内容。对于其他边缘缓存服务器也采取同样措施。其中T、M的值要根据网络状态、该地上网总的用户数以及用户的访问频率来决定。
4 结束语
本文介绍了流媒体技术以及CDN技术,并建立了农业信息化平台及总体架构,将内容分发机制引入到移动流媒体、IPTV系统中,形成以CDN为可靠的内容核心,探讨了系统中内容分发的策略,有效提升CDN服务能力,使用户访问媒体的质量得到了极大的提高,能够通过更多途径、更快捷的获得农业方面相关信息。希望通过互联网中的各种技术使得我国农业技术能够更快的在农民群众中普及,提升农民群众的农业知识和水平。
摘要：为了保证广大农民能够获得最新最先进的农业信息与知识,该文给出了农业信息化系统的门户网站以及农业信息化系统总体结构的设计,该设计架构有着更好的灵活性、可扩展性并且支持多种网络终端设备。并阐述了该系统中的内容分发网的选择与内容分发的策略,有效的提高了访问媒体的质量。
关键词：流媒体,内容分发,农业信息化
参考文献
[1]廖利,陈莹.CDN技术在流媒体中的应用[J].福建电脑,2007(8).
[2]杨波.流媒体系统的关键技术研究[D].北京邮电大学,2006.
[3]王樟,柳健,杨瑞娟.CDN网络中的内容分发策略研究[J].中国数据通信,2004,6(2):13216.
[4]胡伟莉,黄华文.基于P2P流媒体的远程网络继续教育系统的研究[J].武汉理工大学学报:信息与管理工程版,2007.
内容分发系统 篇2
本文基于SVC码流结构和移动互联网特性,结合传统流媒体分发技术,提出了一种可用于解决复杂网络环境下异构终端间资源共享的流媒体分发策略,实现了基于SVC视频编码格式的P2P内容分发系统。该系统实现了视频流在P2P网络上的可靠分发,并能满足用户对视频分辨率和质量的不同需求。
1 H.264/SVC码流分析
H.264算法在概念上可分为两层:视频编码层VCL(Video Coding Layer),负责高效的视频内容表示;网络抽象层NAL(Network Abstraction Layer),负责对数据进行打包和传送。NAL单元将视频数据基于bit流传输转到基于包的传输,实现了较高的网络友好性。H.264/SVC作为H.264编码标准的可分级扩展,采用基于离散余弦变换的分层编码方法,支持时域、空域和质量域三个维度的可伸缩编码[2]。通过对H.264/AVC NAL单元的扩展,将各个层次的视频访问单元分别编码成一个NAL单元,组成SVC编码视频序列,如图1所示。
SVC码流主要包括参数配置NAL单元和压缩视频数据NAL单元。压缩视频数据NAL单元通常包括基本层NAL单元和若干扩展层NAL单元。基本层NAL包含最小分辨率的空间层和最差质量层的编码数据,码率最低,是接收端解码的基本数据;扩展层NAL单元包含不同空间和质量的增强层。所有扩展层在解码时依赖于基本层NAL单元和其他低层次的扩展NAL单元[3]。在编码时,通过设置参数,将各层连续固定数目的图像帧所对应的视频数据NAL单元组成SVC编码图像组Go P(Group of Pictures)。解码时,根据需求舍弃部分码流,读取基础层IDR帧之间的各层Go P单元,根据依赖关系独立解码得到相对于原始码流分辨率、帧率及质量域等缩减的视频图像。
2 基于SVC视频流的内容分发策略
传统流媒体P2P分发技术(如BASS[4]、Bi To S[5]等模型系统)对内容源均采用等大小分片的策略。将文件长度、分片数、分片长度等较少的信息输入torrent文件。P2P过程中,按照播放优先和最少优先相结合的下载策略,选择peer下载数据分片,实现内容的快速分发或用户视频P2P下载播放。
移动互联网作为异构网络,存在无线链路不稳定、带宽较低等缺陷。在终端方面,也存在处理能力较差,播放屏幕较小等问题。加之H.264/SVC内容源的码流结构特性,使得复杂网络环境下SVC流媒体分发策略和传统内容分发存在较大差异。
2.1 SVC视频文件分片做种策略
H.264/SVC视频编码将各层NAL作为基本访问单元,并以Go P为单位进行编码,具有较强的块连续性。结合SVC码流编解码和P2P分发特性,在内容源分片过程中,采取将视频源按同等数目的Go P单元分片的策略,按照所属层ID分别存储于各层数据文件中。该策略在保存视频流块连续性的同时提高了数据读取效率,降低了P2P数据传输过程中的数据冗余。由于内容源Go P单元数据长度不同,分片后每片数据长度大小不等,在做种过程及文件信息的基础上,需加入帧率、帧数、帧数/Go P、Go P/piece、分层数、各层文件名和长度、每个piece长度等必要信息。
2.2 内容分发节点选择策略
视频文件的分发是一个从中心到边缘的推送过程,包括中心服务器向边缘服务器、边缘服务器向多用户终端的快速P2P传输。传统互联网内容分发,由于具有网络稳定、带宽较大、终端处理能力强的特点,可以随机选取peer获取全部内容源到网络边缘或用户终端。针对复杂网络环境,H.264/SVC具有灵活的码流选择特性,可根据网络环境对视频码流进行部分下载。因此,在选择peer时,要考虑peer的处理能力、网络环境和peer所拥有的视频流层数等因素。另外,节点选择策略还引入了P4P技术方案,在内容分发过程中,引入域的概念,将视频源分发到各域的边缘服务器。客户端在下载视频时定时上报平均下载速率、CPU使用率、视频流层数及下载百分比等信息。tracker通过统计peer的域地址和其他上报信息,定时更新各域peer列表,向用户提供带宽大、处理能力强、视频流层数满足需求的peer地址,实现域内用户的快速下载。该节点选择策略针对能力较弱的终端,取消其数据上传功能,降低了终端的运行负载。针对能力较强的终端,充分利用其网络资源的上传功能,从提高其他终端的下载效率,较好地实现了复杂网络环境下不同终端的资源共享。
2.3 客户端码流选择策略
在复杂网络环境下,客户端根据网络环境和处理能力选择适合的码流,达到符合终端分辨率的视频流畅播放效果。与传统视频点播Vo D(Video on Demand)中视频数据流全部下载不同,在终端选择分片数据时,要考虑网络带宽环境和视频编码的分层数等因素。在保证视频流畅的基础上,尽可能下载高质量的视频图像数据,保证视频播放的最优效果。客户端通过设置一定时间的数据缓冲区,根据缓冲区中较低层数据的下载完成度,判断当前网络带宽。在保证缓冲区内较低层数据完整的前提下,结合带宽条件和邻居peer的位图信息,下载更高一级扩展层的分片数据。
3 移动流媒体内容分发系统实现
3.1 系统整体架构及模块功能
基于H.264/SVC的P2PCDN系统整体架构如图2所示。系统包括内容管理系统(CMS)模块,为管理员提供任务发布、删除、发布域等选择接口,展示任务发布进度;数据库(DB)模块,存储系统设备的域信息和下发任务的属性信息;资源控制(RC)模块,实现数据库中任务的下发并上报任务的完成状态;智能发布(IP)模块,下载内容源到本地并进行SVC编码、分片、做种;边缘服务器(ESP模块,通过P2P技术获取IP模块已分片的视频内容,提供用户下载;Tracker模块,收集并管理用户下载信息,为其他用户提供优选的peer。
3.2 关键模块实现
IP模块完成H.264/SVC视频流的编码、分层、做种功能。其具体实现步骤如下:(1)解析发布任务的FTP地址,从FTP地址下载视频源文件。(2)对源文件解码,生成原始视频序列。(3)通过设置帧率、编码帧数、Go P大小、可扩展层数以及基本层码率控制等参数,使用JSVM软件对原始视频进行H.264/SVC视频编码,按n×Go P间隔插入IDR帧数据。(4)对H.264/SVC视频编码数据分析,分离各层数据,按层ID存储数据文件,并记录最小视频独立解码单元(n×GOP+IDR帧)对应各层的位置信息。(5)根据各层分片位置信息,计算各分片大小,并进行数据Hash。对各层数据文件,按层ID进行排序。按照做种策略,将文件信息写入Torrent文件。(6)对Torren文件中info数据进行哈希(Hash),提取文件infohash值。移动文件至infohash对应路径,并上报任务完成状态信息。
ESP模块完成SVC编码文件的P2P分发和用户下载功能,具体实现步骤如下:(1)解析发布任务的infohash值和发布节点IP地址,建立TCP连接,请求Torrent文件。(2)解析Torrent文件,提取各层文件名,计算视频文件分层数;提取文件分片总数,计算各层分片数;提取各层分片偏移量,计算各层分片长度;提取分片对应的Hash值建立位图。(3)与邻居节点交换位图,根据位图信息进行选片下载及Hash校验。定时上报文件发布进度。(4)发布完成后,将视频文件存储至特定路径,并上报任务完成状态信息。该模块的下载功能使用UDP协议,采用网络环境驱动模式,客户端根据各自网络带宽环境、peer位图和播放进度向ESP或邻居peer请求分片数据。模块根据task ID映射infohash,定位文件,读取对应分层文件的piece数据,实现用户数据下载。
3.3 系统视频效果
系统对视频源进行发布过程中,通过IP模块参数设置生成两个空间层、两个质量层,共4层视频码流数据,各层对应码流由基础层到扩展层依次为15.30 KB/s、16.72 KB/s、12.71 KB/s、36.72 KB/s。在客户端使用限速软件,模拟网络带宽环境。当端口不做限速时,下载速率远大于各层码流总和,即81.45 KB/s。根据码流选择策略,获取全部码流数据进行播放,视频效果如图3所示。当端口限速在32.02 KB/s~44.73 KB/s之间时,基于视频流畅播放和播放效果最优策略,在当前网络允许的前提下,舍弃较高扩展层的码流,下载较低两层的视频数据进行播放,视频效果如图4所示。
本文在传统P2PCDN技术的基础上,融入H.264/SVC视频编码技术,结合移动互联网的特点,实现了复杂网络环境下的流媒体分发模型系统。系统采用非等大小分片传输和网络环境驱动选片策略,降低了P2P传输过程中的数据冗余,满足用户在不同网络环境下点播视频播放质量的同时,实现了固网与移动网络终端间的视频资源共享。
摘要：通过对H.264/SVC和互联网P2P技术的研究,提出了复杂网络环境下的H.264/SVC视频流分发策略,设计了基于H.264/SVC视频流的P2P内容分发系统。该系统结合了H.264/SVC码流可伸缩和P2P易扩展的优点,实现了复杂网络环境下自适应视频码流传输,解决了异构终端间视频资源共享问题。
关键词：伸缩视频编码,对等网络,内容分发策略,复杂网络
参考文献
[1]Joint Draft ITU-T Rec.H.264-ISO/IEC 14496-10/Amd.3.Scalable Video Coding[S].Standard,2007.
[2]黄晓涛.P2P流媒体内容分发服务质量保障的编码与传输技术研究[D].武汉:华中科技大学,2010.
[3]Wang Yekui,HANNUKSELA M M,PATEUX S,et al.System and tranport interface of SVC[C].IEEE Transactionson Circuits and Systems for Video Technology,IEEE Cir-cuits and Systems Society,Santa Clara Valley:2007,17(9):1149-1163.
[4]DANA C,LI D,HARRISON D,et al.BASS:BitTorrentassisted streaming system for video-on-demand[C].Proc ofIEEE International Conference on Multimedia Signal Pro-cessing.Shanghai:IEEE MMSP Press,2005:1-4.
内容分发系统 篇3
为了提高视频点播性能和解决骨干网拥堵问题,众多的视频网站采用CDN来改善其服务质量。CDN网络能够有效缓解流媒体对骨干网络带宽带来的压力,提升流媒体服务质量。但CDN系统存在服务器过载和资源瓶颈问题,而且边缘服务器的处理能力、内容存储容量、负载调度能力等都会因用户的增加而产生扩容的需求。因此,在内容分发网络环境下,为提高视频网站的服务性能,对流媒体服务特性进行深入研究变得十分必要。
目前对原创共享视频的研究工作主要集中在数据测量上,以及对这些数据进行分析。数据测量方法有两种,一是采用网络爬虫方式获得[1,2,3];另一种是从网络设备中被动测量获得视频的流量数据[4]。对于视频数据的分析主要集中在视频热度特征分析[1,5]、用户原创视频热度预测模型[7]以及视频之间的关联研究[2,6]。关于视频的热度分析,文献[1-2]中提出使用用户的点击数来表示,并且描述了点击数符合幂律分布。本文提出综合多个指标对热度进行分析,可以更好地预测热度在未来的变化趋势,通过实验得出热度指标随着视频上传时间的增加趋于稳定的变化趋势。该结论可以很好地为CDN网络的缓存策略提供决策依据。
1 数据集
YouTube是全球最大的用户原创视频分享网站,作为当前行业内最成功、实力最强、影响力颇广的在线视频服务提供商,YouTube的系统每天要处理上千万个视频片段,为全球成千上万的用户提供高水平的视频上传、分发、展示、浏览服务。网站的用户可以直接观看视频,也可以上传无限制数量的影片。目前YouTube提供10亿不同的视频,而且每天以65 000个的上传速度在增加。YouTube在2011年的最新统计发现平均每分钟上传的视频长度总和达48 h之多。
实验测试数据是通过YouTube提供的API,利用网络爬虫的技术采集视频文件的元数据。通过24 h的数据收集,共获取视频310 005个,持续时间为72 984 s,表1列出了视频文件的元数据示例。其中,上传时间为视频从上传到数据收集时的天数。投票得分为视频的平均得分,取值为1~5。相关视频列出了20个最相关的其他视频ID。
整个数据收集过程是基于广度搜索思想,将所有的YouTube视频看成是图中的节点,它们之间的相关关系看成是有向边(表中的相关视频),整个视频数据库就是一个图结构(见图1)。随机选择一个初始视频集合作为搜索的起始点,称为第1层数据,那么这些视频的相关视频就成为第2层搜索的数据集合;接着又以第2层数据为起点搜索它们的相关视频,依次类推。由于整个YouTube数据量十分巨大,在广度搜索的过程中获得的数据集合成递增趋势,由于时间和存储空间的限制,只搜索4层。由于搜索时初始的视频集合是随机的,因此通过广度搜索获得的数据集合也具有良好的随机性,能够很好地反映整个YouTube数据库的统计特征。
2 热度分析
本文用热度来说明视频受用户的关注程度,又称为热门程度。对用户来说,如果对一个视频感兴趣,他会通过点击观看视频,用户观看完视频后,可以对视频做出评论,也可以对视频进行打分(1~5),或者将该视频添加到“我最喜欢”列表中。一般而言,一个视频的点击数越多,说明关注该视频的人越多,继而说明该视频越热门,即热度越高,进而会有更多的用户会对该视频进行评价、打分。因此除了用户点击数这个最基本最重要的指标外,视频的评论数、投票数以及投票得分,都能够从不同的角度描述用户对该视频的关注程度。本文主要从视频的点击数、评论数、投票数以及投票得分4个指标来描述视频的热度。
2.1 视频热度指标的概率分布
图2为视频点击数、评论数、投票数、投票平均得分的互补累积概率分布(双对数坐标),其中x轴为热度指标,y轴为互补累积概率分布,即指标大于或等于x的视频个数占视频总数的比例。从图中可以看出视频的点击数、评论数、投票数都符合Zipf定律,即幂律分布,即在双对数坐标下,表现为一条斜率为幂指数负数的直线。也就是说只有少数视频的点击数、评论数、投票数很高,大部分视频的点击数、评论数、投票数都很小,整个网站的视频点击主要靠少数视频贡献。
通过分析发现,视频热度指标的分布存在很大的偏度,具有典型的无标度特征,存在明显的80—20现象,即少数视频文件会得到用户的强烈关注,而大多数视频却很少得到用户的关注。这一发现有助于CDN网络在内容缓存策略上的进一步优化设计。
2.2 各指标间的关系
研究视频热度各个指标之间的相互关系可以发现用户各种行为之间的内在联系。本节以散点图的形式画出了视频的点击数和视频的评论数、投票数以及投票得分之间的相互关系。图3表示各指标的关系图,为了表示指标之间的相关性,使用Pearson相关系数来度量两个指标的相关系数。
Pearson相关系数是用来度量x和y两个变量之间的相互关系(线性相关),取值范围在[-1,+1]之间。Pearson相关系数在科学研究中被广泛用于度量两个变量线性相关性的强弱。两个变量之间的Pearson相关系数定义为
当r取1时表示变量x和y之间具有线性变化的关系,即y随着x的增加而增加,而且所有的点都落在一条直线上。当r取-1时则是所有点落在一条直线上,但是变量y随着x的增加而减小。相关系数值为0时表示变量之间没有线性相关关系。
从图3可以看出,视频的点击数与评论数和投票数之间在双对数坐标下存在线性关系,而点击数和平均得分之间没有明显的线性关系。
2.3 视频热度随着时间的变化趋势
为了观察视频热度随时间的变化,从最近上传的一批视频中选择29 791个视频,对其跟踪采集。这批视频的上传时间都小于3.5天,每隔一周获取其新增的点击数,对同一批视频连续34周采集其点击数量上的变化。
图4显示其新增点击数的变化情况,图中为第2,6,12,24,32周新增视频点击数的累积概率分布(双对数坐标)。
为了进一步分析视频热度的变化情况,对每周平均新增点击数进行统计,得到其变化趋势图(图5),从图5可以看出,每周新增视频的点击数的平均值,在上传前几周的新增点击数较大,而且波动较大,随着上传时间的增加,新增点击数慢慢地减少,继而慢慢地趋于稳定。尽管只跟踪了34周视频点击数的变化情况,但根据经验,视频热度在后期的变化情况会慢慢消退。
图6以散点图的形式给出了新增视频点击数在相邻时间段(以周为单位进行计算)内的相互关系,从图中可以看出,在视频上传的前几周,新增点击数的分布是不稳定的,视频在前一周得到的点击数比较少,但在接下来可能会突然得到用户的关注,反之亦然。为了更准确地表示新增视频点击数在相邻时间段的变化,用Pearson相关系数来度量,第2周新增的视频点击数与第3周新增的视频点击数的相关系数为0.566,属于中度相关;随着视频上传时间的增加,相关性越来越强,第16周与第17周的相关系数为0.917 7,属于强相关,在第25周和第26周相关性已经达到了0.979 2,详见表2。因此,在考虑视频热度时,需要考虑视频的上传年龄,在上传初期视频的热度波动较大,随着视频年龄的增大,热度越来越趋于稳定。由此,CDN网络在边缘服务器上缓存视频时,应该充分考虑视频的年龄,尽可能优先缓存视频年龄大且热度高的视频。
3 结束语
近几年来,由用户自己发布视频内容的在线视频分享网站变得越来越流行,由此产生的流量也对互联网带宽管理产生了巨大的压力。不管是共享视频服务提供商,还是互联网运营商都需要关心这一新型业务的特征,以便优化目前的系统和网络配置,为用户提供更好的服务质量。CDN网络是目前解决这一困局的有效方法,但有效的缓存策略仍然是CDN中的一个开放性问题。视频热度是共享视频服务的一个重要特征,可以为CDN缓存策略提供有效的依据。因此本文利用YouTube上的视频元数据讨论了视频热度的度量指标、各个指标的相互关系以及热度随着视频年龄的变化趋势,可以为CDN网络的缓存策略提供非常有用的决策信息。
摘要：视频的热度是指用户对视频的关注程度。主要对大规模内容分发网络环境下的在线共享网站原创视频的热度进行分析。提出了综合视频点击数、评论数、评分等多元指标对视频热度进行统计刻画,分析各个指标的分布模型以及指标之间的相互关系,并对视频热度随时间的变化趋势进行了详细分析。通过对实际的爬虫数据统计分析,发现热度指标的分布具有典型的无标度特征,随着视频上传时间的增长,热度越来越趋于稳定。上述发现对于视频内容提供商和互联网运营商在服务器部署、内容缓存、容量规划和流量优化等方面具有重要的意义。
关键词：用户原创视频,热度,Pearson相关系数
参考文献
[1]CHA M,KWAK H,RODRIGUEZ P,et al.I tube,you tube,every body tubes:analyzing the world’s largest user generated content vid eo system[C]//Proc.7th ACM SIGCOMM Conference on Internetmeasurement.New York:[s.n.],2007:1-14.
[2]CHENG X,DALE C,LIU J.Statistics and social network of youtubevideos[C]//Proc.16th International Workshop on Quality of Service.[S.l.]:IEEE Press,2008:229-238.
[3]HALVEY M,KEANE M.Analysis of online video search and sharing[C]//Proc.ACM Hypertext and Hypermedia Conference.Manches ter,New York:[s.n.],2007:217–226..
[4]ZINK M,SUH K,KUROSE J.Watch global,cache local:YouTubenetwork traffic at a campus network-measurements and implica tions[EB/OL].[2012-02-03].http://gaia.cs.umass.edu/networks/papers/MMCN08-0.2.pdf.
[5]MITRA S,AGRAWAL M,YADAV A,et al.Characterizing web-based video sharing workloads[J].ACM Trans.Web,2011,5(2):1-8.
内容分发系统 篇4
关键词：内容分发网络,随机Petri网,节能策略,能效分析
0 引 言
随着多媒体技术的不断发展和宽带网络、宽带流媒体应用的兴起,视频、音频、图像服务所占的比重越来越大,迫切需要一种新的传输结构解决这一问题。CDN(Content Distribution Network),即内容分发网络就是由此应运而生,其目的是通过在现有的Internet中增加一层新的网络架构,将网站的内容发布到最接近用户的网络“边缘”,使用户可以就近取得所需的内容,解决Internet网络拥挤的状况,提高用户访问网站的响应速度,从技术上全面解决由于网络带宽小、用户访问量大、网点分布不均等原因所造成的用户访问网站响应速度慢的问题。但也正是CDN的应用增加了网络结构的复杂性,需要应用更多的网络设备,需要更多的数据服务中心,它将比现存的网络有更多的能耗。并且随着内容分发网络应用的大规模普及,对能源的消耗和依赖也变得越来越大,能效问题将成为内容分发网络应用能够可持续发展的瓶颈。因此,对内容分发网络进行能效研究已成为急需解决的问题。
节能减排越来越受到国家和政府的认识,国家明确提出了坚持把建设资源节约型、环境友好型社会作为加快转变经济发展方式的重要点,做好节能减排已经成为重大战略任务。如果对网络系统进行能效分析优化,网络系统的能耗将会下降,相同的能耗下可部署更多的网络设施,从而提高整个网络系统的可扩展性,所以能效分析对社会和网络的可持续发展将产生深远的影响。因此,构建绿色网络[1],节省网络能耗成为计算机领域一个意义重大、迫切需要解决的问题。内容分发网络作为未来技术的主流趋势,对它的能效方面进行研究显得尤为重要。
通过分析能耗与CDN系统参数和负载的关系得出影响能耗的关键因素,找到能耗与性能的最优权衡,有助于以下3方面工作的进行:(1)为内容分发网络的设计提供参考,找出影响能耗的瓶颈重点并对其改善,对于构建绿色内容分发网络具有重要作用;(2)为内容分发网络的能效评价提供方法,评价工作的首要任务是评价能耗,通过内容分发网络系统的能耗模型得到能效指标,从而进行合理分析和有效评估;(3)为内容分发网络的能效优化问题提供依据,通过形式化描述,把网络能效优化转化成一些经典的优化问题,从而找到能耗与性能之间的最优权衡。
1 网络能效分析相关研究工作
网络系统通过使用处理器、内存等资源来提供服务。能量作为一种系统资源,与其他系统资源有着密切关系,它是其他系统资源正常工作的基础。文献[2]将能耗管理问题看成是对资源的分配,打破了传统意义上能耗只有开和关的两种状态,而是将能耗状态看成多种状态。用不同状态的能耗应对不同的服务要求,高能耗状态时服务能力强,低能耗状态时服务能力弱。整个网络系统通过低能耗状态来实现节能,而系统的性能要求则由不同能耗状态之间的转换来实现,由此来实现基本不损失系统性能的前提下实现节能。
文献[3]提出睡眠-唤醒机制,并针对进入睡眠和唤醒的条件提出“timer-driven”和“wake- on-arrival”策略。“timer-driven”策略是指系统进入睡眠状态,当系统睡眠时间到达某一阈值时系统被唤醒;“wake-on-arrival”策略是指使设备的特定接口处于工作状态,当该接口检测到有包到达时唤醒设备,正常工作,但是目前设备并不都支持该策略。而根据文献[4]提出动态速率调节机制,该文研究发现链路速率越大,它的能耗也越大;而处于空闲和100%链路利用率的情况下功耗几乎是相等的。所以,当系统链路处于低利用率时,降低链路速率能够有效地降低能耗。
目前针对网络能效研究一般可采用测量方法和模型方法进行分析[1]。测量方法只适用于已经存在并运行的系统,比较耗费时间,并且目前要在运行的内容分发网络上进行测量还是有一定难度的。而模型方法是通过数学工具建立适当的模型对系统进行抽象,描述能耗与性能、负载之间的关系。而内容分发网络是一个复杂的系统[5],本身组件数量多,结构关系复杂,其行为也错综复杂,因此想要利用排队论和马尔可夫模型描述内容分发网络是一件较难的事情。而随机Petri网(SPN)[6]作为网络系统描述和建模的重要数学工具,具有很强的描述能力,能够较好地刻画复杂的系统行为,能很好的满足内容分发网络模型的描述要求。并且随机Petri网以研究模型系统的组织结构和动态行为目标,着眼于系统可能发生的各种状态变化及变化之间的关系,同时随机Petri网具有动态的图形工具。所以利用随机Petri网对内容分发网络进行能效分析,能使我们更加准确地得出能效性能指标,更加准确地分析内容分发网络的能效问题。文献[2]针对能效问题,以无线传感器网络的睡眠调度机制的研究为例,具体说明随机Petri网在能效研究中的应用。
在具体网络能效分析的研究中,文献[5]针对内容分发网络提出了一种P2P与CDN相结合的一种结构,并对它的效率、经济性进行了分析,但文章主要是对性能的高效性进行分析,并未对能效进行具体研究。文献[7]对自动请求重传(ARQ)技术和前向纠错(FEC)技术的能效进行了分析,提出在无线传感器网络中使用Chase合并混合自动请求重传(HARQ)方案实现自适应差错控制,以满足无线传感器网络的不同链路对差错控制方案的差异性要求。文献[8]基于能效分析了具有不同纠错能力的缩短BCH码在典型的无线传感器网络模型中的优劣。文献[9]为了研究水下传感器网络多址接入(MAC)协议的能量损耗,在集中式拓扑结构下,对ALOHA和MACAW两种协议的能量效率进行了理论分析,并通过Matlab进行了仿真。本文根据以上对网络能效方面的研究,提出一种睡眠-唤醒机制和动态速率调节机制相结合的内容分发网络节能策略,并使用随机Petri网进行能耗分析。
2 内容分发网络节能策略
2.1 CDN系统结构
CDN系统的基本思想[10]是:依靠放置在各地的缓存或媒体服务器通过系统中心平台的智能负载均衡、内容分发调度等功能模块将用户最感兴趣的那部分媒体内容部署到最贴近用户的地方,使得原本无序、低效、不可靠的宽带网络转变成高效、可靠的智能网络,从而满足用户对媒体访问质量的更高要求。本文根据CDN系统运行时的对内容的路由、分发、管理机制,作出CDN系统的运行流程图,如图1所示。
本文将用到的内容路由技术[5]是内容分发网络中最常用的路由技术:将用户按地理位置分区,每一个区或者是一个ISP,或几个ISP的管辖范围。所有用户请求会首先重定向本地代理服务器上,由本地代理服务提供服务。而当本地代理上没有该内容时,则重定向到最近的有该内容的源服务器上。内容分发包含从内容源到 CDN 边缘的 Cache的过程。内容分发目前的主流技术是 PUSH 和 PULL[10]。PUSH 是一种主动分发的技术。通过 PUSH 分发的内容一般是比较热点的内容,这些内容通过 PUSH 方式预分发(Preload)到边缘 Cache,实现有针对的内容提供。PULL 是一种被动的分发技术,PULL 分发由用户请求驱动。当用户请求的内容在本地的边缘 Cache 上不存在(未命中)时,Cache 启动 PULL 方法从内容源实时按需获取内容。内容管理的主要目标是提高内容服务的效率,通过管理服务器的信息统计,并将统计信息传送至源服务器,使得在 CDN 节点实现基于内容感知的调度,通过内容管理可以有效地实现在 CDN 节点内容的存储共享,提高存储空间的利用率。
2.2 CDN节能策略设计
CDN增加了现存网络结构的复杂性,需要应用更多的网络设备,需要更多的数据服务中心,它将比现存的网络有更多的能耗。而CDN运行中内容由源服务器分发到Cache中,源服务器、链路的负载很大,这一过程的能耗将相当大;管理服务器的定时发送管理信息,空闲时间使得能耗白白浪费,这些都对能耗问题提出了挑战,但同时也为节能提供了机会。根据CDN系统本身的运行机制,本文将在系统中加入睡眠-唤醒机制和动态速率调节机制,以使系统达到节能。
在CDN系统运行中,系统的不同层次会有不同时间尺度的空余时间。管理服务器就是典型的例子,CDN系统中客户的用户计费和信息采集是定时上报的,如果能利用空闲时间,将管理服务器置于睡眠或关闭状态,这明显将减少空闲时的能量浪费。针对CDN系统中的管理服务器应用睡眠-唤醒机制,面对的主要问题在于进入睡眠和唤醒的条件,而由于管理服务器是定期上报信息,因此使得“timer-driven”策略成为它的节能策略。该策略是指当系统处于空闲状态的时间超过某一阈值时,系统进入睡眠或关闭状态,当系统休眠到达接近发送时间时系统被唤醒。
CDN系统运行过程中,内容路由、分发内容过程中链路的负载情况时刻在变化。如果我们能根据CDN系统中链路的负载情况,在不明显影响系统性能的情况下动态调节链路速率,便可以使得CDN系统能够在低速率链路情况下节省能耗。通过调节链路速率以使适应不同的链路利用率,从而使链路速率与链路负载成比例。本文对CDN系统中源服务器向Cache中分发内容时使用该机制,利用到的是单阈值的自适应链接速率机制,根据输出缓冲的队列长度Q进行速率的变化。在以k为阈值的单阈值机制中,服务速率可表示为下式:
3 CDN节能策略的随机Petri模型及分析
根据对CDN系统核心机制的分析,CDN系统的运行方式如图1所示。由此可推出基于随机Petri网的CDN系统能耗分析模型如图2所示。
•P1:用户需要某项内容,Cache接收用户请求产生能耗的状态;
•P2:Cache检查内容是否命中时产生能耗的状态;
•P3:发送用户所需内容时产生能耗的状态;
•P4:源服务器分发内容到Cache中产生能耗的状态;
•P5:管理服务器发送统计信息时产生能耗的状态;
•P6:Cache将请求信息发送至管理服务器时产生能耗的状态;
•P7:用户请求由Cache转发至源服务器时产生能耗的状态;
•T1:根据Cache中所含内容检查能否满足用户需求,同时将请求送至管理服务器中;
•T2:所需内容命中,Cache直接发送用户所需内容;
•T3:用户产生新的内容需求;
•T4:源服务器分发流行度较高的内容到Cache中;
•T5:管理服务器将统计信息传送给源服务器;
•T6:源服务器发送用户所需内容给用户;
•T7:所需内容未命中,将用户请求发送至源服务器。
图2是利用随机Petri网描述CDN系统能耗状态的模型图,观察该图可以得知,模型中包含顺序、并发、选择结构。根据CDN系统的运行机制与节能策略的结合,改变CDN系统中子系统的运行机制,对改变了的能耗状态做出具体分析。本文将根据能耗分析的需要和时间性能等价化简分析。
3.1 睡眠-唤醒机制
将睡眠-唤醒机制加入到管理服务器向源服务器发送统计信息的过程中去。使得管理服务器由原来的工作状态和空闲状态转变成工作、睡眠、空闲三种状态。利用随机Petri网对这一过程加入节能策略前后的能耗状况建立随机Petri网模型,加入睡眠-唤醒机制后的能耗SPN模型如图3所示。
•Pwork:管理服务器工作时,统计子系统处于工作能耗状态;
•Pidle:管理服务器空闲时,统计子系统处于空闲能耗状态;
•Psleep:管理服务器进入睡眠状态,统计子系统处于睡眠能耗状态;
•Twork:管理服务器在发送统计信息;
•Tsw1:关闭管理服务器;
•Tsw2:开启管理服务器。
得到变化后的统计子系统的能耗SPN模型后,根据对SPN模型的分析方法[11],求出可达状态集如表1所示,同构马尔可夫链如图4所示。
求出状态转移速率矩阵R和线性矩阵方程式,从而可以得出各状态稳定概率为:
在稳定状态在,每个位置中所包含的标记数量的概率,我们用P[M(pi)=i]表示,它表示位置s中包含i个标记的概率,可从标识的稳定概率求得,如下所示:
P[M(pi)=i]=∑jP[Mj] TK{pi}=∑jj×P[M(pi)=j] (6)
Pt=∑Pti×TK{pi} (7)
根据文献[10]对节能机制和策略的研究,这里我们S表示的是不同状态M0、M1、M2组成的状态合集,Pr(Si)我们已经通过式(2)至式(4)计算求得,设备系统处于某种状态的平均功耗Pi可以直接测量出来,由于这里我们的状态都是单个之间的转换,转移概率Pr(Sj,Si)都为1。所以这样由上面公式可以分析出子系统的平均能耗,设备的功耗以及设备状态的转移功耗同时决定着该子系统的平均功耗,因此得到加入睡眠-唤醒机制后的子系统的平均功耗如下式所示:
利用上述分析,我们用工具SPNP对加入睡眠-唤醒机制统计子系统与原系统的平均能耗进行对比分析。分析如图5所示,由CDN系统运行的时间的变化来对是否加入睡眠-唤醒机制的两个CDN系统的平均能耗进行对比。开始阶段由于源服务器都处于工作状态,所以平均能耗差别不大,而随着系统运行时间的增加,加入睡眠-唤醒机制的CDN系统会在空闲时进入睡眠状态,使得系统能耗大量减小,两个系统之间的能耗差别越来越大。因此,CDN系统加入睡眠-唤醒机制后平均能耗明显降低。
3.2 动态速率调节机制
由于CDN系统中源服务器向Cache中分发内容时,链路负载变化较大,所以我们将动态速率调节机制使用到该过程中去,使链路速率与链路负载成比例。本文具体使用到的是单阈值的自适应链接速率机制,根据输出缓冲的队列长度Q进行速率上的变化,具体描述CDN系统内容分发过程的能耗SPN模型如图6所示。
•Pa:源服务器空闲时,内容分发子系统处于空闲能耗状态;
•Pb:判断出输出队列的缓冲队列长度Q小于等于阈值,链路速率处于较低速率,内容分发子系统处于较低的能耗状态;
•Pc:判断出输出队列的缓冲队列长度Q大于阈值,链路速率处于较高速率,内容分发子系统处于较高的能耗状态;
•Pd:通过较高的链路速率发送一段时间后,缓冲队列长度Q小于等于阈值,链路速率再次回到较低速率,内容分发子系统回到较低的能耗状态;
•Ta:检查缓冲队列长度Q,判断出应选择的链路速率;
•Tb:源服务器使用较低的链路速率发送分发内容;
•Tc:源服务器使用较高的链路速率发送分发内容。
得到内容分发子系统的能耗SPN模型后,可达状态集如表2所示,同构马尔可夫链如图7所示。
求出状态转移速率矩阵R和线性矩阵方程式,从而可得出各状态稳定概率为:
P(Ma)=λbλc/(2λbλc+λaλb+λaλc) (9)
P(Mb)=λbλc/(2λbλc+λaλb+λaλc) (10)
P(Mc)=λaλb/(2λbλc+λaλb+λaλc) (11)
P(Md)=λaλc/(2λbλc+λaλb+λaλc) (12)
然后计算以状态Si为目的状态转移所产生的转移功耗Pji和转移概率Pr(Sj,Si),具体在这个SPN模型中的系统状态转移如下图8所示。由图8左边部分以及上述分析可得Pr(Sa,Sb)=а,Pr(Sa,Sc)=1-а。右边部分λa、λg表示状态之间的转移速率,λa为已知量,而λg要利用到顺序结构化简[12],从而得出:
那么,从状态Sb到Sa和状态Sc到Sa的转移概率分别为:
通过上述分析,我们得到各状态的转移概率和各状态的稳定概率,我们便可得到系统平均功耗的计算公式如下:
同理我们通过位置pi在稳定状态下,平均所含的标记数TK{pi},利用工具SPNP对加入动态速率调节机制的内容分发子系统与原系统的平均能耗进行对比分析。分析结果如图9所示。
由CDN系统链路负载的变化来对是否加入动态链路速率机制的两个CDN系统的平均能耗进行对比。链路负载较低时,加入动态链路速率机制的CDN系统会进入低能耗状态,使得系统能耗大量减小,两个系统之间的能耗差别较大;但随着链路负载的增大,两者之间的能耗差别会减小,但整体来说,两个CDN系统的平均能耗会产生一定的差别。由图9可见,CDN系统加入动态速率调节机制后平均能耗相对较小。
4 结 语
本文分析讨论了内容分发网络中的运行机制和节能策略,将节能问题归结为资源管理问题。并利用随机Petri网在系统分析的基础上,对系统的能耗问题进行抽象和形式化描述,建立了SPN模型与并加以化简。通过对比加入节能机制模型与原模型的能耗,得出加入节能机制后CDN系统能耗大幅减小。实现在加入睡眠-唤醒机制和动态速率调节机制后,使CDN系统的能耗得到下降,从而达到节能效果。下一步作者还有许多具体研究工作需要完成,例如验证运行机制的改变是否对CDN系统性能产生影响、扩大能耗对比的参数范围、结合使用新的节能机制等等。
参考文献
[1]林闯,田源,姚敏.绿色网络和绿色评价:节能机制、模型和评价[J].计算机学报,2011,(4):593-612.
[2]Liu Bin,Lin Chuang,Jiang Xin,et al.Performance analysis of sleepscheduling schemes in sensor networks using stochastic Petri net[C]//Proceedings of the International Conferenceon Communication.Bei-jing,China,2008:4278-4283.
[3]Nedevschi S,Popa L,Iannaccone G,et al.Reducing network energyconsumption via sleeping and rate-adaptation[C]//Proceedings of the5th USENIX Symposium on Network Systems Design and Implemention(NSDI’08).San Francisco,CA,2008:323-336.
[4]Gunaratne C,Christensen K,Nordman B.Managing energy consumptioncosts in desktop PCs and LAN switches with proxying,split TCP con-nections,and scaling of link speed[J].International Journal of NetworkManagement,2005,15(5):297-310.
[5]Dilley J,Maggs B,Parikh J,et al,Globally Distributed Content Delivery[J]IEEE Internet Computing,2002,6(5):50-58.
[6]Lin Chuang.Stochastic Petri net and system performance analysis[M].Beijing:Tsinghua University Press,2005.
[7]Tian Zhen,Yuan Dong-feng,Liang Quan-quan.Comparison of errorcontrol schemes in wireless sensor networks[J].Journal on Comm-uni-cations,2008(11):77-83.
[8]Li Han,Zhang Shu-sheng,XI Dong-xing.Energy Efficiency based Anal-ysis of Shorten BCH Coding in Wireless Sensor Networks[J].MICRO-PROCESSORS,2010(4):32-35.
[9]罗娜,陈名松,王方,等.水声传感器网络MAC协议的能效分析与仿真[J].传感器与微系统,2011(30):10-15.
[10]Liu Yu,Zhu Guang-xi,YIN Hao,et al.Content Delivery DistributionNetworks:Overview[J].Computer Science,2009(2):11-14.
[11]MoIIoy M K.Performance analysis using stochastic petrinets[J].IEEETrans on Computer,1982,31(9):913-917.
内容分发系统 篇5
CDN指内容分发网络,它是搭建在现有网络基础上的一层虚拟网络。CDN以一种全新的策略将用户的互联网访问请求发送到距离最近且效果最佳的服务节点,为该用户提供服务,这样可以提高用户访问网络的速度和效果;另一方面,CDN的内容调度策略有利于更好地分发互联网内容,可以更有效地对内容进行管理。
CDN的核心思想是为了保证内容在网络传输过程中,尽可能加快数据传输速度和增强网络稳定性互联,提高资源在网络上传输性能。CDN通过智能识别判断距离最近P2P节点和服务器负载均衡的相关技术,保证了向用户的请求提供高效的应答。
P2P网络是基于共享的对等网络,P2P节点(即Peer)是网络的参与者。P2P节点同时是客户端和服务器,所有节点在网络中都是平等的,P2P节点间通过特定的方式相连接。当一个P2P节点请求内容时,这个节点就以特定的查找方式来查找具有所请求内容的节点,并将所需要的文件内容从这个P2P节点中下载下来。影响着P2P的网络性能主要有节点组织形式和内容查找技术。
P2P技术的特点:负载均衡、非中心化、高伸缩性等。P2P网络中资源共享的方式不仅耗费大量的网络带宽,而且还导致资源的版权和用户的个人隐私极易受到侵犯。另外,在P2P技术中,网络结构日趋扁平化以及中心服务器地位日渐被弱化,致使对网络控制与监管变得更难,导致侵犯知识产权和侵犯隐私的问题更加严重。
1.1 CDN内容分发策略
在CDN系统中,内容从中心服务器被分发到用户分为两个步骤。(1)首先将内容从中心服务器发送到边缘服务器。(2)把将要分发的内容从边缘服务器发送到P2P节点。
1.1.1 中心服务器到边缘服务器分发策略
中心服务器通过与之相关的内容分发策略将用户请求的相关内容分发到各个边缘服务器。内容分发可以由中心服务器主动发起,或者是由边缘服务器主动发起,又或者是中心服务器和边缘服务器都能主动发起。中心服务器到边缘服务器内容分发策略分为拉取分发方式、主动推送分发方式、推拉结合分发方式这3大类。其中,拉取分发方式是指边缘服务器主动发起内容分发,主动推送分发方式是指中心服务器主动发起内容分发,推拉结合分发方式是指中心服务器和边缘服务器同时发起内容分发。
(1)拉取分发策略
拉取分发方式是从中心服务器到边缘服务器的内容分发,由边缘服务器自身主动发起,将分发的内容缓存到边缘服务器中。其中,拉取分发的内容替换是由缓存替换算法决定的。在缓存替换算法中,最先替换CUV(CUV指为每个内容对象分配的值)最小的对象。拉取式分发方式在边缘服务器中应用比较普遍。
(2)主动推送分发策略
主动推送分发方式由中心服务器主动发起,从中心服务器到边缘服务器的内容分发。即中心服务器将内容“主动推送”到边缘服务器。对特定内容来说,从中心服务器主动推送内容到边缘服务器,然后将这些内容存储,推送的相关内容称为中心服务器内容的副本。
主动推送分发策略要解决的问题是既能满足用户的服务质量又能保证主动推送成本最小,该问题是个NP完全问题,也就是说当边缘服务器和内容对象的数量很大时,这个问题是不能被解决的。这个问题的关键所在就是在主动推送成本和用户的Qos之间找到一个平衡点。其中,主动推送成本包括带宽成本、存储成本等,用户Qos包括丢包率、延迟等方面。
动态内容副本部署技术重点在于提出了主动推送的决策条件。主动推送内容根据用户的请求来主动推送。当在用户发出请求,并不是直接将内容主动推送到与用户相对应的边缘服务器,而是先查看服务器是否满载或其他边缘服务器有没有请求的内容。
(3)推拉结合分发
CDN的主动推送分发方式最大的局限性是CDN无法对内容副本进行高效的管理。内容副本使得CDN的边缘服务器的空间存储了很多不必要的内容,导致该服务器的存储空间得不到充分利用,无法满足系统的需求。通过整合主动推送和拉取这两种方式解决这些问题。
1.1.2 边缘服务器到P2P节点的分发策略
从边缘服务器到P2P节点之间的内容分发策略分为两种方式,分别为直接分发和间接分发。
(1)直接分发
在P2P节点发出请求之后,P2P节点的请求被分发到最近的边缘服务器。当接收到该请求的边缘服务器中存在所请求的内容,所请求的内容直接从边缘服务器发送到P2P节点,这种分发方式称为直接分发方式。
(2)间接分发
在P2P节点发出请求之后,P2P节点的相关请求会被分发到最近的边缘服务器,当这个边缘服务器中不存在P2P节点所请求的内容,那么这个边缘服务器负责从其他边缘服务器或中心服务器中去查找P2P节点所请求的内容是间接分发。其中,从其他边缘服务器查找到相应内容是间接协作分发。从中心服务器查找内容是间接非协作分发。
当查找到P2P节点所请求的内容后,本地服务器可以从拥有该内容的边缘服务器中拉取出所请求的内容,并把这些内容缓存到本地服务器,然后再把这些内容发送给发出请求的P2P节点,这种分发方式为间接协作分发方式。当一个本地服务器不能满足用户请求时,该服务器将该请求转发给其他边缘服务器,去查找相应的内容。这种分发方式为间接协作分发方式。另外,还可以将请求重查找到有内容的边缘服务器,这种分发方式是重定向式协作间接发送方式。
当本地服务器无法满足用户的相关请求时,这个本地服务器就不会再向其他边缘服务器查找内容,而是到中心服务器查找相关内容,然后将查找到的内容缓存到本地服务器,这种分发方式称为间接非协作分发。
1.2 P2P内容分发
P2P内容分发策略的目标是建立一种内容分发网络,即从中心节点到目的节点对内容进行分发,需要保证传输质量和传输时延的需求。根据网络拓扑结构的不同,常见的结构可以分为网状结构和树状结构这两大类。从数据来源数的角度,可以将内容分发网络分为单路径内容分发网络和多路径内容分发网络两大类,这两大类能够细分为4个小类:单源单路径内容分发网络、单源多路径内容分发网络、多源单路径内容分发网络和多源多路径内容分发网络。
1.2.1 基于单组播树的内容分发
基于单组播树的内容分发的核心思想是将根节点为中心服务节点,将所有的P2P节点组成一棵树,树中节点共享同一个内容对象。其中,每个P2P节点只能加入到一棵树中,叶子节点之外的节点从父节点获得的内容数据能够为子节点提供相关数据的下载服务。基于单组播树的内容分发的网络结构能够令中间节点在脱离组播树时,影响了所有组播树的子树中的节点,其动态适应性不佳,子树中的所有节点需要一定的方式重新加入组播树,可以采取很多改进措施来优化缓解这种现象,比如说多播树、父节点候选机制、补丁流的机制等措施。通常情况下,性能不佳的节点位于叶子节点,除了叶子节点之外的节点为多个子节点提供数据服务。在组播树构建的过程中,主要影响传播时延的因素是树的高度。单播树的内容分发算法研究需要解决的主要问题是去构建一个传输时延小、容量大、动态适应性好的组播树网络。
1.2.2 基于多组播树的内容分发
为了减少单播树中的单节点失效的现象,出现了基于多组播树的内容分发策略。根据带宽情况,任何P2P节点在接收内容时都需要加入一棵或多棵单组播树内容分发网络。当P2P节点收到的数据流越多,该内容分发网络的传输质量就会越好。在内容传播的过程中,当P2P节点所在的某棵组播子树失效的时候,该树上的数据流传播就会受到影响,内容在传播过程中的传播质量也会下降,但不会影响内容在传播过程中的连续传输。
1.2.3 基于随机拓扑的内容分发
基于随机拓扑的内容分发是一个网状结构的逻辑拓扑结构,使用基于Gossip的协议来维护随机拓扑结构。系统中的P2P节点根据相关的内容分发策略随机选择相应数量的节点作为它的邻居节点,这些P2P节点都不能是父子关系。P2P节点加入特定数据流时,从系统中通过某种机制将一些随机节点作为邻居节点,这些邻居节点都具有同样的数据流和同样的数据内容。P2P节点可以从多个邻居节点上协同调度下载所需的数据,并且定时与邻居节点相互通报各自所拥有的数据。
1.3 P2P与CDN融合概述
CDN技术的可管理性和可靠性,解决了P2P技术动态性带来的问题。同时,P2P技术的低成本和高可扩展性,弥补了传统CDN的不足之处,也提高了系统可扩展性。由于CDN与P2P在技术上具有很强的互补性,因此将CDN与P2P相结合的内容分发机制,成为了新一代内容分发机制研究的方向。
CDN和P2P融合式系统成为内容分发平台体系的总体发展方向,从两者结合的角度来看,常见有两种方式:
(1)P2P协助的CDN模式(Peer-to-Peer CDN)。
(2)CDN辅助的P2P模式(CDN-assited P2P)。
1.3.1 P2P协助的CDN模式
在现存的CDN分发网络的基础上,以P2P的方式把CDN设备和CDN边缘服务器组织在一起,通过P2P的目录功能和特有的多点传输技术,在CDN设备和CDN边缘服务器中实现的内容交换,增强CDN的内容分发能力,实现CDN边缘服务器间的内容交换。P2P协助的CDN模式的系统结构如图1所示。
1.3.2 CDN辅助的P2P模式
在现存的P2P网络基础上,融合进CDN的管理机制和服务能力,建成以CDN为内容分发的核心,以P2P为服务边缘的架构。P2P节点通过P2P的客户端来获取内容服务。CDN辅助的P2P模式的系统结构如图2所示:
2 P2P与CDN融合的内容分发相关机制
P2P与CDN融合的内容分发相关机制包括P2P与CDN融合的时间机制、P2P与CDN融合的内容分发机制。这些机制能够减少区域之间的流量,达到管理区域化的目的,提高内容在网络上分发速度,实现可控可管的P2P与CDN互动协作的内容分发系统。
2.1 P2P与CDN融合的时间
在P2P与CDN互动协作的过程中,内容分发划分为3个阶段:
(1)CDN运行期。系统运行的初期,服务器负责内容的初始分发。所有新加入的节点从服务器那里得到初始的内容源。
(2)CDN与P2P协作运行期。随着P2P节点数量和共享内容的增多,P2P网络日益增长,有些节点仍旧是从服务器下载内容,还有些节点已经可以从其他P2P节点直接获取所请求的内容。
(3)P2P运行期。随着P2P节点数量逐渐增多,P2P网络达到了能够直接支撑节点需求的规模。P2P节点只有在临时节点失效时,才会从服务器节点去下载资源。
P2P与CDN融合的时间机制的方案包括动态方案和静态方案。根据这两种方案设置C/S与P2P的自适应机制,在保证服务质量的前提下,能够控制服务器节点与P2P节点切换的时间点,还能够控制服务器节点与P2P节点共存的最优比例。
2.1.1 动态方案
根据评估用户体验反馈的指标,确定选择C/S模式以及P2P模式的时间点,实现P2P与C/S的相互切换,对内容进行分发。在保障用户服务质量的前提下,实现最优的时间切换和空间比例的方案。
2.1.2 静态方案
在现有的服务器带宽和用户加入的到达率下,静态方案可以计算出系统服务器直接支持的用户时间、系统和用户剩余带宽共同支撑用户的时间以及一次作为切换时间。
2.2 P2P与CDN融合的内容分发
在P2P与CDN互动协作的过程中,内容分发的大体流程如下:
(1)节点发送请求信息给管理服务器。
(2)管理服务器重定向节点给P2P簇.其中内容服务器是P2P簇的内容服务器。
(3)IF P2P簇中支持节点的带宽超过节点的需求带宽,则Stream(节点,支持节点)。
(4)Else if内容服务器的带宽超过节点的带宽需求,则Stream(节点,内容服务器)。
(5)一旦节点完成内容接收,它将成为P2P簇中的一个支持节点。
(6)Else if指定簇无法满足节点的需求,管理服务器将进行一次全局搜索,返回一个优化的可用内容服务器选择给节点,跳入第3步。
(7)假如仍无法提供节点需要的内容服务,拒绝节点。
在这种内容分发的算法中采用了种子优先级划分的策略。当节点查找内容源时,种子服务器的优先级低于普通用户,同时能够根据用户访问的情况,随时改变连接的方式。比如说P2P节点速度加快,导致种子服务器的连接数降低,从而达到充分利用网络带宽和降低种子服务器压力的目的,实现系统的可扩展性。
3 结语
研究了基于P2P的CDN内容分发机制,包括:
(1)CDN内容分发策略;
(2)P2P内容分发策略;
(3)P2P与CDN融合的内容分发相关机制。
在硕士阶段,出于P2P技术和CDN技术自身高复杂性和广泛性的特点,再加上研究P2P技术和CDN技术的科研时间有限,并没有对P2P技术和CDN技术融合之后的内容分发机制做全面的研究和详细的阐述。P2P技术和CDN技术在融合的过程中依然面临着许多问题,两者融合后的内容分发机制还可以进一步改善,现在大概总结如下:
(1)P2P技术和CDN技术融合后,两者互动协作的相关模式还可以进一步优化。
(2)P2P技术和CDN技术融合后,内容分发到各个节点所使用的内容分发算法还可以再完善。
通过研究和总结基于P2P的CDN内容分发机制,对于其在市场中应用有着很大的现实意义。
参考文献
[1]Rajkumar Buyya.Mukaddim Pathan.Athena Vakali,等.内容分发网络.北京:机械工业出版社,2014.
[2]Ralf Steinmetz Klaus Wehrle.P2P系统及应用.北京:机械工业出版社,2008.
[3]雷葆华,孙颖,王峰,等.CDN技术详解.北京:电子工业出版社,2012.
[4]张春红,裘晓峰,纪阳,等.P2P技术全面解析.北京:人民邮电出版社,2010.
内容分发系统 篇6
本文提出一种基于混合云模式的数字内容分发平台。采用分层的云—端 (客户端) 计算 (Cloud-terminal Computing) 模式分散突发流量。该模式包括从平台进行的主推送、内容提供商作为从推送方, 必要的时候, 已有内容的客户端也可以被主平台选作可控的P2P推送方式。
如图1所示, 该拓扑结构基于分布式理念的互联云结构主要由主云 (供应方云) 和客户端云构成。供应方云主要是由运营商构成, 该平台可以采用IT云计算的理念主要进行Iaas的基础建设, 同时和诸多CP和SP的云服务提供商进行网际互联共同组成供应方云, CP和SP可以有针对性地进行PASS和SAAS建设。客户端云主要是通过和边缘服务器云进行连接来享受云计算服务。
2 供应方云和客户端云建模研究
假设: (1) 设整个过程中这h个文件被下载次数分别为m1≥m2≥……≥mh。记M=。
(2) 由于一般可以认为文件被下载的次数近似满足Zipf分布, 可以假定mi的分布也近似满足Zipf分布, 即, 其中C和-为常数。
(3) 假设视频业务的需求变化相对缓慢, 而且以前被请求的文件仍存在缓存中。
(4) 假设系统中可存储的文件有h个, 每个文件大小为G。
我们所建的模型主要从边缘CDN节点来进行分析, 上面为本文所要用到的参数列表, 假设整个网络中的CDN节点个数为n, 同时系统中所有的缓存总量为S;m=k/n, 总连接数除以CDN节点个数。
我们假设在某一个时刻某一个CDN节点上文件的用户数为m个, 我们假设某一个CDN节点此时正在工作, 那么直接命中从该CDN节点命中下载的用户b个和另外的c个用户共同使用下行带宽d, 相对于没有直接命中的c个用户, 共有n*c个用户来共同分享带宽e, 他们的下载时间为G*b/d+G*n*c/e, 则总体下载时间的期望为:
我们假定每个CDN节点的换存量是相等的, 则为S/n, 则可以存储S/h G个文件, 依据假设当前用户下载人数最高的就是缓存中存的S/h G个文件, 则我们可以得到
, 则我们可以假设当k比较大的时候我们可以得到下式:
结果只与参数有关系, 我们可以把=1视作一种特殊情况, 则我们继续计算得
则我们可以得到, 则我们得到了最后CDN总体下载的时间平均值,
, 其中有关。
由上式, 我们进行与实际情况得简单赋值可以得到tc与n, d, e, s的变化关系:tc随着n变大而变小, tc随着d变大而变小, tc随着s变大而减小。
表1 CDN模型参数列表
综合以上分析, 我们可以得出以本文提出的混合云计算网络拓扑结构中供应方云的性能与CDN网络中的节点个数、缓存总量、用户下行带宽和到服务器的下行带宽都成反比的关系, 这些性能恰恰决定了一个供应方的CDN网络的质量, 而在现实情况中电信运营商的供应方云的CDN网络架构, 在这几个方面都是由于从供应方云的, 所以我们可以得出结论, 由主云推送的期望时间要小于从供应方云。
3 客户端云建模分析
可控P2P的建模分析和一般P2P的建模分析区别是, 普通的P2P用户可以通过互联网进行无限制的下载, 而在可控p2p内部, 用户是通过自治域内通过一定的机制直接从其他用户处找到所需资源并开始进行下载并接收到自己所需要的业务内容;由于所采用的算法不同严重影响着业务推送的时间, 本文使用现如今比较通用的Bit Torrent (BT) 算法来进行建模研究, 在这里本文主要讨论下载的时间, 对节点的查找延迟在这里暂时忽略。
该模型使用到的参数列表如上图所示, 自治域内的用户数为n, 我们在这里假设这n个用户数上下行的带宽是一致的都为p, 每个用户的缓存容量也是相同的为G/n, 假设用户可以由两种途径下载到文件;
(1) 缓存中保存有完整该文件的用户;
(2) 某些下载比率比自己大的用户。
假定正在下载的用户已下载的部分符合均匀分布, 其中某个文件i的下载比率为r, 则可以从另外mi* (1-r) 个用户中进行下载。从我们要求的是期望来计算可以约等于有mi/2个用户可以提供下载, 由于在自治域内, 有G*mi/M的空间用于保存已接收到的第i个文件;所以我们可以计算出共有x处可下载文件i, x=mi/2+G*mi/M。
表2 P2P模型参数列表
我们希望求得的是每个下载的平均时间, 在模型中我们假设了每个用户的带宽为p, 这里的上传带宽总共有xp, 在这里其他M-mi个连接假设平均分配给了A个用户, 所以总的下载连接数为mi+ (M-mi) *x/n, 下载的速度可以表示为px/ (mi+ (M-mi) *x/n) , 所以我们可以得到第i个文件的下载时间期望为:TP=G (mi+ (M-mi) *x/A) /px, 于是我们得到了P2P下载时间的平均值为:;这个式子TP可以利用求导来进行分析。由式子我们可以分析出自自治域内P2P的平均下载时间综上所述, 我们得到了在整个网络拓扑结构中从供应方云和客户端云得到服务的响应时间, 接下来我们研究响应时间和各个参数之间的相互影响关系;为了方便我们的分析, 我们假设G=1, A=50, P=1, M=100;我们将G=1, A=50 P=1, M=100, mi=10进行简单赋值来得出tp与Gp的关系。
4 结语
由CDN网络中的性能分析, 我们可以得出供应方云的性能与CDN网络中的节点个数、缓存总量、用户下行带宽和到服务器的下行带宽都成反比的关系, 这些性能恰恰决定了一个供应方的CDN网络的质量, 而在现实情况中电信运营商的供应方云的CDN网络架构, 在这几个方面都是由于从供应方云的, 所以我们可以得出结论, 由主云推送的期望时间要小于从供应。
内容分发系统 篇7
作为与广播电视网络同呼吸共命运的一名基层员工, 从2000年至今, 常常为广播电视网被通信网和互联网拉开发展差距而着急, 常常梦想广播电视网的发展能够更好更快更强, 并深深地感到在埋头钻研工程技术细节的同时, 也需要抬头立脚眺望科学发展方向路线。
2007年的三网融合试点起始阶段, 面向三网融合发展趋势, 作者对有线电视干线网和接入网的业务发展进行了思考, 认识到有线网向网络互联互通、服务融合、产业生态发展的重要性。8年过去了, 有线电视网的发展还是困难重重, 差距还是继续被拉大。这种困难现象的原因在哪里?在三网融合推广阶段的互联网+大数据浪潮中, 有线网需要如何创新突破?IP化大流量数据时代的流量经营策略, 是本文思考与探讨的重点。
2 困难问题关注
有线电视网络近年来在发展中显现出了一些困难, 犹如迷局, 需要同仁关注与思考。其中部分难题表现在以下方面。
(1) 有线数字电视与模拟电视用户流失量增大。而电信运营商IPTV的用户规模已达近4000万户, 且增速不减。互联网电视 (OTT TV) 的用户规模也在加速增多。
(2) 有线电视互联网的接入用户规模增长乏力, 有些区域甚至呈用户数负增长, 整体规模徘徊在小千万户量级。而电信运营商互联网的接入用户早已远超1亿户, 且还在稳定增长中。
(3) 有线电视网与广播电视网络台、兄弟网络合作的难度大。广播电视台在全媒体化和网络融合化的推进过程中, 更多使用电信运营商的网络和IDC机房。有线网在开展跨区域网络业务和互联互通工作中, 兄弟网络合作的难度不小。
(4) 有线网在国家经济技术行业发展“互联网+”的行动中影响力微弱。“互联网+”、物联网、大数据行动, 将深刻影响着国家经济技术行业的发展形势, 将成浪潮态势。
概括上述问题, 即电视用户易流失、互联网用户难增长、媒体内容难合作、产业生态影响力弱。
3 迷局原因浅析
上述难题是有线电视网发展速度慢的表面现象, 其形成原因是多方面的, 也包括有线网自身原因。其中根本性的原因可归结为以下几个方面。
(1) 有线电视接入网自身的原因包括:在宽频谱多频道的优势被光接入网高速率特长缩小, 综合业务捆绑营销价格拼不过电信运营商, 个性化视频与应用提供能力没有OTT服务商强。
(2) 有线电视网互联网接入“提速降价”能力弱。有线电视网的互联网内容池弱小, 无法改变电信运营商对互联网接口价格与互联质量的绝对控制, 没有互联端口价格的话语权。
(3) 有线电视网在IDC机房、骨干数据网和内容分发网 (CDN) 等互联网基础设施建设方面严重滞后或缺失, 已有机房设施、数据网络相比电信运营商处于绝对劣势地位, 不仅互联网网站难于合作, 就是广播电视网络电视台也难于合作, 造成互联网内容池难于形成规模。自身没有内容和业务让兄弟有线网在合作中受益, 使得互联互通合作难度增大。
(4) 长期以来, 多数有线电视网对服务政企集团用户和行业用户方面关注度低, 没有能够在产业合作中整合资源形成产业优势, 没有形成产业应用集成创新能力, 使得有线网的应用增值服务创新能力弱。深究其原因是思维格局问题。
概括上述问题, 即综合服务创新能力不足、互联网服务成本价格难于降低、互联网内容服务基础设施落后。
4 创新思维, 加强内容分发资源建设
思维决定方式、决心决定力度, 行动决定格局。
4.1 创新思维爆发开拓力
互联网思维是推进有线电视网发展创新的有力武器。互联网思维中的用户思维、迭代思维、流量思维、社会化思维、平台思维、跨界思维都对改革创新极有帮助。其中, 互联网公司普遍使用却隐而不说的基础性一条是“复制创新思维”, 即“走别人的路, 比别人走得更好, 让别人走不下去”。复制创新思维是互联网创业者在模仿与复制的进程中进行融合创新, 成功地比被模仿者走得更好, 如百度对谷歌的模仿创新、淘宝对亚马逊的模仿创新、QQ对OICQ的模仿创新等, 这种思维是在发展困境中爆发的创新开拓力。P2P下载直播, 省去带宽租用费用、自建CDN降低带宽租用费用、电子商务物流降低交易成本、微信降低通信成本等, 是典型的创新案例。
在发展困境中, 有线电视网需要互联网思维助力爆发创新开拓力。
4.2 加强内容分发资源建设
上述有线电视网发展中的难题及其原因, 易看明白, 但要改变会困难重重。这些年来, 道理大家都明白, 但要拿出有效行动, 往往需要“智慧的创新思维、坚定的发展决心和高效的措施执行”。
加强云媒体内容中心、智能融合CDN和应用增值产业生态建设, 是爆发创新开拓力的关键所在, 是有线电视网走出困境迷局的基础。
云媒体内容中心是基于云计算技术构建的新一代绿色生态数据中心, 具有敏捷地提供按需使用计算、存储、网络等资源池能力的优势。通过虚拟化技术, 可以同时作为媒体内容中心 (MCC) 、互联网数据中心 (IDC) 和行业虚拟数据中心 (VDC) 使用, 形成集成融合媒体内容、互联网内容、“互联网+”产业应用内容和物联网数据的巨量内容池资源。云媒体内容中心的内容池资源, 将会有助于从根本上解决广播电视整个行业在广播电视网络电视台全媒体融合发展、有线电视互联网宽带接入、“互联网+”产业合作和网络视听安全监管的瓶颈和困局。
智能融合CDN是互联网宽带数据的加速器, 具有提高广播电视网络视听节目传送效率、提高用户互联网服务体验质量水平、降低网络比特成本等方面的优势, 是智能广播电视网建设的重要组成部分。智能融合CDN将有助于从根本上树立广播电视网在网络视听媒体服务方面的核心竞争力。
应用增值产业链建设是广播电视网服务“互联网+”产业发展的重要举措, 将使广播电视网在发挥国家信息基础设施作用的过程中, 构建出产业应用增值的生态圈。
运用互联网思维加强云媒体内容中心与智能融合CDN的建设力度, 是夯实创新发展的基础。改革开放的实践证明——“缺资金、缺人才、缺地方那不是事, 缺思维、缺方法、缺机制那才是事”。
5 流量经营的内涵作用思考
在有线电视网向综合数字电视信息服务发展的过程中, 流量经营是发展创新的重要举措。
5.1 流量经营内涵
流量经营是以智能广播电视网络和媒体内容集成分发平台为基础, 以扩大流量规模、丰富流量内涵、提升流量层次为经营方向, 以提高流量价值为目的的网络运营模式。
5.2 走向流量经营
在三网融合IP化浪潮中的“互联网+”时代, 社会各行业将会产生越来越大的数据量, 无论是通信网、互联网还是有线电视网, 都将承载越来越多的数据流量。流量经营将成为网络运营服务的关键。
在互联网行业中, 流量经营被普遍采用, 是激发用户流量并扩大流量规模而产生经营效益与发展力量的有效方法。在通信网行业中, 流量经营是运营商经过“网络带宽扩容速度赶不上流量增长速度、网络建设投资加强而单位带宽收益下降的剪刀差扩大”的痛苦教训后, 在移动互联网时代创新的网络经营模式, 目标是提升流量层次内涵和提高流量价值收益。流量经营是网络从粗放式运维到精细化运营的有力工具, 是网络业务创新与转型升级的重要抓手。
有线电视网行业, 将在互联网与通信网的竞争压迫中走向流量经营, 不管愿不愿意, 市场技术发展规律就在那里等候着。
5.3 流量经营作用
流量经营, 是有线电视网面向用户个性化需求、适应三网融合竞争规律、抓住“互联网+”发展机遇、向综合数字电视信息服务转型发展中的关键, 对有线电视网的发展具有重要作用, 主要表现在以下方面。
(1) 有助于家庭用户增值业务发展。以智能电视操作系统 (TVOS) 为核心的机顶盒和家庭网关基础, 加上本地应用服务交付平台 (LASDP) 的作用, 将为融合智能电视业务和智能家居服务提供强大的集成创新平台, 有助于增值应用业务的发展和用户流量的激发, 进而扩大整体流量规模。
(2) 有助于有线双向接入网的精细化运营。家庭用户的流量增长, 对接入网提出了大带宽的需求。在同轴电缆双向网络接入速率提升受限, 特别是保护已有投资的情况中, 在深度挖掘接入网服务潜力的需求下, 精细化运营变得更为重要, 将促进智能网络技术的应用。
(3) 有助于激发媒体内容中心的价值潜力。流量经营提供了公平公正的流量价值标杆, 将使媒体内容中心的媒体内容、信息数据和应用服务得到客观的收益回报, 促进内容、数据和应用的持续价值提升, 推进媒体内容中心的互联互通。
(4) 有助于广电干线网建设与精细化运营。广电干线网数据流量的大数据分析, 有助于干线网在需要的地方进行传输带宽扩容。在提升流量价值、提高流量收益和降低运营成本的驱动下, 流量经营将从流量调度、流量调优和流量控制等方面助力精细化运营, 降低或消除流量浪费。
(5) 有助于重塑有线电视网的价值模式和商业模式。
(6) 有助于流量采集计费系统和运营服务支撑体系的重构。
流量经营是有线电视向综合数字电视信息服务转型发展中的重要举措, 将有助于有线电视网流量价值的提升和服务能力的提高。
6 加强流量经营应用的举措思考
智能网络、内容经营和服务支撑是流量经营的三大基础。推进有线电视网应用流量经营, 需要加强智能网络、内容经营和服务支撑三方面的建设。
6.1 加强智能网络基础设施建设
加强智能网络建设, 就是要增强网络的敏捷性和弹性, 能够根据流量需求变化, 敏捷地提供网络资源。建设智能网络的技术举措主要包括以下方面。
(1) 建设智能融合内容分发网, 对媒体内容进行智能分发。
(2) 建设智能DNS系统, 对媒体内容进行调度。
(3) 采用软件定义网络 (SDN) 技术构建, 敏捷地使用网络资源。
(4) 采用网络功能虚拟化 (NFV) 技术构建, 使网络资源弹性可用。
6.2 加强内容经营基础设施建设
加强内容经营基础设施建设, 就是建设成以云媒体内容中心为核心依托的内容资源池, 聚合媒体内容, 丰富流量层次。加强内容经营基础设施建设的技术举措主要包括以下方面。
(1) 采用云计算、SDN、NFV等新兴技术, 构建云媒体内容中心, 按需形成媒体内容中心 (MCC) 、互联网数据中心 (IDC) 和行业虚拟数据中心 (VDC) 资源。
(2) 构建成弹性的计算、存储、网络资源池, 按需提供云服务。以用户需求为导向, 提供公共云、专用云和混合云等服务。
(3) 聚合丰富的媒体内容资源。
(4) 聚合丰富的增值应用服务资源。
6.3 加强流量经营支撑系统设施建设
流量经营支撑能力是流量经营的关键, 其建设技术举措主要包括以下方面。
(1) 建设深度流量包检测 (DPI) 系统, 在网间互联互通接口、云媒体内容中心、用户流量汇聚中心等部分进行部署, 对流量内容进行监测和数据采集, 提供给运营计费 (OSS) 、大数据分析 (Big Data) 、流量调度和流量风险管控等系统使用。
(2) 建设运营计费系统, 对流量进行计量计费。
(3) 建设大数据分析系统, 对流量特征进行分析, 供流量经营和第三需求方使用。
(4) 建设流量调度管理系统, 对网络流量进行调度。
(5) 建设流量风险管控系统, 对攻击流量风险进行管控, 以采取防DDOS攻击和流量清洗措施, 保证流量安全和流量质量。
6.4 加强流量精细化经营管理
加强流量精细化经营管理, 就是做到扩大流量规模、丰富流量内涵、提升流量层次和提高流量价值的有机统一, 是流量经营的综合实现。在有线电视干线网络中, 加强流量精细化经营管理主要包括以下方面。
(1) 流量内网化、本地化经营。采取以智能DNS为主的流量调度手段, 对用户的流量需求和流向进行调度管理, 尽量使流量在自治域内和本区域网内进行调度。该措施不仅提高了用户的体验质量水平, 而且将流量留在网内, 减少了网间流量, 降低了网络出口成本。
(2) 流量调度和优化管理。采取软件定义网络 (SDN) 、路由分析与路径优化等技术, 对网络流量进行均衡调度和优化, 以减少流量拥堵丢失并提升用户服务体验质量。该措施可减少流量堵塞、流量重复, 减小流量浪费, 间接地提升了网路的流量价值。
(3) 流量风险管控。采取流量深度包检测 (DPI) 、防DDOS攻击和流量清洗措施, 从路径和源头上清洗攻击流量, 减小网络无用流量, 进而提升流量价值。
智能网络、内容经营和服务支撑等流量经营基础设施建设, 将提升网络精细化的经营管理水平, 促进提升流量价值目标的实现。
7 结束语
为了更多参与交流沟通, 原本草拟为《基于软件定义网络 (SDN) 技术的云媒体内容中心互联互通 (DCI技术研究》, 是纯粹性的技术论文。写作过程中, 有感于有线电视网行业对有线宽带数据网、互联网数据中心 (IDC) 、内容分发网络 (CDN) 等互联网基础建设的重视程度不够和建设力度不足, 心中很是着急感慨, 更感觉到创新思维决心突破对有线网发展创新的重要性与急迫性, 故而写作了这篇理念为主的论文, 期望能抛砖引玉以供同仁参考。本篇论文的流量经营体会, 可能3~5年后有线网才能感同身受, 有点超前。但如果有线电视网想要加快追赶通信网的发展步伐, 期望弯道超车, 那更大的改革创新力度与更快的建设发展速度是必不可少的, 本文就值得细致地阅读和认真地思考。
参考文献
[1]张建生.有线电视干线网在“三网融合”中的网络转型和业务创新探索[J].世界宽带网络, 2007, 14 (10) .
[2]张建生.有线电视城域接入网业务发展分析[J].世界宽带网络, 2008, 15 (1) .
[3]张建生.云媒体内容中心创新发展探索[J].电视技术, 2014, 38 (6) :7-12.
[4]张建生.融合创新家庭云的需求研究[J].电视技术, 2014, 38 (18) :23-27.
[5]张建生.本地应用服务交付平台的应用场景和总体要求研究 (全英文版) [J].电视技术, 2015, 39 (13) :58-64.
[6]张建生.本地应用服务交付平台 (LASDP) 的功能架构要求研究 (全英文版) [J].电视技术, 2015 (14) :37-44.
[7]张建生.创新融合智能电视服务, 探索智能家庭网络发[J].广播电视信息, 2015 (7) :56-58.