内容分发网络（通用8篇）
内容分发网络 篇1
越来越多的网络用户喜欢通过网络观看用户自己原创的短视频(User Generate Content,UGC)。由于原创视频共享网站对用户和视频的上传数量没有任何限制,因此每天上传的原创视频容量迅速增加,每天观看视频的点击量也成倍增加。这无疑深刻影响着互联网上流量成分的组成,对互联网运营商和视频共享网站提供商的服务质量提出了极大的挑战。
为了提高视频点播性能和解决骨干网拥堵问题,众多的视频网站采用CDN来改善其服务质量。CDN网络能够有效缓解流媒体对骨干网络带宽带来的压力,提升流媒体服务质量。但CDN系统存在服务器过载和资源瓶颈问题,而且边缘服务器的处理能力、内容存储容量、负载调度能力等都会因用户的增加而产生扩容的需求。因此,在内容分发网络环境下,为提高视频网站的服务性能,对流媒体服务特性进行深入研究变得十分必要。
目前对原创共享视频的研究工作主要集中在数据测量上,以及对这些数据进行分析。数据测量方法有两种,一是采用网络爬虫方式获得[1,2,3];另一种是从网络设备中被动测量获得视频的流量数据[4]。对于视频数据的分析主要集中在视频热度特征分析[1,5]、用户原创视频热度预测模型[7]以及视频之间的关联研究[2,6]。关于视频的热度分析,文献[1-2]中提出使用用户的点击数来表示,并且描述了点击数符合幂律分布。本文提出综合多个指标对热度进行分析,可以更好地预测热度在未来的变化趋势,通过实验得出热度指标随着视频上传时间的增加趋于稳定的变化趋势。该结论可以很好地为CDN网络的缓存策略提供决策依据。
1 数据集
YouTube是全球最大的用户原创视频分享网站,作为当前行业内最成功、实力最强、影响力颇广的在线视频服务提供商,YouTube的系统每天要处理上千万个视频片段,为全球成千上万的用户提供高水平的视频上传、分发、展示、浏览服务。网站的用户可以直接观看视频,也可以上传无限制数量的影片。目前YouTube提供10亿不同的视频,而且每天以65 000个的上传速度在增加。YouTube在2011年的最新统计发现平均每分钟上传的视频长度总和达48 h之多。
实验测试数据是通过YouTube提供的API,利用网络爬虫的技术采集视频文件的元数据。通过24 h的数据收集,共获取视频310 005个,持续时间为72 984 s,表1列出了视频文件的元数据示例。其中,上传时间为视频从上传到数据收集时的天数。投票得分为视频的平均得分,取值为1~5。相关视频列出了20个最相关的其他视频ID。
整个数据收集过程是基于广度搜索思想,将所有的YouTube视频看成是图中的节点,它们之间的相关关系看成是有向边(表中的相关视频),整个视频数据库就是一个图结构(见图1)。随机选择一个初始视频集合作为搜索的起始点,称为第1层数据,那么这些视频的相关视频就成为第2层搜索的数据集合;接着又以第2层数据为起点搜索它们的相关视频,依次类推。由于整个YouTube数据量十分巨大,在广度搜索的过程中获得的数据集合成递增趋势,由于时间和存储空间的限制,只搜索4层。由于搜索时初始的视频集合是随机的,因此通过广度搜索获得的数据集合也具有良好的随机性,能够很好地反映整个YouTube数据库的统计特征。
2 热度分析
本文用热度来说明视频受用户的关注程度,又称为热门程度。对用户来说,如果对一个视频感兴趣,他会通过点击观看视频,用户观看完视频后,可以对视频做出评论,也可以对视频进行打分(1~5),或者将该视频添加到“我最喜欢”列表中。一般而言,一个视频的点击数越多,说明关注该视频的人越多,继而说明该视频越热门,即热度越高,进而会有更多的用户会对该视频进行评价、打分。因此除了用户点击数这个最基本最重要的指标外,视频的评论数、投票数以及投票得分,都能够从不同的角度描述用户对该视频的关注程度。本文主要从视频的点击数、评论数、投票数以及投票得分4个指标来描述视频的热度。
2.1 视频热度指标的概率分布
图2为视频点击数、评论数、投票数、投票平均得分的互补累积概率分布(双对数坐标),其中x轴为热度指标,y轴为互补累积概率分布,即指标大于或等于x的视频个数占视频总数的比例。从图中可以看出视频的点击数、评论数、投票数都符合Zipf定律,即幂律分布,即在双对数坐标下,表现为一条斜率为幂指数负数的直线。也就是说只有少数视频的点击数、评论数、投票数很高,大部分视频的点击数、评论数、投票数都很小,整个网站的视频点击主要靠少数视频贡献。
通过分析发现,视频热度指标的分布存在很大的偏度,具有典型的无标度特征,存在明显的80—20现象,即少数视频文件会得到用户的强烈关注,而大多数视频却很少得到用户的关注。这一发现有助于CDN网络在内容缓存策略上的进一步优化设计。
2.2 各指标间的关系
研究视频热度各个指标之间的相互关系可以发现用户各种行为之间的内在联系。本节以散点图的形式画出了视频的点击数和视频的评论数、投票数以及投票得分之间的相互关系。图3表示各指标的关系图,为了表示指标之间的相关性,使用Pearson相关系数来度量两个指标的相关系数。
Pearson相关系数是用来度量x和y两个变量之间的相互关系(线性相关),取值范围在[-1,+1]之间。Pearson相关系数在科学研究中被广泛用于度量两个变量线性相关性的强弱。两个变量之间的Pearson相关系数定义为
当r取1时表示变量x和y之间具有线性变化的关系,即y随着x的增加而增加,而且所有的点都落在一条直线上。当r取-1时则是所有点落在一条直线上,但是变量y随着x的增加而减小。相关系数值为0时表示变量之间没有线性相关关系。
从图3可以看出,视频的点击数与评论数和投票数之间在双对数坐标下存在线性关系,而点击数和平均得分之间没有明显的线性关系。
2.3 视频热度随着时间的变化趋势
为了观察视频热度随时间的变化,从最近上传的一批视频中选择29 791个视频,对其跟踪采集。这批视频的上传时间都小于3.5天,每隔一周获取其新增的点击数,对同一批视频连续34周采集其点击数量上的变化。
图4显示其新增点击数的变化情况,图中为第2,6,12,24,32周新增视频点击数的累积概率分布(双对数坐标)。
为了进一步分析视频热度的变化情况,对每周平均新增点击数进行统计,得到其变化趋势图(图5),从图5可以看出,每周新增视频的点击数的平均值,在上传前几周的新增点击数较大,而且波动较大,随着上传时间的增加,新增点击数慢慢地减少,继而慢慢地趋于稳定。尽管只跟踪了34周视频点击数的变化情况,但根据经验,视频热度在后期的变化情况会慢慢消退。
图6以散点图的形式给出了新增视频点击数在相邻时间段(以周为单位进行计算)内的相互关系,从图中可以看出,在视频上传的前几周,新增点击数的分布是不稳定的,视频在前一周得到的点击数比较少,但在接下来可能会突然得到用户的关注,反之亦然。为了更准确地表示新增视频点击数在相邻时间段的变化,用Pearson相关系数来度量,第2周新增的视频点击数与第3周新增的视频点击数的相关系数为0.566,属于中度相关;随着视频上传时间的增加,相关性越来越强,第16周与第17周的相关系数为0.917 7,属于强相关,在第25周和第26周相关性已经达到了0.979 2,详见表2。因此,在考虑视频热度时,需要考虑视频的上传年龄,在上传初期视频的热度波动较大,随着视频年龄的增大,热度越来越趋于稳定。由此,CDN网络在边缘服务器上缓存视频时,应该充分考虑视频的年龄,尽可能优先缓存视频年龄大且热度高的视频。
3 结束语
近几年来,由用户自己发布视频内容的在线视频分享网站变得越来越流行,由此产生的流量也对互联网带宽管理产生了巨大的压力。不管是共享视频服务提供商,还是互联网运营商都需要关心这一新型业务的特征,以便优化目前的系统和网络配置,为用户提供更好的服务质量。CDN网络是目前解决这一困局的有效方法,但有效的缓存策略仍然是CDN中的一个开放性问题。视频热度是共享视频服务的一个重要特征,可以为CDN缓存策略提供有效的依据。因此本文利用YouTube上的视频元数据讨论了视频热度的度量指标、各个指标的相互关系以及热度随着视频年龄的变化趋势,可以为CDN网络的缓存策略提供非常有用的决策信息。
摘要：视频的热度是指用户对视频的关注程度。主要对大规模内容分发网络环境下的在线共享网站原创视频的热度进行分析。提出了综合视频点击数、评论数、评分等多元指标对视频热度进行统计刻画,分析各个指标的分布模型以及指标之间的相互关系,并对视频热度随时间的变化趋势进行了详细分析。通过对实际的爬虫数据统计分析,发现热度指标的分布具有典型的无标度特征,随着视频上传时间的增长,热度越来越趋于稳定。上述发现对于视频内容提供商和互联网运营商在服务器部署、内容缓存、容量规划和流量优化等方面具有重要的意义。
关键词：用户原创视频,热度,Pearson相关系数
参考文献
[1]CHA M,KWAK H,RODRIGUEZ P,et al.I tube,you tube,every body tubes:analyzing the world’s largest user generated content vid eo system[C]//Proc.7th ACM SIGCOMM Conference on Internetmeasurement.New York:[s.n.],2007:1-14.
[2]CHENG X,DALE C,LIU J.Statistics and social network of youtubevideos[C]//Proc.16th International Workshop on Quality of Service.[S.l.]:IEEE Press,2008:229-238.
[3]HALVEY M,KEANE M.Analysis of online video search and sharing[C]//Proc.ACM Hypertext and Hypermedia Conference.Manches ter,New York:[s.n.],2007:217–226..
[4]ZINK M,SUH K,KUROSE J.Watch global,cache local:YouTubenetwork traffic at a campus network-measurements and implica tions[EB/OL].[2012-02-03].http://gaia.cs.umass.edu/networks/papers/MMCN08-0.2.pdf.
[5]MITRA S,AGRAWAL M,YADAV A,et al.Characterizing web-based video sharing workloads[J].ACM Trans.Web,2011,5(2):1-8.
[6]MISLOVE A,MARCON M,GUMMADI K P,et al.Measurementand analysis of online social networks[C]//Proc.7th ACM SIG COMM Conference on Internet measurement.New York:[s.n.],2007:29-42.
内容分发网络 篇2
目前，国内网络游戏市场繁荣发展，根据最新的CNNIC报告显示，截至2014年12月，我国网络游戏用户规模达到3.77亿人，占网民总体的58.1%。一般情况下，网络游戏经营环节中，游戏开发商设计开发网络游戏，自营或通过协议交由运营商（代理商）经营，运营商将游戏通过分发平台或其他渠道推向市场，用户下载安装并玩游戏，用户支付费用由网络游戏分发平台经营者、网络游戏运营商及开发商等按协议分成。
网络游戏分发平台作为网络游戏运营环节中的一环，重要性日益凸现。网络游戏分发平台经营者，一般是指向网络游戏开发商、运营商提供为网络游戏应用程序作宣传推广并供用户下载服务的网络服务商。目前国内有专门提供网络游戏分发服务的平台，如4399游戏中心、当乐游戏中心等，也有提供包括网络游戏在内的多种应用软件分发服务的应用平台，如安卓市场、苹果App Store、腾讯应用宝等。
在网络游戏发生侵权纠纷时，网络游戏分发平台经营者也频繁被诉至法院。若是网络游戏侵权，网络游戏分发平台经营者是否构成侵权并承担侵权责任则是争议焦点。笔者认为，要解决该焦点问题，首先应明确网络游戏分发平台的性质。
网络游戏分发平台是信息存储空间吗？
《信息网络传播权保护条例》提到了信息存储空间，虽然未给出明确的法定概念，但顾名思义是指提供信息存储的网络空间，关键点落在“存储”，即信息存储空间服务商一般不会主动干预其平台中的作品等内容，而主要是相对被动地按上传者的意志提供给其他网络用户。为此，该条例对信息存储空间服务提供者规定了可予免责的条件。如果信息存储空间服务提供者未满足法定条件，则其往往无法基于“避风港”原则免责。
网络游戏分发平台向用户提供网络游戏，要将网络游戏视为广义上的信息，网络游戏分发平台当然也可被认为是提供网络游戏的“信息存储空间”，但与《信息网络传播权保护条例》规定的信息存储空间仍然存在区别：第一，网络游戏分发平台的主动性更强。为了尽量推出受用户欢迎的游戏产品，增加收益，网络游戏分发平台不是对任何游戏都“来者不拒”，一般会从三方面进行审查：一是禁止性要求，游戏中是否存在禁止传播的内容，如涉黄等；二是技术性要求，游戏程序是否满足平台的基本技术要求，包括是否存在明显的Bug等；三是体验类要求，即初步的用户体验是否存在明显缺陷。第二，《条例》规定的信息存储空间所存储的对象仅指作品、表演、录音录像制品，网络游戏通常会超出这些对象范围。
网络游戏分发平台是电子商务平台吗？
电子商务平台一般是指为根据信息网络公开传播的商品或服务的交易信息进行交易活动提供服务的平台，服务主要涉及交流通道、支付通道或交付通道服务。典型的电子商务平台如淘宝、京东这样的电商平台。认定电子商务平台的关键在于为“交易活动”提供服务，交易通常体现为“交付”商品（含服务）与“支付”对价。自营型电子商务平台以自己的名义经营，合营型电子商务平台与卖家合作经营，网络服务型电子商务平台为卖家的交易活动提供网络服务。
实践中，网络游戏分发平台主要提供网络游戏的宣传、推广，供用户下载安装以及提供支付通道等服务。采用分发平台推广网络游戏的，通常会将网络游戏加载相关分发平台的计费程序，使网络游戏的用户付费通道直接与平台连接，各方按计费程序记录的情况对玩家支付的费用进行分成。当然，目前主要的网络游戏分发平台一般不提供类似于淘宝网这样供卖家开设店铺，公众从中选购商品的服务，而向公众提供网络游戏及其后续服务的行为也与自营型电子商务平台经营者以自己的名义开展经营的行为存在差异，笔者认为网络游戏分发平台更接近于合营型电子商务平台，即平台经营者与游戏开发商、运营商合作经营，并直接获利。
网络游戏分发平台经营者应承担的侵权责任
一旦网络游戏分发平台中的网络游戏被认定构成侵权，网络游戏分发平台经营者应承担何种责任：
信息存储空间服务提供者的法律责任？
《信息网络传播权保护条例》第22条规定了信息存储空间服务提供者的“避风港”规则，即满足明确标示、未改变服务对象提供的作品等内容、对侵权不明知或应知、未直接获利以及接到通知后及时删除情形时，可予免除赔偿责任。
通常情况下，网络游戏分发平台经营者参与网络游戏的收益分成，若按信息存储空间服务提供者可予免责的条件，网络游戏分发平台经营者都将因为从侵权作品中直接获利而无法进入“避风港”。
电子商务平台经营者的法律责任？
北京高院《关于审理电子商务侵害知识产权纠纷案件若干问题的解答》在明确电子商务平台经营者法律责任时，首先区分了电子商务平台是自营型或合营型平台，还是网络服务型平台。对前者赋予相对严格的侵权责任认定条件，对后者规定了电子商务平台经营者的“避风港”规则，即电子商务平台经营者一般情况不承担交易信息合法性的监控义务，其只有在明知或应知侵权事实而未及时采取必要措施的情况下才对扩大的损害与卖家承担连带赔偿责任。
正如笔者前文提及的，网络游戏分发平台更接近于合营型电子商务平台，笔者赞同网络游戏分发平台经营者的法律责任参考适用合营型电子商务平台经营者的法律责任，除了有证据证明平台经营者明知侵权，按“合作经营或直接获利”+“应知侵权行为”作为推定过错的依据，据此承担侵权责任。
作此选择实与网络游戏本身特点及其经营模式密切相关：
第一，现行知识产权法律体系下，网络游戏，特别是一些角色扮演、故事情节类的网络游戏，非独立的知识产权保护对象，而为多种知识产权权利的集合，其中包括著作权、商标权及其他可受反不正当竞争法保护的合法权益，且著作权中又汇集计算机软件、文字、美术、音乐，甚至影视等多种作品形式。正是网络游戏元素众多、权利繁杂，作为提供大量网络游戏分发服务的平台经营者，要对每一个上线游戏中涉及的每一个知识产权元素进行事先审查并给出侵权与否的准确判断，不仅存在一定的客观障碍，而且有碍于宣传推广游戏产品的高效、便捷性要求，亦无法满足用户方便获取最新游戏产品的需求。
第二，从侵权游戏中直接获利不宜作为认定网络游戏分发平台经营者存在主观过错的要件。以视频网站为例，若视频网站从侵权视频中直接获利，一般会认定该视频网站存在明显的主观过错。而事实上，绝大部分的网络游戏都含有直接收费情节，或者是收费下载、免费使用；或者是免费下载、收费使用；或者是收费下载、收费使用；或者是免费下载、免费使用，但道具、装备、升级等需额外收费。分发平台经营者往往都会从各种收费形式中分取利益，这也是目前网络游戏分发平台经营收入的主要来源，若是某一含有数百个人物角色的网络游戏，其中一个人物形象抄袭自他人的漫画，或是某一有数百关卡的网络游戏前100关免费，第101关中有情节抄袭自他人小说，显然平台经营者难以注意到类似的侵权情节。若仅以网络游戏分发平台经营者从前述游戏中直接获利，则认定其对相关侵权行为存在主观过错，笔者认为有失公平。这与视频网站认定存在主观过错的差别在于，视频网站传播视频侵权与否以该完整视频是否侵权作为关注对象，而越来越多的侵权网络游戏仅是游戏中某些元素侵权，非整个游戏侵权。
内容分发网络 篇3
关键词：内容分发网络,随机Petri网,节能策略,能效分析
0 引 言
随着多媒体技术的不断发展和宽带网络、宽带流媒体应用的兴起,视频、音频、图像服务所占的比重越来越大,迫切需要一种新的传输结构解决这一问题。CDN(Content Distribution Network),即内容分发网络就是由此应运而生,其目的是通过在现有的Internet中增加一层新的网络架构,将网站的内容发布到最接近用户的网络“边缘”,使用户可以就近取得所需的内容,解决Internet网络拥挤的状况,提高用户访问网站的响应速度,从技术上全面解决由于网络带宽小、用户访问量大、网点分布不均等原因所造成的用户访问网站响应速度慢的问题。但也正是CDN的应用增加了网络结构的复杂性,需要应用更多的网络设备,需要更多的数据服务中心,它将比现存的网络有更多的能耗。并且随着内容分发网络应用的大规模普及,对能源的消耗和依赖也变得越来越大,能效问题将成为内容分发网络应用能够可持续发展的瓶颈。因此,对内容分发网络进行能效研究已成为急需解决的问题。
节能减排越来越受到国家和政府的认识,国家明确提出了坚持把建设资源节约型、环境友好型社会作为加快转变经济发展方式的重要点,做好节能减排已经成为重大战略任务。如果对网络系统进行能效分析优化,网络系统的能耗将会下降,相同的能耗下可部署更多的网络设施,从而提高整个网络系统的可扩展性,所以能效分析对社会和网络的可持续发展将产生深远的影响。因此,构建绿色网络[1],节省网络能耗成为计算机领域一个意义重大、迫切需要解决的问题。内容分发网络作为未来技术的主流趋势,对它的能效方面进行研究显得尤为重要。
通过分析能耗与CDN系统参数和负载的关系得出影响能耗的关键因素,找到能耗与性能的最优权衡,有助于以下3方面工作的进行:(1)为内容分发网络的设计提供参考,找出影响能耗的瓶颈重点并对其改善,对于构建绿色内容分发网络具有重要作用;(2)为内容分发网络的能效评价提供方法,评价工作的首要任务是评价能耗,通过内容分发网络系统的能耗模型得到能效指标,从而进行合理分析和有效评估;(3)为内容分发网络的能效优化问题提供依据,通过形式化描述,把网络能效优化转化成一些经典的优化问题,从而找到能耗与性能之间的最优权衡。
1 网络能效分析相关研究工作
网络系统通过使用处理器、内存等资源来提供服务。能量作为一种系统资源,与其他系统资源有着密切关系,它是其他系统资源正常工作的基础。文献[2]将能耗管理问题看成是对资源的分配,打破了传统意义上能耗只有开和关的两种状态,而是将能耗状态看成多种状态。用不同状态的能耗应对不同的服务要求,高能耗状态时服务能力强,低能耗状态时服务能力弱。整个网络系统通过低能耗状态来实现节能,而系统的性能要求则由不同能耗状态之间的转换来实现,由此来实现基本不损失系统性能的前提下实现节能。
文献[3]提出睡眠-唤醒机制,并针对进入睡眠和唤醒的条件提出“timer-driven”和“wake- on-arrival”策略。“timer-driven”策略是指系统进入睡眠状态,当系统睡眠时间到达某一阈值时系统被唤醒;“wake-on-arrival”策略是指使设备的特定接口处于工作状态,当该接口检测到有包到达时唤醒设备,正常工作,但是目前设备并不都支持该策略。而根据文献[4]提出动态速率调节机制,该文研究发现链路速率越大,它的能耗也越大;而处于空闲和100%链路利用率的情况下功耗几乎是相等的。所以,当系统链路处于低利用率时,降低链路速率能够有效地降低能耗。
目前针对网络能效研究一般可采用测量方法和模型方法进行分析[1]。测量方法只适用于已经存在并运行的系统,比较耗费时间,并且目前要在运行的内容分发网络上进行测量还是有一定难度的。而模型方法是通过数学工具建立适当的模型对系统进行抽象,描述能耗与性能、负载之间的关系。而内容分发网络是一个复杂的系统[5],本身组件数量多,结构关系复杂,其行为也错综复杂,因此想要利用排队论和马尔可夫模型描述内容分发网络是一件较难的事情。而随机Petri网(SPN)[6]作为网络系统描述和建模的重要数学工具,具有很强的描述能力,能够较好地刻画复杂的系统行为,能很好的满足内容分发网络模型的描述要求。并且随机Petri网以研究模型系统的组织结构和动态行为目标,着眼于系统可能发生的各种状态变化及变化之间的关系,同时随机Petri网具有动态的图形工具。所以利用随机Petri网对内容分发网络进行能效分析,能使我们更加准确地得出能效性能指标,更加准确地分析内容分发网络的能效问题。文献[2]针对能效问题,以无线传感器网络的睡眠调度机制的研究为例,具体说明随机Petri网在能效研究中的应用。
在具体网络能效分析的研究中,文献[5]针对内容分发网络提出了一种P2P与CDN相结合的一种结构,并对它的效率、经济性进行了分析,但文章主要是对性能的高效性进行分析,并未对能效进行具体研究。文献[7]对自动请求重传(ARQ)技术和前向纠错(FEC)技术的能效进行了分析,提出在无线传感器网络中使用Chase合并混合自动请求重传(HARQ)方案实现自适应差错控制,以满足无线传感器网络的不同链路对差错控制方案的差异性要求。文献[8]基于能效分析了具有不同纠错能力的缩短BCH码在典型的无线传感器网络模型中的优劣。文献[9]为了研究水下传感器网络多址接入(MAC)协议的能量损耗,在集中式拓扑结构下,对ALOHA和MACAW两种协议的能量效率进行了理论分析,并通过Matlab进行了仿真。本文根据以上对网络能效方面的研究,提出一种睡眠-唤醒机制和动态速率调节机制相结合的内容分发网络节能策略,并使用随机Petri网进行能耗分析。
2 内容分发网络节能策略
2.1 CDN系统结构
CDN系统的基本思想[10]是:依靠放置在各地的缓存或媒体服务器通过系统中心平台的智能负载均衡、内容分发调度等功能模块将用户最感兴趣的那部分媒体内容部署到最贴近用户的地方,使得原本无序、低效、不可靠的宽带网络转变成高效、可靠的智能网络,从而满足用户对媒体访问质量的更高要求。本文根据CDN系统运行时的对内容的路由、分发、管理机制,作出CDN系统的运行流程图,如图1所示。
本文将用到的内容路由技术[5]是内容分发网络中最常用的路由技术:将用户按地理位置分区,每一个区或者是一个ISP,或几个ISP的管辖范围。所有用户请求会首先重定向本地代理服务器上,由本地代理服务提供服务。而当本地代理上没有该内容时,则重定向到最近的有该内容的源服务器上。内容分发包含从内容源到 CDN 边缘的 Cache的过程。内容分发目前的主流技术是 PUSH 和 PULL[10]。PUSH 是一种主动分发的技术。通过 PUSH 分发的内容一般是比较热点的内容,这些内容通过 PUSH 方式预分发(Preload)到边缘 Cache,实现有针对的内容提供。PULL 是一种被动的分发技术,PULL 分发由用户请求驱动。当用户请求的内容在本地的边缘 Cache 上不存在(未命中)时,Cache 启动 PULL 方法从内容源实时按需获取内容。内容管理的主要目标是提高内容服务的效率,通过管理服务器的信息统计,并将统计信息传送至源服务器,使得在 CDN 节点实现基于内容感知的调度,通过内容管理可以有效地实现在 CDN 节点内容的存储共享,提高存储空间的利用率。
2.2 CDN节能策略设计
CDN增加了现存网络结构的复杂性,需要应用更多的网络设备,需要更多的数据服务中心,它将比现存的网络有更多的能耗。而CDN运行中内容由源服务器分发到Cache中,源服务器、链路的负载很大,这一过程的能耗将相当大;管理服务器的定时发送管理信息,空闲时间使得能耗白白浪费,这些都对能耗问题提出了挑战,但同时也为节能提供了机会。根据CDN系统本身的运行机制,本文将在系统中加入睡眠-唤醒机制和动态速率调节机制,以使系统达到节能。
在CDN系统运行中,系统的不同层次会有不同时间尺度的空余时间。管理服务器就是典型的例子,CDN系统中客户的用户计费和信息采集是定时上报的,如果能利用空闲时间,将管理服务器置于睡眠或关闭状态,这明显将减少空闲时的能量浪费。针对CDN系统中的管理服务器应用睡眠-唤醒机制,面对的主要问题在于进入睡眠和唤醒的条件,而由于管理服务器是定期上报信息,因此使得“timer-driven”策略成为它的节能策略。该策略是指当系统处于空闲状态的时间超过某一阈值时,系统进入睡眠或关闭状态,当系统休眠到达接近发送时间时系统被唤醒。
CDN系统运行过程中,内容路由、分发内容过程中链路的负载情况时刻在变化。如果我们能根据CDN系统中链路的负载情况,在不明显影响系统性能的情况下动态调节链路速率,便可以使得CDN系统能够在低速率链路情况下节省能耗。通过调节链路速率以使适应不同的链路利用率,从而使链路速率与链路负载成比例。本文对CDN系统中源服务器向Cache中分发内容时使用该机制,利用到的是单阈值的自适应链接速率机制,根据输出缓冲的队列长度Q进行速率的变化。在以k为阈值的单阈值机制中,服务速率可表示为下式:
3 CDN节能策略的随机Petri模型及分析
根据对CDN系统核心机制的分析,CDN系统的运行方式如图1所示。由此可推出基于随机Petri网的CDN系统能耗分析模型如图2所示。
•P1:用户需要某项内容,Cache接收用户请求产生能耗的状态;
•P2:Cache检查内容是否命中时产生能耗的状态;
•P3:发送用户所需内容时产生能耗的状态;
•P4:源服务器分发内容到Cache中产生能耗的状态;
•P5:管理服务器发送统计信息时产生能耗的状态;
•P6:Cache将请求信息发送至管理服务器时产生能耗的状态;
•P7:用户请求由Cache转发至源服务器时产生能耗的状态;
•T1:根据Cache中所含内容检查能否满足用户需求,同时将请求送至管理服务器中;
•T2:所需内容命中,Cache直接发送用户所需内容;
•T3:用户产生新的内容需求;
•T4:源服务器分发流行度较高的内容到Cache中;
•T5:管理服务器将统计信息传送给源服务器;
•T6:源服务器发送用户所需内容给用户;
•T7:所需内容未命中,将用户请求发送至源服务器。
图2是利用随机Petri网描述CDN系统能耗状态的模型图,观察该图可以得知,模型中包含顺序、并发、选择结构。根据CDN系统的运行机制与节能策略的结合,改变CDN系统中子系统的运行机制,对改变了的能耗状态做出具体分析。本文将根据能耗分析的需要和时间性能等价化简分析。
3.1 睡眠-唤醒机制
将睡眠-唤醒机制加入到管理服务器向源服务器发送统计信息的过程中去。使得管理服务器由原来的工作状态和空闲状态转变成工作、睡眠、空闲三种状态。利用随机Petri网对这一过程加入节能策略前后的能耗状况建立随机Petri网模型,加入睡眠-唤醒机制后的能耗SPN模型如图3所示。
•Pwork:管理服务器工作时,统计子系统处于工作能耗状态;
•Pidle:管理服务器空闲时,统计子系统处于空闲能耗状态;
•Psleep:管理服务器进入睡眠状态,统计子系统处于睡眠能耗状态;
•Twork:管理服务器在发送统计信息;
•Tsw1:关闭管理服务器;
•Tsw2:开启管理服务器。
得到变化后的统计子系统的能耗SPN模型后,根据对SPN模型的分析方法[11],求出可达状态集如表1所示,同构马尔可夫链如图4所示。
求出状态转移速率矩阵R和线性矩阵方程式,从而可以得出各状态稳定概率为:
在稳定状态在,每个位置中所包含的标记数量的概率,我们用P[M(pi)=i]表示,它表示位置s中包含i个标记的概率,可从标识的稳定概率求得,如下所示:
P[M(pi)=i]=∑jP[Mj] TK{pi}=∑jj×P[M(pi)=j] (6)
Pt=∑Pti×TK{pi} (7)
根据文献[10]对节能机制和策略的研究,这里我们S表示的是不同状态M0、M1、M2组成的状态合集,Pr(Si)我们已经通过式(2)至式(4)计算求得,设备系统处于某种状态的平均功耗Pi可以直接测量出来,由于这里我们的状态都是单个之间的转换,转移概率Pr(Sj,Si)都为1。所以这样由上面公式可以分析出子系统的平均能耗,设备的功耗以及设备状态的转移功耗同时决定着该子系统的平均功耗,因此得到加入睡眠-唤醒机制后的子系统的平均功耗如下式所示:
利用上述分析,我们用工具SPNP对加入睡眠-唤醒机制统计子系统与原系统的平均能耗进行对比分析。分析如图5所示,由CDN系统运行的时间的变化来对是否加入睡眠-唤醒机制的两个CDN系统的平均能耗进行对比。开始阶段由于源服务器都处于工作状态,所以平均能耗差别不大,而随着系统运行时间的增加,加入睡眠-唤醒机制的CDN系统会在空闲时进入睡眠状态,使得系统能耗大量减小,两个系统之间的能耗差别越来越大。因此,CDN系统加入睡眠-唤醒机制后平均能耗明显降低。
3.2 动态速率调节机制
由于CDN系统中源服务器向Cache中分发内容时,链路负载变化较大,所以我们将动态速率调节机制使用到该过程中去,使链路速率与链路负载成比例。本文具体使用到的是单阈值的自适应链接速率机制,根据输出缓冲的队列长度Q进行速率上的变化,具体描述CDN系统内容分发过程的能耗SPN模型如图6所示。
•Pa:源服务器空闲时,内容分发子系统处于空闲能耗状态;
•Pb:判断出输出队列的缓冲队列长度Q小于等于阈值,链路速率处于较低速率,内容分发子系统处于较低的能耗状态;
•Pc:判断出输出队列的缓冲队列长度Q大于阈值,链路速率处于较高速率,内容分发子系统处于较高的能耗状态;
•Pd:通过较高的链路速率发送一段时间后,缓冲队列长度Q小于等于阈值,链路速率再次回到较低速率,内容分发子系统回到较低的能耗状态;
•Ta:检查缓冲队列长度Q,判断出应选择的链路速率;
•Tb:源服务器使用较低的链路速率发送分发内容;
•Tc:源服务器使用较高的链路速率发送分发内容。
得到内容分发子系统的能耗SPN模型后,可达状态集如表2所示,同构马尔可夫链如图7所示。
求出状态转移速率矩阵R和线性矩阵方程式,从而可得出各状态稳定概率为:
P(Ma)=λbλc/(2λbλc+λaλb+λaλc) (9)
P(Mb)=λbλc/(2λbλc+λaλb+λaλc) (10)
P(Mc)=λaλb/(2λbλc+λaλb+λaλc) (11)
P(Md)=λaλc/(2λbλc+λaλb+λaλc) (12)
然后计算以状态Si为目的状态转移所产生的转移功耗Pji和转移概率Pr(Sj,Si),具体在这个SPN模型中的系统状态转移如下图8所示。由图8左边部分以及上述分析可得Pr(Sa,Sb)=а,Pr(Sa,Sc)=1-а。右边部分λa、λg表示状态之间的转移速率,λa为已知量,而λg要利用到顺序结构化简[12],从而得出:
那么,从状态Sb到Sa和状态Sc到Sa的转移概率分别为:
通过上述分析,我们得到各状态的转移概率和各状态的稳定概率,我们便可得到系统平均功耗的计算公式如下:
同理我们通过位置pi在稳定状态下,平均所含的标记数TK{pi},利用工具SPNP对加入动态速率调节机制的内容分发子系统与原系统的平均能耗进行对比分析。分析结果如图9所示。
由CDN系统链路负载的变化来对是否加入动态链路速率机制的两个CDN系统的平均能耗进行对比。链路负载较低时,加入动态链路速率机制的CDN系统会进入低能耗状态,使得系统能耗大量减小,两个系统之间的能耗差别较大;但随着链路负载的增大,两者之间的能耗差别会减小,但整体来说,两个CDN系统的平均能耗会产生一定的差别。由图9可见,CDN系统加入动态速率调节机制后平均能耗相对较小。
4 结 语
本文分析讨论了内容分发网络中的运行机制和节能策略,将节能问题归结为资源管理问题。并利用随机Petri网在系统分析的基础上,对系统的能耗问题进行抽象和形式化描述,建立了SPN模型与并加以化简。通过对比加入节能机制模型与原模型的能耗,得出加入节能机制后CDN系统能耗大幅减小。实现在加入睡眠-唤醒机制和动态速率调节机制后,使CDN系统的能耗得到下降,从而达到节能效果。下一步作者还有许多具体研究工作需要完成,例如验证运行机制的改变是否对CDN系统性能产生影响、扩大能耗对比的参数范围、结合使用新的节能机制等等。
参考文献
[1]林闯,田源,姚敏.绿色网络和绿色评价:节能机制、模型和评价[J].计算机学报,2011,(4):593-612.
[2]Liu Bin,Lin Chuang,Jiang Xin,et al.Performance analysis of sleepscheduling schemes in sensor networks using stochastic Petri net[C]//Proceedings of the International Conferenceon Communication.Bei-jing,China,2008:4278-4283.
[3]Nedevschi S,Popa L,Iannaccone G,et al.Reducing network energyconsumption via sleeping and rate-adaptation[C]//Proceedings of the5th USENIX Symposium on Network Systems Design and Implemention(NSDI’08).San Francisco,CA,2008:323-336.
[4]Gunaratne C,Christensen K,Nordman B.Managing energy consumptioncosts in desktop PCs and LAN switches with proxying,split TCP con-nections,and scaling of link speed[J].International Journal of NetworkManagement,2005,15(5):297-310.
[5]Dilley J,Maggs B,Parikh J,et al,Globally Distributed Content Delivery[J]IEEE Internet Computing,2002,6(5):50-58.
[6]Lin Chuang.Stochastic Petri net and system performance analysis[M].Beijing:Tsinghua University Press,2005.
[7]Tian Zhen,Yuan Dong-feng,Liang Quan-quan.Comparison of errorcontrol schemes in wireless sensor networks[J].Journal on Comm-uni-cations,2008(11):77-83.
[8]Li Han,Zhang Shu-sheng,XI Dong-xing.Energy Efficiency based Anal-ysis of Shorten BCH Coding in Wireless Sensor Networks[J].MICRO-PROCESSORS,2010(4):32-35.
[9]罗娜,陈名松,王方,等.水声传感器网络MAC协议的能效分析与仿真[J].传感器与微系统,2011(30):10-15.
[10]Liu Yu,Zhu Guang-xi,YIN Hao,et al.Content Delivery DistributionNetworks:Overview[J].Computer Science,2009(2):11-14.
[11]MoIIoy M K.Performance analysis using stochastic petrinets[J].IEEETrans on Computer,1982,31(9):913-917.
内容分发网络 篇4
国内关于新媒体的讨论很多,但是一直没有一个统一的概念,通常大家认为新媒体就是新出现的媒体形态,数字化是其根本的技术特征,互动交互是其内在要求,而个性化、专业化则是新媒体业务内容的未来趋势。
新媒体是以数字化为依托,为了实现任何人向任何人的传播,传统的广播电视经过数字化改造以后形成了新的形态,而互联网、3G、有线电视、WiFi等成为了新的技术基础。另一方面,新媒体也更加强调互动和个性化。面对互联网这个信息爆炸的时代,新媒体不仅使个人内容的聚合变为了现实,可以根据个人的特殊性进行内容定制。因此,如何提供较高的粘稠度,让用户停留在我们的平台上,内容是起到主要作用。
作为三网融合的技术基础,TCP/IP的技术融合也使业务融合变得更加容易,三网融合在技术上实现了终端产品如电视、PC机和手机终端的融合,之后逐渐实现了业务的融合,如视听业务等的融合。这些都对内容的整合提出了更高的要求。首先以手机,电视和电脑为主的3G终端有很多的业务形态,如手机视频、音乐、手机报等等,在各种业务形态的基础上又承载着各自的内容,像天气预报、交通资讯、房地产产业等等,因此要整合多媒体的内容。其次,需要管理多媒体的内容,实现多媒体内容的存储、管理,并支持内容的制作。新媒体内容要能够支持各种终端的业务,也能够支持多种信息发布,可以通过手机、电视等等发图片和视频。
数字新媒体全业务内容集成分发平台
数字新媒体全业务内容集成分发平台通过对各种信源内容进行拆分、汇聚、采集来争取个性化的需要,形成复合内容的制作,并根据各种终端及业务的需要形成格式的转换。
首先素材汇聚的功能,包括原始素材的收集与原始素材存储。原始素材的收集是开放相应的接口,收集素材库、电子杂志、电子报纸等;原始素材的生成是对原始素材预处理、解析,形成了各种类型的音频、视频的拆分。其次复合内容的生成和管理,是针对各种终端进行格式转换形成适合各种终端框架性的复合内容文本。最后通过内部发布到各种终端,并在制作过程中对用户的消费行为进行分析,根据需求进行聚合,满足用户个性化的需要。
其中需要解释一些关键技术,包括新闻的标准、版权、文字描述和内容的检索等等。新闻标准格式,是为了便于新闻的处理和信息的互享与交流,具有一个主题的信息多媒体功能;数据的统一描述,不仅是用于新闻,也可以用于非新闻类的存储标准,这是数字版权管理DRM,尤其是针对个性化内容进行控制,只有授权的用户才能拿自己所需要的内容;统一资源描述框架RDF,是对信息的规范过程中,实现对各种文档的资源进行描述,形成内容的概念、列表,然后再根据需要向各种终端进行转换。内容的检索,主要是从媒体内容中提取信息线索来进行多媒体的检索,包括文字的检索和未来多媒体的检索。
在信息处理的过程中,基于云的高性能计算是必不可少的。这种数字新媒体全业务平台能够支撑各种业务,包括基于各种终端的电子杂志、视频、音频等各种形态,能够支持资讯、交通、房地产、服装等等各种资讯的信息……把生活必需品等各种信息,通过内容的聚合,用各种传统方式,展示到各种终端上,供用户个人的需要来使用,可能是一个电子报纸的样子,也可能是一个电子书的样子。
新媒体业务的开展
三网融合后的业务特点,如屏幕向平台转变、关注向用户转变、节目向内容转变等,使新媒体怎样为用户服务成为了一个值得思考的问题。三网融合之前,每个业务分得比较清楚,每个屏幕有自己的内容,像电视主要是视频,而手机主要是数据。但三网融合的推进,令平台的融合将成为继终端融合后的一个趋势。原来大家只是单纯的收看,而现在是在使用手机、使用电视、使用电脑。针对用户的个性化需要,也将成为价值的来源,三网融合后收入来源将主要针对广告,它的内容也会更加全面(包括水电,交通等)。另外个人的信息定制,或者说个人用户的增值业务也将成为收入的重要来源。打造技术的平台、进行内容整合、针对用户需求做个性化的定制服务,这个过程使原来针对各种终端的数据库融合成一个新的数据库,对用户的消费行为进行分析,提高用户连续不断使用信息的黏性。
利用新媒体手段提升传播能力
内容分发网络 篇5
继个人计算机变革、互联网变革之后, 云计算被看作第三次IT浪潮, 是战略性新兴产业的重要组成部分, 云计算带来了生活、生产方式和商业模式的根本性变革, 成为了当前全社会关注的热点。云计算具有分布式海量存储、资源配置可伸缩性、易于部署、高性价比等特性。
一直以来, 广播电视行业作为视频业务的提供者和拥有者, 积累了大量的视频数据, 并且拥有的视频数据还在呈几何性增长。随着技术的进步和三网融合进程的加快, 国际上谷歌、苹果、微软, 国内电信、互联网电视终端的知名企业都在尝试对用户收看电视方式进行创新, 电视正在从广播式传输向互联网化转变, 未来人们使用电视的方式将完全改变, 不再是拿着遥控器, 在频道之间来回转换而是随时随地地观看自己想要的内容, 电视产业链的重心在向用户端转移, 这将给传统电视行业带来颠覆性的冲击。面对这种巨大冲击, 广播电视内容分发方式发生了转变:不仅要面向播出机构分发视频内容, 还需向跨网络、跨终端、面向个人用户、快速分发等方式转变;不仅要线性播出视频内容, 还需向为用户提供海量视频点播、视频检索、智能推送等新的服务方式转变。因此, 研究并设计一种基于云计算的节目内容分发平台架构, 既可以利用现有的媒资管理平台使得设备利旧等问题得以解决, 又可以丰富视频内容分发的业务模式, 为云计算应用于广电行业探索一条可行的路径。
2 Hadoop开源云计算框架
开源技术在云计算中的应用非常普遍。开源技术的免费特性是其在云计算中广泛应用的原因之一, 更重要的原因是开源技术能够帮助开发者围绕一个项目建立一个社区, 从而推动云计算的快速创新和应用。开源技术给云计算带来的是更加开放和灵活的构建方法, 而不会给云计算带来锁定。因此很多互联网企业、IT知名公司都致力于开源云计算技术的研究和应用, 甚至直接构建基于开源技术的云计算平台, 例如:Hadoop开源框架是Google公司著名的GFS、MapReduce对应的开源实现, 雅虎公司的云平台就是使用Hadoop开源框架作为其基础平台;Enomaly开源平台提供了一个功能类似于Amazon (亚马逊) EC2的云计算框架;还有诸如Eucalyptus、Sector and Sphere等一些业内非常有名的云计算开源平台。
Hadoop是Apache开源组织的一个分布式计算框架, 可以在大量廉价的硬件设备组成的集群上运行应用程序, 为应用程序提供了一组稳定可靠的接口, 旨在构建一个具有高可靠性和良好扩展性的分布式系统。随着云计算的逐渐流行, 这一项目被越来越多的个人和企业所运用。Hadoop的核心是HDFS、MapReduce和HBase, 它们分别是Google云计算最核心技术GFS、MapReduce和Bigtable的开源实现。
不管是分布式计算还是分布式存储, Hadoop开源框架均使用主/从 (Master/Slave) 架构。其原理是在Master节点上运行NameNode (名称节点) 、Secondary NameNode (备用名称节点) 、JobTacker (工作分配机) , 在每个Slave节点上, 部署DataNode (数据节点) 和TaskTracker (任务执行机) 。存储时客户端访问NameNode获取文件元数据, 并在DataNode里对文件数据进行实际的读取等操作;计算时JobTacker按照任务大小给每个具体执行计算任务的工作机分配任务, TaskTracker按照得到的任务执行计算, 并最终合并成一个计算结果提供给用户。Hadoop开源云计算框架如图1所示。
3 视频内容分发关键技术
视频内容分发技术大致可以分为客户/服务器 (C/S) 模式、内容分发网络 (Content Delivery NetWork, CDN) 和P2P (点对点共享传输) 模式以及P2P-CDN混合分发模式。
3.1 CDN相关技术
CDN的英文全称是Content Delivery Network, 即内容分发网络。CDN的关键技术主要包括内容路由技术、内容分发技术、内容存储技术、内容管理技术。如今在国内外已经有很多的企业和服务商开始使用CDN技术来提高网络服务质量, 以满足用户的需求。CDN是在现有网络基础设施之上新建一重叠网, 构筑一个地理位置分布的内容分发网络, 对信息流进行优化。它利用缓存、复制、负载均衡和客户请求重定向, 将信息资源推向网络边缘, 使用户可以从“最近最好”的服务器上快速访问到所需的内容, 从而大大提高终端用户的访问速度, 减轻网络负载。原理如图2所示。
CDN技术具有以下优点:全局负载平衡, 访问速度快;热点内容主动传送, 自动跟踪, 自动更新;无缝集成、高可靠、可用性以及扩展性;对网络带宽资源的占用较少, 具有智能的管理控制能力。
同时CDN也有局限性:虽然CDN子节点分担了主服务器的负载, 但中心节点仍然是整个系统的瓶颈, 大部分内容存储在中心节点, 一旦中心节点遭遇攻击而瘫痪, 将会导致整个系统无法正常运转。
3.2 P2P技术
P2P即Peer to Peer, 也就是端到端的对等传输。P2P技术将各个用户互相结合成一个网络, 共享其间的带宽、共同处理其中的信息。与传统的客户机-服务器模式 (C/S模式) 不同, P2P工作方式中, 每一个客户终端既是客户机又是服务器。P2P技术原理如图3所示。
采用P2P架构可以有效地利用大量普通计算设备的计算资源和带宽资源, 将计算任务或存储数据分布到所有结点上, 起到去中心化的目的, 使整个系统不再受到中心节点的限制, 最终实现高性能计算、高I/O能力、高带宽和海量存储。同时, 由于P2P的特性, 系统在大规模并发服务时凸显优势, 整体系统具备动态扩展能力, 整体系统的部署成本低, 系统效率高, 同时具有系统级的服务可靠性。但P2P技术在管理、安全性、稳定性、大量占用网络资源以及版权管理等方面存在明显缺陷。
4 基于Hadoop开源框架的视频内容分发平台设计
云计算如何应用于广电, 如何有效利用广电行业丰富的音视频内容资源, 使其高效、可管可控地在内容制作机构、电视台、播出机构以及用户之间“流动”起来, 既能够提高用户体验, 又能够节约资源共享成本, 还能够使资源得到多次的有效利用和再加工, 使丰富的内容资源成为再生内容资源, 我们做了如下思考:
基于Hadoop开源框架可以搭建底层云存储平台, 实现海量视频内容存储、高效管理以及原有的设备利旧;
利用Hadoop开源框架提供的系统API, 结合不同操作系统的磁盘映射技术, 可以设计中间层客户端 (Client) , 实现底层硬件平台对上层应用开发的无关性和松耦合;
应用层在前面两个层次的基础上结合CDN和P2P技术的特点, 可以实现视频内容不同地域、无障碍的高效视频内容分发、去中心化、负载均衡、低成本部署、可管理性、安全性、版权可控等功能。
在此基础上, 设计了如图4所示的基于Hadoop开源框架的视频内容分发平台。
节点分为硬件/系统层、中间层、应用层三个层次, 硬件/系统层由Hadoop分布式文件系统部署, 搭建底层云存储平台;中间层依据Hadoop开源框架提供的API搭建Client客户端, 以访问底层存储资源, 并采用磁盘映射方式映射到应用层所在的操作系统中, 向上为应用层提供访问接口;应用层无需考虑底层的具体实现, 基于中间层提供的访问接口开发各种应用, 如本平台设计的平台管理、DRM、内容分发三个模块。
平台设计时严格区分了控制信息流和数据传输流, 既保证了数据的安全可靠性, 同时还降低了中心节点的负担, 中心节点可以只承担平台管理功能, 具体的视频内容传输可以依靠分节点完成, 如果中心节点也需要承担视频分发任务, 可以把分发和管理两个功能模块分别指派给两个服务器集群来完成。
整个平台采用模块化的设计方式, 分别是海量视频内容存储模块、视频内容分发模块、平台管理模块、数字版权管理模块几个部分, 具体模块设计如下。
(1) 海量视频内容存储模块
模块采用基于Hadoop分布式文件系统 (HDFS) 来构建底层存储架构。客户端通过NameNode管理文件系统的元数据, 并通过元数据查找和使用实际存储在DataNode中的用户数据。DataNode采用副本方式保证用户数据的冗余, 保障数据安全。HDFS框图如图5所示。
(2) 视频内容分发模块
这里借鉴了CDN和P2P混合传输技术的特点和实现方式, 分发模块框图如图6所示。节点分处不同地域, 节目分发具有推送 (push) 和搜索下载 (pull) 两种方式。各节点均可对其他节点推送视频内容, 视频用户可以选择距离用户地最近的节点收看视频;各节点也可在全网范围内提起视频内容搜索下载, 中心节点会自动计算视频所在地信息和负载信息, 采用共享传输方式加速传输视频内容到视频搜索下载发起节点。
(3) 平台管理模块
管理模块主要实现如下功能:全网节点数据管理、处理节目分发/接收申请;动态监听全网各节点的实时在线状况、统计全网各边缘节点的节目分发/接收情况。各节点通过心跳机制定时向管理模块“汇报”情况, 包括节点编号 (Id) 、节点名称 (Name) 、节点地址 (IP地址) 、端口地址 (port) 、节点权重 (Weight) 、节点容量 (Capacity) 、节目数量 (Amount) 、在线信息 (Online/Offline) 、节点合法性 (注册/非注册) 等信息。另外边缘节点还需搭建本地数据库管理模块, 统计本节点所有的视频内容名称、大小、版权等信息。管理模块采用数据库 (SQLServer、MySql) 等具体实现, 模块框图如图7所示。
(4) 数字版权管理模块
数字版权管理模块借用了传统的DRM相关技术和概念, 结合云计算Map/Reduce编程模型, 高效地对海量视频数据进行加/解密, 实现大数据量视频文件并行式的数字版权管理。数字版权管理模块架构如图8所示。
5 结束语
Google、Amazon、苹果等公司对云计算的成功应用为我们揭示了云计算在未来通信/IT行业的美好前景, 目前国内中移动、中联通也纷纷加入了云计算的研究与应用行列。广电行业也在积极探索云计算在行业内的实际应用, 本文初步探索了云计算如何应用于视频内容分发, 希望能抛砖引玉, 与各方人士有更深层次的交流探讨。
摘要：本文分析了云计算的发展现状和Hadoop开源云计算框架, 分析了视频内容分发关键技术, 在此基础上提出了基于Hadoop开源框架的视频内容分发平台设计。
内容分发网络 篇6
本文提出一种基于混合云模式的数字内容分发平台。采用分层的云—端 (客户端) 计算 (Cloud-terminal Computing) 模式分散突发流量。该模式包括从平台进行的主推送、内容提供商作为从推送方, 必要的时候, 已有内容的客户端也可以被主平台选作可控的P2P推送方式。
如图1所示, 该拓扑结构基于分布式理念的互联云结构主要由主云 (供应方云) 和客户端云构成。供应方云主要是由运营商构成, 该平台可以采用IT云计算的理念主要进行Iaas的基础建设, 同时和诸多CP和SP的云服务提供商进行网际互联共同组成供应方云, CP和SP可以有针对性地进行PASS和SAAS建设。客户端云主要是通过和边缘服务器云进行连接来享受云计算服务。
2 供应方云和客户端云建模研究
假设: (1) 设整个过程中这h个文件被下载次数分别为m1≥m2≥……≥mh。记M=。
(2) 由于一般可以认为文件被下载的次数近似满足Zipf分布, 可以假定mi的分布也近似满足Zipf分布, 即, 其中C和-为常数。
(3) 假设视频业务的需求变化相对缓慢, 而且以前被请求的文件仍存在缓存中。
(4) 假设系统中可存储的文件有h个, 每个文件大小为G。
我们所建的模型主要从边缘CDN节点来进行分析, 上面为本文所要用到的参数列表, 假设整个网络中的CDN节点个数为n, 同时系统中所有的缓存总量为S;m=k/n, 总连接数除以CDN节点个数。
我们假设在某一个时刻某一个CDN节点上文件的用户数为m个, 我们假设某一个CDN节点此时正在工作, 那么直接命中从该CDN节点命中下载的用户b个和另外的c个用户共同使用下行带宽d, 相对于没有直接命中的c个用户, 共有n*c个用户来共同分享带宽e, 他们的下载时间为G*b/d+G*n*c/e, 则总体下载时间的期望为:
我们假定每个CDN节点的换存量是相等的, 则为S/n, 则可以存储S/h G个文件, 依据假设当前用户下载人数最高的就是缓存中存的S/h G个文件, 则我们可以得到
, 则我们可以假设当k比较大的时候我们可以得到下式:
结果只与参数有关系, 我们可以把=1视作一种特殊情况, 则我们继续计算得
则我们可以得到, 则我们得到了最后CDN总体下载的时间平均值,
, 其中有关。
由上式, 我们进行与实际情况得简单赋值可以得到tc与n, d, e, s的变化关系:tc随着n变大而变小, tc随着d变大而变小, tc随着s变大而减小。
表1 CDN模型参数列表
综合以上分析, 我们可以得出以本文提出的混合云计算网络拓扑结构中供应方云的性能与CDN网络中的节点个数、缓存总量、用户下行带宽和到服务器的下行带宽都成反比的关系, 这些性能恰恰决定了一个供应方的CDN网络的质量, 而在现实情况中电信运营商的供应方云的CDN网络架构, 在这几个方面都是由于从供应方云的, 所以我们可以得出结论, 由主云推送的期望时间要小于从供应方云。
3 客户端云建模分析
可控P2P的建模分析和一般P2P的建模分析区别是, 普通的P2P用户可以通过互联网进行无限制的下载, 而在可控p2p内部, 用户是通过自治域内通过一定的机制直接从其他用户处找到所需资源并开始进行下载并接收到自己所需要的业务内容;由于所采用的算法不同严重影响着业务推送的时间, 本文使用现如今比较通用的Bit Torrent (BT) 算法来进行建模研究, 在这里本文主要讨论下载的时间, 对节点的查找延迟在这里暂时忽略。
该模型使用到的参数列表如上图所示, 自治域内的用户数为n, 我们在这里假设这n个用户数上下行的带宽是一致的都为p, 每个用户的缓存容量也是相同的为G/n, 假设用户可以由两种途径下载到文件;
(1) 缓存中保存有完整该文件的用户;
(2) 某些下载比率比自己大的用户。
假定正在下载的用户已下载的部分符合均匀分布, 其中某个文件i的下载比率为r, 则可以从另外mi* (1-r) 个用户中进行下载。从我们要求的是期望来计算可以约等于有mi/2个用户可以提供下载, 由于在自治域内, 有G*mi/M的空间用于保存已接收到的第i个文件;所以我们可以计算出共有x处可下载文件i, x=mi/2+G*mi/M。
表2 P2P模型参数列表
我们希望求得的是每个下载的平均时间, 在模型中我们假设了每个用户的带宽为p, 这里的上传带宽总共有xp, 在这里其他M-mi个连接假设平均分配给了A个用户, 所以总的下载连接数为mi+ (M-mi) *x/n, 下载的速度可以表示为px/ (mi+ (M-mi) *x/n) , 所以我们可以得到第i个文件的下载时间期望为:TP=G (mi+ (M-mi) *x/A) /px, 于是我们得到了P2P下载时间的平均值为:;这个式子TP可以利用求导来进行分析。由式子我们可以分析出自自治域内P2P的平均下载时间综上所述, 我们得到了在整个网络拓扑结构中从供应方云和客户端云得到服务的响应时间, 接下来我们研究响应时间和各个参数之间的相互影响关系;为了方便我们的分析, 我们假设G=1, A=50, P=1, M=100;我们将G=1, A=50 P=1, M=100, mi=10进行简单赋值来得出tp与Gp的关系。
4 结语
由CDN网络中的性能分析, 我们可以得出供应方云的性能与CDN网络中的节点个数、缓存总量、用户下行带宽和到服务器的下行带宽都成反比的关系, 这些性能恰恰决定了一个供应方的CDN网络的质量, 而在现实情况中电信运营商的供应方云的CDN网络架构, 在这几个方面都是由于从供应方云的, 所以我们可以得出结论, 由主云推送的期望时间要小于从供应。
内容分发网络 篇7
作为与广播电视网络同呼吸共命运的一名基层员工, 从2000年至今, 常常为广播电视网被通信网和互联网拉开发展差距而着急, 常常梦想广播电视网的发展能够更好更快更强, 并深深地感到在埋头钻研工程技术细节的同时, 也需要抬头立脚眺望科学发展方向路线。
2007年的三网融合试点起始阶段, 面向三网融合发展趋势, 作者对有线电视干线网和接入网的业务发展进行了思考, 认识到有线网向网络互联互通、服务融合、产业生态发展的重要性。8年过去了, 有线电视网的发展还是困难重重, 差距还是继续被拉大。这种困难现象的原因在哪里?在三网融合推广阶段的互联网+大数据浪潮中, 有线网需要如何创新突破?IP化大流量数据时代的流量经营策略, 是本文思考与探讨的重点。
2 困难问题关注
有线电视网络近年来在发展中显现出了一些困难, 犹如迷局, 需要同仁关注与思考。其中部分难题表现在以下方面。
(1) 有线数字电视与模拟电视用户流失量增大。而电信运营商IPTV的用户规模已达近4000万户, 且增速不减。互联网电视 (OTT TV) 的用户规模也在加速增多。
(2) 有线电视互联网的接入用户规模增长乏力, 有些区域甚至呈用户数负增长, 整体规模徘徊在小千万户量级。而电信运营商互联网的接入用户早已远超1亿户, 且还在稳定增长中。
(3) 有线电视网与广播电视网络台、兄弟网络合作的难度大。广播电视台在全媒体化和网络融合化的推进过程中, 更多使用电信运营商的网络和IDC机房。有线网在开展跨区域网络业务和互联互通工作中, 兄弟网络合作的难度不小。
(4) 有线网在国家经济技术行业发展“互联网+”的行动中影响力微弱。“互联网+”、物联网、大数据行动, 将深刻影响着国家经济技术行业的发展形势, 将成浪潮态势。
概括上述问题, 即电视用户易流失、互联网用户难增长、媒体内容难合作、产业生态影响力弱。
3 迷局原因浅析
上述难题是有线电视网发展速度慢的表面现象, 其形成原因是多方面的, 也包括有线网自身原因。其中根本性的原因可归结为以下几个方面。
(1) 有线电视接入网自身的原因包括:在宽频谱多频道的优势被光接入网高速率特长缩小, 综合业务捆绑营销价格拼不过电信运营商, 个性化视频与应用提供能力没有OTT服务商强。
(2) 有线电视网互联网接入“提速降价”能力弱。有线电视网的互联网内容池弱小, 无法改变电信运营商对互联网接口价格与互联质量的绝对控制, 没有互联端口价格的话语权。
(3) 有线电视网在IDC机房、骨干数据网和内容分发网 (CDN) 等互联网基础设施建设方面严重滞后或缺失, 已有机房设施、数据网络相比电信运营商处于绝对劣势地位, 不仅互联网网站难于合作, 就是广播电视网络电视台也难于合作, 造成互联网内容池难于形成规模。自身没有内容和业务让兄弟有线网在合作中受益, 使得互联互通合作难度增大。
(4) 长期以来, 多数有线电视网对服务政企集团用户和行业用户方面关注度低, 没有能够在产业合作中整合资源形成产业优势, 没有形成产业应用集成创新能力, 使得有线网的应用增值服务创新能力弱。深究其原因是思维格局问题。
概括上述问题, 即综合服务创新能力不足、互联网服务成本价格难于降低、互联网内容服务基础设施落后。
4 创新思维, 加强内容分发资源建设
思维决定方式、决心决定力度, 行动决定格局。
4.1 创新思维爆发开拓力
互联网思维是推进有线电视网发展创新的有力武器。互联网思维中的用户思维、迭代思维、流量思维、社会化思维、平台思维、跨界思维都对改革创新极有帮助。其中, 互联网公司普遍使用却隐而不说的基础性一条是“复制创新思维”, 即“走别人的路, 比别人走得更好, 让别人走不下去”。复制创新思维是互联网创业者在模仿与复制的进程中进行融合创新, 成功地比被模仿者走得更好, 如百度对谷歌的模仿创新、淘宝对亚马逊的模仿创新、QQ对OICQ的模仿创新等, 这种思维是在发展困境中爆发的创新开拓力。P2P下载直播, 省去带宽租用费用、自建CDN降低带宽租用费用、电子商务物流降低交易成本、微信降低通信成本等, 是典型的创新案例。
在发展困境中, 有线电视网需要互联网思维助力爆发创新开拓力。
4.2 加强内容分发资源建设
上述有线电视网发展中的难题及其原因, 易看明白, 但要改变会困难重重。这些年来, 道理大家都明白, 但要拿出有效行动, 往往需要“智慧的创新思维、坚定的发展决心和高效的措施执行”。
加强云媒体内容中心、智能融合CDN和应用增值产业生态建设, 是爆发创新开拓力的关键所在, 是有线电视网走出困境迷局的基础。
云媒体内容中心是基于云计算技术构建的新一代绿色生态数据中心, 具有敏捷地提供按需使用计算、存储、网络等资源池能力的优势。通过虚拟化技术, 可以同时作为媒体内容中心 (MCC) 、互联网数据中心 (IDC) 和行业虚拟数据中心 (VDC) 使用, 形成集成融合媒体内容、互联网内容、“互联网+”产业应用内容和物联网数据的巨量内容池资源。云媒体内容中心的内容池资源, 将会有助于从根本上解决广播电视整个行业在广播电视网络电视台全媒体融合发展、有线电视互联网宽带接入、“互联网+”产业合作和网络视听安全监管的瓶颈和困局。
智能融合CDN是互联网宽带数据的加速器, 具有提高广播电视网络视听节目传送效率、提高用户互联网服务体验质量水平、降低网络比特成本等方面的优势, 是智能广播电视网建设的重要组成部分。智能融合CDN将有助于从根本上树立广播电视网在网络视听媒体服务方面的核心竞争力。
应用增值产业链建设是广播电视网服务“互联网+”产业发展的重要举措, 将使广播电视网在发挥国家信息基础设施作用的过程中, 构建出产业应用增值的生态圈。
运用互联网思维加强云媒体内容中心与智能融合CDN的建设力度, 是夯实创新发展的基础。改革开放的实践证明——“缺资金、缺人才、缺地方那不是事, 缺思维、缺方法、缺机制那才是事”。
5 流量经营的内涵作用思考
在有线电视网向综合数字电视信息服务发展的过程中, 流量经营是发展创新的重要举措。
5.1 流量经营内涵
流量经营是以智能广播电视网络和媒体内容集成分发平台为基础, 以扩大流量规模、丰富流量内涵、提升流量层次为经营方向, 以提高流量价值为目的的网络运营模式。
5.2 走向流量经营
在三网融合IP化浪潮中的“互联网+”时代, 社会各行业将会产生越来越大的数据量, 无论是通信网、互联网还是有线电视网, 都将承载越来越多的数据流量。流量经营将成为网络运营服务的关键。
在互联网行业中, 流量经营被普遍采用, 是激发用户流量并扩大流量规模而产生经营效益与发展力量的有效方法。在通信网行业中, 流量经营是运营商经过“网络带宽扩容速度赶不上流量增长速度、网络建设投资加强而单位带宽收益下降的剪刀差扩大”的痛苦教训后, 在移动互联网时代创新的网络经营模式, 目标是提升流量层次内涵和提高流量价值收益。流量经营是网络从粗放式运维到精细化运营的有力工具, 是网络业务创新与转型升级的重要抓手。
有线电视网行业, 将在互联网与通信网的竞争压迫中走向流量经营, 不管愿不愿意, 市场技术发展规律就在那里等候着。
5.3 流量经营作用
流量经营, 是有线电视网面向用户个性化需求、适应三网融合竞争规律、抓住“互联网+”发展机遇、向综合数字电视信息服务转型发展中的关键, 对有线电视网的发展具有重要作用, 主要表现在以下方面。
(1) 有助于家庭用户增值业务发展。以智能电视操作系统 (TVOS) 为核心的机顶盒和家庭网关基础, 加上本地应用服务交付平台 (LASDP) 的作用, 将为融合智能电视业务和智能家居服务提供强大的集成创新平台, 有助于增值应用业务的发展和用户流量的激发, 进而扩大整体流量规模。
(2) 有助于有线双向接入网的精细化运营。家庭用户的流量增长, 对接入网提出了大带宽的需求。在同轴电缆双向网络接入速率提升受限, 特别是保护已有投资的情况中, 在深度挖掘接入网服务潜力的需求下, 精细化运营变得更为重要, 将促进智能网络技术的应用。
(3) 有助于激发媒体内容中心的价值潜力。流量经营提供了公平公正的流量价值标杆, 将使媒体内容中心的媒体内容、信息数据和应用服务得到客观的收益回报, 促进内容、数据和应用的持续价值提升, 推进媒体内容中心的互联互通。
(4) 有助于广电干线网建设与精细化运营。广电干线网数据流量的大数据分析, 有助于干线网在需要的地方进行传输带宽扩容。在提升流量价值、提高流量收益和降低运营成本的驱动下, 流量经营将从流量调度、流量调优和流量控制等方面助力精细化运营, 降低或消除流量浪费。
(5) 有助于重塑有线电视网的价值模式和商业模式。
(6) 有助于流量采集计费系统和运营服务支撑体系的重构。
流量经营是有线电视向综合数字电视信息服务转型发展中的重要举措, 将有助于有线电视网流量价值的提升和服务能力的提高。
6 加强流量经营应用的举措思考
智能网络、内容经营和服务支撑是流量经营的三大基础。推进有线电视网应用流量经营, 需要加强智能网络、内容经营和服务支撑三方面的建设。
6.1 加强智能网络基础设施建设
加强智能网络建设, 就是要增强网络的敏捷性和弹性, 能够根据流量需求变化, 敏捷地提供网络资源。建设智能网络的技术举措主要包括以下方面。
(1) 建设智能融合内容分发网, 对媒体内容进行智能分发。
(2) 建设智能DNS系统, 对媒体内容进行调度。
(3) 采用软件定义网络 (SDN) 技术构建, 敏捷地使用网络资源。
(4) 采用网络功能虚拟化 (NFV) 技术构建, 使网络资源弹性可用。
6.2 加强内容经营基础设施建设
加强内容经营基础设施建设, 就是建设成以云媒体内容中心为核心依托的内容资源池, 聚合媒体内容, 丰富流量层次。加强内容经营基础设施建设的技术举措主要包括以下方面。
(1) 采用云计算、SDN、NFV等新兴技术, 构建云媒体内容中心, 按需形成媒体内容中心 (MCC) 、互联网数据中心 (IDC) 和行业虚拟数据中心 (VDC) 资源。
(2) 构建成弹性的计算、存储、网络资源池, 按需提供云服务。以用户需求为导向, 提供公共云、专用云和混合云等服务。
(3) 聚合丰富的媒体内容资源。
(4) 聚合丰富的增值应用服务资源。
6.3 加强流量经营支撑系统设施建设
流量经营支撑能力是流量经营的关键, 其建设技术举措主要包括以下方面。
(1) 建设深度流量包检测 (DPI) 系统, 在网间互联互通接口、云媒体内容中心、用户流量汇聚中心等部分进行部署, 对流量内容进行监测和数据采集, 提供给运营计费 (OSS) 、大数据分析 (Big Data) 、流量调度和流量风险管控等系统使用。
(2) 建设运营计费系统, 对流量进行计量计费。
(3) 建设大数据分析系统, 对流量特征进行分析, 供流量经营和第三需求方使用。
(4) 建设流量调度管理系统, 对网络流量进行调度。
(5) 建设流量风险管控系统, 对攻击流量风险进行管控, 以采取防DDOS攻击和流量清洗措施, 保证流量安全和流量质量。
6.4 加强流量精细化经营管理
加强流量精细化经营管理, 就是做到扩大流量规模、丰富流量内涵、提升流量层次和提高流量价值的有机统一, 是流量经营的综合实现。在有线电视干线网络中, 加强流量精细化经营管理主要包括以下方面。
(1) 流量内网化、本地化经营。采取以智能DNS为主的流量调度手段, 对用户的流量需求和流向进行调度管理, 尽量使流量在自治域内和本区域网内进行调度。该措施不仅提高了用户的体验质量水平, 而且将流量留在网内, 减少了网间流量, 降低了网络出口成本。
(2) 流量调度和优化管理。采取软件定义网络 (SDN) 、路由分析与路径优化等技术, 对网络流量进行均衡调度和优化, 以减少流量拥堵丢失并提升用户服务体验质量。该措施可减少流量堵塞、流量重复, 减小流量浪费, 间接地提升了网路的流量价值。
(3) 流量风险管控。采取流量深度包检测 (DPI) 、防DDOS攻击和流量清洗措施, 从路径和源头上清洗攻击流量, 减小网络无用流量, 进而提升流量价值。
智能网络、内容经营和服务支撑等流量经营基础设施建设, 将提升网络精细化的经营管理水平, 促进提升流量价值目标的实现。
7 结束语
为了更多参与交流沟通, 原本草拟为《基于软件定义网络 (SDN) 技术的云媒体内容中心互联互通 (DCI技术研究》, 是纯粹性的技术论文。写作过程中, 有感于有线电视网行业对有线宽带数据网、互联网数据中心 (IDC) 、内容分发网络 (CDN) 等互联网基础建设的重视程度不够和建设力度不足, 心中很是着急感慨, 更感觉到创新思维决心突破对有线网发展创新的重要性与急迫性, 故而写作了这篇理念为主的论文, 期望能抛砖引玉以供同仁参考。本篇论文的流量经营体会, 可能3~5年后有线网才能感同身受, 有点超前。但如果有线电视网想要加快追赶通信网的发展步伐, 期望弯道超车, 那更大的改革创新力度与更快的建设发展速度是必不可少的, 本文就值得细致地阅读和认真地思考。
参考文献
[1]张建生.有线电视干线网在“三网融合”中的网络转型和业务创新探索[J].世界宽带网络, 2007, 14 (10) .
[2]张建生.有线电视城域接入网业务发展分析[J].世界宽带网络, 2008, 15 (1) .
[3]张建生.云媒体内容中心创新发展探索[J].电视技术, 2014, 38 (6) :7-12.
[4]张建生.融合创新家庭云的需求研究[J].电视技术, 2014, 38 (18) :23-27.
[5]张建生.本地应用服务交付平台的应用场景和总体要求研究 (全英文版) [J].电视技术, 2015, 39 (13) :58-64.
[6]张建生.本地应用服务交付平台 (LASDP) 的功能架构要求研究 (全英文版) [J].电视技术, 2015 (14) :37-44.
[7]张建生.创新融合智能电视服务, 探索智能家庭网络发[J].广播电视信息, 2015 (7) :56-58.
内容分发网络 篇8
1 流媒体技术
流媒体指在internet/intranet中使用流式传输技术的连续时基媒体,如:音频、视频或多媒体文件,它在播放前并不下载整个文件,只将开始部分内容存入内存,其他的数据流随时传送随时播放,只是在开始时有一些延迟,其关键技术就是流式传输。
2 CDN工作原理
CDN的英文全称是Content Delivery Network,即互联网内容发布网络。一种新型的网络构建方式,它采用分布式缓存/复制、负载均衡、流量调度和客户端重定向等技术,设立若干分支节点,尽量将用户请求的内容缓存到距离用户“最后一公里”的边缘节点上用户可以在“最近”的位置快速访问到所需的内容,大大提高了终端用户的访问速度和服务质量;从广义的角度,CDN代表了一种基于质量与秩序的网络服务模式。内容发布网是一个经策略性部署的整体系统,包括分布式存储、负载均衡、网络请求的重定向和内容管理4个要件,而内容管理和全局的网络流量管理(traffic management)是CDN的核心所在[1]。
3 农业信息化系统的设计及内容分发的研究
3.1 农业信息化平台架构
该门户网站主要是关注的是“农业、农村、农民”,其主要内容(见图1)都是与农民群众相关系、农民群众关心的。其中信息的提供主要以流媒体的方式提供,能够进行收看实时新闻、了解市场动态、进行视频教学等。农民可以通过点播视频学习到最新的养殖、种植等先进技术,这样可以新技术更快更直观更有效的在农民群众中普及,这样可以减少人力物力,又能更好的提高农民的知识水平。
3.2 农业信息服务系统的总体结构
该系统中用户的终端通过接入农业信息门户网站浏览信息,当查询到用户想要的多媒体信息时进行浏览、点播或下载,用户的请求经过综合业务管理子系统的认证和处理后交给流媒体内容分发服务子系统,内容分发服务子系统接受请求后将流媒体信息发往申请该信息的用户,三个子系统之间通过网络进行连接通信,而移动终端则需经过移动通讯网络通过专用设备接入到IP网络,其他用户终端则直接接入到IP网络中。该系统中运用了多种连接方式,农民可通过电脑、电视、手机全方位的获得农业信息,政府部门也可以通过农业信息门户网站将信息发布到网上,使得农民能够及时的了解最新资讯,这样即能增加政府与农民之间的互动,又能给互相带来极大的方便。
3.3 系统内容分发网的选择与内容分发的策略
3.3.1 内容分发
构建一个覆盖该地区的流媒体内容发布网,我们选择了一种基于CDN的移动流媒体内容分发网络MSM-CDN。它是一种覆盖在现有IP网络上的复合虚拟网络,它通过设置边缘服务器实现端到端的媒体传输以及网间的媒体业务。MSM-CDN能够提高了端到端的流媒体传输的性能,向大规模移动用户提供流媒体传输业务,是实现移动流媒体技术的基础,它具有资源利用率高及时间延迟小等优点[2]。
该系统中CDN子系统的设计目标是通过将媒体内容缓存于离用户较近的缓存代理服务器以提高客户端的访问质量,同时减轻流媒体对骨干网络上带宽的消耗(传输成本)。对于Internet网络中的流媒体内容发布,可以使用基于内容访问量的策略来进行流媒体内容的发布。内容访问量存在两种情况:绝对内容访问量和相对内容访问量。对于绝对内容访问量,即在某一定长的时间内,若某个内容的访问量大于门限值则将该内容分发到所有节点缓存服务器中,否则不予分发。对于相对内容访问量,若两个相同的时间段内,对某个流媒体内容的访问量存在一个增量△V,当△V大于门限值△M且大于0时,表明该内容在此时不仅受欢迎的程度有所提高而且受欢迎的程度提高的很快,此时,将内容对所有节点的缓存服务器进行分发[3]。
3.3.2 分发策略
农业信息要求信息报道的及时性,预测性,区域性。根据农业信息发布的特点给出流媒体内容分发策略:
首先由内容分发模块控制信息中心内容服务器向不同的地域分发与该地区相关的农业流媒体信息内容,地域级CDN节点获得的节目内容再下分到边缘缓存服务器中,所有这些信息的初始访问记录为0。这样,与该地区有关的流媒体内容例如农情动态、价格行情、供求关系等多媒体内容就被分配在各个不同地域的节点上了。在移动流媒体内容分发网络MSM-CDN中,根据内容访问量的大小,来考虑删除边缘服务器上缓存的流媒体内容以释放被流媒体内容占用的边缘缓存服务器的存储空间。
由于访问记录为0的流媒体内容可能存在两种情况:即刚刚分发下来的内容和已经分发了很长时间的内容。对于分发时间小于定长时间T且访问记录为0的内容,先不予删除。对于抽过一定长的时间T之后,访问记录始终为0的内容,直接将其删除。而访问记录不为0的内容,在经过了某个定长时间之后,我们采取下面的基于内容绝对访问量V的边缘缓存服务器容量保留策略来筛选服务器中的内容。
设在CDN一个网络中,有N个边缘缓存服务器,分别为edge cache1,edge cache2…edge cacheN,每个边缘缓存服务器上有N(i),i=1,…i=N个内容,且均不相同。
对于edge cache1上的内容C1,在时间间隔T内有V1个用户访问它(不计重复访问次数),内容C1的绝对访问量V=V1,这时C1的访问度VD=V=V1,设绝对访问量门限值为M(判断是否删除边缘缓存服务器中的内容),若内容C1访问度小于M值则说明该内容不被关注,我们就将该内容删除并分发新的内容,反之则保留该内容。对于其他边缘缓存服务器也采取同样措施。其中T、M的值要根据网络状态、该地上网总的用户数以及用户的访问频率来决定。
4 结束语
本文介绍了流媒体技术以及CDN技术,并建立了农业信息化平台及总体架构,将内容分发机制引入到移动流媒体、IPTV系统中,形成以CDN为可靠的内容核心,探讨了系统中内容分发的策略,有效提升CDN服务能力,使用户访问媒体的质量得到了极大的提高,能够通过更多途径、更快捷的获得农业方面相关信息。希望通过互联网中的各种技术使得我国农业技术能够更快的在农民群众中普及,提升农民群众的农业知识和水平。
摘要：为了保证广大农民能够获得最新最先进的农业信息与知识,该文给出了农业信息化系统的门户网站以及农业信息化系统总体结构的设计,该设计架构有着更好的灵活性、可扩展性并且支持多种网络终端设备。并阐述了该系统中的内容分发网的选择与内容分发的策略,有效的提高了访问媒体的质量。
关键词：流媒体,内容分发,农业信息化
参考文献
[1]廖利,陈莹.CDN技术在流媒体中的应用[J].福建电脑,2007(8).
[2]杨波.流媒体系统的关键技术研究[D].北京邮电大学,2006.
[3]王樟,柳健,杨瑞娟.CDN网络中的内容分发策略研究[J].中国数据通信,2004,6(2):13216.