视频内容分发平台论文（共5篇）
视频内容分发平台论文 篇1
1 概述
继个人计算机变革、互联网变革之后, 云计算被看作第三次IT浪潮, 是战略性新兴产业的重要组成部分, 云计算带来了生活、生产方式和商业模式的根本性变革, 成为了当前全社会关注的热点。云计算具有分布式海量存储、资源配置可伸缩性、易于部署、高性价比等特性。
一直以来, 广播电视行业作为视频业务的提供者和拥有者, 积累了大量的视频数据, 并且拥有的视频数据还在呈几何性增长。随着技术的进步和三网融合进程的加快, 国际上谷歌、苹果、微软, 国内电信、互联网电视终端的知名企业都在尝试对用户收看电视方式进行创新, 电视正在从广播式传输向互联网化转变, 未来人们使用电视的方式将完全改变, 不再是拿着遥控器, 在频道之间来回转换而是随时随地地观看自己想要的内容, 电视产业链的重心在向用户端转移, 这将给传统电视行业带来颠覆性的冲击。面对这种巨大冲击, 广播电视内容分发方式发生了转变:不仅要面向播出机构分发视频内容, 还需向跨网络、跨终端、面向个人用户、快速分发等方式转变;不仅要线性播出视频内容, 还需向为用户提供海量视频点播、视频检索、智能推送等新的服务方式转变。因此, 研究并设计一种基于云计算的节目内容分发平台架构, 既可以利用现有的媒资管理平台使得设备利旧等问题得以解决, 又可以丰富视频内容分发的业务模式, 为云计算应用于广电行业探索一条可行的路径。
2 Hadoop开源云计算框架
开源技术在云计算中的应用非常普遍。开源技术的免费特性是其在云计算中广泛应用的原因之一, 更重要的原因是开源技术能够帮助开发者围绕一个项目建立一个社区, 从而推动云计算的快速创新和应用。开源技术给云计算带来的是更加开放和灵活的构建方法, 而不会给云计算带来锁定。因此很多互联网企业、IT知名公司都致力于开源云计算技术的研究和应用, 甚至直接构建基于开源技术的云计算平台, 例如:Hadoop开源框架是Google公司著名的GFS、MapReduce对应的开源实现, 雅虎公司的云平台就是使用Hadoop开源框架作为其基础平台;Enomaly开源平台提供了一个功能类似于Amazon (亚马逊) EC2的云计算框架;还有诸如Eucalyptus、Sector and Sphere等一些业内非常有名的云计算开源平台。
Hadoop是Apache开源组织的一个分布式计算框架, 可以在大量廉价的硬件设备组成的集群上运行应用程序, 为应用程序提供了一组稳定可靠的接口, 旨在构建一个具有高可靠性和良好扩展性的分布式系统。随着云计算的逐渐流行, 这一项目被越来越多的个人和企业所运用。Hadoop的核心是HDFS、MapReduce和HBase, 它们分别是Google云计算最核心技术GFS、MapReduce和Bigtable的开源实现。
不管是分布式计算还是分布式存储, Hadoop开源框架均使用主/从 (Master/Slave) 架构。其原理是在Master节点上运行NameNode (名称节点) 、Secondary NameNode (备用名称节点) 、JobTacker (工作分配机) , 在每个Slave节点上, 部署DataNode (数据节点) 和TaskTracker (任务执行机) 。存储时客户端访问NameNode获取文件元数据, 并在DataNode里对文件数据进行实际的读取等操作;计算时JobTacker按照任务大小给每个具体执行计算任务的工作机分配任务, TaskTracker按照得到的任务执行计算, 并最终合并成一个计算结果提供给用户。Hadoop开源云计算框架如图1所示。
3 视频内容分发关键技术
视频内容分发技术大致可以分为客户/服务器 (C/S) 模式、内容分发网络 (Content Delivery NetWork, CDN) 和P2P (点对点共享传输) 模式以及P2P-CDN混合分发模式。
3.1 CDN相关技术
CDN的英文全称是Content Delivery Network, 即内容分发网络。CDN的关键技术主要包括内容路由技术、内容分发技术、内容存储技术、内容管理技术。如今在国内外已经有很多的企业和服务商开始使用CDN技术来提高网络服务质量, 以满足用户的需求。CDN是在现有网络基础设施之上新建一重叠网, 构筑一个地理位置分布的内容分发网络, 对信息流进行优化。它利用缓存、复制、负载均衡和客户请求重定向, 将信息资源推向网络边缘, 使用户可以从“最近最好”的服务器上快速访问到所需的内容, 从而大大提高终端用户的访问速度, 减轻网络负载。原理如图2所示。
CDN技术具有以下优点:全局负载平衡, 访问速度快;热点内容主动传送, 自动跟踪, 自动更新;无缝集成、高可靠、可用性以及扩展性;对网络带宽资源的占用较少, 具有智能的管理控制能力。
同时CDN也有局限性:虽然CDN子节点分担了主服务器的负载, 但中心节点仍然是整个系统的瓶颈, 大部分内容存储在中心节点, 一旦中心节点遭遇攻击而瘫痪, 将会导致整个系统无法正常运转。
3.2 P2P技术
P2P即Peer to Peer, 也就是端到端的对等传输。P2P技术将各个用户互相结合成一个网络, 共享其间的带宽、共同处理其中的信息。与传统的客户机-服务器模式 (C/S模式) 不同, P2P工作方式中, 每一个客户终端既是客户机又是服务器。P2P技术原理如图3所示。
采用P2P架构可以有效地利用大量普通计算设备的计算资源和带宽资源, 将计算任务或存储数据分布到所有结点上, 起到去中心化的目的, 使整个系统不再受到中心节点的限制, 最终实现高性能计算、高I/O能力、高带宽和海量存储。同时, 由于P2P的特性, 系统在大规模并发服务时凸显优势, 整体系统具备动态扩展能力, 整体系统的部署成本低, 系统效率高, 同时具有系统级的服务可靠性。但P2P技术在管理、安全性、稳定性、大量占用网络资源以及版权管理等方面存在明显缺陷。
4 基于Hadoop开源框架的视频内容分发平台设计
云计算如何应用于广电, 如何有效利用广电行业丰富的音视频内容资源, 使其高效、可管可控地在内容制作机构、电视台、播出机构以及用户之间“流动”起来, 既能够提高用户体验, 又能够节约资源共享成本, 还能够使资源得到多次的有效利用和再加工, 使丰富的内容资源成为再生内容资源, 我们做了如下思考:
基于Hadoop开源框架可以搭建底层云存储平台, 实现海量视频内容存储、高效管理以及原有的设备利旧;
利用Hadoop开源框架提供的系统API, 结合不同操作系统的磁盘映射技术, 可以设计中间层客户端 (Client) , 实现底层硬件平台对上层应用开发的无关性和松耦合;
应用层在前面两个层次的基础上结合CDN和P2P技术的特点, 可以实现视频内容不同地域、无障碍的高效视频内容分发、去中心化、负载均衡、低成本部署、可管理性、安全性、版权可控等功能。
在此基础上, 设计了如图4所示的基于Hadoop开源框架的视频内容分发平台。
节点分为硬件/系统层、中间层、应用层三个层次, 硬件/系统层由Hadoop分布式文件系统部署, 搭建底层云存储平台;中间层依据Hadoop开源框架提供的API搭建Client客户端, 以访问底层存储资源, 并采用磁盘映射方式映射到应用层所在的操作系统中, 向上为应用层提供访问接口;应用层无需考虑底层的具体实现, 基于中间层提供的访问接口开发各种应用, 如本平台设计的平台管理、DRM、内容分发三个模块。
平台设计时严格区分了控制信息流和数据传输流, 既保证了数据的安全可靠性, 同时还降低了中心节点的负担, 中心节点可以只承担平台管理功能, 具体的视频内容传输可以依靠分节点完成, 如果中心节点也需要承担视频分发任务, 可以把分发和管理两个功能模块分别指派给两个服务器集群来完成。
整个平台采用模块化的设计方式, 分别是海量视频内容存储模块、视频内容分发模块、平台管理模块、数字版权管理模块几个部分, 具体模块设计如下。
(1) 海量视频内容存储模块
模块采用基于Hadoop分布式文件系统 (HDFS) 来构建底层存储架构。客户端通过NameNode管理文件系统的元数据, 并通过元数据查找和使用实际存储在DataNode中的用户数据。DataNode采用副本方式保证用户数据的冗余, 保障数据安全。HDFS框图如图5所示。
(2) 视频内容分发模块
这里借鉴了CDN和P2P混合传输技术的特点和实现方式, 分发模块框图如图6所示。节点分处不同地域, 节目分发具有推送 (push) 和搜索下载 (pull) 两种方式。各节点均可对其他节点推送视频内容, 视频用户可以选择距离用户地最近的节点收看视频;各节点也可在全网范围内提起视频内容搜索下载, 中心节点会自动计算视频所在地信息和负载信息, 采用共享传输方式加速传输视频内容到视频搜索下载发起节点。
(3) 平台管理模块
管理模块主要实现如下功能:全网节点数据管理、处理节目分发/接收申请;动态监听全网各节点的实时在线状况、统计全网各边缘节点的节目分发/接收情况。各节点通过心跳机制定时向管理模块“汇报”情况, 包括节点编号 (Id) 、节点名称 (Name) 、节点地址 (IP地址) 、端口地址 (port) 、节点权重 (Weight) 、节点容量 (Capacity) 、节目数量 (Amount) 、在线信息 (Online/Offline) 、节点合法性 (注册/非注册) 等信息。另外边缘节点还需搭建本地数据库管理模块, 统计本节点所有的视频内容名称、大小、版权等信息。管理模块采用数据库 (SQLServer、MySql) 等具体实现, 模块框图如图7所示。
(4) 数字版权管理模块
数字版权管理模块借用了传统的DRM相关技术和概念, 结合云计算Map/Reduce编程模型, 高效地对海量视频数据进行加/解密, 实现大数据量视频文件并行式的数字版权管理。数字版权管理模块架构如图8所示。
5 结束语
Google、Amazon、苹果等公司对云计算的成功应用为我们揭示了云计算在未来通信/IT行业的美好前景, 目前国内中移动、中联通也纷纷加入了云计算的研究与应用行列。广电行业也在积极探索云计算在行业内的实际应用, 本文初步探索了云计算如何应用于视频内容分发, 希望能抛砖引玉, 与各方人士有更深层次的交流探讨。
摘要：本文分析了云计算的发展现状和Hadoop开源云计算框架, 分析了视频内容分发关键技术, 在此基础上提出了基于Hadoop开源框架的视频内容分发平台设计。
关键词：云计算,Hadoop开源,视频内容分发平台,云存储平台
视频内容分发平台论文 篇2
凭借符合行业标准的硬件，摩托罗拉B-3视频服务器具有高性能、高扩展性及卓越的容错能力，可为视频点播、时移电视、广告插播、网络数字视频录像机（nDVR）和其他高级业务提供加强型支持。B-3服务器能够支持从几百到3000多条视频流，能够配置为含集成内容库的独立服务器。此外，B-3还可以作为边缘服务器与B-1一起部署，充当共享的中央内容库。B-3将在2009年第二季度初正式面市。
随着对视频点播和大型内容库不断增长的需求，运营商需要高度灵活、能够满足用户变化需求的点播网络。面对这一趋势，摩托罗拉将自适应媒体管理（AMM）融入其点播产品组合中。AMM的算法是基于来自160台B-1服务器、全球90多万个的流媒体数据的分析结果开发而成。利用AMM，CPS1000内容分发系统能够分发内容、在网络上分配流媒体资源，以及实现多台服务器之间的内容库共享。AMM允许B-1和B-3服务器采用适合的存储和流播放技术，以优化流媒体和网络资源，降低存储成本，为消费者提供所需要的内容。
视频内容分发平台论文 篇3
为了提高视频点播性能和解决骨干网拥堵问题,众多的视频网站采用CDN来改善其服务质量。CDN网络能够有效缓解流媒体对骨干网络带宽带来的压力,提升流媒体服务质量。但CDN系统存在服务器过载和资源瓶颈问题,而且边缘服务器的处理能力、内容存储容量、负载调度能力等都会因用户的增加而产生扩容的需求。因此,在内容分发网络环境下,为提高视频网站的服务性能,对流媒体服务特性进行深入研究变得十分必要。
目前对原创共享视频的研究工作主要集中在数据测量上,以及对这些数据进行分析。数据测量方法有两种,一是采用网络爬虫方式获得[1,2,3];另一种是从网络设备中被动测量获得视频的流量数据[4]。对于视频数据的分析主要集中在视频热度特征分析[1,5]、用户原创视频热度预测模型[7]以及视频之间的关联研究[2,6]。关于视频的热度分析,文献[1-2]中提出使用用户的点击数来表示,并且描述了点击数符合幂律分布。本文提出综合多个指标对热度进行分析,可以更好地预测热度在未来的变化趋势,通过实验得出热度指标随着视频上传时间的增加趋于稳定的变化趋势。该结论可以很好地为CDN网络的缓存策略提供决策依据。
1 数据集
YouTube是全球最大的用户原创视频分享网站,作为当前行业内最成功、实力最强、影响力颇广的在线视频服务提供商,YouTube的系统每天要处理上千万个视频片段,为全球成千上万的用户提供高水平的视频上传、分发、展示、浏览服务。网站的用户可以直接观看视频,也可以上传无限制数量的影片。目前YouTube提供10亿不同的视频,而且每天以65 000个的上传速度在增加。YouTube在2011年的最新统计发现平均每分钟上传的视频长度总和达48 h之多。
实验测试数据是通过YouTube提供的API,利用网络爬虫的技术采集视频文件的元数据。通过24 h的数据收集,共获取视频310 005个,持续时间为72 984 s,表1列出了视频文件的元数据示例。其中,上传时间为视频从上传到数据收集时的天数。投票得分为视频的平均得分,取值为1~5。相关视频列出了20个最相关的其他视频ID。
整个数据收集过程是基于广度搜索思想,将所有的YouTube视频看成是图中的节点,它们之间的相关关系看成是有向边(表中的相关视频),整个视频数据库就是一个图结构(见图1)。随机选择一个初始视频集合作为搜索的起始点,称为第1层数据,那么这些视频的相关视频就成为第2层搜索的数据集合;接着又以第2层数据为起点搜索它们的相关视频,依次类推。由于整个YouTube数据量十分巨大,在广度搜索的过程中获得的数据集合成递增趋势,由于时间和存储空间的限制,只搜索4层。由于搜索时初始的视频集合是随机的,因此通过广度搜索获得的数据集合也具有良好的随机性,能够很好地反映整个YouTube数据库的统计特征。
2 热度分析
本文用热度来说明视频受用户的关注程度,又称为热门程度。对用户来说,如果对一个视频感兴趣,他会通过点击观看视频,用户观看完视频后,可以对视频做出评论,也可以对视频进行打分(1~5),或者将该视频添加到“我最喜欢”列表中。一般而言,一个视频的点击数越多,说明关注该视频的人越多,继而说明该视频越热门,即热度越高,进而会有更多的用户会对该视频进行评价、打分。因此除了用户点击数这个最基本最重要的指标外,视频的评论数、投票数以及投票得分,都能够从不同的角度描述用户对该视频的关注程度。本文主要从视频的点击数、评论数、投票数以及投票得分4个指标来描述视频的热度。
2.1 视频热度指标的概率分布
图2为视频点击数、评论数、投票数、投票平均得分的互补累积概率分布(双对数坐标),其中x轴为热度指标,y轴为互补累积概率分布,即指标大于或等于x的视频个数占视频总数的比例。从图中可以看出视频的点击数、评论数、投票数都符合Zipf定律,即幂律分布,即在双对数坐标下,表现为一条斜率为幂指数负数的直线。也就是说只有少数视频的点击数、评论数、投票数很高,大部分视频的点击数、评论数、投票数都很小,整个网站的视频点击主要靠少数视频贡献。
通过分析发现,视频热度指标的分布存在很大的偏度,具有典型的无标度特征,存在明显的80—20现象,即少数视频文件会得到用户的强烈关注,而大多数视频却很少得到用户的关注。这一发现有助于CDN网络在内容缓存策略上的进一步优化设计。
2.2 各指标间的关系
研究视频热度各个指标之间的相互关系可以发现用户各种行为之间的内在联系。本节以散点图的形式画出了视频的点击数和视频的评论数、投票数以及投票得分之间的相互关系。图3表示各指标的关系图,为了表示指标之间的相关性,使用Pearson相关系数来度量两个指标的相关系数。
Pearson相关系数是用来度量x和y两个变量之间的相互关系(线性相关),取值范围在[-1,+1]之间。Pearson相关系数在科学研究中被广泛用于度量两个变量线性相关性的强弱。两个变量之间的Pearson相关系数定义为
当r取1时表示变量x和y之间具有线性变化的关系,即y随着x的增加而增加,而且所有的点都落在一条直线上。当r取-1时则是所有点落在一条直线上,但是变量y随着x的增加而减小。相关系数值为0时表示变量之间没有线性相关关系。
从图3可以看出,视频的点击数与评论数和投票数之间在双对数坐标下存在线性关系,而点击数和平均得分之间没有明显的线性关系。
2.3 视频热度随着时间的变化趋势
为了观察视频热度随时间的变化,从最近上传的一批视频中选择29 791个视频,对其跟踪采集。这批视频的上传时间都小于3.5天,每隔一周获取其新增的点击数,对同一批视频连续34周采集其点击数量上的变化。
图4显示其新增点击数的变化情况,图中为第2,6,12,24,32周新增视频点击数的累积概率分布(双对数坐标)。
为了进一步分析视频热度的变化情况,对每周平均新增点击数进行统计,得到其变化趋势图(图5),从图5可以看出,每周新增视频的点击数的平均值,在上传前几周的新增点击数较大,而且波动较大,随着上传时间的增加,新增点击数慢慢地减少,继而慢慢地趋于稳定。尽管只跟踪了34周视频点击数的变化情况,但根据经验,视频热度在后期的变化情况会慢慢消退。
图6以散点图的形式给出了新增视频点击数在相邻时间段(以周为单位进行计算)内的相互关系,从图中可以看出,在视频上传的前几周,新增点击数的分布是不稳定的,视频在前一周得到的点击数比较少,但在接下来可能会突然得到用户的关注,反之亦然。为了更准确地表示新增视频点击数在相邻时间段的变化,用Pearson相关系数来度量,第2周新增的视频点击数与第3周新增的视频点击数的相关系数为0.566,属于中度相关;随着视频上传时间的增加,相关性越来越强,第16周与第17周的相关系数为0.917 7,属于强相关,在第25周和第26周相关性已经达到了0.979 2,详见表2。因此,在考虑视频热度时,需要考虑视频的上传年龄,在上传初期视频的热度波动较大,随着视频年龄的增大,热度越来越趋于稳定。由此,CDN网络在边缘服务器上缓存视频时,应该充分考虑视频的年龄,尽可能优先缓存视频年龄大且热度高的视频。
3 结束语
近几年来,由用户自己发布视频内容的在线视频分享网站变得越来越流行,由此产生的流量也对互联网带宽管理产生了巨大的压力。不管是共享视频服务提供商,还是互联网运营商都需要关心这一新型业务的特征,以便优化目前的系统和网络配置,为用户提供更好的服务质量。CDN网络是目前解决这一困局的有效方法,但有效的缓存策略仍然是CDN中的一个开放性问题。视频热度是共享视频服务的一个重要特征,可以为CDN缓存策略提供有效的依据。因此本文利用YouTube上的视频元数据讨论了视频热度的度量指标、各个指标的相互关系以及热度随着视频年龄的变化趋势,可以为CDN网络的缓存策略提供非常有用的决策信息。
摘要：视频的热度是指用户对视频的关注程度。主要对大规模内容分发网络环境下的在线共享网站原创视频的热度进行分析。提出了综合视频点击数、评论数、评分等多元指标对视频热度进行统计刻画,分析各个指标的分布模型以及指标之间的相互关系,并对视频热度随时间的变化趋势进行了详细分析。通过对实际的爬虫数据统计分析,发现热度指标的分布具有典型的无标度特征,随着视频上传时间的增长,热度越来越趋于稳定。上述发现对于视频内容提供商和互联网运营商在服务器部署、内容缓存、容量规划和流量优化等方面具有重要的意义。
关键词：用户原创视频,热度,Pearson相关系数
参考文献
[1]CHA M,KWAK H,RODRIGUEZ P,et al.I tube,you tube,every body tubes:analyzing the world’s largest user generated content vid eo system[C]//Proc.7th ACM SIGCOMM Conference on Internetmeasurement.New York:[s.n.],2007:1-14.
[2]CHENG X,DALE C,LIU J.Statistics and social network of youtubevideos[C]//Proc.16th International Workshop on Quality of Service.[S.l.]:IEEE Press,2008:229-238.
[3]HALVEY M,KEANE M.Analysis of online video search and sharing[C]//Proc.ACM Hypertext and Hypermedia Conference.Manches ter,New York:[s.n.],2007:217–226..
[4]ZINK M,SUH K,KUROSE J.Watch global,cache local:YouTubenetwork traffic at a campus network-measurements and implica tions[EB/OL].[2012-02-03].http://gaia.cs.umass.edu/networks/papers/MMCN08-0.2.pdf.
[5]MITRA S,AGRAWAL M,YADAV A,et al.Characterizing web-based video sharing workloads[J].ACM Trans.Web,2011,5(2):1-8.
视频内容分发平台论文 篇4
本文提出一种基于混合云模式的数字内容分发平台。采用分层的云—端 (客户端) 计算 (Cloud-terminal Computing) 模式分散突发流量。该模式包括从平台进行的主推送、内容提供商作为从推送方, 必要的时候, 已有内容的客户端也可以被主平台选作可控的P2P推送方式。
如图1所示, 该拓扑结构基于分布式理念的互联云结构主要由主云 (供应方云) 和客户端云构成。供应方云主要是由运营商构成, 该平台可以采用IT云计算的理念主要进行Iaas的基础建设, 同时和诸多CP和SP的云服务提供商进行网际互联共同组成供应方云, CP和SP可以有针对性地进行PASS和SAAS建设。客户端云主要是通过和边缘服务器云进行连接来享受云计算服务。
2 供应方云和客户端云建模研究
假设: (1) 设整个过程中这h个文件被下载次数分别为m1≥m2≥……≥mh。记M=。
(2) 由于一般可以认为文件被下载的次数近似满足Zipf分布, 可以假定mi的分布也近似满足Zipf分布, 即, 其中C和-为常数。
(3) 假设视频业务的需求变化相对缓慢, 而且以前被请求的文件仍存在缓存中。
(4) 假设系统中可存储的文件有h个, 每个文件大小为G。
我们所建的模型主要从边缘CDN节点来进行分析, 上面为本文所要用到的参数列表, 假设整个网络中的CDN节点个数为n, 同时系统中所有的缓存总量为S;m=k/n, 总连接数除以CDN节点个数。
我们假设在某一个时刻某一个CDN节点上文件的用户数为m个, 我们假设某一个CDN节点此时正在工作, 那么直接命中从该CDN节点命中下载的用户b个和另外的c个用户共同使用下行带宽d, 相对于没有直接命中的c个用户, 共有n*c个用户来共同分享带宽e, 他们的下载时间为G*b/d+G*n*c/e, 则总体下载时间的期望为:
我们假定每个CDN节点的换存量是相等的, 则为S/n, 则可以存储S/h G个文件, 依据假设当前用户下载人数最高的就是缓存中存的S/h G个文件, 则我们可以得到
, 则我们可以假设当k比较大的时候我们可以得到下式:
结果只与参数有关系, 我们可以把=1视作一种特殊情况, 则我们继续计算得
则我们可以得到, 则我们得到了最后CDN总体下载的时间平均值,
, 其中有关。
由上式, 我们进行与实际情况得简单赋值可以得到tc与n, d, e, s的变化关系:tc随着n变大而变小, tc随着d变大而变小, tc随着s变大而减小。
表1 CDN模型参数列表
综合以上分析, 我们可以得出以本文提出的混合云计算网络拓扑结构中供应方云的性能与CDN网络中的节点个数、缓存总量、用户下行带宽和到服务器的下行带宽都成反比的关系, 这些性能恰恰决定了一个供应方的CDN网络的质量, 而在现实情况中电信运营商的供应方云的CDN网络架构, 在这几个方面都是由于从供应方云的, 所以我们可以得出结论, 由主云推送的期望时间要小于从供应方云。
3 客户端云建模分析
可控P2P的建模分析和一般P2P的建模分析区别是, 普通的P2P用户可以通过互联网进行无限制的下载, 而在可控p2p内部, 用户是通过自治域内通过一定的机制直接从其他用户处找到所需资源并开始进行下载并接收到自己所需要的业务内容;由于所采用的算法不同严重影响着业务推送的时间, 本文使用现如今比较通用的Bit Torrent (BT) 算法来进行建模研究, 在这里本文主要讨论下载的时间, 对节点的查找延迟在这里暂时忽略。
该模型使用到的参数列表如上图所示, 自治域内的用户数为n, 我们在这里假设这n个用户数上下行的带宽是一致的都为p, 每个用户的缓存容量也是相同的为G/n, 假设用户可以由两种途径下载到文件;
(1) 缓存中保存有完整该文件的用户;
(2) 某些下载比率比自己大的用户。
假定正在下载的用户已下载的部分符合均匀分布, 其中某个文件i的下载比率为r, 则可以从另外mi* (1-r) 个用户中进行下载。从我们要求的是期望来计算可以约等于有mi/2个用户可以提供下载, 由于在自治域内, 有G*mi/M的空间用于保存已接收到的第i个文件;所以我们可以计算出共有x处可下载文件i, x=mi/2+G*mi/M。
表2 P2P模型参数列表
我们希望求得的是每个下载的平均时间, 在模型中我们假设了每个用户的带宽为p, 这里的上传带宽总共有xp, 在这里其他M-mi个连接假设平均分配给了A个用户, 所以总的下载连接数为mi+ (M-mi) *x/n, 下载的速度可以表示为px/ (mi+ (M-mi) *x/n) , 所以我们可以得到第i个文件的下载时间期望为:TP=G (mi+ (M-mi) *x/A) /px, 于是我们得到了P2P下载时间的平均值为:;这个式子TP可以利用求导来进行分析。由式子我们可以分析出自自治域内P2P的平均下载时间综上所述, 我们得到了在整个网络拓扑结构中从供应方云和客户端云得到服务的响应时间, 接下来我们研究响应时间和各个参数之间的相互影响关系;为了方便我们的分析, 我们假设G=1, A=50, P=1, M=100;我们将G=1, A=50 P=1, M=100, mi=10进行简单赋值来得出tp与Gp的关系。
4 结语
由CDN网络中的性能分析, 我们可以得出供应方云的性能与CDN网络中的节点个数、缓存总量、用户下行带宽和到服务器的下行带宽都成反比的关系, 这些性能恰恰决定了一个供应方的CDN网络的质量, 而在现实情况中电信运营商的供应方云的CDN网络架构, 在这几个方面都是由于从供应方云的, 所以我们可以得出结论, 由主云推送的期望时间要小于从供应。
视频内容分发平台论文 篇5
IPTV (网络电视) 作为利用流媒体技术通过宽带网络传输数字电视信号给用户的业务, 它不同于一般的宽带业务。首先, IPTV面对的是庞大的消费群体, IPTV体系结构应能够承受突增的用户数量。其次, 传送多媒体内容要求更高的计算资源、带宽资源和海量内容存储能力。再者, 视频质量应满足实时播出要求, 系统稳定性强, 并具有严格的资源和控制功能。这些要求给流媒体技术提出了更新的挑战[1]。P2P (对等连接) 技术是最近两年涌现的一个热潮, 国内不少的互联网公司纷纷押宝在P2P技术上, 一时间, P2P的概念风靡整个互联网市场。然而目前单纯的P2P应用亦存在它的问题, P2P业务的盛行会带来网络流量风暴;新闻监管缺失, 内容版权管理真空, 盗版盛行, 可能导致恶性病毒, 给电信运营商以及产业链造成损害。另一方面, 作为传统运营商级别的CDN (内容分发网) , 在过去的多年时间中, 在为运营商加速流媒体、实现下载、直播和点播、管理流媒体平台、智能分发和控制等方面, 起到了关键的作用。但由于CDN由于其核心仍然是基于集中服务器的结构, 跟地域化管制紧密相连, 很难降低其扩展的成本。而且传统CDN技术在流量高峰时期对突发流量的适应性, 容错性等方面仍然存在一定缺陷。随着用户规模的迅速增加, 对CDN应用发展提出了较大挑战。
P2P技术和CDN网络的固有缺陷, 都对其业务发展提出了严峻的考验。如何融合P2P技术和CDN网络, 寻找一套可实现低成本扩展、有效监管、有效管理、服务保障、区域控制的IPTV解决方案则成为当前最亟待解决的问题。
1 CDN技术
CDN也称为内容传输网络。这个概念于1996年由麻省理工学院一个小组提出的, 并开始对CDN技术进行研究, 他们在1999年成立了一个专业CDN服务公司, 为Yahoo提供了专业服务。如今在国内外已经有很多的企业和服务商开始使用CDN技术来提高网络服务质量, 以满足用户的需求。
CDN是建立在现有IP网络基础结构之上的一种增值网络, 是在应用层部署的一层网络架构。CDN的核心是利用智能化策略技术, 将中心的内容和服务推送到网络边缘, 使得用户可以在最近的和服务质量最佳的地方获取服务, 其关键技术包括了高速缓存、负载均衡、内容路由、内容分发、内容存储和内容管理等方面的技术[2]。
CDN的网络架构见图1。
CDN技术具有的特点:
1) 根据用户的地理位置和连接带宽, 让用户连接到最近的服务器上去, 访问速度快;
2) 全局负载平衡, 提高网络资源的利用率, 提高网络服务的性能与质量;
3) 热点内容主动传送, 自动跟踪, 自动更新;
4) 网络具有高可靠、可用性, 能容错且很容易扩展;
5) 无缝地集成到原有的网络和站点上去。
CDN技术具有的优势:
1) 可减少消耗的网络带宽, 减少网络访问的延迟和用户响应时间, 提高网络性能和网站内容的可用性;
2) 提高网站资源的管理控制能力, 智能分配路由和进行流量管理;
3) 发送的内容受到保护, 未授权的用户不能修改;
4) 内容提供商可以在本地自己决定服务的内容, 内容是动态的;
5) 内容提供商在降低成本的同时, 提高了服务质量, 提供的内容更多、速度更快;
6) 可线性、平滑地增加新的设备, 保护原有的投资。
因为上述的特点和优势, CDN技术能加速和提高宽带流媒体的使用, 使互联网的多媒体用更加普及, 这些应用包括在线播放、音乐点播、电视直播、游戏等, 大大促进网上应用和服务的发展。
但是, 现有CDN都只是针对传统互联网的网络结构、内容传送和业务开展方式建设起来的, 如果直接用来为IPTV业务提供服务, 还存在一些不足。如, 对视频编码格式支持不足, 时延太大, 无法提供广播级的视频服务, 系统结构过于简单, 随着服务能力的扩展需要不断的投资等。为了能够承担起IPTV业务的存储、分发、传送, 需要对现有CDN技术进行优化改造。
2 P2P技术
目前, 业界对P2P的定义还没有一个标准的说法, 简单地说, P2P技术是一种用于不同PC用户之间、不经过中继设备直接交换数据或服务的技术[3]。它打破了传统的client/server模式, 在对等网络中, 每个节点的地位都是相同的, 具备客户端和服务器双重特性, 可以同时作为服务使用者和服务提供者。
P2P是采用一种与CDN完全不同的内容传递方式。P2P的核心是利用用户资源, 通过对等方式进行文件传输, 这完全不同于传统的客户服务器计算模型。P2P通过“非中心化”的设计和多点传输机制, 实现了不依赖服务器而快速地交换文件[3]。基于P2P的IPTV体系结构可以使得IPTV业务的广播和转播等门槛得到降低, 可以让更多用户参与并提供自制的多媒体内容得到基于全球覆盖的共享和分发, 同时还可以节约电信运营商之间的对接流量, 减少网络建设成本。
然而, P2P系统也存在明显的缺点, 就是可用性问题, 尽管从整个系统而言, P2P是可靠的, 但是对于单个内容或者单个任务而言, P2P是不稳定的, 每个peer可以随时终止服务, 甚至退出系统, 即交换的内容随时可能被删除或者被终止共享[4]。
迄今为止, P2P网络已经历了集中目录式P2P网络模型、纯P2P网络模型、混合式P2P网络模型和结构化网络模型等几个时代[3], 各种模型各有优缺点, 有的还存在着本身难以克服的缺陷, 因此, 在目前P2P技术应用的阶段, 各种网络结构依然能够共存, 甚至呈现相互借鉴的形式。
3 CDN和P2P技术优劣分析
下面对CDN和P2P技术做一个简单的优劣势分析。通过分析可以看到, 在可扩展性、内容版权、用户管理有效性、QoS (服务质量) 、流量有序性方面, CDN和P2P技术是各有所长, 基本上是完全互补的, 如表1所示。
也就是说, P2P和CDN技术在几个关键点上, 完全实现互补, 如果能将两种技术有效的结合起来, 必然是一种更加完美的组合, 那就是PCND技术。
4 PCDN技术
为了避免骨干网上的流量对冲, PCDN通过集中的分布式架构, 将P2P的流量严格限制在同一边缘节点的区域内。PCDN传输的内容与原CDN的内容有所不同, 根据P2P协议对内容 (包括文件和流) 做切片处理后, P2P用户将根据这些规则来完成P2P共享, P2P在边缘层的引入大大降低了边缘服务器的压力, 提高了文件传输和流媒体传输的效率, 同时又充分利用了用户的闲置上行带宽。另外, PCDN的用户采用客户端的方式, 可以拓展更好的应用和服务, 比如分众广告和差异性服务等。
PCDN系统架构如图2所示。
PCDN产品的核心设计思想是在CDN的边缘节点上引入P2P自治域。由单个或若干个ContEx边缘节点设备及其覆盖的最终用户作为对等实体, 共同构成一个P2P自治域。在域内利用P2P技术实现资源共享, 而自治域之间不发生流量交换。P2P与CDN的结合原理如图3所示。
PCDN的网络架构采用3层结构, 分为核心层、骨干层和边缘的P2P自治域。在核心节点部署应用及服务中心和管理中心, 实现对PCDN的业务管理、运营支撑和业务生成;骨干节点部署节点设备, 核心节点域骨干节点构成内容分发体系实现内容的有序分发和传送。而P2P自治域实现P2P的内容服务, 通过骨干节点的设备进行管理、控制和服务保障。
5 基于PCDN的IPTV系统架构
IPTV也叫交互式网络电视, 是一种基于互联网的多媒体通信技术。IPTV利用宽带网的基础设施, 以家用电视机或计算机作为主要终端设备, 通过互联网络协议 (IP) 传送电视信号, 向家庭用户提供包括电视节目在内的多种交互式数字媒体服务[5,6]。
IPTV的工作原理是把源端的电视信号数据进行编码处理, 转化成适合IP网络传输的数据形式, 然后通过IP网络传送, 最后在接收端进行解码, 再通过电脑或电视播放。由于对数据的传输速度要求比较高, 所以要采用最新的高效视频压缩技术, 例如ITU-T H.264、MPEG4等[6]。
本文设计的IPTV系统平台采用分布式架构部署, 基于上述CDN和P2P相融合的技术, 提供一个端到端的解决方案。
由于流媒体具有松耦合, 高扩展性的特点, 从IPTV体系结构的垂直控制功能上来讲, 一个典型的IPTV系统架构采用分层的模式, 使得平台系统上的应用开发能够根据不断变化的业务应用需求而快速扩展, 具体IPTV系统平台的业务与功能组成包含门户业务层、内容媒体服务层、流媒体传输层、承载网络层、接入系统层、终端层和系统支撑层。结构如图4所示。
1) 门户业务层。以Web网站的形式面向用户提供各种应用和服务。客户端只要使用浏览器即可实现视频点播及其他视频互动活动, 无需安装其他任何软件, 无需做任何设置, 做到了客户端的免维护。
2) 内容媒体服务系统。该层主要完成节目的数字化, 将原始节目进行编码、压缩。其承担了IPTV业务运营的所有基本功能, 包括频道管理、媒体资源管理、流媒体编码、内容存储管理、内容审核等。
3) 系统支撑层。系统支撑层是IPTV业务运营的综合管理及运营支撑系统, 包括用户管理、认证计费、数字版权保护 (DRM) 、系统实时监控、网络配置管理等多个子系统。
4) 流媒体传输层。采用CDN和P2P相融合的优化技术来进行流媒体的分发和传输, 避免了骨干网上的流量对冲。通过这种集中的分布式架构, 将P2P的流量严格限制在同一边缘节点的区域内。
5) 承载网络层。IPTV是一种实时性的流媒体业务, 其对端到端带宽、时延、抖动和误码率有较高的要求。承载网络层采用IP网络作为视频承载网络, 支持广播型的传输技术, 而且核心网和城域网支持IP组播技术。
6) 接入系统层。接入系统主要为IPTV终端提供接入功能, 使IPTV终端能够顺利接入到IP承载网。目前ADSL (非对称数字用户线) 作为宽带接入网的一种方式在几年内仍然占主导地位, 以太网接入方式也渐渐增多。采用FTTH (光纤到户) /FTTB (光纤到大楼) 的方式, 结合ADSL、SDSL (单线对数字用户线) 、cable modem等技术, 也可使用FTTC (光纤到路边) 加HFC (混合光纤/同轴网) 的方式向用户提供宽带接入。
7) 终端层。目前IPTV终端主要有3种形式, 即PC (个人计算机) 、机顶盒加普通电视机和手机。
6 系统平台的优点
1) 超级种子保证普遍服务质量:可实现用户间互动, 彻底从集中控制的传统流媒体中解放出来, 降低了技术应用门槛, 实现了传统流媒体运营平台难以实现的互动直播和互动点播;
2) 强大的音视频文件操作功能:支持针对音视频节目的文件操作, 如预览、修改、剪切、合并、删除等;
3) 运营商可进行有效的内容监管:可实现对数字节目的版权保护, 非法用户即使将内容下载到本地也无法正常播放, 有效保护内容供应商的知识产权;
4) 完善的用户认证管理:完善的用户管理和认证机制, 实现多级别的用户管理;
5) 应用的地域控制、管理和系统整体的流量区域控制, 有效保证了负载均衡, 从而保证运营效率。系统提供完善的负载均衡功能, 真正的基于服务器CPU (中央处理单元) 、内存监测与Web任务实时监控的动态任务分配, 准确地将用户点播请求均衡到集群服务器中的流媒体服务器端, 使负载真正能够均衡, 让服务器集群中的每台服务器都能发挥最大的效率, 提高整体网络性能, 提高自愈性, 确保网络视频点播平台的关键性应用;
6) 极强的扩展性:采用分布式结构体系, 方便添加视频服务器, 在后台管理系统中做简单设置, 即可实现视频域集群组的扩容, 轻松满足系统扩容需求;
7) 可限制P2P技术在特定区域使用:可以方便地对媒体内容进行按区域配置, 有效保证媒体的播放区域;
8) 用户管理和计费策略:系统提供多种途径进行用户认证和计费, 可按用户类型定义收费标准, 灵活定制多种计费类型、优惠政策、套餐组合。
7 小结
当前, 各大电信运营商处于业务转型期, 将从传统的单一业务转向综合服务提供商。在这样的大背景下, 采用PCDN技术可以快速地、低成本地进行网络建设和业务扩展, 电信运营商可以在这个平台上发展以IPTV应用为代表的流媒体的直播、点播和下载业务, 可以快速扩大用户数量, 集聚人气, 扩大流量。基于PCDN的IPTV将可以成为一个盈利的媒体商业发布, 也是电信运营商向新的管理和运营模式转变的一个好机会。
摘要：研究分析了P2P (点对点) 传输技术和CDN (内容分发网络) 技术的各自特点, 并对PCDN (点对点与内容分发网融合) 的技术做了详细介绍。在此基础上, 将PCDN的基础网络架构作为网络承载层应用于IPTV (网络电视) 系统平台的设计之中。同时提出了基于此技术的IPTV系统平台的系统架构及实现方法, 并对系统架构的特点和推广应用前景进行了介绍。
关键词：计算机网络,点对点传输,内容分发网络,网络电视
参考文献
[1]侯自强.发展IPTV应该关注的几个问题[J].世界电信, 2006, 19 (2) :30-32.
[2]胡兴军.内容分发网络 (CDN) 技术及市场应用[J].当代通信, 2005 (17) :65-66.
[3]周文莉, 吴晓非.P2P技术综述[J].计算机工程与设计, 2006 (1) :76-79.
[4]侯自强.在CNGIIPv6上建立诚信安全的P2P环境和分布管理系统[J].中兴通讯信息技术, 2005, 11 (3) :21-24, 34.
[5]许永明, 谢质文, 欧阳春.IPTV——技术与应用实践[M].北京:电子工业出版社.2006.