AVS+编解码技术（精选7篇）
AVS+编解码技术 篇1
为推进AVS+自主创新技术在广播电视领域的产业化应用,以应用促进产业发展,工信部与广电总局4月18日联合发布《广播电视先进视频编解码(AVS+)技术应用实施指南》(简称《指南》)。《指南》按照“快速推进、平稳过渡、增量优先、兼顾存量”的原则,明确了分类、分步骤推进AVS+在卫星、有线、地面数字电视及互联网电视和IPTV等领域应用的时间表,具体如下:
(1)卫星传输分发数字电视:自2014年1月1日起,各电视台新上星的高清数字电视频道应采用AVS+;在2014年12月31日前,已上星的高清数字电视频道应转换为采用AVS+标准。
(2)卫星直播电视:卫星直播高清数字电视频道视频应采用AVS+标准,在2014年5月31日前,进行直播卫星高清频道开路技术试验;自2014年7月1日起,开始部署支持AVS+高清解码的直播卫星户户通机顶盒。
(3)地面数字电视:自2014年7月1日起,除已批准的7个AVS地面数字电视试点城市地区外,地面数字电视高清视频应采用AVS+,新部署的地面数字电视机顶盒应支持AVS+标准解码。
(4)有线数字电视:自2014年7月1日起,有线数字电视网络内新部署的高清机顶盒应支持AVS+解码,有线数字电视网络中新增加的高清频道,视频应优先采用AVS+标准。
(5)互联网电视和IPTV:自2014年7月1日起,具有IPTV和互联网电视集成播控平台牌照的企业,应将自有平台的新增视频内容优先采用AVS+编码格式进行传输、分发和接收。自有平台上存量视频内容应逐步转换为AVS+编码格式。IPTV和互联网电视终端应同步具备相关格式的接收和解析能力。
AVS解码器复杂度分析 篇2
AVS标准是《信息技术先进音视频编码》系列标准的简称,是我国提出的具有独立自主产权的数字音视频编解码技术标准。同已有的其他国际视频编码标准一样,AVS视频标准规定了编码码流的语法、语义和解码流程,对编码过程和算法并无定义。AVS-P2主要面向高清电视、高清数字媒体存储,其在高清编码上的压缩效率跟H.264基本相当,但算法复杂度却大大低于H.264。不同编码器的算法复杂度差别很大,但解码器的算法复杂度是基本相似的,本文将对AVS-P2解码器的复杂度进行分析。
国外针对H.264解码器的研究较多,早在2003年Michael Horowitz等人就对H.264/AVC baseline profile 解码器复杂度进行了比较深入的研究,并将其同H.263 baseline解码器进行了对比[2];而AVS作为我国新推出的标准,2005年马展等人对AVS-M解码器(AVS-P7)进行了复杂度分析[3],2008年贾慧柱等人在进行基于软硬件分区的AVS高清视频解码器结构设计时给出了AVS-P2解码器复杂度的大致实验结果,但并没有做进一步的分析[4];目前国内对AVS-P2解码器的复杂度没有公开的详尽的分析研究,一般仅仅停留在对算法层面的理论分析和解码时间的对比上,而解码时间会受到所在平台的很大影响。本文通过对解码器的内存使用和机器操作数来对解码复杂度进行理论上的分析,并通过统计每个子模块具体消耗的机器周期数进一步验证了本文对AVS-P2解码器复杂度的分析。
算法复杂度可划分为空间复杂度和时间复杂度。空间复杂度是程序运行所需要的存储空间,通常根据某一算法执行时对内存空间的需求来衡量。时间复杂度是程序运行所需要的时间,可以根据算法执行时需要的操作数来衡量[2]。在指定平台下,对于完成同一功能的不同算法,设计较好的算法消耗的时间更少。对一个应用软件来说,其程序执行时硬件存储空间和运行时间的消耗是程序空间复杂度和时间复杂度共同的函数。本文主要对AVS-P2视频解码器的算法复杂度进行分析和研究,并在特定平台下使用AVS参考软件解码器对不同序列进行测试,以验证解码器复杂度的分配情况。
1 AVS视频解码器结构分析
AVS视频标准仍然采用结合变换、基于运动补偿的帧间预测和熵编码的混合编码框架。以下首先描述AVS解码器的解码流程,其后介绍解码过程中主要子功能模块的实现方式,并与H.264标准进行对照分析。
AVS视频解码器的具体实现流程如图1所示。
首先对待解码的视频比特流进行熵解码和语法元素的解析操作。AVS标准中采用的熵编码是基于上下文的适应性变长编码2D-VLC。根据标准中对语法元素的定义,对比特流进行熵解码可以分解出视频宏块的编码模式、残差系数和帧间预测块的运动矢量等信息。解析出的残差系数经过反扫描、反量化和反变换得到像素的残差值。
根据宏块编码模式的不同,解码器执行不同的操作。如果当前解码宏块是帧内编码宏块,则根据帧内预测模式得到像素的帧内预测值;如果当前解码宏块是帧间编码宏块,则使用运动矢量对参考图像进行像素插值和运动补偿,得到像素的帧间预测值。预测值和残差值相加即得到重建图像。最后对重建图像进行去块效应的环路滤波,新解码的图像(I/P帧)又可作为后续解码图像的参考图像。
与H.264不同,AVS的预测和补偿操作都基于8×8块进行。亮度块帧内预测模式有5种,色度预测模式有4种,与H.264标准中最小基于4×4块的9种亮度预测模式相比[5],编码复杂度几乎降低一半,相应解码复杂度也有所降低。帧间预测编码模式中支持Skip模式(也称COPY宏块)。这类宏块残差为零,运动矢量直接使用预测的运动矢量(PMV),直接利用预测的运动矢量得到像素预测值,像素重构值等于像素预测值。
与H.264相似,AVS标准也规定了双向预测的B帧,B帧使用前一帧I/P帧和后一帧I/P帧作为双向参考帧,而其本身的重建图像不作为参考帧。B帧在P帧预测模式的基础上增加了Direct模式和对称模式,进一步加强了预测的准确度并减小了码率。其中Direct模式称作直接模式,采用此模式编码时,当前块的运动矢量由参考帧对应位置块的运动矢量导出;对称模式是一种双向预测模式,采用此模式时码流中只包含前向运动矢量,而后向运动矢量通过前向运动矢量导出。
B帧的解码复杂度大约是P帧的75%～95%,该值同编码图像的内容和分辨率具有很大相关性,编码图像的内容变化越剧烈,图像分辨率越大,B帧复杂度越高。由于B帧采用双向参考帧,在编码过程中进行帧间预测时搜索到匹配块的可能性更大,块的匹配程度更高,因此B帧中可能更多的采用16×16的编码模式,以及采用B_Skip和B_Direct模式,使得像素残差系数和码率显著减少。因此在解码B帧时可以进行更少的熵解码和残差系数的反量化反变换等操作,从而就降低了B帧的解码复杂度。由于B帧的编解码方式与P帧非常相似,本文只分析I帧和P帧,并没有B帧,而B帧的解码复杂度可以通过P帧的情况进行估算。
对于AVS-P2视频解码器而言,残差系数的反量化和反变换、子像素插值和去块效应的环路滤波等子功能占据了大部分解码时间。下面对这几个主要子功能块分别进行分析。
1.1 反量化和反变换
变换及其后的量化是进行数据压缩的主要技术手段。正交变换可以去除图像残差系数大部分的空间相关性,把能量集中在低频和直流部分;而量化则是平衡编码数据量与编码失真的杠杆,是实现码率控制的重要手段,同时又与所采用的变换特性密切相关。
AVS标准中采用基于8×8块的整数DCT变换,把变换的缩放归一化操作放在了量化部分,并且把解码器反变换时的归一化操作放在编码端来做,在量化时采用的是一种缩放矩阵加量化参数展开的做法,即先把变换矩阵进行缩放归一化,然后将量化变成乘法和移位实现。因此在解码端只需要一个与QP(量化参数)有关而与块像素点位置无关的量化表[6]。因此与H.264在编解码端都进行反变换的归一化操作相比,AVS解码端反量化和反变换的复杂度相对较小。反变换的核矩阵为{10,9,8,6,4,2}。
1.2 子像素点插值
AVS标准中亮度样本插值支持二分之一样本插值和四分之一样本插值,解码时根据从输入比特流解析出的运动矢量对参考图像来进行插值操作。图2示出参考图像整像素样本、二分之一样本和四分之一样本的插值位置,其中用大写字母A标记的为整像素样本位置,用小写字母标记的b和e为二分之一样本位置,用小写字母标记的a、c、d为四分之一样本位置。
子像素插值模块是整个解码器解码过程中复杂度最大的子功能模块,解码器根据比特流中解析出的运动矢量来确定插值的位置。亮度插值操作针对8×8块进行,色度插值使用了对应位置亮度块的运动矢量,基于4×4块进行插值操作。亮度子像素插值中二分之一样本点的预测值通过4抽头滤波器(-1/8,5/8,5/8,-1/8)计算得到;四分之一样本点的预测值通过4抽头滤波器(1/16,7/16,7/16,1/16)计算得到。与H.264中对二分之一样本点的插值采用6抽头滤波器相比,其算法复杂度有了进一步降低。
1.3 环路滤波
除了图像边界和条带边界之外,宏块的所有边界都应进行环路滤波。此处宏块边界定义为宏块内部各个8×8块的边界,以及当前宏块与相邻宏块的上边界和左边界。设BS表示8×8亮度块之间边界的“边界强度”,去块效应环路滤波的滤波强度包括三个级别:BS=0,BS=1,BS=2分别表示不滤波、标准滤波和强滤波。BS的值由宏块编码模式和运动矢量决定。色度块的边界强度用对应位置亮度块边界的BS代替,如图3所示。
环路滤波以宏块为单位,按照光栅扫描顺序依次处理。环路滤波部分主要的时间复杂度消耗在边界强度BS的确定、非零强度滤波判定和BS=1与BS=2时的具体滤波操作中。由于最小预测块和变换都是基于8×8块进行的,AVS中的环路滤波也只在8×8块边缘进行,与H.264对4×4块变换进行滤波相比,滤波边数为H.264的1/4。H.264标准中规定的环路滤波强度有5种不同的等级,BS最大为4,比AVS多了两个等级。H.264中的最大滤波长度为8,而AVS中环路滤波的滤波器长度最大为6。AVS中的滤波点数、滤波强度分类数、滤波器长度都比H.264少,从而大大减少了判断、计算的次数,因此显著降低了实现的算法复杂度。
2 解码器复杂度分析
2.1 空间复杂度分析
空间复杂度在这里是指程序运行时所需要的内存空间。对于AVS-P2视频解码器,其空间需求可以进行如下划分[3]:
(1) 存储整帧的图像数据,用来存储当前帧和参考帧。
(2) 存储宏块信息,包括编码宏块的条带号、宏块类型、CBP值、QP值、运动矢量和帧内预测模式等。
(3) 各种固定码表,如2D-VLC表和QP表等。
表1列出了AVS解码器解码一帧图像总共需要的存储空间。
表中w和h分别表示解码图像的水平分辨率和垂直分辨率,N表示参考帧的数目。可以看到参考帧和重构帧所需的内存空间是整个解码器空间需求的主要部分,占总体空间需求的90%以上。
2.2 时间复杂度分析
根据不同的设计方法,程序的空间复杂度和时间复杂度在一定程度上可以互为补偿和相互转化。随着科技进步,降低程序空间复杂度的要求已经不再像从前那样迫切。而在视频编解码应用中,高端应用(如高清数字视频)对于视频编解码的实时性要求很高,因此降低AVS编解码器时间复杂度是编解码器程序优化的重点。
通过分析AVS-P2视频解码器主要的子功能模块,可生成子功能执行频率表和子功能操作数表,进一步可根据这两个表分析解码器的时间复杂度。以下测试中,采用AVS参考软件rm52j_r1对Foreman (300帧,30fps,CIF)、Tennis(50帧,30fps,720×576)、BigShip(200帧,30fps,1280×720)进行编码。GOP长度为15帧,分别对QP=15和QP=28两种情况编码,再对所得到的6种编码比特流进行解码分析得到表2,即平均每帧的子功能执行频率表。
表3中列出了解码器主要子功能执行中所需的具体操作数(根据解码器子功能执行所需操作数的上界确定)。由于程序执行时的具体操作有很强的平台依赖性,例如使用特定的视频编解码指令集能使编解码器的执行速度有大幅提高,这里并不考虑平台依赖的指令优化等问题,统一使用基本操作对子功能操作数进行大致的估计。
结合表2和表3即可对各个主要的子功能进行复杂度估计,例如对b点的插值操作,可以通过表2中的调用频率乘以表3中的操作数来得到每帧b点插值操作的基本操作数。如果在指定硬件平台下,还可以根据执行这些基本操作所需要的机器周期来进一步得到每帧b点插值操作所消耗的机器周期数。
一般来说,解码器的解码复杂度会受到QP参数、图像内容和分辨率等因素的影响。如果QP参数比较小,编码重建图像质量较高,进行编码模式决策时较多采用小的宏块的划分方式(如8×8的块),较多使用了子像素精度的MV和子像素插值,对由此得到的码流进行解码时即会消耗较多的机器周期。如果编码图像的内容变化比较平缓,编码时可能大量采用16×16的编码模式和Skip宏块,这样生成的码流在解码时消耗的机器周期较少。此外,与较低分辨率视频序列相比,高分辨率序列的编码码流解码时显然会消耗更多的机器周期。
图4是对前述6个编码比特流进行解码所消耗的机器周期数对比图。从中可以大致看出解码复杂度受到QP参数、图像内容和分辨率等因素的影响情况。
2.3 复杂度分配
使用Intel公司的性能分析软件VTune[7]对上述序列的解码过程进行分析,统计子功能和整个解码器消耗的机器周期数, 可以得到AVS解码器的各个子功能模块在实际解码时的复杂度分布图,如图5所示。
图中子像素插值、反变换、反量化等主要子功能占据了大部分的解码时间,大约占到了整个解码时间的50%～70%,这个值会因QP值、视频内容和分辨率等因素的不同而有所变化,其中环路滤波部分只占到了整个解码时间的很小一部分,在5%左右。根据M.Horowitz等人对H.264基准档次解码器的复杂度分析,各功能模块占解码器复杂度的比重为:环路滤波部分(33%),插值(25%),熵解码(13%),反变换和帧重建(13%)[2]。与H.264相比,AVS-P2的环路滤波复杂度显著降低。这是因为在AVS-P2中,环路滤波操作针对8×8块的边缘进行,与H.264基于4×4块的滤波相比,其滤波边数减小为H.264的1/4。同时相对于H.264标准中规定的5种环路滤波强度,AVS中只规定了3种滤波的强度等级,并且在具体的滤波操作中,AVS中的滤波点数也比H.264有大幅的减少。从而大大减少了AVS解码时在环路滤波部分消耗的操作数,因此显著降低了环路滤波的复杂度。
3 结 论
本文首先对AVS解码器的空间复杂度进行了分析,然后对解码器主要的子功能执行所需的具体操作数进行了统计,以此分析解码器的时间复杂度,最后通过对具体序列的解码操作,得到不同子功能模块在整个解码过程中的复杂度分配情况。通过本文的分析,可以看到AVS解码器各个子模块的复杂度与H.264不同,其中环路滤波的复杂度相对较小,而整个AVS-P2视频解码器的复杂度要明显小于H.264解码器,更加适合于各种软硬件条件下高效的实现。本文关于AVS解码器复杂度的分析有助于各种应用场合的解码器软硬件设计[4]。
参考文献
[1]数字音视频编码技术标准工作组.信息技术先进音视频编码第2部分:视频(报批稿).2006.
[2]Michael Horowitz,Anthony Joch,et al.H.264/AVC Baseline ProfileDecoder Complexity Analysis[J].IEEE Trans.Circuits Syst.VideoTechnl,2003,13:704-716.
[3]Zhan Ma,Xin Jin,Wen-yu Liu,et al.Complexity analysis of AVS-MJiben profile decoder[J].Intelligent Signal Processing and Communi-cation Systems,2005:769-772.
[4]贾惠柱,解晓东,高文.基于软硬件分区的AVS高清视频解码器结构[J].计算机研究与发展,2008,45(3):510-518.
[5]毕厚杰.新一代视频压缩编码标准——H.264/AVC[M].北京:人民邮电出版社,2005.
[6]马思伟.基于率失真优化的视频编码研究[J].中国科学院研究生院学报,2007(01).
AVS+编解码技术 篇3
近年来, 我国音视频产业发展迅猛, 已成为全世界音视频产品生产和销售第一大国。音视频产业已成为国民经济与社会发展的重要产业, 是电子信息产业的三大组成部分之一。未来几年, 将是中国音视频产业加快自主研发、发展核心技术, 赶超世界先进水平的重要时期。在数字音视频产业中, 视频数据的编码压缩技术是整个产业依赖的共性技术, 是音视频产业进入数字时代的关键技术, 因而成为近20年来数字电视以及整个数字视频领域国际竞争的热点。
1 数字视频编解码技术标准
1.1 MPEG标准
ISO/IEC JTC1/SC29/WG11运动图像专家组提出了MPEG系列标准, 主要有MPEG-1、MPEG-2、MPEG-4三大标准。
MPEG-1标准是用于数字存储媒体, 总比特率1.5 Mb/s以下的运动图像及其声音信号的国际编码标准。M P E G-1标准目前主要应用于V C D制作和M P 3格式 (M P E G-1的音频第三层) 。
MPEG-2标准是目前消费类电子视频设备中使用较广泛的视频编码标准。在数字存储媒体上, 应用于DVD/SVCD;在数字电视广播 (包括地面、有线和直接卫星广播) 上, SDTV和HDTV均选用MPEG-2视频标准。
M P E G-4标准是目前学术界比较关注的视频编解码标准之一。在应用上, M P E G-4企图涵盖从低码率 (视频64 kb/s) 到高码率 (50 kb/s甚至更高) 的各种应用;在技术上, 提出了面向对象编码的概念。M P E G-4的档次大致可以分为两组, 第一组包括SP (simple profile) 和ASP (advanced simple profile) , 其技术框架沿袭了传统的以宏块为单位的压缩框架;第二组包括其他的档次 (core profile、main profile等) , 其中包括面向对象的压缩技术、技术框架和传统的标准有很大的不同。2 0 0 0年左右, I T U的视频编码专家组 (V C E G) 制定的H.2 6 4标准在沿袭传统技术框架的同时压缩效率超过了M P E G-4A S P。经过协商, 两个标准化组织决定成立联合视频编码工作组J V T, 共同制定下一代视频压缩标准, 新标准在I T U系统中仍然使用H.2 6 4, 在I S O中被作为M P E G-4的第10部分。
1.2 H.26x标准
H.261标准是ITU的视频编码专家组提出的基于ISDN的视讯电话与视频会议的视频压缩标准。目前, 随着视频编码标准各方面性能的不断提高, 除了在一些视频会议系统和网络视频中为了向后兼容还支持H.261外, 用H.2 6 1的产品越来越少。
H.263标准是H.261的增强版, 在编码算法上做一些改进和完善, 提高了性能和纠错能力。H.263效能比H.261高出很多。目前还应用于视频会议系统和网络视频。
H.2 6 4标准是目前基于传统技术框架的压缩效率最高的视频编码标准, 应用前景非常广阔。
H.265是ITU-T VCEG正在规划中的视频编码标准, 其目标是更高的压缩效率, 更好的网络适应性。
2 知识产权现状
2.1 专利情况
标准在推动技术进步和相关产品发展的同时也涉及大量专利。表1是典型国际视频标准涉及的国家/地区及其专利数量。
注: (1) 数据截至2010年3月31日; (2) () 中的是目前尚在专利保护期的专利数。
从表1可见, 已有专利中美国和日本是最主要的专利技术申请国。很多国外公司利用在该领域上的技术优势, 申请了大量专利 (包括很多非核心专利) , 例如H.264/AVC标准中涉及到了日本松下公司在2 7个国家/地区申请的377项专利。在我国, 专利申请数量排在前几位的也都是国外的公司, 最多的是韩国三星、其次是松下和飞利浦。从表2中可看出随着数字音视频编解码技术的不断进步, 涉及到我国专利的数量大幅上升, 意味着中国企业要采用以上国际标准需被授权的专利越来越多。我国高校 (如清华大学) 、科研机构 (如中科院计算所) 和公司 (如华为) 加紧研究、通过集体创新, 也有不少相关的专利。
2.2 专利许可情况
很多国外跨国巨头公司利用先进的技术优势组成专利联盟, 联盟内各专利权人运用交叉许可的方式, 组建专利池统一对外进行专利许可, 使专利池成为打击不拥有专利的产品竞争者的工具, 从而达到垄断市场、牟取巨额利润的目的, 阻碍了产业发展, 损害了消费者的利益。这是全球范围内知识产权和标准领域面临的一个严峻挑战。目前在数字音视频编解码技术领域影响较大的M P E G L A维护的系列专利池 (M P E G-2、M P E G-4、H.2 6 4) 就存在这类问题。表2是国际视频标准许可费用收费模式和收费费率比较。
注:此对照表仅为参考方便, 具体条款和数额以相应组织的法律文件为准
根据MPEG LA宣布的MPEG-4、H.2 6 4/AVC的专利许可政策, 需要缴纳专利费的厂商有两种类型:编解码产品制造商和视频节目运营商。对于中国的数字音视频产业来说, 可以说是一种巨大的压力和负担。更危险的是MPEG LA的专利池远未包含标准所有的必要专利, 一些国外知名公司已经宣称将单独收费。同时, 标准将直接影响芯片、软件、整机和媒体文化产业运营整个产业链条。要培育健康的、能够良性发展的数字化音视频产业, 掌握自主知识产权、实施标准战略势在必行。
3 产业发展分析
3.1 发展状况
近年来, 我国数字音视频产业发展迅猛, 产业规模逐渐壮大, 数字化已成为了音视频产业发展的总趋势。
广播电视行业是我国音视频产业的第一大分类行业。2003年, 我国全面启动了数字有线电视的转换。截至2009年第四季度, 中国有线数字电视已达到6 348万户, 有线数字电视改造工作到2 0 0 9年第四季度已逐步的落实到位, 各地运营商在一定程度上加快了数字化进程。预计到2 0 1 1年我国有线数字电视用户将达到1.147亿, 将基本实现有线电视全数字化。
互联网电视 (IPTV) 作为“三网融合”的主要载体之一, 产业发展迅猛, 从2003年的不足两万户, 到2009年初已经超过了300万户, 上海已经成为全国首个IPTV用户超百万的城市。据统计, 国内IPTV用户数呈稳步上升趋势, 到2010年底中国IPTV用户预计将超过1 000万户。
数字音视频产业是各种新技术聚集的领域, 涉及大量关键核心技术, 我国在核心技术掌握上不足, 需要加紧研究。我国音视频产业发展不仅仅受制于相关技术, 还受到相关行业发展政策、宽带接入技术、内容服务商等的影响。今年, 国务院总理温家宝主持召开国务院常务会议, 决定加快推进电信网、广播电视网和互联网三网融合, 明确了“三网融合”的时间表, 提出了阶段性目标。同时, 具有自主知识产权视频编解码技术标准产业化进程需加速, 产业成熟度还需提高。广电部门、电信部门已在大力推动自主视频标准的应用, 促进了数字音视频产业化不断深入。
3.2 产业发展展望
我国将继续大力发展数字化广播电视网, 相关视频技术向高清、全高清发展, 音频技术趋向于环绕立体声, 实现视听内容的全部数字化。网络电视产业将蓬勃发展, 将有效运用宽带有线电视网、互联网向家庭用户提供包括数字电视在内的多种交互式服务。数字电视和网络电视市场规模巨大, 成为“三网融合”、“三电一体”的主要载体之一。
数字电影产业将加速发展, 其中3 D电影产业的兴起, 形成电影业的第三次革命。随着3 D立体显示研究不断深入, 多视点编码算法等技术的不断成熟, 3D投影技术和3D电视的研究也将快速实现产业化和商业化。
安防监控、手机电视、移动电视、视频通信等新兴产业均将成为数字音视频产业发展的重要力量, 形成巨大市场。
4 工作建议
(1) 大力促进自主知识产权标准的产业化
建议在互联网视频应用、数字电视、直播卫星、安保监控等诸多领域中, 鼓励采用自主知识产权标准, 建议国家相关部门进一步加大政策、资金和市场等方面的支持力度, 特别是针对服务提供商推出切实有力的鼓励措施 (例如采用自主知识标准给予补贴或税收优惠) 。只要服务提供商愿意采用自主标准, 自然会有更多有实力的国内外企业参与, 很快就会形成成熟的数字音视频产业链。
(2) 加强专利政策对企业的保护、鼓励作用
不论是企业还是科研院所, 如看不到核心技术能够给他们带来显著的收益, 就不会愿意在科研 (特别是基础技术研究) 方面进行投入。因此, 如何让企业和科研院所能够通过专利或者核心技术获得应有的收益, 加强专利政策对企业的保护、鼓励作用, 是政府制定政策时需要考虑的核心问题。
摘要：介绍了国外数字视频编解码技术标准现状:MPEG-1、MPEG-2、MPEG-4三大标准和H.26x标准, 分析了标准涉及的知识产权中的专利和专利许可情况, 并根据当前产业需求提出了发展建议。
AVS+编解码技术 篇4
随着互联网业务的快速增长, 对宽带接入的需求与日俱增。光码分多址技术由于具有适合异步接入、按需软容量、网络协议简单、网络扩展容易等优点, 被认为是未来宽带接入网的一个最佳解决方案之一。
编/解码器的设计是OCDMA系统需要解决的关键技术和难点。在OCDMA系统中, 常用作编/解码器的设备有:光纤延迟线 (FODL) 、空间光调制器 (SLM) 、平面光波导 (PLC) 、阵列波导光栅 (AWG) 、光纤布拉格光栅 (FBG) , 超结构光纤布拉格光栅 (SSFBG) 等。目前最有应用前景的还是基于超结构光纤光栅的编解码器[1], 超结构光纤布拉格光栅具有全光纤结构、成本低廉和结构紧凑以及能够产生超长光学码等优点。应用SSFBG编解码器的相干OCDMA系统可以使用双极性码或多极性码, 因而相关性更好, 具有更大的用户能量。
2 SSFBG编解码原理
超结构光纤布拉格光栅 (SSFBG) 是一种折射率调制函数随长度缓慢变化的光纤布拉格光栅。基于SSFBG的编解码示意图如图1所示[4], 输入窄脉冲经过SSFBG编码器后在时域上展宽, 编码信号再通过共轭的解码器解码从而恢复出原始脉冲信号。光纤光栅编/解码器具有成本低、体积小、插人损耗低、光纤参数易于调整、可实现变址功能、便于在全光纤环境下使用等优点。
由于光纤光栅对温度和应力的变化非常敏感, 故其精度不易控制;同时相移SSFBG是工作在弱光栅条件下的器件, 器件的插入损耗较大。通过切趾技术可以缓解插入损耗和器件相关特性之间的矛盾。
3 SSFBG编/解码器
O C D M A系统可划分为相干光系统和非相干光系统。非相干光系统利用光信号的功率进行编/解码, 系统结构相对简单, 但是频谱利用率低, 系统支持的同时通信的用户少;相干光系统依靠光信号的相位变化来编/解码, 可以使用双极性或多极性码字来编码, 用户之间具有较理想的相关特性。与非相干光系统相比, 相干光系统有更好的抗多用户干扰 (MAI) 的特性, 故近年来得到了研究者的广泛关注。
3.1 时域非相干编/解码器
利用SSFBG进行时域非干编码原理如图2所示, 图中为一纯幅度调制光栅, 包涵有7个离散光栅切片。折射率调制与器件的冲激响应存在一个简单的对应关系。与光纤延时线编解码器相比, 这种编解码器结构简单、紧凑, 由于不存在子光纤光栅之间的融接点, 故插入损耗比较小。但同样也是在时域实现编解码, 信号的频域特征并没有改变, 是单极性编码, 码字之间的互相关特性不是很理想。
波矢响应F (k) 可以简单地由空间超结构折射率调制形状A (x) 的傅里叶变换给出[4]
SSFBG的冲激响应h (t) 可以由频率响应的傅里叶反变换表示
其中波矢K与光频率成正比, 这表明弱光栅的冲激响应的时域形状取决于SSFBG光栅折射率幅度调制的形状。
3.2 时域相位编/解码器
SSFBG是一种沿着长度方向折射率调制有缓变包络的光纤布拉格光栅。在弱光栅条件下 (反射率小于20%) , 通过在SSFBG的不同段上对折射率调制附加不同的相移即可实现相位编码[4]。图3为一个二相移编码SSFBG示意图, 使用全息技术可以制作出具有足够长度的不同码字形状的SSFBG。就产生超长光学码来说, SSFBG是目前最好的器件。
弱光栅的冲激响应的时域分布取决于SSFBG光栅折射率调制的空间分布。从空间域z到时间域t的转换因子为t=2neffz c, 其中c为光在真空中的传播速率。若将短光脉冲输入相移SSFBG, 则会产生一系列相干的码片脉冲, 脉冲的形状取决于相移的大小和位置。这样, SSFBG编/解码器就能够产生具有良好自相关/互相关特性的多相位编码, 码长越长则编码器的相关特性就越好[5]。
相位编码可实现双极性或多级性编码, 与单极性编码相比, 用户之间有更理想的相关特性。而且系统频谱利用率更高, 支持的同时用户数也相应得到提高。
3.3 等效相移编/解码
清华大学制作和实验研究了基于等效相移光纤光栅的OCDMA系统[6]。编/解码可以用超结构光纤布拉格光栅 (SSFBG) 来实现。但从光栅制作上说, 要在光栅的折射率调制上引入相移, 在光栅写入过程中就必须精确地控制位移 (要求位移控制精度达到纳米量级) 。清华大学光纤光栅课题组采用等效相移 (EPS) 技术, 能用幅度取样光栅达到相移光栅的效果, 并大大降低对位移控制精度的要求 (只需达到微米量级) 。
在合理取样条件下, 通过改变取样光栅的的取样周期, 可获得期望的相移, 从而实现等效相移[7]。假设沿z方向取样光栅的调制指数为:
其中Λ为光栅周期, 并且为z的周期函数, Fm为m阶信道傅里叶系数, P为取样函数周期。基于傅里叶理论, 取样光栅等效于几个叠加的鬼栅, 因为每个鬼栅对应取样光栅的一个反射峰。如果z0处的取样周期增加∆P, 则在z0>z处, 原光栅通过s (z-∆P) 而不是s (z) 取样。m阶信道鬼栅的主调制指数为:
其中因此只要m≠0, 简单的让取样周期增加∆P即可实现等效相移[3]。
3.4 多π等效相移编码
基于等效相移技术, 最近人们又提出了多π等效相移的想法[8]。文章中用实验研究了采用多π等效相移的光码分多址编解码器, 表明具有良好的编解码性能。多π等效相移解码器与单π等效相移编码器完全不匹配, 即使他们的有相同的码字序列, 因此可以加强编码的安全性。
基于等效相移技术, -1阶信道的相移其中P为取样周期。当∆P=P2时, 获得π-EPSs, 如图 (a) 所示。而当∆P=3P2或
3.5 光谱相位编/解码器
基于阶跃啁啾光纤光栅的光谱相位编码得到了实验验证和理论分析, 啁啾光纤光栅是指光栅周期Λ沿着长度方向线性变化的光纤光栅。图5为用一对级联的阶跃啁啾FBG对全光纤结构编码器示意图, 阶跃啁啾光栅由空间毗连的、空间周期逐级递增的子光栅组成。当一个脉冲信号入射到第一个啁啾光栅时, 由于波长在时域色散使得脉冲扩展。当扩展脉冲从第二个具有与第一个光栅相反的色散梯度的FBG反射后, 波长成分重新同步, 脉冲重新组合成初始脉冲形状。但是, 如果第二个光栅沿长度方向加入相移成分, 则信号携带相移信息成分输出, 从而实现频域相位编码。同样地, 当每个子光栅的反射率发生改变时, 相应波长的幅度发生变化, 可进行幅度编码。该编解码器具有结构紧凑, 易与其他通信设备兼容等优点, 但是其变址困难, 不具有地址码实时可调性。
为了确保每个子光栅控制其中一个独立谱带的后向衍射, 光栅的长度必须满足[2]
式中, N为子光栅个数为有效折射率系数, 为真空中的载波波长为输入光波带宽。光纤光栅中相邻子光栅的布拉格波长差
4 结束语
本文介绍了几种基于超结构光纤光栅 (SSFBG) 编解码器和最新研究进展, 分析了其编解码结构和编解码原理。SSFBG因具有全光纤结构、插入损耗低、易于制作、成本低廉、变址容易、具有产生超长光学码的能力等优点, 成为倍受关注的编/解码器件。基于相位编解码器的相干系统结构复杂, 对激光光源的想干性要求十分苛刻。但其抗多用户干扰的性能较非相干系统有较大改进, 随着光纤光栅制作技术和工艺的成熟, 光相位编解码器在未来宽带接入网中将具有良好的应用前景。
参考文献
[1]P C Teh, P Petropoulos, M Ibsen, D J Richardson.Phase Encoding and Decoding of Short Pulses at10Gb/s Using Superstructured Fiber Bragg Gratings[J].IEEE PHOTONICS TECHNOLOGY LETTERS, 2001, 13 (2) :154-156.
[2]A Grunnet-Jepsen, A E Johnson, E S Maniloff, T W Mossberg, M J Munroe, J N Sweetser.Fibre Bragg grating based spectral encoder/decoder for lightwave CDMA[J].Electronics Letters, 1999, 35 (13) :1096-1097.
[3]Yitang Dai, Xiangfei Chen, Dianjie Jiang, Shizhong Xie, Chongcheng Fan.Equivalent Phase Shift in a Fiber Bragg Grating Achieved by Changing the Sampling Period[J].IEEE PHOTONICS TECHNOLOGY LETTERS, 2004, 16 (10) :2284-2286.
[4]Peh Chiong Teh, Periklis Petropoulos, Morten Ibsen, David J Richardson.A Comparative Study of the Performance of Sevenand63-Chip Optical Code-Division Multiple-Access Encoders and Decoders Based on Superstructured Fiber Bragg Gratings[J].IEEE Journal of Lightwave Technology, 2001, 19 (10) :1352-1365.
[5]尹霄丽, 刘会师等.光码分多址相位编/解码器[J].光通信技术, 2008, 7:54-57.
[6]YAN M, YAO M Y, ZHANG H M.Novel spectral phase En/Decoder based on sampled fiber bragg Grating[C].OFC/NFOEC’08, USA.2008.
[7]Yitang Dai, Xiangfei Chen, Li Xia, Yejin Zhang, and Shizhong Xie.Sampled Bragg grating with desired response in one channel by use of a reconstruction algorithm and equivalent chirp[J].OPTICS LETTERS, 2004, 29 (12) :1333-1335.
AVS+编解码技术 篇5
1 数字电视编码的概念
编码,是通过特定比特的二进制码来表示量化成功后的值,每一个二进制数都有它独特对应的二进制的值,按照一定次序排列后就能得到由二进制的符号组成的数字信号流。
信息发生的来源就是信源,信源就是提供信息的对象。信源是个复杂的概念,有很多对象可以成为信源,我们更多在意的是信源发出的信息内容和信息的载体或者形式。对信源进行编码的过程就是对信息数据进行压缩的过程,将信源发出的信号按照一定的次序进行排列,这样可以保障信息传输的真实性和安全性。在允许一定失真的情况下,信源输出可以以最小数量的比特来进行系统的描述成独立分布的输出形式。
将模拟信号进行数字化处理,是现代成像技术主要采用的方法,但是单一简单的数字化处理还不能满足直接进行运输和存储的条件,还需要进行各种处理后才能进行运输和存储。这些处理的方式包括信源编码和信道编码,信源编码主要是为了提高传输效率,信道编码主要是为了保障传输过程中数据信息的安全性。目前,我国采用的压缩标准是国际通用的MPEG-2 视频压缩标准和音频数码率压缩标准。
二进制数字信号是由最基础的模拟信号经过一定处理过程后才得到的量化编码,这其中不仅包含着取样的过程,还包含着量化的过程。在这种精密处理之后得到的就是脉冲编码调制信号,彩色全电视可以直接识别脉冲编码调制信号,被称作是全电视信号编码。分量编码就指的是在色差方面的编码,也就是更加针对图像元素的亮度。另外,数据压缩编码技术可以根据压缩后是否可以保持原来的模样分成有损压缩和无损压缩,有损压缩会造成图像元素的一定程度的失真,是极少部分专业人员才能感受的到的失真现象。数字电视编码器的内部框架
数字电视编码器是一种压缩编码编织器,将模拟的电视信号就行压缩并输出实时TS流(见图1),适用于很多需要实时传送或者转播的设备。
信源编解码技术主要利用了图像元素的空间相关性和时间相关性的两个特点,这项技术去除了多余复杂和重复啰嗦的信息,只保留了数量极少的部分关联性不大的数据信息进行出传输,大大节省了传输过程中所需要的带宽和频率,而接收到的这些关联性不大的数据信息被按照一定的解码算法进行,就能更高效地实现原始图像的生成并可以保障原图像的质量。
2 信源编解码技术在数字电视中的应用
信源编解码技术在数字电视中得应用主要是通过信源编码和信道编码两种重要的编码技术来实现的,这两种技术都采用了相同的技术原理,信源编码的重点在于更好地压缩图片和保存文档内容,而信道编码顾名思义,主要解决的问题是信号的传输问题。图片的信号量大且信号的传输形式比较复杂。因此,只有进行压缩,才能在数字电视中进行迅速的信号的传输。删除掉信号中多余的重复或者啰嗦内容,也就是与信息联系性差的内容。
2.1 空间上
组成一幅图片的图像元素有很多,甚至有的图片的图像元素多达十几万个,因此有图像元素就有可能有很大的相似性,这种现象多存在于两个相邻的图像元素之间。在这种情况下,图像元素在传输的时候就会有很多相同数据的传送,这就是空间上存在着的多余的重复或者啰嗦内容。采用信源编码技术,去掉数字电视图片传输中多余的重复的数据信息,就可以尽可能地加快数据的传输速率。
2.2 时间上
数字电视在时间上也会出现多余的重复现象。在很多情况下每一帧的图片信息的数据差别都很小,这一点与空间相同,尤其是相邻的图片的信息和内容基本上都是有很大共同点的,相隔越远的图片,相同点就越少,每一帧的图片都是根据前一帧图片的信息而改变的,也就是说,每一帧图片的变化都是可以估量的。
2.3 统计上
数字电视的图像和声音的信号数据中肯定是有着一定的规律的,尤其是再对其进行数字规划之后,图像元素是可以估计或者预测出来的,根据几个相邻的图像元素,信源编码技术就可以分许出未知的图像元素。根据前面所述的时间上和空间上的相关性预测,大大减小了未知信号出现错误的概率。可以主要采用信源编码技术中的统计编码的方法,加以长码和短码分别使用在概率大和概率小的误差信号上,这样一来就可以去除掉信号上的多余的重复信息。
2.4 知觉上
人类的听觉能力总还是有限的,总有着对于图像和声音感受不到或者不敏感的部分,知觉上的多余的信号是指这些人类分辨力难以达到的图像或者声音的信号,人类并不会察觉的这部分图像和声音的失真,就算是这些图像和声音消失了,也不会影响整体的感觉。
2.5 数字电视的信源解码
信源解码也是一个消去信息数据中多余重复的内容,只不过是通过压缩的形式,可以有效地实现信源码率和信道容量之间的配合,保障了数据在传输过程中的完整性。而编解码的目的就是对错误的编码进行纠错从而提高其稳定性和自卫能力。信道编码的过程是在原数据码流中加插一些码元,从而达到在接收端进行判错和纠错的目的。
2.6 数字电视的复用技术
信号及数据经过信源编码后,进入到多路复用中与数字音频信号多路复用的环节中,最后进入信道编码器进行识别。传统的模拟信号电视没有复用系统,声音和图片的信息都是进行不同道路的传送的。在数字电视中就有了新的改变,增加了复合的环节。将视频、图片和声音经过数据比特流的共同编之后,形成单路串行的比特流,最终传送给信道编码进行最后的调制。而接收端与复合环节的机理刚好相反,他将电视信号数据信号进行整合处理之后,使这些数据更容易扩展和被分级。
3 结语
数字电视信号通过信源编解码技术进行压缩并且去掉了很大一部分冗余,大大加快数据的抗干扰能力和传播速度。
摘要：信源编解码技术在数字电视中有着极其重要的作用,它将数据进行压缩,避免其冗余的增加,为信号的传输带来了更多便捷,在一定程度上防止了外界因素对数据信号的干扰。本文从数据电视编码的概念和内部框架的分析出发,重点论证信源编解码技术在数字电视中的应用。
关键词：信源编解码技术,数字电视,信号
参考文献
[1]利静荣.数字电视信源编解码技术.中国有线电视,2011(7).
AVS+编解码技术 篇6
AVS(Audio Video Coding Standard)是《信息技术先进音视频编码》系列标准的简称,是基于中国创新技术和部分公开技术的自主标准[1]。标准中采用了最新的编码技术,在视频编码性能上比MPEG-2标准高出2倍以上,与H.264标准相当,但是所采用的编码算法的复杂度则明显低于H.264标准。
AVS视频解码器的解码过程如图1所示。先进行码流分割,然后进行熵解码、反量化和反DCT变换,得出所需要的残差矩阵。码流分割出的其他码流进行帧内或者帧间预测,通过参考帧预测出预测矩阵,之后把预测矩阵和残差矩阵相加,得到解码矩阵,经过环路滤波之后得到最终的解码宏块和解码帧。
在解码器结构中,输入码流首先要进行码流分割,分割出宏块层以上的语法元素和宏块层的数据,再由系统控制器控制输送到下一级模块进行解码。在传统设计中,宏块层以上部分的元素解析划归到软件处理,宏块层解码划为硬件处理。这种软硬结合解码系统存在着一定不足,因为软件部分运行在微处理器上,解码速度慢,与其他模块的硬件解码速度不一致,造成软硬信息交互实现的复杂化,软硬通信接口也比较复杂,影响了整个系统的实时解码速度,而且功耗大。笔者把码流分割模块用硬件进行设计,相对于软件实现码流分割,虽然占用了硬件资源,但提高了系统的实时解码速度,可以使整个系统集成为ASIC设计,降低了系统开发成本和功耗,提高了系统的稳定性。
2 码流分割实现原理
在AVS编码端,宏块层以上的数据大部分都采用定长码编码方式,宏块数据采用变长码(Variable-Length Code,VLC)编码,也称指数哥伦布码编码[2],编码码流按照层次结构进行组织,并且各个层次被打包成单元。解码端的解析过程主要包括定长码和可变长码的解码,码流分割单元作为解码器输入第一级,需与熵解码结合,要对熵解码单元发出解析定长码或不定长码的控制命令,还要传输相关定长码的码长,才能最终实现码字信息的获取。
2.1 AVS码流分层结构
AVS视频编码图像在比特流中按比特流顺序进行排列,其分层结构如图2所示,依次为视频序列层、图像层、条带层、宏块层和块层。视频序列层中编码数据是在视频序列头和视频序列结束之间,图像层数据由图像头起始码类型标识区分,条带是按光栅扫描顺序组成的连续的若干宏块行,宏块层包含宏块的编码模式、运动向量、参考帧以及各个亮度块和色度块的残差系数等信息。
2.2 码流解析流程
码流分割模块与熵解码模块相结合,完成对语法元素的解析,实现过程就是依次从AVS码流中读取相应语法元素的比特流,并获取相应的码字信息。视频序列层、图像层、条带层、宏块层等被打包成Nal单元。每个Nal单元有相应的起始码,起始码由起始码前缀和起始码值构成,起始码前缀是比特串0x000001,起始码值是1个8位整数,AVS标准中规定了不同类型的起始码值。解析流程中码流分割模块会检测起始码,判断是哪一层次结构并进行Nal单元匹配,然后进行相应Nal单元的码流分割。
3 码流分割模块的硬件设计
码流分割模块的主要功能是按照标准中对视频序列语法元素的定义,产生码流分割指令,辅助熵解码模块完成相应的码流解析[3]。AVS视频码流首先送入缓冲器FIFO,码流分割模块和熵解码模块之间再用缓冲器缓冲数据,实现两级FIFO结构。第一级FIFO存放着待解码的视频码流,输入输出出端口宽度为8位。经过预处理和分割处理后的码流存放到第二级FIFO中,第二级的FIFO输入输出端口宽度为3位。码流分割模块具体的硬件结构方案如图3所示,首先码流要经过码流预处理,完成检测起始码和去除伪起始码功能,然后经过控制单元启动子模块码流分割处理[4],下面分单元具体阐述系统的设计过程。
3.1 码流预处理单元设计
该设计中使用2个40位寄存器B和R,寄存器R以字节为单元分为5个部分,每次输入码流寄存器R都以字节为单元向左传递,如图4所示。寄存器R中2,1,0这3个字节用来检测起始码,4,3,2这3个字节用来检测伪起始码,2为待检测的字节。
如果检测到2,1,0这3字节为起始码的前缀0x000001,说明字节2为前缀的一部分,不用输出,且正要输入寄存器R中字节0的8位比特流就为后缀,前缀和后缀组成32位的起始码类型,用寄存器Nal_type寄存,根据起始码类型决定这个单元是否需要去除位填充。如果检测到字节4,3,2为0x000002,则表明字节2中包含位插入的2'b10,需要去除低两位插入,这时就输出字节2的前6位,否则输出整个字节2的8位,输出送入寄存器B的最后一个字节中。设计中有一个累加器,对每次从寄存器R的字节2传到寄存器B的码流的位数进行累加,当累加值大于等于32时,把寄存器B的高32有效位输出给下一级处理,同时累加器的数值减去32。
3.2 分割码流处理单元实现
编码码流经上一级预处理后,传输到分割码流处理单元进一步处理。在同一时刻只进行1个子模块的分割解析,由控制单元根据Nal_type寄存的起始码类型来做判断选择。指数哥伦布码元素描述符分为ue(v),se(v),me(v),ce(v),子模块分割单元就是根据标准中对序列码过FIFO缓冲器来传输[5]。各个子模块的码字解析控制状态机如图5所示。
启动分割后,由开始状态跳转到解析当前码字状态,等待解析成功后会转到下一个码字的解析,由于各个子模块中码字的个数不一样,码字的个数决定了解析的状态个数,直到最后一个码字解析成功后又重新返回到开始状态。具体的实现过程为:若当前解析的码字为定长码,令FR[4]为“1”,然后把码长通过寄存器data_length传输给熵解码控制单元,熵解码只需要按照给定的码字长度,从码流中截取相应位数的比特位,再根据需要选择查表或者直接返回截取的比特位,解析成功后会返回1个return_true标识,同时通过寄存器return_data返回解析结果。若当前解析的是不定长码,包括ce(v),me(v),se(v),ue(v),只需将FR这个命令字中相应的位置设为“1”,熵解码模块就会根据指令做相应的检测及解码处理[6]。考虑到整个系统的连续性能,以及缩短解码周期,该设计对标准中关于码流序列的定义进行简化,即将部分可以合并的元素重新组合,形成一个元素集,当解析帧内预测模式时,如果按照标准给出的模式来分割,最大将需要8个周期,而通过合并,可以把其压缩在一个周期里面完成。在熵解码的解析处理过程中,只要相应的周期所进行的操作为码流分割操作,就需要使得命令字FR[10]为“1”,使命令字有效。由于通过FIFO传输到熵解码每一个数据单元的位宽定为32位,当解析完成剩余的比特数不足以解析下一个码字时,应该重新装载数据,即在单元开始应置位FR[0],实现新单元的装载。
4 仿真结果分析
根据上述的算法和结构,用Verilog HDL硬件描述语言完成码流分割模块的RTL级设计,在Model Sim上通过了综合前仿真。AVS标准参考软件代码产生码流测试向量,然后将硬件仿真输出数据与C模型产生的结果对比,比较的结果表明硬件设计的正确性,实现功能验证。对视频序列头的分割仿真图如图6所示。
序列头分割仿真图中从profile_id,level_id到bbv_buffer_size等寄存器存储了相应的码字信息,与软件解码得到的语法元素值是一致的。
该设计通过功能仿真后,与其他模块集成在FPGA上实现验证,使用QuartusⅡ进行综合,选择器件类型为CycloneⅡ系列的EP2C35F672C6,除了另加的片外SRAM,该模块与整个解码器关键模块的综合结果如表2所示。相对于其他模块,码流分割的硬件设计只占用了5.1%的FPGA资源,就可与熵解码给合实现对AVS标准基准档次,level4.0,30 f/s(帧/秒)码流的解析,且整个解码器的时钟频率可达到80 MHz,满足了实时解码要求。
5 结论
文中提出了AVS解码器中码流分割模块的硬件设计结构,采用Verilog HDL语言进行设计实现,在Model Sim上通过了功能仿真,并在FPGA芯片上进行了验证,实现了80 MHz时钟频率下30 f/s码流速度的实时解码,基本完成整个系统的ASIC前端设计。
摘要：提出一种基于AVS标准码流分割模块的硬件设计方案。简要介绍了码流分割模块的功能,根据码流特点进行硬件结构划分并重点阐述具体的硬件实现过程。采用Verilog HDL语言进行设计和仿真,实现了码流的正确解析,并与解码器其他模块结合通过了FPGA验证。仿真结果表明,整个硬件系统结构能在80MHz时钟频率下完成30f/s(帧/秒)码流的实时解码。
关键词：码流分割,AVS,解码器,Verilog HDL
参考文献
[1]黄铁军.AVS标准的背景、进展与产业应用展望[J].信息技术与标准化,2003(9):4-7.
[2]GB/T20090.2-2006,先进音视频编码第2部分:视频[S].2006.
[3]张楚.AVS和H.264双标准可变长解码器设计[D].西安:西北工业大学,2007.
[4]陈光化,徐生勇.基于AVS标准的熵解码器硬件设计[J].电视技术,2009,33(3):23-25.
[5]MICHAEL D C.Advanced digital design with the verilogHDL[M].Beijing:Publishing House of Electronics Industry,2004.
AVS+编解码技术 篇7
目前,微处理器日益广泛地运用到多种应用环境中,不同的应用对存储器的设计及应用有不同的需求。如常见的用以匹配内核和主存的速度差异高速缓冲存储器;存放计算机运行期间的大量程序和数据的主存储器以及存放系统程序和大型数据文件及数据库的外部存储器。而在面对音视频编解码时,数据需要经过多种方式的处理,如果用传统的单工作模式的存储器,难免耗费资源过多。针对这种情况,可配置存储器的设计,能够根据应用需求动态地配置存储器的工作模式,合理地对数据进行处理,提升系统性能。
笔者针对AVS视频解码器反扫描、反量化及反变换过程中对数据流不同的处理方式,设计了一种五模式可配置存储器,用以节省资源,整合整个反扫描、反量化及反变换功能块。
1 AVS视频解码器
AVS(Audio Video coding Standard)标准是基于国内自主创新技术和国际公开技术所构建的音视频编解码压缩标准[1,2],是一种适用于数字音视频压缩、解压缩、处理和表示的技术方案。它的编码效率与国际标准MPEG-4和H.264相当,广泛应用于广播、通信、电视、娱乐等各个领域。
本文提及的AVS视频解码器的设计与开发工作正是依据AVS视频编解码标准,其框架图如图1所示,主要包括码流分割、熵解码、反扫描反量化反变换、帧内预测、帧间预测以及环路滤波模块。
2 可配置存储器设计
依据AVS视频编解码标准,视频流在经过熵解码之后的绝大多数数据还需要经过反扫描、反量化、反变换单元的操作处理,尤其是在实时高清视频序列中,该单元本身所需处理的数据量将会更加庞大。鉴于此,笔者设计了一种拥有5种工作模式的可配置存储器。整个反扫描、反量化和反变换模块的框架图如图2所示。
2.1 五模式存储器结构
依据AVS视频编解码标准,分析反扫描、反量化和反变换过程中对数据流的操作,设计了如图3所示的存储器单元结构。
根据AVS标准所处理的数据特点,为了匹配AVS反变换所处理的8×8像素块,整个五模式可配置存储器被设计成1个8×8的存储器阵列,即由64个上述基本单元排列组成。
每个单元都是通过1个选择器控制1个寄存器,并且所有单元的工作模式同步,具体实现是通过配置不同的模式控制字,来选择相应的工作模式。涉及到的5种工作模式分别是行访问模式、列访问模式、a扫描模式、b扫描模式以及保持模式。
2.2 行/列访问模式
AVS反变换处理的像素块大小为8×8,如果按照常规方案中对每个系数逐个顺序进行反变换的做法,处理速度会很慢,无法满足当前实时处理高速视频码流的要求。因此,为了提高处理速度及编解码效率,必须设计并行的反变换结构,如本文的“行列”结构,即重复使用同一个一维反变换单元[3]。
根据整数反变换的原理分析可知,要想通过复用一维整数反变换的做法来最终实现二维反变换操作,中间不得不加入相应的转置操作[4]。AVS反变换需要的转置单元不仅要能够存储一个块的数据,而且还要按行或列并行的方式输入输出数据。这里设计的可配置存储器能满足这一需求,行访问和列访问模式实现了数据的行/列并行输入输出[5]。
根据AVS标准,在执行第一次一维反变换时,需要对可配置存储器采用行访问,从第一行并行读出,最后一行并行输入,数据需要由下至上移位;而在第二次一维反变换时,需要对可配置存储器采用列访问,从第一列并行输出,最后一列并行输入,即数据由右向左移位。两次访问的具体方式如图4所示。
2.3 a/b扫描模式
DCT变换产生的是1个二维数组,为进行传输,还须将其转换为一维排列方式,扫描的过程正是实现这一转换。由于AVS熵解码对于游程对采用扫描倒叙的方式进行编码,所以在解码端的反扫描中须实现相应的逆操作。
传统的反扫描实现方法是将经过熵解码后得到的游程对(Run,Level)存储到堆栈中,然后依次弹出堆栈进行反扫描,以便正确完成视频编码的逆操作,得到量化系数块。这种方法相对古板,仅仅遵循标准的参考做法,既不利于扫描模式和量参的同步,也不利于熵解码与反扫描、反量化、反变换模块的衔接,流水作业性差。这里摒弃了传统的做法,而是在存储器阵列中整合了反扫描的操作,将熵解码后的游程对按照解码顺序,直接顺着编码端的扫描方向,通过移位链的方式存储到后续的8×8存储阵列中。为此,本文存储器设计了两种扫描工作模式,分别兼顾AVS标准中所支持的两种扫描模式,如图5所示。
如图5所示,标记了0~63的方块对应的8×8可配置存储器阵列,设计的两种扫描工作模式为a扫描模式和b扫描模式,分别对应AVS标准里的之形扫描(Zig-Zag)和交替扫描[6,7],其中之形扫描是最常用的一种。当工作在扫描模式时,即按照图5中标记的0,1,…,63的扫描顺序,串行输入数据被送入0标记寄存器,0标记寄存器内数据送入1标记寄存器,1标记寄存器内数据送入2标记寄存器,依次类推,62标记寄存器内数值送入63标记寄存器。整个数据的传输为并行处理,以同时完成64个存储器的存储过程。
2.4 保持模式
保持模式,即锁定已存入存储器的数据,保持其不变。该模式下,存储器是完成基本的数据储存功能,提供AVS解码器中其他模块对数据的调用。
3 仿真结果分析
利用VCS平台对整个反扫描、反量化和反变换模块进行编译,并作功能仿真,借助DVE波形查看器读取生成波形,部分仿真波形如图6所示。通过更改模式控制字mode[3:0]来配置存储器的工作模式,a扫描模式、b扫描模式、行访问模式、列访问模式及保持模式对应的控制字分别为0001,0010,0100,1000和0000。由于存储器的各种工作模式之间不存在时间重叠,因此通过合理规划控制信息,安排模式切换,完全可以实现存储单元的共享,大大节省了存储空间。
依据AVS标准中反扫描、反量化及反变换的操作流程,结合时序控制,合理配置存储器的工作模式,即可以实现对数据流的相应操作,仿真图中对一组数据的处理周期内,存储器的配置字变化过程为0000→0001(a扫描模式)→0100→1000。结果表明,该五模式可配置存储器各模式之间的配合工作,实现了AVS反扫描、反量化及反变换功能块之间的无缝链接,成功地输出了一组组期望的8×8残差矩阵,可供后续解析模块恢复图像使用。
4 小结
笔者设计的五模式可配置存储器,优势在于为AVS解码器的反扫描、反量化及反变换单元提供了共享的存储空间,通过不同工作模式的转化,不仅仅完成了基本的数据存储功能,还利用存储阵列中数据的移动为反扫描及反变换分担了部分数据处理。该设计实现了反扫描、反量化和反变换的无缝链接,将其合并为一个流水线单元并行处理,省去了存储中间结果所需的大量存储器,加快了处理速度,能够更高效地处理大规模的数据量,进一步满足了高速视频处理的需要。
参考文献
[1]黄铁军.AVS标准的背景、进展与产业应用展望[J].信息技术与标准化,2003(9):4-8.
[2]黄铁军,高文.AVS标准制定背景与知识产权状况[J].电视技术,2005,29(7):4-7.
[3]张丁,张明,郑伟,等.一种高性能的适用于AVS的二维整数逆变换实现结构[D].杭州:浙江大学,2006.
[4]刘凌志,戎蒙恬,姜黎.一种并行结构的二维正/逆整数变换处理器[J].上海交通大学学报,2004,38(12):2048-2051.
[5]MALVAR H S,HALLAPURO A,KARCZEWICZ M,et al.Low-c omplexity transform and quantization in H.264/AVC[J].IEEET ransactions on Circuit and Systems for Video Technology,2003,13(7):598-603.
[6]张楚.AVS和H.264双标准可变长解码器设计[D].西安:西北工业大学,2007.