内插算法

2024-12-19

内插算法（共5篇）

内插算法篇1

一、引言

无线视频传输由于多径衰落，时延扩展，噪声影响和多址干扰无线网络等有损信道上的效果并不好。这是因为传统的视频编解码技术都要依赖无损的数据通道并且需要使用固定的码率。因此在解码端解码的时候对于通过有损信道产生的误码和错误非常敏感。由于在H.26x和MPEG-x中对压缩图像使用了VLC编码、时域预测编码和空间预测编码，使得传输误码造成的误码扩散会进一步降低解码后重建图像的质量。在视觉上会严重影响可视效果。

为了提高无线信道的通信质量和可靠性，当前研究热点仍然围绕着无线信道编码技术(Turbo码)、差错控制(混合ARQ)技术、自适应数据打包技术等，提高无线系统的数据传输QoS。实际应用中往往多种技术混合使用，其中误码隐藏[1]作为有效的误码控制技术可以把误码率控制在视觉效果可接受的6%以内。

二、加权内插法

加权内插算法[2]利用邻域块的全部信息,而不是空域线性内插法中的靠近丢失宏块最近的一行信息，使重构图像具有一定的纹理细节，同时满足图像光滑性的假设，使丢失块和其临近区域实现最大光滑连接。加权内插算法相对简单，不需要通过全搜索来寻求匹配块。

在MPEG4的图像中，丢失宏块MB的左右邻域宏块通常也是错误的，因此正确受到的邻域宏块信息只有顶部宏块MBT和底部宏块MBB。该加权内插算法的表达式由下面的式子给出：

(i,j)是像素值的位置，wT,wB分别是顶部、底部宏块的加权系数。为保证复原图像与周围邻域图像实现最大光滑连接，加权系数的选择应满足边界均方误差最小，设两个边界均方误差和为：

其中和分别是丢失宏块MB和顶部宏块MBT、底部宏块MBB间的边界均方误差，且

M×N是宏块尺寸，式中MB(O,j)和MB(N-1,j)分别是丢失宏块的第一行和最后一行像素值，MBT(N-1,j)是顶部宏块的最后一行像素值，MBB(0,j)是底部宏块的第一行像素值。把这些边界像素代入式(1)，可得：

把式(5)、(6)分别代入式(3)、(4)，并对wT,wB求偏导数(可以证明极小值存在)得：

令均方误差对wT,wB的偏导数等于零则得：

把式(7)、(8)分别代入式(9)、(10)，可得：

其中：

并且满足约束条件：wT+wB=1，把式(13)、(14)(并满足约束条件)代入式(1)，即可获得丢失宏块的重构像素值。在本课题实验中，该方法仅用于序列的第一帧图像，此图像是I帧图像。

三、实验方案与结果

本文实验是在标准MPEG-2测试模型(TM5)[3]的基础上,采用MPEG4来测试，利用多个标准视频序列进行信道误码模拟和误码控制测试。图1是测试中使用的是800×600分辨率的原始截图。截图桢率为12frame/s。此分辨率远远高于QCIF、CIF、4CIF的大小，属于高清画面。经过多次测试比对，该分辨率的图像经过MPEG4编码以后I帧大小约为45-200K,P帧约为10-60K,B帧约为1-22K。由于编码后图像的数据量很大，尤其是I帧数据量非常大，在实际无线信道中传送一帧I帧图像将随机产生大量误码和丢包，通过无线信道后重新组合的I帧几乎面目全非完全无法观看(如图2)。

可见此时由于解码端无法分析数据包中的错误信息，没有对错误进行隐藏处理。当解码器遇到错误数据时会将其作为正确数据进行解码。当错误数据量相当大时解码器停止解码而等待下一个同步点，因此会在图像中产生大量黑色宏块，即使接收端能判断出错误数据但没有处理，显示出的画面中将有一些马赛克出现。虽然对观看效果没有太大影响，但是随着时间变化这些马赛克仍然会停留在画面上直到下一个I桢出现，为了消除马赛克，我们在接受端的后处理时加入本课题研究的加权内插隐藏法，效果基本满足用户需要(如图3)。

四、结论

由于视频信号在无线网络中传输时数据出错率和丢包率都很大，所以基于后处理的误码隐藏技术不会因为带宽扩容和信源、信道编码技术的发展而失去意义。通过阐述加权内插算法的原理，实验验证了加权内插算法对于提升无线传输视频效果明显，但是加权插值和其他掩盖算法(如模糊集方法、小波变换方法等)的误码隐藏效果比较还有待进一步研究。此外，由于手机等嵌入式设备CPU资源的紧张，在采用更优误码掩盖算法来提高视频效果时，还需要研究误码掩盖的快速算法[4]，进一步降低运算复杂度，使其在实际视频通信应用中发挥重要作用。

摘要：针对无线网络视频传输中遇到的图像质量问题,从应用层设计出合适的视频误码隐藏方案来提升画质,通过阐述基于误码后处理的加权内插算法,实验验证了算法的可行性,结果表明:加权内插算法对于提升无线传输视频效果明显,达到误码率6%以内的视觉标准。.

关键词：无线视频,误码隐藏,MPEG4,加权内插

参考文献

[1]沈兰荪,卓力,田栋,等.视频编码与低速率传输[M].北京:电子工业出版社,2001.

[2]李非一.无线信道下误码控制和误码隐藏研究与实现[D].武汉:武汉大学,2005.

[3]ISOPIEC CD13818-2:Coding of moving pictures and associated audio-Part2:video,1994.

[4]Dapeng Wu,Yiwei Thomas Hou,Ya-Qin Zhang.“Transporting Real-time Video over the Internet:Challenges and Approaches”.Proceedings of the IEEE,Vol.88,No.Y.2000.

内插算法篇2

在生产或生活中应用数字高程模型内插时,最关键的问题就是怎样选取恰当的内插方法来满足高程数据建模的需求.不同的DEM内插方法随地貌地区和采样点方式的不同存在不同的.误差.本文使用Visual Basic语言将数字高程模型内插方法编写成一套能够快捷方便的获取内插点高程的内插软件系统,可以使应用人员直接捕捉地面点高程,并获得地形的可视化信息,由此可以直观地观察到在同一地区相同采样点方式的条件下采用不同的内插方法引起的内插精度等质量方面的优劣区别,从而获取最优的内插方法,有效地满足DEM的生产、质量控制、精度评定和分析应用等各个环节.

作者：杨雯刘洪利胡卓玮狄彩云 YANG Wen LIU Hong-li HU Zhuo-wei DI Cai-yun 作者单位：杨雯,刘洪利,胡卓玮,YANG Wen,LIU Hong-li,HU Zhuo-wei(首都师范大学资源环境与旅游学院,北京,100037)

狄彩云,DI Cai-yun(中国电子科技集团公司第54研究所,石家庄,050081)

内插算法篇3

1 图像缩放概述

图像缩放变换属于图像几何变换的一种类型,图像缩放要实现的就是在输出像素和输入像素之间建立一种映射关系,使得在输出图像的每一个位置均有待输出像素值产生。输出像素和输入像素之间的映射关系可以有两种不同的定义方法: 前向映射和逆向映射[1]。

前向映射将输出像素的坐标定义为输入像素的坐标的函数mf,如式1所示,其中Q[u,v]表示输出像素坐标,I( x,y)表示输入像素坐标。前向映射有两个问题: 1) ,如果对图像进行放大操作,在输出图像中将会有部分像素点没有相对应的输入像素,即产生空洞现象; 2) ,如果对图像进行缩小操作,输出图像中的部分像素点将会对应输入像素中的多个像素点,使得输出出现混乱。

逆向映射将输入像素的坐标定义为输出像素的坐标的函数me,如式( 2) 所示,其中Q[u,v]表示输出像素坐标,I( x,y) 表示输入像素坐标。逆向映射对每一个输出像素逆向映射出对应的输入像素,因此更适合产生输出数据流。当采用逆向映射对图像进行缩放操作时,被逆向映射出的坐标值往往不是整数,为了估计输出的像素值通常要在期望位置处对输入像素值进行重采样,等效于用一个采样插值核对输入的像素值进行加权[1],如式( 3) 所示,其中C( x,y) 表示采样函数,I[x,y]表示输入像素坐标,K[x,y]表示插值内核。

2 图像插值算法的选取

常见的图像插值算法有最近邻内插算法、双线性内插算法、双三次内插算法和B样条插值算法[2]。

最近邻内插算法是最简单的图像插值算法,该算法的原理为直接选取距离期望位置最近的源图像位置的像素值作为输出像素值。该算法丢失了源图像中的大量信息,使得图像变得模糊边缘部分不清晰,放大后有马赛克现象,缩小后有严重失真[3]。

双线性内插算法用与期望位置最近邻的4个像素值估计期望位置的像素值,若用( x,y) 表示期望位置,用Q( x,y) 表示输出像素值,I( x,y) 表示输入像素值,双线性内插算法的赋值公式为

双三次内插算法用期望位置最近邻的16个像素值估计期望位置的像素值。双三次插值算法可分离为分段三次插值核[4],如式( 5) 所示,其中a为自由参数,KKeys( s) 表示插值核为

B样条插值算法的原理是以期望位置为中心利用B样条核对源像素值进行估计从而得出期望像素值。3次B样条核的解析公式为

双三次内插算法主要应用于商业图像编辑程序( 如Adobe Photoshop等) 中,算法复杂度较高。B样条插值算法在使用过程中需要用到矩阵求逆等运算[5],算法复杂度更高。考虑到现实应用场景和FPGA的资源情况,本次设计选用双线性内插算法。

3 基于 FPGA 的双线性内插原理

采用逆向映射计算出的期望位置往往不是整数,设计中把期望位置的坐标分解为整数部分和小数部分。考虑到FPGA不方便进行浮点运算,因此把期望位置的坐标放大256倍( 即左移8位) 后取后8位作为小数部分,如式( 7) 所示。其中( xr,yr) 为整数部分,用以确定源像素点的位置; ( xi,yi) 为小数部分,用以确定各像素点的权重,对各像素点经行加权处理进而估计出期望位置的像素值。双线性内插算法示意图如图1所示,其中阴影部分为期望位置,I( x,y) 为各像素点的像素值。

4 基于 FPGA 实现图像双线性内插算法

该图像缩放模块为全景视频拼接系统的一部分,图像在进行缩放前已经做了去隔行、桶形畸变矫正等预处理操作,经过预处理操作后的视频数据存储在外部DDR2存储器( Double Data Rate 2 SDRAM) 中,在进行图像缩放前各路视频数据已经经过DDR2读取模块读取到FPGA的先入先出队列( First Input First Output,FIFO) 中进行缓存。

图像缩放的关键是根据映射关系确定读写时序和读写地址。双线性内插算法需要用到期望位置附近的两行视频图像数据,因此利用两组RAM对视频信号进行缓存,用FPGA控制RAM的读写地址,从而可以保证读写地址的正确性。考虑到进行缩放时读写缓存RAM的时序复杂性,对读写时序的控制利用状态机实现,从而可以保证缩放时读写RAM时序的正确性。对图像进行缩放操作可以用4个状态机协同合作来实现,包括写RAM状态机、读RAM状态机、垂直缩放状态机和水平缩放状态机。

1) 写RAM状态机完成对对视频信号进行缓存的两组缓存RAM的写操作。2组RAM具有相同的读写地址,可以保证读取到的视频数据为同一列的数据,对两组RAM进行写操作时利用片选信号,实现两组RAM的乒乓操作。写RAM状态机完成的主要工作是产生写RAM的地址,控制写RAM的时序,控制写RAM的片选信号。写RAM状态机的流程图如图2所示。

2) 读RAM状态机的主要工作是产生读取RAM的地址,对读出RAM的数据个数进行计数从而控制读RAM时序。读RAM状态机的流程图如图3所示。

3) 垂直缩放状态机的主要工作是移动垂直采样窗口,读取FIFO中与期望位置相邻的两行数据并写入RAM中进行缓存,同时计算该两行数据的权重。垂直缩放状态机的流程图如图4所示。

4) 水平缩放状态机的主要工作是: 第一,对缩放后的图像的行像素个数进行计数,产生行结束标志从而控制垂直和水平缩放的时序; 第二,平移水平采样窗口,读取缓存RAM中与期望位置相邻的水平方向上的两个像素点并计算此两点的权重。水平缩放状态机的流程图如图5所示。

基于FPGA的线性内插算法的运算顺序为先进行垂直方向的插值运算,再以垂直方向的插值运算结果为基础进行水平方向的插值运算。插值运算模块的功能框图如图6所示,其中data1_in和data2_in为像素数据输入端口,data1_weight和data2_weight端口分别对应像素数据输入端口的权重。插值运算模块以像素数据以及其对应的权重为基础计算出插值运算后的像素数据data_out。插值运算模块的仿真波形如图7所示,从仿真波形中可以看出在像素数据输入3个时钟后输出插值运算后的像素数据。

上述各模块协调工作可以实现1路视频信号的缩放操作,效果图如图8所示,其中图8a为缩放前的原始图像,图8为放大后的图像,图8c为缩小后的图像。把上述视频图像缩放模块例化出多个,每个模块连接不同的视频数据码流可以实现多路视频信号的缩放处理,2路视频信号的缩放效果图如图9所示,其中图9a为缩放前的原始图像,图9b为放大后的图像,图9c为缩小后的图像。

5 小结

本文基于双线性内插算法在FPGA平台上设计实现的多路视频信号的缩放装置为全景视频拼接系统的一部分,利用FPGA并行处理的优势可以实现多路视频信号的同时缩放操作,从而保证了拼接后视频的实时性。根据美国电子消费品制造协会( Consumer Electronics Association,CEA) 制定的未压缩数字视频标准CEA-861所提供的传输时序,该装置可输出1 080p( 1 920×1 080) 的高清数字视频至数字显示器显示,输出帧率为60 f/s( 帧/秒) 。4路视频信号实现同时缩放的效果图如图10所示。

摘要：基于双线性内插算法,设计改进了一种以FPGA为硬件平台的多路视频信号的图像缩放装置。把与期望位置相邻的两行像素缓存在RAM中,先对垂直方向进行插值运算,再对水平方向进行插值运算。利用FPGA并行处理的优势实现多路视频信号的实时缩放。

内插算法篇4

关键词：差错掩盖,H.264,模糊聚类分析,多方向内插

1 概述

最新的视频压缩标准H.264是由运动图像专家组 (MPEG) 和视频编码专家组 (VCEG) 成员组成的联合视频小组 (JVT) 制定的。是在H.263基础上发展而来的, 保留了H.263标准的框架, 在细节上作了大量的改进。提高了压缩能力和存储空间利用率, 加强了对网络的支持。

视频传输中主要的问题是信道对压缩视频流的损坏, 因此在解码器端进行差错掩盖是很重要的。差错掩盖技术本身不能恢复其原始数据, 只是利用视频的图像在时间和空间上的相关性, 寻找出另外一些相关的数据来代替出错的或丢失的数据, 设法改善应用的终端视频效果。当视频受损区域为帧内 (Intra) 编码时, 可采用其周围的空域信息或频域信息进行插值掩盖, 参考数据值只取待掩盖的宏块周围的宏块。在以前的文献中人们对于帧内编码的差错掩盖做了大量的工作。

本文在H.264参考软件的基础上, 提出了一种基于方向内插的帧内的差错掩盖方法, 在处理边缘图像较多的情况下, 提高了掩盖后的图像质量, 实验的结果表明, 它所得的边缘细节掩盖效果比H.264参考软件中的掩盖方法要好。

2 H.264参考软件中采取的差错掩盖技术

在H.264的参考软件中, 对于帧内的差错掩盖时采用基于像素的加权平均[1], 权值的大小是根据源像素和目标像素间的反距离来确定, 如:

其中pi是周围相邻宏块边界像素值即源像素, N是块的宽度或高度, di是源像素和目的像素间的距离。在处理过程中, 如果丢失宏块周围至少有两个宏块正确接收, 则只采用正确接收到的宏块;否则要参考掩盖后的宏块。

3 本文提议的算法

H.264参考算法主要是利用相邻块的像素内插的方法得到丢失块的像素值, 这个算法对视频帧内比较平滑的区域有比较好的效果, 但是对具有很多细节和纹理的区域则会造成图像模糊。本文在平均内插的基础上, 提出基于方向的帧内差错掩盖算法。

假设丢失块已经找到。图像的边缘是指图像中像素灰度有阶跃变化或屋顶状变化的那些像素的集合。它存在于目标与背景、目标与目标、区域与区域、基元与基元之间。它对图像的识别和分析十分有用, 包含了丰富的信息 (如方向、阶跃性质、形状等) , 是图像识别中抽取的重要属性, 也是图像分析利用的重要特征。边缘粗略氛围阶跃状和屋顶状两种。阶跃状边缘位于其两边的像素灰度值有明显不同的地方;屋顶状边缘位于灰度值从增加到减少的转折处。对于这些边缘信息进行聚类分析。

利用边缘灰度值变化的一阶导数或二阶导数存在极值点的特点, 可以用Sobel算子检测边缘点。Sobel算子如 (2) 所示:

像素f (x, y) 在 (x, y) 处的梯度定义为:

大小为, 方向为

。梯度方向是f (x, y) 在该点灰度变化率

最大的方向。梯度的大小代表边缘的强度, 梯度方向与边缘走向垂直, 但是梯度算子仅计算相邻像素的灰度差, 对噪声敏感, 无法抑制噪声的影响。

采用聚类分析得到它们的均值和方差mex、mey, σex、σey;每个块的亮度均值mI和方差σI可以计算出来, 这样可以得到每个块的聚类特征矢量:C=[mI, σI, mex, σex, mey, σey]。根据所得的结果来判断周围的块和丢失块的相似程度, 来确定可用的相邻块的数目以及它们所在的位置, 从而采用多方向插值掩盖方法来恢复丢失的块。

如果大于预先设定的阈值,

则表示f (x, y) 为一个边缘像素, 其方向由θ表示。其中边界方向的取值是T={0°, 22.5°, 45°, 67.5°90°, 112.5°, 125°, 157.5°, 180°}其中之一。每一个方向有一个计数器Ci, 表示沿着这个方向的得到的可用的像素数总和。

在边缘像素中, 将其占支配的边缘方向作为边缘方向;要确定每个方向的数目沿着这个方向进行一维的插值得到丢失宏块的像素:

其中Ci是在扫描线上所有的可用的相邻像素的总和 (沿着θ方向并通过p) 。xn是Ci中的第n个像素值, di是选用的像素xn到丢失像素的距离。如果占支配的边缘数不止一个, 则用所有方向的内插的加权平均得到受损宏块的像素值。Ci为沿着某个方向的像素个数, G为像素增量, 则Ci=Ci+G, 得到丢失像素值f (p) :

θi表示方向为i×22.5° (i是0到8之间的数) 。是沿着θi的一维内插所得的值, 在检测到周围的像素后, 由Ci决定8个方向中较强的边缘数, 选择Cmax=max{C1, C2, …C8}, 若Ci>threhold预先给定的阈值, 则这个方向边缘较强。否则它的边缘不明显, 是平滑的块, 直接用H.264参考软件中的平均像素插值来对丢失块进行掩盖。

4 实验结果

为了评测本文提出的差错掩盖的性能, 采用两个不同的误比特率和不同的比特率QCIF (176×144) 标准的视频测试序列:foreman和mother_daughter。实验以H.264 JM8.6作为测试平台来测试本算法的性能。在3GPP/3GPP2无线传输系统中进行实验, 采用基于3G移动网络上的, 离线的误比特模式定义在H.264中的包切换的装置的模拟, 模式是由模拟的移动信道环境产生的, 适合于视频流和视频会话。本文采取的模拟的环境为:Bitrate为64 kbps;RLC PDU大小为640 bits;移动速度为3 km/h。foreman和mother_daughte H.264参考软件算法和本文提议算法的主观图像质量如图1和图2。

各个测试序列用H.264参考软件的掩盖方法和本文掩盖方法重建图像峰值信噪比 (PSNR) 如表1。从图中可以看到具有边缘细节的受损图像采用基于方向内插的差错掩盖方法效果要优于基于平均像素插值的方法。虽然信噪比略有下降, 但是主观质量较好。其他各处由于参数设置满足平滑的要求采用了原有的参考算法, 或是没有得到相似的相邻块, 没有采用新的掩盖方法, 而采用了原来的参考插值算法。

5 结论

H.264参考软件, 在处理图像边缘较多的情况下不能达到很好的掩盖效果, 本文提出了一种基于边缘方向的帧内的差错掩盖方法, 提高了掩盖后的图像质量, 模拟的结果表明, 它所得的掩盖效果比H.264参考软件中的掩盖方法要好。但它的处理时间要比参考软件的掩盖方法时间要长。在今后的工作中应该在这个方面进行改进。

参考文献

[1]Y.K.Wang, M.M.Hannuksela, V.Varsa, A.Hourunranta, and M.Gabouj, "The Error Con-cealment Feature in the H.26L Test Model", in Proc.ICIP, vol.2, Sept.2002, pp.729-732.

[2]Z.Rongfu et al:"Content-Adaptive Spatial Error Concealment for Video Communication".in IEEE.Vol.50, No.1, FEBRUARY2004.

[3]Y.Xu and Y.Zhou:"H.264Video Communica-tion Based Refined Error Concealment Schemes".Consumer Electronics.in IEEE Transactions on Volume50, Issue4, Nov.2004Page (s) :1135-1141.

[4]Kwok and Sun:"Multi-Directional Interpola-tion for Spatial Error Concealment".Consumer Electronics, 1993.Digest of Technical Papers.ICCE., IEEE1993International Conference on8-10June1993Page (s) :220-221.

[5]O.Nemethova, A.Al-Moghrabi and M.Rupp:"Flexible Error Concealment for H.264Based on Directional Interpolation"in2005ICWN, Commu-nications and Computing.