高动态范围显示（精选5篇）
高动态范围显示 篇1
1 人眼视觉感知范围
人眼视觉范围指人眼所能感知的亮度范围,从10- 6cd / m2( 注: 1 cd/m2= 1 nt) 到了108cd / m[1,2],范围( 亮度比值) 达到了1014( 即1014∶ 1 ) ,而典型的景物亮度大致在105范围。当人眼适应了某一环境亮度后,其瞬时视觉范围可达到104( 即同一瞳孔开度下可辨别的亮度范围) 。现今的电视显示器对比度范围大致能做到2 000∶ 1,远小于人眼的感知范围。所以,人们从电视上所看到的仅仅是一个屏幕表现,而非真实世界景色的再现。图1 真实世界中,人眼可感知的亮度范围从暗处的2 cd /m2到明亮处的10 000 cd/m2,其亮度分辨率能力远高于目前的任何显示设备。
传统显示器CRT曾长期占据显示屏的统治地位,CRT能提供的最高亮度不超过100 cd / m2。现代的视频显示器,比CRT显示器提供更高的性能。特别是可提供更明亮的图像和更深的黑色。换句话说,现代显示器可提供比CRT显示器更高的动态范围。现今消费级液晶显示器亮度可达到400 cd/m2,高质量产品可达到1 000 cd /m2,某些专门用途的商用产品则可实现4 000~5 000 cd / m2的高亮度。
目前以CRT为基础的光电转换特性标准限制了新型显示器表现真实景物亮度范围的能力,单方面提高显示器件的亮度范围仍无法实现高动态范围景物显示。本文介绍了杜比Vision和英国广播公司BBC提出的HDR( 高动态范围) 显示方案,二者从HDR需求出发,提出了新型的光电转换特性,可实现高达10 000cd / m2的亮度,有效扩展了显示器的动态范围。
2 电视系统的非线性光电变换
电视中的非线性最初来自使不同亮度等级上获得一致的噪声效果的理念。CIE规定了一个亮度的函数,使之尽可能接近人眼对亮度的响应,这函数关系大致是幂指数0. 42。对于线性电视系统,同样的噪声量级,在暗区表现明显而在亮区则很弱。因此,模拟电视系统用非线性变换使主观视觉在不同亮度区看上去噪声处于相同的水平。在摄像机输出端,把信号用幂指数0. 42 加以压缩,而在显示器端把信号扩展,使整个系统的亮度传输基本线性,而视频噪声则在不同亮度区趋于一致。早期电视工程师利用CRT电- 光转换的非线性来实现噪声均匀性要求,CRT的转换幂率为2. 4( 2. 4 大约是0. 42 的倒数) 。
实际操作中,用于摄像机变换的预校正指数平均值为0. 5,由ITU BT. 709 标准化。通过与显示器的2. 4结合,整个系统的伽马值为1. 2,即图2 表示的系统伽马值。这种对前端信号的预校正补偿称为意图再现( rendering intent) ,是人眼在室内较暗环境观看图像较为适宜的变换值,它较好地反映了人眼视觉系统对真实世界景物的客观响应。
视频信号数字化后,量化比特成为图像噪声的主要来源。量化级数直接影响动态范围,而且是图像中亮度差的重要体现,量化比特不足会在图像的平滑区域引入不规则的边界,这种现象被称为“条带”、“轮廓”或量化误差,图3 表示一种极端的轮廓效应。BBC在1974 年的研究表明[3],对于100∶ 1动态范围,8 bit已经使图像足够平滑,几乎看不出“轮廓”。
电视演播室中常用10 bit视频,但实际中,使用BT.709的变换值,对增加动态范围几无贡献,因为多出来的2 bit用于最低有效位,指望提高暗区分辨率,可以降低最小黑电平,但不能增加屏幕的最高亮度。类似的情况,ITU BT.2020中提出的12 bit也不能增加屏幕的最高亮度。
BT. 709 规定从景物亮度到电信号的光- 电转换关系,称为OETF。摄像机制造商希望能支持更高的动态范围,但BT. 709 只提供100∶ 1动态范围而无法实现。目前的摄像机甚至可支持16 bit视频动态范围,达到105量级。为规避BT. 709 限制,摄像机制造商在OETF曲线中加入一个“膝盖”状拐点,来延伸亮度范围,使信号不至于饱和[3],见图4。
采用不同的OETF可增加视频信号的动态范围。BT. 709 规定的伽马曲线设计目的,在于不同亮度下产生均匀的视频噪声,由此设计出近似于人眼视觉的主观亮度曲线。但是,视频信号数字化以后,视频信号量化的目标是避免产生量化的轮廓噪声,而不是提供均匀的感知噪声。所以,量化视频信号时,重点放在展现人类视觉系统的亮度范围感知能力,以及能够区分亮度差的能力。
3 人眼视觉系统特性
量化视频信号希望避免轮廓,即相邻点的量化电平差。研究人眼视觉系统的韦伯定律指出,人眼可察觉的物理亮度差与亮度成正比。也就是说,在可察觉亮度差的边界上,韦伯分数( ΔL/L) 趋于一个常数。研究表明,人眼锥细胞的韦伯分数在2% ~ 3% 之间,表示受试者能可靠地检测出物理亮度在2% 到3% 的变化[4,5]。
韦伯定律表明,对数关系的OETF将提供最大的动态范围,同时再现图像中察觉不到的量化轮廓。韦伯分数为2% 表示可以获得100∶ 1的动态范围。使用233级量化电平,即709 中的8 bit,没有可感知的轮廓。
这也就是说,人眼瞬时的亮度动态范围在104,这并非量化级要达到214= 16 384 才能满足分辨要求。例如亮度从0. 1 cd/m2到1 000 cd /m2,动态范围104,而人眼随亮度增加,在100 cd /m2处分辨率只有1 cd/m2而不是0. 1 cd/m2,亮度越高可分辨的亮度差越大,维持 ΔL/L基本不变,所以并不需要按最小亮度均匀量化。只要按照某种适合人眼视觉特性的变换关系,就可以用1 000 个量化级实现亮度动态范围104,甚至更大,如杜比Vision用12 bit实现107的亮度动态范围。
Barten根据人眼视觉系统规律,并经过大量试验得出复杂的Barten模型,是图像研究领域公认的基础,成为图像显示中人眼最小亮度差分辨率阈值理论依据。ITU BT. 2246 中给出Schreiber和Barten模型曲线,见图5[6]。
BT. 1886 根据CRT的Gamma特性,规定幂指数为2. 4 的电- 光转换特性。图5 中给出3 种12 bit量化的BT. 1886 随亮度范围变化的最小对比度特性,在高亮度区,BT. 1886 量化误差小于人眼对比度阈值,但低亮度区则高于人眼对比度阈值,表明对高动态范围显示的高亮度区,BT. 1886 量化浪费了过多的比特,而低亮度区则比特量化太粗,比特数不足。
4 支持HDR的光电转换特性
为摆脱以CRT为基础的光电转换特性束缚,实现高动态范围( HDR) 显示,现已有杜比、BBC、NHK和Philips向ITU提出4 个HDR标准化建议,其中杜比Vision提出的感知量化( Perceptual Quantizer,PQ ) 成为SMPTE ST2084 标准,可实现10 000 cd / m2屏幕亮度,BBC提出的10 bit HDR建议,支持超过1 000 cd / m2的HDR显示。图6 给出几种光电转换特性的比较,其中BT. 709 只有100 cd / m2亮度范围,DICOM是医学数字成像和通信领域的标准,规定医学图像质量,10 bit可实现5 000 cd/m2以上的高亮度,杜比Vision则有107高动态范围,支持10 000 cd/m2亮度。
4. 1 系统级光电转换特性
电视传播信号链如图7 所示,信号的变换包括摄像端和显示端的非线性特性。摄像机非线性特性称为光- 电转换特性( OETF) ,显示端则称为电- 光转换特性( EOTF) 。常规电视通常把这两者混为一谈而统称为“伽马校正”。整个信号链为适应人眼视觉系统而呈现非线性,是光- 光的系统转换特性( OOTF) 或系统伽马。系统伽马用来补偿人眼在不同观看环境的心理视觉效果,适合的系统伽马值能更好地完成景物真实再现( rendering intent) 。电影业选择系统伽马值为1. 6 ~1. 8,适合黑暗环境下观看,电视在室内较暗环境观看,系统伽马值为1. 2,计算机从业者偏爱系统伽马值为1,因为它适合在室内较亮环境下观看图像。
BBC对系统伽马值进行了主观测试,测试的室内照度10 lx,一台参考显示器显示亮度为600 cd/m2的参考图像,另一台测试显示器显示9 个不同伽马值( 1. 0~2. 4) 的测试图像,测试图像亮度从68 cd /m2到5 200 cd / m2变化,参试者从中选出与参考图像匹配最好的测试图像。测试结果中得出优选的系统伽马值如图8 所示,并得到如下经验公式[8]
图8 表明,HDR系统伽马值随显示器峰值亮度而改变,例如室内常用环境亮度10 lx下,相当于背景亮度10 cd /m2,亮度为1 000 cd/m2显示器系统伽马值优选为1. 4,而数千坎德拉每平方米亮度的显示器,则系统伽马值宜取1. 5。为此,BBC的研究报告建议,厂商根据显示器亮度不同而采用不同的系统伽马值,可获得最佳观看效果。
4. 2 杜比Vision
杜比实验室提出一种用于显示器的电信号到屏幕光输出的非线性变换,即电- 光转换特性EOTF,也称感知量化( Perceptual Quantizer,PQ) ,其商业名称为杜比Vision。杜比PQ根据Barten对比度敏感特性,构造显示端非线性变换EOTF,使量化误差形成小于Barten对比度阈值的PQ曲线。
Barten模型给出对比度敏感函数CSF公式,表示在给定观测条件下,CSF对不同空间频率的图像分辨能力,CSF是可察觉亮度差与亮度的比值[6]
对不同类型的图像,人眼视觉敏感度不同,以不同空间频率的图像( 图像呈现不同距离的光栅) 作为敏感度的测试。图9 中画出不同亮度下的敏感度CSF曲线,找到每个亮度下CSF最大值,也就是指该亮度下人眼对此光栅图像最为敏感,所谓的图像勾边效应,而此时的亮度差作为人眼可察觉的最小亮度差阈值。将这些亮度差阈值连成随亮度变化的一条曲线,即得到Barten最小可觉差( Just Noticeable Difference,JND) 曲线,如图10 表示[7]。
图10 中虚线表示的折线段为Schreiber可觉差阈值曲线,在1 ~ 10 000 cd/m2亮度范围,呈对数关系,而在0. 01 ~ 1 cd/m2范围为1 /2 幂指数关系。另一条虚线表示的弯曲线段即从Barten模型公式中得出的可觉差阈值曲线,该曲线下方即为不同亮度下不可察觉的亮度差值,也就是量化阶梯的取值范围。沿着这条阈值曲线构造的变换特性,便可用最少的量化比特获得最佳量化效果。
杜比实验室按照Barten阈值曲线做出3 条12 bit量化曲线,分别是0. 46JND,100 cd /m2; 0. 68JND,1 000 cd / m2; 0. 9JND,10 000 cd/m2。分别对应不同的量化误差和最大亮度。误差最小的是0. 46JND,位于最下方。
以0. 9JND,10 000 cd /m2曲线为基础,得到杜比PQ。杜比PQ用了不同的函数规律来逼近Barten阈值曲线,低亮度区为平方根关系( 斜率- 1 /2) ,高亮度区是斜率接近0 的对数关系,低亮度和高亮度之间的中间区域,则为变化的斜率,中间区斜率平均值表现为BT. 1886 的变换斜率。杜比PQ提出的EOTF由下式表示[7]
其中:Y是屏幕亮度;V是视频信号值,0≤V≤1;L0=10 000;m=78.843 8;n=0.159 3;c1=0.835 9;c2=18.851 6;c3=18.687 5。
根据杜比PQ曲线,屏幕亮度为
反过来得到视频信号
经过导数运算,写成对比度敏感形式
式中: ΔV是数字量化的最小单位,12 bit时,ΔV =1 /4 060。
按照式( 10) ,画出12 bit,10 000 cd/m2时的PQ曲线见图11,可见杜比PQ构造的EOTF亮度范围从0. 001 cd / m2到10 000 cd/m2,动态范围107,整条曲线在不同亮度区量化阈值均小于Barten阈值。同样是12bit量化的BT. 1886 EOTF,最高亮度1 000 cd / m2,在小于2 cd / m2的低亮度区,量化阈值高于Barten阈值,表明杜比PQ比BT. 1886 量化效率更高。
杜比PQ是显示端的非线性变换特性EOTF,与摄像端不发生关系,只考虑了信号量化和人眼亮度分辨率的关系,认为若视频信号从摄像机获取,则摄像机端信号与景物亮度呈线性关系。换句话说,若摄像端存在类似BT. 709 给出非线性变换,则需要去除这种非线性,才能正确显示所摄取的景物亮度。因此,杜比PQ是作为表现视频信号特征的视频监视器角色出现,而非指定从景物到显示屏整个系统的变换关系。
4. 3 BBC建议的HDR光电变换特性
BBC的HDR建议考虑电视信号的产生到显示整条信号链,提出OETF和EOTF。从信号产生端看,在图像的较亮部分符合韦伯定律,即感知亮度差和亮度的比值近似恒定。这意味着对数规律的OETF在给定的量化深度下将提供最大动态范围。例如现今专有的摄像机OETFs,如S-LOG,Panalog和Log C等已获得广泛使用。但对数变换在低亮度区域分辨率很差,会出现可察觉的量化误差。低亮度区人眼视觉感知阈值符合De Vries-Rose规律,很凑巧的是,传统的指数型OETF特性与De Vries-Rose规律匹配很好。这种传统的伽玛曲线当初就是为低亮度表现的CRT所设计。因此,理想的OETF应在低亮区符合指数规律,在高亮区符合对数规律。
BBC提出混合型OETF如下式表示[8]
式中: E是代表景物线性亮度的摄像机各彩色通道( R,G,B) 信号值。E'是非线性变换信号,归一化范围0~1。r = 0. 5 是白电平参考值。
固定常数a = 0. 178 832 77,b = 0. 284 668 92,c =0. 559 910 73。对应这组常数,相对亮度为12 时,信号值E' = 1。
图12 表示按照log-Gamma规律的组合型OETF变换,其中虚线为BT. 709 的伽马预校正,实线为适合HDR的OETF,相对亮度从1 扩大到12,避免了高亮度区的信号饱和。这种log-Gamma规律的组合为提高量化效率埋下伏笔。
BBC建议的显示器非线性变换EOTF如下[8]
式中: Yd为像素表示的屏幕亮度; Ys是景物亮度; α =LP- LB,表示屏幕亮度最大值; β = LB; γ 为系统级光电转换特性。LP是峰值白(对应Ys=1),LB是黑亮度(Ys=0)。
EOTF实际计算过程见图12。EOTF把线性景物亮度Ys映射到屏幕亮度Yd。与常规动态范围SDR不同,EOTF将变换施加到景物亮度Ys,而不是加到每个颜色通道,来防止颜色变换的不一致。
Ys可通过预校正信号E'来获得
E是线性景物亮度的每个彩色分量RGB分量表示,可得到
显示亮度Yd确定之后,显示器每个像素的显示值Rd,Gd和Bd由下式决定
计算量化误差曲线,取 α = 2 000,β = 0. 01,γ =1. 5。按10 bit量化有 ΔE' = 1 /1 020,得到BBC EOTF量化误差曲线如图13 所示,图中3 种EOTF均为10 bit量化,杜比PQ是最接近Schreiber阈值的EOTF,支持亮度到10 000 cd /m2。BBC和1886 传统Gamma支持2 000 cd / m2亮度,但1886 在中低亮度区已经超过Schreiber阈值,量化误差为可察觉。BBC EOTF结合了Gamma和对数转换特性,量化误差正好在阈值之内,表现出较好的量化效率。需要指出的是,按照本文的推导计算曲线,与BBC研究报告给出的曲线略有差别,尚未找到原因。BBC研究报告误差曲线如图14 所示。
BBC HDR转换特性首先从摄像端入手进行非线性预校正,低亮度区采用BT. 709Gamma特性,在高亮度区采用对数特性,这样充分发挥摄像机已具备的高亮度景物摄取能力,同时将人眼视觉亮度差阈值与量化级相适配。其次,对于显示端,按照观看环境亮度和显示器峰值亮度参数选择系统级Gamma值,从整个亮度观看全过程适应人眼视觉特性。BBC HDR方案与现有的电视伽玛特性标准在低亮度区域有一定兼容性,转换特性产生的量化误差对大多数自然景物图像而言不易察觉,转换特性没有杜比PQ那么复杂,因此,日本已将其作为扩展图像动态范围电视( EIDRTV) 系统的ARIB国家标准。
5 结束语
本文以杜比感知量化和BBC摄像端和显示端分开考虑的转换特性入手,介绍HDR电视系统光电转换特性原理和设计实现。这两种HDR方案均基于人眼视觉系统的感知特性,以最少的量化比特实现高动态范围显示要求。杜比方案基于显示器屏幕亮度,以人眼视觉感知阈值来确定电- 光转换特性,使量化误差正好小于视觉阈值,形成精确复杂的高亮度转换特性。BBC方案在摄像端采用扩大景物亮度范围非线性预校正,在显示端以适合观看环境的系统级伽玛数设计电- 光转换特性,同样以较少的量化比特实现高动态范围显示。HDR电视系统将传统基于CRT特性,亮度范围在100 cd/m2以内的常规显示扩展到2 000 ~10 000 cd / m2高亮度,适应新型显示器的发展现状,为用户提供更加绚丽多彩的真实世界再现。
参考文献
[1]DENTON E J,PIRENNE M H.The absolute sensitivity and functional stability of the human eye[J].The journal of physiollogy,1954,123(3):417-442.
[2]NARISADA K,SCHREUDER D.Light pollution handbook[M].[S.l.]:Springer Science&Business Media,2004.
[3]BORER T.Non-linear opto-electrical transfer functions for high dynamic range television[EB/OL].[2015-11-01].http://downloads.bbc.co.uk/rd/pubs/whp/whp-pdffiles/WHP283.pdf.
[4]STEVENS S S.On the psychophysical law[J].Psychological review,1957,64(3):153-181.
[5]DAVSON H.Physiology of the eye[M].5th ed.London:Macmillan Academic and Professional Ltd.,1990.
[6]BARTEN P G J.Formula for the contrast sensitivity of the human eye[C]//Proc.SPIE-IS&T.San Jose,CA:[s.n.],2004,5294:231-238.DOI:10.1117/12.537476.
[7]SCOTT M.Perceptual signal coding for more efficient usage of bit codes[J].Motion imaging journal,2013,122(4):52-59.DOI:10.5594/j18290.
[8]BORER T,COTTON A.A“display independent”high dynamic range television system[EB/OL].[2015-10-10].http://downloads.bbc.co.uk/rd/pubs/whp/whp-pdffiles/WHP309.pdf.
高动态范围显示 篇2
在真实世界的自然场景,动态范围表示图像中从最亮至最暗的范围。在数字图像中也称对比度,动态范围表示图像中最大灰度值和最小灰度值之间的比例。人类视觉可感受到的范围、打印图像所显示的范围或显示器上显示的范围远远不及自然界中存在的动态范围大。由于所能使用的动态范围很有限,电影艺术家、摄影师等数字图像的使用者必须对场景中的重要视觉元素进行精挑细选,以达到他们的要求。
本项目力图从高动态范围图像(High-dynamic range image)的采集和显示两方面进行深入研究,设计出基于液晶光阀的光强连续选通成像图像采集系统和通过双屏叠加实现高动态范围图像显示的系统,从而充分展示从高动态拍摄到高动态显示整条技术链,更完整、真实的再现现实中的场景。
1 系统总体设计
高动态范围图像采集及其双屏显示系统结构如图1所示,该系统主要由两部分组成,高动态范围图像成像系统和高动态范围图像显示系统。首先,曝光景物通过成像系统获得几幅不同灰度图像,其次,利用扩展图像动态范围处理算法将其合成高动态范围图像。最后,将图像传送给成像系统从而显示高动态范围图像。
2 系统模块设计
2.1 高动态范围图像采集系统
液晶光阀是利用液晶的光学特性制作的一种光寻址的空间光调制器,广泛用于光信息处理、投影显示等领域。液晶光阀成像是利用其旋光特性完成光的调制与解调,背光源参与成像[1]。如图2设计方案所示,镜头将场景成像于液晶光阀上,形成图像信息,按照像素一一对应的关系将该图像信号传递至CCD感光元件的像敏面上,完成光信息的高效采集。主控芯片根据预先设置的函数产生液晶光阀曝
光参数,将控制信号输入至液晶驱动模块,使之产生相应整体明暗度。CCD信号处理单元将接收到的电压信号通过解码、采样转换为数字信号,并将该数字信号输送至图像处理模块后,其接收的数字信号转变为图像逐个像素的亮度信号。亮度信号和曝光参数同时存储至存储模块,作为后续处理原始数据[2]。
2.2 扩展图像动态范围处理算法
目前,高动态范围图像主要获取方法是将多幅不同曝光的普通低动态范围图像进行融合生成。此类算法主要代表有美国加州大学Debevec方法[3]和美国哥伦比亚大学的Nayar方法[4],这两种算法应用于本设计较为复杂,因此采用朱良销等人的一种扩展图像动态范围的处理算法[5],该算法具有速度快,简洁优化特点。
首先,保持场景中的物体和光照度不变,通过成像系统获得几幅不同灰度值的低动态图像,再采用高动态范围图像合成算法扩展图像动态范围,从而获取高动态范围图像。该算法为了使所合成的图像灰度值得到较好改善,主要是对两幅图像进行相加后,再对图像进行改算法处理。这里采用两幅图像,是因为每幅图像都有一部分区域细节能更真实再现场景,将这不同灰度值的两幅图像进行相加,能增加所合成图像的信噪比。这种算法能使图像暗部的地方更暗,亮度的地方更亮,能较好改善图像整体灰度值,增强图像中较暗、较亮、难分辨的区域,扩展图像动态范围。
设g(x,y)是合成的图像在(x,y)位置的像素值,Gi(x,y)是第i幅图像在(x,y)位置的像素值,则:
式中:G0是预设的参数值,N0是采集到的图像数目,
本算法与所取图像的数目N0和预设的参数值G0有关,且限制条件是G0×N0<255。通过用VC编程实现上述算法,实验可知当所取图像的数目N0为2,预设的参数值G0为50时,效果最佳。
2.3 高动态范围图像显示系统
设计一种基于LED的背光动态调制的高动态范围显示系统,通过对显示的画面进行分析,采用区域亮度动态控制的方式得到不同区域的最佳亮度同时驱动LED背光达到相应的亮度[6],LED背光系统框图3所示。
LED背光源阵列本身为低解析度显示器,所产生的光强分布需要配置液晶面板的高解析度信息,才可以显示细致和高对比度的图像。所以,背光图像是原始图像的低频分量图,其中包含了原始图像的大多数特征,而LCD显示面板包含了调整背光后的其余图像部分。
将FPGA输出控制信号与LED驱动板对应信号连接好,还需要将LED驱动板与LED屏相连。下载FPGA程序,观察LED屏上图像显示,通过均光板后经脉宽调制后LED背光结果如图4所示,再将其与液晶屏叠加后效果图如5所示。
3 实验结果
实验中,首先通过成像系统获得两幅不同动态范围的图像,如图6所示,成像系统获得的低灰度图(a)和成像系统获得的高灰度图(b)。其次通过扩展图像动态范围处理算法将预设的参数值G0设为50,图像的数目N0为2时,低灰度图和高灰度图合成的效果图(c),从图中我们可以发现相比于(a)图与(b)图其动态范围得到了较好的扩展。
其次,用亮度功率计测量LED阵列电路板上的LED亮度,采用分区的方式进行测量。测量区域分布见图7,测试结果如表1所示。
实验可知,LED亮度均匀性在95%以上,对于脉宽调制而言,亮度变化很大,最大亮度为496.8 cd/m2,最小亮度为0.04 cd/m2,对比度达到10 000∶1以上,通过功率的相关公式,可计算出脉宽调制后的功率比原来整体调制功率减少了60.2%。
4 结 论
通过本文设计的基于液晶光阀的单镜头光强连续选通成像图像采集系统,及以液晶屏和LED组合作为显示源的双屏显示系统。实验证明,所设计的系统能有效提高图像对比度,扩展图像动态范围,降低功耗,获得的图像更逼真,具有更舒适的视觉效果。利用本系统,对摄影、游戏及医疗等一些需要显示高动态图像的行业将有较大的帮助。
参考文献
[1]武晓阳,贺庚贤.基于液晶光阀的数字仿真目标研究[J].微计算机信息,2008(22):279-281.
[2]张瑞霞.基于液晶选通成像探测器的研究[D].西安:西安理工大学,2010.
[3]Debevec P,Malik J.Recovering high dynamic range radiancemaps from photographs[C].Proceedings of ACM SIGGRAPH1997,1997:369-378.
[4]Mitsunaga T,Nayar S K.Radiometric self calibration[C].Proceedings of Computer Vision and Patern Recognition'99,volumn 1,1999:374-380.
[5]朱良销,余学才,陈摇涛,等.一种扩展动态范围的图像处理算法[J].传感技术学报,2011,24(1):65-67.
高动态范围显示 篇3
在航天侦查以及观测深空星体、太阳活动、运载火箭的发射等领域,由于真实场景所展现的亮度范围超出了成像系统本身所能显示的动态范围,因此会造成图像传感器的大面积饱和,形成日晕、blooming等现象,使成像设备失灵,不能准确获取指定目标的图像数据。普通光电成像设备(CCD或CMOS图像传感器)的动态范围一般仅能达到50~60 d B,即使在科学研究领域所使用的图像传感器的动态范围在常温条件下也只有70 d B左右,往往满足不了高动态范围成像的要求[1]。
目前适应高动态范围场景观测的主要手段有:1) 采用双图像传感器成像方法[1,2],其中一个积分时间长,另一个积分时间短,获得同一时刻开始积分的两幅亮暗图像,最终经过图像融合处理的方法实现提升适应高动态范围场景观测的能力;2) 通过改变CMOS图像传感器的读出结构,将图像传感器信号输出幅度与接收的光电子数由线性关系变为对数关系,提高适应高动态范围场景观测的能力[3,4]。但此项工艺不适合深空探测所采用的CCD图像传感器;3) 通过增大图像传感器的像元尺寸,提高图像传感器每个像元积累光电子的能力来提高成像动态范围[5];4) 对于高帧频的图像传感器,可以通过设定多帧不同积分时间,进行连续快速的成像,再通过多帧不同感光程度的图像进行合成,得到一幅亮暗目标融合的合成图像,达到提高动态范围的目的[6,7]。
上述手段和方法一般能够使得成像设备的成像动态范围提升到70~80 d B,然而很多技术手段不能同一时刻获得的图像,主要采用事后图像处理的办法,因此这些技术手段仍然不能满足高动态目标实时成像观察测量的要求。
本文基于数字微镜器件,提出了一种提高光电成像器件可探测动态范围的方法,根据这一方法设计了一种能够对高动态目标进行自动区域调光的望远系统。
1 系统原理
1.1 DMD 的工作原理
DMD由美国Texas(TI)公司开发,采用微电子机械原理,是一种用二进制数字信号控制的数字光调制器,由上百万片的微米级反射镜片组成,利用静电使微反射镜转动,其具体结构如图1。
DMD底层是衬底,衬底表面刻有CMOS半导体存储器件,CMOS上面是带有铰链可偏转摆动的反射镜片支架,微反射镜片固定在支架上。微反射镜片利用铝溅射工艺制成正方形。每个微镜面的尺寸约10.8μm×10.8μm或更小,微镜面之间的间隔约1μm,每个微镜面代表一个像素,每个微镜面都可以沿着它的对角轴线做±12°翻转,翻转频率可达数千赫兹[8,9,10,11,12]。微反射镜的工作原理如图2所示。
当偏转+12°时,微反射镜处于开状态,将光线反射至目标光学系统;当偏转-12°时,微反射镜处于关状态,将光线反射出光学系统,使其不能到达目标光学系统。利用每一个微反射镜片下的存储单元以二进制信号进行寻址,控制每个像素的开关状态以及开关时间,即可形成不同亮度、对比度和灰度的图像。DMD可通过二进制脉宽调制技术实现全数字方式控制图像的灰度等级。
1.2 系统结构分析
为提高系统的动态范围,提出了一种全新的光学系统,该系统为二次成像系统,采用非远心光学结构,利用处于中间像面位置的DMD作为光强调制器件。整个光学系统原理图如图3所示。
成像物镜将目标景象成像在DMD光调制器上,当DMD上的微反射镜处于开状态时,微反射镜将成像物镜上的光反射到转置镜上,再由转置镜成像到探测器上;当DMD上的微反射镜处于关状态时,入射到DMD上的光线被反射到非成像吸光装置内并被完全吸收。非成像吸光装置由平面反射镜、黑体球组成。
为对高动态目标进行成像,DMD上的微反射镜首先需要全部处于开状态,获取一幅目标景象的图像,然后按照平均灰度和局部动态将图像划分为若干小区域,并设定各区域相应的曝光时间等参数。最后根据已设定的参数逐区控制DMD微反射镜的开关状态及开关时间,同时完成探测器的曝光成像过程,获得具有高动态范围的图像。
为方便光学系统装调并提高DMD调制精度,选择DMD垂直于成像物镜的光轴放置。平行于成像物镜光轴的光线入射到DMD上被DMD反射后出射光方向与DMD法线成24°夹角,即中间像面DMD不再垂直于转折后的光轴。系统采用常规的透射镜头将DMD上的像成像到探测器上,由于物面与光轴出现24°的夹角,相应的探测器与光轴也存在一定的夹角。DMD与探测器间物像关系如图4所示。
2 光学系统设计
2.1 主要技术指标
设计的望远系统主要用于观测高动态范围、强度相差悬殊的目标,如太阳活动等。系统采用DMD作为光强调制器件,使用sC MOS作为图像传感器,DMD上的微反射镜与s CMOS上的像元一一对应,通过控制DMD进行像素级调光,实现高动态目标成像,其主要技术指标如表1所示。
2.2 光学系统结构
设计的基于DMD的高动态范围望远系统是一个较长焦距、小相对孔径、小视场的光学系统,采用透射式光学系统较为简单合理,其光学系统结构如图5所示。
该望远系统主要由成像物镜和转置镜组组成。其中成像物镜由一片胶合透镜、两片单透镜组成,是望远系统的主要部分;转置镜组将DMD上的像成像在探测器CMOS上,其放大倍率为-1,采用双高斯形式设计。由于光线经DMD反射后与光轴成24°夹角,即DMD上的像相对于转折后的光轴为斜物,因此设置探测器CMOS与光轴的夹角为变量进行优化,最终探测器与光轴的夹角为25.93°。为避免转置镜组中的透镜遮挡成像物镜后的光线,需要使成像物镜具有较长的后工作距且转置镜组有较长的前工作距。优化完成后成像物镜的后工作距为142.5 mm,转置镜组的前工作距为78.4 mm。
2.3 像质评价
由于系统需要根据探测器上的像对应调节DMD微镜像元的开关状态及开关时间,因此要求DMD上的像也要有良好的成像质量。图6为DMD像面上的传递函数、场曲和畸变,图7为探测器像面上的传递函数、场曲和畸变。
由图6可以看出,在DMD的Nyquist频率处,全视场范围内子午方向和弧矢方向的系统传递函数接近或大于0.70,场曲小于0.1 mm,畸变接近于0。由此可知,DMD上成像质量良好,能够达到区域调光的要求;由图7可以看出,在探测器CMOS的Nyquist频率处,全视场范围内子午方向和弧矢方向的系统传递函数大于0.55,场曲小于0.1 mm。由于经DMD反射之后为斜物成斜像,因此系统存在一定畸变,但畸变小于2%,对成像质量影响不大。
3 成像系统动态范围估算
一般光电成像器件的动态范围定义为探测最大光能量和最小光能量的比值。本文设计的望远系统的动态范围主要由两个因素决定:1) 图像传感器固有的动态范围;2) DMD器件的调制能力。
设计的望远系统采用高动态科学级CMOS作为图像传感器,其动态范围是23 000:1,约为87 d B。考虑系统帧频很高并且系统噪声会有影响,预计其动态范围不小于20 000:1。
DMD器件的工作方式与控制方式决定了其光强调制的动态范围,理论上DMD器件的摆动频率为3 000Hz,光强调制范围为3 000:1。但DMD需要复位,且在摆动过程中也有部分光线进入图像传感器,因此图像传感器的积分时间不能与DMD的开状态相位完全一致,但是其动态范围至少可达到500:1。
系统总动态范围为(20 000:1)×(500:1)=10 000 000:1,即设计的像素级区域调光的望远系统动态范围至少可达140 d B。
4 结 论
高动态范围显示 篇4
Vray是一款集合Raytracing (光线跟踪) 和Global Illumination (全局照明) 两种算法的渲染器。Vray渲染器无论在渲染效果上, 还是相同质量画面的渲染时间上, 都优越于大部分主流渲染器, 并且支持包含高动态范围图像 (HDRI) 的渲染方式。
高动态范围是针对我们平时使用的一般图片的动态范围来说的。例如一张普通的8bit JPEG图像记录光线的亮度范围是0-255, 16bit的TIFF记录亮度范围是0-65535, 而HDRI则可以包含比普通RGB格式图片更多的光照信息。因此HDRI更接近自然界真实的光照环境。
举个例子, 同样是晴天的天空图片, 一张是普通RGB格式, 一张是HDRI格式。两张图片中, 天空中最亮的部分用肉眼观察都是白色, 如果把两张图放入Photoshop中降低同样的色阶值, 会发现普通RGB格式图片中最亮的部分依然是同一亮度, 而HDRI中同一最亮部分则出现了丰富的明暗层次。这说明了HDRI保存的亮度信息远远大于普通RGB格式图片。HDRI亮度层次的丰富性决定了其在辅助三维数字场景照明时的优势。
在创作动画短片《Lust》的过程中, 我们主要运用了以下几种Vray HDRI贴图类型:
1. 作为GI Environment[Skylight]override (全局光环境【天光】覆盖) 的贴图
全局光环境【天光】覆盖是Vray提供的360°场景辅助照明方式。这种方式允许设置一种颜色作为场景的环境光, 并使用环境光对场景进行照明。除了单纯设置颜色, 还可以设置一张贴图来作为环境光的照明依据。通常会设置一张与场景环境相符的普通动态范围的位图作为全局光环境的贴图。
制作概念动画短片《Lust》时, 我们尝试运用了HDRI作为全局光环境的贴图。
在《Lust》中有一个人体内部的场景, 这个场景设想呈现的是一粒抗生素药丸融化后长出医用注射器触须, 然后注射器触须在人体内张牙舞爪地摆动。为了体现紧张的气氛, 这个场景整体光照强度较弱, 阴影部分是画面的主导。正因为暗部占画面的主体, 所以这部分的细节和层次变化是场景打光所要解决的主要难点。通常情况下, 我们会给暗部补光。这种做法费时费力, 而且场景中灯光太多, 会造成渲染的时间大大增加。如果使用一张适合场景的HDRI作为全局光环境贴图, 则会较好地解决这个问题。 (见图1)
但在解决这个问题之前, 我们首先要获得一张适合场景的HDRI图片。实际操作中, 我们首先用已经贴图调节完成的场景渲染出3张低动态范围的环境图像, 并且保存成JPG格式。渲染这三张图片的要求是:一张欠曝光, 一张正常曝光, 一张过曝。为了达到这样的效果, 我们可以选择通过调节Vray物理摄像机的曝光补偿功能来完成。因为画面看起来欠曝光的图片会比较完整地保留环境的暗部层次, 同理, 过曝的图片会比较完整地保留环境的亮部层次, 正常曝光的图片则是对中间层次较好地保存。有了这样的三张图片后, 我们可以在Photoshop中将这三张图片导入, 在应用文件菜单中以Merge to HDR命令来进行HDRI的合成。
具体制作中, 首先导入模型, 打开材质编辑面板, 点击获取一个Vray HDRI;点击浏览, 选中该场景的HDRI贴图;调节好倍增值, 选择贴图类型为球状环境贴图;打开Vray渲染面板, 在环境面板中勾选此全局光环境【天光】覆盖, 并将设置好的HDRI附加到贴图区域上。此时, 软件已经可以读取HDRI上的亮度信息, 来为场景进行环境照明了。HDRI丰富的亮度层次转化成了层次丰富的环境光源。通过几次渲染测试, 我们已经得到了一个较好的渲染结果, 画面层次分明。通常情况下, 要得到类似的效果, 需要设置主光源、背景光、补光, 经过多次调节才能达到, 并且需要花费数倍的时间, 而使用HDRI作为环境辅助照明, 渲染一帧分辨率为720×404的图片只需要20几秒。
得到上面的渲染结果后, 接下来只需要简单设置主光源, 让场景中所有的物体得到一个统一的阴影方向, 最后便可以设置参数进行渲染输出了。
为了体现HDRI作为环境辅助照明的优势, 我们在同样的场景中, 用默认扫描线渲染器再进行一次渲染, 得到的图像十分平淡, 明暗关系也不及之前的渲染结果丰富。
2. HDRI作为Vray Mtl的材质贴图
在使用HDRI进行场景补光照明时, 除了对整个场景作全局照明, 有时为了强调效果, 还可以对某个特定的材质进行单独的光照效果调节, 此举能够在不影响画面基调的前提上, 达到更好的视觉效果。如果使用已经确定的环境Vray HDRI, 最终效果的融图性一般会比较好, 不会因为贴图和画面相差过多, 造成整体画面不协调。再者, HDRI的层次丰富也会使特定调节的部分细节更多, 画面更加充实。
在《Lust》中, 为了突出火红的天空环境对食人花的影响, 对食人花的材质做了强调。具体做法是:打开材质编辑器, 找到已经编辑好的食人花的材质球;将环境的Vray HDRI贴图附加到食人花材质的反射贴图中, 然后同样地将Vray HDRI贴图附加到食人花材质反射的光泽度贴图上。这样做可以使得其材质的环境感更强, 更能融合在画面中, 也可以突出主体物在画面中的重要性。 (见图2)
高动态范围显示 篇5
11月15日, 索尼宣布将再次与梵蒂冈电视中心 (CTV) 及其他技术伙伴联手, 在教宗方济各主持的大禧年圣门关闭仪式上, 提供全球现场节目制作和4K HDR转播的技术支持。
CTV为转播此次仪式建立了强大的技术架构, CTV1将采用12台最新型的索尼4K HDR摄像机和索尼HDR S-Log3系统, 用于端到端4K HDR现场系统中的现场节目制作部分。这一工作流程还可以同时提供4K超高清的标准动态范围 (SDR) 信号同步播出记录, 以及HD的SDR信号同步播出记录功能。S-Log3动态范围曲线能够处理具有更多信息的高动态范围和宽色度范围的节目内容, 确保这一系统能够与CTV的所有转播平台实现完全实时的兼容。这次转播的现场画面将采用12台索尼HDC-4300摄像机来拍摄, 现场节目制作流程将由索尼MVS-7000X节目制作切换台和PWS-4400 4K多通道服务器系统来提供支持, 转播节目的提交将使用混合Log-Gamma (HLG) 格式。