像素超采样技术（精选3篇）
像素超采样技术 篇1
光学显微成像技术具有无损、非接触、高特异性、高灵敏、高活体友好以及能够提供功能信息等突出优点，在生物医学和材料科学领域有广泛的应用。并且由于其具有三维层析成像能力，可借助荧光标记等其他技术手段对于样品内部的结构和生化反应进行针对性的观察，是获知生物体结构、形貌以及临床医学诊断等领域非常重要的工具。近年来随着生命科学和临床医学的发展，迫切需要一种既具有纳米尺度的光学分辨本领，还可以连续监测生物大分子和细胞器微小结构、功能的演化，同时不影响生物体系生物活性的光学成像显微技术。然而传统光学显微成像技术的空间分辨率受衍射极限的限制，无法做到小于200nm分辨率，只能观测到微米至亚微米级的结构形貌。
为了突破光学显微成像技术的衍射极限，科学家不断地寻找新的方法来提高显微成像技术的分辨率。1957年，Marvin Minsky在哈佛大学最早提出了共聚焦（Confocal）的概念，并对载物台扫描共聚焦显微镜申报了美国国家专利（US Pat.3013467）。1987年出现了第一台激光扫描共聚焦显微镜商业产品。至此，共聚焦显微技术已基本发展到比较成熟的阶段。然而，共焦显微镜的分辨率只是在宽场显微镜上提升约1.4倍，仍然不能突破光学衍射极限。近年来，Stefan W.Hell等人[1,2]提出的STED和基态倒空（Ground state depletion,GSD）荧光成像技术，庄小威等人[3]提出的STORM技术，Eric Betzig等人[4]和Samuel T.Hess等人[5]提出的光激活定位超分辨成像方法（Photo-activated localization microscopy,PALM），突破了光学衍射极限的限制，使光学显微镜的成像分辨能力提高到几十纳米。为此，2014年诺贝尔化学奖颁给了在光学超分辨分子成像技术中做出突出贡献的有关科学家。
STORM技术是利用了荧光探针具有光开关的特性，用特定波长的激光来激活探针，然后用另一个波长激光来观察、精确定位以及漂白荧光分子，将此过程循环足够多次后重构得到高分辨率图像的方法。由于具有激发强度小、宽场分辨能力高、荧光染料适用性强等特点，STORM技术被广泛应用于生物医学领域的研究。在细胞生物研究中，STORM技术实现了对亚细胞组织结构（例如微管、肌动蛋白和线粒体等）的高精度观察。如Bates等人[6]利用STORM观察了BS-C-1细胞的线粒体网络结构，分辨出重叠或者之前的显微技术不能分解的细丝。在神经生物学研究中，STORM技术提供了研究只有几十纳米的神经突触的构型以及信息相互传递的新方法。例如，Dani等人[7]利用STORM技术研究了神经递质在神经轴突传递的方式以及神经突触在神经细胞上的分布。Xu等人[8]利用STORM技术对神经元中发挥重要作用的肌动蛋白和血影蛋白在轴突和树突的组织结构进行了高分辨成像。在微生物研究领域中，STORM技术提供了对极小尺寸的细菌、病毒等的结构、功能及机制研究的高分辨成像方法。Wang等人[9]用STORM技术发现了细菌中H-NS蛋白与DNA结合并在染色体中形成紧凑的聚集体。
相比于国外，国内高端光学显微镜的研究起步较晚。直到90年代初，我国才引进第一台激光扫描共聚焦显微镜（laser scanning confocal microscope,LSCM）。2011年中科院生物物理研究所引进了国内第一台基于结构光学显微技术（Structured Illumination Microscopy,SIM）的超分辨显微镜（美国API公司OMX）。目前，国内对高端显微镜（如共聚焦显微镜）的需求每年以20%的量增加，全部依靠进口。最近十年来，一些重点院校研究所，如浙江大学，中国科技大学，北京大学、华中科技大学、深圳大学、上海理工大学、中国科学院上海光学精密机械研究所、中国科学院上海应用物理研究所等逐渐开展了在超分辨显微技术领域的研究。
鉴于STORM技术的巨大价值和应用前景，围绕着STORM技术的生物医学应用和技术不断完善，国内许多机构也纷纷开展了相关研究。深圳大学光电工程学院的牛憨笨院士研究团队[10]采用了双物镜聚焦设计了STORM结构，抑制了焦平面外的荧光干扰，提高了单分子的定位精度，加大了系统的景深。上海交通大学生命科学技术学院的孙洁林课题组[11]采用汞灯代替激光光源，设计了STORM，实现了30nm的横向分辨率。中国科学院苏州生物医学工程技术研究所熊大曦课题组[12,13]通过分析柱透镜参数选择上的优劣，优化并提高了STORM轴向定位的精度和深度。
STORM技术超高空间分辨率的能力主要依赖于极高的单分子定位精度，即在采集图像时，对应每一帧图像只能激活少量荧光分子。但其缺点是为了收集足够多的光子数来重构一幅完整的图像，通常需要几千帧的采样数，导致采样效率被约束。同时，当获得数据后进行单分子拟合等数据处理时，通常也需要几分钟至几十分钟（针对不同的样品甚至需要几小时）来得到一幅高分辨图像。这对生物体内的生理病理发生发展过程，如病毒入侵、细胞的胞饮胞吞及物质进入细胞后的途径等进行实时动态观察来说是远远不够的。而这些过程恰恰对人们更加直观的理解生命现象，揭示各种疾病的发病机理具有重要的意义。
提高STORM技术成像速度的解决途径主要有两种：一是在同等采样帧数下，加快采样速率，从而提高成像速度。这就需要增大激发光的强度、缩短荧光染料的光开关时间、使用更加快速的探测器。这类方法是传统STORM系统的进一步优化，然而较高的激发光强度会引起样品的损害，不利于对生物样品活性功能的观察，而且由于采样帧数没有减少，并不能提高基于传统单分子拟合的图像重构速度。二是减少图像重构所需的采样帧数。这就需要增大荧光分子的激发密度，使得每帧可以累积更多的单分子事件来减少采样帧数。在较高的激发密度下，传统单分子拟合定位算法便不再适用，以此而发展起来的多分子拟合算法虽然可以提高荧光分子的定位精度，但是在图像重构速度方面还是较慢。
为解决这一关键前沿技术问题，中科院上海高等研究院宓现强研究团队、王中阳研究团队及中科院光机所韩申生研究团队联合上海市公共卫生临床中心申请的“基于随机采样的快速超分辨荧光成像技术研究及其样机实现研究”项目获得2016年国家重点研发计划“数字诊疗装备研发”专项支持（项目编号2016YFC0100600），拟在上述领域获得突破。具体内容包括发展基于荧光共振能量转移（Fluorescence resonance energy transfer,FRET）的高效率荧光探针，从物理采样模式上进行革新，将压缩感知的随机采样（Random Sampling,RS）模式运用于STORM成像技术中，大幅度减少原有的采样帧率，使得成像效率可以得到数量级的提升；搭建与集成具有自主知识产权的RS-STORM样机，并且将此样机用于乙肝病毒（Hepatitis B virus,HBV）入侵肝细胞的实验观察和验证。
基于超像素的栅栏检测 篇2
虽然这是一个很少人研究的新颖的课题,但是关于结构检测的算法已经有很多,特别是重复的结构。近似有规律的纹理(Near regular textures,NRT)是栅栏的主要结构,是一种有规律的重复性结构[1]。Lin[2]量化了NRT的程度,并比较了四种纹理合成算法的效果。他还提出了基于格子状的马尔可夫随机场(Markov-Random-Field,MRF),用于检测动态的有规律纹理(NRT)[3]。在这些模型中,他们利用置信传播和粒子滤波的技术对动态的NRT进行跟踪。这样可以成功地检测出NRT结构即重复性结构。Schindler[4]提出检测重复性结构的方法,用于匹配现代高楼中的重复性结构。另一匹配算法即自动扩展查询算法由Chum提出[5],是一种抑制误报和基于学习的算法。
SIFT算法也可用于检测相似结构,Zhang和Kosecka在文献[[6]中有所介绍。Park[7]提出在现实生活中的栅栏都是变形的,不是完全标准的周期性的结构,他们利用Mean-Shift置信传播算法(MeanShift Belief Propagation,MSBP),通过迭代检测,即利用薄板样条(Thin-plate spline,TPS)弯曲生长畸形的栅栏。Doubek[8,9]介绍了检测2D栅栏的重复性结构的方法,并将其用于图像检索及匹配。他们用平移不变描述符描述基本的重复元素,并和另一视角中的相似结构进行匹配。Wu[10]利用突出的边界检测重复性结构,并利用大楼的对称性来分析对称性结构和找到重复元素的突出边缘。Akihiko Torii[11]提出了检测重复性结构的方法并用于可扩展恢复。
在本文中,提出了一种新的栅栏检测的方法。首先利用对SLIC改进的Superpixels的方法对图像进行初分割,从而可以很好地定位到细长栅栏的位置,根据这些位置的栅栏找到相关的颜色信息,并根据这个颜色信息检测到栅栏。试验结果表明该方法能很好地检测到栅栏。
1 栅栏检测
1.1 问题概述
本文的目标是将图中的栅栏去除,并提出一种专门的栅栏检测的方法。当进行栅栏检测之后,还可以进行其余的相应应用,例如可以将新奇花纹的栅栏截取下来,粘在另一幅特定的图中这样有时可以满足美学应用,还可以用于电影的特效中去。
这个任务主要包括两部分内容,即栅栏检测,前景与背景分割。这两部分也可合为一个。当检测栅栏时,希望能自动提取栅栏,即没有人工交互的自动检测,这就要求在第一步必须提取栅栏的特征,而用普通的特征点提取的方法如SIFT等根本做不到,这是因为除了栅栏外,所有特征的边角处全部提取了出来,显然不合理。因此找准栅栏是由粗铁丝构成的,这种圆柱形的结构通过改进的Superpixels进行聚集,从而获得栅栏的颜色信息,根据这个颜色信息则可以提取出栅栏。
1.2 改进的Superpixels算法
首先对图像进行Superpixels进行聚集,由于栅栏还是较细,很多情况Superpixels的小块不能将栅栏分离开(图2(a)),即在一个Superpixels中既有栅栏部分还有背景部分,而期望的是这些Superpixels块可以很好地锁定又细又长的栅栏,也就是说这些块中只有栅栏的像素而没有背景的像素。
首先重新分配种子,把那些和周围差别较大的地方新定义一个种子,然后全图扫描,在每一个新的种子周围的一定范围内,判断该范围内的像素点的像素值和这个种子的像素值是否相似,如果相似,则归为该种子所在的Superpixels块。如果不相似,则和周围别的种子的像素值做比较,从而确定将该像素归为哪个种子所在而对Superpixels块合适。
这样就可生成更小的更精确的块(图2(b))。从图中我们可以看出在栅栏所在区域的Superpixels块很好的锁定了细长的栅栏。
但是这样做存在一些问题,在原有的Superpixels块中根据像素值差值增加种子时,增加种子的个数是不可控制的,这样就会使得最后的块数比设定的块数多很多。
1.3 栅栏的检测
由于栅栏区域的Superpixels块很好地锁定了栅栏,那么这些块的形状特点就可提取出来这些在栅栏上的Superpixels块,如图3所示。
从图中可以看出,细长的Superpixels用小矩形标记出来了,而这些标记的位置正在栅栏上。
首先对栅栏Superpixels之后得到了很多的Superpixels块,其中有的块落在栅栏上有的块落在背景区域,希望将落在栅栏上块提取出来。但是发现每一个Superpixels块的形状是不规则的,根据Superpixels块本身的特性很难将栅栏上的Superpixels块提取出来,因此,必须借助于别的信息。
对于栅栏上的Superpixels块而言,他们的形状虽然说是不规则的,但是他们的大致形状是细长的。因此为了很好地刻画每一个Superpixels块,将每个Superpixels块包含在一个外接矩形当中。这样Superpixels块的大致形状就用小矩形来描述。也就是说,如果Superpixels块的大致形状是圆形的则得到的小矩形块的形状更接近于正方形。如果Superpixels块的形状是细长形的,那么得到的小矩形的长宽比将会很大。而因为栅栏处所在的Superpixels块的形状是细长型的,而背景的形状大致是圆形的,那么栅栏处Superpixels块的小矩形和背景处Superpixels块的小矩形的长宽比是不同的,即栅栏处的小矩形的长宽比大,而背景处的长宽比小。那么就可以根据小矩形的长宽比筛选得到栅栏处的Superpixels块。在图3中的小矩形就是得到的栅栏处所在Superpixels块的外接矩形。
此外,由于在做Superpixels改进的时候增加了很多Superpixels块,这些块大部分出现在小区域内的颜色变化较大颜色种类较多的情况,那么这种情况下得到的Superpixels块的大小是很小而且很密集的,这些特别小的Superpixels块对栅栏的筛选是没有用的反而会干扰。因此在做完所有的Superpixels块的外接矩形后,得到的这些Superpixels小块的长和宽都是特别小的。根据小矩形的长和宽的值,可以设定一个阈值,将长和宽较小的矩形对应的Superpixels块删除。这样就可以将这些很小Superpixels块杂点去除了。当去除杂点之后无论是对Superpixels的分割效果还是对之后栅栏处的Superpixels块的提取都是有很大帮助的。
由于这些小矩形的位置大部分落在栅栏上,就可以得到栅栏的中心颜色值及颜色的渐变情况。
这是通过统计得到的。即将上一步得到的栅栏处每个Superpixels块的颜色值统计出来,这个颜色值可以用Superpixels块中的所有像素的均值或者中位值得到。统计结果一般会符合高斯分布的。即大部分的像素值会集中在栅栏颜色中心值的两边。当栅栏的颜色单一的时候,高斯分布的方差较小,当栅栏颜色渐变时,高斯分布的方差较大。将离均值相差负的一倍方差到正的一倍方差范围内的像素值认义为是我们的栅栏的颜色。
根据这个颜色信息,可以进一步的聚集。可以用改进的k_means的方法,将离这个中心颜色相近的像素点聚集起来,这样就可以很好地检测到栅栏。
但是在检测的时候发现,当周边的背景颜色和我们的栅栏的颜色很相近的时候,由于方法是基于颜色信息聚集得到的,这样得到的检测结果会将这些相似的背景区域也包含在内。
因此文中方法主要针对于那些栅栏和背景的颜色相差较大的情况,这样可以完整精确地检测到栅栏。
2 实验结果
为了验证本文所述的方法,在到动物园中拍摄了有近周期结构的相关图像,也有一些图像是从网络上下载得到的。
在实验中设置Superpixels块的个数是100个,但是经过改进Superpixels块的个数将会增加很多,增加的个数不确定,但是这里不影响实验结果。
图4给出了改进的Superpixels结果,并给出了和SLIC的对比结果。从图中可以看出,虽然说SLIC的Superpixels块比较均匀,但是在栅栏所在的区域,每个Superpixels块中不能完整地包含栅栏,这是因为栅栏太细太长了。在改进之后可以看到,在图中颜色有变化的区域增加了很多的Superpixels块,这些Superpixels块可能会很小,但在那些比较平坦的区域,Superpixels块会相对大些。这样就可以在细长栅栏的周边形成很多细长的Superpixels块,在这些块中完全包含栅栏的像素点。这种改进虽然没有SLIC的结果Superpixels块分布的均匀而且块的数量可控,但是对于栅栏提取有很大的帮助。
左:原图;中:改进的Superpixel结果;右:SLIC的结果
图5给出了栅栏检测。从结果可以看出,该方法很好地检测出栅栏的结构,但有些和栅栏相似的背景也被检测了出来。
第1行:原图;第2行:栅栏检测的结果
3 结束语
本文提出了一种基于改进的Superpixels的去除栅栏的方法。先根据改进的Superpixels获得栅栏的颜色信息,之后再根据颜色信息得到栅栏。从实验结果可以看出,该方法可以很好地检测出栅栏。
参考文献
[1]Liu Y W.-C.Lin,J.Hays.Near-regular texture analysis and manipulation[C].ACM SIGGRAPH,2004:368-376.
[2]Wen-Chieh Lin,Hays J,Wu Chen-yu,et al.Quantitative evaluation of near regular texture synthesis algorithms[C].Computer Vision and Pattern Recognition,IEEE Computer Society Conference on,Jun.2006:427-434.
[3]Lin Wen-Chieh,Liu Yan-xi.A lattice-based mrf model for dynamic near-regular texture tracking[J].Pattern Analysis and Machine Intelligence,IEEE Transactions on,May 2007,29:777-792.
[4]Schindler G,Krishnamurthy P,Lublinerman R,et al.Detecting and matching repeated patterns for automatic geo-tagging in urban environments[C].Computer Vision and Pattern Recognition.CVPR.IEEE Conference on,Jun.2008:1-7.
[5]Chum O,Philbin J,Sivic J,et al.Total recall:Automatic query expansion with a generative feature model for object retrieval[C].Computer Vision.ICCV.IEEE 11th International Conference on,Oct.2007:1-8.
[6]Zhang W,Kosecka J.Image based localization in urban environments[C]∥In 3D Data Processing Visualization and Transmission(3DPVT),May 2006.
[7]Minwoo Park Brocklehurst K.R.T.,Yanxi Liu.Deformed lattice detection in real world images using mean-shift belief propagation[J].Pattern Analysis and Machine Intelligence,IEEE Transactions on,Oct.2009:311804-1816.
[8]Petr Doubek,JǐríMatas.Detection of 2d lattice patterns of repetitive elements and their use for image retrieval[R].CMP Research Report,2009.
[9]Doubek Petr Matas J,Perdoch M,Chum O.Image matching and retrieval by repetitive patterns[C].Pattern Recognition(ICPR),20th International Conference on,Aug.2010:3195-3198.
[10]Wu Chang-chang,Jan-Michael Frahm,Marc Pollefeys.Detecting large repetitive structures with salient boundaries[C].ACM,2010.
像素超采样技术 篇3
深度信息在三维立体视频、增强现实、三维重建等领域都发挥着举足轻重的作用。传统的立体匹配算法以及激光扫描等被动获取方法获得的深度信息存在着缺陷。随着成像技术的发展,近年面世的深度相机,如TOF(time-of-flight)相机,可以方便地实现对较大尺度动态三维场景深度的获取,因而成为人们研究的热点。TOF相机通过记录从传感器发光单元发出的调制红外光与从物体反射回来的光的相位变化,来获取整个场景深度信息。尽管这些新型深度相机具有广阔的应用前景,但是与传统的彩色相机相比,它噪声多,空间分辨率低。对于上述低分辨率问题,国内外诸多学者已对此做了研究。
现阶段,国内外的工作多借助于额外的高分辨率彩色相机:利用产生的彩色图像辅助实现超分辨率过程。深度信息和纹理信息是从不同的角度来描述同一个场景的,它们在图像结构上有着很强的关联。通常,深度不连续的地方可以对应彩色图像的边缘,而颜色一致的区域含有相似的3D几何结构。Diebel和Thrun[1]提出通过 双层马尔 科夫场(MRF)对深度信息和彩色信息之间的关系进行建模,然后采用共轭梯度迭代的方法来解决MRF的优化问题。另一类深度复原的方法是利用高级滤波器,诸如双边滤波、非局部均值滤波等[2,3,4]。Park等人[5]采用非局部均值滤波来约束深度图,并且结合一些从彩色图提取出来的加权项,比如边缘、梯度、分割等信息来复原深度图。这些深度图恢复技术在图像平滑区域可以得到好的恢复效果,但是在结构细节或间断点处大多存在参差不齐、模糊、振铃效应等问题。Yang等人[6]提出了一种基于彩色图的自回归模型来恢复深度图,根据深度图和相应的彩色图之间的非局部相似性来建立分像素自回归预测模型,通过优化预测差错得到恢复的深度图。
从参考文献[6]可以看出,采用自回归模型可以很好地对需要深度复原的图像进行建模,并且深度恢复的效果优于其他的工作。参考文献[6]中结合彩色图,利用带有双边滤波权重核的非均值局部滤波对自回归模型的系数进行训练。这种方法虽然可以很好地恢复深度图,但是:1.依然存在系数预测的跨边界(系数作用大小属于软判决,很可能边界以外的值也存在权重)问题。2.彩色图纹理的过于丰富也给预测系数带来了困难。所以,本文提出一种基于超像素分割,并联合自回归模型的深度复原方法。本文首先采用图像过分割技术对已获取场景的彩色图进行处理,然后根据分割效果对自回归模型中的系数进行预测。实验证明,我们的方法不仅能很好地恢复深度图,而且与参考文献[6]相比,在处理结构边缘等纹理细节处更加突出。
1实验原理
1.1SLIC超像素分割算法
在计算机视觉领域,图像分割把图像分为若干个性质相似的区域,是由图像处理到图像分析的关键步骤。超像素作为近年来出现的新的图像分析方法,是一种比像素略大的像素块,由一系列位置相邻且颜色、亮度、纹理等特征相似的像素点组成的小区域。与以往的像素描述太过局部化不同,它能够较好地描述区域信息,且一般不会破坏图像中物体的边界信息,并具有很好的鲁棒性。目前广泛使用的超像素产生算法可分为两类:基于图论的算法和基于梯度上升的算法。本文采用的是一种新的超像素产生算法:简单线性迭代聚类法[7](simplelineariterativeclustering,SLIC),该算法在小范围区域内,以CIELAB彩色空间中的颜色相似距离与两维空间距离进行加权,构成新的度量方法,将K个聚类中心点在初始阶段均匀分布在图像上,并把附近的点归属于最近的中心,最终生成K个超像素。再根据距离值调整邻近像素点归属中心,并重新定位新的聚类中心点,采用迭代方式,收敛到最佳位置,最终实现像素分割[8]。它类似于K均值聚类法,不仅执行速度快,可以灵活控制超像素个数,而且对结构边界分割效果更好。鉴于此,我们采用SLIC算法将彩色图过分割成若干超像素,并得到彩色图中每个像素的标号,利用过分割后得到的label图可以有效解决参考文献[6]中存在的预测系数跨边界问题。
1.2基于彩色图像指导的自回归模型的深度恢复
自回归模型被应用在图像处理的许多领域,例如超分辨率、后向的自适应视频编码等。用D0表示观察到的深度图,Ω代表观察到的深度图的像素集,给定观察到的深度图D0,定义基于自回归模型的深度恢复框架如下:
其中,Edata(D,D0)是使恢复的深度与观察到的深度一致的数据项,EAR(D)是深度恢复模型中的自回归项,λ为平衡系数。Dx表示位置x处的深度值,Nx表示像素x的邻域,ax,y表示在邻域Nx中像素y的自回归系数,定义如下:
其中,Cx是归一化因子,分别是深度项和彩色项。深度项定义如下:
其中,为对D0 进行双三次插值得到粗糙估计的深度图,σ1是衰减率。彩色项aIx,y是根据深度图和彩色图的相关性而设计的,定义如下:
其中,σ2控制指数函数的衰减率,Px表示提取一个以x为中心的w×w大小的掩膜,°表示块中对应元素相乘,Bx表示在相同的Nx大小的邻域内的双边滤波核。
以上模型,简称AR模型,通过预测系数来实现对深度图的恢复,实验证明参考文献[6]运用此模型可以很好地复原出深度图,而且效果明显优于其他方法,我们将在此模型上做进一步改进。
1.3SLIC超像素分割预测自回归系数
参考文献[6]提出的AR模型可以有效复原深度图,但是并没有采取图像分割等高级处理手段。而且此方法过度依赖彩色图,由于彩色图的纹理信息比相应的深度图丰富很多,根据颜色相似性来进行系数预测往往会导致深度图边界被模糊。本文将最新的SLIC图像分割算法引入AR模型,对彩色图的分割可以有效抑制边界外像素对中心像素的预测,进而使图像细节更加清晰。
本文首先采用SLIC分割算法将已获取场景的彩色图分割成若干个超像素,并赋予不同的标号。其次,我们将用标号对自回归模型中的彩色项aIx,y进行预测。在(6)中,当像素x,y的标号相同时,像素块Py与Px性质接近,彩色项aIx,y由式(6)得到;当像素x,y的标号不同时,我们认为像素块Py与Px 性质差别较大,因而对aIx,y赋予一小的权重,这样能有效解决算法[6]存在的预测系数跨边界问题,尤其是当x处在结构 边界时,通过超像 素标号可知,x邻域内的像素y与其属于不同的结构,因而要减小预测系数aIx,y的比重。以上内容可由公式表示如下:
2实验结果及比较
我们对Middlebury数据集[9]中的3幅图片:Art,Book,Moebius在不同的下采样倍数下做了一系列实验并进行了比较。
为了更好地与参考文献[6]比较从而突出我们方法的优越性,AR模型参数 调整为最 优,相应设为:λ=0.01,σ1=4,σ2=6.67,Nx选取为以x为中心的大小为11×11的块。SLIC分割参数根据图片大小而设,对于1.3节中提到 的超像素 标号对aIx,y系数的权衡,我们将与x标号不同的y的aIx,y乘以一权重0.08。我们分别对2倍、4倍、8倍、16倍下采样深度图进行了复原,并将实验结果与4种主流的方法(双三次插值,马尔科夫场[1],双边滤波[2],自适应的彩色图像指导的自回归模型[6])进行了比较。在客观上,用复原深度图与原始深度图的平均绝对值差(MAD)来衡量。如表1所示,我们的方法测得的MAD最小。通过表格可以看出,对2倍和4倍模型MAD值与参考文献[6]一样,这是因为深度信息缺失少,而在处理更高倍数分辨率时,由于深度信息缺失严重,单纯依赖彩色图会使复原的深度图结构边界模糊、彩色纹理痕迹明显,所以引入超像素会使边界更加清晰。
由于篇幅原因,在此不贴出数据集的大图。为了很好的显示出我们结果的优越性,我们选用8倍的深度恢复结果,随机抽出7个60×60的小块,并放大来进行比较。实验结果如图1所示:
(a)对应的彩色图像块;(b)实际的真值图;(c)自适应的彩色图指导的自回归模型参考文献[6]恢复的深度块;(d)我们的方法恢复的深度块
从这7个复原块中我们可以看出,我们恢复出来的深度图不仅在图像平滑区域可以得到好的恢复效果,在结构细节或间断点处同样减少了参差不齐、模糊、振铃效应等问题,而且边缘要更加锋利、更加准确。
3结论
本文提出一种基于超像素分割,并联合自回归模型的深度复原方法:首先采用图像过分割技术对已获取场景的彩色图进行处理,然后根据分割效果对自回归模型中的系数进行预测。实验证明,我们的方法不仅能很好地恢复深度图,而且胜过现有的各种深度恢复算法,在处理结构边缘等纹理细节处更加突出。
摘要：提出基于超像素分割,并联合自回归模型的深度复原方法。首先对已获取的场景彩色图进行过分割,得到彩色图中每个像素的标号,然后构建基于已分割彩色图像指导的自回归模型:根据像素标号对自回归模型系数进行预测,通过优化预测系数差错来实现深度图恢复。实验表明,该算法不仅能有效恢复出深度图,而且在结构边缘细节处更加突出,优于目前主流的方法。