基于摄像机的应用（共12篇）
基于摄像机的应用 篇1
交互, 意指参与活动的对象, 可以互相交流, 双方面互动。相信每个看过电影《钢铁侠》的人, 都会对电影里面神奇的三维交互技术印象深刻。主角与智能电脑之间的全息交互画面, 神秘迷人, 令人神往。虽然现在的科技水平实现不了科幻电影里的全息交互, 但是基于摄像机的交互技术依然可以给参观者带来同样的三维交互体验。
2013年米兰设计周, 参观者走进这样一个展馆, 内部是黑暗的。当参观者的眼睛逐渐适应黑暗, 会看到展馆中部有一个灯光形成的墙在渐渐由暗淡变得明亮。沿着弧形的台阶走到中间, 参观者会发现刚才看到的墙其实是一个由无数半透明的小球组成的雕塑。所有的小球悬浮吊挂在半空中, 雕塑下面是一片水面。这时雕塑渐渐亮起来, 投影光柱照在小球上面。一个球开始亮起, 更多的球点跟随亮起, 逐渐增多。它们像是由下方水面的水蒸气蒸发而形成的云, 又像是原子结构中的一个个细小的微粒, 充满着生命的神奇。随着参观者的靠近, 神奇的光元素开始闪烁并且变换形状。光线像雨丝一样从天上洒落, 落在雕塑的顶端, 它缓缓的流动最后变成一个明亮的点, 所有的点最后形成了一个灯的网络, 像有机的细胞。参观者不停的移动, 雕塑也不断的流动, 变化形态, 成为充满活力的流光。一个个小球就像分子一样, 聚集并相互作用, 形成美丽的景象。想象一下你在这样的空间, 你的一个动作、一个漫步都会让眼前产生不一样的灯光魔术。这仿佛就是一种全息交互, 每位参观者都感觉自己像是一个魔术师、一个创造者。在虚空中创作光影的艺术, 手一挥, 灯群仿佛收到了引导一般开始聚集闪烁, 时而透明形成海浪一般的波涛。手再一推, 仿佛给了波涛一个推力, 让它不断的起伏变幻。这样的交互技术让设计作品更有感染力, 它不再是传统意义上的不动的展品、雕塑, 而是流动的雕塑。这个流动的雕塑似乎是由参观者创作的, 充满了趣味的互动。
但事实上, 这个魔术是由安置在雕塑周围的六台摄像机创造的。这些三维摄像机带有跟踪系统, 可以分析参观者的位置和姿势, 跟踪系统不间断的工作。人体所有的关节动作都可以被其辨识, 所有被跟踪的数据最后会通过一台计算机处理, 并将生成的图形由八台激光投影仪输出, 同时相应的声音效果也会通过计算机的音响系统同步输出。声音和动态效果的实时生成, 使参观者与流动雕塑之间的三维互动更为吸引人。
同样的技术也用在了耐克品牌位于伦敦市中心的百货公司的橱窗展示设计中。传统的橱窗设计似乎已经形成了一种定势, 即是静态的展示, 各种模特、产品, 造型不同的摆放在橱窗里。路过的行人匆匆而过, 很少有人为之驻足停留、仔细欣赏。但是耐克的这个橱窗展示设计改变了这种定势, 因为其引入了交互技术, 使橱窗整个生动活泼起来。现下人们用惯了数码产品, 苹果手机、安卓系统手机都是人机交互理念的成功之作, 手在触摸屏上轻轻一按就可以连接丰富多彩的世界。耐克的橱窗设计也想引入触摸屏的概念, 可是像橱窗那么大的触摸屏并不可行, 于是设计者引入了基于摄像机的交互技术。在耐克一款运动鞋展示橱窗前的人行道上, 有一个蓝色的“Stand by”即“站在这里”的标记。当行人站在这里时, 橱窗内的显示屏上开始倒数计时, 然后让行人跳起。显示屏会显示行人起跳的高度, 并提示行人是否要保存数据。行人可以通过触摸橱窗玻璃上的“YES”或者“NO”的标记, 来选择是否保存跳跃记录。这样的橱窗设计, 既符合耐克运动品牌的形象, 又与时尚合拍。参与者感觉自己面对的似乎是一个人性化的智能电脑, 这一整块橱窗玻璃是一块触屏, 其实这也是基于摄像机的交互技术在发挥作用。摄像机通过捕捉参与者的手部动作, 将其反馈给计算机, 计算机再将相应结果从显示屏上显示。
这种基于摄像机的交互技术在国外研究多年, 上文所述的例子就是运用的Kinect技术。Kinect是微软在2009年发布的一款游戏体感周边外设产品, 它是一种三维体感摄像机, 微软还推出了针对Windows 7设计的“Kinect for Windows SDK”软件。通过软件, 技术人员能够直接取得距离传感器、彩色摄像机以及麦克的原始数据。通过SDK软件, 能够追踪Kinect视野中一到二位用户的骨骼影像, 并依此建立可以体感操作的应用程序, 这也是本文基于摄像机的交互技术的主要技术支撑。最新款的SDK软件带有的Kinect Interactions功能, 即交互功能, 能够实现手势前推可按键 (Push-to-Press) 和手势抓握平移 (Grip-to-Pan) 等功能, 这样是不是更有《钢铁侠》里全息互动的感觉?Kinect目前所展现出来的功能及用途还只是刚刚起步, 更多的用途需要设计人员去发现去创造。比如在展演建筑中, 如何恰当的将该技术融入到展品、展项中去。
目前, 在展演建筑中应用最广的是基于投影仪的多媒体技术。如果只有投影仪, 那它只有简单的显示功能, 没有太多的智能人机交互效果。但是加上摄像机以后, 就好比给盲人装上了眼睛。再配上计算机, 就能成为一个能对环境做出适当反应的“智脑”。微软Kinect的推出让这些变得更为简单, 同时其价格并不昂贵, 所以具有推广运用的潜力和价值。
交互在展演空间中的魅力不用赘述, 从上海科技馆、北京中国科技馆的受欢迎程度既能体现出来。在这些科技馆里, 运用了更多的交互技术, 能够充分吸引参观者的兴趣。同样的交互技术不是只能用在科技馆类建筑的展示设计中, 任何艺术展品如果想唤起参观者的共鸣, 都可以恰当的运用交互技术。博物馆之类的展演建筑的展示形式应该逐渐改变, 从传统的、静态的、说教式的展出, 从让观众倍感乏味的对展品只是单纯的保护性展览中转变过来, 变得更加人性化, 更注重与观众的互动交流, 让观众主动的去参与、去选择感兴趣的项目, 这样观众对设计者想表达的内容反而更有认同感。如果展演空间设计者在恰当的时机引入基于摄像机的互动技术, 那展品、展项将立刻生动起来。如同前文所讲的流动雕塑一般充满了生命力, 更能唤起参观者的共鸣。或者如耐克橱窗一样使展项更加的人性化、趣味化, 参观者仿佛在面对一个智能电脑, 充满科幻之感。在互动之余, 也更能提升展演建筑本身的吸引力。
参考文献
[1]朱中的.基于投影仪摄像机系统的人机交互关键技术研究[D].中国科学技术大学, 2011.
[2]黄鑫, 李女仙.当代博物馆展示中的交互设计方式[J].装饰, 2011.
基于摄像机的应用 篇2
1.人脸检测与捕捉 简介
人脸检测/捕捉技术，能在一个大的背景复杂的摄像机监视场景范围内准确检测和捕捉到多张人脸，拍照，储存在SD卡内。配合人脸分析比对数据库资料可短时间自动调出该人的信息。
特点
◇ 准确抓拍人脸，并存储图片，可在复杂的背景中提取人脸图像； ◇ 实施容易、成本较低，不需要做硬件升级。
◇ 公共场所布防：运用人脸捕捉和监测可保存出现在监控画面中的人脸；
应用场所: 小区，家用，走廊，仓库，电梯口。
2.多目标物体追踪
简介
在摄像机监控的区域范围内，若有满足预设条件大小的物体在移动，立即会触发报警，追踪物体轨迹，拍照，存档。
特点：
◇ 在指定的统计区域内，可对视频图像中静止或行走的不同姿态的行人进行检测和跟踪。
◇ 能实现多人同时通过检测区域时区分出每一个人的通行情况，能适应现场复杂的人群流动环境。
应用: 车库,走廊，银行，ATM机, 仓库，博物馆，珠宝店等。
3.物体遗留侦测
简介
通过对摄像机采集视频的智能分析，当监控区域内突然出现（被放置或遗弃）满足预设条件大小的物品（包裹，手提袋，行李或无人看管物品）时自动产生报警信息，并在物品停放位置产生告警框以提示监控人员。尤其适用于机场、铁路、炼油厂等高危场所。
特点
◇ 无论是由人携带而来并在预防区中遗弃的物品、或是被人从防区外丢入防区内的物品，还是在防区中突然出现的物品（摄像机完全看不到遗弃的过程的情况），此功能都可以从场景中正确检测出遗弃物；
◇ 多警戒区同时监测：在场同一景内设置多个警戒区，实现对多个警戒区域同时监测； ◇ 及时发现遗留过程：发现物品后可报警产生，及时人工处理可尽早找到遗留物品的人员。
应用
○ 机场，地铁等交通要塞的反恐行为侦测 ○ 银行，ATM机, 仓库，博物馆，珠宝店等 ○ 复杂环境的公共场合
○ 隧道，高速公路违章停车的检测 ○ 学校，幼儿园等
4.物体丢失侦测 简介
通过对摄像机采集视频的智能分析，当监控区域内特定位置的物体被拿走或移动时自动发出报警信息。可广泛应用于博物馆等贵重物品的安全监管。
特点
◇ 多样化警戒区域设置：可在视场内设置各种形状，各种大小的警戒区域，充分满足不同场景下对物品被盗的检测的需求；
◇ 多物品同时看护：同一警戒区域内可同时设置多个目标物品，从而实现对多个物品同时看护,适合长时间无人看守的物品预防丢失，及时发出报警通知人员处理。
◇ 可选择当物品被搬移时立即告警或者被拿走后一段时间未放回原位置时发出告警.应用
此功能适用于需要对物品搬移进行录像或报警的场合，例如对超市内的高价商品、家庭里的电脑和家具、工厂的金属建材、博物馆内的文物、车库内的汽车和贵重物品、特定场所的重要设施等的偷窃行为进行监视和跟踪。
○ 银行，博物馆，珠宝店等放置贵重物品的场所 ○ 财务室，展览馆, 停车场, 商场，小区 ○ 城市建筑物,平安城市公共设施等
5.流量统计
简介
用于统计前端视频源回传视频中的人数和人群流动方向等信息，获得指定时段和指定区域内的人群流动量数据。通过这一准确量化的数据，可以获得监控场所的实时状况，并可以利用这些高精度的数据，有效的组织工作。
特点
◇ 自动检测视频画面中的移动目标，在设置的范围区域内进行计数。◇ 主要应用于商场、营业厅等人流量统计，以帮助分析商业运营状况。◇ 直接在视频画面中显示相应计数值
◇ 在同一路视频画面中检测多个区域并单独计数。
应用场所：商场超市、营业厅, 电梯口 等。
6.电子栅栏
简介
通过智能视频分析检测运动目标及其运动轨迹方向，在摄像机监控场景中可任意设置4条电子栅栏，一旦有运动目标穿越预定栅栏时，自动产生报警信息。
特点
◇ 自动检测进入指定区域的运动目标，用于监测非法入侵警戒区域、重点区域保密等。
◇ 栅栏设定自由：可在警戒区域内任意设置绊线的位置，警戒范围不受限制且灵活，可见即可设。◇ 自动报警：无序人员监视，多路自动报警，报警后再由人工干预处理；
◇ 可定义栅栏方向：栅栏的方向可设定性可使系统更智能化，只有按照设定方向绊线过来的才会报警，可防止误报。
应用
○ 小区、住宅、楼宇等周界防范；
○ 大范围的入侵栅栏检测，如领空、领海检测等；
○ 其它各种场合的非法入侵检测，如入室盗窃、高危险区域、游泳池、无人区、攀越围墙、私人住宅、监狱等。
7.警戒区
简介
通过智能图像处理技术，自动检测进入警戒区的人、动物、汽车等运动目标。在摄像机监视的场景范围内，可根据需要设置任意形状的警戒区域。一旦有运动目标穿越预定警戒区域即产生报警。
特点
◇ 自动检测运动目标，用于非法跨越警戒区域、车辆逆行等
◇ 多警戒区同时监测：在场同一景内设置8个警戒区，实现对多个警戒区域同时监测； ◇ 多样化设置警戒区：可在场景内设置各种形状，各种大小的警戒区域。
应用
○ 停机坪，码头，车站的工作区域，营业场所后柜等。○ 银行，博物馆，珠宝店等放置贵重物品的场所
基于3D电视摄像技术的研究 篇3
【关键字】：3D；电视摄像技术；影视技术；
【中图分类号】TB86
从世界第一部3D电影《阿凡达》上映以来，在全世界范围内，就掀起了一场3D影视的风潮，人们更加关注这一影视的精美度。而自从2009年这一技术开始兴起以后，影视业在发展的过程中，就不得不去探索这一技术发展的主要应用环境，下面我们就这一技术的发展与应用环境进行简单讨论。
一、3D电视摄像技术的定义
3D电视摄像技术是基于现代数字3D摄像头进行了的一类现代影视拍摄手段，往往通过两个或多个摄像头将不同的影视信息进行存储录制，然后进行存储。在播放时，应用两个摄像镜头将不同角度拍摄下的影视进行播放，而人则戴着特制的眼镜，通过镜片的过滤，从而营造一个有效的3D立体影像。
二、3D电视摄像技术发展的历程
随着近年来的摄像技术发展，影视的代入形式也逐渐成熟，在技术的实际应用上，也形成了一种有效的建设途径。下面我们其发展历程上进行简要分析。
（一）3D电视摄影技术的特点
从现代电视摄影技术的发展形式来看，主要采取的还是应用两个模拟人眼间距的并排镜头进行影视拍摄，并结合两组图像的拍摄图像来进行人脑图像上的模拟融合，并通过3D成像技术进行场景融合。在投影播放上，通过3D摄像机进行影片的录制，并结合播放形式进行场景模式的佩带调整，这一形式的使用，也方便在后期的裁剪。
在裸视3D显示上，则主要通过显示设备例完成，这一形式的工具，价格也更为昂贵，但是就现在的效果来看，经济效益并不理想，且画面也没有双眼3D的效果好。且在换面上也更为恍惚，给人的直观感觉也存在多少的差距。
（二）现代3D摄像技术的实际应用情况
就现在3D摄像技术的应用方法上来看，通过影视作品的卖价来看，其票价远高于普通2D影视价格。即便如此，人们在对影视观赏感的追求上，却仍对3D更加喜爱。与此同时，从影视制作的形态来看，这种影视形态新兴起步，在很多地方还不能够满足影视电视的制作效果，对于当前的数字摄像技术来说，虽然已经实现了全球化的投入使用，但是其制作形式还不甚完美。针对这一摄像技术设备的应用上，索尼公司近年来也推出了3D静态影像设备的使用设施。
而对于数字3D摄影技术的实际使用，从3D相册的应用方面出发，及需要更大的存储量来支持其影视数据的存储，同时也要保证录制成的DVD进行转播调整，以保证影视资料的聚焦效果满足使用要求。在成像的形式上，通过相关设备进行2D到3D影响上的转变，在很大程度上影响了制作的进度，因此在进行设备的选择上，还需进行进一步的改革创新。
在3D视频的应用领域，在3D视频电话的应用上，也成为了现代投影技术的一项重要改革，用户通过互联网的数字3D投降技术上的有效控制，而这一类视频电话，这对传统的视频的电话图像，相对而言也能够更符合其使用的规范。其使用在很大程度上满足了人们在视觉需求。
三、3D电视摄像技术的应用前景
从第一批3D电视摄像一起的投放销售情况来看，3D电视摄像一起的市场魅力相当不凡。但是在就现在的摄像仪器来看，此类电影摄像技术的应用空间还在摸索阶段，在实际的应用中还不够全面。通过对这一技术的应用分析，并结合实际的使用空间进行调控，完善对整体信息上的合理化建设，从而完成对摄像机的应用空间建设，通过合理架设，从而实现在影视产品数码应用上的研发。
从现代市场的分布情况来看，3D影视家电设备产品的市场，还存在很大的漏洞，并不夠完备。在近年的信息产品的展示会上，我们对于新3D影视产品的市场应用场景来看，也能够认识到其中所代表的主体行情，并依据实际的使用规范进行合理调控。
就现代市场3D数码设备的发展情况，应避免局限于拍摄设备上的开发，因为仅局限在拍摄设备上，那么人们的个体热情必然会下降。人们在进行了拍摄后，并不会仅局限于在影像仪器上的观赏，更多的还是要与家人一起分享。因此改良现有的影视效果策略，并推广3D家庭使用显示设备，就显得更为重要，伴随着现代社会的发展，在这一领域内，应满足现代社会的发展需求，在人们的影视消费需求上进行调研。例如在网络游戏的开发上，可实际操作3D游戏视角游戏，将影视技术进行改良，从基本的定义上改变对现代市场的供需调整，同过升级改良，从而实现在3D影视市场上的有效调整。如，在游戏的改革上，《魔兽世界》是对现代人游戏世界观的一次大改良，为网民的生活带来了新的体验，并迎接来了新的数码时代。
结语：
伴随着世界影视技术的发展，人们在影视需求上的个人观影态度上也发生了改变，从传统的2D变换到3D，其体验的本身，也是对人感官上的改变。为满足市场消费人群的消费需求，在进行设备的调整改良上，就需要结合社会前沿进行全面调整，完成对3D影视拍摄技术上的改良，同时加强对投影设备上的改良，让3D影视能够真正的走入人们的生活。
参考文献：
[1]杨宇，郭远航，沈萦华等.3D电视节目的防眩晕拍摄技术研究[J].电视技术，2011，35（8）：54-57.
[2]李晓兵.数字3D摄像技术的发展探索[J].信息通信，2015，（4）：284-284.
[3]朵天林.VRML技术辅助《电视摄像》课程教学实践[J].新闻界，2010，（5）：164-165.
[4]杨旭乾，吴峥.初探3D电视制播系统[J].影视制作，2010，16（9）：20-23.
基于HALCON的摄像机标定 篇4
近年来,主动视觉在动态目标监控与跟踪、合作目标与非合作目标位置测量,以及工业生产线监测中有着广泛的应用。在主动视觉中,摄像机焦距、光学中心以及外参数是可变的,这些参数的动态在线标定在主动视觉中有重要作用。要利用摄像机进行视觉感知获取目标的三维信息,就必须进行摄像机标定,以确定摄像机的参数[1]。摄像机标定是指建立摄像机图像像素位置和场景点位置之间的关系,其途径是根据摄像机模型,由已知特征点的图像坐标和世界坐标求解摄像机的模型参数[2]。精确标定摄像机内外参数不仅可以直接提高测量精度,而且可以为后续的立体图像匹配与三维重建奠定良好的基础。
国内外许多学者提出了摄像机标定的方法,并得到广泛应用。传统的摄像机标定方法采用的是基于3D立体靶标的摄像机标定,但是3D立体靶标制作成本高,制作方法复杂。Roger Tsai[3]提出基于径向约束的两步法,该方法计算量适中,精度较高。张正友提出基于2D平面靶标的摄像机标定法,该方法克服了3D靶标的缺点,且标定过程中摄像机拍摄角度改变对标定结果无影响。HALCON是德国MVtec公司开发的图像处理软件,它具有完善的综合标准软件库和机器视觉集成开发环境。HALCON提供了丰富的函数库,包括blob分析、形态学、模式匹配、测量、三维目标识别和立体视觉等。它支持Windows,Linux和Solaris操作环境,整个函数库可以用C,C++,C#,Visual Basic和Delphi等多种普通编程语言开发,有效提高了开发效率,并且执行速度快,具有良好的跨平台移植性。
2 摄像机模型
为了标定摄像机,首先需要建立一个模型将世界坐标系中三维空间点投影到二维图像中,该模型由摄像机和镜头组成。在机器视觉应用中常用到的两种摄像机模型为面阵摄像机模型和线阵摄像机模型。线阵摄像机模型相对面阵摄像机模型要复杂许多,笔者介绍的是常用的面阵摄像机模型。在实际应用中,通常使用针孔摄像机,它的面阵摄像机模型如图1所示。其中,图像坐标系(r,c),成像平面坐标系(u,v),摄像机坐标系(xc,yc,zc),世界坐标系(xw,yw,zw),Sx和Sy是缩放比例因子,它们表示图像传感器上水平和垂直方向上相邻像素之间的距离。f表示的并不是镜头的焦距,而是摄像机主距。点P是世界坐标系中点Pw在成像平面上的投影。
世界坐标系中的点Pw=(xw,yw,zw)T变换到它在成像平面坐标系上的投影点P,需要经历以下4个步骤:
1)点Pw=(xw,yw,zw)T变换到摄像机坐标系中的点Pc=(xc,yc,zc)T,关系为Pc=RPw+T。T=(tx,ty,tz)T是一个平移向量,R=R(α,β,γ)是一个旋转矩阵,α,β,γ是分别绕摄像机坐标系x,y,z轴的旋转角度。在R和T中6个参数(α,β,γ,tx,ty,tz)称为摄像机外参、外方位参数或摄像机位置,它们决定了摄像机坐标系与世界坐标系之间的相对位置。
2)摄像机坐标系中点Pc变换到成像平面坐标系,它们之间是透视投影关系
3)在不考虑镜头畸变的情况下,世界坐标系中的点Pw与成像平面中的投影点P之间的直线过摄像机光学中心,如图2所示。
大部分情况下,镜头的畸变可以近似为径向畸变,即
其中,参数k决定了径向畸变的程度,如图3所示。
4)最后将点转换到图像坐标系中,即
式中:(Cx,Cy)T是光心在成像坐标系中的投影点。
由以上可知,摄像机标定的实质就是确定内部参数(f,k,Cx,Cy,Sx,Sy)和外部参数(α,β,γ,tx,ty,tz)的过程。
3 基于HALCON的标定
为了进行摄像机标定,必须已知世界坐标系中足够多的三维空间点的坐标,找到这些空间点在图像中的投影点的二维图像坐标,并建立对应关系[4]。这就要求标定过程必须满足两个要求:1)放置在已知位置上的容易提取特征的目标物体或标志(标定板);2)确定世界坐标系中已知点与它们在投影图像中的对应关系。
3.1 标定板
标定板的选择决定了标定的精度,为了达到较高精度,可以从以下方面考虑标定板的选择:
1)标定板的材质:光源在标定板前方,选择陶瓷标定板;光源在后方,选择玻璃标定板。
2)标定板的尺寸:标定板的形状通常为正方形,宽度应接近图像宽度的1/3。例如,图像大小为100 mm×80 mm,标定板尺寸选择30 mm×30 mm较为合适。
HALCON提供了标准的标定板模板,如图3b所示,该标定板的特点是:标定板周围的黑色矩形框使得标定对象的中心容易被提取;矩形边界框角落的方向标记使得标定板的方向唯一。每块标定板都应该有一个对应的描述文件Cal Tab Descr File,它描述了标定板的行数和列数、标定板外框的几何尺寸、方向标记、标定板圆形标志的半径等信息。选择到合适的标定板后,用gen_caltab函数生成对应的标定板描述文件。
3.2 提取特征
利用标定板的特点,提取目标板特征,其过程如下:摄像机提取标定板的一帧图像后,首先通过简单的阈值分割算法就能将标定板的内部区域与背景分离;其次利用Canny滤波器提取标定板各圆形标志的边缘;再次采用Fitzgibbon[5]提出的通过线性方法来最小化代数误差以得到拟合椭圆,该算法具有很好的稳健性,可以抑制边缘中孤立点对边缘拟合的影响;最后提取出椭圆的最小外接四边形,可以很容易确定标志点及其与图像中的投影之间的关系。
3.3 摄像机标定
进行摄像机标定时,标定精度与图像数量有关,至少选择10~15幅。所选图像中标定板的位置应该能覆盖图像的4个角,因为角落处的镜头畸变最大,这样能得到较准确的畸变系数k。
标定过程中,由于使用的是平面标定对象,还会存在这样的问题:如果标定对象平行于成像平面,f和tz的解不唯一。解决方法是在最优化过程中保持Sy不变。
基于HALCON的标定过程如图4所示,read_image(:Image:File Name:)读取名称为File Name的图像Image;find_caltab(Image:Caltab:Cal Tab Descr File,Size Gauss,Mark Thresh,Min Diam Marks:)通过3.2节介绍的算法提取图像Images中标定板上的圆形标志来确定标定板的有效区域,效果如图5a所示;find_marks_and_pose(Image,Cal Tab Region::Cal Tab Descr File,Start Cam Param,Start Th resh,Delta Thresh,Min Thresh,Alpha,Min Cont Length,Max Diam Marks:Rcoord,Ccoord,Start Pose)确定标定板上圆形标志点的二维坐标,并得到摄像机外部参数的初始值,效果如图5b所示;camera_calibration(::NX,NY,NZ,Nrow,Ncol,Start Cam Param,Nstart Pose,Estimate Params:Cam Param,Nfinal Pose,Errors)计算出摄像机的所有参数,它是通过提供的初始参数为初始值,进行优化搜索获得误差最小化的过程;write_cam_par(::Cam Param,Cam Par File:)将标定结果写入Cam Par File文件。
HALCON强大的图像处理能力,为摄像机自主标定提供了简单有效的方法。
4 实验结果分析
根据上述标定原理和开发步骤,在Windows XP平台下利用VC++6.0开发了一个基于HALCON8.2的摄像头标定程序,程序经过严格测试,运行稳定,在黑背景下截取3组数量不同的320×240的标定板图像用于标定,并通过重投影法分析标定结果的平均误差。
式中:e表示均方误差;Io(i)表示原始图像上第i点的向量,Ip(i)表示重投影图像上第i点的向量,i∈(0,N);N表示标志点总数,例如利用10幅标定板图像进行标定,则N=10×7×7;平均均方误差Err等于均方误差与标志点总数的比值。
结果如表1所示,效果较好,可以达到使用要求。
5 小结
基于HALCON开发的摄像机标定程序在实际运用中取得了很好的效果,标定结果精确、运算效率高、跨平台移植性好,操作简单,缩减了开发周期,可以有效地应用于各种计算机视觉系统中。
摘要：利用HALCON图像处理软件提供的标定板模板,并充分考虑了透镜的径向畸变影响及求解方法,给出了基于HALCON的摄像机标定算法。该算法充分发挥了HALCON的函数库功能,提高了标定精度和计算效率,具有良好的跨平台移植性,可满足各种计算机视觉系统的需要。
关键词：计算机视觉,摄像机标定,HALCON
参考文献
[1]李良福,陈卫东,冯祖仁,等.目标跟踪与定位中的视觉标定算法研究[J].应用光学,2008,29(4):481-486.
[2]张广军.机器视觉[M].北京:科学出版社,2005.
[3]TSAI R Y.An efficient and accurate camera calibration technique for 3D machine vision[EB/OL].[2009-12-20].http://research.microsoft.com/apps/pubs/default.aspx?id=66690.
[4]STEGER C,ULRICH M,WIEDEMANN C.Machine vision algorithms and applications[EB/OL].[2009-12-20].http://www.amazon.com/Machine-Vision-Algorithms-Applications-Carsten/dp/3527407340#noop.
监控摄像头的选型与应用全面解析 篇5
室外安装：在室外安装立杆或依附载体安装监控摄像头，采用正面摄像或侧面摄像拍摄出入口图像。此种方式已经逐渐被接受和采用，并取得较好的成像效果。这种方式的优点是，白天室外自然光环境人脸面部光照充分，面部图像真实，层次分明，能拍摄更多人体特征细节。晚上出入口处环境照明单一，在环境照明充分的情况下也可得到满意的夜间人像。该种安装方式，根据夜间的环境照度情况可选用低照度监控摄像头或普通照度监控摄像头。这种安装方式的缺点是，安装位置受景观限制，布线略麻烦，某些项目需要涉及切割路面，需要考虑室外景观环境。某些建筑出入口受环境限制无法选用此种方式。
通过上述分析，在建筑环境容许的情况下，建议优先选择室外安装方式，同时做好夜间出入口室外的照明。
监控摄像头安装角度
根据安装位置的不同分为：平角度、俯角度、仰角度。
平角度安装：监控摄像头安装高度接近常人面部高度，充分展现面部特征细节，是建筑出入口监控摄像头安装时的首选角度，室内安装时，可调整安装距离、位置、高度以实现平角度。随着三轴、双轴可调半球监控摄像头的出现，多数监控摄像头可以采用贴墙安装方式以接近平角度安装的实现。其缺点是隐蔽性不强，容易破坏现场环境景观，容易受光环境的影响。
俯角度安装：这种安装方式监控摄像头常常采用吸顶或吊装方式。其优点是安装方便，隐蔽，可以避免部分光线直接反射的影响。采用这种方式应注意监控摄像头与面部的夹角不宜过大，否则头顶画面较大，面部特征较少。缺点是降低识别率。
仰角度安装：较为特殊，多出现在一些下层广场出入口，地下室出入口，停车场出入口等。这种方式是因现场需要而选择的特殊方式。此种方式必须考虑各种光源的影响。避免光线干扰。对监控摄像头的防护也应考虑详细。监控摄像头选择宜用对光处理较为成熟的产品。
基于摄像机的应用 篇6
关键词: 地图构建 电子罗盘 数据模型
中图分类号: TP24文献标识码: A文章编号: 1007-3973 (2010) 04-087-02
1 引言
步行机器人在行走的时候,为了解决机器人导航问题,必需机器人的定位和环境的地图构建,在其他人的研究方法主要是:将机器人的工作空间离散化为一系列的栅格,并为每一个栅格赋予一置信度来表示被障碍物占有的概率。它不需要明确的几何参数,用于表示不确定性非常有效,尤其适合于以声纳等测距传感器为主的系统,而对视觉传感器为主的系统则不太适用。在本论文中提出使用电子罗盘和摄像机作为工具,进行步行机器人的定位和导航,通过摄像机和电子罗盘采集到得数据,建立地图信息然后通过一定的算法来实现机器人的导航。我们建立的是一个微型系统,这个系统是在理想环境下。不适用于室外环境,如果要想在外部环境下实现这个实验的结果,就要借助其他传感器等设备。不过它对于研究机器人的地图构建和导航中也是一个有效的办法。
在双目机器人视觉中如图(1-1)和图(1-2),双目立体视觉直观,传感器结构简单,测量精度较高,主要问题是相对于单目视觉系统多幅图像上同名点的搜索及自动匹配较为困难。用于导航由于所成图像是垂直视角所以导航时精度难于保证,本论文在第3小节将设计一种方法来解决这种问题。将会介绍怎么使用电子罗盘和摄像机的结合来定位导航,并建立数学模型,通过介绍数学模型在第4小节介绍一种算法来解决导航中路径的计算问题。
2 机器人导航的相关研究的问题
在机器人导航研究中,多数研究者多采用,摄像机和多传感器来建立地图信息。一般是通过视觉系统来采集,如采用全视角摄像机和超声波传感或红外传感器结合的方法,通过不同方位的摄像机采集到得2-D图像,来建立机器人所处环境信息的3-D图像。
但是几乎没有人使用电子罗盘来解决机器人地图的建立和导航,本论文提出用电子罗盘来解决这个问题。机器人从摄像机和电子罗盘得到数据。并要按照我们定义的数据结构来把地图信息和计算出的路径结果存储在机器人自身的存储器中。在机器人视觉中有许多算法去解决摄像机的鲁棒性问题和机器人导航的路径的问题。我们将采用一种一些成熟的算法,来解决机器人导航的路径问题。
3 机器人系统介绍
本论文的机器人系统由摄像机,电子罗盘,内存储器,和决策系统组成。我们这个系统分为意识系统和决策系统。这个意识系统由摄像机和电子罗盘组成,它主要负责采集机器人移动中的环境信息。另外内存处器和决策系统是机器人的大脑,负责对机器人下一步所走的路径进行计算和规划。本机器人系统模拟系统采用两个摄像头,两个成一定角度安装在机器人头前方,还有一个摄像头安装在机器人的头顶如下结构图(3-1)。
图1-1机器人双目视觉机构运动简图 图1-2双目立体视觉视图
3.1 视觉系统
机器人视觉系统主要由数字信号处理器和CD摄像头组成。机器人通过前方的两个摄像头采集数据并通过机器人CPU分析,从而确定机器人下一部的位置和方向。安装在机器人头顶上的摄像机采集环境顶部的图像和安装在前方的摄像机一起来帮助地图创建。并且机器人处理器能计算出当前机器人的正确位置,而这要借助安装在机器人身上的电子罗盘的数据。通过前方和头顶的摄像头,机器人从环境图像中提取出物体或障碍物的特征信息(如屋子的顶部边缘和物体的坐标和轮廓特征),并把这些信息按先后循序存储在一个存储器中。同样通过电子罗盘采集到的数据也存储在另一个存储器中。它的数据也是按时间先后循序存储。这样机器人一旦寻找指定的目标,就按照这两个存储器里的一系列数据,来找到机器人以前的一段的位置和预测将要到得目标的位置。
图3-1机器人双目摄像机视觉系统图3-2电子罗盘中数据结构视图
3.2 电子罗盘的原理
罗盘最早是用在船的导航中,在船的导航中我们利用罗盘指针的偏转角度从而确定船的航行方向。因此我们可以利用这个原理,利用电子罗盘所读的数据,就像上面一节介绍的那样,利用这些数据来决定机器人的位置。在这篇论文中,我们采用新的数据形式来存储着些数据如图(3-2)。并且存储在一个一个队列中。关于详细的数据结构我们在下一节介绍。
4 机器人所采集到数据的数据结构定义
机器人所有上面的系统需要协调来采集数据,前方摄像机采集的数据用来设置机器人的初始位置。头顶的摄像机主要来采集实验室屋顶的数据,电子罗盘来设定机器人的方向。我们建立如下数据结构。如图(4-1)M表示机器人的位置参数它也是以一个数组的形式存储在内存中,数组的每个值代表一个机器人的一个位置,靠前的数据表示的是机器人以前的位置。C是机器人控制参数它是在机器人移动中产生的,P是机器人下一个移动的位置。
图4-1 机器人数据结构中的参数表
前方和顶部摄像机采集的队列
图4-2 机器人在环境中移动的平面图
机器人的位置信息是使用卡尔曼滤波算法[1][2]来降低地图的鲁棒性和精确性并存储在内存中。建立地图的模型和机器人的路径如下图(4-2)所示。机器人使用电子罗盘的数据,他主要是指机器人的方向,主要是度数,来解决机器人判断方位。在机器人可移动的范围内,头顶的摄像机必须能够采集到整个屋顶的边界。这样它就能知道自己的现在的方位坐标并和原先的方位坐标比较计算出自己所走的路径。但是还要使用电子罗盘的数据,来进行路径规划。主要是下面的数学模型。如公式(1).
(1)
机器人所采用的特征值, 表示机器人方向。机器人知道他当前的位置就是因为得度数。通过它作为参数还可以快速找到先前对应的参数。主要是通过存储在机器人内存中的队列,就像图(3-2)所示的那样。他也可以利用地图的可利用信息,确定下一步机器人可以走的路径。并且要使用 来区别所使用的信息。
另外机器人还要使用另一些参数比如:红外线,超声波,激光等设备,如果在户外,还可以安装GPS等定位系统。但是,机器人使用M中的参数来找到他同样的路径。但他对于机器人作出他自己的决策非常重要。当然机器人还需要有大的容量的存储器,才能更精确的导航和建立地图信息。下面我们将仔细描述机器人在现实情况下机器人是怎样来做出定位的。
图4-3 机器人在环境中的运动形式
在上面的图中,机器人的位置是P,机器人通过使用数据 来搜寻地图信息。然后建立和实际环境相似的地图,并依据上面的数据结构建立队列。然后机器人依据当前的视觉信息 定位自己。再使用电子罗盘建立自己的位置,然后机器人搜寻可以利用的地图信息[5],计算机器人下一步将可能走的最优路径[4]如图(4-3)。
5 结论
这个实验系统使用电子罗盘和摄像头来定位和导航。可以比较精确的规划出机器人的路径。他仅适用在室内,要想在户外实现导航还要借助,其他设备,各种各样的传感器。那就需要机器人有非常可观的内存和计算模块,我们这里只设计一个小的实验系统。来使用一种新办法来解决导航中的问题,我们会在以后的论文中逐渐来完善他的功能。并在以后的研究中能实验出更可靠和更具有适用性的系统。
参考文献:
[1] Anany Levitin著,潘彦译.算法设计与分析基础[M].北京:清华大学出版社,2007年.
[2] 李庆派,褚金奎,李荣华,王洪青.基于卡尔曼滤波的移动机器人运动目标跟踪[J].传感器与微系统,2008,27(11):66-68.
[3] 王隽永,何衍,陈家乾.基于单目视觉直线跟踪的SLAM实现机电工程,2007,24(6):19-2.
[4] 祖莉,王华坤,范元勋.户外小型智能移动机器人运动轨迹跟踪控制[J].南京理工大学学报,2003,27(l):52-78.
基于摄像机的应用 篇7
关键词：摄像机标定,同心圆环,圆心检测
计算机视觉的研究目标是使得计算机能够通过二维图像认知三维环境, 而摄像机是三维空间向二维空间的一种映射, 计算机视觉的一个关键步骤就是摄像机标定。所谓摄像机标定就是求解摄像机内外参数的过程, 具体而言即首先获取图像的相关信息, 然后根据三维环境中物体表面某点的三维坐标位置与其对应图像中点的坐标位置的相互关系, 构建摄像机成像的几何模型;最后经过试验和计算得到三维环境中物体的位置、形状等信息。
根据是否需要标定物, 摄像机标定方法可以分为两大类[1]:基于标定物的摄像机标定方法以及摄像机自标定方法。相机自标定是指不需要场景中物体几何数据等先验知识, 仅仅通过相机运动所获取的图像序列来标定内部参数, 虽然应用范围广, 但是鲁棒性有待提高。基于标定物的摄像机标定方法在标定过程中需要使用结构已知的标定物作为参照, 其基本原理是首先计算标定物上点的三维坐标与图像上对应点的约束关系, 然后根据这一约束关系利用一定的算法来确定摄像机的内外参数, 虽然应用范围受限, 但是鲁棒性高。张正友的平面模板法[2,3]是一种经典的应用较为广泛的模板标定方法。该方法考虑了相机的径向畸变和切向畸变, 用普通相机从不同位置和方向拍摄几幅平面棋盘格模板图像, 通过映射关系来求解摄像机的内参, 再计算摄像机的外参, 从而进行标定。基于圆点模板标定方法[4]通过三维坐标已知的原点模板和多视角图像自动地获取单应矩阵和摄像机参数, 并初步得到物体的三维信息, 标定过程简单, 自动化程度高。
本文提出了一种新的基于同心圆环模板的摄像机标定方法。同心圆几何信息比较丰富, 便于特征的检测与提取, 因此本文使用同心圆作为相机标定的模板, 利用射影几何内在约束条件来对同心圆图像投影的几何结构实现优化, 求出单应矩阵H, 从而进一步计算出摄像机内外参数, 且标定后期无需进行畸变校正。通过与张正友和Vogiatzis的圆点模板标定方法[5]进行模拟实验和真实图像实验验证本文提出方法的各方面性能。
1 基于同心圆模板的摄像机标定
1.1 同心圆圆心的检测
本文使用的同心圆模板在图像中的投影为一对曲线 (椭圆) , 主要参考在欧氏空间中圆心的检测方法找出该曲线对的中心[6]。如图1所示为欧氏空间中一对同心圆, 画一条通过该同心圆的直线, 交外圆于A、A', 交内圆于B、B', 则可得到线段AA'和BB'的两个中点:点P以及无穷远点Q (如图1所示) , 在交比的概念中, P、Q两点分别为线段AA'、BB'的内调和分割以及外调和分割, 并且当它们满足下式时可以称为是一对调和共轭点:
通过使用摄像机拍摄该同心圆将其投影到图像上, 如图2所示, 由于调和分割在投影几何中具有不变的性质, 则可以得到式 (2) 。
式 (2) 中, a、a'、b以及b'分别是点A、A'、B以及B'在图像中的投影, 通过式 (2) 可以得到一个二次方程式, 该方程式的解即为点p以及点q, 在此基础上, 通过将解约束在线段aa'上则可以得到中点p的值。
通过在图像平面上任意选择一个点p得到同心圆投影图像的中心, 具体的方法为:首先经过任意一点p画直线, 得到该直线与两个曲线 (同心圆的投影图像) 的交点, 根据式 (2) 构建一个二次方程式, 解得该线段的中点p1, 再通过点p1画另外一条直线, 重复上述步骤, 得到点集pi, 当pi与pi-1的距离小于一定值时, 停止循环, 则认为最后得到的中点pi为两个曲线的中心。
1.2 相机标定
1.2.1 准备模板
准备一个包含数个同心圆对的模板, 如图3所示, 每个圆的圆心位置是已知的, 模板中至少要有2对同心圆, 从不同的角度拍摄模板, 至少得到3幅模板图像。
1.2.2 标记初始点
由文中前面介绍的原理可知, 随机选择图像中的一个点作为初始点, 并画出一条经过该点的直线, 如果该直线经过一对曲线 (同心圆的投影图像) , 则可以得到该对曲线的中心点, 如果该直线并没有与任何一对曲线相交, 则重新选取另外一条曲线。本实验采用在图像中标记一些像素点作为初始的“种子点”的方法, 如图4所示, 先标出其中一个初始种子点, 种子点的密度是由图像的尺寸大小决定的 (保证每个同心圆内均有种子点) 。在随机选取直线时, 为了方便, 本实验使用的是垂直和水平的直线, 如图中黑色直线所示。
1.2.3 检测边缘点
实验采用基于分形维数的边缘提取方法实现模板的边缘提取, 然后在边缘像素中找出与选取的随机直线相交且距离种子点 (如图4中的红点) 最近的4个边缘像素点。
1.2.4 交点的校准
假设当前处理的弦中点为pi-1以及直线Li, 那么调和共轭点pi以及qi可以通过使用上述步骤检测得到的4个边缘点 (即直线与曲线对的交点) 计算得到, 则定义交比为式 (3) 。
如果上述4个点确实是直线与曲线对的交点, 则其对应的交比ρi应该是一个递增序列, 并且收敛于两圆半径之比, 这是由于当圆中弦的中点越接近圆心, 则该弦的长度则会逐渐增加, 直至等于圆的直径, 如式 (4) 。
在计算交比的过程中, 可以去除一些不在曲线区域内的初始点。在完成这一步后, 最终将得到曲线对的中心o, 位于隐消线上的点qi以及曲线对上的点ai、a'i、bi、b'i。
1.2.5 射影不变描述
同心圆环的投影图像是一个曲线对, 曲线对存在两个射影不变量Trace (C1-1C2) 及Trace (C2-1C1) , 因此这两个变量可以用来作为本实验的射影不变描述[7]。但也可以使用式 (4) 中的交比来更简单地实现射影不变描述, 如式 (5) 。
式 (5) 中, o为图像中曲线对的中心, a和b分别为通过o点的直线与曲线对的交点, p是该直线的隐消点。由于o和p在前面的步骤中得到, 因此为了简便, 在本实验中使用交比作为射影不变描述。
1.2.6 一致性约束优化
若已知同心圆圆心在图像中的投影, 以及隐消线上的点, 则可利用射影几何内在约束条件来对同心圆图像投影的几何结构实现优化[8]。如图5所示。
两条二次曲线上的点具有一致性关系, 如图5所示, 假设已知一条由圆心o在图像上的投影以及隐消线I!上的点q确定的直线, 该直线分别交两条二次曲线同侧于a、b两个点, 若同心圆圆心o的图像投影为不动点, 隐消线I!为不动线, 则这两个点满足以下关系λb=Ga, 两条二次曲线的关系可以表达为
式 (6) 中G可以通过不动线, 不动点以及交比参数化得到:
式 (7) 中, I3×3为3×3的单位矩阵。由极点-极线的关系, 圆心o的图像投影、隐消线I!以及外曲线C1的关系可以表达为
式 (6) 、式 (7) 及式 (8) 为曲线、圆心的图像投影以及隐消线的内在约束, 对于一对具有约束的二次曲线, 至少需要7个参数来实现参数化, 例如, 使用外曲线的5个参数以及隐消线的2个参数, 求下式的最小化。
式 (9) 中, C2由C1以及I!参数化得到, 式 (9) 的最小化可以通过L-M算法实现, 对于图像中所有的二次曲线对, 均可用上述类似的方法实现参数化, 最终, 根据对应的圆环点对以及所检测出的圆心就可以估计出单应矩阵。
1.2.7 摄像机参数求解及优化
完成第1.2.6节就可以求出单应矩阵H, 通过单应矩阵H可以实现摄像机内外参数的求解。考虑到摄像机镜头的畸变以及拍摄图像时引入的噪声会影响相机内外参数的精度, 本文将引入光束平差法[9]实现相机参数的优化。
2 实验及结果分析
实验将使用上述的基于同心圆的摄像机标定方法进行模拟实验, 并使用真实图像进行真实实验。
2.1 圆心检测实验
根据前文所介绍的圆心检测方法, 可以实现同心圆投影图像中心的识别, 为了验证该方法, 本文对一对同心圆的投影图像进行检测, 其结果如图6所示。
图6中红色的菱形标记表示初始点, 圆点表示直线与椭圆相交的边缘点, 正方形标记表示每条直线计算得到的中心点。由该图可知, 本次中心点的检测共经过了6次迭代 (为了能够清楚显示6次迭代的过程, 本实验在每次迭代时均选取了不同方向的直线) , 最后一次迭代对应的弦中点即为该同心圆投影图像的中心点。需要注意的是, 由于摄像机存在径向畸变等原因, 同心圆投影图像的中心点并非单纯是内椭圆的中心, 因此如果使用hough变换求中心值, 必定会存在畸变误差。
2.2 相机标定模拟实验
在模拟实验中, 摄像机参数的设置为α=β=900, u0=512, v0=384, s=0.01, 分辨率为1 024×768。
2.2.1 检测噪声对摄像机标定结果的影响
在本实验中, 为了能够检测得到本文使用的方法的抗噪性, 将均值为0, 标准方差为σ (实验取0.2~3) 的高斯噪声加入图像。本实验使用模拟的摄像机拍摄5张照片, 最终将计算得到的摄像机参数与真值相比较, 计算出参数的相对误差, 实验结果如图7所示。随着噪声的不断加强, α、β、u0、v0四个参数的相对误差呈现递增的趋势, 但总体保持在非常小的范围内 (在噪声均方差为3时, u0、v0相对误差在3%左右, α, β在1%左右) , 可见本实验方法具有良好的鲁棒性。
2.2.2 检测图像数对摄像机标定结果的影响
在本实验中, 通过改变模板图像的数目来测试本摄像机标定方法的性能。由于本方法至少需要3张图像, 因此, 在实验中将分别使用3~15幅图像分别估计摄像机参数。结果如图8所示, 可以看到当图像数量从3幅增加到4、5幅时, 各个参数的相对误差明显有降低的趋势, 但图像数继续增加相对误差的下降趋势逐渐减少, 并且最终保持不变。通过这个实验得出的结果, 本实验后期真实数据实验时将选择5幅模板图像作为标定使用。
2.2.3 实验结果比较
本实验将本文使用的同心圆相机标定方法分别与张正友标定方法 (本文使用Bouguet的标定工具箱实现) 以及Vogiatzis的基于圆点模型的方法进行比较, 模板如图9所示, 同样使用上述模拟相机分别对张正友模板以及圆点模板进行拍摄, 分别得到5幅图像, 在不同密度的噪声下对相机内参α、β、u0、v0进行估计, 并比较其相对误差, 结果如图10、图11所示。
2.3 真实图像标定实验
(1) 模板准备。将本文使用的平面模板在A4纸上打印出来, 固定在平整的平面上, 然后使用摄像机从多个不同的角度拍摄模板图像, 拍摄的图像序列如图12所示。
(2) 实验结果。首先使用第一节提到的方法实现同心圆圆心的检测, 以图12中 (a) 为例, 检测结果如图13所示。
图13 (a) 中, 菱形点表示所有初始种子点中的收敛点, 红色‘+’号表示同心圆的中心, 数字为同心圆的索引号。
图13 (a) 中同心圆坐标检测结果如表1所示。
根据第二节中的方法实现相机标定, 最后计算得到的摄像机内参数结果为
从以上的实验结果可以看到, 摄像机内参结果的纵横比接近于1, 倾斜角度近似于90度, 为了验证本文方法标定结果的合理性, 在不改变摄像机内参数值的情况下使用张正友的方法实现摄像机标定, 拍摄的图像如图14所示。
得到的标定结果如表2所示。
由Bouguet工具箱的标定结果, 可以看出本文所使用的标定方法的结果是可靠的。
3 结论
本文提出一种基于同心圆模板的相机标定方法, 应用几何方法实现同心圆圆心的检测及相机标定。该方法能够实现全自动的模板特征检测、识别以及后期的内外参数计算, 且标定后期无需进行畸变校正。将该方法分别与张正友的方法以及Vogiatzis的方法通过模拟实验和真实图像实验进行比较研究, 大量实验结果证明本文提出的摄像机标定方法精度更高, 鲁棒性更强。
参考文献
[1] 陈爱华, 高诚辉, 何炳蔚.计算机视觉中的摄像机标定方法.中国工程机械学报, 2006;4 (4) :498—504
[2] Zhang Zhengyou.A flexible new technique for camera calibration.IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000;11 (22) :1330—1334
[3] Zhang Zhengyou.Camera calibration with one-dimensional objects.IEEE Transactions on Pattern Analysis and Machine Intelligence, 2004;7 (26) :892—899
[4] 张圆.圆结构光视觉检测系统标定方法的研究.北京:北京化工大学, 2010
[5] Vogiatzis G, Hernández C.Automatic camera pose estimation from dot pattern.http://george-vogiatzis.org/calib/, 2010.7
[6] 李龙, 何明一, 李娜.椭圆拟合的圆环模板摄像机标定.西安电子科技大学学报 (自然科学版) , 2010;12 (37) :1148—1154
[7] 胡培成, 黎宁, 周建江.一种改进的基于圆环点的摄像机自标定方法.光电工程, 2007;12 (34) :54—60
[8] Zheng Yinqiang, Ma Wenjuan, Liu Yuncai.Another way of looking at monocular circle pose estimation.Proceedings of the International Conference on Image Processing, 2008:861—864
[9] Lourakis M, Argyros A.The design and implementation of a generic sparse bundle adjustment software package based on the levenbergmarquardt algorithm.Inst of Computer Science-FORTH.Heraklion, Crete, Greece, 2004
基于NiosⅡ的网络摄像机设计 篇8
1 系统总体架构
基于NIOS II的嵌入式网络摄像机是以Altera DE2-70多媒体开发板为平台, 采用SOPC技术[1], 在这块FPGA中集成了摄像头采集、JPEG图像压缩编码、SDRAM控制器、10M/100M以太网传输接口、SD卡接口、显示器控制、红外发射接收等模块, 把编码后的视频数据以TCP/IP数据包的形式通过网络发送出去供用户通过局域网或Internet实现对网络摄像头的访问。系统架构图如下图1所示。
2 各主要功能模块的设计与实现
系统采用基于IP核的SOPC技术, 发挥了SOPC中复用IP核的优势, 对于SDRAM控制器模块、SD卡接口模块、红外发射与接口模块等可以直接调用IP核。本论文详细介绍了前端图像采集模块, 并简单概括JPEG图片压缩模块和网络传输模快, 缩短了开发周期。
2.1 摄像头数据采集模块
系统采用Micron的130万像素的CMOS image sensor (简称CIS) , 实现一个完整的frame grabber取像和即时的CIS影像摄取, 以及可通过客户端网页实现对摄像头的控制, 如:曝光时间、帧率/帧大小、窗口大小等的设置[2]。前端采集模块设计框图如图2所示。
2.1.1 CMOS Sensor Data Capture模块
提供CIS工作所需要的主时钟, 并且通过FVAL、LVAL及PCLK三个同步信号, 正确抓取CIS送回FPGA的数据流, 为下一级处理准备数据。可用外部按键控制实时单张抓取图片。
2.1.2 I2C Sensor configuration模块
内部包含了一个I2C总线控制器[3]以及一个对应于CIS内部寄存器地址的查找表, 通过I2C总线提供开机或者按键设定完整的CIS配置, 也可以通过网页设置可调整增益、曝光时间、CIS输出格式等。
2.1.3 Bayer Color Pattern Data To 30-Bit RGB模块
使用行缓冲+流水线的处理方式, 将前一级得到的数据实时转换成标准的30bits RGB数据, 以便后面的图像处理与存储。
2.1.4 Mirror Data模块
摄像头采集到的数据是从右到左扫描, 该顺序和数据在VGA上面扫描显示是相反的, 需要对前一级的图像数据进行镜像操作, 从而恢复能在VGA上面正确显示的顺序。此外, 需要进行适当的数据下采样, 把1280×1024的数据下采样为640×512的数据, 方便后面的数据压缩、传输和显示。
2.2 视频压缩模块
视频压缩采用JPEG编码技术[4], 把摄像头采集过来的数字图像数据, 按一定的格式或标准进行编码压缩。首先, 对保存在Buffer_Sensor的数据进行读取, 得到每个像素点的RGB值, 也就是位图数据, 分别保存到Buffer_R, Buffer_G, Buffer_B中, JPEG编码模块从这三个缓存中读取每个像素点的数据进行压缩, 压缩完成后的图像数据存储在Buffer_img中;最后由Nios II通过总线从Buffer_img中读出压缩过的图像数据, 这些图片数据可以写入到SD卡里面, 也可以通过网络接口, 把图像数据打包发送到客户监控端。JPEG视频压缩模块总体结构图3如下所示, 主要由颜色空间转换模块、二维DCT模块、存储模块、编码模块等模块组成。
2.3 网络接口和传输模块
利用DE2开发板上提供的网口, 采用TCP/IP网络协议, 把已经编码压缩的数据打包好发送到监控端 (用户端) , 监控端使用标准的浏览器, 根据网络摄像机的IP地址对网络摄像机进行访问, 观看实时图像。图像传输是建立在TCP/IP协议基础上, 为了保证系统的可靠性、可移植性和多任务切换, 我们应用了UCOS操作系统, 实现软硬件的协调运作。
3 结语
基于NiosII的网络摄像机, 不需布设专门网络, 降低了成本, 即插即用, 维护简单;采用FPGA以及SOPC复用IP核技术, 可以缩短设计周期, 提高设计效率;其独特的软核处理器, 可根据设计需求随时更改配置, 具有很大的灵活性, 可广泛应用于电梯远程监控系统中。
摘要：本设计采用SOPC技术, 使用Altera NiosⅡ处理器, 在单片FPGA上集成了视频采集、视频压缩、以太网传输、USB接口、RS232串行接口等模块, 设计了一款基于NiosⅡ的嵌入式网络摄像头机。它不同于基于PC机的视频监控系统, 不需布设专门网络, 降低了成本, 即插即用, 维护简单;其独特的软核处理器, 可根据设计需求随时更改配置, 具有很大的灵活性, 可广泛应用于电梯远程监控系统中。
关键词：SOPC,NiosⅡ,网络摄像机,软核,远程监控系统
参考文献
[1]张春生.面向SOPC的IP核设计与IP核复用技术研究[D].国防科技大学, 2006
[2]侯雨石, 何玉青.数码相机CMOS图像传感器的特性参数与选择[J].光学技术, 2003, 29 (2) :174-176
[3]俞伟, 徐宁仪, 罗飞, 贺光辉, 周祖成.IIC总线控制器IP核设计[J].世界科技研究与发展.2005, 27 (1) :18-21
基于摄像机的应用 篇9
随着数字图像技术的发展,数字视频监视系统已经被广泛地应用于社会生活中的很多方面。本文运用背景图像消除法来检测监控系统中摄像机的故意移动。背景消除,即将图像分为背景和前景两个部分。前人已经作了很多工作,提出了大量的背景消除算法,其中有:基于统计模型的方法,如高斯分布模型[1]、混合高斯分布模型[2]、非参数化模型[3]等;基于预测的方法,如维纳滤波器方法、卡尔曼滤波器方法等。上述这些算法都没有考虑深度信息的应用。文献[4]考虑了颜色和深度信息,但算法没有充分考虑时间的自适应性。文献[5]提出基于混合高斯分布模型的自适应背景消除算法,虽然考虑了颜色、深度信息及时间的自适应性,但算法的运算量大、实时性差。本文针对相机移动后背景改变的特性,对基于混合高斯分布模型的自适应算法进行了改进,在分割效果损失较少的前提下,提高了系统的实时性,使之更好地满足摄像机移动检测的要求。
1 原 理
基于混合高斯分布模型的背景消除算法的基本思想是:使用混合高斯分布模型来表征图像帧中每一个像素点的特征,当获得新的图像帧时,更新混合高斯分布模型;在每一个时间段上选择混合高斯分布模型的子集来表征当前的背景,如果当前图像的像素点与混合高斯分布模型相匹配,则判定该点为背景点,否则判定该点为前景点。当相机被故意移动或遮挡或发生变焦时,出现大片的前景点,即可判定为异常情况,同时发出报警信号。
1.1 背景模型
由摄像头采集到的图像序列,每一帧图像不仅包含色彩信息,还包含深度信息、背景模型。采用这些信息来描述像素点i在时间t的特征[5]。
Xi,t=[Yi,t,Ui,t,Vi,t,Di,t] (1)
式中,Y表示亮度,U 、V表示色度,D表示深度,i、t为一般自然数。
如果没有前景存在,则视频图像相对静止。每一像素点随时间变化都服从一定的统计模型,该算法中每一个像素点由K个高斯分布的混合模型来表征,其中第K个高斯分布的概率密度函数为:
式中,μk表示均值矢量,∑k表示协方差矩阵。
像素点i当前的特征与该像素点过去时刻的特征有关,其概率为[4]:
P(xi,txi,1,…,xi,t-1)=∑
式中,t为时间点, μi,t-1,k和∑i,t-1,k分别是像素点i在t-1时刻的第K个高斯分布模型的均值矢量和协方差矩阵,ωi,t-1,k为与高斯分布相对应的权值。
考虑到系统实时性的要求,假定每一个像素点的亮度及色度信息是相互独立的,并因此采用:
∑=diag[σY,σU,σV] (4)
来代替协方差矩阵∑i,t-1,k,σY为亮度方差,σU、σV为色度方差。同时K 的取值范围一般是3～5。K的值越大,系统能表征更复杂的场景,但是相应的计算量也将大大增加,通过实验可知,K值增加一倍,消耗的时间也增加一倍,故考虑时间和性能的影响,本算法中K 取值为5。
1.2 背景模型更新
随着时间推移背景会发生变化,如光照变化、背景物体改变等,背景模型必须加以更新以反映这些变化。背景模型的更新包括模型匹配和模型更新两个步骤。
1.2.1 模型匹配
当获得一帧新的图像,也就得到每一像素点的新的观测值,这就需要观察新的观测值是否与高斯分布模型相符合,即模型匹配。通常将观测值xi,t分别带入t-1时刻的K个高斯分布模型中,找出使匹配度ωi,t-1,k×ηk(xi,t,μi,t-1,k,∑i,t-1,k)取得最大值的第K个高斯分布模型,则称这个观测值与第K个高斯分布模型匹配[5]。这样做计算量很大,出于实时性的考虑,本文对该算法作了如下改进:
(1) 只使用协方差矩阵中的亮度分量。这是因为噪声的干扰,对色度信息影响较大,而对亮度信息影响较小。因此牺牲色度信息,对整个系统的分割效果的影响较小,却可大大地减少算法的运算量。通过实验比较得知,只考虑亮度信息比加入考虑色度信息在运算量上减少一个数量级。
(2) 将高斯分布模型按权值、方差排序。权值与方差对匹配度的影响较大,在均值相等或相近的情况下,权值越大、方差越小、匹配度就越高。将高斯分布模型按权值(从大到小)、方差(从小到大)的顺序排列。然后新的观测值依次与顺序排列的高斯分布模型匹配,当找到相匹配的模型,计算即停止。这样可以减少算法运算的次数,提高运算的速度。相应的匹配标准改为:
式中,Yi,t是Xi,t的亮度分量,μYi,t-1,k为μi,t-1,k的亮度分量,σ
1.2.2 模型更新
如果找到与观测值匹配的高斯分布模型,将对此高斯分布模型进行更新;如果没有找到与观测值相匹配的高斯分布模型,将进行模型更替。
(1) 匹配模型更新
它包括以下三种更新:
① 学习率及采样频度的更新 学习率α较高时,背景改变会很快地融入背景模型中去。当α较低时,为了避免将暂时静止的前景物体误认为是背景改变而融入背景模型中去,设置像素点的活动级别:
Ai,t,k=(1-λ)Ai,t,k+λ|Yi,t-Yi,t-1| (6)
式中,λ(本文取值为0.09) 用来暂时保持像素点活动级别,Ai,t,k的初值设为0。并根据Ai,t,k来调整α:
式中,TA为活动级别的阈值,由测试知,当TA 值取为5时效果较佳。
同时,由于背景存在突变和缓变两种情况。因此,设定采样频度:
式中,TN是反映背景变化的阈值(取值为1000)。当∑i|Yi,t-Yi,t-1|>TN时,为有突变发生,令N=1,即每帧都可取来分析。当∑i|Yi,t-Yi,t-1|≤TN时,背景处在缓变情况下,令N=1/ 3, 即每三帧取一帧来分析。
② 高斯分布模型更新 在一些长期保持静止的区域,像素点亮度方差σ
如果观测值和第K个高斯分布模型相匹配,而且σ
如果观测值和第k个高斯分布模型相匹配,而且σ
③ 权值更新 高斯分布模型的权值按下式更新[5]:
ωi,t,k=(1-α)ωi,t-1,k+αMi,t,k (11)
(2) 模型更替
如果没有找到与观测值相匹配的高斯分布模型,则采用新的分布模型取代K个高斯分布模型中按权值和方差排序的最后的高斯分布模型。新的高斯分布模型的均值等于Xi,t,为了更好达到实时性要求,对于高斯混合模型的参数(权重、均值、方差),并不采用最大期望估计的方法,而是依据经验数值,进行手动初始化,由于模型参数不断进行更新,故人为分配参数初始值所带来的误差对最终效果影响不大。初始化过程把第一帧中的每个像素灰度值设为均值,依据高斯函数特点,方差指定一个较高的值(本文为15),初始化每个模型的权值数值应相等,为1/k(k为模型数)。
1.3 背景消除
如果观测值与所有的背景模型都不匹配,可以直接判定该点为前景点,当找到与像素点匹配的高斯分布模型后,还不能判定该点为背景点。因为像素点的K个高斯分布模型并不都表征背景,需从混合高斯分布模型的子集中选择一个最能代表背景的高斯模型。
本文根据室内相机拍摄场景的特点,即场景的形状不会受光照、阴影及相互干扰的影响。提出根据深度信息选择背景模型的方法,具体选择过程为:为避免因深度信息误差而选择伪背景模型,设置深度阈值TD(通常取为0.1～0.2,本文为0.2)。当深度值最大的高斯分布模型的深度值大于给定深度阈值,则选择这一高斯分布模型为背景模型;当深度值最大的高斯分布模型的深度值小于或等于给定的深度阈值时,根据权值来选择背景模型,设置权值阈值Tω(通常取为0.3～0.7,本文为0.7),如果权值最大的高斯分布模型的权值大于权值阈值,则选择该模型为背景模型,否则按权值大小的顺序依次将各高斯模型加到该模型,直到产生的混合高斯模型的权值大于给定权值阈值时,选取该混合高斯模型为背景模型。选择出背景模型后,将像素点的观测值与该背景模型进行匹配,当两者相匹配时则可判定该像素点为背景点,否则可判定该点为前景点。
2 实验结果及结论
实验素材是由实时网络摄像头采集的视频文件(.avi, 分辨率为320×240, 25 帧/s)。视频截图如图1～4所示。
图1是在摄像头正常拍摄情况下截取的视频图像,此时图中运动的人构成的像素点是前景点,其余静止的场景构成了背景点。当摄像头被手故意遮挡、或被故意转动、或屏幕变白屏时,混合高斯分布模型的匹配出现了异常,从而发出报警信号。在实验中背景更新策略如下:
(1) 一旦发生报警,则停止更新。报警解除,重新初始化模型各项参数。
(2) 如何判定报警解除。若新进帧与模型中的背景帧匹配,则判定报警解除。
匹配的判断标准为高斯阈值和区域分块直方图统计。
特殊情况,如相机发生移动,在相机恢复正常状态过程中,相机并没恢复到原位置,而是稍有偏差,在这种情况下,我们认为也是处于正常状态(即不能报警),此种情况可利用区域分块直方图的统计特性加以判断。
本算法采用机器CPU为酷睿双核,主频1.86G。对有350个各类异常事件进行检测,检测结果如表1所示:
本文的算法适应背景的缓变和突变,也考虑到时间的自适应性,可见混合高斯模型可表征并适应较复杂的背景图像。因此采用混合高斯分布模型的背景消除算法可提高分割效果,使之满足进一步特征提取的需要。
在实验中也发现了该算法的不足之处,即在视像中出现大量运动的人并占据大部分场景时,也会因为过多的前景点而将该正常场景判定为异常情况。因此在应用中可以考虑加入跟踪算法,跟踪移入和移出场景的物体,采用简单的blob块分析,从而使检测更加准确。
参考文献
[1]Huwer S,Niemann H.Adaptive change detection for real-time surveil-lance applications[C]//Proceedings.3rdIEEE International Work-shop on Visual Surveillance.2000:37-46.
[2] Stauffer C,Grimson W E L. Adaptive background mixture models for real-time tracking[J].IEEE Conf, on CVPR.1999, 2: 246-252.
[3]Elgammal A,Harwood D,Davis L.Non-parametric model for back-ground subtraction[EB/OL].2000.http://www.cs.umd.edu/users/elgammal/docs/eccv2000.pdf.
[4]Gordon G,Darrel T,Harville M,et al.Background estimation and re-moval based on range and color[J].IEEE Conf,on CVPR.1999,2:459-464.
基于摄像机的应用 篇10
计算机视觉技术应用于农产品自动化收获始于20世纪八十年代中后期,是近年来热门的研究课题之一[1]。其中,摄像机标定是计算机视觉系统不可缺少的前提和基础。摄像机标定过程就是确定摄像机成像几何模型的参数,这些参数包括摄像机的内部几何和光学特性(内部参数)以及摄像机的三维位置和方向(外部参数)。根据标定的特点和算法,将摄像机标定分为传统摄像机标定方法、基于主动视觉摄像机标定方法和摄像机自标定方法。在传统的摄像机标定方法中张正友的方法因标定精度高、稳定、标定模板容易制作较为常用[2]。Bouguet方法同时考虑径向和切向畸变,并有专业的标定工具箱,应用越来越广泛[3]。在具体应用中,对于经典的标定方法有必要进行深入的讨论和比较,以给其他研究者在选择标定算法时一些参考[4]。
摄像机标定精度评估方法总的来说分为两类:一是直接检验标定的精度,即由2D图像坐标重构出空间的3D坐标与实际的空间坐标比较,以该误差大小来评价标定精度;二是以二维图像的定位精度来间接地评价标定精度,即以“3D”空间坐标投影到图像平面的“2D”坐标,与实际提取的图像“2D”坐标的误差做为评价标定精度的方法[5],此处误差即为图像残差。目前,基于第一类的评估方法有Tsai提出的测量三维世界坐标的精度准则。Weng提出的使用三角测量误差与摄像机量化误差的比值作为评估方法[6]。全厚德等提出了基于棋盘格长度的评估方法[6]。在第二类评估方法中,葛动元等以图像残差均方值作为标定精度的性能指标,进行精度分析[7],实用性较强。
由于实验条件的限制,对于具体的摄像机标定参数而言,一般很难得到非常精确的“3D”空间坐标真值作为绝对的参考。本文在实际的摄像机标定实验环境下,对张正友和Bouguet标定方法采用第二类方法,并利用图像残差来比较二者的标定精度。
1 摄像机的成像模型
张正友和Bouguet都是利用传统模型进行标定。此模型共有4套坐标系:世界坐标系(OW,XW,YW,ZW)是物体点P的三维坐标,是由用户自己定义的;摄像机坐标系(OC,XC,YC,ZC)是以摄像机光心OC为原点,以垂直于图像平面的摄像机光轴为ZC轴,XC轴和YC轴平行于图像平面;图像的物理坐标系(O1,x,y);(xu,yu)和(xd,yd)分别为理想和畸变矫正后像点的物理坐标,(xp,yp)为像点的像素坐标。空间物点P到像点P的转换就通过这4套坐标系经过3次转换而得来的。具体模型公式转换关系如表1所示。
参数说明:R为旋转矩阵;T为平移矩阵;f表示有效焦距;Sx为尺度因子;dx,dy表示x和y方向相邻像素中心距离;k1(T)表示Tsai方法径向畸变系数,k1(Z)表示张正友方法径向畸变系数;k1(B),k2(B),k3(B),p1(B),p2(B)表示Bouguet方法径向和切向畸变系数。
2 精度评估
2.1 精度评估理论
在摄像机标定过程中,确定了三维空间到二维图像平面的变换关系,通过标定得到的参数即可计算出已知三维坐标的物点在图像平面的投影点。假定空间一点P成像到图像平面上,实际检测到的其“2D”坐标为而利用标定得到的参数来计算图像平面上的投影点“2D”坐标为p(xpi,ypi),则与p之间的误差即为图像残差[8]。本文以图像残差的下列指标衡量标定精度。
2.1.1 x方向图像残差均值
式中n—格点的数目。
2.1.2 y方向图像残差均值
2.1.3 总的图像残差均值
2.2 计算过程
本文采用Bouguet提出的角点提取算法检测实际像素坐标。首先,以标定板平面左上角为空间坐标原点,以毫米为单位,计算每个格点的x和y轴坐标,确定“3D”坐标;然后,利用此“3D”坐标,并根据已经标定得到参数,推导出图像像素坐标。Bouguet方法的图像残差指标计算具体过程如下:
设格点的空间坐标为P(XW,YW,ZW),像机坐标为(XC,YC,ZC),理想图像坐标为(xu,yu),实际的图像坐标为(xd,yd)。根据针孔成像模型、已经计算出旋转矩阵R及平移矩阵T,由式⑴和式⑵计算得到理想图像坐标为(xu,yu),再由畸变式⑸计算得到实际的图像坐标(xd,yd),根据式⑹,推导出像素坐标(xp,yp),即“3D”坐标在图像平面的投影点坐标。利用实际检测到空间点P的像素坐标根据式(7)和式(8)计算图像残差均值,式(9)计算Ed。
对于张正友方法,除了在计算(xd,yd)时所利用的畸变公式不同之外,其他的计算步骤均与上述过程相类似。
3 实验及分析
本文实验平台组成:系统主机配置的CPU为英特尔赛扬D3.06GHz,内存为512MB。视觉部分由两套DH-HV3100FC数字摄像机(分辨率为2048×1536)和COMPUTAR的M0814-MP定焦镜头(焦距为8mm)组成。实验所用的标定块是一块贴有A4大小,带有7×9的黑白棋盘格的平面板。黑白棋盘格的大小为22mm×22mm。
实验中从不同角度和不同的深度拍摄多幅图片。实验第一步,在使用Bouguet方法标定时,研究不同数量的图片对标定精度的影响。实验中共拍摄了40张图片,随机选择1到30张图片分别进行标定,实验共进行5次,并利用2.2节所述方法计算每次标定的图像残差的Ed。为说明实验结果的可靠性,计算5次Ed值的均值,记为_Ed,并画出变化图如图1所示。
在图1中,横轴表示图片的数量(单位:张),纵轴表示Ēd(单位:像素)。从图1观察到当选择5幅图片标定时,Ēd最小,为0.1753,但是Ēd会随着图片数量的变化而变化,变化到一定程度趋于稳定。可以看出,对于Bouguet方法,标定图片的数量对于标定的精度和稳定性有着很大的影响。当使用5张图片时,标定的精度最高,但并不稳定;当标定图片达到20张左右时,标定的结果相对稳定。
实验第二步,选择同样的5幅图片分别使用Bouguet方法和张正友方法进行标定实验,并按照2.2节所述方法计算出图像残差均值和Ēd值(见表2所示)。为了直观性和形象性,同时画出图像残差的直方图,如图2和图3所示。
像素
从表2可以看出,对于同样的标定实验,Bouguet方法x和y方向图像残差均值为0.120 0和0.060 8,_Ed值为0.139 7;而张正友方法x和y方向图像残差均值为0.1216和0.071 8,_Ed值为0.149 9。由图2可以看出,前者的标定精度更高。本文使用直方图(如图2和图3所示)更加形象地描述这一观点,纵轴表示格点数量(单位:个数),横轴表示像素误差(单位:像素)。在同样的标定环境下,在x轴方向,Bouguet方法有近100个格点的图像残差接近0,而张正友方法则只有不到70个格点的图像残差接近0。因此,比较两幅直方图也可以直观地看出Bouguet方法的标定精度更高。
4 结语
本文以自制的标定模板,用基于图像残差的精度评估方法对Bouguet和张正友摄像机标定方法的精度进行了比较。实验表明:利用Bouguet方法标定时,标定结果随着图片数量的变化而变化,标定图片为20张左右时,标定结果最为稳定;当选择5幅图片标定时,标定精度最高。对于同样条件的标定实验,即同时选择5幅图片标定,Bouguet方法的x轴和y轴方向图像残差均值Ēd以及图像残差值均低于张正友标定方法的各相应残差均值。实际应用中,在设定标定物体的空间坐标后,能够应用本文方法快速、有效地对视觉系统的精度进行定量的评价,为整个系统误差分析提供了参考。
摘要：为了选择较好的摄像机标定方法,采用Bouguet和张正友的标定方法分别进行了摄像机标定,以图像残差作为精度评估标准对两种方法的标定结果比较。实际实验表明:Bouguet方法的标定精度随着标定图片数量的变化而发生变化,在使用5张图片时,标定精度最高;在同等条件下与张正友方法进行比较,Bouguet方法标定精度更高。标定精度比较结果为实际应用中的摄像机标定方法选择、标定精度评价方法和具体标定试验中图像数量的选择等提供了重要的参考。
关键词：摄像机标定,精度评估,图像残差
参考文献
[1]何东健,张海亮,宁纪锋,等.农业自动化领域中计算机视觉技术的应用[J].农业工程学报,2002,18(2):171-174.
[2]Zhang Z.A flexible new technique for camera calibration[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2000,22(11):1330-1334.
[3]Jean-Yves Bouguet.Visual methods for three dimensionalmodeling[D].Pasadena California:California Institute of Technology,1999.
[4]曾建兰,黄昶.摄像机标定精度的比较研究[J].中国科技信息,2007(22):56-57.
[5]Joaquim Salvi,Xavier Armangue,Joan Batlle.A compara-tive review of camera calibrating methods with accuracy evaluate on[J].Pattern Recognition,2002(35):1617-1635.
[6]全厚德,闫守成,张洪才,等.计算机视觉中摄像机标定精度评估方法[J].测绘科学技术学报,2006,23(6):222-224.
[7]葛动元,姚锡凡.基于瑞利原理摄像机标定的精度研究[J].计量学报,2009,30(1):11-15.
摄像头在物理实验教学中的应用 篇11
【关键词】摄像头 演示实验 实验教学
以实验为基础是物理学科的重要特征之一，高中物理新课程极为重视物理实验。但是由于实验条件的限制， 实验的科学性、直观性等特点在教学中未能真正体现， 使现有的实验不能完全地发挥其教学作用。现在摄像头正悄悄地走入中学课堂，使用摄像头可以克服实验条件的限制， 能实时进行同步多视角地观察，进行局部放大，能清晰观察重要方位产生的物理现象和发生的物理过程，同时也能将快速发生的物理过程缓慢回放，提高物理实验的可见度，最大限度地发挥物理实验的作用。
一、摄像头的特点
摄像头是一种利用光电技术采集影像的数字视频输入设备。它配合个人电脑，可以把外界的动态影像输入并保存到电脑上，还可以通过投影设备把影像投射到屏幕上。摄像头的作用类同于人的眼睛，负责接受外界的影像信息进行传输。摄像头具有：①体积小：可以达到拇指般大小，甚至更小；②分辨率高：影像分辨率一般可达48万，可以拍摄到较清晰的影像；③动态好：帧频最大可达30 帧/秒，可完全满足人的视觉需要；④焦距短：拍摄距离可以从2cm到无穷远，并可以手动调焦；⑤使用方便：把摄像头连线插到电脑的USB接口上，配合电脑就可以正常使用；⑥价格便宜：一般在100元以内；⑦取材方便：一般电脑耗材店都有大量现货，可随时购买。摄像头所具有的这些功能和特点， 使得它在物理演示实验中进行广泛应用成为可能。
二、利用摄像头优化实验教学
物理是一门以实验为基础的学科，教师在课堂上需要做很多演示实验。但如果所做实验的效果不好，现象不明显， 能见度低，不但起不到应有的作用，还会造成学生的错觉，分散给教学带来很大的负面影响。在做物理实验时，如果把实验仪器置于讲台上摄像头所能拍摄到的范围之内进行实验，则实验操作的每一个步骤和相应的实验现象都能在屏幕上同步、实时得到放大展示，使现象明显、清晰，而且操作方便， 并能节省课堂教学时间，从而大大提高演示实验的质量和效率。
1、实验现象放大效果
利用摄像头对演示实验装置和现象进行全局或局部的观察，并通过电脑把影像投影到屏幕上，从而获得足够大的全景影像或局部特写影像。例如，热学实验中的温度计、力学实验中对弹簧秤、刻度尺等测量工具的读数，电学实验中各种仪表的读数，可见度小，在演示时采用摄像头和投影机将实验直接投影到大屏幕上， 影像清晰、稳定性好、可见度大、效果好。对于一些过程较复杂且可见度不高的， 时间较长的实验，还可事先将实验过程利用摄像头， 结合计算机有关软件制成录像，进行必要的技术处理，再投影到大屏幕，学生观察清楚，印象深刻，且节省了课堂上的实验操作时间，使教师有更多的时间进行其他重要内容的讲解。例如，晶体的熔化和凝固实验，实验时间较长，熔化过程液体出现初期可见度小，即可运用此方法予以解决。
2、视角变换效果
利用摄像头体积小、移动方便，可在任意角度进行立体观察，来代替学生的眼睛观察实验， 改变学生只能沿水平方向观察的限制， 使学生实现对实验进行全方位立体式的观察。例如，在演示光的折射、全反射现象中，只有眼睛在反射光线或折射光线上才能看到相关现象，演示实验时很难让全班同学的眼睛在同一方向上看到相关的现象，我们可以把摄像头放在眼睛观察的角度，并把图像投影到大屏幕上，这样，全班的同学都能看到该实验现象了。在碗中放一枚棋子，把摄像头对准碗，调节一定的角度，刚好看不到棋子，慢慢倒入水，慢慢看见棋子，如图1。让学生思考：为什么碗里倒入水后，我们能看见棋子了？如图2，透明瓶子中的棋子慢慢倒入水后为何看不到了呢？通过上面的两个演示实验，设置相关的练习，取得良好的教学效果。
3、环境独立化效果
把代替学生眼睛的摄像头和实验装置，置于特殊的实验环境之内， 而学生置身于实验环境之外，从而使实验环境与实验观察者完全分离， 获得了实验环境 的独立性。例如： 光的干涉、衍射实验和电荷在磁场中运动的实验等，这些实验的现象在白天较强光线的环境下都很难获得足够的可见度， 需要在黑暗的环境中进行。可以把整个实验装置放入一个足够大的封闭的硬纸板箱或木箱内（ 为了便于对实验的操作， 箱体的其中一侧可用黑布帘代替纸板或木板 ，并把摄像头置于箱内的合适位置， 对箱内的实验现象进行观察，而此时学生则在光线明亮的教室里观察着屏幕上的清晰现象。可见， 利用这种独立的暗室进行实验，实现了实验演示与课堂教学的同步。
4.实验现象回放、慢放效果
有些实验过程、实验现象极其短暂，学生还没反应即已消失。教师可以利用摄像头当堂拍摄下实验过程，利用播放器的暂停、回放、慢放按钮来控制播放的画面，来使实验过程一目了然。例如，如图3演示通电自感现象，灯L2比L1慢亮，学生如果观察不仔细，发现不了两者的区别，实验效果大打折扣，利用摄像头靠近拍摄下来，进行回放、慢放效果非常明显。又如，用牛顿管研究自落体运动下落快慢，后排的学生很难观察出金属片与羽毛是否同时下落，同样利用摄像头靠近拍摄下来，进行慢放效果非常明显。
随着科学技术的发展，把摄像头与实验相结合， 必将丰富实验的内涵， 增强实验的功能， 将最大限度地发挥物理实验在物理教学中的作用，有效地激发学生学习物理的兴趣和动机，使学生参与物理教学意识更强，对物理概念现象的理解更深刻，有效促进物理实验教学的改革，完善和优化物理实验教学，提高学生的整体素质。
【参考文献】
[1]陈泽武. 巧用摄像头破解演示实验的难点[J]. 中学物理教学探讨，2007年第4期.
[2]王涛. 多媒体信息技术与高中物理教学整合的优势与不利因素[J]. 中国信息技术教育， 2011年第8期.
基于摄像机的应用 篇12
目前, 线性摄像机标定技术的研究集中在如何有效地、合理地确定非线性畸变校正模型的参数上[7]。本文采用的算法全面考虑了径向畸变和切向畸变, 通过建立和求解超定线性方程组计算出畸变系数, 然后利用约束方程求解线形方程组, 来确定摄像机外部参数和内部参数。该算法全部过程采用线性方法求解全部参数, 不仅简单快捷, 而且没有非线性算法中可能存在的不稳定性, 实用性较强。
1 双目摄像机标定模型与原理
1.1 摄像机标定模型
如图1所示, 计算机图像坐标系o0uv, 坐标系原点在图像左上角, 以像素为单位。图像平面坐标系o1xy, 原点位于摄像机光轴与图像平面坐标系的交点, 利用透视变换原理可知, 该原点与图像平面的几何中心重合, x轴平行于u轴, y轴平行于v轴。o1点在坐标系o0uv中的坐标为o1 (u0, v0) 。摄像机坐标系是以摄像机光心o为原点的坐标系, 记为XcYcZc。oo1之间的距离为摄像机的焦距f。P点为空间点, 在摄像机坐标系中的坐标为 (XcYcZc) 。P点与图像坐标系的交点为P′, P′点在小孔摄像机模型下的图像坐标为 (xu, yu) , 由透镜畸变引起的实际图像坐标为 (xd, yd) 。
摄像机标定包括四个坐标系之间的转换:即计算机图像坐标系、图像平面坐标系、摄像机坐标系和基准坐标系 (世界坐标系) 。
(1) 计算机图像坐标系与实际图像坐标系之间的转换:
su、sv分别表示x、y轴方向上单位长度上的像素点数。
(2) 像平面坐标系与摄像机坐标系是中继坐标系, 在小孔摄像机模型下, 由共线方程可得两者之间的关系式:
(3) 摄像机坐标系与世界坐标系之间的转换关系可以用旋转矩阵R和平移向量t来表示, 世界坐标系记为XwYwZw。其关系式如下:
(4) 畸变模型:图像坐标系中实际图像坐标与理想图像坐标之间的转换关系:
主要的畸变误差类型有两种:径向畸变和切向畸变, 其中径向畸变是关于摄像机镜头主光轴对称的, 其数学模型[8]为:
式中:rd2=xd2+yd2, k1为径向畸变系数, (δxr, δyr) 为径向畸变坐标。切向畸变不是关于摄像机镜头的主光轴对称, 其数学模型[9]为:
式中:k2、k3为切向畸变系数, (δxt, δyt) 为切向畸变坐标。所以得到总的畸变模型:
1.2 双目摄像机标定模型
双目立体摄像测量系统与单目摄像测量系统的一个主要区别是, 除了每个摄像机的内部参数需要标定之外, 还要精确确定两个摄像机之间的相对位置。如图2所示 (这里未画出畸变效应) , 选定左摄像机作为世界坐标系。左、右摄像机相对于世界坐标系的旋转矩阵分别为R1、R2, 平移向量分别为t1、t2, 则两摄像机相对位置关系式[10]:
R21表示从右摄像机坐标系到左摄像机坐标系的旋转矩阵, t21表示从右摄像机坐标系到左摄像机坐标系的平移向量。
2 摄像机参数标定
需标定的参数为旋转矩阵R1, 平移向量t及三个畸变系数。本文提出的方法是通过求解线性方程组, 先计算出三个畸变系数, 再根据约束条件计算出旋转矩阵R, 最后求出平移向量t, 具体推导如下:
式 (5) 得:
(1) 求畸变系数:由式 (5) 可得到:
对于每一个标定点, 当已知其理想图像坐标及相应的实际图像坐标时, 可以列出一个如上的方程式。通过解超定线性方程组就可以得到k1、k2、k3。
(2) 求解旋转矩阵R和tz/f
将式 (7) 中等号右边的分子分母同除以tz/f, 令m=tz/f, X0=ftztx, Y0=ftzty[5], 其中X0和Y0是不考虑镜头畸变时, 三维世界坐标系的原点在图像坐标系中的投影, 通过整理即可得到以下矩阵形式的方程:
对每一个标定点, 当已知其三维坐标时就可以列出一个如上的方程, 式 (9) 中, 列向量的各个元素为未知数, 取6个标定点, 通过求解线性方程组, 可以计算出方程中的6个未知数, 但是为了使总误差减到最小, 取的标定点应该多于6个点, 按照最小二乘法[11]解出列矩阵。然后根据R中的矩阵约束条件, 进一步解出旋转矩阵R和m。
(3) 求解平移向量tx, ty
式 (7) 通过整理可得:
求解超定线性方程组就可以得到tx和ty。
(4) 求平移向量t和焦距f
由式 (7) 整理可得:
其中:M=r11Xw+r12Yw+r13Zw+tx, D=r21Xw+r22Yw+r23Zw+ty, N=r31Xw+r32Yw+r33Zw, 解以上线性方程组就可得到tz和f。
3 实验结果
双目立体测量系统实验设备:采用3 264×2 448像素的摄像机, 标定模板是一块具有20个同样大小方格的平面标定板, 大小为100 mm×80 mm, 如图3所示。利用Canny算子进行角点提取特征点, 并用Matlab实现。
(1) 标定实验
标定实验时, 手持标定板至少把标定板摆放在两个不同的位置, 在两幅图像中获得多于6对特征点, 最后得到左摄像机标定参数:
右摄像机标定参数:
左右两摄像机相对位置关系标定参数
(2) 将空间坐标点的实际空间坐标值与恢复后的三维空间坐标值进行比较, 利用绝对误差来表示实验精度, 如表1所示 (部分实验数据) 。
Xw、Yw表示真实三维坐标, X、Y表示标定后的三维坐标, 单位为mm。
本文提出的标定方法全面考虑了透镜的径向畸变和切向畸变, 当切向畸变较大时, 该标定方法的精度明显高于鲁新国等[5]提出的线性摄像机标定技术。文章的标定方法完全采用线性方法求解摄像机参数, 实验证明, 打接地孔[5], 这种接地方式屏蔽效果最好的。
串音现象在硬件系统中是难以完全消除的, 只能设法减小。本文只列出四种影响串音的因素, 实际上影响串音的因素很多。通过对这些因素的仿真分析, 可以得到如下几种减小串音的方法:
(1) 用平面作为返回路径, 尽量不要跨分割平面走线。
(2) 在布线空间允许的条件下, 尽可能增加信号线之间的间距。一般使线间距大于线宽三倍以上。可以使串音控制在5%以内, 这是个经验法则。
(3) 如果串扰要求严格, 信号隔离度要求比较高时, 可以采用信号线中间防护布线, 但是一定要在保护线两端或者整条线有多处接地孔。
(4) 尽量减小信号线的耦合长度。
(5) 良好的阻抗匹配可以大幅度减小串扰反射。
(6) 使用介电常数低的基板, 使用较小介电常数的材料可以使布线间距相同时的串扰减小, 或者对相同的串扰指标可以使其布线间距更小[6]。
摘要：利用透视变换原理建立双目立体摄像机数学模型, 全面考虑了镜头的径向畸变和切向畸变, 提出一种线性求解摄像机参数的标定方法, 改变了以往的摄像机标定依赖于非线性优化的缺点, 避免了非线性优化的不稳定性。该标定方法在单摄像机模型的基础上, 加入对双摄像机相对位置的确定, 通过成像过程中坐标系之间的转换, 较好地实现了双目立体摄像测量系统的标定。
关键词：摄像机标定,双目立体摄像,镜头畸变
参考文献
[1]CHANG C C, JI Y F.Flexible videogammeric technique for three-dimensional structural vibration measurement.Journal of Engineering Mechanics, 2007, 133 (6) :656-664.
[2]HU Jiuxiang, RAZDAN A, ZEHNDER J A.Geometric cal-ibration of digital cameras for3D cumulus cloud measure-ments[J].Journal of Atmospheric and Oceanic Technology, 2009, 26 (2) :200-214.
[3]SALVI J, ARMANGUE X, BATLLE J.A comparative re-view of camera calibration methods with accuracy evaluation[J].Pattern Recognition, 2002, 35 (6) :1617-1635.
[4]邱茂林, 马颂德, 李毅.计算机视觉中摄像机标定综述[J].自动化学报, 2000, 26 (1) :43-55.
[5]鲁新国, 王琰, 杨大为.基于计算机视觉的线性摄相机标定技术研究[J].沈阳理工大学学报.2007, 26 (5) :43-46.
[6]陈利红, 毛剑飞, 诸静.CCD摄像机标定与修正的简单方法[J].浙江大学学报 (工学版) , 2003, 37 (4) :406-409.
[7]高立志, 方勇, 林志航.立体视觉测量中摄像机标定的新技术[J].电子学报.1999, 27 (2) :12-14.
[8]TSAIRY.An efficient and accurate camera calibration tech-nique for3D machine vision[J].IEEE Transactions on Pat-tern Analysis and Machine Inteligence, 1986.364-374.
[9]WENG Y, COHEN P, HERNIOU M.Camera calibration with distortion models and accuracy evaluation[J].IEEE Transactions on Pattern Analysis and Machine Intelligence, 1992, 14 (10) :965-980.
[10]张辉, 张丽艳, 陈江, 等.基于平面模板自由拍摄的双目立体测量系统的现场标定[J].航空学报, 2007, 28 (3) :695-701.
【基于摄像机的应用】推荐阅读：
摄像机的标定06-08
摄像机使用的几个技巧09-04
基于手机的移动支付应用现状和发展建议06-05
基于分布式层次模型的诊断技术研究与应用05-16
高速摄像机06-02
智能摄像机08-13
硬盘摄像机09-15
监控摄像机09-20
摄像机自标定06-19