虚拟在线包装系统（共7篇）
虚拟在线包装系统 篇1
虚拟在线包装系统越来越多地应用于电视台日常节目制作中, 为丰富2013年江苏卫视跨年演唱会节目形式, 提高节目观赏性, 再次使用维斯虚拟在线包装系统来包装演唱会的开场环节、抽奖环节、歌曲开场环节与倒计时环节。本次演唱会共使用了4种跟踪设备, 分别是虚拟摇臂、虚拟三脚架、Ross机器人和Camerobot。4个机位的跟踪设备获取摄像机动作参数后, 提供给渲染引擎后计算生成实时三维场景动画, 然后与摄像机的拍摄信号在渲染引擎中进行合成, 形成合成信号提供给转播车系统, 导播根据分镜头创意切换所需镜头。接下来就介绍本次跨年演唱会虚拟在线包装系统的搭建与调整。
一虚拟在线包装系统工作原理
1. 虚拟在线包装系统原理
虚拟摇臂、虚拟三脚架、Ross机器人和Camerobot上的摄像机进行背景信号的拍摄, 此时4台摄像机会做出一系列的动作 (摇/摆/俯/仰/推拉/聚焦/移动等动作) 。承重设备及其镜头参数编码器捕捉摄像机的摇/摆/俯/仰/推拉/聚焦/移动等动作参数并传递到数据盒中, 从而得到摄像机所有位置讯息的一个组合数据流。
数据盒通过RS-422数据协议将摄像机所有位置讯息传送到虚拟前景三维渲染引擎Viz Engine并映射到设计好的三维场景中的虚拟摄像机上, 渲染引擎分别实时渲染出已经获得摄像机动作参数的虚拟摄像机拍摄到的三维虚拟场景画面。实时渲染画面与摄像机拍摄的背景画面叠加, 生成合成的渲染画面, 提供给视频系统。
演播室控制端VCP会在节目开始前将所需要的所有场景载入到Viz Engine的内存中, 控制端通过局域网连接4台Viz Engine, 同时控制场景的上下, 通过对应的可定制的控制模板对场景中的互动物体进行控制。
2. 虚拟摄像机跟踪系统原理
虚拟摄像机跟踪系统在摄像机移动过程中需要获取精确的摄像机位置来锁定前景信号和计算机生成的背景信号。近些年来虚拟摄像机跟踪系统从获取镜头参数与云台俯仰与水平转动角度参数的二维跟踪发展到增加摄像机位置参数的三维跟踪系统。
(1) 系统原理
各种摄像机动作参数获取设备获取一系列参数, 传递给数据盒生成支持相应协议下的串行数据信号或者网络信号给计算机, 计算机根据摄像机动作参数计算生成相应的背景信号。
(2) 设备组成
虚拟摄像机跟踪系统的设备组成见表1。
镜头参数编码器、承托摄像机云台、虚拟摇臂臂伸云台、虚拟支架所获取的参数传递给数据盒, 由数据盒处理成RS-422串行数据信号或者网络信号给计算机。数据盒需要提供直流电源和BB同步信号。
(3) 跨年演唱会使用的3种虚拟摄像机跟踪系统
a.固定机位
固定机位云台获取pan与tilt参数, 镜头编码器获取镜头的focus与zoom信息, 经过数据盒的计算后再通过D型9针的DB头用RS-422协议将数据传给Vizrt引擎。
b.虚拟摇臂与机械臂机位
虚拟摇臂的跟踪数据的获取, 和固定机位的数据获取一致, 它有两个云台, 一个固定在摇臂的脚架上, 另一个用来固定在摄像机下面。固定在脚架上的云台, 它里面的传感器用来获取摇臂臂伸的pan、tilt, 而固定在摄像机下面的云台, 它里面的传感器用来获取相对于一定臂伸状况下摄像机的pan、tilt参数, 固定在摄像机镜头上的编码器用于获取摄像机的focus、zoom参数。之后通过圆头8针的RS-232数据线将数据传给数据盒 (data server) , 经过数据盒的计算后再通过D型9针的DB头用RS-422协议将数据传给Vizrt引擎。
机械臂机位, 在它的摄像机云台, 镜头及运动关节上, 都有相应的数据采集传感器, 其将数据采集以后传到数据盒 (data server) , 然后使用Moxa卡将数据通过RS-422协议传递给Vizrt引擎。
c.Ross机器人机位
Ross机器人, 数据的采集原理和上述两种方式差不多, 其都是在运动关节上装有数据采集传感器来采集数据。机器人轨道有一段是弯轨, 数据采集传感器采集轨道上滚轮走过的一维线性距离来计算二维平面上的X、Z的关系 (Y表示高度) 。对于Ross机器人的跟踪数据, 它是通过网线来传送的, 使用网络TCP协议。
二跨年演唱会虚拟在线包装系统搭建
1. 虚拟在线包装系统图
虚拟在线包装系统图如图4所示。
2. 硬软件清单
以下是本次跨年演唱会虚拟在线包装系统的硬软件清单。
(1) 硬件清单
a.核心设备硬件清单
虚拟在线包装系统核心设备硬件清单见表2。
b.监看系统硬件清单
虚拟在线包装系统监看系统硬件清单见表3。转播车分别提供4路虚拟合成画面, 通过四画分方式集中显示在一块大屏上。转播车单独提供1路PGM信号给一台监视器作为虚拟在线包装系统的PGM画面监看。
c.BB信号视分设备
BB信号视分设备见表4。由于虚拟在线包装系统板卡不支持路由环出功能, 因此需要从转播车接出一路BB信号通过视分设备分别送至每个虚拟在线包装系统DVS板卡的BB输入接口。
d.数据盒硬件清单
虚拟在线包装系统数据盒清单见表5。
e.声卡硬件清单
声卡硬件清单见表6。虚拟三维场景设计中带有音效的设计, 为达到声画同步效果, 选择使用工作站实时输出音效, 但是HP Z800工作站自带声卡的音频输出不符合电视播出标准, 因此购置了两块专业声卡, 互为备份。
(2) 软件清单
虚拟在线包装系统软件清单见表7。
三跨年演唱会虚拟在线包装系统调整
1. 跨年演唱会使用的虚拟摄像机跟踪系统调整
(1) 虚拟摄像机定位方法
虚拟摄像机的定位需手动测量相关数值。其方法如图5所示。首先在场地内选择一个原点, 然后以舞台的水平面作为参考水平面 (即Y=0处) , 之后相对于原点用激光镭射尺测量出各个摄像机相对于原点的X、Y、Z值, Y值为摄像机到参考水平面的值 (即Y=0处) , 激光尺的测量精度为0.01厘米, 摄像机位置的测量值精度要求为1厘米 (如图6所示) 。之后每次关机以后的开机, 都需要重新对准原点, 再做镜头范围。
(2) 固定机位归零定位方法与步骤
固定机位归零定位方法与步骤如下:
●摄像机打开水平锁, 左右最大限度移动, 确保云台上两个白点左右交叉经过;
●摄像机锁紧水平, 打开俯仰锁, 上下最大限度移动;
●锁住俯仰, 确保摄像机水平;
●摄像机镜头对准原点, 镜头推进去, 焦点聚实;
●点击图中红色框中按钮, 在出现的界面中点击“Set Pan Tilt Roll Zero”按钮 (如图7、图8所示) 。
(3) 摇臂机位原点归零操作
按如下操作将摇臂机位原点归零:
●首先将摇臂脚架上的两个白点在摇臂前端重合, 转动脚架, 对准原点;
●将摇臂水平、俯仰锁打开, 左右、上下最大范围移动, 运动过程中确定两白点交叉;动作结束后两白点重合, 对准原点;
●将摄像机云台俯仰锁打开, 左右、上下最大范围移动, 运动过程中确定两白点交叉;动作结束后两白点重合, 对准原点;
●确保摇臂两点重合、摄像机云台两点重合与原点在同一条直线上;
●和固定机位定位方法相同, 点击Set Pan Tilt Roll Zero按钮;
●摄像机自动回归原点。
(4) 虚拟机位镜头范围确定方法及步骤
点击CAM1的红色框中按钮 (如图9所示) , 将摄像机上镜头Zoom、Focus调到一边, 点击图10中“Reset Lens Limits”。将镜头Zoom和Focus调节到另一边, 点击图11中的按钮。若显示如图12所示, 则表示镜头范围确定正确。
2. 虚拟机位数据盒BB信号或者模拟信号提供
由于转播车Ikegami 79EXⅢ摄像机机头只选买了两路路由, 即一路为高清路由, 一般接高清本机信号;一路为模拟路由QTV, 一般接PGM模拟信号用于提供现场PGM监看。鉴于路由数量有限与减少放线工作量前提下, 我们决定将QTV选接入虚拟合成信号。通过转播车送一路模拟BB信号至场馆内, 然后通过视分将BB信号分别传送到四个虚拟机位的数据盒。
3. 播出方式的选择
虚拟在线包装系统的最终视频输出有两种方式。
(1) 填充信号+键信号方式
虚拟在线包装系统输出V (填充信号) 与K (键信号) 接入转播车系统, 转播车通过键配置方式将虚拟三维动画合成到虚拟本机信号上, 从而实现该种虚拟在线包装系统播出方式。这种方式相对来说比较安全, 但是由于路由太多, 转播车系统规模无法满足这种播出方式。而且选择这种方式播出还需要增加延时器, 因为虚拟合成信号滞后于本机信号。
(2) 本机信号与虚拟渲染后画面合成最终画面播出
虚拟在线包装系统将本机信号与虚拟渲染后画面合成后输出, 接入转播车系统作为外来信号源进入转播车切换台与矩阵, 从而实现该种方式的虚拟在线包装系统播出方式。这种方式仅仅占用转播车系统4个路由, 不需要延时器, 延时量在2~3帧, 在大景别画面下处于人眼容忍范围。因此本次跨年演唱会选择本机信号与虚拟渲染后画面合成最终画面播出方式。
4. 返送信号处理
(1) 固定机位
对于固定虚拟机位, 转播车系统RET1的源信号为PGM信号, 将RET2信号选择为固定虚拟机位合成信号, 然后摄像通过选择RET1与RET2选择监看虚拟合成信号或者PGM信号。
(2) 其他特种机位
虚拟摇臂、Ross机器人、Camerobot则通过转播车基站经便携式下变换器将虚拟合成信号下变换成模拟信号接入QTV接口, 在摄像机QTV接口接出一路虚拟合成信号给监视器提供给摄像监看, 再从现场接一路PGM信号给另一台监视器提供给摄像。摄像机本机信号接入高清监视器作为本机信号监看。因此每个机位需要提供3台监视器, 分别监看虚拟合成信号、PGM信号和本机信号。
四跨年演唱会虚拟在线包装系统总结与改进
1. 转播车方面
转播车摄像机机头最好选购4路路由, 分别可提供BB信号、本机信号、PGM信号、虚拟合成信号, 减少放线量, 也增加系统的安全性。
2. 虚拟在线包装系统方面
(1) DVS卡视频输出接口
虚拟在线包装系统的DVS板卡需要提供两路虚拟合成画面的输出, 一路提供给转播车, 一路作为监看使用, 而不是从转播车重新再分出一路虚拟合成信号给虚拟监看用, 转播车系统路由在大型节目录制过程中会非常紧张。
(2) DVS卡BB信号环出功能
DVS板卡最好能够支持BB信号环出功能。减少视分设备, 提供系统安全性。
(3) 数据盒电源
现场数据盒最好提供电池功能 (电池续航能力能够覆盖整场晚会时间) , 因为现场很难提供一路与转播车相同电源品质的电, 给系统搭建带来诸多不确定因素, 影响系统安全性。
(4) 跟踪数据获取方式
若将跟踪数据的获取改成用无线 (WiFi) 的方式不仅可以减少系统的跟踪数据线的布线, 还可以解决场地过大数据线过长时信号的中继问题。
(5) 监视器
现场最好提供带电池的监视器, 减少取外电的机会, 提高系统用电安全性。
五结语
2013年江苏卫视跨年演唱会虚拟在线包装系统的搭建包括软件安装、视频板卡测试、视频线缆与串口线制作、虚拟机位架设、视频线串口线电源线铺设、虚拟机位调整、转播车系统级联等过程, 一共使用三天时间, 其间做了重新分配电源使用量、声卡热备份, 多放一根视频线缆作为冷备份等工作, 目的是提高虚拟在线包装系统的安全性能, 为节目创意人员提供稳定的系统环境。本次演唱会虚拟三维效果震撼, 达到了预期效果。
虚拟在线包装系统 篇2
与上届系统构造稍显不同, 此次转播车输出至在线包装渲染引擎的视频数量增加为6路, 达到系统单台渲染引擎的上限。而后, 在线包装系统内各台渲染引擎串行连接, 如图1所示。
从图1中可以看出, 在整体系统构成上, 本届《直通春晚》与上届基本一致。而在系统后台配置以及处理逻辑方面, 二者呈现出较大差异, 这体现在视觉元素和信息变换两方面。其中视觉元素由设计师负责呈现, 系统方面只需保证呈现结果与设计初衷一致即可。而在信息变换方面, 则不仅要保证系统安全性, 而且要兼顾信息更新的后台逻辑, 尤其是后台数据处理逻辑。加之直播节目对信息变换准确性和连贯性要求极高, 因此, 直通春晚后台系统运行是否符合预期关系重大。这就要求技术人员深入研究节目赛程赛制, 同时与模板设计师紧密配合、协调工作, 既使节目需求得以满足, 又能保障播出效率与可靠性。
赛制方面, 新的变化包括:
整体赛程分为综艺版和歌曲版两部分, 且综艺版和歌曲版在打分细则和呈现方式上均有不同的特点;
现场打分包括两部分, 即媒体评审和专家评审, 二者分别加以不同的权重计入最终结果。
赛制上出现的新情况不仅影响着图文模板样式和动画的制作方式, 也决定着后台数据结构和查询逻辑的工作难度。
在综艺版部分, 节目组提出, 当期晋级选手须和此前晋级选手重新排名, 取前五位形成新的晋级选手, 这一替换过程须与现场直播进程同步进行, 且图文模板动画要动态体现出后台数据库的信息更迭。因此, 在实现此需求的过程中, 我们设定了一个标志位, 来表示该代表队是否本期参赛。晋级结果产生时, 若此标志位为“1”, 即表示该代表队是本期新晋级的代表队, 此时图文模板即可开始信息更换动画。反之, 则保持不动。
在歌曲版部分, 节目组提出, 媒体评审和专家评审的票数权重不同, 投票分别统计, 而且节目组要求图文模板将二者结果使用同一动画进行自然过渡, 最终定格在二者相加之和。对此, 我们将媒体评审和专家评审的票数分别处理, 两位选手的柱图先升至较低票数的位置 (图3中min_result字段) , 再上升二者差值的高度 (图3中diff字段) , 稍作停顿之后, 再分别上升专家评审票数的高度 (图3中result1字段) , 这样就完成了节目组提出的动画制作要求。
从以上实际案例可以看出, 无论赛制和节目需求如何变化, 后台数据处理的适配可以通过以下办法实现:
将已知的非结构化信息录入到后台数据中;这些数据包括业已确定的选手信息, 如出场顺序、往期晋级名单等选手信息, 也包括头像路径等配置信息。新数据的意义在于设置足够丰富的基础信息, 供在线模板引用和判断, 据此实现节目意图;
利用现有数据构造新的数据;例如, 为形象地配合A、B两位选手的成绩PK, 将A、B的分数之差输出给图文模板, 由动画来依据此差值完成相应高度的动作, 借此实现一定的悬念效果。
前文所述变化及应对措施, 只是2012和2013两届《直通春晚》赛制上比较突出的新情况。事实上, 在直播过程中, 不同期节目之间也会出现不同程度的调整与修改, 随之可能出现各种意想不到的事件。相应的, 在线图文模板作为直播过程中信息传递的第一载体, 自然要按照节目组的不同需求进行适配。这不仅是制作层面, 更是整个系统成员调动各自智力支持的过程。
虚拟在线包装系统 篇3
一星空卫视在线图文包装系统介绍
1. 图文包装系统构成
星空卫视在线图文包装系统由网络设备、编单工作站、模板设计工作站及星空中国、星空国际、Channel[V]三个频道图文播出服务器构成。
(1) 网络设备
网络设备是整个系统的核心服务支撑部分, 由数据库、应用服务器及交换机等网络设备构成。为了便于统一管理和安全防护, 系统大部分都是通过以太网交换机实现互联互通。网络拓扑图如图1所示。
(2) 编单工作站
南洋协同编单系统做好节目串联单后将其发送到视音频播出系统及图文网络, 图文网络由外网服务端收取南洋发送过来的节目串联单。在图文网络系统分别设置了内外网服务端, 只有特定格式且合法的数据才能在两者之间传输。编单工作站接收到协同编单系统发来的节目串联单, 转化为图文字幕单。
(3) 模板设计工作站
通过模板制作工作站完成模板设计和制作。工作站中设计完成并审核通过的模板, 可以通过远程部署的方式, 推送到期望部署的频道图文包装播出服务器中。
(4) 播出控制工作站和图文包装播出服务器
星空大陆、星空国际、Channel[V]三个频道图文包装播出服务器, 通过以太网接入到网络平台中, 在平台工作流引擎的协同下, 实现与平台的交互和制播业务, 模板设计工作站制作完成的模板通过播出控制工作站的控制指挥图文包装渲染设备完成最终图文播出。
2. 外部接口、保持同步——图文播出网络与协同编单系统
图文播出网络与南洋协同编单系统之间的数据接口定制开发, 南洋协同编单系统通过Web service推送到图文网络, 在图文网络这边会提供一个Web服务接口地址, 节目串联单发送过来后会被放在一个特定的文件夹下, 图文系统程序会实时地去刷新这个文件夹, 一旦发现串联单, 程序会查询数据库是否有这个串联单。如果数据库中没有相应的串联单, 则创建这条串联单;如果数据库中已存在这个串联单则程序会去比对两者之间数据是否一致, 如果不一致覆盖原有的串联单, 反之则不作处理。如此反复进行, 接口程序通过这种机制与南洋协同编单系统之间的节目串联单保持同步。
3. 方便快捷、精准匹配——图文字幕编排在协同编单系统完成
利用协同编单系统作为播出节目信息的核心枢纽, 与播出系统对连, 并提供图文单驱动图文在线包装系统。图文字幕的编排工作整合在协同编单系统中, 只需要在编协同编单的节目单时, 加入相应的字幕内容, 之后直接发送到播出, 无须另作字幕的编排。使用节目单的导入可自动生成跟随节目的字幕单和文件导入或调用接口导入, 支持同步改动可实现多人协同编单, 多人可同时编辑各频道播出单也可多人分时段编辑同一播出单。编单时可对模板素材信息进行访问, 模板场景名称、场景状态名称皆可替换, 也可访问数据表 (数据池) 信息, 用于替换的图片、视频文件名称。
以下是各种模板的编排方式:
CB (Channel Bug) , 即台标, 需要在节目播出过程中一直上 (包括广告和宣传) 这类模板, 在每一个节目段的开始“转”一下, 其他时间叠放静态的logo。CB类模板播出时间在编单系统中是默认加上的, 播出内容根据频道的不同上各自的台标;
PB (Program Bug) , 即节目角标。每一个节目播出时上, 而在广告和宣传播出时不上, 如电视剧名 (电视剧开始后1分钟后) 。PB类模板需要根据栏目的不同上对应的模板, 播出内容按照编单中的信息指定, 模板的播出方式和时间, 从图文的编单客户端来配置;
MB (MV Bar) , 此类模板在MV开始后的10秒上, 播出10秒下;在结束前20秒再上一次, 同样播出10秒。MB类模板根据歌曲的风格上对应的模板, 模板的播出方式和时间, 从图文的编单客户端来配置, 播出内容根据编单系统从RCS中获得信息自动匹配;
HC (Horizontal Crawl) , 即走马灯, 根据节目的需要上。HC类模板根据节目的需要上走马灯, 模板的播出方式和时间在编单系统里编排, 播出内容同时需要指定好相应的文本文件;
VB (Vertical Banner) , 即节目预告类模板, 在节目分段的最后一段倒数1/4时间上, 或者倒数3分钟时上。可以预告下一个时段或下几个时段的节目信息, 包括栏目名称和栏目简介, 例如电视剧主演、栏目嘉宾等等。VB类模板需要在节目预报的节目中上, 添加需要预报的节目内容, 并且选定和字数相对应的模板。
以上所述的“从图文的编单客户端来配置”只需配置一次。下面是配置文件的内容:
4. 制作更新、部署发布——素材模板在设计工作站应用
下面以星空中国的PB类型模板为例.详细介绍一下模板更新过程。
(1) 模板素材摆渡技术
星空卫视图文播出系统通过摆渡技术接收办公网发来的模版素材。USB摆渡技术将办公网和图文播出系统隔离开来, 实现安全高效的文件传输。USB摆渡技术采用多种方式来保证图文播出系统和外部办公网数据交换的安全性, 使得病毒无法通过USB链路传入到图文播出系统中;采用高带宽USB、多链路负载均衡等手段, 保证在多层防毒处理的基础上传输素材的高效率。
(2) 模板素材制作和更新
模板设计工作站 (M5Designer) , 将摆渡进来的素材文件复制相应目录。使用M5Dstart工具集中的图片工具将TGA素材剪切成合适的尺寸, 对于TGA序列, 将其转换为M5IMQ动画文件。模板设计工作站 (M5Designer) 将素材制作成M5D文件。
(3) 模板发布
模板设计工作站 (M5Designer) “协同工作流引擎”, 将制作好的模板上传到数据库服务器, 并将模板发布。
(4) 模板部署
在播出控制工作站 (M5Dcontrol) 上, 在“项目列表”窗口, 选择“获取最新版本”。将最新模版部署在播出工作站上。
5. 互不干扰、方便应急——播出控制工作站播出图文包装内容
播出控制工作站 (M5Dcontrol) 调用图文播出单, 连接3个星空频道图文包装播出服务器实现播出图文包装。播出控制工作站与编单工作站分离。图文播出单通过网络发送给播出控制软件。互不干扰, 利于使用也利于安全。在图文播出控制软件上可根据图文字幕播出在屏幕的区域分别显示, 方便播控快速处理突发事件。也可随时停止或恢复单条字幕的播出, 也可随时停止或恢复某一区域的字幕的播出。一键清屏功能, 瞬间停止所有图文播出, 方便灵活应急。
二结语
虚拟在线包装系统 篇4
财经在线包装系统通过在播出串联单中增加图文内容的编排,完成全天包装版面的制定。包装版面中的信息包含股票行情数据和资讯数据两大类。系统可自动调用行情数据、短信数据等自动播出,同时也可手动插入资讯、图片,视频等信息播出。
目前第一财经图文播出只覆盖直播时段,播出工作站直接读取各个数据源数据进行播出。这种方式,由于受到网络环境的限制较多,故在实际播出中容易产生播出卡轮、数据延时较多等现象,这是由于数据入库有延时,播出工作站读不到数据造成播出动画无法完成所造成的。所以在新的系统中,需要建设一个数据缓存库,以避免此类现象。
一数据缓存库设计方案
目前财经各数据源结构相对松散,不利于使用数据的安全和再利用,所以对整个数据源部分做一个整合。提出一个数抿缓存库的概念,以整合行情、短信、资讯、图片视频等信息的存储入库。数据缓存库可作为财经频道各类数据的一个统一的平台发布,满足各种需求。数据缓存库模型如图1所示。
1.方案具体设技思路
数据缓存库是整个在线包装系统的核心,主要包含三部分的数据,如图2所示:
串联单:包括接收到的播出串联单、节目代码表格,数据库和程序运算处理后的图文播出表;
·股票数据:包含行情类,走势数据K线,排行数据等几种不同结构形式的高频率更新数据表,同时这些表格也是作为缓存数据,保存在数据库中备用应急;
·资讯数据:包含短信、新闻资讯等不定期、定时更新的数据,通过外部接口导入,在本地只做对应的缓存和节目匹配。
(1)串联单数据处理方法
频道节目播出串联单是将节目、包装模板信息、行情数据、资讯插入信息等有机结合的主线。节目号是匹配上述信息的唯一标识。编单工作人员根据频道播出计划安排,编排出全天节目播出串联单,并对每条节目配上相应的图文信息,每一条图文信息包含每个场景的类型,起止时间。如图3所示。
编辑完成的串联单以XML的文件方式传输到播出端的接口服务器并入库,由接口服务器转换为傲威播出格式的图文播出单进入自动播出系统。同时,接口服务器将接收到的XML信息写入资讯端的数据库。
串联单XML文件结构如下:
串联单XML文件在导入数据库时,会拆分成2个表:Action图文表与Programs播出表。系统会将串联单中节目的图文信息进行检索,当遇到相邻节目图文信息相同时,图文信息即可合并生成相应的图文播出单。如图4所示。
Action图文表与Programs播出表样式截图见图5。
Action表中Id字段为系统内导入图文模板时,自动生成的对应号,在整个数据库中唯一,这个Id用来标记图文模板的操作编号。比如模板库中目前仅有5个模板,那么次action表中就会根据串联单调用情况,生成10条记录,此10条记录主要包括5个模板每一个的上屏与下屏操作,Name字段为具体执行内容,Template字段为具体图文模板名称。如果图文模板增加至6个,那么此表将会自动变为12条记录。
由于图文模板同时有进场与出场动作,所以每次增加为2的倍数。
播出programs表截图如图6所示。
Programs表中Id字段不同于其他表中Id,具有唯一性,即每一档栏目均有自己在数据库中对应的记录位置。具体格式为SID+播出日期+播出时间+随机4位字母。
Programes表主要用来记录节目的具体信息。同时根据ProgramId排序和归类,最后通过ProgramId与图文播出Schedule表连接,获取PlayData (播出日期),StartTime (播出时间),Endtime (结束时间),精确到毫秒。
Action表与Programs表经过后台处理生成Schedule表,截图如图7所示。
在Schedule表中,第一栏Id为唯一标识,与其他表Id没有直接关系,每条图文播出记录都有对应的ActionId和ProgrameId,每一个图文操作(上屏,下屏)都对应到Action表中特定的操作。即Schedules表中的ActionId其实就是告诉播出程序,该行操作调用Action表中哪一个图文模板进行操作。因为考虑到数据库结构与数据冗余的因素,将Action表独立出来,没有直接与xml表混合导入。否则每一条节目背后都会产生大量关于图文模板的字符串信息,当播出记录长年累积后,这些非冗余数据产生的物理存储空间会非常大,而且对数据库设计来说,并不合理且增加负担。
另外当多档节目连续使用同一个模板时,在ScheduIes表生成前,会自动处理合并,并将相同图文模板的播放时间累加。如果相同图文模板之间存在广告(无图文模板)或者别的节目模板,系统都能够自动判断,分割好图文播出的顺序。
总的来说,每条Schedules记录都需要通过ActionId个ProgramId与Action与Programs两张表相连接。从Action表中获得执行什么操作,而从Programs表通过ProgramId匹配获得播出时间。
(2)股票行情数据结构
行情数据直接读取财经数据中心存储过程,5秒更新一次。更新的数据覆盖上一个周期的数据。若网络等出现问题,此前周期读取的数据不做清空。
行情数据形式如图8、图9、图10所示。
K线走势数据:股票代码CODE,股票名称NAME,最高价MAX_PRICE,最低价MIN_PRICE、开盘数据OL_STRING、高低数据HL_STRING。
播底条数据:股票代码CODE、股票名称NAME、当前价格NOW、涨跌幅DVALUE、涨跌百分比PCENT、成交量AMOUNT。
个股行情数据:股票代码CODE、股票名称NAME、当前价格NOW、涨跌百分比PRICELIMIT。
(3)短信、资讯数据插入形式
a.短信数据
短信数据通过连接财经短信数据库,每4～5秒进行一次数据刷新,由于短信数据库只保存当前节目播出的短信,所以每一次数据刷新时,缓存数据库都会先比对当前节目的programid号,然后对比当前ID与已经储存在缓存数据库中的短信与短信数据库的是否重复,如果不重复,那么将新短信添加到表中,并且programId定为当前节目的Id号,如果内容重复就忽略该条短信。
每条短信都根据日期与programId这两个字段作为标识。可以细化到某一天的某一档节目。
短信数据字段包含数据库内部编号ID、入库日期sdate、节目编号programid、content短信内容。
b.资讯数据
资讯部分数据通过资讯平台数据库接口获得,资讯主要包含的属性包括开始时间与结束时间。资讯内容是即时性的,所以每一条记录都通过使用播出程序的当前时间与表中开始时间和结束时间的区间做比较,若在时间区间里,那么对应的资讯内容,就会被播出程序播出。整张资讯数据表的主要字段是资讯开始时间Starttime与资讯结束时间Endtime。表中其他字段都是图文模板中对应的引出项内容,如图片,视频等素材都以物理路径加文件名的形式记录在这个表中,使用时由播出程序自动加载。文本内容则直接存储在数据表中,播出时直接匹配到引出项中。
最终播出时,播出程程序会根据资讯平台表中ratifystatus与infostatus两个字段先做出筛选,仅将通过审核,并且允许播出的内容传输到播出程序中。之后第二步筛选,会选择当前播出节目所对应的图文模板的资讯,然后再使用播出程序的当前时间去匹配资讯的开始结束时间区间,最终通过3次筛选,从所有资讯数据中,过滤出当前应播出的资讯数据。
资讯数据:模板名称Templatename,创建时间Createtime,节目编号programid,播出开始时间Starttime,播出结束时间Endtime,播出标记时间Currenttime,咨询数据库编号INFO_ID,对应图片素材文件名称Pic1,Pic2、Pic3、Pic4,对应文本内容Text1、Text2、Text3、Text4,对应播出文本时间Time1、Time2,Time3、Time4,对应播出资料标题Title1、Title2、Title3、Title4对应视频素材文件地址Vid1、Vid2、Vid3、Vid4,播出优先级infolevel,内部标记Flag,资讯播出状态infostatus,资讯审核状态ratifystatus,资讯标题TestTitle。
2,数据缓存设计创新点及优
(1)创新点
数据缓存库仅作为数据中转站,将播出使用的数据统一至此,各种数据类型皆可如DB2、MySQL或者ODBC等,由数据缓存库直接获取这些数据内容并统一为SQL格式数据。系统在播出时,直接从数据缓存库读取相关数据信息,避免了播出端与短信、股票和资讯数据库的直接联系,从而不受原数据库问题影响,可以有效避免播出卡轮等现象,保证播出数据的安全。且数据缓存库作为一个数据库服务存在,后台设有存储磁盘阵列保存库文件,以实现热备服务器切换时的数据延续,保证系统整体运行安全,具有一定的可扩展性和扩容性。数据接口图如图11所示。
(2)优点
a.与以往播出方式的比较,
以往播出形式:播出设备直接读取各个数据源进行播出。图文包装与串联单无关需手动执行,只能覆盖直播时段,非直播节目时段无法进行图文包装。如图12。
自动图文系统播出形式:播出设备不直接读取数据源,图文包装遵循串联单的主线,可自动完成图文模板切换播出,覆盖频道全时段播出。如图13。
b.主要区别与优势
如表1所示,数据缓存库的建立,改变了以往传统的播出形式,虽然数据部分可以存在2路(主备)或者多路的备份数据源。但是数据传输、更新产生的延迟以及网络故障,在播出设备与数据源直接连接访问的系统中,会直接影响到播出的质量。并且在多路播出设备同时访问同一数据源的情况中,数据库的压力是很大的。对于大量数据需要更新的播出系统,可能存在3～4秒内十几甚至几十次的访问和查询,并且可能因为重复数据的查询,浪费很多带宽资源与数据库系统资源。
烟条外包装在线检测系统的研究 篇5
关键词：烟条,工控机,数字图像处理
0 引言
作为国民经济的重要支柱产业,烟草业的发展对国民经济的发展具有巨大的促进推动作用,每年都可以为国家创造大量的税收和就业机会。而烟草行业的各种机械则是自动化领域中比较复杂的设备,特别是当今工业中广泛采用了流水线生产,自动化程度很高,生产速度加快。例如,一般一条生产线每分钟生产的烟条总数为40～60条,在这种快速的生产过程中,烟条的外包装就会出现不合格的产品。当前国内的生产线上普遍采用的方法是人工检测,依靠人眼的观察对外包装检测,在高速生产中,这样的方法既耗费人力,出错率又高。而从国外进口的系统设备又存在价格昂贵、配件价格高、维护及售后服务不能及时到位等问题。因此,开发在线的自动化检测系统就显得十分重要。
香烟条包的外包装在线检测系统是基于数字图像处理的。系统通过处理采集的图像,分析包装品质是否合格,对不合格的产品记录并进行处理,提高了产品的生产效率。本文介绍了系统的主要构成并重点叙述了端面的检测方法。
1 系统的总体结构
1.1 系统结构图
图1中CCD是丹麦Jai公司生产的CV-11型相机,而相机的镜头是日本Computar公司的百万象素16mm焦距的镜头。图中共有4个CCD,其中2个分别在条包的两个端面,如图1所示,而另外2个的位置垂直于条包的正表面(图1中未画出)。图像采集卡采用的是加拿大Coreco公司的PC2Vision图像采集卡,PCL—730是一款隔离数字I/O卡。SENSOR1、SENSOR2、SENSOR3、SENSOR4为两对欧姆龙公司的E3Z-T81型光电开关。
1.2 系统的工作过程
如图1所示,香烟条包由传送带传送,传送至光电开关传感器1和传感器2处时触发开关,CCD采集图像并通过图像采集卡把图像传送至工控机,此时工控机得到了将要处理的图片。工控机中的上位机软件将采集来的图像进行处理分析,判断出条包的外包装是否合格并记录处理信息,以方便产品数据管理。条包继续前行,触发传感器3和传感器4,若此前的处理结果为不合格,则工控机传递给PCL—730打开气阀的信号,气阀把不合格的烟条剔除。合格的产品则进行装箱入库。
2 主要工作设备
2.1 相机的选型
a) 分辨率的选择:需要检测的条包尺寸为290mm×90mm×50mm,要求检测烟包的两个侧端面和一个正端面。检测精度要求为0.18mm。对于侧端面,按照0.18mm的精度要求可计算需要相机的分辨率为:90mm/(0.18mm/pixel)=500 pixel; 50mm/(0.18mm/pixel)=278pixel。以上计算得到的为最小分辨率,实际选型时必须考虑相机无效行,并且因条包的小范围位置变化而留够视场余量;
b) 扫描方式的选择:由于烟包为运动物体,必须选用逐行扫描相机,防止隔行扫描相机造成的奇偶场重影问题;
c) 曝光时间的选择:系统传送带的速度为2m/s,按照曝光时间内物体运动不超过1pixel的原则,在曝光时间内条包运动的距离必须小于0.18mm。则最大曝光时间为:0.18mm/(2000mm/s)=0.00009s。综合以上三方面的考虑,选用Jai公司的CV-A11相机。
2.1 PCL—730板卡
PCL—730是一款隔离数字I/O卡,该卡提供16路隔离数字输入和16路隔离数字输出,隔离通道适合工业环境应用。PCL—730由I/O通道接通气阀开关,在产品不合格的情况下打开开关,将不合格的条包剔除。原理图如图2所示。
3 软件设计
3.1 算法原理
本系统是基于数字图像处理,依靠图像处理的结果对香烟条包的外包装进行检测,详细介绍一下端面的图像处理方法。通过图像采集卡得到的香烟条包的端面图片如图3。端面图像的主要是检测四道折线以及包装纸是否出现褶皱。
由于采样图像的大小为648×492,如果是对整幅图像进行处理,那么算法耗费的时间就会很长,无法满足在线检测的要求,所以我们在折线及褶皱检测中应用了对区域划分。在图像的敏感区域设置矩形,对此区域进行处理(图4)。对于褶皱处理,如果透明包装纸比较平滑,图像象素的灰度值变化就会很平缓,其灰度均方差都比较小。经过大量的数据统计,我们将阈值设置为9,统计均方差小于9的说明褶皱较少,产品合格。
对于折线,如果折线存在并且角度在允许范围内,则折线合格。折线检测是系统中比较复杂的部分。
选用的感兴趣区域如图4(a),其他折线的情况与此相同。原始的图像是256色位图,为了检测出折线,我们首先对图像进行了Gauss滤波去噪声,然后进行阈值变换。fHighThr和fLowThr分别代表阈值变换的高值和低值,它们的取值如式(1)式(2)所示:
fLowThr=(float)(average-2×Variance) (1)
fHighThr=(float)(average+1.8×Variance) (2)
其中average和Variance分别代表图像的灰度平均值和方差。阈值变换的方法如式(3)所示,
undefined
(3)
阈值变换中,阈值的确定是整个变换最重要的部分,它决定了变换的成败。这里阈值的高值和低值及系数是经过大量的试验得出的,这样确定的阈值能最大程度地保留需要的信息而且摒弃干扰。因为图像处理是面向问题的一种方法,所以对不同的香烟品牌,需要调整阈值的大小。式(1)式(2)中的阈值是运用在许昌卷烟厂生产的帝豪香烟上的。
图4(b)显示了经过阈值变换后的图像。我们对变换后的图像进行轮廓提取,提取后的图像如图4(c),然后我们对图4(c)进行Hough变换以提取折线。Hough变换是一种形状匹配技术,运用两个坐标之间的变换来检测平面内的直线和规律曲线。这里我们用Hough变换来获取端面图像的折线。
我们对Hough变换做改进。一条直线以y=mx+b可用极坐标表示为r=xcosθ+ysinθ,考虑一个以参数r和θ定义的二维空间,x、 y平面上的任一直线对应了该空间上的一个点。因此x、 y平面的任一直线的Hough变换是r,θ空间内的一个点。现在考虑x、 y平面内的一个特定点(x1,y1),经过改点的直线由很多,每一条都对应了r,θ空间内的一个点。但这些必须满足x1、 y1作为常量时的等式(4):
r=x1cosθ+y1sinθ (4)
这个等式是r、 θ空间上的一个正弦曲线。所以x、 y平面内的n个共线点对应了r、 θ空间的n条正弦曲线,而它们的交点(r0,θ0)就是这n个共线点所对应直线的极坐标。我们先将(r,θ)平面离散化,建立响应的计算矩阵P,对我们阈值变换后图像上的每一个非零点建立方程
r=xicosθ+yisinθ (5)
将θ参数的每一个离散值计算r值,将相对应的计数矩阵P中的元素加1。对整幅图像实施上述算法,P中的值表示图像中满足该对应元素的以(r,θ)为参数的直线方程上的象素点。我们找出P中最大的值,它就代表了图像中最长的那条直线,该直线的参数就为(r,θ)。程序中,我们计算整幅图像,记录最长直线对应象素点的个数n以及角度θ。当象素点的个数n满足式(6)时说明折线存在,式中nWeight为图像宽度上的象素点数。
n>0.5×nWeight (6)
对于角度,若两个相交折线与水平线的角度θ1、 θ2互补,既满足式(7)则折线角度正常。
θ1+θ2=180° (7)
3.2 功能的实现
软件是在Windows系统下以Visual C++6.0为开发工具进行系统软件开发。本系统采用模块化设计思想。
a) 褶皱检测程序首先获得图像的数据:对整幅图像统计方差大小,对于不同品牌的香烟选择不同的标准值,然后根据基准值判断是否合格。检测褶皱的流程图如图5所示。
b) 对烟条折线的判断:检测系统首先把由图像采集卡PC2Vision传送的图像进行一系列的预处理。3×3Gauss滤波可以平滑图像,去除突变噪声。阈值变换和轮廓提取为Hough变换做了准备。因为Hough变换对图像品质要求很高,对于特征多,细节复杂的图像,Hough变换效果很差,往往检测不出我们期望的直线。所以这里对图像进行阈值变换和轮廓提取很重要,经过轮廓提取后的图像特征已经很明显,图像简单,为后面的Hough变换提供了良好的基础。Hough变换后,根据前面叙述的方法,我们可以得到折线的长度和角度,以此判断折线是否合格。此模块流程图如图6所示。
4 结束语
已开发的基于数字图像处理的烟条外包装检测系统,实现了对香烟条包外包装品质的检测。系统实现了在线检测,更符合实际生产要求。经现场检测,系统运行良好,程序执行正确率高,大大提高了工厂的生产效率,减小了工人的负担,有着很好的应用前景。
参考文献
[1]David A.Forsyth,Jean Ponce.Computer vision[M].PrenticeHall,Inc.,2003.
[2]Inside Visual C++[M].北京:清华大学出版社,1995.
[3]樊昌信,通信原理[M].北京:国防工业出版社,2001.
[4]赵松年.机电一体化系统设计[M].北京:机械工业出版社,2003.
虚拟在线包装系统 篇6
机器视觉又称计算机视觉, 是用计算机来实现人的视觉功能, 也就是用机器代替人眼来做测量和判断[2], 它是利用光电成像系统采集被控目标的图像, 经计算机或专用的图像处理模块进行数字处理, 根据图像的像素分布、亮度和颜色等信息, 进行尺寸、形状、颜色等的识别。这样就把计算机的快速性、可重复性与人眼视觉的高度智能化和抽象能力有机结合起来, 大大提高了生产过程检测的柔性和自动化程度, 节省了大量的人力, 提高了检验效率和确保产品质量。机器视觉技术包含光源照明技术、光成像技术、传感器技术、数字图像处理技术、机械工程技术、检测控制技术、模拟与数字视频技术、计算机技术、人机接口技术等相关技术[3], 是实现计算机集成系统的基础技术。因此, 我们尝试将机器视觉技术应用于药品包装玻璃瓶质量、标签、药液装量、包装批号等在线检测中, 以实现药品生产的快速、自动检测与控制。
1 在线检测系统构建
视觉传感系统的总体理论结构可用图1表示, 这是所有视觉传感系统的普遍原理及运行依据[4]。
图像采集可通过触发采集或连续采集, 把目标对象的光学特性变成二维信息的电信号, 然后经过数据采集卡或采集设备本身所带的取样和量化功能, 将其转化成数字图像。之后, 计算机对数字图像进行处理, 包括图像的预处理、图像增强、图像分割、特征提取等一系列步骤, 最后通过图像分析进行测量和判断。
1.1 系统硬件结构
基于系统理论结构的药品瓶包装在线检测系统应包括光源、图像采集单元、传感单元、图像处理及智能化操作平台以及剔除单元等。系统构成如图2所示。
图像采集采用CMOS数字相机 (DH-HV1302UM-T, 配镜头M3Z1228-mp) , 将完成生产线输送带上的包装瓶图像获取。根据药品包装瓶的规格, 光源采用200×200的LED背光红光光源。图像的获取采用触发抓拍方式, 检测元件为OMORN的E3Z-B61+E39RES, 这是一个反射型的触发器, 由光电触发器与反射板组成。图像采集单元获取的图像通过相机接口传输给图像处理平台, 由机器视觉软件进行处理运算后, 根据一些相关参数的计算和比对来判定是否存在差别并输出结果。
根据上述结构分析, 药品玻璃瓶包装在线检测系统结构布局如图3所示。当传送带3上的玻璃包装瓶在光源5和相机13之间通过时, 同时触发传感器, 使相机13抓拍图像并传输给监控操作系统11进行分析、运算, 并做出判断。而“不合格”瓶则被剔除机构10推入次品集瓶盘9, 实现瓶包装成品和次品的检测、分拣工作。
1.2 系统软件平台及结构
1.2.1 系统软件平台
检测系统软件平台由机器视觉软件和智能化操作平台组成, 其主要任务是分别对各硬件部分实现程序控制, 并实现硬件各部分的整合。目前广泛使用的机器视觉软件主要有HALCON、EVISION和XCALIPER等。本系统采用德国MVTec的HALCON8.0, 它是一个功能强大的机器视觉软件, 提供了一个全面的视觉处理库, 包括所有标准和高级的图像处理方法, 覆盖了从不同的硬件采集图像到高级的模式匹配算法。提供了机器视觉应用程序中通常所需的一些工具, 如Blob分析、形态学、模式识别、测量、数据分析等算法操作或分类等, 具有快速原型化和开放结构的重要特征, 可通过交互编程环境迅速开发机器视觉应用程序, 或加入新的算子来融合自己的视觉功能。所以, 研发重心在于:根据需要, 利用HALCON强大功能进行二次开发, 以实现不同目标的检测。
1.2.2 系统软件结构
药品瓶包装在线检测控制系统包括识别算法、用户界面和通信3个子系统, 分别完成检测识别、机械控制和通讯功能。系统软件基于Windows平台, 运用HALCON软件进行图形处理, 采用面向对象的VB语言编程, 对整个软件系统进行实时、协调规划处理。检测控制系统结构如图4所示, 分为参数设置、预处理、图像处理、智能判断、剔除、通讯和用户界面7个模块。
参数设置提供数据库数据文件的设置和存储操作;预处理模块按照设定的值完成初始化操作;数字图像处理模块完成实时采集图像的数字化处理;智能判断决策模块进行图像数据的比较和判断处理;剔除模块完成剔除工作的控制;通讯模块完成检测系统与上位机和数据库的双向通讯及统计数据的上报;用户界面采用图形方式, 为用户提供方便操作和统计显示, 便于用户在检测品种改变时及时更换参数设置值并增删或修改数据库[5]。
2 检测系统的应用
2.1 药液装量检测
药液装量检测实际上就是对瓶中液位进行检测。根据人的视觉原理, 有效的边缘是灰度值梯度变化最大的部分[6]。实践证明, 瓶子封口边缘与背景、瓶中液面与上方瓶身的灰度有显著的不同, 即可以对图像根据灰度跳变点进行测量。所以, 本系统采用HALCON灰度值形态学算法对实时图像进行分割处理和分析。其步骤如下:
(1) 图像采集与读取:在HALCON中调用open_framegrabber算子, 访问图像采集设备, 再调用算子grab_image进行图像采集, 并将采集的玻璃瓶图像存入HALCON图库中。然后, 调用read_image和dev_display算子进行图像读取和显示, 如图5所示。
(2) 获取测量区域:调用gen_measure_rectangle、dev_set_color和disp_rectangle等算子, 并赋以一定的参数, 以创建并显示一条竖向白色线段, 即测量区域。
(3) 查找边界跳变点:调用measure_pos、dev_set_color、disp_circle和measure_pos算子, 以执行沿线段查找相关灰度跳变点并显示为指定色点。
(4) 测量液位:调用measure_pairs、dev_set_color、set_tposition和write_string算子, 并进行一定的设置, 对灰度跳变“色点”进行测量, 以检测出玻璃瓶中液面相对位置, 从而获得液位状态信息, 并将结果显示于指定位置, 如图6所示。
(5) 判断决策:药液装量不合格在图像中表现为瓶中液面位置过低或过高。通过对液面相对位置的测量, 从而判断药液装量是否合格, 实现在线检测。如经过分析和比对, 判断出目标测量值与“理想”值不符, 则可做出决策, 并通过剔除机构对“不合格”瓶进行剔除。
2.2 药瓶批号检测
针对药品包装瓶数字批号的检测, 我们采用HALCON的OCR图像处理方法。OCR就是用于阅读和识别符号的方法, 它被定义成解释图像某区域的任务, 这些区域包括独立的字符, 因此我们可以用OCR对批号中的单个数码标志进行读取。
(1) 获取图像:同前, 调用open_framegrabber、grab_image、read_image和dev_display算子进行图像采集、读取和显示, 如图7所示, 并将采集的玻璃瓶图像存入HALCON图库中。
(2) 处理图像:采集后的图像首先要经过一定的预处理, 包括灰度值调整、滤波、填充缝隙、图像分割、去边缘毛刺等, 其目的就是为了使区域特征更加明显, 便于后续的批号数码判断操作。由于包装瓶图像的特点, 使灰度值调节较为困难, 致使整个图像区域的黑白效果相近而影响了数字特征的提取。而图像灰度的高阶特征反映了缺陷的微小细节、图像成像的曝光特性和噪声干扰等特性[7]。为此, 我们将数字部分隔离出来并进行旋转 (如图8) , 以降低图像灰度值调整的难度。然后, 调用threshold算子调节灰度值, 使数字特征变为明显。调整灰度后的数字图像仍有黑色杂影, 需采用数学形态学方法对其进行去噪处理[8]。为此, 调用fill_up_shape算子填充数字内部的黑色部分, 使图像数字特征更为明显;调用形态学算子opening_circle抑制杂波, 以对深色部分进行处理。实践中发现灰度值调整与填充缝隙及滤波需要相互协调才能满足在线检测的要求。旋转并去噪处理后的数字是水平排列的, 调用closing_rectangle1、connection、intersection、sort_region等算子并设置相关参数对水平方向字符进行合并、显示白色、分离、返回、相连、排列、显示等操作, 从而得到处理好的图像并显示出来, 如图9所示。
(3) 训练OCR:在软件系统中进行图像处理运算和判定, 就是将采集的实时图像与系统中的“模板”进行比对, 判断合格与否, 达到自动识别[8,9], 然后输出执行信号。“模板”的建立即训练OCR需通过准备训练文件、建立和训练OCR分类器两个步骤进行。其中, 定义数字串 (如Trainingnumbers:=[‘9', ‘9', ‘0', ‘1', ‘0', ‘2']) 与需检测的批号是直接相关的。
(4) 识别数字:识别数字的过程就是读取模板、处理图形、识别对象的过程。首先, 调用select_object、read_ocr_class_mlp算子选择和读取分类文件即“模板”。然后, 采用步骤 (2) 所述处理图像的方法对新的目标图像进行处理并显示。最后, 通过for循环及OCR中匹配度算子返回要求的匹配结果和匹配度。整个程序运行的结果如图10所示。
(5) 判断决策:经数字识别后, 匹配结果超出预设范围, 则可做出决策, 通过剔除机构剔除“不合格”瓶。
2.3 药瓶标签检测
检测药瓶标签状态就是要检测出药瓶标签的位置以及“标签值”是否为“0”, 这是一维测量。
(1) 图像采集与读取:同前, 完成相机的参数设置, 分别调用open_framegrabber、grab_image、read_image和dev_display等算子进行图像采集、读取和显示。操作中可以用set_framegrabber_param算子修改相机的曝光时间, 确定最清晰图像的曝光时间。
(2) 定义ROI:首先选取好一个感兴趣的区域 (ROI) , 修改Row、Column、Length1和Length2的值, 使所选矩形框包含所要测量标签的整个部分。然后选取轮廓线 (Profile Line) , 即在ROI内要测量的那条射线, 如图11所示。每一段射线的灰度值会被计算出来, 这些连续的灰度值被称为物体的轮廓。
(3) 选取成对的边:设置Threshole值, 使整个瓶标签都落在上下两个对边线 (一组) 之间, 如图12所示。
(4) 显示结果:当瓶标签在ROI区域的对边之间, 并且区间的灰度值“符合”设定范围时, 则系统软件将判断为“合格”, 如图13所示;而当ROI区域内无标签或标签超出ROI区域时, 则因指定区间的灰度值不“符合”设定范围而将被系统软件判断为“不合格”, 如图14所示。“不合格”瓶将被剔除机构剔除。
3 结语
根据GMP要求, 生产过程应防止双向污染, 应将人的介入因素降到最低程度。本文的创新点在于:将机器视觉技术应用于药品瓶包装检测中, 以机器代替人工完成检测、分类工作, 符合GMP要求, 实现了无接触式检测, 具有准确度高、速度快、检测结果客观等特点, 这在药品安全和检测精度上都对传统的人工检测有着重大的改进和突破, 而且更是新建了一种适于现场在线检测和控制的方法, 同时能够大幅降低检验成本, 提高劳动生产率, 并为操作者创造一个舒适的工作环境。
该检测系统体现的应用技术是药品生产企业实现计算机集成控制和数字化管理的基础技术。所以, 随着国内GMP的推广和深入、生产自动化程度和生产规模的不断提高以及用户对质量问题日益重视, 机器视觉技术将会在药品生产中得到更广泛的应用和发展。而由于机器视觉的介入, 药品生产自动化将朝着更智能、更快速的方向发展。
参考文献
[1]周夫之, 孙怀远.利用机器视觉搭建药品瓶包装检测平台[J].医药工程设计, 2008, 29 (5) :39～41
[2]赵杰文, 陈振涛, 邹小波.机器视觉实现方便面破损在线检测的研究[J].微计算机信息, 2007, 23 (10-1) :238～240方
[3]高潮, 任可, 郭永彩.基于机器视觉的裂纹缺陷检测技术[J].航空精密制造技术, 2007, 43 (5) :23～25
[4]高绍嵩, 范洪达, 魏宇.基于机器视觉的玻璃瓶检测系统[J].海军航空工程学院学报, 2006, 21 (2) :285～288
[5]周博文, 王耀南, 鲁娟.智能视觉检测平台的控制系统研究与开发[J].仪表技术与传感器, 2007, (8) :72～73
[6]余文勇, 殷实.基于视觉伺服的镭射膜在线纠偏系统[J].包装工程, 2007, 28 (12) :135～137
[7]贺鑫.小包烟包装质量机器视觉检测关键技术研究[J].包装工程, 2007, 28 (8) :102～105
虚拟在线包装系统 篇7
关键词：MVG,虚拟图文包装系统,三维图形场景渲染,虚实结合,机械传感跟踪
近年来, 虚拟演播室技术已经被越来越多的电视台以及行业用户所了解并使用, 基于蓝箱、绿箱的虚拟演播室系统已经较为普遍, 但虚拟技术的应用却远不止于此。传统的虚拟演播室的应用必须要依托蓝箱的环境, 虽然越来越多的电视台和电视节目制作都使用虚拟演播室, 但是也存在一定的局限性, 当我们在实景演播室中需要出现虚拟元素并且要求这些虚拟的元素跟随摄像机镜头的运动而运动的时候, 传统的虚拟演播室系统受限于蓝箱等诸多因素就不能满足使用的需求了。随着数字视频技术的日益发展, 一种利用Mask键信号功能, 单独采用机械传感跟踪方式, 修正定位操作, 结合虚拟演播技术、图形图像技术的改造, 兴起的虚拟图文包装系统, 即不需要蓝箱的“虚”“实”相结合的效果。彻底摆脱了蓝箱对虚拟演播室系统的约束, 可以将虚拟元素应用于各种各样的实景场地, 场景的造型灵活多变, 在低成本的情况下依然可以制作出绚丽的效果。可以广泛应用于新闻, 对话访谈、大型综艺节目、演唱会, 气象预报、户外体育赛事等等。
在这篇文章中, 我们就传统虚拟演播室技术, Mariana.VG虚拟图文包装系统及在浙江卫视的大型《直播钱江潮》系列节目中的应用做一下介绍。
一传统虚拟演播室系统
传统的虚拟演播室技术 (The Virtual Studio System) 是通过专业的图形图像处理技术, 模拟真实的电视节目场景, 并通过对摄像机运动参数的精确传感, 使真实电视演播视觉空间与虚拟场景空间在透视关系上完全一致。采用色键合成器进行“抠像”处理, 将主持人与虚拟场景合成在一起中, 实现电视节目的拍摄制作。
传统虚拟演播室主要是由三大核心部分组成:传感跟踪系统、图形渲染系统、色键抠像系统。传统的虚拟演播室系统的使用其中的关键是如何判断摄像机, 主持人, 虚拟场景之间的对应位置关系。主流的虚拟演播室厂家大多采用集成传感跟踪与色键系统的观念, 色键一般使用进口外置独立的色键器, 国内使用最多的为Ultimatte和Vmatte色键器, 传感跟踪系统通常采用机械传感跟踪、图像识别式这两种方式来获得摄像机的参数。使用最多的为机械传感跟踪系统, 在虚拟图文包装系统中, 国内外厂家都是采用机械传感跟踪的方式, 目前提供机械传感跟踪的厂家例如日本的昭特、英国的云顿、意大利的卡通尼等等, 进口的一体化传感系统跟踪精度高, 承重好, 稳定性好, 虚拟演播室的厂家只需支持传感跟踪的协议即可, 图形渲染系统在虚拟演播室的使用中扮演着重要的角色, 主流高端的虚拟演播室厂家都是采用专业品牌工作站搭配专业的三维渲染引擎技术对场景进行实时渲染。
传统的虚拟演播室系统的使用定位全部是基于蓝箱的抠像, 蓝箱是主持人以及节目拍摄的实际场景, 虚拟演播室设备运作的根本依据。虚拟演播室技术想要发展, 蓝箱就成为了虚拟空间发展的一个约束。实景的演播室, 比赛的体育场, 露天的晚会现场, 甚至是户外的山间田野上都需要出现虚拟元素, “虚”“实”结合的虚拟图文包装系统就这样应运而生。
二“虚”“实”结合的Mariana.VG虚拟图文包装系统
Mariana.VG虚拟图文包装系统 (Mariana Virtual Graphic, 简称MVG) , 采用突破性的创新技术, 兼容三维虚拟演播室技术、三维图文技术、数据库技术, 支持在实景演播室拍摄中植入虚拟三维模型动画、虚拟三维数据图表、虚拟电视墙、虚拟三维图文字幕等, 将枯燥的数据可视化, 直观化, 将三维图文、三维模型动画真实地融入到摄像机拍摄的节目信号画面中, 并且能跟随摄像机镜头的变化而变化, 突破传统的电视图文制作理念, 为演播室节目拍摄和制作提供全新的制作手段。
MVG虚拟图文包装系统核心的设备包括两部分:图形渲染合成系统和传感跟踪系统。
1. 图形渲染合成系统
图像渲染合成系统是虚拟图文包装系统的核心, 它的性能、稳定性及三维渲染处理能力直接体现出系统的品质。而其中的图形图像渲染引擎更是图形图像处理的核心和基础, 它的渲染性能将会直接决定系统对三维图文的渲染效果的优劣。
Mariana.VG虚拟图文包装系统采用的是新奥特公司自主研发的Mariana三维渲染引擎, 该渲染引擎是采用GPU高级编程语言开发的全新的三维渲染引擎, 也是国内唯一拥有自主知识产权的三维渲染引擎技术。Mariana三维渲染引擎充分利用了GPU在浮点运算、并行运算、高效纹理处理、向量运算方面的能力实现绚丽的图文效果, 为三维图形、图像处理提供强劲的实时渲染动力, 可以充分发挥高端图形加速卡GPU可编程渲染管线特性, 渲染能力得到质的提升和飞跃。
2. 机械传感跟踪系统
摄像机在拍摄过程中有水平角、俯仰角、镜头变焦ZOOM, 聚焦FOCUS、平移X、纵移Y等变化, 这些参数的改变会引起所拍摄图像视野与视角的改变, 为了模拟人物所在的三维环境, 高性能的图形工作站必须根据这些参数不断调整三维视图。而摄像机跟踪系统的作用正是获取摄像机的位置信息和运动数据, 实时地跟踪真实摄像机, 以保证摄像机前景画面与高性能的图形工作站所提供的三维图文画面同步“联动”。
目前在虚拟图文包装系统中, 国内外厂家都是采用机械传感跟踪的方式, 机械传感跟踪的方式稳定性好, 延时小, 系统工作稳定。机械传感跟踪方式也支持固定机位, 摇臂以及大型的移动机位“机器人”等。
机械传感跟踪系统采集摄像机的位置及透视数据, 它通常被安装在三角架或基座之上。为测量摄像机的镜头运动参数, 需要在摄像机镜头上安装附加装置:聚焦、变焦、平摇以及俯仰传感器 (如图2) 。这个装置中包含有传感器和有关电子装置, 称为镜头运动参数编码器。这是一种精确的旋转编码器。镜头编码器通过托架与镜头上变焦环和聚焦环的齿轮紧密咬合。当变焦环或聚焦环发生位置变化时, 编码器能够检测出上、下、左、右摆动的细微角度并将其编码输出。同时, 安装在云台上的平摇以及俯仰传感器可以感知云台的变化并将其编码输出, 信息数据通过串行接口传送给图形渲染工作站。
三《直播钱江潮》系列节目中MVG虚拟图文包装系统应用案例
2011年9月12日晚, 浙江卫视中秋夜推出的大型直播《明月共潮生》采用新奥特公司Mariana.VG虚拟图文包装系统进行节目直播, 2011年9月15日中午12:00, 浙江卫视联合中央电视台, 杭州电视台推出的《直播钱江潮》节目中又一次采用了该系统进行了长达近3个小时的大型直播, 而且在这次的直播中Mariana.VG虚拟图文包装系统所在的机位为整个节目直播的主机位。此次浙江台在新奥特公司的协助下, 提供的Mariana.VG虚拟图文包装系统, 首次突破性地实现实景演播室中的新闻类节目的虚实结合效果, 不论节目的创意性还是最终播出的效果都给观众留下了非常深刻的印象, 虽然此次前期准备创意的时间非常有限, 但还是成为了虚实结合技术应用的一次成功的尝试。
中秋夜11:00, 《明月共潮生》的片头动画之后, 画面切入实景演播室, 主持人介绍此次直播节目的一些主要内容, 介绍到8个绝佳上月地点的时候, 屏幕左侧出现一个转轮的卷轴, 通过主持人的手势分别对8个绝佳赏月点一一介绍, 如图3。
介绍完8个绝佳赏月点之后, 重点介绍杭州西湖十景之一的三潭印月, 这时候出三潭印月的模型, 摄像机推近介绍三潭印月的原理和传说, 如图4。
介绍太阳、地球、月球三者之间的运动与潮汐的关系, 回归到了此次节目的主题“明月共潮生”, 也引出了三天后的钱塘江大潮, 如图5。
9月15日中午12:00, 《直播钱江潮》片头动画结束之后, 画面切回演播室, 主持人介绍钱塘江大潮的盛况, 主要介绍此次设置的5个观潮点, 此时出钱塘江与5个观潮点的地形地貌, 描绘出涨潮的原理以及先后经过的观潮点顺序和直升机航拍的过程, 如图6。
每一次切换真实航拍画面时, 直升机模型飞出电视屏幕并配合声音特效。
五个观潮点介绍顺序的时候都会有直升机的飞行动画过场, 摄像机镜头会跟随主持人的介绍进行推拉摇移, 每个观潮点的潮水通过之后, 都会出现今年的潮水与2010年所拍摄到的画面对比, 此时Mariana.VG虚拟包装系统出虚拟视频开窗, 播放潮水对比的画面。介绍钱塘江潮的间隙主持人也会再次提到日月潮汐的原理, 如图7。
通过使用Mariana.VG虚拟图文包装系统, 此次直播取得了巨大的成功, 对于新闻直播类节目能够制作得如此绚丽, 动感生动, 观众们给予了很高的评价, 由此我们可以看出, Mariana.VG虚拟图文包装系统对于节目, 对于收看电视的观众来说, 影响是巨大的。
此次虚拟设备配置为高清虚拟图文包装系统, 兼容标清。采用机械传感跟踪方式, 包括摄像机的俯仰, 平摇镜头的变焦, 聚焦。节目拍摄中共使用了三个机位拍摄, 其中两个机位为正常的实景摄像机机位。系统工作原理如下:
●演播室中架设了一套包含Pan、tilt、Zoom、Focus的机械传感跟踪系统, 采用日本SHOTOKU的跟踪设备;
●摄像机跟踪系统将摄像机的平摇、俯仰、推拉、聚焦等动作, 转换为传感器信号, 通过数据线传送到虚拟演播室图形渲染工作站三维渲染引擎;
●机位1拍摄的前景信号, 输入到图形渲染工作站, 经图形渲染工作站处理之后送入切换台;
●机位2、3拍摄的前景信号, 经过延时之后进入切换台;
●主持人拾音话筒经过调音台延时输出;
●虚拟图文包装三维渲染引擎根据传感数据线传送过来的传感数据, 实时渲染事先设计好的三维场景, 传感数据信息转换为相应的平摇, 俯仰、推拉, 聚焦等动作;
●虚拟图文包装系统在节目开始前将所有需要的场景载入系统之中, 场景的控制, 可以实现自动与手动触发场景模板, 也可以通过智能远程终端设备由主持人来进行控制播出。
四结束语