首页|行业资讯|企业名录|周边产品|数字城市|增强现实|工业仿真|解决方案|虚拟医疗|行业仿真|图形处理|军事战场
资讯首页
行业资讯 >> 专业文献>>正文
增强现实系统中的遮挡处理技术
2012年3月20日    评论:    分享:

    来源:第三维度
    作者:王余涛  硕士学位论文

    本文节选自《基于增强现实的协同式装配系统研究》第四章 

     增强现实(AR)虽然同虚拟现实(VR)一样都是利用计算机生成三维虚拟模形.但不同的是,增强现实是将虚拟的图形等信息叠加到真实场景中击,使用户能够同时感受到真实和虚拟的场景信息,实现虚实结合,而虚拟现实是将用户与真实场景隔离开来,使其浸入到一个完全由计算机生成的虚拟场景,无法感受到真实信息。鉴于虚拟现实增强现实的相似和不同,Milgram et a1(1994a)(1994b)系统地阐述了二者的关系,增强现实(AR)可咀视作是介于真实环境(Real Environment)和虚拟环境(Virtual Environment)之间的一种场景表达。圄l 2给出了虚拟和现实联合体环境的四种分类,从中可以看出增强现实和虚拟环境的不同。

    1、遮挡处理技术介绍

    遮挡处理(Occlusion Handling)指的是如何使虚拟模型同真实环境中的物体产生正确的遮挡关系的处理过程。早期的增强现实技术中,所有计算机生成的虚拟模型都是直接叠加到真实场景的图片上,也就是说无论这些虚拟模型代表的空间位置距离摄像机是远还是近,其模型都是简单显示在真实场景的前方,真实场景中的物体仅仅是作为背景,虚拟模型可以遮挡住真实物体,而真实物体却不能遮挡虚拟模型。由于这种简单的遮挡关系使得早期的增强现实技术在真实感上存在严重不足,导致用户对空间方位的认知产生混乱。遮挡处理就是为了解决这个问题而产生的。遮挡处理的方法大致可以分为两种(Breen eta1.1995):基于模型的方法(Model-based Method)和基于深度值的方法(Depth—based Method)。

    1.1 基于模型的遮挡处理方法

    基于模型的遮挡处理方法预先对工作空间中的真实物体建立对应的三维虚拟模型,并将这些模型与真实物体位置对齐,用这些模型代表真实物体。在遮挡处理中,这些代表真实物体的模型同其他虚拟模型进行遮挡计算,获取遮挡关系,最后显示的时候只输出虚拟模型遮挡后的图形,而不输出代表真实物体韵模型,将输出图形同背景图片叠加后就得到有正确遮挡关系的场景图片。

    Fuhrmann et a1.(1998)利用这个方法提出了一个快速构件人体虚拟模型的方法,用虚拟的人体模型代表真实人体,进而进行遮挡处理得到较好的处理结果。

    这种遮挡处理方法由于采用虚拟模型代表真实物体,因而遮挡计算实际是在虚拟模型之间进行了,由图形渲染管线(graphics pipe l ine)自动计算深度值,写入Z缓冲区(Z-buffer),进行深度比较,完成遮挡处理,因而这种方法运算速度非常高,能够充分满足实时性的要求,遮挡效果依赖于代表真实物体的虚拟模型的准确性和方位的对齐程度。然而基于模型的遮挡处理方法只适用于场景复杂良低.且能够预先或者快速建立精确代表真实物体的虚拟模型的情况,而不适用于室外复杂动态场景中。由于这种处理方法的局限性,越来越多的学者提出根据场景图片深度信息的遮挡处理方法。

    1.2 基于深度值的遮挡处理方法

    基于深度值的遮挡处理方法首先需要获得真实场景图片的深度图(depthmap),Zenati et a1.(2007)提出了一个根据立体匹配(stereo matching)原理由成对图片计算深度图的动态程序结构,根据真实场景深度图同虚拟模型深度信息比较获得精确的遮挡处理结果。基于深度值的遮挡处理由于只需要成对的场景图片就可以完成,因此不受场景大JJ,$D复杂度的限制,不需要大量的预先准备工作,适用范围更加广泛。同时由于采用立体匹配原理计算深度图,遮挡效果取决于深度图计算精度。然而深度图的计算和比较往往花费较多的计算时间,使得整个处理过程很难达到实时性的要求。Lu and Smith(2009)提出了一个利用GPU加速计算深度处理的方法,使得计算速度大幅度提高(约20倍)。

    但是当图片分辨率增大,场景复杂时,整个计算时间还是很难达到实时性的要求。表1对基于模型和基于深度值的遮挡处理方法进行了对比。

增强现实系统中的遮挡处理技术
表1基于模型和基于深度值的遮挡处理方法的对比.

    2 装配系统中的遮挡处理

    在本文提出的基于增强现实的装配系统中,虚拟零件和真实零件之间正确的遮挡关系对用户的感知和操作至关重要,错误的遮挡关系将导致用户无法确认零件的实际位置,导致操作失误,因而遮挡处理的准确性对装配系统十分重要。同时由于装配系统要实时的处理碰撞检测,人机交互等工作,使得系统对遮挡处理的运算速度要求很高。按3.3中所述,一般装配任务都是室内的小范围环境下进行的,而且很多主要零件都已经加工出原型并作为参照,这样就可以预先创建这些真实零件对应的虚拟模型。考虑到装配系统对遮挡处理方法的要求和自身特点,本文的原型系统采用基于模型的遮挡处理方法,具体实现步骤如下文所述。

    2.1 遮挡处理中元素定义

    系统将用于遮挡处理的元素分成六类:

    1)虚拟零件(virtual part):是由CAD软件生成并导入到系统中的虚拟模型,包含几何信息和实体信息,经图形管线渲染输出到装配环境的场景图片中。

    2)真实零件(real part):是已经加工出来的零件原型,由于已知零件尺寸参数,能够由CAD软件生成与其对应的虚拟模型。零件原型在装配环境中方位一般可以通过预先准确测量而获得,从而使代表真实零件的虚拟模型能够和真实零件较为精确的对齐。代表真实零件的虚拟模型将用来增强真实零件的信息,如显示零件的轮廓图,同时也将用做遮挡处理。

    3)装配特征(assembly feature):指的是零件模型的几何特征,体现零件装配的约束关系(constraints),如边、平面、轴线等。当操作者进行装配时,交互工具附近相应的零件特征将被高亮(highlight)显示,辅助用户选取和装配。对于真实的零件,由于已经生成对应的虚拟模型,其装配特征就代表了真实模型的装配特征。

    4)虚拟的交互工具(interactive tools):是指系统提供的虚拟的交互工具,操作者通过这些工具操作装配环境中的零件,执行装配操作。交互工具本身也是虚拟的几何模型。交互工具的设计将在后续章节详细叙述。

    5)装配环境(assembly environment):是指真实的装配工作环境,通常有工作台和一些支撑物组成,在增强现实场景中装配环境被视为背景,其空间坐标系的注册使用基于标识物的方法。通常工作台被视为X—Y平面。另外系统为装配环境建立一个虚拟的包围盒(bounding box),包围盒的大小限制了装配环境的范围,任何虚拟模型都将被限制在包围盒内。

    6)注释(annotations):主要用来显示零件名称、特征功能和其他提示信息。系统需要合理分配注释在场景图片上的显示位置,以避免注释之间的重叠,导致可读性降低。

    以上为用于遮挡处理的元素分类,下面将分析如何处理这些元素之间的遮挡关系。

    2.2 元素之间的遮挡处理

    由于装配环境中真实零件已经由相应的虚拟模型代表,真实零件的深度图将同虚拟零件的深度图一样由图形渲染管线获得。本文系统的图形接口采用OpenGL,因而只需在显示阶段前读取深度缓冲区(Z—Buffer)的数据即可获得深度图。深度值的范围为0到1,深度值越大表明该像素点对应的物体距离相机越远。为得到一个合理的遮挡效果,系统做出如下设定:

    1)装配环境(assembly environment)将一直被视为背景来处理,其深度值始终为1,表明装配环境距离摄像机最远,不会遮挡装配环境中的零件。

    2)注释(annotations)是为了给操作者提供辅助信息,因为不应该被遮挡,设其深度值始终为0,表明注释距离摄像机最近。

    3)装配特征(assembly feature)通常作为虚拟模型处理,其与其他模型的遮挡关系由其空间位置决定。但当操作者的装配操作需要高亮显示特征的时候,其深度值将被置为0,使其不被遮挡。

    零件和交互工具由于都是由虚拟模型表示,其遮挡关系完全由其空间位置决定。在将相机拍摄的真实零件图片同计算机生成的各种虚拟模型的绘制图片叠加到一起之前,先要对真实图片的深度图和虚拟模型图片的深度图逐个像素进行比较,当前像素点的深度值小的代表距离相机较近,将被保留,大的将被剔除,最终合成有正确遮挡关系的图片输出到显示设备上去。

    本文系统开发采用OpenGL作为图形开发接口,其针对遮挡处理的渲染流程图如图1所示。

增强现实系统中的遮挡处理技术
图1 OpenGL遮挡处理渲染流程图

    对应的OpenGL主要函数如下: 

增强现实系统中的遮挡处理技术

    为了验证本文原型系统遮挡处理的蔽确性,本文设计了一个简单的装配体,如图2所示。该示例装配由“Body"、“Partl’’、“Part2”三个零件组成,其中“Body’’为代表真实零件的模型,“Partl”、“Part2"为虚拟零件。图2 a标识出这些零件的孔、线、面等装配特征。

增强现实系统中的遮挡处理技术
图2 示例装配体的模型
(a)装配体的装配特钲:(b)装配体的零件组成

   图3给出了本文原型系统中的一组遮挡处理的结果。图中蓝色背景代表装配工作台,由下端的标识物注册系统坐标系。自色模型为真实零件“Body”,黄色圆柱“Parzl”和绿色方块“Part2”是虚拟零件。图4 a是有错误遮挡关系的图片.“Part2”完全遮挡住“Body”。圈4 3b是经过遮挡处理后正确的图片,“Body”的两个立柱穿过“Part2”形成部分遮挡的关系。注意“Body”对应的虚拟模型以蓝色线框的形式显示,用来增强真实零件的信息。系统运行结果表明本文所采用的遮挡处理方法简单有效,遮挡比较由图形处理接口完成,运算速度快,实时性好。

增强现实系统中的遮挡处理技术
图3 遮挡处理
(a)错误的遮挡关系    (b)正确的遮挡关系

    3、本章小结

    本章详细的介绍了增强现实中遮挡处理的两种常用方法:基于模型的方法和基于深度值的方法。在分析比较了两种方法优缺点和考虑装配系统特点和要求的情况下,本文采用了基于模型的遮挡处理方法,详细的描述了装配系统中这种遮挡处理的实现过程,并得到较为满意的实现结果。

标签:增强现实
上一篇:增强现实系统中的目标注册跟踪技术
下一篇:虚拟装配系统中的碰撞检测及交互设计
网友评论:增强现实系统中的遮挡处理技术
评论
留名: 验证码:
您可能还需要关注一下内容:
·增强现实技术支持的幼儿教育环境研究
·首款国产增强现实眼镜 HiAR Glasses发布
·以影像辨识实现智能型导览系统
·汽车制造业是驱动AR技术发展的原动力
·中国增强现实市场专题研究报告2015
·华为专家描绘增强现实:解放思维的AR
·Magic Leap,更像一场好莱坞特效做的秀
·[视频]Magic Leap将如何重新发明游戏?
·增强现实技术在人手功能康复中的研究进展
·基于汉字标志的增强现实系统
☏ 推荐产品

Ladybug5全景
商家:力方国际

ProJet®
商家:力方国际

ProJet®
商家:视科创新

Premium1.5
商家:视科创新

巴可HDX主动立体投
商家:德浩科视

巴可HDF-W26投
商家:德浩科视

巴可30000流明2
商家:德浩科视

巴可4万流明2K投影
商家:德浩科视
☞ 外设导航
☏ 企业名录
【广州】中科院广州电子技术有限公司
【北京】第二空间(北京)科技有限公司
【北京】幻维世界(北京)网络科技有限公司
【厦门】厦门惠拓动漫科技有限公司
【厦门】厦门幻眼信息科技有限公司
【深圳】深圳南方百捷文化传播有限公司
【北京】北京思源科安信息技术有限公司
【上海】上海殊未信息科技有限公司
【北京】北京赢康科技开发有限公司
【武汉】武汉科码软件有限公司
友情链接 关于本站 咨询策划 行业推广 广告服务 免责声明 网站建设 联系我们 融资计划
北京第三维度科技有限公司 版权所有 京ICP备09001338
2008-2016 Beijing The third dimension Inc. All Rights Reserved.
Tel:010-57255801 Mob:13371637112(24小时)
Email:d3dweb@163.com  QQ:496466882
扫一扫 第三维度
官方微信号