首页| 行业资讯| 企业名录| 周边产品| 数字城市| 增强现实| 工业仿真| 解决方案| 虚拟医疗| 行业仿真| 图形处理| 军事战场
用户登录/注册 ×
资讯首页
行业资讯 >> 专业文献
增强现实虚拟维修诱导系统关键技术研究
时间:2014-11-18    评论:0

    来源:第三维度
    作者:赵新灿、左洪福、徐兴民
    单位:南京航空航天大学

    摘要::在分析增强现实维修诱导系统与虚拟维修系统区别的基础上,依据提出的增强现实维修诱导系统基本原理在实验室构建了原型系统,并对增强现实、人机自然交互、交互式电子手册和虚拟样机等维修诱导的关键技术进行了研究;以航空发动机外场典型维修工作为例,将可穿戴式辅助维修基本理论和增强现实技术相结合,开发了一种以维修人员为中心的人性化、智能化的维修辅助系统,实例证实增强现实维修诱导系统在航空器维修中具有良好的应用效果。

    引言

    航空发动机是技术密集的大型复杂机电系统,内部结构复杂,拆装、维修困难,对人员技术和工具设备要求极高。目前,发动机的维修都是依靠纸质或电子手册,效率低下,维修差错难以控制,如果能开发一种以维修人员为中心,以状态信息为“驱动暠,诱导与维修同步,作业与训练同步的主动式、交互式维修诱导、培训系统,帮助操作者完成对大型复杂机电系统的检查、维修工作,将显著提高作业效率、减少维修差错。增强现实(augmented reality,AR)技术将虚拟物体和真实环境相结合,其目的是为真实的场景提供信息扩展[1]。

    在航空维修和航空制造领域,增强现实技术研究取得了许多成果。20世纪90年代初,美国波音公司首先将增强现实技术应用于飞机制造中电力线缆的连接和接线器的装配,其研究成果最为引人注目[2]。2003年,德国Starmate系统和同期Arvika系统的研制成功,预示了AR技术在复杂机电系统维修、装配领域的巨大应用潜力[3,4]。

    目前,国内在航空制造及维修领域的AR技术研究和应用才刚刚起步。

    1、增强现实维修诱导系统与虚拟维修系统的区别

    虚拟维修是以计算机技术与虚拟现实技术为依托,在由计算机生成的、包含了产品数字样机维修人员三维人体模型的虚拟场景中,通过驱动人体模型(包括采用人在回路的方式)来完成整个维修过程仿真的综合性应用技术,实现在设计早期就能对产品的维修性设计及维修工作进行分析评价,达到为系统设计提供帮助的目的,维修过程在计算机上再现的关键在于虚拟人维修动作的准确表达和实现[5]。

    增强现实维修诱导系统是利用增强现实、人机自然交互、虚拟样机和交互式电子手册(IETM)等技术构成的针对大型复杂机电系统的维修指导与培训系统。维修人员通过自然交互手段感知周围场景和维修对象的状态变化,利用增强现实三维注册显示和跟踪定位技术将所需要的数字化维修诱导信息根据自然交互指令(视线和语音等)无缝实时地显示到光学透视式头盔上指导维修操作,从而解放作业人员双手,使之专注于维修工作,提高作业效率,减少维修差错。增强现实维修诱导系统和虚拟维修系统的主要特点比较如表1所示。表1增强现实维修诱导系统和虚拟维修系统的比较如表1所示。


表1、增强现实维修诱导系统和虚拟维修系统的比较

    2、增强现实维修诱导系统的基本原理

    针对航空发动机外场维修构建的增强现实维修诱导系统框架如图1所示,包括头戴式诱导信息显示子系统,维修诱导便携式客户端,维修诱导服务器,诱导用解析式电子交互手册子系统(包括维修手册、故障排除手册和发动机图解零件目录)等。要实现该原型系统,有诸多的关键技术要突破,通过选取发动机典型外场故障排除和复杂拆装为研究对象,开展部分探索性的基础研究。

图1 增强现实维修诱导系统原理图

---PageCutFlag---

  3、增强现实维修诱导系统关键技术

    3.1、增强现实技术

    增强现实技术是借助计算机图形技术和可视化技术产生虚拟对象,并通过传感技术将虚拟对象准确“放置暠在真实环境中,利用显示设备将虚拟对象与真实环境融为一体,呈现给用户一个感官效果真实的新环境,具有虚实结合、实时交互、三维注册的特点[1],关键问题是如何解决真实场景和虚拟物体在几何、时间和光照方面的一致性。

    增强现实三维注册算法的研究一直是AR的核心问题,注册算法有基于方位跟踪设备、基于计算机视觉、基于视觉-方位跟踪器三种。在光学透视式增强现实系统中,使用者通过眼睛来感知周围环境,人类的视觉系统在细节判别能力上相当卓越,迫切需要解决增强现实无标志点注册问题,否则容易产生虚拟物体围绕真实物体的“游移暠现象。在增强现实维修诱导系统中使用的是光学透视式头盔,因此要求增强现实系统注册精度高,实时性好。

    3.2 人机自然交互技术

    维修诱导系统的目的是降低维修作业难度,提高作业效率,减少维修差错。由于维修人员在作业的过程中需要与诱导系统进行频繁的实时信息交互,这不仅会分散维修人员的注意力,而且有可能使其陷于手忙脚乱的境地。这种额外的注意力分散和动作负担,有可能降低作业效率,诱发维修差错。这就要求诱导系统诱导于“无形暠,以降低认知负荷,构造一种和谐自然的人机交互环境是增强现实维修诱导系统研究的一项重要任务。

    在人机交互中,视觉是接收信息的主要感觉通道,传统的手动输入设备都是在视觉的指导下进行操作的,因视线可以反映用户的注意方向和
用户意图,因此是研究获取虚拟装配过程和用户操作意图的主要形式。语音作为一种人机交互方式已经比较成熟,加拿大Patankar[6]研究了利用语音命令来查询电子维修手册的问题,取得了初步的成功。在维修作业中,采用视线跟踪和语音的双通道交互模式将是解决问题的途径。

    3.3 交互式电子手册技术

    航空维修技术手册是飞机技术出版物的核心组成部分,是保障飞机在全寿命周期内保持适航性必不可少的技术资料,是开展飞机使用、维护、保养和检查修理的唯一科学依据。按内容和用途可分为:维修类手册、修理类手册、检测类手册、培训手册和资料、机场操作类手册等。

    实现复杂设备的维修诱导,交互式电子手册是必不可少的工具,目前国际上已经设计出基于数据库的第四代交互式电子手册,以网络化和智能化为基本特征的第五代交互式电子手册还处于研究阶段。在增强现实维修诱导中,要求手册具有第五代交互电子手册的特征,还要求手册能够适应语音等多通道智能驱动的检索方式,使手册的内容“活动暠起来。

    3.4 虚拟样机技术

    虚拟样机技术是利用计算机技术建立起的产品数字化模型,可进行仿真分析以显示产品在真实工作条件下的外观特征、空间关系及运动学和动力学的特征。具有如下特点:栙虚拟样机具有与实际产品相同的几何结构与几何尺寸、相同的颜色与纹理;栚虚拟样机具有与实际产品相同或相近的运动学与动力学属性,虚拟环境中零件间的相互作用反映了实际产品中零件间的相互作用;栛在外部环境的激励下,虚拟样机能做出与实际产品相同或相近的行为响应[7]。

    虚拟样机运行环境主要有两个方面的要求:  真实性和交互性。真实性是指虚拟样机及其运行环境要和真实设备及其运行环境相符,模型尽量细化,做到外观和功能上与物理模型一致;实时交互性是指虚拟样机运行环境计算要足够快,使用户输入能实时反映出来。

    4、增强现实维修诱导系统实例

    4.1、增强现实维修诱导系统构成

    根据实验室现有的试验设备构建了增强现实维修诱导原型系统,系统以运7飞机WDZ-1涡轮发电装置(APU)为维修检查设备,用美国NVIS公司的nVisorST光学透视式头盔进行虚实信息融合显示,用Polhemus公司的Fastrak电磁式位置跟踪器跟踪用户头部位置变化,用两个数字彩色场景摄像机实现场景图像采集,用高性能的图形工作站完成图像数据的处理,并且搜集运7飞机WDZ-1涡轮发电装置技术资料构建符合ATA航空维修技术资料标准,且包含飞机维修手册中与涡轮发电装置拆装内容相关的手册,以VisualC++6灡0、Vega和CATIA作为虚拟物体生成和虚实融合显示的开发工具。

    4.2、维修诱导系统人机自然交互

    人机自然交互通过语音子系统发出语音命令或视线跟踪子系统获取注视点坐标[8,9]。在当前场景图像中,提取操作对象特征,依据操作对象特征、结合虚拟样机信息进行操作对象识别并获取操作对象的位姿信息,针对识别出的目标,从虚拟对象数据库中匹配合适的增强信息,并对增强信息进行变换和渲染,利用增强现实注册算法实现虚实信息融合显示,如图2所示。


图2、增强现实维修诱导系统人机交互流程

---PageCutFlag---

    视线跟踪系统主要由电磁式位置跟踪系统、头部静止的视线跟踪系统、系统几何模型及注视点计算算法等组成。头部静止的视线跟踪系统完成头部静止时视线跟踪功能;位置跟踪系统通过电磁式位置跟踪器实时提供用户头部的空间方位信息;几何模型描述各子系统之间的坐标系相对位置变换关系;注视点计算算法用于实时计算注视点坐标,目前视线跟踪系统研究已经取得了较好的效果,跟踪误差小于1曘[10]。

    维修诱导系统中使用的nVisorST增强现实光学透视式头盔自带语音处理功能,需建立相应的语音命令库,如表2所示。


表2、维修诱导系统语音命令库

    4.3、维修诱导系统排故流程

    维修诱导系统模拟波音737飞机交互式排故过程。假设中央仪表板显示“APU火警探测器第一个回路故障暠的状态信息,则维修人员用语音报告故障关键词“APU火警探测器暠(APUfire)搜索《FRM-故障报告手册》,得到故障功能代码26116101。根据飞机系统编号原则可知该故障发生在26-1暳系统部分。为排除故障查找《FIM-故障隔离手册》其工作号为“26-15-00-810-811,26-10130,APU火警探测器第一回路的下回路短路暠,查阅飞机维修手册第26章第15节找到该工作号,具体维修步骤需参考飞机维修手册AMMTASK26-15-01-000-801和AMMTASK26-15-00-400-801,维修手册任务中对具体维修任务的操作流程进行了详细描述,根据任务描述进行拆卸安装等具体工作。

    由飞机维修手册(AMM)生成维修任务数据库,通过维修任务数据库把自然交互方式、虚拟样机和维修手册给出的具体维修动作联系起来。维修任务数据库包括(工作任务号、驱动类型、装配情景标识、操作对象、操作序列)。其中:工作任务号为维修手册给出的任务号;驱动类型为语音或眼动驱动;装配场景标识为驱动(眼动或语音)发生时刻的装配情景对应的情景标识;操作对象为实际操作和注视对象,有零件、装配体等,操作对象通过产品的虚拟样机表示;操作序列为AMM给出的具体操作步骤。

    4.4、虚拟样机获取和维修拆装诱导

    4.4.1、虚拟样机获取和显示

    对于增强现实维修诱导系统而言,增强信息(虚拟样机)的获取是系统研制的关键,如果自己设计飞机重要部件的虚拟样机,显然是不现实的。

    飞机设计部门已经有飞机具体零件、装配件以及总装模型的CAD数据,若能将设计部门CAD格式的飞机虚拟样机的工程模型,转换为增强现实维修诱导系统可利用的信息模型,则会大大提高建模效率和模型质量。因此,虚拟样机获取问题转化为如何从飞机工程样机中获取诱导系统需要的,且能在增强场景中迅速、逼真展示的样机模型。增强信息获取可以通过以下4个步骤进行:

    栙将飞机虚拟样机CATIA零件实体模型利用二次开发工具提取其外部可见表面,再利用有限元处理工具对表面进行三角化处理,最后导出自定义格式的文本文件;栚MFC实现导出文本文件到Openflight模型的数据转换,利用Openflight软件开发库在Creator平台上实现模型的生成和显示;栛在增强场景中,虚拟信息的刷新率低于20帧/秒时,人眼就会产生疲劳,因此,在保证场景逼真度的同时,要尽可能地减少面片的数量,以满足系统的实时性要求。

    利用嵌入式插件方法在Creator中添加对生成模型的处理功能,包括模型细节层次的生成和管理,背面不可见区域的消去,装配件模型的遮挡消隐;栜通过位置跟踪器和视线跟踪设备分别跟踪维修人员头部和注视点位置变化,作为驱动视角变换的输入,在VegaPrime可视化仿真环境中利用增强现实三维注册技术实现维修诱导信息的显示[11]。

    4.4.2、维修诱导流程

    穿戴式维修诱导系统通过交互式排故过程获取具体的维修流程信息和拆卸安装任务,利用场景摄像机摄取场景图像,与维修诱导数据库进行匹配,调出相应的虚拟增强信息(包括文字、图像、三维样机拆卸、装配过程等)显示在光学透视式头盔显示器上,通过将现实三维注册技术与维修人员看到的真实场景无缝叠加显示,进行维修诱导。

    对于现场维修人员无法解决的疑难问题,穿戴式维修诱导终端通过无线传输设备将场景摄像机拍摄到的场景图像传输给远程专家进行远程协同诊断,会诊专家可以通过语音和图像直接对维修过程进行指导。维修诱导系统将维修方案根据故障类型保存到诱导案例库,作为专家知识指导以后的维修。

    图3为在实验室构建的增强现实维修诱导原型系统,左图是维修人员身穿多功能夹克(配备可穿戴式主机(内含无线网卡)、捆绑式键盘),头戴增强现实光学透视式头盔准备拆卸APU点火器的形貌。图3右上是指示点火器的形状,右下是点火器从燃烧室外套拆卸的过程。


图3 涡轮发电装置点火器拆卸过程诱导

---PageCutFlag---

    5、结论

    本文以运7飞机涡轮发电装置为维修对象,以APU点火器拆卸和装配过程为例介绍了增强现实维修诱导原型系统,并对系统的实现流程和关键技术进行了初步探讨。视线跟踪设备和透视式头盔的集成、虚拟样机的构建、外场维修条件下视线跟踪设备受环境光的影响和语音设备受环境噪声的干扰等问题是增强现实维修诱导系统走向实用化、工程化要解决的关键问题,也是进一步研究的主要内容。

    参考文献:

    [1] AzumaR,BaillotY,BehringerR.Recent Advancesin Augmented Reality[J].IEEEComputer GraphicsandApplications,2001,21(6):34-47.


    [2] SchwaldB,Laval B.AnAugmented Reality Systemfor Trainingand Assistanceto Maintenanceinthe IndustrialContext[J].Journalof WSCG,2003,11(1):425-432.

    [3] SchwaldB,FigueJ,Chauvineau E.STARMATE:UsingAugmented Reality Echnology for ComputerGuided Maintenanceof ComplexMechanicalElements[C]// In Proceedingse2001:eBusinessande Work.,Venice:Cheshire Henbury,2001:17-19.

    [4] 熊友军,李世其,张浩.遥操作在设备维修中的应用[J].中国机械工程,2005,16(4):287-291.

    [5] 马麟.虚拟维修过程模型的研究[D].北京:北京航空航天大学,2003.

    [6] Patankar MS.A Frameworkforthe DesignofaVoice Activated,Intelligentand Hypermedia-basedAircraft MaintenanceManual[D].Florida:Univ.of Nova Southeastern,1997.

    [7] WangGG. Definition Clarificationand ReviewonVirtual Prototyping[C]//2001International DesignEngineeringTechnicalConferencesand DesignAutomation Conference. Pittsburgh Pennsylvania: ASME2001:344-352.

    [8] BarabasJ, GiorgiRB, ApfelbaumH. TrackingtheLineo fPrimary Gazeina WalkingSimulator:Modelingand Calibration[J]. Behavior ResearchMethods,Instruments & Computers,2004,36(4):757-770.

    [9] 冯成志,沈模卫.视线跟踪技术及其在人机交互中的应用[J].浙江大学学报,2002,29(9):225-232.

    [10] 赵新灿,左洪福,徐兴民.视线跟踪技术研究[J].光电工程,2007,34(10):118-123.

    [11] AllisonRS, EizenmanM, CheungBSK. Combined HeadandEye Tracking SystemforDynamic TestingoftheVestibular System[J]. IEEETransactionson Biomedical Engineering,1996,43(11):1073-1082.


标签:增强现实vr维修工业
上一篇:组图:澳大利亚3D虚拟人体模拟解剖软件 Anatomedia下一篇:人工社会—基于Agent的社会学虚拟仿真
网友评论:增强现实虚拟维修诱导系统关键技术研究
留名: 验证码:
最新评论
查看全部评论0
暂无评论
您可能还需要关注一下内容:
·未尔科技·军事VR视景解决方案
·传Magic Leap考虑出售:价格或超100亿美元
·韩国母亲用VR与去世女儿重逢
·5G+VR最大应用场景—远程实时操控
·赵沁平:虚拟现实产业爆发的前夜
·BBC推出文物增强现实应用 Civilisations AR
·关于增强现实技术潜在发展方向的思考
·那款更适合你?2019年VR眼镜性能大比拼
·第十九届中国虚拟现实大会深圳举行
·AR眼镜:挑战下一代个人移动计算平台
☏ 推荐产品

小宅 Z5 2018青春版
商家:小宅

杰瑞特运动平台
商家:杰瑞特智能

Dikalis眼动追踪
商家:赢富仪器

魔神 Hawk
商家:魔神运动分析

5DT Binoculars
商家:四维宇宙

Christie DS+750
商家:四维宇宙

Zalman M220W
商家:四维宇宙

全息360°
商家:四维宇宙

PD F10 AS3D
商家:四维宇宙

PHANTOM系列
商家:四维宇宙
☞ 外设导航
☏ 企业名录
【深圳】深圳市观度科技有限公司
【沈阳】沈阳中申高新科技有限公司
【北京】北京未尔锐创科技有限公司
【南昌】南昌虚拟现实检测技术有限公司
【上海】上海桥媒信息科技有限公司
【宁波】宁波维真显示科技股份有限公司
【潍坊】歌尔股份有限公司
【上海】霍尼韦尔(中国)有限公司
【北京】科视Christie-中国
【北京】北京华如科技股份有限公司
关于本站联系我们融资计划免责声明网站建设广告服务咨询策划行业推广
北京第三维度科技有限公司 版权所有 京ICP备15051154号-3
2008-2020 Beijing The third dimension Inc. All Rights Reserved.
Email:d3dweb@163.com  QQ:496466882
Mob:13371637112(24小时)
关注虚拟现实
关注第三维度