首页|行业资讯|企业名录|周边产品|数字城市|增强现实|工业仿真|解决方案|虚拟医疗|行业仿真|图形处理|军事战场
资讯首页
行业资讯 >> 专业文献>>正文
虚拟现实技术在医学手术仿真训练中的实现与应用
2010年7月27日    评论:    分享:

 

    作者:军医进修学院教育技术中心  谭珂、郭光友

 

    摘要:随着计算机技术和教育技术的飞速发展,虚拟现实技术已逐渐从实验室的研究项目走向实际应用,而在医学手术教学和仿真训练等方面,虚拟现实技术有着不可替代的和令人鼓舞的应用前景。本文通过对当前国内外虚拟现实技术现状和发展趋势的分析,提出了目前存在的技术难点,并结合我院已着手进行的虚拟医学手术理论和关键技术的研究工作,重点阐述了虚拟医学手术的相关理论、构建数学模型的原理和规律以及在医学手术仿真训练中的应用。为全军医科院校开展虚拟医学手术仿真训练提供了一定的理论和技术依据。

 

    自进入九十年代以来,随着计算机广泛应用,多媒体技术迅速兴起、蓬勃发展,其应用已遍及国民经济与社会生活的各个角落,特别是由于多媒体具有图、文、声、活动影象并茂以及信息量大、交互性强的特点,所以能提供最理想的教学环境,它必然会对传统的教学模式、教学内容、教学手段、教学方法产生深刻的影响。而进入新千年的今天,作为多媒体技术和教育技术发展的最新方向——虚拟现实技术(Virtual Reality,简称VR)已经逐渐从实验室走向实际应用,并被应用到教学训练中了,它是一种全新的现代教育手段,它是计算机多媒体技术和仿真技术迅速发展的结果,它的应用是教育技术现代化的必然需求。

 

    虚拟现实技术是指通过多媒体技术与仿真技术相结合生成逼真的视、听、触觉一体化的虚拟环境,使用户以自然的方式与虚拟环境中的客体进行体验和交互作用,从而产生身临其境的感受和体验的一种技术。创建和体验这种虚拟环境需要包括计算机图形学、图像处理和模式识别、AI 技术 、智能接口技术、心理学、多传感器技术、语音处理和音响技术、网络技术、并行处理技术和高性能计算机系统等。虚拟现实技术已逐渐从实验室的研究项目走向实际应用,目前,在军事、航空、航天、医学、教育、商业、娱乐和自动控制等领域有着广阔的应用前景,日益显示出巨大的社会和经济效益的潜力,尤其在教学训练方面,是当今教育技术和计算机多媒体辅助教学发展的重要方向。而其中,医学教育和仿真训练是虚拟现实技术应用的一个主要领域。

 

    1VR在医学手术仿真训练中的意义

 

    虚拟现实在医学上的应用起源于医务人员对复杂的三维医学解剖体数据的可视化需求,进而发展到能对可视化的数据进行实时操作,从而建立可供手术和手术前规划使用的虚拟环境。在医学手术教学和仿真训练等方面,虚拟现实技术有着不可替代的和令人鼓舞的应用前景。在对病人实施复杂手术之前,医生可以先用虚拟现实系统进行练习,把通过CTMRI获取的病人的真实图象送入仿真系统,医生就可以对实际手术作出相应的规划,从而可预见难以预料的复杂性。运用该技术可以使医务工作者沉浸于虚拟的场景内,体验并学习如何应付各种临床手术的实际情况,可以通过视、听、触觉感知并学习各种手术实际操作。这样大大的节约了培训医务人员的费用和时间,使非熟练人员实习手术的风险性大大降低,并利用专家学者的手术经验和实例对年轻医生特别是小医院、边远地区医院的医生进行培训,这对提高医学教育与训练的效率和质量以及改善我国医学手术水平发展不平衡的现状有着非常重大的意义。

 

    2、国内外的现状及分析

 

    目前与医学相关的虚拟现实应用主要包括:手术,内窥镜检查和放射外科等。其中,虚拟医学手术仿真训练是一种技术难度较大的应用。与其它虚拟现实应用相比,它的特点是:

 

    虚拟场景复杂;需要产生多层次、多种形态、相联关系复杂的三维虚拟人体组织;

 

    人机交互性强,要求定位和反馈精确度高。

 

    当前,国外已经有许多研究机构和商业公司对医学虚拟现实尤其是在虚拟医学手术仿真训练等方面都进行了一定的研究和实践。如美国达特茅斯医学院开发的“交互式多媒体虚拟现实系统”。对于手术训练方面处于较前沿的是美国波士顿力学研究中心,他们采用的方式是利用偏振眼镜观看场景、虚拟手术器械模拟操作,该方法还处于研究探索阶段。加利福尼亚的San Francisco大学外科系与伯克利学院的电子工程与计算机科学系对虚拟腹腔手术的研究等。另外,有一些从事虚拟现实技术开发的公司也针对医学手术领域研制出了一些产品,包括体数据可视化的软件包、专用的虚拟手术器械等。

 

    在国内,大部分的研究工作集中在对医学图像的三维重建及其可视化等基础技术方面,清华大学和浙江大学等院校及研究单位在基于计算机图形学的医学图像三维可视化算法研究领域也取得了较大的成果。

 

 

    3、当前虚拟医学手术仿真训练的技术难点

 

    经过对国内外现状的分析,可以见到:随着计算机技术、传感器技术的飞速发展,虚拟医学手术仿真训练的研究在模型实时显示、器官组织纹理的制作、碰撞检测与定位和触觉传感等方面已经取得了一定的进展,并已有个别的成型系统研制成功,但当前虚拟医学手术仿真训练的研究还需解决如下技术难点:

 

    3. 1 仿真的逼真性较低,主要原因是不同虚拟人体组织(尤其是软组织)的精确解剖结构和几何模型细节层次的建立以及三维实时显示算法仍有待进一步的改进和优化;

 

    3. 2 虚拟组织的各种行为模型(即真实动态物理模型,如在受到外力时的组织实时形变等)的建立还不够完善和真实;

 

    3. 3 多通道感觉的缺乏,目前研究大多集中于视觉效果的虚拟,对其他感觉通道如听觉、触觉等力反馈的表现较为缺乏,而在医学手术中力的反馈是非常重要的;

 

    3. 4 多种不同来源的三维医学影像数据的融合和复杂模型的LOD模型优化等技术尚有待发展;由于人体数据的复杂程度高、量大,采用现有数据组合生成最终虚拟手术使用的人体模型数据集的建模方法还有待研究;

 

    3. 5 由于西方人种与黄色人种在生理结构上有一定的差异,国外人体模型和研究产品并不能完全适应我国的需要。因此,目前还没有适合于我国虚拟手术用的人体模型。

 

 

 

    4.  虚拟医学手术仿真训练的技术实现

 

    虚拟医学手术仿真训练的技术实现主要分为以下三个部分:

 

    · 医学图像的三维重建

 

    · 虚拟人体组织器官的物理建模

 

    · 虚拟手术器械与虚拟人体的碰撞检测和力反馈

 

    41 医学图像的三维重建

 

    411 医学图像可视化

 

    如不考虑针对某种人体组织器官进行分段,对医学图像的三维重建主要是为了实现医学图像可视化。这属于科学计算可视化的研究范畴,在该领域被称为三维标量数据场可视化技术。它是虚拟手术技术的实现基础。

 

    目前,三维标量数据场可视化技术主要分为两类:一类是通过抽取中间面的表面绘制技术;一类是基于体元的体绘制技术。这两类可视化过程如图1所示。

 

    · 通过抽取中间面的表面绘制技术

 

    面绘制技术主要包括:基于二维轮廓线的断层扫描线表面重构和基于单元网格结构的等值面抽取等。

 

    · 基于体元的体绘制技术

 

    体绘制技术是近年来发展较快的可视化技术,它直接基于体元绘制,能显示对象体丰富的内部细节。目前实现数据场体绘制主要有两种策略:不重构连续数据场,直接对三维离散数据场作体绘制;从三维离散数据场重构出连续数据场,再对连续数据场进行重采样并绘制图像。

 

    412 医学图像分段

 

    为了获得局部的人体组织器官模型,需要将感兴趣的区域从医学图像中分离出来,人们对医学图像的分段技术进行了研究。目前,有两种技术:

 

    · 二维图像的轮廓线

 

    三维重建的数据源通常是一组一定间隔扫描获得的二维图像(如CT图片)。一种方法是将每张图片上相同组织的轮廓提取出来,产生感兴趣的二维二进制图像,然后将产生的图片堆叠起来构成三维二进制图像。最后再采用前面所说的可视化技术进行三维重建,从而获得感兴趣的组织器官的模型。

 

    · 体数据的分段

 

    对于体数据的分段,有一个简单的技术是采用阈值方法,只有光强大于该阈值的像素点才被显示。这种方法的阈值主要是由人指定的。而另外一个更通用的方法是采用图像处理中的边缘检测技术,即使用标准的图像处理操作(如卷积、Laplacian算子等)或综合对数据集进行过滤处理,以获得所需的分段阈值。

 

    42 虚拟人体组织器官的物理建模

 

    变形模型主要是针对非刚体自由形状(free-form)物体而言的,外力的作用促使了组织的变形,并给了操作者力的反馈,因此,变形和力的反馈是紧密相连的,给定了变形模型,基本上也就可以计算出反馈力。

 

    421自由体变形方法(FFD

 

    1986年,人们提出了自由体变形方法,该方法的思想是通过变形物体所在的空间而实现物体的变形。使用FFD的第一步是计算物体顶点在格子中的位置,然后格子在控制点的运动下产生形变,最后基于控制点的形变计算物体顶点位置的变化。但FFD只能产生全面的变形,而不能模拟局部的变形。

 

    422 基于物理学的变形模型(physically based deformation

 

    丰富通用的变形模型需求势必导致了基于物理学的变形模型的发展,,物体在内外力的作用下产生形状上的变化。其中,外力包括重力、空气动力、碰撞产生的排斥力等;内力包括弹性力和非弹性力,所谓弹性变形是指一旦外力撤销,物体恢复原状,就象弹簧一样。

 

    43 虚拟手术器械与虚拟组织器官的碰撞检测和力反馈

 

    手术操作是非常精细的工作,要求较为精确的力反馈。在虚拟手术过程中,碰撞检测是力反馈、组织变形的前提,因此是非常重要的。而基于bbox的算法由于其计算量小、实时性高的特点,被虚拟现实领域广泛采用。

 

    在虚拟手术操作中,人体模型的弹性变化的同时,还应产生弹性变化的力,可根据力学的弹性方程用计算机软件来实现对虚拟手术器械的机电部分的控制,通过机电传感器反馈在虚拟手术器械上,如虚拟的手术刀、手术钳等器械上。由于人体的手部的触觉非常敏感所以对于力反馈中的定位精度和曲线力觉变化均有较高的技术要求。需要定位精确的手术传感器械和比较复杂的弹性模型。

 

    5虚拟现实技术在医学手术仿真训练中的应用

 

    虚拟现实技术在医学手术仿真训练领域有着广泛的应用前景,其具体应用主要有以下几个方面:

 

    51 人体解剖结构教学

 

    人体解剖结构历来是医学教学的重点、难点,通过虚拟现实技术建立起人体结构模型,可以使学生通过人机交互对人体模型进行浏览,在模型内部“漫游”,能让学生非常直观、轻松学习解剖结构,发挥学习的主动性。

 

    52 医疗手术方案和治疗效果预测

 

    对于病灶,可以在虚拟模型上进行方位的显示,依据其方位和虚拟系统中的专家库资料,制定手术和治疗的方案,对于没有把握的方案,还可以在虚拟环境中进行实验,从计算机上模拟治疗的结果,进行评判。

 

    53 虚拟手术操作教学

 

    虚拟手术操作教学是虚拟现实技术在医学手术仿真训练中最重要的应用。由于虚拟现实技术能够虚拟出“真实的世界”,运用该技术可以使医务工作者沉浸于虚拟的场景内,体验并学习如何应付各种临床手术的实际情况,通过视、听、触觉感知等多种感官了解和学习各种手术实际操作,往往对于年轻医生可以经过在计算机上进行多次的手术仿真训练,再上真正的手术台,这样大大的节约了培训医务人员的费用和时间,依据专家的经验创建出的手术专家系统还可以在训练中进行必要的提示和指导。由于虚拟手术仿真训练系统具有低代价、零风险、多重复性、自动指导的优点,可以迅速高效的提高学习者的手术及其他操作的技能。

 

    我院通过分析、论证,并根据现代化医学教育、训练的需要,现正在进行“虚拟鼻腔镜手术仿真训练系统”的课题研究工作。由于鼻腔镜手术的操作历来是比较难掌握的,在较小的空间范围内,完全依靠内窥镜来检查判断病灶,并操作复杂繁多的外科手术器械,来切除病灶并做伤口的缝合,这需要有足够长时间的训练才能够熟练掌握的。作为临床医生培训这一直是个难点,尤其是鼻腔结构、上颌窦造口术、开筛术比较难以掌握。我们通过对临床手术实际情况的分析,结合我院手术的丰富经验,采用了人体冰冻切片的二维图像轮廓提取的数据分段方法进行器官的三维重建,依据黄色人种的生理结构建立虚拟人体模型(包括行为模型),利用笔杆式力反馈器模拟手术窥镜和手术刀的运动、触觉,尤其是产生了一个六自由度的力量感知空间,当手术刀自由运动时,操作者可以感觉到手术刀在不同皮肤上操作产生的高频力量成分。这样使用了笔式的点状工具,很好的模拟出了手术器械的较小的惯性和摩擦力,解决了仿真手术中最难解决的切割力和摩擦力的问题。用这种方法创建的虚拟鼻腔镜手术仿真训练系统,可以较真实的虚拟出一个“手术环境”,使手术学习者沉浸于虚拟的场景内,体验并学习如何应付各种情况,这样可以节约大量的训练费用,如尸体解剖费、实习费等,并降低了非熟练医生的手术风险。

 

    总之,通过对虚拟医学手术仿真训练的研究与应用,将使虚拟现实技术逐步在医院和高等医科院校的教学和训练中应用推广,并向更多更复杂的典型外科手术扩展,而且随着技术的逐渐成熟还能使医学虚拟现实技术进一步应用于其他领域如:远程手术、合作治疗、战场救护等紧急医务处理,以及身体、精神健康和恢复等。该项技术具有广阔的发展和应用前景,并将为提高我国医学手术规模和医疗水平作出重大的贡献。

 

    作者简介

 

    谭珂:男,26岁,1996年毕业于国防科技大学信息工程专业,获工学学士学位。解放军总医院军医进修学院教育技术中心工程师,主要研究方向:虚拟现实技术、多媒体技术和基于宽带网络的远程教学。获军队科技进步二等奖一项(第二作者),全军电教教材评比一等奖一项,全国优秀教学软件大奖赛优秀奖一项,在国家核心期刊发表论文6篇。

 

    郭光友:男,55岁,军医进修学院教育技术中心主任,主任技师,大学本科学历,发表论文25篇,曾获军队科技进步二等奖(第一作者)。

 

 

 

标签:医学手术仿真训练
上一篇:《激战海陆空》让战争展现艺术之美
下一篇:英国范堡罗航空展虚拟现实技术获宠
网友评论:虚拟现实技术在医学手术仿真训练中的实现与应用
评论
留名: 验证码:
您可能还需要关注一下内容:
·VR技术在前颅底脑膜瘤术前计划中的应用探讨
·三维立体显示技术在医学诊疗中的应用
·虚拟现实技术在蝶骨嵴脑膜瘤术前计划中的应用
·虚拟膝关节镜手术仿真系统的关键技术研究
·经鼻入路显露鞍旁结构的三维可视化研究
·国产“数字虚拟人” 撬开千亿级市场
·虚拟现实于复健医学之运用
·联合入路中经额与经眶颧方向显露海绵窦手术的虚拟现实量化比较
·基于虚拟现实技术的正颌手术模拟预测方法建立
·64排螺旋CT三维重建和胰腺可视化仿真手术的应用研究
☏ 推荐产品

Ladybug5全景
商家:力方国际

ProJet®
商家:力方国际

ProJet®
商家:视科创新

Premium1.5
商家:视科创新

巴可HDX主动立体投
商家:德浩科视

巴可HDF-W26投
商家:德浩科视

巴可30000流明2
商家:德浩科视

巴可4万流明2K投影
商家:德浩科视
☞ 外设导航
☏ 企业名录
【广州】中科院广州电子技术有限公司
【北京】第二空间(北京)科技有限公司
【北京】幻维世界(北京)网络科技有限公司
【厦门】厦门惠拓动漫科技有限公司
【厦门】厦门幻眼信息科技有限公司
【深圳】深圳南方百捷文化传播有限公司
【北京】北京思源科安信息技术有限公司
【上海】上海殊未信息科技有限公司
【北京】北京赢康科技开发有限公司
【武汉】武汉科码软件有限公司
友情链接 关于本站 咨询策划 行业推广 广告服务 免责声明 网站建设 联系我们 融资计划
北京第三维度科技有限公司 版权所有 京ICP备09001338
2008-2016 Beijing The third dimension Inc. All Rights Reserved.
Tel:010-57255801 Mob:13371637112(24小时)
Email:d3dweb@163.com  QQ:496466882
扫一扫 第三维度
官方微信号