首页| 行业资讯| 企业名录| 周边产品| 数字城市| 增强现实| 工业仿真| 解决方案| 虚拟医疗| 行业仿真| 图形处理| 军事战场
用户登录/注册 ×
资讯首页
行业资讯 >> 专业文献
基于汉字标志的增强现实系统
时间:2015-10-20    评论:0

    来源:第三维度
    作者:董子龙 章国锋 邵元龙 华炜
    单位:浙江大学CAD&CG国家重点实验室

    摘要:增强现实是将虚实信息融合的技术,该系统目标是利用普通的网络摄像头,实时地在用户提供的包围在黑色方框中的汉字标志图像上附加相关的媒体信息,有效扩展和丰富传统的看图识字。为了在复杂的光影下也能稳定地检测出标志,系统利用边缘提取优化了标志检测方法。为了稳定快速地求解摄像机参数,系统首先利用单应性矩阵快速求解出初值,并通过在优化函数中加入自适应的平滑性约束来抑制图像噪声的影响,使得求解的摄像机参数更加精确平滑。实验结果证明了该系统的稳定性和实用性。

    1 引言

    增强现实(Augmented Reality)是将现实世界和计算机生成的信息融合在一起的技术,这些信息可以是图像,文字,三维模型,和光照。增强现实极大地丰富了现实世界的信息,在医学,教育,娱乐,军事,游戏上都有丰富的应用[1] [2]。本文希望利用增强现实技术完成一个稳定的汉字学习系统,将计算机生成的多媒体信息与汉字图像结合起来,使学习手段更加丰富有趣(图 1)。

    对于增强现实系统来说,最重要的是准确地获取摄像机的方位参数,这样才能把虚拟信息和现实世界对齐,保证沉浸感。基于硬件感应器和基于视觉获得摄像机参数是常用的两个途径。基于硬件的方法通常成本高,装配复杂,但是比较稳定。反之,基于视觉的方法充分利用计算机视觉领域的成果,不需要额外的特殊装备,但是相对鲁棒性较弱。基于视觉的方法又包括自然特征和人工标志两类。对于本文的汉字学习系统而言,需要结合说明性的汉字图像,基于标志的视觉方法更为合适。


图 1  系统原型,在汉字标志上绘制相关媒体内容
Fig.1  System prototype,augment related media information onto Chinese-Character-Markers

    基于标志的方法[3]特点是速度快而稳定,ARToolKit [4]和ARTag [5]是其中应用最广泛的系统,他们都是使用黑色方框标志。ARToolKit的问题在于其二值化图像方法在复杂光影下很容易遗漏标志,而且摄像机求解不够稳定。ARTag利用边缘提取和内建编码扩展了ARToolKit的标志检测方法,但是他们使用的标志是一些分散的方块,本身不具备用户可以直接感知的信息。本文结合了两者的优势,提出一种新的标志系统,标志本身具有充分的信息,又能更稳定地被检测。

    在系统中,标志是包围在黑色方框中的汉字,标志大小已知,每一个标志拥有独立的摄像机参数。由于标志作为求解输入的特征信息很有限,求解的结果充斥噪声和错误。本文的做法是利用标志的四个角点,优化投影误差来确定摄像机参数。这是一个非线性优化过程,为了得到优化结果,通常需要一个较好的初值。由于标志是一个平面,从单应性矩阵出发就可以得到一个满足要求的初值。最后,为了消除摄像机参数噪声导致的抖动 [6],本文利用加权的历史运动信息[7],避免当前的解与之前的参数产生不合理的偏离,以保证参数的平滑。

    综上所述,本文完成三个方面的工作,(1)利用增强现实技术,实现了结合多媒体的汉字学习系统,丰富了学习的趣味性。(2)优化了基于边缘提取的标志检测方法。(3)结合单应性矩阵,投影误差,和平滑性约束,求解的摄像机参数更加精确稳定。

    图 2展示了系统的模块设计和流程。本文将在第2节介绍相关工作。第3节形式化地描述系统所依据的摄像机模型。汉字标识检测和识别方法在第 4节阐述。第5节详细介绍摄像机参数的求解过程。在第6节展示最终的实验结果,并在第7节总结现在的工作。


图 2  系统流程
Fig.2  System flowchart

    2 相关工作

    现有很多增强现实系统基于人工标志,因为相比自然特征,人工标志更容易跟踪和识别。Kato和Billinghurst的ARToolKit [8]是现今最常用的标志系统,利用方框标志,他们实现了诸如网络会议,魔法书,画图板等应用。但是ARToolKit对光照变化的适应能力比较弱 [5],而且没有消除参数的抖动。ARTag [5]扩展了ARToolKit,用更加鲁棒的边缘提取方法检测标志,而且将标志的编码内嵌在标志图像里,不仅避免预处理的时间和存储,而且降低了识别的错误率。

    还有一些特殊的标志,如Ryuhei等 [9]根据处理的背景物体设计对应的具有相似颜色的标志,并将标志放置在物体的角落上,以降低其对应用的视觉影响。Keisuke等 [10]在大标志里嵌套小标志,使摄像机无论远近都能检测到适当的标志,增加了摄像机的活动范围。而Shigeru [11]更是把标志设计成装饰壁纸,铺满房间的地面墙面,用户携带一个俯视的摄像机,可以在室内自由活动。

    大多数系统都没有消除由于图像噪声而造成的参数抖动。Vacchetti等[6]在当前帧的特征点和前一帧之间建立对应关系,同时优化两帧的参数得到平滑的效果。Gordon和Lowe[7]则是直接利用前一帧的参数来平滑当前帧的参数,但没有针对相机运动的旋转和平移分量的不同,对相应的平滑权重系数做自适应的调整。

    3 摄像机模型

    本文中的坐标为齐次形式,图像坐标表示为m = [u, v, 1]T, 三维坐标表示为M = [X, Y, Z, 1]T。系统遵循标准的针孔摄像机模型,三维坐标在图像平面上的投影坐标如下计算,

                                (1)

    其中~表示一个非零的尺度,R和t摄像机的旋转和平移变换,P是投影矩阵。R是3×3 正交矩阵,t是三维向量。K表示摄像机的内部参数,

    其中f是焦距, 是像素的纵宽比, (cx, cy)是图像平面的中心,s是倾斜系数。当前的工作假设K已知,用现有的工具[12]确定。

    4 汉字标志的检测和识别

    本文的汉字标志与ARToolKit类似,汉字置于黑色的包围框中,而且其大小已知,即其三维结构已知。假设标志所在的平面是Z平面,如果其角点的图像坐标m = [u, v, 1]T,则三维坐标M = [X, Y, Z, 1]T= [u, v, 0, 1]T,如图 3。


    
图 3  汉字标志图像及其默认的三维结构
Fig.3  Chinese-Character-Marker image and default 3D structure
                
    ARToolKit将图像二值化来提取标志轮廓,这样做的问题是很难设定一个统一的亮度阈值提取所有的轮廓。利用局部的对比度来确定轮廓是更加稳定的方法,因此,系统通过抽边来提取轮廓线。利用Canny [13]算法确定所有轮廓线上的像素之后(图4(b)),需要拟合出包围框的四条直线。Hough算法是拟合直线的通用方法,但是由于离散采样,不能完全得到精确的直线方程及其交点,需要根据轮廓线上的点进一步拟合(图4(c))。因此系统使用类似多边形简化的更直接,更高效的方法。具体步骤如下:

    1. 确定轮廓上距离最远的两个顶点v0, v2,然后分别确定到直线v0v2最远的v1, v3;

    2. 计算轮廓线上所有点到直线 v0v1, v1v2, v2v3, v3v0的距离 {di, i = 0, 1, 2, 3};

    3. 将点分成四个集合{ci, i = 0, 1, 2, 3},轮廓线上任一点v ∈ ct, t = mini{di, i = 0, 1, 2, 3}(图4(b));

    4. 分别对{ci, i = 0, 1, 2, 3}中的点拟合直线,如果得到的四条直线的残差都小于阈值,实验中设为1个像素,那么就认为找到一个矩形轮廓线。


(a)

 
(b)


 (c)                     (d)
图 4  通过边缘提取来检测标志轮廓线。 (a)输入视频帧, (b)Canny方法抽边结果, (c)Hough变换提取的直线, (d)多边形简化方法检测到的标志轮廓。
Fig.4  Extract marker contours with edge detection. (a) Input frame, (b) Canny edge detection, (c) Scattered line determined by Hough transformation, (d) Detected marker contours with our method.

    图4(d)是检测到的两个矩形轮廓线,四条直线的交点就是标志的四个角点。检测到标志区域之后,通过模板匹配确定其包含的内容。在此之前,利用标志的四个角点计算面与面之间的单应性矩阵,将标志图像归一化到大小一致的图像,再将其二值化。最后,为了确定标志的旋转,需要将归一化后的图像与四个方向的标志比较,如图5。


 
图 5  标志图像归一化及匹配
Fig.5  Marker image normalization and match

---PageCutFlag---

    5 摄像机参数的求解

    系统中每一个标志有独立的坐标系,系统将计算摄像机在每一个坐标系中的参数。如在图1中,系统会获得两组摄像机参数。由于只有四个角点的信息,而且处在同一个平面上,优化很容易出现退化情况,常常不能得到稳定的解。ARToolKit通过标志包围框的四条边之间的关系求解摄像机参数,其对图像噪声导致的直线偏移并不足够鲁棒。因此本文选择从单应性矩阵推导出摄像机参数的初值,并优化投影误差得到最终的参数。

    5.1 摄像机参数的初始化

    设投影矩阵 根据公式(1),Z平面任意一点[X, Y, 0, 1]T在图像平面上的坐标 .    

              (2)

    从公式(2)可以看出,K[r1  r2  t]就是从Z平面到图像平面的一个单应性矩阵,其中K是摄像机的内参,r1和r2分别是摄像机旋转矩阵的第一列和第二列,t是摄像机的平移向量。由于假定K已知,只要求得单应性矩阵λH = [ h1  h2  h3 ] = K[ r1  r2  t ],λ是非零的尺度,就可以通过下式算得摄像机的参数,

    其中λ = 1/||K?1h1|| = 1/||K?1h2||。于是,只要求出标志的四个角点从Z平面到当前图像平面的单应性矩阵,就可以估计出R, t的初值。

    5.2 优化与去抖

    通过单应性矩阵得到的摄像机外参只是一个估计值,往往不够精确,且很容易受噪声的影响。系统将通过进一步优化,抑制噪声带来的影响,得到准确的外参,从而使得合成的虚拟物体能够保持平稳而不发生漂移或抖动。首先是优化标志角点在图像平面上的投影误差,
           

                                    (3)

    n表示第n帧图像,i表示第i个角点。只优化目标函数(3)得到的摄像机参数,比较容易受图像噪声的影响(因为图像噪声使得每一帧上提取的角点位置存在一定偏差)。即使当摄像机固定不动时,求解得到的摄像机参数也会有明显的抖动现象,所以需要进行进一步优化,通过平滑性约束来消除图像噪声带来的影响。系统将分别利用第n ? 1帧获得的旋转和平移参数来平滑第n帧相应的参数,特别是当摄像机的运动很缓慢时,尽量使第n帧的解靠近第n ? 1帧。因为摄像机的旋转运动和平移运动往往具有不一致的特点,通常旋转的变化会更加剧烈,所以旋转和平移的平滑项需要分别加权,

                                        (4)

    其中α 和β分别用来控制旋转和平移运动的平滑度。首先,根据(3)计算Rn 和tn, 这等价于(4)中的α = 0, β = 0, 然后通过优化(4)平滑参数,每一次迭代,α和β如下更新,其中 是投影误差计算公式:

    根据摄像机的运动状态,旋转和平移的平滑系数会做出自适应的调整:保持上一帧的平移参数不变,将当前帧得到的初始解的旋转参数代入上一帧的结果中,如果得到的投影误差大,则说明旋转参数变化大,则减少旋转参数的平滑系数。反之,则增加平滑系数,以尽可能靠近上一帧的解,保持平滑性。旋转参数和平移参数的变化是独立的,因此系数分开计算,计算方法相同。k代表迭代的次数。在实验中,2?3次迭代已经足够。以上所有的非线性优化都使用Levenberg-Marquardt 算法。

    6 实验结果


图 6   增强现实结果
Fig.6  Augmented result

    实验使用的摄像头是罗技快看迷你高清版,Directshow开发包实时捕获640 ?480图像。CPU是酷睿2双核处理器T7100,主频1.8G。绘制图形采用OpenGL,因为OpenGL支持针孔摄像机投影模型,摄像机的内部参数用来设置OpenGL的投影矩阵,方位参数设置OpenGL的视图变换矩阵。只有将OpenGL这两个矩阵设置成与摄像机的现实参数一致,虚拟物体才可以和汉字标志配准。系统运行频率是30帧每秒,完全满足实时要求。图 6显示部分帧的增强现实结果,第一行是摄像头输入的第300,700帧图像及检测到的汉字标志,第二行是增强现实的结果。系统现在支持图像、视频和三维模型等信息。

    图7展示了本文的标志检测方法在复杂光影变化时,仍然能在边缘提取的基础上稳定地检测到汉字标志。

    图8和图9显示平滑约束使得摄像机参数更加平滑稳定。从图8可以看出,平滑参数对平移参数的影响很小,这是由于摄像机参数的抖动往往是由旋转引起的,从图9可以看出,在X和Y旋转方向上,平滑约束有效地抑制了噪声。


图 7   基于边缘提取的标志检测方法。(a)输入视频帧,(b)简单的图像二值化破坏了标志的结构,(c) Canny边缘提取,(d)标志检测结果。
Fig.7  Marker detection method with edge detection. (a) Input frame, (b) Simple binarization ruined the marker image, (c) Canny edge detection, (d) Marker detection result.

 
图8   平滑约束对摄像机平移参数的影响
Fig.8  Influence of the smoothness constraint on camera translation parameters


 
图9   平滑约束对摄像机旋转参数的影响
Fig.9  Influence of the smoothness constraint on camera rotation parameters

    7 结论

    本文提出了一个基于汉字标志的增强现实系统。与之前的一些基于标志的增强现实系统相比,本系统将汉字学习与计算机生成的多媒体可视化信息结合起来,丰富了汉字学习的手段和乐趣。本文的边缘提取相比于传统的基于图像二值化的检测方法,对光照变化具有较好的容忍性,能够适应实际应用中复杂的光影变化。在摄像机参数的求解上,利用单应性矩阵可以快速求解出好的初值,从而有效避免了直接的非线性优化极易陷入局部最优解的问题。并且,系统在摄像机参数求解中加入了平滑性约束,并根据旋转和平移运动的不同特点,提出了一套自适应的权重系数调整,不仅有效抑制了图像噪声对求解的影响,而且改善了求解的精度和稳定性。实验结果显示,本系统能准确快速地识别出汉字标志,恢复的摄像机参数具有很高的精确性,证明了该算法的稳定高效,能够满足增强现实的应用需求。

    参 考 文 献(References)

    [1] Ronald Azuma. A Survey of Augmented Reality [J]. Presence: Teleoperators and Virtual Environments , 1997, 6(4): 355–385.

    [2] Ronald Azuma, Yohan Baillot, Reinhold Behringer, Steven Feiner, Simon Julier, and Blair MacIntyre. Recent Advances in Augmented Reality [J]. IEEE Computer Graphics and Applications, 2001, 21(6): 34~47.

    [3] Xiang Zhang, Stephan Fronz, and Nassir Navab. Visual Marker Detection and Decoding in AR Systems: A Comparative Study [C]. In First IEEE and ACM International Symposium on Mixed and Augmented Reality, Darmstadt, Germany, pages 97~106, 30 Sep-1 Oct 2002.

    [4] Hirokazu Kato, Artoolkit [EB/OL]. https://www.hitl.washington.edu/artoolkit/.

    [5] Mark Fiala. ARTag, A Fducial Marker System Using Digital Techniques [C]. In CVPR ’05: Proceedings of the 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, Washington, DC, USA, Volume 2, pages 590~596, 2005. IEEE Computer Society.

    [6] Luca Vacchetti, Vincent Lepetit, and Pascal Fua. Stable Real-time 3D Tracking using Online and Offine Information [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2004, 26(10):1385~ 1391 .

    [7] Iryna Gordon and David G. Lowe. Scene Modelling, Recognition and Tracking with Invariant Image Features [C]. In Third IEEE and ACM International Symposium on Mixed and Augmented Reality, pages 110~119, Arlington, Virginia, Nov 2004.

    [8] Hirokazu Kato and Mark Billinghurst. Marker Tracking and HMD Calibration for a Video-based Augmented Reality Conferencing System [C]. In Second IEEE and ACM International Workshop on Augmented Reality, Washington, DC, USA, pages 85~94, 1999.

    [9] Ryuhei Tenmoku, Shinsuke Kaigawa, Fumihisa Shibata, Asako Kimura, and Hideyuki Tamura. Visually Elegant and Robust Semi-?ducials for Geometric Registration in Mixed Reality [C]. In The Sixth Int. Symposium on Mixed and Augmented Reality, Nara, Japan, pages 13~16, 2007.

    [10] Keisuke Tateno, Itaru Kitahara, and Yuichi Ohta. A Nested Marker for Augmented Reality [C]. In IEEE Virtual Reality Conference, 2007. VR ’07, Charlotte, North Carolina, USA, pages 259~262. IEEE, 2007.

    [11] Shigeru Saito, Atsushi Hiyama, Tomohiro Tanikawa, and Michitaka Hirose. Indoor Marker-based Localization Using Coded Seamless Pattern for Interior Decoration [C]. In IEEE Virtual Reality Conference, 2007. VR ’07, Charlotte, North Carolina, USA, pages 67~74. IEEE, 2007.

    [12] Jean-Yves Bouguet , Camera Calibration Toolbox for Matlab [EB/OL]. https://www.vision.ca ltech.edu/bouguetj/calib_doc/.

    [13] John Canny. A Computational Approach to Edge Detection [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1986, 8(6):679~698.
 

标签:汉字增强现实
上一篇:增强现实技术在文化遗产数字化保护中的应用下一篇:增强现实技术在人手功能康复中的研究进展
网友评论:基于汉字标志的增强现实系统
留名: 验证码:
最新评论
查看全部评论0
暂无评论
您可能还需要关注一下内容:
·传Magic Leap考虑出售:价格或超100亿美元
·BBC推出文物增强现实应用 Civilisations AR
·关于增强现实技术潜在发展方向的思考
·人民日报:虚拟现实 由虚向实
·外媒评Spectacles3:摄像头眼镜而已
·增强现实(AR)技术的教育研究现状及发展趋势
·IVRTC2019 第二届虚拟现实技术及应用创新大赛
·虚拟现实/增强现实的盈利尝试:盖思币
·虚拟现实、增强现实关键技术发展趋势
·苹果拟于2020年发布全新AR设备及ARM版Mac系列产品
☏ 推荐产品

小宅 Z5 2018青春版
商家:小宅

杰瑞特运动平台
商家:杰瑞特智能

Dikalis眼动追踪
商家:赢富仪器

魔神 Hawk
商家:魔神运动分析

5DT Binoculars
商家:四维宇宙

Christie DS+750
商家:四维宇宙

Zalman M220W
商家:四维宇宙

全息360°
商家:四维宇宙

PD F10 AS3D
商家:四维宇宙

PHANTOM系列
商家:四维宇宙
☞ 外设导航
☏ 企业名录
【深圳】深圳市观度科技有限公司
【沈阳】沈阳中申高新科技有限公司
【北京】北京未尔锐创科技有限公司
【南昌】南昌虚拟现实检测技术有限公司
【上海】上海桥媒信息科技有限公司
【宁波】宁波维真显示科技股份有限公司
【潍坊】歌尔股份有限公司
【上海】霍尼韦尔(中国)有限公司
【北京】科视Christie-中国
【北京】北京华如科技股份有限公司
关于本站联系我们融资计划免责声明网站建设广告服务咨询策划行业推广
北京第三维度科技有限公司 版权所有 京ICP备15051154号-3
2008-2020 Beijing The third dimension Inc. All Rights Reserved.
Email:d3dweb@163.com  QQ:496466882
Mob:13371637112(24小时)
关注虚拟现实
关注第三维度