[VR专家视角]增强现实（AR）追踪技术的探讨－Model Based Tracking
2016-10-25 黑科技智库
黑科技智库
国家重点实验室、“千人计划”人才聚集地
1000+VR行业企业交流与资源对接平台
100亿级精准投融资机构、产业基金平台
1000+创业项目CEO发声、发布需求媒体
现任暴风魔镜AR/VR交互技术负责人， 曾为梦想人科技联合创始人,交互技术总监， 曾在新加坡国立和新西兰HitlabNZ实验室做AR研究超过5年。该实验室是由ARToolkit创始人Mark Billinghurst创立，在AR界拥有极高的声誉。古鉴于2015年加入暴风魔镜担任AR/VR交互技术负责人，帮助暴风魔镜研发AR类产品及相关交互技术。
黑科技专家（VR行业NO.80号专家）暴风魔镜 交互技术总监 古鉴
图一 现代汽车运用增强现实技术
很多人问我这是用到了什么样子的AR技术，是不是SLAM？没错，这里面的确用到了SLAM相关技术，更确切的说，应该是SLAM框架中的一个重要的技术环节：基于模型的追踪技术（ModelBased Tracking）。
今天，就让我们来讨论一下这个基于模型的追踪技术技术。我先从整体介绍一下增强现实中的追踪技术。增强现实技术的核心组成部分主要是(图二)： 显示技术，输入交互技术和识别追踪技术。
图二：增强现实的核心技术
显示部分主要是光学成像相关技术，该部分与硬件相关的比较多，这里就不做展开介绍了。输入交互的技术主要涉及语音交互，手势交互等。这个我们会在下一期里面重点讨论。我认为有了交互技术及空间感知的追踪技术，即可实现了AR的基本功能。在这里，我门重点介绍追踪技术。追踪技术是计算机科学中一个广阔而重要的领域，它在教育、娱乐、工业和制造领域具有广泛的应用。伴随着成像设备和硬件计算能力的发展，当前基于计算机视觉的物体跟踪技术取得了重大的发展。
追踪技术主要分为：光学追踪，内部传感器追踪，超声波追踪，磁力追踪，机械装置追踪。光学追踪是相对来说成本最低，比较精确的解决方案。它的难点主要在于视觉算法的门槛较高。AR中的光学追踪分为几种（见图三），在VR中OutsideIn的方式用的比较多，比如说Occulus, HTC, PSVR用的都是Outside进行的位置追踪。但是在AR中，基本都是InsideOut, 比如说Hololens. 当然最近Occulus的一体机用的也是InsideOut的追踪方式。 InsideOut比OutsideIn更加方便，成本更加低。 但目前，OutsideIn的方式更为精确一些。 如在一些工业场景，多使用反光材质的标示点或特殊材质进行Outsidein光学追踪。 标识追踪现在用的比较多，比如说大家看到的识字卡片，绘本等都是所谓的标识追踪，其最早的代表就是ARToolkit的。但该基于Marker的技术需要预先在AR场景中粘贴一定的标识，在用户体验和适应性方面具有较大的局限性。为此，基于无标识的AR技术是目前发展的方向。其中，无标识别追踪是实现该技术核心问题之一，像是SLAM等都是属于这个类别。我们这次主要介绍红色部分的Model-Based Tracking。
图三 光学追踪分类
Model-Based Tracking的主要技术框架如下图四所示，下面将该过程分为建模（Models)、视觉信息处理(Visual processing)，跟踪(Tracking)三个方面，并依次对其进行展开。
图四：基于模型跟踪的三个主要任务：Models，Visual processing，Tracking
1.模型建立（Models）
模型（Models）的建立主要从目标、传感器和环境三个方面展开。首先对于跟踪目标，需要该目标一些先验信息（prior knowledge)，如被跟踪物体的形状、外观、姿态等特性。其次是需要从传感器的角度去考虑，比如如果使用未标定的单目相机，其获取的信息多以pixel为单位，若使用立体相机或深度相机，其构建的尺寸信息是Metric的，因此不同传感器的选择对被跟踪物体的表征形式会有不同影响。最后是从环境的角度，在基于视觉的跟踪过程中，环境对跟踪的准确性具有很关键的作用，比如在室内光照、环境相对稳定的情况下，重建所得模型就具有更加稳定，能很大程度提高基于模型跟踪的准确性。
当前，在模型建立（models）阶段，主要可分为Online和Offline两种模型构建技术。Online在线建模方式：以SLAM为代表，其在追踪的同时建立模型，其中追踪和建模是两个相互依赖的过程，其彼此间的误差会相互传递并累加，为保证较好追踪精度，一般需要借助Bundle Adjustment等优化方法调整。但目前，该优化方法计算量较大。目前在PC端有较好的实现，在移动端尚存在计算能力相对不足的问题。Offline离线建模方式：将建模和跟踪分开，规避了SLAM过程中建模的不确定性，同时克服了建模所需大量运算量的问题，因此该方法能提高跟踪的精度和效率。
目前Offline离线建模主要是有两种情况:（1）已知目标物体的CAD形状，如模型在设计制造过程中已有的CAD先验知识，在工业应用及企业级别的应用场合，因此多以本情况为主。（2）通过传感器（如结构光扫描, RGBD，ToF等）逆向获取目标物体的模型信息，然后以此模型作为一个先验知识。在实际的生活应用中，个人参与者不大可能获取已有物体的CAD形状，因此只能借助简单的传感器离线获取模型，因此这种离线获取模型的方式更加适用于消费者。
图五不同的物体跟踪形式（当前主要以Shape和Appearance为主）
2.视觉信息处理 (Visual processing)
视觉信息处理主要是提取和关联传感器所获取的目标物体信息，以更新整个跟踪系统的状态。在实际的应用中，我们需要根据被跟踪目标的特性，选择稳定的跟踪线索（如颜色、边界、运动规律、背景信息等等）。
具体在实际应用过程中，是根据构建的模型信息，确定被预处理的对象。如在工业的AR等跟踪过程中，多以CAD的形状和拓扑信息为处理对象，该视觉信息处理过程即为对形状和拓扑信息的采样提取，和数据关联等。在2D/3D领域，多以其各自对应的纹理特征和形状特征为研究对象，整个视觉信息的处理过程是以提取、优化获取构建模型的稳定特征为目标。目前，该方法可进一步细分为：济源颜色的信息处理；基于关键特征的信息处理；基于轮廓的信息处理和基于模板的信息处理四部分。
3.跟踪 (Tracking)
当被传感器获取的数据经预处理输入后，即可实现物体的定位跟踪，该过程具体可以细分为检测和跟踪两个阶段。在检测阶段，需要以被跟踪物体的先验信息作为初始值，利用觉信息处理技术获取的模型信息，与输入的数据进行匹配，确定其在空间的姿态，实现对目标的跟踪。目前针对移动端6DoF（Degree of Freedom）的跟踪，主流是采用视觉和IMU进行融合，实现更稳定的跟踪（如Tango）。
以上就是我们介绍的model-Based tracking.以后我们会逐一介绍增强现实技术是如何实现的。
黑科技的旅行专业智库有观点有态度
