大数跨境

可能是最全面的Project Tango解析

可能是最全面的Project Tango解析 舜宇智能光学
2016-09-14
0
导读:可能是最全面的Project Tango解析




Project Tango发布起,就一直都被称为黑科技,在业内引起了非常广泛的讨论和探究。本文根据互联网公开资料,做了详细的整理、编辑力图给大家展现一个最全面的Project Tango。

 

一、Project Tango的发展历程


1、Project Tango 原型机

2014 年 2 月,Google 展示了一部硬件完全自定义的 Project Tango 原型机。





这部 Tango Phone 基于一部 5 寸的 Android 手机,配备了一系列摄像头、传感器和芯片,不仅能实时对周边环境进行扫描建模,还可以记住经过的路径、检测可视物体的距离。

 

2、Project Tango 平板

2014 年 6 月,Google 又推出了一款 Project Tango 平板。



 

它拥有一块 7 寸的 1080p 屏幕,搭载 Nvidia 四核 Tegra K1 处理器,配备 4GB RAM 和 128GB 内置存储,运行 Android 4.4 KitKat 系统。和 Project Tango 手机一样,平板也拥有两组视觉处理器和一组景深感应器。这款平板只面向开发者限量发售,普通消费者是无法购买的。

 

3、Project Tango 智能手机开发平台

在Google I/O 2015 上,高通和 Google 联合推出的一款 Project Tango 手机,名曰“Project Tango 智能手机开发平台”,这是 Google的第三Tango产品。




这款手机采用了高端智能手机的配置:骁龙 810 处理器以及巨大的 6.1 寸 2560*1600 分辨率屏幕。主要面向开发者以及手机厂商,类似于一个原型机,供其他市场玩家以此为蓝本开发设备以及应用。新设备配备了一个重要的新传感器——ToF(time-of-flight)摄像头,能够让 Tango 设备在极为紧凑的体积下完成景深测量。

 

4、Tango Phone

2015 年 8 月,英特尔和 Google 联合发布了一款搭载 RealSense 传感器的 Tango Phone,三个传感器分列在手机背部。




5、联想Phab2 Pro智能手机

2016 年 1 月的 CES 上,Google 联合联想展示了全球第一台可以商用的Project Tango 消费级手机——Phab2 Pro智能手机。Phab2 Pro智能手机Tango部分的整体构架弃用结构光,第一次全面采用TOF深度检测技术,在整体的功耗、整机尺寸和Tango Core上都做了深度地优化。




这款6.4英寸的平板手机拥有三颗摄像头,包括一颗鱼眼镜头和一颗红外传感器,从而实现大量的增强现实应用,产品将于9月在美国上市,售价499 美元。通过Tango的技术,这款手机可以实现类似微软的HoloLens的AR功能,并且基于Google的Tango SDK开发更多新奇的apps,届时整个Tango的Ecosystem将会更加丰富。 

 

同时Google正式宣布Project Tango正式更名为Tango,同时启用一个全新的Logo

 



二、Project Tango 的核心技术


Project Tango 主要有三个核心技术:运动追踪(Motion Tracking)、深度感知(Depth Perception)和区域学习(Area Learning)

 

1、运动追踪

Project Tango的第一个核心技术“运动追踪”的三维动态捕捉就是利用了单目视觉技术的升级版Feature Tracking(Google称为特征捕捉)。

 

这个技术是在传统9DOF(惯性测量单元、加速度计和陀螺仪)的运动检测基础上,额外增加了超广角鱼眼Camera,通过超广角鱼眼camera的视觉特征识别补偿,从而消除单纯IMU运动轨迹的累计误差。当设备在移动的过程中,超广角鱼眼Camera不断地一帧一帧进行拍摄,因为拍摄到的特征点的相对位置在不断变化(这里“变化”是指拍摄到的两帧之间同一个特征点的相对位置变化),通过计算就可以得到超广角鱼眼Camera的移动距离。

 

简单来说Tango设备在不断循环的一个过程就是:拍摄——识别特征点——匹配特征点——筛去错误匹配——坐标换算,通过IMU来捕捉相机的加速度和运动方向。当融合了IMU和Camera的数据之后Project Tango就实现了三维运动追踪。所以Project Tango的运动追踪功能可以理解为基于IMU技术的增强VSLAM,但这个时候是没有深度信息的,深度信息将由后续要介绍的深度检测单元来实现。 

 

2、深度感知

Project Tango的深度检测方案其实是基于第三方的硬件基础来实现,从第一的结构光方案,甚至基于RealSense的双目相机方案,到联想Phab2 Pro所采用的TOF技术方案,都不是Google自己所特有的技术,理论上来说能实现深度距离的检测。 



 

Project Tango 项目给设备制造商提供了三种深度感知技术的选择:结构光(Structured Light)、飞行时间(Time of Flight)和双目立体视觉(Stereo)。不论采用哪种方案,最终都是通过摄像头做一个坐标系XYZ获得三个坐标的点,从而获得一个点的深度信息。如果有深度信息加上运动追踪就可以测不在同一帧的两点之间的距离了。

 

Project Tango的深度检测是实时的立体空间检测,通过Tango Core优化的算法,配合Motion Tracking超广角鱼眼Camera抽取的特征点,快速地实时把实际环境动态建模,从而避免了海量运算,这也为移动设备能够集成Tango提供了可能性。 

 

3、区域学习

通过运动追踪和深度感知,可以获得Tango设备的移动轨迹和周边空间信息,但对于其所处的场景位置还是要进一步学习,才可以让其记住物理空间里面的关键可视物体,如墙边、墙角、桌子、椅子等。

 

为此Project Tango专门根据设计了“区域学习”功能,其核心是把Tango设备检查到的空间深度信息和超广角Camera检查到的特征点匹配成一组场景信息存在Tango设备中,随时跟检查到的新场景(深度和特征点)做匹配运算,一旦发现检查到的新的场景和某个预设的场景中深度和特征点信息匹配,则Tango设备会把自己重新马上定位到预设的场景中去,并且同步修正追踪的数据,为下一次场景匹配做准备,终而复始地做如上的操作,就可以让Tango设备能够像人类一样非常方便地判断自己所处的空间位置和所在场景。 




其实区域学习是把前面的运动检测和深度检测两个功能做的一个结合,从而做到1+1>2的功效,通过区域学习功能,Tango算法把IMU、摄像头和深度信息集成到一个本地端小型数据库中,通过对数据库的自我扩充和匹配,从而实现场景学习的功能,也就完美地模拟了人眼对真实世界的感观。 

 

三、Project Tango 主要应用

 

1、室内地图

此前 Google Map 就有推出室内导航,但一直都不瘟不火,主要是支持的地方太少,Google 也不可能像拍街景那样,一个又一个地方去扫。



 

现在这种情况有望得到改变,借助 Project Tango 设备,各种室内场景如商场、图书馆都能轻易地绘制地图。用户也可以利用手机感知周围环境的特性,达到更精准的室内导航。

 

2、VR

凭借陀螺仪与指南针,Gear VR 和 Google Cardboard 能捕捉你的头部动作,但却无法确认空间位置。Oculus Rift 和 HTC Vive 这类高端设备能对用户进行位置追踪,但这种 Outside-In 解决方案需要借助外部摄像头或激光发射器。

 


 

而搭载 Project Tango 技术的头显无需外部硬件配合,依靠头显自身就能完成位置追踪。这种解决方案称之为 Inside-Out。德国一个头显开发商 Durovis Dive 就曾推出过依靠 Project Tango 技术进行 Inside-Out 位置追踪的设备。

 

3、虚拟购物

在联想Techworld的发布会上,Johnny用Phab2 Pro演示了美国家具巨头Lowe’s的虚拟购物应用:在不知道想要买什么家具的情况下,可以用Phab2 Pro来在家里的实际环境中,虚拟地摆放家具、调整颜色和款式,从而确认哪个家具是最适合的。 

 

在购车的时候,可以让用户在家里360度实际感受新车的形态,甚至可以坐到车里面去观察车的内饰,还可以根据自己的爱好调整喷漆颜色,内饰配置。 类似的应用还有虚拟房地产推销等。 


4、教育培训

通过虚拟博物馆,可以让用户足不出户就学习到九大行星的运作,并且近距离观看太阳系的运行、了解恐龙的生活习性等。 培训机构也可以通过Project Tango实现远程虚拟教育。 

 

其实Project Tango的应用还远不止这些,基于Tango的SDK,用户可以随意开发更多的应用,比如VSLAM、盲人导航系统、机器人控制… 如果能将Project Tango做成标准模组,那么可以实现的功能会更广泛,也许某一天你的手机或者VR头盔加上Tango模组,立刻就能让你的设备增加空间感知能力,从而让用户进入到一个完全不同的空间。 

 

期待Project Tango能成为开启下一个技术革命的窗口。 


本文根据互联网公开资料整理而成,如有侵权或者错误,请联系我们!



本文作者:鲁丁






【声明】内容源于网络
0
0
舜宇智能光学
舜宇集团子公司,打造机器人、XR&智能穿戴、AIoT全场景视觉方案!为您提供前沿行业资讯!
内容 384
粉丝 0
舜宇智能光学 舜宇集团子公司,打造机器人、XR&智能穿戴、AIoT全场景视觉方案!为您提供前沿行业资讯!
总阅读326
粉丝0
内容384