两家以色列初创公司Mantis Vision和SagivTech正为谷歌的Project Tango项目提供核心技术。Project Tango是谷歌公司的一项研究项目,项目技术能使配备有摄像头、传感器和复杂算法的设备对使用者周围的环境进行3D建模并与之互动。Mantis Vision公司为该系统提供主要的3D引擎,是Project Tango项目的关键。

谷歌公司的Project Tango项目已经进行多时,本周,谷歌发布了项目的细节,计划在六月发布Tango软件开发包,搭配英伟达公司(Hvidia)Tegra K1处理器的平板。开发包和平板价值共计1024美元。谷歌公司希望能有开发者借此开发好玩的游戏和应用,将3D技术带给“全人类”。

英伟达公司称,这款平板电脑的组成“包括为计算机视觉技术优化的摄像头,高级传感器融合算法和综合景深传感工具,还有英伟达的Tegra K1移动处理器。因此,它可以像人类一样感知空间和动作,迅速绘制室内空间的3D图纸,还可以创造将现实和虚拟物件融为一体的各种应用。”

Mantis Vision公司是Project Tango项目的关键。该公司研发的3D引擎MV4D,将作为核心3D引擎用于Tango设备中,引擎中包括程式化的光感景深传感算法。这项技术可以将摄像头拍摄到的2D画面转换为3D,并在设备的处理器中3D再现摄像头所见的场景,基于Tango的软件就可以对再现的3D环境进行处理和互动。

MV4D引擎的技术基于主动式三角测量系统,也就是说该引擎通过软件从不同的角度“观察”某个场景,并通过激光将空间尺寸、照明、阴影等信息也考虑在内。原图像将发送到计算机进行3D建模。游戏开发者可以利用这项技术构建3D的游戏空间,使用者可以上传图片作为自己的虚拟化身,而虚拟化身可以编进游戏中,成为游戏的一部分。

谷歌公司构想的正是这样的技术。谷歌公司称,基于Tango的平板电脑可在客厅构建一个3D的游戏空间,将游戏中的环境投射在墙上和天花板上,模仿真实3D动作,玩家玩游戏时便仿佛身在其中。基于Tango的应用还可以用来逛街,使用者可以拍摄一条连衣裙或者衬衫的照片,并将其投射到屏幕上的虚拟化身上“试穿”,或者拍下家具的照片,看看摆在自家客厅是否合适。谷歌公司称,Tango技术将大大方便残障人士的生活,基于这项技术的应用可以对纵深进行探测,并告诉有视力障碍的人诸如前方多少米有一个转角或者障碍物。

而Tango设备进入市场后,SagivTech公司的技术就派上用场了。SagivTech和欧盟的合作伙伴共同开发一项技术,可以将某个活动中不同的人从各种角度拍摄的视频整合起来,并转化为统一的3D视角。这个系统名为SceneNet,可以“将不同的视频缝合起来,无缝再现众包上传的活动场景。”函•萨姬芙(Chen Sagiv)博士说,他是SagivTech的首席执行官,同时也是SceneNet项目的首席协调人。“整个过程十分复杂,因为你得把不同的颜色整合起来,还要对灯光照明差异进行补偿,还要把由于拍摄设备性能差异等导致视频与其它视频不协调的因素考虑在内。”

SceneNet技术可以让屏幕前的观众从任意角度任意视角观看一个摇滚音乐会,观众可以将焦点放在鼓手或者吉他手上,也可以看整个人群,仿佛置身于音乐会一样,在人群中随意走动或者调整位置,寻找观看舞台的最佳视角。这项技术还可以用于社交应用,使用者可以在Youtube上合作,上传同一活动不同视角的视频,并将所有视频在云端整合成一个3D再现的场景,就像现在Google Docs的用户可以协作编辑网上文档一样。

谷歌公司计划今年发布第一台3D平板和手机,走在推广这项技术的最前沿,而其中Mantis Vision公司功不可没。Mantis Vision公司的首席执行官阿米亥•洛文(Amihai Loven)说:“3D技术代表移动电话领域重要的范式转移。这是从可拍照手机问世以来我们见过的最深刻的变革。MV4D引擎能让开发者将3D移动设备及其性能带给全世界。与谷歌公司的合作让Mantis Vision更加灵活,发展更快,也具有战略意义,同时也让技术得以推广,增进公司与消费者间的联系。我们将携手将3D带给全人类。”