一个以色列团队和欧盟合作伙伴正在共同开发一项视频合成技术,把不同人从不同角度拍摄的同一活动的视频合成为整个活动的单个3D视图。

SceneNet就是正在开发此技术的团队,其首席协调员函•萨姬芙(Chen Sagiv)博士指出,“这是一种终极众包,我们收集包括手机和平板电脑等不同设备拍摄的视频,再合并这些视频,提高分辨率并添加3D效果。此系统能够制作出高分辨率的单个3D视频,可以从各个角度看到每个动作,犹如身临其境。”

通过SceneNet,观众可以选取他们想要的任何一个角度或者视角观看一场摇滚演唱会。他们可以选择锁定鼓手或者吉他手,或者观看人群。通过在人群中移动或者走上前更好地观看舞台上的演出,会让他们感觉仿佛自己也在现场。

事实上,萨姬芙和她的丈夫尼灿正是在一场摇滚演唱会上有了创建SceneNet这个想法。“五年前,在赶时髦乐队的特拉维夫演唱会上,我们当时正享受着乐队的表演,尼灿注意到每个人都在用各自的手机拍摄视频。”萨姬芙说,“当时手机的视频捕捉能力导致拍摄画面质量低下,还有很多的背景噪音,采光效果也不佳,但是现场感却是十足。我们意识到如果我们有片段镜头,我们可以提高其分辨率。如果我们可以把这些片段镜头合并在一起,我们就能做出一个宛如实时录制的演唱会视频。”

萨姬芙解释说:“此系统通过对众包设备上传的每一个场景进行匹配,将各个视频首尾相连。这是一个复杂的过程,因为必须匹配不同的颜色、调和不同的光线、平衡不同设备的性能以及处理其他使相同场景产生差异的因素。”

萨姬芙称,此系统采用了连接视频、平衡和校正颜色、确保音视频同步等技术。镜头网需要利用这些技术解析数千个上传至云端的视频,找出每个视频的共同特性,再根据需要对视频片段进行处理,使其成为最终视频中自然的组成部分。

SceneNet实际上是一个企业团队,由萨姬芙自己位于赖阿南纳的萨姬芙科技公司和几个欧洲的合作伙伴组成。欧盟委员会已同意在2016年全年为此项目提供资金。萨姬芙的团队负责视频的合并以及项目的协调工作。项目的颜色和音频协调工作由来自德国布莱梅大学的彼得•马斯(Peter Maass)教授和瑞士洛桑联邦理工学院的皮埃尔•范徳该隐斯特(Pierre Vadergheynst)教授带领完成。

据萨姬芙说,合并视频最大的挑战就是需要设法自动识别匹配的视频并把这些视频放在正确的位置,就好像是拼拼图一样。分类整理全部内容需要进行高强度的视频加工,幸好萨姬芙的公司具备这些能力。萨姬芙科技公司在2009年开始运营,是图片处理单元计算和计算机图像领域的革新者。上述两个领域都推动了SceneNet项目的向前发展。

萨姬芙的团队由12人组成。该团队为合成视频建设了移动基础设施,还研发了一种用于标记视频,并把视频传送至云端服务器的系统。除此之外,该团队为视频建立了3D优化机制以及探索出通过网络社区共享内容的途径。

萨姬芙表示,上述工作进展良好。最终成果可能还需五年才能完成,但现在已经完成了一部分。“这是一个大工程。因为视频需要很强的处理能力,云端视频尤甚。但是毫无疑问这项技术将成为商界和消费者市场的重要部分。”她解释道,“在整个系统准备就绪之前,公司可能就会拿出部分技术,应用到设备和软件领域。”

尼灿也是函在萨姬芙科技的合作伙伴。他表示,“该技术的基本用途是面向大型活动,比如演唱会。但是这也将给文化带来变化。如今,每个人都在用智能手机拍摄各种各样的活动视频,包括拍摄新闻事件。这是首个真正的众包视频平台,通过目击者拍摄的众包视频,大家可以以全新的方式播送、观看新闻以及浏览在线内容。”