搜狐首页 体育 法医秦明2

手机搜狐

SOHU.COM

来看一场 AI 重建的 3D 全息世界杯比赛!

来源:grail.cs.washington.edu

编辑:肖琴

你有没有想过让C罗、梅西或者内马尔在你家桌子上踢一场比赛会是什么样子?华盛顿大学、Facebook和Google的研究人员开发了第一个端到端的深度学习系统,可以将足球比赛的 YouTube 视频转换为运动的 3D 全息图,使用AR设备就可以观看到3D全息投影的足球比赛。这项研究将在 CVPR 2018 会议上首次亮相。

论文地址:http://grail.cs.washington.edu/projects/soccer/soccer_on_your_tabletop.pdf

世界杯来了!央视名嘴白岩松调侃 “俄罗斯世界杯,中国除了足球队没去,其他的都去了”,这届世界杯,中国球迷购买球票的数量在所有国家中排名第 9,可见球迷对世界杯的热情。那么,除了准备好小龙虾在电视机前观看世界杯比赛,你有没有想过让 C罗、梅西或者内马尔在你家桌子上踢一场比赛会是什么样子?

华盛顿大学、Facebook 和 Google 的研究人员开发了第一个端到端的深度学习系统,该系统可以将足球比赛的 YouTube 视频转换为运动的 3D 全息图。

用CNN重建一场足球比赛

“对一场足球比赛进行单目重建有很多挑战。我们必须估计相对于场地的摄像机姿态,检测并跟踪每个球员,重新构建他们的身体形状和姿势,并对联合重建进行渲染,” 研究人员在他们的研究论文中写道。

图1:以足球比赛的 YouTube 视频为输入,系统输出比赛的动态 3D 重建,可以使用增强现实设备在桌面上以交互式的方式观看。

下面的视频演示了这个系统:

这种方法的关键是卷积神经网络(CNN),研究人员通过训练 CNN 来估计每个球员与拍摄比赛的摄像机之间的距离。该网络分析了从足球视频游戏《FIFA》中提取的12000 张 2D 球员图像,以及从游戏引擎提取的相应 3D 数据,以了解两者之间的相关性。

这样,网络就能从没见过的 2D 图像中预估球员的深度图( depth maps)。当被展示没见过的视频时,系统能准确地预测每个球员的深度图,并将其与颜色素材结合,以3D 的方式重建每个球员。

图 2:重建方法的概览

以 YouTube 视频的帧作为输入,我们使用 field lines 来恢复摄像机参数。然后,提取边界框、姿势和轨迹(跨多个帧)来分割球员。通过在视频游戏数据上训练好的深度网络,我们在游戏环境中重建了每个球员的深度图,这样就可以在 3D 查看器或 AR 设备上呈现出来。

精选