魔术的背后：让移动的照片成为现实
进出这些照片的人过去常常为哈利波特的世界保留。但现在，华盛顿大学的计算机科学家已将这种魔力带到现实生活中。
他们的算法，Photo Wake-Up，可以从2D照片或艺术作品中获取一个人，让他们跑步，走路或跳出画面。该系统还允许用户使用增强现实工具以三维方式查看动画。研究人员将于6月19日在加利福尼亚州长滩举行的计算机视觉和模式识别会议上展示他们的成果。这项研究在12月份在ArXiv上以预印形式发布时首次引起了媒体的关注。
“这是计算机视觉中一个非常困难的根本问题，”共同作者，美国威斯康星大学Paul G. Allen计算机科学与工程学院副教授Ira Kemelmacher-Shlizerman说。 “这里的一大挑战是输入只来自一个摄像机位置，因此部分人员是看不见的。我们的工作将现场开放性问题的技术进步与艺术创意可视化结合起来。”
以前，研究人员认为用一张照片制作一个人的动画是不可能的。
“以前的一些作品试图使用多个视点创建一个3D角色，”艾伦学院教授，共同作者Brian Curless说。 “但是你仍然无法让某人生活，并让他们跑出一个场景，而你却无法将AR带入其中。真的令人惊讶的是，我们只用一张照片就能得到一些令人信服的结果。”
该团队表示，Photo Wake-Up的应用很多。研究人员设想这可以为游戏玩家创造一种新的方式来创造实际上看起来像他们的化身，一种让游客与艺术博物馆的绘画互动的方法 – 比如坐下来与蒙娜丽莎喝茶 – 或者是让孩子们把他们的绘画带到生活中。研究论文中的例子包括动画金州勇士队的斯蒂芬库里跑出场外，保罗麦卡特尼跳出“帮助”的封面。专辑和马蒂斯的“伊卡洛斯”离开他的画面。
为了使魔法成为现实，Photo Wake-Up首先识别图像中的人物并制作身体轮廓的面具。从那里，它将3D模板与主体的身体位置相匹配。然后算法做了一些令人惊讶的事情：为了使模板变形以使其实际上看起来像照片中的人，它将3D人物投射回2D。
“很难精确地操纵3D，”共同作者艾伦学院的博士生Chung-Yi Weng说道。 “也许你可以粗略地做到这一点，但是当你为角色设置动画时，任何错误都会很明显。所以我们必须找到一种完美处理事物的方法，并且在2D中更容易做到这一点。”
Photo Wake-Up存储每个像素的3D信息：它与相机或艺术家的距离以及人的关节如何连接在一起。一旦模板被扭曲以匹配人的形状，算法就会粘贴在纹理上 – 图像中的颜色。它还通过使用来自图像和3D模板的信息生成人的背部。然后工具将两侧缝合在一起，形成一个能够转身的3D人物。
一旦3D角色准备好运行，算法需要设置背景，以便角色不会留下空白区域。照片唤醒通过借用图像其他部分的信息填充人后面的洞。
现在，Photo Wake-Up最适合面向前方的人物图像，可以为真实人物的艺术创作和照片制作动画。该算法还可以处理一些人的手臂阻挡他们身体部分的照片，但它还不能让那些双腿交叉或阻挡自身大部分的人动画。
“照片唤醒是一种与照片互动的新方式，”翁说。 “它还不能做任何事情，但这只是一个开始。”
该研究由国家科学基金会，威斯康星大学动画研究所，威斯康星实验室，Facebook，华为和谷歌资助。
故事来源：
物料 由…提供 华盛顿大学。原作由Sarah McQuate撰写。注意：可以根据样式和长度编辑内容。
相关多媒体：