使用 AI 将绘画和照片转换为动画
华盛顿大学和Facebook的研究人员最近发表了一篇论文,展示了一种基于深度学习的系统,可以将静止图像和绘画转换为动画。称为照片唤醒的算法使用卷积神经网络从单个静止图像以 3D 形式对人或角色进行动画处理。
推荐:使用NSDT场景编辑器助你快速搭建可二次编辑器的3D应用场景
华盛顿大学和Facebook的研究人员最近发表了一篇论文,展示了一种基于深度学习的系统,可以将静止图像和绘画转换为动画。称为照片唤醒的算法使用卷积神经网络从单个静止图像以 3D 形式对人或角色进行动画处理。
“我们的方法适用于各种各样的全身,相当正面的照片,从体育照片到艺术和海报,”研究人员在他们的论文中说。“此外,用户还可以编辑图像中的人体,在3D中查看重建,并在AR中探索它。
为了展示算法的力量,该团队使用了涂鸦,卡通人物,NBA球星斯蒂芬库里和毕加索绘画的图像。
这项工作的关键是一种独特的方法,它允许研究人员更紧密地扭曲静止图像中人物的2D切口,使算法能够生成与图像中的角色相匹配的逼真的3D动画网格。
使用NVIDIA TITAN GPU和cuDNN加速的PyTorch深度学习框架,研究人员将他们的软件基于一个名为SMPL的预训练模型,该模型最初由Microsoft和德国马克斯普朗克智能系统研究所的一个团队开发。
方法概述。给定一张照片,使用现成的算法执行人员检测、2D 姿势估计和人员分割。然后,将 SMPL 模板模型拟合到 2D 姿势中,并作为法线贴图和蒙皮贴图投影到图像中。我们系统的核心是:找到人的轮廓和SMPL轮廓之间的映射,将SMPL法线/蒙皮贴图扭曲到输出,并通过集成扭曲的法线贴图来构建深度图。重复此过程以模拟模型的后视图,并结合深度和蒙皮贴图以创建完整的绑定 3D 网格。网格被进一步纹理化,并使用彩绘背景上的动作捕捉序列进行动画处理。
由3D建模学习工作室 整理翻译,转载请注明出处!