数字人类时代:突破真实照片数字角色创作的极限

传统上,数字人类已经广泛应用于媒体和娱乐 from video game characters to CGI characters in movies 。但创造数字人类的过程是极其劳动密集型和手工的。它需要数百名领域专家,如艺术家、程序员和技术艺术家。另外,当人造人是假的时,人类也能理解。我们对神秘的山谷效应非常敏感,所以我们知道什么时候发生了什么。

推荐:将NSDT场景编辑器加入你的3D工具链
3D工具集:NSDT简石数字孪生

数字人类时代:突破真实照片数字角色创作的极限

多年来,我们一直致力于 数字人类 的创建。

传统上,数字人类已经广泛应用于媒体和娱乐 from video game characters to CGI characters in movies 。但创造数字人类的过程是极其劳动密集型和手工的。它需要数百名领域专家,如艺术家、程序员和技术艺术家。另外,当人造人是假的时,人类也能理解。我们对神秘的山谷效应非常敏感,所以我们知道什么时候发生了什么。

NVIDIA 正在研究加速和简化数字人类创作的工具和方法 我们相信 AI 和模拟是实现这一点的关键。

什么是数字人?

数字人的核心是我们在虚拟世界中的数字形式。从 3D 游戏的早期开始,VR 战士是最早展示 3D 角色如何一起战斗的人之一。如今,玩家可以体验流行游戏中令人难忘的角色的旅程,如战争之神,我们的最后一位。 或者你可能在流行电影中认出了数字人 ,就像那个臭名昭著的恶棍塔诺斯复仇者:终局或是布拉德·皮特在电影中扮演自己的老版本本杰明·巴顿。

通过数字化身讲故事,娱乐领域也出现了新的案例。 Fable AI 和 Baobab 等公司正在创建涉及数字角色的互动和虚拟故事。但我们如何定义数字人呢?我们可以用什么标准来描述不同类型的数字人类?

我们测量数字人类的尺度或范围通常有三种:

  • 现实主义与风格主义
  • 与离线相比,实时
  • 人工智能与人类驱动的比较
Graphic displays the breakdown of the digital human SDK: AI, generation, simulation, and rendering
图 1 。数字人 SDK

将数字人类带入生活

如前所述,创建数字人的过程可能具有挑战性。打造数字人类有三个主要组成部分,每一个组成部分都需要不同的艺术和技术组合:生成 动画 和智能。

要生成数字人类,团队必须首先制作 3D 模型、纹理、着色器、骨骼装备和皮肤变形,使其跟随骨骼。

对于动画和运动,艺术家必须关注数字人的物理元素,从身体和面部到头发和衣服。通常,它是变形和模拟的组合,以实现这些零件的正确运动。就现实表现而言,到目前为止,实现这一目标主要有两种方式;手动设置动画或使用各种性能捕捉技术获取运动数据。通常,这是两者的结合。

在过去几年中,使用 人工智能 (AI) 生成或合成动画的现象开始增多。他们的角色现在变小了,通常处理特定类型的性能,但这种情况正在迅速变化。

任何这些方法的底线都是创建基于上下文的行为,以便数字人类能够以可信的方式行动。要像真人一样表现情感和行为仍然很困难。人工智能和模拟领域的新技术正在帮助简化这一过程。

This graphic displays the quality of the human body and realism of skin on digital humans; it displays a sense of age and emotion in the skin that is rendered.
图 2 。数字人体皮肤

最后,艺术家必须为数字人类带来智慧,他们可以通过双向互动实现这一点。通过人类语言处理和自然语音技术,如 NVIDIA Riva 、 Ensemble Health AI 和 Replica ,数字人类可以与真实人类进行对话。他们也可以在虚拟世界和现实世界中拥有视野。它们可以识别物体并在环境中导航。他们可以看到与他们交谈的用户,并相应地进行查看和响应。

This graphic displays the multi-layer process of not only the facial exterior, but the muscles, cartilage, and more that makes the digital human so lifelike.
图 3 。数字人脸崩溃

数字人类的重要性

数字人类可能已经出现在媒体和娱乐领域,但对数字人类的需求正在增长,并且正在跨越各个行业。今天,我们已经看到了数字人类的所有好处和潜在用例。

首先,人工智能数字助理在医疗保健和零售等行业具有巨大潜力。对于医疗专业人员来说,数字助理可以帮助改进培训和程序。医生可以在真实的模拟中进行手术,他们可以进行数百次模拟,以确保在现实生活中进行手术之前获得最佳效果。在零售业, AI 数字协助可以通过提供更个性化的体验来增强客户服务。

his graphic displays a female AI digital assistant rendered in an anime style.
图 4 。女性人工智能数字助理

为了让这项工作发挥作用,人工智能数字助理需要对语言交流有深刻的理解。这是帮助人们更好地与数字助理互动和交谈的关键,这样他们就可以完成他们需要的任务。视频 1 。动画聊天机器人米斯蒂

对于建筑和 制造 等行业的其他公司来说,数字孪生兄弟正在帮助团队模拟大型环境中的工人和人,从工厂、城市到建筑物。在数字人的帮助下,公司可以通过精确的模拟来评估风险和预测环境,帮助他们确保物理建筑得到最佳设计。

数字人类的智能需求不同于人工智能数字助理。当你把一个数字人放在一个虚拟环境中,他们必须知道如何像人一样导航和行为,无论是工厂工人还是在摩天大楼中行走的游客。

This graphic displays how a digital human may act within a digital twin factory floor; it is important that AI agents act real humans would in various environments
Figure 5. Factory AI agent

最后,数字人类将有助于改进 creation of synthetic data generation 。对于人工智能来说,数据和训练神经网络是其本质。像 Synthesis AI 、 Microsoft 、 DataGen 、 Epic Games 和 Reallusion 这样的公司已经开始着手捕捉和合成 3D 数字人体数据,以训练 AI 模型。但我们需要更多的数据,特别是未来的数据。合成数据生成是人工智能发展的关键,而数字人类的合成数据生成对于扩展人工智能至关重要。视频 2 。为 Omniverse 创建动画数字人视频 3 。 Audio2Face :为超人类设置动画

每个声音都有一张脸

数字人类的前景如何?人们将创造性地利用一个被采用的数字人类世界。随着我们走向虚拟世界的体验,这一点将变得更加突出。

数字人对于虚拟世界体验至关重要。事实上,每个人总有一天都会有自己的数字版本,无论是准确的还是风格化的化身。

通过 NVIDIA Omniverse ,我们希望创建一个框架,使多种类型的数字人类能够共存。使用 Pixar’s Universal Scene Description (USD) 是所有 3D 行业的标准格式,因此每个人都可以交换数据并一起交谈。 Omniverse 有助于推动这些努力朝 USD 发展,这是使不同的应用程序和技术能够沟通和协作以创建数字人的关键。

对于拥有大量数字用户的大世界,我们必须能够扩大规模。这是一个具有挑战性的计算问题,要模拟能够相互连接的大世界,并且有大量能够实时交互的数字人类。但 Omniverse 正在应对这一挑战,该平台可以为大型世界和模拟提供动力。这对未来的物理和虚拟世界至关重要,在那里你可以拥有大量不同种类的数字人类,他们可以一起参与和互动。

随着时间的推移,真实人类和数字人类之间的联系将不断增长。这将不仅仅是在电脑上观看木偶。最终,计算机将阅读并与我们互动,就像我们在现实生活中所做的那样。

我们将能够与数字人交谈,甚至可以通过数字人订购商品、食品、处方和其他物品,然后数字人将向您交付有形的真实世界对象。交流和互动将成为一条双向的街道,这为自由和创新提供了新的元素。

3D建模学习工作室 翻译整理,转载请注明出处!

NSDT场景编辑器 | NSDT 数字孪生 | GLTF在线编辑器 | 3D模型在线转换 | UnrealSynth虚幻合成数据生成器 | 3D模型自动纹理化工具
2023 power by nsdt©鄂ICP备2023000829号