使用生成式 AI 为虚拟世界快速生成 3D 资产

为了加速 3D 世界和元宇宙的发展,NVIDIA 启动了许多人工智能研究项目,以帮助各行各业的创作者通过生成式人工智能解锁新的可能性。 生成式 AI 将触及元宇宙的各个方面,并且它已经被用于用例,例如使用 Omniverse ACE 将 AI 化身变为现实。其中许多项目,如从音频生成动画的Audio2Face和Audio2Gesture,已经变成了Omniverse社区中广受喜爱的工具。

使用生成式 AI 为虚拟世界快速生成 3D 资产
推荐:将NSDT场景编辑器加入你的3D工具链
3D工具集:NSDT简石数字孪生

使用生成式 AI 为虚拟世界快速生成 3D 资产

在CES上,NVIDIA推出了新的生成AI技术,这些技术将进入Omniverse,以帮助比以往更快,更轻松地创建虚拟世界。这些型号既可以作为 NVIDIA 合作伙伴的第三方连接器,也可以作为 NVIDIA 研究团队作为 AI ToyBox 中的扩展发布的内部 AI 项目提供。

NVIDIA Omniverse 中提供的所有生成式 AI 研究项目和连接器都使用合法许可和购买的数据集。

使用生成式 AI 连接器和扩展加速 3D 内容创建

NVIDIA Omniverse 正在引入最新、最伟大的生成式人工智能技术,以及第三方技术的连接器和扩展。

Move.ai 从身体动作生成动画。Move.ai 使您能够在任何地方捕获人体运动并直接导出到 Omniverse 中。

视频 1.NVIDIA Omniverse 中的个人拳击示例,Move.ai 运动数据为角色提供动力。

Lumirithmic通过面部扫描为头部生成3D网格。该连接器使您能够通过面部扫描轻松创建电影级头像,并为任何行业实现大规模 3D 扫描。Lumirithmic 联合创始人兼首席执行官 Gaurav Chawla 表示:“我们很高兴能与 NVIDIA 合作,通过 Omniverse 将我们的 3D 面部扫描产品带给创作者、游戏玩家和开发人员,使游戏、广告技术、元界和其他应用程序获得最高质量的 3D 面部的访问民主化。

视频 2.全宇宙 – 夜光 3D 头像捕获集成

Elevate3D 通过 3° 视频录制生成逼真的产品 360D 可视化效果,利用神经辐射场创建具有无与伦比的视觉保真度的 3D 网格。“Omniverse 使我们能够将我们的技术提供给最广泛的工作流程和行业。此外,出色的文档和开发人员经验使得在平台上构建我们的扩展成为一种乐趣,“Elevate3D的联合创始人Alexandre Carlier和Martin Danelljan说。“这一扩展将使扫描物理物体的挑战成为过去。

视频 3.提升全宇宙的3D扩展

探索和试验最新的生成式 AI 研究

AI 工作流是全宇宙体验的核心。这就是为什么 NVIDIA 不断开展新的研究项目,以帮助 3D 艺术家和创作者利用 AI 加速他们的工作流程。其中许多人工智能项目变成了广泛使用的功能,例如Machinima和NVIDIA Canvas中的姿势估计,这些功能通过一些360D笔触生成2度图像。

在CES上宣布的GET3D是一种新的生成AI模型,可从3D图像,文本和数字等数据生成具有拓扑,丰富几何细节和纹理的2D形状。这些 3D 形状或纹理网格可以采用动物和人类的形式,汽车、椅子、摩托车和建筑物即将推出,使多个行业的创作者能够快速扩展其虚拟世界中内容的数量和多样性。

GIF显示使用GET3D的田地里住满了一群奶牛
图1.GET3D 允许您快速生成 3D 动物和其他形状和网格来填充场景。

GET3D将与NVIDIA发布的现有生成AI研究项目(如GANVerse3D Image2Car和AI Animal Explorer)一起在Omniverse AI ToyBox中提供。AI ToyBox 包含所有最新的 NVIDIA AI 项目,使内容创作者能够探索虚拟世界中的新可能性。

人工智能与元宇宙:共生关系

正如人工智能对元宇宙的扩张至关重要一样,元宇宙对人工智能的扩张也至关重要。全球行业正在变得软件定义,从汽车到医疗器械再到仓库机器人。如果不在实际环境中进行全面测试,就无法开发或部署这些软件定义的技术。

元宇宙中的数字孪生提供了物理上准确的虚拟环境,使开发人员能够以前所未有的速度模拟和测试智能机器人等软件定义技术的人工智能。在元宇宙中创建的合成数据允许人工智能在比以前更多的数据上进行训练,从而进一步加速了尖端人工智能应用程序的训练。

生成式 AI 是扩展这些数字孪生和虚拟环境的关键,这将迎来 AI 和元宇宙的新时代。

3D建模学习工作室 翻译整理,转载请注明出处!

NSDT场景编辑器 | NSDT 数字孪生 | GLTF在线编辑器 | 3D模型在线转换 | UnrealSynth虚幻合成数据生成器 | 3D模型自动纹理化工具
2023 power by nsdt©鄂ICP备2023000829号