NVIDIA 发展 2D 图像转 3D 模型技术，预计重建经典霹雳游侠霹雳车

为解决使用者把2D图像转换成3D的需求，绘图晶片大厂辉达 (NVIDIA) 旗下的 NVIDIA Research 正在开发一款全新的深度学习引擎，可以使用基本的 2D 影像来建立 3D 物件模型，并且能够在 NVIDIA Omniverse 中将影集 《霹雳游侠》 里那辆人工智慧 (AI) 霹雳车 KITT 这类极为经典的车辆化为现实。

辉达表示，由位在多伦多的 NVIDIA AI Research Lab 开发的 GANverse3D 应用程式，能将平面影像打造成逼真的 3D 模型，并且可以在虚拟环境中进行视觉化的呈现和控制。这项功能可以帮助建筑师、创作者、游戏开发者和设计师轻鬆地在他们的模型中加入新的物件，无需 3D 建模方面的专业知识，也不用花费大笔预算进行渲染。

而为了产生训练用的资料集，研究人员利用生成对抗网路 (GAN) 来合成从多个视角描绘同一物件的影像，就像摄影师围绕一辆停放的车子走动，并从不同的角度进行拍摄。这些多视角影像被插入一个用于製作反影像的渲染框架中，这便是从 2D 影像推论出 3D 网格模型的过程。使用多视角影像进行训练后，GANverse3D 只需要一张 2D 影像便能预测出一个 3D 网格模型。

另外，此模型可以搭配 3D 神经网路渲染器，让开发人员可以控制自订物件和背景交换。如果将 GANverse3D 当作 NVIDIA Omniverse 平台的扩充项目进行汇入，并且在 NVIDIA RTX GPU 上运行，便能透过 GANverse3D 把任何 2D 影像重新打造成 3D 物件，例如将 1980 年代热门电影影集《霹雳游侠》中，那辆深受观众喜爱、协助主角打击犯罪的经典汽车 KITT。

辉达强调，研究人员为了重建霹雳车 KITT，将汽车影像丢进训练好的模型，让 GANverse3D 预测出相应的 3D 纹理网格，还有车轮和头灯等各种车辆零件。他们接着使用 NVIDIA Omniverse Kit 和 NVIDIA PhysX 工具，将预测出的纹理变成高品质的材料，让霹雳车 KITT 的外观和感受更加真实，并将其置于动态的驾驶序列中。

辉达进一步强调，不是每个创作者都有足够的时间和资源为他们绘製的每个物体建立 3D 模型，因为渲染一台展示间里的汽车或街道上的建筑物，所需捕捉的多视角影像成本可能会令人望之却步。这正是经过训练的 GANverse3D 应用程式可以派上用场的地方，将一辆汽车、一栋建筑物，甚至一匹马的标準影像，变成可以在 Omniverse 中进行自订及製作动画的 3D 物件。

所以包括游戏、建筑与设计领域的创作者，使用像 NVIDIA Omniverse 模拟与协作平台这样的虚拟环境来测试新的想法，并且在打造最终产品前，能以视觉化的方式呈现原型。开发人员透过 Omniverse Connectors，便能在 Omniverse 中使用他们喜爱的 3D 应用程式，以即时光线追蹤技术来模拟複杂的虚拟世界。而辉达也预计将在接下来 5 月的国际学习表徵会议 (International Conference on Learning Representations; ICLR) 与 6 月的国际电脑视觉与模式识别会议 (Conference on Computer Vision and Pattern Recognition; CVPR) 的两场会议上发表 GANverse3D 背后的研究成果。

(首图来源:辉达提供)