随着元宇宙、增强现实、虚拟现实和混合现实大火,3D内容也大幅增加,这增加了对3D资产创建的需求大幅增加。但一直以来资产创建都是由人工制作主导,虽然质量有保证,可效率实在太慢。当然,目前有很多方便的建模工具,也有一些程序性模型的生成节点等等,但限制很大。于是现在很多开发者把目光移向了AI,研究AI生成模型的工具。
提及人工智能这几年太火了,想必小伙伴们能随口说出一堆AI软件。我们也不止一次介绍AI在软件中的应用。不得不得说在很多方面加快了行业制作流程的迭代,同样加快了项目的交付速度。
有人可能会说,建模行业一直还没出现AI。哎?话可不能说的太绝对。今天我们就来看一个输入文本就能直接出模型的AI。
(资料图片)
推广
点击图片进入详情页
这样吧,我们先来看看目前的Demo演示。先上个动图,然后再慢慢琢磨视频。
据了解,这是Physna公司三名工程师组成的团队,在两周的时间内用8000个模型数据集创建生成的一个AI原型。
视频Dem o是生成的3D模型的一些示例。 看完是不是有点惊呆了? 其实在众多AI工具和功能中,生成模型的AI还真的少之又少。一个是因为3D模型太复杂了,世界万物,还有人类想象的东西;第二,格式众多,训练AI的模型也有限,这就导致分析模型有难度,所以很少有人关注这个领域的AI。
或许有人会想起Nvidia开发的Magic3D,还有谷歌的NeRFs(神经辐射场),这也是目前被认为从2D到3D最好的项目了。
“但这些也都是只是一个“空壳”,因为这些AI缺少内部组件和几何形状。也就意味着AI模型关于这个物体的信息很少,很难得到用户想要的结果。谷歌团队自己也说了nerf不能很好地替代真正的、有标签的3D模型。所以在可预见的未来,生成式人工智能在3D领域的表现将不会有其他领域那样好。”Physna CEO讲到。
而这恰恰是Physna的优势,Physna有世界上最大的带标签的3D数据库。接下来就看如何实现了。
于是利用他们核心技术给3D模型“编码”,也就是说,创建一个数字“DNA ”,以标准化的方式表示模型的几何形状、特征和属性。这样做可以识别所有的模型是如何相互关联的。这个关系矩阵允许使用人类生成的标签来以指数方式传递更多的标签(两到三个数量级)。这个标签系统不仅可扩展,而且非常可靠。
大体流程是这样的:
第一步:使用Physna一套获得专利的确定性算法来创建模型的第一级“DNA”。映射每个模型的属性、精确的几何形状和特征,并标准化模型。也就是给每个模型打上标签。这一步确保当精度提高时,有的东西不会被识别错误,并且它显示每个功能或部件应该如何配合。
第二步:使用一组由深度学习增强的专有非确定性算法。这一步确保不同大小和形状的模型在概念层面得到理解。
这两步让AI对每个模型有了深入的了解,与其他模型的关系,什么特性/组件组成了一个模型,以及它们在什么地方出现。对于训练中使用的每个3D模型或场景,学习更多的知识,让生成3D模型和场景更有效地工作。
推广
点击图片进入详情页
方法有了,进入测试阶段。一开始只是生成简单的场景,比如输入汉堡和蛋糕,都还不错。然后进入复杂是测试,于是他们利用亚马逊伯克利图书馆的8000个模型作为初始训练数据开始做复杂测试。8000个3D模型看起来很多,但相对于2D图像上亿的训练数据还是小巫见大巫了。不过虽然数据集量小,但完全可以创建一个非常简单的AI原型。于是就有了开头我们看到的那个演示Demo。
“从这些测试中有了一个意想不到的收获是,3D生成式人工智能最有挑战的部分不是生成模型或场景本身,而是在短时间内克服相对简单的错误,比如模型碰撞。虽然只使用如此小的数据集限制了原型的范围,但结果证明了3D生成式人工智能无论是在对象还是场景级别,都可以利用已有的大量数据。”开发团队说到。
可能很多小伙伴说,这不就是调用资产库么?小编也在质疑这个问题。如果说是直接调用,但是确实需要系统理解输入的文本后做 空 间,距离,比例,大小等等算法给出答案,或许这就是AI存在的意义?
人家也说了这都只是测试,也没有用于商业的目的,后续会不会实现更多功能或者改进都还是未知数,但作为行业者确实希望能有一款真正能实现AI建模的工具。