分享写作范文、写作素材
每天为您分享优质范文素材!

3D模型“换皮肤”有多简单?也就一句话的事

给灰隆隆的3D数学模型加“新眼部”,这事能有多单纯?

那时,只须要一句话就能搞掂。

看!

两个普通小台灯,给个“Brick Lamp”的叙述,一瞬间变“铁板灯”:

两匹棕色黑豹,加上“Astronaut Horse”,俨然就成了“鼎新马”:

操作单纯不说,每两个角度上的技术细节和着色也都呈现出出了。

这就是用两个专门针对给3D球体“换眼部”的数学模型Text2Mesh做出的,由普林斯顿大学和海法大学联合打造。

打开金沙新闻,查看更多高画质图片

是不是有点意思?

一句话给3D球体“换眼部”

Text2Mesh数学模型的输出只需两个3D Mesh(无论原初影像质量高低),另加一句文字说明。

具体内容转换操作过程如下表所示:

输出的原初分层数学模型mesh,四角形V∈Rn×3,表层F∈{1, . . . , n}m×3,它们在整座体能训练操作过程中固定不变。

然后再构造两个神经艺术风格(neural style)互联网,为mesh每个四角形聚合两个式样特性,后续好在整座表层上定义艺术风格。

具体内容来说,该互联网将分层表层p∈V上的点态射成相应的RGB颜色,并沿切线方向偏转,聚合两个艺术卡通化了的如上所述mesh。

接着从多个快照对那个mesh展开图形。

再使用CLIP内嵌的2D增强技术让结论更精巧。

在那个操作过程中,图形影像和文档提示之间的CLIP关联性罚球,会被作为更新神经互联网权重的信号。

整座Text2Mesh不须要预体能训练,也不须要专门针对的3D Mesh数据集,更无须展开UV参数化(将四角分层展开到三维正方形)。

具体内容效果如何?

Text2Mesh在单个GPU上体能训练的时间只需不到25两分钟,高效率的结论能在10两分钟之内出现。

它能聚合各种艺术风格,并且技术细节还原成非常到位:

再比如说下表所示面那个,不管是变兔子、妖怪、蜘蛛人、浩克,还是贾伯斯、卡罗尔、律师……鞋子的皱褶、饰品、肌肉、秀发……等技术细节都能生动呈现出。

研究人员还设计了两个使用者调查,将Text2Mesh与剖面方法VQGAN相比。

打分涉及三个问题:1、聚合的结论自然程度;2、文档与结论的匹配度;3、结论与原初影像的匹配度。

57名使用者打分后,得出的结论如下表所示:

Text2Mesh在每项上罚球都比VQGAN高。

此外,在更复杂、更特殊的文档叙述之下,Text2Mesh也能hold住。

比如说“由绳结编织的闪耀的蓝色鞋子莫韦赞”:

“带波纹金属的蓝钢luxo台灯”:

更厉害的是,Text2Mesh数学模型还能直接使用图片驱动。

比如说就给一张仙人掌的照片,也能直接把原初棕色的3D小猪变成“仙人掌艺术风格”:

One More Thing

Text2Mesh代码已开源,在Kaggle Notebook上也有人上传了demo。感兴趣的便朋友能一试:

最后,大家知道这是只啥么?

本文链接:https://www.832212.com/html/69377.html