电影和电子游戏自动素材匹配

在我们这些玩电子游戏或观看电脑制作的充满图像的电影的人当中，很少有人会花时间坐下来欣赏那些使画面如此令人兴奋和身临其境的手工制作。

这方面的一个关键方面是纹理。我们在屏幕上看到的光滑的图片通常是无缝渲染的，但它们需要在幕后进行大量的工作。当特效工作室在计算机辅助设计程序中创建场景时，他们首先对计划放入场景中的所有物体进行3D建模，然后为每个生成的物体赋予纹理:例如，使一张木桌看起来是光滑的、抛光的或哑光的。

如果设计师试图从现实世界中重建一种特殊的纹理，他们可能会发现自己在网上搜索，试图找到一种与场景匹配的纹理。但大多数时候，你不能只是给一个物体拍一张照片然后在场景中使用它——你必须创建一组“贴图”来量化不同的属性，比如粗糙度或光级。

有一些程序使得这个过程比以往任何时候都更容易，比如在《银翼杀手2049》中，Adobe的物质软件帮助推进了逼真的拉斯维加斯废墟。然而，这些所谓的“程序性”程序可能需要几个月的时间来学习，而且仍然需要花费几个小时甚至几天的艰苦时间来创建一个特殊的纹理。

领导的一个研究小组从麻省理工学院计算机科学和人工智能实验室(CSAIL)开发了一个方法,他们说可以使纹理更乏味,以至于你可以拍照一些你看到商店,然后重新创建材料在家用笔记本电脑上。

“想象一下，你可以给一条牛仔裤拍张照，然后让你的角色在电子游戏中穿着它，”博士生梁石(音译)说，他是一篇关于新“配对”项目的论文的第一作者。“我们相信，这个系统将进一步缩小‘虚拟’和‘现实’之间的差距。”

施表示，MATch的目标是“显著简化和加快使用机器学习创建合成材料的过程。”该团队对合成材料和摄像机捕捉到的真实材料进行了匹配评估，结果表明，与现有的最先进的方法相比，它能够以更高的分辨率更准确地重建材料。

在与Adobe研究人员的合作中，一个核心元素是一个名为“DiffMat”的新库，它本质上提供了构建不同纹理材料的各种构建块。

该团队的框架包括几十个所谓的“程序图”，这些图由不同的节点组成，它们都像迷你instagram过滤器:它们接收一些输入，然后以某种艺术的方式将其转换成输出。

“一张图表只是定义了一种方法，可以将数百个这样的滤镜组合在一起，以达到非常复杂的视觉效果，比如特定的纹理，”施说。神经网络选择最合适的滤波器节点组合，直到它感知上与用户输入图像的外观相匹配。

下一步，Shi说团队想要超越仅仅输入单一的平面样本，而是能够从弯曲物体的图像中捕捉材料，或者在图像中使用多种材料。

他们还希望扩大管道，以处理更复杂的材料，这些材料因其指向方式不同而具有不同的特性。(例如，对于一块木头，你可以看到沿着“纹理”方向的线条;木材与木纹相比，木纹更结实)。

施Wojciech Matusik合写论文与麻省理工学院教授,与麻省理工学院研究生研究科学家北辰李和Adobe研究者米洛šHaš,Kalyan Sunkavali, Radomir Měch, Tamy Boubekeur。这篇论文将在本月的亚洲计算机图形会议上发表。

这项工作部分得到了美国国家科学基金会的支持。