往黑匣子里看

从自动驾驶汽车到机器翻译，人工神经网络是目前机器学习中最热门的领域之一。

现在，人们对揭示这些类似大脑的系统是如何思考的兴趣越来越大，它为我们理解世界的方式提供了意想不到的见解。加州大学圣巴巴拉分校(UC Santa Barbara)媒体艺术与技术研究生项目的博士生法比安?

在加入加州大学圣巴巴拉分校之前，他曾在德国卡尔斯鲁厄的ZKM |艺术与媒体中心担任策展人。他意识到神经网络的研究为探索艺术和哲学概念提供了一个独特的机会。“他们的观点可能从根本上与我们自己的观点不一致，”奥费特说，“但我认为这正是为什么这个研究如此有趣的原因，也是为什么人们，尤其是从事人文学科的人——研究解释、感知、抽象和表现——应该研究这些东西的原因。”

人工神经网络从它们的生物对手那里获得灵感。在人脑中，数据流进入系统，在那里它被称为神经元的相互连接的功能层处理。每个神经元寻找一种特定的混合特征，而那些在较早层次的神经元通常选择较低层次的特征——比如形状、图案和颜色。更高的层响应更基本元素之间的组合和关系。例如，一个长而垂直的物体位于两个圆圈之间，可能会触发一组识别人脸的神经元。最后一层提供高级分类，然后程序生成结果。

科学家和工程师们热衷于了解这些神经网络的运作过程，因为他们感知世界的方式往往与我们不同。在某些情况下，准确地了解网络得出某个结论的原因是很重要的。例如，在预测累犯率或信贷批准时。

要查看这些黑盒内部，Offert使用了一种称为特性可视化的方法。他利用一个训练有素的神经网络对图像进行分类，并向其输入随机噪声。但他并没有运行整个程序，而是停在一个特定的神经元或感兴趣的层上，观察它是如何被激活的。这告诉他噪声距离这一层的最佳图像有多远。然后他返回传播结果，调整输入并重复这个过程，直到激活水平稳定下来。结果提供了一个超现实的近似值，这个特定的神经元或层究竟在寻找什么。

有时这些特征与我们自己的经历相符。例如，由蜜蜂图像激活的神经元似乎在交替的黄色和黑色条纹上归零。然而，用雨伞整理照片则更加细致入微。这个神经元似乎专注于下垂的形状，但也会被数字和冷色激活。

有些图像类很难分类，因此即使在较高的层次上，模糊性仍然存在。奥费特说:“因此，高水平的辐射不仅代表一种物质，而且往往是多种物质的混合物。”它们将发挥多种不同的功能。通过接受这些模糊的图像，奥费特认为，学者们可以利用它们来发现图像的特性，这些特性可能不那么直观。

事实上，“单个神经元可能不是人类可解释性的正确度量标准，”奥费特表示，“这很有趣，因为这意味着，作为一种人工感知，神经网络对世界的看法与我们截然不同。”

例如，Offert研究了加州大学戴维斯分校的计算机科学家Gabriel Goh所做的工作。2016年，Goh决定在一个神经网络上使用特征可视化，该神经网络根据图像是否显式对其进行分类。正如奥费特指出的那样，生成的图像绝对不适合工作，但很难确定确切原因。

然而，Offert更感兴趣的是最小程度激活的图像——系统能够生成的最安全的图像。由于清晰的图像没有一个完美的对应，他希望看到的只是噪音。然而，在这些SFW图像中出现了一个明显的趋势:它们大多数看起来像悬崖或大坝。

尽管这可能令人费解，但Goh提出了一个奥费特认为可能正确的假设。Goh认为，训练网络的程序员可能使用cliff的图像作为反面例子来帮助系统更好地工作。

这样的例子说明了神经网络可解释性这个主题对于人文学科的学者来说是多么富有成果。“这项技术告诉你这台机器对世界的奇怪视角，但它也告诉你制造这台机器的人的视角，以及他们想用它做什么，”奥费特说。

它也迫使我们重新审视象表象、抽象概念甚至象本身的概念。但与更传统的思考不同，在这种情况下，这些概念有具体的技术应用。神经网络产生的奇怪的类别实际上起作用并产生一致的输出。

“人文学科的人应该对你可以从这些技术中提取的奇怪的表现概念感兴趣，”奥费特说。