减少人工智能的碳足迹

人工智能已经成为某些伦理关注的焦点，但它也存在一些重大的可持续性问题。

去年6月，马萨诸塞大学阿姆赫斯特分校(University of Massachusetts at Amherst)的研究人员发布了一份令人震惊的报告，估计训练和搜索某种神经网络架构所需的能量大约涉及62.6万磅二氧化碳的排放。这相当于包括汽车制造在内的美国汽车平均寿命排放量的近五倍。

在模型部署阶段，这个问题变得更加严重，此时需要在不同的硬件平台上部署深度神经网络，每个硬件平台具有不同的属性和计算资源。

麻省理工学院的研究人员开发了一种新的自动化人工智能系统，用于训练和运行某些神经网络。结果表明，通过在一些关键方面提高该系统的计算效率，该系统可以减少碳排放的磅数——在某些情况下，减少到低三位数。

研究人员的系统被称为“一次性网络”，它训练一个大型神经网络，其中包含许多预先训练过的不同大小的子网络，这些子网络无需再训练就可以适应不同的硬件平台。这大大降低了为新平台(可能包括数十亿个物联网设备)训练每个专门的神经网络所需的能量。利用该系统来训练一个计算机视觉模型，他们估计，与当今最先进的神经结构搜索方法相比，这个过程需要大约1/ 1300的碳排放，同时推理时间减少了1.5-2.6倍。

“我们的目标是更小、更环保的神经网络，”电子工程与计算机科学系助理教授宋涵表示。“迄今为止，搜索高效的神经网络架构已经产生了巨大的碳足迹。但我们用这些新方法减少了几个数量级的碳足迹。”

这项工作是在Satori上完成的，Satori是IBM捐赠给麻省理工学院的一个高效计算集群，每秒可以执行2千万亿次计算。这篇论文将于下周在学习表征国际会议上发表。和韩一起提交论文的是来自EECS、MIT-IBM沃森人工智能实验室和上海交通大学的四名本科生和研究生。

创建一个“一次性”的网络

研究人员是在人工智能的最新进展AutoML(自动机器学习)的基础上建立了这个系统，它消除了人工网络设计。神经网络自动搜索大量的网络架构设计空间，例如，为特定的硬件平台量身定制的网络架构。但是仍然存在一个培训效率的问题:每个模型都必须被选中，然后从头开始为其平台架构进行培训。

“我们如何为如此广泛的设备——从10美元的物联网设备到600美元的智能手机——有效地培训所有这些网络?”考虑到物联网设备的多样性，神经架构搜索的计算成本将会激增，”韩说。   

研究人员发明了一种自动系统，它只训练一个单一的、大型的“一次性”(OFA)网络，作为一个“母亲”网络，嵌套了数量非常多的子网，这些子网很少被母亲网络激活。OFA与所有的子网络共享所有的学习权值——这意味着它们基本上是经过预先训练的。因此，每个子网可以在推理时独立运行而无需再训练。

该团队训练了一个OFA卷积神经网络(CNN)——通常用于图像处理任务——具有多种多样的架构配置，包括不同数量的层和“神经元”、不同大小的过滤器和不同的输入图像分辨率。给定一个特定的平台，系统使用OFA作为搜索空间，根据与平台的能力和速度限制相关的准确性和延迟权衡，找到最佳的子网。例如，对于物联网设备，系统会找到一个更小的子网。对于智能手机，它将选择更大的子网，但根据电池寿命和计算资源的不同，子网的结构也不同。OFA将模型训练和架构搜索解耦，并将一次性训练成本分摊到多个推理硬件平台和资源约束上。

这依赖于一种“渐进收缩”算法，它能有效地训练OFA网络同时支持所有的子网。它首先用最大大小训练整个网络，然后逐步缩小网络的大小以包括更小的子网。小的子网络在大的子网络的帮助下一起成长。最后，支持不同大小的所有子网络，允许基于平台的能力和速度限制进行快速专门化。它支持许多硬件设备，在添加新设备时，培训成本为零。

研究人员发现，
的总容量超过10的10次方分之一，即1后面跟19个0，即建筑设置，可能覆盖了所有需要的平台。但是训练和搜索OFA要比在每个平台上花费数小时训练每个神经网络要有效得多。此外，OFA不影响推理的准确性和推理的效率。相反，它在移动设备上提供了最先进的ImageNet精度。而且，与行业领先的CNN最先进的模型相比，研究人员说OFA提供1.5-2.6倍的加速，具有更高的准确性。“这是一项突破性的技术，”韩说。“如果我们想在消费设备上运行强大的人工智能，我们必须想出如何缩小人工智能的尺寸。”

“这个模型真的很紧凑。麻省理工学院- ibm沃森人工智能实验室研究员、该论文的合著者庄干表示:“我很高兴看到OFA能够在边缘设备上继续推动高效深度学习的边界。”

IBM研究员、麻省理工学院-IBM沃森人工智能实验室(MIT-IBM Watson AI Lab)成员约翰•科恩(John Cohn)表示:“如果要让人工智能继续快速发展，我们需要减少它对环境的影响。开发方法使人工智能模型更小、更高效的好处是，这些模型可能也会表现得更好。”