系统结合了光和电子，以解锁更快、更环保的计算

计算正处于拐点。摩尔定律预测，电子芯片上的晶体管数量每年将翻一番，但由于在负担得起的微芯片上安装更多晶体管的物理限制，它正在放缓。随着对能够支持日益复杂的人工智能模型的高性能计算机的需求增长，计算机能力的这些增长正在放缓。这种不便促使工程师探索扩展机器计算能力的新方法，但解决方案尚不清楚。

光子计算是机器学习模型不断增长的计算需求的一种潜在补救措施。这些系统不使用晶体管和导线，而是利用光子（微观光粒子）在模拟域中执行计算操作。激光产生这些小能量束，它们以光速移动，就像科幻电影中以曲速飞行的宇宙飞船一样。当光子计算内核被添加到可编程加速器（如网络接口卡（NIC及其增强对应物SmartNIC））时，可以插入由此产生的硬件以涡轮增压标准计算机。

麻省理工学院的研究人员现在利用光子学的潜力，通过展示其在机器学习方面的能力来加速现代计算。他们的光子电子可重构SmartNIC被称为“闪电”，帮助深度神经网络（模仿大脑如何处理信息的机器学习模型）完成推理任务，如ChatGPT等聊天机器人中的图像识别和语言生成。该原型的新颖设计实现了令人印象深刻的速度，创建了第一个光子计算系统，以满足实时机器学习推理请求。

尽管具有潜力，但实现光子计算设备的一个主要挑战是它们是无源的，这意味着它们缺乏控制数据流的内存或指令，这与电子对应设备不同。以前的光子计算系统面临这一瓶颈，但Lightning消除了这一障碍，以确保电子和光子组件之间的数据移动顺利运行。

“光子计算在加速矩阵乘法等庞大的线性计算任务方面显示出显着的优势，而它需要电子设备来处理其余的工作：内存访问、非线性计算和条件逻辑。这创造了大量的数据，可以在光子学和电子学之间交换，以完成现实世界的计算任务，比如机器学习推理请求，“麻省理工学院副教授Manya Ghobadi博士后Zhizhen Zhong说。“控制光子学和电子学之间的数据流是过去最先进的光子计算工作的阿喀琉斯之踵。即使你有一台超快的光子计算机，你也需要足够的数据来为它供电而不会停顿。否则，你就会有一台超级计算机闲置运行，而没有进行任何合理的计算。

Ghobadi是麻省理工学院电气工程与计算机科学系（EECS）的副教授，也是CSAIL的成员，她和她的小组同事是第一个发现并解决这个问题的人。为了完成这一壮举，他们结合了光子学的速度和电子计算机的数据流控制能力。

在闪电之前，光子和电子计算方案独立运行，说不同的语言。该团队的混合系统使用可重新配置的计数操作抽象来跟踪数据路径上所需的计算操作，该抽象将光子学连接到计算机的电子组件。此编程抽象充当两者之间的统一语言，控制对通过的数据流的访问。电子携带的信息以光子的形式转化为光，光子以光速工作以帮助完成推理任务。然后，光子被转换回电子，将信息中继到计算机。

通过将光子学与电子设备无缝连接，新颖的计数操作抽象使闪电网络的快速实时计算频率成为可能。以前的尝试使用走走停停的方法，这意味着数据将受到速度慢得多的控制软件的阻碍，该软件可以做出有关其运动的所有决策。“在没有计数编程抽象的情况下构建光子计算系统就像试图在不知道如何驾驶的情况下驾驶兰博基尼，”该论文的资深作者Ghobadi说。“你会怎么做？您可能一只手拿着驾驶手册，然后踩下离合器，然后检查手册，然后松开刹车，然后检查手册，依此类推。这是一个走走停停的操作，因为对于每个决定，您都必须咨询一些更高级别的实体来告诉您该怎么做。但这不是我们的驾驶方式;我们学习如何驾驶，然后使用肌肉记忆，而无需检查方向盘后面的手动或驾驶规则。我们的计数操作编程抽象充当闪电中的肌肉记忆。它在运行时无缝驱动系统中的电子和光子。

环保解决方案

完成基于推理的任务的机器学习服务，如ChatGPT和BERT，目前需要大量的计算资源。它们不仅价格昂贵——一些估计显示 ChatGPT 每月需要 300 万美元 才能运行——而且它们对环境有害，排放的二氧化碳可能是普通人的两倍多。闪电使用比电子在导线中移动得更快的光子，同时产生 更少的热量，使其能够以更快的频率计算，同时更节能。

为了衡量这一点，Ghobadi小组通过合成Lightning芯片将他们的设备与标准图形处理单元，数据处理单元，SmartNIC和其他加速器进行了比较。该团队观察到，Lightning 在完成推理请求时更节能。“我们的综合和模拟研究表明，与最先进的加速器相比，闪电网络将机器学习推理功耗降低了几个数量级，”Ghobadi实验室的研究生，该论文的合著者Mingran Yang说。通过成为更具成本效益、更快速的选择，闪电网络为数据中心提供了潜在的升级，以减少其机器学习模型的碳足迹，同时加快用户的推理响应时间。

该论文的其他作者是麻省理工学院CSAIL博士后Homa Esfahanizadeh和本科生Liam Kronman，以及麻省理工学院EECS副教授Dirk Englund和该系的三名应届毕业生：Jay Lang ‘ 22，MEng ‘ 23;克里斯蒂安·威廉姆斯 ’22， MEng ’23;和Alexander Sludds ’18，MEng ’19，PhD ’23。他们的研究部分得到了DARPA FastNICs计划，ARPA-E ENLITED计划，DAF-MIT AI加速器，美国陆军研究办公室通过士兵纳米技术研究所，国家科学基金会（NSF）拨款，NSF量子网络中心和斯隆奖学金的支持。

该小组将于本月在计算机协会的数据通信特别兴趣小组（SIGCOMM）上展示他们的发现。