新发布的开源平台降低了运行 AI 的成本

康奈尔大学的研究人员发布了一个名为Cascade的新的开源平台，该平台可以运行人工智能（AI）模型，从而削减费用和能源成本，同时显着提高性能。

Cascade 专为智能交通路口、医疗诊断、使用增强现实的设备维修、数字农业、智能电网和制造过程中的自动产品检测等设置而设计，在这些情况下，AI 模型必须在几分之一秒内做出反应。兽医学院的研究人员已经在使用它来监测奶牛患乳腺炎的风险。

随着人工智能的兴起，许多公司渴望利用新功能，但担心相关的计算成本以及与人工智能公司共享私人数据或将敏感信息发送到云端的风险——通过互联网访问的遥远服务器。此外，今天的 AI 模型速度很慢，限制了它们在必须来回传输数据或模型控制自动化系统的环境中的使用。由康奈尔大学安·鲍尔斯计算与信息科学学院计算机科学教授肯·伯曼（Ken Birman）领导的一个团队结合了几项创新来解决这些问题。

Birman与高级研究助理Weijia Song合作，开发了一种边缘计算系统，他们将其命名为Cascade。 边缘计算是一种将计算和数据存储置于更靠近数据源的位置，从而保护敏感信息的方法。Song 的“零拷贝”边缘计算设计 最大限度地减少了数据移动。研究人员说，人工智能模型在对事件做出反应时不必等待获取数据，从而实现更快的响应。

“Cascade使用户能够将机器学习和数据融合真正靠近互联网的边缘，因此人工智能操作可以立即发生，”Birman说。“这与标准的云计算方法形成鲜明对比，在标准云计算方法中，数据在机器之间频繁移动，迫使这些相同的人工智能等待，导致用户可感知到的长时间延迟。

Cascade 正在取得令人印象深刻的成果，大多数程序的运行速度比基于云的应用程序快 2 到 10 倍，一些计算机视觉任务的速度提高了 20 倍或更多。较大的 AI 模型受益最大。

此外，这种方法易于使用：“Cascade通常不需要对AI软件进行任何更改，”Birman说。

计算机科学领域的博士生艾丽西亚·杨（Alicia Yang）是这项工作的几名学生研究人员之一。她开发了 Navigator，这是一款用于 AI 工作流的内存管理器和任务调度器，可进一步提高性能。“当许多应用程序需要共享昂贵的硬件时，Navigator 确实得到了回报，”Yang 说。“与基于云的方法相比，Navigator 在更短的时间内完成了相同的工作，并且更有效地使用硬件。”

在CVM中，临床科学系肿瘤内科副研究教授Parminder Basran和人口医学和诊断科学系助理教授Matthias Wieland博士’21正在使用Cascade来监测奶牛的乳腺炎增加迹象 – 乳腺炎是乳腺炎的常见感染，会减少产奶量。

通过在每次挤奶过程中对数千头奶牛的乳房进行成像，并将新照片与过去挤奶的照片进行比较，在 Cascade 上运行的 AI 模型可以识别皮肤干燥、开放性病变、末端粗糙和其他可能预示着疾病的变化。如果发现早期症状，奶牛可以在挤奶站进行药物冲洗，以潜在地防止全面感染。

奥斯陆大学的客座研究员蒂亚戈·加勒特（Thiago Garrett）使用Cascade构建了一个“智能交通路口”原型。他的解决方案在拍摄图像后的几毫秒内跟踪拥挤的人、汽车、自行车和其他物体的拥挤环境，预测可能的碰撞并警告风险。当他在云计算基础设施上运行相同的 AI 模型时，需要几秒钟才能感知到可能的事故，而发出警告为时已晚。

随着新的开源版本的发布，Birman的团队希望其他研究人员能够探索Cascade的可能用途，使AI应用程序更广泛地访问。

“我们的目标是看到它被使用，”伯曼说。“我们在康奈尔大学的努力得到了政府和许多公司的支持。这个开源版本将使公众能够从我们创建的内容中受益。

Cascade的开发资金来自空军研究实验室，国家科学基金会，挪威科学基金会，Microsoft，NVIDIA，思科和西门子。

帕特里夏·沃尔德伦（Patricia Waldron）是康奈尔大学安·鲍尔斯（Cornell Ann S. Bowers）计算与信息科学学院的作家。