利用语言来理解机器

自然语言通过上下文和句法传达思想、动作、信息和意图;此外，数据库中还包含大量 IT。这使它成为训练机器学习系统的绝佳数据来源。麻省理工学院 6A 工程硕士论文项目的两名工程硕士生 Irene Terpstra ’23 和 Rujul Gandhi ’22 正在与麻省理工学院-IBM Watson AI 实验室的导师合作，利用自然语言的力量来构建 AI 系统。

随着计算变得越来越先进，研究人员正在寻求改进他们运行的硬件;这意味着要创新以创造新的计算机芯片。而且，由于已经有关于可以进行修改以实现某些参数和性能的文献，Terpstra 和她的导师和顾问 Anantha Chandrakasan、麻省理工学院工程学院院长、Vannevar Bush 电气工程和计算机科学教授，以及 IBM 的研究员 Xin Zhang，正在开发一种辅助芯片设计的 AI 算法。

“我正在创建一个工作流程，以系统地分析这些语言模型如何帮助电路设计过程。他们有什么推理能力，以及如何将其集成到芯片设计过程中？“Terpstra说。“另一方面，如果这被证明足够有用，我们将看看他们是否可以自动设计芯片，将其附加到强化学习算法上。

为此，Terpstra的团队正在创建一个可以迭代不同设计的AI系统。这意味着使用一种名为 NGspice 的开源电路模拟器语言（以代码形式提供芯片参数）和强化学习算法，对各种预训练的大型语言模型（如 ChatGPT、Llama 2 和 Bard）进行实验。通过文本提示，研究人员将能够查询应该如何修改物理芯片以实现语言模型中的某个目标，并产生调整指导。然后将其转换为强化学习算法，该算法更新电路设计并输出芯片的新物理参数。

“最终目标是将这些大型语言模型中的推理能力和知识库结合起来，并将其与强化学习算法的优化能力相结合，并让芯片本身进行设计，”Terpstra说。

鲁朱尔·甘地（Rujul Gandhi）使用原始语言本身。作为麻省理工学院的本科生，甘地探索了语言学和计算机科学，并将它们放在她的工程硕士工作中。“我一直对人类之间以及人类与计算机之间的交流感兴趣，”甘地说。

机器人或其他交互式人工智能系统是人类和机器都需要理解通信的一个领域。研究人员经常使用形式逻辑为机器人编写指令。这有助于确保命令安全且按预期执行，但形式逻辑对用户来说可能难以理解，而自然语言则很容易理解。为了确保这种顺畅的沟通，Gandhi和她的顾问IBM的Yang Zhang和麻省理工学院的助理教授Chuchu Fan正在构建一个解析器，将自然语言指令转换为机器友好的形式。利用由预先训练的编码器-解码器模型 T5 编码的语言结构，以及用于执行某些任务的带注释的基本英语命令数据集，Gandhi 的系统识别给定指令中存在的最小逻辑单元或原子命题。

“一旦你下达了指令，模型就会识别出你希望它执行的所有较小的子任务，”甘地说。“然后，使用大型语言模型，可以将每个子任务与机器人世界中可用的动作和对象进行比较，如果任何子任务因为某个对象无法识别或无法执行而无法执行，系统可以停下来向用户寻求帮助。

这种将指令分解为子任务的方法也使她的系统能够理解用英语表达的逻辑依赖关系，例如，“执行任务 X，直到事件 Y 发生。甘地使用跨机器人任务领域（如导航和操作）的分步指令数据集，重点是家务。她说，使用以人类相互交谈的方式编写的数据有很多好处，因为这意味着用户可以更灵活地表达他们的指令。

甘地的另一个项目涉及开发语音模型。在语音识别的上下文中，某些语言被认为是“低资源”，因为它们可能没有大量可用的转录语音，或者可能根本没有书面形式。“我申请在麻省理工学院-IBM Watson AI 实验室实习的原因之一是对低资源语言的语言处理感兴趣，”她说。“如今，许多语言模型都是由数据驱动的，当获取所有这些数据并不容易时，就需要有效地使用有限的数据。

言语只是一股声波，但人类进行对话可以很容易地弄清楚单词和思想的起点和终点。在语音处理中，人类和语言模型都使用其现有的词汇表来识别单词边界并理解其含义。在资源匮乏或无资源的语言中，书面词汇可能根本不存在，因此研究人员无法向模型提供书面词汇。相反，该模型可以记录哪些声音序列比其他声音序列更频繁地一起出现，并推断这些可能是单个单词或概念。在甘地的研究小组中，这些推断出的单词随后被收集到伪词汇表中，作为低资源语言的标记方法，为进一步的应用创建标记数据。

甘地说，语言技术的应用“几乎无处不在”。“你可以想象人们能够用他们的母语、他们的母语与软件和设备进行交互。您可以想象改进我们使用的所有语音助手。你可以想象它被用于笔译或口译。