SEI 和 DOD 中心确保 AI 系统的可信度

人工智能 （AI）、机器学习和自主性的进步创造了 AI 平台的激增。虽然这些技术在战场上显示出优势，但开发商、集成商和采购人员必须克服工程挑战，以确保安全可靠的运行。目前，还没有建立的标准来测试和衡量人工智能系统中校准的信任度。

2023 年，卡内基梅隆大学软件工程研究所 （SEI） 和国防部负责研究与工程的副部长办公室 （OUSD（R&E）） 启动了一个中心，旨在建立确保人工智能系统可信度的方法，重点是人类与自主系统之间的交互。校准信任测量和评估中心 （CaTE） 旨在帮助国防部 （DOD） 确保人工智能系统在危急情况下提供给政府用户之前是安全、可靠和值得信赖的。

自启动以来，CaTE 已着手开展一个多年项目，解决与 AI 系统相关的复杂性和工程挑战，同时利用软件、系统和 AI 工程实践来开发标准、方法和流程，为保证提供证据，并制定确定校准信任水平的措施。

“人类必须了解人工智能系统的能力和局限性，才能负责任地使用它，”OUSD（R&E）可信人工智能和自主性首席总监Kimberly Sablon说。“CaTE将解决系统如何相互作用的动态问题，特别是人工智能与人类之间的相互作用，以在现实世界中建立可信的决策。我们将确定案例研究，在这些案例研究中，人工智能可以在混合、实时、虚拟和建设性的环境中进行实验和迭代，而人类则在循环中。

CaTE是一个协作研发中心，将与所有军事部门在人机协作和可衡量的信任等领域进行合作。这是第一个由非政府组织领导的此类中心。从1956年创建第一个人工智能计算机程序到自动驾驶汽车和自然语言处理的开创性工作，CMU一直处于人工智能的中心。

“开发和实施人工智能技术以确保我们的武装部队安全既是一项巨大的责任，也是一种巨大的特权，”CMU校长Farnam Jahanian说。“卡内基梅隆大学很高兴有机会支持国防部的这项工作，并渴望看到CaTE迅速上升到利用人工智能加强我们的国家安全和国防的最前沿。

SEI研究人员将与OUSD（R&E）合作者以及工业界和学术界的合作伙伴一起，领导标准化AI工程实践的倡议，确保在国防部任务战略的背景下安全的人机合作。

SEI 董事兼首席执行官 Paul Nielsen（opens in new window）表示：“当军事人员处于危险状态时，最重要的是不仅要为他们提供最强大的能力，还要确保他们所依赖的人工智能和自主系统安全可靠。“由于我们致力于为强大、安全、以人为本和可扩展的人工智能定义人工智能工程学科，SEI在支持这项工作方面具有独特的优势。”

有关 SEI 人工智能工程研究的更多信息，请访问 sei.cmu.edu/our-work/artificial-intelligence-engineering/index.cfm（opens in new window）.