平流层安全标准：航空业如何引导人工智能在健康领域的监管

死于飞机失事的可能性有多大？根据国际航空运输协会 2022 年发布的一份报告，行业死亡风险为 0.11。换句话说，平均而言，一个人需要每天乘坐飞机 25,214 年才能有 100% 的机会发生致命事故。长期以来，高度监管的航空业一直被吹捧为最安全的交通方式之一，麻省理工学院的科学家认为，它可能是监管医疗保健人工智能的关键。

麻省理工学院电气工程与计算机科学系（EECS）和医学工程科学研究所助理教授Marzyeh Ghassemi和麻省理工学院H.N. Slater航空航天学教授Julie Shah对AI模型透明度的挑战有着共同的兴趣。在 2023 年初聊天后，他们意识到航空可以作为一种模式，确保边缘化患者不会受到有偏见的 AI 模型的伤害。

Ghassemi 还是麻省理工学院安利捷健康机器学习诊所 （Jameel Clinic） 和计算机科学与人工智能实验室 （CSAIL） 的首席研究员，Shah 随后招募了一支由麻省理工学院、斯坦福大学、美国科学家联合会、埃默里大学、阿德莱德大学、 Microsoft和加州大学旧金山分校启动了一个研究项目，其结果最近被算法，机制和优化会议的公平和访问所接受。

“我认为我们的许多合著者都对人工智能产生积极社会影响的潜力感到兴奋，尤其是最近的进展，”第一作者Elizabeth Bondi-Kelly说，她现在是密歇根大学EECS的助理教授，在项目开始时是Ghassemi实验室的博士后。“但我们也很谨慎，希望在部署开始发生时开发框架来管理潜在风险，因此我们一直在为此类框架寻找灵感。

麻省理工学院航空航天系博士生、合著者Lindsay Sanneman说，今天的健康人工智能与一个世纪前的航空业相似。尽管 1920 年代被称为“航空黄金时代”，但根据麦基诺公共政策中心的数据，致命事故“数量惊人”。

美国国家运输安全委员会（NTSB）安全建议部门现任负责人杰夫·马库斯（Jeff Marcus）最近发表了一篇全国航空月博客文章，指出虽然1920年代发生了许多致命事故，但1929年仍然是历史上最致命的航空事故的“有记录以来最糟糕的一年”，报告了51起事故。按照今天的标准，这将是每年 7,000 起事故，或每天 20 起。为了应对 1920 年代大量致命事故，卡尔文·柯立芝总统于 1926 年通过了具有里程碑意义的立法，称为《航空商业法》，该法案将通过商务部规范航空旅行。

但相似之处并不止于此——航空业随后进入自动化的道路与人工智能相似。鉴于人工智能臭名昭著的“黑匣子”问题，人工智能的可解释性一直是一个有争议的话题，人工智能研究人员一直在争论人工智能模型必须在多大程度上向用户“解释”其结果，然后才能可能使他们盲目遵循模型的指导。

“在 1970 年代，自动化程度越来越高……自动驾驶系统负责警告飞行员有关风险，“Sanneman补充道。“随着自动化进入航空领域，在人与自主系统的交互方面出现了一些成长的烦恼——当飞行员对自动化在做什么没有敏锐的意识时，就会出现潜在的混乱。

如今，成为一名商业航空公司机长需要 1,500 小时的记录飞行时间以及仪表培训。根据研究人员的论文，这个严格而全面的过程大约需要15年时间，包括学士学位和副驾驶。研究人员认为，广泛的飞行员培训的成功可以成为培训医生在临床环境中使用人工智能工具的潜在模式。

该论文还提出了令人鼓舞的报告，以美国联邦航空局（FAA）为飞行员所做的那样，通过“有限豁免权”，允许飞行员在做一些不安全的事情后保留他们的执照，只要它是无意的。

根据世界卫生组织 2023 年发布的一份报告，在高收入国家，平均每 10 名患者中就有 1 名在接受医院护理时受到不良事件（即“医疗差错”）的伤害。

然而，在当前的医疗保健实践中，临床医生和医护人员往往害怕报告医疗错误，这不仅是因为与内疚和自我批评有关的担忧，还因为强调对个人的惩罚的负面后果，例如吊销医疗执照，而不是改革使医疗错误更容易发生的制度。

“在健康方面，当锤子失手时，患者就会受苦，”Ghassemi在最近发表在 《自然人类行为》杂志上的一篇评论中写道。“这一现实给已经在努力解决复杂的护理问题、人员短缺和系统负担过重的医疗人工智能社区带来了不可接受的道德风险。”

美国科学家联合会（Federation of American Scientists）的合著者兼健康公平政策经理格蕾丝·威克森（Grace Wickerson）认为，这篇新论文是对尚未到位的更广泛治理框架的重要补充。“我认为我们可以利用现有的政府权力做很多事情，”他们说。“医疗保险和医疗补助可以通过不同的方式支付健康人工智能，确保在他们的购买或报销技术中考虑公平性，NIH（美国国立卫生研究院）可以资助更多的研究，使算法更加公平，并为这些算法建立标准，然后FDA（食品和药物管理局）可以使用这些算法，因为他们试图弄清楚健康公平意味着什么，以及它们在当前范围内是如何监管的当局。

其中，该论文列出了可以帮助监管健康人工智能的六个主要政府机构，包括：FDA、联邦贸易委员会（FTC）、最近成立的卫生高级研究计划局、医疗保健研究与质量局、医疗保险和医疗补助中心、卫生与公众服务部和民权办公室（OCR）。

但威克森说，还需要做更多的工作。在威克森看来，撰写这篇论文最具挑战性的部分是“想象我们还没有的东西”。

除了仅仅依靠现有的监管机构，该文件还建议建立一个类似于NTSB的独立审计机构，允许对出现故障的健康人工智能系统进行安全审计。

“我认为这是目前技术治理的问题——自 90 年代以来，我们还没有真正评估技术影响的实体，”Wickerson 补充道。“曾经有一个技术评估办公室……在数字时代开始之前，这个办公室就已经存在，然后联邦政府允许它日落。

合著者、斯坦福大学法学院（Stanford Law School）毕业生扎克·哈内德（Zach Harned）认为，新兴技术的一个主要挑战是技术发展速度超过监管速度。“然而，人工智能技术的重要性及其带来的潜在好处和风险，特别是在医疗保健领域，导致了一系列监管工作，”Harned说。“FDA显然是这里的主要参与者，他们一直在发布指南和白皮书，试图说明他们在人工智能方面不断发展的立场;然而，隐私将是另一个值得关注的重要领域，OCR在HIPAA（健康保险流通与责任法案）方面执行执法，FTC对非HIPAA涵盖的实体执行隐私侵犯。

Harned 指出，该领域正在快速发展，包括最近关于安全和可信赖的人工智能开发的白宫行政命令 14110 等发展，以及欧盟 （EU） 的监管活动，包括即将完成的顶点欧盟人工智能法案。“看到这项重要技术得到开发和监管，以确保安全，同时又不扼杀创新，这无疑是一个激动人心的时刻，”他说。

除了监管活动外，该论文还提出了其他机会，为更安全的健康人工智能工具创造激励措施，例如按绩效支付计划，保险公司奖励表现良好的医院（尽管研究人员认识到这种方法需要额外的监督才能公平）。

那么，研究人员认为为健康人工智能创建一个有效的监管系统需要多长时间呢？根据该论文，“NTSB和FAA系统由国会几十年来创建，其中调查和执法由两个不同的机构组成。

邦迪-凯利希望这篇论文能成为人工智能监管难题的一部分。在她看来，“梦想中的场景是，我们所有人都阅读了这篇论文，并受到启发，应用航空业的一些有用经验教训，帮助人工智能在部署过程中防止一些潜在的人工智能危害。

除了Ghassemi，Shah，Bondi-Kelly和Sanneman之外，麻省理工学院的合著者还包括高级研究科学家Leo Anthony Celi和前博士后Thomas Hartvigsen和Swami Sankaranarayanan。这项工作的资金部分来自麻省理工学院CSAIL流星奖学金，Quanta Computing，大众汽车基金会，美国国立卫生研究院，Herman L. F. von Helmholtz职业发展教授职位和CIFAR Azrieli全球学者奖。