从预测谁会是一个惯犯到谁是工作的最佳人选，计算机算法正在代替人类做出复杂的决定。但是，越来越多的研究发现，许多这样的算法复制了它们原本要克服的基于种族、社会经济或性别的偏见。
根据芝加哥大学布斯商学院(University of Chicago Booth School of Business)、加州大学伯克利分校(University of California, Berkeley)和波士顿合作医疗(Partners HealthCare)的研究人员的一项新研究，这种种族偏见延伸到了医疗行业广泛使用的软件，可能会影响数百万美国人获得医疗服务的机会。
这项创新研究发表在10月25日的《科学》(Science)杂志上。研究发现，一种决定谁能获得高风险医疗管理项目的软件程序，通常会让健康状况较好的白人比健康状况较差的黑人更早进入这些项目。研究显示，修正算法中的这种偏差，可以使自动加入这些项目的黑人患者数量增加一倍以上。
“我们发现，影响1亿多美国人医疗决策的一类算法存在明显的种族偏见，”该研究的资深作者、芝加哥大学布斯商学院(Chicago Booth)学者森德希尔·穆莱纳坦(Sendhil Mullainathan)说。穆莱纳坦以使用机器学习来理解复杂问题而闻名。
加州大学伯克利分校(UC Berkeley)卫生政策与管理代理副教授、论文第一作者齐亚德·奥伯迈耶(Ziad Obermeyer)说:“这些算法通过利用医疗成本来确定病人的‘风险’，或者谁最有可能从医疗管理项目中受益，从而对种族偏见进行编码。”
奥伯迈耶说:“由于我们的医疗保健系统存在结构性的不平等，在一定健康水平上的黑人最终产生的医疗费用低于白人。”“结果，在算法预测风险的给定水平上，黑人患者的病情要严重得多。”
通过调整算法，使用其他变量来预测病人的风险，比如预防性护理可以避免的成本，研究人员能够纠正算法最初的大部分偏差。
“算法本身没有好坏之分，”罗马家族大学(Roman Family University)计算与行为科学教授穆莱纳坦(Mullainathan)说。“这只是一个如何建造它们的问题。在这种情况下，问题很明显是可以解决的，而且至少有一家制造商似乎在致力于解决这个问题。我们将鼓励其他人这样做。”
Obermeyer说，更一般地说，将常规审计纳入算法开发人员的工作流程将会有所帮助。“对于算法，就像对于医学一样，”他说，“我们更愿意预防问题，而不是治愈它们。”
挖掘算法偏见的根源
揭示算法的偏见——无论是在刑事司法系统中，在招聘决策中，还是在医疗保健领域——常常受到这样一个事实的阻碍:目前使用的许多预测算法都是由私人公司和私有企业设计的，这使得数据科学家和研究人员很难对它们进行分析。
为了解决这个问题，Mullainathan和Obermeyer与一家学术医院的研究人员合作，使用基于风险的算法来确定哪些患者优先获得高风险护理管理项目。这样的项目旨在通过提供额外的关注和资源来改善对有复杂医疗需求的患者的护理。
在43539名白人患者和6079名黑人患者中，研究人员获得了算法预测的风险评分，并将其与更直接的患者健康指标(包括慢性病数量和其他生物标志物)进行了比较。
他们发现，在给定的风险评分中，黑人的健康状况明显比白人差。
Mullainathan说:“在生理学意义上，(这些算法)不是被训练去发现最病态的人，而是被训练去发现那些我们花了最多钱的人身上最病态的人。”“在医疗保健方面，在我们把钱花在谁身上的问题上，存在系统性的种族差异。”
风险分值排在前97%的患者将自动被纳入护理管理计划。通过校正黑人和白人之间的健康差异，研究人员发现自动注册组的黑人比例从18%上升到47%。
但是奥伯迈耶说，还有希望的空间。训练算法来确定基于其他可测量变量的风险，如可避免的成本，或每年需要治疗的慢性病的数量，显著减少了种族偏见。
该研究的合著者包括波士顿布莱根妇女医院的布莱恩·鲍尔斯和马萨诸塞州总医院的克里斯汀·沃格里。这项研究的部分资金来自美国国家卫生保健管理基金会。
这个故事最早出现在芝加哥展位的网站上。