分类
加州大学伯克利分校新闻

从优步评级到信用评分:在一个计算和分类一切的社会中失去了什么?

An abstract compilation of hundreds of numbers, sorted and ranked in a way that illustrates the way everything in life is increasingly counted and scored.

你有没有叫过一个未评级的优步司机叫车?在零星级餐厅用餐?从评分最低或最低的亚马逊供应商那里下了昂贵的在线订单?

可能不会。这是因为评级系统彻底改变了我们的旅行、饮食和购物方式。评级诞生于eBay等网站上电子商务的早期,有助于清除骗子,并为快速变化的在线市场提供一些秩序。

但这种对评级和排名的依赖还有更黑暗的一面,加州大学伯克利分校社会学教授兼社会科学矩阵主任马里恩·福尔卡德(Marion Fourcade)说。在人工智能技术的推动下,它们正在越来越多地改变我们看待彼此和我们自己的方式。

Book cover of the Ordinal Society, featuring yellow and white title letters on a black, night-sky looking background meant to indicate the vastness and connectedness of our changing world
《序数学会》于4月16日由哈佛大学出版社出版。

由 Marion Fourcade 提供

在她的新书 《序数社会》(The Ordinal Society)中,Fourcade和合著者、杜克大学社会学教授基兰·希利(Kieran Healy)探讨了技术的起源,这些技术产生了我们今天的分类系统。他们追溯了在线搜索的快速发展,从雅虎的早期到通过谷歌成为主流的数字资本主义。而且,他们警告说,公司用来收集信息的过程——从我们的在线浏览数据到我们的生物测量——可以塑造市场、社会和社会生活。

“在一个又一个领域,”他们写道,“它正在改变机会的整体分布、日常地位体验和经济竞争的性质。随之而来的是,我们对功绩和个人价值的道德直觉也在发生变化。

伯克利新闻(Berkeley News )采访了Fourcade,了解了她为什么现在写这本书,为什么分类可以使社会更容易接受不平等,以及她严厉的警告,即我们所有人可能很快就会被一个数字所定义——如果我们还没有的话。

伯克利新闻: 在开篇,你写道,“我们关于功绩和个人价值的道德直觉正在发生变化。这听起来不祥。你这是什么意思?

马里昂·福尔卡德(Marion Fourcade): 我们所说的“社会”是一个将人分类为职位和地位的过程。如今,这一过程越来越多地受到个人数据自动评分的推动。想想你的信用评分、你的健康评分,或者你作为乘客或合作车主的优步评级。不知何故,你忍不住要注意这些。你越来越认为这些分数在说明一些关于你的重要事情。你关心他们的“高”,因为这让你对自己感觉良好。你认为它表明你是一个良好的信用,你很健康,或者你是一个好人。当你的应用向你发送祝贺信息时,当你意识到你的评分比你旁边的人好时,或者当你的信用评分上升时,你会感到一阵满足。当你在此基础上获得奖励时,你会觉得你已经获得了这种奖励。

现在,这并不是什么新鲜事。我们已经被进球很久了。它从学校开始。从很小的时候起,孩子们就学会了通过成绩相互竞争。事实上,“精英管理”一词指的是一个社会等级制度通过这种教育分级合法化的社会。你在学校表现很好,你应该得到更好的工作机会和良好的整体社会地位。这就是任人唯贤的理想,尽管它充斥着各种各样的问题,但它是顽强的。今天,它似乎已经远远超出了教育范围。

信贷是出现一种新形式的精英管理的领域之一。您的信用评分根据您的信用行为计算,成为您可信度的一般指标。银行用它来确定贷款条款,但它会蔓延到许多其他领域。它被纳入保险评分,也许是租户评分。一些约会网站可能会发现它是将您与潜在约会对象相匹配的有用信息。

Marion Fourcade portrait
马里昂·福尔卡德

Dan Komoda/高等研究院

我假设这就是我们到达这个“有序社会”的方式,对吧?为什么这如此重要,以至于你会用它来命名你的书?

我们想谈谈这一进程的普遍性。今天很少有社会机构没有被它重新格式化。

关于“序数”这个词,有两件事很重要。首先,计算机的法语单词是“ordinateur”,因此序数抓住了这样一个事实,即不仅仅是任何机器,特别是计算机,都在运行这种对社会生活的重新编程。但序数也是指数字分数和排名的排序效应。在这方面,它谈到了社会科学对社会分层和不平等的兴趣。

换言之,序数社会的概念不仅仅是社会生活的计算机化或量化。它是关于商品、服务和权利的分配。这是关于机会和认可的分配。这些排序过程(或计算机生成的等级排序)在社会生活领域中越来越普遍。

在个人层面上,我们跟踪从睡眠到步数的所有内容。但是你在个人体验中无处不在地使用这种数据来与更大的系统对话,对吧?

现在,每个人都在每个可能的维度上被打分。每个组织也是如此。如果不查找一个或多个推荐系统如何评分,您就无法选择一家新餐厅吃晚餐。它真的嵌入了我们的生活。在很多方面,这个个人层面都很重要。人们试图玩弄它。他们购买虚假评论,与司机交换评级,伪造他们的活动水平,应有尽有。俗话说,“如果一项措施成为目标,它就不再是一个好的措施。

但另一种更深层次的思考方式是,它是一种无形的、是的,系统的基础设施,它正在改变整个社会过程——人们被分类为社会地位的过程。

一旦这个…分数调节着我们生活的许多不同方面,我们如何促进团结?我们如何动员起来?我们如何建设一个美好的社会?

马里昂·福尔卡德

跟踪之所以重要,不仅仅是因为它对个人心理和行为的影响,还因为我们生活在一个数字监控现在是常态的社会中。评分之所以重要,不仅仅是因为我们对算法的眼睛有自我意识,还因为它的社会影响。它重组了社会轨迹;正如许多人所表明的那样,它在一定程度上编码了旧的不平等。但它也为机遇和失败创造了新的途径。在我们看来,这是一种更强大的思考方式。

换句话说:在个人层面上,你可能会认为一个特定的分数说明了你作为一个人,正如我们刚刚讨论的那样。但它真正想说的是,发起分数的组织想从你身上得到什么。

这就提出了一个更大的问题,即权力、社会控制和利润的分配。

在更广泛的层面上,这提出了一个问题,即受这些方法监管的社会是什么样子的。一旦这种从根本上说是个人主义的乐谱工具规范了我们生活的许多不同方面,我们如何促进团结?我们如何动员起来?我们如何建设一个美好的社会?

这也是一本关于互联网的快速兴起和演变的书,它使这个有序社会成为可能。作为一名社会科学家,您如何看待这种变化?

互联网的出现主要由两个机构维持:一方面是政府资助;另一方面,更加去中心化和业余黑客社区,后来风险投资也加入了。在那之后,围绕着几个大玩家的注意力相当稳定地移动。你可以在一波又一波的创新中看到这种模式——从商业网络到社交媒体,再到今天的生成式人工智能。

每个阶段都出现了非常大的平台——作为商品市场的中介或注意力市场的中介。今天的这些平台非常强大,而且它们倾向于以使它们更加强大的方式使用它们的力量。正如其他人所表明的那样,这不仅会破坏个人自由(通过侵犯隐私和缺乏选择),还会破坏这些平台提供的服务质量。

看看亚马逊上的推荐就知道了。它们曾经是关于你可能感兴趣的事情。现在,这几乎都是赞助的结果。这些趋势是当今针对平台提起反垄断案件的关键。

An Amazon Echo Dot on a desk next to an Apple laptop and keyboard, showing how a handful of technology companies have increasingly shaped daily life
像苹果和亚马逊这样的大公司越来越多地抓住了商品市场和我们的注意力。

Piotr Cichosz 通过 Unsplash

技术对社会变革的净好处的论点又如何呢?

到处都有人声称,这些系统将赋予个人权力,并且比以前更公平。这是有一定道理的。今天谁会想回到互联网出现之前的日子,如果你想获取知识,你必须在图书馆翻阅卡片目录?它极大地扩大了联系的机会、收集知识的机会、自我表达的机会、找到工作的机会等。

如果我们具体考虑行为评分系统,例如信用评分,它们也有可能更具包容性。它们被设计成对早期时代非常重要的社会差异视而不见。从这个意义上说,一个依赖信用评分的系统比一个依赖红线的系统更公平,因为红线是公开的歧视性的。从本质上讲,人们的评分是基于他们过去的行为,而不是一些先验地将他们排除在外的人口统计学特征(邻里作为种族的代表)。

事实上,行为评分之所以蓬勃发展,部分原因是政府已经取缔了这些形式的歧视。但是——这是一个重要的但是——如果你认为通过使用这些新方法,你已经消除了所有最初给我们划红线的社会力量,那就太愚蠢了。确定谁是好风险,谁是坏风险不是一个中立的命题,因为现在的社会不是中立的,历史更不是中立的。

我们的序数社会将何去何从?

有两种可能性。一个,最有可能的是,我们将生活在一个由不同领域的特定分数调节的社会中;这些分数将根据您尝试访问的任何商品或服务进行定制。

序数社会的生活很可能是难以忍受的。

马里昂·福尔卡德

另一种可能性是,我们将看到一些看起来像超级分数的东西的出现,它将在任何地方被广泛使用。中国通过他们的社会信用评分发展了这个想法,尽管在实践中它仍然是不同系统的大杂烩,这些系统因地理位置而异,至少对日常生活没有太大影响。但雄心勃勃的是,有朝一日,这将是某种超级分数,将关闭或打开跨领域的大门。

目前在美国,信用评分是这个角色的最佳人选,并且已经以这种非常灵活的方式使用。原因是它的预测能力很高,即使在与信贷仅有切身关系的领域也是如此。所以我们有某种已经存在的元分数。

因此,第二种可能性是信用评分的进一步阐述,越来越多的数据(来自其他支付来源,也许是一些网络数据,一些社交媒体等)被引导到信用评分中,并围绕核心技术进行灵活变化。我们已经看到那些拥有所谓的薄信用档案的人。

你觉得这一切都让人筋疲力尽还是有点不知所措?

这本书的最后一句话是:“序数社会的生活很可能是难以忍受的。我们的意思是,生活在机器的眼皮底下,这些机器会不断适应你所做的事情,而你不理解它的逻辑,可能会非常严格。对于最脆弱的人群来说尤其如此,因为这些决定对他们的生活机会更为重要。

人们反对在各个领域实施其中一些工具,特别是在工作中,但它们通常没有太多的影响力。这是我们首先担心的问题。我们的第二个担忧是,这些技术的个性化趋势使得建立或想象团结主义机构变得更加困难。即使是在某些情况下(例如,现在的欧盟)存在的保障措施也无法扭转将社会关系转化为算法的趋势。

既然你提到了这本书的最后一行,我就在上面强调了一句话:“公共物品和集体目标正在被个人化和竞争的酸浴所消解,让我们在一个高度互联的世界中越来越孤独,这个世界的社会秩序被精确地计量,而且以一种虚假的方式,无可争议地’正确’。这太挑衅了!

我们试图让读者思考,这种生命的秩序化正在把我们变成什么样的人。本书没有提供解决方案。这并不是说我们没有任何想法——我们有。但感觉这不是我们想把它们放在哪里。我们只是想鼓励人们努力解决我们谈论的一些复杂性。

其中之一是,尽管这些系统存在所有缺陷,但它们非常有吸引力,而不仅仅是对部署它们的组织而言。它们对那些受制于它们的人也很有吸引力。没有人愿意在排名系统的眼皮底下,除非他们做得很好。但如果其他人得分,他们喜欢。所以这是非常有害的!这会产生什么样的道德?我们将如何看待彼此?如果我们把这些系统放在社会分类过程的核心,我们正在建立什么样的机构?

我们还想思考,在一个以这种方式监管的社会中,作为一个公民意味着什么。一个重要的含义是,这可能为再次认真思考通用计划提供了一个很好的论据。如果你有一个普遍的利益,你不需要分类。如果你不需要分类,你就不需要对人进行道德判断。您不必确定谁值得拥有它,因为每个人都可以访问。

我们需要重新思考我们的制度,使分类的必要性不那么压倒性,这样序数社会及其难以忍受就会失去它的大部分优势和力量。

新闻旨在传播有益信息,英文版原文来自https://news.berkeley.edu/2024/04/23/from-uber-ratings-to-credit-scores-whats-lost-in-a-society-that-counts-and-sorts-everything