普林斯顿大学的研究人员说，Yelp的评分在花费时间等因素后会变得更好

Yelp和亚马逊的评分到底有多高?

一个国际研究小组从生态理论“昂贵的信号理论”中得出结论，他们测试了免费的在线评分比那些有一定成本的评分更不可信的观点。

该理论表明，如果离开评审需要付出一定的代价——无论是金钱、时间还是精力——它将导致更准确的评级。在生态学中，昂贵的信号理论认为，更“昂贵”的表现——比如精心制作的孔雀尾巴，或者幼鸟强烈的饥饿表现——更有可能反映现实。一条色彩斑斓的尾巴代表着一只健康的孔雀，而一只肚子鼓鼓的小鸡是不会浪费力气去叫更多的食物的。

但是普林斯顿大学的社会学家Dalton Conley和他的同事们是第一个将这一理论应用于Yelp或Uber及其评级系统的人。通过在视频游戏的背景下测试一系列加权评级工具，他们发现，与那些需要额外花费几秒钟来使用的评级工具相比，低努力度的评级不那么准确。他们的结论是，电子商务网站应该重新设计它们的界面，让产品或服务的评分者承担时间成本。

“简单地说:让评级商品或服务尽可能简单,许多电子商务网站做,只会适得其反,”康利说,普林斯顿大学的亨利·普特南大学社会学教授和教师在办公室下属的人口研究中心的健康和幸福,谁是资深作者在最近的一篇论文在美国国家科学院院刊》上。“强迫每个人打分也是如此。相反，当需要付出代价时，评级会更准确。”

他继续说道:“优步和其他电子商务网站的直觉可能是错误的。孔雀的羽毛如此昂贵是有原因的:它们的成本保证了一个诚实的生殖健康的信号。”

或者，正如合著者卢卡斯•帕拉(Lucas Parra)所说:“在线评级毫无价值，不是吗?除非他们给评级者带来一些成本!Parra是纽约城市学院生物医学工程的Harold Shames教授。

康利,Parra和他们的合作者团队认为,即使没有作弊的动机与在线评分,没有明显的激励离开一星评论一个我们喜欢的地方,或转储的五星级评论——有,在最好的情况下,直接对评级机构提供准确的评估,表明人们有可能提供低质量的信息。

他们决定通过对提供信息的“成本”(以及对极端评级的更高成本)施加压力来检验这一理论，看看他们能否消除或减少不诚实、偏于平均水平的一星和五星评级。

所以他们创造了一些电子游戏，并从亚马逊的土耳其机器人公司招募玩家。

在一个典型的游戏中，玩家操纵一辆汽车去收集硬币，他们知道每收集一枚数字硬币，他们将获得现实生活中支付的一美分。道路被湖隔开，湖上只有渡船才能通过。前两次乘坐渡轮作为训练集，分别延迟20秒和4秒，为渡轮的表现评估设定一个共同的基线。在那之后，比赛随机改变了渡轮服务的延误和速度。最快的渡船立即到达，并在2秒内过了湖，而最慢的渡船既延迟到达又缓慢移动，总共需要40秒才能过湖。

在每次轮渡结束时，玩家必须对轮渡服务进行0到100的评分，然后才能继续前进。这些评分成为研究小组的数据。这款游戏内评级工具使用了一个带有数字“摩擦”的加权滑动条，玩家每离开之前确定的平均评级一点，滑动条就会产生摩擦。换句话说，你的分数越极端，你把杆向上或向下推的时间就越多。

整个游戏时间被限制在15分钟内，所以玩家们会尽快提交他们的排名，这样他们就可以重新获得金钱奖励。玩家平均每场乘坐17艘渡轮，这使得研究人员能够衡量他们的主观评分与渡轮的客观服务(以乘坐渡轮的总时间衡量)之间的相关性，无论是在研究对象内部还是跨研究对象。

他们发现，相对于非加权的点击条，加权的幻灯片条能更可靠地评估观众的质量。在非加权的点击条中，从0到100的所有评分都可以通过屏幕上的即时点击得到，而所有的评分都同样“便宜”。

研究人员说，他们的研究结果对电子商务中无处不在的评级要求有一定的影响，他们的方法可以推广并在各种大型在线通信系统中进行测试。

康利说，这个团队还没有开始测试收视率。他们最初对在线学习感兴趣，“但在实验过程中，我们意识到我们得到的评分数据……不是很好，所以我们着手改善这个问题。”

他们惊讶地发现，降低评级成本实际上适得其反。经典经济学理论认为，将成本最小化将产生最佳效果，但他们的数据却显示了相反的结果。

简而言之，优步需要放慢其评级工具的速度，康利说。“将评分设备从简单的点击转换成滑块，当用户在两个方向上走得更远时，滑块会变慢，因此很难给出很高或很低的分数，这就产生了更好的评分分布。”只有高度积极的评分者才会给出极端的分数。”

4月9日，Ofer Tchernichovski、Lucas C. Parra、Daniel Fimiarz、Arnon Lotem和Dalton Conley在《美国国家科学院院刊》(DOI: 10.1073/pnas.1817392116)上发表了“通过虚拟评级系统中昂贵的信号增强的群体智慧”。这项研究由亨特学院研究基金、约翰·d·麦克阿瑟和凯瑟琳·t·麦克阿瑟基金会向“连接学习研究网络”、加州大学欧文分校(普林斯顿大学分奖)和以色列科学基金会(871/15)资助。