加州理工学院(Caltech)的研究人员已经证明，随着在线社交媒体对话的发展，机器学习算法可以对其进行监控，有朝一日，这可能会导致一种有效的、自动化的方式来发现在线恶意挑衅。
该项目联合了人工智能(AI)研究员Anima Anandkumar，计算和数学科学的Bren教授，以及政治科学的Michael Alvarez教授。他们的研究成果于12月14日在加拿大温哥华举行的2019年神经信息处理系统会议的人工智能社会公益研讨会上发表。他们的研究团队包括博士后学者刘安琪;Maya Srikanth，加州理工学院大三学生;以及斯坦福大学的尼古拉斯·亚当斯·科恩(MS ‘ 16, PhD ‘ 19)。
"阿尔瓦雷斯说:“这是我喜欢加州理工学院的地方之一:架起沟通桥梁的能力，在社会科学和计算机科学之间发展协同效应。”
预防网络骚扰需要快速发现攻击性、骚扰性和负面的社交媒体帖子，而这反过来又需要监控网络互动。目前获取此类社交媒体数据的方法要么是完全自动化的，无法解释，要么依赖于一组静态的关键字，这些关键字很快就会过时。斯里坎斯说，这两种方法都不是很有效。
她说，让人手工做这项工作是不可扩展的，而且这些人可能有偏见。另一方面，关键字搜索也受到了在线对话发展速度的影响。新术语会突然冒出来，旧术语会改变意思，所以一个今天用得很真诚的关键词第二天可能就会被讽刺了
相反，该团队使用了GloVe(单词表示的全局向量)模型来发现新的相关关键词。GloVe是一个单词嵌入模型，意思是它表示一个向量空间中的单词，其中两个单词之间的"distance"是衡量它们的语言或语义相似性的指标。从一个关键字开始，这个模型可以用来查找与该词密切相关的其他关键字，从而显示实际使用的相关术语的集群。例如，在Twitter上搜索"MeToo"在对话中的使用，会得到一系列相关的标签，比如"support, "ImWithHer,"和"NotSilent。"这种方法为研究人员提供了一个动态的、不断发展的关键字集来进行搜索。
但仅仅知道某段对话是否与感兴趣的话题相关是不够的;环境很重要。为此，GloVe会显示某些关键字的相关程度，并提供有关这些关键字使用情况的输入。例如，在一个专门讨论厌女症的在线Reddit论坛上，"female"这个词与"sexual、" – "、" – "和"这几个词紧密相关。在有关“我也是”运动的Twitter帖子中，"女性6035这个词更可能与"公司、"欲望、"和"受害者这些术语联系在一起
这个项目是一个概念验证，目的是有一天给社交媒体平台一个更强大的工具来发现在线骚扰。anandkumar对这个话题的兴趣因为她参与了将神经信息处理系统会议的缩写名称从原来的首字母缩写"NIPS,"改为"neurip ."的运动而增强
"表示，人工智能研究领域正变得更加包容，但总有人抗拒改变。2018年，阿南德•库马尔(Anandkumar)发现自己成了网上骚扰和威胁的目标，因为她成功地尝试使用了一个没有潜在冒犯含义的缩略语。"让人大开眼界的是网络喷子到底有多丑。希望我们现在开发的工具将来能帮助我们对付各种各样的骚扰
他们的研究名为"发现社交媒体喷子:快速演变的在线辩论的动态关键词选择方法。"本研究由John Randolph Haynes和Dora Haynes基金会、微软、谷歌、Adobe和国防高级研究计划局资助。刘是太平洋投资管理公司(PIMCO)在加州理工学院的博士后研究员。
新闻旨在传播有益信息，英文原版地址：https://www.caltech.edu/about/news/ai-metoo-training-algorithms-spot-online-trolls