流行的社交媒体应用程序使用 AI 来分析手机上的照片，从而引入偏见和错误

威斯康星大学麦迪逊分校的数字隐私和安全工程师发现，TikTok 和 Instagram 用于从用户图像中提取个人和人口统计数据的基于人工智能的系统可能会对图像的各个方面进行错误分类。这可能会导致年龄验证系统出现错误，或将其他错误和偏见引入使用这些类型系统进行数字服务的平台。

在威斯康星大学麦迪逊分校电气和计算机工程副教授Kassem Fawaz的带领下，研究人员研究了这两个平台的移动应用程序，以了解他们的机器学习视觉模型从他们的照片中收集的有关用户的信息类型，以及重要的是，这些模型是否准确识别人口统计学差异和年龄。

该团队将于 2024 年 5 月在旧金山举行的 IEEE 安全和隐私研讨会上展示其研究结果。它们也可以在预印本服务器arXiv上找到。

许多移动应用程序使用称为“视觉模型”的机器学习或人工智能系统来查看用户手机上的图像并提取数据，这在面部识别或验证用户年龄方面很有用。根据Fawaz的说法，这些模型还可以收集许多其他信息，包括人口统计信息，照片中的物体以及可能的位置，尽管目前尚不清楚这些数据的用途（如果有的话）。不久前，这个过程发生在云中;视觉模型会将用户数据发送到异地服务器进行处理。

“如今，手机的速度足够快，它们实际上可以直接在设备上进行机器学习，这不仅为平台节省了资金，而且还允许使用更多数据，并生成不同类型的数据，”博士生Jack West说，他与博士生Shimaa Ahmed和Fawaz一起参与了该项目。

由于这种处理现在发生在人们的设备上，这也意味着研究人员可以更仔细地研究人工智能视觉模型以及他们收集和处理的数据类型。

威斯康星大学麦迪逊分校的团队分析了这两个平台的模型，以确定它们收集的信息类型以及它们如何处理信息。West 创建了一个自定义操作系统来跟踪输入视觉模型的信息并收集模型的输出。该团队没有尝试提取或逆向工程视觉模型本身，这将违反应用程序的服务条款。

“我们打开应用程序，找到了输入发生的位置和输出，”Fawaz 解释道。“我们基本上是在观察应用程序的运行情况。”

他们发现，当用户从手机的相机应用程序中选择一张照片上传到 TikTok 时，其视觉模型会自动预测该图像中任何人的年龄和性别。利用这种理解，他们通过视觉模型运行了超过40,000张面孔的模型数据集，发现对18岁以下的人进行分类比对18岁以上的人进行分类时犯了更多的错误。对于 0 至 2 岁的人，该模型通常将他们归类为 12 至 18 岁。

对Instagram的分析发现，其视觉模型对500多个不同的“概念”进行了分类，包括年龄和性别，一天中的时间，背景图像，甚至人们在照片中吃的食物。

“这是很多信息，”艾哈迈德说。“我们发现其中11个概念与面部特征有关，如头发颜色，胡须，眼镜，珠宝等。

研究人员向Instagram的模型展示了一组人工智能生成的代表不同种族的人的图像，然后衡量Instagram是否能够正确确定模型的11个面部相关特征。虽然 Instagram 在按年龄对图像进行分类方面比 TikTok 好得多，但它也有自己的一系列问题。

“它在所有人口统计数据中的表现都不尽如人意，而且似乎对一个群体有偏见，”艾哈迈德说。

那么，应用程序究竟是如何处理这些信息的呢？目前尚不完全清楚。

“当你在Instagram上选择一张照片时，无论你是否丢弃它，应用程序都会分析照片并增加本地信息缓存，”韦斯特说。“数据存储在本地，在你的设备上 – 我们没有证据表明它被访问或发送。但它就在那里。

如果 Instagram 和 TikTok 将这些数据用于年龄或身份验证等目的，研究人员认为该技术还有改进的余地。他们说，减少这些类型的视觉模型的偏见，可以帮助确保所有用户在未来都能获得公平和准确的数字服务。

威斯康星大学麦迪逊分校的其他作者包括 Maggie Bartig 和 Suman Banerjee 教授。其他作者包括 慕尼黑工业大学的Lea Thiemt。