计算机视觉可以告诉我们关于自然世界的什么

加州理工学院领导的一个项目致力于为生态学家提供计算机视觉工具来分析大量数据。

布莱恩·史密斯（Brian Smith）

找到世界上最大的生物应该不难。然而，在浩瀚海洋的所有噪音和活动中，即使是强大的蓝鲸的叫声也很难被发现。

斯克里普斯海洋研究所（Scripps Institution of Oceanography）的博士生米凯拉·阿尔克斯内（Michaela Alksne）研究了如何检测和分类东北太平洋蓝鲸的社会和觅食叫声。她的新方法是使用大型频谱图数据集，或声波的视觉表示。去年，加州理工学院举办了为期三周的强化研讨会，名为“生态学计算机视觉方法”（CV4Ecology），为Alksne提供了计算机视觉（CV）工具——机器通过人工智能“看到”图像以重现人类分析能力的方法——她需要推进这个项目。

“CV4Ecology 帮助我快速启动了构建、微调和解释计算机视觉模型的能力，”Alksne 说。“我能够成功地建立一个模型，可以在频谱图中对蓝鲸的叫声进行分类。该模型将成为我整个数据处理管道中的基础性、宝贵工具，并将使我能够高效、精确地分析更多数据。

世界各地的生态学家正在利用计算机视觉的力量来研究和改善生物体、人类及其物理环境之间的关系。科学家现在可以使用计算机视觉来分析卫星图像，揭示海象种群如何应对北极的变化，监测阿拉斯加河床的声纳摄像头以跟踪鲑鱼产卵率，并通过扫描摇曳树木的镜头来预测风速，以支持消防工作。

加州理工学院在 2023 年第二次举办并将于今年夏天再次举办的 CV4Ecology 夏季研讨会旨在进一步促进自然科学与先进技术之间的这种相互联系。它为生态学家提供了知识、技能和协作机会，以使用机器学习和人工智能准确有效地分析大型图像、音频或视频数据集。

该研讨会由麻省理工学院 Homer A. Burnell 人工智能和决策职业发展教授 Sara Beery（23 岁博士）创建;以及加州理工学院 Allen E. Puckett 电气工程教授 Pietro Perona。CV4Ecology 在加州理工学院校园内举办，由 Resnick 可持续发展研究所和非营利组织 EleutherAI 与加州理工学院 AI4Science 计划合作提供支持。共同赞助商包括Microsoft AI for Earth，Amazon Web Services和Wild Me，以及Planet Labs的数据赞助。

Beery说，将计算机视觉用于生态学的主要瓶颈之一，或者更广泛地说，使用人工智能来推动科学发展，是科学家需要掌握充分利用这种快速发展的技术所需的技能。

“我们创建了CV4Ecology，向那些正在制定和致力于解决各自领域问题的人传授使用机器学习进行生态研究所需的实用技能，”她说，“使他们能够自己完成这项工作。

Beery 对将生态学与机器学习相结合有很多了解。在加入麻省理工学院之前，她是谷歌的客座研究员，从事 Auto Arborist 的工作，这是一个包含北美 23 个城市 260 万棵树的数据集。该项目使用机器学习来分析树木生长和健康状况的街道和航空图像，从而实现更高效、更便宜的城市森林监测。

Perona对机器学习也不陌生。他获得了 2013 年 Longuet-Higgins 奖和 2010 年 Koenderink 奖，这两个奖项都表彰了他在计算机视觉方面的重大贡献。他的Visipedia项目（维基百科的可视化界面）制作了两个应用程序，iNaturalist和Merlin Bird ID，允许任何拥有智能设备的人扫描他们的照片以识别植物和动物物种。

现在，Beery说，她很自豪能回到加州理工学院，帮助支持下一代生态学家建立计算机视觉方法，使全球范围的环境和生物多样性监测能够应对现实世界的挑战。

在去年8月的CV4Ecology上，18名学生加入了来自世界各地受人尊敬的科学机构的三名导师，四名讲师和四名助教。他们聚集在加州理工学院，沉浸在课堂培训和实践项目中，并有机会获得一对一的指导机会。学生们接受了有关计算机视觉原理的基础课程，重点是训练和评估特定于他们自己的生态研究数据和项目的简历模型。每个学生都以与他们的研究相关的工作工具结束了体验，并对CV的概念及其现实世界的生态应用、最佳实践和潜在风险有了深刻的理解。

“Sara 和她的团队营造了一个引人入胜、协作和支持性的学习环境，让我们都能自在地做自己并提出问题，”Alksne 说。“CVE4Ecology 是我学术生涯中最好的教育经历，我非常感谢 Sara 使这次研讨会成为可能。”

迈克尔·普罗科 （Michael Procko） 是华盛顿州图拉利普部落的承包商，也是华盛顿大学的前研究科学家，他是 CV4Ecology 2023 的另一名学生。Procko的工作旨在通过开发与相机陷阱相关的捕食者检测模型来实时缓解人类与野生动物的冲突。该系统处理图像并向土地和野生动物管理人员发送相关警报。

“除了为我提供通过加快照片和视频处理来简化研究的工具外，这段经历还为我提供了一个非常有趣的数据管理视角，从根本上改变了我未来处理研究项目的方式，”Procko 说。

除了获得技术技能和新鲜视角外，Procko还特别欣赏研讨会的跨学科性质。

“看到弥合学科之间的差距提供了一个全新的视角，真是太神奇了，”他说。“看到生态研究和计算机科学编织成一种新颖的保护技术，这是一个非常令人心酸的例子，说明科学进步在很大程度上依赖于有效的合作。

Shir Bar是特拉维夫大学的博士生，他以助教的身份加入CV4Ecology，他使用计算机视觉技术来研究自由游动的鱼幼虫的摄食行为。这种小而快速移动的生物可能很难研究;Bar说，通过改进计算机视觉方法来跟踪它们的行为，这项工作可以使生态学中其他类似的机器学习工作受益。

“这种体验提供了一种社区感。在这些学科的交叉点上没有多少人，与与你有共同兴趣的人共度三周是一种强大的体验，“巴尔说。“该研讨会将在这个领域工作了一段时间的工程师与知道如何获取、解释和推理数据的生态学家和环保主义者聚集在一起。我们都能够互相学习如何以动手的方式为生态学创造更好的应用计算机视觉工具，这是最有价值的部分。

申请参加 2025 年 1 月 6 日至 24 日在加州理工学院举办的第三届 CV4Ecology 研讨会。学生必须在 2024 年 3 月 22 日之前申请才能被考虑，并将在 2024 年 4 月 19 日收到录取通知。