由dot资助的团队正在为流行的人工智能开发指导原则
深度学习是一种越来越受欢迎的人工智能形式，’经常应用于影响数亿人生命的产品和服务中，尽管没有人完全了解它是如何工作的。
海军研究办公室(Office of Naval Research)已经向一群工程师、计算机科学家、数学家和统计学家提供了一笔为期五年、价值750万美元的资金，他们认为自己能够解开这个谜团。他们的任务是:在严格的数学原理基础上发展一套深度学习理论。
Richard Baraniuk(左)和Moshe Vardi是一个跨学科的、由七所大学组成的团队的成员，海军研究办公室利用美国国防部6037多学科大学研究计划750万美元的拨款开发了深度学习理论。(Jade Boyd/莱斯大学拍摄)
来自莱斯大学、约翰霍普金斯大学、德克萨斯大学、马里兰大学、威斯康辛大学、加州大学洛杉矶分校和卡耐基梅隆大学的研究人员的补助金通过国防部6037多学科大学研究计划(MURI)获得。
领导这项研究的莱斯大学工程学教授理查德•巴拉尼克(Richard Baraniuk)花了近30年时间研究信号处理，尤其是机器学习，这是人工智能的一个分支，深度学习也属于这一分支。他说，毫无疑问，深度学习是有效的，但它的未来存在很大的问号。
深度学习已经从根本上推动了人工智能领域的发展，而且它在广泛的问题上令人吃惊地有效。“但实际上所有的进步都来自于经验主义的观察、技巧和技巧。没有人确切地知道深层神经网络为什么工作或如何工作
深度神经网络由人工神经元组成，这些计算机代码片段可以通过训练实例学习执行特定任务。网络在许多层中包含数百万甚至数十亿的神经元。值得注意的是，深度神经网络不需要经过明确的编程就能做出类似人类的决定。他们根据训练中提供的信息自学。
由于人们不能确切地理解网络的学习深度，因此无法说出他们为什么会在完全训练后做出那些决定。这就提出了什么时候使用这样的系统是合适的问题，也使得我们无法预测一个受过训练的网络会在什么情况下做出不适当的决定。
Baraniuk说，理论原理的缺乏阻碍了深度学习的发展，特别是在像军事这样的应用领域，可靠性和可预测性是至关重要的。
“As部署这些系统在机器人、无人驾驶汽车或系统,决定谁应该去监狱,谁应该获得信用卡或贷款——there’s巨大必须理解如何以及为什么他们工作,这样我们也可以知道他们如何以及为什么失败,带来过度” Baraniuk说,首席研究员的负载。
他的团队包括赖斯的Moshe Vardi，约翰霍普金斯大学的Rama Chellappa，德克萨斯大学的Ronald DeVore，马里兰大学的Thomas Goldstein，威斯康星大学的Robert Nowak，加州大学洛杉矶分校的Stanley Osher和卡内基梅隆大学的Ryan Tibshirani。
巴拉尼克说，他们将从三个不同的角度来解决这个问题。
“One是数学的，他说。事实证明，深度网络在本地很容易描述。如果你观察一个特定神经元中发生了什么，6037s实际上很容易描述。但我们不明白这些数以百万计的碎片是如何组合成一个全球整体的。我们称之为本地到全球的理解
第二种观点是统计学。“当输入信号，网络中的旋钮，具有随机性时会发生什么?” Baraniuk问道。当我们转动旋钮时，我们希望能够预测网络的运行情况。那是一个统计学问题，可以提供另一种观点
第三个角度是形式化方法，或形式化验证，这是一个处理验证系统是否按预期功能运行的问题的字段，特别是当它们太大或太复杂，以至于不可能检查每一行代码或单个组件时。MURI研究的这一部分将由该领域的顶级专家Vardi领导。
” Vardi说，在过去的40年里，形式方法的研究人员已经发展出对复杂计算系统进行推理和分析的技术。深层神经网络本质上是大型的、复杂的计算系统，所以我们将使用形式方法技术来分析它们
巴拉尼克说，MURI的调查人员以前都曾在整体解决方案的各个部分上工作过，这笔拨款将使他们能够合作，并在另一个6037的工作上相互借鉴，向新的方向发展。最终，我们的目标是开发出一套严格的原则，可以在设计、构建、训练和使用深度神经网络的过程中消除猜测。
他说:“如今，it’就像人们有一堆乐高玩具，你只要把一堆玩具放在一起，看看什么是可行的。”如果我问，‘你为什么放一个黄色的乐高在那里?那么答案可能是，这是这堆中的下一个，或者，我有预感黄色最好，或者，我们试过其他的颜色，我们也不知道为什么，但黄色最好
Baraniuk将这种设计方法与你在信号处理或控制等领域发现的基于既定理论的设计方法进行了对比。
他说:“与其将乐高玩具以半随机的方式组合在一起，然后对它们进行测试，还不如建立一套指导人们组合一个系统的既定原则。”如果有人说，嘿，你为什么在那里用红砖?你会说，因为ABC原理说得通，你可以精确地解释为什么会这样。
这些原则不仅指导系统的设计，而且允许你在制造它之前预测它的性能
Baraniuk说，新冠肺炎疫情使已经开始的项目进度放缓。
他说:“我们的计划要求举办一次年度研讨会，但我们是一个分散的团队，我们的大部分沟通都是通过远程电话会议进行的。”
新闻旨在传播有益信息，英文原版地址：https://news.rice.edu/2020/08/31/researchers-set-sights-on-theory-of-deep-learning-2/