用旧方法改进机器学习

计算机科学家荣格对机器学习有一个有趣的方法。虽然大多数机器学习专家会建立一个算法，以塑造一个特定的数据集，通用电气建立一个算法，他可以保证将执行良好，在许多数据集。

他在微软研究院(Microsoft Research)做博士后时写的一篇论文，避开了鞍点
2在线随机梯度张量分解，描述了程序员如何利用一种常见机器学习算法(称为随机梯度下降法)的不精确性，为自己谋利。

一般情况下，该算法仅通过逼近正确的解来加快学习速度，而不是通过更大的努力来获得精度;然而，Ge和他的同事们发现，算法产生的少量“噪音”可能是算法的可取之处，否则算法就会陷入自身的完美主义。

“这个算法通常不用于这个目的，”Ge说，“它通常被用作一种启发式方法来近似一个问题的解决方案。”

噪声使得算法可以摆脱随机梯度法试图优化的函数上的鞍点，这个鞍点看起来有点像正弦波。Ge将梯度下降描述为像一个滚下山的球。当它在山坡上时，它总是寻找最低点，但如果它在鞍点，在两个不同山坡之间的“山脊”上的高点，它就不会开始滚动。

随机梯度下降修正了这个问题，使球在一个斜坡上滚动。但人们无法确定它会朝哪个方向滚动。

他的研究结果与机器学习的一个分支——无监督学习有关。无监督学习的一个常见的问题是“集群”,点的算法试图找到集群相似而不同于其他点集。该算法然后标签每个集群的发现,并返回其解决程序员。

要使算法的最终结果正确，一个关键的要求是，这两个斜率在相同深度的低点处结束，代表最优解。通常，两种解决方案乍一看似乎不同，但实际上表示的是同一组集群，不同只是因为集群上的标签被切换了。通用电气说，他设计过程中最困难的部分之一是设计具有这种特性的功能。

只要数据集不是由专门设计用来破坏算法的人提供的，这些结果就保证有效。如果有人设计了这样一个数据集，问题就变成了“NP困难”，这意味着即使是最好的算法也几乎没有希望解决它。

希望我们能在这一领域看到更多的增长，特别是像这样有趣的结果，它发现在不同的情况下，与某种算法相关的弱点实际上可以成为优势。

北卡罗来纳科学与数学学院三年级学生格雷森·约克(Grayson York)发表了客座文章

新闻旨在传播有益信息，英文原版地址：https://researchblog.duke.edu/2015/12/21/improving-machine-learning-with-an-old-approach/