谷歌 DeepMind 表示，在人工智能方面，少即是多

人工智能(AI)科学的一个主要追求是程序大小与其使用的数据量之间的平衡。毕竟，购买 Nvidia GPU 芯片来运行人工智能、收集数十亿字节的数据来训练神经网络，需要花费数千万美元的真金白银——而你需要多少资金，这是一个具有非常实际意义的问题。 

谷歌的DeepMind部门去年将计算能力和训练数据之间的精确平衡制定为人工智能的一种法则。这条被称为“龙猫法则”的经验法则表示，如果您还将程序训练的数据量增加到初始大小的四倍，则可以将程序的大小减少到初始大小的四分之一。尺寸。 
Chinchilla 的要点（也是很重要的一点）是，程序可以在精度方面达到最佳结果，同时又不那么庞大。Chinchilla 表示，构建较小的程序，但要在数据上进行更长时间的训练。换句话说，在深度学习人工智能中，少即是多，原因尚不完全清楚。 
在本月发表的一篇论文中，DeepMind 及其合作者基于这一见解提出，通过剥离神经网络的整个部分，可以做得更好，一旦神经网络遇到问题，可以进一步提高性能。

根据奥地利科学技术研究所的主要作者 Elias Frantar 和 DeepMind 的合作者的说法，如果你采用一种称为“稀疏性”的技术，你可以从一个大小只有另一个 神经网络一半的神经网络中获得相同的准确度结果。

稀疏性是神经网络中一个不起眼的元素，人们已经研究了多年，它是一种借鉴人类神经元实际结构的技术。稀疏性是指关闭神经元之间的一些连接。在人类大脑中，这些连接被称为突触。 

绝大多数人类突触并不连接。正如苏黎世联邦理工学院的科学家 Torsten Hoefler 和团队在 2021 年观察到的那样，“生物大脑，尤其是人类大脑，是分层、稀疏和循环的结构”，并补充道，“大脑拥有的神经元越多，它就越稀疏。”

人们的想法是，如果你能用极少量的连接来近似这种自然现象，你就可以用更少的努力、更少的时间、金钱和精力，用任何神经网络做更多的事情。 
在人工神经网络中，例如深度学习人工智能模型，突触连接的等效项是“权重”或“参数”。没有连接的突触的权重为零——它们不计算任何东西，因此它们不占用任何计算能量。因此，人工智能科学家将稀疏性称为将神经网络的参数 归零。

在发布在 arXiv 预印本服务器上的新 DeepMind 论文中，Frantar 和团队询问，是否如先前的研究所示，较小的网络可以与较大网络的工作相媲美，稀疏性可以通过删除一些权重在多大程度上帮助进一步提高性能？ 

研究人员发现，如果将神经网络的四分之三参数清零（使其更加稀疏），它可以完成与两倍大小的神经网络相同的工作。 

正如他们所说：“这些结果的关键结论是，随着训练时间明显长于 Chinchilla（密集计算最优），越来越多的稀疏模型开始在相同数量的非零值的损失方面变得最优。参数。” 术语“密集计算模型”是指没有稀疏性的神经网络，因此它的所有突触都在运行。 

“这是因为进一步训练密集模型的收益在某个时候开始显着放缓，从而使稀疏模型超越它们。” 换句话说，正常的非稀疏模型（密集模型）在稀疏版本接管的地方开始崩溃。 
这项研究的实际意义是惊人的。当神经网络开始达到其性能极限时，实际上减少其起作用的神经参数的数量（将它们归零）将随着您训练神经网络的时间越来越长而进一步扩展神经网络的性能。 

“随着训练时间的延长，最佳稀疏度水平不断提高，”Frantar 和团队写道。“因此，稀疏性提供了一种在固定的最终参数成本下进一步提高模型性能的方法。”

对于一个担心日益耗电的神经网络的能源成本的世界来说，好消息是科学家们发现可以用更少的资源做更多的事情。 

原文链接：https://www.zdnet.com/article/less-is-a-lot-more-when-it-comes-to-ai-says-googles-deepmind/