VeLO不仅优于不需要调整超参数的优化器甚至优于仔细调整超参数的优化器

还在担心如何为优化器调整更好的参数吗。

现在Google Brain又出了一个新的优化器VeLO，可以直接使用，不需要手动调整任何超级参数。

与其他人工设计的算法不同，VeLO完全基于AI，可以适应各种任务。

有网友看到了优化器进步的曙光:

亚当之后出现了很多优化师，但都失败了这个优化器可能确实表现得更好

那么，这个基于人工智能的优化器是如何构建的呢。

VeLO到底是怎么建成的。

在训练神经网络的过程中，优化器是必不可少的一部分。

但是AI模型应用广泛，用来训练AI模型的优化器还是手工设计，听起来有些不合理。

所以谷歌大脑的研究人员灵机一动:为什么不用AI做优化器。

在设计上，optimizer的原理是基于元学习的思想，即从相关任务中学习经验来帮助学习目标任务。

与迁移学习相比，元学习强调获取元知识，元知识是一种关于任务的一般性知识，可以推广到更多的任务。

基于这一思路，VeLO还会吸收渐变，自动输出参数更新，无需任何超参数调谐，适应各种需要优化的任务。

在架构上，人工智能优化器由LSTM和超级网络MLP组成。

每个LSTM负责设置多个MLP的参数，每个LSTM通过全局上下文信息相互协作。

在训练中，AI优化器采用元训练，以参数值和梯度为输入，输出需要更新的参数。

经过4000个月的TPU训练，结合各种优化任务的长处，VeLO终于诞生了。

效果优于手动调优优化器。

结果表明，VeLO对83个任务的加速效果超过了现有的一系列优化器。

y轴是加速度与Adam的比值，x轴是任务的比例。

结果表明，VeLO不仅优于不需要调整超参数的优化器，甚至优于一些仔细调整超参数的优化器:

与经典老大哥亚当相比，VeLO在所有任务上的训练速度都更快，其中超过50%的训练速度比调整自己学习速度4倍以上的亚当更快，超过14%的任务学习速度甚至快16倍。

在六种学习任务的优化效果上，VeLO在五种任务上的绩效效果与Adam相当甚至更好:

值得一提的是，VeLO这次也部署在JAX看来谷歌真的推广了这个新框架

巴特，有网友认为训练VeLO需要4000 TPU月，计算成本太高:

虽然这个进步很重要，但它甚至可以赶上GPT—3的训练量。

目前VeLO是开源的，有兴趣的朋友可以试试这个新的AI优化器。

还有一点

前段时间，哈佛的一个博士生提出了一个有趣的想法，得到了很多人的赞同:

Kareem Carr是生物统计学的博士生，他的贡献在生物论文中很常见，之前在AI论文中不多。

不知道以后会不会成为机器学习圈的新趋势。

GitHub地址:

论文地址:

参考链接: