今天看了篇好玩的论文。简单干净。容易组装,可以火线上生产玩。不过还没试。应该效果不错。 文章名字:Gradient Surgery for Multi-Task Learning 代码链接:https://github.com/tianheyu927/PCGrad 会议:34th Conference on Neural Information Processing Systems (NeurIPS 2020), Vancouver, Canada. 有人可能觉得是一个trick,我觉得是一个很脑暴的好思路。 所谓跷跷板问题,就是说多目标优化的时候,任务A优化好了,结果发现任务B效果不好。解决这个问题的方法有很多,一个是帕累托最优,每次迭代的时候求一个可执行域,可执行域保证每个任务都是有优化的,然后在这个可执行域迭代求个任务的最优解;这个方法简单粗暴,解决多目标优化构建了一个监督信号,只要能收敛肯定保证了多个目标都得到了比初始值好的效果,但就是很容易不收敛,甚至可执行域都求不出来。最近为了能降低NAN的错误次数,出来了一篇small tower,后面有空分享一下;然后呢,有在模型结构上动脑筋的,之前分享的腾讯的PLE的文章,这里不赘叙。 今天这个文章又往下走了,直接优化了梯度优化的优化器。让优化器走的方向不再是梯度方向,而是根据情况调整的“伪梯度方向”。当然,在单个任务上这个肯定收敛会变慢,但他在优化器的层面保证了多个任务的协调步调。跟帕累托比较,相当于提前解决了冲突,而不是非得的等到最后任务前向传播算一个结果值发现不在执行域的时候再重新算,提前在梯度传播的时候就保证了步调一致,这样总的多任务收敛会更快。 核心思想: 一张图就够了: