论文:Progressive Layered Extraction (PLE): A Novel Multi-TaskLearning (MTL) Model for Personalized Recommendations会议:RecSys2020最佳长论文奖这篇文章其实就是MMOE的改进版。解决了一个问题,做了两件事情。 一个问题:任务不相关时,多个专家网络联结在一起容易导致多个任务此消彼长现象(Seesaw Phenomenon),例如优化CTR和GMV两个任务,结果GMV涨了,CTR跌了。MMOE对不相关任务的优化效果比ESSM强不少,但还是不够强,PLE就让他更强了。多个目标可以同时增长。比帕累托最优化这种方法训练model方便多了。这个我觉得是得最佳论文奖的主要看点。两件事情:一个是提出了一个改进的网络结构版本,一个是提出了一种多loss融合训练的方法。后面细讲。 一、motivation我们来看MMOE的网络结构。