（二）当强化学习碰到可编程的网络
人工智能是个筐
什么都能往里装
今天装到筐里的是
近几年的风口-强化学习RL
强化学习被认为是
真正的人工智能的希望
因为它的目的是学习如何做事情
它是与环境互动的目标导向的学习
分布式RL训练
具有独特的工作负载特征
频繁的梯度聚合生成大量的迭代
因此网络通信占用训练时间的83.2％
当前解决之道存在各自问题
集中式参数中服务器会成为瓶颈
AllReduce训练中交换机成为瓶颈
基于可编程交换机的在线加速才是王道
将梯度聚合
从服务器节点
移到可编程交换机
可以显著减少所需的网络跃点数
全新设计的交换机内加速器
大幅减少端到端通信开销和阻塞时间
训练算法得以全流水线执行本地梯度计算
作为可编程交换机的扩展
iSwitch不会影响其它常规网络功能
三种方法对比可见
基于可编程交换机的In-Switch
方式可以以最小代价降低训练时间
