






我们介绍了一款支持重新配置的光电深度学习智能网卡 Lightning,它能以 4.055 GHz 的计算频率为实时推理请求提供服务。为此,Lightning 采用了一种新颖的数据路径,将流量从网卡送至光计算内核,而不会产生数字数据移动瓶颈。Lightning 通过采用可重新配置的count-action抽象实现了这一目标,该抽象将计算控制平面与数据平面分离开来。
count-action抽象会计算有向无环图(DAG)中每个计算任务的操作次数。然后,在不中断数据流的情况下,一旦上一个任务完成,它就会触发下一个(或多个)任务的执行。我们的原型显示,Lightning 的光子 MAC 准确率达到 99.25%。
在提供实时推理请求时,与Nvidia P4和A100 GPU相比,Lightning将LeNet DNN的端到端推理延迟分别提升了9.4倍和6.6倍。
一、投资篇:


