为追求更高效AI系统开发，英特尔、Arm和英伟达今日联合发布“AI通用交换格式”草案规范。该提案虽为自愿性，但拟议的“8位浮点数（FP8）”标准有望通过优化硬件内存使用，在AI训练与推理环节发挥关键作用，从而加速AI开发进程。
在AI系统开发中，数据科学家除收集训练数据外，还需确定表示系统权重的格式。权重是从训练数据中学习并影响预测的关键因素，使GPT-3能根据短提示生成长文，或让DALL-E 2依据描述生成逼真肖像。
常见格式包括16位半精度浮点数（FP16）和32位单精度浮点数（FP32）。低精度格式可减少AI训练与运行所需内存，加快计算速度并降低带宽与功耗，但会牺牲一定准确性——毕竟16位可处理的数据量少于32位。
目前，英特尔、Arm和英伟达等行业参与者正将FP8视为最佳平衡点。英伟达产品营销总监Shar Narasimhan指出，拟议FP8格式在计算机视觉及图像生成等用例中，展现出与16位精度相当的准确性，同时带来显著速度提升。
三家企业表示，其FP8格式将为免许可费的开放格式。相关白皮书已详细描述该规范，后续还将提交IEEE审议。
Narasimhan强调：“通用的交换格式将实现快速进步，促进软硬件平台互操作性，推动计算技术发展。”
推动标准化并非单纯出于公益。英伟达GH100 Hopper架构与英特尔Gaudi2 AI训练芯片组均已原生支持FP8。
通用FP8格式同样惠及SambaNova、AMD、Groq、IBM、Graphcore及Cerebras等竞争对手，这些企业均已尝试或采用某种形式的FP8进行开发。Graphcore联合创始人兼CTO Simon Knowles今年7月撰文称：“8位浮点为AI计算提供巨大性能与效率优势”，并认为这是行业确立单一开放标准、避免多种竞争格式并存的关键机遇。