依赖公共数据(主要是网络数据)训练人工智能正阻碍该领域发展。剑桥大学技术企业家兼研究员、Flower联合创始人Daniel Beutel指出,这一问题在AI研究中日益严峻。
Beutel在接受TechCrunch邮件采访时表示:“公开集中的数据仅占全球数据的极小部分。相比之下,分布式数据——即被困在手机、可穿戴设备、物联网设备或企业内业务部门等组织孤岛中的数据——规模更大、更全面,但目前的AI技术难以触及。”
2020年,Beutel与剑桥大学同事Taner Topal及前三星剑桥AI中心主管Nicholas Lane共同创立Flower,旨在通过平台“去中心化”AI训练过程,使开发者能够在分布于数千台设备和地点的数据上训练模型。Flower采用联邦学习技术,不直接提供数据访问权限,从而在涉及隐私或合规性时提升训练安全性。
Beutel表示:“Flower认为,一旦因分布式数据的基本优势而变得易用和普及,这种AI方法不仅将成为主流,也将成为AI训练的标准方式。”
联邦学习并非新方法。该技术多年前已在学术界提出,核心是在持有数据样本的去中心化设备上训练AI算法而不交换样本。可使用中央服务器协调训练,或以点对点方式进行。无论何种方式,本地算法均在本地数据样本上训练,权重(即可学习的算法组件)在算法间交换以生成全局模型。
DynamoFL、DataFleets、Sherpa等初创公司以及谷歌等大型科技公司均以某种形式应用联邦学习训练AI模型。
Beutel解释道:“使用Flower时,训练过程中数据无需离开源设备或位置(如公司设施)。相反,‘计算向数据靠拢’并在各数据所在地进行部分训练——最终只传输并合并训练结果,而非数据本身。”
FedGPT:大语言模型的联邦学习突破
Flower近期推出FedGPT,这是一种用于训练大型语言模型(LLM)的联邦学习方法,性能可与OpenAI的ChatGPT和GPT-4媲美。目前处于预览阶段的FedGPT允许公司在分布在全球各地及不同设备(包括数据中心和工作站)的数据上进行LLM训练。
Beutel表示:“FedGPT的重要性在于,它使组织能够使用内部敏感数据构建LLM,而无需将数据分享给LLM提供商。公司通常拥有分布在全球或组织不同部分且无法移动或离开特定地理区域的数据。FedGPT使得在训练LLM时能利用所有这些数据,同时尊重隐私和数据泄露担忧以及限制数据流动的法律。”
开源生态与行业合作
Flower还与开源网页浏览器Brave合作,牵头名为Dandelion的项目。Beutel表示,该项目目标是构建覆盖当今超5000万Brave浏览器客户端的开源联邦学习系统。
Beutel指出:“人工智能正进入监管日益严格、对其所用数据来源格外谨慎的时代。客户可以使用Flower构建AI系统,在强烈保护用户隐私的同时仍能利用比以往更多的数据。在Flower下,由于遵循联邦学习原则,AI系统仍可在不同约束条件下成功部署和训练。”
融资与未来发展
据Beutel介绍,Flower过去几个月增长显著,开发者社区已增至略超2300人。包括保时捷、博世、三星、Banking Circle、诺基亚及斯坦福大学、牛津大学、麻省理工学院、哈佛大学在内的数十家财富500强公司和学术机构均为其用户。
作为Y Combinator 2023年批次成员,Flower吸引了First Spark Ventures、Hugging Face CEO Clem Delangue、Factorial Capital、Betaworks和Pioneer Fund等投资者关注,并在种子前轮筹集了360万美元。
Beutel表示,这笔资金将用于扩大核心团队,增加研究人员和开发人员数量,并加速推动支撑Flower框架和生态系统的开源软件开发。
Beutel强调:“人工智能正面临可重复性危机,而这一情况在联邦学习中更为严峻。由于缺乏对分布式数据的广泛训练,我们缺乏流行方法的开源软件实现的关键规模。通过共同努力,我们旨在让社区能够在Flower上获得全球最大的开源联邦技术集合。”

