
近日,因移动设备小型语言模型 SmolLM 而备受关注的 Hugging Face 宣布收购基于西雅图的团队协作开发平台 XetHub。XetHub 由前苹果研究人员创立,旨在支持机器学习团队更高效地处理大型数据集和模型。
尽管具体财务细节尚未披露,但 Hugging Face CEO Clem Delangue 表示,这是该公司迄今为止最大的一笔收购。Hugging Face 计划将 XetHub 技术整合至自身平台以升级存储后端,使开发者能以更低成本托管更大规模的模型和数据集;收购完成后,XetHub 平台将停止运营。
Hugging Face CTO Julien Chaumond 透露,XetHub 团队将为其 Hub 仓库引入 LFS 的优化版本作为存储后端,此举将为 Hugging Face 数据集和模型未来五年的增长奠定基础。
XetHub 详情
XetHub 于 2021 年由 Yucheng Low、Ajit Banerjee 和 Rajat Arya 联合创立,团队成员此前曾负责苹果内部机器学习基础设施工作。该平台不仅协助企业发现大型模型与数据集,还支持理解与协作。
XetHub 为 TB 级仓库提供类 Git 版本控制功能,帮助团队跟踪机器学习工作流变更并协同工作,同时保障项目的可复现性。
在存储与传输流程优化方面,XetHub 采用了内容定义分块、去重、即时仓库挂载及文件流等先进技术,Tableau 和 Gather AI 均是其客户。
目前,XetHub 单文件支持超 1TB,总存储规模已突破 100TB。其与 Hugging Face Hub 集成后,用户在使用模型时将能更便捷地进行协作并跟踪进度。

