大数跨境
0
0

活动回顾|Xtreme1 平台的起源、功能与挑战

活动回顾|Xtreme1 平台的起源、功能与挑战 Xtreme1
2022-12-21
0
导读:了解拥抱开源的 Xtreme1 如何突破 AI 研发的瓶颈、解决训练数据平台的挑战。



2022 年 12 月 16 日,由星策开源社区主办、思否社区协办的首届“ 星策 Summit ” 落下帷幕。峰会中,来自企业智能化转型、MLOps 与 FeatureStore 等领域的企业管理层、CTO、CEO、AI 工程师与开发者们齐聚一堂,分享 AI 前沿创新技术与 AI 新浪潮。

倍赛科技 CTO 刘世林博士受邀于峰会 MLOps 分论坛中发表演讲,以 “Xtreme1 下一代开源多模态训练数据平台”为主题,从训练数据平台的起源出发,分享 Xtreme1 平台的核心功能亮点与技术挑战,以及平台的未来规划设想。请收下 X 星人特别为您带来的分享回顾:


1

训练数据平台的起源 

刘世林博士首先介绍了 Xtreme1 平台的起源与初衷。UBS 的一份研究报告指出,AI 工程师花费了 70%-90% 的时间在训练数据的处理与准备上。作为集数据治理、本体中心、模型集成等能力的新一代训练数据平台,Xtreme1 针对 AI 研发过程中数据漂移、数据成本上升等痛点提出了解决方案。

图 1|AI 研发中的新痛点

2

Xtreme1 亮点展示

Xtreme1 的使命是构建最容易触达的开源 Data-Centric MLOps 基础设施,以连接人、模型和数据。第二个部分中,刘博士依次展示了 Xtreme1 平台的四个亮点,分别是:本体中心、标注套件、数据治理与模型集成。

Xtreme1 本体中心 - Xtreme1 首次引入本体(Ontology)来穿透不同 AI 客户的问题抽象,以实现更易于共享、融合、推荐的子问题定义,从而加速模型的开发进程。使用本体可以推进标注方案的标准化建设,也可以实现更高效的数据集管理,尤其是跨数据集的搜索与管理,通过数据集的过滤高效创建新的数据集。

Xtreme1 标注套件 - 在介绍 Xtreme1 标注套件的亮点时,刘世林博士对 Xtreme1 标注套件的几个特色功能进行了演示:分别是预训练模型帮助下的单帧批量自动化识别、3D 目标跟踪、参数调整、标注框自动收敛与全新的工作流管理功能。

图 2|3D 目标跟踪演示

Xtreme1 数据治理 - 随着 AI 对训练数据的质量要求不断上升,评价尺度也更加多样化,对工具的建设也提出了更高的要求。因此,Xtreme1 平台对于数据治理规划了一系列特色功能。其中数据可视化方面,Xtreme1 平台的一个可视化工具可以便捷地进行结果审阅。用户可以自由切换不同视角、传感器数据。这一功能不仅可以服务于数据标注的数据质检环节,还可以极大地帮助算法工程师进行定位、评测模型在数据预测上的效果。

图 3|Xtreme1 数据治理特色功能
Xtreme1 模型集成 - Xtreme1 平台大量使用 AI 能力,致力于提供更高效的工具和完整的解决方案,包括达到数据效能与模型效能两方面的目标。对于数据效能,Xtreme1 拥有 AI 预识别功能,可以进行快速标注;平台也提供了主动学习等 AI 能力,可以筛选出最有价值的数据进行标注了;另外,平台背后的数据增强与合成能力也可以有效降低数据成本。对于模型效能,Xtreme1 提供大量开源或者自主开发的预训练模型,也提供了开箱即用的特定场景模型,方便用户快速进行模型开发。除此之外,平台还拥有低代码支持、开放 API、Python SDK 等特性,方便快速建模;数据管道与流数据接入的能力也支持着终身学习。

3

平台建设中的技术挑战与应对策略

在第三部分,刘博士分享了 Xtreme1 平台建设过程中遇到的技术挑战与应对策略,包括 Xtreme1 如何进行技术架构、如何处结构化数据与非结构化数据的存储、平台的资源管理解决方案、异步计算解决方案以及监控与日志的解决方案。

图 4|TiDB 分布式架构解决方案

4

未来的规划与设想

源于开源,拥抱开源。Xtreme1 相信开源是实现快速打造 Data-Centric MLOps 的路径,Xtreme1 于 2022 年 9 月正式开源,开源功能包括训练数据平台的底座,以及图像与点云机器视觉场景的工具支持。2023 年,Xtreme1 将推出更多开发者友好的工具,比如 SDK 支持、开放 API 以及完善更多的数据类型支持,如文本、语音及视频。长远来看,平台将进一步支持模型训练能力。

图 5|Xtreme1 安装代码、优势与行动


如果大家对 Xtreme1 感兴趣,欢迎关注 GitHub Repo:
https://github.com/xtreme1-io/xtreme1/
如果您遇到了一些问题,欢迎在交流群讨论或者通过提 issue 的方式告诉我们,我们一定会帮到您。

往期回顾

关于我们

官网:xtreme1.io

文档:docs.xtreme1.io

【声明】内容源于网络
0
0
Xtreme1
Linux基金会下的全球首个开源多模态训练数据平台
内容 31
粉丝 0
Xtreme1 Linux基金会下的全球首个开源多模态训练数据平台
总阅读20
粉丝0
内容31