大数跨境

Databricks 扩展 Mosaic AI,助力企业构建基于大语言模型(LLM)的应用

Databricks 扩展 Mosaic AI,助力企业构建基于大语言模型(LLM)的应用 海外洞察
2024-06-12
2
导读:一年前,Databricks 以13亿美元收购了 MosaicML。如今,该平台已更名为 Mosaic AI,并成为 Databricks AI 解决方案中不可或缺的一部分。

一年前,Databricks以13亿美元收购MosaicML。如今更名为Mosaic AI的平台已成为其AI解决方案的核心组件。在Data + AI峰会上,Databricks推出了多项新功能。此前,我与联合创始人兼CEO Ali Ghodsi、CTO Matei Zaharia进行了交流。

Mosaic AI五大新工具发布

Databricks推出五款Mosaic AI工具:Mosaic AI Agent Framework、Mosaic AI Agent Evaluation、Mosaic AI Tools Catalog、Mosaic AI Model Training及Mosaic AI Gateway。

Ghodsi表示:“过去一年生成式AI进展显著,但客户核心关切仍是三点:如何提升模型质量与可靠性?如何确保成本效益(当前模型价差巨大)?如何在保护数据隐私的前提下实现上述目标?”本次发布旨在解决这些痛点。

模块化系统:关键型AI应用的未来

Zaharia指出,企业生产级LLM系统通常包含多组件,需多次调用模型并结合外部工具执行RAG等任务。复合系统可通过廉价模型或缓存降低成本,并通过融合专有数据提升结果可信度。

他强调:“模块化系统是构建高影响力、任务关键型AI应用的方向。它赋予工程师全流程控制权。我们正研究创建此类系统的最佳方式,帮助开发者轻松协作、连接模块并追踪流程。”

Agent Framework与Tools Catalog助力智能体构建

Databricks推出Mosaic AI Agent Framework和Mosaic AI Tools Catalog。前者集成上月发布的无服务器向量搜索功能,提供构建RAG应用所需工具。

该向量搜索采用混合方法(关键词+嵌入搜索),与数据湖深度集成且自动同步。依托Unity Catalog治理层,可防止个人信息泄露至向量搜索服务。

Unity Catalog现已扩展支持治理LLM调用的AI工具和函数范围,提升内部服务可见性。开发者可通过Langchain或LlamaIndex等框架链接模型与功能构建智能体,目前已有众多客户投入使用。

Zaharia补充道:“智能体工作流应用广泛,是未来趋势。我们在内部平台助手等应用中验证了这是正确的构建方式。”

Agent Evaluation优化模型评估

Mosaic AI Agent Evaluation是一款AI辅助评估工具,结合LLM评判者测试生产环境表现,支持快速收集用户反馈及标注初始数据集。其UI组件基于收购的Lilac技术,支持海量文本数据集可视化搜索。

Ghodsi解释:“客户常需内部标注少量答案(如100-500条)用于LLM评估器训练。”

Model Training与Gateway完善模型管理

Mosaic AI Model Training允许使用私有数据微调模型,提升特定任务表现。

Mosaic AI Gateway则是查询、管理和部署开源/专有模型的统一接口,通过集中凭据存储库实现受控访问,避免敏感数据外泄。此外,IT部门可设置速率限制控制成本,并获得使用情况追踪功能以便调试。

市场转向开源模型催生新需求

Ghodsi指出,新功能回应了LLM使用方式的转变。过去一个半季度市场变化显著:年初多数企业口头推崇开源,实际仍依赖OpenAI;如今客户更成熟,开始真正使用开源模型,进而需要全新工具应对相关挑战与机遇。

【声明】内容源于网络
0
0
海外洞察
海外资讯洞察,电商,AI
内容 14232
粉丝 0
海外洞察 海外资讯洞察,电商,AI
总阅读3.2k
粉丝0
内容14.2k