大数跨境

Kong 推出的全新开源 AI 网关让构建多大型语言模型(LLM)应用变得更加简便

Kong 推出的全新开源 AI 网关让构建多大型语言模型(LLM)应用变得更加简便 海外洞察
2024-02-15
1
导读:API 公司 Kong 正在推出其开源 AI 网关,这是对其现有 API 网关的扩展,允许开发者和运维团队

API 公司 Kong 推出开源 AI 网关,作为现有 API 网关的扩展,支持开发者与运维团队通过单一 API 集成一个或多个大型语言模型(LLM)。该网关新增提示工程、凭据管理等专为 AI 设计的功能。

Kong 联合创始人兼 CTO Marco Palladino 表示:“AI 是 API 的最新用例之一。从消费 AI、微调到 AI 自身运作均涉及 API,AI 的发展将进一步推动全球 API 使用量的增长。”

Palladino 指出,尽管企业普遍探索 AI 应用,但对数据泄露存有顾虑,未来可能倾向于本土运行模型并将云端作为备用。当前,企业仍需解决云端模型访问凭据管理、流量控制记录及配额管理等挑战。

他强调:“通过 API 网关,开发者无需更改代码即可调用多个 LLM 提供商,从而提升 AI 应用构建效率。”目前,该网关已支持 Anthropic、Azure、Cohere、Meta LLaMA、Mistral 及 OpenAI。

图片来源:Kong

Kong 认为,多数厂商仍以传统方式管理 AI API。通过在 API 层叠加 AI 专属功能,可启用新用例或简化现有流程。借助 AI 响应与请求转换器,开发者能动态调整提示及结果,如自动翻译或移除个人身份信息。

提示工程深度集成于网关中,使企业能在模型上强制执行指导方针,并实现方针与提示的集中化管理。

Kong API 管理平台推出近九年。联合创始人兼 CEO Augusto Marietti 透露,Kong 已成为 GitHub 排名第一的 API 产品,上一季度实现现金流为正且暂无融资计划,发展态势良好。

Kong Gateway 作为平台核心,也是新 AI 网关的动力源。现有用户升级当前安装即可获取所有 AI 新功能。

目前,这些 AI 功能免费提供。Kong 计划未来推出付费高级功能,但本次发布暂不涉及商业化目标。

【声明】内容源于网络
0
0
海外洞察
海外资讯洞察,电商,AI
内容 14232
粉丝 0
海外洞察 海外资讯洞察,电商,AI
总阅读3.2k
粉丝0
内容14.2k