大数跨境

Martian 的工具可自动在大型语言模型(LLM)之间切换,以降低运营成本

Martian 的工具可自动在大型语言模型(LLM)之间切换,以降低运营成本 海外洞察
2023-11-15
2
导读:新成立的AI初创公司Martian推出了一款工具,可根据成本、可用性等因素自动在大型语言模型(LLM)之间切换。

宾夕法尼亚大学AI研究人员Shriyash Upadhyay和Etan Ginsberg指出,大型AI公司在追求模型竞争力时往往牺牲基础研究。两人认为市场动态是主因:融资多用于维持竞争领先,而非基础理论探索。

Upadhyay和Ginsberg在接受TechCrunch邮件采访时表示:“在宾大研究大语言模型(LLMs)期间,我们观察到AI行业这一令人担忧的趋势,核心挑战在于如何让AI研究实现盈利。”

为解决该问题,两人创办了Martian公司,旨在通过可解释性产品推动相关研究。今日,Martian宣布完成900万美元融资,投资方包括NEA、Prosus Ventures、Carya Venture Partners及General Catalyst等。资金将用于产品开发、模型内部运作研究及团队扩充(目前10人)。

智能“模型路由器”降本增效

Martian首款产品为“模型路由器”,可自动将输入LLM的提示词路由至最优模型。系统默认根据正常运行时间、技能匹配度(如数学解题)及性价比选择最佳LLM。

Upadhyay和Ginsberg解释道:“当前企业通常为每个端点固定单一LLM,但在建站等场景中,不同请求适配不同模型。通过‘模型团队’策略,企业可实现比单一模型更高的性能与更低的成本。”

完全依赖GPT-4等高端模型成本高昂。Permutable.ai CEO透露,其使用OpenAI高端模型日均处理200万篇文章,年支出超100万美元。并非所有任务均需顶级性能,但构建实时智能切换系统难度极大,这正是Martian的核心价值——无需实际运行即可预估模型表现。

团队表示:“当廉价模型表现接近昂贵模型时,Martian会自动路由以节省成本,仅在必要时调用高价模型;新模型发布后亦可无缝索引整合,无需人工干预。”

技术壁垒与商业化前景

尽管Credal等竞品已提供类似工具,Martian的增长仍取决于定价竞争力及高风险场景下的交付能力。Upadhyay和Ginsberg称,目前已获部分“数十亿美元级”企业采用。

他们强调:“构建高效模型路由器需深入理解模型底层原理,这是我们的核心技术突破。”

【声明】内容源于网络
0
0
海外洞察
海外资讯洞察,电商,AI
内容 14232
粉丝 0
海外洞察 海外资讯洞察,电商,AI
总阅读3.2k
粉丝0
内容14.2k