Martian 的工具会自动在 LLM 之间切换以降低成本

“在我们对宾夕法尼亚大学法学硕士的研究过程中，我们观察到了人工智能行业的这些相关趋势，”Upadhyay 和 Ginsberg 在电子邮件采访中告诉 TechCrunch。“挑战在于让人工智能研究盈利。”

乌帕迪亚和金斯伯格认为，解决这个问题的最佳方法可能是建立自己的公司——一家其产品受益于可解释性的公司。他们假设，该公司的使命自然会与进一步的可解释性研究而不是能力研究相一致，从而带来更强有力的研究。
这家名为Martian 的公司今天从隐秘状态中脱颖而出，获得了 NEA、Prosus Ventures、Carya Venture Partners 和 General Catalyst 等投资者的 900 万美元融资。Upadhyay 和 Ginsberg 表示，所得收益将用于产品开发、对模型的内部运营进行研究以及扩大 Martian 的 10 名员工团队。

Martian 的第一个产品是“模型路由器”，该工具接收针对大型语言模型 (LLM)（例如GPT-4）的提示，并自动将其路由到“最佳”LLM。默认情况下，模型路由器会针对相关提示选择具有最佳正常运行时间、技能（例如解决数学问题）和性价比的法学硕士。

“公司目前使用法学硕士的方式是为他们发送所有请求的每个端点选择一个法学硕士，”Upadhyay 和 Ginsberg 说。“但是在创建网站这样的任务中，根据用户指定的上下文（什么语言、什么功能、他们愿意支付多少钱等），不同的模型将更适合特定的请求……通过使用团队通过应用程序中的模型数量，公司可以实现比任何单个法学硕士单独实现的更高的性能和更低的成本。”

这是事实。对于某些（如果不是大多数）公司来说，完全依赖 GPT-4 等高端 LLM 可能成本过高。市场情报公司 Permutable.ai 的首席执行官最近透露 ，使用 OpenAI 的高端模型每天处理约 200 万篇文章，该公司每年的成本超过 100 万美元。并非每项任务都需要更昂贵的模型马力，但构建一个可以动态智能切换的系统可能很困难。这就是 Martian 的用武之地，它能够在不实际运行模型的情况下估计模型的表现。

他们补充说：“Martian 可以根据要求转向更便宜的型号，其性能与最昂贵的型号类似，并且仅在必要时才转向昂贵的型号。” “模型路由器会在新模型出现时对它们进行索引，并将它们整合到零摩擦或零手动工作的应用程序中。”

现在，火星人的模型路由器并不是新技术。至少另一家初创公司Credal提供了自动模型切换工具。因此，其上涨将取决于 Martian 的定价竞争力及其在高风险商业场景中提供服务的能力。Upadhyay 和 Ginsberg 声称，已经有一些人开始采用这种技术，其中包括“价值数十亿美元”的公司。
“构建一个真正有效的模型路由器非常困难，因为它需要了解这些模型的基本工作原理，”他们说。“这是我们开创的突破。”
原文链接：https://techcrunch.com/2023/11/15/martians-tool-automatically-switches-between-llms-to-reduce-costs/