从涌入该领域的初创企业数量和投资者纷纷投资分一杯羹的情况来看，向量数据库正风靡一时。大型语言模型（LLM）的普及以及生成式人工智能（GenAI）运动为向量数据库技术的蓬勃发展创造了肥沃土壤。
虽然像 Postgres 或 MySQL 这样的传统关系型数据库非常适合结构化数据——即可以整齐地存储在行和列中的预定义数据类型——但对于图像、视频、电子邮件、社交媒体帖子以及任何不符合预定义数据模型的非结构化数据来说，这种方法效果并不理想。
另一方面，向量数据库以向量嵌入的形式存储和处理数据，将文本、文档、图像和其他数据转换为数值表示，从而捕捉不同数据点之间的含义和关系。这非常适合机器学习，因为数据库会根据各项数据的相关性在空间上存储数据，使得检索语义相似的数据变得更加容易。
这对 LLM（大型语言模型）特别有用，例如 OpenAI 的 GPT-4，因为它允许 AI 聊天机器人通过分析之前类似的对话来更好地理解对话的上下文。向量搜索对于各种实时应用也很有用，例如社交网络或电子商务应用中的内容推荐，因为它可以查看用户搜索过的内容并瞬间检索出相似的项目。
通过提供原始训练数据集中可能未包含的额外信息，向量搜索还有助于减少 LLM 应用中的“幻觉”现象。
“如果不使用向量相似度搜索，你仍然可以开发 AI/ML 应用程序，但你需要进行更多的重新训练和微调。” Andre Zayarni，向量搜索初创公司 Qdrant 的首席执行官兼联合创始人，向 TechCrunch 解释道：“当数据集规模庞大时，就需要用到向量数据库，以便高效且方便地使用向量嵌入工具。”
今年一月，Qdrant 获得了 2800 万美元的投资，以利用其增长势头，使其成为去年增长最快的十大商业开源初创公司之一。而且它远不是最近唯一筹集资金的向量数据库初创公司——Vespa、Weaviate、Pinecone 和 Chroma 去年共同为各种向量产品筹集了 2 亿美元。
自年初以来，我们还看到 Index Ventures 领投了 Superlinked 的 950 万美元种子轮融资。Superlinked 是一个将复杂数据转化为向量嵌入的平台。几周前，Y Combinator (YC) 公布了其 2024 冬季批次，其中包括 Lantern，这是一家为 Postgres 提供托管向量搜索引擎的初创公司。
此外，Marqo 在去年晚些时候完成了 440 万美元的种子轮融资，随后在二月迅速完成了 1250 万美元的 A 轮融资。Marqo 平台开箱即用地提供了全套向量工具，涵盖向量生成、存储和检索，允许用户绕过来自 OpenAI 或 Hugging Face 等第三方工具，并通过单一 API 提供所有功能。
Marqo 联合创始人 Tom Hamer 和 Jesse N. Clark 此前曾在 Amazon 担任工程职务，在那里他们意识到跨文本和图像等不同模态进行语义化、灵活搜索存在“巨大的未满足需求”。正是在那时，他们跳槽并于 2021 年创立了 Marqo。
“在亚马逊从事视觉搜索和机器人工作时，我开始真正关注向量搜索——我当时在思考进行产品发现的新方法，而这很快就聚焦于向量搜索。”Clark 告诉 TechCrunch。“在机器人领域，我使用多模态搜索来浏览大量图像，以识别是否存在软管和包裹等异常物品。否则，解决这些问题将非常具有挑战性。”
进军企业市场
尽管在 ChatGPT 和生成式 AI 浪潮的喧嚣中，向量数据库正成为焦点，但它们并非适用于所有企业搜索场景的万能药。
与需要适应现有设计的一般用途数据库相比，“专用数据库往往完全专注于特定用例，因此可以为所需任务的性能以及用户体验设计其架构，”数据库支持和服务公司 Percona 的创始人 Peter Zaitsev 向 TechCrunch 解释道。
虽然专用数据库可能在某一领域表现出色而忽略其他方面，但正因如此，我们开始看到 Elastic、Redis、OpenSearch、Cassandra、Oracle 和 MongoDB 等数据库老牌厂商以及 Microsoft 的 Azure、Amazon 的 AWS 和 Cloudflare 等云服务提供商纷纷将向量数据库搜索功能融入其中。
Zaitsev 将这一最新趋势与十多年前的情况相提并论，当时 Web 应用变得更加普遍，开发人员需要一种易于人类读写且与语言无关的数据格式。在这种情况下，出现了一类新的数据库，即文档数据库（例如 MongoDB），而现有的关系型数据库也引入了对 JSON 的支持。
“我认为向量数据库很可能也会发生类似的情况，”Zaitsev 告诉 TechCrunch。“那些构建非常复杂且大规模 AI 应用的用户会使用专用的向量搜索数据库，而那些只需在其现有应用中添加少量 AI 功能的人更可能使用他们已用数据库中的向量搜索功能。”
但 Zayarni 和他的 Qdrant 同事坚信，完全围绕向量构建的原生解决方案将在向量数据爆炸性增长时提供所需的“速度、内存安全性和可扩展性”，这与那些将向量搜索作为事后补充的公司形成对比。
“他们的说法是，‘我们也能做向量搜索，如果需要的话’，”Zayarni 说。“我们的说法是，‘我们以最佳方式实现高级向量搜索’。关键在于专业化。我们实际上建议从技术栈中已有的任何数据库开始。如果向量搜索是你解决方案的关键组成部分，用户最终会面临局限性。”