嘉宾介绍

张颖峰，英飞流创始人，连续创业者。先后负责7年搜索引擎研发，5年数据库内核研发，10年云计算基础架构和大数据架构研发，10年人工智能核心算法研发，包括广告推荐引擎，计算机视觉和自然语言处理。先后主导并参与三家大型企业数字化转型，支撑过日活千万，日均两亿动态搜索请求的C端互联网电商业务

英飞流(InfiniFlow)2023年8月成立于上海，是一家AI基础设施服务商，致力于AI技术的普适化，让所有企业受益于人工智能。英飞流的主打产品是AI原生数据库，结合大模型共同服务 RAG 场景; 英飞流同时还提供完整的行业RAG解决方案，端到端解决LLM落地的实际挑战。

   快问快答

1、能否介绍下你们的产品和核心应用场景？

我们产品主要是两方面，一个是Infra层面的Infinity AI原生数据库，主要是为 RAG 服务的，作为全新开发的数据库，它解决了当下向量数据库在服务RAG时的诸多问题，可以提供更好的RAG能力和满足未来 RAG 进化的需求。另一方面是完整的 RAG 解决方案，由于数据库本身距离业务有一些远，再加上 LLM 落地企业还处于初期，因此我们用完整的RAG 解决方案帮助客户加速数智化进程。

目前我们的数据库已经赶在23年年底之前开源，到目前为止项目在开源社区引起了较多的关注。预计在今年3-4月会有第一个release，届时我们将会有一些种子用户的试用。在数据库稳定之前，我们也同步展开了 RAG 解决方案的研发，这些解决方案主要针对 RAG 实施过程中遇到的痛点进行针对性解决。RAG解决方案目前已经在多个行业客户中试用和POC。

目前的最大挑战还是在于 LLM 虽然火热，但是其效果达到让企业满意还有一定距离，因此让企业对基于LLM的产品愿意付费，其实还是不容易做到的。

最大收获则是通过我们的努力，加速让 RAG 在国内多个行业落地试用，通过客户的反馈，使得我们对 RAG 所需要的核心能力诉求有了更多感受，这反过来也调整了我们在Infinity数据库研发的优先级，让数据库更加关注当下 RAG 实施的一些痛点，从而让数据库本身不仅着眼于长期，也能更好地立足当下。

最大的机遇就是数智化这件事不再是说说而已。AI发展近十年以来，在企业的应用仍然局限在营销等有限场景。在流量红利已经接近结束的今天，需要有更多的应用脱颖而出，去解决营销之外的一些问题，比如效率提升，办公辅助，等等，而这件事是在LLM出现并流行之后才成为可能。换句话，过去的AI落地企业，是为了解决单一问题的，而当下的LLM，是可以在更多通用层面解决问题。

最大挑战是国产LLM目前在能力上距离ChatGPT差距较大，因此限制了很多应用场景的真实落地。

其次是受到大环境影响，国内客户对于付费意愿都下降很多，对于AI产品的能力期望跟AI的实际能力之间的GAP较大。

再其次是一些算力上的挑战，虽然说通过RAG等方案已经大大降低了企业在硬件上的成本，但即便如此，仍然会有一些算力上的瓶颈，期待国产GPU出货及其配套生态能快速跟上。

至少在我们所处的Infra领域，我不认为巨头能带来降维打击。这是因为Infra层面，需要长期的积累，才能对产品的关键特性把握准确，并且创业公司还有迭代快速，产品可用性好的优点。而巨头在Infra层面容易陷入KPI导向的造轮子行为，对于产品的特性，易用性，成本等都考虑不够全面，从长期来看，巨头在Infra领域的竞争力是不足的。

目前LLM的能力距离理想还相差很远，极大限制了AI应用的进一步发展。举例来说，很多LLM在评测中拿到了很好的成绩，有多个模型总是在宣称接近甚至超过了ChatGPT，然而事实上，这些LLM在服务具体场景，比如RAG的时候，能力相距ChatGPT差距巨大。 

行业有说法2024年是“RAG元年”，我不确定这个说法是否准确，但RAG在2024年有快速增长是可以预期的。2024年在RAG的Infra之外，也会有更多的提升RAG的模型出现，包括文档理解，文档排序等等。

2024年在LLM本身，多模态应该会有长足的进步，低成本的开源多模态和MOE都会流行和普及开来

2024年在LLM的推理加速，也会有显著进展，这来自两方面：其一是基于Transformer本身的推理架构，通过量化和稀疏等技术手段，都可能会产生更大的加速进展；其二是基于更新的backbone网络构建的LLM，可能会逐步流行开来，这极大化降低了推理和训练的成本

最后我期望在2024年国产和开源LLM能够有一些真正的突破，不要满足一些简单的评测上超过OpenAI，而要在一些真实的能力，比如摘要，比如可控制的幻觉等等落地痛点上有切实有效地推进。