2024年3月18日,澜舟科技在中关村国家自主创新示范区展示中心隆重举行了“创新落地,生态共赢”大模型技术和产品发布会。此次发布会取得了圆满成功,不仅展示了澜舟科技的大模型的最新进展和大模型技术的实际应用落地、生态构建的成果,更体现了其对未来发展的深度思考和战略布局。
北京超级云计算中心作为澜舟科技的算力服务合作伙伴,为孟子大模型的训练提供了好用可靠的算力资源服务。在发布会现场,北京超级云计算中心与其他用户和合作伙伴齐聚一堂,共同与澜舟科技签约并合影,以纪念这一重要时刻。
签约仪式合影
👇以下内容转载自澜舟科技公众号👇
开场致辞
AI2.0平台变革进行式
李开复博士指出, AI 2.0 模型能力突飞猛进,通识理解已经超越人类专家。AI 2.0 通过图灵测试并趋于成熟,揭示下一个平台级变革 。新一代创新应用需要新的技术平台,基于强大的底层技术搭建出高效的开发工具, 从而节约开发生态做创新产品的成本,促进包括新产品、新业态、新的商业模式的全新应用生态。
随后,李开复博士展望了AI 2.0未来的四大趋势:
-
最革命性的 AI 2.0 应用应该是 AI-First / AI-Native:最终脱颖而出的应用属于那些敢于全力投入新技术的先驱者。大语言模型的引入为 AI-First 应用带来了巨大的推动力。
-
大模型始于文本,未来将拓展至“全模态”:跨模态生成技术是实现认知和决策智能的转折点。现实世界的信息是文本、音频、视觉、传感器以及人类各种触觉的综合体系,要更为精准地模拟现实世界,就需要将各种模态能力打通,例如文本-图像、文本-视频等跨模态甚至全模态的综合能力。 -
AI 2.0 将超越对话,从聊天工具到智能生产力工具:用户体验以及未来交互界面和商业模式都会发生大的变革。 -
AI 2.0 将走向实体,大幅提振社会生产力:具身智能可以让机器人制造机器人, 进一步实现AI 2.0 + 生产线智能规划。
“一横N纵”孟子大模型系列及产品发布
2021年6月,澜舟科技正式成立, 致力于自主研发大模型技术和行业应用,在去年3月发布了孟子GPT V1(MChat),今年1月孟子大模型GPT V2(含孟子大模型-标准、孟子大模型-轻量、孟子大模型-金融、孟子大模型-编码)对公众开放。
周明博士强调,澜舟科技注重技术和应用双轮驱动。在积极研究和掌握前沿技术的同时,公司也致力于确保这些技术的有效应用。在每一个关键技术发展的时期,澜舟科技都会携手客户及合作伙伴,如传神、数说故事、华为云、华夏基金、同花顺、中金公司等,共同开展深入合作。通过深入应用场景、精准把握用户需求,澜舟科技不断推动技术和产品的迭代升级,力求在激烈的市场竞争中保持领先地位。
-
大模型的能力得到快速提升:在更长的上下文处理能力、数学能力和推理能力、安全对齐等方面得到大幅度增强。 -
RAG(检索增强生成):通过结合搜索相关数据库的结果与用户指令进行生成,可有效改善模型幻象、实时性、数据安全等问题。 -
GPTs:用户基于大模型的超强能力方便地搭建自定义的GPT。 -
多模态大模型:SORA突破了4秒钟限制,可以生成60秒的视频,而且生成的视频质量大幅度提升。 -
大模型原生应用方面略现端倪:譬如,利用大模型构建AI搜索、角色扮演聊天、数字人等。 -
大模型开源:LLaMA等开源模型有力地推动大模型的普及和发展,也显著地改变了大模型的竞争格局。
2024年将是大模型落地元年, 各界热切期盼大模型能结合不同行业的场景应用,实现规模化效用。政府工作报告新鲜出炉,特别强调以人工智能+,驱动各行各业的转型升级。周明认为要把握好这个历史契机,通过落地,创造价值,拉动创新。要做好大模型落地,周明表示,互联网的七字法则仍然适用:专注、极致、口碑和快,还要再加上成本,形成大模型落地九字法则。
最后,在Mengzi-3语料数据的加持下,澜舟团队在近期完成了Mengzi3-13B的大模型训练,在常见公开数据集,如MMLU,Chinese-MMLU,GSM8K,HUMAN-EVAL等评估模型效果来看,该模型在各项基准测试中与相仿参数量大模型相比,中英文语言能力成绩领先。
针对大模型训练和部署的成本高的问题,澜舟科技专注把ToB场景使用最多的LLM模型(参数量7B、13B、40B最高到100B)做到最佳并大幅度提升大模型的推理效率。
3月30日Mengzi3-13B的模型将在GitHub、HuggingFace、魔搭和始智AI社区开源,届时也期待社区更多的反馈。
针对大模型的幻象问题和用户数据安全问题,孟子大模型提出了改进的RAG能力。通过孟子大模型理解用户意图,可分别经过大模型自身,或者通过RAG查找用户知识库,甚至通过Web搜索,最后多路召回搜索结果,经过排序输出最可信结果。
在值得关注的行业/垂直大模型中,澜舟科技目前重点投入到了金融行业,辅助编程等领域,旨在通过更加全面、专业、优质的领域数据,打造更加贴近行业场景的垂直大模型。
李京梅也提到,之前已经发布过的澜舟智会和机器翻译近期也都做了背后模型能力的升级。
除此之外,澜舟还与新华智云合作,利用文化历史、地方志、诗词等数据共拓文化大模型;与某头部企业合作,通过历史客服对话数据进行大模型训练,升级在线机器人/虚拟数字助理的效果,技术验证可以实现意图识别率提升5%,问题解决率提升14%。
产品发布之后,李京梅邀请部分在京的客户和合作伙伴公司代表上台,请周明博士向他们回递合作签约协议并合影留念。澜舟科技将积极与产业链上下游企业合作,共同打造一个开放、共享、协同的技术生态,推动整个行业的快速发展。
马永亮指出当前我们正处在一场搜索技术和产品体验变革的浪潮之中。大模型和检索增强架构的引入,为搜索领域带来了革命性的变化。大模型技术让搜索引擎能够更好地理解用户的搜索意图和上下文,从而提供更精准、更个性化的搜索结果。此外,大模型的应用还使得搜索结果的总结和推理能力得到了极大的提升。通过对海量数据的学习和分析,搜索引擎能够为用户提供更加全面、准确的搜索结果,并且能够基于用户的搜索历史和偏好进行智能推荐,从而提升搜索体验的质量和效率。随着大模型技术的发展,我们可以预见到搜索引擎将会向着更加智能化、情景化和个性化的方向发展。在这个过程中,人工智能技术将会扮演着越来越重要的角色,而大模型技术则会成为推动搜索引擎发展的核心驱动力。
马永亮进一步深入分享了大模型技术应用在搜索领域的一些实践和探索。
首先,向量检索模型是深度学习、预训练广泛应用于搜索技术中最有代表性的技术之一。它改进了检索召回的效果,对于基于关键词的召回方法起到了非常好的补充作用,加强了在检索阶段语义理解和匹配的能力。我们正在探索如何通过大模型的领域数据合成来提升检索模型在垂直领域的泛化能力。这一创新意味着我们能够更好地适应不同领域的搜索需求,从而提供更加准确和全面的搜索结果。
其次, 马永亮还讲到他们在工作中引入了大模型和小模型结合的非对称嵌入模型,在提高检索的召回率的同时保持搜索的效率。基于大模型的嵌入模型对比小模型优势明显,但是在实际应用中还是会因为大参数量造成计算资源和推理时间明显增加。大模型和小模型结合的非对称嵌入模型,充分利用了大模型的优势,使得在保证检索效率的同时,提升搜索结果的质量和准确性。
最后,将检索和排序模型进行联合训练,以进一步提升搜索结果的质量和准确性。
此次AI搜索分享还包含了搜索Agent优化策略的创新与实践。目前团队正在探索如何通过基于领域知识和用户搜索反馈数据构建偏好数据,利用DPO算法,为搜索场景优化Agent大模型,使模型能够准确地分析用户的意图和搜索系统对当前搜索的反应,为每个搜索决定调用哪些搜索模块,以及如何规划搜索流程。
另外,马永亮为大家介绍了基于大模型技术的搜索情景化和个性化。这意味着用户无需过多关注搜索关键词的选择,同时,流通在系统中的结构化的上下文信息和个性化信息可以以语言的形式表达出来,搜索引擎能够准确把握用户的意图,并提供满足情景化和个性化搜索需求的结果。其中涉及为情景化和个性化专门优化的大模型,基于大模型和场景语料等构建Narrative搜索需求分析等数据专门训练,表现更优。
目前,“澜舟AI搜索”已经在澜舟官网上线,欢迎大家试用。
在最后圆桌论坛中,澜舟科技创始人兼CEO周明、中关村数智人工智能产业联盟理事长,原小米集团副总裁崔宝秋、智象未来创始人兼CEO,加拿大工程院外籍院士梅涛、零一万物联合创始人祁瑞峰、澜舟科技合伙人、首席产品官李京梅等五位嘉宾围绕大模型技术的发展、应用和创新商业模式展开深入探讨和交流。
2024澜舟科技大模型技术与产品发布会的圆满落幕,标志着澜舟科技在技术创新、应用落地和生态构建方面又向前迈出了坚实的一步。未来,澜舟科技将继续秉承“创新落地,生态共赢”的理念,与客户和合作伙伴一道共同推动科技创新和产业发展。
再次感谢北京市、海淀区、中关村科学城,澜舟的各位投资人(创新工场、科学家基金、联想创投、斯道资本、中关村科学城等机构)、客户、合作伙伴、媒体机构、和广大关注我们的朋友们!
内容来源 | 澜舟科技
策划 | 刘芳
图文编辑|韩岳彤
审核发布|胡永利
推荐阅读
了解更多内容
品牌视界|算力之光|超算者|超级云讲堂


