在当今科技飞速发展的时代背景下,大语言模型(LLM)的崛起标志着人工智能(AI)领域进入了新的发展阶段。各大科创巨头竞相投入研发,不断推出具有划时代意义的大语言模型。人工智能已经深入渗透社会的各个领域,成为推动经济发展、提升生产效率、优化用户体验的关键力量。
日语大语言模型的发展路上一直存在着诸多困难。与英语国家围绕LLM研发的激烈竞争相比,日语大语言模型的研发相对滞后,这主要是因为日语的语法和表达与英语存在显著差异,以英语为基础的模型难以充分发挥功能。此外,日语数据的收集和完善也面临诸多挑战,如数据量少、品质和多样性不足等问题。
然而,理光凭借其深厚的技术底蕴和不断进取的创新能力,成功克服了这些挑战。通过与日本理化学研究所的紧密合作,理光得到了适用于日语的指令数据,并成功应用于LLM的训练中。数据显示,理光使用指令数据 "ichikara-instruction"(10329 条指令)对公司研发的130亿参数日语大语言模型进行了指令调优。
结果,在包含复杂指令和任务的典型基准 ELYZA-tasks-100 中,与调优前相比,指令跟踪性能得到了显著提高。此外,使用理光公司最初开发的 3,556 条指令数据的调优结果也显示,在同一基准测试中的得分也有类似的显著提高。
表1数据显示,经过调优,LLM的指令遵循性能得分从1.19分大幅提高至3.02分,标志着模型在理解和执行人类指令方面取得了显著进步,也揭示了对于提高 LLM 性能而言,重要的不仅是数据量的大小,数据本身的质量对提高成绩也很重要。
表2数据则对摘要任务的独立评估则更进一步证实了理光数据集的优越性,尤其是在长文本摘要方面。理光深知基于人工智能的摘要生成功能对于客户而言具有极高的需求,因此将其作为重点研发领域。为了满足这一需求,理光正持续投入于数据开发,成果显著。
在数字化转型的浪潮中,理光凭借其在数字化服务领域的实践积累,结合前沿科技领域的技术突破,致力于为企业提供全面、高效的数字化解决方案。
在日本当前劳动力减少和老龄化的社会背景下,许多公司开始关注在运营工作中使用人工智能,以提高生产率和实现高附加值的工作方式。要使人工智能真正融入并助力企业的日常业务运营,关键一步是量身定制一个专为企业打造的人工智能模型(专用LLM)。这个模型并不通用,需要投入大量精力与数据训练(包含行业知识、业务细节与企业专业术语、短语),专用LLM才能精准地理解企业业务需求,从而在实际应用中发挥出更大的价值。
理光利用自身研发的日语大语言模型,结合企业特有的信息和知识,开发出适用于各个领域的高精度人工智能模型。
这些模型不仅易于定制化生产,而且高度适应日语语法,答案准确性有保证,能够充分利用日本公司的信息资产。据了解,自2024年4月开始,理光开始在云环境中提供专用LLM。理光将继续支持客户开展办公室和工作场所的数字化转型,提供符合客户需求并可根据其行业业务使用的人工智能服务。未来,理光还将结合具体工作场景开创更多基于专用LLM的人工智能工具,为企业的数字化转型保驾护航。
LLM 大语言模型
Large Language Model(大型语言模型)。通过理解句子中相隔较远的单词之间的关系,结合上下文的语言环境,来处理自然语言中存在的有多重含义和有歧义的内容。这项技术可以像人类一样精确地执行“回答自然句子问题”和“文档摘要提炼”等指令过程,而且也很容易学习。


