大型语言模型(LLMs)不仅改变了人机交互方式,也为经济学研究提供了新视角。经济学家不应仅将LLMs视为对话工具,更应通过解构其底层数学逻辑获取新知。这些模型建立在模拟人类语言的复杂数学概念之上,理解其运行机制有望为经济学理论创新提供灵感。
从n元语法到神经网络的数学演进
语言生成模型的雏形基于统计规律。例如,“二元语法”(2-grams)通过统计词组共现频率,能够捕捉“形容词修饰名词”等基础语言结构。尽管该模型结构简单,但已具备初步的语义学习能力。
大型语言模型将这一逻辑扩展至n元语法矩阵,用于预测特定词序中单词出现的概率。然而,随着序列长度增加,组合数量呈指数级爆炸。以1万词库为例,18元语法的组合数远超地球原子所能存储的信息总量。为解决这一问题,工程师利用神经网络拟合参数,构建描述词序列的函数。现代LLM虽拥有近万亿参数,但在处理海量语言模式时仍高度精简。
在神经网络架构下,模型不再孤立地记忆单词,而是通过节点间的关联建立数学表示。例如,因“茶”与“咖啡”常与“热饮”、“早餐”等词共现,模型便能自动习得二者的语义相似性。这种分布式表征能力是生成高质量文本的关键。
语言模型对经济学研究的启示
超越预定义类别的系统复杂性
经济系统与语言系统具有同构性,均涉及多要素间的复杂互动。传统经济学常依赖资本、劳动力或产业分类等预定义范畴进行演绎推理,但这如同仅用名词和动词分析语言一样,难以捕捉系统的细微差别。LLMs的成功表明,要精准刻画现实世界的动态规律,必须借助高分辨率的数学工具箱,而非局限于粗略的分类框架。
词嵌入技术在经济网络中的应用
将语言学方法迁移至经济学并非新概念。早在Word2vec算法问世前六年,研究者便尝试利用二元语法矩阵构建国际贸易网络表示法。该方法通过分析产品出口数据的共现关系,成功识别出钻孔机与切割刀片的功能关联性,以及热带农业与温带农业、纺织业与电子制造业的差异。这证明了非结构化数据中蕴含着丰富的结构性知识。
过去十五年间,此类方法论在经济研究领域日益普及。一方面,它为政策预测提供了量化工具,如测算经济体在不同产品市场中的进入退出概率;另一方面,“嵌入”技术被转化为经济复杂性指数。该指标基于经济体相似性矩阵构建,有效解释了全球及区域层面在经济增长、收入不平等及碳排放等方面的长期差异。
跨学科方法论革命的新前沿
机器学习在数据收集、构建与表征方面的突破,正重塑多个学科的研究范式。无论是计算生物学中对蛋白质行为的预测,还是发展经济学中对经济演变的推演,都受益于这一技术红利。经济学家与计算机科学家应共同拥抱这场方法论革命,将其作为推动理论创新与实证实验的全新前沿。
本文作者:César A. Hidalgo,图卢兹大学人工和自然智能研究所集体学习中心主任


