2月，谷歌旗下DeepMind AI研究实验室CEO Demis Hassabis警告称，持续向当前主流AI算法投入更多算力可能导致收益递减。他表示，要实现AI的“下一个层次”，需依靠基础研究突破，以产生可替代现有方法的可行方案。
前特斯拉工程师George Morgan对此表示赞同，并创立初创公司Symbolica AI以实现这一目标。
传统AI路径面临瓶颈
Morgan告诉TechCrunch：“传统深度学习和生成式语言模型需要难以想象的规模、时间和能源才能产出有用结果。”他指出，通过构建新型模型，Symbolica能够以更低的數據需求、更短的训练时间、更低的成本以及可证明正确的结构化输出，实现更高的准确性。
Morgan在罗切斯特大学辍学后加入特斯拉Autopilot团队。工作期间，他意识到当前围绕扩大算力的AI方法从长远来看不可持续。
“目前的方法只有一个调节旋钮：增加规模并寄希望于涌现行为。然而，扩展意味着更多的算力、内存、训练资金和数据，最终并不能带来显著更好的性能。”Morgan说。
这一观点并非孤例。台积电（TSMC）高管在今年备忘录中表示，若AI趋势延续，十年内行业将需要拥有1万亿个晶体管的芯片（即当今平均芯片的10倍），但其技术可行性尚存疑。
斯坦福大学与Epoch AI联合撰写的未发表报告也显示，训练尖端AI模型的成本在过去一年多大幅上升。据估计，OpenAI和Google在训练GPT-4和Gemini Ultra上的花费分别约为7800万美元和1.91亿美元。随着OpenAI与微软 reportedly 计划建设耗资1000亿美元的AI数据中心，成本有望进一步攀升。
“结构化”AI模型的探索
面对高昂成本，Morgan开始调查所谓的“结构化”AI模型。这类模型编码数据的底层结构，而非像传统模型那样试图从海量数据中近似获取见解，从而能以更低计算资源实现更好性能。
“有可能在规模小得多的模型中生成针对特定领域的结构化推理能力，将深厚的数学工具包与深度学习突破相结合。”他说。
符号AI并非新概念，其理念是建立在代表知识的符号之上并使用规则构建。传统符号AI通过定义特定任务的操作规则集解决问题（如文字处理编辑文本行），这与神经网络通过统计近似和学习解决问题的方式形成对比。Symbolica旨在结合两者优势。
尽管神经网络是DALL-E 3和GPT-4等系统的基石，但Morgan认为规模并非一切。将数学抽象与神经网络结合，可能更高效地编码世界知识、推理复杂场景，并“解释”答案得出过程。
“我们的模型更可靠、透明且具问责性。”Morgan表示，“结构化推理能力在代码生成等领域具有巨大商业前景，能弥补现有产品在对大型代码库进行推理及生成有用代码方面的不足。”
商业模式与融资进展
由16人团队打造的Symbolica产品是一套用于创建符号AI模型及预训练模型的套件，涵盖代码生成和数学定理证明等功能。确切的商业模式仍在调整中，公司可能会为希望使用该技术构建定制模型的企业提供咨询和支持。
Morgan透露，公司将与大企业合作伙伴紧密合作，构建具有显著改进推理能力的定制结构化模型以满足客户需求，同时开发并向大型企业销售最先进的代码合成模型。
今日Symbolica结束隐身期正式亮相。Morgan透露，公司在今年早些时候获得由Khosla Ventures领投的3300万美元投资，其他投资者包括Abstract Ventures、Buckley Ventures、Day One Ventures和General Catalyst。
Khosla Ventures创始人Vinod Khosla表示：“为了实现大规模商业AI采用和监管合规，我们需要能以更少资源实现更高准确性的结构化输出模型。George已组建顶尖团队来实现这一目标。”
挑战与未来展望
华盛顿大学法学和数据伦理博士生Os Keyes指出，符号AI依赖高度结构化数据，这使其既“极其脆弱”又受限于上下文。定义这些知识可能非常耗费人力。但他承认，若能结合深度学习与符号方法的优势（如DeepMind最近发布的AlphaGeometry），仍值得关注，“但时间会证明一切”。
“例如，自动化软件开发等任务需要具备形式推理能力且运营成本更低的模型，以便解析大型代码库并生成迭代有用代码。”Morgan强调，“公众对AI的认知仍停留在‘规模就是一切’，但在该领域取得进步绝对需要进行符号化思考，必须具备结构化、可解释的输出及形式推理能力。”
虽然DeepMind等大型实验室也可能构建自有符号或混合AI模型，且Symbolica正进入竞争激烈、资金充足的领域，但Morgan依然预期增长，预计这家旧金山公司的员工人数将在2025年翻倍。