自动驾驶汽车行业正面临一场清算，绝非夸大其词。
本周，Cruise在发生涉及行人的惨烈事故后召回全部自主驾驶车队，加州机动车管理局（DMV）因此暂停了其无人驾驶出租车运营资格。与此同时，旧金山活动人士通过瘫痪无人驾驶车辆的方式走上街头，抗议这座城市成为新兴技术的试验场。
但有一家初创公司表示掌握了更安全自动驾驶技术的关键，并认为这将说服怀疑者。
Ghost Autonomy是一家为车企开发自动驾驶软件的公司，本周宣布计划探索多模态大型语言模型（LLM）在自动驾驶中的应用。为实现该目标，Ghost与OpenAI建立伙伴关系：通过与OpenAI Startup Fund合作，获得对OpenAI系统的早期访问权限及微软Azure资源支持，并获得500万美元投资。
Ghost联合创始人兼CEO John Hayes在邮件采访中表示：“LLM提供了理解‘长尾效应’的新方式，为当前模型表现不佳的复杂场景增添了推理能力。”他补充道：“随着LLM更快、更强，基于LLM的分析在自动驾驶领域的应用用例只会不断增长。”
多模态模型如何应用于自动驾驶？
根据Hayes的说法，Ghost正在试点依赖多模态模型的软件，以“进行更高复杂度的场景解读”，并根据车载摄像头拍摄的道路图片向控制硬件提出决策建议（如“向右变道”）。
Hayes表示：“我们将致力于微调现有模型并训练自有模型，最大限度提高道路可靠性和性能。”他举例称，施工区域包含临时车道、手持标志牌的旗手等不寻常组件，简单模型难以应对；而LLM已被证明能以接近人类水平的推理能力同时处理这些变量。
专家质疑：是创新还是营销噱头？
华盛顿大学法律和数据伦理博士生Os Keyes对此持怀疑态度。他指出：“[Ghost]只是把‘LLM’当作营销热词。若将宣传语中的LLM替换成‘区块链’发回2016年，同样合理且明显是骗局。”Keyes认为LLM并非自动驾驶的正确工具，甚至可能是解决车辆自主性挑战效率较低的方法。“这像用国库券垫桌腿，可以这么做且更花哨，但为什么？”
伦敦国王学院高级讲师Mike Cook同意这一评估。他指出多模态模型远非成熟科学，OpenAI旗舰模型会编造事实或犯下抄写错误、颜色识别错误等人类不会犯的失误。“我不相信计算机科学存在‘银弹’，没有理由将通常不可预测且不稳定的LLM置于驾驶汽车这样危险复杂事务的核心。将其应用于自动驾驶充其量是为时过早，最坏则是方向错误。”
OpenAI与Ghost的回应
OpenAI COO兼创业基金负责人Brad Lightcap在新闻稿中表示，多模态模型“有潜力将LLM应用扩展到自动驾驶等新用例”，凭借结合视频、图像和声音的理解能力，“可能创造导航复杂或异常环境的新方式”。TechCrunch就此向其发送邮件提问，截至出版尚未收到回复。
Hayes则认为LLM能让自动驾驶系统“整体性推理驾驶场景”并利用“广泛世界知识”导航复杂异常情况。他声称Ghost正通过开发车队积极测试多模态模型与驾驶决策的结合，并与车企合作验证集成新模型至自动驾驶堆栈。
“目前模型还不完全准备好用于汽车商业用途，仍需大量工作提高可靠性。”Hayes坦言，“但这正是针对通用模型进行研发的应用特定公司的市场所在。拥有大量训练数据和深刻理解的公司将对通用模型大幅改进……最终自动驾驶需要包含多种模型和功能的完整系统来保障安全，[多模态模型]只是实现目标的工具之一。”
用尚未验证的技术许下太多承诺，Ghost能否兑现？鉴于Cruise和Waymo等资金雄厚、资源丰富的公司在多年路测后仍遭遇重大挫折，我对此并不确定。