根据智力理论，实现“人类水平”的人工智能需具备多模态推理能力。例如，看到积雪高速公路上翻倒的卡车与警车，AI应能推断出危险路况导致事故；或在机器人执行“从冰箱拿苏打水”指令时，自主避开障碍并准确交付。
尽管当前AI尚有不足，但新研究已显现积极进展：从能执行基础指令的机器人到可从解释中学习的文本生成系统。本期《深度科学》将介绍DeepMind、Google和OpenAI的最新成果，这些工作正推动AI在图像生成等特定任务上展现更强鲁棒性，逐步逼近对世界的理解。
OpenAI改进版DALL-E 2堪称AI领域最令人瞩目的项目之一。相比初代仅能匹配提示词（如“戴贝雷帽的狗”），DALL-E 2生成的图像细节更丰富，且能智能替换特定区域——如在大理石地板照片中插入桌子并呈现自然反射效果。
本周DALL-E 2备受瞩目，而Google研究人员周四发布的视觉驱动韵律系统（VDTTS）同样出色。该系统仅凭文本与说话人视频帧，即可生成逼真且口型同步的语音。
VDTTS虽非完美替代录音，但已具备令人信服的类人表现力与节奏感。Google认为其未来或可用于演播室，替换嘈杂环境下录制的原始音频。
视觉理解仅是通往强大AI的一步，语言理解仍显滞后——即便暂不考虑毒性及偏见问题。研究显示，Google前沿模型PaLM记住了40%训练数据，导致抄袭文本甚至代码版权声明。
对此，DeepMind正探索解决方案。新研究发现，若为大量文本学习样本附加解释（如标注隐喻含义），AI语言系统在数十项任务中的表现显著提升。这表明“解释”能有效增强模型理解力。
若该方法获学界认可，未来或应用于机器人技术，使其无需逐步指令即可理解模糊请求（如“把垃圾扔掉”）。Google新项目“照我做的做，别照我说的做”已初现端倪，尽管仍有局限。
该项目由Google Robotics与Everyday Robots团队合作，旨在让AI语言系统根据任意任务提出“可行”且“语境恰当”的动作建议。机器人充当“手眼”，语言系统提供高级语义知识，理论基础在于语言编码了机器人所需的大量常识。
SayCan系统会综合评估技能实用性与成功概率来选择动作。例如，当收到“可乐洒了，请清理”指令时，SayCan可指导机器人寻找海绵、拾取并递交给请求者。
SayCan受限于硬件（实验中曾意外掉落物品），但其与DALL-E 2及DeepMind的情境理解研究相结合，展示了多系统协同如何让我们更接近理想化的AI未来。