谷歌正在改进其人工智能驱动的聊天机器人 Gemini，使其能更好地理解周围世界及对话者。
在 Google I/O 2024 开发者大会上，该公司预览了名为 Gemini Live 的新体验。该功能允许用户在智能手机上与 Gemini 进行“深入”语音聊天：用户可随时打断并提问，Gemini 会实时适应说话模式；同时，它还能通过摄像头观察并响应用户周围环境。
谷歌 Gemini 体验总经理 Sissie Hsiao 表示：“有了 Live，Gemini 能更好地理解你。它经过定制调整，具有直觉性，能够与底层 AI 模型进行来回的真实对话。”
Gemini Live 是 Google Lens（图像视频分析平台）与 Google Assistant（语音虚拟助手）的演进结合体。虽然乍看升级不大，但谷歌声称其利用生成式 AI 新技术，提供了更优越、少错的图像分析，并结合增强语音引擎，实现了一致、具情感表现力且真实的多轮对话。
DeepMind 首席科学家 Oriol Vinyals 指出：“这是一个结合了强大多模态能力和长上下文的实时语音界面，这种组合将带来极其强大的体验。”该技术部分源于 DeepMind 内部旨在创建实时多模态理解 AI 应用的 Project Astra 计划。
DeepMind CEO Demis Hassabis 表示，目标是构建在日常生活中有用的通用代理，使其能看、能听、理解情境并快速回应，让互动节奏和质量更自然。
Gemini Live 预计今年晚些时候推出。它可以回答关于摄像头视野内事物（如街区、自行车零件名称）的问题；指向代码时可解释其功能；被问及物品位置时，可告知上次“看到”的位置。
Live 还可充当虚拟教练，辅助面试排练、头脑风暴或提供公开演讲建议。Sissie 认为，相比纯文本交互，Gemini Live 能以更简洁、对话性的方式解决复杂问题，互动感自然流畅。
Gemini Live 的“记忆”能力得益于旗舰模型 Gemini 1.5 Pro 的长上下文窗口架构，可在回复前处理推理大量数据（约一小时视频内容）。Vinyals 称，模型能记住数小时视频交互中的所有细节。
Live 的功能类似于 Meta Ray-Ban 眼镜背后的生成式 AI，也与 OpenAI 新版 ChatGPT 高度相似。关键区别在于，Gemini Live 并非免费，而是 Gemini Advanced 专属功能，需订阅月费 20 美元的 Google One AI Premium Plan。
演示中虽展示了佩戴 AR 眼镜的场景，但谷歌拒绝透露相关硬件是否近期上市。Vinyals 表示目前仍处于原型开发阶段，将根据用户反馈指导后续方向。
其他 Gemini 更新
除 Live 外，Gemini 还获得多项实用升级：
目前，150 多个国家、超 35 种语言的 Gemini Advanced 用户已可利用 Gemini 1.5 Pro 的大上下文窗口，分析总结多达 1,500 页的长篇文档并回答问题。支持从 Google Drive 导入或直接上传文档。
今年晚些时候，上下文窗口将扩大至 200 万 token，支持上传长达两小时的视频供分析，以及处理超 30,000 行代码的大型代码库。大上下文窗口还将提升图像理解能力，例如根据食材照片推荐食谱，或提供数学题逐步解题说明。
未来几个月，Gemini Advanced 将新增“规划体验”，可根据 Gmail 航班信息、餐饮偏好、景点距离等数据，自动生成并动态更新定制旅行行程。
近期，用户还将能创建 Gems（自定义聊天机器人）。类似 OpenAI GPTs，可通过自然语言描述生成（如“你是我的跑步教练”），支持分享或私密使用。目前尚不清楚是否会推出类似 GPT Store 的平台。
Gem 和 Gemini 很快将接入 Google 日历、任务、Keep 和 YouTube Music 等服务集成选项。例如，拍摄学校活动传单后，可直接在日历中创建日程条目，大幅节省时间。
鉴于生成式 AI 早期评价及摘要准确性问题，对谷歌的说法应持保留态度。但若改进后的 Gemini 真能如描述般发挥作用，确实可能成为极佳的时间节省工具。