OpenAI向世界推出了其最新强大的AI模型GPT-4，令人耳目一新的是，他们利用其新功能进行的首次合作是帮助视障人士。Be My Eyes应用让盲人和低视力用户能够请求明眼人描述手机拍摄的内容，现在它将获得一个随时提供AI辅助的“虚拟志愿者”。
自2015年创立以来，我们已多次报道过Be My Eyes，当然，计算机视觉及其他工具的崛起在其帮助视障人士更轻松地应对日常生活的故事中占据了重要地位。但该应用本身的能力有限，其核心功能始终是能够获得志愿者的帮助，志愿者可以通过你的手机摄像头视角提供详细的描述或指导。
该应用的新版本首次整合了 GPT-4 的多模态能力，也就是说，它不仅能进行智能对话，还能查看并理解所给图像：
用户可以通过应用向由 AI 驱动的虚拟志愿者发送图像，后者将回答关于该图像的任何问题，并为各种任务提供即时视觉辅助。
例如，如果用户发送一张冰箱内部的照片，虚拟志愿者不仅能正确识别其中的物品，还能推断并分析可以用这些食材制作什么。该工具随后还可以为这些食材提供多种食谱，并发送分步指南以指导如何制作。
但随描述附带的视频更具启发性。视频中，Be My Eyes 用户 Lucy 展示了应用在现场帮她处理多项事务的过程。如果你不熟悉屏幕阅读器的快速语音播报，可能会错过一些对话内容，但她让它描述了连衣裙的外观、识别了一株植物、读取了一张地图、翻译了一个标签、指引她找到健身房里的某台跑步机，并告诉她自动售货机上应按哪些按钮。（你可以观看下方的视频。）
Be My Eyes 虚拟志愿者
这非常简洁地展示了我们许多城市和商业基础设施对视障人士有多么不友好。同时也表明，在适当的情况下，GPT-4 的多模态聊天功能会非常有用。
毫无疑问，人类志愿者将继续对 Be My Eyes 应用的用户发挥重要作用——他们无可替代，只是提高了对其需求出现的门槛（而且如果 AI 的回答不够好，可以立即召唤人工志愿者）。
例如，AI 在健身房中贴心地建议“可用机器是那些上面没有人使用的”。谢谢！正如 OpenAI 联合创始人 Sam Altman 今天所说，这些功能初看令人印象深刻，但使用一段时间后可能感觉如此；我们也必须小心不要对这匹“礼物之马”过于挑剔。
Be My Eyes 团队正与 OpenAI 及其社区紧密合作，随着开发的继续，共同定义和指导其功能。
目前，该功能仅在“一小部分” Be My Eyes 用户中进行封闭测试，未来几周将逐步扩大范围。“我们希望在未来几个月内让虚拟志愿者广泛可用，”团队写道。“就像我们现有的志愿者服务一样，此工具对使用 Be My Eyes 应用的视障和低视力社区成员免费开放。”
考虑到ChatGPT被迅速用于为企业SaaS平台和其他相当平凡的应用提供服务，看到这一新模型立即投入工作以帮助人们，令人感到欣慰。你可以在这里阅读更多关于GPT-4的信息。