大数跨境

玻璃为智能手机摄像头赋能AI——且无“幻觉”

玻璃为智能手机摄像头赋能AI——且无“幻觉” 海外洞察
2024-02-08
5
导读:手机的相机既是软件也是硬件,而 Glass 希望在这两方面都实现提升。然而,在其狂野的变形宽银幕镜头逐步推向市场的同时,

手机摄像头兼具软件与硬件属性,Glass 致力于同步提升这两方面。尽管其独特的变形宽银幕镜头正悄然推向市场,但凭借新获得的 930 万美元融资,该公司发布了一款 AI 驱动的相机升级方案——GlassAI。据称,该方案能在避免怪异超分辨率伪影的前提下,大幅提升图像质量。

GlassAI:纯软件“神经图像信号处理器”

GlassAI 是一种纯软件解决方案,旨在提升图像质量,被定义为“神经图像信号处理器”(ISP)。传统 ISP 负责将传感器输出的原始数据(通常平坦、嘈杂且失真)转化为清晰、色彩丰富的图像。正如苹果和谷歌等厂商所展示的,现代 ISP 已具备合成多张曝光、面部细节锐化及防抖校正等复杂功能。

然而,许多 ISP 中的机器学习或 AI 应用需谨慎行事:生成式细节可能导致幻觉或伪影。虽然“超分辨率”模型在特定场景下有效,但需严格监控。Glass 不仅提供基于独特菱形前组镜片的完整相机系统,也提供可独立销售的配套 ISP 产品。

Glass 通过复古电影镜头重新思考智能手机相机

CTO 兼联合创始人 Tom Bishop 表示:“我们的修复网络能够校正光学像差和传感器问题,高效去除噪点,并在精细纹理恢复方面优于传统图像处理流程。”

概念动画展示了从 RAW 格式到经过 Glass 处理的图像的转换过程。图片来源:Glass

细节“恢复”而非“创造”

“恢复”是核心关键词,意味着细节是从原始图像中提取而非凭空创造的。计算摄影的关键在于学习如何将隐含的细节(如特定伪影、角度或噪声模式)转化为真实细节,或结合多张曝光信息。联合创始人兼 CEO Ziv Attar 认为,其 AI ISP 性能优于行业现有产品。

Attar 指出,即便是苹果也未采用完整的神经图像堆栈,仅在特定需求下使用且效果未必理想。例如,苹果的神经 ISP 曾未能正确识别文字,而 Glass 表现更佳:

Ziv Attar 提供的照片显示了一部放大至 5 倍的 iPhone 15 Pro Max,以及该手机 RAW 图像经 Glass 处理后的版本。图片来源:Ziv Attar

Attar 强调:“如果苹果都未能取得满意结果,说明这是难题。”这关乎模型训练方法。Glass 拥有独特的训练体系,最初为变形宽银幕镜头开发,适用于任何相机。公司设有包含机器人系统和光学校准系统的实验室,能全面表征镜头像差并从根本上逆转光学畸变。

实测验证与部署效率

案例研究显示,DXO 对搭载 GlassAI 的 Moto Edge 40 进行评估后,发现处理后图像有明显甚至大幅提升:

图片来源:Glass / DXO

在低光环境下,内置 ISP 难以区分细线、纹理和面部细节;而使用 GlassAI,即使曝光时间减半,图像依然锐利清晰。用户可通过切换原始与最终图像查看像素级差异。

相比手机厂商花费数月调优 ISP,Glass 的通用型处理方案效率更高。Attar 表示:“从接手新型设备到交付软件仅需几小时至几天。我们的流程完全自动化,可在数天内支持多种设备。”此外,该神经 ISP 是端到端的,直接从传感器 RAW 数据生成最终图像,无需额外去噪或锐化步骤。

左图:RAW 格式,右图:Glass 处理后。图片来源:Glass

产品上市与融资进展

Attar 谨慎区分了 GlassAI 与超分辨率 AI 服务:后者是对已完成图像进行放大,往往是在“发明”细节;而 Glass 虽使用 AI,但不具生成式特性,专注于细节恢复。

该产品现已大规模上市,建议 Android 手机制造商尝试。至于配备菱形变形镜头的硬件手机,则需等待制造商公开亮相。

在技术研发与客户试用期间,Glass 完成了 930 万美元的“扩展种子轮”融资(首轮种子融资发生于 2021 年)。本轮由 GV 领投,Future Ventures、Abstract Ventures 和 LDV Capital 跟投。

【声明】内容源于网络
0
0
海外洞察
海外资讯洞察,电商,AI
内容 14271
粉丝 0
海外洞察 海外资讯洞察,电商,AI
总阅读64.2k
粉丝0
内容14.3k