再小的行业,每天都有自己的大事
(VR平台 2025年6月5日)
越来越多的增强现实 (AR)、虚拟现实 (VR) 和混合现实 (MR) 可穿戴设备即将问世,但它们的连接方式以及图像和其他数据的处理位置仍在不断变化中。
例如,雷朋 Meta AI 眼镜外观类似经典眼镜,但其功能需要连接智能手机才能实现,例如拍照、AI 语音助手和物体识别。相比之下,Apple Vision Pro 混合现实头戴设备拥有足够的内置计算能力和电池电量,可以作为独立设备运行,同时提供 AR 和 VR 功能,但相对较重且笨重。因此,除了游戏玩家和寻求新工作方式的消费者外,很少有消费者愿意在日常生活中佩戴这款眼镜。
“我认为,继移动设备之后的下一个大市场是AR可穿戴设备,而不是VR可穿戴设备,” Imagination Technologies产品管理部门高级总监Vitali Liouti表示。“这是有原因的。如果我在飞机上使用Vision Pro,人们会用奇怪的眼神看着我。如果我戴上雷朋Meta眼镜,根本没人会注意到。我一直在拍照。像雷朋这样的可穿戴设备的优点在于它们佩戴舒适、自然,而且像手机一样,操作起来也很简单。”
对于这些设备来说,功能决定形式,形式决定功能。
Cadence硅片解决方案事业部 Tensilica DSP 产品管理和营销总监 Amol Borkar 表示:“AR 眼镜暂时摆脱了专业光学元件或叠加显示屏的束缚。取而代之的是,它们类似于配备摄像头和麦克风的普通眼镜,可以捕捉语音提示。这大大简化了设计,Meta 的 Ray-Ban Stories 等产品就是一个例证。”
相比之下,VR 眼镜往往更笨重,因为它们会完全包裹住眼睛,遮挡现实世界。这需要更强大的处理能力。“VR 系统通常成本更高,因为它们专注于提供沉浸式体验,”Borkar 说道。“由于 VR 眼镜不支持透视视觉,图像必须在高分辨率屏幕(通常是 OLED 或快速切换 LCD)上以高帧率渲染,并配备高刷新率(90Hz-120Hz 或更高)才能确保流畅的视觉效果。此外,VR 系统需要高度精确地跟踪头部、手部和眼球的运动,以便将它们正确地反映在显示屏上。如果做不到这一点,可能会导致晕动症,用户体验也会受到影响。”
电池与电线
让用户在小型眼镜中拥有更多 AI、AR 和 VR 功能的最简单方法是将它们连接到手机或其他网关设备以获取必要的计算能力。
“未来发展如何还有待观察,但主流情况是,你将拥有可穿戴设备,它将利用手机极其先进、极其昂贵的芯片组来驱动这些AI模型,”Imagination的Liouti说道。“这不仅是挑战,也是机遇。手机芯片组在运行本地模型时的性能越强,可穿戴设备的性能就越高。两者相辅相成,共同发展。”
其他人则同意电话或网关设备将继续发挥关键作用。
Synaptics副总裁兼物联网和边缘 AI 处理器总经理 John Weil 表示:“目前有两个阵营。”如果你戴在头上的东西计算能力更强,那么对手机的需求就更少。但如果我打赌,趋势是手机会更多。第一种是尝试将移动处理器嵌入到你的头上。另一种是我所说的半定制产品,它们专门针对视觉和音频模式进行了优化,并将其数字化,然后使用手机作为计算元素。一种是尝试在AR/VR头显上实现更多功能——包括视觉和音频两种模式——然后将其带回现实世界,但电池续航时间有限。但现在想象一下,你可以操控这些模式。你可以处理视觉、语音和音频。你可以做到所有这些,但你需要一台辅助计算机——在这个例子中是你的手机——然后第三层可能会一直延伸到云端。可以将其视为分布式计算。你需要在头显中处理少量的视觉和音频,然后将其传输到手机,再从手机传输到云端,然后再返回。这取决于人类您需要的延迟(以毫秒为单位)取决于您可以回溯到多远,这将大大提高电池电量。”
在第二种情况下,眼镜将充当与手机交互的视觉工具。接下来合乎逻辑的做法是,你不用再从口袋里掏出手机,直接戴上眼镜就行了,”韦尔指出。“我使用的比喻是,你买了一台智能显示器,然后通过Thunderbolt等接口连接到电脑上。你走进电脑,坐在办公桌前,插上电源,就能得到一台显示器。这台显示器拥有多种功能。如今,你的AR/VR设备将成为你手机的智能显示器,因此大多数人正在转向使用手机作为主要的计算设备。”
在最近的一份报告中,Counterpoint 将智能眼镜定义为与智能手机绑定在一起的眼镜,而 AI 眼镜则拥有自己的计算处理器,并配有专门的单元来处理 AI 任务,例如神经处理单元、数据处理单元或其他 AI 加速器,以运行微型 AI 模型并执行设备上的 AI 任务。
图 1:AI 眼镜与智能眼镜的定义。资料来源:Counterpoint 全球智能眼镜生态系统与市场趋势,2025 年 1 月
按照这个定义,AI眼镜的AR功能有限,没有VR功能。因此,如果用户想要在不佩戴眼镜的情况下获得更多AR/VR体验,可穿戴设备还有很长的路要走。
“现在你可以用雷朋眼镜交流,但有点笨重,”Imagination 的 Liouti 说。“有时候,我们会看到一棵树,它会告诉你,‘这是一棵樱花树。这需要浇水。’我对此非常着迷,因为这是一种非常棒的体验,但这些技术需要几代才能达到手机的水平。人们忘记了手机已经经历了 50 次迭代。而这正是可穿戴设备所需要的。”
其他人也对此表示赞同。“虽然第一波智能眼镜专注于捕捉瞬间,但下一代智能眼镜将着眼于解读和理解这些瞬间,” Arm客户业务线消费计算高级总监 Parag Beeraka 表示。“随着对更小、更智能、始终在线且提供优质用户体验的设备的需求不断增长,AI 优先的可穿戴设备不仅将具备互联互通和语音功能,还将利用代理 AI 进行推理、预测、协助和适应——使我们能够将现实世界和虚拟世界融合在一起。”
例如,你可以走到户外,让AI帮你找到一家咖啡馆,你的眼镜就会引导你去那里。“下一代XR(扩展现实)智能眼镜将能够实时解读用户行为并读取环境信息,使其成为一个情境感知型助手,”Beeraka说道。“边缘AI平台正在不断发展,以支持先进、节能的推理和超低功耗的设备端推理,这使得异构计算成为未来可穿戴设备成功的关键。”
尖端的 3D-IC 可能是让小眼镜拥有更多功能的缺失部分。
Ansys产品营销总监 Marc Swinnen 表示:“计算是在头戴式设备中还是在单独的设备中取决于外形尺寸。它会有多大?这一直是 3D-IC 的吸引力之一。你可以缩小系统的外形尺寸。你不再需要在 PCB 板上贴满四五个芯片,而是将它们挤在一起。如果你想让这些 VR 设备逼真且具有商业可行性,那么就需要制造定制硅片,它能够完全按照你的需求、按照你的方式工作,并且尽可能高效地运行。没有人希望自己的耳朵因为功耗、速度和应用软件的增加而发烫。例如,Meta 有一个部门正在为其 VR 头戴式设备研发硅片。这证明了如今硅片的威力。定制硅片已经成为许多公司或公司部门成功的核心。”
Cadence 的 Borkar 表示,更小的制造技术节点或许能够将更强大的计算能力融入更小的尺寸,使其无需连接设备即可独立运行。“然而,这需要投入巨额成本。将尺寸缩小到 7 纳米或以下非常昂贵,而且 AR/VR 领域目前的总体潜在市场 (TAM) 或投资回报率 (ROI) 还不足以完全证明这样的投资是合理的,即使对于大型企业来说也是如此。”
在定制产品方面,台积电近期展示了一款AR眼镜的概念,而彭博社报道称,苹果正在设计用于智能眼镜的专用芯片,很可能由台积电代工。与此同时,格芯正在研发基于两片晶圆的MicroLED显示屏,一片基于GaN LED的前板,另一片为CMOS背板,旨在实现更佳的智能眼镜微显示屏。
图2:台积电在最近的北美技术研讨会上展示的AR眼镜芯片概念图。资料来源:台积电
总体而言,该解决方案可能包括先进芯片、异构计算以及将某些功能卸载到另一台设备的混合。
Arm 的 Beeraka 表示:“随着 AR/VR 眼镜变得越来越紧凑、轻便和智能,我们看到了计算模型的动态融合。虽然许多体验将利用连接设备(通常是智能手机或可穿戴设备)来卸载繁重的处理任务,但真正独立的智能眼镜的雄心正在加速增长。这两种方法都需要异构计算架构,以便在各种不同的工作负载(包括传感器融合、AI 驱动的感知和实时渲染)上实现高效处理。架构突破和 AI 处理方式的转变已经促进了高性能、低功耗的平衡,使时尚、主流的可穿戴设备具有商业可行性。无论是卸载还是在设备本身上运行,边缘计算都是将能效与舒适性和可用性相结合的关键,从而在不影响电池寿命的情况下提供沉浸式体验。”
绑定设备的连接挑战
只要AI/AR眼镜与手机或其他设备绑定,就会出现一个问题:哪种通信标准最适合连接手机和眼镜,以及将手机连接到网络塔和云端。考虑到5G以及最终的6G,挑战将更加复杂,因为6G将提供高级AR/VR功能所需的极低延迟。
Ansys 的 Swinnen 表示,完整的 5G/6G 芯片组价格昂贵且耗电。“如果可以使用更便宜、更省电的 Wi-Fi 或蓝牙等技术,那么将整个电话通信系统集成到 VR 中可能不值得。”
然而,蓝牙和 Wi-Fi 也存在局限性。“随着数据需求和使用量的增长,我们预计会有更多标准被开发出来,”Cadence 的 Borkar 说道。“未来很可能会出现某种类型的无线网络共享,它比蓝牙带宽更高、延迟更低,同时还能在短距离内发送视频、图像和其他人工输入。”
其他人则认为解决方案在于新的无线标准。“这些标准将提升AR/VR设备与手机或任何你正在使用的设备上的计算单元之间的带宽,”Synaptics的Weil说道。“现在有一种更高的蓝牙标准,数据速率高达8兆比特,因此你可以以更高的数据速率获得低功耗蓝牙[BLE]的强大功能。这为你提供了更强大的功能,因此你无需Wi-Fi直连。”
为了帮助解决这些多协议挑战,Synaptics 最近发布了 Wi-Fi、蓝牙和 Zigbee/Thread 组合 SoC,支持包括 AR/VR 和游戏在内的应用的高峰值速度和低延迟。
另一种选择是超宽带 (UWB) 无线收发器,旨在与蓝牙和 Wi-Fi 共存。恩智浦和 SPARK Microsystems 都在研发此类设备,但这些芯片需要被 AR/VR 公司和手机公司采用,才能解决 5G/6G 传输挑战。
SPARK 首席执行官 Fares Mubarak 表示:“AI 眼镜的电池容量不可能与 Wi-Fi 技术下佩戴舒适的外形尺寸完美匹配。坦白说,蓝牙技术在延迟和数据速率方面不足以满足他们所期望的连接性能。”
SPARK 联合创始人兼首席技术官 Frederic Nabki 指出,企业不会愿意花费数十亿美元部署 6G 基础设施,以便在几毫秒内从云端传输到手机,而从手机传输到 VR 设备却需要 140 毫秒。“与其浪费蓝牙带来的所有延迟优势,不如利用 Spark 技术,以亚毫秒级的延迟缩短计算设备和耳朵之间的半米距离。现在,6G 的承诺终于从云端到耳朵的全程得以完全兑现。”
另一种解决方案是用线缆连接设备,以保证更好的性能和更低的延迟。例如,索尼 PlayStation VR2 通过 USB-C 线缆连接到 PlayStation 5 游戏机,同时提供电源和数据传输。
Synopsys移动、汽车和消费者界面产品营销高级总监 Gervais Fong 表示:“在 XR 真正成为一副眼镜之前,还需要经历一个转变。随着眼镜功能越来越强大,它们可能需要以特定的操作模式连接到支持 XR 的手机。连接线可能是 USB4 v.2,因为如果你看一下 XR 眼镜的设计,就会发现这类眼镜中集成了 12 到 16 个不同的摄像头和传感器,这会消耗大量带宽。想象一下你需要传输的所有视频,要么从摄像头发送到手机进行处理,要么手机将 4K 分辨率的视频发送到你的每只眼睛——并且分辨率和帧刷新率要足够快,以免你感到头晕。这会消耗大量视频带宽,同时还会消耗电量。”
在通道损耗方面,Synopsys 利用裕度来满足工艺、电压和温度范围内的最坏情况规范。“我们不知道用户使用的线缆质量如何,也不知道通道的质量,也不知道通过线缆连接的另一端 PHY 的质量,以及连接在那里的线路上的任何设备,”Fong 说道。“如果质量不佳,并且不符合规范,就会导致问题。我们这边的裕度越大,使用我们 PHY 的 SoC 设计人员就越有可能成功地将信号传输到另一端。对他们来说,这提高了互操作性,而这正是 USB 的一大优势。当你插入 USB 时,你期望它能够正常工作。但业界在幕后已经做了很多工作,以确保当你插入 USB 时,它能够正常工作。”
其他人则认为电缆只是一个短期解决方案。
Arm 的 Beeraka 表示:“虽然如今的 AR/VR 体验或许受益于 USB4 v2.0 等高带宽有线标准,但线缆并非长久之计。空间计算的未来依赖于自由移动和无缝交互。我们期待看到更多先进的低功耗无线技术出现,以弥合这一性能差距,提供支持沉浸式体验所需的带宽和延迟,同时又不牺牲舒适度或便利性。能够实现边缘计算效率和智能的平台对于实现无线未来至关重要。”
通过边缘 AI 和边缘计算实现 6G
边缘 AI 技术的低延迟和高确定性正在为 AR/VR 创造新的用例,并通过 AI 改进现有的用例。
英飞凌物联网、消费电子和工业 MCU 高级副总裁 Steve Tateosian 表示:“推动边缘 AI 普及的主要因素有两个。首先,延迟大幅下降。我不会说它是零延迟,但从人的角度来看,与云端相比,在本地操作、与设备交互是零延迟。其次是确定性。尤其是在人机交互方面,我们人类自然会对如何与环境互动抱有期望。例如,如果你走进一个黑暗的房间,当你打开电灯开关时,你的期望是灯立即亮起,而不是在黑暗中站三秒钟,想着‘我需要再打开这个电灯开关吗?’”
其他人也认为极短的延迟至关重要。“考虑到延迟时间,当你戴上VR或AR头显并转动头部时,你能容忍的最大延迟只有几毫秒,否则你的大脑会非常混乱,因为所有叠加层都在努力跟上,”Ansys 5G/6G项目总监Shawn Carpenter说道。“由于还有飞行时间延迟,从你操作的地方到信息处理的地方,再到叠加层为你放下,实际的边缘处理不能太远。”
这可能意味着,有了6G,超高性能计算将直接被带到基站。“这样你就只需要飞行时间延迟了,”卡彭特说。“物理学规定了将信号传输到最近基站所需的物理时间。如果信号必须先发送到弗吉尼亚州的某个数据中心,然后再返回给你,那么就会产生到达时的延迟。这个概念行不通。你很可能会在基站上安装一组GPU或TPU之类的设备。”
除了处理延迟之外,另一个挑战是需要大量带宽才能通过管道传输数据。“如果你需要通信的设备数量不多,你或许可以在家中使用Wi-Fi 7实现[支持6G的VR],”他说道。“接下来的问题是,你家外的管道是否能提供足够的带宽,或者你是否需要某种固定的无线接入。如果你有光纤到户,你或许可以完成部分工作,但你可能需要与相当庞大的计算资源进行通信,才能进行叠加,并利用所有识别你所看到内容的AI技术。”
例如,一位戴着VR眼镜查看虚拟飞机发动机内部的飞机机械师会希望AI标记物体——哪些是热的,哪些是电的。Carpenter表示,需要有一台设备来完成这项计算,而这台设备很可能不会是PC。“它的性能可能不够,所以你必须连接到一个计算资源。你或许可以通过两次跳跃来完成,一次在家里,另一次连接到本地固定无线基站,前提是你有一个足够高的带宽接入点来执行这样的操作。你也可以用你的手机作为中继设备。”
蜂窝技术发展参差不齐。4G LTE 和 6 GHz 以下 5G 速度较慢但相对可预测,而 5G 和 6G 毫米波则需要视距连接。“频率越高,覆盖范围越短,UWB 也不例外,这在物理学上也是个例外,”Mubarak 说道。但这一挑战可以通过互补技术来解决。例如,如果用户使用 AR 眼镜玩游戏,他们希望耳机能够提供高分辨率音频和最低延迟,而 UWB 可以提供这种音频,同时蓝牙处于非活动状态——除非用户接到电话。“假设你输掉了游戏。你起身走到厨房,UWB 连接断开了。然后,设备可以通过适当的应用层从超宽带切换到蓝牙等压缩解决方案,最终消费者将获得无缝解决方案。”
然而,如果拥有良好的视距连接,或者配备一系列位置合适的中继器,6G 或许能够实现下一代 AR/VR 功能。“我们谈论的不是虚拟现实或辅助虚拟现实,”西门子 EDA解决方案网络专家 Ron Squiers 表示,“我们谈论的是全息图像,它与你同处一室,你却感觉不到与你交谈的人有任何不同。”
结论
与人工智能一样,我们才刚刚开始看到 AR/VR 应用的巨大范围,但从护目镜缩小到眼镜还需要时间。
Spark 的纳布基表示:“显然,人们正在转向这些 AI 眼镜,它们不像第一代设备那样只是个滑雪面罩。他们希望与 AI 进行丰富的互动。他们不希望你打字。他们希望你跟它说话。他们希望你与它互动。他们希望你给它看图像。”
归根结底,“无论这款VR头显有多好,如果线缆粗到可以脱落,而且需要一个冰箱大小的盒子来运行,那么无论它运行得多么好,都不可能获得商业成功,”Ansys的Swinnen说道,“硅片才是让它正常工作的关键。”
什么样的杀手级应用能让VR成为一项必备技术,还有待观察。“AR和VR技术都需要一个坚实的生态系统才能蓬勃发展,”Cadence的Borkar说道。“作为一个独立的系统,VR需要拥有自己的生态系统和应用。尽管进行了多次尝试,但VR的成功有限,仍然是一个利基市场,缺乏明确的‘杀手级’应用或用例。如果将VR视为手机或PC的延伸,它或许只是一种增强型显示屏,对某些消费者来说可能不值得为此付出成本。”
-End-

