大数跨境

元宇宙的通用型入口与分布式垂类

元宇宙的通用型入口与分布式垂类 数组智控产业发展科技院
2022-06-30
3
导读:文章转载来源:《新硬件主义》人、物、空间由现实世界映射入元宇宙的数字世界,首先需要通用型的硬件作为入口。入口

文章转载来源:《新硬件主义》


人、物、空间由现实世界映射入元宇宙的数字世界,首先需要通用型的硬件作为入口。


入口的“后面”是元宇宙,在那里,人的所有感官体验均被数字化,物体与空间均被数字孪生甚至数字原生。


元宇宙本质是数字化人的感官体验——不仅是视觉、听觉,还包括触觉、味觉、嗅觉等;


且作用于人的三个维度——时间、空间、体验。


就如电影《黑客帝国》《盗梦空间》之中描绘的那样,元宇宙的核心逻辑是把我们身上的眼、耳、鼻、舌、身、意等感官部分或全部数字化,让感官体验在虚拟世界之中与现实世界几乎没有差异。


我们强调,作为入口的硬件,确实不一定是虚拟现实(VR)、增强现实(AR)、混合现实(MR),基于各种感官体验的通用型硬件均可成为入口。


长期来看,元宇宙的硬件入口预计会非常多样化,除拓展现实(XR)之外,还有智能耳机、触觉手套、体感服、脑机接口、隐形眼镜、外骨骼等,所有这些硬件的共性是能增强用户的沉浸感,带来更多维度的体验、交互。


终极来看,人脑协处理器/脑机接口或将实现人与数字世界的直接交互,马斯克旗下的科研公司Neuralink就在进行脑机接口的研究工作,并已取得了一定进展,通过植入专有技术芯片与信息条可以直接通过USB-C读取大脑信号。


 通用型硬件入口


一、VR


VR硬件产业链趋于成熟, VR一体机已成为业内公认的入口型产品形态。


VR终端的硬件主要由芯片处理器、屏幕及光学器件、声学器件、存储、壳料、辅料等构成。


其中,芯片处理器、存储、光学显示器件与智能手机重合度较高,许多领域的技术积累可以复用,硬件产业链相对比较成熟。


市场上的VR设备根据计算模块的不同主要分为四类:


一是PC VR,由PC机提供算力,需要将数据线连接至PC端使用;


二是主机VR,由游戏主机提供算力,需要将数据线连接至主机上使用;


三是手机VR,由手机提供算力,需要连接手机进行使用;


四是VR一体机,将计算芯片内置于VR设备中,无须外接其他设备,使用更加自由。


2016年、2019年、2021年,分别是VR发展的三大关键节点。


2015—2016年市场热度达到阶段性高点,Facebook(后于2021年10月28日宣布改名为Meta)、微软、索尼、三星、HTC等大厂入局,Oculus、HTC、索尼相继推出消费级VR眼镜,国内大批创业企业,如3Glasses、大朋、Hyperreal等相继发布新品。


2019年,随着VR/AR技术持续进步、5G部署,Valve Index、Oculus Quest相继发售。Valve Index树立了PC VR的标杆性地位,PC VR在计算、存储和通信上依靠PC,但是显示和交互已独立。


Oculus Quest带来体验感的大幅提升,以Quest为代表的VR一体机逐渐替代PC VR成为行业共识。


2020年,VR/AR产业链各环节成熟度提升,以Oculus Quest 2为代表的消费级VR设备需求增长强劲,爆款VR游戏如《半衰期:爱莉克斯》(Half-Life: Alyx)等涌现。


此外,自2020年起,新冠肺炎疫情推动居家需求上升,越来越多的线下场景被数字化,为元宇宙的火爆做好了铺垫。


客观来看,2021年元宇宙的彻底爆发,更多是社会层面诸多要素的共振。


独立算力、独立交互、独立显示、独立内容平台的VR一体机已经成为当前主流的产品形态。


同时,PC VR、主机VR受益于PC和主机的强劲性能,仍有高端和重度游戏玩家市场。


2021年,惠普Reverb G2推出了眼动追踪版,HTC更新推出了VIVE Pro 2。


2022年,索尼将发布基于PS5的第二代PS VR2。


此外,PC VR和主机VR相比于VR一体机的另一层优势在于原有平台的内容与用户,如Valve Index依托于Steam平台,索尼PS VR2依托于索尼PlayStation内容平台,HTC VIVE Pro 2依托于VIVEPORT平台。


目前PC VR和主机VR仅仅是基于原有产品系列的更新,没有新的玩家入场发布类似的产品。


当前手机VR的眼镜主要是短焦VR眼镜,受制于短焦的轻薄形态,手机VR只能依靠手机的算力,眼镜只承担显示投屏和简单交互功能。


目前有实力把算力和6DoF(自由度)交互集成在VR眼镜上的厂商较少,2021年Meta Connect大会上曝光的Project Cambria短焦眼镜,集成了计算单元和6DoF交互,预计将于2022年下半年发布。


从代表型产品来具体看四类技术路径的VR设备,分别是Valve Index(PC VR)、PS VR(主机VR)、华为VR Glass(手机VR)和Oculus Quest(VR一体机)


  1. PC VR——Valve Index


Valve Index由三部分套件构成:Index头显本身、Index控制器以及位置追踪器。Index头显的单目分辨率可达1440×1600。


同时,其采用的液晶显示屏(LCD)呈现的图像整体保真度更为出色,与有机发光二极管(OLED)屏幕相比能有效优化Index的清晰度和渲染负载,进一步减少纱窗效应。


Index的两块显示屏提供不同的刷新率,有80Hz、90Hz与120Hz可选,还有实验性模式144Hz。Index大幅降低了余晖效应,低余晖效果可达到亚像素级别,动态的画面也能显示得足够清晰。


Index的高刷新率和超低余晖结合在一起,大幅提升了头显的沉浸感,而它更高的视场角(FOV,130°)进一步扩大了画面最清晰区域的范围。


Index控制器是一对手持控制器,提供完全的运动自由度,以及完全跟踪。


Index控制器有一个代号——Knuckles(指关节),可以跟踪单个手指甚至是关节的移动。


Index控制器内置了87个不同的传感器,同时被设计成开放式和抓握式,即使用户放松手指,控制器也会保持不动。


位置追踪器配置了固定的激光器,每秒扫描房间100次,并以亚毫米精度捕获每个手势,能够提供更大的游戏区域。


Valve Index


2.主机VR——PlayStation VR


PS VR头盔内部是一个5.7英寸的OLED显示屏,分辨率为1920×1080,单眼分辨率为960×1080,提供100°视场角。


其刷新率为120Hz,延迟低于18ms。PlayStation Camera配备双镜头和3D深度成像器,可跟踪耳机组的位置。


PS VR的正面、背面及两侧装有9个发光二极管(LED)灯,由PlayStation Camera进行跟踪,能够在游戏中实现精准定位。


PlayStation Move体感遥控器可以作为PS的配件使用,使其精准控制的功能得到了进一步的升级。


PlayStation VR


3.手机VR——华为VR Glass


华为VR Glass采用超短焦光学模组,采用轻量化设计,需要连接手机或计算机使用,机身厚度仅26.6mm,含线控重量约166g。


镜片采用两块独立的2.1英寸FastLCD显示屏,分辨率可达3200×1600,视场角为90°。


值得一提的是,华为VRGlass支持700°以内的单眼近视独立调节,瞳距自适应范围高达55—71mm,适合的人群范围更广。


华为VR Glass


4.VR一体机——Oculus Quest 1和2


2020年10月,Facebook推出Oculus Quest 2。


相较于2019年的Oculus Quest1,Oculus Quest 2不是一款例行升级的产品,而是视觉方面的全面升级。


据青亭网报道,以下几点升级引发了重点关注:


一是配备更强的高通XR2芯片、6GB内存,规格一跃进入最强阵营;


二是屏幕由OLED改为LCD,分辨率、刷新率更高,透镜有所变化;


三是价格下降,Oculus Quest 2起售价为299美元,相较于1代降低100美元。


 Oculus Quest 1


Oculus Quest 2



二、AR


AR硬件产业链成熟度落后VR 2—3年,光学显示部分环节尚存技术难点。


光学显示是AR眼镜的核心组成部分,影响最终成像效果,光学显示之于AR眼镜相当于屏幕之于手机。


AR的光学元件与VR有很大不同。AR需要透视(see through)与真实环境发生交互。


AR的近眼显示不能直接放在眼前,而是放到眼睛旁边,因此需要一组光学元件将屏幕的像耦合到眼前。


目前,AR光学元件正在由自由曲面/Birdbath等向光波导演进,显示屏幕正在从LCD向MicroLED进步,但光波导、MicroLED尚存在量产瓶颈。


AR眼镜其余供应链环节与智能手机重合度较高,量产及普及的壁垒较低。


AR设备尚未形成统一的产品形态与技术路径,目前一体式、分体式并存。


一体式AR眼镜由于需要将电池、芯片等集成在眼镜中,当前难以做到轻量级。


手势识别功能是AR感知交互的重要方式,也是AR眼镜的基础功能配置,当前HoloLens 2、Magic Leap 1、Nreal Light等较为主流的AR设备均具备手势识别功能,而配置深度摄像头模组是具备手势识别的刚性要求。


目前,AR头显仍主打B端市场,代表性产品包括微软的HoloLens 2、谷歌的Google Glass;


而C端市场仍处于探索阶段,但随着光波导与MicroLED的产能逐渐释放,消费级AR眼镜的出货量有望迎来快速增长。


2021年,影目科技发布了首款消费级INMO Air,小米发布了单目光波导探索版,雷鸟发布了智能眼镜先锋版。


面向C端的智能眼镜外观与普通眼镜接近,拥有独立的计算单元,具备一体化、独立化的产品形态。


此外,也存在主打特定场景的AR眼镜,如光粒科技的潜水智能眼镜Holoswim AR、亮风台的工业AR头盔HiAR H100等。


1.企业级AR——HoloLens 2


HoloLens从诞生起,就被定义为生产力设备,可以作为制造、建筑、医疗、汽车、军事等垂直行业的生产力工具


微软先后推出了HoloLens、HoloLens 2,其中HoloLens 2相对一代CPU性能有显著提升,与微软Azure、Dynamics 365等远程方案可以很好地结合使用。


Microsoft HoloLens:通过全息体验重新定义个人计算。


HoloLens融合了切削边缘光纤和传感器,可提供固定到现实世界各地的3D全息影像。


Microsoft HoloLens 2:不受线缆束缚的全息计算机。


它可以改进由HoloLens开启的全息计算功能,通过搭配更多用于混合现实中协作的选项,提供更舒适的沉浸式体验。


HoloLens 2可以在Windows全息版OS上运行,基于Windows 10的风格,为用户、管理员和开发人员提供可靠、性能高且安全的平台。


微软HoloLens 2


2.消费级AR——INMO Air


INMO Air的处理器性能比上一代提升了一倍,最高运算频率从1GHz升级到2GHz,续航时间长达72小时;


增加了更多交互方式,包括手势、头控、触摸及语音指令组合交互。


最重要的光学显示方面,INMO Air应用了由影目科技首创的垂直阵列光波导显示技术,镜片透光率达83%,波导片减薄至1.2mm,并缩小了显示模组的体积,使INMO Air整机重量从78g减轻至76g。


同时,显示亮度也比上一代光机高出21%,更适合白天在户外佩戴。


影目科技消费级AR智能眼镜(INMO Air)


3.特定场景AR——Holoswim


Holoswim是一款可水下近眼显示实时游泳数据的智能泳镜,拥有25°视场角、78%透光率。


泳镜镜面通过全息树脂光波导技术实现智能显示,采用了运动型树脂材料设计,无玻璃成分,整机重量控制在75g,与普通游泳镜相当。


Holoswim通过内置的运动传感器和独创算法,在室内水域和开阔水域两种模式下,可以实时获取和计算包括泳姿在内的十多项运动健身数据。


光粒科技Holoswim


三、脑机接口


狭义的脑机接口(brain-computer interface)一般指的是输出式脑机接口,即利用中枢神经系统产生的信号,在不依赖外周神经或肌肉的条件下,把用户或被试的感知觉、表象、认知和思维等直接转化为动作,在大脑与外部设备之间建立直接的交流和控制通道。


简言之,脑机接口就是在大脑与外部环境之间,建立一种全新的、不依赖于外周神经、肌肉的交流与控制通道,从而实现大脑与外部设备的直接交互。


如果将概念进一步扩大,广义上的脑机接口不局限于将大脑的信号“输出”,也有输入式脑机接口。


现在临床上可见的深部脑刺激(DBS)、经颅磁刺激(TMS)、经颅直流/交流电刺激(tDCS/tACS)、颅超声刺激(TUS)等都属于这一范畴。


按照技术路线划分,脑机接口的实现分为侵入式与非侵入式。侵入式设备需要通过手术,将芯片植入大脑;


非侵入式设备则是依靠在头皮上部署密密麻麻的电极读取数据。


非侵入式只能在头部外采集电信号,信号精度较差,主要用于睡眠、专注度等测试;


侵入式将脑机接口植入大脑当中,能够更好地采集相关信号。


侵入式脑机接口代表公司包括美国公司Neuralink、Kernel等,中国公司NeuralMatrix、博睿康等。


非侵入式脑机接口代表公司包括瑞士公司MindMaze、加拿大公司InteraXon、美国公司NeuroSky等,中国公司包括回车科技、BrainCO、脑陆科技等。


1.侵入式脑机接口——Neuralink植入式芯片


埃隆·马斯克于2016年在美国加州成立的Neuralink承载了其改造人类大脑的终极梦想。


Neuralink的产品化主要有两大方向:一是一片可以植入大脑并且读取数据的芯片,二是一台配套的手术机器人。


2020年8月,Neuralink发布了最新一代脑机接口产品:一枚硬币大小的可以植入大脑的芯片N1,一台手术机器人V2。


• N1植入芯片直径为23mm,厚度8mm,通过1024个电极连接大脑,与脑细胞进行通信。


芯片的功能十分强大,可以感应温度、气压,并读取脑电波、脉搏等生理信号,还具备无线充电功能。


• V2是专门用于脑机接口手术的机器人,它能够完成揭开头皮,移除一小部分头盖骨,将芯片以及附带的上千个微型电极与脑细胞进行连接(插入深度约6mm),之后再进行闭合等所有步骤。


V2手术机器人可以将电线连接到不同位置和深度,电线的直径为头发的1/4(4—6μm),机器高速运转时,每分钟可以插入6条包含192个电极的线。


N1植入芯片


V2手术机器人


2.非侵入式脑机接口——BrainCo赋思头环


BrainCo从教育领域切入推出了赋思头环,该产品可以实时检测学生的专注力,进行神经反馈训练等,提升学习效率。


BrainCo创始人韩璧丞在接受界面新闻采访时表示,赋思头环的核心技术是神经反馈训练,其本质是利用人类大脑的可塑性,像训练肌肉一样训练大脑的神经元,从而延长人的专注时间,实现学习效率的提升。


需要注意的是,BrainCo宣称的神经反馈的技术,能够多准确地反应一个人的专注程度,存在较大争议,已经有多位教育心理学相关专业人士驳斥了BrainCo的相关理论。


在知乎上,认证为牛津大学教育学硕士的账号“BirdyandKids”发文称,该头环运营的Neurofeedback(神经反馈)的方法,通过测量大脑皮层神经元的活跃程度,得出学生是否在“专注”的结论,能反映的应该只是学生实时的脑电波状态,并不能完全代表其是否专心。


四、其他通用型硬件


人类五感包括视觉、听觉、嗅觉、味觉、触觉,按照我们的定义,能够满足人类五感的硬件都可以被归为入口型硬件。


上文梳理的VR、AR、MR,均是从满足人类视觉体验角度出发诞生的硬件,但除了视觉之外,其他四感对于提升沉浸式体验同样不可或缺,目前听觉、触觉层面的垂类硬件也初露头角,主要包括无线耳机、触觉手套等。


  1. 无线耳机——轻设备入口


2016年,AirPods的亮相刷新了可穿戴设备的上限,无线耳机从此以一种全新的姿态登上历史舞台。


这一现象级产品让TWS(真无线立体声)从边缘走向中心,此后三星、华为、小米、OPPO等手机厂商纷纷入局。


根据旭日大数据统计显示,2018年TWS耳机全球出货量1.5亿对,2020年数量暴涨3倍至4.6亿对,2021年TWS耳机全球出货量达到约5.9亿对。


在进入元宇宙的过程中,VR、AR等新一代硬件设备被视作入口关键。


大十科技创始人兼首席执行官(CEO)李浩乾认为,元宇宙主要有两个入口场景,在家、办公室依托重设备,在外通勤依托轻设备,通勤场景或许能够在耳机上做出突破。


2.触觉手套——触摸虚拟世界


Meta于2021年11月首次展示了其研发7年之久的秘密项目“触觉感应手套”,为元宇宙提供触觉交互。


据机器之心介绍,Meta手套的原型成本约为5000美元,每个手指上约有15个脊状充气塑料片,被称为执行器(actuator),触觉交互位置被布置在贴合佩戴者手掌、手指下侧和指尖等的位置上。


该手套也是VR控制器,其手背处的白色标记可以让相机跟踪手指在空间中的运动方式,内部传感器可以捕捉佩戴者手指的弯曲方式。


Meta表示,这款手套不仅可以将佩戴者的手部动作准确反馈给电脑,还可以再现压力、纹理、振动等一系列复杂而微妙的感觉,创造出用手感受虚拟物体的效果。


在Reality Labs的设想中,手套在未来是配合眼镜、耳机的多种控制器之一。


据UploadVR介绍,除Meta外,许多公司也已经在开发可追踪用户手部运动或提供触觉的可穿戴设备。


不同的是,Meta推出的触觉手套主要面向C端消费市场,而其他大多数触觉设备制造商主要面向军事、工业或学术机构等B端专业客户。


 Meta触觉手套


人进入元宇宙成为用户之后,我们认为还有后半场,硬件将不再仅仅是进入元宇宙的入口。


元宇宙相较上一轮移动互联网,增加了AI生成与驱动的机制。在移动互联网时代,交互的内容和对象基本上都是由真实的人(软件工程师、创作者等)设计与渲染出来的;


但在元宇宙时代,AI成为元宇宙世界里的一大新增生产要素,将会大量存在于供给、需求的各个环节,数字人、虚拟人等就是AI的诸多应用之一。


元宇宙将成为“人”的“数字人”与“虚拟数字人”的共享空间,“虚拟数字人”反向映射回现实物理世界大概率呈现为“机器人”。


由此,人的交互对象新增了三类:人的数字人、虚拟数字人、虚拟数字人的机器人


未来人的交互对象


在元宇宙的后半场,人、物、空间均被重塑,我们认为一定会出现基于情感需求投射的分布式垂类硬件。


这里面有两层逻辑:


第一,人在元宇宙中,尤其是有了与虚拟数字人的交互后,被充分挖掘并定义的新增需求,尤其是非物质需求,首先在元宇宙中被AI的供给所满足,其次AI将更进一步,显现在现实物理世界中,以新硬件的形式承接人在未来现实物理世界中的更多需求。


第二,虚拟数字人反向映射回现实物理世界显现的机器人(这些机器人本身也属于新硬件的范畴),其在与人共享的现实物理空间中的需求与体验同样需要被满足,也就是说,分布式垂类硬件的产生以“现实物理世界”为空间,以AI为生成与驱动的机制,是“人”与“物”受“机器人”与“新硬件”供给和重塑的结果。


但是,在我们看来,硬件仅仅是外在的表现形式,内核仍然是服务于人的交互的AI,包括人与数字人、虚拟人、虚拟人的机器人等基于情感需求的交互。


新硬件产生的核心意义是作为寄托情感的实物载体完成人与“人”之间的交互。


在许多描绘机器人或虚拟人的科幻电影中,机器人和虚拟人都被赋予了独立的人格、健全的思考能力、细腻复杂的情感需求,它们或是作为一个个体直接与人发生交互,如《我的机器人女友》是人类与机器人相爱,《人工智能》是机器人小孩终身竭力寻求人类养母的关爱;


或是本体藏匿于虚拟世界当中,通过影响虚拟世界而反向影响现实世界,将虚拟世界中的物以硬件形态在现实世界中呈现或投射出来,如《黑客帝国》中网络程序可以迅速实物化为战斗武器、出行工具,甚至生活必需品。


这类基于感情、工具、武器需求投射的分布式垂类硬件,未来会散落在各种各样的内容、应用与场景当中,以满足人、虚拟人、数字人、机器人丰富多样的需求。


综上,基于现实物理世界这个空间的新硬件的定义已经清晰,主要可划分为两大维度:


一是基于更多感官体验的通用型入口级硬件,


二是基于情感需求投射的分布式垂类硬件等。


前者主要产生于元宇宙前半场,实现感官体验的增加;


后者主要承载元宇宙后半场情感需求的反向映射,对人的影响更深刻、更深远。


此外,垂类硬件也包括机器人、未来将被重塑的现实世界中的全部或部分“物”。


【声明】内容源于网络
0
0
数组智控产业发展科技院
以AI技术为底层能力,聚焦智慧园区、城市公共安全、数智警务、健康医疗、能源电力、科研实验及平安校园等领域,提供从感知到决策的全流程软硬件一体化的国产装备智能体产品解决方案。
内容 986
粉丝 0
数组智控产业发展科技院 以AI技术为底层能力,聚焦智慧园区、城市公共安全、数智警务、健康医疗、能源电力、科研实验及平安校园等领域,提供从感知到决策的全流程软硬件一体化的国产装备智能体产品解决方案。
总阅读1.6k
粉丝0
内容986