文章来源《元宇宙十大技术》
裸眼 3D 产品的实战过程和技术原理，该技术属于交互与展示领域。
初音未来是日本虚拟偶像，它于 2007 年 8 月上市。初音的意思是“最初的声音”；Gatebox 则是一款专为宅男定制的家用智能化全息机器人，于 2016 年开始发售。
初音未来和 Gatebox 的关系，就像是演员和舞台（显像盒子）的关系。投资了超过 9000 万日元（约 450 万人民币）的宅男神器 Gatebox，采用全息投影技术内置一名二次元萌妹，用户可以选择投影自己喜欢的动漫人物造型。
初音未来以“miku 之日”的名义，和 Gatebox 联名推出了“Living With 初音未来计划”。
你向初音未来打招呼的时候，她能够做出亲切的回应，打破了二次元（二维）和三次元（三维）的界限。
日本的宅男们把她当作了自己的家人，有的宅男如近藤显彦甚至举办了和这位萌妹的婚礼，如图 13-1 所示。
Gatebox 通过使用短距激光投影仪，将视频投影到放置在圆筒中央的亚克力投影屏幕上实现全息展示。因为图像是半透明的，就有了全息的效果。
投影机隐藏在侧上方，从正面看完全透明，加上屏幕可以旋转，营造了人物在空中的观感，这是裸眼 3D 技术的一款典型用。
图 13-1 日本小伙与虚拟人初音未来结婚
资料来源：https://www.sohu.com/a/420905000_120448801
第一节 裸眼 3D：让你的眼睛欺骗你的大脑
裸眼 3D 技术能用于多种场景，与需要眼镜的 VR/AR 相比，它的体验效果更自然，更容易融入现实生活中。
元宇宙的兴起，会赋予裸眼 3D 技术新的生机。
一、迈克尔·杰克逊的“复活”
2014 年 5 月 15 日，Billboard 音乐大奖颁奖典礼上，观众们惊奇地在舞台上看到了一个熟悉的身影，他们都不敢相信自己的眼睛，因为那个身影分明就是 2009 年去世的巨星迈克尔·杰克逊。
伴随着熟悉的音乐节奏，杰克逊穿梭在舞伴中，一切都是那样自然。
杰克逊当然不可能复活，观众们看到的实际上是一场全息表演，通过全息技术，将数字形象的杰克逊显示在舞台上，并且和现场表演的舞伴融合在一起，观众完全无法区分哪个是真实的，哪个是幻象，加上特别设计的声光电效果，让人产生一种杰克逊回到我们身边的感觉。
裸眼 3D 也叫全息显示，杰克逊演唱会使用的全息原理叫作佩珀尔幻象。
二、古老的魔术：佩珀尔幻象
早在几百年以前，一些剧团就利用幻象在表演中达到幽灵再现的效果。
在 19 世纪 60 年代，一位名叫亨利·德克斯（Henry Dirks）的发明家在古老的意大利光幻象的基础上进行了创新，利用玻璃和光来操控视觉效果，这种光幻象称为德克斯幻觉效应。
同一时期，约翰·亨利·佩珀尔（John Henry Pepper）在伦敦皇家理工学院演讲时提出，可用一种简单的方法在既有的剧院环境中实现德克斯幻觉效应，即仅仅使用一片玻璃。
由于佩珀尔使这种幻象普及开来，因此这种幻象被称为佩珀尔幻象。佩珀尔幻象可以用射线光学来进行解释。
首先，佩珀尔幻象中使用的玻璃或透明胶片与周围空气的折射率不同，也就是说，光在这两种介质中以不同的速度传播。
当光到达这两种具有不同折射率的材料的边界时，通常一部分光会被反射，而其余的光则以某个角度折射，或称作透射，如图 13-2 所示。
反射光和折射光的量可以通过菲涅耳方程来控制，同时还取决于入射角度、入射光的偏振以及与其相邻的材料的差异。
我们来看看经典佩珀尔幻象的场景布置：
一个舞台、观众视线以外的另一个房间，以及在观众与两个房间之间以某个角度摆放的玻璃墙。
从明亮舞台发射出来的光在进入和离开玻璃平面时发生了折射。
观众可以看到舞台，却看不到玻璃，就像他们正在观看任何旧舞台剧一样。
当打开隔壁房间的灯时，光从“幽灵”向玻璃传播。其中一部分光被玻璃反射，并进入观众视线。
此时观众看到的其实是同时来自舞台和隐秘房间的光线。
这样就会投射出半透明的隐藏影像或“幽灵”效果。
图 13-2 佩珀尔幻象的光学原理
资料来源：https://www.sohu.com/a/131861648_607269
在杰克逊的案例中，舞台前方以适当角度悬挂了一张透明胶片。
使用舞台外的投影仪将这位音乐家过去的现场表演片段显示在胶片上。
通过动画制作，这个视频片段已巧妙地处理成如同杰克逊正在与舞台上的其他表演者互动一样，动态影像的高质量使观众误以为看到的投影就是真实的场景。
三、如何欺骗你的大脑：透明显示
舞台上使用的一般是 45°佩珀尔幻象，像杰克逊演唱会这种，只能从一个方向观看，可视角度比较小。
为了实现更大角度的观看体验，人们用四个由透明材料制成的三角形形成四面锥体，每一面都是一个 45°佩珀尔幻象，观众的视线能从任何一面穿透它。
通过表面反射原理，观众能从锥形空间里看到自由飘浮的影像和图形。
四面视频成像将光信号反射到这个锥体中的特殊棱镜上，以四个不同角度的画面分别投射到四面锥体的每个面上，汇集到一起后形成具有真实维度空间的立体影像。
金字塔型佩珀尔幻象的最大弱点是只能解决左右的视角问题，上下的视角问题并不能解决，而且展示的图像幅面很小，展示不了高精度图像。
可以说，目前面世的几乎所有的裸眼 3D 方式都是伪 3D 图像，是用 2D 的显示画面展示出 3D 的显示效果，它们大部分的原理实际上就是透明显示，即人的目光可以穿过图像看到后面的东西，这样就给人一种图像飘浮在空中的感觉，立体感就是这样营造出来的。
透明显示除了佩珀尔幻象之外，还有很多方式。
Gatebox 直接用激光投影投射到透明屏幕上也是一种方式，另外还可以使用完全透明的 OLED 液晶屏。
在大型展示中，还有使用水幕、汽幕做投影介质的，也能达到同样的效果。
除了透明显示，目前面世的裸眼 3D 显示器还使用柱状棱镜、指向光源等方法显示立体图像，基本是在现有液晶屏上用光学膜实现左右眼不同像，不过大部分这类显示器立体效果一般，景深很浅，达不到透明显示的效果，更达不到 VR 眼镜和头盔带来的效果。
四、新一代裸眼 3D 技术
虽然现在已经商业化的裸眼 3D 显示器效果还无法和其他全息技术相比，但是近年来多层显示技术的飞速发展给了我们更多的期望值。
最早是日本 NTT 公司根据错视技术开发的 DFD 景深融合 3D 技术，使用两片液晶显示器与半反射镜，可直接观赏立体影像。
2009 年，美国 PureDepth 公司对此做了改进，推出 MLD（多层显示）技术。
这些早期的裸眼 3D 显示器并没有显示出更多的实用性，但是其根据不同方向显示不同角度图像的原理给了业界很多启示。
这几年，随着显示技术的更新，显示器方面也取得了革命性发展。
如前面章节介绍过的光场显示器。三星电子则发布了超薄全息显示器，用低于 10 厘米的厚度，实现目前最大视角的动态全息图，同样也采用了多层显示的原理。
目前，光场显示器技术还仅仅处于样机阶段，成本非常高，同时还存在景深不够、视角较小的缺点。
随着技术和工艺的逐渐成熟，以及和其他全息技术的融合，相信我们可以看到更加自然和逼真的裸眼 3D 显示技术。
第二节 元宇宙生活产品的实战尝试
第二节 元宇宙生活产品的实战尝试在 Gatebox 的启发下，一个新的低成本裸眼 3D 产品开始逐渐浮现。
结合已有的数字人技术、AI 技术、游戏引擎，以及前几年积累的智能音箱产品化的经验，我们的新产品将变得更加具象。
一、缘起于 Gatebox
看到 Gatebox 的时候，我正在规划一个人机交互的产品，当时就被 Gatebox 这种生动的模式吸引住了，这个产品的主要使用场景是家庭。最早我考察智能音箱产品时，感觉语音互动的应用有些鸡肋，但是现在加上有沉浸感的人设，语音互动就从和机器的对话变成和“人”的对话，场景就立刻生动起来，从这个角度出发，我们开始了对 Gatebox 的剖析。
二、成本，成本！
Gatebox 最初的版本预售价为 30 万日元，将近 2 万人民币，后来量产价格也要 15 万日元，这个价格超出了人们对一般电器消费品的预期，仅发烧友和粉丝才会买，这也是 Gatebox 一直没有流行起来的重要原因。
据了解，首批 Gatebox 在日本的预售数量只有 300 台。
如果让一般消费者能够接受，必须大幅度降低售价，要降低一个数量级才有希望推广。
分析 Gatebox 的成本构成，我们发现激光微距投影仪是成本的主要部分，这个技术源于 TI（Texas Instruments，美国德州仪器）的 DLP（数字光处理）技术。
以 TI 的风格，这种独家技术的成本很难降低。
通过和国内顶尖工科高校的合作，我们用透反结合的技术做出了超低成本的圆筒全息立体显示，使用液晶显示替代激光投影，成本达到了预期，而且尺寸更加灵活。
成本的大幅降低意味着这类全息产品具有作为大众消费品来普及的前景。
三、数字人与 AI：自动建模和换脸
虚拟数字人通过 CG 技术创造出与人类形象接近的数字化形象，并赋予其特定的人物身份设定。
虚拟数字人被认为是链接元宇宙的一个重要媒介，在元宇宙的风口下，由于具备可捏脸、定制等原因，在很长的一段时间里，虚拟数字人都备受年轻人尤其是元宇宙爱好者的青睐。
五年前，在 Gatebox 创立的时代，二次元形象比较流行，全息数字人都是二维图像，这是由当时的软硬件水平决定的。
随着硬件技术的大幅进步以及 3D 渲染技术的普及，3D 成为全息数字人的标配。
数字人技术从影视动画开始，从最早的手工绘制到现在的 CG、AI 合成，走过了从大屏幕到小屏幕的过程，从需要大量图形工作站计算，到现在 PC 和手机也能进行实时渲染，在零售交易、生活缴费、政务服务等场景已经开始普遍使用。
元宇宙的走红，让数字人从专业领域迅速走进我们的视野，除了前面章节里提到的虚拟邓丽君、洛天依和柳夜熙之外，还有天猫超级品牌日的数字主理人 AYAYI、万科总部最佳新人奖获得者——虚拟数字员工崔筱盼、湖南卫视新综艺《你好，星期六》的数字主持人小漾，还包括科技公司打造的数字 IP 如集原美、翎_Ling、A-Soul，甚至是清华虚拟大学生华智冰、百信银行首位虚拟数字员工 AIYA（艾雅）等，一时间企业们纷纷选择“造人”，虚拟数字人市场也呈现升温的趋势。
与最初相比，AI 技术赋予数字人更强的功能和易用性。随着 NLP（自然语言处理）、XNR（深度神经网络渲染技术）等 AI 技术的进一步应用，数字人将获得更好地与人沟通的能力，同时，自动建模和换脸技术可以根据视频实时生成三维人物的图片，比如我们可以凭借明星的一张相片，就可以生成明星的 3D 模型，并且可以给他更换服装、表情，发型，进行动作编排。所有这一切，都可以通过一部手机来完成。
这就为我们的全息 3D 数字人消费品化建立了基础。
四、游戏技术与引擎的应用
数字人所用到的技术，大多是游戏行业已经在使用的成熟技术，比如三维建模和动画软件 Maya、3D 创作引擎 UE（虚幻引擎）、Unity 3D。
国内网易、完美时空等游戏企业也研发了在原有引擎上二次开发的开发工具，使用这些工具结合自有技术开发可以进行人物换装、TTS（Text to speech，文本转语音）的面部表情匹配、捏脸、动作定义、动作串烧、智能对话互动、换脸等操作，大大丰富了数字人的人物形象。
游戏产业使用的技术和 3D 全息技术组合，让数字人真正活灵活现起来。
五、鲜活起来的智能音箱
近几年，智能音箱是中国智能家居从业者最看好的用户入口。作为智能家居的中心设备之一，智能音箱在交互方式的丰富性、设备连接的广泛性，以及应用和升级的灵活性方面都具有明显优势。
2020 年，中国智能音箱市场销量达到 3770 万台，2021 年预计超过 4000 万台，大量用户已经普遍接受了这个产品。
智能音箱最大的卖点就是语音交互，和机器对话总有一种干巴巴的感觉，但是加上全息数字人以后，对话就生动起来。
数字人可以是家人的形象、偶像的形象，也可以是你最喜爱的卡通形象。
数字人可以 AI 对话，也可以载歌载舞，成为家庭的一员。
第三节 迷你元宇宙：现实世界与元宇宙的界面
一旦我们把裸眼 3D 技术小型化，例如手持全息魔盒（后文称为魔盒）比牙签盒略大一些，可以放在掌心里，将其与嵌入式芯片相结合，我们可以赋予小型化随身设备与众不同的新体验，就像手机之于有线电话一样。
随着元宇宙兴起带来更多的技术进步，我们可以对这个“迷你元宇宙”有更多的期待。
通过随身携带魔盒，你可以和元宇宙进行交互，感知元宇宙里和你有关的人和事，并且随时随地交互。
一、虚拟人与现实世界交互
布局元宇宙的方向，针对的正是元宇宙里的“人”，而不是其他基础设施。
因为无论是 Meta、微软，还是腾讯等，最后总离不开在里面生活的“人”，每个人在元宇宙里都会有自己的数字化身，我们要做的就是把这个数字化身用全息的方式展示到现实社会中，这样就提供了元宇宙与现实世界的接口。
我们希望掌心里的元宇宙和任何一家所搭建的元宇宙基础设施都可以对接，元宇宙中任何一个虚拟人，都可以通过这个魔盒和现实世界的人交互、对话。
这个虚拟人的背后可以是真实的人，也可以是游戏中的 AI 角色。
二、掌心里的元宇宙
图 13-3 掌心里的元宇宙
与以往的其他全息设备不同，全息魔盒可能是全世界唯一可以握在手里的全息 3D 显示装置。
这个装置更适于人或者其他单一物体的显示，可以选择数字人作为全息魔盒的主人公。
这种可握在掌心、自带电池和移动通讯模块的全息设备，就像手机一样，可以真正和使用者个人绑定，作为私人和虚拟世界交互的窗口，如图 13-3 所示。
和 Gatebox 不同，手持的全息魔盒带有强烈的个人属性，就像手机一样，具有随时随地接受 3D 数字信息的能力，因此具有移动社交的能力，可以跨越空间实现交互，成为现实世界和元宇宙中虚拟形象的交互窗口。
三、算力的进步
元宇宙产品的算力瓶颈，不仅在于云端的算力，更在于终端的算力，特别是数字人的渲染算力，需要考虑极其有限的空间、能耗和成本，同时还要兼顾 AI 和交互计算的需要。
目前在嵌入式芯片中，综合性能最好的是高通系列，但是价格昂贵。
目前在市面上，有一定的移动通信能力，且算力、功耗、价格等都合适的是 MTK（联发科）系列芯片。
其实很多智能手表也用的是 MTK 芯片。
随着手机芯片升级战的白热化，几年前推出的算力尚可的芯片，价格都大幅度下降，为元宇宙产品提供了更多的可选项。
未来，随着元宇宙产业的发展，对渲染质量的要求会逐渐提高，从而终端算力也需要在保证功耗、成本的情况下，进一步提高，最低程度也应赶上主流手机游戏的渲染质量。
四、对未来新体验的展望
新的光场显示技术进一步成熟、成本进一步降低、和传统的裸眼 3D 技术组合等因素使得人们可以做出全息效果更好的裸眼 3D 显示装置。
未来的技术，也许不依赖眼镜和头盔，就可以随时随地营造出完全逼真的 3D 图像。
在这个基础上，未来几年，会有更高算力、更低功耗的芯片投入使用，元宇宙具有更好的 AI 算力支持，人们在现实世界与元宇宙中的交流将更加方便，可以随时随地穿梭于现实世界和元宇宙中。