文章来源《数字孪生技术与工程实践》
随着移动计算、图形处理等计算机技术的发展，VR、AR在游戏、展览、产品概念设计、教育等领域越来越普遍地得到应用。
VR/AR技术也推动了数字孪生技术的发展，并且为数字孪生中的模型展示、人机交互提供了新的手段，甚至很多人认为，数字孪生就需要VR/AR，否则就不是一个真正的虚拟重现。
本书认为，数字孪生重点在于虚拟空间对物理实体的真实映射，这个映射不一定要用VR/AR或者MR技术，甚至某些场合不用三维模型也能完成数字孪生系统的大部分功能。
同时，VR/AR在工业领域的应用也一直不温不火，虽然VR/AR/MR的产品供应商、软件方案解决商会提出很多VR/AR/MR在工业领域应用的例子，但是，真正在工厂中得到应用并且作为生产力工具的，几乎没有，很多时候是“锦上添花”的宣传效果。
那么，VR/AR或者MR在工业领域真的没有用途吗？
答案当然是否定的。
数字孪生要发挥真正的效果，一个拟实的三维场景是不可缺少的。
三维空间模型给用户的信息远远大于二维报表或者图纸，而VR/AR/MR的应用能提高人机交互能力，改变人机交互方式，更加能发挥数字孪生的效果。
而且随着计算机技术的不断发展，VR/AR/MR终端会越来越平民化，会成为类似手机终端、平板电脑这类大众化的设备，这个时候，VR/AR/MR应用的普及就水到渠成了。
本节从分析工厂或车间生产系统中可视化应用需求入手，通过几个案例来说明VR/AR技术在工厂的应用。
当然，VR/AR只是一个人机交互接口，是前端，应用的后端必不可少地需要虚拟模型、数字孪生系统的支持。
7.3.1 生产系统中可视化应用需求分析
1 制造运行管理方面的需求分析
ISA-95标准中首次明确提出了制造运行管理（Manufacturing Operations Management，MOM）的概念，其把制造运行管理的活动定义为利用生产资源中可协调的人员，利用可使用的设备、物料以及能源把全部或者部分原料转化成产品的一系列活动。
所以，制造运行管理包含可能由物理设备、人员和信息系统来执行的活动。
图7-45所示为制造运行管理活动模型，ISA-95标准中的企业运行管理认为制造企业的制造流程需有图7-45所示的十个主要功能外加两个外部活动（即研究开发和设计，市场营销和销售）。
制造运行管理的范畴即图中阴影部分的范围包括生产运行管理、库存运行管理、质量运行管理以及维护运行管理，共四个部分。
结合ISA-95标准中的制造运行管理内容来看，车间生产可视化系统需具备对数字化车间的生产运行、维护运行、质量运行和库存运行状态进行可视化指导。
图7-45 ISA-95标准中的制造运行管理活动模型
2 车间可视化系统功能需求分析
（1）生产任务和进度指导功能
当生产任务下发到车间层时，每个工作中心的生产员工可以凭借AR可视化系统设备直接接收到生产任务拾取列表，不需要再到计算机系统中去手动查询并通过大脑去记忆当前的生产任务，而车间管理员携带AR设备在车间随时随地可以查看到每个工位当前的生产进度。
（2）实时物流规划和配送指导功能
通过其他面向对象的离散事件仿真软件结合实时车间各个工位的需求、库存等实时状态做出最优的物流路径，并通过AR可视化指导系统指导对应车间人员进行物料配送。
（3）设备故障重放功能
需要能够在AR和VR界面中进行准确的设备故障重放，并能够获取故障发生前后重要的参数状态变化，在全要素故障重放应用中将贯彻信息互通、信息共用和“所见即所想”的目标，可以大幅度地提高故障诊断的效率和准确性。
（4）远程诊断及维修指导功能
通过AR系统设备，可以进行远程协作及工作指导，让后台专家看到前台维修人员的第一视角画面，实时提供高效率的工作指示与指导，降低人为错误、因现场人员经验不足而产生的效率低下、等待专家的时间耗费等情况，同时提高工作安全性。
（5）设备管理功能
通过AR设备自动识别设备、设备特征点或二维码，结合定位信息或是在指定区域触发，将传感器采集的设备实时数据信息（生产报表、产量、利用率、维保信息等）叠加在眼前设备上，并且借助于虚拟触控交互技术、语音交互技术、设备姿态传感器交互技术，从真正意义上解放人的双手，完成对设备生产、制造、装配等环节的进度与状态的实时监控。
借助VR设备，巡检人员也可以进行虚拟巡检，不用到现场而通过采集的视频、图像和数据进行设备巡检。
（6）库存运行管理
通过AR系统设备对着车间货物的二维码、标签等进行识别，匹配对应的货物信息。员工可以在设备端看到相关库存信息以及物料拣选清单。
（7）质量运行管理
在零件生产过程中，能够对零件的质量，比如表面划痕、尺寸精度等质量信息，进行在线检测并发现问题，主动推送不合格报警消息，及时做出响应，防止不合格零件流入下道工序，影响整体产品的质量。
（8）装配作业指导功能
将装配作业中的指导手册或企业中熟练工人的既有知识经验和技能固化下来，成为行动准则和模板，通过AR可视化技术将正确的装配动作和信息在人员眼前呈现，达到指导的效果。
利用AR技术指导系统，可以减少生产过程中操作人员查阅资料的时间，通过设计、工艺之间的数据互联互通，形成产品设计、工艺设计和现场制造之间的数据闭环。
（9）远程作业指导功能
本地用户与远程用户协同作业，两个用户通过AR设备连线，分享第一视角画面，远程技术人员可以通过语音视频进行指导，并在上面做标记等操作，从而帮助工人实时解决技术难题，还可以全程录音记录，形成技术问题案例库。
（10）操作员工培训功能
通过将熟练工人的经验和行为在新手眼前重现，让新手可以依据视觉指导操作完成任务，使用AR系统设备让新手可以依据视觉“诱导操作”完成任务让智力资产得以复用增值，填平经验鸿沟。综合以上需求，一个车间可视化系统的功能需求如图7-46所示。
7.3.2 数字孪生生产系统AR/VR应用架构
数字孪生生产系统是一个典型的信息物理系统（CPS），因此，智能生产系统或智能生产单元中物流系统的优化基于CPS中信息和物理两个系统“协同优化”的基本思想进行，其基本实现过程按照“感知-实时优化-可视化指导方法”的思路展开。
在数字化车间内，综合运用RFID技术、照相机视觉识别技术、传感器感知、现场总线、多传感器数据融合技术、无线网络通信技术以及室内3D定位技术与方法，实现对车间生产设备、生产人员、在制品信息等生产要素信息的实时获取，基于统一的信息表达模型，将获得的多源异构数据进行描述封装并根据数据的特点存储在相应的数据库中。
图7-46 车间生产可视化系统功能需求
将上述采集到的生产制造数据，传递给上层的信息网络层，并与企业信息系统中间层MES以及上层ERP等系统进行信息交互集成，为系统的生产管理模块功能实现提供可靠的信息依据。
本节基于CPS思想，并参照第4章的制造数字孪生系统框架设计了基于数字孪生生产系统的AR/VR应用框架，如图7-47所示。
该框架基于AR技术与VR技术对车间的信息透明化并精准指导车间生产活动，由3个部分组成，分别为物理层、数字孪生引擎层、基于AR/VR的数字孪生服务层。
（1）物理层
物理层主要是采集车间多源异构数据，针对的对象是具备数字化接入能力的各类物理资源，贯穿整个车间的生命周期，针对不同类型的生产数据，数据采集的方式也不尽相同。
针对不同的数据采集项目，目前的技术手段主要分为智能感知技术、智能终端设备两种。
图7-47 基于数字孪生生产系统的AR/VR应用框架（彩图见插页）
智能感知技术主要指的是传感器技术，通过传感器来实现虚拟车间对于物理车间的实时监测感知，比如目前比较流行的传感器技术是射频识别传感器。
目前智能终端设备都带有供数据采集用的接口，可以直接获取需要的数据。
生产车间内的设备带有的数据接口大部分可以分为串口和网口两大类。
对于串口的生产设备，可以采用串口服务器转以太网通信；
对于具有网口的生产设备，可以基于TCP/IP协议，通过以太网进行机床信息的采集。
AR/VR终端设备需要采集人、设备、零件体等车间生产要素以及定位信息作为AR/VR可视化系统的特征信息，这些特征信息将对应的车间生产要素绑定在一起。
（2）数字孪生引擎层
数字孪生引擎层主要是针对AR/VR功能的数据处理和业务逻辑构建。
数据处理是车间多源异构信息集成的核心部分，分为数据预处理和数据存储两大部分。
数据存储系统是车间数据的存储仓库。
由于车间数据的多样性，所以需要根据不同数据特点来选择关系型数据库、非关系型数据库或者是分布式文件系统来存储不同的数据。
实时采集的数据或者外部软件系统接入的数据如果不经过处理直接使用，可能会存在大量脏数据或无效数据，所以在进行数据存储或使用前需要进行重要的一步就是数据的预处理，按照具体需求进行数据的处理过滤，以得到有效符合要求的数据。
由于进行一次ETL并不能确保得到目标数据，因此需要建立临时存储区将第一次ETL后的数据存入，然后再调取该区数据进行第二次ETL，最后将数据加载至目标数据库，实现多源异构数据的集成。
数字孪生引擎与数字化车间和外部软件系统等不同模块的多种服务互联。
数字化车间主要为系统提供数据采集服务，是系统实现的基础。
外部软件主要提供的服务有物流规划与配送指导、生产调度优化与指导等。
数字孪生引擎可以提供不同的可视化指导功能。
图7-47列出了物流管理、设备管理和装配作业三种可视化指导。
其中，物流管理、设备管理可视化指导基于数据模型及相关的业务逻辑实现，而装配作业可视化指导基于零件语义模型和零件可视化模型实现。
基于AR的装配可视化指导在7.3.4节详细介绍。
（3）基于AR/VR的数字孪生服务层
基于AR/VR的数字孪生服务层作为系统最顶层也是核心部分，主要包括设备管理功能、车间物流规划与配送指导功能、仓库管理等。
比如设备管理应用，可以基于智能感知技术感知设备的实时状态信息：设备基本信息、设备运行时间、设备运行效率信息和设备健康信息等。
该层是实现用户的具体操作与数据的交互。
在基于AR/VR的数字孪生系统中，利用VR技术来增强场景的沉浸感。
VR技术是通过计算机技术来实现场景虚拟化，并通过一定技术手段给用户提供沉浸化感受。
Unity平台支持物理特效和光影渲染便于用户创建虚拟化场景，同时Unity自带资源商店为用户提供了实现VR所需的插件，同时Unity还为VR设备提供了支持，如HTC Vive。
AR技术目前主要通过专用AR眼镜或者平板设备方式来实现，目前主流开发AR的插件为Vuforia、Metaio、D’Fusion等，而这些插件SDK都能与Unity进行紧密结合。
7.3.3 基于AR的生产管理模块
1 AR技术在生产管理功能中的应用
本节以数字孪生生产系统的生产设备管理和物流指导为例说明数字孪生系统中AR技术的应用场景和方式。
在制造过程中，生产人员实时地获取生产线中与生产制造相关的信息是车间制造的重要任务。
但是车间生产人员在生产过程中能够获取到有价值的制造信息需要对所使用的设备及其控制系统有很深入的了解。
在车间设备维护方面，则需先将设备停机，然后再进行维护，会造成生产加工过程的延误。
目前在数字化车间中对车间生产运行的信息管控方式属于集中式。
车间生产管理人员查询设备的运行数据或者生产任务的确认，都需要到车间指定地点的计算机终端进行相关操作。
而VR技术的应用也只是使用标准的计算机监视器在有限的范围内提供设备或者生产过程的监控功能。
图7-48所示为车间生产可视化系统在车间物流管理功能领域的应用框架。
基于AR的生产管理模块可实现对数字化车间的设备、物流、质量以及维护管理的可视化功能。
图7-48 基于AR的生产管理模块应用框架（彩图见插页）
（1）基于AR的设备管理功能
传统的车间设备管理方式大致分为两种：
一种是人员必须来到设备前，通过设备上的显示屏了解设备的相关运行状态参数；
另一种是设备上的传感器实时采集数据并保存至工厂MES，后续人员通过手持平板设备或在办公室通过计算机登录系统进行相应设备数据的查看。
如果通过AR眼镜的镜头自动识别设备体、设备特征点或特定的设备识别码，结合定位信息或是在指定区域触发，将传感器采集的设备实时数据信息，比如设备基础信息、设备运行数据和数据生产信息等，经过数据处理之后叠加在眼前设备上，并且借助于虚拟触控交互技术、语音交互技术、设备姿态传感器交互技术，能从真正意义上解放人的双手，提供环绕式视野。
（2）基于AR的物流管理功能
对于车间物流可视化指导问题，需要先产生物流配送需求，再根据物流需求进行物流调度优化，然后根据物流优化结果产生物流配送的任务指令，最后再根据路径规划的结果指导物流管理人员物流配送的路径。
物流调度优化属于管理层面的问题，可以决定工位之间的物流配送模式，包括物流需求指令产生方式和物流实际配送方式；
而后者属于技术层面的问题，需要着重考虑工位间点到点的路径规划，实现物流的调度配送。
针对数字化车间物流优化以及指导问题，可分为四个研究过程。
研究过程
第一步：物流配送模式优化；
第二步：物流信息透明化；
第三步：物流配送任务指导；
第四步：物流配送路径指导。
而AR可视化指导系统在车间物流优化及指导方面的应用主要集中在后三个步骤，通过对车间中物流要素信息进行采集并进行处理，再结合外部物流优化系统的优化信息，将这些信息一并存储到车间的数据库中。
通过可视化技术将这些信息在合适的地方进行展示，这就是物流信息的透明化。但是信息的透明化并不能直接形成指导的功能。
因此，透明化的信息应该根据外部系统对物流配送模式进行优化的结果形成物流配送需求的信息，该需求信息形成指导信息的逻辑，然后借助于系统的设备展示给物流配送人员。
订单拣选是物流领域最重要的任务之一。
为了避免拣选错误，必须以最佳方式为工人提供拣选信息。
如今，有很多不同的技术来为订单选择准备信息，但是它们都有各自的缺点，并且根据各自的技术特征，错误率在0.1%～0.8%之间，这意味着在数量1000以内的物料订单中有1～8个订单有问题，错误有多种类型，例如，选择了错误的物料或者数量不正确，但是生产线可能因为一个错误就会停止运行。
为避免这些问题，利用系统的跟踪功能可以显示物料的位置和面向过程的指示信息，例如3D箭头显示通往存储位置并指向拣选单元的方式。
这样可以减少寻路的时间，同时可以避免误拣，从而提高了订单拣选的质量。
图7-49所示为车间生产可视化系统生产管理模块在数字化车间中应用的详细流程。
2 融合室内定位技术的AR应用方法
传统的增强现实技术多采用AR识图方式，AR识图方式实现三维注册的标记式（marker-based）AR技术，虽然易于实现，但形式固定，彼此之间还相互干扰。
也有利用计算机视觉实现的无标记式（markerless）AR技术，如SLAM（Simultaneous Localization And Mapping，同步定位和建图）和PTAM（Parallel Tracking And Mapping，并行跟踪和建图），但算法复杂，不容易实现。
除了利用传统的计算机视觉方式来实现AR，还可以利用LBS（Location Based Service，基于位置的服务）技术来确定虚拟物体的位置，类似车辆导航中利用全球定位系统（如北斗系统）来确定位置、利用传感器来确定方向，但通过全球定位系统得到的是室外的地理位置值，对于室内有遮挡的环境，没有卫星信号，而且其民用精度也不适合小范围的空间或者室内场合，就需要寻找合适的室内定位技术。
常见的室内定位技术包括无线局域网（WLAN）、蓝牙和超宽带（UWB）等，UWB室内定位技术的显著特点之一是数据传输速率高，此外还具有较强的防干扰能力、传输速率快、系统内存大、穿透性能好、发送功率小等特点。
UWB技术在许多无线定位技术中脱颖而出，得到较广泛的应用。
通过UWB室内定位技术和AR技术，结合移动设备，实现“主动推送非接触式”的车间监控系统，可以根据人员的实时位置，触发相应的生产监控信息推送机制，将虚拟监控信息叠加在真实生产场景中，实现对车间产品生产流程的可视化管理与指导。
图7-49 基于AR的物流管理模块应用流程
室内位置特征点匹配是指评判特征间的相似程度，一般采用某种代价函数或者距离函数来进行度量。
在本书中，需要实现室内移动对象的实时定位信息与特征信息库中的定位特征数据进行匹配，根据匹配的结果触发AR的虚拟监控信息的推送机制。
特征点匹配包括特征信息库建立和定位特征信息匹配两部分。
特征信息库建立。
首先获取车间中定位对象的3D坐标，其次采用按照均方差最小准则的K-L标准基对兴趣点的三维坐标进行变换，得到降维的特征信息（二维），最后将二维坐标值均映射到[0，1]区间（归一化处理），得到相应的特征参数向量，并将其存储在特征信息库中。定位特征信息匹配。
特征匹配算法会根据室内环境的不同而有所差异，主要的匹配算法有概率法、皮尔逊相关系数匹配法、K近邻法以及核函数法等。
考虑到室内环境的特点以及特征匹配的形式，本案例采用具有拒绝决策的最近邻决策算法。
具体步骤如下：
步骤1：将车间每个工作区域划分为一个类别ωi，i=1，2，3，…，C，工作区域中的设备为这个类别中的一个样本pk，k=1，2，3，…，N。
步骤2：计算移动对象的实时定位坐标p与类别ωi内每个样本xk之间的距离，并找出最小的距离gi（p），将该距离定义为实时定位坐标与类别ωi之间的距离。
步骤3：找出定位坐标与类别ωi之间的最小距离gj（p）。
gj（p）=mingi（p）
步骤4：确定：gj（p）≤l若距离小于某个距离l，则将定位坐标x归为该类别，匹配成功，否则就拒绝决策。
具有拒绝决策的最近邻决策算法流程如图7-50所示。
3 系统案例实施
本节以某离散型制造企业车间中的工作区域为应用场景，并实现工作区域中设备监控功能。
首先对工作区域中某台设备的可视化内容和可视化UI进行设计。
根据可视化的设计，在Unity中构建虚拟可视化模型，最后利用室内定位技术和AR实现该设备移动监控功能。
图7-50 具有拒绝决策的最近邻决策算法流程
（1）应用场景设计
生产人员靠近工作中心中的设备DMC-80H一定范围之内时，利用室内定位系统获取到移动端设备的室内定位坐标信息，该定位信息作为移动设备摄像头的定位坐标信息。
摄像头的定位信息被传输到系统服务器中与该设备（目标兴趣点）的定位特征信息进行匹配。
如果匹配成功，根据移动端设备的摄像头位姿估计，推送设备的虚拟监控信息与该设备融合显示，如图7-51所示。
（2）基于AR的生产设备管理可视化模块案例
在Unity构建好AR的应用场景后，便可发布到Android系统中并安装应用程序，打开应用程序后的首页面有两个可选择的按钮，分别为设备基本数据和设备运行数据，如图7-52所示。
图7-51 基于室内定位技术和AR的移动端生产监控示意图
图7-52 设备管理AR可视化应用首页面
分别单击两个按钮之后便是进入到调用摄像机页面，用摄像机对着上述识别图片对象，就会在镜头前方分别出现设备的基本数据与设备的运行数据叠加在识别现场中，具体AR可视化交互界面展示，如图7-53所示，图中左侧为设备的基本状态数据（包括设备号、设备加工功能、XYZ工作行程、主轴最大转速、快速移动速度等），Machine History Data用来表达数据库中设备运行、故障、待机的历史状态，而当前机床状态为设备的当前健康状态（包括运行状态、待机状态以及故障状态），订单完成状态为设备当前生产加工任务的进度。
图7-53 设备、生产订单实时数据可视化交互界面
（3）基于AR的物流在线指导功能
基于上述分析，物流在线指导系统功能可分为物流任务指导功能、线边库物料清点功能以及工作站物料清点功能，如图7-54所示。
图7-54 基于AR的物流在线指导系统功能
1）物流任务指导功能，需要先产生物流配送需求，然后根据物流优化结果产生物流配送的任务指令。
物流任务指导功能主要指导车间物流人员到仓库货架取到生产所需的物料并配送到目标工位，指导内容包括需要配送物料的生产订单号、物料类型、物料在货架上的位置、物料配送数量、物料配送目标工位、配送时长以及最晚到达的时间。
2）线边库物料清点功能，实现清点线边库上的物料订单数量，由于每一张二维码和虚拟可视化模型一对一绑定，因此系统需要加入OCR（光学字符识别）功能，可以识别二维码的语义信息，最终实现系统可以识别每一个线边库的二维码语义信息，并通过WebService获取信息进行可视化展示。
3）工作站物料清点功能，利用室内定位技术和AR技术相结合实现的，未采用图像识别的技术。
通过HoloLens 2眼镜的UWB Tag实时获取位置坐标，并与工作站的车间位置坐标范围进行匹配，如果HoloLens 2眼镜进入到该范围内，便可知道工作站的物料订单信息。
7.3.4 基于AR的装配可视化指导
装配作业是产品生产过程中的重要一环，一般依靠人工完成操作。
复杂机械设备装配任务涉及大量的工艺知识和技术，操作者在使用传统的装配作业指导手册时，注意力需要在装配作业和手册之间频繁切换才能提取和理解装配作业信息，因此整个装配过程效率低，给工人的记忆和认知能力造成一定的负担。
虚拟装配技术将人“沉浸”在虚拟世界中去操作虚拟的产品模型，对产品开发前期的设计、装配仿真有重要作用，但对实际装配作业的支持有限。
因此，针对车间装配生产线，需要在数字孪生生产系统中开发一种以人为中心，指导信息与装配作业同步的基于AR技术的诱导可视化功能，将显著提高装配作业效率、减少装配差错。
1 装配语义
在基于AR的装配指导中，如果仅从几何层次来定义装配作业意图，而忽略零部件之间装配运动过程中的约束先后顺序，零部件之间进行装配所需满足的装配要求以及零部件装配过程中使用的装配工具等装配工艺信息，将会导致装配作业与实际的工程约束不完全相符，且AR技术对装配诱导支持的作用不够突出。
因此，本节也从零件的装配语义进行装配意图的捕捉。
装配语义是对零部件间装配关系的抽象表达。
它是直接面向操作者的，用装配语义表达零部件间的装配关系，有助于操作者建立传统工艺信息与增强装配工艺信息之间的传递关系。
装配特征语义集可表示为一个二元组AS=（B，R，P）。
B表示零件基本信息集，每个零件基本信息集Bi中的元素用来表达该零件的名称、零件类型（轴、齿轮等）、功能类型（连接、传动等）等。
R表示零件间的装配特征语义集，每个装配特征集Ri中的元素用来表达零件间的约束名称、类型、参数等。
P表示物理属性集，每个物理属性集Pi中的元素用来表达零件的物理特性。
本节从语义学的角度对装配特征进行描述，分三个层次展开，分别为基本装配几何图元层、基本几何约束元素层、装配特征语义层，图7-55所示为装配特征语义模型。
将零件对象装配特征模型以巴科斯范式描述如下：
图7-55 装配特征语义模型
＜装配特征语义模型＞：：=＜回转类装配特征＞|＜非回转类装配特征＞
＜非回转类装配特征＞：：=＜非回转类装配特征＞＜基本几何约束元素集＞
＜基本几何约束元素集＞：：=＜基本几何约束元素＞|＜基本几何约束元素＞＜基本几何约束元素集＞
＜基本几何约束元素＞：：=＜几何元素＞＜约束类型＞
＜几何元素＞：：=＜点＞|＜线＞|＜面＞
＜约束类型＞：：=＜重合＞|＜对齐＞|＜贴合＞
结合零件的装配过程，本节将虚拟零件模型诱导场景划分为3个层级，如图7-56所示。
图中虚线部分是待装配的零件模型。
基于增强现实的零件诱导装配过程将会提示设定的装配路径，同时以三维信息框和文字信息提示装配所使用工具和装配约束信息特征等。
每一子情境层作为后一子情境层的AR识别对象，而子情境层1的识别对象为底座-1。
图7-56 装配情境粒度划分
2 基于AR的零件装配指导可视化功能案例设计
基于AR的零件装配可视化指导功能案例设计结构图如图7-57所示，主要可分为装配语义建模、装配指导信息建模和Unity三维场景部分。
装配指导信息包含了零件几何模型、装配语义信息，其中装配语义信息包括零件的基本信息、零件间的约束、零件的物理属性等。
同时装配语义信息在可视化指导模型中的表达方式有很多种，比如文字表达、仿真运动、图片等。
图7-57 基于AR的零件装配可视化指导功能案例设计结构（彩图见插页）
在Unity中依据零件装配语义构建装配场景中的可视化指导模型，零件三维几何模型是可视化基础，可利用3ds Max等三维画图软件构建，以FBX格式导入Unity中用于相应的开发，然后在Unity中对可视化指导模型进行渲染，添加模型仿真运动的控制脚本。
同时，将Vuforia SDK导入Unity中，通过Vuforia SDK完成识别对象的特征提取并与虚拟指导信息模型注册绑定，并通过脚本的触发控制来实现摄像头识别真实零件模型触发指导模型叠加的功能。
最后通过Unity将场景打包发布到AR眼镜、平板设备等移动端的Android/iOS系统平台中，实现人机交互。
3 基于AR的零件装配指导可视化案例实现
基于AR的零件装配指导可视化的主要功能是零件装配的过程中，在操作者的视野中同时呈现真实零件和虚拟指导信息模型的融合场景，操作者可以根据当前场景中呈现的指导信息模型完成下一步零件装配操作。
基于真实零件装配的步骤，零件装配指导可视化功能可以分为四个虚实融合情境指导装配零件，如图7-58所示。
图7-58 基于AR的零件装配指导可视化过程
在装配情境0中，移动设备的摄像头对准识别图片，可以显示整个零部件装配过程的仿真运动过程，如图7-58a所示。
在装配情境1中，移动设备的摄像头对准零件Base-1识别，操作者可以在平板设备上看到虚拟指导模型叠加在真实零件上，第一个场景中的虚拟指导模型包括三维信息框、文字信息、以及两个零件之间装配路径的仿真运动。
三维信息框中的文字信息可以表达装配约束关系、装配需要使用的工具等，如图7-58b所示，图片左边黑色零件为待装配的零件。
在装配情境2中，识别对象是装配情境1中已经装配好的零部件，当移动设备摄像头对着装配好的实零部件2，在操作者的视野中会出现下一装配步骤所需的装配指导信息，装配指导信息同样包括几何约束关系、装配工艺信息以及零件之间装配路径的仿真运动等，图7-58c所示为装配情境2。
在装配情境3中，识别对象是装配情境2中已经装配好的零部件，当移动设备摄像头对着装配好的实零部件3时，在操作者的视野中会出现最后装配步骤所需的装配指导信息，图7-58d所示为装配情境3。
7.3.5 基于VR的生产管理可视化指导
VR在生产系统中的应用没有AR那么广泛，因为VR是一种沉浸式、封闭式的体验，在工业现场的应用场景有限。
但相比AR，VR的应用开发实施相对简单，而且能给人以震撼的、沉浸的效果。
一般在工业现场的应用有：
1）参观浏览。
这个是三维数字模型的一个基本应用。通过数字孪生系统的构建会有生产系统的三维数字模型，也包括产品、在制品的数字模型，通过这些数字模型的展示，可以直观地让参观者对生产系统有整体了解。
2）生产系统监控和巡检。
这个是辅助应用，通过实时数据的采集和叠加，让管理者可以足不出办公室，了解生产现场的实际情况。
通过VR可以更加直观、方便地进行各类信息显示。
3）培训。
通过构建虚拟场景，实现对操作工人的各类培训，如装配、设备操作、安全防护、应急演练等。
利用VR可以在虚拟空间叠加电子操作文档和指导书，让培训操作更加直观和方便。
（1）案例背景介绍
本节的案例是在已经存在物理制造车间的基础上构建数字孪生车间系统，该车间面向油缸设备进行小批量、多品种生产。
组成油缸的零部件有缸筒、活塞杆和活塞等。
在该车间中，大部分订单是基于已有加工工艺实现产品定制化生产，即零件的加工工艺完善，但不同订单中对应的零部件并不能通用。
该车间拥有42台设备，且在设备所在工位增加线边库，车间还存在货架以及车间原料存储单元，整个车间系统通过ERP系统初步生成车间生产计划，将其下发到MES，然后MES生成执行计划并下发至现场控制系统来实现对物理车间的控制。
由于该车间是定制化生产、不同订单间零件不能共用，因此对于车间组长以及现场工人而言，在进行产品生产加工时加工任务以及加工内容需要在进行生产前被获取且明确，同时需要物料配送人员及时了解车间内成品及半成品所在位置，以便及时完成配送工作。
（2）基于VR的数字孪生生产系统生产指导场景实现效果
本节将VR技术应用于某车间的生产监控和物流指导，首先需要构建车间的三维虚拟场景乃至进一步建设虚拟车间系统，图7-59所示为某公司车间生产线的物理场景和三维虚拟场景，其中图7-59a表示数字化物理车间，图7-59b表示虚拟车间三维场景。
图7-59 三维虚拟场景实现效果图
车间生产物流信息可视化，Unity平台通过WebService接口实时获取物理车间生产物流情况，并将实时数据显示在UI界面上，其效果如图7-60所示。
图7-60 车间生产/物流信息及线边库库存信息可视化
基于物流模型的车间物流仿真，Unity平台通过WebService接口获取到智能物流系统中基于物流模型生成的物流计划，将其在虚拟车间中仿真模拟，同时将物流计划数据显示在UI界面上。
基于VR的车间物流仿真效果如图7-61所示。
图7-61 基于物流模型的物流仿真结果展示界面
VR应用在车间可以用于虚拟参观、虚拟巡检等功能。
上述的物流仿真应用可以用来在配送前了解配送物流清单、熟悉配送路线，也是一个虚拟体验的功能。
总体来说，VR的应用在车间现场不是属于刚性需求，一般用来进行辅助的信息展示。
