数智赋能第4期｜《数智赋能：效益跃迁的产业实践》——《高速包装多模态智能化控制系统运行分析》

《数智赋能：效益跃迁的产业实践》主编：
蒋云、张国有

高速包装多模态智能化控制系统运行分析

（一） 问题概述

密相气力输送因其环保、灵活等优势，被广泛应用于化工、能源、冶金、生物医药等领域，尤其适用于高固气比、长距离与低能耗的输送场景。然而，粉体物料在气力输送过程中，其动态行为受物料本身物理属性 （如粒径分布、密度、黏性等） 与输送参数 （如气压、功率、流量等） 的共同影响。在高颗粒浓度条件下，粒群间发生碰撞、摩擦等强耦合作用，系统表现出非线性、非稳态、多尺度耦合及突变性等复杂特征。在高速自动化包装系统中，传统控制策略通常基于经验设定或局部反馈，缺乏对物料属性与输送动态的系统性感知与协调控制，导致在不同物料切换或工况波动时出现包装精度下降、设备频繁调节、能源利用率低等问题。

近年来，随着传感技术与机器学习方法的发展，多模态数据融合在工业过程控制中展现出潜力。视觉传感可用于物料表面特征与颗粒形态的静态识别，而功率、压力等时序信号则蕴含了输送过程的动态信息。然而，现有研究多集中于单一模态的识别或控制，如基于图像的材料分类或基于信号的状态监测等，尚未形成面向高速包装过程的“视觉—动态信号”协同感知与闭环控制框架，制约了系统整体性能的进一步提升。

（二） 相关研究

在视觉物料识别方面，基于卷积神经网络 （convolutional neural network，CNN） 图像处理与机器学习的分类、分割技术已广泛应用于颗粒与粉体物料的特性分析中，如粒径分布统计、种类鉴别和表面缺陷检测等。这些非接触、高分辨率的视觉方法为包装前端的物料属性在线识别奠定了坚实的技术基础。

在动态信号分析与模式识别方面，压力、功率等时序信号的处理技术是关键技术之一。例如，Mittal、Mallick 专注于通过压力信号分析实现密相气力输送中的早期堵塞检测；而 Kaewrakmuk、Srinonchat 的研究展示了将多传感器时序数据转化为图像编码 （gramian angular field，GAF），并与深度卷积网络 （deepconvolutional neural network，DCNN） 融合以提升识别性能的方法框架。这些工作为利用动态信号进行过程状态感知提供了有力工具。然而，现有研究多侧重于监测与诊断功能，如何将这些识别结果与实时控制策略深度融合，形成感知—控制一体化系统，仍是亟待探索的方向。

（三） 本文工作

针对高速包装系统中物料多变、气固两相流动态复杂、控制难度大的问题，本文在现有研究基础上，结合工业实际需求，开展了以下工作。

1. 实验平台构建与多模态数据集建立

自主搭建了可模拟工业环境的气力输送包装实验平台，系统采集了两种不同物料类型 （细颗粒、粗颗粒） 在多种输送工况下的视觉图像、功率曲线、气压曲线及同步的重量数据，构建了高质量、多模态、时序对齐的数据集。

2. 多模态识别算法设计

提出了一种双分支深度神经网络模型。视觉分支专注于物料静态类型的精确分类；信号分支则专注于从功率与气压曲线中提取时域与频域特征，识别输送过程的动态模式 （如稳定、波动、过渡态）。

3. 智能控制策略融合

设计了一个基于多模态识别输出的自适应控制模块。该模块根据识别出的物料类型与动态模式，实时查询或计算最优的设备控制参数 （主要为增压功率），并通过比例-积分-微分 （proportional integral derivative，PID） 控制器进行精准调节，形成“感知—决策—控制”的闭环。

4. 系统集成与性能验证

将上述算法封装部署于工业计算设备，在实验平台上进行长期运行测试，从包装精度、运行速度、能耗等维度综合评价系统性能，并与传统控制方法进行对比分析。

（一） 实验平台搭建

为全面获取研究所需的多模态数据，本文设计并搭建了一套模块化、可配置的高速气力输送粉体包装实验平台，其结构示意图如图1所示。

上图为多模态数据采集实验平台示意图，该平台主要包括以下子系统：①物料供给与输送系统；②视觉采集系统；③动态信号传感系统；④称重与反馈系统；⑤数据同步与处理单元。

物料供给与输送系统：包含投料仓、变频增压风机、输送管道、气动调节阀等，可模拟不同压力与流量下的气力输送过程。投料仓下方是出料口，出料口下方有放置在高精度称重台上的接料容器，接料容器底部开口，通过回流管与投料仓连接，回流管中部有回流泵，方便在每次投料完成后快速回收物料，提升实验效率。

视觉采集系统：在投料仓顶部和输送管道的透明观测段架设两台高速工业相机，分别采集物料在投料仓中的静态特征和下落时的动态特征，用于后续物料类型识别。

动态信号传感系统：安装功率传感器 （监测风机功耗） 和气压传感器 （监测管道关键点压力），以1 kHz采样频率同步采集时序数据。

称重与反馈系统：接料容器下方采用高精度动态称重传感器实时测量落入接料容器的物料重量变化情况，并把数据发送给数据同步处理单元，作为控制精度的评价基准。

数据同步与处理单元：基于工业计算机 （industrial personal computer，IPC）和高速数据采集卡，实现所有传感器与相机数据的精确时间同步采集、存储与预处理。

（二） 数据采集过程

数据采集遵循严格流程，以确保数据的多样性与有效性。

1. 物料选择与准备

选取两类具有代表性的实验物料：石英砂 （细颗粒，40~70 目）、塑料颗粒（粗颗粒，>2 mm）。测量并记录其堆积密度、休止角等基本物性。

2. 工况设置

对每类物料，在风机功率和系统背压的安全范围内，系统性地改变风机频率（控制功率） 和阀门开度 （影响气压），构成多种输送工况组合。

3. 同步数据采集

在每种稳定工况下，同步触发高速相机、功率传感器、气压传感器和称重传感器，进行持续30~60秒的数据采集，并记录该时段内的平均包装重量误差。

4. 数据归档

对每次采集任务，保存图像序列、“功率—气压—重量”时序数据文件，以及对应的工况参数与物料标签。

（三） 数据标注与数据集构建

采集的原始数据需经处理与标注，以用于模型训练。

1. 视觉图像标注

从每段图像序列中均匀抽取多帧图像，由经验丰富的工程师根据物料外观形态，将其分类为“细颗粒”“粗颗粒”两类，并确保标注一致性。

2. 动态信号标注

由两名领域专家独立分析功率与气压的时序曲线，根据其波动幅度、周期特性、趋势稳定性等特征，将输送状态标注为三种动态模式：“模式Ⅰ （稳定输送） ”“模式Ⅱ （中度波动） ”“模式Ⅲ （剧烈波动） ”。对于存在分歧的样本，进行讨论后确定最终标签。

3. 数据集组织

最终构建的数据集包含超过15000组样本。每组样本包括：一个视觉图像样本 （对应物料类别）、一段时长 5 秒的“功率—气压”同步时序数据 （对应动态模式标签），以及该时段内的平均重量误差值。数据集按 7∶2∶1 的比例随机划分为训练集、验证集和测试集。

（一） 模型架构

整体模型由三个核心模块构成，其架构如图2所示。

上图展示了本文采用的多模态融合识别与控制模型架构，主要包括三个部分：视觉物料识别分支、动态信号模式识别分支、多模态融合与决策模块。

1. 视觉物料识别分支

该分支以单帧物料图像作为输入。采用在 ImageNet 上预训练的 ResNet-18 作为骨干网络，移除其最后的全连接层，将网络作为特征提取器。输入图像被缩放并归一化至256×256像素。ResNet-18提取的512维特征向量随后通过一个包含两层全连接层的专用分类器，输出物料属于“细颗粒”或“粗颗粒”的概率记为Pv。

2. 动态信号模式识别分支

该分支以同步采集的、长度为T的时间窗口内的功率曲线Sp和气压曲线Sa作为输入。

信号预处理：首先对原始信号进行低通滤波去噪，并进行Z-score标准化。

特征工程：对每条曲线，计算一组手工设计的时域与频域特征，包括均值、标准差、偏度、峰度、均方根 （root mean square，RMS）、波形因子、脉冲因子，以及经过快速傅里叶变换 （fast Fourier transform，FFT） 后的前 5 个主导频率分量及其能量占比。从功率与气压曲线中各提取 20 个特征，拼接形成 40 维的原始特征向量。

特征学习与分类：将该 40 维特征向量输入一个包含两个隐藏层的全连接神经网络。该网络进一步学习特征之间的非线性关系，并最终输出输送状态属于“模式Ⅰ”“模式Ⅱ”“模式Ⅲ”的概率分布Ps。

3. 多模态融合与决策模块

此模块接收来自两个分支的语义输出 Pv和 Ps。将这两个概率向量直接拼接，形成一个联合概率特征向量。该向量输入至一个轻量级的“决策网络”（由两层全连接层构成），其输出并非直接的分类标签，而是映射到一个控制参数调整向量ΔC。ΔC的维度与可调控制参数 （如增压功率设定值的修正量） 一致。网络的目标是学习从“物料类型—动态模式”组合到最优控制参数调整量之间的复杂映射关系。

（二） 模型训练策略

模型训练分阶段进行，以确保其稳定性和性能。

1. 分支预训练

分别使用视觉数据集和信号数据集，独立训练视觉分支和信号分支，使用标准交叉熵损失函数。

2. 联合微调

冻结两个分支的特征提取部分 （ResNet-18卷积层和信号特征提取层），仅对各自的分类头及后续的融合决策网络进行联合训练。此阶段采用一个复合损失函数L_total：

L_total=α·L_ce（P_v，Y_v）+β·L_ce（P_s，Y_s）+γ·L_mse（ΔC，ΔC_gt）

其中，L_ce为交叉熵损失，Y_v和 Y_s分别为视觉和信号的真实标签；Lmse为均方误差损失，ΔC_gt是根据历史最优控制经验得到的控制参数调整量真值 （监督信号）。α，β，γ为权重系数，用于平衡不同任务的重要性。

3. 训练细节

所有训练在配备 NVIDIA RTX 3090 GPU 的工作站上进行，使用 PyTorch 框架。优化器采用Adam，初始学习率设为0.001，并配合余弦退火调度。使用批量归一化和 Dropout （丢弃率 0.3） 来防止过拟合。视觉数据训练时采用了随机裁剪、颜色抖动等增强手段。

（三） 消融实验与分析

为验证模型架构中多模态融合的必要性，设计了消融实验，结果见表1。

（一） 离线仿真测试

在完全独立的测试集上对训练好的融合模型进行综合评估。除了各分支的分类准确率外，还重点评估了“控制参数预测”的精度，以及将该预测值应用于仿真包装模型后的控制效果。仿真结果表明，与采用固定PID参数的传统方法相比，基于本文多模态识别结果进行自适应调参的控制策略，能将包装重量误差的方差平均降低约65%，同时在模拟物料切换时，系统的调整时间缩短了约40%。

（二） 在线系统集成与边缘部署

为实现工业应用，将训练好的模型进行优化与封装。

1. 模型轻量化

使用PyTorch的TorchScript将模型转换为脚本模式，并对部分算子进行优化，以适应边缘设备的计算能力。

2. 开发实时推理引擎

编写高效率服务程序，该程序实时读取相机帧和传感器数据流，调用轻量化模型进行推理，并在毫秒级延迟内输出控制参数调整建议 ΔC。

3. 集成至可编程逻辑控制器 （programmable logic controller，PLC）

该推理引擎作为上层优化器运行在IPC上，通过OPCUA或Modbus TCP协议与底层 PLC 通信。PLC 中的主控 PID 回路接收来自 IPC 的设定值修正指令，实现对增压风机功率的实时、平滑调节，形成智能闭环控制。

（三） 实物平台验证与性能分析

将集成后的系统部署于前文所述的多模态数据采集实验平台，进行为期一周的连续运行测试，并与传统PID控制模式进行对比。关键性能指标对比如下。

1. 包装精度

在高速包装 （100 袋/分钟） 设定下，平均单袋重量误差从 ±1.5% 降低至±0.8%，误差波动范围缩小约60%。

2. 运行效率

由于系统能快速适应物料变化，无须人工干预降速，平均包装速度提升16%。

3. 能源消耗

通过避免不必要的功率过冲和维持更稳定的输送状态，系统总能耗降低约21%。

4. 物料适应性

系统在细颗粒、粗颗粒两种物料随机切换的测试中，均能自动识别并稳定控制，展现了良好的泛化能力。

（一）综合效益评估

本研究开发的多模态智能控制系统，从技术验证走向初步工程应用，展现出多方面的显著效益。

1. 提质增效

直接提升了高速包装的重量一致性，同时通过自适应控制解除了速度限制，使综合包装效率 （精度与速度的乘积） 提升超过30%。

2. 节能降耗

智能调节避免了能源的无效浪费，单台设备日均节电15~20 kWh，年节电超过5000 kWh。

3. 减少损耗

稳定的输送过程降低了物料因冲击、残留和扬尘造成的损耗，同时高精度包装减少了返工拆包，初步估算物料损耗率下降12%~18%。

4. 增强适应性

系统具备“感知物料、识别状态、智能调节”的能力，降低了生产中对操作员经验的依赖，提高了生产线应对多品种、小批次任务的柔性。

初步经济核算表明，对于一台中型高速包装机，该系统的应用有望使年综合运营成本降低15万~20万元，而本文所提到的软硬件平台研发及数据采集总投入约200万元，经济效益明显。

（二） 未来研究方向

尽管当前系统已取得积极成果，但在以下方向仍有深入探索的空间。

1. 更广泛的物料谱系研究

当前模型训练集中于两类典型物料。未来需纳入更具挑战性的物料 （如粉末物料、高黏性物料、易吸湿物料、混合物料等），研究小样本学习或领域自适应方法，以增强模型的普适性。

2. 引入更丰富的传感模态

探索融合声学、振动等传感信息，为输送状态识别与故障诊断提供更多维度的依据，进一步提升系统鲁棒性。

3. 迈向预测性与协同优化

结合数字孪生技术，构建过程的虚拟映射，不仅能实现实时控制，还能进行趋势预测、参数预整定以及多台设备间的协同产量、能耗优化。

4. 边缘AI芯片级部署

进一步研究模型剪枝、量化技术，探索在更低功耗、更低成本的嵌入式 AI芯片上的部署方案，降低系统硬件成本与集成门槛。