围绕江苏六大产业科技成果推介系列（八）

  1995 年起在厦门大学任教至今，在俄罗斯莫斯科国立大学物理系作一年访问学者。曾获福建省科技进步二等奖，厦门市科技进步三等奖。承担国家重点基金项目、国家基金项目、国家教育部优秀青年骨干教师项目等， 发表论文 100 余篇，现任福建省物理学会常务理事。

  随着工业技术的快速发展，大尺寸、高分辨率、窄边框的液晶屏成为计算机、电视、手机等不可或缺的显示设备。薄膜晶体管液晶显示器(TFT-LCD)设备已经成为显示器工业的主流技术。由于其复杂的制作工艺，视觉缺陷检测已经成为一项极其重要的步骤。大部分的 TFT-LCD 组件集成了大量复杂的电子线路，其有缺陷的地方可能小于 0.01mm2 并且很容易被周围的线路遮挡覆盖。缺陷包括断点和脏污等，特征具有很低的对比度，模糊的边缘，甚至连人眼都很难分辨出来。为了减少数据处理量，提高检测速度，视觉检测系统获通常取得是单通道的 TFT-LCD 工业图像。图像色彩偏于黯淡，像素间的特征相关性减弱。近年来，机器视觉已经在工业检测上取得了巨大的进步。大多数视觉系统已 经达到稳定，快速和自动化的程度，但是对于复杂的图像，它们仍然有很大的误报率。因此，高效率，高精度的自动检测系统是使薄膜晶体管液晶显示器 (TFT-LCD)设备能够保持竞争力的关键。随着人工智能的发展，深度神经网络算法已经被成功运用在工业检测领域，并取得显著的效果。但是传统的神经网络算法只能用于图像的分类，不能精确地对目标缺陷进行检测和定位，这给人工智能在工业检测系统上的应用造成了一定 的瓶颈。项目提出了基于快速区域神经网络（Faster R-CNN）算法对液晶屏电路板的缺陷进行识别和定位，利用实际采集的电路板图像数据构建数据集对算法进 行验证，详细分析了网络层深度及卷积核大小对检测效果的影响。实验结果表明，采用3x3小尺寸的卷积核和16层网络深度的Faster R-CNN结构取得最好的效果， 对多种类别的液晶屏电路板缺陷识别定位达到平均每张 0.12s 的识别速度和 94.6%的准确率。

  项目组主要成员自 2004 年以来一直从事自动光学检测领域研发工作，融合国际先进的自动光学检测技术和国内的电路板贴片生产实际情况，充分考虑国内的实际生产环境和人员操作情况，研发出Otek 品牌系列 AOI 产品，自2005 年投入市场以来，受到众多用户的好评。为我国 PCBAAOI 产品领域的国产化进程 做出了重要贡献。2008 年以来，随着液晶显示行业高速发展，根据市场要求，陆续推出了柔性电路板自动光学测距仪、手机面板检测仪、液晶屏模组检测仪、台阶电极自动检测机等一系列光学检测产品。特别地在台阶电极自动检测机领域，运用自主研发的显微图像采集系统，配合独创的智能化图像识别算法，可检测液晶屏上尺寸为 1×1μm 的微小缺陷，作为国内领先技术，获得了用户高度认可。团队拥有 30 多项专利和 20 多项软件著作权。在工业检测多年的发展沉淀 过程中，以实现精准、快速、高效、智能化的工业自动检测为发展目标；在传统的目标检测算法中，许多算法已经成功应用于工业图像处理中，取得良好的识别效果。Lowe 的 SIFT 算法提取图像的特征，它具有旋转、缩放和亮度不变性，并保持对噪声数据的稳定性。Dalal 和 Triggs 提出了梯度直方图（HOG）为特征的局部梯度方向与梯度强度分布图像描述符。Serikova 等提出的能量检测，具有检测信号之间的间隔期间的突发噪声。近年来，随着人工智能，特别是 深度学习的兴起，在制造业中，利用卷积神经网络(CNN)对合格产品进行分类已 经取得了令人印象深刻的效果。卡尔德隆和 CAMPOY 开发卷积自上而下螺旋结构生成数字滤波器。Xiao Lim 等人利用多尺度完全卷积网络检查飞机发动机部件。

  TFT-LCD 缺陷工业检测机器人项目，团队自主研发包括基于深度学习的图像识别引擎、微米级光学平台、自动机械手臂、运动控制等在内的在线缺陷检测系 统，实现精确、高效、可靠的完全替代人工的缺陷检测，保证了产品质量，作为国内领先技术，获得了用户高度认可。项目团队提出了基于快速区域神经网络（Faster R-CNN）算法对液晶屏电路板的缺陷进行识别和定位，利用实际采集的图像数据构建数据集对算法进行验证，对比分析了网络层深度及卷积核大小对检测效果的影响。实验结果表明，采用 3×3 小尺寸的卷积核和 16 层网络深度的 Faster R-CNN 结构取得最好的效果，对多种类别的液晶屏电路板缺陷识别定位达到平均每张 0.12s 的识别速度和 95% 的准确率。

项目核心技术与创新点：

1、创新的专用图像识别引擎：自主研发识别引擎，融合了快速区域神经网络算法、模板匹配、共生灰度识别、差异分析等等图像处理算法，充分挖掘 CPU/GPU 等数据处理能力，智能并高效识别各类缺陷。对高分辨率图片的检测高稳定、高准确。 

2、独特的高精度图像采集系统：为获取清晰、有效的高精度图像，采用了自主设计的特殊的图像采集系统，配置高分辨率相机、高亮度白色点光源、以及具有真空吸附功能的高精度载台，在图像采集中虚化液晶屏顶层缺陷、微颗粒、气泡等干扰，保证了采集到的高清晰目标图像，检测分辨率最高可达 1 微米/像素。 

3、稳定高速采集系统：为提高检测速度，设计一套高速采集系统，使单片检测时间≤20 秒。

  合作企业厦门福信光电集成有限公司（母公司为福信集团有限公司——中国民生银行的大股东）成立于 1999 年 1 月，是集技术研究、产品设计、生产、销售于一体的高新技术企业。公司拥有一批从事光电器件、计算机软件和通信技术研究的教授和年轻博士，配备齐全的研发、生产、检测设备。公司与国内外著名的科研院校建立了长期合作关系，致力于实现科技成果的产业化，分别在光通信接入产品、自动化线路板检测设备等方面获得多项认证，成果显著。公司拥有国家级高新技术企业、厦门市科技小巨人领军企业、厦门市创新型 企业、厦门市专精特新中小企业、双软企业等称号，拥有 30 多项专利和 20 多项软件著作权。在工业检测多年的发展沉淀过程中，以实现精准、快速、高效、智 能化的工业自动检测为宗旨，坚持“需求创新”与“技术创新”双轮驱动，为智能制造企业的不同生产线“量身定制”自动化工业检测机器人，不断拓宽产品应用领域，包括显示屏、光伏、汽车零部件、电路板、纺织机械、手机检测等，以自身的不懈努力，不断为中国智能制造的产业升级添砖加瓦。。