FPC盘片智能选取与自动投放应用研究

陈烨 ,李飞　王松林 ,郑江

江华贵得科技有限公司，湖南 永州 425199

摘　要：机器视觉已普遍应用于机械制造各行各业,如利用机械视觉技术识别物体的物理特征、生物特征、光学特征等。本文基于深度学习DarkNet-53，围绕机器视觉的机械手自动抓取与定位控制技术展开研究，实现机械臂的自动选取与投放，进而解决FPC盘片智能选取与投放相关问题。

关键词：柔性线路板；机器视觉；智能选取

中图分类号：TN141.9

在电子元器件产业中，柔性线路板（简称：FPC）占有重要地位。一般地，FPC采用柔性的绝缘基材制成，这种柔性的绝缘基材制成的印刷电路具有许多硬性硬刷电路所不具备的优点，如易弯曲、卷绕和折叠[1-3]。但由于FPC具有这些特点，在加工过程中也更容易受静电和空气等因素的影响，产生弯曲、卷绕或缺陷，目前这些工序检查过程均依靠人工解决，行业的自动化水平整体偏低。针对这一问题，本文结合机器视觉技术、机械臂抓取投放技术等方面就FPC行业应用展开研究。

1 机器视觉在柔性板行业的应用

1.1印刷

在印刷方面，采用基于机器视觉技术的自动校正平台，通过多个相机识别柔性板上的参照点，控制多轴电机移动印刷平台，使得多层材料之间充分对齐，相对于传统手工印刷精度能显著提高印刷效率4-8倍[4-5]。

1.2冲孔

为便于后续贴膜对齐等工艺操作，柔性板冲孔是必须环节。传统冲孔须人工完成。通过机器视觉，采用专业冲孔机，通过多相机精准定位，并通过电机控制，实现并行进料，并行检测、多料平移矫正及冲压。一般地，平均每3-4秒可冲一张柔性板，系统效率较以往提升3-5倍，可完全取代人工冲孔。

1.3贴片

贴片机是电子制造中常用的设备之一，其机械硬件和软件设计异常复杂，内部运用了大量的自动视觉检测技术[6-7]。贴片机一般包含点胶和贴片两个过程。点胶主要通过机器视觉设备检测基点位置，并以此为参照定位点胶位置，通过针孔点胶，包括导电胶和粘胶。贴片则是在点胶处贴上LED灯，包括单灯和双灯。

1.4测量

在线路板加工过程中，诸多环节需要严格检测，限于人工成本，部分环节仅进行抽查。在柔性板加工后期，必须进行接口的通电测试，关系到线路板内部电路是否完好无损。目前部分企业采用了键盘接口检测设备，利用自动化设备对材料进行接口固定、检测、平移，然后是压料，通电测试，依据测试结果判断线路是否工作正常。由于键盘接口的线宽较窄，在视觉校正平移过程中，往往需多次的校正平移[8-9]。

1.5缺陷检测

由于企业关注的特性标准不同，缺陷检测的具体目标较多，如常见的断线检测、短路检测、线路过细或吸嘴检测等。此类检测一般区域较大，且需逐个检测，系统平台往往采用多相机采集检测。如果前期缺陷没充分检测，可能导致整片柔性板报废，原料成本损失很高。

2视觉机械臂的识别与抓取

2.1 系统总体组成与工作原理

基于深度学习的视觉机械臂目标识别与抓取系统主要包括机器视觉单元、机械臂控制单元、计算机控制单元等[10-12]。机器视觉单元通过控制摄像机传感器采集目标图像，机械臂控制单元通过伺服驱动器控制各关节转动，计算机控制单元进行图像检测、位置标定等。系统总体组成与工作原理如图1所示。

图1 视觉机械臂系统组成

为了实现物体的抓取，目标物体在机械臂坐标系中的位姿要被最先确定。通过相机直接获取包含物体的图像，物体在像素坐标系下的坐标利用图像识别的检测算法得到。通过标定，将物体的位姿从像素坐标系变换到机械臂坐标系下。视觉系统的标定包括了相机标定以及手眼标定，通过相机标定建立像素坐标系到相机坐标系的变换关系。在完成坐标转换的基础上，为使机械臂完成物体抓取，需要给定机械臂的各关节坐标。物体在机械臂坐标系下的位姿通过标定得到，根据被抓物体的形状和机械臂末端执行器的结构，坐标变换得到抓取物体所要求的机械臂末端执行器的位姿。再根据机械臂运动学模型，通过计算运动学逆解获得对应的机械臂关节角度，驱动机械臂各关节从而到达指定的坐标。

2.2目标分类预测与识别

找出图像中的待操作物体是目标分类预测的关键任务，与此同时检测其尺寸和位姿，是目前机器视觉领域的核心问题之一。本文研究中，使用预训练好的YOLOv3目标分类算法进行目标的识别分类。为了工作效率的提高，使用MSCOCO数据集与Image Net数据集进行两次训练，提升训练速度并保证训练准确。使用 MSCOCO数据集进行快速训练，由于该数据集没有Image Net数据集中的物体种类全面，倘若无法检测出物体，再使用Image Net做进一步的训练。

YOLOv3采用单独的CNN模型实现端到端的目标检测，可有效解决R- CNN系列算法采用滑动窗口进行目标检测所带来的耗时过长问题。原始输入图像被分割成若干个互不重合的单元格。目标物体中心点所在的单元格用来对该目标物体进行识别预测，每个单元格会给出多个边界框以及边界框的置信度。预测框与实际框的IOU（交并比）用于表征目标物体属于各个类别的概率。

YOLOv3采用DarkNet-53及分类器，保证了准确率和速度，且采用类似FPN的上采样和融合做法，小目标物体的检测效果可以被显著提高。YOLOv3的网络结构图如图2所示。由图中可以看出，特定尺寸大小的输入图片进入DarkNet-53网络以后得到了３个分支，这些分支在经过一系列的卷积、采样以及合并等一系列操作后最终得到了３个不同尺寸的 feature map，即y1/y2、y3，其中，y1用于预测大尺寸物体，y2用于预测中等尺寸物体，y3用于预测小尺寸的物体。

图2 YOLOv3的网络结构

图中DBL是YOLOv3的基本组件，由卷积层、BN以及leaky rule共同构成；YOLOv3采用Res Net的残差结构，网络结构的深度可以由此被提升，RESN表示res－block里有多少个res－unit，是YOLOv3的大组件;concat表示张量拼接，把DarkNet中间层和后面的某一层的上采样进行拼接是其目的。大、中、小物体的识别预测可以通过以上网络结构实现。

2.3目标位姿检测及抓取区域分析

目标物体的抓取位姿预测是通过回归模型实现的，将原始RGB图像送入网络后直接回归得到抓取位姿。回归任务的评价指标通常为预测值与真实值之间的差别。本文利用 YOLOv3的骨架DarkNet-53进行抓取坐标的回归。将 Cornell Grasp Dataset用于网络的训练，是为了微调原网络权重，进而适应抓取检测的应用。 然后将训练集中4个坐标点转成五参数表示法，在对物体执行抓取时二指平行抓手的位置和方向被五参数表示法给出。

可利用训练数据集中给出的正例抓取框的４个顶点坐标计算得到五参法表示结果（X0,Y0,H0,W0,θ０），设这４个顶点坐标分别为（x1,y1）、（x2,y2）、（x3,y3）、（x4,y4），如图所示。

X0,Y0,H0,W0,θ０的计算式为：

（1）

式（1）中：（X0,Y0）是与抓取矩形的中心对应的坐标；H0是二指平行抓手最大高度；W0是二指平行抓手的手指宽度；θ０是抓取矩形相对于水平轴的角度。由式中可知，为了计算角度 θ０,抓取矩形应避免出现Ｗ０绝对竖直的情况（此时正切值无穷大），研究过程中计算值和预测值被进行了限幅，将角度值限制在-85°～85°之间。模型假设每个图像都包含一个可抓取的目标物体，且只需要预测最佳抓取位姿 （ｘ，ｙ，ｈ，ｗ，θ）。

经过计算得到的五维坐标，相当于每张图片的标签，这些信息被转换为tf-record格式，即可输入网络中进行训练，如图3所示。在经过DarkNet-53特征提取之后，进行平局池化，形成全连接层，dropout被用来防止过拟合，最后输出抓取位姿的真实坐标值。

图3 五维坐标转换

在研究过程中，使用均方差（MSE）作为损失函数，随机梯度下降法（SGD）被作为优化器。损失函数的定义为

（2）

式（2）中：（x,y,h,w,θ）为预测值；（X0，Y0，H0，W0，θ0）为真实值；λ为角度加权值，设为10；Ｎ为batch（批量）大小。

对于单物体单抓取，训练时模型只选择其中一个 Ground Truth（真值框）进行学习。因为每次的选择都会变化，故不会出现过拟合。最后，将预测得到的五维坐标转为抓取预测框的４个顶点即可。具体训练过程分为以下３个阶段：

第一阶段：预训练，只训练一个epoch，10x10-4为初始学习率，通过预训练可以在一定程度上解决深度网络中梯度扩散问题和随着网络加深出现的多特征问题，并且比较好的局部最优解最终被得到。

第二阶段：训练20个epoch，在这一阶段做迁移学习，在基础数据集和任务上训练一个基础网络，然再转移到第二个目标网络，并在目标数据集和任务上接受训练，提高训练的速度以及改善深度学习模型的性能，并只训练相关层。

第三阶段：训练30个epoch，开放所有层，抓取数据集做微调。这一阶段是将预训练过的模型作用于自己的数据集，并使参数适应数据集。

3结语

国内的机器视觉技术经过二十多年的快速发展，逐渐成为应用诸多领域的综合性技术。机器视觉检测方法具有非接触、无损伤、测量精确，适合检测非规则物体等优势，是未来中国制造继续深化的关键因素之一 。随着机器视觉技术的逐渐成熟和国内自动化设备制造业的技术不断提升，由初期的低端转向高端制造业，这是未来制造业发展的重要趋势，从而实现中国制造变成中国智造。本文将机器视觉与机械臂自动定位抓取等技术进行有机结合，并应用到FPC盘片的抓取与检测中，通过深度自学习，进而使得技术不断得以完善，相关研究成果对于解决显示行业所面临的工序检测等方面的问题具有十分重要的作用。

参考文献

[1]龙绪明,王李,李鹏程,黄昊.先进电子制造技术的发展[J].电子工业专用设备,2009(5):1-10.

[2]冯培聪,陈安,胡跃明.FPC自动安装设备嵌入式视觉系统设计[J].制造业自动化,2010(10):38-4060.

[3]徐丽.基于虚拟仪器的柔性线路板电镀生产线电流监控系统的研究与实现[J].苏州大学学报：工科版,2005,25(6):44-4659.

[4]黄杰贤,李迪,叶峰,张舞杰.挠性印制电路板焊盘表面缺陷的检测[J].光学精密工程,2010,18(11):2443-2453.

[5]谢宏威,张宪民,邝泳聪,欧阳高飞.印刷电路板焊点的智能检测[J].光学精密工程,2011,19(9):2154-2162.

[6]罗露,胡跃明,陈安.基于DSP的柔性电路板视觉检测系统[J].仪表技术与传感器,2010(12):62-65.

[7]王勇,陈荟西.基于机器视觉与单片机结合的机械臂抓取系统[J].自动化技术与应用,2021,40(1):78-84.

[8]杨学文,王楠.视觉驱动机械臂自主作业技术综述[J].南京信息工程大学学报：自然科学版,2021,13(3):281-290.

[9]温剑锋.基于人工智能的视觉目标定位系统设计[J].现代计算机,2020(35):65-69.

[10]房国栋,高军伟,朱晨曦,孔德帅.基于机器视觉的机械臂智能分拣系统[J].仪表技术与传感器,2020(12):72-7681.

[11]廖秉旺,林文煜.基于Halcon的工件视觉分拣系统[J].现代信息科技,2021,5(1):156-158.

[12]祁若龙,张珂,赵吉宾,邵健铎.基于高斯模型和视觉测量的机械臂在线自标定方法研究[J].机械工程学报,2021,57(5):63-71.

基金项目：湖南省液晶显示模组工程技术研究中心（2019TP2064）。

作者简介：陈烨（1973－），男，湖北荆州人，本科，高级工程师，主要研究方向为品质管理和企业运营。