利用CNN进行激光焊接连续变截面板的穿透状态的在线监测

江苏激光联盟导读：来自湖南大学的研究人员为大家展示了一个单视觉为基础的激光焊接监测平台来进行目标的激光监测；将焊接图像分成两大类型、三大类型和四大类型；利用CNN对图像的特征进行了截取。利用该方法进行焊接穿透状态的截取，其精度达到94.6%。并采用不同的焊接参数对提出的监控系统进行了验证。


图1采用CNN（卷积神经网络）进行焊接特征的提取

摘要：研究人员采用一种创新的监控系统来诊断焊接过程中的穿透状态。这一监控包括两个模板，一个时同轴的视觉监控平台；一个时焊接穿透状态的诊断单位。这一平台通过一个部分传统的镜子和高速相机，可以捕获在激光焊接时的相互作用区的同轴照片。图像数据代表四种焊接状态的图像数据在创建后用来进行训练和验证。该单元包括植入的高性能TX2计算系统和基于CNN（卷积神经网络）的图像处理算法。实验结果证明该平台可以稳定的捕获焊接状态的图像。用于诊断焊接穿透深度的CNN利用网络结构和超参数进行优化，应用一个超级的高斯功能来初始化卷积层的重量。在实际连续变截面板的激光焊接时，采用本文所提出的方法，其穿透状态的诊断精度可以达到94.6%，即使是工艺条件发生极大的改变也是如此。验证实验和真实的激光焊接结果的相似性证明，提出的监控系统具有很强的鲁棒性。CNN的精度和召回比例显著高于现有的其他方法。


图2本案中的TRB板的示意图

1引言

如何使小汽车获得轻质，对新能源汽车来说面临着巨大的挑战。有三个办法可以实现降低车身重量的目标，即：（1）采用铝合金、镁合金和碳纤维增强材料；（2）对车身部件进行拓扑优化；（3）应用异形结构板。其中异形结构板可以分为拼焊板（TWB）和连续变截面板（TRB）两大类。然而，TRB板在车身中的应用时，在成型和焊接过程中面临着诸多的挑战。激光焊接技术在有效地解决TRB的焊接方面是一种非常有前景的连接技术。这是因为激光焊接具有高效、环境优化、灵活性好和焊接质量好的优点。激光焊接TRB板的关键技术在于焊接过程中板厚会发生变化。控制好热输入以获得适宜的焊接深度并确保焊接质量是非常关键的。因此，激光焊接TRB板的在线监测在热输入调节方面至关重要。


图3激光焊接在线监测的示意图

激光焊接是利用高能激光束来加热材料到一定温度，然后熔化和再凝固的一个动态过程。在焊接过程中声音信号、光信号等可以反映激光焊接质量好坏的信号就会同时生成。因此，先进的探测技术广泛的应用收集到的激光焊接过程中的多个信号并用来进行质量的评估。视觉传感器，具有非接触和硬件简单的特点，正成为激光焊接工艺中较为流行的监控手段。考虑收集到的信息的质量、传感器的位置、工业应用等诸多因素，视觉传感器监测要比声音监测、光电二极管、高光谱和Ｘ射线影像要更适合一些。焊接熔池的形态特征可以利用影像处理算法进行提取。然而，满足激光焊接的环境是非常复杂的。不同传感器获取的数字信号均需要不同的特殊办法或过滤掉其中的干涉部分。因此，同激光焊接质量相关的关键特征要提取出来。获得高质量的二进制图像是激光焊接熔池和匙孔中提取特定区域的关键步骤。

作者曾经应用一个传统的图像处理算法，利用这一算法可以提取焊缝、匙孔和穿透孔效率的关键特征，见图１ａ所示来提取焊接过程中的特征参数。然而，二进制的工艺算法容易受到照明条件变化的影像，从而导致稳定的提取匙孔和穿透孔的边界存在困难，见图１ｂｃ所示。因此，这个时候需要手动调节每一状态的门槛值。目前采用多个工业级别的探测器可以促进监控系统获得较好的鲁棒性。因此，分析不同特征下的关联性就显得至关重要了。采用两个高速相机来捕获匙孔区域和等离子体羽状物中心高度，紧接着，主导的同频率相关的分析用来确定激光焊接的穿透状态，这可以提高焊接穿透深度预测的精度。而且，低成本的多探测器还可以获得好的监测结果。结合数据融合和机器学习，焊接缺陷可以的精准的预测。将视觉传感和机器学习结合在一起开始成为激光焊接在线监测的新趋势。


图4熔池的不同焊接状态：将焊接状态分为（a）2大类和（b）三大类的分类方法

近年来，在大数据驱动下的深度学习和先进的计算机的发展，其能力远超人力的计算。其中CNN（卷积神经网络）技术同传统的技术相比，在自然环境条件下，对影像为基础的分类具有显著低的错误率。CNN技术在关键特征的提取能力以及同传统的机器视觉算法相比，在产品缺陷分类、裂纹探测和产品缺陷探测等方面具有无与伦比的的优势。在不同的照片条件下，CNN在提取裂纹方面也比传统方法要优越。同现有技术相比，CNN在识别穿透状态方面为大家提供了一个新颖的解决办法。


图5对焊接过程中感兴趣的区域进行剪裁

来湖南大学的研究人为大家展示了一种激光焊接连续变截面板的在线监控系统，包括焊接监控平台和穿透状态诊断平台，用来诊断在激光焊接TRB时的穿透状态。一个同轴的视觉监控平台用来收集激光焊接过程中的高质量图片。基于CNN的图片处理，可以用来实时高精度的诊断焊接时的穿透状态。这一技术的贡献有三个方面：（１）采用创新性的激光焊接监控平台采集高质量的焊接图片；（２）以CNN为基础的图像处理算法，包括图片的剪辑算法和CNN模型的优化，可以搞精度的对焊接状态进行诊断；（３）以CNN为基础的图像处理算法植入到计算机系统中可以满足实时监控的需要。对四种状态下的实验进行了验证，以验证该监控系统在激光焊接过程中在线监测焊接穿透深度的有效性和鲁棒性。


图6穿透状态诊断单元的流程图

2激光焊接监控平台简介

实验用到的TRB板的厚度为1.2~2.0mm，尺寸大小为标准的240mmX240mm。图2为TRB的示意图，左下角为该板的外形示意图，图3所示为采用夹具对TRB板进行固定和整个系统的示意图。夹具可以保证焊接时的表面是平整的，离焦量是变化的。激光器为波长1070nm的光纤激光器，功率上限为4kW。采用高速相机进行图像采集。采用波长为808nm，功率为30W的半导体激光对熔池进行照射，以增强图片的亮度。


图7诊断结果的拟合

3数据的描述

焊接过程中，使用数字1-4代表不同的焊接状态，分别代表部分穿透（PP）、中等程度的穿透（MP）、完全穿透（FP）和过渡穿透（EP）。如图4所示。为了便于分析研究，我们将以上四种状态合并成为两大类和三大类，如图4所示。在两大类的分类方法中，一类是部分穿透（PP），另外一类是完全穿透（EP），这包括MP、FP和EP。而在三大类的分类方案中，穿透状态为PP，而中等穿透状态（MFP）则包括MP、FP和EP状态。


图8在不同激光功率条件下的测试结果

tips：


图9CNN（卷积网络神经）的基本原理图（最左侧的图片为输入的交通信号）

文章来源：

Real-timepenetrationstatemonitoringusingconvolutionalneuralnetworkforlaserweldingoftailorrolledblanks，JournalofManufacturingSystems，Volume54,January2020,Pages348-360。

参考资料：developer.nvidia.com