一种基于跟踪和自适应图像分割的金属增材制造监测方法

1.本发明属于增材制造图像识别跟踪领域，具体涉及一种基于跟踪和自适应图像分割的金属增材制造监测方法。


背景技术：

2.目前金属增材制造方式较多，可分为两类，间接成形与直接成形。等离子定向能量沉积激光熔化是增材制造直接成形的金属粉末快速成型技术的一种方式，其在高质量、复杂精密及个性化定制金属构件整体成形方面有着巨大的优势。而等离子定向能量沉积激光熔化其成形零件易出现球化、孔隙和未熔合等缺陷由成形具有工艺参数多样化和制造过程复杂化的特点导致，复杂的导热过程伴随着飞溅现象也会严重影响成形零件的质量从而对后续工艺产生不利影响。因此对各时刻金属增材制造指标如熔池形貌、溅射形貌、电弧形貌的监测尤为重要。
3.目前用深度可分离卷积搭建神经网络提取其深层特征与浅层特征来处理和监控各时刻金属增材制造指标如熔池形貌、溅射形貌、电弧形貌。而在高速摄像机拍照获取图片时，存在较多信息重合的图片，且其采集图片特性和检测指标本身较小，导致每张图片无效范围较大，对提取指标有很大干扰。同时为了满足处理速度较快，一种基于跟踪和自适应图像分割的金属增材制造监测方法可以较好满足其要求，对于金属增材制造的发展具有重要意义。


技术实现要素：

4.针对上述问题，本发明提供了一种基于跟踪和自适应图像分割的金属增材制造监测方法，利用图像粒子滤波和mean-shift算法两种算法对图像中跟踪对象进行跟踪，然后将图像粒子滤波跟踪算法中权值与mean-shift算法跟踪后每个粒子的phog特征进行比较，从而决定是否需要进行mean-shift算法重新跟踪，之后对粒子滤波坐标集中各粒子重采样；计算重采样后该定位时刻目标区域内，跟踪对象的坐标集；根据跟踪对象坐标集分割增材过程图像，删掉无用背景，从而为优化分割图像、提升产品质量，分割后的图像可以输入到神经网络模型中进行人工智能识别计算。
5.为了解决上述技术问题，本发明采用的技术方案如下：
6.一种基于跟踪和自适应图像分割的金属增材制造监测方法，其特征在于，包括以下步骤：
7.步骤1，图像采集：采用图像采集装置采集增材过程图像，所述增材过程图像包含若干需要跟踪的对象；
8.步骤2，图像预处理，对所有增材过程图像进行对比度等变换，并将所述增材过程图像的每个像素rgb进行随机扰动的椒盐、高斯噪声去除；
9.步骤3、对预处理后的图像进行间隔抽样，将抽样得到的增材过程图像组成图像样本集；
10.步骤4、按照时间顺序读取步骤3得到图像样本集中的增材过程图像，该图像时刻顺序记为k，选取一个跟踪对象，创建目标区域并做标记，所述目标区域为以跟踪对象为中心的矩形框；
11.步骤5、图像粒子滤波初始化，在目标区域随机生成用于粒子滤波的n个初始粒子；
12.步骤6、对目标区域进行粒子滤波跟踪，计算第k定位时刻粒子滤波的坐标集中各粒子坐标；
13.步骤7、根据步骤6中得到第k时刻的粒子坐标，计算粒子滤波的坐标集中各粒子权值；
14.步骤8、在执行步骤7的同时对步骤5中初始化后的目标区域进行mean-shift算法跟踪；
15.步骤9、在mean-shift算法跟踪后，提取目标区域的每个粒子的phog特征；
16.步骤10、将步骤7中获得的各定位时刻粒子滤波的坐标集中各粒子权值与步骤9中相应粒子的phog特征做对比，得到判断指标wm，公式如下；
[0017][0018]
上式中，表示第k定位时刻粒子滤波坐标集中第m个粒子的权值，p((xk,yk)m)为第k定位时刻第m个粒子的phog特征，m取值为1至n，k为定位时刻序数；
[0019]
步骤11、给判断指标wm设定阈值w0；如果该时刻增材过程图像中目标区域内，对于所有滤波粒子的判断指标wm都大于设定阈值w0，则执行步骤12；
[0020]
否则，返回步骤8，重新进行mean-shift算法跟踪并再次计算phog特征和判断；
[0021]
步骤12、第k定位时刻粒子滤波坐标集中各粒子重采样；
[0022]
步骤13、计算重采样后第k定位时刻目标区域内，跟踪对象的坐标集
[0023]
步骤14，根据跟踪对象坐标集分割增材过程图像，删掉无用背景。
[0024]
进一步地，对于金属增材制造监测过程中，所述跟踪的对象包括熔池、等离子电弧及溅射。
[0025]
进一步地，步骤3中，所述抽样的间隔为50-200张。
[0026]
进一步地，步骤5中，初始粒子的个数n取值为100-500。
[0027]
进一步地，步骤6中，粒子滤波跟踪过程中利用卡尔曼滤波算法，确定某定位时刻每个粒子的坐标；并将该定位时刻每个粒子的坐标组成该定位时刻粒子滤波的状态坐标集，某定位时刻每个粒子的坐标计算方式如下：
[0028][0029][0030]
其中，k表示时刻序数，和是第m个粒子第k生成时刻的横、纵坐标；和是第m个粒子第k-1生成时刻的横、纵坐标，k＝1时，和表示第m个粒子初始时刻的横、纵坐标表示；wk是第k时刻增材过程图像的拟扰动椒盐、高斯噪声，f为卡尔曼滤波算法特征函数。
[0031]
进一步地，步骤7中，第k定位时刻粒子滤波的状态坐标集中各粒子权值计算公式
如下：
[0032][0033]
其中，表示第k个定位时刻粒子滤波坐标集中第m个粒子的权值。
[0034]
进一步地，步骤8中，mean-shift算法跟踪过程中，增材过程图像目标区域内滤波粒子更新公式如下：
[0035][0036][0037]
和是mean-shift算法跟踪过程中第k生成时刻第m粒子的横、纵坐标，和是mean-shift算法跟踪过程中第k-1生成时刻第m粒子的横、纵坐标，和是表示步骤4中所述目标区域的矩形框的矩形中心坐标，写作向量形式为(xc,yc)m，g为mean-shift算法核函数。
[0038]
进一步地，步骤14中，分割增材过程图像的具体方法如下：
[0039]
分别取跟踪对象坐标集中横纵坐标的最小值和最大值，记为将横纵坐标的最小值分别减去切割余量v0后记为将横纵坐标的最大值分别加上切割余量v0后记为将新坐标组成四个极值点，分别为将新坐标组成四个极值点，分别为以四个极值点构建矩形框切割增材过程图像，保留包含跟踪对象的目标区域。
[0040]
本发明与现有技术相比，具有以下优点：
[0041]
1)图像预处理操作通进行对比度等变换，去除椒盐、高斯噪声，每隔一定次数取一次图像样本减小图像的内存占用，避免存在较多信息重合图片，提高了图像的使用价值。
[0042]
2)在mean-shift跟踪算法框架内，运用结合粒子滤波法与phog特征检测提取技术，可以根据阈值自适应选择新一轮mean-shift跟踪算法具有快速性、独特性、高度稳定性及高精度性的特点，在后期跟踪金属增材制造过程中熔池、等离子电弧及溅射的图像定位上可以取得较好效果。
[0043]
根据图片中心及范围微小差别自适应性对图片尺寸做处理，增大金属增材制造过程中用深度可分离卷积搭建神经网络提取其深层特征与浅层特征的速度，使整体精度和效率更高。
附图说明
[0044]
图1为本发明基于跟踪和自适应图像分割的金属增材制造监测方法实现流程图。
[0045]
图2为本发明实现基于跟踪和自适应图像分割的金属增材制造监测方法工作原理图。
具体实施方式
[0046]
下面结合附图和具体实施例，对本发明作进一步详细描述。
[0047]
为了更清楚表达本发明技术，首先对本发明监测的增材制造技术进行间接，金属增材制造过程监测图像采集装置的等离子加工头设置在实验平台边缘，发出作为热源的等离子弧，通过粉末颗粒的连续局部熔化形成金属熔滴和随后的固化形成待制造的部件层。随后，将另外的粉末层施加到已处理的粉末层，并且该过程再次开始。因此，该部件进一步构造有每个新粉末层，构造方向布置成垂直于粉末层的相应平面，实现零件的成形；高速摄像机设置在金属增材制造过程实验平台正上方，与计算机相连接；在金属增材制造过程实验平台底部设置808纳米的激光器，发出光源照亮背景，最后把金属增材制造过程捕捉到捕捉清晰的等离子弧的形态特征上传至图像处理系统。
[0048]
对金属增材制造过程高速相机所拍摄的等离子弧、熔池及溅射图像进行预处理采集的图像并抽样，
[0049]
本发明设计的基于跟踪和自适应图像分割的金属增材制造监测方法，包括以下步骤：
[0050]
步骤1，图像采集：采用图像采集装置采集增材过程图像，所述增材过程图像包含若干需要跟踪的对象；通过改变等离子加工头的扫描速度和电流能获得不同的图像，本实施例中，等离子加工头的扫描速度为5mm/s，电流大小分别为25a。原始增材过程图像的像素格式为8-bit，尺寸为450
×
512像素。
[0051]
步骤2，图像预处理，对所有增材过程图像进行对比度等变换，并将所述增材过程图像的每个像素rgb进行随机扰动的椒盐、高斯噪声去除；
[0052]
具体的，将采集的图片进行对比度等变换，针对8位灰度图把图上的每个像素的值都作一个线性变换；使用高斯、椒盐滤波器移动相关核的中心元素，使它位于等离子弧、熔池及溅射的输入图像待处理像素的正上方，再将输入图像的像素值作为权重，取滤波器窗口内的像素的均值作为输出从而去除大部分的高斯、椒盐噪声。
[0053]
步骤3、对预处理后的图像进行间隔抽样，将抽样得到的增材过程图像组成图像样本集；所述抽样的间隔为50-200张，本实施例中每隔100张取一次图像样本组成图像样本集，用于后续跟踪计算。
[0054]
步骤4、按照时间顺序读取步骤3得到图像样本集中的增材过程图像，，该图像时刻顺序记为k选取一个跟踪对象(比如熔池)，创建目标区域并做标记，所述目标区域为以跟踪对象(熔池)为中心的矩形框；
[0055]
步骤5、图像粒子滤波初始化，在目标区域随机生成用于粒子滤波的n个初始粒子，n≥100，本实施例中n取200；
[0056]
步骤6、对目标区域进行粒子滤波跟踪，计算第k定位时刻粒子滤波的坐标集中各粒子坐标；
[0057]
本发明利用卡尔曼滤波算法确定某定位时刻每个粒子的坐标；并将该定位时刻每个粒子的坐标组成该定位时刻粒子滤波的状态坐标集，某定位时刻每个粒子的坐标计算方式如下：
[0058][0059][0060]
其中，k表示时刻序数，和是第m个粒子第k生成时刻的横、纵坐标，写作向量形式为(xk,yk)m；和是第m个粒子第k-1生成时刻的横、纵坐标，k＝1时，和表示第m个粒子初始时刻的横、纵坐标表示；wk是第k时刻增材过程图像的拟扰动椒盐、高斯噪声，f为卡尔曼滤波算法特征函数；
[0061]
步骤7、根据步骤6中得到第k时刻的粒子坐标，计算粒子滤波的坐标集中各粒子权值，计算公式如下：
[0062][0063]
其中，表示第k个定位时刻粒子滤波坐标集中第m个粒子的权值，k＝0时，表示初始时刻每个粒子的权值。
[0064]
步骤8、在执行步骤6的同时对步骤5中初始化后的目标区域进行mean-shift算法跟踪；增材过程图像目标区域内滤波粒子更新公式如下：
[0065][0066][0067]
和是mean-shift算法跟踪过程中第k生成时刻第m粒子的横、纵坐标，写成向量形式为(x
′k,y
′k)m；和是mean-shift算法跟踪过程中第k-1生成时刻第m粒子的横、纵坐标，和是表示步骤4中所述目标区域的矩形框的矩形中心坐标，写作向量形式为(xc,yc)m，g为mean-shift算法核函数。
[0068][0069]
上述公式中，n()为函数，
[0070]
x表示自变量；xs，xr分别为坐标点(x
′k,y
′k)m像素的位置特征、颜色特征；ms，mr分别是坐标点(x
′k,y
′k)m粒子的位置、颜色带宽，e是自然底数，c为归一化常数；
[0071]
步骤9、在mean-shift算法跟踪后，提取目标区域的每个粒子的phog特征；
[0072]
步骤10、将步骤6中获得的各定位时刻粒子滤波的坐标集中各粒子权值与步骤9中相应粒子的phog特征做对比，得到判断指标wm，公式如下；
[0073][0074]
上式中，表示第k定位时刻粒子滤波坐标集中第m个粒子的权值，p((xk,yk)m)为第k定位时刻第m个粒子的phog特征，m取值为1至n，k为定位时刻序数；
[0075]
步骤11、给判断指标wm设定阈值w0；如果该时刻增材过程图像中目标区域内，对于所有滤波粒子的判断指标wm都大于设定阈值w0，则执行步骤12；
[0076]
否则，返回步骤8，重新进行mean-shift算法跟踪并再次计算phog特征和判断；
[0077]
阈值w0一般取0.5-0.85，本实施例中，阈值w0取0.7。
[0078]
步骤12、第k定位时刻粒子滤波坐标集中各粒子重采样；
[0079]
步骤13、计算重采样后第k定位时刻目标区域内，跟踪对象的坐标集
[0080]
步骤14，根据跟踪对象坐标集分割增材过程图像，删掉无用背景。
[0081]
分割增材过程图像的具体方法如下：
[0082]
分别取跟踪对象坐标集中横纵坐标的最小值和最大值，记为将横纵坐标的最小值分别减去切割余量v0后记为将横纵坐标的最大值分别加上切割余量v0后记为将新坐标组成四个极值点，分别为将新坐标组成四个极值点，分别为以四个极值点构建矩形框切割增材过程图像，保留包含跟踪对象的目标区域。
[0083]
将分割好的的图像导入深度可分离卷积搭建神经网络中，深度卷积网络中使用深度卷积网络(dcnn)作为骨干网络并辅以卷积神经网络(cnn)，设计采用多比例的带孔卷积级联或并行来捕获特征，并采用预训练的残差网络来提取金属增材制造过程中熔池、等离子电弧及溅射的图像特征，将得到的深层特征图与浅层特征图上采样到原始的图像尺寸，最后较完整分别得到其熔池、溅射及电弧形貌等金属增材制造的检测指标。
[0084]
需要说明的是，本发明步骤12中重采样采用现有技术中的最近邻插值法重采样，根据目标图像的宽(高)与源图像的宽(高)比值，取源图像相对位置的像素点作为目标像素点的值。新的像素值一定是原图的某个像素值。
[0085]
需要说明的是跟踪对象包括熔池、等离子电弧及溅射等等，每次跟踪一个对象，也可以每次跟踪多个对象，但是最后分割后得到单独每个跟踪对象的切割图像，输入到神经网络中进行计算。
[0086]
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。