基于人工智能的发酵罐加工工序检测方法及系统与流程

1.本发明涉及缺陷检测技术领域，具体涉及一种基于人工智能的发酵罐加工工序检测方法及系统。


背景技术：

2.发酵罐为工业上用来进行微生物发酵的装置，其主体一般为不锈钢板制成的柱式圆筒。在发酵罐生产过程中，应保证发酵罐内壁光滑完整，防止细菌积累滋生。因此在发酵罐生产加工工序中应对发酵罐内壁的缺陷进行针对性检测。
3.在现有的缺陷检测过程中，可利用计算机视觉提取发酵罐内壁图像中的缺陷特征，根据缺陷特征判断是否存在缺陷及缺陷类型。为了实现快速且智能的缺陷检测，可利用神经网络处理发酵罐内壁图像，输出缺陷类别。
4.神经网络的训练过程需要采集大量的包含缺陷的内壁图像作为训练数据，发酵罐内部较暗，因此在采集内壁图像时需要设置光源，因为发酵罐为不锈钢金属打造，在图像采集过程中光源会受到金属内壁的反光影响，导致采集到的内壁图像存在过曝或过暗现象，导致内壁图像中的特征信息缺失，影响神经网络的训练结果。


技术实现要素：

5.为了解决上述技术问题，本发明的目的在于提供一种基于人工智能的发酵罐加工工序检测方法及系统，所采用的技术方案具体如下：本发明提出了一种基于人工智能的发酵罐加工工序检测方法，所述方法包括：利用带有可见光光源的光学图像采集设备获得发酵罐内壁的目标缺陷图像；改变光学图像采集设备的视角，获得所述目标缺陷图像对应的多个视角图像；对所述目标图像和每个视角图像进行角点匹配，获得初始匹配结果；根据所述目标缺陷图像中每个像素点与所述初始匹配结果对应的所述视角图像中像素点在预设第一邻域范围内纹理数量信息的差异获得纹理信息保留度；根据所述目标缺陷图像中每个像素点的所述第一邻域范围内的对比度熵和所述纹理信息保留度获得所述目标缺陷图像中每个像素点的光照影响程度；根据预设选取数量选取所述光照影响程度最小的多个像素点作为光照修正点；获得每个图像的所述光照修正点的预设第二邻域范围内的纹理分布信息；根据所述目标缺陷图像中所述光照修正点与所述初始匹配结果对应的每个所述视角图像中的所述光照修正点的预设第三邻域范围内每个像素点的纹理分布信息相似性选取最佳光照修正点匹配对，获得最佳匹配结果；以每个像素点的所述光照影响程度的倒数作为第一融合权重，根据所述第一融合权重和所述最佳匹配结果对每个所述视角图像与所述目标缺陷图像进行加权融合，获得多个初始融合图像；根据所述最佳光照修正点匹配对内的坐标偏移距离获得每个所述初始融合图像的第二融合权重；根据所述第二融合权重将所有所述初始融合图像进行加权融合，
获得融合图像；获得多个所述融合图像，构成训练数据集；根据所述训练数据集训练缺陷识别神经网络；根据所述缺陷识别神经网络识别待检测发酵罐的缺陷。
6.进一步地，获得像素点在预设第一邻域范围内所述纹理数量信息包括：对每个像素点的所述第一邻域范围进行边缘检测，获得纹理边缘像素点；以所述纹理边缘像素点的数量作为所述纹理数量信息。
7.进一步地，所述根据所述目标缺陷图像中每个像素点与所述初始匹配结果对应的所述视角图像中像素点在预设第一邻域范围内纹理数量信息的差异获得纹理信息保留度包括：获得所述目标缺陷图像中每个像素点对应的所有所述初始匹配结果中的像素点的所述纹理数量信息；以所述目标缺陷图像中每个像素点的所述纹理数量信息和对应的平均纹理数量信息的比值作为所述纹理信息保留度。
8.进一步地，所述根据所述目标缺陷图像中每个像素点的所述第一邻域范围内的对比度熵和所述纹理信息保留度获得所述目标缺陷图像中每个像素点的光照影响程度包括：以所述纹理信息保留度和所述对比度熵乘积的倒数作为所述光照影响程度。
9.进一步地，所述获得每个所述光照修正点的预设第二邻域范围内的纹理分布信息包括：获得所述光照修正点的所述第二邻域范围内的纹理边缘；获得所述纹理边缘上每个所述纹理边缘像素点的曲率；统计所述曲率，构建曲率直方图；根据所述曲率直方图获得曲率分布序列；以所述曲率分布序列作为所述纹理分布信息。
10.进一步地，所述根据所述目标缺陷图像中所述光照修正点与所述初始匹配结果对应的每个所述视角图像中的所述光照修正点的预设第三邻域范围内每个像素点的纹理分布信息相似性选取最佳光照修正点匹配对包括：以所述纹理分布信息之间的余弦相似度作为所述纹理分布信息相似性；所述目标缺陷图像中所述光照修正点与对应的所述第三邻域范围内所述纹理分布信息相似性最大的像素点构成所述最佳光照修正点匹配对。
11.进一步地，所述获得最佳匹配结果包括：以所述角点匹配过程中的匹配角点和所述最佳光照修正点匹配对作为匹配特征点对；根据所述匹配特征点对构建单应性矩阵，获得所述最佳匹配结果。
12.进一步地，所述根据所述最佳光照修正点匹配对内的坐标偏移距离获得每个所述初始融合图像的第二融合权重包括：将所述最佳光照修正点匹配对中的两个所述光照修正点根据所述最佳匹配结果转换至同一坐标系下；获得所述坐标系内所述最佳光照修正点匹配对内两个所述光照修正点之间的欧式距离；以所述初始融合图像对应的所有所述最佳光照修正点匹配对的平均欧式距离的倒数作为所述第二融合权重。
13.本发明还提出了一种基于人工智能的发酵罐加工工序检测系统，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所
述计算机程序时实现所述一种基于人工智能的发酵罐加工工序检测方法的步骤。
14.本发明具有如下有益效果：本发明实施例采集目标缺陷图像的多个视角下的视角图像。通过角点匹配获得初始匹配结果。根据初始匹配结果获得目标缺陷图像中每个像素点的光照影响程度，进而选取光照修正点。根据光照修正点与对应的初始匹配结果的光照修正点的纹理分布信息获得最佳光照修正点匹配对，获得最佳匹配结果。最佳匹配结果结合了角点信息和光照影响信息，使匹配结果更加准确。根据最佳匹配结果将每个视角图像与目标缺陷图像加权融合，获得初始融合图像，进一步将初始融合图像融合，获得融合图像。通过两次加权融合消除了光照对缺陷信息的影响，根据融合图像训练神经网络，提高了神经网络的准确性，提高了发酵罐内壁缺陷检测效率。
附图说明
15.为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
16.图1为本发明一个实施例所提供的一种基于人工智能的发酵罐加工工序检测方法流程图。
具体实施方式
17.为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种基于人工智能的发酵罐加工工序检测方法及系统，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。
18.除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
19.下面结合附图具体的说明本发明所提供的一种基于人工智能的发酵罐加工工序检测方法及系统的具体方案。
20.请参阅图1，其示出了本发明一个实施例提供的一种基于人工智能的发酵罐加工工序检测方法流程图，该方法包括：步骤s1：利用带有可见光光源的光学图像采集设备获得发酵罐内壁的目标缺陷图像；改变光学图像采集设备的视角，获得目标缺陷图像对应的多个视角图像。
21.为了采集神经网络的训练图像，需要对发酵罐内壁产生缺陷的区域进行图像采集，利用包含缺陷信息的内壁图像作为后续神经网络的训练数据。即目标缺陷图像中包含大量的缺陷信息，含有少量或者不含有正常内壁信息。
22.在本发明实施例中，利用带有可见光光源的工业相机采集发酵罐内壁发生缺陷的目标缺陷图像。可利用机械臂搭载工业相机，通过机械臂在发酵罐内的旋转实现改变图像采集视角，获得目标缺陷位置周围的多个其他视角的视角图像。以目标缺陷位置周围16个
角度下的视角图像作为后续融合过程中所需图像。
23.步骤s2：对目标图像和每个视角图像进行角点匹配，获得初始匹配结果；根据目标缺陷图像中每个像素点与初始匹配结果对应的视角图像中像素点在预设第一邻域范围内纹理数量信息的差异获得纹理信息保留度；根据目标缺陷图像中每个像素点的第一邻域范围内的对比度熵和纹理信息保留度获得目标缺陷图像中每个像素点的光照影响程度。
24.因为视角图像为目标图像相邻视角的图像，因此视角图像中也包含重复的缺陷信息，因此可通过角点匹配进行初始匹配过程，获得初始匹配结果。
25.需要说明的是，角点匹配为本领域技术人员熟知的现有技术，在此不做赘述。通过角点匹配可获得目标图像与每个视角图像中像素点的匹配关系。
26.因为光照影响会造成缺陷信息的过曝或者过暗，从而使得缺陷信息缺失，影响后续网络的拟合。因此在后续目标缺陷图像与视角图像融合过程中应该结合光照的影响程度控制融合过程，且还需要根据光照影响程度对初始匹配结果进行修正，使匹配结果更加准确，获得光照影响程度的具体方法包括：因为光照会对缺陷信息多少产生影响，因为正常的内壁为光滑的，因此缺陷信息可利用缺陷产生的纹理边缘表示，因此需要根据当前目标缺陷图像中每个像素点位置处的纹理数量信息获得缺陷信息保留程度，具体包括：对每个像素点的第一邻域范围进行边缘检测，获得纹理边缘像素点。以纹理边缘像素点的数量作为纹理数量信息。在本发明实施例中，第一邻域范围的尺寸设置为50*50。
27.获得目标缺陷图像中每个像素点对应的所有初始匹配结果中的像素点的纹理数量信息；以目标缺陷图像中每个像素点的纹理数量信息和对应的平均纹理数量信息的比值作为纹理信息保留度，即，其中，为目标缺陷图像中一个像素点位置处的纹理数量信息，为所有图像中的对应像素点位置处的平均纹理数量信息。在本发明实施例中包含目标缺陷图像在内为17张图像，即为这17张图像中对应像素点位置处的平均纹理数量信息。
28.因为光照不均匀还会对图像中局部区域的对比度产生影响，局部区域内对比度的层次越丰富，说明该区域的信息损失较小或者无损失。因此获得目标缺陷图像中每个像素点在第一邻域范围内的对比度熵，用于反映光照对对比度的影响。
29.结合纹理信息保留度和对比度熵获得目标缺陷图像中每个像素点的光照影响程度，具体包括：以纹理信息保留度和对比度熵乘积的倒数作为光照影响程度。
30.步骤s3：根据预设选取数量选取光照影响程度最小的多个像素点作为光照修正点；获得每个图像的光照修正点的预设第二邻域范围内的纹理分布信息；根据目标缺陷图像中光照修正点与初始匹配结果对应的每个视角图像中的光照修正点的预设第三邻域范围内每个像素点的纹理分布信息相似性选取最佳光照修正点匹配对，获得最佳匹配结果。
31.目标缺陷图像中每个像素点都对应了一个光照影响程度，用于表示对应位置处收到光照的影响。为了进一步提高匹配结果的准确性，根据预设选取数量选取光照影响程度最小的多个像素点作为光照修正点，用于后续修正初始匹配结果。需要说明的是，根据初始匹配结果，目标缺陷图像中每个光照修正点也对应与每个视角图像中的一个光照修正点。
32.在本发明实施例中，选取数量设置为50，即选取光照影响程度最小的50个像素点作为光照影响像素点。
33.考虑到角点匹配可能会因为特征点较少导致匹配错位，即初始匹配结果不准确。为了提高匹配结果的准确性，需要在当前初始匹配结果下，利用光照修正点的对应关系，在当前匹配点的邻域范围内进行搜寻，获得与其最匹配的最佳匹配点。
34.因为目标缺陷图像和视角图像中存在重复的缺陷信息，因此匹配点邻域范围内的纹理分布信息应是一致的。获得每个图像的光照修正点的预设第二邻域范围内的纹理分布信息，具体包括：获得光照修正点的第二邻域范围内的纹理边缘。获得纹理边缘上每个纹理边缘像素点的曲率，曲率信息可表示当前光照修正点位置处的纹理形态及分布特征。统计曲率，构建曲率直方图。根据曲率直方图获得曲率分布序列，即曲率分布序列中每个元素的位置表示曲率大小，每个元素值表示当前位置下的曲率在第二邻域范围内出现的频次。以曲率分布序列作为纹理分布信息。在本发明实施例中，第二邻域范围的尺寸设置为20*20。
35.以纹理分布信息之间的余弦相似度作为纹理分布信息相似性。计算模板缺陷图像中光照修正点与初始匹配结果对应的每个视角图像中的光照修正点的预设第三邻域范围内每个像素点的纹理分布信息相似性，以纹理分布相似性最大的像素点作为目标缺陷图像中对应的光照修正点的最佳匹配点，构成最佳光照修正点匹配对。
36.角点匹配获得的角点匹配对与最佳光照修正点匹配对共同构成匹配特征点对，根据匹配特征点对可获得单应性矩阵，获得最佳匹配结果。
37.步骤s4：以每个像素点的光照影响程度的倒数作为第一融合权重，根据第一融合权重和最佳匹配结果对每个视角图像与目标缺陷图像进行加权融合，获得多个初始融合图像；根据最佳光照修正点匹配对内的坐标偏移距离获得每个初始融合图像的第二融合权重；根据第二融合权重将所有初始融合图像进行加权融合，获得融合图像。
38.根据先验知识可知，获得最佳匹配结果后，每个视角图像都与目标缺陷区域存在匹配关系。因此可根据最佳匹配结果将所有图像进行加权融合，获得清晰且特征明显的融合图像。
39.考虑到光照对图像的影响，以每个像素点的光照影响程度倒数作为第一融合权重，根据第一融合权重和最佳匹配结果对每个视角图像和目标缺陷图像进行加权融合，获得多个初始融合图像。加权融合过程可描述为：其中，为目标缺陷图像中第个像素点的像素值，为目标缺陷图像中第个像素点对应的第一融合权重，为第个视角图像中与目标缺陷图像中第个像素点的最佳匹配点的像素值，为第个视角图像中与目标缺陷图像中第个像素点的最佳匹配点的第一融合权重，为第个初始融合图像中的第个像素点的像素值。
40.根据光照影响程度的倒数获得第一融合权重进行初始融合，消除了光照带给目标
缺陷图像的影响，使光照影响程度较大的像素特征对应的权重较小，避免了光照影响程度较大的像素特征对融合结果的影响。
41.需要说明的是，第一融合权重为归一化后的结果，即获得每个像素点的光照影响程度的倒数后进行归一化操作，获得对应的第一融合权重。
42.在本发明实施例中，存在16张视角图像，即存在16张初始融合图像。
43.进一步可将多个初始融合图像进行融合，获得更清晰完整的融合图像。考虑到每个视角图像对应不同的最佳匹配结果，匹配度更好的最佳匹配结果对应的初始融合图像应占有较大的权重，因此根据最佳光照修正点匹配对内的坐标偏移距离获得每个初始融合图像的第二融合权重，具体包括：利用单应性矩阵在图像拼接中的应用可将最佳光照修正点匹配对中的两个光照修正点根据最佳匹配结果转换至同一坐标系下。获得坐标系内最佳光照修正点匹配对内两个光照修正点之间的欧式距离。欧式距离越大说明最佳匹配结果的匹配度越差，因此以初始融合图像对应的所有最佳光照修正点匹配对的平均欧式距离的倒数作为第二融合权重。整体的欧式距离越小，说明该视角下的最佳匹配结果的匹配度越好，则第二融合权重越大。需要说明的是，第二融合权重也应进行归一化操作。
44.根据第二融合权重将所有初始融合图像进行加权融合，获得融合图像。需要说明的是，融合图像的加权融合操作与初始融合图像的加权融合操作类似，在此不做赘述。
45.步骤s5：获得多个融合图像，构成训练数据集；根据训练数据集训练缺陷识别神经网络；根据缺陷识别神经网络识别待检测发酵罐的缺陷。
46.融合图像为一张清晰且缺陷特征完整的图像，因此可获得多个融合图像构成训练数据集。训练数据集中可包含多种缺陷类型的缺陷，通过训练数据集训练缺陷识别神经网络，利用训练完毕的缺陷识别神经网络识别待检测发酵罐的缺陷。
47.在本发明实施例中，缺陷识别神经网络的结构采用编码-解码结构，利用编码器提取输入图像的特征，根据解码器对特征进行分析并输出缺陷类别，网络损失函数采用均方差损失函数。
48.根据待检测发酵罐内壁的缺陷类型可判断对其实施何种修补工艺，例如凹坑损伤需要进行焊接填补后再进行打磨抛光。通过针对性的修补工艺提高了发酵罐生产工序中的良品率。
49.综上所述，本发明实施例通过带有可见光光源的光学图像采集设备获得目标缺陷图像及其多个视角下的视角图像。通过图像的匹配融合消除了光照对内壁缺陷特征的影响，放大的缺陷特征。根据包含完整清楚的缺陷特征的融合图像训练缺陷识别神经网络，利用缺陷识别神经网络可快速准确的对待检测发酵罐内壁的缺陷进行检测。本发明实施例通过对缺陷特征的放大训练出准确度高的神经网络对缺陷进行识别，实现了对发酵罐内壁缺陷的精准识别，且能够根据内壁缺陷针对性的制定修补工艺，提高了发酵罐的使用寿命和生产效率。
50.本发明还提出了一种基于人工智能的发酵罐加工工序检测系统，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现一种基于人工智能的发酵罐加工工序检测方法的步骤。
51.需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。
在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
52.本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
53.以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。