一种深度学习与图像处理相结合的猪胴体背膘厚度测量位置自动定位方法

本发明属于食品工业化、计算机视觉领域，涉及一种猪胴体背膘厚度测量位置自动定位方法，具体涉及一种深度学习与图像处理相结合的猪胴体背膘厚度测量位置自动定位方法。

背景技术：

1、中国是世界猪肉生产与消费第一大国，每年全球生产的猪肉一半以上来自中国，猪肉位列肉类消费第一位，是中国最重要的肉类消费品。猪肉质量品质受到肉制品加工企业及消费者的广泛关注，随着居民收入与城市化建设水平的提升，人们对于猪肉品质的要求也不断提高。猪胴体分级是确保猪肉生产者与屠宰商之间的公平交易、提升透明度以及使市场标准化的有效手段。猪肉背膘厚度是猪胴体分级过程中重要的参考指标，根据sb/t10656-2012《猪肉分级》标准，猪肉背膘厚度是指第六肋骨和第七肋骨中间平行至第六胸椎棘突前下方位置背膘的厚度。猪肉背膘的测量位置由第六肋骨和第七肋骨位置确定，准确定位测量位置是测量背膘厚度的前提，实现猪胴体自动分级所面临的首要问题就是如何自动定位背膘测量位置，同时自动定位背膘厚度测量位置也是猪胴体自动分级过程中最为复杂的技术难点。由于猪的前两根肋骨较短，会被肉覆盖无法识别，部分肋骨由于脂肪层较厚也难以区分，故难以通过直接计数肋骨的方式定位背膘测量位置。根据猪的解剖学原理，猪第七肋骨与胸骨末端连接，该部位在猪肉二分体剖面图中具有显著特征即该部位胸腔呈外凸状，该特征部位称之为特征点，通过定位特征点即可确定猪肉背膘的测量位置。

2、传统的猪肉背膘厚度测量方法有探针测量法和人工直尺测量，其中探针测量法工作强度大，效率低下，不适用于现代工业生产环境；人工直尺测量存在很强的主观随意性和不确定性，使得猪肉交易活动缺乏有效的公正性，不利于市场交易。

3、随着新一代计算机技术的发展，机器视觉、深度学习和图像处理等新兴技术在各行各业得到广泛应用，提高了各行业的发展水平，目前将图像处理相关技术应用于畜禽肉分级尚处于初级发展阶段，多数应用只通过单一的数字图像处理算法中颜色阈值分割方法进行简单的处理，仅适用于特定环境下的背膘厚度检测，光照条件改变或血污物遮挡会造成很大的影响。专利《一种用于对猪胴体膘厚进行测量的方法及其相关产品》(cn114708233 a)中提出一种图像识别模型确定膘厚测量位置的方法，该方法概括指出基于卷积神经网络配合全连接网络实现测量位置定位，而卷积神经网络配合全连接网络概念宽泛，其中如alexnet、vgg等模型是无法直接给出具体的像素坐标的。

4、为提高猪肉二分体背膘厚度检测的效率、准确性与客观性，减少人工测量引入的主观误差，提高猪胴体工业加工中自动化程度，本发明参考猪肉分级标准中提出的检测位置，提出了一种猪胴体背膘厚度测量位置自动定位方法。本发明构建了融合注意力猪胴体胸腔分割模型，目的是提取胸腔的掩膜图像，然后基于猪的解剖学中第7肋骨的位置，结合复杂的数字图像处理方法设计了特征解析模块，在胸腔掩膜图像基础上进一步实现肋骨斜率、间距信息以及胸腔轮廓特征点的识别，进而计算得到猪胴体背膘厚度测量位置，其中融合注意力猪胴体胸腔分割模型，其网络结构未采用全连接网络，而是采用全卷积神经网络构建，能够为后续图像处理提供更精准的胸腔掩膜，保证自动、精准的实现猪胴体背膘厚度测量位置定位。

技术实现思路

1、本发明为解决传统猪胴体背膘厚度测量方法中效率低、效果差且缺乏客观性等问题，提供一种猪胴体背膘厚度测量位置自动定位方法。

2、本发明的技术方案：

3、一种深度学习与图像处理相结合的猪胴体背膘厚度测量位置自动定位方法，步骤如下：

4、步骤1：通过图像采集设备获取猪肉二分体剖面的图像数据，并将数据预处理为深度学习输入所需要的数据集；

5、步骤2：基于se模块与ag模块设计注意力融合模块以增强特征提取能力；

6、步骤3：在u-net网络结构中引入注意力融合模块，构建融合注意力猪胴体胸腔分割模型；

7、步骤4：设计特征解析模块，解析特征点位置，计算肋骨间距，定位背膘厚度测量位置；

8、步骤5：对分割模型及背膘厚度测量位置定位准确性进行测试和评估。

9、所述步骤1中，猪肉二分体为猪胴体沿着脊柱中线纵向锯成两半。所述数据预处理包括如下步骤：

10、1-1、调整图像尺寸，原始图像为宽、高为3500×3000的三通道数据，以宽为边长将图片填充为3500×3500的正方形，然后缩放为250×250的三通道数据；

11、1-2、标注多边形掩膜图像，掩膜图像内容包括背景、胸腔以及肋骨，其中背景像素值为0，肋骨像素值为255，除肋骨外的胸腔区域像素值为125。

12、所述步骤2中，猪二分体胸腔区域分割任务中，不仅血污、附着物等无关特征会产生干扰，而且胸腔区域多为白色脂肪层覆盖，而关键特征点附近也有直接裸露的红色肌肉属于胸腔区域，在分割过程此肌肉部分像素容易与背景像素产生混淆。针对以上问题，基于压缩和激励(squeeze and excitation，se)模块与注意力引导(attention gate，ag)模块设计了注意力融合模块，se模块与ag模块为并联连接，数据集中的猪肉二分体图像输入到u-net后，编码网络中每层下采样之前的卷积特征图为se模块的输入，se模块对输入的特征图先采取全局平均池化得到一个1×1×c的向量，c为输入特征图的通道数，只留下各通道的维度信息，然后通过自学习得到每个通道的权重，最后卷积特征图与对应的通道权重相乘得到加权后的特征图；ag模块的输入除编码网络中每层下采样之前的卷积特征图之外，还引入了编码网络对应层的解码网络中上采样之前的高维特征图，高维特征图作为ag门控信号对编码网络中的低维卷积特征图进行指导，由于高维特征图尺寸较小，需要将高维特征图上采样至与输入卷积特征图相同尺寸，并将上采样后的高维特征图与输入卷积特征图相加，然后进行卷积激活操作，最后将结果与输入的卷积特征图逐点相乘得到加权后的特征图。

13、所述步骤3中，以u-net为主干网络，引入步骤2所述注意力融合模块，每层卷积特征经过注意力融合模块se部分后再进行下采样，相同的卷积特征经过注意力融合模块ag部分后通过每层跳跃连接路径拼接到u-net解码网络中，并将解码网络中对应层的特征作为高维特征信息输入到注意力融合模块的ag部分中，对跳跃连接路径上的信息做指导。综上所述，构建完成的融合注意力猪胴体胸腔分割模型由unet卷积块、注意力融合模块、下采样、上采样、跳跃连接以及ag信号组成，利用步骤1制作的数据集对融合注意力猪胴体胸腔分割模型进行训练，模型训练完成后可实现对猪胴体的胸腔识别与分割，得到猪胴体胸腔掩膜图像。

14、所述步骤4中，特征解析模块包括胸腔轮廓检测单元、特征点定位单元、肋骨提取单元和测量位置定位单元，其中，

15、所述胸腔轮廓检测单元通过边缘检测方法检测掩膜中胸腔区域的轮廓，得到数据集中猪肉二分体图像胸腔部位的轮廓坐标集合，通过遍历的方式的得到轮廓的顶部点和底部点，将胸腔轮廓切分为胸骨侧和胸椎侧两个集合。

16、所述特征点定位单元以滑动窗口的方式遍历胸骨侧轮廓坐标点集合，计算窗口两端的坐标点所构成直线的斜率，其中斜率最大的直线所对应的两点中位于窗口左端的点为特征点。

17、所述肋骨提取单元通过概率霍夫直线检测将肋骨细化为一条线段，计算所有线段的斜率以及相邻两直线之间的间距，得到肋骨的平均斜率和间距。

18、所述测量位置定位单元通过遍历胸椎侧坐标点集合找到定位点，该定位点与特征点构成的直线斜率与肋骨斜率相同，定位点根据肋骨间距在纵坐标上向下偏移即得到了背膘厚度测量位置。

19、本发明的有益效果：

20、(1)在u-net网络结构中引入注意力融合模块构建融合注意力猪胴体胸腔分割模型，充分提取各通道间的特征信息，提高胸腔区域的分割精度，并通过注意力融合模块中注意力机制对跳跃连接层中感兴趣区域加权，实现减少冗余信息提高模型收敛速度的目的，提高了胸腔区域的分割效果，为后续图像处理奠定基础。

21、(2)设计特征解析模块，通过寻找胸骨末端特征点结合肋骨斜率与间距信息定位猪胴体背膘厚度测量位置，可显著提高检测效率，并且通过定位特征点方式测量背膘厚度结果更为准确客观。与传统方法相比通过分割胸腔掩膜结合数字图像定位测量位置的方法具有更强的普适性，更适用于复杂的生产环境，且定位结果更准确。