基于生物资产阴影区盘点计数的图像识别方法及系统与流程

1.本发明涉及人工智能技术领域，具体地，涉及一种基于生物资产阴影区盘点计数的图像识别方法及系统，尤其是，优选的涉及一种基于生物资产阴影区盘点计数的图像识别方法和边缘侧装置流程。


背景技术：

2.随着对农业金融发展的促进和扶持，物流、冷链、金融等领域对于农业和畜牧业的支持力度也在加大。经济价值比较高的生物比如牛、羊、马等除了消费属性外也会带上金融属性，如何通过技术手段高效可信地把生物资产数字化，成了农业金融发展的一个问题。养殖产业一直以来都面临着“活体资产”价值认定难、抵押难、监管难所带来的融资难问题，这在很大程度上制约了养殖户，养殖企业的规模化发展。
3.公开号为cn112330107a的中国发明专利文献公开了一种基于区块链的养殖业生物资产管理系统及方法。系统包括：区块链平台、采购模块、养殖模块、运输模块、屠宰模块、销售模块、保险模块、融资模块；方法包括：采购养殖对象以及原料，将原料信息保存在区块链平台上；对养殖对象进行养殖，将养殖数据以及出栏数据保存在区块链平台上；将养殖对象进行运输，并将车辆信息、运输信息保存在区块链平台上；将养殖对象经过检疫登记后进行屠宰，并将检疫数据、屠宰数据保存在区块链平台上；将养殖对象进行销售，通过包装上的标签，查询全周期信息；为养殖户提供保险业务；为养殖户、屠宰企业、销售公司提供融资业务。
4.针对上述中的相关技术，发明人认为阴影等场景会产生计数干扰，在大型生物资产在复杂场景(阴影)等计数盘点会产生偏差。


技术实现要素：

5.针对现有技术中的缺陷，本发明的目的是提供一种基于生物资产阴影区盘点计数的图像识别方法及系统。
6.根据本发明提供的一种基于生物资产阴影区盘点计数的图像识别方法，包括如下步骤：
7.图像分割学习步骤：采集养殖场景的待分析图像，并对待分析图像进行分割学习，确定待分析图像的上下文；
8.图像训练学习步骤：从确定上下文的待分析图像中进行图像训练学习，并判断是否有阴影，若无阴影则得到第一结果；
9.边缘装置补充训练步骤：在图像训练学习步骤中若判断有阴影，则进行补光拍照，得到补充拍照后的待分析图片，进行图像分割学习和训练学习，得到第二结果。
10.优选的，所述图像分割学习步骤包括如下步骤：
11.步骤s1：在畜牧规模化养殖部署面向养殖场景的摄像头；
12.步骤s2：通过摄像头采集待分析图片，将待分析图片传输给处理服务器；
13.步骤s3：处理服务器将待分析图片进行使用多任务卷积神经网络进行图像分割，将分割后图像的色斑作为输入，输入给卷积神经网络，卷积神经网络对像素进行标记；
14.步骤s4：像素标记后的图片划分成a*b个矩形块，提取n个边角矩形块中的所有像素点的rgb值，统计得到n个边角矩形块中的所有像素点的rgb值中相同rgb值的像素点的数量，将预定数量对应的rgb值确定为阈值，其中a表示长边，b表示宽边；
15.步骤s5：计算剩余a*b-n个矩形块的rgb均值，将rgb均值中大于等于阈值的进行保留，得到c个均值对应的c个矩形块，将c个矩形块的像素点的rgb值形成输入数据，传给卷积层对每个像素进行分类，确定待分析图像的上下文。
16.优选的，所述图像训练学习步骤包括如下步骤：
17.步骤s6：每个像素数据由二维转成一维，对转成一维的通道求出协方差矩阵，求出协方差矩阵的特征向量p和特征值λ，按照公式进行转换，完成颜色随机抖动判断；
18.步骤s7：色域调整，颜色判断后生成阴影判断模型；
19.步骤s8：若阴影判断模型判断没有阴影，滑窗判断是否有生物，网络从原图片随机截取边框，进行正负样本学习，进入输出网络，得到第一结果。
20.优选的，所述边缘装置补充训练步骤包括如下步骤：
21.步骤s9：提供边缘装置；
22.步骤s10：通过边缘装置中的处理器进行语义分析，对于步骤s7若阴影判断模型判断有阴影后通过补光灯进行补光拍照，继续步骤s2～步骤s6，滑窗判断是否有生物，网络从补光后的图片随机截取边框，进行正负样本学习，进入输出网络，得到第二结果。
23.5、根据权利要求4所述的基于生物资产阴影区盘点计数的图像识别方法，其特征在于，所述边缘装置补充训练步骤还包括如下步骤：
24.步骤s11：对第一结果和第二结果进行比对，进行卷积网络学习，后续采用t时刻内求平均值；
25.步骤s12：根据平均值确定a*b内的生物数量求和。
26.根据本发明提供的一种基于生物资产阴影区盘点计数的图像识别系统，包括如下模块：
27.图像分割学习模块：采集养殖场景的待分析图像，并对待分析图像进行分割学习，确定待分析图像的上下文；
28.图像训练学习模块：从确定上下文的待分析图像中进行图像训练学习，并判断是否有阴影，若无阴影则得到第一结果；
29.边缘装置补充训练模块：在图像训练学习模块中若判断有阴影，则进行补光拍照，得到补充拍照后的待分析图片，进行图像分割学习和训练学习，得到第二结果。
30.优选的，所述图像分割学习模块包括如下模块：
31.模块m1：在畜牧规模化养殖部署面向养殖场景的摄像头；
32.模块m2：通过摄像头采集待分析图片，将待分析图片传输给处理服务器；
33.模块m3：处理服务器将待分析图片进行使用多任务卷积神经网络进行图像分割，将分割后图像的色斑作为输入，输入给卷积神经网络，卷积神经网络对像素进行标记；
34.模块m4：像素标记后的图片划分成a*b个矩形块，提取n个边角矩形块中的所有像素点的rgb值，统计得到n个边角矩形块中的所有像素点的rgb值中相同rgb值的像素点的数
量，将预定数量对应的rgb值确定为阈值，其中a表示长边，b表示宽边；
35.模块m5：计算剩余a*b-n个矩形块的rgb均值，将rgb均值中大于等于阈值的进行保留，得到c个均值对应的c个矩形块，将c个矩形块的像素点的rgb值形成输入数据，传给卷积层对每个像素进行分类，确定待分析图像的上下文。
36.优选的，所述图像训练学习模块包括如下模块：
37.模块m6：每个像素数据由二维转成一维，对转成一维的通道求出协方差矩阵，求出协方差矩阵的特征向量p和特征值λ，按照公式进行转换，完成颜色随机抖动判断；
38.模块m7：色域调整，颜色判断后生成阴影判断模型；
39.模块m8：若阴影判断模型判断没有阴影，滑窗判断是否有生物，网络从原图片随机截取边框，进行正负样本学习，进入输出网络，得到第一结果。
40.优选的，所述边缘装置补充训练模块包括如下模块：
41.模块m9：提供边缘装置；
42.模块m10：通过边缘装置中的处理器进行语义分析，对于模块m7若阴影判断模型判断有阴影后通过补光灯进行补光拍照，继续模块m2～模块m6，滑窗判断是否有生物，网络从补光后的图片随机截取边框，进行正负样本学习，进入输出网络，得到第二结果。
43.优选的，所述边缘装置补充训练模块还包括如下模块：
44.模块m11：对第一结果和第二结果进行比对，进行卷积网络学习，后续采用t时刻内求平均值；
45.模块m12：根据平均值确定a*b内的生物数量求和。
46.与现有技术相比，本发明具有如下的有益效果：
47.1、本发明通过采用图像ai(artificial intelligence，人工智能)识别算法，就阴影等场景产生的计数干扰，基于图像分割的卷积网络神经学习和边缘侧终端辅助，解决大型生物资产在复杂场景(阴影)等计数盘点的偏差问题。
附图说明
48.通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
49.图1为基于阴影的肉牛计数图像学习流程图；
50.图2为resnet(残差网络)网络结构图。
具体实施方式
51.下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
52.本发明实施例公开了一种基于生物资产阴影区盘点计数的图像识别方法和边缘侧装置流程，如图1和图2所示，包括如下步骤：
53.图像分割学习过程即图像分割学习步骤：采集养殖场景的待分析图像，并对待分析图像进行分割学习，确定待分析图像的上下文。具体包括如下步骤：
54.步骤1：在畜牧规模化养殖部署面向养殖场景的摄像头。
55.步骤2：通过摄像头采集待分析图片，将图片传输给处理服务器。
56.步骤3：处理服务器将图片进行使用mtcnn(multi-task convolutional neural network，多任务卷积神经网络)进行图像分割，将图像的patch(色斑、补丁)作为输入，输入给卷积神经网络refine-net(一种多路径强化网络)，卷积神经网络对像素进行标记。cnn表示卷积神经网络。
57.步骤4：图片划分成a*b个矩形块，提取四个边角矩形块中的所有像素点的rgb值，统计得到四个边角矩形块中的所有像素点的rgb值中相同rgb值的像素点的数量，将数量最大值对应的rgb值确定为阈值。
58.步骤5：计算剩余a*b-4个矩形块的rgb均值(与阈值比较所得)，将所有均值中大于等于第一阈值的进行保留，得到c个均值对应的c个矩形块，将c个矩形块的像素点的rgb值形成输入数据refine-net，传给卷积层对每个像素进行分类(通过softmax对像素进行分类)，以确定图像的上下文，包括目标的位置。
59.图像训练学习过程即图像训练学习步骤：从确定上下文的待分析图像中进行图像训练学习，并判断是否有阴影，若无阴影则得到第一结果。具体包括如下步骤：
60.步骤6：每个通道的像素数据先由二维转成一维(例如256*256*3，转成65536*3)，再对该图片(65536*3)三个通道求出协方差矩阵(3*3)，再求出协方差矩阵的特征向量p和特征值λ，最后按照公式进行转换，完成颜色随机抖动判断。
61.步骤7：色域调整，上述颜色判断后生成阴影判断模型。
62.步骤8：resnet前处理是色域调整，然后滑窗判断里面有没有肉牛，网络从上述数据中随机截取边框，进行正负样本学习，进入output network(输出网络)。
63.边缘装置补充训练步骤：在图像训练学习步骤中若判断有阴影，则进行补光拍照，得到补充拍照后的待分析图片，进行图像分割学习和训练学习，得到第二结果。具体包括如下步骤：
64.步骤9：提供一种边缘装置，所述终端装置包括：处理器、存储器、通信单元、摄像头、补光灯和总线(物联网的数据采集协议)。
65.步骤10：边缘装置处理器进行第一语义的分析，对于步骤7判断阴影后进行补光拍照，继续步骤2～6步骤。
66.步骤11：步骤8结果和步骤10结果进行比对，进行更多卷积网络学习(后续采用在t时刻内求mean(平均值)来增强鲁棒性)。
67.步骤s12：a*b内的生物数量求和。
68.图1中，rpn层提取可能为目标的区域；图2中，conv表示卷积，pool表示池化。
69.本发明还提供一种基于生物致残阴影区盘点计数的图像识别系统，所述基于生物致残阴影区盘点计数的图像识别系统可以通过执行所述基于生物致残阴影区盘点计数的图像识别方法的流程步骤予以实现，即本领域技术人员可以将所述基于生物致残阴影区盘点计数的图像识别方法理解为所述基于生物致残阴影区盘点计数的图像识别系统的优选实施方式。
70.本发明实施例还公开了一种基于生物致残阴影区盘点计数的图像识别系统，包括如下模块：
71.图像分割学习模块：采集养殖场景的待分析图像，并对待分析图像进行分割学习，确定待分析图像的上下文。
72.图像训练学习模块：从确定上下文的待分析图像中进行图像训练学习，并判断是否有阴影，若无阴影则得到第一结果。
73.边缘装置补充训练模块：在图像训练学习模块中若判断有阴影，则进行补光拍照，得到补充拍照后的待分析图片，进行图像分割学习和训练学习，得到第二结果。
74.图像分割学习模块包括如下模块：
75.模块m1：在畜牧规模化养殖部署面向养殖场景的摄像头；
76.模块m2：通过摄像头采集待分析图片，将待分析图片传输给处理服务器；
77.模块m3：处理服务器将待分析图片进行使用多任务卷积神经网络进行图像分割，将分割后图像的色斑作为输入，输入给卷积神经网络，卷积神经网络对像素进行标记；
78.模块m4：像素标记后的图片划分成a*b个矩形块，提取n个边角矩形块中的所有像素点的rgb值，统计得到n个边角矩形块中的所有像素点的rgb值中相同rgb值的像素点的数量，将预定数量对应的rgb值确定为阈值，其中a表示长边，b表示宽边；
79.模块m5：计算剩余a*b-n个矩形块的rgb均值，将rgb均值中大于等于阈值的进行保留，得到c个均值对应的c个矩形块，将c个矩形块的像素点的rgb值形成输入数据，传给卷积层对每个像素进行分类，确定待分析图像的上下文。
80.图像训练学习模块包括如下模块：
81.模块m6：每个像素数据由二维转成一维，对转成一维的通道求出协方差矩阵，求出协方差矩阵的特征向量p和特征值λ，按照公式进行转换，完成颜色随机抖动判断；
82.模块m7：色域调整，颜色判断后生成阴影判断模型；
83.模块m8：若阴影判断模型判断没有阴影，滑窗判断是否有生物，网络从原图片随机截取边框，进行正负样本学习，进入输出网络，得到第一结果。
84.边缘装置补充训练模块包括如下模块：
85.模块m9：提供边缘装置；
86.模块m10：通过边缘装置中的处理器进行语义分析，对于模块m7若阴影判断模型判断有阴影后通过补光灯进行补光拍照，继续模块m2～模块m6，滑窗判断是否有生物，网络从补光后的图片随机截取边框，进行正负样本学习，进入输出网络，得到第二结果。
87.模块m11：对第一结果和第二结果进行比对，进行卷积网络学习，后续采用t时刻内求平均值；
88.模块m12：根据平均值确定a*b内的生物数量求和。
89.本技术涉及人工智能技术领域，尤其涉及一种在生物资产垂直领域进行现场ai的图像识别方法及装置；主要以肉牛为代表的大体征生物资产，在面临阴影区等复合场景下如何有效计数的深度学习方法及边缘侧ai处理器装置和流程；方法中，将对上述场景利用光补偿的原理，针对边缘侧处理器进行a*b大网格区域像素进行均值补光，从而实现计数运算的准确度；流程上，提供一种通用处理器，针对像素点的rgb值进行光补偿并进行阈值的比较。
90.本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置、模块、单元以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供
的系统及其各个装置、模块、单元以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置、模块、单元可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置、模块、单元也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置、模块、单元视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
91.以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本技术的实施例和实施例中的特征可以任意相互组合。