一种机器视觉检测ai人工智能复判系统及方法
技术领域
1.本发明涉及机器视觉技术领域,具体而言,涉及一种机器视觉检测ai人工智能复判系统及方法种。
背景技术:2.机器视觉是人工智能正在快速发展的一个分支。简单说来,机器视觉就是用机器代替人眼来做测量和判断。机器视觉系统是通过机器视觉产品(即图像摄取装置,分cmos和ccd两种)将被摄取目标转换成图像信号,传送给专用的图像处理系统,得到被摄目标的形态信息,根据像素分布和亮度、颜色等信息,转变成数字化信号,图像处理系统(如后台图像处理服务器等)对这些信号进行各种运算来抽取目标的特征,进而根据判别的结果来控制现场的设备动作或确定产品的质量等。
3.其中,在基于机器视觉的产品检测的应用中,一般分别对采集的产品视频(产品图像)进行识别,以确定对应的产品是否存在产品瑕疵,得到对应的最终结果,如此,可能存在产品检测结果的可靠度不佳的问题。
技术实现要素:4.有鉴于此,本发明的目的在于提供一种机器视觉检测ai人工智能复判系统及方法,以改善现有技术中产品检测结果的可靠度不佳的问题。
5.为实现上述目的,本发明实施例采用如下技术方案:
6.一种机器视觉检测ai人工智能复判方法,应用于产品监控服务器,所述产品监控服务器通信连接有多个图像采集设备,所述机器视觉检测ai人工智能复判方法包括:
7.在获取到所述多个图像采集设备中的目标图像采集设备采集的产品监控视频之后,对所述产品监控视频包括的产品监控视频帧进行识别处理,得到目标产品对应的产品识别结果,其中,所述产品监控视频包括多帧产品监控视频帧,所述多帧产品监控视频帧基于所述目标图像采集设备对所述目标产品进行信息采集得到,且所述产品识别结果用于表征所述目标产品是否存在产品外观瑕疵;
8.在得到多个目标产品对应的多个产品识别结果之后,确定所述多个产品识别结果中是否存在多个第一产品识别结果,并在所述多个产品识别结果中存在多个第一产品识别结果时,计算所述多个第一产品识别结果对应的多个产品监控视频之间的监控视频相关度,其中,所述第一产品识别结果用于表征对应的目标产品不存在产品外观瑕疵;
9.基于所述多个第一产品识别结果对应的多个产品监控视频之间的监控视频相关度,对所述多个第一产品识别结果进行更新处理,得到所述多个第一产品识别结果对应的多个目标产品识别结果,其中,所述目标产品识别结果用于表征对应的目标产品是否存在外观瑕疵。
10.在一些优选的实施例中,在上述机器视觉检测ai人工智能复判方法中,所述在得到多个目标产品对应的多个产品识别结果之后,确定所述多个产品识别结果中是否存在多
个第一产品识别结果,并在所述多个产品识别结果中存在多个第一产品识别结果时,计算所述多个第一产品识别结果对应的多个产品监控视频之间的监控视频相关度的步骤,包括:
11.在得到多个目标产品对应的多个产品识别结果之后,确定所述多个产品识别结果中是否存在多个第一产品识别结果;
12.在所述多个产品识别结果中存在多个第一产品识别结果时,针对所述多个第一产品识别结果中的每两个第一产品识别结果,基于该两个第一产品识别结果对应的两个产品监控视频包括的产品监控视频帧,计算得到该两个产品监控视频之间的监控视频相关度。
13.在一些优选的实施例中,在上述机器视觉检测ai人工智能复判方法中,所述在所述多个产品识别结果中存在多个第一产品识别结果时,针对所述多个第一产品识别结果中的每两个第一产品识别结果,基于该两个第一产品识别结果对应的两个产品监控视频包括的产品监控视频帧,计算得到该两个产品监控视频之间的监控视频相关度的步骤,包括:
14.在所述多个产品识别结果中存在多个第一产品识别结果时,针对所述多个第一产品识别结果中的每两个第一产品识别结果,计算该两个第一产品识别结果对应的两个产品监控视频之间包括的每两帧产品监控视频帧的相似度,得到每两帧产品监控视频帧之间的视频帧相似度;
15.针对所述多个第一产品识别结果中的每两个第一产品识别结果,计算该两个第一产品识别结果对应的两个产品监控视频包括每两帧产品监控视频帧之间的视频帧相似度的平均值,得到该两个第一产品识别结果对应的两个产品监控视频之间的监控视频相关度。
16.在一些优选的实施例中,在上述机器视觉检测ai人工智能复判方法中,所述在所述多个产品识别结果中存在多个第一产品识别结果时,针对所述多个第一产品识别结果中的每两个第一产品识别结果,基于该两个第一产品识别结果对应的两个产品监控视频包括的产品监控视频帧,计算得到该两个产品监控视频之间的监控视频相关度的步骤,包括:
17.在所述多个产品识别结果中存在多个第一产品识别结果时,针对所述多个第一产品识别结果中的每一个第一产品识别结果,对该第一产品识别结果对应的产品监控视频进行采样处理,得到该第一产品识别结果对应的采样产品监控视频,其中,每两个所述产品监控视频对应的采样规则相同;
18.针对所述多个第一产品识别结果中的每两个第一产品识别结果,计算该两个第一产品识别结果对应的两个采样产品监控视频之间对应视频时序的两帧产品监控视频帧之间的相似度,得到对应视频时序的每两帧产品监控视频帧之间的视频帧相似度,并确定该视频帧相似度与预先配置的相似度比较阈值之间的相对大小关系;
19.针对所述多个第一产品识别结果中的每两个第一产品识别结果,若该两个第一产品识别结果对应的两个采样产品监控视频之间对应视频时序的每两帧产品监控视频帧之间的视频帧相似度中,存在小于所述相似度比较阈值的视频帧相似度,则将该视频帧相似度确定为该两个产品监控视频之间的监控视频相关度,若该两个第一产品识别结果对应的两个采样产品监控视频之间对应视频时序的每两帧产品监控视频帧之间的视频帧相似度,大于或等于所述相似度比较阈值的两帧产品监控视频帧,则计算该两个第一产品识别结果对应的两个产品监控视频之间包括的每两帧产品监控视频帧的相似度,得到每两帧产品监
控视频帧之间的视频帧相似度;
20.针对所述多个第一产品识别结果中的每两个第一产品识别结果,计算该两个第一产品识别结果对应的两个产品监控视频包括每两帧产品监控视频帧之间的视频帧相似度的平均值,得到该两个第一产品识别结果对应的两个产品监控视频之间的监控视频相关度。
21.在一些优选的实施例中,在上述机器视觉检测ai人工智能复判方法中,所述基于所述多个第一产品识别结果对应的多个产品监控视频之间的监控视频相关度,对所述多个第一产品识别结果进行更新处理,得到所述多个第一产品识别结果对应的多个目标产品识别结果的步骤,包括:
22.确定所述多个第一产品识别结果对应的多个产品监控视频之间的监控视频相关度中的最大值和最小值,得到对应的第一监控视频相关度和第二监控视频相关度,并计算所述第一监控视频相关度和所述第二监控视频相关度之间的差值,得到对应的视频相关度差值;
23.基于所述视频相关度差值对所述多个第一产品识别结果进行更新处理,得到所述多个第一产品识别结果对应的多个目标产品识别结果。
24.在一些优选的实施例中,在上述机器视觉检测ai人工智能复判方法中,所述基于所述视频相关度差值对所述多个第一产品识别结果进行更新处理,得到所述多个第一产品识别结果对应的多个目标产品识别结果的步骤,包括:
25.确定所述视频相关度差值与预先配置的第一视频相关度阈值之间的相对大小关系,并在所述视频相关度差值小于或等于所述第一视频相关度阈值时,将所述多个第一产品识别结果作为对应的多个目标产品识别结果,或者,在所述视频相关度差值大于所述第一视频相关度阈值时,基于所述多个产品识别结果中的每一个第二产品识别结果对应的产品监控视频,对产品识别模型进行更新处理,得到对应的产品识别更新模型,其中,所述第二产品识别结果用于表征对应的目标产品存在产品外观瑕疵;
26.针对所述多个第一产品识别结果中的每一个第一产品识别结果,基于所述产品识别更新模型重新对该第一产品识别结果对应的产品监控视频进行识别处理,得到该第一产品识别结果对应的目标产品识别结果。
27.在一些优选的实施例中,在上述机器视觉检测ai人工智能复判方法中,所述在获取到所述多个图像采集设备中的目标图像采集设备采集的产品监控视频之后,对所述产品监控视频包括的产品监控视频帧进行识别处理,得到目标产品对应的产品识别结果的步骤,包括:
28.获取所述多个图像采集设备中的目标图像采集设备采集的产品监控视频,其中,所述产品监控视频包括多帧产品监控视频帧,所述多帧产品监控视频帧基于所述目标图像采集设备对目标产品进行信息采集得到;
29.对所述产品监控视频进行视频帧筛选处理,得到所述产品监控视频对应的目标产品监控视频,其中,所述目标产品监控视频包括多帧产品监控视频帧,所述目标产品监控视频包括的产品监控视频帧的数量小于或等于所述产品监控视频包括的产品监控视频帧的数量;
30.对所述目标产品监控视频包括的产品监控视频帧进行识别处理,得到所述目标产
品对应的产品识别结果。
31.本发明实施例还提供一种机器视觉检测ai人工智能复判系统,应用于产品监控服务器,所述产品监控服务器通信连接有多个图像采集设备,所述机器视觉检测ai人工智能复判系统包括:
32.视频识别处理模块,用于在获取到所述多个图像采集设备中的目标图像采集设备采集的产品监控视频之后,对所述产品监控视频包括的产品监控视频帧进行识别处理,得到目标产品对应的产品识别结果,其中,所述产品监控视频包括多帧产品监控视频帧,所述多帧产品监控视频帧基于所述目标图像采集设备对所述目标产品进行信息采集得到,且所述产品识别结果用于表征所述目标产品是否存在产品外观瑕疵;
33.相关度计算模块,用于在得到多个目标产品对应的多个产品识别结果之后,确定所述多个产品识别结果中是否存在多个第一产品识别结果,并在所述多个产品识别结果中存在多个第一产品识别结果时,计算所述多个第一产品识别结果对应的多个产品监控视频之间的监控视频相关度,其中,所述第一产品识别结果用于表征对应的目标产品不存在产品外观瑕疵;
34.识别结果更新模块,用于基于所述多个第一产品识别结果对应的多个产品监控视频之间的监控视频相关度,对所述多个第一产品识别结果进行更新处理,得到所述多个第一产品识别结果对应的多个目标产品识别结果,其中,所述目标产品识别结果用于表征对应的目标产品是否存在外观瑕疵。
35.在一些优选的实施例中,在上述机器视觉检测ai人工智能复判系统中,所述相关度计算模块具体用于:
36.在得到多个目标产品对应的多个产品识别结果之后,确定所述多个产品识别结果中是否存在多个第一产品识别结果;
37.在所述多个产品识别结果中存在多个第一产品识别结果时,针对所述多个第一产品识别结果中的每两个第一产品识别结果,基于该两个第一产品识别结果对应的两个产品监控视频包括的产品监控视频帧,计算得到该两个产品监控视频之间的监控视频相关度。
38.在一些优选的实施例中,在上述机器视觉检测ai人工智能复判系统中,所述识别结果更新模块具体用于:
39.确定所述多个第一产品识别结果对应的多个产品监控视频之间的监控视频相关度中的最大值和最小值,得到对应的第一监控视频相关度和第二监控视频相关度,并计算所述第一监控视频相关度和所述第二监控视频相关度之间的差值,得到对应的视频相关度差值;
40.基于所述视频相关度差值对所述多个第一产品识别结果进行更新处理,得到所述多个第一产品识别结果对应的多个目标产品识别结果。
41.本发明实施例提供的一种机器视觉检测ai人工智能复判系统及方法,在对产品监控视频包括的产品监控视频帧进行识别处理,得到目标产品对应的产品识别结果之后,若确定得到的多个产品识别结果中存在多个第一产品识别结果时,可以先计算多个第一产品识别结果对应的多个产品监控视频之间的监控视频相关度,使得可以基于多个第一产品识别结果对应的多个产品监控视频之间的监控视频相关度,对多个第一产品识别结果进行更新处理,得到多个第一产品识别结果对应的多个目标产品识别结果,如此,通过对第一产品
识别结果进行更新处理,可以在一定程度上提高识别结果的可靠度,以改善现有技术中产品检测结果的可靠度不佳的问题。
42.为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
43.图1为本发明实施例提供的产品监控服务器的结构框图。
44.图2为本发明实施例提供的机器视觉检测ai人工智能复判方法包括的各步骤的流程示意图。
45.图3为本发明实施例提供的机器视觉检测ai人工智能复判系统包括的各模块的示意图。
具体实施方式
46.为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例只是本发明的一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
47.因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
48.如图1所示,本发明实施例提供了一种产品监控服务器。其中,所述产品监控服务器可以包括存储器和处理器。
49.详细地,所述存储器和处理器之间直接或间接地电性连接,以实现数据的传输或交互。例如,相互之间可通过一条或多条通讯总线或信号线实现电性连接。所述存储器中可以存储有至少一个可以以软件或固件(firmware)的形式,存在的软件功能模块(计算机程序)。所述处理器可以用于执行所述存储器中存储的可执行的计算机程序,从而实现本发明实施例(如后文所述)提供的机器视觉检测ai人工智能复判方法。
50.具体而言,在一种可以替代的示例中,所述存储器可以是,但不限于,随机存取存储器(random access memory,ram),只读存储器(read only memory,rom),可编程只读存储器(programmable read-only memory,prom),可擦除只读存储器(erasable programmable read-only memory,eprom),电可擦除只读存储器(electric erasable programmable read-only memory,eeprom)等。
51.具体而言,在一种可以替代的示例中,所述处理器可以是一种通用处理器,包括中央处理器(central processing unit,cpu)、网络处理器(network processor,np)、片上系统(system on chip,soc)等;还可以是数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列(fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
52.结合图2,本发明实施例还提供一种机器视觉检测ai人工智能复判方法,可应用于
上述产品监控服务器。其中,所述机器视觉检测ai人工智能复判方法有关的流程所定义的方法步骤,可以由所述产品监控服务器实现。并且,所述产品监控服务器通信连接有多个图像采集设备。
53.下面将对图2所示的具体流程,进行详细阐述。
54.步骤s100,在获取到所述多个图像采集设备中的目标图像采集设备采集的产品监控视频之后,对所述产品监控视频包括的产品监控视频帧进行识别处理,得到目标产品对应的产品识别结果。
55.在本发明实施例中,所述产品监控服务器可以在获取到所述多个图像采集设备中的目标图像采集设备采集的产品监控视频之后,对所述产品监控视频包括的产品监控视频帧进行识别处理,得到目标产品对应的产品识别结果。其中,所述产品监控视频包括多帧产品监控视频帧,所述多帧产品监控视频帧基于所述目标图像采集设备对所述目标产品进行信息采集得到,且所述产品识别结果用于表征所述目标产品是否存在产品外观瑕疵。
56.步骤s200,在得到多个目标产品对应的多个产品识别结果之后,确定所述多个产品识别结果中是否存在多个第一产品识别结果,并在所述多个产品识别结果中存在多个第一产品识别结果时,计算所述多个第一产品识别结果对应的多个产品监控视频之间的监控视频相关度。
57.在本发明实施例中,所述产品监控服务器可以在得到多个目标产品对应的多个产品识别结果之后,确定所述多个产品识别结果中是否存在多个第一产品识别结果,并在所述多个产品识别结果中存在多个第一产品识别结果时,计算所述多个第一产品识别结果对应的多个产品监控视频之间的监控视频相关度。其中,所述第一产品识别结果用于表征对应的目标产品不存在产品外观瑕疵。
58.步骤s300,基于所述多个第一产品识别结果对应的多个产品监控视频之间的监控视频相关度,对所述多个第一产品识别结果进行更新处理,得到所述多个第一产品识别结果对应的多个目标产品识别结果。
59.在本发明实施例中,所述产品监控服务器可以基于所述多个第一产品识别结果对应的多个产品监控视频之间的监控视频相关度,对所述多个第一产品识别结果进行更新处理,得到所述多个第一产品识别结果对应的多个目标产品识别结果。其中,所述目标产品识别结果用于表征对应的目标产品是否存在外观瑕疵。
60.基于上述的机器视觉检测ai人工智能复判方法,在对产品监控视频包括的产品监控视频帧进行识别处理,得到目标产品对应的产品识别结果之后,若确定得到的多个产品识别结果中存在多个第一产品识别结果时,可以先计算多个第一产品识别结果对应的多个产品监控视频之间的监控视频相关度,使得可以基于多个第一产品识别结果对应的多个产品监控视频之间的监控视频相关度,对多个第一产品识别结果进行更新处理,得到多个第一产品识别结果对应的多个目标产品识别结果,如此,通过对第一产品识别结果进行更新处理,可以在一定程度上提高识别结果的可靠度,以改善现有技术中产品检测结果的可靠度不佳的问题。
61.具体而言,在一种可以替代的示例中,上述的步骤s110可以包括以下内容,如步骤s110、步骤s120和步骤s130等。
62.步骤s110,获取所述多个图像采集设备中的目标图像采集设备采集的产品监控视
频。
63.在本发明实施例中,所述产品监控服务器可以获取所述多个图像采集设备中的目标图像采集设备采集的产品监控视频。其中,所述产品监控视频包括多帧产品监控视频帧,所述多帧产品监控视频帧基于所述目标图像采集设备对目标产品进行信息采集得到。
64.步骤s120,对所述产品监控视频进行视频帧筛选处理,得到所述产品监控视频对应的目标产品监控视频。
65.在本发明实施例中,所述产品监控服务器可以对所述产品监控视频进行视频帧筛选处理,得到所述产品监控视频对应的目标产品监控视频。其中,所述目标产品监控视频包括多帧产品监控视频帧,所述目标产品监控视频包括的产品监控视频帧的数量小于或等于所述产品监控视频包括的产品监控视频帧的数量。
66.步骤s130,对所述目标产品监控视频包括的产品监控视频帧进行识别处理,得到所述目标产品对应的产品识别结果。
67.在本发明实施例中,所述产品监控服务器可以对所述目标产品监控视频包括的产品监控视频帧进行识别处理,得到所述目标产品对应的产品识别结果。其中,所述产品识别结果用于表征所述目标产品是否存在产品外观瑕疵。
68.基于上述的各步骤,在获取到产品监控视频之后,可以先对产品监控视频进行视频帧筛选处理,得到产品监控视频对应的目标产品监控视频,然后,再对目标产品监控视频包括的产品监控视频帧进行识别处理,得到目标产品对应的产品识别结果,如此,可以在一定程度上减少进行识别处理的产品监控视频帧的数量,即降低进行识别处理需要耗费的资源的量,从而改善现有技术中对于产品瑕疵的检测存在资源浪费的问题。
69.具体而言,在一种可以替代的示例中,上述的步骤s110可以包括:
70.首先,判断多个产品生产设备中是否存在目标产品生产设备,其中,所述产品监控服务器与所述多个产品生产设备分别通信连接,所述多个产品生产设备与所述多个图像采集设备之间具有一一对应关系(即一个产品生产设备对应一个图像采集设备),每一个所述图像采集设备用于对具有对应关系的产品生产设备生产的产品进行信息采集;
71.其次,若所述多个产品生产设备中存在目标产品生产设备,则将与所述目标产品生产设备之间具有对应关系的图像采集设备确定为目标图像采集设备,并向所述目标图像采集设备发生信息采集通知信息,其中,所述目标图像采集设备用于在获取到所述信息采集通知信息之后,对所述目标产品生产设备当前生产的目标产品(如生产完成之后,在传输的过程中进行信息采集)进行信息采集,得到对应的产品监控视频;
72.最后,获取所述目标图像采集设备基于所述信息采集通知信息对所述目标产品进行信息采集得到且发送的产品监控视频。
73.具体而言,在一种可以替代的示例中,所述判断多个产品生产设备中是否存在目标产品生产设备的步骤,可以包括:
74.首先,判断是否获取到多个产品生产设备中的任意一个产品生产设备当前发送的产品生产通知信息,其中,每一个所述产品生产设备用于在开始进行产品时,向所述产品监控服务器发送所述产品生产通知信息;
75.其次,若获取到多个产品生产设备中的任意一个产品生产设备当前发送的产品生产通知信息,则判定所述多个产品生产设备中存在目标产品生产设备,并将该产品生产通
知信息对应的产品生产设备确定为目标产品生产设备,若未获取到多个产品生产设备中的任意一个产品生产设备当前发送的产品生产通知信息,则判定所述多个产品生产设备中不存在目标产品生产设备。
76.具体而言,在一种可以替代的示例中,上述的步骤s120可以包括:
77.首先,获取所述目标图像采集设备对应的目标产品生产设备在历史上生产的每一个历史产品对应的历史产品识别结果,得到所述目标产品生产设备对应的多个历史产品识别结果,其中,所述产品监控服务器与多个产品生产设备分别通信连接,所述多个产品生产设备与所述多个图像采集设备之间具有一一对应关系,每一个所述图像采集设备用于对具有对应关系的产品生产设备生产的产品进行信息采集;
78.其次,统计所述多个历史产品识别结果的数量,得到所述多个历史产品识别结果对应的历史结果统计数量,并在所述多个历史产品识别结果中确定包括的第一历史产品识别结果的数量,得到所述第一历史产品识别结果对应的第一历史结果统计数量,以及,确定所述第一历史结果统计数量和所述历史结果统计数量之间的比值,得到对应的统计数量比值,其中,所述第一历史产品识别结果用于表征对应的历史产品存在产品外观瑕疵;
79.然后,基于所述统计数量比值确定出对应的视频帧筛除比例,其中,所述视频帧筛除比例与所述统计数量比值之间具有负相关关系;
80.最后,基于所述视频帧筛除比例对所述产品监控视频进行视频帧筛选处理,得到所述产品监控视频对应的目标产品监控视频,其中,所述产品监控视频包括的产品监控视频帧的数量和所述目标产品监控视频包括的产品监控视频帧的数量之间的差值与所述产品监控视频包括的产品监控视频帧的数量之间的比例小于或等于所述视频帧筛除比例。
81.具体而言,在一种可以替代的示例中,所述基于所述视频帧筛除比例对所述产品监控视频进行视频帧筛选处理,得到所述产品监控视频对应的目标产品监控视频的步骤,可以包括:
82.首先,针对所述产品监控视频包括的每两帧产品监控视频帧,计算该两帧产品监控视频帧之间的相似度,得到该两帧产品监控视频帧对应的视频帧相似度,并确定该视频帧相似度与预先配置的相似度阈值(可以根据实际应用场景进行配置)之间的大小关系;
83.其次,确定出对应的视频帧相似度小于所述相似度阈值的每两帧产品监控视频帧,并确定该两帧产品监控视频帧在所述产品监控视频中是否具有相邻的时序,以及,在该两帧产品监控视频帧在所述产品监控视频中具有相邻的时序,将该两帧产品监控视频帧确定为一个视频帧组合;
84.然后,分别基于每一个所述视频帧组合对所述产品监控视频进行分割处理,得到对应的多个产品监控视频片段,并针对所述多个产品监控视频片段中的每相邻两个产品监控视频片段,计算该两个产品监控视频片段之间每两帧产品监控视频帧对应的视频帧相似度的平均值,得到该两个产品监控视频片段对应的视频片段相似度,以及,确定该视频片段相似度与预先配置的片段相似度阈值之间的相对大小关系,其中,属于同一个所述视频帧组合中的两帧产品监控视频帧分别属于相邻的两个产品监控视频片段(即以所述视频帧组合中的两帧产品监控视频帧的中间位置为分割位置);
85.之后,针对所述多个产品监控视频片段中的每相邻两个产品监控视频片段,若该两个产品监控视频片段对应的视频片段相似度与大于或等于所述片段相似度阈值,则将该
两个产品监控视频片段合并为一个产品监控视频片段,并针对当前的每一个产品监控视频片段,计算该产品监控视频片段包括的每两帧产品监控视频帧对应的视频相似度的平均值,得到该产品监控视频片段对应的相似度均值,以及,基于每一个所述产品监控视频片段对应的相似度均值之间的大小关系,确定每一个所述产品监控视频片段对应的筛选系数,其中,所述筛选系数与所述相似度均值之间具有正相关关系(即所述相似度均值越大,所述筛选系数越大);
86.最后,针对当前的每一个产品监控视频片段,融合该产品监控视频片段对应的所述筛选系数和所述视频帧筛除比例,得到该产品监控视频片段对应的目标视频帧筛除比例,并基于该目标视频帧筛除比例和该品监控视频片段中每相邻两帧产品监控视频帧对应的视频帧相似度,对该品监控视频片段包括的产品监控视频帧进行视频帧筛选处理(如将视频帧相似度最大的对应比例的部分产品监控视频帧筛除),以及,将每一个所述产品监控视频片段中未被筛除的产品监控视频帧进行组合,得到所述产品监控视频对应的目标产品监控视。
87.具体而言,在一种可以替代的示例中,所述针对所述产品监控视频包括的每两帧产品监控视频帧,计算该两帧产品监控视频帧之间的相似度,得到该两帧产品监控视频帧对应的视频帧相似度,并确定该视频帧相似度与预先配置的相似度阈值之间的大小关系的步骤,可以包括:
88.首先,针对所述产品监控视频包括的每一帧产品监控视频帧,基于预先配置的视频帧分割处理,将该产品监控视频帧分割为对应数量的多帧监控子视频帧,并针对每一帧所述监控子视频帧,确定该监控子视频帧包括的多个边缘像素点中是否存在多个第一边缘像素点,其中,所述多个第一边缘像素点在对应的所述多个边缘像素点中连续,且每一个所述第一边缘像素点与对应的监控子视频帧包括的中心像素点之间的像素差值大于或等于预先配置的像素差值阈值;
89.其次,针对每一帧所述监控子视频帧,若该监控子视频帧包括的多个边缘像素点中存在多个第一边缘像素点,则基于该监控子视频帧包括的中心像素点和该多个第一边缘像素点,组合形成该监控子视频帧对应的第一像素点有序集合(如按顺时针等方向排序,其中,所述中心像素点可以在第一个位置或最后一个位置),若该监控子视频帧包括的多个边缘像素点中不存在多个第一边缘像素点,则基于该监控子视频帧包括的多个边缘像素点组合形成该监控子视频帧对应的第一像素点有序集合;
90.然后,针对所述产品监控视频包括的每两帧产品监控视频帧,基于在对应的产品监控视频帧中的位置,将该两帧产品监控视频帧对应的多帧监控子视频帧之间建立一一对应关系;
91.之后,针对具有对应关系的每两帧监控子视频帧,计算该两帧子监控视频帧对应的第一像素点有序集合之间的集合相似度,并确定该两帧子监控视频帧对应的第一像素点有序集合之间的集合组成方式是否相同,其中,所述集合相似度基于对应的两个第一像素点有序集合包括的像素点的平均值之间的差值确定(该集合相似度与该差值具有负相关关系);
92.进一步,针对具有对应关系的每两帧监控子视频帧,若该两帧子监控视频帧对应的第一像素点有序集合之间的集合组成方式不相同,则将该两帧子监控视频帧对应的相似
度系数确定为第一数值,若该两帧子监控视频帧对应的第一像素点有序集合之间的集合组成方式相同,则确定该两帧子监控视频帧对应的第一像素点有序集合之间对应集合位置的像素点的像素值是否相同,并统计具有相同像素值的像素点的数量,以及,基于该数量将该两帧子监控视频帧对应的相似度系数确定为第二数值,其中,该数量与所述第二数值和所述第一数值之间的差值具有正相关关系,且所述第二数值大于所述第一数值;
93.最后,针对具有对应关系的每两帧监控子视频帧,将该两帧监控子视频帧对应的相似度系数和对应的集合相似度进行融合(如计算所述相似度系数和所述集合相似度之间的乘积),得到该两帧监控子视频帧对应的视频帧相似度,并针对所述产品监控视频包括的每两帧产品监控视频帧,融合该两帧产品监控视频帧之间具有对应关系的每两帧监控子视频帧对应的视频帧相似度(如均值计算),得到该两帧产品监控视频帧之间的视频帧相似度,并确定该视频帧相似度与预先配置的相似度阈值之间的大小。
94.具体而言,在一种可以替代的示例中,上述的步骤s130可以包括:
95.首先,获取预先训练得到的产品识别模型,其中,所述产品识别模型为预先训练得到的二分类的神经网络模型;
96.其次,基于所述产品识别模型对所述目标产品监控视频包括的产品监控视频帧进行识别处理,得到所述目标产品对应的产品识别结果(如可以识别每一帧产品监控视频帧,然后,基于每一帧产品监控视频帧的识别结果,得到所述目标产品对应的产品识别结果)。
97.具体而言,在一种可以替代的示例中,所述获取预先训练得到的产品识别模型的步骤,可以包括:
98.首先,获取第一样本图像集合和第二样本图像集合,其中,所述第一样本图像集合包括多帧第一样本图像,所述第二样本图像集合包括多帧第二样本图像,所述多帧第一样本图像中的每一帧第一样本图像对应的标签信息为对应的产品不存在产品外观瑕疵,所述多帧第二样本图像中的每一帧第二样本图像对应的标签信息为对应的产品存在产品外观瑕疵;
99.其次,基于所述第一样本图像集合包括的每一帧第一样本图像和所述第二样本图像集合包括的每一帧第二样本图像,对预先构建的二分类的神经网络模型进行训练,得到对应的产品识别模型;
100.然后,在执行所述基于所述产品识别模型对所述目标产品监控视频包括的产品监控视频帧进行识别处理,得到所述目标产品对应的产品识别结果的步骤之前,获取所述目标图像采集设备在历史上最近一次采集得到的历史产品监控视频,并确定所述历史产品监控视频包括的每一帧历史产品监控视频帧对应的标签信息,其中,所述多个图像采集设备分别用于对具有对应关系的产品生产设备生产的产品进行信息采集,且所述多个图像采集设备和多个所述产品生产设备之间具有一一对应关系;
101.最后,基于所述历史产品监控视频包括的每一帧历史产品监控视频帧对所述产品识别模型进行更新处理,并基于更新后的产品识别模型,执行所述基于所述产品识别模型对所述目标产品监控视频包括的产品监控视频帧进行识别处理,得到所述目标产品对应的产品识别结果的步骤。
102.具体而言,在一种可以替代的示例中,上述的步骤s200可以包括:
103.首先,在得到多个目标产品对应的多个产品识别结果之后,确定所述多个产品识
别结果中是否存在多个第一产品识别结果;
104.其次,在所述多个产品识别结果中存在多个第一产品识别结果时,针对所述多个第一产品识别结果中的每两个第一产品识别结果,基于该两个第一产品识别结果对应的两个产品监控视频包括的产品监控视频帧,计算得到该两个产品监控视频之间的监控视频相关度。
105.具体而言,在一种可以替代的示例中,所述在所述多个产品识别结果中存在多个第一产品识别结果时,针对所述多个第一产品识别结果中的每两个第一产品识别结果,基于该两个第一产品识别结果对应的两个产品监控视频包括的产品监控视频帧,计算得到该两个产品监控视频之间的监控视频相关度的步骤,可以包括:
106.首先,在所述多个产品识别结果中存在多个第一产品识别结果时,针对所述多个第一产品识别结果中的每两个第一产品识别结果,计算该两个第一产品识别结果对应的两个产品监控视频之间包括的每两帧产品监控视频帧的相似度,得到每两帧产品监控视频帧之间的视频帧相似度;
107.其次,针对所述多个第一产品识别结果中的每两个第一产品识别结果,计算该两个第一产品识别结果对应的两个产品监控视频包括每两帧产品监控视频帧之间的视频帧相似度的平均值,得到该两个第一产品识别结果对应的两个产品监控视频之间的监控视频相关度。
108.具体而言,在另一种可以替代的示例中,所述在所述多个产品识别结果中存在多个第一产品识别结果时,针对所述多个第一产品识别结果中的每两个第一产品识别结果,基于该两个第一产品识别结果对应的两个产品监控视频包括的产品监控视频帧,计算得到该两个产品监控视频之间的监控视频相关度的步骤,也可以包括:
109.首先,在所述多个产品识别结果中存在多个第一产品识别结果时,针对所述多个第一产品识别结果中的每一个第一产品识别结果,对该第一产品识别结果对应的产品监控视频进行采样处理,得到该第一产品识别结果对应的采样产品监控视频,其中,每两个所述产品监控视频对应的采样规则相同(如都选择偶数时序的);
110.其次,针对所述多个第一产品识别结果中的每两个第一产品识别结果,计算该两个第一产品识别结果对应的两个采样产品监控视频之间对应视频时序的两帧产品监控视频帧之间的相似度,得到对应视频时序的每两帧产品监控视频帧之间的视频帧相似度,并确定该视频帧相似度与预先配置的相似度比较阈值之间的相对大小关系;
111.然后,针对所述多个第一产品识别结果中的每两个第一产品识别结果,若该两个第一产品识别结果对应的两个采样产品监控视频之间对应视频时序的每两帧产品监控视频帧之间的视频帧相似度中,存在小于所述相似度比较阈值的视频帧相似度,则将该视频帧相似度(若该视频帧相似度为多个,则计算对应的平均值等)确定为该两个产品监控视频之间的监控视频相关度,若该两个第一产品识别结果对应的两个采样产品监控视频之间对应视频时序的每两帧产品监控视频帧之间的视频帧相似度,大于或等于所述相似度比较阈值的两帧产品监控视频帧,则计算该两个第一产品识别结果对应的两个产品监控视频之间包括的每两帧产品监控视频帧的相似度,得到每两帧产品监控视频帧之间的视频帧相似度;
112.最后,针对所述多个第一产品识别结果中的每两个第一产品识别结果,计算该两
个第一产品识别结果对应的两个产品监控视频包括每两帧产品监控视频帧之间的视频帧相似度的平均值,得到该两个第一产品识别结果对应的两个产品监控视频之间的监控视频相关度。
113.具体而言,在一种可以替代的示例中,上述的步骤s300可以包括:
114.首先,确定所述多个第一产品识别结果对应的多个产品监控视频之间的监控视频相关度中的最大值和最小值,得到对应的第一监控视频相关度和第二监控视频相关度,并计算所述第一监控视频相关度和所述第二监控视频相关度之间的差值,得到对应的视频相关度差值;
115.其次,基于所述视频相关度差值对所述多个第一产品识别结果进行更新处理,得到所述多个第一产品识别结果对应的多个目标产品识别结果。
116.具体而言,在一种可以替代的示例中,所述基于所述视频相关度差值对所述多个第一产品识别结果进行更新处理,得到所述多个第一产品识别结果对应的多个目标产品识别结果的步骤,可以包括:
117.首先,确定所述视频相关度差值与预先配置的第一视频相关度阈值之间的相对大小关系,并在所述视频相关度差值小于或等于所述第一视频相关度阈值时,将所述多个第一产品识别结果作为对应的多个目标产品识别结果,或者,在所述视频相关度差值大于所述第一视频相关度阈值时,基于所述多个产品识别结果中的每一个第二产品识别结果对应的产品监控视频,对产品识别模型进行更新处理,得到对应的产品识别更新模型,其中,所述第二产品识别结果用于表征对应的目标产品存在产品外观瑕疵;
118.其次,针对所述多个第一产品识别结果中的每一个第一产品识别结果,基于所述产品识别更新模型重新对该第一产品识别结果对应的产品监控视频进行识别处理,得到该第一产品识别结果对应的目标产品识别结果。
119.结合图3,本发明实施例还提供一种机器视觉检测ai人工智能复判系统,可应用于上述产品监控服务器。其中,所述机器视觉检测ai人工智能复判系统可以包括以下的各模块:
120.视频识别处理模块,用于在获取到所述多个图像采集设备中的目标图像采集设备采集的产品监控视频之后,对所述产品监控视频包括的产品监控视频帧进行识别处理,得到目标产品对应的产品识别结果,其中,所述产品监控视频包括多帧产品监控视频帧,所述多帧产品监控视频帧基于所述目标图像采集设备对所述目标产品进行信息采集得到,且所述产品识别结果用于表征所述目标产品是否存在产品外观瑕疵;
121.相关度计算模块,用于在得到多个目标产品对应的多个产品识别结果之后,确定所述多个产品识别结果中是否存在多个第一产品识别结果,并在所述多个产品识别结果中存在多个第一产品识别结果时,计算所述多个第一产品识别结果对应的多个产品监控视频之间的监控视频相关度,其中,所述第一产品识别结果用于表征对应的目标产品不存在产品外观瑕疵;
122.识别结果更新模块,用于基于所述多个第一产品识别结果对应的多个产品监控视频之间的监控视频相关度,对所述多个第一产品识别结果进行更新处理,得到所述多个第一产品识别结果对应的多个目标产品识别结果,其中,所述目标产品识别结果用于表征对应的目标产品是否存在外观瑕疵。
123.具体而言,在一种可以替代的示例中,所述相关度计算模块具体用于:在得到多个目标产品对应的多个产品识别结果之后,确定所述多个产品识别结果中是否存在多个第一产品识别结果;在所述多个产品识别结果中存在多个第一产品识别结果时,针对多个第一产品识别结果中的每两个第一产品识别结果,基于该两个第一产品识别结果对应的两个产品监控视频包括的产品监控视频帧,计算得到该两个产品监控视频之间的监控视频相关。
124.具体而言,在一种可以替代的示例中,所述识别结果更新模块具体用于:确定所述多个第一产品识别结果对应的多个产品监控视频之间的监控视频相关度中的最大值和最小值,得到对应的第一监控视频相关度和第二监控视频相关度,并计算所述第一监控视频相关度和所述第二监控视频相关度之间的差值,得到对应的视频相关度差值;基于所述视频相关度差值对所述多个第一产品识别结果进行更新处理,得到所述多个第一产品识别结果对应的多个目标产品识别结果。
125.综上所述,本发明提供的一种机器视觉检测ai人工智能复判系统及方法,在对产品监控视频包括的产品监控视频帧进行识别处理,得到目标产品对应的产品识别结果之后,若确定得到的多个产品识别结果中存在多个第一产品识别结果时,可以先计算多个第一产品识别结果对应的多个产品监控视频之间的监控视频相关度,使得可以基于多个第一产品识别结果对应的多个产品监控视频之间的监控视频相关度,对多个第一产品识别结果进行更新处理,得到多个第一产品识别结果对应的多个目标产品识别结果,如此,通过对第一产品识别结果进行更新处理,可以在一定程度上提高识别结果的可靠度,以改善现有技术中产品检测结果的可靠度不佳的问题。
126.以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。