一种物料信息的确定方法、装置、设备及存储介质与流程

文档序号:26174695发布日期:2021-08-06 18:19阅读:142来源:国知局
一种物料信息的确定方法、装置、设备及存储介质与流程

本发明涉及图像处理领域,尤其涉及一种物料信息的确定方法、装置、设备及存储介质。



背景技术:

现有技术中,可以利用卷积神经网络统计表面贴装技术(surfacemountedtechnology,smt)领域中使用的物料(又称为贴片元器件,包括贴片电感、贴片电容、贴片电阻等)的物料信息。具体的,用于确定物料信息的设备获取包括物料以及物料盘的x射线图像,并将x射线图像进行处理,以得到一个灰度图像,并将得到的灰度图像输入到预先训练好的卷积神经网络中,以获取卷积神经网络输出的二值图像,进而可以从获取到的二值图像中确定物料的数量以及位置。

在上述物料信息的确定过程中,由于对x射线图像处理得到的灰度图像分辨率非常大,这就导致对设备的图形处理器(graphicsprocessingunit,gpu)和显存的硬件资源要求较高,处理速度慢。



技术实现要素:

本发明的实施例提供一种物料信息的确定方法、装置、设备及存储介质,能够提高确定物料信息的处理速度。

为达到上述目的,本发明的实施例采用如下技术方案:

第一方面,提供一种物料信息的确定方法,包括:获取待处理灰度图像;待处理灰度图像包括对包括物料盘以及物料的待处理射线图像执行预处理操作得到的,预处理操作包括位图转换和/或灰度拉伸;按照预设尺寸,对待处理灰度图像进行裁剪处理,以生成多个待处理子灰度图像;待处理灰度图像由多个待处理子灰度图像组成;基于多个待处理子灰度图像以及预设的图像处理模型,生成与多个待处理子灰度图像一一对应的多个目标子二值图像;根据生成到的多个目标子二值图像,确定待处理射线图像中物料的数量及物料在物料盘上的位置。

基于上述方案,能够对待处理灰度图像进行裁剪处理,并基于裁剪得到的多个待处理子灰度图像以及图像处理模型,生成与多个待处理子灰度图像一一对应的多个目标子二值图像,并根据生成的多个目标子二值图像,确定物料的数量以及物料的位置。由于本方案能够采用图像处理模型对裁剪得到的多个待处理子灰度图像进行异步的处理,因此,相对于现有的对大分辨率的灰度图像同步处理的过程,能够提高处理速度。

进一步可选的,上述根据生成到的多个目标子二值图像,确定待处理射线图像中物料的数量及物料在物料盘上的位置,包括:合并多个目标子二值图像,以得到目标二值图像;目标二值图像的尺寸与待处理灰度图像的尺寸相同;确定目标二值图像中的连通区域,以确定物料的数量以及物料在物料盘上的位置;一个连通区域用于表征一个物料。

进一步可选的,上述物料的确定方法,还包括:获取多个样本子灰度图像以及多个样本子二值图像;多个样本子二值图像与多个样本子灰度图像一一对应;多个样本子灰度图像为裁剪包括物料盘以及物料的样本灰度图像后,得到的用于反映物料盘以及物料的特征的灰度图像;基于多个样本子灰度图像以及多个样本子二值图像,训练得到图像处理模型;图像处理模型用于确定与输入的待处理子灰度图像对应的目标子二值图像。

基于上述方案,能够基于得到的多个样本子灰度图像以及多个样本子二值图像,训练得到图像处理模型。由于多个样本子灰度图像为裁剪包括物料盘以及物料的样本灰度图像后,得到的用于反映物料盘以及物料的特征的子灰度图像,因此,在上述模型的训练过程中,参与训练的样本能够反映样本灰度图像中的主要灰度信息,无需引入样本灰度图像中过多无用的背景信息,能够减少设备的硬件资源压力,并提高了训练速度。

进一步可选的,上述物料信息的确定方法还包括:获取多个样本灰度图像以及与多个样本灰度图像一一对应的多个样本二值图像;每个样本灰度图像中包括物料盘以及物料;对多个样本灰度图像以及多个样本二值图像分别进行裁剪处理,并基于裁剪处理得到的多个子灰度图像以及多个子二值图像,生成样本库;上述获取多个样本子灰度图像以及多个样本子二值图像,包括:从样本库中获取多个样本子灰度图像以及多个样本子二值图像。

进一步可选的,上述获取多个样本灰度图像以及与多个样本灰度图像一一对应的多个样本二值图像,包括:获取原始射线图像;原始射线图像为对物料盘以及物料进行射线照射得到的图像;从原始射线图像中获取物料盘上每个像素点的灰度值、物料中每个像素点的灰度值,以及物料的属性;物料的属性包括形状和/或大小;根据确定到的灰度值,以及物料的属性,生成多个样本灰度图像,以及多个样本二值图像。

进一步可选的,上述从原始射线图像中获取物料盘上每个像素点的灰度值、物料中每个像素点的灰度值,以及物料的属性,包括:对原始射线图像执行预处理操作,以生成预处理图像;预处理操作包括位图转换和/或灰度拉伸;从预处理图像中确定物料盘上每个像素点的灰度值、物料中每个像素点的灰度值,以及物料的属性。

进一步可选的,上述从预处理图像中确定物料盘上每个像素点的灰度值,包括:对于物料盘中被物料覆盖的目标像素点,获取第一像素点的位置以及灰度值;第一像素点包括未被物料覆盖,且距离目标像素点小于或等于第一阈值的像素点;确定第一像素点与目标像素点之间的距离,并基于确定到的距离,确定第一像素点的灰度值权重;第一像素点的灰度值权重与第一像素点与目标像素点之间的距离成反比;根据确定到的第一像素点的灰度值权重,对第一像素点的灰度值加权,以确定目标像素点的灰度值。

进一步可选的,上述根据确定到的灰度值,以及物料的属性,生成多个样本灰度图像,包括:根据物料盘上每个像素点的灰度值,生成背景图像;背景图像包括物料盘以及空余区域;根据物料中每个像素点的灰度值、物料的属性,合并背景图像以及物料,以生成多个样本灰度图像;每个样本灰度图像中物料在背景图像中的位置和/或数量不同。

进一步可选的,上述对多个样本灰度图像以及多个样本二值图像分别进行裁剪处理,包括:对于第一样本灰度图像,确定第一样本灰度图像中的关键像素点;第一样本灰度图像为多个样本灰度图像中的任意一个样本灰度图像,关键像素点的采样权重满足预设条件,采样权重用于反映像素点作为模型训练样本的概率;基于关键像素点以及预设的图像尺寸,分别对第一样本灰度图像以及第一样本二值图像进行裁剪处理,以得到多个子灰度图像,以及与多个子灰度图像一一对应的多个子二值图像;第一样本二值图像为多个样本二值图像中与第一样本灰度图像对应的样本二值图像。

进一步可选的,上述确定第一样本灰度图像中的关键像素点,包括:确定第一样本灰度图像中的第一采样权重以及第二采样权重;第一采样权重包括第一样本灰度图像的背景图像上像素点的采样权重,第二采样权重包括物料上的像素点的采样权重;背景图像包括物料盘以及空余区域;根据第一采样权重,从第一样本灰度图像的背景图像中确定第一目标像素点;第一目标像素点包括物料盘上的像素点;根据第二采样权重,从物料上的像素点中确定第二目标像素点;第二目标像素点包括距离物料的边界的距离小于或等于第二阈值的像素点;确定第一目标像素点以及第二目标像素点为第一样本灰度图像中的关键像素点。

进一步可选的,上述确定第一采样权重,包括:从背景图像中确定背景图像的像素点的位置、灰度值以及物料盘的中心像素点的位置;根据背景图像的像素点的位置以及中心像素点的位置,确定背景图像中每个像素点分别与中心像素点之间的距离;根据确定到的距离以及背景图像的像素点的灰度值,确定第一采样权重;第一采样权重与背景图像的像素点对应的距离成反比,且第一采样权重与背景图像的像素点的灰度值成反比。

进一步可选的,上述确定第二采样权重,包括:对于第一物料,获取第一物料上像素点的位置;第一物料为第一样本灰度图像中的任意一个物料;对于第二像素点,根据获取到的物料上的像素点的位置,确定第二像素点分别与每个第三像素点之间的距离;第二像素点为物料上的像素点中的任意一个像素点,第三像素点包括第一物料的边界上的像素点;根据确定到的距离,确定第二采样权重;第二采样权重与第二像素点对应的距离成反比。

进一步可选的,上述基于多个样本子灰度图像以及多个样本子二值图像,训练得到图像处理模型,包括:将多个样本子灰度图像作为特征,以及,将多个样本子二值图像作为标签,对预设的神经网络进行下采样训练,以确定图像处理模型;下采样训练的次数与物料的大小成反比。

第二方面,提供一种物料信息的确定装置,包括获取单元、处理单元、生成单元以及确定单元;获取单元,用于获取待处理灰度图像;待处理灰度图像包括对包括物料盘以及物料的待处理射线图像执行预处理操作得到的,预处理操作包括位图转换和/或灰度拉伸;处理单元,用于按照预设尺寸,对获取单元获取到的待处理灰度图像进行裁剪处理,以生成多个待处理子灰度图像;待处理灰度图像由多个待处理子灰度图像组成;生成单元,用于基于多个待处理子灰度图像以及预设的图像处理模型,生成与多个待处理子灰度图像一一对应的多个目标子二值图像;确定单元,用于根据生成单元生成到的多个目标子二值图像,确定待处理射线图像中物料的数量及物料在物料盘上的位置。

进一步可选的,上述确定单元,具体用于:合并多个目标子二值图像,以得到目标二值图像;目标二值图像的尺寸与待处理灰度图像的尺寸相同;确定目标二值图像中的连通区域,以确定物料的数量以及物料在物料盘上的位置;一个连通区域用于表征一个物料。

进一步可选的,上述物料信息的确定装置,还包括训练单元;获取单元,还用于获取多个样本子灰度图像以及多个样本子二值图像;多个样本子二值图像与多个样本子灰度图像一一对应;多个样本子灰度图像为裁剪包括物料盘以及物料的样本灰度图像后,得到的用于反映物料盘以及物料的特征的灰度图像;训练单元,用于基于获取单元获取到的多个样本子灰度图像以及多个样本子二值图像,训练得到图像处理模型;图像处理模型用于确定与输入的待处理子灰度图像对应的目标子二值图像。

进一步可选的,上述获取单元,还用于获取多个样本灰度图像以及与多个样本灰度图像一一对应的多个样本二值图像;每个样本灰度图像中包括物料盘以及物料;上述处理单元,还用于对多个样本灰度图像以及多个样本二值图像分别进行裁剪处理;上述生成单元,还用于基于处理单元裁剪处理得到的多个子灰度图像以及多个子二值图像,生成样本库;上述获取单元,具体用于从样本库中获取多个样本子灰度图像以及多个样本子二值图像。

进一步可选的,上述获取单元,具体用于:获取原始射线图像;原始射线图像为对物料盘以及物料进行射线照射得到的图像;从原始射线图像中获取物料盘上每个像素点的灰度值、物料中每个像素点的灰度值,以及物料的属性;物料的属性包括形状和/或大小;根据确定到的灰度值,以及物料的属性,生成多个样本灰度图像,以及多个样本二值图像。

进一步可选的,上述获取单元,具体还用于:对原始射线图像执行预处理操作,以生成预处理图像;预处理操作包括位图转换和/或灰度拉伸;从预处理图像中确定物料盘上每个像素点的灰度值、物料中每个像素点的灰度值,以及物料的属性。

进一步可选的,上述获取单元,具体还用于:对于物料盘中被物料覆盖的目标像素点,获取第一像素点的位置以及灰度值;第一像素点包括未被物料覆盖,且距离目标像素点小于或等于第一阈值的像素点;确定第一像素点与目标像素点之间的距离,并基于确定到的距离,确定第一像素点的灰度值权重;第一像素点的灰度值权重与第一像素点与目标像素点之间的距离成反比;根据确定到的第一像素点的灰度值权重,对第一像素点的灰度值加权,以确定目标像素点的灰度值。

进一步可选的,上述获取单元,具体还用于:根据物料盘上每个像素点的灰度值,生成背景图像;背景图像包括物料盘以及空余区域;根据物料中每个像素点的灰度值、物料的属性,合并背景图像以及物料,以生成多个样本灰度图像;每个样本灰度图像中物料在背景图像中的位置和/或数量不同。

进一步可选的,上述生成单元,具体用于:对于第一样本灰度图像,确定第一样本灰度图像中的关键像素点;第一样本灰度图像为多个样本灰度图像中的任意一个样本灰度图像,关键像素点的采样权重满足预设条件,采样权重用于反映像素点作为模型训练样本的概率;基于关键像素点以及预设的图像尺寸,分别对第一样本灰度图像以及第一样本二值图像进行裁剪处理,以得到多个子灰度图像,以及与多个子灰度图像一一对应的多个子二值图像;第一样本二值图像为多个样本二值图像中与第一样本灰度图像对应的样本二值图像。

进一步可选的,上述生成单元,具体还用于:确定第一样本灰度图像中的第一采样权重以及第二采样权重;第一采样权重包括第一样本灰度图像的背景图像上像素点的采样权重,第二采样权重包括物料上的像素点的采样权重;背景图像包括物料盘以及空余区域;根据第一采样权重,从第一样本灰度图像的背景图像中确定第一目标像素点;第一目标像素点包括物料盘上的像素点;根据第二采样权重,从物料上的像素点中确定第二目标像素点;第二目标像素点包括距离物料的边界的距离小于或等于第二阈值的像素点;确定第一目标像素点以及第二目标像素点为第一样本灰度图像中的关键像素点。

进一步可选的,上述生成单元,具体还用于:从背景图像中确定背景图像的像素点的位置、灰度值以及物料盘的中心像素点的位置;根据背景图像的像素点的位置以及中心像素点的位置,确定背景图像中每个像素点分别与中心像素点之间的距离;根据确定到的距离以及背景图像的像素点的灰度值,确定第一采样权重;第一采样权重与背景图像的像素点对应的距离成反比,且第一采样权重与背景图像的像素点的灰度值成反比。

进一步可选的,上述生成单元,具体还用于:对于第一物料,获取第一物料上像素点的位置;第一物料为第一样本灰度图像中的任意一个物料;对于第二像素点,根据获取到的物料上的像素点的位置,确定第二像素点分别与每个第三像素点之间的距离;第二像素点为物料上的像素点中的任意一个像素点,第三像素点包括第一物料的边界上的像素点;根据确定到的距离,确定第二采样权重;第二采样权重与第二像素点对应的距离成反比。

进一步可选的,上述训练单元,具体用于:将多个样本子灰度图像作为特征,以及,将多个样本子二值图像作为标签,对预设的神经网络进行下采样训练,以确定图像处理模型;下采样训练的次数与物料的大小成反比。

可以理解地,上述提供的第二方面的方案,均用于执行上文所提供的对应的物料信息的确定方法,因此,其所能达到的有益效果可参考上文所提供的对应的物料信息的确定方法中的有益效果,此处不再赘述。

第三方面,提供一种电子设备,包括:处理器、用于存储处理器可执行的指令的存储器;其中,处理器被配置为执行指令,以实现如如第一方面所提供的物料信息的确定方法。

第四方面,提供一种计算机可读存储介质,包括指令,当指令由处理器执行时,使得处理器执行第一方面所提供的物料信息的确定方法。

第五方面,提供一种计算程序产品,包含指令,当其在计算机上运行时,使得计算机执行如第一方面所提供的物料信息的确定方法。

可以理解地,上述提供的第三方面至第五方面的方案,均用于执行上文所提供的对应的物料信息的确定方法,因此,其所能达到的有益效果可参考上文所提供的对应的物料信息的确定方法中的有益效果,此处不再赘述。

应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本发明。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种物料信息确定系统的结构示意图;

图2为本发明实施例提供的一种物料信息的确定方法的流程示意图一;

图3为本发明实施例提供的一种物料信息的确定方法的流程示意图二;

图4为本发明实施例提供的一种物料信息的确定方法的流程示意图三;

图5为本发明实施例提供的一种物料信息的确定方法的流程示意图四;

图6为本发明实施例提供的一种物料信息的确定方法的流程示意图五;

图7为本发明实施例提供的一种物料信息的确定方法的流程示意图六;

图8为本发明实施例提供的一种物料信息的确定方法的流程示意图七;

图9为本发明实施例提供的一种物料信息的确定方法的流程示意图八;

图10为本发明实施例提供的一种样本灰度图像的示意图;

图11为本发明实施例提供的一种物料信息的确定方法的流程示意图九;

图12为本发明实施例提供的一种物料信息的确定方法的流程示意图十;

图13为本发明实施例提供的一种物料信息的确定方法的流程示意图十一;

图14为本发明实施例提供的一种物料信息的确定方法的流程示意图十二;

图15为本发明实施例提供的一种高分辨率深度神经网络hrnet的结构示意图;

图16为本发明实施例提供的一种物料信息的确定装置的结构示意图;

图17为本发明实施例提供的电子设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

需要说明的是,本发明实施例中,“示例性的”或者“例如”等词用于表示作例子、例证或说明。本发明实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言,使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。

还需要说明的是,本发明实施例中,“的(英文:of)”,“相应的(英文:corresponding,relevant)”和“对应的(英文:corresponding)”有时可以混用,应当指出的是,在不强调其区别时,其所要表达的含义是一致的。

为了便于清楚描述本发明实施例的技术方案,在本发明的实施例中,采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分,本领域技术人员可以理解“第一”、“第二”等字样并不是在对数量和执行次序进行限定。

本发明实施例提供的物料信息的确定方法(为便于描述,本发明实施例后续简称为确定方法)可以适用于物料信息确定系统,该物料信息确定系统用于确定表面贴装技术领域中物料的的物料信息。图1示出了该物料信息确定系统的一种结构示意图。如图1所示,物料信息确定系统10包括图像处理模型的训练装置11(为便于描述,本发明实施例后续简称为训练装置)、物料信息的确定装置12(为便于描述,本发明实施例中后续简称为确定装置)以及电子设备13。训练装置11、确定装置12以及电子设备13三者相互连接。训练装置11、确定装置12以及电子设备13三者之间分别可以采用有线方式连接,也可以采用无线方式连接,本发明实施例对此不作限定。

训练装置11可以用于与电子设备13进行数据交互,例如,训练装置11可以获取电子设备13发送的包括有物料盘以及物料的原始射线图像,以及原始射线图像中物料的数量以及物料在物料盘上的位置。

需要说明的,上述原始射线图像可以由具备x射线发射功能的电子设备,对预设的物料盘以及物料拍摄得到的。

训练装置11还可以根据获取到的原始射线图像进行预处理以及裁剪处理,并进一步的根据图像处理得到的子图像进行训练,以训练得到图像处理模型,并向确定装置12发送训练得到的图像处理模型。

确定装置12可以用于接收电子设备13发送的包括物料盘以及物料的待处理射线图像,并对待处理射线图像进行相应的预处理、裁剪处理,并进一步根据图像处理得到的子图像以及训练装置11训练得到的图像处理模型,确定待处理射线图像中物料的数量,以及物料在物料盘上的位置。

确定装置12还用于在确定物料的信息之后,向电子设备13发送物料的信息。

电子设备13用于拍摄并获取包括有物料盘以及物料的x射线图像,并向训练装置11以及确定装置12发送x射线图像。

示例性的,电子设备具体可以为服务器,也可以为多台服务器组成的服务器集群。

需要说明的,训练装置11、确定装置12以及电子设备13三者可以为相互独立的设备或装置,也可以集成于同一设备中或同一装置中,本发明对此不作具体限定。

当训练装置11、确定装置12以及电子设备13集成于同一设备或同一装置时,训练装置11、确定装置12以及电子设备13三者之间的通信方式为该设备或装置内部单元模块之间的通信。这种情况下,三者之间的通信流程与“训练装置11、确定装置12以及电子设备13之间相互独立的情况下,三者之间的通信流程”相同。

在本发明提供的以下实施例中,本发明以训练装置11、确定装置12以及电子设备13相互独立设置为例进行说明。

下面结合附图对本发明实施例提供的确定方法进行描述,本发明实施例中提供的确定方法可以应用于上述训练装置中,也可以应用于上述确定装置中,也可以应用于包括上述训练装置以及确定装置的电子设备中,本发明实施例以确定方法应用于确定装置为例进行说明。

如图2所示,本发明实施例提供的物料信息的确定方法,包括下述s201-s204:

s201、确定装置获取待处理灰度图像。

其中,待处理灰度图像包括对包括物料盘以及物料的待处理射线图像执行预处理操作得到的,预处理操作包括位图转换和/或灰度拉伸。

作为一种可能的实现方式,确定装置接收电子设备发送的待处理射线图像,并对待处理射线图像进行预处理操作,以生成待处理灰度图像。

需要说明的,位图转换用于降低原始射线图像的大小,灰度拉伸用于提高原始射线图像中前景与背景的对比度。

在一种示例中,待处理射线图像可以为16位的tiff格式的图像,大小为3328*3328个像素,位图转换可以将16位的图像转换为8位的图像。

在预处理操作包括位图转换以及灰度拉伸的情况下,上述预处理图像满足以下公式一:

其中,eimg为经过预处理后得到的待处理灰度图像,oimg为上述待处理射线图像,vmin为上述待处理射线图像的最小灰度值,vmax为上述待处理射线图像的最大灰度值。

s202、确定装置按照预设尺寸,对待处理灰度图像进行裁剪处理,以生成多个待处理子灰度图像。

其中,待处理灰度图像由多个待处理子灰度图像组成。

作为一种可能的实现方式,确定装置按照预设尺寸以及滑动步长,对待处理灰度图像进行裁剪处理,以生成多个待处理子灰度图像。

需要说明的,滑动步长小于或等于预设尺寸。预设尺寸与样本子灰度图像的尺寸相同。

示例性的,预设尺寸为256*256个像素,滑动步长可以为128。

s203、确定装置基于多个待处理子灰度图像以及预设的图像处理模型,生成与多个待处理子灰度图像一一对应的多个目标子二值图像。

作为一种可能的实现方式,确定装置将裁剪处理得到的多个待处理子灰度图像输入到预先训练好的图像处理模型中,以获取图像处理模型输出的多个目标子二值图像。

s204、确定装置根据生成到的多个目标子二值图像,确定待处理射线图像中物料的数量及物料在物料盘上的位置。

作为一种可能的实现方式,确定装置在获取多个目标子二值图像之后,合并多个目标子二值图像,以得到目标二值图像,并根据目标二值图像,确定待处理射线图像中物料的数量以及物料在物料盘上的位置。

基于上述方案,能够对待处理灰度图像进行裁剪处理,并基于裁剪得到的多个待处理子灰度图像以及图像处理模型,生成与多个待处理子灰度图像一一对应的多个目标子二值图像,并根据生成的多个目标子二值图像,确定物料的数量以及物料的位置。由于本方案能够采用图像处理模型对裁剪得到的多个待处理子灰度图像进行异步的处理,因此,相对于现有的对大分辨率的灰度图像同步处理的过程,能够提高确定物料信息的处理速度。

在一种设计中,为了能够根据生成的多个目标子二值图像,确定物料的物料信息,如图3所示,本发明实施例提供的s204,具体包括下述s2041-s2042。

s2041、确定装置合并多个目标子二值图像,以得到目标二值图像。

其中,目标二值图像的尺寸与待处理灰度图像的尺寸相同。

作为一种可能的实现方式,确定装置对多个目标子二值图像进行合并,同时也对其中的重复部分进行合并,以得到尺寸与待处理灰度图像相同的目标二值图像。

s2042、确定装置确定目标二值图像中的连通区域,以确定物料的数量以及物料在物料盘上的位置。

其中,一个连通区域用于表征一个物料。

作为一种可能的实现方式,确定装置对目标二值图像进行图像识别,以确定目标二值图像中的连通区域,以进一步的确定物料的数量以及物料在物料盘上的位置。

需要说明的,连通区域的质心即为物料所在的位置。

下面结合附图对本发明实施例提供的确定方法中,如何对图像处理模型进行训练的步骤进行描述,本发明实施例中对图像处理模型进行训练的布偶组可以应用于上述训练装置中,也可以应用于上述确定装置中,也可以应用于包括上述训练装置以及确定装置的电子设备中,本发明实施例以应用于确定装置为例进行说明。

如图4所示,本发明实施例提供的物料信息的确定方法,还包括下述s301-s302:

s301、确定装置获取多个样本子灰度图像以及多个样本子二值图像。

其中,多个样本子二值图像与多个样本子灰度图像一一对应。多个样本子灰度图像为裁剪包括物料盘以及物料的样本灰度图像后,得到的用于反映物料盘以及物料的特征的灰度图像。

多个样本子灰度图像与多个样本子二值图像的尺寸、大小相同。

多个样本子二值图像为裁剪包括物料盘以及物料的样本二值图像后,得到的用于反映物料盘以及物料的二灰值的子二值图像。

样本二值图像对应于样本灰度图像,样本二值图像中物料盘的位置、大小与样本灰度图像中物料盘的位置、大小相同。样本二值图像中物料在物料盘上的数量、位置、大小、形状与样本灰度图像中物料在物料盘上的位置、大小、形状相同。

在一组对应的样本子灰度图像与样本子二值图像中,样本子灰度图像的中心像素点在样本灰度图像中的位置,与样本子二值图像的中心像素点在样本二值图像中的位置相同。

示例性的,样本子灰度图像与样本子二值图像的预设尺寸可以为256*256个像素。

作为一种可能的实现方式,确定装置可以根据物料盘的标识,以及物料的标识,从样本库中获取与物料盘的标识以及物料的标识对应的多个样本子灰度图像,以及与多个样本子灰度图像一一对应的多个样本二值图像。

需要说明的,样本库中包括多个子灰度图像以及与多个子灰度图像一一对应的多个子二值图像。一个子灰度图像以及与其对应的一个子二值图像,称之为一组训练样本。一组训练样本对应于一个物料盘以及一个物料。

其中,多个子灰度图像用于作为图像处理模型训练中的特征,多个子二值图像用于作为图像处理模型训练中的标签。

在一种可能的情况下,样本灰度图像中在包括物料盘以及物料的情况下,还可以包括背景。背景为确定装置在生成样本灰度图像时生成的。

需要说明的,样本灰度图像中是否存在背景,取决于样本灰度图像的预设尺寸、形状以及物料盘的尺寸、形状。

可以理解的,若物料盘的尺寸小于样本灰度图像的尺寸,或者物料盘的形状与样本灰度图像的形状不同,都会导致样本灰度图像中存在背景。

示例性的,在一个样本灰度图像中,边缘处为空白的背景,中间圆形为灰色的物料盘,物料盘中放置有多个黑色的物料。

样本二值图像中存在背景以及多个连通区域。其中的连通区域用于表示物料盘中的物料。

本发明实施例中,如何确定样本库、样本灰度图像以及样本二值图像的实施方式,具体可以参照本发明实施例中的后续描述,此处不再进行赘述。

s302、确定装置基于多个样本子灰度图像以及多个样本子二值图像,训练得到图像处理模型。

其中,图像处理模型用于确定与输入的待处理子灰度图像对应的目标子二值图像。

作为一种可能的实现方式,确定装置将多个样本子灰度图像作为特征,将多个样本子二值图像作为标签,对预设的模型进行训练,以得到图像处理模型。

此步骤的具体实现方式,可以参照本发明实施例中的后续描述,此处不再进行赘述。

在一种设计中,为了能够构建一个用于提供样本数据的样本库,如图5所示,本发明实施例提供的物料信息的确定方法,还包括下述s303-s305。

s303、确定装置获取多个样本灰度图像以及与多个样本灰度图像一一对应的多个样本二值图像。

其中,每个样本灰度图像中包括物料盘以及物料。多个样本二值图像与多个样本灰度图像一一对应。对于相互对应的一组样本灰度图像以及样本二值图像,二者包括的物料盘的大小、形状、位置相同,二者包括的物料在物料盘上的数量、大小、形状、位置也都相同。

作为一种可能的实现方式,确定装置可以根据物料盘的标识,确定物料盘的大小、形状以及物料盘上每个像素点的位置以及灰度值。同时,确定装置从物料库中获取物料的形状、大小以及物料上每个像素点的位置以及灰度值。进一步的,确定装置根据获取到的物料盘的形状、大小、灰度值以及物料的形状、大小、像素点的位置及灰度值,以及预设的不同排列规则,生成不同的多个样本灰度图像,以及与多个样本灰度图像一一对应的多个样本二值图像。

此步骤的具体实现方式,可以参照本发明实施例的后续描述,此处不再进行赘述。

s304、确定装置对多个样本灰度图像以及多个样本二值图像分别进行裁剪处理,以得到多个子灰度图像以及多个子二值图像。

作为一种可能的实现方式,确定装置基于预设的尺寸,对每个样本灰度图像以及每个样本二值图像进行分处理,以得到多个子灰度图像以及多个子二值图像。

需要说明的,裁剪得到多个子灰度图像以及多个子二值图像一一对应。

s305、确定装置基于裁剪处理得到的多个子灰度图像以及多个子二值图像,生成样本库。

其中,样本库中包括多个样本子灰度图像以及多个样本子二值图像。

作为一种可能的实现方式,确定装置存储裁剪处理得到的多个子灰度图像以及多个子二值图像,作为样本库。

需要说明的,在样本库中,一组样本包括相互对应的一个子灰度图像对应于一个子二值图像,一组样本对应与一个物料盘的标识,以及在物料盘上放置的物料的标识。

在s305之后,本发明实施例提供的上述s301,具体可以包括:

s3011、确定装置从样本库中获取多个样本子灰度图像以及多个样本子二值图像。

作为一种可能的实现方式,确定装置可以根据物料盘的标识以及物料的标识,从样本库中获取多个样本子灰度图像以及多个样本子二值图像。

在一种设计中,为了能够获取多个样本灰度图像以及多个样本二值图像,结合图5,如图6所示,本发明实施例提供的s303,具体可以包括下述s401-s403。

s401、确定装置获取原始射线图像。

其中,原始射线图像为对物料盘以及物料进行射线照射得到的图像。

作为一种可能的实现方式,确定装置可以从电子设备中获取原始射线图像。

s402、确定装置从原始射线图像中获取物料盘上每个像素点的灰度值、物料中每个像素点的灰度值,以及物料的属性。

其中,物料的属性包括形状和/或大小。

作为一种可能的实现方式,确定装置可以对包括物料盘以及物料的原始射线图像进行图像识别,从原始射线图像中获取物料盘上每个像素点的位置、灰度值、物料中每个像素点的灰度值、以及物料的属性。

作为另外一种可能的实现方式,确定装置还可以对原始射线图像进行相应的图像处理,并从经处理得到的图像中确定物料盘上每个像素点的位置、灰度值、物料中每个像素点的灰度值、以及物料的属性。

此步骤的具体实现方式,可以参照本发明实施例的后续描述,此处不再进行赘述。

s403、确定装置根据确定到的灰度值,以及物料的属性,生成多个样本灰度图像,以及多个样本二值图像。

作为一种可能的实现方式,确定装置根据物料盘上的像素点的灰度值、物料中的像素点的灰度值以及物料盘的形状、大小、物料的形状、大小,随机生成多个样本灰度图像。

在每个样本灰度图像中,物料在物料盘上的位置分布、数量都不同。

此步骤中生成样本灰度图像的具体实现方式,可以参照本发明实施例的后续描述,此处不再进行赘述。

进一步的,确定装置在生成样本灰度图像之后,根据物料以及物料盘在样本灰度图像中的数量、位置、大小、形状,生成与样本灰度图像对应的样本二值图像。

在一种设计中,为了能够获取物料盘上像素点的灰度值、物料上像素点的灰度值、物料的参数。以及提高待处理模型训练的速度,结合图6,如图7所示,本发明实施例提供的s402,具体可以包括下述s4021-s4022。

s4021、确定装置对原始射线图像执行预处理操作,以生成预处理图像。

其中,预处理操作包括位图转换和/或灰度拉伸。

此步骤的具体实现方式,可以参照本发明实施例在上述s201中的描述,此处不再进行赘述,不同之处在于预处理的对象不同。

s4022、确定装置从预处理图像中确定物料盘上每个像素点的灰度值、物料中每个像素点的灰度值,以及物料的属性。

作为一种可能的实现方式,确定装置对预处理图像进行图像识别,以确定预处理图像中物料盘上每个像素点的灰度值、物料中每个像素点的灰度值,以及物料的属性。

在一种设计中,在预处理图像中,由于物料盘上的物料遮挡了物料盘,为了能够确定物料盘上被物料遮挡的像素点的灰度值,结合图7,如图8所示,本发明实施例提供的s4022,具体包括下述s501-s504。

s501、对于物料盘中被物料覆盖的目标像素点,确定装置获取第一像素点的位置以及灰度值。

其中,第一像素点包括未被物料覆盖,且距离目标像素点小于或等于第一阈值的像素点。

作为一种可能的实现方式,确定装置根据第一阈值,从物料盘中确定第一像素点,并获取第一像素点的位置以及灰度值。

需要说明的,第一阈值可以由物料信息确定系统的开发人员预先在确定装置中设置。

s502、确定装置确定第一像素点与目标像素点之间的距离。

作为一种可能的实现方式,确定装置根据每一个像素点的位置以及目标像素点的位置,确定每一个第一像素点与目标像素点之间的距离。

s503、确定装置基于确定到的距离,确定第一像素点的灰度值权重。

其中,第一像素点的灰度值权重与第一像素点与目标像素点之间的距离成反比。

作为一种可能的实现方式,确定装置根据确定到的距离,从距离与灰度值权重的映射关系中,查询每一个第一像素点对应的灰度值权重。

需要说明的,距离与灰度值权重的映射关系,可以由开发人员预先在确定装置中设置。

s504、确定装置根据确定到的第一像素点的灰度值权重,对第一像素点的灰度值加权,以确定目标像素点的灰度值。

作为一种可能的实现方式,确定装置根据确定到的多个第一像素点的灰度值权重,对多个第一像素点的灰度值进行加权处理,以确定目标像素点的灰度值。

此步骤中加权处理的具体实现方式,可以参照现有技术,此处不再进行赘述。

在一种设计中,为了能够获取到多个样本灰度图像,以及扩大图像处理模型的训练样本,结合图6,如图9所示,本发明实施例提供的s403,具体包括下述s4031-s4032。

s4031、确定装置根据物料盘上每个像素点的灰度值,生成背景图像。

其中,背景图像包括物料盘以及空余区域。

作为一种可能的实现方式,确定装置根据物料盘上每个像素点的灰度值、物料盘的形状,生成背景图像。

需要说明的,背景图像的尺寸大于物料盘的尺寸。空余区域为背景图像内除物料盘之外的区域。空余区域的灰度值可以由运维人员预先在确定装置中设置。

示例性的,空余区域的灰度值为255。

在另一种示例下,空余区域的灰度值可以与物料盘的灰度值相同。

可以理解的,空余区域的大小及形状,取决于物料盘在背景图像中的大小及形状。

s4032、确定装置根据物料中每个像素点的灰度值、物料的属性,合并背景图像以及物料,以生成多个样本灰度图像。

其中,每个样本灰度图像中物料在背景图像中的位置和/或数量不同。

作为一种可能的实现方式,确定装置根据物料中每个像素点的灰度值、物料的属性,按照不同的排列规则,对背景图像以及物料进行合并,以生成多个样本灰度图像。

图10示例性的示出了一个样本灰度图像的示意图。

如图10所示,在样本灰度图像中,白色区域为空余区域,圆形的灰色区域为物料盘,黑色矩形为多个物料。

在图10中,多个物料在背景图像中有规则的呈圆形排列,在同一个圆上,相邻两个物料之间的间距相同,相邻的两个同心圆的半径差相同。

在一种设计中,为了能够对样本灰度图像进行裁剪处理,结合图5,如图11所示,本发明实施例提供的s304,具体包括下述s3041-s3042。

s3041、对于第一样本灰度图像,确定装置确定第一样本灰度图像中的关键像素点。

其中,第一样本灰度图像为多个样本灰度图像中的任意一个样本灰度图像,关键像素点的采样权重满足预设条件,采样权重用于反映像素点作为模型训练样本的概率。

作为一种可能的实现方式,确定装置确定第一样本灰度图像中每一个像素点的采样权重,并根据第一样本灰度图像中物料盘上的像素点的采样权重,确定用于标识物料盘的像素点,以及,确定装置根据第一样本灰度图像中物料上的像素点的采样权重,确定用于标识物料的像素点。

此步骤中确定装置确定第一样本灰度图像中每一个像素点的采样权重的实现方式,可以参照本发明实施例的后续说明,此处不再进行赘述。

需要说明的,用于标识物料盘的像素点,可以为物料盘上的任意像素点。用于标识物料的像素点,可以为物料的边界上的像素点以及物料边界内部的像素点。

进一步的,确定装置根据确定到的用于标识物料盘的像素点以及用于标识物料的像素点为关键像素点。

s3042、确定装置基于关键像素点以及预设的图像尺寸,分别对第一样本灰度图像以及第一样本二值图像进行裁剪处理,以得到多个子灰度图像,以及与多个子灰度图像一一对应的多个子二值图像。

其中,第一样本二值图像为多个样本二值图像中与第一样本灰度图像对应的样本二值图像。

作为一种可能的实现方式,确定装置在确定第一样本灰度图像的关键像素点之后,以关键像素点为中心点,按照预设的尺寸,对第一样本灰度图像以及第一样本二值图像进行裁剪处理,以得到多个子灰度图像以及多个子二值图像。

需要说明的,多个子灰度图像以及多个子二值图像的尺寸大小相同,都为上述预设的尺寸。

示例性的,上述预设的尺寸可以为256*256个像素。

在一种设计中,为了能够确定第一样本灰度图像中的关键像素点,如图12所示,本发明实施例提供的s3041,具体包括下述s601-s604。

s601、确定装置确定第一样本灰度图像中的第一采样权重以及第二采样权重。

其中,第一采样权重包括第一样本灰度图像的背景图像上像素点的采样权重,第二采样权重包括物料上的像素点的采样权重。背景图像包括物料盘以及空余区域。

作为一种可能的实现方式,确定装置获取背景图像上像素点的位置、灰度值以及物料盘的中心像素点的位置,并根据获取到的位置、灰度值,确定第一采样权重。

另一方面,确定装置获取第一样本灰度图像中每个物料上的像素点的位置,并根据每个物料上的像素点的位置,确定第二采样权重。

此步骤中确定第一采样权重以及第二采样权重的具体实现方式,可以参照本发明实施例提供的后续说明,此处不再进行赘述。

s602、确定装置根据第一采样权重,从第一样本灰度图像的背景图像中确定第一目标像素点。

其中,第一目标像素点包括物料盘上的像素点。

作为一种可能的实现方式,确定装置按照第一采样权重的大小排序,确定第一预设数量的像素点作为第一目标像素点。

作为另外一种可能的实现方式,确定装置基于第一采样权重的大小分布情况,按照概率分布抽样的方法,确定第一预设数量的像素点作为第一目标像素点。

需要说明的,第一预设数量可以由开发人员预先在确定装置中预先设置。

s603、确定装置根据第二采样权重,从物料上的像素点中确定第二目标像素点。

其中,第二目标像素点包括距离物料的边界的距离小于或等于第二阈值的像素点。

作为一种可能的实现方式,确定装置按照第二采样权重的大小排序,确定第二预设数量的像素点作为第二目标像素点。

作为另外一种可能的实现方式,确定装置基于第二采样权重的大小分布情况,按照概率分布抽样的方法,确定第二预设数量的像素点作为第二目标像素点。

需要说明的,第二预设数量可以由开发人员预先在确定装置中预先设置。

在一种情况下,第二预设数量与第一预设数量相同。在另外一种情况下,第二预设数量与第一预设数量不同。

s604、确定装置确定第一目标像素点以及第二目标像素点为第一样本灰度图像中的关键像素点。

作为一种可能的实现方式,确定装置在确定第一目标像素点以及第二目标像素点之后,将第一目标像素点以及第二目标像素点确定为第一样本灰度图像中的关键像素点。

在一种设计中,为了能够确定第一采样权重,如图13所示,本发明实施例提供的s601,具体包括下述s6011-s6013。

s6011、确定装置从背景图像中确定背景图像的像素点的位置、灰度值以及物料盘的中心像素点的位置。

作为一种可能的实现方式,确定装置从背景图像中确定背景图像上像素点的位置、灰度值,以及物料盘的中心像素点的位置。

需要说明的,物料盘的中心像素点的位置即为物料盘的中心。

s6012、确定装置根据背景图像的像素点的位置以及中心像素点的位置,确定背景图像中每个像素点分别与中心像素点之间的距离。

s6013、确定装置根据确定到的距离以及背景图像的像素点的灰度值,确定第一采样权重。

其中,第一采样权重与背景图像的像素点对应的距离成反比,且第一采样权重与背景图像的像素点的灰度值成反比。

作为一种可能的实现方式,确定装置根据确定到的距离、背景图像的像素点的灰度值以及预设的公式,确定第一采样权重。

在一种情况下,对于背景图像上的任意一个像素点的第一采样权重,满足以下公式二:

其中,bwj为背景图像上的第j个像素点的第一采样权重,b为背景图像上的像素点的个数,d(j,c)为背景图像上第j个像素点与中心像素点之间的距离,gj为背景图像上第j个物料像素点的灰度值。

在一种设计中,为了能够确定第二采样权重,如图13所示,本发明实施例提供的s601,具体还包括下述s6014-s6016。

s6014、对于第一物料,确定装置获取第一物料上像素点的位置。

其中,第一物料为第一样本灰度图像中的任意一个物料。

作为一种可能的实现方式,确定装置从第一样本灰度图像中获取第一物料上像素点的位置。

s6015、对于第二像素点,确定装置根据获取到的物料上的像素点的位置,确定第二像素点分别与每个第三像素点之间的距离。

其中,第二像素点为物料上的像素点中的任意一个像素点,第三像素点包括第一物料的边界上的像素点。

s6016、确定装置根据确定到的距离,确定第二采样权重。

其中,第二采样权重与第二像素点对应的距离成反比。

作为一种可能的实现方式,确定装置根据确定到的距离以及预设二公式,确定第二像素点的第二采样权重。

在一种情况下,第一物料上任意一个像素点的第二采样权重满足以下公式三:

其中,pwi为第一物料上第i个像素点的第二采样权重,p为第一物料上的像素点的个数,d(i,k)为第一物料上第i个像素点与第一物料的边界上第k个像素点之间的距离,e为第一物料的边界上的像素点的个数。

在一种设计中,为了能够训练得到图像处理模型,结合图4,如图14所示,本发明实施例提供的s302,具体包括下述s3021。

s3021、确定装置将多个样本子灰度图像作为特征,以及,将多个样本子二值图像作为标签,对预设的神经网络进行下采样训练,以确定图像处理模型。

其中,下采样训练的次数与物料的大小成反比。

需要说明的,预设的神经网络为高分辨率深度神经网络(high-resolutionnetwork,hrnet)。

图15示出了hrnet的一种结构示意图。

示例性的,如图15所示,hrnet包括3层下采样次数,在实际应用过程中,还可以存在更多或更少的下采样次数。

在一种情况下,确定装置还可以基于第三预设数量的样本子灰度图像以及第三预设数量的样本子二值图像作为hrnet的损失函数的训练样本,用以防止hrnet输出结果的拟合或者过拟合。

示例性的,第三预设数量可以为用于参加训练图像处理模型的样本子灰度图像的数量的五分之一。

基于上述实施例提供的技术方案,能够基于得到的多个样本子灰度图像以及多个样本子二值图像,训练得到图像处理模型。由于多个样本子灰度图像为裁剪包括物料盘以及物料的样本灰度图像后,得到的用于反映物料盘以及物料的特征的子灰度图像,因此,在上述模型的训练过程中,参与训练的样本能够反映样本灰度图像中的主要灰度信息,无需引入样本灰度图像中过多无用的背景信息,能够减少设备的硬件资源压力,并提高了训练速度。

上述实施例主要从装置(设备)的角度对本发明实施例提供的方案进行了介绍。可以理解的是,为了实现上述方法,装置或设备包含了执行各个方法流程相应的硬件结构和/或软件模块,这些执行各个方法流程相应的硬件结构和/或软件模块可以构成一个物料信息的确定装置。本领域技术人员应该很容易意识到,结合本文中所公开的实施例描述的各示例的算法步骤,本发明能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。

本发明实施例可以根据上述方法示例对装置或设备进行功能模块的划分,例如,装置或设备可以对应各个功能划分各个功能模块,也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。需要说明的是,本发明实施例中对模块的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。

在采用对应各个功能划分各个功能模块的情况下,图16示出了物料信息的确定装置的一种可能的结构示意图。如图16所示,本发明实施例提供的确定装置包括获取单元701、处理单元702、生成单元703以及确定单元704。

获取单元701,用于获取待处理灰度图像。待处理灰度图像包括对包括物料盘以及物料的待处理射线图像执行预处理操作得到的,预处理操作包括位图转换和/或灰度拉伸。例如,如图2所示,获取单元701可以用于执行s201。

处理单元702,用于按照预设尺寸,对获取单元701获取到的待处理灰度图像进行裁剪处理,以生成多个待处理子灰度图像。待处理灰度图像由多个待处理子灰度图像组成。例如,如图2所示,获取单元701可以用于执行s202。

生成单元703,用于基于多个待处理子灰度图像以及预设的图像处理模型,生成与多个待处理子灰度图像一一对应的多个目标子二值图像。例如,如图2所示,生成单元703可以用于执行s203。

确定单元704,用于根据生成单元703生成到的多个目标子二值图像,确定待处理射线图像中物料的数量及物料在物料盘上的位置。例如,如图2所示,确定单元704可以用于执行s204。

可选的,如图16所示,本发明实施例提供的物料信息的确定装置,其特征在于,确定单元704,具体用于:

合并多个目标子二值图像,以得到目标二值图像。目标二值图像的尺寸与待处理灰度图像的尺寸相同。例如,如图3所示,确定单元704可以用于执行s2041。

确定目标二值图像中的连通区域,以确定物料的数量以及物料在物料盘上的位置。一个连通区域用于表征一个物料。例如,如图3所示,确定单元704可以用于执行s2042。

可选的,如图16所示,本发明实施例提供的物料信息的确定装置,其特征在于,确定装置包括训练单元705。

获取单元701,还用于获取多个样本子灰度图像以及多个样本子二值图像。多个样本子二值图像与多个样本子灰度图像一一对应。多个样本子灰度图像为裁剪包括物料盘以及物料的样本灰度图像后,得到的用于反映物料盘以及物料的特征的灰度图像。例如,如图4所示,获取单元701可以用于执行s301。

训练单元705,用于基于获取单元701获取到的多个样本子灰度图像以及多个样本子二值图像,训练得到图像处理模型。图像处理模型用于确定与输入的待处理子灰度图像对应的目标子二值图像。例如,如图4所示,训练单元705可以用于执行s302。

可选的,如图16所示,本发明实施例提供的物料信息的确定装置,其特征在于,获取单元701,还用于获取多个样本灰度图像以及与多个样本灰度图像一一对应的多个样本二值图像。每个样本灰度图像中包括物料盘以及物料。例如,如图5所示,获取单元701可以用于执行s303。

处理单元702,还用于对多个样本灰度图像以及多个样本二值图像分别进行裁剪处理。例如,如图5所示,处理单元702可以用于执行s304。

生成单元703,还用于基于处理单元702裁剪处理得到的多个子灰度图像以及多个子二值图像,生成样本库。例如,如图5所示,生成单元703可以用于执行s305。

获取单元701,具体用于从样本库中获取多个样本子灰度图像以及多个样本子二值图像。例如,如图5所示,获取单元701可以用于执行s3011。

可选的,如图16所示,本发明实施例提供的物料信息的确定装置,其特征在于,获取单元701,具体用于:

获取原始射线图像。原始射线图像为对物料盘以及物料进行射线照射得到的图像。例如,如图6所示,获取单元701可以用于执行s401。

从原始射线图像中获取物料盘上每个像素点的灰度值、物料中每个像素点的灰度值,以及物料的属性。物料的属性包括形状和/或大小。例如,如图6所示,获取单元701可以用于执行s402。

根据确定到的灰度值,以及物料的属性,生成多个样本灰度图像,以及多个样本二值图像。例如,如图6所示,获取单元701可以用于执行s403。

可选的,如图16所示,本发明实施例提供的物料信息的确定装置,其特征在于,获取单元701,具体还用于:

对原始射线图像执行预处理操作,以生成预处理图像。预处理操作包括位图转换和/或灰度拉伸。例如,如图7所示,获取单元701可以用于执行s4021。

从预处理图像中确定物料盘上每个像素点的灰度值、物料中每个像素点的灰度值,以及物料的属性。例如,如图7所示,获取单元701可以用于执行s4022。

可选的,如图16所示,本发明实施例提供的物料信息的确定装置,其特征在于,获取单元701,具体还用于:

对于物料盘中被物料覆盖的目标像素点,获取第一像素点的位置以及灰度值。第一像素点包括未被物料覆盖,且距离目标像素点小于或等于第一阈值的像素点。例如,如图8所示,获取单元701可以用于执行s501。

确定第一像素点与目标像素点之间的距离,并基于确定到的距离,确定第一像素点的灰度值权重。第一像素点的灰度值权重与第一像素点与目标像素点之间的距离成反比。例如,如图8所示,获取单元701可以用于执行s502-s503。

根据确定到的第一像素点的灰度值权重,对第一像素点的灰度值加权,以确定目标像素点的灰度值。例如,如图8所示,获取单元701可以用于执行s504。

可选的,如图16所示,本发明实施例提供的物料信息的确定装置,其特征在于,获取单元701,具体还用于:

根据物料盘上每个像素点的灰度值,生成背景图像。背景图像包括物料盘以及空余区域。例如,如图9所示,获取单元701可以用于执行s4031。

根据物料中每个像素点的灰度值、物料的属性,合并背景图像以及物料,以生成多个样本灰度图像。每个样本灰度图像中物料在背景图像中的位置和/或数量不同。例如,如图9所示,获取单元701可以用于执行s4032。

可选的,如图16所示,本发明实施例提供的物料信息的确定装置,其特征在于,生成单元703,具体用于:

对于第一样本灰度图像,确定第一样本灰度图像中的关键像素点。第一样本灰度图像为多个样本灰度图像中的任意一个样本灰度图像,关键像素点的采样权重满足预设条件,采样权重用于反映像素点作为模型训练样本的概率。例如,如图11所示,生成单元703可以用于执行s3041。

基于关键像素点以及预设的图像尺寸,分别对第一样本灰度图像以及第一样本二值图像进行裁剪处理,以得到多个子灰度图像,以及与多个子灰度图像一一对应的多个子二值图像。第一样本二值图像为多个样本二值图像中与第一样本灰度图像对应的样本二值图像。例如,如图11所示,生成单元703可以用于执行s3042。

可选的,如图16所示,本发明实施例提供的物料信息的确定装置,其特征在于,生成单元703,具体还用于:

确定第一样本灰度图像中的第一采样权重以及第二采样权重。第一采样权重包括第一样本灰度图像的背景图像上像素点的采样权重,第二采样权重包括物料上的像素点的采样权重。背景图像包括物料盘以及空余区域。例如,如图12所示,生成单元703可以用于执行s601。

根据第一采样权重,从第一样本灰度图像的背景图像中确定第一目标像素点。第一目标像素点包括物料盘上的像素点。例如,如图12所示,生成单元703可以用于执行s602。

根据第二采样权重,从物料上的像素点中确定第二目标像素点。第二目标像素点包括距离物料的边界的距离小于或等于第二阈值的像素点。例如,如图12所示,生成单元703可以用于执行s603。

确定第一目标像素点以及第二目标像素点为第一样本灰度图像中的关键像素点。例如,如图12所示,生成单元703可以用于执行s604。

可选的,如图16所示,本发明实施例提供的物料信息的确定装置,其特征在于,生成单元703,具体还用于:

从背景图像中确定背景图像的像素点的位置、灰度值以及物料盘的中心像素点的位置。例如,如图13所示,生成单元703可以用于执行s6011。

根据背景图像的像素点的位置以及中心像素点的位置,确定背景图像中每个像素点分别与中心像素点之间的距离。例如,如图13所示,生成单元703可以用于执行s6012。

根据确定到的距离以及背景图像的像素点的灰度值,确定第一采样权重。第一采样权重与背景图像的像素点对应的距离成反比,且第一采样权重与背景图像的像素点的灰度值成反比。例如,如图13所示,生成单元703可以用于执行s6013。

可选的,如图16所示,本发明实施例提供的物料信息的确定装置,其特征在于,生成单元703,具体还用于:

对于第一物料,获取第一物料上像素点的位置。第一物料为第一样本灰度图像中的任意一个物料。例如,如图13所示,生成单元703可以用于执行s6014。

对于第二像素点,根据获取到的物料上的像素点的位置,确定第二像素点分别与每个第三像素点之间的距离。第二像素点为物料上的像素点中的任意一个像素点,第三像素点包括第一物料的边界上的像素点。例如,如图13所示,生成单元703可以用于执行s6015。

根据确定到的距离,确定第二采样权重。第二采样权重与第二像素点对应的距离成反比。例如,如图13所示,生成单元703可以用于执行s6016。

可选的,如图16所示,本发明实施例提供的确定装置物料信息的确定装置,其特征在于,训练单元705,具体用于:

将多个样本子灰度图像作为特征,以及,将多个样本子二值图像作为标签,对预设的神经网络进行下采样训练,以确定图像处理模型。下采样训练的次数与物料的大小成反比。例如,如图14所示,训练单元705可以用于执行s3021。

关于上述实施例中的装置及设备,其中各个模块执行操作的具体方式及相应的有益效果已经在前述中的物料信息的确定方法的实施例中进行了详细描述,此处将不再赘述。

关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。

图17是本发明提供的电子设备的结构示意图。如图17,该电子设备80可以包括至少一个处理器801以及用于存储处理器可执行指令的存储器803。其中,处理器801被配置为执行存储器803中的指令,以实现上述实施例中的物料信息的确定方法。

另外,电子设备80还可以包括通信总线802以及至少一个通信接口804。

处理器801可以是一个处理器(centralprocessingunits,cpu),微处理单元,asic,或一个或多个用于控制本发明方案程序执行的集成电路。

通信总线802可包括一通路,在上述组件之间传送信息。

通信接口804,使用任何收发器一类的装置,用于与其他设备或通信网络通信,如以太网,无线接入网(radioaccessnetwork,ran),无线局域网(wirelesslocalareanetworks,wlan)等。

存储器803可以是只读存储器(read-onlymemory,rom)或可存储静态信息和指令的其他类型的静态存储设备,随机存取存储器(randomaccessmemory,ram)或者可存储信息和指令的其他类型的动态存储设备,也可以是电可擦可编程只读存储器(electricallyerasableprogrammableread-onlymemory,eeprom)、只读光盘(compactdiscread-onlymemory,cd-rom)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。存储器可以是独立存在,通过总线与处理单元相连接。存储器也可以和处理单元集成在一起。

其中,存储器803用于存储执行本发明方案的指令,并由处理器801来控制执行。处理器801用于执行存储器803中存储的指令,从而实现本发明方法中的功能。

在具体实现中,作为一种实施例,处理器801可以包括一个或多个cpu,例如图17中的cpu0和cpu1。

在具体实现中,作为一种实施例,电子设备80可以包括多个处理器,例如图17中的处理器801和处理器807。这些处理器中的每一个可以是一个单核(single-cpu)处理器,也可以是一个多核(multi-cpu)处理器。这里的处理器可以指一个或多个设备、电路、和/或用于处理数据(例如计算机程序指令)的处理核。

在具体实现中,作为一种实施例,电子设备80还可以包括输出设备805和输入设备806。输出设备805和处理器801通信,可以以多种方式来显示信息。例如,输出设备805可以是液晶显示器(liquidcrystaldisplay,lcd),发光二级管(lightemittingdiode,led)显示设备,阴极射线管(cathoderaytube,crt)显示设备,或投影仪(projector)等。输入设备806和处理器801通信,可以以多种方式接受用户的输入。例如,输入设备806可以是鼠标、键盘、触摸屏设备或传感设备等。

本领域技术人员可以理解,图17中示出的结构并不构成对电子设备80的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。

另外,本发明还提供一种计算机可读存储介质,包括指令,当指令由处理器执行时,使得处理器执行如上述实施例所提供的物料信息的确定方法。

另外,本发明还提供一种计算机程序产品,该计算机程序产品包括计算机指令,当计算机指令在电子设备上运行时,使得电子设备执行如上述实施例所提供的物料信息的确定方法。

本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本发明的其它实施方案。本发明旨在涵盖本发明的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本发明的真正范围和精神由权利要求指出。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1