物体抓取方法及装置、下料方法及装置和计算机程序产品与流程

本发明涉及下料，具体而言，涉及一种物体抓取方法及装置、下料方法及装置和计算机程序产品。

背景技术：

1、压缩机下料场景包含压缩机抓取和压缩机放置两个部分。其中，在抓取压缩机时，需要按照特定的抓取位姿准确抓取压缩机的相应位置。然而，在目前的压缩机下料方法中，受压缩机的工装误差的影响，降低了压缩机的抓取精度，从而降低了压缩机的抓取效率。

技术实现思路

1、本发明旨在至少解决现有技术或相关技术中存在的技术问题之一。

2、为此，本发明的第一个方面在于提出一种物体抓取方法。

3、本发明的第二个方面在于提出一种下料方法。

4、本发明的第三个方面在于提出一种物体抓取装置。

5、本发明的第四个方面在于提出一种下料装置。

6、本发明的第五个方面在于提出一种可读存储介质。

7、本发明的第六个方面在于提出一种计算机程序产品。

8、有鉴于此，根据本发明的第一个方面，提出了一种物体抓取方法，该方法包括：根据目标物体的目标点云和目标模板点云确定第一位姿；根据目标物体的目标图像和目标模板图像确定目标补偿值；根据目标补偿值调整第一位姿，得到第二位姿；根据第二位姿抓取目标物体。

9、在本发明所提供的物体抓取方法中，在抓取目标物体的过程中，对目标物体进行拍摄，以采集目标物体的目标点云以及目标图像，同时，调取预存储的目标物体的目标模板点云以及目标模板图像。进一步地，对获取到的目标模板点云以及目标点云进行配准，并根据配准结果确定抓取目标物体的初始抓取位姿即第一位姿。进一步地，对获取到的目标模板图像以及目标图像进行处理分析，以基于目标模板图像以及目标图像的差别，确定一个目标补偿值。

10、在此基础上，通过确定的目标补偿值，对上述确定的初始抓取位姿即第一位姿进行补偿调整，以得到更加精准的第二位姿，并根据补偿得到的第二位姿抓取目标物体。如此，在抓取目标物体的过程中，在通过点云配准确定抓取目标物体的初始抓取位姿即第一位姿之后，再借助目标物体的二维图像，对目标物体的初始抓取位姿进行补偿，从而得到精准的第二位姿。这样，能够对目标物体在生产过程中所产生的工件误差进行补偿，从而提升了目标物体的抓取位姿的精确度，提升了对目标物体进行抓取的准确性，从而提升了抓取目标物体的速度和效率，增强了产线的稳定性，降低了人工成本。

11、根据本发明的上述物体抓取方法，还可以具有以下附加技术特征：

12、在一些技术方案中，可选地，根据目标物体的目标图像和目标模板图像确定目标补偿值，包括：提取目标图像中的至少两个目标特征点；根据至少两个目标特征点的坐标信息，确定目标特征参数；根据目标特征参数和目标模板图像对应的模板特征参数，确定目标补偿值。

13、在该技术方案中，在通过对目标模板图像以及目标图像进行处理分析，从而确定上述目标补偿值的过程中，具体地，对目标图像进行特征提取，以提取得到目标图像中的至少两个目标特征点。进一步地，根据提取到的至少两个目标特征点的坐标信息，确定目标图像的目标特征参数，该目标特征参数对应目标物体的实际特征，通过目标特征参数，能够指示目标物体的实际特征信息如尺寸特征信息、结构特征信息等。进一步地，调取目标物体的目标模板点云所对应的目标模板图像，并获取目标模板图像中的模板特征参数。

14、在此基础上，再对上述目标特征参数以及模板特征参数进行比较，以确定目标特征参数以及模板特征参数的差异值，进而再根据该差异值，确定用于补偿上述第一位姿的目标补偿值。如此，通过特征提取确定目标图像的目标特征参数，进而再基于该目标特征参数与模板特征参数之间的差异值，分析目标模板图像与目标图像的差别，从而确定上述目标补偿值。这样，保证了目标补偿值确定的准确性，进而保证了第二位姿确定的准确性，提升了对目标物体进行抓取的准确性，从而提升了抓取目标物体的速度和效率。

15、在一些技术方案中，可选地，根据目标物体的目标点云和目标模板点云确定第一位姿，包括：对目标点云和目标模板点云进行配准；根据目标点云和目标模板点云确定配准分数；在配准分数大于目标阈值的情况下，根据配准结果和目标模板点云对应的目标模板位姿确定第一位姿。

16、在该技术方案中，在根据目标物体的目标模板点云以及目标点云，确定抓取目标物体的初始抓取位姿即第一位姿的过程中，具体地，对获取到的目标模板点云以及目标点云进行配准，并根据配准后的目标模板点云以及目标点云，确定对目标点云进行配准的配准分数。目标点云的配准分数用于指示目标点云的配准结果是否合理，也即用于指示目标点云是否配准成功，目标点云的配准分数越高，说明目标点云的配准结果越合理，也即说明目标点云配准成功。

17、在此基础上，将目标点云的配准分数与设定的目标阈值进行比较，仅在设定的目标阈值小于目标点云的配准分数的情况下，也即仅在目标点云的配准结果合理的情况下，也即仅在目标点云配准成功的情况下，才根据目标模板点云以及目标点云的配准结果，以及目标模板点云对应的目标模板位姿，确定抓取目标物体的初始抓取位姿即上述第一位姿。这样，仅在目标点云配准成功的情况下，才获取目标物体的初始抓取位姿即上述第一位姿，保证了第一位姿的可用性，进而保证了后续确定的第二位姿的准确性，提升了对目标物体进行抓取的准确性，提升了抓取目标物体的速度和效率。

18、在一些技术方案中，可选地，根据目标点云和目标模板点云确定配准分数，包括：根据目标点云和目标模板点云，确定目标点云中的多个目标点位，多个目标点位与目标模板点云中的部分点云点位的分布规律相同；根据多个目标点位和目标模板点云的位置坐标，确定多个目标点位与目标模板点云的距离信息，得到多个第一距离值；根据预设范围从多个第一距离值中选取多个第二距离值；根据多个第二距离值确定配准分数。

19、在该技术方案中，在根据目标模板点云以及目标点云，确定目标点云的配准分数的过程中，具体地，对目标模板点云以及目标点云进行分析，以根据目标模板点云以及目标点云中的点云点位的分布情况，确定目标点云中的多个目标点位。该多个目标点位与目标模板点云中的部分点云点位的分布规律相同，也即，上述目标点位为目标点云中，与目标模板点云的点云点位分布规律相同的点云点位。

20、进一步地，根据目标模板点云以及每个目标点位的位置信息，计算目标模板点云与每个目标点位之间的距离信息，得到多个第一距离值。进一步地，根据设定的预设范围，对多个第一距离值进行筛选，以从多个第一距离值中筛选得到多个第二距离值。在此基础上，再根据筛选得到的多个第二距离值，确定目标点云的配准分数。具体地，计算多个第二距离值的平均值，进而再通过对该平均值进行归一化处理，得到取值范围位于0与1之间的配准分数。这样，基于目标模板点云以及目标点云中的点云点位的分布情况，确定目标点云的配准分数，保证了得到的配准分数的准确性，从而保证了后续基于该配准分数对目标点云的配准结果进行合理性验证的准确性，进而提升了系统运行的稳定性，增强了产线的稳定性，降低了人工成本。

21、在一些技术方案中，可选地，根据配准结果和目标模板点云对应的目标模板位姿确定第一位姿，包括：根据配准结果确定目标变换矩阵；根据目标变换矩阵确定目标点云的目标偏转信息；根据目标偏转信息和目标模板位姿，确定第一位姿。

22、在该技术方案中，在基于目标模板点云与目标点云的配准结果，确定抓取目标物体的初始抓取位姿即上述第一位姿的过程中，具体地，基于目标模板点云与目标点云的配准结果，确定目标点云的目标变换矩阵，进而根据该目标变换矩阵，确定目标点云相对于目标模板点云的目标偏转信息。在此基础上，再获取目标模板点云对应的目标模板位姿，并基于该目标模板位姿以及上述目标偏转信息，确定抓取目标物体的初始抓取位姿即上述第一位姿。这样，通过点云配准的方式，确定目标物体的初始抓取位姿即上述第一位姿，保证了第一位姿确定的准确性，进而保证了后续确定的第二位姿的准确性，提升了对目标物体进行抓取的准确性，提升了抓取目标物体的速度和效率。

23、根据本发明的第二个方面，提出了一种下料方法，该方法包括：上述任一技术方案中的物体抓取方法的步骤；按照目标位姿，将目标物体放置在目标放置装置上。

24、本发明所提供的下料方法包括上述任一技术方案中的物体抓取方法的步骤。因此，本发明第二个方面所提出的下料方法具备上述第一个方面任一技术方案中的物体抓取方法的全部有益效果，在此不再赘述。

25、具体地，在本发明所提供的下料方法中，在通过上述物体抓取方法的各个方法步骤抓取目标物体之后，按照目标位姿，将抓取到的目标物体放置在目标放置装置上。其中，目标放置装置中包括用于放置目标物体的容纳腔，上述目标位姿与容纳腔相对应，基于目标位姿，将抓取到的目标物体精准放置在目标放置装置的容纳腔内。

26、根据本发明的上述下料方法，还可以具有以下附加技术特征：

27、在一些技术方案中，可选地，按照目标位姿，将目标物体放置在目标放置装置上，包括：根据目标放置装置的第一点云确定目标放置装置的第一图像，目标放置装置包括多个用于放置目标物体的容纳腔；根据第一图像确定第一点云中与任意一个容纳腔对应的第一子点云；对第一子点云和目标放置装置的第一模板点云中的第二子点云进行配准，根据配准结果确定与任意一个容纳腔对应的目标位姿，第一子点云和第二子点云相对应；根据目标位姿将目标物体放置在目标放置装置的容纳腔内。

28、在该技术方案中，在按照目标位姿，将目标物体放置在目标放置装置上的过程中，具体地，对目标放置装置进行拍摄，以获得目标放置装置在三维空间的第一点云，进而对目标放置装置的第一点云进行二维映射，以将三维空间的第一点云映射至二维空间中，从而得到目标放置装置在二维空间的第一图像。进一步地，上述目标放置装置中包括多个容纳腔，该容纳腔用于放置抓取的目标物体。

29、在此基础上，在得到目标放置装置在二维空间的第一图像之后，再基于该第一图像，对目标放置装置在三维空间的第一点云进行裁剪，以从第一点云中裁剪得到多个第一子点云，该多个第一子点云与目标放置装置中的多个容纳腔一一对应。进一步地，获取目标放置装置的第一模板点云，该第一模板点云中包括多个第二子点云，多个第二子点云与多个第一子点云一一对应，也即，多个第二子点云与目标放置装置中的多个容纳腔一一对应。

30、在此基础上，对于目标放置装置中的任意一个容纳腔，也即对于第一点云中的任意一个第一子点云，将该第一子点云与其对应的第二子点云进行配准，进而基于配准结果，确定一个目标位姿，该目标位姿为将目标物体放置在与该第一子点云相对应的容纳腔时，该容纳腔所对应的放置位姿。在此基础上，在对目标放置装置中的每个容纳腔所对应的目标位姿均确定完毕之后，再根据每个容纳腔所对应的目标位姿，将抓取到的目标物体放置在目标放置装置的容纳腔内。

31、如此，在放置目标物体的过程中，将目标放置装置在三维空间的第一点云投影到二维空间，结合二维方法，确定目标放置装置中的多个容纳腔的位置，进而在目标放置装置的第一点云中，裁剪出分别与多个容纳腔相对应的多个第一子点云，并将裁剪得到的多个第一子点云，分别与目标放置装置的第一模板点云中的多个第二子点云进行配准，从而得到对应每个容纳腔的放置位姿。这样，融合二维和三维算法，通过一配一的方式计算每个容纳腔的放置位姿，解决了常规点云配准算法耗时长、对初始变换矩阵依赖性高以及精度差的问题，减少了配准耗时，提升了放置精度和放置效率，增强了产线的稳定性，降低了人工成本。

32、在一些技术方案中，可选地，根据目标放置装置的第一点云确定目标放置装置的第一图像，包括：根据第一点云的坐标信息确定目标区域；根据目标区域调整第一点云的位置信息，得到第二点云；根据第二点云的坐标信息和目标区域的尺寸信息，确定第一图像。

33、在该技术方案中，在对目标放置装置的第一点云进行二维映射，从而将三维空间的第一点云映射至二维空间，以得到目标放置装置在二维空间的第一图像的过程中，具体地，对第一点云进行预处理，以滤除第一点云中的背景信息和噪声信息，进而根据预处理后的第一点云的坐标信息，确定第一点云所处的目标区域，该目标区域为一个三维空间。进一步地，再基于目标区域的坐标信息，对第一点云的位置信息进行调整，以将第一点云的位置调整至其所在的坐标系原点处，得到第二点云，以便于后续将三维点云映射为二维图像的计算。

34、在此基础上，再获取位置调整后得到的第二点云的坐标信息，进而基于上述目标区域的尺寸信息以及第二点云的坐标信息，对目标放置装置的第一点云进行二维映射，以将三维空间中第一点云的每个点云点位映射为二维空间中的像素点，从而得到目标放置装置在二维空间的第一图像。如此，通过二维映射，将目标放置装置在三维空间的第一点云，映射为目标放置装置在二维空间的第一图像，进而再借助映射得到的第一图像，进行后续的配准、位姿确定等工作，能够减少配准耗时，提升放置精度和放置效率，从而增强产线的稳定性。

35、在一些技术方案中，可选地，根据第一图像确定第一点云中与任意一个容纳腔对应的第一子点云，包括：根据第一图像，确定任意一个容纳腔在第一图像中的中心点信息；对第一图像和第一模板点云的第一模板图像进行配准，确定第一变换矩阵；根据中心点信息和第一变换矩阵，确定第一点云中的第一点位；根据第一点位和目标尺寸信息确定第一子点云。

36、在该技术方案中，在基于上述第一图像，对目标放置装置在三维空间的第一点云进行裁剪，以从第一点云中裁剪得到对应每个容纳腔的第一子点云的过程中，具体地，对上述目标放置装置的第一图像进行分析处理，以确定目标放置装置中的容纳腔在上述第一图像中的中心点信息。进一步地，获取目标放置装置的第一模板点云所对应的二维图像即第一模板图像，并将该第一模板图像与上述第一图像进行二维配准，得到第一变换矩阵。进一步地，根据上述第一变换矩阵以及中心点信息，将容纳腔在上述第一图像中的中心点，映射回第一点云中，以确定第一点云中与上述中心点信息相对应的第一点位。

37、在此基础上，再将上述确定的第一点位作为待裁剪的第一子点云的点云中心，按照设定的每个第一子点云的目标尺寸信息，对第一点云进行裁剪，以从第一点云中裁剪得到对应容纳腔的第一子点云。如此，结合二维方法，确定目标放置装置中的多个容纳腔在二维图像中的位置，进而将该位置映射回三维点云，并在目标放置装置的第一点云中，裁剪出分别与多个容纳腔相对应的多个第一子点云。这样，通过在二维空间进行配准，确定容纳腔在三维点云中的位置信息，进而再进行后续的计算，解决了常规点云配准算法耗时长、对初始变换矩阵依赖性高以及精度差的问题，减少了配准耗时，提升了放置精度和放置效率，增强了产线的稳定性，降低了人工成本。

38、在一些技术方案中，可选地，根据目标位姿将目标物体放置在目标放置装置的容纳腔内，包括：根据第一子点云和第一模板点云，确定第一子点云对应的容纳腔的占位情况，以得到被占位的容纳腔的目标列表；在目标列表为空的情况下，按照目标放置装置中容纳腔的排列顺序，根据目标位姿将目标物体放置在目标放置装置的容纳腔内；在目标列表不为空且目标列表中的容纳腔符合目标条件的情况下，根据目标位姿将目标物体放置在首个未被占位的容纳腔内。

39、在该技术方案中，在根据每个容纳腔所对应的目标位姿，将抓取到的目标物体放置在目标放置装置的容纳腔内的过程中，具体地，通过对第一模板点云以及第一子点云进行分析处理，确定第一子点云所对应的容纳腔的占位情况，也即确定第一子点云所对应的容纳腔中是否已放置有目标物体。基于此，通过对目标放置装置中每个容纳腔的占位情况进行确定，得到目标放置装置中已被占位的容纳腔的目标列表。进一步地，对目标列表进行逻辑判断，并通过逻辑判断结果进行后续工作。

40、具体地，在上述目标列表为空的情况下，也即在目标放置装置中不存在已被占位的容纳腔的情况下，按照目标放置装置中各个容纳腔的排列顺序，根据确定的目标位姿将抓取到的目标物体依次放置在目标放置装置的各个容纳腔内。而在上述目标列表不为空，并且，上述目标列表中的容纳腔符合目标条件的情况下，则根据确定的目标位姿，从目标物体放置中第一个未被占位的容纳腔开始，将抓取到的目标物体依次放置在未被占位的容纳腔内。如此，在放置目标物体之前，对每个容纳腔的占位情况进行确定，进而再基于各个容纳腔的占位情况，进行后续的放置操作。这样，实现了物体放置过程中的断点续放原则，提升了系统运行的稳定性。

41、根据本发明的第三个方面，提出了一种物体抓取装置，该装置包括：处理单元，用于根据目标物体的目标点云和目标模板点云确定第一位姿；处理单元，还用于根据目标物体的目标图像和目标模板图像确定目标补偿值；处理单元，还用于根据目标补偿值调整第一位姿，得到第二位姿；抓取单元，用于根据第二位姿抓取目标物体。

42、本发明提供的物体抓取装置包括处理单元以及抓取单元。在抓取目标物体的过程中，对目标物体进行拍摄，以采集目标物体的目标点云以及目标图像，同时，调取预存储的目标物体的目标模板点云以及目标模板图像。进一步地，处理单元对获取到的目标模板点云以及目标点云进行配准，并根据配准结果确定抓取目标物体的初始抓取位姿即第一位姿。进一步地，处理单元对获取到的目标模板图像以及目标图像进行处理分析，以基于目标模板图像以及目标图像的差别，确定一个目标补偿值。

43、在此基础上，处理单元通过确定的目标补偿值，对上述确定的初始抓取位姿即第一位姿进行补偿调整，以得到更加精准的第二位姿，抓取单元进而根据补偿得到的第二位姿抓取目标物体。如此，在抓取目标物体的过程中，在通过点云配准确定抓取目标物体的初始抓取位姿即第一位姿之后，再借助目标物体的二维图像，对目标物体的初始抓取位姿进行补偿，从而得到精准的第二位姿。这样，能够对目标物体在生产过程中所产生的工件误差进行补偿，从而提升了目标物体的抓取位姿的精确度，提升了对目标物体进行抓取的准确性，从而提升了抓取目标物体的速度和效率，增强了产线的稳定性，降低了人工成本。

44、根据本发明的第四个方面，提出了一种下料装置，该装置包括：上述第三个方面技术方案中的物体抓取装置；物体放置装置，用于按照目标位姿，将目标物体放置在目标放置装置上。

45、本发明第四个方面所提出的下料装置包括上述第三个方面技术方案中的物体抓取装置。因此，本发明第四个方面所提出的下料装置具备上述第三个方面技术方案中的物体抓取装置的全部有益效果，在此不再赘述。

46、根据本发明的第五个方面，提出了一种可读存储介质，其上存储有程序或指令，该程序或指令被处理器执行时实现如上述任一技术方案中的物体抓取方法，或者，该程序或指令被处理器执行时实现如上述任一技术方案中的下料方法。

47、因此，本发明第五个方面所提出的可读存储介质具备上述第一个方面任一技术方案中的物体抓取方法的全部有益效果，或者，本发明第五个方面所提出的可读存储介质具备上述第二个方面任一技术方案中的下料方法的全部有益效果，在此不再赘述。

48、根据本发明的第六个方面，提出了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现如上述任一技术方案中的物体抓取方法，或者，该计算机程序被处理器执行时实现如上述任一技术方案中的下料方法。

49、因此，本发明第六个方面所提出的计算机程序产品具备上述第一个方面任一技术方案中的物体抓取方法的全部有益效果，或者，本发明第六个方面所提出的计算机程序产品具备上述第二个方面任一技术方案中的下料方法的全部有益效果，在此不再赘述。

50、本发明的附加方面和优点将在下面的描述部分中变得明显，或通过本发明的实践了解到。