一种图像处理方法、装置、存储介质及机器人与流程

本公开涉及计算机视觉领域，尤其涉及一种图像处理方法、装置、存储介质及机器人。

背景技术：

近年来，物体的位姿计算在机器人、自动化及机器视觉领域有着非常重要的应用，尤其是在计算机视觉领域。

在现有技术中，图像处理装置是根据目标物体的目标抓取面的高度信息，来确定目标物体的位姿，降低了图像处理装置确定目标物体位姿时的准确度。

技术实现要素：

本公开实施例提供一种图像处理方法、装置、存储介质及机器人。

本公开的技术方案是这样实现的：

本实施例提供一种图像处理方法，所述方法包括：

根据待处理多维图像的图像数据信息，从所述待处理多维图像中确定多个抓取面以及与所述多个抓取面对应的多个抓取点，其中，所述多个抓取面与所述多个抓取点一一对应；

确定所述多个抓取面对应的多个抓取参数的；

利用所述多个抓取参数对所述多个抓取面进行评估，并根据评估结果从所述多个抓取面中确定出目标抓取面；

将所述目标抓取面对应的抓取点作为目标抓取点；

根据所述目标抓取点，确定出所述目标抓取点对应的抓取点位姿，以根据所述抓取点位姿，从所述待处理多维图像中抓取所述目标抓取点对应的目标物体。

图像处理装置根据多个抓取参数值对多个抓取面进行评估，从而确定出目标抓取面，并非是根据单一的高度参数值来确定出目标抓取面，提高了图像处理装置确定目标抓取面的准确性，根据该准确度高的目标抓取面确定出目标物体的抓取点位姿，提高了图像处理装置确定目标物体位姿时的准确度。

在上述方案中，所述利用所述多个抓取参数对所述多个抓取面进行评估，并根据评估结果从所述多个抓取面中确定出目标抓取面，包括：

利用所述多个抓取参数分别对所述多个抓取面中的每一个抓取面进行评估，得到所述多个抓取面对应的多个抓取面评估值；

从所述多个抓取面评估值中确定出评估值最高的第一抓取面评估值，并将所述第一抓取面评估值对应的抓取面作为所述目标抓取面。

图像处理装置根据多个参数值分别对每一个抓取面进行评估，根据评估值从多个抓取面中确定出目标抓取面，提高了图像处理装置确定目标抓取面的准确性。

在上述方案中，所述多个抓取参数包括以下至少一种：

抓取面的面积参数、抓取面的高度参数、抓取面的平整度参数、抓取面的倾斜度参数。

具体阐述该多个抓取参数为抓取面的面积参数、抓取面的高度参数、抓取面的平整度参数或抓取面的倾斜度参数，图像处理装置可以利用这些抓取参数对多个抓取面进行评估，来提高确定目标抓取面时的准确性。

在上述方案中，所述根据待处理多维图像的图像数据信息，从所述待处理多维图像中确定多个抓取面以及与所述多个抓取面对应的多个抓取点，包括：

将所述待处理多维图像的图像数据信息输入深度学习网络模型中，得到多个像素点和所述多个像素点对应的多个中心点，所述深度学习网络模型为利用样本多维图像的样本图像数据信息对初始深度学习网络模型进行训练得到的模型，所述多个像素点和所述多个中心点一一对应；

将所述多个中心点划分为多组中心点；

根据所述多组中心点中的任一组中心点，确定出所述任一组中心点对应的一个抓取点，直至从所述多组中心点中确定出所述多个抓取点；

根据所述多组中心点中的任一组中心点对应的任一组像素点，确定出所述任一组中心点对应的一个抓取面，直至从所述多组中心点对应的多组像素点中确定出所述多个抓取面，所述任一组中心点与所述任一组像素点一一对应。

图像处理装置将利用深度学习网络模型从待处理多维图像的图像数据信息中，确定出多个像素点和多个像素点对应的多个中心点，并根据该多个像素点和多个中心点确定出多个抓取面和多个抓取点，使得图像处理装置无需进行采集数据标注与重训练，就可以推断出多个抓取面对应的多个抓取点。

在上述方案中，所述根据所述多组中心点中的任一组中心点，确定出所述任一组中心点对应的一个抓取点，直至从所述多组中心点中确定出所述多个抓取点，包括：

对所述任一组中心点的一组位置数据求平均值，得到一个平均位置数据，直至从所述多组中心点的多组位置数据信息中，得到多个平均位置数据；

将所述多个平均位置数据对应的多个点作为多个抓取点，其中，所述多个平均位置数据与所述多个抓取点一一对应。

图像处理装置根据任一组中心点的一组位置数据求平均值，来确定多个抓取点的位置，提高了多个抓取点位置信息的准确性。

在上述方案中，所述根据待处理多维图像的图像数据信息，从所述待处理多维图像中确定多个抓取面以及与所述多个抓取面对应的多个抓取点之前，所述方法还包括：

获取所述待处理多维图像的原始图像数据信息；

对所述原始图像数据信息进行预处理，得到所述图像数据信息。

对将原始图像数据进行数据点数统一，以提高样本图像数据与图像数据匹配时的准确性。

在上述方案中，所述对所述原始图像数据信息进行预处理，得到所述图像数据信息，包括：

在所述原始图像数据信息中的原始数据信息的数量不满足预设数量值的情况下，将所述原始数据信息的数量调整成预设数量；

对调整至预设数量的原始数据信息的数据分别除以预设数值，得到所述图像数据信息。

将原始的数据信息除以预设数值，以提高原始数据信息计算时的收敛度，提高计算结果的准确性。

在上述方案中，所述图像数据信息包括颜色通道数据信息和深度数据信息。

本公开是根据待处理多维图像的rgb信息和深度信息来确定目标物体的抓取点位姿的，以提高计算目标物体的抓取点位姿时的准确性。

本公开实施例提供了一种图像处理装置，所述装置包括：

确定单元，用于根据待处理多维图像的图像数据信息，从所述待处理多维图像中确定多个抓取面以及与所述多个抓取面对应的多个抓取点，其中，所述多个抓取面与所述多个抓取点一一对应；确定所述多个抓取面对应的多个抓取参数；将目标抓取面对应的抓取点作为目标抓取点；根据所述目标抓取点，确定出所述目标抓取点对应的抓取点位姿，以根据所述抓取点位姿，从所述rgbd图像中抓取所述目标抓取点对应的目标物体；

评估单元，用于利用所述多个抓取参数对所述多个抓取面进行评估，并根据评估结果从所述多个抓取面中确定出所述目标抓取面。

在上述方案中，所述评估单元，具体用于利用所述多个抓取参数的多个参数分别对所述多个抓取面中的每一个抓取面进行评估，得到所述多个抓取面对应的多个抓取面评估值；

所述确定单元，具体用于从所述多个抓取面评估值中确定出评估值最高的第一抓取面评估值，并将所述第一抓取面评估值对应的抓取面作为所述目标抓取面。

在上述方案中，所述多个抓取参数包括以下至少一种：

抓取面的面积参数、抓取面的高度参数、抓取面的平整度参数、抓取面的倾斜度参数。

在上述方案中，所述确定单元，具体用于将所述待处理多维图像的图像数据信息输入深度学习网络模型中，得到多个像素点和所述多个像素点对应的多个中心点，所述深度学习网络模型为利用样本多维图像的样本图像数据信息对初始深度学习网络模型进行训练得到的模型，所述多个像素点和所述多个中心点一一对应；将所述多个中心点划分为多组中心点；根据所述多组中心点中的任一组中心点，确定出所述任一组中心点对应的一个抓取点，直至从所述多组中心点中确定出所述多个抓取点；根据所述多组中心点中的任一组中心点对应的任一组像素点，确定出所述任一组中心点对应的一个抓取面，直至从所述多组中心点对应的多组像素点中确定出所述多个抓取面，所述任一组中心点与所述任一组像素点一一对应。

在上述方案中，所述确定单元，具体用于对所述任一组中心点的一组位置数据求平均值，得到一个平均位置数据，直至从所述多组中心点的多组位置数据信息中，得到多个平均位置数据；将所述多个平均位置数据对应的多个点作为多个抓取点，其中，所述多个平均位置数据与所述多个抓取点一一对应。

在上述方案中，所述装置还包括获取单元和预处理单元；

所述获取单元，用于获取所述待处理多维图像的原始图像数据信息；

所述预处理单元，用于对所述原始图像数据信息进行预处理，得到所述图像数据信息。

在上述方案中，所述预处理单元，具体用于在所述原始图像数据信息中的原始数据信息的数量不满足预设数量值的情况下，将所述原始数据信息的数量调整成预设数量；对调整至预设数量的原始数据信息的数据分别除以预设数值，得到所述图像数据信息。

在上述方案中，所述图像数据信息包括颜色通道数据信息和深度数据信息。

本公开实施例提供了一种图像处理装置，所述装置包括：

存储器和图形处理器，所述存储器存储所述图形处理器可执行的图像处理程序，当所述图像处理程序被执行时，通过所述图形处理器执行上述所述的方法。

本公开实施例提供了一种存储介质，其上存储有计算机程序，应用于图像处理装置，其特征在于，该计算机程序被图形处理器执行时实现上述所述的方法。

本公开实施例提供了一种机器人，包括机械臂和图像处理装置，所述图像处理装置用于执行上述所述的方法，所述机械臂用于在图像处理装置确定出目标物体的抓取点位姿的情况下，在抓取点位姿处抓取目标物体。

本公开实施例提供了一种图像处理方法、装置、存储介质及机器人，图像处理方法包括：根据待处理多维图像的图像数据信息，从待处理多维图像中确定多个抓取面以及与多个抓取面对应的多个抓取点，其中，多个抓取面与多个抓取点一一对应；确定多个抓取面对应的多个抓取参数；利用多个抓取参数对多个抓取面进行评估，并根据评估结果从多个抓取面中确定出目标抓取面；将目标抓取面对应的抓取点作为目标抓取点；根据目标抓取点，确定出目标抓取点对应的抓取点位姿，以根据抓取点位姿，从待处理多维图像中抓取目标抓取点对应的目标物体。采用上述方法实现方案，图像处理装置先确定出多个抓取面对应的多个抓取参数值，再根据该多个抓取参数值对多个抓取面进行评估，从而从多个抓取面中确定出了目标抓取面，并非是根据单一的高度参数值来确定出目标抓取面，提高了图像处理装置确定目标抓取面的准确性，图像处理装置根据该准确度高的目标抓取面确定出目标物体的抓取点位姿，提高了图像处理装置确定目标物体位姿时的准确度。

附图说明

图1为本实施例提供的一种图像处理方法流程图一；

图2为本实施例提供的一种图像处理方法流程图；

图3为本实施例提供的一种图像处理装置的组成结构示意图一；

图4为本实施例提供的一种图像处理装置的组成结构示意图二。

具体实施方式

下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述。

本公开实施例提供了一种图像处理方法，图1为本公开实施例提供的一种图像处理方法流程图一，如图1所示，图像处理方法可以包括：

s101、根据待处理多维图像的图像数据信息，从待处理多维图像中确定出多个抓取面以及与多个抓取面对应的多个抓取点，其中，多个抓取面与多个抓取点一一对应。

本公开实施例提供的一种图像处理方法适用于对待处理多维图像的图像数据信息进行处理，确定出目标物体的抓取点位姿的场景下。

在本公开实施例中，图像处理方法应用于图像处理装置中，该图像处理装置可以集成在机器人中，以供机器人根据目标物体的抓取点位姿对目标物体进行抓取。在一些可能的实现方式中，该图像处理方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。

需要说明的是，待处理多维图像可以为待处理三维图像，也可以为待处理四维图像，还可以为待处理二维图像，具体的可根据实际情况进行确定，本公开实施例对此不做限定。

在本公开实施例中，当图像处理装置获取到待处理多维图像的图像数据信息时，图像处理装置就可以根据该图像数据信息，从该待处理图像中确定出多个抓取面和多个抓取面对应的多个抓取点。

需要说明的是，图像处理装置获取待处理多维图像的图像数据信息方式，可以是图像处理装置通过摄像头等图像采集装置，来获取到待处理多维图像，并从该待处理多维图像中读取出的图像数据信息，图像处理装置还可以是在其他装置处直接获取待处理多维图像的图像数据信息，具体的图像处理装置获取待处理多维图像的图像数据信息方式可根据实际情况进行确定，本公开实施例对此不做限定。

还需要说明的是，若图像处理装置是通过摄像头等图像采集装置，来获取到待处理多维图像，并从该待处理多维图像中读取出的图像数据信息的方式获取到该图像处理数据，则图像处理装置可以通过中央处理器(centralprocessingunit，cpu)控制照相机采集到待处理多维图像，并根据该待处理多维图像获取到图像数据信息。当图像处理装置获取到图像数据信息时，图像处理装置就将该图像数据信息传输至图形处理器(graphicsprocessingunit，gpu)，利用图形处理器对该图像数据信息进行处理，确定出目标物体的抓取点位姿。

在本公开实施例中，图像处理装置利用gpu对待处理多维图像的图像数据信息进行并行处理，即，gpu对待处理多维图像中的所有像素点处的图像数据信息同时进行处理，提高了图像处理装置处理图像数据信息时的速度，即，提高了图像处理装置利用待处理多维图像中的图像数据信息，确定目标物体的抓取点位姿时的速度。

需要说明的是，多个抓取面与多个抓取点一一对应。

多个抓取面为待处理多维图像中待抓取的目标物体的多个面，多个抓取点为该多个抓取面的中心点，其中，一个抓取面对应一个抓取点。

示例性地，待处理多维图像中的目标物体可以为两个六面体，多个抓取面可以为两个六面体的两个正面，即多个可抓面的数量为2个，第一个可抓面就是第一个六面体的正面，第二个可抓面就是第二个六面体的正面，多个可抓点分别是这两个正面的中心点，即多个可抓点的数量为2个，第一个可抓点就是第一个六面体的正面的中心点，第二个可抓点就是第二个六面体的正面的中心点。

示例性地，待处理多维图像中的目标物体可以为一个四面体，多个抓取面可以为这个四面体的两个侧面，即多个可抓面的数量为2个，第一个可抓面就是这个四面体的第一个侧面，第二个可抓面就是与第一个侧面相邻的侧面，即第二个侧面，多个可抓点分别是这两个侧面的中心点，即多个可抓点的数量为2个，第一个可抓点就是第一个侧面的中心点，第二个可抓点就是第二个侧面的中心点。

在本公开实施例中，图像数据信息包括颜色通道数据信息和深度数据信息。

示例性地，图像数据信息可以为待处理多维图像的rgbd数据信息，其中，颜色通道数据信息可以为待处理多维图像的rgb数据信息，深度数据信息可以为待处理多维图像的深度信息。当图像数据信息为待处理多维图像的rgbd数据时，图像处理装置可以根据待处理多维图像的rgb数据与待处理多维图像的深度图像数据来确定出目标物体的抓取点位姿，提高了图像处理装置计算目标物体的抓取点位姿时的准确性。

在本公开实施例中，图像处理装置根据待处理多维图像的图像数据信息，从待处理图像中确定多个抓取面以及与多个抓取面对应的多个抓取点的方式可以为：图像处理装置将待处理多维图像的图像数据信息输入深度学习网络模型中，得到多个像素点和多个像素点对应的多个中心点。

在本公开实施例中，图像处理装置中包含深度学习网络模型，当图像处理装置获取到待处理多维图像的图像数据信息时，图像处理装置就将该图像数据信息输入至深度学习网络模型，深度学习网络模型就从该图像数据信息中，确定出多个像素点和多个中心点。

在本公开实施例中，图像处理装置利用样本图像数据信息对初始深度学习网络模型进行训练，并调整该初始深度学习网络模型的初始参数，使得调整初始参数后的初始深度学习网络模型可以对样本图像数据信息进行分类和检测，学习到样本多维图像中样本物体的面信息，确定出样本图像点和样本中心点，从而得到深度学习网络模型。当深度学习网络模型得到待处理多维图像的图像数据信息时，深度学习网络模型就可以对该图像数据信息进行分类和检测，从图像数据信息中确定出多个像素点和多个中心点。

需要说明的是，多个像素点与多个中心点一一对应，其中，一个像素点对应一个中心点。

需要说明的是，样本图像数据信息为对初始深度学习网络模型进行训练的数据信息。样本图像数据信息可以为多面体的多个面信息，也可以为球的面信息，还可以为玩具的多个面信息，也可以为其他物体的多个面信息，具体的样本图像数据信息可根据实际情况进行确定，本公开实施例对此不做限定。

在本公开实施例中，多个面信息可以为多个面的位置信息，也可以为多个面的尺寸信息，还可以为多个面中的多个样本图像点信息，具体的可根据实际情况进行确定，本公开实施例对此不做限定。

在本公开实施例中，图像处理装置对初始深度学习网络模型进行训练之前，图像处理装置需要获取许多样本图像数据信息，如：多面体的多个面信息、玩具的多个面信息、球的面信息、水杯的面信息等等。图像处理装置在获取到这些样本图像数据信息时，图像处理装置就利用这些样本图像数据信息对初始深度学习网络模型进行训练，并调整初始深度学习网络模型的初始参数，使得调整初始参数后的初始深度学习网络模型可以对样本图像数据信息进行分类和检测，学习到样本多维图像中样本物体的面信息，确定出样本图像点和样本中心点，从而得到深度学习网络模型。因此，当图像处理装置将待处理多维图像的图像数据信息输入至深度学习网络模型时，深度学习网络模型可以从待处理多维图像的图像数据信息中确定出多个抓取面上的像素点。

需要说明的是，样本图像点为样本图像上的点，样本中心点为样本图像的中心点。

可以理解的是，深度学习网络模型中的模型参数是通过学习样本多维图像中物体的面信息而得到的参数，当深度学习网络模型获取到待处理多维图像中包括未知物体的图像数据信息时，深度学习网络模型可根据该模型参数，从该图像数据信息中直接确定出未知物体的面信息，从而确定出该面信息对应的多个像素点和多个中心点，不需要对该未知物体的图像数据信息进行标注和重训练，提高了图像处理装置处理图像数据信息时的泛化性与实用性。

在本公开实施例中，当图像处理装置利用深度学习网络模型从待处理多维图像的图像数据信息中，确定出多个像素点和多个像素点对应的多个中心点之后，图像处理装置就可以将多个中心点划分为多组中心点。

在本公开实施例中，图像处理装置对多个中心点进行划分，得到多组中心点的方式，可以为图像处理装置对多个中心点进行聚类，从而确定出多个抓取面对应的多组中心点。图像处理装置也可以先利用深度学习网络模型对多个中心点进行划分，确定出多组抓取点，具体的图像处理装置将多个中心点划分为多组中心点的方式可根据实际情况进行确定，本公开实施例对此不做限定。

需要说明的是，图像处装置对多个中心点进行聚类的方式，可以为均值漂移聚类算法，也可以为层次聚类算法，还可以为密度聚类算法，具体的聚类算法可根据实际情况进行确定，本公开实施例对此不做限定。

需要说明的是，多个抓取面与多组中心点一一对应，其中，一个抓取面对应一组抓取点。

在本公开实施例中，当图像处理装置将所述多个中心点划分为多组中心点之后，图像处理装置就可以根据多组中心点中的任一组中心点，确定出任一组中心点对应的一个抓取点，直至从多组中心点中确定出多个抓取点。

在本公开实施例中，图像处理装置根据多组中心点中的任一组中心点，确定出任一组中心点对应的一个抓取点的方式，可以为图像处理装置从任一组中心点中随机确定一个点，将该点作为一个抓取点，也可以为图像处理装置从任一组中心点中随机选择部分中心点，根据该部分中心点的位置信息确定出一个抓取点，图像处理装置还可以根据任一组中心点的所有点的位置信息确定一个抓取点，具体的图像处理装置根据多组中心点中的一组中心点，确定出一个抓取点的方式可根据实际情况进行确定，本公开实施例对此不做限定。

在本公开实施例中，当图像处理装置根据某种方式从多组中心点中的任一组中心点，确定出任一组中心点对应的一个抓取点时，图像处理装置也可以根据该方式从多组中心点中的其他组中心点中确定出剩余抓取点，从而得到多个抓取点。

在本公开实施例中，图像处理装置根据多组中心点中的任一组中心点，确定出任一组中心点对应的一个抓取点，直至从多组中心点中确定出多个抓取点的过程可以为：图像处理装置对任一组中心点的一组位置数据求平均值，得到一个平均位置数据，直至图像处理装置从多组中心点的多组位置数据信息中，得到多个平均位置数据。

需要说明的是，一个平均位置数据对应一组位置数据。

需要说明的是，一组位置数据可以为一组中心点的三维坐标数据，也可以为一组中心点的三维位姿数据，还可以为一组中心点的其他位置数据，具体的可根据实际情况进行确定，本公开实施例对此不做限定。

在本公开实施例中，图像处理装置得到多个平均位置数据之后，图像处理装置就可以将多个平均位置数据对应的多个点作为多个抓取点。

需要说明的是，多个平均位置数据与多个抓取点一一对应，其中，一个平均位置数据对应一个抓取点。

在本公开实施例中，图像处理装置多组中心点中确定出多个抓取点之后，图像处理装置就可以根据多组中心点中的任一组中心点对应的任一组像素点，确定出任一组中心点对应的一个抓取面，直至从多组中心点对应的多组像素点中确定出多个抓取面。

需要说明的是，任一组中心点与任一组像素点一一对应，其中，一组中心点对应一组像素点。

需要说明的是，多组像素点与多个抓取面一一对应，其中，一组像素点对应一个抓取面。

在本公开实施例中，图像处理装置根据待处理多维图像的图像数据信息，从待处理多维图像中确定多个抓取面以及与多个抓取面对应的抓取点之前，图像处理装置需要先获取待处理多维图像的原始图像数据信息。

需要说明的是，图像处理装置获取待处理多维图像的原始图像数据信息的方式，可以为图像处理装置通过摄像头等图像采集装置，来获取到待处理多维图像，并从该待处理多维图像中读取出的原始图像数据信息，也可以为图像处理装置直接从其他装置处获取到待处理多维图像的原始图像数据信息，图像处理装置具体获取待处理多维图像的原始图像数据信息的方式可根据实际情况进行确定，本公开实施例对此不做限定。

需要说明的是，原始图像数据信息可以为原始rgbd数据信息。

在本公开实施例中，当图像处理装置获取到待处理多维图像的原始图像数据信息时，图像处理装置就对原始图像数据信息进行预处理，得到图像数据信息。

可以理解的是，图像处理装置通过对原始图像数据信息进行预处理，提高了预处理后的原始图像数据信息与样本图像数据信息匹配时的准确，提高了图像处理装置对待处理多维图像的图像数据信息处理时的准确性。

需要说明的是，图像处理装置对原始图像数据进行预处理的方式，可以为去除该原始图像数据信息中的噪声，也可以为将原始图像数据信息进行放大，还可以为改变原始图像数据信息的数量的方式，也可以为其他的对原始数据信息进行处理的方式，具体的可根据实际情况进行确定，本公开实施例对此不做限定。

在本公开实施例中，图像处理装置对原始图像数据信息进行预处理，得到图像数据信息的过程可以为：当原始图像数据信息中的原始数据信息的数量不满足预设数量值时，图像处理装置将原始数据信息的数量调整成预设数量。

可以理解的是，该预设数量为图像处理装置处理图像数据信息时预设的数据信息量，图像处理装置通过将原始数据信息的数据量调整成预设数量，使得调整后的原始数据信息与样本图像数据匹配时的准确度，提高了图像处理装置对待处理多维图像的图像数据信息处理时的准确性。

在本公开实施例中，当图像处理装置得到待处理多维图像的原始图像数据信息时，图像处理装置就将该原始图像数据信息的数量与预设数量值进行对比，当原始图像数据信息中的原始数据信息的数量不满足预设数量值时，图像处理装置就将该原始数据信息的数量调整成预设数量。

需要说明的是，原始数据信息的数量不满足预设数量值，可以为原始数据信息的数量大于或者小于预设数量值，原始数据信息的数量满足预设数量值，可以为原始数据信息的数量等于预设数量值。

需要说明的是，预设数量值为图像处理装置中预设的原始图像数据信息的数量值，如，预设数量值可以为65536个，对应的待处理多维图像的横坐标的点数可以为256个点，对应的待处理多维图像的纵坐标的点数可以为256个点。

示例性地，图像处理装置获取到的待处理多维图像的横坐标有1024个点，待处理多维图像的纵坐标有1024个点，则图像处理装置就将该待处理多维图像的原始图像数据信息的数据量与预设数量值进行对比，即，将1024个点乘1024个点，共计1048576个点，与预设数量值65536个点进行对比，由于原始图像数据信息的数据量1048576个点，大于预设数量值65536个点，则原始数据信息的数量不满足预设数量值。

在本公开实施例中，图像处理装置就将该原始数据信息的数量调整成预设数量的方式可以为，当图像处理装置判断出原始数据信息的数量小于预设数量时，增加该原始数据信息，当图像处理装置判断出原始数据信息的数量大于预设数量时，减少该原始数据信息。

需要说明的是，图像处理装置增加原始数据信息的方式，可以为在原始数据信息的相邻两个原始数据信息之间增加一个或者多个数据信息，该增加的一个或者多个数据信息的取值可以根据该相邻两个原始数据信息进行确定，图像处理装置增加原始数据信息的方式，可以为在原始数据信息的相邻两个原始数据信息之间增加一个或者多个数据信息，该一个或者多个数据信息的取值可根据所有的原始数据信息进行确定，图像处理装置还可以通过其他的方式增加原始数据信息，具体的图像处理装置增加原始数据信息的方式，可根据实际情况进行确定，本公开实施例对此不做限定。

需要说明的是，图像处理装置减少原始数据信息的方式，可以为图像处理装置将原始数据信息的奇数点位置处的数据删除掉，也可以为图像处理装置将原始数据信息的偶数点位置处的数据删除掉，还可以为其他的减少原始数据信息的方式，具体的可根据实际情况进行确定，本公开实施例对此不做限定。

在本公开实施例中，图像处理装置将原始数据信息的数量调整成预设数量之后，图像处理装置就对调整至预设数量的原始数据信息的数据分别除以预设数值，得到图像数据信息。

可以理解的是，图像处理装置将原始的数据信息除以预设数值，使得原始数据信息可以快速收敛，提高了原始数据信息计算时的收敛度，图像处理装置对待处理多维图像的图像数据信息处理时的准确性。

需要说明的是，预设数值为图像处理装置中预设的数值。

在本公开实施例中，图像处理装置中的预设数值可以为多个，当原始图像数据信息的取值范围不同时，可对应不同的预设数值，具体的预设数值的取值可根据实际情况进行确定，本公开实施例对此不做限定。

s102、确定多个抓取面对应的多个抓取参数。

在本公开实施例中，当图像处理装置从待处理多维图像中确定出多个抓取面之后，图像处理装置就可以分别确定该多个抓取面中的每一个抓取面对应的多个抓取参数了。

需要说明的是，多个抓取参数包括以下至少一种：抓取面的面积参数、抓取面的高度参数、抓取面的平整度参数、抓取面的倾斜度参数。

还需要说明的是，多个抓取参数可以是图像处理装置根据该多个抓取面确定出来的。

在本公开实施例中，图像处理装置对单一抓取参数对应的多个抓取面进行赋值，确定出该多个抓取面针对该单一抓取参数对应的多个抓取参数值，直至图像处理装置对多个抓取参数对应的多个抓取面进行赋值，确定出该多个抓取面对应的多个抓取参数。

在本公开实施例中，图像处理装置中设置了抓取面不同面积参数对应的第一组抓取参数值，抓取面不同高度参数对应的第二组抓取参数值、抓取面不同平整度参数对应的第三组抓取参数值和抓取面不同倾斜度参数对应的第四组抓取参数值，当图像处理装置得到多个抓取面中的一个抓取面时，图像处理装置就根据该抓取面的抓取面积参数，从第一组预设参数值中确定出该抓取面积参数对应的第一抓取参数值；根据该抓取面的高度参数，从第二组抓取参数值中确定出该抓取面的高度参数对应的第二抓取参数值；根据该抓取面的平整度参数，从第三组抓取参数值中确定出该抓取面的平整度参数对应的第三抓取参数值；根据该抓取面的倾斜度参数，从第四组抓取参数值中确定出该抓取面的倾斜度参数对应的第四抓取参数值，直至图像处理装置确定出多个抓取面中每一个抓取面对应四个抓取参数值。

s103、利用多个抓取参数对多个抓取面进行评估，并根据评估结果从多个抓取面中确定出目标抓取面。

在本公开实施例中，当图像处理装置确定出多个抓取面对应的多个抓取参数之后，图像处理装置就可以利用多个抓取参数对多个抓取面进行评估，从多个抓取面中确定出目标抓取面了。

在本公开实施例中，图像处理装置利用多个抓取参数对多个抓取面进行评估，从多个抓取面中确定出目标抓取面的过程可以为：图像处理装置利用多个抓取参数分别对多个抓取面中的每一个抓取面进行评估，得到多个抓取面对应的多个抓取面评估值。

在本公开实施例中，图像处理装置可以根据每一个抓取面对应的抓取面的面积参数、抓取面的高度参数、抓取面的平整度参数和抓取面的倾斜度参数，得到每一个抓取面对应的每一个参数值，直至得到多个抓取面对应的多个第一参数值，根据多个第一参数值与多个抓取面的多个抓取概率值，得到多个抓取面评估值。

还需要说明的是，多个抓取概率值为将多个抓取面作为目标抓取面的概率值。

示例性地，图像处理装置可通过公式(1)确定出多个抓取面评估值。

若一个抓取面对应的一组抓取参数为抓取面的面积参数和抓取面的高度参数，则p(ci|x)为多个抓取面中的每一个抓取面在抓取参数为抓取面的面积参数和抓取面的高度参数下的评估值，其中，ci为多个抓取面中的一个抓取面，x为多个抓取面中的一个抓取面的面积参数和多个抓取面中的一个抓取面的高度参数，p(x|ci)为每个抓取面对应的总抓取参数值，p(ci)可以为在不考虑抓取参数的情况下，每个抓取面被抓取的概率，p(x)为抓取参数为抓取面的面积参数和抓取面的高度参数时的概率，即，p(x)的值为1。

在本公开实施例中，每个抓取面对应的总抓取参数值可以为每个抓取面对应的一组抓取参数的乘积，每个抓取面对应的总抓取参数值也可以为每个抓取面对应的一组抓取参数的和，具体的可根据实际情况进行确定，本公开请实施例对此不做限定。

若每个抓取面对应的总抓取参数值为每个抓取面对应的一组抓取参数的乘积，抓取参数为抓取面的面积参数和抓取面的高度参数时，则每个抓取面对应的总抓取参数值为该抓取面对应的抓取面的面积参数与抓取面的高度参数的乘积。

示例性地，图像处理装置确定出只有两个抓取面，抓取参数为抓取面的面积参数和抓取面的高度参数，其中，第一个抓取面对应的抓取面的面积参数值为0.5，第二个抓取面对应的抓取面的面积参数值为0.2，第一个抓取面对应的抓取面的高度参数值为0.4，第二个抓取面对应的抓取面的面积参数值为0.6，则第一个抓取面对应的总抓取参数值为第一个抓取面的面积参数值为0.5与第一个抓取面的高度参数值为0.4的乘积，为0.2；则第二个抓取面对应的总抓取参数值为第二个抓取面的面积参数值为0.2与第二个抓取面的高度参数值为0.6的乘积，为0.12。

在本公开实施例中，图像处理装置可以根据多个抓取面的数量来确定出每个抓取面被抓取的概率。

示例性地，若图像处理装置确定出有5个抓取面，则每一个抓取面被抓取的概率，即p(ci)的值为0.2；若图像处理装置确定出有2个抓取面，则每一个抓取面被抓取的概率，即p(ci)的值为0.5；若图像处理装置确定出有3个抓取面，则每一个抓取面被抓取的概率，即p(ci)的值为1/3。

在本公开实施例中，若一个抓取面对应的一组抓取参数为抓取面的面积参数、抓取面的高度参数和抓取面的平整度参数，则公式(1)中的x为多个抓取面中的一个抓取面的面积参数、多个抓取面中的一个抓取面的高度参数和多个抓取面中的一个抓取面的平整度参数，p(ci|x)为多个抓取面中的每一个抓取面在抓取参数为抓取面的面积参数、抓取面的高度参数和抓取面的平整度参数下的评估值，p(x)为抓取参数为抓取面的面积参数、抓取面的高度参数和抓取面的平整度参数时的概率，即，p(x)的值为1，p(x|ci)为每个抓取面对应的总抓取参数值。

若抓取面参数为每个抓取面对应的总抓取参数值为每个抓取面对应的一组抓取参数的乘积，抓取参数为抓取面的面积参数、抓取面的高度参数和抓取面的平整度参数时，则每个抓取面对应的总抓取参数值为该抓取面对应的抓取面的面积参数、抓取面的高度参数和抓取面的平整度参数的乘积。

在本公开实施例中，若一个抓取面对应的一组抓取参数为抓取面的面积参数、抓取面的高度参数、抓取面的平整度参数和抓取面的倾斜度参数，则公式(1)中x为多个抓取面中的一个抓取面的面积参数、多个抓取面中的一个抓取面的高度参数、多个抓取面中的一个抓取面的平整度参数和多个抓取面中的一个抓取面的倾斜度参数，p(ci|x)为多个抓取面中的每一个抓取面在抓取参数为抓取面的面积参数、抓取面的高度参数、抓取面的平整度参数和抓取面的倾斜度参数下的评估值，p(x)为抓取参数为抓取面的面积参数、抓取面的高度参数、抓取面的平整度参数和抓取面的平整度参数时的概率，即，p(x)的值为1，p(x|ci)为每个抓取面对应的总抓取参数值。

若抓取面参数为每个抓取面对应的总抓取参数值为每个抓取面对应的一组抓取参数的乘积，抓取参数为抓取面的面积参数、抓取面的高度参数、抓取面的平整度参数和抓取面的倾斜度参数时，则每个抓取面对应的总抓取参数值为该抓取面对应的抓取面的面积参数、抓取面的高度参数、抓取面的平整度参数和抓取面的倾斜度参数的乘积。

在本公开实施例中，当图像处理装置得到多个抓取面对应的多个抓取面评估值后，图像处理装置就可以从多个抓取面评估值中确定出评估值最高的第一抓取面评估值，并将第一抓取面评估值对应的抓取面作为目标抓取面。

在本公开实施例中，图像处理装置从多个抓取面评估值中确定出评估值最高的第一抓取面评估值的方式，可以为图像处理装置先从多个抓取面评估值中中随机确定一个抓取面评估值，并将该抓取面评估值分别与其他抓取面评估值进行对比，从而确定出抓取面评估值最高的第一抓取面评估值，图像处理装置就可以将该第一抓取面评估值对应的抓取面作为目标抓取面；图像处理装置还可以对该多个抓取面评估值按照从大到小排序方式进行排序，将排序在第一位置处的抓取面评估值对应的抓取面，作为目标抓取面；图像处理装置还可以对该多个抓取面评估值按照从小到大排序方式进行排序，将排序在最后一位置处的抓取面评估值对应的抓取面，作为目标抓取面，具体的确定目标抓取面的方式可根据实际情况进行确定，本公开实施例对此不做限定。

s104、将目标抓取面对应的抓取点作为目标抓取点。

在本公开实施例中，当图像处理装置利用多个抓取参数值对多个抓取面进行评估，从多个抓取面中确定出目标抓取面之后，图像处理装置就将该目标抓取面对应的抓取点作为目标抓取点。

其中，该目标抓取点可以为目标抓取面的中心点。当然，在其他实施例中，该目标抓取点也可以不是目标抓取面的中心点，例如可以是目标抓取面中心点的邻域点。

s105、根据目标抓取点，确定出目标抓取点对应的抓取点位姿，以根据抓取点位姿，从待处理多维图像中抓取目标抓取点对应的目标物体。

在本公开实施例中，当图像处理装置确定出目标抓取点之后，图像处理装置就可以根据目标抓取点，确定出目标抓取点对应的抓取点位姿，以根据抓取点位姿，从待处理多维图像中抓取目标抓取点对应的目标物体。

需要说明的是，目标抓取点对应的抓取点位姿可以为目标抓取点的六维位姿，也可以为目标抓取点的五维位姿，还可以为目标抓取点的其他维度的位姿，具体的可根据实际情况进行确定，本公开实施例对此不做限定。

需要说明的是，目标抓取点的信息可以为三维坐标点信息。

当目标抓取点对应的抓取点位姿为目标抓取点的六维位姿时，图像处理装置可以根据该目标抓取点的三维坐标点信息以及该目标抓取点的旋转度信息确定出目标抓取点对应的抓取点位姿。

在本公开实施例中，图像处理装置确定目标抓取点的旋转度信息的方式，可以为图像处理装置根据目标抓取面上的多个目标像素点进行平面拟合，得到一个拟合的目标抓取面，图像处理装置确定出目标抓取点在该拟合平面上的切线，图像处理装置将该切线的垂直向量作为旋转度信息，从而得到了目标抓取点的旋转度信息。

本公开实施例提供了一种示例性的图像处理方式流程图，如图2所示，当智能机器人中的cpu控制照相机采集到待处理多维图像的原始图像数据信息时，即，图像处理装置采集到待处理多维图像的原始rgbd图像数据信息时，cpu就控制将该原始rgbd图像数据传输至gpu中，gpu对该原始rgbd图像数据进行预处理，得到rgbd图像数据信息，即，得到图像数据信息，gpu利用深度学习网络模型从rgbd图像数据信息中确定出多个抓取面以及多个抓取面对应的多个抓取点，gpu利用多个抓取参数对多个抓取面中的每一个抓取面进行评估，根据每一个抓取面的评估结果，从多个抓取面中确定出目标抓取面，并将目标抓取面对应的抓取点作为目标抓取点，根据该目标抓取点确定出目标物体的抓取点位姿，当图像处理装置确定出目标物体的抓取点位姿后，智能机器人就可以在该抓取点位姿处抓取目标物体。

可以理解的是，图像处理装置先确定出多个抓取面对应的多个抓取参数值，再根据该多个抓取参数值对多个抓取面进行评估，从而从多个抓取面中确定出了目标抓取面，并非是根据单一的高度参数值来确定出目标抓取面，提高了图像处理装置确定目标抓取面的准确性，图像处理装置根据该准确度高的目标抓取面确定出目标物体的抓取点位姿，提高了图像处理装置确定目标物体位姿时的准确度。

当图像处理装置应用于物流传输过程中时，图像处理装置可根据上述实现方式确定出目标快递的抓取点位姿，从而实现快递的分拣与码垛。

当图像处理装置应用于医药、美妆过程中时，图像处理装置可根据上述实现方式确定出目标药品的抓取点位姿，或者图像处理装置可根据上述实现方式确定出目标美妆产品抓取点位姿，从而实现对药品和美妆产品的分类包装。

当图像处理装置应用于重工业时，图像处理装置可根据上述实现方式确定出目标工业产品的抓取点位姿，从而实现目标工业产品的搬运。

当图像处理装置应用于垃圾处理过程中时，图像处理装置可根据上述实现方式确定出目标垃圾的抓取点位姿，从而实现垃圾的分类处理。

基于同一发明构思，本公开实施例提供了一种图像处理装置1，对应于一种图像处理方法；图3为本公开实施例提供的一种图像处理装置的组成结构示意图一，该图像处理装置1可以包括：

确定单元11，用于根据待处理多维图像的图像数据信息，从所述待处理多维图像中确定多个抓取面以及与所述多个抓取面对应的多个抓取点，其中，所述多个抓取面与所述多个抓取点一一对应；确定所述多个抓取面对应的多个抓取参数；将目标抓取面对应的抓取点作为目标抓取点；根据所述目标抓取点，确定出所述目标抓取点对应的抓取点位姿，以根据所述抓取点位姿，从所述rgbd图像中抓取所述目标抓取点对应的目标物体；

评估单元12，用于利用所述多个抓取参数对所述多个抓取面进行评估，并根据评估结果从所述多个抓取面中确定出所述目标抓取面。

在本公开的一些实施例中，所述评估单元12，具体用于利用所述多个抓取参数的多个参数分别对所述多个抓取面中的每一个抓取面进行评估，得到所述多个抓取面对应的多个抓取面评估值；

所述确定单元11，具体用于从所述多个抓取面评估值中确定出评估值最高的第一抓取面评估值，并将所述第一抓取面评估值对应的抓取面作为所述目标抓取面。

在本公开的一些实施例中，所述多个抓取参数包括以下至少一种：

抓取面的面积参数、抓取面的高度参数、抓取面的平整度参数、抓取面的倾斜度参数。

在本公开的一些实施例中，所述确定单元11，具体用于将所述待处理多维图像的图像数据信息输入深度学习网络模型中，得到多个像素点和所述多个像素点对应的多个中心点，所述深度学习网络模型为利用样本多维图像的样本图像数据信息对初始深度学习网络模型进行训练得到的模型，所述多个像素点和所述多个中心点一一对应；将所述多个中心点划分为多组中心点；根据所述多组中心点中的任一组中心点，确定出所述任一组中心点对应的一个抓取点，直至从所述多组中心点中确定出所述多个抓取点；根据所述多组中心点中的任一组中心点对应的任一组像素点，确定出所述任一组中心点对应的一个抓取面，直至从所述多组中心点对应的多组像素点中确定出所述多个抓取面，所述任一组中心点与所述任一组像素点一一对应。

在本公开的一些实施例中，所述确定单元11，具体用于对所述任一组中心点的一组位置数据求平均值，得到一个平均位置数据，直至从所述多组中心点的多组位置数据信息中，得到多个平均位置数据；将所述多个平均位置数据对应的多个点作为多个抓取点，其中，所述多个平均位置数据与所述多个抓取点一一对应。

在本公开的一些实施例中，所述装置还包括获取单元13和预处理单元14；

所述获取单元13，用于获取所述待处理多维图像的原始图像数据信息；

所述预处理单元14，用于对所述原始图像数据信息进行预处理，得到所述图像数据信息。

在本公开的一些实施例中，所述预处理单元14，具体用于在所述原始图像数据信息中的原始数据信息的数量不满足预设数量值的情况下，将所述原始数据信息的数量调整成预设数量；对调整至预设数量的原始数据信息的数据分别除以预设数值，得到所述图像数据信息。

在本公开的一些实施例中，所述图像数据信息包括颜色通道数据信息和深度数据信息。

需要说明的是，在实际应用中，上述确定单元11、评估单元12、获取单元13和预处理单元14可由运动质量评估装置1上的处理器15实现，具体为gpu(graphicsprocessingunit，图形处理器)、mpu(microprocessorunit，微处理器)、dsp(digitalsignalprocessing，数字信号处理器)或现场可编程门阵列(fpga，fieldprogrammablegatearray)等实现；上述数据存储可由运动质量评估装置1上的存储器16实现。

本公开实施例还提供了一种图像处理装置1，如图4所示，所述图像处理装置1包括：处理器15和存储器16，所述存储器16存储所述处理器14可执行的图像处理程序，当所述程序被执行时，通过所述处理器15执行如上述所述的图像处理方法。

在实际应用中，上述存储器16可以是易失性存储器(volatilememory)，例如随机存取存储器(random-accessmemory，ram)；或者非易失性存储器(non-volatilememory)，例如只读存储器(read-onlymemory，rom)，快闪存储器(flashmemory)，硬盘(harddiskdrive，hdd)或固态硬盘(solid-statedrive，ssd)；或者上述种类的存储器的组合，并向处理器15提供指令和数据。

本公开实施例提供了一种计算机可读存储介质，其上有计算机程序，所述程序被处理器15执行时实现如上述所述的图像处理方法。

本实施例提供了一种机器人，包括机械臂和图像处理装置，所述图像处理装置用于执行上述所述的方法，所述机械臂用于在图像处理装置确定出目标物体的抓取点位姿的情况下，在抓取点位姿处抓取目标物体。

具体地，机械臂可以在获取图像处理装置确定的目标物体抓取点位姿后，根据抓取点位姿计算得到机械臂在抓取点位姿处抓取目标物体的抓取位姿，从而规划机械臂运动路径进行物体抓取。

可以理解的是，图像处理装置先确定出多个抓取面对应的多个抓取参数值，再根据该多个抓取参数值对多个抓取面进行评估，从而从多个抓取面中确定出了目标抓取面，并非是根据单一的高度参数值来确定出目标抓取面，提高了图像处理装置确定目标抓取面的准确性，图像处理装置根据该准确度高的目标抓取面确定出目标物体的抓取点位姿，提高了图像处理装置确定目标物体位姿时的准确度。

当图像处理装置应用于物流传输过程中时，图像处理装置可根据上述实现方式确定出目标快递的抓取点位姿，从而实现快递的分拣与码垛。

当图像处理装置应用于医药、美妆过程中时，图像处理装置可根据上述实现方式确定出目标药品的抓取点位姿，或者图像处理装置可根据上述实现方式确定出目标美妆产品抓取点位姿，从而实现对药品和美妆产品的分类包装。

当图像处理装置应用于重工业时，图像处理装置可根据上述实现方式确定出目标工业产品的抓取点位姿，从而实现目标工业产品的搬运。

当图像处理装置应用于垃圾处理过程中时，图像处理装置可根据上述实现方式确定出目标垃圾的抓取点位姿，从而实现垃圾的分类处理。

本领域内的技术人员应明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本公开是参照根据本公开实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述，仅为本公开的较佳实施例而已，并非用于限定本公开的保护范围。