基于深度学习的机械臂控制系统及方法与流程

1.本发明涉及智能控制技术领域，尤其涉及一种基于深度学习的机械臂控制系统及方法。


背景技术：

2.机械臂是指高精度，多输入多输出、高度非线性、强耦合的复杂系统。因其独特的操作灵活性，已在工业装配、安全防爆等领域得到广泛应用，机械臂用以按固定程序抓取、搬运物件或操作工具的自动操作装置，特点是可以通过编程来完成各种预期的作业，但不足的是机械臂需要依靠外界编程来进行控制，仅能够根据命令进行轨迹移动无法，无法实现在用户下达命令后自主完成预期作业。
3.上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。


技术实现要素：

4.本发明的主要目的在于提供一种基于深度学习的机械臂控制系统及方法，旨在解决现有技术中机械臂仅能够根据命令进行轨迹移动的技术问题。
5.为实现上述目的，本发明提供了一种基于深度学习的机械臂控制系统，所述基于深度学习的机械臂控制系统包括：抓取臂、视觉模块以及路径规划模块，所述视觉模块位于所述抓取臂的末端：
6.所述视觉模块，用于接收用户指令，根据所述用户指令采集当前区域的初始对象图像和距离数据，获取所述抓取臂的状态数据，根据所述初始对象图像和所述用户指令进行目标确定，得到目标对象，根据所述目标对象、所述距离数据以及所述状态数据确定所述抓取臂相对于所述目标对象的位姿，并发送所述位姿和所述用户指令至所述路径规划模块；
7.所述路径规划模块，用于根据所述用户指令和所述位姿得到所述抓取臂的移动轨迹和移动速度，并发送所述移动轨迹和所述移动速度至所述抓取臂；
8.所述抓取臂，用于根据所述移动轨迹和移动速度控制所述目标对象进行移动。
9.可选地，所述视觉模块，还用于对所述初始对象图像进行区域划分，得到初始候选框，对所述初始候选框进行边框回归，得到目标候选框，对所述目标候选框进行特征提取，得到各目标候选框对应的初始特征，根据所述初始特征和预设分类模型对所述各目标候选框中的对象进行分类标注，得到所述各目标候选框中的标注对象，根据各标注对象得到初始对象图像中的初始候选对象，根据所述初始候选对象和所述用户指令进行目标确定，得到目标对象。
10.可选地，所述视觉模块，还用于根据所述初始对象图像确定所述初始对象图像中包含的划分区域，根据划分区域计算各相邻的划分区域之间的相似度，根据所述各相邻的划分区域之间的相似度确定初始候选框。
11.可选地，所述视觉模块，还用于根据所述各相邻的划分区域之间的相似度构建相似度集，当所述相似度集为空集时，根据各第一划分区域确定初始候选框，当所述相似度集不为空集时，获取所述相似度集中的最大值，根据所述最大值在各划分区域中查找第一候选区域和第二候选区域，根据所述第一候选区域和所述第二候选区域确定第三候选区域，根据所述第一候选区域、所述第二候选区域以及所述第三候选区域确定初始候选框。
12.可选地，所述视觉模块，还用于根据所述用户指令确定目标特征和目标类别，根据所述目标类别和所述目标特征在所述初始候选对象中确定目标对象。
13.可选地，所述视觉模块，还用于根据所述状态数据和所述初始对象图像确定所述抓取臂的初始位姿，根据所述距离数据、初始位姿确定所述抓取臂相对于所述目标对象的位姿。
14.可选地，所述路径规划模块，还用于根据所述用户指令确定目标终点和所述抓取臂的移动速度，根据所述位姿和所述目标终点进行路径规划，得到所述抓取臂的移动轨迹。
15.进一步地，为实现上述目的，本发明还提供一种基于深度学习的机械臂控制方法，所述基于深度学习的机械臂控制方法应用于如上文所述的基于深度学习的机械臂控制系统，所述基于深度学习的机械臂控制系统包括：抓取臂、视觉模块以及路径规划模块，所述视觉模块位于所述抓取臂的末端，所述基于深度学习的机械臂控制方法，包括：
16.所述视觉模块接收用户指令，根据所述用户指令采集当前区域的初始对象图像和距离数据，获取所述抓取臂的状态数据，根据所述初始对象图像和所述用户指令进行目标确定，得到目标对象，根据所述目标对象、所述距离数据以及所述状态数据确定所述抓取臂相对于所述目标对象的位姿，并发送所述位姿和所述用户指令至所述路径规划模块；
17.所述路径规划模块根据所述用户指令和所述位姿得到所述抓取臂的移动轨迹和移动速度，并发送所述移动轨迹和所述移动速度至所述抓取臂；
18.所述抓取臂根据所述移动轨迹和移动速度控制所述目标对象进行移动。
19.可选地，所述视觉模块根据所述初始对象图像和所述用户指令进行目标确定，得到目标对象，包括：
20.所述视觉模块对所述初始对象图像进行区域划分，得到初始候选框，对所述初始候选框进行边框回归，得到目标候选框，对所述目标候选框进行特征提取，得到各目标候选框对应的初始特征，根据所述初始特征和预设分类模型对所述各目标候选框中的对象进行分类标注，得到所述各目标候选框中的标注对象，根据各标注对象得到初始对象图像中的初始候选对象，根据所述初始候选对象和所述用户指令进行目标确定，得到目标对象。
21.可选地，所述视觉模块对所述初始对象图像进行区域划分，得到初始候选框，包括：
22.所述视觉模块根据所述初始对象图像确定所述初始对象图像中包含的划分区域，根据划分区域计算各相邻的划分区域之间的相似度，根据所述各相邻的划分区域之间的相似度确定初始候选框。
23.本发明中通过所述视觉模块接收用户指令，根据所述用户指令采集当前区域的初始对象图像和距离数据，获取所述抓取臂的状态数据，根据所述初始对象图像和所述用户指令进行目标确定，得到目标对象，根据所述目标对象、所述距离数据以及所述状态数据确定所述抓取臂相对于所述目标对象的位姿，并发送所述位姿和所述用户指令至所述路径规
划模块；所述路径规划模块根据所述用户指令和所述位姿得到所述抓取臂的移动轨迹和移动速度，并发送所述移动轨迹和所述移动速度至所述抓取臂；所述抓取臂根据所述移动轨迹和移动速度控制所述目标对象进行移动。通过上述方式，根据基于深度学习的机械臂控制系统，能将图像分析、路径规划以及目标移动功能集合一体，使机械臂不仅能够轨迹移动，还能实现图像分析，能够根据用户的需求命令自主完成期望作业，提高了现有机械臂的智能性和实用性。
附图说明
24.图1是本发明基于深度学习的机械臂控制系统第一实施例的结构框图；
25.图2为本发明基于深度学习的机械臂控制系统第二实施例的结构框图；
26.图3为本发明基于深度学习的机械臂控制方法第一实施例的流程示意图；
27.图4为本发明基于深度学习的机械臂控制方法第二实施例的流程示意图。
28.本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
29.应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
30.参照图1，图1为本发明基于深度学习的机械臂控制系统第一实施例的结构框图。
31.在本实施例中，所述基于深度学习的机械臂控制系统包括抓取臂10、视觉模块20以及路径规划模块30，所述视觉模块20位于所述抓取臂10的末端，所述视觉模块20接收用户指令，根据所述用户指令采集当前区域的初始对象图像和距离数据，获取所述抓取臂10的状态数据，根据所述初始对象图像和所述用户指令进行目标确定，得到目标对象，根据所述目标对象、所述距离数据以及所述状态数据确定所述抓取臂10相对于所述目标对象的位姿，并发送所述位姿和所述用户指令至所述路径规划模块30；所述路径规划模块30，用于根据所述用户指令和所述位姿得到所述抓取臂10的移动轨迹和移动速度，并发送所述移动轨迹和所述移动速度至所述抓取臂10；所述抓取臂10，用于根据所述移动轨迹和移动速度控制所述目标对象进行移动。
32.需要说明的是，视觉模块20位于抓取臂10的末端，可实时采集抓取臂10工作区域的实际工作情况。用户指令指的是用户向视觉模块20发送的基于深度学习的机械臂控制系统开始工作的触发指令，用户指令包括但不限于抓取臂10的操作对象的类别和特征、操作对象对应的目标终点以及抓取臂10的移动速度，操作对象即目标对象，当前区域指的是抓取臂10的工作区域，初始对象图像指的是工作区域对应的工作图像，工作图像包括但不限于抓取臂10的工作状态图像以及工作区域包含各对象的图像，状态数据指的是抓取臂的当前坐标数据，距离数据指的是视觉模块20中的距离传感器采集的当前区域的各对象所有面与视觉模块20之间的距离，例如，当前区域中存在的对象1是正方体，正方体的六个面分别与视觉模块20之间的距离构成了对象1的距离数据。
33.在具体实现中，由于初始对象图像中可能会包括轨道、需要抓取的目标对象以及其他对象，因此视觉模块20需要根据初始对象图像和用户指令在初始对象图像中进行目标确定，得到目标对象。在得到目标对象后，视觉模块20需要在距离数据中查找到目标对象对应的目标距离数据，由于视觉模块20位于抓取臂10的末端，因此视觉模块20可基于目标距
离数据、状态数据确定抓取臂10相对于目标对象的位姿，并发送位姿和用户指令至路径规划模块30。
34.需要说明的是，为了得到准确的相对位姿，进一步地，所述视觉模块20根据所述目标对象、所述距离数据以及所述状态数据确定所述抓取臂10相对于所述目标对象的位姿，包括：所述视觉模块根据所述状态数据和所述初始对象图像确定所述抓取臂的初始位姿，根据所述距离数据、初始位姿确定所述抓取臂相对于所述目标对象的位姿。
35.可以理解的是，视觉模块20根据初始对象图像中的抓取臂10的工作状态图像和状态数据可进行位姿确定，得到抓取臂10的当前位置及姿态，从而确定抓取臂0的初始位姿，在确定抓取臂10的初始位姿后，基于目标对象与视觉模块20之间的目标距离数据以及初始位姿可确定抓取臂10相对于目标对象的位姿。
36.需要说明的是，路径规划模块30可根据用户指令和位姿确定抓取臂10抓取目标对象至目标终点的移动轨迹和移动速度，并将移动轨迹和移动速度发送至抓取臂10。
37.可以理解的是，为了保证移动轨迹和移动速度能够达到目的且满足用户需求，进一步地，所述路径规划模块30根据所述用户指令和所述位姿得到所述抓取臂10的移动轨迹和移动速度，并发送所述移动轨迹和所述移动速度至所述抓取臂10，包括：所述路径规划模块根据所述用户指令确定目标终点和所述抓取臂的移动速度，根据所述位姿和所述目标终点进行路径规划，得到所述抓取臂的移动轨迹。
38.在具体实现中，由于用户指令中包括但不限于抓取臂10的操作对象、操作对象对应的目标终点以及抓取臂的移动速度，因此路径规划模块30根据用户指令确定目标终点和抓取臂10的移动速度，并根据位姿和目标终点进行路径规划，得到抓取臂10对目标对象进行抓取并移动至目标终点的行驶轨迹，抓取臂10对目标对象进行抓取并移动至目标终点的行驶轨迹即为移动轨迹。
39.需要说明的是，路径规划模块30将移动轨迹和移动速度发送至抓取臂10后，抓取臂10根据移动轨迹和移动速度抓取到目标对象后控制目标对象进行移动，直至移动至移动轨迹的终点，此时抓取臂10将目标对象放置于目标终点，从而完成目标对象的移动。
40.本实施例中通过所述视觉模块接收用户指令，根据所述用户指令采集当前区域的初始对象图像和距离数据，获取所述抓取臂的状态数据，根据所述初始对象图像和所述用户指令进行目标确定，得到目标对象，根据所述目标对象、所述距离数据以及所述状态数据确定所述抓取臂相对于所述目标对象的位姿，并发送所述位姿和所述用户指令至所述路径规划模块；所述路径规划模块根据所述用户指令和所述位姿得到所述抓取臂的移动轨迹和移动速度，并发送所述移动轨迹和所述移动速度至所述抓取臂；所述抓取臂根据所述移动轨迹和移动速度控制所述目标对象进行移动。通过上述方式，根据基于深度学习的机械臂控制系统，能将图像分析、路径规划以及目标移动功能集合一体，使机械臂不仅能够轨迹移动，还能实现图像分析，能够根据用户的需求命令自主完成期望作业，提高了现有机械臂的智能性和实用性。
41.参照图2，图2为本发明基于深度学习的机械臂控制系统第二实施例的结构框图，基于上述第一实施例，提出本发明基于深度学习的机械臂控制系统的第二实施例。
42.在本实施例中，所述视觉模块20’，还用于对所述初始对象图像进行区域划分，得到初始候选框，对所述初始候选框进行边框回归，得到目标候选框，对所述目标候选框进行
特征提取，得到各目标候选框对应的初始特征，根据所述初始特征和预设分类模型对所述各目标候选框中的对象进行分类标注，得到所述各目标候选框中的标注对象，根据各标注对象得到初始对象图像中的初始候选对象，根据所述初始候选对象和所述用户指令进行目标确定，得到目标对象。
43.需要说明的是，视觉模块20’对初始对象图像进行图像区域划分，从而得到初始图像中各不同尺度且多样化的各初始候选框，各初始候选框分别存在对应的对象。对初始候选框进行边框回归指的是视觉模块20’对各初始候选框中的较短边长度进行统一，得到大小统一的目标候选框。
44.可以理解的是，视觉模块20’根据spp-net网络结构提取特征对目标候选框中存在的对象进行特征提取，从而得到各目标候选框对应的初始特征。预设分类模型指的是通过大量样本特征和样本特征对应的样本对象对svm分类器进行训练后得到的分类模型。视觉模块20’根据初始特征和预设分类模型对各目标候选框中的对象进行分类标注，从而得到各目标候选框中标注后的标注对象，将各标注对象进行汇总，从而得到初始对象图像中的初始候选对象，并基于用户指令在初始候选对象中确定目标对象。
45.在具体实现中，为了得到准确的初始候选框，进一步地，所述视觉模块20对所述初始对象图像进行区域划分，得到初始候选框，包括：所述视觉模块根据所述初始对象图像确定所述初始对象图像中包含的划分区域，根据划分区域计算各相邻的划分区域之间的相似度，根据所述各相邻的划分区域之间的相似度确定初始候选框。
46.需要说明的是，视觉模块20’根据图像分割法对初始对象图像进行大致分割，从而得到初始对象图像中包含的多个划分区域，并计算各相邻的划分区域之间的相似度，基于各相邻的划分区域之间的相似度确定初始候选框。
47.可以理解的是，为了基于相似度进行初始候选框的准确合并，进一步地，所述视觉模块20’根据所述各相邻的划分区域之间的相似度确定初始候选框，包括：所述视觉模块根据所述各相邻的划分区域之间的相似度构建相似度集，当所述相似度集为空集时，根据各划分区域确定初始候选框，当所述相似度集不为空集时，获取所述相似度集中的最大值，根据所述最大值在各划分区域中查找第一候选区域和第二候选区域，根据所述第一候选区域和所述第二候选区域确定第三候选区域，根据所述第一候选区域、所述第二候选区域以及所述第三候选区域确定初始候选框。
48.在具体实现中，视觉模块20’根据各相邻的划分区域之间的相似度构建相似度集，当相似度集为空集时，则各划分区域均为初始候选框，当相似度不为空集时，获取相似度集中的最大值，根据最大值包括的两个划分区域确定第一候选区域和第二候选区域，将第一候选区域和第二候选区域合并后得到第三候选区域，同时将相似度集中与第一候选区域和第二候选区域有关的相似度值过滤掉，计算第三候选区域与其他剩下的划分区域各相邻区域之间的相似度值，构建新的相似度集，并将新的相似度集中的元素添加至相似度集中，并重复查找相似度集中的最大值，将最大值对应的两个划分区域进行合并同时计算合并后的区域与剩余划分区域的相邻区域之间的相似度值，直至最终的相似度集为空集，实现将划分区域之间相似度高的相邻划分区域进行合并，最终合并后的划分区域作为初始候选框。
49.需要说明的是，为了基于用户指令确定准确的目标对象，进一步地，所述视觉模块20’根据所述初始候选对象和所述用户指令进行目标确定，得到目标对象，包括：所述视觉
模块根据所述用户指令确定目标特征和目标类别，根据所述目标类别和所述目标特征在所述初始候选对象中确定目标对象。
50.可以理解的是，由于用户指令包括但不限于抓取臂10的操作对象的类别和特征、操作对象对应的目标终点以及抓取臂10的移动速度，操作对象即目标对象，视觉模块20’根据用户指令确定操作对象的类别和特征，操作对象的类别即为目标类别，操作对象的特征即为目标特征，由于初始候选对象是进行类别标注后的标注对象，因此可根据目标类别和目标特征在初始候选对象中确定对应的目标对象。
51.本实施例中通过所述视觉模块接收用户指令，根据所述用户指令采集当前区域的初始对象图像和距离数据，获取所述抓取臂的状态数据，对所述初始对象图像进行区域划分，得到初始候选框，对所述初始候选框进行边框回归，得到目标候选框，对所述目标候选框进行特征提取，得到各目标候选框对应的初始特征，根据所述初始特征和预设分类模型对所述各目标候选框中的对象进行分类标注，得到所述各目标候选框中的标注对象，根据各标注对象得到初始对象图像中的初始候选对象，根据所述初始候选对象和所述用户指令进行目标确定，得到目标对象，根据所述目标对象、所述距离数据以及所述状态数据确定所述抓取臂相对于所述目标对象的位姿，并发送所述位姿和所述用户指令至所述路径规划模块。通过上述方式，可基于初始对象图像进行准确的对象识别，从而保证了后续目标对象确定时的准确性。
52.参照图3，图3为本发明基于深度学习的机械臂控制方法第一实施例的流程示意图，所述基于深度学习的机械臂控制方法应用于如上文所述的基于深度学习的机械臂控制系统，所述基于深度学习的机械臂控制系统包括：抓取臂、视觉模块以及路径规划模块，所述视觉模块位于所述抓取臂的末端，所述基于深度学习的机械臂控制方法，包括：
53.步骤s10：所述视觉模块接收用户指令，根据所述用户指令采集当前区域的初始对象图像和距离数据，获取所述抓取臂的状态数据，根据所述初始对象图像和所述用户指令进行目标确定，得到目标对象，根据所述目标对象、所述距离数据以及所述状态数据确定所述抓取臂相对于所述目标对象的位姿，并发送所述位姿和所述用户指令至所述路径规划模块。
54.需要说明的是，本实施例的执行主体为基于深度学习的机械臂控制系统，基于深度学习的机械臂控制系统中视觉模块位于抓取臂的末端，以便于进行图像采集和后续对于目标对象的移动。基于深度学习的机械臂控制系统中视觉模块接收用户指令，根据用户指令采集当前区域的初始对象图像和距离数据，获取抓取臂的状态数据，根据初始对象图像和用户指令进行目标确定，得到目标对象，根据目标对象、距离数据以及状态数据确定抓取臂相对于目标对象的位姿，并发送位姿和用户指令至路径规划模块。路径规划模块根据用户指令和位姿得到抓取臂的移动轨迹和移动速度，并发送移动轨迹和移动速度至抓取臂。抓取臂根据移动轨迹和移动速度控制目标对象进行移动。
55.可以理解的是，视觉模块位于抓取臂的末端，可实时采集抓取臂工作区域的实际工作情况。用户指令指的是用户向视觉模块发送的基于深度学习的机械臂控制系统开始工作的触发指令，用户指令包括但不限于抓取臂的操作对象的类别和特征、操作对象对应的目标终点以及抓取臂的移动速度，操作对象即目标对象，当前区域指的是抓取臂的工作区域，初始对象图像指的是工作区域对应的工作图像，工作图像包括但不限于抓取臂的工作
状态图像以及工作区域包含各对象的图像，状态数据指的是抓取臂的当前坐标数据，距离数据指的是视觉模块中的距离传感器采集的当前区域的各对象所有面与视觉模块之间的距离，例如，当前区域中存在的对象1是正方体，正方体的六个面分别与视觉模块之间的距离构成了对象1的距离数据。
56.在具体实现中，由于初始对象图像中可能会包括轨道、需要抓取的目标对象以及其他对象，因此视觉模块需要根据初始对象图像和用户指令在初始对象图像中进行目标确定，得到目标对象。在得到目标对象后，视觉模块需要在距离数据中查找到目标对象对应的目标距离数据，由于视觉模块位于抓取臂的末端，因此视觉模块可基于目标距离数据、状态数据确定抓取臂相对于目标对象的位姿，并发送位姿和用户指令至路径规划模块。
57.需要说明的是，为了得到准确的相对位姿，进一步地，所述视觉模块根据所述目标对象、所述距离数据以及所述状态数据确定所述抓取臂相对于所述目标对象的位姿，包括：所述视觉模块根据所述状态数据和所述初始对象图像确定所述抓取臂的初始位姿，根据所述距离数据、初始位姿确定所述抓取臂相对于所述目标对象的位姿。
58.可以理解的是，视觉模块根据初始对象图像中的抓取臂的工作状态图像和状态数据可进行位姿确定，得到抓取臂的当前位置及姿态，从而确定抓取臂的初始位姿，在确定抓取臂的初始位姿后，基于目标对象与视觉模块之间的目标距离数据以及初始位姿可确定抓取臂相对于目标对象的位姿。
59.步骤s20：所述路径规划模块根据所述用户指令和所述位姿得到所述抓取臂的移动轨迹和移动速度，并发送所述移动轨迹和所述移动速度至所述抓取臂。
60.需要说明的是，路径规划模块可根据用户指令和位姿确定抓取臂抓取目标对象至目标终点的移动轨迹和移动速度，并将移动轨迹和移动速度发送至抓取臂。
61.可以理解的是，为了保证移动轨迹和移动速度能够达到目的且满足用户需求，进一步地，所述路径规划模块根据所述用户指令和所述位姿得到所述抓取臂的移动轨迹和移动速度，并发送所述移动轨迹和所述移动速度至所述抓取臂，包括：所述路径规划模块根据所述用户指令确定目标终点和所述抓取臂的移动速度，根据所述位姿和所述目标终点进行路径规划，得到所述抓取臂的移动轨迹。
62.在具体实现中，由于用户指令中包括但不限于抓取臂的操作对象、操作对象对应的目标终点以及抓取臂的移动速度，因此路径规划模块根据用户指令确定目标终点和抓取臂的移动速度，并根据位姿和目标终点进行路径规划，得到抓取臂对目标对象进行抓取并移动至目标终点的行驶轨迹，抓取臂对目标对象进行抓取并移动至目标终点的行驶轨迹即为移动轨迹。
63.步骤s30：所述抓取臂根据所述移动轨迹和移动速度控制所述目标对象进行移动。
64.需要说明的是，路径规划模块将移动轨迹和移动速度发送至抓取臂后，抓取臂根据移动轨迹和移动速度抓取到目标对象后控制目标对象进行移动，直至移动至移动轨迹的终点，此时抓取臂将目标对象放置于目标终点，从而完成目标对象的移动。
65.本实施例中通过所述视觉模块接收用户指令，根据所述用户指令采集当前区域的初始对象图像和距离数据，获取所述抓取臂的状态数据，根据所述初始对象图像和所述用户指令进行目标确定，得到目标对象，根据所述目标对象、所述距离数据以及所述状态数据确定所述抓取臂相对于所述目标对象的位姿，并发送所述位姿和所述用户指令至所述路径
规划模块；所述路径规划模块根据所述用户指令和所述位姿得到所述抓取臂的移动轨迹和移动速度，并发送所述移动轨迹和所述移动速度至所述抓取臂；所述抓取臂根据所述移动轨迹和移动速度控制所述目标对象进行移动。通过上述方式，根据基于深度学习的机械臂控制系统，能将图像分析、路径规划以及目标移动功能集合一体，使机械臂不仅能够轨迹移动，还能实现图像分析，能够根据用户的需求命令自主完成期望作业，提高了现有机械臂的智能性和实用性。
66.图4为本发明基于深度学习的机械臂控制方法第二实施例的流程示意图，基于上述第一实施例，提出本发明基于深度学习的机械臂控制方法第二实施例。
67.在本实施例中，基于深度学习的机械臂控制方法中所述步骤s10包括：
68.步骤s10’：所述视觉模块接收用户指令，根据所述用户指令采集当前区域的初始对象图像和距离数据，获取所述抓取臂的状态数据，对所述初始对象图像进行区域划分，得到初始候选框，对所述初始候选框进行边框回归，得到目标候选框，对所述目标候选框进行特征提取，得到各目标候选框对应的初始特征，根据所述初始特征和预设分类模型对所述各目标候选框中的对象进行分类标注，得到所述各目标候选框中的标注对象，根据各标注对象得到初始对象图像中的初始候选对象，根据所述初始候选对象和所述用户指令进行目标确定，得到目标对象，根据所述目标对象、所述距离数据以及所述状态数据确定所述抓取臂相对于所述目标对象的位姿，并发送所述位姿和所述用户指令至所述路径规划模块。
69.需要说明的是，视觉模块对初始对象图像进行图像区域划分，从而得到初始图像中各不同尺度且多样化的各初始候选框，各初始候选框分别存在对应的对象。对初始候选框进行边框回归指的是视觉模块对各初始候选框中的较短边长度进行统一，得到大小统一的目标候选框。
70.可以理解的是，视觉模块根据spp-net网络结构提取特征对目标候选框中存在的对象进行特征提取，从而得到各目标候选框对应的初始特征。预设分类模型指的是通过大量样本特征和样本特征对应的样本对象对svm分类器进行训练后得到的分类模型。视觉模块根据初始特征和预设分类模型对各目标候选框中的对象进行分类标注，从而得到各目标候选框中标注后的标注对象，将各标注对象进行汇总，从而得到初始对象图像中的初始候选对象，并基于用户指令在初始候选对象中确定目标对象。
71.在具体实现中，为了得到准确的初始候选框，进一步地，所述视觉模块对所述初始对象图像进行区域划分，得到初始候选框，包括：所述视觉模块根据所述初始对象图像确定所述初始对象图像中包含的划分区域，根据划分区域计算各相邻的划分区域之间的相似度，根据所述各相邻的划分区域之间的相似度确定初始候选框。
72.需要说明的是，视觉模块根据图像分割法对初始对象图像进行大致分割，从而得到初始对象图像中包含的多个划分区域，并计算各相邻的划分区域之间的相似度，基于各相邻的划分区域之间的相似度确定初始候选框。
73.可以理解的是，为了基于相似度进行初始候选框的准确合并，进一步地，所述视觉模块根据所述各相邻的划分区域之间的相似度确定初始候选框，包括：所述视觉模块根据所述各相邻的划分区域之间的相似度构建相似度集，当所述相似度集为空集时，根据各划分区域确定初始候选框，当所述相似度集不为空集时，获取所述相似度集中的最大值，根据所述最大值在各划分区域中查找第一候选区域和第二候选区域，根据所述第一候选区域和
所述第二候选区域确定第三候选区域，根据所述第一候选区域、所述第二候选区域以及所述第三候选区域确定初始候选框。
74.在具体实现中，视觉模块根据各相邻的划分区域之间的相似度构建相似度集，当相似度集为空集时，则各划分区域均为初始候选框，当相似度不为空集时，获取相似度集中的最大值，根据最大值包括的两个划分区域确定第一候选区域和第二候选区域，将第一候选区域和第二候选区域合并后得到第三候选区域，同时将相似度集中与第一候选区域和第二候选区域有关的相似度值过滤掉，计算第三候选区域与其他剩下的划分区域各相邻区域之间的相似度值，构建新的相似度集，并将新的相似度集中的元素添加至相似度集中，并重复查找相似度集中的最大值，将最大值对应的两个划分区域进行合并同时计算合并后的区域与剩余划分区域的相邻区域之间的相似度值，直至最终的相似度集为空集，实现将划分区域之间相似度高的相邻划分区域进行合并，最终合并后的划分区域作为初始候选框。
75.需要说明的是，为了基于用户指令确定准确的目标对象，进一步地，所述视觉模块根据所述初始候选对象和所述用户指令进行目标确定，得到目标对象，包括：所述视觉模块根据所述用户指令确定目标特征和目标类别，根据所述目标类别和所述目标特征在所述初始候选对象中确定目标对象。
76.可以理解的是，由于用户指令包括但不限于抓取臂的操作对象的类别和特征、操作对象对应的目标终点以及抓取臂的移动速度，操作对象即目标对象，视觉模块根据用户指令确定操作对象的类别和特征，操作对象的类别即为目标类别，操作对象的特征即为目标特征，由于初始候选对象是进行类别标注后的标注对象，因此可根据目标类别和目标特征在初始候选对象中确定对应的目标对象。
77.本实施例中通过所述视觉模块接收用户指令，根据所述用户指令采集当前区域的初始对象图像和距离数据，获取所述抓取臂的状态数据，对所述初始对象图像进行区域划分，得到初始候选框，对所述初始候选框进行边框回归，得到目标候选框，对所述目标候选框进行特征提取，得到各目标候选框对应的初始特征，根据所述初始特征和预设分类模型对所述各目标候选框中的对象进行分类标注，得到所述各目标候选框中的标注对象，根据各标注对象得到初始对象图像中的初始候选对象，根据所述初始候选对象和所述用户指令进行目标确定，得到目标对象，根据所述目标对象、所述距离数据以及所述状态数据确定所述抓取臂相对于所述目标对象的位姿，并发送所述位姿和所述用户指令至所述路径规划模块。通过上述方式，可基于初始对象图像进行准确的对象识别，从而保证了后续目标对象确定时的准确性。
78.此外，需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
79.上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
80.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做
出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如只读存储器(read only memory，rom)/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
81.以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。