物件类别识别方法及分拣设备与流程

本发明涉及垃圾分拣回收技术领域，尤其涉及一种物件类别识别方法及分拣设备。

背景技术：

随着环境污染问题日益严重，垃圾的回收利用也成为了可持续发展战略的重要组成部分。由于垃圾中往往混合有多种类别的物件，在对垃圾进行回收利用之前，首先需要对垃圾进行分类，以根据不同类别的垃圾进行分别回收和处理。

随着自动化技术的发展，垃圾分类也由传统依靠人工方式转变成了通过分拣设备进行自动分拣。现有的分拣设备通常包括：机器人、摄像机及控制器，通过摄像机采集垃圾图像，控制器根据图像识别垃圾物体的位置和类别(如瓶子、石头等)信息，然后根据得到的位置和类别信息控制机器人将该垃圾放至对应类别的料框中；然而，类别相同的垃圾可能具有不同的材质(例如，石头类别中包括有较重的普通砖头和空心砖、泡沫砖等轻质砖头；瓶子类别中包括有轻质的塑料瓶和较重的玻璃瓶、不锈钢瓶等)，因此，在分拣过程中，不仅需要根据物件所属的大类进行分拣，还需要根据物件的材质对各个类别进行细分。

中国专利申请cn109127459a公开了一种建筑垃圾物料分拣方法，其通过工业相机获得物料的轮廓信息，通过测距传感器获取物料的高度信息，结合物料轮廓信息和高度信息估算出物料的体积，然后通过安装在机器人上的拉力传感器来获得物料的重量，最后根据物料重量和物料体积获取物料的密度。其通过在机器人上安装拉力传感器来测量物料的重量，额外增加了传感器，导致成本增加；另外，其通过工业相机识别物料轮廓、测距传感器测量高度的方法，对于形状不规则的物料，计算出来的体积误差太大，而垃圾物料多数为不规则形状，因此该方法在实际中应用中可行性较低。

技术实现要素：

本发明的目的是提供一种无需额外利用传感器获取物件的重量的物件类别识别方法和分拣设备。

为了实现上述目的，本发明公开了一种物件类别识别方法，应用于分拣设备中，所述分拣设备包括机械臂和用于驱动所述机械臂的驱动器，所述物件类别识别方法包括：

获取物件的图像信息；

获取所述驱动器驱动所述机械臂向上提升所述物件时所述驱动器的扭矩信息；

依据所述图像信息获得所述物件的体积，依据所述物件的体积和所述扭矩信息获得所述物件的密度，以依据所述物件的密度获得所述物件的类别。

较佳地，所述分拣设备预先设置有2d相机和3d相机；所述“获取物件的图像信息”具体为：通过所述2d相机采集所述物件的2d图像，通过所述3d相机采集所述物件的3d点云；所述“依据所述图像信息获得所述物件的体积”具体为：依据所述2d图像获得所述物件的2d轮廓，依据所述3d点云和所述2d轮廓获得所述物件的体积。

更佳地，“依据所述3d点云和所述2d轮廓获得所述物件的体积”具体为：将所述2d轮廓划分为离散的若干个网格；根据每一所述网格的面积和所述网格所对应的所述3d点云的平均高度获得每一所述网格的体积；对各个所述网格的体积求和，得到所述物件的体积。

较佳地，所述“依据所述物件的密度获得所述物件的类别”具体为：采用深度学习的方式对所述2d图像进行识别，获得所述物件的大类，然后依据所述物件的大类和密度获得所述物件的小类；其中，所述物件的大类包括有若干个所述小类。

较佳地，所述物件类别识别方法还包括：预先设置所述物件的大类中，所述物件的密度与所述物件的小类的对应关系。

较佳地，所述机械臂包括有z轴组件，所述z轴组件包括可于所述驱动器的驱动下作升降运动的执行件；所述“获取所述驱动器驱动所述机械臂向上提升所述物件时的扭矩信息”具体为：实时采集所述驱动器驱动所述执行件向上匀速提升所述物件时反馈的实际扭矩值，并将匀速状态下各个所述实际扭矩值取平均值获得所述扭矩信息。

与现有技术相比，本发明利用驱动器本身具有的扭矩采集和反馈功能来获得驱动器驱动机械臂向上提升物件时的扭矩信息，根据扭矩信息来获得物件的重量，从而根据物件的重量和体积获得物件的密度，进而获得物件的类别，本发明无需额外使用传感器来对物件的重量进行测量，节约了成本，且计算结果也更加准确。此外，本发明通过2d相机获得物件的2d轮廓，通过3d相机获得物件的3d点云，然后依据3d点云和2d轮廓获得物件的体积，无论是形状规则的物件还是形状不规则的物件，本发明都能够准确获得物件的体积，特别适用于垃圾分拣。

为了实现上述目的，本发明还公开了一种分拣设备，用于对物件进行分拣，所述分拣设备包括机械臂、驱动器、图像获取装置及控制装置，所述驱动器用于驱动所述机械臂，所述图像获取装置用于采集所述物件的图像信息并传送至所述控制装置，所述控制装置根据所述图像信息获得所述物件的体积，所述控制装置获取所述机械臂向上提升所述物件时所述驱动器的扭矩信息，并依据所述扭矩信息和所述物件的体积获得所述物件的密度，以根据所述物件的密度控制所述驱动器驱动所述机械臂将所述物件放至相应的位置。

较佳地，所述图像获取装置包括2d相机和3d相机，所述2d相机用于采集所述物件的2d图像，所述控制装置依据所述2d图像获得所述物件的2d轮廓，所述3d相机用于采集所述物件的3d点云，所述控制装置依据所述3d点云和所述2d轮廓获得所述物件的体积。

较佳地，所述控制装置采用深度学习的方式对所述2d图像进行识别，获得所述物件的大类，然后依据所述物件的大类和密度获得所述物件的小类，以根据所述物件的小类控制所述驱动器驱动所述机械臂将所述物件放至相应的位置；其中，所述物件的大类包括有若干个所述小类。

较佳地，所述机械臂包括z轴组件，所述z轴组件包括可于所述驱动器的驱动下作升降运动的执行件，所述控制装置实时采集所述驱动器驱动所述执行件向上匀速提升所述物件时反馈的实际扭矩值，并将匀速状态下各个所述实际扭矩值取平均值获得所述扭矩信息。

与现有技术相比，本发明利用驱动器本身具有的扭矩采集和反馈功能来获得驱动器驱动机械臂向上提升物件时的扭矩信息，根据扭矩信息来获得物件的重量，从而根据物件的重量和体积获得物件的密度，进而获得物件的类别，本发明无需额外使用传感器来对物件的重量进行测量，节约了成本，且计算结果也更加准确。此外，本发明通过2d相机获得物件的2d轮廓，通过3d相机获得物件的3d点云，然后依据3d点云和2d轮廓获得物件的体积，无论是形状规则的物件还是形状不规则的物件，本发明都能够准确获得物件的体积，特别适用于垃圾分拣。

附图说明

图1是本发明实施例分拣产线的组成结构示意图。

图2是图1所示直角坐标机器人的结构示意图。

图3是本发明实施例z轴组件和g轴组件的结构示意图。

图4是本发明实施例图像获取装置去掉局部保护罩之后的结构示意图。

图5是本发明实施例分拣设备的电控系统组成框图。

图6是本发明实施例物件类别识别方法的流程图。

具体实施方式

为详细说明本发明的内容、构造特征、所实现目的及效果，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要理解的是，术语“上”、“下”、“升”、“降”、“x轴”、“y轴”、“z轴”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为便于描述本发明和简化描述，因而不能理解为对本发明保护内容的限制。

分拣设备100通常应用于分拣产线中，如图1所示，分拣设备100具有机械臂，其通过机械臂抓取并提升在分拣产线的输送线200上流动的物件(例如垃圾回收时的瓶子、石头、布料等)，然后依据各个物件的类别将该物件放至对应的料框(图未示)中，从而实现物件的自动分拣。

请参阅图6，图6是本发明实施例提供的一种物件类别识别方法的流程图，该物件类别识别方法可应用在分拣设备100中；具体的，本发明实施例的物件类别识别方法包括：

s1:获取物件的图像信息。具体实施例中，可以通过相机拍摄物件获得该物件的图像信息，也可以通过扫描仪扫描物件获得该物件的图像信息，而该图像信息可以为2d图像，也可以为3d图像，更可以包含有2d图像和3d图像两者。

s2:获取驱动器131驱动机械臂向上提升物件时驱动器131的扭矩信息。由于各个物件的重量有所不同，当驱动器131驱动机械臂向上提升物件时，因被提升的物件的重量不同而使驱动器131产生不同的扭矩；具体实施例中，驱动器131可以为任何能够获得并反馈其产生的扭矩的驱动件，例如集成有霍尔传感器的驱动电机等；具体而言，驱动器131通过霍尔传感器检测其电流，借由电流与扭矩的比例转换关系，计算得出当前的实际扭矩值。

可选地，通过实时采集驱动器131驱动机械臂向上匀速提升物件的过程中反馈的实际扭矩值，并将匀速状态下各个实际扭矩值取平均值，从而获得扭矩信息。当然，在一些实施例中，也可以依据各个实际扭矩值采用其他计算方式获得该扭矩信息，故不应以此为限。

s3:依据图像信息获得物件的体积，依据物件的体积和扭矩信息获得物件的密度，依据物件的密度获得物件的类别。

可选地，分拣设备100预先设置有2d相机21和3d相机22，通过2d相机21采集物件的2d图像，依据2d图像获得物件的2d轮廓；通过3d相机22采集物件的3d点云，然后依据3d点云和2d轮廓获得物件的体积。相较于现有技术中通过工业相机获取物件的轮廓，然后结合测距传感器获取到的物料的高度信息来计算物件体积的方式，本发明通过3d点云和2d轮廓计算物件的体积的方式，计算结果更加可靠，即使是对于形状不规则的物件，本发明仍能够准确获得物件的体积。其中，2d相机21可以为任何能够依据采集到的2d图像识别出物件的2d轮廓的相机，而通过2d图像如何获得物件的2d轮廓为现有技术，在此不再赘述。优选的，2d图像为rgb图像，但不应以此为限。

具体的，步骤s3中的“依据3d点云和2d轮廓获得物件的体积”具体为：将2d轮廓划分为离散的若干个网格；根据每一网格的面积和网格所对应的3d点云的平均高度获得每一网格的体积；对各个网格的体积求和，得到物件的体积。

步骤s3中的“依据物件的体积和扭矩信息获得物件的密度”具体为：依据扭矩信息和机械臂的z轴组件13的结构获得物件的重量，再依据物件的重量和物件的体积获得物件的密度。下面，以一具体实施例为例进行说明，当然，具体实施中并不以该举例说明为限制。

在该实施例中，还通过2d轮廓分析获得物件的位置信息，从而可以根据位置信息控制驱动器131驱动机械臂运动至相应的位置，进而可以实现对输送线200上流动的物件的获取，实现分拣。

步骤s3中的“依据物件的密度获得物件的类别”具体为：采用深度学习的方式对2d图像进行识别，获得物件的大类，然后依据物件的大类和密度获得物件的小类，借此，实现了对物件类别的进一步细分，从而可以依据物件的小类控制驱动器131驱动机械臂将物件细分至相应的料框。其中，物件的大类包括有若干个小类，例如，石头大类中包括有小类普通砖头和小类空心砖头等，瓶子大类中包括有小类塑料瓶和小类玻璃瓶等。其中，采用深度学习的方式识别出2d图像中的物件的大类为现有技术，在此不再赘述。

在步骤s1之前，还包括：预先设置物件的大类中，物件的密度与物件的小类的对应关系，从而可以根据物件的大类和物件的密度获得物件的小类，而如何根据物件的大类和物件的密度与预先设置的对应关系分析得出物件的小类为现有技术，在此不再赘述。

请参阅图3，具体的，z轴组件13包括与驱动器131的输出端连接的主动轮132、呈紧绷地缠在主动轮132的牵引带133、与牵引带133连接的执行件134以及设置在牵引带133上的张紧轮135，主动轮132可于驱动器131的驱动下带动牵引带133而连动执行件134作升降运动。更具体的，驱动器131包括电机和连接在电机的输出轴的减速器，在该实施例中，依据公式ρ＝(m1-m0)*i/g/r/v计算物件的密度；其中，ρ为物件的密度，m1为执行件134匀速向上提升物件的过程中驱动器131的扭矩信息，m0为执行件134空载时按照同样速度匀速向上运动的过程中驱动器131的平均扭矩，i为驱动器131的减速比，g为重力加速度，r为主动轮132的半径，v为物件的体积。

本发明利用驱动器131本身具有的扭矩采集和反馈功能来获得驱动器131驱动机械臂向上提升物件时的扭矩信息，根据扭矩信息来获得物件的重量，从而根据物件的重量和体积获得物件的密度，进而获得物件的类别，本发明无需额外使用传感器来对物件的重量进行测量，节约了成本，且计算结果也更加准确。此外，本发明通过2d相机21获得物件的2d轮廓，通过3d相机22获得物件的3d点云，然后依据3d点云和2d轮廓获得物件的体积，无论是形状规则的物件还是形状不规则的物件，本发明都能够准确获得物件的体积，特别适用于垃圾分拣。

本发明实施例提供的一种分拣设备100，该分拣设备100可以设置在分拣产线中。如图1所示，分拣产线包括输送线200和分拣设备100，分拣设备100用于依据物件(例如垃圾回收时的瓶子、石头、布料等)的类别将输送线200上的物件放至相应的料框中，从而实现物件的自动分拣。

请参阅图1、图3及图5，具体的，分拣设备100包括机械臂、驱动器131、图像获取装置2及控制装置3。其中，驱动器131用于驱动机械臂。图像获取装置2用于采集物件的图像信息并传送至控制装置3，具体的，图像获取装置2可以为摄像机，也可以为扫描仪等任何能够获取图像的装置，而该图像信息可以为2d图像，也可以为3d图像，更可以包含有2d图像和3d图像两者。控制装置3根据图像信息获得物件的体积。控制装置3获取驱动器131驱动机械臂向上提升物件时驱动器131的扭矩信息，并依据扭矩信息和物件的体积获得物件的密度，以根据物件的密度控制驱动器131驱动机械臂将物件放至相应的位置；具体的，驱动器131可以为任何能够获得并反馈其产生的扭矩的驱动件，例如集成有霍尔传感器的驱动电机等；具体而言，驱动器131通过霍尔传感器检测其电流，借由电流与扭矩的比例转换关系，计算得出当前的实际扭矩值。

具体的，控制装置3通过ethercat总线实时采集驱动器131驱动机械臂向上匀速提升物件的过程中反馈的实际扭矩值，并将匀速状态下各个实际扭矩值取平均值，从而获得该扭矩信息。当然，在一些实施例中，也可以依据各个实际扭矩值采用其他计算方式获得扭矩信息，故不应以此为限。控制装置3可以为任何具有数据处理能力的装置，例如pc机、plc等。

请参阅图4，具体的，图像获取装置2包括2d相机21和3d相机22，2d相机21用于采集物件的2d图像，控制装置3依据2d图像获得物件的2d轮廓，3d相机22用于采集物件的3d点云，控制装置3依据3d点云和2d轮廓获得物件的体积。相较于现有技术中通过工业相机获取物件的轮廓，然后结合测距传感器获取到的物料的高度信息来计算物件体积的方式，本发明通过3d点云和2d轮廓计算物件的体积的方式，计算结果更加可靠，即使是对于形状不规则的物件，本发明仍能够准确获得物件的体积。其中，2d相机21可以为任何能够依据采集到的2d图像识别出物件的2d轮廓的相机，而通过2d图像如何获得物件的2d轮廓为现有技术，在此不再赘述。优选的，2d图像为rgb图像，但不应以此为限。

更具体的，控制装置3将2d轮廓划分为离散的若干个网格；根据每一网格的面积和网格所对应的3d点云的平均高度获得每一网格的体积；对各个网格的体积求和，得到物件的体积。

在该实施例中，控制装置3还通过2d轮廓分析获得物件的位置信息，从而可以根据位置信息控制驱动器131驱动机械臂运动至相应的位置，进而可以实现对输送线200上流动的物件的获取，实现分拣。

进一步地，控制装置3采用深度学习的方式对2d图像进行识别，获得物件的大类，然后依据物件的大类和密度获得物件的小类，借此，实现了对物件类别的进一步细分。其中，物件的大类包括有若干个小类，例如，大类石头中包括有小类普通砖头和空心砖头等，大类瓶子中包括有塑料瓶和玻璃瓶等。

当然，控制装置3中预先设置物件的大类中，物件的密度与物件的小类的对应关系，从而可以根据物件的大类和物件的密度获得物件的小类，而如何根据物件的大类和物件的密度与预先设置的对应关系分析得出物件的小类为现有技术，在此不再赘述。

具体的，控制装置3依据扭矩信息和机械臂的z轴组件13的结构获得物件的重量，再依据物件的重量和物件的体积获得物件的密度。下面，以一具体实施例为例进行说明，当然，具体实施中并不以该举例说明为限制。

请参阅图2和图3，具体的，分拣设备100包括直角坐标机器人1，直角坐标机器人1包括机械臂，机械臂包括有x轴组件11、y轴组件12、z轴组件13、r轴(旋转轴)组件14及g轴(夹爪开合轴)组件15，其中，r轴组件14与z轴组件13连接，g轴组件15与r轴组件14连接，x轴组件11、y轴组件12及z轴组件13互相垂直设置，z轴组件13可在y轴组件12的带动下承载g轴组件15沿y轴移动，y轴组件12可x轴组件11的带动下承载z轴组件13沿x轴移动，z轴组件13可在驱动器131的驱动下承载g轴组件15在z轴方向移动，r轴组件14可带动g轴组件15旋转。具体的，z轴组件13包括与驱动器131的输出端连接的主动轮132、呈紧绷地缠在主动轮132的牵引带133、与牵引带133连接的执行件134以及设置在牵引带133上的张紧轮135，主动轮132可于驱动器131的驱动下带动牵引带133上下运动而连动执行件134作升降运动。更具体的，驱动器131包括电机和连接在电机的输出轴的减速器，在该实施例中，依据公式ρ＝(m1-m0)*i/g/r/v计算物件的密度；其中，ρ为物件的密度，m1为执行件134匀速向上提升物件的过程中驱动器131的扭矩信息，m0为执行件134空载时按照同样速度匀速向上运动的过程中驱动器131的平均扭矩，i为驱动器131的减速比，g为重力加速度，r为主动轮132的半径，v为物件的体积。

分拣设备100在对物件进行分拣时，首先通过获得的2d图像分析得出物件的大类和位置信息，然后通过控制装置3控制机械臂运动至相应的位置，待g轴组件15抓取到物件后，控制装置3控制驱动器131驱动z轴组件13向上匀速提升物件，在此过程中，控制装置3实时采集驱动器131反馈的实际扭矩值，从而计算得出扭矩信息，然后，根据扭矩信息和由3d图像分析得到的物件体积分析得出物件的小类，最后，根据物件的小类控制机械臂将该物件放至相应的料框中。

本发明利用驱动器131本身具有的扭矩采集和反馈功能来获得驱动器131驱动机械臂向上提升物件时的扭矩信息，根据扭矩信息来获得物件的重量，从而根据物件的重量和体积获得物件的密度，进而获得物件的类别，本发明无需额外使用传感器来对物件的重量进行测量，节约了成本，且计算结果也更加准确。此外，本发明通过2d相机21获得物件的2d轮廓，通过3d相机22获得物件的3d点云，然后依据3d点云和2d轮廓获得物件的体积，无论是形状规则的物件还是形状不规则的物件，本发明都能够准确获得物件的体积，特别适用于垃圾分拣。

以上所揭露的仅为本发明的优选实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明申请专利范围所作的等同变化，仍属本发明所涵盖的范围。