使用人工智能视觉的钢筋接点识别的制作方法

本发明涉及建筑设备，更具体地说，涉及用于使用人工智能视觉的钢筋(reinforcingbar/rebar)接点识别装置或系统。

背景技术：

钢筋捆扎传统上是劳动密集型的，危险的，并且是造成建筑过程延误的原因。特别是对于大型项目，例如形成混凝土道路、楼板或地板，其涉及连接覆盖无数平方公里的面积的交叉的钢筋部分。例如，混凝土道路的宽度通常在几米到几十米之间，长度超过几百公里。这些混凝土道路、板或地板表面通常需要多层网格图案的钢筋，其中钢筋沿着表面的长度和宽度相互交叉。钢筋的每个交叉点必须被固定以确保其位置并防止钢筋在混凝土施工期间移动。

交叉点可以用交叉点周围的扎线固定。建筑工人需要用一根绑线手动将钢筋交叉点系在一起。通常使用便携式电动捆扎工具来提高这项任务的效率。然而，建筑工人仍然需要沿着钢筋网格的长度和宽度行走，识别每个交叉点，一次一个地在每个交叉点弯腰，以致动工具枪以在每个交叉点处应用绑带或夹子。沿着宽阔的路面系住钢筋是重复的、耗时的，并且是对体力要求很高的工作。而且，在施工现场的钢筋网格上行走是不安全的。让许多施工人员在钢筋网格上工作和行走只会显著增加受伤的风险。

技术实现要素：

本发明提供一种使用人工智能视觉的钢筋接点识别的装置或系统。

在本发明的一个方面，提供一种使用人工智能视觉的钢筋接点识别装置，包括：

钢筋捆扎工具，其附接到微操纵器；以及

宏操纵器，其用于移动所述微操纵器的位置；

其中所述宏操纵器适于在第一平面上移动所述微操纵器；所述微操纵器适于在平行于第一平面的第二平面上和垂直于第二平面的第一轴上移动所述钢筋捆扎工具。

优选地，所述宏操纵器适于沿着比所述微操纵器大的幅度移动。

优选地，所述宏操纵器包括机架轴伺服机构，其用于沿第一平面上的第二轴移动所述微操纵器。

优选地，所述宏操纵器包括托架轴伺服机构，其用于沿第一平面上的第三轴移动所述微操纵器，使得所述第二轴与所述第三轴正交。

优选地，所述宏操纵器适于以米的幅度移动。

优选地，所述微操纵器包括纵轴伺服机构，其用于沿所述第二平面上的第四轴移动所述钢筋捆扎工具。

优选地，所述微操纵器包括横向轴伺服机构，其用于沿所述第二平面上的第五轴移动所述钢筋捆扎工具，使得所述第二轴与所述第四轴正交。

优选地，所述微操纵器适于以毫米的幅度移动。

优选地，所述装置还包括：系统处理器，其连接一个或多个用于控制所述宏操纵器和所述微操纵器的控制器。

优选地，所述系统处理器包括本地存储器、存储设备和通信器。

优选地，所述系统处理器适于通过使用无线信号的通信器连接到一个或多个控制器。

优选地，一个控制器适于控制用于致动所述钢筋捆扎工具的致动伺服电动机。

优选地，所述装置还包括一个或多个传感器，所述的传感器包括用于捕获工件图像的图像传感器或红外传感器。

优选地，所述传感器是置于所述钢筋捆扎工具上。

优选地，所述系统处理器适于将所述图像发送到服务器。

优选地，所述服务器适于通过图案认知算法识别工件上的工作位置。

优选地，所述图案认知算法包括人工智能算法。

优选地，所述服务器适于计算工作位置的相对坐标。

优选地，所述系统处理器适于根据相对坐标将所述钢筋捆扎工具移动到工作位置。

优选地，所述钢筋捆扎工具适于用钢丝或焊接捆扎所述工件。

有利地，本发明提供以机器人使钢筋捆扎过程自动化的改进方案。例如，新的且新颖的使用人工智能视觉的钢筋接点识别装置或系统可以克服或改善现有技术的至少一个缺点，或者提供有用的可选方案。

当考虑以下说明书和附图时，其他目的和优点将变得显而易见。

附图说明

仅通过举例的方式，参考附图，通过以下对其实施方式的描述，本发明的特征和优点将变得显而易见，其中：

图1示出了使用本发明实施方式的人工智能视觉的钢筋接点识别系统的示意图；

图2示出了使用本发明实施方式的人工智能视觉的钢筋接点识别装置的示意图；

图3示出了图2的钢筋捆扎工具；

图4示出了使用本发明实施方式的人工智能视觉的钢筋接点识别的过程。

具体实施方式

发明人通过他们自己的研究、试验和实验，设计出可以使用机器人工具帮助钢筋捆扎过程的常规操作。

在一个示例性实施方式中，一种装置可用于捆绑矩形排列的纵向和横向铺装材料钢筋。该装置可以由自推进框架组件组成。自推进框架组件包括装置，其用于抬起纵向排列的钢筋中的每个单独的钢筋并用于周期性地将横向钢筋以多个设置在纵向钢筋和横向钢筋的选定交叉点处的捆绑带与被抬起的横向钢筋捆扎。自推进框架还包括横向排列的装置，其用于支撑多个纵向钢筋并在其下方插入横向钢筋以接收捆绑带；此后，带有一对间隔开的捆扎组件并可移动地支撑在框架上的托架组件在框架上间歇地被驱动，以在每隔一个纵向钢筋上实现捆扎。下一个横向钢筋类似地用沿相反方向向后移动穿过框架的托架捆扎。

在可替选实施方式中，可以使用自动钢筋捆扎机，其包括汽车、捆扎线开口、高清摄像机、捆扎机、卷轴槽、处理器、机械臂、警报器、控制器、驱动器、计数器、内置电源。该汽车包含警报器、控制器、驱动器、计数器和内置电源。捆扎线开口安装在捆扎机的一端。高清摄像头安装在捆扎线开口上。捆扎机包含处理器、卷轴槽，并且在一端与机械臂连接。机械臂的另一端连接到汽车。处理器分别控制高清摄像机、报警器、控制器、驱动器、计数器、内置电源。

在又一示例实施方式中，可以使用自主组件，其包括机架子组件，可移动地安装在机架子组件上的托架子组件，安装在托架子组件上的工具致动子组件，以及自主控制系统。自主控制系统包括感知子系统、运动规划子系统和运动控制子系统。机架子组件包括用于横向跨越工作场地的选定部分的桥接构件和用于实现机架子组件沿第一路径行进的机架驱动系统，第一路径通常沿着工作场地的选定部分的长度纵向行进。托架子组件包括托架和托架驱动系统，其用于实现托架沿第二路径行进，第二路径通常沿着桥接构件的横向行进。工具致动子组件包括运动致动器，其可操作地连接到运动致动器的末端执行器，以及用于实现末端执行器沿第三路径的线性行进的致动器驱动系统，第三路径通常垂直于第二路径。

然而，这些钢筋捆扎机或系统未能提供有效且高效的方法来识别钢筋交叉点。因此，仍然需要熟练的建筑工人来控制该钢筋捆扎机。具有这种技能的建筑工人是一种稀缺资源，往往会增加建筑项目的成本。因此，需要一种改进的方法和系统，用于执行重复的物理要求任务，例如钢筋捆扎。

图1示出了使用人工智能视觉的钢筋接点识别装置或系统的示意图。图1中的系统1包括与如图2所示的钢筋捆扎装置3相关联的服务器2。钢筋捆扎装置3包括系统处理器4，其具有本地存储器、数据存储器、用于发送和接收数据和来自服务器的信号的通信模块或。系统处理器4连接到一个或多个控制器5。在一个实施方式中，一个或多个控制器5通过系统总线直接连接到系统处理器4，而其他控制器5通过无线信号连接到系统处理器4。

控制器5适于从系统处理器4发送和接收远程数据和信号。控制器5可以控制一个或多个伺服电动机7，8和/或致动器9。一个控制器5连接到机架轴伺服电动机7，机架轴伺服电动机7控制如图3所示的钢筋工具18以穿过工件或钢筋网格的纵轴(y轴)。另一个控制器5连接到托架轴伺服电动机8，托架轴伺服电动机8控制钢筋工具18以穿过工件或钢筋网格的横轴(x轴)。另一个控制器5，连接到工具致动器9，该工具致动器9可以在纵轴(y轴)，横轴(x轴)和垂直轴(z轴)上实现钢筋捆扎工具18的运动。x，y，z轴是正交的。工具致动器9还适于致动钢筋捆扎工具18以用于系紧钢筋接点。在优选实施方式中，工具致动器9的控制器5还适于控制一个或多个传感器6，例如红外传感器，图像传感器等，其附接到钢筋捆扎工具18或工具致动器9。

在一个实施方式中，机架轴伺服电动机7和托架轴伺服电动机8是宏操纵器，其可以在长距离(以米为单位)内非常快地移动。由于机架轴伺服电动机7和托架轴伺服电动机8必须远离系统的其他部件移动，它们中的每一个都将具有单独的控制器5。在一个实施方式中，工具致动器9包括至少四个伺服电动机；一个在纵轴；一个在横轴上；一个在垂直轴；一个用于致动钢筋捆扎工具。单个控制器5可以控制四个伺服电动机。在一个实施方式中，这四个伺服电动机以串联配置连接。在一个实施方式中，工具致动器9上的伺服电动机是微操纵器，其可以以很高的精度(以毫米为单位)在微小距离内移动。

在操作中，系统处理器4使钢筋工具围绕工件移动并利用传感器6拍摄多个图像。系统处理器4然后将图像发送到服务器2以使用人工智能算法进行图像识别以识别工作地点或未捆扎的钢筋接点，并计算工作地点的相对坐标。然后，服务器2将未捆扎的钢筋接点的相对坐标发送到系统处理器4。然后，系统处理器4将钢筋捆扎工具移动到相应的未捆扎的钢筋接点，并致动钢筋捆扎工具以捆扎钢筋接点。

可以设想，钢筋捆扎工具18能够用钢丝或通过焊接捆扎钢筋。

现在参考图2和图3。图2中的装置10包括机架轴轨道12，其沿着工作场地的纵向路径产生运动。托架轴轨道14在横向上产生运动，通常横向于纵向路径；并且工具致动器16具有附接到其上的钢筋捆扎工具18。工具致动器16在垂直方向上实现如图2所示的钢筋捆扎工具18的运动。

轨道网格的典型尺寸约为4.9mx3m，钢筋的典型直径为10-12mm。在本发明的一个实施方式中，提供了一种具有ai视觉的微宏操纵器。宏操纵器包括大型2轴机架轨道。视觉传感器或摄像机适于识别钢筋接点或交叉点位置，例如，深度相机在工件网格上方30cm处可感应直径为10mm的条形物体。然后具有自动钢筋层的微操纵器精确定位接点。在一个实施方式中，为一个或多个压电电动机或音圈电动机。

机架轴轨道12允许托架轴轨道14沿着工件或钢筋网孔的纵向轴线横向移动。在一个实施方式中，机架轴轨道包括传统的钢制轨道。在可选实施方式中，机架轴轨道可以用轮子构造。

托架轴轨道14包括伺服电动机或致动器，用于控制托架轴轨道沿机架轴轨道12的运动。伺服电动机或致动器通常连接到一个或多个轮子以便于横向移动。在本发明的一个实施方式中，托架轴轨道14的伺服电动机或致动器连接到制动器，用于将托架轴轨道固定在机架轴轨12上的精确位置。

托架轴轨道14适于允许工具致动器16在托架轴轨道14的横向跨度上移动，该横向跨度基本上垂直于机架轴轨道12。在一个实施方式中，托架轴轨道14的伺服电动机或致动器连接到微控制器5，微控制器5与装置10的系统处理器4之间是可通信的。在一个实施方式中，系统处理器适于通过无线装置与微控制器5通信，例如无线电、wifi、蓝牙等。

托架轴轨道14适于允许工具致动器16横向穿越其整个长度。在一个实施方式中，工具致动器16包括沿托架轴轨道14移动的第一组伺服电动机或致动器。可选地，托架轴轨道14包括伺服电动机或致动器，以在其长度上推动工具致动器16。在一个实施方式中，托架轴轨道14的伺服电动机或致动器连接到微控制器，微控制器与装置10系统处理器之间是可通信的。系统处理器适于通过无线装置与微控制器5通信，例如无线电、wi-fi、蓝牙等。

机架轴轨道12和托架轴轨道14包括一个或多个宏操纵器。在一个实施例中，一个或多个音圈电动机用于驱动宏操纵器。

在如图2所示的一个优选实施方式中，装置10包括在托架轴轨道14上的一个或多个工具致动器16。每个工具致动器16连接到钢筋捆扎工具。每个工具致动器具有第一组伺服电动机或致动器或微操纵器，以沿着纵向轴线、横向轴线和垂直轴线移动钢筋捆扎工具18，其位移比宏观操纵器小。每个工具致动器具有第二组伺服电动机或致动器，以致动钢筋捆扎工具18，使得钢筋捆扎工具可以捆绑钢筋的接点。每个工具致动器16具有工具致动器微控制器，用于控制第一和第二组伺服电动机或致动器，并与系统处理器通信。

在一个实施方式中，每个工具致动器微控制器与单独的系统处理器或单独的系统核心相关联，使得每个工具致动器16可以通过并行处理同时执行独立的任务。

在一个实施方式中，一个或多个传感器附接到钢筋捆扎工具18。传感器可以是红外传感器、rgb传感器、激光传感器、高清摄像机或其组合。在本发明实施方式的一个应用中，钢筋捆扎工具18具有红外光源、红外传感器和rgb传感器，以产生三维深度彩色图像。在另一个实施方式中，钢筋捆扎工具18具有两个相机以产生立体图像。通常，仅使用rgb传感器可能使在多个层的接点识别变得困难。深度和rgb传感器的组合可以提高在多层工件背景中捕获的图像的可靠性。

在优选实施方式中，通过所谓的手眼深度或立体视觉系统来实现钢筋接点检测和定位，其中传感器或摄像机安装在钢筋捆扎工具18上。该解决方案特别适合用于当无法在钢筋网格上方固定安装设备(例如摄像机、臂)的情况。或者，传感器附接到工具致动器16。

深度或立体视觉系统由刚性安装到钢筋捆扎工具18的两个传感器组成。手眼深度或立体视觉系统提供许多益处，因为可以操纵传感器以获得钢筋的无障碍视野。它们小巧的体积还可以更好地进入更广泛的钢筋捆扎位置。通常，使用深度传感器难以捕获幼细的钢筋，但是手眼配置允许相机移动到距离钢筋更近的距离以捕获更好的深度图像。

使用多个传感器或相机实现深度或立体视觉系统。尽管可以使用单个移动传感器或相机，或者在两个相邻工具致动器16处的单个传感器或相机来实现深度或立体视觉，但是双传感器或相机允许钢筋接点图像的有效捕获，因为相邻工具致动器16不需要被移动多次。此外，双传感器或相机的前置位置使得更容易控制两个传感器或相机之间的距离，以产生更精确的深度立体图像。

在一个实施方式中，系统处理器适于将深度或立体图像转发到服务器2，以使用人工智能视觉进行接点识别。服务器2可以是位于远离工作场地的单个系统或云系统。

图4提供了使用人工智能视觉进行钢筋接点识别的装置或系统的过程30的示意图。在操作中，装置10必须如校准步骤32所示，校准其位置和手眼协调。校准步骤32可以仅在装置启动时执行一次。

在校准步骤32之后，装置10可以在图像捕获步骤34中移动钢筋捆扎工具18并捕获多个图像。装置10的系统处理可以存储先前的位置，使得装置10可以从先前的位置恢复接点识别。

在一个实施方式中，在进行钢筋捆扎任务之前，必须在校准步骤32中校准装置10。校准需要使用视觉系统建立传感器、钢筋捆扎工具18和工件之间的关系。第一步是捕获具有已知尺寸的校准对象的一组图像，以提供像素与现实世界或相对坐标之间的对应关系。传感器校准的过程可涉及在每个钢筋捆扎工具18处理多个图像，并且可以说是视觉系统的整体校准中最重要的步骤。

在一个实施方式中，通过捕获校准图案的多个图像来实现传感器校准。校准图案提供具有已知3d真实世界或相对坐标的一组特征点。通过从多个图像获得2d图像平面中的特征点与3d真实世界之间的对应关系，可以确定传感器参数。因为深度或立体系统的传感器校准是耗时且高度重复的。从这个角度来看，自动化相机校准过程是有意义的。

在一个实施方式中，自动校准算法用于确定相机的固有和外在参数。基于从初始传感器校准获得的数据，确定手眼和工具世界变换的估计值。最后，使用非线性优化方法同时解决实际的手眼和工具世界变换以及装置10的校准。

一旦在图像捕获步骤34中捕获了深度或立体图像，深度或立体图像便经受用于图像预处理步骤36的一个或多个图像滤波器。图像滤波器将清除图像上的杂讯以便图案识别。通常，深度或rgb相机的性能可能在半户外环境中退化。在一个实施方式中，图像预处理步骤36可以减少由于室外环境引起的杂讯。

参考图像预处理步骤36，由于恶劣天气条件导致的室外图像退化被认为是大多数基于视觉的应用中的主要问题。

在一个实施方式中，图像预处理步骤36利用图像增强方法，诸如基于模型和基于非模型的方法。基于非模型的方法使用图像中的信息进行处理以及基于模型的方法使用关于成像设备和环境的额外信息进行处理。

在另一实施方式中，偏振滤光器或传感器用于减少眩光，减少表面反射，并增加结构、缺陷和形状的清晰度。

在图像预处理步骤36之后，图像将经受人工智能视觉识别步骤38以识别未捆扎的钢筋接点。在本发明的一个实施方式中，装置10使用神经网络模式识别算法来识别未捆扎的钢筋接点。这过程通常在具有显著地更高处理能力的远程服务器或云端中执行。神经网络已经过预先训练以优化识别过程。

一旦确定了未捆扎的钢筋接点，系统处理器将向装置10发送指示以将工具致动器移动到钢筋接点的位置，并致动钢筋捆扎工具18以捆绑钢筋接点。在这种情况下，装置10仅需要自动钢筋捆扎至少50％或更多的内部接点。

应理解为本领域技术人员将意识到可以在本发明的核心教导中进行变化。

尽管已经参考具体示例描述了本发明，但是本领域技术人员将理解，本发明可以以许多其他形式实施，以符合本文描述的本发明的广泛原理和精神。

本发明和所描述的实施方式具体包括申请人已知的实施本发明的最佳方法。本发明和所描述的优选实施方式具体包括至少一个工业上可应用的特征。