识别可旋转紧固螺丝丢失的方法、装置、终端及存储介质与流程

1.本技术涉及质量检测技术，尤其是涉及一种识别可旋转紧固螺丝丢失的方法、装置、终端及存储介质。


背景技术：

2.在高铁底面检测技术中，现有的可旋转紧固螺丝丢失识别方案采用的是人工检测的方法。具体地，巡检工人需要用手电筒照射待检查的区域，巡检工人用肉眼观察可旋转紧固螺丝是否丢失，并记录在纸质文档上，形成检修记录和报告文书。
3.然而，随着高铁车辆数量不断的增大，待检测区域数量不断增大，人工检测方案的人力成本直线上升，且工人巡检的压力大增。同时，工人在工作时长过长的情况下检测精度会明显下降，而一旦出现了如联轴节等重要可旋转的重要器件上的螺栓丢失，极易导致重大生产或交通事故。


技术实现要素：

4.为了解决上述技术缺陷之一，本技术实施例中提供了一种识别丢失的可旋转紧固螺丝的方法、装置、终端及存储介质。
5.本技术第一方面实施例提供一种识别丢失的可旋转紧固螺丝的方法，包括：
6.根据预先确定的刹车制动盘和联轴节处的可旋转紧固螺丝标准图点云向当前图点云配准，获取配准后的点云在所述当前图点云坐标系下的位置信息；
7.根据所述位置信息将标准图中配准后的点云的质心变换到所述当前图点云坐标系中，得到所述可旋转紧固螺丝各自点云的质心在当前图点云坐标系中的坐标信息；
8.根据所述坐标信息确定丢失的可旋转紧固螺丝。
9.本技术第二方面实施例提供一种识别丢失的可旋转紧固螺丝的装置，包括：；
10.获取模块，用于根据预先确定的刹车制动盘和联轴节处的可旋转紧固螺丝标准图点云向当前图点云配准，获取配准后的点云在所述当前图点云坐标系下的位置信息；
11.第一处理模块，用于根据所述位置信息将标准图中配准后的点云的质心变换到所述当前图点云坐标系中，得到所述可旋转紧固螺丝各自点云的质心在当前图点云坐标系中的坐标信息；
12.第二处理模块，用于根据所述坐标信息确定丢失的可旋转紧固螺丝。
13.本技术第三方面实施例提供一种终端，包括：
14.存储器；能够支持处理器读取带有原始数据的设备，同时支持处理器将通过前述任一项所述的方法处理后的数据进行存储；
15.处理器；能够从存储器中读入原始数据，并根据前述任一项所述的方法对数据进行处理，得到丢失的可旋转紧固螺丝的位置信息；
16.计算机程序；存储在所述存储器中，能够通过计算机语言实现前述任一项所述的方法的完整算法功能，完成编译，并能够在处理器中快速运行。
17.本技术第四方面实施例提供一种，计算机可读存储介质，其上存储有计算机程序；所述计算机程序被处理器执行以实现如前述任一项所述的方法。
18.本技术实施例提供一种识别丢失的可旋转紧固螺丝的方法、装置、终端及存储介质，通过2d图片坐标定位、部件3d点云配准、3d向2d映射以定位所有部件、部件坐标筛选，滤除已检测出的可旋转紧固螺丝，即可定位到丢失的可旋转紧固螺丝的位置，从而自动识别出丢失的可旋转紧固螺丝，相对于人工检测的方法而言，本技术实施例在精度、可靠性、效率上均有明显提升，利于确保质量检测的可靠性，避免因可旋转紧固螺丝丢失导致的生产或交通事故。
附图说明
19.此处所说明的附图用来提供对本技术的进一步理解，构成本技术的一部分，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：
20.图1为一示例性实施例提供的方法的流程示意图；
21.图2为一示例性实施例提供的方法的流程示意图；
22.图3为一示例性实施例提供的装置的流程示意图；
23.图4a为一示例性实施例提供的标准图与当前图的整体配准示意图；
24.图4b为一示例性实施例提供的标准图与当前图的局部配准示意图；
25.图4c为一示例性实施例提供的当前图可旋紧固螺丝向标准图整体配准示意图；
26.图4d为一示例性实施例提供的联轴节处可旋转紧固螺丝丢失识别识别结果示意图。
具体实施方式
27.为了使本技术实施例中的技术方案及优点更加清楚明白，以下结合附图对本技术的示例性实施例进行进一步详细的说明，显然，所描述的实施例仅是本技术的一部分实施例，而不是所有实施例的穷举。需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互组合。
28.相关技术中，人工检测的方法在短期内成本相对低廉，且能多个工人同时检修，在项点变化的情况下也能快速适应变化，进入工作状态。但随着待检测区域数量不断的增大，人工检测方案的人力成本直线上升，且工人巡检的压力大增。同时，工人在工作时长过长的情况下检测精度会明显下降，而一旦出现了如联轴节等重要可旋转的重要器件上的螺栓丢失，但没有检测出的情况，可能会出现重大生产或交通事故。另外，人工检测的方案难以保证工人对于每个点位均能检测，也为生产质量埋下隐患。
29.为了克服上述问题中的至少一个，本技术实施例提供一种识别可旋转紧固螺丝丢失的方法、装置、终端及存储介质，通过深度学习的方法定位到2d图片中可旋转紧固螺丝的位置信息，得到对应的3d点云并载入标准图点云后，通过3d点云配准得到标准图上所有可旋转紧固螺丝在当前点云内的坐标，映射到2d后滤除已检测出的可旋转紧固螺丝，即可定位到丢失的可旋转紧固螺丝的位置，从而自动识别出丢失的可旋转紧固螺丝，相对于人工检测的方法而言，本技术实施例在精度、可靠性、效率上均有明显提升，利于确保质量检测的可靠性，避免因可旋转紧固螺丝丢失导致的生产或交通事故。
30.下面结合附图对本技术实施例提供的识别丢失的可旋转紧固螺丝的方法、装置、终端及存储介质的功能及实现过程进行举例说明。
31.如图1所示，本实施例提供的识别丢失的可旋转紧固螺丝的方法，包括：
32.s101、根据预先确定的刹车制动盘和联轴节处的可旋转紧固螺丝标准图点云向当前图点云配准，获取配准后的点云在当前图点云坐标系下的位置信息；
33.s102、根据位置信息将标准图中配准后的点云的质心变换到当前图点云坐标系中，得到可旋转紧固螺丝各自点云的质心在当前图点云坐标系中的坐标信息；
34.s103、根据坐标信息确定丢失的可旋转紧固螺丝。
35.需要先说明的是：本实施例中涉及3d点云配准技术、深度学习检测技术以及3d点云拼接技术。其中，3d点云配准技术主要采用迭代最近邻点方法(iterative-closest-point method，icp)，该技术主要用于两个相似点云位姿的匹配；深度学习检测技术主要用于检测可旋转紧固螺丝在2d图片上的位置，检测方法如faster r-cnn，yolo v4等方法；3d点云拼接技术主要用于可旋转紧固螺丝的完整建模，可利用cloud compare等软件进行拼接。
36.在步骤s101中，如图2所示，需预先从2d图像确定的可旋转紧固螺丝的位置，得到可旋转紧固螺丝的3d点云。也即部分部件2d图片坐标定位。在具体实现时，需预先获取相关的图片，对有可旋转紧固螺丝的位置进行高清图片的拍摄和存储；从拍摄的图片中确定出所有可旋转紧固螺丝的位置，得到可旋转紧固螺丝的点云。其中，在从拍摄的图片中确定可旋转紧固螺丝时，可以由人工确定或者由终端识别或者人工及终端相结合的方式来实现。
37.示例性地，终端可通过深度学习的方法检测并定位到2d图片中部分可旋转紧固螺丝的坐标。具体可采用faster r-cnn。faster r-cnn主要包括两个模块：rpn(region proposal network，深度全卷积网络)和fast r-cnn检测器。rpn用来产生候选区域；fast r-cnn检测器用于根据rpn网络产生的候选区域进行分类与边框回归计算。整个检测过程共享卷积特征图，即此特征图既作为rpn的输入，也作为fast r-cnn的输入，是一个统一的用来进行物体检测的网络。fast r-cnn检测器分类与边框回归计算得到的检测框中的可旋转紧固螺丝为检测出的可旋转紧固螺丝，也即未丢失的可旋转紧固螺丝。
38.在获得所有可旋转紧固螺丝在当前图点云坐标系下的位置信息也即坐标之后，可进行部件3d点云配准；具体地，根据预先确定的可旋转紧固螺丝的标准图点云向当前图(当前帧对应的2d图像)点云配准，获取配准后的点云在当前图点云坐标系下的位置信息。
39.可选地，采用点对点的icp(iterative closest point,最近点匹配)将标准图点云向当前图点云配准。实现过程具体可如下：
40.步骤1：在源点云p中取点集pi∈p；
41.步骤2：找出目标点云q中的对应点集qi∈q，使得||qi-pi||＝min；
42.步骤3：计算旋转矩阵r和平移矩阵t，使得误差函数最小；
43.步骤4：对pi使用上一步求得的旋转矩阵r和平移矩阵t进行旋转和平移变换，得到新的对应点集，
44.p
′
i＝{p
′
i＝rpi+t,pi∈p}
45.步骤5：计算p
′
i与对应点集qi的平均距离d＝1n∑ni＝1∥∥p
′
i-qi∥∥2；
46.步骤6：如果d小于某一给定的阈值或者大于预设的最大迭代次数，则停止迭代计
算，否则返回步骤2。
47.举例来说，标准图中的点云为源点云p；当前图中的点云为目标点云q。计算的到的点集p
′
i为配准后的点云。
48.在具体实现时，由于拍摄角度不固定，而icp配准结果非常依赖初始值，为了提高配准结果的精确度，本实施例通过整体-整体、局部-局部、局部-整体匹配的方法得到标准图上所有可旋转紧固螺丝在当前点云内的坐标。
49.可选地，步骤s101包括：
50.载入标准图点云；标准图点云包括全局点云及局部点云，局部点云包括可旋转紧固螺丝的点云，全局点云包括可旋转紧固螺丝及其关联部件的点云；
51.对全局点云进行降采样处理；
52.将标准图点云中的全局点云与当前图点云中的全局点云进行匹配，得到全局匹配结果；
53.以全局匹配结果为初值，将标准图点云中的局部点云与当前图点云中的局部点云进行匹配，得到相匹配的可旋转紧固螺丝的点云；
54.在得到相匹配的可旋转紧固螺丝的点云中，将其在当前图中的局部点云与标准图的全局点云进行配准，得到配准后的可旋转紧固螺丝的点云；
55.获取配准后的可旋转紧固螺丝的点云在当前图点云坐标系下的位置信息。
56.载入的标准图点云也可称为标准图完整点云。该标准图包含两个点云，一个点云是器件整体的完整的点云，如包含联轴节本体及联轴节上螺栓的完整点云；另一个点云是仅包含可旋转紧固螺丝的点云，如仅有联轴节上螺栓的点云。两个点云对应点坐标完全相同。
57.将标准图和当前图的全局点云降采样。由于完整点云过大，为了加速配准，需要将当前图和标准图的器件完整点云进行降采样，对降采样后的完整点云进行配准。对于仅包含可旋转紧固螺丝的局部点云，不进行降采样的操作。
58.下面结合附图对匹配过程进行举例说明。
59.如图4a所示，整体-整体匹配；图4a中的黄色部分为标准图点云，图4a中的蓝色部分为当前图点云。由于整体点云的特征较多，当前图器件完整点云和标准图器件完整点云的匹配结果较为良好，但也由于拍摄角度，以及一些器件细节上差异的情况，可旋转紧固螺丝的配准效果不理想。因此，本步骤能够为后续精细匹配提供良好初值。
60.如图4b所示，局部-局部匹配；图4b中的黄色部分为标准图点云，图4b中的蓝色部分为当前图点云。该步骤用于当前帧可旋转紧固螺丝的局部点云和标准图可旋转紧固螺丝的局部点云配准，初值采用的整体-整体匹配的结果。该步骤能将两个局部的点云精细的匹配到一起。
61.如图4c所示，局部-整体匹配；图4c中的黄色部分为标准图点云，图4c中的蓝色部分为当前图点云。该步骤使用当前帧图像中可旋转紧固螺丝的局部点云和标准图整体点云进行配准，去除局步点云上噪声对于匹配结果的影响。
62.在上述各匹配阶段，均可采用icp进行配置。
63.在步骤s102中，根据步骤s101得到的最终点云的位置信息，将最终得到的点云的质心变换到当前图点云坐标系中，得到可旋转紧固螺丝各自点云的质心在当前图点云坐标
系中的坐标信息。实现3d向2d的映射，以在2d图像中定位出所有的可旋转紧固螺丝，得到所有的可旋转紧固螺丝的坐标信息。其中，可利用步骤s101中得到的标准图向当前图变换的矩阵(旋转矩阵r和平移矩阵t)，将标准图中可旋转紧固螺丝各自点云的质心变换到当前图点云坐标系中。
64.在步骤s103中，根据得到的坐标信息进行筛选，以识别出丢失的可旋转紧固螺丝。在步骤s102中定位出的所有的可旋转紧固螺丝中，滤除已检测出的可旋转紧固螺丝，得到的则为丢失的可旋转紧固螺丝。如图4d中的加粗虚线矩形框对应的可旋紧固螺丝为通过过本示例的方法识别出的丢失的可旋紧固螺丝；图4d中的加粗实线矩形框对应的为通过faster r-cnn检测出的可旋紧固螺丝。该步骤可简称为部件坐标筛选。
65.具体地，步骤s103包括：
66.利用相机内参将坐标信息映射到当前图的2d平面中，得到可旋转紧固螺丝的映射坐标；
67.将映射坐标未位于预先确定的预选框内的可旋转紧固螺丝确定为丢失的可旋转紧固螺丝。
68.其中，映射坐标位于预先确定的预选框内的可旋转紧固螺丝为未丢失的可旋转紧固螺丝。
69.在具体实现中，在步骤s103识别出丢失的可旋转紧固螺丝后，可对丢失的可旋转紧固螺丝进行区别标记。区别标记主要用于将丢失的可旋转紧固螺丝与未丢失的可旋转紧固螺丝区分开。示例性地，可通过颜色、大小、形状等方式来区分。如此，便于作业人员直观地了解到可旋转紧固螺丝的情况，也利于后续对丢失的可旋转紧固螺丝进行相应处理。
70.相对于相关技术中人工检测的方式而言，本技术实施例在检测速度上有显著提高。本技术实施例采用机器人加装摄像头采集的方法采集可旋转紧固螺丝3d深度信息和2d图像信息，并将采集到的数据发送到服务器进行分析。相关技术中检测一个器件位置所需要的时间通常在10秒左右，而本技术实施例的方案仅需要不到1秒，效率上相差至少10倍。进一步地，本技术实施例中的整个过程可实现全自动化，全天24小时运行，从而进一步提高了检测效率。
71.相对于相关技术中人工检测的方式而言，本技术实施例在检测精度及可靠性上有显著提高。本技术实施例的方法利用深度信息和2d图像信息定位到丢失部件，能够避免人为因素导致的误差，从而提高检测丢失部件的精度及可靠性。
72.本实施例提供的识别丢失的可旋转紧固螺丝的装置，其是与前述方法实施例相对应的产品实施例，其功能与实现过程与前述实施例相同或相似，本实施例此处不再赘述。
73.如图3所示，本实施例提供一种识别丢失的可旋转紧固螺丝的装置，包括：
74.获取模块11，用于根据预先确定的刹车制动盘和联轴节处的可旋转紧固螺丝标准图点云向当前图点云配准，获取配准后的点云在当前图点云坐标系下的位置信息；
75.第一处理模块12，用于根据位置信息将标准图中配准后的点云的质心变换到当前图点云坐标系中，得到可旋转紧固螺丝各自点云的质心在当前图点云坐标系中的坐标信息；
76.第二处理模块13，用于根据坐标信息确定丢失的可旋转紧固螺丝。
77.在其中一种可能的实现方式中，获取模块11具体用于采用最近点匹配将标准图点
云向当前图点云配准。
78.在其中一种可能的实现方式中，获取模块11具体用于：
79.载入标准图点云；标准图点云包括全局点云及局部点云，局部点云包括可旋转紧固螺丝的点云，全局点云包括可旋转紧固螺丝及其关联部件的点云；
80.对全局点云进行降采样处理；
81.将标准图点云中的全局点云与当前图点云中的全局点云进行匹配，得到全局匹配结果；
82.以全局匹配结果为初值，将标准图点云中的局部点云与当前图点云中的局部点云进行匹配，得到相匹配的可旋转紧固螺丝的点云；
83.在得到相匹配的可旋转紧固螺丝的点云中，将其在当前图中的局部点云与标准图的全局点云进行配准，得到配准后的可旋转紧固螺丝的点云；
84.获取配准后的可旋转紧固螺丝的点云在当前图点云坐标系下的位置信息。
85.在其中一种可能的实现方式中，获取模块11还用于：
86.从2d的当前图中确定可旋转紧固螺丝的位置信息，得到可旋转紧固螺丝的点云。
87.在其中一种可能的实现方式中，第二处理模块13具体用于：
88.利用相机内参将坐标信息映射到当前图的2d平面中，得到可旋转紧固螺丝的映射坐标；
89.将映射坐标未位于预先确定的预选框内的可旋转紧固螺丝确定为丢失的可旋转紧固螺丝。
90.在其中一种可能的实现方式中，获取模块11还用于：
91.基于深度全卷积网络从拍摄得到的图片中确定候选区域；
92.通过faster r-cnn检测器对候选区域进行分类与边框回归处理，得到预选框；其中，深度全卷积网络的输入与faster r-cnn检测器的输入采用相同的卷积特征图。
93.相对于相关技术中人工检测的方式而言，本技术实施例在检测速度上有显著提高。本技术实施例采用机器人加装摄像头采集的方法采集可旋转紧固螺丝3d深度信息和2d图像信息，并将采集到的数据发送到服务器进行分析。相关技术中检测一个器件位置所需要的时间通常在10秒左右，而本技术实施例的方案仅需要不到1秒，效率上相差至少10倍。进一步地，本技术实施例中的整个过程可实现全自动化，全天24小时运行，从而进一步提高了检测效率。
94.相对于相关技术中人工检测的方式而言，本技术实施例在检测精度及可靠性上有显著提高。本技术实施例的方法利用深度信息和2d图像信息定位到丢失部件，能够避免人为因素导致的误差，从而提高检测丢失部件的精度及可靠性。
95.本实施例提供一种终端，包括：
96.存储器；能够支持处理器读取带有原始数据的设备，同时支持处理器将通过上述步骤处理后的数据进行存储。
97.处理器；能够从存储器中读入原始数据，并根据上述步骤对数据进行处理，得到丢失的可旋转紧固螺丝的位置信息。
98.计算机程序；能够通过计算机语言实现上述步骤的完整算法功能，完成编译，并能够在处理器中快速运行。
99.其中，计算机程序存储在存储器中，并被配置为由处理器执行以实现相应的方法。
100.存储器用于存储计算机程序，处理器在接收到执行指令后，执行计算机程序，前述相应实施例揭示的流过程定义的装置所执行的方法可以应用于处理器中，或者由处理器实现。
101.存储器可能包含高速随机存取存储器(ram：random access memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器可通过至少一个通信接口(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。
102.处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，实施例一揭示的方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器(central processing unit，简称cpu)、网络处理器(network processor，简称np)等；还可以是数字信号处理器(dsp)、专用集成电路(asic)、现成可编程门阵列(fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的相应方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
103.结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件单元组合执行完成。软件单元可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。
104.本实施例提供一种计算机可读存储介质，其上存储有计算机程序；计算机程序被处理器执行以相应的方法。其具体实现可参见方法实施例，在此不再赘述。
105.需要说明的是：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对步骤、数字表达式和数值并不限制本发明的范围。在这里示出和描述的所有示例中，除非另有规定，任何具体值应被解释为仅仅是示例性的，而不是作为限制，因此，示例性实施例的其他示例可以具有不同的值。
106.附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个单元、程序段或代码的一部分，单元、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
107.本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产
品的形式。
108.本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
109.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
110.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
111.尽管已描述了本技术的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本技术范围的所有变更和修改。
112.显然，本领域的技术人员可以对本技术进行各种改动和变型而不脱离本技术的精神和范围。这样，倘若本技术的这些修改和变型属于本技术权利要求及其等同技术的范围之内，则本技术也意图包含这些改动和变型在内。