一种基于点云数据的零件三维尺寸测量方法、装置和介质

1.本发明涉及零件测量技术领域，特别涉及一种基于点云数据的零件三维尺寸测量方法、装置和介质。


背景技术：

2.在智能工业生产过程中，常常需要通过视觉技术进行尺寸测量，以判断零件类别，相关零件若通过二维图像进行测量，由于空间信息缺失，有着一定的局限性，零部件的摆放位置或是感兴趣点的测量会受到拍摄角度的制约。


技术实现要素：

3.本发明要解决的技术问题，在于提供一种基于点云数据的零件三维尺寸测量方法、装置和介质，实现零件尺寸的快速准确测量。
4.第一方面，本发明提供了一种基于点云数据的零件三维尺寸测量方法，包括：
5.步骤10、通过双目深度相机扫描被测零件生成实时三维点云，或者直接读取离线三维点云数据文件；
6.步骤20、通过三维点云数据可视化技术将所述实时三维点云或离线三维点云数据文件可视化，生成三维点云；
7.步骤30、对所述三维点云进行分割，然后进行噪点处理，得到零件点云；
8.步骤40、利用最小外接三维矩形算法，计算所述零件点云对应的外接矩形的顶点坐标，实现对零件点云尺寸的自动测量，然后输出自动测量数据；
9.步骤50、当用户在所述零件点云选中任意两点时，测量点与点之间的距离，然后输出手动测量数据。
10.进一步地，所述步骤30具体为，采用随机抽样一致性算法对所述三维点云进行分割，实现将零件从背景中分割出来，然后使用最小离群值算法函数去除噪点。
11.进一步地，所述步骤40具体包括：通过对所述零件点云进行最小外接包围盒的生成，求解最小外接包围盒的八个顶点，通过坐标变换，求解最小外接包围盒的三个基本长度，进而得到目标模型的欧式距离；通过欧式距离计算，得到被测零件的长、宽、高三个基础长度，实现对零件点云的自动测量，然后输出自动测量数据。
12.进一步地，所述步骤50具体包括：当用户在所述零件点云选中任意两点时，根据选中的点所返回的索引获取两目标点，记录两目标点的索引，使用索引筛选捕获点云，转化成点云的三维坐标，然后通过欧式距离计算得到两点的距离，输出手动测量数据。
13.第二方面，本发明提供了一种基于点云数据的零件三维尺寸测量装置，包括：数据获取模块、数据可视化模块、分割去噪模块、自动测量模块以及手动测量模块；
14.所述数据获取模块，用于通过双目深度相机扫描被测零件生成实时三维点云，或者直接读取离线三维点云数据文件；
15.所述数据可视化模块，用于通过三维点云数据可视化技术将所述实时三维点云或
离线三维点云数据文件可视化，生成三维点云；
16.所述分割去噪模块，用于对所述三维点云进行分割，然后进行噪点处理，得到零件点云；
17.所述自动测量模块、用于利用最小外接三维矩形算法，计算所述零件点云对应的外接矩形的顶点坐标，实现对零件点云尺寸的自动测量，然后输出自动测量数据；
18.所述手动测量模块，用于当用户在所述零件点云选中任意两点时，测量点与点之间的距离，然后输出手动测量数据。
19.进一步地，所述分割去噪模块具体用于：采用随机抽样一致性算法对所述三维点云进行分割，实现将零件从背景中分割出来，然后使用最小离群值算法函数去除噪点。
20.进一步地，所述自动测量模块具体用于：通过对所述零件点云进行最小外接包围盒的生成，求解最小外接包围盒的八个顶点，通过坐标变换，求解最小外接包围盒的三个基本长度，进而得到目标模型的欧式距离；通过欧式距离计算，得到被测零件的长、宽、高三个基础长度，实现对零件点云的自动测量，然后输出自动测量数据。
21.进一步地，所述手动测量模块具体用于：当用户在所述零件点云选中任意两点时，根据选中的点所返回的索引获取两目标点，记录两目标点的索引，使用索引筛选捕获点云，转化成点云的三维坐标，然后通过欧式距离计算得到两点的距离，输出手动测量数据。
22.第三方面，本发明提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面所述的方法。
23.本发明实施例中具有如下技术效果或优点：
24.通过双目深度相机扫描被测零件，生成双目图像对应的实时三维点云数据，或者直接读取离线三维点云数据文件，然后对三维点云数据进行可视化、分割和去噪，得到三维的零件点云；然后通过最小外接三维矩形算法实现对零件点云尺寸的自动测量，同时还可由用户选择任意两个感兴趣点之间进行欧式距离测量，既可解决二维零件图像测量因零件摆放位置和角度问题无法测量的情况，又能实现对零件点云尺寸的自动准确测量。
25.上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
26.下面参照附图结合实施例对本发明作进一步的说明。
27.图1为本发明实施例一中方法的流程图；
28.图2为本发明实施例二中装置的结构示意图；
29.图3为本发明实施例三中介质的结构示意图；
30.图4为本发明实施例四中三维测量程序的功能示意图。
具体实施方式
31.本技术实施例中的技术方案，总体思路如下：
32.为了解决二维零件图像测量中，难以解决的由于空间信息缺失导致的尺寸无法测量的问题，本发明基于当前热门的点云处理技术，通过深度相机对研究对象进行三维扫描
并完成三维重建可视化，通过不同的角度对零件进行测量和自动矫正，并借此提高零件检查的效率。
33.三维重建有许多生成方法，当前大部分选择使用的是激光测距仪以及使用深度相机的方法。由于激光测距仪的价钱昂贵同时精确度较差，本专利选择使用深度相机的方法。目前新型深度摄像头因其相机帧率为传统深度相机的两倍，获得的实时三维点云分辨率也较高，在重建领域更有优势，本专利选择新型深度相机进行实时三维点云数据的获取。
34.本发明采用三维点云处理技术、桌面应用技术以及三维视觉算法等技术，通过三维重建实现基于三维点云模型的零件可视化；实现对拍摄的零件模型点云的提取；实现目标零件模型的长度自动测量与指定测量功能，以及实现基于深度相机的实时拍摄可视化功能。
35.实施例一
36.本实施例提供一种基于点云数据的零件三维尺寸测量方法，如图1所示，所述测量方法可以应用于任一终端设备，该终端设备可以为手机、平板、服务器等，所述测量方法包括如下步骤：
37.步骤10、通过双目深度相机扫描被测零件生成实时三维点云，或者直接读取离线三维点云数据文件；为了得到合格的双目图像，需要配置和调整相机拍摄环境；
38.步骤20、通过三维点云数据可视化技术将所述实时三维点云或离线三维点云数据文件可视化，生成三维点云；
39.步骤30、对所述三维点云进行分割，然后进行噪点处理，得到零件点云；
40.步骤40、利用最小外接三维矩形算法，计算所述零件点云对应的外接矩形的顶点坐标，实现对零件点云尺寸的自动测量，然后输出自动测量数据；
41.步骤50、当用户在所述零件点云选中任意两点时，测量点与点之间的距离，然后输出手动测量数据。
42.在一具体实现方式中，所述步骤30具体为，采用随机抽样一致性算法对所述三维点云进行分割，实现将零件从背景中分割出来，然后使用最小离群值算法函数去除噪点。
43.随机抽样一致性算法，是采用迭代的方法从一组包含离群的被观测的数据中估算出数学模型的参数。假设数据中包含正常数据即属于符合数学模型的点和异常数据(或称为噪声)，将正常的数据记为内点，异常数据记为外点。若给定一组正确的数据，则存在可以计算出符合这些数据的模型的参数的方法。算法的核心思想为随机性和假设性，随机性是根据正确数据出现概率去随机选取抽样数据，根据大数定律，随机性模拟可以得到近似正确的结果；假设性是假设选取出的抽样数据都是正确数据，然后用这些正确数据通过问题满足的模型，去计算其他点，并对其误差进行评分。平面分割就是算法在三维点云模型处理上的处理方法。
44.涉及的相关重要参数主要有采样次数k(k值根据实际场景估算值)、置信度n、子集大小m以及内点比例p。采样次数k主要通过多次的测试结果进行设置，在大部分情况下，置信度n设置的范围在一定数值之间，一次采样的次数即子集大小m需满足一定的条件；内点比例p一般而言有两种处理方法，第一种是取最坏的条件下的内点的比例；第二种则是在初始状态下设置最坏条件比例，随着迭代次数增长，不断更新当前的最大内点比例。
45.对于噪点的处理，采用的是统计离群值去除的办法。之所以选择统计邻居数筛选
的方法，是因为由于当前的目标模型已大致提取成功，周围的噪点数目远远小于目标模型范围内的点云数目。当我们使用邻居数进行点云筛选时，可以很容易判断当前点是否属于目标模型。
46.在一具体实现方式中，自动测量方法为计算最小外接包围盒依据物体本身的几何形状，进而确定盒子的大小与方向，生成的包围盒无需与三维坐标轴垂直，通过此生成的包围盒是当前模型所能得到的最合适最紧凑的包围盒。手动测量方法，实际上是指用户能通过鼠标捕获点云模型上感兴趣的两点，由程序自动获取捕获点的坐标，并计算两点之间的距离。
47.所述步骤40具体包括：通过对所述零件点云进行最小外接包围盒的生成，求解最小外接包围盒的八个顶点，通过坐标变换，求解最小外接包围盒的三个基本长度，进而得到目标模型的欧式距离；通过欧式距离计算，得到被测零件的长、宽、高三个基础长度，实现对零件点云的自动测量，然后自动输出测量数据。
48.所述步骤50具体包括：当用户在所述零件点云选中任意两点时，根据选中的点所返回的索引获取两目标点，记录两目标点的索引，使用索引筛选捕获点云，转化成点云的三维坐标，然后通过欧式距离计算得到两点的距离，输出手动测量数据。
49.基于同一发明构思，本技术还提供了与实施例一中的方法对应的装置，详见实施例二。
50.实施例二
51.在本实施例中提供了一种基于点云数据的零件三维尺寸测量装置，如图2所示，包括：数据获取模块、数据可视化模块、分割去噪模块、自动测量模块以及手动测量模块；
52.所述数据获取模块，用于通过双目深度相机扫描被测零件生成实时三维点云，或者直接读取离线三维点云数据文件；
53.所述数据可视化模块，用于通过三维点云数据可视化技术将所述实时三维点云或离线三维点云数据文件可视化，生成三维点云；
54.所述分割去噪模块，用于对所述三维点云进行分割，然后进行噪点处理，得到零件点云；
55.所述自动测量模块、用于利用最小外接三维矩形算法，计算所述零件点云对应的外接矩形的顶点坐标，实现对零件点云尺寸的自动测量，然后输出自动测量数据；
56.所述手动测量模块，用于当用户在所述零件点云选中任意两点时，测量点与点之间的距离，然后输出手动测量数据。
57.在一具体实施例中，所述分割去噪模块具体用于：采用随机抽样一致性算法对所述三维点云进行分割，实现将零件从背景中分割出来，然后使用最小离群值算法函数去除噪点。
58.在一具体实施例中，所述自动测量模块具体用于：通过对所述零件点云进行最小外接包围盒的生成，求解最小外接包围盒的八个顶点，通过坐标变换，求解最小外接包围盒的三个基本长度，进而得到目标模型的欧式距离；通过欧式距离计算，得到被测零件的长、宽、高三个基础长度，实现对零件点云的自动测量，然后输出自动测量数据。
59.在一具体实施例中，所述手动测量模块具体用于：当用户在所述零件点云选中任意两点时，根据选中的点所返回的索引获取两目标点，记录两目标点的索引，使用索引筛选
捕获点云，转化成点云的三维坐标，然后通过欧式距离计算得到两点的距离，输出手动测量数据。
60.由于本发明实施例二所介绍的装置，为实施本发明实施例一的方法所采用的装置，故而基于本发明实施例一所介绍的方法，本领域所属人员能够了解该装置的具体结构及变形，故而在此不再赘述。凡是本发明实施例一的方法所采用的装置都属于本发明所欲保护的范围。
61.基于同一发明构思，本技术提供了实施例一对应的电子设备实施例，详见实施例三。
62.实施例三
63.本实施例提供一种计算机可读存储介质，如图3所示，其上存储有计算机程序，该计算机程序被处理器执行时，可以实现实施例一中任一实施方式。
64.由于本实施例所介绍的计算机可读存储介质为实施本技术实施例一中方法所采用的计算机可读存储介质，故而基于本技术实施例一中所介绍的方法，本领域所属技术人员能够了解本实施例的计算机可读存储介质的具体实施方式以及其各种变化形式，所以在此对于该计算机可读存储介质如何实现本技术实施例中的方法不再详细介绍。只要本领域所属技术人员实施本技术实施例中的方法所采用的计算机可读存储介质，都属于本技术所欲保护的范围。
65.实施例四
66.请参阅图4所示，是本发明实施例提供的三维测量系统程序功能图，程序设计了两种零件三维测量系统功能，其一是使用深度相机获取实时三维点云完成点云可视化；其二是本地磁盘对离线三维点云数据进行读取完成可视化；
67.在实时深度图完成点云可视化程序下，通过深度相机获取当前场景的深度信息和彩色信息并生成图片，使用三维点云数据处理技术，结合两张图片生成点云，经过点云处理算法后，完成噪点处理和点云分割，得到当前模型及其基础长度，完成测量功能，最后通过桌面应用技术完成点云数据在界面框架上的可视化。
68.在读图片文件版本下，首先通过用户选择的离线三维点云数据生成点云，经过点云处理算法后，完成噪点处理和点云分割，得到当前模型及其基础长度，最后通过桌面应用技术完成点云数据在界面框架上的可视化。
69.为了实现对零件点云模型的测量，测量功能包含自动测量与手动测量。自动测量是通过相应的算法获取零件模型的三个基础高度长，宽，高，经由比例尺的转换输出测量结果；手动测量则是由用户通过鼠标随机选取两点，由程序捕获点的坐标，经过计算输出测量结果。相比于自动测量，手动测量更具有灵活性。对于用户感兴趣点的测量，也能够较好解决二维测量难以处理的零件摆放问题。
70.程序界面的基本组件组成与点云可视化的处理流程，实时深度相机版本程序和读文件版本程序的数据处理流程，组件样式的使用以及所使用的可自定义组件名称的配置文件。
71.在读图片文件版本点云可视化程序中，包括选取文件，可视化，自动测量，手动测量。用户在点击选择文件按钮后，选取相应离线三维点云数据点击可视化按钮完成点云的可视化，在两个标签界面会出现原始点云以及提取后的目标点云。同时，还包含了四个基本
功能，包括手动测量，自动测量，显示当前最小外接包围盒，以及修改世界坐标比例尺进行欧式距离的换算。
72.实时彩色深度影像版本程序在包括可视化，自动测量，手动测量，修改倍数这几个按钮的同时，新增了拍摄按钮。该按钮在用户点击时会使用深度相机完成场景拍摄并暂停实时画面显示保留当前帧，同时其按钮内容变更为“重拍”，在用户再次点击重拍按钮时，回到实时捕获帧界面。实时彩色图片程序与读文件版本的不同之处在于该版本是将相机当前帧下的场景进行点云可视化，相同点是都包含了手动测量，自动测量，显示最小外接包围盒以及修改世界坐标比例尺这几个基本功能。
73.三维测量整体设计流程图，包括：打开相机获取实时数据/打开离线文件，实现点云数据实时可视化，进行零件的点云分割将零件从背景分割出来，采用最小离群值算法去除零件背景的噪点，完成零件外接矩形长、宽、高的测量(自动测量/手动测量)，在界面上实现零件点云数据的可视化，并显示测量结果。
74.本技术实施例中提供的技术方案，通过双目深度相机扫描被测零件，生成双目图像对应的实时三维点云数据，或者直接读取离线三维点云数据文件，然后对三维点云数据进行可视化、分割和去噪，得到三维的零件点云；然后通过最小外接三维矩形算法实现对零件点云尺寸的自动测量，同时还可由用户选择任意两个感兴趣点之间进行欧式距离测量，既可解决二维零件图像测量因零件摆放位置和角度问题无法测量的情况，又能实现对零件点云尺寸的自动准确测量。
75.本领域内的技术人员应明白，本发明的实施例可提供为方法、装置或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
76.本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
77.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
78.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
79.虽然以上描述了本发明的具体实施方式，但是熟悉本技术领域的技术人员应当理解，我们所描述的具体的实施例只是说明性的，而不是用于对本发明的范围的限定，熟悉本
领域的技术人员在依照本发明的精神所作的等效的修饰以及变化，都应当涵盖在本发明的权利要求所保护的范围内。