基于虚拟双目视觉的结构光3D扫描系统

基于虚拟双目视觉的结构光3d扫描系统
技术领域
1.本发明涉及机器视觉技术领域，具体为一种基于虚拟双目视觉的结构光3d扫描系统。


背景技术：

2.在基于传统的双目视觉标定中，传统的双目视觉是基于视差原理，利用两台交叉摆放的相机从不同角度观察同一被测物体，获取同一物体特征点的图像坐标，来完成目标点的三维测量，但是该方法存在一定的缺点，由于两台相机的工作状态不可能完全同步从而降低了测量精度，而正是由于两台相机之间存在的非严格同步造成的测量误差，会对视觉的标定结果造成极大的影响，甚至得出错误的标定结果。
3.中国发明专利：单相机双目视觉装置(申请公布号为：cn109856895)，其公开了一种通过单个相机镜头的左右画面从不同角度对同一兴趣区域成像，使单相机获得双目画面的技术方案，其获得双目图案的方式是采用两组在相机镜头中心轴线两侧对称设置的反光镜，从两侧的不同角度收集物体的图案，而后分别投射在相机镜头的拍摄区域内，获得两个角度的虚像。因此，该装置的图像标定方式与传统的双相机标定方式仅是图像采集方式的不同；由于标定场景的不同以及相机周边环境光场影响，相机获取的镜面所成虚像图案，与相机直接获取的物体真实图案信息会存在一定的偏差，并不能同时获取物体的真实图案和在反光镜中呈现的虚像，也就无法进一步将物体真实的结构光和其在平面镜中成像的结构光进行区分和标定。
4.现有的双相机构成的双目视觉标定系统中，两个相机通常是相对固定设置，或者采用常规的简单调节方式，实现两个相对间距或夹角的调整，两个相机在视场中的位姿则是通过转动结构同步调整。在视觉标定过程中，往往需要调整相机、被测物体上的结构光以及平面镜三者之间的空间相对位姿，而现有的调节方式，对于预设视角对应的空间相对位姿调节和设定比较麻烦。


技术实现要素：

5.本发明旨在克服现有技术的不足，提出了基于虚拟双目视觉的结构光3d扫描系统，克服了现有技术的不足，通对目标物体和其虚像进行拍摄，得到一副具有视差的图像，该图像相当于相机和其在镜子中的虚拟相机从不同角度对目标物体进行拍摄，具有双目立体视觉的功能，简化了双目标定过程，提高了标定精度；还利用平面镜上贴的编码标志对真实的被测物体的结构光及其平面镜中成像的被测物体的结构光进行区分；同时可采用多种调节方式组合的方式实现了相机、结构光以及平面镜三者之间的相对位姿的灵活调节。
6.为实现上述效果，本发明采用的技术方案为：
7.一种基于虚拟双目视觉的结构光3d扫描系统，该3d扫描系统包括平面镜、结构光投射器、相机和安装座，所述结构光投射器和相机均位于平面镜正面侧，所述安装座的两侧分别转动连接有球铰链，并通过锁紧螺钉紧固于安装座内，球铰链的外侧固定连接有导轨
轴，导轨轴上套接有导轨滑动机构；
8.所述平面镜安装在一侧的导轨滑动机构上，所述相机安装在另一侧的导轨滑动机构上，且相机的摄像方向与平面镜的正面相对，平面镜和相机可分别在各自的导轨滑动机构上实现水平移动和围绕垂直轴线的转动；
9.所述安装座的顶面连接有位于两个导轨滑动机构之间的结构光投射器滑动导轨，所述结构光投射器安装在结构光投射器滑动导轨的顶部，且结构光投射器可在结构光投射器滑动导轨上实现水平移动、垂直移动以及围绕水平轴线的转动。
10.进一步的，所述平面镜的长度为m、宽度为n、厚度为t，平面镜的正侧表面具有前镀膜。
11.进一步的，所述安装座的顶面开设有三个螺纹孔，两个球铰链和结构光投射器滑动导轨的一端分别通过螺纹连接于螺纹孔内的锁紧螺钉紧固于安装座上。
12.进一步的，所述导轨滑动机构包括套接于导轨轴外侧的导轨、滑动连接于导轨顶部的滑块、固定设置于滑块顶部的柱体、转动套设于柱体外侧的安装架组件，所述平面镜/相机固定夹持在安装架组件的顶部。
13.进一步的，所述滑块与导轨之间采用燕尾槽结构的滑动装配结构，且滑块的顶部螺纹连接有至少一个锁紧螺钉，滑块通过锁紧螺钉紧固于导轨上。
14.进一步的，所述结构光投射器滑动导轨包括转动连接于安装座顶面上的水平定位导轨、滑动嵌设于水平定位导轨内的l型定位支架、滑动嵌设于l型定位支架的垂直段外侧的垂直定位导轨、固定设置于垂直定位导轨顶部的柱体、转动套设于柱体外侧的安装架组件，所述安装架组件的顶部固定安装有铰接座，所述结构光投射器铰接于铰接座上。
15.进一步的，所述柱体为上大下小的圆柱体结构，所述安装架组件包括安装架板和锁紧架板，所述安装架板和锁紧架板之间通过锁紧螺钉连接紧固，且安装架板和锁紧架板相对的侧面均与柱体的外壁滑动贴合。
16.进一步的，所述水平定位导轨和垂直定位导轨上均开设有多个沿各自长度方向均匀分布的螺纹孔，所述l型定位支架上开设有至少一个与螺纹孔对应配合的螺栓孔，l型定位支架的水平段与水平定位导轨通过锁紧螺钉连接紧固，l型定位支架的垂直段与垂直定位导轨通过锁紧螺钉连接紧固。
17.进一步的，所述相机、结构光投射器和平面镜之间的相对位姿可调整，调整方法包括以下步骤：
18.步骤1、将结构光投射器发出的结构光投射到被测物体表面，在被测物体的表面形成结构光；
19.步骤2、将相机、结构光投射器和平面镜三个结构中的任意一个的位置设置为固定，而后调整其余两个结构的相对位置以及相对于已定结构的相对位置，使得相机的拍摄视场内可以同时拍摄到结构光和结构光在平面镜中成的像；
20.步骤3、调整结构光投射器的位置，直到找到结构光和结构光在平面镜中成的像在相机的拍摄视场内，即相机拍摄的图像一部分是覆盖被测物体的结构光，一部分是平面镜，且平面镜占据相机拍摄视场内的一半区域并在拍摄视场内不居中。
21.与现有技术相比较，本发明的有益效果如下：
22.1.本发明利用一台相机实现两个相机的功能，故减少了设备成本；
23.2.本发明利用一台相机和平面镜完成真实相机和虚拟相机两台相机的功能，极大减少了传统的双目视觉测试同时采集存在的两台相机之间存在的非严格同步造成的测量误差的问题，极大提升了测量结果的精度和标定结果的准确性；
24.3.本发明可以实现相机的远近以及旋转角度的调节、平面镜的的水平移动和旋转角度的调节以及结构光投射机远近、高度和旋转角度的调节，采用多种调节方式相组合的方式调节相机、结构光以及平面镜三者间的空间相对位姿，调节操作较为灵活方便；
25.4.本发明可以适应于多种不同的工业相机的型号，以及不同尺寸的平面镜，具有通用性。
附图说明
26.图1为本发明的立体结构示意图；
27.图2为所述导轨滑动机构的立体结构示意图；
28.图3为所述结构光投射器滑动导轨的立体结构示意图；
29.图4为所述安装架组件的立体结构示意图；
30.图5为所述安装架组件在滑块上的装配状态示意图。
具体实施方式
31.下面结合附图对本发明的实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。
32.请参阅图1，一种基于虚拟双目视觉的结构光3d扫描系统，该3d扫描系统包括平面镜1、结构光投射器2、相机3和安装座4，结构光投射器2和相机3均位于平面镜1正面侧，且相机3的摄像方向与平面镜1的正面相对，从而可使平面镜1位于相机3的摄像市场内。本实施例中，平面镜1选择一个长为300mm、宽为250mm、厚度为20mm的立方体状的前镀膜平面镜，平面镜1垂直放置。结构光投射器2采用单色激光灯。
33.安装座4的底部一侧开设有螺栓孔，可通过螺栓连接将安装座4固定在扫描系统应用场景的工作平台上。安装座4的两侧分别转动连接有球铰链5，并通过锁紧螺钉紧固于安装座4内。具体的，安装座4的两侧面内均开设有球铰接槽，安装座4的顶面上开设有与球铰接槽对应连通的螺纹孔，球铰链5活动嵌装于球铰接槽内，锁紧螺钉螺纹连接于螺纹孔内，且锁紧螺钉的内侧端部抵靠在球铰链5的外圆面上。当该处的锁紧螺钉旋松时，球铰链5可在安装座4内实现一定角度范围内自由转动，当该处的锁紧螺钉旋紧时，可将球铰接5固定在安装座4内。
34.球铰链5的外侧固定连接有导轨轴6，导轨轴6上套接有导轨滑动机构7。平面镜1安装在一侧的导轨滑动机构7上，相机3安装在另一侧的导轨滑动机构7上，且平面镜1和相机3可分别在各自的导轨滑动机构7上实现水平移动和围绕垂直轴线的转动。如图2所示，导轨滑动机构7包括套接于导轨轴6外侧的导轨71、滑动连接于导轨71顶部的滑块72、固定设置于滑块72顶部的柱体73、转动套设于柱体73外侧的安装架组件74，安装架组件74的顶部固定安装有夹持架75。本实施例中，导轨轴6为两端设置螺纹段的圆柱杆体结构，导轨轴6的一端通过螺纹连接固定于球铰接5上，另一端螺纹连接有锁紧螺母，导轨71套设在导轨轴6的中部光杆上，使得导轨71和导轨轴6可跟随球铰链5实现位姿调整。当锁紧螺母旋松时，导轨
71可围绕导轨轴6的轴线转动，当锁紧螺母旋紧时，导轨71则固定在导轨轴6上。
35.滑块72与导轨71之间采用燕尾槽结构的滑动装配结构，且滑块72的顶部两侧各螺纹连接有一个锁紧螺钉，滑块72通过锁紧螺钉紧固于导轨71上，当该处的锁紧螺钉旋松时，可调节滑块72在导轨71长度方向上位置，旋紧该处的锁紧螺钉则可使滑块72固定在导轨71上。柱体73为上大下小的圆柱体结构，螺纹连接或焊接固定于滑块72的顶面中心处。如图4和图5所示，安装架组件74包括安装架板741和锁紧架板742，安装架板741和锁紧架板742之间通过锁紧螺钉连接紧固，且安装架板741和锁紧架板742相对的侧面均与柱体73的外壁滑动贴合。当该处的锁紧螺钉旋松时，安装架组件74可围绕柱体73的轴线转动；当该处的锁紧螺钉旋紧时，安装架组件74则固定在柱体73上。
36.安装架板741的顶部设置有水平的安装板，夹持架75通过螺钉连接固定于安装板的顶部。夹持架75的顶面上一体设置有两个垂直设置的夹板，平面镜1的底部位于两个夹板之间，并通过放置于两个夹板之间的垫片以及螺纹连接于夹板侧壁上的锁紧螺钉紧固于夹持架75上。旋松该处的锁紧螺钉，可调节平面镜1在夹持架75内的夹持位置，旋紧该处的锁紧螺钉，则使平面镜1固定在夹持架75上。通过导轨滑动机构7内各个组成部件之间的上述位置调节方式，可采用任意一种调节方式或多种调节方式的组合实现平面镜1的空间位姿调节(包括与安装座4之间的相对距离和相对角度)。
37.安装相机3的导轨滑动机构7与安装平面镜1的导轨滑动机构7结构相同，且相机3的空间位姿调整方式与平面镜1的空间位姿调整方式相同，此处不作赘述。不同的是，相机3直接安装固定于其导轨滑动机构7内的安装架板741的顶部，相机3在安装架组件74上的安装位置不可调节。
38.安装座1的顶面连接有位于两个导轨滑动机构7之间的结构光投射器滑动导轨8，结构光投射器2安装在结构光投射器滑动导轨8的顶部，且结构光投射器2可在结构光投射器滑动导轨8上实现水平移动、垂直移动以及围绕水平轴线的转动。如图3所示，结构光投射器滑动导轨8包括转动连接于安装座顶面上的水平定位导轨81、滑动嵌设于水平定位导轨81内的l型定位支架82、滑动嵌设于l型定位支架82的垂直段外侧的垂直定位导轨83、固定设置于垂直定位导轨83顶部的柱体73、转动套设于柱体73外侧的安装架组件74。本实施例中，安装座4的顶面中心处开设有一个螺纹孔，水平定位导轨81的一端开设有与螺纹孔对应的螺栓孔，水平定位导轨81通过螺纹连接于螺纹孔内并穿设于螺栓孔内的锁紧螺钉紧固于安装座4上。旋松该处的锁紧螺钉，可使水平定位导轨81在安装座4的顶面上围绕垂直轴线转动，从而调节水平定位导轨81的空间位置，旋紧该处的锁紧螺钉，可使水平定位导轨81固定在安装座4上。
39.l型定位支架82呈“l”型状，包括一体设置的水平段和垂直段，水平段滑动嵌装在水平定位导轨81内，垂直段滑动嵌装在垂直定位导轨83内。水平定位导轨81和垂直定位导轨83上均开设有多个沿各自长度方向均匀分布的螺纹孔，l型定位支架82上开设有至少一个与螺纹孔对应配合的螺栓孔，l型定位支架82的水平段与水平定位导轨81通过锁紧螺钉连接紧固，l型定位支架82的垂直段与垂直定位导轨83通过锁紧螺钉连接紧固。通过调整l型定位支架82的水平段和/或垂直段上的螺栓孔与水平定位导轨81和/或垂直定位导轨83上的螺纹孔的装配位置，可调节l型定位支架82与水平定位导轨81在水平方向上的相对位置和/或调节l型定位支架82与垂直定位导轨83在垂直方向上的相对位置。
40.优选的，结构光投射器滑动导轨8上的柱体73和安装架组件74与导轨滑动机构7上的柱体73和安装架组件74结构完全相同，以提高装置部件之间的通用性，降低制造成本。
41.该处的安装架组件74顶部通过螺钉连接固定安装有铰接座84，结构光投射器2采用锁紧螺钉为轴铰接于铰接座84上。旋松该处的锁紧螺钉，可通过转动结构光投射器2调整结构光投射器2与铰接座84之间的相对夹角，旋紧该处的锁紧螺钉，可使结构光投射器2以固定位姿固定在铰接座84上。通过结构光投射器滑动导轨8内各个组成部件之间的上述位置调节方式，可采用任意一种调节方式或多种调节方式的组合实现结构光投射器2的空间位姿的调节(包括与安装座4之间的相对距离和相对角度)。
42.本发明中，相机3、结构光投射器2和平面镜1之间的相对位姿可调整，调整方法包括以下步骤：
43.步骤1、将结构光投射器2发出的结构光投射到被测物体(被测物体预先固定设置在安装座4附近，并可处于相机3的拍摄视场内)表面，在被测物体的表面形成结构光；
44.步骤2、将相机3、结构光投射器2和平面镜1三个结构中的任意一个的位置设置为固定，而后调整其余两个结构的相对位置以及相对于已定结构的相对位置，使得相机3的拍摄视场内可以同时拍摄到结构光和结构光在平面镜中成的像；
45.由前述可知，通过调整球铰链5与安装座4之间的球铰接、导轨71与导轨轴6之间的轴转动、滑块72与导轨71之间的线性滑动、安装架组件74与柱体73之间的轴转动以及平面镜1在支持架75上的滑动嵌装中的任意一项装配关系或者任意几项装配关系的组合，均可对应实现平面镜1与安装座4之间相对空间位置的调整。相机3的调节方式亦然。通过调整水平定位导轨81与安装座4之间的轴转动、l型定位支架82与水平定位导轨81之间的定点插接、垂直定位导轨83与l型定位支架82之间的定位插接、安装架组件74与柱体73之间的轴转动以及结构光投射器2与铰接座84之间的轴转动中的任意一项装配关系或者任意几项装配关系的组合，均可对应实现结构光投射器2与安装座4之间相对空间位置的调整。通过先固定其中一个结构的空间位姿，在调整另外两个结构的相对位姿，可得到多组满足使用要求的相对位置关系。
46.步骤3、调整结构光投射器2的位置，直到找到结构光和结构光在平面镜中成的像在相机1的拍摄视场内，即相机拍摄的图像一部分是覆盖被测物体的结构光，一部分是平面镜1，且平面镜1占据相机3拍摄视场内的一半区域并在拍摄视场内不居中。
47.相机3、平面镜1、以及结构光投射器2三者之间的相对位姿的调节过程包括但不限于以下所列情况：
48.首先将平面镜1、相机3和结构光投射器2分别在其位置调节机构的执行端完成安装连接。利用结构光投射器2将结构光投射到被测物体的表面，同时将相机3连接到可以显示拍摄情况的图像处理显示设备(如计算机)上。
49.接着将相机3所在侧的导轨滑动机构7的所有部件之间的装配连接通过锁紧螺钉紧固，从而使相机3相对于安装座4的位置固定不动；通过调节平面镜1所在侧的导轨滑动机构7的组成部件之间的装配位置来调节平面镜1的空间位姿，同时在图像处理显示设备上查看所显示的拍摄情况；再根据拍摄到的情况，通过调节结构光投射器滑动导轨8的组成部件之间的装配位置来调节调节结构光投射器2的空间位姿。如果平面镜1或者结构光不在相机3的拍摄视场内，则不满足要求；平面镜1的前镀膜的一面不在相机3的拍摄视场内，也不满
足要求；平面镜1在空间中调整的角度过大，使相机3的拍摄视场内只能显示平面镜1的前镀膜的小部分或者只能拍摄部分结构光和结构光在平面镜1中成的像，也不满足要求。
50.接着，将平面镜1固定不动，通过移动结构光投射器2的位置，同时在图像处理显示设备上查看所显示的拍摄情况，再通过调整相机3的位置来改变结构光和平面镜1在相机3的拍摄视场内的分布范围，如果结构光和结构光在平面镜1成的像不能完全呈现在相机3的拍摄视场中则不满足要求。适当调节平面镜1与相机3之间的远近距离和相对夹角角度，使结构光可以在平面镜1中成像，同时在图像处理显示设备上查看所显示的拍摄情况，观察相机3的拍摄视场是否能拍到结构光和结构光在平面镜成的完整的像，且平面镜也完全在相机3的拍摄视场内。若否，则继续调整平面镜1的空间位姿。
51.在以上方法达不到需要满足的情况，在调节平面镜1的同时可以交替或同步地调节相机3和结构光投射器2的空间位姿。通过多次手动调节平面镜1、相机3和结构光投射器2，同时观察平面镜1在相机3的拍摄视场中的范围中变化，直至找到使平面镜1在相机3的最佳拍摄视场内，即得到平面镜1的前镀膜的一面应在相机3的拍摄视场内均被拍摄到，且平面镜1占据相机3的拍摄视场内的一半区域而不居中在相机3的拍摄视场内。继而得到平面镜1在相机3的拍摄视场内满足使用要求的位姿状态。
52.本发明的基于虚拟双目视觉的结构光3d扫描系统，可利用一台相机和平面镜完成真实相机和虚拟相机两台相机的功能，极大减少了传统的双目视觉测试同时采集存在的两台相机之间存在的非严格同步造成的测量误差的问题，采集的图像信息用于通过编码标志对图像进行解码和编码的处理过程，极大提升了测量结果的精度和标定结果的准确性。
53.采用该基于虚拟双目视觉的结构光3d扫描系统实现图像信息预处理的方法可采用以下步骤：
54.s1、利用相机拍摄一副包含平面镜、平面镜上面的编码标志、结构光投射器投射在被测物体上的结构光以及结构光在平面镜中成的像的图像；
55.s2、对拍摄的图像进行灰度化处理，得到一副灰度图像，并进行复制；
56.s3、对复制的图像进行自适应性阈值二值化处理，得到一副二值化图像；
57.s4、对二值化图像进行外形轮廓的提取，同时通过轮廓滤波算法剔除一些不太可能是编码标志的轮廓；
58.s5、对拍摄得到包含平面镜以及平面镜上面的编码标志的图像进行透视变换；对得到的透视变换的图像再进行阈值化处理来分离白色位和黑色位，阈值化处理后的图像根据每个编码标志的大小和边界的大小被分为不同的格子。统计落在每个格子中的黑白像素数目区分是黑色位还是白色位来确定每个编码标志的比特位(标记位)；
59.s6、比特位提取后，提取每个编码标志的id编号，每个编码标志的编号互不相同，即定位编码标志在平面镜基准面中的位置，根据编码标志的位置并按其所在位置依次连接起来形成一个完整的边框；
60.s7、将编码标志连接起来行成的框的外部赋黑，保留框的内部以此完成复杂背景的去除，去除复杂背景后得到的图像为定位到平面镜所在的区域。该区域包含了平面镜和结构光投射器投射到被测物体的结构光在平面镜中城的像，不在此区域中就是结构光投射器发出的真实存在的结构光，进而将真实的结构光和在平面镜中成的虚像的结构光区分开，完成拍摄图像的预处理。
61.以上所述自适应性阈值二值化处理的方法、外形轮廓提取的方法、轮廓滤波算法、透视变换的方式以及阈值化处理的方法可根据图像处理的需要选择现有的处理方法进行合理组合，非为本发明的创新之处，因而此处不作详细赘述。
62.以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。