设备的AR交互方法、装置、电子设备及存储介质与流程

设备的ar交互方法、装置、电子设备及存储介质
技术领域
1.本发明涉及人机交互技术领域，具体涉及一种设备的ar交互方法、装置、电子设备及存储介质。


背景技术：

2.目前，基于用户与手机或者ar设备的交互方式中，通常是根据手指触摸的方式实现ar模型的人机交互。但是，这种方式通常只是人与ar设备或者ar模型之间的交互，缺少人与人的交互，交互体验差；此外，虽然存在基于两个设备或者多个设备的ar交互方案，但是，每个设备中的虚拟场景不同，只能在虚拟场景发生重合的区域进行设备之间的ar交互，没有发生重叠的区域不能够进行ar交互，影响交互体验，并且，还需要根据设备之间的空间位置关系进行空间转换，计算复杂度高。


技术实现要素：

3.基于现有技术中存在的问题，本发明实施例提出一种设备的ar交互方法、装置、电子设备及存储介质。
4.第一方面，本发明实施例提供了一种设备的ar交互方法，包括：
5.主设备向从设备发起ar交互请求，并在所述从设备接受所述ar交互请求后，接收从设备拍摄的目标场景中任意局部的图像数据，其中，所述从设备为一个或多个，一个或多个所述从设备以不同的位置和/或不同的视角拍摄所述目标场景中任意局部的图像数据；
6.基于所述主设备拍摄的所述目标场景中任意局部的图像数据和所述从设备拍摄的所述目标场景中任意局部的图像数据，对所述目标场景进行三维重建，得到所述目标场景整体的三维场景；
7.将所述目标场景整体的三维场景同步给所述从设备，使所述主设备和所述从设备同步显示同一个三维场景，以便所述主设备和所述从设备计算自身在同一个所述三维场景中的位姿，并分别基于自身在所述三维场景中的位姿实现所述主设备和从设备在同一个所述三维场景中任意位置上的ar交互。
8.进一步地，在所述主设备向从设备发起ar交互请求之前，还包括：
9.从备选从设备中选择出需要进行ar交互的一个或多个从设备；
10.向选择出需要进行ar交互的从设备发送连接申请，以便在所述从设备确认连接后，所述主设备建立与所述从设备的交互连线，并在交互连线后，所述主设备向从设备发起ar交互请求。
11.进一步地，在所述主设备对所述目标场景进行三维重建之前，还包括：
12.如果所述主设备掉线，则从所述从设备中重新选定一个从设备为新的主设备，并由所述新的主设备接管已掉线的主设备执行相应的操作。
13.进一步地，所述主设备和所述从设备计算自身在同一个所述三维场景中的位姿，具体包括：
14.所述主设备和所述从设备观测所述三维场景，对应地得到预设的多个特征点在二维平面的坐标；
15.将对应的所述特征点在所述三维场景中进行特征点匹配，以得到所述特征点在所述三维场景中的空间坐标；
16.根据所述特征点在二维平面的坐标和所述特征点在所述三维场景中的空间坐标，对应地得到所述主设备和所述从设备自身在所述三维场景中的位姿。
17.进一步地，所述根据所述特征点在二维平面的坐标和所述特征点在所述三维场景中的空间坐标，对应地得到所述主设备和所述从设备自身在所述三维场景中的位姿，包括：
18.根据公式pc＝tcw*pw，得到多个特征点的坐标变换，其中，所述pc为特征点在二维平面的坐标，pw为特征点在所述三维场景中的空间坐标，所述tcw为特征点的坐标变换；
19.根据多个特征点的坐标变换，对应地得到所述主设备和所述从设备自身在所述三维场景中的位姿。
20.进一步地，实现所述主设备和从设备在同一个所述三维场景中任意位置上的ar交互的过程中，还包括：
21.所述主设备或者从设备向所述三维场景中任意位置添加ar信息；
22.所述主设备和从设备根据自身在所述三维场景中的位姿，调整所述ar信息在所述三维场景中的视角。
23.第二方面，本发明实施例提供了一种设备的ar交互装置，包括：
24.接收模块，用于向从设备发起ar交互请求，并在所述从设备接受所述ar交互请求后接收从设备拍摄的目标场景中任意局部的图像数据，其中，所述从设备为一个或多个，一个或多个所述从设备以不同的位置和/或不同的视角拍摄所述目标场景的图像数据；
25.三维重建模块，用于基于所述主设备拍摄的所述目标场景中任意局部的图像数据和所述从设备拍摄的所述目标场景中任意局部的图像数据，对所述目标场景进行三维重建，得到所述目标场景整体的三维场景；
26.发送模块，用于将所述目标场景整体的三维场景同步给所述从设备，使所述主设备和所述从设备同步显示同一个三维场景，以便所述主设备和所述从设备计算自身在同一个所述三维场景中的位姿，并分别基于自身在所述三维场景中的位姿实现所述主设备和从设备在同一个所述三维场景中任意位置上的ar交互。
27.第三方面，本发明实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述的设备的ar交互方法。
28.第四方面，本发明实施例还提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所述的设备的ar交互方法。
29.由上述技术方案可知，本发明实施例提供的设备的ar交互方法、装置、电子设备及存储介质，可以实现多个设备在共享的同一三维场景下进行ar交互，相比于现有技术中每个设备各自建图，而只能在画面重合区域进行交互的方式相比，可以在任意位置上实现多个设备之间的ar交互，进而，有效地提升ar交互体验，并且，多个设备基于三维场景各自计算自身在三维场景中的位姿，不需要计算设备之间的空间位置转换关系，具有定位简单方便的优点，此外，即使中途掉线，重新上线后也可以直接加入共享的三维场景继续进行ar交
互，保证了ar交互的顺畅。
附图说明
30.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些图获得其他的附图。
31.图1是本发明一实施例提供的设备的ar交互方法的流程图；
32.图2是本发明一实施例提供的设备的ar交互方法中设备交互连线阶段的示意图；
33.图3是本发明一实施例提供的设备的ar交互方法中三维重建阶段的示意图；
34.图4是本发明一实施例提供的设备的ar交互方法中设备位姿计算阶段的示意图；
35.图5是本发明一实施例提供的设备的ar交互方法中ar交互阶段的示意图；
36.图6是本发明一实施例提供的设备的ar交互装置的结构框图；
37.图7是本发明一实施例提供的电子设备的结构示意图。
具体实施方式
38.下面结合附图，对本发明的具体实施方式作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
39.以下结合附图描述根据本发明实施例的设备的ar交互方法、装置、电子设备及存储介质。
40.图1示出了本发明一实施例提供的设备的ar交互方法的流程图。如图1所示，本发明一个实施例提供的设备的ar交互方法，具体包括如下内容：
41.s101：主设备向从设备发起ar交互请求，并在所述从设备接受所述ar交互请求后接收从设备拍摄的目标场景中任意局部的图像数据，其中，从设备为一个或多个，一个或多个所述从设备以不同的位置和/或不同的视角拍摄所述目标场景中任意局部的图像数据。
42.其中，主设备也称为主叫设备，主设备和从设备可以是相同的设备，也可以是不同的设备，主设备和从设备例如为智能手机、ar设备等。
43.目标场景应进行广义理解，例如：目标场景可以是一间房间内，也可以是一个家庭，当然还可以是一层楼、一栋楼、一个体育场等。当然，目标场景越大，通常需要更多的从设备以不同的拍摄角度拍摄目标场景，尽可能地全面覆盖到目标场景的任何角落。
44.如图2所示，在本发明的一个实施例中，在主设备接收从设备拍摄的目标场景的图像数据之前，即：在所述主设备向从设备发起ar交互请求之前，从备选从设备中选择出需要进行ar交互的一个或多个从设备；向选择出需要进行ar交互的从设备发送连接申请，以便在所述从设备确认连接后，所述主设备建立与所述从设备的交互连线，并在交互连线后，所述主设备向从设备发起ar交互请求。换言之，主设备可预先建立与从设备之间交互连线，具体为：主设备向从设备发起ar交互申请，并在从设备确认后，建立成功主设备与从设备之间的交互连线。其中，例如为数量n的从设备，n为大于或等于1的整数，即：从设备1至从设备n。
45.具体来说，主设备(即：主叫设备)向其他在线的设备(即：从设备)发起ar交互申请，其他在线设备加入交互。即：主设备可以向从设备发起ar交互申请，从设备收到是否加
入ar交互的申请，同意申请后则成功进行ar交互连线。
46.从设备与主设备的ar交互连线成功后，从设备将自身拍摄的图像数据传输到主设备。所有加入ar交互的从设备均将自身拍摄的图像数据传输到主设备。
47.需要说明的是，即使有从设备中途加入或中途退出也是可以的。ar交互连线时，如还未连线成功而掉线，则需要再次申请加入；如果连线成功后而掉线，则可以直接加入。
48.s102：基于所述主设备拍摄的所述目标场景中任意局部的图像数据和所述从设备拍摄的所述目标场景中任意局部的图像数据，对所述目标场景进行三维重建，得到所述目标场景整体的三维场景。
49.在本发明的一个实施例中，对目标场景进行三维重建，具体包括：对所述主设备的摄像机进行标定，得到标定参数；对所述主设备拍摄的所述目标场景中任意局部的图像数据和所述从设备拍摄的所述目标场景中任意局部的图像数据进行特征提取，得到特征集合；根据所述特征集合，建立所述主设备拍摄的所述目标场景中任意局部的图像数据和所述从设备拍摄的所述目标场景中任意局部的图像数据之间的对应关系；根据所述对应关系以及所述标定参数，对所述目标场景进行三维重建，得到目标场景整体的三维场景。
50.具体来说，如图3所示，主设备基于自身采集的图像数据以及从设备拍摄的图像数据，采用structure from motion(sfm)算法重建出三维场景，在三维场景重建完成后，关闭三维重建功能，主设备将重建的三维场景推送给从设备。
51.需要说明的是，若在此阶段主设备掉线，可将任意一个从设备定为主设备，即：在所述主设备对所述目标场景进行三维重建之前，还包括：如果所述主设备掉线，则从所述从设备中重新选定一个从设备为新的主设备，并由所述新的主设备接管已掉线的主设备执行相应的操作。此时，将从设备拍摄的图像数据传送给重新选定的主设备，由重新选定的主设备进行三维重建。
52.在上述示例中，基于主设备拍摄的图像数据和所述从设备拍摄的图像数据，对所述目标场景进行三维重建，得到三维场景，具体包括：对所述主设备的摄像机进行标定，得到标定参数；对所述主设备拍摄的图像数据和所述从设备拍摄的图像数据进行特征提取，得到特征集合；根据所述特征集合，建立所述主设备拍摄的图像数据和所述从设备拍摄的图像数据之间的对应关系；根据所述对应关系以及所述标定参数，对所述目标场景进行三维重建，得到三维场景
53.具体来说，sfm三维重建指根据多视图的图像(即：多个图像数据)重建三维场景的过程。主设备中此时具有了多个视角的图像数据，首先计算出图像数据的坐标系与世界坐标系的关系，然后利用多个二维的图像数据中的信息重建出三维信息，具体为：
54.在获取到图像数据后，进行摄像机标定，即：通过摄像机标定来建立有效的成像模型，求解出摄像机的内外参数，便就可以结合图像的匹配结果得到空间中的三维点坐标，从而达到进行三维重建的目的。
55.特征提取，即：特征主要包括特征点、特征线和区域。大多数情况下都是以特征点为匹配基元，特征点以何种形式提取与用何种匹配策略紧密联系。
56.立体匹配，即：立体匹配是指根据所提取的特征来建立图像对之间的一种对应关系，也就是将同一物理空间点在两幅不同图像中的成像点进行一一对应起来。
57.三维重建，即：有了比较精确的匹配结果，结合摄像机标定的内外参数，就可以恢
复出三维场景。
58.s103：将所述目标场景整体的三维场景同步给所述从设备，使所述主设备和所述从设备同步显示同一个三维场景，以便所述主设备和所述从设备计算自身在同一个所述三维场景中的位姿，并分别基于自身在所述三维场景中的位姿实现所述主设备和从设备在同一个所述三维场景中任意位置上的ar交互。
59.在基于自身在三维场景中的位姿实现在三维场景中的ar交互，首先需要进行定位，即：从设备计算自身在所述三维场景中的位姿，具体包括：所述从设备观测所述三维场景，得到预设的多个特征点在二维平面的坐标；将所述特征点在所述三维场景中进行特征点匹配，以得到所述特征点在所述三维场景中的空间坐标；根据所述特征点在二维平面的坐标和所述特征点在所述三维场景中的空间坐标，得到所述从设备自身在所述三维场景中的位姿。
60.进一步地，所述根据所述特征点在二维平面的坐标和所述特征点在所述三维场景中的空间坐标，得到所述从设备自身在所述三维场景中的位姿，包括：根据公式pc＝tcw*pw，得到多个特征点的坐标变换，其中，所述pc为特征点在二维平面的坐标，pw为特征点在所述三维场景中的空间坐标，所述tcw为特征点的坐标变换；根据多个特征点的坐标变换，得到所述从设备自身在所述三维场景中的位姿。
61.如图4所示，不同的从设备所在的位姿(即：空间位姿，表示位置与姿态)是不一致的，因此每个从设备需要计算各自在三维场景中的空间位姿。在本发明的实施例中，不同于现有技术中的通过设备之间的图像来计算设备之间的相互位置的方式，而是由于本发明的实施例中，每个从设备公用的是一个三维场景，因此，每个从设备计算各自在三维场景内的空间位姿即可。具体而言，计算三维场景位姿方法可采用投影的技术，当前的从设备观测三维场景，得到特征点在二维平面的坐标pc，同时通过与三维空间模型特征匹配得到各个特征点的空间坐标pw，通过pc＝tcw*pw，多对点求得最优tcw是从设备与三维空间的坐标变换，也就是从设备在三维场景的空间位姿。此时，主设备和从设备即使掉线，也可以随时地重新上线。
62.在本发明的一个实施例中，实现在所述三维场景中的ar交互的过程中，还包括：所述主设备或者从设备向所述三维场景中添加ar信息；所述主设备和从设备根据自身在所述三维场景中的位姿，调整所述ar信息在所述三维场景中的视角。
63.如图5所示，在ar交互时，主设备和从设备具有同样的功能，因此，可统一称为设备，因此，任何设备在三维场景上增加ar信息，都可以同步到其他的设备中。因为三维场景是所有设备的共享地图，可以基于共享的三维场景进行ar交互。所有设备共享三维场景是因为所有设备的三维场景是同步更新的。因此，一个设备在空间中放置了虚拟物体，此时会改变三维场景。当三维场景改变时，会将改变后的三维场景更新到其他的设备。这样实现了三维场景的同步和共享。例如：一个设备在三维场景中放置一个宠物猫，此时其他设备在三维场景中也能同步地显示出宠物猫，另一设备再放置一个宠物狗，此时三维场景中有猫也有狗。当两者是动态虚拟物体时，还可以让虚拟物体进行交互。比如游戏里面的角色pk等等。此时，设备掉线后均可重新上线。
64.在该示例中，当任一设备增加ar信息时，各设备根据在三维场景内的空间位姿，调整新增ar信息在三维空间场景的视角为当前设备主视角。各设备调整三维空间视角是根据
设备与三维空间的位置关系，设定设备为原点坐标系，这样就能计算三维空间相对于设备的坐标，同样的ar虚拟设备也计算出相对于设备的坐标，按照新的空间坐标显示，即可呈现为当前设备主视角。
65.根据本发明实施例的设备的ar交互方法，可以实现多个设备在共享的同一三维场景下进行ar交互，相比于现有技术中每个设备各自建图，而只能在画面重合区域进行交互的方式相比，可以在任意位置上实现多个设备之间的ar交互，进而，有效地提升ar交互体验，并且，多个设备基于三维场景各自计算自身在三维场景中的位姿，不需要计算设备之间的空间位置转换关系，具有定位简单方便的优点，此外，即使中途掉线，重新上线后也可以直接加入共享的三维场景继续进行ar交互，保证了ar交互的顺畅。
66.图6示出了本发明一实施例提供的设备的ar交互装置的结构示意图，如图6所示，本发明实施例提供的设备的ar交互装置，包括：接收模块610、三维重建模块620和发送模块630。其中：
67.接收模块610，用于向从设备发起ar交互请求，并在所述从设备接受所述ar交互请求后接收从设备拍摄的目标场景中任意局部的图像数据，其中，所述从设备为一个或多个，一个或多个所述从设备以不同的位置和/或不同的视角拍摄所述目标场景的图像数据；
68.三维重建模块620，用于基于所述主设备拍摄的所述目标场景中任意局部的图像数据和所述从设备拍摄的所述目标场景中任意局部的图像数据，对所述目标场景进行三维重建，得到所述目标场景整体的三维场景；
69.发送模块630，用于将所述目标场景整体的三维场景同步给所述从设备，使所述主设备和所述从设备同步显示同一个三维场景，以便所述主设备和所述从设备计算自身在同一个所述三维场景中的位姿，并分别基于自身在所述三维场景中的位姿实现所述主设备和从设备在同一个所述三维场景中任意位置上的ar交互。
70.根据本发明实施例的设备的ar交互装置，可以实现多个设备在共享的同一三维场景下进行ar交互，相比于现有技术中每个设备各自建图，而只能在画面重合区域进行交互的方式相比，可以在任意位置上实现多个设备之间的ar交互，进而，有效地提升ar交互体验，并且，多个设备基于三维场景各自计算自身在三维场景中的位姿，不需要计算设备之间的空间位置转换关系，具有定位简单方便的优点，此外，即使中途掉线，重新上线后也可以直接加入共享的三维场景继续进行ar交互，保证了ar交互的顺畅。
71.需要说明的是，本发明实施例的设备的ar交互装置的具体实现方式与本发明实施例的设备的ar交互方法的具体实现方式类似，具体请参见方法部分的描述，为了减少冗余，具体此处不做赘述。
72.基于相同的发明构思，本发明又一实施例提供了一种电子设备，参见图7，所述电子设备具体包括如下内容：处理器701、存储器702、通信接口703和通信总线704；
73.其中，所述处理器701、存储器702、通信接口703通过所述通信总线704完成相互间的通信；所述通信接口703用于实现各设备之间的信息传输；
74.所述处理器701用于调用所述存储器702中的计算机程序，所述处理器执行所述计算机程序时实现上述赛事的设备的ar交互方法的全部步骤，例如，所述处理器执行所述计算机程序时实现下述步骤：主设备向从设备发起ar交互请求，并在所述从设备接受所述ar交互请求后，接收从设备拍摄的目标场景中任意局部的图像数据，其中，所述从设备为一个
或多个，一个或多个所述从设备以不同的位置和/或不同的视角拍摄所述目标场景中任意局部的图像数据；基于所述主设备拍摄的所述目标场景中任意局部的图像数据和所述从设备拍摄的所述目标场景中任意局部的图像数据，对所述目标场景进行三维重建，得到所述目标场景整体的三维场景；将所述目标场景整体的三维场景同步给所述从设备，使所述主设备和所述从设备同步显示同一个三维场景，以便所述主设备和所述从设备计算自身在同一个所述三维场景中的位姿，并分别基于自身在所述三维场景中的位姿实现所述主设备和从设备在同一个所述三维场景中任意位置上的ar交互。
75.基于相同的发明构思，本发明又一实施例提供了一种非暂态计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述设备的ar交互方法的全部步骤，例如，所述处理器执行所述计算机程序时实现下述步骤：主设备向从设备发起ar交互请求，并在所述从设备接受所述ar交互请求后，接收从设备拍摄的目标场景中任意局部的图像数据，其中，所述从设备为一个或多个，一个或多个所述从设备以不同的位置和/或不同的视角拍摄所述目标场景中任意局部的图像数据；基于所述主设备拍摄的所述目标场景中任意局部的图像数据和所述从设备拍摄的所述目标场景中任意局部的图像数据，对所述目标场景进行三维重建，得到所述目标场景整体的三维场景；将所述目标场景整体的三维场景同步给所述从设备，使所述主设备和所述从设备同步显示同一个三维场景，以便所述主设备和所述从设备计算自身在同一个所述三维场景中的位姿，并分别基于自身在所述三维场景中的位姿实现所述主设备和从设备在同一个所述三维场景中任意位置上的ar交互。
76.此外，上述的存储器中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read
‑
only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
77.以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
78.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的指标监控方法。
79.此外，在本发明中，诸如“第一”、“第二”仅用于描述目的，而不能理解为指示或暗
示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
80.此外，在本发明中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
81.此外，在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
82.最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。