基于多传感网络的人机交互式可视化系统与方法与流程

1.本发明属于人机交互与可视化技术领域，尤其涉及一种基于多传感网络的人机交互式可视化系统与方法、以及实现所述方法的可视化终端与电子设备。


背景技术：

2.随着数字化多媒体的飞速发展，高科技的数字化交互创意展项越来越多地运用到展馆当中，其中“沉浸式”展厅，以其华丽的展示效果和全方位的感官体验，一度成为“新宠”。led显示屏凭借超大的屏幕，并可实现高清分辨率，从而成为打造沉浸式场景的主要显示方案，在展厅、展馆等场景中大受欢迎。
3.在当代展厅展馆设计中，各种数据结果以融合数字创意的可视化的展示方式，借助vr/ar设备、大型拼接屏、电子沙盘等交互终端呈现在综合管控中心，为企业智能判断和决策提供支撑，真正做到“深度洞察业务，推动精细决策”。
4.当前，可视化互动展示将数据展示和互动体验相结合，实现技术与艺术的完美融合，适用于指挥中心决策、演示汇报、高端展会、展厅等场景，主要用于拼接大屏、数字沙盘、虚拟现实等设备。
5.中国发明专利申请cn202011037471.1提出一种基于ar的场景导览方法，包括：获取用户视野所及的空间区域的实时图像；对实时图像进行目标识别处理，确定实时图像中的第一目标；根据预设信息，确定与第一目标相关联的第二目标，以及第一目标与第二目标的相对位置关系，其中，预设信息包括：用于表示第一目标与第二目标的关联关系的信息、用于表示第一目标与第二目标的相对位置关系的信息；获取用于表示相对位置关系的多媒体素材；将多媒体素材叠加于用户视野所及的空间区域，解决了相关技术中的基于ar的场景导览方案因算法复杂导致对计算机造成较大的系统开销的问题，降低了对计算机造成的系统开销。
6.cn202010717509.3则提出一种智能沉浸式场景展现及交互的方法，包括：制作场景图像数据，设计场景产业链的体验展示操作模式；根据用户所在位置信息、用户特征信息数据及所选择的场景特征，选取对应的场景操作模式，根据场景操作模式调用对应的处理和展示设备，获取所选择的场景特征对应的场景图像数据，结合用户所在位置信息、用户特征信息数据进行沉浸式场景展现；采集用户的动作，与预设的动作与场景图像数据对应关系获取更新的场景图像数据，结合用户所在位置信息、用户特征信息数据进行更新沉浸式场景展现。该发明声称实现了商业可复制模式的工业产业园场景的内容、科幻方式，旅游体验的沉浸式展现及交互，符合当代和未来旅游场景发展的需要。
7.然而，发明人在实际应用中发现，现有技术仍存在各种问题，需要进行改进。具体问题将在具体实施方式部分引出从而更具体的介绍本技术的技术方案。


技术实现要素：

8.为解决上述技术问题，本发明提出一种基于多传感网络的人机交互式可视化系统
与方法、以及实现所述方法的可视化终端与电子设备。
9.在本发明的第一个方面，提出一种基于多传感网络的人机交互式可视化系统，所述可视化系统包括分布于预定目标范围的多个展示子区域的多个环境传感器。
10.所述预定目标范围内还包括至少一个交互式展示屏，所述多个展示子区域包括多个三维实体沙盘；
11.所述交互式展示屏与所述环境传感器无线通信，并且基于交互指令控制所述三维实体沙盘的展示状态；
12.每个所述展示子区域配置至少三个环境传感器，所述三个环境传感器位于所述展示子区域外围轮廓路径上的不同位置；
13.通过每个展示子区域配置的至少三个环境传感器感测到的环境数据，确定每个展示子区域的潜在用户的参观路径和停留时间；
14.将所述参观路径、停留时间以及对应的展示子区域信息发送至所述交互式展示屏。
15.更具体的，将第一展示子区域对应的所述参观路径、停留时间发送至所述交互式展示屏中与第一展示子区域对应的数据存储环形栈。
16.当所述交互式展示屏在第一预设时间内检测到所述潜在用户靠近时，基于所述参观路径、停留时间以及对应的展示子区域信息，在所述交互式展示屏上动态展示所述潜在用户的用户视角对应的所述展示子区域的三维实体沙盘。
17.值得指出是，在本发明的技术方案中，在所述交互式展示屏上动态展示的视觉图像均为“用户视角”，可以理解，不同用户视角不同，因此，针对不同潜在用户，展示的视觉图像不同，至少角度、不同画面的停留时间均不一样，即本发明并非现有技术那样千篇一律的展示相同内容，或者仅以不同顺序展示相同内容，而是在所述交互式展示屏上动态展示所述潜在用户的用户视角对应的所述展示子区域的三维实体沙盘。
18.作为进一步的改进，在本发明的上述技术方案中，所述交互式显示屏可移动，并且每个所述交互式展示屏配置第一数量的数据存储栈；
19.每个所述数据存储栈与至少一个展示子区域对应；
20.每个所述数据存储栈为环形栈，并且具有不同的预定大小；
21.每个数据存储栈的预定大小由该数据存储栈对应的展示子区域与交互式展示屏的相对位置确定。
22.统计每个交互式展示屏配置的数据存储栈的满栈次数；
23.当在预设时间段内的某个交互式展示屏的所述满栈次数大于预设值时，调整该交互式展示屏的位置，即移动该交互式展示屏，使得在下一个预设时间段该交互式展示屏的满栈次数不大于所述预设值。
24.可见，不同于现有技术的静态展示方式，本发明所述的交互式展示屏可根据现场数据实际交互情况进行调位置调整，从而更好的实现交互性。
25.在另一个方面，当所述交互式展示屏在第一预设时间内未检测到所述潜在用户靠近时，所述交互式展示屏将所述数据存储栈中存储的潜在用户对应的参观路径、停留时间以及对应的展示子区域信息删除，从而避免数据拥挤以及无效数据存储。
26.作为一个具体的交互方式，进入所述预定目标范围的所有参观用户均配置可穿戴
标签；
27.所述环境传感器与所述可穿戴标签通信从而感测到环境数据，所述环境数据包括参观用户靠近、参观用户停留、参观用户远离。
28.在本发明的第二个方面，提供一种可视化方法，所述可视化方法应用于多传感器网络的人机交互式环境，所述人机交互式环境包括分布于预定目标范围的多个展示子区域以及至少一个交互式展示屏，所述交互式显示屏可移动，每个展示子区域配置多个环境传感器。
29.在上述交互式环境中执行的上述方法包括如下步骤：
30.s701：通过所述环境传感器获取每个展示子区域的潜在用户的参观路径和停留时间；
31.s702：将所述参观路径、停留时间以及对应的展示子区域信息发送至所述交互式展示屏；
32.s703：当所述交互式展示屏在第一预设时间内检测到所述潜在用户靠近时，在所述交互式展示屏上动态展示所述潜在用户的用户视角对应的所述展示子区域的三维实体沙盘；
33.s704:统计每个交互式展示屏配置的数据存储栈的满栈次数；
34.当在预设时间段内的某个交互式展示屏的所述满栈次数大于预设值时，调整该交互式展示屏的位置，使得在下一个预设时间段该交互式展示屏的满栈次数不大于所述预设值。
35.为具体执行上述方法，在上述方法中，每个所述交互式展示屏配置第一数量的数据存储栈；
36.每个所述数据存储栈与至少一个展示子区域对应；
37.每个所述数据存储栈为环形栈，并且具有不同的预定大小；
38.每个数据存储栈的预定大小由该数据存储栈对应的展示子区域与交互式展示屏的相对位置确定。
39.在此基础上，所述步骤s702具体包括：
40.将第一展示子区域对应的所述参观路径、停留时间发送至所述交互式展示屏中与第一展示子区域对应的数据存储栈；
41.所述步骤s704中所述调整该交互式展示屏的位置具体包括：
42.调整展示子区域与交互式展示屏的相对位置，使得该展示子区域对应的数据存储栈的预定大小增大。
43.第二个方面的所述方法可以通过包含处理器和存储器的电子装置，尤其是可视化图像处理终端设备，包括移动终端、桌面终端、服务器以及服务器集群等，通过程序指令自动化的执行，因此，在本发明的第三个方面，还提供一种包含计算机可读存储介质的可视化终端设备，所述可视化终端包含计算机可读存储介质，其上存储有计算机程序指令或者一种电子装置，包括处理器、存储器、通信接口，通过包含处理器和存储器的图像终端处理设备和电子装置，执行所述程序指令，用于实现所述方法的全部或者部分步骤。所述处理器和存储器通过总线连接，构成终端设备的内部通信。
44.本发明的技术方案可以实现预定范围内潜在用户和潜在展示区域的自我感知与
数据联系后，在可交互式展示屏上动态显示，并且显示的是潜在用户的用户视角内容，能够更好的让用户加深交互印象；同时，本发明的可交互式显示屏可基于现场统计的实时数据进行位置调整和移动，能够及时的响应(附近)用户的交互与查看请求；本发明综合采用了多种技术手段，包括位于所述展示子区域外围轮廓路径上的不同位置的多个环境传感器、确定每个展示子区域的潜在用户的参观路径和停留时间、数据环形栈存储等，能够使得数据采集、处理和传输过程稳定和准确。
45.本发明的进一步优点将结合说明书附图在具体实施例部分进一步详细体现。
附图说明
46.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
47.图1是提出本发明技术方案的典型应用场景示意图
48.图2是本发明一个实施例的一种基于多传感网络的人机交互式可视化系统的全局场景布局图
49.图3是图1所述一种基于多传感网络的人机交互式可视化系统中数据采集与数据控制的流程示意图
50.图4是图1所述一种基于多传感网络的人机交互式可视化系统的另一种控制方式的示意图
51.图5是图1所述一种基于多传感网络的人机交互式可视化系统中数据存储结构的示意图
52.图6是基于图2所述可视化系统实现的可视化方法的主体流程图
53.图7是实现图6所述方法的存储介质以及终端示意图
具体实施方式
54.下面，结合附图以及具体实施方式，对发明做出进一步的描述。
55.本发明的各个实施例从图1所述的示意性场景开始，这也是本发明的改进和应用场景之一，如下图1的场景描述可能部分属于现有技术，但是并不是全部的现有技术，其描述或者功能构成可构成本发明其他实施例的基础，或者包括在本发明的实施例当中。
56.图1显示了一种数字沙盘的协同展示，其中包括一台大屏显示中控台，前方居中的即为led大屏，其他区域均为沙盘展示区，沙盘展示可以是建筑或者模型、展馆、面塑等对象，本发明对此不作具体限制。
57.在图1中，利用数字技术，在实体沙盘上，结合光效和音效，led大屏实现协同展示。
58.具体的，影片播放讲解不同区域地块时，模型的对应区域灯光亮起。
59.此外，在展馆参观线路，不同的展厅预置不同rfid，当参观者携带讲解设备，到不同展厅后，设备根据rfid，通过展馆无线wifi发送请求到服务器，服务器根据请求回传当前展厅的讲解录音，为参观人员提供自助讲解服务。并配有呼叫按钮，可以一键呼叫工作人员提供帮助。
60.利用传感器，当人走近展板灯箱时，逐渐提高灯箱亮度，远离时降低灯箱亮度，到达节能减排目的。
61.然而，发明人在实际应用中发现，图1所述的技术方案还存在如下缺点：
62.(1)只有一块集中式固定式的静止显示屏，只能实现集中式的一次讲解，不能实现不同用户的展示需要；
63.(2)讲解不同区域时，只能实现不同对应区域的灯光亮起这一简单的指示效果，而不是遵循用户的实际参观路径来复现用户的环境数据；
64.(3)当存在多个用户参观或者展览时，无法识别出不同用户的不同需求，本质上还是被动的展示而非主动交互。
65.(4)图1所述的技术方案在实现时，由于现场展示子区域的数量增多，大屏显示的实时性和及时性都存在欠缺，甚至存在明显的卡顿与延迟。
66.为此，发明人进行了进一步的改进，在保留图1原有实现效果和相关的技术硬件基础上，提出本发明的改进技术方案，具体的参见图2-图7的实施例介绍。
67.参见图2，是本发明一个实施例的一种基于多传感网络的人机交互式可视化系统的全局场景布局图。
68.图2示出一种基于多传感网络的人机交互式可视化系统，所述可视化系统包括分布于预定目标范围的多个展示子区域的多个环境传感器，
69.所述预定目标范围内还包括多个交互式展示屏，所述多个展示子区域包括多个三维实体沙盘；
70.多个展示子区域分组后，每组与一个交互式展示屏通信；
71.所述分组是动态性的，并且基于展示子区域与交互式展示屏的位置关系确定；
72.在本发明的各个实施例中，所述交互式显示屏可在所述预定范围内移动，因此展示子区域与交互式展示屏的位置关系也存在动态变化。
73.具体的，参见图3，所述交互式展示屏与所述环境传感器无线通信，并且基于交互指令控制所述三维实体沙盘的展示状态。
74.图2示意性的表示，每个所述展示子区域配置至少三个环境传感器，所述三个环境传感器位于所述展示子区域外围轮廓路径上的不同位置；
75.通过每个展示子区域配置的至少三个环境传感器感测到的环境数据，确定每个展示子区域的潜在用户的参观路径和停留时间；
76.将所述参观路径、停留时间以及对应的展示子区域信息发送至所述交互式展示屏；
77.参见图4，当所述交互式展示屏在第一预设时间内检测到所述潜在用户靠近时，基于所述参观路径、停留时间以及对应的展示子区域信息，在所述交互式展示屏上动态展示所述潜在用户的用户视角对应的所述展示子区域的三维实体沙盘。
78.当所述交互式展示屏在第一预设时间内未检测到所述潜在用户靠近时，所述交互式展示屏将所述潜在用户对应的参观路径、停留时间以及对应的展示子区域信息删除。
79.接下来参见图5。
80.所述交互式展示屏配置第一数量的数据存储栈；每个所述数据存储栈与至少一个展示子区域对应；每个所述数据存储栈为环形栈，并且具有不同的预定大小；每个数据存储
栈的预定大小由该数据存储栈对应的展示子区域与交互式展示屏的相对位置确定。
81.本实施例采用环形栈而不是其他数据存储结构，是因为环形栈不会导致数据溢出，当栈满时，最后一次写入的数据将会自动覆盖第一次写入的数据，这样可以确保每次分析使用的数据都是最近一个时段的并且具有预设大小，更符合现场实际情况。
82.同时，作为优选，在每个所述环形栈中，包括静态存储区和动态存储区。
83.静态存储区存储当前展示子区域的识别信息，包括id编号等；
84.动态存储区出处当前展示子区域的参观路径、停留时间。
85.可见，本实施例采用环形栈，尤其是双储存的环形栈，是基于本发明的实际情形考虑，是本发明的突出改进之一。
86.作为优选，展示子区域与交互式展示屏距离越近，在该展示子区域对应的数据存储栈的预定大小越大。
87.例如，在图5中，远端展示子区域对应的第1环形栈、第n环形栈的大小，小于所述近端展示子区域对应的第m环形栈的大小。
88.因此，在图4或者图3的实施例中，将第一展示子区域对应的所述参观路径、停留时间发送至所述交互式展示屏中与第一展示子区域对应的数据存储环形栈。
89.这里的第一展示子区域泛指任何一个确定的展示子区域，“第一”仅用来描述前后对应关系。
90.当所述交互式展示屏在第一预设时间内未检测到所述潜在用户靠近时，所述交互式展示屏将所述数据存储栈中存储的潜在用户对应的参观路径、停留时间以及对应的展示子区域信息删除，从而避免数据拥挤以及无效数据存储。
91.在上述实施例中，所述三维实体沙盘的展示状态包括组成所述三维实体沙盘不同部分实体的灯光亮度；
92.所述基于交互指令控制所述三维实体沙盘的展示状态，包括：
93.根据获取每个展示子区域的潜在用户的参观路径和停留时间；
94.所述潜在用户在所述展示子区域的所述三维实体沙盘的某个实体部分的停留时间越长，所述灯光亮度越高。
95.作为优选，进入所述预定目标范围的所有参观用户均配置可穿戴标签；
96.所述环境传感器与所述可穿戴标签通信从而感测到环境数据，所述环境数据包括参观用户靠近、参观用户停留、参观用户远离。
97.作为更具体的实现，基于所述参观用户靠近、参观用户停留、参观用户远离的数据产生时序，确定所述参观路径和停留时间；
98.在所述交互式展示屏上动态展示所述潜在用户的用户视角对应的所述展示子区域的三维实体沙盘，具体包括：
99.沿所述参观路径，将所述潜在用户的用户视角对应的所述展示子区域的三维实体沙盘依序在所述交互式展示屏上动态展示；
100.并且，不展示停留时间小于预设阈值对应的三维实体沙盘。
101.基于图2-图4的介绍，接下来参见图6，图6示出基于图2所述可视化系统实现的可视化方法的主体流程图。
102.在图6中，所述可视化方法应用于多传感器网络的人机交互式环境，所述人机交互
式环境包括分布于预定目标范围的多个展示子区域以及至少一个交互式展示屏，所述交互式显示屏可移动，每个展示子区域配置多个环境传感器。
103.在上述交互式环境中执行的上述方法包括步骤s701-s704，各个步骤具体实现如下：
104.s701：通过所述环境传感器获取每个展示子区域的潜在用户的参观路径和停留时间；
105.s702：将所述参观路径、停留时间以及对应的展示子区域信息发送至所述交互式展示屏；
106.s703：当所述交互式展示屏在第一预设时间内检测到所述潜在用户靠近时，在所述交互式展示屏上动态展示所述潜在用户的用户视角对应的所述展示子区域的三维实体沙盘；
107.s704:统计每个交互式展示屏配置的数据存储栈的满栈次数；
108.当在预设时间段内的某个交互式展示屏的所述满栈次数大于预设值时，调整该交互式展示屏的位置，使得在下一个预设时间段该交互式展示屏的满栈次数不大于所述预设值。
109.为具体执行上述方法，在上述方法中，每个所述交互式展示屏配置第一数量的数据存储栈；
110.每个所述数据存储栈与至少一个展示子区域对应；
111.每个所述数据存储栈为环形栈，并且具有不同的预定大小；
112.每个数据存储栈的预定大小由该数据存储栈对应的展示子区域与交互式展示屏的相对位置确定。
113.在此基础上，所述步骤s702具体包括：
114.将第一展示子区域对应的所述参观路径、停留时间发送至所述交互式展示屏中与第一展示子区域对应的数据存储栈；
115.所述步骤s704中所述调整该交互式展示屏的位置具体包括：
116.调整展示子区域与交互式展示屏的相对位置，具体的，是调整所述交互式展示屏的位置，从而改变展示子区域与交互式展示屏中的数据存储栈的对应关系，使得该展示子区域对应的数据存储栈的预定大小增大。
117.图6所述方法的各个步骤的更具体实现可以参见图2-图5相应功能端，限于篇幅，本实施例不再重复描述。
118.图6上述方法的全部或者部分步骤可以通过包含处理器和存储器的可视化终端设备，尤其是图像处理终端设备，包括移动终端、桌面终端、服务器以及服务器集群等，通过程序指令自动化的执行。
119.因此，参见图7，本实施例还提供可视化终端，包含计算机可读存储介质，其上存储有计算机程序指令；通过包含处理器和存储器的图像终端处理设备，执行所述程序指令，用于实现所述方法的全部或者部分步骤。所述处理器和存储器通过总线连接，构成终端设备的内部通信。
120.本发明的优点至少体现在：
121.不同于现有技术的静态展示方式，本发明所述的交互式展示屏可根据现场数据实
际交互情况进行调位置调整，从而更好的实现交互性。
122.针对不同潜在用户，展示的视觉图像不同，至少角度、不同画面的停留时间均不一样，即本发明并非现有技术那样千篇一律的展示相同内容，或者仅以不同顺序展示相同内容，而是在所述交互式展示屏上动态展示所述潜在用户的用户视角对应的所述展示子区域的三维实体沙盘。
123.本发明的可交互式显示屏可基于现场统计的实时数据进行位置调整和移动，能够及时的响应(附近)用户的交互与查看请求；本发明综合采用了多种技术手段，包括位于所述展示子区域外围轮廓路径上的不同位置的多个环境传感器、确定每个展示子区域的潜在用户的参观路径和停留时间、数据环形栈存储等，能够使得数据采集、处理和传输过程稳定和准确。
124.当然，本发明的一个或多个实施例可以实现一个或者多个技术效果，解决背景技术提及的一个或者多个技术问题，但并不要求每一个实施例都同时达到全部效果或者同时解决提及的所有技术问题。
125.本发明未特别明确的部分模块结构，以现有技术记载的内容为准。本发明在前述背景技术部分提及的现有技术可作为本发明的一部分，用于理解部分技术特征或者参数的含义。本发明的保护范围以权利要求实际记载的内容为准。
126.尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。