一种电子沙盘和应急平台联动的方法和系统与流程

本发明实施例涉及信息技术领域，尤其涉及一种电子沙盘和应急平台联动的方法和系统。

背景技术：

应急管理是目前公共安全建设的重点，突发事件对城市的安全生产发起了严峻的挑战。应急管理系统是把计算机通信技术和应急管理相结合的一种技术，其中基于gis平台的应急指挥调度，通过把属性信息和空间信息结合起来生成资源位置图，可以有效的进行定位和指挥调度，而沙盘是进行模拟推演的便捷工具，载有gis系统的电子沙盘可以有效应用于应急指挥调度。

电子沙盘作为仿真模拟技术的应用，提供了较为自然的交互模式，应急指挥调度涉及事件地理信息、周边资源等，通过电子沙盘分析推演可以收到良好的辅助效果，但是应急系统除了地理信息，还整合了媒体和业务信息，甚至接入了第三方数据，如实时交通数据。将大量附加信息体现到有限的沙盘屏幕之中且布局合理十分困难，目前的方案仅是整合附加信息就需要各种接口和设备，重复实现已有功能，产生额外的开发成本，并且增加了系统的复杂度，可维护性低，联动的效果也较差。

综上，目前亟需一种电子沙盘和应急平台联动的方法，用以解决现有技术中应急系统复杂度高、利用率低的问题。

技术实现要素：

本发明实施例提供了一种电子沙盘和应急平台联动的方法和系统，用以解决现有技术中应急系统复杂度高、利用率低的问题。

第一方面，本发明实施例提供了一种电子沙盘和应急平台联动的方法，包括：

应急平台获取用户操作的请求信息，所述请求信息包括用户请求在所述电子沙盘上显示的应急事件的类型和位置；所述请求信息是所述用户通过ar设备下发的；

所述应急平台根据所述应急事件的类型和位置，确定出与所述应急事件对应的数据内容；

所述应急平台将所述应急事件对应的数据内容通过增强现实的方式投射到所述电子沙盘上。

上述技术方案中，应急平台通过获取用户操作的请求信息，再根据应急事件的类型和位置，确定出与应急事件对应的数据内容，最后通过增强现实的方式将应急事件对应的数据内容投影映射到电子沙盘上，可以实现两者的融合，增强电子沙盘携带信息的能力，进而可以降低应急系统的复杂度，便于维护。

可选地，所述应急平台根据所述应急事件的类型和位置，确定出与所述应急事件对应的数据内容，包括：

所述应急平台根据所述应急事件的类型和位置，确定出与所述应急事件的类型和位置对应的数据内容；

所述应急平台对所述与所述应急事件的类型和位置对应的数据内容中的表格内容进行提取，并进行灰度化处理；

所述应急平台将灰度化处理后的表格内容进行腐蚀和膨胀，得到所述表格内容的遮罩图；

所述应急平台查找所述表格内容的遮罩图的轮廓，并根据所述遮罩图上的交点个数和矩形区域，确定出所述应急事件的表格数据；

所述应急平台将所述应急事件的表格数据确定为所述应急事件对应的数据内容。

上述技术方案中，通过根据应急事件的类型和位置，确定出与应急事件的类型和位置对应的数据内容，再对与应急事件的类型和位置对应的数据内容中的表格内容进行提取，并进行灰度化处理，将灰度化处理后的表格内容进行腐蚀和膨胀，得到表格内容的遮罩图，通过查找表格内容的遮罩图的轮廓，并根据遮罩图上的交点个数和矩形区域，确定出应急事件的表格数据，可以辅助后续对数据内容图像进行特征点检测的操作，也可以实现针对来自不同渠道的数据内容的统一格式管理。

可选地，所述应急平台将所述应急事件对应的数据内容通过增强现实的方式投射到所述电子沙盘上，包括：

所述应急平台对所述数据内容和所述电子沙盘的图像进行检测，得到所述数据内容的特征点和所述电子沙盘的图像的特征点；

所述应急平台对所述数据内容的图像中的特征点和所述电子沙盘的图像的特征点进行匹配，确定出所述数据内容的图像中与所述电子沙盘的图像中匹配的特征点；

所述应急平台将所述数据内容的图像中与所述电子沙盘的图像中匹配的特征点进行变换，得到所述数据内容的图像中与所述电子沙盘的图像中匹配的特征点对应的世界坐标点；

所述应急平台根据所述数据内容的图像中与所述电子沙盘的图像中匹配的特征点对应的世界坐标点，通过所述增强现实的方式将所述应急事件对应的数据内容投射到所述电子沙盘上。

上述技术方案中，通过对数据内容和电子沙盘的图像进行检测，得到数据内容的特征点和所述电子沙盘的图像的特征点；再通过对数据内容的图像中的特征点和电子沙盘的图像的特征点进行匹配，确定出数据内容的图像中与电子沙盘的图像中匹配的特征点；将数据内容的图像中与电子沙盘的图像中匹配的特征点进行变换，得到数据内容的图像中与电子沙盘的图像中匹配的特征点对应的世界坐标点；根据数据内容的图像中与电子沙盘的图像中匹配的特征点对应的世界坐标点，通过增强现实的方式将应急事件对应的数据内容投射到电子沙盘上，可以实现应急平台和电子沙盘的融合，且数据内容是以半透明的虚拟物的形式投影映射到电子沙盘显示器上，并不会影响电子沙盘图像的原始布局，有助于降低应急系统的复杂度。

可选地，所述应急平台将所述数据内容的图像中与所述电子沙盘的图像中匹配的特征点进行变换，得到所述数据内容的图像中与所述电子沙盘的图像中匹配的特征点对应的世界坐标点，包括：

所述应急平台根据增强现实的摄像机的内参数和外参数将所述数据内容的图像中与所述电子沙盘的图像中匹配的特征点转换为相机坐标系中的坐标点；

所述应急平台结合相机坐标系的旋转方法，将所述相机坐标系中的坐标点转换为所述数据内容的图像中与所述电子沙盘的图像中匹配的特征点对应的世界坐标点。

上述技术方案中，通过根据增强现实的摄像机的内参数和外参数将数据内容的图像中与电子沙盘的图像中匹配的特征点转换为相机坐标系中的坐标点；再结合相机坐标系的旋转方法，将相机坐标系中的坐标点进行转换为数据内容的图像中与电子沙盘的图像中匹配的特征点对应的世界坐标点。即通过增强现实的摄像机的内参数和外参数将数据内容的图像中和电子沙盘的图像中的特征匹配点从二维映射到三维，实现将应急平台的数据内容以半透明的虚拟物的形式叠加到电子显示器上，从而不影响电子沙盘图像的原始布局。

第二方面，本发明实施例还提供了一种电子沙盘和应急平台联动的系统，包括：

获取单元，用于获取用户操作的请求信息，所述请求信息包括用户请求在所述电子沙盘上显示的应急事件的类型和位置；所述请求信息是所述用户通过ar设备下发的；

处理单元，用于根据所述应急事件的类型和位置，确定出与所述应急事件对应的数据内容；将所述应急事件对应的数据内容通过增强现实的方式投射到所述电子沙盘上。

可选地，所述处理单元具体用于：

根据所述应急事件的类型和位置，确定出与所述应急事件的类型和位置对应的数据内容；

对所述与所述应急事件的类型和位置对应的数据内容中的表格内容进行提取，并进行灰度化处理；

将灰度化处理后的表格内容进行腐蚀和膨胀，得到所述表格内容的遮罩图；

查找所述表格内容的遮罩图的轮廓，并根据所述遮罩图上的交点个数和矩形区域，确定出所述应急事件的表格数据；

将所述应急事件的表格数据确定为所述应急事件对应的数据内容。

可选地，所述处理单元具体用于：

对所述数据内容和所述电子沙盘的图像进行检测，得到所述数据内容的特征点和所述电子沙盘的图像的特征点；

对所述数据内容的图像中的特征点和所述电子沙盘的图像的特征点进行匹配，确定出所述数据内容的图像中与所述电子沙盘的图像中匹配的特征点；

将所述数据内容的图像中与所述电子沙盘的图像中匹配的特征点进行变换，得到所述数据内容的图像中与所述电子沙盘的图像中匹配的特征点对应的世界坐标点；

根据所述数据内容的图像中与所述电子沙盘的图像中匹配的特征点对应的世界坐标点，通过所述增强现实的方式将所述应急事件对应的数据内容投射到所述电子沙盘上。

可选地，所述处理单元具体用于：

根据增强现实的摄像机的内参数和外参数将所述数据内容的图像中与所述电子沙盘的图像中匹配的特征点转换为相机坐标系中的坐标点；

结合相机坐标系的旋转方法，将所述相机坐标系中的坐标点转换为所述数据内容的图像中与所述电子沙盘的图像中匹配的特征点对应的世界坐标点。

第三方面，本发明实施例提供一种计算设备，包括：

存储器，用于存储程序指令；

处理器，用于调用所述存储器中存储的程序指令，按照获得的程序执行第一方面所述的方法。

第四方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行第一方面所述的方法。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种系统架构的示意图；

图2为本发明实施例提供的一种电子沙盘和应急平台联动的方法的流程示意图；

图3为本发明实施例提供的一种应急平台中的表格内容的提取方法的流程示意图；

图4为本发明实施例提供的一种电子沙盘和应急平台联动的系统的结构示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

图1示例性的示出了本发明实施例提供的一种系统架构。如图1所示，该系统架构包括增强现实设备101、人机交互模块102、应急平台103、增强现实模块104和电子沙盘105。

其中，用户可以佩戴增强现实设备101(如ar眼镜)操作运行，从而产生操作流。

人机交互模块102在操作流的驱动下开始工作，向应急平台103发送用户请求消息。

应急平台103是整个系统架构的核心，应急平台103用于接收来自人机交互模块102的用户请求消息，并根据用户请求消息，提取出相应的数据内容。

增强现实模块104是在提取出用户所需请求对应的数据内容后，利用增强现实的技术将用户所需请求对应的数据内容投影映射到电子沙盘上。

电子沙盘105用于显示用户所需请求中应急事件对应的数据内容。

需要说明的是，上述图1所示的系统架构仅是一种示例，本发明实施例对此不做限定。

基于上述描述，图2示例性的示出了本发明实施例提供的一种电子沙盘和应急平台联动的方法的流程示意图，该流程可以由电子沙盘和应急平台联动的系统执行，该系统可以位于如图1所示应急平台103内，也可以是该应急平台103。

如图2所示，该流程具体包括：

步骤201，应急平台获取用户操作的请求信息。

在本发明实施例中，该请求信息包括用户请求在所述电子沙盘上显示的应急事件的类型和位置，该请求信息是用户先通过ar设备下发给人机交互模块，再通过人机交互模块实现与应急平台的驱动关系，即通过人机交互模块向应急平台发送请求消息。其中，应急事件的类型可以包括自然灾害、消防安全、公共卫生事件、社会安全以及联合演习，请求类型包括但不限于以上类型。

步骤202，所述应急平台根据所述应急事件的类型和位置，确定出与所述应急事件对应的数据内容。

在本发明实施例中，由于应急平台中的主要数据形式是表格，因此需要对表格的内容进行提取，具体地，可见如图3所示的应急平台中的表格内容的提取方法的流程，该流程具体步骤可以包括：

步骤301，根据所述应急事件的类型和位置，确定出与所述应急事件的类型和位置对应的数据内容。

通过获取应急事件的类型和位置，并根据应急事件的类型和位置，从应急平台中提取出与应急事件的类型和位置对应的数据内容。

步骤302，对与应急事件的类型和位置对应的数据内容中的表格内容进行提取，并进行灰度化处理，将灰度化处理后的表格内容进行腐蚀和膨胀，得到所述表格内容的遮罩图。

在本发明实施过程中，使用opencv(opensourcecomputervisionlibrary，开源计算机视觉库)的颜色空间转换函数cvtcolor对应急平台中数据内容中的表格内容的图像进行灰度化处理，得到表格内容的图像的灰度图，即利用opencv的cvtcolor函数将表格内容的彩色图像转换为灰度图像，之后在灰度图的基础上使用自适应阈值化函数adaptivethreshold对灰度图像进行二值化处理，得到表格内容的图像的二值化图像，其中，二值化后的图像是黑底白字；在得到表格内容的图像的二值化图像后，利用opencv的形态学变换函数morphologyex对二值化图像进行先腐蚀再膨胀处理，可以获取表格内容的图像中横纵的线条，再交叉横纵线条，定位横纵线条的交点，得到表格内容的图像的遮罩图mask。其中，横纵线条的交点可以通过bitwise_and函数获得。

步骤303，查找所述表格内容的遮罩图的轮廓，并根据所述遮罩图上的交点个数和矩形区域，确定出所述应急事件的表格数据。

在本发明实施过程中，在得到表格内容的图像的遮罩图mask后，通过opencv的轮廓检测函数findcontours对遮罩图mask的轮廓进行检测，检测出遮罩图mask上的轮廓，再根据横纵线条的交点个数和遮罩图mask上的轮廓区域面积提取出表格数据，最后将应急事件的表格数据确定为应急事件对应的数据内容。

步骤203，所述应急平台将所述应急事件对应的数据内容通过增强现实的方式投射到所述电子沙盘上。

当提取出应急事件对应的数据内容之后，就可以先对数据内容和电子沙盘的图像进行检测，得到数据内容的特征点和电子沙盘的图像的特征点，再对数据内容的图像中的特征点和电子沙盘的图像的特征点进行匹配，确定出数据内容的图像中与电子沙盘的图像中匹配的特征点，之后将数据内容的图像中与电子沙盘的图像中匹配的特征点进行变换，得到数据内容的图像中与电子沙盘的图像中匹配的特征点对应的世界坐标点，最后根据增强现实的摄像机的内参数和外参数将数据内容的图像中与电子沙盘的图像中匹配的特征点转换为相机坐标系中的坐标点，并结合相机坐标系的旋转方法，将相机坐标系中的坐标点转换为数据内容的图像中与电子沙盘的图像中匹配的特征点对应的世界坐标点，以实现将应急事件对应的数据内容投射到电子沙盘上。其中，在图像处理中，图像的特征点是指图像灰度值发生剧烈变化的点或者在图像边缘上曲率较大的点(即两个边缘的交点)，特征点具有可区分性、可重复性、有效性和稳定性等特点；特征点匹配是指通过分别提取两个或多个图像的特征点(点、线、面等特征)，对特征进行参数描述，然后运用所描述的参数来进行匹配，基于特征的匹配所处理的图像一般包含颜色特征、纹理特征、形状特征和空间位置特征等，特征匹配首先对图像进行预处理来提取其高层次的特征(即特征匹配点)，然后建立两幅图像之间特征的匹配对应关系，特征匹配也需要用到矩阵的变换、梯度的求解和傅里叶变换等数学运算。

在具体实施过程中，可以使用特征检测算法orb(orientedfastandrotatedbrief，快速特征点提取和描述算法)对数据内容的图像和电子沙盘的图像进行特征检测，可以得到数据内容图像的特征点和电子沙盘图像的特征点以及数据内容图像和电子沙盘图像各自的特征点属性，其中，对电子沙盘图像的特征检测是指对与数据内容相对应的电子沙盘上的目标位置进行特征检测，特征点属性应该具备对光照不敏感、尺度一致性和旋转一致性等，且特征点属性所特有的二进制串的表现形式不仅节约了存储空间，而且缩短了特征匹配的时间；在得到数据内容图像的特征点和电子沙盘图像的特征点之后，再使用特征匹配模型bf(brute-force，暴风算法)对数据内容图像中的特征点和电子沙盘图像中的特征点进行匹配，确定出数据内容的图像中和电子沙盘的图像中的特征匹配点；在得到数据内容的图像中和电子沙盘的图像中的特征匹配点后，利用单应性变换homography对数据内容的图像中和电子沙盘的图像中的特征匹配点进行变换，并结合相机位姿估计将应急平台的数据内容投影映射到电子沙盘上的目标位置，从而实现叠加效果。

进一步地，根据相机位姿估计将应急平台的数据内容投影映射到电子沙盘上，可通过计算出p在世界坐标系中的坐标pw来实现，首先计算出p在相机坐标系中的坐标pc，再结合相机坐标系的旋转方法将pc转换为pw。针对计算p在相机坐标系中的坐标pc可使用下述公式(1)：

其中，f是相机镜头的焦距(mm)，(u，v)是p在图像中的像素坐标点，fx，fy，cx，cy是相机的内参数，pc＝(xc，yc，zc)是p在相机坐标系中的坐标点。

在公式(1)的基础上，结合相机坐标系的旋转方法将pc转换为pw，具体可使用下述公式(2)表示：

其中，(u，v)是p在图像中的像素坐标点，fx，fy，cx，cy是相机的内参数，r是旋转矩阵，t是平移矩阵，pw＝(xw，yw，zw)是p在世界坐标系中的坐标点。

上述实施例表明，应急平台通过用户操作的请求信息，请求信息包括用户请求在所述电子沙盘上显示的应急事件的类型和位置，再向数据通道发送响应消息，以使数据通道提取与应急事件对应的数据内容，最后通过增强现实模块将应急事件对应的数据内容投影映射到电子沙盘上。本发明实施例通过采用操作事件驱动的模式，使数据通道可以根据请求类型从平台提取不同的数据内容，通过增强现实虚实融合技术将应急平台的数据内容投影映射到电子沙盘上，可以实现两者的信息融合，增强电子沙盘携带信息的能力，提升应急系统的信息利用率，且应急平台的数据内容是以半透明的虚拟物的形式投影映射到电子沙盘显示器上，并不会影响电子沙盘图像的原始布局，从而有助于降低应急系统的复杂度，便于维护，而整个应急系统采用链式驱动，也有助于用户根据需要主动切换想要融合的内容。

基于相同的技术构思，图4示例性的示出了本发明实施例提供的一种电子沙盘和应急平台联动的系统，该系统可以执行电子沙盘和应急平台联动的流程。

如图4所示，该系统包括：

获取单元401，用于获取用户操作的请求信息，所述请求信息包括用户请求在所述电子沙盘上显示的应急事件的类型和位置；所述请求信息是所述用户通过ar设备下发的；

处理单元402，用于根据所述应急事件的类型和位置，确定出与所述应急事件对应的数据内容；将所述应急事件对应的数据内容通过增强现实的方式投射到所述电子沙盘上。

可选地，所述处理单元402具体用于：

所述应急平台根据所述应急事件的类型和位置，确定出与所述应急事件的类型和位置对应的数据内容；

所述应急平台对所述与所述应急事件的类型和位置对应的数据内容中的表格内容进行提取，并进行灰度化处理；

所述应急平台将灰度化处理后的表格内容进行腐蚀和膨胀，得到所述表格内容的遮罩图；

所述应急平台查找所述表格内容的遮罩图的轮廓，并根据所述遮罩图上的交点个数和矩形区域，确定出所述应急事件的表格数据；

所述应急平台将所述应急事件的表格数据确定为所述应急事件对应的数据内容。

可选地，所述处理单元402具体用于：

所述应急平台对所述数据内容和所述电子沙盘的图像进行检测，得到所述数据内容的特征点和所述电子沙盘的图像的特征点；

所述应急平台对所述数据内容的图像中的特征点和所述电子沙盘的图像的特征点进行匹配，确定出所述数据内容的图像中与所述电子沙盘的图像中匹配的特征点；

所述应急平台将所述数据内容的图像中与所述电子沙盘的图像中匹配的特征点进行变换，得到所述数据内容的图像中与所述电子沙盘的图像中匹配的特征点对应的世界坐标点；

所述应急平台根据所述数据内容的图像中与所述电子沙盘的图像中匹配的特征点对应的世界坐标点，通过所述增强现实的方式将所述应急事件对应的数据内容投射到所述电子沙盘上。

可选地，所述处理单元402具体用于：

所述应急平台根据增强现实的摄像机的内参数和外参数将所述数据内容的图像中与所述电子沙盘的图像中匹配的特征点转换为相机坐标系中的坐标点；

所述应急平台结合相机坐标系的旋转方法，将所述相机坐标系中的坐标点转换为所述数据内容的图像中与所述电子沙盘的图像中匹配的特征点对应的世界坐标点。

基于相同的技术构思，本发明实施例提供一种计算设备，包括：

存储器，用于存储程序指令；

处理器，用于调用所述存储器中存储的程序指令，按照获得的程序执行电子沙盘和应急平台联动的方法。

基于相同的技术构思，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行电子沙盘和应急平台联动的方法。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。