远程监控方法、装置、设备及存储介质与流程

本发明涉及数字孪生领域，尤其涉及一种远程监控方法、装置、设备及存储介质。

背景技术：

1、数字孪生技术是一种先进的监控和分析方法，它通过创建物理实体的高精度虚拟模型来实现实时监控和预测。这种技术被广泛应用于各种领域，包括但不限于工业自动化、城市基础设施管理以及建筑物维护。

2、在当前的实践中，数字孪生技术主要依赖于大量传感器和数据采集设备，用于收集实体环境的实时数据。这一过程允许操作者对物理环境进行有效的监控和管理，从而提高操作效率和安全性。然而在某些应用场景中，尤其是那些需要快速响应的场景，现有的数字孪生模型在实时数据处理和更新方面表现不佳。

技术实现思路

1、本发明的主要目的在于解决现有的数字孪生监控方式在实时数据处理和更新方面表现不佳的技术问题。

2、本发明第一方面提供了一种远程监控方法，所述远程监控方法应用于远程监控系统，所述远程监控系统包括远程传感器设备和后台处理设备；所述远程监控方法包括：

3、通过所述远程传感器设备获取待监控场景下不同角度的历史传感器数据，并对所述历史传感器数据进行条件筛选，得到所述历史传感器数据中的静态传感器数据；

4、通过所述远程传感器设备将所述静态传感器数据发送至所述后台处理设备，通过所述后台处理设备基于不同角度下的静态传感器数据对所述待监控场景进行数字孪生处理，得到所述待监控场景的静态场景模型；

5、通过所述远程传感器设备实时获取待监控场景下不同角度的实时传感器数据，并对所述实时传感器数据进行条件筛选，得到所述实时传感器数据中的动态传感器数据；

6、对所述动态传感器数据进行内容识别，生成内容识别文本，并将所述内容识别文本发送至所述后台处理设备；

7、通过所述后台处理设备基于所述内容识别文本在所述静态场景模型中进行实时动态渲染，得到并展示所述待监控场景的实时动态场景模型，并基于所述动态场景模型对所述待监控场景进行监控。

8、可选的，在本发明第一方面的第一种实现方式中，所述远程传感器设备包括摄像机设备，所述静态传感器数据包括所述摄像机设备拍摄的所述待监控场景的静态图像；

9、所述通过所述远程传感器设备将所述静态传感器数据发送至所述后台处理设备，通过所述后台处理设备基于不同角度下的静态传感器数据对所述待监控场景进行数字孪生处理，得到所述待监控场景的静态场景模型还包括：

10、通过所述远程传感器设备将所述不同角度下的静态图像发送至所述后台处理设备，通过所述后台处理设备分别对所述不同角度下的静态图像行深度标注，得到所述不同角度下的静态图像对应的多张深度图；

11、根据所述摄像机设备的摄像机内参，将所述深度图中的各像素的像素坐标转换至相应的相机坐标系，得到所述深度图中各像素在所述相机坐标系下的多个伪点云；

12、将不同角度下的静态图像的伪点云进行耦合，得到所述待监控场景的总和伪点云；

13、基于所述总和伪点云和不同角度下的静态图像对所述待监控场景进行数字孪生处理，得到所述待监控场景的静态场景模型。

14、可选的，在本发明第一方面的第二种实现方式中，所述通过所述远程传感器设备将所述不同角度下的静态图像发送至所述后台处理设备，通过所述后台处理设备分别对所述不同角度下的静态图像行深度标注，得到所述不同角度下的静态图像对应的多张深度图包括：

15、通过所述远程传感器设备将所述不同角度下的静态图像发送至所述后台处理设备，通过所述后台处理设备将所述不同角度下的静态图像输入预设的深度标注模型中，其中，所述深度标注模型包括编码器、跳跃连接层和解码器；

16、通过所述编码器中的多个密集块提取输入的不同角度下的静态图像的第一特征图；

17、通过所述跳跃连接层将所述特征图进行第一卷积处理，得到所述特征图的图像特征；

18、通过所述跳跃连接层中的全局池化层将所述图像特征进行压缩，得到特征向量，并将所述特征向量进行第二卷积处理和通过预设的激活函数进行处理，得到权重向量；

19、在所述图像特征和权重向量进行逐像素点积，得到加权特征，并根据所述加权特征和所述图像特征进行整合，得到对应的静态图像的第二特征图；

20、通过所述解码器对所述第二特征图进行深度估计，得到不同角度下的静态图像对应的深度图。

21、可选的，在本发明第一方面的第三种实现方式中，所述摄像机内参包括焦距和图像中心点的坐标，所述焦距包括x轴焦距和y轴焦距，所述像素坐标包括x轴像素坐标、y轴像素坐标和z轴像素坐标；

22、所述根据所述摄像机设备的摄像机内参，将所述深度图中的各像素的像素坐标转换至相应的相机坐标系，得到所述深度图中各像素在所述相机坐标系下的多个伪点云包括：

23、根据所述x轴像素坐标、所述x轴焦距和所述图像中心点的坐标计算伪点云在所述相机坐标系下的x轴相机坐标；

24、根据所述y轴像素坐标、所述y轴焦距和所述图像中心点的坐标计算伪点云在所述相机坐标系下的y轴相机坐标；

25、将所述z轴像素坐标作为所述伪点云在所述相机坐标系下的z轴相机坐标，并基于各像素的x轴相机坐标、y轴相机坐标和z轴相机坐标生成对应的伪点云。

26、可选的，在本发明第一方面的第四种实现方式中，所述基于所述总和伪点云和不同角度下的静态图像对所述待监控场景进行数字孪生处理，得到所述待监控场景的静态场景模型包括：

27、对所述总和伪点云进行场景组件划分，得到多个组件伪点云；

28、根据各组件伪点云在预设的模型组件库中进行组件检索，得到各组件伪点云对应的模型组件；

29、根据各组件伪点云在所述总和伪点云中的点云位置，在预设的数字内容生成软件中添加对应的模型组件；

30、根据所述静态图像对各模型组件进行渲染，得到所述待监控场景的静态场景模型。

31、可选的，在本发明第一方面的第五种实现方式中，所述动态传感器数据包括所述摄像机设备拍摄的动态图像；

32、所述对所述动态传感器数据进行内容识别，生成内容识别文本，并将所述内容识别文本发送至所述后台处理设备包括：

33、对所述动态图像进行动态区域检测，确定所述动态图像中的至少一个动态区域，并对所述至少一个动态区域进行特征提取，得到所述至少一个动态区域对应的区域特征向量；

34、将所述至少一个动态区域对应的区域特征向量输入预设的图像内容识别模型中，通过所述图像内容识别模型根据所述区域特征向量输出所述至少一个动态区域对应的区域描述文本；

35、判断所述动态区域的区域数量是否大于一；

36、若是，则根据各动态区域在所述动态图像中的区域位置，将各动态区域对应的区域描述文本进行整合，得到所述内容识别文本；

37、若否，则将所述动态区域的区域描述文本作为内容识别文本；

38、将所述内容识别文本发送至所述后台处理设备。

39、可选的，在本发明第一方面的第六种实现方式中，所述通过所述后台处理设备基于所述内容识别文本在所述静态场景模型中进行实时动态渲染，得到并展示所述待监控场景的实时动态场景模型，并基于所述动态场景模型对所述待监控场景进行监控包括：

40、通过所述后台处理设备对所述内容识别文本进行文本解析，提取所述内容识别文本中的关键词，其中，所述关键词包括场景实体类型和对应的属性值；

41、基于所述属性值识别所述静态场景模型中的待渲染位置，并在所述待渲染位置基于所述场景实体类型和对应的属性值进行实时动态渲染，得到并展示所述待监控场景的实时动态场景模型；

42、基于所述动态场景模型对所述待监控场景进行监控。

43、本发明第二方面提供了一种远程监控装置，所述远程监控装置应用于远程监控系统，所述远程监控系统包括远程传感器设备和后台处理设备；所述远程监控装置包括：

44、静态数据获取模块，用于通过所述远程传感器设备获取待监控场景下不同角度的历史传感器数据，并对所述历史传感器数据进行条件筛选，得到所述历史传感器数据中的静态传感器数据；

45、静态模型生成模块，用于通过所述远程传感器设备将所述静态传感器数据发送至所述后台处理设备，通过所述后台处理设备基于不同角度下的静态传感器数据对所述待监控场景进行数字孪生处理，得到所述待监控场景的静态场景模型；

46、动态数据获取模块，用于通过所述远程传感器设备实时获取待监控场景下不同角度的实时传感器数据，并对所述实时传感器数据进行条件筛选，得到所述实时传感器数据中的动态传感器数据；

47、内容文本生成模块，用于对所述动态传感器数据进行内容识别，生成内容识别文本，并将所述内容识别文本发送至所述后台处理设备；

48、渲染监控模块，用于通过所述后台处理设备基于所述内容识别文本在所述静态场景模型中进行实时动态渲染，得到并展示所述待监控场景的实时动态场景模型，并基于所述动态场景模型对所述待监控场景进行监控。

49、本发明第三方面提供了一种远程监控装置，包括：存储器和至少一个处理器，所述存储器中存储有指令，所述存储器和所述至少一个处理器通过线路互连；所述至少一个处理器调用所述存储器中的所述指令，以使得所述远程传感器设备执行上述的远程监控方法的步骤。

50、本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的远程监控方法的步骤。

51、上述远程监控方法、装置、设备及存储介质，通过远程传感器设备获取待监控场景下不同角度的静态传感器数据，通过后台处理设备基于静态传感器数据对待监控场景进行数字孪生处理，得到待监控场景的静态场景模型；通过远程传感器设备实时获取待监控场景下不同角度的动态传感器数据；对动态传感器数据进行内容识别，生成内容识别文本；通过后台处理设备基于内容识别文本在静态场景模型中进行实时动态渲染，得到并展示待监控场景的实时动态场景模型，并基于动态场景模型对待监控场景进行监控。本方法使用静态数据构建待监控场景的数字孪生模型，并实时获取动态数据，使用内容识别技术进行快速渲染，提高了模型的实时更新能力。

52、本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

53、为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。