基于数字孪生技术的校园交互式监控方法以及系统与流程

本发明涉及校园安全，尤其涉及一种基于数字孪生技术的校园交互式监控方法以及系统。

背景技术：

1、数字孪生技术，是充分利用物理模型、传感器更新、运行历史等数据，集成多学科、多物理量、多尺度、多概率的仿真过程，在虚拟空间中完成映射，从而反映相对应的实体装备的全生命周期过程；目前，其广泛被应用于工业领域中。

2、近些年来，随着教育事业的不断发展以及国家对教育事业的越加重视，但是近些年校园内安全事故频发，针对于此类事故，有必要针对性的提出一个及时性高且可靠的措施。

技术实现思路

1、本发明实施例提供了一种基于数字孪生技术的校园交互式监控方法以及系统，具有预测校园内移动物体的行为轨迹并在判定行为轨迹为非正常轨迹时作出警告，以此保证校园的安全。

2、本发明提供一种基于数字孪生技术的校园交互式监控方法，所述方法包括：

3、通过校园内的多个摄像头获取到的监控影像；

4、通过高斯拉普拉斯log算法对所述监控影像进行分析，根据所述监控影像上的区域和线条，将监控影像上的点划分为多个第一子集；

5、将每个所述第一子集中的数据和数据库中存储的目标物体数据进行数据匹配，确定匹配程度超过设定阈值的第二子集，其中，所述第二子集包括移动物体和固定建筑物；

6、基于每个所述第二子集，生成所述移动物体和固定建筑物的数字孪生模型；

7、基于所述数字孪生模型，预测所述移动物体的行为轨迹；

8、基于所述固定建筑物的位置，若判定所述行为轨迹为非常规轨迹，则发出预警。

9、在一可实施方式中，所述基于每个所述第二子集，生成所述移动物体和固定建筑物的数字孪生模型，包括：

10、获取所述第二子集中所述移动物体和固定建筑物的待处理图像；

11、获取三维基本模型数据库；

12、分别对所述待处理图像进行图像分割，得到多个图像单元；

13、对多个所述图像单元进行特征检测，得到图像特征，其中，所述图像特征至少包括文本标签、几何特征、视角特征以及图像纹理特征；

14、基于所述图像特征在所述三维基本模型数据库中获取对应的多个基本三维模型；

15、对所述基本三维模型进行图像处理，得到对应的多个二维图像；

16、基于所述图像单元与多个所述二维图像，确定与所述图像单元对应的孪生基本三维模型；

17、基于与各所述图像单元对应的各所述孪生基本三维模型，得到与所述待处理图像对应的孪生三维模型。

18、在一可实施方式中，所述图像特征还包括间树级关系；

19、相应的，所述分别对所述待处理图像进行图像分割，得到多个图像单元，包括：

20、分别对所述待处理图像进行层级化图像分割，得到多个图像单元以及对应的间树级关系，其中所述间树级关系表示不同所述图像单元间的位置关系。

21、在一可实施方式中，所述基于所述图像单元与多个所述二维图像，确定与所述图像单元对应的孪生基本三维模型，包括：

22、基于所述文本标签和所述几何特征，在所述三维基本模型数据库中召回与所述图像单元对应的多个基本三维模型；

23、相应的，所述对所述基本三维模型进行图像处理，得到对应的多个二维图像，包括：

24、基于所述视角特征和所述图像纹理特征，分别对所述基本三维模型进行视角调整和纹理渲染，得到与多个所述基本三维模型对应的多个二维图像。

25、在一可实施方式中，所述基于所述图像单元与多个所述二维图像，确定与所述图像单元对应的孪生基本三维模型，包括：

26、基于所述图像单元与多个所述二维图像，通过相似度计算分别确定所述图像单元与各所述二维图像的相似值，以及通过协同过滤计算分别确定所述图像单元与各所述二维图像的相似推荐值；

27、基于所述相似值和所述相似推荐值，生成与所述图像单元对应的候选三维模型概率分布；

28、基于所述候选三维模型概率分布，确定与所述图像单元对应的孪生基本三维模型。

29、在一可实施方式中，在所述得到与多个所述基本三维模型对应的多个二维图像之后，所述方法还包括：

30、基于条件随机场的图像单元间共现约束模型，确定相关联所述图像单元间的关联概率；

31、所述基于所述相似值和所述相似推荐值，生成与所述图像单元对应的候选三维模型概率分布，包括：

32、基于所述相似值、所述相似推荐值以及所述关联概率，生成与所述图像单元对应的候选三维模型概率分布。

33、在一可实施方式中，所述基于所述相似值、所述相似推荐值以及所述关联概率，生成与所述图像单元对应的候选三维模型概率分布，包括：

34、基于所述相似值、所述相似推荐值以及所述关联概率的加权平均值，确定与所述图像单元对应的候选三维模型概率分布，其中，在加权计算过程中的权重值为超参数。

35、在一可实施方式中，所述基于所述数字孪生模型，预测所述移动物体的行为轨迹，包括：

36、获取所述数字孪生模型的运动图像序列；

37、根据所述运动图像序列，确定所述移动物体的移动物体特征、运动特征和轨迹框；

38、根据所述移动物体特征、运动特征和轨迹框，生成目标交互特征；

39、根据所述目标交互特征，确定所述运动图像序列对应的行为轨迹预测结果。

40、在一可实施方式中，所述根据所述运动图像序列，确定所述移动物体的移动物体特征、运动特征和轨迹框，包括：

41、将所述运动图像序列输入移动物体重识别网络，得到所述运动图像序列对应的移动物体特征、运动特征；其中，所述移动物体重识别网络包括第一主干网络、第二主干网络、第三主干网络、第四主干网络、移动物体特征提取网络和运动特征提取网络，所述第一主干网络、所述第二主干网络、所述第三主干网络和所述第四主干网络为串行连接，所述移动物体特征提取网络与所述第四主干网络连接，所述运动特征提取网络与所述第三主干网络、所述第四主干网络连接；

42、将所述运动图像序列对应的移动物体特征输入检测器，得到所述运动图像序列对应的轨迹框。

43、本发明另一方面提供一种基于数字孪生技术的校园交互式监控系统，所述系统包括：

44、影像获取模块，用于通过校园内的多个摄像头获取到的监控影像；

45、影像分析模块，用于通过高斯拉普拉斯log算法对所述监控影像进行分析，根据所述监控影像上的区域和线条，将监控影像上的点划分为多个第一子集；

46、影像匹配模块，用于将每个所述第一子集中的数据和数据库中存储的目标物体数据进行数据匹配，确定匹配程度超过设定阈值的第二子集，其中，所述第二子集包括移动物体和固定建筑物；

47、模型生成模块，用于基于每个所述第二子集，生成所述移动物体和固定建筑物的数字孪生模型；

48、轨迹预测模块，用于基于所述数字孪生模型，预测所述移动物体的行为轨迹；

49、信息告警模块，用于基于所述固定建筑物的位置，若判定所述行为轨迹为非常规轨迹，则发出预警。

50、在本发明实施例中，通过校园内的多个摄像头获取到的监控影像；通过高斯拉普拉斯log算法对所述监控影像进行分析，根据所述监控影像上的区域和线条，将监控影像上的点划分为多个第一子集；将每个所述第一子集中的数据和数据库中存储的目标物体数据进行数据匹配，确定匹配程度超过设定阈值的第二子集，其中，所述第二子集包括移动物体和固定建筑物；基于每个所述第二子集，生成所述移动物体和固定建筑物的数字孪生模型；基于所述数字孪生模型，预测所述移动物体的行为轨迹；基于所述固定建筑物的位置，若判定所述行为轨迹为非常规轨迹，则发出预警，相关负责人可尽快对相关行为人进行处理，以保证校园安全。