一种支持AI引擎的边缘智能应用实现方法及装置

一种支持ai引擎的边缘智能应用实现方法及装置
技术领域
1.本发明涉及无线通信技术领域，特别是指一种支持ai引擎的边缘智能应用实现方法及装置。


背景技术：

2.b5g和6g时代，虚拟化和数字化成为了加速制造业产业落地的新方向。利用5g+ar/vr+工业互联网，可以将车间的生产情况转化成vr视频进行监管和控制。但现在的vr设备一方面仅能传输图像，缺少对于人工智能算法对图像进行处理的支持；另一方面vr视频需经由远处云端进行传输，既造成了资源的浪费，也导致了传输时间变长，无法实时、稳定的对设备进行监管与控制。


技术实现要素：

3.针对现有技术中传输时间变长，无法实时、稳定的对设备进行监管与控制的问题，本发明提出了一种支持ai引擎的边缘智能应用实现方法及装置。
4.为解决上述技术问题，本发明提供如下技术方案：
5.一方面，提供了一种ai引擎的边缘智能应用实现方法，该方法应用于电子设备，包括以下步骤：
6.s1：在物理机上部署5g核心网以及5g接入网，对5g核心网以及5g接入网进行初步设置；将vr视频设备的sim卡信息注册到5g核心网中，部署vr视频设备终端以及5g专用网络；
7.s2：对vr直播视频进行采集，将采集的vr视频数据上传至推流服务器；
8.s3：对获得的vr视频数据进行数据处理，将处理结果推回推流服务器；
9.s4：所述处理结果经过所述推流服务器传输至5g专用网络，通过vr展示平台将处理结果中的视频内容展示给前端观看用户，完成基于ai引擎的边缘智能应用流程。
10.可选地，步骤s1中，在物理机上部署5g核心网以及5g接入网，对5g核心网以及5g接入网进行初步设置；将vr视频设备的sim卡信息注册到5g核心网中，部署vr视频设备终端以及5g专用网络，包括：
11.s11：在物理机上部署5g核心网，并将amf、upf、mme、sgwu四个网元与网卡进行关联，配置每张网卡的ip，使其暴露于专网中被专网内的设备访问；
12.s12：在物理机上部署5g接入网，与已配置ip的5g核心网网元相连，使接入网和核心网之间连接；将通用无线电进行外设，使用usrp连接5g接入网；
13.s13：将vr全景视频上传设备和vr全景视频缓存设备的sim卡信息分别注册到5g核心网中；
14.s14：基于rtmp协议搭建推流服务器，将所述vr全景视频上传设备和所述vr全景视频缓存设备在专网中进行相互连接，部署为5g专用网络。
15.可选地，5g核心网与5g接入网部署在通用计算机上，并基于ip协议实现相互通信；
所述5g接入网利用usrp作为无线电通讯系统的数字基带和中频部分；基于5g协议栈的专网内部对vr直播数据进行传输，将数据的传输下沉到边缘云端。
16.可选地，推流服务器基于node-media-server搭建，既接收vr视频采集终端传输的vr视频数据，也响应vr眼镜发来的播放请求。
17.可选地，步骤s2中，对vr直播视频进行采集，将采集的vr视频数据上传至推流服务器，包括：
18.s21：利用vr视频采集终端采集vr直播视频并通过空口连接5g接入网，经由5g协议栈上传至推流服务器；
19.s22：推流服务器利用ai引擎暴露出来的rest接口，向ai引擎传输vr直播的推流地址。
20.可选地，步骤s3中，对获得的vr视频数据进行数据处理，将处理结果推回推流服务器，包括：
21.s31：通过ai引擎从推流服务器拉流并将视频以帧为单位进行切分，从而捕获需要处理的视频帧数据；
22.s32：通过ai引擎调用自身基于英伟达的cuda和yolo的智能算法，对切分的视频帧数据进行目标检测，并根据处理速度计算视频帧率和时延情况；
23.s33：通过ai引擎将处理后的视频帧数据通过管道利用ffmpeg推回推流服务器；
24.s34：通过ai引擎将计算出来的视频帧率和时延情况数据利用rest接口返回给推流服务器。
25.可选地，所述步骤s4中，所述处理结果经过所述推流服务器传输至5g专用网络，通过vr展示平台将处理结果中的视频内容展示给前端观看用户，完成基于ai引擎的边缘智能应用流程，包括：
26.s41：vr展示平台将经过ai引擎处理前后的视频内容、帧率和时延内容在前端进行展示和对比。
27.s42：vr全景缓存设备连接至推流服务器并通过空口连接5g接入网，经由5g协议栈接收vr视频数据，利用vr眼镜实现端到端的vr视频直播观看的用户体验。
28.可选地，ai引擎暴露自身的rest接口给推流服务器，使推流服务器与ai引擎进行双向交互；所述ai引擎基于英伟达的cuda和yolo的智能算法，将需要识别的视频帧进行特征提取、区域划分和置信度检测，最后将识别结果进行框选并标注类别的置信度，进行目标检测的业务。
29.可选地，ai引擎通过计算处理的单张视频帧的时间来计算实时帧率和时延情况。
30.一方面，提供了一种ai引擎的边缘智能应用实现装置，该装置应用于电子设备，适用于上述任意一项的方法，该装置包括：
31.网络搭建模块，用于在物理机上部署5g核心网以及5g接入网，对5g核心网以及5g接入网进行初步设置；将vr视频设备的sim卡信息注册到5g核心网中，部署vr视频设备终端以及5g专用网络；
32.视频数据采集模块，用于对vr直播视频进行采集，将采集的vr视频数据上传至推流服务器；
33.数据处理模块，用于对获得的vr视频数据进行数据处理，将处理结果推回推流服
务器；
34.结果展示模块，用于所述处理结果经过所述推流服务器传输至5g专用网络，通过vr展示平台将处理结果中的视频内容展示给前端观看用户，完成基于ai引擎的边缘智能应用流程。
35.一方面，提供了一种电子设备，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现上述一种ai引擎的边缘智能应用实现方法。
36.一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现上述一种ai引擎的边缘智能应用实现方法。
37.本发明实施例的上述技术方案至少具有如下有益效果：
38.上述方案中，本发明提出一种ai引擎的边缘智能应用实现方法及装置，基于5g协议栈搭建专网作为边缘端，并利用rtmp协议对vr视频数据进行应用层上的传输。同时利用ai引擎对vr视频进行智能分析，基于yolo等算法实现了目标识别业务。此外，我们还以vue为框架搭建了vr展示平台，实现了对ai引擎处理前后的vr视频图像进行比对、测量二者的时延和帧率的功能。最终实现了支持ai引擎的边缘智能的应用。实现了在5g专网内低时延，高可靠性的端到端连接；同时在边缘云支持ai引擎可以对vr视频数据进行智能分析，实现目标识别等智能图像处理业务，最终实现端到端的vr直播观看的用户体验。
附图说明
39.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
40.图1是本发明实施例提供的一种ai引擎的边缘智能应用实现方法的流程图；
41.图2是本发明实施例提供的一种ai引擎的边缘智能应用实现方法的流程图；
42.图3是本发明实施例提供的一种ai引擎的边缘智能应用实现方法的vr视频目标检测系统图；
43.图4是本发明实施例提供的一种ai引擎的边缘智能应用实现方法的用户面数据传输流程示意图；
44.图5是本发明实施例提供的一种ai引擎的边缘智能应用实现方法的控制面数据传输流程示意图；
45.图6是本发明实施例提供的一种ai引擎的边缘智能应用实现方法的基于rtmp协议的应用层数据传输流程示意图；
46.图7是本发明实施例提供的一种ai引擎的边缘智能应用实现方法的vr展示平台图；
47.图8是本发明实施例提供的一种ai引擎的边缘智能应用实现装置框图；
48.图9是本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
49.为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。
50.本发明实施例提供了一种ai引擎的边缘智能应用实现方法，该方法可以由电子设备实现，该电子设备可以是终端或服务器。如图1所示的ai引擎的边缘智能应用实现方法流程图，该方法的处理流程可以包括如下的步骤：
51.s101：在物理机上部署5g核心网以及5g接入网，对5g核心网以及5g接入网进行初步设置；将vr视频设备的sim卡信息注册到5g核心网中，部署vr视频设备终端以及5g专用网络；
52.s102：对vr直播视频进行采集，将采集的vr视频数据上传至推流服务器；
53.s103：对获得的vr视频数据进行数据处理，将处理结果推回推流服务器；
54.s104：将处理结果经过所述推流服务器传输至5g专用网络，通过vr展示平台将处理结果中的视频内容展示给前端观看用户，完成基于ai引擎的边缘智能应用流程。
55.可选地，步骤s101中，在物理机上部署5g核心网以及5g接入网，对5g核心网以及5g接入网进行初步设置；将vr视频设备的sim卡信息注册到5g核心网中，部署vr视频设备终端以及5g专用网络，包括：
56.s111：在物理机上部署5g核心网，并将amf、upf、mme、sgwu四个网元与网卡进行关联，配置每张网卡的ip，使其暴露于专网中被专网内的设备访问；
57.s112：在物理机上部署5g接入网，与已配置ip的5g核心网网元相连，使接入网和核心网之间连接；将通用无线电进行外设，使用usrp连接5g接入网；
58.s113：将vr全景视频上传设备和vr全景视频缓存设备的sim卡信息分别注册到5g核心网中；
59.s114：基于rtmp协议搭建推流服务器，将所述vr全景视频上传设备和所述vr全景视频缓存设备在专网中进行相互连接，部署为5g专用网络。
60.可选地，5g核心网与5g接入网部署在通用计算机上，并基于ip协议实现相互通信；所述5g接入网利用usrp作为无线电通讯系统的数字基带和中频部分；基于5g协议栈的专网内部对vr直播数据进行传输，将数据的传输下沉到边缘云端。
61.可选地，推流服务器基于node-media-server搭建，既接收vr视频采集终端传输的vr视频数据，也响应vr眼镜发来的播放请求。
62.可选地，步骤s102中，对vr直播视频进行采集，将采集的vr视频数据上传至推流服务器，包括：
63.s121：利用vr视频采集终端采集vr直播视频并通过空口连接5g接入网，经由5g协议栈上传至推流服务器；
64.s122：推流服务器利用ai引擎暴露出来的rest接口，向ai引擎传输vr直播的推流地址。
65.可选地，步骤s103中，对获得的vr视频数据进行数据处理，将处理结果推回推流服务器，包括：
66.s131：通过ai引擎从推流服务器拉流并将视频以帧为单位进行切分，从而捕获需要处理的视频帧数据；
67.s132：通过ai引擎调用自身基于英伟达的cuda和yolo的智能算法，对切分的视频帧数据进行目标检测，并根据处理速度计算视频帧率和时延情况；
68.s133：通过ai引擎将处理后的视频帧数据通过管道利用ffmpeg推回推流服务器；
69.s134：通过ai引擎将计算出来的视频帧率和时延情况数据利用rest接口返回给推流服务器。
70.可选地，所述步骤s4中，所述处理结果经过所述推流服务器传输至5g专用网络，通过vr展示平台将处理结果中的视频内容展示给前端观看用户，完成基于ai引擎的边缘智能应用流程，包括：
71.s141：vr展示平台将经过ai引擎处理前后的视频内容、帧率和时延内容在前端进行展示和对比。
72.s142：vr全景缓存设备连接至推流服务器并通过空口连接5g接入网，经由5g协议栈接收vr视频数据，利用vr眼镜实现端到端的vr视频直播观看的用户体验。
73.可选地，ai引擎暴露自身的rest接口给推流服务器，使推流服务器与ai引擎进行双向交互；所述ai引擎基于英伟达的cuda和yolo的智能算法，将需要识别的视频帧进行特征提取、区域划分和置信度检测，最后将识别结果进行框选并标注类别的置信度，进行目标检测的业务。
74.可选地，ai引擎通过计算处理的单张视频帧的时间来计算实时帧率和时延情况。
75.本发明实施例中，提出一种ai引擎的边缘智能应用实现方法及装置，基于5g协议栈搭建专网作为边缘端，并利用rtmp协议对vr视频数据进行应用层上的传输。同时利用ai引擎对vr视频进行智能分析，基于yolo等算法实现了目标识别业务。此外，我们还以vue为框架搭建了vr展示平台，实现了对ai引擎处理前后的vr视频图像进行比对、测量二者的时延和帧率的功能。最终实现了支持ai引擎的边缘智能的应用。实现了在5g专网内低时延，高可靠性的端到端连接；同时在边缘云支持ai引擎可以对vr视频数据进行智能分析，实现目标识别等智能图像处理业务，最终实现端到端的vr直播观看的用户体验。
76.本发明实施例提供了一种ai引擎的边缘智能应用实现方法，该方法可以由电子设备实现，该电子设备可以是终端或服务器。如图2所示的ai引擎的边缘智能应用实现方法流程图，该方法的处理流程可以包括如下的步骤：
77.s201：在物理机上部署5g核心网，并将amf、upf、mme、sgwu四个网元与网卡进行关联，配置每张网卡的ip，使其暴露于专网中被专网内的设备访问；
78.s202：在物理机上部署5g接入网，与已配置ip的5g核心网网元相连，使接入网和核心网之间连接；将通用无线电进行外设，使用usrp连接5g接入网。
79.一种可行的实施方式中，5g核心网与5g接入网部署在通用计算机上，并基于ip协议实现相互通信。5g接入网利用usrp作为无线电通讯系统的数字基带和中频部分。
80.s203：将vr全景视频上传设备和vr全景视频缓存设备的sim卡信息分别注册到5g核心网中；
81.s204：基于rtmp协议搭建推流服务器，将所述vr全景视频上传设备和所述vr全景视频缓存设备在专网中进行相互连接，部署为5g专用网络。
82.一种可行的实施方式中，基于node-media-server搭建推流服务器，可以接收vr视频采集终端传输的vr视频数据，也可以响应vr眼镜发来的播放请求。基于5g协议栈的专网
内部对vr直播数据进行传输，将数据的传输下沉到边缘云端。
83.本发明实施例中，针对vr视频流的传输与智能处理的技术问题提出了新的解决方案，即将vr视频的传输下沉到边缘云，以及利用ai引擎实现对vr视频的智能处理。本发明大致分为两个部分：部署基于5g专网的vr视频直播和利用ai引擎进行视频处理。
84.一种可行的实施方式中，系统的整体架构如图3所示。首先，vr全景视频采集终端由vr全景摄像头和vr全景视频上传设备组成，并使得二者通过私有wifi实现数据互通。vr全景视频采集终端通过usrp(通用无线电外设)接入5g接入网，通过5g协议栈利用rtmp(real time message protocol，实时信息传输协议)将上行流量即vr全景视频采集终端拍摄的vr视频数据传输到部署在专网内的推流服务器上。其次，推流服务器内部将视频内的画面进行分析，捕捉画面中需要识别的物体并将其进行标注，此时可以通过ai引擎，对视频数据的处理提供强有力的算力支持。然后，vr眼镜端内部由vr全景视频缓存设备和vr全景视频播放眼镜组成，同样通过5g协议栈利用rtmp协议接入5g接入网和5g核心网，并从专网上的推流服务器上对数据进行拉流，从而将vr视频数据拉取至vr眼镜上。最后用户戴上vr眼镜，便可以看到vr全景视频，从而实现端到端的vr直播观看的用户体验。
85.一种可行的实施方式中，5g核心网与5g接入网部署在通用计算机上，并基于ip协议实现相互通信；所述5g接入网利用usrp作为无线电通讯系统的数字基带和中频部分；基于5g协议栈的专网内部对vr直播数据进行传输，将数据的传输下沉到边缘云端。
86.一种可行的实施方式中，推流服务器基于node-media-server搭建，既接收vr视频采集终端传输的vr视频数据，也响应vr眼镜发来的播放请求。
87.一种可行的实施方式中，将物理设备连接成专网，保证互相之间的连通性；其次配置5g协议栈，对于5g核心网来说，应使用至少四张网卡，将amf、upf、mme、sgwu四个网元与网卡进行关联，并配置好每张网卡的ip，使其暴露于专网中，并可以被专网内的设备访问到；对于5g接入网来说，一方面需要连接5g核心网的上述四个网元，以实现5g核心网与5g接入网之间的通信，另一方面需要使用通用无线电外设来连接ue。对于推流服务器来说，则需要让推流服务器与5g核心网相连，以实现vr视频数据的传输，同时与ai引擎相连，保证ai引擎的算法可以正常调用；对于ue来说，则需要将自己的sim卡注册到5g核心网中以实现ue的接入。
88.s205：利用vr视频采集终端采集vr直播视频并通过空口连接5g接入网，经由5g协议栈上传至推流服务器；
89.s206：推流服务器利用ai引擎暴露出来的rest接口，向ai引擎传输vr直播的推流地址。
90.一种可行的实施方式中，在推流服务器中配置ai引擎的接入与视频数据的推流拉流业务。推流服务器需要部署直播推流服务器，从而接受ue在应用层上发来的rtmp数据包，并进一步变为vr视频数据，一部分和帧数、时延等信息通过rest接口传输到vr展示平台，另一部分推流给vr眼镜端来进行vr视频的播放。
91.控制面上，具体如图5所示。此处的协议与数据面有所不同，控制面不包含sdap层，但多了一个rrc层。终端设备的nas层直接与5g核心网建立连接，5g核心网的网元amf负责接入设备的控制，其数据传输与用户面相同，也是5g接入网通过ip协议传输。
92.部署基于5g专网的vr视频直播方面，下文将介绍vr视频的直播原理。由于vr全景
视频采集侧与vr眼镜侧使用了相同的协议栈，此处便以vr全景视频采集侧为例进行说明：
93.s207：对获得的vr视频数据进行数据处理，将处理结果推回推流服务器。
94.数据面上，具体如图4所示。首先，vr全景视频采集侧采集数据，通过app向下传输数据，在phy层vr全景视频采集设备与5g接入网通过空口建立连接，然后5g接入网侧再进一步将数据向上传输，在ip层通过ip协议与5g核心网建立连接，5g核心网侧的网元upf将数据再向下传输，并最终接入专网，实现了视频数据的传输。
95.s208：通过ai引擎从推流服务器拉流并将视频以帧为单位进行切分，从而捕获需要处理的视频帧数据；
96.一种可行的实施方式中，利用ai引擎进行视频处理方面，我们将ai引擎接入推流服务器，从而提供目标识别的业务支持。推流服务器基于node-media-server搭建，可以接收vr全景视频上传设备的vr视频推流，也可以响应vr眼镜发来的播放请求，将vr视频数据通过rtmp发送至vr眼镜。
97.s209：通过ai引擎调用自身基于英伟达的cuda和yolo的智能算法，对切分的视频帧数据进行目标检测，并根据处理速度计算视频帧率和时延情况；
98.一种可行的实施方式中，ai引擎内部封装了多种智能算法，包括强化学习的模型如dqn、a3c，rnn预测模型如gru和lstm、目标检测模型如yolo和fast r-cnn，可以实现智能切片管理、用户数据分析和ai智能应用等业务。本发明就是基于引擎中英伟达的cuda和yolo算法为图像识别提供gpu上的算力支持，从而实现对视频物体的识别。此外，ai引擎有多种接口供外部程序调用，包括rest接口、rtc控制器和socket。在本发明中，就是利用rest接口与推流服务器进行的通信。
99.一种可行的实施方式中，yolo是基于pytorch的图像识别算法，这里基于英伟达的cuda技术，可以调用ai引擎的gpu算力，实现vr视频的目标识别业务。其具体算法流程如下：
100.首先利用数据集对模型进行训练，制作数据集。这需要根据推流视频的分辨率，收集相似分辨率的图像数据，然后根据vr视频需要识别的对象，对图片内容进行筛选，找到含有目标对象的图片数据。然后使用roboflow对图片信息进行标注，框出目标对象并标注对象信息，最后将数据集打包成yolov5 pytorch格式供模型分析。然后选择模型的复杂度，这里选择了最复杂但识别准确率更高的yolov5x模型。然后利用上文制作好的数据集对模型进行训练。在wandb中可以看到训练结果明显收敛的时候模型便训练完成。
101.其次是将上文提到的视频帧进行处理。模型会先将视频帧处理为与训练集相同的分辨率，然后利用卷积神经网络进行特征提取，再利用滑动窗口方法对视频帧的内容进行遍历，对窗口内目标的置信度进行评估，最后利用nms(非极大值抑制)的方法合并重合的目标窗口，最终获得每个目标对象识别出的置信框的位置和置信度，并根据置信框的位置将原视频帧中的目标对象进行框选，注明其置信度，完成对视频帧的目标识别。
102.视频帧处理完毕之后，ai引擎将帧数据转化为字节数据，并建立一个传输管道，利用ffmpeg将帧数据通过管道推流回推流服务器。同时根据每一帧的处理时间作为处理后的vr视频流数据的时延，并计算每秒可以处理的帧数作为处理后的vr视频的帧数，利用rest接口将这些数据发送到推流服务器，最终实现vr视频图像的智能化处理。
103.s210：通过ai引擎将处理后的视频帧数据通过管道利用ffmpeg推回推流服务器；
104.s211：通过ai引擎将计算出来的视频帧率和时延情况数据利用rest接口返回给推
流服务器。
105.一种可行的实施方式中，推流服务器接收vr视频推流的同时，也会通过ai引擎暴露的接口来与ai引擎进行通信，将vr视频推流数据通过接口发送至ai引擎，ai引擎首先将视频流分割为单个静态画面的视频帧图像，然后交由yolo的预测模型进行处理。
106.s212：vr展示平台将经过ai引擎处理前后的视频内容、帧率和时延内容在前端进行展示和对比。
107.一种可行的实施方式中，本发明基于推流服务器搭建了vr展示平台，用于将vr视频进行前端的展示，同时也可以查看视频帧率、时延情况，以及对比ai引擎处理vr视频前后的视频效果。该平台前端界面使用vue作为框架设计，并嵌入基于flvjs的直播视频播放器，可以在线播放推流服务器上拉取的视频，实现效果如图7所示，可以看到图左是vr全景视频上传设备正常拍摄时的界面，图右是对vr全景视频上传设备拍摄的画面进行ai视频处理识别之后的效果。
108.s213：vr全景缓存设备连接至推流服务器并通过空口连接5g接入网，经由5g协议栈接收vr视频数据，利用vr眼镜实现端到端的vr视频直播观看的用户体验。
109.本发明实施例中，ai引擎利用自身暴露的接口与推流服务器相连，并从推流服务器拉取vr视频数据。将视频流以帧为单位进行切分，从而得到可以进行识别的视频帧数据。ai引擎调用自身内部封装的ai算法来实现对于视频的目标识别业务，并将处理后的视频帧数据通过管道利用ffmpeg推流回推流服务器，vr展示平台从推流服务器同时拉取ai引擎处理前后的视频流并展示到前端界面上，并通过rest接口从推流服务器上请求识别后的视频的帧数、时延等信息，从而实现目标识别前后视频效果的比对。
110.一种可行的实施方式中，应用层上，vr视频的传输基于rtmp，主要负责数据运输过程的5g协议栈对其透明。基于rtmp的视频流数据传输情况如图6所示。首先，利用空口连接vr全景视频上传设备和5g接入网，并开启vr视频直播软件，根据软件提示与摄像头连接同一私有wifi，并输入推流服务器的地址，点击开始直播后便可以与推流服务器在应用层建立连接，然后vr全景视频采集终端将视频数据封装成rtmp数据包发送到推流服务器；同样的，vr眼镜端连接5g接入网，并打开vr视频播放器，输入推流地址，便可以与推流服务器建立应用层连接，将rtmp数据包发送至vr眼镜端，最后vr全景视频缓存设备将发来的数据包解包成视频数据并嵌入vr眼镜，从而实现端到端的vr直播观看的用户体验。
111.本发明实施例中，一方面将vr传输系统下沉到边缘云，避免了传输到远处云端导致的资源浪费和时间延迟；另一方面我们设计了ai引擎，实现了对图像的实时处理，可以完成目标识别等业务。本发明首先基于5g协议栈搭建5g专网作为边缘云端，并利用专网将vr视频直播实时推流至用户的vr眼镜，实现了端到端的vr直播观看的用户体验。本发明相比传统方法降低了视频的传输时延，实现了高效的数据传输，保障了工业数据的安全。同时本发明还利用ai引擎实现了对视频中的目标识别，充分满足工业互联网对特定的物件的识别等需求。借助vr的数字化远程操作管理，大幅提高了机械设备的系统作业和智能水平。
112.图8是根据一示例性实施例示出的一种ai引擎的边缘智能应用实现装置框图。该装置适用于上述任意一项的方法。参照图8，该装置300包括：
113.网络搭建模块310，用于在物理机上部署5g核心网以及5g接入网，对5g核心网以及5g接入网进行初步设置；将vr视频设备的sim卡信息注册到5g核心网中，部署vr视频设备终
端以及5g专用网络；
114.视频数据采集模块320，用于对vr直播视频进行采集，将采集的vr视频数据上传至推流服务器；
115.数据处理模块330，用于对获得的vr视频数据进行数据处理，将处理结果推回推流服务器；
116.结果展示模块340，用于所述处理结果经过所述推流服务器传输至5g专用网络，通过vr展示平台将处理结果中的视频内容展示给前端观看用户，完成基于ai引擎的边缘智能应用流程。
117.可选地，网络搭建模块310，用于在物理机上部署5g核心网，并将amf、upf、mme、sgwu四个网元与网卡进行关联，配置每张网卡的ip，使其暴露于专网中被专网内的设备访问；
118.在物理机上部署5g接入网，与已配置ip的5g核心网网元相连，使接入网和核心网之间连接；将通用无线电进行外设，使用usrp连接5g接入网；
119.将vr全景视频上传设备和vr全景视频缓存设备的sim卡信息分别注册到5g核心网中；
120.基于rtmp协议搭建推流服务器，将所述vr全景视频上传设备和所述vr全景视频缓存设备在专网中进行相互连接，部署为5g专用网络。
121.可选地，5g核心网与5g接入网部署在通用计算机上，并基于ip协议实现相互通信；所述5g接入网利用usrp作为无线电通讯系统的数字基带和中频部分；基于5g协议栈的专网内部对vr直播数据进行传输，将数据的传输下沉到边缘云端。
122.可选地，推流服务器基于node-media-server搭建，既接收vr视频采集终端传输的vr视频数据，也响应vr眼镜发来的播放请求。
123.可选地，视频数据采集模块320，用于利用vr视频采集终端采集vr直播视频并通过空口连接5g接入网，经由5g协议栈上传至推流服务器；
124.推流服务器利用ai引擎暴露出来的rest接口，向ai引擎传输vr直播的推流地址。
125.可选地，数据处理模块330，用于通过ai引擎从推流服务器拉流并将视频以帧为单位进行切分，从而捕获需要处理的视频帧数据；
126.通过ai引擎调用自身基于英伟达的cuda和yolo的智能算法，对切分的视频帧数据进行目标检测，并根据处理速度计算视频帧率和时延情况；
127.通过ai引擎将处理后的视频帧数据通过管道利用ffmpeg推回推流服务器；
128.通过ai引擎将计算出来的视频帧率和时延情况数据利用rest接口返回给推流服务器。
129.可选地，结果展示模块340，用于vr展示平台将经过ai引擎处理前后的视频内容、帧率和时延内容在前端进行展示和对比。
130.vr全景缓存设备连接至推流服务器并通过空口连接5g接入网，经由5g协议栈接收vr视频数据，利用vr眼镜实现端到端的vr视频直播观看的用户体验。
131.可选地，ai引擎暴露自身的rest接口给推流服务器，使推流服务器与ai引擎进行双向交互；所述ai引擎基于英伟达的cuda和yolo的智能算法，将需要识别的视频帧进行特征提取、区域划分和置信度检测，最后将识别结果进行框选并标注类别的置信度，进行目标
检测的业务。
132.可选地，ai引擎通过计算处理的单张视频帧的时间来计算实时帧率和时延情况。
133.本发明实施例中，提出一种ai引擎的边缘智能应用实现方法及装置，基于5g协议栈搭建专网作为边缘端，并利用rtmp协议对vr视频数据进行应用层上的传输。同时利用ai引擎对vr视频进行智能分析，基于yolo等算法实现了目标识别业务。此外，我们还以vue为框架搭建了vr展示平台，实现了对ai引擎处理前后的vr视频图像进行比对、测量二者的时延和帧率的功能。最终实现了支持ai引擎的边缘智能的应用。实现了在5g专网内低时延，高可靠性的端到端连接；同时在边缘云支持ai引擎可以对vr视频数据进行智能分析，实现目标识别等智能图像处理业务，最终实现端到端的vr直播观看的用户体验。
134.图9是本发明实施例提供的一种电子设备400的结构示意图，该电子设备400可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，cpu)401和一个或一个以上的存储器402，其中，所述存储器402中存储有至少一条指令，所述至少一条指令由所述处理器401加载并执行以实现下述ai引擎的边缘智能应用实现方法的步骤：
135.s1：在物理机上部署5g核心网以及5g接入网，对5g核心网以及5g接入网进行初步设置；将vr视频设备的sim卡信息注册到5g核心网中，部署vr视频设备终端以及5g专用网络；
136.s2：对vr直播视频进行采集，将采集的vr视频数据上传至推流服务器；
137.s3：对获得的vr视频数据进行数据处理，将处理结果推回推流服务器；
138.s4：所述处理结果经过所述推流服务器传输至5g专用网络，通过vr展示平台将处理结果中的视频内容展示给前端观看用户，完成基于ai引擎的边缘智能应用流程。
139.在示例性实施例中，还提供了一种计算机可读存储介质，例如包括指令的存储器，上述指令可由终端中的处理器执行以完成上述基于课程学习的ai引擎的边缘智能应用实现方法。例如，所述计算机可读存储介质可以是rom、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储设备等。
140.本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
141.以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。