一种推理加速及同步方法和系统与流程

本发明属于物联网，具体涉及一种推理加速及同步方法和系统。

背景技术：

1、随着科技的发展，人工智能在计算机领域内，得到了愈加广泛的重视。人工智能为了充分挖掘ai技术的优势，模型设计复杂度日渐提升，包括模型深度，宽度以及结构复杂度等各个维度，计算量的增大使得ai推理性能瓶颈日益凸显，尤其是实时性的业务需求对推理速度要求更高。为了追求最佳推理性能，往往需要手动进行逐个优化，涉及的开发，部署和沟通成本都很高，为了降低成本，往往使用单个gpu机器甚至边缘设备平台(比如nvidiajetson)进行部署，边缘端的机器性能存在差异，就会导致推理速度慢，延迟高。这对于那些高实时性的应用场合是致命的。

2、主要问题集中在：

3、1、模型深度，宽度以及结构复杂度等各个维度，计算量的增大使得ai推理性能瓶颈日益凸显；

4、2、为了降低成本，往往使用单个gpu机器甚至边缘设备平台(比如nvidia jetson)进行部署，边缘端的机器性能存在差异，就会导致推理速度慢，延迟高；

5、目前常用的做法如下：

6、提升设备的性能：因为gpu的价格高昂，提高设备的性能，大大提高了成本，这个无疑提高了成本。

7、采用跳帧推理，虽然一定程度上提升了推理性能，但是跳帧带来了推理滞后，可能会出现关键动作不能捕抓的情况，对于那些高实时性的应用场合是致命的，此方法更不可取。

8、因此，本发明解决的技术问题在于：如何提高基于边缘设备进行快速推理和分析。

技术实现思路

1、针对现有技术的不足，本发明的第一个目的在于提供一种推理加速及同步方法，该方法利用现有的推理模块的推理分辨率过大，和摄像头的视频分辨率不一致的现象，将1个或2个摄像头的两张图片合成一张图片，合成后的图片可全部置于推理模块的推理界面内，无需对推理模块的界面的空白处进行渲染，将推理速度提高一倍；同时合成前的图片带有标识，推理后对图片进行拆分，并重新合成视频源，针对视频源进行分析，得到分析结果，可以有效的降低边缘设备的分析压力。

2、本发明的第二个目的在于提供一种基于该方法的系统。

3、为达到第一个发明目的，本发明采用以下技术方案：

4、一种推理加速及同步方法，包括如下步骤：

5、步骤1：获取一个、两个或多个摄像头所获取的视频源，将视频源中每一帧图片加上用于用于标识图片来源和时间的标识；

6、步骤2：将视频源整合成一批视频帧；

7、步骤3：将每两张视频帧拼接成为一帧图像；

8、步骤4：将图像采用推理模块进行推理，得到推理结果；

9、步骤5：将图像进行拆分，拆分得到两帧和视频帧对应的图片，每帧图片均带有标识和推理结果；

10、步骤6：根据标识整合图片，得到视频；

11、步骤7：结合每张图片的推理结果，对视频进行分析，得到分析结果。

12、在上述的基推理加速及同步方法中，所述推理模块的推理界面的分辨率为1280*1440；视频源中的图片的分辨率为1280*720。

13、在上述的基推理加速及同步方法中，所述推理模块为gst-nvinfer插件；

14、gst-nvinfer插件根据网络配置要求可以对输入数据进行转换(如数据格式转换(bgr->grb等)和reisze操作)，然后把转换后的数据传递给底层库；底层库再把转换后的数据进行预处理(如减均值除方差归一化操作)，最后产生rgb/bgr/gray float数据传递给tensorrt进行推理，输出中创建的metadata，即推理结果；

15、所述步骤1-7是在多媒体框架gstreamer中进行。

16、在上述的基推理加速及同步方法中，步骤3中，采用multistreamtiler插件将每两张视频帧拼接成为一帧图像。

17、在上述的基推理加速及同步方法中，所述步骤4具体为：

18、将图像采用推理模块进行推理，得到图像中人体的骨骼的推理结果；

19、所述步骤7具体为：结合每张图片的推理结果，对视频进行分析，得到关于图像中人体的动作的分析结果。

20、在上述的基推理加速及同步方法中，所述步骤6中，选定视频中任意的区域为感兴趣的区域；在步骤7中，依照时间先后顺序分析感兴趣的区域内的人体的骨骼的推理结果，得到关于图像中人体的动作的分析结果。

21、在上述的基推理加速及同步方法中，所述标识包括时间戳、图片的所在视频源和该图片在视频源中序号的信息。

22、同时，本发明还公开了一种推理加速及同步的系统，包括多个摄像头和用于实施如上任一所述方法的边缘设备，所述摄像头用于获得视频源并将视频源发送至边缘设备。

23、在上述的推理加速及同步的系统中，所述边缘设备包括：

24、视频源获取模块：用于获取两个摄像头所获取的视频源，将视频源中每一帧图片加上用于用于标识图片来源和时间的标识；

25、视频源整合模块：用于将视频源整合成一批视频帧；

26、视频帧合并模块：用于将每两张视频帧拼接成为一帧图像；

27、推理模块：用于对图像进行推理，得到推理结果；

28、图像拆分模块：用于将图像进行拆分，拆分得到两帧和视频帧对应的图片，每帧图片均带有标识和推理结果；

29、图片整合模块：用于根据标识整合图片，得到视频；

30、分析模块：用于结合每张图片的推理结果，对视频进行分析，得到分析结果。

31、在上述的推理加速及同步的系统中，所述推理模块的推理界面的分辨率为1280*1440；视频源中的图片的分辨率为1280*720；

32、所述推理结果为关于人的骨骼的推理结果；

33、所述分析结果是关于人的动作的分析结果。

34、相对于现有技术，本发明具有以下有益效果：

35、1.采用图像2合1的结合技术，可提高推理速度，具体来说：

36、基于摄像头16：9的画面，填充了一些无关画面推理，大大降低性能的情况，采取2合1的方式(2路1280*720转为1路1280*1440)，能够填充有效数据推理，在几乎不降低原有精准度的情况下，大大提升了1倍的推理速度。

37、2.2合1推理的时候要增加同步机制，需要通过图片标识、拆分，保证推理之后的结果能够对应上解码的流。

38、3.作为本发明的进一步优化，通过设置感兴趣的区别(roi)，减少无关的目标也可以进一步提升性能，采取过滤自定义roi外的目标，减少计算量，进一步提升速度。

技术特征：

1.一种推理加速及同步方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的基推理加速及同步方法，其特征在于，所述推理模块的推理界面的分辨率为1280*1440；视频源中的图片的分辨率为1280*720。

3.根据权利要求1所述的推理加速及同步方法，其特征在于，所述推理模块为gst-nvinfer插件；

4.根据权利要求1所述的推理加速及同步方法，其特征在于，步骤3中，采用multistreamtiler插件将每两张视频帧拼接成为一帧图像。

5.根据权利要求1所述的推理加速及同步方法，其特征在于，所述步骤4具体为：

6.根据权利要求1—5任一所述的推理加速及同步方法，其特征在于，所述步骤6中，选定视频中任意的区域为感兴趣的区域；在步骤7中，依照时间先后顺序分析感兴趣的区域内的人体的骨骼的推理结果，得到关于图像中人体的动作的分析结果。

7.根据权利要求1-5任一所述的推理加速及同步方法，其特征在于，所述标识包括时间戳、图片的所在视频源和该图片在视频源中序号的信息。

8.一种推理加速及同步的系统，其特征在于，包括两个或多个摄像头和用于实施如权利要求1-7任一所述方法的边缘设备，所述摄像头用于获得视频源并将视频源发送至边缘设备。

9.根据权利要求8所述的推理加速及同步的系统，其特征在于，所述边缘设备包括：

10.根据权利要求8所述的推理加速及同步的系统，其特征在于，所述推理模块的推理界面的分辨率为1280*1440；视频源中的图片的分辨率为1280*720；

技术总结
本发明属于物联网技术领域，公开了一种推理加速及同步方法，包括如下步骤：步骤1：获取两个摄像头所获取的视频源；步骤2：将视频源整合成一批视频帧；步骤3：将每两张视频帧拼接成为一帧图像；步骤4：将图像采用推理模块进行推理，得到推理结果；步骤5：将图像进行拆分；步骤6：根据标识整合图片，得到视频；步骤7：结合每张图片的推理结果，对视频进行分析，得到分析结果。该方法将摄像头的两张图片合成一张图片，将推理速度提高一倍；同时合成前的图片带有标识，推理后对图片进行重新合成视频源，针对视频源进行分析，得到分析结果，可以有效的降低边缘设备的分析压力。本发明的第二个目的在于提供一种基于该方法的系统。

技术研发人员：劳康乘,招嘉焕
受保护的技术使用者：广州鲁邦通物联网科技股份有限公司
技术研发日：
技术公布日：2024/1/14