一种算法平台深度学习应用开发方法、系统、介质和设备与流程

本发明提出了一种算法平台深度学习应用开发方法、系统、介质和设备，属于深度学习应用开发。

背景技术：

1、当前算法平台缺少全流程深度学习应用开发的相关功能，对于训练出来的模型，要使其接受多类型，或多路的输入，并充分调用硬件进行加速推理，实现多类型的输出，是很困难的事情，可能需要多个不同的组件合作完成，缺少统一的开发环境。当前算法平台缺少全流程深度学习应用开发的相关功能。对于训练出来的模型，要基于其开发应用，需要不同组件参与，环境比较复杂。对于算法平台训练出来的模型，直接部署在嵌入式设备上会因无法充分调用硬件遇到性能问题。

技术实现思路

1、本发明提供了一种算法平台深度学习应用开发方法、系统、介质和设备，用以解决前算法平台缺少全流程深度学习应用开发的相关功能的问题，所采取的技术方案：

2、一种算法平台深度学习应用开发方法，所述算法平台深度学习应用开发方法包括：

3、利用deepstream sdk支持的格式配置视频输入源；

4、利用deepstream sdk组件处理视频流，获得处理好的视频流数据；

5、对所述处理好的视频流数据进行结果输出和可视化展示。

6、进一步地，利用deepstream sdk支持的格式配置视频输入源，包括：

7、调取所述deepstream sdk支持的格式类型，其中，所述格式类型包括h264格式、h265格式和rtsp格式；

8、利用deepstream sdk支持的格式配置视频输入源。

9、进一步地，利用deepstream sdk组件处理视频流，包括：

10、对所述deepstream sdk组件的各个插件进行配置，其中，所述插件包括源插件、深度学习模型推理插件、目标追踪插件、输出插件和配置文件插件；

11、具体的，源插件(source plugin)：本组件用于获取视频输入流，根据的需求选择适当的源插件。

12、深度学习模型推理插件(inference plugin)：集成训练好的深度学习模型，以便进行推理任务，如目标分类、目标检测或目标追踪。

13、目标追踪插件(tracker plugin)：如果应用需要目标追踪功能，可以使用此插件来跟踪检测到的目标。

14、输出插件(sink plugin)：用于将处理后的视频流输出到所需的格式，支持的输出格式包括h264、h265等。

15、配置文件：配置deepstream应用的参数，包括模型路径、输入源、输出格式等。

16、利用完成配置的各个插件对视频流进行处理，获得处理后的视频流。

17、进一步地，对所述deepstream sdk组件的各个插件进行配置，包括：

18、调取deepstream sdk组件的各个插件；

19、对所述deepstream sdk组件的各个插件进行功能验证，确定所述deepstream sdk组件的各个插件是否运行正常；

20、将运行正常的deepstream sdk组件的各个插件配置到所述deepstream sdk组件中；

21、提取运行异常的deepstream sdk组件的各个插件，判断所述运行异常的deepstream sdk组件的各个插件的个数是否达到预设的异常比例p，其中，所述异常比例p的取值范围为(1-1/n)×82％-1+1/n)×82％；n表示所述deepstream sdk组件能够实现基本运行功能的最小插件个数；

22、当所述运行异常的deepstream sdk组件的各个插件的个数达到或超过预设的异常比例p时，则进行异常报警；

23、当所述运行异常的deepstream sdk组件的各个插件的个数未达到预设的异常比例p时，则重新运行和调试所述运行异常的deepstream sdk组件的各个插件直至所述运行异常的deepstream sdk组件符合验证要求。

24、一种算法平台深度学习应用开发系统，所述算法平台深度学习应用开发系统包括：

25、配置模块，用于利用deepstream sdk支持的格式配置视频输入源；

26、视频流处理模块，用于利用deepstream sdk组件处理视频流，获得处理好的视频流数据；

27、结果获取及可视化展示模块，用于对所述处理好的视频流数据进行结果输出和可视化展示。

28、进一步地，所述配置模块包括：

29、调取模块，用于调取所述deepstream sdk支持的格式类型，其中，所述格式类型包括h264格式、h265格式和rtsp格式；

30、输入源配置模块，用于利用deepstream sdk支持的格式配置视频输入源。

31、进一步地，所述视频流处理模块包括：

32、第一插件配置模块，用于对所述deepstream sdk组件的各个插件进行配置，其中，所述插件包括源插件、深度学习模型推理插件、目标追踪插件、输出插件和配置文件插件；

33、具体的，源插件(source plugin)：本组件用于获取视频输入流，根据的需求选择适当的源插件。

34、深度学习模型推理插件(inference plugin)：集成训练好的深度学习模型，以便进行推理任务，如目标分类、目标检测或目标追踪。

35、目标追踪插件(tracker plugin)：如果应用需要目标追踪功能，可以使用此插件来跟踪检测到的目标。

36、输出插件(sink plugin)：用于将处理后的视频流输出到所需的格式，支持的输出格式包括h264、h265等。

37、配置文件：配置deepstream应用的参数，包括模型路径、输入源、输出格式等。

38、视频流处理执行模块，用于利用完成配置的各个插件对视频流进行处理，获得处理后的视频流。

39、进一步地，所述插件配置模块包括：

40、第二插件调取模块，用于调取deepstream sdk组件的各个插件；

41、功能验证模块，用于对所述deepstream sdk组件的各个插件进行功能验证，确定所述deepstream sdk组件的各个插件是否运行正常；

42、集成配置模块，用于将运行正常的deepstream sdk组件的各个插件配置到所述deepstream sdk组件中；

43、插件提取模块，用于提取运行异常的deepstream sdk组件的各个插件，判断所述运行异常的deepstream sdk组件的各个插件的个数是否达到预设的异常比例p，其中，所述异常比例p的取值范围为(1-1/n)×82％-1+1/n)×82％；n表示所述deepstream sdk组件能够实现基本运行功能的最小插件个数；

44、异常报警模块，用于当所述运行异常的deepstream sdk组件的各个插件的个数达到或超过预设的异常比例p时，则进行异常报警；

45、调试运行模块，用于当所述运行异常的deepstream sdk组件的各个插件的个数未达到预设的异常比例p时，则重新运行和调试所述运行异常的deepstream sdk组件的各个插件直至所述运行异常的deepstream sdk组件符合验证要求。

46、一种算法平台深度学习应用开发的计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一项所述算法平台深度学习应用开发方法的步骤。

47、一种算法平台深度学习应用开发的电子设备，所述电子设备包括：

48、存储器，用于存储计算机程序；

49、处理器，用于执行所述计算机程序时实现如上述任一项所述算法平台深度学习应用开发方法的步骤。

50、本发明有益效果：

51、本发明提出的一种算法平台深度学习应用开发方法、系统、介质和设备实现根据训练好的深度学习模型进行全流程的应用开发。该过程包括，深度硬件支持的视频编解码，支持格式有h264，h265、rtsp流、文件；深度硬件支持的深度学习模型推理，包括目标分类、目标检测、目标追踪等；绘制推理结果并以输入中支持的任意格式输出。解决了当前算法平台缺少全流程深度学习应用开发的相关功能的问题。对于算法平台训练出来的模型，通过deepstream组件实现基于其的应用开发，该应用可以适应不同类型的媒体输入输出需求，并充分利用硬件加速，解决了算法平台训练出来的模型直接部署在嵌入式设备上时因无法充分调用硬件遇到的性能问题。