一种深度学习算法可视化方法以及图片可视化方法与流程

1.本发明涉及深度学习与可视化技术领域，尤其涉及一种深度学习算法可视化方法以及图片可视化方法。


背景技术：

2.深度学习算法的运行包含数据处理、神经网络模型推理、神经网络模型参数更新等过程。每个过程都涉及到复杂的计算，对每个过程产生的计算结果进行可视化分析可以有助于理解和分析每个过程的细节和神经网络模型的特点。
3.不同深度学习算法的运行过程会涉及不同的输入输出和多样化的可视化需求。现有的可视化方法主要存在以下缺点，一是使用的可视化工具针对特定深度学习算法进行设计和实现，难以被其他深度学习算法复用；二是现有的可视化工具只能可视化图片、文本等基本的数据，难以直接满足深度学习算法多样化的可视化需求。针对上述问题需要一种新的研究思路和解决方法。


技术实现要素：

4.本发明的任务是提供一种深度学习算法可视化方法以及图片可视化方法，该可视化方法利用一种统一的可视化器模块进行可视化，能够以一种统一的调用方式对深度学习算法运行时的各个环节进行可视化分析，帮助快速分析深度学习模型，同时该可视化模块支持多种可视化后端，支持将可视化分析结果存储到相应的可视化后端中。
5.在本发明的第一方面，针对现有技术中存在的问题，本发明提供了一种深度算法可视化方法，包括：
6.提供包含单个或多个可视化器和可视化后端的可视化模块，其中所述可视化器用于可视化，所述可视化后端用于存储可视化内容，且每个可视化器均与单个或多个可视化后端通信；
7.确定调用的可视化器和可视化后端，并配置可视化器的参数和可视化后端的参数；
8.根据配置参数初始化可视化器和可视化后端；
9.存储并可视化深度学习算法的配置文件；
10.由相应的可视化器可视化训练数据，确定训练数据中的图片和标签是否正确，并存储在可视化后端；
11.由相应的可视化器可视化深度学习模型结构图，并存储在由相应的可视化后端；以及
12.确定当前状态是深度学习模型的训练阶段还是训练后，若是训练阶段，则进行模型参数训练和损失计算，然后由相应的可视化器可视化损失、学习率、训练中的特征图，并存储在相应的可视化后端，若是训练后，则由相应的可视化器可视化深度学习模型的预测推理结果以及深度学习模型的性能指标，并存储在相应的可视化后端。
13.在本发明的一个实施例中，根据任务确定单个或多个所述可视化器，其中所述可视化器包含绘制接口、后端接口和openmmlab数据格式可视化接口。
14.在本发明的一个实施例中，所述可视化器通过所述后端接口与单个或多个所述可视化后端通信，从而调用单个或多个所述可视化后端，将可视化的内容存储到所述可视化后端。
15.在本发明的一个实施例中，所述openmmlab数据格式可视化接口用于对openmmlab格式的数据样本进行绘制和存储。
16.在本发明的一个实施例中，所述绘制接口被配置为绘制检测框、掩码、文本、点、线以及特征图。
17.在本发明的一个实施例中，所述可视化深度学习模型的预测推理结果包括利用可视化器的绘制接口来绘制检测框、掩码、文本、点和线中的一项或多项。
18.在本发明的一个实施例中，当所述深度学习模型的预测推理结果的数据格式为openmmlab数据格式时，由所述openmmlab数据格式可视化接口来绘制检测框、绘制掩码、绘制文本、绘制点和绘制线中的一项或多项，绘制结果由相应的可视化器显示或者存储在所述openmmlab数据格式可视化接口。
19.在本发明的第二方面，本发明提供一种图片可视化方法，包括：
20.提供包含单个或多个可视化器和可视化后端的可视化模块，其中所述可视化器用于可视化，所述可视化后端用于存储可视化内容，且每个可视化器均与单个或多个可视化后端通信；
21.确定调用的可视化器和可视化后端，并配置可视化器的参数和可视化后端的参数；
22.根据配置参数初始化可视化器和可视化后端；
23.准备待可视化的原始图片和相关的图片数据；
24.调用可视化器提供的绘制接口对待绘制的原始图片进行绘制；以及
25.通过可视化器将绘制后的结果存储到相应可视化后端。
26.在本发明的一个实施例中，所述可视化器包含绘制接口、后端接口和openmmlab数据格式可视化接口；
27.所述可视化器通过所述后端接口与单个或多个所述可视化后端通信，从而调用单个或多个所述可视化后端，将可视化的内容存储到所述可视化后端；
28.所述openmmlab数据格式可视化接口用于对openmmlab格式的数据样本进行绘制和存储。
29.在本发明的一个实施例中，利用所述可视化器的绘制接口来绘制检测框、掩码、文本、点、线和特征图中的一项或多项。
30.本发明至少具有下列有益效果：本发明公开的一种深度学习算法可视化方法以及图片可视化方法，该可视化方法利用一种统一的可视化器模块进行可视化，能够以一种统一的调用方式对深度学习算法运行时的各个环节进行可视化分析，帮助快速分析深度学习模型，同时该可视化模块支持多种可视化后端，支持将可视化分析结果存储到相应的可视化后端中；利用该可视化模块进行深度学习算法的可视化，帮助快速分析深度学习模型，统一了各种深度学习算法可视化功能的使用方式，支持可视化分析和可视化后端存储的任意
组合与拓展，提升了可视化器的灵活性，使得用户可以方便地对深度学习的各个过程进行分析；该深度学习算法的可视化器支持可视化图片、文本、深度学习模型结构图、检测框、分割掩码等各种结构化和非结构化数据；支持多种可视化后端且具备可拓展性，支持将可视化内容存储到多个后端中并展示；支持web端可视化和存储显示功能；支持对可视化器和可视化后端进行扩展。
附图说明
31.为了进一步阐明本发明的各实施例的以上和其它优点和特征，将参考附图来呈现本发明的各实施例的更具体的描述。可以理解，这些附图只描绘本发明的典型实施例，因此将不被认为是对其范围的限制。
32.图1示出了根据本发明一个实施例的可视化模块中的可视化器与可视化后端的连接关系示意图；
33.图2示出了根据本发明一个实施例的利用可视化模块进行深度学习算法可视化的流程；以及
34.图3示出了根据本发明一个实施例的使用可视化模块可视化图片数据的过程。
具体实施方式
35.应当指出，各附图中的各组件可能为了图解说明而被夸大地示出，而不一定是比例正确的。
36.在本发明中，各实施例仅仅旨在说明本发明的方案，而不应被理解为限制性的。
37.在本发明中，除非特别指出，量词“一个”、“一”并未排除多个元素的场景。
38.在此还应当指出，在本发明的实施例中，为清楚、简单起见，可能示出了仅仅一部分部件或组件，但是本领域的普通技术人员能够理解，在本发明的教导下，可根据具体场景需要添加所需的部件或组件。
39.在此还应当指出，在本发明的范围内，“相同”、“相等”、“等于”等措辞并不意味着二者数值绝对相等，而是允许一定的合理误差，也就是说，所述措辞也涵盖了“基本上相同”、“基本上相等”、“基本上等于”。
40.在此还应当指出，在本发明的描述中，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是明示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为明示或暗示相对重要性。
41.另外，本发明的各方法的步骤的编号并未限定所述方法步骤的执行顺序。除非特别指出，各方法步骤可以以不同顺序执行。
42.为了满足深度学习算法的运行过程涉及的输入输出和多样化的可视化需求，提供了一种可视化模块，该可视化模块具有统一的使用方式，支持可视化各种数据，并支持存储到后端软件中。利用该可视化模块进行深度学习任务的可视化和其他应用场景中的可视化，能够大幅减少各个深度学习算法的代码库中冗余的可视化代码。该可视化模块支持web
端可视化和存储显示功能，还支持对可视化器和可视化后端进行扩展，根据任务需求添加可视化器和可视化后端。
43.图1示出了根据本发明一个实施例的可视化模块中的可视化器与可视化后端的连接关系示意图。
44.可视化器(visualizer)是一个可以应用于各类视觉任务中的模块，通过调用可视化接口即可实现各类可视化需求。可视化后端(visualization backend)是一个可以支持多个后端的存储模块，通过本模块可以将可视化器分析结果存储到指定的后端中。
45.如图1所示，可视化模块包括多个单个或多个可视化器和可视化后端，每个可视化器均可与任意单个或多个可视化后端通信。可视化器包含多个种类，例如检测本地可视化器、检测wandb可视化器等。可视化后端也包含多个种类，例如本地可视化后端、tensorboard可视化后端、wandb可视化后端。wandb可视化后端是一种可以在浏览器中显示和记录各类格式数据的可视化后端，所有数据都可以发送到云端，方便任何时刻和任意地点查看。tensorboard可视化后端和wandb可视化后端功能类似，只是数据格式和显示功能不一样。
46.可视化器包含了绘制接口、后端接口和openmmlab数据格式可视化接口。绘制接口用于绘制检测框、掩码、绘制文本、点、线和特征图等等。绘制接口的数量为单个或多个。后端接口用于可视化器和可视化后端之间的通信，通过可视化器调用一次接口，就可以调用单个或多个可视化后端。每个可视化器通过一个后端接口与单个或多个可视化后端通信，从而调用单个或多个可视化后端，将可视化的内容发送到所述可视化后端中进行存储。
47.openmmlab数据格式可视化接口对openmmlab格式的数据样本进行绘制和存储。由openmmlab数据格式可视化接口绘制后的图片直接在可视化器显示或者存储在openmmlab数据格式可视化接口。
48.openmmlab数据格式可视化接口详细如下：
49.接口参数描述：对输入的定制数据样本进行绘制及存储。
50.接口参数列表：
51.name：标识符
52.image：带绘制的图片数据
53.data_sample:输入的定制数据样本
54.接口返回值：无，绘制后的图片直接显示或者存储。
55.可选地，由于wandb可视化器无法通过openmmlab数据格式可视化接口获取绘制后的图片数据，其具备特殊性，因为wandb可视化器只能和wandb可视化后端相连，但是该wandb可视化器仍然具有和其他可视化器一致的使用方式。
56.图2示出了根据本发明一个实施例的利用可视化模块进行深度学习算法可视化的流程。
57.如图2所示，利用本发明提供的上述可视化模块进行深度学习算法可视化的过程包括：
58.步骤1，根据任务确定调用的可视化器和可视化后端，并配置可视化器参数和可视化后端参数。可视化器用于可视化，可视化后端用于存储可视化器的分析结果(可视化内容)。可视化器和可视化后端的数量可以是单个或多个，每个可视化器均可与任意单个或多
个可视化后端通信，根据具体可视化任务来确定调用的可视化器和可视化后端。
59.步骤2，根据配置参数初始化可视化器和可视化后端。
60.步骤3，存储并可视化深度学习算法的配置文件。由相应的可视化器和可视化后端存储并可视化深度学习算法的配置文件，其中配置文件为深度学习算法的训练配置参数。
61.步骤4，由相应的可视化器可视化训练数据，确定训练数据中的图片和标签是否正确，并存储在相应的可视化后端。
62.步骤5，由相应的可视化器可视化深度学习模型结构图，并存储在相应的可视化后端。
63.步骤6，确定当前状态是深度学习模型的训练阶段还是训练后，若是训练阶段，则进行模型参数训练和损失计算，然后由相应的可视化器可视化损失、训练中的特征图、学习率等，并存储在相应的可视化后端，若是训练后，则由相应的可视化器可视化深度学习模型的预测推理结果以及深度学习模型的性能指标，并存储在相应的可视化后端。可视化深度学习模型的预测推理结果包括利用可视化器的绘制接口来绘制检测框、掩码、文本、点和线中的一项或多项。以任意顺序和次数调用多个可视化器的多个绘制接口对深度学习模型的预测推理结果进行叠加绘制。若深度学习模型的预测推理结果的数据格式为openmmlab数据格式，则由openmmlab数据格式可视化接口来绘制检测框、绘制掩码、绘制文本、绘制点和绘制线中的一项或多项，绘制结果直接由相应的可视化器显示或者存储在openmmlab数据格式可视化接口。
64.图3示出了根据本发明一个实施例的使用可视化模块可视化图片数据的过程。
65.上述可视化模块除了能够可视化深度学习算法之外，还可以直接对图片进行可视化。如图3所示，使用可视化模块对需要可视化的原始图片进行可视化的过程如下：
66.步骤1，根据任务确定调用的可视化器和可视化后端，并配置可视化器参数和可视化后端参数。可视化后端可以配置单个或者多个。
67.步骤2，根据配置参数初始化可视化器和单个或多个可视化后端。
68.步骤3，准备待可视化的原始图片和相关的图片数据，例如图片标签、检测框等。
69.步骤4，调用可视化器提供的单个或者多个绘制接口，以任意顺序和次数调用这些绘制接口对所有的数据进行叠加绘制。绘制接口绘制检测框、掩码、文本、点、线和特征图等等中的一项或多项。图3中的虚线表示可以绘制多次，也可以绘制任意对象。
70.步骤5，在全部绘制功能都完成后，可视化器内部会将结果存储到不同的可视化后端。通过后端接口将结果存储到不同的可视化后端。
71.本发明的技术方案所得出的深度学习算法的可视化方法和图片可视化方法以及可视化模块可在深度学习领域和图片可视化领域中用于实现如下技术效果：提供了丰富的能够即用的绘制接口、降低了可视化深度学习算法的难度，满足不同深度学习算法的运行过程涉及不同的输入输出和多样化的可视化需求。其原理是：可视化器规范了调用接口和输入参数，用户可以通过接口名称快速理解其功能含义。功能上提供了大量常用的底层绘制功能，用户无需修改即可调用各类功能强大显示效果优异的绘制接口，同时也提供了和任务相关的openmmlab数据格式高层绘制接口以及各类训练中常用分析和评估指标存储接口等，使得用户可以很容易的进行深度学习算法过程中的可视化，并且在现有基础上可以轻松扩展从而满足各类任务的可视化需求。
72.可以把各实施例提供为可包括其上存储有机器可执行指令的一个或多个机器可读介质的计算机程序产品，这些指令在由诸如计算机、计算机网络或其他电子设备等的一个或多个机器执行时，可以引起一个或多个机器执行根据本发明的各实施例的操作。机器可读介质可以包括但不限于软盘、光盘、cd-rom(紧致盘只读存储器)和磁光盘、rom(只读存储器)、ram(随机存取存储器)、eprom(可擦除可编程只读存储器)、eeprom(电可擦除可编程只读存储器)、磁或光卡、闪速存储器或适用于存储机器可执行指令的其他类型的介质/机器可读介质。
73.此外，可以作为计算机程序产品下载各实施例，其中，可以经由通信链路(例如，调制解调器和/或网络连接)由载波或其他传播介质实现和/或调制的一种或多种数据信号把程序从远程计算机(例如，服务器)传输给请求计算机(例如，客户机)。因此，在此所使用的机器可读介质可以包括这样的载波，但对此不作要求。
74.本发明至少具有下列有益效果：本发明公开的一种深度学习算法可视化方法以及图片可视化方法，深度学习算法可视化方法利用一种统一的可视化器模块进行可视化，能够以一种统一的调用方式对深度学习算法运行时的各个环节进行可视化分析，帮助快速分析深度学习模型，同时该可视化模块支持多种可视化后端，支持将可视化分析结果存储到相应的可视化后端中；利用该可视化模块进行深度学习算法的可视化，帮助快速分析深度学习模型，统一了各种深度学习算法可视化功能的使用方式，支持可视化分析和可视化后端存储的任意组合与拓展，提升了可视化器的灵活性，使得用户可以方便地对深度学习的各个过程进行分析；该深度学习算法的可视化器支持可视化图片、文本、深度学习模型结构图、检测框、分割掩码等各种结构化和非结构化数据；支持多种可视化后端且具备可拓展性，支持将可视化内容存储到多个后端中并展示；支持web端可视化和存储显示功能；支持对可视化器和可视化后端进行扩展。
75.虽然本发明的一些实施方式已经在本技术文件中予以了描述，但是本领域技术人员能够理解，这些实施方式仅仅是作为示例示出的。本领域技术人员在本发明的教导下可以想到众多的变型方案、替代方案和改进方案而不超出本发明的范围。所附权利要求书旨在限定本发明的范围，并藉此涵盖这些权利要求本身及其等同变换的范围内的方法和结构。