一种模型训练方法、装置、电子设备和存储介质与流程

1.本技术涉及神经网络技术领域，尤其涉及一种模型训练方法、装置、电子设备和存储介质。


背景技术：

2.随着技术的发展，关键点检测技术已经经历了飞速的发展，技术手段也相对完善，无论是应用于移动端的快速检测技术还是应用于云端的高精度检测技术均得到了飞速的发展。
3.针对同一个对象，目前可以设置不同的关键点检测，例如，对于人脸关键点检测，一般是106点位数据，还可以设置发际线点位的检测。如果将不同的关键点检测进行结合，可以提高检测的精准度，但这样就需要对已有数据进行重新标注，以将关键点标注在同一图像上，这会造成模型训练效率低。


技术实现要素：

4.为了解决上述技术问题或者至少部分地解决上述技术问题，本技术提供了一种模型训练方法、装置、电子设备和存储介质。
5.第一方面，本技术提供了一种模型训练方法，所述方法包括：
6.获取目标模型，其中，所述目标模型包括一个基础网络部分和至少两个并行的全连接层，每个全连接层对应的点位特征不同，不同全连接层对应的点位特征属于同一对象；
7.将输入图像输入所述目标模型，其中，所述输入图像携带有任务标识；
8.根据所述任务标识确定所述输入图像已标注的点位特征；
9.基于每个输入图像已标注的点位特征，联合训练所述目标模型中的基础网络部分和所述点位特征对应的全连接层，直至所述目标模型完全收敛。
10.可选地，所述输入图像包括目标图像和设定图像，基于每个输入图像已标注的点位特征，联合训练所述目标模型中的基础网络部分和所述点位特征对应的全连接层包括：
11.通过所述目标图像中的目标点位特征，调整所述基础网络部分的内部参数和目标全连接层的内部参数，其中，所述目标全连接层采用目标点位特征进行训练；
12.通过所述设定图像中的设定点位特征，调整所述基础网络部分的内部参数和设定全连接层的内部参数，其中，所述设定全连接层采用设定点位特征进行训练。
13.可选地，通过所述目标图像中的目标点位特征，调整所述基础网络部分的内部参数和所述目标全连接层的内部参数包括：
14.通过所述目标全连接层输出所述目标图像中的点位识别结果；
15.在所述点位识别结果与所述目标点位特征不相同时，在反向传播过程中调整所述基础网络部分的内部参数和所述目标全连接层的内部参数。
16.可选地，通过所述设定图像中的设定点位特征，调整所述基础网络部分的内部参数和设定全连接层的内部参数包括：
17.通过所述设定全连接层输出所述设定图像中的点位识别结果；
18.在所述点位识别结果与所述设定点位特征不相同时，在反向传播过程中调整所述基础网络部分的内部参数和设定全连接层的内部参数。
19.可选地，直至所述目标模型完全收敛之后，所述方法还包括：
20.固定基础网络部分的内部参数；
21.通过所述目标点位特征训练目标全连接层，直至目标全连接层完全收敛；
22.通过所述设定点位特征训练设定全连接层，直至设定全连接层完全收敛。
23.可选地，获取目标模型包括：
24.在原有模型的基础上，增加一个全连接层，其中，所述原有模型包括所述基础网络部分和一个全连接层，所述原有模型为所述目标点位特征对应的模型或所述设定点位特征对应的模型。
25.可选地，所述方法还包括：
26.设置目标点位特征和设定点位特征在模型训练过程中的损失函数权重相同。
27.第二方面，提供了一种模型训练装置，所述装置包括：
28.获取模块，用于获取目标模型，其中，所述目标模型包括一个基础网络部分和至少两个并行的全连接层，每个全连接层对应的点位特征不同，不同全连接层对应的点位特征属于同一对象；
29.输入模块，用于将输入图像输入所述目标模型，其中，所述输入图像携带有任务标识；
30.确定模块，用于根据所述任务标识确定所述输入图像已标注的点位特征；
31.训练模块，用于基于每个输入图像已标注的点位特征，联合训练所述目标模型中的基础网络部分和所述点位特征对应的全连接层，直至所述目标模型完全收敛。
32.第三方面，提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
33.存储器，用于存放计算机程序；
34.处理器，用于执行存储器上所存放的程序时，实现任一所述的模型训练方法步骤。
35.第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现任一所述的模型训练方法步骤。
36.本技术实施例提供的上述技术方案与现有技术相比具有如下优点：
37.本技术实施例提供的该方法，服务器采用了具有一个基础网络部分和两个并行的目标全连接层、设定全连接层的目标模型，并通过目标点位特征和设定点位特征联合训练目标模型，由于该模型具有两个全连接层，因此能够采用不同的点位特征对该模型进行训练，通过联合训练的方式无需已有数据进行重新标注，提高模型训练效率。
附图说明
38.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
39.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而
言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
40.图1为本技术实施例提供的一种模型训练方法的流程图；
41.图2为本技术实施例提供的106点位数据的输出结果示意图；
42.图3为本技术实施例提供的发际线点位数据的输出结果示意图；
43.图4为人脸点位特征的模型框架图；
44.图5为本技术实施例提供的一种模型训练装置的结构示意图；
45.图6为本技术实施例提供的一种电子设备的结构示意图。
具体实施方式
46.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术的一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本技术保护的范围。
47.在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本技术的说明，其本身并没有特定的意义。因此，“模块”与“部件”可以混合地使用。
48.为了解决背景技术中提及的问题，根据本技术实施例的一方面，提供了一种模型训练方法的实施例。
49.本技术实施例提供了一种模型训练方法，可以应用服务器，用于提高模型训练效率。
50.下面将结合具体实施方式，对本技术实施例提供的一种模型训练方法进行详细的说明，如图1所示，具体步骤如下：
51.步骤101：获取目标模型。
52.其中，目标模型包括一个基础网络部分和至少两个并行的全连接层，每个全连接层对应的点位特征不同，不同全连接层对应的点位特征属于同一对象。
53.在本技术实施例中，服务器获取目标模型，该目标模型包括一个基础网络部分和至少两个并行的全连接层，基础网络部分用于获取特征，全连接层用于进行分类。每个全连接层对应的点位特征不同，举例来说，全连接层包括目标全连接层和设定全连接层，目标全连接层用于对目标点位特征进行分类，设定全连接层用于对设定点位特征进行分类，目标点位特征和设定点位特征属于同一对象。
54.示例性地，目标点位特征为人脸106点位特征，设定点位特征为人脸发际线点位特征。
55.步骤102：将输入图像输入目标模型。
56.其中，输入图像携带有任务标识。
57.在本技术实施例中，输入图像携带有任务标识，任务标识能够指示输入图像已标注的点位特征，服务器将输入图像输入目标模型。。
58.步骤103：根据任务标识确定输入图像已标注的点位特征。
59.服务器根据任务标识，确定输入图像已标注的点位特征。
60.当输入图像的任务标识为0时，表示该输入图像为106点位数据；当输入图像的任
务标识为1时，表示该输入图像为发际线点位数据。
61.步骤104：基于每个输入图像已标注的点位特征，联合训练目标模型中的基础网络部分和点位特征对应的全连接层，直至目标模型完全收敛。
62.在本技术实施例中，由于不同输入图像的点位特征共用了目标模型的基础网络部分，因此需要基础网络所学习到的特征同时包含不同的点位特征。服务器针对每个输入图像，都训练目标模型中的基础网络部分和点位特征对应的全连接层，那么目标模型中的基础网络部分是由多个输入图像联合训练得到的，目标模型中的每个全连接层是根据对应的点位特征得到的。本技术通过联合训练模型的方式，无需对已有数据进行重新标注，提高了模型训练效率。
63.作为一种可选的实施方式，输入图像包括目标图像和设定图像，基于每个输入图像已标注的点位特征，联合训练目标模型中的基础网络部分和点位特征对应的全连接层包括：通过目标图像中的目标点位特征，调整基础网络部分的内部参数和目标全连接层的内部参数，其中，目标全连接层采用目标点位特征进行训练；通过设定图像中的设定点位特征，调整基础网络部分的内部参数和设定全连接层的内部参数，其中，设定全连接层采用设定点位特征进行训练获取目标模型。
64.在本技术实施例中，输入图像包括目标图像或设定图像，目标图像的任务标识和设定图像的任务标识不同。
65.服务器若根据任务标识确定输入图像为目标图像，则通过目标全连接层输出目标图像中的点位识别结果。若点位识别结果与目标点位特征不相同，那么在反向传播过程中调整基础网络部分的内部参数和目标全连接层的内部参数，直至内部参数不发生变化。
66.服务器若根据任务标识确定输入图像为设定图像，则通过设定全连接层输出设定图像中的点位识别结果。若点位识别结果与设定点位特征不相同，那么在反向传播过程中调整基础网络部分的内部参数和设定全连接层的内部参数，直至内部参数不发生变化。
67.示例性地，
68.1)服务器先给所有的106点位数据和发际线点位数据分配任务id，即同时读入106点位数据和发际线点位数据，并同步读入每条数据对应的任务id；
69.2)当目标图像的任务id为0时，表示该目标图像为106点位数据，由106点位分支(目标全连接层)输出结果，在反向传播过程中，同时更新基础网络部分的参数和106点位分支的参数；
70.3)当目标图像的任务id为1时，表示该目标图像为发际线点位数据，由发际线点位分支(目标全连接层)输出结果，在反向传播过程中，同时更新基础网络部分的参数和发际线点位分支的参数。
71.可选地，服务器可以设置目标点位特征和设定点位特征在模型训练过程中的损失函数权重相同，即损失函数权重都为0.5，这样能够提高模型训练的均衡性。
72.作为一种可选的实施方式，直至目标模型完全收敛之后，方法还包括：固定基础网络部分的内部参数；通过目标点位特征训练目标全连接层，直至目标全连接层完全收敛；通过设定点位特征训练设定全连接层，直至设定全连接层完全收敛。
73.为了充分训练目标模型，当联合训练结束，模型完全收敛后，服务器固定基础网络部分的参数，仅使用目标点位特征训练目标全连接层，直至目标全连接层完全收敛，并仅使
用设定点位特征训练设定全连接层，直至设定全连接层完全收敛。
74.示例性地，当联合训练收敛后，服务器固定基础网络部分的参数，仅使用106点位数据，且仅训练106点位分支的全连接层，直至整个106点位分支完全收敛。图2为106点位数据的输出结果示意图。
75.当联合训练收敛后，服务器固定基础网络部分的参数，仅使用发际线点位数据，且仅训练发际线点位分支的全连接层，直至整个发际线点位分支完全收敛。图3为发际线点位数据的输出结果示意图。
76.作为一种可选的实施方式，获取目标模型包括两种实施例：
77.在一种实施例中，服务器可以采用任意一个未训练的深度学习模型，在该模型的基础上增加一个全连接层。该深度学习模型原本包括基础网络部分和一个全连接层。
78.在另一种实施例中，服务器在原有模型的基础上，增加一个全连接层，其中，原有模型包括基础网络部分和一个全连接层，原有模型为目标点位特征对应的模型或设定点位特征对应的模型。
79.该实施例相对于上一个实施例，原有模型的基础网络部分和全连接层针是对其中一个点位特征已经训练好的，那么再次训练时会降低训练难度，提高训练效率。
80.本技术只在原始模型结构基础上添加极小的分支结构，不需要修改原始的标注数据，也不会带来额外的标注人力消耗，方法适用性强，可实现新增点位的预测。
81.本技术在原始模型结构基础上添加全连接层，不会新增过大的运算量。
82.以人脸检测为例，在原有106点位的特征层上，新增一个全连接层作为发际线点位的预测，与原始的106点位形成双分支的结构。由于只在原始模型基础上增加了1个全连接层，新增运算量为d*n2，其中d为特征层维度，一般设置为256，n2为新增加的发际线点位个数，预测的发际线点位为25个，包含x和y两个坐标参数，即n2＝25*2。
83.n1＝106*2，即一寸106点的x和y坐标。特征维度d一般为256。相比于原始模型结构，该新增运算量非常小。此处所使用的基础网络可以为任何已有的模型结构，如mobilenetv3等。
84.图4为人脸点位特征的模型框架图，可以看出，该模型包括一个基础网络和两个全连接层，一个全连接层用于输出106点预测结果，另一个全连接层用于输出发际线点预测结果。
85.本技术若应用于人脸点位预测领域，在长视频领域，可以显著提升用户的观影观剧体验，如剧中人物的口红识别。在用户创作中，能给用户带来更高的使用体验和创作乐趣，如美颜/瘦脸/大眼特效等等，更准确的点位还能为后续新的道具和体验的生产提供可能性，增加用户乐趣，也无形中增加了用户的留存时间。
86.基于相同的技术构思，本技术实施例还提供了一种模型训练装置，如图5所示，该装置包括：
87.获取模块501，用于获取目标模型，其中，目标模型包括一个基础网络部分和至少两个并行的全连接层，每个全连接层对应的点位特征不同，不同全连接层对应的点位特征属于同一对象；
88.输入模块502，用于将输入图像输入目标模型，其中，输入图像携带有任务标识；
89.确定模块503，用于根据任务标识确定输入图像已标注的点位特征；
90.训练模块504，用于基于每个输入图像已标注的点位特征，联合训练目标模型中的基础网络部分和点位特征对应的全连接层，直至目标模型完全收敛。
91.可选地，输入图像包括目标图像和设定图像，基于每个输入图像已标注的点位特征，联合训练目标模型中的基础网络部分和点位特征对应的全连接层包括：
92.通过目标图像中的目标点位特征，调整基础网络部分的内部参数和目标全连接层的内部参数，其中，目标全连接层采用目标点位特征进行训练；
93.通过设定图像中的设定点位特征，调整基础网络部分的内部参数和设定全连接层的内部参数，其中，设定全连接层采用设定点位特征进行训练。
94.可选地，训练模块503用于：
95.通过目标全连接层输出目标图像中的点位识别结果；
96.在点位识别结果与目标点位特征不相同时，在反向传播过程中调整基础网络部分的内部参数和目标全连接层的内部参数。
97.可选地，训练模块503用于：
98.通过设定全连接层输出设定图像中的点位识别结果；
99.在点位识别结果与设定点位特征不相同时，在反向传播过程中调整基础网络部分的内部参数和设定全连接层的内部参数。
100.可选地，该装置还用于：
101.固定基础网络部分的内部参数；
102.通过目标点位特征训练目标全连接层，直至目标全连接层完全收敛；
103.通过设定点位特征训练设定全连接层，直至设定全连接层完全收敛。
104.可选地，获取模块501用于：
105.在原有模型的基础上，增加一个全连接层，其中，原有模型包括基础网络部分和一个全连接层，原有模型为目标点位特征对应的模型或设定点位特征对应的模型。
106.可选地，该装置还用于：
107.设置目标点位特征和设定点位特征在模型训练过程中的损失函数权重相同。
108.基于相同的技术构思，本发明实施例还提供了一种电子设备，如图6所示，包括处理器601、通信接口602、存储器603和通信总线604，其中，处理器601，通信接口602，存储器603通过通信总线604完成相互间的通信，
109.存储器603，用于存放计算机程序；
110.处理器601，用于执行存储器603上所存放的程序时，实现上述步骤。
111.上述电子设备提到的通信总线可以是外设部件互连标准(peripheral component interconnect，pci)总线或扩展工业标准结构(extended industry standard architecture，eisa)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
112.通信接口用于上述电子设备与其他设备之间的通信。
113.存储器可以包括随机存取存储器(random access memory，ram)，也可以包括非易失性存储器(non-volatile memory，nvm)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
114.上述的处理器可以是通用处理器，包括中央处理器(central processing unit，
cpu)、网络处理器(network processor，np)等；还可以是数字信号处理器(digital signal processing，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
115.在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一方法的步骤。
116.在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一方法。
117.在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(dsl))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，dvd)、或者半导体介质(例如固态硬盘solid state disk(ssd))等。
118.需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
119.以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。