一种车载模型压缩方法、装置和车载端与流程

1.本公开实施例涉及一种车载模型压缩方法、装置和车载端。


背景技术：

2.随着深度学习、智慧交通、自动驾驶以及新能源汽车的飞速发展，越来越多的深度学习车载模型需要在车载端运行。现有的很大部分深度模型由于模型体积大，对资源需求高，很难在车载端运行，需要对车载模型预先进行压缩再部署到车载端。
3.目前对于车载模型压缩时，主要是对每车载模型的每一层的每一个通道根据一定的准则评估出其重要性，然后再去掉重要性排序靠后的部分通道。这类方法在通道重要性的排序上，一般是将各个通道视为独立的单元进行排序。但是，深度模型中的特征具有较强的相互依赖关系，不是完全独立的，因此在重要性排序的时候可能删掉了一些原本重要的需要有一定依赖关系的特征通道。这样的车载模型压缩方法会删除一些重要的特征通道，导致压缩后的车载模型的计算准确率降低。


技术实现要素：

4.有鉴于此，本技术提供一种车载模型压缩方法、装置和车载端，能够在压缩比例一定的条件下，提高压缩后的车载模型计算的准确性。
5.为解决上述技术问题，本技术的技术方案是这样实现的：
6.在一个实施例中，提供了一种车载模型压缩方法，所述方法包括：
7.获取待压缩的车载模型对应的模型信息，以及压缩条件；
8.获取第一样本训练集；
9.将所述模型信息、压缩条件和所述第一样本训练集作为输入，基于预设压缩模型获取所述待压缩的车载模型对应的压缩后的车载模型；
10.其中，所述预设压缩模型基于所述压缩条件，所述第一样本训练集确定所述待压缩的车载模型每层保留的通道的索引号，并根据所述索引号，以及所述待压缩的车载模型的模型信息生成压缩后的车载模型。
11.在另一个实施例中，提供了一种车载模型压缩装置，所述装置包括：第一获取单元、第二获取单元、第三获取单元和存储单元；
12.所述第一获取单元，用于获取待压缩的车载模型对应的模型信息，以及压缩条件；
13.所述第二获取单元，用于获取第一样本训练集；
14.所述第三获取单元，用于将所述模型信息、压缩条件和所述第一样本训练集作为输入，基于所述存储单元存储的预设压缩模型获取所述待压缩的车载模型对应的压缩后的车载模型；
15.所述存储单元，用于存储所述预设压缩模型；其中，所述预设压缩模型基于所述压缩条件，所述第一样本训练集确定所述待压缩的车载模型每层保留的通道的索引号，并根据所述索引号，以及所述待压缩的车载模型的模型信息生成压缩后的车载模型。
16.在另一个实施例中，提供了一种车载端，包括存储器、处理器及存储在存储器上并可在处理器上运行的车载模型，其特征在于，所述车载模型为通过预设压缩模型压缩获取的压缩后的车载模型；其中，所述预设压缩模型基于压缩条件，第一样本训练集确定待压缩的车载模型每层保留的通道的索引号，并根据所述索引号，以及所述待压缩的车载模型的模型信息生成压缩后的车载模型。
17.在另一个实施例中，提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述车载模型压缩方法的步骤。
18.在另一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现所述车载模型压缩方法的步骤。
19.在另一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现所述车载模型压缩方法的步骤。
20.由上面的技术方案可见，上述实施例中基于预设的通道选择模型获取满足压缩条件的待压缩的车载模型对应的压缩后的车载模型；其中的预设压缩模型基于压缩条件，第一样本训练集确定待压缩的车载模型每层保留的通道的索引号，并根据所述索引号，以及所述待压缩的车载模型的模型信息生成压缩后的车载模型。该方案能够在压缩比例一定的条件下，提高压缩后的车载模型计算的准确性。
附图说明
21.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
22.图1为本技术实施例中预设压缩模型选择通道的流程示意图；
23.图2为本技术实施例中选择保留通道的流程示意图；
24.图3为本技术实施例中获取保留比例系数的变化量的流程示意图；
25.图4为本技术实施例一中车载模型压缩流程示意图；
26.图5为本技术实施例二中车载模型压缩流程示意图；
27.图6为本技术实施例三中车载模型压缩流程示意图；
28.图7为本技术实施例中车载模型压缩装置结构示意图；
29.图8为本发明实施例提供的电子设备的实体结构示意图。
具体实施方式
30.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
31.本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理
解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含。例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其他步骤或单元。
32.下面以具体实施例对本发明的技术方案进行详细说明。下面几个具体实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
33.本技术实施例中提供一种车载模型压缩方法，首先通过对待压缩的车载模型的各层矩阵迹的计算，从全局视角筛选出部分特征通道，使得输入相似或同类数据时这些特征通道距离近，输入不相似或不同类数据时特征通道距离远来达到选出的特征通道的特征可分性效果；并基于特征可分性变化与浮点计算力变化的关系，自适应的优化网络各层的保留比例系数来获得最优的每层保留的通道的索引号，来生成压缩后的车载模型，能够在相同压缩比例前提下，提高压缩后的车载模型计算的准确性。
34.本技术实施例中需要预先建立预设压缩模型。
35.建立的模型需要输入的初始参数为：压缩条件、第一样本训练集、待压缩的车载模型的模型信息。
36.压缩条件可以为要求压缩后的车载模型的浮点计算量不大于预设浮点计算量，或，保留比例不大于预设保留比例。
37.第一样本训练集为所述车载模型相关的样本数据，可以针对某个功能的车载模型进行压缩时，如人脸检测识别车载模型，使用对应的人脸样本，车辆检测模型，使用对应的车辆样本；还可以针对不同分类任务，即一个车载模型的部分功能，使用对应功能的样本集作为输入即可：比如有一个交通标识的模型结构，可以在这个基础上压缩一个只针对限速标识的子模型，或者压缩一个只针对箭头标志的子模型等。
38.生成存储的预设压缩模型基于所述压缩条件，所述第一样本训练集确定所述待压缩的车载模型每层保留的通道的索引号，并根据所述索引号，以及所述待压缩的车载模型的模型信息生成压缩后的车载模型。
39.预设压缩模型基于所述压缩条件，所述第一样本训练集确定所述待压缩的车载模型每层保留的通道的索引号，具体可以为：
40.基于所述压缩条件，所述第一样本训练集从全局视角选择出特征可分性高的通道；并基于通道的特征可分性的变化与浮点计算量的变化关系自适应优化所述待压缩的车载模型每层保留的通道的索引号。
41.下面结合附图，详细说明预设压缩模型实现从输入参数到输出压缩后的车载模型的具体过程：
42.参见图1，图1为本技术实施例中预设压缩模型选择通道的流程示意图。具体步骤为：
43.步骤101，根据压缩条件初始化一组初始保留比例系数，并基于所述初始保留比例系数获取m组新保留比例系数。
44.本步骤中，根据压缩条件初始化一组初始保留比例系数，具体实现为：
45.初始保留比例系数为对待压缩的车载模型每层保留的通道数的比例；初始保留比
例系数根据压缩条件设置，压缩条件可以为要求压缩后的车载模型的浮点计算量不大于预设浮点计算量，或，保留比例不大于预设保留比例；
46.当压缩条件为要求压缩后的车载模型的浮点计算量不大于预设浮点计算量时，使用初始保留比例系数生成的压缩后的车载模型的浮点计算量不大于预设浮点计算量；
47.当压缩条件为保留比例不大于预设保留比例时，使用初始保留比例系数生成的压缩后的车载模型在浮点计算量与所述待压缩的车载模型的浮点计算量的比值不大于预设保留比例。
48.具体实现时基于预设保留比例初始化保留比例系数α0＝[m1，m2，...，mn]，其中，n为车载模型的总层数；l＝1，2，3，...，n；m
l
表示第l层的保留比例。
[0049]
其中，预设保留比例m不大于flops1/flops0；其中，flops1为预设浮点计算量，flops0为原始车载模型，即压缩前的车载模型的计算浮点数量；
[0050]
压缩前的车载模型的每一层计算量为a1，a2，...，an，则满足预设保留比例为满足如下条件：
[0051]
flops1不大于flops0×
m；其中，flops1＝a1×
m1+a2×
m2+，...，an×mn
。
[0052]
初始化的保留比例系数满足上述条件即可，具体设置的值不进行限制；为了实现简单，如可以设置m
l
＝m，即初始化每一层的保留比例系数为m。
[0053]
获取压缩前的车载模型的浮点运算量，可以通过查询车载设备技术指标书、进行实际浮点运算能力测试等方式获取。
[0054]
本实施例中基于所述初始保留比例系数获取m组新保留比例系数，具体包括：
[0055]
获取m组中的任一组新保留比例系数时，在所述初始保留比例系数中的每个系数对应的区间范围内分别选择一个保留比例系数，组成一组新保留比例系数。
[0056]
设基于当前保留比例系数α0＝[m1，m2，...，mn]，在预设保留比例系数范围内获取m组新的保留比例系数{α1，α2，...，αm}，且要求每一组保留比例系数得到的模型在计算量上满足模型整体压缩比例要求。具体可以定义如下：
[0057]
αi～uniform(0.8α0，1.2α0)
[0058]
s.t.f(αi)≤m
×
flops0[0059]
其中，f(αi)是表示计算压缩后的车载模型浮点运算量的函数，浮点运算量是实际运算过程中的加减乘除计算过程中的计算次数，描述计算力。本技术实施例中不限制计算车载模型浮点运算量的计算方式。
[0060]
这里的保留比例系数的取值范围(0.8α0，1.2α0)为一种举例，具体实现时不限于此。
[0061]
当压缩条件为要求压缩后的车载模型的浮点计算量不大于预设浮点计算量时，使用m+1组中的任一组的保留比例系数生成的压缩后的车载模型的浮点计算量不大于预设浮点计算量；
[0062]
当压缩条件为保留比例不大于预设保留比例时，使用m+1组中的任一组的保留比例系数生成的压缩后的车载模型在浮点计算量与所述待压缩的车载模型的浮点计算量的比值不大于预设保留比例。
[0063]
获取的m+1组中的每一组的保留比例系数都满足压缩条件的限制。
[0064]
步骤102，计算输入的第一样本训练集对应的类内相似权重矩阵和类间相似权重
矩阵。
[0065]
设第一训练样本集x＝{x1，...，xn}对应的类内相似权重矩阵表示为aw∈rn×n，(aw)
ij
对应的值表示样本xi和样本xj之间的类内相似权重；(aw)
ij
对应的值越大表示样本xi和样本xj之间越相似。
[0066]
第一训练样本集x＝{x1，...，xn}对应的类间相似权重矩阵表示为ab∈rn×n，(ab)
ij
对应的值表示样本xi和样本xj之间的类间相似权重；(ab)
ij
对应的值越大表示样本xi和样本xj之间的距离越远。
[0067]
样本之间的类内相似权重矩阵aw和样本之间的类间相似权重矩阵ab的获取可以通过如下三种方式获取，但是不限于下述三种方式的获取：
[0068]
第一种：通过费希尔分值(fisher score)计算方式算所述第一训练样本集对应的样本之间的类内相似权重矩阵和类间相似权重矩阵；
[0069]
该种方式中fisher特征选择的主要思想是，认为鉴别性能强的特征的表现是类内部样本点的距离尽可能小，类之间的距离尽量大。
[0070]
在具体计算时，通过下式确定aw中的元素(aw)
ij
，以及ab中的元素(ab)
ij
：
[0071][0072][0073]
其中，c(i)表示样本xi所属类别，n
c(i)
表示与样本xi同类别的样本个数；c(j)表示样本xj所属类别，n
c(j)
表示与样本xj同类别的样本个数。
[0074]
第二种：通过拉普拉斯分值(laplace score)计算方式计算所述第一训练样本集对应的样本之间的类内相似权重矩阵和类间相似权重矩阵；
[0075]
laplacian score算法是fisher score的推广，优先选择权重比较小的那些。
[0076]
在具体计算时，通过下式确定aw中的元素(aw)
ij
，以及ab：
[0077][0078][0079]
其中，为所有元素都为1的向量；dw是一个对角矩阵，(dw)
ii
＝∑j(aw)
ij
。
[0080]
第三种：基于先验知识设置。
[0081]
如对第一训练样本的数据处理过有记录，或者人为可以获知类内相似权重矩阵和类间相似权重矩阵，直接获取即可。
[0082]
步骤103，针对每组保留比例系数中的每个保留比例系数，基于所述类内相似权重矩阵和类间相似权重矩阵计算所述模型信息对应层的通道的特征可分性，迭代优化选择对应层特征可分性高的通道作为保留的通道。
[0083]
参见图2，图2为本技术实施例中选择保留通道的流程示意图。具体步骤为：
[0084]
步骤201，针对每个保留比例系数，分别初始化一个通道保留索引集合。
[0085]
针对m+1组保留比例系数中的每一组保留比例系数，车载模型的每一层通道初始化一个通道索引集合，通过下述步骤计算特征可分性，迭代优化选择保留的通道对应的通道索引集合。
[0086]
这里对使用的到相关参数进行如下说明：
[0087]
记m
l
为第l层的保留比例，x
l
∈rn×d×c为第一样本集x在该层的输出，c表示该层通道数，d表示特征维度，i表示保留的通道索引集合，保留的通道的个数根据i得到对应的选择矩阵wi；wi∈rc×
|i|
是通道选择矩阵，其每一列是一个由{0,1}组成的one-hot向量，若向量的第i维为1，表示保留第i个通道，若向量的第i维为0，表示不保留第i个通道，则b＝x
lt
(d
b-ab)x
l
，e＝x
lt
(d
w-aw)x
l
；其中，db是一个对角矩阵，(db)
ii
＝∑j(ab)
ij
。
[0088]
步骤202，分别计算每个保留比例系数对应层的当前特征可分性。
[0089]
通过下述公式计算对应层当前的特征可分性λ：
[0090][0091]
其中tr(.)表示迹计算函数。
[0092]
步骤203，对该层的每个通道计算当前特征可分性下的全局得分。
[0093]
对每个通道计算当前可分性下的全局性得分ei为保留的第i个通道的one-hot选择向量。
[0094]
步骤204，选择全局得分最高的k个通道；其中，k为该层保留通道的数目。
[0095][0096]
将每个通道的得分按照从高到低的顺序排序，选择前k个通道，作为保留通道。
[0097]
步骤205，使用选择出的k个通道的索引号更新该层对应的通道保留索引集合。
[0098]
步骤206，基于更新后的该层对应的通道保留索引集合进行迭代优化选择出该层保留的通道。
[0099]
步骤205到步骤206的实现具体包括：
[0100]
在步骤204选择出k个通道时，确定当前是否达到第二迭代结束条件，如果是，将当前选择出的k个通道作为优选选择出的该层保留的通道；否则，使用选择出的k个通道的索引号更新该层对应的通道保留索引集合，执行步骤202。
[0101]
这里的第二迭代结束条件为选择出的k个通道与当前初始化的k个通道是否相同，以及是否达到最大迭代步数。
[0102]
具体实现时，满足其一就结束迭代获取当前的i和λ，记为当前保留比例系数[m1，m2，...，mn]的各层优化保留结果，为随机采样的m组的结果。
[0103]
通过上述步骤可以获得保留的通道和特征的可分性。
[0104]
图2给出的个步骤实现了针对每组保留比例系数中的每个保留比例系数，基于所述类内相似权重矩阵和类间相似权重矩阵计算所述模型信息对应层的通道的特征可分性，
迭代优化选择对应层特征可分性高的通道作为保留的通道。
[0105]
步骤104，基于m+1组保留比例系数确定的每一层保留的通道计算保留比例梯度，确定对当前所述初始保留比例系数的变化量并更新，再次获取m组新保留比例系数，确定对当前所述初始保留比例系数的变化量，直到满足第一迭代结束条件时，输出当前获取的所述待压缩的车载模型每层保留的通道的索引号。
[0106]
本步骤中实现基于m+1组保留比例系数确定的每一层保留的通道计算保留比例梯度，确定对当前所述初始保留比例系数的变化量的具体过程如下：
[0107]
参见图3，图3为本技术实施例中获取保留比例系数的变化量的流程示意图。具体步骤为：
[0108]
步骤301，基于m+1组保留比例系数确定的每一层保留的通道分别计算模型整体浮点计算量。
[0109]
模型整体浮点计算量和可分性的对应关系如下：
[0110][0111]
其中，fi＝f(αi)，表示对应保留比例系数αi压缩后的车载模型的浮点计算量flops。
[0112]
步骤302，计算m组新保留比例系数与当前初始保留比例系数对应的浮点计算量变化和特征可分性变化比值。
[0113]
浮点计算量变化和特征可分性变化比值可以表示为：
[0114][0115]
记
[0116]
步骤303，利用样条插值和高斯过程拟合局部空间中保留比例系数变化值与所述比值的函数关系。
[0117]
所述比值为m组新保留比例系数与当前初始保留比例系对应的浮点计算量变化和特征可分性变化比值。
[0118]
函数关系为：y＝f(δα)。其中，{(α
1-α0，y1)，(α
2-α0，y2)，...，(α
m-α0，ym)},是该函数上的m个采样点。
[0119]
步骤304，计算在保留比例系数变化值为0时的梯度，并根据所述梯度计算出获取相同单位收益比所需的比例系数的变化量。
[0120]
计算y＝f(.)在δα＝0的近似梯度，并根据所述梯度计算出获取相同单位收益比(特征可分性变化和浮点计算量变化)所需的比例系数的变化量(特征可分性变化和浮点计算量变化)所需的比例系数的变化量
[0121]
本步骤中使用确定的变化量对对当前所述初始保留比例系数进行更新，具体实现可以为，但不限于下述实现：
[0122]
其中η为更新步长，可以根据具体应用场景设置。
[0123]
步骤104中使用确定的变化量更新当前所述初始保留比例系数之后，再次获取m组新保留比例系数之前，所述方法进一步包括：
[0124]
确定当前是否满足第二迭代条件，如果是，输出当前获取的所述待压缩的车载模
型每层保留的通道的索引号；
[0125]
获取所述待压缩的车载模型每层保留的通道的索引号可表示为：
[0126]
否则，使用确定的变化量更新当前所述初始保留比例系数，再次获取m组新保留比例系数，即步骤103。
[0127]
步骤105，根据所述索引号，以及所述待压缩的车载模型的模型信息生成压缩后的车载模型。
[0128]
至此针对本技术实施例中的预设压缩模型的内部功能描述完毕。
[0129]
本技术实施例中的预设压缩模型，从全局特征出发，基于通道的特征可分性保留了依赖性强的通道，避免了重要通道的删除，并通过多组保留比例系数计算保留比例梯度，寻找自适应优化方向，在同样压缩比例的条件下，本技术提供的通道选择模型能够使得压缩后的车载模型计算的准确性越高；如果在同样的准确性要求下，本技术能够使得压缩后的插在模型的浮点计算量更小。
[0130]
实施例一
[0131]
参见图4，图4为本技术实施例一中车载模型压缩流程示意图。具体步骤为：
[0132]
步骤401，获取待压缩的车载模型对应的模型信息，以及压缩条件。
[0133]
这里的模型信息即为整个待压缩车载模型对应的数据。
[0134]
压缩条件可以为要求压缩后的车载模型的浮点计算量不大于预设浮点计算量，或，保留比例不大于预设保留比例。
[0135]
步骤402，获取第一样本训练集。
[0136]
所述第一样本集为训练待压缩的车载模型的样本集；该样本集可以是存储的一个对应样本集，不限于其获取方式。
[0137]
或，
[0138]
所述第一样本训练集为采集第二样本训练集中的样本数据获得的样本集；其中，所述第二样本集为训练待压缩的车载模型的样本集。
[0139]
在采集的时候可以根据压缩比例进行样本采集，压缩比例比较大时，可以采集数量相对少点的样本数据组成压缩训练样本集；压缩比例比较小时，可以采集数量相对多点的样本数据组成压缩训练样本集，具体实现时不限采集方式。
[0140]
步骤403，将所述模型信息、压缩条件和所述第一样本训练集作为输入，基于预设压缩模型获取所述待压缩的车载模型对应的压缩后的车载模型。
[0141]
其中，所述预设压缩模型基于所述压缩条件，所述第一样本训练集从全局视角选择出特征可分性高的通道；并基于通道的特征可分性的变化与浮点计算量的变化关系自适应优化所述待压缩的车载模型每层保留的通道的索引号，根据所述索引号，以及所述待压缩的车载模型的模型信息生成压缩后的车载模型。
[0142]
本技术实施例中基于预设的通道选择模型获取满足压缩条件的待压缩的车载模型每层保留的通道的索引号，进而生成压缩后的车载模型；其中的预设压缩模型从全局视角筛选出部分特征通道，使得输入相似或同类数据时这些特征通道距离近，输入不相似或不同类数据时特征通道距离远来达到选出的特征通道的特征可分性效果。该方案能够在压缩比例一定的条件下，提高压缩后的车载模型计算的准确性。
[0143]
实施例二
[0144]
参见图5，图5为本技术实施例二中车载模型压缩流程示意图。具体步骤为：
[0145]
步骤501，获取待压缩的车载模型对应的模型信息，以及压缩条件。
[0146]
这里的模型信息即为整个待压缩车载模型对应的数据。
[0147]
压缩条件可以为要求压缩后的车载模型的浮点计算量不大于预设浮点计算量，或，保留比例不大于预设保留比例。
[0148]
步骤502，获取第一样本训练集。
[0149]
所述第一样本集为训练待压缩的车载模型的样本集；该样本集可以是存储的一个对应样本集，不限于其获取方式。
[0150]
步骤503，将所述模型信息、压缩条件和所述第一样本训练集作为输入，基于预设压缩模型获取所述待压缩的车载模型对应的压缩后的车载模型；
[0151]
其中，所述预设压缩模型基于所述压缩条件，所述第一样本训练集确定所述待压缩的车载模型每层保留的通道的索引号，并根据所述索引号，以及所述待压缩的车载模型的模型信息生成压缩后的车载模型。
[0152]
所述基于所述压缩条件，所述第一样本训练集确定所述待压缩的车载模型每层保留的通道的索引号，包括：基于所述压缩条件，所述第一样本训练集从全局视角选择出特征可分性高的通道；并基于通道的特征可分性的变化与浮点计算量的变化关系自适应优化所述待压缩的车载模型每层保留的通道的索引号，根据所述索引号，以及所述待压缩的车载模型的模型信息生成压缩后的车载模型。
[0153]
步骤504，将压缩后的车载模型在第一样本训练集上通过预设学习率进行微调训练。
[0154]
其中，所述预设学习率小于待压缩的车载模型在第一样本训练集上训练时的学习率。
[0155]
步骤505，使用知识蒸馏技术对微调训练后的车载模型进行微调训练。
[0156]
本技术实施例中基于预设的通道选择模型获取满足压缩条件的待压缩的车载模型每层保留的通道的索引号，进而生成压缩后的车载模型；并对压缩后的车载模型进行微调训练，进一步完善压缩后的车载模型；其中的预设压缩模型从全局视角筛选出部分特征通道，使得输入相似或同类数据时这些特征通道距离近，输入不相似或不同类数据时特征通道距离远来达到选出的特征通道的特征可分性效果。该方案能够在压缩比例一定的条件下，提高压缩后的车载模型计算的准确性。
[0157]
实施例三
[0158]
参见图6，图6为本技术实施例三中车载模型压缩流程示意图。具体步骤为：
[0159]
步骤601，获取待压缩的车载模型对应的模型信息，以及压缩条件。
[0160]
这里的模型信息即为整个待压缩车载模型对应的数据。
[0161]
压缩条件可以为要求压缩后的车载模型的浮点计算量不大于预设浮点计算量，或，保留比例不大于预设保留比例。
[0162]
步骤602，获取第一样本训练集；其中，所述第一样本训练集为采集第二样本训练集中的样本数据获得的样本集。
[0163]
在采集的时候可以根据压缩比例进行样本采集，压缩比例比较大时，可以采集数量相对少点的样本数据组成压缩训练样本集；压缩比例比较小时，可以采集数量相对多点
的样本数据组成压缩训练样本集，具体实现时不限采集方式。
[0164]
步骤603，将所述模型信息、压缩条件和所述第一样本训练集作为输入，基于预设压缩模型获取所述待压缩的车载模型对应的压缩后的车载模型。
[0165]
其中，所述预设压缩模型基于所述压缩条件，所述第一样本训练集确定所述待压缩的车载模型每层保留的通道的索引号，并根据所述索引号，以及所述待压缩的车载模型的模型信息生成压缩后的车载模型。
[0166]
所述基于所述压缩条件，所述第一样本训练集确定所述待压缩的车载模型每层保留的通道的索引号，包括：基于所述压缩条件，所述第一样本训练集从全局视角选择出特征可分性高的通道；并基于通道的特征可分性的变化与浮点计算量的变化关系自适应优化所述待压缩的车载模型每层保留的通道的索引号，根据所述索引号，以及所述待压缩的车载模型的模型信息生成压缩后的车载模型。
[0167]
步骤604，将压缩后的车载模型在第一样本训练集上通过预设学习率进行微调训练；其中，所述预设学习率小于待压缩的车载模型在第二样本训练集上训练时的学习率。
[0168]
步骤605，使用知识蒸馏技术对微调训练后的车载模型进行微调训练。
[0169]
本技术实施例中基于预设的通道选择模型获取满足压缩条件的待压缩的车载模型每层保留的通道的索引号，进而生成压缩后的车载模型；并对压缩后的车载模型进行微调训练，进一步完善压缩后的车载模型；其中的预设压缩模型从全局视角筛选出部分特征通道，使得输入相似或同类数据时这些特征通道距离近，输入不相似或不同类数据时特征通道距离远来达到选出的特征通道的特征可分性效果。该方案能够在压缩比例一定的条件下，提高压缩后的车载模型计算的准确性。
[0170]
基于同样的发明构思，本技术实施例中还提供一种车载模型压缩装置。参见图7，图7为本技术实施例中车载模型压缩装置结构示意图。所述装置包括：第一获取单元701、第二获取单元702、第三获取单元703和存储单元704；
[0171]
第一获取单元701，用于获取待压缩的车载模型对应的模型信息，以及压缩条件；
[0172]
第二获取单元702，用于获取第一样本训练集；
[0173]
第三获取单元703，用于将所述模型信息、压缩条件和所述第一样本训练集作为输入，基于存储单元704存储的预设压缩模型获取所述待压缩的车载模型对应的压缩后的车载模型；
[0174]
存储单元704，用于存储所述预设压缩模型；其中，所述预设压缩模型基于所述压缩条件，所述第一样本训练集确定所述待压缩的车载模型每层保留的通道的索引号，并根据所述索引号，以及所述待压缩的车载模型的模型信息生成压缩后的车载模型。
[0175]
在一些实施例中，
[0176]
存储单元704，具体用于存储的所述预设压缩模型基于所述压缩条件，所述第一样本训练集确定所述待压缩的车载模型每层保留的通道的索引号，并根据所述索引号，以及所述待压缩的车载模型的模型信息生成压缩后的车载模型时，包括：
[0177]
基于所述压缩条件，所述第一样本训练集从全局视角选择出特征可分性高的通道；并基于通道的特征可分性的变化与浮点计算量的变化关系自适应优化所述待压缩的车载模型每层保留的通道的索引号，根据所述索引号，以及所述待压缩的车载模型的模型信息生成压缩后的车载模型。
[0178]
在一些实施例中，
[0179]
存储单元704，具体用于存储的预设压缩模型根据所述压缩条件初始化一组初始保留比例系数，并基于所述初始保留比例系数获取m组新保留比例系数，计算所述第一样本训练集对应的类内相似权重矩阵和类间相似权重矩阵，并针对每组保留比例系数中的每个保留比例系数，基于所述类内相似权重矩阵和类间相似权重矩阵计算所述模型信息对应层的通道的特征可分性，迭代优化选择对应层特征可分性高的通道作为保留的通道；基于m+1组保留比例系数确定的每一层保留的通道计算保留比例梯度，确定对当前所述初始保留比例系数的变化量并更新，再次获取m组新保留比例系数，确定对当前所述初始保留比例系数的变化量，直到满足第一迭代结束条件时，输出当前获取的所述待压缩的车载模型每层保留的通道的索引号；根据所述索引号，以及所述待压缩的车载模型的模型信息生成压缩后的车载模型。
[0180]
在一些实施例中，
[0181]
存储单元704，具体用于存储的所述预设压缩模型在计算所述第一训练样本集对应的样本之间的类内相似权重矩阵和类间相似权重矩阵时，包括：通过费希尔分值fisher score计算方式算所述第一训练样本集对应的样本之间的类内相似权重矩阵和类间相似权重矩阵；或，通过拉普拉斯分值laplace score计算方式计算所述第一训练样本集对应的样本之间的类内相似权重矩阵和类间相似权重矩阵；或，基于先验知识设置。
[0182]
在一些实施例中，
[0183]
存储单元704，具体用于存储的所述预设压缩模型在基于所述初始保留比例系数获取m组新保留比例系数时，包括：获取m组中的任一组新保留比例系数时，在所述初始保留比例系数中的每个系数对应的区间范围内分别选择一个保留比例系数，组成一组新保留比例系数。
[0184]
在一些实施例中，
[0185]
当压缩条件为要求压缩后的车载模型的浮点计算量不大于预设浮点计算量时，使用m+1组中的任一组的保留比例系数生成的压缩后的车载模型的浮点计算量不大于预设浮点计算量；
[0186]
当压缩条件为保留比例不大于预设保留比例时，使用m+1组中的任一组的保留比例系数生成的压缩后的车载模型在浮点计算量与所述待压缩的车载模型的浮点计算量的比值不大于预设保留比例。
[0187]
在一些实施例中，
[0188]
存储单元704，存储的所述预设压缩模型在针对每组保留比例系数中的每个保留比例系数，基于所述类内相似权重矩阵和类间相似权重矩阵计算所述模型信息对应层的通道的特征可分性，迭代优化选择对应层特征可分性高的通道作为保留的通道时，包括：针对每个保留比例系数，分别初始化一个通道保留索引集合；分别计算每个保留比例系数对应层的当前特征可分性；对该层的每个通道计算当前特征可分性下的全局得分；选择全局得分最高的k个通道；其中，k为该层保留通道的数目；使用选择出的k个通道的索引号更新该层对应的通道保留索引集合；基于更新后的该层对应的通道保留索引集合进行迭代优化选择出该层保留的通道。
[0189]
在一些实施例中，
[0190]
存储单元704，存储的所述预设压缩模型进一步用于获取选择出的该层保留通道时对应的特征可分性；在基于m+1组保留比例系数确定的每一层保留的通道计算保留比例梯度，确定对当前所述初始保留比例系数的变化量，包括：基于m+1组保留比例系数确定的每一层保留的通道分别计算模型整体浮点计算量；计算m组新保留比例系数与当前初始保留比例系数对应的浮点计算量变化和特征可分性变化比值；利用样条插值和高斯过程拟合局部空间中保留比例系数变化值与所述比值的函数关系；计算在保留比例系数变化值为0时的梯度，并根据所述梯度计算出获取相同单位收益比所需的比例系数的变化量。
[0191]
在一些实施例中，
[0192]
所述第一样本集为训练待压缩的车载模型的样本集；
[0193]
或，
[0194]
所述第一样本训练集为采集第二样本训练集中的样本数据获得的样本集；其中，所述第二样本集为训练待压缩的车载模型的样本集。
[0195]
在一些实施例中，所述装置进一步包括：微调单元705；
[0196]
所述微调单元705，用于当所述第一样本集为训练待压缩的车载模型的样本集时，将第三获取单元703获取的压缩后的车载模型在第一样本训练集上通过预设学习率进行微调训练；其中，所述预设学习率小于待压缩的车载模型在第一样本训练集上训练时的学习率；当所述第一样本训练集为采集第二样本训练集中的样本数据获得的样本集时，将第三获取单元703压缩后的车载模型在第二样本训练集上通过预设学习率进行微调训练；其中，所述预设学习率小于待压缩的车载模型在第二样本训练集上训练时的学习率。
[0197]
在一些实施例中，
[0198]
所述微调单元705，进一步用于使用知识蒸馏技术对微调训练后的车载模型进行微调训练。
[0199]
上述实施例的单元可以集成于一体，也可以分离部署；可以合并为一个单元，也可以进一步拆分成多个子单元。
[0200]
在另一个实施例中，还提供一种车载端，包括存储器、处理器及存储在存储器上并可在处理器上运行的车载模型，所述车载模型为通过预设压缩模型压缩获取的压缩后的车载模型；其中，所述预设压缩模型基于压缩条件，第一样本训练集确定待压缩的车载模型每层保留的通道的索引号，并根据所述索引号，以及所述待压缩的车载模型的模型信息生成压缩后的车载模型。
[0201]
在另一个实施例中，还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述车载模型压缩方法的步骤。
[0202]
在另一个实施例中，还提供一种计算机可读存储介质，其上存储有计算机指令，所述指令被处理器执行时可实现所述车载模型压缩方法中的步骤。
[0203]
图8为本发明实施例提供的电子设备的实体结构示意图。如图8所示，该电子设备可以包括：处理器(processor)810、通信接口(communications interface)820、存储器(memory)830和通信总线840，其中，处理器810，通信接口820，存储器830通过通信总线840完成相互间的通信。处理器810可以调用存储器830中的逻辑指令，以执行如下方法：
[0204]
获取待压缩的车载模型对应的模型信息，以及压缩条件；
[0205]
获取第一样本训练集；
[0206]
将所述模型信息、压缩条件和所述第一样本训练集作为输入，基于预设压缩模型获取所述待压缩的车载模型对应的压缩后的车载模型；
[0207]
其中，所述预设压缩模型基于所述压缩条件，所述第一样本训练集确定所述待压缩的车载模型每层保留的通道的索引号，并根据所述索引号，以及所述待压缩的车载模型的模型信息生成压缩后的车载模型。
[0208]
此外，上述的存储器830中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0209]
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
[0210]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
[0211]
在另一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现所述车载模型压缩方法的步骤。
[0212]
本技术实施例公开了ts1、一种车载模型压缩方法，其特征在于，所述方法包括：
[0213]
获取待压缩的车载模型对应的模型信息，以及压缩条件；
[0214]
获取第一样本训练集；
[0215]
将所述模型信息、压缩条件和所述第一样本训练集作为输入，基于预设压缩模型获取所述待压缩的车载模型对应的压缩后的车载模型；
[0216]
其中，所述预设压缩模型基于所述压缩条件，所述第一样本训练集确定所述待压缩的车载模型每层保留的通道的索引号，并根据所述索引号，以及所述待压缩的车载模型的模型信息生成压缩后的车载模型。
[0217]
ts2、根据权利要求ts1所述的方法，其特征在于，所述基于所述压缩条件，所述第一样本训练集确定所述待压缩的车载模型每层保留的通道的索引号，并根据所述索引号，以及所述待压缩的车载模型的模型信息生成压缩后的车载模型，包括：
[0218]
基于所述压缩条件，所述第一样本训练集从全局视角选择出特征可分性高的通
道；并基于通道的特征可分性的变化与浮点计算量的变化关系自适应优化所述待压缩的车载模型每层保留的通道的索引号，根据所述索引号，以及所述待压缩的车载模型的模型信息生成压缩后的车载模型。
[0219]
ts3、根据权利要求ts2所述的方法，其特征在于，所述预设压缩模型基于所述压缩条件，所述第一样本训练集从全局视角选择出特征可分性高的通道；并基于通道的特征可分性的变化与浮点计算量的变化关系自适应优化所述待压缩的车载模型每层保留的通道的索引号，根据所述索引号，以及所述待压缩的车载模型的模型信息生成压缩后的车载模型，包括：
[0220]
所述预设压缩模型根据所述压缩条件初始化一组初始保留比例系数，并基于所述初始保留比例系数获取m组新保留比例系数，计算所述第一样本训练集对应的类内相似权重矩阵和类间相似权重矩阵，并针对每组保留比例系数中的每个保留比例系数，基于所述类内相似权重矩阵和类间相似权重矩阵计算所述模型信息对应层的通道的特征可分性，迭代优化选择对应层特征可分性高的通道作为保留的通道；
[0221]
基于m+1组保留比例系数确定的每一层保留的通道计算保留比例梯度，确定对当前所述初始保留比例系数的变化量并更新，再次获取m组新保留比例系数，确定对当前所述初始保留比例系数的变化量，直到满足第一迭代结束条件时，输出当前获取的所述待压缩的车载模型每层保留的通道的索引号；
[0222]
根据所述索引号，以及所述待压缩的车载模型的模型信息生成压缩后的车载模型。
[0223]
ts4、根据权利要求ts3所述的方法，其特征在于，所述计算所述第一训练样本集对应的样本之间的类内相似权重矩阵和类间相似权重矩阵，包括：
[0224]
通过费希尔分值fisher score计算方式算所述第一训练样本集对应的样本之间的类内相似权重矩阵和类间相似权重矩阵；
[0225]
或，通过拉普拉斯分值laplace score计算方式计算所述第一训练样本集对应的样本之间的类内相似权重矩阵和类间相似权重矩阵；
[0226]
或，基于先验知识设置。
[0227]
ts5、根据权利要求ts3所述的方法，其特征在于，所述基于所述初始保留比例系数获取m组新保留比例系数，包括：
[0228]
获取m组中的任一组新保留比例系数时，在所述初始保留比例系数中的每个系数对应的区间范围内分别选择一个保留比例系数，组成一组新保留比例系数。
[0229]
ts6、根据权利要求ts5所述的方法，其特征在于，
[0230]
当压缩条件为要求压缩后的车载模型的浮点计算量不大于预设浮点计算量时，使用m+1组中的任一组的保留比例系数生成的压缩后的车载模型的浮点计算量不大于预设浮点计算量；
[0231]
当压缩条件为保留比例不大于预设保留比例时，使用m+1组中的任一组的保留比例系数生成的压缩后的车载模型在浮点计算量与所述待压缩的车载模型的浮点计算量的比值不大于预设保留比例。
[0232]
ts7、根据权利要求ts3所述的方法，其特征在于，所述针对每组保留比例系数中的每个保留比例系数，基于所述类内相似权重矩阵和类间相似权重矩阵计算所述模型信息对
应层的通道的特征可分性，迭代优化选择对应层特征可分性高的通道作为保留的通道，包括：
[0233]
针对每个保留比例系数，分别初始化一个通道保留索引集合；
[0234]
分别计算每个保留比例系数对应层的当前特征可分性；
[0235]
对该层的每个通道计算当前特征可分性下的全局得分；
[0236]
选择全局得分最高的k个通道；其中，k为该层保留通道的数目；
[0237]
使用选择出的k个通道的索引号更新该层对应的通道保留索引集合；
[0238]
基于更新后的该层对应的通道保留索引集合进行迭代优化选择出该层保留的通道。
[0239]
ts8、根据权利要求ts7所述的方法，其特征在于，所述方法进一步包括：
[0240]
获取选择出的该层保留通道时对应的特征可分性；
[0241]
所述基于m+1组保留比例系数确定的每一层保留的通道计算保留比例梯度，确定对当前所述初始保留比例系数的变化量，包括：
[0242]
基于m+1组保留比例系数确定的每一层保留的通道分别计算模型整体浮点计算量；
[0243]
计算m组新保留比例系数与当前初始保留比例系数对应的浮点计算量变化和特征可分性变化比值；
[0244]
利用样条插值和高斯过程拟合局部空间中保留比例系数变化值与所述比值的函数关系；
[0245]
计算在保留比例系数变化值为0时的梯度，并根据所述梯度计算出获取相同单位收益比所需的比例系数的变化量。
[0246]
ts9、根据权利要求ts1-ts8任一项所述的方法，其特征在于，
[0247]
所述第一样本集为训练待压缩的车载模型的样本集；
[0248]
或，
[0249]
所述第一样本训练集为采集第二样本训练集中的样本数据获得的样本集；其中，所述第二样本集为训练待压缩的车载模型的样本集。
[0250]
ts10、根据权利要求ts9所述的方法，其特征在于，所述方法进一步包括：
[0251]
当所述第一样本集为训练待压缩的车载模型的样本集时，将压缩后的车载模型在第一样本训练集上通过预设学习率进行微调训练；其中，所述预设学习率小于待压缩的车载模型在第一样本训练集上训练时的学习率；
[0252]
当所述第一样本训练集为采集第二样本训练集中的样本数据获得的样本集时，将压缩后的车载模型在第二样本训练集上通过预设学习率进行微调训练；其中，所述预设学习率小于待压缩的车载模型在第二样本训练集上训练时的学习率。
[0253]
ts11、根据权利要求ts10所述的方法，其特征在于，所述方法进一步包括：
[0254]
使用知识蒸馏技术对微调训练后的车载模型进行微调训练。
[0255]
ts12、一种车载模型压缩装置，其特征在于，所述装置包括：第一获取单元、第二获取单元、第三获取单元和存储单元；
[0256]
所述第一获取单元，用于获取待压缩的车载模型对应的模型信息，以及压缩条件；
[0257]
所述第二获取单元，用于获取第一样本训练集；
[0258]
所述第三获取单元，用于将所述模型信息、压缩条件和所述第一样本训练集作为输入，基于所述存储单元存储的预设压缩模型获取所述待压缩的车载模型对应的压缩后的车载模型；
[0259]
所述存储单元，用于存储所述预设压缩模型；其中，所述预设压缩模型基于所述压缩条件，所述第一样本训练集确定所述待压缩的车载模型每层保留的通道的索引号，并根据所述索引号，以及所述待压缩的车载模型的模型信息生成压缩后的车载模型。
[0260]
ts13、根据权利要求ts12所述的装置，其特征在于，
[0261]
所述存储单元，具体用于存储的所述预设压缩模型基于所述压缩条件，所述第一样本训练集确定所述待压缩的车载模型每层保留的通道的索引号，并根据所述索引号，以及所述待压缩的车载模型的模型信息生成压缩后的车载模型时，包括：
[0262]
基于所述压缩条件，所述第一样本训练集从全局视角选择出特征可分性高的通道；并基于通道的特征可分性的变化与浮点计算量的变化关系自适应优化所述待压缩的车载模型每层保留的通道的索引号，根据所述索引号，以及所述待压缩的车载模型的模型信息生成压缩后的车载模型。
[0263]
ts14、根据权利要求ts13所述的装置，其特征在于，
[0264]
所述存储单元，具体用于存储的预设压缩模型基于所述压缩条件，所述第一样本训练集从全局视角选择出特征可分性高的通道；并基于通道的特征可分性的变化与浮点计算量的变化关系自适应优化所述待压缩的车载模型每层保留的通道的索引号，根据所述索引号，以及所述待压缩的车载模型的模型信息生成压缩后的车载模型时，包括：
[0265]
所述预设压缩模型根据所述压缩条件初始化一组初始保留比例系数，并基于所述初始保留比例系数获取m组新保留比例系数，计算所述第一样本训练集对应的类内相似权重矩阵和类间相似权重矩阵，并针对每组保留比例系数中的每个保留比例系数，基于所述类内相似权重矩阵和类间相似权重矩阵计算所述模型信息对应层的通道的特征可分性，迭代优化选择对应层特征可分性高的通道作为保留的通道；
[0266]
基于m+1组保留比例系数确定的每一层保留的通道计算保留比例梯度，确定对当前所述初始保留比例系数的变化量并更新，再次获取m组新保留比例系数，确定对当前所述初始保留比例系数的变化量，直到满足第一迭代结束条件时，输出当前获取的所述待压缩的车载模型每层保留的通道的索引号；
[0267]
根据所述索引号，以及所述待压缩的车载模型的模型信息生成压缩后的车载模型。
[0268]
ts15、根据权利要求ts14所述的装置，其特征在于，
[0269]
所述存储单元，具体用于存储夫人预设压缩模型在计算所述第一训练样本集对应的样本之间的类内相似权重矩阵和类间相似权重矩阵时，包括：
[0270]
通过费希尔分值fisher score计算方式算所述第一训练样本集对应的样本之间的类内相似权重矩阵和类间相似权重矩阵；
[0271]
或，通过拉普拉斯分值laplace score计算方式计算所述第一训练样本集对应的样本之间的类内相似权重矩阵和类间相似权重矩阵；
[0272]
或，基于先验知识设置。
[0273]
ts16、根据权利要求ts14所述的装置，其特征在于，
[0274]
所述存储单元，具体用于存储的所述预设压缩模型基于所述初始保留比例系数获取m组新保留比例系数时，包括：
[0275]
获取m组中的任一组新保留比例系数时，在所述初始保留比例系数中的每个系数对应的区间范围内分别选择一个保留比例系数，组成一组新保留比例系数。
[0276]
ts17、根据权利要求ts16所述的装置，其特征在于，
[0277]
当压缩条件为要求压缩后的车载模型的浮点计算量不大于预设浮点计算量时，使用m+1组中的任一组的保留比例系数生成的压缩后的车载模型的浮点计算量不大于预设浮点计算量；
[0278]
当压缩条件为保留比例不大于预设保留比例时，使用m+1组中的任一组的保留比例系数生成的压缩后的车载模型在浮点计算量与所述待压缩的车载模型的浮点计算量的比值不大于预设保留比例。
[0279]
ts18、根据权利要求ts17所述的装置，其特征在于，所述针对每组保留比例系数中的每个保留比例系数，基于所述类内相似权重矩阵和类间相似权重矩阵计算所述模型信息对应层的通道的特征可分性，迭代优化选择对应层特征可分性高的通道作为保留的通道，包括：
[0280]
针对每个保留比例系数，分别初始化一个通道保留索引集合；
[0281]
分别计算每个保留比例系数对应层的当前特征可分性；
[0282]
对该层的每个通道计算当前特征可分性下的全局得分；
[0283]
选择全局得分最高的k个通道；其中，k为该层保留通道的数目；
[0284]
使用选择出的k个通道的索引号更新该层对应的通道保留索引集合；
[0285]
基于更新后的该层对应的通道保留索引集合进行迭代优化选择出该层保留的通道。
[0286]
ts19、根据权利要求ts18所述的装置，其特征在于，所述方法进一步包括：
[0287]
获取选择出的该层保留通道时对应的特征可分性；
[0288]
所述基于m+1组保留比例系数确定的每一层保留的通道计算保留比例梯度，确定对当前所述初始保留比例系数的变化量，包括：
[0289]
基于m+1组保留比例系数确定的每一层保留的通道分别计算模型整体浮点计算量；
[0290]
计算m组新保留比例系数与当前初始保留比例系数对应的浮点计算量变化和特征可分性变化比值；
[0291]
利用样条插值和高斯过程拟合局部空间中保留比例系数变化值与所述比值的函数关系；
[0292]
计算在保留比例系数变化值为0时的梯度，并根据所述梯度计算出获取相同单位收益比所需的比例系数的变化量。
[0293]
ts20、根据权利要求ts12-ts19任一项所述的装置，其特征在于，
[0294]
所述第一样本集为训练待压缩的车载模型的样本集；
[0295]
或，
[0296]
所述第一样本训练集为采集第二样本训练集中的样本数据获得的样本集；其中，所述第二样本集为训练待压缩的车载模型的样本集。
[0297]
ts21、根据权利要求ts20所述的装置，其特征在于，所述装置进一步包括：微调单元：
[0298]
所述微调单元，用于当所述第一样本集为训练待压缩的车载模型的样本集时，将所述第三获取单元获取的压缩后的车载模型在第一样本训练集上通过预设学习率进行微调训练；其中，所述预设学习率小于待压缩的车载模型在第一样本训练集上训练时的学习率；当所述第一样本训练集为采集第二样本训练集中的样本数据获得的样本集时，将所述第三获取单元压缩后的车载模型在第二样本训练集上通过预设学习率进行微调训练；其中，所述预设学习率小于待压缩的车载模型在第二样本训练集上训练时的学习率。
[0299]
ts22、根据权利要求ts21所述的装置，其特征在于，
[0300]
所述微调单元，进一步用于使用知识蒸馏技术对微调训练后的车载模型进行微调训练。
[0301]
ts23、一种车载端，包括存储器、处理器及存储在存储器上并可在处理器上运行的车载模型，所述车载模型为通过预设压缩模型压缩获取的压缩后的车载模型；其中，所述预设压缩模型基于压缩条件，第一样本训练集确定待压缩的车载模型每层保留的通道的索引号，并根据所述索引号，以及所述待压缩的车载模型的模型信息生成压缩后的车载模型。
[0302]
ts24、一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如ts1-ts11任一项所述的方法。
[0303]
ts25、一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求ts1-ts11任一项所述的方法。
[0304]
ts26、一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求ts1-ts11任一项所述的方法。
[0305]
本技术附图中的流程图和框图，示出了按照本技术公开的各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或者代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应该注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同附图中所标准的顺序发生。例如，两个连接地表示的方框实际上可以基本并行地执行，它们有时也可以按照相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或者流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
[0306]
本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合，即使这样的组合或结合没有明确记载于本技术中。特别地，在不脱离本技术精神和教导的情况下，本技术的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合，所有这些组合和/或结合均落入本技术公开的范围。
[0307]
本文中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思路，并不用于限制本技术。对于本领域的技术人员来说，可以依据本发明的思路、精神和原则，在具体实施方式及应用范围上进行改变，其所做的任何修改、等同替换、改进等，均应包含在本技术保护的范围之内。