ROI检测模型训练方法、检测方法、装置、设备和介质与流程

roi检测模型训练方法、检测方法、装置、设备和介质
技术领域
1.本公开涉及人工智能技术领域，尤其涉及计算机视觉和深度学习技术，具体涉及一种roi检测模型训练方法、检测方法、装置、设备和介质。


背景技术：

2.在图像处理领域，感兴趣区域(region of interest，roi)是从图像中选择的一个图像区域，该区域是图像分析所关注的重点，圈定该区域作为对图像进一步处理的前提，可以减少图像处理时间，增加图像处理精度。


技术实现要素：

3.本公开提供了一种roi检测模型训练方法、检测方法、装置、设备和介质。
4.根据本公开的一方面，提供了一种感兴趣区域检测模型训练方法，包括：
5.对样本图像进行特征提取，得到样本特征数据；
6.对样本特征数据进行非线性映射，得到第一特征数据和第二特征数据；其中，第一特征数据指示在查询空间下的特征映射结果，第二特征数据指示在值空间下的特征映射结果；
7.根据第一特征数据在标签roi的关联区域中的第三特征数据和第二特征数据，确定区域间差异数据；
8.根据区域间差异数据和标签roi的关联区域，调整roi检测模型的待训练参数。
9.根据本公开的另一方面，还提供了一种感兴趣区域检测方法，包括：
10.根据训练好的特征提取参数，对待检测图像进行特征提取，得到预测特征数据；其中，特征提取参数采用本公开实施例所提供的任意一种感兴趣区域检测模型训练方法训练得到；
11.根据训练好的解码参数，对预测特征数据进行解码处理，得到roi预测结果。
12.根据本公开的另一方面，还提供了一种电子设备，包括：
13.至少一个处理器；以及
14.与至少一个处理器通信连接的存储器；其中，
15.存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行本公开实施例提供的任意一种感兴趣区域检测模型训练方法，或执行本公开实施例提供的任意一种感兴趣区域检测方法。
16.根据本公开的另一方面，还提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行本公开实施例提供的任意一种感兴趣区域检测模型训练方法，或执行本公开实施例提供的任意一种感兴趣区域检测方法。
17.根据本公开的技术，提高了感兴趣区域检测模型的检测精度。
18.应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
19.附图用于更好地理解本方案，不构成对本公开的限定。其中：
20.图1a是本公开实施例提供的一种roi检测模型的结构图；
21.图1b是现有技术提供的一种roi检测模型的结构图；
22.图1c是本公开实施例提供的一种roi检测模型训练方法的流程图；
23.图2a是本公开实施例提供的一种roi检测模型的训练方法的流程图；
24.图2b是本公开实施例提供的一种特征增强模块的结构图；
25.图3是本公开实施例提供的一种roi检测模型训练方法的流程图；
26.图4是本公开实施例提供的一种文本区域检测模型的结构图；
27.图5是本公开实施例提供的一种roi检测方法的流程图；
28.图6是本公开实施例提供的一种roi检测模型训练装置的结构图；
29.图7是本公开实施例提供的一种roi检测装置的结构图；
30.图8是用来实现本公开实施例的roi检测模型训练方法和/或roi检测方法的电子设备的框图。
具体实施方式
31.以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
32.本公开提供的感兴趣区域(region of interest，roi)检测模型训练方法，可适用于对预先构建的深度学习模型进行训练，以使该模型具备roi检测能力的应用场景。其中，roi可以是图像中的预设目标所在区域，如文本区域、人脸区域、车辆区域等，可以根据实际需求进行预设目标的设置。本公开所提供的各roi检测模型训练方法可以由roi检测模型训练装置执行，该装置可以采用软件和/或硬件加以实现，并具体配置于电子设备中。
33.为了便于理解，首先对roi检测模型的结构进行简要说明。
34.参见图1a所示的roi检测模型，包括特征提取模块和特征增强模块。其中，特征提取模块用于对所输入图像进行特征提取，特征增强模块用于对特征提取模块的输出结果进行特征增强，从而根据特征增强模块的增强输出结果对roi检测模型中特征提取模块和特征增强模块的待训练参数进行优化调整，从而提高了特征提取模块的特征提取能力。
35.进一步的，roi检测模型还可以包括解码模块，用于根据特征提取模块的输出结果，进行roi预测，并根据roi预测结果与预先标注的标签roi区域，对特征提取模块和解码模块的待训练参数进行优化调整。
36.参见图1b，现有技术中roi检测模型仅包括特征提取模块和解码模块，通过特征提取模块对所输入图像进行特征提取，通过解码模块根据特征提取模块的输出结果，进行roi预测，从而根据roi预测结果与预先标注的标签roi区域，对特征提取模块和解码模块的待训练参数进行优化调整。
37.通过将本公开图1a所示的roi检测模型与图1b所示的现有技术的roi检测模型相比，由于本公开引入了特征增强模块辅助进行特征提取模块的待训练参数的优化，提高了
特征提取模块的特征提取能力，有助于提高roi检测模型的检测能力。
38.以下，将以图1a所示的roi检测模型为基础，对本公开所提供的roi检测模型训练方法进行详细说明。
39.参见图1c所示的一种roi检测模型训练方法，其中，roi检测模型包括特征提取模块和特征增强模块，该方法包括：
40.s101、对样本图像进行特征提取，得到样本特征数据。
41.其中，样本图像即为在进行roi检测模型训练时所使用的训练样本。为了保证所训练模型的模型精度，通常样本图像的数量为多个且种类多样。
42.其中，样本特征数据可以理解为对样本图像的抽象化表示。
43.可以理解的是，通过特征提取模块对样本图像进行特征提取，以获取样本图像中的roi相关信息，剔除样本图像中的roi无关信息。
44.s102、对样本特征数据进行非线性映射，得到第一特征数据和第二特征数据。
45.其中，第一特征数据和第二特征数据可以看作将样本特征数据向特征空间进行非线性映射后的结果。其中，第一特征数据指示样本特征数据在查询空间下的特征映射结果；第二特征数据指示样本特征数据在值空间下的特征映射结果；值得注意的是，采用非线性映射的方式进行第一特征数据和第二特征数据的确定，有助于提高roi检测模型的拟合能力。
46.由于第一特征数据和第二特征数据为相同数据，也即样本特征数据的空间映射结果，因此，第一特征数据和第二特征数据中，均携带有样本特征数据中的关键信息。
47.需要说明的是，第一特征数据对应的查询空间和第二特征数据对应的值空间可以相同或不同，本公开不作任何限定。为了提高roi检测模型的灵活性和通用性，通常会在特征增强模块中设置两个不同的非线性映射分支，分别进行第一特征数据和第二特征数据的确定，通过大量样本图像对roi检测模型的训练情况，进行相同特征空间或不同特征空间的非线性映射。
48.s103、根据第一特征数据在标签roi的关联区域中的第三特征数据和第二特征数据，确定区域间差异数据。
49.其中，标签roi为预先标注的样本图像中的roi，本公开对具体标注方式不作任何限定。标签roi的关联区域可以是样本图像的各区域中与标签roi所在区域具备一定关联关系的区域，例如可以是标签roi自身区域，或者标签roi中的局部区域。在一个具体实现方式中，标签roi中的局部区域可以是标签roi的中心区域。
50.需要说明的是，第一特征数据在标签roi的关联区域中的第三特征数据，可以理解为样本特征数据中标签roi的关联区域的关键信息在查询空间的映射结果。由于第二特征数据中包含有样本特征数据在标签roi的关联区域中以及标签roi的关联区域以外的其他区域的信息在查询空间的映射结果，因此，根据第三特征数据和第二特征数据在标签roi的关联区域的特征数据，所确定的区域间差异数据，能够表征标签roi的关联区域中和标签roi的关联区域以外的其他区域之间所携带信息的对比差异，从而一定程度上对标签roi的关联区域进行了特征增强。
51.s104、根据区域间差异数据和标签roi的关联区域，调整roi检测模型的待训练参数。
52.由于区域间差异数据是对标签roi的关联区域的特征增强结果，若该特征增强结果与标签roi的关联区域的匹配性越高、差异性越小，则表明roi检测模型中特征提取模块的特征提取能力，以及特征增强模块的特征增强能力越好；若该特征增强结果与标签roi的关联区域的匹配性越低、差异性越大，则表明roi检测模型中特征提取模块的特征提取能力、或特征增强模块的特征增强能力越差。有鉴于此，可以根据区域间差异数据和标签roi的关联区域之间的差异情况，对roi检测模型的待训练参数，例如可以包括特征提取模块的特征提取参数和特征增强模块的特征增强参数中的至少一种加以优化，从而不断提高特征提取模块的特征提取能力，以及特征增强模块的特征增强能力，达到对roi检测模型进行训练的目的。
53.本公开实施例通过对提取样本图像得到的样本特征数据进行非线性映射，得到查询空间下的第一特征数据和值空间下的第二特征数据，并将第一特征数据在标签roi的关联区域中的第三特征数据和第二特征数据，进行区域间差异数据的确定，表征非线性映射结果在标签roi的关联区域和非关联区域的对比差异，通过区域间差异数据对roi检测模型进行待训练参数调整，从而达到训练roi检测模型的目的，提高了roi检测模型的特征提取能力，减少了无关信息的提取，同时避免了关键信息的丢失，从而保证了所提取特征的准确性和全面性，进而提高了所训练roi检测模型的roi检测能力。
54.在上述各技术方案的基础上，本公开还提供了一个可选实施例，在该可选实施例中，对s103的区域间差异数据的确定机制进行了优化改进。需要说明的是，在本可选实施例中未公开部分，可参见前述各实施例的相关表述。
55.参见图2a所示的一种roi检测模型的训练方法，包括：
56.s201、对样本图像进行特征提取，得到样本特征数据。
57.s202、对样本特征数据进行非线性映射，得到第一特征数据和第二特征数据。
58.s203、根据第一特征数据在标签roi的关联区域中的第三特征数据，确定roi全局特征数据。
59.其中，roi全局特征数据用于从全局角度表征标签roi的关联区域的关键信息。
60.在一个可选实施例中，可以依通道确定第三特征数据的均值，并将确定结果作为roi全局特征数据。
61.然而，对标签roi的关联区域的全部第三特征数据进行处理，将会带来运算量的增加。为了提高运算效率，降低运算成本，在另一可选实施例中，还可以对第三特征数据进行采样，得到roi参考特征数据；根据roi参考特征数据，确定roi全局特征数据。其中，roi参考特征数据可以为至少一组，本公开对roi参考特征数据的具体数量不作任何限定。
62.需要说明的是，本公开对采样方式和采样率不作任何限定，可以由技术人员根据需要进行设定或调整，或通过大量试验确定。例如，可以采用随机采样的方式得到设定数量组的roi参考特征数据。
63.可选的，可以选取roi参考特征数据中的其中一组，直接作为roi全局特征数据。或者可选的，可以依通道维度，确定至少一组roi参考特征数据的平均值，并将确定结果作为roi全局特征数据。
64.在一个具体实现方式中，通过随机采样的方式无差别对待第三特征数据，依通道维度，确定各组roi参考特征数据的平均值，并将确定结果作为roi全局特征数据，避免了关
键信息的遗漏，有助于提高了roi全局特征数据所携带信息的准确性和全面性。
65.可以理解的是，通过对第三特征数据进行采样处理，采用采样得到的roi参考特征数据，替代标签roi的关联区域中的全量第三特征数据，进行roi全局特征数据的确定，显著减少了运算量，提升了运算效率。。
66.s204、根据roi全局特征数据和第二特征数据，确定区域间差异数据。
67.由于roi全局特征数据能够从全局角度表征标签roi的关联区域中的关键信息，因此根据查询空间的roi全局特征数据和值空间的第二特征数据，能够确定出表征标签roi的关联区域和非关联区域之间的对比差异的区域间差异数据。
68.在一个可选实施例中，可以根据roi全局特征数据对第二特征数据进行特征增强，得到roi增强特征数据；对roi增强特征数据进行激活处理，得到区域间差异数据。
69.通过roi全局特征数据对第二特征数据进行特征增强，从而增强第二特征数据中与标签roi的关联区域的特征，削弱第二特征数据中与标签roi的非关联区域的特征(第一特征数据中除第三特征数据之外的其他特征)；通过对roi特征增强特征数据进行激活处理，将roi增强特征数据映射到预设特征空间，得到区域间差异数据。其中，预设特征空间可以由技术人员根据需要或经验值进行确定或调整，本公开不作任何限定，例如可以是0-1空间。本公开对激活处理所采用的激活函数也不作任何限定，可以根据实际需要进行设定或调整，或者通过大量试验确定。
70.若预设特征空间为0-1空间，则区域间差异数据可以用于表征第二特征数据与roi全局特征数据之间的相似度。若像素点对应相似度的数值逼近0，表明该像素点的第二特征值与roi全局特征值之间的相似度越低，也即对应像素点为标签roi的非关联区域的概率越高；若像素点对应相似度的数值逼近1，表明该像素点的第二特征值与roi全局特征值之间的相似度越高，也即对应像素点为标签roi的关联区域的概率越高。
71.可以理解的是，上述技术方案通过引入特征增强和激活处理，进行区域间差异数据的确定，完善了区域间差异数据的确定机制，为后续对roi检测模型的待训练参数的调整，提供了数据支撑。同时，由于特征增强和激活处理操作便捷，提高了区域间差异数据的确定效率，减少了运算量。
72.进一步结合图2b所示的特征增强模块的结构示意图，对区域间差异数据的确定过程进行详细说明。
73.将特征提取模块输出的样本特征数据f非线性映射至查询空间(为非线性映射参数，通过模型训练得到)，得到h
×w×
c维的第一特征数据fq；将样本特征数据f非线性映射至值空间(为非线性映射参数，通过模型训练得到)，得到h
×w×
c维的第二特征数据fk。对第一特征数据fq中在标签roi的关联区域中的第三特征数据进行随机采样，得到n(n≥1)组1
×
c维的roi参考特征数据f
qr
；依通道维度对n组roi参考特征数据f
qr
进行均值处理，将得到的平均特征表示作为roi全局特征数据f
qm
；对roi全局特征数据进行转置处理，得到c
×
1维的转置结果f
qm’。对h
×w×
c维的第二特征数据fk进行压平处理，得到(hw)
×
c维的压平结果f
kf
；将压平结果f
kf
和转置结果f
qm’进行矩阵乘法运算，得到(hw)
×
1维的初始增强特征fm；对初始增强特征fm进行特征重构，得到h
×
w维的roi增强特征数据mr；对roi增强特征数据mr进行激活处理，得到h
×
w维的矩阵间差异数据m。
74.需要说明的是，本公开对标签roi的关联区域的种类和数量不作任何限定。不同标
签roi的关联区域，可分别采用前述方式确定相应的区域间差异数据。
75.s205、根据区域间差异数据和标签roi的关联区域，调整roi检测模型的待训练参数。
76.本公开实施例通过将区域间差异数据的确定操作，细化为根据第一特征数据在标签roi的关联区域的特征数据，确定roi全局特征数据，从而根据第二特征数据和表征标签roi的关联区域的全局特征的roi全局特征数据，确定查询空间和值空间下标签roi的关联区域与非关联区域之间的区域间差异数据完善了区域间差异数据的确定机制，为后续对roi检测模型的待训练参数的调整，提供了数据支撑。
77.在上述各技术方案的基础上，本公开还提供了一可选实施例，在该可选实施例中，对s104的待训练参数的调整机制进行了优化改进。
78.参见图3所示的一种roi检测模型训练方法，包括：
79.s301、对样本图像进行特征提取，得到样本特征数据。
80.s302、对样本特征数据进行非线性映射，得到第一特征数据和第二特征数据。
81.s303、根据第一特征数据在标签roi的关联区域中的第三特征数据和第二特征数据，确定区域间差异数据。
82.s304、根据区域间差异数据和标签roi的关联区域，确定目标特征提取损失。
83.其中，目标特征提取损失表征了特征增强模块输出的区域间差异数据与实际期望的标签roi的关联区域的差异程度的大小，侧面反映了特征提取模块的特征提取能力。若差异程度较大，则表明特征提取模块的特征提取能力较弱，可能存在关键信息的丢失或无关信息的提取；若差异程度较小，则表明特征提取模块的特征提取能力较强。
84.示例性的，可以根据区域间差异数据与标签roi的关联区域之间的差异情况，确定目标特征提取损失。
85.具体的，可以基于预设损失函数，根据区域间差异数据和标签roi的关联区域，确定目标特征提取损失。其中，预设损失函数可以由技术人员根据需要或经验值进行设定或调整，或通过大量试验反复确定，本公开对此不作任何限定。
86.需要说明的是，若标签roi的关联区域为单一区域，可以确定一个目标特征提取损失。若标签roi的关联区域包括至少两个区域，则可以分别针对各标签roi的关联区域，确定相应的特征提取损失，用于反映特征提取网络对不同标签roi的关联区域的特征提取能力。相应的，根据各特征提取损失，确定目标特征提取损失。
87.可选的，标签roi的关联区域可以包括标签roi，用于从标签roi全域角度衡量特征提取模块的特征提取能力。或者可选的，标签roi的关联区域可以包括或标签roi中的局部区域，用于从标签roi的局部区域角度衡量特征提取模块的特征提取能力。其中，标签roi的局部区域的数量可以为至少一个。例如，标签roi的局部区域可以是标签roi的中心区域。
88.可以理解的是，通过将标签roi的关联区域细化为包括标签roi和/或标签roi的局部区域，提高了后续所确定区域间差异数据的丰富性和多样性，从而有助于提高roi检测模型训练方法的多样性。
89.在一个可选实施例中，若标签roi的关联区域包括标签roi和标签roi的局部区域，则可以根据标签roi对应的区域间差异数据和标签roi，确定第一特征提取损失；根据标签roi的局部区域对应的区域间差异数据和标签roi的局部区域，确定第二特征提取损失；根
据第一特征提取损失和第二特征提取损失，确定目标特征提取损失。
90.示例性的，可以基于第一预设损失函数，根据标签roi对应的区域间差异数据和标签roi，确定第二特征提取损失；基于第二预设损失函数，根据标签roi的局部区域对应的区域间差异数据和标签roi的局部区域，确定第二特征提取损失；根据第一特征提取损失和第二特征提取损失的加权均值，确定目标特征提取损失。其中，第一预设损失函数和第二预设损失函数可以由技术人员根据需要或经验值进行设定或调整；第一预设损失函数和第二预设损失函数两者可以相同或不同，本公开不作任何限定。在确定目标特征提取损失时，不同特征提取损失对应的权重可以由技术人员根据需要或经验值进行设定或调整，本公开对权重的具体数值不作任何新限定。
91.需要说明的是，若标签roi的局部区域的数量为至少一个，相应的所确定的第二特征提取损失的数量也为至少一个。
92.可以理解的是，通过将标签roi的关联区域细化为包括标签roi和标签roi的局部区域两类数据，从而基于上述数据进行不同类别对应区域间差异数据的确定，提高了区域间差异数据的丰富性和多样性。同时，分别针对各类别的区域间差异数据和相应标签roi的关联区域，进行对应特征提取损失的确定，作为目标特征提取损失的确定基础，计算过程方便快捷，计算量小，提高了目标特征提取损失的计算效率。
93.s305、根据目标特征提取损失，调整待训练特征提取参数和待训练特征增强参数。
94.其中，待训练特征提取参数可以理解为用于进行特征提取的特征提取模块中的待训练参数；待训练特征增强参数可以理解为用于进行特征增强(如非线性映射和区域间差异数据确定)的特征增强模块中的待训练参数。
95.根据目标特征提取损失，调整特征提取模块和特征增强模块的待训练参数，从而逐渐提高roi检测模型中特征提取模块的特征提取效率，使得特征增强模块输出的区域间差异数据与相应标签roi的关联区域不断逼近，进而提高roi检测模型中特征提取模块的特征提取能力。
96.具体的，可以基于预设梯度函数，根据目标特征提取损失，调整特征提取模块和特征增强模块的待训练参数。其中，预设梯度函数可以由技术人员根据需要或经验值进行设定或调整，或通过大量试验加以确定，本公开对此不作任何限定。
97.在一个可选实施例中，还可以根据roi检测模型中解码模块输出的预测roi和标签roi，确定目标预测损失；根据目标预测损失，调整roi检测模型的待训练参数。例如，可以根据目标预测损失调整roi检测模型中特征提取模块的特征提取参数和/或解码模块的解码参数。
98.可以理解的是，通过目标预测损失和目标特征提取损失对特征提取模块的待训练参数进行联合调整，能够在提高特征提取模块的特征提取能力的同时，使得特征提取模块所提取特征与roi检测需求更匹配，从而有助于提高roi检测模型整体的检测能力。
99.本公开实施例通过将对roi检测模型的待训练参数调整操作，细化为根据区域间差异数据和标签roi的关联区域，确定目标特征提取损失，表征了roi检测模型中特征提取模块的特征提取能力，通过该目标特征提取损失对特征提取模块和特征增强模块的待训练参数进行调整，从而提高了特征提取模块对标签roi的关联区域和非关联区域之间的对比差异特征的敏感性，进而提高了特征提取模块的特征提取能力，为roi检测模型检测准确度
的提高，提供了保障。
100.以下将以标签roi为标签文本区域，相应的，标签roi的关联区域包括标签文本区域和标签文本中心区域为例，对文本区域检测模型(也即前述感兴趣区域检测模型)的训练过程进行详细说明。
101.参见图4所示的一种文本区域检测模型的示意图，包括特征提取模块、特征增强模块和解码模块。其中，特征增强模块包括第一特征增强网络和第二特征增强网络。
102.通过特征提取模块对所输入样本图像进行特征提取，得到样本特征数据。
103.通过第一特征增强网络对样本特征数据进行非线性映射，分别得到第一查询空间下的第一特征数据和第一值空间下的第二特征数据；将第一查询空间下的第一特征数据在标签文本区域中的特征数据作为该第一查询空间下的第三特征数据；通过第一特征增强网络根据第一值空间下的第二特征数据和第一查询空间下的第三特征数据，确定第一区域间差异数据。
104.通过第二特征增强网络对样本特征数据进行非线性映射，分别得到第二查询空间下的第一特征数据和第二值空间下的第二第二特征数据；将第二查询空间下的第一特征数据在标签文本中心区域中的特征数据作为该第二查询空间下的第三特征数据；通过第二特征增强网络根据第二值空间下的第二特征数据和第二查询空间下的第三特征数据，确定第二区域间差异数据。
105.根据解码模块对样本特征数据进行解码处理，得到文本区域分割图像，并对文本区域分割图像进行二值化和确定连通域等后处理后，得到预测文本区域。
106.根据第一区域间差异数据与标签文本区域，确定第一特征提取损失；第二区域间差异数据与标签文本中心区域，确定第二特征提取损失；根据第一特征提取损失和第二特征提取损失，加权得到目标特征提取损失；根据目标特征提取损失，优化特征提取模块的特征提取参数和特征增强模块的特征增强参数。
107.根据预测文本区域与标签文本区域，确定预测损失；根据预测损失，优化特征提取模块的特征提取参数和解码模块的解码参数。
108.需要说明的是，可以将第一特征增强网络和第二特征增强网络中进行非线性映射部分加以合并，也即第一特征增强网络和第二特征增强网络共用同一查询空间下的第一特征数据和同一值空间下的第二特征数据，从而减少数据运算量。
109.其中，解码模块可以采用现有技术的任一解码网络加以实现，本公开对此不作任何限定。例如，解码模块可以是基于分割的解码模块，也即，根据样本特征数据，对样本图像进行“背景-文本中心区域-文本边界”三分类，来确定样本图像中各像素点的分类结果，得到文本区域分割图像，并通过对文本区域分割图像进行二值化、确定连通域等后处理操作，得到预测文本区域。
110.其中，不同特征增强网络进行相应区域间差异数据的确定操作，可参见前述各实施例中特征增强模块的相关表述，在此不再赘述。
111.上述技术方案通过引入标签文本区域对应的第一区域间差异数据，以及标签文本中心区域对应的第二区域间差异数据，进行目标特征提取损失的确定，通过目标特征提取损失不断优化特征提取模块的待训练参数，从而提高了特征提取模块的特征提取能力，进而提高了所训练的文本区域检测模型检测结果准确度。
112.在上述各技术方案的基础上，本公开还提供了一种roi检测方法的可选实施例，该可选实施例适用于采用前述实施例所训练的roi检测模型进行roi检测的应用场景。本公开所提供的各roi检测方法，可以由roi检测装置执行，该装置可以采用软件和/或硬件实现，并具体配置于电子设备中。需要说明的是，执行roi检测方法的电子设备与前述执行roi检测模型训练方法的电子设备两者可以相同或不同，本公开对此不作任何限定。
113.参见图5所示的一种roi检测方法，包括：
114.s501、根据训练好的特征提取参数，对待检测图像进行特征提取，得到预测特征数据。
115.其中，特征提取参数采用本公开实施例所提供的各roi检测模型训练方法训练得到。
116.需要说明的是，在进行roi预测时，可以获取训练好的roi检测模型，并采用该roi检测模型中训练好的特征提取参数执行特征提取操作，作为roi检测操作的数据支撑。
117.其中，对roi检测模型的获取操作，可以直接获取前述训练好的完整的roi检测模型并存储，或者将前述训练好的roi检测模型中的特征增强模块剔除，并存储剔除后的roi检测模型。相应的，采用已存储的roi检测模型，执行特征提取和后续的解码操作。可以理解的是，进行提出后的roi检测模型的存储和使用，能够减少roi检测模型的存储空间和数据运算量，本公开对此不作任何限定。
118.s502、根据训练好的解码参数对预测特征数据进行解码处理，得到roi预测结果。
119.示例性的，可以通过roi检测模型中的解码模块，对预测特征数据进行解码处理，得到roi分割图像；对roi分割图像进行二值化，并对二值化结果计算连通域，得到roi预测结果。
120.本公开实施例通过采用前述训练好的特征提取参数对待检测图像进行特征提取，得到预测特征数据，并根据训练好的解码参数对预测特征数据进行解码处理得到roi检测结果。由于在对特征提取参数的训练过程中，引入了查询空间下的第一特征数据和值空间下第二特征数据，进行标签roi的关联区域与非关联区域之间的区域间差异数据的确定，并根据区域间差异数据调整roi检测模型中包括特征提取参数的待训练参数，使得训练好的特征提取参数的的特征提取能力更好，从而在进行roi预测时，所得的roi预测结果的准确性也有显著提高。
121.作为上述各roi检测模型训练方法的实现，本公开还提供了实施各roi检测模型训练方法的执行装置的可选实施例。进一步参见图6所示的一种roi检测模型训练装置600，包括特征提取模块601、特征增强模块602和网络参数调整模块603。其中，roi检测模型训练装置600用于对roi检测模型进行模型训练，其中，roi检测模型包括特征提取模块601和特征增强模块602。其中，
122.特征提取模块601，用于对样本图像进行特征提取，得到样本特征数据；
123.特征增强模块602，用于对样本特征数据进行非线性映射，分别得到第一特征数据和第二特征数据；
124.特征增强模块602，还用于根据第一特征数据和第二特征数据在标签roi的关联区域的特征数据，确定区域间差异数据；
125.网络参数调整模块603，用于根据区域间差异数据和标签roi的关联区域，调整roi
检测模型的待训练参数。
126.本公开实施例通过在roi检测模型中对提取样本图像得到的样本特征数据进行非线性映射，得到查询空间下的第一特征数据和值空间下的第二特征数据，并将第一特征数据在标签roi的关联区域中的第三特征数据和第二特征数据，进行区域间差异数据的确定，表征非线性映射结果在标签roi的关联区域和非关联区域的对比差异，通过区域间差异数据对roi检测模型进行待训练参数调整，从而达到训练roi检测模型的目的，提高了roi检测模型中特征提取模块的特征提取能力，减少了无关信息的提取，同时避免了关键信息的丢失，从而保证了所提取特征的准确性和全面性，进而提高了所训练roi检测模型的roi检测能力。
127.在一个可选实施例中，特征增强模块602，包括：
128.roi全局特征数据确定单元，用于根据第三特征数据，确定roi全局特征数据；
129.区域间差异数据确定单元，用于根据roi全局特征数据和第二特征数据，确定区域间差异数据。
130.在一个可选实施例中，区域间差异数据确定单元，包括：
131.特征增强子单元，用于根据roi全局特征数据对第二特征数据进行特征增强，得到roi增强特征数据；
132.激活处理子单元，用于对roi增强特征数据进行激活处理，得到区域间差异数据。
133.在一个可选实施例中，roi全局特征数据确定单元，包括：
134.数据采样子单元，用于对第三特征数据进行采样，得到roi参考特征数据；
135.roi全局特征数据确定，用于根据roi参考特征数据，确定roi全局特征数据。
136.在一个可选实施例中，网络参数调整模块603，包括：
137.目标特征提取损失确定单元，用于根据区域间差异数据和标签roi的关联区域，确定目标特征提取损失；
138.网络参数调整单元，用于根据目标特征提取损失，调整待训练特征提取参数和待训练特征增强参数。
139.在一个可选实施例中，标签roi的关联区域包括下述至少一项：标签roi、标签roi的局部区域。
140.在一个可选实施例中，若标签roi的关联区域包括标签roi和标签roi中的局部区域，则目标特征提取损失确定单元，包括：
141.第一损失确定子单元，用于根据标签roi对应的区域间差异数据和标签roi，确定第一特征提取损失；
142.第二损失确定子单元，用于根据标签roi的局部区域对应的区域间差异数据和标签roi的局部区域，确定第二特征提取损失；
143.目标特征提取损失确定子单元，用于根据第一特征提取损失和第二特征提取损失，确定目标特征提取损失。
144.在一个可选实施例中，标签roi的局部区域包括标签roi的中心区域。
145.上述roi检测模型训练装置可执行本公开任意实施例所提供的roi检测模型训练方法，具备执行各roi检测模型训练方法相应的功能模块和有益效果。
146.作为上述各roi预测方法的实现，本公开还提供了实施各roi检测方法的执行装置
的可选实施例。进一步参见图7所示的一种roi检测装置700，包括：特征提取模块701和解码模块702。其中，
147.特征提取模块701，用于根据训练好的特征提取参数对待检测图像进行特征提取，得到预测特征数据；其中，特征提取参数采用本公开实施例提供的任意一种roi检测模型训练装置训练得到；
148.解码模块702，用于根据训练好的解码参数对预测特征数据进行解码处理，得到roi预测结果。
149.本公开实施例通过采用训练好特征提取参数对待检测图像进行特征提取，得到预测特征数据，并根据训练好的解码参数对预测特征数据进行解码处理，得到roi预测结果。由于在对特征提取参数的训练过程中引入的查询空间下的第一特征数据和值空间下的第二特征数据，进行标签roi的关联区域与非关联区域之间的区域间差异数据的确定，并根据区域间差异数据调整roi检测模型中包括特征提取参数的待训练参数，使得训练好的特征提取参数的特征提取能力更好，从而在进行roi预测时，所得的roi预测结果的准确性也有显著提高。
150.上述roi检测装置可执行本公开任意实施例所提供的roi检测方法，具备执行各roi检测方法相应的功能模块和有益效果。
151.本公开的技术方案中，所涉及的样本图像、待检测图像的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。
152.根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
153.图8示出了可以用来实施本公开的实施例的示例电子设备800的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
154.如图8所示，设备800包括计算单元801，其可以根据存储在只读存储器(rom)802中的计算机程序或者从存储单元808加载到随机访问存储器(ram)803中的计算机程序，来执行各种适当的动作和处理。在ram 803中，还可存储设备800操作所需的各种程序和数据。计算单元801、rom 802以及ram 803通过总线804彼此相连。输入/输出(i/o)接口805也连接至总线804。
155.设备800中的多个部件连接至i/o接口805，包括：输入单元806，例如键盘、鼠标等；输出单元807，例如各种类型的显示器、扬声器等；存储单元808，例如磁盘、光盘等；以及通信单元809，例如网卡、调制解调器、无线通信收发机等。通信单元809允许设备800通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
156.计算单元801可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元801的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。计算单元801执行上文所描述的各个方法和处理，
例如roi检测模型训练方法和roi检测方法中的至少一种。例如，在一些实施例中，roi检测模型训练方法和roi检测方法中的至少一种，可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元808。在一些实施例中，计算机程序的部分或者全部可以经由rom 802和/或通信单元809而被载入和/或安装到设备800上。当计算机程序加载到ram 803并由计算单元801执行时，可以执行上文描述的roi检测模型训练方法或roi检测方法的一个或多个步骤。备选地，在其他实施例中，计算单元801可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行roi检测模型训练方法和roi检测方法中的至少一种。
157.本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、现场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、复杂可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
158.用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
159.在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
160.为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
161.可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数
字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)和互联网。
162.计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与vps服务中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。
163.人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术；人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术及机器学习/深度学习技术、大数据处理技术、知识图谱技术等几大方向。
164.应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开提供的技术方案所期望的结果，本文在此不进行限制。
165.上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。