一种图像的处理方法、装置及设备与流程

1.本发明涉及图像处理技术领域，特别是指一种图像的处理方法、装置及设备。


背景技术：

2.近年来，随着深度学习方法的发展，越来越多的研究人员转向使用深度学习模型来从图像角度对于特征进行自动的提取和拟合，一些基于卷积神经网络（cnn）模型也被证明具有良好的预测性。然而，由于cnn作为基干的网络所需要的计算资源量大，耗时长，并且不能很好的体现图像内容的相互作用关系。


技术实现要素：

3.本发明提供了一种图像的处理方法、装置及设备。本发明的方案基于多层局部注意力模型，实现了图像处理的低资源消耗和快速运行速度。
4.为解决上述技术问题，本发明的实施例提供以下方案：一种图像的处理方法，所述方法包括：获取对目标对象进行拍摄得到的影像图像；对所述影像图像进行预处理，得到目标图像；将所述目标图像输入训练好的注意力模型，得到所述目标图像的分类结果；所述注意力模型用于基于层次局部注意力机制对输入的图像进行分类；根据所述分类结果，得到所述影像图像对应的重要性分布图。
5.可选的，对所述影像图像进行预处理，得到目标图像，包括：对所述影像图像进行格式转换处理，得到目标格式的第一影像图像；将所述第一影像图像进行非均匀场校正处理，得到第二影像图像，并将所述第二影像图像配准至目标标准空间，并进行图像分割处理；对所述目标标准空间内的第二影像图像进行数值归一化处理，得到目标图像。
6.可选的，所述注意力模型对输入的目标图像的处理过程包括：对目标图像进行区块划分处理，得到第一区块；对第一区块进行线性维度的嵌入处理，得到一维向量区块；将所述一维向量区块进行整合，得到至少两个区块组；对所述至少两个区块组进行两级的区块聚合处理，得到目标区块；根据所述目标区块，得到分类结果。
7.可选的，对所述至少两个区块组进行两级的区块聚合处理，得到目标区块，包括：对每个区块组进行一级注意力计算，得到第一区块组；对所述第一区块组进行一级区块聚合处理，得到至少两个第二区块；将至少两个第二区块进行整合，得到第二区块组；对所述第二区块组进行二级注意力计算，得到第三区块组；对所述第三区块组进行二级区块聚合处理，得到目标区块。
8.可选的，对每个区块组进行一级注意力计算，得到第一区块组，包括：通过公式，得到每个区块组中的任意两个区块的注意力值；其中，为任意两个区块之间的注意力值，q为查询向量，k为键值向量，v为值向量，dk为区块的数量；根据每个区块组中的区块以及注意力值，得到第一区块组；所述第一区块组携带任意两个区块之间的注意力值。
9.可选的，根据所述目标区块，得到分类结果，包括：将目标区块输入多层感知器进行分类计算，得到至少两个分类结果。
10.可选的，根据所述分类结果，得到所述影像图像对应的重要性分布图，包括：将所述分类结果输入神经网络输出可视化模型，生成所述影像图像对应的重要性分布图。
11.本发明还提供一种图像的处理装置，所述装置包括：获取模块，用于获取对目标对象进行拍摄得到的影像图像；处理模块，用于对所述影像图像进行预处理，得到目标图像；将所述目标图像输入训练好的注意力模型，得到所述目标图像的分类结果；所述注意力模型用于基于层次局部注意力机制对输入的图像进行分类；根据所述分类结果，得到所述影像图像对应的重要性分布图。
12.本发明提供一种计算设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如上述的方法对应的操作。
13.本发明还提供一种计算机可读存储介质，存储有指令，所述指令在计算机上运行时，使得计算机执行如上述的方法。
14.本发明的上述方案至少包括以下有益效果：本发明的上述方案，通过获取对目标对象进行拍摄得到的影像图像；对所述影像图像进行预处理，得到目标图像；将所述目标图像输入训练好的注意力模型，得到所述目标图像的分类结果；所述注意力模型用于基于层次局部注意力机制对输入的图像进行分类；根据所述分类结果，得到所述影像图像对应的重要性分布图。本发明的方案基于多层局部注意力模型，实现了图像处理的低资源消耗和快速运行速度。
附图说明
15.图1为本发明实施例的图像的处理方法的流程示意图；图2为本发明实施例中变换编码器中的处理流程示意图；图3为本发明提供的具体的实施例3中注意力模型对输入的目标图像的处理的流程示意图；图4为本发明实施例的图像的处理装置的结构示意图。
具体实施方式
16.下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。
17.如图1所示，本发明提供一种图像的处理方法，包括：步骤11，获取对目标对象进行拍摄得到的影像图像；步骤12，对所述影像图像进行预处理，得到目标图像；步骤13，将所述目标图像输入训练好的注意力模型，得到所述目标图像的分类结果；所述注意力模型用于基于层次局部注意力机制对输入的图像进行分类；步骤14，根据所述分类结果，得到所述影像图像对应的重要性分布图。
18.该实施例中，基于多层的层次局部注意力机制对注意力模型进行训练，得到训练好的注意力模型，将拍摄目标对象得到的影像图像进行预处理后得到目标图像，然后将目标图像输入训练好的注意力模型，得到目标图像的分类结果，进一步地，根据该分类结果，可得到目标对象的影像图像对应的重要性分布图实现了图像处理的低资源消耗和快速运行速度。
19.其中，层次局部注意力机制是指至少两层的注意力机制对注意力模型进行训练；需要说明的是，对影像图像进行预处理之后，得到的目标图像相对于原始的影像图像提高了空间分辨率，更便于对影响图像进行分类；输入训练好的注意力模型的目标图像优选为以下至少一种：原始图像；灰质图像；白质图像；多通道图像。
20.本发明一可选的实施例中，所述注意力模型通过以下过程进行训练：获取数据集；将所述数据集输入注意力模型，结合通过公开数据集和/或私有数据集的目标图像对注意力模型进行训练；将交叉熵算法作为所述注意力模型中的损失函数；通过十折交叉验证所述注意力模型的准确率、精确率以及召回率，并调整注意力模型的参数，使得所述注意力模型的准确率、精确率以及召回率达到预设值；所述预设值优选为预设的注意力模型最优的准确率、精确率以及召回率的值。
21.本发明一可选的实施例中，步骤12包括：步骤121，对所述影像图像进行格式转换处理，得到目标格式的第一影像图像；步骤122，将所述第一影像图像进行非均匀场校正处理，得到第二影像图像，并将所述第二影像图像配准至目标标准空间，并进行图像分割处理；步骤123，对所述目标标准空间内的第二影像图像进行数值归一化处理，得到目标图像。
22.本实施例中，对影像图像进行预处理，先对影像图像进行格式转换处理，得到目标格式的第一影像图像；一个具体的实施例1中，原始的影像图像为若干个2d的dicom（digital imaging and communications in medicine，医学数字成像和通信）文件，将原始的影像图像通过格
式转换处理，得到格式为nifty（neuroimaging informatics technology initiative，神经图像信息技术倡议）格式的第一影像图像文件，这里的nifty格式的第一影像图像文件为3d图像。
23.进一步的，将第一影像图像经过非均匀场校正处理，得到第二影像图像，这里的非均匀场校正处理是针对拍摄目标对象的摄像设备在场景和环境变化时发生的微小探测器漂移进行调整，非均匀场校正处理用于将原始的第一影像图像处理成更高质量的第二影像图像；并将第二影像图像配准至目标标准空间，这里的目标标准空间优选为mni（montreal neurological institute，蒙特利尔神经学研究所）标准空间，并进行图像分割处理，若影像图像为人体大脑的医学影像图像，这里对图像分割处理优选为进行去颅骨和组织分割操作，将图像分割为灰质、白质、脑脊液图像。
24.更进一步地，对目标标准空间内的第二影像图像进行数值归一化处理，得到目标图像，包括：步骤1231，对目标标准空间内的第二影像图像进行目标内容分割处理，得到影像数据；步骤1232，对目标图像数据进行数值归一化处理，得到目标图像。
25.其中，当影像图像为smri（structural magnetic resonance imaging，结构性磁共振成像）影像图像时，目标内容分割处理优选为组织分割处理；对影像数据进行归一化处理，归一化处理用于归纳统一影像数据的统计分布性；一个具体的实施例2中，若影像图像为大脑的smri影像图像，将该smri影像图像依次通过非均匀场校正处理和数值归一化处理，得到第二影像图像，对大脑的第二影像图像进行组织分割处理，将第二影像图像组织分割为灰质组织、白质组织以及脑脊液组织等影像数据，对灰质组织、白质组织以及脑脊液组织等影像数据进行数值归一化处理，得到目标图像。
26.本发明一可选的实施例中，所述注意力模型对输入的目标图像的处理过程包括：步骤a，对目标图像进行区块划分处理，得到第一区块；步骤b，对第一区块进行线性维度的嵌入处理，得到一维向量区块；步骤c，将所述一维向量区块进行整合，得到至少两个区块组；步骤d，对所述至少两个区块组进行两级的区块聚合处理，得到目标区块；步骤e，根据所述目标区块，得到分类结果。
27.本实施例中，基于多层的层次局部注意力机制对注意力模型进行训练，将目标图像输入到注意力模型中，对目标图像进行区块划分处理，得到若干个第一区块，对每个第一区块进行线性维度的嵌入处理，得到一维向量区块；将空间相邻的一维向量区块进行整合成至少两个区块组，对至少两组区块组进行两级的区块聚合处理，这里的两级区块处理是对区块组中的每一个区块进行局部注意力计算处理，得到目标区块，进而得到分类结果。
28.本发明一可选的实施例中，步骤d，包括：步骤d1，对每个区块组进行一级注意力计算，得到第一区块组；步骤d2，对所述第一区块组进行一级区块聚合处理，得到至少两个第二区块；步骤d3，将至少两个第二区块进行整合，得到第二区块组；
步骤d4，对所述第二区块组进行二级注意力计算，得到第三区块组；步骤d5，对所述第三区块组进行二级区块聚合处理，得到目标区块。
29.本实施例中，第一级的区块聚合处理是将至少两个区块构成的区块组输入变换编码器进行一级注意力计算，得到第一区块组，需要说明的是，每个区块组和其对应的第一区块组的数据相同，第一区块组相对于对应的区块组还携带有注意力值；进一步地，对第一区块组进行一级区块聚合处理，得到第二区块组；对第二区块组进行二级注意力计算，得到第三区块组，该第三区块组还携带有第二区块组中各区块的注意力值，进一步地，对第三区卡进行二级区块聚合处理，得到目标区块。
30.其中，区块聚合处理优选为平均值处理或取最大值处理。
31.需要说明的是，如图2所示，变换编码器中对输入的数据进行如下处理：对输入的数据进行一级归一化处理，得到第一归一化值；对该第一归一化值进行多头注意力机制处理，得到注意力值；将输入的数据和注意力值进行一级异或运算，得到第一异或运算结果；将第一异或运算的结果作为输入值进行二级归一化处理，得到第二归一化值；将第二归一化值作为输入值输入多层感知器，并将多层感知器的输出和第一异或运算结果进行二级异或运算，得到第二异或运算结果。
32.本发明一可选的实施例中，步骤d1包括：步骤d11，通过公式，得到每个区块组中的任意两个区块的注意力值；其中，为任意两个区块之间的注意力值，q为查询向量，k为键值向量，v为值向量，dk为区块的数量；步骤d12，根据每个区块组中的区块以及注意力值，得到第一区块组；所述第一区块组携带任意两个区块之间的注意力值。
33.本实施例中，通过公式计算得到两个区块之间的注意力值，根据每个区块组中的区块以及注意力值，得到第一区块组，这里的第一区块组与注意力计算之前的区块值中的数据相同，第一区块值携带有任意两个区块之间的注意力值。
34.本发明一可选的实施例中，步骤e，包括：步骤e1，将目标区块输入多层感知器进行分类计算，得到至少两个分类结果。
35.本实施例中，将目标区块作为输入值，输入多层感知器（multi-layer perception，mlp），多层感知器是一种前向结构的人工神经网络，映射一组输入向量到一组输出向量；将目标区块输入多层感知器后，可以得到至少两个分类结果。
36.如图3所示，一个具体的实施例3中，预处理好的目标图像为x∈rc×h×w×d，将目标图像x∈rc×h×w×d进行区块划分处理，得到若干个大小为(ph,pw,pd)的第一区块，每一个第一区块，对第一区块x
p
进行线性维度的嵌入处理，得到一维向量区块x
pe
∈re，其中，c为输入通道数量，e为嵌入维度；
对一维向量区块进行整合，输入层中的每个一维向量区块，将空间相邻的一维向量区块整合成固定大小的至少两个区块组，其中，(h
l1
,w
l1
,d
l1
)为第一区块嵌入处理后所得到的图像大小，，每一处位置有e个值，为第一层的组的数量，是每组包含的区块数量，；对每个区块组进行一级注意力计算，对于输入x
l1bi
嵌入处理后为同等长度的向量q，k和v，通过公式进行一级注意力计算，得到第一区块组中的每个区块；其中，q为查询向量，k为键值向量，v为值向量，dk为数量；对第一区块组中的每个区块x
l1_out
进行一级区块聚合处理，得到至少两个第二区块；这里的一级区块聚合处理为平均值处理或取最大值处理；将至少两个第二区块整合后，得到第二区块组，对每个第二区块组进行二级注意力计算，对于输入x
l2bi
嵌入处理后为同等长度的向量q，k和v，通过公式进行二级注意力计算，得到第二区块组中的每个区块；其中，q为查询向量，k为键值向量，v为值向量，dk为数量；对第二区块组中的每个区块x
l2_out
进行二级区块聚合处理，得到目标区块；将该目标区块输入多层感知器mlp，得到第一分类结果为nc（normal cognitive，正常认知），第二分类结果为ad（alzheimer disease，阿尔兹海默症）。
37.本发明一可选的实施例中，步骤14包括：步骤141，将所述分类结果输入神经网络输出可视化模型，生成所述影像图像对应的重要性分布图。
38.本实施例中，将得到的分类结果输入神经网络输出可视化模型，该模型优选为grad-cam算法，对分类结果进行可视化处理，生成影像图像对应的重要性分布图，如，基于上述具体的实施例3中，将第一分类结果nc和第二分类结果ad输入神经网络输出可视化模型，可得到可视化标注出nc和ad的分类结果的脑区重要性分布图，该脑区重要性分布图可以可视化的展示出大脑各区域的nc或ad的程度。
39.本发明的实施例中通过获取对目标对象进行拍摄得到的影像图像；对所述影像图像进行预处理，得到目标图像；将所述目标图像输入训练好的注意力模型，得到所述目标图像的分类结果；所述注意力模型用于基于层次局部注意力机制对输入的图像进行分类；根据所述分类结果，得到所述影像图像对应的重要性分布图；基于多层局部注意力模型，实现了图像处理的低资源消耗和快速运行速度。
40.如图4所示，本发明还提供一种图像的处理装置40，所述装置40包括：获取模块41，用于获取对目标对象进行拍摄得到的影像图像；处理模块42，用于对所述影像图像进行预处理，得到目标图像；将所述目标图像输入训练好的注意力模型，得到所述目标图像的分类结果；所述注意力模型用于基于层次局
部注意力机制对输入的图像进行分类；根据所述分类结果，得到所述影像图像对应的重要性分布图。
41.可选的，对所述影像图像进行预处理，得到目标图像，包括：对所述影像图像进行格式转换处理，得到目标格式的第一影像图像；将所述第一影像图像进行非均匀场校正处理，得到第二影像图像，并将所述第二影像图像配准至目标标准空间，并进行图像分割处理；对所述目标标准空间内的第二影像图像进行数值归一化处理，得到目标图像。
42.可选的，所述注意力模型对输入的目标图像的处理过程包括：对目标图像进行区块划分处理，得到第一区块；对第一区块进行线性维度的嵌入处理，得到一维向量区块；将所述一维向量区块进行整合，得到至少两个区块组；对所述至少两个区块组进行两级的区块聚合处理，得到目标区块；根据所述目标区块，得到分类结果。
43.可选的，对所述至少两个区块组进行两级的区块聚合处理，得到目标区块，包括：对每个区块组进行一级注意力计算，得到第一区块组；对所述第一区块组进行一级区块聚合处理，得到至少两个第二区块；将至少两个第二区块进行整合，得到第二区块组；对所述第二区块组进行二级注意力计算，得到第三区块组；对所述第三区块组进行二级区块聚合处理，得到目标区块。
44.可选的，对每个区块组进行一级注意力计算，得到第一区块组，包括：通过公式，得到每个区块组中的任意两个区块的注意力值；其中，为任意两个区块之间的注意力值，q为查询向量，k为键值向量，v为值向量，dk为区块的数量；根据每个区块组中的区块以及注意力值，得到第一区块组；所述第一区块组携带任意两个区块之间的注意力值。
45.可选的，根据所述目标区块，得到分类结果，包括：将目标区块输入多层感知器进行分类计算，得到至少两个分类结果。
46.可选的，根据所述分类结果，得到所述影像图像对应的重要性分布图，包括：将所述分类结果输入神经网络输出可视化模型，生成所述影像图像对应的重要性分布图。
47.需要说明的是，该装置是与上述方法对应的装置，上述方法实施例中的所有实现方式均适用于该装置的实施例中，也能达到相同的技术效果。
48.本发明的实施例还提供一种计算设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如上述的方法对应的操作。
49.需要说明的是，该计算设备是与上述方法对应的计算设备，上述方法实施例中的所有实现方式均适用于该计算设备的实施例中，也能达到相同的技术效果。
50.本发明的实施例还提供一种计算机可读存储介质，存储有指令，所述指令在计算机上运行时，使得计算机执行如上所述的方法。
51.本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
52.所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
53.在本发明所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
54.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
55.另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
56.所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。
57.此外，需要指出的是，在本发明的装置和方法中，显然，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本发明的等效方案。并且，执行上述系列处理的步骤可以自然地按照说明的顺序按时间顺序执行，但是并不需要一定按照时间顺序执行，某些步骤可以并行或彼此独立地执行。对本领域的普通技术人员而言，能够理解本发明的方法和装置的全部或者任何步骤或者部件，可以在任何计算装置（包括处理器、存储介质等）或者计算装置的网络中，以硬件、固件、软件或者它们的组合加以实现，这是本领域普通技术人员在阅读了本发明的说明的情况下运用他们的基本编程技能就能实现的。
58.因此，本发明的目的还可以通过在任何计算装置上运行一个程序或者一组程序来实现。所述计算装置可以是公知的通用装置。因此，本发明的目的也可以仅仅通过提供包含实现所述方法或者装置的程序代码的程序产品来实现。也就是说，这样的程序产品也构成本发明，并且存储有这样的程序产品的存储介质也构成本发明。显然，所述存储介质可以是
任何公知的存储介质或者将来所开发出来的任何存储介质。还需要指出的是，在本发明的装置和方法中，显然，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本发明的等效方案。并且，执行上述系列处理的步骤可以自然地按照说明的顺序按时间顺序执行，但是并不需要一定按照时间顺序执行。某些步骤可以并行或彼此独立地执行。
59.以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。