一种图像处理方法、装置、电子设备及可读存储介质与流程

1.本技术涉及图像处理技术领域，尤其涉及一种图像处理方法、装置、电子设备及可读存储介质。


背景技术：

2.血管(比如，冠状动脉血管、颈动脉血管、下肢血管等)时常会出现不同程度的狭窄情况，而不同程度的狭窄与血管的异常情况密切相关，因此，检测和表征血管的狭窄至关重要。


技术实现要素：

3.有鉴于此，本技术实施例通过提供一种图像处理方法、装置、电子设备及可读存储介质，用以至少解决现有技术中存在的上述技术问题。
4.根据本技术第一方面，本技术实施例提供了一种图像处理方法，包括：获取待检测原始图像，待检测原始图像包括待检测血管，待检测血管的血管中心线上包括多个中心点；基于第一网络对待检测原始图像进行特征提取，得到第一特征；从第一特征中提取待检测血管的各中心点的第二特征；将各中心点的第二特征与各中心点对应的位置编码进行融合，得到各中心点对应的第一融合特征；基于第二网络对各中心点的第一融合特征及各中心点对应的其他中心点的第一融合特征进行融合处理，得到各中心点对应的第二融合特征；基于第三网络对各中心点对应的第二融合特征进行分析，得到待检测血管的狭窄分析结果。
5.可选地，从第一特征中提取待检测血管的各中心点的第二特征，包括：确定待检测原始图像中待检测血管的各中心点对应的位置信息；从第一特征中提取与各位置信息对应的目标第一特征，得到待检测血管的各中心点的第二特征。
6.可选地，将各中心点的第二特征与各中心点对应的位置编码进行融合，得到各中心点对应的第一融合特征，包括：基于各中心点对应的位置信息计算各中心点对应的位置编码；将各中心点的第二特征与各中心点对应的位置编码进行加和，得到各中心点对应的第一融合特征。
7.可选地，第二网络为图卷积网络；
8.基于第二网络对各中心点的第一融合特征及各中心点对应的其他中心点的第一融合特征进行融合处理，得到各中心点对应的第二融合特征，包括：基于多个中心点各自对应的位置信息建立无向图，其中，无向图中每个中心点为一个结点，距离小于第一距离阈值的任意两个中心点之间建立一条边；基于图卷积网络，对无向图、各中心点的第一融合特征及各中心点对应的其他中心点的第一融合特征进行处理，得到各中心点对应的第二融合特征。
9.可选地，第三网络包括分类网络及分级网络；
10.基于第三网络对各中心点对应的第二融合特征进行分析，得到待检测血管的狭窄
分析结果，包括：采用分类网络对各中心点对应的第二融合特征进行处理，得到各中心点对应的狭窄概率；确定狭窄概率大于概率阈值的目标中心点，将目标中心点按照距离进行聚类，得到多个簇；基于各簇中的目标中心点对应的第二融合特征，计算各簇对应的第三融合特征；采用分级网络对各簇对应的第三融合特征进行处理，得到各簇对应的狭窄等级，作为待检测血管的狭窄等级；基于各簇中的目标中心点对应的狭窄概率，计算各簇对应的狭窄概率，作为待检测血管的狭窄概率。
11.可选地，将目标中心点按照距离进行聚类，得到多个簇，包括：基于各目标中心点的位置信息计算任意两个目标中心点之间的距离；将距离小于第二距离阈值的两个目标中心点分配到同一个簇中，距离大于或等于第二距离阈值的两个目标中心点分配到不同簇中，得到多个簇。
12.可选地，基于各簇中的目标中心点对应的第二融合特征，计算各簇对应的第三融合特征，包括：将各簇中的目标中心点对应的第二融合特征进行取平均值处理，得到各簇对应的第三融合特征；
13.相应地，
14.基于各簇中的目标中心点对应的狭窄概率，计算各簇对应的狭窄概率，作为待检测血管的狭窄概率，包括：将各簇中的目标中心点对应的狭窄概率进行取平均值处理，得到各簇对应的狭窄概率，作为待检测血管的狭窄概率。
15.根据本技术第二方面，本技术实施例提供了一种图像处理装置，包括：获取单元，用于获取待检测原始图像，待检测原始图像包括待检测血管，待检测血管的血管中心线上包括多个中心点；第一提取单元，用于基于第一网络对待检测原始图像进行特征提取，得到第一特征；第二提取单元，用于从第一特征中提取待检测血管的各中心点的第二特征；第一融合单元，用于将各中心点的第二特征与各中心点对应的位置编码进行融合，得到各中心点对应的第一融合特征；第二融合单元，用于基于第二网络对各中心点的第一融合特征及各中心点对应的其他中心点的第一融合特征进行融合处理，得到各中心点对应的第二融合特征；分析单元，用于基于第三网络对各中心点对应的第二融合特征进行分析，得到待检测血管的狭窄分析结果。
16.根据本技术第三方面，本技术实施例提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器执行如第一方面或第一方面任意实施方式中的图像处理方法。
17.根据本技术第四方面，本技术实施例提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机指令，计算机指令用于使计算机执行如第一方面或第一方面任意实施方式中的图像处理方法。
18.本技术实施例通过提供的图像处理方法、装置、电子设备及可读存储介质，通过获取待检测原始图像，待检测原始图像包括待检测血管，待检测血管的血管中心线上包括多个中心点；基于第一网络对待检测原始图像进行特征提取，得到第一特征；从第一特征中提取待检测血管的各中心点的第二特征；将各中心点的第二特征与各中心点对应的位置编码进行融合，得到各中心点对应的第一融合特征；基于第二网络对各中心点的第一融合特征及各中心点对应的其他中心点的第一融合特征进行融合处理，得到各中心点对应的第二融
合特征；基于第三网络对各中心点对应的第二融合特征进行分析，得到待检测血管的狭窄分析结果；如此，是在待检测原始图像上进行待检测血管的狭窄定位与分析，可以获取到丰富的3d语义信息，便于待检测血管的狭窄分析，并且，通过将各中心点的第二特征与各中心点对应的位置编码进行融合，基于第二网络对各中心点的第一融合特征及各中心点对应的其他中心点的第一融合特征进行融合处理，得到各中心点对应的第二融合特征，可以使得待检测血管任一中心点的特征聚合到较大范围其他中心点的特征，从而大大增加待检测血管所有中心点的感受野，能够提高待检测血管狭窄分析结果的准确性。
19.上述说明仅是本技术技术方案的概述，为了能够更清楚了解本技术的技术手段，而可依照说明书的内容予以实施，并且为了让本技术的上述和其它目的、特征和优点能够更明显易懂，以下特举本技术的具体实施方式。
附图说明
20.图1为本技术实施例中一种图像处理方法的流程示意图；
21.图2为本技术实施例中对冠状动脉血管的cta图像进行特征提取，得到第一特征的示意图；
22.图3为本技术实施例中从第一特征中提取待检测血管的各中心点的第二特征的示意图；
23.图4为本技术实施例中基于第三网络对第二融合特征进行分析，得到待检测血管的狭窄分析结果的流程示意图；
24.图5为本技术实施例中一种图像处理装置的结构示意图；
25.图6为本技术实施例中一种电子设备的硬件结构示意图。
具体实施方式
26.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
27.本技术实施例提供了一种图像处理方法，如图1所示，包括：
28.s101，获取待检测原始图像，待检测原始图像包括待检测血管，待检测血管的血管中心线上包括多个中心点。
29.本技术实施例中的待检测原始图像包括但不限于：电子计算机断层扫描(computedtomography，ct)图像、ct血管造影(ct angiography，cta)图像、磁共振成像(magneticresonance imaging，mri)图像、正电子发射计算机断层显像-核磁共振成像(pet-mri)图像等。
30.本技术实施例中的待检测血管为具有狭窄分析需求的血管，其包括但不限于：冠状动脉血管、颈动脉血管、下肢血管等。
31.本技术实施例中的血管中心线是位于待检测血管中心的中心线，由于待检测原始图像中可以包括至少一个待检测血管，则对于每一待检测血管，均可以提取到相应的中心线，每一待检测血管的血管中心线上均会包括多个中心点。每一待检测血管的多个中心点
的点集其中x、y、z为坐标位置，多个中心点的总个数为n。
32.在一个可行的实施例中，血管中心线可以是人工标注的，也可以是由相应的算法自动或半自动提取得到的，本技术并不限定血管中心线的提取方式。
33.s102，基于第一网络对待检测原始图像进行特征提取，得到第一特征。
34.本技术实施例中的第一网络包括但不限于卷积神经网络(convolutional neural networks，cnn)，比如，常用cnn特征提取网络3dunet、vgg-16、vgg-19、resnet等。
35.具体实施时，我们以3dunet作为特征提取网络，将待检测原始图像输入3dunet网络后，得到第一特征f∈rh×w×d×c。其中h、w、d分别表示待检测原始图像的高度、宽度和深度，c为特征的维度数量。
36.示例性地，图2示出了对冠状动脉血管的cta图像，即待检测原始图像，进行特征提取，得到第一特征的示意图。
37.s103，从第一特征中提取待检测血管的各中心点的第二特征。
38.在本实施例中，获取到第一特征之后，可以抽取出待检测血管的中心点集的特征，得到待检测血管各中心点的第二特征。
39.示例性地，图3示出了从第一特征中提取待检测血管的各中心点的第二特征的示意图，其中，第一特征是从冠状动脉血管的cta图像中提取到的。
40.s104，将各中心点的第二特征与各中心点对应的位置编码进行融合，得到各中心点对应的第一融合特征。
41.本技术实施例中，获取到各中心点的第二特征之后，为了增加各中心点的感受野，可以基于第二特征进行特征融合。
42.首先是对于中心点集s中的每个中心点si，将它的第二特征fi∈rc和位置编码pi∈rc进行融合，得到该中心点的第一融合特征
43.将每个中心点的第二特征与位置编码进行融合，可以使得第一融合特征中既包括中心点的语义特征，又包括中心点的位置特征，丰富中心点的3d语义信息。
44.s105，基于第二网络对各中心点的第一融合特征及各中心点对应的其他中心点的第一融合特征进行融合处理，得到各中心点对应的第二融合特征。
45.本技术实施例中的第二网络包括但不限于图卷积神经网络((graph convolutional network,gcn)，例如具有多层卷积层的图卷积神经网络，多层卷积层优先8层。
46.通过第二网络对各中心点的第一融合特征及各中心点对应的其他中心点的第一融合特征进行融合处理，可以使得每个中心点的特征能够融合其他中心点的特征，从而大大增加感受野。
47.在一些实施例中，当第二网络为图卷积网络；基于第二网络对各中心点的第一融合特征及各中心点对应的其他中心点的第一融合特征进行融合处理，得到各中心点对应的第二融合特征，包括：基于多个中心点各自对应的位置信息建立无向图，其中，无向图中每个中心点为一个结点，距离小于第一距离阈值的任意两个中心点之间建立一条边；基于图卷积网络，对无向图、各中心点的第一融合特征及各中心点对应的其他中心点的第一融合特征进行处理，得到各中心点对应的第二融合特征。
48.具体地，基于多个中心点各自对应的位置信息建立无向图，从而可以通过无向图可以准确地确定各中心点的邻接中心点。在每个图卷积层中，基于无向图，每个中心点都能聚合邻接中心点的特征，图卷积的层数越多，每个中心点能聚合到的中心点的范围越大。优选的，图卷积网络为8层，通过多层图卷积处理后，每个中心点的感受野大大增加。
49.s106，基于第三网络对各中心点对应的第二融合特征进行分析，得到待检测血管的狭窄分析结果。
50.本技术实施例中的第三网络包括但不限于分类网络及分级网络。因此，待检测血管的狭窄分析结果包括待检测血管各处的狭窄概率和狭窄等级。
51.待检测血管的一处可以是待检测血管的一个中心点对应的血管区域，也可以是待检测血管的多个中心点对应的血管区域。
52.在一些实施例中，当第三网络包括分类网络及分级网络时，基于第三网络对各中心点对应的第二融合特征进行分析，得到待检测血管的狭窄分析结果，包括：
53.采用分类网络对各中心点对应的第二融合特征进行处理，得到各中心点对应的狭窄概率；
54.确定狭窄概率大于概率阈值的目标中心点，将目标中心点按照距离进行聚类，得到多个簇；
55.基于各簇中的目标中心点对应的第二融合特征，计算各簇对应的第三融合特征；
56.采用分级网络对各簇对应的第三融合特征进行处理，得到各簇对应的狭窄等级，作为待检测血管的狭窄等级；
57.基于各簇中的目标中心点对应的狭窄概率，计算各簇对应的狭窄概率，作为待检测血管的狭窄概率。
58.具体实施时，将目标中心点按照距离进行聚类，得到多个簇，包括：基于各目标中心点的位置信息计算任意两个目标中心点之间的距离；将距离小于第二距离阈值的两个目标中心点分配到同一个簇中，距离大于或等于第二距离阈值的两个目标中心点分配到不同簇中，得到多个簇。如此，可以将距离较近的中心点分配在一个簇中，从而减少后续对待检测血管同一位置的重复狭窄预测。
59.例如，如图4所示，分类网络(分类器)在待检测血管每个中心点位置预测一个值p∈(0,1)，表示该中心点存在狭窄的概率。然后将狭窄概率高于概率阈值θ的目标中心点进行聚类。将狭窄概率高于概率阈值的目标中心点进行聚类，可以减少非狭窄中心点后续的狭窄等级预测，提高计算效率和准确性。
60.聚类的具体方法为：计算这些中心点两两之间的距离，距离小于第二距离阈值γ2的两个点分配到同一个簇中，大于或等于γ2的两个中心点分配到不同簇中。
61.基于各簇中的目标中心点对应的第二融合特征，计算各簇对应的第三融合特征，包括：将各簇中的目标中心点对应的第二融合特征进行取平均值处理，得到各簇对应的第三融合特征。如此，第三融合特征能够较好、较准确地表征各簇的特征。
62.则每个簇中的点作为一处狭窄，将每个簇中的中心点的第二融合特征取平均后作为分级网络(分级器)分级器的输入，并预测该处狭窄的狭窄程度g。
63.同时，基于各簇中的目标中心点对应的狭窄概率，计算各簇对应的狭窄概率，作为待检测血管的狭窄概率，包括：将各簇中的目标中心点对应的狭窄概率进行取平均值处理，
得到各簇对应的狭窄概率，作为待检测血管的狭窄概率。如此，可以得到较准确的待检测血管的狭窄概率。
64.在本技术实施例中，通过分类网络及分级网络，能够快速、高效地对待检测血管上的狭窄进行定位与分级，且分类网络、分级网络结构简单，训练速度快。
65.在本技术实施例中，第一网络、第二网络、第三网络组成适用于本技术的血管狭窄分析模型。训练第一网络、第二网络、第三网络的步骤可以包括：
66.1、获取样本图像。
67.2、从样本图像中识别样本血管的样本血管中心线，样本血管中心线上包括多个样本中心点。
68.3、对样本图像上的每个样本中心点均标注狭窄标签，该狭窄标签可以为狭窄系数和狭窄等级。
69.4、基于样本图像及样本图像上的每个样本中心点标注的狭窄标签，对u-net网络模型进行狭窄分析的训练学习，在训练学习的过程中调整u-net网络的模型参数，直至u-net网络模型输出的狭窄分析结果，与每一样本中心点标注的狭窄标签相匹配。
70.5、将训练好的u-net网络模型作为最终的血管狭窄分析模型。
71.以下以心脏ct造影图像为例进行血管狭窄分析模型的训练过程说明。
72.a、样本收集：
73.收集900例心脏ct造影图像，将其按照8：1：1的比例随机划分为训练集、验证集、测试集。我们将使用训练集训练模型，用验证集挑选效果最佳的模型，并用测试集来评价最终效果。
74.b、训练超参数设置：
75.使用u-net模型进行训练，批次大小设置为32，学习率设置为0.003，采用随机梯度下降的方法对u-net模型训练，共训练40轮次。训练的优化器选择为adam。在u-net模型训练的过程中，每训练5个轮次将u-net模型进行保存，最后挑选出验证集上效果最好的u-net模型用于血管狭窄分析预测。训练和测试阶段，第一距离阈值γ1设置为10，第二距离阈值γ2设置为30，概率阈值θ设置为0.6。在训练阶段，分类网络和分级网络的损失函数都是crossentropyloss，
76.c、数据增强方式：
77.在训练过程中，为了缓解过拟合，对样本图像进行随机旋转。
78.需要说明的是，除了将上述的三个网络作为一个整体进行训练之外，在实际应用中，还可以对第一网络、第二网络、第三网络分别进行训练。
79.本技术实施例通过提供的图像处理方法，通过获取待检测原始图像，待检测原始图像包括待检测血管，待检测血管的血管中心线上包括多个中心点；基于第一网络对待检测原始图像进行特征提取，得到第一特征；从第一特征中提取待检测血管的各中心点的第二特征；将各中心点的第二特征与各中心点对应的位置编码进行融合，得到各中心点对应的第一融合特征；基于第二网络对各中心点的第一融合特征及各中心点对应的其他中心点的第一融合特征进行融合处理，得到各中心点对应的第二融合特征；基于第三网络对各中心点对应的第二融合特征进行分析，得到待检测血管的狭窄分析结果；如此，是在待检测原始图像上进行待检测血管的狭窄定位与分析，可以获取到丰富的3d语义信息，便于待检测
血管的狭窄分析，并且，通过将各中心点的第二特征与各中心点对应的位置编码进行融合，基于第二网络对各中心点的第一融合特征及各中心点对应的其他中心点的第一融合特征进行融合处理，得到各中心点对应的第二融合特征，可以使得待检测血管任一中心点的特征聚合到较大范围其他中心点的特征，从而大大增加待检测血管所有中心点的感受野，能够提高待检测血管狭窄分析结果的准确性。
80.在一个可选的实施例中，步骤s103，从第一特征中提取待检测血管的各中心点的第二特征，包括：确定待检测原始图像中待检测血管的各中心点对应的位置信息；从第一特征中提取与各位置信息对应的目标第一特征，得到待检测血管的各中心点的第二特征。
81.具体实施时，可以从待检测原始图像中提取待检测血管的血管中心线，得到各中心点对应的位置信息。然后从第一特征中提取与各位置信息对应的目标第一特征，得到各中心点的第二特征。
82.在本技术实施例中，通过确定待检测血管的各中心点的位置信息，可以准确提取到各中心点的第二特征。
83.在一个可选的实施例中，步骤s104，将各中心点的第二特征与各中心点对应的位置编码进行融合，得到各中心点对应的第一融合特征，包括：基于各中心点对应的位置信息计算各中心点对应的位置编码；将各中心点的第二特征与各中心点对应的位置编码进行加和，得到各中心点对应的第一融合特征。
84.在本技术实施例中，通过将各中心点的第二特征与各中心点对应的位置编码进行加和，可以使得第一融合特征具有中心点的位置特征，便于后续进行各中心点与其他中心点的特征融合，大大增大各中心点的感受野。
85.本技术实施例提供了一种图像处理装置，如图5所示，包括：
86.获取单元61，用于获取待检测原始图像，待检测原始图像包括待检测血管，待检测血管的血管中心线上包括多个中心点。
87.第一提取单元62，用于基于第一网络对待检测原始图像进行特征提取，得到第一特征。
88.第二提取单元63，用于从第一特征中提取待检测血管的各中心点的第二特征。
89.第一融合单元64，用于将各中心点的第二特征与各中心点对应的位置编码进行融合，得到各中心点对应的第一融合特征。
90.第二融合单元65，用于基于第二网络对各中心点的第一融合特征及各中心点对应的其他中心点的第一融合特征进行融合处理，得到各中心点对应的第二融合特征。
91.分析单元66，用于基于第三网络对各中心点对应的第二融合特征进行分析，得到待检测血管的狭窄分析结果。
92.本技术实施例通过提供的图像处理装置，通过获取待检测原始图像，待检测原始图像包括待检测血管，待检测血管的血管中心线上包括多个中心点；基于第一网络对待检测原始图像进行特征提取，得到第一特征；从第一特征中提取待检测血管的各中心点的第二特征；将各中心点的第二特征与各中心点对应的位置编码进行融合，得到各中心点对应的第一融合特征；基于第二网络对各中心点的第一融合特征及各中心点对应的其他中心点的第一融合特征进行融合处理，得到各中心点对应的第二融合特征；基于第三网络对各中心点对应的第二融合特征进行分析，得到待检测血管的狭窄分析结果；如此，是在待检测原
始图像上进行待检测血管的狭窄定位与分析，可以获取到丰富的3d语义信息，便于待检测血管的狭窄分析，并且，通过将各中心点的第二特征与各中心点对应的位置编码进行融合，基于第二网络对各中心点的第一融合特征及各中心点对应的其他中心点的第一融合特征进行融合处理，得到各中心点对应的第二融合特征，可以使得待检测血管任一中心点的特征聚合到较大范围其他中心点的特征，从而大大增加待检测血管所有中心点的感受野，能够提高待检测血管狭窄分析结果的准确性。
93.在一个可选的实施例中，第二提取单元用于确定待检测原始图像中待检测血管的各中心点对应的位置信息；从第一特征中提取与各位置信息对应的目标第一特征，得到待检测血管的各中心点的第二特征。
94.在一个可选的实施例中，第一融合单元用于基于各中心点对应的位置信息计算各中心点对应的位置编码；将各中心点的第二特征与各中心点对应的位置编码进行加和，得到各中心点对应的第一融合特征。
95.在一个可选的实施例中，第二网络为图卷积网络。
96.则第二融合单元用于基于多个中心点各自对应的位置信息建立无向图，其中，无向图中每个中心点为一个结点，距离小于第一距离阈值的任意两个中心点之间建立一条边；基于图卷积网络，对无向图、各中心点的第一融合特征及各中心点对应的其他中心点的第一融合特征进行处理，得到各中心点对应的第二融合特征。
97.在一个可选的实施例中，第三网络包括分类网络及分级网络。
98.则分析单元用于采用分类网络对各中心点对应的第二融合特征进行处理，得到各中心点对应的狭窄概率；确定狭窄概率大于概率阈值的目标中心点，将目标中心点按照距离进行聚类，得到多个簇；基于各簇中的目标中心点对应的第二融合特征，计算各簇对应的第三融合特征；采用分级网络对各簇对应的第三融合特征进行处理，得到各簇对应的狭窄等级，作为待检测血管的狭窄等级；基于各簇中的目标中心点对应的狭窄概率，计算各簇对应的狭窄概率，作为待检测血管的狭窄概率。
99.在一个可选的实施例中，分析单元用于基于各目标中心点的位置信息计算任意两个目标中心点之间的距离；将距离小于第二距离阈值的两个目标中心点分配到同一个簇中，距离大于或等于第二距离阈值的两个目标中心点分配到不同簇中，得到多个簇。
100.在一个可选的实施例中，分析单元用于将各簇中的目标中心点对应的第二融合特征进行取平均值处理，得到各簇对应的第三融合特征；
101.相应地，
102.分析单元用于将各簇中的目标中心点对应的狭窄概率进行取平均值处理，得到各簇对应的狭窄概率，作为待检测血管的狭窄概率。
103.根据本技术的实施例，本技术还提供了一种电子设备和一种可读存储介质。
104.图6示出了可以用来实施本技术的实施例的示例电子设备800的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本技术的实现。
105.如图6所示，设备800包括计算单元801，其可以根据存储在只读存储器(rom)802中的计算机程序或者从存储单元808加载到随机访问存储器(ram)803中的计算机程序，来执行各种适当的动作和处理。在ram 803中，还可存储设备800操作所需的各种程序和数据。计算单元801、rom 802以及ram 803通过总线804彼此相连。输入/输出(i/o)接口805也连接至总线804。
106.设备800中的多个部件连接至i/o接口805，包括：输入单元806，例如键盘、鼠标等；输出单元807，例如各种类型的显示器、扬声器等；存储单元808，例如磁盘、光盘等；以及通信单元809，例如网卡、调制解调器、无线通信收发机等。通信单元809允许设备800通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
107.计算单元801可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元801的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。计算单元801执行上文所描述的各个方法和处理，例如图像处理方法。例如，在一些实施例中，图像处理方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元808。在一些实施例中，计算机程序的部分或者全部可以经由rom 802和/或通信单元809而被载入和/或安装到设备800上。当计算机程序加载到ram 803并由计算单元801执行时，可以执行上文描述的图像处理方法的一个或多个步骤。备选地，在其他实施例中，计算单元801可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行图像处理方法。
108.本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、负载可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
109.用于实施本技术的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
110.在本技术的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或
上述内容的任何合适组合。
111.为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
112.可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)和互联网。
113.计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。
114.应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本技术公开的技术方案所期望的结果，本文在此不进行限制。
115.此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本技术的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
116.以上所述，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以所述权利要求的保护范围为准。