1.本公开的实施例涉及医学图像处理领域,并且更具体地,涉及训练视盘出血检测模型的方法、设备和存储介质。
背景技术:2.视盘出血常位于视盘颞上或者颞下区域。在眼底图像中,视盘出血是视盘上大致垂直于视盘边缘的孤立的火焰状或者碎片状出血区域。视盘出血情形具有与血管相似以及临近血管等特点,从而导致在眼底图像中对视盘出血进行检测具有很大的挑战。
技术实现要素:3.在本公开的第一方面中,提供了一种训练视盘出血检测模型的方法。该方法包括获取眼底图像,该眼底图像包括视盘出血的真实出血信息。该方法还包括对眼底图像进行图像分析,以获得至少指示眼底图像中的视盘的边缘的视盘边缘信息。该方法还包括利用眼底图像和视盘边缘信息,训练视盘出血检测模型。
4.在本公开的第二方面中,提供了一种处理眼底图像的方法。该方法包括对眼底图像进行图像分析,以获得至少指示眼底图像中的视盘的边缘的视盘边缘信息。该方法还包括基于眼底图像和视盘边缘信息,根据用于检测视盘出血的经训练的视盘出血检测模型,来检测视盘出血信息。该方法还包括输出视盘出血信息。
5.根据本公开的第二方面,该方法还包括:在根据经训练的视盘出血检测模型检测视盘出血信息之后,确定所检测的视盘出血信息是否满足视盘出血条件。视盘出血条件至少指示以下中的一项或多项:出血区域与视盘的边缘的夹角、出血区域的形状、以及出血区域与视盘的重叠。该方法还包括:响应于所检测的视盘出血信息满足视盘出血条件,输出视盘出血信息。
6.在本公开的第三方面中,提供了一种电子设备,该电子设备包括处理器以及与处理器耦合的存储器,存储器具有存储于其中的指令,指令在被处理器执行时使设备执行动作。动作包括获取眼底图像,该眼底图像包括视盘出血的真实出血信息。动作还包括对眼底图像进行图像分析,以获得至少指示眼底图像中的视盘的边缘的视盘边缘信息。动作还包括利用眼底图像和视盘边缘信息,训练视盘出血检测模型。
7.在本公开的第四方面中,提供了一种电子设备,该电子设备包括处理器以及与处理器耦合的存储器,存储器具有存储于其中的指令,指令在被处理器执行时使设备执行动作。动作包括对眼底图像进行图像分析,以获得至少指示眼底图像中的视盘的边缘的视盘边缘信息。动作还包括基于眼底图像和视盘边缘信息,根据用于检测视盘出血的经训练的视盘出血检测模型,来检测视盘出血信息。动作还包括输出视盘出血信息。
8.在本公开的第五方面中,提供了一种计算机程序产品,计算机程序产品被有形地存储在计算机可读介质上并且包括机器可执行指令,机器可执行指令在被执行时使机器执行根据第一方面以及第二方面的方法。
9.提供发明内容部分是为了简化的形式来介绍对概念的选择,它们在下文的具体实施方式中将被进一步描述。发明内容部分无意标识本公开的关键特征或主要特征,也无意限制本公开的范围。
附图说明
10.通过结合附图对本公开示例性实施例进行更详细的描述,本公开的上述以及其它目的、特征和优势将变得更加明显,其中,在本公开示例性实施例中,相同的参考标号通常代表相同部件。在附图中:
11.图1示出了眼底图像中的视盘出血的示意图;
12.图2示出了根据本公开的实施例的用于训练视盘出血检测模型的示例方法的流程图;
13.图3示出了根据本公开的一些实施例的用于基于视盘边缘信息来训练视盘出血检测模型的示例方法的流程图;
14.图4示出了根据本公开的另一实施例的用于根据视盘出血检测模型检测眼底图像中的视盘出血信息的示例方法的流程图;
15.图5示出了根据本公开的一些实施例的用于确定检测到的视盘出血信息是否满足视盘出血条件的示例方法的流程图;以及
16.图6示出了可以用来实施本公开的实施例的示例设备的框图。
具体实施方式
17.下面将参考附图中示出的若干示例实施例来描述本公开的原理。虽然附图中显示了本公开的优选实施例,但应当理解,描述这些实施例仅是为了使本领域技术人员能够更好地理解进而实现本公开,而并非以任何方式限制本公开的范围。
18.在本文中使用的术语“包括”及其变形表示开放性包括,即“包括但不限于”。除非特别申明,术语“或”表示“和/或”。术语“基于”表示“至少部分地基于”。术语“一个示例实施例”和“一个实施例”表示“至少一个示例实施例”。术语“另一实施例”表示“至少一个另外的实施例”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。
19.图1示出了眼底图像100中的视盘120出血的示意图。如图1所示,视盘120的出血区域110
‑
1和出血区域110
‑
2(也可统称为或者单独称为“出血区域110”)与视盘边缘基本垂直,且呈孤立的火焰状(如出血区域110
‑
2所示)或者碎片状(如出血区域110
‑
1所示)。在已知的传统方案中,对视盘出血的检测基于例如使用直方图、边缘检测以及颜色分析等的图像处理方法,在去除血管的感兴趣区域内检测视盘出血。然而,这样的方法虽然可以检测出视盘出血,但是在例如边缘检测阈值的设定、后处理视盘出血大小的设定等过程中,需要较强的专业知识,而且误检率高。此外,在已知的传统方案中,在一次检测中,只能在眼底图像中最多保留一个视盘出血的检测结果。
20.本公开的实施例提出了一种训练视盘出血检测模型的方案,使得不需要人工设定参数,实现视盘出血的自动检测。
21.根据本公开的各个实施例,包括视盘出血的真实出血信息的眼底图像被获取。对
该眼底图像进行图像分析,从而获得视盘边缘信息。该视盘边缘信息至少指示眼底图像中的视盘的边缘。然后利用眼底图像和视盘边缘信息来训练视盘出血检测模型。
22.根据在此描述的实施例,利用视盘边缘信息来检测眼底图像中的视盘出血,可以更好地减小误检率。此外,通过使用经训练的视盘出血检测模型来检测视盘出血,因为无需人工设定检测参数,所以可以实现自动检测。而且,在一次检测中,可以在眼底图像中保留多个视盘出血的检测结果。
23.以下参考图2至图6来说明本公开的基本原理和若干示例实现方式。应当理解,给出这些示例性实施例仅是为了使本领域技术人员能够更好地理解进而实现本公开的实施例,而并非以任何方式限制本公开的范围。
24.图2示出了根据本公开的实施例的用于训练视盘出血检测模型的示例方法200的流程图。应当理解,方法200还可以包括未示出的附加动作和/或可以省略所示出的动作,本公开的范围在此方面不受限制。以下结合图1来详细描述方法200。
25.在框210处,眼底图像被获取,该眼底图像包括视盘出血的真实出血信息。真实出血信息可以是在所获取的眼底图像中已经被预先确定的信息。例如,真实出血信息可以是由专业医师在眼底图像中进行标注的。例如,通过眼底照相设备,如图1所示的眼底图像100可以被获取。在该眼底图像100中,出血区域110指示真实出血信息。真实出血信息用于在后述对视盘出血检测模型的训练中作为预测的目标与所预测的结果进行比较,这将在后文详细描述。
26.在框220处,对眼底图像进行图像分析,以获得至少指示眼底图像中的视盘的边缘的视盘边缘信息。例如,可以利用已知的或者未来将要研发的图像处理方法,来对在框210处所获取的眼底图像100进行图像分析。
27.首先,在眼底图像中检测指示视盘在眼底图像中的大概位置的视盘边框。在一些实施例中,可以使用已知的传统边缘检测技术来检测眼底图像中的视盘边框。在一些实施例中,还可以使用基于深度学习的方法,例如利用已知的目标检测模型来检测视盘边框。目标检测模型可以是例如fasterr
‑
cnn、单发多盒检测器(single shot multibox detector,ssd)、yolo(you only look once)等。但并不限定于此,也可以使用定制的目标检测模型来检测视盘边框。
28.然后,基于所检测到的视盘边框,从未经图像处理的眼底图像中确定合适的感兴趣区域。在一些实施例中,感兴趣区域的形状是正方形。在其他一些实施例中,感兴趣区域的形状也可以是矩形或者其他形状,本公开的范围在此方面不受限制。在眼底图像中截取该感兴趣区域对应的部分作为感兴趣区域图像。该感兴趣区域图像包括所检测到的视盘边框。
29.在一些实施例中,也可以基于所检测到的视盘边框,计算出视盘的中心。或者利用上述目标检测模型来检测视盘的中心。然后,基于计算出的或者所检测到的视盘的中心,来确定合适的感兴趣区域。
30.例如,感兴趣区域的半径roi
radius
可以如下表示:
31.roi
radius
=λ*max(disc
ver_diameter
,disc
hor_diameter
)
ꢀꢀꢀ
(1)
32.λ表示范围系数,可以是例如1.5。disc
ver_diameter
表示视盘垂直方向的直径。disc
hor_diameter
表示视盘水平方向的直径。max(disc
ver_diameter
,disc
hor_diameter
)表示取括号内
较大的一项的值。
33.接下来,对该感兴趣区域图像进行图像分析,以获得视盘边缘信息。
34.在一些实施例中,可以利用分层注意网络hanet(ding,f.,yang,g.,liu,j.,wu,j.,&li,x.(2019).hierarchical attention networks for medical image segmentation)来分割感兴趣区域图像,以提取视盘的边缘轮廓。也可以使用其他的分割模型(例如unet、mnet、cenet等)来对感兴趣区域图像进行分割。在一些实施例中,还可以使用传统的图像分割算法来提取视盘的边缘轮廓。在实际操作中,可以使用可以对图像进行分割的任何方法或算法,本公开的范围在此方面不受限制。
35.接着,对所提取的边缘轮廓进行极坐标变换。基于高斯分布,对经极坐标变换的边缘轮廓进行扩展。最后,对经极坐标变换经扩展的边缘轮廓进行反极坐标变换,得到视盘边缘强度图像。至少将该视盘边缘强度图像作为视盘边缘信息,以供后述的训练视盘出血检测模型的过程。
36.通过利用边缘检测算法计算的梯度,能够找到图像中的物体的边缘,因为物体的边缘处有较大的梯度值。因此,在一些实施例中,还可以生成视盘边缘梯度图像作为视盘边缘信息。例如,利用边缘检测算法,在上述感兴趣区域图像内计算梯度。得到整个感兴趣区域图像内的梯度后,保留感兴趣区域的半径roi
radius
的0.25倍至0.75倍的环形范围内的梯度信息,视盘的边缘被包括在这个环形区域内。然后生成包括经保留的梯度信息的视盘边缘梯度图像作为视盘边缘信息。
37.在一些实施例中,也可以采用其他已知的边缘扩展方法,基于所提取的边缘轮廓生成视盘边缘信息。在一些实施例中,可以根据经训练的定制的边缘扩展模型,来基于所提取的边缘轮廓生成视盘边缘信息。
38.在框230处,利用眼底图像和视盘边缘信息,视盘出血检测模型被训练。例如,可以利用如图1所示的眼底图像100和在框220处获得的视盘边缘信息,训练视盘出血检测模型。
39.在一些实施例中,可以利用上述感兴趣区域图像和上述视盘边缘信息,来训练视盘出血检测模型。下文将结合图3详细描述训练视盘出血检测模型的步骤。
40.以此方式,因为视盘出血检测模型已经被预先训练,在检测时无需人工设定检测参数,所以可以实现视盘出血的自动检测。而且因为模型是利用视盘的视盘边缘信息被训练的,所以可以减小检测时的误检率。
41.图3示出了根据本公开的一些实施例的用于基于视盘边缘信息来训练视盘出血检测模型的示例方法300的流程图。方法300可以视为方法200中的框230的示例实现。应当理解,方法300还可以包括未示出的附加动作和/或可以省略所示出的动作,本公开的范围在此方面不受限制。
42.在框310处,基于眼底图像和视盘边缘信息,根据视盘出血检测模型,来预测视盘出血信息。例如,可以基于如图1所示的眼底图像100和结合图2所描述的视盘边缘信息,根据视盘出血检测模型,来预测视盘出血信息。
43.在一些实施例中,可以基于结合图2所描述的感兴趣区域图像和视盘边缘信息,根据视盘出血检测模型,来预测视盘出血信息。
44.例如,可以将感兴趣区域图像和视盘边缘信息融合,得到眼底图像的原始信息与视盘边缘信息融合的经融合信息图像。
45.在一些实施例中,可以通过将感兴趣区域图像的rgb图像3通道与视盘边缘强度图像1通道拼接为4通道,得到经融合信息图像。在一些实施例中,也可以使用其他融合方法进行融合,例如像素级别的加法乘法运算等。
46.接着,经融合信息图像被输入到视盘出血检测模型中,通过其中的特征编码器被提取图像特征。特征编码器可以是基于去掉全连接层的resnext101。经融合信息图像的原始输入大小可以是高512像素、宽512像素、4通道,经过4次下采样,最终提取到高32像素、宽32像素、2048通道的图像特征。
47.然后,在视盘出血检测模型中,通过对特征编码器所提取的图像特征进行卷积以及上采样等操作,预测视盘出血区域作为预测视盘出血信息的至少一部分。卷积可以经过卷积核大小分别为1
×
1和3
×
3的卷积层。上采样操作可以将所提取的特征上采样为4倍。
48.在一些实施例中,还可以根据视盘出血检测模型来预测视盘出血中心。例如,由特征编码器提取的上述图像特征还可以用来对视盘出血的中心进行回归。具体地,在视盘出血检测模型中,由特征编码器提取的图像特征可以经过卷积核大小分别为1
×
1和3
×
3的卷积层、池化层、压平层和全连接层,从而视盘出血中心的预测坐标被预测。
49.在框320处,基于所预测的视盘出血信息与真实出血信息之间的差异,训练视盘出血检测模型。例如,视盘出血检测模型被训练,使得如上述预测的视盘出血信息与眼底图像中的真实出血信息之间的差异逐渐减小。
50.在一些实施例中,还可以基于以下中的一项或多项的加权和来训练视盘出血检测模型:所预测的视盘出血区域与真实出血信息中的真实出血区域之间的差异、以及所预测的视盘出血中心与真实出血信息中的真实出血中心之间的差异。
51.例如,所预测的视盘出血区域与真实出血信息中的真实出血区域之间的差异loss
seg
可以如下表示:
[0052][0053]
n表示感兴趣区域图像中像素的个数,k∈{0,1}表示分割类别,0表示背景,1表示前景(视盘出血)。y
ik
表示第i个像素的真实类别,其中y
ik
∈{0,1}。p
ik
表示第i个像素被预测为第k个类别的概率,其中p
ik
∈[0,1]。
[0054]
所预测的视盘出血中心与真实出血信息中的真实出血中心之间的差异loss
reg
可以如下表示:
[0055][0056]
x和y表示真实出血中心的真实坐标。和表示所预测的视盘出血中心的预测坐标。
[0057]
loss
seg
和loss
reg
的加权和loss可以如下表示:
[0058]
loss=α*loss
seg
+β*loss
reg
ꢀꢀꢀꢀ
(4)
[0059]
α和β表示权重系数,可以分别取0.5,也可以取其他值。
[0060]
然后,通过迭代地反向传播所预测的视盘出血信息与真实出血信息之间的差异,使得差异逐渐减小(即所预测的视盘出血信息越来越接近真实出血信息),从而得到经训练
的视盘出血检测模型。迭代的次数可以预先设定,例如100次。
[0061]
图4示出了根据本公开的另一实施例的用于根据视盘出血检测模型检测眼底图像中的视盘出血信息的示例方法400的流程图。应当理解,方法400还可以包括未示出的附加动作和/或可以省略所示出的动作,本公开的范围在此方面不受限制。
[0062]
在框410处,对眼底图像进行图像分析,以获得至少指示眼底图像中的视盘的边缘的视盘边缘信息。对框410所涉及的实施例的描述可以参考结合图2对框220所涉及的实施例的描述。
[0063]
在框420处,基于眼底图像和视盘边缘信息,根据用于检测视盘出血的经训练的视盘出血检测模型,来检测视盘出血信息。例如,可以基于如图1所示的眼底图像100和在框410处获得的视盘边缘信息,根据视盘出血检测模型,来检测视盘出血信息。该视盘出血检测模型是根据结合图2和图3所描述的方法而被训练的模型。
[0064]
在一些实施例中,可以基于感兴趣区域图像和视盘边缘信息,根据视盘出血检测模型,来检测视盘出血信息。对感兴趣区域图像的描述同样可以参考结合图2对框220所涉及的实施例的描述。
[0065]
在框420之后,方法400可以向框430行进。在框430处,确定在框420处检测到的视盘出血信息是否满足视盘出血条件。下文将结合图5详细描述这种实施例。
[0066]
在框440处,输出视盘出血信息。
[0067]
以此方式,通过利用视盘的视盘边缘信息,根据经训练的视盘出血检测模型,可以减小视盘出血的误检率。而且,与利用传统图像处理算法对眼底图像进行图像分析从而检测视盘出血的方法相比,在一次检测中,可以在眼底图像中保留一个或多个检测结果。提高了检测效率。
[0068]
图5示出了根据本公开的一些实施例的用于确定检测到的视盘出血信息是否满足视盘出血条件的示例方法500的流程图。方法500可以视为方法400中的框430的示例实现。应当理解,方法500还可以包括未示出的附加动作和/或可以省略所示出的动作,本公开的范围在此方面不受限制。
[0069]
在框510处,确定在框420处检测到的视盘出血信息中包括的出血区域与视盘的边缘的夹角是否在夹角阈值范围内。夹角阈值范围根据视盘出血信息中包括的出血区域的形状而变化。
[0070]
具体地,对所检测到的出血区域进行椭圆拟合,并且计算该椭圆的中心位置。计算椭圆长轴与椭圆中心和视盘中心的连线的夹角θ和π
‑
θ。如果|θ|≤γ或者|π
‑
θ|≤γ,则说明所检测到的出血区域与视盘的边缘基本垂直,满足视盘出血条件。γ表示夹角阈值范围。
[0071]
接下来,说明夹角阈值范围γ的计算方法。
[0072][0073][0074]
[0075]
rss
perimeter
表示所拟合的椭圆的周长。res
area
表示所拟合的椭圆的面积。ρ和τ表示中间变量。
[0076]
根据理论“相同周长下圆围成的面积最大”可知,当所拟合的轮廓为圆形时,中间变量τ最小值为4π。极限情况下,当所拟合的轮廓为一条线段时,所拟合的轮廓的面积为0。此时中间变量τ取到最大值+∞。
[0077]
根据式(5)至式(7)可知,γ的取值范围是(0
°
,90
°
]。轮廓越接近于圆,γ的值越接近于90
°
。轮廓越狭长,γ的值越接近于0
°
。换言之,所检测到的出血区域越是狭长,判断其是否与视盘的边缘基本垂直就越严格,否则越宽松。
[0078]
如果在框510处的结果为“是”,则方法500向框520行进。如果在框510处的结果为“否”,则丢弃检测到的视盘出血信息。
[0079]
在框520处,确定在框420处检测到的视盘出血信息中包括的出血区域的形状是否是视盘出血条件所指示的形状,例如火焰状或者碎片状。可以利用已知的或者未来将要研发的图像分析方法来进行确定。例如,可以利用传统的几何形状检测方法,也可以基于深度学习的方法,本公开的范围在此方面不受限制。
[0080]
基于深度学习的方法可以是例如使用真实出血信息训练一个机器学习模型,诸如svm以及决策树等。然后,对出血区域的形状进行分类建模,分类可以是例如火焰状、碎片状以及其他形状。在框420处检测到的出血区域经过训练好的机器学习模型,来确定其形状是否为视盘出血条件所指示的形状。如果确定出血区域的形状是火焰状或碎片状(框520的“是”),则方法500向框530行进。否则丢弃检测到的视盘出血信息。
[0081]
在框530处,确定在框420处检测到的视盘出血信息中包括的出血区域与视盘是否重叠。例如,可以通过比较所检测到的出血区域的像素位置是否与视盘区域的像素位置重叠,来进行确定。在一些实施例中,也可以利用其他图像分析方法来进行确定。本公开的范围在此方面不受限制。
[0082]
如果在框530处的结果为“是”,则返回到图4中的框440。如果在框530处的结果为“否”,则丢弃检测到的视盘出血信息。
[0083]
以此方式,因为在根据视盘出血检测模型检测到视盘出血信息之后,进一步对检测结果进行处理筛选,所以能够进一步减小误检率,使得检测结果更加精准。
[0084]
图6示出了可以用来实施本公开内容的实施例的示例设备600的示意性框图。例如,如图2所示的方法200以及如图4所示的方法400可以分别由设备600实施。如图6所示,设备600包括中央处理单元(cpu)601,其可以根据存储在只读存储器(rom)602中的计算机程序指令或者从存储单元608加载到随机访问存储器(ram)603中的计算机程序指令,来执行各种适当的动作和处理。在ram 603中,还可存储设备600操作所需的各种程序和数据。cpu 601、rom 602以及ram 603通过总线604彼此相连。输入/输出(i/o)接口605也连接至总线604。
[0085]
设备600中的多个部件连接至i/o接口605,包括:输入单元606,例如键盘、鼠标等;输出单元607,例如各种类型的显示器、扬声器等;存储单元608,例如磁盘、光盘等;以及通信单元609,例如网卡、调制解调器、无线通信收发机等。通信单元609允许设备600通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
[0086]
上文所描述的各个过程和处理,例如方法200和方法400,可由处理单元601执行。
例如,在一些实施例中,方法200和方法400可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元608。在一些实施例中,计算机程序的部分或者全部可以经由rom 602和/或通信单元609而被载入和/或安装到设备600上。当计算机程序被加载到ram 603并由cpu 601执行时,可以执行上文描述的方法200和方法400的一个或多个动作。
[0087]
本公开可以是方法、装置、系统和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质,其上载有用于执行本公开的各个方面的计算机可读程序指令。
[0088]
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是——但不限于——电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、静态随机存取存储器(sram)、便携式压缩盘只读存储器(cd
‑
rom)、数字多功能盘(dvd)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身,诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如,通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
[0089]
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备,或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令,并转发该计算机可读程序指令,以供存储在各个计算/处理设备中的计算机可读存储介质中。
[0090]
用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(isa)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码,编程语言包括面向对象的编程语言—诸如smalltalk、c++等,以及常规的过程式编程语言—诸如“c”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络—包括局域网(lan)或广域网(wan)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中,通过利用计算机可读程序指令的状态信息来个性化定制电子电路,例如可编程逻辑电路、现场可编程门阵列(fpga)或可编程逻辑阵列(pla),该电子电路可以执行计算机可读程序指令,从而实现本公开的各个方面。
[0091]
这里参照根据本公开实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解,流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合,都可以由计算机可读程序指令实现。
[0092]
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理单元,从而生产出一种机器,使得这些指令在通过计算机或其它可编程数据处理装置的处理单元执行时,产生了实现流程图和/或框图中的一个或多个方框中规定
的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中,这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作,从而,存储有指令的计算机可读介质则包括一个制造品,其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
[0093]
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上,使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤,以产生计算机实现的过程,从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
[0094]
附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分,模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
[0095]
以上已经描述了本公开的各实施例,上述说明是示例性的,并非穷尽性的,并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择,旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进,或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。