图像评测方法及相关装置、电子设备和存储介质与流程

文档序号:28923535发布日期:2022-02-16 13:46阅读:74来源:国知局
图像评测方法及相关装置、电子设备和存储介质与流程

1.本技术涉及图像处理技术领域,特别是涉及一种图像评测方法及相关装置、电子设备和存储介质。


背景技术:

2.ct(computed tomography,计算机断层扫描)图像等医学图像在辅助诊断等场景中具有极其重要意义。医生通过医学图像,可以对各个组织是否存在异常进行评测,并根据评测结果决策是否实施手术,以及采用何种手术等。
3.然而,在某些场景中,由于组织异常复杂、评估时限异常紧急等因素,往往导致医生很难在有限时限内给出评测结果,以进行相关决策。例如,在脑卒中等场景中,准确且快速地完成评测对于后续决策显得尤为关键。有鉴于此,如何准确且快速地对医学图像进行评测,以辅助医生提升决策速度和精度成为亟待解决的问题。


技术实现要素:

4.本技术提供一种图像评测方法及相关装置、电子设备和存储介质。
5.本技术第一方面提供了一种图像评测方法,包括:识别待测医学图像中目标对象的若干组织区域;采用多种评测方式分别对若干组织区域的图像数据进行评测,得到各个组织区域的评测结果;其中,多种评测方式至少包括基于神经网络的第一评测方式和基于预设规则的第二评测方式。
6.因此,识别待测医学图像中目标对象的若干组织区域,采用多种评测方式分别对若干组织区域的图像数据进行评测,得到各个组织区域的评测结果,且多种评测方式至少包括基于神经网络的第一评测方式和基于预设规则的第二评测方式,由于一方面无需通过手动阅片来进行评测,能够有利于提升评测速度,另一方面由于在评测过程中综合基于神经网络的第一评测方式、基于预设规则的第二评测方式等多种评测方式共同完成评测,能够有利于提升评测鲁棒性,故此能够准确且快速地对医学图像进行评测,以辅助医生提升决策速度和精度。
7.其中,多种评测方式包括第一评测方式,评测结果包括利用第一评测方式评测得到的第一评测结果,第一评测方式的执行步骤包括:利用评测模型的特征提取网络对组织区域的图像数据进行特征提取,得到组织特征图;利用评测模型的分类网络对组织特征图进行分类,得到组织区域的第一评测结果;其中,第一评测结果包括组织区域是否存在异常而触发扣分。
8.因此,利用评测模型的特征提取网络对组织区域的图像数据进行特征提取,得到组织特征图,并利用评测模型的分类网络对组织特征图进行分类,得到组织区域的第一评测结果,且第一评测结果包括组织区域是否存在异常而触发扣分,从而能够将医学图像的评测问题转换为特征分类问题,进而能够有利于降低评测复杂度,且通过机器学习来进行评测,也有利于提升评测精度。
9.其中,多种评测方式包括第二评测方式,评测结果包括利用第二评测方式评测得到的第二评测结果,第二评测方式的执行步骤包括:获取组织区域的图像数据中各个像素点的平均像素值,并统计组织区域的图像数据中像素值低于平均像素值的像素数量;基于像素数量,得到组织区域的第二评测结果;其中,第二评测结果包括组织区域是否存在异常而触发扣分。
10.因此,获取组织区域的图像数据中各个像素点的平均像素值,并统计组织区域的图像数据中像素值低于平均像素值的像素数量,以及基于像素数量,得到组织区域的第二评测结果,且第二评测结果包括组织区域是否存在异常而触发扣分,从而能够通过简单的像素统计即可实现评测,进而能够有利于降低评测复杂度。
11.其中,识别待测医学图像中若干组织区域,包括:将多个模板医学图像分别作为当前医学图像;其中,模板医学图像中标记有目标对象的各个组织区域;基于采样率由小到大的顺序,将待测医学图像与当前医学图像逐步进行采样并配准,得到配准参数;基于各个模板医学图像分别与当前医学图像之间的配准参数,获取各个配准参数的配准精度;将配准精度满足第一条件的配准参数作为目标参数,并将目标参数对应的模板医学图像作为目标医学图像;利用目标参数将目标医学图像与待测医学图像进行配准,得到待测医学图像中若干组织区域。
12.因此,将多个模板医学图像分别作为当前医学图像,且模板医学图像中标记有目标对象的各个组织区域,并基于采样率有小到大的顺序,将待测医学图像与当前医学图像逐步进行采样并配准,得到配准参数,以及基于各个模板医学图像分别与当前医学图像之间的配准参数,获取各个配准参数的配准精度,在此基础上,再将配准精度满足第一条件的配准参数作为目标参数,并将目标参数对应的模板医学图像作为目标医学图像,以及利用目标参数将目标医学图像与待测医学图像进行配准,得到待测医学图像中若干组织区域,即在组织区域的识别过程中,能够通过多尺度逐步配准的方式进行配准,有利于提升配准速度,在此基础上再根据各个配准参数的配准精度选择目标参数,并利用目标参数进行配准以获取待测医学图像中若干组织区域,有利于提升组织区域识别的速度和精度。
13.其中,基于采样率由小到大的顺序,将待测医学图像与当前医学图像逐步进行采样并配准,得到配准参数,包括:按照由小到大的顺序,选择采样率作为当前采样率;基于当前采样率分别对当前医学图像和待测医学图像进行采样,得到当前采样图像和待测采样图像;基于参考配准参数配准当前采样图像和待测采样图像之后的配准精度,调整参考配准参数直至配准之后的配准精度满足第二条件为止,作为当前采样率对应的配准参数;其中,参考配准参数为上一次选择的采样率对应的配准参数;将最大采样率对应的配准参数,作为待测医学图像与当前医学图像之间的配准参数。
14.因此,按照由小到大的顺序,选择采样率作为当前采样率,并基于当前采样率分别对当前医学图像和待测医学图像进行采样,得到当前采样图像和待测采样图像,以及基于参考配准参数配准当前采样图像和待测采样图像之间的配准精度,调整参考配准参数直至配准之后的配准精度满足第二条件为止,作为当前采样率对应的配准参数,且参考配准参数为上一次选择的采样率对应的配准参数,在此基础上,再将最大采样率对应的配准参数,作为待测医学图像与当前医学图像之间的配准参数,即在多尺度配准过程中,根据配准之后的配准精度来监督配准参数是否调整到位,有利于提升配准参数的准确性。
15.其中,配准的操作过程包括仿射、旋转、平移中至少一者;和/或,第一条件包括配准精度最高。
16.因此,将配准的操作过程设置为包括仿射、旋转、平移中至少一者,有利于降低配准过程的复杂度,提升配准速度,而将第一条件设置为包括配准精度最高,即能够将配准精度最高的配准参数作为目标参数,从而能够进一步提升组织区域的识别精度。
17.其中,在采用多种评测方式分别对若干组织区域的图像数据进行评测,得到各个组织区域的评测结果之后,方法还包括:在图像显示界面的第一显示区域显示待测医学图像,并在图像显示界面的第二显示区域显示组织列表;其中,第一显示区域在待测医学图像上标记有各个组织区域,且组织列表包含各个组织区域分别对应的数据项,数据项用于表征组织区域的评测结果。
18.因此,在得到评测结果之后,在图像显示界面的第一显示区域显示待测医学图像,并在图像显示界面的第二显示区域显示组织列表,且第一显示区域在待测医学图像上标记有各个组织区域,组织列表包含各个组织区域分别对应的数据项,数据项用于表征组织区域的评测结果,故能够直观展示各个组织区域以及各个组织区域的评测结果,有利于提升用户交互体验。
19.其中,评测结果包括组织区域由各种评测方式分别评测得到的扣分值,在采用多种评测方式分别对若干组织区域的图像数据进行评测,得到各个组织区域的评测结果之后,方法还包括:将多种评测方式分别作为当前方式;基于各个组织区域分别由当前方式评测得到的扣分值,得到当前方式的评测体系下目标对象的得分值。
20.因此,评测结果包括组织区域由各种评测方式分别评测得到的扣分值,在得到各个组织区域的评测结果之后,进一步将多种评测方式分别作为当前方式,并基于各个组织区域分别由当前方式评测得到的扣分值,得到当前方式的评测体系下目标对象的得分值,即最终能够得到各个评测方式的评测体系下目标对象的得分值,从而能够使得用户了解到目标对象在各个评测方式的评测体系下的得分值,进而能够提升辅助信息的丰富度。
21.其中,目标对象包括脑部,若干组织区域包括左脑各个脑区和/或右脑各个脑区。
22.因此,目标对象包括脑部,若干组织区域包括左脑各个脑区和/或右脑各个脑区,即能够通过检测脑部的待测医学图像,实现对脑部的相关评测。
23.本技术第二方面提供了一种图像评测装置,包括:识别模块和评测模块,识别模块,用于识别待测医学图像中目标对象的若干组织区域;评测模块,用于采用多种评测方式分别对若干组织区域的图像数据进行评测,得到各个脑区的评测结果;其中,多种评测方式至少包括基于神经网络的第一评测方式和基于预设规则的第二评测方式。
24.本技术第三方面提供了一种电子设备,包括相互耦接的存储器和处理器,处理器用于执行存储器中存储的程序指令,以实现上述第一方面中的图像评测方法。
25.本技术第四方面提供了一种计算机可读存储介质,其上存储有程序指令,程序指令被处理器执行时实现上述第一方面中的图像评测方法。
26.上述方案,识别待测医学图像中目标对象的若干组织区域,采用多种评测方式分别对若干组织区域的图像数据进行评测,得到各个组织区域的评测结果,且多种评测方式至少包括基于神经网络的第一评测方式和基于预设规则的第二评测方式,由于一方面无需通过手动阅片来进行评测,能够有利于提升评测速度,另一方面由于在评测过程中综合基
于神经网络的第一评测方式、基于预设规则的第二评测方式等多种评测方式共同完成评测,能够有利于提升评测鲁棒性,故此能够准确且快速地对医学图像进行评测,以辅助医生提升决策速度和精度。
附图说明
27.图1是本技术图像评测方法一实施例的流程示意图;
28.图2是图像显示界面一实施例的示意图;
29.图3是本技术图像评测装置一实施例的框架示意图;
30.图4是本技术电子设备一实施例的框架示意图;
31.图5是本技术计算机可读存储介质一实施例的框架示意图。
具体实施方式
32.下面结合说明书附图,对本技术实施例的方案进行详细说明。
33.以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、接口、技术之类的具体细节,以便透彻理解本技术。
34.本文中术语“系统”和“网络”在本文中常被可互换使用。本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,a和/或b,可以表示:单独存在a,同时存在a和b,单独存在b这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。此外,本文中的“多”表示两个或者多于两个。
35.请参阅图1,图1是本技术图像评测方法一实施例的流程示意图。
36.具体而言,可以包括如下步骤:
37.步骤s11:识别待测医学图像中目标对象的若干组织区域。
38.在一个实施场景中,目标对象可以根据实际应用需要进行设置。例如,在需要对脑部进行相关评测的情况下,目标对象可以为脑部,待测医学图像即为对脑部扫描得到的医学图像(如,ct图像等);或者,在需要对肝部进行相关评测的情况下,目标对象可以为肝部,待测医学图像即为对肝部扫描得到的医学图像。其他情况可以以此类推,在此不再一一举例。
39.在一个实施场景中,如前所述,目标对象可以根据实际应用需要进行设置,对应地,目标对象的组织区域包括但不限于根据目标对象的解剖结构而划分的若干区域。示例性地,在目标对象为脑部的情况下,目标对象的若干组织区域可以包括左脑各个脑区和/或右脑各个脑区,需要说明的是,通常来说,左脑各个脑区与右脑各个脑区存在一一对应关系,具体而言,左脑和右脑都存在如下十个脑区:尾状核、豆状核、内囊、岛叶皮质、大脑中动脉前皮质层区(m1)、大脑中动脉岛叶外侧皮质区(m2)、大脑中动脉后皮层区(m3)、m1上方的大脑中动脉皮层、m2上方的大脑中动脉皮层和m3上方的大脑中动脉皮层。其他情况可以以此类推,在此不再一一举例。
40.在一个实施场景中,可以预先训练一个区域分割模型,并利用区域分割模型对待测医学图像进行区域分割,得到待测医学图像中目标对象的各个组织区域。区域分割模型可以包括但不限于:deepmask、mask rcnn等,在此对区域分割模型的网络结构不做限定。具体地,可以预先采集若干样本医学图像,且样本医学图像可以标注有各个样本像素点所属
的样本像素类别,样本像素类别具体为若干组织区域、图像背景中任一种。以目标对象是脑部为例,某一样本像素点的样本像素类别可以为上述十种脑区以及图像背景共十一种类别中的一种。在此基础上,可以利用区域分割模型对样本医学图像进行区域分割,得到样本医学图像中样本像素点的预测像素类别,且与样本像素类别类似地,预测像素类别具体为若干组织区域、图像背景中任一种,从而可以基于各个样本像素点关于样本像素类别与预测像素类别之间的差异,调整区域分割模型的网络参数。需要说明的是,差异的具体度量方式可以参阅诸如交叉熵等损失的技术细节,参数的具体调整方式可以参阅诸如梯度下降等优化方式的技术细节,在此不再赘述。此外,在训练得到区域分割模型之后,可以利用区域分割模型对待测医学图像进行区域分割,得到待测医学图像中各个像素点的像素类别,与前述样本像素类别、预测像素类别类似地,像素类别具体为若干组织区域、图像背景中任一种。基于此,可以将属于相同像素类别的像素点所形成的连通域,作为一个组织区域,从而可以识别得到待测医学图像中目标对象的各个组织区域。
41.在一个实施场景中,在样本数据缺乏,特别是具有精准标注的样本数据缺乏的情况下,由于样本稀缺可能引发模型训练精度较差,从而影响组织区域识别精度。在此情况下,也可以通过图像配准来实现组织区域的识别。具体而言,可以将多个模板医学图像分别作为当前医学图像,且模板医学图像中标记有目标对象的各个组织区域,再基于采样率由小到大的顺序,将待测医学图像与当前医学图像逐步进行采样并配准,得到配准参数,以及基于各个模板医学图像分别与当前医学图像之间的配准参数,获取各个配准参数的配准精度。在此基础上,可以将配准精度满足第一条件的配准参数作为目标参数,并将目标参数对应的模板医学图像作为目标医学图像,以及利用目标参数将目标医学图像与待测医学图像进行配准,得到待测医学图像中若干组织区域。上述方式,在组织区域的识别过程中,能够通过多尺度逐步配准的方式进行配准,有利于提升配准速度,在此基础上再根据各个配准参数的配准精度选择目标参数,并利用目标参数进行配准以获取待测医学图像中若干组织区域,有利于提升组织区域识别的速度和精度。
42.在一个具体的实施场景中,以目标对象是脑部为例,可以预先收集诸如圆形、方形等脑壳为不同外形的医学图像,并分别在这些医学图像中标记脑部的各个组织区域(即各个脑区),作为模板医学图像。其他情况可以以此类推,在此不再一一举例。
43.在一个具体的实施场景中,示例性地,由小到大排序的采样率可以包括但不限于:0.2、0.4、0.8、1.0等,在此不做限定。此外,为了尽可能地提升配准精度,由小到大排序的采样率中最大的采样率可以是数值为1的采样率,即在多尺度配准过程中,最终需以原分辨率进行配准。
44.在一个具体的实施场景中,可以按照采样率由小到大的顺序,选择采样率作为当前采样率。以前述几种采样率为例,可以先选择0.2作为当前采样率,之后可以选择0.4作为当前采样率,以此类推,直至选择1.0作为当前采样率。进一步地,可以基于当前采样率分别对当前医学图像和待测医学图像进行采样,得到当前采样图像和待测采样图像,以当前采样率是0.2为例,可以按照0.2的采样率分别对当前医学图像和待测医学图像进行降采样,降采样之后的医学图像即分别为当前采样图像和待测采样图像。之后,可以基于参考配准参数配准当前采样图像和待测采样图像之后的配准精度,调整参考配准参数直至配准之后的配准精度满足第二条件为止,作为当前采样率对应的配准参数,且参考配准参数为上一
次选择的采样率对应的配准参数,如在选择0.4作为当前采样率时,参考配准参数就是选择0.2作为当前配准参数之后通过上述采样、配准、调整等步骤得到的配准参数。此外,在配准操作过程中,可以采用仿射、旋转、平移等至少一种操作。需要说明的是,为了降低精度度量的复杂度,配准精度具体可以通过配准之后目标对象的边缘分别在两个图像上的重合度来度量,边缘重合越高,可以认为配准精度越高;反之,边缘重合度越低,可以认为配准精度越低。在此基础上,第二条件可以设置为配准精度高于精度阈值,也就是说在参考配准参数通过若干次调整之后,若基于调整之后的参考配准参数配准当前采样图像和待测采样图像之后的配准精度高度精度阈值时,可以认为此时的参考配准参数已经调整到位了。对于由小到大排序的各个采样率,均可以执行上述操作,直至得到最大采样率对应的配准参数之后,即可将最大采样率对应的配准参数,作为待测医学图像与当前医学图像之间的配准参数。仍以上述几种采样率为例,可以先选择0.2作为当前采样率,并基于该采样率对当前医学图像和待测医学图像进行采样,由于该采样率为最小采样率,也为首次选择的采样率,故可以将预设配置参数作为参考配准参数,并基于此反复实施配准、调整等操作,直至配准精度满足条件为止,即可作为采样率0.2对应的配准参数;接来下,可以选择0.4作为当前采样率,并基于该采样率对当前医学图像和待测医学图像进行采样,以及将采样率0.2对应的配置参数作为参考配准参数,并基于此反复实施配准、调整等操作,直至配准精度满足条件为止,即可作为采样率0.4对应的配准参数,对于后续几种采样率,可以以此类推,直至得到采样率1.0对应的配准参数为止,即可作为待测医学图像与当前医学图像之间的配准参数。上述方式,在多尺度配准过程中,根据配准之后的配准精度来监督配准参数是否调整到位,有利于提升配准参数的准确性。
45.需要说明的是,以待测医学图像是三维医学图像为例,在目标对象为脑部的情况下,以待测医学图像中脊髓向大脑皮层的延伸方向视为z轴,以与z轴垂直的两条轴分别视为x轴和y轴,三条坐标轴的交点视为原点o,则在配准过程中,可以限制xoy平面旋转,以此能够减少左脑被配准到右脑而右脑又被配准到左脑的情况,有利于提升配准的准确性。
46.在一个具体的实施场景中,在得到每个模板医学图像与待测医学图像之间的配准参数之后,可以基于各个模板医学图像分别与当前医学图像之间的配准参数,获取各个配准参数的配准精度。如前所述,为了降低精度度量的复杂度,配准精度具体可以通过配准之后目标对象的边缘分别在两个图像上的重合度来度量,边缘重合越高,可以认为配准精度越高;反之,边缘重合度越低,可以认为配准精度越低。
47.在一个具体的实施场景中,第一条件可以设置为配准精度最高,也就是说,在度量得到各个配准参数的配准精度之后,即可将最高的配准精度对应的配准参数作为目标参数,进一步地,可以将目标参数对应的模板医学图像作为目标医学图像。以设置n个模板医学图像为例,通过上述操作即可得到每个模板医学图像与待测医学图像之间的配准参数,从而可以根据每一个模板医学图像对应的配置参数来度量配准精度,并选择配准精度最高的第i个配准参数作为目标参数,对应地,第i个模板医学图像即可作为目标医学图像。
48.在一个具体的实施场景中,在得到目标参数之后,即可利用目标参数将待测医学图像和目标医学图像进行配准,从而可以将配准之后目标医学图像中所标记的各个组织区域在待测医学图像中的映射区域,作为待测医学图像中若干组织区域。
49.步骤s12:采用多种评测方式分别对若干组织区域的图像数据进行评测,得到各个
组织区域的评测结果。
50.本公开实施例中,多种评测方式至少包括基于神经网络的第一评测方式和基于预设规则的第二评测方式。
51.在一个实施场景中,多种评测方式可以包括第一评测方式,评测结果可以包括利用第一评测方式评测得到的第一评测结果,具体而言,可以利用评测模型的特征提取网络对组织区域的图像数据进行特征提取,得到组织特征图,并利用评测模型的分类网络对组织特征图进行分类,得到组织区域的第一评测结果,且第一评测结果包括组织区域是否存在异常而触发扣分。上述方式,能够将医学图像的评测问题转换为特征分类问题,进而能够有利于降低评测复杂度,且通过机器学习来进行评测,也有利于提升评测精度。
52.在一个具体的实施场景中,特征提取网络可以包括但不限于卷积层、激活层、池化层等,在此不做限定。
53.在一个具体的实施场景中,分类网络可以包括但不限于全连接层、归一化层等,在此不做限定。
54.在一个具体的实施场景中,分类网络具体可以为二分类网络,即经分类网络的分类操作之后,可以得到组织区域存在异常的概率值和组织区域不存在异常的概率值,基于此可以将概率值较大一者作为最终的分类结果。例如,在分类结果为组织区域存在异常的情况下,第一评测结果即为组织区域存在异常而触发扣分,或者,在分类结果为组织区域不存在异常的情况下,第一评测结果即为组织区域不存在异常未触发扣分。
55.在一个具体的实施场景中,可以预先收集若干样本医学图像,且样本医学图像中标注有目标对象的若干组织区域是否存在异常的样本标签。在此基础上,可以利用特征提取网络对组织区域的图像数据进行特征提取,得到样本特征图,并利用分类网络对样本特征图进行分类,得到组织区域是否存在异常的预测标签,以及基于样本标签与预测标签的差异,调整评测模型的网络参数。需要说明的是,差异的具体度量方式可以参阅诸如交叉熵等损失函数的技术细节,参数的具体调整方式可以参阅诸如梯度下降等优化方式的技术细节,在此不再赘述。
56.在一个实施场景中,多种评测方式可以包括第二评测方式,评测结果可以包括利用第二评测方式评测得到的第二评测结果,具体而言,可以获取组织区域的图像数据中各个像素点的平均像素值,并统计组织区域的图像数据中像素值低于平均像素值的像素数量,以及基于像素数量,得到组织区域的第二评测结果,且第二评测结果包括组织区域是否存在异常而触发扣分。上述方式,能够通过简单的像素统计即可实现评测,进而能够有利于降低评测复杂度。
57.在一个具体的实施场景中,以待测医学图像是ct图像为例,像素点的hu(hounsfiled unit)值即可视为像素值,则对于待测医学图像中识别得到的各个组织区域而言,均可以获取各个像素点的平均hu值作为平均像素值。其他情况可以以此类推,在此不再一一举例。
58.在一个具体的实施场景中,在得到各个组织区域中像素值低于片平均像素值的像素数量之后,对于每一组织区域,还可以进一步统计像素数量占组织区域的总像素数量的比例,若该比例高于比例阈值,则可以认为该组织区域存在低密度灶,从而可以确定该组织区域的第二评测结果为存在异常而触发扣分,反之可以确定该组织区域的第二评测结果为
不存在异常未触发扣分。需要说明的是,比例阈值可以根据实际情况进行设置,如可以设置为1/3、1/2等等,在此不做限定。
59.在一个具体的实施场景中,在目标对象为脑部的情况下,对于左右脑中同一种组织区域而言,还可以在获取到其中一个组织区域的第二评测结果之后,获取两个组织区域之间的像素差异(如,hu值之差),若像素差异低于差异阈值,则可以认为两个组织区域存在较高的相似性,则可以确定两个组织区域的第二评测结果相同,即在其中一个组织区域的第二评测结果为存在异常而触发扣分的情况下,可以确定另一个组织区域的第二评测结果也为存在异常而触发扣分,或者,在其中一个组织区域的第二评测结果为不存在差异未触发扣分的情况下,可以确定另一个组织区域的第二评测结果也为不存在差异未触发扣分。反之,若像素差异不低于差异阈值,则可以认为两个组织区域之间的相似性较低,则其中一个组织区域既得的第二评测结果,不能作为用于确定另一组织区域的第二评测结果的依据,则可以对另一组织区域执行上述获取组织区域的图像数据中各个像素点的平均像素值的步骤以及后续步骤,以得到该组织区域的第二评测结果。上述方式,在目标对象为脑部的情况下,对于同一种组织区域结合低密度灶以及像素差异两者共同确定第二评测结果,有利于降低第二评测结果的确定复杂度。
60.在一个实施场景中,在得到评测结果之后,还可以将待测医学图像和评测结果显示于图像显示界面,以供医生直观了解各个组织区域的评测结果。具体地,可以在第一显示区域显示待测医学图像,可以在第二显示区域显示组织列表,且第一显示区域在待测医学图像上标记有各个组织区域,组织列表包含各个组织区域分别对应的数据项,数据项用于表征组织区域的评测结果。上述方式,能够直观展示各个组织区域以及各个组织区域的评测结果,有利于提升用户交互体验。
61.在一个具体的实施场景中,如前所述,待测医学图像可以是三维医学图像,则待测医学图像可以认为在若干预设位面包含若干二维医学图像。若干预设位面具体可以包括但不限于:冠状面、横断面、矢状面等,在此不做限定。例如,对于尺寸256*256*32的待测医学图像(即长度为256、宽度为256、高度为32)而言,可以认为其在横断面由32个二维医学图像沿高度方向层叠构成,在冠状面由256个二维医学图像沿宽度方向层叠构成,在矢状面也由256个二维医学图像沿长度方向层叠构成,其他情况可以以此类推,在此不再一一举例。此时,第一显示区域可以默认显示待测医学图像在默认位面上默认层的二维医学图像。默认位面具体可以设置为横断面,默认层具体可以设置为中间层,即第一显示区域默认显示待测医学图像在横断面中间层的二维医学图像。仍以前述尺寸256*256*32的待测医学图像为例,第一显示区域可以默认显示其横断面第16层(或第17层)的二维医学图像。其他情况可以以此类推,在此不再一一举例。在此情况下,第一显示区域在二维医学图像上可以标记有组织区域。请结合参阅图2,图2是图像显示界面一实施例的示意图。如图2所示,第一显示区域显示有二维医学图像,且二维医学图像上标记有组织区域(即图中白色虚线圈画所示)。其他情况可以以此类推,在此不再一一举例。
62.在一个具体的实施场景中,如前所述,待测医学图像可以是三维医学图像,第一显示区域可以默认显示待测医学图像在默认位面上默认层的二维医学图像。进一步地,用户也可以切换至任意位面上任意二维医学图像。例如,也可以切换至横断面第一层、第二层、第三层等二维医学图像,在此不再一一举例。例如,图像显示界面可以设有图像切换控件,
以支持用户进行切换。例如,图像切换控件可以设置为进度条状,通过移动进度条上的滑块即可切换显示二维医学图像;或者,图像切换控件可以设置为“+”“—”按钮,通过点击“+”按钮即可切换显示下一张二维医学图像,通过点击“—”按钮,即可切换显示上一张二维医学图像。需要说明的是,上述几种控件类型仅仅是实际应用过程中可能使用的情况,并不因此而限定图像切换控件的实际类型。
63.在一个具体的实施场景中,数据项可以包含组织区域的像素值。例如,在待测医学图像为ct图像时,数据项可以包含组织区域的平均hu值。请结合参阅图2,以目标对象是脑部为例,可以显示左脑的组织列表以及右脑的组织列表,组织列表中各个白色矩形区域均表示数据项,数据项中诸如c、ic、l、i、m1~m6分别代表不同组织区域。具体来说,c表示尾状核、ic表示内囊、l表示豆状核、i表示岛叶皮质、m1表示大脑中动脉前皮质层区、m2表示大脑中动脉岛叶外侧皮质区、m3表示大脑中动脉后皮层区、m4表示m1上方的大脑中动脉皮层、m5表示m2上方的大脑中动脉皮层、m6表示m3上方的大脑中动脉皮层。进一步地,这些缩写右侧的数字表示对应的组织区域的平均hu值。在此基础上,当评测结果表示组织区域存在异常而触发扣分时,组织列表上该组织区域对应的数据项中像素值可以突出显示。例如,可以采用图2所示,将该组织区域对应的数据项中像素值以灰色底色予以突出显示,当然也可以采用诸如红色、绿色等底色,在此不做限定。
64.在一个具体的实施场景中,图像显示界面上还可以设置评测切换控件,通过评测切换控件可以切换显示不同评测方式评测得到的评测结果。如图2所示,图像显示界面当前所示的评测结果是由预设规则对组织区域的图像数据进行评测所得到的第二评测结果,则通过评测切换控件,可以将图像显示界面所示的评测结果切换为由神经网络对组织区域的图像数据进行评测所得到的第一评测结果。通过这种方式,用户可以自由切换查看由不同评测方式所评测得到的评测结果。
65.在一个实施场景中,评测结果具体可以包括组织区域由各种评测方式分别评测得到的扣分值。基于此,可以将多种评测方式分别作为当前方式,并基于各个组织区域分别由当前方式评测得到的扣分值,得到当前方式的评测体系下目标对象的得分值。上述方式,最终能够得到各个评测方式的评测体系下目标对象的得分值,从而能够使得用户了解到目标对象在各个评测方式的评测体系下的得分值,进而能够提升辅助信息的丰富度。
66.在一个具体的实施场景中,满分可以为组织区域的数量,如存在十个组织区域,则满分即可以记为十分,且在评测结果包括组织区域存在异常而触发扣分时,相应的扣分值可以为一分,以存在十个组织区域为例,若一个组织区域存在异常,则得分值为九分,若两个组织区域存在异常,则得分值为八分。其他情况可以以此类推,在此不再一一举例。
67.在一个具体的实施场景中,如图2所示,仍以目标对象是脑部为例,组织区域l、组织区域i存在异常而触发扣分,则在十个脑区满分记为十分的基础上,最终的得分值为八分。其他情况可以以此类推,在此不再一一举例。
68.在一个具体的实施场景中,如前所述,图像显示界面上还可以设置评测切换控件,通过评测切换控件可以切换显示不同评测方式评测得到的评测结果。进一步地,通过评测切换控件可以显示不同评测方式的评测体系下目标对象的得分值。
69.在一个实施场景中,在得到评测结果之后,也可以基于待测医学图像和评测结果,形成结构化的检测报告。例如,检测报告的第一页可以列明每种评测方式的评测体系下各
个组织区域的评测结果(如,扣分值、平均hu值等)以及目标对象最终的得分值,检测报告的后续几页可以展示若干预设位面上的二维医学图像,并在二维医学图像上标记出各个组织区域。
70.上述方案,识别待测医学图像中目标对象的若干组织区域,采用多种评测方式分别对若干组织区域的图像数据进行评测,得到各个组织区域的评测结果,且多种评测方式至少包括基于神经网络的第一评测方式和基于预设规则的第二评测方式,由于一方面无需通过手动阅片来进行评测,能够有利于提升评测速度,另一方面由于在评测过程中综合基于神经网络的第一评测方式、基于预设规则的第二评测方式等多种评测方式共同完成评测,能够有利于提升评测鲁棒性,故此能够准确且快速地对医学图像进行评测,以辅助医生提升决策速度和精度。
71.请参阅图3,图3是本技术图像评测装置30一实施例的框架示意图。图像评测装置30包括识别模块31和评测模块32,识别模块31,用于识别待测医学图像中目标对象的若干组织区域;评测模块32,用于采用多种评测方式分别对若干组织区域的图像数据进行评测,得到各个脑区的评测结果;其中,多种评测方式至少包括基于神经网络的第一评测方式和基于预设规则的第二评测方式。
72.上述方案,由于一方面无需通过手动阅片来进行评测,能够有利于提升评测速度,另一方面由于在评测过程中综合基于神经网络的第一评测方式、基于预设规则的第二评测方式等多种评测方式共同完成评测,能够有利于提升评测鲁棒性,故此能够准确且快速地对医学图像进行评测,以辅助医生提升决策速度和精度。
73.在一些公开实施例中,多种评测方式包括第一评测方式,评测结果包括利用第一评测方式评测得到的第一评测结果,评测模块32包括第一评测子模块,且第一评测子模块包括特征提取单元,用于利用评测模型的特征提取网络对组织区域的图像数据进行特征提取,得到组织特征图;第一评测子模块包括特征分类单元,用于利用评测模型的分类网络对组织特征图进行分类,得到组织区域的第一评测结果;其中,第一评测结果包括组织区域是否存在异常而触发扣分。
74.因此,能够将医学图像的评测问题转换为特征分类问题,进而能够有利于降低评测复杂度,且通过机器学习来进行评测,也有利于提升评测精度。
75.在一些公开实施例中,多种评测方式包括第二评测方式,评测结果包括利用第二评测方式评测得到的第二评测结果,评测模块32包括第二评测子模块,且第二评测子模块包括像素统计单元,用于获取组织区域的图像数据中各个像素点的平均像素值,并统计组织区域的图像数据中像素值低于平均像素值的像素数量;第二评测子模块包括结果获取单元,用于基于像素数量,得到组织区域的第二评测结果;其中,第二评测结果包括组织区域是否存在异常而触发扣分。
76.因此,能够通过简单的像素统计即可实现评测,进而能够有利于降低评测复杂度。
77.在一些公开实施例中,识别模块31包括图像选择子模块,用于将多个模板医学图像分别作为当前医学图像;其中,模板医学图像中标记有目标对象的各个组织区域;识别模块31包括采样配准子模块,用于基于采样率由小到大的顺序,将待测医学图像与当前医学图像逐步进行采样并配准,得到配准参数;识别模块31包括精度度量子模块,用于基于各个模板医学图像分别与当前医学图像之间的配准参数,获取各个配准参数的配准精度;识别
模块31包括目标选择子模块,用于将配准精度满足第一条件的配准参数作为目标参数,并将目标参数对应的模板医学图像作为目标医学图像;识别模块31包括区域映射子模块,用于利用目标参数将目标医学图像与待测医学图像进行配准,得到待测医学图像中若干组织区域。
78.因此,在组织区域的识别过程中,能够通过多尺度逐步配准的方式进行配准,有利于提升配准速度,在此基础上再根据各个配准参数的配准精度选择目标参数,并利用目标参数进行配准以获取待测医学图像中若干组织区域,有利于提升组织区域识别的速度和精度。
79.在一些公开实施例中,采样配准子模块包括采样率选择单元,用于按照由小到大的顺序,选择采样率作为当前采样率;采样配准子模块包括图像采样单元,用于基于当前采样率分别对当前医学图像和待测医学图像进行采样,得到当前采样图像和待测采样图像;采样配准子模块包括参数调整单元,用于基于参考配准参数配准当前采样图像和待测采样图像之后的配准精度,调整参考配准参数直至配准之后的配准精度满足第二条件为止,作为当前采样率对应的配准参数;其中,参考配准参数为上一次选择的采样率对应的配准参数;采样配准子模块包括参数确定单元,用于将最大采样率对应的配准参数,作为待测医学图像与当前医学图像之间的配准参数。
80.因此,在多尺度配准过程中,根据配准之后的配准精度来监督配准参数是否调整到位,有利于提升配准参数的准确性。
81.在一些公开实施例中,配准的操作过程包括仿射、旋转、平移中至少一者;和/或,第一条件包括配准精度最高。
82.因此,将配准的操作过程设置为包括仿射、旋转、平移中至少一者,有利于降低配准过程的复杂度,提升配准速度,而将第一条件设置为包括配准精度最高,即能够将配准精度最高的配准参数作为目标参数,从而能够进一步提升组织区域的识别精度。
83.在一些公开实施例中,图像评测装置30还包括显示模块,用于在图像显示界面的第一显示区域显示待测医学图像,并在图像显示界面的第二显示区域显示组织列表;其中,第一显示区域在待测医学图像上标记有各个组织区域,且组织列表包含各个组织区域分别对应的数据项,数据项用于表征组织区域的评测结果。
84.因此,能够直观展示各个组织区域以及各个组织区域的评测结果,有利于提升用户交互体验。
85.在一些公开实施例中,评测结果包括组织区域由各种评测方式分别评测得到的扣分值,图像评测装置30还包括方式选择模块,用于将多种评测方式分别作为当前方式;图像评测装置30还包括得分统计模块,用于基于各个组织区域分别由当前方式评测得到的扣分值,得到当前方式的评测体系下目标对象的得分值。
86.因此,最终能够得到各个评测方式的评测体系下目标对象的得分值,从而能够使得用户了解到目标对象在各个评测方式的评测体系下的得分值,进而能够提升辅助信息的丰富度。
87.在一些公开实施例中,目标对象包括脑部,若干组织区域包括左脑各个脑区和/或右脑各个脑区。
88.因此,目标对象包括脑部,若干组织区域包括左脑各个脑区和/或右脑各个脑区,
即能够通过检测脑部的待测医学图像,实现对脑部的相关评测。
89.请参阅图4,图4是本技术电子设备40一实施例的框架示意图。电子设备40包括相互耦接的存储器41和处理器42,处理器42用于执行存储器41中存储的程序指令,以实现上述任一图像评测方法实施例的步骤。在一个具体的实施场景中,电子设备40可以包括但不限于:微型计算机、服务器,此外,电子设备40还可以包括笔记本电脑、平板电脑等移动设备,在此不做限定。
90.具体而言,处理器42用于控制其自身以及存储器41以实现上述任一图像评测方法实施例的步骤。处理器42还可以称为cpu(central processing unit,中央处理单元)。处理器42可能是一种集成电路芯片,具有信号的处理能力。处理器42还可以是通用处理器、数字信号处理器(digital signal processor,dsp)、专用集成电路(application specific integrated circuit,asic)、现场可编程门阵列(field-programmable gate array,fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外,处理器42可以由集成电路芯片共同实现。
91.上述方案,由于一方面无需通过手动阅片来进行评测,能够有利于提升评测速度,另一方面由于在评测过程中综合基于神经网络的第一评测方式、基于预设规则的第二评测方式等多种评测方式共同完成评测,能够有利于提升评测鲁棒性,故此能够准确且快速地对医学图像进行评测,以辅助医生提升决策速度和精度。
92.请参阅图5,图5为本技术计算机可读存储介质50一实施例的框架示意图。计算机可读存储介质50存储有能够被处理器运行的程序指令501,程序指令501用于实现上述任一图像评测方法实施例的步骤。
93.上述方案,由于一方面无需通过手动阅片来进行评测,能够有利于提升评测速度,另一方面由于在评测过程中综合基于神经网络的第一评测方式、基于预设规则的第二评测方式等多种评测方式共同完成评测,能够有利于提升评测鲁棒性,故此能够准确且快速地对医学图像进行评测,以辅助医生提升决策速度和精度。
94.在本技术所提供的几个实施例中,应该理解到,所揭露的方法和装置,可以通过其它的方式实现。例如,以上所描述的装置实施方式仅仅是示意性的,例如,模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性、机械或其它的形式。
95.作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
96.另外,在本技术各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
97.集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本技术的技术方案本质上或者
说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本技术各个实施方式方法的全部或部分步骤。而前述的存储介质包括:u盘、移动硬盘、只读存储器(rom,read-only memory)、随机存取存储器(ram,random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1