一种基于关键帧的病灶自动标注方法和系统与流程

1.本发明涉及超声报告处理技术领域，尤其涉及一种基于关键帧的病灶自动标注方法和系统。


背景技术：

2.目前已有超声视频标注系统大部分都是人工对视频关键帧进行标注，然后通过一些算法自动对整个视频进行标注；小部分系统不需要人工勾画病灶，全自动标注的方法，是针对乳腺超声造影视频，对普通的超声视频的自动标注效果较差。


技术实现要素：

3.基于上述问题，本发明提供一种基于关键帧的病灶自动标注方法和系统，旨在解决现有技术中，超声视频帧标注人工标注成本高、标注其他非关键帧的病灶位置和轮廓不准确等技术问题。
4.一种基于关键帧的病灶自动标注方法，通过扫查方式获取病灶的超声视频，并包括如下步骤：
5.步骤a1，从由超声视频分解形成的超声图像序列中提取标记有测量点的关键帧图像作为第一超声图像；
6.步骤a2，针对每一帧第一超声图像，获取第一超声图像中的测量点的坐标，并形成一坐标序列；
7.步骤a3，根据坐标序列获取关联于病灶的外接矩形框作为第一矩形框；
8.步骤a4，根据第一矩形框提取第一超声图像的感兴趣区域，以得到感兴趣图像；
9.步骤a5，采用预先训练好的特征识别模型对关联于第一超声图像的感兴趣图像进行识别，获得病灶的轮廓特征数据作为第一特征数据；
10.步骤a6，根据第一特征数据在第一超声图像上自动标注出病灶的病灶轮廓；
11.步骤a7，获取第一超声图像中标注的病灶轮廓的外接矩形框作为第二矩形框；
12.步骤a8，获取第一超声图像的相邻的且不是关键帧图像的超声图像作为关联于第一超声图像的第二超声图像；
13.步骤a9，利用第二矩形框，对第二超声图像进行轮廓搜寻处理，获取在第二超声图像中病灶的轮廓特征数据作为第二特征数据；
14.步骤a10，根据第二特征数据在第二超声图像上自动标注出病灶的病灶轮廓；
15.则针对每一帧关键帧图像，分别执行步骤a2至步骤a10，以分别在关键帧图像以及相邻且不是关键帧图像的超声图像上对病灶的病灶轮廓进行自动标注。
16.进一步的，步骤a3包括：
17.步骤a301，从坐标序列中获取最小横坐标、最大横坐标、最小纵坐标以及最大纵坐标；
18.步骤a302，将最小横坐标、最大横坐标、最小纵坐标和最大纵坐标扩展后形成第一
矩形框。
19.进一步的，步骤a9包括：
20.步骤a901，将第二矩形框坐标对应到第二超声图像中，向外扩张得到第三矩形框，将第三矩形框作为第二超声图像中的关联于病灶的矩形框；
21.步骤a902，基于第三矩形框获取第二超声图像的感兴趣区域作为感兴趣图像；
22.步骤a903，采用预先训练好的特征识别模型对第二超声图像的感兴趣图像进行识别，获得病灶的第二特征数据；
23.步骤a904，根据第二特征数据在第二超声图像上自动标注出病灶轮廓。
24.进一步的，步骤a9包括：
25.步骤a911，利用第二矩形框：在第二超声图像上向第一方向移动第一预设距离获得第四矩形框，向第二方向移动第一预设距离获得第五矩形框，向第三方向移动第一预设距离获得第六矩形框，向第四方向移动第一预设距离获得第七矩形框；向第一方向、第二方向、第三方向和第四方向分别扩张一第二预设距离获得第八矩形框；
26.步骤a912，基于第四矩形框获取第二超声图像的感兴趣区域作为第一图像；基于第五矩形框获取第二超声图像的感兴趣区域作为第二图像；基于第六矩形框获取第二超声图像的感兴趣区域作为第三图像；基于第七矩形框获取第二超声图像的感兴趣区域作为第四图像；基于第八矩形框获取第二超声图像的感兴趣区域作为第五图像；
27.步骤a913，采用特征识别模型分别对第一图像至第五图像进行识别，以分别获取第一图像至第五图像中的病灶的轮廓特征数据；
28.步骤a914，将第一图像至第五图像中识别的病灶的轮廓特征数据分别在第二超声图像中进行病灶轮廓标记以分别获得各自对应的标记图像；
29.步骤a915，分别将第一图像至第五图像对应的标记图像中的病灶轮廓与第一超声图像标注的病灶轮廓进行轮廓重合度计算；
30.步骤a916，具有最大的轮廓重合度对应的标记图像作为标注有病灶轮廓的第二超声图像。
31.进一步的，执行步骤a916前，先执行下述步骤：
32.步骤b1，判断最大的轮廓重合度是否大于一第二阈值：
33.若是，则继续步骤a916；
34.若否，则输出第二超声图像中未找到病灶的提示信息。
35.进一步的，第二超声图像为第一超声图像的前一帧超声图像且不是关键帧图像；
36.将第二超声图像作为第一超声图像，将第二超声图像的前一帧超声图像作为第二超声图像，重复步骤a7
‑
a10，依次实现对关键帧图像的前n帧不是关键帧的超声图像的自动标注，n大于等于1。
37.进一步的，第二超声图像为第一超声图像的后一帧超声图像且不是关键帧图像；
38.将第二超声图像作为第一超声图像，将第二超声图像的后一帧超声图像作为第二超声图像，重复步骤a7
‑
a10，依次实现对关键帧图像的后m帧不是关键帧的超声图像的自动标注，m大于等于1。
39.进一步的，第一预设距离和第二预设距离均为像素的个数。
40.进一步的，测量点为在生成超声报告时在超声报告中对病灶进行测量时，由使用
者点击产生的点；
41.在步骤a2中，对于测量点，基于支持向量机识别算法提取关键帧图像中的测量点的坐标；或者
42.在生成关键帧图像时，已经实时记录点击产生的点的坐标作为测量点的坐标并保存，直接获取保存的测量点的坐标。
43.一种基于关键帧的病灶自动标注系统，包含前述的一种基于关键帧的病灶自动标注方法，通过扫查方式获取病灶的超声视频，并包括：
44.第一图像获取模块，用于获取由超声视频分解形成的超声图像序列；
45.第二图像获取模块，连接第一图像获取模块，用于从超声图像序列中提取标记有测量点的关键帧图像作为第一超声图像；
46.坐标获取模块，连接第二图像获取模块，用于针对每一帧第一超声图像，获取第一超声图像中测量点的坐标，并形成一坐标序列；
47.第一区域获取模块，连接坐标获取模块，用于根据坐标序列获取关联于病灶的外接矩形框作为第一矩形框；
48.第二区域获取模块，连接第一区域获取模块，根据第一矩形框提取第一超声图像的感兴趣区域，以得到感兴趣图像；
49.轮廓识别模块，连接第二区域获取模块，采用预先训练好的特征识别模型对关联于第一超声图像的感兴趣图像进行识别，获得病灶的轮廓特征数据作为第一特征数据；
50.自动标注模块，分别连接第二图像获取模块和轮廓识别模块，用于根据第一特征数据在第一超声图像上自动标注出病灶的病灶轮廓；
51.第三区域获取模块，连接自动标注模块，用于获取第一超声图像中标注的病灶轮廓的外接矩形框作为第二矩形框；
52.第三图像获取模块，分别连接第一图像获取模块和第二图像获取模块，用于获取与第一超声图像的相邻的且不是关键帧图像的超声图像作为关联于第一超声图像的第二超声图像；
53.特征获取模块，分别连接第三区域获取模块和第三图像获取模块，用于利用第二矩形框，对第二超声图像进行轮廓搜寻处理，获取在第二超声图像中病灶的轮廓特征数据作为第二特征数据；
54.自动标注模块，连接特征获取模块，用于根据第二特征数据在第二超声图像上自动标注出病灶的病灶轮廓。
55.本发明的有益技术效果是：利用已有的测量点的坐标提取感兴趣区域，对关键帧图像的病灶的识别更为准确，利用关键帧标注的病灶轮廓依次对相邻帧进行自动标注，使得病灶轮廓标注更为准确，效率更高，并且相对于人工标注显著减低人工标注成本。
附图说明
56.图1为本发明一种基于关键帧的病灶自动标注方法的步骤流程图；
57.图2为本发明一种基于关键帧的病灶自动标注方法的另一种优选实施方式的步骤流程图；
58.图3为本发明一种基于关键帧的病灶自动标注方法的另一种优选实施方式的步骤
流程图；
59.图4为本发明一种基于关键帧的病灶自动标注方法的另一种优选实施方式的步骤流程图；
60.图5为本发明一种基于关键帧的病灶自动标注系统的模块示意图。
具体实施方式
61.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
62.需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
63.下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。
64.参见图1，本发明提供一种基于关键帧的病灶自动标注方法，包括如下步骤：
65.步骤a1，从由超声视频分解形成的超声图像序列中提取标记有测量点的关键帧图像作为第一超声图像，关键帧图像是指标记有测量点的超声图像；
66.步骤a2，针对每一帧第一超声图像，获取第一超声图像中测量点的坐标，并形成一坐标序列；
67.步骤a3，根据坐标序列获取关联于病灶的外接矩形框作为第一矩形框；
68.步骤a4，根据第一矩形框提取第一超声图像的感兴趣区域，以得到感兴趣图像；
69.步骤a5，采用预先训练好的特征识别模型对关联于第一超声图像的感兴趣图像进行识别，获得病灶的轮廓特征数据作为第一特征数据；
70.步骤a6，根据第一特征数据在第一超声图像上自动标注出病灶的病灶轮廓；
71.步骤a7，获取第一超声图像中标注的病灶轮廓的外接矩形框作为第二矩形框；
72.步骤a8，获取第一超声图像的相邻的且不是关键帧图像的超声图像作为关联于第一超声图像的第二超声图像；
73.步骤a9，利用第二矩形框，对第二超声图像进行轮廓搜寻处理，获取在第二超声图像中病灶的轮廓特征数据作为第二特征数据；
74.步骤a10，根据第二特征数据在第二超声图像上自动标注出病灶的病灶轮廓；
75.则针对每一帧关键帧图像，分别执行步骤a2至步骤a10，以分别在关键帧图像以及相邻且不是关键帧图像的超声图像上对病灶的病灶轮廓进行自动标注。
76.目前已有很多超声扫查视频，且其对应的超声报告中，都已对视频关键帧图像中的病灶大小进行了测量，本发明正是根据这些测量点的坐标，计算出病灶的外接矩形，利用这些已有的超声视频和关键帧图像中的病灶数据，不仅可以节省大量的人工标注成本，由于诊断医生对病灶的辨识度比普通的标注医生更加专业，因此由诊断医生标出的病灶位置即测量点更加准确，能获得更加准确的病灶位置，使得病灶轮廓识别更为准确，自动标注准确率更高，效率更高。
77.在本发明中，进一步的，测量点为在生成超声视频报告时在超声图像中对病灶进行测量时点击产生的点，带有测量点的超声图像为关键帧图像。
78.具体的，对于测量点坐标的获取，基于支持向量机识别算法提取超声报告图像中的测量点，即获取关键帧超声图像的测量点的坐标；或者
79.在生成超声图像时，已经实时记录点击产生的点的坐标作为测量点的坐标并保存，直接获取保存的测量点的坐标。
80.此时，生成的超声图像已有测量点，根据图像算法(svm识别算法)进行超声报告病灶大小测量点的获取。
81.在医生给病人进行超声检查生成超声视频时，直接记录医生在某一帧超声图像上测量病灶大小时，点击的病灶边缘点的坐标，也即测量点的坐标，设病灶边缘点坐标序列为points list，将这些点的坐标保存下来，在步骤a2中直接从保存中获取测量点的坐标，无需识别算法进行识别。如，医生点击测量病灶时的4个点，实时获取4个点的坐标并保存。在进行自动标注需要时直接获取，无需根据超声报告再进行对应图像的识别和提取。
82.具体的，特征识别模型的训练过程包括如下步骤：
83.步骤c1，收集若干张带有病灶的超声图像，并由人工画出每张超声图像中关于病灶的外接矩形框；
84.步骤c2，对外接矩形框进行处理，截取感兴趣区域，获得感兴趣图像；
85.步骤c3，由人工描绘出感兴趣图像中的病灶轮廓；
86.步骤c4，根据人工描绘的病灶轮廓获取对应的病灶掩膜图像；
87.步骤c5，构建特征识别模型，利用感兴趣图像和病灶掩膜图像作为训练样本对特征识别模型进行训练，形成第一版本的特征识别模型。
88.具体的，收集的超声图像的数量可以是1000张。人工画出每张图像中病灶的外接矩形，系统根据外接矩形，截取roi图像。人工描绘出roi图像中病灶的轮廓。根据人工描绘的病灶轮廓点，得到roi图像对应的病灶mask。使用1000张roi图像和mask图像作为第一版模型的训练样本，使用unet+self attention网络进行训练，生成第一版的病灶轮廓识别模型，即特征识别模型。
89.具体的，步骤a6之后，针对关键帧图像的病灶轮廓自动标注后，还可以由医生判断在关键帧图像中标注的病灶轮廓是否正确：
90.若是，则继续步骤s1；
91.若否，则继续步骤s2；
92.步骤s1，保存自动标注出病灶轮廓的关键帧图像；
93.步骤s2，由人工在关键帧图像中标注病灶轮廓，根据人工标注的病灶轮廓提取病灶轮廓并保存，同时保存与关键帧图像对应的感兴趣图像。
94.当自动标注的病灶轮廓不正确时，需要医生手动标出，此种情况较少。医生观察自动标注的病灶轮廓是否正确，若病灶轮廓正确，则记录标注结果；若病灶轮廓不正确，则人工画出关键帧图像的病灶轮廓。
95.在步骤a8中，还需要保存人工标注病灶轮廓的关键帧图像。
96.进一步的，特征识别模型的训练过程还包括：
97.步骤s3，将步骤s2中新保存的病灶轮廓和提取关键帧图像的感兴趣图像加入训练样本形成新的训练样本；
98.步骤s4，利用新的训练样本对特征识别模型重新进行训练，训练完成以形成新版
本的特征识别模型。
99.每间隔一段时间，将人工标注过程中保存的roi图像和病灶轮廓，作为新的样本图像放到训练集中，重新使用unet+self attention网络进行训练，生成第n版的病灶轮廓识别模型(n>1)。
100.具体的，特征提取模型为unet结合自注意力机制的神经网络模型。
101.本发明包括自动标注过程、特征识别模型的生成和自动更新另个部分。特征识别模型的生成和自动更新有助于提高将来的轮廓识别的准确度。
102.进一步的，参见图2，步骤a3包括：
103.步骤a301，从坐标序列中获取最小横坐标、最大横坐标、最小纵坐标以及最大纵坐标；
104.步骤a302，将最小横坐标、最大横坐标、最小纵坐标和最大纵坐标扩展后形成第一矩形框。
105.具体的，以最小横坐标减去第一阈值得到的数值、最小纵坐标减去第一阈值得到的数值、最大横坐标加上第一阈值得到的数值和最大纵坐标加上第一阈值得到的数值为基准形成第一矩形框。
106.具体的，第一阈值为20。
107.进一步的，参见图3，步骤a9包括：
108.步骤a901，将第二矩形框坐标对应到第二超声图像中，对第二矩形框向外扩张得到第三矩形框，将第三矩形框作为第二超声图像中的关联于病灶的矩形框；
109.步骤a902，基于第三矩形框获取第二超声图像的感兴趣区域作为感兴趣图像；
110.步骤a903，采用预先训练好的特征识别模型对第二超声图像的感兴趣图像进行识别，获得病灶的第二特征数据；
111.步骤a904，根据第二特征数据在第二超声图像上自动标注出病灶轮廓。
112.进一步的，参见图4，步骤a9包括：
113.步骤a911为：利用第二矩形框：在第二超声图像上向第一方向移动第一预设距离获得第四矩形框，向第二方向移动第一预设距离获得第五矩形框，向第三方向移动第一预设距离获得第六矩形框，向第四方向移动第一预设距离获得第七矩形框；向第一方向、第二方向、第三方向和第四方向分别扩张一第二预设距离获得第八矩形框；
114.步骤a912为：基于第四矩形框获取第二超声图像的感兴趣区域作为第一图像；基于第五矩形框获取第二超声图像的感兴趣区域作为第二图像；基于第六矩形框获取第二超声图像的感兴趣区域作为第三图像；基于第七矩形框获取第二超声图像的感兴趣区域作为第四图像；基于第八矩形框获取第二超声图像的感兴趣区域作为第五图像；
115.步骤a913为：采用特征识别模型分别对第一图像至第五图像进行识别，以分别获取第一图像至第五图像中的病灶的轮廓特征数据；
116.步骤a914，将第一图像至第五图像中识别的病灶的轮廓特征数据分别在第二超声图像中进行病灶轮廓标记以分别获得各自对应的标记图像；
117.步骤a915，分别将第一图像至第五图像对应的标记图像中的病灶轮廓与第一超声图像标注的病灶轮廓进行轮廓重合度计算；
118.步骤a916，具有最大的轮廓重合度对应的标记图像作为标注有病灶轮廓的第二超
声图像。
119.具体的第一方向和第二方向为相反方向，第三方向和第四方向为相反方向，第一方向和第三方向相互垂直。具体的，第一方向为左，第二方向为右，第三方向为上，第四方向为下。
120.具体的，第一预设距离小于第二预设距离。
121.具体的，第一图像对应的标记图像为第一标记图像，第二图像对应的标记图像为第二标记图像，第三图像对应的标记图像为第三标记图像，第四图像对应的标记图像为第四标记图像，第五图像对应的标记图像为第五标记图像。这些标记图像都是将各自对应的感兴趣区域中获取的病灶的轮廓特征数据标记在第二超声图像中形成。在这些标记图像中，如果病灶轮廓和第一超声图像中的病灶轮廓重复度最高则将这标记图形作为标有病灶轮廓的第二超声图像。
122.轮廓重合度的计算公式如下所示：
123.s＝2*c/(a+b)；
124.其中，s是指轮廓重合度，c是指标记图像中标记的病灶轮廓和第一超声图像中标注的病灶轮廓的重合部分，a是指第一超声图像的病灶轮廓部分，b是指标注图像中标记的病灶轮廓部分。
125.在步骤a914中，将第一图像至第五图像中识别的病灶的轮廓特征数据分别在第二超声图像中进行病灶轮廓标记以分别获得各自对应的标记图像；
126.具体的，将第一图像至第五图像中识别的病灶的轮廓特征数据的坐标还原到在第二超声图像中，从而获得第二超声图像中病灶轮廓的坐标。将标有病灶轮廓的第二超声图像和标有病灶轮廓的第一超声图像进行比较，利用上述公式计算重合度，哪一个重合度最高，使用哪一个标记图像作为标注有病灶轮廓的第二超声图像。
127.由于特征识别模型对尺寸不同的图像存在不同的识别精度，对尺寸较小的图像，例如第一图像、第二图像、第三图像和第四图像，相对于第五图像，识别精度更高，因此，利用小图像如果识别到重合度最大，更有利于识别到准确的病灶轮廓。病灶存在扩大或缩小，或者移动范围较大，或者斜向移动而非上下左右移动，第一图像、第二图像、第三图像和第四图像并不能完全识别病灶轮廓，利用第五图像可以尽可能识别到扩大或发生大范围移动或者斜向移动的病灶轮廓。
128.进一步的，执行步骤a916之前包，先执行如下步骤：
129.步骤b1，判断最大的轮廓重合度是否大于一第二阈值：
130.若是，则继续步骤a916；
131.若否，则输出第二超声图像中未找到病灶的提示信息。
132.具体的，优选的，第二阈值为0.5。
133.如果最大的轮廓重合度大于0.5，则认为该标记图像标记的病灶轮廓为第二超声图像的病灶轮廓。如果小于0.5，则产生第二超声图像中未找到病灶的提示信息。
134.进一步的，第二超声图像为第一超声图像的前一帧超声图像且不是关键帧图像；
135.将第二超声图像作为第一超声图像，将第二超声图像的前一帧超声图像作为第二超声图像，重复步骤a7
‑
a10，依次实现对关键帧图像的前n帧不是关键帧的超声图像的自动标注，n大于等于1。
136.进一步的，第二超声图像为第一超声图像的后一帧超声图像且不是关键帧图像；
137.将第二超声图像作为第一超声图像，将第二超声图像的后一帧超声图像作为第二超声图像，重复步骤a7
‑
a10，依次实现对关键帧图像的后m帧不是关键帧的超声图像的自动标注，m大于等于1。
138.进一步的，第一预设距离和第二预设距离均为像素的个数。
139.具体的，当真个超声视频的每一帧超声图像都被搜寻了一遍，则自动标注过程结束。
140.具体的，如果向持续依次向前一帧超声图像进行病灶的轮廓识别和标注，如果到某一前一帧的超声图像未识别到病灶轮廓，则标注结束。例如，从关键帧图像起算，依据上述方法依次进行病灶轮廓标注，如果到前第三帧超声图像未找到病灶轮廓，则标注结束。
141.具体的，如果向持续依次向后一帧超声图像进行病灶的轮廓识别和标注，如果到某一后一帧的超声图像未识别到病灶轮廓，则标注结束。例如，从关键帧图像起算，依据上述方法依次进行病灶轮廓标注，如果到后第三帧超声图像未找到病灶轮廓，则标注结束。
142.参见图5，本发明提供一种基于关键帧的病灶自动标注系统，，包含前述的一种基于关键帧的病灶自动标注方法，通过扫查方式获取病灶的超声视频，并包括：
143.第一图像获取模块(1)，用于获取由超声视频分解形成的超声图像序列；
144.第二图像获取模块(2)，连接第一图像获取模块(1)，用于从超声图像序列中提取标记有测量点的关键帧图像作为第一超声图像，关键帧图像是指标记有测量点的超声图像；
145.坐标获取模块(3)，连接第二图像获取模块(2)，用于针对每一帧第一超声图像，获取第一超声图像中测量点的坐标，并形成一坐标序列；
146.第一区域获取模块(4)，连接坐标获取模块(3)，用于根据坐标序列获取关联于病灶的外接矩形框作为第一矩形框；
147.第二区域获取模块(5)，连接第一区域获取模块(4)，根据第一矩形框提取第一超声图像的感兴趣区域，以得到感兴趣图像；
148.轮廓识别模块(6)，连接第二区域获取模块(5)，采用预先训练好的特征识别模型对关联于第一超声图像的感兴趣图像进行识别，获得病灶的轮廓特征数据作为第一特征数据；
149.自动标注模块(7)，分别连接第二图像获取模块(2)和轮廓识别模块(6)，用于根据第一特征数据在第一超声图像上自动标注出病灶的病灶轮廓；
150.第三区域获取模块(8)，连接自动标注模块(7)，用于获取第一超声图像中标注的病灶轮廓的外接矩形框作为第二矩形框；
151.第三图像获取模块(9)，分别连接第一图像获取模块(1)和第二图像获取模块(2)，用于获取与第一超声图像的相邻的且不是关键帧图像的超声图像作为关联于第一超声图像的第二超声图像；
152.特征获取模块(10)，分别连接第三区域获取模块(8)和第三图像获取模块(9)，用于利用第二矩形框，对第二超声图像进行轮廓搜寻处理，获取在第二超声图像中病灶的轮廓特征数据作为第二特征数据；
153.自动标注模块(7)，连接特征获取模块(11)，用于根据第二特征数据在第二超声图
像上自动标注出病灶的病灶轮廓。
154.以上仅为本发明较佳的实施例，并非因此限制本发明的实施方式及保护范围，对于本领域技术人员而言，应当能够意识到凡运用本发明说明书及图示内容所作出的等同替换和显而易见的变化所得到的方案，均应当包含在本发明的保护范围内。