一种人工智能的辅助阅片方法及系统与流程

1.本发明涉及人工智能辅助诊断技术领域，具体涉及一种人工智能的辅助阅片方法及系统。


背景技术：

2.人工智能阅片，也称ai阅片，是针对病理切片图像采用对应于特定疾病的人工智能模型进行图像处理、辅助诊断的技术方案。
3.现有技术中，已存在有应用人工智能技术辅助医生进行影像诊断的技术方案。该类技术方案通常是针对医生的阅片需求，比如针对病灶区域等进行模型训练，随后采用训练好的模型对输入的图像进行识别，直接生成预测结果或者是对病灶区域进行分割、提取等。
4.但是，在实际实施过程中，发明人发现，该类技术方案在实施时由于是预先设定了通过某种规则进行阅片，比如由人工智能模型直接生成诊断结果、由人工智能模型进行病灶分割再进行人工识别等，但在实际操作时容易因为制片操作不同导致最终成像的颜色，性状产生变化，且这些变化所导致的图像特征的改变有时人眼并不能有效观测到，这便使得人工智能模型的识别结果与人工识别结果不完全一致，导致了最终识别的结果可能出现偏差。


技术实现要素：

5.针对现有技术中存在的上述问题，现提供一种人工智能的辅助阅片方法；另一方面，还提供用于实施该辅助阅片方法的辅助阅片系统。
6.具体技术方案如下：
7.一种人工智能的辅助阅片方法，包括：
8.步骤s1：对待识别玻片采集数字病理图像；
9.步骤s2：对所述数字病理图像进行预识别以得到预识别评分；
10.步骤s3：判断所述预识别评分是否大于预设的评分阈值；
11.若是，转向步骤s4；
12.若否，转向步骤s5；
13.步骤s4：采用第一标注方法对所述数字病理图像进行标注随后转送至医生进行阅片；
14.步骤s5：采用第二标注方法对所述数字病理图像进行标注随后转送至所述医生进行阅片。
15.另一方面，所述步骤s2包括：
16.步骤s21：对所述数字病理图像进行滑窗分割得到多个图像块；
17.步骤s22：对所有的所述图像块依次进行特征识别得到多个对应于疑似阳性细胞的标注框，以及对应于所述标注框的预测分数；
18.步骤s23：对所有的所述预测分数进行处理以得到所述预识别评分。
19.另一方面，所述步骤s4包括：
20.步骤s41：获取所有的所述标注框对应于所述标注框的预测分数；
21.步骤s42：依照所述预测分数的大小由高至低对所述标注框进行排序；
22.步骤s43：依照排序结果和预先设置的第一抽取数量选取所述标注框，并依照所述标注框在所述数字病理图像上生成实际阅片标注；
23.步骤s44：向所述医生发送具有所述实际阅片标注的所述数字病理图像。
24.另一方面，所述步骤s5包括：
25.步骤s51：获取所有的所述标注框对应于所述标注框的预测分数；
26.步骤s42：依照所述预测分数的大小由高至低对所述标注框进行排序；
27.步骤s43：依照排序结果和预先设置的第二抽取数量选取所述标注框，并依照所述标注框在所述数字病理图像上生成实际阅片标注；
28.步骤s44：向所述医生发送具有所述实际阅片标注的所述数字病理图像。
29.另一方面，所述步骤s2中，采用预先训练的细胞识别模型对所述图像块进行识别以得到所述标注框和所述预测分数；
30.所述细胞识别模型包括：
31.输入层，所述输入层获取所述数字病理图像并对所述数字病理图像进行处理得到增强图像；
32.分片层，所述分片层连接所述输入层，所述分片层将所述增强图像拆分成第一切片图像、第二切片图像和第三切片图像；
33.特征融合层，所述特征融合层连接所述分片层，所述特征融合层对所述第一切片图像、所述第二切片图像和所述第三切片图像分别进行特征融合处理以得到第一特征融合结果、第二特征融合结果和第三特征融合结果；
34.预测层，所述预测层连接所述特征融合层，所述预测层根据所述第一特征融合结果、所述第二特征融合结果和所述第三特征融合结果生成所述标注框以及所述标注框的置信度；
35.所述置信度作为所述预测评分输出。
36.一种人工智能的辅助阅片系统，用于实施上述的辅助阅片方法，包括：
37.图像采集模块，所述图像采集模块对待识别玻片采集数字病理图像；
38.预识别模块，所述预识别模块连接所述图像采集模块，所述预识别模块对所述数字病理图像进行预识别以得到预识别评分；
39.判别模块，所述判别模块连接所述预识别模块，所述判别模块根据所述预识别评分和预设的评分阈值判断需要采用的标注方法；
40.第一标注模块，所述第一标注模块连接所述判别模块，所述第一标注模块获取所述数字病理图像并采用第一标注方法对所述数字病理图像进行标注随后转送至医生进行阅片；
41.第二标注模块，所述第二标注模块连接所述判别模块，所述第二标注模块获取所述数字病理图像并采用第二标注方法对所述数字病理图像进行标注随后转送至医生进行阅片。
42.另一方面，所述预识别模块包括：
43.滑窗模块，所述滑窗模块对所述数字病理图像进行滑窗分割得到多个图像块；
44.识别模块，所述识别模块连接所述滑窗模块，所述识别模块对所有的所述图像块依次进行特征识别得到多个对应于疑似阳性细胞的标注框，以及对应于所述标注框的预测分数；
45.评分生成模块，所述评分生成模块连接所述识别模块，所述评分生成模块对所有的所述预测分数进行处理以得到所述预识别评分。
46.另一方面，所述第一标注模块包括：
47.第一标注获取模块，所述第一标注获取模块获取所有的所述标注框对应于所述标注框的预测分数；
48.第一排序模块，所述第一排序模块连接所述第一标注获取模块，所述第一排序模块依照所述预测分数的大小由高至低对所述标注框进行排序；
49.第一标注生成模块，所述第一标注生成模块连接所述第一排序模块，所述第一标注生成模块依照排序结果和预先设置的第一抽取数量选取所述标注框，并依照所述标注框在所述数字病理图像上生成实际阅片标注；
50.第一转发模块，所述第一转发模块连接所述第一标注生成模块，所述第一转发模块向所述医生发送具有所述实际阅片标注的所述数字病理图像。
51.另一方面，所述第二标注模块包括：
52.第二标注获取模块，所述第二标注获取模块获取所有的所述标注框对应于所述标注框的预测分数；
53.第二排序模块，所述第二排序模块连接所述第二标注获取模块，所述第二排序模块依照所述预测分数的大小由高至低对所述标注框进行排序；
54.第二标注生成模块，所述第二标注生成模块连接所述第二排序模块，所述第二标注生成模块依照排序结果和预先设置的第二抽取数量选取所述标注框，并依照所述标注框在所述数字病理图像上生成实际阅片标注；
55.第二转发模块，所述第二转发模块连接所述第二标注生成模块，所述第二转发模块向所述医生发送具有所述实际阅片标注的所述数字病理图像。
56.上述技术方案具有如下优点或有益效果：
57.针对现有技术中的固定流程的人工智能阅片方法可能会产生误差的问题，本方案通过在实际标注之前预先通过对数字病理图像进行识别来生成预识别评分，通过预识别评分来对当前的数字病理图像可能包含的阳性细胞的情况进行判断，并依照判断结果进一步选择相应的标注方式来告知医生，从而使得医生能够根据特定的标注方式来实现更为准确的阅片流程。
附图说明
58.参考所附附图，以更加充分的描述本发明的实施例。然而，所附附图仅用于说明和阐述，并不构成对本发明范围的限制。
59.图1为本发明实施例的整体示意图；
60.图2为本发明实施例中步骤s2子步骤示意图；
61.图3为本发明实施例中步骤s4子步骤示意图；
62.图4为本发明实施例中步骤s5子步骤示意图；
63.图5为本发明实施例中细胞识别模型示意图；
64.图6为本发明实施例中辅助阅片系统示意图。
具体实施方式
65.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
66.需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
67.下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。
68.本发明包括：
69.一种人工智能的辅助阅片方法，如图1所示，包括：
70.步骤s1：对待识别玻片采集数字病理图像；
71.步骤s2：对数字病理图像进行预识别以得到预识别评分；
72.步骤s3：判断预识别评分是否大于预设的评分阈值；
73.若是，转向步骤s4；
74.若否，转向步骤s5；
75.步骤s4：采用第一标注方法对数字病理图像进行标注随后转送至医生进行阅片；
76.步骤s5：采用第二标注方法对数字病理图像进行标注随后转送至医生进行阅片。
77.具体地，针对现有技术中的人工智能辅助诊断方案在应用时容易因为实际应用环境的差异使得阅片流程准确度较低的问题，本实施例中，通过在对待识别玻片进行实际标注之前，设置预识别步骤对玻片整体的情况进行预识别得到预识别评分，随后，采用预识别评分和预先设定的评分阈值进行比较，从而确定该数字病理图像的类别，并进一步设置对应的标注方式来进行标注，以使得医生在后续阅片的过程中能够实现更为准确的阅片效果。
78.在实施过程中，上述辅助阅片方法作为一个软件实施例设置在计算机设备中，其用于在医生进行阅片、诊断之前采用人工智能模型对数字病理图像进行预先标注，以向医生指示需要重点判断的区域，进而提高医生阅片、诊断的效率。数字病理图像指通过扫描仪对切片进行扫描得到的数字全景图像。
79.在一个实施例中，如图2所示，步骤s2包括：
80.步骤s21：对数字病理图像进行滑窗分割得到多个图像块；
81.步骤s22：对所有的图像块依次进行特征识别得到多个对应于疑似阳性细胞的标注框，以及对应于标注框的预测分数；
82.步骤s23：对所有的预测分数进行处理以得到预识别评分。
83.具体地，针对现有技术中的人工智能辅助诊断方案在应用时容易因为实际应用环境的差异使得阅片流程准确度较低的问题，本实施例中，针对数字病理图像通过滑窗分割
得到多个图像块，随后，针对每个图像块依次进行特征识别，通过提取图像特征来识别出图像块中可能包含有的阳性细胞，并对阳性细胞生成外接的标注框，以及对应于该标注框区域内可能包含有阳性细胞的置信度作为预测分数。随后，通过对所有的预测分数进行处理从而得到预识别评分，以此来实现对数字病理图像整体的阳性可能性的有效判断。
84.作为可选的实施方式，在执行了步骤s22之后、执行步骤s23之前，还进一步地判断在多个图像块之间是否存在有覆盖位置重叠的标注框，若存在，则将存在重叠的标注框设置为标注框组；在同一个标注框组中，仅保留合围区域最大的标注框作为该区域实际输出的标注框。
85.作为可选的实施方式，在执行了步骤s22之后、执行步骤s23之前，还进一步地判断在多个图像块之间是否存在有覆盖位置重叠的标注框，若存在，则针对该部分的组织图像进行连通域检测，以生成该部分阳性细胞区域整体的连通域，对该连通域进行外界框的生成以作为实际输出的标注框，并针对该标注框重新进行特征提取来对其赋予置信度。
86.在一个实施例中，如图3所示，步骤s4包括：
87.步骤s41：获取所有的标注框对应于标注框的预测分数；
88.步骤s42：依照预测分数的大小由高至低对标注框进行排序；
89.步骤s43：依照排序结果和预先设置的第一抽取数量选取标注框，并依照标注框在数字病理图像上生成实际阅片标注；
90.步骤s44：向医生发送具有实际阅片标注的数字病理图像。
91.具体地，针对现有技术中的人工智能辅助诊断方案在应用时容易因为实际应用环境的差异使得阅片流程准确度和效率较低的问题，本实施例中，通过在采用预识别评分对数字病理图像的阳性情况进行了初步判别后，针对阳性率相对较高的数字病理图像，通过获取每个标注框的预测分数，并依照预测分数对标注框进行由高至低排列，并在排序后依照第一抽取数量去抽取数量较少的标注框，并依照这些标注框在数字病理图像上绘制实际输出的实际阅片标注后发送至医生，使得医生能够针对阳性可能性较高的数字病理图像通过对较少的样本数进行判断即可出具对应的诊断结果，提高了诊断效率。
92.作为可选的实施方式，第一抽取数量为24个。
93.作为可选的实施方式，当标注框的数量小于第一抽取数量时，采用所有的标注框生成实际阅片标注。
94.在实施过程中，图像经过深度神经网络推理之后，会给出具体目标位置和评分，当数字病理图像的预识别评分大于评分阈值时，表明当前的数字病理图像所对应的组织切片的阳性率较高，此时，可进一步地在第一标注方法中添加对数字病理图像的图像增强处理步骤，以进一步地提高后续医生阅片的效率。比如，在一个实施例中，当执行了步骤s43之后，采用联通域检测和形态学识别模型对标注框进行进一步的处理，将若干个彼此关联的标注框融合成一个较大的、对应了完整的组织区域的标注框，再依照第一抽取数量选取标注框添加实际阅片标注，以此来使得医生能够依照实际阅片标注较好地判断出当前的数字病理图像所表征的疾病进程。进一步地，在生成实际阅片标注后，还可进一步地依照染色方法选取对应的图像增强曲线对数字病理图像进行处理，以凸显出可能存在阳性细胞的区域与背景图像之间的差异。上述图像处理步骤可以根据需要设置，也可简单地将第一标注方法和第二标注方法分别设置为抽取不同数量的标注框供医生复核。
95.在一个实施例中，如图4所示，步骤s5包括：
96.步骤s51：获取所有的标注框对应于标注框的预测分数；
97.步骤s52：依照预测分数的大小由高至低对标注框进行排序；
98.步骤s53：依照排序结果和预先设置的第二抽取数量选取标注框，并依照标注框在数字病理图像上生成实际阅片标注；
99.步骤s54：向医生发送具有实际阅片标注的数字病理图像。
100.具体地，针对现有技术中的人工智能辅助诊断方案在应用时容易因为实际应用环境的差异使得阅片流程准确度和效率较低的问题，本实施例中，通过在采用预识别评分对数字病理图像的阳性情况进行了初步判别后，针对阳性率相对较低的数字病理图像，通过获取每个标注框的预测分数，并依照预测分数对标注框进行由高至低排列，并在排序后依照第二抽取数量去抽取数量较多的标注框，并依照这些标注框在数字病理图像上绘制实际输出的实际阅片标注后发送至医生，使得医生能够针对阳性可能性较低的数字病理图像通过抽取数量较多的样本数来实现对数字病理图像的较为准确的判断过程。
101.作为可选的实施方式，第二抽取数量为100个。
102.作为可选的实施方式，当标注框的数量小于第二抽取数量时，采用所有的标注框生成实际阅片标注。
103.在一个实施例中，步骤s2中，采用预先训练的细胞识别模型对图像块进行识别以得到标注框和预测分数；
104.如图5所示，细胞识别模型包括：
105.输入层a1，输入层a1获取数字病理图像并对数字病理图像进行处理得到增强图像；
106.分片层a2，分片层a2连接输入层a1，分片层a2将增强图像拆分成第一切片图像、第二切片图像和第三切片图像；
107.特征融合层a3，特征融合层a3连接分片层a2，特征融合层a3对第一切片图像、第二切片图像和第三切片图像分别进行特征融合处理以得到第一特征融合结果、第二特征融合结果和第三特征融合结果；
108.预测层a4，预测层a4连接特征融合层a3，预测层a4根据第一特征融合结果、第二特征融合结果和第三特征融合结果生成标注框以及标注框的置信度；
109.置信度作为预测评分输出。
110.具体地，为实现对细胞较好的识别效果，本实施例中，通过构建上述的细胞识别模型来对数字病理图像实现较好的特征提取，进而得出较为准确的置信度来作为预测评分输出，以此实现更好的识别准确度。
111.一种人工智能的辅助阅片系统，用于实施上述的辅助阅片方法，如图6所示，包括：
112.图像采集模块b1，图像采集模块b1对待识别玻片采集数字病理图像；
113.预识别模块b2，预识别模块b2连接图像采集模块b1，预识别模块b2对数字病理图像进行预识别以得到预识别评分；
114.判别模块b3，判别模块b3连接预识别模块b2，判别模块b3根据预识别评分和预设的评分阈值判断需要采用的标注方法；
115.第一标注模块b4，第一标注模块b4连接判别模块b3，第一标注模块b4获取数字病
理图像并采用第一标注方法对数字病理图像进行标注随后转送至医生进行阅片；
116.第二标注模块b5，第二标注模块b5连接判别模块b3，第二标注模块b5获取数字病理图像并采用第二标注方法对数字病理图像进行标注随后转送至医生进行阅片。
117.具体地，针对现有技术中的人工智能辅助诊断方案在应用时容易因为实际应用环境的差异使得阅片流程准确度较低的问题，本实施例中，通过在对待识别玻片进行实际标注之前，采用预识别模块b2对玻片整体的情况进行预识别得到预识别评分，随后，在判别模块b3中预识别评分和预先设定的评分阈值进行比较，从而确定该数字病理图像的类别，并进一步设置不同的第一标注模块b4和第二标注模块b5来进行标注，以使得医生在后续阅片的过程中能够实现更为准确的阅片效果。
118.在一个实施例中，预识别模块b2包括：
119.滑窗模块b21，滑窗模块b21对数字病理图像进行滑窗分割得到多个图像块；
120.识别模块b22，识别模块b22连接滑窗模块b21，识别模块b22对所有的图像块依次进行特征识别得到多个对应于疑似阳性细胞的标注框，以及对应于标注框的预测分数；
121.评分生成模块b23，评分生成模块b23连接识别模块b22，评分生成模块b23对所有的预测分数进行处理以得到预识别评分。
122.具体地，针对现有技术中的人工智能辅助诊断方案在应用时容易因为实际应用环境的差异使得阅片流程准确度较低的问题，本实施例中，针对数字病理图像通过滑窗模块b21得到多个图像块，随后，识别模块b22针对每个图像块依次进行特征识别，通过提取图像特征来识别出图像块中可能包含有的阳性细胞，并对阳性细胞生成外接的标注框，以及对应于该标注框区域内可能包含有阳性
123.细胞的置信度作为预测分数。随后，评分生成模块b23对所有的预测分数进行270处理从而得到预识别评分，以此来实现对数字病理图像整体的阳性可能性的有
124.效判断。
125.在一个实施例中，第一标注模块b4包括：
126.第一标注获取模块b41，第一标注获取模块b41获取所有的标注框对应于标
127.注框的预测分数；
128.275第一排序模块b42，第一排序模块b42连接第一标注获取模块b41，第一排
129.序模块b42依照预测分数的大小由高至低对标注框进行排序；
130.第一标注生成模块b43，第一标注生成模块b43连接第一排序模块b42，第一标注生成模块b43依照排序结果和预先设置的第一抽取数量选取标注框，并
131.依照标注框在数字病理图像上生成实际阅片标注；
132.280第一转发模块b44，第一转发模块b44连接第一标注生成模块b43，第一转
133.发模块b44向医生发送具有实际阅片标注的数字病理图像。
134.具体地，针对现有技术中的人工智能辅助诊断方案在应用时容易因为实际应用环境的差异使得阅片流程准确度和效率较低的问题，本实施例中，通过在采
135.用预识别评分对数字病理图像的阳性情况进行了初步判别后，针对阳性率相对285较高的数字病理图像，通过获取每个标注框的预测分数，并依照预测分数对标
136.注框进行由高至低排列，并在排序后依照第一抽取数量去抽取数量较少的标注框，并依照这些标注框在数字病理图像上绘制实际输出的实际阅片标注后发送至医生，使
得医生能够针对阳性可能性较高的数字病理图像通过对较少的样本数进行判断即可出具对应的诊断结果，提高了诊断效率。
137.290在一个实施例中，第二标注模块b5包括：
138.第二标注获取模块b51，第二标注获取模块b51获取所有的标注框对应于标注框的预测分数；
139.第二排序模块b52，第二排序模块b52连接第二标注获取模块b51，第二排
140.序模块b52依照预测分数的大小由高至低对标注框进行排序；
141.295第二标注生成模块b53，第二标注生成模块b53连接第二排序模块b52，第
142.二标注生成模块b53依照排序结果和预先设置的第二抽取数量选取标注框，并依照标注框在数字病理图像上生成实际阅片标注；
143.第二转发模块b54，第二转发模块b54连接第二标注生成模块b53，第二转发模块b54向医生发送具有实际阅片标注的数字病理图像。
144.300具体地，针对现有技术中的人工智能辅助诊断方案在应用时容易因为实际应
145.用环境的差异使得阅片流程准确度和效率较低的问题，本实施例中，通过在采用预识别评分对数字病理图像的阳性情况进行了初步判别后，针对阳性率相对较低的数字病理图像，通过获取每个标注框的预测分数，并依照预测分数对标
146.注框进行由高至低排列，并在排序后依照第二抽取数量去抽取数量较多的标注305框，并依照这些标注框在数字病理图像上绘制实际输出的实际阅片标注后发送
147.至医生，使得医生能够针对阳性可能性较低的数字病理图像通过抽取数量较多的样本数来实现对数字病理图像的较为准确的判断过程。
148.310以上仅为本发明较佳的实施例，并非因此限制本发明的实施方式及保护范
149.围，对于本领域技术人员而言，应当能够意识到凡运用本发明说明书及图示内容所作出的等同替换和显而易见的变化所得到的方案，均应当包含在本发明的保护范围内。