一种骨髓涂片图像分析诊断方法及病理切片扫描仪装置

1.本发明涉及一种骨髓涂片图像分析诊断方法及病理切片扫描仪装置，属于属于医学图像处理技术领域，尤其涉及一种基于人工智能辅助血液病诊断的具有增强现实功能的显微镜设备。


背景技术：

2.造血系统疾病俗称血液病，系原发于造血系统和主要累及造血系统的疾病。临床上血液病通常需要骨髓细胞形态学进行检测。由于骨髓涂片的骨髓细胞分布不同，在涂片体尾交界部的视野下，可见红细胞基本为单层、分布均匀，白细胞核结构清晰、胞质染色鲜艳，适于细胞形态观察。医生通过对兴趣区域的细胞进行计数进行血液病疾病类型的诊断。
3.目前，血液病的诊断仍依靠人工镜检和对骨髓细胞形态学分析。医生人工划分的区域存在耗费时间长、主观性强等缺点，不同医生所选择的区域范围不同、细胞难易的取舍，都依赖于医生的专业知识和丰富的临床经验。


技术实现要素：

4.本发明的目的是提供一种骨髓涂片图像分析诊断方法及病理切片扫描仪装置，用以解决目前采用人工进行血液病的诊断工作量大、主观性强的问题。
5.为实现上述目的，本发明的方案包括：
6.本发明的一种骨髓涂片图像分析诊断方法技术方案，制作骨髓涂片并进行光学放大得到骨髓涂片的光学显微图像，通过图像采集装置采集光学显微图像，利用训练好的区域选择网络在采集到的光学显微图像上标记出兴趣区域，所述兴趣区域为诊断特征明显的区域；所述区域选择网络基于人工智能图像分割算法训练得到；
7.根据标记出的兴趣区域对光学显微图像平移和/或增加光学放大倍率，得到兴趣区域居中且放大的兴趣区域光学显微图像，通过图像采集装置采集兴趣区域光学显微图像，并输入训练好的疾病诊断网络得到疾病诊断结果；所述疾病诊断网络基于人工智能机器学习算法训练得到。
8.人工智能与医学相结合的应用将改变目前的医学模式。借助人工智能来处理临床上的大量数据可以减轻医生的工作量，提高医生的诊断准确性，提高工作效率，有助于医生在临床上指导治疗。
9.本发明在通过光学显微系统得到骨髓涂片的光学显微图像之后，通过图像分割算法，标记出有利于疾病诊断的兴趣区域，例如细胞均匀清晰分布的涂片体尾交界处。便于操作人员迅速定位兴趣区域，并通过操作光学显微系统将该区域放大居中，放大居中后的图像继续被采集并输入疾病诊断模型，疾病诊断模型基于训练好的深度学习模型输出疾病诊断结果供操作者参考。本发明降低了骨髓涂片显微和进一步诊断的操作难度，提高了操作效率，并给出了基于人工智能的疾病诊断结果供医生参考，降低了血液病诊断的主观性，提高了疾病诊断的准确性。
10.进一步的，所述光学显微图像投射进入光学显微系统的目镜，用于观测者的观察；同时在目镜中通过光学结构分束将光学显微图像投射进入图像采集装置的感光元件上。
11.在光学显微图像被采集的同时，本发明的装置继续将光学影像投射到目镜，使操作者仍能通过目镜观察到光学成像的骨髓涂片的显微影像，方便使用，同时具备完整的光学显微镜的功能。
12.进一步的，标记出兴趣区域的图像通过光学结构投射回目镜中，与所述光学显微图像叠加显示。
13.本发明基于增强现实ar技术，实现了一种增强现实显微镜，构建与现实场景相对应的三维虚拟现实场景展示兴趣区域，并保留现实场景中的图像，将兴趣区域与三维虚拟现实场景进行图像合成。具体实现将标记兴趣区的电子显示画面叠加在光学显微成像画面上，有助于观察者操作，将兴趣区通过光学显微镜的操作进行放大和居中。实现真实显微镜中观测到兴趣区域，便于操作。
14.进一步的，所述区域选择网络用于训练的标记图像通过如下方式得到，由多位病理学专家对骨髓涂片光学显微图像进行体尾交界处区域的标记，选择标记结果的交集作为标记图像的最终标记结果。
15.通过上述方案，本发明可以准确划分出骨髓涂片所需要观察的体尾部区域。
16.进一步的，所述疾病诊断网络的训练集通过如下方式得到，取九种血液病的骨髓涂片，结合如下诊断方式中的一种或多种的结合：骨髓瑞士染色涂片、骨髓穿刺活检、流式细胞术、流式细胞仪及分子特征，由多位病理学专家对对应骨髓涂片图像的诊断结果作为对应图像的标签，并加入疾病诊断网络的训练集。
17.通过上述方案，得到能够保证诊断结果准确性的疾病诊断网络。
18.进一步的，还包括区域选择网络的更新过程，将光学显微图像上经过审核修正的兴趣区域标记结果保存，积累到一定数量后作为训练集重新对区域选择网络进行重新训练。
19.进一步的，还包括疾病诊断网络的更新过程，将兴趣区域光学显微图像经过审核修正的疾病诊断结果保存为对应图像的标签，积累到一定数量后作为训练集重新对疾病诊断网络进行重新训练。
20.上述方案实现了对模型进行自主修正，有利于提高兴趣区域标记和疾病诊断的准确性。
21.本发明的一种用于骨髓涂片图像分析诊断的病理切片扫描仪装置的技术方案，包括光学显微成像系统、图像采集系统、图像处理系统和图像显示系统；所述光学显微成像系统用于将制作好的骨髓涂片进行光学放大得到骨髓涂片的光学显微图像；所述图像采集系统采集光学显微图像并输入图像处理系统，所述图像处理系统在光学显微图像上标记出兴趣区域，所述兴趣区域为诊断特征明显的区域；标记出兴趣区域的图像通过所述图像显示系统显示；所述图像采集系统还采集兴趣区域居中且放大的兴趣区域光学显微图像并输入图像处理系统，所述图像处理系统利用人工智能算法识别得到疾病诊断结果。
22.进一步的，所述光学显微图像投射进入光学显微系统的目镜，用于观测者的观察；同时在目镜中通过光学结构分束将光学显微图像投射进入图像采集装置的感光元件上。
23.进一步的，所述图像显示系统显示的标记出兴趣区域的图像通过光学结构投射回
目镜中，与所述光学显微图像叠加显示。
附图说明
24.图1为本发明的骨髓涂片图像分析诊断方法流程示意图；
25.图2为本发明的病理切片扫描仪装置的功能模块示意图；
26.图3为本发明的病理切片扫描仪装置的结构示意图；
27.图4为本发明的病理切片扫描仪装置的原理示意图。
28.图中包括：1、支撑架；2、光源；3、载物台；4、标本涂片；5、初级物镜；5a、第一变倍物镜；5b、第二变倍物镜；6、透镜组；7、目镜；8、细准焦螺旋；9、粗准焦螺旋；20、相机；30、ar显示器；40、计算机。
具体实施方式
29.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图和实施例，对本发明进行进一步详细说明。
30.病理切片扫描仪装置实施例：
31.本发明的一种用于骨髓涂片图像分析诊断的病理切片扫描仪装置，系统构成如图2所示，主体为一套光学显微镜系统，采用现有技术实现光学显微成像，包括传统光学显微镜上的显微成像部分、用于实现人眼观察的观察透镜组、物镜调节部分和作为载玻片光源的照明系统。
32.本发明进一步在上述光学显微成像系统之上，在显微成像后增加了图像采集模块，除了将光学显微影像投向目镜供人眼观察外，另外通过一组透镜和对应的光学结构将光学显微图像投向图像采集模块的感光元件，光学显微图像在图像处理模块中经过图像处理后加上标记，在图像显示模块显示并将显示内容通过透镜投射回目镜，与光学显微图像叠合供人眼观察。
33.在本实施例中，显微成像部分用于放大骨髓涂片；图像采集系统用于采集清晰的骨髓涂片显微图像作为标本图像进行模型训练和后续阅览诊断使用；图像处理模块采用人工智能模型，在计算机上对采集到的标本图像进行图像处理运算，标记出骨髓涂片兴趣区域；图像显示系统用于将图像处理模块标记合成得到的图像进行显示；观察透镜用于将显示系统显示的图像投射到观察者的视网膜上。
34.具体的，图3所示为本发明的病理切片扫描仪装置的结构示意图，包括病理切片扫描仪支撑架1、载物台3、物镜系统、目镜系统和显微成像系统，以及用于光学调节的细准焦螺旋8和粗准焦螺旋9。
35.载物台3用于放置待观察分析诊断的标本涂片4，载物台3下设置有光源2，用于提供显微成像的光源。
36.物镜系统包括与传统光学显微镜原理和用法相同的初级物镜5和第一变倍物镜5a、第二变倍物镜5b。初级物镜5、第一变倍物镜5a和第二变倍物镜5b设置在转盘上，通过调节转盘可以实现物镜也即放大倍率的选择。一般来说，初级物镜5用于对场景进行光学成像；变倍物镜用于调整不同的放大倍率，对场景进一步放大。
37.目镜系统中除了用于人眼观察的目镜7，还增设了透镜组6。通过透镜6实现光学显
微图像的采集，和标记合成后图像的显示；包括将光学显微图像直接通过目镜展示，像普通光学显微镜一样被观察者看到，另外还将标记的图像叠合在光学显微图像上同时通过目镜展示。
38.具体通过例如分束器或者带有半透半反膜的透镜将投向目镜的光学显微图像的光线分出一束，通过光学元件投射在图像采集模块的感光元件ccd或cmos上。
39.在通过图像采集模块采集涂片的光学显微图像后，传输至计算机40进行基于人工智能图像分割算法的区域选择，将选择出的兴趣区域标记出来，可以通过例如红色框线标记在涂片的光学显微图像，通过图像显示系统进行兴趣区域标记后的光学显微图像的显示，并通过观察透镜组，透镜经过分束器的折射效果，将图像显示系统投射的标记后的图像与下方的标本光学显微图像重合，得到标记兴趣区域的涂片显微图像通过目镜7显示，可以使兴趣区域和兴趣区域上的标记被观察者直接在目镜镜头中被观察到。
40.具体的，图像显示系统为ar显示器30，通过ar显示器，将计算机40处理好的带有标记的骨髓涂片兴趣区域选择图像与真实显微镜下的骨髓涂片光学显微图像进行合成，实现增强现实的效果。
41.作为其他实施方式，传统的显微成像系统得到的骨髓涂片光学显微图像也可以不再在目镜中投射到观察者的视网膜上被观察者看到，仅在目镜中通过透镜组6投射到相机20的感光元件上被图像采集系统采集，经过计算机40处理标记后，通过ar显示器30显示标记兴趣区域的涂片显微电子影像，通过透镜组6在目镜7中将带有兴趣区域标记的涂片显微电子影像投射到观察者的视网膜上供观察者看到。
42.本实施例中，将处理好骨髓涂片置于载物台3上，图像采集模块采用相机20进行骨髓涂片光学显微图像的采集。骨髓涂片经过初级物镜5的放大图像，在同一光轴上透过透镜组6可被高分辨率的相机20采集，同时外接至计算机40进行图像的处理。
43.图像处理通过计算机40中训练好的区域选择网络，区域选择网络基于现有的图像分割算法模型通过大量带有标记标签的图像训练得到。标签图像为通过本发明的装置的图像采集模块采集到的骨髓标本图像，通过专家手工标出兴趣区域的方式得到。
44.由于骨髓切片图像计数区域最佳选择在于载玻片的体尾交界处，将体尾交界处作为兴趣区域，基于例如深度学习进行区域选择网络的训练，达到体尾交界处区域的基于人工智能的自动标定。
45.用于训练区域选择网络的标签图像，由三位经验丰富的病理学专家对骨髓涂片进行体尾交界处区域的标记，选择他们结果的交集作为最终标记结果。
46.进一步地，在通过目镜7向观察者展示标记兴趣区域的切片显微图像后，通过观察者的操作，例如调整物镜切换放大倍率和移动物镜，使被标记的兴趣区域放大且完整的显示在目镜中的视野中心，此时图像采集模块的相机20继续采集目镜中的放大图像，并将采集到的放大图像送到计算机40。计算机40作为控制、分析和数据存储的核心，具有图像识别模块，存储有相关算法能够实现图像分割和识别等处理。计算机40图像识别模块在完成骨髓图片(即骨髓涂片的光学显微图像)进行兴趣区域的分割后，在判断兴趣区域图像居中、放大程度及清晰程度满足设定要求时，继续运行诊断算法进行疾病的诊断鉴别，得到血液病类型的诊断结果。
47.作为其他实施方式，除了观察者的操作外，也可以利用人工智能自动基于图像识
别算法对兴趣区域进行居中和显微放大，并自动进行对焦使画面清晰。
48.基于骨髓涂片的血液病诊断的基本原理为现有技术，是通过对骨髓细胞进行形态学检测得到诊断结果。本发明诊断疾病的类型是将兴趣区域的图像利用疾病诊断网络进行人工智能的图像识别得到诊断的疾病类型。
49.本发明的疾病诊断网络通过如下方式获得，取九种血液病的骨髓涂片，结合骨髓瑞士染色涂片、骨髓穿刺活检、流式细胞术、流式细胞仪及分子特征等综合方式，选取多名病理学专家对此疾病诊断和鉴别的结果图像作为模型的训练集，对深度学习模型进行训练，得到能够保证诊断结果准确性的疾病诊断网络。最终训练好的诊断网络，可以划分九类血液病类型。
50.本发明还能进一步针对兴趣区域的放大图像对不同类型细胞进行计数来辅助骨髓涂片的疾病诊断。
51.本发明对细胞进行计数分类的具体过程为，采用训练好的细胞确认模型，利用计算机40通过相机20继续获得的兴趣区域的放大图像，对图像采用细胞确认模型进行细胞类型的识别和计数分类。
52.细胞确认模型通过如下方式得到，先获得大量带有标记好类型的细胞标签的骨髓涂片图像，将这些图像输入深度学习算法模型进行模型的训练学习，构建细胞确认模型。疾病诊断时利用细胞确认模型对骨髓涂片在兴趣区域中对不同细胞类型进行识别和计数。
53.还包括用于显微成像的照明系统，用于对显微成像系统进行照明。所述照明系统采用反射式照明系统，包括led光源和聚光镜。
54.作为照明系统的光源2由均匀分布在载物台3下的多颗led组成，照明光线成散射状照射在载玻片上，为环形光源，保证实现整个视场均匀的照明，避免光源不均匀引起影响图像质量。
55.还包括物镜调节旋钮，用于改变初级物镜和变倍物镜与标本涂片之间的距离，调整显微成像系统的光学放大倍数，以满足不同观测倍数的需求。
56.具体的，物镜调节旋钮包括细准焦螺旋8和粗准焦螺旋9，细准焦螺旋8用于小幅度调整镜筒移动距离，使观测视野更清晰；粗准焦螺旋9用于大幅度调整镜筒的距离，用于寻找观测物。
57.图4所示为本发明的一种用于骨髓涂片图像分析诊断的病理切片扫描仪装置的原理示意图：
58.光源2提供通过标本涂片4的光进入物镜5进行初步放大，然后进入目镜7被观察者看到，然后还通过透镜组6被相机20采集，得到清晰的骨髓涂片图像，用来通过运行有相关算法的计算机40进行网络训练或图像分割得到感兴趣区域并对感兴趣区域进行图像识别诊断，供后续阅览诊断使用。
59.图像分割算法得到的标记感兴趣区域的影像通过ar显示器40显示，并通过观察透镜组6，将标记后的图像和光学显微图像叠合后投射到人体视网膜上。
60.图像处理系统的计算机30的算法采用人工智能模型，对采集到的标本图像进行图像处理运算，标出骨髓涂片兴趣区域；以及对血液病的疾病类型进行诊断判断，提高疾病的诊断效率和准确率。
61.总结来说，本发明的一种用于骨髓涂片图像分析诊断的病理切片扫描仪装置，包
括图像扫描采集系统、图像鉴别诊断系统和诊断辅助模型自主更新体系。
62.图像扫描采集系统：为利用光学成像显微镜原理，在所需放大倍数下以最高分辨率采集骨髓涂片组织病理切片的光学显微图像信息，所采集的显微图像最终会以数字化图像格式储存在病理数据库中，数字化病理图像应当满足细胞图像清晰可见。
63.图像鉴别诊断系统：包括基于深度学习的目标区域选择网络和疾病诊断网络。
64.目标区域选择网络：由于骨髓涂片的病理特性，涂片体尾交界处细胞分布均匀易于计数，具体实现：1)将经过预处理好的图像分割为数万个小图像斑块；2)分别标注为符合兴趣区域的合格区域图像标签和不符合兴趣区域的不合格区域图像标签；3)训练深度学习模型得到区域选择网络。
65.疾病诊断网络：通过对骨髓涂片的体尾交界区域图像标记疾病类型作为标签图像对深度学习模型进行训练得到。
66.作为其他实施方式，骨髓涂片的诊断结果还可以依赖于对其涂片上各类细胞的计数得到比例而进行诊断处理，具体包括：1)得到区域选择网络生成的带有兴趣区域标记的图像后进行高倍镜下放大兴趣区域；2)对兴趣区域放大图像中细胞种类及位置进行标记形成训练集；3)送入神经网络进行训练处理；4)网络在使用时，通过对各类细胞计数，并按照细胞种类的比例不同进行疾病的诊断。
67.诊断辅助模型自主更新系统，包括目标区域选择网络更新和疾病诊断网络更新。将病理科医生诊断修正和确认的兴趣区域和疾病类型在复验后再次纳入病理数据库，积累到一定数量后补充用于训练集，对区域选择网络和疾病诊断网络进行再次训练，自主修正评分阈值。
68.骨髓涂片图像分析诊断方法实施例：
69.本发明的骨髓涂片图像分析诊断方法流程如图1所示，包括如下步骤：
70.(1)制作好血液病病人骨髓涂片标本；获得低倍视野下骨髓图片的图像要求涂片涂色均匀、细胞互不重叠、结构清楚。
71.(2)将骨髓涂片标本放置在本发明的病理切片扫描仪装置下并基于现有技术显微镜的操作方式，基于目镜可视的调节，采用初级物镜获得低倍放大的标本光学显微图像，同时相机进行显微图像的采集；
72.(3)采集的图像传输至计算机进行预处理后送入区域选择网络中，进行基于人工智能图像分割的兴趣区域标记；
73.(4)生成标记出兴趣区域的显微电子影像；
74.(5)将标记后的影像由ar显示器叠加到真实显微镜的光学显微图像上，可以直接在目镜中观测到光学显微图像上的兴趣区域；
75.(6)指导操作者移动物镜和调整放大倍率，对准兴趣区域并对兴趣区域进行光学放大成像；
76.(7)放大后完整的兴趣区域光学图像，继续被相机采集，并送入计算机图像识别模块中。当计算机图像识别模块识别到标记的兴趣区域占整个显微画面的比例达到设定值时，例如80％，完成对焦即清晰度满足要求时，认为此时兴趣区域图像居中放大到合适的程度，能够通过诊断算法得到较为准确的诊断结果，将此时的显微画面送入计算机图像识别模块的诊断网络中进行基于人工智能的疾病诊断；
77.(8)在计算机上获得人工智能诊断血液病疾病的类型，用作医生诊断的参考。
78.本发明的病理切片扫描仪装置在病理切片扫描仪装置实施例中介绍的足够清楚，此处不再赘述。
79.本发明的方法还进一步包括区域选择网络的更新和疾病诊断网络的更新，将由医生审核判断及修正过的结果制作标签图像后重新纳入数据库，累积到一定数量后补充用于训练区域选择网络和疾病诊断网络的训练集，利用深度学习算法，对模型进行自主修正。
80.本发明的方法在实际应用中，骨髓细胞的区域分割和疾病诊断只要包括图像采集装置、存储器和处理器即可，只要图像采集装置具有低倍镜扫描成像和存储功能，计算机中有能够实现骨髓涂片的兴趣区域分割和疾病诊断的算法即可。
81.综述所述，本发明将人工智能技术与传统的光学显微镜结合，设计了一种基于人工智能的人机协同的病理显微镜装置，随着医生在物镜下移动骨髓切片，显微镜目镜视野可以为医生展示深度学习算法的区域分割结果，使得医生可以在显微镜下实时观察到深度学习算法标定的兴趣区域。同时基于人工智能进行疾病诊断，诊断结果仅用于提示，最终决定权仍在医生，使人工智能真正运用于医疗实践当中。