HCC及VETC辅助诊断装置及设备

本发明涉及医疗和人工智能领域，尤其涉及一种hcc及vetc辅助诊断装置及设备。

背景技术：

1、肝细胞癌（hcc）是成人中最常见的原发性肝癌类型，占75%-85%，也是目前肝硬化患者最常见的死亡原因。hcc是全球癌症相关死亡的第三大原因。研究表明，hcc患者术后5年内的复发率和转移率高达50%以上，严重影响患者的生存。

2、 肿瘤包饶型血管(vessels that encapsulate tumor clusters pattern，vetc)是一种促进hcc转移的新型血管模式。研究显示，vetc阳性（vetc+）患者的比例占hcc的39%。相比于其他hcc分型，vetc+患者术后复发率更高、预后情况更差。

3、目前临床上确诊vetc+的金标准是术后的病理结果。病理医生在显微镜下首先用低倍镜观察病理切片，寻找hcc的大致位置，之后手动切换转换器至中倍镜或高倍镜，观察hcc区域中是否存在vetc模式。对于预后指标的预测，一般使用免疫组学定量分析。

4、随着人工智能（ai）在医疗领域的发展，大量ai模型被用于医学检验和辅助诊断。例如癌症分型、细胞检测、三维重建。一些研究将ai图像处理技术和显微镜相结合，为医生的诊断提供了便利。

5、病理切片的种类繁多复杂，医生每天大量阅片，费时费力，且存在一定的主观性。vetc是近年在hcc中发现的一种新型特殊病种，尚未纳入医学检验的金标准，导致医生诊断存在一定的盲区。但vetc+患者术后复发率更高、预后情况更差。病理医生手动观察玻片步骤繁琐，且只能进行定性分析，无法仅仅通过观察得到需要的定量结果（如hcc及vetc+的面积、面积比等）。

6、现有的许多基于病理图像的研究，首先必须将载玻片通过扫描仪设备制作成数字切片，再通过预训练的ai模型进行辅助分析，是一种“后处理”的辅助诊断模式。而扫描仪设备价格昂贵，扫描时间长。因此这种辅助诊断方式影响了临床诊断的效率。

7、现有的基于显微镜扫描的辅助诊断模式也被相继开发，但它们是相对于显微镜的固定视场或手动设定载物台的轨迹进行玻片的采集与分析。由于现有基于显微镜扫描的辅助诊断方法不能通过检测到的特征触发显微镜，因此其不适用于hcc及vetc的检测，且由于显微图像和ai算法的训练数据存在很大差异，使得现有基于显微镜扫描的辅助诊断方法的迁移性较差，并且现在还没有批量化hcc及vetc分析技术的相关报导。

技术实现思路

1、本发明提供了一种hcc及vetc辅助诊断装置以及用于hcc及vetc辅助诊断的特征触发式智能显微镜设备，本发明可实现对he染色载玻片的批量自动化采集和分析，快速提供诊断报告，辅助病理医生进行诊断。

2、本发明的技术方案如下：

3、一种hcc及vetc辅助诊断设备，包括智能显微镜装置、处理器、存储器以及存储在存储器中并可在处理器上执行的计算机程序；

4、所述的智能显微镜装置包括可移动载物平台、电动物镜转换器、图像采集装置；

5、可移动载物平台用于批量放置并固定he染色的肝组织载玻片，可移动载物平台在xy平面内，物镜的轴线在y轴上，可移动载物平台可沿x轴、y轴、z轴方向移动；电动物镜转换器的孔位上配备有低倍镜和中倍镜；图像采集装置用于采集智能显微镜视野中的待观测样品的图像；

6、所述的处理器与智能显微镜装置的可移动载物平台、电动物镜转换器、图像采集装置分别电性连接；

7、所述的处理器执行计算机程序时实现以下步骤：

8、（1）将he染色的肝组织载玻片批量放置并固定在智能显微镜的可移动载物平台上，启动并初始化智能显微镜；

9、（2）调用对焦单元，对显微镜进行自动对焦；

10、（3）在一肝组织载玻片区域内，通过可移动载物平台和图像采集装置完成低倍镜视场图像的遍历采集，获得肝组织载玻片的数字图像；通过hcc分析单元和边缘检测单元检测hcc区域的轮廓，并将该轮廓绘制到所述的数字图像中，得到该数字图像的hcc标注；

11、（4）若hcc分析单元未检测出hcc区域，则当前肝组织载玻片为hcc阴性；

12、若hcc分析单元检测出hcc区域，则触发vetc分析单元：在一hcc区域内，通过可移动载物平台和图像采集装置完成中倍镜视场图像的遍历采集，通过vetc分析单元和边缘检测单元检测vetc+区域的轮廓，并将该轮廓绘制到所述的数字图像中，得到该数字图像的vetc+标注；

13、（5）调用分析单元，根据步骤（3）和（4）的检测结果生成当前肝组织载玻片的诊断报告；移动可移动载物台，定位至下一肝组织载玻片；

14、（6）重复步骤（2）-（5）进行自动诊断，直至手动停止或任务完成。

15、步骤（2）中，对显微镜进行自动对焦包括粗对焦和细对焦；包括：

16、（2-1）图像采集装置采集一帧当前位置的图像，计算该图像的清晰度 s( t)；

17、（2-2）可移动载物平台在z轴方向上向上移动第一粗对焦步长，采集一帧当前位置的图像，计算该图像的清晰度 s( t+1)；

18、（2-3）若 s( t+1)＞ s( t)，重复步骤（2-2），直到 s( t+1)≤ s( t)；

19、（2-4）可移动载物平台在z轴方向上向反方向移动第二粗对焦步长，采集一帧当前位置的图像，计算该图像的清晰度；

20、（2-5）重复步骤（2-4），直至当前图像的清晰度不大于上一图像的清晰度，完成粗对焦；

21、（2-6）可移动载物平台在z轴方向上向反方向移动细对焦步长，每移动一次，采集一帧当前位置的图像并计算清晰度，直到当前图像的清晰度不大于上一图像的清晰度；

22、（2-7）可移动载物平台在z轴方向上向反方向移动一个细对焦步长，完成细对焦，对焦结束；

23、第一粗对焦步长、第二粗对焦步长、细对焦步长依次减小。

24、最优选的，第一粗对焦步长为100μm，第二粗对焦步长为10μm，细对焦步为1μm。对焦误差≤1μm。

25、图像的清晰度计算公式为：

26、；

27、其中， s表示图像的清晰度， p v是灰度值为 v的像素出现的概率。 s越大，载物平台越接近焦面。

28、步骤（3）包括：

29、（3-1）在低倍镜下，在肝组织载玻片的当前视场位置上对显微镜进行细对焦，细对焦完成后，图像采集单元自动采集和存储当前视场位置的图像，并记录当前视场位置的坐标；

30、文件实时监测单元监测到新的图像时，调用hcc分析单元对图像进行处理，获得图像的分割掩膜图；

31、（3-2）可移动载物平台移动到下一视场位置，重复步骤（3-1），直至完成肝组织载玻片的低倍镜视场图像的遍历采集，将所有视场的图像拼接获得肝组织载玻片低倍镜视场的数字图像，将所有视场图像的分割掩膜图拼接获得肝组织载玻片的分割掩膜图；

32、（3-3）调用边缘检测单元，在肝组织载玻片的分割掩膜图中检测hcc区域的轮廓，并将该轮廓绘制到所述的数字图像中，得到该数字图像的hcc标注。

33、优选的，所述的文件实时监测单元由watch dog库函数以一定频率监测指定文件夹中是否成功写入新的图像。

34、优选的，hcc分析单元对图像进行处理，包括：

35、（3-1i）基于低阶和稀疏分解的图像校正方法对图像背景和染色进行校正；

36、（3-1ii）将校正后的图像输入到预训练的hcc分割模块进行分割，得到分割掩膜图。

37、所述的hcc分割模块基于u-net结构构建，并在u-net结构中集成transformer；采用标注好hcc区域和正常区域的肝组织全切片图像作为训练样本，训练hcc分割模块，得到预训练的hcc分割模块。

38、步骤（4）包括：

39、（4-1）若hcc分析单元未检测出hcc区域，则当前肝组织载玻片为hcc阴性；

40、若hcc分析单元检测出hcc区域，将可移动载物平台移动到hcc区域，将显微镜的物镜转换为中倍镜；

41、（4-2）在中倍镜下的当前视场位置上对显微镜进行细对焦，细对焦完成后，图像采集单元自动采集和存储当前视场位置的图像，并记录当前视场位置的坐标；

42、文件实时监测单元监测到新的图像时，调用vetc分析单元对图像进行处理，获得图像的分割掩膜图；

43、（4-3）可移动载物平台移动到下一视场位置，重复步骤（4-2），直至完成hcc区域的中倍镜视场图像的遍历采集，将所有视场的图像拼接获得hcc区域中倍镜视场的数字图像，将所有视场图像的分割掩膜图拼接获得hcc区域的分割掩膜图；

44、（4-4）调用边缘检测单元，在hcc区域的分割掩膜图中检测vetc+区域的轮廓，并将该轮廓绘制到所述的数字图像中，得到该数字图像的vetc+标注。

45、优选的，vetc分析单元对图像进行处理，包括：

46、（4-2i）基于低阶和稀疏分解的图像校正方法对图像背景和染色进行校正；

47、（4-2ii）将校正后的图像输入到预训练的vetc分割模块进行分割，得到分割掩膜图。

48、vetc分析单元与hcc分析单元结构相同，采用标注好hcc区域和vetc+区域的肝组织全切片图像作为训练样本，训练vetc分割模块，得到预训练的vetc分割模块。

49、优选的，步骤（5）中，诊断报告内容包括：标注的数字图像、hcc边缘图像块、典型vetc+图像块、定量指标。

50、根据肝组织载玻片的分割掩膜图，将hcc区域与正常区域的比例为4-7：1的图像块作为hcc边缘图像块。

51、根据hcc区域的分割掩膜图，将有70%的像素大于阈值的图像块作为典型vetc+图像块。

52、所述的定量指标包括肝组织区域的面积、hcc区域的面积、vetc+区域的面积、hcc区域与肝组织区域的面积比、vetc+区域与肝组织区域的面积比、vetc+区域与hcc区域的面积比。

53、面积指标通过图像采集装置的分辨率乘以肝组织区域、hcc区域或vetc+区域的总像素数量获得；面积比指标通过对应区域的像素数量的比值获得。

54、基于相同的发明构思，本发明还提供了一种hcc及vetc辅助诊断装置，用于处理器中，所述的处理器与智能显微镜装置的可移动载物平台、电动物镜转换器、图像采集装置分别电性连接；

55、包括：

56、对焦单元，对显微镜进行自动对焦；

57、低倍镜视场图像采集单元，在一肝组织载玻片区域内，通过可移动载物平台和图像采集装置对低倍镜视场图像进行遍历采集，获得肝组织载玻片的数字图像；

58、中倍镜视场图像采集单元，由hcc分析单元检测到hcc区域时触发，在一hcc区域内，通过可移动载物平台和图像采集装置对中倍镜视场图像进行遍历采集；

59、hcc分析单元，对低倍镜视场图像采集单元采集的低倍镜视场图像进行处理，通过hcc分析单元和边缘检测单元检测hcc区域的轮廓，并将该轮廓绘制到所述的数字图像中；

60、vetc分析单元，由hcc分析单元检测到hcc区域时触发，对中倍镜视场图像采集单元采集的中倍镜视场图像进行处理，通过vetc分析单元和边缘检测单元检测vetc+区域的轮廓，并将该轮廓绘制到所述的数字图像中；

61、文件实时监测单元，实时监测低倍镜视场图像采集单元或中倍镜视场图像采集单元是否采集到新的图像，监测到新的图像时，调用hcc分析单元或vetc分析单元对图像进行处理；

62、边缘检测单元，与hcc分析单元或vetc分析单元配合，获得hcc区域或vetc+区域的轮廓，并将轮廓绘制到数字图像中；

63、分析单元，根据hcc分析单元、vetc分析单元、边缘检测单元的结果，生成肝组织载玻片的诊断报告。

64、与现有技术相比，本发明的有益效果为：

65、（1）本发明将ai分析模型与特征触发式智能显微镜系统结合，对hcc及vetc+区域实现全自动的诊断，提供精确的定性和定量化结果，辅助医生诊断。

66、（2）能够自动批量检测多张载玻片，实现全自动批量诊断，提高诊断效率。

67、（3）本发明的特征触发式系统，能够模拟医生的诊断步骤，即在低倍镜下寻找hcc区域，再切换到中倍镜观察vetc，不是通过扫描图像的“后处理”的方式，是直接对载玻片的“前处理”，更适用于临床辅助诊断，相比于其他对全片扫描的显微镜，速度更快，准确性更高。