一种实时镜下宫颈液基细胞图像辅助诊断技术的制作方法

本发明属于图像辅助诊断，具体涉及一种基于深度学习的实时镜下宫颈液基细胞图像辅助诊断技术。

背景技术：

1、宫颈癌是全球女性中第四常见的癌症类型，但它也是最易于通过筛查预防的癌症之一。宫颈癌的主要原因是持久性的人类乳头瘤病毒（hpv）感染。hpv是一种性传播病毒，有多种类型，其中部分与宫颈癌发展有关。宫颈癌的发展过程通常很慢，可能需要多年的时间，从宫颈上皮内的轻度异常变化逐渐发展成癌症。

2、宫颈液基细胞检测技术是一种用于宫颈癌筛查的方法。它并不直接预防宫颈癌，而是用来检测可能导致癌症的异常细胞变化，从而在癌症发展到更严重阶段之前进行干预。宫颈液基细胞检测是一种诊断方法，它涉及使用专用刷子轻柔地从宫颈表面及其管道内收集细胞样本。这些样本随后经过精细的处理过程，以确保它们被均匀地铺展在显微镜载玻片上。这样准备好的载玻片将提供给病理医生，由他们进行详细的细胞学分析，以评估是否存在异常，从而辅助临床诊断。

3、近年来人工智能技术愈发成熟，借助人工智能技术可以通过对宫颈细胞图像的自动分析和识别，快速准确地检测出异常细胞，如宫颈癌前病变或癌细胞。这种技术可以辅助医生进行初步筛查和诊断，减少人工操作的误差和主观性，提高诊断的一致性和准确性。此外，人工智能技术还可以对大量的宫颈细胞图像进行批量处理和分析，从而提高筛查的效率。这对于大规模的宫颈癌筛查项目来说尤为重要，可以在短时间内处理大量的样本，为早期发现和治疗宫颈癌提供更多的机会。

4、我国面临着一个庞大的宫颈癌筛查需求，目前国内已有多家公司推出较为成熟的人工智能宫颈癌筛查解决方案。主流的流程为：在完成宫颈液基细胞制片后，借助高通量数字扫描仪将切片转化为数字病理全场图像。随后，通过深度学习模型的强大分析能力，对图像中的病变细胞进行检测。最后，系统会对全片中检测到的所有病变细胞结果进行综合评估，从而给出最终的诊断结论。尽管上述的人工智能宫颈癌筛查解决方案在理论上能够显著提高筛查的质量和效率，但在实际应用中，却面临着诸多挑战和限制。这主要源于医疗环境的多样性和复杂性，使得单一方案难以满足所有医生的不同需求。

5、首先，该方案的核心技术基于数字病理全场图的分析，高度依赖于高通量数字扫描仪。然而，这种扫描仪的价格昂贵，动辄数十万人民币，这对于一些资源有限的县级医院来说，无疑是一笔难以承受的巨额开支。这不仅限制了该方案在更广泛范围内的推广和应用，也可能加剧地区间的医疗资源不均。其次，即使医院能够承担扫描仪的费用，使用过程中也可能遇到各种问题。例如，扫描失焦或其他技术故障，都可能导致扫描结果的不准确或不完整。在这种情况下，病理医生不得不重新扫描切片或进行镜下复核，这无疑增加了他们的工作负担，甚至可能影响诊断的及时性和准确性。最后，值得注意的是，许多病理医生在长期的工作中已经习惯了传统的镜下阅片模式。突然切换到全新的数字阅片模式，不仅需要他们重新适应和学习，还可能在一定程度上降低他们原有的诊断效率。这种人为因素也成为阻碍该方案广泛应用的重要障碍之一。

6、因此本发明提出一种基于深度学习的显微镜下实时诊断宫颈液基细胞切片的技术以提升宫颈癌筛查的质量和效率。

技术实现思路

1、本发明的目的在于提供一种基于深度学习的显微镜下实时诊断宫颈液基细胞切片的技术，以解决上述背景技术中提出的问题。

2、为了实现上述目的，本发明采用了如下技术方案：

3、一种实时镜下宫颈液基细胞图像辅助诊断技术，包括以下步骤：

4、步骤s1：设备安装，在三通显微镜上安装一个显微摄像头，将显微镜下的图像实时采集并显示在客户端电脑上；

5、步骤s2：客户端电脑将图像逐帧传输到服务器中进行人工智能辅助判读，服务器将疑似病变细胞的坐标和类型返回给客户端电脑；

6、步骤s3：客户端软件通过矩形框实时提示疑似病变细胞的位置和类别，并记录存在疑似病变细胞的镜下截图以方便医生随时进行复核以及后续的报告采图；

7、步骤s4：服务器记录切片上每一帧图像上各类细胞个数和特征，在检测的总细胞个数或是阳性细胞个数达到诊断标准，服务器将对这些细胞特征进行智能排序和综合分析,生成全场图的诊断结果，并直观地提示给医生，从而为医生的诊断决策提供参考。

8、所述客户端采取了一种智能策略来避免在显微镜图像静止时对相同视场进行冗余的 ai 分析，该策略包括以下步骤：

9、步骤s11：灰度转换；首先，将每张图像转换成灰度图；

10、步骤s12：尺寸缩放；随后，图像被缩放至8x8像素的尺寸；

11、步骤s13：哈希值生成；计算缩小后的图像的平均灰度，并将每一个像素的灰度值与这个平均值比较，比平均值高的像素被赋值为 1，低于或等于平均值的被赋值为 0，于是得到图像的哈希值；

12、步骤s14：哈希值对比；通过计算两个图像哈希值之间的汉明距离来对比它们的相似度。

13、进一步地，所述汉明距离是指两个哈希值在相同位置上的不同位的个数。

14、进一步地，图像被输出到服务器后，服务器内部署的ai服务开始对这一帧图像进行ai分析，客户端软件收到服务器返回的ai分析结果后，将细胞检测检测结果可视化在软件的界面上用于提示用户；其中，单帧图像分析包含一个质控模块、一个细胞检测模块和一个特征提取模块，其工作流程为：

15、步骤s21：首先图像被输入到质控模块中，质控模块用于评估图像的质量，这一质量决定图像是否有ai判读的价值；

16、步骤s22：如果图像经质控模块预测为合格，则进一步被送入细胞检测模块，所述细胞检测模块是一个目标检测模型，用于检测图像中各个细胞的位置及类别；如果不合格则直接跳过细胞检测模块；

17、步骤s23：如果细胞检测模块的图像上有检测到细胞，则进一步被送到特征提取模块对细胞进行特征提取；

18、步骤s24：将当前图像的质控结果、细胞检测结果，阳性细胞特征进行保存，并将质控结果、细胞检测结果返回给客户端软件用于显示单帧图像的ai分析结果。

19、进一步地，目标检测模型为yolov5模型，其工作流程为：

20、步骤31：预处理；输入的图像会被缩放到模型需要的尺寸，并进行归一化等预处理操作；

21、步骤32：前向传播；处理后的图像通过神经网络进行前向传播，网络会输出一系列的 bounding boxes，每个 box 包含了对象的位置、大小以及类别的概率；

22、步骤33：非极大值抑制（nms）；由于同一个对象可能会被检测多次，nms 用于去除重复的检测结果，确保每个对象只被检测一次；

23、步骤34：后处理；最后，yolov5 会输出经过筛选的 bounding boxes和相应的类别标签。

24、细胞特征提取的具体过程为：

25、步骤s41：细胞截取，将检测到的细胞按检测框截取下来，进行缩放、归一化等预处理步骤，使所有细胞截图尺寸统一；

26、步骤s42：将归一后的图像输入特征提取模型，得到每个细胞的特征向量。

27、进一步地，所述服务器在分析过程中阳性细胞的数量超过128个，或者检测到的总细胞数量超过1000个，系统会自动对该切片的全面分析，该分析过程分为几个步骤：

28、步骤s51：质量控制判定，ai算法综合考虑之前所有图像帧的质量控制结果，每帧图像都会被赋予一个质量合格或不合格的评估，通过计算合格图像帧的数量占总图像帧数量的比例，并将其与预设的阈值进行比较，ai算法决定该切片是否满足质量控制标准，如果合格的视野数量超过了总视野数量的50%，则该切片被认为是质量合格的；

29、步骤s52：细胞类型判读提示，随后，ai会根据在切片上检测到的不同类型细胞的数量，决定是否向诊断者提示存在微生物或其他特定的背景信息；

30、步骤s53：特征累积与排序，ai系统会将检测到的细胞特征根据阳性概率进行排序，并选取阳性概率最高的前128个细胞特征进行进一步分析；

31、步骤s54：全场图分类，采用的是一种融合了注意力机制的多实例学习模型（attention-based multi-instance learning, ab-mil）；

32、步骤s55：诊断类别的确定，ai模型最终会输出一个诊断结果，该结果分为六个类别：nilm（无上皮内病变或恶性肿瘤）、asc-us（非典型鳞状细胞，意义不明确）、lsil（低度鳞状上皮内病变）、asc-h（非典型鳞状细胞，不能排除hsil）、hsil（高度鳞状上皮内病变）、agc（非典型腺细胞）。

33、进一步地，所述图像质量具体评估的内容包括图像的清晰度、亮度、对比度以及图像上是否有大量的血液、气泡、封胶等污染。

34、进一步地，所述质控模块是通过一个二分类模型来实现的，本发明中选用一个名为mobilenetv3-small的轻量级卷积神经网络模型。

35、进一步地，所述设备包括硬件设备和软件设备，所述软件设备包含客户端软件和镜下宫颈液基细胞学ai判读算法，所述客户端软件安装在客户端电脑上提供用户交互界面，镜下宫颈液基细胞学ai判读算法部署在服务器上，

36、相比于现有技术，本发明的有益效果在于：

37、1、简洁高效的ai辅助镜下判读宫颈液基细胞学切片流程。

38、2、稳定可靠的镜下宫颈液基细胞学ai判读算法。