一种基于深度学习的葡萄胎切片图像处理方法及装置与流程

本发明属于医学影像技术领域，涉及一种葡萄胎的医学影像检测，尤其涉及一种采用卷积网络进行预测的葡萄胎医学影像检测。

背景技术：

葡萄胎(hm)是指妊娠后胎盘绒毛间质水肿、滋养细胞增生而形成的形如葡萄串的水泡状胎块。葡萄胎有一定几率会发展演变成恶性癌症，不及时治疗会带来严重的生命威胁。而绒毛间质水肿、滋养细胞增生作为葡萄胎的两种病灶，对于临床病理科医师诊断葡萄胎有重要意义。

葡萄胎临床诊断依据较多，临床诊断时对绝经时长、妊娠史等都会考虑，但决定性的诊断依据主要来源于切片组织的绒毛间质水肿、绒毛边缘滋养细胞弥漫性增生这两种病灶特征。绒毛间质水肿(以下简称水肿)作为葡萄胎诊断的一种病灶特征，主要组织形态为绒毛间质中有水池状、海岸线状形态，形成中间间质细胞稀疏，四周较稠密的形态。绒毛边缘滋养细胞弥漫性增生(以下简称增生)作为诊断葡萄胎的另一种病灶特征，增生主要组织特征为绒毛四周滋养细胞多灶性、非极性增生，滋养细胞呈现花环状、锯齿状的形态特征。

现有技术中，对葡萄胎的检测、筛查主要有两种方式，一种是通过显微镜人工观察切片，另一种是通过检测与葡萄胎相关的nlrp7基因。

国内外绝大多数医院的临床葡萄胎病理诊断还是通过使用数字显微镜人工观察切片组织的病灶特征，病理医师通常会使用5*10倍与10*10倍的显微镜对病人多个切片组织进行观察，进行葡萄胎切片病灶的检测，最后得出诊断结果。但是，目前国内病理科医师人数在1.5w左右，人才缺口较大，检测的效率较低；另外，临床葡萄胎诊断由于主要由医师人工筛查切片，因此准确率很难保证，尤其对于12周以前的葡萄胎，由于葡萄胎未到成熟期，病灶发育不完全，组织形态与正常葡萄胎切片较为相似，不易区分，造成临床诊断准确率极低，不到50％。

申请号为201310027715.1、名称为用于检测nlrp7基因的基因芯片、检测试剂和试剂盒的发明专利就公开了通过检测与葡萄胎相关的nlrp7基因snp，实现对于葡萄胎的临床诊断和高危人群早期筛查、早期预防干预具有重要的意义，可广泛用于临床高效筛查葡萄胎高危人群。该发明专利构建了筛查与葡萄胎相关的nlrp7基因多态性高危人群的基因芯片检测系统，基因芯片包括固相载体和合成在该载体上的寡核苷酸探针，检测试剂包括基因芯片和18对用于扩增样本中各snps的pcr引物，试剂盒包括检测试剂、一阴性对照样本和一阳性对照样本。该发明专利可快速、准确检测临床样本中的nlrp7基因各个相关snps位点，对于葡萄胎的临床诊断和高危人群早期筛查、早期预防干预具有重要的意义。

现有技术中，通过检测nlrp7基因固然有其存在的必要性，但是通过检测nlrp7基因对葡萄胎进行筛查一是增加了试剂盒检测步骤，整个检测周期会比较长，另外就是会涉及到芯片生产、试剂以及试剂盒的生产，筛查成本大幅上升，在葡萄胎临床诊断中应用范围非常受限，不易推广、应用。所以，在实际临床中是先通过人工病理检测筛选疑似葡萄胎病例，再将疑似病例进行进一步诊断。

相反，现有葡萄胎临床诊断中人工观察切片组织的病灶特征具有检测周期短、检测成本更低的优势，能够在葡萄胎临床诊断中大面积推广、应用。但是，受病理医师人数的限制，临床诊断检测的效率极低；且某些时期组织形态与正常葡萄胎切片较为相似，肉眼不易区分，临床诊断检测的准确率极低。

临床病理科医生主要通过绒毛间质水肿、绒毛边缘滋养细胞弥漫性增生等病理特征和病人绝经时长、妊娠史等信息综合判断是否为葡萄胎病症，其中绒毛间质水肿、绒毛边缘滋养细胞弥漫性增生两种病理特征是较为关键的两个诊断依据。

技术实现要素：

本发明的目的在于：提供一种基于深度学习的葡萄胎切片图像处理方法及装置，通过获得葡萄胎的水肿、增生区域分布，以解决现有技术中通过人工观察切片组织的病理特征致使的葡萄胎临床诊断检测的效率低的问题。

本发明采用的技术方案如下：

一种基于深度学习的葡萄胎切片图像处理方法，步骤如下：

s1，将he染色好的葡萄胎切片放入显微镜载物台，显微镜对焦，并获取葡萄胎切片在显微镜下的切片图片；

s2，将切片图片输入水肿网络b-net、增生网络c-net，得到切片图片的水肿区域分布热度图和增生区域分布热度图。

可选地，在步骤s1中，显微镜对焦后，扫描拍摄显微镜下葡萄胎切片的图片，扫描拍摄的图片作为水肿网络b-net、增生网络c-net的输入；或者将所有扫描的图片及每张图片对应的位置序号传输到上位机，上位机将接收到的图片拼接成切片图片，拼接好的切片图片作为水肿网络b-net、增生网络c-net的输入。

可选地，在步骤s1中，显微镜对焦后，扫描拍摄显微镜下葡萄胎切片的图片，将所有扫描的图片及每张图片对应的位置序号传输到上位机，上位机将接收到的图片拼接成切片图片，拼接好的切片图片作为水肿网络b-net、增生网络c-net的输入。

可选地，步骤s2的具体过程为：

s21，在将拼接好的切片图片在输入水肿网络b-net、增生网络c-net之前进行切块处理，将拼接好的切片图片按照size1、size2两个不同的尺寸切分成两组图片切块组，尺寸为size1的图片切块组输入水肿网络b-net，尺寸为size2的图片切块组输入增生网络c-net；

s22，通过水肿网络b-net获取图片切块组中每张图片切块的水肿标签，水肿标签包括水肿切块、非水肿切块；通过增生网络c-net获取图片切块组中每张图片切块的增生标签，增生标签包括增生切块、非增生切块；

s23，根据每张图片切块的水肿标签、增生标签以及图片切块的对应位置，合成输出整张切片图片的水肿区域分布热度图和增生区域分布热度图。

可选地，水肿区域分布热度图的生成步骤为：

s23-1-1，以记录有水肿标签的每张图片切块的中心点作为散点，在整张切片图片中形成离散的散点数据图；

s23-1-2,为整张切片图片中的每个散点创建单热点灰度区；

s23-1-3,所有的单热点灰度区重叠、组合成整张切片图片的水肿区域分布热度图；

增生区域分布热度图的生成步骤为：

s23-2-1，以记录有增生标签的每张图片切块的中心点作为散点，在整张切片图片中形成离散的散点数据图；

s23-2-2,为整张切片图片中的每个散点创建单热点灰度区；

s23-2-3,所有的单热点灰度区重叠、组合成整张切片图片的增生区域分布热度图。

可选地，在步骤s23-1-2、s23-2-2中，创建单热点灰度区的公式(1)为：

其中，xo、yo为图片切块的中心点坐标，为图片切块的中心点灰度，σ为正态分布方差；

可选地，在步骤s23-1-3中，水肿热度图灰度分布表示为以下公式(2)：

其中，edema为水肿切块中心点集合，x0i、y0i为第i个图片切块的中心点在整张切片图片中的坐标位置，为图片切块的中心点灰度，σ为正态分布方差；

在步骤s23-2-3中，增生热度图灰度分布表示为以下公式(3)：

其中，hype为增生切块中心点集合，x0i、y0i为第i个图片切块的中心点在整张切片图片中的坐标位置，为图片切块的中心点灰度，σ为正态分布方差。

可选地，在步骤s2中，水肿网络b-net为经过训练的水肿网络b-net，水肿网络b-net的训练步骤为：

步骤一，将训练图片以尺寸size1切成若干训练图片切块，尺寸size1的计算公式(4)为：

其中，si为每个水肿区域连通域的最小外接矩阵较长边的长度，m1为水肿区域连通域的个数，d1为小于1的可调参数；

步骤二，将训练图片切块输入水肿网络b-net，标注训练图片切块中的水肿区域，计算训练图片切块中水肿区域面积占训练图片切块总面积的比值，若比值超过特定阈值threshold1，则该训练图片切块的水肿标签为水肿切块；若比值不超过特定阈值threshold1，则该训练图片切块的水肿标签为非水肿切块；得到所有训练图片切块的水肿标签；

特定阈值threshold1采用公式(5)进行计算：

其中，p1为训练图片切块中水肿区域面积占训练图片切块总面积的比值，n1为训练图片切块的张数，pi为第i张训练图片切块中水肿区域面积占训练图片切块总面积的比值；

步骤三，将水肿标签为水肿切块、非水肿切块的训练图片切块作为二分类深度网络b-net的输入，最终训练得到水肿网络b-net。

该增生网络c-net为经过训练的增生网络c-net，增生网络c-net的训练步骤为：

步骤一，将训练图片以尺寸size2切成若干训练图片切块，尺寸size2的计算公式(6)为：

其中，qi为每个增生区域连通域的最小外接矩阵较长边的长度，m2为增生区域连通域的个数，d2为小于1的可调参数；

步骤二，将训练图片切块输入增生网络c-net，标注训练图片切块中的水肿区域，计算训练图片切块中水肿区域面积占训练图片切块总面积的比值，若比值超过特定阈值threshold2，则该训练图片切块的增生标签为增生切块；若比值不超过特定阈值threshold2，则该训练图片切块的增生标签为非增生切块；得到所有训练图片切块的增生标签；

特定阈值threshold2采用公式(7)进行计算：

其中，p2为训练图片切块中增生区域面积占训练图片切块总面积的比值，n2为训练图片切块的张数，bi为第i张训练图片切块中增生区域面积占训练图片切块总面积的比值；

步骤三，将增生标签为增生切块、非增生切块的训练图片切块作为二分类深度网络c-net的输入，最终训练得到增生网络c-net。

本申请还提供有一种基于深度学习的葡萄胎切片图像处理装置，其包括：

显微镜，用于放大葡萄胎切片的微小结构；

切片扫描模块，用于获取葡萄胎切片在显微镜下的切片图片；

切片图像处理系统，用于将切片图片输入水肿网络b-net、增生网络c-net，得到切片图片的水肿区域分布热度图和增生区域分布热度图。

所述，由于采用了上述技术方案，本发明的有益效果是：

本发明将深度网络技术和葡萄胎切片病理诊断技术进行结合，将切片图片输入水肿网络b-net、增生网络c-net，最终可获取葡萄胎切片的水肿区域分布热度图和增生区域分布热度图；另外，热度图由系统生成，根据热度图可直观获得水肿增、生区域分布情况，减少检测过程中对于病理医师主观分析的过度依赖。

本发明在热度图的生成过程中采用特定的模型和算法，热度图更能够真实反映水肿、增生分布情况，热度图的精度更高。

另外，针对水肿网络b-net、增生网络c-net进行了深度训练，通过特定的训练方式方法获得更加成熟的网络，通过更加成熟的网络能够获得更加真实、有效的热度图，提高热度图的精度。

附图说明

图1为本发明所需的葡萄胎切片扫描图的水肿标注样例；

图2为本发明所需的葡萄胎切片扫描图的增生标注样例；

图3为本发明中葡萄胎切片图像处理整体流程图；

图4为本发明中数字显微镜切片扫描装置；

图5为本发明中水肿网络b-net的网络结构图；

图6为一张样例切片的水肿分部信息图，越亮代表水肿越明显，左图为原始人工标注水肿分布图，右图为采用本发明的方法获得的水肿分布图；

其中，增生网络c-net的网络结构图与图5相同。

具体实施方式

本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。

实施例一

一种基于深度学习的葡萄胎切片图像处理方法，适用于切片图片无需拼接、切块的情形。其具体步骤如下：

将葡萄胎切片放入显微镜载物台，显微镜对焦，并获取葡萄胎切片在显微镜下的切片图片；

在该步骤中，首先，葡萄胎切片需要先进行he染色处理，经he染色处理后的葡萄胎切片再放入显微镜载物台，显微镜选用数字显微镜；其次，自动对焦模块进行自动对焦，使显微镜的视场中能够看到清晰的葡萄胎切片；最后切片扫描模块获取葡萄胎切片在显微镜下的切片图片。

将切片图片输入水肿网络b-net、增生网络c-net，得到切片图片的水肿区域分布热度图和增生区域分布热度图；

切片图片输入水肿网络b-net后，通过水肿网络b-net获取切片图片的水肿标签，水肿标签包括水肿切块、非水肿切块；切片图片输入增生网络c-net后，通过增生网络c-net获取切片图片的增生标签，增生标签包括增生切块、非增生切块；再根据切片图片的水肿标签、增生标签等信息，生成切片图片的水肿区域分布热度图和增生区域分布热度图。

在生成水肿区域分布热度图时，生成水肿区域分布热度图的具体步骤为：

以记录有水肿标签的切片图片的中心点作为散点，在整张切片图片中形成离散的散点数据图；

为整张切片图片中的每个散点创建单热点灰度区；

所有的单热点灰度区重叠、组合成整张切片图片的水肿区域分布热度图；

在生成增生区域分布热度图时，生成增生区域分布热度图的具体步骤为：

以记录有增生标签的切片图片的中心点作为散点，在整张切片图片中形成离散的散点数据图；

为整张切片图片中的每个散点创建单热点灰度区；

所有的单热点灰度区重叠、组合成整张切片图片的增生区域分布热度图。

在创建单热点灰度区时，创建单热点灰度区的公式(1)为：

其中，xo、yo为图片切块的中心点坐标，为图片切块的中心点灰度，σ为正态分布方差；

生成水肿区域分布热度图时，水肿热度图灰度分布表示为以下公式(2)：

其中，edema为水肿切块中心点集合，x0i、y0i为图片切块的中心点在整张切片图片中的坐标位置，为图片切块的中心点灰度，σ为正态分布方差；

生成增生区域分布热度图时，增生热度图灰度分布表示为以下公式(3)：

其中，hype为增生切块中心点集合，x0i、y0i为图片切块的中心点在整张切片图片中的坐标位置，为图片切块的中心点灰度，σ为正态分布方差。

另外，水肿网络b-net、增生网络c-net都需要进行训练，且都是经过训练后得到的成熟网络。

水肿网络b-net的训练步骤为：

步骤一，将训练图片以尺寸size1切成若干训练图片切块，尺寸size1的计算公式(4)为：

其中，si为每个水肿区域连通域的最小外接矩阵较长边的长度，m1为水肿区域连通域的个数，d1为小于1的可调参数；

步骤二，将训练图片切块输入水肿网络b-net，标注训练图片切块中的水肿区域，计算训练图片切块中水肿区域面积占训练图片切块总面积的比值，若比值超过特定阈值threshold1，则该训练图片切块的水肿标签为水肿切块；若比值不超过特定阈值threshold1，则该训练图片切块的水肿标签为非水肿切块；得到所有训练图片切块的水肿标签；

特定阈值threshold1采用公式(5)进行计算：

其中，p1为训练图片切块中水肿区域面积占训练图片切块总面积的比值，n1为训练图片切块的张数，pi为第i张训练图片切块中水肿区域面积占训练图片切块总面积的比值；

步骤三，将水肿标签为水肿切块、非水肿切块的训练图片切块作为二分类深度网络b-net的输入，最终训练得到水肿网络b-net。

本实施例中的水肿网络b-net的网络结构图如图5所示，网络输入切块图片经过卷积层、池化层、inception-resnet模块最终得到网络输出，将切块分为水肿与非水肿两类。水肿网络中的inception-resnet模块能极大提升网络运算的效率，为网络训练提供便利。水肿网络输出的所有切片的带标签切块组合成切片水肿信息。

增生网络c-net的训练方法与水肿网络b-net的训练方法相同，但由于水肿、增生形态及面积差异巨大，增生网络c-net网络输入所需切块为另一特定尺寸size2,判别时的特定阈值为threshold2，size2与threshold2的计算公式相同。

增生网络c-net的训练步骤为：

步骤一，将训练图片以尺寸size2切成若干训练图片切块，尺寸size2的计算公式(6)为：

其中，qi为每个增生区域连通域的最小外接矩阵较长边的长度，m2为增生区域连通域的个数，d2为小于1的可调参数；

步骤二，将训练图片切块输入增生网络c-net，标注训练图片切块中的增生区域，计算训练图片切块中增生区域面积占训练图片切块总面积的比值，若比值超过特定阈值threshold2，则该训练图片切块的增生标签为增生切块；若比值不超过特定阈值threshold2，则该训练图片切块的增生标签为非增生切块；得到所有训练图片切块的增生标签；

特定阈值threshold2采用公式(7)进行计算：

其中，p2为训练图片切块中增生区域面积占训练图片切块总面积的比值，n2为训练图片切块的张数，bi为第i张训练图片切块中增生区域面积占训练图片切块总面积的比值；

步骤三，将增生标签为增生切块、非增生切块的训练图片切块作为二分类深度网络b-net的输入，最终训练得到增生网络c-net。

实施例二

一种基于深度学习的葡萄胎切片图像处理方法，主要适用于切片图片较大，需要拼接、切块的情形，也是最为主要的应用场景。其具体步骤如下：

s1，将葡萄胎切片放入显微镜载物台，显微镜对焦，并获取葡萄胎切片在显微镜下的切片图片；

在该步骤中，首先，葡萄胎切片需要先进行he染色处理，经he染色处理后的葡萄胎切片再放入显微镜载物台，显微镜选用数字显微镜；其次，自动对焦模块进行自动对焦，使显微镜的视场中能够看到清晰的葡萄胎切片；最后切片扫描模块获取葡萄胎切片在显微镜下的切片图片。

在扫描时，由于葡萄胎切片不能在一个视场中完全展现出来，因而需随时调整显微镜，使显微镜视场以一定速度移动并扫描拍摄显微镜下葡萄胎切片的图片；所以在扫描过程中将会产生多张扫描图片。

但是受后期网络对输入照片尺寸的要求，需将多张扫描图片经拼接后可形成完整的切片图片，然后在切分成符合水肿网络b-net、增生网络c-net要求尺寸的图片切块。所以，将所有扫描的图片及每张图片对应的位置序号传输到上位机，上位机将接收到的图片拼接成切片图片，拼接好的切片图片作为水肿网络b-net、增生网络c-net的输入。

本实施例中，上位机进行图片拼接时，拼接的具体步骤为：

步骤一，在已拼接图片t上提取间隔为c的两列像素，每列像素取m个像素，计算m个像素的像素灰度比值，此像素灰度比值作为模板a；其中，已拼接图片t包括首次拼接时的基础图片和已经与其它图片拼接好并作为下一次拼接基础的图片；

步骤二，在待拼接图片s上提取间隔为c的两列像素，每列像素取m+n个像素，计算m+n个像素的像素灰度比值，此像素灰度比值作为模板b；

步骤三，利用模板a在模板b中寻找相应的匹配，即待拼接图片s在各个位置上与模板a、模板b的差绝对值；匹配时，先进行垂直方向上的比较，再进行水平方向的比较，差绝对值达到最小就认为是全局最佳匹配；

步骤四，将待拼接图片s的最佳匹配位置拼接到已拼接图片t上；

反复依次重复步骤二、步骤三，最终得到完整的切片图片。

s2，将切片图片输入水肿网络b-net、增生网络c-net，得到切片图片的水肿区域分布热度图和增生区域分布热度图。

由于水肿网络b-net、增生网络c-net对输入图片尺寸有特殊要求，因而需对切片图片进行切块处理。即步骤s2的具体过程为：

s21，在将拼接好的切片图片在输入水肿网络b-net、增生网络c-net之前进行切块处理，将拼接好的切片图片按照size1、size2两个不同的尺寸切分成两组图片切块组，尺寸为size1的图片切块组输入水肿网络b-net，尺寸为size2的图片切块组输入增生网络c-net；

该步骤中size1、size2的确定，与下述训练方法中size1、size2的确定一致，只需将训练图片替换为切片图片即可。

s22，通过水肿网络b-net获取图片切块组中每张图片切块的水肿标签，水肿标签包括水肿切块、非水肿切块；通过增生网络c-net获取图片切块组中每张图片切块的增生标签，增生标签包括增生切块、非增生切块；

s23，根据每张图片切块的水肿标签、增生标签以及图片切块的对应位置，合成输出整张切片图片的水肿区域分布热度图和增生区域分布热度图。

在生成水肿区域分布热度图时，水肿区域分布热度图的生成步骤为：

s23-1-1，以记录有水肿标签的每张图片切块的中心点作为散点，在整张切片图片中形成离散的散点数据图；

s23-1-2,为整张切片图片中的每个散点创建单热点灰度区；

s23-1-3,所有的单热点灰度区重叠、组合成整张切片图片的水肿区域分布热度图；

在生成增生区域分布热度图时，增生区域分布热度图的生成步骤为：

s23-2-1，以记录有增生标签的每张图片切块的中心点作为散点，在整张切片图片中形成离散的散点数据图；

s23-2-2,为整张切片图片中的每个散点创建单热点灰度区；

s23-2-3,所有的单热点灰度区重叠、组合成整张切片图片的增生区域分布热度图。

另外，在步骤s23-1-2、s23-2-2中，创建单热点灰度区的公式(1)为：

其中，xo、yo为图片切块的中心点坐标，为图片切块的中心点灰度，σ为正态分布方差；

在步骤s23-1-3中，水肿热度图灰度分布表示为以下公式(2)：

其中，edema为水肿切块中心点集合，x0i、y0i为第i个图片切块的中心点在整张切片图片中的坐标位置，为图片切块的中心点灰度，σ为正态分布方差；

在步骤s23-2-3中，增生热度图灰度分布表示为以下公式(3)：

其中，hype为增生切块中心点集合，x0i、y0i为第i个图片切块的中心点在整张切片图片中的坐标位置，为图片切块的中心点灰度，σ为正态分布方差。

另外，水肿网络b-net、增生网络c-net都需要进行训练，且都是经过训练后得到的成熟网络。

水肿网络b-net的训练步骤为：

步骤一，将训练图片以尺寸size1切成若干训练图片切块，尺寸size1的计算公式(4)为：

其中，si为每个水肿区域连通域的最小外接矩阵较长边的长度，m1为水肿区域连通域的个数，d1为小于1的可调参数；

步骤二，将训练图片切块输入水肿网络b-net，标注训练图片切块中的水肿区域，计算训练图片切块中水肿区域面积占训练图片切块总面积的比值，若比值超过特定阈值threshold1，则该训练图片切块的水肿标签为水肿切块；若比值不超过特定阈值threshold1，则该训练图片切块的水肿标签为非水肿切块；得到所有训练图片切块的水肿标签；

特定阈值threshold1采用公式(5)进行计算：

其中，p1为训练图片切块中水肿区域面积占训练图片切块总面积的比值，n1为训练图片切块的张数，pi为第i张训练图片切块中水肿区域面积占训练图片切块总面积的比值；

步骤三，将水肿标签为水肿切块、非水肿切块的训练图片切块作为二分类深度网络b-net的输入，最终训练得到水肿网络b-net。

增生网络c-net的训练步骤为：

步骤一，将训练图片以尺寸size2切成若干训练图片切块，尺寸size2的计算公式(6)为：

其中，qi为每个增生区域连通域的最小外接矩阵较长边的长度，m2为增生区域连通域的个数，d2为小于1的可调参数；

步骤二，将训练图片切块输入增生网络c-net，标注训练图片切块中的增生区域，计算训练图片切块中增生区域面积占训练图片切块总面积的比值，若比值超过特定阈值threshold2，则该训练图片切块的增生标签为增生切块；若比值不超过特定阈值threshold2，则该训练图片切块的增生标签为非增生切块；得到所有训练图片切块的增生标签；

特定阈值threshold2采用公式(7)进行计算：

其中，p2为训练图片切块中增生区域面积占训练图片切块总面积的比值，n2为训练图片切块的张数，bi为第i张训练图片切块中增生区域面积占训练图片切块总面积的比值；

步骤三，将增生标签为增生切块、非增生切块的训练图片切块作为二分类深度网络b-net的输入，最终训练得到增生网络c-net。

在实施例二的基础上，如图6所示，左图为原始标注热度图，此图为某切块经人工标注后得到的水肿热度图，右图为同一切块的图像输入本实施例的水肿网络后输出并得到的热度图，图中亮色区域表示为水肿区域。通过对比，两图的亮色区域的重合度高达83％以上，由此可以说明，对比于人工标注，本实施例的标注检测精度可达83％(即与人工标注的重合度高达83％)，检测精度高。如图6，可以对比两张热度图最上方的绒毛区域，网络输出热度图的水肿区域其实更符合病理医生实际临床经验，人工标注热度图反而漏标一部分水肿区域。

实施例三

一种基于深度学习的葡萄胎切片图像处理装置，包括：

显微镜，用于放大葡萄胎切片的微小结构。

切片扫描模块，用于获取葡萄胎切片在显微镜下的切片图片。

葡萄胎切片图像处理系统，用于将切片图片输入水肿网络b-net、增生网络c-net，得到切片图片的水肿区域分布热度图和增生区域分布热度图。

还可以包括自动对焦模块和上位机；

该自动对焦模块，用于对显微镜进行自动对焦，使显微镜的视场中能够看到清晰的葡萄胎切片。

该上位机，用于接收切片扫描模块获取的所有扫描的图片及每张图片对应的位置序号，并将接收到的图片拼接成切片图片。

该葡萄胎切片图像处理系统包括切片拼接模块、网络模块以及热度图生成模块；

该切片拼接模块，用于将拼接好的切片图片按照size1、size2两个不同的尺寸切分成两组图片切块组。

网络模块包括水肿网络子模块、增生网络子模块；

水肿网络子模块，用于利用通过水肿网络b-net获取图片切块组中每张图片切块的水肿标签，水肿标签包括水肿切块、非水肿切块。

增生网络子模块，用于利用通过增生网络c-net获取图片切块组中每张图片切块的增生标签，增生标签包括增生切块、非增生切块。

热度图生成模块，用于根据每张图片切块的水肿标签、增生标签以及图片切块的对应位置，合成输出整张切片图片的水肿区域分布热度图和增生区域分布热度图。

热度图生成模块包括水肿区域热度图生成子模块和增生区域热度图生成子模块；

水肿区域热度图生成子模块又包括水肿散点图生成模块、水肿单热点灰度区创建模块和水肿区域分布热度图生成模块；

水肿散点图生成模块，用于以记录有水肿标签的每张图片切块的中心点作为散点，在整张切片图片中形成离散的散点数据图。

水肿单热点灰度区创建模块，用于为整张切片图片中的每个散点创建单热点灰度区。

水肿区域分布热度图生成模块，用于所有的单热点灰度区重叠、组合成整张切片图片的水肿区域分布热度图。

增生区域热度图生成子模块又包括增生散点图生成模块、增生单热点灰度区创建模块和增生区域分布热度图生成模块；

增生散点图生成模块，用于以记录有增生标签的每张图片切块的中心点作为散点，在整张切片图片中形成离散的散点数据图。

增生单热点灰度区创建模块，用于为整张切片图片中的每个散点创建单热点灰度区。

增生区域分布热度图生成模块，用于所有的单热点灰度区重叠、组合成整张切片图片的增生区域分布热度图。

水肿单热点灰度区创建模块、增生单热点灰度区创建模块中，创建单热点灰度区的公式(1)为：

其中，xo、yo为图片切块的中心点坐标，为图片切块的中心点灰度，σ为正态分布方差。

水肿区域分布热度图生成模块中，水肿热度图灰度分布表示为以下公式(2)：

其中，edema为水肿切块中心点集合，x0i、y0i为第i个图片切块的中心点在整张切片图片中的坐标位置，为图片切块的中心点灰度，σ为正态分布方差。

增生区域分布热度图生成模块中，增生热度图灰度分布表示为以下公式(3)：

其中，hype为增生切块中心点集合，x0i、y0i为第i个图片切块的中心点在整张切片图片中的坐标位置，为图片切块的中心点灰度，σ为正态分布方差。

另外，还可以设置网络训练模块，该网络训练模块包括水肿网络训练子模块和增生网络训练模块；

水肿网络训练子模块包括水肿图片切块模块、水肿标签模块和水肿网络生成模块；

水肿图片切块模块，用于将训练图片以尺寸size1切成若干训练图片切块，尺寸size1的计算公式(4)为：

其中，si为每个水肿区域连通域的最小外接矩阵较长边的长度，m1为水肿区域连通域的个数，d1为小于1的可调参数；

水肿标签模块，用于将训练图片切块输入水肿网络b-net，标注训练图片切块中的水肿区域，计算训练图片切块中水肿区域面积占训练图片切块总面积的比值，若比值超过特定阈值threshold1，则该训练图片切块的水肿标签为水肿切块；若比值不超过特定阈值threshold1，则该训练图片切块的水肿标签为非水肿切块；得到所有训练图片切块的水肿标签；

特定阈值threshold1采用公式(5)进行计算：

其中，p1为训练图片切块中水肿区域面积占训练图片切块总面积的比值，n1为训练图片切块的张数，pi为第i张训练图片切块中水肿区域面积占训练图片切块总面积的比值；

水肿网络生成模块，用于将水肿标签为水肿切块、非水肿切块的训练图片切块作为二分类深度网络b-net的输入，最终训练得到水肿网络b-net。

增生网络训练子模块包括增生图片切块模块、增生标签模块和增生网络生成模块；

增生图片切块模块，用于将训练图片以尺寸size1切成若干训练图片切块，尺寸size1的计算公式(6)为：

其中，qi为每个增生区域连通域的最小外接矩阵较长边的长度，m2为增生区域连通域的个数，d2为小于1的可调参数；

增生标签模块，用于将训练图片切块输入增生网络c-net，标注训练图片切块中的增生区域，计算训练图片切块中增生区域面积占训练图片切块总面积的比值，若比值超过特定阈值threshold2，则该训练图片切块的增生标签为增生切块；若比值不超过特定阈值threshold2，则该训练图片切块的增生标签为非增生切块；得到所有训练图片切块的增生标签；

特定阈值threshold2采用公式(5)进行计算：

其中，p2为训练图片切块中增生区域面积占训练图片切块总面积的比值，n2为训练图片切块的张数，bi为第i张训练图片切块中增生区域面积占训练图片切块总面积的比值；

增生网络生成模块，用于将增生标签为增生切块、非增生切块的训练图片切块作为二分类深度网络b-net的输入，最终训练得到增生网络c-net。