基于层级级联网络的数字病理图像细胞核实例分割方法

所属的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的模块、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件模块、方法步骤对应的程序可以置于随机存储器(ram)、内存、只读存储器(rom)、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd-rom、或内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。下面参考图4，其示出了用于实现本技术方法、系统、设备实施例的服务器的计算机系统的结构示意图。图4示出的服务器仅仅是一个示例，不应对本技术实施例的功能和使用范围带来任何限制。如图4所示，计算机系统包括中央处理单元(cpu，central processing unit)601，其可以根据存储在只读存储器(rom，read only memory)602中的程序或者从存储部分608加载到随机访问存储器(ram，random access memory)603中的程序而执行各种适当的动作和处理。在ram 603中，还存储有系统操作所需的各种程序和数据。cpu 601、rom 602以及ram 603通过总线604彼此相连。输入/输出(i/o，input/output)接口605也连接至总线604。以下部件连接至i/o接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(crt，cathode ray tube)、液晶显示器(lcd，liquid crystal display)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如lan(局域网，local areanetwork)卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至i/o接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。在该计算机程序被中央处理单元(cpu)601执行时，执行本技术的方法中限定的上述功能。需要说明的是，本技术上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本技术中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本技术中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、rf等等，或者上述的任意合适的组合。可以以一种或多种程序设计语言或其组合来编写用于执行本技术的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如java、smalltalk、c++，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(lan)或广域网(wan)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。附图中的流程图和框图，图示了按照本技术各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

背景技术：

1、对苏木精-伊红(h&e)染色的数字病理图像进行细胞核实例分割和分类是下游癌症诊断和预后任务的必要前提。它可以减少病理学家从数字病理图像中评估组织病理学信息，如肿瘤细胞度、肿瘤浸润淋巴细胞和有丝分裂计数的工作量。这些特征中的每一个都已被证明可作为治疗预测和生存分析的生物标志物。因此，一个自动的细胞核分割和分类框架是作为后续癌症诊断和预后分析的第一步。当前的工作主要集中在自下而上的方法上，使用单级特征图分割细胞核实例；

2、然而当前的使用单级特征图分割细胞核实例不能够胜任样本量较小的细胞核标注的情景。

技术实现思路

1、为了解决现有技术中的上述问题，即当前的使用单级特征图分割细胞核实例不能够胜任样本量较小的细胞核标注的情景的问题，本发明提供了一种基于层级级联网络的数字病理图像细胞核实例分割方法，所述方法包括以下步骤：

2、s100，获取苏木精—伊红染色的全视野数字病理图像；对所述全视野数字病理图像进行预处理，得到预处理图像；所述全视野数字病理图像为包含细胞核的图像：

3、s200，对所述预处理图像编码处理，得到m个层级的层级特征金字塔；

4、s300，对第一个层级的的层级特征金字塔进行语义分割并依次进行采样、掩码实例化，得到实例化的细胞核掩码，并将实例化的细胞核掩码转化为辅助边界框，作为第一边界框；

5、s400，根据m个层级的层级特征金字塔对应的位置，提出多个候选框，作为锚框候选框；对多个锚框候选框的具体位置特征进行卷积、全连接处理，将处理后的锚框候选框进行筛选，作为第二边界框，

6、s500，基于所述第一边界框和所述第二边界框，对m个层级的层级特征金字塔进行局部特征、全局特征提取；将提取后的局部特征、全局特征进行拼接，作为细胞核实例边界框的混合特征；

7、s600，所述细胞核实例边界框的混合特征进行三重卷积优化后，输出细胞核第三实例掩码；

8、s700，对所述细胞核第三实例掩码进行非极大值抑制处理，将处理后的细胞核实例特征作为细胞核实例分割结果输出。

9、在一种优选的实施方式中，所述步骤s100中对所述全视野数字病理图像进行预处理，具体包括：

10、在第一倍率下对所述全视野数字病理图像通过大津法去除所述全视野数字病理图像的背景区域；

11、在第二倍率下，将所述全视野数字病理图像的背景区域的前景区域按照步长为256，大小为256×256进行裁剪，生成一系列不重叠的256×256图像；

12、将所述一系列不重叠的256×256图像转化为rgb图像并通过双线性采样转化到512×512大小得到一系列不重叠的512×512的rgb图像；

13、对所述一系列不重叠的512×512的rgb图像进行标准化处理得到处理后的图像。

14、在一种优选的实施方式中，对所述一系列不重叠的512×512的rgb图像进行标准化处理，具体为对rgb三通道的像素通过公式进行处理，其方法为：

15、对于r通道：i1＝(ir-123.675)/58.395；

16、对于g通道：i2＝(ig-116.28)/57.12；

17、对于b通道：i3＝(ib-103.53)/57.375；

18、其中，i1，i2，i3分别表示图像的r、g、b通道经过标准化处理之后的像素值，ir，ig，ib分别表示图像的r，g，b三通道标准化处理前的像素值。

19、在一种优选的实施方式中，对所述预处理图像编码处理，得到m个层级的层级特征金字塔，其方法为：

20、通过swin-transformer层级编码器对所述预处理图像编码处理，得到m个层级的层级特征金字塔；

21、其中，所述swin-transformer层级编码器包括切块模块，多头自注意力模块，归一化层，非线性激活层和残差连接层；每个数字病理图像切片经过所述swin-transformer层级编码器后，可生成m个层级的层级特征金字塔。

22、在一种优选的实施方式中，述步骤s300具体包括：

23、通过卷积对所述第一个层级的的层级特征金字塔进行语义分割，将在语义分割结果进行上采样，得到上采样图像；将所述上采样图像通过高斯核函数卷积模糊处理，得到模糊后的图像；

24、将所述模糊后的图像进行二值化，再通过分水岭算法进行掩码实例化，得到实例化后的细胞核掩码；

25、对所述实例化后的细胞核掩码进行筛选，得到实例化的细胞核掩码，之后将筛选后的实例化的细胞核掩码转化为第一边界框。

26、在一种优选的实施方式中，所述步骤400具体包括：

27、根据m个层级的层级特征金字塔对应的位置，提出多个候选框，作为锚框候选框；

28、对多个锚框候选框的具体位置特征进行卷积、全连接处理，将处理后的锚框候选框；

29、将处理后的锚框候选框进行非极大值抑制处理，去除冗余的边界框，然后再滤除面积小于设定面积的边界框，滤除后得到第二边界框。

30、在一种优选的实施方式中，当m为4时，得到4个层级的层级特征金字塔,分别为第一层级、第二层级、第三层级和第四层级；所述步骤s500具体包括：

31、对第一个层级的层级特征金字塔、第二个层级的层级特征金字塔，采取局部特征对准与提取；具体为：

32、对于层级特征金字塔，其边界框的左上起点坐标为(xp,yp)，宽度与高度分别为wp,hp，则每个层级特征金字塔的坐标(xi,yj)满足：

33、其中，n为层级特征金字塔对应的特征图大小的边长；

34、每一种层级特征金字塔对应的特征值为坐标(xi,yj)最近邻的四个整数坐标的双线性插值；将坐标最近邻的四个整数坐标的双线性插值赋予给相应的层级特征金字塔，最后得到对准与提取的层级特征金字塔的实例特征图；用于细胞核实例边界框优化的特征图大小为7×7，即为n＝7，用于实例掩码优化的特征图大小为14×14即为n＝14；

35、在第三个层级的层级特征金字塔、第四个层级的层级特征金字塔，采取相似度全局特征提取；具体方法为：

36、每个层级特征金字塔对应的边界框的中心点坐标(xc,yc)，选取每个层级特征金字塔与中心点坐标(xc,yc)的余弦相似度大于第一阈值的特征做均值，并通过复制操作将得到的均值复制成相应的边界框优化特征图与实例掩码特征图的大小，得到提取后的实例特征图；；

37、将提取后的实例特征图进行拼接，作为细胞核实例边界框的混合特征。

38、在一种优选的实施方式中，所述步骤s600具体包括：

39、将所述细胞核实例边界框的混合特征输入到第一卷积优化模块中，产生第一优化后的边界框，对所述第一优化后的边界框执行所述步骤s500的操作得到细胞核第一实例边界框混合特征；

40、将所述第一实例边界框混合特征输入到第二卷积优化模块中，产生第二优化后的边界框，对所述第二优化后的边界框执行所述步骤s500的操作得到细胞核第二实例边界框混合特征；

41、将所述第二实例边界框混合特征输入到第三卷积优化模块中，产生第三优化后的边界框，对所述第三优化后的边界框执行所述步骤s500的操作得到细胞核第三实例边界框混合特征，输出细胞核第三实例掩码；

42、所述第一卷积优化模块、第二卷积优化模和第三卷积优化模块均由2个公用卷积层、1个预测边界框的卷积模块和1个预测实例掩码的卷积模块组成。

43、在一种优选的实施方式中，步骤s700具体包括：

44、s701,对于细胞核第三实例掩码，从概率最大的掩码开始，计算其与除自身的所有掩码的交并比，所有与概率最大的掩码的交并比大于第一交并比阈值的掩码都被去除；

45、s702，重复s701的过程，直到不存在与概率最大的掩码的交并比大于所述第一交并比阈值的第三实例掩码；

46、s703，留下的细胞核第三实例掩码作为细胞核实例分割结果输出。

47、本发明的有益效果：

48、(1)本发明能够融合细胞核的多级特征图信息，同时能够适用于标注量较小的情况，以及同时实现细胞核的检测，分割以及分类的功能；

49、(2)本发明能够为数字病理图像的下游工作提供准确的分割与分类效果；

50、(3)本发明能够适用各种场景下的细胞核分割，并且对于各类细胞核都能达到较好的分割性能且能够适用各种复杂场景，包括模糊，重叠，较小的细胞核，细长细胞核以及染色不佳的场景。