自体免疫抗体的免疫荧光影像型态识别方法与流程

本发明涉及一种自体免疫抗体的免疫荧光影像型态识别方法，特别涉及一种利用卷积神经网络(convolutionalneuralnetworks,简称cnn)运算，对原始细胞免疫荧光影像进行分析，判读免疫荧光影像中分属各种自体免疫抗体特征类型的判断方法。

背景技术：

抗核抗体(antinuclearantibodies,简称ana)可视为一组将人体细胞中各种与细胞核相关成分作为标靶原的自体免疫抗体的总称。这些自体免疫抗体存在于各种不同的免疫疾病，例如类风湿性关节炎、红斑性狼疮、硬皮症、干燥症、皮肌炎等，对于风湿疾病的诊断占有非常重要的角色。目前筛检自体免疫抗体的标准筛检方法是采用免疫荧光法(indirectimmunofluorescence,简称iif)进行检验，测定结果大于或等于1:80稀释后可判读出型别就认为是有意义的阳性，即与多种自身免疫疾病相关。同时，通过免疫荧光法进行筛检后所获得的细胞影像，也可用于了解自体免疫抗体的样态。然而，上述判读或样态分类都是经由人工判读，除了再现性的判读及浓度稀释的费时费工外，由于自体免疫疾病病人口逐年增加，免疫荧光方法使用越趋普遍，未来检验量势必逐年增加检验而造成人工判读上的负担。

对此，利用机器学习的技术来处理免疫荧光影像的判读，可能是解决上述人工判读需耗费人力成本及判读一致性问题的解决方式。然而，要利用机器学习技术来进行判读，现有技术上必须先对原始细胞免疫荧光影像进行前处理，包括细胞范围边界的界定切割、像素模糊化处理等，经过处理后的免疫荧光影像才由机器进行分类判读。上述的前处理过程反而增加了判读的步骤，降低了判断抗核抗体结果的判读效率，但若不进行原始细胞免疫荧光影像的前处理操作，则判读结果的准确率无法达到要求的水平。因此，目前现有的抗核抗体的检验及判断方法，仍无法以简化且准确的方式，利用机器学习来完成抗核抗体的判读。

因此，如何建立一种机器学习模型，使其能直接读取原始细胞的免疫荧光影像，摘取其中的特征，有效的对抗核抗体进行分类及判读，提升判读结果的效率及准确性，是相关医学产业所要达成的目标。

技术实现要素：

本发明实施例要解决的问题是提供一种自体免疫抗体的免疫荧光影像判断方法，用以解决现有的自动判读准确率过低及需要对免疫荧光影像进行额外的前处理操作的问题。

为解决上述问题，本发明的实施例提供了一种自体免疫抗体的免疫荧光影像型态识别方法，包括下列步骤：通过一输入设备输入多个原始细胞影像，将多个原始细胞免疫荧光影像分别转换成多个三原色图层；通过一处理器将多个三原色图层进行多个卷积神经网络的运算，多个卷积神经网络分别包括以卷积层、池化层及启动层，运算后得到多个卷积特征数据，再将多个卷积特征数据作为下一阶卷积神经网络的输入；通过处理器进行判断操作，将多个卷积特征数据与多个神经元进行全连接，判断多个原始细胞免疫荧光影像分属于多个抗核抗体特征的比例；以及通过一输出装置将多个原始细胞免疫荧光影像的判断结果输出。

优选地，如上所述的自体免疫抗体的免疫荧光影像型态识别方法，卷积层可包括触发函数，触发函数包括sigmoid函数、tanh函数、relu函数、prelu函数、arctan函数、elu函数、softplus函数、sinusoid函数、sinc函数、bentidentity函数或gaussian函数。

具体地，如上所述的自体免疫抗体的免疫荧光影像型态识别方法，池化层可包括最大池化或平均池化的运算方式。

进一步的，如上所述的自体免疫抗体的免疫荧光影像型态识别方法，启动层可包括在同一层运算中进行不同大小模板的卷积运算及最大池化运算，再将数据进行级联。

具体地，如上所述的自体免疫抗体的免疫荧光影像型态识别方法，抗核抗体特征包括：阴性表现型(negativephenotype)、核心表现型(nuclearphenotype)、细胞质表现型(cytoplasmicphenotype)及有丝分裂表现型(mitoticphenotype)。

优选地，如上所述的自体免疫抗体的免疫荧光影像型态识别方法，核心表现型(negativephenotype)包括均质型(homogeneouspattern)、第一斑点型(specklepattern)、第一着丝点型(centromerepattern)、离散核点型(discretenucleardotspattern)、核仁型(nucleolarpattern)、核膜型(nuclearenvelopepattern)及多形性型(pleomorphicpattern。

优选地，如上所述的自体免疫抗体的免疫荧光影像型态识别方法，第一斑点型(specklepattern)包括：第一致密斑点型(densefinespeckledpattern)、第一细致斑点型(finespeckledpattern)、大点或粗点型(large/coarsespeckledpattern)以及类第一型拓扑酶型(topoi-likepattern)。

优选地，如上所述的自体免疫抗体的免疫荧光影像型态识别方法，离散核点型(discretenucleardotspattern)包括：多量型(multiplepattern)和少量型(fewpattern)。

优选地，如上所述的自体免疫抗体的免疫荧光影像型态识别方法，核仁型(nucleolarpattern)包括：均质型(homogeneouspattern)、多块型(clumpypattern)以及第一点状型(punctatepattern)。

优选地，如上所述的自体免疫抗体的免疫荧光影像型态识别方法，核膜型(nuclearenvelopepattern)包括：第二点状型(punctatepattern)和平滑型(smoothpattern)。

优选地，如上所述的自体免疫抗体的免疫荧光影像型态识别方法，多形性型(pleomorphicpattern)包括：增殖细胞核抗原(proliferatingcellnuclearantigen，简称pcna)型以及有丝分裂着丝点粒蛋白f抗体型。

优选地，如上所述的自体免疫抗体的免疫荧光影像型态识别方法，细胞质表现型(cytoplasmicphenotype)包括：纤维状型(fibrillarpattern)、第二斑点型(specklepattern)、抗粒线体抗体(anti-mitochondrialantibody,简称ama)型、高基氏体型(golgipattern)及杆与环型(rodsandringspattern)。

优选地，如上所述的自体免疫抗体的免疫荧光影像型态识别方法，纤维状型(fibrillarpattern)包括：线型(linearpattern)、丝状型(filamentouspattern)以及分节型(segmentalpattern)。

优选地，如上所述的自体免疫抗体的免疫荧光影像型态识别方法，第二斑点型(specklepattern)包括：离散点型(discretedotspattern)、第二致密斑点型(dense(finespeckledpattern)以及第二细致斑点型(finespeckledpattern)。

优选地，如上所述的自体免疫抗体的免疫荧光影像型态识别方法，有丝分裂表现型包括着丝点型(centromerepattern)、纺锤丝型(spindlefiberspattern)、细胞间桥型(intercellularbridgepattern)及有丝分裂染色体膜型(mitoticchromosomalenvelopepattern)。

优选地，如上所述的自体免疫抗体的免疫荧光影像型态识别方法，纺锤丝型(spindlefiberspattern)包括：核有丝分裂器(nuclearmitoticapparatus，简称numa)型。

具体地，如上所述的自体免疫抗体的免疫荧光影像型态识别方法，输入的多个原始细胞免疫荧光影像可进行10层卷积神经网络运算，得到多个卷积特征数据。

优选地，如上所述的自体免疫抗体的免疫荧光影像型态识别方法，多个卷积神经网络当中的各卷积层可分别具有预定像素尺寸的卷积核。

与现有技术相比，本发明实施例提供的一种自体免疫抗体的免疫荧光影像型态识别方法，至少具有以下有益效果：

(1)本发明所提供的自体免疫抗体的免疫荧光影像型态识别方法能直接分析原始细胞免疫荧光影像，无须对免疫荧光影像进行前处理的步骤，有利于提高判读效率。

(2)本发明所提供的自体免疫抗体的免疫荧光影像型态识别方法能够通过机器学习方式自动分析及判读细胞免疫荧光影像数据，无须通过人工判读方式判断抗核抗体型别，减轻了检验人员负担并降低了判读操作所需成本。

(3)本发明所提供的自体免疫抗体的免疫荧光影像型态识别方法能通过多层的卷积神经网络运算，摘取细胞免疫荧光影像深层的特征，使得判读结果更为准确，提高判断的正确率。

附图说明

图1为本发明实施例的自体免疫抗体的免疫荧光影像型态识别方法的流程示意图；

图2a为本发明实施例的触发函数为sigmoid函数时的示意图；

图2b为本发明实施例的触发函数为tanh函数时的示意图；

图2c为本发明实施例的触发函数为relu函数时的示意图；

图3为本发明实施例的启动层的示意图；

图4为本发明实施例的多层感知类神经网络的示意图；

图5为本发明实施例的自体免疫抗体特征分类的示意图；

图6为本发明实施例的自体免疫抗体的免疫荧光影像判断方法的示意图；

图7为本发明实施例的一自体免疫抗体判断结果的示意图；

图8为本发明实施例的另一自体免疫抗体判断结果的示意图。

具体实施方式

为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。在下面的描述中，提供诸如具体的配置和组件的特定细节仅仅是为了帮助全面理解本发明的实施例。因此，本领域技术人员应该清楚，可以对这里描述的实施例进行各种改变和修改而不脱离本发明的范围和精神。另外，为了清楚和简洁，省略了对已知功能和构造的描述。

参见图1，图1为本发明实施例的自体免疫抗体的免疫荧光影像型态识别方法的流程示意图。如图1所示，自体免疫抗体的免疫荧光影像型态识别方法包括以下步骤(s1～s4)：

步骤s1：输入多个原始细胞免疫荧光影像。在通过免疫荧光法检验后所产生的原始免疫荧光影像，可通过输入设备输入此分析的系统当中。此处的输入设备包括拍摄或捕获设备，如摄影机，收集检验的影像，或者利用计算机接口或网络接口传送及接收原始细胞免疫荧光影像的档案，并将其储存在储存装置中，存储装置包括计算机的内存或者服务器的数据库。同时，原始细胞免疫荧光影像进一步通过影像转换软件转换成三原色(红、绿、蓝)的图层，作为后续机器学习的输入数据。相较于现有技术需要将免疫荧光影像当中的细胞外型画出(outline)，才能对区分出的细胞进行分析，本实施例则是将原始免疫荧光影像作为输入数据，无需进行额外的前处理步骤，有利于提高分析的效率。

步骤s2：进行多个卷积神经网络的运算。由上述的原始细胞免疫荧光影像输入后，无须经过切割细胞边界或判断细胞外缘等前处理操作，直接将转换好的原始细胞免疫荧光影像的三原色图层进行卷积神经网络的运算，此处卷积神经网络包括卷积层(convolutionlayer)、池化层(poolinglayer)及启动层(inceptionlayer)的运算，在本实施例当中，原始细胞免疫荧光影像可通过多次的卷积神经网络运算，发掘免疫荧光影像当中更深层的特征，使得后续判断或分类的结果更为准确。上述卷积层、池化层及启动层的运算准则可同样储存在分析的计算机或服务器当中，利用计算机或服务器当中的处理器执行指令来进行各层的运算，这里的处理器包括中央处理器、微处理器、多核心处理器等。以下将分别描述各层运算的内容：

首先，卷积层(convolutionlayer)是由预定尺寸的卷积核将前一层的特征数据进行卷积并加上偏差值后，得到卷积后的特征数据如以下方程式(1)所示。卷积操作是将卷积核通过滑动方式在数据上移动，计算内积得到新的特征。卷积核的尺寸在不同阶段的卷积神经网络运算当中可设计不同大小，使得不同阶段的卷积能有所差异。

接着，卷积层可包括触发层(activationlayer)，使用触发函数f，将上层的卷积后特征数据转换成使用触发函数时要利用非线性函数，避免以上层输入的线性组合作为这一层的输出。常见的触发函数包括sigmoid函数、tanh函数或relu函数。参见图2a至图2c，图2a至图2c分别为本发明实施例的触发函数为一特定函数时的示意图。如图2a所示，sigmoid函数如方程式(2)所示，其输出映射在0与1之间。如图2b所示，tanh函数如方程式(3)所示，其以0为中心，分布在-1到1之间。如图2c所示，relu函数如方程式(4)所示，有部分的神经元输出为0。

relu(x)＝max(0，x)(4)

在上述触发函数当中，sigmoid函数及tanh函数由于深度学习的发展于隐藏层的层数越来越多，使用网络模型进行倒传递时容易产生梯度消失的现象，导致训练出现问题。因此在本实施例当中，以relu函数为优选地触发函数，其部分神经元输出为0使得网络模型更加稀疏，减少过度拟合的现象。

除了上述触发函数外，prelu函数、arctan函数、elu函数、softplus函数、sinusoid函数、sinc函数、bentidentity函数或gaussian函数也可作为卷积层的触发函数。其中，prelu函数如方程式(5)所示，其为relu函数的改进，增加了可学习参数a；arctan函数如方程式(6)所示；elu函数与prelu类似，为负值输入增加了一个非零输出，防止静默神经元出现，倒数收敛为零；softplus函数如方程式(7)所示，可返回任何大于零的值；sinusoid函数如方程式(8)所示，形成正弦曲线，值域在-1到1之间；sinc函数如方程式(9)所示，其在x为零时定义值为1；bentidentity函数如方程式(10)所示，允许非线性行为，可在1的任意一侧返回值；gaussian函数如方程式(11)所示，值域在0到1之间。本发明的实施例可选用上述激活函数作为触发层的触发函数，但本发明并不只限于采用上述激活函数作为触发层的触发函数。

prelu(x)＝max(0，x)+a×min(0，x)(5)

softplus(x)＝ln(1+e^x)(7)

sinusoid(x)＝sin(x)(8)

接着，池化层(poolinglayer)运算包括最大池化方式或平均池化方式。最大池化是回传每一个特征映像的最大值，而平均池化则是回传每一个特征映像的平均值，也就是经过卷积层及触发层后的特征，被池化后成为一个新的特征。池化层的运算通过不重叠的1×n的核，计算核内的最大值或平均值，将免疫荧光影像数据的数据维度缩小了n倍。在本实施例当中，不同阶段的卷积神经网络运算，池化层将特征数据缩小的维度可有所不同。除此之外，在部分卷积神经网络运算当中，也可重新组合卷积后的特征数据，避免数据维度缩至太小而无法呈现实际免疫荧光影像特征。

最后，启动层(inceptionlayer)运算则是利用树状网络架构的方式，让网络模型的深度及宽度都增加。参见图3，图3为本发明实施例的启动层的示意图。如图3所示，前一层的特征数据，同时并行1x1、3x3及5x5的卷积及3x3的最大池化，最后再进行级联。使得启动层能取得不同级别(level)的特征。但为了避免网络计算量过大，于3x3及5x5的卷积之前先做1x1的卷积，降低了输入信道数量，使得网络分析深度增加，而数据运算量反而减少了，进而提高了运算的效率。此外，在每一个卷积层后都可设置触发函数，如relu函数。

上述的卷积神经网络特征获取操作，可以对细胞免疫荧光影像内容进行多个阶段的卷积神经网络运算，得到多个卷积特征数据，而这些卷积特征数据又可做为另一卷积神经网络的输入数据，再次进行卷积层、池化层及启动层的运算，通过多次的卷积神经网络运算，确定更深层的隐藏特征。

步骤s3：进行判断操作。在经过处理器进行上述获取特征的运算之后，取得的多个卷积特征数据与多个神经元进行全连接，判断原始细胞免疫荧光影像分属于各种自体免疫抗体特征的比例。参见图4，图4为本发明实施例的多层感知类神经网络的示意图。如图4所示，其为本发明实施例的多层感知类神经网络的示意图。结合两层的全连接(fully-connected)方式，使运算层中每一神经元连接下一层的所有神经元进行运算。但本实施例不局限于此，在另一实施例当中，也可使用丢弃(dropout)方式，通过设定机率p使各个隐藏层中有多个神经元不加入运算，例如设定机率p可为0.5。使用丢弃方式的原因是为了避免产生训练数据预测结果好，但测试数据的结果却不佳的过度拟合的现象。利用丢弃的方式设定机率，随机的让训练每一次迭代(epoch)修正权重时，隐藏层的神经元有一定的机率消失，使得权重更新时可能不会每个神经元都被更新，因此防止过度拟合现象。例如，在训练时可选择丢弃方式，在实际测试时可选择全连接方式。

多层感知类神经网络的输出层可以使用softmax函数进行分类预测，如以下方程式(12)所示，以其作为表达预测结果的机率。

各种自体免疫抗体特征的分类，则参考internationalconsensusonanapatterns(icap)中分类的方式，参见图5，图5为本发明实施例的自体免疫抗体特征分类的示意图。如图5所示，细胞特征分类即抗核抗体特征主要包括阴性表现型(negativephenotype)、核心表现型(nuclearphenotype)、细胞质表现型(cytoplasmicphenotype)及有丝分裂表现型(mitoticphenotype)。

核心表现型(negativephenotype)包括均质型(homogeneouspattern)、第一斑点型(specklepattern)、着丝点型(centromerepattern)、离散核点型(discretenucleardotspattern)、核仁型(nucleolarpattern)、核膜型(nuclearenvelopepattern)及多形性型(pleomorphicpattern)。

第一斑点型(specklepattern)包括：第一致密斑点型(densefinespeckledpattern)、第一细致斑点型(finespeckledpattern)、大点或粗点型(large/coarsespeckledpattern)以及类第一型拓扑酶型(topoi-likepattern)。

离散核点型(discretenucleardotspattern)包括：多量型(multiplepattern和少量型(fewpattern)。

核仁型(nucleolarpattern)包括：均质型(homogeneouspattern)、多块型(clumpypattern)以及第一点状型(punctatepattern)。

核膜型(nuclearenvelopepattern)包括：第二点状型(punctatepattern)和平滑型smoothpattern)。

多形性型(pleomorphicpattern)包括：pcna型以及有丝分裂着丝点粒蛋白f抗体型即常用的cenp-f型。

细胞质表现型(cytoplasmicphenotype)包括：纤维状型(fibrillarpattern)、第二斑点型(specklepattern)、ama型、高基氏体型(golgipattern)及杆与环型(rodsandringspattern)。

纤维状型(fibrillarpattern)包括：线型(linearpattern)、丝状型(filamentouspattern)以及分节型(segmentalpattern)。

第二斑点型(specklepattern)包括：离散点型(discretedotspattern)、第二致密斑点型(densefinespeckledpattern)以及第二细致斑点型(finespeckledpattern)。

有丝分裂表现型包括着丝点型(centromerepattern)、纺锤丝型(spindlefiberspattern)、细胞间桥型(intercellularbridgepattern)及有丝分裂染色体膜型(mitoticchromosomalenvelopepattern)。

纺锤丝型(spindlefiberspattern)包括：numa型。

步骤s4：将判断结果输出。在通过上述运算步骤取得原始细胞免疫荧光影像属于各种自体免疫抗体特征分类的比例后，可将此判断结果储存在储存装置当中，并通过一输出装置将此判断结果传送至对应处理人员，例如通过有线或无线网络传输方式将结果传送到医护人员或医检人员的计算机、手机、平板。使其能根据判断结果进行后续诊断或提供进一步指示。

参见图6，图6为本发明实施例的自体免疫抗体的免疫荧光影像判断方法的示意图。如图6所示，在本实施例当中，对应于上述的判断步骤，可进行10层的卷积神经网络运算。具体来说，由输入层输入原始细胞免疫荧光影像后，通过卷积层及池化层的运算，再进行4次的启动层运算(启动层1至启动层4)，也就是经过16次的卷积神经网络，最后通过池化层后，经过全连接层产生属于各种抗核抗体特征的分类比例，最后经由输出层输出。其中各个启动层的运算，也可分为多个卷积层后再通过级联层整合，这个过程的详细内容类似于上述实施例的启动层运算，因此不再重复描述。整体来说，本实施例可经过10层的卷积神经网络运算，取得最佳的结果。在这当中，各层卷积核大小及数据维度设计在各卷积神经网络运算区块当中可相同也可根据实际需求调整。同时，进行的层数越，原则上可以发掘更深层的特征，但是相应的运算时间也会增加，会降低分析效率。因此，本实施例执行的卷积神经网络运算次数及各区块运算层数可根据实际需求而进行调整。

下面将在医院检验实验室检验自体免疫抗体的数据当中，抽取15000人的数据进行分析，这些数据已由临床医师进行型别判定完成。将这些数据作为本实施例自体免疫抗体免疫荧光影像型态识别方法的输入数据，经过进行多个卷积神经网络的运算，产生判断结果后，再与已判定的结果进行比较，检验判断的正确率。其中，网络分析分成两阶段：第一阶段为训练集，将12000的照片当作输入，摘取图片的特征，然后输入卷积神经网络中来提升网络训练的效率和功能，输出的结果请参见图7，在训练集(计算机有学习过的数据)的结果，正确率可达99.45％。第二阶段为验证集，将3000人照片当作测试集，确认模型结果是否能在没有学习过的图片中，依然能获得良好的分类结果。输出的结果请参见图8，在验证集(计算机没有学习过的数据)的结果，正确率仍可达96.32％。

相较于本实施例的判读结果，现有技术如果在细胞画分后，针对单一细胞判读的准确率仅能达到80％，如果针对一整张免疫荧光影像判读，包括各种不同类型细胞免疫荧光影像进行判读，准确率也仅在70％至80％之间。由上述实际操作验证结果可以得知，本实施例所使用的自体免疫抗体型态识别方法确实能达到明显优于现有技术的判读准确率。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。