信息处理设备和显微镜系统的制作方法

1.本公开涉及一种信息处理设备和一种显微镜系统。


背景技术：

2.近年来，随着癌症免疫疗法等的发展，荧光和免疫染色的多重标记已经取得进展。例如，已经执行了从同一组织块的非染色切片提取自发荧光光谱，然后使用自发荧光光谱对染色切片进行荧光分离的方法。
3.此外，例如，下面的专利文献1公开了一种技术，该技术将通过用激发光照射用多种荧光颜料多标记的微粒而获得的荧光光谱逼近由分别用每种荧光颜料标记的微粒获得的单染色光谱的线性和。
4.引文列表
5.专利文献
6.专利文献1：日本专利申请公开号2012
‑
18108


技术实现要素：

7.本发明要解决的问题
8.然而，根据这些技术或方法，存在不能适当进行荧光分离的情况。例如，在从同一组织块的非染色切片提取自发荧光光谱，然后使用自发荧光光谱进行染色切片的荧光分离的情况下，要求医师从非染色切片中的适当空间提取自发荧光光谱，因此，荧光分离的准确性取决于医师所做的工作。此外，由于对每个激发波长进行荧光分离，所以对每个激发波长输出分离结果，使得作为分离结果获得的光谱不是唯一确定的。
9.因此，鉴于上述情况已经做出了本公开，并且提供了能够更适当地执行荧光分离的新型改进的信息处理设备和显微镜系统。
10.问题的解决方案
11.根据本公开的实施例，一种信息处理设备包括：荧光信号获取单元，其获取对应于具有不同波长并照射到荧光染色样本的多个激发光中的每一个的多个荧光光谱，其中，通过用荧光试剂染色样本而产生所述荧光染色样本；链接单元，其通过在波长方向上将多个荧光光谱的至少一部分彼此链接来生成链接的荧光光谱；分离单元，使用包括链接的自发荧光参考光谱和链接的荧光参考光谱的参考光谱将链接的荧光光谱分离成针对每个荧光物质的光谱，在链接的自发荧光参考光谱中，样本中的自发荧光物质的光谱在波长方向上彼此链接，在链接的荧光参考光谱中，荧光染色样本中的荧光物质的光谱在波长方向上彼此链接；以及提取单元，其使用由分离单元分离的每个荧光物质的光谱来更新链接的自发荧光参考光谱。
附图说明
12.图1是示出根据第一实施例的信息处理系统的配置示例的框图。
13.图2是示出由荧光信号获取单元获取的荧光光谱的具体示例的示图。
14.图3是用于描述通过链接单元生成链接的荧光光谱的方法的示图。
15.图4是示出在波长分辨率为8nm的情况下af546和af555的荧光光谱的示图。
16.图5是示出在波长分辨率为1nm的情况下af546和af555的荧光光谱的示图。
17.图6是示出从图3的a至d中示出的荧光光谱生成的链接的荧光光谱的示例的示图。
18.图7是示出根据第一实施例的实施例的分离处理单元的更具体配置示例的框图。
19.图8是示出链接的自发荧光参考光谱的具体示例的示图。
20.图9是示出链接的荧光参考光谱的具体示例的示图。
21.图10是示出在根据第一实施例的信息处理系统被实现为显微镜系统的情况下显微镜系统的配置示例的框图。
22.图11是示出根据第一实施例的信息处理设备进行荧光分离的处理的流程示例的流程图。
23.图12是示出根据第二实施例的分离处理单元的更具体配置示例的框图。
24.图13是用于描述非负矩阵因式分解的概述的示图。
25.图14是用于描述聚类的概述的示图。
26.图15是示出根据第二实施例的信息处理设备进行荧光分离的处理的流程示例的流程图。
27.图16是用于描述在修改例中计算成像元件1[像素]中的荧光分子的数量(或抗体的数量)的方法的示图。
[0028]
图17是示出根据第三实施例的分离处理单元的示意性配置示例的框图。
[0029]
图18是示出在第三实施例中输入到矩阵a的样本图像的示例(激发波长：392nm)的示图。
[0030]
图19是示出在第三实施例中输入到矩阵a的样本图像的示例(激发波长：470nm)的示图。
[0031]
图20是示出在第三实施例中输入到矩阵a的样本图像的示例(激发波长：515nm)的示图。
[0032]
图21是示出在第三实施例中输入到矩阵a的样本图像的示例(激发波长：549nm)的示图。
[0033]
图22是示出在第三实施例中输入到矩阵a的样本图像的示例的图(激发波长：628nm)。
[0034]
图23是示出在第三实施例(部分1)中输入图18至图22所示的样本图像的情况下由nmf作为矩阵w获取的荧光分离图像的示例的示图。
[0035]
图24是示出在第三实施例(部分2)中输入图18至图22所示的样本图像的情况下通过nmf作为矩阵w获取的荧光分离图像的示例的示图。
[0036]
图25是示出在第三实施例(部分3)中输入图18至图22所示的样本图像的情况下通过nmf作为矩阵w获取的荧光分离图像的示例的示图。
[0037]
图26是示出在第三实施例(部分4)中输入图18至图22所示的样本图像的情况下通过nmf作为矩阵w获取的荧光分离图像的示例的示图。
[0038]
图27是示出在第三实施例(部分5)中输入图18至图22所示的样本图像的情况下通
过nmf作为矩阵w获取的荧光分离图像的示例的示图。
[0039]
图28是示出在第三实施例(部分6)中输入图18至图22所示的样本图像的情况下通过nmf作为矩阵w获取的荧光分离图像的示例的示图。
[0040]
图29是示出在第三实施例(部分7)中输入图18至图22所示的样本图像的情况下通过nmf作为矩阵w获取的荧光分离图像的示例的示图。
[0041]
图30是用于描述根据第四实施例的nmf流程的流程图。
[0042]
图31是用于描述图30所示的nmf的第一循环中的处理流程的示图。
[0043]
图32是示出染色荧光光谱的初始值的示例的示图。
[0044]
图33是示出根据第四实施例在执行nmf之后的染色荧光光谱的示例的示图。
[0045]
图34是示出通过根据第四实施例的通过不使用非染色样本的方法提取的荧光物质的光谱的示例的示图。
[0046]
图35是示出在使用非染色样本的情况下提取的荧光物质的光谱的示例的示图。
[0047]
图36是示出根据第六实施例的信息处理系统的测量系统的示例的示图。
[0048]
图37是示出根据第六实施例的处理单元的操作示例的流程图。
[0049]
图38是用于描述在图37(部分1)中的每个步骤中由处理单元执行的处理的示图。
[0050]
图39是用于描述在图37(部分2)中的每个步骤中由处理单元执行的处理的示图。
[0051]
图40是用于描述在图37(部分3)的每个步骤中由处理单元执行的处理的示图。
[0052]
图41是示出根据第六实施例的第一修改例的处理单元的操作示例的流程图。
[0053]
图42是示出根据每个实施例和修改例的信息处理设备的硬件配置示例的框图。
具体实施方式
[0054]
在下文中，将参考附图详细描述本公开的优选实施例。注意，在本说明书和附图中，具有基本相同功能配置的组件将由相同的附图标记表示，并且将省略重叠的描述。
[0055]
注意，将按以下顺序进行描述。
[0056]
1.第一实施例
[0057]
1.1.配置示例
[0058]
1.2.处理流程示例
[0059]
2.第二实施例
[0060]
2.1.处理流程示例
[0061]
2.2.主成分分析法(pca)不适合作为从非染色切片中提取链接的自发荧光参考光谱的方法的原因
[0062]
2.3.应用示例
[0063]
3.修改例
[0064]
4.第三实施例
[0065]
5.第四实施例
[0066]
5.1.使用递推公式在最小化均方残差d中染色荧光光谱的固定方法
[0067]
5.2.使用dfp方法、bfgs方法等在最小化均方残差d中染色荧光光谱的固定方法
[0068]
6.第五实施例
[0069]
6.1.处理单元的处理概述
[0070]
6.2.测量系统的配置示例
[0071]
6.3.操作示例
[0072]
6.4.1.第一修改例
[0073]
6.4.2.第二修改例
[0074]
6.5.效果
[0075]
7.硬件配置示例
[0076]
8.结论
[0077]
<1.第一实施例>
[0078]
首先，将描述本公开的第一实施例。
[0079]
(1.1.配置示例)
[0080]
将参考图1描述根据本实施例的信息处理系统的配置示例。如图1所示，根据本实施例的信息处理系统包括信息处理设备100和数据库200，并且具有荧光试剂10、样本20和荧光染色样本30，作为信息处理系统的输入。
[0081]
(荧光试剂10)
[0082]
荧光试剂10是用于对样本20进行染色的化学品。荧光试剂10例如是荧光抗体(包括用于直接标记的一级抗体或用于间接标记的二级抗体)、荧光探针、核染色试剂等，但是荧光试剂10的类型不限于此。此外，通过将能够识别荧光试剂10(或荧光试剂10的生产批次)的识别信息(以下称为“试剂识别信息11”)附到荧光试剂10来管理荧光试剂10。试剂识别信息11例如是条形码信息等(一维条形码信息、二维条形码信息等)，但不限于此。荧光试剂10的性质根据生产方法、获得抗体的细胞的状态等对于每个生产批次是不同的，即使产品彼此相同。例如，在荧光试剂10中，光谱、量子产率、荧光标记率等对于每个生产批次是不同的。因此，在根据本实施例的信息处理系统中，通过将试剂识别信息11附到荧光试剂10，针对每个生产批次管理荧光试剂10。因此，信息处理设备100可以考虑每个生产批次出现的性质的微小差异来执行荧光分离。
[0083]
(样本20)
[0084]
出于病理诊断等目的，从临床样本或从人体收集的组织样本制备样本20。样本20可以是组织切片、细胞或微粒，并且关于样本20，使用的组织的类型(例如，器官等)、目标疾病的类型、目标人的属性(例如，年龄、性别、血型、种族等)或目标人的生活方式(例如，饮食习惯、锻炼习惯、吸烟习惯等)没有特别限制。注意，组织切片可以包括例如待染色组织切片染色前的切片(以下也简称为切片)、与染色切片相邻的切片、与同一块中的染色切片不同的切片(从与染色切片相同的位置取样)、同一组织中不同块中的切片(从与染色切片不同的位置取样)、从一不同患者收集的切片等。此外，通过将能够识别每个样本20的识别信息(以下称为“样本识别信息21”)附到样本20来管理样本20。样本识别信息21例如是条形码信息等(一维条形码信息、二维条形码信息等)，类似于试剂识别信息11，但不限于此。样本20的属性根据所用组织的类型、目标疾病的类型、目标人的属性、目标人的生活方式等而不同。例如，在样本20中，测量通道、光谱等根据所用组织的类型等而不同。因此，在根据本实施例的信息处理系统中，通过将样本识别信息21附到样本20来单独管理样本20。因此，考虑到每个样本20出现的性质的微小差异，信息处理设备100可以执行荧光分离。
[0085]
(荧光染色样本30)
[0086]
通过用荧光试剂10对样本20进行染色而产生荧光染色样本30。在本实施例中，假设通过用一种或多种荧光试剂10对样本20进行染色来产生荧光染色样本30，但是用于染色的荧光试剂10的数量没有特别限制。此外，染色方法由样本20和荧光试剂10的组合等确定，并且没有特别限制。
[0087]
(信息处理设备100)
[0088]
如图1所示，信息处理设备100包括获取单元110、存储单元120、处理单元130、显示单元140、控制单元150和操作单元160。信息处理设备100可以是例如荧光显微镜等，但是不必限于此，并且可以包括各种设备。例如，信息处理设备100可以是个人计算机(pc)等。
[0089]
(获取单元110)
[0090]
获取单元110是获取用于信息处理设备100的各种处理的信息的配置。如图1所示，获取单元110包括信息获取单元111和荧光信号获取单元112。
[0091]
(信息获取单元111)
[0092]
信息获取单元111是获取关于荧光试剂10的信息(以下称为“试剂信息”)或关于样本20的信息(以下称为“样本信息”)的配置。更具体地，信息获取单元111获取附着于用于生成荧光染色样本30的荧光试剂10的试剂识别信息11和附着于样本20的样本识别信息21。例如，信息获取单元111使用条形码读取器等获取试剂识别信息11和样本识别信息21。然后，信息获取单元111分别从数据库200获取基于试剂识别信息11的试剂信息和基于样本识别信息21的样本信息。信息获取单元111将获取的信息存储在信息存储单元121中，如下所述。
[0093]
在此处，在本实施例中，假设样本信息包括链接的自发荧光参考光谱，在链接的自发荧光参考光谱中，样本20中的自发荧光物质的光谱在波长方向上彼此链接，并且试剂信息包括链接的荧光参考光谱，在链接的荧光参考光谱中，荧光染色样本30中的荧光物质的光谱在波长方向上彼此链接。注意，链接的自发荧光参考光谱和链接的荧光参考光谱统称为“参考光谱”。
[0094]
(荧光信号获取单元112)
[0095]
荧光信号获取单元112是在用多个激发光照射荧光染色样本30(通过用荧光试剂10染色样本20而产生的样本)时获取多个荧光信号的配置，每个荧光信号对应于具有不同波长的多个激发光。更具体地，荧光信号获取单元112接收光并根据接收的光量输出检测信号，以基于检测信号获取荧光染色样本30的荧光光谱。在此处，基于试剂信息等(换言之，关于荧光试剂10的信息等)来确定激发光的内容(包括激发波长、强度等)。注意，此处提到的荧光信号没有特别限制，只要它是源自荧光的信号，并且可以是例如荧光光谱。
[0096]
图2的a至d是由荧光信号获取单元112获取的荧光光谱的具体示例。在图2的a至d中，示出了在荧光染色样本30包括四种类型的荧光物质(例如，dapi、ck/af488、pgr/af594和er/af647)并且被分别具有392[nm](图2的a)、470[nm](图2的b)、549[nm](图2的c)和628[nm](图2的d)的激发波长的激发光照射的情况下获得的荧光光谱的具体示例。应当注意，释放能量，用于荧光发射，使得荧光波长移动到比激发波长更长的波长侧(斯托克斯位移)。此外，荧光染色样本30中包括的荧光物质和照射的激发光的激发波长不限于上述那些。荧光信号获取单元112将获取的荧光光谱存储在荧光信号存储单元122中，如后所述。
[0097]
(存储单元120)
[0098]
存储单元120是存储用于信息处理设备100的各种处理的信息或通过各种处理输
出的信息的配置。如图1所示，存储单元120包括信息存储单元121和荧光信号存储单元122。
[0099]
(信息存储单元121)
[0100]
信息存储单元121是存储由信息获取单元111获取的试剂信息和样本信息的配置。
[0101]
(荧光信号存储单元122)
[0102]
荧光信号存储单元122是存储由荧光信号获取单元112获取的荧光染色样本30的荧光信号的配置。
[0103]
(处理单元130)
[0104]
处理单元130是执行包括荧光分离处理的各种处理的配置。如图1所示，处理单元130包括链接单元131、分离处理单元132和图像生成单元133。
[0105]
(链接单元131)。
[0106]
链接单元131是通过将荧光信号获取单元112获取的多个荧光光谱的至少一部分在波长方向上彼此链接来生成链接的荧光光谱的配置。例如，链接单元131提取每个荧光光谱中的预定宽度的数据，以便包括由如上所述荧光信号获取单元112获取的四个荧光光谱(图3的a至d)中的每一个的荧光强度的最大值。可以基于试剂信息、激发波长、荧光波长等来确定链接单元131在其中提取数据的波长带的宽度，并且对于每个荧光物质可以彼此不同(换言之，对于图3的a至d所示的每个荧光光谱，链接单元131在其中提取数据的波长带的宽度可以彼此不同)。然后，如图3的e所示，链接单元131通过在波长方向上将提取的数据彼此链接来生成一个链接的荧光光谱。应当注意，由于链接的荧光光谱包括从多个荧光光谱提取的数据，所以波长在每个链接的数据的边界处不连续。
[0107]
此时，链接单元131基于激发光的强度，在将对应于多个荧光光谱中的每一个的激发光的强度彼此对准之后(换言之，在校正多个荧光光谱之后)，执行上述链接。更具体地，链接单元131在通过将每个荧光光谱除以激发功率密度(其为激发光的强度)而将对应于多个荧光光谱中的每一个的激发光的强度彼此对准之后，执行上述链接。因此，获得了在照射相同强度的激发光的情况下的荧光光谱。此外，在照射的激发光的强度彼此不同的情况下，由荧光染色样本30吸收的光谱的强度(以下称为“吸收光谱”)也根据照射的激发光的强度而彼此不同。因此，如上所述，可以通过将对应于多个荧光光谱中的每一个的激发光的强度彼此对准来适当地评估吸收光谱。
[0108]
如上所述，本说明书中激发光的强度可以是激发功率或激发功率密度。激发功率或激发功率密度可以是通过实际测量从光源104发射的激发光而获得的功率或功率密度，或者可以是从施加到光源104的驱动电压获得的功率或功率密度。注意，本说明书中的激发光的强度可以是通过利用作为观察目标的切片的每个激发光的吸收率、检测从该切片发射的荧光的检测系统(荧光信号获取单元112等)中的检测信号的放大系数等来校正上述激发功率密度而获得的值。即，本说明书中的激发光的强度可以是实际上对荧光物质的激发有贡献的激发光的功率密度、通过用检测系统的放大系数校正功率密度而获得的值等。通过考虑吸收率、放大系数等，可以适当地校正根据机器状态、环境等的变化而变化的激发光的强度，并且因此可以产生能够实现更精确的颜色分离的链接的荧光光谱。
[0109]
注意，基于每个荧光光谱的激发光的强度的校正值(也称为强度校正值)不限于用于将对应于多个荧光光谱中的每一个的激发光的强度彼此对准的值，并且可以进行各种修改。例如，在长波长侧具有强度峰值的荧光光谱的信号强度往往低于在短波长侧具有强度
峰值的荧光光谱的信号强度。因此，在链接的荧光光谱包括在长波长侧具有强度峰的荧光光谱和在短波长侧具有强度峰的荧光光谱的情况下，存在长波长侧具有强度峰的荧光光谱几乎不相加并且仅提取在短波长侧具有强度峰的荧光光谱的情况。在这种情况下，例如，通过将在长波长侧具有强度峰值的荧光光谱的强度校正值设定为较大值，可以提高在短波长侧的荧光光谱的分离精度。
[0110]
此外，链接单元131可以独立于其他荧光光谱，校正要彼此链接的多个荧光光谱中的每一个的波长分辨率。例如，af546的荧光光谱和af555的荧光光谱具有几乎相同的光谱形状和峰值波长，并且af546的荧光光谱和af555的荧光光谱之间的区别在于，af555的荧光光谱在高波长侧的底部具有肩部，而af546的荧光光谱不具有肩部。这样，在两个荧光光谱彼此接近的情况下，出现了难以通过光谱提取将两个荧光光谱彼此颜色分离的问题。
[0111]
可以通过提高链接的荧光光谱的波长分辨率来解决这一问题。图4是示出在波长分辨率为8nm的情况下的af546和af555的荧光光谱的示图，图5是示出在波长分辨率为1nm的情况下的af546和af555的荧光光谱的示图。如图4所示，在波长分辨率为8nm的情况下，af546的光谱形状和峰值波长与af555的光谱形状和峰值波长基本上彼此一致。因此，实际上难以使用例如最小二乘法将这些光谱形状和峰值波长彼此颜色分离。另一方面，在波长分辨率是图4所示的波长分辨率的8倍，即1nm的情况下，如图5所示，af546的光谱形状和峰值波长与af555的光谱形状和峰值波长可以清楚地彼此分离。这表明，即使在使用具有接近的光谱形状和峰值波长的多个荧光光谱的情况下，也可以通过增加波长分辨率来使用多个荧光光谱进行颜色分离。
[0112]
然而，当波长分辨率增加时，链接的荧光光谱的数据量变大，使得所需的存储容量、荧光分离处理中的计算成本等增加。因此，链接单元131校正在要彼此链接的多个荧光光谱中假定难以进行颜色分离的荧光光谱，使得荧光光谱的波长分辨率变高，并且校正在多个荧光光谱中假定易于进行颜色分离的荧光光谱，使得荧光光谱的波长分辨率变低。因此，可以在抑制数据量增加的同时提高颜色分离的精度。
[0113]
在此处，将通过具体示例来描述由链接单元131生成链接的荧光光谱的方法。在本说明书中，类似于参考图3描述的生成链接的荧光光谱的方法，例示了链接通过用激发光(每个激发光具有392nm、470nm、549nm和628nm的激发波长)照射包括四种类型(例如，dapi、ck/af488、pgr/af594和er/af647)的荧光物质的荧光染色样本30而获得的四个荧光光谱的情况。
[0114]
图6是示出从图3的a至d中示出的荧光光谱生成的链接的荧光光谱的示例的示图。如图6所示，链接单元131从图3的a所示的荧光光谱中提取激发波长为392nm以上且591nm以下的波长带中的荧光光谱sp1，从图3的b所示的荧光光谱中提取激发波长为470nm以上且669nm以下的波长带中的荧光光谱sp2，从图3的c所示的荧光光谱中提取激发波长为549nm以上且748nm以下的波长带中的荧光光谱sp3，并且从图3的d所示的荧光光谱中提取激发波长为628nm以上且827nm以下的波长带中的荧光光谱sp4。接下来，链接单元131将提取的荧光光谱sp1的波长分辨率校正为16nm(无强度校正)，将荧光光谱sp2的强度校正为1.2倍，并将荧光光谱sp2的波长分辨率校正为8nm，将荧光光谱sp3的强度校正为1.5倍(无波长分辨率校正)，将荧光光谱sp4的强度校正为4.0倍，并将荧光光谱sp4的波长分辨率校正为4nm。然后，链接单元131通过在校正之后依次彼此链接荧光光谱sp1至sp4来生成如图6所示的链
接的荧光光谱。
[0115]
注意，在图6中示出当已经获取每个荧光光谱时，链接单元131已经从激发波长提取并链接具有预定带宽(图6中200nm的宽度)的荧光光谱sp1至sp4的情况，但是由链接单元131提取的荧光光谱的带宽不需要在每个荧光光谱中彼此一致，并且可以彼此不同。即，由链接单元131从每个荧光光谱提取的区域只需要是包括每个荧光光谱的峰值波长的区域，并且每个荧光光谱的波长带和带宽可以适当地改变。此时，可以考虑由于斯托克斯位移引起的光谱波长的位移。这样，通过缩窄要提取的波长带，可以减少数据量，因此可以以更高的速度执行荧光分离处理。
[0116]
(分离处理单元132)
[0117]
分离处理单元132是分离每个分子的链接的荧光光谱的配置。图7是示出根据本实施例的分离处理单元的更具体配置示例的框图。如图7所示，分离处理单元132包括颜色分离单元1321和光谱提取单元1322。
[0118]
颜色分离单元1321包括例如第一颜色分离单元1321a和第二颜色分离单元1321b，并且对每个分子对从链接单元131输入的染色切片(也称为染色样本)的链接的荧光光谱进行颜色分离。
[0119]
光谱提取单元1322是以下配置，该配置提高链接的自发荧光参考光谱，以便能够获得更准确的颜色分离结果，并且基于颜色分离单元1321的颜色分离结果来调整包括在从信息存储单元121输入的样本信息中的链接的自发荧光参考光谱，以便获得更准确的颜色分离结果。
[0120]
更具体地，第一颜色分离单元1321a针对从链接单元131输入的染色样本的链接的荧光光谱，通过使用从信息存储单元121输入的包括在试剂信息中的链接的荧光参考光谱和包括在样本信息中的链接的自发荧光参考光谱执行颜色分离处理，将链接的荧光光谱分离成每个分子的光谱。注意，例如，最小二乘法(lsm)、加权最小二乘法(wlsm)等可以用于颜色分离处理。
[0121]
光谱提取单元1322针对从信息存储单元121输入的链接的自发荧光参考光谱，通过使用从第一颜色分离单元1321a输入的颜色分离结果来执行光谱提取处理，并且基于光谱提取处理的结果来调整链接的自发荧光参考光谱，来改进链接的自发荧光参考光谱，以便获得更准确的颜色分离结果。注意，例如，非负矩阵因式分解(nmf)、奇异值分解(奇异值分解)等可以用于光谱提取处理。
[0122]
第二颜色分离单元1321b针对从链接单元131输入的染色样本的链接的荧光光谱，通过使用从光谱提取单元1322输入的调整后的链接的自发荧光参考光谱执行颜色分离处理，将链接的荧光光谱分离成每个分子的光谱。注意，例如，类似于第一颜色分离单元1321a，最小二乘法(lsm)、加权最小二乘法(wlsm)等可以用于颜色分离处理。
[0123]
注意，在图7中已经例示了已经执行一次链接的自发荧光参考光谱的调整的情况，但是本公开不限于此，并且在第二颜色分离单元1321b的颜色分离结果被输入到光谱提取单元1322并且用于再次执行链接的自发荧光参考光谱的调整的处理在光谱提取单元1322中重复一次或多次之后，可以获取最终的颜色分离结果。
[0124]
在图8中，示出了在自发荧光物质是血红蛋白、archidonicacid、过氧化氢酶、胶原蛋白、fad、nadph和prolongdiamond的情况下链接的自发荧光参考光谱的具体示例。在图9
中，示出了在荧光物质是ck、er、pgr和dapi的情况下链接的荧光参考光谱的具体示例。可以通过与链接单元131生成链接的荧光光谱的方法类似的方法(但不必限于此)，来生成链接的荧光参考光谱和链接的自发荧光参考光谱。更具体地，可以通过在波长方向上将由具有与生成链接的荧光光谱时相同的激发波长的多个激发光获取的多个光谱中具有预定波长带宽的数据彼此链接，来生成链接的荧光参考光谱和链接的自发荧光参考光谱。此时，(但不一定限于此)假设基于激发光的强度(例如，激发功率密度)，对应于多个光谱中的每一个的激发光的强度彼此对准。注意，生成链接的荧光参考光谱和链接的自发荧光参考光谱的方法不必限于上述方法。例如，可以基于每种物质的光谱的理论值、目录值等来生成链接的荧光参考光谱和链接的自发荧光参考光谱。
[0125]
接下来，将描述关于最小二乘法的计算。最小二乘法是通过将由链接单元131生成的链接的荧光光谱拟合到参考光谱来计算颜色混合率。注意，颜色混合率是指示相应物质彼此混合的程度的指标。下面的等式(1)是表示通过从链接的荧光光谱(signal)中减去以颜色混合率a混合的参考光谱(st)(链接的荧光参考光谱和链接的自发荧光参考光谱)而获得的残差的等式。注意，等式(1)中的“signal(1
×
通道数)”表示链接的荧光光谱(signal)以波长的通道数存在(例如，signal是表示链接的荧光光谱的矩阵)。此外，“st(物质数
×
通道数)”表示参考光谱以每个物质(荧光物质和自发荧光物质)的波长通道数存在(例如，st是表示参考光谱的矩阵)。此外，“a(1
×
物质数)”表示为每种物质(荧光物质和自发荧光物质)提供颜色混合率a(例如，a是表示链接的荧光光谱中每个参考光谱的颜色混合率的矩阵)。
[0126]
[等式1]
[0127]
signal(1
×
通道数)－a(1
×
物质数)*st(物质数
×
通道数)
ꢀꢀꢀ
(1)
[0128]
然后，第一颜色分离单元1321a或第二颜色分离单元1321b计算每种物质的颜色混合率a，其中，以该颜色混合率a，残差等式(1)的平方和最小。由于对于表示残差的等式(1)，在关于颜色混合率a的部分微分的结果为0的情况下，残差的平方和变得最小，所以第一颜色分离单元1321a或第二颜色分离单元1321b通过求解以下等式(2)来计算每个物质的颜色混合率a，以该颜色混合率a，残差的平方和变得最小。注意，等式(2)中的“st”表示参考光谱st的转置矩阵。此外，“inv(st*st’)表示st*st’的逆矩阵。
[0129]
[等式2]
[0130][0131]
在此处，上述等式(1)的每个值的具体示例由以下等式(3)至(5)表示。在等式(3)至(5)的示例中，表示了在链接的荧光光谱(signal)中三种类型的物质(物质的数量为3)的参考光谱(st)以不同的颜色混合率a彼此混合的情况。
[0132]
[等式3]
[0133][0134]
[等式4]
[0135]
a＝(3 2 1)
ꢀꢀꢀ
(4)
[0136]
[等式5]
[0137]
signal＝a*st＝(170.1 351 410 215 78)
ꢀꢀꢀ
(5)
[0138]
然后，通过等式(3)和(5)的每个值的上述等式(2)的计算结果的具体示例由以下等式(6)表示。从等式(6)可以看出，正确地计算“a＝(3 2 1)”(即，与上述等式(4)相同的值)，作为计算结果。
[0139]
[等式6]
[0140]
a＝signal*si*inv(st*st
′
)＝(3 2 1)
ꢀꢀꢀ
(6)
[0141]
如上所述，第一颜色分离单元1321a或第二颜色分离单元1321b可以通过使用在波长方向上链接的参考光谱(链接的自发荧光参考光谱和链接的荧光参考光谱)执行荧光分离处理，来输出唯一光谱，作为分离结果(对于每个激发波长，分离结果并非不同)。因此，医师可以更容易地获得正确的光谱。此外，自动获取关于用于分离的自发荧光的参考光谱(链接的自发荧光参考光谱)，并且执行荧光分离处理，使得医师不需要从非染色切片的适当空间提取对应于自发荧光的光谱。
[0142]
注意，如上所述，第一颜色分离单元1321a或第二颜色分离单元1321b可以通过执行关于加权最小二乘法而不是最小二乘法的计算，从链接的荧光光谱中提取每个荧光物质的光谱。在加权最小二乘法中，利用作为测量值的链接的荧光光谱(信号)的噪声具有泊松分布这一事实，分配权重，以便重视低信号水平的误差。然而，不通过加权最小二乘法进行加权的上限值被设置为位移值(offset value)。位移值由用于测量的传感器的特性决定，并且在成像元件用作传感器的情况下需要单独优化。在执行加权最小二乘法的情况下，上述等式(1)和(2)中的参考光谱st用由以下等式(7)表示的st_替换。注意，下面的等式(7)意味着通过将由矩阵表示的st的每个元素(每个分量)除以(换言之，元素划分)也由矩阵表示的“信号+位移值(signal+offset value)”中的每个对应元素(每个分量)来计算st_。
[0143]
[等式7]
[0144][0145]
在此处，在位移值为1并且参考光谱st和链接的荧光光谱信号的值分别由上述等式(3)和(5)表示的情况下，由上述等式(7)表示的st_的具体示例由以下等式(8)表示。
[0146]
[等式8]
[0147][0148]
然后，这种情况下的颜色混合率a的计算结果的具体示例由以下等式(9)表示。从等式(9)可以看出，正确地计算“a＝(3 2 1)”，作为计算结果。
[0149]
[等式9]
[0150]
a＝signal*st_
′
*inv(st*st_
′
)＝(3 2 1)
ꢀꢀꢀ
(9)
[0151]
(图像生成单元133)
[0152]
图像生成单元133是基于分离处理单元132对链接的荧光光谱的分离结果生成图像信息的配置。例如，图像生成单元133可以使用对应于一个或多个荧光分子的荧光光谱生成图像信息，或者使用对应于一个或多个自发荧光分子的自发荧光光谱生成图像信息。注意，图像生成单元133用于生成图像信息的荧光分子或自发荧光分子的数量或组合没有特别限制。此外，在使用分离的荧光光谱或自发荧光光谱执行各种处理(例如，分割、计算信噪比值，等等)的情况下，图像生成单元133可以生成指示那些处理的结果的图像信息。
[0153]
(显示单元140)
[0154]
显示单元140是在显示器上显示由图像生成单元133生成的图像信息以向医师呈现图像信息的配置。注意，用作显示单元140的显示器的类型没有特别限制。此外，尽管在本实施例中没有详细描述，但是由图像生成单元133生成的图像信息可以由投影仪投影或者可以由打印机打印，以呈现给医师(换言之，输出图像信息的方法没有特别限制)。
[0155]
(控制单元150)
[0156]
控制单元150是综合控制由信息处理设备100执行的一般处理的功能配置。例如，控制单元150基于医师经由操作单元160执行的操作输入，控制如上所述的各种处理的开始、结束等(例如，荧光染色样本30的放置位置的调整处理、激发光对荧光染色样本30的照射处理、光谱的获取处理、链接的荧光光谱的生成处理、荧光分离处理、图像信息的生成处理、图像信息的显示处理等)。注意，控制单元150的控制内容不受特别限制。例如，控制单元150可以控制通常在通用计算机、pc、平板电脑等上执行的处理(例如，关于操作系统(os)的处理)。
[0157]
(操作单元160)
[0158]
操作单元160是从医师接收操作输入的配置。更具体地，操作单元160包括各种输入装置，例如，键盘、鼠标、按钮、触摸板、麦克风等，并且医师可以通过操作这些输入装置来执行对信息处理设备100的各种输入。关于经由操作单元160执行的操作输入的信息被提供给控制单元150。
[0159]
(数据库200)
[0160]
数据库200是管理试剂信息、样本信息等的设备。更具体地，数据库200彼此关联地管理试剂识别信息11和试剂信息、以及样本识别信息21和样本信息。因此，信息获取单元111可以从数据库200基于荧光试剂10的试剂识别信息11获取试剂信息，并且基于样本20的样本识别信息21获取样本信息。
[0161]
由数据库200管理的试剂信息被假设为包括荧光试剂10所具有的荧光物质特有的链接的荧光参考光谱的信息和测量通道(但不一定限于此)。“测量通道”是指示荧光试剂10中包括的荧光物质的概念，并且是指示图9的示例中的ck、er、pgr和dapi的概念。由于荧光物质的数量根据荧光试剂10而变化，所以与每个荧光试剂10相关联地管理测量通道，作为试剂信息。此外，如上所述，试剂信息中包括的链接的荧光参考光谱是通过将测量通道中包括的每个荧光物质的荧光光谱在波长方向上彼此链接而产生的光谱。
[0162]
此外，由数据库200管理的样本信息被假设为包括样本20所具有的自发荧光物质
特有的链接的自发荧光参考光谱和测量通道的信息(但不一定限于此)。“测量通道”是指示样本20中包括的自发荧光物质的概念，并且是指示图8的示例中的血红蛋白、archidonicacid、过氧化氢酶、胶原蛋白、fad、nadph和prolongdiamond的概念。由于自发荧光物质的数量根据样本20而变化，所以与每个样本20相关联地管理测量通道，作为样本信息。此外，如上所述，包括在样本信息中的链接的自发荧光参考光谱是通过将测量通道中包括的每个自发荧光物质在波长方向上将自发荧光光谱彼此链接而产生的光谱。注意，由数据库200管理的信息不一定限于上述那些。
[0163]
上文已经描述了根据本实施例的信息处理系统的配置示例。注意，以上参考图1描述的配置仅仅是示例，并且根据本实施例的信息处理系统的配置不限于这样的示例。例如，信息处理设备100可以不一定包括图1所示的所有配置，或者可以包括图1中未示出的配置。
[0164]
在此处，根据本实施例的信息处理系统可以包括获取荧光光谱的成像设备(例如，包括扫描仪等)和使用荧光光谱执行处理的信息处理设备。在这种情况下，图1所示的荧光信号获取单元112可以由成像设备实现，并且其他配置可以由信息处理设备实现。此外，根据本实施例的信息处理系统可以包括获取荧光光谱的成像设备和用于使用荧光光谱的处理的软件。换言之，信息处理系统可能没有存储或执行软件的物理配置(例如，存储器、处理器等)。在这种情况下，图1所示的荧光信号获取单元112可以由成像设备实现，并且其他配置可以由其上执行软件的信息处理设备实现。然后，可以经由网络向信息处理设备提供软件(例如，从网站、云服务器等)，或者可以经由任意存储介质(例如，光盘等)向信息处理设备提供软件。此外，其上执行软件的信息处理设备可以是各种服务器(例如，云服务器等)、通用计算机、pc、平板计算机等。注意，向信息处理设备提供软件的方法和信息处理设备的类型不限于上述那些。此外，应当注意，根据本实施例的信息处理系统的配置不一定限于上述配置，并且可以基于使用时的技术水平来应用所谓的本领域技术人员能够想到的配置。
[0165]
上述信息处理系统可以实现为例如显微镜系统。因此，接下来，将参考图10描述在根据本实施例的信息处理系统被实现为显微镜系统的情况下的显微镜系统的配置示例。
[0166]
如图10所示，根据本实施例的显微镜系统包括显微镜101和数据处理单元107。
[0167]
显微镜101包括载物台102、光学系统103、光源104、载物台驱动单元105、光源驱动单元106和荧光信号获取单元112。
[0168]
载物台102具有可以在其上放置荧光染色样本30的放置表面，并且通过载物台驱动单元105的驱动，载物台102可在平行于放置表面的方向(x
‑
y平面方向)和垂直于放置表面的方向(z轴方向)上移动。荧光染色样本30在z方向上具有例如几微米至几十微米的厚度，并且夹在载玻片sg和盖玻片(未示出)之间，并且通过预定的固定方法固定。
[0169]
光学系统103设置在载物台102上方。光学系统103包括物镜103a、图像形成透镜103b、分色镜103c、发射滤光器103d和激发滤光器103e。光源104例如是灯泡(例如，汞灯等)、发光二极管(led)等，并且通过光源驱动单元106的驱动用激发光照射附着到荧光染色样本30的荧光标签。
[0170]
在获得荧光染色样本30的荧光图像的情况下，激发滤光器103e通过仅透射从光源104发射的光中的激发荧光色素的激发波长的光来产生激发光。分色镜103c反射透过激发滤光器然后入射到分色镜103c上的激发光，并将激发光引导到物镜103a。物镜103a将激发光聚焦在荧光染色样本30上。然后，物镜103a和图像形成透镜103b将荧光染色样本30的图
像放大到预定的放大率，并且在荧光信号获取单元112的图像形成表面上形成放大的图像。
[0171]
当用激发光照射荧光染色样本30时，结合到荧光染色样本30的每个组织的染色剂发出荧光。该荧光经由物镜103a透射通过分色镜103c，并且经由发射滤光器103d到达图像形成透镜103b。发射滤光器103d吸收已经被上述物镜103a放大并且已经透过激发滤光器103e的光，并且仅透射一部分彩色光。如上所述，失去外部光的彩色光的图像被图像形成透镜103b放大，并形成在荧光信号获取单元112上。
[0172]
数据处理单元107是驱动光源104、使用荧光信号获取单元112获取荧光染色样本30的荧光图像、并使用荧光图像执行各种处理的配置。更具体地，数据处理单元107可以用作参考图1描述的信息处理设备100的信息获取单元111、存储单元120、处理单元130、显示单元140、控制单元150和操作单元160或数据库200中的一些或全部。例如，数据处理单元107用作信息处理设备100的控制单元150，以控制载物台驱动单元105和光源驱动单元106的驱动，或者控制荧光信号获取单元112的光谱获取。此外，数据处理单元107用作信息处理设备100的处理单元130，以生成链接的荧光光谱，分离每个分子的链接的荧光光谱，或者基于分离结果生成图像信息。
[0173]
上面已经描述了在根据本实施例的信息处理系统被实现为显微镜系统的情况下显微镜系统的配置示例。注意，上面参考图10描述的配置仅仅是示例，并且根据本实施例的显微镜系统的配置不限于这样的示例。例如，显微镜系统可以不一定包括图10所示的所有配置，或者可以包括图10中未示出的配置。
[0174]
(1.2.处理流程示例)
[0175]
上文已经描述了根据本实施例的信息处理系统的配置示例。接下来，将参考图11描述信息处理设备100伴随荧光分离的一系列处理的流程示例。图11是示出信息处理设备100伴随荧光分离的一系列处理的流程示例的流程图。
[0176]
在步骤s1000中，信息处理设备100的荧光信号获取单元112获取荧光光谱。更具体地，用具有不同激发波长的多个激发光照射荧光染色样本30，并且荧光信号获取单元112获取对应于每个激发光的多个荧光光谱。然后，荧光信号获取单元112将获取的荧光光谱存储在荧光信号存储单元122中。
[0177]
在步骤s1004中，链接单元131通过将存储在荧光信号存储单元122中的多个荧光光谱的至少一部分在波长方向上彼此链接来生成链接的荧光光谱。更具体地，链接单元131通过在每个荧光光谱中提取预定宽度的数据，以包括多个荧光光谱中的每个荧光光谱的荧光强度的最大值，并且在波长方向上将数据彼此链接，来生成一个链接的荧光光谱。
[0178]
在步骤s1008中，分离处理单元132针对每个分子分离链接的荧光光谱(执行荧光分离)。更具体地，分离处理单元132通过执行参考图7描述的处理来针对每个分子分离链接的荧光光谱。
[0179]
在随后的处理中，例如，图像生成单元133使用对应于一个或多个荧光分子的分离的荧光光谱(或对应于自发荧光分子的分离的自发荧光光谱)生成图像信息，并且显示单元140在显示器上显示图像信息，以将图像信息呈现给医师。
[0180]
<2.第二实施例>
[0181]
上文已经描述了本公开的第一实施例。接下来，将描述本公开的第二实施例。
[0182]
根据第一实施例的信息处理设备100已经使用预先准备的链接的自发荧光参考光
谱(和链接的荧光参考光谱)执行了荧光分离处理。另一方面，根据第二实施例的信息处理设备100使用实际测量的链接的自发荧光参考光谱来执行荧光分离处理。
[0183]
更具体地，根据第二实施例的分离处理单元132的光谱提取单元1322从链接的自发荧光光谱中提取每个自发荧光物质的链接的自发荧光参考光谱，通过在波长方向上将多个自发荧光光谱的至少一部分彼此链接而产生该链接的自发荧光光谱，通过用具有不同激发波长的多个激发光照射切片而获得所述多个自发荧光光谱，并且该切片与样本20相同或相似。然后，光谱提取单元1322使用提取的链接的自发荧光参考光谱和链接的荧光参考光谱(链接的荧光参考光谱类似于第一实施例的链接的荧光参考光谱)作为参考光谱，来执行荧光分离处理。
[0184]
图12是示出根据本实施例的分离处理单元的更具体配置示例的框图。如图12所示，根据本实施例的分离处理单元132具有类似于第一实施例中参考图7描述的分离处理单元132的配置。
[0185]
在这种配置中，代替包括在样本信息中的链接的自发荧光参考光谱，从链接单元131输入的非染色切片(也称为非染色样本)的链接的荧光光谱(也称为链接的自发荧光光谱)被输入到光谱提取单元1322。
[0186]
光谱提取单元1322通过使用从第一颜色分离单元1321a输入的用于从链接单元131输入的非染色样本的链接的自发荧光光谱的颜色分离结果来执行光谱提取处理，并且基于光谱提取处理的结果，来调整链接的自发荧光参考光谱，从而改进链接的自发荧光参考光谱，以获得更准确的颜色分离结果。例如，类似于第一实施例，非负矩阵因式分解(nmf)、奇异值分解(svd)等可以用于光谱提取处理。此外，其他操作可以类似于根据第一实施例的分离处理单元132的操作，因此将省略其详细描述。
[0187]
注意，非染色切片和染色切片中的任何一个可以用于与用于提取链接的自发荧光参考光谱的样本20相同或相似的切片。例如，在使用非染色切片的情况下，可以使用在染色用作染色切片前的切片、与染色切片相邻的切片、与同一块中的染色切片不同的切片(从与染色切片相同的位置取样)、同一组织中不同块中的切片(从与染色切片不同的位置取样)等。
[0188]
此外，在使用染色切片的情况下，通过由根据稍后描述的第三实施例的方法执行荧光分离处理，也可以直接从链接的荧光光谱获得每个分子的颜色分离结果，而无需提取链接的自发荧光参考光谱。
[0189]
在此处，主成分分析(以下称为“pca”)通常可以用作从非染色切片提取自发荧光光谱的方法，但是pca不适用于在波长方向上彼此链接的自发荧光光谱用于如本实施例中的处理的情况。因此，根据本实施例的光谱提取单元1322通过执行非负矩阵因式分解(以下称为nmf)而不是pca，从非染色切片提取链接的自发荧光参考光谱。注意，稍后将详细描述为什么pca不适合作为从非染色切片提取链接的自发荧光参考光谱的方法的原因。
[0190]
图13是用于描述nmf的概述的示图。如图13所示，nmf将非负的n行m列(n
×
m)矩阵a分解成非负的n行k列(n
×
k)矩阵w和非负的k行m列(k
×
m)矩阵h。确定矩阵w和矩阵h，使得矩阵a和矩阵w和矩阵h的乘积(w*h)之间的均方残差d变得最小。在本实施例中，矩阵a对应于提取链接的自发荧光参考光谱之前的光谱(n是像素数，m是波长通道数)，矩阵h对应于提取的链接的自发荧光参考光谱(k是链接的自发荧光参考光谱数(换言之，自发荧光物质
数)，m是波长通道数)。在此处，均方残差d由以下等式(10)表示。注意，“norm(d,
‘
fro’)”是指均方残差d的frobenius范数。
[0191]
[等式10]
[0192][0193]
nmf的因式分解使用从矩阵w和矩阵h的随机初始值开始的迭代方法。在nmf，k的值(链接的自发荧光参考光谱的数量)是强制性的，但是矩阵w和矩阵h的初始值可以被设置为选项，而不是强制性的，并且当设置矩阵w和矩阵h的初始值时，解是恒定的。另一方面，在没有设置矩阵w和矩阵h的初始值的情况下，随机设置这些初始值，并且解不是常数。
[0194]
根据所用组织的类型、目标疾病的类型、目标人的属性、目标人的生活方式等，样本20的性质不同，并且样本20的自发荧光光谱也不同。因此，如上所述，根据第二实施例的信息处理设备100可以通过实际测量每个样本20的链接的自发荧光参考光谱来实现更精确的荧光分离处理。
[0195]
注意，如上所述，作为nmf的输入的矩阵a是包括与样本图像的像素数n(＝hpix
×
vpix)相同的行数以及与波长通道数m相同的列数的矩阵。因此，在样本图像的像素数量大的情况下或者在波长通道的数量m大的情况下，矩阵a变成非常大的矩阵，使得nmf的计算成本增加并且处理时间变长。
[0196]
在这种情况下，例如，如图14所示，通过将样本图像的像素数n(＝hpix
×
vpix)聚类成指定数目n(<hpix
×
vpix)的类别，可以抑制由于矩阵a的放大而导致的处理时间的冗余。
[0197]
在聚类中，例如，在样本图像中的波长方向和强度方向上的相似光谱被分类到同一类别中。因此，产生了具有比样本图像的像素数少的像素数的图像，并且因此可以使用该图像作为输入，来减小矩阵a’的比例。
[0198]
(2.1.处理流程示例)
[0199]
接下来，将参考图15描述根据第二实施例的信息处理设备100伴随荧光分离的一系列处理的流程示例。图15是示出根据第二实施例的信息处理设备100伴随荧光分离的一系列处理的流程示例的流程图。
[0200]
在步骤s1100和步骤s1104中，类似于第一实施例中的处理的流程示例(图11的步骤s1000和步骤s1004)，荧光信号获取单元112获取对应于具有不同激发波长的激发光的多个荧光光谱，并且链接单元131通过在波长方向上将多个荧光光谱的至少一部分彼此链接来生成链接的荧光光谱。
[0201]
在步骤s1108中，光谱提取单元1322通过使用链接的自发荧光光谱执行nmf来提取链接的自发荧光参考光谱，其中，通过在波长方向上将多个自发荧光光谱的至少一部分彼此链接而产生所述链接的自发荧光光谱，通过用具有不同激发波长的多个激发光照射非染色切片而获得所述多个自发荧光光谱。
[0202]
在步骤s1112中，颜色分离单元1321使用如上所述提取的链接的自发荧光参考光谱和链接的荧光参考光谱(链接的荧光参考光谱类似于第一实施例的荧光参考光谱)作为参考光谱，来执行荧光分离处理。
[0203]
在随后的处理中，类似于第一实施例，例如，图像生成单元133使用对应于一个或
多个荧光分子的分离的荧光光谱(或对应于自发荧光分子的分离的自发荧光光谱)生成图像信息，并且显示单元140在显示器上显示图像信息，以将图像信息呈现给医师。
[0204]
(2.2.pca不适合作为从非染色切片中提取链接的自发荧光参考光谱的方法的原因)
[0205]
上文已经描述了根据第二实施例的信息处理设备100伴随荧光分离的一系列处理的流程示例。然后，将描述pca不适合作为从非染色切片提取链接的自发荧光参考光谱的方法的原因的细节。
[0206]
首先，当对于一个激发波长，像素数n中的某个像素i的荧光光谱是ai并且分辨率是m时，荧光光谱ai由以下等式(11)表示(m阶向量)。
[0207]
[等式11]
[0208]
ai＝(ai1，ai2，～aim)(11)类似地，其他激发波长的荧光光谱也表示为bi、ci和di，作为m阶向量(在此处，假设激发波长的类型数为4的情况作为示例)。然后，关于所有像素(像素1至像素n)的这些向量相互集成的矩阵由以下等式(12)表示(n行和4m列矩阵p)。由于像素的数量明显(实质上)大于波长分辨率，由等式(12)表示的矩阵p的秩最大为4m，并且存在多达4m个特征值和特征向量。
[0209]
[等式12]
[0210][0211]
在此处，可以在秩为k的n行和m列(n
×
m)实矩阵a上执行由以下等式(13)表示的奇异值分解(svd)。等式(13)中的u和v均表示奇异矩阵并形成正规矩阵系统(即，
t
u＝u
‑1和uu
‑1＝1)。此外，在实矩阵a是具有不同特征值的方阵的情况下，u和v是特征向量。
[0212]
[等式13]
[0213]
a＝ud
t
v
ꢀꢀꢀ
(13)
[0214]
通过对实矩阵a执行特征值分解(ed)或奇异值分解(svd)来计算奇异(特征)向量，可以分析实矩阵a的独立因子。在实矩阵a是方阵并且具有不同特征值的情况下，
t
aa的特征值是a的特征值的平方，并且
t
aa的特征向量等于a的特征向量(见以下等式(14)，等式(14)中的a＝vd
t
v)。
[0215]
[等式14]
[0216]
t
aa＝
t
(vd
t
v)(vd
t
v)＝v
t
d
t
vvd
t
v＝v(dd)
t
v
ꢀꢀꢀ
(14)在本实施例中获得的光谱不是方阵，但是因为可以认为光谱是由配置自发荧光的元件的线性组合确定的，所以认为可以通过复制或线性转换将光谱卷积成方阵。即使在存在误差的情况下，
t
aa＝0的特征值也是a的最小二乘解。因此，通过获得
t
aa的特征向量，可以计算光谱中的独立分量(特征向量)。此外，下面的等式(15)和(16)是显而易见的，因为建立了奇异值分解。然而，在不满足秩的情况下，l和r成为特征向量的子集，使得不能表示所有的点。
[0217]
[等式15]
[0218]
anm＝lnrrrm
ꢀꢀꢀ
(15)
[0219]
[等式16]
[0220][0221]
pca相当于获得数据矩阵的方差
‑
协方差矩阵的特征值和特征向量。如以下等式(17)所表示的，方差
‑
协方差矩阵是通过从数据矩阵中减去平均值而获得的矩阵和转置矩阵之间的乘积。这是(数据矩阵和转置的乘积
‑
每列平均值的乘积)。
[0222]
[等式17]
[0223][0224]
[等式18]
[0225][0226]
如下面的等式(19)到(23)所表示的，
t
bb的特征向量可以变成b的特征向量，来构造b，并且
t
bb和
t
aa之间的差是
t
aa(a的列的平均值的乘积的矩阵)。因此，在a的奇异值分解中，获得配置点的特征向量，而在pca中，计算表示点的变化程度的特征向量(
t
bb的特征向量和
t
aa的特征向量彼此不相等)。
[0227]
[等式19]
[0228]
t
bbij＝∑(aki
‑
ai)(akj
‑
aj)＝∑(akiakj
‑
aiaj)＝
t
aaij
‑
aiaj
ꢀꢀꢀ
(19)
[0229]
[等式20]
[0230]
t
aaij＝∑akiakj (20)
[0231]
[等式21]
[0232]
a＝(a1，a2，～am)
ꢀꢀꢀ
(21)
[0233]
[等式22]
[0234]
aiaj＝
t
aa
ꢀꢀꢀ
(22)
[0235]
[等式23]
[0236]
t
bb＝
t
aa
‑
t
aa
ꢀꢀꢀ
(23)
[0237]
此时，在诸如上述等式(12)等矩阵的情况下，其中，每个激发波长的荧光光谱彼此集成，在奇异值分解中，如果它们彼此独立，则它们不受影响，但是在pca中，出现平均值的乘积项，因此特征向量受影响。因此，为了进行pca，需要对每个数据集进行分析。如上所述，在如本实施例中那样使用在波长方向上彼此链接的光谱进行处理的情况下，pca是不合适的。
[0238]
(2.3.应用示例)
[0239]
上面已经描述了pca不适合作为从非染色切片提取链接的自发荧光参考光谱的方法的原因的细节。接下来，将描述根据第二实施例的应用示例。
[0240]
如上所述，根据第二实施例的分离处理单元132的光谱提取单元1322通过使用链接的自发荧光光谱执行nmf来提取链接的自发荧光参考光谱，其中，通过在波长方向上将多个自发荧光光谱的至少一部分彼此链接而生成链接的自发荧光光谱，通过用具有不同激发
波长的多个激发光照射非染色切片来获取多个自发荧光光谱。此时，根据应用示例的光谱提取单元1322可以通过使用根据第一实施例等预先获取的自发荧光光谱来设置nmf中的初始值(图13中的矩阵h的初始值)(更具体地，通过将通过在波长方向上将至少部分自发荧光光谱彼此链接而生成的链接的自发荧光光谱设置为nmf中的初始值)来提取链接的自发荧光参考光谱。因此，唯一地确定作为分离结果获得的光谱，并且可以执行更精确的荧光分离。
[0241]
<3.修改例>
[0242]
上文已经描述了本公开的第二实施例。接下来，将描述本公开的修改例。
[0243]
由于通过上述荧光分离处理获得的信息是图像信息中的亮度(或荧光强度)，因此存在医师不能充分进行定量分析的情况。更具体地，由于医师不能获得诸如荧光分子的数量、与荧光分子结合的抗体的数量等信息，因此医师很难比较多种荧光物质中的荧光分子的数量，或者很难比较在彼此不同条件下成像的数据。
[0244]
鉴于上述问题进行了本修改例，并且根据该修改例的光谱提取单元1322使用参考光谱从链接的荧光光谱中提取每个荧光物质的光谱，其中，该参考光谱包括基于荧光分子的数量或结合到荧光分子的抗体的数量计算的链接的自发荧光参考光谱和链接的荧光参考光谱。更具体地，根据该修改例的光谱提取单元1322通过将上述实施例中使用的每个链接的自发荧光参考光谱和链接的荧光参考光谱除以成像元件1[像素]中的荧光分子的数量或抗体的数量，来计算每个荧光分子或每个抗体的链接的自发荧光参考光谱和链接的荧光参考光谱，并且使用所计算的链接的自发荧光参考光谱和链接的荧光参考光谱来执行关于最小二乘法(或加权最小二乘法)的计算，从而从链接的荧光光谱中提取每个荧光物质的光谱。因此，根据该修改例的分离处理单元132可以计算荧光染色样本30中荧光分子的数量或抗体的数量，作为荧光分离处理的结果。
[0245]
在此处，将参考图16描述计算成像元件1[像素]中荧光分子的数量(或抗体的数量)的方法。如图16所示，在成像元件和样本被设置成其间插入有物镜的情况下，假设对应于成像元件1[像素]的样本的底表面的尺寸是13/20[μm]
×
13/20[μm]。然后，当假设样本的厚度为10[μm]时，这个长方体的体积[m3]用13/20[μm]
×
13/20[μm]
×
10[μm]表示(注意，体积[l]用13/20[μm]
×
13/20[μm]
×
10[μm]
×
103表示)。
[0246]
然后，当假设样本中包括的抗体的浓度(当然可以是荧光分子的数量)是均匀的并且是300[nm]时，成像元件1[像素]中的抗体数量由以下等式(24)表示。
[0247]
[等式24]
[0248][0249]
如上所述，作为荧光分离处理的结果，计算荧光染色样本30中的荧光分子的数量或抗体的数量，使得医师可以比较多种荧光物质中的荧光分子的数量，或者比较在彼此不同条件下成像的数据。此外，虽然亮度(或荧光强度)是连续值，但是荧光分子的数量或抗体的数量是离散值。因此，根据该修改例的信息处理设备100可以通过基于荧光分子的数量或抗体的数量输出图像信息来减少数据量。
[0250]
其他配置、操作和效果可以类似于上述实施例中的那些，因此此处将省略其详细描述。
[0251]
<4.第三实施例>
[0252]
在上述第一和第二实施例中，已经举例说明了通过使用链接的自发荧光参考光谱(和链接的荧光参考光谱)执行荧光分离处理来从链接的荧光光谱中提取每个荧光物质的光谱的情况。另一方面，在第三实施例中，将举例说明直接从染色切片提取每种荧光物质的荧光光谱的情况。
[0253]
图17是示出根据本实施例的分离处理单元的示意性配置示例的框图。在根据本实施例的信息处理设备100中，分离处理单元132被图17所示的分离处理单元232代替。
[0254]
如图17所示，分离处理单元232包括颜色分离单元2321、光谱提取单元2322和数据集创建单元2323。
[0255]
颜色分离单元2321针对每个分子对从链接单元131输入的染色切片(也称为染色样本)的链接的荧光光谱进行颜色分离。
[0256]
光谱提取单元2322是以下配置：改进自发荧光光谱以便能够获得更准确的颜色分离结果，并且调整从信息存储单元121输入的样本信息中包括的链接的自发荧光参考光谱，以便获得更准确的颜色分离结果。
[0257]
数据集创建单元2323根据从光谱提取单元2322输入的光谱提取结果创建自发荧光参考光谱的数据集。
[0258]
更具体地，光谱提取单元2322对从信息存储单元121输入的链接的自发荧光参考光谱使用非负矩阵因式分解(nmf)、奇异值分解(svd)等执行光谱提取处理，并将光谱提取处理的结果输入到数据集创建单元2323。注意，在根据本实施例的光谱提取处理中，使用例如组织微阵列(tma)提取每个细胞组织和/或每个类型的自发荧光参考光谱。
[0259]
数据集创建单元2323根据从光谱提取单元2322输入的每个细胞组织和/或每个类型的自发荧光参考光谱，创建颜色分离单元2321进行颜色分离处理所需的数据集(以下也称为自发荧光数据集)，并将创建的自发荧光数据集输入到颜色分离单元2321。
[0260]
颜色分离单元2321通过使用从信息存储单元121输入的链接的荧光参考光谱和链接的自发荧光参考光谱以及从数据集创建单元2323输入的用于从链接单元131输入的染色样本的链接的荧光光谱的自发荧光数据集来执行颜色分离处理，将链接的荧光光谱分离成每个分子的光谱。注意，nmf或svd可用于进行颜色分离处理。
[0261]
作为由根据本实施例的颜色分离单元2321执行的nmf，例如，可以使用如第二实施例中描述的在从非染色切片提取自发荧光光谱时从nmf(见图13等)如下改变的nmf。
[0262]
即，在本实施例中，矩阵a对应于从染色切片获取的多个样本图像(n是像素数，m是波长通道数)，矩阵h对应于每个提取的荧光物质的荧光光谱(k是荧光光谱的数量(换言之，荧光物质的数量)并且m是波长通道数)，并且矩阵w对应于荧光分离后的每个荧光物质的图像。注意，矩阵d是均方残差。
[0263]
此外，在本实施例中，类似于第二实施例，nmf的初始值可以是随机的。然而，在nmf执行的每次结果都不同的情况下，需要设置初始值，以防止结果的变化。
[0264]
图18至22是示出在本实施例中输入到矩阵a的样本图像的示例的图，并且图23至29是示出在输入图18至22中示出的样本图像的情况下通过nmf作为矩阵w获取的荧光分离图像的示例的示图。注意，在图18至图22的每一个中，为了简化描述，示出了样本20已经用单个荧光试剂10染色的情况。此外，假设给出archidonicacid、过氧化氢酶、胶原蛋白、fad、
血红蛋白、nadph、prolongdiamond和ck这总共八种荧光色素的荧光光谱，作为nmf的初始值。
[0265]
当用如图18至22所示的在五个激发波长(波长通道的数量(m)＝5)的每一个处获取的样本图像作为矩阵a，来求解nmf时，获取如图23至29所示的七个荧光分离图像，作为矩阵w，并且获取各个荧光光谱，作为矩阵h。
[0266]
注意，在已经使用根据计算算法改变相应光谱的顺序的算法或需要改变光谱的顺序以加速处理或提高结果的收敛性的算法(例如，nmf)来执行荧光分离处理的情况下，可以通过例如获得所有组合中的每一个的皮尔逊积矩相关系数(或余弦相似性)，来指定作为矩阵h获得的每个荧光光谱对应于哪个荧光色素。
[0267]
此外，在已经使用matlab(注册商标)的默认函数(nmf)的情况下，即使给出了初始值，也改变顺序并执行输出。这可以通过自函数来固定，但是即使由于使用默认函数而改变了顺序，也可以通过使用皮尔逊积矩相关系数(或余弦相似性)来获得物质和荧光光谱的正确组合，如上所述。
[0268]
如上所述，通过使用以从染色切片获取的样本图像作为矩阵a来求解nmf的配置，可以直接从染色切片提取每个荧光物质的荧光光谱，而不需要诸如非染色切片的成像、链接的自发荧光参考光谱的生成等过程。因此，可以显著减少荧光分离处理所需的时间和工作成本。
[0269]
此外，在本实施例中，从相同染色切片获得的样本图像中提取每个荧光物质的荧光光谱，因此与例如使用从不同于染色切片的非染色切片获得的自发荧光光谱的情况相比，可以获得更准确的荧光分离结果。
[0270]
其他配置、操作和效果可以类似于上述实施例中的那些，因此此处将省略其详细描述。
[0271]
注意，在本实施例中，当提取每个荧光物质的荧光光谱时，可以使用链接的荧光光谱，也可以不链接。即，在本实施例中，链接单元131可以生成或不生成链接的荧光光谱。在链接单元131不生成链接的荧光光谱的情况下，分离处理单元132的提取单元执行用于从荧光信号获取单元112获取的多个荧光光谱中提取每个荧光物质的荧光光谱的处理。
[0272]
<5.第四实施例>
[0273]
在上述第三实施例中，以下方法可被提及为增强定量性质(例如，关于染色颜料的浓度等)的方法。
[0274]
图30是用于描述根据第四实施例的nmf流程的流程图。图31是用于描述图30所示的nmf的第一循环中的处理流程的示图。
[0275]
如图30所示，在根据本实施例的nmf中，首先，变量i被重置为零(步骤s401)。变量i表示在nmf中因式分解的重复次数。因此，图31的(a)中所示的矩阵h0对应于矩阵h的初始值。注意，在本示例中，为了清楚起见，矩阵h中染色荧光光谱的位置是底行，但不限于此，并且可以不同地改变为顶行、中间行等。
[0276]
接下来，在根据本实施例的nmf中，类似于正常nmf，通过将非负的n行m列(n
×
m)矩阵a除以非负的n行k列(n
×
k)矩阵w
i
，获得非负的k行m列(k
×
m)矩阵h
i+1
(步骤s402)。因此，例如，在第一循环中，获得如图31的(b)所示的矩阵h1。
[0277]
接下来，在步骤s402中获得的矩阵h
i+1
中的一行荧光染色光谱被替换为荧光染色
光谱的初始值，即，矩阵h0中的一行染色荧光光谱(步骤s403)。即，在本实施例中，矩阵h中的荧光染色光谱被固定为初始值。例如，在第一循环中，可以通过用矩阵h0中的底行替换矩阵h1中的底行来固定染色的荧光光谱，如图31的(c)所示。
[0278]
接下来，在根据本实施例的nmf中，通过将矩阵a除以在步骤s403中获得的矩阵h
i+1
来获得矩阵w
i+1
(步骤s404)。
[0279]
此后，在根据本实施例的nmf中，类似于正常nmf，确定均方残差d是否满足预定分支条件(步骤s405)，并且在满足预定分支条件的情况下(步骤s405中为是)，nmf以最终获得的矩阵h
i+1
和w
i+1
作为解来结束。另一方面，在不满足预定分支条件的情况下(步骤s405中为否)，变量i递增1(步骤s406)，然后处理返回到步骤s402，并且执行下一个循环。
[0280]
图32是示出染色荧光光谱的初始值的示例的示图。图33是示出根据本实施例在执行nmf之后的染色荧光光谱的示例的示图。如图32和33所示，可以看出，即使在执行根据本实施例的nmf的情况下，染色的荧光光谱也保持为等同于初始值的光谱。
[0281]
此外，图34是示出通过根据本实施例的不使用非染色样本的方法提取的荧光物质的光谱的示例的示图，图35是示出在使用非染色样本的情况下提取的荧光物质的光谱的示例的示图。注意，在图34和35中，举例说明了cd8已经用作标记抗体并且alexa fluor 680已经用作荧光颜料的情况。如图34和35所示，根据本实施例，可以以与使用非染色样本的情况下相同的精度提取荧光物质的光谱。
[0282]
如上所述，在第一种方法中，在多染色病理切片图像(样本图像)的光谱提取和颜色分离中，可以使用nmf直接颜色分离染色样本，同时确保染色荧光的定量性质，即，同时保持染色荧光的光谱，而不需要对相同组织切片非染色样本进行成像用于自发荧光光谱提取。因此，例如，与使用其他样本的情况相比，可以实现精确的颜色分离。此外，可以减少对其他样本等进行成像的时间和劳动。
[0283]
注意，使用最小化d＝|a
‑
wh|2的递推公式的方法、使用准牛顿方法(davidon
‑
fletcher
‑
powell(dfp)方法)、broyden
‑
fletcher
‑
goldfarb
‑
shanno(bfgs)方法等可以被认为是最小化均方残差d的方法。在这些情况下，以下方法可以被认为是将染色荧光光谱固定到初始值的方法。
[0284]
5.1.使用递推公式在最小化均方残差d中固定染色荧光光谱的方法
[0285]
在使用最小化d＝|a
‑
wh|2的递归公式最小化均方残差d的方法中，执行循环处理，该循环处理重复包括由以下等式(25)和(26)表示的乘法型更新公式的步骤。注意，等式(25)和(26)，a＝(a
i,j
)
n
×
m
，h＝(h
i,j
)
k
×
m
，w＝(w
i,j
)
n
×
k
。此外，
t
h和
t
w分别是子矩阵h和w的转置矩阵。
[0286]
[等式25]
[0287][0288]
[等式26]
[0289]
[0290]
在这样的循环处理中，为了将染色荧光光谱固定到初始值，可以使用在执行等式(25)的步骤和执行等式(26)的步骤之间插入执行以下等式(27)的步骤的方法。注意，等式(27)表示对应于更新的w
i,jk+1
中的染色荧光光谱的子矩阵被子矩阵w
i,j(part)k
覆写，该子矩阵是染色荧光光谱的初始值。
[0291]
[等式27]
[0292]
w
i，jk+1
←
w
i，j(part)k
ꢀꢀꢀ
(27)
[0293]
5.2.使用dfp方法、bfgs方法等在最小化均方残差d中固定染色荧光光谱的方法
[0294]
此外，在使用dfp方法、bfgs方法等最小化均方残差d的方法中，当最小化目标的均方残差d是d(x)，并且x是坐标(在第k次更新时，x
k
＝(a1，a2，...an)
k
)，通过以下步骤使d(x)最小化。在下面的步骤中，b表示hessian矩阵。
[0295]
‑
通过x
k+1
＝x
k
‑
αb
k
‑1d’(x
k
)更新坐标
[0296]
‑
新坐标x
k+1
处的梯度位移
[0297]
‑
从y
k
＝d’(x
k+1
)
–
d’(x
k
)更新hessian逆矩阵b
k+1
‑1[0298]
各种方法(例如，由以下等式(28)表示的dfp方法、由以下等式(29)表示的bfgf方法等)可以应用于hessian矩阵bk+1的更新。
[0299]
[等式28]
[0300][0301]
[等式29]
[0302][0303]
在使用dfp方法、bfgs方法等最小化均方残差d的这种方法中，有几种方法作为固定任意坐标的方法，即，将染色荧光光谱固定到初始值的方法。例如，可以通过在更新坐标的时间执行以下处理(1)或处理(2)的方法将染色荧光光谱固定到初始值。
[0304]
(1)
‑
αb
k
‑1d’(x
k
)＝0，即将偏微分d’(x
k
)替换为零
[0305]
(2)更新坐标后计算x
k+1
后，强制将得到的坐标x
k+1
的一部分替换为x
k
(或x
k
的一部分)
[0306]
<6.第五实施例>
[0307]
接下来，将参考附图详细描述本公开的第六实施例。
[0308]
广泛使用将某些数据分离和分析成配置数据的元素和元素的系数的方法，包括机器学习。作为将数据分解成元素(基或谱)(在本公开中它们被称为谱)和系数的方法，存在各种方法，例如，上述实施例中描述的特征值分解、奇异值分解、非负矩阵因式分解(nmf)等。可以说，特别地，用于非负数据的nmf在获得的解和实际光谱(例如，材料的吸收光谱、荧光光谱等)之间具有高度相似性，并且在解释数据方面是有利的，因为光谱和系数都是非负值。
[0309]
如上所述，nmf是通过光谱s(对应于图13的矩阵h)和系数c(对应于图13的矩阵w)的乘积和误差f(对应于图13的均方残差d)的和来表示数据矩阵a，并且在非负约束条件下执行矩阵因式分解以使得误差(f＝|a
‑
s
×
c|2)变得最小的方法，并且具有易于通过最小光
谱来近似数据(低秩近似)的特征。在该nmf中，建立了使用递推公式的计算方法，并且通过重复计算下面的等式(30)可以获得使误差f最小化的s和c的组合。
[0310]
[等式30]
[0311][0312]
注意，xij和yij分别是由以下等式(31)表示的值。
[0313]
[等式31]
[0314][0315]
此外，在等式(31)中，矩阵
t
c和矩阵
t
s分别是矩阵c和矩阵s的转置矩阵。
[0316]
在此处，考虑矩阵a具有数量w(对应于图13的波长通道的数量m)的p数据(对应于图13的像素的数量n)并且这些数据由元素成分的数量w的n个光谱近似的情况。在这种情况下，矩阵a可以由以下等式(32)表示。
[0317]
[等式32]
[0318]
a(p，w)＝s(n，w)
×
c(p，n)
ꢀꢀꢀ
(32)
[0319]
在等式(32)中，当计算由上述等式(31)给出的xij和yij时，需要参考矩阵a(p，w)。因此，每次迭代计算都需要对所有点p进行计算。
[0320]
如果要分析的数据是小规模数据，则对每次迭代针对所有点p执行计算几乎没有问题，但是在大规模数据具有非常大数量的数据点的情况下，这成为增加计算时间的因素。此外，在不能在存储器(例如，稍后描述的图42中的ram 903)中扩展所有p数据的情况下，可能出现频繁访问外部存储装置(例如，图42的存储装置908)的问题，使得处理时间变得更加冗余。
[0321]
另一方面，本发明人已经发现，可以通过对数据矩阵a的gram矩阵
t
aa而不是要分解的数据矩阵a执行非负分解，来获得光谱s。
[0322]
因此，在本实施例中，通过将数据矩阵a转换成gram矩阵
t
aa并对gram矩阵
t
aa执行非负分解来获得作为解的光谱s。通过将数据矩阵a转换成gram矩阵
t
aa，可以使处理对称矩阵成为方阵。因此，例如，将其中像素的数量n相对于波长通道的数量m非常大的数据矩阵a被转换成m
×
mgram矩阵
t
aa，并且因此可以显著减少数据点的数量，以缩短计算时间并且显著减少计算所需的存储量。结果，可以实现高效率的分析。
[0323]
(6.1.处理单元的处理概述)
[0324]
根据本实施例的信息处理设备具有例如类似于根据上述实施例的信息处理设备100(见图1)的配置，并且处理单元130(例如，分离处理单元132)执行以下操作。
[0325]
首先，根据本实施例的处理单元130在将数据矩阵a执行非负因式分解或奇异值分解成a＝s
×
c的过程中，通过预先计算矩阵a的gram矩阵
t
aa并将计算的gram矩阵
t
aa执行非负分解成
t
aa＝s
×
e来获得光谱s。
[0326]
其次，在计算gram矩阵
t
aa的过程中，根据本实施例的处理单元130通过使用其中a
(p,w)＝a1(p1
‑
pn1,w)+a2(pn1+1
‑
pm,w)+...+ao(pm+1
‑
p,w)的子集，如以下等式(33)中那样卷积每个gram矩阵
t
aqaq(q是大于或等于1且小于或等于n的整数)来获得gram矩阵
t
aa。
[0327]
[等式33]
[0328]
t
aa＝
t
a1a1+
t
a2a2+...
t
anan
ꢀꢀ
(33)
[0329]
第三，通过使用通过相对于上述gram矩阵的非负分解而获得的光谱s求解a＝s
×
c，来获得系数c。
[0330]
(6.2.测量系统的配置示例)
[0331]
接下来，将描述根据本实施例的信息处理设备100中的测量系统的配置示例。图36是示出根据本实施例的信息处理系统的测量系统的示例的示图。注意，在图36中，示出了在对荧光染色样本30(或者是非染色样本的样本20)的宽视野成像时的测量系统的示例，例如，全载玻片成像(wsi)等。然而，根据本实施例的测量系统不限于图36所示的测量系统，并且可以进行各种修改，只要是能够获取整个成像区域或感兴趣区域的足够分辨率的图像数据(以下称为宽视野图像数据)的测量系统，例如，一次对整个成像区域或必要区域(也称为感兴趣区域)成像的测量系统、通过线扫描获取整个成像区域或感兴趣区域的图像的测量系统等。
[0332]
如图36所示，根据本实施例的测量系统包括例如信息处理设备100、xy载物台501、激发光源510、分束器511、物镜512、分光镜513和光电探测器514。
[0333]
xy载物台501是其上放置作为分析目标的荧光染色样本30(或样本20)的载物台，并且可以是例如在平行于荧光染色样本30(或样本20)的放置表面的平面(xy平面)上可移动的载物台。
[0334]
激发光源510是用于激发荧光染色样本30(或样本20)的光源，并且例如沿着预定光轴发射具有不同波长的多个激发光。
[0335]
分束器511包括例如分色镜等，反射来自激发光源510的激发光，并透射来自荧光染色样本30(或样本20)的荧光。
[0336]
物镜512用由分束器511反射的激发光照射xy载物台501上的荧光染色样本30(或样本20)。
[0337]
分光镜513通过使用一个或多个棱镜、透镜等来配置，并且散射从荧光染色样本30(或样本20)发射并在预定方向上透射通过物镜512和分束器511的荧光。
[0338]
光电检测器514检测由分光镜513散射的荧光的每个波长的光强，并将通过检测获得的荧光信号(荧光光谱和/或自发荧光光谱)输入到信息处理设备100的荧光信号获取单元112。
[0339]
在如上所述的配置中，在整个成像区域超过一次可以成像的区域(以下称为视野)的情况下，例如，wsi，通过针对每次成像移动xy载物台501来移动视野，依次执行每个视野s的成像。然后，通过平铺通过对每个视野进行成像而获得的图像数据(以下称为视野图像数据)，生成整个成像区域的宽视野图像数据。生成的宽视野图像数据存储在例如荧光信号存储单元122中。注意，视野图像数据的平铺可以由信息处理设备100的获取单元110执行，可以由信息处理设备100的存储单元120执行，或者可以由信息处理设备100的处理单元130执行。
[0340]
然后，根据本实施例的处理单元130通过对获得的宽视野图像数据执行上述处理
来获取系数c，即，每个荧光分子的荧光分离图像(或者每个自发荧光分子的自发荧光分离图像)。
[0341]
(6.3.操作示例)
[0342]
接下来，将描述根据本实施例的信息处理设备100的操作示例。注意，以下描述将集中于处理单元130的操作。
[0343]
图37是示出根据本实施例的处理单元的操作示例的流程图。此外，图38至40是用于描述在图37的每个步骤中由处理单元执行的处理的示图。
[0344]
如图37所示，首先，根据本实施例的处理单元130通过平铺通过对每个视野进行成像而获得的视野图像数据来生成整个成像区域的宽视野图像数据(例如，参见图38的宽视野图像数据a)(步骤s2001)。
[0345]
接下来，处理单元130从宽视野图像数据a获取作为宽视野图像数据a的一部分的单位图像数据(例如，图38中的单位图像数据aq(q是大于等于1且小于等于n的整数))(步骤s2002)。单位图像数据aq可以不同地改变，只要它是小于宽视野图像数据a的区域的图像数据，例如，对应于一个视野的图像数据、预设大小的图像数据等。注意，预设大小的图像数据可以包括由信息处理设备100一次可以处理的数据量确定的大小的图像数据。
[0346]
接下来，如图38所示，处理单元130通过将所获取的单位图像数据aq(在下面的描述中为了清楚起见，称为单位图像数据a1)的数据矩阵(为了描述清楚起见，该数据矩阵称为a1)乘以该转置矩阵
t
a1来生成单位图像数据a1的gram矩阵
t
a1a1(步骤s2003)。
[0347]
接下来，处理单元130确定是否已经完成了所有单位图像数据a1至an的gram矩阵
t
a1a1至
t
anan的生成(步骤s2004)，并且重复执行步骤s2002至s2004，直到完成了所有单位图像数据a1至an的gram矩阵
t
a1a1至
t
anan的生成(步骤s2004中为否)。
[0348]
另一方面，当完成针对所有单位图像数据a1至an的gram矩阵
t
a1a1至
t
anan的生成时(步骤s2004中的是)，处理单元130通过使用例如最小二乘法(或加权最小二乘法)从获得的gram矩阵
t
a1a1至
t
anan计算系数c的初始值(步骤s2005)。
[0349]
接下来，处理单元130通过将生成的gram矩阵
t
a1a1至
t
anan相加来计算宽视野图像数据a的gram矩阵
t
aa(步骤s2006)。具体地，如上所述，处理单元130通过使用a(p,w)＝a1(p1
‑
pn1,w)+a2(pn1+1
‑
pm,w)+...+ao(pm+1
‑
p,w)的子集，如上述等式(33)中那样卷积每个gram矩阵
t
aqaq(q是大于等于1且小于等于n的整数)来获得gram矩阵
t
aa。
[0350]
接下来，如图39所示，处理单元130通过将计算出的gram矩阵
t
aa非负分解成
t
aa＝s
×
e来获得光谱s(步骤s2007)。注意，矩阵e对应于从宽视野图像数据a荧光分离的分离图像。
[0351]
此后，如图40所示，处理单元130通过最小二乘法(或加权最小二乘法)使用由nmf针对gram矩阵
t
aa获得的光谱s求解a＝s
×
c来获取系数c，即每个荧光分子的荧光分离图像(或每个自发荧光分子的自发荧光分离图像)(步骤s2008)，并且此后结束当前操作。
[0352]
注意，在步骤s2007的nmf中，可以用固定的特定光谱来执行数据的非负因式分解。
[0353]
(6.4.1.第一修改例)
[0354]
注意，已经在图37至图40中例示了将整个成像区域设置为处理目标区域的情况，但是处理目标区域不限于此，还可以设置为比整个成像区域窄的区域(感兴趣区域)。感兴趣区域可以是例如投射分析目标的区域，例如，荧光染色样本30(或样本20)存在于宽视野
图像数据a中的区域等。此外，例如，荧光染色样本30或样本20(例如，细胞、组织等)的形态信息可用于设定感兴趣区域。注意，形态信息可以是相同组织块的明场图像、非染色图像和染色信息，或者可以是例如样本20中目标的表达图。此外，形态信息可以是在机器学习的图像识别技术中使用诸如分割(以一个像素为单位获取和标记区域)等技术生成的信息。
[0355]
图41是示出根据本实施例的第一修改例的处理单元的操作示例的流程图。如图41所示，首先，根据本第一修改例的处理单元130通过平铺通过对每个视野成像而获得的视野图像数据来生成整个成像区域的宽视野图像数据(步骤s2101)。在本第一修改例中，宽视野图像数据a的分辨率可以低于作为处理目标的图像数据(例如，稍后描述的高分辨率图像数据)的分辨率。
[0356]
接下来，处理单元130在宽视野图像数据a中设置作为处理目标区域的监视区域(步骤s2102)。如上所述，可以基于例如形态信息等来执行感兴趣区域的设置。然而，感兴趣区域的设置可以由处理单元130基于形态信息等自动执行，或者可以由用户手动执行。
[0357]
接下来，处理单元130例如请求控制单元150获取感兴趣区域的高分辨率图像数据(步骤s2103)。响应于这样的请求，控制单元150通过控制上述测量系统(参见图36)、获取单元110和存储单元120来获取感兴趣区域的高分辨率图像数据。注意，感兴趣区域可以是比一个视野更宽的范围。
[0358]
接下来，处理单元130通过执行类似于例如图37的步骤s2002至s2004的操作，生成从感兴趣区域的高分辨率图像数据获取的每个单位图像数据aq的gram矩阵
t
aqaq(步骤s2104至s2106)。
[0359]
接下来，类似于例如图37的步骤s2005，处理单元130通过使用最小二乘法(或加权最小二乘法)从获得的gram矩阵
t
a1a1至
t
anan计算系数c的初始值(步骤s2107)。
[0360]
接下来，处理单元130通过将生成的gram矩阵
t
a1a1至
t
anan相加来计算宽视野图像数据a的gram矩阵
t
aa(步骤s2108)，通过将计算出的gram矩阵
t
aa执行非负分解为
t
aa＝s
×
e来获得光谱s(步骤s2109)，并且获取系数c，即，类似于例如图37的步骤s2006至s2008，通过使用针对gram矩阵
t
aa的nmf获得的光谱s通过最小二乘法(或加权最小二乘法)求解a＝s
×
c(步骤s2110)，获取每个荧光分子的荧光分离图像(或每个自发荧光分子的自发荧光分离图像)，然后结束当前操作。注意，在步骤s2109的nmf中，可以用固定的特定光谱来执行数据的非负因式分解。
[0361]
(6.4.2.第二修改例)
[0362]
注意，在图37所示的操作示例及其修改例(图41)中，已经举例说明了首先获取整个成像区域的宽视野图像数据或整个感兴趣区域的高分辨率图像数据，然后获取并依次处理作为宽视野图像数据或高分辨率图像数据的一部分的单位图像数据的情况，但是本公开不限于此，并且也可以以流水线处理方式来执行例如宽视野图像数据或高分辨率图像数据的全部或部分。具体地，例如，关于直到生成每个单位图像数据的gram矩阵
t
aqaq的处理(例如，图37中的步骤s2001至s2004或图41中的步骤s2103至s106)，可以通过使用从测量系统(参见图36)输出的每个视野的图像数据，作为单位图像数据，并响应于单位图像数据的输入执行上述处理，来生成每个单位图像数据的gram矩阵
t
aqaq。
[0363]
(6.5.效果)
[0364]
关于本实施例预期的效果，在下文中，关于直到通过nmf获得a＝s
×
c的光谱s和系
数c的解的过程，将通过示例描述已经执行矩阵a(p，w)的nmf的情况(情况1)和已经执行从矩阵a获得的gram矩阵
t
aa(w，w)的nmf的情况(情况1)。
[0365]
在假设四个算术运算的计算时间几乎彼此相等并且假设没有考虑开销的情况下，当针对情况1和情况2中的每一个计算nmf循环的计算量时，与矩阵a经受nmf的情况1相比，估计在情况2中经由gram矩阵
t
aa的处理速度可以增加大约6000倍。
[0366]
此外，在已经考虑用宽视野图像数据(例如，wsi)计算10到100个单位图像数据的情况下，与宽视野图像数据a原样经受nmf的情况1相比，在通过卷积每个单位图像数据的gram矩阵来计算宽视野图像数据的gram矩阵
t
aa的情况2中，估计处理速度可以增加大约60000到600000倍。
[0367]
此外，在每个单位图像数据是1024
×
1024个图像数据并且波长通道的数量(m)是100个点的情况下，与矩阵a(p，w)经受nmf的情况1相比，在矩阵a的gram矩阵
t
aa(w，w)经受nmf的情况2中，扩展数据所需的最大存储量可以减少到大约1/10000。另外，在已经考虑了十到百个单位图像数据的情况下，可以进一步减少存储量，例如，可以将存储量减少到1/100000到1/1000000。
[0368]
其他配置、操作和效果可以类似于上述实施例中的那些，因此此处将省略其详细描述。
[0369]
<7.硬件配置示例>
[0370]
上文已经描述了本公开的修改例。接下来，将参考图42描述根据每个实施例和修改例的信息处理设备100的硬件配置示例。图42是示出信息处理设备100的硬件配置示例的框图。信息处理设备100的各种处理通过下述软件和硬件之间的协作来实现。
[0371]
如图42所示，信息处理设备100包括中央处理单元(cpu)901、只读存储器(rom)902、随机存取存储器(ram)903和主机总线904a。此外，信息处理设备100包括桥接器904、外部总线904b、接口905、输入装置906、输出装置907、存储装置908、驱动器909、连接端口911、通信装置913和传感器915。代替cpu 901或与cpu 901一起，信息处理设备100可以具有诸如数字信号处理器(dsp)、专用集成电路(asic)等处理电路。
[0372]
cpu 901用作算术处理装置和控制装置，并且通常根据各种程序控制信息处理设备100中的操作。此外，cpu 901可以是微处理器。rom 902存储由cpu 901使用的程序、操作参数等。ram 903临时存储在cpu 901的执行中使用的程序、在执行中适当改变的参数等。例如，cpu 901可以至少体现信息处理设备100的处理单元130和控制单元150。
[0373]
cpu 901、rom 902和ram 903通过包括cpu总线等的主机总线904a相互连接。主机总线904a通过桥接器904连接到外部总线904b，例如，外围组件互连/接口(pci)总线等。注意，主机总线904a、桥接器904和外部总线904b不一定需要单独配置，并且主机总线904a、桥接器904和外部总线904b的功能可以安装在单个总线上。
[0374]
输入装置906例如由诸如鼠标、键盘、触摸面板、按钮、麦克风、开关、杠杆等装置实现，医师向其输入信息。此外，输入装置906可以是例如使用红外线或其他电波的遥控装置，或者可以是对应于信息处理设备100的操作的外部连接装置，例如，移动电话、个人数字助理(pda)等。此外，输入装置906可以包括例如输入控制电路等，该输入控制电路基于医师使用上述输入装置输入的信息生成输入信号，并将生成的输入信号输出到cpu 901。医师可以向信息处理设备100输入各种数据，或者通过操作输入装置906来指示信息处理设备100执
行处理操作。例如，输入装置906可以至少包含信息处理设备100的操作单元160。
[0375]
输出装置907是能够视觉或听觉地通知医师所获取的信息的装置。这种装置包括显示装置(例如，阴极射线管(crt)显示装置、液晶显示装置、等离子显示装置、电致发光(el)显示装置、灯等)、声音输出装置(例如，扬声器、耳机等)、打印机装置等。例如，输出装置907可以至少体现信息处理设备100的显示单元140。
[0376]
存储装置908是用于存储数据的装置。存储装置908例如由诸如硬盘驱动器(hdd)、半导体存储装置、光存储装置、磁光存储装置等磁存储单元装置实现。存储装置908可以包括存储介质、在存储介质中记录数据的记录装置、从存储介质读取数据的读取装置、删除记录在存储介质中的数据的删除装置等。存储装置908存储由cpu 901执行的程序或各种数据、从外部获取的各种数据等。例如，存储装置908可以至少体现信息处理设备100的存储单元120。
[0377]
驱动器909是存储介质的读取器/写入器，并且嵌入或外部安装在信息处理设备100上。驱动器909读取记录在安装的可移动存储介质(例如，磁盘、光盘、磁光盘、半导体存储器等)中的信息，并将读取的信息输出到ram 903。此外，驱动器909可以将信息写入可移动存储介质。
[0378]
连接端口911是连接到外部装置的接口，并且是能够通过例如通用串行总线(usb)等传输数据的外部装置的连接端口。
[0379]
通信装置913例如是包括用于连接到网络920的通信装置等的通信接口。通信装置913例如是用于有线或无线局域网(lan)、长期演进(lte)、蓝牙(注册商标)或无线usb(wusb)的通信卡等。此外，通信装置913可以是用于光通信的路由器、用于非对称数字用户线路(adsl)的路由器、用于各种通信的调制解调器等。通信装置913可以根据预定协议，例如，传输控制协议/互联网协议(tcp/ip)等，向互联网或另一通信装置发送信号等，或者从互联网或另一通信装置接收信号等。
[0380]
在本实施例中，传感器915包括能够获取光谱的传感器(例如，成像元件等)，并且可以包括其他传感器(例如，加速度传感器、陀螺仪传感器、地磁传感器、压力传感器、声音传感器、距离测量传感器等)。例如，传感器915可以至少体现信息处理设备100的荧光信号获取单元112。
[0381]
注意，网络920是从连接到网络920的装置传输的信息的有线或无线传输路径。例如，网络920可以包括公共网络(例如，互联网、电话网络、卫星通信网络等)、包括以太网(注册商标)的各种局域网、广域网(wan)等。此外，网络920可以包括专用线路网络，例如，互联网协议
‑
虚拟专用网络(ip
‑
vpn)等。
[0382]
上文已经描述了能够实现信息处理设备100的功能的硬件配置示例。上述每个组件可以使用通用构件来实现，或者可以通过专用于每个组件的功能的硬件来实现。因此，在执行本公开时，可以根据技术水平适当地改变要使用的硬件配置。
[0383]
注意，用于实现如上所述的信息处理设备100的每个功能的计算机程序可以创建并安装在个人计算机(pc)等中。此外，可以提供存储这种计算机程序的计算机可读记录介质。记录介质包括例如磁盘、光盘、磁光盘、闪存等。此外，上述计算机程序可以通过例如网络分发，而不使用记录介质。
[0384]
<8.结论>
[0385]
如上所述，根据本公开第一实施例的信息处理设备100用具有不同波长的多个激发光照射荧光染色样本30，获取对应于多个激发光中的每一个的多个荧光光谱，基于激发光的强度校正多个荧光光谱，并且在波长方向上将多个荧光光谱的至少一部分彼此链接，以生成链接的荧光光谱。然后，信息处理设备100从包括链接的自发荧光参考光谱和链接的荧光参考光谱的参考光谱中提取每个荧光物质的光谱，其中，在所述链接的自发荧光参考光谱中，自发荧光物质的光谱在波长方向上彼此链接，在所述链接的荧光参考光谱中，荧光物质的光谱在波长方向上彼此链接。然后，信息处理设备100使用每个荧光物质的提取光谱来分离每个分子的链接的荧光光谱。
[0386]
这样，信息处理设备100可以通过使用在波长方向上链接的参考光谱执行荧光分离处理，来输出唯一的光谱，作为分离结果(分离结果对于每个激发波长并非不同)。因此，医师可以更容易地获得正确的光谱。此外，自动获取关于用于分离的自发荧光的参考光谱(链接的自发荧光参考光谱)，并且执行荧光分离处理，使得医师不需要从非染色切片的适当空间提取对应于自发荧光的光谱。
[0387]
此外，根据本公开第二实施例的信息处理设备100使用针对每个样本20实际测量的链接的自发荧光参考光谱来执行荧光分离处理。因此，信息处理设备100可以实现更精确的荧光分离处理。
[0388]
此外，根据本公开的修改例的信息处理设备100使用参考光谱来分离每个荧光物质的链接的荧光光谱，其中，所述参考光谱包括基于荧光分子的数量或结合到荧光分子的抗体的数量计算的链接的自发荧光参考光谱和链接的荧光参考光谱。因此，作为荧光分离处理的结果，信息处理设备100可以计算荧光染色样本30中的荧光分子的数量或抗体的数量。
[0389]
此外，根据本公开的第三实施例的信息处理设备100利用从染色切片获取的样本图像作为矩阵a来求解nmf。因此，可以直接从染色切片提取每个荧光物质的荧光光谱，同时显著减少荧光分离处理所需的时间和工作成本。此外，在本公开的第三实施例中，从相同染色切片获得的样本图像中提取每个荧光物质的荧光光谱，因此与例如使用从不同于染色切片的非染色切片获得的自发荧光光谱的情况相比，可以获得更准确的荧光分离结果。
[0390]
在上文中，已经参考附图详细描述了本公开的优选实施例，但是本公开的技术范围不限于这些示例。对于本公开领域的技术人员来说，显而易见的是，可以在权利要求中描述的技术思想的范围内构思各种修改例或变更，并且自然理解，这些修改例或变更也落入本公开的技术范围内。
[0391]
此外，本说明书中描述的效果仅仅是示出性的或示例性的，而不是限制性的。即，除了上述效果之外或代替上述效果，根据本公开的技术可以实现从本说明书的描述中对本领域技术人员显而易见的其他效果。
[0392]
注意，以下配置也落入本公开的技术范围内。
[0393]
(1)一种信息处理设备，包括：
[0394]
荧光信号获取单元，获取与具有不同波长并照射到荧光染色样本的多个激发光中的每一者对应的多个荧光光谱，所述荧光染色样本是通过用荧光试剂染色样本产生的；
[0395]
链接单元，通过在波长方向上将所述多个荧光光谱的至少一部分彼此链接来生成链接的荧光光谱；
[0396]
分离单元，使用包括链接的自发荧光参考光谱和链接的荧光参考光谱的参考光谱将所述链接的荧光光谱分离成针对每个荧光物质的光谱，其中，在所述链接的自发荧光参考光谱中，所述样本中的自发荧光物质的光谱在波长方向上彼此链接，在所述链接的荧光参考光谱中，所述荧光染色样本中的所述荧光物质的光谱在波长方向上彼此链接；以及
[0397]
提取单元，使用由所述分离单元分离的针对每个荧光物质的光谱来更新所述链接的自发荧光参考光谱。
[0398]
(2)根据上述(1)所述的信息处理设备，其中，
[0399]
所述提取单元从通过在波长方向上将多个自发荧光光谱的至少一部分彼此链接所产生的链接的自发荧光光谱中提取所述链接的自发荧光参考光谱，其中，所述多个自发荧光光谱是通过用所述多个激发光照射切片获得的，并且所述切片与所述样本相同或相似。
[0400]
(3)根据上述(2)所述的信息处理设备，其中，
[0401]
所述提取单元通过使用通过在波长方向上将多个自发荧光光谱的至少一部分彼此链接所产生的所述链接的自发荧光光谱执行非负矩阵因式分解来提取所述链接的自发荧光参考光谱，其中，所述多个自发荧光光谱是通过用所述多个激发光照射所述切片所获得的，并且所述切片与所述样本相同或相似。
[0402]
(4)根据上述(3)所述的信息处理设备，其中，
[0403]
所述提取单元通过使用预先获取的自发荧光光谱设置所述非负矩阵因式分解中的初始值来提取所述链接的自发荧光参考光谱。
[0404]
(5)根据上述(1)至(4)中任一项所述的信息处理设备，其中，
[0405]
所述分离单元使用所述参考光谱使用最小二乘法或加权最小二乘法中的任何一者将所述链接的荧光光谱分离成针对每个荧光物质的光谱。
[0406]
(6)根据上述(5)的信息处理设备，其中，
[0407]
所述分离单元通过将表示所述链接的荧光光谱的矩阵设置为signal，将表示所述参考光谱的矩阵设置为st，将表示所述链接的荧光光谱中每个参考光谱的颜色混合率的矩阵设置为a，并且计算表示由以下等式(34)表示的值的平方和变为最小时的所述颜色混合率的矩阵a，从而将所述链接的荧光光谱分离成针对每个荧光物质的光谱：
[0408]
[等式34]
[0409]
signal
‑
a*st
ꢀꢀꢀ
(34)。
[0410]
(7)根据上述(6)所述的信息处理设备，其中，
[0411]
在使用加权最小二乘法的情况下，所述分离单元将不执行加权的上限值设置为offset value，并且用由以下等式(35)表示的矩阵st_替换等式(34)中表示所述参考光谱的矩阵st：
[0412]
[等式35]
[0413][0414]
(8)根据上述(1)至(7)中任一项所述的信息处理设备，其中，
[0415]
所述分离单元使用包括基于荧光分子的数量或结合到荧光分子的抗体的数量计
算的链接的自发荧光参考光谱和链接的荧光参考光谱的参考光谱，将链接的荧光光谱分离成每个荧光物质的光谱。
[0416]
(9)根据上述(8)所述的信息处理设备，其中，
[0417]
所述分离单元使用包括每个荧光分子或每个抗体的链接的自发荧光参考光谱和链接的荧光参考光谱的参考光谱，将链接的荧光光谱分离成每个荧光物质的光谱。
[0418]
(10)根据上述(1)至(9)中任一项所述的信息处理设备，其中，
[0419]
所述分离单元通过对链接的荧光光谱执行非负矩阵因式分解，将链接的荧光光谱分离成每个荧光物质的光谱。
[0420]
(11)根据上述(10)所述的信息处理设备，其中，
[0421]
所述分离单元针对通过所述非负矩阵因式分解所提取的光谱计算与所述非负矩阵因式分解所采用的初始值的积矩相关系数，指定所述荧光物质与所提取的光谱之间的对应关系。
[0422]
(12)根据上述(1)至(11)中任一项所述的信息处理设备，其中，
[0423]
所述链接单元校正所述多个荧光光谱，并且在波长方向上将校正后的所述多个荧光光谱的至少一部分彼此链接。
[0424]
(13)根据上述(12)所述的信息处理设备，其中，
[0425]
所述链接单元校正多个荧光光谱的强度。
[0426]
(14)根据上述(13)所述的信息处理设备，其中，
[0427]
所述链接单元通过将多个荧光光谱除以激发功率密度来校正多个荧光光谱的强度。
[0428]
(15)根据上述(12)至(14)中任一项所述的信息处理设备，其中，
[0429]
所述链接单元将所述多个荧光光谱中的至少一者的波长分辨率校正为与其它的荧光光谱的波长分辨率不同的波长分辨率。
[0430]
(16)根据上述(1)至(15)中任一项所述的信息处理设备，其中，
[0431]
所述链接单元从所述多个荧光光谱中的每一者提取包括强度峰值的波长带中的荧光光谱，并且通过将提取的荧光光谱彼此链接来生成所述链接的荧光光谱。
[0432]
(17)根据上述(1)至(16)中任一项所述的信息处理设备，其中，
[0433]
所述链接的荧光光谱在所述多个荧光光谱中的波长方向上不连续地链接。
[0434]
(18)根据上述(1)至(17)中任一项所述的信息处理设备，其中，
[0435]
所述荧光信号获取单元获取通过对所述荧光染色样本成像所获得的、并且包括所述多个荧光光谱的第一图像数据，并且
[0436]
所述分离单元通过对所述第一图像数据的第一gram矩阵执行非负矩阵因式分解，将所述第一图像数据分离成针对每个荧光物质的光谱。
[0437]
(19)根据上述(18)所述的信息处理设备，其中，
[0438]
所述分离单元通过对通过分割所述第一图像数据获得的多个第二图像数据中的每一者的第二gram矩阵进行卷积来计算所述第一gram矩阵。
[0439]
(20)根据上述(1)至(17)中任一项所述的信息处理设备，其中，
[0440]
所述荧光信号获取单元通过对非染色并被所述激发光照射的样本进行成像来获取第一图像数据，并且
[0441]
所述提取单元通过对所述第一图像数据的第一gram矩阵执行非负矩阵因式分解，从所述第一图像数据中提取每个自发荧光物质的光谱，并且使用所提取的每个自发荧光物质的光谱来更新所述链接的自发荧光参考光谱。
[0442]
(21)根据上述(20)所述的信息处理设备，其中，
[0443]
所述提取单元通过对通过分割第一图像数据而获得的多个第二图像数据中的每一个的第二gram矩阵进行卷积来计算第一gram矩阵。
[0444]
(22)一种显微镜系统，包括：光源，其用多个具有不同波长的激发光照射荧光染色的样本，通过用荧光试剂染色样本而产生所述荧光染色的样本；成像设备，其获取对应于多个激发光中的每一个的多个荧光光谱；以及软件，用于使用多个荧光光谱进行处理，其中，
[0445]
在信息处理设备上执行所述软件，并且
[0446]
实现：
[0447]
通过在波长方向上将所述多个荧光光谱的至少一部分彼此链接来生成链接的荧光光谱；
[0448]
使用包括链接的自发荧光参考光谱和链接的荧光参考光谱的参考光谱将所述链接的荧光光谱分离成每个荧光物质的光谱，其中，在所述链接的自发荧光参考光谱中，所述样本中的自发荧光物质的光谱在波长方向上彼此链接，在所述链接的荧光参考光谱中，所述荧光染色的样本中的荧光物质的光谱在波长方向上彼此链接；并且
[0449]
使用所分离的每个荧光物质的光谱来更新所述链接的自发荧光参考光谱。
[0450]
附图标记列表
[0451]
10 荧光试剂
[0452]
11 试剂识别信息
[0453]
20 样本
[0454]
21 样本识别信息
[0455]
30 荧光染色样本
[0456]
100 信息处理设备
[0457]
110 获取单元
[0458]
111 信息获取单元
[0459]
112 荧光信号获取单元
[0460]
120 存储单元
[0461]
121 信息存储单元
[0462]
122 荧光信号存储单元
[0463]
130 处理单元
[0464]
131 链接单元
[0465]
132 分离处理单元
[0466]
133 图像生成单元
[0467]
140 显示单元
[0468]
150 控制单元
[0469]
160 操作单元
[0470]
200 数据库。