诊断辅助装置、信息处理方法、诊断辅助系统以及程序与流程

本公开涉及诊断辅助装置、信息处理方法、诊断辅助系统以及程序。

背景技术：

近年来，已经将各种医学信息用于诊断，并且对于与使用通过由计算机分析医学信息(诸如，医学图像)而获取的结果以支持诊断的系统相关的技术提出了期望。ptl1公开了一种系统，该系统基于通过分析医学图像而获取的图像特征量以及过去病例的解释项来搜索相似病例并且向用户提供通过使用解释项进行搜索而获取了什么搜索结果的信息。

[引文列表]

[专利文献]

ptl1：日本专利申请公开no.2014-29644

ptl2：日本专利申请公开no.2017-84320

技术实现要素：

[技术问题]

在医生使用通过由计算机分析医学信息而获取的结果来支持诊断的一些情况下，如果仅向医生提供分析的结果，那么医生无法决定该结果是否有用。根据ptl1中公开的技术，仅表示了与用于搜索的解释项密切相关的过去病例，并且有可能无法掌握信息对于目标诊断是否有用。

[解决问题的方案]

根据本发明实施例的诊断辅助装置包括：多个推断器，被配置为从医学图像推断出诊断；推断装置，被配置为通过使用该多个推断器中的至少一个并通过使用医学图像作为到该多个推断器中的该至少一个的输入来推断出诊断；以及表示装置，被配置为表示由推断装置推断出的诊断。

[发明的有益效果]

根据本发明的实施例，可以通过使用关于医生能够容易地掌握的发现的信息来表示要作为推断的证据的信息，并且医生能够容易地决定推断的结果对于诊断是否有用。

附图说明

图1例示了根据本发明实施例的诊断辅助装置的功能部件的示例。

图2例示了根据本发明实施例的诊断辅助装置的硬件配置的示例。

图3是例示根据本发明实施例的诊断辅助装置执行的处理的示例的流程图。

图4例示了根据本发明实施例的诊断辅助装置获取的信息的示例。

图5例示了根据本发明实施例的诊断辅助装置获取的信息的示例。

图6例示了根据本发明实施例的诊断辅助装置获取的信息的示例。

图7例示了根据本发明实施例的诊断辅助装置显示的画面的示例。

图8例示了根据本发明第四实施例的诊断辅助装置的功能部件的示例。

图9是例示根据本发明第四实施例的诊断辅助装置执行的处理的示例的流程图。

图10例示了通过使用根据本发明第四实施例的诊断辅助装置来生成推导单元的方法的示例。

具体实施方式

在下文中将参考附图描述本发明的实施例。

[第一实施例]

在医疗行业中，针对基于由诸如x射线ct(计算机断层摄影)装置或mri(磁共振成像)装置之类的成像装置获取的医学图像的诊断，进行图像诊断。本文所述的解释是指观察医学图像以推导诊断。在图像诊断中，专门从事图像诊断的放射线医师例如响应于来自医生的对解释的请求而执行解释。放射线医师根据从图像中获取的各种测量值或发现(以下称为图像发现)做出全面的决策，以识别医学图像中绘制的病变或待诊断的患者的症状。放射线医师通过使用图像发现或测量值在针对发出请求的医生的解释报告中记录从中推导出诊断的详细信息。

为了辅助解释，提出的系统表示通过由计算机分析医学信息而获取的结果。当医生使用分析的结果时，优选地表示关于该结果的证据的信息。但是，在一些情况下，为分析而输入的信息(以下称为输入信息)是诸如作为表达在图像中绘制的特征的数值的图像特征量之类的信息，即使识别并表示了影响结果的信息，用户也难以理解该信息。根据本发明第一实施例的诊断辅助装置的一个目的是表示可以作为推导出推断结果的线索并且即使输入信息包括用户难以理解的诸如图像特征量之类的信息用户也能够直观地理解的信息(以下称为参考信息)。用户能够直观地理解的参考信息的示例是关于通过语言表达病变区域的特征的发现的信息。

现在将描述细节。根据第一实施例的诊断辅助装置100例如获取要作为解释的主体的医学图像和写入例如电子病历(medicalrecord)中的信息，并且表示可以作为诊断的线索以用于诊断辅助的信息(参考信息)。

在下面的描述中，诊断辅助装置100获取与肺部上的异常阴影的解释相关的医学图像、补充医学图像的信息以及关于例如血液测试值(诸如肿瘤标志物)和过去病史的信息(以下称为临床信息)。在以下描述的示例中，基于获取的信息来生成输入信息。根据输入信息，以用户(医生)能够理解的形式生成可以作为诊断的线索的信息(参考信息)，并且表示该信息。主题自然不限于此。下面以示例的方式描述例如诊断、图像特征量、图像发现和临床信息，以描述诊断辅助装置的处理中的处理。

图1例示了诊断辅助装置100的功能部件的示例。诊断辅助装置100可通信地连接到病例(case)信息终端200。诊断辅助装置100包括输入信息生成单元102、图像特征量获取单元104、推断单元106、影响度获取单元108、呈现度获取单元110、选择单元112和显示控制单元114。诊断辅助装置100的功能部件通过使用例如内部总线连接。

病例信息终端200从服务器(未例示)获取关于待诊断的病例的信息。关于病例的信息的示例是医学信息，诸如医学图像或写入电子病例的临床信息。病例信息终端200可以连接到诸如fdd、hdd、cd驱动器、dvd驱动器、mo驱动器或zip驱动器之类的外部存储设备(未例示)，并且可以从外部存储设备获取医学信息。

病例信息终端200可以使用显示控制单元114使监视器205以使得用户能够执行解释的形式显示医学信息。即，病例信息终端200使用显示控制单元114来提供gui，用户通过该gui输入关于在监视器205上显示的医学图像上的区域的坐标信息，并且用户认为该区域包含异常阴影。可替代地，病例信息终端200可以使用显示控制单元114来提供gui，用户通过该gui输入关于在监视器205上显示的医学图像上的区域的图像发现。病例信息终端200获取用户通过gui输入的信息作为补充医学图像的信息(以下称为补充信息)。

病例信息终端200经由例如网络将诸如医学图像和临床信息之类的医学信息以及补充信息传输到诊断辅助装置100。

输入信息生成单元102基于从病例信息终端200传输到诊断辅助装置100的信息(诸如，医学图像、临床信息和补充信息)来生成输入信息。本文描述的输入信息是指集合，其元素是用作由推断单元106用于推断的输入的信息。根据第一实施例，输入信息生成单元102将医学图像和补充信息输出到图像特征量获取单元104，并获取响应于该输出而从图像特征量获取单元104输出的图像特征量。输入信息生成单元102将获取的图像特征量和临床信息确定为输入信息，并将输入信息输出到推断单元106和影响度获取单元108。

图像特征量获取单元104基于从输入信息生成单元102输出的医学图像和补充信息来获取图像特征量。图像特征量获取单元104对要作为解释的主体的医学图像执行图像处理，并获取医学图像的图像特征量。例如，在输入信息生成单元102输出诸如关于异常区域的坐标信息之类的补充信息的情况下，图像特征量获取单元104可以获取由坐标信息表达的异常区域的图像特征量。图像特征量获取单元104将所获取的图像特征量输出到输入信息生成单元102。

推断单元106通过使用由输入信息生成单元102生成的输入信息作为输入来推断目标病例的诊断。在根据第一实施例描述的示例中，推断出的诊断与肺部上的异常阴影相关。推断单元106可以基于从输入信息生成单元102输出的补充信息来获取异常阴影的位置，或者可以通过图像处理来识别位置。推断单元106获取医学图像上的异常阴影与具体诊断对应的概率作为推断结果。所获取的推断结果被输出到影响度获取单元108和显示控制单元114。推断单元106是推断装置的示例。

影响度获取单元108通过使用由输入信息生成单元102生成的输入信息和从推断单元106输出的推断结果来获取输入信息中包括的每个元素对推断结果的影响度。影响度获取单元108将获取的每个元素的影响度输出到呈现度获取单元110。影响度获取单元108是影响度获取装置的示例。

呈现度获取单元110通过使用由影响度获取单元108获取的影响度来获取作为参考信息的候选的信息的呈现度。显示控制单元114将参考信息表示给用户，作为由推断单元106进行推断的证据。呈现度是表达在参考信息的候选中该候选被优选地表示为参考信息的程度的指示符。呈现度获取单元110基于图像特征量获取图像发现。输入信息中的图像特征量、临床信息和图像发现与参考信息的候选对应。呈现度获取单元110将所获取的参考信息的每个候选的呈现度输出到选择单元112。呈现度获取单元110是发现获取装置的示例。

选择单元112基于由呈现度获取单元110获取的参考信息的每个候选的影响度来选择参考信息，即，将被表示为推断的证据的信息。选择单元112将选择的信息输出到显示控制单元114。选择单元112是选择装置的示例。

显示控制单元114将由推断单元106输出的推断结果和由选择单元112选择的参考信息表示给用户。显示控制单元114基于推断结果和参考信息来控制在监视器205上显示的内容。

图1中所示的诊断辅助装置100的结构的至少一部分可以是分开的装置。其功能可以由软件执行。根据第一实施例，软件可以用作部件。

图2例示了诊断辅助装置100的硬件配置的示例。cpu201主要控制每个部件的操作。主存储器202存储cpu201运行的控制程序，并提供当cpu201运行程序时使用的工作区域。磁盘203存储操作系统(os)、外围设备的设备驱动程序以及用于运行各种应用软件的程序，包括用于执行稍后描述的处理的程序。通过由cpu201运行存储在主存储器202和磁盘203中的程序来执行图1中所示的诊断辅助装置100的功能(软件)和稍后描述的流程图中的处理。

显示存储器204临时存储用于在监视器205上显示的显示数据。监视器205是例如crt监视器或液晶监视器，并且基于来自显示存储器204的数据来显示例如图像或文本。鼠标206和键盘207用于指向输入和例如用户对字符的输入。

上述部件通过使用公共总线208可通信地彼此连接。cpu201是处理器的示例。诊断辅助装置100可以包括多个处理器。例如，诊断辅助装置100可以包括专用于推断单元206的处理的gpu，或者可以包括其中对推断单元206的功能进行编程的fpga(现场可编程门阵列)。主存储器202、磁盘203和显示存储器204是存储器的示例。

图3是例示由诊断辅助装置100执行的处理的示例的流程图。根据第一实施例，通过运行在主存储器202中存储的程序来执行图3所示的处理，该程序用于由cpu201执行每个部件的功能。

在以下描述中，将图像特征量表达为im(m＝1至m)，将图像发现表达为fn(n＝1至n)，以及将临床信息表达为cj(j＝1至j)。im的每个元素具有连续值。fn的每个元素具有离散值(类别值)。cj的每个元素具有连续值或离散值。在离散值的情况下，离散值被表达为fnk和cjk。k具有取决于fn和cj的各种值。在图像特征量im和临床信息cj具有连续值的情况下，这些值被表达为im和cj。

根据第一实施例，图像发现和临床信息作为示例包括图4中所示的项和值。例如，在图像发现的情况下，对于项f1中的“形状”，元素具有以下四个值中的任何一个：f11“球形的”、f12“小叶的”、f13“多边形的”和f14“不规则的”。对于项f2中的“切口”，元素具有以下三个值中的任何一个：f21“强烈”、f22“轻微”和f23“无”。对于临床信息中包括的项c1中的“发烧”，元素具有以下两个值中的任何一个：c11“存在”和c12“不存在”。对于项cj中的“cea”(一种肿瘤标记物)，元素具有连续值cj。

在下面的描述中，将包括im、fn和cj的值作为元素的集合表达为e，并且将输入信息表达为ef。在下面的描述中，将诊断表达为d。根据第一实施例，推断单元106推断与肺部上的异常阴影相关的诊断，并且推断诊断以使得该诊断具有以下三个值中的任何一个：原发性肺癌、转移到肺部的癌症以及另一个值。在下面的描述中，原发性肺癌、转移到肺部的癌症以及其它值分别被表达为d1、d2和d3。当将输入信息ef输入到推断单元106中时，诊断的推断概率du(u＝1，2，3)被表达为p(du|ef)。

在步骤s3000处，输入信息生成单元102获取从病例信息输入终端200传输到诊断辅助装置100的信息(医学图像、临床信息和补充信息)。在根据第一实施例描述的示例中，仅传输关于异常阴影的坐标信息作为补充信息。

在步骤s3010处，图像特征量获取单元104基于在步骤s3000处输出的医学图像和补充信息执行图像处理，以获取图像特征量。本文要获取的图像特征量可以是典型的图像特征量，诸如要处理的图像的区域中的浓度(亮度)的方差或平均值，或者是基于滤波器输出的图像特征量。

根据第一实施例，图像特征量获取单元104参考在步骤s3000处获取的补充信息(异常阴影的坐标信息)、从医学图像中分割异常阴影的区域，随后通过图像处理获取图像特征量。

在步骤s3020处，输入信息生成单元102基于在步骤s3000处获取的临床信息和在步骤s3010处获取的图像特征量来生成输入信息。例如，将在步骤s3000处获取的临床信息表达为{c12，c22，…，cj}，将在步骤s3010处获取的图像特征量表达为{i1，i2，…，im}。在这种情况下，将输入信息ef表达为ef＝{c12，c22，…，cj，i1，i2，…，im}。

在步骤s3030处，推断单元106基于在步骤s3020处生成的输入信息来推断待诊断的肺部上的异常阴影。即，推断单元106基于表达医学图像中包含的区域的特征的图像特征量来推断从医学图像推导出的诊断。具体而言，获取p(ds|ef)。此时，推断方法的示例包括使用贝叶斯网络、支持向量机或神经网络的方法。根据第一实施例，使用贝叶斯网络。

在步骤s3040处，影响度获取单元108通过使用在步骤s3020处生成的输入信息和在步骤s3030处执行的推断的结果来获取输入信息的每个元素对推断结果的影响度。即，影响度获取单元108针对被推断单元106用作推断的输入的每个信息来获取意味着对诊断的推断的影响程度的影响度。根据第一实施例，获取对于在诊断中推断概率最高的诊断df的影响度。具体而言，通过从使用输入信息ef进行推断时的df的推断概率中减去仅从ef中除去ev来进行推断时的df的推断概率，获取元素ev(ev∈ef)的影响度。每个元素的影响度被表达为i(ev)。影响度被定义为表达式1。

[数学式1]

i(ev)＝p(df|ef)-p(df|ef-ev)(表达式1)

当i(ev)为正时，不包括ev的输入信息意味着df的推断概率减小。因而，认为ev是确认df的信息。当i(ev)为负时，不包括ev的输入信息意味着df的推断概率增加。因而，认为ev是否认df的信息。

在步骤s3050处，通过使用在步骤s3040处获取的影响度，呈现度获取单元110获取将被表示为参考信息(即，推断的证据)的信息的每个候选的呈现度。临床信息和图像发现的每个元素的呈现度具有在步骤s3040处获取的影响度的绝对值。呈现度获取单元110基于图像特征量与图像发现之间的关系来获取图像特征量的每个元素的呈现度。因此，图像特征量被转换成具有呈现度的图像发现。

根据第一实施例，呈现度获取单元110基于图像特征量搜索相似病例，并且通过使用关于与相似病例相关联的发现的信息将图像特征量转换成具有呈现度的图像发现。相似病例可以从病例信息终端200中存储的病例数据库中搜索，或者可以从诊断辅助装置100外部的外部服务器(未例示)中存储的病例数据库中搜索。图像发现被预先添加到存储在病例信息终端200或外部服务器(未例示)中的病例。即，呈现度获取单元110基于图像特征量获取图像发现。更具体而言，呈现度获取单元110获取与包括在推断单元106中的输入信息中的图像特征量相关的关于发现的信息。

具体而言，呈现度获取单元110使用图像特征量的影响度的绝对值作为权重以通过加权的相似病例搜索来提取具有相似度的多个病例。基于添加到提取的病例(目标病例)的图像发现与作为诊断辅助装置的诊断辅助的主体的病例(以下称为当前病例)的图像特征量之间的相似度来获取呈现度。即，每个目标病例是具有与包含在推断单元106的输入信息中的图像特征量相似的图像特征量的相似病例的示例。

呈现度获取单元110如下获取相似度。当前病例与tx之间的相似度sim(tx)被表达为表达式2，其中itxm是每个目标病例(tx：x＝1至x)的图像特征量im。图像特征量是[0，1]的归一化值。随着当前病例的图像特征量接近于tx的图像特征量，由表达式2表达的相似度sim(tx)接近于1。

[数学式2]

呈现度获取单元110可以以另一种方式获取相似度。例如，呈现度获取单元110可以不使用影响度作为权重，而可以使用s和tx的马氏距离(mahalanobisdistance)作为相似度。在这种情况下，优选地执行转换，使得当马氏距离为0时，相似度为1。

呈现度获取单元110基于添加到每个目标病例的图像发现和相似度来获取被表达为表达式3的图像发现的值的呈现度(pre(fnk))。

[数学式3]

在表达式3中，如果将图像发现的值fnk添加到tx，那么δx(fnk)为1，否则为0。表达式3表达了，图像发现的值的呈现度随着在具有高相似度的目标病例组中图像发现的值是共同的频率增加而增加。即，呈现度获取单元110基于相似度和统计信息来获取呈现度，该统计信息表达图像发现与目标病例组中的目标病例相关联的频率。

在以上示例中，呈现度获取单元110通过使用存储相似病例的数据库中包括的所有数据(x个病例)来获取呈现度，但不限于此。呈现度获取单元110可以通过仅使用关于相似度的前x'个病例来获取呈现度，或者可以以设置阈值并且仅使用具有高于阈值的相似度的x”个病例的方式来获取呈现度。

在步骤s3060处，选择单元112基于在步骤s3050中获取的呈现度来选择要表示为推断的证据的信息。选择单元112从在s3050处获取的图像发现以及到推断单元106的输入信息中的图像特征量以外的元素中选择要表示为推论的证据的信息。由选择单元112选择的信息与参考信息(即，将被表示为推断的证据的信息)对应。即，选择单元112基于呈现度和统计信息来选择要表示为推断的证据的信息，呈现度是基于包括在到推断单元106的输入信息中的图像特征量与相似病例的图像特征量之间的相似度的值，统计信息表达图像发现与相似病例相关联的频率。

根据第一实施例，以呈现度的量值的降序选择三条信息。但是，在图像发现的单个项(例如，fn)可以具有多个值(例如，fn1和fn2)的情况下，仅选择呈现度最高的值，而忽略其它值。选择数量和选择方法自然不限于此。例如，选择数量可以是3以外的数量。选择方法可以是选择满足预定阈值的值的方法。

在步骤s3070处，显示控制单元114基于在步骤s3030处获取的推断结果和在步骤s3060处选择的信息来控制要显示的内容。即，显示控制单元114将由选择单元112选择的信息表示为推断的证据，并且该信息关于表达在作为诊断辅助的主体的病例的医学图像中包含的区域的特征的发现。

现在将参考图5至图7描述从步骤s3040至步骤s3070的流程。例如，在步骤s3040处，影响度获取单元108针对输入到推断单元106的输入信息的元素获取图5中所示的影响度。在步骤s3050处，呈现度获取单元110通过关于输入信息中在图6(a)中例示的图像特征量i1至im使用表达式2，获取与每个目标病例的相似度。如图6(b)中所示，呈现度获取单元110通过使用与每个目标病例的相似度以及与目标病例相关联的图像发现，从表达式3获取呈现度。因此，输入信息中包括的每个图像特征量被转换成具有呈现度的图像发现的值。即，呈现度获取单元110将m个图像特征量转换成具有呈现度的y个图像发现。因此，呈现度获取单元110获取图6(c)中所示的具有呈现度的图像发现。呈现度获取单元110还获取输入信息中的临床信息的影响度的绝对值作为呈现度。因此，呈现度获取单元110获取图6(d)中所示的具有呈现度的临床信息。在这个示例中，使用了存储在数据库(未例示)中的所有病例。因而，y总是相同的数字，而与当前病例的图像特征量无关。在如上所述的限于前x'个病例的情况或限于呈现度高于阈值的x”个病例的情况下，y的值可以改变。

在步骤s3060处，基于图像发现和临床信息的每个元素的呈现度来选择信息。在图6的示例中，按照呈现度的量值的降序的元素的值是f14，fn1，fn2，cj，…。但是，fn1和fn2具有fn的值，于是仅考虑呈现度较高的fn1，而排除fn2。因而，如图6(e)中所示，最终选择f14、fn1和cj作为参考信息(即，要表示为推断的证据的信息)。即，在表达相同特征的发现在参考信息的候选中包括具有不同表示的发现的情况下，选择单元112选择关于具有高呈现度的发现的信息作为参考信息，即，推断的证据。

图7例示了在步骤s3070处由显示控制单元114在监视器205上显示的画面的示例。所显示的内容700包括在步骤s3000处获取的医学图像7000、在步骤s3030处获取的推断结果7010以及在步骤s3060处选择的参考信息7020。用户可以在图像诊断期间使用被显示为辅助信息的推断结果7010和参考信息7020。

根据第一实施例，诊断辅助装置100基于与医学图像相关的输入信息执行推断，并且获取输入信息的每个元素对推断结果的影响度。通过使用每个元素的影响度来获取呈现度。特别地，在输入信息包括图像特征量的情况下，将图像特征量转换成具有呈现度的图像发现，并且基于呈现度来表示要作为参考信息的临床信息和图像发现。这使得与用户对应的医生能够以人类容易理解的图像发现和临床信息的形式掌握与推断的证据相关的信息。

(对第一实施例的第一修改)

在根据第一实施例描述的示例中，在步骤s3050处，搜索相似病例，并且将图像特征量转换成图像发现。不限于此，例如，转换成具有呈现度的图像发现可以通过从图像特征量推断图像发现的值的似然性(likelihood)来执行。此时，仅影响度等于或大于阈值的图像特征量可以被使用，而其余可以是缺失值。可以仅使用具有前n影响度的图像特征量。呈现度可以是图像发现的似然性。例如，可以添加图像特征量的影响度的平均值、最大值或最小值。

(对第一实施例的第二修改)

在根据第一实施例描述的示例中，在步骤s3050处，搜索相似病例，并且将图像特征量转换成图像发现。这不是限制。转换成具有呈现度的图像发现可以通过使用图像特征量与图像发现之间的相关比来执行。例如，呈现度获取单元110获取图像特征量im与存储在数据库中的病例的图像发现fn之间的相关比ηmn，并且获取图像特征量的影响度与相关比的乘积的平均值。例如，呈现度获取单元110获取被表达为表达式4的图像发现fn的呈现度pre(fn)。

[数学式4]

在另一个示例中，fn可以被分解，可以针对图像发现的值生成如果存在fnk则为1而如果不存在fnk则为0的k个类别值，以获取相关比，并且可以获取图像发现的值fnk的呈现度。图像发现的值fnk的呈现度被表达为表达式5，其中ηmnk是图像特征量im与图像发现fnk之间的相关比。

[数学式5]

即，当获取呈现度时，可以将预先定义的相关比用作关于通过使用图像发现来表示图像特征量的统计信息。

[第二实施例]

根据第二实施例，诊断辅助装置100将从图像特征量转换的图像发现确定为用于推断的输入信息，并且表示推断和推断的证据。

根据第二实施例的诊断辅助装置100的功能部件与图1中根据第一实施例的功能部件相同。但是，其功能与根据第一实施例的功能部分地不同。在下面的描述中，将仅描述与第一实施例的不同之处。

输入信息生成单元102基于从病例信息终端200传输到诊断辅助装置100的信息(医学图像、临床信息和补充信息)来生成输入信息。根据第二实施例，输入信息生成单元102将医学图像和补充信息输出到图像特征量获取单元104。输入信息生成单元102获取从图像特征量获取单元104输出的图像特征量。输入信息生成单元102基于所获取的图像特征量执行推断，并且执行到具有似然性的图像发现的转换。经转换的图像发现和临床信息被确定为输入信息，并且被输出到推断单元106、影响度获取单元108和呈现度获取单元110。输入信息生成单元102是用于基于图像特征量获取关于发现的信息的发现获取装置的示例。输入信息生成单元102可以从外部服务器(未例示)获取关于图像发现的信息，该外部服务器提供基于图像特征量来推断图像发现的功能，或者可以使不同于输入信息生成单元102的模块(例如，推断单元106或第二推断单元)执行推断。

推断单元106基于由输入信息生成单元102生成的输入信息来执行推断。输入信息包括从图像特征量转换的图像发现。即，推断单元106是用于基于图像特征量推断从医学图像推导出的诊断的推断装置的示例。

呈现度获取单元110基于由输入信息生成单元102生成的具有似然性的图像发现和由影响度获取单元108获取的影响度来获取参考信息的每个候选的呈现度。呈现度获取单元110将所获取的参考信息的每个候选的呈现度输出到选择单元112。

诊断辅助装置100的硬件配置与图2中根据第一实施例的硬件配置相同。即，通过由cpu201运行在主存储器202和磁盘203中存储的程序来执行诊断辅助装置100的功能(软件)和作为示例的图3的流程图中所示的处理。诊断辅助装置100可以包括多个处理器。例如，诊断辅助装置100可以包括其中对基于图像特征量来推断图像发现的输入信息生成单元102和推断从医学图像推导出的诊断的推断单元106的功能进行编程的相应fpga。

图3是例示根据第二实施例的诊断辅助装置100执行的处理的示例的流程图。对于与根据第一实施例的处理类似的处理，参考上面的描述，以省略其详细描述。在下面的描述中，将描述与第一实施例的不同之处。

步骤s3000和步骤s3010处的处理与根据第一实施例的这些步骤的处理相同。

在步骤s3020处，输入信息生成单元102将在步骤s3000处获取的临床信息和在步骤s3010处获取的图像特征量转换成图像发现并生成输入信息。即，输入信息生成单元102通过关于在步骤s3010处获取的图像特征量执行推断来获取关于发现的信息。在根据第二实施例描述的示例中，输入信息生成单元102基于图像特征量执行推断，并且将图像发现转换成具有似然性的图像发现。

例如，在本文要考虑的情况下，要从图像特征量{i1，i2，…，im}转换的图像发现与形状(f1：f11，f12，f13，f14)对应。输入信息生成单元102通过使用图像特征量作为输入而输出f11、f12、f13和f14的似然性。当f11的似然性被称为l(f11)时，l(f11)+l(f12)+l(f13)+l(f14)＝1.0成立。对于关于图像发现的推断，可以使用能够输出具有似然性的图像发现的值的各种方法。根据第二实施例，使用多值神经网络。在下面的描述中，具有似然性的经转换的图像发现被表达为f1()。即，输入信息生成单元102获取与图像特征量对应的关于发现的信息，并且通过使用发现来获取似然性，即，关于图像特征量的表示的统计信息。

输入信息生成单元102生成经转换的图像发现和临床信息的集合作为输入信息。用作输入信息的图像发现具有似然性。例如，当临床信息被表达为{c12，c22，…，cj}，而经转换的图像发现被表达为{f1()，f2()，…}时，输入信息ef被表达为ef＝{c12，c22，…，cj，f1()，f2()，…}。

在步骤s3030处，推断单元106基于在步骤s3020处生成的输入信息执行与待诊断的肺部上的异常阴影相关的推断。如在第一实施例中那样，贝叶斯网络被用于推断方法。即，推断单元106通过使用基于图像特征量获取的关于发现的信息作为输入信息来执行推断。

根据第二实施例，图像发现的值由似然性表达。因而，关于图像发现的所有组合，执行推断，并且通过使用似然性来对推断结果进行整合。在本文描述的示例中，图像发现被表达为fa{fa1，fa2}、fb{fb1，fb2}，并且临床信息被表达为{cj}。考虑到包括在输入信息中的元素的所有组合，推断单元106生成临时输入信息(ez)。在这种情况下，推断单元106生成四条临时输入信息：e1＝{fa1，fb1，cj}、e2＝{fa1，fb2，cj}、e3＝{fa2，fb1，cj}，e4＝{fa2，fb2，cj}。推断单元106通过使用多条临时输入信息来获取p(ds|ez)。推断单元106将图像发现的似然性加到p(ds|ez)，并且通过将结果相加来最终获取推断结果。在以上示例中，推断单元106最终获取被表达为l(fa1)×l(fb1)×p(ds|e1)+…+l(fa2)×l(fb2)×p(ds|e4)的推断结果p(ds|ef)。在以上示例中，推断结果可以被表达为表达式6。

[数学式6]

即，推断单元106从在输入的信息中包括的关于发现的信息的至少一部分中生成多条临时输入信息，并且基于以该多条临时输入信息为基础执行的推断的结果和似然性(即，统计信息)来推断出诊断。推断单元106可以忽略其似然性等于或小于阈值的图像发现的值，以减少获取的次数。

步骤s3040处的处理与根据第一实施例的该步骤处的处理相同。

在步骤s3050处，呈现度获取单元110通过使用在步骤s3020处获取的图像发现的似然性和在步骤s3040处获取的影响度来获取呈现度。呈现度获取单元110获取临床信息的每个元素的影响度的绝对值作为呈现度。呈现度获取单元110还获取由输入信息生成单元102转换的图像发现的似然性和影响度的绝对值的乘积作为呈现度。即，呈现度获取单元110基于影响度和作为与图像发现相关的统计信息的示例的似然性来获取呈现度l(fnk)×i(fnk)。

步骤s3060和步骤s3070处的处理与第一实施例的这些步骤处的处理相同。即，选择单元112基于呈现度来选择要表示为推断的证据的信息，该呈现度具有基于输入信息中包括的关于发现的信息对推断的影响度以及关于图像特征量通过使用关于发现的信息来表达的区域的表示的统计信息的值。显示控制单元114将由选择单元112选择的信息表示为推断的证据。

根据第二实施例，诊断辅助装置100将对医学图像的图像处理的结果转换成图像发现，并且将经转换的图像发现和临床信息确定为输入信息。获取输入信息的每个元素的呈现度，并且基于呈现度来表示要作为参考信息的图像发现和临床信息。这使得与用户对应的医生能够以人类容易理解的图像发现和临床信息的形式检查参考信息，并且医生的诊断可以得到支持。

(对第二实施例的第一修改)

在所描述的示例中，在步骤s3020处，输入信息生成单元102基于图像特征量通过推断来获取具有似然性的图像发现。这不是限制。例如，如在第一实施例中那样，可以搜索相似病例以获取关于发现的信息，或者可以使用相关比来获取关于发现的信息。

在搜索相似病例以获取关于发现的信息的情况下，例如，可以使用马氏距离来获取相似度sim(tx)，并且发现的似然性可以被表达为表达式3以获得呈现度。

例如，在使用相关比来获取关于发现的信息的情况下，可以通过使用表达式7来获取似然性。

[数学式7]

(对第二实施例的第二修改)

在步骤s3030处，关于图像发现的所有组合，生成临时输入信息，并且通过使用临时输入信息得到的推断结果被最终整合到推断结果中。但是，不必关于图像发现的所有组合来执行。例如，在图像发现当中，仅具有最高似然性的图像发现的值可以用于推断。

[第三实施例]

在根据第三实施例描述的示例中，到推断单元106中的输入信息包括基于图像特征量获取的关于发现的信息和医生例如作为补充信息输入的关于发现的信息。

根据第三实施例的诊断辅助装置100的功能部件与图1中根据第一实施例的功能部件相同。诊断辅助装置100的硬件配置与图2中根据第一实施例的硬件配置相同。即，通过由cpu201运行在主存储器202和磁盘203中存储的程序，执行根据第三实施例的诊断辅助装置100的功能(软件)和作为示例的图3中的流程图中例示的处理。

图3是例示根据第三实施例的诊断辅助装置100执行的处理的示例的流程图。对于与根据第一实施例的处理类似的处理，参考上面的描述，以省略其详细描述。在下面的描述中，将描述与第一实施例的不同之处。

步骤s3000和步骤s3010处的处理与根据第一实施例的这些步骤处的处理相同。

在步骤s3020处，输入信息生成单元102基于在步骤s3000处获取的临床信息、在补充信息中包括的图像发现以及在步骤s3010处获取的图像特征量来生成输入信息。例如，在本文要考虑的情况下，将在步骤s3000中获取的临床信息表达为{c12，c22，…，cj}，将在补充信息中包括的图像发现表达为{f11，f31}，并且将在步骤s3010处获取的图像特征量表达为{i1，i2，…，im}。在这种情况下，输入信息ef被表达为ef＝{c12，c22，…，cj，f11，f31，i1，i2，…，im}。

步骤s3030和步骤s3040的处理与根据第一实施例的这些步骤处的处理相同。

在步骤s3050处，呈现度获取单元110通过使用在步骤s3040中计算的影响度来计算参考信息的每个候选的呈现度。呈现度获取单元110获取临床信息和图像发现的每个元素的影响度的绝对值作为呈现度。呈现度获取单元110将图像特征量转换成具有呈现度的图像发现。

根据第三实施例，如在第一实施例中那样，搜索相似病例以基于图像特征量获取图像发现。可以想到，通过搜索相似病例而获取的图像发现与医生输入的图像发现重复。在由此图像发现重复的情况下，例如，呈现度获取单元110确定通过搜索相似病例而获取的图像发现未包括在参考信息的候选中。例如，在本文要考虑的情况下，包括在输入信息中的图像发现被称为f11，并且在图6(c)中例示了具有呈现度的图像发现。在这种情况下，医生输入f11，即，f1的值。因而，在具有呈现度的图像发现当中，作为f1的值的f11和f14不包括在参考信息的候选中，并且例如，呈现度被设置为零。因而，关于f1，仅f11被包括在参考信息的候选中。包括在补充信息中的f11的呈现度是影响度的绝对值。

步骤s3060和步骤s3070处的处理与根据第一实施例的这些步骤处的处理相同。

根据第三实施例，在补充信息中包括图像发现的情况下，诊断辅助装置100将图像特征量、图像发现和临床信息确定为输入信息。基于输入信息执行推断，并且获取输入信息的每个元素对推断结果的影响度。还通过使用每个元素的影响度来获取呈现度。但是，在从图像特征量转换的图像发现与输入信息中包括的图像发现重复的情况下，后一种图像发现具有优先级。这使得能够利用由与用户对应的医生输入的图像发现来执行推断，并且使得参考信息能够以人类容易理解的图像发现和临床信息的形式来表示。此外，用户还可以考虑用户自己的想法来检查推断的证据。

[第四实施例]

根据第四实施例的诊断辅助装置通过使用通过机器学习构造的推导单元将输入信息生成到推断单元中。诊断辅助装置推断诊断时所使用的推断器的构造需要包括所需信息的大量数据集。由包括关于诊断的信息和医学图像的数据集，可以构造通过使用新医学图像作为输入来推断诊断的推断器。由包括医学图像和关于图像发现的信息的数据集，可以构造通过使用新医学图像作为输入来推断图像发现的推断器，其中关于图像发现的信息表达医生通过措辞从医学图像读取的特征。但是，有可能无法获取包括医学图像和关于图像发现的信息的大量数据集。第四实施例的一个目的是构造具有高精度的推断器，即使仅获取了少量的可以用于构造推断器的数据集的所需信息，并通过使用该推断器来提供诊断辅助装置。

图8例示了根据第四实施例的诊断辅助装置800的功能部件的示例。与根据第二实施例的诊断辅助装置100的功能部件相似的功能部件由相似的附图标记指示，并且引用以上描述以在此省略其详细描述。根据第四实施例，除了根据第二实施例的输入信息生成单元102的功能之外，输入信息生成单元802还具有图像特征量获取单元104的功能。即，根据第四实施例的输入信息生成单元802基于从病例信息输入终端200获取的信息(医学图像、临床信息和补充信息)来推导图像发现。

图9是例示根据第四实施例的诊断辅助装置800执行的处理的示例的流程图。对于与根据第二实施例的处理类似的处理，参考上面的描述，以省略其详细描述。在下面的描述中，将描述与第二实施例的不同之处。

步骤s9000处的处理与根据第二实施例的步骤s3000处的处理相同。

在步骤s9020处，输入信息生成单元802基于在步骤s9000处获取的信息来推导出具有似然性的图像发现。输入信息生成单元802生成推导出的图像发现和临床信息的集合作为输入信息。

通过使用将医学图像分类为发现项的值中的任何一个的推导单元(分类器)，由输入信息生成单元802执行推导出具有似然性的图像发现的处理。创建的推导单元的数量等于发现项的数量。即，对形状(f1：f11，f12，f13，f14)进行分类的推导单元与对切口(f2：f21，f22，f23)进行分类的推导单元不同。通过使用其中每个发现项的正确分类标签被添加到医学图像的数据组，推导单元通过cnn(卷积神经网络)来构造。cnn是机器学习的示例。输入信息生成单元802还可以通过使用softmax函数对分类模型的输出进行处理来获取分类的似然性。

可以将经预处理的医学图像输入到推导单元中。例如，可以输入通过从医学图像切割roi(感兴趣区域)或voi(感兴趣体积)而基于异常阴影的位置获得的部分图像。可以输入通过对特定区域执行掩模处理而获得的图像或对其执行了诸如对比度增强之类的图像处理的图像。

步骤s9030至s9070处的处理与根据第二实施例的步骤s3030至s3070处的处理相同。

因此，根据第四实施例的推断单元106通过使用推导单元(输入信息生成单元802)来推断诊断，该推导单元输出基于医学图像的关于图像发现的信息，并且将关于图像发现的信息输出为推断的证据。根据第四实施例的诊断辅助装置通过使用输出基于医学图像的关于图像发现的信息的推导单元，向用户表示推断出的诊断和要作为推断的证据的关于图像发现的信息。

根据第四实施例，通过cnn构造用于推导出具有似然性的发现的处理。这使得能够精确地推导出发现，即使存在影响发现的未知图像特征量。如在第二实施例中那样，与用户对应的医生能够以人类容易理解的图像发现和临床信息的形式来掌握关于用于推断诊断的证据的信息。

(对第四实施例的第一修改)

将医学图像分类为发现项的值中的任何一个的推导单元可以通过转移为另一个目的而创建的推导单元的模型来创建。例如，如图10中所示，通过cnn构造作为将医学图像分类为诊断的推导单元的诊断推断器1001，并且转移其模型以构造作为将医学图像分类为发现项的值中的任何一个的推导单元的诊断推断器1002。通过使用例如在ptl2中公开的方法来转移模型。即，准备除了最终层以外具有与原始模型相同的结构和参数的转移模型，并且通过用为此目的的数据集重新学习来更新模型的参数。可以以另一种方式转移模型，例如，通过仅使用与原始模型相同的卷积层。

原始模型不限于用于诊断的推导单元。例如，可以转移在没有老师的情况下通过已知学习方法(诸如自动编码器)创建的模型。

在这种情况下，如图10中所示，存在两个基于医学图像推断出诊断的诊断推断器。诊断推断器之一是直接从医学图像推断出诊断的诊断推断器1001。另一个是从医学图像经由发现来推断出诊断的诊断推断器1002。诊断推断器1002还可以通过使用呈现度计算单元110和选择单元112来获取要作为推断的证据的信息。

即，如下，通过使用预先收集的数据集组来获取诊断推断器1002。数据集组包括至少关于诊断的信息。在第一处理中，通过机器学习来获取从医学图像推断出诊断的第一推断器。诊断推断器1001是第一推断器的示例。在第二处理中，通过机器学习来获取第二推断器，该第二推断器具有其一部分与第一推断器的结构的一部分相同的结构并且从医学图像推断出表达图像特征的图像发现。图10中所示的诊断推断器中包括的通过cnn构造的推断器是第二推断器的示例。在第三处理中，获取第三推断器，该第三推断器从图像发现推断出诊断并且输出要作为推断的证据的关于图像发现的信息。图10中所示的诊断推断器1002中包括的诊断/证据推断器是第三推断器的示例。在第四处理中，获取第四推断器，第四推断器基于第二推断器和第三推断器从医学图像推断出诊断。诊断推断器1002是第四推断器的示例。与诊断推断器1002的获取相关的第三处理可以在第一处理和第二处理之前执行，或者可以并行执行。

根据第四实施例的诊断辅助装置800可以使用诊断推断器1001或诊断推断器1002来代替输入信息生成单元802和推断单元106。可替代地，可以使用诊断推断器1001和诊断推断器1002两者。

当将推断出的诊断表示给用户时，也可以表示关于所使用的诊断推断器的精度的信息。以如下方式获取诊断推断器的精度：将预先收集的数据集组中未用于获取(在学习期间)诊断推断器的数据集组用作评估数据集组，并使用正确标签和推断结果相互一致的次数的比例。推断单元106可以包括评估所使用的诊断推断的精度的评估单元(未例示)，或者诊断辅助装置800可以包括评估单元(未例示)。评估单元(未例示)是评估装置的示例。

评估单元(未例示)可以针对每个图像分类计算诊断推断的精度。即，评估单元(未例示)可以针对按图像特征分类的每个类别对精度进行评估。类别的示例是在医学图像中绘制的待诊断的主体的结构。评估单元(未例示)可以例如关于包含胸壁的图像和不包含胸壁的图像来计算精度。当输入包含胸壁的新图像作为推断的主体时，推断单元106可以将高精度的诊断推断器用于包含胸壁的图像的类别。这使得推断单元106能够选择适于输入的图像的诊断推断器。

向用户表示的诊断可以从具有高精度的诊断推断器的推断结果中选择。可以同时表示两个诊断推断器的结果。

可以通过存在补充功能(例如，是否提供了推断的证据)来选择要使用的诊断推断器。这使得能够选择适于用户的环境的推断器，例如，如果用户明确地输入了发现，那么使用可以提供推断的证据的诊断推断器1002，而如果用户看着图像，那么使用具有高精度的诊断推断器。即，推断单元可以基于用户的操作输入来选择推断器。

在诊断推断器1001推断出诊断的同时诊断推断器1002推断出诊断和推断的证据并且诊断推断器的推断结果彼此相同的情况下，可以向用户表示诊断推断器1002的推断结果和推断的证据。在推断结果彼此不同的情况下，可以向用户表示具有较高精度的推断器的推断结果。这使得能够选择适于输入的图像的诊断推断器。

根据本修改，转移预先学习以获取医学图像的特征的模型，这使得能够通过cnn精确地推导出发现，即使只存在少量的其中将发现的正确标签添加到医学图像的数据组。

(对第四实施例的第二修改)

根据对第四实施例的第一修改，原始模型的中间层的输出可以被提取为图像特征，以用作图像特征量提取单元。图像特征量提取单元用作根据第四实施例的输入信息生成单元802的一部分。即，输入信息生成单元802基于图像特征来推导出发现，该图像特征是由图像特征量提取单元通过使用诸如支持向量机或随机森林之类的方法来提取的。

根据本修改，转移预先学习以获取医学图像的特征的模型，这使得能够精确地推导出发现，即使只存在少量的其中将发现的正确标签添加到医学图像的数据组。

[修改]

本发明还可以通过以下方式来执行：经由网络或存储介质向系统或装置提供用于执行根据上述实施例的一个或多个功能的程序，并且系统或装置的计算机的一个或多个处理器读取并执行程序。本发明还可以通过用于执行一个或多个功能的电路(例如，asic)来实现。

根据上述实施例的信息处理装置可以是单个装置，或者可以组合多个装置以便能够彼此通信以执行上述处理。这些包括在本发明的实施例中。上述处理可以由公共服务器装置或服务器组执行。只要用作信息处理装置和信息处理系统的多个装置能够以预定的通信速率进行通信，那么就不必将它们安装在同一设施或同一国家中。

本发明的实施例包括这样的实施例，其中系统或装置提供有执行根据上述实施例的功能的软件程序，并且系统或装置的计算机读取并执行所提供的程序的代码。

因而，安装在计算机中以通过计算机执行根据实施例的处理的程序代码包括在本发明的实施例中。可以以以下方式来执行根据上述实施例的功能：在计算机上运行的os例如基于计算机读取的程序中包括的指令来执行实际处理的一部分或全部。

上述实施例的适当组合也包括在本发明的实施例中。

本发明不限于以上实施例。在不脱离本发明的精神和范围的情况下，可以进行各种修改和变更。因而，附上权利要求书以公开本发明的范围。

本申请要求于2017年10月13日提交的日本专利申请no.2017-199600的权益，该申请通过引用整体并入本文。