检查结果估计装置、程序以及程序存储介质的制作方法

1.本发明涉及一种估计心脏超声波检查结果的检查结果估计装置、程序以及程序存储介质。


背景技术：

2.以往，已知有使用心电图的检查。心电图是通过体表的电极来检测并调查心脏的电活动的检查，用于发现心律不齐、缺血性心脏病、心肌病等所有的心脏疾病及观察其经过。并且，心电图检查并非侵入性的检查，而是在哪里都能够简便且廉价地进行检查的检查。据此，心电图检查在健康诊断中也作为筛选检查而被便利地使用。然而，心电图的读图需要许多经验，即使是熟练的医生，也难以仅根据心电图来诊断(确定诊断)全部心脏病。
3.因此，为了进行确定诊断，需要利用心脏超声波检查来进行详查。在此，心脏超声波检查是指利用将超声波照到身体的内部的构造而反弹回的反射波来获取图像的检查。如果利用心脏超声波检查，则能够发现出现在高血压、心力衰竭、心肌壁障碍(心肌病)等患者中的心脏瓣的异常、先天异常(心室、心房之间的孔等)、心壁、心房或心室的扩大等心脏的结构性异常。另外，在心脏超声波检查中，还能够测定心脏每一次搏动送出的血液的量等。心脏超声波检查对于掌握心脏的结构性异常、心脏的血液的流量等而言是有用的，以及与心电图同样地对于被检者而言是非侵入性的，因此成为经常用于心脏病的诊断的检查法之一。
4.然而，即使在持有心脏超声波检查装置的情况下，为了描绘出适当的图像，也需要熟练的医生或技师。因此，在医疗资源稀缺地区存在没有循环器官专业医生的情况、没有能够进行超声波检查的技师的情况，即使准备心脏超声波检查装置，也有可能无法接受适当的医疗。
5.根据上述的情况，开始开发根据心电图自动地判定疾病的系统，例如，开始了将心电图与机器学习(深度学习)组合的研究。关于这样的研究，例如被日本特表2019-514635号公报、日本特表2018-503885号公报、“古林
せなみ
、今井健、石原三四郎、藤生克仁、大江和彦著、深層学習
を
用
いた
心電図波形
の
正常異常判定
に
関
する
研究、人工知能学会研究会資料、2018年3月15日、vol.5、no.5、p.1-5”以及“goto s,kimura m,katsumata y,goto s,kamatani t,ichihara g,ko s,sasaki j,fukuda k,sano m.，artificial intelligence to predict needs for urgent revascularization from 12-leads electrocardiography in emergency patients.plos one(米)，2019，14(1)，e0210103”公开。


技术实现要素：

6.发明要解决的问题
7.如上所述，开始了将心电图(心电信号)与机器学习组合的研究，但在以往的研究中，基于学习的时间点的医疗技术来估计有无特定的疾病、在存在该特定的疾病的情况下
判定(估计)是否为重症。然而，医疗技术日新月异，治疗方法的判断基准日新月异，以提供更好的医疗。例如，虽然仅以主动脉瓣狭窄症为例，但在以前的临床中基于重症度来进行适合手术的判断，而在最近的临床中，适合手术的判断并非仅依赖于重症度(例如，“泉知里、他33名、2020年改訂版弁膜症治療
のガイドライン
(日本循環器学会、日本胸部外科学会、日本血管外科学会、日本心臓血管外科学会合同
ガイドライン
)、2013年3月13日”)。具体而言，存在以下情况：若心脏的射血分数(心脏送出血液的量除以舒张期的左心室容量来计算得到)低，则难以产生主动脉瓣中的跨瓣压差，因此即使不是重症的主动脉瓣狭窄症也适合手术。因此，对于医生而言，即使使用了基于上述的研究的装置，也仅能够知晓基于比较老旧的医疗技术的估计结果，存在难以进行确定诊断这一问题点。因此，期望即使在不使用心脏超声波检查装置的情况下也能够估计能够应对医疗技术的变化的检查结果的检查结果估计装置、程序以及程序存储介质。
8.本公开是为了解决上述那样的问题而完成的，其目的在于提供一种即使在不使用心脏超声波检查装置的情况下也能够估计能够应对医疗技术的变化的检查结果的检查结果估计装置、程序以及程序存储介质。
9.用于解决问题的方案
10.为了达成上述的目的，下面公开的第一方面的检查结果估计装置具备：信号获取部，其获取心电信号；估计部，其使用将学习用心电信号作为输入数据并将心脏超声波检查结果作为训练数据进行机器学习所得到的学习完毕模型，来估计与由信号获取部获取到的心电信号相应的心脏超声波检查结果；以及输出部，其输出由估计部估计出的心脏超声波检查结果。
11.第二方面的程序用于使计算机执行以下处理：获取心电信号；使用将学习用心电信号作为输入数据并将心脏超声波检查结果作为训练数据进行机器学习所得到的学习完毕模型，来估计与心电信号相应的心脏超声波检查结果；以及输出所估计出的心脏超声波检查结果。
12.第三方面的程序存储介质是存储程序并且能够由计算机读取的存储介质，程序用于使计算机执行以下处理：获取心电信号；使用将学习用心电信号作为输入数据并将心脏超声波检查结果作为训练数据进行机器学习所得到的学习完毕模型，来估计与心电信号相应的心脏超声波检查结果；以及输出所估计出的心脏超声波检查结果。
13.发明的效果
14.根据上述第一局面～第三局面的结构，即使在不使用心脏超声波检查装置的情况、没有能够处理心脏超声波检查装置的专业医生、技师的情况下，也能够向医生提供心脏超声波检查结果。而且，医生通过确认心脏超声波检查结果，能够掌握心脏的结构性异常、心脏的血液的流量等。因此，与基于比较老旧的医疗技术而仅输出疾病的重症度的以往的装置不同，医生能够基于诊断时的最新的医疗技术和心脏超声波检查结果(心脏的结构性异常、心脏的血液的流量等)来适当地进行诊察。即，能够提供一种即使在不使用心脏超声波检查装置的情况下也能够估计能够应对医疗技术的变化的检查结果的检查结果估计装置、程序以及程序存储介质。
附图说明
15.图1是用于说明一个实施方式中的检查结果估计系统的处理的概要的图。
16.图2是示出一个实施方式中的检查结果估计系统的整体的结构的框图。
17.图3是示出一个实施方式中的心电图检查装置的结构的框图。
18.图4的(a)是用于说明一个实施方式中的心电图检查的肢体导联的图。图4的(b)是用于说明一个实施方式中的心电图检查的胸导联的图。
19.图5是一个实施方式中的机器学习装置的控制部的功能框图。
20.图6是用于说明一个实施方式中的心电信号的波形的例子的图。
21.图7是用于说明一个实施方式中的被转换为数值数据的状态下的心电信号的例子的图。
22.图8是示出一个实施方式中的检查结果估计装置的结构的框图。
23.图9是一个实施方式中的检查结果估计装置的控制部的功能框图。
24.图10是示出一个实施方式中的心脏超声波检查结果(报告)的画面的例子的图。
25.图11是示出一个实施方式中的指南参照结果的画面的例子的图。
26.图12是示出一个实施方式中的检查结果估计装置的建议画面的例子的图。
27.图13是用于说明一个实施方式中的学习完毕模型的制作方法的流程图。
28.图14是用于说明一个实施方式中的心脏超声波检查结果的估计方法的流程图。
具体实施方式
29.下面，基于附图来说明本发明的一个实施方式。此外，本发明并非限定于下面的实施方式，能够在足以满足本发明的结构的范围内适当进行设计变更。另外，在下面的说明中，在不同的附图之间对具有同一部分或同样的功能的部分共同使用同一附图标记，并省略其重复的说明。另外，实施方式和变形例中记载的各结构可以被适当组合，也可以被变更。另外，为了易于理解说明，在下面参照的附图中，结构被简化或示意性地示出，或者一部分结构构件被省略。
30.[检查结果估计装置的概要]
[0031]
图1和图2是用于说明本实施方式中的检查结果估计系统100(下面简称为“系统100”)的结构的概要的图。系统100是用于当被输入心电信号sa时估计并输出心脏超声波检查结果ra的系统，是用于辅助医生的诊断、治疗的系统。在此，“心脏超声波检查结果ra”与实施了心脏超声波检查(心回波检查(echocardiography))的情况下得到的检查结果相当，例如包含仅根据心电信号sa无法得到的心脏的结构性信息、心脏中的血液的流量等信息。使用图10在后文描述心脏超声波检查结果ra的详情。
[0032]
如图1所示，在系统100中，使用将学习用心电信号sl作为输入数据并将学习用心脏超声波检查结果rl作为训练数据的数据组来进行机器学习部21b的机器学习(学习阶段)。在此，“学习用心电信号sl”例如是将为了进行机器学习而准备的心电图数据转换为数值数据所得到的信号。在为了进行机器学习而准备的心电图数据中，例如可以包含由心电图检查装置30(参照图2)获取到的患者的心电图数据，也可以包含机器、人制作出的用以学习的示意性的心电图数据。另外，为了进行机器学习而准备的心电图数据不限于由心电图检查装置30获取到的患者的心电图数据本身(原始数据)，也可以是被进行加工处理后的用
以学习的数据。在后文描述加工处理的例子。
[0033]
本实施方式中的心电图数据例如依据医学波形格式编码规则(mfer)或者医学数字成像和通信(dicom)。mfer是被规范化为能够记述以心电图为首的脑波、呼吸波形等所有医疗波形的标准，是用于能够容易地进行向数值、图像的转换的标准。例如，依据mfer的心电图数据能够在系统100中以被进行逗号分隔值(csv)转换所得到的数值数据(csv信号)形式来用于学习、存储、估计和显示。另外，dicom是对医用图像设备之间的通信协议进行了定义的规范标准，是以能够在不同的制造商的医用图像设备之间进行图像转送为目的的标准。此外，在本公开中，即使是依据mfer或者dicom的心电图数据，也未必需要进行csv转换，例如也可以将mfer文件或者dicom文件以图像形式来用于学习、存储、估计和显示。另外，心电图数据不限于mfer和dicom，如果是图像数据，例如也可以是基于联合图像专家组(jpeg)标准的图像数据。
[0034]
如图1所示，系统100使用由机器学习部21b制作出的学习完毕模型m，来估计与所输入的心电信号sa对应的心脏超声波检查结果ra，并输出所估计出的心脏超声波检查结果ra(估计阶段)。在此，“心电信号sa”是作为诊断对象的患者的心电图数据、或者对该心电图数据进行加工或转换为数值所得到的数据。即，系统100构成为基于该作为诊断对象的患者的心电图数据来估计心脏超声波检查结果ra(心回波的检查结果)。该段落中的心电图数据例如是在未设置心脏超声波检查装置的医疗设施(例如医疗资源稀缺地的诊所)中被诊察的患者的心电图数据。此外，在后文描述“学习完毕模型m”的详情。
[0035]
由此，即使在无法使用心脏超声波检查装置的情况下、没有能够处理心脏超声波检查装置的医生、技师的地区，也能够向医生提供心脏超声波检查结果ra。而且，医生能够通过确认心脏超声波检查结果ra，来掌握心脏的结构性异常、心脏的血液的流量等。因此，与基于比较老旧的医疗技术而仅输出疾病的重症度的装置不同，医生能够基于诊断时的最新的医疗技术和心脏的结构性异常、心脏的血液的流量等来适当地进行诊察。
[0036]
[检查结果估计装置的各部的结构]
[0037]
如图2所示，系统100具备多个检查结果估计装置10以及机器学习装置20。机器学习装置20是用于执行图1所示的学习阶段的装置。即，机器学习装置20通过使用将学习用心电信号sl作为输入数据并将学习用心脏超声波检查结果rl作为训练数据的数据组来进行机器学习，从而制作学习完毕模型。检查结果估计装置10是用于执行图1所示的估计阶段的装置。即，检查结果估计装置10使用学习完毕模型m来估计与所输入的心电信号sa对应的心脏超声波检查结果ra，并输出所估计出的心脏超声波检查结果ra。
[0038]
多个检查结果估计装置10和机器学习装置20例如构成为能够经由网络n进行通信。多个检查结果估计装置10与多个心电图检查装置30分别以能够通信的方式连接。此外，网络n例如是局域网(lan)、广域网(wan)以及因特网等，但也可以使用它们以外的网络。
[0039]
(心电图检查装置的结构)
[0040]
心电图检查装置30例如构成为通过使用12导联心电图的检查法来进行心电图检查。如图3和图4所示，心电图检查装置30包括测定部31、控制部32、通信部33以及显示部34。下面，作为例子而示出12导联心电图，但在本公开中，也可以通过使用12导联心电图的检查法以外的检查法来获取心电信号sa。
[0041]
图4是用于说明使用12导联心电图的检查法的图。如图4所示，12导联由6个肢体导
联(i、ii、iii、avr、avl和avf)和6个胸导联(v1、v2、v3、v4、v5和v6)构成，将心肌的电活动表示为12个向量。测定部31例如包括安装于患者的12个部位的12个测定电极。而且，测定部31获取表示12导联的心电图数据的12种心电信号sa(参照图6)。测定部31将获取到的心电信号sa传递至控制部32。控制部32包括处理器。而且，控制部32将心电信号sa(波形)(参照图6)显示于显示部34。另外，控制部32经由通信部33通过有线或无线通信将心电信号sa发送至检查结果估计装置10(参照图2)。另外，控制部32也可以经由通信部33将学习用心电信号sl发送至机器学习装置20。通信部33是通信接口。显示部34例如是液晶显示器或者有机el显示器。
[0042]
此外，在本实施方式中，示出了在心电图检查装置30中设置显示部34的例子，但也可以取代显示部34或者除了显示部34以外还设置有用于将心电信号sa的波形打印到纸介质的打印部。另外，示出了在心电图检查装置30中设置通信部33的例子，但也可以取代通信部33或者除了通信部33以外还设置有能够相对于心电图检查装置30装卸的存储介质。可以使用该存储介质来使心电信号sa移动至检查结果估计装置10，也可以使用该存储介质来使学习用心电信号sl移动至机器学习装置20。
[0043]
(机器学习装置的结构)
[0044]
如图2所示，机器学习装置20包括控制部21、存储部22、通信部23以及输入部24。控制部21包括通过执行程序来执行控制处理的处理器。而且，控制部21构成为执行机器学习装置20的各控制处理。存储部22包括学习用数据存储区域22a以及学习完毕模型存储区域22b。通信部23是通信接口，与网络n连接。输入部24可以是键盘、鼠标、触摸面板等用户接口，也可以构成为读取纸介质的光学式字符读取装置(ocr)。
[0045]
图5是控制部21的功能框图。控制部21包括数据获取部21a、机器学习部21b以及输出部21c。数据获取部21a从心电图检查装置30获取学习用心电信号sl或者获取由人、机器制作出的学习用心电信号sl。而且，数据获取部21a将获取到的学习用心电信号sl存储于学习用数据存储区域22a。
[0046]
图6是用于说明12导联心电图的数据(心电信号的波形)的图。另外，图7是用于说明学习用心电信号sl(心电信号sa)的数值数据的图。在规定的定时对12导联心电图的数据(参照图6)进行采样并转换为进行csv转换所得到的数值数据来获取学习用心电信号sl。图7是以表形式示意性地示出了进行csv转换所得到的数值数据的图。此外，在本公开中，不限于进行csv转换所得到的数值数据，也可以将12导联心电图的波形图像用作学习用心电信号sl。学习用心电信号sl也可以是对进行csv转换所得到的数值数据进一步进行加工处理所得到的信号(数据)。例如，控制部21也可以将学习用心电信号sl的心搏间隔归一化。“归一化”是指以使一次心搏的长度为共同的大小的方式对各信号进行加工处理从而易于在波形间进行对比。另外，控制部21也可以进行从学习用心电信号sl中去除pqrst波以外的直线部分(基线)、噪声成分的处理。由此，通过排除易于出现个人差异的心搏间隔、噪声等主要原因，能够提高所制作的学习完毕模型m的估计精度。此外，在包含心搏间隔作为学习用心电信号sl的特征点的情况下，也可以不将学习用心电信号sl归一化。
[0047]
数据获取部21a获取学习用心脏超声波检查结果rl。例如，对同一患者进行心电图检查和心脏超声波检查，由数据获取部21a从这些检查中获取学习用心电信号sl和学习用心脏超声波检查结果rl。在此，在学习用心脏超声波检查结果rl中包含心脏的部位的尺寸、
心脏内的血液的流量、心脏内的血液的流速以及心脏内的血液的压力中的至少一个项目。详细地说，例如，学习用心脏超声波检查结果rl包含包括左心室壁厚度、左心房内径和瓣口面积等在内的心脏的结构性尺寸、搏出量等血液的流量、以及心脏瓣膜病的重症度的判定所需的跨瓣压差及心室内的压力等各种项目。
[0048]
更详细地说，在学习用心脏超声波检查结果rl中，包含主动脉内径(aod)、左房内径(lad)、右房内径(rvd)、左室舒张末期内径(lvdd)、左室收缩末期内径(lvds)、左室舒张末期容积(lvedv)、左室收缩末期容积(lvesv)、每博输出量(sv)、射血分数(ef)、左室质量指数(lv mass index)、左室室间隔(ivst)、左室后壁厚度(pwt)、左室流入血流的信息(e/a、dct、e*、e/e*)、右室流出血流的信息(aci/et)、二尖瓣反流(mr)、二尖瓣口面积(mva)、二尖瓣环径、压力减半时间(pht)、主动脉瓣反流(ar)、主动脉瓣口面积(ava)、主动脉瓣环径、三尖瓣反流(tr)、射流面积、右室收缩期压力(rvp)、肺动脉瓣反流(pr)、下腔静脉内径(ivc)、虚脱以及心包积液的项目。另外，在学习用心脏超声波检查结果rl中包含心脏的室壁运动的信息以及先天性心脏病的信息。心脏的室壁运动的信息例如包含与左心室或者右心室中的哪个壁部存在异常有关的信息。另外，在先天性心脏病的信息中包含存在心室间隔缺损病、心房间隔缺损病等的可能性的信息。先天性心脏病不限于这两个，也可以是其它疾病。而且，学习用心脏超声波检查结果rl的各项目例如以数值数据存储于学习用数据存储区域22a。此外，在本公开中，不限于数值数据，也可以是，心脏超声波检查中的心回波图像作为学习用心脏超声波检查结果rl存储于学习用数据存储区域22a。另外，学习用心脏超声波检查结果rl也可以通过对输入部24进行输入、由输入部24读取纸介质来由数据获取部21a获取。学习用心电信号sl与学习用心脏超声波检查结果rl相对应(设为数据组)地存储于学习用数据存储区域22a。
[0049]
如图1所示，机器学习部21b例如具有通过进行有监督学习来制作学习完毕模型m的功能。即，机器学习部21b将学习用心电信号sl作为输入数据，来学习作为针对输入数据(学习数据)的训练数据(正确标签)的学习用心脏超声波检查结果rl。机器学习部21b例如通过学习存储在学习用数据存储区域22a中的数万个学习用心电信号sl与学习用心脏超声波检查结果rl的数据组，来制作学习完毕模型m。作为机器学习部21b的机器学习方法，例如能够使用基于神经网络的深度学习，但也可以使用深度学习以外的机器学习方法。在使用深度学习的情况下，机器学习部21b通过学习数据组来将神经网络中的函数的参数优化。所制作出的学习完毕模型m存储于存储部22的学习完毕模型存储区域22b(参照图2)。
[0050]
输出部21c将由机器学习部21b制作出的学习完毕模型m经由通信部23发送至各检查结果估计装置10。检查结果估计装置10将接收到的学习完毕模型m存储于自身的存储部12(参照图8)。此外，示出了在机器学习装置20中设置通信部23的例子，但也可以取代通信部23或者除了通信部23以外还在机器学习装置20中设置有能够装卸的存储介质。也可以使用该存储介质来使学习完毕模型m移动至检查结果估计装置10。
[0051]
存储部22例如构成为非易失性存储器。存储部22可以是本地部署(on-premises)型(固置型)服务器，也可以不限于本地部署型服务器而使用在云上构成的服务器。
[0052]
(检查结果估计装置的结构)
[0053]
图8是示出检查结果估计装置10的结构的框图。检查结果估计装置10包括控制部11、存储部12、通信部13以及显示部14。关于控制部11，控制部11包括通过执行程序来执行
控制处理的处理器。而且，控制部11构成为执行检查结果估计装置10的各控制处理。
[0054]
在存储部12中存储有用于控制部11进行处理的程序以及学习完毕模型m。存储部12可以是本地部署型(固置型)服务器等存储装置，也可以不限于本地部署型服务器而使用在云上构成的服务器等存储装置以构成存储部12。另外，存储部12也可以构成为能够相对于检查结果估计装置10装卸。而且，在存储部12中，可以预先(在检查结果估计装置10制造时)存储有由机器学习装置20制作出的学习完毕模型m，也可以如上所述那样经由通信部13从机器学习装置20接收学习完毕模型m。在此，在本实施方式中，在存储部12中存储有医疗指南数据g。另外，医疗指南数据g包含有心脏超声波检查结果ra的各项目的基准、在相对于该基准为异常值(或异常)的情况下所推荐的检查方法、以及在相对于该基准为异常值(或异常)的情况下所推荐的治疗方法等信息。医疗指南数据例如是由医疗系学会(例如，日本循环器官学会、日本胸部外科学会、日本血管外科学会和日本心脏血管外科学会等)制作出的、用于医生进行诊断、判断治疗方法的基准、过程。存储部12中存储的医疗指南数据g随时被更新为最新版。更新处理由控制部11进行。医疗指南数据g例如能够使用“瓣膜病的治疗指南”。
[0055]
图9是示出控制部11的功能块的图。控制部11包括信号获取部11a、估计部11b以及输出部11c。信号获取部11a构成为经由通信部13从心电图检查装置30获取心电信号sa。即，信号获取部11a获取包含根据诊察对象的患者的心电图图像数据(mfer或者dicom)进行csv转换所得到的数值数据(csv信号)的心电信号sa。由此，由于数值数据与心电图图像数据(mfer或者dicom)相比能够使数据尺寸变小，而能够从心电图检查装置30更迅速地获取心电信号sa，并且能够节约存储部12的容量。另外，能够减轻由估计部11b估计心脏超声波检查结果ra时的处理负担。
[0056]
图10是显示于显示部14的报告(心脏超声波检查估计结果报告书)的例子。估计部11b进行使用学习完毕模型m来估计与获取到的心电信号sa相应的心脏超声波检查结果ra的处理。输出部11c向显示部14输出所估计出的心脏超声波检查结果ra。具体而言，输出部11c将记载有心脏超声波检查结果ra中所包含的多个项目的报告显示于显示部14。估计部11b例如将包括左心室壁厚度、左心房内径和瓣口面积等在内的心脏的结构性尺寸、搏出量等血液的流量、以及心脏内的血液的流速、心脏瓣膜病的重症度的判定所需的跨瓣压差及心室内的压力等各种项目的数值数据(csv数据)作为心脏超声波检查结果ra的估计结果来输出。更详细地说，估计部11b例如输出与以下各个项目有关的估计结果，各种项目为主动脉内径(aod)、左房内径(lad)、右房内径(rvd)、左室舒张末期内径(lvdd)、左室收缩末期内径(lvds)、左室舒张末期容积(lvedv)、左室收缩末期容积(lvesv)、每博输出量(sv)、射血分数(ef)、左室质量指数(lv mass index)、左室室间隔(ivst)、左室后壁厚度(pwt)、左室流入血流的信息(e/a、dct、e*、e/e*)、右室流出血流的信息(aci/et)、二尖瓣反流(mr)、二尖瓣口面积(mva)、二尖瓣环径、压力减半时间(pht)、主动脉瓣反流(ar)、主动脉瓣口面积(ava)、主动脉瓣环径、三尖瓣反流(tr)、射流面积、右室收缩期压力(rvp)、肺动脉瓣反流(pr)、下腔静脉内径(ivc)、虚脱以及心包积液。另外，估计部11b输出心脏的室壁运动的估计结果以及先天性心脏病的估计结果。心脏的室壁运动的估计结果例如包含与左心室或者右心室中的哪个壁部存在异常有关的估计结果。另外，在先天性心脏病的估计结果中包含存在心室间隔缺损病、心房间隔缺损病等的可能性的估计结果。先天性心脏病的估计结果
不限于这两个估计结果，也可以包含其它疾病的估计结果。
[0057]
如图10所示，在报告中记载患者信息(患者id、患者姓名、患者的出生年月日、患者的性别、患者的年龄)、检查日、按科分类(例如心脏血管内科等)以及担当医生名等。而且，在报告中，例如包含主动脉内径(aod)、左房内径(lad)、右房内径(rvd)、左室舒张末期内径(lvdd)、左室收缩末期内径(lvds)、左室舒张末期容积(lvedv)、左室收缩末期容积(lvesv)、每博输出量(sv)、射血分数(ef)、左室质量指数(lv mass index)、左室室间隔(ivst)、左室后壁厚度(pwt)、左室流入血流的信息(e/a、dct、e*、e/e*)、右室流出血流的信息(aci/et)、二尖瓣反流(mr)、二尖瓣口面积(mva)、二尖瓣环径、压力减半时间(pht)、主动脉瓣反流(ar)、主动脉瓣口面积(ava)、主动脉瓣环径、三尖瓣反流(tr)、射流面积、右室收缩期压力(rvp)、肺动脉瓣反流(pr)、下腔静脉内径(ivc)、虚脱以及心包积液的项目。另外，在报告中包含心脏的室壁运动的估计结果以及先天性心脏病的估计结果。例如，作为心脏的室壁运动的估计结果，包含有左心室的“存在前室壁运动异常的可能性”、右心室的“无异常”等注释。另外，在先天性心脏病的估计结果中，包含心室间隔缺损病的“可能性较高”、心房间隔缺损病的“可能性较低”等注释。此外，在报告中，也可以包含上述的信息以外的信息(例如，心室间隔缺损病、心房间隔缺损病以外的疾病的估计结果)。另外，也可以在检查结果估计装置10中设置有用于将报告打印到纸介质的打印功能部。
[0058]
医生视觉确认显示于该显示部14的报告，由此，即使在未设置心脏超声波检查装置的医疗设施中，医生也能够确认所估计出的心脏超声波检查结果ra。因此，医生能够确认仅根据心电信号sa无法得到的心脏的结构性信息、心脏中的血液的流量等。其结果，系统100能够使用所估计出的心脏的结构性信息、心脏中的血液的流量等来辅助医生对患者的确定诊断。
[0059]
图12是显示于显示部14的指南参照结果的画面的例子。估计部11b基于心脏超声波检查结果ra和医疗指南数据g，来输出用于辅助医生的诊疗的辅助信息rb。例如，估计部11b将心脏超声波检查结果ra的各项目的值与医疗指南数据g中所包含的各项目的基准值进行比较。在心脏超声波检查结果ra的各项目的值中的任一者为异常值(或异常)的情况下，估计部11b从医疗指南数据g中提取用于详查有无与异常值(或异常)对应的疾病的检查方法。而且，输出部11c使为异常值(或异常)的项目以及用于详查的检查方法等显示于显示部14。例如，输出部11c将“指南参照结果在
△△
(项目名)中发现异常，因此建议实施造影检查来进行详查”等消息显示于显示部14。此外，图12的图像可以与图11的图像显示在同一画面上，也可以显示为不同画面。
[0060]
另外，图13是显示于显示部14的建议(向医生的建议)的画面的例子。在无法估计心脏超声波检查结果ra的项目中的任一者的情况、估计值的准确度较低的情况(所估计的范围大于规定的范围的情况)、估计值为规定的值(异常值)的情况下等，估计部11b制作显示于显示部14的建议的消息。输出部11c使建议的消息显示于显示部14。例如，输出部11c使“在
××
(项目)的估计值中发现异常，因此建议利用心脏超声波检查装置实际实施检查”这一消息显示于显示部14。此外，图13的图像可以与图11及图12中的任一方的图像显示在同一画面上，也可以显示为不同画面。
[0061]
[学习完毕模型的制作方法]
[0062]
接着，参照图13来说明本实施方式中的学习完毕模型的制作方法。图13是与学习
完毕模型的制作有关的流程图。与该制作方法有关的处理由机器学习装置20的控制部21执行。
[0063]
在步骤s1中，获取学习用心电信号sl与学习用心脏超声波检查结果rl的数据组。例如，对同一患者进行心电图检查和心脏超声波检查(心回波检查)双方。而且，将通过心电图检查得到的心电信号作为学习用心电信号sl，并将通过心脏超声波检查得到的信息作为学习用心脏超声波检查结果rl，来制作将该学习用心电信号sl与该学习用心脏超声波检查结果rl相对应的数据组。数据组存储于存储部22。此外，对于学习用心电信号sl或者学习用心脏超声波检查结果rl，也可以以被进行了加工处理(归一化处理、噪声处理等)的状态存储于存储部22。
[0064]
在步骤s2中，学习多个数据组。例如，从存储部22读出多个(例如，数万个)数据组并进行深度学习，由此制作学习完毕模型m。在步骤s3中，将制作出的学习完毕模型m存储于存储部22。
[0065]
[心脏超声波检查结果的估计方法]
[0066]
接着，参照图14来说明本实施方式中的心脏超声波检查结果ra的估计方法。图14是与心脏超声波检查结果ra的估计有关的流程图。与该制作方法有关的处理由检查结果估计装置10的控制部11执行。
[0067]
在步骤s11中，获取心电信号sa。该心电信号sa是通过对诊断对象的患者进行的心电图检查而得到的。
[0068]
在步骤s12中，使用学习完毕模型m来估计与心电信号sa相应的心脏超声波检查结果ra。
[0069]
在步骤s13中，将记载有所估计出的心脏超声波检查结果ra中所包含的多个项目的报告(参照图10)显示于显示部14。在步骤s14中，显示指南参照结果(参照图11)以及建议(参照图12)中的至少一方。由此，即使在无法使用心脏超声波检查装置的情况下、没有能够处理心脏超声波检查装置的医生、技师的地区，也能够由医生确认心脏超声波检查结果ra。而且，医生能够通过确认心脏超声波检查结果ra，来掌握心脏的结构性异常、心脏的血液的流量等。因此，与基于比较老旧的医疗技术而仅输出疾病的重症度的装置不同，医生能够基于诊断时的最新的医疗技术和心脏的结构性异常、心脏的血液的流量等来适当地进行诊察。
[0070]
例如，在日常诊疗中，医生根据心脏超声波检查结果ra来研究是否要进行有无心肌梗塞、心脏瓣膜病的重症度等的其它检查。另外，医生基于所估计出的心脏超声波检查结果ra，来建议应怀疑的疾病、接下来应进行的检查。这不限于心脏病，如果是肺动脉栓塞病、肺高血压病等能够根据心脏超声波检查结果ra推测的疾病，则医生针对心脏以外的病也进行建议。
[0071]
[变形例]
[0072]
以上，上述的实施方式只不过是用于实施本发明的例示。因此，本发明不限定于上述的实施方式，能够在不脱离其宗旨的范围内将上述的实施方式适当地进行变形后进行实施。
[0073]
(1)在上述实施方式中，示出了将机器学习装置、检查结果估计装置和心电图检查装置分别构成为不同装置的例子，但本公开不限于此。即，也可以是，机器学习装置、检查结
果估计装置以及心电图检查装置中的两个构成为一体。
[0074]
(2)在上述实施方式中，示出了将所估计出的心脏超声波检查结果显示为包含数值数据的报告的例子，但本公开不限于此。例如，也可以将所估计出的心脏超声波检查结果显示为图像(心回波图像)。
[0075]
(3)在上述实施方式中，在学习和估计时，使用了被转换为数值数据的心电信号，但本公开不限于此。例如，也可以在学习和估计的至少一方中使用心电图图像数据。
[0076]
(4)在上述实施方式中，举出了图10中记载于报告的项目的例子，但本公开不限于此。即，可以仅记载图10中记载的项目中的一部分，还可以在报告中包含图10中记载的项目以外的项目。
[0077]
(5)在上述实施方式中，例示了用于控制结果估计装置10的控制部11的动作的程序存储于服务器等存储部12的方式。但是，在实施方式中还包含存储了用于控制结果估计装置的动作的程序的计算机可读取的任意的存储介质(程序存储介质)、通过无线或有线的通信线路传输的程序(程序产品)。
[0078]
另外，能够如下面那样说明上述的检查结果估计装置、程序以及程序存储介质。
[0079]
第一结构所涉及的检查结果估计装置具备：信号获取部，其获取心电信号以及将学习用心电信号作为输入数据并将心脏超声波检查结果作为训练数据来进行机器学习所得到的学习完毕模型；估计部，其使用学习完毕模型来估计与由信号获取部获取到的心电信号相应的心脏超声波检查结果；以及输出部，其输出由估计部估计出的心脏超声波检查结果(第一结构)。
[0080]
根据上述第一结构，即使在未设置心脏超声波检查装置的医疗设施中，也能够输出所估计出的心脏超声波检查结果。因此，医生能够通过确认所估计出的心脏超声波检查结果，来确认仅根据心电信号无法得到的心脏的结构性信息、心脏中的血液的流量等。其结果，能够提供一种能够使用所估计出的心脏的结构性信息、心脏中的血液的流量等来辅助医生对患者的确定诊断的检查结果估计装置。
[0081]
在第一结构中，也可以是，在心脏超声波检查结果中包含心脏的部位的尺寸、心脏内的血液的流量、心脏内的血液的流速以及心脏内的血液的压力中的至少一个项目(第二结构)。
[0082]
根据上述第二结构，医生能够不使用心脏超声波检查装置地识别心脏的部位的尺寸、心脏内的血液的流量、心脏内的血液的流速以及心脏内的血液的压力中的至少一个项目的估计结果。
[0083]
在第一结构或第二结构中，也可以将输出部构成为将记载有心脏超声波检查结果中所包含的多个项目的报告显示于显示部(第三结构)。
[0084]
根据上述第三结构，医生能够通过显示于显示部的报告来容易地确认心脏超声波检查结果。
[0085]
在第一结构～第三结构中的任一个结构中，也可以将信号获取部构成为获取包含从心电图图像数据转换来的数值数据的心电信号(第四结构)。
[0086]
根据上述第四结构，能够使用数据量比心电图图像数据的数据量小的数值数据，因此能够减轻检查结果估计装置的处理的负担。
[0087]
在第一结构～第四结构中的任一个结构中，也可以将输出部构成为输出包含数值
数据的心脏超声波检查结果(第五结构)。
[0088]
根据上述第五结构，医生通过确认数值数据，能够与输出心脏超声波检查的图像自身的情况相比容易地确认心脏超声波检查结果。
[0089]
在第一结构～第五结构中的任一个结构中，也可以将估计部构成为使用学习完毕模型，来估计与由信号获取部获取到的心电信号相应的、包含有无室壁运动的异常以及有无先天性心脏病中的至少一方的心脏超声波检查结果(第六结构)。
[0090]
根据上述第六结构，医生能够确认有无室壁运动的异常以及有无先天性心脏病中的至少一方的估计结果，因此能够辅助医生进行关于室壁运动的异常、先天性心脏病的诊断、治疗方法的判断。
[0091]
在第一结构～第六结构中的任一个结构中，也可以是，还具备存储部，所述存储部存储有医疗指南的信息，也可以将估计部构成为基于所估计出的心脏超声波检查结果和医疗指南的信息，来生成用于辅助医生的诊疗的辅助信息，输出部也可以构成为输出由估计部估计出的心脏超声波检查结果和辅助信息(第七结构)。
[0092]
根据上述第七结构，不仅输出心脏超声波检查结果，还输出基于医疗指南的信息的辅助信息，因此通过由医生参照辅助信息，能够进一步辅助医生的诊断、治疗方法的判断。
[0093]
第八结构所涉及的程序用于使计算机执行以下处理：获取心电信号；使用将学习用心电信号作为输入数据并将心脏超声波检查结果作为训练数据进行机器学习所得到的学习完毕模型，来估计与获取到的心电信号相应的心脏超声波检查结果；以及输出所估计出的心脏超声波检查结果(第八结构)。
[0094]
根据上述第八结构，能够提供一种与上述第一结构同样地即使在不使用心脏超声波检查装置的情况下也能够向医生提供在医生进行确定诊断时所需的心脏超声波检查结果的程序。
[0095]
第九结构所涉及的程序存储介质存储程序并且能够由计算机读取，程序用于使计算机执行以下处理：获取心电信号；使用将学习用心电信号作为输入数据并将心脏超声波检查结果作为训练数据进行机器学习所得到的学习完毕模型，来估计与获取到的心电信号相应的心脏超声波检查结果；以及输出所估计出的心脏超声波检查结果(第九结构)。
[0096]
根据上述第九结构，能够提供一种存储有程序的程序存储介质，所述程序与上述第一结构同样地即使在不使用心脏超声波检查装置的情况下也能够向医生提供在医生进行确定诊断时所需的心脏超声波检查结果。
[0097]
附图标记说明
[0098]
10：检查结果估计装置；11a：信号获取部；11b：估计部；11c：输出部；12：存储部；14：显示部；m：学习完毕模型；rl：学习用心脏超声波检查结果；ra：心脏超声波检查结果；rb：辅助信息；sl：学习用心电信号；sa：心电信号。