图像制作装置的制作方法

本发明涉及一种利用drr图像来根据x射线图像制作表示特定部位的图像的图像制作装置。

背景技术：

在执行用于获取从被检者的x射线图像去除骨部后的图像的被称为骨髓抑制等的图像处理时，以往执行双能量减影摄影。该双能量减影是以下方法：以不同的管电压对被检者执行两次摄影，对由此得到的x射线图像进行加权后进行减法运算，由此从x射线图像去除骨部(参照专利文献1)。

另外，在血管造影图像的摄影中，进行基于dsa(digitalsubtractionangiography：数字减影血管造影)的摄影。在执行该摄影时，在没有投放造影剂的状态下，生成被检者的x射线图像来作为掩模图像。接着，在向血管投放了造影剂的状态下，生成被检体的x射线图像来作为实时图像。然后，通过进行从实时图像减去掩模图像的图像处理，来制作表示被注入了造影剂的血管的减影图像(参照专利文献2)。

并且，在通过x射线摄影来显示被检者的体内的支架的情况下，为了更清晰地显示支架的图像，还实施了对支架的图像进行累计并显示的技术(参照专利文献3)。

现有技术文献

专利文献

专利文献1：日本特开2012-245142号公报

专利文献2：日本特开2015-226694号公报

专利文献3：日本特开2014-000287号公报

技术实现要素：

发明要解决的问题

在进行骨髓抑制或血管造影图像的摄影时，由于是对两张x射线图像进行减法运算的结构，因此在拍摄第一张x射线图像时和拍摄第二张x射线图像时由于被检者的活动而发生了图像的偏移的情况下，产生出现伪影这样的问题。因此，需要为了防止伪影而限制被检者的活动，或者为了减少伪影而执行各种处理。

另外，在显示支架的图像的情况下，在使用了生物体吸收性支架的情况下，存在无法在x射线透视摄影中识别支架的图像这样的问题。

本发明是为了解决上述问题而完成的，其目的在于提供如下一种图像制作装置：通过利用drr图像进行机器学习，能够根据x射线图像制作表示特定部位的图像。

用于解决问题的方案

关于方式1所述的发明，具备：drr图像制作部，其针对包括被检者的特定部位的区域的ct图像数据，进行模拟了x射线照射部和x射线检测部对所述被检者的几何学透视条件的虚拟透视投影，由此制作表示包括所述特定部位的区域的第一drr图像和表示所述特定部位的第二drr图像；学习部，其通过使用所述第一drr图像和作为教师图像的所述第二drr图像执行机器学习，来学习用于识别所述特定部位的学习模型；以及图像制作部，其通过利用由所述学习部学习到的学习完毕学习模型对包括所述被检者的特定部位的区域的x射线图像进行变换，来制作表示所述特定部位的图像。

关于方式2所述的发明，在方式1所述的发明中，所述特定部位是骨部，所述图像制作装置还具备从所述x射线图像减去表示所述骨部的图像的骨部减法部。

关于方式3所述的发明，在方式1所述的发明中，所述特定部位是被检者的骨部以外的区域。

关于方式4所述的发明，在方式1所述的发明中，所述特定部位是被注入了造影剂的血管。

关于方式5所述的发明，在方式4所述的发明中，所述第一drr图像是从包括被注入了造影剂的血管的drr图像排除被注入了所述造影剂的血管后的drr图像，并且所述x射线图像是没有被注入造影剂的状态的x射线图像，所述图像制作装置还具备血管加法部，该血管加法部对所述x射线图像加上表示被注入了所述造影剂的血管的图像。

关于方式6所述的发明，在方式1所述的发明中，所述特定部位是被留置在所述被检者体内的支架，所述图像制作装置还具备支架加法部，该支架加法部对所述x射线图像加上表示所述支架的图像。

发明的效果

根据方式1所述的发明，通过利用drr图像进行机器学习，能够根据单个x射线图像制作表示特定部位的图像。

根据方式2所述的发明，在获取从被检者的x射线图像去除骨部后的图像的情况下，从单个x射线图像中提取骨部的图像，并从x射线图像减去该骨部的图像，由此能够容易地获取从被检者的x射线图像去除骨部后的图像。由此，能够防止发生由被检者的活动引起的伪影，并且能够使摄影所需的被照射剂量减半。

根据方式3所述的发明，在获取从被检者的x射线图像去除骨部后的图像的情况下，从单个x射线图像中提取骨部以外的区域的图像，由此能够容易地获取从被检者的x射线图像去除骨部后的图像。由此，能够防止发生由被检者的活动引起的伪影，并且能够使摄影所需的被照射剂量减半。

根据方式4和方式5所述的发明，在制作被检者的被注入了造影剂的血管的图像时，能够从单个x射线图像中提取被注入了造影剂的血管的图像，从而获取该血管的图像。由此，能够防止发生由被检者的活动引起的伪影，并且能够使摄影所需的被照射剂量减半。

根据方式6所述的发明，在制作对被检者的x射线图像追加了被留置在被检者体内的支架后的图像的情况下，即使在无法在x射线图像上识别支架的情况下，也能够根据支架的周围的特征量确定支架的位置，并对x射线图像追加地显示支架的图像。

附图说明

图1是与本发明所涉及的图像制作装置连接且用于执行x射线透视摄影的x射线透视摄影装置的立体图。

图2是示出本发明的第一实施方式所涉及的图像制作装置的控制系统的框图。

图3是用于说明由本发明所涉及的图像制作装置利用机器学习来检测被检者的特定部位的工序的示意图。

图4是示出由本发明所涉及的图像制作装置制作从包括被检者的骨部的区域的x射线图像去除骨部后的图像的动作的流程图。

图5是示意性地示出通过模拟了x射线透视摄影装置的x射线照射部100和x射线检测部200的几何学透视条件的虚拟透视摄影来制作drr图像的状态的说明图。

图6是表示包括骨部41和软组织42的区域的第一drr图像d11的概要图。

图7是表示骨部41的第二drr图像d12的概要图。

图8是通过x射线透视得到的x射线图像x11的概要图。

图9是通过变换得到的骨部41的x射线图像x12的概要图。

图10是示出从被检者的x射线图像x11去除骨部41后的图像x13的概要图。

图11是示出本发明的第一实施方式的变形例所涉及的图像制作装置的控制系统的框图。

图12是示出由变形例所涉及的图像制作装置制作从包括被检者的骨部的区域的x射线图像去除骨部后的图像的动作的流程图。

图13是示出本发明的第二实施方式所涉及的图像制作装置的控制系统的框图。

图14是示出由本发明的第二实施方式所涉及的图像制作装置制作被检者的被注入了造影剂的血管的图像的动作的流程图。

图15是示出心脏51的第一drr图像d21的概要图。

图16是示出被注入了造影剂的血管52的第二drr图像d22的概要图。

图17是通过x射线透视得到的x射线图像x21的概要图。

图18是通过变换得到的被注入了造影剂的血管52的x射线图像x22的概要图。

图19是第一drr图像d21的概要图。

图20是通过x射线透视得到的x射线图像x21的概要图。

图21是示出本发明的第三实施方式所涉及的图像制作装置的控制系统的框图。

图22是示出由本发明的第三实施方式所涉及的图像制作装置制作被留置在被检者体内的支架的图像的动作的流程图。

图23是表示心脏61、血管62以及支架63的第一drr图像d31的概要图。

图24是表示支架63的第二drr图像d32的概要图。

图25是通过x射线透视得到的x射线图像x31的概要图。

图26是被留置在被检者体内的支架63的x射线图像x32的概要图。

图27是表示心脏61、血管62以及支架63的x射线图像x33的概要图。

具体实施方式

以下，基于附图来说明本发明的实施方式。图1是与本发明所涉及的图像制作装置连接且用于执行x射线透视摄影的x射线透视摄影装置的立体图。

该x射线透视摄影装置用于执行x射线透视和x射线摄影，且具备能够通过车轮12移动的装置主体11。另外，该x射线透视摄影装置具备：x射线照射部，其具有x射线管21和以限制从该x射线管21照射的x射线的照射区域的方式形成x射线照射场的准直器23；x射线检测部，其由图像增强器(i.i.)32和摄像机33构成，其中，该图像增强器(i.i.)32对从x射线管21照射并通过了作为被检体的患者的x射线进行检测并将其进行影像化，该摄像机33用于拍摄利用图像增强器32进行影像化得到的图像；以及c型臂13，其用于支承这些x射线照射部和x射线检测部。

c型臂13具有圆弧状的形状，用于支承x射线照射部和x射线检测部。该c型臂13以能够相对于臂支承部14滑动的方式被该臂支承部14支承。另外，臂支承部14以能够沿水平方向和上下方向移动的方式被装置主体11支承。通过由操作者把持省略图示的把手并使其移动来执行该c型臂13的移动。

另外，该x射线透视摄影装置具备监视器部15，该监视器部15具备：lcd等显示部17，其基于由x射线检测部检测出的x射线来显示x射线图像；以及输入部16，其由收纳式的键盘等构成。该监视器部15能够通过车轮18的作用进行移动。

接着，对本发明的第一实施方式所涉及的图像制作装置的结构进行说明。图2是示出本发明的第一实施方式所涉及的图像制作装置的控制系统的框图。

本第一实施方式所涉及的图像制作装置用于制作从包括被检者的骨部的区域的x射线图像去除骨部后的图像，该图像制作装置具备控制装置整体的控制部70，该控制部70具备作为执行逻辑运算的处理器的cpu、保存有装置的控制所需的动作程序的rom以及在控制时暂时存储数据等的ram等。该控制部70与图1所示的x射线透视摄影装置71连接。另外，该控制部70以在线或离线的方式与ct摄影装置72连接，该ct摄影装置72对被检者执行ct摄影并存储其ct图像。

如后文所述，该控制部70具备：drr图像制作部81，其针对包括被检者的骨部的区域的ct图像数据，进行模拟了x射线照射部和x射线检测部对被检者的几何学透视条件的虚拟透视投影，由此制作包括骨部的区域的第一drr图像和表示骨部的第二drr图像；学习部82，其通过使用第一drr图像和作为教师图像的第二drr图像执行机器学习，来学习用于识别骨部的学习模型；图像制作部83，其通过利用由学习部82学习到的学习完毕学习模型对包括被检者的骨部的区域的x射线图像进行变换，来制作表示骨部的图像；以及骨部减法部84，其从包括被检者的骨部的区域的x射线图像减去表示骨部的图像。

接着，对通过使用具有如上所述的结构的图像制作装置来检测被检者的骨部的区域、并制作从包括被检者的骨部的区域的x射线图像去除骨部后的图像的动作进行说明。

首先，对用于确定骨部的位置的基本想法进行说明。图3是用于说明由本发明所涉及的图像制作装置利用机器学习来检测被检者的特定部位的工序的示意图。

为了利用机器学习确定骨部的位置，首先对学习模型进行学习。在该学习模型学习工序中，将包括特定部位的区域的第一drr图像作为输入层，将表示特定部位的第二drr图像作为输出层，通过机器学习来学习作为学习模型而使用的卷积层。接着，检测骨部的区域。在该骨部区域检测工序中，将x射线透视图像作为输入层，利用先前学习到的学习完毕学习模型进行变换，由此制作作为输出层的表示骨部的区域的图像。

接着，详细地说明基于这种工序的特定部位的位置的检测动作。图4是示出由本发明的第一实施方式所涉及的图像制作装置制作从包括被检者的骨部的区域的x射线图像去除骨部后的图像的动作的流程图。

在执行图像制作动作时，在对被检者执行x射线透视之前，由图2所示的drr图像制作部81针对从ct摄影装置72获取到的四维ct图像数据，进行模拟了图1所示的x射线透视摄影装置的x射线照射部和x射线检测部的几何学透视条件的虚拟透视投影，由此制作表示包括骨部的区域的第一drr图像和表示骨部的第二drr图像(步骤s11)。此时，在制作表示骨部的第二drr图像时，将ct值为固定值以上的区域作为骨部的区域来制作drr图像。例如，将ct值为200hu(hounsfieldunit：亨氏单位)以上的区域认定为骨部的区域，来制作drr图像。在此，四维ct数据是指在连续的多个呼吸相位下随时间经过连续地拍摄到的包括骨部的区域的三维的ct图像数据群。此外，也可以使用三维ct数据来代替使用四维ct数据。

图5是示意性地示出通过模拟了x射线透视摄影装置的x射线照射部100和x射线检测部200的几何学透视条件的虚拟透视摄影来制作drr图像的状态的说明图。

在图5中，附图标记300表示ct图像数据。该ct图像数据300是作为多个二维的ct图像数据的集合的、三维的体素数据。该ct图像数据300例如具有在横穿被检者的方向(图5所示的沿着线段l1或l2的方向)上层叠有200张左右的512×512像素的二维图像的构造。

在由drr图像制作部81制作drr图像时，对ct图像数据300虚拟地进行透视投影。此时，在计算机上配置三维的ct图像数据300。然后，在计算机上再现作为x射线摄影系统的几何学配置的几何形状。在本实施方式中，以夹着ct图像数据300的方式在两侧配置x射线照射部100和x射线检测部200。这些ct图像数据300、x射线照射部100以及x射线检测部200的配置为与利用图1所示的x射线透视摄影装置执行x射线透视时的被检者、由x射线管21和准直器23构成的x射线照射部以及由图像增强器32和摄像机33构成的x射线检测部的配置相同的几何形状。在此，几何形状是指摄影对象、x射线照射部100以及x射线检测部200的几何学配置关系。

在该状态下，设定经由ct图像数据300的各像素将x射线照射部100与x射线检测部200的各像素连接的多条线段l。此外，在图5中，为了便于说明，图示了两条线段l1、l2。而且，在该线段l上分别设定多个计算点。然后，对各计算点的ct值进行运算。在对该ct值进行运算时，利用计算点的周围的ct数据体素中的ct值执行插值。然后，对线段l上的各计算点的ct值进行累计。该累计值被变换为线衰减系数的线积分，从而通过计算x射线的衰减来制作drr图像。

在制作该drr图像时，使包括投影坐标和角度中的至少一方的用于制作drr图像的参数相对于ct图像数据300变化，来制作drr图像。或者，执行包括轻微的平移、旋转、变形以及放大缩小中的至少一方的图像处理。之所以执行该平移、旋转、变形、放大缩小，是由于即使在执行x射线透视时x射线照射部和x射线检测部进行了移动的情况下，也能够更加可靠地追踪特定部位。

在此，作为drr图像的基础的ct图像数据300的帧频比x射线透视图像的帧频小，但通过改变用于制作drr图像的参数，能够模拟drr图像中的帧间的骨部，能够更准确地检测骨部的区域。

另外，对制作出的drr图像执行对比度变化、噪声附加以及边缘强调中的至少一种处理。之所以执行该对比度变化、噪声附加、边缘强调，是为了吸收drr图像和x射线图像的画质的差异，从而能够更可靠地识别骨部的区域。

以在规定的范围内随机地或等间隔地施加各种变化的方式来实施上述的投影坐标和角度等用于制作drr图像的参数的变化、或者对比度变化、噪声附加、边缘强调。由此，能够根据被检者一人的ct图像数据300制作大量的drr图像。因此，能够使用像这样制作出的大量的drr图像来学习与各患者对应的定制的学习模型。此外，也能够利用多个患者的drr图像来进行学习模型的学习。

此外，在制作第一drr图像时和制作第二drr图像时，在同一条件下使几何学透视条件的包括投影坐标和角度的参数变化，或者在同一条件下实施包括图像的旋转、变形、放大缩小的图像处理。

图6是以这种方式制作出的表示包括骨部41和软组织42的区域的第一drr图像d11的概要图，图7是表示骨部41的第二drr图像d12的概要图。此外，如上所述，通过对ct值为200hu以上的区域进行累计来制作第二drr图像d12。

如果以上的工序结束，则由学习部82将第一drr图像d11作为输入层、将第二drr图像d12作为输出层来执行机器学习，由此学习用于识别骨部41的学习模型(步骤s12)。在该机器学习时，例如使用fcn(fullyconvolutionalnetworks：全卷积神经网络)。在fcn中使用的卷积神经网络为如上述图3那样的结构。即，在对学习模型进行学习的情况下，输入层是第一drr图像d11，输出层是第二drr图像d12。

如果通过以上的工序学习了学习模型，则接着开始对被检者进行x射线透视(步骤s13)。图8是通过该x射线透视得到的x射线图像x11的概要图。在该x射线图像x11中显示有骨部41和软组织42。此外，在x射线透视中，以规定的帧频获取多个x射线图像，但在图8中示出其中一帧的x射线图像。在以下的说明中也同样。

接着，由图像制作部83利用先前学习到的学习模型(卷积层)进行变换，由此制作骨部41的图像(步骤s14)。即，针对通过x射线透视以规定的帧频得到的x射线图像，使用先前学习到的学习模型来按每一帧的x射线图像制作表示骨部41的x射线图像作为输出层。图9是通过变换得到的骨部41的x射线图像x12的概要图。

然后，通过骨部减法部84从被检者的x射线图像x11减去通过变换得到的骨部41的x射线图像x12(步骤s15)。由此，能够制作从包括被检者的骨部的区域的x射线图像去除骨部后的图像。图10是示出从被检者的x射线图像x11去除骨部41后的图像x13的概要图。

如上所述，根据本发明所涉及的图像制作装置，将第一drr图像d11作为输入层，将第二drr图像d12作为输出层，通过机器学习来学习作为学习模型而使用的卷积层，接着将x射线图像x11作为输入层，利用先前学习到的学习完毕学习模型进行变换，由此获得作为输出层的表示骨部41的x射线图像x12。因此，能够实时地获得表示骨部41的图像。然后，通过从x射线图像x11减去表示骨部的x射线图像x12，能够获得排除骨部后的图像x13。

此外，在上述实施方式中，也可以在利用高斯滤波器等将x射线透视图像变模糊后输入到学习模型中。一般来说，由于drr图像是根据低分辨率的ct图像制作的，因此与x射线透视图像相比，drr图像为低分辨率。因此，通过使x射线透视图像变模糊，在降低噪声的同时使x射线透视图像变为与学习时的drr图像同等的分辨率，由此能够更可靠地识别特定部位。另外，在上述实施方式中，向学习模型输入的drr图像和x射线透视图像也可以在预先进行了对比度归一化之后进行输入。另外，也可以在中间层加入局部对比度归一化层或局部响应归一化层。这在以下的实施方式中也是同样的。

在上述实施方式中，选择骨部来作为被检者的特定部位。然而，与此相反，也可以选择骨部以外的区域来作为被检者的特定部位。以下，对这样的变形例进行说明。图11是示出本发明的第一实施方式的变形例所涉及的图像制作装置的控制系统的框图。此外，对与图2所示的控制系统相同的构件标注相同的附图标记并省略详细的说明。

本第一实施方式的变形例所涉及的图像制作装置的控制部70的drr图像制作部81针对包括被检者的骨部的区域的ct图像数据，进行模拟了x射线照射部和x射线检测部对被检者的几何学透视条件的虚拟透视投影，由此制作包括骨部的区域的第一drr图像和表示骨部以外的区域(软组织)的第二drr图像。另外，学习部82通过使用第一drr图像和作为教师图像的第二drr图像执行机器学习，来学习用于识别骨部以外的区域的学习模型。而且，图像制作部83通过利用由学习部82学习到的学习完毕学习模型对包括被检者的骨部的区域的x射线图像进行变换，来制作表示骨部以外的区域的图像。在本变形例中，控制部70不具备图2所示的骨部减法部84。

图12是示出由本变形例所涉及的图像制作装置制作从包括被检者的骨部的区域的x射线图像去除骨部后的图像的动作的流程图。

在执行图像制作动作时，在对被检者执行x射线透视之前，由图2所示的drr图像制作部81针对从ct摄影装置72获取到的四维ct图像数据，进行模拟了图1所示的x射线透视摄影装置的x射线照射部和x射线检测部的几何学透视条件的虚拟透视投影，由此制作表示包括骨部的区域的第一drr图像和表示骨部以外的区域的第二drr图像(步骤s21)。此时，在制作表示骨部以外的区域的第二drr图像时，将ct值为固定值以下的区域作为骨部以外的区域来制作drr图像。例如，将ct值为200hu以下的区域认定为骨部的区域来制作drr图像。

如果以上的工序结束，则由学习部82将第一drr图像作为输入层、将第二drr图像作为输出层来执行机器学习，由此学习用于识别骨部以外的区域的学习模型(步骤s22)。在该机器学习时，例如也使用fcn(fullyconvolutionalnetworks)。

如果通过以上的工序学习了学习模型，则接着开始对被检者进行x射线透视(步骤s23)。

接着，通过由图像制作部83利用先前学习到的学习模型(卷积层)进行变换，来制作骨部以外的区域的图像(步骤s24)。即，针对通过x射线透视以规定的帧频得到的x射线图像，使用先前学习到的学习模型来按每一帧的x射线图像制作表示骨部以外的区域(软组织)的x射线图像作为输出层。

如上所述，根据本变形例所涉及的图像制作装置，将第一drr图像作为输入层，将第二drr图像作为输出层，通过机器学习来学习作为学习模型而使用的卷积层，接着，将x射线图像作为输入层，利用先前学习到的学习完毕学习模型进行变换，由此获得作为输出层的表示骨部以外的区域的x射线图像，因此能够实时地获得排除骨部后的图像。

接着，对本发明的第二实施方式所涉及的图像制作装置的结构进行说明。图13是示出本发明的第二实施方式所涉及的图像制作装置的控制系统的框图。

本第二实施方式所涉及的图像制作装置用于制作被检者的被注入了造影剂的血管的图像，与第一实施方式所涉及的图像制作装置同样地，具备控制装置整体的控制部70。该控制部70与图1所示的x射线透视摄影装置71连接。另外，该控制部70以在线或离线的方式与ct摄影装置72连接，该ct摄影装置72对被检者执行ct摄影并存储其ct图像。

如后文所述，该控制部70具备：drr图像制作部81，其针对包括被检者的血管的区域的ct图像数据，进行模拟了x射线照射部和x射线检测部对被检者的几何学透视条件的虚拟透视投影，由此制作表示包括血管的区域的第一drr图像和表示血管的第二drr图像；学习部82，其通过使用第一drr图像和作为教师图像的第二drr图像执行机器学习，来学习用于识别血管的学习模型；图像制作部83，其通过利用由学习部82学习到的学习完毕学习模型对包括被检者的血管的区域的x射线图像进行变换，来制作表示血管的图像；以及血管加法部85，其对x射线图像加上表示被注入了造影剂的血管的图像。在此，第一drr图像是从包括被注入了造影剂的血管的drr图像排除被注入了造影剂的血管后的drr图像。

接着，对通过使用具有如上所述的结构的图像制作装置来检测被检者的被注入了造影剂的血管的区域、并制作被检者的被注入了造影剂的血管的图像的动作进行说明。图14是示出由本发明的第二实施方式所涉及的图像制作装置制作被检者的被注入了造影剂的血管的图像的动作的流程图。此外，用于确定被检者的被注入了造影剂的血管的基本想法与上述第一实施方式的图3的工序相同。

在执行图像制作动作时，在对被检者执行x射线透视之前，由图13所示的drr图像制作部81针对从ct摄影装置72获取到的四维ct图像数据，进行模拟了图1所示的x射线透视摄影装置的x射线照射部和x射线检测部的几何学透视条件的虚拟透视投影，由此制作表示包括被注入了造影剂的血管的区域的第一drr图像和表示被注入了造影剂的血管的第二drr图像(步骤s31)。此时使用的ct图像是向血管注入了造影剂后的ct图像(造影ct图像)。在此，在制作表示被注入了造影剂的血管的第二drr图像时，操作者指定ct值处于规定范围的区域，来制作drr图像。此时，例如操作者能够指定血管的区域，将ct值与该区域一致且连续的区域识别为血管的区域。另外，也可以根据解剖学信息来识别血管的区域。

在制作该第一drr图像、第二drr图像时，与第一实施方式同样地，执行图5所示的虚拟投影。在制作该drr图像时，与第一实施方式同样地，使包括投影坐标和角度中的至少一方的用于制作drr图像的参数相对于ct图像数据300变化，来制作drr图像。或者，执行包括微小的平移、旋转、变形以及放大缩小中的至少一方的图像处理。另外，与第一实施方式同样地，对制作出的drr图像执行对比度变化、噪声附加以及边缘强调中的至少一种处理。

图15是像这样制作出的表示心脏51的第一drr图像d21的概要图，图16是表示被注入了造影剂的血管52的第二drr图像d22的概要图。此外，该第一drr图像d21为从心脏51和被注入了造影剂的血管52排除被注入了造影剂的血管52所得到的drr图像。

如果以上的工序结束，则由学习部82将第一drr图像d21作为输入层、将第二drr图像d22作为输出层来执行机器学习，由此学习用于识别被注入了造影剂的血管52的学习模型(步骤s32)。在该机器学习时，例如也使用fcn。在fcn中使用的卷积神经网络为如上述图3所示的结构。即，在对学习模型进行学习的情况下，输入层是第一drr图像d21，输出层是第二drr图像d22。

如果通过以上的工序学习了学习模型，则接着开始对被检者进行x射线透视(步骤s33)。图17是通过x射线透视得到的x射线图像x21的概要图。此外，在没有向被检者注入造影剂的状态下执行x射线透视。因此，在x射线图像x21中没有明确地显示血管。

接着，通过由图像制作部83利用先前学习到的学习模型(卷积层)进行变换，来制作被注入了造影剂的血管52的图像(步骤s34)。即，针对通过x射线透视以规定的帧频得到的x射线图像，使用先前学习到的学习模型来按每一帧的x射线图像制作表示被注入了造影剂的血管52的x射线图像作为输出层。图18是通过变换得到的被注入了造影剂的血管52的x射线图像x22的概要图。

然后，通过血管加法部85对被检者的x射线图像x21加上通过变换得到的被注入了造影剂的血管52的x射线图像x22(步骤s35)。即，能够通过血管52的x射线图像x22来明确地识别被注入了造影剂的血管52，但为了将其与心脏51等同时进行识别，对被检者的x射线图像x21加上通过变换得到的被注入了造影剂的血管52的x射线图像x22。此时，也可以通过对被注入了造影剂的血管52进行着色，来强调显示被注入了造影剂的血管52。

此外，在上述说明中，使用了不存在被注入了造影剂的血管52的图像作为第一drr图像d21和x射线图像x21。然而，也可以使用存在心脏51和被注入了造影剂的血管52这两者的图像作为第一drr图像d21和x射线图像x21。

在该情况下，在第一drr图像中显示心脏51和血管52。图19是此时的第一drr图像d21的概要图。而且，在被检者的体内存在造影剂的状态下执行x射线透视摄影。图20是通过此时的x射线透视得到的x射线图像x21的概要图。在该情况下，也能够通过与上述实施方式同样的方法来获得图18所示的被注入了造影剂的血管52的x射线图像x22。此外，在不排除被注入了造影剂的血管的图像的情况下，不需要图14所示的血管加法工序(步骤s35)。

接着，对本发明的第三实施方式所涉及的图像制作装置的结构进行说明。图21是示出本发明的第三实施方式所涉及的图像制作装置的控制系统的框图。

本第三实施方式所涉及的图像制作装置用于制作对被检者的x射线图像追加被留置在被检者的体内的生物体吸收性支架等支架后的图像，与第一、第二实施方式所涉及的图像制作装置同样地，具备控制装置整体的控制部70。该控制部70与图1所示的x射线透视摄影装置71连接。另外，该控制部70以在线或离线的方式与ct摄影装置72连接，该ct摄影装置72对被检者执行ct摄影并存储其ct图像。

如后文所述，该控制部70具备：drr图像制作部81，其通过针对包括被留置在被检者的体内的支架的区域的ct图像数据，进行模拟了x射线照射部和x射线检测部对被检者的几何学透视条件的虚拟透视投影，来制作表示包括支架的区域的第一drr图像和表示支架的第二drr图像；学习部82，其通过使用第一drr图像和作为教师图像的所述第二drr图像执行机器学习，来学习用于识别支架的学习模型；图像制作部83，其通过利用由学习部82学习到的学习完毕学习模型对包括被留置在被检者的体内的支架的区域的x射线图像进行变换，来制作表示支架的图像；以及支架加法部86，其对留置有支架的区域的x射线图像加上表示支架的x射线图像。

接着，对通过使用具有如上所述的结构的图像制作装置来检测被留置在被检者体内的支架的区域、并制作被留置在被检者体内的支架的图像的动作进行说明。图22是示出由本发明的第三实施方式所涉及的图像制作装置制作被留置在被检者体内的支架的图像的动作的流程图。此外，用于确定被留置在被检者体内的支架的基本想法与上述第一实施方式的图3的工序相同。

在执行图像制作动作时，在对被检者执行x射线透视之前，由图21所示的drr图像制作部81针对从ct摄影装置72获取到的四维ct图像数据，进行模拟了图1所示的x射线透视摄影装置的x射线照射部和x射线检测部的几何学透视条件的虚拟透视投影，由此制作表示包括被留置在被检者体内的支架的区域的第一drr图像和表示被留置在被检者体内的支架的第二drr图像(步骤s41)。此时，在制作表示被留置在被检者体内的支架的第二drr图像时，操作者指定ct值处于规定范围的区域来制作drr图像。此外，在如使用生物体吸收性支架作为支架的情况那样难以在ct图像上识别支架的区域的情况下，例如通过操作者在ct图像上配设支架的单独图像来制作表示支架的第二drr图像即可。

在制作该第一drr图像、第二drr图像时，与第一实施方式同样地执行图5所示的虚拟投影。在制作该drr图像时，与第一实施方式同样地，使包括投影坐标和角度中的至少一方的用于制作drr图像的参数相对于ct图像数据300变化，来制作drr图像。或者，执行包括微小的平移、旋转、变形以及放大缩小中的至少一方的图像处理。另外，与第一实施方式同样地，对制作出的drr图像执行对比度变化、噪声附加以及边缘强调中的至少一种处理。

图23是示出像这样制作出的表示心脏61、血管62以及支架63的第一drr图像d31的概要图，图24是表示支架63的第二drr图像d32的概要图。此外，如上所述，在第一drr图像d31中，也有时无法识别支架63。

如果以上的工序结束，则由学习部82将第一drr图像d31作为输入层、将第二drr图像d32作为输出层执行机器学习，由此学习用于识别被留置在被检者体内的支架63的学习模型(步骤s42)。在该机器学习时，例如也使用fcn。在fcn中使用的卷积神经网络为如上述图3那样的结构。即，在对学习模型进行学习的情况下，输入层是第一drr图像d31，输出层是第二drr图像d32。

如果通过以上工序学习了学习模型，则接着开始对被检者进行x射线透视(步骤s43)。图25是通过该x射线透视得到的x射线图像x31的概要图。在该x射线图像x31中没有显示支架63。

接着，通过由图像制作部83利用先前学习到的学习模型(卷积层)进行变换，来制作被留置在被检者体内的支架63的图像(步骤s44)。即，针对通过x射线透视以规定的帧频得到的x射线透视图像，使用先前学习到的学习模型来按每一帧的x射线图像制作表示被留置在被检者体内的支架63的x射线图像作为输出层。图26是在通过变换得到的被留置在被检者体内的支架63的x射线图像x32的概要图。

然后，通过支架加法部86对被检者的x射线图像x31加上通过变换得到的被留置在被检者体内的支架63的x射线图像x32(步骤s45)。图27是表示心脏61、血管62以及支架63的x射线图像x33的概要图。

由此，能够获得对显示有被检者的心脏61和血管62的x射线图像x31叠加了支架63所得到的x射线图像x33。因此，即使在使用了如生物体吸收性支架那样在x射线透视中无法识别的支架作为支架63的情况下，也能够根据支架63的周围的特征量确定支架63的位置，并将该支架63与被检者的心脏61及血管62等一起在x射线图像x33上进行识别。

附图标记说明

11：装置主体；13：c型臂；15：监视器部；16：输入部；17：显示部；21：x射线管；23：准直器；41：骨部；42：软组织；51：心脏；52：血管；61：心脏；62：血管；63：支架；70：控制部；71：x射线透视摄影装置；72：ct摄影装置；81：drr图像制作部；82：学习部；83：图像制作部；84：骨部减法部；85：血管加法部；86：支架加法部。