放射线图像处理方法、学习完毕模型、放射线图像处理模块、放射线图像处理程序、放射线图像处理系统及机器学习方法与流程

1.实施方式的一个方面涉及一种放射线图像处理方法、学习完毕模型、放射线图像处理模块、放射线图像处理程序、放射线图像处理系统及机器学习方法。


背景技术：

2.目前已知以图像数据为对象进行使用了通过深度学习等机器学习而构建的学习完毕的模型噪声去除的方法(例如，参照下述专利文献1)。根据该方法，由于自动地去除来自图像数据的噪声，因此可高精度地观察对象物。
3.现有技术文献
4.专利文献
5.专利文献1：日本特开2019-91393号公报


技术实现要素：

6.发明要解决的技术问题
7.在如上述的现有的方法中，在将通过使x射线等放射线透过对象物而产生的放射线图像作为对象的情况下，有时噪声的去除不充分。例如，存在如下倾向：根据x射线源等放射线产生源的条件、所使用的滤波器(filter)的种类等条件，图像的亮度与噪声的关系容易变动，无法有效地去除噪声。
8.因此，实施方式的一个方面是鉴于上述问题而完成的，其问题在于，提供一种可有效地去除放射线图像的噪声的放射线图像处理方法、学习完毕模型、放射线图像处理模块、放射线图像处理程序、放射线图像处理系统及机器学习方法。
9.解决课题的技术手段
10.实施方式的一个方面的放射线图像处理方法具备：输入照射放射线并拍摄对象物时的放射线的产生源的条件、或表示任意的拍摄条件的条件信息的步骤；基于条件信息，算出与透过对象物的放射线相关的平均能量的步骤；及基于平均能量，从预先使用图像数据通过机器学习分别构建的多个学习完毕模型中，筛选学习完毕模型的候选的步骤。
11.或者，实施方式的其他方面的学习完毕模型，是用于上述的放射线图像处理方法的学习完毕模型，该学习完毕模型使用图像数据通过机器学习而构建，使处理器执行从对象物的放射线图像去除噪声的图像处理。
12.或者，实施方式的其他方面的放射线图像处理模块具备：输入部，其接收照射放射线并拍摄对象物时的放射线的产生源的条件、或表示任意的拍摄条件的条件信息的输入；算出部，其基于条件信息，算出与透过对象物的放射线相关的平均能量；及筛选部，其基于平均能量，从预先使用图像数据通过机器学习分别构建的多个学习完毕模型中，筛选学习完毕模型的候选。
13.或者，实施方式的其他方面的放射线图像处理程序使处理器作为输入部、算出部、
筛选部发挥功能，该输入部，其接收照射放射线并拍摄对象物时的放射线的产生源的条件、或表示任意的拍摄条件的条件信息的输入；该算出部，其基于条件信息，算出与透过对象物的放射线相关的平均能量；及该筛选部，其基于平均能量，从预先使用图像数据通过机器学习分别构建的多个学习完毕模型中，筛选学习完毕模型的候选。
14.或者，实施方式的其他方面的放射线图像处理系统具备：上述的放射线图像处理模块；产生源，其向对象物照射放射线；及拍摄装置，其拍摄透过对象物的放射线并取得放射线图像。
15.或者，实施方式的其他方面的机器学习方法具备：通过机器学习构建学习完毕模型的构建步骤，该学习完毕模型将训练图像用作训练数据，并输出基于训练图像去除了噪声的图像数据，其中，该训练图像为与平均能量对应的对象物的放射线图像，该平均能量是与基于照射放射线并拍摄对象物时的放射线的产生源的条件、或表示任意的拍摄条件的条件信息而算出的平均能量，并且与透过对象物的放射线相关。
16.根据上述一个方面或者其他方面的任一方面，基于取得对象物的放射线图像时的放射线的产生源的条件或拍摄条件，算出透过对象物的放射线的平均能量。并且，基于该平均能量，从预先构建的学习完毕模型中筛选用于噪声去除的学习完毕模型的候选。由此，将与拍摄对象的放射线的平均能量对应的学习完毕模型用于噪声去除，因此，可实现与放射线图像的亮度与噪声的关系对应的噪声去除。其结果为，可有效地去除放射线图像的噪声。
17.发明的效果
18.根据实施方式，可有效地去除对象物的放射线图像的噪声。
附图说明
19.图1是实施方式的图像取得装置1的概略结构图。
20.图2是示出图1的控制装置20的硬件结构的一例的框图。
21.图3是示出图1的控制装置20的功能结构的框图。
22.图4是示出用于图3的学习完毕模型206的构建的示教数据即图像数据的一例的图。
23.图5是示出用于图3的学习完毕模型206的构建的示教数据即图像数据的制作顺序的流程图。
24.图6是示出图3的选择部204的解析对象的x射线透过图像的一例的图。
25.图7是示出图3的选择部204所取得的厚度-亮度的特性曲线图的一例的图。
26.图8是示出图3的选择部204所取得的亮度-snr的特性曲线图的一例的图。
27.图9是示出用于说明由图3的选择部204执行的基于图像特性的学习完毕模型的选择功能的图。
28.图10是示出用于由图3的选择部204执行的分辨率的评估的x射线透过图像的一例的图。
29.图11是示出用于由图3的选择部204执行的亮度-噪声比的评估的的治具的结构的一例的立体图。
30.图12是示出以图11的治具为对象而获得的噪声去除处理后的x射线透过图像的图。
31.图13是示出使用图像取得装置1的观察处理的顺序的流程图。
32.图14是示出由图像取得装置1取得的噪声去除处理的前后的x射线透过图像的例的图。
33.图15是示出由图像取得装置1取得的噪声去除处理的前后的x射线透过图像的例的图。
34.图16是示出本公开的变形例的控制装置20a的功能结构的框图。
35.图17是示出使用变形例的图像取得装置1的观察处理的顺序的流程图。
具体实施方式
36.以下，参照附图，详细地说明本发明的实施方式。此外，在说明中，对相同要素或具有相同功能的要素使用相同符号，并且省略重复的说明。
37.图1是本实施方式的放射线图像处理系统即图像取得装置1的结构图。如图1所示，图像取得装置1，对沿搬送方向td搬送的对象物f照射x射线(放射线)，并取得基于透过对象物f的x射线而拍摄了对象物f的x射线透过图像(放射线图像)的装置。图像取得装置1使用x射线透过图像，进行以对象物f为对象的异物检查、重量检查、检验品检查等，作为用途，可列举食品检查、随身行李检查、基板检查、电池检查、材料检查等。图像取得装置1构成为具备：带式输送机(搬送机构)60、x射线照射器(放射线产生源)50、x射线检测相机(拍摄装置)10、控制装置(放射线图像处理模块)20、显示装置30、及用于进行各种输入的输入装置40。此外，本发明的实施方式的放射线图像并不限于x射线图像，也包含通过γ线等x射线以外的电磁放射线而产生的图像。
38.带式输送机60具有载置有对象物f的带部，通过使该带部沿搬送方向td移动，而将对象物f以规定的搬送速度沿搬送方向td搬送。对象物f的搬送速度例如为48m/分钟。带式输送机60可根据需要，将搬送速度变更为例如24m/分钟、或96m/分钟等搬送速度。另外，带式输送机60可适当变更带部的高度位置，变更x射线照射器50与对象物f的距离。此外，作为由带式输送机60搬送的对象物f，例如可列举食用肉、海鲜、农作物、点心等食品、轮胎等橡胶产品、树脂产品、金属产品、矿物等资源材料、废弃物、及电子部件或电子基板等各种物品。x射线照射器50是作为x射线源将x射线向对象物f照射(输出)的装置。x射线照射器50是点光源，沿一定的照射方向在规定的角度范围使x射线扩散地照射。x射线照射器50，以x射线的照射方向朝向带式输送机60，并且扩散的x射线达到对象物f的宽度方向(与搬送方向td交叉的方向)整体的方式，从带式输送机60分开规定的距离地配置在带式输送机60的上方。另外，x射线照射器50，在对象物f的长度方向(与搬送方向td平行的方向)上，将长度方向上的规定的分割范围设为照射范围，并且对象物f被带式输送机60向搬送方向td搬送，从而，对对象物f的长度方向整体照射x射线。x射线照射器50通过控制装置20设定管电压及管电流，将与所设定的管电压及管电流相对应的规定的能量、放射线量的x射线朝向带式输送机60照射。另外，在x射线照射器50的带式输送机60侧的附近，设置有使x射线的规定波长频带透过的滤波器51。
39.x射线检测相机10检测由x射线照射器50向对象物f照射的x射线中的、透过对象物f的x射线，并输出基于该x射线的信号。x射线检测相机10是配置有2组检测x射线的结构的双线路x射线相机。在本实施方式的图像取得装置1中，基于由双线路x射线相机各自的线路
(第1线路及第2线路)检测的x射线，分别生成x射线透过图像。并且，通过对生成的2个x射线透过图像进行平均处理或加法处理等，从而与基于由1条线路检测的x射线而生成x射线透过图像的情况相比，可以以较少的x射线量取得鲜明的(亮度大的)图像。
40.x射线检测相机10具有：滤波器19；闪烁器11a、11b；线扫描相机12a、12b；传感器控制部13；放大器14a、14b；ad转换器15a、15b；修正电路16a、16b；输出接口17a、17b；及放大器控制部18。闪烁器11a、线扫描相机12a、放大器14a、ad转换器15a、修正电路16a、及输出接口17a分别电连接，是第1线路的结构。另外，闪烁器11b、线扫描相机12b、放大器14b、ad转换器15b、修正电路16b、及输出接口17b分别电连接，是第2线路的结构。第1线路的线扫描相机12a与第2线路的线扫描相机12b沿着搬送方向td排列地配置。此外，在以下中，对于在第1线路与第2线路中共通的结构，以第1线路的结构为代表进行说明。
41.闪烁器11a通过粘接等固定在线扫描相机12a上，将透过对象物f的x射线转换成闪烁光。闪烁器11a将闪烁光输出至线扫描相机12a。滤波器19使x射线的规定波长频带朝向闪烁器11a地透过。
42.线扫描相机12a检测来自闪烁器11a的闪烁光，并转换成电荷，作为检测信号(电信号)输出至放大器14a。线扫描相机12a具有沿与搬送方向td交叉的方向排列的多个线传感器(line sensor)。线传感器例如是ccd(charge coupled device)图像传感器或cmos(complementary metal-oxide semiconductor)图像传感器等，包含多个光电二极管。
43.传感器控制部13以线扫描相机12a、12b可拍摄透过对象物f的相同区域的x射线的方式，控制线扫描相机12a、12b以规定的检测周期重复拍摄。规定的检测周期例如也可基于线扫描相机12a、12b间的距离、带式输送机60的速度、x射线照射器50与带式输送机60上的对象物f的距离(fod(focus object distance：线源物体间距离))、以及x射线照射器50与线扫描相机12a、12b的距离(fdd(focus detector distance：线源传感器间距离))，设定线扫描相机12a、12b共通的周期。另外，规定的周期也可基于线扫描相机12a、12b各自的与线传感器的像素排列方向正交的方向的光电二极管的像素宽度，分别个别地设定。在该情况下，也可根据线扫描相机12a、12b间的距离、带式输送机60的速度、x射线照射器50与带式输送机60上的对象物f的距离(fod)、以及x射线照射器50与线扫描相机12a、12b的距离(fdd)，确定线扫描相机12a、12b间的检测周期的偏移(延迟时间)，并分别设定个别的周期。放大器14a以规定的设定放大率将检测信号放大并产生放大信号，并将该放大信号输出至ad转换器15a。设定放大率是通过放大器控制部18设定的放大率。放大器控制部18基于规定的拍摄条件，设定放大器14a、14b的设定放大率。
44.ad转换器15a将由放大器14a输出的放大信号(电压信号)转换成数字信号，并输出至修正电路16a。修正电路16a对数字信号进行信号放大等规定的修正，并将修正后的数字信号输出至输出接口17a。输出接口17a将数字信号输出至x射线检测相机10外部。在图1中，ad转换器、修正电路、或输出接口分别个别地存在，但也可集成一个。
45.控制装置20例如是pc(personal computer)等计算机。控制装置20基于从x射线检测相机10(更详细而言，输出接口17a、17b)输出的数字信号(放大信号)产生x射线透过图像。控制装置20通过将从输出接口17a、17b输出的2个数字信号进行平均处理或加法处理，而产生1个x射线透过图像。产生的x射线透过图像在实施后述的噪声去除处理之后被输出至显示装置30，并由显示装置30显示。另外，控制装置20控制x射线照射器50、放大器控制部
18、及传感器控制部13。此外，本实施方式的控制装置20是独立地设置在x射线检测相机10的外部的装置，但也可在x射线检测相机10的内部一体化。
46.图2示出控制装置20的硬件结构。如图2所示，控制装置20是在物理上包含作为处理器的cpu(central processing unit)101、作为记录介质的ram(random access memory)102或rom(read only memory)103、通信模块104、及输入输出模块106等的计算机等，各个电连接。此外，控制装置20也可包含显示器、键盘、鼠标、触控面板显示器(touch panel display)等作为输入装置40及显示装置30，也可包含硬盘驱动器、半导体内存等数据记录装置。另外，控制装置20也可由多个计算机构成。
47.图3是示出控制装置20的功能结构的框图。控制装置20具备：输入部201、算出部202、筛选部203、选择部204、及处理部205。图3所示的控制装置20的各功能部通过以下而实现，即，通过在cpu 101及ram 102等硬件上读入程序(本实施方式的放射线图像处理程序)，来在cpu 101的控制下，使通信模块104、及输入输出模块106等动作，并且进行ram 102的数据的读出及写入。控制装置20的cpu 101通过执行该计算机程序而使控制装置20作为图3的各功能部发挥功能，依次执行与后述的放射线图像处理方法对应的处理。此外，cpu也可为单体的硬件，也可如软件处理器那样地安装在如fpga的可程序化逻辑器之中。关于ram或rom，也可为单体的硬件，也可内置在如fpga的可程序化逻辑器之中。执行该计算机程序所需的各种数据、及通过执行该计算机程序而产生的各种数据全部储存在rom 103、ram 102等内置内存、或硬盘驱动器等记忆介质。
48.另外，在控制装置20，预先储存有：多个学习完毕模型206，其通过被cpu 101读入，而使cpu 101以x射线透过图像为对象执行噪声去除处理。多个学习完毕模型206分别是以图像数据作为示教数据预先构建的由机器学习产生的学习模型。关于机器学习，有示教学习、深层学习(deep learning)、或者强化学习、神经网络学习等。在本实施方式中，作为深度学习的算法的一例，采用张凯(kai zhang)等的论文“beyond a gaussian denoiser:residual learning of deep cnn for image denoising”中记载的二维的卷积神经网络。多个学习完毕模型206也可由外部的计算机等产生并下载至控制装置20，也可在控制装置20内产生。
49.在图4中，示出用于学习完毕模型206的构建的示教数据即图像数据的一例。作为示教数据，可使用以各种厚度、各种材质、及各种分辨率的图案为拍摄对象的x射线透过图像。图4所示的例子是以鸡肉为对象而产生的x射线透过图像的例子。该图像数据也可使用实际地使用图像取得装置1以多种对象物为对象而产生的x射线透过图像，也可使用通过仿真计算而产生的图像数据。关于x射线透过图像，也可为使用与图像取得装置1不同的装置而取得的图像。另外，也可将x射线透过图像与通过仿真计算而产生的图像数据组合使用。多个学习完毕模型206分别使用以平均能量不同的透过x射线为对象而获得的图像数据且噪声分布为已知的图像数据来预先构建。图像数据的x射线的平均能量，分别通过设定图像取得装置1的x射线照射器(放射线产生源)50的动作条件、或图像取得装置1的拍摄条件等，或者通过设定仿真计算时的x射线照射器50的动作条件或拍摄条件，来预先设定成不同的值(关于通过动作条件或拍摄条件的平均能量的设定方法将于后述。)。即，多个学习完毕模型206，将训练图像用作训练数据，通过机器学习而进行构建(构建步骤)，其中，训练图像为与基于表示拍摄对象物f的x射线透过图像时的x射线照射器(放射线产生源)50的动作条
件、或x射线检测相机10的拍摄条件等的条件信息而算出的、与透过对象物f的x射线相关的平均能量对应的x射线图像。例如，在本实施方式中，多个学习完毕模型206分别使用多个帧(frame)(例如，20000帧)平均能量设定为10kev、20kev、30kev、
…
及10kev刻度的值的多种图像数据而构建。
50.图5示出用于学习完毕模型206的构建的示教数据即图像数据的制作顺序的流程图。
51.示教数据即图像数据(也称为示教图像数据。)由计算机按照以下的顺序而制作。首先，制作具有规定的结构的结构体的图像(结构体图像)(步骤s101)。例如，也可通过仿真计算制作具有规定的结构的结构体的图像。另外，也可取得具有规定的结构的图表(chart)等的结构体的x射线图像而制作结构体图像。接着，针对从构成该结构体图像的多个像素中选择的一个像素，算出像素值的标准偏差即σ(sigma)值(步骤s102)。然后，基于在步骤s102中求得的σ值设定表示噪声分布的正态分布(泊松分布)(步骤s103)。如此，可通过基于σ值设定正态分布，来产生各种噪声条件的示教数据。接着，依照在步骤s103中基于σ值设定的正态分布，算出随机设定的噪声值(步骤s104)。进而，通过对一个像素的像素值附加在步骤s104中求得的噪声值，产生构成示教数据即图像数据的像素值(步骤s105)。分别对构成结构体图像的多个像素进行步骤s102至步骤s105的处理(步骤s106)，产生成为示教数据的示教图像数据(步骤s107)。另外，在还需要示教图像数据的情况下，判断对其他的结构体图像进行步骤s101至步骤s107的处理(步骤s108)，产生成为示教数据的其他的示教图像数据。此外，其他的构造体图像也可为具有相同结构的结构体的图像，也可为具有其他的结构的结构体的图像。
52.此外，用于学习完毕模型206的构建的示教数据即图像数据需要准备多个。另外，结构体图像中，噪声少的图像较佳，理想地，无噪声的图像较佳。因此，若通过仿真计算而产生结构体图像，则可产生多个无噪声的图像，因此，通过仿真计算，产生结构体图像是有效的。
53.以下，返回图3，对控制装置20的各功能部的功能的详情进行说明。
54.输入部201从图像取得装置1的用户接收拍摄对象物f的x射线透过图像时的x射线照射器(放射线产生源)50的动作条件、或者表示x射线检测相机10的拍摄条件等的条件信息的输入。作为动作条件，可列举管电压、靶(target)角度、靶的材料等中的全部或一部分。作为表示拍摄条件的条件信息，可列举：配置于x射线照射器50与x射线检测相机10之间的滤波器51、19(用于对象物的拍摄的相机所具备的滤波器或者产生源所具备的滤波器)的材质及厚度、x射线照射器50与x射线检测相机10的距离(fdd)、x射线检测相机10的窗材料的种类、及与x射线检测相机10的闪烁器11a、11b的材料及厚度相关的信息、x射线检测相机信息(例如，增益设定值、电路噪声值、饱和电荷量、转换系数值(电子数/count)、相机的行频(line rate)(hz)或线速度(line speed)(m/min))、对象物的信息等中的全部或一部分。输入部201也可将条件信息的输入作为数值等的信息的直接输入而接收，也可作为对预先设定于内部存储器的数值等的信息的选择输入而接收。输入部201从用户接收上述的条件信息的输入，但也可根据由控制装置20执行的控制状态的检测结果而取得一部分的条件信息(管电压等)。
55.算出部202基于由输入部201接收的条件信息，算出使用图像取得装置1透过对象
物f并通过x射线检测相机10检测的x射线(放射线)的平均能量的值。例如，算出部202，基于条件信息中包含的、管电压、靶角度、靶的材料、滤波器的材质及厚度及其有无、窗材料的种类及其有无、x射线检测相机10的闪烁器11a、11b的材料及厚度等信息，使用例如公知的tucker等的近似式算出由x射线检测相机10检测的x射线的频谱(spectrum)。并且，算出部202根据x射线的频谱，进一步算出频谱强度积分值与光子数积分值，并将频谱强度积分值除以光子数积分值，从而算出x射线的平均能量的值。
56.对于使用公知的tucker的近似式的算出方法进行记载。例如，算出部202，在将靶确定为钨，并将靶角度确定为25
°
时，可决定：em：电子靶碰撞时的运动能量、t：靶中的电子运动能量、a：由靶物质的原子序数决定的比例常数、ρ：靶的密度、μ(e)：靶物质的线减弱系数、b：和缓地变化的z与t的函数、c：thomson-whiddington常数、θ：靶角度、c：真空中的光速。进而，算出部202基于此，通过计算下述式(1)，可算出照射x射线频谱。
[0057][0058]
此外，em可根据管电压的信息决定，a、ρ、μ(e)可根据靶的材料的信息决定，θ可根据靶角度的信息决定。
[0059]
接着，算出部202可使用下述式(2)的x射线的减弱式，算出透过滤波器及对象物f并被闪烁器吸收的x射线能谱。
[0060]
i＝i0e-μx
ꢀꢀ
(2)
[0061]
此处，μ是对象物质、滤波器、闪烁器等的减弱是数，x是对象物质、滤波器、闪烁器等的厚度。μ可根据对象物、滤波器、及闪烁器的材质的信息决定，x可根据对象物、滤波器、及闪烁器的厚度的信息决定。x射线光子数谱通过将该x射线能谱除以各x射线的能量而求得。算出部202通过将能量强度的积分值除以光子数的积分值，使用下述式(3)，算出x射线的平均能量。
[0062]
平均能量e＝频谱强度积分值/光子数积分值
…
(3)
[0063]
通过上述的计算过程，算出部202算出x射线的平均能量。此外，关于x射线频谱的算出，也可使用公知的kramers、或birch等的近似式。
[0064]
筛选部203，基于由算出部202算出的平均能量的值，从预先构建的多个学习完毕模型206中，筛选学习完毕模型的候选。即，筛选部203，将算出的平均能量的值与用于多个学习完毕模型206的构建的图像数据的x射线的平均能量的值进行比较，将通过平均能量的值相近的图像数据而构建的多个学习完毕模型206筛选为候选。更具体而言，在由算出部202算出的平均能量的值为53kev的情况下，筛选部203将通过与该值的差小于规定的阈值(例如15kev)的平均能量值40kev、50kev、60kev的图像数据而构建的学习完毕模型206设为学习完毕模型的候选。
[0065]
选择部204从由筛选部203筛选的候选中，选择最终用于对象物f的x射线透过图像的噪声去除处理的学习完毕模型206。详细而言，选择部204，取得在图像取得装置1以治具为对象照射x射线并拍摄的x射线透过图像，基于该x射线透过图像的图像特性，选择最终使用的学习完毕模型206。此时，选择部204，解析能量特性、噪声特性、或者分辨率特性等作为x射线透过图像的图像特性，并基于该解析结果选择学习完毕模型206。
[0066]
更具体而言，选择部204，以作为治具，厚度及材质为已知，且x射线的平均能量与x
射线透过率的关系为已知的平板状构件为对象取得x射线透过图像，将透过治具的x射线像的亮度与透过空气的x射线像的亮度进行比较，算出治具的1点(或者多点的平均)的x射线的透过率。例如，在透过治具的x射线像的亮度为5550，透过空气的x射线像的亮度为15000的情况下，算出透过率37％。并且，选择部204将根据透过率37％而推定的透过x射线的平均能量(例如，50kev)确定为治具的x射线透过图像的能量特性。选择部204选择一个通过平均能量最接近确定的平均能量的值的图像数据而构建的学习完毕模型206。
[0067]
另外，选择部204也可解析厚度或者材质变化的治具的多点的特性，作为治具的x射线透过图像的能量特性。图6是示出选择部204的解析对象的x射线透过图像的一例的图。图6是以厚度阶梯状地变化的形状的治具为对象的x射线透过图像。选择部204根据这样的x射线透过图像选择厚度不同的多个测定区域(roi:region of interest)，解析多个测定区域的每一个的亮度平均值，取得厚度-亮度的特性曲线图作为能量特性。在图7中，示出选择部204所取得的厚度-亮度的特性曲线图的一例。
[0068]
进而，选择部204同样地，以用于构建由筛选部203筛选的学习完毕模型206的图像数据为对象，取得厚度-亮度的特性曲线图，将通过具有与以治具为对象取得的特性曲线图最接近的特性的图像数据而构建的学习完毕模型206，选作最终的学习完毕模型206。然而，用于该学习完毕模型206的构建的图像数据的图像特性也可参照预先在控制装置20的外部算出的图像特性。这样，通过设定多个测定区域，可选择最适合对象物f的x射线透过图像的噪声的学习完毕模型。特别是，可高精度地推定x射线透过图像的测定时的x射线频谱的不同或者滤波器的效果的不同。
[0069]
另外，选择部204可解析多个测定区域的每一个的亮度值与噪声作为治具的x射线透过图像的噪声特性，并且将亮度-噪声比的特性曲线图作为噪声特性而取得。即，选择部204根据x射线透过图像选择厚度或者材质不同的多个测定区域roi，解析多个测定区域roi的亮度值的标准偏差及亮度值的平均值，并取得亮度-snr(sn比)的特性曲线图作为噪声特性。此时，选择部204通过snr＝(亮度值的平均值)
÷
(亮度值的标准偏差)算出每个测定区域roi的snr。在图8中，示出选择部204所取得的亮度-snr的特性曲线图的一例。并且，选择部204将通过具有与取得的特性曲线图最接近的噪声特性的图像数据而构建的学习完毕模型206，选作最终的学习完毕模型206。
[0070]
此处，选择部204也可取得将纵轴设为根据亮度值的标准偏差计算的噪声的特性曲线图，来替代上述的亮度-snr的特性曲线图，作为噪声特性。通过使用这样的亮度-噪声的特性，可对由x射线检测相机10检测的各信号量，根据各信号量的区域的曲线图的斜率确定支配性的噪声因素(散粒噪声(shot noise)、读出噪声等)，并且基于该确定的结果选择学习完毕模型206。
[0071]
图9是用于说明由选择部204执行的基于图像特性的学习完毕模型的选择功能的图。在图9中，(a)部分示出用于多个学习完毕模型206的构建的各个图像数据的亮度-snr的特性曲线图g1、g2、g3，在(b)部分中，除了这些特性曲线图g1、g2、g3以外，还示出拍摄了治具的x射线透过图像的亮度-snr的特性曲线图g
t
。在以这样的特性曲线图g1、g2、g3、g
t
为对象的情况下，选择部204以选择通过最接近特性曲线图g
t
的特性的特性曲线图g2的图像数据而构建的学习完毕模型206的方式，发挥功能。在选择时，选择部204，在各特性曲线图g1、g2、g3与特性曲线图g
t
间，计算每一定间隔的亮度值的snr的误差，并且计算这些误差的均方误差
(rmse：root mean squared error)，选择与均方误差为最小的特性曲线图g1、g2、g3对应的学习完毕模型206。另外，选择部204在使用能量特性进行选择的情况下，也可同样地选择学习完毕模型206。
[0072]
选择部204也可以治具的x射线透过图像为对象，基于应用多个学习完毕模型执行噪声去除处理之后的图像的特性，选择学习完毕模型206。
[0073]
例如，选择部204，使用拍摄具有各种分辨率的图表的治具的x射线透过图像，对该图像应用多个学习完毕模型206，评估其结果产生的噪声去除后的图像。并且，选择部204选择用于噪声去除处理前后的分辨率的变化最小的图像的学习完毕模型206。在图10中，示出用于分辨率的评估的x射线透过图像的一例。在该x射线透过图像中，将分辨率沿着一个方向阶梯状地变化的图表设为拍摄对象。x射线透过图像的分辨率可使用mtf(modulation transfer function)或ctf(contrast transfer function)测定。
[0074]
除了上述的分辨率的变化的评估以外，选择部204也可评估噪声去除后的图像的亮度-噪声比的特性，并且选择用于产生该特性为最高的图像的学习完毕模型206。在图11中，示出用于亮度-噪声比的评估的治具的结构的一例。例如，作为治具，可使用在厚度沿一个方向阶梯状地变化的构件p1中散布有具有各种材质及各种大小的异物p2的治具。图12示出以图11的治具为对象获得的噪声去除处理后的x射线透过图像。选择部204，在x射线透过图像中选择包含异物p2的像的图像区域r1、与该区域r1的附近的不含异物p2的像的图像区域r2，计算图像区域r1的亮度的最小值l
min
、图像区域r2的亮度的平均值l
ave
、及图像区域r2的亮度的标准偏差l
sd
。并且，选择部204使用下述式：
[0075]
cnr＝(l
ave-l
min
)/l
sd
[0076]
，来算出亮度-噪声比cnr。进而，选择部204以应用多个学习完毕模型206后的x射线透过图像中的各个为对象算出亮度-噪声比cnr，选择用于产生亮度-噪声比cnr为最高的x射线透过图像的学习完毕模型206。
[0077]
或者，选择部204，也可基于图像区域r1的亮度的平均值l
ave_r1
、图像区域r2的亮度的平均值l
ave_r2
、及图像区域r2的亮度的标准偏差l
sd
，通过下述式进行计算。
[0078]
cnr＝(l
ave_r1-l
min_r2
)/l
sd
[0079]
处理部205，通过将由选择部204选择的学习完毕模型206应用于以对象物f为对象而取得的x射线透过图像，并执行去除噪声的图像处理，从而产生输出图像。并且，处理部205将产生的输出图像输出至显示装置30等。
[0080]
接着，对使用本实施方式的图像取得装置1的对象物f的x射线透过像的观察处理的顺序，即，本实施方式的放射线图像处理方法的流程进行说明。图13是示出由图像取得装置1执行的观察处理的顺序的流程图。
[0081]
首先，通过控制装置20，从图像取得装置1的操作员(用户)接收x射线照射器50的动作条件、或者表示x射线检测相机10的拍摄条件等的条件信息的输入(步骤s1)。接着，通过控制装置20，基于条件信息，算出由x射线检测相机10检测的x射线的平均能量的值(步骤s2)。
[0082]
进而，通过控制装置20，确定用于储存于控制装置20的学习完毕模型206的构建的图像数据的x射线的平均能量的值(步骤s3)。其后，对于储存于控制装置20的全部的学习完毕模型206，重复x射线的平均能量的值的确定(步骤s4)。
[0083]
接着，通过由控制装置20比较算出的x射线的平均能量的值，来筛选多个学习完毕模型206的候选(步骤s5)。进而，通过在图像取得装置1设置治具并拍摄该治具，取得治具的x射线透过图像(步骤s6)。
[0084]
其后，通过控制装置20，取得治具的x射线透过图像的图像特性(x射线的平均能量的值、厚度-亮度的特性、亮度-噪声比的特性、亮度-噪声的特性、分辨率变化的特性等)(步骤s7)。然后，通过控制装置20，基于取得的图像特性，选择最终的学习完毕模型206(步骤s8)。
[0085]
进而，通过在图像取得装置1设置对象物f并拍摄对象物f，取得对象物f的x射线透过图像(步骤s9)。接着，通过由控制装置20将最终选择的学习完毕模型206应用于对象物f的x射线透过图像，来以x射线透过图像为对象执行噪声去除处理(步骤s10)。最后，通过控制装置20，将实施了噪声去除处理的x射线透过图像即输出图像输出至显示装置30(步骤s11)。
[0086]
根据以上所说明的图像取得装置1，基于取得对象物f的x射线透过图像时的x射线的产生源的动作条件或x射线透过图像的拍摄条件，算出透过对象物f的x射线的平均能量。并且，基于该平均能量，从预先构建的学习完毕模型206中筛选用于噪声去除的学习完毕模型206的候选。由此，由于将与拍摄对象的x射线的平均能量对应的学习完毕模型206用于噪声去除，因此，可实现与x射线透过图像的亮度与噪声的关系对应的噪声去除。其结果为，可有效地去除x射线透过图像的噪声，例如，可提高异物检测性能。特别是，x射线透过图像根据管电压、滤波器、闪烁器、x射线检测相机的条件(增益设定值、电路噪声值、饱和电荷量、转换系数值(e-/count)、相机的行频)、对象物等的不同，而噪声的方式发生变化。因此，在欲通过机器学习实现噪声去除情况下，需要准备使其在各种条件下学习的多个学习模型。目前，尚未实现配合x射线透过图像的测定时的条件而从多个学习模型中选择符合噪声的方式的学习模型。根据本实施方式，通过选择与拍摄对象的x射线的平均能量对应的学习完毕模型206，实现始终符合噪声的方式的学习模型的选择。
[0087]
一般而言，在x射线透过图像中，含有因x射线产生的噪声。也考虑为了提高x射线透过图像的sn比而增加x射线量，但在该情况下，若增加x射线量，则存在传感器的被照射量增加而传感器的寿命变短、x射线产生源的寿命变短的问题，难以兼顾sn比的提高与长寿命化。在本实施方式中，由于无需增加x射线量，因此，可兼顾sn比的提高与长寿命化。
[0088]
另外，本实施方式的控制装置20具有以下功能：使用选择的学习完毕模型206，执行从对象物f的x射线透过图像去除噪声的图像处理。通过这样的功能，可实现与x射线透过图像的亮度与噪声的关系对应的噪声去除，并可有效地去除x射线透过图像的噪声。
[0089]
另外，本实施形态的控制装置20具有以下功能：通过将根据选择信息算出的x射线的平均能量的值、与根据用于学习完毕模型206的构建的图像数据确定的平均能量的值进行比较，来筛选学习完毕模型的候选。通过这样的功能，可可靠地实现与x射线透过图像的亮度与噪声的关系对应的噪声去除。
[0090]
进而，本实施方式的控制装置20具有以下功能：基于治具的x射线透过图像的图像特性，从候选中选择学习完毕模型206。通过这样的功能，可选择最适合对象物f的x射线透过图像的噪声去除的学习完毕模型206。其结果为，可更可靠地实现与x射线透过图像的亮度与噪声的关系对应的噪声去除。
[0091]
在图14及图15中，示出由图像取得装置1取得的噪声去除处理的前后的x射线透过图像的例子。图14及图15分别示出以被赋予金属、玻璃等异物的奶酪为对象的图像、以残存有各种大小的骨头的鸡肉为对象的图像，分别在左侧示出噪声处理前的图像，在右侧示出噪声处理后的图像。由此，可知根据本实施方式，对各种对象物有效地进行噪声去除。
[0092]
以上，对本发明的各种实施方式进行了说明，但本发明并不限定在上述实施方式，可在不变更记载于各权利要求的要旨的范围内进行变形，或也可为应用于其他实施方式。
[0093]
例如，x射线检测相机10，以其为双线路(dual line)x射线相机进行了说明，但并不限定在此，也可为单线路(single line)x射线相机、双能量(dual energy)x射线相机、tdi(time delay integration，时间延迟积分)扫描x射线相机、具有2条线路以上的多条线路的多线路(multi-line)x射线相机、二维x射线相机、x射线平板(flat panel)传感器、x射线i.i、不使用闪烁器的直接转换型x射线相机(a-se、si、cdte、cdznte、tlbr、pbi2等)、使用通过将闪烁器透镜耦合(lens coupling)的光学透镜的观察方式的相机。另外，x射线检测相机10也可为对放射线具有敏感度的摄像管、或对放射线具有敏感度的点传感器。
[0094]
另外，上述实施方式的控制装置20，基于根据条件信息算出的x射线的平均能量的值来选择学习完毕模型206的候选，但也可如以下所示的变形例的控制装置20a那样，具有对应于x射线检测相机10的性能劣化、x射线照射器50的输出变动或性能劣化的功能。
[0095]
另外，对于图像取得装置1，也不限定于上述实施方式，也可为ct(computed tomography，计算机断层摄影)装置等在使对象物f静止的状态下进行拍摄的放射线图像处理系统。进而，也可为一边使对象物f旋转一边进行拍摄的放射线图像处理系统。
[0096]
图16是示出变形例的控制装置20a的功能结构的框图。控制装置20a，相比于上述实施方式的控制装置20，在具有测定部207这点上、以及算出部202a及筛选部203a的功能上不同。
[0097]
在控制装置20中，在将x射线检测相机10的性能劣化及x射线照射器50的输出变动或性能劣化设为无，而可根据x射线的平均能量推定x射线透过图像的亮度与噪声的关系的前提下，筛选学习完毕模型206。与之相对地，在本变形的控制装置20a中，具有以下功能：考虑x射线检测相机10的性能劣化、x射线照射器50的输出变动或其性能劣化，而算出x射线转换系数，并基于x射线转换系数筛选学习完毕模型206。x射线转换系数是，表示x射线在由闪烁器转换成可见光后至由相机的传感器转换成电子(电信号)的效率的参数。
[0098]
一般而言，x射线转换系数f
t
，在将x射线的平均能量设为e[kev]，将闪烁器发光量设为em[photon/kev]、将传感器的耦合效率设为c、将传感器的量子效率设为qe时，可通过下述式进行计算。
[0099]ft
＝e
×
em
×c×
qe
[0100]
另外，x射线透过图像的sn比(snr)，使用x射线转换系数f
t
、x射线光子数n
p
及相机的读出噪声nr，通过下述式求得
[0101]
snr＝f
tnp
/{(f
tnp
+nr2)
1/2
}
[0102]
，因此，可基于x射线转换系数f
t
，推定考虑了相机的性能劣化的x射线透过图像的亮度与噪声的关系。
[0103]
控制装置20a的测定部207具有以下功能：测定作为闪烁器11a、11b的性能劣化的发光量em的下降量、作为线扫描相机12a、12b的性能劣化的传感器的量子效率qe的下降量、
作为x射线照射器50的输出变动及性能劣化的平均能量e的变化量。例如，测定部207，测定闪烁器11a、11b的无性能劣化的状态(新品时的状态)与当前的闪烁器11a、11b之间的发光量的下降量，并根据该下降量推定当前的发光量em。另外，测定部207，测定线扫描相机12a、12b的无性能劣化的状态(新品时的状态)与当前的线扫描相机12a、12b之间的亮度下降量，并根据该下降量推定当前的量子效率qe。另外，测定部207，根据x射线照射器50的无性能劣化的状态(新品时的状态)与当前的x射线照射器50之间的平均能量的变化量，推定当前的平均能量e。平均能量e，也可根据厚度及材质为已知，且x射线的平均能量与x射线透过率的关系为已知的平板状构件的拍摄数据而求得，或者也可根据厚度或者材质变化的治具的多个点的拍摄数据而求得等。
[0104]
控制装置20a的算出部202a，使用算出的x射线的平均能量e与由测定部207推定的发光量em及量子效率qe，算出x射线转换系数f
t
。控制装置20a的筛选部203具有如下的功能：通过将算出的x射线转换系数f
t
、与用于学习完毕模型206的构建的图像数据的x射线转换系数f
t
进行比较，来筛选学习完毕模型206的候选。
[0105]
另外，上述实施方式的控制装置20，在筛选了学习完毕模型的候选之后，基于拍摄治具而获得的图像特性来选择学习完毕模型，但也可不进行治具的拍摄，而执行对对象物的x射线透过图像的噪声去除处理。图17是示出由变形例的图像取得装置1执行的观察处理的顺序的流程图。这样，也可省略图13中的步骤s6～s8的处理，而使用基于平均能量筛选了的学习完毕模型，来执行噪声去除处理。
[0106]
在上述的实施方式中，优选为，还具备：使用候选来执行从对象物的放射线图像去除噪声的图像处理的步骤。在上述的实施方式中，优选为，还具备：使用候选来执行从对象物的放射线图像去除噪声的图像处理的处理部。由此，可实现与放射线图像的亮度与噪声的关系对应的噪声去除，并可有效地去除放射线图像的噪声。
[0107]
另外，在筛选步骤中，优选为，通过将平均能量与根据图像数据确定的平均能量进行比较，来筛选候选。另外，优选为，筛选部通过将平均能量与根据图像数据确定的平均能量进行比较，来筛选候选。在该情况下，通过与根据用于学习完毕模型的构建的图像数据确定的平均能量进行比较，来筛选学习完毕模型，因此，可可靠地实现与放射线图像的亮度与噪声的关系对应的噪声去除。
[0108]
进而，优选为，在条件信息中至少包含：产生源的管电压、用于对象物的拍摄的相机所具备的滤波器的信息、产生源所具备的滤波器的信息、相机所具备的闪烁器的信息、产生源与拍摄装置之间的距离、与用于对象物的拍摄的x射线检测相机相关信息、及与对象物相关的信息中任一个。在该情况下，由于可高精度地计算透过对象物的放射线的平均能量，因此，与放射线图像的亮度与噪声的关系对应的噪声去除成为可能。
[0109]
另外，优选为，还具备：照射放射线并拍摄治具而取得放射线图像，并基于该放射线图像的图像特性，从候选选择学习完毕模型的步骤。另外，优选为，还具备：选择部，照射放射线并拍摄治具而取得放射线图像，并基于该放射线图像的图像特性，从候选选择学习完毕模型。根据所述结构，由于基于拍摄实际的治具而获得的放射线图像的图像特性来选择学习完毕模型，因此，可在选择最适合对象物的放射线图像的噪声去除的学习完毕模型。其结果为，可更可靠地实现与放射线图像的亮度与噪声的关系对应的噪声去除。
[0110]
[产业上的可利用性]
[0111]
实施方式，以放射线图像处理方法、学习完毕模型、放射线图像处理模块、放射线图像处理程序及放射线图像处理系统为使用用途，可有效地去除放射线图像的噪声。
[0112]
符号说明
[0113]
10
…
x射线检测相机(拍摄装置)、20
…
控制装置(放射线图像处理模块)、201
…
输入部、202、202a
…
算出部、203、203a
…
筛选部、204
…
选择部、205
…
处理部、206
…
学习完毕模型、f
…
对象物。