用于处理放射学图像的方法与流程

本发明涉及一种用于处理放射学图像的方法，并且属于用于利用x射线成像所获得的图像的医疗设备的领域，并且更准确地说属于用于辅助放射学检查的诊断的图像处理和机器学习的领域。

背景技术：

1、为了基于放射学检查建立诊断，放射科医师对图像应用各种后处理操作(对比度优化、开窗、轮廓增强等)以突出指示存在一种或多种病状的某些异常。放射学异常对应于放射学检查中可见的表明患者病状的任何迹象。例如，这些异常可能是混浊、凝结、钙化、浸润等。

2、这些后处理操作需要参数化，被默认建立或由用户提供、或者是自动的并且基于对整个图像或在用户定义的感兴趣区域(roi)中执行的测量。

3、这些后处理操作通常需要人工干预来参数化它们或定义roi。因此，定义参数或roi可能要花费时间，并且如果在应用这些处理操作之前很难看到所讨论的异常，则可能是困难的。因此，可能会增加诊断时间。

4、当对整个图像执行这些措施时，就可视化位于图像的特定区域中的异常而言，所获得的结果可能不是最佳的。

5、作为替代方案，基于机器学习算法的系统最近已经被用于基于放射学检查来辅助诊断，使用首字母缩写词cad表示“计算机辅助诊断”。然而，其中大部分仍处于实验阶段，并且其结果难以解释。因此，放射科医师有必要研究检查以建立诊断。

6、有许多后处理操作用于提高放射学图像的质量，特别是用于提高对比度。其中的许多基于直方图均衡化(he)，如以下文献中所公开的："computer vision:algorithms andapplications",springer science&business media,by szeliski,richard,2010,inparagraph 3.1.4。在这种方法中，像素的强度被修改，以便在图像的所有像素上获得最均质的可能强度分布。he算法没有规定任何参数化，但也没有设法提高图像所有区域的对比度。

7、为了克服这个问题，存在许多变体，特别是对比度受限的自适应直方图均衡化(clahe)，如以下文献中所描述的："adaptive histogram equalization and itsvariations",computer vision,graphics,and image processing 39(3):355–368,bypizer,stephen m,e philip amburn,john d austin,robert cromartie,arigeselowitz,trey greer,bart ter haar romeny,john b zimmerman,and karelzuiderveld.1987；以及"modified contrast limited adaptive histogramequalization based on local contrast enhancement for mammogram images"mobilecommunication and power engineering,edited by vinu v das and yogesh chaba,296:397-403,communications in computer and information science,berlin,heidelberg:springer berlin heidelberg,https://doi.org/10.1007/978-3-642-35864-7_60,by mohan,shelda,and m.ravishankar,2013。这些变体必须参数化，并且一些作品提出自动参数化方法。在方法"automatic x-ray image contrast enhancementbased on parameter auto-optimization",journal of applied clinical medicalphysics 18(6):218-23,https://doi.org/10.1002/acm2,2017中，pizer的解决方案与高通滤波器耦合，并优化它们的参数以最大化处理后图像的熵。文献"improved lung nodulevisualization on chest radiographs using digital filtering and contrastenhancement"5(12):4by kwan,benjamin y m,and hon keung kwan,2011提出在另一个处理操作之后使用he或者简单地将he应用于用户定义的roi。

8、pizer和mohan的方法提出了he(直方图均衡化)改进来克服上述问题。然而，这些方法必须参数化，或者利用可能不适合每个图像的默认参数，或者由放射科医师手动设置。

9、kwan的方法提出在高通滤波器之后应用he，并且因此he的局限性仍然存在。作为替代方案，它提出在roi上计算he，但这需要用户定义roi。因此，该任务需要放射科医师的干预，并且如果放射科医师没有关于要可视化的异常位置的任何先验信息，则有时可能会证明是复杂的。

10、文献"automatic x-ray image contrast enhancement based on parameterauto-optimization".journal of applied clinical medical physics 18(6):218-23,by qiu,jianfeng,h.harold li,tiezhi zhang,fangfang ma,and deshan yang,2017提出了一种pizer方法的变体，通过将其与高通滤波器耦合。它还描述了一种自动参数化策略，其中优化参数以最大化处理后图像的熵。

11、还有其他提高对比度的方法，例如在以下文献中介绍的方法："contrastenhancement of medical x-ray image using morphological operators with optimalstructuring element",arxiv:1905.08545[cs,eess],http://arxiv.org/abs/1905.08545,2019,by kushol,rafsanjany,md nishat raihan,md sirajus salekin,anda.b.m.ashikur rahman。该文献还提出了一种用于执行自动参数化的策略。

12、在kushol和qiu的方法中，图像的所有像素对用于优化参数的变量的计算具有相同的影响。这样获得的结果对于图像的某些区域可能不是最佳的，如在he的情况下，某些区域的分布与整个图像的分布显著不同。

13、最近的工作提出主要基于神经网络(更具体地基于执行图像分类的网络)为诊断提供帮助。此类示例在以下文献中进行了描述："abnormality detection andlocalization in chest x-rays using deep convolutional neural networks",arxiv:1705.09850[cs],2017,http://arxiv.org/abs/1705.09850,by islam,mohammadtariqul,md abdul aowal,ahmed tahseen minhaz,and khalid ashraf；以及"chexnet:radiologist-level pneumonia detection on chest x-rays with deep learning",arxiv:1711.05225[cs,stat],http://arxiv.org/abs/1711.05225,2017,by rajpurkar,pranav,jeremy irvin,kaylie zhu,brandon yang,hershel mehta,tony duan,daisyding,et al。

14、islam或rajpurkar的方法无法提高放射学图像中异常的可见性，但它们估计与病理学相关联的放射学异常的存在。这些技术仍处于实验阶段，并且需要放射科医师的介入来确认诊断。

15、已经提出了许多用于视觉解释从用于图像分类的神经网络获得的结果的视觉解释方法。这些方法生成一个影响图，其为输入图像的每个像素分配一个值，该值衡量像素对分类结果的影响比例。值越高，像素对得到的分类结果的影响就越大。以下文献中就是这种情况："grad-cam:visual explanations from deep networks via gradient-basedlocalization",proceedings of the ieee international conference on computervision,618–626,2017,by selvaraju,ramprasaath r,michael cogswell,abhishek das,ramakrishna vedantam,devi parikh,and dhruv batra；"layer-wise relevancepropagation for deep neural network architectures",information science andapplications(icisa)2016,edited by kuinam j.kim and nikolai joukov,376:913-22,lecture notes in electrical engineering,singapore:springer singapore.https://doi.org/10.1007/978-981-10-0557-2_87,by binder,alexander,sebastian bach,gregoire montavon,klaus-robert müller,and wojciech samek；"learning deepfeatures for discriminative localization",2016ieee conference on computervision and pattern recognition(cvpr),2921-29,las vegas,nv,usa:ieee.https://doi.org/10.1109/cvpr.2016.319,by zhou,bolei,aditya khosla,agata lapedriza,aude oliva,and antonio torralba；以及"visualizing and understandingconvolutional networks"arxiv:1311.2901[cs],november.http://arxiv.org/abs/1311.2901,2016,by zeiler,matthew d.,and rob fergus。当这些方法应用于神经网络以进行放射学图像分类(取决于图像是否表现出放射学异常)时，产生的影响图对应于放射学异常影响图。

技术实现思路

1、本发明的一个目的是克服上述问题，并且特别是改进对数字图像的后处理操作，以便更好地突出检测到的放射学异常，方便放射科医师的工作并减少诊断时间。

2、因此，根据本发明的一个方面，提出了一种用于处理数字格式的放射学图像i(x,y)的方法，该放射学图像包括使用已被训练来检测放射学检查中的放射学异常的卷积神经网络检测到的至少一个放射学异常。放射学图像i(x,y)的特征在于其每个像素i(x,y)的强度以及至少一个放射学异常影响图ck(x,y)，它为放射学图像i(x,y)的每个像素(x,y)分配一个值，该值表示该像素对放射学异常k的检测结果的影响的比例。该方法由计算机实现，并且包括以下步骤：

3、-归一化放射学异常影响图ck(x,y)以给出归一化的放射学异常影响图ckn(x,y)；

4、-融合归一化的放射学异常影响图ckn(x,y)以给出单个融合影响图c(x,y)；

5、-使用强度直方图对图像i(x,y)进行改进处理，其中每个像素在强度直方图计算中的贡献由融合影响图c(x,y)加权。

6、本发明的方法使得可以突出检测到的异常，以促进放射科医师的工作并减少诊断时间。

7、以下文献公开了用于识别包含此类放射学异常的图像的神经网络："abnormalitydetection and localization in chest x-rays using deep convolutional neuralnetworks",arxiv:1705.09850[cs],2017,http://arxiv.org/abs/1705.09850,by islam,mohammad tariqul,md abdul aowal,ahmed tahseen minhaz,and khalid ashraf；以及"chexnet:radiologist-level pneumonia detection on chest x-rays with deeplearning",arxiv:1711.05225[cs,stat],http://arxiv.org/abs/1711.05225,2017,byrajpurkar,pranav,jeremy irvin,kaylie zhu,brandon yang,hershel mehta,tonyduan,daisy ding,et al。

8、训练(或优化或学习)神经网络允许它为每个异常k产生基于输入图像的存在概率pk；当这个概率大于给定的阈值π时，例如π＝0.5，则认为已经检测到异常。

9、在一种实现方式中，每个异常影响图ck(x,y)的归一化使用以下仿射变换：

10、

11、其中：

12、ckn(x,y)是放射学异常影响图ck(x,y)的归一化的放射学异常影响图。

13、这种归一化可以确保所有归一化图ckn(x,y)在相同的值范围内(在这种情况下在0到1之间)。此过程可以在融合步骤期间平衡各种图的影响(包含0到100之间的值的图比包含0到1之间的值的图具有大得多的影响)。

14、根据一种实现方式，融合c(x,y)使用归一化的放射学异常影响图ckn(x,y)的平均值，所述平均值使用以下关系由每个异常存在的概率pk加权：

15、

16、其中：

17、|k|表示检测到的异常的数量；以及

18、pk表示每个异常存在的概率pk，由卷积神经网络计算。

19、这种融合具有的优点是在强度直方图的计算中有单个图来加权图像的每个像素的贡献。

20、在一种实现方式中，处理操作使用强度直方图均衡化，其中通过根据以下关系对每个像素的贡献加权来修改所述直方图的计算：

21、

22、其中：

23、h(u)表示强度u的修改后的直方图的水平；以及

24、表示指示符函数：

25、i(x,y)表示像素(x,y)的强度。

26、这种处理操作具有提高图像对比度的优点，特别是图像中表现出已检测到的异常的区域的对比度，因为对应像素在直方图计算中的影响增加了。

27、作为变体，处理操作可以使用在以下文献中提出的方法的变体："automatic x-ray image contrast enhancement based on parameter auto-optimization".journalof applied clinical medical physics 18(6):218-23,by qiu,jianfeng,h.harold li,tiezhi zhang,fangfang ma,and deshan yang,2017"，其中处理后图像的熵的计算使用以下关系修改：

28、

29、其中：

30、h(it)表示处理后图像it的修改后的熵

31、u表示数字图像的所有强度水平；以及

32、pu用以下关系代替数字图像的像素具有强度u的概率：

33、

34、其中h(u)根据以下关系表示强度u的修改后的直方图的水平：

35、

36、这种处理操作通过对应像素在处理后图像的熵计算中的贡献的相对增加，改进了图像的对比度，特别是表现出已经检测到的异常的图像区域的对比度。

37、根据本发明的另一方面，还提出了一种计算机程序产品，包括记录在计算机可读介质上的程序代码指令，其用于当所述程序在计算机上执行时实现上述方法的步骤。