用于自动检测游离腹内空气的方法和系统与流程

用于自动检测游离腹内空气的方法和系统
1.本发明涉及一种用于检测游离腹内空气的方法和系统。
2.本发明属于医学成像领域，其用于创建身体内部的视觉表示以用于临床分析和医学干预。在医学成像中，通过使用诸如计算机断层摄影(ct)、磁共振成像(mr)、超声(us)等成像方式，可获取并显示表示患者或受试者内部结构的3d图像数据和2d图像数据。如今，从扫描患者或受试者获取的图像数据的数字格式可用，并且适于进行数字处理、分析和修改。
3.急症/创伤成像是医学成像的一个重要课题，因为相关临床路径的时间危急性要求与扫描工作流程紧密结合的解决方案。
4.在腹部急症成像领域，对气腹(即游离腹内空气)的标识，其是可能需要立即手术的潜在危急情况，具有很高的临床意义。如果有可能基于ct扫描自动检测这种情况，则这些患者可自动优先于其他被怀疑为不太危急的患者而被读取。此外，如果这种检测直接在采集工作场所执行，则还能使扫描仪自动通知用户这类危急的发现。这类系统将是实现智能ct扫描仪的愿景的关键组件。
5.腹膜是一层紧紧地包裹着大部分腹部器官的膜。腹膜的褶皱形成了腹内空间，即腹膜腔。在诊断严重腹痛的患者期间，标识腹膜腔内的空气(气腹)对于放射科医生来说是一项重要且时间危急的任务。气腹最常见的非手术原因是内脏穿孔。更准确地说，游离腹内空气指示中空器官的破裂，主要是胃肠道的破裂。这类破裂是外科急症，需要立即干预以防止腹膜腔内的污染[9,10]。由于穿孔本身通常不能用急症护理中常用的成像方式直接识别，因此空气充当了替代的放射学的标志。计算机断层扫描(ct)被认为是区分腔外和腔内气体的标准[1,5,9]。然而，取决于游离腹内空气的位置和数目(从接近肠壁的亚厘米气泡到在腹膜腔内自由移动的大量气泡)，对其进行诊断是挑战性的，并且不明显的病例可能会被遗漏，特别是在最初没有怀疑气腹的情况下。此外，其他病例可占据急症读取工作列表的较高优先级位置，导致容易标识的气腹病例被忽视，直到后期才被读取扫描结果，此时患者可能已经面临严重后果。自动检测算法对这两种情况均有用[13]，即对可能偶然发现的气腹病例进行标识以及优先读取(分诊)。虽然先前的工作已经解决了在胸部x射线上检测气腹的问题[7]，但是还没有在ct扫描上自动检测游离腹内空气的方法。
[0006]
因此，本发明的目的是提供用于检测游离腹内空气的改进方法和系统。
[0007]
这个目的通过根据独立权利要求的本发明来实现。
[0008]
在下文中，根据本发明的解决方案将针对系统和方法进行描述。本文中的元件、特征、优势或替代实施例可分配给其他要求保护的对象，反之亦然。换句话说，提供系统的权利要求可用在方法的上下文中描述或要求保护的特征来改进，反之亦然。在前一种情况下，该方法的功能性特征由提供系统的目标单元来体现。此外，结合特定示例性实施例描述的元件、特征、优势或替代实施例可按其最一般的术语分配给本发明。
[0009]
以其最通用的术语，本发明涉及一种用于提供输出数据的方法，优选地是计算机实施的方法。本发明的方法以最通用的术语包括以下步骤
[0010]-例如经由第一接口接收输入数据，
[0011]-通过对输入数据应用算法操作来生成输出数据，
[0012]-例如经由第二接口提供输出数据。
[0013]
以其最通用的术语，本发明进一步涉及一种系统，包括-第一接口，被配置用于接收输入数据，
[0014]-第二接口，被配置用于提供输出数据，
[0015]-计算单元，被配置用于将算法操作应用于输入数据，其中输出数据被生成。
[0016]
所述计算单元可选地可以包括用于执行单独的算法操作的多个计算单元。所述多个计算单元可作为计算单元的独立的、连接的子单元来提供，或者备选地可作为一个集成的计算单元来提供。
[0017]
以其最通用的术语，本发明进一步涉及一种包括指令的计算机程序，当该程序由计算机执行时，该指令使计算机实行本发明的方法。
[0018]
以其最通用的术语，本发明进一步涉及包括指令的计算机可读介质，该指令当由计算机执行时，使计算机实行本发明的方法。
[0019]
大多数前述单元可完全或部分地以软件模块的形式在合适的控制设备或处理系统的处理器中实施。很大程度上以软件的实施方式的优势在于，即使已经在使用的控制设备和/或处理系统也可通过软件更新容易地升级，以便以根据本发明至少一个实施例的方式工作。
[0020]
术语“单元(unit)”可用术语“电路(circuit)”或“模块(module)”代替。术语“单元”可指执行代码的处理器硬件(共享的、专用的或成组的)和存储由处理器硬件执行的代码的存储器硬件(共享的、专用的或成组的)，或者是它们的一部分或包括它们。
[0021]
这些单元可在一个控制单元中实施，并且每个单元可包括一个或多个接口电路。另选地，这些单元可在非本地系统中实施，例如在网络中。在一些示例中，接口电路可包括连接到局域网(lan)、互联网、广域网(wan)或其组合的有线或无线接口。本公开的任何给定单元的功能性可分布在经由接口电路连接的多个模块中。例如，多个模块可允许负载平衡。在另一个示例中，服务器(也称为远程或云)模块可代表客户端模块完成一些功能性。
[0022]
特别地，本发明涉及一种用于检测游离腹内空气的(例如计算机实施的)方法，包括：
[0023]-例如经由第一接口接收输入数据，所述输入数据包括患者的腹部区域的医学成像数据集
[0024]-应用经训练的函数，其中输出数据被生成，
[0025]-例如经由第二接口提供输出数据。
[0026]
一般而言，经训练的函数模仿人类与其他人类思维相关联的认知功能。特别地，通过基于训练数据的训练，经训练的函数能够适应新的环境，并且能够检测和外推模式。
[0027]
一般而言，经训练的函数的参数可借助于训练来调整。特别地，可使用监督训练、半监督训练、非监督训练、强化学习和/或主动学习。此外，可使用表征学习(另一个术语是“特征学习(feature learning)”)。特别地，经训练的函数的参数可通过若干个训练步骤迭代地调整。
[0028]
特别地，经训练的函数可包括神经网络、支持向量机、决策树和/或贝叶斯网络，和/或经训练的函数可基于k-均值聚类、q-学习、遗传算法和/或关联规则。特别地，神经网络可为深度神经网络、卷积神经网络或卷积深度神经网络。此外，神经网络可为对抗式网
络、深度对抗式网络和/或生成对抗式网络。
[0029]
输出数据可包括指示游离腹内空气的存在或不存在的医学成像数据集的标志或指示。这类标志或指示可包括视觉标记或听觉标记。输出数据可进一步包括用于在基于医学成像数据集或从医学成像数据集得到的所显示图像中突出显示包括游离腹内空气的图像区域的标记。输出数据可包括在医学成像数据集的给定子区域中、或在基于医学成像数据集或从医学成像数据集得到的所显示图像的给定子区域中针对游离腹内空气的标志或指示。输出数据可包括指示游离腹内空气的存在或不存在的分类信息。输出数据可包括指示游离腹内空气的存在或不存在的概率或可能性的得分或概率信息。这类分类信息、或得分、或概率信息可涉及医学成像数据集整体、或者涉及医学成像数据集的给定子区域，或者涉及基于医学成像数据集或从医学成像数据集得到的所显示图像的给定子区域。输出数据可被显示、存储或进一步处理。输出数据可传输到医院信息系统(his)或放射信息系统(ris)。输出数据可用于触发进一步的患者检查或诊断程序。
[0030]
经训练的函数例如可在包括腹部区域的多个医学成像数据集的训练数据上被训练，其中包含游离腹内空气的图像区域被标注。
[0031]
对包含游离腹内空气的图像区域的标注可例如包括手动放置指示空气区域内的位置的标记。换句话说，对包含游离腹内空气的图像区域的标注可例如包括手动放置指示游离腹内空气区域内的一个位置的一个标记。
[0032]
医学成像数据集可例如包括ct成像数据集。医学成像数据集可包括原始数据集、重建图像数据集和/或在重建后进一步被处理的图像数据集。医学成像数据集可包括另外的数据，诸如分割数据和从分割数据得到的数据，诸如与医学成像数据集内的分割结构相关的标识数据。图像分割是将数字图像分割成多个片段(像素集，也称为图像对象)的过程。分割的目标是简化和/或改变图像的表示，使其更有意义和更易于分析，并且允许分析解剖学结构，诸如血管。
[0033]
可选地，医学成像数据集可例如被进一步处理以定义搜索空间。搜索空间是对其应用经训练的函数的成像数据的子区域。这类进一步的处理可手动或自动地例如通过分割所选解剖学结构而执行，所选解剖学结构可被包括在搜索空间中或从搜索空间中排除。将经训练的函数应用于搜索空间增加了该方法的效率和速度，因为待分析的图像的不相关区域被忽略。
[0034]
医学成像数据集可例如包括3d成像数据，其中3d成像数据被细分成预选大小的多个图像分块。图像分块可为相邻的或重叠的。
[0035]
经训练的函数可例如应用于多个图像分块，以确定任何给定的图像分块是否包含游离腹内空气。这是滑动窗口方法的一个示例。
[0036]
换句话说，可针对每个图像分块确定分类信息或得分或概率信息。为了对患者进行总体确定(换句话说，关于整个医学成像数据集，或者至少整个搜索空间)，输出数据可包括基于具有第n个最高得分或概率信息的n个图像分块的分类信息或得分或概率信息。
[0037]
医学成像数据集例如可进一步细分成第一预选大小的第一多个图像分块和第二预选大小的第二多个图像分块。第一和第二多个图像分块的图像分块可例如重叠。然后可应用经训练的函数来确定第一和第二多个图像分块的任何给定图像分块是否包含游离腹内空气。这将带来对医学成像数据集整体的更健壮和改进的分类或分析。
[0038]
例如，经训练的函数可基于卷积神经网络或深度神经网络。
[0039]
更具体地，本发明涉及一种根据本发明的用于检测游离腹内空气的方法来检测游离腹内空气的系统或设备，包括
[0040]-第一接口，被配置用于接收输入数据，
[0041]-第二接口，被配置用于提供输出数据，
[0042]-计算单元，被配置用于应用经训练的函数，其中输出数据被生成。
[0043]
该系统或装置可用作第二读取器，以帮助避免意外遗漏气腹的情况。
[0044]
更具体地，本发明进一步涉及一种包括指令的计算机程序，当该程序由计算机执行时，该指令实行本发明的用于检测游离腹内空气的方法。
[0045]
此外，本发明涉及一种包括指令的计算机可读介质，该指令当由计算机执行时，实行本发明的用于检测游离腹内空气的方法。
[0046]
此外，本发明涉及一种用于提供用于检测游离腹内空气的经训练的函数的(例如计算机实施的)方法，包括：
[0047]-(例如，利用第一训练接口)接收包括腹部区域的第一多个医学成像数据集的第一输入训练数据，其中第一多个医学成像数据集中的医学成像数据集不包括包含游离腹内空气的图像区域
[0048]-(例如，利用第二训练接口)接收包括腹部区域的第二多个医学成像数据集的第二输入训练数据，其中第二多个医学成像数据集中的每个医学成像数据集包括包含游离腹内空气的至少一个图像区域。
[0049]-(例如，利用训练计算单元)基于输入训练数据和输出训练数据来训练函数，
[0050]-(例如，利用第三训练接口)提供经训练的函数。
[0051]
第二多个医学成像数据集中的医学成像数据集可例如包括标注信息，该标注信息指示包含游离腹内空气的至少一个图像区域。
[0052]
标注信息可作为是/否或1；0分类信息而被提供，该分类信息指示游离腹内空气的存在或不存在。标注信息可作为得分或概率信息而被提供，该得分或概率信息指示游离腹内空气的存在或不存在的概率或可能性
[0053]
例如，经训练的函数可基于卷积神经网络或深度神经网络。
[0054]
第一和第二输入训练数据的医学成像数据集可例如包括3d成像数据，其中3d成像数据被细分成预选大小的多个图像分块。图像分块可为相邻的或重叠的。
[0055]
标注信息可由用户(例如放射科医师)手动提供。也可按半自动方式提供标注信息，其中用户将标记放置在游离腹内空气的区域内，并且通过进一步的自动处理步骤，包括标记的整个区域被分割。从该标注可以自动得到进一步的信息，诸如图像数据中包括游离空气的区域、或体积、或相对于患者解剖学结构的位置信息。这类进一步的信息可被包括在输出数据中。
[0056]
在为训练数据集提供标注信息之后，可将训练数据集细分成多个图像分块，其中包括游离腹内空气的标注区域的部分的图像分块被标注为包括游离腹内空气。同样，这类标注信息可包括(二元)分类信息、或得分、或概率信息。
[0057]
此外，本发明涉及一种用于训练用于检测游离腹内空气的函数的训练系统，包括
[0058]-第一训练接口，被配置用于接收输入训练数据，
[0059]-第二训练接口，被配置用于接收输出训练数据，其中输入训练数据与输出训练数据相关，
[0060]-训练计算单元，被配置用于基于输入训练数据和输出训练数据训练函数，
[0061]-第三训练接口，被配置用于提供经训练的函数。
[0062]
此外，本发明涉及一种包括指令的计算机程序，当该程序由计算机执行时，该指令使计算机实行本发明的训练方法中的任一种。
[0063]
此外，本发明涉及一种包括指令的计算机可读介质，该指令当由计算机执行时，使计算机执行本发明的训练方法中的任一种。
[0064]
本发明的进一步细节和优势可从下面结合附图对示例性实施例的描述中获得，在附图中：
[0065]
图1示出了本发明的示例性实施例的示意图，其具有用于滑动窗口检测的基线卷积神经网络结构，该结构将每个3-d分块映射为二元(sigmoid)输出变量，该变量表述分块是否包含游离腹内空气的概率；
[0066]
图2示出了针对不同的n的值的基线模型的病例级别的auc的图，也即，使用多少个最高的个体分块预测来确定病例级别的预测；
[0067]
图3(a)至图3(c)示出了循环模型的一个示例性cv运行的病例级别的roc曲线的图，并且图3(d)示出了基本事实标记的分布的直方图，亚组根据该基本事实标记而被确定；
[0068]
图4示出了本发明的方法的一个实施例的示意图；
[0069]
图5示出了本发明的系统的实施例的示意图；以及
[0070]
图6示出了本发明的训练方法的实施例的示意图。
[0071]
附图被认为是示意性的表示，并且附图中示出的元件不一定按比例示出。相反，各种元件被表示为促使它们的功能和一般目的对于本领域技术人员来说变得显而易见。在附图中示出或在此描述的功能性块、设备、组件或其他物理或功能性单元之间的任何连接或联接也可通过间接连接或联接来实施。组件之间的联接也可通过无线连接来建立。功能性块可用硬件、固件、软件或其组合来实施。
[0072]
本发明的方法应用基于学习的方法来设计用于自动检测气腹的系统。它可在患者的ct图像以及具有指示游离腹内空气区域的专家标注的对照的数据库上被训练。之后，它能够在新患者的未见过的扫描中以高准确性标识气腹。
[0073]
在本发明的方法的示例性实施例中，使用依赖于基于深度学习的3-d图像分块分类的常规滑动窗口方法来完成检测任务。公开了使用多尺度输入和循环学习来增强该方法的两个进一步的变型/实施例，以便增加输入分块的空间上下文，而不损害标签与导致该标签的发现的位置之间的关联。除了仅需要简单预处理的默认设置以外，还示出了依赖于可用的腹盆腔的先前分割的变型或示例性实施例的结果。
[0074]
为了评估该方法的性能，同时考虑到病例的异质性和变化的难度，主要基于扫描中可观察到的游离腹内空气量进行亚组分析。
[0075]
为此，一个特定实施例可采用滑动窗口分类方法，其中深度神经网络作为分类器模型，还潜在地使用多尺度或循环学习。
[0076]
其他可想到的实施例可将该问题作为分割任务来处理，并且因此也能够输出例如找到的游离空气的量/体积以作为输出数据。
[0077]
这类方法的实施方式可直接在扫描仪硬件上运行。一方面，这意指其结果的呈现可集成到扫描仪ui中，诸如以即时通知的形式。另一方面，这也带来了如下优势：可执行最适合于气腹(自动)检测的特定重建并使用该重建来运行算法。与之相反，独立于扫描仪的解决方案将需要依赖于任何碰巧可用的图像。
[0078]
特别地，该算法可倾向于具有相对清晰内核的轴向薄层重建，从而确保小气泡和将腔内空气与腔外空气分开的肠壁的良好可视性。此外，从由双能量或光子计数ct扫描仪获得的多光谱数据得到的信息可进一步改进检测准确性，例如，通过允许标准化整体图像对比度(mono+)和去除由碘化造影剂(vnc)引起的不希望的差异。这一点特别重要，因为确定一定体积的空气是否是游离的需要对周围的解剖学结构有很好的了解，而对周围的解剖学结构的了解又强烈依赖于软组织对比度。
[0079]
例如，用于本发明的方法的输入数据可为任何腹部ct扫描。此外，例如可执行以下预处理步骤：首先在z轴对图像体积进行重采样，以获取3mm的标准化切片厚度。接下来，执行简单的身体分割，以获取患者所占据的图像区域的二元掩模，除非另有明确说明，否则该掩模将用作搜索空间。备选地，可通过使用对腹盆腔的分割来进一步限制搜索空间，这是从最初由yang等人描述的用于肝脏分割的深度学习模型获得的[15]。
[0080]
滑动窗口检测方法
[0081]
推理工作流程。随后，作为说明性示例，该体积被细分成大小为(sx,sy,sz)＝(64,64,16)像素的规则的3-d分块，并且3-d分块在所有维度上具有25％的重叠。在轴平面内将分块下采样为(sx
′
,sy
′
,sz)＝(32,32,16)像素的大小，并且将像素强度归一化。然后，将每个分块分别馈送到如图1所示的卷积神经网络分类器。该模型被训练以对分块是否包含游离腹内空气进行分类。然后将针对患者的病例级别预测确定为前n个分块的输出概率得分的平均值，前n个分块即实现最高概率的n个框，其中n＝4是根据经验而被一次确定并且然后保持固定的(参见图2)。仅考虑与搜索空间重叠的分块。在下文中，这个模型将被称为基线模型。
[0082]
模型训练。真实事实标注包括由放射学家手动放置的标记，该标记指示空气区域内的位置。(有关所选标注模式的简短论述，请参见下文关于标注的部分。)如果图像分块包括任何标记，则将其标记为包含游离腹内空气，反之亦然。为了避免具有偏心检测的分块，同时确保对所有标记的完全覆盖，在确定标记的过程中排除重叠区域大小的一半的余量。对于训练，大小为32的迷你批次通过随机平移、小角度旋转和翻转被动态地增强，然后被馈送到adam优化器[6]，以最小化训练数据的二元交叉熵。利用频率加权来处理标签的不平衡性。使用提前停止，并且利用30个轮次的耐心以监测在验证数据上计算得到的马修斯相关系数[8]。
[0083]
增强空间上下文
[0084]
滑动窗口分类器的明显缺点是模型可用的空间上下文有限。然而，存在如下权衡阻止了人们通过选择越来越大的分块来克服这一限制的容易的解决方案：当上下文更多时，标签和导致该标签的发现之间的关联变得更弱。作为一个极端的示例，考虑整个体积分类的情况：尽管技术上所有信息均存在，但由于巨大的输入空间，即使深度学习常常也难以标识相关结构，除非有数以千计的病例的训练数据可用。在下文中，给出了应对这种权衡的两种示例性方法。
[0085]
多尺度变型
[0086]
该示例性实施例是从多尺度/分辨率分析中借用其核心思想的简单扩展[14]。对于每个分块，提取第二个以相同位置为中心、但是在轴平面内具有两倍的(物理)大小的分块。该分块被下采样到与原始分块相同的像素大小，从而具有其一半的分辨率。第二个分块作为单独的输入被馈送到模型，并且经过图1的卷积阶段的复制版本(但是参数未被绑定)，所得到的两个分支的特征图在第一个全连接层之前被联接。训练程序的所有其他方面保持不变。
[0087]
循环变型
[0088]
受文本识别[12]中常见方法的不受其束缚的启发，该示例性实施例是模型通过使用循环单元来合并来自先前和后续分块的信息的方式。更准确地说，沿轴向具有相同位置的所有滑动窗口分块，即对应于输入体积中轴向层的3-d分块的z切片，被视为一个序列。在序列中，分块按照之字形顺序排列(第一行从左到右，第二行从右到左，等等)，以便避免“跳行”。然后，设计一个模型来双向遍历这些分块序列，并且将它们映射到其标签的二元序列。为了具有固定长度的序列，搜索空间之外的分块也被包括在内，并且它们在推断之后的预测被置零。由于从零开始训练该模型被证明是具有挑战性的，因此采用了迁移学习方法，即采用第2.2节中描述的基线模型，冻结经训练的权重，并且在第一、第三和第五密集层之后添加三层门控循环单元(gru)[2]，每一层均具有与前一层相同的输出张量维度。然后对这些进行十个以上的轮次的训练，有效地将模型微调为序列表示。
[0089]
数据
[0090]
从总共npat＝139例患者中选择腹部ct扫描进行回顾性研究，其中nair＝110例为连续的气腹病例，而其余nctrl＝29例为对照组。对照病例是具有随后需要手术的腹部病理的其他急症的患者的、以等效方式采集的扫描，使得其与气腹患者的扫描直接可比，而且比健康个体更难以与气腹患者的扫描区分。出于训练和评估目的，所有npat患者被汇集在一起，并且执行五次随机重复的五重交叉验证(cv)，以获得可靠的性能评估。五个cv子集中的四个子集用于训练，并且留出一个子集作为验证集。
[0091]
性能表征
[0092]
对于如下两个分类任务，接收者操作特性(roc)曲线分析[4]以微平均的方式实行，即将一个cv重复的所有样本外预测合并到一条曲线中：
[0093]
a)对所有患者的所有3-d分块进行分块式二元分类(窗口级别评估)，以及b)根据上述病例级别评估中所描述的分块预测的前4名加权程序进行患者式二元分类。虽然后者代表了一种临床上更有意义的评估，但前者由于样本数目大得多，允许对模型性能进行更细粒度的分析。在这两项评估中,在患者级别执行了相同的训练/测试划分。
[0094]
亚组分析
[0095]
检测任务的难度变化很大；最大的空气量即使对外行人来说也是显而易见的，而检测腹部一个微小的非生理性气泡可能是谚语所说的大海捞针。为了更好地直观了解异质性水平及其如何影响模型性能，采用了简单的亚组分析：将针对每位患者放置的标记数目视为空气量的替代物，因为大空气量在某种程度上被密集地覆盖有标记，以确保所有滑动窗口均被正确标记。因此，nair气腹数据集关于标记的数目被分类，然后被分成两个部分：少于(至少)t个标记的p《t(以及p≥t)，其中t∈{50,100}。亚组的大小为|p《50|＝49，|p≥
50|＝61和|p《100|＝76，|p≥100|＝34。对于单个亚组的评估，每个亚组分别与所有对照病例合并，以进行稳健的评估。参见图3d中标记分布的直方图。
[0096]
评估
[0097]
表1示出了针对基线、多尺度和循环变型的roc曲线的曲线下面积(auc)，以用于病例级别和窗口级别的评估。在窗口级别，从基线到多尺度再到循环变型，均在持续改进。虽然变化可能看起来很小，但基线和循环变型之间的差异实际上具有统计学显著性，其在cv重复的双尾配对样本t检验中p《10-4
。这可通过以下事实来解释：由于分块总数较大，auc具有很高的重现性，反映为较小的标准偏差。然而，也可看出，这种改进并没有直接转化到病例级别。在此，对于增强的变型，auc甚至略有下降。然而，所有这些差异在统计学上均是微不足道的：可假设这三个模型在病例级别的评估中表现同样好。从本质上说，这意指被增强模型更准确地分类的分块对于病例级别的决策并不具影响力，至少在有限数目的可用病例中是如此。为了简洁起见，其余结果仅针对执行最好的循环模型示出。
[0098]
表1：针对窗口级别和病例级别的评估的auc值，以五重cv的五次随机重复的平均
±
标准偏差百分比表示。
[0099][0100]
在图3a至3c中，示出了一个示例性cv运行的roc曲线。图3a和3b总结了亚组分析的结果。对于p≥50和p≥100的组，auc达到96％和99％，尽管它们仍然分别包括所有数据集的55％和31％。换句话说，虽然有非常多的困难病例限制了系统的整体灵敏度，但是气腹病例中的许多可被几乎完美地分类。在这种情况下，应注意，尽管任何量的游离腹内空气均可指示急症，但有证据表明局部发生在临床上是不太显著的[3]。图3c示出了当使用腹盆腔分割代替身体掩模时的性能变化，这表明消除腹部之外的候选是有益的。
[0101]
替代方法
[0102]
除了标记被放置在游离腹内空气区域内的所呈现的标注模式以外，最初也考虑了可能更好地帮助训练检测模型的其他模式。具体而言，乍一看，获得密集的、像素式的区域标记似乎微不足道，因为ct中的空气常常甚至可通过简单的阈值分割来分割。这看起来特别有希望，因为这类真实事实掩模将促使能够使用成功的图像到图像分割架构[11]，出于充分的理由，这构成了当前技术水平的大部分。这可能是有问题的，原因有二。首先，软重建内核和有限的图像分辨率会导致肠壁变得部分不可见，从而模糊从腔内到腔外空间的过渡。其次，更关键的是，即使使用复杂的分割工具，分割患者体内的所有单个气泡也是极其耗时的，这些气泡可能有几十个，并且可能夹杂着生理性气泡，这使人们无法简单地标记给定区域中的所有空气。相比之下，在目前的方法中，只需要标记一些代表性的气泡，以获取每个分块的正确标签。可用于训练区域建议网络或类似的现代检测模型的边界框标注[16]似乎也不可行。这在很大程度上是由于上述大量微小的、分布的气泡，对于这些气泡，难以决定如何以一致的方式用框来覆盖它们，而巨大的空气体积有时会占据患者腹部的大约一半。
[0103]
本发明的方法遵循以深度循环神经网络分类器为核心的滑动窗口方法。当依赖于
腹盆腔分割时，它在五重cv中实现了89％的roc auc。可在实现高特异性的同时维持合理的检测率。这类操作点适合于调节急症扫描的读取顺序，其中抢在更紧急病例之前的无根据的优先化通常被认为比遗漏早期检测的机会更有害。这一点尤其重要，因为只有不到1％的急症患者出现气腹[9]。
[0104]
图4示出了本发明的方法的实施例的示意性表示，其中经由第一接口接收101输入数据。所述输入数据包括患者的腹部区域的医学成像数据集。此外，输入数据是3d成像数据，并且3d成像数据被细分103为预选大小的多个图像分块。然后，应用105经训练的函数，并且生成输出数据。例如经由第二接口提供107输出数据。输出107可经由专用接口来实现，并且所确定的输出数据因此可被提供给显示器、打印机、存储器、网络或者适于用户检查、存储或进一步处理的任何其他方式。所确定的输出数据指示游离腹内空气的存在或不存在。输出数据可包括病例级别的信息，指示作为整体的医学成像数据集的游离腹内空气的存在或不存在。备选地或附加地，输出数据可提供指示游离腹内空气的存在或不存在的可能性的概率或得分。备选地或附加地，输出数据可在各个图像分块或子区域的级别提供相同类型的信息。备选地或附加地，输出数据可提供与游离腹内空气相关的进一步信息，诸如游离腹内空气的体积、游离腹内空气区域相对于解剖学标志的位置以及类似信息。
[0105]
图5示出了本发明的系统200的实施例的示意图。该示例性实施例包括控制单元210和用于扫描患者230的ct扫描仪220。控制单元包括用于接收包括医学图像数据集的输入数据的第一接口201。控制单元210进一步包括计算单元203，其可任选地包括多个不同的另外的计算单元205。此外，还提供了用于输出输出数据的第二接口207，以及用于输入命令(诸如用户选择命令、控制命令和其他命令或数据)的命令和数据输入接口209。
[0106]
图6示出了本发明的训练方法的实施例的示意性表示，该训练方法具有以下步骤：接收第一输入训练数据301(例如，用第一训练接口)，该第一输入训练数据301包括没有游离腹内空气的腹部区域的多个医学成像数据集；(例如，用第二训练接口)接收第二输入训练数据303，其中包含游离腹内空气的图像区域存在且已经被标注；(例如，用训练计算单元)基于第一输入训练数据和第二输入训练数据训练函数305；以及(例如，用第三训练接口)提供307经训练的函数。输出307可经由专用接口来实现，并且经训练的函数因此可被提供给显示器、打印机、存储器、网络或者适于用户检查、存储或进一步处理的任何其他方式。
[0107]
通过使用本发明的方法和系统，支持气腹的早期检测，并且将有更少的患者在本能被检测出气腹之后被检测出气腹或甚至被完全遗漏检测。
[0108]
该检测优选是自动的，并且可在医学成像扫描仪上执行。这意指被怀疑有气腹的患者可优先处理，而无需人工干预。通过使用最合适的图像可提高自动检测的准确性，并且可在扫描后立即通知临床医生/放射科医生。
[0109]
这为急症ct成像提供了一种改进的解决方案，从而提供了一种智能的、“急症就绪(emergency-ready)”的ct扫描仪。
[0110]
将现代机器学习技术应用于手头的问题，特别是利用能够得到其自身特征的深度学习是关键。因为标识游离腹内空气的任务需要相对较高程度的解剖学理解，而这用传统方法难以实现，在这种任务中这类理解通常必须用手工制作的特征来实现。
[0111]
出于说明的目的，已经描述了示例性实施例。显然，所描述的特征、步骤和工作流程可按多种方式变化。这类变化不应被视为脱离本发明的范围，并且对本领域技术人员来
说显而易见的所有这类修改均旨在包括在以下权利要求的范围内。
[0112]
参考文献
[0113]
1.bulas,d.i.,taylor,g.a.,eichelberger,m.r.:the value of ct in detecting bowel perforation in children after blunt abdominal trauma.american journal of roentgenology 153(3),561
–
564(1989)
[0114]
2.cho,k.,van merri
¨
enboer,b.,gulcehre,c.,bahdanau,d.,bougares,f.,schwenk,h.,bengio,y.:learning phrase representations using rnn encoder-decoder for statistical machine translation.arxiv preprint arxiv:1406.1078(2014)
[0115]
3.cho,s.j.,choi,i.j.,kim,s.j.,kim,m.j.,kim,c.g.,lee,j.y.,ryu,k.w.,kim,y.w.:clinical significance of intraperitoneal air on computed tomography scan after endoscopic submucosal dissection in patients with gastric neoplasms.
[0116]
surgical endoscopy 28(1),307
–
313(2014)
[0117]
4.fawcett,t.:an introduction to roc analysis.pattern recognition letters 27(8),861
–
874(2006)
[0118]
5.hainaux,b.,agneessens,e.,bertinotti,r.,de maertelaer,v.,rubesova,e.,capelluto,e.,moschopoulos,c.:accuracy of mdct in predicting site of gastroin-testinal tract perforation.american journal of roentgenology 187(5),1179
–
1183(2006)
[0119]
6.kingma,d.p.,ba,j.:adam:a method for stochastic optimization.arxiv preprint arxiv:1412.6980(2014)
[0120]
7.luo,j.w.,lie,j.l.,chong,j.:pneumoperitoneum on chest x-ray:a dcnn approach to automated detection and localization utilizing salience and class activation maps.in:siim conference on machine intelligence in medical imaging(2018)
[0121]
8.matthews,b.w.:comparison of the predicted and observed secondary structure of t4 phage lysozyme.biochimica et biophysica acta(bba)-protein structure 405(2),442
–
451(1975)
[0122]
9.nazerian,p.,tozzetti,c.,vanni,s.,bartolucci,m.,gualtieri,s.,trausi,f.,vittorini,m.,catini,e.,cibinel,g.a.,grifoni,s.:accuracy of abdominal ul-trasound for the diagnosis of pneumoperitoneum in patients with acute ab-dominal pain:a pilot study.critical ultrasound journal 7(1),15(2015).1.bulas,d.i.,taylor,g.a.,eichelberger,m.r.:the value of ct in detecting bowel perforation in children after blunt abdominal trauma.american journal of roentgenology 153(3),561
–
564(1989)
[0123]
2.cho,k.,van merri
¨
enboer,b.,gulcehre,c.,bahdanau,d.,bougares,f.,schwenk,h.,bengio,y.:learning phrase representations using rnn encoder-decoder for statistical machine translation.arxiv preprint arxiv:1406.1078
convolutional network and a graphical model for human pose estimation.in:advances in neural information processing systems.pp.1799
–
1807(2014)
[0137]
15.yang,d.,xu,d.,zhou,s.k.,georgescu,b.,chen,m.,grbic,s.,metaxas,d.,comaniciu,d.:automatic liver segmentation using an adversarial image-to-image network.in:international conference on medical image computing and computer-assisted intervention.pp.507
–
515.springer(2017)
[0138]
10.paster,s.b.,brogdon,b.g.:roentgenographic diagnosis of pneumoperitoneum.jama 235(12),1264
–
1267(03 1976).https://doi.org/10.1001/jama.1976.03260380058035
[0139]
11.ronneberger,o.,fischer,p.,brox,t.:u-net:convolutional networks for biomedical image segmentation.in:international conference on medical image computing and computer-assisted intervention.pp.234
–
241.springer(2015)
[0140]
12.shi,b.,bai,x.,yao,c.:an end-to-end trainable neural network for image-based sequence recognition and its application to scene text recognition.ieee transac-tions on pattern analysis and machine intelligence,2016
[0141]
13.summers,r.m.:progres s in fully automated abdominal ct interpretation.amer-ican journal of roentgenology 207(1),67
–
79(2016)
[0142]
14.tompson,j.j.,jain,a.,lecun,y.,bregler,c.:joint training of a convolutional network and a graphical model for human pose estimation.in:advances in neural information processing systems.pp.1799
–
1807(2014)
[0143]
15.yang,d.,xu,d.,zhou,s.k.,georgescu,b.,chen,m.,grbic,s.,metaxas,d.,comaniciu,d.:automatic liver segmentation using an adversarial image-to-image network.in:international conference on medical image computing and computer-assisted intervention.pp.507
–
515.springer(2017)