二维乳腺造影数据组的确定的制作方法

文档序号:17363320发布日期:2019-04-09 22:14阅读:204来源:国知局
二维乳腺造影数据组的确定的制作方法

本发明涉及一种用于确定二维乳腺造影数据组的方法以及一种确定系统。



背景技术:

数字乳房断层合成(dbt)是作为目前的诊断标准方法的二维乳腺造影的大有希望的发展。通过dbt提供关于乳房解剖结构的三维信息,其使由于纤维腺组织的叠加而形成的二维乳腺造影的假阳性的数量减少。但是另一方面,基于数字乳房断层合成的诊断使进行诊断的医生的工作负荷增加,因为必须检查多个层记录。

为了更高效地进行诊断、特别是对病变的搜索,有利的是,除了数字乳房断层造影之外,还提供二维乳腺造影。虽然二维乳腺造影可以通过借助电离辐射进行的单独拍摄来提供,但是这使被检查组织的辐射负荷增加。因此,有利的是,基于三维数字乳房断层合成提供合成的二维乳腺造影数据组。

从felixdiekmann等的文献“thickslicesfromtomosynthesisdatasets:phantomstudyfortheevaluationofdifferentalgorithms”,journalofdigitalimaging22(5),s.519–526(2009)中,公开了概括部分数字乳房断层合成的用于创建二维乳腺造影数据组的方案(例如以最大强度投影mip的形式或者通过对层求平均)。这些方法虽然高效,但是当可疑病变隐藏在具有高强度值的结构后面时,或者当在投影中重叠的不显眼的结构产生假阳性结果时,这些方法是有问题的。

从g.vanschie等的文献“massdetectioninreconstructeddigitalbreasttomosynthesisvolumeswithacomputer-aideddetectionsystemtrainedon2dmammograms”,medicalphysics40(4),s.041902(2013)中,已知产生包括数字乳房断层合成的最明显的病变的弯曲的二维表面,并且在平面中显示其。但是由此产生失真,使得得到的二维图像数据与通常的二维乳腺造影不同,从而难以进行诊断。

从文献us20170011534a1中已知借助自学习算法对数字乳房断层合成的体素分配相关值,其中,相关值涉及相应的体素与乳腺癌诊断的相关性。然后,基于这些相关值,借助加权强度投影(英语术语为“weightedintensityprojection”)产生二维图像数据组。当可疑病变隐藏在具有高强度值的结构后面时,或者当在投影中重叠的不显眼的结构产生假阳性结果时,这种方法也是有问题的。



技术实现要素:

因此,本发明要解决的技术问题是,提供一种用于根据三维乳腺造影数据组产生合成的二维乳腺造影数据组的替换方法,其将整个三维乳腺造影数据组包含一起包含到所述产生内。

上述技术问题通过根据本发明的用于确定二维乳腺造影数据组的方法、通过根据本发明的确定系统、通过根据本发明的计算机程序产品以及通过根据本发明的计算机可读的存储介质来解决。

下面,不仅关于所要求保护的设备、而且关于所要求保护的方法描述上述技术问题的根据本发明的解决方案。在此提到的特征、优点或者替换实施方式同样也可以转用于其它要求保护的其它主题,反之亦然。换句话说,也可以利用结合方法描述或者要求保护的特征来扩展(例如针对设备的)装置。方法的对应的功能特征在此通过对应的设备模块来构造。

本发明涉及一种用于确定二维乳腺造影数据组的方法。所述方法包括:借助接口接收检查区域的三维乳腺造影数据组。所述方法还包括:借助计算单元通过将经过训练的生成器函数应用于三维乳腺造影数据组来第一确定检查区域的二维乳腺造影数据组,其中,经过训练的生成器函数基于经过训练的ga算法。

发明人认识到,通过这种方法,可以产生基于整个三维乳腺造影数据组的合成的二维乳腺造影数据组。同时高效地产生在视觉上与真实的二维乳腺造影数据组类似、因此可以利用标准化方法进行诊断的二维乳腺造影数据组。

根据本发明的另一个方面,经过训练的ga算法包括生成函数和分类函数,其中,经过训练的生成器函数与经过训练的ga算法的生成函数相同。发明人认识到,通过ga算法的这种结构,对生成器函数的训练可以特别高效并且成本低廉地进行。特别是,生成函数也可以称为生成器函数,并且分类函数也可以称为分类器函数。如果ga算法是ga网络,则生成函数也可以称为生成子网络,并且分类函数也可以称为分类子网络。

根据本发明的另一个方面,经过训练的生成器函数是人工神经网络。于是,经过训练的生成器函数特别是基于ga网络。发明人认识到,对人工神经网络的训练是特别高效的。

根据本发明的另一个方面,经过训练的生成器函数包括第一子函数、投影函数和第二子函数的联结,其中,第一子函数将三维乳腺造影数据组映射为第一特征向量,其中,投影函数将第一特征向量映射为第二特征向量,以及其中,第二子函数将第二特征向量映射为二维乳腺造影数据组。特别是,经过训练的生成器函数是第一子函数、投影函数和第二子函数的联结。如果经过训练的生成器函数是人工神经网络,则第一子函数特别地是第一子网络,此外,投影函数特别地是投影层,此外,第二子函数特别地是第二子网络。发明人认识到,与自动编码器类似,通过映射为第一和第二特征向量,可以尽可能简单并且高效地存储三维乳腺造影数据组的相关特征,并且通过基于第一或第二特征向量计算二维乳腺造影数据组,可以特别简单并且高效地将这些相关特征接收到二维乳腺造影数据组中。

根据本发明的另一个可能的方面,第一子网络和/或第二子网络是卷积人工神经网络(英语术语为“convolutionalneuralnetwork”),特别地是深卷积人工神经网络(英语术语为“deepconvolutionalneuralnetwork”)。特别地,第一子网络和/或第二子网络也可以是完全卷积神经网络(英语术语为“fullyconvolutionalneuralnetwork”),因此特别是不具有完全连接的层。发明人认识到,卷积神经网络特别适用于高效地作为输入值对图像数据进行处理。

根据本发明的另一个方面,第一子函数包括至少一个三维卷积算子。如果第一子函数是第一子网络,则三维卷积算子特别地是三维卷积层。发明人认识到,三维卷积算子特别适用于识别并且进一步处理三维图像数据的特征,特别是根据三维图像数据构建特征向量。

根据本发明的另一个方面,第二子函数包括至少一个二维卷积算子。如果第二子函数是第二子网络,则二维卷积算子特别地是二维卷积层。发明人认识到,二维卷积算子特别适用于存储并且进一步处理二维图像数据的特征,特别是根据特征向量构建二维图像数据组。

根据本发明的另一个方面,投影函数是三维卷积算子,其中,二维乳腺造影数据组关于第一方向并且关于第二方向延伸,其中,三维乳腺造影数据组还关于第三方向延伸,以及其中,三维卷积算子的卷积核关于第三方向的延伸基于三维乳腺造影数据组关于第三方向的延伸。在此,卷积核和三维乳腺造影数据组的延伸特别是以像素为单位进行测量。特别是,这些方向中的每一个分别平行于卷积核和/或三维乳腺造影数据组的体素的边。发明人认识到,通过三维乳腺造影数据组的第一特征向量的卷积核的这种选择,可以简单地并且正好映射为二维乳腺造影数据组的第二特征向量。

根据本发明的另一个可能的方面,经过训练的生成器函数包括第一子函数,其中,第一子函数将三维乳腺造影数据组映射为第一特征向量,以及其中,第一子函数包括至少一个三维卷积算子。特别是,第一子函数是第一子网络,并且三维卷积算子是三维卷积层。发明人认识到,三维卷积算子特别适用于识别并且进一步处理三维图像数据的特征,特别是根据三维图像数据构建特征向量。

根据本发明的另一个可能的方面,经过训练的生成器函数包括第二子函数,其中,第二子函数将第二特征向量映射为二维乳腺造影数据组,以及其中,第二子函数包括至少一个二维卷积算子。特别是,第二子函数是第二子网络,并且二维卷积算子是二维卷积层。发明人认识到,二维卷积块特别适用于存储并且进一步处理二维图像数据的特征,特别是根据特征向量构建二维图像数据组。

根据本发明的另一个可能的方面,经过训练的生成器函数包括投影函数,其中,投影函数将第一特征向量映射为第二特征向量,其中,投影函数是三维卷积算子,其中,二维乳腺造影数据组关于第一方向并且关于第二方向延伸,其中,三维乳腺造影数据组还关于第三方向延伸,以及其中,三维卷积算子的卷积核关于第三方向的延伸基于三维乳腺造影数据组关于第三方向的延伸。特别是,这些方向中的每一个分别平行于卷积核和/或三维乳腺造影数据组的体素的边。发明人认识到,通过三维乳腺造影数据组的第一特征向量的卷积核的这种选择,可以简单地并且正好映射为二维乳腺造影数据组的第二特征向量。

根据本发明的另一个方面,二维乳腺造影数据组关于第一方向并且关于第二方向延伸,所述方法还包括:借助计算单元去除三维乳腺造影数据组的二维层,其中,二维层关于第一方向和第二方向延伸。第一方向特别是与第二方向正交。发明人认识到,当仅对具有固定数量的层的三维乳腺造影数据组进行处理时,可以特别简单地对经过训练的生成器函数进行训练,或者经过训练的生成器函数在训练数据很少的情况下也可以产生特别准确的结果。因此,有利地从三维乳腺造影数据组中去除二维层。

根据本发明的另一个方面,二维层基于乳头在三维乳腺造影数据组中的位置来确定。特别是,三维层被确定为,使得三维层与乳头的位置的距离大于给定的阈值,其中,距离以像素或以层来测量。发明人认识到,基于乳头的位置可以特别简单地确定乳房的中心点。

根据本发明的另一个方面,二维层基于三维乳腺造影数据组的体素的加权因数来确定。加权因数特别是可以是体素以什么概率映射病变的说明(angeben)。特别是,二维层被确定为,使得二维层与具有极值(特别是最大)加权因数的体素的距离大于给定的阈值,其中,距离以像素或以层来测量。发明人认识到,基于体素的加权因数可以特别简单地确定三维乳腺造影数据组的相关区域。

根据本发明的另一个方面,二维乳腺造影数据组包括一个或多个像素,所述方法还包括:第二确定二维概率数据组,其中,二维概率数据组对二维乳腺造影数据组的一个或多个像素中的每一个分配相应的像素映射病变的概率。发明人认识到,基于二维概率数据组,可以特别简单并且快速地对二维乳腺造影数据组进行诊断。

本发明还涉及一种确定系统,包括以下单元:

-接口,被构造为用于接收检查区域的三维乳腺造影数据组,

-计算单元,被构造为用于通过将经过训练的生成器函数应用于三维乳腺造影数据组来第一确定检查区域的二维乳腺造影数据组,

其中,经过训练的生成器函数基于经过训练的ga网络。

这种确定系统特别是可以被构造为用于执行前面描述的根据本发明的方法和其各方面。确定系统通过接口和计算单元构造为执行对应的方法步骤,而被构造为执行这些方法和其各方面。

本发明还涉及一种具有计算机程序的计算机程序产品以及计算机可读介质。尽可能适于软件的实现具有如下优点:也可以以简单的方式通过软件升级更新迄今为止已经使用的确定系统,以便以根据本发明的方式工作。除了计算机程序之外,这种计算机程序产品在需要时还可以包括附加组成部分,例如文档,和/或附加部件以及硬件部件,例如硬件密钥(软件狗等),用于软件的使用。

本发明还可以涉及一种乳腺造影单元,其中,乳腺造影单元包括前面描述的确定系统。

本发明还可以涉及一种用于提供生成器函数、特别是经过训练的生成器函数的方法,包括以下方法步骤:

-借助接口第一训练接收训练检查区域的三维训练乳腺造影数据组,

-借助计算单元通过将生成器函数应用于三维训练乳腺造影数据组,来第一训练确定训练检查区域的合成的二维训练乳腺造影数据组,

-借助计算单元通过将分类器函数应用于合成的二维训练乳腺造影数据组,来第二训练确定第一概率值,

-借助接口第二训练接收真实的二维训练乳腺造影数据组,

-借助计算单元通过将分类器函数应用于真实的二维训练乳腺造影数据组,来第三训练确定第二概率值,

-借助计算单元基于第一概率值和/或第二概率值调整生成器函数的参数。

-借助接口提供生成器函数。

特别是,也可以基于第一概率值和/或第二概率值调整分类器函数的参数。此外,特别是对生成器函数的参数的调整也可以基于合成的二维训练乳腺造影数据组和/或三维训练乳腺造影数据组。

训练乳腺造影数据组在此可以具有乳腺造影数据组的所有特征和有利扩展。特别是,合成的和/或真实的二维训练乳腺造影数据组可以具有二维乳腺造影数据组的所有特征和有利扩展。特别是,三维训练乳腺造影数据组可以具有三维乳腺造影数据组的所有特征和有利扩展。训练检查区域在此可以具有检查区域的所有特征和有利扩展。

当乳腺造影数据组或训练乳腺造影数据组根据具有不同的维度的乳腺造影数据组或训练乳腺造影数据组来确定时,在此特别是将其称为合成的。当乳腺造影数据组或训练乳腺造影数据组基于直接测量时,在此特别是将其称为真实的。三维训练乳腺造影数据组特别地是真实的训练乳腺造影数据组。

用于提供生成器函数的方法是用于训练生成器函数的方法或生成器函数的训练方法。

根据本发明的确定系统特别是可以被构造为用于执行前面描述的用于提供生成器函数的方法和其各方面。确定系统通过接口和计算单元构造为执行对应的方法步骤,而被构造为执行用于提供生成器函数的方法和其各方面。

本发明还可以涉及一种具有计算机程序的计算机程序产品,其能够直接加载到确定系统的存储单元中,具有程序部分,用于当由确定系统执行所述程序部分时,执行用于提供生成器函数的方法和其各方面的所有步骤。

本发明还可以涉及一种计算机可读的存储介质,其上存储有可由确定系统读取并且执行的程序部分,用于当由确定系统执行所述程序部分时,执行用于提供生成器函数的方法和其各方面的所有步骤。

本发明还可以涉及一种包括经过训练的生成器函数的计算机程序产品或者计算机可读的存储介质,其中,借助用于提供生成器函数的方法和其各方面对生成器函数进行了训练。

乳腺造影数据组是人体乳房、特别是女性乳房的图像数据组。乳腺造影数据组是x射线乳房造影、磁共振乳房造影、断层合成或者乳房超声检查的结果。

图像数据组包括至少一个图像,此外,图像数据组还可以包括其它数据、特别是元数据。图像数据组特别是可以与图像相同。二维图像数据组包括至少一个二维图像,特别是二维图像数据组不包括具有不同的维度的其它图像。三维图像数据组包括至少一个三维图像,特别是三维图像数据组不包括具有不同的维度的其它图像。二维图像数据组特别是与二维图像相同。三维图像数据组特别是与三维图像相同。元数据在此是关于作为图像数据组的基础的成像检查的信息,其不是图像或图像数据,例如是患者数据或者关于所使用的协议的数据。当以像素或者体素测量的图像数据组的延伸在一个方向上大于1时,数据组或图像数据组特别是在该方向上延伸。以体素测量的在一个方向上的延伸正好为1的三维图像数据组,也可以理解为二维图像数据组。

图像数据组包括多个像素或者体素。在此,术语像素和体素同义地使用,因此特别是不允许任何关于维度的结论。对每个像素或者体素分配强度值,强度值优选对应于x射线吸收值。

ga算法(“ga”是“generativeadversarial(生成对抗)”的缩写,德语翻译为“erzeugendundgegnerisch”)包括生成器函数和分类器函数。在此,生成器函数产生合成的数据,并且分类器函数区分合成的数据和真实的数据。特别是,通过训练生成器函数和/或分类器函数,实现一方面生成器函数产生合成的数据,其可能被分类器函数错误地归为真实的,另一方面分类器函数可以尽可能良好地区分真实的数据和合成的数据。在博弈论上,ga算法也可以理解为零和游戏。对生成器函数和/或分类器函数的训练特别是基于相应的成本函数的最小化。

如果生成器函数和分类器函数通过网络给出,特别是通过人工神经网络给出,则ga算法也称为ga网络(也称为“gan”,“generativeadversarialnetworks(生成对抗网络)”的英语缩写,德语翻译为“erzeugendegegnerischenetzwerke”)。其特别是从ianj.goodfellow的文献“generativeadversarialnetworks”,arxiv1406.2661(2014)中已知。成本函数的最小化特别是可以借助反向传播来进行。

经过训练的生成器函数特别是以经过训练的生成器函数与ga算法或者ga网络的生成器函数相同的方式,基于ga算法或者ga网络。

当函数是算子或者具有一个或多个其它函数的分函数的联结时,该函数包括算子或者分函数。特别是,当第一子函数是三维卷积算子与一个或多个其它函数的联结时,第一子函数包括三维卷积算子。特别是,当第一子函数是二维卷积算子与一个或多个其它函数的联结时,第二子函数包括二维卷积算子。

通过对d维输入阵列应用具有一个或多个内核的数学卷积,d维卷积算子(英语术语为“convolutionaloperator”)将d维输入阵列映射为一个或多个d维输出阵列。一个或多个内核在此也是d维阵列。特别是,在此,输入阵列和输出阵列关于每一个维度的延伸是相同的。d维阵列特别地是d维矩阵或者d维图像数据组。

d维池化算子(英语术语为“poolingoperator”)将d维输入阵列映射为d维输出阵列,其中,输出阵列关于至少一个维度的延伸小于输入阵列关于该维度的延伸。

d维反池化算子(英语术语为“unpoolingoperator”)将d维输入阵列映射为d维输出阵列,其中,输出阵列关于至少一个维度的延伸大于输入阵列关于该维度的延伸。

不仅d维卷积算子、而且d维池化算子和d维反池化算子都可以在人工神经网络中实现,特别是通过两个相邻的节点层实现,其中,第一节点层表示d维输入阵列,并且第二节点层表示一个或多个d维输出阵列。相应的算子于是通过拓扑结构(第一和第二节点层的节点之间的边)和其权重给出。在这种情况下,d维卷积算子也称为d维卷积层(英语术语为“convolutionallayer”),d维池化算子也称为d维池化层(英语术语为“poolinglayer”),并且d维反池化算子也称为d维反池化层(英语术语为“unpoolinglayer”)。因此,层特别是包括两个相邻的节点层和这两个相邻的节点层的节点之间的所有的边。两个不同的层可以具有共同的节点层,在这种情况下,第一层的输出值作为输入值用于第二层。

特征向量是可以理解为向量的数值的集合。特征向量的英语术语为“featurevector”。特征向量也可以是特征通道,特征通道的英语术语为“featurechannel”。特别是,特征向量也可以是图像数据组,特别是二维或者三维图像数据组。特别是,第一特征向量也可以是三维图像数据组,并且第二特征向量也可以是二维图像数据组。

用于确定二维乳腺造影数据组和用于训练生成器函数的方法特别地是计算机实现的方法。

附图说明

下面,根据在附图中示出的实施例以及借助伪代码详细描述和说明本发明。

图1示出了用于确定二维乳腺造影数据组的方法的流程图,

图2示出了确定系统,

图3示出了用于训练生成器函数的方法的流程图,

图4示出了用于训练生成器函数的方法的数据流,

图5示出了生成器函数的第一实施例,

图6示出了生成器函数的第二实施例,

图7示出了二维卷积层,

图8示出了借助计算单元去除三维乳腺造影数据组的二维层时的数据结构。

具体实施方式

图1示出了用于确定二维乳腺造影数据组g_x,g_x'的方法的实施例的流程图。方法的可选步骤在此用虚线示出。

此外,表a示出了该实施例的相关伪代码。

所示出的实施例的第一步骤是,借助接口ds.1接收rec检查区域的三维乳腺造影数据组x。该步骤对应于代码行a.1。三维乳腺造影数据组x在此是数字乳房断层合成。三维乳腺造影数据组x包括以三维网格布置的体素,其中,三维乳腺造影数据组x在第一方向上的延伸对应于l1体素,在第二方向上的延伸对应于l2体素,其中,第二方向与第一方向正交,并且在第三方向上的延伸对应于l3体素,其中,第三方向与第一方向正交并且与第三方向正交。因此,总的来说,三维乳腺造影数据组x包括l1·l2·l3体素。

在所示出的实施例中,三维乳腺造影数据组x还包括应当在二维乳腺造影数据组g_x,g_x'中不再存在第一方向、第二方向和第三方向中的哪个方向的信息。在进一步的描述中,假设这在这种情况下是第三方向,从而二维乳腺造影数据组g_x,g_x'正好包括l1·l2像素。

所示出的实施例的第二步骤是,借助计算单元ds.2去除rmv三维乳腺造影数据组x的二维层w.1,w.2,w.7,w.8,其中,二维层w.1,w.2,w.7,w.8关于第一方向u和第二方向v延伸。步骤去除rmv是可选步骤,其对应于伪代码中的代码行a.3至a.5。

在该实施例中,基于三维乳腺造影数据组x中的乳头的位置确定二维层w.1,w.2,w.7,w.8(参见代码行a.2)。替换地,可以基于三维乳腺造影数据组x的体素的加权因数来确定二维层w.1,w.2,w.7,w.8。

在关于图8的描述中将更详细地说明去除rmv二维层w.1,w.2,w.7,w.8的步骤。一次或多次执行去除的结果同样是三维乳腺造影数据组x'。

下面描述的该实施例的步骤与是否执行可选步骤去除rmv无关。换句话说,也就是,其不仅可以应用于没有去除二维层w.1,…,w.8的三维乳腺造影数据组x,而且可以应用于去除了至少一个二维层w.1,w.2,w.7,w.8的三维乳腺造影数据组x'。但是,在此有利的是,针对所使用的二维层w.1,…,w.8的数量调整存在于生成器函数g中的投影函数g.pl。

所示出的实施例的第三步骤是,借助计算单元ds.2通过将经过训练的生成器函数g应用于三维乳腺造影数据组x,x',第一确定det-1检查区域的二维乳腺造影数据组g_x,g_x',其中,经过训练的生成器函数g基于经过训练的ga算法。二维乳腺造影数据组g_x,g_x'这里特别地是合成的二维乳腺造影数据组g_x,g_x'。步骤第一确定det-1对应于代码行a.6。在关于图5的描述中说明关于步骤第一确定det-1的细节以及替换实施例。

生成器函数g在该实施例中是人工神经网络,但是生成器函数g替换地也可以基于感知器(perzeptron)、支持向量机(英语术语为“supportvectormachine”,缩写为“svm”)、随机森林(英语术语为“randomforest”)或者回归函数。

所示出的实施例的第四步骤是,第二确定det-2二维概率数据组gpm_x,gpm_x',其中,二维概率数据组gpm_x,gpm_x'对二维乳腺造影数据组g_x,g_x'的一个或多个像素中的每一个分配相应的像素映射病变的概率。第二确定det-2在此是可选步骤。步骤第一确定det-1对应于代码行a.7。在关于图6的描述中说明关于步骤第二确定det-2的细节以及替换实施例。

图2示出了用于确定二维乳腺造影数据组g_x,g_x'的确定系统ds。这里示出的确定系统ds被设计为用于执行根据本发明的方法。该确定系统包括接口ds.1、计算单元ds.2、存储单元ds.3以及输入和输出单元ds.4。

确定系统ds特别是可以是计算机、微控制器或者集成电路。替换地,确定系统可以是计算机的真实或者虚拟联合体(真实联合体的英语术语为“cluster(集群)”,虚拟联合体的英语术语为“cloud(云)”)。特别地,确定系统ds也可以是乳腺造影单元的一部分,替换地,确定系统ds本身也可以是乳腺造影单元。

接口ds.1可以是硬件或者软件接口(例如pci总线、usb或者firewire)。计算单元ds.2可以具有硬件元件或者软件元件,例如微处理器或者所谓的fpga(“fieldprogrammablegatearray(现场可编程门阵列)”的英语缩写)。存储单元ds.3可以作为非永久的工作存储器(随机存取存储器,缩写为ram)或者作为永久的大容量存储器(硬盘、usb棒、sd卡、固态盘)来实现。输入和输出单元ds.4包括至少一个输入单元和/或至少一个输出单元。

图3示出了用于提供生成器函数的方法的流程图,图4示出了用于提供生成器函数g的方法中的数据流。在此,借助三维训练乳腺造影数据组x.1,…,x.s的集合和真实的二维训练乳腺造影数据组y.1,…,y.t的集合来训练生成器函数g。

在该实施例中,生成器函数的训练逐步进行,也就是说,在每个训练步骤中,仅同时使用三维训练乳腺造影数据组x.1,…,x.s中的正好一个三维训练乳腺造影数据组x和真实的二维训练乳腺造影数据组y.1,…,y.t中的正好一个真实的二维训练乳腺造影数据组y,但是可以任意多次地重复该训练步骤,以获得更好地经过训练的生成器函数g。替换地,也可以在训练步骤中使用三维训练乳腺造影数据组x.1,…,x.s中的多个和/或真实的二维训练乳腺造影数据组y.1,…,y.t中的多个。

所示出的方法的第一步骤是,借助接口ds.1第一训练接收trec-1训练检查区域的三维训练乳腺造影数据组x。三维训练乳腺造影数据组x在此是三维训练乳腺造影数据组x.1,…,x.s中的一个。

所示出的方法的第二步骤是,借助计算单元ds.2通过将生成器函数g应用于三维训练乳腺造影数据组x,第一训练确定tdet-1训练检查区域的合成的二维乳腺造影数据组g_x。在此,三维训练乳腺造影数据组x是生成器函数g的输入值,合成的二维乳腺造影数据组g_x是通过生成器函数g产生的输出值g(x)。

为了训练生成器函数g,还需要分类器函数c。分类器函数c将真实的二维训练乳腺造影数据组y或者合成的二维乳腺造影数据组g_x映射为0和1之间的实数,特别是映射为概率值。该概率值对应于分类器函数c的输入数据组是二维训练乳腺造影数据组y.1,…,y.t的集合的元素的概率。生成器函数g和分类器函数c与合适的成本函数一起形成ga网络。

所示出的实施例的第三步骤是,借助计算单元ds.2通过将分类器函数c应用于合成的二维乳腺造影数据组g_x,第二训练确定tdet-2第一概率值c_g_x。在此,分类器函数c作为输入值接受合成的二维乳腺造影数据组g_x,并且作为输出值产生第一概率值c_g_x。

所示出的实施例的第四步骤是,借助接口ds.1第二训练接收tdet-2真实的二维训练乳腺造影数据组y。真实的二维训练乳腺造影数据组y在此是真实的二维训练乳腺造影数据组y.1,…,y.t中的一个。

所示出的实施例的第四步骤是,借助计算单元ds.2通过将分类器函数c应用于真实的二维训练乳腺造影数据组y,第三训练确定tdet-3第二概率值c_y。在此,分类器函数c作为输入值接受二维训练乳腺造影数据组y.1,…,y.t中的真实的二维乳腺造影数据组y,并且作为输出值产生第二概率值c_y。

步骤第一训练接收trec-1、第一训练确定tdet-1和第二训练确定tdet-2在此以所列举的顺序执行,其形成第一组。此外,步骤第二训练接收trec-2和第三训练确定tdet-3以所列举的顺序执行,其形成第二组。但是这两个步骤组是相互独立的,也就是说,步骤第二训练接收trec-2和第三训练确定tdet-3分别也可以在步骤第一训练接收trec-1、第一训练确定tdet-1和第二训练确定tdet-2中的一个之前执行。特别是,步骤第一训练接收trec-1和第二训练接收trec-2分别可以在步骤第一训练确定tdet-1、第二训练确定tdet-2和第三训练确定tdet-3之前执行。

所示出的实施例的第六步骤是,基于第一概率值c_g_x和第二概率值c_y调整adj生成器函数g的参数。特别是,在此也调整分类器函数c的参数。在该实施例中,对此,通过调整生成器函数g和分类器函数c的参数,使与c_g_x和c_y有关的两个成本函数最小。通过合适地选择成本函数,生成器函数g被训练为,使得分类器函数c不能决定是否从真实的二维训练乳腺造影数据组y.1,…,y.t的集合中选择g_x,即c_g_x=0.5。由此也得到训练方法的英语术语“generative-adversarial(生成对抗)”,因为生成器函数g产生合成的数据(“generative”),并且生成器函数g和分类器函数c相对于彼此进行训练(“adversarial”)。

下面,分别描述生成器函数g和分类器函数c的可能的成本函数。但是,当然在任何时候都可以使用其它成本函数。

在该实施例中,分类器函数c的成本函数kc由下式给出

kc∝bce(c_y,1)+bce(c_g_x,0)

其中,bce是二元交叉熵(英语术语为“binarycross-entropy”),其由下式表示:

bce(z,z')=z'·log(z)+(1-z')·log(1-z)

特别是,因此,分类器函数c的成本函数kc由下式给出:

kc(c_y,c_g_x)∝log(c_y)+log(1-c_g_x)

同样地,训练步骤不仅可以利用一个三维训练乳腺造影数据组x和一个真实的二维训练乳腺造影数据组y执行,还可以利用多个三维训练乳腺造影数据组和/或多个真实的二维训练乳腺造影数据组执行。在这种情况下,成本函数由下式给出

其中,i表示所使用的三维训练乳腺造影数据组的数量(其中,i≤s),其中,j表示所使用的真实的二维训练乳腺造影数据组的数量(其中,j≤t),其中,c_yj表示将分类器函数c应用于第j个真实的二维训练乳腺造影数据组,以及其中,c_g_xi表示将分类器函数c应用于将生成器函数应用于第i个三维训练乳腺造影数据组的结果。

生成器函数g的成本函数kg由下式给出

kg=α·kproj+β·kcont+γ·kadver,

其中,成分kproj将合成的二维乳腺造影数据组g_x与三维训练乳腺造影数据组x的投影的偏差量化,其中,kcont将具有病变的区域和周围之间的大的对比度差异优先,以及其中,kadver选择为,使得分类器函数将合成的二维训练乳腺造影数据组y.1,…,y.t分类为真实的。参数α、β和γ是实数,其可以被自由选择,用于对针对成本函数的各个贡献进行加权。在本实施例中,将这些参数选择为α=β=γ=1。成分kcont在此是可选的(因此可以选择β=0)。

合成的二维乳腺造影数据组g_x与三维训练乳腺造影数据组x的投影的偏差例如可以由下面的成分kproj量化:

kproj(x)=[pr(x)-g(x)]2

如果在训练步骤中使用多个训练数据组,则关于多个训练数据组对成本函数kg的成分kproj求平均:

在此,pr(x)表示将投影算子应用于三维训练乳腺造影数据组x,特别是关于第三方向w的投影算子,其中,投影算子将三维数据组映射为二维数据组。在该实施例中,投影算子是关于作为投影方向的第三方向x的最大强度投影(英语“maximalintensityprojection”,缩写为“mip”)。替换地,其也可以是到沿着投影方向的平均值的投影,或者是多平面重建(英语“multiplanarreformat”,缩写为“mpr”)。

通过成本函数kg中的这种贡献,实现了将三维训练乳腺造影数据组x映射为合成的二维乳腺造影数据组g_x,其实际上也对应于三维训练乳腺造影数据组x的二维投影pr(x),并且不仅仅类似于真实的二维训练乳腺造影数据组y.1,…,y.t。

通过下面的对成本函数kg的贡献kcont,例如可以实现包括病变的图像区域和其余图像区域之间的高对比度:

如果在训练步骤中使用多个训练数据组,则关于多个训练数据组对成本函数kg的成分kproj求平均:

在此,m或mn表示三维训练乳腺造影数据组x或xn的训练分割,在该训练分割中,在三维训练乳腺造影数据组x或xn中分割出了一个或多个病变。训练分割在此包括体素,当相应的体素映射病变时,对该体素分配值1,而当相应的体素不映射病变时,对该体素分配值0。投影函数在此也可以又是最大强度投影,此外,投影函数也可以与三维训练乳腺造影数据组x有关。例如,投影函数可以以如下方式来计算最大强度投影,即,基于三维训练乳腺造影数据组x确定具有最大强度的相关体素,但是然后训练分割m的像素值被投影。特别是,pr(m)因此是二维分割。

函数snr在此表示信噪比(英语“signal-to-noiseratio”),在该实施例中,该函数由下式给出

其中,逐像素地执行二维数据组或图像的积。在此,l1表示数据组在第一方向u上的延伸,并且l2表示数据组在第二方向v上的延伸,并且∑pr(m)表示pr(m)中的作为强度分配了1的像素的数量。因此,函数snr在此计算分割的区域中的g_x的强度值的平均值与分割的区域外部的g_x的强度值的平均值的比。替换地,函数snr也可以基于分割的区域外部的g_x的强度值的标准偏差。

因此,对成本函数kg的贡献kcont的最小化使得通过高强度值标出合成的二维乳腺造影数据组g_x中的病变,因此可以特别简单地对其进行诊断。

通过以分类器函数不能区分合成的二维乳腺造影数据组g_x与真实的二维训练乳腺造影数据组y.1,…,y.t的方式,产生合成的二维乳腺造影数据组g_x,对成本函数kg的贡献kadver使得所产生的合成的二维乳腺造影数据组g_x尽可能类似于真实的二维训练乳腺造影数据组y.1,…,y.t。对于这种贡献,又可以选择二元交叉熵

其中,这里也又可以关于多个训练数据组求平均:

因此,这里进行优化,使得接近1的高的第一概率值g_c_x使成本函数最小。

如果生成器函数g基于三维训练乳腺造影数据组x除了合成的二维乳腺造影数据组g_x之外,还产生概率数据组gpm_x,则成本函数kg还可以以相加的方式与测量在概率数据组gpm_x和投影的分割之间的相似性的贡献kcont有关。该项的一个可能的选择是

其中,gpm(x)表示属于三维训练乳腺造影数据组x的概率数据组,以及其中,积应当逐像素地理解。也可以分别关于多个训练图像对该项求平均:

该贡献基于系数。但是替换地,该贡献例如也可以基于jaccard指数或者tversky指数。

在该实施例中,借助反向传播通过使成本函数kg和kc最小,来调整生成器函数g和分类器函数c的参数。在此,人工神经网络的反向传播对于本领域技术人员是已知的,因此这里不更详细地对其进行描述。

所示出的实施例的最后的步骤是借助接口ds.1提供prov生成器函数g。

表b示出了在图3和图4中示出的用于确定生成器函数g的实施例的伪代码。在代码行b.1和b.2中,将作为具有标准参数的人工神经网络的生成器函数g和分类器函数c初始化。学习速度“a”量化学习过程的速度,并且在行b.3中初始化。

在代码行b.4中,声明函数“train”,其将训练步骤应用于生成器函数g和分类器函数c,训练步骤基于三维训练乳腺造影数据组x和真实的二维训练乳腺造影数据组y。该函数的函数调用实现步骤第一训练接收trec-1和第二训练接收trec-2。

在代码行b.5中,通过将生成器函数g应用于三维训练乳腺造影数据组x,产生合成的二维乳腺造影数据组g_x。这对应于方法步骤第一训练确定tdet-1。

在代码行b.6中,通过将分类器函数c应用于真实的二维训练乳腺造影数据组y,确定第二概率值c_y。这对应于方法步骤第三训练确定tdet-3。在代码行b.7中,通过借助反向传播使成本函数最小,来调整分类器函数c的参数。该成本函数在此对应于二元交叉熵。该代码行对应于方法步骤调整adj的一部分。

在代码行b.8中,通过将分类器函数c应用于合成的二维乳腺造影数据组g_x,来确定第一概率值c_g_x。这对应于方法步骤第二训练确定tdet-3。在代码行b.9中,通过借助反向传播使成本函数最小,来调整分类器函数c的参数。该成本函数在此对应于二元交叉熵。该代码行对应于方法步骤调整adj的一部分。

在代码行b.10和b.11中,通过将分类器函数c应用于合成的二维乳腺造影数据组g_x,重新确定第一概率值c_g_x。因为在代码行b.9中调整了分类器函数c的参数,因此第一概率值的数值改变。在代码行b.11中,通过借助反向传播使生成器函数g的成本函数最小,来调整生成器函数g的参数。该成本函数在此对应于已经定义的函数kg。该代码行对应于方法步骤调整adj的一部分。

图5示出了构造为人工神经网络的生成器函数g的第一实施例。在该实施例中,生成器函数包括第一子网络g.3d、第二子网络g.2d以及投影层g.pl。第一子网络将三维乳腺造影数据组x,x'映射为第一特征向量fv.3d。投影层g.pl将第一特征向量fv.3d映射为第二特征向量fv.2d。第二子网络g.2d将第二特征向量fv.2d映射为合成的二维乳腺造影数据组g_x,g_x'。

在此,当先前未对第一二维乳腺造影数据组x应用可选步骤去除时,生成器函数g的输入值是第一二维乳腺造影数据组x,或者当先前对第一二维乳腺造影数据组x应用了可选步骤去除时,生成器函数g的输入值是第二乳腺造影数据组x'。

在该实施例中,不仅第一子网络g.3d、而且第二子网络g.2d是卷积神经网络(英语术语为“convolutionalneuralnetwork”)。

第一子网络g.3d在该实施例中包括多个三维卷积层cl.3d,第二子网络g.2d在该实施例中包括多个二维卷积层cl.2d。第一子网络g.3d在该实施例中还包括至少一个池化层,第二子网络g.2d在该实施例中还包括至少一个反池化层。

有利地,第一子网络g.3d和/或第二子网络g.2d包括一个或多个初始模块(英语术语为“inceptionmodule”)。初始模块将至少两个卷积算子与不同大小的卷积掩码组合成共同的输出值。初始模块的应用例如从网络架构“googlenet”中已知,由此卷积掩码的大小不需要在各个层中预先给定,而可以在学习过程中从多个可能性中自动选择。此外,第一子网络g.3d、第二子网络g.2d可以包括残差连接(英语术语为“residualconnections”)。

在所示出的实施例中,二维乳腺造影数据组g_x,g_x'关于第一方向u并且关于第二方向v延伸,其中,此外,三维乳腺造影数据组x,x'关于第三方向w延伸。在所示出的实施例中,投影层g.pl是三维卷积算子或三维卷积层cl.3d,其中,卷积核关于第三方向w的延伸基于三维乳腺造影数据组x,x'关于第三方向w的延伸l3。特别是,卷积算子选择为,使得关于第三方向w的输出值仅具有体素的延伸,也就是说,特别是将三维值映射为二维值。特别是,卷积核关于第三方向w的延伸与卷积算子的输入值关于第三方向w的延伸相同,其对应于基于第一子网络g.3d的池化和反池化层对数据组关于第三方向w的延伸的影响进行了校正的、第三乳腺造影数据组x,x'的延伸l3。

图6示出了生成器函数g的第二实施例。在该实施例中,生成器函数包括第一子网络g.3d、第二子网络g.2d、投影层g.pl以及第三子网络pm.3d。第一子网络将三维乳腺造影数据组x,x'映射为第一特征向量fv.3d。投影层g.pl将第一特征向量fv.3d映射为第二特征向量fv.2d。第二子网络g.2d将第二特征向量fv.2d映射为合成的二维乳腺造影数据组g_x,g_x'。第三子网络g.pm2d将第二特征向量fv.2d映射为概率数据组gpm_x,gpm_x',其中,概率数据组gpm_x,gpm_x'对合成的二维乳腺造影数据组g_x,g_x'中的每个像素分配0和1之间的概率值。换句话说,概率数据组gpm_x,gpm_x'因此也可以理解为图像数据组。

第一子网络g.3d和第二子网络g.2d以及投影层g.pl可以具有在关于图5的描述中描述的特征和有利扩展。

在该实施例中,第三子网络g.pm2d具有一个或多个二维卷积层cl.2d。有利地,第三子网络g.pm2d可以具有池化层和反池化层。此外,第三子网络g.pm2d可以包括残差连接。

在该实施例中,生成器函数g的输出值是包括合成的二维乳腺造影数据组g_x,g_x'以及二维概率数据组gpm_x,gpm_x'的对。但是标记g(x),g(x')在这种情况下也仅表示合成的二维乳腺造影数据组g_x,g_x'。

图7示出了卷积神经网络、特别是第二子网络g.2d的二维卷积层cl.2d和池化层。所示出的二维卷积层cl.2d实现二维卷积算子。

该二维卷积层在此将二维输入阵列(其在该实施例中是具有8×8像素的输入图像)映射为两个二维输出阵列,其中,二维输入阵列和二维输出阵列中的每一个关于每一个维度的延伸相同。第一输出阵列是输入阵列与第一内核k1的卷积,第二输出阵列是输入阵列与第二内核k2的卷积:

在此,id[n1,n2]或k1,2[n1,n2]表示索引或坐标为n1,n2的输入阵列或内核的项或者内核k1,k2在索引(坐标)n1和n2处的项。在此,如果两个索引中的一个处于有效范围外,则id[n1,n2]=0或k1,2[n1,n2]=0。替换地,也可以使用其它边界条件或边界值(例如周期性边界条件或边界值)。n1是输入图像在第一方向u上的延伸,n2是输入图像在第二方向v上的延伸,其分别以像素的数量测量。结果用dl1,2:=id*k1,2表示。

可以以相同的方式在任意维度上定义卷积,也就是说,d维输入图像映射为d为输出图像,特别是在三个维度上:

内核k1,k2在此通过内核掩码并且通过内核值来定义。在此,内核掩码是内核的延伸(有效索引),并且内核值是内核的实际值。内核掩码特别是可以通过以像素和/或体素为单位的大小给出,内核值以阵列的形式给出。例如,可以使用下式作为具有3×3像素的延伸的内核

也可以使用非矩形或非长方形的内核掩码。但是,当内核掩码外部的所有内核值为0时,其可以与矩形或长方形内核掩码类似地处理。

在所示出的实施例中,卷积算子在人工神经网络内实现。输入阵列在此对应于人工神经网络的第一层,并且一个或多个输出阵列对应于人工神经网络的第二层,其中,第一层和第二层是人工神经网络中的相邻的层。内核掩码通过人工神经网络的拓扑结构(边和节点的结构)给出,内核值通过边权重给出。因此,在该实施例中,通过对人工神经网络进行训练,仅改变内核值,不改变内核掩码。对此,在训练中,在内核掩码中仅同时改变关于相应地相同的项的边权重,以实现输出阵列的每个项的内核或内核值相同。

除了二维卷积算子cl.2d之外,所示出的实施例还包括池化层形式的二维池化算子(“池化”的英语术语是“pooling”)。其将二维输入阵列od1,2映射为二维输出阵列pd1,2,其中,二维输出阵列pd1,2关于至少一个第一维度的延伸小于二维输入阵列od1,2关于该第一维度的延伸。在所示出的实施例中,使用相应的2×2个像素的最大值池化,输出阵列pd1,2因此由下式得到

要池化的区域(这里相应地为2×2个像素的区域)也称为池化掩码pm(英语术语为“poolingmask”)。

第一子网络和/或第二子网络也可以具有反池化算子(英语术语为“unpoolingoperator”)。其将输入阵列映射为输出阵列,其中,输出阵列关于至少一个维度的延伸大于输入阵列的延伸。在二维的情况下,例如可以通过从输入阵列的一个像素产生输出阵列的2×2个像素,使像素的数量成为四倍。例如,2×2个像素中的每一个可以获得输入阵列的一个像素的值,替换地,可以仅输出阵列的2×2个像素中的一个像素获得输入阵列的一个像素的值,而将其它像素的值被赋为0。

不仅池化算子、而且反池化算子如在所示出的实施例中可以通过人工神经网络来实现。

图8示出了借助计算单元去除rmv三维乳腺造影数据组x的二维层w.1,w.2,w.7,w.8时的数据结构。在该实施例中,去除rmv多次执行,并且由第一三维乳腺造影数据组x产生第二三维乳腺造影数据组x',其中,第二三维乳腺造影数据组x'包括比第一三维乳腺造影数据组x少的体素。

不仅第一、而且第二三维乳腺造影数据组x,x'在第一方向u上、在第二方向v和第三方向w上延伸,其中,第二方向v与第一方向u正交,并且其中,第三方向w与第一方向和第二方向v正交。

第一和第二三维乳腺造影数据组x,x'在第一方向u上的延伸是l1体素,第一和第二三维乳腺造影数据组x,x'在第二方向v上的延伸是l2体素。第一三维乳腺造影数据组x在第三方向w上的延伸是l3体素,第二三维乳腺造影数据组x'在第三方向w上的延伸是l3'体素,其中,l3'<l3。在该实施例中,l1=l2=l3=8,并且l3'=4。因此,在该实施例中,方法步骤去除rmv执行四次。当然也可以使用第一和第二三维乳腺造影数据组x,x'的其它延伸。

第一三维乳腺造影数据组x在该实施例中包括8个二维层w.1,…,w.8,第二三维乳腺造影数据组x'在该实施例中包括4个二维层w.3,…,w.6。这些二维层w.1,…,w.8中的每一个在第一方向u上并且在第二方向v上延伸,并且包括l1·l2体素或像素。因此,在重复四次方法步骤去除rmv时,去除二维层w.1,w.2,w.7和w.8。

在该实施例中,基于乳头在第一三维乳腺造影数据组x中的位置确定要去除的层w.1,w.2,w.7,w.8。特别是,从第一三维乳腺造影数据组x的二维层w.1,…,w.8中确定包括乳头的位置的二维乳头层w.b。二维乳头层w.b的确定在此通过另一个卷积神经网络进行,其作为输入数据接受三维乳腺造影数据组x,并且作为输出值产生二维乳头层w.b的坐标。借助多个训练对来训练该另一个卷积神经网络,其中,训练对中的每一个包括三维训练乳腺造影数据组x.1,…,x.s以及相关的训练位置或训练层,其中,训练位置或训练层对应于乳头在三维训练乳腺造影数据组x.1,…,x.s中的位置或层,并且是由用户确定的。

替换地,可以基于三维乳腺造影数据组x的体素的加权因数来确定要去除的层w.1,w.2,w.7,w.8。加权因数特别是可以对应于相关体素映射病变的概率值。针对三维乳腺造影数据组x的体素的加权因数特别是可以通过另一个卷积神经网络来确定,其作为输入数据接受三维乳腺造影数据组x,并且作为输出值产生三维加权数据组,该三维加权数据组对三维乳腺造影数据组x的体素中的每一个分配该体素映射病变的概率值。特别是可以基于训练对来训练该另一个卷积神经网络,其中,每一个训练对包括三维训练乳腺造影数据组x.1,…,x.s以及相关的训练分割,其中,训练分割由用户进行,其在三维训练乳腺造影数据组x.1,…,x.s中分割病变。在所示出的实施例中,要去除的层w.1,w.2,w.7,w.8基于二维加权层w.g,其中,二维加权层w.g是包括被分配了最大加权因数的体素的二维层w.1,…,w.8。

在该实施例中,不仅二维乳房层w.b、而且二维加权层w.g都与二维层w.4相同。在这两种替换方式中,要去除的二维层w.1,w.2,w.7,w.8被确定为,使得得到的第二三维乳腺造影数据组x'在第三方向w上具有确定的延伸l3',并且二维乳房层w.b或二维加权层w.g是中心层(在奇数l3'的情况下)或者两个中心层中的一个(在偶数l3'的情况下)。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1