本发明涉及医学图像配准领域,尤其涉及一种基于几何代数(geometricalgebra,ga)的医学图像配准方法和系统。
背景技术
现有技术中的医学图像配准大多是针对二维图像的配准,因为2d/2d医学图像配准(表示2d的参考图像与2d的浮动图像进行配准)易实现、速度快、成本低。但是对二维图像的配准没有考虑到使用高维度信息时的情况,在维度信息比较高的情况下,3d/3d医学图像配准(表示3d的参考图像与3d的浮动图像进行配准)更能满足临床医学、手术导航中的要求。目前,3d/3d图像配准存在数据参数多、几何变换复杂度高及计算量很大的问题。
技术实现要素:
本发明的主要目的在于提供一种基于几何代数的医学图像配准方法和系统,可以解决3d/3d图像配准数据参数多、几何变换复杂度高及计算量很大的技术问题。
为实现上述目的,本发明第一方面提供一种基于几何代数的医学图像配准方法,其特征在于,所述方法包括:
基于ga-surf算法对参考图像和浮动图像分别进行几何代数ga特征点提取,得到参考图像特征点和浮动图像特征点,所述参考图像与所述浮动图像均为医学图像;
根据ga球体构建算法,分别利用所述参考图像特征点和所述浮动图像特征点构建参考图像特征球和浮动图像特征球;
在共形几何代数空间中,利用所述参考图像特征球和所述浮动图像特征球确定变换关系,基于所述变换关系对所述参考图像和所述浮动图像进行配准,所述变换关系包括旋转、平移和缩放。
为实现上述目的,本发明第二方面提供一种基于几何代数的医学图像配准系统,其特征在于,所述系统包括:
提取模块,用于基于ga-surf算法对参考图像和浮动图像分别进行几何代数ga特征点提取,得到参考图像特征点和浮动图像特征点,所述参考图像与所述浮动图像均为医学图像;
构建模块,用于根据ga球体构建算法,分别利用所述参考图像特征点和所述浮动图像特征点构建参考图像特征球和浮动图像特征球;
确定配准模块,用于在共形几何代数空间中,利用所述参考图像特征球和所述浮动图像特征球确定变换关系,基于所述变换关系对所述参考图像和所述浮动图像进行配准,所述变换关系包括旋转、平移和缩放。
本发明提供一种基于几何代数的医学图像配准方法和系统。由于本发明利用了几何代数及几何代数中的共形几何代数,二者均具有丰富统一的计算方式,能够将复杂的线性运算和矩阵运算简化,且为几何变换提供更为简单直接的表达,能减少配准数据参数、降低几何变换复杂度、简化计算量并加快计算速度,同时利用几何代数能直接处理高维信息的优点,未丢失医学图像的维度信息,使得医学图像配准精度更高。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明第一实施例中一种基于几何代数的医学图像配准方法的流程示意图;
图2为为本发明第一实施例中步骤101的细化步骤及之后步骤的流程示意图;
图3为本发明第一实施例中利用ga特征点构建ga特征球的示意图;
图4为本发明第一实施例中步骤103的细化步骤的流程示意图;
图5为本发明第一实施例中参考图像特征球和浮动图像特征球的变换关系示意图;
图6为本发明第二实施例中一种基于几何代数的医学图像配准系统的结构示意图;
图7为本发明第二实施例中提取模块201的细化模块的结构示意图;
图8为本发明第二实施例中构建模块202的细化模块的结构示意图;
图9为本发明第二实施例中确定配准模块203的细化模块的结构示意图。
具体实施方式
为使得本发明的发明目的、特征、优点能够更加的明显和易懂,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而非全部实施例。基于本发明中的实施例,本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
由于现有技术中存在3d/3d图像配准数据参数多、几何变换复杂度高及计算量很大的技术问题。
为了解决上述技术问题,本发明提出一种基于几何代数的医学图像配准方法和系统。由于本发明利用了几何代数及几何代数中的共形几何代数,二者均具有丰富统一的计算方式,能够将复杂的线性运算和矩阵运算简化,且为几何变换提供更为简单直接的表达,能减少配准数据参数、降低几何变换复杂度、简化计算量并加快计算速度,同时利用几何代数能直接处理高维信息的优点,未丢失医学图像的维度信息,使得医学图像配准精度更高。
请参阅图1,为本发明第一实施例中一种基于几何代数的医学图像配准方法的流程示意图。具体的,该方法包括:
步骤101,基于ga-surf算法对参考图像和浮动图像分别进行ga特征点提取,得到参考图像特征点和浮动图像特征点,参考图像与浮动图像均为医学图像;
需要说明的是,ga-surf算法是将经典几何中surf(全称:speededuprobustfeature)算法延伸拓展到几何代数(geometricalgebra,ga)空间中,该算法不仅具有平移不变性、旋转不变性、稳定性和鲁棒性强的优点,还利用几何代数直接处理高维信息、简化计算量。对于一幅n维图像
根据上式,可以推断出n维图像的积分图像为:
进一步的,请结合参阅图2,为本发明第一实施例中步骤101的细化步骤及之后步骤的流程示意图。具体的,该步骤包括:
步骤1011,分别根据参考图像与浮动图像求取参考图像的ga积分图像和浮动图像的ga积分图像;
其中,所述ga积分图像的公式为:
其中,iσ(x)表示参考图像或者浮动图像的ga积分图像,proj(x,em)表示点x在em方向上的投影,i(x)为表征参考图像或者浮动图像的参数,fim(x)表示医学图像在em方向上的分量,im是与em方向相关的标注,m取值为1或者2或者3;
步骤1012,基于ga-surf算法,分别将参考图像的ga积分图像和浮动图像的ga积分图像,与长方体滤波器进行卷积得到参考图像的图像尺度空间和浮动图像的图像尺度空间,分别在参考图像的图像尺度空间和浮动图像的图像尺度空间的每一层图像上,根据近似hessian矩阵来检测图像的极值点,得到参考图像特征点和浮动图像特征点;
其中,参考图像或者浮动图像的hessian矩阵为:
其中,h(x,σ)表示参考图像或者浮动图像的hessian矩阵,
近似hessian矩阵为:
其中,happrox(x,σ)表示近似hessian矩阵,
需要说明的是,由于医学图像为三维的,ga积分图像也是三维的,因此,与ga积分图像进行卷积的卷积模板为长方体滤波器。倘若医学图像为其他维数的,可以将步骤1012,基于ga-surf算法,分别将所述参考图像的ga积分图像和所述浮动图像的ga积分图像,与长方体滤波器进行卷积得到所述参考图像的图像尺度空间和所述浮动图像的图像尺度空间中的长方体滤波器换成对应的卷积模板。另外,参考图像或者浮动图像的hessian矩阵近似为长方体滤波器,也是由于参考图像或者浮动图像的hessian矩阵的高斯核为三维的。
步骤1013,分别选取以参考图像特征点和浮动图像特征点为中心,由配准的多模态构建预设第一立方体邻域,将第一立方体邻域在每个维度上分为三个子区域,对于每一个子区域,计算所有像素点的哈尔小波响应值及哈尔小波响应值绝对值的求和,得到对应子区域的描述子;
其中,描述子的计算公式为:
v=σd1e1+σd2e2+σd3e3+σ|d1|e1+σ|d2|e2+σ|d3|e3
其中,v表示与子区域对应的描述子,σdmem表示在em方向上的所有像素点的哈尔小波响应值的求和,σ|dm|em表示在em方向上的所有像素点的哈尔小波响应值绝对值的求和,m取值为1或者2或者3。
需要说明的是,分别选取以参考图像特征点和浮动图像特征点为中心的立方体邻域,将立方体邻域在每个维度上分为三个子区域,一共有九个子区域(三个维度,每个维度上有三个子区域)。所有子区域的向量组合记为该特征点的描述子。
步骤102,根据ga球体构建算法,分别利用参考图像特征点和浮动图像特征点构建参考图像特征球和浮动图像特征球;
进一步的,请结合参阅图3,为本发明第一实施例中利用ga特征点构建ga特征球的示意图。本发明提出一种易于实现、运算量小的ga球体构建算法,该算法复杂度低,计算量小,简单易于实现。该算法需要预先设置第一预置和第二阈值,一般情况下,第二阈值大于第一阈值,优选的,选取第一阈值为1毫米,第二阈值为3毫米。
具体的,步骤102的细化步骤中,ga特征点为参考图像特征点或者浮动图像特征点,ga特征球为与参考图像特征点对应的参考图像特征球,或者与浮动图像特征点对应的浮动图像特征球,步骤102的细化步骤包括:
选取一个ga特征点a为中心,在由配准的多模态构建的预设第二立方体邻域内寻找与ga特征点a距离最近的ga特征点b,若不存在ga特征点b,则以ga特征点a为中心,以预设第一阈值为半径画ga特征球,若存在ga特征点b,则以ga特征点a和ga特征点b之间的距离为直径画圆,如图3中的图(a)所示的圆;
判断圆内或者圆上是否存在与由ga特征点a和ga特征点b组成的直径距离最近的ga特征点c,或者逐渐扩大寻找范围直至圆的直径扩大为第二阈值,判断圆内或者圆上是否存在与由ga特征点a和ga特征点b组成的直径距离最近的ga特征点c,若存在ga特征点c,则基于ga特征点a、ga特征点b和ga特征点c组成的三角形,画三角形的外接球,如图3中的图(c)所示的球,若不存在ga特征点c,则以ga特征点a和ga特征点b之间的距离为直径画ga特征球;
在基于ga特征点a、ga特征点b和ga特征点c组成的三角形的外接球的球体内或者球体上寻找是否存在在三角形所在的平面之外的,与三角形平面距离最近的ga特征点d,若存在ga特征点d,如图3中的图(c)中的点d和点d1,则三角形的外接球为ga特征球,若不存在ga特征点d,则以ga特征点a、ga特征点b和ga特征点c中的任意两个,及球体外,与三角形平面距离最近的ga特征点d(如图3中的图(c)中的点d2)组成的三角形,画三角形的外接球,当球体的直径小于或者等于所述第二阈值时,且球体内或者球体上存在在三角形所在的平面之外的与三角形平面距离最近的ga特征点e时,三角形的外接球为ga特征球。
需要说明的是,在“判断圆内或者圆上是否存在与由ga特征点a和ga特征点b组成的直径距离最近的ga特征点c”时,当存在ga特征点c在圆上(如图3中,指向箭头1指向的图中的点c)或者圆内(如图3中,指向箭头1指向的图中的点c1)时,则基于ga特征点a、ga特征点b和ga特征点c组成的三角形,画三角形的外接球,图3中,指向箭头1指向的图为示例性的,ga特征点c(不仅限于点c或者点c1)为与由ga特征点a和ga特征点b组成的直径距离最近的点;当不存在ga特征点c在圆上或者圆内时,如图3中,指向箭头2指向的图中的点c,则逐渐扩大寻找范围直至圆的直径扩大为第二阈值,判断圆内或者圆上是否存在与由ga特征点a和ga特征点b组成的直径距离最近的ga特征点c,如图3中,指向箭头3指向的图中的点c,则基于ga特征点a、ga特征点b和ga特征点c组成的三角形,画三角形的外接球;若圆的直径扩大为第二阈值也未找到满足条件的点,则以ga特征点a和ga特征点b之间的距离为直径画ga特征球。
步骤103,在共形几何代数空间中,利用参考图像特征球和浮动图像特征球确定变换关系,基于变换关系对参考图像和浮动图像进行配准,变换关系包括旋转、平移和缩放。
请参阅图4,为本发明第一实施例中步骤103的细化步骤的流程示意图。
步骤1031,分别确定参考图像特征球和浮动图像特征球的球心和半径,根据球心和半径确定变换线和变换方向;
其中,变换线的计算公式为:
l=c1λc2λe∞
其中,l表示变换线,c1表示参考图像特征球的球心,c2表示浮动图像特征球的球心,e∞表示无穷远点;
步骤1032,根据变换线和变换方向计算第一平移算子、浮动图像特征球对原点的第二平移算子、缩放因子和缩放算子,并根据所述第一平移算子、所述第二平移算子、所述缩放因子和所述缩放算子对所述参考图像和所述浮动图像进行配准;
其中,第一平移算子的计算公式为:
第二平移算子的计算公式为:
缩放因子的计算公式为:
λ=r2/r1
缩放算子的计算公式为:
配准公式为:
其中,nl表示变换方向,r2表示浮动图像特征球的半径,r1表示参考图像特征球的半径,e表示平面矢量,s2为表征浮动图像的参数,s1为表征参考图像的参数。
需要说明的是,请参阅图5,为本发明第一实施例中参考图像特征球和浮动图像特征球的变换关系示意图。利用步骤1031和步骤1032涉及的相关内容确定参考图像特征球和浮动图像特征球之间的变换关系,该变换关系主要包括旋转、平移和缩放。得到参考图像特征球球和浮动图像特征球之间的变换关系后,可根据这些关系,完成参考图像与浮动图像的配准。
在本发明实施例中,由于本发明利用了几何代数及几何代数中的共形几何代数,二者均具有丰富统一的计算方式,能够将复杂的线性运算和矩阵运算简化,且为几何变换提供更为简单直接的表达,能减少配准数据参数、降低几何变换复杂度、简化计算量并加快计算速度,同时利用几何代数能直接处理高维信息的优点,未丢失医学图像的维度信息,使得医学图像配准精度更高。
请参阅图6,为本发明第二实施例中一种基于几何代数的医学图像配准系统的结构示意图。具体的,该系统包括:
提取模块201,用于基于ga-surf算法对参考图像和浮动图像分别进行几何代数ga特征点提取,得到参考图像特征点和浮动图像特征点,参考图像与浮动图像均为医学图像;
构建模块202,用于根据ga球体构建算法,分别利用参考图像特征点和浮动图像特征点构建参考图像特征球和浮动图像特征球;
确定配准模块203,用于在共形几何代数空间中,利用参考图像特征球和浮动图像特征球确定变换关系,基于变换关系对参考图像和浮动图像进行配准,变换关系包括旋转、平移和缩放。
进一步的,请参阅图7,为本发明第二实施例中提取模块201的细化模块的结构示意图;
求取模块2011,用于分别根据参考图像与浮动图像求取参考图像的ga积分图像和浮动图像的ga积分图像,ga积分图像的公式为:
其中,iσ(x)表示参考图像或者浮动图像的ga积分图像,proj(x,em)表示点x在em方向上的投影,i(x)为表征参考图像或者浮动图像的参数,
卷积检测模块2012,用于基于ga-surf算法,分别将参考图像的ga积分图像和浮动图像的ga积分图像,与长方体滤波器进行卷积得到参考图像的图像尺度空间和浮动图像的图像尺度空间,分别在参考图像的图像尺度空间和浮动图像的图像尺度空间的每一层图像上,根据近似hessian矩阵来检测图像的极值点,得到参考图像特征点和浮动图像特征点,参考图像或者浮动图像的hessian矩阵为:
其中,h(x,σ)表示参考图像或者浮动图像的hessian矩阵,
近似hessian矩阵为:
其中,happrox(x,σ)表示近似hessian矩阵,
进一步的,卷积检测模块2012之后还包括:
计算模块,用于分别选取以参考图像特征点和浮动图像特征点为中心,由配准的多模态构建预设第一立方体邻域,将第一立方体邻域在每个维度上分为三个子区域,对于每一个子区域,计算所有像素点的哈尔小波响应值及哈尔小波响应值绝对值的求和,得到对应子区域的描述子,描述子的计算公式为:
v=σd1e1+σd2e2+σd3e3+σ|d1|e1+σ|d2|e2+σ|d3|e3
其中,v表示与子区域对应的描述子,σdmem表示在em方向上的像素点的哈尔小波响应值的求和,σ|dm|em表示在em方向上的所有像素点的哈尔小波响应值绝对值的求和,m取值为1或者2或者3。
进一步的,请参阅图8,为本发明第二实施例中构建模块202的细化模块的结构示意图。具体的,构建模块202包括:
第一处理模块2021,用于选取一个ga特征点a为中心,在由配准的多模态构建的预设第二立方体邻域内寻找与ga特征点a距离最近的ga特征点b,若不存在ga特征点b,则以ga特征点a为中心,以预设第一阈值为半径画ga特征球,若存在ga特征点b,则以ga特征点a和ga特征点b之间的距离为直径画圆,第二阈值大于第一阈值,ga特征点为参考图像特征点或者浮动图像特征点,ga特征球为与参考图像特征点对应的参考图像特征球或者与浮动图像特征点对应的浮动图像特征球;
第二处理模块2022,用于判断圆内或者圆上是否存在与由ga特征点a和ga特征点b组成的直径距离最近的ga特征点c,或者逐渐扩大寻找范围直至圆的直径扩大为第二阈值,判断圆内或者圆上是否存在与由ga特征点a和ga特征点b组成的直径距离最近的ga特征点c,若存在ga特征点c,则基于ga特征点a、ga特征点b和ga特征点c组成的三角形,画三角形的外接球,若不存在ga特征点c,则以ga特征点a和ga特征点b之间的距离为直径画ga特征球;
第三处理模块2023,用于在基于ga特征点a、ga特征点b和ga特征点c组成的三角形的外接球的球体内或者球体上寻找是否存在在三角形所在的平面之外的,与三角形平面距离最近的ga特征点d,若存在ga特征点d,则三角形的外接球为ga特征球,若不存在ga特征点d,则以ga特征点a、ga特征点b和ga特征点c中的任意两个,及球体外与三角形平面距离最近的ga特征点d组成的三角形,画三角形的外接球,当球体的直径小于或者等于第二阈值时,且球体内或者球体上存在在三角形所在的平面之外的与三角形平面距离最近的ga特征点e时,三角形的外接球为ga特征球。
进一步的,请参阅图9,为本发明第二实施例中确定配准模块203的细化模块的结构示意图。具体的,确定配准模块203包括:
确定模块2031,用于分别确定参考图像特征球和浮动图像特征球的球心和半径,根据球心和半径确定变换线和变换方向,变换线的计算公式为:
l=c1λc2λe∞
其中,l表示变换线,c1表示参考图像特征球的球心,c2表示浮动图像特征球的球心,e∞表示无穷远点;
计算配准模块2032,用于根据变换线和变换方向计算第一平移算子
其中,nl表示变换方向,r2表示浮动图像特征球的半径,r1表示参考图像特征球的半径,e表示平面矢量,s2为表征浮动图像的参数,s1为表征参考图像的参数。
需要说明的是,计算模块可以作为提取模块201的细化模块,也可以不作为提取模块201的细化模块。
有关本发明实施例的说明,请参阅本发明有关对第一实施例的说明,这里不再赘述。
在本发明实施例中,由于本发明利用了几何代数及几何代数中的共形几何代数,二者均具有丰富统一的计算方式,能够将复杂的线性运算和矩阵运算简化,且为几何变换提供更为简单直接的表达,能减少配准数据参数、降低几何变换复杂度、简化计算量并加快计算速度,同时利用几何代数能直接处理高维信息的优点,未丢失医学图像的维度信息,使得医学图像配准精度更高。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个模块或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。
需要说明的是,对于前述的各方法实施例,为了简便描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其它顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定都是本发明所必须的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其它实施例的相关描述。
以上为对本发明所提供的一种基于几何代数的医学图像配准方法和系统的描述,对于本领域的技术人员,依据本发明实施例的思想,在具体实施方式及应用范围上均会有改变之处,综上,本说明书内容不应理解为对本发明的限制。