专利名称：消化道图像二维平面表示方法
技术领域：
本发明涉及临床观察与肠道疾病诊断辅助设备技术领域，特别涉及一种消化道图像二维平面表示方法。
背景技术：
近十年来，随着微电子、微机械、信息处理、无线通信等技术的迅速发展，医用内窥镜技术的发展得到了极大的推动。以无线胶囊内视镜系统(Wireless Capsule Endoscopy) 为代表，通过被检者吞服内置具有无线功能微型摄像机的胶囊，可以完成对人体消化道，特别是小肠腔体的检查。该技术的独特优势在于不仅实现了无痛诊断，同时也突破了常规内窥镜无法实现对小肠进行直接检查的局限性。目前，其已被广泛应用于对食道与小肠进行检查的医疗诊断中。现有无线胶囊内视镜由于其内置的图像传感器的个数有限，且单个传感器的拍摄视角也有限，因此造成内视镜检查过程中漏拍现象严重，而在专利CN101499090、 CN101579227中提出了一种全新的无线球囊内视镜系统，内置6个图像传感器，使得获取消化道全面信息成为可能。通过对内视镜拍摄到的图像进行浏览与观察，医生可以对人体消化道病变，如出血、溃疡或其它异常做出相应的诊断。但是目前的情况是，从进行患者消化道影像浏览和观察开始，到最终给出诊断结果需要花费医生相当长的时间，平均在2个小时左右，且很大程度上依赖于医生的经验。原因主要来自两个方面一是进行一次无线内视镜检查所采集到的消化道影像数据量相当大(约57，600帧影像)；另一方面，由于体腔内胶囊的前进动力来自于消化道的蠕动力和重力，造成胶囊运动的随机性较大，从而使得其内部图像传感器拍摄视角的随机性也较大，这样拍摄得到的影像与常规内视镜影像差别较大，不适合医生的正常观察。另外，采集的图像分辨率过低(256X256)也是造成医生阅片时间较长的一个重要原因。如果能够针对采集图像的特点，将消化道管腔的图像展开成二维平面的显示形式，同时丢弃那些重复的图像内容，将会大大提高图像的易懂性，明显突出病变的形态，从而减少医生观察浏览消化道图像所需的时间，提高诊断的准确率和效率。利用无线胶囊内视镜图像进行消化道腔体二维展开的技术研究方面，在可见的报道中，已提出一种可变形环模型(Model of Deformable Rings，MDR)，并结合张力计算、弹性匹配、速度估计和相异测量等，最后形成基于该模型的胃肠道的二维展开图。但是该模型基于对胶囊内视镜运动的检测，这种模型只能追踪胶囊向前或向后的平稳运动，当它朝侧面运动或翻转时，产生的拼接图则并不是胃肠道的准确描述，且由于胶囊拍摄视角的问题， 肠道的腔体对图像的拼接造成了影响，使得最后的拼接效果图并不理想，虽然文章中提到该模型产生的展开图能够减少医生诊断的时间，但是效果有限，事实上很大程度上是由于胶囊运动的随机性，使获得的展开图并不完全是消化道的二维展开，其中还有很多无效信息。另外，在专利CN101716077A中提出了一种基于无线胶囊内视镜系统的图像处理方法，但是由于其并没有解决上述提到的拍摄视角及肠道腔体的影响，根据该方法产生的肠道内壁图也很难达到理想，同样会出现上述缺陷。上文中提到采用无线球囊内视镜系统可实现对肠道信息的全视角采集，在现有技术中可利用加速度传感器、磁阻传感器等嵌入到球囊系统中以获取其在工作过程中的姿态运动信息，从而获知图像拍摄时摄像头的姿态信息。 并且通过在其中嵌入肠道腔识别模块，通过对肠腔的识别结果结合摄像头的构成结构确定肠道坐标系，从而结合姿态信息可获取图像拍摄时摄像头与肠道的相对位置关系。
发明内容
(一)要解决的技术问题本发明要解决的技术问题是如何在人体消化道图像二维平面表示中减少采集图像的冗余内容。( 二 )技术方案为解决上述技术问题，本发明提供了一种消化道图像二维平面表示方法，包括以下步骤Sl 对读取的图像进行分类，以区分混浊图像和非混浊图像；S2 将非混浊图像根据拍摄图像时球囊的运动距离信息分成若干子集；S3:根据图像拍摄时球囊的姿态信息及消化道坐标信息计算摄像头与消化道壁的相对位置关系；S4:根据所述相对位置关系将读取的图像校正成摄像头正视拍摄的图像或进行旋转角度一致后结合球囊运动距离信息映射到与消化道相对应的二维平面上的相应位置；S5 将校正或映射后的图像形成各个子集对应的图像片段；S6 根据拍摄图像时的运动距离信息将所述子集对应的图像片段进行合并，以形成消化道壁图像的二维平面表示。其中，所述步骤Sl中区分混浊图像和非混浊图像的步骤包括在任一颜色空间中提取所述读取的图像的颜色直方图；对于提取的颜色直方图进行量化，将量化后的颜色直方图作为每幅图像的特征向量；采用基于模式识别的方法对所述特征向量进行训练，以对读取的图像进行分类。其中，所述步骤S2具体包括根据球囊的运动距离信息，对相邻两幅图像拍摄时球囊的位置关系进行估计；当相邻图像拍摄过程中球囊运动距离大于预定的门限值时，将当前拍摄图像之前的拍摄的图像作为一个子集；以当前图像为起始图像重新进行上述过程，直至将所有读取的图像分组完毕。其中，所述步骤S3具体包括S3. 1 根据图像拍摄时球囊的姿态信息计算拍摄该图像的摄像头在姿态参考坐标系中的矢量表示；S3. 2 根据图像拍摄时消化道坐标信息计算姿态参考坐标系和消化道坐标之间的变换关系；S3. 3 根据S3. 1和S3. 2中得到的结果计算拍摄相应图像的摄像头与消化道壁的相对位置关系。其中，所述步骤S3. 2中所述消化道坐标信息的获取方式为定时控制球囊内视镜的消化道腔识别模块对拍摄图像进行消化道腔识别，以此确定消化道的径向方向，再依据多个摄像头构成的几何结构确定三维坐标系另外两维的方向，从而获取消化道的坐标信息，所述消化道的坐标信息使用识别时球囊内视镜的姿态信息表示。其中，所述步骤S4中采用对读取的图像校正的方式将读取的图像处理成摄像头正视拍摄的图像，具体为根据摄像头与消化道壁的相对位置关系横滚角θ、俯仰角W、及航向角α，将任意角度拍摄的消化道图像校正为摄像头与消化道壁垂直拍摄时的效果图像。其中，所述步骤S4中采用对读取的图像进行映射处理的方式将读取的图像旋转到角度一致后结合球囊运动距离信息将图像映射到与消化道壁相对应的二维平面上的相应位置，具体包括S4. 1 根据无线球囊内视镜中摄像头的视角、图像分辨率及球囊内视镜结构尺寸、 消化道半径信息确定最终二维平面表示图的最大宽度，根据消化道蠕动频率、球囊内视镜运动的平均速度并结合球囊的运动距离信息估算最终二维平面表示图的最大长度；S4. 2 在确定了几何尺寸的二维平面上进行网格划分，纵向划分为消化道壁的径向信息，横向划分为消化道壁的轴向信息；S4. 3 根据图像拍摄时摄像头相对消化道的姿态信息对拍摄的图像进行角度校正，使得拍摄的图像间不存在旋转关系；S4. 4 根据图像拍摄时摄像头相对消化道的姿态信息及球囊内视镜的运动距离信息将图像映射到经过网格划分后的二维平面上。其中，所述步骤S5具体为采用加入相关性判定的基于相位相关的图像配准方法，若接受判定的两幅图像判定结果为有重叠部分，则进行配准拼接，否则，将使得图像间相关性最大的一组图像间的变换关系参数作为相似匹配的结果对图像进行标记，子集图像均经过上述处理后，将配准拼接形成的大的图像片段及无法配准拼接但经过相似匹配参数标记后的图像按姿态信息和运动距离信息提供的其相对位置关系摆放，以形成子集图像对应的二维平面表示图像片段。其中，所述加入相关性判定的基于相位相关的图像配准方法具体包括S5. 1 对待拼接的图像进行空间域增强处理；S5. 2 采用相位相关算法对图像进行拼接处理，获得旋转缩放处理阶段的第一相关函数；S5. 3 计算所述第一相关函数的最大值与次大值之比，记最大值与次大值之比为 a = max/(sub-max)，其中max表示第一相关函数的最大值，sub-max表示第一相关函数的次大值，判断其是否大于事先设定的第一阈值；若大于，则接受判定的两幅图像有重叠区域并可根据所述第一相关函数最大值的位置计算出相应的角度和缩放因子，将图像做相应的旋转缩放变换后进入相位相关方法平移阶段的处理，完成最终配准；若不大于，则进入步骤 S5. 4 ；S5. 4 对所述第一相关函数的值进行由大至小排序，在设定的范围内，由排序后的最大值开始依次针对第一相关函数的每个值对应的角度和缩放因子进行最优角度和最优缩放因子的搜索，将搜索的角度初值和角度最优值设定为所述第一相关函数最大值对应的角度，缩放因子初值和缩放因子最优值设定为所述第一相关函数最大值对应的缩放因子；S5. 5 将图像按照当前的角度和缩放因子做旋转和缩放变换以消除图像间的旋转和缩放关系；S5. 6 计算变换后的两图像的第二相关函数；S5. 7 计算所述第二相关函数的最大值与最大值区域以外区域的均方差之比，记最大值与最大值区域以外区域的均方差之比为β =Peak/S.D，其中Peak表示第二相关函数的最大值，S. D表示第二相关函数最大值区域以外区域的均方差，判断β是否大于第二阈值，若大于，则接受判定的两幅图像间有重叠并可根据当前搜索到的角度和缩放因子对应的S5. 6中的相关函数求出其最大值对应的平移参数，完成最终的图像配准；若不大于， 则需更新角度和缩放因子的最优值并判断是否搜索完成S5. 4中设定的范围，若未完成，则搜索的当前值替换为S5. 4中范围中的下一个值，然后回到步骤S5. 5，若完成，则进行步骤 S5. 8 ；S5. 8 根据搜索得到的最优角度和最优缩放因子进行图像变换以消除图像间的旋转和缩放关系；S5. 9 计算变换后两图像的第三相关函数；S5. 10 计算所述第三相关函数的β = peak/S. D值，判断β是否大于设定的第三阈值，若大于，则根据所述第三相关函数最大值位置计算平移参数，完成图像配准拼接；若不大于，则仍根据所述第三相关函数最大值位置计算平移参数，并将所述平移参数及搜索得到的最优角度与最优缩放因子作为相似匹配的结果。其中，所述步骤S5. 7中计算所述第二相关函数最大值与最大值区域以外区域的均方差之比及所述步骤S5. 10中计算所述第三相关函数最大值与最大值区域以外区域的均方差之比时，最大值区域的定义为以最大值为中心，边长为预定值的正方形区域。其中，所述步骤S5. 7中更新最优值的方式为若当前计算出的β值大于已设最优值对应的β值，则更新角度最优值和缩放因子最优值分别为当前考察的角度和缩放因子， 否则角度最优值和缩放因子最优值保持不变。(三)有益效果本发明方法通过去除被肠道内食物残渣或混浊液覆盖而导致无法识别肠道壁信息的图像，再对非混浊图像进行校正或映射等处理后实现相邻图像间的配准拼接或相似匹配，从而最终实现肠道内壁的二维平面表示，由此可去除大量图像冗余信息，包括对诊断无效的混浊图像以及图像间重叠部分。本发明方法利用了基于摄像头姿态信息对图像进行正视校正、基于网格划分的图像映射、加入相关性判定的基于相位相关的图像配准等技术，该方法的实现可以大大减少采集图像信息的冗余，方便医生理解图像，降低其工作难度，提高阅片效率。
图1是本发明采用的无线球囊内视镜系统内部图像采集与存储系统结构示意图；图2是本发明实施例1的一种消化道图像二维平面表示方法流程图；图3是图2的方法中图像校正示意图4是图2的方法中相机坐标系与像平面坐标系关系图；图5(a)-图5(b)是图2的方法中采用的加入相关性判定的基于相位相关的图像配准方法流程图；图6(a)-图6(d)是采用图2的方法最终形成肠道图像二维平面表示的效果示意图；图7是本发明实施例2的一种消化道图像二维平面表示方法流程图；图8(a)-图8(b)是采用图7的方法最终形成肠道图像二维平面表示的效果示意图。
具体实施例方式下面结合附图和实施例，对本发明的具体实施方式
作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。本发明的特点在于可将无线球囊内视镜系统在人体胃肠道内采集到的带有拍摄时摄像头姿态运动信息及肠道坐标信息的图像进行后处理，经过校正或映射、配准拼接或相似匹配等步骤后形成人体肠道壁的二维平面表示。本发明提出的方法基于无线球囊内视镜系统，为方便理解，下面简要介绍该无线球囊内视镜系统的内部结构。如图1所示，为无线球囊内视镜系统内部图像采集与存储系统结构示意图，其中腔内装置用于在生物体腔内进行图像数据及信息数据的采集和存储，包括图像传感器阵列单元，用于在生物体腔内进行图像数据采集；姿态和运动信息感知单元，用于确定腔内装置的姿态和运动信息；肠道腔识别单元，用于判断拍摄到的图像是否为肠道腔图像，从而结合摄像头组成的几何结构和姿态信息确定肠道坐标，姿态信息为物体在某一时刻相对于一参考坐标系的姿态，可用三个角度表示，即航向角、俯仰角、横滚角；存储单元，为非易失性存储单元，用于存储图像传感器阵列单元采集的图像数据以及姿态和运动感知单元采集的姿态和运动信息；无线通信单元，用于所述腔内装置与腔外装置进行无线通信；系统控制单元，当腔内装置在生物体腔内进行图像采集时，所述系统控制单元用于通过无线通信单元接收所述腔外装置发送的指令信号，根据所述指令信号控制腔内装置进行信息采集，并将采集的图像数据、姿态和运动信息数据、肠道坐标数据通过无线通信单元发送到腔外装置或将上述数据保存到所述第一存储单元；当腔内装置移出腔外时，所述控制单元用于将所述第一存储单元内的数据通过无线通信单元发送到腔外装置；图像传感器控制单元，用于控制图像采集的速率并选择一个或多个图像传感器进行图像采集；能量单元，用于为所述腔内装置供电。照明阵列与驱动单元，用于在图像传感器阵列单元进行图像数据采集时在控制单元的控制下进行照明，优选由LED阵列与LED驱动电路构成，LED均勻放置在图像传感器四周，保证图像传感器在进行图像采集时对腔体的照明亮度均勻；基于上述无线球囊内视镜系统，通过其内嵌的肠道腔识别模块、姿态与运动感知模块等功能的配合，采集得到的人体肠道图像均附有相应的姿态运动信息及肠道坐标信息。姿态运动信息是指拍摄该幅图像时球囊内视镜系统的姿态及其运动情况。当球囊排出体外后，利用无线功能将图像数据上传至计算机进行后处理，即形成肠道二维平面表示的主要阶段——图像处理阶段，该阶段主要是利用球囊采集到的图像及相应的附加信息进行图像校正或映射、配准拼接或相似匹配等一系列处理后最终形成肠道壁图像的二维平面表示。以下通过实施例具体说明。实施例1本实施例提供了一种形成肠道图像二维平面表示的可行方法，方法流程如图2所示。对读取的图像进行分类，即将图像分为混浊图像与非混浊图像，混浊图像是那些被肠道中的食物残渣、混浊液等覆盖住肠道壁信息的图像，图像分类的目的即是去除这部分图像，因为混浊图像对医生诊断无法带来帮助。分类可采用基于特征的模式分类方法，方法流程如下(1)提取所述读取的图像的颜色直方图。(2)对于读取的图像的RGB三个通道，每个通道采用8bin，得到每幅图像的一个83 维向量作为其特征向量。(3)采用支持向量机(SVM)方法对所述特征向量进行训练，以对读取的图像进行分类。分类后，将非混浊图像分成若干子集，分组的目的为便于之后的图像处理，分组可将海量图像分成若干较小的子集，分别处理子集图像可大大减小运算量，提高效率。根据球囊的运动状态信息，结合球囊的运动速率，可对相邻两幅图像拍摄时球囊的位置关系进行估计，当相邻图像拍摄过程中球囊运动距离大于某一门限值时，可认为当前拍摄图像之前的图像组对应于肠道的某一段肠道壁，将其分为一组，再以当前图像为起始图像重新进行上述过程，直至将图像分组完毕。优选地，该门限值可选择范围为7mm 11mm。分组完毕后大量图像被分成若干子集，各个图像子集对应于一系列不连续的肠道壁的相关图像，不同子集间可认为不相关，之后可以针对每个子集的图像分别进行下面的处理。由于球囊在肠道中是依赖重力和肠道蠕动力向前推进的，因此摄像头与肠道壁的相对位置关系随机，在多数情况下其镜头均为非正对肠道壁情况，如此就对观察与图像处理(例如配准拼接)造成了不便和影响。在本实施例中更加关注的是每幅图像在拍摄时摄像头相对肠道壁的角度，在获得该角度后即可对图像进行校正，即将其校正为正视拍摄的情况。基于如上所述，欲对图像进行正视校正处理，需获得图像拍摄时摄像头与肠道壁的相对位置关系，而姿态感知模块获取的姿态信息是相对一固定的参考坐标系，一般为大地坐标系，因此在该步骤中需要将姿态感知模块提供的姿态信息表示转换为可用于后续图像处理的表示形式，即需要由姿态信息计算出相应的拍摄图像时摄像头与肠道的相对位置关系，计算时需要结合肠道腔识别单元提供的肠道坐标信息，方法如下(1)根据图像拍摄时球囊的姿态信息计算拍摄该图像的摄像头在姿态参考坐标系中的矢量表示；(2)根据图像拍摄时肠道坐标信息计算姿态参考坐标系和肠道坐标之间的变换关系；(3)根据⑴和⑵中得到的结果计算拍摄相应图像的摄像头与肠道的相对位置关系。由于球囊在胃肠道中采集图像，采集图像对应的实际物平面方向是不断变化的，因此相对于肠道坐标系的位置关系也是不断变化的。因此，针对实际球囊采集图像的情况， 需根据每一次拍摄的实际情况，计算出相应的用于校正的“姿态角”来考虑图像的校正公式。如图3所示，其中将拍摄面简化为平面考虑。设相机相对于拍摄平面的参考坐标系X-Y-Z的姿态角定义为绕X轴旋转θ，该角度称为横滚角(roll)；绕Y轴旋转Φ，该角度称为俯仰角(Pitch)；绕Z轴旋转α，该角度称为航向角(yaw)。校正关系推导如下(1)将像点在成像平面坐标系下的坐标转化成在相机坐标系下的坐标。相机坐标系和成像平面坐标系的关系如图4所示。相机坐标系的ζ轴与像平面的交点为像平面坐标系的原点，像平面坐标系的X1轴和Y1轴分别与相机坐标系的X轴和1轴平行，像平面坐标系的Z1轴和相机坐标系的Z轴方向相同。那么已知像点P1在像平面坐标系下的坐标(Xl，yi，0)( —般写成(Xl，yi))，则其在相机坐标系下的坐标为(Xl，Y1, f)，f为相机焦距。(2)根据已知的成像条件和像点在相机坐标系下的坐标，计算对应目标点ρ在参考坐标系中的坐标。这一步的主要任务是根据像点P1在相机坐标系下的坐标(Xl，Y1, f),计算对应的目标点P在参考坐标系下的坐标(x，y，z)。首先必须根据成像条件计算出相机坐标系下坐标和参考坐标系下的坐标变换关系。假设相机的位置为(a，b，C)，相机姿态航向角α，横滚角θ，俯仰角ρ ,两种坐标之间的变换关系可以分解为Α)把大地坐标系做平移变换，以(a，b，c)为原点构成一个新的坐标系，坐标轴以 Xe，Ye, Ze表示，分析知坐标间有如下关系:xe = x-a, ye = y-b, ze = z_c ；
权利要求
1.一种消化道图像二维平面表示方法，其特征在于，包括以下步骤51对读取的图像进行分类，以区分混浊图像和非混浊图像；52将非混浊图像根据拍摄图像时球囊的运动距离信息分成若干子集；S3:根据图像拍摄时球囊的姿态信息及消化道坐标信息计算摄像头与消化道壁的相对位置关系；54根据所述相对位置关系将读取的图像校正成摄像头正视拍摄的图像或进行旋转角度一致后结合球囊运动距离信息映射到与消化道相对应的二维平面上的相应位置；55将校正或映射后的图像形成各个子集对应的图像片段；56根据拍摄图像时的运动距离信息将所述子集对应的图像片段进行合并，以形成消化道壁图像的二维平面表示。
2.如权利要求1所述的消化道图像二维平面表示方法，其特征在于，所述步骤Sl中区分混浊图像和非混浊图像的步骤包括在任一颜色空间中提取所述读取的图像的颜色直方图；对于提取的颜色直方图进行量化，将量化后的颜色直方图作为每幅图像的特征向量；采用基于模式识别的方法对所述特征向量进行训练，以对读取的图像进行分类。
3.如权利要求1所述的消化道图像二维平面表示方法，其特征在于，所述步骤S2具体包括根据球囊的运动距离信息，对相邻两幅图像拍摄时球囊的位置关系进行估计；当相邻图像拍摄过程中球囊运动距离大于预定的门限值时，将当前拍摄图像之前的拍摄的图像作为一个子集；以当前图像为起始图像重新进行上述过程，直至将所有读取的图像分组完毕。
4.如权利要求1所述的消化道图像二维平面表示方法，其特征在于，所述步骤S3具体包括S3. 1 根据图像拍摄时球囊的姿态信息计算拍摄该图像的摄像头在姿态参考坐标系中的矢量表示；S3. 2 根据图像拍摄时消化道坐标信息计算姿态参考坐标系和消化道坐标之间的变换关系；S3. 3 根据S3. 1和S3. 2中得到的结果计算拍摄相应图像的摄像头与消化道壁的相对位置关系。
5.如权利要求4所述的消化道图像二维平面表示方法，其特征在于，所述步骤S3.2中所述消化道坐标信息的获取方式为定时控制球囊内视镜的消化道腔识别模块对拍摄图像进行消化道腔识别，以此确定消化道的径向方向，再依据多个摄像头构成的几何结构确定三维坐标系另外两维的方向，从而获取消化道的坐标信息，所述消化道的坐标信息使用识别时球囊内视镜的姿态信息表示。
6.如权利要求1所述的消化道图像二维平面表示方法，其特征在于，所述步骤S4中采用对读取的图像校正的方式将读取的图像处理成摄像头正视拍摄的图像，具体为根据摄像头与消化道壁的相对位置关系横滚角θ、俯仰角W、及航向角α，将任意角度拍摄的消化道图像校正为摄像头与消化道壁垂直拍摄时的效果图像。
7.如权利要求1所述的消化道图像二维平面表示方法，其特征在于，所述步骤S4中采用对读取的图像进行映射处理的方式将读取的图像旋转到角度一致后结合球囊运动距离信息将图像映射到与消化道壁相对应的二维平面上的相应位置，具体包括S4. 1 根据无线球囊内视镜中摄像头的视角、图像分辨率及球囊内视镜结构尺寸、消化道半径信息确定最终二维平面表示图的最大宽度，根据消化道蠕动频率、球囊内视镜运动的平均速度并结合球囊的运动距离信息估算最终二维平面表示图的最大长度；S4. 2 在确定了几何尺寸的二维平面上进行网格划分，纵向划分为消化道壁的径向信息，横向划分为消化道壁的轴向信息；S4. 3 根据图像拍摄时摄像头相对消化道的姿态信息对拍摄的图像进行角度校正，使得拍摄的图像间不存在旋转关系；54.4 根据图像拍摄时摄像头相对消化道的姿态信息及球囊内视镜的运动距离信息将图像映射到经过网格划分后的二维平面上。
8.如权利要求1所述的消化道图像二维平面表示方法，其特征在于，所述步骤S5具体为采用加入相关性判定的基于相位相关的图像配准方法，若接受判定的两幅图像判定结果为有重叠部分，则进行配准拼接，否则，将使得图像间相关性最大的一组图像间的变换关系参数作为相似匹配的结果对图像进行标记，子集图像均经过上述处理后，将配准拼接形成的大的图像片段及无法配准拼接但经过相似匹配参数标记后的图像按姿态信息和运动距离信息提供的其相对位置关系摆放，以形成子集图像对应的二维平面表示图像片段。
9.如权利要求8所述的消化道图像二维平面表示方法，其特征在于，所述加入相关性判定的基于相位相关的图像配准方法具体包括55.1 对待拼接的图像进行空间域增强处理；S5. 2 采用相位相关算法对图像进行拼接处理，获得旋转缩放处理阶段的第一相关函数；S5. 3 计算所述第一相关函数的最大值与次大值之比，记最大值与次大值之比为a = max/(sub-max)，其中max表示第一相关函数的最大值，sub-max表示第一相关函数的次大值，判断其是否大于事先设定的第一阈值；若大于，则接受判定的两幅图像有重叠区域并可根据所述第一相关函数最大值的位置计算出相应的角度和缩放因子，将图像做相应的旋转缩放变换后进入相位相关方法平移阶段的处理，完成最终配准；若不大于，则进入步骤 S5. 4 ；S5. 4:对所述第一相关函数的值进行由大至小排序，在设定的范围内，由排序后的最大值开始依次针对第一相关函数的每个值对应的角度和缩放因子进行最优角度和最优缩放因子的搜索，将搜索的角度初值和角度最优值设定为所述第一相关函数最大值对应的角度，缩放因子初值和缩放因子最优值设定为所述第一相关函数最大值对应的缩放因子；S5. 5 将图像按照当前的角度和缩放因子做旋转和缩放变换以消除图像间的旋转和缩放关系；S5. 6 计算变换后的两图像的第二相关函数；S5. 7 计算所述第二相关函数的最大值与最大值区域以外区域的均方差之比，记最大值与最大值区域以外区域的均方差之比为β =Peak/S.D，其中Peak表示第二相关函数的最大值，S. D表示第二相关函数最大值区域以外区域的均方差，判断β是否大于第二阈值，若大于，则接受判定的两幅图像间有重叠并可根据当前搜索到的角度和缩放因子对应的S5. 6中的相关函数求出其最大值对应的平移参数，完成最终的图像配准；若不大于，则需更新角度和缩放因子的最优值并判断是否搜索完成S5. 4中设定的范围，若未完成，则搜索的当前值替换为S5. 4中范围中的下一个值，然后回到步骤S5. 5，若完成，则进行步骤 S5. 8 ；S5. 8 根据搜索得到的最优角度和最优缩放因子进行图像变换以消除图像间的旋转和缩放关系；S5. 9 计算变换后两图像的第三相关函数；S5. 10:计算所述第三相关函数的β =peak/S.D值，判断β是否大于设定的第三阈值，若大于，则根据所述第三相关函数最大值位置计算平移参数，完成图像配准拼接；若不大于，则仍根据所述第三相关函数最大值位置计算平移参数，并将所述平移参数及搜索得到的最优角度与最优缩放因子作为相似匹配的结果。
10.如权利要求9所述的消化道图像二维平面表示方法，其特征在于，所述步骤S5.7中计算所述第二相关函数最大值与最大值区域以外区域的均方差之比及所述步骤S5. 10中计算所述第三相关函数最大值与最大值区域以外区域的均方差之比时，最大值区域的定义为以最大值为中心，边长为预定值的正方形区域。
11.如权利要求9所述的消化道图像二维平面表示方法，其特征在于，所述步骤S5.7中更新最优值的方式为若当前计算出的β值大于已设最优值对应的β值，则更新角度最优值和缩放因子最优值分别为当前考察的角度和缩放因子，否则角度最优值和缩放因子最优值保持不变。
全文摘要
本发明公开了一种肠道图像二维平面表示方法，该方法的实现基于内嵌姿态运动感知模块与肠道腔识别模块的无线球囊内视镜系统，包括以下几个步骤读取图像；将图像集分类成混浊图像和非混浊图像；将非混浊图像集分成若干子集；计算每幅图像拍摄时，摄像头与肠道壁的相对位置关系；将图像作校正或映射处理；将校正或映射后的图像进行配准拼接或相似匹配；子集合并，形成肠道壁的二维展开图。采用本发明提供的肠道图像二维表示方法，可以大大减少无线内视镜采集图像的冗余内容，利于医生对图像的理解，可降低其工作难度，提高阅片效率。
文档编号G06T11/00GK102436665SQ20111024673
公开日2012年5月2日 申请日期2011年8月25日 优先权日2011年8月25日
发明者孙天佳, 李国林, 王丹, 王志华, 胡军, 谢翔, 谷荧柯 申请人:清华大学