内窥镜图像的拼接方法和拼接系统与流程

本技术涉及图像处理，具体而言，涉及一种内窥镜图像的拼接方法和拼接系统。

背景技术：

1、内窥镜是重要的健康检查手段，主要用于消化道内部的检查，能够通过内窥镜发现消化道上的赘生物、病变组织等。由于医生在操作内窥镜时无法直接看到其在体内的确切位置和方向，所以在大的消化器官（主要是胃）内进行检查时，很容易出现部分区域漏检。目前避免漏检的方式，都是要求内窥镜在胃部的入口和胃部的出口部分各拍摄一张照片，以保证了内窥镜进入了胃部，然后达到了胃部的底端。“但是目前没有有效的方法来确保对胃内的所有区域都进行了全面检查。

2、而医生通过自身的记忆以及经验，在胃内进行反复的检查，这种方式耗时很长，医生也不一定能够记住自己到底检查了哪些具体的区域，所以目前的内窥镜检查方式无法快速的确定是否对胃内的各个区域都进行了检查，导致医生反复检查相同区域，从而严重降低了检查效率。

技术实现思路

1、本技术的内容部分用于以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。本技术的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。

2、作为本技术的第一个方面，为了解决以上背景技术部分提到的技术问题，本技术的一些实施例提供了一种内窥镜图像的拼接方法，包括如下步骤：

3、步骤1：实时收集内窥镜在腔体内停留超过预设时长时所拍摄的原始图片序列；

4、步骤2：将收集到的原始图片序列输入至图像筛选模型中，筛选掉多余的高度重合的图片，以得到图片拼接序列；

5、步骤3：将图片拼接序列输入至图像拼接模型中，将图片拼接序列中所有的图片拼接起来得到拼接总图；

6、步骤4：当图像处理装置接收到检查进程验证信息时，将拼接总图发送至监控器界面。

7、本技术所提供的技术方案中，收集停留超过预设时长的图片，就能够去掉一些医生没有仔细观察的区域，以及快速移动的区域的图片信息，一方面极大的减少了图片的处理量。另一方面，则是避免一些医生没有注意的边缘区域，也被认定为医生已经检查的区域。然后，将这些医生已经检查过的图片进行过筛选，并相互拼接之后，就能够得到医生检查的整个区域，也就是拼接总图，然后将拼接总图在监视器上显示，此时医生能够根据拼接总图所显示的区域，大致的判断出是否存在遗漏的区域。因为如果存在遗漏的区域，必然是会在拼接总图中出现一些图像拼接撕裂或者空缺，或者无法形成完整的拼接总图，进而医生能够及时的发现没有检查的区域，避免出现遗漏。

8、内窥镜在进行拍摄时，为了获得比较好的监测效果，避免在监测图像上出现画面抖动和割裂感，会尽量保证内窥镜的帧率在24帧以上。这样内窥镜在工作过程中每秒钟产生的图片至少有24张，而对每秒这么多的图片进行筛选，会消耗大量的计算量，尤其是通过对比不同时间收集到的图片的变化情况来判断内窥镜是否存在移动、抖动时，会导致需要多次进行图片的对比，因而使得图片处理时间延长，不能够实时的提供计算结果。

9、进一步的，步骤1包括如下步骤：

10、步骤11：预先设置移动速率阈值、抖动阈值以及时间阈值；

11、步骤12：实时监测内窥镜上的陀螺仪所记录的内窥镜的移动速率和抖动幅度，当移动速率和抖动幅度分别小于速率阈值和抖动阈值，且连续时长大于时间阈值时，将移动速率和抖动幅度分别小于速率阈值和抖动阈值所记录的连续图像帧中位于中间时刻的图像帧记录下来作为初始图片；

12、步骤13：收集所有的初始图片以得到原始图片序列。

13、本技术所提供的技术方案中，通过在内窥镜上设置陀螺仪，利用陀螺仪对内窥镜的运动状态进行监测，进而能够不对内窥镜收集的图片进行模糊监测，或者图片相似度对比的情况下，就能够寻找到内窥镜所获取的清晰、稳定，并且是工作人员正在观察的图片，从而减少了计算量，避免因为计算量太大而不能实时提供计算结果的问题。

14、步骤13中，将初始图片输入至亮度筛选模型中，亮度筛选模型筛选掉低于亮度阈值的区域超过预设比例的图片，以得到原始图片序列。

15、本技术所提供的技术方案中，利用亮度特征，筛选掉了一些较为灰暗的图片，减少了图片的处理量。

16、进一步的，步骤2包括如下步骤：

17、步骤21：预先设置标准的截取窗口；

18、步骤22：将原始图片序列中的每张图片的中心采用截取窗口截取，得到截取图片序列；

19、步骤23：将截取图片序列中的每张图片依次输入至图像筛选模型中，图像筛选模型将接收到的每张图片依次与之前的图片进行对比，删除重复图片保留不重复图片以得到图片拼接序列。

20、本技术所提供的技术方案中，通过预先设置的截取窗口，从而能够将每张图片边缘区域的信息给截取掉。而且这些信息也是医生在观察时，所不会注意的区域，进而截取得到的图片序列进行图片对比时，就能够依据提取到的特征是否相同来判断图片是否重合。

21、进一步的，步骤23包括如下步骤：

22、步骤231：截取图片序列a={a1、a2…}；其中，a1表示截取图片序列中的第1张图片，a2表示截取图片序列中的第2张图片；

23、步骤232：将截取图片序列a中的每张图片依次输入至图像筛选模型中，图像筛选模型提取每张图片中的特征点；

24、步骤233：图像筛选模型根据每张图片提取的特征点进行特征匹配，根据匹配结果进行相似度评估，将相似度超过预设阈值的图片认定为重复图片；

25、步骤234：删除重复图片保留不重复图片以得到图片拼接序列。

26、进一步的，图像筛选模型进行图片相似度评估的方式如下：

27、s1：对待对比图片中的每个像素点p进行fast角点检测；

28、如果ix≤ip-ε，sp=d；如果ip-ε≤ix＜ip+ε，则sp=s；如果，ix≥ip+ε，则sp=b；

29、满足以下条件，则点p被认为是一个角点；

30、如果：；或，则p是角点；其中，ip是像素点p的灰度值，ix是像素点p周围的灰度值，ε是灰度值差异的阈值，n是预设的周围像素点需要满足条件的数量，co为候选点的圆周，指的是以候选点为中心、半径固定的一个离散圆，d、s、b分别代表暗点、相似点以及亮点；

31、s2：根据预先设置的区域大小，确定一个以角点p为中心的区域m，计算区域m的图像矩阵meq：

32、；

33、其中，e和q的值为0或1；

34、计算区域m的质心c的位置cx和cy，cx为质心c的横坐标，cy为质心c的纵坐标，cx和cy计算公式为：

35、cx=m10/m00；cy=m01/m00；

36、质心c表示图像亮度的平均位置，m00是区域m的像素值总和，相当于区域m的质量，m10是区域m中所有像素的x坐标与其像素值的乘积和，反映了区域m在x方向上的质量分布，m01反映了区域m在x方向上的质量分布；

37、计算角点p的主方向θ，主方向θ的计算公式为：

38、；主方向θ代表了角点p周围的像素灰度值变化的方向；

39、s3：采用brief来描述角点p，生成角点p的描述符d，brief为一种用于描述图像特征点的二进制描述符的生成方法；

40、s4：对于需要进行匹配的两张图片，计算两张图片之间的对应区域m的汉明距离p（d1，d2）；

41、；

42、其中，d1和d2分别表示两张需要进行匹配的图片的角点的描述符，l是索引变量，用于遍历描述符中的每一位，l是描述符的长度，⊕为异或符号；

43、s5：基于两张图片之间角点的描述符的汉明距离作为相似度匹配依据，以确定两张图片之间的相似度。

44、本技术所提供的技术方案中采用orb算法来计算两张图片之间的相似性，orb算法的主要特点是具有旋转不变性和尺度不变性。所以在内窥镜拍摄相同的特征在进行了一定的旋转和尺度变换时，能够利用orb算法的旋转不变性和尺度不变性对图片进行相应的对比。

45、在对患者的胃部进行检查的过程中，虽然可以按照图片的时序，对图片进行拼接，但是因为本技术所提供的方案中，会根据内窥镜镜头的抖动数据和停靠时间对图片进行筛选，所以图片之间的时序并不能够保证图片内特征的位置关系。而直接根据相似度来对图片进行匹配，则很容导致图片在拼接时出现强行拟合的特征关系，进而导致图像的拼接结果不理想。

46、步骤3包括如下步骤：

47、步骤31：将图片拼接序列中的每张图片划分为中间部分和边缘部分，得到中间部分序列a和边缘部分序列b；

48、步骤32：用图像筛选模型计算边缘部分序列b中各图像的相似度，将相似度超过预设阈值的图片配对，形成若干个各图像拼接组；

49、步骤33：将各图像拼接组的图片输入至图像拼接模型中形成拼接总图。

50、本技术所提供的技术方案中，采用图片边缘的相似度来进行特征匹配，在图像的相似度超过预定阈值时，则必然表明两张图片的边缘部分具有重叠的可能，以此为依据分配各图像拼接组，就能够避免强行将两张并不具备融合条件的图片拼接在一起。

51、进一步的，图像拼接模型对图片进行拼接时执行如下步骤：

52、s01：图片p（a，b，c）输入至卷积计算模块内进行卷积计算，0≤a≤h，0≤b≤w，0≤c≤c；a，b，c∈整数；w，h，c分别为特征平面的宽度、高度，以及通道数；卷积核的大小设置为f×f，卷积步长设置为t，卷积核序列为π={cj1、cj2、…cji、…cjs}，每个cji都表示一个卷积核，s表示卷积核的数量；

53、卷积计算输出的特征平面ow×oh×or，其中：

54、ow=fr[（w+2σ-f）/t]+1；

55、oh=fr[（h+2σ-f）/t]+1；

56、or=c;

57、其中，f×f×c表示卷积核所覆盖的区域，σ表示输入图像或者特征平面的边缘所附加的像素点数量，fr表示向下取整；

58、s02：设置激活函数relu：当x＜0时，relu（x）=0；当x≥0时，relu（x）=x；x代表的是神经元的输入；

59、；

60、k是前一层神经元的数量；

61、ei是连接到当前神经元的第i个神经元的权重；

62、qi是前一层第i个神经元的输出；

63、b是当前神经元的偏置项；

64、s03：将特征平面ow×oh×or用v×v的池化区以步长为d进行降采样池化，输出特征图om×on×c，其中；

65、om=fr[（m-v）/d]+1；

66、on=fr[（n-v）/d]+1；

67、m和n分别表示特征平面ow×oh×or的高度和宽度；

68、v是池化区域的大小；

69、d为步长；

70、fr表示向下取整；

71、s04：将相邻两层神经元之间全部相连接；

72、s05：计算待拼接图片的单应性变换矩阵l；

73、；

74、l11~l32分别是单应性变换矩阵l中的元素，表示图像变换中的某种组合效果；

75、s06：根据待拼接的两张图片之间的单应性变换矩阵，得到两张图片之间对应点的齐次坐标( x,y ,1)和（x’，y’,1）之间的关系：

76、。

77、进一步的，步骤33中采用预先配置的标准的图像集，对图像拼接模型进行训练。

78、作为本技术的第二个方面，本技术的一些实施例提供了一种内窥镜图像的拼接系统，包括内窥镜和图像处理装置，图像处理装置接收内窥镜获取的图像信息，图像处理装置采用前述的内窥镜图像的拼接方法处理内窥镜获取的图像信息。

79、本技术的有益效果在于，通过将医生在检查过程中所收集到的成像清晰并且有被医生观察的图片收集起来，然后拼接在一起形成拼接总图，用拼接总图来判断是否存在漏检的区域，所以能够快速的完成内窥镜检查。