基于多方向视角标定的内窥镜图像重构方法与流程

本发明涉及医学图像处理的，特别涉及基于多方向视角标定的内窥镜图像重构方法。

背景技术：

1、内窥镜作为身体内部摄像设备，其常用于对病人的胃部和肠道等器官进行侵入式的拍摄。内窥镜受限于器官内部的拍摄空间，其在单次拍摄操作中，只能拍摄得到较小区域范围的影像，无法对器官内部进行大范围的影像表征。虽然内窥镜能够改变拍摄方向来获得器官内部不同区域范围的影像，但是这些影像相互之间是零散无关联性的，无法对这些影像进行有效全面的整合，构建得到关于器官内部整个区域范围的影像，从而无法对器官内部整体进行细化和分区的识别，降低后续根据内窥镜拍摄影像进行病理分析的准确性。

技术实现思路

1、针对现有技术存在的缺陷，本发明提供了一种基于多方向视角标定的内窥镜图像重构方法，其通过内窥镜改变拍摄视角方向，采集得到器官不同范围区域的图像；根据图像的画面边缘像素特征信息，将每个图像与其相邻接的其他图像进行拼接处理，得到器官的全范围区域图像；根据每个图像的拍摄景深信息，将全范围区域图像转换为全范围三维图像，并对全范围三维图像进行器官表面结构渲染，得到器官表面三维图像，其将内窥镜在不同拍摄视角方向采集的图像进行拼接处理，初步得到器官的全范围区域图像，其利用图像对应的拍摄视角方向和画面边缘像素特征信息作为拼接处理的基准，能够将所有图像准确关联拼接，以及利用图像的景深信息将二维形式的全范围区域图像转换为全范围三维图像，有效地增加图像对器官状态的表征信息量，便于对对器官内部整体进行细化和分区的识别，提高后续根据内窥镜拍摄的图像进行病理分析的准确性。

2、本发明提供基于多方向视角标定的内窥镜图像重构方法，其包括如下步骤：

3、步骤s1，获取内窥镜工作时在相对于基准方向的若干拍摄视角方向上，分别采集目标对象内部器官不同范围区域的图像，并对所述图像进行关于拍摄视角方向的标识处理；根据所述图像的画面视觉特征，对所述图像进行画面像素预处理；

4、步骤s2，对所述图像进行识别处理，得到所述图像画面边缘像素特征信息；根据每个图像各自对应的拍摄视角方向，确定每个图像对应相邻接的其他图像；根据所述图像画面边缘像素特征信息，将每个图像与其相邻接的其他图像进行拼接处理，得到关于所述器官的全范围区域图像；

5、步骤s3，根据每个图像各自对应的拍摄景深信息，将所述全范围区域图像转换为所述器官对应的全范围三维图像；

6、步骤s4，对所述全范围三维图像进行器官表面结构渲染处理，得到器官表面三维图像。

7、在本技术公开的一个实施例中，在所述步骤s1中，采集目标对象内部器官不同范围区域的图像之前，包括：

8、获取内窥镜进入到目标对象内部并到达对应器官位置时，内窥镜的主体延伸方向，并将所述主体延伸方向作为内窥镜进行拍摄工作时对应的基准方向；

9、根据所述基准方向和内窥镜的拍摄视场范围，确定内窥镜对器官进行拍摄的若干拍摄视角方向。

10、在本技术公开的一个实施例中，在所述步骤s1中，获取内窥镜工作时在相对于基准方向的若干拍摄视角方向上，分别采集目标对象内部器官不同范围区域的图像，并对所述图像进行关于拍摄视角方向的标识处理，包括：

11、指示内窥镜的光轴方向分别与每个拍摄视角方向重合，并以相同的拍摄视场角度分别采集目标对象内部器官不同范围区域的图像；

12、每当内窥镜对器官的一个范围区域完成拍摄后，判断拍摄得到的图像的平均画面亮度是否大于或等于预设亮度阈值；若是，则将当前拍摄得到的图像作为相应器官范围区域的最终图像；若否，则指示内窥镜对相应器官范围区域进行增大补光强度的再次拍摄，从而得到相应器官范围区域的最终图像；

13、对每个器官范围区域拍摄得到的最终图像进行关于自身拍摄视角方向相对于基准方向的方位角度值的标识处理。

14、在本技术公开的一个实施例中，在所述步骤s1中，根据所述图像的画面视觉特征，对所述图像进行画面像素预处理，包括：

15、获取每个器官范围区域对应的图像的画面分辨率分布特征，以此确定所述图像画面上存在的分辨率低下画面部分；对所述分辨率低下画面部分进行画面像素插值预处理。

16、在本技术公开的一个实施例中，在所述步骤s2中，对所述图像进行识别处理，得到所述图像画面边缘像素特征信息；根据每个图像各自对应的拍摄视角方向，确定每个图像对应相邻接的其他图像，包括：

17、对所述图像四周边缘区域进行识别处理，得到所述图像画面四周边缘区域的像素轮廓特征信息；根据每个图像进行标识处理对应的方位角度值，确定每个图像自身四周相邻接的所有图像。

18、在本技术公开的一个实施例中，在所述步骤s2中，根据所述图像画面边缘像素特征信息，将每个图像与其相邻接的其他图像进行拼接处理，得到关于所述器官的全范围区域图像，包括：

19、将所述图像画面四周边缘区域的像素轮廓特征信息与其四周相邻接的所有图像各自的像素轮廓特征信息进行比对，确定所述图像与其四周相邻的每个图像之间的画面重叠区域；根据所述画面重叠区域的边界，将所述图像与其四周相邻的每个图像进行拼接处理，得到关于所述器官的全范围区域图像。

20、在本技术公开的一个实施例中，在所述步骤s3中，根据每个图像各自对应的拍摄景深信息，将所述全范围区域图像转换为所述器官对应的全范围三维图像，包括：

21、获取内窥镜拍摄得到每个图像时，每个图像在内窥镜的拍摄空间坐标系中的拍摄景深信息；

22、获取内窥镜的拍摄空间坐标系与世界坐标系之间的坐标系变换矩阵，根据所述坐标系变化矩阵和每个图像在内窥镜的拍摄空间坐标系中的拍摄景深信息，确定每个图像在世界坐标系中的拍摄景深信息；

23、根据每个图像在世界坐标系中的拍摄景深信息，将所述全范围区域图像与每个图像对应的画面部分进行景深调整处理，从而将所述全范围区域图像转换为所述器官对应的全范围三维图像。

24、在本技术公开的一个实施例中，在所述步骤s3中，根据每个图像在世界坐标系中的拍摄景深信息，将所述全范围区域图像与每个图像对应的画面部分进行景深调整处理，包括：

25、对每个图像在世界坐标系中的拍摄景深信息进行归一化处理，得到每个图像在世界坐标系中的归一化拍摄景深值；根据所述归一化拍摄景深值，将所述全范围区域图像与每个图像对应的画面部分进行景深调整处理。

26、在本技术公开的一个实施例中，在所述步骤s4中，对所述全范围三维图像进行器官表面结构渲染处理，得到器官表面三维图像，包括：

27、对所述全范围三维图像进行像素纹理识别处理，得到所述全范围三维图像画面上器官表面结构纹理特征信息；并根据所述器官表面结构纹理特征信息，对所述全范围三维图像进行像素渲染处理，得到器官表面三维图像。

28、在本技术公开的一个实施例中，在所述步骤s4中，根据所述器官表面结构纹理特征信息，对所述全范围三维图像进行像素渲染处理，包括：

29、根据所述器官表面结构纹理特征信息，确定所述全范围三维图像画面中器官表面凹凸纹理深度分布信息；根据所述器官表面凹凸纹理深度分布信息，对所述全范围三维图像进行像素色度变化渲染处理。

30、相比于现有技术，该基于多方向视角标定的内窥镜图像重构方法通过内窥镜改变拍摄视角方向，采集得到器官不同范围区域的图像；根据图像的画面边缘像素特征信息，将每个图像与其相邻接的其他图像进行拼接处理，得到器官的全范围区域图像；根据每个图像的拍摄景深信息，将全范围区域图像转换为全范围三维图像，并对全范围三维图像进行器官表面结构渲染，得到器官表面三维图像，其将内窥镜在不同拍摄视角方向采集的图像进行拼接处理，初步得到器官的全范围区域图像，其利用图像对应的拍摄视角方向和画面边缘像素特征信息作为拼接处理的基准，能够将所有图像准确关联拼接，以及利用图像的景深信息将二维形式的全范围区域图像转换为全范围三维图像，有效地增加图像对器官状态的表征信息量，便于对对器官内部整体进行细化和分区的识别，提高后续根据内窥镜拍摄的图像进行病理分析的准确性。

31、本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

32、下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。