图像处理方法、装置及计算机可读存储介质与流程

本发明涉及内窥镜，尤其涉及一种图像处理方法、装置及计算机可读存储介质。

背景技术：

1、内窥镜是一种可插入人体体腔和脏器内腔内进行直接观察、诊断、治疗的医用电子光学仪器，它采用尺寸极小的光学镜头将所要观察的腔内物体通过微小的物镜成像系统进行光学成像，然后将光学成像发送到图像处理主机上，最后在显示屏上输出图像处理后的观察图像，供医生观察和诊断。

2、目前内窥镜主要有超高清的4k内窥镜、三晶片内窥镜、荧光内窥镜、窄带光内窥镜、3d内窥镜等，这些内窥镜在各自的领域均具有很好的功能和性能。其中，4k内窥镜具有超高清的分辨率，细节还原好；三晶片内窥镜有三个图像传感器分别采集rgb中的一种单色光信号，可获得每个像素的rgb颜色值，其色彩还原度精度高，其性能比普通单晶片内窥镜好；荧光内窥镜是在特殊光谱环境中利用荧光分子成像是一种新的成像技术,其原理是通过荧光剂标记肿瘤细胞来增加病变组织与正常组织的对比，可更早发生癌症和肿瘤；窄带光内窥镜是利用滤光器过滤掉内镜光源所发出的红蓝绿光波中的宽带光谱，仅留下窄带光谱用于精确观察消化道黏膜上皮形态，如上皮腺凹结构，还可以观察上皮血管网的形态；3d内窥镜显示的摄像场景具有深度信息，医生在手术中可以更加精准的对病灶处进行手术和治疗。

3、虽然以上的内窥镜的功能和性能都很好，但是在有血水、浑浊水、组织小屑末、雾气的手术环境下均不能输出清晰的成像，不清晰的成像会使得医生在手术时受到干扰，有时候要清理掉干扰环境(血水、浑浊水、组织屑末、雾气)后才能进行手术，导致手术效率较低。

4、上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

技术实现思路

1、本发明的主要目的在于提供一种图像处理方法、装置及计算机可读存储介质，旨在解决水下环境(血水、浑浊、组织屑末、雾气)中偏振光内窥镜装置不能输出清晰的成像的技术问题。

2、为实现上述目的，本发明提供一种图像处理方法，应用于包括摄像头的偏振光内窥镜装置，所述摄像头设有偏振光图像传感器；所述图像处理方法包括以下步骤：

3、基于偏振光图像传感器采集的偏振信息像素数据，获取所述偏振光图像传感器的多个偏振角度对应的待处理偏振图像；

4、基于所述待处理偏振图像，确定最佳偏振态图像以及最差偏振态图像；

5、基于最佳偏振态图像以及最差偏振态图像，确定目标清晰图像。

6、进一步地，所述基于所述待处理偏振图像，确定最佳偏振态图像以及最差偏振态图像的步骤包括：

7、基于所述待处理偏振图像，确定总光强度矢量、横轴方向直线偏振光分量以及45°方向直线偏振光分量；

8、基于所述总光强度矢量、所述横轴方向直线偏振光分量以及所述45°方向直线偏振光分量，分别确定所述最佳偏振态图像以及所述最差偏振态图像。

9、进一步地，所述待处理偏振图像包括0°偏振角的偏振图像、45°偏振角的偏振图像、90°偏振角的偏振图像以及135°偏振角的偏振图像；所述基于所述待处理偏振图像，确定总光强度矢量、横轴方向直线偏振光分量以及45°方向直线偏振光分量的步骤包括：

10、基于0°偏振角的偏振图像以及90°偏振角的偏振图像，确定总光强度矢量以及横向直线偏振光分量；

11、基于45°偏振角的偏振图像以及135°偏振角的偏振图像，确定45°方向直线偏振光分量。

12、进一步地，所述基于最佳偏振态图像以及最差偏振态图像，确定目标清晰图像的步骤包括：

13、获取所述待处理偏振图像对应的偏振度图像，以及所述最差偏振态图像中最亮像素点的像素值；

14、基于所述偏振度图像、所述像素值、所述最佳偏振态图像以及所述最差偏振态图像，确定所述目标清晰图像。

15、进一步地，所述获取所述待处理偏振图像对应的偏振度图像的步骤包括：

16、基于所述待处理偏振图像对应的总光强度矢量、横轴方向直线偏振光分量以及45°方向直线偏振光分量，确定所述待处理偏振图像对应的偏振度图像。

17、进一步地，所述基于偏振光图像传感器采集的偏振信息像素数据，获取所述偏振光图像传感器的多个偏振角度对应的待处理偏振图像的步骤包括：

18、基于偏振光图像传感器采集的偏振信息像素数据，获取多个偏振角度对应的bayer格式偏振图像；

19、对所述bayer格式偏振图像进行色彩插值处理，以获得rgb格式的所述待处理偏振图像。

20、进一步地，所述摄像头设有bayer传感器；所述图像处理方法还包括：

21、基于所述bayer传感器采集的像素数据，获取bayer图像；

22、对所述bayer图像进行预处理，以获得rgb图像；

23、对所述rgb图像进行图像转换，以获得yuv图像。

24、进一步地，所述偏振光内窥镜装置还包括第一显示器以及第二显示器，所述摄像头内设有光学棱镜，所述光学棱镜用于将光学镜头输出的一路光束分为两路光束；所述bayer传感器于采集所述光学棱镜输出的其中一路光束的光信号，并将所述光信号转换为所述像素数据；所述偏振光图像传感器用于采集所述光学棱镜输出的另一路光束的偏振光信号，并将所述偏振光信号转换为偏振信息像素数据；所述图像处理方法还包括：

25、通过所述第一显示器显示所述yuv图像，并通过所述第二显示器用于显示所述目标清晰图像。

26、此外，为实现上述目的，本发明还提供一种图像处理装置，所述图像处理装置包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的图像处理程序，所述图像处理程序被所述处理器执行时实现前述的图像处理方法的步骤。

27、此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有图像处理程序，所述图像处理程序被处理器执行时实现前述的图像处理方法的步骤。

28、本发明通过基于偏振光图像传感器采集的偏振信息像素数据，获取所述偏振光图像传感器的多个偏振角度对应的待处理偏振图像；接着基于所述待处理偏振图像，确定最佳偏振态图像以及最差偏振态图像；而后基于最佳偏振态图像以及最差偏振态图像，确定目标清晰图像，实现了偏振光内窥镜装置在水下环境(血水、浑浊、组织屑末、雾气)中能够清晰成像的功能，使得在手术环境中出现血水、组织屑末、雾气等情况时，通过对偏振信息像素数据的清晰化处理，解决了偏振光内窥镜装置输出图像不清晰的问题，可避免清理掉干扰环境(血水、浑浊水、组织屑末、雾气)而直接进行手术，进而提高手术效率。

技术特征：

1.一种图像处理方法，其特征在于，应用于包括摄像头的偏振光内窥镜装置，所述摄像头设有偏振光图像传感器；所述图像处理方法包括以下步骤：

2.如权利要求1所述的图像处理方法，其特征在于，所述基于所述待处理偏振图像，确定最佳偏振态图像以及最差偏振态图像的步骤包括：

3.如权利要求2所述的图像处理方法，其特征在于，所述待处理偏振图像包括0°偏振角的偏振图像、45°偏振角的偏振图像、90°偏振角的偏振图像以及135°偏振角的偏振图像；

4.如权利要求1所述的图像处理方法，其特征在于，所述基于最佳偏振态图像以及最差偏振态图像，确定目标清晰图像的步骤包括：

5.如权利要求4所述的图像处理方法，其特征在于，所述获取所述待处理偏振图像对应的偏振度图像的步骤包括：

6.如权利要求1所述的图像处理方法，其特征在于，所述基于偏振光图像传感器采集的偏振信息像素数据，获取所述偏振光图像传感器的多个偏振角度对应的待处理偏振图像的步骤包括：

7.如权利要求1至6任一项所述的图像处理方法，其特征在于，所述摄像头设有bayer传感器；所述图像处理方法还包括：

8.如权利要求7所述的图像处理方法，其特征在于，所述偏振光内窥镜装置还包括第一显示器以及第二显示器，所述摄像头内设有光学棱镜，所述光学棱镜用于将光学镜头输出的一路光束分为两路光束；所述bayer传感器于采集所述光学棱镜输出的其中一路光束的光信号，并将所述光信号转换为所述像素数据；所述偏振光图像传感器用于采集所述光学棱镜输出的另一路光束的偏振光信号，并将所述偏振光信号转换为偏振信息像素数据；所述图像处理方法还包括：

9.一种图像处理装置，其特征在于，所述图像处理装置包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的图像处理程序，所述图像处理程序被所述处理器执行时实现如权利要求1至8中任一项所述的图像处理方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有图像处理程序，所述图像处理程序被处理器执行时实现如权利要求1至8中任一项所述的图像处理方法的步骤。

技术总结
本发明公开了一种图像处理方法、装置及计算机可读存储介质，其中，方法包括：基于偏振光图像传感器采集的偏振信息像素数据，获取所述偏振光图像传感器的多个偏振角度对应的待处理偏振图像；基于所述待处理偏振图像，确定最佳偏振态图像以及最差偏振态图像；基于最佳偏振态图像以及最差偏振态图像，确定目标清晰图像。本发明实现了偏振光内窥镜装置在水下环境(血水、浑浊、组织屑末、雾气)中能够清晰成像的功能，使得在手术环境中出现血水、组织屑末、雾气等情况时，通过对偏振信息像素数据的清晰化处理，解决了偏振光内窥镜装置输出图像不清晰的问题。

技术研发人员：郭毅军,黄潇峰,严崇源
受保护的技术使用者：重庆西山科技股份有限公司
技术研发日：
技术公布日：2024/1/13