一种医疗图像立体校正方法、装置、立体观察装置及介质与流程

本申请涉及图像立体校正，特别是涉及一种医疗图像立体校正方法、装置、立体观察装置及介质。

背景技术：

1、随着医疗手术技术的不断提高，手术过程中经常借助拍摄和显示系统来观察目标部位并进行治疗，医疗图像和视频的质量成为医疗系统中的关注点之一。其中，三维立体图像显示技术在医疗领域受到青睐，因为医生在显示器上观察时，经常判断治疗器械、各个待治疗部位的相对深度，3d图像显示可以更好地提供观察区域的立体感。为了具有更舒适的立体观看体验和正确的立体感知，双目拍摄系统会进行立体标定、图像处理等操作。另外，医疗系统对拍摄和显示组合链路的延迟性能有较高要求，在治疗过程中，被拍摄场景的变化需要在显示器上快速的呈现出来，医生观看显示变化再作出下一步治疗操作，若延迟较大，会极大影响治疗。

2、在内窥镜应用场景中，医生会使内窥镜深入到观测部位来观看治疗区域，而内窥镜是圆柱形，镜头很容易在各个角度和方向进行转动，显示器上的图像也会跟随转动，因此图像显示方向和实际物理直立方向存在偏差，使观测变得困难。现有技术中，在立体校正之后添加图像旋转的功能，可使医生在转动镜头的情况下以正方向观察治疗部位。但是直接在拍摄和显示系统之后添加图像旋转功能会增加链路的延迟时间。另外，立体校正映射表的计算过程一般放在离线端进行，而添加刚性变换则需要重新计算立体校正映射表，计算量较大，不适合在边缘设备端处理。

技术实现思路

1、基于此，有必要针对上述技术问题，提供一种医疗图像立体校正方法、装置、立体观察装置及介质。

2、第一方面，本申请实施例提供了一种医疗图像立体校正方法，所述方法包括：

3、获取双目拍摄设备立体标定时生成的第一立体校正映射表；所述第一立体校正映射表包括已立体标定图像的坐标到未立体标定图像的坐标的映射关系；

4、根据刚性变换矩阵对所述已立体标定图像的坐标进行刚性变换，得到刚性变换映射表；所述刚性变换映射表包括所述已立体标定图像的坐标从刚性变换后到刚性变换前的映射关系；

5、根据所述刚性变换映射表将所述第一立体校正映射表进行转换，生成第二立体校正映射表；

6、使用所述第二立体校正映射表将所述双目拍摄设备采集的双目图像进行图像插值处理，获得校正后的双目图像。

7、在其中一个实施例中，所述根据刚性变换矩阵对所述已立体标定图像的坐标进行刚性变换，得到刚性变换映射表包括：

8、基于刚性变换参数，建立刚性变换矩阵h；

9、根据刚性变换矩阵h对所述已立体标定图像的坐标进行刚性变换，获得刚性坐标；

10、基于所述刚性坐标，得到刚性变换映射表。

11、在其中一个实施例中，所述刚性变换参数包括所述双目拍摄设备采集的双目图像进行刚性变换后的旋转角度、x方向偏移值、y方向偏移值、x方向缩放尺度以及y方向缩放尺度。

12、在其中一个实施例中，所述刚性变换矩阵h计算公式如下：

13、

14、其中，w为图像分辨率的宽度，h为图像分辨率的高度，ang为旋转角度、tx为x方向偏移值、ty为y方向偏移值、sx为x方向缩放尺度、sy为y方向缩放尺度。

15、在其中一个实施例中，所述根据刚性变换矩阵h对所述已立体标定图像的坐标进行刚性变换，获得刚性坐标包括：

16、将所述刚性变换矩阵h表示为:

17、

18、使用以下公式将已立体标定图像的坐标进行刚性变换，得到刚性坐标hmapx(x,y)和hmapy(x,y)；

19、

20、

21、其中，x表示已立体标定图像的坐标横向位置索引号，取值为(1,2,3,…,w)；y表示已立体标定图像的坐标纵向位置索引号，取值为(1,2,3,…,h)。

22、在其中一个实施例中，所述根据所述刚性变换映射表将所述第一立体校正映射表进行转换，生成第二立体校正映射表包括：

23、将所述第一立体校正映射表通过所述刚性变换映射表进行双线性插值得到第二立体校正映射表。

24、在其中一个实施例中，所述双线性插值计算公式如下：

25、

26、其中，new_map表示第二立体校正映射表；map表示第一立体校正映射表；符号表示向下取整，符号表示向下取整后加1。

27、第二方面，本申请实施例还提供了一种医疗图像立体校正装置，所述装置包括：

28、获取模块，用于获取双目拍摄设备在出厂进行立体标定获得的第一立体校正映射表；所述第一立体校正映射表定义了由所述双目拍摄设备采集的双目图像从已立体标定图像的坐标到未校正图像坐标的映射关系；

29、刚性变换模块，用于根据刚性变换矩阵对所述已立体标定图像的坐标进行刚性变换，得到刚性变换映射表；所述刚性变换映射表定义了所述已立体标定图像的坐标在刚性变换后到刚性变换前的映射关系；

30、转换模块，用于根据所述刚性变换映射表将所述第一立体校正映射表进行转换，生成第二立体校正映射表；

31、校正模块，用于使用所述第二立体校正映射表将所述双目拍摄设备采集的双目图像进行图像插值处理，获得校正后的双目图像。

32、第三方面，本申请实施例还提供了一种立体观察装置，包括内窥镜、处理器以及显示器，

33、所述内窥镜用于采集双目图像；

34、所述处理器用于执行上述第一方面所述的方法，实现对所述双目图像进行校正，获得校正后的双目图像；

35、所述显示器用于显示所述校正后的双目图像。

36、第四方面，本申请实施例还提供了一种计算机可读存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被处理器执行时实现如上述第一方面所述的方法。

37、上述医疗图像立体校正方法、装置、立体观察装置及介质，通过获取双目拍摄设备立体标定时生成的第一立体校正映射表；所述第一立体校正映射表包括已立体标定图像的坐标到未立体标定图像的坐标的映射关系；根据刚性变换矩阵对所述已立体标定图像的坐标进行刚性变换，得到刚性变换映射表；所述刚性变换映射表包括所述已立体标定图像的坐标从刚性变换后到刚性变换前的映射关系；根据所述刚性变换映射表将所述第一立体校正映射表进行转换，生成第二立体校正映射表；使用所述第二立体校正映射表将所述双目拍摄设备采集的双目图像进行图像插值处理，获得校正后的双目图像，通过对已离线标定好的第一立体校正映射表，进行刚性坐标计算和立体坐标转换，避免内参、外参、去畸变参数的重复计算，解耦立体校正和刚性变换，在对双目图像进行刚性变换时不影响立体校正的效果。通过对已离线标定好的第一立体校正映射表，进行坐标转换，提高边缘设备计算效率，最大限度较少数据处理链路的延迟增加。

38、本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。

技术特征：

1.一种医疗图像立体校正方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述根据刚性变换矩阵对所述已立体标定图像的坐标进行刚性变换，得到刚性变换映射表包括：

3.根据权利要求2所述的方法，其特征在于，所述刚性变换参数包括所述双目拍摄设备采集的双目图像进行刚性变换后的旋转角度、x方向偏移值、y方向偏移值、x方向缩放尺度以及y方向缩放尺度。

4.根据权利要求3所述的方法，其特征在于，所述刚性变换矩阵h计算公式如下：

5.根据权利要求4所述的方法，其特征在于，所述根据刚性变换矩阵h对所述已立体标定图像的坐标进行刚性变换，获得刚性坐标包括：

6.根据权利要求4所述的方法，其特征在于，所述根据所述刚性变换映射表将所述第一立体校正映射表进行转换，生成第二立体校正映射表包括：

7.根据权利要求6所述的方法，其特征在于，所述双线性插值计算公式如下：

8.一种医疗图像立体校正装置，其特征在于，所述装置包括：

9.一种立体观察装置，其特征在于，包括内窥镜、处理器以及显示器，

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至权利要求7中任一项所述的方法。

技术总结
本申请涉及一种医疗图像立体校正方法、装置、立体观察装置及介质，其中，医疗图像立体校正方法包括：获取双目拍摄设备立体标定时生成的第一立体校正映射表；根据刚性变换矩阵对所述已立体标定图像的坐标进行刚性变换，得到刚性变换映射表；所述刚性变换映射表包括所述已立体标定图像的坐标从刚性变换后到刚性变换前的映射关系；根据所述刚性变换映射表将所述第一立体校正映射表进行转换，生成第二立体校正映射表；使用所述第二立体校正映射表将所述双目拍摄设备采集的双目图像进行图像插值处理，获得校正后的双目图像，提高边缘设备计算效率，最大限度减少数据处理链路的延迟增加。

技术研发人员：周奇明
受保护的技术使用者：浙江华诺康科技有限公司
技术研发日：
技术公布日：2024/2/19