基于视觉的人体胃部定位方法、装置及存储介质与流程

本发明涉及医疗器械，尤其涉及一种基于视觉的人体胃部定位方法、装置及存储介质。

背景技术：

1、现有的磁控胶囊内窥镜的控制方法中，在不同的体位下，机械臂带动末端磁体在受检者的不同区域进行运动，从而带动胶囊内窥镜完成对目标区域的扫描。现有的控制方法存在以下问题：对胶囊内窥镜的控制自动化程度低，控制精度低、效率低，不能保证对目标区域检查的全面性。

技术实现思路

1、为了解决现有技术中存在的上述技术问题中的至少一个，本发明提供一种基于视觉的人体胃部定位方法、装置及存储介质，旨在提高磁控胶囊内窥镜控制的自动化程度。

2、本发明实施例提供一种基于视觉的人体胃部定位方法，其特征在于，包括如下步骤：

3、s1：获取人体的彩色图像和深度图像；

4、s2：将所述彩色图像输入人体关键点检测模型，得到人体关键点的二维像素坐标信息；

5、s3：根据所述人体关键点的所述二维像素坐标信息、所述深度图像及标定好的相机内参进行计算，得到基准点在所述相机坐标系下的三维坐标信息；

6、s4：将模拟的人体3d胃模型以所述基准点为准嵌入到人体三维点云中。

7、在一些实施例中，所述步骤s2将所述彩色图像输入人体关键点检测模型，得到人体关键点的二维像素坐标信息之前还包括：

8、采用coco数据集训练好的关键点检测模型对彩色图像训练集进行标注，得到标注好的数据集；

9、用所述标注好的数据集训练所述关键点检测模型，得到所述人体关键点检测模型。在一些实施例中，所述步骤s3根据所述人体关键点的所述二维像素坐标信息、所述深度图像及标定好的相机内参进行计算，得到基准点在所述相机坐标系下的三维坐标信息包括：

10、建立相机模型，所述相机模型用公式表示如下：

11、

12、其中，u和v是所述彩色图像的像素坐标的行和列，x，y和z是所述彩色图像上的像素点基于所述相机坐标系的所述三维坐标，z可以由所述相机采集的所述深度图像获取，fx，fy，cx和cy是相机的所述相机内参；

13、根据所述相机模型确定所述人体关键点中的颈部和中臀的三维坐标；

14、根据所述颈部和所述中臀的所述三维坐标确定所述基准点的所述三维坐标信息。在一些实施例中，所述根据所述相机模型确定所述人体关键点中的颈部和中臀的三维坐标包括：

15、根据所述深度图像获取所述彩色图像上的像素点基于所述相机坐标系的所述三维坐标的z坐标值；

16、采用opencv棋盘格标定法获取所述相机的所述相机内参，其中，fx是所述相机的焦距f和所述彩色图像像素宽度比例α的乘积，单位为像素，fy是所述相机的所述焦距f和所述彩色图像像素高度比例β的乘积，单位为像素，cx为所述相机的光心到像素坐标系原点的x轴方向的距离，单位为像素，cy为所述相机的所述光心到所述像素坐标系原点的y轴方向的距离，单位为像素；

17、根据所述相机模型和所述深度图像获取所述彩色图像上的像素点基于所述相机坐标系的所述三维坐标的z坐标值计算所述彩色图像上的所述像素点基于所述相机坐标系的所述三维坐标的x和y坐标值，得到所述人体关键点中的所述颈部和所述中臀的三维坐标。

18、在一些实施例中，所述根据所述颈部和所述中臀的所述三维坐标确定所述基准点的所述三维坐标信息包括：

19、根据如下公式(2)确定所述人体的中轴线上的t点的三维坐标信息，

20、

21、其中，p1为人体的颈部点，其坐标为(x1,y1,z1)，p2为人体的中臀点，其坐标为(x2,y2,z2)，α为第一预设比例；

22、将所述t点的y坐标向左肩方向平移预设距离l，得到所述基准点的三维坐标信息pbase，其中所述基准点为所述人体的胃部的贲门所在的点。

23、在一些实施例中，所述步骤s4将模拟的人体3d胃模型以所述基准点为准嵌入到人体三维点云中包括：

24、根据如下公式(3)将所述人体3d胃模型嵌入到所述人体三维点云中，

25、p′stomach＝r*pstomach+pbase          (3)

26、其中，旋转矩阵r是一个3×3的矩阵，表示为pstomacs为所述人体3d胃模型，pbase为所述基准点的三维坐标信息。

27、本发明实施例提供一种基于视觉的人体胃部定位装置，包括：

28、获取单元，用于获取人体的彩色图像和深度图像；

29、识别单元，用于将所述彩色图像输入人体关键点检测模型，得到人体关键点的二维像素坐标信息；

30、计算单元，用于根据所述人体关键点的所述二维像素坐标信息、所述深度图像及标定好的相机内参进行计算，得到基准点在所述相机坐标系下的三维坐标信息；模型嵌入单元，用于将模拟的人体3d胃模型以所述基准点为准嵌入到人体三维点云中。

31、在一些实施例中，所述基于视觉的人体胃部定位装置还包括：

32、标注单元，用于采用coco数据集训练好的关键点检测模型对彩色图像训练集进行标注，得到标注好的数据集；

33、训练单元，用于用所述标注好的数据集训练所述关键点检测模型，得到所述人体关键点检测模型。

34、在一些实施例中，所述计算单元包括：

35、建模模块，用于建立相机模型，所述相机模型用公式表示如下：

36、

37、其中，u和v是所述彩色图像的像素坐标的行和列，x，y和z是所述彩色图像上的像素点基于所述相机坐标系的所述三维坐标，z可以由所述相机采集的所述深度图像获取，fx，fy，cx和cy是相机的所述相机内参；

38、第一确定模块，用于根据所述相机模型确定所述人体关键点中的颈部和中臀的三维坐标；

39、第二确定模块，用于根据所述颈部和所述中臀的所述三维坐标确定所述基准点的所述三维坐标信息。

40、在一些实施例中，所述第一确定模块包括：

41、第一获取子模块，用于根据所述深度图像获取所述彩色图像上的像素点基于所述相机坐标系的所述三维坐标的z坐标值；

42、第二获取子模块，用于采用opencv棋盘格标定法获取所述相机的所述相机内参，其中，fx是所述相机的焦距f和所述彩色图像像素宽度比例α的乘积，单位为像素，fy是所述相机的所述焦距f和所述彩色图像像素高度比例β的乘积，单位为像素，cx为所述相机的光心到像素坐标系原点的x轴方向的距离，单位为像素，cy为所述相机的所述光心到所述像素坐标系原点的y轴方向的距离，单位为像素；

43、计算子模块，用于根据所述相机模型和所述深度图像获取所述彩色图像上的像素点基于所述相机坐标系的所述三维坐标的z坐标值计算所述彩色图像上的所述像素点基于所述相机坐标系的所述三维坐标的x和y坐标值，得到所述人体关键点中的所述颈部和所述中臀的三维坐标。

44、本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一段程序，所述程序用于执行上述实施例中任意一个实施例所述的方法。本发明公开一种基于视觉的人体胃部定位方法、装置及存储介质，该方法包括如下步骤：s1：获取人体的彩色图像和深度图像；s2：将所述彩色图像输入人体关键点检测模型，得到人体关键点的二维像素坐标信息；s3：根据所述人体关键点的所述二维像素坐标信息、所述深度图像及标定好的相机内参进行计算，得到基准点在所述相机坐标系下的三维坐标信息；s4：将模拟的人体3d胃模型以所述基准点为准嵌入到人体三维点云中，实现了人体胃部的3d定位，这为实现磁控胶囊内窥镜的全自动化控制奠定了坚实的基础，可以提高磁控胶囊内窥镜控制的自动化程度，进而提高磁控胶囊内窥镜控制的效率和精度。