一种腹腔镜手术持镜机器人系统

1.本发明涉及智能化、自动化医疗设备的技术领域，具体涉及一种腹腔镜手术持镜机器人系统。


背景技术：

2.随着科技的不断进步，机器人可被应用在各个领域这个。其中，在医疗领域中，尤其外科手术中，使用机器人辅助医生完成某些手术已经较为常见。但是医疗手术机器人还是存在一定的缺陷，例如智能化程度不高，稳定程度有待提高等。


技术实现要素：

3.鉴于现有技术的不足，本发明旨在于提供一种腹腔镜手术持镜机器人系统。
4.为了实现上述目的，本发明采用的技术方案如下：
5.一种腹腔镜手术持镜机器人系统，所述系统包括持镜机器人本体、所述持镜机器人本体的末端上的腹腔镜连接件，所述腹腔镜连接件上固定设有腹腔镜，所述系统还包括语音控制系统、遥控系统与智能追踪系统，其中，所述语音控制系统具有语音指令识别模块、所述遥控系统具有遥控指令处理模块，所述智能追踪系统具有获取腹腔镜手术图像模块、手术器械尖端检测与分割模块、获取手术器械尖端中心模块与获取腹腔镜控制速度模块；所述系统还还包括持镜机器人逆运动学求解模块、控制持镜机器人运动模块。
6.需要说明的是，所述获取腹腔镜手术图像模块的输入端为所述腹腔镜视野内的真实三维空间场景，所述获取腹腔镜手术图像模块的输出端与所述手术器械尖端检测与分割模块的输入端连接；所述手术器械尖端检测与分割模块的输出端与所述获取手术尖端中心模块的输入端连接；所述获取手术尖端中心模块的输出端与所述获取腹腔镜控制速度模块的输入端连接；所述获取腹腔镜控制速度模块的输出端与所述持镜机器人逆运动学求解模块输入端连接；所述持镜机器人逆运动学求解模块的输出端与所述控制持镜机器人运动模块的输入端连接，所述控制持镜机器人运动模块的输出端为所述持镜机器人的关节角的驱动信号，用于控制所述持镜机器人的运动；其中，所述语音指令识别模块、遥控指令处理模块分别与所述持镜机器人逆运动学求解模块的输出端连接。
7.需要说明的是，所述获取腹腔镜手术图像模块用于通过所述腹腔镜采集患者腹腔内的图像，所述图像中包括单个或多个手术器械尖端；所述手术器械尖端检测与分割模块用于对所述单个或多个手术器械尖端进行检测、分类和分割。
8.需要说明的是，所述手术器械尖端检测与分割模块包括源图像预处理单元、手术器械尖端检测单元和手术器械尖端分割单元，其中，所述源图像预处理单元，用于实现所述图像的预处理，作为后续使用深度学习模型的基础；所述手术器械尖端检测单元，用于通过深度目标检测模型获取手术器械尖端的包围盒和类别；所手术器械尖端分割单元，用于通过深度目标分割模型获取手术器械尖端的轮廓。
9.需要说明的是，所述获取手术尖端中心模块用于根据所述手术器械尖端的检测和
分割模块的结果获得手术器械尖端的中心像素点坐标。
10.需要说明的是，所述获取腹腔镜控制速度模块用于根据单个或多个手术器械尖端的中心像素点坐标和约束条件获得腹腔镜末端的控制速度；其中，腹腔镜末端的控制速度包含追踪手术器械尖端的控制速度，由单个或多个手术器械尖端的中心和稳定点的像素点坐标共同决定。
11.需要说明的是，所述持镜机器人逆运动学求解模块用于完成腹腔镜末端到持镜机器人关节的逆运动学求解；其中包括持镜机器人末端到持镜机器人关节的逆运动学求解、腹腔镜末端到持镜机器人末端的逆运动学求解。
12.需要说明的是，所述持镜机器人末端到持镜机器人关节的逆运动学求解包括：
13.正运动学方程为：
[0014][0015]
其中，[n
x
,ny,nz]
t
,[o
x
,oy,oz]
t
,[a
x
,ay,az]
t
分别表示机器人末端沿着x,y,z轴的方向向量，[p
x
,py,pz]
t
表示机器人末端的位置矢量，fkine()代表正运动学方程，itj为i号坐标系到j号坐标系的齐次变换矩阵，θ1,
…
,θ6依次为机器人关节1到关节6的旋转角度；
[0016]
根据，第1号坐标系到末端的齐次变换矩阵也可以表示为：
[0017][0018]
其中，其中，a2和a3为连杆2和杆件3的偏置量，d4和d6连杆4和连杆6的长度；
[0019][0020]
根据第1号坐标系到末端的齐次变换矩阵的关系可求得4组对应的位置级逆运动学解，当已知当前时刻持镜机器人末端的齐次变换矩阵te，通过求解方法即可解算其对应的关节角数据θ1,
…
,θ6；
[0021]
所述腹腔镜末端到持镜机器人末端的逆运动学求解
[0022]
腹腔镜末端到持镜机器人末端的逆运动学求解实际上就是个手眼标定问题。手眼标定系统中为持镜机器人末端坐标系从i时刻变换到j时刻的齐次变换矩阵，为腹腔镜末端坐标系从i时刻变换到j时刻的齐次变换矩阵，为i时刻腹腔镜末端坐标系与机器人末端坐标系之间的相对位姿变换矩阵。
[0023]
根据坐标变换，和满足如下关系：
[0024][0025]
进一步地，式可简化为：
[0026][0027]
其中，bra和bta分别为bτa的旋转矩阵与平移向量，o3×1＝[0,0,0]；
[0028]
将式进行展开可得到腹腔镜末端到持镜机器人末端的运动学方程，即：
[0029][0030][0031]
其中，i3×3为三阶单位矩阵；
[0032]
通过非线性优化方法很容易求解得到式中腹腔镜末端到持镜机器人末端的最优旋转矩阵将其代入式可得腹腔镜末端到持镜机器人末端最优的平移向量
[0033]
于是，腹腔镜末端到持镜机器人末端的逆运动学求解结果为旋转矩阵以及平
移向量
[0034]
需要说明的是，每个包围盒使用目标边框中心坐标和目标边框尺寸表示；
[0035]
假设一个图像单元为i
cell
，深度目标检测模型预测图像单元中边界框的四个坐标(x
t
,y
t
,w
t
,h
t
)和检测到的手术器械尖端属于各个类别的概率p＝(p1,p2,...,pn)(n表示手术器械的种类数量)，表达式如下：
[0036]
(x
t
,y
t
,w
t
,h
t
,p)＝detection(i
cell
)
[0037]
式中，detection()表示深度目标检测模型；
[0038]
假设检测到的手术器械尖端的边框中心坐标表示为(x
box
,y
box
)，宽度和高度表示为(w
box
,h
box
)，计算公式如下：
[0039][0040]
式中，(x
cell
,y
cell
)表示单元左上角坐标，(w
p
,h
p
)表示边框的先验宽度和高度，σ()表示sigmoid函数，表达式如下：
[0041][0042]
假设检测到的手术器械尖端的类别表示为c
box
，表达式如下：
[0043]cbox
＝argmax(p)；
[0044]
所述手术器械尖端分割单元中先通过深度目标分割模型获取图像各个像素点的类别，进一步计算手术器械尖端的轮廓；
[0045]
手术器械尖端分割的任务也即对图像中每个像素进行分类，每个像素的类别有两种：手术器械尖端类和背景类；
[0046]
假设手术器械尖端包围盒的图像为i
box
，宽度和高度为(w
box
,h
box
)，深度目标分割模型预测图像中每个像素点(i,j)∈i
box
,i∈[1,w
box
],j∈[1,h
box
]属于手术器械尖端类的概率p＝{p
ij
}，表达式如下：
[0047]
p＝segmentation(i
box
)
[0048]
式中，segmentation()表示深度目标分割模型；
[0049]
假设像素点(i,j)的类别表示为c
ij
，表达式如下：
[0050]cij
＝argmax(p
ij
,1-p
ij
)
[0051]
利用各个像素点的类别对图像进行二值化，得到的图像为ib，进一步使用sobel算子计算图像的近似梯度g，以提取手术器械尖端的轮廓；
[0052]
假设图像在水平方向和垂直方向的梯度分别为g
x
和gy，表达式如下：
[0053][0054]
g＝|g
x
|+|gy|
[0055]
式中，*表示矩阵卷积运算。另外，梯度越大的像素点越有可能是边缘。
[0056]
需要说明的是，还包括出错处理模块，当所述系统中的模块或模块间出现错误，立即触发出错处理中断，直接进入出错处理模块，出错处理完成后，返回到触发出错处理中断的模块。
[0057]
本发明有益效果在于，可以辅助主刀医生完成腹腔镜手术，提高持镜的稳定性。大幅度提高监视器屏幕上图像的稳定性，保证手术的顺利进行，避免对患者造成伤害，提高手术的安全性和效率。快速稳定地追踪手术器械尖端，解决腹腔镜末端运动方向与持镜助手操作方向相反的手眼不协调问题。
附图说明
[0058]
图1为本发明的整体结构示意图；
[0059]
图2为本发明的各个模块的框架图；
[0060]
图3为本发明中手术器械尖端检测与分割模块流程图；
[0061]
图4为本发明中语音指令识别模块处理框图；
[0062]
图5为本发明中遥控指令处理模块处理框图；
[0063]
图6为本发明中出错处理模块触发框图；
[0064]
图7为本发明中智能追踪系统的控制框架图；
[0065]
图8为本发明中的程序流程图。
具体实施方式
[0066]
下将结合附图对本发明作进一步的描述，需要说明的是，本实施例以本技术方案为前提，给出了详细的实施方式和具体的操作过程，但本发明的保护范围并不限于本实施例。
[0067]
如图1所示，本发明为一种腹腔镜手术持镜机器人系统，所述系统包括持镜机器人本体1、所述持镜机器人本体1的末端上的腹腔镜连接件2，所述腹腔镜连接件2上固定设有腹腔镜3，所述系统还包括语音控制系统4、遥控系统5与智能追踪系统，其中，所述语音控制系统4具有语音指令识别模块、所述遥控系统具5有遥控指令处理模块，所述智能追踪系统具有获取腹腔镜手术图像模块、手术器械尖端检测与分割模块、获取手术器械尖端中心模块与获取腹腔镜控制速度模块；所述系统还还包括持镜机器人逆运动学求解模块、控制持镜机器人运动模块。
[0068]
需要指出的是，为了保证安全性，本系统中的语音控制系统、遥控系统的设定级别
为优先级，智能追踪系统的设定级别为一般级。
[0069]
如图2所示，本发明中的获取腹腔镜手术图像模块的输入端为所述腹腔镜视野内的真实三维空间场景，所述获取腹腔镜手术图像模块的输出端与所述手术器械尖端检测与分割模块的输入端连接；所述手术器械尖端检测与分割模块的输出端与所述获取手术尖端中心模块的输入端连接；所述获取手术尖端中心模块的输出端与所述获取腹腔镜控制速度模块的输入端连接；所述获取腹腔镜控制速度模块的输出端与所述持镜机器人逆运动学求解模块输入端连接；所述持镜机器人逆运动学求解模块的输出端与所述控制持镜机器人运动模块的输入端连接，所述控制持镜机器人运动模块的输出端为所述持镜机器人的关节角的驱动信号，用于控制所述持镜机器人的运动；其中，所述语音指令识别模块、遥控指令处理模块分别与所述持镜机器人逆运动学求解模块的输出端连接。
[0070]
实施例
[0071]
本发明系统中的各个功能模块详解：
[0072]
获取腹腔镜手术图像模块
[0073]
获取腹腔镜手术图像模块的输入为持镜机器人末端执行器固定的腹腔镜视野内的真实三维空间场景，输出端与所述手术器械尖端检测与分割模块连接。
[0074]
用于通过持镜机器人末端执行器固定的腹腔镜采集患者腹腔内的图像，所述图像中包括单个或多个手术器械尖端。
[0075]
手术器械尖端检测与分割模块
[0076]
手术器械尖端检测与分割模块输入端与所述获取腹腔镜手术图像模块连接，输出端与所述获取手术尖端中心模块连接。
[0077]
用于通过深度学习模型实现腹腔镜手术图像中单个或多个手术器械尖端的检测、分类和分割。
[0078]
特别地，手术器械尖端检测与分割模块模块包括源图像预处理单元、手术器械尖端检测单元和手术器械尖端分割单元。
[0079]
源图像预处理单元，用于实现原始腹腔镜手术图像的预处理，作为后续使用深度学习模型的基础。
[0080]
手术器械尖端检测单元，用于通过深度目标检测模型获取手术器械尖端的包围盒和类别。
[0081]
可选地，每个包围盒使用目标边框中心坐标和目标边框尺寸表示。
[0082]
假设一个图像单元为i
cell
，深度目标检测模型预测图像单元中边界框的四个坐标(x
t
,y
t
,w
t
,h
t
)和检测到的手术器械尖端属于各个类别的概率p＝(p1,p2,...,pn)(n表示手术器械的种类数量)，表达式如下：
[0083]
(x
t
,y
t
,w
t
,h
t
,p)＝detection(i
cell
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
[0084]
式中，detection()表示深度目标检测模型。
[0085]
假设检测到的手术器械尖端的边框中心坐标表示为(x
box
,y
box
)，宽度和高度表示为(w
box
,h
box
)，计算公式如下：
[0086][0087]
式中，(x
cell
,y
cell
)表示单元左上角坐标，(w
p
,h
p
)表示边框的先验宽度和高度，σ()表示sigmoid函数，表达式如下：
[0088][0089]
假设检测到的手术器械尖端的类别表示为c
box
，表达式如下：
[0090]cbox
＝argmax(p)
ꢀꢀꢀꢀꢀꢀꢀꢀ
(4)
[0091]
手术器械尖端分割单元，用于通过深度目标分割模型获取手术器械尖端的轮廓。首先通过深度目标分割模型获取图像各个像素点的类别，进一步计算手术器械尖端的轮廓。
[0092]
手术器械尖端分割的任务也即对图像中每个像素进行分类，可选地，每个像素的类别有两种：手术器械尖端类和背景类。
[0093]
假设手术器械尖端包围盒的图像为i
box
，宽度和高度为(w
box
,h
box
)，深度目标分割模型预测图像中每个像素点(i,j)∈i
box
,i∈[1,w
box
],j∈[1,h
box
]属于手术器械尖端类的概率p＝{p
ij
}，表达式如下：
[0094]
p＝segmentation(i
box
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)
[0095]
式中，segmentation()表示深度目标分割模型。
[0096]
假设像素点(i,j)的类别表示为c
ij
，表达式如下：
[0097]cij
＝argmax(p
ij
,1-p
ij
)
ꢀꢀꢀꢀꢀꢀꢀ
(6)
[0098]
可选地，利用各个像素点的类别对图像进行二值化，得到的图像为ib，进一步使用sobel算子计算图像的近似梯度g，以提取手术器械尖端的轮廓。
[0099]
假设图像在水平方向和垂直方向的梯度分别为g
x
和gy，表达式如下：
[0100][0101]
g＝|g
x
|+|gy|
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(8)
[0102]
式中，*表示矩阵卷积运算。另外，梯度越大的像素点越有可能是边缘。
[0103]
可选地，如图3所示，通过融合深度目标检测模型和分割单元的深度目标分割模型，得到图像到单个或多个手术器械尖端的检测、分类和分割结果的端到端深度学习模型，提高模块的计算效率。
[0104]
获取手术尖端中心模块
[0105]
获取手术尖端中心模块输入端与所述手术器械尖端检测与分割模块连接，输出端
与所述获取腹腔镜控制速度模块连接。
[0106]
用于根据手术器械尖端的检测和分割结果解算手术器械尖端的中心像素点坐标。
[0107]
可选地，根据手术器械尖端的轮廓计算轮廓的一阶图像矩，进一步计算手术器械尖端的灰度重心。
[0108]
假设手术器械尖端图像为if，(xi,yi)∈if,i∈[1,n]为if上的任意像素点坐标，该手术器械尖端图像的重心可表示为：
[0109][0110]
获取腹腔镜控制速度模块
[0111]
获取腹腔镜控制速度模块输入端与所述获取手术尖端中心模块连接，输出端与所述持镜机器人逆运动学求解模块连接。
[0112]
用于根据单个或多个手术器械尖端的中心像素点坐标和约束条件解算腹腔镜末端的控制速度。
[0113]
特别地，腹腔镜末端的控制速度包含追踪手术器械尖端的控制速度，由单个或多个手术器械尖端的中心和稳定点的像素点坐标共同决定。
[0114]
特别地，约束条件至少包括保证腹腔镜在安全可达范围内的约束。
[0115]
语音指令识别模块
[0116]
用于通过语音识别模块采集主刀医生的语音，进一步识别主刀医生的语音指令，最后根据语音指令实施相应操作。
[0117]
特别地，语音指令识别模块包括语音识别单元和多个指令处理单元。
[0118]
特别地，指令处理单元至少包括：停止指令处理单元、退出指令处理单元、图像视野移动指令处理单元、图像视野旋转指令处理单元。
[0119]
语音识别单元，用于过滤非指令的语音，识别主刀医生的语音指令，进一步根据语音指令的类别进入相应的指令处理单元。
[0120]
停止指令处理单元，用于暂停持镜机器人的运动。
[0121]
退出指令处理单元，用于退出语音控制子系统，激活智能追踪子系统。
[0122]
图像视野移动指令处理单元，用于根据图像视野的期望移动方向和距离计算期望的腹腔镜末端三维空间位姿，输出端与所述持镜机器人逆运动学求解模块连接。
[0123]
图像视野旋转指令处理单元，用于根据图像视野的期望旋转方向和角度计算期望的腹腔镜末端三维空间位姿，输出端与所述持镜机器人逆运动学求解模块连接。
[0124]
遥控指令处理模块
[0125]
用于实现医生通过遥控设备触发指令，根据指令实施相应操作。
[0126]
特别地，遥控指令处理模块包括触发检测单元和多个指令处理单元。
[0127]
特别地，指令处理单元至少包括：停止指令处理单元、退出指令处理单元、手术视野调整指令处理单元。
[0128]
触发检测单元，用于检测医生在遥控设备上的操作，进一步根据指令的类别进入相应的指令处理单元。
[0129]
停止指令处理单元，用于暂停持镜机器人的运动。
[0130]
退出指令处理单元，用于退出遥控子系统，激活智能追踪子系统。
[0131]
手术视野调整指令处理单元，用于调整腹腔镜镜头的位姿，以调整手术视野，输出端与所述持镜机器人逆运动学求解模块连接。
[0132]
持镜机器人逆运动学求解模块
[0133]
持镜机器人逆运动学求解模块输入端与所述获取腹腔镜控制速度模块、语音指令识别模块、遥控指令处理模块连接，输出端与所述控制持镜机器人运动模块连接。
[0134]
用于完成腹腔镜末端到持镜机器人关节的逆运动学求解。
[0135]
特别地，腹腔镜末端到持镜机器人关节的逆运动学求解包括：腹腔镜末端到持镜机器人末端的逆运动学求解、持镜机器人末端到持镜机器人关节的逆运动学求解。
[0136]
持镜机器人末端到持镜机器人关节的逆运动学求解
[0137]
为了实现持镜机器人末端的6dof旋转和平移运动，本专利的持镜机器人也是设置为6-dof，其正运动学方程为：
[0138][0139]
其中，[n
x
,ny,nz]
t
,[o
x
,oy,oz]
t
,[a
x
,ay,az]
t
分别表示机器人末端沿着x,y,z轴的方向向量，[p
x
,py,pz]
t
表示机器人末端的位置矢量，fkine()代表正运动学方程，itj为i号坐标系到j号坐标系的齐次变换矩阵，θ1,
…
,θ6依次为机器人关节1到关节6的旋转角度。
[0140]
根据，第1号坐标系到末端的齐次变换矩阵也可以表示为：
[0141][0142]
其中，其中，a2和a3为连杆2和杆件3的偏置量，d4和d6连杆4和连杆6的长度。
[0143][0144]
根据式(11)的关系可求得4组对应的位置级逆运动学解，具体流程如图6所示。因此，当已知当前时刻持镜机器人末端的齐次变换矩阵te，通过上述求解方法即可解算其对应的关节角数据θ1,
…
,θ6。
[0145]
腹腔镜末端到持镜机器人末端的逆运动学求解
[0146]
腹腔镜末端到持镜机器人末端的逆运动学求解实际上就是个手眼标定问题。手眼标定系统中为持镜机器人末端坐标系从i时刻变换到j时刻的齐次变换矩阵，为腹腔镜末端坐标系从i时刻变换到j时刻的齐次变换矩阵，为i时刻腹腔镜末端坐标系与机器人末端坐标系之间的相对位姿变换矩阵。
[0147]
根据坐标变换，和满足如下关系：
[0148][0149]
进一步地，式可简化为：
[0150][0151]
其中，bra和bta分别为bτa的旋转矩阵与平移向量，o3×1＝[0,0,0]。
[0152]
将式进行展开可得到腹腔镜末端到持镜机器人末端的运动学方程，即：
[0153][0154][0155]
其中，i3×3为三阶单位矩阵。
[0156]
通过非线性优化方法很容易求解得到式中腹腔镜末端到持镜机器人末端的最优旋转矩阵将其代入式可得腹腔镜末端到持镜机器人末端最优的平移向量
[0157]
于是，腹腔镜末端到持镜机器人末端的逆运动学求解结果为旋转矩阵以及平
移向量
[0158]
特别地，腹腔镜末端到持镜机器人末端的逆运动学求解具有远程运动中心约束。
[0159]
可选地，通过持镜机器人的关节角测量单元获取实时关节角，进一步实现持镜机器人末端到持镜机器人关节的速度级逆运动学求解。
[0160]
上述的速度级逆运动学可表示为：
[0161][0162]
其中，q＝[θ1,
…
,θ6]
t
，，zyx()为欧拉角表示，je为关节角空间到持镜机器人末端的雅克比矩阵。
[0163]
控制持镜机器人运动模块
[0164]
控制持镜机器人运动模块输入端与所述持镜机器人逆运动学求解模块连接，输出端为持镜机器人关节角的驱动信号，用以控制持镜机器人运动。
[0165]
用于根据解算得到的期望关节角控制持镜机器人运动。
[0166]
出错处理模块
[0167]
出错处理模块与系统模块连接，系统模块中或模块间一旦出现错误，立即触发出错处理中断，直接进入出错处理模块，出错处理完成后，返回到触发出错处理中断的模块。
[0168]
用于处理系统模块中或模块间出现的错误。
[0169]
特别地，出错处理模块至少包括异常出错处理单元、关节角限位出错处理单元和停止指令出错处理单元。
[0170]
异常出错处理单元，用于处理系统模块中或模块间出现的异常错误。
[0171]
关节角限位出错处理单元，持镜机器人逆运动学求解模块中，解算得到的关节角超出持镜机器人的关节角限位，触发出错处理中断，系统进入关节角限位出错处理单元，完成超出关节角限位的出错处理。
[0172]
可选地，关节限位出错处理单元的出错处理方式为，控制持镜机器人返回初始状态，重新进行逆运动学求解。
[0173]
停止指令出错处理单元，持镜机器人运动过程中，主刀医生发出停止的语音指令或通过遥控设备触发停止指令，持镜机器人运动与停止指令发生冲突，触发出错处理中断，系统进入停止指令出错处理单元，根据特定策略完成运动与停止指令冲突的出错处理。
[0174]
可选地，停止指令出错处理单元的出错处理策略为，判断持镜机器人当前状态是否在安全范围内：如果是，则执行停止指令；否则，控制持镜机器人继续运动到安全范围内，再执行停止指令。
[0175]
对于本领域的技术人员来说，可根据以上描述的技术方案以及构思，做出其它各种相应的改变以及变形，而所有的这些改变以及变形都应该属于本发明权利要求的保护范围之内。