基于多模态图像分析的机器人辅助伤口治疗方法及系统与流程

本发明涉及机器人，尤其涉及一种基于多模态图像分析的机器人辅助伤口治疗方法及系统。

背景技术：

1、伤口治疗是医疗领域中一项重要且具有挑战性的任务。传统的伤口治疗方法主要依赖医护人员的经验和判断，存在主观性强、效率低下等问题。随着医疗技术的发展，机器人辅助治疗技术逐渐受到关注。将机器人技术应用于伤口治疗领域，可以提高治疗效率，减轻医护人员的工作负担，并实现标准化、精确化的治疗过程。

2、通常采用单一模态的图像，而单一模态图像难以全面反映伤口的多个属性，限制了伤口状态的准确评估；传统的机器人辅助伤口治疗系统通常依赖预先设定的经验规则，根据伤口的特定特征，而这种方法缺乏对伤口动态变化的适应能力，难以应对复杂多变的临床场景；现有的机器人运动规划方法通常基于单一目标，生成机器人的运动轨迹，而伤口治疗过程涉及多个目标，单目标优化难以兼顾多个治疗目标之间的平衡。基于现有技术存在的局限性，导致机器人辅助伤口治疗的效果和适应性难以满足临床需求。

3、综上所述，亟需一种能够综合利用多模态图像信息，动态适应伤口状态变化，平衡多个治疗目标，并实现自主学习和优化的机器人辅助伤口治疗方法，以提升伤口治疗的效果和效率，本发明能够解决现有技术中的问题。

技术实现思路

1、本发明实施例提供一种基于多模态图像分析的机器人辅助伤口治疗方法及系统，能够解决现有技术中的问题。

2、本发明实施例的第一方面，

3、提供一种基于多模态图像分析的机器人辅助伤口治疗方法，包括：

4、采集待治疗伤口的多模态图像，对所述多模态图像进行几何变换和空间对齐，确定图像配准结果，通过多尺度融合算法对所述图像配准结果进行重构，确定融合伤口图像，通过基于卷积神经网络的方法对所述融合伤口图像进行伤口区域分割，得到分割后的伤口区域图像，通过基于迁移学习的方法对分割后的伤口区域图像进行伤口组织类型分类，得到伤口组织类型分类结果；

5、对伤口区域进行环绕拍摄，得到伤口多视角图像，基于伤口多视角图像，以第一帧图像对应的第一帧深度图作为基准，逐帧配准后续深度图并累积点云数据，确定伤口三维点云，通过点云平滑处理，结合曲面演化算法，生成伤口三维重建结果，基于伤口三维重建结果，确定伤口参数测量结果；

6、基于伤口组织类型分类结果和伤口参数测量结果，采用机器人路径规划算法，通过构建伤口治疗的奖励目标，结合机器人运动的惩罚约束，生成机器人最佳运动轨迹，通过视觉和力反馈的机器人控制算法，实时调整机器人的运动参数，完成伤口辅助治疗。

7、在一种可选的实施例中，

8、采集待治疗伤口的多模态图像，对所述多模态图像进行几何变换和空间对齐，确定图像配准结果，通过多尺度融合算法对所述图像配准结果进行重构，确定融合伤口图像包括：

9、基于预训练的局部特征描述符网络，检测并提取多模态图像的局部稳定特征点，以一种模态图像为目标图像，确定目标特征点集，另一种模态图像为源图像，确定源特征点集，通过注意力机制，在目标特征点集中搜索与源特征点集中的每一个局部稳定特征点最相似的候选匹配点，利用ransac算法剔除错误匹配，建立不同模态图像之间局部稳定特征点的稀疏特征对应关系；

10、基于稀疏特征对应关系，通过仿射变换、透视变换和薄板样条插值，确定从源图像到目标图像的密集空间映射，结合循环一致性损失函数和梯度相关性损失函数，进行映射训练，获得多模态图像配准结果；

11、对多模态图像配准结果中的每个模态图像分别进行小波变换，通过逐层分解，得到小波系数金字塔，结合小波系数的方差特性，计算融合权重，基于所述融合权重进行小波系数融合，通过小波逆变换，得到融合伤口图像。

12、在一种可选的实施例中，

13、通过基于卷积神经网络的方法对所述融合伤口图像进行伤口区域分割，得到分割后的伤口区域图像，通过基于迁移学习的方法对分割后的伤口区域图像进行伤口组织类型分类，得到伤口组织类型分类结果包括：

14、以融合伤口图像为输入，采用编码器-解码器架构，构建伤口区域分割神经网络，其中所述编码器基于efficientnet-b7构建，提取浅层特征，通过膨胀卷积和金字塔池化，生成多尺度语义特征图，所述解码器通过渐进式上采样和跳跃连接，融合编码器中的浅层特征，逐步恢复多尺度语义特征图的空间分辨率，并在解码器的末端设置分辨率复原模块，通过多尺度卷积和注意力机制，对恢复空间分辨率的多尺度语义特征图进行粒度修复，生成伤口分割概率图；

15、基于二元交叉熵损失、dice相似度损失和对比度损失，构建所述伤口区域分割神经网络的损失函数，通过迭代训练，最大化伤口区域和背景区域在特征空间的距离，得到最优伤口分割概率图，确定伤口区域分割结果；

16、基于所述伤口区域分割结果，以imagenet预训练的resnext-101作为特征提取器，通过对抗性自编码，调整特征空间的分布，利用生成器和判别器网络的对抗博弈，学习真实伤口组织特征分布，确定伤口低维特征表示；

17、在伤口区域内采样多个局部块，从多个尺度和多个方向提取特征，结合伤口低维特征表示，得到伤口组织的多视图表示，通过多头注意力池化机制，融合所述多视图表示，得到全局一致的组织类型特征；

18、基于度量学习构建组织类型判别模型，通过迭代调整特征嵌入空间的结构，结合成对损失和三元组损失，增加类内一致性和类间差异性，进行组织类型划分，根据待分类样本与各组织类型的中心相似度，确定最近邻分类，得到

19、基于度量学习构建组织类型判别模型，通过优化特征嵌入空间的结构，使相同类别样本聚集、不同类别样本远离，并通过成对损失和三元组损失增强类内一致性和类间差异性，根据待分类样本与各类别中心的相似度进行最近邻分类，得到伤口组织类型分类结果。

20、在一种可选的实施例中，

21、对伤口区域进行环绕拍摄，得到伤口多视角图像，基于伤口多视角图像，以第一帧图像对应的第一帧深度图作为基准，逐帧配准后续深度图并累积点云数据，确定伤口三维点云，通过点云平滑处理，结合曲面演化算法，生成伤口三维重建结果包括：

22、设置正十二面体的排布方式，在所述正十二面体的每个面上，放置一个大于预设分辨率阈值的高分辨率主相机和多个小于预设分辨率阈值的低分辨率辅助相机，组成多相机阵列，通过多相机阵列对伤口区域进行环绕拍摄，获得复眼式多视角图像，

23、基于多尺度立体匹配算法，通过多尺度相位金字塔，选择匹配尺度，在每个匹配尺度下，通过局部相位一致性约束和全局能量优化，得到视差图，结合相机焦距和相机基线距离，将所述视差图转换为对应的基础深度图，构建所述基础深度图的马尔可夫随机场模型，确定能量损失函数，迭代求解能量损失函数的最小值，得到深度估计结果，确定最优深度图，组成多尺度深度图；

24、基于harris-laplace算子，在尺度空间中检测所述复眼式多视角图像中的局部极值点，确定特征点，基于特征点的尺度和位置，计算特征点对应的描述子，生成特征向量，基于两个特征点对应的特征向量，计算特征相似度，以所述特征点作为节点，所述特征相似度作为节点之间边的权重，构建加权图，采用基于图的蚁群算法，通过蚂蚁在所述加权图上执行搜索过程，迭代探索，找到全局最优特征匹配，确定特征匹配结果。

25、基于所述多尺度深度图和所述特征匹配结果，进行多尺度点云配准，通过最小化点云中的点之间的距离误差，调整刚体变换矩阵，结合局部形变非刚性约束，通过估计仿射变换矩阵，补偿非刚性形变，同时在不同尺度之间调节权重系数，平衡刚性形变和非刚性形变，基于预设的骨骼运动模型，将伤口表面划分为多个局部刚体区域，通过构建骨骼结构，以及计算关节参数，确定点云运动形变状态，得到点云配准结果；

26、基于所述点云配准结果，采用隐式曲面演化方法，通过定义初始水平集函数，将点云嵌入三维空间，通过最小化能量泛函使曲面逼近点云，结合曲率正则化项，对曲面的光滑度和连续度进行控制，通过数值求解更新水平集函数，提取零水平集作为当前曲面，引入基于张量积分的形状先验，通过获取伤口表面的属性和结构，构建局部切空间，定义张量积分，通过最小化所述张量积分，确定曲面最优演化方向，最终得到伤口三维重建结果。

27、在一种可选的实施例中，

28、所述能量损失函数，其公式如下：

29、

30、其中，e表示能量损失函数，p表示像素点索引，q表示另一个像素点索引，np表示像素点p的邻域，wpq表示像素点p和像素点q之间的相似性权重，ρ(·)表示处理离群值的鲁棒函数，ip表示像素点p处的图像强度，iq表示像素点q处的图像强度，dp表示像素点p的深度值，dq表示像素点q的深度值，λ表示平衡系数，α表示截断阈值。

31、在一种可选的实施例中，

32、基于伤口组织类型分类结果和伤口参数测量结果，采用机器人路径规划算法，通过构建伤口治疗的奖励目标，结合机器人运动的惩罚约束，生成机器人最佳运动轨迹包括：

33、基于机器学习算法建立伤口状态与愈合阶段之间的映射关系，构建伤口状态评估模型，其中所述伤口状态包括伤口组织类型分布、面积和颜色，所述愈合阶段包括炎症期、增殖期和重塑期；

34、基于所述伤口状态评估模型的输出结果，实时调整奖励目标的权重，当伤口状态发生变化时，更新奖励目标中对应的权重系数，确定动态奖励权重，包括：当愈合阶段处于炎症期，增加组织清除对应的权重系数，减少组织保护对应的权重系数，当愈合阶段处于增殖期，增加组织保护对应的权重系数，减少组织迁移对应的权重系数；

35、基于通过专家示教预先收集的伤口治疗轨迹数据，提取相应的伤口状态特征和治疗运动特征，构建状态-动作对；

36、基于最大熵逆强化学习算法，通过最大化伤口治疗轨迹数据的似然概率，确定奖励函数的参数，得到初始奖励函数，通过梯度下降算法，最小化伤口治疗轨迹数据和最大熵逆强化学习算法得到的生成轨迹之间的差异，调整奖励函数的参数，得到隐含奖励函数；

37、将不同奖励目标作为独立目标函数，结合动态奖励权重和隐含奖励函数，将机器人运动约束作为约束条件，构建多目标优化模型，基于所述多目标优化模型，采用多目标进化算法进行优化求解，得到最优解集，帕累托最优解集中的每个最优解对应一条机器人运动轨迹；

38、结合当前治疗需求和医生意愿，从所述帕累托最优解集中选择一条机器人运动轨迹，确定机器人最佳运动轨迹。

39、在一种可选的实施例中，

40、所述多目标进化算法包括：

41、基于预设的历史数据和先验知识，采用知识引导的初始化策略，确定初始种群；

42、以初始种群为当前种群，对当前种群中的每个个体，计算不同奖励目标对应的各个独立目标函数下的标准适应度值；

43、基于网格的自适应拥挤度度量机制，根据当前种群在目标空间的分布特征，动态调整网格大小，结合网格密度和个体之间的欧氏距离，计算个体拥挤度；

44、基于标准适应度值，结合每个个体在当前种群中的支配关系，以及个体拥挤度，对所述标准适应度值进行动态调整，通过权重聚合，确定个体适应度值，基于所述个体适应度值，对当前种群中的个体进行排序，确定最优个体，根据预设的优选数量，确定父代个体；

45、基于模拟二进制交叉和多项式变异，确定交叉变异算子，基于迭代次数调整交叉变异算子参数，通过调整后的交叉变异算子，对父代个体进行交叉变异操作，生成子代个体；基于父代个体，通过均匀采样和高斯扰动，按照预设的生成比例，确定随机个体；将所述最优个体、子代个体和随机个体合并，生成扩展种群；

46、重复迭代，直到达到预设的迭代次数，得到最优扩展种群，基于最优扩展种群中每个个体的个体适应度值，按照预设的优选数量，得到最优解集。

47、本发明实施例的第二方面，

48、提供一种基于多模态图像分析的机器人辅助伤口治疗系统，包括：

49、第一单元，用于采集待治疗伤口的多模态图像，对所述多模态图像进行几何变换和空间对齐，确定图像配准结果，通过多尺度融合算法对所述图像配准结果进行重构，确定融合伤口图像，通过基于卷积神经网络的方法对所述融合伤口图像进行伤口区域分割，得到分割后的伤口区域图像，通过基于迁移学习的方法对分割后的伤口区域图像进行伤口组织类型分类，得到伤口组织类型分类结果；

50、第二单元，用于对伤口区域进行环绕拍摄，得到伤口多视角图像，基于伤口多视角图像，以第一帧图像对应的第一帧深度图作为基准，逐帧配准后续深度图并累积点云数据，确定伤口三维点云，通过点云平滑处理，结合曲面演化算法，生成伤口三维重建结果，基于伤口三维重建结果，确定伤口参数测量结果；

51、第三单元，用于基于伤口组织类型分类结果和伤口参数测量结果，采用机器人路径规划算法，通过构建伤口治疗的奖励目标，结合机器人运动的惩罚约束，生成机器人最佳运动轨迹，通过视觉和力反馈的机器人控制算法，实时调整机器人的运动参数，完成伤口辅助治疗。

52、本发明实施例的第三方面，

53、提供一种电子设备，包括：

54、处理器；

55、用于存储处理器可执行指令的存储器；

56、其中，所述处理器被配置为调用所述存储器存储的指令，以执行前述所述的方法。

57、本发明实施例的第四方面，

58、提供一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现前述所述的方法。

59、在本发明实施例中，通过融合可见光图像、红外图像和三维结构光图像，能够获得更加全面和精确的伤口信息；不同模态的信息互补，提供更加全面的伤口状态信息，有助于全面评估伤口的严重程度和愈合状态；通过几何变换和空间对齐，确保不同模态的图像在同一个空间坐标系中精确对准，提高后续分析的准确性；使用多尺度融合算法，可以有效融合多模态图像中的有用信息，提高融合图像的质量和信息量；提供高精度的三维伤口重建和准确的伤口参数测量结果，显著提高伤口诊断和治疗的科学性与有效性。通过精细的点云处理和曲面重建，减少了噪声和误差，确保了重建结果的连续性和光滑性，进而提供全面、详细的伤口信息，帮助医疗人员做出更精准的诊断和治疗决策；通过构建奖励目标，系统能够优先选择对伤口治疗最有利的路径，提高治疗效果；结合机器人运动的惩罚约束，避免机器人在治疗过程中对伤口造成二次伤害，确保安全性；通过视觉反馈实时监测伤口治疗过程，及时发现并纠正偏差，确保治疗过程的准确性；利用力反馈系统感知机器人施加的压力，防止过度压力对伤口的影响，提供更温和的治疗。