1.一种应用于关节康复的辅助系统,其特征在于,包括:
关节图像获取模块,用于获取患者关节图像并进行预处理;
关节角度预测模块,用于基于预处理后的患者关节图像,通过关节康复评估模型预测得到第一预测关节角度和三个预测关节关键点,所述三个预测关节关键点包括预测关节轴点、预测关节远心端点、预测关节近心端点,其中,所述关节康复评估模型为预先基于采集的关节图像集进行训练得到;
角度综合器,用于基于三个预测关节关键点计算得到第二预测关节角度,并对第一预测关节角度和第二预测关节角度取平均值,得到患者的最终关节角度评估值。
2.根据权利要求1所述的应用于关节康复的辅助系统,其特征在于,所述关节康复评估模型通过如下方法训练得到:
采集若干关节图像并进行预处理;
标注预处理后的每张关节图像的关节轴点、关节远心端点、关节近心端点,并计算出关节角度;以一张预处理后的关节图像及对应的关节轴点、关节远心端点、关节近心端点、关节角度为一个样本构建训练样本集;
基于训练样本集,以预处理后的关节图像作为输入,以关节图像对应的关节轴点、关节远心端点、关节近心端点及关节角度为输出,训练得到关节康复评估模型;
其中,所述关节康复评估模型包括特征提取子网络、关键点检测子网络和角度回归子网络;
所述特征提取子网络以预处理后的关节图像为输入,基于卷积神经网络输出特征图像;
所述关键点检测子网络以特征提取子网络输出的特征图像为输入,基于反卷积层神经网络输出预测关节轴点、预测关节远心端点、预测关节近心端点;
所述角度回归子网络以特征提取子网络输出的特征图像为输入,基于全连接层神经网络输出预测关节角度。
3.根据权利要求2所述的应用于关节康复的辅助系统,其特征在于,所述将预处理后的关节图像作为输入,以关节图像对应的关节轴点、关节远心端点、关节近心端点及关节角度为输出,训练得到关节康复评估模型,具体包括如下步骤:
a1、设置训练参数:采用adam优化器,以均方误差损失为损失函数,预设batchsize为a,预设训练次数为n轮,预设学习率β;
a2、网络参数初始化:从互联网下载imagenet数据集中预训练的resnet50模型参数,将特征抽取子网络的参数初始化为该预训练的resnet50模型参数,关键点检测子网络和角度回归子网络的参数均采用随机方式进行初始化;
a3、依次从训练样本集中抽取a张关节图像作为一个mini-batch,输入到关节康复评估模型中,从关键点检测子网络的输出端获得预测关节轴点、预测关节远心端点、预测关节近心端点,从角度回归子网络的输出端获得预测关节角度;
a4、基于a张关节图像输入关节康复评估模型后的输出,计算关键点均方误差损失和关节角度均方误差损失;
a5、将关键点均方误差损失与关节角度均方误差损失之和作为最终误差值,然后根据预设的学习率,利用反向传播算法更新关节康复评估模型的网络参数;
a6、重复步骤a3~a5,直至完成n轮训练,即得到最终的关节康复评估模型。
4.根据权利要求1所述的应用于关节康复的辅助系统,其特征在于,还包括压力可视化模块;
所述压力可视化模块包括:
柔性压力传感器,用于安装于患者关节处,采集关节进行被动活动时施加的压力值,并传输给处理模块;
处理模块,用于接收柔性压力传感器传输的压力值,并转换为数字信号传输给显示模块;
显示模块,用于接收处理模块的数字信号并将关节被动活动时施加的压力值进行显示。
5.一种应用于关节康复的辅助方法,其特征在于,包括:
获取患者关节图像并进行预处理;
以预处理后的患者关节图像为输入,通过关节康复评估模型预测得到第一预测关节角度和三个预测关节关键点,所述三个预测关节关键点包括预测关节轴点、预测关节远心端点、预测关节近心端点,其中,所述关节康复评估模型为预先基于采集的关节图像集进行训练得到;
基于三个预测关节关键点计算得到第二预测关节角度,对第一预测关节角度和第二预测关节角度取平均值,得到患者的最终关节角度评估值。
6.根据权利要求5所述的应用于关节康复的辅助方法,其特征在于,所述关节康复评估模型通过如下方法训练得到:
采集若干关节图像并进行预处理;
标注预处理后的每张关节图像的关节轴点、关节远心端点、关节近心端点,并计算出关节角度;以一张预处理后的关节图像及对应的关节轴点、关节远心端点、关节近心端点、关节角度为一个样本构建训练样本集;
基于训练样本集,以预处理后的关节图像作为输入,以关节图像对应的关节轴点、关节远心端点、关节近心端点及关节角度为输出,训练得到关节康复评估模型;
其中,所述关节康复评估模型包括特征提取子网络、关键点检测子网络和角度回归子网络;
所述特征提取子网络以预处理后的关节图像为输入,基于卷积神经网络输出特征图像;
所述关键点检测子网络以特征提取子网络输出的特征图像为输入,基于反卷积层神经网络输出预测关节轴点、预测关节远心端点、预测关节近心端点;
所述角度回归子网络以特征提取子网络输出的特征图像为输入,基于全连接层神经网络输出预测关节角度。
7.根据权利要求6所述的应用于关节康复的辅助方法,其特征在于,所述将预处理后的关节图像作为输入,以关节图像对应的关节轴点、关节远心端点、关节近心端点及关节角度为输出,训练得到关节康复评估模型,具体包括如下步骤:
a1、设置训练参数:采用adam优化器,以均方误差损失为损失函数,预设batchsize为a,预设训练次数为n轮,预设学习率β;
a2、网络参数初始化:从互联网下载imagenet数据集中预训练的resnet50模型参数,将特征抽取子网络的参数初始化为该预训练的resnet50模型参数,关键点检测子网络和角度回归子网络的参数均采用随机方式进行初始化;
a3、依次从训练样本集中抽取a张关节图像作为一个mini-batch,输入到关节康复评估模型中,从关键点检测子网络的输出端获得预测关节轴点、预测关节远心端点、预测关节近心端点,从角度回归子网络的输出端获得预测关节角度;
a4、基于a张关节图像输入关节康复评估模型后的输出,计算关键点均方误差损失和关节角度均方误差损失;
a5、将关键点均方误差损失与关节角度均方误差损失之和作为最终误差值,然后根据预设的学习率,利用反向传播算法更新关节康复评估模型的网络参数;
a6、重复步骤a3~a5,直至完成n轮训练,即得到最终的关节康复评估模型。
8.根据权利要求7所述的应用于关节康复的辅助方法,其特征在于,所述关键点均方误差损失通过如下公式计算得到:
其中,l1代表关键点均方误差损失,xai和yai分别代表第i张关节图像的预测关节轴点的x坐标和y坐标,xdi和ydi分别代表第i张关节图像的真实关节轴点的x坐标和y坐标,xbi和ybi分别代表第i张关节图像的预测关节远心端点的x坐标和y坐标,xei和yei分别代表第i张关节图像的真实关节远心端点的x坐标和y坐标,xci和yci分别代表第i张关节图像的预测关节近心端点的x坐标和y坐标,xfi和yfi分别代表第i张关节图像的真实关节近心端点的x坐标和y坐标;
所述关节角度均方误差损失通过如下公式计算得到:
其中,l2代表关节角度均方误差损失,jti代表第i张关节图像的真实关节角度值,j1i代表第i张关节图像的预测关节角度值。
9.根据权利要求6所述的应用于关节康复的辅助方法,其特征在于,所述采集若干关节图像并进行预处理,其中预处理包括将每张关节图像均缩放到预设尺寸;
所述采集若干关节图像并进行预处理之后还包括:
将每张关节图像以预设角度依次旋转b次生成b张新的关节图像。
10.一种计算机可读存储介质,其特征在于,所述存储介质包括存储的程序指令,所述程序指令适于被处理器加载并执行如权利要求5至9任一项所述的用于关节康复的评估方法。