1.本发明涉及医工结合与计算机辅助诊断技术领域,特别是指一种慢性踝关节不稳智能辅助诊断系统。
背景技术:2.近年来,踝关节扭伤所致的外侧副韧带损伤是最为常见的运动损伤之一,容易导致慢性踝关节外侧不稳,外侧副韧带损伤后的踝关节不稳早期发现与诊断,将有利于关节稳定性及运动功能的恢复,预防和阻止关节软骨损伤及骨性关节炎的发生发展,对于提高患者生活质量具有重要意义。
3.目前,踝关节不稳的临床诊断主要依靠病史、体格检查(如,前抽屉试验、内翻试验),以及影像学检查(应力位x线、超声波检查、mri检查),难以准确、全面地反映出运动过程中踝关节复杂的运动学特性及其稳定性,使得对踝关节的动态性能评估方法缺失。因此,寻找一种客观、精准、全面的踝关节稳定性评估方法用于踝关节不稳的辅助诊断始终是骨科及运动医学研究领域的热点和难点。
技术实现要素:4.本发明实施例提供了慢性踝关节不稳智能辅助诊断系统,能够实现慢性踝关节不稳的有效辅助诊断。
5.本发明实施例提供了一种慢性踝关节不稳智能辅助诊断系统,包括:运动特征提取模块,用于采集受试者在自然行走、跑跳运动、左/右切运动和坡道及台阶运动多种场景下的运动数据,并基于采集的运动数据构建时空运动特征小样本;运动特征增强模块,用于构建对偶式生成对抗网络模型,利用所述时空运动特征小样本对构建的对偶式生成对抗网络模型进行训练,以得到用于生成多种场景下伪时空运动特征的运动特征增强模型;其中,生成的伪时空运动特征构成增强特征样本;基分类器构建模块,用于构建卷积长短时记忆网络、时间卷积网络和长短时记忆全卷积网络,利用所述时空运动特征小样本与增强特征样本组成的训练集对构建的卷积长短时记忆网络、时间卷积网络和长短时记忆全卷积网络分别进行训练,得到用于识别慢性踝关节不稳的三种基分类器;多分类器融合模块,用于构建模型无关的元学习算法,将三种基分类器运用堆叠法进行集成学习,以所述时空运动特征小样本与增强特征样本组成训练集,利用k折交叉训练的方法对元学习模型进行训练,得到能够识别慢性踝关节不稳的多分类器融合模型。
6.进一步地,所述运动数据包括:下肢骨性关键点的三维空间坐标值;所述下肢骨性关键点包括:膝关节、踝关节及足部多个骨性关键点;其中,膝关节骨性关键点包括:胫骨隆粗;踝关节骨性关键点包括:内踝和外踝;足部骨性关键点包括:跟骨内、外和背侧最凸出的位置,第1和5跖骨最近端位置,
第1、2和5跖骨最远端位置和拇趾最远端趾骨中点位置。
7.进一步地,所述运动特征提取模块包括:数据采集单元,用于在膝关节、踝关节及足部多个骨性关键点处设置运动数据采集点,并在每个采集点分别粘贴反光标识点,采集受试者在自然行走、跑跳运动、左/右切运动和坡道及台阶运动多种场景下的实测三维空间坐标值;数据预处理单元,用于对采集到的实测三维空间坐标值进行预处理;其中,所述预处理包括:降噪处理、步态周期分割处理和数据标准化处理;运动特征计算单元,用于基于预处理后的实测三维空间坐标值,构建多种场景下的时空运动特征,基于构建的多种场景下的时空运动特征,生成时空运动特征小样本。
8.进一步地,所述多种场景下的时空运动特征包括:在自然行走、跑跳运动、左/右切运动和坡道及台阶运动场景下基于步态时序的运动特征和基于关节空间活动度的运动特征;其中,所述基于步态时序的运动特征包括:跨步时长,步态相期占比,以及膝关节、踝关节及足部多个骨性关键点运动速度、加速度和急动度;所述基于关节空间活动度的运动特征包括:胫踝平面与跟骨平面夹角、胫踝平面与外趾跖平面夹角、胫踝平面与内趾跖平面夹角和内外趾跖平面夹角。
9.进一步地,所述运动特征计算单元,还用于对所述时空运动特征进行归一化处理后,将归一化处理后的时空运动特征与识别标签作为互相对偶的两个节点分别进行拼接,形成多维时空特征矩阵和识别标签矩阵。
10.进一步地,所述对偶式生成对抗网络模型包括:以归一化处理后的时空运动特征与识别标签作为互相对偶的两个节点构建的两个任务目标相反的对偶式生成对抗网络和,每一个生成对抗网络包含一个生成器和一个判别器,两个生成器之间以镜像的形式连接为型网络结构;其中,和都表示生成器,和都表示判别器;生成器采用全卷积神经网络作为主干结构,用于根据时空运动特征小样本/识别标签生成识别标签/增强特征样本;判别器采用卷积层作为主干结构,用于将生成器所生成的识别标签/增强特征样本与真实的识别标签/时空运动特征小样本进行判别,根据判别结果与真实结果的梯度惩罚损失指导生成器增强特征样本的生成;在对偶式生成对抗网络的训练过程中,固定判别器的参数,生成器根据判别器的反馈优化其参数;判别器根据生成器最新生成的特征,进行参数的自更新;生成器和判别器进行反复迭代,直到生成的增强特征样本与真实的时空运动特征小样本相符,满足判别器要求为止;其中,所述参数包括:每个神经元的权重和偏差。
11.进一步地,构建的两个任务包括:主任务和对偶任务;其中,主任务为:真实的时空运动特征经过生成器得到生成的诊断结果,生成的诊断结果经过生成器得到生成的时空运动特征,生成的特征即为对原有的特征的一次重构,生成的诊断结果与真实的诊断结果共同输入判别器判断诊断结果的真伪,生成的时空
运动特征与真实的时空运动特征经过判别器判断特征的真伪;其中,诊断结果为识别标签;对偶任务为:真实的诊断结果经过生成器得到生成的时空运动特征,生成的时空运动特征输入生成器得到生成的诊断结果,生成的诊断结果与真实的诊断结果共同输入判别器判断诊断结果的真伪,生成的时空运动特征与真实的时空运动特征经过判别器判断特征的真伪。
12.进一步地,所述运动特征增强模块,还用于对真实的时空运动特征和增强特征构建频率直方图和散点图,以描述真实的时空运动特征与增强特征的分布情况与线性回归关系。
13.本发明实施例提供的技术方案带来的有益效果至少包括:本发明实施例中,通过运动特征提取模块采集受试者在多种场景下的运动数据,并基于采集的运动数据构建时空运动特征小样本;通过运动特征增强模块构建对偶式生成对抗网络模型,利用所述时空运动特征小样本对构建的对偶式生成对抗网络模型进行训练,以得到用于生成多种场景下伪时空运动特征的运动特征增强模型;通过多分类器融合模块构建模型无关的元学习算法,并将基分类器构建模块构建的卷积长短时记忆网络、时间卷积网络和长短时记忆全卷积网络三种基分类器运用堆叠法进行集成学习,以所述时空运动特征小样本与增强特征样本组成训练集,利用k折交叉训练的方法对元学习模型进行训练,从而提高基分类器训练效率与识别精度,得到能够有效识别慢性踝关节不稳的多分类器融合模型,以实现慢性踝关节不稳的有效辅助诊断。
附图说明
14.为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
15.图1为本发明实施例提供的慢性踝关节不稳智能辅助诊断系统的结构示意图;图2为本发明实施例提供的慢性踝关节不稳智能辅助诊断系统的工作流程示意图;图3为本发明实施例提供的下肢骨性关键点测量示意图;图4为本发明实施例提供的对偶式生成对抗网络的结构示意图;图5为本发明实施例提供的增强特征可视化评估的示意图;图6为本发明实施例提供的convlstm单元的结构示意图;图7为本发明实施例提供的用于识别慢性踝关节不稳的多分类器融合模型的结构示意图。
具体实施方式
16.为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明实施方
式作进一步地详细描述。
17.如图1所示,本发明实施例提供了一种慢性踝关节不稳智能辅助诊断系统,包括:运动特征提取模块11,用于采集受试者在自然行走、跑跳运动、左/右切运动和坡道及台阶运动多种场景下的运动数据,并基于采集的运动数据构建时空运动特征小样本;本实施例中,自然行走指沿直线方向以舒适的速度步行;跑跳运动,指在沿直线方向短距离加速跑到指定位置后跳起,并双脚同时着地;左/右切运动,指在沿直线方向短距离加速跑到指定位置后向左/右前方45
°
跨步转弯后继续沿此方向减速跑至停止;坡道及台阶运动,指沿坡面方向上坡后,在平面上继续行走一段距离,而后下台阶,或上台阶后在平面上继续行走一段距离,而后沿坡面方向下坡。
18.本实施例中,所述运动数据包括:下肢骨性关键点的三维空间坐标值;所述下肢骨性关键点包括:膝关节、踝关节及足部多个骨性关键点;其中,膝关节骨性关键点包括:胫骨隆粗(胫骨结节最凸出的位置),共1个骨性关键点;踝关节骨性关键点包括:内踝和外踝(沿踝骨转动轴方向最大距离的内侧和外侧位置),共2个骨性关键点;足部骨性关键点包括:跟骨内、外和背侧(跟骨内、外和背侧最凸出的位置)、跖骨1和5(第1和5跖骨最近端位置)、趾骨1、2和5(第1、2和5趾骨最远端位置)、拇趾(拇趾最远端趾骨中点位置),共9个骨性关键点;其中,跖骨最近端为跖骨最靠近楔状骨端,跖骨最远端为跖骨最靠近趾骨端,拇趾最远端为趾骨最靠近足尖端。
19.本实施例中,所述运动特征提取模块包括:数据采集单元、数据预处理单元和运动特征计算单元。
20.本实施例中,如图2所示,所述运动特征提取模块的工作流程为:a1,采集受试者在多种场景下的下肢三维运动数据;本实施例中,数据采集单元,用于基于海德堡足部测量方法在膝关节、踝关节及足部12个骨性关键点设置运动数据采集点,如图3所示,并在每个采集点分别粘贴反光标识点,通过红外运动捕捉系统采集受试者在自然行走、跑跳运动、左/右切运动和坡道及台阶运动多种场景下的实测三维空间坐标值;a2,对所采集的下肢三维运动数据进行降噪处理;本实施例中,由于红外运动捕捉系统所采集得到的实测三维空间坐标值通常混叠有高频噪声,因此,数据预处理单元采用巴特沃斯低通滤波器对实测三维空间坐标值进行数字滤波,用于降低由环境因素、反光标识点移位、多标记点间相互影响等因素所造成的噪声。
21.a3,依据人体步态的共性特征及受试者个体实际运动情况,数据预处理单元将降噪处理后的实测三维空间坐标值进行步态周期的自动分割;本实施例中,针对多场景中所包含的行走、跑步、跳跃三种基本步态,建立基于规则的步态周期自动分割方法,具体方法为:在行走过程中,足跟着地是步态周期起始及结束的标志,因此,以跟骨背侧骨性关键点在垂直地面向上方向上的极小值点为分割点进行步态周期的自动分割;在跑步过程中,足尖着地是步态周期起始及结束的标志,因此,以拇趾骨性关键点在垂直地面向上方向上的极小值点为分割点进行步态周期的自动分割;
在跳跃过程中,足跟离地是步态周期的起始标志,足跟着地是步态周期的结束标志,因此,以跟骨背侧骨性关键点在垂直地面向上方向上的极小值点为分割点进行步态周期的自动分割。
22.a4,统一每个步态周期中的采样点数量;本实施例中,数据预处理单元构建基于分段线性插值的步态周期内数据(具体指:采样点数量)标准化处理方法,统一每个步态周期中的采样点数量,便于后续模块的算法实现,具体方法为:从步态周期的起始时刻到结束时刻等分为某一确定数量的新采样点,如果某新采样点与某原采样点时刻重合,则某新采样点的值与某原始采样点的值相等;如果某新采样点与某原始采样点的时刻不重合,则新采样点的值为:其中,为某新采样点的三维运动数据值,为新采样点所在时刻,和分别为与某新采样点时刻相邻的前后两个原始采样点时刻,和分别为原采样点时刻和所对应的三维空间坐标值。
23.a5,计算多种场景下的时空运动特征,利用计算得到的多种场景下的时空运动特征,生成时空运动特征小样本,其中,用于训练和测试时,时空运动特征小样本是包含识别标签的,因为需要识别准确性的比对;在最终实际应用时时空运动特征小样本并不包含识别标签,因为标签是最终的诊断结果;本实施例中,运动特征计算单元,基于标准化处理后的实测三维空间坐标值,分别计算不同场景下三种基本步态的时空运动特征;其中,所述时空运动特征包括:基于步态时序的运动特征和基于关节空间活动度的运动特征;其中,所述基于步态时序的运动特征包括:跨步时长,步态相期占比,以及膝关节、踝关节及足部骨性关键点运动速度、加速度和急动度;其中,行走的步态相期占比包括:步态周期中的支撑相、摆动相占比,以及支撑相中的着地期、支撑期和推进期占比;跑步的步态相期占比,包括:步态周期中的站立期和摆动期占比;跳跃的步态相期占比包括:步态周期中的蹬地期、腾空期和着地期占比;关键点时刻的运动速度为:
其中,和分别为采样点时刻和所对应的三维运动数据值;关键点时刻的运动加速度为:其中,和分别为采样点时刻和所对应的关键点运动速度;关键点时刻的运动急动度为:其中,和分别为采样点时刻和所对应的关键点运动加速度。
24.所述基于关节空间活动度的运动特征包括:胫踝平面与跟骨平面夹角,即,由胫骨隆粗-外踝-内踝构成的平面与跟骨背侧-跟骨外侧-跟骨内侧构成的平面之间的夹角;胫踝平面与外趾跖平面夹角,即,由胫骨隆粗-外踝-内踝构成的平面与趾骨5-跖骨5-跖骨1构成的平面之间的夹角;胫踝平面与内趾跖平面夹角,即,由胫骨隆粗-外踝-内踝构成的平面与趾骨1-跖骨1-跖骨5构成的平面之间的夹角;内外趾跖平面夹角,即,由趾骨1-跖骨1-跖骨5构成的平面与趾骨5-跖骨5-跖骨1构成的平面之间的夹角。
25.a6,分别对上述时空运动特征进行归一化处理,并建立多维时空特征矩阵和识别标签矩阵;本实施例中,为提高生成模型和鉴别模型的收敛速度和准确性,消除不同特征的量纲影响,运动特征计算单元还将上述每周期的每个特征分别归一化为[0,1]的值;其中,所采用的min-max归一化方法是将数据压缩到某一固定的取值范围内,让数据之间的数理单位保持一致。特征的min-max归一化定义为:其中,是归一化后的特征,是归一化前的特征,是特征的最大值,是特征的最小值。
[0026]
而后,将归一化处理后的时空运动特征与识别标签作为互相对偶的两个节点分别进行拼接,形成多维时空特征矩阵和识别标签矩阵,生成矩阵是为了将各维度的时空运动特征进行整合,以便于输入到后续模型中进行计算。
[0027]
运动特征增强模块12,用于构建对偶式生成对抗网络模型(dual generative adversarial networks,dualgan),利用所述时空运动特征小样本对构建的对偶式生成对抗网络模型进行训练,以得到用于生成多种场景下伪时空运动特征的运动特征增强模型;其中,生成的伪时空运动特征构成增强特征样本;本实施例中,所述对偶式生成对抗网络模型包括:以归一化处理后的时空运动特征与识别标签作为互相对偶的两个节点构建的两个任务目标相反的对偶式生成对抗网络和,每一个生成对抗网络包含一个生成器和一个判别器,两个生成器之间以镜像的形式连接为型网络结构;其中,和都表示生成器,和都表示判别器;生成器采用全卷积神经网络作为主干结构,用于根据时空运动特征小样本/识别标签生成识别标签/增强特征样本;判别器采用卷积层作为主干结构,用于将生成器所生成的识别标签/增强特征样本与真实的识别标签/时空运动特征小样本进行判别,根据判别结果与真实结果的梯度惩罚损失指导生成器增强特征样本的生成;其中,梯度惩罚损失是判别器的损失函数;在对偶式生成对抗网络的训练过程中,固定判别器的参数,生成器根据判别器的反馈优化其参数;判别器根据生成器最新生成的特征,进行参数的自更新;生成器和判别器进行反复迭代,直到生成的增强特征样本与真实的时空运动特征小样本相符,满足判别器要求为止。
[0028]
本实施例中,判别器和生成器的结构均为多层感知机,其参数是指每个神经元的权重和偏差。
[0029]
本实施例中,如图4所示,构建dualgan模型,形成一对任务目标相反的闭环反馈系统。该模型可以从未标记的特征中获得诊断结果(即:识别标签),然后利用这些诊断结果改进对偶任务中的机器学习模型。dualgan采用对偶的思想,训练过程中主要包含目标相反的两个任务,即:主任务和对偶任务;其中,主任务如下:真实的时空运动特征经过生成器得到生成的诊断结果,生成的诊断结果经过生成器得到生成的时空运动特征,生成的特征即为对原有的特征的一次重构,生成的诊断结果与真实的诊断结果共同输入判别器判断诊断结果的真伪,生成的时空运动特征与真实的时空运动特征经过判别器判断特征的真伪;对偶任务如下:真实的诊断结果经过生成器得到生成的时空运动特征,生成的时空运动特征输入生成器得到生成的诊断结果,生成的诊断结果与真实的诊断结果共同输入判别器判断诊断结果的真伪,生成的时空运动特征与真实的时空运动特征经过判别器判断特征的真伪。
[0030]
dualgan模型结构完成了特征域(即:特征集)和诊断结果域(即:结果集)的跨域转换,使得网络可以学习两个域之间的双向映射。dualgan由两个生成器和两个判别器构成。如4所示,使用生成器将属于域的真实特征转换为属于域的结果。判别
器评估诊断结果在域中的拟合程度,其中,是随机噪声。然后使用生成器将转换回域,输出作为的重构特征,其中,是随机噪声。类似地,属于域的真实结果被转换为,然后重构为。判别器以为正样本,为负样本进行训练;判别器以为正样本,为负样本进行训练。通过最小化两个重构误差和来对整体模型进行训练优化;其中,重构误差是生成器的损失函数。
[0031]
基于dualgan的运动特征增强算法流程具体如下:算法1中,表示特征域中的一条随机数据经生成器生成的识别标签;
表示结果域中与特征域所取的随机数据对应的数据;表示和所形成的重构标签;表示结果域中的一条随机数据经生成器生成的识别标签;表示特征域中与结果域所取的随机数据对应的数据;表示和所形成的重构标签。
[0032]
如图5所示,所述运动特征增强模块,还用于对真实的时空运动特征(真实特征)和增强特征构建频率直方图和散点图,直观描述真实的时空运动特征与增强特征的分布情况与线性回归关系,实现对运动特征增强模型生成的增强特征质量的定量、可视化评估。
[0033]
本实施例中,频率直方图不仅可以清晰地显示连续数据分布特征的统计分布情况,还可以将真实特征与生成特征直观形象地展示出来,由此更好地了解数据的分布情况。使用频率直方图便于清楚地观察到各组之间的频率分布情况,并分辨各组特征之间的频率差异。这里,频率直方图的横轴用于表示时空运动特征的取值范围区间,按照大小为0.1的组距共分为10组;纵轴用于表示频率密度,即频数与组距的比值;本实施例中,散点图则可更好地用于研究生成特征与真实特征之间的关系。散点图反映了因变量随自变量而变化的趋势,由该趋势可以选择合适的函数来拟合经验分布,从而发现各变量之间的函数关系。这里,数据散点图的横轴用于表示增强的时空运动特征,纵轴用于表示真实的时空运动特征;直线用于表示散点分布的线性回归拟合线。
[0034]
基分类器构建模块13,用于构建卷积长短时记忆(convolutional long short-term memory,convlstm)网络、时间卷积网络(temporal convolutional network,tcn)和长短时记忆全卷积网络(long short-term memory fully convolutional network,lstm-fcn),利用所述时空运动特征小样本与增强特征样本组成的训练集对构建的卷积长短时记忆网络、时间卷积网络和长短时记忆全卷积网络分别进行训练,得到用于识别慢性踝关节不稳的三种基分类器;本实施例中,如图6所示,构建的convlstm在输入到状态和状态到状态转换中应用了卷积结构来提取空间特征,同时在每个门中都添加了“窥视孔连接”用于监控细胞状态,以更好地捕捉时空相关性。图6中,sigma和tanh函数均为激活函数,ht-1、ht是上一时刻和这一时刻的隐含层的输出,ct-1、ct是旧单元和该单元状态,xt为当前时刻的输入。图6的工作流程为:第一步为遗忘。输入为ht-1、xt,输出为ft,1代表全部保留,0代表全部丢弃;第二部为输入。输入为ht-1、xt,输出为it、ct。通过sigma函数来决定更新哪些数据得到参数it,通过tanh函数来产生新的候选值向量ct加入单元状态中,之后对二者进行整合,并更新单元状态。
[0035]
第三步为更新。输入为ft、it、ct-1和ct,输出为ct,通过加法与乘法运算对单元状态进行更新。
[0036]
第四步为输出。输入为ht-1、xt,输出为ht。通过sigma函数确定单元状态的输出ot,并对单元状态ct进行tanh操作并于ot相乘,得到最终输出ht。
[0037]
本实施例中,convlstm网络的批处理大小为64,卷积核大小为1
×
3。convlstm使用交叉熵损失函数及adam优化器进行参数 (包括:输入输出尺寸、卷积核数目及大小、卷积步长等网络结构参数)学习,共进行300次训练迭代。从时空运动特征小样本
与增强特征样本组成的训练集中随机选取四分之一的数据作为验证集。将随机混洗后的真实特征和增强特征输入到convlstm中,convlstm的输出层采用softmax激活函数进行二分类识别,即,有/无慢性踝关节不稳;其中,convlstm的dropout层的dropout率为0.5)。
[0038]
本实施例中,基于convlstm的慢性踝关节不稳识别算法流程具体如下:本实施例中,构建的tcn使用残差模块来添加跨层连接的恒等映射,并采用卷积使两层特征通道数保持一致,使得tcn可以跨层传递信息且防止了梯度消失的发生。tcn使用全卷积结构以使tcn网络可以接受任意尺寸的输入,实现端到端的预测效果。
[0039]
本实施例中,tcn整体包括一个时间卷积模块和一个线性层。输入数据首先通过时间卷积模块,时间卷积模块包括两个一维卷积层,每个卷积层后使用了权重归一化来正则化网络,即从每个时间卷积模块之前的权重大小和方向重新耦合计算权重张量。数据在每层卷积后都进行了relu激活和dropout操作。最后进行残差连接,数据经过relu激活函数后通过线性变换输出预测结果;其中,当前时间卷积模块及线性层和下一时间卷积模块及线性层之间以残差模块相连接。
[0040]
本实施例中,tcn的学习率设置为0.001,dropout率设置为0.3,批处理大小设置为64,每一层的隐藏单元数为25,扩展系数随着网络深度的增加以2的次幂递增。在tcn的训练阶段混洗数据,采用交叉熵损失函数评估损失,adam优化器进行网络参数 包括:输入输出尺寸、卷积核数目及大小、卷积步长等网络结构参数)优化,网络共迭代训练100次。
[0041]
本实施例中,基于tcn的慢性踝关节不稳识别算法流程具体如下:
本实施例中,构建的lstm-fcn包括:全卷积块和lstm块;其中,全卷积块将时间序列视为具有多个时间步长的单变量时间序列;相反,lstm块通过维度混洗层将输入时间序列作为具有单个时间步长的多元时间序列。其中,全卷积块由三个叠加的时间卷积块组成,全卷积块的最后一层是全局平均池化层。lstm块由一个维度混洗层、2个通用lstm单元层和dropout层组成,用于接收输入的维度混洗层可以通过减少训练时间来提高lstm-fcn的效率。全局平均池化层和lstm块的输出被连接并传递到softmax分类层。
[0042]
在lstm-fcn的训练过程中,批处理大小设置为64。时间卷积块的滤波器尺寸分别设置为128、256和128。每个时间卷积块由一个时间卷积层和relu激活函数组成,并且进行了bn(动量为0.99,批量归一化为0.001)。lstm块有2个lstm单元层,每个lstm单元层有32个神经元,时间步长为1。lstm-fcn采用分类交叉熵损失函数和rmsprop算法进行参数 (包括:输入输出尺寸、卷积核数目及大小、卷积步长等网络结构参数)优化。训练数据中随机选取四分之一的数据作为验证集,共训练迭代300次。
[0043]
本实施例中,基于lstm-fcn的慢性踝关节不稳识别算法流程具体如下:
多分类器融合模块14,用于构建模型无关的元学习算法(model-agnostic meta-learning,maml),将三种基分类器运用堆叠法(stacking)进行集成学习,以所述时空运动特征小样本与增强特征样本组成训练集,利用k折交叉训练的方法对元学习(maml)模型进行训练,得到能够识别慢性踝关节不稳的多分类器融合模型。
[0044]
本实施例中,元学习模型包括:元学习器和基础学习器两大部分,其中,convlstm、tcn和lstm-fcn构成元学习模型的基础学习器。
[0045]
本实施例中,如图7所示,构建的maml模型使用元学习器来指导每个训练任务上convlstm、tcn、lstm-fcn基础学习器的训练,根据任务特性,给出参数初始值指导,提升慢性踝关节不稳识别任务的实现速度和精度。
[0046]
本实施例中,如图7所示,所述元学习器中的记忆模块包含阐述参数初始值和损失函数梯度值两个部分。在convlstm、tcn、lstm-fcn基础学习器的训练过程中,元学习器从记忆模块中提取最相关任务(指:convlstm、tcn、lstm-fcn基础学习器)的参数初始值,输入到基础学习器中,替换基分类器单独训练过程中所设置或随机设置的初始参数值;而后,每个基础学习器使用对应任务的训练数据进行模型训练,训练完成后,分别将其损失函数梯度值返回给元学习器,其中,每个任务的训练数据都是随机取自时空运动特征小样本与增强特征样本组成的训练集;最后,元学习器分别收集得到来自convlstm、tcn、lstm-fcn基础学习器的损失函数梯度值,并使用这些损失函数梯度值实时动态更新记忆模块中的参数初始值,从而为每个基础学习器提供最相关任务经验的最新参数初始值。
[0047]
本实施例中,在元学习模型的训练中,采用k折交叉训练的方法,从有标注样本中随机抽取任务数据集,形成k个训练任务,组成元训练集合;而后,基于得到的元训练集合,利用maml算法进行训练,获得元学习器和基础学习器,在获得元学习框架参数(指:
convlstm、tcn、lstm-fcn基础学习器的参数初始值)的同时,得到更多优化后的参数经验值供基础学习器选择,从而提高基分类器训练效率与识别精度,得到具有良好识别效果的多分类器融合模型,以实现慢性踝关节不稳的有效辅助诊断。
[0048]
本实施例中,k折交叉训练的步骤包括:
①ꢀ
将时空运动特征小样本与增强特征样本组成的原始训练集分为相等的k部分(即,k折);
②ꢀ
将第一部分作为测试集,其余k-1部分所为训练集;
③ꢀ
以k-1个训练集对模型进行训练,并计算模型在测试集上的准确率;
④ꢀ
以下一部分作为测试集,重复上述
②③
步骤k次;
⑤ꢀ
将平均准确率作为模型分类的最终准确率。
[0049]
本实施例中,综上,首先经过三种基分类器来分别得到对应的慢性踝关节不稳的分类预测值,然后通过堆叠法来进行集成学习来得到最终的分类预测值,这样,能够提高基分类器训练效率与识别精度,得到具有良好识别效果的多分类器融合模型,以实现慢性踝关节不稳的有效辅助诊断。
[0050]
综上,本实施提供了一种针对动态运动过程的慢性踝关节不稳智能辅助诊断系统,用于慢性踝关节不稳的临床辅助诊断。所涉及的自然行走、跑跳运动、左/右切运动和坡道及台阶运动多种场景下的实测三维空间坐标值来源于红外运动捕捉系统,经巴特沃斯低通滤波器降噪、步态周期自动分割和基于分段线性插值的步态周期内采样点数量标准化预处理后,针对不同场景计算行走、跑步和跳远三种基本步态的时空运动特征,并对每种时空运动特征分别进行min-max归一化处理;而后,分别以归一化处理后的时空运动特征与识别标签作为对偶的两个节点构建两个任务目标相反的对偶式生成对抗网络,以小样本真实时空运动特征与识别标签对对偶式生成对抗网络模型进行训练,获得大量增强特征样本,并构建频率直方图和散点直方图对真实的时空运动特征与增强特征的分布情况与线性回归关系进行可视化验证;最后,构建convlstm、tcn、lstm-fcn的三种基分类器,并构建maml,将上述三种基分类器运用堆叠法进行集成学习,以所述时空运动特征小样本与增强特征样本组成训练集,利用k折交叉训练的方法对元学习模型进行训练,从而提高基分类器训练效率与识别精度得到具有良好识别效果的多分类器融合模型,以实现慢性踝关节不稳的有效辅助诊断。
[0051]
本实施例的慢性踝关节不稳智能辅助诊断系统在为客观、精准、全面的踝关节稳定性智能评估提供必要技术支撑的同时,为骨科及运动医学科等相关科室的医生提供了一种针对踝关节动态性能的智能辅助评估手段。
[0052]
本实施例引入红外人体测量技术,利用“医学人工智能”前沿技术创新,将为基于动态性能分析的踝关节不稳辅助诊断系统构建提供可能,弥补传统临床诊断方法的不足,进一步提升现有踝关节不稳临床诊疗的智能化、精准化水平。
[0053]
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。