模型训练方法、装置、电子设备、介质以及骨量检测系统与流程

1.本公开涉及数据处理技术领域，具体涉及一种模型训练方法、装置、电子设备、介质以及骨量检测系统。


背景技术：

2.骨质疏松症诊断设备的缺乏是造成目前骨质疏松症诊治率低、骨质疏松性骨折发生率高的重要原因之一。骨质疏松症的“金标准”诊断设备为双能x线骨密度仪(dual-energy x-ray absorptiometry,dxa)，由于造价昂贵、检测费用高及存在一定辐射等原因无法大范围应用，在基层医疗机构难以普及。
3.定量超声(quantitative ultrasound,qus)是目前广泛应用的骨质疏松症筛查设备之一，具有造价低、检测费用低、检测用时短和无辐射的特点，其工作原理是利用超声在不同成分的骨质中传播的速度和衰减不同来检测骨质量。目前，临床上常用的qus设备通过向骨发射并接收超声射频(radio-frequency,rf)信号，记录发射波和接受波的时间差，计算超声在骨中传输的声速值(speed of sound,sos)，以此作为输出指标。由于sos值与骨密度值有一定的相关性，因此理论上，qus能够对骨强度进行评估。大量的研究证实，目前利用sos值的qus技术对骨质疏松症的检测结果与dxa一致性不足，目前关于基于sos的qus能否用于骨质疏松症筛查诊断及脆性骨折风险评估仍存在争议。


技术实现要素：

4.为了解决相关技术中的问题，本公开实施例提供一种模型训练方法、装置、电子设备、介质以及骨量检测系统。
5.第一方面，本公开实施例中提供了一种模型训练方法。
6.具体地，所述模型训练方法，包括：
7.获取第一样本数据，所述第一样本数据包括通过超声采集于人体骨骼的第一多通道时间序列数据；
8.获取与所述第一多通道时间序列数据对应的采集对象的骨量标签；
9.基于所述第一样本数据和所述骨量标签训练多通道卷积神经网络模型，
10.其中，所述多通道卷积神经网络模型包括多个卷积路径，所述第一多通道时间序列数据中不同通道的时间序列数据进入所述多通道卷积神经网络模型的不同的卷积路径。
11.结合第一方面，本公开在第一方面的第一种实现方式中，所述获取第一样本数据包括以下任意一种：
12.控制一个发射换能器向人体骨骼发射第一超声波信号，两个或更多个接收换能器从人体骨骼接收由所述第一超声波信号生成的第二超声波信号，基于接收的所述第二超声波信号确定所述第一多通道时间序列数据；
13.控制两个或更多个发射换能器向人体骨骼发射第一超声波信号，一个接收换能器从人体骨骼接收由所述第一超声波信号生成的第二超声波信号，基于接收的所述第二超声
波信号确定所述第一多通道时间序列数据；或者
14.控制两个或更多个发射换能器向人体骨骼发射第一超声波信号，两个或更多个接收换能器从人体骨骼接收由所述第一超声波信号生成的第二超声波信号，基于接收的所述第二超声波信号确定多通道时间序列数据，
15.可选地，所述第一超声波信号或第二超声波信号为超声射频信号。
16.结合第一方面的第一种实现方式，本公开在第一方面的第二种实现方式中，所述获取第一样本数据包括控制两个发射换能器向人体骨骼发射第一超声波信号，两个接收换能器从人体骨骼接收第二超声波信号，基于接收的所述第二超声波信号确定四通道时间序列数据，所述多通道卷积神经网络包括具有四个卷积路径的卷积神经网络。
17.结合第一方面，本公开在第一方面的第三种实现方式中：
18.每个所述卷积路径包括8个卷积层；
19.每个所述卷积层设置8个长度为5的卷积核；
20.每个所述卷积层采用修正线性单元作为激活函数；以及/或者
21.每个所述卷积层后设置长度为2的池化层，所述池化层采用最大池化层。
22.结合第一方面、第一方面的第一种至第三种实现方式，本公开在第一方面的第四种实现方式中，所述多通道卷积神经网络模型还包括全连接层，其中：
23.所述全连接层连接于所述多个卷积路径融合后的末端；
24.所述全连接层具有700-750个神经元；
25.所述全连接层采用修正线性单元作为激活函数。
26.结合第一方面的第四种实现方式，本公开在第一方面的第五种实现方式中，所述多通道卷积神经网络模型还包括输出层，其中：
27.所述输出层连接至所述全连接层；
28.所述输出层包括柔性最大值函数，用于输出第一骨量信息；
29.所述骨量标签包括正常骨量、骨量降低和骨质疏松。
30.结合第一方面、第一方面的第一种至第三种实现方式，本公开在第一方面的第六种实现方式中，所述第一多通道时间序列数据包括在5～50秒的时间长度内采集的数据，所述第一多通道时间序列数据在经过如下预处理后用于训练：
31.使用八阶低通滤波器处理所述第一多通道时间序列数据；以及/或者将所述第一多通道时间序列数据缩放到均值为0，方差为1的分布中。
32.结合第一方面、第一方面的第一种至第三种实现方式，本公开在第一方面的第七种实现方式中，所述多通道卷积神经网络模型采用多分类交叉熵作为损失函数进行模型训练。
33.结合第一方面、第一方面的第一种至第三种实现方式，本公开在第一方面的第八种实现方式中，所述人体骨骼包括桡骨。
34.第二方面，本公开实施例提供了一种骨量信息获取方法。
35.具体地，所述骨量信息获取方法包括：
36.获取第二样本数据，所述第二样本数据包括通过超声采集于人体骨骼的第二多通道时间序列数据；
37.基于所述第二样本数据通过多通道卷积神经网络模型获取第二骨量信息，
38.其中，所述多通道卷积神经网络模型包括多个卷积路径，第二多通道时间序列数据中不同通道的时间序列数据进入所述多通道卷积神经网络模型的不同的卷积路径。
39.结合第二方面，本公开在第二方面的第一种实现方式中，所述人体骨骼包括桡骨。
40.结合第二方面，本公开在第二方面的第二种实现方式中，所述多通道卷积神经网络模型采用如第一方面、第一方面的第一种至第八种实现方式中任一项所述的方法进行训练。
41.第三方面，本公开实施例中提供了一种模型训练装置。
42.具体地，所述模型训练装置包括：
43.第一获取模块，被配置为获取第一样本数据，所述第一样本数据包括通过超声采集于人体骨骼的第一多通道时间序列数据；
44.第二获取模块，被配置为获取与所述第一多通道时间序列数据对应的采集对象的骨量标签；
45.训练模块，被配置为基于所述第一样本数据和所述骨量标签训练多通道卷积神经网络模型，
46.其中，所述多通道卷积神经网络模型包括多个卷积路径，所述第一多通道时间序列数据中不同通道的时间序列数据进入所述多通道卷积神经网络模型的不同的卷积路径。
47.结合第三方面，本公开在第三方面的第一种实现方式中，所述获取第一样本数据包括以下任意一种：
48.控制一个发射换能器向人体骨骼发射第一超声波信号，两个或更多个接收换能器从人体骨骼接收由所述第一超声波信号生成的第二超声波信号，基于接收的所述第二超声波信号确定所述第一多通道时间序列数据；
49.控制两个或更多个发射换能器向人体骨骼发射第一超声波信号，一个接收换能器从人体骨骼接收由所述第一超声波信号生成的第二超声波信号，基于接收的所述第二超声波信号确定所述第一多通道时间序列数据；或者
50.控制两个或更多个发射换能器向人体骨骼发射第一超声波信号，两个或更多个接收换能器从人体骨骼接收由所述第一超声波信号生成的第二超声波信号，基于接收的所述第二超声波信号确定多通道时间序列数据，
51.可选地，所述第一超声波信号或第二超声波信号为超声射频信号。
52.结合第三方面的第一种实现方式，本公开在第三方面的第二种实现方式中，所述获取第一样本数据包括控制两个发射换能器向人体骨骼发射第一超声波信号，两个接收换能器从人体骨骼接收第二超声波信号，基于接收的所述第二超声波信号确定四通道时间序列数据，所述多通道卷积神经网络包括具有四个卷积路径的卷积神经网络。
53.结合第三方面，本公开在第三方面的第三种实现方式中：
54.每个所述卷积路径包括8个卷积层；
55.每个所述卷积层设置8个长度为5的卷积核；
56.每个所述卷积层采用修正线性单元作为激活函数；以及/或者
57.每个所述卷积层后设置长度为2的池化层，所述池化层采用最大池化层。
58.结合第三方面、第三方面的第一种至第三种实现方式，本公开在第三方面的第四种实现方式中，所述多通道卷积神经网络模型还包括全连接层，其中：
59.所述全连接层连接于所述多个卷积路径融合后的末端；
60.所述全连接层具有700-750个神经元；以及/或者
61.所述全连接层采用修正线性单元作为激活函数。
62.结合第三方面的第四种实现方式，本公开在第三方面的第五种实现方式中，所述多通道卷积神经网络模型还包括输出层，其中：
63.所述输出层连接至所述全连接层；
64.所述输出层包括柔性最大值函数，用于输出第一骨量信息；以及/或者所述骨量标签包括正常骨量、骨量降低和骨质疏松。
65.结合第三方面、第三方面的第一种至第三种实现方式，本公开在第三方面的第六种实现方式中，所述第一多通道时间序列数据包括在5～50秒的时间长度内采集的数据，所述第一多通道时间序列数据在经过如下预处理后用于训练：
66.使用八阶低通滤波器处理所述第一多通道时间序列数据；以及/或者将所述第一多通道时间序列数据缩放到均值为0，方差为1的分布中。
67.结合第三方面、第三方面的第一种至第三种实现方式，本公开在第三方面的第七种实现方式中，所述多通道卷积神经网络模型采用多分类交叉熵作为损失函数进行模型训练。
68.结合第三方面、第三方面的第一种至第三种实现方式，本公开在第三方面的第八种实现方式中，所述人体骨骼包括桡骨。
69.第四方面，本公开实施例提供了一种骨量信息获取装置。
70.具体地，该骨量信息获取装置包括：
71.第三获取模块，被配置为获取第二样本数据，所述第二样本数据包括通过超声采集于人体骨骼的第二多通道时间序列数据；
72.第四获取模块，被配置为基于所述第二样本数据通过多通道卷积神经网络模型获取第二骨量信息，
73.其中，所述多通道卷积神经网络模型包括多个卷积路径，第二多通道时间序列数据中不同通道的时间序列数据进入所述多通道卷积神经网络模型的不同的卷积路径。
74.结合第四方面，本公开在第四方面的第一种实现方式中，所述人体骨骼包括桡骨。
75.结合第四方面，本公开在第四方面的第二种实现方式中，所述多通道卷积神经网络模型采用如第一方面、第一方面的第一种至第八种实现方式中任一项所述的方法进行训练。
76.第五方面，本公开实施例提供了一种电子设备，包括存储器和处理器，其中，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行以实现如第一方面、第一方面的第一种至第八种实现方式、第二方面、第二方面的第一种或第二种实现方式中任一项所述的方法。
77.第六方面，本公开实施例中提供了一种计算机可读存储介质，其上存储有计算机指令，该计算机指令被处理器执行时实现如第一方面、第一方面的第一种至第八种实现方式、第二方面、第二方面的第一种或第二种实现方式中任一项所述的方法。
78.第七方面，本公开实施例中提供了一种骨量检测系统。
79.具体地，所述骨量检测系统包括：
80.可穿戴部件，用于通过超声采集人体骨骼的多通道时间序列数据，并将所述多通道时间序列数据发送到数据处理设备；
81.数据处理设备，包括存储器和处理器；其中，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行以实现如第一方面、第一方面的第一种至第八种实现方式、第二方面或第二方面的第一种或第二种实现方式中任一项所述的方法。
82.结合第七方面，本公开在第七方面的第一种实现方式中，所述人体骨骼包括桡骨。
83.结合第七方面，本公开在第七方面的第二种实现方式中，所述可穿戴部件包括固定结构和包括多个超声换能器的检测模块，其中，所述固定结构上包括容纳槽，所述检测模块可拆卸地安装于所述容纳槽中，所述超声换能器用于产生超声射频信号。
84.结合第七方面的第二种实现方式，本公开在第七方面的第三种实现方式中，所述检测模块包括沿直线排布的4个所述超声换能器，间距分别为10mm、15mm、10mm。
85.结合第七方面的第二种或第三种实现方式，本公开在第七方面的第四种实现方式中，所述多个超声换能器以35
°
～45
°
倾角设置于所述检测模块中。
86.结合第七方面的第二种实现方式，本公开在第七方面的第五种实现方式中，所述超声换能器包括压电阵元模块，所述压电阵元模块通过如下方法制得：
87.在pzt 1-3复合材料的上下表面溅射电极；
88.在经溅射电极的pzt 1-3复合材料的一个表面设置匹配层；
89.对处理后的pzt 1-3复合材料进行阵元分割并划分电极。
90.结合第七方面的第五种实现方式，本公开在第七方面的第六种实现方式中，所述pzt 1-3复合材料通过如下方法制得：
91.对pzt压电陶瓷横纵切割；
92.在切缝中填充环氧树脂；
93.待所述环氧树脂固化后，双面研磨至目标厚度，
94.其中，切割间距为0.4mm，切缝宽度0.1142mm，所述目标厚度为1.6mm。
95.根据本公开实施例提供的技术方案，通过获取第一样本数据，所述第一样本数据包括通过超声采集于人体骨骼的第一多通道时间序列数据；获取与所述第一多通道时间序列数据对应的采集对象的骨量标签；基于所述第一样本数据和所述骨量标签训练多通道卷积神经网络模型，其中，所述多通道卷积神经网络模型包括多个卷积路径，所述第一多通道时间序列数据中不同通道的时间序列数据进入所述多通道卷积神经网络模型的不同的卷积路径，从而能够训练出用于获取骨量信息的模型，该模型在获取骨量信息方面具有较好的识别能力。
96.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
97.结合附图，通过以下非限制性实施方式的详细描述，本公开的其它特征、目的和优点将变得更加明显。在附图中：
98.图1示出根据本公开实施例的模型训练方法的流程图；
99.图2示出根据本公开实施例的采集超声射频信号的示意图；
100.图3和图4示出根据本公开实施例的基于时间序列数据绘制的波形的示意图；
101.图5示出根据本公开实施例的多通道卷积神经网络模型的结构示意图；
102.图6示出根据本公开实施例的模型训练装置的框图；
103.图7示出根据本公开实施例的骨量信息获取装置的框图；
104.图8示出根据本公开实施例的电子设备的框图；
105.图9示出适于实现根据本公开实施例的方法和装置的计算机系统的结构示意图；
106.图10～图12示出根据本公开实施例的可穿戴部件的示意图；
107.图13示出根据本公开实施例的超声换能器在可穿戴部件中的排布示意图；以及
108.图14和图15分别示出根据本公开实施例的pzt 1-3复合材料的俯视图和侧视图。
具体实施方式
109.下文中，将参考附图详细描述本公开的示例性实施例，以使本领域技术人员可容易地实现它们。此外，为了清楚起见，在附图中省略了与描述示例性实施例无关的部分。
110.在本公开中，应理解，诸如“包括”或“具有”等的术语旨在指示本说明书中所公开的特征、数字、步骤、行为、部件、部分或其组合的存在，并且不欲排除一个或多个其他特征、数字、步骤、行为、部件、部分或其组合存在或被添加的可能性。
111.另外还需要说明的是，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本公开。
112.本发明人了解到目前基于sos的qus诊断骨质疏松症的方法总准确率0.435，宏精准率0.435，宏召回率0.438，宏f1分数0.436，微f1分数0.435，准确率低，仅能用于女性骨质疏松症的初步筛查。
113.超声射频信号是超声成像中未经处理的原始数据的标准形式，rf信号在骨科领域中的应用价值需要进一步探讨，以提高检测效能。
114.深度学习作为近年来人工智能领域的热门分支，具有强大的特征提取能力，能够从数据中提取到具有辨识度的特征，并加以分析、利用。受深度学习在心电、脑电、语音处理等一维数据领域的优秀成果启发，本技术提出了使用多通道卷积神经网路(multi-channel convolutional neural network,mcnn)对qus设备获取到的rf信号源数据进行分析，对受试者的骨量进行分类。
115.与传统卷积神经网络(convolutional neural network,cnn)基于多通道数据共同输入堆叠卷积块的模型不同，虽然传统cnn能够对数据提取特征，得到不同通道数据的特征图或特征向量，但是对于不同通道，cnn是共享权重的，并不能很好地捕捉不同通道数据之间的差异性以及它们之间的相关性。针对以上不足，本发明人提出了融入多通道机制的mcnn，并采取了特征级融合的策略，即将不同通道信号分别输入卷积层提取特征后，将各通道输出的特征向量进行拼接，再输入全连接层进行分类处理，该模型在获取骨量信息方面具有较好的识别能力。
116.图1示出根据本公开的实施例的模型训练方法的流程图。如图1所示，所述模型训练方法包括以下步骤s110～s130：
117.在步骤s110中，获取第一样本数据，所述第一样本数据包括通过超声采集于人体
骨骼的第一多通道时间序列数据；
118.在步骤s120中，获取与所述第一多通道时间序列数据对应的采集对象的骨量标签；
119.在步骤s130中，基于所述第一样本数据和所述骨量标签训练多通道卷积神经网络模型，
120.其中，所述多通道卷积神经网络模型包括多个卷积路径，所述第一多通道时间序列数据中不同通道的时间序列数据进入所述多通道卷积神经网络模型的不同的卷积路径。
121.根据本公开实施例提供的技术方案，通过获取第一样本数据，所述第一样本数据包括通过超声采集于人体骨骼的第一多通道时间序列数据；获取与所述第一多通道时间序列数据对应的采集对象的骨量标签；基于所述第一样本数据和所述骨量标签训练多通道卷积神经网络模型，其中，所述多通道卷积神经网络模型包括多个卷积路径，所述第一多通道时间序列数据中不同通道的时间序列数据进入所述多通道卷积神经网络模型的不同的卷积路径，能够训练出用于获取骨量信息的模型，该模型在获取骨量信息方面具有较好的识别能力。
122.根据本公开实施例，发射换能器发射的脉冲形式的超声波在人体组织中传播，并产生侧波和反射波，被接收换能器接收，转换为电信号进行输出，此信号即为超声射频信号。超声射频信号中包含有所有振幅、频率及相位信息，即大量的声场和组织相互作用、微结构特征的信息。该超声射频信号表现为时间序列数据，即包括各个时刻接收到的实时信号值的序列数据，例如，{128,132,140,148,157,165,
……
}。
123.根据本公开实施例，该人体骨骼例如可以包括桡骨、胫骨或根骨等，优选地，可以选择桡骨。该超声射频信号可以采集于人体非优势侧桡骨的远端1/3处。桡骨为易暴露部位，且对骨质代谢较为敏感，并且也是重要的骨质疏松性骨折部位之一，将其作为诊断部位具备大范围推广的基础条件。桡骨远端1/3处用于脆性骨折风险的评估，特别是髋部骨折，效果较好。非优势侧由于使用较少，受到的其他影响因素较少，有利于反应人体骨骼整体的实际情况。当然，在非优势侧存在骨折等状况的情况下，也可以采用优势侧的桡骨进行测量。
124.根据本公开实施例，所述获取第一样本数据包括以下任意一种：
125.控制一个发射换能器向人体骨骼发射第一超声波信号，两个或更多个接收换能器从人体骨骼接收第二超声波信号，基于接收的第二超声波信号确定所述第一多通道时间序列数据，例如，由发射换能器a1发射的第一超声射频信号经人体骨骼传播后产生第二超声波信号，分别被接收换能器b1、b2、b3接收，产生三路信号，即三通道时间序列数据；
126.控制两个或更多个发射换能器向人体骨骼发射第一超声波信号，一个接收换能器从人体骨骼接收第二超声波信号，基于接收的第二超声波信号确定所述第一多通道时间序列数据，例如，由发射换能器a1、a2、a3发射的第一超声射频信号经人体骨骼传播后产生第二超声波信号，分别被接收换能器b1接收，产生三通道时间序列数据；或者
127.控制两个或更多个发射换能器向人体骨骼发射第一超声波信号，两个或更多个接收换能器从人体骨骼接收第二超声波信号，基于接收的第二超声波信号确定多通道时间序列数据，例如，存在发射换能器a1、a2、a3和接收换能器b1、b2，可以产生a1-b1、a1-b2、a2-b1、a2-b2、a3-b1、a3-b2六通道时间序列数据。
128.通过多通道时间序列数据，能够获得更加丰富的骨骼状况，有利于提高骨量识别能力。
129.可选地，如图2所示，可以在检测设备上设置两个发射换能器和两个接收换能器。该获取第一样本数据包括控制两个发射换能器向人体骨骼发射第一超声波信号，两个接收换能器从人体骨骼接收第二超声波信号，基于接收的第二超声波信号确定四通道时间序列数据，所述多通道卷积神经网络包括具有四个卷积路径的卷积神经网络。表1示意性地示出了一个单位时间内的四通道时间序列数据。
130.表1四通道时间序列数据
[0131][0132]
根据本公开实施例，所述第一多通道时间序列数据包括在5～50秒的时间长度内采集的数据。可选地，采集时间可以为30～40秒，例如38秒。
[0133]
根据本公开实施例。可以对一个受试者采集200个单位时间的超声射频数据，每个单位时间可以包括1024个时刻的数据。图3示意性地示出了约38秒内采集的200个时间单位共计204800个时刻的一个通道时间序列数据所形成的波形图。为了清楚地展示其细节信息，取其中一个时间单位示例性波形图如图4所示。应当了解的是，图3和图4仅仅是为了更加直观地展示时间序列数据，在实际应用中，并非按照图像的形式输入神经网络模型，仍然是以数值序列的形式进行输入。
[0134]
根据本公开实施例，所述骨量标签例如可以包括正常骨量、骨量降低和骨质疏松，训练用第一样本数据的骨量标签可以通过dxa方法获得。骨量降低的标签有利于对骨量风险进行提示。当然，也可以将正常骨量、骨量降低合并为非骨质疏松，作为一类进行处理，合并后的标签可以直接地区分骨质疏松或非骨质疏松。
[0135]
根据本公开实施例提供的技术方案，通过骨量标签包括正常骨量、骨量降低或者骨质疏松，能够训练出用于获取骨量信息的模型，该模型在获取骨量信息方面具有较好的识别能力。
[0136]
根据本公开实施例，所述第一多通道时间序列数据在经过如下预处理后用于训练：
[0137]
使用八阶低通滤波器处理所述第一多通道时间序列数据；以及/或者将所述第一多通道时间序列数据缩放到均值为0，方差为1的分布中。
[0138]
根据本公开实施例，由于对数据进行频谱分析后，结果显示信号的信息大部分集中于低频段，因此利用低通滤波器，尽可能减小噪声对实验的影响，本公开实施例使用了八阶低通滤波器对rf信号序列数据进行处理。
[0139]
根据本公开实施例，可以将数据缩放到了均值为0，方差为1的分布中，以提高模型的运算效率。
[0140]
图5示出根据本公开实施例的多通道卷积神经网络模型的结构示意图。
[0141]
如图5所示，多通道卷积神经网络模型中的多个卷积路径用于对应地接收多个通道的时间序列数据，此处示出了四个通道，但本公开实施例并不以此为限。
[0142]
根据本公开实施例，每个卷积路径的结构是相似或相同的。例如，每个卷积路径可以包括8个卷积层；每个卷积层可以设置8个长度为5的卷积核。卷积层的卷积操作能够实现特征的提取，得到特征向量。
[0143]
对于第k卷积路径的数据，第l层卷积层输出的特征向量y
l
(m,j＝k)，可以表示为：
[0144][0145]
其中，i表示数据时间维度的总长度，表示输入，w
l
和b
l
分别表示卷积层的权重参数和偏差值。
[0146]
根据本公开实施例，每个卷积层可以采用修正线性单元(rectified linear unit,relu)作为激活函数，形成激活层。relu激活函数则是判定每个神经元的输出是否达到阈值，即数据某一部分的特征强度是否达到一定标准，若没有达到，即置0，表明该数据部分提取的特征对分类没有明显作用，因此不输出这些特征，以提高网络的稀疏性，减少参数之间的相互依赖关系，一定程度缓解了过拟合的发生；而且relu能够降低网络的计算量。
[0147]
根据本公开实施例，每个卷积层后可以设置长度为2的池化层，该池化层例如可以采用最大池化层。池化层可以实现下采样操作，对输入的特征向量进行压缩，一方面使特征向量缩短，简化模型计算复杂度；另一方面进行特征压缩，提取主要特征。
[0148]
根据本公开实施例，所述全连接层连接于所述多个卷积路径融合后的末端。所述多个卷积路径的末端，例如最后一个卷积连接的池化层，不同卷积路径输出的结果之间进行拼接，输入至全连接层，全连接层后设置输出层。
[0149]
根据本公开实施例，所述全连接层可以具有700-750个神经元，例如可以设置全连接层的神经元数量为732个；全连接层可以采用修正线性单元作为激活函数。
[0150]
提取完特征后，每个卷积路径的特征向量zj延通道轴拼接，并输入具有732个神经元和激活函数为relu的全连接层，可表示为：
[0151][0152]
zj＝{y8(1,j),y8(2,j),
…
,y8(m,j),
…
,y8(m,j)}
ꢀꢀꢀ
#(3)
[0153]
m表示zj的长度，fn表示第n个神经元的输出，w和bn分别表示全连接层的权重参数和偏差值。
[0154]
根据本公开实施例，输出层可以包括柔性最大值函数(softmax)，用于输出第一骨量信息；输出层可以具有三个神经元，分别对应正常骨量、骨量降低和骨质疏松的骨量标签。
[0155]
根据本公开实施例，所述多通道卷积神经网络模型采用多分类交叉熵(categorical cross-entropy)作为损失函数进行模型训练。多分类交叉熵如下式所示：
[0156][0157]
其中，表示预期的期望概率，po表示模型的预测概率。
[0158]
模型参数优化过程包含前馈传播、反向传播以及梯度更新。首先，通过前馈传播计算特征向量，直到得到输出。其次，获取输出预测概率时，利用损失函数计算误差，再使用导数的链式法则实现误差的反向传播，计算出模型各参数的导数。最后，利用随机梯度下降优化器来更新反向传播中的模型参数的导数，以最小化损失函数，获得最佳的模型性能表现。
[0159]
本发明人经过大量实验发现，通过以上神经网络结构和参数的配置，能够实现较好的分类效果。
[0160]
本公开实施例训练与测试实验使用的是qus设备采集的70例rf信号源数据。本数据共包含23名骨质疏松患者、24名骨量降低患者和23名健康对照组，受试者皆为在dxa检查后，具有1个或以上的骨质疏松症危险因素。数据采集所使用超声骨密度仪能同时采集四个通道的rf信号。本实验中，我们取每位受试者连续200个时间单位的数据，每个时间单位采集到的单通道数据为1024个，记录的数据是实时信号值大小，在0-255的范围内。由于设备原因，每个时间单位采集到的单通道数据第一位出现异常，因此预处理将其删除。
[0161]
根据本公开实施例，可以将经过上文所述的各种预处理后的数据划分为训练集、验证集和测试集，比例例如可以是5:1:1，其中训练集被输入到模型中进行训练。验证集用于指导训练过程，测试集用于评价模型的性能。最终得到的结果如表2所示。
[0162]
表2
[0163][0164]
由表2可知，本公开实施例的桡骨qus-rf信号和mcnn模型用于处理骨质疏松的判定效能全面优于桡骨qus-sos方法。
[0165]
分析原因，目前的qus设备的仅能利用超声rf信号计算sos值作为唯一特征值，导
致判定效能较差，本公开实施例中提出的基于mcnn的深度学习方法，利用其特征提取、学习能力，从rf信号中提取大量具有生物信息的特征值，产生更好的分类性能。由于直接提取超声rf信号大量特征值分析，结果受其它因素影响较小，这也可以尽可能减少操作者、采集位点以及骨骼和超声探头的相对位置等操作因素对骨质疏松症判定的影响。进而，由于只需要从桡骨单位点采集数据就可获得良好的性能表现，这项技术可以与便携式可穿戴设备相结合，向群众推广，更好地实现对骨量减少、骨质疏松人群的针对性监测与预防。
[0166]
另外，目前的qus设备参数计算方式均是基于固定物理模型，受检者不同体型、检查者不同操作方式均会导致结果差异性较大，而本公开实施例利用深度学习的方法，随着收集数据增多可以通过半监督学习不断优化诊断模型。
[0167]
本公开实施例还提供了一种骨量信息获取方法，包括：
[0168]
获取第二样本数据，所述第二样本数据包括通过超声采集于人体骨骼的第二多通道时间序列数据；
[0169]
基于所述第二样本数据通过多通道卷积神经网络模型获取第二骨量信息，
[0170]
其中，所述多通道卷积神经网络模型包括多个卷积路径，第二多通道时间序列数据中不同通道的时间序列数据进入所述多通道卷积神经网络模型的不同的卷积路径。
[0171]
根据本公开实施例，该多通道卷积神经网络模型可以通过如图1～图5所描述的模型训练方法进行训练。
[0172]
根据本公开实施例，第二样本数据与第一样本数据通过相同的采集方式，并具有相同的数据形式，只是在该骨量信息获取方法中，骨量标签是未知的，通过经过训练的多通道卷积神经网络模型输出骨量标签。
[0173]
根据本公开实施例，该方法还可以包括，确定多通道卷积神经网络模型输出的骨量标签的置信度，在该置信度高于特定阈值的情况下，使用第二样本数据和输出的骨量标签进一步训练所述多通道卷积神经网络模型，从而可以通过半监督学习的方法，在实际应用过程不断优化该多通道神经网络模型。
[0174]
图6示出根据本公开实施例的模型训练装置的框图。其中，该装置可以通过软件、硬件或者两者的结合实现成为电子设备的部分或者全部。
[0175]
如图6所示，所述模型训练装置600包括第一获取模块610、第二获取模块620和训练模块630。
[0176]
第一获取模块610，被配置为获取第一样本数据，所述第一样本数据包括通过超声采集于人体骨骼的第一多通道时间序列数据；
[0177]
第二获取模块620，被配置为获取与所述第一多通道时间序列数据对应的采集对象的骨量标签；
[0178]
训练模块630，被配置为基于所述第一样本数据和所述骨量标签训练多通道卷积神经网络模型，
[0179]
其中，所述多通道卷积神经网络模型包括多个卷积路径，所述第一多通道时间序列数据中不同通道的时间序列数据进入所述多通道卷积神经网络模型的不同的卷积路径。
[0180]
根据本公开实施例提供的技术方案，通过第一获取模块，被配置为获取第一样本数据，所述第一样本数据包括通过超声采集于人体骨骼的第一多通道时间序列数据；第二获取模块，被配置为获取与所述第一多通道时间序列数据对应的采集对象的骨量标签；训
练模块，被配置为基于所述第一样本数据和所述骨量标签训练多通道卷积神经网络模型，其中，所述多通道卷积神经网络模型包括多个卷积路径，所述第一多通道时间序列数据中不同通道的时间序列数据进入所述多通道卷积神经网络模型的不同的卷积路径，能够训练出用于获取骨量信息的模型，该模型用于获取骨量信息具有较好的灵敏度和特异度。
[0181]
根据本公开实施例，所述获取第一样本数据包括以下任意一种：
[0182]
控制一个发射换能器向所述人体骨骼发射第一超声波信号，两个或更多个的接收换能器从所述人体骨骼接收由所述第一超声波信号生成的第二超声波信号，基于接收的所述第二超声波信号确定所述第一多通道时间序列数据；
[0183]
控制两个或更多个的发射换能器向所述人体骨骼发射第一超声波信号，一个接收换能器从所述人体骨骼接收由所述第一超声波信号生成的第二超声波信号，基于接收的所述第二超声波信号确定所述第一多通道时间序列数据；或者
[0184]
控制两个或更多个的发射换能器向所述人体骨骼发射第一超声波信号，两个或更多个的接收换能器从所述人体骨骼接收由所述第一超声波信号生成的第二超声波信号，基于接收的所述第二超声波信号确定所述第一多通道时间序列数据，
[0185]
其中，所述第一超声波信号或第二超声波信号为超声射频信号。
[0186]
根据本公开实施例，所述获取第一样本数据包括控制两个发射换能器向所述人体骨骼发射第一超声波信号，两个接收换能器从所述人体骨骼接收第二超声波信号，基于接收的第二超声波信号确定四通道时间序列数据，其中，所述多通道卷积神经网络包括具有四个通道的卷积神经网络。
[0187]
根据本公开实施例，每个所述卷积路径包括8个卷积层。
[0188]
根据本公开实施例，每个所述卷积层设置8个长度为5的卷积核。
[0189]
根据本公开实施例，每个所述卷积层采用修正线性单元作为激活函数。
[0190]
根据本公开实施例，每个所述卷积层后设置长度为2的池化层，所述池化层采用最大池化层。
[0191]
根据本公开实施例，所述多通道卷积神经网络模型还包括全连接层，其中：
[0192]
所述全连接层连接于所述多个卷积路径融合后的末端；
[0193]
所述全连接层具有700-750个神经元；以及/或者
[0194]
所述全连接层采用修正线性单元作为激活函数。
[0195]
根据本公开实施例，所述多通道卷积神经网络模型还包括输出层，其中：
[0196]
所述输出层连接至所述全连接层；
[0197]
所述输出层包括柔性最大值函数，用于输出第一骨量信息；以及/或者所述骨量标签包括正常骨量、骨量降低和骨质疏松。
[0198]
根据本公开实施例，所述第一多通道时间序列数据包括在5～50秒的时间长度内采集的数据，所述第一多通道时间序列数据在经过如下预处理后用于训练：
[0199]
使用八阶低通滤波器处理所述第一多通道时间序列数据；以及/或者将所述第一多通道时间序列数据缩放到均值为0，方差为1的分布中。
[0200]
根据本公开实施例，所述第一多通道卷积神经网络模型采用多分类交叉熵作为损失函数进行模型训练。
[0201]
根据本公开实施例，所述人体骨骼包括桡骨。
[0202]
图7示出根据本公开实施例的骨量信息获取装置的框图。其中，该装置可以通过软件、硬件或者两者的结合实现成为电子设备的部分或者全部。
[0203]
如图7所示，所述骨量信息获取装置700包括第三获取模块710和第四获取模块720。
[0204]
第三获取模块710，被配置为获取第二样本数据，所述第二样本数据包括通过超声采集于人体骨骼的第二多通道时间序列数据；
[0205]
第四获取模块720，被配置为基于所述第二样本数据通过多通道卷积神经网络模型获取第二骨量信息，
[0206]
其中，所述多通道卷积神经网络模型包括多个卷积路径，第二多通道时间序列数据中不同通道的时间序列数据进入所述多通道卷积神经网络模型的不同的卷积路径。
[0207]
根据本公开实施例，所述人体骨骼包括桡骨，该多通道卷积神经网络模型可以通过如图1～图5所描述的模型训练方法进行训练。
[0208]
本公开还公开了一种电子设备，图8示出根据本公开的实施例的电子设备的结构框图。
[0209]
如图8所示，所述电子设备800包括存储器801和处理器802，其中，所述存储器801用于存储支持电子设备执行上述任一实施例中的模型训练方法或骨量信息获取方法的程序，所述处理器802被配置为用于执行所述存储器801中存储的程序。
[0210]
根据本公开实施例，所述存储器801用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器802执行以实现以下步骤：
[0211]
获取第一样本数据，所述第一样本数据包括通过超声采集于人体骨骼的第一多通道时间序列数据；
[0212]
获取与所述第一多通道时间序列数据对应的采集对象的骨量标签；
[0213]
基于所述第一样本数据和所述骨量标签训练多通道卷积神经网络模型，
[0214]
其中，所述多通道卷积神经网络模型包括多个卷积路径，所述第一多通道时间序列数据中不同通道的时间序列数据进入所述多通道卷积神经网络模型的不同的卷积路径。
[0215]
根据本公开实施例，所述获取第一样本数据包括以下任意一种：
[0216]
控制一个发射换能器向人体骨骼发射第一超声波信号，两个或更多个接收换能器从人体骨骼接收第二超声波信号，基于接收的第二超声波信号确定所述第一多通道时间序列数据；
[0217]
控制两个或更多个发射换能器向人体骨骼发射第一超声波信号，一个接收换能器从人体骨骼接收第二超声波信号，基于接收的第二超声波信号确定所述第一多通道时间序列数据；或者
[0218]
控制两个或更多个发射换能器向人体骨骼发射第一超声波信号，两个或更多个接收换能器从人体骨骼接收第二超声波信号，基于接收的第二超声波信号确定多通道时间序列数据，
[0219]
其中，所述第一超声波信号或第二超声波信号为超声射频信号。
[0220]
根据本公开实施例，所述获取第一样本数据包括控制两个发射换能器向人体骨骼发射第一超声波信号，两个接收换能器从人体骨骼接收第二超声波信号，基于接收的第二超声波信号确定四通道时间序列数据，所述多通道卷积神经网络包括具有四个卷积路径的
卷积神经网络。
[0221]
根据本公开实施例，每个所述卷积路径包括8个卷积层。
[0222]
根据本公开实施例，每个所述卷积层设置8个长度为5的卷积核。
[0223]
根据本公开实施例，每个所述卷积层采用修正线性单元作为激活函数。
[0224]
根据本公开实施例，每个所述卷积层后设置长度为2的池化层，所述池化层采用最大池化层。
[0225]
根据本公开实施例，所述多通道卷积神经网络模型还包括全连接层，
[0226]
其中：
[0227]
所述全连接层连接于所述多个卷积路径融合后的末端；
[0228]
所述全连接层具有700-750个神经元；
[0229]
所述全连接层采用修正线性单元作为激活函数。
[0230]
根据本公开实施例，所述多通道卷积神经网络模型还包括输出层，其中：
[0231]
所述输出层连接至所述全连接层；
[0232]
所述输出层包括柔性最大值作为激活函数，用于输出第一骨量信息；
[0233]
所述骨量标签包括正常骨量、骨量降低和骨质疏松。
[0234]
根据本公开实施例，所述第一多通道时间序列数据包括在5～50秒的时间长度内采集的数据，所述第一多通道时间序列数据在经过如下预处理后用于训练：
[0235]
使用八阶低通滤波器处理所述第一多通道时间序列数据；以及/或者将所述第一多通道时间序列数据缩放到均值为0，方差为1的分布中。
[0236]
根据本公开实施例，所述多通道卷积神经网络模型采用多分类交叉熵作为损失函数进行模型训练。
[0237]
根据本公开实施例，所述人体骨骼包括桡骨。
[0238]
根据本公开实施例，所述存储器801用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器802执行以实现以下步骤：
[0239]
获取第二样本数据，所述第二样本数据包括通过超声采集于人体骨骼的第二多通道时间序列数据；
[0240]
基于所述第二样本数据通过多通道卷积神经网络模型获取第二骨量信息，
[0241]
其中，所述多通道卷积神经网络模型包括多个卷积路径，第二多通道时间序列数据中不同通道的时间序列数据进入所述多通道卷积神经网络模型的不同的卷积路径。
[0242]
根据本公开实施例，所述人体骨骼包括桡骨。
[0243]
根据本公开实施例，该多通道卷积神经网络模型可以是通过如上文所述的方法或装置训练的模型。
[0244]
图9示出适于实现根据本公开实施例的方法和装置的计算机系统的结构示意图。
[0245]
如图9所示，计算机系统900包括处理单元901，其可以根据存储在只读存储器(rom)902中的程序或者从存储部分908加载到随机访问存储器(ram)903中的程序而执行上述实施例中的各种处理。在ram 903中，还存储有系统900操作所需的各种程序和数据。处理单元901、rom902以及ram 903通过总线904彼此相连。输入/输出(i/o)接口905也连接至总线904。
[0246]
以下部件连接至i/o接口905：包括键盘、鼠标等的输入部分906；包括诸如阴极射
线管(crt)、液晶显示器(lcd)等以及扬声器等的输出部分907；包括硬盘等的存储部分908；以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分909。通信部分909经由诸如因特网的网络执行通信处理。驱动器910也根据需要连接至i/o接口905。可拆卸介质911，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器910上，以便于从其上读出的计算机程序根据需要被安装入存储部分908。其中，所述处理单元901可实现为cpu、gpu、tpu、fpga、npu等处理单元。
[0247]
特别地，根据本公开的实施例，上文描述的方法可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括有形地包含在及其可读介质上的计算机程序，所述计算机程序包含用于执行上述方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分909从网络上被下载和安装，和/或从可拆卸介质911被安装。
[0248]
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
[0249]
描述于本公开实施例中所涉及到的单元或模块可以通过软件的方式实现，也可以通过可编程硬件的方式来实现。所描述的单元或模块也可以设置在处理器中，这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定。
[0250]
作为另一方面，本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中电子设备或计算机系统中所包含的计算机可读存储介质；也可以是单独存在，未装配入设备中的计算机可读存储介质。计算机可读存储介质存储有一个或者一个以上程序，所述程序被一个或者一个以上的处理器用来执行描述于本公开的方法。
[0251]
本公开实施例还提供了一种骨量检测系统，包括：
[0252]
可穿戴部件，用于通过超声采集人体骨骼的多通道时间序列数据，并将所述多通道时间序列数据发送到数据处理设备；
[0253]
数据处理设备，包括存储器和处理器；其中，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行以实现如上文所述的模型训练方法或骨量信息获取方法。
[0254]
根据本公开实施例，数据处理设备可以参考图8或图9的介绍，此处不再赘述。
[0255]
根据本公开实施例，所述人体骨骼包括桡骨。
[0256]
图10～图12示出根据本公开实施例的可穿戴部件1000的示意图。
[0257]
如图10～图12所示，该可穿戴部件1000可以包括固定结构1010和包括多个超声换能器的检测模块1020，其中，所述固定结构1010上包括容纳槽1011，所述检测模块1020可拆卸地安装于所述容纳槽中，所述超声换能器用于产生超声射频信号。
[0258]
根据本公开实施例，可穿戴部件1000固定于手臂时形成手环，与手臂紧密贴合，实
现超声骨密度测量。在必要情况下，可以在佩戴时使用耦合剂以改善贴合程度，提高检测效果。
[0259]
根据本公开实施例，检测模块1020可以包括沿直线排布的4个超声换能器，超声换能器的中心位置之间的间距分别为d1、d2、d3，例如d1、d2、d3可以分别为10mm、15mm、10mm，也可以采用其他尺寸，需要根据实际应用时的距离深度等影响因素具体设计，例如可以根据可穿戴设备的尺寸大小进行调整；多个超声换能器以倾角θ设置于检测模块1020中，θ的取值例如可以为35
°
～45
°
，如图13所示。本发明人经反复实验确定以上最优的排布方式，能够减少因手环佩戴问题而无法检测的情况，提高检测成功率，但并不意味着其他的参数无法实施，本公开实施例的参数也并不以此为限。
[0260]
根据本公开实施例，所述超声换能器包括压电阵元模块，所述压电阵元模块通过如下方法制得：
[0261]
在pzt 1-3复合材料的上下表面溅射电极；
[0262]
在经溅射电极的pzt 1-3复合材料的一个表面设置匹配层；
[0263]
对处理后的pzt 1-3复合材料进行阵元分割并划分电极。
[0264]
根据本公开实施例，所述pzt 1-3复合材料通过如下方法制得：
[0265]
对pzt压电陶瓷横纵切割；
[0266]
在切缝中填充环氧树脂；
[0267]
待所述环氧树脂固化后，双面研磨至目标厚度。
[0268]
优选地，切割间距为0.4mm，切缝宽度0.1142mm，所述目标厚度为1.6mm。
[0269]
最终制得的pzt 1-3复合材料如图14和图15所示，图14和图15分别示出根据本公开实施例的pzt 1-3复合材料的俯视图和侧视图。
[0270]
根据本公开实施例的技术方案制得的pzt 1-3复合材料的机电耦合系数达到0.69，明显高于传统的锆钛酸铅压电陶瓷(即，pzt陶瓷，其机电耦合系数0.51)，具有更高的能量转化效率。此外，该pzt 1-3复合材料的声阻抗15.23mrayls，也低于传统的pzt陶瓷(声阻抗34.35mrayls)，能够更好地与人体组织匹配。因此，在骨密度检测设备小型化的同时，能够保证采集信号的带宽与灵敏度。
[0271]
尽管上述实施例中描述了使用pzt压电陶瓷制作复合材料并进一步制作压电阵元模块的方式，但本公开实施例并不以此为限，还可以采用其他压电材料，如pmn-pt压电单晶等。
[0272]
根据本公开实施例提供的技术方案，可穿戴部件形成便携式骨密度检测设备，为开展骨质疏松症早期筛查以及建立分级诊疗、双向转诊、急慢分治、上下联动的骨质疏松症分级诊疗的防控体系提供有力保障。这将有助于医务人员提高对骨质疏松症的诊疗水平和医疗体系的运行效率并改善医疗资源的地域差异。
[0273]
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。