用于估计生物信息的设备和方法

用于估计生物信息的设备和方法
1.本技术要求于2021年3月10日向韩国知识产权局提交的第10-2021-0031320号韩国专利申请的优先权，其公开内容通过引用整体合并于此。
技术领域
2.以下描述涉及用于非侵入性地估计生物信息的设备和方法，并且更具体地讲，涉及用于通过使用基于深度学习的估计模型来估计生物信息的技术。


背景技术：

3.通常，在不对人体造成疼痛的情况下非侵入性地测量血压的方法包括通过测量基于袖带的压力来测量血压的方法和通过在不使用袖带的情况下测量脉搏波来估计血压的方法。柯氏音法是基于袖带的血压测量方法之一，在基于袖带的血压测量方法中，增加缠绕在上臂周围的袖带中的压力，并且通过在降低压力的同时通过经由听诊器倾听在血管中产生的声音来测量血压。另一种基于袖带的血压测量方法是使用自动化机器的示波法，在示波法中，将袖带缠绕在上臂周围，增加袖带中的压力，在袖带压力逐渐降低的同时连续测量袖带中的压力，并且基于压力信号的变化大的点测量血压。无袖带血压测量方法通常包括通过计算脉搏传导时间(ptt)来估计血压的方法以及通过分析脉搏波形来估计血压的脉搏波分析(pwa)方法。


技术实现要素：

4.根据示例实施例的一方面，提供了一种用于估计生物信息的设备，所述设备包括：脉搏波传感器，被配置为从对象测量脉搏波信号；力传感器，被配置为通过测量施加到所述力传感器上的外力来获得力信号；以及处理器，被配置为基于所述脉搏波信号和所述力信号获得第一输入值、第二输入值和第三输入值，通过将获得的第一输入值、第二输入值和第三输入值输入到第一神经网络模型中来提取特征向量，并且通过将提取的所述特征向量输入到第二神经网络模型中来获得所述生物信息。
5.第一神经网络模型和第二神经网络模型可基于深度神经网络、卷积神经网络(cnn)和递归神经网络(rnn)中的至少一个。
6.第一神经网络模型可包括：三个神经网络，所述三个神经网络被并行布置并且第一输入值、第二输入值和第三输入值分别被输入到所述三个神经网络中；以及全连接层，通过使用所述三个神经网络的输出作为输入来输出所述特征向量。
7.所述三个神经网络中的每一个可包括第一块和第二块。第一块可包括第一卷积层、第一批量归一化层、第一激活函数层和第一池化层。第二块可包括第二卷积层、第二批量归一化层、第二激活函数层、第三卷积层、第三批量归一化层、跳跃连接路径和第三激活函数。
8.第二神经网络模型可包括：第一全连接层，使用所述特征向量作为输入的；以及第二全连接层，通过使用第一全连接层的输出作为输入来输出所述生物信息。
9.第二神经网络模型还可包括：第三全连接层，使用基于用户特性信息中的至少一个提取的附加特征作为输入，其中，所述用户特性信息包括年龄、性别、身高和体重中的至少一个，其中，第三全连接层的输出可被输入到第二全连接层中。
10.处理器可从脉搏波信号生成一阶差分信号和二阶差分信号，并且可获得脉搏波信号、一阶差分信号和二阶差分信号中的至少一个作为第一输入值。
11.通过使用所述力信号，处理器可生成脉搏波信号的包络、一阶差分信号的包络和二阶差分信号的包络中的至少一个包络，并且可获得所述至少一个包络作为第二输入值。
12.处理器可获得所述力信号作为第三输入值。
13.处理器还可被配置为：通过在预定时间段期间测量力来获得所述力信号作为第三输入值，其中，所述预定时间段从与所述脉搏波信号的包络中的最大幅度点相应的参考时间点开始。
14.处理器可通过使用带通滤波器和低通滤波器中的至少一个来预处理所述脉搏波信号和所述力信号。
15.处理器可基于用户特性信息、所述脉搏波信号和所述力信号中的至少一个来获得附加特征，并且可通过将所述特征向量和获得的所述附加特征输入到第二神经网络模型中来获得所述生物信息。
16.生物信息可包括以下项中的一个或多个：血压、血管年龄、动脉硬度、主动脉压波形、血管顺应性、压力指数、疲劳水平、皮肤年龄、皮肤弹性。
17.可通过使用多个参考脉搏波信号和与所述多个参考脉搏波信号相应的多个参考力信号作为训练数据来联合训练第一神经网络模型和第二神经网络模型。
18.可通过将基于所述多个参考脉搏波信号和所述多个参考力信号获得的第一参考输入值、第二参考输入值和第三参考输入值输入到第一神经网络模型来训练第一神经网络模型。通过将从第一神经网络模型输出的参考特征向量输入到第二神经网络模型来训练第二神经网络模型。
19.根据另一示例实施例的一方面，提供了一种由电子装置估计生物信息的方法，所述方法包括：从对象测量脉搏波信号，并且测量施加在所述对象上的力信号；通过测量由所述对象施加到所述电子装置上的力来获得力信号；基于所述脉搏波信号和所述力信号获得第二输入值；基于所述力信号获得第三输入值；通过将第一输入值、第二输入值和第三输入值输入到第一神经网络模型中来提取特征向量；以及通过将所述特征向量输入到第二神经网络模型中来获得所述生物信息。
20.第一神经网络模型可包括：三个神经网络，所述三个神经网络被并行布置并且第一输入值、第二输入值和第三输入值分别被输入到所述三个神经网络中；以及全连接层，通过使用所述三个神经网络的输出作为输入来输出所述特征向量。
21.所述三个神经网络中的每一个可包括第一块和第二块。第一块可包括第一卷积层、第一批量归一化层、第一激活函数层和第一池化层。第二块可包括第二卷积层、第二批量归一化层、第二激活函数层、第三卷积层、第三批量归一化层、跳跃连接层和第三激活函数层。
22.第二神经网络模型可包括：第一全连接层，使用所述特征向量作为输入；以及第二全连接层，通过使用第一全连接层的输出作为输入来输出所述生物信息。
23.第二神经网络模型还可包括：第三全连接层，使用基于用户特性信息、所述脉搏波信号和所述力信号中的至少一个提取的附加特征作为输入，其中，第三全连接层的输出可被输入到第二全连接层中。
24.获得第一输入值的步骤可包括：从所述脉搏波信号生成一阶差分信号和二阶差分信号，并且获得所述脉搏波信号、所述一阶差分信号和所述二阶差分信号中的至少一个作为第一输入值。
25.获得第二输入值的步骤可包括：通过使用所述力信号，生成脉搏波信号的包络、一阶差分信号的包络和二阶差分信号的包络中的至少一个包络，并且获得生成的所述至少一个包络作为第二输入值。
26.获得第三输入值的步骤可包括：获得所述力信号作为第三输入值。
27.获得第三输入值的步骤可包括：通过在预定时间段期间测量力来获得所述力信号作为第三输入值，其中，所述预定时间段从与脉搏波信号的包络中的最大幅度点相应的参考时间点开始。
28.另外，所述估计生物信息的方法还可包括：基于用户特性信息、所述脉搏波信号和所述力信号中的至少一个获得附加特征，其中，获得所述生物信息的步骤可包括：将所述特征向量和获得的所述附加特征输入到第二神经网络模型中以获得所述生物信息。
29.根据示例实施例的一方面，提供了一种电子装置，所述电子装置包括：主体、设置在主体中的用于估计生物信息的装置、以及被配置为输出装置的处理结果的显示器。
30.电子装置可与腕表可穿戴装置、耳戴式装置或移动装置相应。
附图说明
31.通过参照附图描述特定示例实施例，上述和/或其他方面将更加清楚，其中：
32.图1是示出根据本公开的实施例的用于估计生物信息的设备的框图；
33.图2a至2c是解释根据图1的实施例的处理器的配置的示例的示图；
34.图2d是示出由脉搏波传感器获取的脉搏波信号的示例的示图；
35.图2e是示出由力传感器获取的力信号的示例的示图；
36.图2f是示出通过使用脉搏波信号和力信号获得的示波包络的示例的示图；
37.图3是示出根据本公开的另一实施例的用于估计生物信息的设备的框图；
38.图4是示出根据图3的实施例的处理器的配置的示例的框图；
39.图5是示出根据本公开的实施例的估计生物信息的方法的流程图；
40.图6是示出根据本公开的另一实施例的估计生物信息的方法的流程图；
41.图7是示出包括用于估计生物信息的设备的电子装置的示例的框图；
42.图8是示出作为图7的电子装置的示例的腕表可穿戴装置的示图；
43.图9是示出作为图7的电子装置的示例的移动装置的示图；以及
44.图10是示出作为图7的电子装置的示例的耳戴式装置的示图。
具体实施方式
45.下面参照附图更详细地描述示例实施例。
46.在以下描述中，即使在不同的附图中，相同的附图标号也被用于相同的元件。提供
说明书中定义的事项(诸如，详细的构造和元件)以帮助全面理解示例实施例。然而，显而易见的是，可在没有那些具体定义的事项的情况下实践示例实施例。此外，因为公知的功能或结构会以不必要的细节模糊描述，因此没有对它们进行详细描述。
47.应当理解的是，尽管这里可使用术语第一、第二等来描述各种元件，但是这些元件不应受这些术语的限制。这些术语仅被用于将一个元件与另一元件区分开。此外，除非上下文另有明确说明，否则单数形式也旨在包括复数形式。还将理解的是，当元件被称为“包括”另一元件时，除非明确进行相反描述，否则该元件不旨在排除一个或更多个其他元件，而是还包括一个或更多个其他元件。在以下描述中，诸如“单元”和“模块”的术语指示用于处理至少一个功能或操作的单元，并且它们可通过使用硬件、软件或者硬件和软件的组合来实现。
48.诸如
“……
中的至少一个”的表达在元素列表之后时修饰整个元素列表，而不修饰列表的各个元素。例如，表述“a、b和c中的至少一个”应当被理解为仅包括a、仅包括b、仅包括c、包括a和b两者、包括a和c两者、包括b和c两者、包括a、b和c中的全部或者前述示例的任何变型。
49.在下文中，将参照附图详细描述用于估计生物信息的设备和方法的实施例。
50.图1是示出根据本公开的实施例的用于估计生物信息的设备的框图。
51.参照图1，用于估计生物信息的设备100包括脉搏波传感器110、力传感器120和处理器130。
52.脉搏波传感器110可在脉搏波传感器110与对象保持接触的同时测量脉搏波信号(诸如，例如，光电容积描记(ppg)信号)。对象可以是可与脉搏波传感器110接触并且脉搏波可被容易地测量的身体部位。例如，对象可以是血管密集分布的手指，但对象不限于此，并且可以是手腕上与桡动脉邻近的区域、以及手腕的静脉或毛细血管所在的上部、或身体的外围部分(诸如，脚趾等)。
53.脉搏波传感器110可包括一个或多个光源和一个或多个检测器，一个或多个光源被配置为将光发射到对象上，一个或多个检测器被设置在与光源间隔开预定距离的位置处并且被配置为检测从对象散射或反射的光。一个或多个光源可发射不同波长的光。例如，光源可发射红外波长、绿色波长、蓝色波长、红色波长、白色波长等的光。光源可包括发光二极管(led)、激光二极管(ld)、磷光体等中的任何一个或者任何组合，但不限于此。此外，检测器可包括光电二极管、光电二极管阵列、互补金属氧化物半导体(cmos)图像传感器、电荷耦合器件(ccd)图像传感器等中的任何一个或者光电二极管、光电二极管阵列、互补金属氧化物半导体(cmos)图像传感器和电荷耦合器件(ccd)图像传感器等的任何组合。
54.此外，力传感器120可在对象与脉搏波传感器110接触时测量力信号，并且逐渐增加或减小对力传感器120的按压力以引起脉搏波幅度的变化。力传感器120可形成为包括应变仪等的单个力传感器，或者可形成为力传感器阵列。然而，力传感器120的实施方式不限于此，并且作为力传感器120的替代，压力传感器、气囊型压力传感器、与力传感器和面积传感器组合的压力传感器等可被提供。
55.处理器130可基于由脉搏波传感器110测量的脉搏波信号和由力传感器120测量的接触力来估计生物信息。生物信息可包括血压、血管年龄、动脉僵硬度、主动脉压波形、血管顺应性、压力指数、疲劳水平、皮肤年龄和/或皮肤弹性的信息，但不限于此。为了便于解释，
如果需要，将使用血压作为示例给出以下描述，但本公开不限于血压。
56.图2a至图2c是解释根据图1的实施例的处理器的配置的示例的示图。图2d是示出由脉搏波传感器获取的脉搏波信号的示例的示图。图2e是示出由力传感器获取的力信号的示例的示图。图2f是示出通过使用脉搏波信号和力信号获得的示波包络的示例的示图。
57.参照图2a和图2b，根据实施例的处理器200a和处理器200b可包括预处理器210和估计器220。
58.预处理器210可通过使用带通滤波器和/或低通滤波器等来对从脉搏波传感器110和/或力传感器120接收的脉搏波信号和/或力信号进行预处理。例如，预处理器210可利用1hz至10hz的截止频率对脉搏波信号执行带通滤波。
59.另外，通过使用脉搏波信号和/或力信号，预处理器210可获得将被输入到估计器220的输入值。
60.例如，预处理器210可通过使用脉搏波信号获得第一输入值。例如，预处理器210可通过对脉搏波信号执行一阶差分和/或二阶差分来将脉搏波信号转换为一阶差分信号和/或二阶差分信号。预处理器210可获得脉搏波信号、一阶差分信号和/或二阶差分信号作为第一输入值。具体地，预处理器210可提取脉搏波信号、一阶差分信号和/或二阶差分信号的预定时间段内的一部分作为第一输入值。可基于与脉搏波信号的最大幅度点相应的时间点来预先定义预定时间段。例如，当最大幅度点出现在时间t
max
时，可将预定时间段设置为从时间t1至时间t2的范围，其中，t
max
在时间t1与时间t2之间。
61.此外，预处理器210可通过使用脉搏波信号、一阶差分信号和/或二阶差分信号以及力信号来获得脉搏波信号的包络、一阶差分信号的包络和/或二阶差分信号的包络。预处理器210可获得脉搏波信号的包络、一阶差分信号的包络和/或二阶差分信号的包络作为第二输入值。预处理器210可提取脉搏波信号的包络、一阶差分信号的包络和/或二阶差分信号的包络的预定时间段内的一部分作为第二输入值。在这种情况下，可基于与脉搏波信号的最大幅度点相应的时间点来预先定义预定时间段。
62.参考图2d至图2f，下面将描述获得包络的示例。预处理器210可通过在脉搏波信号的每一个测量时间处从波形包络in1的正(+)幅度值in2减去负(-)幅度值in3来提取例如脉搏波信号波形的峰-峰(peak-to-peak)点。此外，预处理器210可通过针对相应时间点处的接触压力值绘制每一个测量时间处的峰-峰幅度并通过执行例如多项式曲线拟合来获得脉搏波信号的包络(ow)。同样地，通过使用一阶差分信号和力信号以及/或者二阶差分信号和力信号，预处理器210可获得一阶差分信号的包络和/或二阶差分信号的包络。
63.另外，预处理器210可通过使用力信号来获得第三输入值。例如，预处理器210可将整个间隔上的力信号确定为第三输入值。可选地，如在图2e中所示出的，预处理器210可将距参考点tp预定时间间隔t1内和预定时间间隔t2内(例如，总共5秒的时间间隔，其中，之前的时间间隔和之后的时间间隔各为2.5秒)的力信号确定为第三输入值。在这种情况下，参考点tp可以是与图2f所示出的脉搏波信号的包络中的最大幅度点mp相应的时间点。然而，间隔不限于此，并且由对象施加的力的间隔可被预先定义，并且力的间隔可针对每一个用户被不同地定义。
64.返回参照图2a和图2b，估计器220可包括第一神经网络模型221和第二神经网络模型222。第一神经网络模型221和第二神经网络模型222可通过深度神经网络(dnn)、卷积神
经网络(cnn)、递归神经网络(rnn)等来实现。具体地，第一神经网络模型221可以是被训练为通过使用由预处理器210获得的输入值作为输入来输出与血压和/或估计血压值相关联的特征向量的神经网络模型；并且第二神经网络模型222可以是被训练为通过使用第一神经网络模型的特征向量和/或其他附加特征作为输入来输出估计血压值的神经网络模型。
65.第一神经网络模型221可包括三个神经网络2211a、2211b和2211c以及一个或更多个全连接层2212和2213。如这里所示出的，各个神经网络2211a、2211b和2211c被并行布置以用于并行处理，并且由预处理器210获得的第一输入值ip1、第二输入值ip2和第三输入值ip3可分别被输入到神经网络模型2211a、2211b和2211c中。
66.参照图2c，各个神经网络模型2211a、2211b和2211c可以是基于残差神经网络的神经网络。如在图2c中所示出的，各个神经网络模型2211a、2211b和2211c可由第一块bl1、第二块bl2以及随后的平均池化组成。第一块bl1可包括卷积层conv、批量归一化(batch normalization)层bn、激活函数层relu和最大池化层maxpooling。第二块bl2可包括一个或多个子块bl21、bl22和bl23。子块bl21、bl22和bl23中的每一个可包括卷积层conv、批量归一化层bn、激活函数层relu、卷积层conv、批量归一化层bn、跳跃连接(skip connection)(或跳跃连接路径)sc和激活函数层relu。在这种情况下，子块数量上可以是三个，但数量不限于此。
67.卷积层conv可对输入特征进行卷积以提取高级特征(例如，最大幅度值)。批量归一化层bn可对高级特征进行归一化，并且激活函数层relu可将激活函数(例如，relu函数)应用于归一化的高级特征。最大池化层maxpooling可通过从由滤波器覆盖的每一个数据部分返回最大值来减小卷积特征的空间大小。跳跃连接sc可在前一块的输出节点与当前块的激活函数层relu的输入节点之间形成直接路径，使得块bl1中的最大池化层maxpooling的输出被直接馈送到块bl2中的激活函数层relu。
68.返回参照图2a和图2b，第一全连接层2212可连接到各个神经网络2211a、2211b和2211c，以均衡各个神经网络2211a、2211b和2211c的输出，并且可将输出转换为与血压相关联的特征向量lf。第二全连接层2213可通过使用从第一全连接层2212输出的特征向量作为输入来输出第一血压值bi1。另外，在第一全连接层2212之后还可包括s形(sigmoid)函数。
69.参照图2a，第二神经网络模型222可包括一个或多个全连接层2221和2222。从第一神经网络模型221输出的与血压相关联的特征向量lf可被输入到第二神经网络模型222的第一全连接层2221中，并且第一全连接层2221的输出可被输入到第二全连接层2222中以被转换为第二血压值bi2。在这种情况下，在第一全连接层2221之后还可包括relu函数和/或maxout函数。
70.参照图2b，第二神经网络模型222还可包括第三全连接层2223。第三全连接层2223可使用通过各种其他方法获得的与血压相关联的附加特征hf作为输入值。例如，附加特征hf可包括用户特性信息(诸如，用户的年龄、性别、身高和体重)，并且用户特性信息可从用户被输入。此外，附加特征hf可包括由预处理器210从脉搏波信号、一阶差分信号、二阶差分信号和/或力信号提取出的附加信息。附加特征的示例可包括以下项中的任何一个或任何组合：脉搏波信号、一阶差分信号、二阶差分信号和/或力信号中的每一个的最大幅度点处的幅度/时间值，脉搏波信号、一阶差分信号、二阶差分信号和/或力信号中的每一个的局部最小点/局部最大点处的幅度/时间值，脉搏波信号、一阶差分信号、二阶差分信号和/或力
信号中的每一个的拐点处的幅度/时间值、或者脉搏波信号、一阶差分信号、二阶差分信号和/或力信号的每一个信号波形的总面积/部分面积，与脉搏波信号、一阶差分信号、二阶差分信号和/或力信号中的每一个的最大幅度点相应的接触力值、与脉搏波信号、一阶差分信号、二阶差分信号和/或力信号中的每一个的最大幅度点处的接触力值具有预定比例的接触力值。
71.可在相同的训练周期中联合训练第一神经网络模型221和第二神经网络模型222。
72.通常，随着神经网络层的深度增加，在训练神经网络时出现梯度消失的问题。然而，在本公开的示例实施例中，可通过使用具有跳跃连接的残差神经网络来利用深层构建神经网络模型，并且可通过使用脉搏波信号、力信号等经由复杂的计算处理来训练神经网络模型以估计血压。另外，通过将使用脉搏波信号和/或力信号获得的各种输入值并行输入到第一神经网络模型221的神经网络2221a、2221b和2221c中，可考虑血压和各种输入值之间的个体特性，从而提高估计血压的准确性。
73.估计器220可输出从第二神经网络模型222输出的第二血压值bi2作为最终的估计血压值。可选地，估计器220可线性地或非线性地组合第一血压值bi1和第二血压值bi2，并且可输出结果值作为最终的估计血压值。
74.图3是示出根据本公开的另一实施例的用于估计生物信息的装置的框图。
75.参照图3，用于估计生物信息的设备300包括脉搏波传感器110、力传感器120、处理器130、存储器310、输出接口320和通信接口330。以上详细描述了脉搏波传感器110、力传感器120和处理器130，使得以下描述将集中于不重叠的部分。
76.存储器310可存储与估计生物信息相关的信息。例如，存储器310可存储由脉搏波传感器110、力传感器120和处理器130所处理的数据(诸如，脉搏波信号、接触力、估计的生物信息值、特征向量、附加特征等)。另外，存储器310可包括闪存型存储器、硬盘型存储器、多媒体卡微型存储器、卡型存储器(例如，sd存储器、xd存储器等)、随机存取存储器(ram)、静态随机存取存储器(sram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、可编程只读存储器(prom)、磁存储器、磁盘和光盘等中的至少一个存储介质，但不限于此。
77.输出接口320可为用户提供处理器130的处理结果。例如，输出接口320可在显示器上显示估计的生物信息值。在这种情况下，如果估计血压值落在预设的正常范围之外，则输出接口320可通过改变颜色、线条粗细等或者将估计(异常)血压值与预设的正常范围一起显示来向用户提供警告信息，使得用户可容易地识别出异常血压值。此外，输出接口320可使用声音输出模块(诸如，扬声器)或触觉模块等以语音、振动、触感等的非视觉方式输出与生物信息相关联的信息。
78.通信接口330可与外部装置进行通信，以将与估计生物信息相关的各种数据发送给外部装置并从外部装置接收与估计生物信息相关的各种数据。在这种情况下，外部装置可包括诸如智能电话、平板pc、桌上型计算机、膝上型计算机等的信息处理装置。通信接口330可通过使用各种有线通信技术或无线通信技术(诸如，蓝牙通信、蓝牙低功耗(ble)通信、近场通信(nfc)、wlan通信、zigbee通信、红外数据协会(irda)通信、wi-fi直连(wfd)通信、超宽带(uwb)通信、ant+通信、wifi通信、射频识别(rfid)通信、3g通信、4g通信、5g通信等)与外部装置进行通信。然而，这仅仅是示例性的，而不是限制性的。
79.图4是示出根据图3的实施例的处理器130的示例的框图。
80.参照图4，根据本公开的实施例的处理器400包括预处理器210、估计器220和训练器410。上面参照图2a和图2b详细描述了预处理器210和估计器220，因此将省略其描述。
81.训练器410收集训练数据ld，并且可通过使用收集的训练数据ld来训练第一神经网络模型221和第二神经网络模型222。训练数据ld可包括针对第一神经网络模型221和第二神经网络模型222中的每一个的输入特征、以及地面真值(ground-truth)生物信息(例如，基于输入特征从第一神经网络模型221和第二神经网络模型222分别获得的第一地面真值血压值和第二地面真值血压值)。训练器410可分别从第一神经网络模型221和第二神经网络模型222接收估计的生物信息(例如，第一估计血压值和第二估计血压值)。训练器410可应用损失函数来计算第一地面真值血压值与第一估计血压值之间的差值作为第一损失值，并且计算第二地面真值血压值与第二估计血压值之间的差值作为第二损失值。可将第一损失值反向传播至第一神经网络模型221，并且可将第二损失值传播至第二神经网络模型222和第一神经网络模型221，以使第一损失值和第二损失值最小化。
82.训练器410可控制脉搏波传感器110和力传感器120从特定用户或多个用户获取脉搏波信号和力信号，并且可收集获取的信号作为训练数据ld。此外，训练器410可在显示器上输出界面以供用户输入用户特性信息、参考血压等，并且可收集由用户通过界面输入的数据作为训练数据。另外，训练器410可控制通信接口330从外部装置(诸如，智能电话、可穿戴装置、袖带血压计等)接收用户的脉搏波信号、力信号和/或参考血压值。
83.训练器410通过使用多个参考脉搏波信号和参考力信号来获得第一参考输入值、第二参考输入值和第三参考输入值，并且可通过使用参考输入值作为第一神经网络模型221的输入数据并使用与其相应的参考压力作为地面真值数据来训练第一神经网络模型221。在这种情况下，训练第一神经网络模型221以在最后的全连接层(图2a和图2b的2213)的前一层中输出与血压相关联的特征向量。从训练的第一神经网络模型221输出的特征向量可以是与血压具有高相关性的特征。训练器310可通过使用从第一神经网络模型221输出的特征向量和/或附加特征作为第二神经网络模型222的输入数据，并且使用参考血压作为地面真值数据来训练第二神经网络模型222。
84.训练器410可根据操作者的输入或以预定间隔、或者通过分析血压估计结果来确定训练神经网络模型221和神经网络模型222的时间，并且训练器410可在确定需要进行训练时的时间训练神经网络模型221和神经网络模型222。
85.此外，训练器410可通过通信接口330将训练的神经网络模型221和训练的神经网络模型222发送到通过使用神经网络模型221和神经网络模型222估计血压的外部装置。
86.在本实施例中，如上所述，可通过训练混合神经网络模型并通过使用混合神经网络模型估计血压来提高准确性，其中，所述混合神经网络模型由输出特征向量的第一神经网络模型221和通过使用特征向量输出估计血压值的第二神经网络模型222组成。
87.图5是示出根据本公开的实施例的估计生物信息的方法的流程图。
88.图5的方法是在上面详细描述的由用于估计生物信息的设备100和设备300执行的估计生物信息的方法的示例，因此在下面将简要描述。
89.首先，当对象与脉搏波传感器接触时，用于估计生物信息的设备100和设备300可在操作511中通过使用脉搏波传感器从对象测量脉搏波信号，并且可在操作512中通过经由使用力传感器测量施加到力传感器上的外力来获得力信号。力传感器可设置在脉搏波传感
器下方，使得施加到脉搏波传感器的接触表面上的外力被传递到位于脉搏波传感器底下的力传感器。
90.然后，在操作513中，用于估计生物信息的设备100和设备300可基于脉搏波信号获得第一输入值。例如，用于估计生物信息的设备100和设备300可获得脉搏波信号、一阶差分信号和/或二阶差分信号作为第一输入值。在这种情况下，用于估计生物信息的设备100和设备300可将信号的整个间隔上的波形或预定部分间隔上的波形确定为第一输入值。
91.此外，在操作514中，用于估计生物信息的设备100和设备300可基于脉搏波信号和力信号获得第二输入值。例如，用于估计生物信息的设备100和设备300可通过使用脉搏波信号、一阶差分信号和/或二阶差分信号、以及力信号来获得脉搏波信号的包络、一阶差分信号的包络和/或二阶差分信号的包络。设备100和设备300可获得脉搏波信号的包络、一阶差分信号的包络和/或二阶差分信号的包络作为第二输入值。
92.另外，在操作515中，用于估计生物信息的设备100和设备300可基于力信号获得第三输入值。例如，用于估计生物信息的设备100和设备300可获得整个间隔上的力信号或距预定时间点(例如，与脉搏波信号的包络中的最大幅度点相应的时间点)预定间隔上的力信号作为第三输入值。
93.然后，在操作516中，用于估计生物信息的设备100和设备300可通过将第一输入值、第二输入值和第三输入值输入到第一神经网络模型中来获得特征向量。具体地，可训练第一神经网络模型以输出与血压相关联的特征向量，其中，第一输入值、第二输入值和第三输入值被并行输入到第一神经网络模型中。
94.随后，在操作517中，用于估计生物信息的设备100和设备300可通过将在操作516中从第一神经网络模型输出的特征向量输入到第二神经网络模型中来输出估计的生物信息值。
95.图6是示出根据本公开的另一实施例的估计生物信息的方法的流程图。
96.图6的方法是在上面详细描述的由用于估计生物信息的设备100和设备300执行的估计生物信息的方法的示例，因此在下面将简要描述。
97.首先，当对象与脉搏波传感器接触时，在操作611和操作612中，用于估计生物信息的设备100和设备300可从对象测量脉搏波信号和力信号。
98.然后，在操作613、操作614和操作615中，基于脉搏波信号和/或力信号，用于估计生物信息的设备100和设备300可获得第一输入值、第二输入值和第三输入值。
99.随后，在操作616中，用于估计生物信息的设备100和设备300可通过将第一输入值、第二输入值和第三输入值输入到第一神经网络模型中来提取特征向量。
100.另外，在操作617中，用于估计生物信息的设备100和设备300可基于用户特性信息、和/或在操作611获取的脉搏波信号、和/或在操作612获取的力信号来提取附加特征。例如，附加特征hf可包括用户特性信息(诸如，从用户输入的用户的年龄、性别、身高和/或体重)；并且可包括例如每一个信号的最大幅度点处的幅度/时间值、每一个信号的局部最小点/局部最大点处的幅度/时间值、每一个信号波形的总面积/部分面积、与最大幅度点相应的接触力值、与最大幅度点处的接触压力值具有预定比例的接触力值、或者通过适当地组合通过使用脉搏波信号、一阶差分信号、二阶差分信号和/或力信号提取的信息而获得的值。
101.最后，在操作618中，用于估计生物信息的设备100和设备300可通过将在操作616获得的特征向量和在操作617获得的附加特征输入到第二神经网络模型中来输出估计的生物信息值。
102.图7是示出包括用于估计生物信息的设备100和设备300的电子装置的框图。
103.在本示例实施例中，电子装置可包括例如各种类型的可穿戴装置(例如，智能腕表、智能腕带、智能眼镜、智能耳机、智能戒指、智能贴片和智能项链)和移动装置(诸如，智能电话、平板pc等)、或者家用电器或基于物联网(iot)技术的各种物联网(iot)装置(例如，家庭iot装置等)。
104.参照图7，电子装置700可包括传感器装置710、处理器720、输入装置730、通信接口740、相机750、输出装置760、存储器770和电源780。电子装置700的所有组件可被集成地安装在特定装置中，或者可分布在两个或更多个装置中。
105.传感器装置710可包括用于估计生物信息的前述设备100和设备300的脉搏波传感器和力传感器。脉搏波传感器可包括一个或更多个光源和检测器，并且当对象与脉搏波传感器接触时，脉搏波传感器可从对象获取脉搏波信号。力传感器可设置在脉搏波传感器的上端或下端，并且可测量施加在对象与脉搏波传感器之间的接触力。传感器装置710可包括用于执行各种其他功能的传感器(例如，陀螺仪传感器、全球定位系统(gps)等)。
106.处理器720可执行存储在存储器770中的程序，以控制连接到处理器720的组件，并且可执行各种数据处理或计算。处理器720可包括主处理器(例如，中央处理器(cpu)或应用处理器(ap)等)和辅助处理器(例如，图形处理器(gpu)、图像信号处理器(isp)、传感器集线器处理器或通信处理器(cp)等)，辅助处理器可独立于主处理器操作或与主处理器结合操作。
107.响应于用户对估计生物信息的请求，处理器720可将控制信号发送到传感器装置710，并且可通过使用从传感器装置710接收的脉搏波信号和力信号来估计生物信息。处理器720可训练用于估计生物信息的混合神经网络模型，并且可通过通信接口740将训练的模型发送到外部装置。
108.输入装置730可从用户等接收将由电子装置700的每一个组件所使用的命令和/或数据。输入装置730可包括例如麦克风、鼠标、键盘或数字笔(例如，手写笔等)。
109.通信接口740可支持电子装置700与网络环境内的其他电子装置、服务器或传感器装置710之间的直连(例如，有线)通信信道和/或无线通信信道的建立，以及经由所建立的通信信道执行通信。通信接口740可包括可独立于处理器720操作并且支持直连通信和/或无线通信的一个或更多个通信处理器。通信接口740可包括无线通信模块(例如，蜂窝通信模块、短距离无线通信模块或全球导航卫星系统(gnss)通信模块等)和/或有线通信模块(例如，局域网(lan)通信模块、电力线通信(plc)模块等)。这些各种类型的通信模块可被集成到单个芯片中，或者可单独实现为多个芯片。无线通信模块可通过使用存储在用户识别模块中的用户信息(例如，国际移动用户识别码(imsi)等)来识别和认证通信网络中的电子装置700。
110.相机750可捕捉静止图像或运动图像。相机750可包括具有一个或多个透镜、图像传感器、图像信号处理器和/或闪光灯的透镜组件。包括在相机750中的透镜组件可收集从将被成像的被摄体发出的光。
111.输出装置760可在视觉上/不在视觉上输出由电子装置700所生成或处理的数据。输出装置760可包括声音输出装置、显示装置、音频模块和/或触觉模块。
112.声音输出装置可将声音信号输出到电子装置700的外部。声音输出装置可包括扬声器和/或接收器。扬声器可被用于一般目的(诸如，播放多媒体或播放录音)，并且接收器可被用于呼入呼叫。接收器可与扬声器分开来实现，或者作为扬声器的一部分来实现。
113.显示装置可在视觉上将信息提供给电子装置700的外部。显示装置可包括例如显示器、全息装置或投影仪、以及用于控制装置的控制电路。显示装置可包括适于检测触摸的触摸电路以及/或者适于测量由触摸所引起的力的强度的传感器电路(例如，压力传感器等)。
114.音频模块可将声音转换为电信号，反之亦然。音频模块可经由输入装置获得声音，或者可经由声音输出装置以及/或者直接或无线连接到电子装置700的另一电子装置的扬声器和/或耳机输出声音。
115.触觉模块可将电信号转换为可由用户通过触感感知或动觉感知的机械刺激(例如，振动、运动等)或者电刺激。触觉模块可包括例如电机、压电元件和/或电刺激器。
116.存储器770可存储用于驱动传感器装置710所需的驱动条件、以及电子装置700的其他组件所需的各种数据。各种数据可包括例如软件和针对与其相关的命令的输入数据和/或输出数据。存储器770可包括易失性存储器和/或非易失性存储器。
117.电源780可管理供应给电子装置700的电力。电源780可被实现为例如电力管理集成电路(pmic)的至少一部分。电源780可包括电池，其中，所述电池可包括不可再充电的原电池、可再充电的蓄电池和/或燃料电池。
118.图8和图9是示出图7的电子装置的结构的示例的示图。
119.参照图8，电子装置700可被实现为腕表可穿戴装置800，并且可包括主体和腕带。显示器设置在主体的前表面上，并且可显示包括时间信息、接收到的消息信息等的各种应用屏幕。传感器装置810可设置在主体的后表面上，以测量用于估计生物信息的脉搏波信号和力信号。
120.参照图9，电子装置700可被实现为诸如智能电话的移动装置900。
121.移动装置900可包括壳体和显示面板。壳体可形成移动装置900的外部。壳体具有第一表面，其中，显示面板和保护玻璃可顺序地设置在第一表面上，并且显示面板可通过保护玻璃暴露于外部。传感器装置910、相机和/或红外传感器等可设置在壳体的第二表面上。当用户通过执行安装在移动装置900中的应用等来发送用于估计生物信息的请求时，移动装置900可通过使用传感器装置910来估计生物信息，并且可将估计的生物信息值作为图像和/或声音提供给用户。
122.参照图10，电子装置700可被实现为耳戴式装置1000。
123.耳戴式装置1000可包括主体和挂耳(ear strap)。用户可通过将挂耳悬挂在用户的耳廓上来佩戴耳戴式装置1000。根据耳戴式装置1000的类型，可省略挂耳。主体可被置于外耳道中。传感器装置1010可被安装在主体中。耳戴式装置1000可将组件估计结果作为声音提供给用户，或者可通过设置在主体中的通信模块将估计结果发送给外部装置(例如，移动装置、平板pc、个人计算机等)。
124.虽然不限于此，但示例实施例可实施为计算机可读记录介质上的计算机可读代
码。计算机可读记录介质是可存储此后可由计算机系统读取的数据的任何数据存储装置。计算机可读记录介质的示例包括只读存储器(rom)、随机存取存储器(ram)、cd-rom、磁带、软盘和光学数据存储装置。计算机可读记录介质还可分布在网络耦合的计算机系统上，使得计算机可读代码以分布式方式被存储和执行。此外，示例实施例可被编写为计算机程序，其中，所述计算机程序通过计算机可读传输介质(诸如，载波)被传输，并且在执行程序的通用数字计算机或专用数字计算机中被接收和实现。此外，应当理解的是，在示例实施例中，上述设备和装置的一个或多个单元可包括电路、处理器、微处理器等，并且可执行存储在计算机可读介质中的计算机程序。
125.前述示例性实施例仅仅是示例性的，而不应被解释为限制。本教导可容易地应用于其他类型的装置。此外，示例性实施例的描述旨在是说明性的，而不是限制权利要求的范围，并且许多替代形式、修改形式和变化对于本领域技术人员将是显而易见的。