一种多模态信号数据处理方法、装置及终端设备的制造方法
【技术领域】
[0001]本发明涉及数据处理技术领域，尤其涉及一种多模态信号数据处理方法、装置及终端设备。
【背景技术】
[0002]在移动健康远程应用系统中，用户通过佩戴在身体上的多种传感器，动态采集多种与健康相关的体征信号，通过网络上传至服务器端。服务器端通过对大量体征信号数据的挖掘和分析，为用户提供健康管理、健康监测和远程医疗协助。移动健康远程应用系统使用户能够在家中或社区中享受到健康监测与指导，让用户能够随时、客观地判断健康状况。一个典型的移动健康远程应用系统如图1所示，包括佩戴在用户身上的各种传感器SlOl(如血氧传感器、加速度传感器、心电传感器、血压传感器、肌电传感器、体温传感器等)、智能网关S102和服务器S103，各传感器SlOl实时采集多模态的原始体征信号，并将其按照采集时间顺序打包，通过近距离通信技术(如蓝牙、BLE (低功耗蓝牙技术)、Zigbee等)发送给智能网关S102，智能网关S102通过无线通信技术(如Wif1、3G、LTE等)再发送给服务器S103作进一步处理和分析。以一晚(约8小时)睡眠多模态信号数据为例，其包括心电(ECG)信号数据、加速度信号数据、体温信号数据，睡眠多模态信号数据包括3种模态信号数据，则其模态数为3。
[0003]由于各传感器采集的原始体征信号数据量大，直接通过智能网关上传至服务器需要消耗大量的网络资源。因此，智能网关在将原始信号数据上传至服务器之前进行必要的特征提取和压缩操作。
[0004]现有技术中，用户佩戴在身上的多个传感器实时采集多模态原始体征信号数据，在单位时间内将所有采集的原始体征信号数据打包，实时(如运动远程监护系统)或者在指定的时间(如睡眠远程监护系统在起床后)按照数据包的建立顺序发送给智能网关，智能网关则按照数据包的建立时间顺序依次串行处理每个数据包中包含的各模态信号数据。如图2所示，为智能网关处理多模态信号数据的处理流程示意图，对于接收到的数据包序列，智能网关按照数据包序列中包含的各数据包的建立时间顺序，依次选择一个数据包，针对每一数据包，智能网关依次串行处理该数据包中包含的每一模态信号数据。
[0005]目前在智能网关上进行多模态体征信号数据处理计算时间较长，如在CPU主频为IGHz的智能网关上，进行一晚睡眠多模态信号数据(约8小时的心电(ECG)信号数据、加速度信号数据、体温信号数据，原始数据大小约为50MB)的特征提取和压缩，需要约5分钟。因此，基于智能网关的多模态体征信号数据处理的快速计算，对于移动健康远程应用系统具有重要的意义。
[0006]目前大多数的优化计算方法均是从信号数据处理的算法本身出发。例如针对ECG信号的R波提取计算中，采用计算量较低的窗口平滑、差分求极值等时域处理方法替代计算量较大的频域滤波、小波变换等处理方法。但是上述优化方法均是通过牺牲算法的部分精确性和稳定性来换取算法运行速度，这影响了体征信号数据处理结果的精确性。从而，如何在保证多模态信号数据处理的精确性的基础上，提高多模态信号数据处理的速度，成为现有技术亟待解决的技术问题之一。
【发明内容】
[0007]本发明实施例提供一种多模态信号处理方法、装置及终端设备，用以在保证多模态信号数据处理的精确性的基础上，提高多模态信号数据处理的速度。
[0008]本发明实施例提供一种多模态信号数据处理方法，包括:
[0009]接收包含多模态信号数据的数据包序列；
[0010]解析所述数据包序列中的任一数据包，获取所述多模态信号数据的模态数；
[0011]比较中央处理器核数与所述模态数；
[0012]若所述核数大于等于所述模态数，则针对每一模态信号数据，分别开启一个线程，并行处理各模态信号数据；
[0013]若所述核数小于所述模态数，则按照预设算法并行处理所述多模态信号数据。
[0014]本发明实施例提供一种多模态信号数据处理装置，包括:
[0015]接收单元，用于接收包含多模态信号数据的数据包序列；
[0016]解析单元，用于解析所述数据包序列中的任一数据包，获取所述多模态信号数据的模态数；
[0017]比较单元，用于比较中央处理器核数与所述模态数；
[0018]执行单元，用于根据所述比较单元的比较结果，若所述核数大于等于所述模态数，则针对每一模态信号数据，分别开启一个线程，并行处理各模态信号数据；若所述核数小于所述模态数，则按照预设算法并行处理所述多模态信号数据。
[0019]本发明实施例提供一种终端设备，包括上述的多模态信号数据处理装置。
[0020]本发明实施例提供的多模态信号数据处理方法、装置及终端设备，在接收到数据包序列之后，解析任一数据包以获取多模态信号数据的模态数，并比较获取的模态数与中央处理器核数，若核数大于等于模态数则针对每一模态信号数据，开启一个线程进行处理，从而实现了各模态信号数据的并行处理，若核数小于模态数，则按照预设算法并行处理各模态信号数据，由此可见，本发明实施例中，由于对各模态信号数据进行并行处理，相比于现有技术中对各模态信号数据进行串行处理，能够减少处理时间，提高了多模态信号数据处理的速度，同时，本发明实施例中并未对算法本身进行优化，从而能够保证多模态信号数据处理结果的精确性。
[0021]本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
【附图说明】
[0022]此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中:
[0023]图1为现有技术中，移动健康远程应用系统结构不意图；
[0024]图2为现有技术中，智能网关处理多模态信号数据的处理流程示意图；
[0025]图3为本发明实施例中，多模态信号数据处理方法的实施流程示意图；
[0026]图4为本发明实施例中，多模态信号数据处理并行调度示意图；
[0027]图5为本发明实施例中，多模态信号数据处理装置的结构示意图。
【具体实施方式】
[0028]为了实现在保证体征信号数据处理的精确性的前提下，提高体征信号数据处理速度，本发明实施例提供了一种多模态信号数据处理方法、装置及终端设备。
[0029]以下结合说明书附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明，并且在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
[0030]发明人发现，对于智能网关接收到的每个数据包中包含的多模态信号数据具有以下三个特点:
[0031]I)智能网关接收到的每个数据包都包含了单位时间内采集到的各个模态体征信号的原始数据，由于不同模态信号数据的采样率可能不同，因此其对应的运算窗口不同，同时，每一模态信号数据的大小不同，这样，针对每一模态信号数据，需要的处理窗口数量也不同。以睡眠监测的一个数据包为例，其可能包含有256个心电(ECG)信号数据，64个加速度信号数据，而ECG信号数据的处理窗口为32，加速度信号数据的处理窗口为64，则每个数据包中包含8个ECG信号数据处理窗口和I个加速度信号数据处理窗口。
[0032]2)对每一模态信号数据的处理存在时间上的依赖关系，由于在信号数据处理过程中，当前窗口处理结果依赖于之前窗口处理结果，因此，前一窗口的数据必须先于后一窗口的数据进行处理，也就是说，针对每一模态信号数据的处理必须是串行的。
[0033]3)不同模态信号数据的处理是独立的，因此，可以并行执行各模态信号数据处理。
[0034]同时，随着智能终端设备技术的发展，现有的终端设备大多具备多核特性，能够支持不同模态信号数据的并行处理。
[0035]需要说明的是，本发明实施例提供的多模态信号数据处理方法不仅适用于移动健康远程应用系统中，也适用于其它场景下终端设备对多模态信号数据进行处理，以提高多模态信号数据处理的速度。为了便于描述，本发明实施例中以移动健康远程应用系统中对睡眠进行监测为例对多模态信号数据进行处理为例进行说明。
[0036]基于上述分析，本发明实施例提供一种多模态信号数据处理方法，如图3所示，可以包括以下步骤:
[0037]S301、终端设备接收包含多模态信号数据的数据包序列。
[0038]具体的