一种多模态生理和行为数据融合采集系统的制作方法

本发明属于实验心理学与生理心理测量技术领域，具体涉及一种多模态生理和行为数据融合采集、分析、可视化的系统。

背景技术：

人们的心理和情绪状态有多种表现方式，如语言、表情、动作以及各种生理信号。单一的生理或行为参数或其特征指标很难准确反映人们的心理和情绪状态变化，因此，基于多模态生理和行为信息的数据融合采集技术已被越来越广泛地应用于心理学、人机交互、人工智能等领域。

目前，采集受试者的生理和行为数据时，需要使用到多个数据采集设备对不同的生理和行为数据进行同步采集。由于各个数据采集设备都具有独立的数据采集和存储系统，所采集到的数据分别记录到自己对应的计算机存储单元中，然后分别对各自采集的数据进行分析，最后将各个数据分析后的特征或者指标导入数据融合反馈系统中再进行融合分析。由于不同的数据采集设备都需要独立的采集和存储系统，采集的数据模态越多，投入的系统设备成本越大。此外，不同模态的数据之间可能会相互干扰，需要在原始数据的融合采集过程中进行相应的处理，而传统的数据采集设备不能实现数据的融合采集，因此，会影响对受试者心理和情绪状态分析的准确性。最后，很多的数据采集设备不支持数据的在线分析，因此无法基于实时采集的数据给出在线的分析结果。

技术实现要素：

因此，本发明为了解决现有数据采集设备间无法在同一设备中实现数据的同步采集和融合分析的技术问题，为此，本发明提供了一种多模态生理和行为数据融合采集系统。

所采用的技术方案如下：

一种多模态生理和行为数据融合采集系统，所述系统包括后台处理器和数据采集单元，所述后台处理器集成于一台计算机中，用于接收所述数据采集单元所采集的数据，所述数据采集单元包括:

生理采集模块，与所述后台处理器连接，用于采集受试者完成测试任务过程中所产生的神经生理数据；

行为采集模块，与所述后台处理器连接，用于采集受试者在完成测试任务过程中所产生的行为数据资料；

所述后台处理器包括数据存储模块、时序模块和数据分析模块，所述数据存储模块与所述生理采集模块和行为采集模块实现数据连接，用于接收所采集到的生理数据和行为数据资料；所述时序模块用于将所采集到的生理数据和行为数据按照时间顺序存储到所述的数据存储模块中；所述数据分析模块用于对所述数据储存模块中的生理数据和行为数据资料进行分析，在线得出分析结果。

所述数据存储模块设有多个数据存储区，所述数据存储模块对所述数据采集单元中的各种数据采集模块所采集到的数据进行分类存储，所述数据分析模块对各数据进行同步在线分析。

所述系统还包括数据展示单元，其与所述后台处理器连接，用于对外显示所述数据采集单元的原始采集数据及所述后台处理器的在线分析结果。

所述数据采集单元还包括环境采集模块，用于采集受试者在测试时所处外部环境数据，其与所述后台处理器实现数据连接。

所述生理采集模块包括脑电数据采集设备、心电数据采集设备、皮肤电数据采集设备、血压数据采集设备、呼吸数据采集设备、体温数据采集设备和肌电数据采集设备中的一种和几种。

所述的行为采集模块为视频采集设备，用于记录受试者的面部表情、眼动和语音的行为数据。

所述系统中设有多个所述的数据采集单元，多个所述数据采集单元分别与同一所述后台处理器实现数据传输。

所述行为采集模块与所述生理采集模块分别通过无线与所述后台处理器实现数据传输。

所述系统中设有多个所述数据展示单元，所述数据展示单元与所述数据采集单元一一对应连接。

所述数据展示单元为视频显示设备。

本发明技术方案，具有如下优点：

a.本发明在采集系统中设置了后台处理器和数据采集单元，数据采集单元中的生理采集模块和行为采集模块分别与同一后台处理器形成数据连接，生理采集模块与行为采集模块所采集到的受试者的生理和行为数据直接传输到后台处理器中的数据存储模块，大大降低了数据采集系统的成本。

b.本发明通过时序模块将多模态数据实现在同一时间轴上的采集，并通过数据分析模块对所有采集到的数据进行同步分析，提高了数据融合分析的效率；更重要的是，多种电生理信号在同步采集过程中相互之间会产生噪声干扰；本发明在原始数据的融合采集过程中采用去燥、标准化和归一化等数据预处理方法，可以有效去除数据间的噪声干扰，提高对受试者心理和情绪状态分析的准确性。

c.本发明在数据存储模块中将各数据采集设备所采集到的数据进行分类整理和同步存储。受试者同时佩戴多种数据采集设备，所采集到的数据可以通过无线方式直接传输给同一后台处理器进行同步分析处理，所有采集的数据直接存储到同一数据存储模块中，提高了多模态数据存储和管理的效率。

d.本发明通过数据分析模块对多模态数据进行实时分析，并通过视频显示设备对外显示原始采集数据、在线分析结果、多模态数据的采集过程以及受试者进行测试时其所处的测试环境，方便主试人员全方位、全时程记录测试过程，有助于后期对受试者作出更加全面、客观的结果分析。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明所提供融合采集系统的结构示意图；

图2为本发明所提供融合采集系统的原理图；

图3为本发明所提供多个数据采集单元的数据融合采集传输框图。

图中：

1-后台处理器；2-数据采集单元；3-生理采集模块；4-行为采集模块；5-环境采集模块；6-数据展示单元；7-视频编码端；8-视频解码端。

具体实施方式

下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1和图2所示，本发明提供了一种多模态生理和行为数据融合采集系统，包括后台处理器1和数据采集单元2，后台处理器1集成于一台pc计算机中，用于接收数据采集单元2所采集的数据，其中的数据采集单元2包括生理采集模块3和行为采集模块4，其中的生理采集模块3和行为采集模块4与同一后台处理器连接，生理采集模块用于采集受试者完成测试任务过程中所产生的神经生理数据；

行为采集模块用于采集受试者在完成测试任务过程中所产生的行为数据资料。

如图2所示，其中的后台处理器3包括数据存储模块、时序模块和数据分析模块，数据存储模块与生理采集模块和行为采集模块实现数据连接，后台处理器可以通过蓝牙、wifi或其它无线网关传输模块接收所采集到的生理数据和行为数据资料；时序模块将所采集到的生理数据和行为数据按照时间顺序存储到数据存储模块中，使所有数据在同一时间轴下；其中的数据分析模块用于对数据储存模块中的生理数据和行为数据资料进行分析，在线得出分析结果。

本发明通过在系统中设置后台处理器和数据采集单元，数据采集单元中的生理采集模块和行为采集模块分别与同一后台处理器形成数据连接，生理采集模块与行为采集模块所采集到的受试者的生理和行为数据通过各设备中的sdk直接把数据读到后台处理器中的数据存储模块，使系统变得更简便，大大降低了采集系统的成本，提高了数据融合分析的效率，针对原始数据的融合采集还可以有效去除数据间的干扰，提高对受试者心理和情绪状态分析的准确性，本发明对所有采集到的数据进行同步分析，在线生成分析结果，为后期可以准确客观地完成受试者的综合测评分析打下基础。

更优选地，在数据存储模块中设有多个数据存储区，数据存储模块对数据采集单元中的各种数据采集模块所采集到的数据进行分类存储，比如依次获得受试者的脑电数据、皮电数据和行为数据，这样可以将三种数据存储在不同的位置中，通过数据分析模块分别对三种数据进行分析，也可以通过对上述三种数据进行融合分析。从而实现了通过一台后台处理器实时获取多模态下的采集数据，实时对采集数据进行同步分析，在线得出分析结果。

为了方便主试方人员更能直观看出对某一受试者的数据采集过程，在系统中还设有数据展示单元，其与后台处理器连接，用于对外显示数据采集单元的原始采集数据及后台处理器的在线分析结果。这里的数据展示单元为视频显示设备，有关受试者的测试、采集数据及在线分析结果分别通过对应的视频显示设备呈现给主试方。

更优选地，在数据采集单元中还包括环境采集模块，用于采集受试者在测试时所处外部环境数据，其与所述后台处理器实现数据连接，后期在对受试者进行任务测评时，便于对受试者进行更加全面、客观的结果分析。

本发明中所提及的生理采集模块包括脑电数据采集设备、心电数据采集设备、皮肤电数据采集设备、血压数据采集设备、呼吸数据采集设备、体温数据采集设备和肌电数据采集设备中的一种和几种。可以同时使用不同类型的采集设备进行数据采集，也可以根据任务要求选取其中的某一种或某几种进行佩戴使用。在进行数据采集时，由于多种电生理信号在同步采集过程中相互之间会产生噪声干扰，本发明在原始数据的融合采集过程中采用去燥、标准化和归一化等数据预处理方法，可以有效去除数据间的噪声干扰，提高对受试者心理和情绪状态分析的准确性。

其中的行为采集模块为视频采集设备，用于记录受试者的面部表情、眼动和语音的行为数据，并传输给后台处理器进行分析。

如图3所示，本发明可以在系统中设置多个数据采集单元和对应的多个数据展示单元，多个数据采集单元和多个数据展示单元分别与同一后台处理器实现数据传输，分别对各个数据采集单元的采集数据进行存储与同步分析，可以对多个受试者同时进行数据采集，通过一台后台处理器设备即可同步完成数据的存储与分析，然后通过对应的视频显示设备对外显示各个受试者的原始采集数据、在线分析结果、多模态数据的采集过程以及受试者进行测试时其所处的测试环境等，同步完成对多名受试者的在线分析。

最优选地，可以在不同的房间中采用对应的数据采集单元对不同的受试者进行数据采集，如图1和3所示，视频显示设备与数据采集单元呈一一对应设置。这样每个数据采集单元对应一名受试者，且数据采集情况由对应的视频解码端7通过数据展示单元5进行对外发布，有助于主试方同时对不同受试者进行视频观察。

当然，本发明所提供的数据融合采集系统不仅使用于一些行业特殊岗位的选拔上，还可以对某一岗位的工作人员进行定期的数据采集，保证这一岗位工作的安全开展；也适用于对老年人或儿童进行认知数据的采集，能全面、准确地对受试者的精神状态作出分析测评。

显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。