本实用新型涉及社交感知设备研究领域，具体地，涉及一种可穿戴社交感知系统。
背景技术：
传统的社交行为分析，一般会采取摄像头实时跟踪记录，或将观察者安排在特定的环境下进行观察，或采用问卷的形式。然而，通过这些观察所获取的结果，往往不准确，并且在分析和判断中存在着一定的主观性，且实验的花费也很巨大，观察者的隐私也是一个十分重要的问题。
综上所述，本申请发明人在实现本申请实施例中实用新型技术方案的过程中，发现上述技术至少存在如下技术问题：
在现有技术中，社交行为采集装置和方式存在结果不准确，成本较高，隐私性较差的技术问题。
技术实现要素：
本实用新型提供了一种可穿戴社交感知系统，解决了现有的社交行为采集装置和方式存在结果不准确，成本较高，隐私性较差的技术问题，实现了系统设计合理，社交行为数据采集准确，成本较低，隐私性较好的技术效果。
为解决上述技术问题，本申请实施例提供了一种可穿戴社交感知系统，所述系统包括：
MCU模块(STM32F405RGT6Cortex-M4@168MH)、语音模块(CODEC编码器CS43L22和MEMS麦克风MP45DT02)、行为模块(MPU6050三轴加速器&陀螺仪传感器)、体征模块(脉搏传感器、血氧传感器和人体红外传感器)、环境模块(温湿度传感器SI7021和光线传感器BH1750FVI)，其中，语音模块、行为模块、体征模块、环境模块均与MCU模块连接。
其中，本申请中的模块均是现有技术中的模块，本申请的原理是分别利用语音模块采集用户语音数据，利用行为模块采集用户行为数据，利用体征模块采集用户的体征数据，利用环境模块采集环境数据，然后将这些采集的数据传递给MCU模块，利用MCU模块中现有的分析软件进行用户社交行为分析。
其中，所述语音模块包括：编译码器芯片、MEMS麦克风，所述编译码器芯片与所述MEMS麦克风连接。
其中，所述行为模块具体为：加速度传感器模块，加速度传感器模块内置有陀螺仪和数字运动处理器(DMP)，陀螺仪与数字运动处理器(DMP)连接。
其中，所述体征模块包括：心率传感器、血氧传感器、人体红外传感器，心率传感器、血氧传感器、人体红外传感器均与MCU模块连接。
其中，所述环境模块包括：温度传感器、湿度传感器、光传感器，温度传感器、湿度传感器、光传感器均与MCU模块连接。
其中，所述系统还包括手环，MCU模块、语音模块、行为模块、体征模块、环境模块均固定在手环上。
其中，所述系统还包括SD存储，所述MCU模块上设有SDIO接口。
其中，所述系统还包括电源模块，所述电源模块与MCU模块、语音模块、行为模块、体征模块、环境模块均连接。
本申请实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：
实现了系统设计合理，社交行为数据采集准确，成本较低，隐私性较好的技术效果。
附图说明
此处所说明的附图用来提供对本实用新型实施例的进一步理解，构成本申请的一部分，并不构成对本实用新型实施例的限定；
图1是本申请实施例一中可穿戴社交感知系统的组成示意图。
具体实施方式
本实用新型提供了一种可穿戴社交感知系统，解决了现有的社交行为采集装置和方式存在结果不准确，成本较高，隐私性较差的技术问题，实现了系统设计合理，社交行为数据采集准确，成本较低，隐私性较好的技术效果。
基于语音、行为、体征和环境信号特征提取和融合的可穿戴社交感知系统是一种客观分析人的身体和心理状态以及情绪表现，挖掘社交交互信息，帮助人们改善自身社交行为和身心辅助治疗的一种工具。
采用本申请中的可穿戴社交感知系统可以解决现有技术中的问题。同时，它在推断人在社会和人际交往中的交互感知作用和影响，为社会文化行为特性提供科学研究方法和工具，并在人际交往关系、身心健康状态评估、心理疾病检测和社会行为数据统计等方面提供客观依据。同时，它创新性扩展了自然科学研究应用领域，并为社会、文化、行为等社会科学研究领域提供了新的科学研究方法。可穿戴社交感知系统主要用于分析人类在社交行为中的特征，帮助人们改善在社交行为中存在的问题，辅助身心健康的治疗。
社交行为是心理学上的一个概念，本系统通过可穿戴设备获取人的语音信号、行为信号、体征信号和环境信号，从而综合分析人的社交行为，进而可以客观判断如：员工工作效率及幸福感、销售人员与客户的交互技巧、人的精神情绪和身心健康状态。
本发明的目的在于克服现在的社交行为分析的主观性(如调查问卷，研究者询问等方式)，隐私和高花费(摄像头)提出了一种可穿戴社交感知评估和反馈系统，以实现通过获取人的语音、行为、体征和环境信号等特征，综合分析人的社交行为，排除主观因素的干扰。
为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。
下面结合具体实施例及附图，对本发明作进一步地的详细说明，但本实用新型的实施方式不限于此。
实施例一：
为了实现上述发明目的，本发明基于语音、行为、体征和环境感知信号的提取和融合，综合分析人的社交行为，包括一下几个方面：
客观性。该系统获取的语音行为等数据均实在穿戴者日常情况下的随机行为，并没有主观的回避或表现。并且，研究者在分析穿戴者社交行为结果时，并没有主观的臆断，只是根据获取的数据通过某些算法分析获得。
便捷性。本系统采用易于携带的手环式设备，具有便捷性，主要由五个主要部分组成：控制器(微处理器MCU)、语音模块、行为模块、体征模块和环境模块。主要工作原理是由微处理器控制四个模块的工作与否，分别获取所需要的语音信号、行为信号、体征信号和环境信号。
请参考图1，MCU模块：本系统主要选用STM公司的STM32F405RGT6，相比于其它的MCU，如AT91SAM7S64、STM32F103CBT6和STM32F103TBU6，具有更高的运算性能，而且芯片内部还集成了FPU(浮点运算单元)和DSP指令，为以后在该平台上实现数据融合和算法提供基础。虽然封装较大(10mm×10mm)，但符合小型化的要求。
语音模块：本系统选用一颗CODEC芯片(比如WM8978G)加一个模拟MEMS麦克风获取语音信号。获得的语音信号首先会经过现有技术中的预处理，即预加重、分帧、加窗，提取语音样本信号特征(能量，自相关峰值和谱熵，相关技术内容可在[宋知用.Matlab在语音信号分析与合成中的应用.北京：北京航空航天大学出版社，2013]中找到，采用高斯混合模型(GMM)和隐形马尔科夫链(HMM)的建模和用Veterbi解码的方法(相关技术步骤可在[赵力.语音信号处理.北京；机械工业出版社，2003]中找到),将有人说话和无人说话的样本标记，实现语音分割，需说明：这里芯片将直接处理原始语音得到特征信号，不会记录声音，以此保证隐私性，然后对已经分割获取的人说话部分的特征，计算每帧的能量，再采用GMM和HMM的建模和方法，并用Veterbi解码的方法最终标记出穿戴者说话的部分。最后挖掘基于穿戴者的语音信号特征的社交行为特征。例如，通过语音短时能量、说话速率、音高、MFCC、自相关系数和语音信号熵等特征判断人在社交行为中的积极度(声音率、说话时间分数)、参与度(说话者话轮和影响性)、模仿度(小于1s的说话时间)和着重度(说话者共振峰频率、谱熵、短时能量)，客观地反映人心理状态(相关技术可参照[Honest signal.Alex Pentland.])。
i积极度。穿戴者的参与度可通过说话时间分数的Z-scored百分率与声音部分频率的乘积计算获取。说话时间分数可由对话中穿戴者的说话声音部分持续率计算得到，具体见公式(1)。声音部分的频率可由有声音的帧数和总帧数计算获得，具体见公式(2)。
s＝穿戴者说话帧数 n＝总说话帧数(说话部分)
v＝有声音的帧数，v＝无声音的帧数
ii参与度。参与度可通过一个人对另一个人的话轮Z-scored影响性获得。具体为，量化一个人对另一个人的影响性，通过用HMM(隐式马尔科夫)对参与者的说话状态建模，计算两个状态HMM的耦合度获得，具体见公式(3)。
αij＝链i和链j之间的影响性耦合参数 i＝1到N的链
t＝离散时间步长
iii模仿度。模仿度是对话中反复出现的由单个词组成的话，像“好的”、“恩”、“对的”等等。它可以通过两个说话者的短时声音部分(小于1s的说话)计算获得，具体见公式(4)。
模仿度＝{(S1(i)-S2(j))≤1sec}/n (4)
S1(i)＝说话者1的短时说话时间(<1s)
S(j)＝说话者2的短时说话时间(<1s)
注意：i和j是说话者1和说话者2相邻的状态
n＝说话部分的长度
{}＝在时间n中短对话的总数
iv着重度。着重性表示说话者有意识或者无意识地强调或按时某些信息。它可以通过共振峰频率、谱熵和短时能量的标准差之和计算获得，具体见公式(5)。
着重度＝∑std(α)+∑std(β)+∑std(δ) (5)
α＝共振峰频率，β＝谱熵，δ＝短时能量
行为模块：本系统采用MPU6050加速度传感器模块，该模块内置一颗陀螺仪和一个数字运动处理器(DMP)，可实现姿态结算，降低了运动处理运算对MCU的负荷，提高系统工作效率。获得的线速度和角速度信号通过特征提取(如，标准差、偏度、峰度等)，通过模式识别算法(如，支持向量机，决策树等，相关具体技术可参照[西奥多里蒂斯.模式识别(第四版).北京：电子工业出版社，2010])识别出睡眠、站立、坐着、走路、上楼、下楼、蹲着、跑步和摔倒等行为，融合语音社交感知特征，进一步分析人的身心健康状态。
i预处理。预处理主要由加窗、滤波、重采样、归一化等部分组成。预处理的目的是去除重力加速度、人体不自主的抖动产生的噪声、系统噪声等。加窗一般采用添加滑动窗的方式进行处理，可将长度不一的数据规范到相同的长度，方便处理。滤波通常采用低通滤波、高斯滤波、均值滤波等，为了去除原始信号中的噪声。针对由于运动速度不同而造成的采样数据长短不同意的问题，以及由于运动剧烈程度不同儿产生的信号幅度差异较大的问题，可采用重采样和归一化技术进行调整。
ii训练。随机挑选24个人(12个男生和12个女生，年龄段大概20-30岁之间)。让他们分别进行睡眠、站立、坐着、走路、上楼、下楼、蹲着、跑步和摔倒九种模式运动，并用可穿戴式设备记录数据，时间大约3min。将获取的数据提取行为感知特征(XYZ先加速度均值、标准差、能量和谱熵，XY、YZ、XZ相关系数，基频均值、能量、信息熵，转动频率均值、能量和信息熵)，并将获取的行为特征针对这九种行为做均值(所有人的每种行为数据分别做均值)。分别记录9种行为的数据，保存它们并将它们作为训练数据库存储。
iii识别。任意挑选一个人(可以不是24个人之列)，随机进行睡眠、站立、坐着、走路、上楼、下楼、蹲着、跑步和摔倒这九种行为(顺序可以随机进行，可减少行为的个数，随机地已进行上述行为)。采用KNN算法，分别计算与这九种行为的欧式距离，将距离最近的识别为该时刻这个人所进行的行为模式。同
时，用视频记录该过程并保存。
iv验证。将获取的视频导入到Elan中，并进行人工表示实验者的行为。将实验获取的行为与算法获取的行为作对比，得出实验结果的准确性。
体征模块和环境模块：本系统主要选用心率传感器、血氧传感器和人体红外传感器作为体征模块，同时选用温度湿度和光传感器作为环境模块，即通过这些传感器可获取人的心率、血氧和体温以及室外环境的温度湿度和光线强度，从而综合分析体征特征与人的某些社交行为的关系，以及环境变化对人的社交行为产生的影响。例如，根据心理学相关知识，当人处于较紧张情况下，他的心率可能会加快；同时，周围环境也可能对人的情绪产生影响。
(3)反馈性。该系统获得的社交感知信号数据(语音、行为、体征和环境信号)可通过专家系统快速判断穿戴者的身心健康状况和社交行为表现并同时把获取的判断信息迅速医生和穿戴者本人。医生可以根据穿戴者的身心健康状态给他提供一些改善身心健康状态的建议；同时，穿戴者也可以根据获得的结果改善自身的行为习惯等。此外，获取的穿戴者信息数据也可以导入数据库系统，以充实和完善专家系统。
(4)快速性。该系统获得的社交感知信号数据可直接导入现有设计好的软件中直接运行获得结果，无需主观地分析判断，可快速获知穿戴者的社交行为的影响。同时，采用可穿戴设备，可方便快速地获取穿戴者的语音、行为、体征和环境等信息，无需通常所采用的繁琐问卷或询问的方式。
(5)激励性。该系统在社交行为监护和身心健康辅助治疗方面，将采用积分奖励制度，激励穿戴者多进行社交活动和加强身体锻炼，增加穿戴者的社交行为和身心健康状态。例如，以一周为一个周期，当穿戴者每天坚持运动(如跑步)，则每天可获得2个积分，若喊他人一起运动，则可获得4个积分，他人可获也可获得4个积分；当穿戴者每天的交流次数大于10次，则每天可获得2个积分；当他的交流次数大于20次，则可获得4个积分。当周积分数大于35个时，将给予穿戴者一定的物质或精神奖励(先了解穿戴者的意愿，再决定奖励的具体内容)，以激发穿戴者的社交次数和运动次数。
身心健康社交感知特征数据库与智能反馈系统利用所研发设备，综合采集年龄范围(5至85岁)男女身心健康人群(身心健康评估可通过借助医生的客观评价评判)在平常生活状态下的上述社交感知特征，建立健康状态社交感知特征数据库；同理，综合采集年龄范围(5至85岁)男女身心健康有某类问题的社交感知特征数据库；以这两类数据构建专家反馈系统。具体为：利用研发的可穿戴设备采集穿戴者(5至85岁身心健康男女)的语音、行为、体征和环境信号，并通过语音信号处理和行为模式识别技术(相关技术内容可在书[宋知用.Matlab在语音信号分析与合成中的应用.北京：北京航空航天大学出版社，2013][Honest signal.Alex Pentland]中找到)提取穿戴者的语音感知特征、行为感知模式、心率、血氧、血氧以及环境的温度、湿度等；将获得的数据利用统计学技术(如：样本的平均值、方差、中值等，相关技术内容可在书[盛骤，谢式千，潘承毅.概率论与数理统计(第四版).北京：高等教育出版社，2008]中找到)建立相关模型并导入社交感知数据库。
本发明的目的是这样实现的：本发明基于语音、行为、体征和环境信号特征提取和融合的可穿戴社交感知系统，即通过可穿戴社交感知设备获得穿戴者的语音、行为、体征和环境信号，并通过相关的算法获取穿戴者的社交感知特征，如语音感知特征、行为感知特征、心率、血氧和体温、环境的温度、湿度和光线强度，再根据心理学的相关知识，综合分析人的社交行为，从而客观判断员工工作效率及幸福感、人的精神情绪状态和身心健康状态。
本系统将从以下几个方面具体阐述它的工作方式：
语音信号感知社交行为。语音模块获取的原始语音信号，可导入matlab中，通过语音特征提取、语音分割获取穿戴者语音信号，再通过穿戴者语音信号获取他的语音特征并分析这些语音特征与穿戴者的社交行为之间的关系，即获取穿戴者社交行为的积极度、参与度、模仿度、着重度。
行为信号感知社交行为。三轴加速器模块获取的原始线速度和角速度信号可导入matlab中，通过模式识别方法识别出穿戴者的状态(睡眠、站立、坐着、走路、下楼、上楼、蹲着、跑步和摔倒)，再通过这些状态分析穿戴者的状态与社交行为之间的联系。如通过监控人的睡眠状态判断人的心理压力状态、通过人的平时走路上楼下楼等状态与正常状态对比，判断人的精神情绪状态等。
环境和体征信号感知社交行为。与环境和体征相关的传感器可分别获取环境的温湿度以及人的心率和体温，通过这些环境和体征信号可用于分析它们与社交行为之间的关联。例如，当穿戴者处于紧张状态时，心率会加快，体温也会有所变化。外界环境的温湿度也会影响穿戴者的情绪状态。
最后，通过这些信号与社交行为的关系，综合分析判断员工工作效率及幸福感、人的精神情绪状态和身心健康状态，并将这些结果反馈给穿戴者以便他们做出相应的调整和改善。当客户带上可穿戴设备时，设备会通过各种传感器采集数据，并将获取的数据进行实时在线处理(可穿戴设备或者云端)，当发现异常指标时，此设备会则通过手机系统自动发出语音“感觉好不好”，当你回答不好时，手机系统会再次确认，避免因为客户的口误而导致的错误。当确实真的良好后，该设备则会返回初始状态继续监测人的健康状态指标。当被确认回答不好时，手机系统会询问“是否需要给某人打电话”。当穿戴者回答需要拨打电话的人名时，系统会自动搜索该人名并自动给他拨号。当回答不是或者沉默至超时，手机系统则自动播出语音“我将给急救中心打电话”，并立刻拨打急救中心电话，对穿戴者进行救援。
上述本申请实施例中的技术方案，至少具有如下的技术效果或优点：
实现了系统设计合理，社交行为数据采集准确，成本较低，隐私性较好的技术效果。
尽管已描述了本实用新型的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本实用新型范围的所有变更和修改。
显然，本领域的技术人员可以对本实用新型进行各种改动和变型而不脱离本实用新型的精神和范围。这样，倘若本实用新型的这些修改和变型属于本实用新型权利要求及其等同技术的范围之内，则本实用新型也意图包含这些改动和变型在内。