一种裸眼3D显示视觉诱导晕动症检测方法与流程

本发明涉及裸眼3d视频显示领域，更为具体地讲，尤其涉及一种裸眼3d显示视觉诱导晕动症检测方法。

背景技术

裸眼3d显示由于无需佩戴任何辅助设备(如3d眼镜、头盔等)的情况下，通过柱状透镜等先进光学技术与信号处理算法即可观看到具有冲击力的立体视觉效果，代表了3d显示技术未来的发展方向，可广泛用于传媒广告、展览展示、科研教育、影视娱乐等领域，能够给人们的生产、生活各方面带来全新的体验和视觉享受。近几年，随着4k及8k显示技术的快速发展，裸眼3d技术日渐成熟、软硬件不断完善，目前裸眼3d观看效果比过去有了很大的提高。随着3d技术的进一步发展、成本的降低、内容的逐步完善，裸眼3d显示将成为最新的显示和终极视频产品普及到家庭和各个应用领域。

在新兴产业发展规划中，裸眼3d显示被重点列入了新型显示专栏，并明确指出需掌握其相关的节目源、发射、传输、接收、显示等集成技术。市场预测机构idc在一项研究数据中指出，裸眼3d显示技术逐渐成熟，预计到2020年出货比重将达到18.4％。现阶段，大屏裸眼3d显示应用于家用市场还有一些技术及内容瓶颈，仅以裸眼3d手机、裸眼3dpad为例，该产业有上千亿的市场规模。

然而，人们在长时间使用裸眼3d显示设备观看3d视频的过程中，往往会产生眩晕、恶心甚至呕吐等症状，我们把这些症状统称为视觉诱导晕动症(visuallyinducedmotionsickness,vims)，这些症状严重影响着裸眼3d显示产品的用户体验，极大地制约着裸眼3d产品的推广与应用。因此，开展对vims的检测研究具有重要的意义。

关于vims的检测，以前有学者提出了一种动态驾驶环境中基于脑电波(electroencephalogram,eeg)的在线晕动评估系统。该系统需要更复杂的脑电采集设备以获得更多通道数的eeg数据的支持，然后进行通道选择和时频转换之后直接进行频带选择两个步骤，直接抛弃了较多通道和频带的信息；并且在时频分析的处理流程之后，该系统并没有进一步的对频域的特征进行充分利用。而本发明提出的vims检测算法则避免了上述问题，可以采用相对简单的脑电采集设备在仅有4个通道的eeg数据的情况下，仍能达到较高的检测准确率，适用于较少通道可穿戴无线设备条件下vims检测系统的构建。

技术实现要素：

本发明的目的在于克服现有技术的不足，提供一种基于eeg的视觉诱导晕动症检测算法，可以在较少通道数据eeg信号的情况下有效检测出vims的产生，丰富人们对vims的研究，从而为裸眼3d显示技术的改进与发展提供参考。

为实现上述发明目的，本发明提出一种基于eeg的裸眼3d显示视觉诱导晕动症检测算法，其特征在于，包括以下三大模块：预处理、特征提取与选择和vims状态分类，其中每个模块又分若干步骤，下面将做详细介绍：

s1：预处理模块：

s101：数据去重：

我们发现在采集的原始eeg数据中，有极少量的重复数据(相邻的记录中4个通道的浮点数完全相同视为重复)。平均每个受试者40万条记录中约有500条记录是重复的。这部分数据可能是由于muse的量化位数较少以及采样频率较低导致的，其中muse设备用是来采集eeg数据，完成基本的生理数据的采集。重复数据并不能准确表征即时的脑部状态，因此要予以去除。

s102：归一化：

由于原始eeg数据的数值波动较大，如果使用原始的数值进行分析，就会夸大数值较高的数据的作用。此外，在机器学习中有部分模型在各个维度进行不均匀伸缩后，最优解与原来不等价，例如支持向量机(supportvectormachine,svm)和人工神经网络(artificialneuralnetwork,ann)等。为了使得不同的数值具有可比性，并且不改变原始数据的分布，我们需要对原始eeg数据进行归一化处理。

s103：数据滤波：

科学研究表明，正常人的有效脑电信号频率涵盖0.5hz到50hz，而在脑电信号采集的过程中又不可避免的受到高功率的工频信号的影响。本发明实验数据是在美国哈佛医学院采集得到的，考虑到美国标准电压频率为60hz，故本发明设计选取上限为50hz的低通滤波器来去除脑电信号中的工频干扰。同时，考虑到既要保持带通区(50hz以下)eeg信号的良好特性，又希望能在带阻区(50hz以上)尽可能的衰减工频干扰，因此选择了带通区最平坦，阻带下降慢，但是最终能衰减至0的巴特沃斯滤波器。最终，本发明选择使用上限为50hz的巴特沃斯(butterworth)低通滤波器来去除eeg信号中的工频干扰。其中，butterworth滤波器是一种电子滤波器，它的特点是通频带内的频率响应曲线平坦，没有波形起伏变化，且在阻频带内则单调下降直至为零。

s2：特征提取与选择模块：

s201：特征提取：

在本发明的特征提取阶段，我们使用了两种不同方法从原始eeg信号中提取特征，包括基于eeg的小波特性得到的小波熵、各小波子带系数均值和统计特性计算出的最大值、最小值、均值和标准差。然后再对所有得到的44个候选特征与vimsl列作相关性分析，选取有显著性差异的22个特征作为最终的检测特征。本阶段主要是提取候选特征，是特征提取和选择的第一步。

本发明中共采集了4个通道(tp9、fp1、fp2、tp10)的eeg数据，对各通道的每个滑动窗口内的数据分别进行6阶小波变换求得小波系数和小波熵，因为正常人eeg信号的频率低于50hz，所以本发明中在对小波变换特征进行处理的时候，去掉了55hz～110hz的子带。因此对每个通道的每个滑动窗口数据就可以得到1个小波熵、6个子带系数均值和最大值、最小值、均值、标准差等11个候选特征，4个通道则一共有44(11*4)个候选特征。

s202：特征选择：

特征选择也被称为“特征子集选择”或则“属性选择”，一般是指从已有的候选特征集中选取一个最相关特征子集进行训练使得特定目标函数最优化，是改善学习模型性能的重要方法，更是模式识别过程中尤为关键的数据处理过程。从某种意义上来说，使用更精致的学习样本就能得到更优的实验结果。

在本发明中，我们采用的是计算每一个特征与响应变量的相关性的方法来进行特征选择。在步骤s201的特征提取过程中，算法综合了小波特征和统计特征共44个属性作为候选特征，但这些候选特征中有一些特征与实验的响应变量做相关性分析发现没有显著性差异产生，如果保留这些候选特征则会对训练结果有不好影响，因此应该把这些没有显著性差异的特征予以去除，提升算法精确度。

在本过程，对步骤s201提取出的44个特征数据分别与vimsl列作斯皮尔曼等级相关性分析(因为是连续型数据与等级分类型的数据做相关性分析，选择斯皮尔曼等级相关性分析更为合理)。

根据斯皮尔曼等级相关性分析结果，我们最终选择了具有显著性差异(sig<0.05)的22个相关特征作为最终的训练特征，分别是：tp9_entro、tp9_1、tp9_max、tp9_min、tp9_mean、tp9_std、fp1_entro、fp1_1、fp1_max、fp1_min、fp1_mean、fp1_std、fp2_entro、fp2_max、fp2_min、fp2_std、tp10_entro、tp10_1、tp10_max、tp10_min、tp10_mean、tp10_std。

注意：为了更好的保持原有数据中可能存在的vims信息与特性，我们这里只考虑特征与响应列是否存在显著性差异，而没有考虑相关系数的大小，即把所有相关列均保留下来，不从通道和频带层面进行降维。

s3：vims状态分类模块：

本发明中使用模式识别(模式分类)的算法模型来进行晕动特征检测。模式识别(patternrecognition,pr)，就是使用电脑把数学技术方法用于研究特征模式的自动处理和判读。而模式分类是使用分类函数或分类模型将特征集映射到某个或多个已知的类别，它是模式识别的重要组成部分，直接影响到其识别的效果，目前模式分类已经被运用到科学研究的各个方面。

在本发明中，我们主要用机器学习算法对上文得到的数据特征进行模式分类。在vims状态分类检测阶段，我们先把数据集合划分为70％的训练集和30％的测试集，并把上述过程得到的22列特征和vimsl列分别放到3种机器学习模型中进行有监督学习训练，包括随机森林(randomforests,rf)、svm和ann三种模型，最后再用测试集对模型结果进行评估和讨论。然后，结合裸眼3d显示特征及实验的具体情况，用来检测是否有晕动症状产生。最后我们对各个模型分别从准确率、精度、召回率、f1-score以及auc(areaundercurve,auc)值等多个评价指标进行综合考虑和分析，并确定最优的模式分类模型。其中，随机森林(rf)是本发明检测算法最终确定的模式分类模型，支持向量机和人工神经网络作为对比模型。

附图说明

图1为一种基于eeg的裸眼3d显示视觉诱导晕动症检测方法流程图。

图2为原始eeg信号滤波前后效果对比图。

图3为三种实验结果的受试者工作特征曲线，其中(a)为随机森林模型roc曲线；(b)为svm模型roc曲线；(c)为bp神经网络模型roc曲线。

图4为p9通道特征与vimsl列相关性分析结果表。

图5为fp1通道特征与vimsl列相关性分析结果表。

图6为fp2通道特征与vimsl列相关性分析结果表。

图7为tp10通道特征与vimsl列相关性分析结果表。

图8为模式识别二分类结果表。

图9为单个受试者二分类实验结果表。

具体实施方式

下面结合附图和具体的实施方式对本发明作进一步详细的描述。

图1为是本发明提出的基于eeg的裸眼3d显示视觉诱导晕动症检测方法流程图。本发明首先对eeg数据进行预处理；然后对预处理后的数据进行特征提取，并通过特征选择得到与vims级别(vimslevel,vimsl)数据相关性高的特征子集；最后，通过构造分类器对vims的状态进行分类，其主要包括以下步骤：

s1：预处理模块：

s101：数据去重：

我们发现在采集的原始eeg数据中，有极少量的重复数据(相邻的记录中4个通道的浮点数完全相同视为重复)。平均每个受试者40万条记录中约有500条记录是重复的。这部分数据可能是由于muse的量化位数较少以及采样频率较低导致的，其中muse设备用是来采集eeg数据，完成基本的生理数据的采集。重复数据并不能准确表征即时的脑部状态，因此要予以去除。

s102：归一化：

由于原始eeg数据的数值波动较大，如果使用原始的数值进行分析，就会夸大数值较高的数据的作用。此外，在机器学习中有部分模型在各个维度进行不均匀伸缩后，最优解与原来不等价，例如支持向量机(supportvectormachine,svm)和人工神经网络(artificialneuralnetwork,ann)等。为了使得不同的数值具有可比性，并且不改变原始数据的分布，我们需要对原始eeg数据进行归一化处理。

s103：数据滤波：

科学研究表明，正常人的有效脑电信号频率涵盖0.5hz到50hz，而在脑电信号采集的过程中又不可避免的受到高功率的工频信号的影响。本发明实验数据是在美国哈佛医学院采集得到的，考虑到美国标准电压频率为60hz，故本发明设计选取上限为50hz的低通滤波器来去除脑电信号中的工频干扰。同时，考虑到既要保持带通区(50hz以下)eeg信号的良好特性，又希望能在带阻区(50hz以上)尽可能的衰减工频干扰，因此选择了带通区最平坦，阻带下降慢，但是最终能衰减至0的巴特沃斯滤波器。最终，本发明选择使用上限为50hz的巴特沃斯(butterworth)低通滤波器来去除eeg信号中的工频干扰。其中，butterworth滤波器是一种电子滤波器，它的特点是通频带内的频率响应曲线平坦，没有波形起伏变化，且在阻频带内则单调下降直至为零。

按照图1所示的数据流程，输入4个通道(tp9、fp1、fp2、tp10)原始eeg信号进入系统，接下来把受试者的收据进行标记与综合，将各个受试者的vimsl和eeg数据按照采集时间对应起来，其中两个vimsl之间的状态和前一时刻相同。接着，对数据进行步骤102去重处理，去除原始数据里面重复的数据，接着进行步骤s102归一化及步骤s103数据滤波操作，使用上限为50hz的巴特沃斯滤波器滤除eeg信号中的工频干扰和肌电干扰。

滤波前后的fp1通道的时域和频域对比图如图2所示。其中，左上和右上为原始eeg信号滤波前后的时域图像，可以看到右侧的图线条明显比左侧图更淡，高频部分更少；而左下和右下则为eeg信号进行滤波前后的频域图像，可以明显看到在经过butterworth低通滤波器滤波之后，原始eeg信号在频率超过50hz的部分得到了极大的衰减，而频率在50hz以及以下的部分数据基本保持不变。这说明滤波器对工频干扰和肌电干扰起到了良好的抑制作用，去除了eeg信号中的噪声，同时最大限度的保护了正常人有效的脑电信号频带。

s2：特征提取与选择模块：

s201：特征提取：

在本发明的特征提取阶段，我们使用了两种不同方法从原始eeg信号中提取特征，包括基于eeg的小波特性得到的小波熵、各小波子带系数均值和统计特性计算出的最大值、最小值、均值和标准差。然后再对所有得到的44个候选特征与vimsl列作相关性分析，选取有显著性差异的22个特征作为最终的检测特征。本阶段主要是提取候选特征，是特征提取和选择的第一步。

本发明中共采集了4个通道(tp9、fp1、fp2、tp10)的eeg数据，对各通道的每个滑动窗口内的数据分别进行6阶小波变换求得小波系数和小波熵，因为正常人eeg信号的频率低于50hz，所以本发明中在对小波变换特征进行处理的时候，去掉了55hz～110hz的子带。因此对每个通道的每个滑动窗口数据就可以得到1个小波熵、6个子带系数均值和最大值、最小值、均值、标准差等11个候选特征，4个通道则一共有44(11*4)个候选特征。因数据量较大，所以采取不重叠滑动窗口将数据分段进，每段就是一个窗口。本发明试验中，窗口大小为500。

s202：特征选择：

特征选择也被称为“特征子集选择”或则“属性选择”，一般是指从已有的候选特征集中选取一个最相关特征子集进行训练使得特定目标函数最优化，是改善学习模型性能的重要方法，更是模式识别过程中尤为关键的数据处理过程。从某种意义上来说，使用更精致的学习样本就能得到更优的实验结果。

在本发明中，我们采用的是计算每一个特征与响应变量的相关性的方法来进行特征选择。在步骤s201的特征提取过程中，算法综合了小波特征和统计特征共44个属性作为候选特征，但这些候选特征中有一些特征与实验的响应变量做相关性分析发现没有显著性差异产生，如果保留这些候选特征则会对训练结果有不好影响，因此应该把这些没有显著性差异的特征予以去除，提升算法精确度。

在本过程中，对步骤s201提取出的44个特征数据分别与vimsl列作斯皮尔曼等级相关性分析(因为是连续型数据与等级分类型的数据做相关性分析，选择斯皮尔曼等级相关性分析更为合理)。以下部分简要介绍实验过程中斯皮尔曼等级相关性分析结果(该分析结果由统计学软件spss计算得到)。

根据斯皮尔曼等级相关性分析结果，我们最终选择了具有显著性差异(sig<0.05)的22个相关特征作为最终的训练特征，分别是：tp9_entro、tp9_1、tp9_max、tp9_min、tp9_mean、tp9_std、fp1_entro、fp1_1、fp1_max、fp1_min、fp1_mean、fp1_std、fp2_entro、fp2_max、fp2_min、fp2_std、tp10_entro、tp10_1、tp10_max、tp10_min、tp10_mean、tp10_std。

注意：为了更好的保持原有数据中可能存在的vims信息与特性，我们这里只考虑特征与响应列是否存在显著性差异，而没有考虑相关系数的大小，即把所有相关列均保留下来，不从通道和频带层面进行降维。

s3：vims状态分类模块：

本发明中使用模式识别(模式分类)的算法模型来进行晕动特征检测。模式识别(patternrecognition,pr)，就是使用电脑把数学技术方法用于研究特征模式的自动处理和判读。而模式分类是使用分类函数或分类模型将特征集映射到某个或多个已知的类别，它是模式识别的重要组成部分，直接影响到其识别的效果，目前模式分类已经被运用到科学研究的各个方面。

在本发明中，我们主要用机器学习算法对上文得到的数据特征进行模式分类。我们先进行两分类实验，主要目的是检测受试者是否有晕动产生。在vims状态分类检测阶段，我们先把数据集合划分为70％的训练集和30％的测试集，并把上述过程得到的22列特征和vimsl列分别放到3种机器学习模型中进行有监督学习训练，包括随机森林(randomforests,rf)、svm和ann三种模型，最后再用测试集对模型结果进行评估和讨论。然后，结合裸眼3d显示特征及实验的具体情况，用来检测是否有晕动症状产生。最后我们对各个模型分别从准确率、精度、召回率、f1-score以及auc(areaundercurve,auc)值等多个评价指标进行综合考虑和分析，并确定最优的模式分类模型，其中图8为模式识别二分类结果表。其中，随机森林(rf)是本发明检测算法最终确定的模式分类模型，支持向量机和人工神经网络作为对比模型。

图3为三种实验结果的受试者工作特征曲线。由实验结果可以看出，随机森林模型有较高的准确率和auc值，并且精度、召回率、以及f1-score值也较高，充分说明了本实验选用随机森林模型对数据集的分类有较好的稳定性，vims检测准确率较好，泛化能力较强，能够很好的处理比较复杂的非线性数据，尤其对于非平稳的生理信号有较好的建模能力，可以作为视觉诱导晕动症的检测模型；svm模型有较好的召回率，但是精度较低，说明模型容易过度预警，会较大概率的把非晕动情形检测为晕动情形；浅层的人工神经网络准确率也较低，虽然对训练数据有更大的容错能力，但是也需要更大的数据量或更优的特征提取方法，甚至是类似于cnn等自动进行特征提取的方法，本实验目前采集的数据和特征提取方法尚不能达到更好的实验效果。对比上述三种学习模型，随机森林(rf)模型对离异点和波动剧烈的数据有较好的处理能力，性能稳定，对本文的实验效果最好，因此选择随机森林作为本文实验的vims检测模型。

下面我们把8个受试者的特征数据分类，分别用上述3个模型对各单个的受试者生理数据进行模型验证进行综合模型评估。单个受试者二分类实验结果表为图9所示，随机森林模型仍然有较高的准确率和auc值，说明该模型有较好的泛化性能，选取的特征能较好的对视觉诱导晕动症进行检测，该结果也进一步验证了上面模型评估过程中选择的模型的正确性。同时，对比综合了8个受试者数据的实验结果和单个受试者数据的结果发现：训练好的随机森林模型在单个受试者数据上的结果比综合数据测试集上的结果有明显提高，说明各个受试者在vims产生时有相同的特征出现，但是也有个体差异，并且从单个受试者数据中不能完全的提取出晕动的特征，能从别的受试者个体的数据中学习到进行补充。

本说明书中公开的任一特性，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤之外，均可以以任何方式组合。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

本说明书(包括任何附加权利要求、摘要和附图)中公开的任一特征，除非特别叙述，均可被其他等效或具类似目的的替代特征加以替代。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。

本发明并不局限于前述的具体实施方式。本发明扩展到任何在本说明书中披露的新特征或任何新的组合，以及披露的任一新的方法或过程的步骤或任何新的组合。