用于确定用户痴呆程度的方法及装置与流程

本发明涉及用于确定用户痴呆程度的技术，尤其，涉及基于用户语音确定用户痴呆程度的装置及方法。

背景技术：

1、随着社会老龄化，痴呆症属于老年生活中最严重的疾病，在过去的10年里呈急剧增加趋势，社会经济成本也呈剧增趋势。并且，由于患者无法独立生活，不仅对本人生活造成影响，而且，失踪、自杀等事故会给照顾患者的家人带来巨大痛苦。虽然，痴呆症可通过早期诊断和适当治疗来防止或延缓认知功能进一步下降，但是，当前这种疾病存在早期诊断层面上的问题。由于需要访问医院等专门的医疗机构，并且，在感觉健忘症加重而入院的患者中，已发展为轻度认知障碍(mci)或阿尔茨海默病(ad)的患者相对较多，用于诊断的神经认知功能检查(snsb-ii、cerad-k等)需要具备充足经验和技术的医疗人员才能够获得较高的可靠性，核磁共振检查(mri)或单光子发射扫描(spect)、正电子断层扫描(pet)、脑脊液检查等不仅诊断费用高，而且对接受诊断的患者也会造成很大的不便。

技术实现思路

1、技术问题

2、本发明的目的在于，提供用于确定用户痴呆程度的方法及装置。

3、本发明的再一目的在于，提供基于用户语音确定用户痴呆程度的装置及方法。

4、技术方案

5、根据一实施方式，本发明提供的痴呆程度确定方法由电子装置执行，用于确定用户的痴呆程度，其包括如下步骤：通过用户终端输出为了确定用户的痴呆程度而预先制作的第一内容；通过上述用户终端的麦克风接收与获取的上述第一内容有关的上述用户的第一语音；通过上述用户终端输出预先制作的第二内容；通过上述麦克风接收与获取的上述第二内容有关的上述用户的第二语音；通过将上述第一语音的至少一个特性可视化来生成第一语谱图(spectrogram)；通过将上述第二语音的至少一个特性可视化来生成第二语谱图；向预先更新的第一卷积神经网络(cnn，convolutional neural network)输入上述第一语谱图来生成与上述第一语音有关的预设数量的多个第一特征；向预先更新的第二卷积神经网络输入上述第二语谱图来生成与上述第二语音有关的预设数量的多个第二特征；从多个上述第一特征及多个上述第二特征中确定预设数量的多个目标特征；以及向预先更新的深度神经网络(dnn，deep neural network)输入多个上述目标特征来确定上述用户的痴呆程度，通过上述用户终端输出所确定的上述痴呆程度。

6、上述第一内容可包含用于接收上述第一语音的指令(instruction)。

7、上述第一内容可以为使得用户跟读句子的内容、猜出输出图像的名称的内容、对输出图像进行说明的内容、用于判断语言流畅性的内容、用于数字运算的内容及引导讲故事(story telling)的内容中的一个。

8、通过将上述第一语音的至少一个特性可视化来生成第一语谱图的步骤可包括如下步骤，通过音频特征提取工具(librosa tool)生成与上述第一语音有关的上述第一语谱图。

9、上述第一语谱图的尺寸与上述第二语谱图的尺寸可相同。

10、上述第一卷积神经网络可基于vgg16模型预先更新。

11、上述第一卷积神经网络包括输入层及5个卷积层块，不包括全连接层(fullyconnected layer)及softmax，由此可生成与上述第一语谱图有关的多个上述第一特征。

12、上述痴呆程度确定方法还可包括更新上述第一卷积神经网络的步骤。

13、更新上述第一卷积神经网络的步骤可包括如下步骤：接收与上述第一内容有关的测试用户的第一测试语音；通过将上述第一测试语音的至少一个特性可视化来生成第一测试语谱图，在上述第一测试语谱图标记有上述测试用户的基准真相(gt，ground truth)痴呆程度；向第一全卷积神经网络输入上述第一测试语谱图来确定上述测试用户的第一测试痴呆程度，上述第一全卷积神经网络包括输入层、至少一个卷积层块、全连接层及softmax；以及基于上述第一测试痴呆程度及上述基准真相痴呆程度更新上述第一全卷积神经网络，上述第一卷积神经网络仅包括更新的上述第一全卷积神经网络的多个层中的上述输入层及上述至少一个卷积层块。

14、上述痴呆程度确定方法还可包括如下步骤，在包括上述第一卷积神经网络及上述第二卷积神经网络的多个卷积神经网络完成更新后，更新上述深度神经网络。

15、更新上述深度神经网络的步骤可包括如下步骤：在基于第一测试语谱图生成的预设数量的多个第一测试特征及基于多个第二测试语谱图生成的预设数量的第二测试特征中确定预设数量的多个测试目标特征，在多个上述测试目标特征标记有上述测试用户的基准真相痴呆程度；向上述深度神经网络输入多个上述测试目标特征来确定上述测试用户的第二测试痴呆程度；以及基于上述第二测试痴呆程度及上述基准真相痴呆程度更新上述深度神经网络。

16、更新上述深度神经网络的步骤还包括如下通过k折交叉验证方法验证上述测试目标特征的步骤，上述k为2以上的自然数，在未验证到多个上述测试目标特征的情况下，可再次更新上述第一卷积神经网络及上述第二卷积神经网络。

17、通过上述k折交叉验证方法验证多个上述测试目标特征的步骤可包括如下步骤：将多个测试目标特征集分成上述k个组；基于上述k个组分别更新k个初始深度神经网络来生成k个测试深度神经网络；以及基于上述k个测试深度神经网络的准确率验证多个上述测试目标特征。

18、根据再一实施方式，本发明提供的电子装置用于确定用户的痴呆程度，其包括：存储器，记录有用于确定用户的痴呆程度的程序；以及处理器，用于执行上述程序，上述程序执行如下步骤：通过用户终端输出为了确定用户的痴呆程度而预先制作的第一内容；通过上述用户终端的麦克风接收与获取的上述第一内容有关的上述用户的第一语音；通过上述用户终端输出预先制作的第二内容；通过上述麦克风接收与获取的上述第二内容有关的上述用户的第二语音；通过将上述第一语音的至少一个特性可视化来生成第一语谱图(spectrogram)；通过将上述第二语音的至少一个特性可视化来生成第二语谱图；向预先更新的第一卷积神经网络(cnn，convolutional neural network)输入上述第一语谱图来生成与上述第一语音有关的预设数量的多个第一特征；向预先更新的第二卷积神经网络输入上述第二语谱图来生成与上述第二语音有关的预设数量的多个第二特征；在多个上述第一特征及多个上述第二特征中确定预设数量的多个目标特征；以及向预先更新的深度神经网络(dnn，deep neural network)输入多个上述目标特征来确定上述用户的痴呆程度，通过上述用户终端输出所确定的上述痴呆程度。

19、根据另一实施方式，本发明提供的卷积神经网络更新方法由电子装置执行，用于更新为了确定用户的痴呆程度而使用的卷积神经网络，其包括如下步骤：通过用户终端输出为了确定用户的痴呆程度而预先制作的第一内容；接收与上述第一内容有关的测试用户的第一测试语音；通过将上述第一测试语音的至少一个特性可视化来生成第一测试语谱图，在上述第一测试语谱图标记有上述测试用户的基准真相(gt，ground truth)痴呆程度；向全卷积神经网络输入上述第一测试语谱图来确定上述测试用户的测试痴呆程度，上述全卷积神经网络包括输入层、至少一个卷积层块、全连接层及softmax；以及基于上述测试痴呆程度及上述基准真相痴呆程度更新上述全卷积神经网络，上述卷积神经网络仅包括更新的上述全卷积神经网络的多个层中的上述输入层及上述至少一个卷积层块。

20、根据又一实施方式，本发明提供的电子装置用于更新为了确定用户的痴呆程度而使用的卷积神经网络(cnn，convolutional neural network)，其包括：存储器，记录有用于更新上述卷积神经网络的程序；以及处理器，用于执行上述程序，上述程序执行如下步骤：通过用户终端输出为了确定用户发热痴呆程度而预先制作的第一内容；接收与上述第一内容有关的测试用户的第一测试语音；通过将上述第一测试语音的至少一个特性可视化来生成第一测试语谱图，在上述第一测试语谱图标记有上述测试用户的基准真相(gt，groundtruth)痴呆程度；向全卷积神经网络输入上述第一测试语谱图来确定上述测试用户的第一测试痴呆程度，上述全卷积神经网络包括输入层、至少一个卷积层块、全连接层及softmax；以及基于上述测试痴呆程度及上述基准真相痴呆程度更新上述全卷积神经网络，上述卷积神经网络仅包括更新的上述全卷积神经网络的多个层中的上述输入层及上述至少一个卷积层块。

21、发明的效果

22、本发明可提供用于确定用户痴呆程度的装置及方法。

23、本发明可提供基于用户语音确定用户痴呆程度的装置及方法。