一种基于多模态情感分析的相似识别方法

1.本发明涉及信息技术领域，尤其涉及一种基于多模态情感分析的相似识别方法。


背景技术：

2.目前，在传统学习机中的人机交互方式较为传统，一般为讲早教故事、帮助儿童识图等，儿童此时是被动的听故事或判断事物，难以评估儿童学习上是否有误解或者某些内容的歧义。尤其是在ar投影学习机中，因为投影内容随着投影环境变化，可能出现模糊和可以变大变小等问题，导致不像纸质版书籍一样清晰。并且，由于人机交互方式不够人性化、智能化，故对于一些相似事物的识别可能出现不准确，进而导致儿童理解困难、甚至误导儿童的情况。比如：某个绘本投影内的事物被识别为猩猩，但小孩可能觉得是猴子，再比如：对于土与士两个字以及同字不同义的辨别，很多时候容易产生歧义。另外，对于有些教学内容的情感态度也容易导致儿童误解，比如：对于阿里巴巴与四十大盗的故事，有些儿童可能理解为如何积极勇敢聪明的想办法与强盗斗智斗勇，有些儿童也可能会理解为阿里巴巴在用油烫死强盗，因此会产生碰滚烫的油去玩、抢劫他人等危险想法。因此在教学内容出现问题或者导致误解时，如何才能得到一个更直观化的、积极正面的共创教学内容，例如通过儿童家长或老师录制的教学来帮助儿童更好地引导是一个问题，但是，这样又导致另外一个问题，由儿童家长或老师录制的共创内容，不一定能达到质量要求，可能存在由于知识储备不足等问题而导致的教学内容无法正确引导儿童，甚至产生认知错误的情况。ar投影学习机在教育方面普遍具有自定义内容的功能，帮助儿童理解问题需要具有判断力的家长或者老师来提供自定义的内容。还有很重要的技术问题是，得识别出哪些内容需要自定义，哪些不用自定义。但并不是所有相似内容都需要被再次自定义，因为会增加了很多工作量。同时，儿童产生误解时，儿童家长和老师很可能无法及时地帮助儿童解答它们的困惑，时间长了容易遗忘具体问题，导致疑惑一直存在。在识别出相似事物的同时加入人工的教学会起到一个很好的帮助，但如何选择一个优质的共创教学内容目前没有一个可行的方案。因为共创内容也肯能本身也存在歧义内容。因此如何准确识别绘本中相似事物以及匹配最佳人工教学内容，避免 ar学习机存在的教学困惑的问题，是一个值得解决的问题。


技术实现要素：

3.本发明提供了一种基于多模态情感分析的相似识别方法，主要包括：
4.获取ar投影学习机中的教学内容，判断教学内容中的图像信息是否相似，如果相似再进一步判断是否存在歧义内容，所述获取ar投影学习机中的教学内容，判断教学内容中的图像信息是否相似，如果相似再进一步判断是否存在歧义内容，具体包括：基于图像信息，判断图像内容相似度，基于图像特征信息，判别相似图像是否存在歧义；当图像存在歧义时，进一步对教学内容中的语音信息进行语音检测，判别所述图像对应的语音信息是否也为相似但不存在歧义，还是相似但存在歧义；当图像和语音都具有较大相似性和歧义时，对教学内容的文字信息进行文字检测，判别文字信息是否也为相似文字且存在歧义内容；
当判断出图像语音和文字中，有一种存在无歧的内容时，放弃标识该内容为自定义教学内容，只针对教学内容中图像信息、语音信息与文字信息的相似且存在歧义的判断结果进行标识；根据教学者的情感导向、解答能力与学历分配需要解答的相似但存在歧义的内容，具体包括：根据教学内容的情感倾向性，根据教学者的解答内容进行教学内容情感检测，判断是否存在正面内容被共创者负面解读；根据教学者的解答内容的多模态共创内容指标，并根据解答内容是否也存在歧义，构建预测模型评价解答内容，所述根据教学者的解答内容的多模态共创内容指标，并根据解答内容是否也存在歧义，构建预测模型评价解答内容，具体包括：将人工标注的歧义内容与教学者的解答内容进行聚类匹配，得到目标解答内容集，构建用户偏好模型，根据教学者的解答内容得到用户偏好分数；根据解答内容的情感强度检测结果优先推荐给用户，并调整预测模型；根据用户标注的歧义内容的推荐系数，完成解答内容匹配。
5.进一步可选地，所述获取ar投影学习机中的教学内容，判断教学内容中的图像信息是否相似，如果相似再进一步判断是否存在歧义内容包括：
6.通过ar投影学习机获取教学内容，将教学内容中图像信息对应特征进行识别分类,通过图像识别模块识别物体身份和物体动作；其中，物体身份特征由图像色块与图像方差构成，物体动作由图像轮廓构成；通过提取教学内容中的图像信息，对图像中的信息进行相似度判别，如果相似，进一步将图像信息分为相似但无歧义内容、相似且存在歧义内容；其中，对图像识别不同信息会进行差异化标注，且对相似且存在歧义信息的内容进行进一步识别；包括：基于图像信息，判断图像内容相似度；基于图像特征信息，判别相似图像是否存在歧义；
7.所述基于图像信息，判断图像内容相似度，具体包括：
8.图像相似判断指标包括图像方差、图像轮廓、色块差异。获取图像相似判断指标获取教学内容中的图像信息，对图像进行灰度处理，将每一行的平均像素值作为物体的特征值，计算图像中不同物体的特征方差，获取图像中物体之间的差异。基于cnn卷积神经网络构建轮廓识别模型，实现对图像中物体轮廓的提取，通过计算不同物体之间的hu矩，获得图像中不同物体轮廓区别特征。将图像中出现的物体图像进行分割，获得不同物体之间的图像方块，基于opencv获取绘本物体间的色块，进行比对获取不同的色块数量，作为色块差异。构建图像相似度模型，s＝w*xi,其中i＝1,2,3,x1为图像方差、x2为hu矩、x3为色块差异，w 为图像相似度的权重。运用sigmoid函数进行相似度计算，将图像相似度结果转化为区间0 到1的数值，当图像相似度大于预设的图像相似阈值时，判定图像为相似。
9.所述基于图像特征信息，判别相似图像是否存在歧义，具体包括：
10.获取被图像相似度模型判别为相似的图像信息，将图像信息进行预处理与人工特征标注。将图像信息导入基于神经网络的有监督模式识别方法构建图像歧义判别模型。将信息分类为植物、食物、动物、人物、器物五类作为样本数据，按照样本数据的类别分别对图像信息进行特征提取得到数据集。将数据集分为训练集与测试集，获取用户在ar投影学习机中实时标注的歧义内容特征，赋予这些数据分类为易造成儿童误解的数据与不易造成儿童误解的数据的第一标签。然后将第一标签输入分类器，训练分类器预测学习第一标签的样本具有图像特征，建立分类标准。最后将测试集输入分类器，对数据分类为相似且存在歧义与相似但无歧义，根据预测结果与实际结果比对，反向传播调整分类器参数，优化分类
器，完成图像歧义判别模型的构建。通过图像歧义判别模型判断数据是否相似且存在歧义。
11.进一步可选地，所述当图像存在歧义时，进一步对教学内容中的语音信息进行语音检测，判别所述图像对应的语音信息是否也为相似但不存在歧义，还是相似但存在歧义包括：
12.当识别出图像存在歧义后，进一步的获取该图像对应的语音信息；通过语音识别获取教学内容中每个字的语音信息，其中语音信息包括字母、声调与声调所在字母的位置；将字与字之间字母信息进行首字母对齐，当字与字之间字母信息相同时，用第一特征值标记，作为字母相似指标，当字与字之间的声调相同时，用第二特征值标记，作为声调相似指标，当声调所处字母的位置相同时，用第三特征值标记，作为声调位置相似指标；将教学内容中字与字之间语音信息分为一个数据，将教学内容中所有字与字之间比对的语音信息数据分为训练集与测试集，人工分类为语音信息相似与语音信息不相似的数据；将字母相似指标、声调相似指标与声调位置相似指标，输入有监督学习的逻辑回归模型，训练逻辑回归模型，预测语音信息是否相似，将预测结果与测试结果比对，调整逻辑回归模型模型参数，优化逻辑回归模型；当语音信息经过逻辑回归模型判断语音信息存在相似时，对语音信息进行是否存在歧义判别，运用ar学习机提取教学内容中的文字信息，与语音信息进行对应匹配，通过文字信息中的上下文，基于词典，进行语义识别；将基于词典进行语义识别后的解释信息，运用 one-hot编码对语义进行向量化，将语义信息分类为语义歧义与非语义歧义数据的语义歧义标签；然后将语义歧义标签输入分类器，训练分类器预测学习标签样本的语义文字特征，建立分类标准；最后将语音测试集输入分类器，语音测试集分类为语义歧义与非语义歧义，根据预测结果与实际结果比对，反向传播调整分类器参数，优化分类器，完成语义歧义模型的构建。
13.进一步可选地，所述当图像和语音都具有较大相似性和歧义时，对教学内容的文字信息进行文字检测，判别文字信息是否也为相似文字且存在歧义内容包括：
14.当教学内容中的图像和语音都存在歧义时，提取教学内容的文字信息，基于cnn卷积神经网络模型构建语义相似模型，提取文字信息中形态特征进行预处理，导入进行训练，判别文字信息之间是否相似；当语义相似模型判别文字信息为相似时，加入教学内容中上下文的文字信息，结合上下文信息基于词典，进行语义识别，导入语义歧义模型，判别文字信息是否存在歧义；将语义歧义模型判别的结果分类为相似文字信息存在歧义与相似文字信息但无歧义。
15.进一步可选地，所述当判断出图像语音和文字中，有一种存在无歧的内容时，放弃标识该内容为自定义教学内容，只针对教学内容中图像信息、语音信息与文字信息的相似且存在歧义的判断结果进行标识包括：
16.获取教学内容的判断结果，合并教学内容中图像信息、语音信息与文字信息的相似且存在歧义的内容；根据ar投影学习机中设立的开放式教学平台，将相似且存在歧义内容发送给教学者；当判断出存在相似，且有歧义的内容时，标识该内容为待自定义内容；标识方式是在内容判别通过特定图标或者自定义标识，进行自动机器自动标识；当判断出存在相似，但却无歧义的内容时，放弃标识该内容为待自定义内容。
17.进一步可选地，所述根据教学者的情感导向、解答能力与学历分配需要解答的相似但存在歧义的内容包括：
18.在ar投影学习机的开放式教学平台中，教学者通过开放式创作平台解答相似但存在歧义内容；通过ar投影学习机获取教学者信息，构建教学者权限能力模型q＝a*p+b，其中a 为学历分数，p为解答能力得分，b为解答情感得分；对需要解决歧义的内容转化为文字信息，与教学者在ar投影机中历史解答问题的答案内容进行比对，计算文本之间的文本余弦相似度，文本余弦相似度的值作为解答内容匹配度；对教学者解答问题的情感倾向进行情感检测，得到情感值为解答情感得分；将解答内容匹配度除以解答时间的值作为解答能力得分，其中解答时间为提问者在ar投影中标注歧义内容特征的时间至教学者回答歧义内容的时间长度；其中标注学历分数，0表示专科学历,1表示本科学历,2表示硕士研究生学历,3表示硕士研究生学历以上；将匹配的教学者按权限能力q从高到低排列，根据权限能力开放解答内容权限；包括：根据教学内容的情感倾向性，根据教学者的解答内容进行教学内容情感检测，判断是否存在正面内容被共创者负面解读；
19.所述根据教学内容的情感倾向性，根据教学者的解答内容进行教学内容情感检测，判断是否存在正面内容被共创者负面解读，具体包括：
20.获取ar投影仪的教学内容的题目与摘要，获取国家教育出版社中经典的课堂内容题目与摘要，通过比较两者的题目和摘要，判断所述内容是否为国家经典教材内容，如果是，则确定所述教学内容为正面内容。利用python对通过教学者共创的解答内容进行分句，得到分词分句后的文本语料，并将结果与通用的停用词表比对，去除停用词。对解答内容进行情感分析，基于通用的情感字典判断情感词为积极词还是消极词，统计解答内容中的出现情感词数目，并在ar投影教学机中进行标注，含有积极词，则积极词数目加1，含有消极词，则消极词数目加1。判断解答内容的情感词前面是否存在程度副词，如果存在，根据程度副词的种类赋予不同的权重，乘以情感词数，句尾存在问号、感叹号，则情感词数目增加预设值。统计计算内容的情感值，积极词数目-消极词数目，得到该段文本的情感倾向，内容中积极词数目-消极词数目的值为正数，内容判定为积极，积极词数目-消极词数目为负数，判定为消极。统计解答内容中每一段内容的情感值，相加得到解答内容的情感值。如果教学内容为积极，教学者的解答内容为消极，则丢弃解答内容，不录入备选解答库中。
21.进一步可选地，所述根据教学者的解答内容的多模态共创内容指标，并根据解答内容是否也存在歧义，构建预测模型评价解答内容包括：
22.获取解答内容的多模态共创内容指标，包括：解答内容歧义特征、解答时长、用户偏好分数，多模态共创内容指标进行预处理与正向化后，输入预测模型中，通过预测模型输出该解答内容是否优质；预测模型的训练过程如下：将用户在ar投影学习机中进行人工标注的歧义内容，将人工标注的歧义内容与教学者的解答内容进行聚类匹配，得到目标解答内容集；计算目标解答内容集的多模态优质解答内容推荐系数，k＝f(x)*t*l,f(x)为解答内容歧义值，k为推荐系数，t为解答时长、l为用户偏好分数，其中，用户偏好分数l通过构建用户偏好模型，并根据教学者的解答内容得到；解答内容歧义值通过相似歧义内容判断，当解答内容被判定为相似且存在歧义内容时，解答内容歧义值为0，当解答内容被判定为相似但无歧义内容时，解答内容歧义值为1；将目标解答内容集中推荐系数高于评价阈值的多模态共创内容指标人工标注为优质内容，将人工标注后目标解答内容集作为特征向量，输入神经网络模型进行训练，神经网络模型的响应向量为是否优质的评价结果，训练并验证后的神经网络模型作为预测模型，当再次获取到新的解答内容时，通过预测模型输出该解答
内容是否优质根据解答内容的情感值和是否优质的评价结果对解答内容集进行分类；包括：将人工标注的歧义内容与教学者的解答内容进行聚类匹配，得到目标解答内容集；构建用户偏好模型，根据教学者的解答内容得到用户偏好分数；
23.所述将人工标注的歧义内容与教学者的解答内容进行聚类匹配，得到目标解答内容集，具体包括：
24.获取ar投影学习机中解答内容与人工标注的歧义内容。以人工标注的歧义内容为关键字，将关键字在解答内容中出现的次数作为词频，将包含该关键字的解答内容数量除以总解答内容数量，再将得到的商取对数得到频率；将解答内容的文本转化为文本特征向量，其中文本特征向量的词频数作为x值，频率作为y值，将得到的文本特征向量运用canopy聚类算法进行预处理，利用k均值聚类算法对(x,y)坐标进行分类。取(x,y)坐标最高的解答内容集作为目标解答内容集。
25.所述构建用户偏好模型，根据教学者的解答内容得到用户偏好分数，具体包括：
26.构建用户偏好模型g＝w1*z1+w2*z2，其中，g为用户偏好分数，w1为用户数量分数，z1 为用户数量对应权重，w2为用户满意度分数，z2为用户满意度对应权重。统计在ar投影学习机中对所有解答内容进行互动的互动用户数量总和，将该解答内容互动用户数量除互动用户数量总和，得到用户数量分数。统计在ar投影学习机中所有互动用户对该解答内容的总满意度，将总满意度相加除互动用户数量总和，得到用户满意度分数。获取该解答内容的用户数量分数与用户满意度分数，输入用户偏好模型得到用户偏好分数g。
27.进一步可选地，所述根据解答内容的情感强度检测结果优先推荐给用户，并调整预测模型包括：
28.获取预测模型判定为优质的解答内容；对解答内容进行情感检测，将解答内容的情感值由大到小进行排列，筛选出情感值top-n个解答内容优先推荐给用户，并将优先推荐给用户的解答内容返回输入预测模型进行训练，调整预测模型。
29.一种基于多模态情感分析的相似识别方法其特征在于，所述系统包括：
30.获取用户在ar投影学习机中实时标注的易造成儿童误解的数据与不易造成儿童误解的数据的第一标签，将标注第一标签的教学内容的图像信息、语音信息与文字信息，发送给教学者进行解答，确定教学者的解答内容的多模态优质解答内容推荐系数，根据情感检测筛选积极的解答内容后，按照推荐系数的高低排序，将解答内容推荐给标注该第一标签的用户。
31.本发明实施例提供的技术方案可以包括以下有益效果：
32.本发明检测用户在进行教学过程中，通过ar投影学习机使用多模态识别技术，判别哪些是文本或语音或者图像容易发生歧义的内容。针对这些内容，获取家长和老师的信息，将问题实时同步匹配给合适的家长和老师进行解答，加入家长和老师共创的模式进行内容自定义教学用于避免歧义。但是由于共创内容，可能还存在内容残差不齐的问题，因此对内容再次进行多模态的情感分析判别，进行质量排序，去除不合格的解答，以便在尽可能短的时间内获得最正面和正确的内容。
附图说明
33.图1为本发明的一种基于多模态情感分析的相似识别方法的流程图。
34.图2为本发明的一种基于多模态情感分析的相似识别方法的示意图。
35.图3为本发明的一种基于多模态情感分析的相似识别方法的又一示意图。
具体实施方式
36.为了使本发明的目的、技术方案和优点更加清楚，下面结合附图和具体实施例对本发明进行详细描述。
37.图1为本发明的一种基于多模态情感分析的相似识别方法流程图。如图1所示，本实施例一种基于多模态情感分析的相似识别方法具体可以包括：
38.步骤101，获取ar投影学习机中的教学内容，判断教学内容中的图像信息是否相似，如果相似再进一步判断是否存在歧义内容。
39.通过ar投影学习机获取教学内容，将教学内容中图像信息对应特征进行识别分类,通过图像识别模块识别物体身份和物体动作。其中，物体身份特征由图像色块与图像方差构成，物体动作由图像轮廓构成。通过提取教学内容中的图像信息，对图像中的信息进行相似度判别，如果相似，进一步将图像信息分为相似但无歧义内容、相似且存在歧义内容。其中，对图像识别不同信息会进行差异化标注，且对相似且存在歧义信息的内容进行进一步识别。例如：图像表示的信息为一只猴子与一只猩猩在草地中打架，那么通过图像识别，猴子与猩猩存在高相似度，存在混淆儿童的信息，打架属于负面信息。
40.基于图像信息，判断图像内容相似度。
41.图像相似判断指标包括图像方差、图像轮廓、色块差异。获取图像相似判断指标获取教学内容中的图像信息，对图像进行灰度处理，将每一行的平均像素值作为物体的特征值，计算图像中不同物体的特征方差，获取图像中物体之间的差异。基于cnn卷积神经网络构建轮廓识别模型，实现对图像中物体轮廓的提取，通过计算不同物体之间的hu矩，获得图像中不同物体轮廓区别特征。将图像中出现的物体图像进行分割，获得不同物体之间的图像方块，基于opencv获取绘本物体间的色块，进行比对获取不同的色块数量，作为色块差异。构建图像相似度模型，s＝w*xi,其中i＝1,2,3,x1为图像方差、x2为hu矩、x3为色块差异，w 为图像相似度的权重。运用sigmoid函数进行相似度计算，将图像相似度结果转化为区间0 到1的数值，当图像相似度大于预设的图像相似阈值时，判定图像为相似。例如：绘本中讲述的是猴子和猩猩争霸，谁来当山大王的故事，选取合适的权重，w1＝0.7,w2＝0.3,计算出它们之间的图像特征，代入sigmoid函数，得到图像相似度为0.6。
42.基于图像特征信息，判别相似图像是否存在歧义。
43.获取被图像相似度模型判别为相似的图像信息，将图像信息进行预处理与人工特征标注。将图像信息导入基于神经网络的有监督模式识别方法构建图像歧义判别模型。将信息分类为植物、食物、动物、人物、器物五类作为样本数据，按照样本数据的类别分别对图像信息进行特征提取得到数据集。将数据集分为训练集与测试集，获取用户在ar投影学习机中实时标注的歧义内容特征，赋予这些数据分类为易造成儿童误解的数据与不易造成儿童误解的数据的第一标签。然后将第一标签输入分类器，训练分类器预测学习第一标签的样本具有图像特征，建立分类标准。最后将测试集输入分类器，对数据分类为相似且存在歧义与相似但无歧义，根据预测结果与实际结果比对，反向传播调整分类器参数，优化分类器，完成图像歧义判别模型的构建。通过图像歧义判别模型判断数据是否相似且存在歧义。
例如：儿童在 ar投影学习机中，觉得长鼻猴和长臂猴分不清楚，那这属于相似且存在歧义内容，儿童觉得这两种动物的毛色不太一样，于是在两只动物的皮毛标注该处为歧义特征。当判断长臂猴与长鼻猴之间存在歧义时，通过提取通过ar投影学习机中已标注长鼻猴和长臂猴的特征信息，对相似事物判别模型进行参数训练，训练好模型后，当遇到长鼻猴和长臂猴的时候，可以通过提取长鼻猴和长臂猴的特征值，输入已经训练好的相似事物判别模型判断这个图片组合是否为相似且存在歧义内容。
44.步骤102，当图像存在歧义时，进一步对教学内容中的语音信息进行语音检测，判别所述图像对应的语音信息是否也为相似但不存在歧义，还是相似但存在歧义。
45.当识别出图像存在歧义后，进一步的获取该图像对应的语音信息。通过语音识别获取教学内容中每个字的语音信息，其中语音信息包括字母、声调与声调所在字母的位置。将字与字之间字母信息进行首字母对齐，当字与字之间字母信息相同时，用第一特征值标记，作为字母相似指标，当字与字之间的声调相同时，用第二特征值标记，作为声调相似指标，当声调所处字母的位置相同时，用第三特征值标记，作为声调位置相似指标。将教学内容中字与字之间语音信息分为一个数据，将教学内容中所有字与字之间比对的语音信息数据分为训练集与测试集，人工分类为语音信息相似与语音信息不相似的数据。将字母相似指标、声调相似指标与声调位置相似指标，输入有监督学习的逻辑回归模型，训练逻辑回归模型，预测语音信息是否相似，将预测结果与测试结果比对，调整逻辑回归模型模型参数，优化逻辑回归模型。当语音信息经过逻辑回归模型判断语音信息存在相似时，对语音信息进行是否存在歧义判别，运用ar学习机提取教学内容中的文字信息，与语音信息进行对应匹配，通过文字信息中的上下文，基于词典，进行语义识别。将基于词典进行语义识别后的解释信息，运用 one-hot编码对语义进行向量化，将语义信息分类为语义歧义与非语义歧义数据的语义歧义标签。然后将语义歧义标签输入分类器，训练分类器预测学习标签样本的语义文字特征，建立分类标准。最后将语音测试集输入分类器，语音测试集分类为语义歧义与非语义歧义，根据预测结果与实际结果比对，反向传播调整分类器参数，优化分类器，完成语义歧义模型的构建。例如：例如对于长臂猿和长鼻猿，图像识别出两种容易被混淆和歧义。因此进一步的获取到两个图像对应的语音信息。通过长鼻猿的读音和长臂猿的读音。判别到两种还是相似且容易存在歧义的。因此这种类别的教学内容应该被标识为需要自定义的内容。而另一种情况，例如在识字时，识别“事”与“实”，获取两个字的语音信息，分类为相似语音时，获取上下文，
‘
事实’与
‘
实时’基于词典对这两个单词进行语义分析，事实的语义是
‘
事物的实际情况’，实时的语义是
‘
现在的时间’，对事实的语义与实时的语义导入语义歧义模型，判断两个单词不存在歧义。
46.步骤103，当图像和语音都具有较大相似性和歧义时，对教学内容的文字信息进行文字检测，判别文字信息是否也为相似文字且存在歧义内容。
47.当教学内容中的图像和语音都存在歧义时，提取教学内容的文字信息，基于cnn卷积神经网络模型构建语义相似模型，提取文字信息中形态特征进行预处理，导入进行训练，判别文字信息之间是否相似。当语义相似模型判别文字信息为相似时，加入教学内容中上下文的文字信息，结合上下文信息基于词典，进行语义识别，导入语义歧义模型，判别文字信息是否存在歧义。将语义歧义模型判别的结果分类为相似文字信息存在歧义与相似文字信息但无歧义。例如：当识别出文字信息，
‘
土’与
‘
士’时，语义相似模型判别两个文字相似，
加入教学内容中的上下文信息，
‘
土地’和
‘
士兵’，将土地和士兵两个单词的信息导入语义歧义模型，判断语义不产生歧义，则文字信息不会产生歧义。
48.步骤104，当判断出图像语音和文字中，有一种存在无歧的内容时，放弃标识该内容为自定义教学内容，只针对教学内容中图像信息、语音信息与文字信息的相似且存在歧义的判断结果进行标识。
49.获取教学内容的判断结果，合并教学内容中图像信息、语音信息与文字信息的相似且存在歧义的内容。根据ar投影学习机中设立的开放式教学平台，将相似且存在歧义内容发送给教学者；当判断出存在相似，且有歧义的内容时，标识该内容为待自定义内容。标识方式是在内容判别通过特定图标或者自定义标识，进行自动机器自动标识。当判断出存在相似，但却无歧义的内容时，放弃标识该内容为待自定义内容。例如：长鼻猴与长臂猴打架的教学内容，进行图像、语音与文字检测，分类为图像相似、语音相似、文字相似的教学内容，而且通过检测判断长鼻猴和长臂猴打架的内容存在歧义，则在教学内容对应位置自动显示标签，表述需要分配给创作者解答。通过多模态的多次识别，能够降低自定义的内容。避免将本来不需要再自定义的内容，依然要求老师或者家长进行共创，增加了工作量和共创内容的冗余。张三、李四、王五三个人曾经都回答过图像相似、语音相似与文字相似且存在歧义的教学内容，所有长鼻猴与长臂猴打架的内容分配给他们三个人解答。
50.步骤105，根据教学者的情感导向、解答能力与学历分配需要解答的相似但存在歧义的内容。
51.在ar投影学习机的开放式教学平台中，教学者通过开放式创作平台解答相似但存在歧义内容。通过ar投影学习机获取教学者信息，构建教学者权限能力模型q＝a*p+b，其中a 为学历分数，p为解答能力得分，b为解答情感得分。对需要解决歧义的内容转化为文字信息，与教学者在ar投影机中历史解答问题的答案内容进行比对，计算文本之间的文本余弦相似度，文本余弦相似度的值作为解答内容匹配度。对教学者解答问题的情感倾向进行情感检测，得到情感值为解答情感得分。将解答内容匹配度除以解答时间的值作为解答能力得分，其中解答时间为提问者在ar投影中标注歧义内容特征的时间至教学者回答歧义内容的时间长度。其中标注学历分数，0表示专科学历,1表示本科学历,2表示硕士研究生学历,3表示硕士研究生学历以上。将匹配的教学者按权限能力q从高到低排列，根据权限能力开放解答内容权限。例如：匹配出10位教学者来回答长鼻猴和长臂猴的区别,在匹配度1-3名教学者将获得该问题领域中，通过ar投影学习机，所有提问者标注产生歧义问题的解答权限，包括可在回答长鼻猴和长臂猿问题的10位教学者的注解中，写下自己对教学者答案的批注与修改,而3-10名的教学者只能编写的分配给自己问题教学词条，无权修改10位教学者中除去自己以外的词条。比如说：教学者分配到区别长鼻猴与长臂猴的问题，查看他在ar投影机中已经回答过的历史问题，计算文本相似度，目的是检测他是否回答过与长鼻猴与长臂猴类似的问题。
52.根据教学内容的情感倾向性，根据教学者的解答内容进行教学内容情感检测，判断是否存在正面内容被共创者负面解读。
53.获取ar投影仪的教学内容的题目与摘要，获取国家教育出版社中经典的课堂内容题目与摘要，通过比较两者的题目和摘要，判断所述内容是否为国家经典教材内容，如果是，则确定所述教学内容为正面内容。利用python对通过教学者共创的解答内容进行分句，
得到分词分句后的文本语料，并将结果与通用的停用词表比对，去除停用词。对解答内容进行情感分析，基于通用的情感字典判断情感词为积极词还是消极词，统计解答内容中的出现情感词数目，并在ar投影教学机中进行标注，含有积极词，则积极词数目加1，含有消极词，则消极词数目加1。判断解答内容的情感词前面是否存在程度副词，如果存在，根据程度副词的种类赋予不同的权重，乘以情感词数，句尾存在问号、感叹号，则情感词数目增加预设值。统计计算内容的情感值，积极词数目-消极词数目，得到该段文本的情感倾向，内容中积极词数目-消极词数目的值为正数，内容判定为积极，积极词数目-消极词数目为负数，判定为消极。统计解答内容中每一段内容的情感值，相加得到解答内容的情感值。如果教学内容为积极，教学者的解答内容为消极，则丢弃解答内容，不录入备选解答库中。
54.步骤106，根据教学者的解答内容的多模态共创内容指标，并根据解答内容是否也存在歧义，构建预测模型评价解答内容。
55.获取解答内容的多模态共创内容指标，包括：解答内容歧义特征、解答时长、用户偏好分数，多模态共创内容指标进行预处理与正向化后，输入预测模型中，通过预测模型输出该解答内容是否优质。预测模型的训练过程如下：将用户在ar投影学习机中进行人工标注的歧义内容，将人工标注的歧义内容与教学者的解答内容进行聚类匹配，得到目标解答内容集。计算目标解答内容集的多模态优质解答内容推荐系数，k＝f(x)*t*l,f(x)为解答内容歧义值，k为推荐系数，t为解答时长、l为用户偏好分数，其中，用户偏好分数l通过构建用户偏好模型，并根据教学者的解答内容得到；解答内容歧义值通过相似歧义内容判断，当解答内容被判定为相似且存在歧义内容时，解答内容歧义值为0，当解答内容被判定为相似但无歧义内容时，解答内容歧义值为1。将目标解答内容集中推荐系数高于评价阈值的多模态共创内容指标人工标注为优质内容，将人工标注后目标解答内容集作为特征向量，输入神经网络模型进行训练，神经网络模型的响应向量为是否优质的评价结果，训练并验证后的神经网络模型作为预测模型，当再次获取到新的解答内容时，通过预测模型输出该解答内容是否优质根据解答内容的情感值和是否优质的评价结果对解答内容集进行分类。例如,优质交互式评价体系为优秀(0.80-1),良好(0.40-0.79),差(0-0.39)，神经网络的输入层包括3个指标:创作内容相似歧义特征、ar交互时长、用户偏好,即n＝3,输出层为评价结果,即m＝1,隐含层为3层。数据经过神经网络训练后,得出交互式共创内容a为0.866,则该共创内容a为优质内容。
56.将人工标注的歧义内容与教学者的解答内容进行聚类匹配，得到目标解答内容集。
57.获取ar投影学习机中解答内容与人工标注的歧义内容。以人工标注的歧义内容为关键字，将关键字在解答内容中出现的次数作为词频，将包含该关键字的解答内容数量除以总解答内容数量，再将得到的商取对数得到频率；将解答内容的文本转化为文本特征向量，其中文本特征向量的词频数作为x值，频率作为y值，将得到的文本特征向量运用canopy聚类算法进行预处理，利用k均值聚类算法对(x,y)坐标进行分类。取(x,y)坐标最高的解答内容集作为目标解答内容集。例如：提取分析教学者平时回答的问题，与新出现的歧义问题比对，可以知道教学者平时回答的问题是否与该歧义问题相关联。搜索关键字为猴子，模型将从100个视频中筛选出与猴子最相关的10个人工解答内容。
58.构建用户偏好模型，根据教学者的解答内容得到用户偏好分数。
59.构建用户偏好模型g＝w1*z1+w2*z2，其中，g为用户偏好分数，w1为用户数量分数，z1 为用户数量对应权重，w2为用户满意度分数，z2为用户满意度对应权重。统计在ar投影学习机中对所有解答内容进行互动的互动用户数量总和，将该解答内容互动用户数量除互动用户数量总和，得到用户数量分数。统计在ar投影学习机中所有互动用户对该解答内容的总满意度，将总满意度相加除互动用户数量总和，得到用户满意度分数。获取该解答内容的用户数量分数与用户满意度分数，输入用户偏好模型得到用户偏好分数g。
60.步骤107，根据解答内容的情感强度检测结果优先推荐给用户，并调整预测模型。
61.获取预测模型判定为优质的解答内容。对解答内容进行情感检测，将解答内容的情感值由大到小进行排列，筛选出情感值top-n个解答内容优先推荐给用户，并将优先推荐给用户的解答内容返回输入预测模型进行训练，调整预测模型。例如：当小明看完阿里巴巴与四十大盗的故事分析后，在ar投影场景中进行评价：这个视频讲的实在是太棒了，阿里巴巴是一个聪明的人。ar投影学习机将识别小明在ar投影教学机中的评价，识别结果为该评论为积极向上的，具有正面引导作用的，其情感值为5。基于通用的情感字典，当创作内容中出现好棒，基于词典判断为积极词。当有关教学内容的100条评价中80条都在说，阿里巴巴聪明勇敢，非常棒，系统判定这个视频内容是积极正面的。
62.步骤108，根据用户标注的歧义内容的推荐系数，完成解答内容匹配。
63.获取用户在ar投影学习机中实时标注的易造成儿童误解的数据与不易造成儿童误解的数据的第一标签，将标注第一标签的教学内容的图像信息、语音信息与文字信息，发送给教学者进行解答，确定教学者的解答内容的多模态优质解答内容推荐系数，根据情感检测筛选积极的解答内容后，按照推荐系数的高低排序，将解答内容推荐给标注该第一标签的用户。例如：儿童在ar投影学习机中看到一只长臂猿和一只长鼻猿在一起玩耍，模型识别两个事物是否容易使儿童造成误解，若判定容易造成误解。通过匹配对动物领域相关的教学者，筛选优质的人工教学，对视频内容进行情感识别，将积极正面的人工解答内容推荐给儿童，让儿童学习视频内容来解开疑惑，搞清楚长臂猿与长鼻猿之间的区别，同时对它们有积极的印象。例如：传播爱护长臂猿与长鼻猿的思想，拒绝殴打虐待长臂猿与长鼻猿，给儿童树立正确的三观。
64.以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。