一种教师教育培训教材大数据处理方法与流程

本发明涉及教育技术领域，且更具体地涉及一种教师教育培训教材大数据处理方法。

背景技术：

在中小学、大学等院校的教师教育培训中，容易出现大量的数据信息，这些数据对于教师之间的交流和学生之间的学习，具有诸多益处，在常规技术中，以教师授课为例，通常采用课件，通过多媒体技术向学生传授教学知识。在面对数据库中的众多数据中，如何快速从中寻找复杂数据，并对培训教材进行分类就存在一定的难度。人工检索的方法不仅效率低下，容易出错，检测的结果通常不尽人意。

随着网络信息时代的飞速发展，计算机应用和大数据处理在生活、工作中应用日益广泛，internet技术逐步在教师教育培训中开始应用，教师在教学、培训交互过程中，出现大量的文本数据，数据信息资源数量也以指数级的速度迅速猛增，在教师教育培训教材大数据海量数据中，容易出现一部分信息量低下，数据规模巨大等数据，对于教师教育培训及其不利。因此，如何从海量、繁杂数据中准确、快速地获取目标数据进行处理、分析，得到价值密度高的数据信息，是当前教育技术领域中极具挑战的问题。

技术实现要素：

针对现有技术的不足，本发明公开了一种教师教育培训教材大数据处理方法，构建出基于b/s系统的架构体系，实现培训教材的远程、在线、实时交互和管理，用户之间使用极其方便，通过分类算法模型实现不同文本数据的分类，通过大数据降维模型实现高纬度数据的转换，使得用户更加容易地识别目标文本信息，提高了数据交互能力和教师的教学或培训效率。

本发明采用以下技术方案：

一种教师教育培训教材大数据处理方法，包括：

培训教材数据层，其内设置有计算机管理系统，所述计算机管理系统设置有输入模块，通过所述输入模块将格式不同的培训教材输入至所述计算机管理系统，所述格式至少包括音频、语言、网络、图片、多媒体或文本，其中所述输入模块至少包括鼠标、键盘或者无线输入模块，所述计算机管理系统集成设置有培训教材大型数据库，所述培训教材大型数据库连接有分类算法模型和大数据降维模型，所述培训教材名称以文本的形式进行命名，所述分类算法模型用于将所述培训教材大型数据库内的培训教材至少按照类别、大小、日期、容量或数据类型进行分类，所述大数据降维模型用于将所述培训教材大型数据库内的培训教材数据信息降低识别纬度，便于用户识别和使用；

数据传输层，其内设置有socket的通讯模块，所述socket的通讯模块采用基于ieeec37.118和tcp/ip通讯协议实现培训教材数据层和交互式学习层之间的数据传输和通讯；

交互式学习层，用于对知识获取、知识吸收以及知识整合应用；其中所述交互式学习层包括交互式学习扩展层、学习层、整合层、教学层和交互式学习模型，其中，所述交互式学习扩展层设置有至少5个usb数据接口，实现多种学习主题的学习；所述学习层设置有显示模块，能够实现不同数据的显示，便于用户学习；所述整合层设置有中央处理模块，实现多种数据的获取和应用，所述教学层设置有数据输出模块，实现教师培训教材的数据输出，所述交互式学习模型为基于一次交互式多模型跟踪的算法的数据模型；其中所述互式学习扩展层与所述学习层双向连接，所述学习层与所述整合层双向连接，所述整合层与所述教学层双向连接，所述教学层与所述交互式学习模型双向连接；所述交互式学习模型包括交互式学习滤波器、概率模型更新计算单元和数据输出接口，所述交互式学习滤波器的数量为至少两个，并且所述交互式学习滤波器为并联连接，分别与所述数据输出接口连接；

数据应用层，其内设置有实时显示数据库服务器，所述实时显示数据库服务器采用web浏览器显示数据信息，所述实时显示数据库服务器连接有远程通讯端口，所述远程通讯端口连接有远程监控终端，所述远程监控终端为web监测终端，所述远程监控终端设置有s3c44bo处理器，所述s3c44bo处理器连接有物理通讯接口、异步收发传输器和bus总线接口，所述实时显示数据库服务器通过所述bus总线接口实现数据的互通。

作为本发明进一步的技术方案，所述培训教材大型数据库的构建方法为：

构建文本特征向量，通过采用去停用词划分文本关键词、培训教材总类别，建立关键词库，通过关键词库检索培训教材总类别。

作为本发明进一步的技术方案，所述分类算法模型为基于贝叶斯分类器模型的分类方法。

作为本发明进一步的技术方案，所述贝叶斯分类器模型进行分类的方法为根据数据库中的词组与不同词组所划分的类别进行组合的概率来表示给定文档的类别概率，分类步骤为：

假设在文本数据库中，待划分属性的文档为d，假设将文本属性的类别划分为集合c，则有c＝{c1，c2，...，cm}，其中第i分类属性满足这样的条件：1≤i≤m，对于待分类的文档数据集合d，输出的最大类别为p(ci/d)。

根据权利要求4所述的一种教师教育培训教材大数据处理方法，其特征在于：所述贝叶斯分类器模型的应用公式为：

其中c、d表示为随机变量，则文档d的贝叶斯分类公式为：

作为本发明进一步的技术方案，所述大数据降维模型进行大数据降维的方法为主成分分析方法，所述主成分分析方法的步骤为：

(1)标准化数据；假设文本数据样本数据纬度为p，随机向量为x＝(x1，x2，...，xp)^t；则对于i个数据样本，存在：xi＝(xi1，xi2，...，xip)^t，其中i＝1，2，...，n；当n＞p时，对样本阵元进行标准化变换，其中标准化变换公式为：

其中i＝1，2，...，n；j＝1，2，...，p；在公式(3)中，还存在：

(2)求出所述步骤(1)的标准化矩阵z的相关系数矩阵；

r＝[rij]p；

(6)

其中：

其中i，j＝1，2，...，p；

(3)确定主成分，通过求解相关矩阵r的特征方程得出，所述方程为：

|r-λip|＝0

(9)

在确定n的值时，通过以下公式：

在公式(1o)中的每个λj，j＝1，2，...，n，解方程组得出：

rb＝λjb

(11)

通过公式(11)得出特征向量

(4)然后再将标准化后的指标变量转换为主成分，则有

其中j＝1，2，...，n；并且u1称为第一主成分，u2称为第二主成分，uj称为第j主成分；

(5)然后对n个主成分进行综合评价，并且对n个主成分进行加权求和，即得最终评价值，权数为每个主成分的方差贡献率。

作为本发明进一步的技术方案，socket的通讯模块进行通讯时，采用流方式通讯或数据报文方式，其中所述流方式通讯为面向连接方式，所述数据报文方式为无连接方式。

作为本发明进一步的技术方案，所述交互式学习模型实现交互式学习的方法为imm算法模型，所述imm算法模型能够实现交互式学习输入模型交互、交互式学习滤波器滤波、交互式学习概率模型更新和交互式学习模型方式新数据融合，其中所述imm算法模型融入了不同的运动模型，具体方法为：

设运动模型的个数为r，则其运动状态可以记作为：

x(k+1)＝ajx(k)+wj(k)

(13)

其中：j＝1，2，3，......r；

在公式(13)中，x(k)表示学习系统模型的状态向量，aj表示为学习模型转换的矩阵，wj(k)表示为均值是o的情况。

作为本发明进一步的技术方案，所述交互式学习模型中集中模型j的观测方程表示为：z(k)＝hjx(k)+vj(k)(14)

其中z(k)表示为交互式学习量测向量，hj表示为模型为j的观测矩阵，vj(k)表示为均值为0的情况，其中协方差表示为rj的白噪声矩阵，则模型的转换矩阵公式为：

在公式(15)中，pij表示为交互式学习模型i到模型j的转移矩阵，下面对各个模型分别进行。

作为本发明进一步的技术方案，所述远程监控终端的工作方法为将s3c44bo处理器集成设置远程通讯端口、以太网网络接口或rs485通讯端口，并且在所述s3c44b0处理器上设置可扩展的物理层编码解码器phy、uart接口和jtag接口。

积极有益效果：

1、本发明通过采用分类算法模型，提高了教师培训教材大处理的分类能力，减少了教师查询培训教材的难度，提高了大数据处理能力；

2、本发明采用大数据降维技术，实现了大数据的高纬度转换，使得用户更加容易地识别目标文本信息，提高了数据交互能力和教师的教学或培训效率。

3、本发明采用交互式学习模型，实现知识获取、知识吸收以及知识整合应用，并且引入了交互式多模型imm算法，进而实现不同学习模型之间的转换，通过该算法计算，实现了交互式学习输入模型交互、交互式学习滤波器滤波、交互式学习概率模型更新和交互式学习模型方式新的数据融合等。

4、本发明采用b/s架构，实现数据的实时、在线和远程应用用，b/s结构克服了传统技术中c/s结构存在的技术弊端，该结构将监测系统可以实现的核心功能部件融合集成在服务器上，将分散的客户端有机地整合在一起，使用户仅仅借助于internet技术，在浏览器上便可浏览由web服务器生成的各种教师教育培训教材数据信息，使用方便，提高教师培训教材大数据的应用能力。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的架构示意图；

图2为发明中多元化业务学习架构图；

图3为本发明中多元化交互式多模型imm算法模型；

图4为本发明中大型数据库的构建方法示意图；

图5为本发明中远程监控终端硬件结构示意图；

图6为本发明中大数据降维结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明采用以下技术方案：

如图1-6所示，一种教师教育培训教材大数据处理方法，包括：

培训教材数据层，其内设置有计算机管理系统，所述计算机管理系统设置有输入模块，通过所述输入模块将格式不同的培训教材输入至所述计算机管理系统，所述格式至少包括音频、语言、网络、图片、多媒体或文本，其中所述输入模块至少包括鼠标、键盘或者无线输入模块，所述计算机管理系统集成设置有培训教材大型数据库，所述培训教材大型数据库连接有分类算法模型和大数据降维模型，所述培训教材名称以文本的形式进行命名，所述分类算法模型用于将所述培训教材大型数据库内的培训教材至少按照类别、大小、日期、容量或数据类型进行分类，所述大数据降维模型用于将所述培训教材大型数据库内的培训教材数据信息降低识别纬度，便于用户识别和使用；

数据传输层，其内设置有socket的通讯模块，所述socket的通讯模块采用基于ieeec37.118和tcp/ip通讯协议实现培训教材数据层和交互式学习层之间的数据传输和通讯；

交互式学习层，用于对知识获取、知识吸收以及知识整合应用；其中所述交互式学习层包括交互式学习扩展层、学习层、整合层、教学层和交互式学习模型，其中，所述交互式学习扩展层设置有至少5个usb数据接口，实现多种学习主题的学习；所述学习层设置有显示模块，能够实现不同数据的显示，便于用户学习；所述整合层设置有中央处理模块，实现多种数据的获取和应用，所述教学层设置有数据输出模块，实现教师培训教材的数据输出，所述交互式学习模型为基于一次交互式多模型跟踪的算法的数据模型；其中所述互式学习扩展层与所述学习层双向连接，所述学习层与所述整合层双向连接，所述整合层与所述教学层双向连接，所述教学层与所述交互式学习模型双向连接；所述交互式学习模型包括交互式学习滤波器、概率模型更新计算单元和数据输出接口，所述交互式学习滤波器的数量为至少两个，并且所述交互式学习滤波器为并联连接，分别与所述数据输出接口连接；

数据应用层，其内设置有实时显示数据库服务器，所述实时显示数据库服务器采用web浏览器显示数据信息，所述实时显示数据库服务器连接有远程通讯端口，所述远程通讯端口连接有远程监控终端，所述远程监控终端为web监测终端，所述远程监控终端设置有s3c44bo处理器，所述s3c44bo处理器连接有物理通讯接口、异步收发传输器和bus总线接口，所述实时显示数据库服务器通过所述bus总线接口实现数据的互通。

在本发明中，所述培训教材大型数据库的构建方法为：

构建文本特征向量，通过采用去停用词划分文本关键词、培训教材总类别，建立关键词库，通过关键词库检索培训教材总类别。停用词指的是诸如代词、介词、连接词等不包含或包含极少语义的词，另外标点符号也可以被认为是一种停用词。通常情况下，在文本中去掉这些停用词能够使模型更好地去拟合实际的语义特征，从而增加模型的泛化能力。在本发明中的另一种应用中，也可以采用多标签分类方法等，多标签分类算法通常被分为两类，一类将多标签分类问题转化为多个单标签二分类问题，被成为问题转化模型(problemtransformation)；另一类则将原来的单标签分类算法修改为支持多标签分类的算法，被称为适应性方法(adaptedmethod)。问题转化模型中最常用的一种叫做binaryrelevance，其思想类似于多类分类中的one-vs-rest，即对每一个候选类别均训练一个二元分类器来判别样本是否属于该类。因此在类别数目很大的情况下，应尽量选择训练和预测速度较快的算法来训练内部的二元分类器。而在适应性方法中，基于决策树的算法和k最近邻的算法都能够较容易地修改为支持多标签分类的环境。但值得注意的是，停用词表并不是一成不变的。针对不同的文本分类情景，所采用的停用词表也应该作出针对性的调整。例如书名号″《″和″》″往往比书名本身更能代表书名的特征、冒号″：″通常出现在人物访谈类文章的标题中，以及人称代词″他″和″她″在情感类文章标题中的频繁使用等。根据情景灵活地使用停用词表，往往能够起到意想不到的效果。

在本发明中，所述分类算法模型为基于贝叶斯分类器模型的分类方法。文本分类指的是计算机通过算法对输入的文本按照一定的类目体系进行自动化归类的过程。所述贝叶斯分类器模型进行分类的方法为根据数据库中的词组与不同词组所划分的类别进行组合的概率来表示给定文档的类别概率，分类步骤为：

假设在文本数据库中，待划分属性的文档为d，假设将文本属性的类别划分为集合c，则有c＝{c1，c2，...，cm}，其中第i分类属性满足这样的条件：1≤i≤m，对于待分类的文档数据集合d，输出的最大类别为p(ci/d)。

在本发明中，所述贝叶斯分类器模型的应用公式为：

其中c、d表示为随机变量，则文档d的贝叶斯分类公式为：

在本发明中，所述大数据降维模型进行大数据降维的方法为主成分分析方法，所述主成分分析方法的步骤为：

(1)标准化数据；假设文本数据样本数据纬度为p，随机向量为x＝(x1，x2，...，xp)^t；则对于i个数据样本，存在：xi＝(xi1，xi2，...，xip)^t，其中i＝1，2，...，n；当n＞p时，对样本阵元进行标准化变换，其中标准化变换公式为：

其中i＝1，2，...，n；j＝1，2，...，p；在公式(3)中，还存在：

(2)求出所述步骤(1)的标准化矩阵z的相关系数矩阵；

r＝[rij]p；

(6)

其中：

其中i，j＝1，2，...，p；

(3)确定主成分，通过求解相关矩阵r的特征方程得出，所述方程为：

|r-λip|＝0

(9)

在确定n的值时，通过以下公式：

在公式(1o)中的每个λj，j＝1，2，...，n，解方程组得出：

rb＝λjb

(11)

通过公式(11)得出特征向量

(4)然后再将标准化后的指标变量转换为主成分，则有

其中j＝1，2，...，n；并且u1称为第一主成分，u2称为第二主成分，uj称为第j主成分；

(5)然后对n个主成分进行综合评价，并且对n个主成分进行加权求和，即得最终评价值，权数为每个主成分的方差贡献率。

在上述是实施例中，主成分分析(principalcomponentanalysis，pca)也称主分量分析，旨在利用降维的思想，把多指标转化为少数几个综合指标。在统计学中，主成分分析是一种简化数据集的技术。它是一个线性变换。这个变换把数据变换到一个新的坐标系统中，使得任何数据投影的第一大方差在第一个坐标(称为第一主成分)上，第二大方差在第二个坐标(第二主成分)上，依次类推。主成分分析经常用减少数据集的维数，同时保持数据集的对方差贡献最大的特征。这是通过保留低阶主成分，忽略高阶主成分做到的。这样低阶成分往往能够保留住数据的最重要方面。但是，这也不是一定的，要视具体应用而定。

在本发明中，socket的通讯模块进行通讯时，采用流方式通讯或数据报文方式，其中所述流方式通讯为面向连接方式，所述数据报文方式为无连接方式。

在本发明中，所述交互式学习模型实现交互式学习的方法为imm算法模型，所述imm算法模型能够实现交互式学习输入模型交互、交互式学习滤波器滤波、交互式学习概率模型更新和交互式学习模型方式新数据融合，其中所述imm算法模型融入了不同的运动模型，具体方法为：

设运动模型的个数为r，则其运动状态可以记作为：

x(k+1)＝ajx(k)+wj(k)

(13)

其中：j＝1，2，3，......r；

在公式(13)中，x(k)表示学习系统模型的状态向量，aj表示为学习模型转换的矩阵，wj^(k)表示为均值是0的情况。

作为本发明进一步的技术方案，所述交互式学习模型中集中模型j的观测方程表示为：z(k)＝hjx(k)+vj(k)(14)

其中z(k)表示为交互式学习量测向量，hj表示为模型为j的观测矩阵，vj(k)表示为均值为0的情况，其中协方差表示为rj的白噪声矩阵，则模型的转换矩阵公式为：

在公式(15)中，pij表示为交互式学习模型i到模型j的转移矩阵，下面对各个模型分别进行。

在本发明中，所述远程监控终端的工作方法为将s3c44bo处理器集成设置远程通讯端口、以太网网络接口或rs485通讯端口，并且在所述s3c44bo处理器上设置可扩展的物理层编码解码器phy、uart接口和jtag接口。

虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这些具体实施方式仅是举例说明，本领域的技术人员在不脱离本发明的原理和实质的情况下，可以对上述方法和系统的细节进行各种省略、替换和改变。例如，合并上述方法步骤，从而按照实质相同的方法执行实质相同的功能以实现实质相同的结果则属于本发明的范围。因此，本发明的范围仅由所附权利要求书限定。