一种基于数据模型的大数据预警的方法与流程

本发明涉及一种基于数据模型的大数据预警的方法。

背景技术：

大数据是一场宏大的技术革命，正在使人们的思维方式、行为模式以及社会组织方式发生深刻改变。大数据可以使管理决策更多地基于数据和数据分析，提高决策的针对性和有效性，从而实现有预见的管理。这对危机预警具有重要意义。

大数据通过对大量数据的快速收集挖掘、及时研判分析，可以实现精确预测，从而为精确预警、科学决策提供基础。基于大数据的危机数据系统，能够突破专业分工造成的信息壁垒，促进信息共享，提升源头治理、动态监控、应急处置能力。大数据所集成的数据挖掘、机器学习等前沿技术，具有智能判断分析等优势，可以实现对危机管理全流程的实时动态监控与预警。大数据及相关管理模式的出现，从理念、方法到实践各方面为提升危机预警管理水平提供了可能，在危机管理和社会治理领域具有广阔的应用前景。

技术实现要素：

本发明的目的在于提供一种基于数据模型的大数据预警的方法，通过数据模型引擎实现对大数据进行智能梳理、趋势研判分析和风险预警，从而扭转了传统“撒网式”工作模式对象宽泛、内容笼统、力度不深的局面，帮助提升工作的洞察力，实现海量高并发的信息研判分析及精准预测。

本发明一种基于数据模型的大数据预警的方法，具体包括以下几个步骤：

步骤1、确定布控目标

调研业务流程及观察客户行为，把广泛的目标转化成具体的目标，从数据仓库选择与目标相关联的数据，确定成布控目标；

步骤2、根据确定的布控目标，得到合适的事实数据

配置多个数据源，根据目标需要获取相关数据信息，通过遍历数据字典以及数据之间进行关联，选择有用的关键字段进行数据查找，得到合适的事实数据，然后把这些事实数据载入到工作内存中；

步骤3、创建数据模型库

根据步骤1确定的布控目标和步骤2中选择的关键字段建立数据模型，然后对布控目标和关键字段进行配置，建立数据属性、行为、特征，最后把数据模型转换成约定的格式文件，创建数据模型库，该数据模型包含建模过程中使用的所有数据；

步骤4、为了提供证明布控目标的事实数据，使用数据模型匹配器从数据模型库中遍历搜索数据模型，将数据模型库的数据模型和工作内存中的事实数据进行比较，查找结论部分包含待证明布控目标的数据模型，如果这种数据模型存在，则把该数据模型的前因部分与工作内存中的事实数据进行匹配，如果存在匹配成功的事实数据，证明布控目标成立，则触发对应的数据模型；否则，从数据模型的前因部分生成子目标，重新搜索数据模型库，查找结论部分是否包含该子目标，该数据模型匹配器一直重复上述过程，直到子目标被证明是成立或者找不到支持该子目标的数据模型为止，最终形成与事实数据匹配的数据模型集；

步骤5、如果遍历数据模型库的过程中存在冲突，同时触发多个数据模型，则将冲突的数据模型放入冲突集合，使用冲突解决策略来为可触发的数据模型进行排序，然后将这些数据模型保存在模型执行队列中，从而生成模型集优先队列实例；

步骤6、根据模型执行队列中的先后顺序逐条执行模型集优先队列实例得到数据分析研判和预警数据，通过报表、图表或者关联图展示数据分析研判和预警结果。

所述的数据模型包括推导模型、完整性模型、反应模型、义务权利分配模型、预测模型、剖析模型、划分模型、时间帧。

本发明把对业务作出指导数据模型的设计业务逻辑从程序代码中脱离出来，先创建数据模型库，然后使用数据模型匹配器将数据模型库中的数据模型和工作内存中的事实数据进行比较，根据工作内存中的当前内容，决定那些数据模型可以触发，形成与事实数据匹配的数据模型集，实现了动态管理和修改业务规则而又不影响软件系统的需求；提供多种数据模型机制的创建满足不同的应用场景需求；数据模型引擎实现对大数据进行智能梳理、趋势研判分析和风险预警，提升数据处理效率，降低数据存储成本，实现海量高并发的信息研判分析预警，解决了从海量数据快速分析、预测，定位、决策支持等。

附图说明

图1为本发明的工作流程示意图；

图2是本发明的模型匹配器示意图。

以下结合附图和实施例对本发明作进一步详述。

具体实施方式

如图1所示，本发明一种基于数据模型的大数据预警的方法，具体包括以下几个步骤：

步骤1、确定布控目标

充分调研业务流程，用户把那些广泛的目标，经过具体化、细化，深入观察客户行为变成具体的目标，从数据仓库选择与目标相关联的数据，确定成布控目标。比如用户监控活跃的用户为布控目标，从数据仓库选择用户登录日志、消费日志、用户浏览记录等相关数据；

步骤2、根据确定的布控目标，得到合适的数据

配置多个数据源，根据目标需要获取相关数据信息，通过遍历数据字典以及数据之间进行关联，选择有用的关键字段进行数据查找，得到合适的事实数据，然后把这些事实数据载入到工作内存中；

步骤3、创建数据模型库

根据步骤1确定的布控目标和步骤2中选择的关键字段建立数据模型，然后对布控目标和关键字段进行配置，建立数据属性、行为、特征等，最后把数据模型转换成约定的数据格式文件(如s1,....,s2→r1,....,rn)，创建了数据模型库，该数据模型包含建模过程中使用的所有数据；数据模型主要包括推导模型、完整性模型、反应模型、义务权利分配模型、预测模型、剖析模型、划分模型、时间帧等；数据模型建立采用字符串报文、二进制流、xml格式报文、文件等形式；

步骤4、为了提供证明布控目标的事实数据，使用数据模型匹配器将数据模型库中的数据模型和工作内存中的事实数据进行比较，数据模型匹配器根据工作内存中的当前内容，决定那些数据模型可以触发，形成与事实数据匹配的数据模型集：

数据模型匹配器从数据模型库中遍历搜索数据模型，将数据模型库的数据模型和工作内存中的事实数据进行比较，查找结论部分包含待证明布控目标的数据模型，如果这种数据模型存在，则把该数据模型的前因部分与工作内存中的事实数据进行匹配，如果存在匹配成功的事实数据，证明布控目标成立，则触发对应的数据模型；否则，从数据模型的前因部分生成子目标，重新搜索数据模型库，查找结论部分是否包含该子目标，该数据模型匹配器一直重复上述过程，直到子目标被证明是成立的或者找不到支持该子目标的数据模型为止，最终形成与事实数据匹配的数据模型集。根据结合图2，进行相关说明，数据模型库配置如下:

事实a和事实b存储在工作内存中，要证明目标事实e是成立的。数据模型r3的结论部分包含事实e，因此为了证明目标事实e是成立的，我们需要证明事实c和d是成立的。如果工作内存中刚好存在事实c和d，那么就可以通过数据模型r3推断出目标事实e。然而当前工作内存的事实数据中不存在事实c和d，因此，需要为事实c和d生成子目标，分别独立地给予证明。工作内存中存在事实a和b应用数据模型r1可以证明事实c是成立，应用数据模型r2可以证明事实d是成立的。因此，两个子目标都成立，在此基础上应用数据模型r3证明目标事实e是成立。

步骤5、如果遍历数据模型库的过程中存在冲突，同时触发多个数据模型，则将冲突的数据模型放入冲突集合，由于触发数据模型将影响工作内存的内容，因此执行的优先顺序很重要。不同的执行顺序可能会导致不同的最终结果，使用冲突解决策略来为可触发的数据模型进行排序，然后将这些数据模型保存在模型执行队列中，从而生成模型集优先队列实例；

步骤6、根据模型执行队列中的先后顺序逐条执行模型集优先队列实例得到数据分析研判和预警数据，通过报表、图表或者关联图展示数据分析研判和预警结果。

本发明提供多种数据模型机制的创建满足不同的应用场景需求；数据模型引擎实现对大数据进行智能梳理、趋势研判分析和风险预警，提升数据处理效率，降低数据存储成本，本发明把对业务作出指导数据模型的设计业务逻辑从程序代码中脱离出来，先创建数据模型库，然后使用数据模型匹配器将数据模型库中的数据模型和工作内存中的事实数据进行比较，根据工作内存中的当前内容，决定那些数据模型可以触发，形成与事实数据匹配的数据模型集，实现了动态管理和修改业务规则而又不影响软件系统的需求。

本发明的重点在于：用户把那些广泛的目标，经过具体化、细化，深入观察客户行为变成具体的目标，从数据仓库选择与目标相关联的数据，确定成布控目标；配置多个数据源，根据目标需要获取相关数据信息，通过遍历数据字典以及数据之间进行关联，选择有用的关键字段进行数据查找，得到合适的事实数据，把这些事实数据载入到工作内存中,根据确定的布控目标和选择的关键字段建立数据模型，然后对布控目标和关键字段进行配置，建立数据属性、行为、特征，最后把数据模型转换成约定的格式文件，创建数据模型库，使用数据模型匹配器将数据模型库中的数据模型和工作内存中的事实数据进行比较；数据模型匹配器根据工作内存中当前的内容，决定那些数据模型可以触发，形成与事实数据匹配的数据模型集，通过使用冲突解决策略来为可触发的数据模型进行排序，然后将这些数据模型保存在模型集执行队列中；根据模型执行队列中的优先顺序逐条执行模型集优先队列实例；通过报表、图表或者关联图展示数据分析研判和预警结果，从而达到海量的数据进行研判和数据挖据分析，具备很强的数据处理能力。

本发明对海量数据进行数据深度挖掘分析，关键是把其结合到业务流程中，并能够促进数据挖掘人员和使用结果的业务用户之间的通信，最大程度降低接入点的成本投入，保证扩展的便捷性和兼容性。

以上所述，仅是本发明较佳实施例而已，并非对本发明的技术范围作任何限制，故凡是依据本发明的技术实质对以上实施例所作的任何细微修改、等同变化与修饰，均仍属于本发明技术方案的范围内。