本发明涉及大数据共享与挖掘,尤其涉及一种数据关联的多源异构数据智能信息发现方法及系统。
背景技术:
1、现有的各行业数据库存储了海量类型不同,结构各异的数据,统称为多源异构数据。现实中的复杂任务需求分析需要对各行各业数据库进行关联挖掘得以实现。
2、当前的数据分析方法只能对数据库数据进行简单的查询与计算,无法实现面向任务需求的数据自主关联与深层次隐含信息挖掘支持任务需求的运算。
3、因此如何面向复杂任务需求进行多源异构数据自主关联,并智能获取关联产生的有效隐含信息是目前亟待解决的问题。
技术实现思路
1、本发明的目的在于提供一种数据关联的多源异构数据智能信息发现方法及系统,旨在解决面向任务需求的数据库数据自主关联与深层次隐含信息获取的问题。
2、为实现上述目的,第一方面,本发明提供了一种数据关联的多源异构数据智能信息发现方法,包括以下步骤:
3、任务需求经主题模型获取主题词集合;
4、定义面向多元多模态数据的数据胞架构,并基于所述数据胞架构构建元元胞;
5、所述主题词集合进行所述元元胞信息核检索,获得元元胞集合,并基于元胞通道关联规则进行逐级元胞通道随机关联,产生包含自主关联信息的组元胞信息核进行组元胞构建,得到组元胞信息核集合;
6、设置深度学习惩罚项构建奖惩模型,使用所述组元胞信息核人工打分数据训练所述奖惩模型,训练后的所述奖惩模型代替人工进行所述组元胞信息核智能排序,获取与任务需求最优匹配的关联信息。
7、其中,所述主题词集合遵循不重复、不遗漏和易认知的原则。
8、其中,所述元元胞由信息核、策略和通道三部分构成,多个所述元元胞关联形成的元胞称为组元胞。
9、其中,所述主题词集合通过模仿搜索引擎原理进行检索,包括同义词转换,主题词转换等,返回匹配元元胞集合。
10、第二方面,本发明还提供了一种数据关联的多源异构数据智能信息发现系统,包括主题词模块、元元胞模块、信息核模块、奖惩模块和训练模块,所述主题词模块和所述元元胞模块分别与所述信息核模块连接,所述信息核模块、所述奖惩模块和所述训练模块依次连接;
11、所述主题词模块,用于将任务需求经过主题模型获取主题词集合;
12、所述元元胞模块,用于定义多元多模态数据的数据胞架构,并基于所述数据胞架构构建元元胞;
13、所述信息核模块,基于所述主题词集合进行所述元元胞信息核检索,获得元元胞集合,并基于元胞通道关联规则进行逐级元胞通道随机关联,产生包含自主关联信息的组元胞信息核进行组元胞构建,得到组元胞信息核集合
14、所述奖惩模块,基于预设的深度学习惩罚项构建奖惩模型;
15、所述训练模块,使用所述组元胞信息核人工打分数据训练所述奖惩模型,训练后的所述奖惩模型代替人工进行所述组元胞信息核智能排序,获取与任务需求最优匹配的关联信息。
16、本发明的一种数据关联的多源异构数据智能信息发现方法,任务需求经主题模型获取主题词集合;定义面向多元多模态数据的数据胞架构,并基于所述数据胞架构构建元元胞;所述主题词集合进行所述元元胞信息核检索,获得元元胞集合,并基于元胞通道关联规则进行逐级元胞通道随机关联,产生包含自主关联信息的组元胞信息核进行组元胞构建,得到组元胞信息核集合;设置深度学习惩罚项构建奖惩模型;使用所述组元胞信息核人工打分数据训练所述奖惩模型,训练后的所述奖惩模型代替人工进行所述组元胞信息核智能排序,获取与任务需求最优匹配的关联信息,该方法实现了面向任务需求的多模态数据自主关联,有效实现了为多模态数据的共享和信息发现,解决面向任务需求的数据库数据自主关联与深层次隐含信息获取的问题。
1.一种数据关联的多源异构数据智能信息发现方法,其特征在于,包括以下步骤:
2.如权利要求1所述的一种数据关联的多源异构数据智能信息发现方法,其特征在于,
3.如权利要求1所述的一种数据关联的多源异构数据智能信息发现方法,其特征在于,
4.如权利要求1所述的一种数据关联的多源异构数据智能信息发现方法,其特征在于,
5.一种数据关联的多源异构数据智能信息发现系统,应用于如权利要求1所述的一种数据关联的多源异构数据智能信息发现方法,其特征在于,