通过人工智能决策的大数据去噪方法及大数据采集系统与流程

文档序号:30618283发布日期:2022-07-02 01:41阅读:来源:国知局

技术特征:
1.一种通过人工智能决策的大数据去噪方法,其特征在于,应用于大数据采集系统执行,所述方法包括:确定云端业务数据服务器中对应于威胁感知任务的威胁感知数据集;基于匹配噪声输出部署条件的ai噪声输出单元对所述对应于威胁感知任务的威胁感知数据集进行多通道噪声信息分析,输出至少两个对应于历史认证显著特征的基础多通道显著噪声信息;每个基础多通道显著噪声信息用于表达潜在显著噪声点;分别针对所述每个基础多通道显著噪声信息进行噪声点输出,输出所述对应于威胁感知任务的威胁感知数据集上威胁感知活动数据关联的模糊显著噪声点;基于基础多通道显著噪声信息确定基础多通道显著噪声信息关联的观测多通道显著噪声信息,将基础多通道显著噪声信息与关联的观测多通道显著噪声信息进行噪声特征聚合,输出关联的目标多通道显著噪声信息;基于所述模糊显著噪声点对所述目标多通道显著噪声信息进行噪声点输出,输出所述对应于威胁感知任务的威胁感知数据集上威胁感知活动数据关联的筛定显著噪声点,而后基于所述筛定显著噪声点对所述云端业务数据服务器进行威胁感知优化。2.根据权利要求1所述的通过人工智能决策的大数据去噪方法,其特征在于,所述方法还包括:从预先指定的ai模板数据库中搜索模板威胁感知数据集,将所述模板威胁感知数据集加载到基础ai噪声输出单元,所述模板威胁感知数据集包括威胁感知活动数据关联的模板显著噪声点;对所述模板威胁感知数据集进行多通道噪声信息分析,输出至少两个对应于历史认证显著特征的基础模板多通道噪声信息,每个基础模板多通道噪声信息用于表达潜在显著噪声点;对所述每个基础模板多通道噪声信息进行噪声点输出,输出每个潜在显著噪声点关联的第一输出显著噪声点,基于每个潜在显著噪声点和模板显著噪声点之间的噪声点学习代价,从每个第一输出显著噪声点中确定第二输出显著噪声点;基于基础模板多通道噪声信息确定基础模板多通道噪声信息关联的观测模板多通道噪声信息,将基础模板多通道噪声信息与关联的观测模板多通道噪声信息进行噪声特征聚合,输出关联的目标模板多通道噪声信息;基于所述第二输出显著噪声点对所述目标模板多通道噪声信息进行噪声点输出,输出第二输出显著噪声点关联的第三输出显著噪声点;基于所述第一输出显著噪声点和所述模板显著噪声点的噪声点学习代价、所述第三输出显著噪声点和所述模板显著噪声点的噪声点学习代价确定第一噪声学习依据信息,基于所述第一噪声学习依据信息调整所述ai噪声输出单元的噪声学习配置信息,直到所述第一噪声学习依据信息不再变化,输出目标ai噪声输出单元。3.根据权利要求2所述的通过人工智能决策的大数据去噪方法,其特征在于,所述对所述每个基础模板多通道噪声信息进行噪声点输出,输出每个潜在显著噪声点关联的第一输出显著噪声点,基于每个潜在显著噪声点和模板显著噪声点之间的噪声点学习代价,从每个第一输出显著噪声点中确定第二输出显著噪声点,具体包括:分别对每个基础模板多通道噪声信息进行噪声点输出,输出每个基础模板多通道噪声
信息分别关联的第一ai学习数据簇;所述第一ai学习数据簇包括基础模板多通道噪声信息上每个潜在显著噪声点分别关联的第一ai学习数据;基于潜在显著噪声点和关联的第一ai学习数据确定关联的第一输出显著噪声点;在当前基础模板多通道噪声信息中,基于每个潜在显著噪声点和模板显著噪声点之间的噪声匹配度,从每个潜在显著噪声点中确定模板潜在显著噪声点,将所述模板潜在显著噪声点关联的第一输出显著噪声点确定为所述当前基础模板多通道噪声信息关联的参考输出显著噪声点;基于每个基础模板多通道噪声信息分别关联的参考输出显著噪声点确定所述第二输出显著噪声点。4.根据权利要求2所述的通过人工智能决策的大数据去噪方法,其特征在于,所述至少两个对应于历史认证显著特征的基础模板多通道噪声信息为按对应于历史认证显著特征的显著强度进行分布的基础模板多通道噪声信息;所述基于基础模板多通道噪声信息确定基础模板多通道噪声信息关联的观测模板多通道噪声信息,具体包括:将当前基础模板多通道噪声信息的历史认证显著特征扩展为所述当前基础模板多通道噪声信息关联的噪声显著强度的历史认证显著特征,将扩展的当前基础模板多通道噪声信息确定为与所述扩展的当前基础模板多通道噪声信息的历史认证显著特征匹配的基础模板多通道噪声信息所关联的观测模板多通道噪声信息。5.根据权利要求2所述的通过人工智能决策的大数据去噪方法,其特征在于,所述基于所述第二输出显著噪声点对所述目标模板多通道噪声信息进行噪声点输出,输出第二输出显著噪声点关联的第三输出显著噪声点,具体包括:基于每个基础模板多通道噪声信息的历史认证显著特征的显著度确定每个基础模板多通道噪声信息之间的噪声联系信息;基于噪声联系信息将所述第二输出显著噪声点扩展联系到基础模板多通道噪声信息关联的目标模板多通道噪声信息上;对扩展联系后的目标模板多通道噪声信息进行噪声点输出,输出第二输出显著噪声点关联的第三输出显著噪声点。6.根据权利要求5所述的通过人工智能决策的大数据去噪方法,其特征在于,所述对扩展联系后的目标模板多通道噪声信息进行噪声点输出,输出第二输出显著噪声点关联的第三输出显著噪声点,具体包括:对扩展联系后的目标模板多通道噪声信息进行噪声点输出,输出第二输出显著噪声点关联的第二ai学习数据;基于第二输出显著噪声点和关联的第二ai学习数据确定关联的第三输出显著噪声点。7.根据权利要求2所述的通过人工智能决策的大数据去噪方法,其特征在于,所述基于所述第一噪声学习依据信息调整所述ai噪声输出单元的噪声学习配置信息,直到所述第一噪声学习依据信息不再变化,输出目标ai噪声输出单元,具体包括:将与模板显著噪声点的噪声匹配度大于目标匹配门限值的潜在显著噪声点和第二输出显著噪声点关联的目标噪声点置信度确定为第一噪声点估计信息,将与模板显著噪声点的噪声匹配度小于或等于目标匹配门限值的潜在显著噪声点和第二输出显著噪声点关联
的目标噪声点置信度确定为第二噪声点估计信息;基于潜在显著噪声点关联的实际估计置信度和目标噪声点置信度、第二输出显著噪声点关联的实际估计置信度和目标噪声点置信度生成第二噪声学习依据信息,所述潜在显著噪声点关联的实际估计置信度是对基础模板多通道噪声信息进行噪声点输出确定的,所述第二输出显著噪声点关联的实际估计置信度是对目标模板多通道噪声信息进行噪声点输出确定的;将所述模板威胁感知数据集加载到满足模型开发部署条件的协同显著噪声点输出网络,输出每个基础模板多通道噪声信息关联的第一协同多通道噪声信息和每个目标模板多通道噪声信息关联的第二协同多通道噪声信息;所述协同显著噪声点输出网络的函数参数层的参数量级大于所述ai噪声输出单元的函数参数层的参数量级,所述协同显著噪声点输出网络和所述ai噪声输出单元的多通道噪声信息分析分支之间具有设定协同关系;对每个基础模板多通道噪声信息进行显著特征转换,以使每个显著特征转换后的基础模板多通道噪声信息和关联的第一协同多通道噪声信息的历史认证显著特征相同;确定显著特征转换后的基础模板多通道噪声信息和关联的第一协同多通道噪声信息之间的基础噪声协同联系度,基于每个基础噪声协同联系度确定第一噪声联系信息;对每个目标模板多通道噪声信息进行显著特征转换,以使每个显著特征转换后的目标模板多通道噪声信息和关联的第二协同多通道噪声信息的历史认证显著特征相同;确定显著特征转换后的目标模板多通道噪声信息和关联的第二协同多通道噪声信息之间的观测噪声协同联系度,基于每个观测噪声协同联系度确定第二噪声联系信息;基于所述第一噪声联系信息和所述第二噪声联系信息生成协同训练依据信息;基于所述第一噪声学习依据信息、所述第二噪声学习依据信息和所述协同训练依据信息更新所述ai噪声输出单元的噪声学习配置信息,直到所述第一噪声学习依据信息不再变化,输出目标ai噪声输出单元。8.根据权利要求1-7中任意一项所述的通过人工智能决策的大数据去噪方法,其特征在于,所述基于所述筛定显著噪声点对所述云端业务数据服务器进行威胁感知优化,具体包括:获取所述筛定显著噪声点的噪声产生路径数据;从所述噪声产生路径数据中获取与威胁感知路径模型存在路径重合点的噪声路径成员,输出所述噪声路径成员的噪声感知节点数据;其中,所述噪声路径成员包括独立噪声感知节点和联动噪声感知节点;从所述噪声感知节点数据中确定用于确定所述筛定显著噪声点的威胁感知优化依据的目标噪声感知节点数据;基于所述目标噪声感知节点数据对所述筛定显著噪声点进行威胁感知优化字段分析,输出所述筛定显著噪声点的威胁感知优化依据的威胁感知优化字段序列;依据所述威胁感知优化字段序列从所述噪声产生路径数据中确定目标威胁感知对象通道,并对所述目标威胁感知对象通道进行威胁感知优化。9.根据权利要求1所述的通过人工智能决策的大数据去噪方法,其特征在于,所述模板威胁感知数据集的搜集步骤包括:采集各候选模板威胁感知样本库以配置第一模板样本库,所述候选模板威胁感知样本
库包括候选模板威胁感知活动数据关联的模板显著噪声点,以及所述模板显著噪声的噪声影响节点、噪声等级和噪声追踪触发元素;其中,所述噪声等级和所述噪声追踪触发元素组合关联为噪声特异性标注,并将所述噪声特异性标注携带配置到所述第一模板样本库;采集各历史噪声影响单元的威胁感知数据以配置第二模板样本库,确定所述第一模板样本库中的所述噪声影响节点和所述第二模板样本库中各历史噪声影响单元之间的第一噪声关联性代价,确定噪声关联性代价最小的每个第一历史噪声影响单元;对于所述每个第一历史噪声影响单元中的历史噪声传递影响单元,基于所述第一模板样本库中噪声影响节点和所述每个第一历史噪声影响单元的影响渗透信息,确定所述噪声影响节点与所述每个第一历史噪声影响单元的第一噪声渗透区,对于每个第一历史噪声影响单元,从该第一历史噪声影响单元的影响数据字段范围中查找与所述第一噪声渗透区的区别最小的第一影响数据字段范围;依据所述第一噪声关联性代价的从大到小的顺序,将所述第一噪声关联性代价越小的所述第一影响数据字段范围和/或历史频繁项挖掘的噪声影响单元作为关键噪声影响单元;每条噪声影响活动对应至少一个关键噪声影响单元的关键归类活动,将具有影响数据字段范围的匹配标签的所述关键噪声影响单元的所述影响数据字段范围的匹配标签映射携带配置到所述第一模板样本库,确定包括噪声影响时序、历史噪声影响单元id以及影响数据字段范围的匹配标签的第三模板样本库;采集各噪声影响传播链的传播能力度量值以配置第四模板样本库,将所述第四模板样本库分成成员噪声影响传播链网络和扩展噪声影响传播链网络,以所述第三模板样本库中的噪声影响时序和影响数据字段范围的匹配标签为匹配依据,结合所述第三模板样本库和所述第四模板样本库中成员噪声影响传播链网络的关联关系,以及以所述第三模板样本库中的噪声影响时序和历史频繁项挖掘的噪声影响单元id为匹配依据,结合所述第三模板样本库和所述第四模板样本库中扩展噪声影响传播链网络的关联关系,将所述成员噪声影响传播链网络和扩展噪声影响传播链网络与第三模板样本库进行聚合获得第五模板样本库;查找所述第五模板样本库中所述传播能力度量值为预设度量值范围的数据所包括的候选模板威胁感知活动数据和其关联的模板显著噪声点,作为所述模板威胁感知模板样本库。10.一种大数据采集系统,其特征在于,所述大数据采集系统包括处理器和机器可读存储介质,所述机器可读存储介质中存储有机器可执行指令,所述机器可执行指令由所述处理器加载并执行以实现权利要求1-9中任意一项的通过人工智能决策的大数据去噪方法。

技术总结
本发明实施例提供一种通过人工智能决策的大数据去噪方法及大数据采集系统,对每个基础多通道显著噪声信息进行噪声点输出,由此对潜在显著噪声点进行噪声点输出调整后获得模糊显著噪声点,通过结合至少两个多通道噪声信息以便于确定更符合实际噪声产生条件的目标模板多通道噪声信息,基于模糊显著噪声点对目标模板多通道噪声信息进行噪声点输出,由此对模糊显著噪声点进行进阶输出调整后获得筛定显著噪声点,筛定显著噪声点能够更准确地表达威胁感知活动数据的精确噪声路径,由此提高大数据去噪的精确性,换言之提高后续针对威胁感知流程(如威胁感知大数据的采集流程)进行不断优化的可靠性。断优化的可靠性。断优化的可靠性。


技术研发人员:龚良 白顺者
受保护的技术使用者:石家庄汇勤网络科技有限公司
技术研发日:2022.04.13
技术公布日:2022/7/1
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1