技术领域本发明涉及认知计算技术领域,特别涉及上下文感知数据流的认知计算架构。
背景技术:
随着互联网技术的持续发展,以信息为基础的服务在人们的日常生活中随处可见。面对周围环境的大量的感知信息,如何才能够实现对数据准确的分析和处理操作,适时为用户提供适合用户需求的服务,成为当今工业界和学术界一致关注的重要研究方向之一。为了能够更好的满足用户的需求,信息服务的应用和处理系统自身需要具备分析和处理大量信息的能力,因为只有考虑足够多的信息,才能给出更准确的认知判断。在此背景下,上下文感知技术(Context-AwareTechnology)得到学术界和工业界越来越多的关注。目前,基于上下文感知技术的应用有很多,它们在应用过程中会产生大量的感知数据和上下文感知数据流,这种数据流具有传输速度快,流量大,关联度混乱,乱序到达等特点,从中提取出想要的数据并理解其含义非常困难。
技术实现要素:
鉴于传统数据处理模型的不足之处,本发明提出一种基于上下文感知数据流的认知计算架构,实现对上下文感知数据的有效分析,提升数据处理效率,并得出有效的认知结果。基于上下文感知数据流的认知计算架构,包括:上下文感知数据获取层,用于收集用户使用相关互联网服务所产生的数据和数据流,传输给上下文感知数据存储层;上下文感知数据存储层,通过数据分类器将收集的数据分成静态数据和动态数据流,所述数据分类器中包括学习机,用于学习静态数据和动态数据流的数据特征;所述静态数据存入分布式数据库,经过输出接口给上下文感知数据计算层调用;所述动态数据流经过缓存空间,直接送往上下文感知数据计算层;上下文感知数据计算层,对动态数据流进行处理,包括数据流分类、数据流模板匹配。所述上下文感知数据获取层包括过滤器,所述上下文感知数据获取层包括过滤器,又分为数据属性过滤器和有效范围过滤器,数据先经过所述数据属性过滤器,判断是否是需要的感知数据,若是则传输到所述有效范围过滤器,否则丢弃该数据;接着数据经过所述有效范围过滤器,判断是否在有效范围内,若是则被传送到所述上下文感知数据存储层,否则该数据被丢弃。所述上下文感知数据存储层中的所述缓存空间具有备份,能实现容错功能。本发明实现了对上下文感知数据的有效分析,对提升数据处理效率并得出有效的认知结果起到很大的作用。附图说明图1为本发明实施例基于上下文感知数据流的认知计算架构示意图;图2为图1中实施例的上下文感知数据存储层结构图。具体实施方式为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。如图1所示,基于上下文感知数据流的认知计算架构为:1)上下文感知数据获取层在上下文感知数据获取层,系统将收集用户使用相关的互联网服务所产生的数据和数据流。硬件的发展(传感器网络、可穿戴设备以及智能手机等智能终端)使得系统能够获取到非常多的信息。上下文感知数据获取层将收集所有可收集的信息,向上传输给上下文感知数据存储层。此外,为了保证所获取的感知数据的有效性,减少对无效数据的存储和计算所带来的系统开销,本实施例在上下文感知数据获取层设计了过滤机制,该过滤机制首先根据数据属性进行过滤,判断是否是所需要的感知数据,是则送往上下文感知数据存储层,否则丢弃该数据。经过过滤,一些无效的或者损坏的数据将不再占用系统资源。然后,再根据数据的有效范围进行过滤。例如出现环境温度为零下150摄氏度,则我们认为该数据测量有误,应丢弃。采用这种数据过滤机制,能够有效的减少系统的无效开销。2)上下文感知数据存储层由于各种硬件和服务产生的数据和数据流将是一个很大的数据量,如果全部存储会占用相当大的存储空间,如何有更有效更安全的存储这些数据以及对数据流的处理方法也是需要解决的问题。因此,设计了上下文感知数据存储层,并提出一种基于数据分类分布式存储系统(Adistributeddatabasebasedondatacategorization),称之为DDB-DC。基于数据分类分布式存储系统结构如图2所示。在基于数据分类分布式存储系统中,通过数据分类器A首先将数据分类为静态数据和动态数据流,对不同的数据类型采取不同的处理方式。为了提升数据类型的分类的准确性,本实施例设有学习机来不断的学习静态和动态数据集的数据特征。对于静态数据集(时间和操作信息),先存入分布式数据库,并提供一个静态数据输出接口给感知数据计算层调用;对于感知数据流(如实时温度等),这类数据对时效性要求比较高,尽快的进行处理就能够尽快的对信息作出有价值的判断。对于这类数据,经过缓存空间,直接送往上下文感知计算层,供上层计算使用。然而这样会带来一个问题,在缓存中的数据容易丢失,针对这一问题设计了一种容错恢复机制,在数据调用的同时存储一个备份来保证数据的容错性能。这样,即便是系统运行过程中出现了异常情况,在系统修复后仍可以从备份中取出尚未分析的数据进行分析计算。3)上下文感知数据计算层在上下文感知数据计算层,本实施例采用接入其他已有数据流处理策略的方式对数据进行处理,包括数据流分类、数据流模板匹配等。本发明方案所公开的技术手段不仅限于上述实施方式所公开的技术手段,还包括由以上技术特征任意组合所组成的技术方案。