一种基于特征多时间态的处理方法、系统、设备及介质与流程

1.本发明涉及数据处理技术领域，尤其涉及一种基于特征多时间态的处理方法、系统、设备及介质。


背景技术：

2.机器学习中，特征数据的质量很大程度上会影响模型的质量、模型的训练依赖特征，模型推理也会依赖特征。所以，数据以及特征是决定一个模型是否优质的重要组成部分。
3.现有工业级别的特征，主要解决当下时间和场景的特征形态，海量的特征状态只保留最新的特征，这会导致特征随着时间推移，其形态不断发生变化从而降低模型算法的不确定性。
4.如何解决机器学习中的特征在任意时间进行旅行，在时间的演进下，可灵活穿梭回任意的时间节点还原特征，是本领域技术人员亟待解决的问题。


技术实现要素：

5.本发明的目的在于提供一种基于特征多时间态的处理方法，以解决上述技术背景中提出的问题。
6.为实现上述目的，本发明采用以下技术方案：
7.本技术第一个方面提供了一种基于特征多时间态的处理方法，包括：
8.s1，特征处理器中构建一个7天的周级别的时间轮盘，时间轮盘随着时间天数的推移自动旋转，每隔一周为一个完整循环；所述时间轮盘包括一个首尾相连的环形数据结构缓冲循环队列，环形数据结构缓冲循环队列分为若干单元槽，每个单元槽对应一个时间刻度；
9.s2，每个刻度上的时间存储当天特征的形态数据，用于描述特征一天的变化状态；
10.s3，构建特征时，记录各特征之间的距离关系；
11.s4，将各特征之间的距离关系由二维升到三维空间中，特征之间的关系越近关联度越高则越密集，从而判定特征之间的关联关系；
12.s5，获取特征多时间态的特征数据以及关联关系，包括如下步骤：
13.s51，选定一个特征的空间坐标，通过距离公式计算出与选定特征的空间坐标距离相似的特征，得到选定特征的关联特征集合；
14.s52，选择一个特征的时间坐标，通过时间度为o(n)的过滤器算法对选定特征的关联特征集合进行过滤，获得目标特征集合。
15.优选地，所述时间轮盘中，定义时间轮盘中的顺时针方向为队尾至队首方向，逆时针方向为队首至队尾方向。
16.优选地，所述步骤s2中，每个刻度上的时间存储当天特征的形态数据，以链表的形式进行存储，通过先进先出置换算法定时对当天特征的形态数据进行更新。
17.本技术第二个方面提供了本技术第一个方面提供了一种基于特征多时间态的处理系统，包括：
18.时间轮盘构建模块，通过特征处理器中构建一个7天的周级别的时间轮盘，时间轮盘随着时间天数的推移自动旋转，每隔一周为一个完整循环；所述时间轮盘包括一个首尾相连的环形数据结构缓冲循环队列，环形数据结构缓冲循环队列分为若干单元槽，每个单元槽对应一个时间刻度；
19.刻度存储模块，用于在每个刻度上的时间存储当天特征的形态数据，描述特征一天的变化状态；
20.特征距离记录模块，用于构建特征时，记录各特征之间的距离关系；
21.特征关联关系判定模块，用于将各特征之间的距离关系由二维升到三维空间中，特征之间的关系越近关联度越高则越密集，从而判定特征之间的关联关系；
22.特征多时间态获取模块，用于获取特征多时间态的特征数据以及关联关系，包括：关联特征集合获取子模块和目标特征集合获取子模块；其中，所述关联特征集合获取子模块，用于选定一个特征的空间坐标，通过距离公式计算出与选定特征的空间坐标距离相似的特征，得到选定特征的关联特征集合；所述目标特征集合获取子模块，用于选择一个特征的时间坐标，通过时间度为o(n)的过滤器算法对选定特征的关联特征集合进行过滤，获得目标特征集合。
23.本技术第三个方面公开了一种电子设备，包括：至少一个处理器；以及存储器，所述存储器存储指令，当所述指令被所述至少一个处理器执行时，使得所述至少一个处理器执行如上所述的基于特征多时间态的处理方法。
24.本技术第四个方面公开一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被执行时，可以实现上述的基于特征多时间态的处理方法。
25.与现有技术相比，本发明的技术方案具有以下有益效果：
26.本技术能够满足在任意时间态下对机器学习中的特征数据进行精准还原，在任意情况下精准地还原特定时间线的特征，同时保留特征的关联关系。
附图说明
27.构成本技术的一部分附图用来提供对本技术的进一步理解，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：
28.图1是本发明的一种基于特征多时间态的处理方法的流程图；
29.图2是一种时间轮盘的结构示意图；
30.图3是每个刻度上的时间存储当天特征的形态数据的存储方式示例；
31.图4是本发明在构建特征时，各特征之间的距离关系示例图；
32.图5是本发明在构建特征时，记录特征之间的距离关系示例图，其中，圆圈指特征，圆圈之间的数字指各特征之间的距离；
33.图6(a)～(d)是将各特征之间的距离关系由二维升到三维空间中的示例图；
34.图7是本发明的一种基于特征多时间态的处理系统的结构框图。
具体实施方式
35.为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
36.需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序，应该理解这样使用的数据在适当情况下可以互换。此外，术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
37.实施例：
38.现有工业级别的特征主要解决当下时间和场景的特征形态，海量的特征状态只保留最新的特征，这会导致特征随着时间推移，其形态不断发生变化从而降低模型算法的不确定性，如表1所示：
39.表1，特征形态随时间变化示例
40.时间线特征特征信息特征关系00:01featurea5a and b02:12featurea19a and b03:23featureb21b and a04:50featureb27b and a05:30featurec19c and a
41.特征会随着时间的流逝不断发生变化。特征状态在不断迭代的过程中发生变化，随着时间的推移逐丢失信息。当有n个的特征不断变化，并且特征和特征之间有关联关系，我们需要在任意的时间、任意的节点都可以把特征的关联关系描绘出来。
42.图1为本技术的一种基于特征多时间态的处理方法的流程图。
43.如图1所示，一种基于特征多时间态的处理方法，具体包括如下步骤：
44.步骤s1：特征处理器中构建一个7天的、周级别的时间轮盘，时间轮盘随着时间天数推移自动旋转，每隔一周为一个完整循环。
45.本技术中，时间轮盘采用了定时器hash wheel timer。一个hash wheel timer是一个环形结构，可以想象成时钟，分为很多格子，一个格子代表一段时间(越短，则定时器精度越高)，并用一个链表保存在该格子上到期的所有任务，同时一个指针随着时间流逝一格一格转动，并执行对应链表中所有到期的任务。任务通过取模决定应该放入哪个格子。
46.以图2为例子，假设一个格子是一天，则整个时间轮盘能表示的时间段为8天，假如当前指针指向2，此时需要调度一个3天后执行的任务，显然应该加入到(2+3＝5)的方格中，指针再走3次就可以执行了；如果任务要在10天后执行，应该等指针走完一个round零2格再执行，因此应放入4，同时将round(1)保存到任务中。检查到期任务时应当只执行round为0的，格子上其他任务的round应减1。
47.时间轮盘包括一个首尾相连的环形数据结构缓冲循环队列(即circular buffer)，环形数据结构缓冲循环队列分为若干单元槽，每个单元槽对应一个时间刻度，填
充有当天特征的形态数据，用于描述特征一天的变化状态。时间轮盘中，定义时间轮盘中的顺时针方向为队尾至队首方向，逆时针方向为队首至队尾方向。环形数据结构缓冲循环队列中设置有一个指向队尾单元槽的指针。
48.步骤s2：每个刻度的上的时间存储当天特征的形态数据，用于描述特征一天的变化状态。
49.参阅图3所示，每个刻度上的时间存储当天特征的形态数据，以链表的形式进行存储，通过先进先出置换算法定时对当天特征的形态数据进行更新。
50.步骤s3：构建特征时记录特征之间的距离关系，并记录下来，如图4、图5所示。图5中，圆圈是指特征，圆圈之间的数字是指各特征之间的距离。
51.步骤s4：参阅图6所示，将各特征之间的距离关系由二维升到三维空间中，特征之间的关系越近关联度越高则越密集，特征之间的关系越远关联度越小则越稀疏，从而判定特征之间的关联关系。
52.步骤s5：获取特征多时间态的特征数据以及关联关系。具体包括如下步骤：
53.s51，选定一个特征的空间坐标，例如，x1,y1(featurea)特征。
54.s52，通过距离公式计算出与选定特征的空间坐标距离相似的特征，得到一个选定特征的关联特征集合，例如，featureb......featuren的集合。
55.其中，计算距离的距离公式为：
56.上述的空间坐标距离相似，可以预设一个距离阈值，当计算出的选定特征的空间坐标与其他特征的空间坐标之间的距离值在预设的距离阈值范围内，则判定为空间坐标距离相似。
57.s53，选择一个特征的时间坐标，例如，t1(04:50)。
58.s54，通过时间度为o(n)的过滤器算法对选定特征的关联特征集合进行过滤，获得目标特征集合，例如，featureb......featuren与featurea相关的特征集合。
59.另一方面，本技术还公开了一种基于特征多时间态的处理系统，包括：时间轮盘构建模块100、刻度存储模块200、特征距离记录模块300、特征关联关系判定模块400和特征多时间态获取模块500。
60.所述时间轮盘构建模块100，通过特征处理器中构建一个7天的周级别的时间轮盘，时间轮盘随着时间天数的推移自动旋转，每隔一周为一个完整循环；所述时间轮盘包括一个首尾相连的环形数据结构缓冲循环队列，环形数据结构缓冲循环队列分为若干单元槽，每个单元槽对应一个时间刻度。
61.所述刻度存储模块200，用于在每个刻度上的时间存储当天特征的形态数据，描述特征一天的变化状态。
62.所述特征距离记录模块300，用于构建特征时，记录各特征之间的距离关系。
63.所述特征关联关系判定模块400，用于将各特征之间的距离关系由二维升到三维空间中，特征之间的关系越近关联度越高则越密集，从而判定特征之间的关联关系。
64.所述特征多时间态获取模块500，用于获取特征多时间态的特征数据以及关联关系，包括：关联特征集合获取子模块和目标特征集合获取子模块。其中，所述关联特征集合获取子模块，用于选定一个特征的空间坐标，通过距离公式计算出与选定特征的空间坐标距离相似的特征，得到选定特征的关联特征集合；所述目标特征集合获取子模块，用于选择
一个特征的时间坐标，通过时间度为o(n)的过滤器算法对选定特征的关联特征集合进行过滤，获得目标特征集合。
65.另一方面，本技术还公开了一种电子设备。本技术公开的电子设备可以包括处理器以及存储器。存储器，用于存储计算机程序；其中，处理器执行存储器中的计算机程序，以实现如上所述方法实施例所提供的方法。具体实现过程可参见上文中的相关描述，在此不再赘述。
66.在一优选实施例中，电子设备可以包括、但不限于：个人计算机、服务器计算机、工作站、桌面型计算机、膝上型计算机、笔记本计算机、移动计算设备、智能电话、平板计算机、蜂窝电话、个人数字助理(pda)、手持装置、消息收发设备、可佩戴计算设备、消费电子设备等等。
67.处理器可以是中央处理单元(cpu)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备中的其他组件以执行期望的功能。
68.存储器可以包括一个或多个计算机程序产品，计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器(ram)和/或高速缓冲存储器(cache)等。非易失性存储器例如可以包括只读存储器(rom)、硬盘、闪存等。在计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器可以运行程序指令，以实现上文的本技术的各个实施例中的方法以及/或者其他期望的功能。
69.此外，本发明还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，该计算机程序被处理器执行时用于实现如上所述各方法实施例所提供的方法。
70.实际应用中，本实施例中的计算机程序可以以一种或多种程序设计语言的任意组合来编写用于执行本技术实施例操作的程序代码，程序设计语言包括面向对象的程序设计语言，诸如java、c++等，还包括常规的过程式程序设计语言，诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
71.实际应用中，计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。
72.本领域技术人员还将明白的是，结合这里的公开所描述的各种示例性逻辑块、模块和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。
73.附图中的流程图和框图显示了根据本发明的实施例的装置和方法的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标记的功能也可以以
不同于附图中所标记的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
74.综上所述，本技术技术方案能够满足在任意时间态下对机器学习中的特征数据进行精准还原，在任意情况下精准地还原特定时间线的特征，同时保留特征的关联关系。本技术提高了机器学习中特征数据的质量。
75.以上对本发明的具体实施例进行了详细描述，但其只是作为范例，本发明并不限制于以上描述的具体实施例。对于本领域技术人员而言，任何对本发明进行的等同修改和替代也都在本发明的范畴之中。因此，在不脱离本发明的精神和范围下所作的均等变换和修改，都应涵盖在本发明的范围内。