异构时序数据处理方法、装置及电子设备与流程

本申请涉及数据挖掘领域，特别涉及异构时序数据处理方法、装置及电子设备。

背景技术：

1、在目前很多应用场景中，常会面临异构时序数据的情况。所谓异构时序数据，其泛指数据来源类型不同、数据结构不同(比如数据维度不同、数据内容不同等)的时序数据。比如，指定app被访问的时序数据(其表示该指定app在不同时间点被访问的情况)、指定对象被执行指定操作比如账户被指定转账等的时序数据(其表示该指定对象在不同时间点被执行指定操作的情况)、图像设备比如摄像头的时序数据(其表示该图像设备在不同时间点的状态)可称为异构时序数据。

2、在目前应用中，因为不同异构时序数据之间的差别，导致不同异构数据直接混合在一起应用会引入噪声。比如直接利用上述异构时序数据进行建模(比如训练模型等)等，则会因为异构时序数据之间本身的差异化引入噪声，影响建模效果。

技术实现思路

1、本申请实施例公开了异构时序数据处理方法、装置及电子设备，以避免异构时序数据本身的差异化引入的噪声。

2、本申请实施例提供了一种异构时序数据处理方法，所述方法包括：

3、将已获得的各异构时序数据进行数据对齐处理，以使各异构时序数据转换为同构时序数据；所述异构时序数据至少包含不同对象id和/或同一对象id在不同时间点的数据记录；

4、从各同构时序数据中筛选出同一对象id对应的同构序列；其中，每一对象id对应的同构序列是按照时间点顺序对属于该对象id的各时间点的数据记录进行排列得到的，每一时间点的数据记录中包含类别型向量xc和数值型向量xn；xc的维度为c*1，c表示该数据记录中属于类别型的数据的数量，xn的维度为n*1，n表示该数据记录中属于数值型的数据的数量；

5、针对每一对象id对应的同构序列中每一时间点的数据记录，将该数据记录中的类别型向量xc和数值型向量xn进行聚合，得到该数据记录对应的聚合向量；

6、针对每一对象id对应的同构序列，依据该同构序列中各时间点的数据记录对应的聚合向量，确定该同构序列对应的第一目标向量和第二目标向量；所述第一目标向量用于表示长期平稳特征的向量，所述第二目标向量用于表示短期波动特征的向量；所述第一目标向量和所述第二目标向量被用于代替该同构序列中的数据记录进行模型训练，以训练出用于执行数据处理的目标模型。

7、本申请实施例提供了一种异构时序数据处理装置，所述装置包括：

8、对齐单元，用于将已获得的各异构时序数据进行数据对齐处理，以使各异构时序数据转换为同构时序数据；

9、筛选单元，用于从各同构时序数据中筛选出同一对象id对应的同构序列；其中，每一对象id对应的同构序列是按照时间点顺序对属于该对象id的各时间点的数据记录进行排列得到的，每一时间点的数据记录中包含类别型向量xc和数值型向量xn；xc的维度为c*1，c表示该数据记录中属于类别型的数据的数量，xn的维度为n*1，n表示该数据记录中属于数值型的数据的数量；

10、聚合单元，用于针对每一对象id对应的同构序列中每一时间点的数据记录，将该数据记录中的类别型向量xc和数值型向量xn进行聚合，得到该数据记录对应的聚合向量；

11、处理单元，用于针对每一对象id对应的同构序列，依据该同构序列中各时间点的数据记录对应的聚合向量，确定该同构序列对应的第一目标向量和第二目标向量；所述第一目标向量用于表示长期平稳特征的向量，所述第二目标向量用于表示短期波动特征的向量；所述第一目标向量和所述第二目标向量被用于代理该同构序列中的数据记录进行模型训练，以训练出用于执行数据处理的目标模型。

12、本申请实施例提供一种电子设备，所述电子设备包括：处理器和机器可读存储介质；

13、其中，所述机器可读存储介质，用于存储机器可执行指令；

14、所述处理器，用于读取并执行所述机器可读存储介质存储的机器可执行指令，以实现如上方法中的步骤。

15、通过以上描述可以看出，本实施例中，并非直接将不同异构时序数据混在一起应用比如进行建模训练等，而是先对各异构时序数据进行数据对齐处理以使各异构时序数据转换为同构时序数据，之后，从各同构时序数据中筛选出同一对象id对应的同构序列，针对每一对象id对应的同构序列，先确定该同构序列中每一时间点的数据记录对应的聚合向量，并依据各时间点的数据记录对应的聚合向量确定第一目标向量和第二目标向量，最终确定出同构的不同向量(比如第一目标向量和第二目标向量)，之后即可利用第一目标向量和第二目标向量代替该同构序列中的数据记录进行模型训练来训练出用于执行数据处理的目标模型，实现了将同构时序数据进行建模，避免异构时序数据本身的差异化引入的噪声；

16、进一步地，本实施例中，由于将异构时序数据转换为同构时序数据混在一起建模，能够有效利用不同时序数据间的交互信息进行建模，降低信息损失。

17、进一步地，在本实施例中，其最终确定出用于表示长期平稳特征的第一目标向量、用于表示短期波动特征的第二目标向量来进行模型训练，这种采用长、短期特征的向量，实现了数据的更充分表征，达到精确建模目的。

技术特征：

1.一种异构时序数据处理方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，每一异构时序数据通过对应的数据表表示；

3.根据权利要求1所述的方法，其特征在于，所述针对每一对象id对应的同构序列中每一时间点的数据记录，将该数据记录中的类别型向量xc和数值型向量xn进行聚合，得到该数据记录对应的聚合向量包括：

4.根据权利要求3所述的方法，其特征在于，所述利用掩码mask方式对所述类别编码矩阵ect和所述数值编码矩阵ent进行掩码处理，得到维度为(c+n)*d的稠密矩阵et包括：

5.根据权利要求3所述的方法，其特征在于，所述依据已配置的用于进行聚合的注意力机制对所述稠密矩阵et进行聚合操作，得到该数据记录对应的聚合向量包括：

6.根据权利要求1所述的方法，其特征在于，所述针对每一对象id对应的同构序列，依据该同构序列中各时间点的数据记录对应的聚合向量，确定该同构序列对应的第一目标向量和第二目标向量包括：

7.根据权利要求6所述的方法，其特征在于，所述依据所述第一候选聚合向量，确定第一目标向量，以及依据第二候选聚合向量，确定第二目标向量包括：

8.根据权利要求1至7任一项所述的方法，其特征在于，所述目标模型为用于时序数据分类的分类模型；或者，

9.一种异构时序数据处理装置，其特征在于，所述装置包括：

10.一种电子设备，其特征在于，所述电子设备包括：处理器和机器可读存储介质；

技术总结
本申请实施例公开了异构时序数据处理方法、装置及电子设备。本申请实施例中，并非直接将异构时序数据进行建模，而是对异构时序数据进行一系列处理，以将异构时序数据转为同构时序数据并混合在一起建模，避免异构时序数据本身的差异化引入的噪声，同时由于将转换后的同构时序数据混在一起建模，能够有效利用不同时序数据间的交互信息进行建模，降低信息损失。

技术研发人员：罗宇,姜伟浩
受保护的技术使用者：杭州海康威视数字技术股份有限公司
技术研发日：
技术公布日：2024/3/27