埋点数据处理方法、装置、计算机设备及存储介质与流程

本发明涉及数据处理，尤其涉及一种埋点数据处理方法、装置、计算机设备及存储介质。

背景技术：

1、神策分析是目前较为广泛应用的数据采集分析平台，集数据采集、存储、分析为一体，可以为客户提供用户行为分析、用户画像分析、自定义报表等多种分析功能。

2、但上述方法的缺点是数据传输体积较大、数据传输较冗余、数据采集类sdk(software development kit，软件开发工具包)采集量大且传送次数多，因此会浪费大量的用户端流量和服务端流量，平台对用户使用的要求较高，一套埋点存储数据对应多个应用不利于用户分析数据，且落库存储的时候缺乏必要的校验，会导致大量的冗余数据产生。

技术实现思路

1、有鉴于此，本发明的目的是为了克服现有技术中的不足，提供一种埋点数据处理方法、装置、计算机设备及存储介质。

2、本发明提供如下技术方案：

3、第一方面，本公开实施例中提供了一种埋点数据处理方法，应用于埋点系统，所述埋点系统包括客户端与服务端，所述方法包括:

4、所述客户端响应于用户的操作行为，基于事件中心的应用架构采集初始埋点数据；

5、所述客户端对所述初始埋点数据进行本地处理，并将处理后的优化埋点数据发送至所述服务端，其中，所述优化埋点数据包括埋点事件与埋点属性；

6、所述服务端对所述埋点事件与所述埋点属性进行分类，得到多个埋点子事件与多个埋点子属性；

7、所述服务端将各所述埋点子事件与各所述埋点子属性存储至hologres实时数仓，并对各所述埋点子事件与各所述埋点子属性进行多维分析，得到用户数据。

8、进一步地，所述应用架构包括小程序系统级与页面系统级，所述初始埋点数据包括第一埋点数据、第二埋点数据与第三埋点数据，所述基于事件中心的应用架构采集埋点数据，包括：

9、通过代理小程序方法，采集所述小程序系统级的第一埋点数据；

10、利用mixin工具方法预先收集整理所述页面系统级中的预埋点事件，并对所述预埋点事件进行监听，采集所述页面系统级的第二埋点数据；

11、通过代理页面方法与代理组件方法对所述页面系统级中点击事件的事件参数进行监听，采集所述页面系统级的第三埋点数据。

12、进一步地，所述将处理后的优化埋点数据发送至所述服务端之前，还包括：

13、所述客户端建立维护队列；

14、通过所述维护队列将所述初始埋点数据预存储至所述客户端的宿主平台。

15、进一步地，所述客户端对所述初始埋点数据进行本地处理，并将处理后的优化埋点数据发送至所述服务端，包括：

16、从所述宿主平台中恢复所述初始埋点数据，并提取所述初始埋点数据的公共字段，采用数据遍历算法根据所述公共字段对所述初始埋点数据进行调整，得到调所述优化埋点数据；

17、采用预设编码方式对所述优化埋点数据进行分组，得到多组分片数据；

18、利用预设加密算法对各组所述分片数据进行加密，并将加密后的分片数据传输至所述服务端；

19、将发送成功的初始埋点数据从所述宿主平台中删除。

20、进一步地，所述服务端对所述埋点数据的埋点事件与埋点属性进行分类，得到多个埋点子事件与多个埋点子属性，包括：

21、所述服务端对所述埋点事件进行分类，得到多个所述埋点子事件，所述埋点子事件包括系统事件与自定义事件；

22、所述服务端对所述埋点属性进行分类，得到多个所述埋点子属性，所述埋点子属性包括通用属性与自定义属性。

23、进一步地，所述服务端对所述埋点数据的埋点事件与埋点属性进行分类，得到多个埋点子事件与多个埋点子属性之后，还包括：

24、所述服务端建立元数据体系；

25、通过所述元数据体系对所述系统事件、所述自定义事件、所述通用属性与所述自定义属性的基础信息进行管理，其中，所述基础信息包括名称、类型与含义。

26、进一步地，所述对各所述埋点子事件与各所述埋点子属性进行多维分析，得到用户数据，包括：

27、所述服务端对各所述埋点子事件与各所述埋点子属性进行事件分析、属性分析与用户行为序列分析，并通过预设数据分析接口对各所述埋点子事件与各所述埋点子属性进行自定义分析，得到所述用户数据。

28、第二方面，本公开实施例中提供了一种埋点数据处理装置，应用于埋点系统，所述埋点系统包括客户端与服务端，所述装置包括：

29、采集模块，用于所述客户端响应于用户的操作行为，基于事件中心的应用架构采集初始埋点数据；

30、发送模块，用于所述客户端对所述初始埋点数据进行本地处理，并将处理后的优化埋点数据发送至所述服务端，其中，所述优化埋点数据包括埋点事件与埋点属性；

31、分类模块，用于所述服务端对所述埋点事件与所述埋点属性进行分类，得到多个埋点子事件与多个埋点子属性；

32、存储模块，用于所述服务端将各所述埋点子事件与各所述埋点子属性存储至hologres实时数仓，并对各所述埋点子事件与各所述埋点子属性进行多维分析，得到用户数据。

33、第三方面，本公开实施例中提供了一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现第一方面中所述的埋点数据处理方法的步骤。

34、第四方面，本公开实施例中提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现第一方面中所述的埋点数据处理方法的步骤。

35、本申请的实施例具有如下优点：

36、本申请实施例提供的埋点数据处理方法，应用于埋点系统，所述埋点系统包括客户端与服务端，方法包括：所述客户端响应于用户的操作行为，基于事件中心的应用架构采集初始埋点数据；所述客户端对所述初始埋点数据进行本地处理，并将处理后的优化埋点数据发送至所述服务端，其中，所述优化埋点数据包括埋点事件与埋点属性；所述服务端对所述埋点事件与所述埋点属性进行分类，得到多个埋点子事件与多个埋点子属性；所述服务端将各所述埋点子事件与各所述埋点子属性存储至hologres实时数仓，并对各所述埋点子事件与各所述埋点子属性进行多维分析，得到用户数据。本申请在埋点规范化、高效采集和分析应用等方面进行了创新，能够有效支持数据化运营。

37、为使本发明的上述目的、特征和优点能更明显和易懂，下文特举较佳实施例，并配合所附附图，做详细说明如下。

技术特征：

1.一种埋点数据处理方法，其特征在于，应用于埋点系统，所述埋点系统包括客户端与服务端，所述方法包括：

2.根据权利要求1所述的埋点数据处理方法，其特征在于，所述应用架构包括小程序系统级与页面系统级，所述初始埋点数据包括第一埋点数据、第二埋点数据与第三埋点数据，所述基于事件中心的应用架构采集埋点数据，包括：

3.根据权利要求1所述的埋点数据处理方法，其特征在于，所述将处理后的优化埋点数据发送至所述服务端之前，还包括：

4.根据权利要求3所述的埋点数据处理方法，其特征在于，所述客户端对所述初始埋点数据进行本地处理，并将处理后的优化埋点数据发送至所述服务端，包括：

5.根据权利要求1所述的埋点数据处理方法，其特征在于，所述服务端对所述埋点数据的埋点事件与埋点属性进行分类，得到多个埋点子事件与多个埋点子属性，包括：

6.根据权利要求5所述的埋点数据处理方法，其特征在于，所述服务端对所述埋点数据的埋点事件与埋点属性进行分类，得到多个埋点子事件与多个埋点子属性之后，还包括：

7.根据权利要求1所述的埋点数据处理方法，其特征在于，所述对各所述埋点子事件与各所述埋点子属性进行多维分析，得到用户数据，包括：

8.一种埋点数据处理装置，其特征在于，应用于埋点系统，所述埋点系统包括客户端与服务端，所述装置包括：

9.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现权利要求1-7中任一项所述的埋点数据处理方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-7中任一项所述的埋点数据处理方法的步骤。

技术总结
本发明公开了一种埋点数据处理方法、装置、计算机设备及存储介质。该方法应用于埋点系统，埋点系统包括客户端与服务端，方法包括：客户端响应于用户的操作行为，基于事件中心的应用架构采集初始埋点数据；客户端对初始埋点数据进行本地处理，并将处理后的优化埋点数据发送至服务端，优化埋点数据包括埋点事件与埋点属性；服务端对埋点事件与埋点属性进行分类，得到多个埋点子事件与多个埋点子属性；服务端将各埋点子事件与各埋点子属性存储至Hologres实时数仓，并对各埋点子事件与各埋点子属性进行多维分析，得到用户数据。本申请在埋点规范化、高效采集和分析应用等方面进行了创新，能够有效支持数据化运营。

技术研发人员：张睿,马晓超,房继新,冯如贤
受保护的技术使用者：四川蜀信云茶信息科技有限公司
技术研发日：
技术公布日：2024/3/17