一种提升埋点数据链路可靠性的链路策略及架构设计方法与流程

一种提升埋点数据链路可靠性的链路策略及架构设计方法
1.技术领域
2.本发明涉及数据领域，尤其涉及一种提升埋点数据链路可靠性的链路策略及架构设计方法。
3.

背景技术：

4.埋点是大数据分析的数据来源，但埋点数据上报收集的过程中存在量级大，并发高的特性，对于接口服务的可靠性要求较高，比如消息的丢失率和容错率，以往的收集服务中，对于以下两种情况：a、异常上报的埋点数据，直接写入数据仓库，再针对异常不合法数据从数据仓库二次清洗，导致数仓原始表中存在很多脏数据；b、数据服务有接收、转换、传输等环节，通过队列完成，如果数据处理链路异常，可能会引起埋点数据丢失，导致后续统计分析出现偏差，从而现有的埋点数据架构无法使入库链路的可靠性得到较好保障，易使埋点数据信息存在错失、遗漏情况，同时也无法精准判断异常信息和失败信息，从而降低埋点数据的整体精准度。
5.因此，有必要提供一种提升埋点数据链路可靠性的链路策略及架构设计方法解决上述技术问题。
6.

技术实现要素：

7.本发明提供一种提升埋点数据链路可靠性的链路策略及架构设计方法，解决了现有埋点数据架构无法使入库链路的可靠性得到较好保障的问题。
8.为解决上述技术问题，本发明提供的一种提升埋点数据链路可靠性的链路策略及架构设计方法，包括如下步骤：a、将埋点数据上报请求服务器采集服务；b、并判断数据是否有报文异常；c、再将埋点报文数据解析并推送数据队列；d、使数据进入分布式队列q中；e、然后数据仓库前置flume服务消费数据并写入数据库；f、将检测到上报异常的数据写入本地日志文件errfile并持久化存储；g、再将队列服务读取日志文件errfile写入分布式队列errq中；h、接着独立的监控服务消费队列errq的数据，并推送告警；i、然后人工收到告警数据及时分析并处理异常数据；j、再将正常上报的埋点数据接收、转换、推送队列期间遇到失败时，将数据写入本地日
志文件backupfile并持久化存储；k、最后队列服务读取日志文件backupfile写入分布式队列q中，完成正常数据入库。
9.优选的，所述在执行步骤e过程中，存储服务消费数据的数据库至少有两个，一个为主用数据库，另一个为备用数据库，且主用数据库的储存容量为备用数据库存储容量的两倍。
10.优选的，所述在执行步骤h过程中，推送告警的方式可采用“声光”方式警报，且“声光”方式警报具体为蜂鸣器和三色警报器，且蜂鸣器采用双喇叭立体环绕式声道，三色警报器的三色分别为“红、黄和绿”，且分别对应代表“警报、待定和正常”。
11.优选的，所述在执行步骤i过程中，人工校验异常数据时，应在监督环境下进行，且监督环境内至少有两个高清摄像头，且摄像头的拍摄方向朝向人工校验区域。
12.优选的，所述在执行步骤j过程中，存储失败数据数据库的存储容量和存储服务消费数据主用数据库的存储容量相同。
13.优选的，所述在执行步骤j过程中，本地日志文件的存储格式为文本文档格式，且本地日志文件包括警报日志、失败数据日志、安全日志以及重大事件日志记录。
14.与相关技术相比较，本发明提供的一种提升埋点数据链路可靠性的链路策略及架构设计方法具有如下有益效果：本发明提供一种提升埋点数据链路可靠性的链路策略及架构设计方法，1、本发明通过a-k一系列流程步骤的配合，引入“本地库文件读取”机制，相比于传统的上报方案提升了数据可靠性，增加“异常数据监控告警”环节，可及时识别异常数据并对其进行相应处理，使入库链路的可靠性得到较好保障，避免埋点数据信息存在错失、遗漏情况，同时可精准判断异常信息和失败信息，使得数据分析的效果得到较好的保证，从而提升埋点数据的整体精准度。
15.2、本发明通过主用数据库和备用数据库，可对存储服务消费数据进行充足存储，避免存储存储服务消费数据的数据库存在“爆库”现象，最大程度的满足服务消费数据的存储需求，通过推送告警的方式可采用“声光”方式警报，增强告警方式的警示效果，避免使用者无法及时发现异常情况，耽误对异常情况及时处理的最佳时机，通过蜂鸣器采用双喇叭立体环绕式声道，增大蜂鸣器的报警音量，增强告警方式的听觉警示效果，通过三色警报器的三色分别为“红、黄和绿”且分别对应代表“警报、待定和正常”，便于使用者及时且快速观察数据的状态情况，以便于使用者第一时间采取相应措施，通过两个高清摄像头，保证人工校验数据过程中的安全性和公开性，避免使用者从中进行篡改数据，通过存储失败数据数据库的存储容量和存储服务消费数据主用数据库的存储容量相同，满足失败数据的存储需求，通过本地日志文件包括警报日志、失败数据日志、安全日志以及重大事件日志记录，可对不同类型的日志内容进行详细记录，便于维修人员和使用者对日志内容进行详细查看，达到使用者快速开展工作的目的。
16.附图说明
17.图1为本发明提供的一种提升埋点数据链路可靠性的链路策略及架构设计方法的一种较佳实施例的整体流程图。
18.具体实施方式
19.下面结合附图和实施方式对本发明作进一步说明。
20.请结合参阅图1，其中图1为本发明提供的一种提升埋点数据链路可靠性的链路策略及架构设计方法的一种较佳实施例的整体流程图，一种提升埋点数据链路可靠性的链路策略及架构设计方法，包括如下步骤：a、将埋点数据上报请求服务器采集服务；b、并判断数据是否有报文异常；c、再将埋点报文数据解析并推送数据队列；d、使数据进入分布式队列q中；e、然后数据仓库前置flume服务消费数据并写入数据库；f、将检测到上报异常的数据写入本地日志文件errfile并持久化存储；g、再将队列服务读取日志文件errfile写入分布式队列errq中；h、接着独立的监控服务消费队列errq的数据，并推送告警；i、然后人工收到告警数据及时分析并处理异常数据；j、再将正常上报的埋点数据接收、转换、推送队列期间遇到失败时，将数据写入本地日志文件backupfile并持久化存储；k、最后队列服务读取日志文件backupfile写入分布式队列q中，完成正常数据入库。
21.所述在执行步骤e过程中，存储服务消费数据的数据库至少有两个，一个为主用数据库，另一个为备用数据库，且主用数据库的储存容量为备用数据库存储容量的两倍，可对存储服务消费数据进行充足存储，避免存储存储服务消费数据的数据库存在“爆库”现象，最大程度的满足服务消费数据的存储需求。
22.所述在执行步骤h过程中，推送告警的方式可采用“声光”方式警报，增强告警方式的警示效果，避免使用者无法及时发现异常情况，耽误对异常情况及时处理的最佳时机，且“声光”方式警报具体为蜂鸣器和三色警报器，且蜂鸣器采用双喇叭立体环绕式声道，增大蜂鸣器的报警音量，增强告警方式的听觉警示效果，三色警报器的三色分别为“红、黄和绿”，且分别对应代表“警报、待定和正常”，便于使用者及时且快速观察数据的状态情况，以便于使用者第一时间采取相应措施，同时推送告警的方式也可以是依赖“邮件通知”和“电话呼叫”。
23.所述在执行步骤i过程中，人工校验异常数据时，应在监督环境下进行，且监督环境内至少有两个高清摄像头，且摄像头的拍摄方向朝向人工校验区域，保证人工校验数据过程中的安全性和公开性，避免使用者从中进行篡改数据，便于人工校验到异常数据后，会通知客户端和运维人员，检查问题，快速修复。
24.所述在执行步骤j过程中，存储失败数据数据库的存储容量和存储服务消费数据主用数据库的存储容量相同，满足失败数据的存储需求。
25.所述在执行步骤j过程中，本地日志文件的存储格式为文本文档格式，且本地日志文件包括警报日志、失败数据日志、安全日志以及重大事件日志记录，可对不同类型的日志内容进行详细记录，便于维修人员和使用者对日志内容进行详细查看，达到使用者快速开
展工作的目的。
26.与相关技术相比较，本发明提供的一种提升埋点数据链路可靠性的链路策略及架构设计方法具有如下有益效果：本发明通过a-k一系列流程步骤的配合，引入“本地库文件读取”机制，相比于传统的上报方案提升了数据可靠性，增加“异常数据监控告警”环节，可及时识别异常数据并对其进行相应处理，使入库链路的可靠性得到较好保障，避免埋点数据信息存在错失、遗漏情况，同时可精准判断异常信息和失败信息，使得数据分析的效果得到较好的保证，从而提升埋点数据的整体精准度。
27.以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其它相关的技术领域，均同理包括在本发明的专利保护范围内。