一种用户画像标签数据质量的监控方法与流程

文档序号:24984902发布日期:2021-05-07 23:02阅读:来源:国知局

技术特征:

1.一种用户画像标签数据质量的监控方法,其特征在于,包括如下:

(1)获取目标用户的画像标签宽表以及生成画像标签宽表需要依赖的上游表;

(2)根据画像标签宽表创建第一画像标签宽表影子表,根据上游表创建上游表影子表;

(3)为上游表影子表构造数据;

(4)为第一画像标签宽表影子表构造数据,并在第一画像标签宽表影子表中增加校验字段;

(5)获取线上运行的生成画像标签宽表所使用的脚本,并将脚本的上游表替换成上游表影子表,同时根据画像标签宽表创建第二画像标签宽表影子表并为第二画像标签宽表影子表增加校验字段;然后将脚本的画像标签宽表替换成第二画像标签宽表影子表,再在替换后的脚本中补充校验字段的生成逻辑,执行替换后的脚本,然后将脚本执行后的结果插入到第二画像标签宽表影子表中;

(6)比较第一画像标签宽表影子表和第二画像标签宽表影子表中的校验字段,如果不存在字段顺序错乱,则直接退出校验过程;若出现字段顺利错乱,则继续进行校验过程直至得到所有顺序错乱的字段再退出校验。

2.根据权利要求1所述的用户画像标签数据质量的监控方法,其特征在于,在第一画像标签宽表影子表和第二画像标签宽表影子表中增加校验字段的规则如下:

(1)使用函数将所有标签字段拼接成一个字符串,其中标签字段中为null的字段按字符段类型分别进行处理;

(2)对拼接后的字符串进行压缩。

3.根据权利要求2所述的用户画像标签数据质量的监控方法,其特征在于,使用函数将所有标签字段拼接成一个字符串包括:使用concat()函数将所有标签字段拼接成一个字符串。

4.根据权利要求1所述的用户画像标签数据质量的监控方法,其特征在于,步骤(6)中在比较第一画像标签宽表影子表和第二画像标签宽表影子表中的校验字段时,先通过画像标签宽表的主键将第一画像标签宽表影子表和第二画像标签宽表影子表进行关联。

5.根据权利要求1所述的用户画像标签数据质量的监控方法,其特征在于,步骤(6)中在比较第一画像标签宽表影子表和第二画像标签宽表影子表时,若出现字段顺序错乱,则继续进行校验过程直至得到所有顺序错乱的字段再退出校验,然后将结果返回,根据返回结果对数据清洗逻辑进行检查修改。

6.根据权利要求1所述的用户画像标签数据质量的监控方法,其特征在于,第二画像标签宽表影子表中校验字段的生成逻辑和压缩逻辑与第一画像标签宽表影子表中校验字段的生成逻辑和压缩逻辑相同。


技术总结
本发明属于互联网技术领域,公开了一种用户画像标签数据质量的监控方法,为了解决代码脚本迭代和逻辑更新带来的字段顺序插入错乱问题。本发明包括:(1)获取画像标签宽表以及上游表;(2)创建第一画像标签宽表影子表和上游表影子表;(3)为上游表影子表构造数据;(4)为第一画像标签宽表影子表构造数据并增加校验字段;(5)获取脚本,并将脚本的上游表替换成上游表影子表,同时创建第二画像标签宽表影子表,将脚本的画像标签宽表替换成第二画像标签宽表影子表,并将脚本执行后的结果插入到第二画像标签宽表影子表中;(6)比较第一画像标签宽表影子表和第二画像标签宽表影子表中的校验字段。

技术研发人员:王珂莉;李永进;王浩麟
受保护的技术使用者:四川新网银行股份有限公司
技术研发日:2021.01.26
技术公布日:2021.05.07
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1