一种数据分布式自增编码方法、系统、设备及介质与流程

文档序号:18164733发布日期:2019-07-13 09:31阅读:来源:国知局

技术特征:

技术总结
本发明公开了一种数据分布式自增编码方法、系统、电子设备及介质,包括:获取外部来源数据,生成第一集合;获取已加工数据,生成第二集合;计算所述第一集合和第二集合的并集,得到总数据集合;对所述总数据集合进行去重处理,得到去重数据集合;获取所述去重数据集合中的新增数据,将所述新增数据进行编码,完成数据自增编码。本发明无需编写UDF函数,通过sql实现hive的数据自编码,从而达到给某个已知名称字段进行数据编码的目的,有效降低开发成本,提高开发效率。

技术研发人员:周孝文
受保护的技术使用者:重庆天蓬网络有限公司
技术研发日:2019.04.15
技术公布日:2019.07.12
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1