技术特征:
技术总结
本发明实施例提供一种数据处理方法及系统,用以解决现有技术中的在对大并发下海量日志数据进行存储时,存储资源的消耗较大的技术问题。其中,方法包括获取多个业务日志文件;其中,每个业务日志文件包括多个业务日志数据,每个业务日志数据包括用于表征业务操作的词项及词项特征信息;对多个业务日志文件进行分析,建立映射文件,映射文件用于指示每个业务日志文件所包括的多个业务日志数据中每个业务日志数据的词项与词项特征信息之间的映射关系;基于映射文件对每个业务日志数据进行数据重组,获得并存储待存储文件数据集合;其中,待存储文件数据集合中的每条文件数据的词项个数小于等于每个业务日志数据的词项个数。
技术研发人员:邓杰
受保护的技术使用者:中移(苏州)软件技术有限公司;中国移动通信集团公司
技术研发日:2017.10.18
技术公布日:2019.04.26