数据处理方法、装置及电子设备、存储介质与流程

1.本技术涉及数据处理技术，尤其涉及一种数据处理方法、装置及电子设备、存储介质。


背景技术：

2.通信运营商的后台系统在进行公众业务数据(例如短信业务数据、通话业务数据等)处理时，经常要对来自各省的数据分别进行处理和分析。后台系统无法对各省数据进行统一处理和分析的原因在于各省的数据来自于各省的数据系统，各省的数据系统又是不同的，所以各省的数据会由于数据格式不统一的问题而无法统一处理和分析。
3.在为公众业务数据赋能(例如限定公众业务数据用于实时推送、离线推送或报表/大屏输出等)时，经常由于后台系统无法统一处理、分析、分配和使用这些数据格式不统一的公众业务数据，而导致公众业务数据赋能出现公众业务数据赋能效果差的问题。
4.因此，在进行公众业务数据赋能时，如何使得公众业务数据可以被统一处理、分析、分配和使用，以提高公众业务数据赋能效果，仍然是需要考虑的。


技术实现要素：

5.本技术提供一种数据处理方法、装置及电子设备、存储介质，用以解决在进行公众业务数据赋能时，如何使得公众业务数据可以被统一处理、分析、分配和使用的问题。
6.一方面，本技术提供数据处理方法，包括：
7.从各省的数据系统中获取第一待处理数据，从总部数据系统中获取第二待处理数据；
8.将所述第一待处理数据和所述第二待处理数据发送到消息队列中，以结合所述消息队列中的预设数据格式，将所述第一待处理数据和所述第二待处理数据转换为第三待处理数据，所述第三待处理数据为具有预设数据格式的数据；
9.对所述第三待处理数据进行指标计算，得到待赋能数据；
10.对所述待赋能数据进行赋能。
11.可选的，所述从各省的数据系统中获取第一待处理数据，从总部数据系统中获取第二待处理数据包括：
12.获取数据赋能需求，所述数据赋能需求用于指示待处理数据的类型和来源；
13.根据所述数据赋能需求，从各省的数据系统中获取第一待处理数据，从总部数据系统中获取第二待处理数据。
14.可选的，所述数据赋能需求还用于指示数据赋能流向；所述对所述第三待处理数据进行指标计算包括：
15.根据所述数据赋能需求指示的数据赋能流向，标记所述第三待处理数据中的实时处理数据和离线处理数据；
16.对所述实时处理数据进行实时指标计算，对所述离线处理数据进行离线指标计
算。
17.可选的，所述对所述待赋能数据进行赋能包括：
18.根据所述数据赋能需求对所述待赋能数据进行赋能。
19.可选的，所述消息队列中的预设数据格式包括ogg数据格式和dts数据格式；所述将所述第一待处理数据和所述第二待处理数据发送到消息队列中，以结合所述消息队列中的预设数据格式，将所述第一待处理数据和所述第二待处理数据转换为第三待处理数据，包括：
20.将所述第一待处理数据和所述第二待处理数据发送到消息队列中，基于消息队列kafka机制，将所述第一待处理数据和所述第二待处理数据中来源于orcal数据库的数据转换为ogg数据格式的第三待处理数据；
21.将所述第一待处理数据和所述第二待处理数据发送到消息队列中，基于消息队列kafka机制，将所述第一待处理数据和所述第二待处理数据中来源于drds数据库的数据转换为dts数据格式的第三待处理数据。
22.可选的，所述对所述第一待处理数据和所述第二待处理数据进行指标计算之前，还包括：
23.获取数据清洗转换规则；
24.根据所述数据清洗转换规则对所述第一待处理数据和所述第二待处理数据进行数据清洗和数据转换。
25.另一方面，本技术提供一种数据处理装置，包括：
26.获取模块，用于从各省的数据系统中获取第一待处理数据，从总部数据系统中获取第二待处理数据；
27.格式转换模块，用于将所述第一待处理数据和所述第二待处理数据发送到消息队列中，以结合所述消息队列中的预设数据格式，将所述第一待处理数据和所述第二待处理数据转换为第三待处理数据，所述第三待处理数据为具有预设数据格式的数据；
28.计算模块，用于对所述第三待处理数据进行指标计算，得到待赋能数据；
29.赋能模块，用于对所述待赋能数据进行赋能。
30.可选的，所述获取模块具体用于：
31.获取数据赋能需求，所述数据赋能需求用于指示待处理数据的类型和来源；
32.根据所述数据赋能需求，从各省的数据系统中获取第一待处理数据，从总部数据系统中获取第二待处理数据。
33.另一方面，本技术提供一种电子设备，包括：处理器，以及与所述处理器通信连接的存储器；
34.所述存储器存储计算机执行指令；
35.所述处理器执行所述存储器存储的计算机执行指令，以实现如第一方面所述的数据处理方法。
36.另一方面，本技术提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当所述指令被执行时，使得计算机执行如第一方面所述的数据处理方法。
37.另一方面，本技术提供一种计算机程序产品，包括计算机程序，所述计算机程序被
处理器执行时实现如第一方面所述的数据处理方法。
38.本技术提供的数据处理方法用于对公众业务数据的原始来源数据进行数据格式统一化，再对数据格式统一化后的数据进行赋能。具体的，公众业务数据的原始来源数据包含从各省的数据系统中获取的数据(如上描述的第一待处理数据)和从总部数据系统中获取的数据(如上描述的第二待处理数据)。在进行第一待处理数据和第二待处理数据的格式统一化处理时，是将第一待处理数据和第二待处理数据发送到消息队列(如kafka)中，以结合消息队列中的预设数据格式，将所述第一待处理数据和所述第二待处理数据转换为第三待处理数据，所述第三待处理数据为具有预设数据格式的数据。如此，就统一了公众业务数据的数据格式。在基于具有相同格式的数据进行公众业务数据赋能时，这些待赋能的公众业务数据就可以被统一处理、分析、分配和使用，以提高公众业务数据赋能效果。
附图说明
39.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
40.图1为本技术提供的数据处理方法的一种应用场景示意图；
41.图2为本技术的一个实施例提供的数据处理方法的流程示意图；
42.图3为本技术的一个实施例提供的数据处理方法中数据处理架构的示意图；
43.图4为本技术的一个实施例提供的数据处理装置的示意图；
44.图5为本技术的一个实施例提供的电子设备的示意图。
45.通过上述附图，已示出本公开明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围，而是通过参考特定实施例为本领域技术人员说明本公开的概念。
具体实施方式
46.这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
47.通信运营商的后台系统在进行公众业务数据(例如短信业务数据、通话业务数据等)处理时，经常要对来自各省的数据分别进行处理和分析。后台系统无法对各省数据进行统一处理和分析的原因在于各省的数据来自于各省的数据系统，各省的数据系统又是不同的，所以各省的数据会由于数据格式不统一的问题而无法统一处理和分析。
48.在为公众业务数据赋能(例如限定公众业务数据用于实时推送、离线推送或报表/大屏输出等)时，经常由于后台系统无法统一处理、分析、分配和使用这些数据格式不统一的公众业务数据，而导致公众业务数据赋能出现公众业务数据赋能效果差的问题。
49.造成公众业务数据的数据格式不统一的原因是各省一般使用不同的数据系统(或者说数据模型)来记录公众业务数据，数据系统的不同造成了数据格式的不同。除此之外，公众业务数据例如集中业务支撑(centralized business support，简称cbss)数据、公众中台各中心数据和31省装维数据分散在各个数据源中，各个数据源之间不能做到有效拉
通，形成了数据孤岛，所以在使用公众业务数据时不能做到数据直接调配使用。
50.因此，在进行公众业务数据赋能时，如何使得公众业务数据可以被统一处理、分析、分配和使用，以提高公众业务数据赋能效果，仍然是需要考虑的。
51.基于此，本技术提供一种数据处理方法、装置及电子设备、存储介质。该数据处理方法是从各省的数据系统中获取第一待处理数据，以及从总部数据系统中获取第二待处理数据。将第一待处理数据和第二待处理数据均转换为预设数据格式的数据，再对统一了数据格式后的数据进行指标计算后赋能。如此，在基于具有相同格式的数据进行公众业务数据赋能时，这些待赋能的公众业务数据就可以被统一处理、分析、分配和使用，以提高公众业务数据赋能效果。
52.本技术提供的数据处理方法应用于电子设备，该电子设备例如总部使用的计算机、服务器等。图1为本技术提供的数据处理方法的应用示意图，图中，该电子设备从各省的数据系统中获取第一待处理数据，再从总部数据系统中获取第二待处理数据。将该第一待处理数据和该第二待处理数据转换为第三待处理数据，该第三待处理数据为具有预设数据格式的数据。对该第三待处理数据进行指标计算，得到待赋能数据，再对该待赋能数据进行赋能。
53.请参见图2，本技术其中一个实施例提供一种数据处理方法，包括：
54.s210，从各省的数据系统中获取第一待处理数据，从总部数据系统中获取第二待处理数据。
55.该第一待处理数据可以是从各省的数据系统中获取的所有公众业务数据，也可以是一部分公众业务数据。同样的，该第二待处理数据可以是从总部数据系统中获取的所有公众业务数据，也可以是一部分公众业务数据。
56.可选的，在获取该第一待处理数据和该第二待处理数据之前，可以先获取数据赋能需求，再根据该数据赋能需求，从各省的数据系统中获取第一待处理数据，从总部数据系统中获取第二待处理数据。该数据赋能需求用于指示待处理数据的类型和来源，该待处理数据包含该第一待处理数据和该第二待处理数据。例如，数据赋能需求包含数据用于进行离线推送、指标接收输出、报表/大屏输出和实时推送，在获取待处理数据时，只需要获取与离线推送、指标接收输出、报表/大屏输出和实时推送有关的数据即可。
57.图3所示为该电子设备中与该数据处理方法对应的数据处理架构的示意图。数据归集层接入的数据中，该第一待处理数据例如是图3所示的省份智能运维系统iom装维数据、省份个性数据(例如省份为了业务数据处理更方便自定义的一些数据)。该第二待处理数据如图3所示的公众中台各中心数据(包括中台-订单中心数据、中台-产商品数据、掌沃通数据)、cbss数据(包含cbss旧架构数据、cbss新架构数据)、其他中心数据或其他触点数据。
58.可选的，在数据接入时，可以预先形成一些数据上收模型，将数据接入至数据上收模型中，在进行数据格式处理时，直接格式统一化模型中的数据。例如，在接入省份iom装维数据时，可以预先形成一套统一的iom数据上收模型，将所有接入的省份iom装维数据接入至iom数据上收模型中。
59.s220，将该第一待处理数据和该第二待处理数据发送到消息队列中，以结合该消息队列中的预设数据格式，将该第一待处理数据和该第二待处理数据转换为第三待处理数
据，该第三待处理数据为具有预设数据格式的数据。
60.如图3所示，在进行数据接入时，通过kafka机制对数据进行处理。
61.可选的，根据数据的源端库的不同，可以是以ogg+kafka的方案解决以orcal作为数据库的公众业务数据，以dts+kafka的方案解决以drds作为数据库的公众业务数据。
62.该消息队列中的预设数据格式包括ogg数据格式和dts数据格式。基于该消息队列中kafka机制，将该第一待处理数据和该第二待处理数据中来源于orcal数据库的数据转换为ogg数据格式的第三待处理数据。基于消息队列kafka机制，将该第一待处理数据和该第二待处理数据中来源于drds数据库的数据转换为dts数据格式的第三待处理数据。
63.s230，对该第三待处理数据进行指标计算，得到待赋能数据。
64.如图3所示的指标计算层用于对该第三待处理数据进行指标计算，得到待赋能数据。指标计算分为实时指标计算和离线指标计算两部分。
65.实时指标计算是对数据归集层接入的数据，利用kafka作为数据流转的通道，spark作为数据加工处理组件，通过编sparksql处理脚本程序，实现指标实时指标计算处理。
66.离线指标计算也是利用数据归集层接入的hbase数据，利用hudi组件加载数据，以spark进行数据加工计算，每天定时来执行各个指标的处理，指标计算完成后，数据会统一存入如下描述的结果集。
67.可选的，该数据赋能需求还用于指示数据赋能流向，在进行实时指标计算和离线指标计算之前，还可以根据该数据赋能需求指示的数据赋能流向，标记该第三待处理数据中的实时处理数据和离线处理数据，再对该实时处理数据进行实时指标计算，对该离线处理数据进行离线指标计算。该数据赋能流向例如用于实时推送、用于报表/大屏输出、用于指标接口输出、用于离线推送，其中，用于实时推送、用于报表/大屏输出、用于指标接口输出的数据可以被标记为实时处理数据，用于离线推送的数据可以被标记为离线处理数据。
68.可选的，在对该第一待处理数据和该第二待处理数据进行指标计算之前，还可以先对该第一待处理数据和该第二待处理数据进行数据清洗和数据转换。具体的，先获取数据清洗转换规则，再根据该数据清洗转换规则对该第一待处理数据和该第二待处理数据进行数据清洗和数据转换。该数据清洗转换规则可以人为定义。对该第一待处理数据和该第二待处理数据进行数据清洗的目的是筛除该第一待处理数据和该第二待处理数据中一些会对赋能造成影响的数据或不需要的杂质数据。对该第一待处理数据和该第二待处理数据进行数据转换的目的是使得一些数据可以更直接得被用来进行指标计算，避免数据无法用于指标计算的问题。
69.s240，对该待赋能数据进行赋能。
70.如图3所示，在结果集和能力提供层，数据赋能的主要方式为能力提供，能力提供的方式主要包括：指标接口输出调用、离线推送调用、报表/大屏输出调用、实时推送调用。在对该待赋能数据进行赋能时，根据能力提供的方式来对该待赋能数据进行赋能。能力提供的方式定义了数据赋能流向，因此，也可以说是根据该数据赋能需求对该待赋能数据进行赋能。
71.在对该待赋能数据进行赋能之前，还可以根据需求对该待赋能数据进行存储，例如使用redis和天宫rds组件来作为存储媒介。
72.可选的，如图3所示，本实施例提供的数据处理方法、该第一待处理数据和该第二待处理数据也可以被打包为程序包发送至各省，各省对该程序包进行二次研发后，输出数据用于数据赋能。例如图3所示的，各省份均可以输出省份个性化结果集作为待赋能数据，该省份个性化结果集包含了所有省份的个性数据。
73.综上，本实施例提供的数据处理方法用于对公众业务数据的原始来源数据进行数据格式统一化，再对数据格式统一化后的数据进行赋能。具体的，公众业务数据的原始来源数据包含从各省的数据系统中获取的数据(如上描述的第一待处理数据)和从总部数据系统中获取的数据(如上描述的第二待处理数据)。在进行第一待处理数据和第二待处理数据的格式统一化处理时，是将第一待处理数据和第二待处理数据发送到消息队列(如kafka)中，以结合消息队列中的预设数据格式，将该第一待处理数据和该第二待处理数据转换为第三待处理数据，该第三待处理数据为具有预设数据格式的数据。如此，就统一了公众业务数据的数据格式。在基于具有相同格式的数据进行公众业务数据赋能时，这些待赋能的公众业务数据就可以被统一处理、分析、分配和使用，以提高公众业务数据赋能效果。
74.经实验验证，采用本实施例提供的方案后，目前公众业务数据的赋能已经成功对接了cbss系统的数据、订单中心的数据、掌沃通的数据、省分iom装维数据和产商品等中心的数据。利用如图3所示的数据处理架构，在订单方面实现了电商派单、订单稽核、意向单派单、订单明细报表等功能。在大屏方面，实现了对cbss系统的数据、订单中心的数据、掌沃通的数据、省分iom装维数据和产商品等中心的数据之间的业务逻辑串联。数据之间的业务逻辑串联使得可以形成订单全业务监控大屏、宽带全流程监控大屏、iom装维流程监控大屏和掌沃通大屏。业务逻辑串联后的数据也对手厅、网厅、自助厅等触点提供了宽带业务全流程查询接口。经过报表中心加工处理后的数据，也同样以实时kafka推送和离线数据同步的方式，同步给了渠道中心、清算中心等业务部门进行了数据赋能同步。
75.请参见图4，本技术其中一个实施例还提供一种数据处理装置10，包括：
76.获取模块11，用于从各省的数据系统中获取第一待处理数据，从总部数据系统中获取第二待处理数据。
77.格式转换模块12，用于将该第一待处理数据和该第二待处理数据发送到消息队列中，以结合该消息队列中的预设数据格式，将该第一待处理数据和该第二待处理数据转换为第三待处理数据，该第三待处理数据为具有预设数据格式的数据。
78.计算模块13，用于对该第三待处理数据进行指标计算，得到待赋能数据。
79.赋能模块14，用于对该待赋能数据进行赋能。
80.该获取模块11具体用于获取数据赋能需求，该数据赋能需求用于指示待处理数据的类型和来源；根据该数据赋能需求，从各省的数据系统中获取第一待处理数据，从总部数据系统中获取第二待处理数据。
81.该数据赋能需求还用于指示数据赋能流向，该计算模块13具体用于根据该数据赋能需求指示的数据赋能流向，标记该第三待处理数据中的实时处理数据和离线处理数据；对该实时处理数据进行实时指标计算，对该离线处理数据进行离线指标计算。
82.该赋能模块14具体用于根据该数据赋能需求对该待赋能数据进行赋能。
83.该消息队列中的预设数据格式包括ogg数据格式和dts数据格式，该格式转换模块12具体用于将该第一待处理数据和该第二待处理数据发送到消息队列中，基于消息队列
kafka机制，将该第一待处理数据和该第二待处理数据中来源于orcal数据库的数据转换为ogg数据格式的第三待处理数据；将该第一待处理数据和该第二待处理数据发送到消息队列中，基于消息队列kafka机制，将该第一待处理数据和该第二待处理数据中来源于drds数据库的数据转换为dts数据格式的第三待处理数据。
84.该获取模块11具体用于获取数据清洗转换规则。
85.数据清洗转换模块15，用于根据该数据清洗转换规则对该第一待处理数据和该第二待处理数据进行数据清洗和数据转换。
86.请参见图5，本技术其中一个实施例还提供一种电子设备20，包括处理器21，以及与该处理器通信连接的存储器22。该存储器22存储计算机执行指令，该处理器21执行该存储器22存储的计算机执行指令，以实现如上任一项实施例描述的数据处理方法。
87.本技术还提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机执行指令，当该指令被执行时，使得计算机执行指令被处理器执行时用于实现如上任一项实施例提供的该数据处理方法。
88.本技术还提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现如上任一项实施例提供的该数据处理方法。
89.需要说明的是，上述计算机可读存储介质可以是只读存储器(read only memory，rom)、可编程只读存储器(programmable read-only memory，prom)、可擦除可编程只读存储器(erasable programmable read-only memory，eprom)、电可擦除可编程只读存储器(electrically erasable programmable read-only memory，eeprom)、磁性随机存取存储器(ferromagnetic random access memory，fram)、快闪存储器(flash memory)、磁表面存储器、光盘、或只读光盘(compact disc read-only memory，cd-rom)等存储器。也可以是包括上述存储器之一或任意组合的各种电子设备，如移动电话、计算机、平板设备、个人数字助理等。
90.需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
91.上述本技术实施例序号仅仅为了描述，不代表实施例的优劣。
92.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本技术各个实施例所描述的方法。
93.本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产
生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
94.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
95.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
96.以上仅为本技术的优选实施例，并非因此限制本技术的专利范围，凡是利用本技术说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本技术的专利保护范围内。