一种数据管理方法及装置、电子设备与流程

本发明涉及分布式数据存储技术领域，特别是指一种数据管理方法及装置、电子设备。

背景技术：

现有的异地数据管理系统一般基于通讯软件、网络共享、云盘、网络专线等中的一种实现。其中，利用通讯软件进行异地数据管理，效率较低，操作管理不方便；利用网络共享进行异地数据管理，需要搭建ftp/http共享平台，利用公网传输数据，数据安全性无法保障；利用云盘进行异地数据管理，是利用公有云资源实现数据存储应用，无法配置管理权限，数据上传、下载操作需要手动操作完成，且数据安全性无法保障；利用网络专线进行异地数据管理，系统性能较好，数据安全性较高，但是成本较高。

技术实现要素：

有鉴于此，本发明的目的在于提出一种数据管理方法及装置、电子设备，能够实现数据的存储和管理。

基于上述目的，本发明提供了一种数据管理方法，包括：

接收客户端发送的数据上传请求，所述数据上传请求包括上传数据；

根据所述上传数据，为所述上传数据分配数据标记，确定存储所述上传数据的数据中心，确定所述数据中心的数据中心标识；

根据分配的所述数据标记和所述数据中心标识，更新数据索引表，所述数据索引表包括所述数据标记及对应的所述数据中心标识；

根据所述数据索引表，将所述上传数据发送至所述数据中心标识对应的数据中心，以及将所述数据标记发送给所述客户端。

可选的，所述方法还包括：

接收所述客户端发送的数据下载请求，所述数据下载请求包括下载数据的数据标记；

根据所述下载数据的数据标记，查询所述数据索引表，得到存储所述下载数据的所述数据中心标记；

根据所述数据中心标记，确定存储所述下载数据的数据中心，向所述数据中心发送用于获取所述下载数据的数据请求；

将从所述数据中心获取的所述下载数据发送给所述客户端。

可选的，若所述上传数据为非结构化数据，则先判断所述非结构化数据的大小是否超过预定值，对于超过预定值的非结构化数据，将所述非结构化数据按序拆分成多个子数据，为每个子数据按序分配唯一的数据标识，根据各数据中心的负载量，确定负载量小的多个所述数据中心，确定多个所述数据中心的数据中心标识，根据每个子数据的数据标识及存储每个子数据的数据中心标识，更新所述数据索引表。

可选的，从多个所述数据中心分别获取子数据，按照各子数据的数据标记顺序，将多个子数据合并成完整的所述下载数据。

本发明实施例还提供一种数据管理装置，包括：

数据接收模块，用于接收客户端发送的数据上传请求，所述数据上传请求包括上传数据；

数据处理模块，用于根据所述上传数据，为所述上传数据分配数据标记，确定存储所述上传数据的数据中心，确定所述数据中心的数据中心标识；根据所述数据标记及所述数据中心标识，更新数据索引表，所述数据索引表包括所述上传数据的数据标记及存储所述上传数据的数据中心标识；

数据发送模块，用于根据所述数据索引表，将所述上传数据发送至所述数据中心标识对应的数据中心，以及将所述数据标记发送给所述客户端。

可选的，所述装置还包括：

所述数据接收模块，用于接收所述客户端发送的数据下载请求，所述数据下载请求包括下载数据的数据标记；以及用于接收数据中心发送的下载数据；

所述数据处理模块，用于根据所述下载数据的数据标记，查询所述数据索引表，得到存储所述下载数据的数据中心标记；根据所述数据中心标记，确定存储所述下载数据的数据中心；

所述数据发送模块，用于向所述数据中心发送用于获取所述下载数据的数据请求，以及将从所述数据中心接收的下载数据发送给所述客户端。

可选的，若所述上传数据为非结构化数据，则先判断所述非结构化数据的大小是否超过预定值，对于超过预定值的非结构化数据，将所述非结构化数据按序拆分成多个子数据，为每个子数据按序分配唯一的数据标识，根据各数据中心的负载量，确定负载量小的多个所述数据中心，确定多个所述数据中心的数据中心标识，根据每个子数据的数据标识及存储每个子数据的数据中心标识，更新所述数据索引表。

可选的，从多个所述数据中心分别获取子数据，按照各子数据的数据标记顺序，将多个子数据合并成完整的所述下载数据。

本发明实施例还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述数据管理方法。

从上面所述可以看出，本发明提供的数据管理方法及装置、电子设备，存储数据时，接收客户端发送的上传数据，更新包括上传数据的数据标记及存储上传数据的数据中心标识的数据索引表，将上传数据存储于数据中心标识对应的数据中心，读取数据时，接收客户端发送的下载数据的数据标记，根据数据标记查找数据索引表，获取下载数据的数据中心标识，从数据中心标识对应的数据中心获取下载数据，将下载数据发送给客户端。本发明能够实现数据的存储及有效管理，且能够按照地域范围及管理权限对存储数据进行管理。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例的方法流程示意图；

图2为本发明另一实施例的方法流程示意图；

图3为本发明实施例的装置结构框图；

图4为本发明实施例的系统架构框图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

需要说明的是，本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本发明实施例的限定，后续实施例对此不再一一说明。

图1为本发明实施例的方法流程示意图。如图所示，本发明实施例提供的数据管理方法，包括：

s10：接收客户端发送的数据上传请求，数据上传请求包括上传数据；

s11：根据上传数据，为上传数据分配数据标记，确定存储上传数据的数据中心，确定数据中心的数据中心标识；

s12：根据数据标记和数据中心标识，更新数据索引表，数据索引表包括上传数据的数据标记及存储上传数据的数据中心标识；

本发明实施例中，建立数据索引表，用于存储上传数据对应的数据标记及存储上传数据的数据中心标识。

根据上传数据的数据结构类型，对上传数据进行处理。具体的说：

若上传数据为结构化数据，则对结构化数据分配唯一的数据标记，根据各数据中心的负载量，确定负载量最小的数据中心，将结构化数据存储于负载量最小的数据中心，数据索引表中保存有结构化数据的数据标记以及存储结构化数据的数据中心标识。

若上传数据为非结构化数据，则先判断非结构化数据的大小是否超过预定值，对于未超过预定值的非结构数据，为非结构化数据分配唯一的数据标记，根据各数据中心的负载量，确定负载量最小的数据中心，将非结构化数据存储于负载量最小的数据中心，更新数据索引表；若非结构数据的大小超过预定值，则将非结构化数据按序拆分成多个子数据，为每个子数据分配唯一的数据标识，根据各数据中心的负载量，确定负载量较小的多个数据中心，将多个子数据分别保存于负载量较小的多个数据中心，更新数据索引表，数据索引表中保存有为各个子数据分配的数据标记以及存储各个子数据的数据中心标识。

本发明实施例中，数据中心包括多个存储单元，多个存储单元分别用于存储上传数据。根据上传数据的数据类型，将多个存储单元划分为多个类型的存储单元。例如，将各数据中心的多个存储单元分别划分为用于存储视频数据、人口数据、事件数据的视频存储单元、人口数据存储单元、事件数据存储单元。若上传数据的数据类型为视频数据，视频数据属于非结构化数据，且视频数据的大小超过预定值，则将视频数据按序拆分成多个视频子数据，将多个视频子数据分别存储于多个数据中心的视频存储单元。

s13：根据数据索引表，将上传数据发送至数据中心标识对应的数据中心，由数据中心存储上传数据，以及将上传数据对应的数据标记发送给客户端。

图4为本发明实施例的系统架构示意图。如图所示，客户端上传数据时，向数据管理中心发送数据上传请求，数据管理中心接收数据上传请求及上传数据，对上传数据进行处理，包括：判断上传数据的数据结构类型，若上传数据为结构化数据，则直接为上传数据分配数据标识，若上传数据为非结构化数据，则判断非结构数据的大小是否超过预定值，将大小超过预定值的非结构化数据按序拆分为多个子数据，然后为每个子数据按序分配数据标识；获取每个数据中心的负载量状态，确定存储上传数据的数据中心，将上传数据存储于负载量较小的数据中心，确定存储上传数据的数据中心标记，根据上传数据的数据标记及存储上传数据的数据中心标记，更新数据索引表。

图2为本发明另一实施例的方法流程示意图。如图所示，本发明实施例提供的数据管理方法，包括：

s20：接收客户端发送的数据下载请求，数据下载请求包括下载数据的数据标记；

s21：根据下载数据的数据标记，查询数据索引表，得到存储下载数据的数据中心标记；

s22：根据数据中心标记，确定存储下载数据的数据中心，向数据中心发送获取数据请求，以获取下载数据；

对于拆分的子数据，从多个数据中心分别获取子数据，然后按照各子数据的数据标记顺序，将多个子数据合并成完整的下载数据。

s23：将从数据中心获取的下载数据发送给客户端。

如图4所示，客户端下载数据时，向数据管理中心发送数据下载请求，数据下载请求包括下载数据的数据标记，数据管理中心接收数据下载请求，根据下载数据的数据标记，查询数据索引表，得到存储下载数据的数据中心标记，根据数据中心标记确定数据中心，向数据中心请求获取下载数据，获取下载数据之后，将下载数据发送给客户端。

图3为本发明实施例的装置结构框图。如图所示，本发明实施例的数据管理装置包括数据接收模块、数据处理模块、数据发送模块；

数据接收模块，用于接收客户端发送的数据上传请求，数据上传请求包括上传数据；

数据处理模块，用于根据上传数据，为上传数据分配数据标记，确定存储上传数据的数据中心；根据上传数据的数据标记及存储上传数据的数据中心对应的数据中心标识，更新数据索引表，数据索引表包括上传数据的数据标记及存储上传数据的数据中心标识；

数据发送模块，用于根据数据索引表，将上传数据发送至数据中心标识对应的数据中心，由数据中心存储上传数据，以及将上传数据对应的数据标记发送给客户端。

本发明实施例中，建立数据索引表，用于存储上传数据对应的数据标记及存储上传数据的数据中心标识。

根据上传数据的数据结构类型，对上传数据进行处理。具体的说：

若上传数据为结构化数据，则对结构化数据分配唯一的数据标记，根据各数据中心的负载量，确定负载量最小的数据中心，将结构化数据存储于负载量最小的数据中心，数据索引表中保存有结构化数据的数据标记以及存储结构化数据的数据中心标识。

若上传数据为非结构化数据，则先判断非结构化数据的大小是否超过预定值，对于未超过预定值的非结构数据，为非结构化数据分配唯一的数据标记，根据各数据中心的负载量，确定负载量最小的数据中心，将非结构化数据存储于负载量最小的数据中心，更新数据索引表；若非结构数据的大小超过预定值，则将非结构化数据按序拆分成多个子数据，为每个子数据按序分配唯一的数据标识，根据各数据中心的负载量，确定负载量较小的多个数据中心，将多个子数据分别保存于负载量较小的多个数据中心，更新数据索引表，数据索引表中保存有为各个子数据分配的数据标记以及存储各个子数据的数据中心标识。

本发明实施例中，数据中心包括多个存储单元，多个存储单元分别用于存储上传数据。根据上传数据的数据类型，将多个存储单元划分为多个类型的存储单元。例如，将各数据中心的多个存储单元分别划分为用于存储视频数据、人口数据、事件数据的视频存储单元、人口数据存储单元、事件数据存储单元。若上传数据的数据类型为视频数据，视频数据属于非结构化数据，且视频数据的大小超过预定值，则将视频数据按序拆分成多个视频子数据，将多个视频子数据分别存储于多个数据中心的视频存储单元。

本发明实施例中，所述数据管理装置还包括：

数据接收模块，用于接收客户端发送的数据下载请求，数据下载请求包括下载数据的数据标记；以及接收数据中心发送的下载数据；

数据处理模块，用于根据下载数据的数据标记，查询数据索引表，得到存储下载数据的数据中心标记；根据数据中心标记，确定存储下载数据的数据中心；

对于拆分的子数据，从多个数据中心分别获取子数据，然后按照各子数据的数据标记顺序，将多个子数据合并成完整的下载数据。

数据发送模块，用于向数据中心发送用于获取下载数据的数据请求，以及将从数据中心接收的下载数据发送给客户端。

如图4所示，客户端上传数据时，向数据管理中心发送数据上传请求，数据接收模块接收数据上传请求及上传数据，数据处理模块对上传数据进行处理，包括：判断上传数据的数据结构类型，若上传数据为结构化数据，则直接为上传数据分配数据标识，若上传数据为非结构化数据，则判断非结构数据的大小是否超过预定值，将大小超过预定值的非结构化数据按序拆分为多个子数据，然后为每个子数据按序分配数据标识；获取每个数据中心的负载量状态，确定存储上传数据的数据中心，将上传数据存储于负载量较小的数据中心，确定存储上传数据的数据中心标记，根据上传数据的数据标记及存储上传数据的数据中心标记，更新数据索引表。

客户端下载数据时，向数据管理中心发送数据下载请求，数据下载请求包括下载数据的数据标记，数据管理中心接收数据下载请求，根据下载数据的数据标记，查询数据索引表，得到存储下载数据的数据中心标记，根据数据中心标记确定数据中心，向数据中心请求获取下载数据，获取下载数据之后，将下载数据发送给客户端。

基于本发明实施例的数据管理装置，根据数据管理范围，可构建广域数据管理系统或是分域数据管理系统，即根据客户端对数据的管理权限范围，可划分为广域或是分域数据管理系统，以实现对管辖区域内的数据管理。例如，可构建省级的广域数据管理系统，或是构建地级的分域数据管理系统。

基于上述目的，本发明实施例还提出了一种执行所述数据管理方法的装置的一个实施例。所述装置包括：

一个或多个处理器以及存储器。

所述执行所述数据管理方法的装置还可以包括：输入装置和输出装置。

处理器、存储器、输入装置和输出装置可以通过总线或者其他方式连接。

存储器作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本发明实施例中的数据管理方法对应的程序指令/模块(例如，图3所示的数据处理模块)。处理器通过运行存储在存储器中的非易失性软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例的数据管理方法。

存储器可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据执行所述数据管理方法的装置的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至会员用户行为监控装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入装置可接收输入的数字或字符信息，以及产生与执行数据管理方法的装置的用户设置以及功能控制有关的键信号输入。输出装置可包括显示屏等显示设备。

所述一个或者多个模块存储在所述存储器中，当被所述一个或者多个处理器执行时，执行上述任意方法实施例中的数据管理方法。所述执行所述数据管理方法的装置的实施例，其技术效果与前述任意方法实施例相同或者类似。

本发明实施例还提供了一种非暂态计算机存储介质，所述计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行上述任意方法实施例中的列表项操作的处理方法。所述非暂态计算机存储介质的实施例，其技术效果与前述任意方法实施例相同或者类似。

最后需要说明的是，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(read-onlymemory，rom)或随机存储记忆体(randomaccessmemory，ram)等。所述计算机程序的实施例，其技术效果与前述任意方法实施例相同或者类似。

此外，典型地，本公开所述的装置、设备等可为各种电子终端设备，例如手机、个人数字助理(pda)、平板电脑(pad)、智能电视等，也可以是大型终端设备，如服务器等，因此本公开的保护范围不应限定为某种特定类型的装置、设备。本公开所述的客户端可以是以电子硬件、计算机软件或两者的组合形式应用于上述任意一种电子终端设备中。

此外，根据本公开的方法还可以被实现为由cpu执行的计算机程序，该计算机程序可以存储在计算机可读存储介质中。在该计算机程序被cpu执行时，执行本公开的方法中限定的上述功能。

此外，上述方法步骤以及系统单元也可以利用控制器以及用于存储使得控制器实现上述步骤或单元功能的计算机程序的计算机可读存储介质实现。

此外，应该明白的是，本文所述的计算机可读存储介质(例如，存储器)可以是易失性存储器或非易失性存储器，或者可以包括易失性存储器和非易失性存储器两者。作为例子而非限制性的，非易失性存储器可以包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦写可编程rom(eeprom)或快闪存储器。易失性存储器可以包括随机存取存储器(ram)，该ram可以充当外部高速缓存存储器。作为例子而非限制性的，ram可以以多种形式获得，比如同步ram(dram)、动态ram(dram)、同步dram(sdram)、双数据速率sdram(ddrsdram)、增强sdram(esdram)、同步链路dram(sldram)以及直接rambusram(drram)。所公开的方面的存储设备意在包括但不限于这些和其它合适类型的存储器。

上述实施例的装置用于实现前述实施例中相应的方法，并且具有相应的方法实施例的有益效果，在此不再赘述。

所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围(包括权利要求)被限于这些例子；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明它们没有在细节中提供。

另外，为简化说明和讨论，并且为了不会使本发明难以理解，在所提供的附图中可以示出或可以不示出与集成电路(ic)芯片和其它部件的公知的电源/接地连接。此外，可以以框图的形式示出装置，以便避免使本发明难以理解，并且这也考虑了以下事实，即关于这些框图装置的实施方式的细节是高度取决于将要实施本发明的平台的(即，这些细节应当完全处于本领域技术人员的理解范围内)。在阐述了具体细节(例如，电路)以描述本发明的示例性实施例的情况下，对本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本发明。因此，这些描述应被认为是说明性的而不是限制性的。

尽管已经结合了本发明的具体实施例对本发明进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如，其它存储器架构(例如，动态ram(dram))可以使用所讨论的实施例。

本发明的实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本发明的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明的保护范围之内。