一种数据处理方法、装置和系统与流程

1.本发明涉及数据处理领域，特别地，涉及一种数据处理方法、装置和系统。


背景技术：

2.园区内系统多、设备多，管理人员需要对园区进行全面管控，难度大。当前的管理普遍都是人工管理，效率低，管理人员疲于应付各种各样的管理资料，手工记录、整理、存档、分析，时间开销大，并且数据难以分析，对后续管理优化没有较大的帮助。因此，园区管理信息化是必然趋势。目前，已有部分园区进行了信息化管理，仍存在数据存储固化导致无法灵活应对不同时段、不同人员的分析需求的问题，导致存储资源浪费大。


技术实现要素：

3.为了克服现有技术的不足，本发明提供一种数据处理方法、装置和系统，以解决现有信息化管理存在数据存储固化导致无法灵活应对不同时段、不同人员的分析需求的问题，导致存储资源浪费大。
4.本发明解决其技术问题所采用的技术方案是：
5.第一方面，
6.一种数据处理方法，包括以下步骤：
7.获取待存储数据和所述待存储数据的数据信息，所述数据信息包括所述待存储数据的数据来源和数据类型；
8.根据所述数据来源和数据类型确定所述待存储数据的存储方式，所述存储方式包括定时存储或变化存储；
9.根据所述存储方式对所述待存储数据进行存储。
10.进一步地，所述数据信息包括待存储数据的数据获取时间；当所述存储方式为定时存储时，所述根据所述存储方式对所述待存储数据进行存储，包括：
11.获取上一次已存储数据的存储时间，所述上一次已存储数据与待存储数据的数据来源和数据类型相同；
12.判断所述存储时间与所述数据获取时间的间隔是否大于预设时长；
13.若大于，则进行存储；若不大于，则不进行存储。
14.进一步地，当所述存储方式为变化存储时，所述根据所述存储方式对所述待存储数据进行存储，包括：
15.获取当前待存储数据与预设存储数据的差值，所述当前存储数据与预设存储数据的数据来源和数据类型相同；
16.判断所述差值是否大于预设差值；
17.若大于，则进行存储；若不大于，则不进行存储。
18.进一步地，所述预设存储数据为待存储数据所对应的数据来源和数据类型中存储的第一条数据。
19.进一步地，还包括：
20.当根据所述存储方式对所述待存储数据进行存储时，若当前服务器无空余存储空间，则获取所述服务器的存储策略，所述存储策略包括循环存储或非循环存储；
21.根据所述存储策略将所述待存储数据存储。
22.进一步地，当所述存储策略为循环存储时，所述根据所述存储策略将所述待存储数据存储，包括：
23.获取存储时间最长的数据，将所述数据清除，将所述待存储数据存储在清除后的空间。
24.进一步地，还包括：
25.将数据清除前，将待清除的数据备份到备份服务器。
26.进一步地，当所述存储策略为非循环存储时，所述根据所述存储策略将所述待存储数据存储，包括：
27.将当前服务器中数据备份到备份数据库；
28.备份完成后，删除当前服务器的数据；
29.将所述待存储数据存储在当前服务器中。
30.进一步地，当所述备份服务器数无空余存储空间时，发送提示信息，以提醒管理人员对备份服务器进行数据清理。
31.第二方面，
32.一种数据处理装置，包括：
33.数据获取模块，用于获取待存储数据和所述待存储数据的数据信息，所述数据信息包括所述待存储数据的数据来源和数据类型；
34.存储方式确定模块，用于根据所述数据来源和数据类型确定所述待存储数据的存储方式，所述存储方式包括定时存储或变化存储；
35.数据存储模块，用于根据所述存储方式对所述待存储数据进行存储。
36.第三方面，
37.一种数据处理系统，包括：
38.处理器；
39.用于存储所述处理器可执行指令的存储器；
40.所述处理器被配置为用于执行第一方面技术方案中任一项所述的方法。
41.有益效果：
42.本技术技术方案提供一种数据处理方法、装置和系统，首先获取待存储数据和待存储数据的数据信息，然后根据待存储数据的数据信息中数据来源和数据类型确定待存储数据的存储方式；最后根据存储方式对待存储数据进行存储。本技术技术方案能够根据待存储数据的数据信息确定存储方式，这样不同的数据存储时可以采用不同的数据存储方式，解决了现有存储方式固化导致无法灵活应对不同时段、不同人员的分析需求的问题，具有存储方式灵活的优点，能够满足不同需求的同时，节约了存储空间，降低了存储成本。
附图说明
43.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现
有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
44.图1是本发明实施例提供的一种数据处理方法流程图；
45.图2是本发明实施例提供的一种具体的数据处理方法流程图；
46.图3是本发明实施例提供的一种数据处理装置结构示意图。
具体实施方式
47.为使本技术的目的、技术方案和优点更加清楚，下面结合附图和实施例对本发明的技术方案进行详细的描述说明。显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本技术所保护的范围。
48.第一实施例，参照图1，本发明实施例提供了一种数据处理方法，包括以下步骤：
49.s11：获取待存储数据和待存储数据的数据信息，数据信息包括待存储数据的数据来源和数据类型；
50.s12：根据数据来源和数据类型确定待存储数据的存储方式，存储方式包括定时存储或变化存储；
51.s13：根据存储方式对待存储数据进行存储。
52.本发明实施例提供的数据处理方法，首先获取待存储数据和待存储数据的数据信息，然后根据待存储数据的数据信息中数据来源和数据类型确定待存储数据的存储方式；最后根据存储方式对待存储数据进行存储。本技术技术方案能够根据待存储数据的数据信息确定存储方式，这样不同的数据存储时可以采用不同的数据存储方式，解决了现有存储方式固化导致无法灵活应对不同时段、不同人员的分析需求的问题，具有存储方式灵活的优点，能够满足不同需求的同时，节约了存储空间，降低了存储成本。
53.第二实施例，作为对第一实施例的补充说明，本技术提供一种具体的数据处理方法，如图2所示，包括以下步骤：
54.获取待存储数据和待存储数据的数据信息，数据信息包括待存储数据的数据来源和数据类型；需要说明的是，数据来源为产生待存储数据的设备或系统；数据类型为该设备或系统产生的具体的待存储数据的类型，如电压、温度等。数据信息包括待存储数据的数据获取时间。
55.根据数据来源和数据类型确定待存储数据的存储方式，存储方式包括定时存储或变化存储。
56.根据存储方式对待存储数据进行存储。当存储方式为定时存储时，根据存储方式对待存储数据进行存储，包括：获取上一次已存储数据的存储时间，上一次已存储数据与待存储数据的数据来源和数据类型相同；判断存储时间与数据获取时间的间隔是否大于预设时长；若大于，则进行存储；若不大于，则不进行存储。当存储方式为变化存储时，根据存储方式对待存储数据进行存储，包括：获取当前待存储数据与预设存储数据的差值，当前存储数据与预设存储数据的数据来源和数据类型相同；判断差值是否大于预设差值；若大于，则进行存储；若不大于，则不进行存储。需要说明的是，预设存储数据为管理人员根据实际需
要设置的数据。作为本发明实施例可选的实现方式，预设存储数据为待存储数据所对应的数据来源和数据类型中存储的第一条数据，即直接采用第一条数据作为预设存储数据，无需另外设置数据，降低管理人员工作量。
57.当根据存储方式对待存储数据进行存储时，若当前服务器无空余存储空间，则获取服务器的存储策略，存储策略包括循环存储或非循环存储；
58.根据存储策略将待存储数据存储；当存储策略为循环存储时，根据存储策略将待存储数据存储，包括：获取存储时间最长的数据，将数据清除，将待存储数据存储在清除后的空间。若存在备份服务器，则还包括：将数据清除前，将待清除的数据备份到备份服务器。当存储策略为非循环存储时，根据存储策略将待存储数据存储，包括：将当前服务器中数据备份到备份数据库；备份完成后，删除当前服务器的数据；将待存储数据存储在当前服务器中。
59.作为本发明实施例一种可选实现方式，当备份服务器数无空余存储空间时，发送提示信息，以提醒管理人员对备份服务器进行数据清理。
60.本发明实施例提供的具体的数据处理方法，根据待存储数据的数据来源和数据类型确定采用定时存储的存储方式还是变化存储的存储方式，便于不同需要的数据进行存储，无须全部进行存储，大大减少了需要存储的数据，降低了存储成本。当当前服务器存储满之后，根据存储策略进行存储，循环存储，可以最大限度的保留存储数据；而非循环存储，可以一次性的释放大量存储空间。两种存储策略供选择以满足管理人员的不同需求。
61.第三实施例，本发明提供一种数据处理装置，如图3所示，包括：
62.数据获取模块31，用于获取待存储数据和待存储数据的数据信息，数据信息包括待存储数据的数据来源和数据类型；数据信息包括待存储数据的数据获取时间。
63.存储方式确定模块32，用于根据数据来源和数据类型确定待存储数据的存储方式，存储方式包括定时存储或变化存储。
64.数据存储模块33，用于根据存储方式对待存储数据进行存储。当存储方式为定时存储时，根据存储方式对待存储数据进行存储，包括：获取上一次已存储数据的存储时间，上一次已存储数据与待存储数据的数据来源和数据类型相同；判断存储时间与数据获取时间的间隔是否大于预设时长；若大于，则进行存储；若不大于，则不进行存储。当存储方式为变化存储时，根据存储方式对待存储数据进行存储，包括：获取当前待存储数据与预设存储数据的差值，当前存储数据与预设存储数据的数据来源和数据类型相同；判断差值是否大于预设差值；若大于，则进行存储；若不大于，则不进行存储。预设存储数据为待存储数据所对应的数据来源和数据类型中存储的第一条数据。
65.作为本发明实施例一种可选的实现方式，当根据存储方式对待存储数据进行存储时，若当前服务器无空余存储空间，数据存储模块33用于则获取服务器的存储策略，存储策略包括循环存储或非循环存储；当存储策略为循环存储时，根据存储策略将待存储数据存储，包括：获取存储时间最长的数据，将数据清除，将待存储数据存储在清除后的空间。根据存储策略将待存储数据存储。将数据清除前，将待清除的数据备份到备份服务器。当存储策略为非循环存储时，根据存储策略将待存储数据存储，包括：将当前服务器中数据备份到备份数据库；备份完成后，删除当前服务器的数据；将待存储数据存储在当前服务器中。当备份服务器数无空余存储空间时，数据存储模块33发送提示信息，以提醒管理人员对备份服
务器进行数据清理。
66.本发明实施例提供的数据处理装置，数据获取模块获取待存储数据和待存储数据的数据信息，数据信息包括待存储数据的数据来源和数据类型；存储方式确定模块根据数据来源和数据类型确定待存储数据的存储方式，存储方式包括定时存储或变化存储；数据存储模块根据存储方式对待存储数据进行存储。本发明实施例提供的装置能够根据待存储数据的数据信息确定存储方式，这样不同的数据存储时可以采用不同的数据存储方式，解决了现有存储方式固化导致无法灵活应对不同时段、不同人员的分析需求的问题，具有存储方式灵活的优点，能够满足不同需求的同时，节约了存储空间，降低了存储成本。
67.第四实施例，本发明提供数据处理系统，包括：
68.处理器；
69.用于存储处理器可执行指令的存储器；
70.处理器被配置为用于执行第一实施例或第二实施例提供的方法。
71.作为对本发明实施例进一步说明，下面提供一种智慧园区的数据处理系统；
72.目前，园区管理信息化是必然趋势。已有部分园区进行了信息化管理，但是在实际园区智能化工程中，存在如下问题：
73.(1)数据的存储有限，必须确认有限存储空间数据的最佳利用，所有数据全部存储的方案显然是不可行的。
74.(2)不同管理职责的人员对数据的需求不一致，例如能源管理的只要求每个电表、水表每天记录一条数据，而消防管理人员则要求消防报警装置只要状态变化就要记录，不同参数、不同时间的存储策略都应该是灵活可配置的。
75.(3)随着数据不断累积存储，一些历史数据没有查看和分析的必要性，长期占有存储空间纯属资源浪费，合理的资源释放更有利于数据。
76.系统包括包含数据采集模块、策略存储模块、数据处理模块、界面交互模块。
77.(1)数据采集模块：采集安全管理系统的数据并进行解析，获取需要监控的参数。接入方式包含但不限于adk、api、modbus协议、bacnet协议。根据用户配置的监控点位进行数据采集。
78.(2)策略存储模块：对每个参数的存储策略进行封装。
79.(3)数据处理模块：根据存储策略对数据进行存储、备份、删除等操作。
80.(4)界面交互模块：呈现给用户的操作界面，可对存储策略、存储方式等进行设置，支持查看历史数据和删除历史数据。
81.系统使用的具体流程如下：
82.(1)初始定义多种存储策略：包含但不限于定时存储、变化存储。
83.①
定时存储：可设置定时存储的时间间隔，限制最小时间间隔。第一条获取数据默认存储，后续数据获取时间和上一条存储数据时间差必须大于等于存储的时间间隔，否则不存储。
84.②
变化存储：可设置变化精度，超出变化范围的进行存储，减少低幅度变化数据的存储导致数据量太大。例如电流数据变化频率非常快，但是变化幅度超过
±
5ma才需要存储，则可采用变化存储。
85.(2)数据库存储策略：可选择是否开启循环存储。
86.①
如果不开启，则数据按照时间顺序存储，存储空间满了之后，后续数据无法继续存储。用户可配置备份服务器，当存储空间满了之后自动将数据备份到备份服务器，然后从最开始的位置进行存储。
87.②
如果开启循环存储，则存储空间满了之后从最开始的位置覆盖之前的数据。如果循环存储模式下开始备份功能，则覆盖数据前先将数据备份，然后再覆盖。
88.③
当备份服务器空间满了之后，推送消息给管理员，可进行手动清理数据。
89.本发明实施例提供的系统，数据存储策略个性化定制，实现安全数据存储方式灵活变更。存储策略、存储方式与数据备份结合，实现定容量服务器数据持续性存储，且基于消息推送式用户交互型数据清理，合理清理无益数据，提高存储空间利用率。实现存储策略可视化配置，灵活适应不同使用人员、不同时间段的管理需求，提高数据的有效性，促进后续数据分析和管理优化。
90.可以理解的是，上述各实施例中相同或相似部分可以相互参考，在一些实施例中未详细说明的内容可以参见其他实施例中相同或相似的内容。
91.需要说明的是，在本技术的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本技术的描述中，除非另有说明，“多个”的含义是指至少两个。
92.流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本技术的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本技术的实施例所属技术领域的技术人员所理解。
93.应当理解，本技术的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。
94.本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
95.此外，在本技术各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
96.上述提到的存储介质可以是只读存储器，磁盘或光盘等。
97.在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本技术的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不
一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
98.尽管上面已经示出和描述了本技术的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本技术的限制，本领域的普通技术人员在本技术的范围内可以对上述实施例进行变化、修改、替换和变型。