本发明涉及数据处理，具体涉及一种在线水务数据采集数据库中心系统优化的方法。
背景技术：
：：1、在线水务数据采集数据库中心系统在数据采集过程中起着至关重要的作用，它不仅承担着数据存储的任务，同时也需要快速响应查询请求，提供高效且稳定的服务。然而，在实际应用中，由于数据量大、查询请求频繁，导致数据库系统性能下降，存在单点故障、响应速度慢等问题，严重影响数据采集的效率。技术实现思路1、针对现有技术的不足，本发明提供了一种在线水务数据采集数据库中心系统优化的方法，旨在解决单点故障、响应速度慢的问题。2、为实现上述目的，本发明的一种在线水务数据采集数据库中心系统优化的方法，包括以下步骤：3、(1)、确认数据库格式及部署方式：在线水务数据采集根据数据样式分为空间数据、表单数据、栅格影像、视频图片和文本资料；4、(2)、数据库网格管理：数据库根据工区进行网格化管理，按照水务数据范围所属关系，分为一级工区、二级工区、三级工区、四级工区，以提高查询性能和容量；5、(3)、确认数据库架构：采用分布式架构，进行分库分表，分库分表包括水平分库、垂直分库、水平分表和垂直分表；水平分库：以工区的水务数据范围所属关系为依据执行分库操作；垂直分库：以水务数据采集业务表为依据，按照业务归属不同进行分库操作；垂直分表：以字段为依据，按照字段的活跃性，将表中字段拆到主表和扩展表中；水平分表：根据时间分别按每月或每季度进行同数据结构月度表或季度表；6、(4)、优化查询语句；7、(5)、读写分离，主从复制实现分布式数据库。8、进一步地，在所述步骤(1)中，空间数据是指在指定二维坐标系统的矢量位置信息数据，包括点【point】、线【polyline】、面【polygon】；表单数据是指非矢量数据，包括【table】和【table_x】；栅格影像是指在指定二维坐标系统下的矢量数据，包括【tin】、【dem】、【tif】；视频图片和文本资料数据通过文件名称与特定的表格名称做关联，其中，空间数据与表单数据均采用sqlserver部署。9、进一步地，在所述步骤(3)中，水平分库具体为：以一级工区和二级工区的所属关系为依据，按照一定策略，策略包括hash与range，将一个库中的数据拆分到多个库中，一级工区水平分服务器部署二级工区管网数据库水平扩展分库，包括分区表、地块分区、自定义区块、社区分区、街道分区、雨水流域分区、污水流域分区、行政区表_区、行政区表_市，其中，分区表用于记录所有分区的范围、数据库信息、各图层服务位置，自定义区块包括大区块与零直排区。10、进一步地，在所述步骤(3)中，垂直分库具体为：以水务数据采集业务表为依据，按照业务归属不同，将不同的表拆分到厂类、网类、河类、源类、城类的业务数据库；其中厂类包括污水厂站、泵站、泵等；网类包括排水线、排水点、缺陷问题点；河类包括中心线、范围面、管理面、断面位置线、河道堤岸线、湖泊水库、闸、堰；源类包括非工业面源污染、工业面源污染、非工业点源；城类包括气象、监测、地形、地勘。11、进一步地，在所述步骤(3)中，垂直分表的主表包括管网数据统计日表、缺陷统计日表、清岸统计日表、日志表；垂直分表的扩展表包括管网数据统计总表、缺陷统计总表、清岸统计总表。12、进一步地，在所述步骤(2)中，13、一级工区：针对的不同的项目，或者是不同的地级市(区)；14、二级工区：对应同一个项目不同的片区(分期)或者是不同的街道(乡镇)；15、三级工区：对应同一个二级工区内的不同的项目管理区块，或者是小的分区；16、四级工区：又称为小区块，是最基础的作业单元。17、进一步地，在所述步骤(4)中，优化查询语句具体为：对查询进行优化，避免全表扫描，在表中建立索引，优先考虑where使用的字段，但避免在where中使用表达式操作、函数操作，对于子查询的话使用exists代替in，使用varchar代替char，确定只有一条数据的时候加limit 1。18、进一步地，在所述步骤(5)中，读写分离，主从复制实现分布式数据库具体为：在mysql集群环境中，分为主节点与从节点，通过主从复制实现数据备份、故障转移、mysql集群、高可用、读写分离，借助binlog日志文件里面的sql命令实现的主从复制，同步数据的效果。19、本发明所阐述的一种在线水务数据采集数据库中心系统优化的方法，其有益效果在于：20、将数据库系统划分为数个网格，每个网格可以独立管理和控制，实现分布式管理和控制，提高了系统的可伸缩性和可维护性；通过对数据库的分布式部署和分级管理，可以更好地控制数据库系统的资源使用，减少资源浪费，从而提高系统的资源利用率和性能。通过对数据库系统的分布式管理和分级控制，可以避免单点故障的风险，提高系统的故障容错性，同时也可以实现数据的备份和灾备，从而提高系统的安全和可靠性；通过网格化管理和工区分级，可以更加方便地对数据库系统进行扩展，以适应不同的数据存储和访问需求。技术特征：1.一种在线水务数据采集数据库中心系统优化的方法，其特征在于，包括以下步骤：2.根据权利要求1所述的在线水务数据采集数据库中心系统优化的方法，其特征在于，在所述步骤(1)中，空间数据是指在指定二维坐标系统的矢量位置信息数据，包括点【point】、线【polyline】、面【polygon】；表单数据是指非矢量数据，包括【table】和【table_x】；栅格影像是指在指定二维坐标系统下的矢量数据，包括【tin】、【dem】、【tif】；视频图片和文本资料数据通过文件名称与特定的表格名称做关联，其中，空间数据与表单数据均采用sqlserver部署。3.根据权利要求1所述的在线水务数据采集数据库中心系统优化的方法，其特征在于，在所述步骤(3)中，水平分库具体为：以一级工区和二级工区的所属关系为依据，按照一定策略，策略包括hash与range，将一个库中的数据拆分到多个库中，一级工区水平分服务器部署二级工区管网数据库水平扩展分库，包括分区表、地块分区、自定义区块、社区分区、街道分区、雨水流域分区、污水流域分区、行政区表_区、行政区表_市，其中，分区表用于记录所有分区的范围、数据库信息、各图层服务位置，自定义区块包括大区块与零直排区。4.根据权利要求1所述的在线水务数据采集数据库中心系统优化的方法，其特征在于，在所述步骤(3)中，垂直分库具体为：以水务数据采集业务表为依据，按照业务归属不同，将不同的表拆分到厂类、网类、河类、源类、城类的业务数据库；其中，厂类包括污水厂站、泵站、泵；网类包括排水线、排水点、缺陷问题点；河类包括中心线、范围面、管理面、断面位置线、河道堤岸线、湖泊水库、闸、堰；源类包括非工业面源污染、工业面源污染、非工业点源；城类包括气象、监测、地形、地勘。5.根据权利要求1所述的在线水务数据采集数据库中心系统优化的方法，其特征在于，在所述步骤(3)中，垂直分表的主表包括管网数据统计日表、缺陷统计日表、清岸统计日表、日志表；垂直分表的扩展表包括管网数据统计总表、缺陷统计总表、清岸统计总表。6.根据权利要求1所述的在线水务数据采集数据库中心系统优化的方法，其特征在于，在所述步骤(2)中，7.根据权利要求1所述的在线水务数据采集数据库中心系统优化的方法，其特征在于，在所述步骤(4)中，优化查询语句具体为：对查询进行优化，避免全表扫描，在表中建立索引，优先考虑where使用的字段，但避免在where中使用表达式操作、函数操作，对于子查询的话使用exists代替in，使用varchar代替char确定只有一条数据的时候加limit 1。8.根据权利要求1所述的在线水务数据采集数据库中心系统优化的方法，其特征在于，在所述步骤(5)中，读写分离，主从复制实现分布式数据库具体为：在mysql集群环境中，分为主节点与从节点，通过主从复制实现数据备份、故障转移、mysql集群、高可用、读写分离，借助binlog日志文件里面的sql命令实现的主从复制，同步数据的效果。技术总结本发明涉及一种在线水务数据采集数据库中心系统优化的方法，包括以下步骤：(1)、确认数据库格式及部署方式：在线水务数据采集根据数据样式分为空间数据、表单数据、栅格影像、视频图片和文本资料；(2)、数据库网格管理：数据库根据工区进行网格化管理，按照水务数据范围所属关系，分为一级工区、二级工区、三级工区、四级工区，以提高查询性能和容量；(3)、确认数据库架构：采用分布式架构，进行分库分表，分库分表包括水平分库、垂直分库、水平分表和垂直分表；(4)、优化查询语句；(5)、读写分离，主从复制实现分布式数据库。避免单点故障的风险，提高系统的故障容错性，实现数据的备份和灾备，提高系统的安全和可靠性。技术研发人员：曾玲,翟艳云,黄乐明,曾彬,张书博,罗绍和受保护的技术使用者：深圳市创环环保科技有限公司技术研发日：技术公布日：2024/2/1