一种clickhouse数据库自清除方法与流程

本发明属于it技术领域，具体涉及一种clickhouse数据库自清除方法。

背景技术：

clickhouse是一款mpp架构的列式存储数据库，在服务器上进行clickhouse数据存储是相当消耗磁盘空间的，当clickhouse中的数据量存放过大，将会导致服务器的磁盘消耗严重，当服务器没有剩余磁盘空间的时候，其他的任务也将会停止或者执行失败。

在现有技术中当由于clickhouse数据量过多而引起的磁盘空间不足时，一般会手动找到量大的那些表，然后按照日期从后往前进行合理的数据清理，不仅工作量大而且费时费力，效率非常低。

技术实现要素：

为了解决现有技术存在的费时费力、效率低等问题，本发明提供了一种clickhouse数据库自清除方法，其具有效率高、操作便利等特点。

根据本发明的具体实施方式的一种clickhouse数据库自清除方法，包括：

对服务器磁盘和clickhouse数据进行监控；

在所述服务器磁盘剩余容量低于所述服务器磁盘总容量的第一预设数值时对所述服务器磁盘进行清理包括：

若所述clickhouse数据占所述服务器磁盘的已使用容量占比高于第二预设数值时，基于预设时间顺序对所述clickhouse数据量进行清理。

进一步地的，所述clickhouse数据库自清除方法还包括：

当清理的所述clickhouse数据量占所述clickhouse数据总量的占比达到第三预设数值时停止清理。

进一步地，所述clickhouse数据库自清除方法还包括：

在停止清理后向用户发送至少包括清理数据内容和释放空间大小的邮件。

进一步地，所述clickhouse数据库自清除方法还包括：

若所述clickhouse数据占所述服务器磁盘的已使用容量占比低于第二预设数值时，基于预设检测规则对所述服务器磁盘中的数据文件进行检测，并将检测结果发送至工作人员。

进一步地，所述基于预设检测规则对所述服务器磁盘中的数据文件进行检测，并将检测结果发送至工作人员包括：

检测服务器中数据量大的路径以及相应的数据文件，并将检测结果通过邮件发送至工作人员。

进一步地，所述第一预设数值为90％。

进一步地，所述第二预设数值为80％。

进一步地，所述第三预设数值为30％。

本发明的有益效果为：通过对服务器磁盘和clickhouse数据进行监控；在服务器磁盘剩余容量低于服务器磁盘总容量的第一预设数值时对服务器磁盘进行清理包括：若clickhouse数据占服务器磁盘的已使用容量占比高于第二预设数值时，基于预设时间顺序对clickhouse数据量进行清理，实现对服务器磁盘的自动清理，能够解决由于clickhouse数据量过大而引起的服务器磁盘空间不足的问题，可以在极短的时间内完成数据清理和释放磁盘空间的工作，从而提高了生产力，减少了开发人员的工作量，提高数据清除的效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据一示例性实施例提供的clickhouse数据库自清除方法的流程图；

图2是根据一示例性实施例提供的clickhouse数据库自清除方法的另一流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行详细的描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本发明所保护的范围。

参照图1所示，本发明的实施例提供了一种clickhouse数据库自清除方法，具体包括以下步骤：

101、对服务器磁盘和clickhouse数据进行监控；

在具体实施时可调用相应的监控命令或程序对服务器磁盘和clickhouse数据量进行实时监控从而得出clickhouse数据量、磁盘空间使用量、磁盘空间剩余量等数据从而能够为服务器磁盘空间的清理提供可靠的数据参考。

102、在服务器磁盘剩余容量低于服务器磁盘总容量的第一预设数值时对服务器磁盘进行清理包括：

通过设置相应的第一预设数值，对服务器磁盘剩余容量的占比进行限定，从而能够对磁盘的剩余容量进行限定，从而使用户能够根据服务器剩余容量的多少进行相应的清理。

103、若clickhouse数据占服务器磁盘的已使用容量占比高于第二预设数值时，基于预设时间顺序对clickhouse数据量进行清理。

在服务器磁盘剩余容量不够的情况下，此时对已使用容量中的clickhouse数据的占比进行分析，如果clickhouse数据的占比超过了预设的第二数值，则对clickhouse数据进行清理，并且清理的顺序可根据clickhouse数据进入磁盘中时间的长短进行clickhouse数据的清理，可以在极短的时间内完成数据清理和释放磁盘空间的工作，实现服务器磁盘空间的释放，从而提高了生产力，减少了开发人员的工作量。

参照图2所示，在本发明的另一些具体实施例中clickhouse数据库自清除方法包括以下步骤：

201、对服务器磁盘和clickhouse数据进行监控；

202、在服务器磁盘剩余容量低于所述服务器磁盘总容量的第一预设数值时对所述服务器磁盘进行清理包括：

203、若clickhouse数据占服务器磁盘的已使用容量占比高于第二预设数值时，基于预设时间顺序对clickhouse数据量进行清理

204、当清理的clickhouse数据量占clickhouse数据总量的占比达到第三预设数值时停止清理。

205、在停止清理后向用户发送至少包括清理数据内容和释放空间大小的邮件。

206、若clickhouse数据占服务器磁盘的已使用容量占比低于第二预设数值时，基于预设检测规则对服务器磁盘中的数据文件进行检测，并将检测结果发送至工作人员。

作为上述实施例可行的实现方式，基于预设检测规则对服务器磁盘中的数据文件进行检测，并将检测结果发送至工作人员包括：

检测服务器中数据量大的路径以及相应的数据文件，并将检测结果通过邮件发送至工作人员。

第一预设数值为90％；第二预设数值为80％；第三预设数值为30％。

例如：首先对服务器磁盘和clickhouse的数据量进行实施监控(得出clickhouse数据量，磁盘空间使用量，磁盘空间剩余量)；

当磁盘空间剩余量低于总量的90％以后开始自行自清理操作；

清理分两步，clickhouse数据量占磁盘使用量的80％以上时，开始进行clickhouse数据的清理工作，清理完成之后邮件通知工作人员清理的内容和释放空间的大小；

当clickhouse数据量不足磁盘使用的80％以上时，开始检测服务器路径中数据量较大的路径以及数据文件名称，将信息邮件通知工作人员，由工作人员手动进行数据清理的工作。

可以理解的是，本领域技术人员可根据服务器磁盘容量、服务器运行情况等内容对第一预设数值、第二预设数值和第三预设数值的具体数值进行限定，本发明在此不做限制。

本发明上述实施例所提供的clickhouse数据库自清除方法，可自行进行数据清理工作，从而提高了生产力，减少了开发人员的工作量，并且可以在极短的时间内完成数据清理和释放磁盘空间的工作效率更高。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

上文的描述包括一个或多个实施例的举例。当然，为了描述上述实施例而描述部件或方法的所有可能的结合是不可能的，但是本领域普通技术人员应该认识到，各个实施例可以做进一步的组合和排列。因此，本文中描述的实施例旨在涵盖落入所附权利要求书的保护范围内的所有这样的改变、修改和变型。此外，就说明书或权利要求书中使用的术语“包含”，该词的涵盖方式类似于术语“包括”，就如同“包括”在权利要求中用作衔接词所解释的那样。此外，使用在权利要求书的说明书中的任何一个术语“或者”是要表示“非排它性的或者”。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。