本发明涉及文件索引、文件同步、存储容量均衡领域，具体地说是一种用于idfs的文件均衡方法。
背景技术
idfs是一套针对hls及海报等大量小文件的分布式存储系统，采用mongodb存储索引数据。对于一部视频，可以将其均匀的分布存储于所有可用服务器的所有可用磁盘内，使得上传下载任意一部影片都可以利用到所有服务器的所有磁盘性能。同时idfs支持动态扩容，可以十分方便的增加服务器数量或磁盘数量以增加存储总容量。
但动态扩容的过程中，新增服务器的可用容量大于原服务器，在注入新文件时，由于均匀存储的策略，新老服务器容量增长的速度是相同的。这最终会导致新服务器还有大量剩余空间时，老服务器已经没有可用存储。
技术实现要素：
本发明的技术任务是提供一种用于idfs的文件均衡方法。
本发明的技术任务是按以下方式实现的：
一种用于idfs的文件均衡方法，该方法通过文件索引归类模块，文件转移模块，文件索引查找模块，文件性能监控及任务下发模块，hls直播点播视频优化的配置列表实现；
所述的文件索引归类模块用于对存储的内容归类整理；
所述的文件转移模块实现不停止服务的情况下实现文件的均衡转移；
所述的文件索引查找模块实现在可缓存的前提下实现文件索引的更新，同时不会造成文件无法找到引发的故障；
所述的文件性能监控及任务下发模块实现在尽可能少的减少对现有网络系统的性能的影响下进行存储均衡；
所述的hls直播点播视频优化的配置列表实现对均衡频率及均衡速度进行精确控制。
所述的文件索引归类模块针对点播、直播、普通文件三种不同文件进行分类。
所述的点播是一次写入几乎永久保存且占用存储容量比例较高的文件；所述的直播是一直有大量文件写入同时文件保存时间有限且占用比例最高的文件；所述的普通文件是保存时间介于点播和直播两者之间且占用比例最少的文件。
所述的点播文件由老服务器均衡到所有服务器中，同时按照新老顺序将相对较新的文件首先处理。
所述的文件转移模块在不同存储服务器间采用最小的代价将文件剪切到新存储位置，同时将新文件索引存储到mongo，但不会立刻删除原始文件及索引；所述的文件转移模块是基于小文件进行的，可以随时停止转移并保留已处理内容。
所述的文件索引查找模块的索引存储于mongodb，包含文件id以及文件实际存储路径；同时在文件实际存储位置发生变更时，会将此文件标记到变更文件列表内，下载端收到文件变更请求后会更新缓存并采用移动后的文件位置。
所述的文件性能监控及任务下发模块实时监控各存储服务器内各磁盘的当前读写流量、可用容量，并根据新老磁盘进行加权计算，最终选择性能空闲度满足要求的n块磁盘发起转移。
所述的发起转移后由于转移工作的进行会占用大量的流量且会改变各磁盘的可用容量，所述的文件性能监控及任务下发模块监控到磁盘当前状态达到阈值后会立即终止文件转移操作。
所述的终止文件转移操作的同时，所述的文件性能监控及任务下发模块会监测变更文件列表情况，在所有下载端缓存都更新或超过缓存时间后发起删除原文件的操作，源文件及索引删除后，系统恢复到正常状态且存储容量会相对均衡。
所述的hls直播点播视频优化的配置列表针对hls大量小文件的特点，根据点播及直播回看内容数量的比例、回看保留天数的长短，海报以及其他小文件的数量、新老服务器性能差异针对性的配置均衡的频率、同时进行的均衡数量、均衡终止的阈值的参数。
本发明的一种用于idfs的文件均衡方法和现有技术相比，具有以下有益效果：
1）能够对存储的内容归类整理，减少排序及文件转移的工作量；
2）可以实现不停止服务的情况下实现文件的均衡转移；
3）可以实现在可缓存的前提下实现文件索引的更新，同时不会造成文件无法找到引发的故障；
4）可以实现在尽可能少的减少对现网系统的性能的影响下进行存储均衡；
5）针对直播点播不同的存储策略及当前的读写频率可以实现对均衡频率及均衡速度进行精确控制。
具体实施方式
实施例1：
一种用于idfs的文件均衡方法，该方法通过文件索引归类模块，文件转移模块，文件索引查找模块，文件性能监控及任务下发模块，hls直播点播视频优化的配置列表实现；
所述的文件索引归类模块用于对存储的内容归类整理；所述的文件索引归类模块针对点播、直播、普通文件三种不同文件进行分类。所述的点播是一次写入几乎永久保存且占用存储容量比例较高的文件；所述的直播是一直有大量文件写入同时文件保存时间有限且占用比例最高的文件；所述的普通文件是保存时间介于点播和直播两者之间且占用比例最少的文件。所述的点播文件由老服务器均衡到所有服务器中，同时按照新老顺序将相对较新的文件首先处理。
所述的文件转移模块实现不停止服务的情况下实现文件的均衡转移；所述的文件转移模块在不同存储服务器间采用最小的代价将文件剪切到新存储位置，同时将新文件索引存储到mongo，但不会立刻删除原始文件及索引；所述的文件转移模块是基于小文件进行的，可以随时停止转移并保留已处理内容。
所述的文件索引查找模块实现在可缓存的前提下实现文件索引的更新，同时不会造成文件无法找到引发的故障；所述的文件索引查找模块的索引存储于mongodb，包含文件id以及文件实际存储路径；同时在文件实际存储位置发生变更时，会将此文件标记到变更文件列表内，下载端收到文件变更请求后会更新缓存并采用移动后的文件位置。
所述的文件性能监控及任务下发模块实现在尽可能少的减少对现有网络系统的性能的影响下进行存储均衡；所述的文件性能监控及任务下发模块实时监控各存储服务器内各磁盘的当前读写流量、可用容量，并根据新老磁盘进行加权计算，最终选择性能空闲度满足要求的n块磁盘发起转移；所述的发起转移后由于转移工作的进行会占用大量的流量且会改变各磁盘的可用容量，所述的文件性能监控及任务下发模块监控到磁盘当前状态（磁盘空间达到均衡或者用户读写流量增加到超过设定值）达到阈值后会立即终止文件转移操作；同时，所述的文件性能监控及任务下发模块会监测变更文件列表情况，在所有下载端缓存都更新或超过缓存时间后发起删除原文件的操作，源文件及索引删除后，系统恢复到正常状态且存储容量会相对均衡。
所述的hls直播点播视频优化的配置列表实现对均衡频率及均衡速度进行精确控制；所述的hls直播点播视频优化的配置列表针对hls大量小文件的特点，根据点播及直播回看内容数量的比例、回看保留天数的长短，海报以及其他小文件的数量、新老服务器性能差异针对性的配置均衡的频率、同时进行的均衡数量、均衡终止的阈值的参数。
通过上面具体实施方式，所述技术领域的技术人员可容易的实现本发明。但是应当理解，本发明并不限于上述的几种具体实施方式。在公开的实施方式的基础上，所述技术领域的技术人员可任意组合不同的技术特征，从而实现不同的技术方案。