一种队列式数据存储分析方法及系统与流程
本发明涉及数据存储领域，特别涉及到一种队列式数据存储分析方法及系统。
背景技术：
目前，数据存储技术得到越来越广泛的关注，普遍的做法通常是在单片机上移植文件系统，通过文件系统来管理需要存储的数据。文件系统是操作系统用于明确存储设备或分区上的文件的方法和数据结构，常见的存储设备有磁盘，以及基于nandflash的固态硬盘等。文件系统由三部分组成：文件系统的接口，对对象操纵和管理的软件集合，对象及属性。从系统角度来看，文件系统是对文件存储设备的空间进行组织和分配，负责文件存储并对存入的文件进行保护和检索的系统。具体地说，它负责为用户建立文件，存入、读出、修改、转储文件，控制文件的存取，当用户不再使用时撤销文件等。
采用文件系统来存储数据并对数据进行管理，通用性较强，可以存储管理的数据类型广泛，但是对单片机的资源要求较高，包括对单片机内cpu和存储内存的要求都相对较高。而且文件系统的复杂度较高，不易查找到数据的对应存储位置，可靠性较差，当用户对文件系统内添加新的存储数据添加或对已存储的数据进行修改时，文件系统中对数据的索引(即文件系统内的关键数据)会自动进行修改，此时突然断电极有可能会导致文件系统关键数据的损坏，使整个文件系统发生瘫痪，从而可能导致在文件系统中无法获取到存储的数据。
技术实现要素：
由于我司400业务通话清单数据分散于全国各地不同的运营商落地平台，单一平台的业务通话数据不能实际反映我司业务情况，为了解决此类问题，本发明提供了一种队列式数据存储分析方法及系统，所述方法包括：
获取多个落地平台数据；
通过传输控制协议将多个落地平台数据传输至mq服务器中；
通过数据收集中心获取mq服务器中的数据，并将其数据传输至中央数据库；
中央数据库将数据进行数据备份，并将数据传输至数据处理中心；
数据处理中心通过大数据分析引擎对数据进行分析，并将分析后的数据传至业务处理中心；
通过业务处理中心根据分析后的数据进行业务处理。
进一步地，所述通过传输控制协议将多个落地平台数据传输至mq服务器中，包括：
针对所述获取的多个落地平台数据，生成工作密钥；
使用所述工作密钥对所述获取的多个落地平台数据进行压缩加密，获得多个加密数据，其中每个加密数据对应一个落地平台数据，并对多个加密数据进行随机排序，并通过传输控制协议将按顺序将多个加密数据传输至mq服务器中；
通过传输控制协议将所述工作密钥传输至mq服务器中，所述mq服务器利用工作密钥对所述多个加密数据实行解密操作，获取多个解密数据，并根据对应的加密数据的传输至mq服务器的顺序，将多个解密数据按照顺序传输至数据处理中心。
进一步地，所述针对所述待传输文件数据，生成工作密钥，包括：
利用random函数随机生成包含字母和数据的随机字符串；
将所述随机生成的字符串作为工作密钥。
进一步地，所述通过数据收集中心获取mq服务器中的数据，包括：
所述数据收集中心向所述mq服务器端发端发送远程登录请求；
所述mq服务器端根据所述远程登录请求向所述数据收集中心发送验证信息请求；
所述数据收集中心根据所述验证信息请求，向所述mq服务器端发送验证信息；
所述mq服务器端根据所述预存的验证信息，判断所述数据收集中心发送的验证信息是否正确，若是，则mq服务器将多个解密数据传输至数据收集中心；若否，则等待新的远程登录请求。
进一步地，所述中央数据库将数据进行数据备份，并将数据传输至数据处理中心，包括：
在中央数据库创建备份目录和脚本目录并赋予权限；
根据所述备份目录和所述脚本目录编辑脚本程序；
根据所述脚本程序编辑命令脚本以根据所述命令脚本进行对数据备份，并将数据传输至数据处理中心。
进一步地，所述数据处理中心通过大数据分析引擎对数据进行分析，并将分析后的数据传至业务处理中心，包括：
根据客户话务使用量排名，找到对应客户公司所属的行业，再进行行业归类排名、从而获取排名靠前的行业数据信息,并将数据传输至业务处理中心；
根据所有接通电话的主叫呼入时间与被叫接听时间的时间差值再平均，从而获取平均转接时长数据，并将数据传输至业务处理中心；
统计平台内每分钟线路使用量，取峰值与平台配置的用量阀值比较，从而获取该平台频繁度及高峰期数据信息，并将数据传输至业务处理中心。
进一步地，所述根据客户话务使用量排名，找到对应客户公司所属的行业，再进行行业归类排名、从而获取排名靠前的行业数据信息,并将数据传输至业务处理中心，包括：
提取整理后的数据中的客户话务使用量数据，并通过sort函数进行客户话务使用量数据的排序；
将排序后的客户话务使用量数据分别找的对应客户公式所属行业，并进行行业归类合并；
根据归类合并后的客户话务使用量数据，对每类行业名称进行网站排名，从而获取排名靠前的行业数据信息,并将数据传输至业务处理中心。
进一步地，所述统计平台内每分钟线路使用量，取峰值与平台配置的用量阀值比较，从而获取该平台频繁度及高峰期数据信息，并将数据传输至业务处理中心，包括：
步骤a1，获取各数据分析矩阵，所述数据分析矩阵包括当前每分钟线路使用量数据和当前线路取峰值数据，根据当前每分钟线路使用量数据和当前线路取峰值数据，并利用以下公式计算出各数据分析矩阵当前的参量：
其中，jk代表数据分析矩阵当前的参量，
步骤a2，根据以下数据分析矩阵当前的参量jk，并利用以下公式计算落地平台的频繁度：
其中，f代表落地平台的频繁度，π代表自然常数，tan代表正切函数；
步骤a3，根据落地平台的频繁度f与预设阈值进行比较，当落地平台的频繁度f高于预设阈值时，则获取该频繁度下的高峰期数据信息，并将数据信息传输至业务处理中心。
进一步地，所述通过业务处理中心根据整理后的数据进行业务处理，包括：
根据分析后的数据中的行业数据信息，对行业客户进行定位客户群体，调整经营策略；
根据分析后的数据中的转接时长数据，对转接坐席时间的长度，接通率大小，优化运营商通信线路，提升用户体验；
根据分析后的数据中的平台频繁度及高峰期数据信息，从而使资源使用量少的平台减少公式投入，使用忙的平台提前预警、及时扩能，保障平台稳定运营。
进一步地，所述系统包括：
获取模块，用于获取多个落地平台数据；
传输模块，用于通过传输控制协议将多个落地平台数据传输至mq服务器中；
数据收集中心，用于获取mq服务器中的数据，并将其数据传输至中央数据库；
中央数据库，用于将数据进行数据备份，并将数据传输至数据处理中心；
数据处理中心，用于通过大数据分析引擎对数据进行分析，并将分析后的数据传至业务处理中心；
业务处理中心，用于根据分析后的数据进行业务处理。
与现有技术相比，本发明的有益效果：本发明提供了一种队列式数据存储分析方法及系统，所述方法包括：获取多个落地平台数据；通过传输控制协议将多个落地平台数据传输至mq服务器中；通过数据收集中心获取mq服务器中的数据，并将其数据传输至中央数据库；中央数据库将数据进行数据备份，并将数据传输至数据处理中心；数据处理中心通过大数据分析引擎对数据进行分析，并将分析后的数据传至业务处理中心；通过业务处理中心根据分析后的数据进行业务处理，从而通过队列机制数据存储模式，效缓解服务器连接、处理压力，有效分析出资源配置是否合理、节约成本、及时发现运营潜在风险、提升用户体验，避免少量数据分析，不能反映整个平台实际情况。
附图说明
为了更清楚地说明本发明实施例的技术方案，下文中将对本发明实施例的附图进行简单介绍。其中，附图仅仅用于展示本发明的一些实施例，而非将本发明的全部实施例限制于此。
图1为本发明所述的一种队列式数据存储分析方法流程图；
图2为本发明所述的一种队列式数据存储分析系统流程图；
图3为本发明所述的一种队列式数据存储分析系统框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1-3所示，本发明解决的技术问题是，提供一种队列式数据存储分析方法，所述方法包括：
si,获取多个落地平台数据；
s2,通过传输控制协议将多个落地平台数据传输至mq服务器中；
s3,通过数据收集中心获取mq服务器中的数据，并将其数据传输至中央数据库；
s4,中央数据库将数据进行数据备份，并将数据传输至数据处理中心；
s5,数据处理中心通过大数据分析引擎对数据进行分析，并将分析后的数据传至业务处理中心；
s6,通过业务处理中心根据分析后的数据进行业务处理。
上述技术方案首先，获取多个落地平台数据，其中所述落地平台数据包括主被叫号码、归属地区、等(字符类型)；其次，通过传输控制协议将多个落地平台数据传输至mq服务器中，mq服务器是基于云端存储，采用先进先出的存储原则进行数据存储，从而保证了数据与数据之间的顺序性；然后，通过数据收集中心获取mq服务器中的数据，并将其数据传输至中央数据库；接着，中央数据库将数据进行数据备份，并将数据传输至数据处理中心，从而保证了数据的安全性；紧接着，数据处理中心通过大数据分析引擎对数据进行分析，并将分析后的数据传至业务处理中心；最后，通过业务处理中心根据分析后的数据进行业务处理；通过采用队列机制数据存储模式，有效的环节服务器连接及处理压力，通过对数据的分析，有效分析出资源配置是否合理、节约成本、及时发现运营潜在风险、提升用户体验，避免少量数据分析，不能反映整个平台实际情况。
本发明提供的一个实施例中，所述通过传输控制协议将多个落地平台数据传输至mq服务器中，包括：
针对所述获取的多个落地平台数据，生成工作密钥；
使用所述工作密钥对所述获取的多个落地平台数据进行压缩加密，获得多个加密数据，其中每个加密数据对应一个落地平台数据，并对多个加密数据进行随机排序，并通过传输控制协议将按顺序将多个加密数据传输至mq服务器中；
通过传输控制协议将所述工作密钥传输至mq服务器中，所述mq服务器利用工作密钥对所述多个加密数据实行解密操作，获取多个解密数据，并根据对应的加密数据的传输至mq服务器的顺序，将多个解密数据按照顺序传输至数据处理中心。
以上技术方案中首先，针对所述获取的多个落地平台数据，生成工作密钥，所述针对所述待传输文件数据，生成工作密钥，包括：利用random函数随机生成包含字母和数据的随机字符串，将所述随机生成的字符串作为工作密钥；其次，使用所述工作密钥对所述获取的多个落地平台数据进行压缩加密，获得多个加密数据，其中每个加密数据对应一个落地平台数据，并对多个加密数据进行随机排序，并通过传输控制协议将按顺序将多个加密数据传输至mq服务器中；最后，通过传输控制协议将所述工作密钥传输至mq服务器中，所述mq服务器利用工作密钥对所述多个加密数据实行解密操作，获取多个解密数据，并根据对应的加密数据的传输至mq服务器的顺序，将多个解密数据按照顺序传输至数据处理中心，利用大数据技术对传输数据进行压缩加密，这样会重复利用集群硬件资源，大大提高压缩加密效率和传输效率，压缩加密后的数据不仅提高了网络传输的安全性，而且压缩后大大缩减了数据体积，能够提高网络传输速率，保证了传输的效率。
本发明提供的一个实施例中，所述通过数据收集中心获取mq服务器中的多个落地平台数据，包括：
所述数据收集中心向所述mq服务器端发端发送远程登录请求；
所述mq服务器端根据所述远程登录请求向所述数据收集中心发送验证信息请求；
所述数据收集中心根据所述验证信息请求，向所述mq服务器端发送验证信息；
所述mq服务器端根据所述预存的验证信息，判断所述数据收集中心发送的验证信息是否正确，若是，则mq服务器将多个解密数据传输至数据收集中心；若否，则等待新的远程登录请求。
以上技术方案中首先，所述数据收集中心向所述mq服务器端发端发送远程登录请求；其次，所述mq服务器端根据所述远程登录请求向所述数据收集中心发送验证信息请求；接着，所述数据收集中心根据所述验证信息请求，向所述mq服务器端发送验证信息；最后所述mq服务器端根据所述预存的验证信息，判断所述数据收集中心发送的验证信息是否正确，若是，则mq服务器将多个解密数据传输至数据收集中心；若否，则等待新的远程登录请求；从而保证了数据传输的安全性，使得mq服务器能够实现与数据收集中心间的连接，从而保证了数据在传输时先确认传输对象，保证传输的正确性，防止数据的丢失。
本发明提供的一个实施例中，所述中央数据库将多个落地平台数据进行数据备份，并将数据传输至数据处理中心，包括：
在中央数据库创建备份目录和脚本目录并赋予权限；
根据所述备份目录和所述脚本目录编辑脚本程序；
根据所述脚本程序编辑命令脚本以根据所述命令脚本进行对数据备份，并将数据传输至数据处理中心。
以上技术方案中首先，在中央数据库创建备份目录和脚本目录并赋予权限；其次，根据所述备份目录和所述脚本目录编辑脚本程序；最后，根据所述脚本程序编辑命令脚本以根据所述命令脚本进行对数据备份，并将数据传输至数据处理中心；通过对数据的备份，避免了数据的丢失，提高系统的高可用性和灾难可恢复性，在数据库系统崩溃的时候，有数据库备份就可以找到数据，使用数据库备份还原数据是系统崩溃时提供数据恢复最小代价的最优方案，保证了数据丢失的可恢复性。
本发明提供的一个实施例中，所述数据处理中心通过大数据分析引擎对数据进行分析，并将分析后的数据进行整理，传至业务处理中心，包括：
根据客户话务使用量排名，找到对应客户公司所属的行业，再进行行业归类排名、从而获取排名靠前的行业数据信息,并将数据传输至业务处理中心；
根据所有接通电话的主叫呼入时间与被叫接听时间的时间差值再平均，从而获取平均转接时长数据，并将数据传输至业务处理中心；
统计平台内每分钟线路使用量，取峰值与平台配置的用量阀值比较，从而获取该平台频繁度及高峰期数据信息，并将数据传输至业务处理中心。
以上技术方案中首先，根据客户话务使用量排名，找到对应客户公司所属的行业，再进行行业归类排名、从而获取排名靠前的行业数据信息,并将数据传输至业务处理中心，其中，包括：提取整理后的数据中的客户话务使用量数据，并通过sort函数进行客户话务使用量数据的排序，将排序后的客户话务使用量数据分别找的对应客户公式所属行业，并进行行业归类合并，根据归类合并后的客户话务使用量数据，对每类行业名称进行网站排名，从而获取排名靠前的行业数据信息，并将数据传输至业务处理中心，从而更好的获取排名较前的行业信息数据，根据行业量进行客户群体定向广告投放，保证了系统的完整性；其次，根据所有接通电话的主叫呼入时间与被叫接听时间的时间差值再平均，从而获取平均转接时长数据，并将数据传输至业务处理中心；最后，统计平台内每分钟线路使用量，取峰值与平台配置的用量阀值比较，从而获取该平台频繁度及高峰期数据信息，并将数据传输至业务处理中心，其中，包括：步骤a1，获取各数据分析矩阵，所述数据分析矩阵包括当前每分钟线路使用量数据和当前线路取峰值数据，根据当前每分钟线路使用量数据和当前线路取峰值数据，并利用以下公式计算出各数据分析矩阵当前的参量：
其中，jk代表数据分析矩阵当前的参量，
步骤a2，根据以下数据分析矩阵当前的参量jk，并利用以下公式计算落地平台的频繁度：
其中，f代表落地平台的频繁度，π代表自然常数，tan代表正切函数；
步骤a3，根据落地平台的频繁度f与预设阈值进行比较，当落地平台的频繁度f高于预设阈值时，则获取该频繁度下的高峰期数据信息，并将数据信息传输至业务处理中心，从而达到对数据的分析，并通过业务处理中心根据分析后的数据进行业务处理，包括：
根据分析后的数据中的行业数据信息，对行业客户进行定位客户群体，调整经营策略；
根据分析后的数据中的转接时长数据，对转接坐席时间的长度，接通率大小，优化运营商通信线路，提升用户体验；
根据分析后的数据中的平台频繁度及高峰期数据信息，从而使资源使用量少的平台减少公式投入，使用忙的平台提前预警、及时扩能，保障平台稳定运营，其中以上算法根据分析线路使用量和取峰值，从而获取当前数据参量，通过数据参量最后计算得出落地平台的频繁度，从而通过分析多因素，从而使得计算结果更为准确，进而提升了数据的分析的准确度，有效分析出资源配置是否合理、节约成本、及时发现运营潜在风险、提升用户体验，保证了系统的完整性。
一种队列式数据存储分析系统，所述系统包括：
获取模块，用于获取多个落地平台数据；
传输模块，用于通过传输控制协议将多个落地平台数据传输至mq服务器中；
数据收集中心，用于获取mq服务器中的数据，并将其数据传输至中央数据库；
中央数据库，用于将数据进行数据备份，并将数据传输至数据处理中心；
数据处理中心，用于通过大数据分析引擎对数据进行分析，并将分析后的数据传至业务处理中心；
业务处理中心，用于根据分析后的数据进行业务处理。
上述技术方案首先，获取模块获取多个落地平台数据，其中所述落地平台数据包括主被叫号码、归属地区、等(字符类型)；其次，传输模块通过传输控制协议将多个落地平台数据传输至mq服务器中，mq服务器是基于云端存储，采用先进先出的存储原则进行数据存储，从而保证了数据与数据之间的顺序性；然后，数据收集中心获取mq服务器中的数据，并将其数据传输至中央数据库；接着，中央数据库将数据进行数据备份，并将数据传输至数据处理中心，从而保证了数据的安全性；紧接着，数据处理中心通过大数据分析引擎对数据进行分析，并将分析后的数据传至业务处理中心；最后，业务处理中心根据分析后的数据进行业务处理；通过采用队列机制数据存储模式，有效的环节服务器连接及处理压力，通过对数据的分析，有效分析出资源配置是否合理、节约成本、及时发现运营潜在风险、提升用户体验，避免少量数据分析，不能反映整个平台实际情况。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则范围之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
- 还没有人留言评论。精彩留言会获得点赞！