一种网络设备数据质量的分析方法与流程

本发明涉及计算机通信
技术领域：
，具体提供一种网络设备数据质量的分析方法。
背景技术：
：计算机具有存储信息量大，使用者获取信息方便快捷等优点，受到广泛的应用。特别是随着社会经济的飞速发展，计算机的应用领域越来越广泛。在网络性能数据监控场景中，需要制定大量多种形式的报表，以能更直观的对数据进行分析。但是，在系统自动生成报表后，有时会出现kpi(keyperformanceindicators)即主要绩效指标的值和正常值偏差较大的现象，这时用户需要判断该偏差是否由于数据缺失导致。因此要求在报表中，可以直观的看出数据的缺失情况，以及数据缺失对报表数据的影响。技术实现要素：本发明的技术任务是针对上述存在的问题，提供一种在查询报表时，可以用于辅助分析报表结果完整性和可靠性的网络设备数据质量的分析方法。为实现上述目的，本发明提供了如下技术方案：一种网络设备数据质量的分析方法，所述分析方法用于在电信网络中对已采集到的设备运行数据进行数据质量分析和查看，包括数据文件质量分析和数据内容质量分析：数据文件质量分析对原始数据、网元汇总数据、时间汇总数据定时生成数据质量分析报告，提供根据查询条件，查询相关的数据完整率和数据缺失情况的服务；数据内容质量分析由决策中心进行调度，监听消息队列，在网元汇总、时间汇总、入库成功后，根据网元类型、时间粒度、指标集，建立数据质量保存表，提供数据质量保存服务。数据质量分析功能作为后台服务独立运行，在采集服务器中，配置一个专用进程用于生成数据文件缺失报告数据。该进程使用crontab方式启动，每小时启动一次，生成前一个小时数据文件缺失报告，用于报表的数据完整性分析。所述数据文件质量分析提供数据质量查询服务，生成数据质量分析报告；数据内容质量分析提供数据质量保存服务，建立数据质量保存表，最终形成数据质量报告。网络维护人员在数据监控系统查询各类报表时，可同时查询到数据质量报告，辅助分析报表结果的完整性和可靠性。作为优选，所述数据文件质量分析包括以下步骤1)对原始采集文件进行记录：记录采集的所有原始性能文件名称、以及原始性能文件在网元管理系统中的创建时间、大小、开始采集时间、采集完成时间；2)对数据文件进行缺失检查：(a)根据采集实例获取对应的大网元设备实体，由此获取网元对象，进而获取指标集和时间粒度；(b)根据具体网元管理系统输出的原始性能文件格式和接口规格，制定不同的数据文件缺失检查规则；(c)计算当前网元管理系统采集实例下，每个小时内应输出的各粒度原始采集文件名称列表，通过对比采集历史中记录已采集原始文件名称和文件数量，得到数据文件的数据缺失记录；(d)获取最新采集的数据文件列表，若数据缺失记录中已有此文件，则删除此文件的缺失记录。步骤1)在采集程序完成对原始性能文件的采集后进行。通过数据文件质量分析定时生成数据质量分析报告，在数据质量查询时，根据查询条件，由数据质量分析报告查询相关的数据完整率和数据缺失情况。数据质量查询条件包括时间粒度、时间范围、网元类型、网元列表、指标集列表，根据指标集查询出指标集所属的网元类型和时间粒度，分为指标原始数据、指标时间汇总数据和指标网元汇总数据三种情况，定位出查询的数据质量所在的表，记录下查询的网元在各个时间点的完整性，封装为数据质量结果。根据每条数据质量记录，按照平均算法计算出整体的完整性，以百分比来表示。在展示数据报表时，同时展示报表涉及数据的整体完整性。如果报表中的数据存在明显的异常，可以直接查看该数据对应的详细的缺失信息，判断是否是由于缺失导致的数据异常。如果发现报表的数据不完整，但也没有明显的数据异常时，可以查看报表包含的所有网元实体、所有时刻各指标的完整性，进而查询详细的缺失数据。作为优选，步骤(c)中根据原始性能文件命名规则、网元管理系统采集实例下大网元设备实体、指标集以及时间粒度，计算每个小时内应输出的各粒度原始采集文件名称列表。作为优选，所述数据内容质量分析，记录各粒度的各个时间点的数据成功入库情况，针对一个时间点的数据，数据完整率为实际参与汇总的数据条数与正常参与汇总的数据条数的比例。作为优选，数据内容质量分析中，时间汇总情况根据时间粒度查询相应依赖时间汇总表，计算出的最终数据记录到数据库数据质量保存表中。与现有技术相比，本发明的网络设备数据质量的分析方法具有以下突出的有益效果：所述网络设备数据质量的分析方法，通过数据文件质量分析，生成数据质量分析报告，通过数据内容质量分析，建立数据质量保存表，最终生成数据质量报告，网络维护人员在数据监控系统查询各类报表时，可同时查询到数据质量报告，辅助分析报表结果的完整性和可靠性，方便网络维护人员对各类报表的分析，具有良好的推广应用价值。附图说明图1是本发明所述网络设备数据质量的分析方法中的模块间架构图。具体实施方式下面将结合附图和实施例，对本发明的网络设备数据质量的分析方法作进一步详细说明。实施例本发明的网络设备数据质量的分析方法，用于在电信网络中对已采集到的设备运行数据进行数据质量分析和查看。本发明中网络设备数据质量的分析方法包括数据文件质量分析和数据内容质量分析。数据文件质量分析对原始数据、网元汇总数据、时间汇总数据定时生成数据质量分析报告。数据文件质量分析包括以下步骤：1)对原始采集文件进行记录：采集程序完成对原始性能文件的采集后，记录采集的所有原始性能文件名称、以及原始性能文件在网元管理系统中的创建时间、大小、开始采集时间、采集完成时间。2)对数据文件进行缺失检查：(a)根据采集实例获取对应的大网元设备实体，根据大网元设备实体获取网元对象，根据网元对象获取指标集和时间粒度；(b)根据具体网元管理系统输出的原始性能文件格式和接口规格，制定不同的数据文件缺失检查规则；(c)根据原始性能文件命名规则、网元管理系统采集实例下大网元设备实体、指标集以及时间粒度，计算当前网元管理系统采集实例下，每个小时内应输出的各粒度原始采集文件名称列表，通过对比采集历史中记录已采集原始文件名称和文件数量，得到数据文件的数据缺失记录；(d)获取最新采集的数据文件列表，若数据缺失记录中已有此文件，则删除此文件的缺失记录。通过数据文件质量分析定时生成数据质量分析报告，在数据质量查询时，根据查询条件，由数据质量分析报告查询相关的数据完整率和数据缺失情况。数据质量查询条件包括时间粒度、时间范围、网元类型、网元列表、指标集列表，根据指标集查询出指标集所属的网元类型和时间粒度，分为指标原始数据、指标时间汇总数据和指标网元汇总数据三种情况，定位出查询的数据质量所在的表，记录下查询的网元在各个时间点的完整性，封装为数据质量结果。根据每条数据质量记录，按照平均算法计算出整体的完整性，以百分比来表示。在展示数据报表时，同时展示报表涉及数据的整体完整性。如果报表中的数据存在明显的异常，可以直接查看该数据对应的详细的缺失信息，判断是否是由于缺失导致的数据异常。如果发现报表的数据不完整，但也没有明显的数据异常时，可以查看报表包含的所有网元实体、所有时刻各指标的完整性，进而查询详细的缺失数据。数据内容质量分析记录各粒度的各个时间点的数据成功入库情况。数据内容质量功能由决策中心进行调度。决策中心监听消息队列，在网元汇总、时间汇总、入库成功后，根据网元类型、时间粒度、指标集，建立数据质量保存表。针对一个时间点的数据，数据完整率是实际参与汇总的数据条数与正常参与数据汇总的条数的比例。对于时间汇总情况，根据时间粒度查询相应依赖时间汇总表，计算出的最终数据记录到数据库数据质量表中。数据质量分析功能作为后台服务独立运行，在采集服务器中，配置一个专用进程用于生成数据文件缺失报告数据。该进程使用crontab方式启动，每小时启动一次，生成前一个小时数据文件缺失报告，用于报表的数据完整性分析。本发明涉及的模块间架构如图1所示，展现逻辑层包括数据质量报告、报表数据质量和缺失报告，由此提供数据质量查询服务和数据质量保存服务，数据质量查询服务又包括了指标模型服务和网元模型服务。通过数据文件质量分析和数据内容质量分析最终生成数据质量报告，网络维护人员在数据监控系统查询各类报表时，可同时查询到数据质量报告，辅助分析报表结果的完整性和可靠性。本发明的网络设备数据质量的分析方法的具体过程为：1)启动数据质量分析服务，每小时进行数据完整性分析，将缺失的采集文件和文件中缺失的内容记录到数据库。2)创建网络数据报表，指定报表数据的网元类型、指标集、时间粒度和时间范围。3)执行报表生成报表结果，同时查询计算报表数据的整体完整率，显示在报表结果中，如表1所示。表1dataintegrationrate：98％。4)若报表数据的整体完整率低于100％，可进入数据质量分析，查询详细数据内容缺失报告，包含各网元各指标在指定时间点的完整率，如表2所示。表25)对于数据不完整的单元格，可继续查看详细的数据缺失报告，如表3所示。表3bscemsnameemsipdatetimecountersetidcountersetnamecounteridscounternamesbptk3m2000_110.16.1.2342016-9-118:00.9:00.10:001275071435tchperformancepercell1275071456.1275071457k3004、k3004abptk3m2000_110.16.1.2342016-9-118:00.9:00.10:001275071426handovefforcell1275071528a1300sbptk4m2000_110.16.1.2342016-9-118:00.9:00.10:001275071435tchperformancepercell1275071456.1275071457k3004、k3004abptk4m2000_110.16.1.2342016-9-118:00.9:00.10:001275071426handovefforcell1275071528a1300s6)提供数据文件缺失查询，展示符合查询条件内的数据文件缺失报告，如表4所示。表4以上所述的实施例，只是本发明较优选的具体实施方式，本领域的技术人员在本发明技术方案范围内进行的通常变化和替换都应包含在本发明的保护范围内。当前第1页12