物联网业务指标预警方法、装置、电子设备及存储介质与流程
本发明涉及网络管理技术领域，尤其涉及一种物联网业务指标预警方法、装置、电子设备及存储介质。
背景技术：
物联网业务指标与网络指标关联关系，是物联网业务质量评价体系建设的重要组成部分，研究成果可用于物联网业务质量的预警功能，可有效提高物联网业务质量，提升用户感知。
现有技术在进行对物联网业务质量的预警功能时，通常需要工作人员选取指定的指标进行预警，选取的指标包括nb-s1模式mme触发s1释放成功率(％)当前周期成功率charge，nb-s1模式ue发起的detach成功率(％)当前周期成功率charge，nbcp模式业务请求成功率当前周期成功率charge，ulibler指标等。由于上述有些指标在确定业务质量是否正常时并不准确，或者所占决定性作用较小，若根据上述指标对物联网业务质量进行预警时，通常会出现预警失败的情况，即对物联网业务质量的预警准确率不高，不能满足业务快速发展的保障需求。
技术实现要素：
本发明实施例提供了一种物联网业务指标预警方法、装置、电子设备及存储介质，用以解决现有技术中预警准确率较低的问题。
本发明实施例提供了一种物联网业务指标预警方法，所述方法包括：
获取设定时间段内承载第一物联网设备和物联网监控平台间进行业务数据交互的网络侧设备中的话统数据包；
根据所述话统数据包，确定预设质量指标的值，其中，所述预设质量指标包括成功率指标，平均个数指标，平均mcs指标；
根据所述预设质量指标的值，及保存的所述预设质量指标对应的门限值，确定所述第一物联网设备在所述设定时间段内进行的业务是否正常。
进一步地，如果预设质量指标包括至少两个，所述根据所述预设质量指标的值，及保存的所述预设质量指标对应的门限值，确定所述第一物联网设备在所述设定时间段内进行的业务是否正常包括：
判断每个预设质量指标的值是否均高于对应的门限值，如果是，则确定所述第一物联网设备在所述设定时间段内进行的业务正常，如果否，则确定所述第一物联网设备在所述设定时间段内进行的业务不正常。
进一步地，获取所述预设质量指标的门限值的过程包括：
获取每个样本话统数据包，其中，每个样本话统数据包为设定时间长度内承载第二物联网设备和物联网监控平台间进行业务数据交互的网络侧设备中的样本话统数据包，每个样本话统数据包中携带该样本话统数据包对应的业务是否正常的标签信息；
确定每个样本话统数据包对应的预设质量指标的值，其中，所述预设质量指标包括成功率指标，平均个数指标，平均mcs指标；
将每个预设质量指标的值及对应的样本话统数据包的标签信息输入到物联网业务指标识别模型中，对该物联网业务指标识别模型进行训练，并获取预设质量指标的门限值。
进一步地，确定每个样本话统数据包对应的预设质量指标的过程包括：
根据每个样本话统数据包，确定每个待选择的质量指标，及每个待选择的质量指标的值；
针对每个待选择的质量指标及对应的值，采用预设的特征选择算法，确定所述预设质量指标。
进一步地，所述成功率指标包括以下至少一种：鉴权成功率指标的值，附着成功率指标的值，寻呼成功率指标的值，缺省承载激活请求成功率指标的值，detach成功率指标的值，normaltau成功率指标的值，rrc连接建立成功率指标的值，竞争随机接入过程的成功率指标的值；
所述平均个数指标包括以下至少一种：下行使用15khz子载波资源的平均个数指标的值，上行使用15khz子载波资源的平均个数指标的值，上行使用3.75khz子载波资源的平均个数指标的值，上行干扰噪声的平均值指标的值；
所述平均mcs指标的值包括以下至少一种：npdsch平均mcs指标的值，npusch平均mcs指标的值，小区dlibler平均mcs指标的值，ulibler指标的值。
本发明实施例提供一种物联网业务指标预警装置，所述装置包括：
获取模块，用于获取设定时间段内承载第一物联网设备和物联网监控平台间进行业务数据交互的网络侧设备中的话统数据包；
第一确定模块，用于根据所述话统数据包，确定预设质量指标的值，其中，所述预设质量指标包括成功率指标，平均个数指标，平均mcs指标；
第二确定模块，用于根据所述预设质量指标的值，及保存的所述预设质量指标对应的门限值，确定所述第一物联网设备在所述设定时间段内进行的业务是否正常。
本发明实施例提供一种电子设备，所述电子设备包括存储器和处理器；
所述处理器，用于读取所述存储器中的程序，执行下列过程：获取设定时间段内承载第一物联网设备和物联网监控平台间进行业务数据交互的网络侧设备中的话统数据包；根据所述话统数据包，确定预设质量指标的值，其中，所述预设质量指标包括成功率指标，平均个数指标，平均mcs指标；根据所述预设质量指标的值，及保存的所述预设质量指标对应的门限值，确定所述第一物联网设备在所述设定时间段内进行的业务是否正常。
进一步地，所述处理器，具体用于如果预设质量指标包括至少两个，判断每个预设质量指标的值是否均高于对应的门限值，如果是，则确定所述第一物联网设备在所述设定时间段内进行的业务正常，如果否，则确定所述第一物联网设备在所述设定时间段内进行的业务不正常。
进一步地，所述处理器，具体用于获取每个样本话统数据包，其中，每个样本话统数据包为设定时间长度内承载第二物联网设备和物联网监控平台间进行业务数据交互的网络侧设备中的样本话统数据包，每个样本话统数据包中携带该样本话统数据包对应的业务是否正常的标签信息；确定每个样本话统数据包对应的预设质量指标的值，其中，所述预设质量指标包括成功率指标，平均个数指标，平均mcs指标；将每个预设质量指标的值及对应的样本话统数据包的标签信息输入到物联网业务指标识别模型中，对该物联网业务指标识别模型进行训练，并获取预设质量指标的门限值。
进一步地，所述处理器，还用于根据每个样本话统数据包，确定每个待选择的质量指标，及每个待选择的质量指标的值；针对每个待选择的质量指标及对应的值，采用预设的特征选择算法，确定所述预设质量指标。
本发明实施例还提供一种电子设备，所述电子设备包括：处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
所述存储器中存储有计算机程序，当所述程序被所述处理器执行时，使得所述处理器执行上述任一项的方法步骤。
本发明实施例还提供一种计算机可读存储介质，其存储有可由电子设备执行的计算机程序，当所述程序在所述电子设备上运行时，使得所述电子设备执行上述任一项的方法步骤。
本发明实施例提供了一种物联网业务指标预警方法、装置、电子设备及存储介质，所述方法包括：获取设定时间段内承载第一物联网设备和物联网监控平台间进行业务数据交互的网络侧设备中的话统数据包；根据所述话统数据包，确定预设质量指标的值，其中，所述预设质量指标包括成功率指标，平均个数指标，平均mcs指标；根据所述预设质量指标的值，及保存的所述预设质量指标对应的门限值，确定所述第一物联网设备在所述设定时间段内进行的业务是否正常。由于在本发明实施例中，根据成功率指标，平均个数指标，平均mcs指标的值及保存的对应的门限值，确定该第一物联网设备在设定时间段内进行的业务是否正常，从而实现对物联网业务质量的预警功能。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例1提供的一种物联网业务指标预警方法的流程示意图；
图2为本发明实施例3提供的局部依赖函数(partialdependenceplot，pdp)以及独立条件期望的结果示意图；
图3为本发明实施例3提供的智能灯杆核心网设备的话统数据包得到的预设质量指标示意图；
图4为本发明实施例3提供的智能灯杆核心网设备话统数据包得到的预设质量指标的得分值示意图；
图5a为本发明实施例3提供的核心网设备的话统数据包示意图；
图5b为本发明实施例3提供的根据该话统数据包得到的预设质量指标的值示意图；
图6为本发明实施例3提供的各环节数据字段拼接sheet页示意图；
图7a为本发明实施例3提供的无线设备的话统数据包示意图；
图7b为本发明实施例3提供的根据该话统数据包得到的预设质量指标的值示意图；
图8a为本发明实施例3提供的无线数据字段拼接(15分钟)的表格示意图；
图8b为本发明实施例3提供的无线数据字段拼接(1小时)的表格示意图；
图9a为本发明实施例3提供的拼接后的业务质量数据和核心网话统数据包的存放路径示意图；
图9b为本发明实施例3提供的拼接后的业务质量数据和无线话统数据包的存放路径示意图；
图10为本发明实施例3提供的运行无线工程和核心网工程的命令示意图；
图11a为本发明实施例3提供的核心网指标自身重要性维度结果示意图；
图11b为本发明实施例3提供的无线指标自身重要性维度结果示意图；
图12a为本发明实施例3提供的核心网指标组队贡献维度结果示意图；
图12b为本发明实施例3提供的无线指标组队贡献性维度结果示意图；
图13a为本发明实施例3提供的核心网指标自身重要性与指标组队贡献两个维度综合结果示意图；
图13b为本发明实施例3提供的无线指标自身重要性与指标组队贡献两个维度综合结果示意图；
图14a为本发明实施例3提供的鉴权成功率指标的阈值曲线示意图；
图14b为本发明实施例3提供的附着成功率指标的阈值曲线示意图；
图14c为本发明实施例3提供的寻呼成功率指标的阈值曲线示意图；
图14d为本发明实施例3提供的缺省承载激活请求成功率指标的阈值曲线示意图；
图14e为本发明实施例3提供的detach成功率指标的阈值曲线示意图；
图14f为本发明实施例3提供的normaltau成功率指标的阈值曲线示意图；
图15a为本发明实施例3提供的下行使用15khz子载波资源的平均个数指标的阈值曲线示意图；
图15b为本发明实施例3提供的下行使用15khz子载波资源的平均个数指标的阈值曲线局部放大示意图；
图15c为本发明实施例3提供的npdsch平均mcs指标的阈值曲线示意图；
图15d为本发明实施例3提供的npdsch平均mcs指标的阈值曲线局部放大示意图；
图15e为本发明实施例3提供的上行使用15khz子载波资源的平均个数指标的阈值曲线示意图；
图15f为本发明实施例3提供的上行使用15khz子载波资源的平均个数指标的阈值曲线局部放大示意图；
图15g为本发明实施例3提供的npusch平均mcs指标的阈值曲线示意图；
图15h为本发明实施例3提供的npusch平均mcs指标的阈值曲线局部放大示意图；
图15i为本发明实施例3提供的小区dlibler平均mcs指标的阈值曲线示意图；
图15j为本发明实施例3提供的小区dlibler平均mcs指标的阈值曲线局部放大示意图；
图15k为本发明实施例3提供的上行干扰噪声的平均值指标的阈值曲线示意图；
图15l为本发明实施例3提供的上行干扰噪声的平均值指标的阈值曲线局部放大示意图；
图15m为本发明实施例3提供的竞争随机接入过程的成功率指标的阈值曲线示意图；
图15n为本发明实施例3提供的竞争随机接入过程的成功率指标的阈值曲线局部放大示意图；
图15o为本发明实施例3提供的上行使用3.75khz子载波资源的平均个数指标的阈值曲线示意图；
图15p为本发明实施例3提供的上行使用3.75khz子载波资源的平均个数指标的阈值曲线局部放大示意图；
图15q为本发明实施例3提供的ulibler指标的阈值曲线示意图；
图15r为本发明实施例3提供的ulibler指标的阈值曲线局部放大示意图；
图15s为本发明实施例3提供的rrc连接建立成功率指标的阈值曲线示意图；
图15t为本发明实施例3提供的rrc连接建立成功率指标的阈值曲线局部放大示意图；
图16为本发明实施例4提供的一种物联网业务指标预警装置的结构示意图；
图17为本发明实施例5提供的一种电子设备；
图18为本发明实施例6提供的一种电子设备。
具体实施方式
下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
实施例1：
图1为本发明实施例提供的一种物联网业务指标预警方法，该方法包括以下步骤：
s101：获取设定时间段内承载第一物联网设备和物联网监控平台间进行业务数据交互的网络侧设备中的话统数据包。
承载第一物联网设备和物联网监控平台之间进行业务数据交互的网络侧设备包括：核心网设备和无线设备，其中，核心网设备的主要作用是把a口上来的呼叫请求或数据请求，接续到不同的网络上，具体的，将呼叫请求或数据请求接续到无线设备中，该a口可以为物联网监控平台。
具体的，当用户想要确定设定时间段内第一物联网设备中进行的业务是否正常时，需从网络侧设备中提取该设定时间段内的话统数据包。例如，该设定时间段可以为8:00-8:05，或者为8:00-8:10等。
其中，第一物联网设备和物联网监控平台间进行业务数据交互的过程为：物联网监控平台发送呼叫请求或数据请求，核心网设备接收并响应该呼叫请求或数据请求，并将该呼叫请求或数据请求分发到无线设备中，无线设备接收并响应该呼叫请求或数据请求，将该呼叫请求或数据请求发送到对应的第一物联网设备中，从而完成业务数据从物联网监控平台到第一物联网设备的传输过程。具体的，网络侧设备中的话统数据包是指具有特定字段的数据包，例如基站名称、enodeb名称、小区双工模式等。核心网设备和无线设备中的话统数据包分别保存在核心网设备和无线设备中，当用户想提取该核心网设备或无线设备中保存的话统数据包时，可以经过一系列的操作获取保存的话统数据包。
其中，从网络侧设备中获取话统数据包的过程为现有技术，在本发明实施例中，对该过程不作赘述。
s102：根据所述话统数据包，确定预设质量指标的值，其中，所述预设质量指标包括成功率指标，平均个数指标，平均mcs指标。
在得到网络侧设备中的话统数据包之后，根据该话统数据包中包含的信息，进行相应的计算可以得到预设质量指标的值，其中，该预设质量指标的值可以包括成功率指标，平均个数指标以及平均mcs指标。
其中，根据该话统数据包中包含的信息确定预设质量指标的值的过程为现有技术，在本发明实施例中，对该过程不作赘述。
s103：根据所述预设质量指标的值，及保存的所述预设质量指标对应的门限值，确定所述第一物联网设备在所述设定时间段内进行的业务是否正常。
为了更好的监测第一物联网设备中进行的业务是否正常，会预先确定每个预设质量的指标的门限值，因此物联网监控平台中会预先保存预设质量指标的门限值。具体的，根据上述得到的预设质量指标的值，以及预先保存的该预设质量指标对应的门限值，确定该第一物联网设备在该设定时间段内进行的业务是否正常。例如，当有两项预设指标的值均超过对应的门限值时，即确定该第一物联网设备在该设定时间段内进行的业务不正常。
由于在本发明实施例中，根据预设质量指标的值及保存的预设质量指标对应的门限值，确定该第一物联网设备在设定时间段内进行的业务是否正常，从而根据保存的预设质量指标对应的门限值，实现对业务的预警功能。
实施例2：
为了更加准确的确定第一物联网设备中进行的业务是否正常，在上述实施例的基础上，在本发明实施例中，如果预设质量指标包括至少两个，所述根据所述预设质量指标的值，及保存的所述预设质量指标对应的门限值，确定所述第一物联网设备所述设定时间段内进行的业务是否正常包括：
判断每个预设质量指标的值是否均高于对应的门限值，如果是，则确定所述第一物联网设备所述设定时间段内进行的业务正常，如果否，则确定所述第一物联网设备在所述设定时间段内进行的业务不正常。
预设质量指标可以包括多个指标，例如，预设质量指标包括成功率指标，平均个数指标，平均mcs指标，其中，成功率指标可以包括鉴权成功率指标的值，附着成功率指标的值，寻呼成功率指标的值等，平均个数指标可以包括下行使用15khz子载波资源的平均个数指标的值，上行使用15khz子载波资源的平均个数指标的值等，平均mcs指标可以包括npdsch平均mcs指标的值，npusch平均mcs指标的值等。
具体的，当预设质量指标包括至少两个时，为了更加准确的实现对第一物联网设备中进行的业务进行预警功能，判断每个预设质量指标的值是否均高于对应的门限值，如果是，则确定该第一物联网设备在该设定时间段内进行的业务正常，如果否，也就是说至少存在一个指标的值不高于对应的门限值，则确定该第一物联网设备在该设定时间段内进行的业务不正常。具体实施过程中，当确定该第一物联网设备在该设定时间段内进行的业务不正常时，可通过短信或邮件等方式通知工作人员，该第一物联网设备在该设定时间段内进行的业务不正常。
例如，预设质量指标包括鉴权成功率指标的值，附着成功率指标的值，下行使用15khz子载波资源的平均个数指标的值，上行使用15khz子载波资源的平均个数指标的值；并且预先保存的鉴权成功率指标的门限值为91％，附着成功率指标的门限值为84％，下行使用15khz子载波资源的平均个数指标的门限值为4099，上行使用15khz子载波资源的平均个数指标的门限值为69.44。
在2018年12月12日8:00-8:10，通过获取在该时间段内网络侧设备中的话统数据包，根据该话统数据包确定的各种预设质量指标的值分别为：鉴权成功率指标的值为89％，附着成功率指标的值为85％，下行使用15khz子载波资源的平均个数指标的值为4050，上行使用15khz子载波资源的平均个数指标的值为75。其中，鉴权成功率指标的值89％低于对应的门限值91％，附着成功率指标的值85％高于对应的门限值84％，下行使用15khz子载波资源的平均个数指标的值4050低于对应的门限值4099，上行使用15khz子载波资源的平均个数指标的值75高于对应的门限值69.44。由于有两项预设质量指标的值未超过对应的门限值，因此确定该第一物联网设备在该时间段内进行的业务不正常。
在2018年12月12日10:00-10:10，通过获取在该时间段内网络侧设备中的话统数据包，根据该话统数据包确定的各种预设质量指标的值分别为：鉴权成功率指标的值为92％，附着成功率指标的值为86％，下行使用15khz子载波资源的平均个数指标的值为4100，上行使用15khz子载波资源的平均个数指标的值为73。其中，鉴权成功率指标的值92％高于对应的门限值91％，附着成功率指标的值86％高于对应的门限值84％，下行使用15khz子载波资源的平均个数指标的值4100高于对应的门限值4099，上行使用15khz子载波资源的平均个数指标的值73高于对应的门限值69.44。由于每个预设质量指标的值均高于对应的门限值，因此确定该第一物联网设备在该时间段内进行的业务不正常。
实施例3：
为了更好的确定每个预设质量指标对应的门限值，在上述各实施例的基础上，在本发明实施例中，获取所述预设质量指标的门限值的过程包括：
获取每个样本话统数据包，其中，每个样本话统数据包为设定时间长度内承载第二物联网设备和物联网监控平台间进行业务数据交互的网络侧设备中的样本话统数据包，每个样本话统数据包中携带该样本话统数据包对应的业务是否正常的标签信息；
确定每个样本话统数据包对应的预设质量指标的值，其中，所述预设质量指标包括成功率指标，平均个数指标，平均mcs指标；
将每个预设质量指标的值及对应的样本话统数据包的标签信息输入到物联网业务指标识别模型中，对该物联网业务指标识别模型进行训练，并获取预设质量指标的门限值。
为了获取有效的预设质量指标对应的门限值，在本发明实施例中，采用大量的预设质量指标的值以及对应的标签信息对物联网业务指标识别模型进行训练，并得到每个预设质量指标对应的门限值。
为了得到训练样本，并根据训练样本得到每个训练样本对应的预设质量指标的值，首先获取每个样本话统数据包，具体的，每个样本话统数据包为设定时间长度内承载第二物联网设备和物联网监控平台间进行业务数据交互的网络侧设备中的样本话统数据包。该网络侧设备包括核心网设备和无线设备，分别获取核心网设备中在该设定时间长度内的每个话统数据包，以及无线设备中在该设定时间长度内的每个话统数据包。
其中，针对每个样本话统数据包对应的业务是否正常，对该样本话统数据包添加标签，具体实施过程中，标签可以为0和1，具体的0代表不正常，1代表正常，或1代表不正常，0代表正常。根据每个样本话统数据包，确定每个样本话统数据包对应的预设质量指标的值，其中，该预设质量指标可以包括成功率指标，平均个数指标，平均mcs指标。
将获取的携带有标签信息的每个样本话统数据包以及对应的每个预设质量指标的值输入到预先选取的物联网业务指标识别模型中，对该模型进行训练，最终得到每个预设质量指标的门限值。
在具体实施过程中，该物联网业务指标识别模型采用的重要思想可以为局部依赖函数(partialdependenceplot，pdp)以及独立条件期望(individualconditionalexpectation，ice)，其中，pdp是指通过改变单变量来模拟模型对该变量的反应，这样就可以捕获到处于关键转折点的变量取值，作为特征阈值。pdp函数定义如下：
另外，pdp的前提是独立假设，由于pdp仅显示预测结果的平均值，因此可能会隐藏非均匀效应，假设总特征集合x中一个特征xj一半特征数据与结果是正相关，另一半特征数据与结果又是负相关，那么pdp曲线可能是一条水平线，于是我们还需使用ice进一步分析，以避免此类影响。
ice分别显示预测值对每一个样本话统数据包的某一质量指标的依赖性，所以会有多条线来表示，每一条线就是一个每个样本话统数据包的某一质量指标，pdp是ice图上线的均值，所以在上面不均匀效应中，ice会给出更多信息。如图2所示为nb-s1模式寻呼成功率指标的示意图，其中，横轴是指nb-s1模式寻呼成功率指标的取值，纵轴是指造成业务质量(时延)变差的风险，正值代表时延风险变大，负值代表时延风险变小，图中带小圆点的曲线为pdp的结果，其余曲线为ice得到的每一条曲线。因此，从图2中可以看出使用pdp+ice的思想可以得到较好的指标的门限值，避免了pdp会出现一条水平线的问题，且可以从ice的多条曲线中得到实际所需的曲线。
其中，确定每个样本话统数据包对应的预设质量指标的值的过程为现有技术，在本发明实施例中，对该过程不作赘述。
在本发明实施例中，确定每个样本话统数据包对应的预设质量指标的过程包括：
根据每个样本话统数据包，确定每个待选择的质量指标，及每个待选择的质量指标的值；
针对每个待选择的质量指标及对应的值，采用预设的特征选择算法，确定所述预设质量指标。
通常一个话统数据包经过相应计算可以得到较多的质量指标，而有些质量指标在确定该话统数据包对应的业务是否正常时，所起的作用并不大，因此针对每个样本话统数据包生成的质量指标，需选取对确定业务是否正常有用的指标。具体的，根据每个样本话统数据包，确定每个待选择的质量指标，及每个待选择的质量指标的值；针对每个待选择的质量指标及对应的值，采用预设的特征选择算法，确定预设质量指标。在具体实施过程中，该预设的特征选择算法包括随机森林算法、adaboost算法、catboost算法、lightgbm算法以及xgboost算法。针对每个待选择的质量指标及对应的值，分别在随机森林算法、adaboost算法、catboost算法、lightgbm算法以及xgboost算法模型中进行训练，输出指标在各个模型上的得分情况，同时对不同模型上的得分进行归一化，以一种类似投票的方式提取到重要指标，即预设质量指标。
其中，针对每个待选择的质量指标及对应的值，采用预设的特征选择算法，确定所述预设质量指标的过程为现有技术，在本发明实施例中，对该过程不作赘述。
在本发明实施例中，所述成功率指标包括以下至少一种：鉴权成功率指标的值，附着成功率指标的值，寻呼成功率指标的值，缺省承载激活请求成功率指标的值，detach成功率指标的值，normaltau成功率指标的值，rrc连接建立成功率指标的值，竞争随机接入过程的成功率指标的值；
所述平均个数指标包括以下至少一种：下行使用15khz子载波资源的平均个数指标的值，上行使用15khz子载波资源的平均个数指标的值，上行使用3.75khz子载波资源的平均个数指标的值，上行干扰噪声的平均值指标的值；
所述平均mcs指标的值包括以下至少一种：npdsch平均mcs指标的值，npusch平均mcs指标的值，小区dlibler平均mcs指标的值，ulibler指标的值。
由话统数据包确定的预设质量指标可能包含较多的指标，具体的，领域专家根据专业知识，对网络侧设备中的话统数据包进行转化，将各种次数和数量的统计量转变为百分比，统一各个指标的量纲，并将特征进行分组，比如前一周期指标成功率+前后周期变化量，当前周期指标成功率+前后周期变化量，前一周期指标成功率+当前周期指标成功率等，进行基线模型训练。
首先，需要进行特征选择，也就是预设质量指标的选择，具体的，通过递归减少考察的特征集规模来选择特征，这个目的是消除掉冗余特征和高度相关特征。首先，基线模型在原始特征上训练，每项特征指定一个权重。之后，那些拥有最小绝对值权重的特征被踢出特征集。如此往复递归，直至剩余的特征数量达到所需的特征数量。本发明实施例中使用rfecv，通过交叉验证的方式执行rfe(rcursivefeatureelimination，递归特征消除)，以此来选择最佳数量的特征。
例如，以智能灯杆核心网设备的话统数据包得到的预设质量指标为例，最终根据实验结果，如图3所示，其中横轴为质量指标，纵轴代表交叉验证分数，选择如下特征组合：nb-s1模式附着成功率当前周期成功率，nb-iot缺省承载激活请求成功率当前周期成功率，nbcp模式业务请求成功率当前周期成功率，nb-s1模式寻呼成功率当前周期成功率，nb-s1模式连接态上行esmdatatransport报文触发的s11-u建立成功率当前周期成功率，nb-s1模式ue发起的detach成功率(％)当前周期成功率，nb-s1模式鉴权成功率(％)当前周期成功率，nb-s1模式mme内周期性tau成功率(sgw不变更)当前周期成功率，nb-s1模式mme内normaltau成功率(sgw不变更)当前周期成功率，nb-s1模式附着成功率当前周期成功率charge，nb-iot缺省承载激活请求成功率当前周期成功率charge，nbcp模式业务请求成功率当前周期成功率charge，nb-s1模式cpsr成功率(网络原因)当前周期成功率charge，nb-s1模式寻呼成功率当前周期成功率charge，nb-s1模式mme触发s1释放成功率(％)当前周期成功率charge，nb-s1模式pgw发起缺省承载去激活成功率(％)当前周期成功率charge，nb-s1模式连接态上行esmdatatransport报文触发的s11-u建立成功率当前周期成功率charge，nb-s1模式ue发起的detach成功率(％)当前周期成功率charge，nb-s1模式鉴权成功率(％)当前周期成功率charge，nb-s1模式mme内周期性tau成功率(sgw不变更)当前周期成功率charge，nb-s1模式mme内normaltau成功率(sgw不变更)当前周期成功率charge。
然后针对上面选出的特征组合，使用随机森林，adaboost,catboost,lightgbm,xgboost这几种ai算法模型中的任意一种进行训练，输出特征在各个模型上的得分情况，同时对不同模型上的得分进行标准化归一，以一种类似投票的方式提取到重要特征。
以智能灯杆核心网设备话统数据包得到的预设质量指标为例，最终根据实验结果，指标重要性提取可视化结果输出如图4所示，其中，横轴是指各个质量指标，纵轴是指质量指标的重要程度得分值，选出得分靠前的质量指标作为本发明实施例的预设质量指标，其中，图4中共包括39个质量指标，从左到右(图中的左右)的质量指标分别为nb-s1模式附着成功率当前周期成功率charge、nb-s1模式鉴权成功率(％)当前周期成功率charge、nb-s1模式附着成功率当前周期成功率、nb-s1模式鉴权成功率(％)前一周期成功率、nb-s1模式寻呼成功率前一周期成功率、nb-s1模式寻呼成功率当前周期成功率、nb-s1模式附着成功率前一周期成功率、nb-s1模式鉴权成功率(％)当前周期成功率、nb-s1模式寻呼成功率当前周期成功率charge、nb-iot缺省承载激活请求成功率当前周期成功率charge、nb-iot缺省承载激活请求成功率当前周期成功率、nb-s1模式mme内normaltau成功率(sgw不变更)前一周期成功率、nb-s1模式mme内normaltau成功率(sgw不变更)当前周期成功率charge、nb-iot缺省承载激活请求成功率前一周期成功率、nb-s1模式mme内normaltau成功率(sgw不变更)当前周期成功率、nbcp模式业务请求成功率当前周期成功率、nb-s1模式mme内周期性tau成功率(sgw不变更)当前周期成功率、nb-s1模式mme内normaltau成功率(sgw不变更)当前周期成功率charge、nbcp模式业务请求成功率前一周期成功率、nb-s1模式mme内normaltau成功率(sgw不变更)前一周期成功率、nb-s1模式mme内normaltau成功率(sgw不变更)当前周期成功率charge、nb-s1模式cpsr成功率(网络原因)当前周期成功率、nb-s1模式ue发起的detach成功率(％)前一周期成功率、nb-s1模式cpsr成功率(网络原因)当前周期成功率charge、nb-s1模式mme内周期性tau成功率(sgw不变更)前一周期成功率、nb-s1模式mme内normaltau成功率(sgw不变更)当前周期成功率、nb-s1模式ue发起的detach成功率(％)当前周期成功率、nbcp模式业务请求成功率当前周期成功率charge、nb-s1模式cpsr成功率(网络原因)前一周期成功率、nb-s1模式ue发起的detach成功率(％)当前周期成功率charge、nb-s1模式连接态上行esmdatatransport报文触发的s11-u建立成功率前一周期成功率、nb-s1模式连接态上行esmdatatransport报文触发的s11-u建立成功率当前周期成功率、nb-s1模式连接态上行esmdatatransport报文触发的s11-u建立成功率当前周期成功率charge、nb-s1模式mme触发s1释放成功率(％)当前周期成功率、nb-s1模式mme触发s1释放成功率(％)前一周期成功率、nb-s1模式pgw发起缺省承载去激活成功率(％)当前周期成功率charge、nb-s1模式pgw发起缺省承载去激活成功率(％)前一周期成功率、nb-s1模式pgw发起缺省承载去激活成功率(％)当前周期成功率、以及nb-s1模式mme触发s1释放成功率(％)当前周期成功率charge。较佳的，在本发明实施例中，选择的核心网设备对应的预设质量指标为：鉴权成功率指标，附着成功率指标，寻呼成功率指标，缺省承载激活请求成功率指标，detach成功率指标，normaltau成功率指标；选择的无线设备对应的预设质量指标为：下行使用15khz子载波资源的平均个数指标，npdsch平均mcs指标，上行使用3.75khz子载波资源的平均个数指标，npusch平均mcs指标，小区dlibler平均mcs指标，上行干扰噪声的平均值指标，竞争随机接入过程的成功率指标，上行使用3.75khz子载波资源的平均个数指标，ulibler指标，rrc连接建立成功率指标。
例如，下面详细阐述输入数据源的获取，特征的选择，以及确定门限值的过程：
1)业务质量数据的获取方法，先通过与物联网设备厂商的行业调研，获取指定物联网垂直行业的关键业务流程，比如智能灯杆的关键业务流程，主要分为开灯流程、关灯流程、调光流程及日常周期性上报流程；可选的，在设备厂商配合的情况下，获取物联网应用服务器的后台操作权限，这样方便进行手动测试时的结果记录，否则只能通过人为现场观察与数据文件后分析的方式记录测试结果；进行物联网设备的手动触发测试，依据与厂商调研获得的关键业务流程调研结果，按照区分业务流程(开灯、关灯、调光)的方式进行间隔式触发测试，具体的，每次业务流程人为间隔出5分钟左右的时间，用于将不同的业务流程分隔开，这样便于数据分析及进行数据标签化处理，并记录清楚测试日期、测试时间、测试业务流程名称及测试结果，其中智能灯杆的测试记录示例如表1所示，其中该表中记录着测试日期，测试时间，测试业务流程名称以及测试结果，例如，在测试日期为2018/4/26，测试时间为18:00时，对应的测试业务流程名称为调光，测试结果为成功。
表1
同步收集网络侧设备在手动测试同时间段内启动的单用户跟踪文件(不同网络设备厂商的跟踪文件格式会有一定区别)，其中单用户跟踪文件记录的是单用户粒度的数据报文交互抓包记录，并安排网络设备厂商工程师配合将单用户跟踪文件转换为标准的.cap文件，用于后续分析。
2)网络侧设备话统数据包的获取方法，需要在现网的核心网和无线设备上提取与业务手工测试同时间段内的话统数据包。
表2
具体的，话统数据包可通过u2000获取，导出execel格式的原始指标，其中，话统数据包是指包含特定字段的数据包，例如，核心网设备和无线设备中的话统数据包的字段表头信息如表2所示，该话统数据包包括时间、基站名称、小区双工模式、本地小区标识、nb-iot小区回应了成功的contentionresolution消息的次数、nb-iot小区竞争preamble接收次数、nb-iot小区rrc连接建立完成次数以及nb-iot小区rrc连接请求次数等。
在具体实施过程中，可将业务质量数据与网络侧设备话统数据包进行拼接，先将业务质量数据使用业务交互质量详表，再按照自然时间作为关联点，将业务质量数据和话统数据包进行关联拼接，用于标签化前的准备。
如表3所示的业务交互质量详表的示例，详表中包含流程名称、流程开始时间、重传次数、业务是否成功，业务结束时间以及时延信息，依据开始时间、结束时间以及对应的时延可以和话统数据包进行关联拼接，并对拼接后的数据进行标注，具体的，根据该话统数据包对应的业务是否正常确定该拼接后的标签，其中，如何对数据进行添加标签的这个过程已经集成实现，无需手动地一个个对数据进行标签的添加处理。
表3
a、业务质量数据+核心网话统数据包的拼接和预处理过程共包括以下三步：
第一步：将核心网设备中的话统数据包经过转化模板进行转化得到转化结果，例如图5a为核心网设备的话统数据包，其中该表中记录的字段包括业务开始时间，connectionresume请求成功次数，connectionresume请求次数，connectionsuspend请求次数，nb-s1模式附着成功率次数，nb-s1模式附着请求次数，且该表中记录着在各个时间内，上述各个字段的实际取值。
图5b为根据该话统数据包得到的质量指标的值，其中，该表中包含的字段为开始时间以及nb-s1模式附着成功率，该nb-s1模式附着成功率又包含前一周期nb-s1模式附着成功率，当前周期nb-s1模式附着成功率以及前后周期变化量。
具体的，将获取的核心网设备中的话统数据包粘贴到如《拼接模板1-核心网设备话统数据包转化.xlsx》中话统这个sheet，拼接模板会自动将结果输出在核心网数据字段这个sheet页中。经过上述转化过程，将得到的核心网数据字段可以于后续的操作。
需要注意的是，核心网预设质量指标进行第一次模板拼接时，需要检查指标是否都为5分钟周期粒度的，如果有30分钟粒度的，建议通过网管重新获取，或者采取直接补位的方式，将30分钟粒度补到5分钟粒度中，比如10：30分的指标可以补到10:05～10:30这6个5分钟粒度数据上，在确实无数据时采用此补位方法。
从原始话统数据包到转化模板粘贴时，5分钟的话统粒度一天从00:00到23:55应该有288条数据，如条数不够就要确认是否有相应周期数据缺失，需要注意留出空位出来，不要错行。若有缺失的周期数据建议从网管重新获取。
第二步：完成了核心网话统数据包到拼接模板的转化后，为了得到各环节数据字段，继续将转化后的数据粘贴到《拼接模板2业务质量数据+核心网话统.xlsx》中的核心网数据字段拼接(5分钟)这个sheet页中，拼接模板会自动将拼接结果输出在如图6所示的各环节数据字段拼接(输出)这个sheet页中。
第三步：最后为了根据各环节字段得到质量指标，将如图6所示的业务交互质量详表中的数据，按照自然时间的归属填充到最近的话统统计周期内，比如2018042618:00:09的业务数据，需要和2018042618:05:00的话统放在一起，拼接为一条话单，完成对《拼接模板2业务质量数据+无线话统(15分钟).xlsx》或者《拼接模板5业务质量数据+无线话统(1小时).xlsx》模板中物联网业务体验标签的填充，注意拼接模板中时延字段是必填项，对于失败的业务流程，时延可以按照较大值填充，比如15秒。
注意：最后一定要检查拼接完的数据中不要有非法字符，例如为空或者直接非法字符nil/#ref！之类，记得删除，否则在后面的工程运行阶段就会因为输入数据非法而报错。
以上三步，便完成了业务质量数据和核心网话统数据包的拼接工作。
b、业务质量数据+无线话统数据包的拼接和预处理过程共包括以下三步：
第一步：将核心网设备中的话统数据包经过转化模板进行转化得到转化结果，例如图7a为无线设备的话统数据包，其中该表中记录的字段包括时间，基站名称，小区双工模式，小区名称等，且该表中记录着在各个时间内，上述各个字段的实际取值。
图7b为根据该话统数据包得到的预设质量指标的值，其中，该表中包含的字段为测试时间信息，前一周期的接收次数、成功次数以及成功率，当前周期的接收次数、成功次数以及成功率，前后周期变化量的接收次数、成功次数以及成功率，且该表中记录着在各个时间内，上述各个字段的实际取值。
具体的，根据该话统数据包得到的预设质量指标的值的过程为，将获取的无线设备中的话统数据包粘贴到如《模板3nb-iot无线设备话统数据包转化.xlsx》中话统这个sheet，拼接模板会自动将结果输出在核心网数据字段这个sheet页中，具体实施过程中，需要根据采集的原始话统是15分钟粒度的分割数据还是1小时的分割粒度来选择使用的拼接模板3。
第二步：完成了原始无线话统数据包到拼接模板的转化后，为了得到各环节字段，继续将转化后的数据粘贴到《拼接模板5业务质量数据+无线话统(15分钟).xlsx》或者《拼接模板5业务质量数据+无线话统(1小时)).xlsx》中的无线数据字段拼接(15分钟)/无线数据字段拼接(1小时)sheet页中，拼接模板会自动将拼接结果输出在的各环节数据字段拼接(输出)这个sheet页中，其中图8a所示的为无线数据字段拼接(15分钟)的示意图，图8b所示的为无线数据字段拼接(1小时)的示意图，其中物联网业务体验标签包括的字段有时间戳、终端标识、iot行为名称、成功或失败等字段，用时间做关联后得到的对应的预设质量指标包括nb-iot小区竞争随机接入过程的成功率前一周期成功次数、nb-iot小区竞争随机接入过程的成功率前一周期接收次数，以及nb-iot小区竞争随机接入过程的成功率前一周期成功率。
其中，无线话统数据字段填充到1小时还是15分钟的模板，取决于采集的原始采集的话统数据是以什么时间粒度为周期。
第三步：最后为了根据各环节字段得到质量指标，将如图6所示的业务交互质量详表中的数据，按照自然时间的归属填充到最近的话统统计周期内，比如2018042618:00:09的业务数据，需要和2018042618:05:00的话统放在一起，拼接为一条话单，完成对《拼接模板5业务质量数据+无线话统(15分钟).xlsx》或者《拼接模板5业务质量数据+无线话统(1小时)).xlsx》模板中物联网业务体验标签的填充，注意拼接模板中时延字段是必填项，对于失败的业务流程，时延可以按照较大值填充，比如15秒。
注意：最后一定要检查拼接完的数据中不要有非法字符，例如为空或者直接非法字符nil/#ref！之类记得删除，否则在后面的工程运行阶段就会因为输入数据非法而报错。
以上三步，便完成了业务质量数据和无线话统数据包的拼接工作。
3)将数据导入工程分析的指定路径下
a、核心网工程数据路径
分析业务质量数据和核心网话统数据包间的关联关系时，将拼接好的业务质量数据+核心网话统数据包统一放到如图9a的文件夹路径下，其中，文件格式可以为excel的.xlsx文件，当只有一个行业数据时，把行业数据放入文件夹路径：d:\seer\data\raw\relation\corenetwork_data\1中。当一个行业数据数据量较小，需要联合两个行业数据一起分析时，行业2的数据放入如图9a的文件夹路径d:\seer\data\raw\relation\corenetwork_data\2中。将核心网话统数据包数据放入对应的文件路径下时，当运行程序时可以读取该路径下的数据，以使预先设计的程序根据该路径下的数据进行后续的操作。
b、无线工程数据路径
分析业务质量数据和无线话统数据包间的关联关系时，将拼接好的业务质量数据+无线话统数据包统一放到如图9b的文件夹路径下，其中文件格式为excel的.xlsx文件。当只有一个行业数据时，把行业数据放入文件夹路径：d:\seer\data\raw\relation\enodeb_data\1中。当一个行业数据数据量较小，需要联合两个行业数据一起分析时，行业2的数据放入如图9b的文件夹路径d:\seer\data\raw\relation\enodeb_data\2中，将无线话统数据包数据放入对应的文件路径下时，当运行程序时可以读取该路径下的数据，以使预先设计的程序根据该路径下的数据进行后续的操作。
说明：当d:\seer\data\raw\relation\corenetwork_data\1，d:\seer\data\raw\relation\corenetwork_data\2，d:\seer\data\raw\relation\enodeb_data\1，d:\seer\data\raw\relation\enodeb_data\2中分别已经存在数据时，可以直接进行下面的工程运行进行数据分析。
4)运行工程进行数据分析
完成上面的数据获取及拼接，并将拼接数据文件置于规定路径后，就可以开始运行工程，进行数据分析。
a、快速运行无线工程
在进入工程空间的基础上在python的运行环境中输入并执行如图10中第一行a中的pythonenodeb_model_interpretation.py命令，运行无线指标与业务指标间的分析任务；整个工程运行会持续很长一段时间，可以为分钟或小时或天级别，这取决于数据量的多少，在没有报错的情况下耐心等待，例如error之类，最后将分析在d:\seer\result\enodeb下会生成相应的分析结果，包括3个csv文件，20张png图片。
b、快速运行核心网工程
在进入工程空间的基础上执行如图10中第二行b中所示的pythoncorenet_model_interpretation.py命令，运行核心网指标与业务指标间的分析任务；整个工程运行会持续很长一段时间，可以为分钟或小时或天级别，这取决于数据量的多少，在没有报错的情况下耐心等待，例如error之类，最后在d:\seer\result\corenetwork下会生成相应的分析结果，包括3个csv文件，10张png图片。
c、提取工程结果中关键分析结论，即指标自身重要性维度分析
核心网
如图11a所示的d:\seer\result\corenetwork\corenet_feature_importance.csv文件中是核心网指标自身重要性维度结果：
图11a中字段说明：第一列catboostfeatureimportances是catboost算法对于各个特征字段的指标重要性权重打分取值；第二列lightgbmfeatureimportances是lightgbm算法对于各个特征字段的指标重要性权重打分取值；第三列randomforestfeatureimportances是randomforest算法对于各个特征字段的指标重要性权重打分取值；第四列xgboostfeatureimportances是xgboost算法对于各个特征字段的指标重要性权重打分取值；第五列features是各个指标特征字段的名称；第六列mean是综合四种算法的输出后给出的每个指标特征字段的指标重要性综合打分取值结果。
无线
如图11b所示的d:\seer\result\enodeb\enodeb_feature_importance.csv文件中是无线指标自身重要性维度结果，其中图11b中字段说明：第一列catboostfeatureimportances是catboost算法对于各个特征字段的指标重要性权重打分取值；第二列lightgbmfeatureimportances是lightgbm算法对于各个特征字段的指标重要性权重打分取值；第三列randomforestfeatureimportances是randomforest算法对于各个特征字段的指标重要性权重打分取值；第四列xgboostfeatureimportances是xgboost算法对于各个特征字段的指标重要性权重打分取值；第五列features是各个指标特征字段的名称；第六列mean是综合四种算法的输出后给出的每个指标特征字段的指标重要性综合打分取值结果。
d、指标组队贡献性维度分析
核心网
如图12a所示的d:\seer\result\corenetwork\corenet_shapley_value.csv文件中是核心网指标组队贡献维度结果：
图12a中字段说明：第一列features是各个指标特征字段的名称；第二列xgb_shap_mean是xgboost算法对于各个特征字段的指标组队贡献性权重打分取值；第三列cat_shap_mean是catboost算法对于各个特征字段的指标组队贡献性权重打分取值；第四列lgm_shap_mean是lightgbm算法对于各个特征字段的指标组队贡献性权重打分取值；第五列rf_shap_mean是randomforest算法对于各个特征字段的指标组队贡献性权重打分取值；第六列shap_mean是综合四种算法的输出后给出的每个指标特征字段的指标组队贡献性综合打分取值结果。
无线
如图12b中所示的d:\seer\result\enodeb\enodeb_shapley_value.csv文件中是无线指标组队贡献性维度结果：
图12b中字段说明：第一列features是各个指标特征字段的名称；第二列xgb_shap_mean是xgboost算法对于各个特征字段的指标组队贡献性权重打分取值；第三列cat_shap_mean是catboost算法对于各个特征字段的指标组队贡献性权重打分取值；第四列lgm_shap_mean是lightgbm算法对于各个特征字段的指标组队贡献性权重打分取值；第五列rf_shap_mean是randomforest算法对于各个特征字段的指标组队贡献性权重打分取值；第六列shap_mean是综合四种算法的输出后给出的每个指标特征字段的指标组队贡献性综合打分取值结果。
e、指标自身重要性+组队贡献性双维度分析
为了提升指标关联分析的严谨性，从指标自身重要性+组队贡献性双维度给出分析。
核心网
d:\seer\result\corenetwork\corenet_comprehensive_score.csv文件中是核心网指标自身重要性(importancevalue)+指标组队贡献两个维度(shapleyvalue)综合结果，如图13a所示，其中，图中第一列features是各个指标特征字段的名称；第二列xgb_shap_mean是xgboost算法对于各个特征字段的指标组队贡献性权重打分取值；第三列cat_shap_mean是catboost算法对于各个特征字段的指标组队贡献性权重打分取值；第四列lgm_shap_mean是lightgbm算法对于各个特征字段的指标组队贡献性权重打分取值；第五列rf_shap_mean是randomforest算法对于各个特征字段的指标组队贡献性权重打分取值；第六列shap_mean是综合四种算法的输出后给出的每个指标特征字段的指标组队贡献性综合打分取值结果；第七列catboostfeatureimportances是catboost算法对于各个特征字段的指标重要性权重打分取值；第八列lightgbmfeatureimportances是lightgbm算法对于各个特征字段的指标重要性权重打分取值；第九列randomforestfeatureimportances是randomforest算法对于各个特征字段的指标重要性权重打分取值；第十列xgboostfeatureimportances是xgboost算法对于各个特征字段的指标重要性权重打分取值；第十一列mean是综合四种算法的输出后给出的每个指标特征字段的指标重要性综合打分取值结果，第十二列combine_mean字段是集合了指标自身重要性+组队贡献性双维度八个分量算法下的综合均值结果，其中，八个分量算法分别指图13a中的额第二列对应的算法、第三列对应的算法、第四列对应的算法、第五列对应的算法、第七列对应的算法、第八列对应的算法、第九列对应的算法以及第十列对应的算法。
无线
d:\seer\result\enodeb\enodeb_comprehensive_score.csv文件中是无线指标自身重要性(importancevalue)+指标组队贡献两个维度(shapleyvalue)综合结果如图13b所示，其中第一列features是各个指标特征字段的名称；第二列xgb_shap_mean是xgboost算法对于各个特征字段的指标组队贡献性权重打分取值；第三列cat_shap_mean是catboost算法对于各个特征字段的指标组队贡献性权重打分取值；第四列lgm_shap_mean是lightgbm算法对于各个特征字段的指标组队贡献性权重打分取值；第五列rf_shap_mean是randomforest算法对于各个特征字段的指标组队贡献性权重打分取值；第六列shap_mean是综合四种算法的输出后给出的每个指标特征字段的指标组队贡献性综合打分取值结果；第七列catboostfeatureimportances是catboost算法对于各个特征字段的指标重要性权重打分取值；第八列lightgbmfeatureimportances是lightgbm算法对于各个特征字段的指标重要性权重打分取值；第九列randomforestfeatureimportances是randomforest算法对于各个特征字段的指标重要性权重打分取值；第十列xgboostfeatureimportances是xgboost算法对于各个特征字段的指标重要性权重打分取值；第十一列mean是综合四种算法的输出后给出的每个指标特征字段的指标重要性综合打分取值结果，第十二列combine_mean字段是集合了指标自身重要性+组队贡献性两个维度八个分量算法下的综合均值结果，其中，八个分量算法分别指图13b中的额第二列对应的算法、第三列对应的算法、第四列对应的算法、第五列对应的算法、第七列对应的算法、第八列对应的算法、第九列对应的算法以及第十列对应的算法。
f、关键指标门限值
核心网指标的门限值输出结果可以参照核心网关联分析工程训练输出到d:\seer\result\corenetwork下的11张png图片，其中每张x.pdp_xxx_focus.png代表了一个指标的阈值曲线。
1)如图14a所示的图片1.pdp_corenet_authenticationsuccessrate_focus.png是鉴权成功率指标的阈值曲线，其中，横轴是指鉴权成功率指标的值，纵轴是指造成业务质量变差的风险，具体的，业务质量为时延，正值代表时延风险变大，负值代表时延风险变小。从曲线走势上看拐点91％是最佳选择。
2)如图14b图片2.pdp_corenet_attachmentsuccessrate_focus.png是附着成功率指标的阈值曲线，其中，横轴是指附着成功率指标的值，纵轴是指造成业务质量变差的风险，具体的，业务质量为时延，正值代表时延风险变大，负值代表时延风险变小。从曲线走势上看拐点84％是最佳选择。
3)如图14c图片是寻呼成功率指标的阈值曲线，其中，横轴是指寻呼成功率指标的值，纵轴是指造成业务质量变差的风险，具体的，业务质量为时延，正值代表时延风险变大，负值代表时延风险变小。从曲线走势上看拐点76％是最佳选择。
4)如图14d图片4.pdp_corenet_beareractivationsuccessrate_focus.png是缺省承载激活请求成功率指标的阈值曲线，其中，横轴是指缺省承载激活请求成功率指标的值，纵轴是指造成业务质量变差的风险，具体的，业务质量为时延，正值代表时延风险变大，负值代表时延风险变小。从曲线走势上看拐点83％是最佳选择。
5)如图14e图片6.pdp_corenet_detachsuccessrate_focus.png是detach成功率指标的阈值曲线，其中，横轴是指detach成功率指标的值，纵轴是指造成业务质量变差的风险，具体的，业务质量为时延，正值代表时延风险变大，负值代表时延风险变小。从曲线走势上看拐点98％是最佳选择。
6)如图14f图片5.pdp_corenet_normaltausuccessrate_focus.png是normaltau成功率指标的阈值曲线，其中，横轴是指normaltau成功率指标的值，纵轴是指造成业务质量变差的风险，具体的，业务质量为时延，正值代表时延风险变大，负值代表时延风险变小。由于样本量较少，从曲线走势上无法看出阈值。
其余指标项同normaltau成功率指标的阈值曲线。由于指标样本量过少，从曲线走势上无法给出阈值。这里就不再描述，可直接从其他指标曲线上看到这个现象。
无线
无线指标阈值其输出结果可以参照无线工程关联分析训练输出到d:\seer\result\enodeb下的20张png图片，其中x.pdp_xxx.png是指标阈值曲线总体趋势输出)，x.pdp_xxx_focus.png是指标阈值曲线局部放大图。
两份输出图形的区别在于横坐标比例尺的区别，x.pdp_xxx.png的横坐标细分粒度粗，更容易做曲线总体趋势的分析，即从中找到合适的阈值拐点这个点，但因为其图形粒度粗，有些阈值拐点的具体取值数据需要结合横坐标细分粒度更细的x.pdp_xxx_focus.png来确定。
1)如图15a所示的图片1.pdp_enodeb_averagenumberofdownlinksubcarrieroccupancy.png是下行使用15khz子载波资源的平均个数指标的阈值曲线，其中，横轴是指下行使用15khz子载波资源的平均个数指标的值，纵轴是指造成业务质量变差的风险，具体的，业务质量为时延，正值代表时延风险变大，负值代表时延风险变小。
当总体趋势图上不是很容易看清楚具体取值时，可以参照如图15b所示的局部放大图1.pdp_enodeb_averagenumberofdownlinksubcarrieroccupancy_focus.png找到这个拐点，并读取拐点取值4099。
2)如图15c所示的图片2.pdp_enodeb_npdschaveragemcs.png是npdsch平均mcs指标的阈值曲线，其中，横轴是指npdsch平均mcs指标的值，纵轴是指造成业务质量变差的风险，具体的，业务质量为时延，正值代表时延风险变大，负值代表时延风险变小。
当总体趋势图上不是很容易看清楚具体取值时，可以参照局部放大图如图15d所示的2.pdp_enodeb_npdschaveragemcs_focus.png找到这个拐点，并读取拐点取值是9.73。
3)如图15e所示的图片3.pdp_enodeb_averagenumberof15khzuplink.png是上行使用15khz子载波资源的平均个数指标的阈值曲线，其中，横轴是指上行使用15khz子载波资源的平均个数指标的值，纵轴是指造成业务质量变差的风险，具体的，业务质量为时延，正值代表时延风险变大，负值代表时延风险变小。
当总体趋势图上不是很容易看清楚具体取值时，可以参照如图15f所示的局部放大图3.pdp_enodeb_averagenumberof15khzuplink_focus.png找到这个拐点，并读取拐点取值是69.44。
4)如图15g所示的图片4.pdp_enodeb_npuschaveragemcs.png是npusch平均mcs指标的阈值曲线，其中，横轴是指npusch平均mcs指标的值，纵轴是指造成业务质量变差的风险，具体的，业务质量为时延，正值代表时延风险变大，负值代表时延风险变小。
当总体趋势图上不是很容易看清楚具体取值时，可以参照如图15h所示的局部放大图4.pdp_enodeb_npuschaveragemcs_focus.png找到这个拐点，并读取拐点取值8.11。
5)如图15i所示的图片5.pdp_enodeb_celldlibler.png是小区dlibler平均mcs指标的阈值曲线，其中，横轴是指小区dlibler平均mcs指标的值，纵轴是指造成业务质量变差的风险，具体的，业务质量为时延，正值代表时延风险变大，负值代表时延风险变小。
当总体趋势图上不是很容易看清楚具体取值时，可以参照如图15j所示的局部放大图5.pdp_enodeb_celldlibler_focus.png找到这个拐点，并读取拐点取值0.05。
6)如图15k所示的图片6.pdp_enodeb_deteceduplinkinterferencenoise.png是上行干扰噪声的平均值指标的阈值曲线，其中，横轴是指上行干扰噪声的平均值指标的值，纵轴是指造成业务质量变差的风险，具体的，业务质量为时延，正值代表时延风险变大，负值代表时延风险变小。
当总体趋势图上不是很容易看清楚具体取值时，可以参照如图15l所示的局部放大图6.pdp_enodeb_deteceduplinkinterferencenoise_focus.png找到这个拐点，并读取拐点取值是-123。
7)如图15m所示的图片7.pdp_enodeb_randomaccesssuccessrate.png是竞争随机接入过程的成功率指标的阈值曲线，其中，横轴是指竞争随机接入过程的成功率指标的值，纵轴是指造成业务质量变差的风险，具体的，业务质量为时延，正值代表时延风险变大，负值代表时延风险变小。
当总体趋势图上不是很容易看清楚具体取值时，可以参照如图15n所示的局部放大图7.pdp_enodeb_randomaccesssuccessrate_focus.png找到这个拐点，并读取拐点取值是74％。
8)如图15o所示的图片8.pdp_enodeb_averagenumberof3.75khzuplink.png是上行使用3.75khz子载波资源的平均个数指标的阈值曲线，其中，横轴是指上行使用3.75khz子载波资源的平均个数指标的值，纵轴是指造成业务质量变差的风险，具体的，业务质量为时延，正值代表时延风险变大，负值代表时延风险变小。
当总体趋势图上不是很容易看清楚具体取值时，可以参照如图15p所示的局部放大图8.pdp_enodeb_averagenumberof3.75khzuplink_focus.png找到这个拐点，并读取拐点取值是4442.47。
9)如图15q所示的图片9.pdp_enodeb_cellulibler.png是ulibler指标的阈值曲线，其中，横轴是指ulibler指标的值，纵轴是指造成业务质量变差的风险，具体的，业务质量为时延，正值代表时延风险变大，负值代表时延风险变小。
当总体趋势图上不是很容易看清楚具体取值时，可以参照如图15r所示的局部放大图9.pdp_enodeb_cellulibler_focus.png找到这个拐点，并读取拐点取值是0.02。
10)如图15s所示的图片10.pdp_enodeb_rrcconnectionestablishmentsuccessrate.png是rrc连接建立成功率指标的阈值曲线，其中，横轴是指rrc连接建立成功率指标的值，纵轴是指造成业务质量变差的风险，具体的，业务质量为时延，正值代表时延风险变大，负值代表时延风险变小。
当总体趋势图上不是很容易看清楚具体取值时，可以参照如图15t所示的局部放大图10.pdp_enodeb_rrcconnectionestablishmentsuccessrate_focus.png找到这个拐点，并读取拐点取值是94％。
经验建议：曲线可能不能在整体范围内找到最佳的拐点，则也可以选择局部范围内的拐点作为阈值。
实施例4：
在上述各实施例的基础上，在本发明实施例中，还提供了一种物联网业务指标预警装置，图16为本发明实施例提供的一种物联网业务指标预警装置的结构示意图，该装置包括：
获取模块1601，用于获取设定时间段内承载第一物联网设备和物联网监控平台间进行业务数据交互的网络侧设备中的话统数据包；
第一确定模块1602，用于根据所述话统数据包，确定预设质量指标的值，其中，所述预设质量指标包括成功率指标，平均个数指标，平均mcs指标；
第二确定模块1603，用于根据所述预设质量指标的值，及保存的所述预设质量指标对应的门限值，确定所述第一物联网设备在所述设定时间段内进行的业务是否正常。
进一步地，所述第二确定模块1603，具体用于如果预设质量指标包括至少两个，判断每个预设质量指标的值是否均高于对应的门限值，如果是，则确定所述第一物联网设备在所述设定时间段内进行的业务正常，如果否，则确定所述第一物联网设备在所述设定时间段内进行的业务不正常。
进一步地，所述第二确定模块1603，还用于获取每个样本话统数据包，其中，每个样本话统数据包为设定时间长度内承载第二物联网设备和物联网监控平台间进行业务数据交互的网络侧设备中的样本话统数据包，每个样本话统数据包中携带该样本话统数据包对应的业务是否正常的标签信息；
确定每个样本话统数据包对应的预设质量指标的值，其中，所述预设质量指标包括成功率指标，平均个数指标，平均mcs指标；
将每个预设质量指标的值及对应的样本话统数据包的标签信息输入到物联网业务指标识别模型中，对该物联网业务指标识别模型进行训练，并获取预设质量指标的门限值，其中，所述成功率指标包括以下至少一种：鉴权成功率指标的值，附着成功率指标的值，寻呼成功率指标的值，缺省承载激活请求成功率指标的值，detach成功率指标的值，normaltau成功率指标的值，rrc连接建立成功率指标的值，竞争随机接入过程的成功率指标的值；
所述平均个数指标包括以下至少一种：下行使用15khz子载波资源的平均个数指标的值，上行使用15khz子载波资源的平均个数指标的值，上行使用3.75khz子载波资源的平均个数指标的值，上行干扰噪声的平均值指标的值；
所述平均mcs指标的值包括以下至少一种：npdsch平均mcs指标的值，npusch平均mcs指标的值，小区dlibler平均mcs指标的值，ulibler指标的值。
进一步地，所述第二确定模块1603，还用于根据每个样本话统数据包，确定每个待选择的质量指标，及每个待选择的质量指标的值；
针对每个待选择的质量指标及对应的值，采用预设的特征选择算法，确定所述预设质量指标。
实施例5：
在上述各实施例的基础上，本发明实施例还提供了一种电子设备1700，如图17所示，包括存储器1701和处理器1702；
所述处理器1702，用于读取所述存储器1701中的程序，执行下列过程：
获取设定时间段内承载第一物联网设备和物联网监控平台间进行业务数据交互的网络侧设备中的话统数据包；
根据所述话统数据包，确定预设质量指标的值，其中，所述预设质量指标包括成功率指标，平均个数指标，平均mcs指标；
根据所述预设质量指标的值，及保存的所述预设质量指标对应的门限值，确定所述第一物联网设备在所述设定时间段内进行的业务是否正常。
在图17中，总线架构可以包括任意数量的互联的总线和桥，具体由处理器1702代表的一个或多个处理器和存储器1701代表的存储器的各种电路链接在一起。总线架构还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。
可选的，处理器1702可以是cpu(中央处埋器)、asic(applicationspecificintegratedcircuit，专用集成电路)、fpga(field－programmablegatearray，现场可编程门阵列)或cpld(complexprogrammablelogicdevice，复杂可编程逻辑器件)。
所述处理器，具体用于如果预设质量指标包括至少两个，判断每个预设质量指标的值是否均高于对应的门限值，如果是，则确定所述第一物联网设备在所述设定时间段内进行的业务正常，如果否，则确定所述第一物联网设备在所述设定时间段内进行的业务不正常。
所述处理器，还用于获取每个样本话统数据包，其中，每个样本话统数据包为设定时间长度内承载第二物联网设备和物联网监控平台间进行业务数据交互的网络侧设备中的样本话统数据包，每个样本话统数据包中携带该样本话统数据包对应的业务是否正常的标签信息；
确定每个样本话统数据包对应的预设质量指标的值，其中，所述预设质量指标包括成功率指标，平均个数指标，平均mcs指标；
将每个预设质量指标的值及对应的样本话统数据包的标签信息输入到物联网业务指标识别模型中，对该物联网业务指标识别模型进行训练，并获取预设质量指标的门限值，其中，所述成功率指标包括以下至少一种：鉴权成功率指标的值，附着成功率指标的值，寻呼成功率指标的值，缺省承载激活请求成功率指标的值，detach成功率指标的值，normaltau成功率指标的值，rrc连接建立成功率指标的值，竞争随机接入过程的成功率指标的值；
所述平均个数指标包括以下至少一种：下行使用171khz子载波资源的平均个数指标的值，上行使用171khz子载波资源的平均个数指标的值，上行使用3.717khz子载波资源的平均个数指标的值，上行干扰噪声的平均值指标的值；
所述平均mcs指标的值包括以下至少一种：npdsch平均mcs指标的值，npusch平均mcs指标的值，小区dlibler平均mcs指标的值，ulibler指标的值。
所述处理器，还用于根据每个样本话统数据包，确定每个待选择的质量指标，及每个待选择的质量指标的值；
针对每个待选择的质量指标及对应的值，采用预设的特征选择算法，确定所述预设质量指标。
实施例6：
在上述各实施例的基础上，本发明实施例还提供了一种电子设备1800，如图18所示，包括：处理器1801、通信接口1802、存储器1803和通信总线1804，其中，处理器1801，通信接口1802，存储器1803通过通信总线1804完成相互间的通信；
所述存储器1803中存储有计算机程序，当所述程序被所述处理器1801执行时，使得所述处理器1801执行如下步骤：
获取设定时间段内承载第一物联网设备和物联网监控平台间进行业务数据交互的网络侧设备中的话统数据包；
根据所述话统数据包，确定预设质量指标的值，其中，所述预设质量指标包括成功率指标，平均个数指标，平均mcs指标；
根据所述预设质量指标的值，及保存的所述预设质量指标对应的门限值，确定所述第一物联网设备在所述设定时间段内进行的业务是否正常。
进一步地，处理器1801如果预设质量指标包括至少两个，判断每个预设质量指标的值是否均高于对应的门限值，如果是，则确定所述第一物联网设备在所述设定时间段内进行的业务正常，如果否，则确定所述第一物联网设备在所述设定时间段内进行的业务不正常。
进一步地，处理器1801获取每个样本话统数据包，其中，每个样本话统数据包为设定时间长度内承载第二物联网设备和物联网监控平台间进行业务数据交互的网络侧设备中的样本话统数据包，每个样本话统数据包中携带该样本话统数据包对应的业务是否正常的标签信息；
确定每个样本话统数据包对应的预设质量指标的值，其中，所述预设质量指标包括成功率指标，平均个数指标，平均mcs指标；
将每个预设质量指标的值及对应的样本话统数据包的标签信息输入到物联网业务指标识别模型中，对该物联网业务指标识别模型进行训练，并获取预设质量指标的门限值。
进一步地，处理器1801根据每个样本话统数据包，确定每个待选择的质量指标，及每个待选择的质量指标的值；
针对每个待选择的质量指标及对应的值，采用预设的特征选择算法，确定所述预设质量指标。
进一步地，处理器1801所述成功率指标包括以下至少一种：鉴权成功率指标的值，附着成功率指标的值，寻呼成功率指标的值，缺省承载激活请求成功率指标的值，detach成功率指标的值，normaltau成功率指标的值，rrc连接建立成功率指标的值，竞争随机接入过程的成功率指标的值；
所述平均个数指标包括以下至少一种：下行使用15khz子载波资源的平均个数指标的值，上行使用15khz子载波资源的平均个数指标的值，上行使用3.75khz子载波资源的平均个数指标的值，上行干扰噪声的平均值指标的值；
所述平均mcs指标的值包括以下至少一种：npdsch平均mcs指标的值，npusch平均mcs指标的值，小区dlibler平均mcs指标的值，ulibler指标的值。
上述电子设备提到的通信总线可以是外设部件互连标准(peripheralcomponentinterconnect，pci)总线或扩展工业标准结构(extendedindustrystandardarchitecture，eisa)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口1802用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(randomaccessmemory，ram)，也可以包括非易失性存储器(non-volatilememory，nvm)，例如至少一个磁盘存储器。可选地，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述处理器可以是通用处理器，包括中央处理器、网络处理器(networkprocessor，np)等；还可以是数字指令处理器(digitalsignalprocessing，dsp)、专用集成电路、现场可编程门陈列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
实施例7：
在上述各实施例的基础上，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有可由电子设备执行的计算机程序，当所述程序在所述电子设备上运行时，使得所述电子设备执行时实现如下步骤：
获取设定时间段内承载第一物联网设备和物联网监控平台间进行业务数据交互的网络侧设备中的话统数据包；
根据所述话统数据包，确定预设质量指标的值，其中，所述预设质量指标包括成功率指标，平均个数指标，平均mcs指标；
根据所述预设质量指标的值，及保存的所述预设质量指标对应的门限值，确定所述第一物联网设备在所述设定时间段内进行的业务是否正常。
进一步地，处理器如果预设质量指标包括至少两个，判断每个预设质量指标的值是否均高于对应的门限值，如果是，则确定所述第一物联网设备在所述设定时间段内进行的业务正常，如果否，则确定所述第一物联网设备在所述设定时间段内进行的业务不正常。
进一步地，处理器获取每个样本话统数据包，其中，每个样本话统数据包为设定时间长度内承载第二物联网设备和物联网监控平台间进行业务数据交互的网络侧设备中的样本话统数据包，每个样本话统数据包中携带该样本话统数据包对应的业务是否正常的标签信息；
确定每个样本话统数据包对应的预设质量指标的值，其中，所述预设质量指标包括成功率指标，平均个数指标，平均mcs指标；
将每个预设质量指标的值及对应的样本话统数据包的标签信息输入到物联网业务指标识别模型中，对该物联网业务指标识别模型进行训练，并获取预设质量指标的门限值。
进一步地，处理器根据每个样本话统数据包，确定每个待选择的质量指标，及每个待选择的质量指标的值；
针对每个待选择的质量指标及对应的值，采用预设的特征选择算法，确定所述预设质量指标。
进一步地，处理器所述成功率指标包括以下至少一种：鉴权成功率指标的值，附着成功率指标的值，寻呼成功率指标的值，缺省承载激活请求成功率指标的值，detach成功率指标的值，normaltau成功率指标的值，rrc连接建立成功率指标的值，竞争随机接入过程的成功率指标的值；
所述平均个数指标包括以下至少一种：下行使用15khz子载波资源的平均个数指标的值，上行使用15khz子载波资源的平均个数指标的值，上行使用3.75khz子载波资源的平均个数指标的值，上行干扰噪声的平均值指标的值；
所述平均mcs指标的值包括以下至少一种：npdsch平均mcs指标的值，npusch平均mcs指标的值，小区dlibler平均mcs指标的值，ulibler指标的值。
上述计算机可读存储介质可以是电子设备中的处理器能够存取的任何可用介质或数据存储设备，包括但不限于磁性存储器如软盘、硬盘、磁带、磁光盘(mo)等、光学存储器如cd、dvd、bd、hvd等、以及半导体存储器如rom、eprom、eeprom、非易失性存储器(nandflash)、固态硬盘(ssd)等。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
- 还没有人留言评论。精彩留言会获得点赞！