具有使用ML模型的主动分析和关联引擎的虚拟网络助理的制作方法

具有使用ml模型的主动分析和关联引擎的虚拟网络助理
1.本技术要求2021年5月24日所提交的美国申请第17/303,222号和2021年4月20日所提交的美国临时专利申请第63/177,253号的权益，这些申请中的每个的全部内容通过引用并入本文。
技术领域
2.本公开大体上涉及计算机网络，并且更具体地，涉及计算机网络和网络系统的基于机器学习的诊断。


背景技术：

3.无线接入网络利用无线接入点(ap)的网络，这些无线接入点是物理电子设备，这些物理电子设备使得其他设备能够使用各种无线联网协议和技术(诸如符合ieee 802.11标准(即“wifi”)、蓝牙/蓝牙低功耗(ble)、网格联网协议(诸如zigbee)中的一个或多个的无线局域联网协议或其他无线联网技术)，来无线地连接到有线网络。许多不同类型的设备(诸如膝上型计算机、智能电话、平板计算机、可穿戴式设备、电器和物联网(iot)设备)并入了无线通信技术，并且可以被配置为在设备处于兼容的无线接入点的范围内时连接到无线接入点，以便接入有线网络。
4.无线接入网络和一般的计算机网络是复杂的系统，这些系统可能经历瞬态和/或永久性问题。一些问题可能导致明显的系统性能下降，而其他问题可能自行解决，而不会显著地影响如用户所感知的系统级性能。一些问题在高负载下可能被预期且接受，并且一旦负载减弱，自我修复机制(诸如重试等)可能使问题消失。


技术实现要素：

5.大体上，本公开描述了使得虚拟网络助理(vna)能够执行主动分析和关联引擎(pace)的技术，该主动分析和关联引擎被配置为动态地构建和应用无监督的基于机器学习(“基于ml”)的模型以用于减少或最小化在网络诊断上所花费的资源。如本文中所描述，技术使得主动分析和关联引擎能够将无监督的基于ml的模型应用于收集到的网络事件数据，以确定网络事件数据是否表示可以自我校正的预期瞬态的网络误差或需要被虚拟网络助理进一步分析的异常行为，以便支持对网络系统中的底层故障的解决。
6.此外，这些技术通过利用被划分为时间序列子组的滑动窗口的实时网络数据以用于动态计算针对在定义的时间段内的各种类型的网络事件的预期范围(最小/最大预期发生)来实现对无监督的基于ml的网络模型的自适应闭环调谐。由vna应用的基于ml的模型被训练，以基于作为训练数据的实际网络事件数据预测针对网络事件的发生级别，该实际网络事件数据使用针对不同类型的网络事件的动态地确定的预期范围被增强。网络管理系统(nms)的pace将(多个)基于ml的模型应用于从网络系统所接收到的网络事件数据(不包括最近观察时间帧)，且操作以预测针对各种类型的网络事件的被预期在当前观察时间帧期间被看见的发生级别以及针对每种类型网络事件的估计(预测)最小和最大阈值，即针对每
种类型的网络事件的发生次数的预测容限范围。在确定当前观察期内对网络事件数据的真实观察偏离超出了由该时期内由模型估计(预测)的最小和/或最大阈值设置的范围后，主动分析和关联引擎将那些网络事件标记为指示异常行为，从而触发更详细的根本原因分析。
7.本公开的技术提供了一个或多个技术优点和实际应用。例如，技术实现自动化虚拟网络助理，这些自动化虚拟网络助理可以确定哪些网络问题应该被分析和哪些问题应该被视为瞬态问题，这些瞬态问题可以被自行解决且因此无需花费附加的计算资源而被忽略。
8.为确保复杂的计算机网络满足其用户群体的需求，网络管理者寻求快速解决系统操作期间可能出现的任何问题。另一方面，分析网络且试图找出每一个问题的根本原因会导致计算资源的浪费，这是因为系统会在网络分析器的结果变得可用之前或紧接之后例如通过重试机制过度分析已经被整流的问题的根本原因。
9.进一步地，为了实现某些技术效率，技术实现基于无监督的基于ml的模型的自动化虚拟网络助理，从而减少和/或消除将每个消息流和统计加标签为表示“良好/正常”消息流或“坏的/失败”消息流的耗时工作。
10.在一个示例中，本公开涉及一种方法，其包括：接收指示网络的操作行为的网络事件数据，其中网络事件数据定义一种或多种事件类型的一系列网络事件；针对每种事件类型且基于网络事件数据动态地确定对应最小(min)和最大(max)阈值，这些阈值定义针对网络事件的预期发生范围。方法还包括：基于网络事件数据和针对每种事件类型的动态地确定的最小阈值和最大阈值构建无监督机器学习模型，而不需要对网络事件数据的网络事件中的每个网络事件进行标记；以及在构建无监督机器学习模型之后，使用该机器学习模型处理附加网络事件数据，以针对事件类型中的每种事件类型确定网络事件的预测发生计数。方法还包括基于预测发生计数和针对每种事件类型的动态地确定的最小阈值和最大阈值将网络事件中的一个或多个网络事件标识为指示异常网络行为。
11.在另一示例中，本公开涉及一种管理无线网络中的一个或多个接入点(ap)设备的网络管理系统(nms)。nms包括存储器，该存储器存储从ap设备接收到的网络事件数据，其中该网络事件数据指示无线网络的操作行为，并且其中网络事件数据定义随时间变化的一种或多种事件类型的一系列网络事件。nms被配置为将无监督机器学习模型应用于网络事件数据，以针对观察时间段中的最近一个观察时间段确定以下各项：(i)针对事件类型中的每种事件类型的网络事件的预测发生计数，以及(ii)针对每种事件类型的估计最小(min)阈值和估计最大(max)阈值，其中min阈值和max阈值定义针对对应事件类型的网络事件的预期发生范围；以及基于估计最小阈值和估计最大阈值以及针对观察时间段中的最近一个观察时间段的实际网络事件数据，将网络事件中的一个或多个网络事件标识为指示异常网络行为。
附图说明
12.图1是示例网络系统的框图，其中虚拟网络助理(vna)执行主动分析和关联引擎(pace)，该主动分析和关联引擎被配置为动态地构建和应用无监督的基于ml的模型以供网络诊断。
13.图2是根据本公开的一种或多种技术的示例接入点设备的框图。
14.图3是根据本公开的一种或多种技术的具有被配置为执行pace的vna的示例网络管理系统的框图，该pace被配置为动态地构建和应用无监督的基于ml的模型以供网络诊断。
15.图4是根据本公开的一种或多种技术的示例网络节点(诸如路由器或交换机)的框图。
16.图5是根据本公开的一种或多种技术的示例用户装备设备的框图。
17.图6图示了示例网络事件表。
18.图7图示了被用于测量与每个网络事件计数器相关联的可变性的时间窗。
19.图8图示了用于估计网络事件计数器的预期可变性和边界的过程的流程图。
20.图9图示了包括动态边界的vpe计数器的值的时间序列。
21.图10图示了包括动态边界的确定的vpe计数器的值的时间序列。
22.图11示出了示出系统的行为模型的训练的示例图。
23.图12a和图12b是图示vpe误差的函数的图
24.图13示出了预测误差的直方图的示例。
25.图14图示了用于构建网络事件行为模型的流程图，包括确保模型排除异常行为。
26.图15图示了当vpe预测误差超过动态边界段时所触发的过程的流程图。
具体实施方式
27.如本文中所描述，商业场所(诸如办公室、医院、机场、体育场或零售店)通常在整个房屋内安装复杂的无线网络系统，包括无线接入点(ap)的网络，以向站点处的一个或多个客户端设备(或简称为“客户端”)提供无线网络服务。客户端可能包括例如智能电话或其他移动设备、物联网(iot)设备等。当移动客户端在整个房屋内移动时，这些移动客户端可能自动从一个无线接入点切换到另一范围内的无线接入点，以便为用户提供整个房屋内的无缝网络连接性。附加地，如果特定无线接入点提供不良的覆盖范围，客户端设备可能自动尝试连接到具有更好覆盖范围的不同无线接入点。
28.在许多示例中，无线网络服务提供者实施系统来监测和收集一个或多个网络性能度量，以监测网络行为且测量站点处的无线网络的性能。例如，服务水平期望(sle)度量可以被用于测量无线网络性能的各个方面。sle度量寻求从网络上的最终用户体验的视角来测量和理解网络性能。一个示例sle度量是覆盖范围度量，其追踪由客户端被连接的接入点所测量的客户端的接收信号强度指示器(rssi)低于可配置阈值的用户分钟数。另一示例sle度量是漫游度量，其追踪客户端的在规定阈值内的两个接入点之间的成功漫游百分比。其他示例sle度量可以包括连接时间、吞吐量、成功连接、容量、ap正常运行时间和/或可以指示无线网络性能的一个或多个方面的任何其他度量。阈值可以由无线服务提供者定制和配置，以定义站点处的服务水平期望。
29.根据本文中所描述的一种或多种技术，虚拟网络助理(vna)执行主动分析和关联引擎(pace)，该主动分析和关联引擎被配置为动态地构建和应用用于网络诊断的无监督的基于ml的模型，即使用未标记的训练数据所训练的机器学习模型。如本文中所描述，技术使得虚拟网络助理的主动分析和关联引擎能够检测需要被解决的网络问题且支持对网络系
统中所标识的故障的解决。
30.作为一个示例，本公开描述了示例实施例，其中复杂网络系统(例如无线网络系统)的网络管理系统(nms)实现主动分析和关联引擎以确定在网络系统中所检测到的问题是被预期作为系统正常操作的一部分还是非典型的。如果nms确定在观察到的状况下问题是典型的，那么假设问题可以通过自我修复机制(诸如重启或自动重新配置机制)被解决，nms就可以被配置为无视这些问题。然而，如果nms确定问题在观察到的状况下不典型，那么nms可以被配置为自动调用更复杂且计算成本高的网络分析，以确定问题的根本原因且自动执行补救，诸如重新开始或重新配置一个或多个网络部件以恢复令人满意的系统级体验(sle)。
31.在本文中所描述的各种示例中，技术能够基于由nms针对网络所收集到的网络事件数据构建无监督ml模型。例如，根据本文中所描述的技术，nms可以基于从历史上观察到的消息和/或针对网络的统计中所提取的网络事件，自动生成和重新训练针对主动分析和关联引擎的无监督ml模型。然后，nms的主动分析和关联引擎可以将ml模型应用于数据流和/或各种网络事件类型的新收集到的数据(例如统计、消息、sle度量等，本文中被称为“pace”事件数据或事件类型)的日志以检测当前观察到的网络事件数据与传入数据流是否指示系统正常操作或传入的网络事件数据是否指示对应于需要缓解的出故障网络的非典型系统行为事件或趋势。
32.如所描述，当主动分析和关联引擎将ml模型应用于网络事件数据指示需要缓解时，nms可能调用虚拟网络助理(vna)的更复杂的根本原因网络分析部件以标识异常系统行为的根本原因，且如果可能，那么触发自动化或半自动化校正动作。以此方式，主动分析和关联引擎(pace)可以构建和应用基于特定复杂网络的ml模型，其中pace被部署作为用于快速且有效地确定是否对从复杂网络系统内的元素所收集到(例如实时)的网络事件数据的传入流执行进一步资源密集型分析的机制。
33.进一步地，除了标识哪些问题需要注意之外，本文中所描述的一些示例可以被配置为监测在复杂网络系统内所交换的消息以及许多操作计数器和统计。在正常操作期间，不同计数器和统计的值之间的比率可以假定可接受值的特定范围内的值，在本文中被称为{min,max}范围。如下文更详细地描述，本文中所描述的技术的一个技术优点是nms可以被配置为构建无监督ml模型，以使得ml模型自动确定和调整针对表示正常操作的网络事件数据(例如特定统计、计数器、度量等)的可接受值的动态{min,max}范围，从而实现了提高用于确定是否触发对网络事件数据的更深入的根本原因分析的ml模型的准确性和可靠性。
34.图1是示例网络系统100的框图，其中虚拟网络助理(vna)执行主动分析和关联引擎(pace)，该主动分析和关联引擎被配置为基于实时收集到的网络数据动态地构建、应用和重新训练无监督的基于ml的模型以供网络诊断。
35.示例网络系统100包括多个站点102a-102n，网络服务提供者在这些站点处分别管理一个或多个无线网络106a-106n。尽管在图1中，每个站点102a-102n被示出为分别包括单个无线网络106a-106n，在一些示例中，每个站点102a-102n可以包括多个无线网络，并且本公开在这方面不受限制。
36.每个站点102a-102n包括多个接入点(ap)，大体上被称为ap142。例如，站点102a包括多个ap 142a-1到142a-n。类似地，站点102n包括多个ap 142n-1到142n-n。每个ap 142可
以是任何类型的无线接入点，包括但不限于商业或企业ap、路由器或能够提供无线网络接入的任何其他设备。
37.每个站点102a-102n还包括多个客户端设备，以其他方式被称为用户装备设备(ue)，大体上被称为ue 148，从而表示每个站点内的各种无线启用的设备。例如，多个ue 148a-1到148a-n当前被定位于站点102a处。类似地，多个ue 148n-1到148n-n当前被定位于站点102n处。每个ue 148可以是任何类型的无线客户端设备，包括但不限于移动设备(诸如智能电话、平板计算机或膝上型计算机)、个人数字助理(pda)、无线终端、智能手表、智能戒指或其他可穿戴式设备。ue 148还可以包括iot客户端设备，诸如打印机、安全设备、环境传感器或被配置为通过一个或多个无线网络进行通信的任何其他设备。
38.示例网络系统100还包括用于在有线网络内提供联网服务的各种联网部件，作为示例，包括用于认证用户和/或ue 148的认证、授权和记账(aaa)服务器110、用于在认证后向ue 148动态分配网络地址(例如ip地址)的动态主机配置协议(dhcp)服务器116、用于将域名解析为网络地址的域名系统(dns)服务器122、多个服务器128(例如web服务器、数据库服务器、文件服务器等)和网络管理系统(nms)136。如图1中所示出，网络100的各种设备和系统经由一个或多个网络134(例如因特网和/或企业内联网)被耦合在一起。服务器110、116、122和/或128、ap 142、ue 148、nms 136以及被附接到网络系统100或形成网络系统100的一部分的任何其他服务器或设备中的每一个可以包括系统日志或误差日志模块，其中这些设备中的每一个都记录设备的状态，包括正常操作状态和误差状况。
39.在图1的示例中，nms 136是基于云的计算平台，其在站点102a-102n中的一个或多个站点处管理无线网络106a-106n。如本文中进一步描述，nms 136提供管理工具的集成套件且实现本公开的各种技术。
40.根据本文中所描述的技术，nms 136分别监测从每个站点102a-102n处的无线网络106a-106n所接收到的sle度量，并且管理网络资源，诸如每个站点处的ap 142，以向站点处的最终用户、iot设备和客户端提供高质量无线体验。大体上，nms 136可以为网络sle数据获取、监测、活动日志记录、报告、预测分析、网络异常标识和警报生成提供基于云的平台。
41.例如，nms 136可以包括虚拟网络助理(vna)133，该虚拟网络助理实现用于为it操作提供实时洞察和简化的故障排除的事件处理平台，且自动采取校正动作或提供推荐以主动解决无线网络问题。vna133可以例如包括事件处理平台，该事件处理平台被配置为处理来自与ap 142和/或网络134内的节点相关联的传感器和/或代理的成百上千的并发事件流。例如，根据本文中所描述的各种示例，nms 136的vna133可以包括底层分析和网络误差标识引擎和警报系统。vna 133的底层分析引擎可以将历史数据和模型应用于入站事件流以计算断言，诸如标识出的异常或构成网络误差状况的事件的预测发生。进一步地，vna 133可以提供实时警报和报告，以将任何预测事件、异常、趋势通知管理员，并且可以执行根本原因分析和自动化或辅助误差补救。
42.由nms 136的vna 133实现的操作的进一步示例细节在2015年6月30日所提交且标题为“monitoring wireless access point events”的美国申请系列第14/788,489号、2020年3月31日所提交且标题为“network system fault resolution using a machine learning model”的美国申请系列第16/835,757号、2019年2月19日所提交且标题为“systems and methods for a virtual network assistant”的美国申请系列第16/279,
243号、2018年12月31日所提交且标题为“methods and apparatus for facilitating fault detection and/or predictive fault detection”的美国申请系列第16/237,677号、2019年1月18日所提交且标题为“method for spatio-temporal modeling”的美国申请系列第16/251,942号和2019年3月8日所提交且标题为“method for conveying ap error codes over ble advertisements”的美国申请系列第16/296,902号中被描述，所有申请的全部内容通过引用并入本文。
43.在一些示例中，nms 136的vna 133可以应用机器学习技术来标识从事件数据流中所检测到或预测到的误差状况的根本原因。如果根本原因可以自动被解决，那么vna 133调用一个或多个校正动作来校正误差状况的根本原因，从而自动改进底层sle度量并且还自动改进用户体验。由nms 136执行的根本原因分析和自动校正技术的进一步示例细节在2015年6月30日所提交且标题为“monitoring wireless access point events”的美国申请系列第14/788,489号、2020年3月31日所提交且标题为“network system fault resolution using a machine learning model”的美国申请系列第16/835,757号、2019年2月19日所提交且标题为“systems and methods for a virtual network assistant”的美国申请系列第16/279,243号、2018年12月31日所提交且标题为“methods and apparatus for facilitating fault detection and/or predictive fault detection”的美国申请系列第16/237,677号、2019年1月18日所提交且标题为“method for spatio-temporal modeling”的美国申请系列第16/251,942号和2019年3月8日所提交且标题为“method for conveying ap error codes over ble advertisements”的美国申请系列第16/296,902号中被描述，所有申请的全部内容通过引用并入本文。
44.在操作中，nms 136观察、收集和/或接收事件数据139，该事件数据可以采取例如从消息、计数器和统计中所提取的数据的形式。根据一种具体实现，计算设备是网络管理服务器136的一部分。根据其他实现，nms 136可以包括一个或多个计算设备、专用服务器、虚拟机、容器、服务或用于执行本文中所描述的技术的环境的其他形式。类似地，实现vna 133和pace 135的计算资源和部件可以是nms 136的一部分，可以在其他服务器或执行环境上执行，或可以被分布到网络134内的节点(例如路由器、交换机、控制器、网关等)。
45.根据本公开的一种或多种技术，用以对事件数据139动态地构建、训练、应用和重新训练(多个)无监督ml模型137的虚拟网络助理的主动分析和关联引擎(pace)135确定收集到的网络事件数据是否表示需要被vna 133进一步分析以支持根本原因分析和故障解决的异常行为。更具体地，nms的pace 135将(多个)ml模型137应用于从网络系统100所接收到的网络事件数据139，该网络事件数据不包括针对最近观察时间帧的网络事件，并且ml模型137操作以预测预期在当前观察时间帧期间针对各种类型的网络事件中的每种类型的网络事件将被看见的发生水平。附加地，基于网络事件数据139，ml模型137预测当前观察期内针对每种类型的网络事件的估计(预测)最小和最大阈值，即针对该时期内的每种类型的网络事件的发生次数的预测容限范围。在确定当前观察时间段内对网络事件数据139的真实(实际)观察偏离超出了由该时期内由ml模型137预测的最小和/或最大阈值后，vna 133的pace 135将那些网络事件标记为指示异常行为，从而触发vna 133对那些事件执行根本原因分析。
46.本公开的技术提供了一个或多个优点。例如，技术使得自动化虚拟网络助理133能
够准确地确定哪些潜在的网络问题应该进行更深入的根本原因分析和哪些问题应该被视为可以在正常过程中被解决的噪声或瞬态问题并且因此可以被无视。进一步地，为了实现某些技术效率，技术实现基于无监督机器学习(ml)模型的自动化虚拟网络助理，从而减少和/或消除将每个消息流和统计加标签为表示“良好/正常”消息流或“坏的/失败”消息流的耗时工作。此外，技术支持自动重新训练基于ml的模型，以便适应不断变化的网络状况，从而消除误报，这些误报可能以其他方式出现且导致与根本原因分析相关联的资源过度分配。
47.尽管本公开的技术在该示例中被描述为由nms 136执行，但是应当理解，本文中所描述的技术可以由(多个)任何其他计算设备、(多个)系统和/或(多个)服务器执行，并且本公开在这方面不受限制。例如，被配置为执行本公开的技术的功能性的一个或多个计算设备可以驻留在专用服务器中或被包括在除nms 136之外或除了nms 136外的任何其他服务器中，或可以被分布在整个网络100中，并且可能形成或可能不形成nms 136的一部分。
48.在一些示例中，网络节点(例如网络134内的路由器或交换机)或甚至接入点142可以被配置为基于本地收集到的sle度量在本地构建、训练、应用和重新训练(多个)无监督ml模型137，以确定收集到的网络事件数据是否应该被丢弃，或数据是否表示需要被转发给nms 136以供对vna 350进行进一步根本原因分析(图2)以支持故障的标识和解决的异常行为。
49.图2是根据本公开的一种或多种技术所配置的示例接入点(ap)设备200的框图。图2中所示出的示例接入点200可以被用于实现如本文中关于图1所示出和描述的任何ap 142。接入点200可以包括例如wi-fi、蓝牙和/或蓝牙低功耗(ble)基站或任何其他类型的无线接入点。
50.在图2的示例中，接入点200包括经由总线214被耦合在一起的有线接口230、无线接口220a-220b、一个或多个处理器206、存储器212和用户接口210，各种元件可以通过该总线交换数据和信息。有线接口230表示物理网络接口并且包括接收器232和传输器234，以用于发送和接收网络通信，例如分组。有线接口230直接或间接地将接入点200耦合到图1的(多个)网络134。第一无线接口220a和第二无线接口220b表示无线网络接口并且分别包括接收器222a和222b，每个接收器包括接收天线，接入点200可以经由该接收天线接收来自无线通信设备(诸如图1的ue 148)的无线信号。第一无线接口220a和第二无线接口220b还分别包括传输器224a和224b，每个传输器包括传输天线，接入点200可以经由该传输天线将无线信号传输给无线通信设备(诸如图1的ue 148)。在一些示例中，第一无线接口220a可以包括wi-fi 802.11接口(例如2.4ghz和/或5ghz)并且第二无线接口220b可以包括蓝牙接口和/或蓝牙低功耗(ble)接口。
51.(多个)处理器206是基于可编程硬件的处理器，其被配置为执行软件指令，诸如被用于定义软件或计算机程序的软件指令，被存储到计算机可读存储介质(诸如存储器212)，诸如非瞬态计算机可读介质，包括存储设备(例如磁盘驱动器或光驱)或存储器(诸如闪速存储器或ram)或任何其他类型的易失性或非易失性存储器，该计算机可读存储介质存储指令以使一个或多个处理器206执行本文中所描述的技术。
52.存储器212包括一个或多个设备，其被配置为存储与接入点200的操作相关联的编程模块和/或数据。例如，存储器212可以包括计算机可读存储介质，诸如非瞬态计算机可读
介质，包括存储设备(例如磁盘驱动器或光驱)或存储器(诸如闪速存储器或ram)或任何其他类型的易失性或非易失性存储器，该计算机可读存储介质存储指令以使一个或多个处理器206执行本文中所描述的技术。
53.在该示例中，存储器212存储可执行软件，包括应用编程接口(api)240、通信管理器242、配置设置250、设备状态日志252和数据存储装置254。设备状态日志252包括特定于接入点200的事件列表。事件可以包括正常事件和误差事件两者的日志，诸如例如存储器状态、重启事件、崩溃事件、以太网端口状态、升级失败事件、固件升级事件、配置改变等，以及针对每个事件的时间和日期戳。日志控制器255基于来自nms 136的指令确定设备的日志记录级别。数据254可以存储由接入点200使用和/或生成的任何数据，包括从ue 148所收集到的数据，诸如被用于运算一个或多个sle度量的数据，该数据由接入点200传输以用于无线网络106a由nms 136进行的基于云的管理。
54.通信管理器242包括程序代码，当由(多个)处理器206执行时，该程序代码允许接入点200经由(多个)接口230和/或220a-220c中的任一个与ue 148和/或(多个)网络134通信。配置设置250包括用于接入点200的任何设备设置，诸如针对(多个)无线接口220a-220c中的每个无线接口的无线电设置。这些设置可以手动地被配置或可以由nms 136远程监测和管理在定期(例如每小时或每天)基础上优化无线网络性能。
55.输入/输出(i/o)210表示能够与用户交互的物理硬件部件，诸如按钮、显示器等。尽管未示出，但存储器212通常存储可执行软件，以用于控制关于经由i/o 210所接收到的输入的用户接口。
56.如本文中所描述，ap设备200可以测量来自状态日志252的sle相关数据(即网络事件数据)且将其报告给nms 136。sle相关数据可以包括指示无线网络的性能和/或状态的各种参数。参数可以由一个或多个ue设备和/或一个或多个ap 200在无线网络中被测量和/或确定。nms 136基于从无线网络中的ap所接收到的sle相关数据确定一个或多个sle度量并且将sle度量存储为事件数据139(图1)。根据本公开的一种或多种技术，nms 136的pace 135分析与无线网络相关联的sle度量(即事件数据139)以动态地构建、训练、应用和重新训练(多个)无监督ml模型137以确定收集到的网络事件数据是否表示需要被vna 133进一步分析以支持根本原因分析和故障解决的异常行为。
57.图3示出了根据本公开的一种或多种技术所配置的示例网络管理系统(nms)300。nms 300可以被用于实现例如图1中的nms 136。在这种示例中，nms 300负责分别在站点102a-102n处监测和管理一个或多个无线网络106a-106n。在一些示例中，nms 300从ue 148接收由ap 200所收集到的数据，诸如被用于运算一个或多个sle度量的数据，并且分析该数据以用于无线网络106a-106n的基于云的管理。在一些示例中，nms 300可以是图1中所示出的另一服务器的一部分或任何其他服务器的一部分。
58.nms 300包括通信接口330、一个或多个处理器306、用户接口310、存储器312和数据库318。各种元件经由总线314被耦合在一起，各种元件可以通过该总线交换数据和信息。
59.(多个)处理器306执行软件指令，诸如被用于定义软件或计算机程序的软件指令，被存储到计算机可读存储介质(诸如存储器312)，诸如非瞬态计算机可读介质，包括存储设备(例如磁盘驱动器或光驱)或存储器(诸如闪速存储器或ram)或任何其他类型的易失性或非易失性存储器，该计算机可读存储介质存储指令以使一个或多个处理器306执行本文中
所描述的技术。
60.通信接口330可以包括例如以太网接口。通信接口330将nms 300耦合到网络和/或因特网，诸如如图1中所示出的任何(多个)网络134和/或任何局域网。通信接口330包括接收器332和传输器334，nms 300通过接收器和传输器向/从ap 142、服务器110、116、122、128和/或形成网络100的部分的任何其他设备或系统(诸如图1中所示出)中的任一个接收/传输数据和信息。由nms 300接收到的数据和信息可以包括例如从接入点200所接收到的sle相关或事件日志数据，该接入点被nms 300使用以远程监测无线网络106a-106n的性能。nms还可以经由通信接口330将数据传输给任何网络设备(诸如任何网络站点102a-102n处的ap 142)以远程管理无线网络106a-106n。
61.存储器312包括一个或多个设备，其被配置为存储与nms 300的操作相关联的编程模块和/或数据。例如，存储器312可以包括计算机可读存储介质，诸如非瞬态计算机可读介质，包括存储设备(例如磁盘驱动器或光驱)或存储器(诸如闪速存储器或ram)或任何其他类型的易失性或非易失性存储器，该计算机可读存储介质存储指令以使一个或多个处理器306执行本文中所描述的技术。
62.在该示例中，存储器312包括api 320、sle模块322、虚拟网络助理(vna)/ai引擎350、无线电资源管理(rrm)引擎360和根本原因分析引擎370。nms 300还可以包括被配置用于无线网络106a-106n的远程监测和管理(包括任何ap 142/200的远程监测和管理)的任何其他编程模块、软件引擎和/或接口。
63.sle模块322能够设置和追踪针对每个网络106a-106n的sle度量的阈值。sle模块322进一步分析由ap收集到的sle相关数据，诸如来自每个无线网络106a-106n中的ue的任何ap 142。例如，ap142a-1到142a-n从当前被连接到无线网络106a的ue 148a-1到148a-n收集sle相关数据。该数据被传输给nms 300，其由sle模块322执行以确定针对当前被连接到无线网络106a的每个ue 148a-1到148a-n的一个或多个sle度量。一个或多个sle度量还可以被聚合到站点处的每个ap，以深入了解每个ap对站点处的无线网络性能的贡献。sle度量追踪服务级别是否满足针对每个sle度量所配置的阈值。每个度量还可以包括一个或多个分类器。如果度量不满足sle阈值，那么失败可能被归因于分类器之一，以进一步理解失败发生的位置。
64.可以由nms 300确定的示例sle度量及其分类器在表1中被示出。
65.表1
66.[0067][0068]
rrm引擎360监测针对每个站点106a-106n的一个或多个度量，以便了解和优化每个站点处的rf环境。例如，rrm引擎360可以在站点102处监测针对无线网络106的覆盖范围和容量sle度量，以便标识无线网络106中的sle覆盖范围和/或容量的潜在问题，且对每个站点处的接入点的无线电设置进行调整以解决标识出的问题。例如，rrm引擎可以跨每个网络106a-106n中的所有ap 142确定信道且传输功率分布。例如，rrm引擎360可以监测事件、功率、信道、带宽和被连接到每个ap的客户端的数量。rrm引擎360还可以自动地改变或更新站点106处的一个或多个ap 142的配置，其目的是改进覆盖范围和容量sle度量，且从而为用户提供改进的无线体验。
[0069]
vna/ai引擎350分析从ap 142/200所接收到的数据以及其自己的数据以标识不希望的异常状态何时在无线网络106a-106n之一中被遇到。例如，vna/ai引擎350可以使用根本原因分析模块370来标识任何不希望的或异常状态的根本原因。在一些示例中，根本原因分析模块370利用基于人工智能的技术来帮助标识一个或多个无线网络106a-106n处的(多个)任何不良sle度量的根本原因。附加地，vna/ai引擎350可以自动调用旨在解决一个或多个不良sle度量的(多个)标识出的根本原因的一个或多个校正动作。可以由vna/ai引擎350自动调用的校正动作的示例可以包括但不限于：调用rrm 360以重启一个或多个ap，调整/修改特定ap中的特定无线电的传输功率，向特定ap添加ssid配置，改变ap或ap集合上的信道等。校正动作还可以包括重新启动交换机和/或路由器，调用将新软件下载到ap、交换机或路由器等。这些校正动作仅出于示例目的被给出，而本公开不限于这方面。如果自动校正动作不可用或不能充分解决根本原因，那么vna/ai引擎350可以主动提供通知，包括将由it人员采取以解决网络误差的推荐校正动作。
[0070]
根据本公开的一种或多种技术，用以对事件数据(sle度量316)动态地构建、训练、应用和重新训练(多个)无监督ml模型337的虚拟网络助理的pace 335以确定收集到的网络事件数据是否表示需要被vna 350的根本原因分析370进一步分析以支持故障的标识和解决的异常行为。
[0071]
本公开的技术提供了一个或多个优点。例如，技术使得自动化虚拟网络助理350能够准确地确定哪些潜在的网络问题应该进行更深入的根本原因分析370和哪些问题应该被视为可以在正常过程中被解决的噪声或瞬态问题并且因此可以被无视。进一步地，为了实现某些技术效率，技术实现基于无监督机器学习(ml)模型337的自动化虚拟网络助理，从而减少和/或消除将每个消息流和统计加标签为表示“良好/正常”消息流或“坏的/失败”消息流的耗时工作。此外，技术支持自动重新训练基于ml的模型，以便适应不断变化的网络状况，从而消除误报，这些误报可能以其他方式出现且导致与根本原因分析相关联的资源过度分配。
[0072]
图4示出了示例用户装备(ue)设备400。图4中所示出的示例ue设备400可以被用于实现如本文中关于图1所示出和描述的任何ue 148。ue设备400可以包括任何类型的无线客户端设备，并且本公开在这方面不受限制。例如，ue设备400可以包括移动设备(诸如智能电话、平板计算机或膝上型计算机)、个人数字助理(pda)、无线终端、智能手表、智能戒指或任何其他类型的移动或可穿戴式设备。ue 400还可以包括任何类型的iot客户端设备，诸如打印机、安全传感器或设备、环境传感器或被配置为通过一个或多个无线网络进行通信的任何其他连接设备。
[0073]
根据本公开的一种或多种技术，一个或多个sle参数值(即，由nms 136用于运算一个或多个sle度量的数据)从无线网络中的每个ue 400被接收到。例如，nms 136从图1的网络106a-106n中的ue 148接收一个或多个sle参数值。在一些示例中，nms 136在连续的基础上从ue 148接收sle参数值，并且nms可以在由第一预定时间段(例如每10分钟或其他预定时间段)定义的定期基础上针对每个ue运算一个或多个sle度量。
[0074]
ue设备400包括有线接口430、无线接口420a-420c、一个或多个处理器406、存储器412和用户接口410。各种元件经由总线414被耦合在一起，各种元件可以通过该总线交换数据和信息。有线接口430包括接收器432和传输器434。如果需要，有线接口430可以被用于将
ue 400耦合到图1的(多个)网络134。第一无线接口420a、第二无线接口420b和第三无线接口420c分别包括接收器422a、422b和422c，每个接收器包括接收天线，ue 400可以经由该接收天线从无线通信设备(诸如图1的ap 142、图2的ap 200、其他ue 148或被配置用于无线通信的其他设备)接收无线信号。第一无线接口420a、第二无线接口420b和第三无线接口420c分别还包括传输器424a、424b和424c，每个传输器包括传输天线，ue 400可以经由该传输天线向无线通信设备(诸如图1的ap 142、图2的ap 200、其他ue 138和/或被配置用于无线通信的其他设备)传输无线信号。在一些示例中，第一无线接口420a可以包括wi-fi 802.11接口(例如2.4ghz和/或5ghz)并且第二无线接口420b可以包括蓝牙接口和/或蓝牙低功耗接口。第三无线接口420c可以包括例如蜂窝接口，ue设备400可以通过该蜂窝接口连接到蜂窝网络。
[0075]
(多个)处理器406执行软件指令，诸如被用于定义软件或计算机程序的软件指令，被存储到计算机可读存储介质(诸如存储器412)，诸如非瞬态计算机可读介质，包括存储设备(例如磁盘驱动器或光驱)或存储器(诸如闪速存储器或ram)或任何其他类型的易失性或非易失性存储器，该计算机可读存储介质存储指令以使一个或多个处理器406执行本文中所描述的技术。
[0076]
存储器412包括一个或多个设备，其被配置为存储与ue 400的操作相关联的编程模块和/或数据。例如，存储器412可以包括计算机可读存储介质，诸如非瞬态计算机可读介质，包括存储设备(例如磁盘驱动器或光驱)或存储器(诸如闪速存储器或ram)或任何其他类型的易失性或非易失性存储器，该计算机可读存储介质存储指令以使一个或多个处理器406执行本文中所描述的技术。
[0077]
在该示例中，存储器412包括操作系统440、应用442、通信模块444、配置设置450和数据存储装置454。数据存储装置454可以包括例如状态/误差日志，该状态/误差日志包括事件列表和/或特定于ue400的sle相关数据。根据基于来自网络管理系统的指令的日志记录级别，事件可以包括正常事件和误差事件两者的日志。数据存储装置454可以存储由ue 400使用和/或生成的任何数据，诸如被用于运算一个或多个sle度量的数据，该数据由ue 400收集且被传输给无线网络106中的任何ap 138以用于进一步传输给nms 136。
[0078]
通信模块444包括程序代码，当由(多个)处理器406执行时，该程序代码使得ue 400能够使用(多个)有线接口430、无线接口420a-420b和/或蜂窝接口450c中的任一个进行通信。配置设置450包括针对(多个)无线接口420a-420b和/或蜂窝接口420c中的每一个的ue 400设置的任何设备设置。
[0079]
图5是图示根据本文中所描述的技术所配置的示例网络节点500的框图。在一个或多个示例中，网络节点500实现被附接到图1的网络134的设备或服务器，例如路由器、交换机、aaa服务器、dhcp服务器、dns服务器、vna、web服务器等，或网络设备，例如路由器、交换机等。在一些实施例中，图4的网络节点400是图1的服务器110、116、122、128或图1的网络134的路由器/交换机。
[0080]
在该示例中，网络节点500包括经由总线509被耦合在一起的通信接口502(例如以太网接口)、处理器506、输入/输出508(例如显示器、按钮、键盘、小键盘、触摸屏、鼠标等)、存储器512和部件516的组件，例如硬件模块的组件，例如电路的组件，各种元件可以通过该总线交换数据和信息。通信接口502将网络节点500耦合到网络，诸如企业网络。虽然仅一个
接口通过示例的方式被示出，但是本领域的技术人员应该认识到网络节点可以并且通常确实具有多个通信接口。通信接口502包括接收器520，网络节点500(例如服务器)可以经由该接收器接收数据和信息，例如包括操作相关信息，例如注册请求、aaa服务、dhcp请求、简单通知服务(sns)查找和网页请求。通信接口502包括传输器522，网络节点500(例如服务器)可以经由该传输器发送数据和信息，例如包括配置信息、认证信息、网页数据等。
[0081]
存储器512存储可执行软件应用532、操作系统540和数据/信息530。数据530包括系统日志和/或误差日志，该系统日志和/或误差日志基于根据来自网络管理系统的指令的日志记录级别存储针对节点500和/或其他设备(诸如无线接入点)的sle度量(事件数据)。在一些示例中，网络节点500可以将sle度量转发给网络管理系统(例如图1的nms 136)以用于如本文中所描述的分析。备选地或附加地，网络节点500可以提供平台以供执行pace 135，以基于数据530(sle度量)在本地构建、训练、应用和重新训练(多个)无监督ml模型337，以确定收集到的网络事件数据是否应该被丢弃，或数据是否表示需要被转发给nms 136以供对vna 350进行进一步根本原因分析(图2)以支持故障的标识和解决的异常行为。
[0082]
pace事件
[0083]
图6是根据本文中所描述的技术由pace(诸如pace 135)收集和使用的网络事件的简化示例表600。nms 136从消息中提取事件，这些消息从接入点142和/或网络节点(诸如网络134的路由器和交换机)被接收到。通知nms 136关于网络事件的发生的消息可以在网络事件(诸如与dns、dhcp、arp等活动相关的网络事件)已经由网络的任何部件经历之后的任何时间到达。
[0084]
示例消息600包括id，该id包括针对列620的行中所列出的每个网络事件的索引号。简化表包括15个网络事件，但事件数量可能大得多，其中事件的数量取决于训练数据库中所包括的事件数量。列610提供针对事件的索引，这些索引可以被用于简化对特定事件的引用。事件字典表600的列630提供了可以被显示以支持it技术人员或系统管理员对系统的服务的文本。
[0085]
列640包括指定网络事件类型的数据且帮助将事件分类为相关事件的特定组，并且列650提供每个网络事件的性质的更详细的文本描述。来自注释栏650的信息对于可能需要服务于系统但未被下文更详细地描述的自动化系统使用的技术人员来说可能是有用的。
[0086]
估计网络事件计数器的预期可变性和边界
[0087]
图7图示了示例性时间窗700a、700b、700c到700m+1，这些时间窗由pace 135使用以实时(即当事件数据139在网络系统100内被收集到时)动态地测量与针对每个不同类型的网络事件的计数器值相关联的可变性。在该示例中，时间窗序列700a的第一时间窗在时间t0处开始且持续w秒的持续时间。类似地，连续的时间窗在时间t
0+w
处开始，且一直持续到时间t
0+2w
。在每个时间窗期间，pace 135监测到达的网络事件且维持在特定时间窗期间针对每种类型的网络事件的发生次数的计数。在一些示例中，pace 135创建和存储计数作为网络事件的向量(在本文中被称为pace事件或vpe的向量)：
[0088]
vpe(t)＝[c1,c2,c3,
…cn
]
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
等式1
[0089]
其中：
[0090]
vpe(t)-时间t的网络事件向量，
[0091]ci-在所述时间期间发生的第一网络事件i的数量窗口t，
[0092]
t-指示时间窗开始的时间标记
[0093]
i-网络事件的索引，诸如图6的列610的索引
[0094]
n-网络事件数量。
[0095]
如下文参考图8的流程图800更详细地解释，由于时间原点t0是任意选择的，所以pace 135检查且确定如果时间窗的原点开始于稍微不同的时间，那么计数器c1到cn中的每一个计数器的值将是什么。以此方式，pace 135使用偏移了时间增量的重叠时间窗序列700a
–
700m的滑动窗动态地测量针对事件数据的时间序列的计数器值的可变性，例如从ap和网络系统100的网络节点所接收到的事件数据的实时流。
[0096]
图8是图示由pace 135执行的用于估计网络事件计数器的预期可变性和可接受边界的示例过程800的流程图。每个事件计数器参数/元素的具体值取决于时间t0的具体起始点，其中时间窗被设置成开始。例如，参考图7，事件计数器中的每个事件计数器用于建立等式1中所描述的网络事件向量。在时间窗序列700a的时间窗内由pace 135测量的事件计数器将不同于在时间窗序列700b的时间窗内(这在增量秒后开始)或在时间窗序列700(m+1)的时间窗内(这在增量秒前开始)测量的事件计数器。
[0097]
由pace 135执行的用于处理事件数据139的过程800开始于操作805且继续到操作810，其中pace 135确定初始时间窗参数，诸如起始点t0、窗持续时间(例如2周)、起始时间递增增量(例如5分钟)以及使起始时间t0变化的范围(限制)。pace 135可以基于由系统管理员、数据科学家或其他用户提供的配置数据来确定这些值。虽然下文过程参考vpe的特定元素ci被描述，但是应当理解，pace 135针对pace向量的n个元素中的每一个元素(即针对每个计数器)执行相同的过程。
[0098]
一旦pace 135在操作810中确定了初始参数，pace 135就进行到步骤815，在该步骤中系统针对时间窗序列中的每个时间窗测量、累积且存储针对网络事件计数器的总数。由pace 135生成和存储的这种多元时间序列数据的示例在图9中被图示。在一些示例中，测量和观察到的pace计数器被存储在表中，诸如图10中所图示的表。
[0099]
在通过步骤820的第一迭代(其由图10中的行1050图示)中，仅表10的初始值存在，并且如此，pace 135将由列1015图示的测量参数ci(在步骤825中将为由列1020图示的c
i max)设置为对应时间窗内的每个ci的对应测量vpe值的值。类似地，在通过步骤830的第一迭代中，仅ci的初始参数存在，并且如此，pace 135在操作835中将列1025中所图示的ci min设置为对应时间窗t0内的由行1050所图示的对应测量vpe参数ci的值。这些初始参数分配在图10中被示出。
[0100]
根据示例实现，当时间窗的原点处于t0时所获得的vpe计数器值被用作c
i*
，并且从这些计数器值所构建的vpe向量被称为vpe*。
[0101]
pace 135进行到步骤840，在该步骤中新的起始时间点通过将起始时间点递增或递减增量秒被设置。在操作845中，pace 135确定窗口的新起始时间是否仍在用于使时间窗的起始时间变化的限制内。或换句话说，时间原点是否仍在时间段[t
0-m增量,
…
,to,
…
t0+m增量]内。如果是这样，那么pace 135循环回到操作815且在具有与前一时间窗不同的起始点的每个新时间窗中测量vpe值。这些测量的示例在图10行1055中被图示，vpe的每个元素的测量值或计数为[c1’
,c2’
,..c
n’]。假定c1’
》c1，pace 135将c1’
设置为c
1 max，假定c2》c2’
，方法将c2’
设置为c
2 min，且假定c
n’》c1，方法将c
n’设置为c
n max。类似地，针对由行1060图
示的时间窗，假定c
1”》c1’
，pace 135将c
1”设置为c
1 max，假定c
2”落在c2与c2’
之间，pace 135不改变表中的条目，且假定c
n”《cn，pace 135将c
n”设置为c
1 min。
[0102]
pace 135继续通过操作815、820、825、840和845迭代，直到时间窗的起始点的移位覆盖预定时间段。该持续时间基于用于使在初始操作810中被设置的时间窗的起始时间变化的阈值。
[0103]
一旦起始时间t0的整个范围被覆盖，pace 135就移动到操作850。例如，图9示出了时间段涵盖高达t
0+m增量
的时间，其中m是预定数。类似的时间段可以被用于将起始时间向后移位到t
0-m增量
(图中未示出)。在步骤850中，pace 135确定针对每个网络事件类型(即sle参数)的计数的可变性，具体地，基于在先前步骤中所设置的值确定针对每个时间窗中的每个vpe计数器的对应ci max和ci min的值。
[0104]
pace 135进行到操作855，其中vpe*、vpe max和vpe min被存储，从而使用针对网络事件的确定的基于时间的可变性来增强未标记的网络事件数据139，以产生用于训练ml模型137的增强训练数据，该ml模型用于预测网络事件的估计计数以及定义针对每个网络类型的预期计数的对应范围的估计最小和最大阈值。
[0105]
在一个示例实现中，pace 135在操作860处结束。根据另一示例实现，pace 135可以被配置为每w秒重复方法800，并且连续产生对应向量vpe*、vpe min和vpe max的时间序列以用于鉴于实时网络事件数据自适应地重建ml模型137。
[0106]
图9图示了根据上文所讨论的过程800的由pace 135获得的vpe计数器的值的时间序列。在该示例中，x轴910提供时间并且在一个示例实现中针对对应vpe计数器值提供时间t0。y轴920提供特定cj值的值。为简单起见，仅单个计数器cj的值被提供。具体地，针对沿x轴910的每个原点时间，图图示了vpe*930和动态地确定的vpe max940和vpe min 950的值。
[0107]
训练系统行为模型
[0108]
图11是操作以训练行为ml模型137的pace 135的部件1100的框图。如上文所描述，由pace 135生成的vpe计数器1110的历史值的时间序列被用作对动态边界确定模块1115的输入。如上文更详细地解释，由pace 135生成的pace计数器的每个向量对应于由w秒分开的滑动时间窗集合。此时，动态边界确定模块输出值cj*、c
j max和c
j min。(cj*的值实际上与cj相同)。如下文参考图12所解释，这些值被用作对模块1150的输入以导出vpe预测误差的函数。
[0109]
在操作中，pace 135将系统行为模型1120(即ml模型137)应用于接收到的事件数据139(被称为历史vpe计数器1110)，该事件数据作为输出1130产生针对vpe的当前值的估计(例如“预测”)值：
[0110]
[vpe
t-k
,vpe
t-k+1
,
…
vpe
t-1
]-》行为模型-》预测vpe
t
等式2
[0111]
其中
[0112]
[vpe
t-k
,vpe
t-k+1
,
…
vpe
t
]是历史vpe计数器的值的时间序列，行为模型是图11的模块1120，以及
[0113]
预测vpe
t
是基于vpe计数器的历史值的vpe计数器的预测值。
[0114]
在一些示例实现中，估计(输出)vpe向量1130的维度可以与输入vpe向量1110的值相同。根据另一示例实现，估计(输出)vpe向量的维度小于输入向量的维度。例如，假定输入向量由以下两个值组成：客户端数量和未能与ap相关联的客户端数量。因此，输入vpe具有
维度2。根据示例实现之一，估计vpe可能仅包含未能关联的客户端数量，因此预测vpe具有维度1。
[0115]
当前vpe和估计vpe用作对减法模块1140的输入。应当注意，当vpe和估计vpe的维度不同时，仅两个向量共有的元素被减法模块1140利用。
[0116]
减法模块1140的输出是表示如下的vpe预测误差的误差向量：
[0117]
vpe
t
误差＝vpe
t
–
预测vpe
t
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
等式3
[0118]
其中：
[0119]
vpe
t
误差-vpe预测误差
[0120]
vpe
t-时间t处的网络元素向量
[0121]
预测vpe
t-时间t处的网络元素的预测向量
[0122]
以此方式，vpe预测误差表示网络元素的预测(预期)向量预测vpe
t
(包括max和min分量)与网络元素的观察向量vpe
t
之间的差异。vpe预测误差用作对模块1150的输入，该模块产生作为vpe预测误差的函数的向量，pace 135使用该向量来基于实际观察到的网络事件数据139驱动网络事件行为模型1120(图1的ml模型139)的适应。
[0123]
图12a和图12b是图示vpe误差的不同函数的图为简单起见，仅vpe误差向量的一维被描述。x轴1210提供vpe误差。vpe误差的函数在y轴1220上被提供。x轴的原点处于预测vpe值等于针对对应时间的vpe*的点。动态阈值vpe min 1230和vpe max 1240被标记在x轴上，其中vpe min小于vpe*，且vpe max大于vpe*。
[0124]
如从图12a可以被看出，当处于vpe min与vpe max之间的vpe误差服从第一函数1250时，并且当vpe误差大于vpe max或小于vpemin时，该vpe误差服从第二函数1260。
[0125]
图12b图示了特定的整流线性单元(relu)函数。图针对vpe*1225、vpe min 1230和vpe max 1240使用相同的x和y轴1210和1220以及相同的数字符号。当预测误差如下时，vpe误差函数被设置成零：
[0126]
vpe min《vpe误差《vpe max
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
等式4
[0127]
并且类似地，当vpe误差大于vpe max或小于vpe min时，vpe误差函数被设置为vpe误差的线性函数。下文的等式5图示了这种函数的一个示例。
[0128][0129]
在任一种情况下，vpe误差的函数驱动由pace 135对ml模型137的参数进行的适应。在一个特定示例实现中，由ml模型137表示的系统行为模型是ai驱动的模型，诸如长短期存储器(lstm)。其他实现可以利用其他ai和机器学习(ml)算法来适应系统行为模型1120(图1的ml模型137)的参数，以便在网络事件数据139根据本文中所描述的技术被接收且处理时将预测vpe误差最小化。
[0130]
根据一个示例实现，系统行为模型的参数基于被流向nms 136的计数器的新值被不断地适应。根据另一示例实现，创建系统行为模型的过程(基于针对网络事件数据的历史时间序列所计算的计数器来适应模型的参数)基于记录的网络事件数据定期地(例如每两周一次)被执行。考虑到在一些部署中，系统行为模型(ml 137)内的参数可能相当缓慢地移位，如果有的话，通过pace 135定期更新行为模型可以节省计算资源且仍然提供网络系统100的恰当表示。
[0131]
在一些示例中，为了减少所需的计算资源，pace 135可以仅使用vpe的子集而不是整个集合。
[0132]
以此方式，pace 135构建且适应ml模型137(系统行为模型)以捕获各种网络事件之间的正常操作比率。例如，dns失败次数相对于客户端总数和失败总数以及成功总数。具体地，在系统行为模型的一个方面，pace 135更新模型，以使得模型学习针对给定的客户端总数以及成功总数所预期的dns失败的“正常”数量。更具体地，大体上，nms 138和(特别地)事件数据139存储关于每个个别的网络事件的信息，诸如客户端的失败尝试，诸如漫游的尝试、对获得认证的尝试、对获得ip地址的尝试等。pace 135应用且适应如本文中所描述的ml模型137，以训练模型以准确预测网络事件数据(例如失败的移动性、失败的认证等)是否表示在“正常”范围内的网络事件，并且如此，预期行为(即由于当前操作条件导致的预期瞬态失败)或这些失败中的一个或多个是否异常且需要由vna 133进一步分析和/或缓解。
[0133]
使用误差直方图进行的系统行为模型更新和验证
[0134]
根据一种具体实现，nms 136的pace 135基于从多个站点102所收集到的事件数据139构建系统行为模型(ml模型137)。这种系统行为模型在本文中被称为全局系统行为模型。根据一个实现，一旦该全局模型被构建，其参数就被固定，并且内用于构建该全局模型的vpe数据(或只是数据的子集)通过模型运行，从而记录预测误差。类似地，根据另一实现，仅当预测误差的值在vpe之外、在动态地确定的范围[vpe min,vpe max]之外时，pace 135才记录预测误差的值。
[0135]
图14是图示了示例过程的流程图1400，通过该过程主动分析和关联引擎(例如图1的pace 135)自适应地更新基于网络事件ml的行为模型(例如ml模型137)。出于示例的目的，示例过程将关于图1的pace 135被描述。
[0136]
在该示例中，pace 135开始于操作1405且进行到操作1410，其中pace 135接收或以其他方式收集针对最近时间段(例如针对最近两周)的网络事件数据的新时间序列。在操作1415处，pace 135基于时间戳将来自时间序列的信息分成两个子集，本文中也被称为时间序列子组，每个子组具有不同的日期/时间范围。pace 135在操作1420中使用第一子集(例如收集到的网络事件数据的前三分之二)来构建pace行为模型(ml模型137)且在操作1425中使用第二子集(例如数据的剩余的三分之一)来测试构建的行为模型且在操作1430中构建预测误差直方图/概率函数。
[0137]
在一些示例中，pace 135针对至少两个不同的技术优点生成且利用预测误差概率函数：a)确保被用于构建pace行为模型的网络事件与正常行为相关联，以及b)确保针对pace行为模型所调谐的参数为各种网络事件的底层行为(包括比率)提供恰当表示。如下文更详细地解释，由pace 135执行的验证过程利用预测误差(诸如减法模块1140的输出处的预测误差)的直方图。根据又另一实现，pace 135基于vpe误差模块1150的函数的输出来构建直方图。这种预测误差直方图的示例在图13中被图示。x轴1310描述了预测误差(或在另一特定实现中，预测超出动态地确定的范围[vpe min,vpe max]的量)。y轴1320使用网络事件数据的第二子集(例如被用于测试pace行为模型的有效性的子集)提供在跨所有站点的运行期间发生特定误差值的概率。根据本发明的一个方面，大多数误差具有小值的事实为成功构建系统模型提供了验证。
[0138]
在操作1435中，pace 135将来自新构建的模型的vpe误差的直方图/概率与作为先
前行为模型训练的一部分所获得的误差直方图/概率进行比较。如果在决策操作1440中，pace 135确定新的误差概率分布/直方图与先前的误差分布不类似(例如经由使用如下文所描述的kullback-leibler散度测量)，那么pace 135进行到操作1445且排除来自训练数据的异常/离群数据点/事件。在一些示例中，pace 135可以生成输出以通知用户、管理员或数据科学家关于事件的情况以指导用户排除异常/离群数据点。pace 135循环回到操作1415且使用排除离群事件的清理数据重复训练过程，从而基于实时网络事件数据视需要自适应地重新训练ml模型137。
[0139]
一旦pace 135确定新的预测误差类似于先前的预测误差分布函数(决策操作1440)，pace 135终止训练过程且进行到操作1450且开始使用新构建的vpe行为模型来处理后续事件数据。例如，当网络事件系统行为模型被定期更新时，例如每2周更新一次，将预测误差的当前构建的直方图与先前的预测误差进行比较，诸如来自2周、4周、6周等前的预测误差直方图。根据又另一实现，如果两个直方图高度类似或相关，那么新的网络事件行为模型被验证并且新构建的系统的参数被使用。pace 135在操作1455中完成了重新训练和新构建周期。
[0140]
在一个具体实现中，pace 135通过确定过去和直方图与当前预测误差之间的相关性来执行操作1440的比较。如果相关性大于特定阈值，例如0.8，那么pace 135确定直方图足够类似。根据另一示例实现，方法利用信息论来确定表示误差概率的直方图之间的相似性。具体地，方法采用kullback-leibler散度(也被称为相对熵或kld)来确定一个概率分布与基于过去直方图的第二参考概率分布有何不同的测量。
[0141]
使用系统行为模型标识行为异常
[0142]
图15是图示由虚拟网络助理133执行的示例过程的流程图1500，该虚拟网络助理用于执行由pace 135触发的网络事件数据的根本原因分析，即，当pace 135应用ml模型137且计算vpe预测误差时，该vpe预测误差在针对一种或多种类型的网络事件的动态地确定的范围(边界)之外，从而指示需要对与这些网络事件相关联的异常网络行为进行更深入的分析被执行。出于示例的目的，示例过程将关于图1的vna 133和pace 135被描述。
[0143]
在该示例中，vna 133的pace 135开始于操作1505并且进行到操作1510，其中系统行为模型被构建并且参数被固定，如本文中所描述。在操作1515中，pace 135将实时vpe信息(从网络事件数据139所生成的矢量化输入)馈送到ml模型137中并且在步骤1520中确定vpe预测误差。pace 135进行到决策操作1525且检查基于由ml模型137生成的预测vpe的vpe预测误差针对每个参数是否在动态地确定的范围[vpe min,vpe max]内。
[0144]
如果pace 135确定vpe预测误差落在动态地确定的范围内，那么pace 135循环回到操作1515并且类似地处理任何新接收到的网络事件数据139。以此方式，只要预测误差在动态地确定的范围内，整个网络系统100的行为就被认为是正常的，尽管系统中的各个客户端可能报告失败，例如arp失败、dhcp失败或dns失败。例如，在具有大型(例如1000个客户端)的系统中，经历几个(例如1或2个)故障(诸如上述的故障)是正常的。
[0145]
然而，如果vpe预测误差超出由[vpe min,vpe max]建立的预测误差动态范围，那么pace 135确定网络行为中的异常已被检测到，即对应故障或其他网络事件正在以超出预期范围的频率发生。pace 135进行到操作1530且确定表现出异常行为的网络事件的类型。例如，pace 135可以使用图6的表600的类型信息640，以标识表现出行为的特定类型的(多
个)网络事件。
[0146]
在操作1535中，响应于由pace 135对一个或多个异常网络事件的标识，nms 136调用虚拟网络助理133以执行对事件数据139的更深入分析以确定检测到的异常的根本原因。在决策操作1540中，vna133基于根本原因分析确定补救动作是否可以被调用，诸如重新启动或重新配置一个或多个ap 142、网络节点或其他部件或通过输出针对管理员跟随的脚本化动作。如果补救校正动作可用，那么在操作1545处，vna 133调用补救动作，诸如重新启动特定设备、设备的部件、设备的模块等。在任一情况下，如果补救动作可用或不可用，vna 133进行到操作1550且输出报告/警报以通知技术人员所标识的问题和/或由vna 133采取的校正动作，以自动补救问题的底层根本原因。在调用vna 133后，pace 135循环回到操作1515且继续处理从网络系统100所接收到的实时事件数据139。
[0147]
本文中所描述的技术可以使用软件、硬件和/或软件和硬件的组合来实现。各种示例涉及装置，例如移动节点、移动无线终端、基站，例如接入点、通信系统。各种示例还涉及方法，例如控制和/或操作通信设备(例如无线终端(ue)、基站、控制节点、接入点和/或通信系统)的方法。各种示例还涉及非瞬态机器，例如计算机、可读介质，例如rom、ram、cd、硬盘等，其包括用于控制机器以实现方法的一个或多个步骤的机器可读指令。
[0148]
应该理解，在所公开的过程中的步骤的任何具体顺序或层级是示例方法的示例。基于设计偏好，应该理解，在过程中的步骤的具体顺序或层级可以被重新布置，同时保持在本公开的范围内。所附方法权利要求书以样本顺序呈现各种步骤的元件，并且不意味着受限于所呈现的特定顺序或层级。
[0149]
在各种示例中，本文中所描述的设备和节点使用一个或多个模块被实现，以执行对应于一个或多个方法的步骤，例如信号生成、传输、处理和/或接收步骤。因此，在一些示例中，各种特征使用模块被实现。这种模块可以使用软件、硬件或软件和硬件的组合被实现。在一些示例中，每个模块被实现为个别的电路，其中设备或系统包括用于实现对应于每个描述的模块的功能的单独电路。许多上文所描述的方法或方法步骤可以使用机器可执行指令(诸如软件，被包括在机器可读介质(诸如存储器设备，例如ram、软盘等)中)被实现，以控制机器，例如具有或不具有附加硬件的通用计算机，以在例如一个或多个节点中实现上文所描述的方法的全部或部分。因此，除其他外，各种示例涉及一种机器可读介质，例如非瞬态计算机可读介质，包括用于使机器(例如处理器和相关联的硬件)执行(多个)上文所描述的方法的一个或多个步骤的机器可执行指令。一些示例涉及一种包括处理器的设备，该处理器被配置为实现一个示例方面的一个或多个方法的一个、多个或所有步骤。
[0150]
在一些示例中，一个或多个设备(例如通信设备(诸如无线终端(ue))和/或接入节点)的一个或多个处理器(例如cpu)被配置为执行被描述为由设备执行的方法的步骤。处理器的配置可以通过使用一个或多个模块(例如软件模块)来控制处理器配置和/或通过在处理器中包括硬件(例如硬件模块)以执行所列举的步骤和/或控制处理器配置被实现。因此，一些但并非所有示例涉及一种具有处理器的通信设备，例如用户装备，该处理器包括对应于由处理器被包括的设备执行的各种所描述方法的每个步骤的模块。在一些但并非所有示例中，通信设备包括对应于由处理器被包括的设备执行的各种所描述方法的每个步骤的模块。模块可以纯粹以硬件被实现，例如作为电路，或可以使用软件和/或硬件或软件和硬件的组合被实现。
medium access control(mac)and physical layer(phy)specifications-amendment 4:enhancements for very high throughput for operation in bands below 6ghz”，2013年12月)；ieee 802.11ad(“ieee p802.11ad-2012,ieee standard for information technology-telecommunications and information exchange between systems-local and metropolitan area networks-specific requirements-part 11:wireless lan medium access control(mac)and physical layer(phy)specifications-amendment 3:enhancements for very high throughput in the 60ghz band”，2012年12月28日)；ieee-802.11revmc(“ieee802.11-revmctm/d3.0,june 2014draft standard for information technology-telecommunications and information exchange between systems local and metropolitan area networks specific requirements；part11:wireless lan medium access control(mac)and physical layer(phy)specification”)；ieee802.11-ay(p802.11ay standard for information technology
‑‑
telecommunications and information exchange between systems local and metropolitan area networks
‑‑
specific requirements part 11:wireless lan medium access control(mac)and physical layer(phy)specifications
‑‑
amendment:enhanced throughput for operation in license-exempt bands above 45ghz))、ieee802.11-2016和/或未来版本和/或其衍生版本操作；设备和/或网络，根据现有无线保真(wi-fi)联盟(wfa)对等网络(p2p)规范(wi-fi p2p technical specification，版本1.5，2014年8月)和/或未来版本和/或其衍生版本操作；设备和/或网络，根据现有蜂窝规范和/或协议(例如第三代合作伙伴计划(3gpp)、3gpp长期演进(lte))和/或未来版本和/或其衍生版本操作；单元和/或设备，其为上文网络的一部分或使用任何一种或多种上文协议进行操作。
[0156]
一些示例可以与以下各项结合被使用：单向和/或双向无线电通信系统、蜂窝无线电电话通信系统、移动电话、蜂窝电话、无线电话、个人通信系统(pcs)设备、并入无线通信设备的pda设备、移动或便携式全球定位系统(gps)设备、并入gps接收器或收发器或芯片的设备、并入rfid元件或芯片的设备、多输入多输出(mimo)收发器或设备、单输入多输出(simo)收发器或设备、多输入单输出(miso)收发器或设备、具有一个或多个内部天线和/或外部天线的设备、数字视频广播(dvb)设备或系统、多标准无线电设备或系统、有线或无线手持式设备(例如智能电话)、无线应用协议(wap)设备等。
[0157]
一些示例可以与一种或多种类型的无线通信信号和/或系统(例如射频(rf)、红外(ir)、频分复用(fdm)、正交fdm(ofdm)、正交频分多址(ofdma)、fdm时分复用(tdm)、时分多址(tdma)、多用户mimo(mu-mimo)、空分多址(sdma)、扩展tdma(e-tdma)、通用分组无线电服务(gprs)、扩展gprs、码分多址(cdma)、宽带cdma(wcdma)、cdma 2000、单载波cdma、多载波cdma、多载波调制(mdm)、离散多音(dmt)、蓝牙、全球定位系统(gps)、wi-fi、wi-max、zigbee
tm
、超宽带(uwb)、全球移动通信系统(gsm)、2g、2.5g、3g、3.5g、4g、第五代(5g)或第六代(6g)移动网络、3gpp、长期演进(lte)、lte高级、针对gsm演进的增强数据速率(edge)等)结合被使用。其他示例可以被用于各种其他设备、系统和/或网络。
[0158]
一些说明性示例可以与wlan(无线局域网)(例如wi-fi网络)结合被使用。其他示例可以与任何其他合适的无线通信网络(例如无线局域网、“微微网”、wpan、wvan等)结合被使用。
[0159]
一些示例可以与在2.4ghz、5ghz和/或60ghz的频带上进行通信的无线通信网络结合被使用。然而，其他示例可以利用(多个)任何其他合适的无线通信频带(例如极高频(ehf)带(毫米波(mmwave)频带)，例如在20ghz与300ghz之间的频带、wlan频带、wpan频带、根据wga规范的频带等内的频带)被实现。
[0160]
虽然上文仅提供了各种设备配置的一些简单示例，但是应当了解，许多变体和排列是可能的。此外，技术不限于任何特定信道，而是大体上适用于(多个)任何频率范围/(多个)信道。此外，且如所讨论，技术可能在未授权频谱中有用。
[0161]
尽管示例在这方面不受限制，但利用术语(诸如例如“处理”、“计算(computing)”、“运算”、“确定”、“建立”、“分析”、“检查”等)的讨论可以指计算机、计算平台、计算系统、通信系统或子系统或其他电子计算设备的(多个)操作和/或(多个)过程，这些设备操纵计算机的寄存器和/或存储器内的物理(例如电子)量的数据和/或将该数据变换为类似地被表示为计算机的寄存器和/或存储器或可以存储指令以执行操作和/或过程的其他信息存储介质内的物理量的其他数据。
[0162]
尽管示例在这方面不受限制，但如本文中所使用的术语“多个(plurality)”和“多个(a plurality)”可以包括例如“多个”或“两个或更多个”。术语“多个(plurality)”和“多个(a plurality)”可以在整个说明书中被用于描述两个或更多个部件、设备、元件、单元、参数、电路等。例如，“多个站”可以包括两个或更多个站。
[0163]
阐明整个本文档中所使用的某些词和短语的定义可能是有利的：术语“包括(include)”和“包括(comprise)”以及其派生词意味着包括但不限于；术语“或”是包容性的，意味着和/或；短语“与
……
相关联”和“与之相关联”以及其派生词可能意味着包括、被包括在
……
内、与
……
相互连接(interconnect with)、与
……
相互连接(interconnected with)、包含、被包含在
……
内、连接到或与
……
连接、耦合到或与
……
耦合、可与
……
兼容、与
……
协作、交错、并置、接近于、被绑定或与
……
绑定、具有、拥有等；并且术语“控制器”意味着控制至少一个操作的任何设备、系统或其部分，这种设备可以以硬件、电路系统、固件或软件或其中至少两者的某种组合被实现。应当注意，与任何特定控制器相关联的功能性可以是集中式或分布式的，无论是本地的还是远程的。某些词和短语的定义在整个本文档中被提供，且本领域的普通技术人员应该理解，在许多情况下(如果不是大多数情况下)，这种定义适用于这种定义的词和短语的先前和未来使用。
[0164]
示例已经关于通信系统以及用于诸如在无线网络中或大体上在使用(多个)任何通信协议操作的任何通信网络中执行通信的协议、技术、手段和方法被描述。这种的示例是家庭或接入网络、无线家庭网络、无线公司网络等。然而，应当了解，大体上，本文中所公开的系统、方法和技术将同样适用于其他类型的通信环境、网络和/或协议。
[0165]
出于解释的目的，许多细节被阐述以便提供对本技术的透彻理解。然而，应当了解，本公开可以以超出本文中所阐述的具体细节的多种方式被实践。此外，虽然本文中所图示的示例示出了系统所并列的各部组件，但应了解，系统的各种部件可以被定位于分布式网络(诸如通信网络、节点)的远处部分处，被定位于域主机和/或互联网内或专用的安全、不安全和/或加密系统内和/或被定位于网络内部或外部的网络操作或管理设备内。作为示例，域主机也可以被用于指代管理和/或配置网络或通信环境和/或(多个)收发器和/或站点和/或本文中所描述的(多个)接入点的任何一个或多个方面或与之通信的任何设备、系
统或模块。
[0166]
因此，应当了解，系统的部件可以被组合成一个或多个设备，或在设备(诸如收发器、接入点、站、域主机、网络操作或管理设备、节点)之间被拆分，或被并列在分布式网络(诸如通信网络)的特定节点上。如从以下描述中应当了解，且出于计算效率的原因，系统的部件可以被布置在分布式网络内的任何地点而不影响其操作。例如，各种部件可以被定位于域主机、节点、域管理设备(诸如mib)、网络操作或管理设备、(多个)收发器、站、(多个)接入点或其某种组合。类似地，系统的一个或多个功能部分可以被分布在收发器与相关联的计算设备/系统之间。
[0167]
此外，应当了解，各种链路(包括(多个)任何通信信道/元件/连接元件的线路)可以是有线或无线链路或其任何组合，或能够向连接的元件提供和从连接的元件供应和/或传达数据的(多个)任何其他已知或以后开发的元件。如本文中所使用的术语模块可以指能够执行与该元件相关联的功能性的任何已知或以后开发的硬件、电路系统、软件、固件或其组合。如本文中所使用，术语确定、运算和计算及其变体可互换使用并且包括任何类型的方法学、过程、技术、数学运算或协议。
[0168]
此外，虽然本文中所描述的一些示例涉及一种执行某些功能的收发器的传输器部分或执行某些功能的收发器的接收器部分，但本公开旨在分别在同一收发器和/或另一(多个)收发器两者中包括对应和互补的传输器侧或接收器侧功能性，且反之亦然。
[0169]
示例关于增强通信被描述。然而，应当了解，大体上，本文中的系统和方法将同样适用于在任何环境中利用任何一种或多种协议(包括有线通信、无线通信、电力线通信、同轴电缆通信、光纤通信等)的任何类型的通信系统。
[0170]
示例系统和方法关于ieee 802.11和/或和/或低能量收发器以及相关联的通信硬件、软件和通信信道被描述。然而，为了避免不必要地使本公开不清楚，以下描述省略了可以以框图形式被示出或以其他方式被概括的公知的结构和设备。
[0171]
虽然上文所描述的流程图已经关于特定事件序列被讨论，但是应当了解，可以发生对该序列的改变而不会实质性地影响(多个)示例的操作。附加地，本文中所图示的示例技术不限于具体图示的示例，而是也可以与其他示例一起被利用，并且每个描述的特征个别地和单独地可要求保护。
[0172]
上文所描述的系统可以在(多个)无线电信设备/系统(诸如ieee802.11收发器等)上被实现。可以与该技术一起被使用的无线协议的示例包括ieee 802.11a、ieee 802.11b、ieee 802.11g、ieee 802.11n、ieee 802.11ac、ieee 802.11ad、ieee 802.11af、ieee 802.11ah、ieee802.11ai、ieee 802.11aj、ieee 802.11aq、ieee 802.11ax、wi-fi、lte,4g、wirelesshd、wigig、wigi、3gpp、无线lan、wimax、densifi sig、unifi sig、3gpp laa(授权辅助接入)等。
[0173]
附加地，系统、方法和协议可以被实施以改进专用计算机、编程微处理器或微控制器和(多个)外围集成电路元件、asic或其他集成电路、数字信号处理器、硬接线电子或逻辑电路(诸如离散元件电路)、可编程逻辑设备(诸如pld、pla、fpga、pal、调制解调器、传输器/接收器、任何可比较的装置等)中的一个或多个。大体上，能够实现状态机的任何设备可以受益于根据本文中所提供的公开内容的各种通信方法、协议和技术，该状态机进而能够实
现本文中所图示的方法学。
[0174]
如本文中所描述的处理器的示例可以包括但不限于以下至少一项：800和801、具有4g lte集成和64位计算的610和615、具有64位架构的a7处理器、m7运动协处理器、系列、core
tm
处理器系列、intel处理器系列、i5-4670k和i7-4770k 22nm haswell、i5-3570k 22nm ivy bridge、fx
tm
处理器系列、fx-4300、fx-6300和fx-8350 32nm vishera、kaveri处理器、texasjacinto c6000
tm
汽车信息娱乐处理器、texasomap
tm
汽车级移动处理器、cortex
tm-m处理器、cortex-a和arm926ej-s
tm
处理器、airforce bcm4704/bcm4703无线联网处理器、ar7100无线网络处理单元、其他行业等效处理器，并且可以使用任何已知或未来开发的标准、指令集、库和/或架构来执行计算功能。
[0175]
此外，所公开的方法可以使用对象或面向对象的软件开发环境在软件中容易地被实现，这些对象或面向对象的软件开发环境提供可以在各种计算机或工作站平台上被使用的便携式源代码。备选地，所公开的系统可以使用标准逻辑电路或vlsi设计部分地或完全地以硬件被实现。是软件还是硬件被用于实现根据示例的系统取决于系统的速度和/或效率要求、特定功能以及被利用的特定软件或硬件系统或微处理器或微型计算机系统。本文中所图示的通信系统、方法和协议可以由可应用领域的普通技术人员根据功能描述使用任何已知或以后开发的系统或结构、设备和/或软件容易地以硬件和/或软件被实现，该功能描述在本文中被提供且具有计算机和电信领域的一般基础知识。
[0176]
此外，所公开的技术可以容易地以软件和/或固件被实现，该软件和/或固件可以被存储在存储介质上，以在控制器和存储器、专用计算机、微处理器等的协作下提高编程的通用计算机的性能。在这些情况下，系统和方法可以被实现为被嵌入在个人计算机上的程序，诸如小应用程序java.rtm.或cgi脚本，作为驻留在服务器或计算机工作站上的资源，作为被嵌入在专用通信系统或系统部件中的例程等。系统还可以通过将系统和/或方法物理地并入软件和/或硬件系统(诸如通信收发器的硬件和软件系统)中被实现。
[0177]
因此，明显的是，至少已经提供了用于增强和改进会话用户接口的系统和方法。对于可应用领域的普通技术人员来说，许多替代、修改和变体将是或是明显的。因此，本公开旨在包括在本公开的精神和范围内的所有这种替代、修改、等同物和变体。