基于自适应时间窗口的日志消息去重的制作方法

基于自适应时间窗口的日志消息去重


背景技术：

1.日志消息可以由计算设备生成以提供关于计算设备的操作的信息，诸如计算设备的部件中的故障或计算设备中的扫描操作的结果。日志消息可以被传输给后端计算设备(也称为后端设备)以进行处理并采取补救行为。
附图说明
2.以下详细描述参考附图，其中：
3.图1示出了根据本主题的示例实现的用于执行基于自适应时间窗口的日志消息去重的系统。
4.图2示出了根据本主题的示例实现的具有用于执行基于自适应时间窗口的日志消息去重的系统的网络环境。
5.图3(a)示出了根据本主题的示例实现的字典。
6.图3(b)示出了根据本主题的示例实现的字典。
7.图3(c)示出了根据本主题的示例实现的字典。
8.图4示出了根据本主题的示例实现的在时间窗口期间和在时间窗口到期时执行的方法。
9.图5示出了根据本主题的示例实现的用于确定第二时间窗口的长度的方法。
10.图6示出了根据本主题的示例实现的用于确定第二时间窗口的长度的方法。
11.图7示出了根据本主题的示例实现的用于传输标记消息的方法。
12.图8示出了根据本主题的示例实现的用于处理不同优先级的日志消息的方法。
13.图9示出了根据本主题的示例实现的用于执行基于自适应时间窗口的日志消息去重的方法。
14.图10示出了根据本主题的示例实现的用于计数和传输与第二优先级(sp)日志消息相对应的标记消息的方法。
15.图11示出了根据本主题的示例实现的实现用于执行基于自适应时间窗口的日志消息去重的非暂态计算机可读介质的计算环境。
具体实施方式
16.在计算设备处生成的日志消息可以被发送给后端设备以进行进一步处理。例如，当计算设备的相同操作状态在不同时间出现时，多个日志消息可能是冗余的或随时间重复的。冗余的日志消息的处理浪费了后端设备的计算资源，并且还可能延迟独特的日志消息的处理。此外，有时，例如由于部件中的故障或由于网络连接的丢失，日志消息可能在计算设备中以高速率生成。日志消息以高速率到达后端设备可能会压垮后端设备，从而导致日志消息的处理进一步延迟。
17.进一步地，在一些情况下，日志消息将由计算设备进行转换，以使它们可以由后端设备处理。因此，如果日志消息以高速率生成，则几轮转换将在短时间段内执行，从而导致
计算设备处的大量资源消耗。在冗余日志消息的情况下，这种资源消耗是浪费的。
18.为了防止将冗余日志消息传输给后端设备，去重技术通常被利用，该技术涉及丢弃在特定持续时间内接收到的冗余消息。然而，这种技术在随机持续时间的泛洪场景(其中日志消息非常频繁地生成)或空闲场景中可能无效。
19.本主题涉及基于自适应时间窗口的日志消息去重。即使在泛洪场景中，本主题也防止了将冗余消息传输给后端设备。
20.根据示例实现，消息值是从传入的日志消息获得的。消息值可以是日志消息的全部或一部分，或者可以从日志消息的全部或一部分导出。在示例中，从冗余日志消息获得的消息值可以是相同的。进一步地，具有特定消息值的传入日志消息的数目可以被计数。为了执行计数，存储多个消息值的字典和与每个消息值相关联的计数可以被利用。随后，消息值可以被获得的日志消息以及与消息值相关联的计数可以被传输给后端设备。
21.由于与多个冗余日志消息相对应的单个日志消息被传输，因此后端设备接收到的冗余消息的数目减少。进一步地，每个日志消息可能不会被转换以由后端设备处理。因此，在日志消息的转换中花费的资源可以被减少。与多个冗余日志消息相对应的单个日志消息的传输导致去重。
22.计数可以在第一时间窗口中执行。进一步地，日志消息和计数的传输可以在第一时间窗口到期时被执行。计数然后可以在第二时间窗口中被重启。在示例中，除了日志消息和计数之外，指示传入日志消息的时间分布的度量也可以被传输给后端设备。度量可以包括例如第一时间窗口的长度(即，持续时间)、与第一消息值相对应的日志消息被接收的第一时间窗口内的最后时间戳、与第一消息值相对应的日志消息的平均到达间隔时间以及指示时间分布的直方图。度量可以有助于后端设备推断生成日志消息的根本原因并采取校正行为。因此，度量的传输防止了由于去重而造成的信息丢失。
23.在示例实现中，第二时间窗口的长度(即，持续时间)可以基于在第一时间窗口中接收到的日志消息的数目和在第一时间窗口中获得的不同消息值的数目来确定。例如，如果日志消息的数目与不同消息值的数目的比率小于阈值，则第二时间窗口的长度可以被设置为比第一时间窗口的长度大的长度。这是因为小的比率值指示更多日志消息被传输给后端设备，并且时间窗口长度的增大可能会减少所传输的日志消息的数目。因此，通过这种方式计算第二时间窗口的长度控制了传输给后端设备的日志消息的数目。
24.在示例中，第二时间窗口的长度可以基于日志消息在第一时间窗口中被接收的第一速率和日志消息在第一时间窗口之前的第零时间窗口中被接收的第二速率来计算。第一速率和第二速率可以指示泛洪场景的存在，因此，基于速率设置第二时间窗口的长度防止了大量冗余消息的传输。
25.以下描述参考附图。在可能的情况下，相同的附图标记在附图和以下描述中被用于表示相同或类似的部分。尽管在本描述中描述了多个示例，但是修改、变更和其他实现是可能的，并且旨在在本文中被涵盖。
26.图1示出了根据本主题的示例实现的用于执行基于自适应时间窗口的日志消息去重的系统100。系统100可以被实现为计算设备，诸如台式计算机、膝上型计算机、服务器等。系统100包括处理器102和被耦合到处理器102的存储器104。处理器102也可以被称为硬件处理器102。
27.处理器102可以被实现为微处理器、微型计算机、微控制器、数字信号处理器、中央处理单元、状态机、逻辑电路系统和/或可以基于操作指令来操纵信号的任何设备。在其他能力中，处理器102可以取得并执行存储器104中所包括的计算机可读指令。计算机可读指令包括指令106、指令108、指令110、指令112和指令114。处理器102的功能可以通过使用专用硬件以及能够执行机器可读指令的硬件来提供。
28.存储器104可以包括任何非暂态计算机可读介质，包括易失性存储器(例如ram)和/或非易失性存储器(例如eprom、闪存、忆阻器等)。存储器104也可以是外部存储器单元，诸如闪存驱动器、光盘驱动器、外部硬盘驱动器等。
29.除了处理器102和存储器104之外，系统100还可以包括(多个)接口和系统数据(图1中未示出)。(多个)接口可以包括各种基于指令的接口和硬件接口，其允许与用户以及与其他通信和计算设备(诸如网络实体、web服务器、外部储存库和外围设备)进行交互。系统数据可以用作用于存储数据的储存库，这些数据可以由指令取得、处理、接收或创建。
30.在操作中，系统100可以通过执行指令106至114将日志消息和计数传输给后端设备(图1中未示出)。处理器102可以在第一时间窗口中接收日志消息。日志消息可以由源设备生成，该源设备可以是系统100或连接到系统100的设备。日志消息可以包括由源设备生成的消息，并且可以提供关于源设备的工作的信息。例如，日志消息可以指示在源设备中安装了新部件，或者源设备的部件的工作温度很高。日志消息的接收可以通过执行指令106来执行。
31.处理器102可以从每个日志消息获得消息值。消息值例如可以是整个日志消息、除了日志消息的特定部分之外的整个日志消息、日志消息的特定部分、从日志消息的全部或一部分导出的值或其任何组合。在示例中，类似的日志消息可以具有相同的消息值。消息值可以通过执行指令108来获得。
32.处理器102可以对在第一时间窗口中接收到的日志消息的数目进行计数，该第一消息值从该日志消息被获得。第一消息值被获得的日志消息可以被称为与第一消息值相对应的日志消息。在第一时间窗口到期时，与第一消息值相对应的日志消息被传输给后端设备。进一步地，日志消息的计数也可以被传输。因此，与对应于第一消息值的多个日志消息相对应的单个日志消息可以被传输。在示例中，在第一时间窗口到期时，与多个日志消息相对应的一个以上的日志消息可以被传输。然而，所传输的日志消息的数目可以少于接收到的日志消息的数目。出于讨论的目的，在下面提供的解释中，单个日志消息被解释为在第一时间窗口到期时被传输。
33.与多个日志消息相对应的日志消息的传输导致去重。计数可以通过处理器102执行指令110来执行。进一步地，传输给后端设备可以通过执行指令112来执行。
34.在示例中，除了日志消息和计数之外，指示传入日志消息的时间分布的度量也可以被传输给后端设备。度量例如可以包括第一时间窗口的长度、与第一消息值相对应的日志消息被接收的第一时间窗口内的最后时间戳、与第一消息值相对应的日志消息的平均到达间隔时间以及指示时间分布的直方图。日志消息、计数和度量可以被统称为标记消息。
35.在第一时间窗口到期时，日志消息的计数可以被重启并在第二时间窗口中执行。处理器102可以基于在第一时间窗口中接收到的日志消息的数目以及在第一时间窗口中获得的不同消息值的数目来确定第二时间窗口的长度。在第一时间窗口中接收到的不同消息
值的数目可以小于在第一时间窗口中接收到的日志消息的数目，因为特定的消息值可以从多个日志消息获得。例如，考虑到20个日志消息在第一时间窗口期间被接收，并且第一消息值是从这些消息中的十个消息获得的，而第二消息值是从剩余十个消息获得的。因此，在第一时间窗口中获得的不同消息值的数目为两个。
36.在示例中，除了日志消息的数目和不同的消息值的数目之外，其他参数可以被用于确定第二时间窗口的长度。由于时间窗口的长度是基于各种参数来适应的，因此时间窗口可以被称为自适应时间窗口。进一步地，所执行的去重可以被称为基于自适应时间窗口的去重。基于自适应时间窗口的去重的各个示例方面将在下面更详细地解释。
37.图2示出了根据本主题的示例实现的具有用于执行基于自适应时间窗口的日志消息去重的系统100的网络环境。系统100可以被连接到源设备202和后端设备204。源设备202可以在其操作期间生成日志消息。在示例中，源设备202可以是集成计算、存储和联网的超融合基础设施系统。由源设备202生成的日志消息可以包括由源设备202的文件系统206、内核和/或用户空间(图2中未示出)生成的警报。日志消息可以由在源设备202上运行的代理208传输，以由后端设备204进行处理。代理208例如可以是远程设备访问(rda)代理。
38.在示例中，后端设备204可以是云网络的一部分，该云网络将监测源设备202的操作并采取校正行为。例如，源设备202可以被安装在诸如海上钻探装置等远程站点上，并且后端设备204可以是云网络的一部分，该云网络将管理被安装在远程站点上的设备的性能。
39.系统100可以从源设备202接收日志消息，对日志消息进行去重，并将接收到的日志消息的子集传输给后端设备204。在示例中，日志消息可以作为标记消息的一部分被发送，该标记消息还包括计数和指示日志消息的时间分布的度量。在示例中，系统100可以是源设备和后端设备204之间的中间服务器。在示例中，中间服务器可以充当到后端设备204的连接的主控制器。
40.尽管系统100被示出为与源设备202不同，但是在示例中，系统100可以与源设备202相同。在这种示例中，日志消息的生成和传输都可以由系统100执行。为了传输日志消息，系统100的去重部件(图2中未示出)可以拦截由日志生成部件(诸如系统100的文件系统206、内核或用户空间)生成的日志消息，并且执行去重。此外，标记消息可以使用日志消息、计数和指示日志消息的时间分布的度量来生成。在示例中，标记消息可以以后端设备204可读的格式来生成，诸如javascript对象简谱(json)格式。标记消息然后可以被传输给代理208，以传输给后端设备204。如果标记消息由源设备202传输，则传输给中间服务器的消息的数目可以减少，从而导致进一步减少网络资源消耗。出于讨论的目的，源设备202被认为与系统100不同。
41.系统100可以通过通信网络210与源设备202和后端设备204进行通信。通信网络210可以是无线或有线网络或其组合。通信网络210可以是彼此互连并且用作单个大型网络(例如互联网或内联网)的单独的网络的集合。这种单独的网络的示例包括全球移动通信系统(gsm)网络、通用移动电信系统(umts)网络、个人通信服务(pcs)网络、时分多址(tdma)网络、码分多址(cdma)网络、下一代网络(ngn)、公共交换电话网络(pstn)和集成服务数字网络(isdn)。取决于技术，通信网络210可以包括各种网络实体，诸如收发器、网关和路由器。
42.在一些情况下，源设备202可能会生成大量的日志消息。进一步地，多个日志消息可能是重复的，因此是冗余的。为了防止后端设备204被源设备202生成的所有日志消息压
垮，系统100可以接收日志消息并标识冗余消息。
43.在示例中，在接收到日志消息时，系统100可以从日志消息获得消息值。从日志消息获得的消息值可以被称为与日志消息相对应的消息值或来自日志消息的消息值。进一步地，消息值被获得的日志消息可以被称为具有消息值的日志消息。消息值例如可以是日志消息的标识符、整个日志消息、除了日志消息中的时间戳(可以指示日志消息的生成时间)之外的整个日志消息、日志消息或其一部分的散列、日志消息的除日志消息中的唯一标识符之外的部分或其任何组合。日志消息的散列可以通过使日志消息经受散列函数来获得。唯一标识符例如可以是日志消息中的任何全局唯一标识符(guid)或通用唯一标识符(uuid)。通过不考虑用于获得消息值的唯一标识符，彼此基本上类似但在标识潜在误差时无用的细节上不同的日志消息被标识为彼此类似。例如，要被使用的消息值可以基于为生成消息值和比较消息值所花费的资源来选择。在示例中，消息值可以与字典212中的消息值进行比较，该字典212可以被存储在系统100上。
44.图3(a)示出了根据本主题的示例实现的字典212。字典212可以包括多个消息值，诸如第一消息值和第二消息值。字典212可以通过从传入的日志消息获得的消息值来填充。例如，字典212可以通过传入日志消息的散列值来填充。进一步地，字典212可以具有特定消息值的单个副本。因此，字典212中的每个消息值可以与字典中的其他消息值不同。在示例中，如果字典212中不存在消息值，则字典212可以通过从日志消息获得的消息值来填充。例如，如果从日志消息获得的消息值是第二消息值，并且如果基于第二消息值与字典212中的消息值的比较确定字典212中不存在第二消息值，则第二消息值可以被添加到字典212。通过这种方式的字典212的填充确保字典212可以保持在传入的日志消息中接收到的消息值的记录。在示例中，如果消息值是除了日志消息中的唯一标识符之外的日志消息，则存储在字典212中的消息值可以是日志消息的正则表达式(regex)版本，其可以对唯一标识符进行掩码。
45.字典212还可以存储接收到的日志消息的数目的计数，特定消息值从该日志消息被获得。例如，字典212可以存储第一消息值被获得的日志消息的数目、第二消息值被获得的消息的数目的计数等。给定消息值被获得的消息的数目可以被称为与消息值相关联的计数。例如，如果第一消息值被获得的五个日志消息被接收到，则与第一消息值相关联的计数可以是5。在示例中，字典212可以包括表格，其中与消息值相关联的计数针对消息值被指示。
46.针对消息值被获得的每个传入的日志消息，与消息值相关联的计数可以被递增1。例如，在接收到日志消息时，消息值被获得并与存储在字典中的消息值进行比较。如果所获得的消息值与特定的消息值相匹配，则与该消息值关联的计数被递增1。如果所获得的消息值与字典212中的任何消息值都不匹配，则所获得的消息值被添加到字典212，并且与该消息值相关联的计数被设置为1。消息值的比较以及递增与字典212中的消息值相关联的计数可以被称为对与消息值相对应的日志消息的数目进行计数。
47.在示例中，对与消息值相对应的日志消息的数目进行计数可以在特定的时间窗口中执行。在时间窗口到期时，与消息值相关联的计数以及具有消息值并且在特定时间窗口期间接收到的日志消息中的一个日志消息可以被传输给后端设备204。为了有助于在时间窗口到期时传输日志消息，在示例中，日志消息也可以被存储在字典212中。进一步地，与每
个消息值相关联的计数可以在字典212中被重置。随后，与消息值相对应的日志消息的数目的计数可以在后续的时间窗口中被重启。在消息值被保留但在时间窗口到期时计数被重置的情况下，这种字典212可以被称为静态字典。如果字典212是静态字典，则字典212可以在系统100的启动或初始化期间利用通常观察到的消息值列表来预加载。
48.在示例中，代替重置与消息值相关联的计数，消息值和计数可以从字典212逐出，从而清除字典212。此后，在后续的时间窗口中，字典212可以通过消息值重新填充，并且计数可以以上面解释的方式被执行。在时间窗口到期时清除字典212帮助移除从先前窗口获得的消息值并减小字典212的大小。在这种情况下，字典212可以被称为动态字典。
49.图3(b)示出了根据本主题的示例实现的字典212。字典212可以是已嵌套字典，其中消息值是以分层方式布置的。因此，一个以上的消息值可以被嵌套在另一消息值中。例如，如图所示，第三消息值和第四消息值可以被嵌套在第一消息值中，并且第五消息值和第六消息值可以被嵌套在第二消息值中。
50.字典212中的嵌套消息值可以是传入日志消息的一部分或者可以从传入日志消息的一部分导出，并且已嵌套消息值可以是传入日志消息的另一部分或者可以从传入日志的另一部分导出。进一步地，嵌套消息值可以具有多个对应的已嵌套消息值。例如，具有特定嵌套消息值的日志消息可以具有与该嵌套消息值相对应的多个已嵌套消息值中的一个已嵌套消息值。作为示例，嵌套消息值可以是源设备202的日志生成部件，诸如硬件部件或服务，并且对应的已嵌套消息值可以是由部件生成或与之相关的日志消息的主体或者日志消息的除了主体中的唯一标识符之外的主体。
51.当字典212是已嵌套字典时，从日志消息获得的消息值与字典212的比较可以在多个步骤中进行，其中步骤数目等于字典212中的层数。例如，如图所示，考虑到字典212具有两层，第一层具有第一消息值和第二消息值，并且第二层具有第三消息值至第六消息值。因此，两个消息值可以从传入的日志消息获得。例如，日志消息的一部分或从中导出的值可以是一个消息值，并且日志消息的另一部分或从中导出的值可以是另一消息值。消息值中的一个消息值可以与字典212中的嵌套消息值(诸如第一消息值和第二消息值)进行比较。如果消息值与嵌套消息值中的一个嵌套消息值(诸如第一消息值)相匹配，则来自日志消息的另一消息值可以与该嵌套消息值中的已嵌套消息值(诸如第三消息值和第四消息值)进行比较。如果另一消息值与已嵌套消息值相匹配，则与嵌套消息值和已嵌套消息值的组合(诸如第一消息值和第三消息值的组合)相关联的计数可以被递增。
52.字典212的嵌套和上面解释的步骤中的比较减少了所执行的比较次数。例如，考虑到消息值在字典212中以列表的形式布置。因此，由第一部件生成的多个消息主体和由第二部件生成的多个消息主体是在字典212中列出的。因此，如果第二部件生成的日志消息到达，则来自该日志消息的消息值可以与字典212中列出的多个消息值进行比较，包括由第一部件生成的多个消息值。另一方面，如果字典212是已嵌套字典，则在日志消息中指定的部件和主体可以作为单独的消息值被获得。进一步地，在日志消息中指定的部件可以与字典212中的消息值的第一层进行比较。一旦在日志消息中指定的部件与字典212中提及的第二部件相匹配，那么在日志消息中指定的主体与嵌套在第二部件中的主体进行比较。
53.图3(c)示出了根据本主题的示例实现的字典212。字典212可以包括关于具有消息值的日志消息的附加信息。附加信息可以包括指示与第一时间窗口中的消息值相对应的传
入日志消息的时间分布的度量。度量例如可以包括时间窗口的长度、与消息值相对应的日志消息被接收的时间窗口内的上次看到的时间戳(lst)以及与消息值相对应的日志消息之间的平均到达间隔时间(mit)。与计数类似，存储在字典212中的其他值也可以基于传入的日志消息得到更新。例如，对应于第一消息值的lst值可以在具有第一消息值的日志消息到达时得到更新。
54.字典212还可以包括关于字典是否为已嵌套字典的规范。进一步地，字典212可以包括消息值(mv)的类型的规范，即，消息值是否是整个日志消息、除日志消息中的时间戳之外的整个日志消息、日志消息或其一部分的散列、日志消息的除日志消息中的唯一标识符之外的部分等。
55.存储在字典212上的信息可以作为标记消息的一部分被传输，并且可以由后端设备204用于确定生成日志消息的根本原因并采取校正行为。
56.在示例中，系统100可以基于去重率、在先前时间窗口中接收到的不同消息值的数目、日志消息被接收的速率或其如何组合来确定后续去重要被执行的后续时间窗口的长度。进一步地，在示例中，字典212中的消息值和其他条目可以基于具有消息值的日志消息被接收的上次看到的时间戳来选择性地逐出。更进一步地，在示例中，系统100可以基于日志消息的属性对日志消息进行优先化，并且可以彼此独立地处理不同优先级的日志消息。这些方面将在下面的流程图的帮助下被解释。
57.图4至图10示出了根据本主题的示例实现的针对基于自适应时间窗口的日志消息去重执行的方法400至1000。方法400至1000被描述的顺序不旨在被解释为限制，并且任何数目的所描述的过程框可以以任何顺序被组合以实施方法400至1000或替代方法。此外，方法400至1000可以通过任何合适的硬件或执行在非暂态机器可读介质上编码的指令的硬件由(多个)处理资源或(多个)计算设备来实施。
58.可以被理解的是，方法400至1000的框可以由编程计算设备执行，并且可以基于存储在非暂态计算机可读介质中的指令来执行。非暂态计算机可读介质例如可以包括数字存储器、磁性存储介质(诸如磁盘和磁带)、硬盘驱动器或光学可读数字数据存储介质。进一步地，尽管方法400至1000可以在各种系统中被实施，但是为了便于解释，方法400至1000是关于系统100描述的。在示例中，方法400至1000的框可以由诸如处理器102等处理资源来执行。
59.参考图4，图4图示了根据本主题的示例实现的在时间窗口期间并且在时间窗口到期时执行的方法400。方法400可以由系统100执行。为了便于解释，方法400是鉴于字典212是具有存储为列表的消息值的动态字典的示例来解释的。然而，方法400也可以适用于静态字典或已嵌套字典。
60.在框402中，第一时间窗口开始。字典212可以在时间窗口的开始时被初始化。备选地，字典212可以在先前时间窗口到期时被初始化。字典212的初始化可以包括清除字典212，即，逐出字典212中的消息值和计数。
61.在框406中，日志消息被接收。在框408中，消息值是从日志消息获得的。所获得的消息值可以是第一消息值。因此，在框410中，第一消息值与字典212中的消息值进行比较。由于字典212为空，所以在框412中，确定所获得的第一消息值与字典212中的任何消息值都不匹配。因此，在框414中，第一消息值可以被添加到字典212。进一步地，在框416中，与第一
消息值相关联的计数被设置为1。由于日志消息是在第一时间窗口中接收的具有第一消息值的第一日志消息，因此在框418中，日志消息被传输给后端设备204。
62.如果随后具有第一消息值的日志消息是在框406中接收的，则在框412中，可以确定从日志消息获得的消息值与字典212中的消息值相匹配。因此，在框420中，与第一消息值相关联的计数可以被递增。然而，因为具有第一消息值的日志消息已经在第一时间窗口中被传输给后端设备204，所以该日志消息没有被传输给后端设备204。
63.如果在框406中具有第二消息值的日志消息被接收，则在框412中，可以确定从该日志消息获得的消息值与字典212中的任何消息值都不匹配。因此，分别在框414和416中，第二消息值可以被添加到字典212，并且与第二消息值相关联的计数可以被设置为1。进一步地，在框418中，具有第二消息值的日志消息被传输给后端设备204，因为该日志消息是在第一时间窗口中接收的第一日志消息并且具有第二消息值。通过这种方式，当消息值是从传入的日志消息获得时，对应于与字典212中的消息值不同的每个消息值的日志消息被传输。因此，针对每个消息值，一个日志消息被无延迟地传输给后端设备204。因此，后端设备204可以在没有任何延迟的情况下发起采取与日志消息相对应的校正行为。
64.在框422中，可以确定第一时间窗口是否已经到期。如果是，则在框424中，与在第一时间窗口中获得的每个消息值相对应的一个日志消息被传输给后端设备204。此外，与每个消息值相关联的计数也可以被传输。进一步地，关于具有消息值的日志消息的附加信息可以被传输。附加信息可以包括指示与第一时间窗口中的消息值相对应的传入日志消息的时间分布的度量。度量例如可以包括第一时间窗口的长度、与消息值相对应的日志消息被接收的第一时间窗口内的最后时间戳以及与消息值相对应的日志消息之间的平均到达间隔时间，如先前所解释的。附加信息可以由后端设备204用于确定生成日志消息的根本原因并采取校正行为。因此，附加信息的传输帮助在后端设备204处提供用于采取校正行为的各种信息，而不会给后端设备204增加冗余的传入日志消息的负担。
65.与在第一时间窗口到期时传输的消息值相对应的日志消息、与该消息值相对应的计数以及指示与该消息值相对应的传入日志消息的时间分布的度量可以被统称为与消息值相对应的标记消息。因此，针对一个时间窗口，与消息值相对应的两个消息(一个日志消息和一个标记消息)被传输给后端设备204，而与在该时间窗口中接收到的具有消息值的日志消息的数目无关，从而实现去重并且避免压垮后端设备204。
66.在框426中，第二时间窗口的长度被确定，第二时间窗口在在第一时间窗口之后并且其中与消息值相关联的日志消息的后续计数被执行。在示例中，第二时间窗口的开始可以与第一时间窗口的结束重叠。第二时间窗口的长度的确定是参考图5解释的。进一步地，在框428中，字典212可以被清除。
67.尽管方法400是参考动态字典解释的，但是方法400也可以适用于静态字典。例如，字典212的初始化可以涉及重置与字典212中的每个消息值相关联的计数，而不是清除字典212。进一步地，如果从日志消息获得的消息值在字典212中具有对应的计数0，则日志消息可以被传输给后端设备204。更进一步地，在第一时间窗口到期时，与消息值相关联的计数可以被重置。
68.图5示出了根据本主题的示例实现的用于确定第二时间窗口的长度的方法500。方法500可以由系统100执行，诸如由处理器102执行。
69.时间窗口的长度可能会影响传输给后端设备204的冗余消息(即，具有相同消息值的消息)的数目。如前所述，这是因为针对每个时间窗口，与一个消息值相对应的两个消息(一个日志消息和一个标记消息)被传输给后端设备204。因此，如果时间窗口的长度短，则与消息值相对应的多个消息可以被传输。进一步地，如果在时间窗口内具有特定消息值的日志消息的传入速率高，则多个消息可以被传输。例如，考虑到具有第一消息值的日志消息的传入速率为每分钟100个日志消息，并且每个时间窗口的长度为5秒。因此，与第一消息值相对应的20个日志消息和20个标记消息在一分钟内被传输给后端设备204。尽管减少了所传输的消息的数目，但是消息的数目可能仍然足够大，以压垮后端设备204和系统100，因为标记消息的生成也消耗了资源。因此，在本主题中，后续时间窗口的长度适用于控制传输给后端设备204的冗余日志消息的数目。
70.第二时间窗口的长度可以基于在第一时间窗口中接收到的日志消息的数目和在第一时间窗口中获得的不同消息值的数目来确定。日志消息的数目和不同消息值的数目指示针对特定数目的传入日志消息传输的消息数目。接收到的日志消息数目与传输给后端设备204的消息数目的比率可以被称为去重率(d)，并且在下面可以被数学地表示为：
71.d＝i/2h，
72.其中i是在第一时间窗口中接收到的日志消息的数目，并且h是在第一时间窗口中接收到的不同消息值的数目。此处，值h被乘以2，因为与每个不同的消息值相对应的两个消息(一个日志消息和一个标记消息)被传输。可以注意的是，如果字典212是动态字典，则h等于字典212的大小。如果字典212是静态字典，则h等于字典212中具有对应的非零计数的消息值的数目。
73.去重率的小值指示相对大量的消息被传输，这可能会压垮后端设备204。因此，如果去重率低，则第二时间窗口的长度可能会变得比第一时间窗口的长度长，使得更多的去重被执行，并且更少的消息数目被传输给后端设备204。因此，在框504中，去重率d是基于接收到的消息数目与不同消息值的数目的比率来计算的。在框506中，去重率d与第一阈值进行比较。如果去重率小于第一阈值，则可以确定第二时间窗口的长度比第一时间窗口长，使得更少的消息被传输给后端设备。因此，在框508中，第二时间窗口的长度可以被设置为比第一时间窗口大的长度。在示例中，第二时间窗口的长度可以被设置为第一时间窗口的长度的两倍的值。
74.如果去重率大于第一阈值，则在框510中，去重率可以与大于第一阈值的第二阈值进行比较。如果在框512中，确定去重率大于第二阈值，则可以确定所传输的消息数目小于后端设备204可以处理的消息数目，并且更多的消息可以被传输给后端设备204而不会压垮它。因此，在框514中，第二时间窗口的长度可以被设置为比第一时间窗口短的长度。在示例中，第二时间窗口的长度可以被设置为第一时间窗口的长度的一半的值。如果去重率小于第二阈值，则在框516中，可以确定第二时间窗口可以具有与第一时间窗口相同的长度。
75.图6示出了根据本主题的示例实现的用于确定第二时间窗口的长度的方法600。方法600可以由系统100执行。这里，除了去重率之外，在第一时间窗口期间获得的不同消息值的数目也被考虑用于确定第二时间窗口的长度。由于第一时间窗口中的大量不同消息值指示更多数目的消息被传输给后端设备204，因此针对大量不同消息值，第二时间窗口的长度可能必须被增大。相应地，针对少量不同的消息值，第二时间窗口的长度可能必须被减小。
因此，第二时间窗口的长度将与在第一时间窗口中获得的不同消息值的数目成比例。进一步地，如先前所解释的，第二时间窗口的长度与去重率成反比。
76.因此，在框602中，因数可以被计算为不同消息值的数目与去重率的比率，即，h/d。该因数可以被称为第一因数或h/d因数，并且可以与第一时间窗口的长度相乘以计算第二时间窗口的长度。
77.在示例中，第二时间窗口的长度可以基于先前时间窗口中的日志消息的传入速率来确定，因为传入速率指示随着时间流逝接收到的日志消息的数目的增加或减少。因此，使用日志消息的传入速率，泛洪场景的存在可以被标识。为了确定接收到的日志消息的数目的增加或减少，在框604中，第一时间窗口中的日志消息的传入速率与第一时间窗口之前的第零时间窗口中的日志消息的传入速率的比率可以被计算。该比率可以被称为第二因数或传入消息速率(imr)因数。imr因数的高值指示日志消息的传入速率随时间增大。因此，针对imr因数的高值，第二时间窗口的长度将大于第一时间窗口的长度，以避免由于传入速率的增大而压垮后端设备204。因此，第二时间窗口的长度将与imr因数成比例。因此，第二时间窗口的长度可以通过将imr因数乘以第一时间窗口的长度来达成。
78.在示例中，imr因数和h/d因数均可以被用于确定第二时间窗口的长度。例如，在框606中，第二时间窗口的长度可以基于第一时间窗口的长度、imr因数和h/d因数的乘积来计算。第二时间窗口的长度在下面可以被数学地表示为：
79.l2＝l1
×
imr因数
×
h/d因数
×
a
80.其中，l1和l2分别是第一时间窗口和第二时间窗口的长度。进一步地，
‘
a’可以是调节因数，其可以被用于调节后续时间窗口的值。例如，
‘
a’的值可以基于关于后端设备204针对各种长度的时间窗口的性能的观察来配置。在示例中，机器学习技术可以被用于观察后端设备204针对各种a的值的性能，并相应地调节a的值。
81.在以上示例中，动态字典被解释为在时间窗口到期时被清除，并在后续时间窗口期间被重新填充。尽管清除和重新填充可以使字典大小保持很小，但是在一些情况下，消息值可能经常被逐出并重新添加到字典212。例如，考虑到在第一时间窗口到期时，第一消息值是作为清除的一部分从字典212逐出的。还考虑到具有第一消息值的日志消息在第二时间窗口开始后不久被接收。在这种情况下，第一消息值被移除并且在短时间跨度内被添加回字典212，从而导致资源的浪费。为了防止由于频繁地移除消息值并将消息值添加到字典212而导致的开销，在示例中，即使在第一时间窗口到期之后，消息值也可以被保留在字典212中，如下面将解释的。
82.图7示出了根据本主题的示例实现的用于传输标记消息的方法700。方法700可以由系统100执行。在框702中，第二时间窗口在第一时间窗口到期时被初始化。此时，字典212可以具有在第一时间窗口期间获得的所有消息值。进一步地，字典212可以具有与每个消息值相关联的上次看到的时间戳，其指示具有该消息值的最新日志消息在第一时间窗口中被接收的时间戳。然而，与消息值相关联的计数可能为零，使得计数可能会在第二时间窗口中重新开始。
83.在框704中，可以确定自第二时间窗口开始以来间隔是否已经流逝。该间隔可以是第二时间窗口的长度的数学因数。例如，如果第二时间窗口的长度是五分钟，则间隔可以是一分钟。
84.在框706中，字典212中的消息值被标识，该消息值与过去没有日志消息在持续时间内被接收相对应。持续时间的长度可以与第二时间窗口的长度相同。例如，如果第二时间窗口的长度是五分钟，则可以确定第一消息值(存在于字典212中)是否是从过去五分钟中接收到的日志消息获得的。如果消息值被标识，使得没有与该消息值相对应的日志消息在持续时间内被接收，则该消息值是从字典212逐出的。在示例中，框706中的消息值的标识可以基于字典212中的上次看到的时间戳。
85.在框708中的消息值的逐出可以以定期间隔被重复。例如，在框710中，可以确定自从上次逐出消息值以来间隔是否已经流逝。如果是，则在框706和708中，消息值的标识和所标识的消息值的逐出被重复。因此，多组标识和逐出可以在第二时间窗口中执行。消息值的定期逐出确保与未被接收的日志消息相对应的消息值未被存储在字典212中。因此，字典212中没有过时的消息值。进一步地，由于字典212中的消息值不基于时间窗口到期而逐出，因此与在短时间跨度内移除和添加消息值相关联的开销可以被避免。
86.在示例中，如果在框710中确定间隔已经消逝，则在框712中，可以确定第二时间窗口已经到期。进一步地，如果第二时间窗口还没有到期，则框706中的标识可以被执行。如果第二时间窗口已经到期，则方法700在框714中结束。
87.在示例中，在框710中指定的间隔可以与在框704中指定的间隔相同，并且可以是第二时间窗口的长度的数学因数。通过使间隔成为第二时间窗口的长度的数学因数，逐出可以在第二时间窗口到期时被执行。例如，考虑到第二时间窗口的长度为五分钟，并且间隔为两分钟。在这种情况下，虽然逐出可以在进入第二时间窗口的第二分钟和第四分钟结束时执行，但是逐出不可以在第五分钟结束时执行。因此，针对第二时间窗口之后的第三时间窗口在字典212中保留的消息值可以包括一些过时的消息值。相反，如果间隔是一分钟(第二时间窗口的长度的因数)，则逐出也可以在第五分钟结束时被执行，从而防止将过时的消息保留在字典212中。
88.在示例中，系统100可以将日志消息优先化为不同的优先级，并且可以处理与另一优先级的日志消息不同的一个优先级的日志消息以进行去重。日志消息的优先级可以指日志消息传达的问题的严重性。在示例中，系统100可以基于日志消息的严重性来对日志消息进行优先化。日志消息的严重性例如可以是误差、警告或信息(也称为info)。因此，如果日志消息是误差日志消息，则可以被称为具有第一优先级，如果是警告日志消息，则可以被称为具有第二优先级，或者如果是信息日志消息，则可以被称为具有第三优先级。第一优先级(fp)的日志消息可以被称为fp日志消息。类似地，第二优先级(sp)的日志消息和第三优先级(tp)的日志消息可以分别被称为sp日志消息和tp日志消息。在下文中，日志消息的处理是参考两个优先级来解释的：fp和sp，其中fp高于sp。然而，下面提供的解释也可以适用于具有更高优先级的场景。
89.系统100可以独立于sp日志消息来处理fp日志消息，以用于标记消息的传输。例如，系统100可以独立于sp日志消息来对fp日志消息的数目和来自fp日志消息的不同消息值的数目进行计数。进一步地，日志消息和不同消息值的计数被执行的时间窗口可能会在两个优先级之间有所不同。例如，虽然fp日志消息的计数可以在第一时间窗口期间执行，但是sp日志消息的计数可以在可以与第一时间窗口部分重叠的第三时间窗口期间执行。因此，计数被执行的时间窗口的长度可以在一个优先权与另一优先权之间不同。
90.图8示出了根据本主题的示例实现的用于处理不同优先级的日志消息的方法800。方法800可以由系统100执行。
91.在示例中，针对不同的优先级，从日志消息获得的消息值可以不同。例如，消息值可以是除fp日志消息的时间戳之外的日志消息，并且消息值可以是除sp日志消息的时间戳之外的日志消息的散列。因此，虽然字典212可以将时间戳之外的fp日志消息存储为消息值，但是字典212可以存储除了时间戳之外的sp日志消息的散列值。进一步地，在示例中，系统100可以利用与不同优先级的日志消息相对应的不同字典。例如，字典212可以被用于与fp日志消息进行比较，并且另一字典(图8中未示出)用于与sp日志消息进行比较。为了清楚起见，字典212可以被称为第一字典212，并且另一字典可以被称为第二字典。第一字典212可以存储除了它们的时间戳之外的fp日志消息，并且第二字典可以存储除了它们的时间戳之外的sp日志消息的散列值。
92.因此，在框802中，当日志消息被接收时，日志消息的优先级在框804中被确定。在示例中，优先级可以基于日志消息的严重性属性来确定。如果日志消息是fp日志消息，则在框806中，第一字典212被取得。进一步地，在框808中，时间戳从日志消息中被移除以获得日志消息的消息值。此后，第一字典212中的消息值与来自日志消息的消息值进行比较。随后，如上面所解释的，计数在第一字典212中被递增，并且标记消息被传输。如果日志消息是sp日志消息，则在框810中，第二字典被取得。进一步地，在框812中，除时间戳之外的日志消息的散列值被获得，并与第二字典中的散列值进行比较，以递增对应消息值的计数。
93.如先前提及的，针对不同优先级的日志消息，时间窗口的长度可以是不同的，其中计数被执行并且在其到期时标记消息被传输。进一步地，针对更高的优先级，时间窗口的长度可以更小。例如，与对应于sp日志消息的时间窗口相比，对应于fp日志消息的时间窗口可以具有更小的长度。为了针对更高的优先级实现更小长度的时间窗口，针对不同的优先级，比较去重率以调节时间窗口的长度的阈值也可能会有所不同。例如，针对sp，第一阈值的值可以小于fp的值。因此，针对sp，时间窗口长度的增大可以更频繁地被执行。类似地，针对fp，第二阈值的值可以更小。因此，针对fp，时间窗口长度的减小可以更频繁地被执行。因此，与fp相对应的标记消息可以更频繁地被传输。对应于fp和sp的阈值可以分别被称为fp阈值和sp阈值。
94.尽管日志消息的优先级被解释为基于日志消息的严重性来确定，但是在一些示例中，日志消息的其他属性可以被用于对日志消息进行优先化。其他属性例如可以是源设备202的日志生成部件。由内核生成的日志消息可以是fp日志消息，而由用户空间生成的日志消息可以是sp日志消息。
95.图9示出了根据本主题的示例实现的用于执行基于自适应时间窗口的日志消息去重的方法900。方法900可以由系统100执行。
96.参考方法900，在框902中，第一优先级(fp)日志消息可以在第一时间窗口中被接收。每个fp日志消息都具有第一优先级。fp日志消息例如可以是参考图8解释的fp日志消息。在示例中，fp日志消息可以是误差日志消息。
97.在框904中，fp消息值可以从每个fp日志消息获得。消息值例如可以是整个fp日志消息、除了日志消息的特定部分之外的整个日志消息、fp日志消息的标识符、fp日志消息的散列、fp日志消息的除了fp日志消息中的唯一标识符之外的部分或其组合。
98.在框906中，与第一字典中的多个不同的fp消息值中的每个fp消息值相关联的计数被确定。该确定可以在第一时间窗口到期时被执行。多个不同的消息值可以是从在第一时间窗口中接收到的日志消息获得的消息值。与fp消息值相关联的计数指示fp消息值被获得的fp日志消息的数目。第一字典例如可以是字典212。存储在第一字典中的fp消息值被称为不同的消息值，因为第一字典存储消息值的单个副本，如先前所解释的。框906中的确定可以在通过对在第一时间窗口中接收到的fp日志消息的数目进行计数之前，fp消息值从fp日志消息被获得，如参考图2和3(a)解释的。
99.在框908中，在第一时间窗口到期时，与在第一时间窗口中获得的每个fp消息值相对应的日志消息以及与该fp消息值相关联的计数被传输给后端设备。对应于fp消息值的日志消息是fp消息值可以被获得的日志消息，如参考图2解释的。在示例中，日志消息和计数可以作为标记消息的一部分被发送，该标记消息也可以包括指示传入日志消息的时间分布的度量，如先前所解释的。
100.在框910中，第二时间窗口的长度被确定，其中fp日志消息的后续计数要被执行。该确定可以基于第一时间窗口的长度、在第一时间窗口中接收到的fp日志消息的数目以及在第一时间窗口中获得的不同的fp消息值的数目，其可以参考图5解释的
‘
h’。在示例中，确定第二时间窗口的长度包括确定在第一时间窗口中接收到的fp日志消息的数目与在第一时间窗口中获得的不同fp消息值的数目的第一比率，并且将第一比率与第一fp阈值和第二fp阈值进行比较，如参考图5解释的。第一fp阈值小于第二fp阈值。第一fp阈值和第二fp阈值可以是与fp相对应的第一阈值和第二阈值，如参考图8解释的。
101.在示例中，在第一时间窗口到期时，与多个不同的fp消息值相关联的计数在第一字典中被重置。然而，第一字典中的fp消息值被保留。在第二时间窗口中，第一字典中的fp消息值被标识，该fp消息值与没有日志消息在持续时间内被接收相对应。持续时间的长度等于第二时间窗口的长度。随后，所标识的fp消息值可以从第一字典逐出。fp消息值的标识和逐出可以以定期间隔被执行。如参考图6解释的，fp消息值的标识和逐出被执行的间隔可以是第二时间窗口的长度的数学因数。
102.在示例中，第一字典是已嵌套字典，并且存储被嵌套在第一fp消息值中的第三fp消息值和第四fp消息值，如图3(b)中所示。进一步地，响应于接收到fp日志消息，方法900可以包括从fp日志消息获得多个fp消息值。多个fp消息值例如可以是生成fp日志消息或与fp日志消息相关的部件以及所生成的fp日志消息的主体或除主体中的唯一标识符之外的fp日志消息的主体。多个fp消息值中的一个fp消息值与第一fp消息值进行比较。如果所获得的fp消息值与第一消息值相匹配，多个fp消息值中的另一fp消息值与第三fp消息值进行比较。如果另一fp消息值与第三fp消息值相匹配，则与第一fp消息值和第三fp消息值的组合相关联的计数被递增，如参考图3(b)解释的。
103.在示例中，另一优先级的日志消息可以独立于fp日志消息来接收和处理，如下面将解释的。
104.图10示出了根据本主题的示例实现的用于计数和传输与第二优先级(sp)日志消息相对应的标记消息的方法。在框1002中，第二优先级(sp)日志消息可以在第三时间窗口中被接收。sp日志消息例如可以是信息日志消息。第三时间窗口可以不同于第一时间窗口和第二时间窗口，并且可以与第一时间窗口和/或第二时间窗口部分重叠。
105.在框1004中，sp消息值可以从每个sp日志消息获得。在示例中，sp消息值可以不同于fp消息值。例如，虽然fp消息值可以是fp日志消息或除了其时间戳之外的fp日志消息，但是sp消息值可以是sp日志消息或除了其时间戳之外的sp日志消息的散列，如参考图8解释的。因此，从sp日志消息获得sp消息值可能涉及从sp日志消息中移除时间戳，并计算sp日志消息的剩余部分的散列，即，除了时间戳之外的sp日志消息。
106.在框1006中，与存储在第二字典中的多个不同的sp消息值中的每个sp消息值相关联的计数被确定。第二字典可以对应于sp，而第一字典可以对应于fp。如果所获得的fp消息值是除时间戳之外的fp日志消息，并且所获得的sp消息值是除其时间戳之外的sp日志消息的散列，则第一字典可以存储多个fp日志消息(除其时间戳之外)，并且第二字典可以存储多个sp日志消息(除其时间戳之外)的散列。因此，方法1000可以包括将除了时间戳之外的sp日志消息的散列与第二字典中的散列进行比较。
107.在框1008中，在第三时间窗口到期时，与在第三时间窗口中获得的每个sp消息值相对应的标记消息以及与该sp消息值相关联的计数被传输给后端设备。
108.在框1010中，sp日志消息的后续计数要被执行的第四时间窗口的长度被确定。该确定可以基于第三时间窗口的长度、在第三时间窗口中接收到的sp日志消息的数目以及在第三时间窗口中获得的不同sp消息值的数目。在示例中，确定第四时间窗口的长度包括确定在第三时间窗口中接收到的sp日志消息的数目与在第一时间窗口中获得的不同sp消息值的数目的第二比率。进一步地，第二比率与第一sp阈值和第二sp阈值进行比较。第一sp阈值和第二sp阈值可以对应于sp，并且可以不同于对应于fp的第一fp阈值和第二fp阈值。第一sp阈值可以小于第一fp阈值。因此，针对sp，时间窗口长度的增大可以更频繁地被执行。类似地，第二fp阈值可以小于第二sp阈值。因此，针对fp，时间窗口长度的减小可以更频繁地被执行。
109.图11示出了根据本主题的示例实现的实现用于执行基于自适应时间窗口的日志消息去重的非暂态计算机可读介质的计算环境1100。在示例中，非暂态计算机可读介质1102可以被诸如系统100的系统利用。在示例中，计算环境1100可以包括通过网络链路1106通信地耦合到非暂态计算机可读介质1102的处理资源1104。处理资源1104例如可以是处理器102。
110.非暂态计算机可读介质1102例如可以是内部存储器设备或外部存储器设备。在示例中，通信链路1106可以是直接通信链路，诸如任何存储器读/写接口。在另一示例中，通信链路1106可以是间接通信链路，诸如网络接口。在这种情况下，处理资源1104可以通过网络1108访问非暂态计算机可读介质1102。网络1108可以是单个网络或多个网络的组合，并且可以使用各种不同的通信协议。
111.处理资源1104和非暂态计算机可读介质1102也可以被通信地耦合到后端设备1110(诸如后端设备204)和源设备1112(诸如源设备202)。在示例中，非暂态计算机可读介质1102可以由源设备1112使用，使得用于消息的计数和传输的功能可以由源设备1112执行。
112.在示例实现中，非暂态计算机可读介质1102包括用于计数和传输日志消息的计算机可读指令集。该计算机可读指令集可以由处理资源1104通过通信链路1106访问，并且随后被执行。
113.参考图11，在示例中，非暂态计算机可读介质1102包括指令1114，该指令1114使处理资源1104在第一时间窗口中接收日志消息。非暂态计算机可读介质1102包括使处理资源1104从每个日志消息获得消息值的指令1116。
114.非暂态计算机可读介质1102包括指令1118，该指令1118导致对在第一时间窗口中接收到的日志消息的数目进行计数，第一消息值从该日志消息中被获得。计数可以借助于诸如字典212的字典来执行。
115.非暂态计算机可读介质1102包括指令1120，该指令1120导致在第一时间窗口到期时将与第一消息值被获得的日志消息相对应的一个日志消息以及所计数的数目传输给后端设备1110。在示例中，指令在第一时间窗口到期时导致传输指示第一时间窗口中与第一消息值相对应的传入日志消息的时间分布的度量。度量包括第一时间窗口的长度、与第一消息值相对应的日志消息被接收的第一时间窗口内的最后时间戳、与第一消息值相对应的日志消息的平均到达间隔时间以及指示时间分布的直方图，如在框324中解释的。度量、日志消息和计数可以被统称为标记消息。
116.非暂态计算机可读介质1102包括指令1122，其导致基于日志消息在第一时间窗口中被接收的速率和日志消息在第一时间窗口之前的第零时间窗口中被接收的速率来确定日志消息的后续计数要被执行的第二时间窗口的长度，如参考图6解释的。在示例中，为了确定第二时间窗口的长度，指令是可执行的以计算日志消息在第一时间窗口中被接收的速率与日志消息在第一时间窗口之前的第零时间窗口中被接收的速率的比率。该比率可以是imr因数。进一步地，第二时间窗口的长度是基于该比率和第一时间窗口的长度的乘积来确定的。
117.在示例中，该指令是可执行的以基于从在第一时间窗口中接收到的日志消息获得的不同消息值的数目来确定第二时间窗口的长度，如参考图4和5解释的。在示例中，在将日志消息和计数数目传输给后端设备之前，该指令是可执行的以将在第一时间窗口中首次接收并且第一消息值可获得的日志消息传输给后端设备，如在框318中解释的。
118.本主题减少了传输给后端设备的冗余日志消息的数目，从而防止后端设备过载。进一步地，消息可以由后端设备近实时地处理。本主题的去重技术是轻量级的，并且可以在生成日志消息的源设备处被执行。生成日志消息的源设备的资源消耗还可以被减少，因为要被转换以传输给后端设备的日志消息的数目被减少。
119.该技术还可以在后端设备和源设备之间的中间设备中实现。中间设备中的实现简化了设置(诸如阈值设置、时间窗口设置和时间段设置)的加载以及字典的加载，因为加载不是每个源设备都要执行的。
120.使用本主题的技术，由日志消息的传输生成的网络业务可以被显着减少。进一步地，本主题的技术可以在几乎不改变后端设备和生成日志消息的部件的情况下被实现。基于各种参数对后续时间窗口的长度进行调节确保了后端设备接收到的冗余消息的数目可以被减少，即使在随机持续时间的泛洪场景时。
121.尽管本主题的示例和实现已经以特定于结构特征和/或方法的语言进行描述，但是应当理解的是，本主题不必受限于所描述的具体特征或方法。相反，具体特征和方法是在本主题的一些示例实现的上下文中公开和解释的。