报文校验方法和装置与流程

1.本发明涉及数据通信技术领域，可用于金融领域，尤其涉及一种报文校验方法和装置。


背景技术：

2.系统接口间的交互，是通过报文的流转达到信息传输的目的。报文到达目标业务系统后因系统安全和健壮性的要求，会对报文做一系列必输性、业务含义、合法性的校验。当有大量无效报文到达目标业务系统后，目标业务系统依然会对每一个无效报文进行校验筛查，极大地增加了目标业务系统的运载压力。


技术实现要素：

3.有鉴于此，本发明提供一种报文校验方法和装置，以解决上述提及的至少一个问题。
4.为了实现上述目的，本发明采用以下方案：
5.根据本发明的第一方面，提供一种报文校验方法，所述方法包括：获取进入业务系统前网络中传输的二进制流报文；将所述二进制流报文作为分类预测模型的输入，经过所述分类预测模型处理得到二分类的输出结果，所述输出结果包括有效报文或无效报文；将输出结果为有效报文的二进制流报文发送至业务系统，将输出结果为无效报文的二进制流报文予以丢弃。
6.根据本发明的第二方面，提供一种报文校验装置，所述装置包括：报文获取单元，用于获取进入业务系统前网络中传输的二进制流报文；模型预测单元，用于将所述二进制流报文作为分类预测模型的输入，经过所述分类预测模型处理得到二分类的输出结果，所述输出结果包括有效报文或无效报文；传输单元，用于将输出结果为有效报文的二进制流报文发送至业务系统，将输出结果为无效报文的二进制流报文予以丢弃。
7.根据本发明的第三方面，提供一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，处理器执行所述计算机程序时实现上述方法的步骤。
8.根据本发明的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述方法的步骤。
9.根据本发明的第五方面，提供一种计算机程序产品，包括计算机程序/指令，其所述计算机程序/指令被处理器执行时实现上述方法的步骤。
10.由上述技术方案可知，本技术可通过对网络中传输的二进制流直接进行判断，过滤掉非法报文，以减少业务系统的负载压力。
附图说明
11.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现
有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
12.图1是本技术实施例提供的一种报文校验方法的流程示意图；
13.图2本技术另一实施例提供的一种报文校验方法的流程示意图；
14.图3是本技术实施例提供的一种报文校验装置的结构示意图；
15.图4是本技术实施例提供的一种传输单元的结构示意图；
16.图5是本发明实施例提供的电子设备的示意图。
具体实施方式
17.为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。
18.如图1所示为本技术实施例提供的一种报文校验方法的流程示意图，本实施例是从报文预处理系统侧进行的描述，该报文预处理系统可以实现本实施例报文校验的所有方法步骤，该报文预处理系统可以作为一个中间件代理，放置在真实的业务系统前。该方法包括如下步骤：
19.步骤s101：获取进入业务系统前网络中传输的二进制流报文。
20.二进制流报文是报文在网络中传输的一种数据格式，其在进入业务系统后会进行反序列化得到对象报文，比如js对象简谱(javascript object notation，json)报文，其是一种轻量级的数据交换格式。这种经过反序列化后得到的js对象报文即为工作人员可以明确读懂的报文格式，但对于二进制流报文来说，机器可以读懂，因此本技术通过直接获取网络中的二进制流报文来实施后续报文校验工作。
21.步骤s102：将所述二进制流报文作为分类预测模型的输入，经过所述分类预测模型处理得到二分类的输出结果，所述输出结果包括有效报文或无效报文。
22.优选的，该分类预测模型为自然语言处理模型(natural language processing，nlp)，比如基于转换器的双向编码器表示模型(bidirectionalencoder representations from transformer，bert)或者wordvec模型等。
23.优选的，该分类预测模型基于如下训练得到：将训练报文进行反序列化操作得到二进制流训练报文，所述二进制流训练报文的标签为有效报文或无效报文，将二进制流训练报文构成的训练数据集作为输入进行模型训练，得到分类预测模型。
24.该分类预测模型在进行二分类判断时，可以通过提取二进制报文的特征，判断该报文中是否有空内容或者是否有非法字符，来判断该报文是否为非法报文，如果含有空内容或者含有非法字符，则模型输出该报文的标签为无效报文。
25.优选的，上述分类预测模型采用深度学习算法解决二分类问题，该深度学习算法比如可以包括：基于卷积运算的神经网络系统、基于多层神经元的自编码神经网络或深度置信网络等。
26.步骤s103：将输出结果为有效报文的二进制流报文发送至业务系统，将输出结果为无效报文的二进制流报文予以丢弃。
27.优选的，本步骤中将输出结果为有效报文的二进制流报文发送至业务系统可以进一步包括：将输出结果为有效报文的二进制流报文进行返序列化处理得到业务系统输入报文，将所述业务系统输入报文发送至业务系统。
28.由上述技术方案可知，本技术报文校验方法，由于通过对网络传输中报文的二进制流直接进行判断，过滤掉非法报文，因此进入业务系统的报文数量减少，需要进行反序列化的报文数量也相应减少，而且业务系统也不必再对反序列化后的报文进行额外的校验，因此大幅减少了业务系统的负载压力。另外引入深度学习的方法对报文二进制流进行特征提取、识别和分类，可以更加高效准确地完成非法报文的滤除过程。
29.如图2所示为本技术另一实施例提供的一种报文校验方法的流程示意图，本实施例是从前端的负载均衡系统侧对本技术进行的描述，该方法包括：
30.步骤s201：获取进入负载均衡系统的二进制流报文。
31.步骤s202：将所述二进制流报文作为分类预测模型的输入，经过所述分类预测模型处理得到二分类的输出结果，所述输出结果包括有效报文或无效报文。
32.步骤s203：将输出结果为有效报文的二进制流报文通过负载均衡系统后发送至对应的业务系统，将输出结果为无效报文的二进制流报文予以丢弃。
33.图1所对应的实施例是将报文预处理系统作为一个中间件代理，放置在真实的业务系统前，从而可以减少进入业务的无效报文，而本实施例是将报文预处理系统集成在负载均衡系统侧，这种设置方式是可以减少无效报文从负载均衡系统进入传输网络，从而不但可以减少进入业务系统的无效报文数量，还可以起到减轻网络传输压力的效果。
34.如图3所示为本技术实施例提供的一种报文校验装置的结构示意图，该装置包括：报文获取单元310、模型预测单元320和传输单元330，其中模型预测单元320分别和反序列化单元310及传输单元330相连。
35.报文获取单元310用于获取进入业务系统前网络中传输的二进制流报文。在本实施例中，本步骤接收的二进制流报文比如可以反序列化为json报文。
36.优选的，报文获取单元310还可用于获取进入负载均衡系统的二进制流报文。
37.模型预测单元320用于将所述二进制流报文作为分类预测模型的输入，经过所述分类预测模型处理得到二分类的输出结果，所述输出结果包括有效报文或无效报文。
38.优选的，该分类预测模型为自然语言处理模型(natural language processing，nlp)，比如基于转换器的双向编码器表示模型(bidirectionalencoder representations from transformer，bert)或者wordvec模型等。
39.优选的，该分类预测模型基于如下训练得到：将训练报文进行反序列化操作得到二进制流训练报文，所述二进制流训练报文的标签为有效报文或无效报文，将二进制流训练报文构成的训练数据集作为输入进行模型训练，得到分类预测模型。
40.该分类预测模型在进行二分类判断时，可以通过提取二进制报文的特征，判断该报文中是否有空内容或者是否有非法字符，来判断该报文是否为非法报文，如果含有空内容或者含有非法字符，则模型输出该报文的标签为无效报文。
41.优选的，上述分类预测模型采用深度学习算法解决二分类问题，该深度学习算法比如可以包括：基于卷积运算的神经网络系统、基于多层神经元的自编码神经网络或深度置信网络等。
42.传输单元330用于将输出结果为有效报文的二进制流报文发送至业务系统，将输出结果为无效报文的二进制流报文予以丢弃。
43.当报文获取单元310获取进入负载均衡系统的二进制流报文时，对应的传输单元330可用于将输出结果为有效报文的二进制流报文通过负载均衡系统后发送至对应的业务系统。
44.优选的，如图4所示，传输单元330可包括：反序列化处理模块331、传输模块332和无效报文处理模块333，其中反列化处理模块331用于将输出结果为有效报文的二进制流报文进行反序列化处理得到业务系统输入报文，传输模块332用于将业务系统输入报文发送至业务系统，无效报文处理模块333用于将无效报文的二进制流报文予以丢弃。
45.由上述技术方案可知，本技术提供的报文校验装置，由于通过对网络传输中报文的二进制流直接进行判断，过滤掉非法报文，因此进入业务系统的报文数量减少，需要进行反序列化的报文数量也相应减少，而且业务系统也不必再对反序列化后的报文进行额外的校验，因此大幅减少了业务系统的负载压力。另外当本技术的方法和装置应用于负载均衡侧时，还可以减少网络传输压力。最后引入深度学习的方法对报文二进制流进行特征提取、识别和分类，可以更加高效准确地完成非法报文的滤除过程。
46.图5是本发明实施例提供的电子设备的示意图。图5所示的电子设备为通用数据处理装置，其包括通用的计算机硬件结构，其至少包括处理器501和存储器502。处理器501和存储器502通过总线503连接。存储器502适于存储处理器501可执行的一条或多条指令或程序。该一条或多条指令或程序被处理器501执行以实现上述报文校验方法中的步骤。
47.上述处理器501可以是独立的微处理器，也可以是一个或者多个微处理器集合。由此，处理器501通过执行存储器502所存储的命令，从而执行如上所述的本发明实施例的方法流程实现对于数据的处理和对于其他装置的控制。总线503将上述多个组件连接在一起，同时将上述组件连接到显示控制器504和显示装置以及输入/输出(i/o)装置505。输入/输出(i/o)装置505可以是鼠标、键盘、调制解调器、网络接口、触控输入装置、体感输入装置、打印机以及本领域公知的其他装置。典型地，输入/输出(i/o)装置505通过输入/输出(i/o)控制器506与系统相连。
48.其中，存储器502可以存储软件组件，例如操作系统、通信模块、交互模块以及应用程序。以上所述的每个模块和应用程序都对应于完成一个或多个功能和在发明实施例中描述的方法的一组可执行程序指令。
49.本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时以实现上述报文校验方法的步骤。
50.本发明实施例还提供一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现上述报文校验方法的步骤。
51.综上所述，本发明实施例提供的本技术提供的报文校验方法和装置，由于通过对网络传输中报文的二进制流直接进行判断，过滤掉非法报文，因此进入业务系统的报文数量减少，需要进行反序列化的报文数量也相应减少，而且业务系统也不必再对反序列化后的报文进行额外的校验，因此大幅减少了业务系统的负载压力。另外当本技术的方法和装置应用于负载均衡侧时，还可以减少网络传输压力。最后引入深度学习的方法对报文二进制流进行特征提取、识别和分类，可以更加高效准确地完成非法报文的滤除过程。
52.以上参照附图描述了本发明的优选实施方式。这些实施方式的许多特征和优点根据该详细的说明书是清楚的，因此权利要求旨在覆盖这些实施方式的落入其真实精神和范围内的所有这些特征和优点。此外，由于本领域的技术人员容易想到很多修改和改变，因此不是要将本发明的实施方式限于所例示和描述的精确结构和操作，而是可以涵盖落入其范围内的所有合适修改和等同物。
53.本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
54.本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
55.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
56.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
57.以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。