突发事件处理方法、装置、电子设备和存储介质与流程

文档序号:33277775发布日期:2023-02-24 20:09阅读:52来源:国知局
突发事件处理方法、装置、电子设备和存储介质与流程

1.本公开涉及数据处理技术领域,具体地,涉及一种突发事件处理方法、装置、电子设备和存储介质。


背景技术:

2.相关技术中,可通过基于模版匹配的方法来识别突发事件上报文本中的情景,但该方案对突发事件上报文本的多样化内容的适应性能力差,新的突发事件上报文本如果格式或者内容有变化,基于已有模版,识别效果就会非常差。而传统机器学习模型需要依赖大规模标注数据集,由于突发事件的样本数据集较少,导致训练得到的情景识别模型的适应能力较差,识别准确率较低。


技术实现要素:

3.本公开的目的是提供一种突发事件处理方法、装置、电子设备和存储介质,通过先使用包含多个专项的第二样本数据训练原始识别网络,能够得到适应能力较广且抽取较为准确的基础识别网络,再使用数据量较少的第一样本数据对基础识别网络进行目标专项训练,从而得到对应于该目标专项的目标情景识别模型,以便得到适应能力广且识别准确率高的目标情景识别模型。
4.根据本公开实施例的第一方面,提供一种突发事件处理方法,包括:
5.获取突发事件文本;
6.确定所述突发事件文本对应的目标专项;
7.确定与所述目标专项对应的目标情景识别模型以及该目标专项对应的多个目标情景要素;
8.通过所述目标情景识别模型确定所述突发事件文本对应于所述多个目标情景要素的第一情景识别结果,所述目标情景识别模型基于第一样本数据训练基础识别网络得到,所述基础识别网络基于第二样本数据训练原始识别网络得到,所述第一样本数据包括所述多个目标情景要素以及与所述目标专项对应的多个第一样本事件文本,所述第二样本数据至少包括多个专项对应的第二样本事件文本以及与每个专项对应的结构化要素;
9.确定与所述第一情景识别结果相匹配的目标应急预案。
10.可选地,所述基础识别网络通过以下步骤得到:
11.根据多个专项对应的第二样本事件文本以及与每个专项对应的结构化要素,以抽取结构化数据为目标,对所述原始识别网络进行多轮迭代的抽取训练;
12.在每一轮迭代训练之后,获取本轮抽取训练输出的第一抽取结果;
13.根据本轮抽取训练输出的第一抽取结果以及本轮抽取训练中的第二样本事件文本携带的第一标注标签,得到本轮抽取训练对应的第一抽取损失;
14.根据所述本轮抽取训练对应的第一抽取损失,对所述原始识别网络进行优化;
15.在所述原始识别网络满足第一预设条件的情况下,停止训练,得到所述基础识别
网络。
16.可选地,所述第二样本数据还包括多个第三样本事件文本,所述第三样本事件文本由历史应急事件文本进行掩码后得到,所述历史应急事件文本至少包括所述第一样本事件文本所对应的文本;
17.所述基础识别网络通过以下步骤得到:
18.根据第二样本数据中的多个专项对应的第二样本事件文本以及与每个专项对应的结构化要素,以抽取结构化数据为目标,以及,根据第二样本数据中的多个第三样本事件文本,以语义识别为目标,对所述原始识别网络进行多轮迭代的联合训练;
19.在每一轮联合训练之后,获取本轮联合训练输出的第二抽取结果和语义识别结果;
20.根据本轮联合训练输出的第二抽取结果以及本轮联合训练中的第二样本事件文本携带的第二标注标签,得到本轮联合训练对应的第二抽取损失;
21.根据本轮联合训练输出的语义识别结果以及本轮联合训练中的第三样本事件文本对应的历史应急事件文本,得到本轮联合训练对应的语义识别损失;
22.根据所述本轮联合训练对应的第二抽取损失和语义识别损失,对所述原始识别网络进行优化;
23.在所述原始识别网络满足第二预设条件的情况下,停止训练,得到所述基础识别网络。
24.可选地,所述目标情景识别模型通过以下步骤得到:
25.根据所述多个目标情景要素以及与所述目标专项对应的多个第一样本事件文本,以抽取情景为目标,对所述基础识别网络进行多轮迭代的抽取训练;
26.在每一轮迭代训练之后,获取本轮抽取训练输出的第三抽取结果;
27.根据本轮抽取训练输出的第三抽取结果以及本轮抽取训练中的第一样本事件文本携带的第三标注标签,得到本轮抽取训练对应的第三抽取损失;
28.根据所述本轮抽取训练对应的第三抽取损失,对所述基础识别网络进行优化;
29.在所述基础识别网络满足第三预设条件的情况下,停止训练,得到所述目标情景识别模型。
30.可选地,所述第一样本事件文本通过以下步骤得到:
31.获取属于目标专项的多个历史突发事件文本;
32.针对每个历史突发事件文本,获取该历史突发事件文本对应的第二情景识别结果,所述第二情景识别结果包括多个目标情景要素、多个目标情景要素对应的抽取词以及由多个目标情景要素对应的抽取词组合而成的目标情景;
33.将所述第二情景识别结果标注为该历史突发事件文本的标签,得到所述第一样本事件文本。
34.可选地,所述第三样本事件文本通过以下步骤得到:
35.获取多个历史应急事件文本,所述多个历史应急事件文本至少包括所述第一样本事件文本中的文本;
36.针对每一个历史应急事件文本,对该历史应急事件文本进行掩码操作,得到掩码文本;
37.将该历史应急事件文本标注为所述掩码文本的标签,得到所述第三样本事件文本。
38.根据本公开实施例的第二方面,提供一种突发事件处理装置,包括:
39.第一获取模块,被配置为获取突发事件文本;
40.第一确定模块,被配置为确定所述突发事件文本对应的目标专项;
41.第二确定模块,被配置为确定与所述目标专项对应的目标情景识别模型以及该目标专项对应的多个目标情景要素;
42.第三确定模块,被配置为通过所述目标情景识别模型确定所述突发事件文本对应于所述多个目标情景要素的第一情景识别结果,所述目标情景识别模型基于第一样本数据训练基础识别网络得到,所述基础识别网络基于第二样本数据训练原始识别网络得到,所述第一样本数据包括所述多个目标情景要素以及与所述目标专项对应的多个第一样本事件文本,所述第二样本数据至少包括多个专项对应的第二样本事件文本以及与每个专项对应的结构化要素;
43.第四确定模块,被配置为确定与所述第一情景识别结果相匹配的目标应急预案。
44.可选地,所述装置还包括:
45.第一训练模块,被配置为根据多个专项对应的第二样本事件文本以及与每个专项对应的结构化要素,以抽取结构化数据为目标,对所述原始识别网络进行多轮迭代的抽取训练;
46.第二获取模块,被配置为在每一轮迭代训练之后,获取本轮抽取训练输出的第一抽取结果;
47.第一获得模块,被配置为根据本轮抽取训练输出的第一抽取结果以及本轮抽取训练中的第二样本事件文本携带的第一标注标签,得到本轮抽取训练对应的第一抽取损失;
48.第一优化模块,被配置为根据所述本轮抽取训练对应的第一抽取损失,对所述原始识别网络进行优化;
49.第二获得模块,被配置为在所述原始识别网络满足第一预设条件的情况下,停止训练,得到所述基础识别网络。
50.可选地,所述第二样本数据还包括多个第三样本事件文本,所述第三样本事件文本由历史应急事件文本进行掩码后得到,所述历史应急事件文本至少包括所述第一样本事件文本所对应的文本;
51.所述装置还包括:
52.第二训练模块,被配置为根据第二样本数据中的多个专项对应的第二样本事件文本以及与每个专项对应的结构化要素,以抽取结构化数据为目标,以及,根据第二样本数据中的多个第三样本事件文本,以语义识别为目标,对所述原始识别网络进行多轮迭代的联合训练;
53.第三获取模块,被配置为在每一轮联合训练之后,获取本轮联合训练输出的第二抽取结果和语义识别结果;
54.第三获得模块,被配置为根据本轮联合训练输出的第二抽取结果以及本轮联合训练中的第二样本事件文本携带的第二标注标签,得到本轮联合训练对应的第二抽取损失;
55.第四获得模块,被配置为根据本轮联合训练输出的语义识别结果以及本轮联合训
练中的第三样本事件文本对应的历史应急事件文本,得到本轮联合训练对应的语义识别损失;
56.第二优化模块,被配置为根据所述本轮联合训练对应的第二抽取损失和语义识别损失,对所述原始识别网络进行优化;
57.第五获得模块,被配置为在所述原始识别网络满足第二预设条件的情况下,停止训练,得到所述基础识别网络。
58.可选地,所述装置还包括:
59.第三训练模块,被配置为根据所述多个目标情景要素以及与所述目标专项对应的多个第一样本事件文本,以抽取情景为目标,对所述基础识别网络进行多轮迭代的抽取训练;
60.第四获取模块,被配置为在每一轮迭代训练之后,获取本轮抽取训练输出的第三抽取结果;
61.第六获得模块,被配置为根据本轮抽取训练输出的第三抽取结果以及本轮抽取训练中的第一样本事件文本携带的第三标注标签,得到本轮抽取训练对应的第三抽取损失;
62.第三优化模块,被配置为根据所述本轮抽取训练对应的第三抽取损失,对所述基础识别网络进行优化;
63.第七获得模块,被配置为在所述基础识别网络满足第三预设条件的情况下,停止训练,得到所述目标情景识别模型。
64.可选地,所述装置还包括:
65.第五获取模块,被配置为获取属于目标专项的多个历史突发事件文本;
66.第六获取模块,被配置为针对每个历史突发事件文本,获取该历史突发事件文本对应的第二情景识别结果,所述第二情景识别结果包括多个目标情景要素、多个目标情景要素对应的抽取词以及由多个目标情景要素对应的抽取词组合而成的目标情景;
67.第八获得模块,被配置为将所述第二情景识别结果标注为该历史突发事件文本的标签,得到所述第一样本事件文本。
68.可选地,所述装置还包括:
69.第七获取模块,被配置为获取多个历史应急事件文本,所述多个历史应急事件文本至少包括所述第一样本事件文本中的文本;
70.掩码模块,被配置为针对每一个历史应急事件文本,对该历史应急事件文本进行掩码操作,得到掩码文本;
71.第九获得模块,被配置为将该历史应急事件文本标注为所述掩码文本的标签,得到所述第三样本事件文本。
72.根据本公开实施例的第三方面,提供一种电子设备,包括:
73.存储器,其上存储有计算机程序;
74.处理器,用于执行所述存储器中的所述计算机程序,以实现本公开实施例第一方面所述突发事件处理方法的步骤。
75.本公开实施例第四方面提供一种非临时性计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现本公开实施例第一方面所述突发事件处理方法的步骤。
76.通过上述技术方案,使用与突发事件文本相对应的目标情景识别模型对该突发事件文本进行抽取,且为抽取与该突发事件文本相对应的多个目标情景要素的情景,得到第一情景识别结果,从而能够确定与该第一情景识别结果相匹配的目标应急预案。其中,目标情景识别模型基于第一样本数据训练基础识别网络得到,基础识别网络基于第二样本数据训练原始识别网络得到,第一样本数据包括多个目标情景要素以及与目标专项对应的多个第一样本事件文本,第二样本数据至少包括多个专项对应的第二样本事件文本以及与每个专项对应的结构化要素。先使用包含多个专项的第二样本数据训练原始识别网络,能够得到适应能力较广且抽取较为准确的基础识别网络,再使用数据量较少的第一样本数据对基础识别网络进行目标专项训练,从而得到对应于该目标专项的目标情景识别模型,以便得到适应能力广且识别准确率高的目标情景识别模型,从而使得到的第一情景识别结果更加准确,以便得到准确的目标应急预案。
77.本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
78.附图是用来提供对本公开的进一步理解,并且构成说明书的一部分,与下面的具体实施方式一起用于解释本公开,但并不构成对本公开的限制。在附图中:
79.图1是根据一示例性实施例示出的一种突发事件处理方法的流程图。
80.图2是根据一示例性实施例示出的一种基础识别网络的训练方法的流程图。
81.图3是根据一示例性实施例示出的另一种基础识别网络的训练方法的流程图。
82.图4是根据一示例性实施例示出的一种目标情景识别模型的训练方法的流程图。
83.图5是根据一示例性实施例示出的一种突发事件处理装置框图。
84.图6是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
85.以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是,此处所描述的具体实施方式仅用于说明和解释本公开,并不用于限制本公开。
86.相关技术中,可通过基于模版匹配的方法来识别突发事件上报文本中的情景,但该方案对突发事件上报文本的多样化内容的适应性能力差,新的突发事件上报文本如果格式或者内容有变化,基于已有模版,识别效果就会非常差。而传统机器学习模型需要依赖大规模标注数据集,由于突发事件的样本数据集较少,导致训练得到的情景识别模型的适应能力较差,识别准确率较低。
87.针对上述问题,本公开实施例提供了一种突发事件处理方法、装置、电子设备和存储介质,通过先使用包含多个专项的第二样本数据训练原始识别网络,能够得到适应能力较广且抽取较为准确的基础识别网络。再使用数据量较少的第一样本数据对基础识别网络进行目标专项训练,从而得到对应于该目标专项的目标情景识别模型。以便得到适应能力广且识别准确率高的目标情景识别模型,从而使得到的第一情景识别结果更加准确,以便得到准确的目标应急预案。
88.图1是根据一示例性实施例示出的一种突发事件处理方法的流程图,如图1所示,该方法包括以下步骤:
89.在步骤s101中,获取突发事件文本。
90.其中,突发事件可为突然发生,造成或者可能造成严重社会危害,需要采取应急处置措施予以应对的自然灾害、事故灾难、公共卫生事件和社会安全事件。突发事件文本为对突发事件的具体内容进行描述的详细文本。
91.在步骤s102中,确定突发事件文本对应的目标专项。
92.在本实施方式中,针对突发事件进行了分类,即,将不同类型的突发事件分为了不同的专项,例如危化专项和防汛专项等等。可对突发事件文本进行简单的语义和/或文本识别,即可确定该突发事件文本对应的目标专项。或者,每个突发事件文本携带专项标签,该专项标签可为该突发事件文本的撰写者进行标注的标签,可直接根据该突发事件文本的专项标签确定该突发事件文本对应的目标专项。
93.在步骤s103中,确定与该目标专项对应的目标情景识别模型以及该目标专项对应的多个目标情景要素。
94.在本实施方式中,每个专项对应一个情景识别模型,用于对属于该专项的突发事件文本进行情景抽取,得到情景识别结果。每个专项还对应多个情景要素,即,将每个专项对应的情景分为多个情景要素。从而能够根据该突发事件文本对应的目标专项确定对应的目标情景识别模型以及该目标专项对应的多个目标情景要素。例如,若该突发事件文本对应的专项为危化专项,即,该突发事件文本对应的目标专项为危化专项,目标情景识别模型可为危化专项对应的情景识别模型。多个目标情景要素可为该危化专项对应的多个情景要素,例如危化专项对应的多个情景要素可为:具体场所、设施、灾害因素和现象。
95.在步骤s104中,通过目标情景识别模型确定突发事件文本对应于多个目标情景要素的第一情景识别结果,目标情景识别模型基于第一样本数据训练基础识别网络得到,基础识别网络基于第二样本数据训练原始识别网络得到,第一样本数据包括多个目标情景要素以及与目标专项对应的多个第一样本事件文本,第二样本数据至少包括多个专项对应的第二样本事件文本以及与每个专项对应的结构化要素。
96.在本实施方式中,可将该突发事件文本以及该突发事件文本对应的多个目标情景要素输入目标情景识别模型,即可输出该突发事件文本对应的第一情景识别结果。其中,在目标情景识别模型的训练过程中,先通过第二样本数据训练原始识别网络得到基础识别网络,再通过第一样本数据训练基础识别网络得到目标情景识别模型。其中,第一样本数据包括多个目标情景要素以及与目标专项对应的多个第一样本事件文本,第二样本数据至少包括多个专项对应的第二样本事件文本以及与每个专项对应的结构化要素,其中,结构化要素可包括情景要素,从而先使用包含多个专项的第二样本数据训练原始识别网络,能够得到适应能力较广且抽取较为准确的基础识别网络,再使用数据量较少的第一样本数据对基础识别网络进行目标专项训练,从而得到对应于该目标专项的目标情景识别模型,以便得到适应能力广且识别准确率高的目标情景识别模型。
97.例如,突发事件文本为:2020年10月,深圳海上某干货船y轮与一艘供油船在供受汽油作业过程中,y轮发生爆炸,船尾上层建筑被炸后翻扣于船舶机舱与后货舱之间,机舱严重受损,后进水导致船尾坐浅、仅船头露出水面。
98.该突发事件文本对应的专项为危化专项,目标情景要素为:具体场所、设施、灾害因素和现象。其中,将该突发事件文本以及多个目标情景要素输入目标情景识别模型后,输
出的第一情景识别结果为:((情景:海上汽油船舶爆炸),(具体场所:海上,灾害因素:汽油,设施:船舶,现象:爆炸)),即,输出的第一情景识别结果包括每个目标情景要素对应的抽取文本以及由该多个目标情景要素对应的抽取文本组合而成的概括情景。
99.在步骤s105中,确定与第一情景识别结果相匹配的目标应急预案。
100.在本实施方式中,可预先设置有应急预案匹配表,该应急预案匹配表包含情景识别结果与应急预案之间的关联关系,可根据不同的情景识别结果,查询应急预案表,即可匹配得到对应的应急预案。可根据第一情景识别结果,查询应急预案表,得到与第一情景识别结果相匹配的目标应急预案,以便根据该目标应急预案对该突发事件进行快速且准确的处理。
101.在本实施例中,先使用包含多个专项的第二样本数据训练原始识别网络,能够得到适应能力较广且抽取较为准确的基础识别网络,再使用数据量较少的第一样本数据对基础识别网络进行目标专项训练,从而得到对应于该目标专项的目标情景识别模型。以便得到适应能力广且识别准确率高的目标情景识别模型,从而使得到的第一情景识别结果更加准确,以便得到准确的目标应急预案,从而能够根据该目标应急预案对该突发事件进行快速且准确的处理。
102.对于目标情景识别模型,可先获取训练样本,并根据训练样本训练得到目标情景识别模型。例如,可先使用包含多个专项的第二样本数据训练原始识别网络,得到适应能力较广且抽取较为准确的基础识别网络,再使用数据量较少的第一样本数据对基础识别网络进行目标专项训练,从而得到对应于该目标专项的目标情景识别模型。
103.图2是根据一示例性实施例示出的一种基础识别网络的训练方法的流程图,如图2所示,在一种可能的实施方式中,基础识别网络可通过以下步骤得到:
104.在步骤s201中,根据多个专项对应的第二样本事件文本以及与每个专项对应的结构化要素,以抽取结构化数据为目标,对原始识别网络进行多轮迭代的抽取训练。
105.在本实施方式中,可先获取第二样本数据,该第二样本数据可包括多个专项对应的第二样本事件文本以及与每个专项对应的结构化要素。其中,第二样本事件文本可通过公开的数据库获取,例如,采集公开的数据库的所有文本数据和对应的结构化数据,构成平行文本结构对数据集dpair,其中,结构化数据为结构化要素对应的数据,每个平行文本结构对用(x,y)来表示,其中,x为文本数据,y为结构化数据。例如,公开的数据库中的文本数据为:某某药,是一种水杨酸类药物,通常用作止痛剂、解热药和消炎药,亦能用于治疗某些特定的疾病,例如川崎氏病、心包炎,以及风湿热等等。对应的结构化数据包括:药物:某某药;疾病:川崎氏病、心包炎和风湿热;关系:治疗。
106.然后,可根据多个专项对应的第二样本事件文本以及与每个专项对应的结构化要素,以抽取结构化数据为目标,对原始识别网络进行多轮迭代的抽取训练。即,在每一轮的抽取训练中,获取部分第二样本事件文本以及其对应的结构化要素,分别对原始识别网络进行训练。
107.可选地,原始识别网络采用transformer结构的编码器和解码器,编码器的参数是θ,解码器的参数是α,输入包括两部分,schema和文本,schema的表示为s,具体含义是代表要抽取哪些要素及关系,文本表示为x,编码器的输出为h,解码器的输出为y,h和y可以通过如下表达式计算:
108.h=encoder(x,s,θ)
109.y=decoder(h,α)
110.其中encoder(
·
)是transformer编码器,decoder(
·
)是transformer解码器。
111.在步骤s202中,在每一轮迭代训练之后,获取本轮抽取训练输出的第一抽取结果。
112.在本实施方式中,在每一轮迭代训练之后,原始识别网络能够输出对应的预测的结构化数据识别结果,即第一抽取结果,该预测的结构化数据识别结果可包括预测的每个结构化要素对应的结构化数据以及由每个结构化数据组合而成的文本。
113.在步骤s203中,根据本轮抽取训练输出的第一抽取结果以及本轮抽取训练中的第二样本事件文本携带的第一标注标签,得到本轮抽取训练对应的第一抽取损失。
114.在本实施方式中,可根据第一抽取结果与对应的第一标注标签之间的距离,确定第一抽取损失,其中,第一标注标签为第二样本事件文本对应的实际的结构化数据识别结果,该实际的结构化数据识别结果可包括实际的每个结构化要素对应的结构化数据以及由每个结构化数据组合而成的文本。第一抽取损失的计算公式可为:
[0115][0116]
其中,p(y|x,s;θ,α)为第一抽取结果与第一标注标签相同的概率。
[0117]
在步骤s204中,根据本轮抽取训练对应的第一抽取损失,对原始识别网络进行优化。
[0118]
在本实施方式中,在得到第一抽取损失之后,可根据第一抽取损失,得到调整参数,并根据调整参数对原始识别网络进行优化。例如,可根据梯度下降算法,得到调整参数θ1和α1,并使用θ1和α1作为新的编码器参数和解码器参数。
[0119]
在步骤s205中,在原始识别网络满足第一预设条件的情况下,停止训练,得到基础识别网络。
[0120]
在本实施方式中,第一预设条件可为关于训练轮数的条件,例如,第一预设条件可为训练轮数达到50万,当训练轮数达到50万时,停止训练,得到基础识别网络。第一预设条件还可为原始识别网络收敛,当原始识别网络收敛时,停止训练,得到基础识别网络。
[0121]
图3是根据一示例性实施例示出的另一种基础识别网络的训练方法的流程图,如图3所示,在一种可能的实施方式中,第二样本数据还包括多个第三样本事件文本,第三样本事件文本由历史应急事件文本进行掩码后得到,历史应急事件文本至少包括第一样本事件文本所对应的文本。从而可通过第二样本事件文本和第三样本事件文本对原始识别网络进行联合训练来得到基础识别网络。
[0122]
所述基础识别网络可通过以下步骤得到:
[0123]
在步骤s301中,根据第二样本数据中的多个专项对应的第二样本事件文本以及与每个专项对应的结构化要素,以抽取结构化数据为目标,以及,根据第二样本数据中的多个第三样本事件文本,以语义识别为目标,对原始识别网络进行多轮迭代的联合训练。
[0124]
在本实施方式中,可通过第二样本事件文本和第三样本事件文本对原始识别网络进行多轮迭代的联合训练来得到基础识别网络。其中,对于第二样本事件文本,以抽取结构化数据为目标,即,输入第二样本事件文本和对应的结构化要素,即可通过原始识别网络中
的编码器和解码器,得到预测的结构化数据识别结果;对于第三样本事件文本,以语义识别为目标,即,输入第三样本事件文本,即可通过原始识别网络中的编码器,得到预测的语义识别结果,该预测的语义识别结果为对第三样本事件文本中的掩码进行还原后的文本。
[0125]
在步骤s302中,在每一轮联合训练之后,获取本轮联合训练输出的第二抽取结果和语义识别结果。
[0126]
在本实施方式中,对于每一轮训练,可通过第二样本事件文本以及其对应的结构化要素,对原始识别网络进行训练,得到第二抽取结果,该第二抽取结果为预测的结构化数据识别结果。还可通过第三样本事件文本对原始识别网络进行训练,得到语义识别结果,该语义识别结果为预测的对对第三样本事件文本中的掩码进行还原后的文本。训练的先后顺序不做限定。
[0127]
在步骤s303中,根据本轮联合训练输出的第二抽取结果以及本轮联合训练中的第二样本事件文本携带的第二标注标签,得到本轮联合训练对应的第二抽取损失。
[0128]
在本实施方式中,第二标注标签可与第一标注标签相同,第二抽取损失的计算方式和第一抽取损失的计算方式相同,在此不做赘述。
[0129]
在步骤s304中,根据本轮联合训练输出的语义识别结果以及本轮联合训练中的第三样本事件文本对应的历史应急事件文本,得到本轮联合训练对应的语义识别损失。
[0130]
在本实施方式中,可根据语义识别结果与第三样本事件文本携带的标注标签的距离得到语义识别损失,其中,与第三样本事件文本携带的标注标签即为该第三样本事件文本对应的历史应急事件文本。语义识别损失的计算方法可为:
[0131][0132]
其中,m

为对历史应急事件文本m进行掩码后得到的文本,p(m|m

;θ)为语义识别结果与历史应急事件文本相同的概率,d
tex
为多个第三样本事件文本。
[0133]
在步骤s305中,根据本轮联合训练对应的第二抽取损失和语义识别损失,对原始识别网络进行优化。
[0134]
在本实施方式中,可根据本轮联合训练得到的第二抽取损失和语义识别损失,得到本轮联合训练的总损失。例如,可将第二抽取损失和语义识别损失的和确定为本轮联合训练的总损失。并根据本轮联合训练的总损失,得到调整参数θ2和α2,并使用θ2和α2作为新的编码器参数和解码器参数。
[0135]
在步骤s306中,在原始识别网络满足第二预设条件的情况下,停止训练,得到所述基础识别网络。
[0136]
在本实施方式中,第二预设条件可为关于训练轮数的条件,例如,第二预设条件可为训练轮数达到50万,当训练轮数达到50万时,停止训练,得到基础识别网络。第二预设条件还可为原始识别网络收敛,当原始识别网络收敛时,停止训练,得到基础识别网络。例如,得到的基础识别网络的编码器参数可为θ
pre
,解码器参数可为α
pre

[0137]
通过上述联合训练方法,能够得到比较好的初始参数,学习到更丰富的语义表示,提高得到的基础识别网络的语义识别能力以及对文本多样性的适应能力,提高情景的识别准确度。
[0138]
其中,第三样本事件文本可通过以下步骤得到:
[0139]
获取多个历史应急事件文本,该多个历史应急事件文本至少包括第一样本事件文本中的文本。
[0140]
针对每一个历史应急事件文本,对该历史应急事件文本进行掩码操作,得到掩码文本。
[0141]
将该历史应急事件文本标注为掩码文本的标签,得到第三样本事件文本。
[0142]
在本实施方式中,第一样本事件文本中的文本可包括应急上报文本,历史应急事件文本可包括应急上报文本、应急预案文本和应急事故案例文本等。针对每个历史应急事件文本,对该任一一个历史应急事件文本进行掩码操作,即对该历史应急事件文本中的部分内容进行掩码,即可得到掩码文本,即,该掩码文本为该历史应急事件文本损坏后的文本。将该历史应急事件文本标注为该掩码文本的标签,得到第三样本事件文本。即,每个第三样本事件文本包括掩码文本以及对应的标签,该标签为该掩码文本对应的历史应急事件文本。使用多个第三样本事件文本对基础识别网络进行训练,能够学习到多种应急文本的语义表示,提高基础识别网络对多种应急文本的语义识别能力。
[0143]
图4是根据一示例性实施例示出的一种目标情景识别模型的训练方法的流程图,如图4所示,在一种可能的实施方式中,在得到基础识别网络后,可获取数量较少的第一样本数据来对基础识别网络进行目标专项训练,以便得到对应于该目标专项的目标情景识别模型。该目标情景识别模型通过以下步骤得到:
[0144]
在步骤s401中,根据多个目标情景要素以及与目标专项对应的多个第一样本事件文本,以抽取情景为目标,对基础识别网络进行多轮迭代的抽取训练。
[0145]
在本实施方式中,多个第一样本事件文本均为目标专项对应的样本,例如,该目标专项为危化专项,则该第一样本事件文本中的文本也为关于危化专项的文本。在每一轮训练中,从多个第一样本事件文本中获取部分文本,并结合多个目标情景要素,输入基础识别网络,并以抽取情景为目标,即可通过基础识别网络输出预测的情景识别结果。
[0146]
在步骤s402中,在每一轮迭代训练之后,获取本轮抽取训练输出的第三抽取结果。
[0147]
在本实施方式中,本轮抽取训练输出的第三抽取结果即为本轮抽取训练中通过基础识别网络输出预测的情景识别结果。
[0148]
在步骤s403中,根据本轮抽取训练输出的第三抽取结果以及本轮抽取训练中的第一样本事件文本携带的第三标注标签,得到本轮抽取训练对应的第三抽取损失。
[0149]
在本实施方式中,可根据第三抽取结果与第三标注标签之间的距离,确定第三抽取损失,例如,第三抽取损失的计算公式可为:
[0150][0151]
其中,d
task
为第一样本数据,s1为多个目标情景要素,x1为第一样本事件文本,y1为第三标注标签。其中,s1还可包含多个目标情景要素之间的关系,例如组合关系。
[0152]
在步骤s404中,根据本轮抽取训练对应的第三抽取损失,对基础识别网络进行优化。
[0153]
在本实施方式中,根据得到的第三抽取损失,计算得到调整参数θ3和α3,并使用θ3
和α3作为新的编码器参数和解码器参数。
[0154]
在步骤s405中,在基础识别网络满足第三预设条件的情况下,停止训练,得到目标情景识别模型。
[0155]
在本实施方式中,第三预设条件可为关于训练轮数的条件,例如,第三预设条件可为训练轮数达到50,当训练轮数达到50时,停止训练,得到目标情景识别模型。第三预设条件还可为基础识别网络收敛,当基础识别网络收敛时,停止训练,得到目标情景识别模型。其中,在训练过程中,数据集会取10%出来作为验证集,90%作为训练集,每一轮训练后的模型都会计算它在验证集上的f1值,f1值最高的那一轮训练对应的模型作为最终的目标情景识别模型。
[0156]
在一种可能的实施方式中,第一样本事件文本可通过以下步骤得到:
[0157]
获取属于目标专项的多个历史突发事件文本。
[0158]
针对每个历史突发事件文本,获取该历史突发事件文本对应的第二情景识别结果,第二情景识别结果包括多个目标情景要素、多个目标情景要素对应的抽取词以及由多个目标情景要素对应的抽取词组合而成的目标情景。
[0159]
将第二情景识别结果标注为该历史突发事件文本的标签,得到第一样本事件文本。
[0160]
在本实施方式中,历史突发事件文本可为应急上报文本,目标专项为当前需要处理的突发事件文本对应的专项。例如,目标专项为危化专项,则获取属于危化专项的多个历史突发事件文本。针对每个历史突发事件文本,获取该历史突发事件文本对应的第二情景识别结果,第二情景识别结果包括多个目标情景要素、多个目标情景要素对应的抽取词以及由多个目标情景要素对应的抽取词组合而成的目标情景。例如,第二情景识别结果可为((情景:海上汽油船舶爆炸,(具体场所:海上,灾害因素:汽油,设施:船舶,现象:爆炸))。其中,目标情景为:海上汽油船舶爆炸;多个目标情景要素可为:具体场所、灾害因素、设施和现象;多个目标情景要素对应的抽取词为:具体场所:海上,灾害因素:汽油,设施:船舶,现象:爆炸。
[0161]
其中,第二情景识别结果可为通过人工进行识别的结果,并保存在对应的数据库中,在从数据库中获取历史突发事件文本时,即可直接获取对应的第二情景识别结果。
[0162]
得到第二情景识别结果后,即可将第二情景识别结果标注为该历史突发事件文本的标签,得到第一样本事件文本。
[0163]
图5是根据一示例性实施例示出的一种突发事件处理装置框图。参照图5,该装置500包括第一获取模块501、第一确定模块502、第二确定模块503、第三确定模块504和第四确定模块505。
[0164]
该第一获取模块501,被配置为获取突发事件文本;
[0165]
该第一确定模块502,被配置为确定所述突发事件文本对应的目标专项;
[0166]
该第二确定模块503,被配置为确定与所述目标专项对应的目标情景识别模型以及该目标专项对应的多个目标情景要素;
[0167]
该第三确定模块504,被配置为通过所述目标情景识别模型确定所述突发事件文本对应于所述多个目标情景要素的第一情景识别结果,所述目标情景识别模型基于第一样本数据训练基础识别网络得到,所述基础识别网络基于第二样本数据训练原始识别网络得
到,所述第一样本数据包括所述多个目标情景要素以及与所述目标专项对应的多个第一样本事件文本,所述第二样本数据至少包括多个专项对应的第二样本事件文本以及与每个专项对应的结构化要素;
[0168]
该第四确定模块505,被配置为确定与所述第一情景识别结果相匹配的目标应急预案。
[0169]
可选地,所述装置500还包括:
[0170]
第一训练模块,被配置为根据多个专项对应的第二样本事件文本以及与每个专项对应的结构化要素,以抽取结构化数据为目标,对所述原始识别网络进行多轮迭代的抽取训练;
[0171]
第二获取模块,被配置为在每一轮迭代训练之后,获取本轮抽取训练输出的第一抽取结果;
[0172]
第一获得模块,被配置为根据本轮抽取训练输出的第一抽取结果以及本轮抽取训练中的第二样本事件文本携带的第一标注标签,得到本轮抽取训练对应的第一抽取损失;
[0173]
第一优化模块,被配置为根据所述本轮抽取训练对应的第一抽取损失,对所述原始识别网络进行优化;
[0174]
第二获得模块,被配置为在所述原始识别网络满足第一预设条件的情况下,停止训练,得到所述基础识别网络。
[0175]
可选地,所述第二样本数据还包括多个第三样本事件文本,所述第三样本事件文本由历史应急事件文本进行掩码后得到,所述历史应急事件文本至少包括所述第一样本事件文本所对应的文本;
[0176]
所述装置500还包括:
[0177]
第二训练模块,被配置为根据第二样本数据中的多个专项对应的第二样本事件文本以及与每个专项对应的结构化要素,以抽取结构化数据为目标,以及,根据第二样本数据中的多个第三样本事件文本,以语义识别为目标,对所述原始识别网络进行多轮迭代的联合训练;
[0178]
第三获取模块,被配置为在每一轮联合训练之后,获取本轮联合训练输出的第二抽取结果和语义识别结果;
[0179]
第三获得模块,被配置为根据本轮联合训练输出的第二抽取结果以及本轮联合训练中的第二样本事件文本携带的第二标注标签,得到本轮联合训练对应的第二抽取损失;
[0180]
第四获得模块,被配置为根据本轮联合训练输出的语义识别结果以及本轮联合训练中的第三样本事件文本对应的历史应急事件文本,得到本轮联合训练对应的语义识别损失;
[0181]
第二优化模块,被配置为根据所述本轮联合训练对应的第二抽取损失和语义识别损失,对所述原始识别网络进行优化;
[0182]
第五获得模块,被配置为在所述原始识别网络满足第二预设条件的情况下,停止训练,得到所述基础识别网络。
[0183]
可选地,所述装置500还包括:
[0184]
第三训练模块,被配置为根据所述多个目标情景要素以及与所述目标专项对应的多个第一样本事件文本,以抽取情景为目标,对所述基础识别网络进行多轮迭代的抽取训
练;
[0185]
第四获取模块,被配置为在每一轮迭代训练之后,获取本轮抽取训练输出的第三抽取结果;
[0186]
第六获得模块,被配置为根据本轮抽取训练输出的第三抽取结果以及本轮抽取训练中的第一样本事件文本携带的第三标注标签,得到本轮抽取训练对应的第三抽取损失;
[0187]
第三优化模块,被配置为根据所述本轮抽取训练对应的第三抽取损失,对所述基础识别网络进行优化;
[0188]
第七获得模块,被配置为在所述基础识别网络满足第三预设条件的情况下,停止训练,得到所述目标情景识别模型。
[0189]
可选地,所述装置500还包括:
[0190]
第五获取模块,被配置为获取属于目标专项的多个历史突发事件文本;
[0191]
第六获取模块,被配置为针对每个历史突发事件文本,获取该历史突发事件文本对应的第二情景识别结果,所述第二情景识别结果包括多个目标情景要素、多个目标情景要素对应的抽取词以及由多个目标情景要素对应的抽取词组合而成的目标情景;
[0192]
第八获得模块,被配置为将所述第二情景识别结果标注为该历史突发事件文本的标签,得到所述第一样本事件文本。
[0193]
可选地,所述装置500还包括:
[0194]
第七获取模块,被配置为获取多个历史应急事件文本,所述多个历史应急事件文本至少包括所述第一样本事件文本中的文本;
[0195]
掩码模块,被配置为针对每一个历史应急事件文本,对该历史应急事件文本进行掩码操作,得到掩码文本;
[0196]
第九获得模块,被配置为将该历史应急事件文本标注为所述掩码文本的标签,得到所述第三样本事件文本。
[0197]
关于上述实施例中的装置500,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
[0198]
图6是根据一示例性实施例示出的一种电子设备的框图。例如,电子设备600可以被提供为一服务器。参照图6,电子设备600包括处理器622,其数量可以为一个或多个,以及存储器632,用于存储可由处理器622执行的计算机程序。存储器632中存储的计算机程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外,处理器622可以被配置为执行该计算机程序,以执行上述的突发事件处理方法。
[0199]
另外,电子设备600还可以包括电源组件626和通信组件650,该电源组件626可以被配置为执行电子设备600的电源管理,该通信组件650可以被配置为实现电子设备600的通信,例如,有线或无线通信。此外,该电子设备600还可以包括输入/输出接口658。电子设备600可以操作基于存储在存储器632的操作系统。
[0200]
在另一示例性实施例中,还提供了一种包括程序指令的计算机可读存储介质,该程序指令被处理器执行时实现上述的突发事件处理方法的步骤。例如,该非临时性计算机可读存储介质可以为上述包括程序指令的存储器632,上述程序指令可由电子设备600的处理器622执行以完成上述的突发事件处理方法。
[0201]
在另一示例性实施例中,还提供一种计算机程序产品,该计算机程序产品包含能
够由可编程的装置执行的计算机程序,该计算机程序具有当由该可编程的装置执行时用于执行上述的突发事件处理方法的代码部分。
[0202]
以上结合附图详细描述了本公开的优选实施方式,但是,本公开并不限于上述实施方式中的具体细节,在本公开的技术构思范围内,可以对本公开的技术方案进行多种简单变型,这些简单变型均属于本公开的保护范围。
[0203]
另外需要说明的是,在上述具体实施方式中所描述的各个具体技术特征,在不矛盾的情况下,可以通过任何合适的方式进行组合,为了避免不必要的重复,本公开对各种可能的组合方式不再另行说明。
[0204]
此外,本公开的各种不同的实施方式之间也可以进行任意组合,只要其不违背本公开的思想,其同样应当视为本公开所公开的内容。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1