生成兴趣点提取模型和提取兴趣点的方法和装置与流程

[0001]
本申请涉及人工智能技术领域，具体为深度学习和地图技术。


背景技术：

[0002]
兴趣点(point of interest，poi)一般是电子地图中标注的地理信息点，可以用来查找地标点或者建筑物，例如商场、停车场、学校、医院、酒店、饭店、超市、公园、旅游景点等。
[0003]
通用兴趣点提取技术广泛应用于互联网情报挖掘、富内容链指兴趣点和跨app相互调起等场景，是地图兴趣点建设中的通用基础技术之一。
[0004]
现有兴趣点提取技术主要是基于单任务的兴趣点提取模型，适用场景也主要是互联网情报挖掘领域，缺乏全场景的应用领域。


技术实现要素：

[0005]
本公开提供了一种生成兴趣点提取模型的方法、装置和提取兴趣点的方法、装置、设备以及存储介质。
[0006]
根据本公开的第一方面，提供了一种生成兴趣点提取模型的方法，包括：获取主任务样本集和子任务样本集，其中，主任务样本包括文本信息和标注的兴趣点，子任务样本包括兴趣点和标签。将主任务样本集中每个文本信息作为输入，将每个文本信息对应的标注的兴趣点作为期望输出，训练多任务学习模型的共享层和第一条件随机场层。将子任务样本集中每个兴趣点作为输入，将每个兴趣点对应的标签作为期望输出，训练多任务学习模型的共享层和子任务输出层。响应于确定出多任务学习模型达到预定的训练完成条件，将共享层和第一条件随机场层确定为兴趣点提取模型。
[0007]
根据本公开的第二方面，提供了一种提取兴趣点的方法，包括：获取待提取兴趣点的文本信息。将文本信息输入根据第一方面中任一项的方法训练出的兴趣点提取模型，输出至少一个兴趣点。
[0008]
根据本公开的第三方面，提供了一种生成兴趣点提取模型的装置，包括：样本获取单元，被配置成获取主任务样本集和子任务样本集，其中，主任务样本包括文本信息和标注的兴趣点，子任务样本包括兴趣点和标签。主任务训练单元，被配置成将主任务样本集中每个文本信息作为输入，将每个文本信息对应的标注的兴趣点作为期望输出，训练多任务学习模型的共享层和第一条件随机场层。子任务训练单元，被配置成将子任务样本集中每个兴趣点作为输入，将每个兴趣点对应的标签作为期望输出，训练多任务学习模型的共享层和子任务输出层。输出单元，被配置成响应于确定出多任务学习模型达到预定的训练完成条件，将共享层和第一条件随机场层确定为兴趣点提取模型。
[0009]
根据本公开的第四方面，提供了一种提取兴趣点的装置，包括：文本获取单元，被配置成获取待提取兴趣点的文本信息。提取单元，被配置成将文本信息输入根据第一方面中任一项的装置训练出的兴趣点提取模型，输出至少一个兴趣点。
[0010]
根据本公开的第五方面，提供了一种电子设备，其特征在于，包括：至少一个处理器。以及与至少一个处理器通信连接的存储器。其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行第一方面中任一项的方法。
[0011]
根据本公开的第六方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，计算机指令用于使计算机执行第一方面中任一项的方法。
[0012]
根据本申请的技术，由于引进了多任务机制，可有效解决兴趣点特征表达通用性的问题，提升了模型的泛化能力，并减少了模型过拟合。
[0013]
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0014]
附图用于更好地理解本方案，不构成对本申请的限定。其中：
[0015]
图1是本申请可以应用于其中的示例性系统架构图；
[0016]
图2是根据本申请生成兴趣点提取模型的方法的一个实施例的流程图；
[0017]
图3a-3d是根据本申请生成兴趣点提取模型的方法采用的训练样本的示意图；
[0018]
图4a、4b是根据本申请生成兴趣点提取模型的方法的一个应用场景的示意图；
[0019]
图5是根据本申请提取兴趣点的方法的一个实施例的流程图；
[0020]
图6是根据本申请生成兴趣点提取模型的装置的一个实施例的结构示意图；
[0021]
图7是根据本申请提取兴趣点的装置的一个实施例的结构示意图；
[0022]
图8是用来实现本申请实施例的生成兴趣点提取模型的方法和提取兴趣点的方法的电子设备的框图。
具体实施方式
[0023]
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0024]
图1示出了可以应用本申请实施例的生成兴趣点提取模型的方法、生成兴趣点提取模型的装置、提取兴趣点的方法或提取兴趣点的装置的示例性系统架构100。
[0025]
如图1所示，系统架构100可以包括终端101、102，网络103、数据库服务器104和服务器105。网络103用以在终端101、102，数据库服务器104与服务器105之间提供通信链路的介质。网络103可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
[0026]
用户110可以使用终端101、102通过网络103与服务器105进行交互，以接收或发送消息等。终端101、102上可以安装有各种客户端应用，例如模型训练类应用、兴趣点识别类应用、购物类应用、支付类应用、网页浏览器和即时通讯工具等。
[0027]
这里的终端101、102可以是硬件，也可以是软件。当终端101、102为硬件时，可以是具有显示屏的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、mp3播放器(moving picture experts group audio la8er iii，动态影像专家压缩标准音频层面3)、
膝上型便携计算机和台式计算机等等。当终端101、102为软件时，可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块(例如用来提供分布式服务)，也可以实现成单个软件或软件模块。在此不做具体限定。
[0028]
数据库服务器104可以是提供各种服务的数据库服务器。例如数据库服务器中可以存储有样本集。样本集中包含有大量的样本。其中，样本可以包括文本信息以及与文本信息对应的标注的兴趣点，样本还可以包括兴趣点以及与兴趣点对应的成分标签、分块标签、语义配置标签。这样，用户110也可以通过终端101、102，从数据库服务器104所存储的样本集中选取样本。
[0029]
服务器105也可以是提供各种服务的服务器，例如对终端101、102上显示的各种应用提供支持的后台服务器。后台服务器可以利用终端101、102发送的样本集中的样本，对初始模型进行训练，并可以将训练结果(如生成的兴趣点提取模型)发送给终端101、102。这样，用户可以应用生成的兴趣点提取模型进行兴趣点提取。
[0030]
这里的数据库服务器104和服务器105同样可以是硬件，也可以是软件。当它们为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当它们为软件时，可以实现成多个软件或软件模块(例如用来提供分布式服务)，也可以实现成单个软件或软件模块。在此不做具体限定。
[0031]
需要说明的是，本申请实施例所提供的生成兴趣点提取模型的方法或提取兴趣点的方法一般由服务器105执行。相应地，生成兴趣点提取模型的装置或提取兴趣点的装置一般也设置于服务器105中。
[0032]
需要指出的是，在服务器105可以实现数据库服务器104的相关功能的情况下，系统架构100中可以不设置数据库服务器104。
[0033]
应该理解，图1中的终端、网络、数据库服务器和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端、网络、数据库服务器和服务器。
[0034]
继续参见图2，其示出了根据本申请的生成兴趣点提取模型的方法的一个实施例的流程200。该生成兴趣点提取模型的方法可以包括以下步骤：
[0035]
步骤201，获取主任务样本集和子任务样本集。
[0036]
在本实施例中，生成兴趣点提取模型的方法的执行主体(例如图1所示的服务器105)可以通过多种方式来获取样本集。例如，执行主体可以通过有线连接方式或无线连接方式，从数据库服务器(例如图1所示的数据库服务器104)中获取存储于其中的现有的样本集。再例如，用户可以通过终端(例如图1所示的终端101、102)来收集样本。这样，执行主体可以接收终端所收集的样本，并将这些样本存储在本地，从而生成样本集。因为要进行多任务训练，所以需要主任务样本集和子任务样本集。主任务的目的是为了训练出一个用于提取兴趣点的模型。子任务可以包括以下至少一种：兴趣点成分分析任务、兴趣点分块任务、兴趣点语义匹配任务。分别用于训练出兴趣点成分分析模型、兴趣点分块模型和兴趣点语义匹配模型。
[0037]
在这里，样本集中可以包括至少一个样本。其中，主任务样本包括文本信息和标注的兴趣点，子任务样本包括兴趣点和标签。相应的兴趣点成分分析任务对应的子任务样本包括：兴趣点和成分标签，兴趣点分块任务对应的子任务样本包括：兴趣点和分块标签，兴趣点语义匹配任务对应的子任务样本包括：2个兴趣点和语义匹配标签。
[0038]
如图3a所示为主任务的样本，主任务的样本的文本信息中包括了兴趣点，还包括其它内容，通过[poi]标注出兴趣点，[o]用于表示无关成分。主任务的样本有多个来源，例如，训练样本总量：518w，主要来源为互联网情报145w、富内容数据343w、人工标注30w。
[0039]
如图3b所示为兴趣点成分分析任务的样本，该任务的样本中兴趣点作为兴趣点成分分析模型的输入，成分标签作为兴趣点成分分析模型的期望输出，例如[loc]代表是省市区，[core]代表是核心词，[sco]代表是经营属性，[suff]代表是后缀属性。兴趣点成分分析任务的样本有多个来源，例如，训练样本总量：231.9w，主要来源为规则构建和部分人工标注。
[0040]
如图3c所示为兴趣点分块任务的样本，该任务的样本中兴趣点作为兴趣点分块模型的输入，分块标签作为兴趣点分块模型的期望输出，例如[root]代表主分块，[bran]代表分支分块，[chl]代表孩子分块。兴趣点分块任务的样本有多个来源的，例如，训练样本总量：231.9w，主要来源为规则构建和部分人工标注。
[0041]
如图3d所示为兴趣点语义匹配任务的样本，该任务的样本中2个兴趣点作为兴趣点语义匹配模型的输入，语义匹配标签作为语义匹配模型的输出。例如用0表示不匹配，1表示匹配。兴趣点语义匹配任务的样本有多个来源的，例如，训练样本总量：2431.4w，主要来源为规则构建和部分人工标注。
[0042]
这里面4个样本量级可能不一致，有可能存在数量级上的差异(任务1训练样本100w，任务2训练样本1000w)，这里主要通过每个任务相同批次的样本量差异化来控制(如：总共100个批次，任务1每批次1w，任务2每批次10w)。
[0043]
步骤202，将主任务样本集中每个文本信息作为输入，将每个文本信息对应的标注的兴趣点作为期望输出，训练多任务学习模型的共享层和第一条件随机场层。
[0044]
在本实施例中，多任务学习模型可分解为多个模型，每个模型都是一个神经网络结构，对应一个任务。多个模型之间共用一个共享层(例如，bilstm、lstm等)，但是各任务的输出层不同。主任务的输出层是第一条件随机场层。而子任务的输出层可以是具有相同结构但参数不同的条件随机场层，也可以是语义匹配模型。共享层可包括词嵌层和特征提取层(例如，自注意力层)。词嵌层用于将文本信息转换成词向量，再通过特征提取层从词向量中提取特征。然后将特征输入第一条件随机场层，输出预测的兴趣点。根据预测的兴趣点与样本中标注的兴趣点的差异调整共享层和第一条件随机场层的网络参数。
[0045]
例如，
[0046]
【输入】
[0047]
闲暇之余来到了圆明园
[0048]
荆州收费站正式开通
[0049]
爱义行天津河西店搬迁通知
[0050]
【输出】
[0051]
闲暇之余来到了[o]^b圆明园[poi]
[0052]
荆州收费站[poi]^b正式开通[o]
[0053]
爱义行天津河西店[poi]^b搬迁通知[o]
[0054]
其中，[poi]代表是兴趣点，[o]代表是无关成分
[0055]
步骤203，将子任务样本集中每个兴趣点作为输入，将每个兴趣点对应的标签作为
期望输出，训练多任务学习模型的共享层和子任务输出层。
[0056]
在本实施例中，子任务与主任务具有相同的共享层，但输出层不同。子任务的输入为兴趣点而不是文本信息，输出为兴趣点的标签，即将兴趣点进行细化分析。子任务的训练过程与主任务类似，区别在于样本不同。
[0057]
不同的任务，在模型结构上共享部分网络层(即共享层)，然后剩余网络层每个任务有自己独特的任务相关部分，训练的时候是不同训练样本同时提供给不同任务。
[0058]
步骤204，响应于确定出多任务学习模型达到预定的训练完成条件，将共享层和第一条件随机场层确定为兴趣点提取模型。
[0059]
在本实施例中，训练完成条件可以是迭代次数达到预定迭代阈值或主任务的损失值小于预定损失值阈值。主任务的损失值可通过预测的兴趣点和样本中的兴趣点的差异进行计算。损失值的计算为现有技术，因此不再赘述。当多任务学习模型达到预定的训练完成条件时，将共享层和第一条件随机场层确定为兴趣点提取模型。可选地，此时子任务训练出的模型也训练完成。可输出至少一个子任务模型。共享层与子任务输出层即可构成子任务的模型。
[0060]
本公开的上述实施例提供的方法，多任务机制通过共享部分网络层的形式联合学习，模型学习到的兴趣点特征表达更通用，整体提升模型的泛化能力，减少过拟合。由于主任务和子任务都需要提取兴趣点名称的语义表达，因此彼此之间具备较高的关联度。
[0061]
在本实施例的一些可选的实现方式中，子任务包括以下至少一种：兴趣点成分分析任务、兴趣点分块任务、兴趣点语义匹配任务；以及所述兴趣点成分分析任务对应的子任务样本包括：兴趣点和成分标签，所述兴趣点分块任务对应的子任务样本包括：兴趣点和分块标签，所述兴趣点语义匹配任务对应的子任务样本包括：2个兴趣点和语义匹配标签，3种子任务输出层分别为第二条件随机场层、第三条件随机场层、语义匹配模型。
[0062]
本申请提供的基于多任务机制的兴趣点提取方法可包括4个任务，其中：1个主任务是兴趣点提取任务，3个子任务依次是兴趣点成分分析任务、兴趣点分块任务和兴趣点深度语义匹配任务。
[0063]
由于这4个任务都需要提取兴趣点名称的语义表达，因此彼此之间具备较高的关联度。多任务机制之所以能提升主任务效果，主要有5个方面的原因：
[0064]
1)隐式数据增加，由于不同的任务具有不同的噪声模式，所以同时学习两个任务的模型能够学习更一般的表征。只学习任务a有可能过拟合任务a，而联合地学习a和b使模型能够通过平均噪声模式获得更好的表征。
[0065]
2)注意力机制,多任务机制可以帮助模型将注意力集中在重要的特征上，因为其它任务将为这些特征的相关性或不相关性提供额外的证据。
[0066]
3)窃听机制，某特征g很容易被任务b学习，但是难以被另一个任务a学习。这可能是因为a以更复杂的方式与特征进行交互，或者因为其它特征阻碍了模型学习g的能力。通过多任务机制，可以允许模型「窃听」，即任务a通过任务b学习特征g。
[0067]
4)表示偏置，任务学习让模型更倾向去学习多个任务共有的表征，这能够提高模型在未来新的相关任务上的泛化能力。
[0068]
5)正则化，多任务学习通过引入归纳偏置来对模型进行正则化，降低模型过拟合风险。
[0069]
在本实施例的一些可选的实现方式中，将主任务样本集中每个文本信息作为输入，将主任务样本集中每个标注的兴趣点作为期望输出，训练多任务学习模型的共享层和第一条件随机场层，包括：
[0070]
步骤s11，从主任务样本集选取主任务样本。
[0071]
在本实施例中，执行主体可以从步骤201中获取的主任务样本集中选取主任务样本，如图3a所示。其中，样本的选取方式和选取数量在本申请中并不限制。例如可以是随机选取至少一个样本，也可以是从中选取文本信息内容较多(即兴趣点较多)的样本。
[0072]
步骤s12，将主任务样本中的文本信息输入多任务学习模型的共享层，得到文本信息的特征。
[0073]
在本实施例中，共享层用于将文本信息转换成向量，再提取出文本信息的特征。主任务和子任务共享词嵌层(embedding layer)和特征提取层。特征提取层主要包括3层门控线性单元(gated linear)，3层分支卷积(conv branch),3层注意力机制层(self-attention layer)，3层全连接层，每层做横向规范化(layer normalization)，层与层之间做残差连接(residual connection)。
[0074]
步骤s13，将文本信息的特征输入第一条件随机场层，输出预测的兴趣点。
[0075]
在本实施例中，条件随机场层(crf layer)是命名实体识别的重要部分，本申请使用的是通用的crf层。主任务和兴趣点成分分析任务、兴趣点分块任务都使用了crf层作为输出层，它们的结构相同但参数不同，为了加以区分，所以用“第一条件随机场层”、“第二条件随机场层”、“第三条件随机场层”来命名。共享层+第一条件随机场层即构成了兴趣点提取模型，其实现的功能与现有的命名实体识别模型的功能一样，都是从文本信息中提取出兴趣点。兴趣点提取模型的输出是预测的兴趣点。
[0076]
步骤s14，将预测的兴趣点与标注的兴趣点进行比较，根据比较结果确定多任务学习模型是否达到预设的第一达标条件。
[0077]
在本实施例中，兴趣点提取模型采用有监督的模式进行训练。需要根据预测的兴趣点和标注的兴趣点进行比较，计算兴趣点提取模型的损失值。例如可以将预测的兴趣点和对应的样本标注的兴趣点作为参数，输入指定的损失函数(loss function)中，从而可以计算得到两者之间损失值。第一达标条件可以是兴趣点提取模型的损失值小于预定第一损失值阈值，也可以是迭代次数大于预定第一迭代阈值。第一达标条件还可参考子任务模型的损失值，将兴趣点提取模型的损失值和所有子任务对应模型的损失值的加权和作为总的损失值。当总的损失值小于预定总损失值阈值时，即为达到第一达标条件。
[0078]
步骤s15，响应于确定多任务学习模型未达到第一达标条件，调整多任务学习模型的共享层和第一条件随机场层的网络参数，以及从主任务样本集中重新选取主任务样本，使用调整后的多任务学习模型，继续执行步骤s12-s15。
[0079]
在本实施例中，如果多任务学习模型未达到第一达标条件，则需要调整多任务学习模型的共享层和第一条件随机场层的网络参数，继续训练模型。如果达到第一达标条件，则说明主任务的模型训练完成，达到了训练完成条件，将共享层和第一条件随机场层确定为兴趣点提取模型。通过与其它任务共享网络参数，可获得到其它任务学习的特征，有利于加快模型的收敛速度、提高模型的准确性。
[0080]
在本实施例的一些可选的实现方式中，若子任务包括兴趣点成分分析任务，则将
子任务样本集中每个兴趣点作为输入，将子任务样本集中每个标签作为期望输出，训练多任务学习模型的共享层和子任务输出层，包括：
[0081]
步骤s21，从兴趣点成分分析任务对应的子任务样本集选取子任务样本。
[0082]
在本实施例中，执行主体可以从步骤201中获取的兴趣点成分分析任务对应的样本集中选取兴趣点成分分析任务样本，如图3b所示。其中，样本的选取方式和选取数量在本申请中并不限制。例如可以是随机选取至少一个样本，也可以是从中选取兴趣点成分较多的样本。
[0083]
步骤s22，将子任务样本中的兴趣点输入多任务学习模型的共享层，得到兴趣点的特征。
[0084]
在本实施例中，此步骤与步骤s12基本相同，区别在于本步骤输入的是兴趣点，而不是文本信息。例如：
[0085]
【输入】
[0086]
安徽省第二人民医院康复医学中心
[0087]
龙凤峡风景旅游区
[0088]
尚科生物医药有限公司
[0089]
步骤s23，将兴趣点的特征输入第二条件随机场层，输出预测的成分。
[0090]
在本实施例中，此步骤与步骤s13基本相同，区别在于本步骤输出的是兴趣点的成分而不是兴趣点。例如，针对上例中的输入，其输出为：
[0091]
【输出】
[0092]
安徽省[loc]第二人民[sco]医院[suff]康复医学[sco]中心[suff]
[0093]
龙凤峡[core]风景[sco]旅游区[suff]
[0094]
尚科[core]生物医药[sco]有限公司[suff]
[0095]
其中，[loc]代表是省市区，[core]代表是核心词，[sco]代表是经营属性，[suff]代表是后缀属性
[0096]
步骤s24，将预测的成分与成分标签进行比较，根据比较结果确定多任务学习模型是否达到预设的第二达标条件。
[0097]
在本实施例中，该步骤与步骤s14基本相同，区别在于本步骤计算的是兴趣点成分分析模型(即，共享层+第二条件随机场层)的损失值。第二达标条件可以是兴趣点成分分析模型的损失值小于预定第二损失值阈值，也可以是迭代次数大于预定第二迭代阈值。第二达标条件还可参考主任务模型的损失值，将兴趣点提取模型的损失值和所有子任务对应的模型的损失值的加权和作为总的损失值，在兴趣点成分分析任务中可将其它子任务对应的模型的损失值的权重设为0。当总的损失值小于预定总损失值阈值时，即为达到第二达标条件。
[0098]
步骤s25，响应于确定多任务学习模型未达到第二达标条件，调整多任务学习模型的共享层和第二条件随机场层的网络参数，以及从兴趣点成分分析任务对应的子任务样本集中重新选取子任务样本，使用调整后的多任务学习模型，继续执行步骤s22-s25。
[0099]
在本实施例中，该步骤与步骤s15基本相同，区别在于本步骤得到的是兴趣点成分分析模型(共享层+第二条件随机场层)。通过与其它任务共享网络参数，可将本任务学习的特征分享给其它任务，有利于加快主任务的模型的收敛速度、提高主任务的模型的准确性。
本次训练还可得到用于兴趣点成分分析的模型。
[0100]
在本实施例的一些可选的实现方式中，若子任务包括兴趣点分块任务，则将子任务样本集中每个兴趣点作为输入，将子任务样本集中每个标签作为期望输出，训练多任务学习模型的共享层和子任务输出层，包括：
[0101]
步骤s31，从兴趣点分块任务对应的子任务样本集选取子任务样本。
[0102]
步骤s32，将子任务样本中的兴趣点输入多任务学习模型的共享层，得到兴趣点的特征。
[0103]
步骤s33，将兴趣点的特征输入第三条件随机场层，输出预测的分块。
[0104]
步骤s34，将预测的分块与分块标签进行比较，根据比较结果确定多任务学习模型是否达到预设的第三达标条件。
[0105]
步骤s35，响应于确定多任务学习模型未达到第三达标条件，调整多任务学习模型的共享层和第三条件随机场层的网络参数，以及从兴趣点分块任务对应的子任务样本集中重新选取子任务样本，使用调整后的多任务学习模型，继续执行步骤s32-s35。
[0106]
步骤s31-s35与步骤s21-s25基本相同，第三达标条件也类似。第三达标条件可以是兴趣点分块模型的损失值小于预定第三损失值阈值，也可以是迭代次数大于预定第三迭代阈值。第三达标条件还可参考主任务模型的损失值，将兴趣点提取模型的损失值和所有子任务对应的模型的损失值的加权和作为总的损失值，在兴趣点成分分析任务中可将其它子任务对应的模型的损失值的权重设为0。当总的损失值小于预定总损失值阈值时，即为达到第三达标条件。
[0107]
与步骤s21-s25的区别在于步骤s31-s35训练出了兴趣点分块模型，兴趣点分块模型的输入为兴趣点，输出为分块标签，如下例所示：
[0108]
【输入】
[0109]
江苏丰祺电气有限公司
[0110]
二拨子新村东区16号楼
[0111]
中国银行(金华市金东支行)
[0112]
【输出】
[0113]
江苏丰祺电气有限公司[root]
[0114]
二拨子新村[root]东区16号楼[chl]
[0115]
中国银行[root]([sym]金华市金东支行[bran])[sym]
[0116]
其中，[root]代表主分块，[bran]代表分支分块，[chl]代表孩子分块
[0117]
本实施方式通过与其它任务共享网络参数，可将本任务学习的特征分享给其它任务，有利于加快主任务的模型的收敛速度、提高主任务的模型的准确性。本次训练还可得到用于兴趣点分块的模型。
[0118]
在本实施例的一些可选的实现方式中，若子任务包括兴趣点语义匹配任务，则将子任务样本集中每个兴趣点作为输入，将子任务样本集中每个标签作为期望输出，训练多任务学习模型的共享层和子任务输出层，包括：
[0119]
步骤s41，从兴趣点语义匹配任务对应的子任务样本集选取子任务样本。
[0120]
步骤s42，将子任务样本中的2个兴趣点输入多任务学习模型的共享层，得到第一兴趣点特征和第二兴趣点特征。
[0121]
步骤s43，将第一兴趣点特征和第二兴趣点特征输入语义匹配模型，输出预测的匹配标识。
[0122]
步骤s44，将预测的匹配标识与语义匹配标签进行比较，根据比较结果确定多任务学习模型是否达到预设的第四达标条件。
[0123]
步骤s45，响应于确定多任务学习模型未达到第四达标条件，调整多任务学习模型的共享层和语义匹配模型的网络参数，以及从兴趣点语义匹配任务对应的子任务样本集中重新选取子任务样本，使用调整后的多任务学习模型，继续执行步骤s42-s45。
[0124]
步骤s41-s45与步骤s21-s25基本相同，第四达标条件也类似。区别在于步骤s41-s45得到了兴趣点语义匹配模型，兴趣点语义匹配模型的输入是2个兴趣点，输出是语义匹配标签，即，用于判断输入的2个兴趣点的语义是否一致，如果语义一致，则标签为1，如果语义不一致，则标签为0。实际预测时得到的是语义匹配的概率值(即，预测的匹配标识)，将概率值大于0.5的判定为一致。如下例所示，前两项为兴趣点，第三项为语义匹配标签，第四项为预测的匹配标识：
[0125]
【输入】
[0126]
郑州嘉泰锦和公寓酒店嘉泰锦和公寓酒店
[0127]
瑞豪专业烫染连锁(白云万达店)万达广场(白云店)
[0128]
北京北汽福仓储物流有限公司北京北汽福仓储运公司
[0129]
上海东泰物流园上海智家物流园
[0130]
【输出】
[0131]
郑州嘉泰锦和公寓酒店嘉泰锦和公寓酒店10.9999809
[0132]
瑞豪专业烫染连锁(白云万达店)万达广场(白云店)05.3390722e-06
[0133]
北京北汽福仓储物流有限公司北京北汽福仓储运公司10.98167026
[0134]
上海东泰物流园上海智家物流园0 2.1510616e-05
[0135]
本实施方式通过与其它任务共享网络参数，可将本任务学习的特征分享给其它任务，有利于加快主任务的模型的收敛速度、提高主任务的模型的准确性。本次训练还可得到用于兴趣点语义匹配的模型。
[0136]
进一步参见图4a，图4a是根据本实施例的生成兴趣点提取模型的方法的一个应用场景的示意图。图4a中，左侧的单任务学习流程是现有技术，右侧的多任务学习的流程是本申请的方案。该应用场景包括4个任务，其中：1个主任务是兴趣点提取任务，3个子任务依次是兴趣点成分分析任务、兴趣点分块任务和兴趣点深度语义匹配任务。针对每个任务输入相应的样本进行训练，如图3a-3d所示。图4a中shared layers为共享层，包括了词嵌层(embedding layer)和自注意力层(self attention layer)。词嵌层用于将文本信息或兴趣占转换成向量，自注意力层作为特征提取层用于提取向量的特征。task specific layers用于表示具体的输出层。虽然兴趣点提取任务、兴趣点成分分析任务、兴趣点分块任务都有crf layer(条件随机场层)，但他们的参数不一样。最特别的是深度语义学习任务，将2个兴趣点通过共享层后的输出(self attention output)作为语义匹配模型的输入。语义匹配模型的结构可包括多头注意力层(multi-head attention)、级联层(concat)、全连接层(fc)、分类层(softmax)，语义匹配模型的输出为两个兴趣点匹配的概率(prob)。使用该结构能够提升匹配度计算速度，并提高匹配的准确率。
[0137]
在本实施例的一些可选的实现方式中，自注意力层的结构可如图4b的右侧所示，包括3层门控线性单元(gated linear)，3层分支卷积(conv branch),3层注意力机制层(self-attention layer)，3层全连接层，每层做横向规范化(layer normalization)，层与层之间做残差连接(residual connection)。该结构能够快速、准确地提取特征。
[0138]
请参见图5，其示出了本申请提供的提取兴趣点的方法的一个实施例的流程500。该提取兴趣点的方法可以包括以下步骤：
[0139]
步骤501，获取待提取兴趣点的文本信息。
[0140]
在本实施例中，提取兴趣点的方法的执行主体(例如图1所示的服务器105)可以通过多种方式来获取文本信息。例如，执行主体可以通过有线连接方式或无线连接方式，从网页中抓取文本信息。再例如，执行主体也可以接收终端(例如图1所示的终端101、102)或其他设备输入的文本信息。文本信息可以是一整篇文本，但是送入模型前会先使用标点符号将文章切分为句子，最终送入模型的是一个一个的句子。
[0141]
步骤502，将文本信息输入兴趣点提取模型，输出至少一个兴趣点。
[0142]
在本实施例中，执行主体可以将步骤501中获取的文本信息输入兴趣点提取模型中，从而输出至少一个兴趣点。例如，【输入】闲暇之余来到了圆明园【输出】闲暇之余来到了[o]^b圆明园[poi]。其中，[poi]代表是兴趣点，[o]代表是无关成分。
[0143]
在本实施例中，兴趣点提取模型可以是采用如上述图2实施例所描述的方法而生成的。具体生成过程可以参见图2实施例的相关描述，在此不再赘述。
[0144]
本申请提供的方法，可以显著提升通用场景下兴趣点提取的准确率和召回率，在多任务机制和训练数据优化双重因素影响叠加下，通用场景的兴趣点提取准确率65.5％->88.9％，绝对提升23.4％，兴趣点提取召回率44.8％->88.1％，绝对提升43.3％。该模型提升效果后续会广泛应用在互联网情报挖掘、兴趣点富内容链指等多个领域。
[0145]
可选地，每个子任务也可得到相应的模型，然后利用这些模型对兴趣点进行成分分析、分块、检测两个兴趣点的语义是否匹配。
[0146]
继续参见图6，作为对上述图2所示方法的实现，本申请提供了一种生成兴趣点提取模型的装置的一个实施例。该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
[0147]
如图6所示，本实施例的生成兴趣点提取模型的装置600可以包括：样本获取单元601、主任务训练单元602、子任务训练单元603、输出单元604。其中，样本获取单元601，被配置成获取主任务样本集和子任务样本集，其中，主任务样本包括文本信息和标注的兴趣点，子任务样本包括兴趣点和标签。主任务训练单元602，被配置成将主任务样本集中每个文本信息作为输入，将每个文本信息对应的标注的兴趣点作为期望输出，训练多任务学习模型的共享层和第一条件随机场层。子任务训练单元603，被配置成将子任务样本集中每个兴趣点作为输入，将每个兴趣点对应的标签作为期望输出，训练多任务学习模型的共享层和子任务输出层。输出单元604，被配置成响应于确定出多任务学习模型达到预定的训练完成条件，将共享层和第一条件随机场层确定为兴趣点提取模型。
[0148]
在本实施例的一些可选的实现方式中，子任务包括以下至少一种：兴趣点成分分析任务、兴趣点分块任务、兴趣点语义匹配任务。以及兴趣点成分分析任务对应的子任务样本包括：兴趣点和成分标签，兴趣点分块任务对应的子任务样本包括：兴趣点和分块标签，
兴趣点语义匹配任务对应的子任务样本包括：2个兴趣点和语义匹配标签，3种子任务输出层分别为第二条件随机场层、第三条件随机场层、语义匹配模型。
[0149]
在本实施例的一些可选的实现方式中，主任务训练单元602进一步被配置成：从主任务样本集选取主任务样本，执行第一训练步骤：将主任务样本中的文本信息输入多任务学习模型的共享层，得到文本信息的特征。将文本信息的特征输入第一条件随机场层，输出预测的兴趣点。将预测的兴趣点与标注的兴趣点进行比较。根据比较结果确定多任务学习模型是否达到预设的第一达标条件。响应于确定多任务学习模型未达到第一达标条件，调整多任务学习模型的共享层和第一条件随机场层的网络参数，以及从主任务样本集中重新选取主任务样本，使用调整后的多任务学习模型，继续执行第一训练步骤。
[0150]
在本实施例的一些可选的实现方式中，若子任务包括兴趣点成分分析任务，则子任务训练单元603包括第一子任务训练单元，被配置成：从兴趣点成分分析任务对应的子任务样本集选取子任务样本，执行第二训练步骤：将子任务样本中的兴趣点输入多任务学习模型的共享层，得到兴趣点的特征。将兴趣点的特征输入第二条件随机场层，输出预测的成分。将预测的成分与成分标签进行比较。根据比较结果确定多任务学习模型是否达到预设的第二达标条件。响应于确定多任务学习模型未达到第二达标条件，调整多任务学习模型的共享层和第二条件随机场层的网络参数，以及从兴趣点成分分析任务对应的子任务样本集中重新选取子任务样本，使用调整后的多任务学习模型，继续执行第二训练步骤。
[0151]
在本实施例的一些可选的实现方式中，若子任务包括兴趣点分块任务，则子任务训练单元603包括第二子任务训练单元，被配置成：从兴趣点分块任务对应的子任务样本集选取子任务样本，执行第三训练步骤：将子任务样本中的兴趣点输入多任务学习模型的共享层，得到兴趣点的特征。将兴趣点的特征输入第三条件随机场层，输出预测的分块。将预测的分块与分块标签进行比较。根据比较结果确定多任务学习模型是否达到预设的第三达标条件。响应于确定多任务学习模型未达到第三达标条件，调整多任务学习模型的共享层和第三条件随机场层的网络参数，以及从兴趣点分块任务对应的子任务样本集中重新选取子任务样本，使用调整后的多任务学习模型，继续执行第三训练步骤。
[0152]
在本实施例的一些可选的实现方式中，若子任务包括兴趣点语义匹配任务，则子任务训练单元603包括第三子任务训练单元，被配置成：从兴趣点语义匹配任务对应的子任务样本集选取子任务样本，执行第四训练步骤：将子任务样本中的2个兴趣点输入多任务学习模型的共享层，得到第一兴趣点特征和第二兴趣点特征。将第一兴趣点特征和第二兴趣点特征输入语义匹配模型，输出预测的匹配标识。将预测的匹配标识与语义匹配标签进行比较。根据比较结果确定多任务学习模型是否达到预设的第四达标条件。响应于确定多任务学习模型未达到第四达标条件，调整多任务学习模型的共享层和语义匹配模型的网络参数，以及从兴趣点语义匹配任务对应的子任务样本集中重新选取子任务样本，使用调整后的多任务学习模型，继续执行第四训练步骤。
[0153]
在本实施例的一些可选的实现方式中，语义匹配模型包括：多头注意力层、级联层、全连接层、分类层。
[0154]
在本实施例的一些可选的实现方式中，共享层包括词嵌层、特征提取层，其中，特征提取层包括3层门控线性单元，3层分支卷积，3层注意力机制层，3层全连接层，每层做横向规范化，层与层之间做残差连接。
[0155]
继续参见图7，作为对上述图5所示方法的实现，本申请提供了一种提取兴趣点的装置的一个实施例。该装置实施例与图5所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
[0156]
如图7所示，本实施例的提取兴趣点的装置700可以包括：文本获取单元701和提取单元702。其中，文本获取单元701，被配置成获取待提取兴趣点的文本信息。提取单元702，被配置成将文本信息输入根据步骤201-205训练出的兴趣点提取模型，输出至少一个兴趣点。
[0157]
根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。
[0158]
如图8所示，是根据本申请实施例的生成兴趣点提取模型的方法和提取兴趣点的方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
[0159]
如图8所示，该电子设备包括：一个或多个处理器801、存储器802，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示gui的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图8中以一个处理器801为例。
[0160]
存储器802即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的生成兴趣点提取模型的方法和提取兴趣点的方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的生成兴趣点提取模型的方法和提取兴趣点的方法。
[0161]
存储器802作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的生成兴趣点提取模型的方法对应的程序指令/模块(例如，附图6所示的样本获取单元601、主任务训练单元602、子任务训练单元603、输出单元604)。处理器801通过运行存储在存储器802中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的生成兴趣点提取模型的方法。
[0162]
存储器802可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据生成兴趣点提取模型的方法和提取兴趣点的方法的电子设备的使用所创建的数据等。此外，存储器802可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器802可选包括相对于处理器801远程设置的存储器，这些远程存储器可以通过网络连接至生成兴趣点提取模型的方法和提取兴趣点的
方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
[0163]
生成兴趣点提取模型的方法和提取兴趣点的方法的电子设备还可以包括：输入装置803和输出装置804。处理器801、存储器802、输入装置803和输出装置804可以通过总线或者其他方式连接，图8中以通过总线连接为例。
[0164]
输入装置803可接收输入的数字或字符信息，以及产生与生成兴趣点提取模型的方法和提取兴趣点的方法的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置804可以包括显示设备、辅助照明装置(例如，led)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(lcd)、发光二极管(led)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
[0165]
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用asic(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
[0166]
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(pld))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
[0167]
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
[0168]
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)和互联网。
[0169]
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通
过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以为分布式系统的服务器，或者是结合了区块链的服务器。服务器也可以是云服务器，或者是带人工智能技术的智能云计算服务器或智能云主机。服务器可以为分布式系统的服务器，或者是结合了区块链的服务器。服务器也可以是云服务器，或者是带人工智能技术的智能云计算服务器或智能云主机。
[0170]
根据本申请实施例的技术方案，可以显著提升通用场景下兴趣点提取的准确率和召回率。
[0171]
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
[0172]
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。