一种物品信息提取方法和装置与流程

文档序号:24398325发布日期:2021-03-26 23:43阅读:138来源:国知局
一种物品信息提取方法和装置与流程

1.本发明涉及计算机技术领域,尤其涉及一种物品信息提取方法和装置。


背景技术:

2.在信息技术高速发展的今天,互联网早已成为人们日常生活中必不可少的一部分,网上输入信息已成为一种重要的信息采集渠道,如何有效管理信息、深度挖掘信息中的特征值,是目前考虑的一个因素。
3.目前信息管理系统提供表格,以供用户手动填写信息。例如电商平台中,用户上架物品时按照表格填写物品所属品牌、品类以及各种属性如颜色、尺寸等。平台将这些信息录入到物品数据库中,作为标准化的物品信息,以为后续的搜索、推荐、展示等提供服务。
4.在实现本发明的过程中,发明人发现现有技术至少存在如下问题:
5.1)物品属性依赖用户输入,可能出现填错或不够精准的问题。例如电动车雨衣,所适用的场景为电动车上使用,目前通常被分类至“雨衣雨披”类目中,而该类目范围过大,导致后续查询时因分类不够精准而花费较长时间;
6.2)平台所提供的表格虽具有普适性,但表格中的属性可能较少,物品的特殊属性在表格中可能不存在,出现物品属性不够全面的问题;
7.3)物品信息中可能包含物品之间的关联关系,但这个关联关系目前无法构成。例如手机贴膜,其物品信息中只有贴膜本身的属性,却没有挖掘出手机与贴膜之间的搭配关系。


技术实现要素:

8.有鉴于此,本发明实施例提供一种物品信息提取方法和装置,至少能够解决现有技术中物品属性提取不够精准,导致后续搜索耗时较长;物品之间关联关系的未挖掘的问题。
9.为实现上述目的,根据本发明实施例的一个方面,提供了一种物品信息提取方法,包括:
10.根据目标物品的标识,获取所述目标物品的描述信息;
11.通过预定神经网路,对所述描述信息进行实体识别,得到所述描述信息中各字的词类标注和序列标注;其中,词类为词语在描述信息中所表现的语法特征;
12.将具有相同词类标注且序列相邻的字进行排序组合,得到所述描述信息中的特征词,进而根据所述特征词对所述目标物品进行信息更新。
13.可选的,在所述通过预定神经网路,对所述描述信息进行实体识别之前,还包括:
14.获取训练词集合,接收对所述训练词集合中各词的词类标注;
15.根据各字在相应词中所处的排列位置,对各词中的各字进行序列标注,结合所接收的词类标注,得到各词中各字的词类标注和序列标注;
16.输入标注后的训练词集合至神经网络中进行训练,得到训练后的所述预定神经网
络。
17.可选的,所述词类为限定词,所述限定词用于描述所述目标物品的属性值;
18.所述根据所述特征词对所述目标物品进行信息更新,包括:根据预定属性名与属性值之间的对应关系,确定与所述属性值相对应的属性名;基于所述属性值和所确定的所述属性名,对所述目标物品进行属性信息更新。
19.可选的,所述基于所述属性值和所确定的所述属性名,对所述目标物品进行属性信息更新,包括:
20.若所述属性信息中存在所述属性名、且与所述属性名相对应的第一属性值不同于所述属性值,则将所述第一属性值替换为所述属性值;或
21.若所述属性信息中不存在所述属性名,则添加所述属性名和所述属性值至所述属性信息中。
22.可选的,所述词类为物品的名称;
23.所述根据所述特征词对所述目标物品进行信息更新,包括:
24.分别获取所述物品所属第一品类和所述目标物品所属第二品类;
25.根据所述第一品类与所述第二品类之间的关联关系,对所述目标物品进行关联信息更新。
26.为实现上述目的,根据本发明实施例的另一方面,提供了一种物品信息提取装置,包括:
27.信息获取模块,用于根据目标物品的标识,获取所述目标物品的描述信息;
28.文字标注模块,用于通过预定神经网路,对所述描述信息进行实体识别,得到所述描述信息中各字的词类标注和序列标注;其中,词类为词语在描述信息中所表现的语法特征;
29.信息更新模块,用于将具有相同词类标注且序列相邻的字进行排序组合,得到所述描述信息中的特征词,进而根据所述特征词对所述目标物品进行信息更新。
30.可选的,还包括网络训练模块,用于:
31.获取训练词集合,接收对所述训练词集合中各词的词类标注;
32.根据各字在相应词中所处的排列位置,对各词中的各字进行序列标注,结合所接收的词类标注,得到各词中各字的词类标注和序列标注;
33.输入标注后的训练词集合至神经网络中进行训练,得到训练后的所述预定神经网络。
34.可选的,所述词类为限定词,所述限定词用于描述所述目标物品的属性值;
35.所述信息更新模块,用于:根据预定属性名与属性值之间的对应关系,确定与所述属性值相对应的属性名;基于所述属性值和所确定的所述属性名,对所述目标物品进行属性信息更新。
36.可选的,所述信息更新模块,用于:
37.若所述属性信息中存在所述属性名、且与所述属性名相对应的第一属性值不同于所述属性值,则将所述第一属性值替换为所述属性值;或
38.若所述属性信息中不存在所述属性名,则添加所述属性名和所述属性值至所述属性信息中。
39.可选的,所述词类为物品的名称;
40.所述信息更新模块,用于:分别获取所述物品所属第一品类和所述目标物品所属第二品类;
41.根据所述第一品类与所述第二品类之间的关联关系,对所述目标物品进行关联信息更新。
42.为实现上述目的,根据本发明实施例的再一方面,提供了一种物品信息提取电子设备。
43.本发明实施例的电子设备包括:一个或多个处理器;存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现上述任一所述的物品信息提取方法。
44.为实现上述目的,根据本发明实施例的再一方面,提供了一种计算机可读介质,其上存储有计算机程序,所述程序被处理器执行时实现上述任一所述的物品信息提取方法。
45.根据本发明所述提供的方案,上述发明中的一个实施例具有如下优点或有益效果:以物品描述信息为对象,深度挖掘其所包含的属性信息以及物品之间的不同关联关系,以扩大物品信息的覆盖范围,实现物品信息的自动提取和完善,达到物品信息精准描述的目的。
46.上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
47.附图用于更好地理解本发明,不构成对本发明的不当限定。其中:
48.图1是根据本发明实施例的一种物品信息提取方法的主要流程示意图;
49.图2是根据本发明实施例的一种可选的物品信息提取方法的流程示意图;
50.图3是根据本发明实施例的另一种可选的物品信息提取方法的流程示意图;
51.图4是根据本发明实施例的一具体地物品信息提取方法的流程示意图;
52.图5是本发明实施例的知识图谱示意图;
53.图6是根据本发明实施例的一种物品信息提取装置的主要模块示意图;
54.图7是本发明实施例可以应用于其中的示例性系统架构图;
55.图8是适于用来实现本发明实施例的移动设备或服务器的计算机系统的结构示意图。
具体实施方式
56.以下结合附图对本发明的示范性实施例做出说明,其中包括本发明实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本发明的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
57.需要说明的是,本发明实施例适用场景多样,可适用于电商平台、人事管理系统、交通管理系统、汽车管理系统等信息管理系统中,用于完善物品(可选择的对象,例如物品、人物、车辆)的属性、挖掘物品之间的关联关系。本发明实施例主要以电商平台为例进行说
明。
58.对于本发明所涉及的词语,作解释如下:
59.lstm(long short-term memory,长短期记忆网络):一种时间递归神经网络,适合于处理和预测时间序列中间隔和延迟相对较长的重要事件。
60.crf(conditional random field,条件随机场):一种数学算法,结合了最大熵模型和隐马尔可夫模型的特点,是一种无向图模型,近年来在分词、词性标注和命名实体识别等序列标注任务中取得了很好的效果。
61.ner(named entity recognition,命名实体识别):一种机器学习模型,是信息提取、问答系统、句法分析、机器翻译等应用领域的重要基础工具。ner的任务就是识别出待处理文本中不同种类的命名实体,例如人名、地名、机构名、专有名词、产品名、药物名等。
62.参见图1,示出的是本发明实施例提供的一种物品信息提取方法的主要流程图,包括如下步骤:
63.s101:根据目标物品的标识,获取所述目标物品的描述信息;
64.s102:通过预定神经网路,对所述描述信息进行实体识别,得到所述描述信息中各字的词类标注和序列标注;其中,词类为词语在描述信息中所表现的语法特征;
65.s103:将具有相同词类标注且序列相邻的字进行排序组合,得到所述描述信息中的特征词,进而根据所述特征词对所述目标物品进行信息更新。
66.上述实施方式中,对于步骤s101,当前平台收集信息,主要依赖于用户的主动填写。例如,电商平台提供物品信息管理界面,界面中包括信息输入、修改、提交等按钮,用户(例如,供应商和商家)自己在该界面中进行物品信息输入、修改、提交等操作,且对用户修改、提交的次数不做限制。
67.现有技术中,平台会提供一个属性表格,用户可以在该表格中填写物品名称以及各种属性。这些表格是平台根据大多数物品的共有属性做出的标准化设定,具有普适性。
68.普适性会针对于大部分物品,但对于有些特殊物品的特有属性可能在该表格中不存在,而该特有属性对该物品在平台内的搜索、推荐以及用户点击/购买/浏览与否,都有比较重要的影响。因此,本发明所针对的对象,所填信息中除属性信息外的描述信息,以从描述信息中进一步挖掘物品特征,最大限度地完善属性信息。
69.描述信息主要为物品介绍、营销语句(例如宣传、定位)、个人履历、汽车介绍等非表格化的文字,是对表格信息的补充。例如“单鞋女平底皮鞋玛丽珠一脚蹬大码牛筋底鞋子高跟鞋粉红37”。
70.通常描述信息越详细,所能够提取到的特征词(表明物品特征的词语)就越多,表征物品特有特征就越详细。本发明主要考虑文字性描述信息,对于图片、视频等非文字形式的信息,可以通过一定方式转换为文字形式,例如提取图像特征,并将图片特征转换为语义特征。
71.针对不同的应用场景,可以建立不同的数据库,用以存储物品信息。例如,对于电商平台,物品数据库-物品-物品编号-物品信息;对于人事管理系统,人物数据库-人物-人物编号-人物信息;对于汽车管理系统,汽车数据库-汽车-车牌号-车辆信息。因此,目标物品的标识可对应于物品编号、人物编号、车牌号等。
72.对于步骤s102,为了研究汉语语法的方便,通常需要给词分类。划分词类的目的在
于说明语句的结构规律和各类词的用法,并且是以一段语句中的全部词为对象的。
73.在使用神经网路对描述信息进行实体识别之前,需对神经网络进行训练,得到训练后的神经网络。具体地:
74.步骤一:获取训练词集合,接收对训练词集合中各词的词类标注;
75.步骤二:根据各字在相应词中所处的排列位置,对各词中的各字进行序列标注,结合所接收的词类标注,得到各词中各字的词类标注和序列标注;
76.步骤三:输入标注后的训练词集合至神经网络中进行训练,得到训练后的预定神经网络。
77.对于步骤一,准备样品词集合(例如多条商品标题),并按照一定比例(例如80%和20%)将其分为训练集和测试集;之后利用人工分析每个词集合中的限定词(属性值)和物品名称,以此进行词类标注。
78.物品中可能包含有目标物品,例如,标题“单鞋女平底皮鞋玛丽珠一脚蹬大码牛筋底鞋子高跟鞋粉红37”中的高跟鞋。
79.表1词类定义
80.名称含义物品名称描述信息中的物品名称中心词是标题的核心产品词,表明物品的定义限定词对物品进行限定、描述,例如属性等
81.对于步骤二,人工或机器分析每个字在实体(包括限定词和物品名称)中所处的位置,进行序列标注。
82.标签采用“bio”体系,即实体中的第一个字为b(begin),其余字为i(inside);非实体字统一标记为o(other)。这里的bio是一个成熟的命名实体识别技术,以字为单位,将某个字分为某个实体的某个位置。
83.最终词集合中的每个字都对应于一个标签,标签形式为实体简写b/i或者o。例如属性值粉红,标记后为“粉(x_b)红(x_i)”,其中,x(xianding,简写为x)对应于限定词。
84.对于步骤三,将标记后的训练词集合,输入至lstm-crf神经网络(仅为示例)中进行训练,得到训练后的lstm-crf神经网络。
85.训练时是直接将语料都记载进行训练的,但对于大规模语料实现较难,因此本发明主要选用随机梯度下降法或者小批量梯度下降方法。
86.使用测试集对训练后的神经网络进行测试,得到测试结果,测试结果包括每个字的词类标注和序列标注。将测试结果与人工标记结果进行比对。若测试结果的错误率小于预定错误率(例如30%),则确定训练得到的lstm-crf神经网络可用。
87.训练神经网络结束之后,可以利用训练后的神经网络对输入的描述信息进行实体识别。由于在训练神经网络时,输入的每个字都带有词类标注和序列标注,因此在依据神经网络识别信息后,所得到的每个字也带有这两个标注。
88.例如,将标题“单鞋女平底皮鞋玛丽珠一脚蹬大码牛筋底鞋子高跟鞋粉红37”输入至训练后的lstm-crf网络中,得到实体识别结果,包括特征词(限定词、物品名称)和中心词,具体见表2所示:
89.表2实体识别结果
90.实体识别结果分类单(w_b)鞋(w_i)物品名称平(w_b)底(w_i)皮(w_i)鞋(w_i)物品名称玛(w_b)丽(w_i)珠(w_i)物品名称一(x_b)脚(x_i)蹬(x_i)限定词大(x_b)码(x_i)词限定词牛(x_b)筋(x_i)底(x_i)限定词鞋(w_b)子(w_i)物品名称高(z_b)跟(z_i)鞋(z_i)中心词粉(x_b)红(x_i)限定词37(x_b)限定词
91.其中,w为wupin的首字母,代表物品;z(zongxin,简写为z)代表中心词,即目标物品高跟鞋。
92.进一步的,在对物品描述信息进行命名实体识别之前,还可以利用停用词库和广告语句库,对描述信息进行过滤,以纠正错别字、去除停用词、广告信息等通用文字。其中,停用词是指在信息检索中,为节省存储空间和提高搜索效率,在处理自然语言数据(或文本)之前或之后会自动过滤掉某些字或词。
93.对于步骤s103,实体识别结果中每个字对应于一个标签,例如“w-b”表示“物品名称”的起始字,将每个字的标签串联起来,得到实体词;单(w_b)和鞋(w_i),物品名称为单鞋。
94.另外,通过每个词的其首字,实现不同词的分离。例如,表2中的“平底皮鞋”和“玛丽珠”,位置相邻且都属于物品名称,但“平”和“玛”的序列标注均为“b”,因此不会出现平底皮鞋玛丽珠这一识别结果。
95.进一步的,为保证所得词的准确性和可用性,在得到限定词或物品名称之后,还可以将其与数据库中的词进行匹配,并提取相似度最高的词作为最终实体识别结果。
96.得到实体识别结果后,可以将其保存至物品的数据库中,以对物品的原有信息进行更新。例如,添加属性值、更新属性值、添加物品之间的关联等,实现物品信息的完善,便于后续可以根据表格属性+所挖掘到的属性、物品关联关系进行物品搜索,例如手机和贴膜,得到手机贴膜这一物品。
97.上述实施例所提供的方法,以物品描述信息为挖掘对象,深度挖掘其所包含的特征信息,进而对物品原有特征信息进行新增或替换,以扩大物品信息的覆盖范围,实现物品信息的精准描述。
98.参见图2,示出了根据本发明实施例的一种可选的物品信息提取方法流程示意图,包括如下步骤:
99.s201:根据目标物品的标识,获取所述目标物品的描述信息;
100.s202:通过预定神经网路,对所述描述信息进行实体识别,得到所述描述信息中各字的限定词标注和序列标注;其中,限定词用于描述所述目标物品的属性值;
101.s203:将具有相同限定词标注且序列相邻的字进行排序组合,得到所述描述信息中的属性值;
102.s204:根据预定属性名与属性值之间的对应关系,确定与所述属性值相对应的属性名;
103.s205:基于所述属性值和所确定的所述属性名,对所述目标物品进行属性信息更新。
104.上述实施方式中,对于步骤s201~s203可参见图1所示描述,在此不再赘述。
105.上述实施方式中,对于步骤s204,限定词,是在名词词组中对名词中心词起特指、类指以及表示确定数量和非确定数量等限定作用的词类。限定词作定语修饰名词,位于名词之前,且位置总是位于其他形容词修饰语之前。本发明主要用于描述物品属性,例如“粉红”。
106.例如,对标题“单鞋女平底皮鞋玛丽珠一脚蹬大码牛筋底鞋子高跟鞋粉红37”的实体识别结果中,限定词为:
107.表3限定词
108.实体识别结果-限定词分类一(x_b)脚(x_i)蹬(x_i)限定词大(x_b)码(x_i)词限定词牛(x_b)筋(x_i)底(x_i)限定词高(z_b)跟(z_i)鞋(z_i)中心词
109.预先设定属性库,存放有属性名和属性值之间的对应关系,例如“一脚蹬”与“穿戴方式”。一个属性名可以对应于多个属性值,例如“穿戴方式”还可以对应有系带式、拉链式、环扣式等。
110.以表3为例,所得限定词有一脚蹬、大码、牛筋底、粉红、37,相应所得到的属性名有:
111.表4属性名与属性值之间的对应关系
112.属性名属性值穿戴方式一脚蹬大小大码鞋底材料牛筋底颜色粉红尺码37
113.对于步骤s205,将挖掘出的限定词以及所匹配到的属性名,与原有属性表格做合并,之后一起存储至数据库中。
114.这里的属性表格,为平台所提供的,以供用户进行属性信息填写,例如颜色、尺寸、品牌等固定属性,无需神经网络进一步挖掘。例如商家填写的女鞋属性之一为:“鞋跟高度:中跟”。
115.所挖掘处的属性信息与原有属性信息的合并方式可以有两种:
116.1)新增式更新,即属性表格中不存在挖掘到的属性名。例如,颜色:粉红;
117.2)替换式更新,即属性表格中存在挖掘到的属性名。例如,表格中填写的颜色为红色,所挖掘到的颜色为粉红,则替换表格中的红色为粉红。
118.有些情况下,表格中的选项较少,例如没有粉红色选项,通过该种方式可以完善物
品属性信息,提高物品属性的描述精准度。
119.进一步的,除了上述文字方式合并外,可以有其他形式。例如,“大小”和“大码”都设有对应的id,分别为123和456,属性信息更新时将这两个id添加至物品的属性表格中。
120.上述实施例所提供的方法,深度挖掘物品描述信息中的属性值,并分析该属性值所属属性,进而实现物品属性信息的替换或新增。相对于现有技术依赖于用户填写的方式,本实施方式可以增加物品特有属性,提高数据库物品属性信息的准确性和完备性。
121.参见图3,示出了根据本发明实施例的另一种可选的物品信息提取方法流程示意图,包括如下步骤:
122.s301:根据目标物品的标识,获取所述目标物品的描述信息;
123.s302:通过预定神经网路,对所述描述信息进行实体识别,得到所述描述信息中各字的物品名称标注和序列标注;
124.s303:将具有相同物品名称标注且序列相邻的字进行排序组合,得到所述描述信息中的物品名称;
125.s304:分别获取所述物品所属第一品类和所述目标物品所属第二品类;
126.s305:根据所述第一品类与所述第二品类之间的关联关系,对所述目标物品进行关联信息更新。
127.上述实施方式中,对于步骤s301~s303可参见图1所示描述,在此不再赘述。
128.上述实施方式中,对于步骤s304,关联词对应于关联关系。本发明中的关联词不是“如果


…”
这类,而是表示不同物品之间关联关系的词语,例如同义、相似、搭配、包含等。
129.例如,对标题“单鞋女平底皮鞋玛丽珠一脚蹬大码牛筋底鞋子高跟鞋粉红37”的实体识别结果中,物品名称为:
130.表5物品名称
131.实体识别结果-物品名称分类单(w_b)鞋(w_i)物品名称平(w_b)底(w_i)皮(w_i)鞋(w_i)物品名称玛(w_b)丽(w_i)珠(w_i)物品名称鞋(w_b)子(w_i)物品名称高(z_b)跟(z_i)鞋(z_i)中心词
132.确定物品与目标物品之间的关联关系,具体地,分析物品所属品类和目标物品所属品类,根据品类的层级关系确定物品和目标物品之间的关联关系。
133.以“单鞋”为例,可能包含多个sku(stock keeping unit,库存量单位),属于一对多的映射关系,例如,单鞋与高跟鞋的包含关系。
134.对表5中的物品进行关联关系确定,得到:
135.表6关联关系
136.实体识别结果-物品名称关联关系单(c_b)鞋(c_i)包含高跟鞋平(j_b)底(j_i)皮(j_i)鞋(j_i)与高跟鞋互为交叉关系玛(j_b)丽(j_i)珠(j_i)与高跟鞋互为交叉关系
鞋(c_b)子(c_i)包含高跟鞋高(z_b)跟(z_i)鞋(z_i)中心词
137.其中,c(contain,简写为c)表示包含关系,j(jiaocha,简写为j)表示交叉关系。每次分析都需要先确定中心词,而中心词也可叫做“定位词”,就是一句话紧紧围绕着进行论述的词。
138.对于步骤s305,用户在提交物品信息后,可能会多次修改。鉴于每次修改所得到的关联关系可能不同,因此每一次提交都会对上一次的关联关系进行更新。更新方式有两种:
139.1)新增式更新,上一次关联关系中没有的;例如,增加单鞋与高跟鞋之间的包含关系;
140.2)删除式更新,上一次关联关系中有,而本次关联关系中没有,则需删除。
141.通过物品关联关系的确定,能够提高后续查询效率。例如,后续若用户在搜索栏中输入“单鞋”和“高跟鞋”时,标题为“单鞋女平底皮鞋玛丽珠一脚蹬大码牛筋底鞋子高跟鞋粉红37”的物品可以显现出来。
142.上述实施例所提供的方法,挖掘物品描述信息中不同物品之间的关联关系,以提高物品特征信息的丰富度,有助于进一步建立物品之间的关系,提高了后续搜索和推荐的精准性。
143.参见图4,示出了根据本发明实施例的一具体地物品信息提取方法流程示意图,包括如下步骤:
144.s401:根据目标物品的标识,获取所述目标物品的描述信息;
145.s402:通过预定神经网路,对所述描述信息进行实体识别,得到所述描述信息中各字的词类标注和序列标注;其中,词类为词语在描述信息中所表现的语法特征,包括限定词和物品的名称,且限定词用于描述目标物品的属性值;
146.s403:将具有相同词类标注且序列相邻的字进行排序组合,得到所述描述信息中的属性值和/或物品名称;
147.s404:根据预定属性名与属性值之间的对应关系,确定与所述属性值相对应的属性名;
148.s405:基于所述属性值和所确定的所述属性名,对所述目标物品进行属性信息更新;
149.s406:分别获取所述物品所属第一品类和所述目标物品所属第二品类;
150.s407:根据所述第一品类与所述第二品类之间的关联关系,对所述目标物品进行关联信息更新。
151.上述实施方式中,对于步骤s401~s406可参见图1~图3所示描述,在此不再赘述。
152.上述实施方式中,在挖掘得到属性值和物品关联关系后,可以对物品的知识图谱、关联网络进行完善。
153.知识图谱(knowledge graph)又称为科学知识图谱,是显示知识发展进程与结构关系的一系列各种不同的图形,用可视化技术描述知识资源及其载体,挖掘、分析、构建、绘制和显示知识及它们之间的相互联系。
154.以标题“单鞋女平底皮鞋玛丽珠一脚蹬大码牛筋底鞋子高跟鞋粉红37”为例,所得知识图谱具体参见图5所示。其中,方框表示某个具体物品、圆形表示某一类物品、菱形表示
物品属性。
155.对于神经网络中,除了限定词和物品名称的训练之外,还可以直接分析每个词集合中物品之间的关联关系,并进行实体标记,例如包含(c)、被包含(be contained,简写为bc)、组成(makeup,简写为m)、被组成(be makeup,简写为bm)、同义(tongyi,简写为t)、相似(like,简写为l)、修饰(xiushi,简写为s)、被修饰(be xiushi,简写为bs)、搭配(dapei,简写为d)、被搭配(be dapei,简写为bd)、互斥(huchi,简写为h)、交叉(j)、中心词(z)、限定词(x)、其他(other,简写为o)。不同场景所设置的实体可能不同,此处仅为示例。
156.表7不同实体的定义
[0157][0158][0159]
以上15种实体中,包含、被包含、交叉等都属于关联词。大多数物品的描述信息使用这15种实体,即可拆解地较为清楚。
[0160]
后续信息识别时,即可直接得到物品之间的关联关系。例如对于标题“单鞋女平底皮鞋玛丽珠一脚蹬大码牛筋底鞋子高跟鞋粉红37”的实体识别结果为:
[0161]
表8实体识别结果
[0162]
实体识别结果-特征词分类单(c_b)鞋(c_i)包含平(j_b)底(j_i)皮(j_i)鞋(j_i)交叉玛(j_b)丽(j_i)珠(j_i)交叉一(x_b)脚(x_i)蹬(x_i)限定词大(x_b)码(x_i)词限定词牛(x_b)筋(x_i)底(x_i)限定词鞋(c_b)子(c_i)包含高(z_b)跟(z_i)鞋(z_i)中心词粉(x_b)红(x_i)限定词37(x_b)限定词
[0163]
表8中每个字对应于一个标签,标签形式为实体简写b/i或者o。例如“c-b”表示“包含”的起始字,o表示其他实体。将每个字的标签串联起来,得到实体词;例如,单(c_b)和鞋(c_i),物品名称为单鞋,且包含高跟鞋。
[0164]
本发明实施例所提供的方法,相较现有技术,具有以下有益效果:
[0165]
1)以物品描述信息为挖掘对象,深度挖掘其所包含的属性信息,进而对原有属性表格进行属性新增或替换,实现物品属性的完善,提高描述精准度;
[0166]
2)挖掘描述信息中不同物品与目标物品之间的关联关系,便于后续关键词和关联关系的搜索,增加搜索维度,扩大推荐的召回范围;
[0167]
3)使用神经网络对描述信息进行实体识别,操作简单,降低了需提取物品属性和关联关系的人工成本,提高了物品信息的获取效率;
[0168]
4)对描述信息中停用词、广告等通用信息的过滤,为提高信息实体识别准确度提供了基础。
[0169]
参见图6,示出了本发明实施例提供的一种物品信息提取装置600的主要模块示意图,包括:
[0170]
信息获取模块601,用于根据目标物品的标识,获取所述目标物品的描述信息;
[0171]
文字标注模块602,用于通过预定神经网路,对所述描述信息进行实体识别,得到所述描述信息中各字的词类标注和序列标注;其中,词类为词语在描述信息中所表现的语法特征;
[0172]
信息更新模块603,用于将具有相同词类标注且序列相邻的字进行排序组合,得到所述描述信息中的特征词,进而根据所述特征词对所述目标物品进行信息更新。
[0173]
本发明实施装置还包括网络训练模块604(图中未标出),用于:
[0174]
获取训练词集合,接收对所述训练词集合中各词的词类标注;
[0175]
根据各字在相应词中所处的排列位置,对各词中的各字进行序列标注,结合所接收的词类标注,得到各词中各字的词类标注和序列标注;
[0176]
输入标注后的训练词集合至神经网络中进行训练,得到训练后的所述预定神经网络。
[0177]
本发明实施装置中,所述词类为限定词,所述限定词用于描述所述目标物品的属性值;
[0178]
所述信息更新模块603,用于:根据预定属性名与属性值之间的对应关系,确定与所述属性值相对应的属性名;基于所述属性值和所确定的所述属性名,对所述目标物品进行属性信息更新。
[0179]
本发明实施装置,所述信息更新模块603,用于:
[0180]
若所述属性信息中存在所述属性名、且与所述属性名相对应的第一属性值不同于所述属性值,则将所述第一属性值替换为所述属性值;或
[0181]
若所述属性信息中不存在所述属性名,则添加所述属性名和所述属性值至所述属性信息中。
[0182]
本发明实施装置,所述词类为物品的名称;
[0183]
所述信息更新模块603,用于:分别获取所述物品所属第一品类和所述目标物品所属第二品类;根据所述第一品类与所述第二品类之间的关联关系,对所述目标物品进行关联信息更新。
[0184]
另外,在本发明实施例中所述装置的具体实施内容,在上面所述方法中已经详细说明了,故在此重复内容不再说明。
[0185]
图7示出了可以应用本发明实施例的示例性系统架构700。
[0186]
如图7所示,系统架构700可以包括终端设备701、702、703,网络704和服务器705(仅仅是示例)。网络704用以在终端设备701、702、703和服务器705之间提供通信链路的介质。网络704可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
[0187]
用户可以使用终端设备701、702、703通过网络704与服务器705交互,以接收或发送消息等。终端设备701、702、703上可以安装有各种通讯客户端应用,例如购物类应用、搜索类应用、社交平台软件等(仅为示例)。
[0188]
终端设备701、702、703可以是具有显示屏并且支持网页浏览的各种电子设备,包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
[0189]
服务器705可以是提供各种服务的服务器,例如对用户利用终端设备701、702、703所浏览的购物类网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的产品信息查询请求等数据进行分析等处理,并将处理结果反馈给终端设备。
[0190]
需要说明的是,本发明实施例所提供的物品信息提取方法一般由服务器705执行,相应地,物品信息提取装置一般设置于服务器705中。
[0191]
应该理解,图7中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。
[0192]
下面参考图8,其示出了适于用来实现本发明实施例的终端设备的计算机系统800的结构示意图。图8示出的终端设备仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
[0193]
如图8所示,计算机系统800包括中央处理单元(cpu)801,其可以根据存储在只读存储器(rom)802中的程序或者从存储部分808加载到随机访问存储器(ram)803中的程序而执行各种适当的动作和处理。在ram 803中,还存储有系统800操作所需的各种程序和数据。cpu 801、rom 802以及ram 803通过总线804彼此相连。输入/输出(i/o)接口805也连接至总线804。
[0194]
以下部件连接至i/o接口805:包括键盘、鼠标等的输入部分806;包括诸如阴极射线管(crt)、液晶显示器(lcd)等以及扬声器等的输出部分807;包括硬盘等的存储部分808;以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分809。通信部分809经由诸如因特网的网络执行通信处理。驱动器810也根据需要连接至i/o接口805。可拆卸介质811,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器810上,以便于从其上读出的计算机程序根据需要被安装入存储部分808。
[0195]
特别地,根据本发明公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本发明公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分809从网络上被下载和安装,和/或从可拆卸介质811被安装。在该计算机程序被中央处理单元(cpu)801执行时,执行本发明的系统中限定的上述功能。
[0196]
需要说明的是,本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计
算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、rf等等,或者上述的任意合适的组合。
[0197]
附图中的流程图和框图,图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
[0198]
描述于本发明实施例中所涉及到的模块可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中,例如,可以描述为:一种处理器包括信息获取模块、文字标注模块、信息更新模块。其中,这些模块的名称在某种情况下并不构成对该模块本身的限定,例如,文字标注模块还可以被描述为“对词类和序列标注的模块”。
[0199]
作为另一方面,本发明还提供了一种计算机可读介质,该计算机可读介质可以是上述实施例中描述的设备中所包含的;也可以是单独存在,而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被一个该设备执行时,使得该设备包括:
[0200]
根据目标物品的标识,获取所述目标物品的描述信息;
[0201]
通过预定神经网路,对所述描述信息进行实体识别,得到所述描述信息中各字的词类标注和序列标注;其中,词类为词语在描述信息中所表现的语法特征;
[0202]
将具有相同词类标注且序列相邻的字进行排序组合,得到所述描述信息中的特征词,进而根据所述特征词对所述目标物品进行信息更新。
[0203]
本发明实施例的技术方案,相较现有技术,具有以下有益效果:
[0204]
1)以物品描述信息为挖掘对象,深度挖掘其所包含的属性信息,进而对原有属性表格进行属性新增或替换,实现物品属性的精准描述;
[0205]
2)挖掘描述信息中不同物品与目标物品之间的关联关系,便于后续关键词和关联
关系的搜索,增加搜索维度,扩大推荐的召回范围;
[0206]
3)使用神经网络对描述信息进行实体识别,操作简单,降低了需手动提取物品属性和关联关系的人工成本,提高了物品信息的获取效率;
[0207]
4)对描述信息中停用词、广告等通用信息的过滤,为提高信息实体识别准确度提供了基础。
[0208]
上述具体实施方式,并不构成对本发明保护范围的限制。本领域技术人员应该明白的是,取决于设计要求和其他因素,可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等,均应包含在本发明保护范围之内。
当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1