一种新闻人物识别方法及装置

本发明涉及计算机视觉处理，具体涉及一种新闻人物识别方法及装置。

背景技术：

1、近年来，随着多媒体技术、数字化存储技术、计算机技术的快速发展，多媒体数据日益称为信息系统的重要信息资源。多媒体数据中经常同时包含文本和图像信息，例如博物馆收藏的文献、数字图书馆、网络新闻数据等。网络新闻数据包含丰富的文字和图像，然而新闻中的人脸图像与相应字幕中的人名存在多对多关系，如何准确的匹配人脸图像和人名之间一一对应的关系成为一个极富挑战性的问题。针对这一问题，大多数搜索引擎使用与图像相关联的文本信息来确定人脸图像与人名间的相关性，比如当某个人的名字出现在新闻文本中国时，他/她的人脸出现在相应的新闻图像中，利用人脸图像和人名的相关性，匹配人脸图像和人名关系。但是，当文本中包含的人名没有出现在相应图像中，或者文本中不包含任何人名，甚至文本包含多个人名并且图像包含多个人脸时，这种方法都会产生错误的结果，导致准确度较低。为了提高准确度，使用图像的视觉信息成为必然。然而，基于内容的图像理解仍然是一个充满挑战为解决的问题，并且新闻数据中光照、表情、姿态等因素的影响，使得传统的人脸识别方法无法得到较好的性能。

技术实现思路

1、针对所述缺陷，本发明实施例公开了一种新闻人物识别方法及装置，其可以对人脸信息进行有效提取，快速匹配人物名称。

2、本发明实施例第一方面公开了新闻人物识别方法，包括：

3、采集任意一个新闻文本，所述新闻文本至少包括图像数据；

4、基于所述图像数据识别所述新闻文本中的人物图像，提取所述人物图像；

5、根据预设的关系库识别所述人物图像对应的人物名称，所述关系库用于记录不同的人物分别所对应的人物图像和人物名称。

6、作为一种可选的实施方式，在本发明实施例第一方面中，所述关系库通过以下方式构建：

7、获取若干历史新闻文本并识别所述历史新闻文本，以提取所述历史新闻文本中包括的历史人物图像和历史人物名称，将所述历史人物与对应的历史人物名称匹配绑定；

8、获取预设资料库中的资料文本，对资料文本中的人名进行识别形成资料文本人物名称；

9、检测与所述资料文本人物名称匹配的人物肖像，将所述人物肖像与所述资料文本人物名称进行匹配；

10、将匹配后的人物肖像与资料文本人物名称以及历史人物图像与历史人物名称进行整理，形成人物名称与人物图像匹配关系集，所述人物名称与人物图像匹配关系集为关系库。

11、作为一种可选的实施方式，在本发明实施例第一方面中，所述检测与所述资料文本人物名称匹配的人物肖像，包括：

12、检索资料文本人物名称，查找匹配的人物肖像，当未查找到所述人物肖像时，增加所述资料文本人物名称对应的限定词，基于所述限定词与资料文本人物名称的结合检索匹配的人物肖像。

13、作为一种可选的实施方式，在本发明实施例第一方面中，通过预设的语言处理工具从历史新闻文本提取历史人物名称和从资料文本中提取资料文本人物名称，所述语言处理工具包括jieba工具或pyltp工具。

14、作为一种可选的实施方式，在本发明实施例第一方面中，所述将匹配后的人物肖像与资料文本任务名称以及历史人物图像与历史人物名称进行整理，包括：

15、分别写入人物肖像与资料文本人物名称、以及历史人物图像与历史人物名称的匹配关系；

16、检测所述资料文本人物名称与所述历史人物名称是否完全重合，若是，则将该人物肖像与资料文本任务名称的匹配关系以及历史人物图像与历史人物名称的匹配关系整合为一个匹配关系；

17、当所述资料文本人物名称与所述历史人物名称非完全重合时，分别提取资料文本人物名称和历史人物名称中的关键字，比对两个关键字之间是否相同，若是，则将该人物肖像与资料文本任务名称的匹配关系以及历史人物图像与历史人物名称的匹配关系整合为一个匹配关系，否则，分别保留人物肖像与资料文本任务名称的匹配关系以及历史人物图像与历史人物名称的匹配关系。

18、作为一种可选的实施方式，在本发明实施例第一方面中，所述根据预设的关系库识别所述人物图像对应的人物名称，包括：

19、获取所述人物图像中的人脸特征，计算所述人脸特征与关系库中人物肖像以及历史人物图像的相似度；

20、当相似度大于设定阈值时，则将该人物肖像或者历史人物图像定义为所述人物图像的识别图像，根据关系库中人物图像与资料文本任务名称的匹配关系以及历史人物图像与历史人物名称的匹配关系获取该识别图像对应的人物名称。

21、作为一种可选的实施方式，在本发明实施例第一方面中，当相似度大于设定阈值的人物肖像和/或历史人物图像为多个时，从多个人物肖像和/或历史人物图像中选择相似度最高的人物肖像或历史人物图像为人物图像的识别图像。

22、本发明实施例第二方面公开一种新闻人物识别装置，包括：

23、文本采集模块：用于采集任意一个新闻文本，所述新闻文本至少包括图像数据；

24、图像提取模块：用于基于所述图像数据识别所述新闻文本中的人物图像，提取所述人物图像；

25、名称识别模块：用于根据预设的关系库识别所述人物图像对应的人物名称，所述关系库用于记录不同的人物分别所对应的人物图像和人物名称。

26、作为一种可选的实施方式，在本发明实施例第一方面中，所述关系库通过以下方式构建：

27、获取若干历史新闻文本并识别所述历史新闻文本，以提取所述历史新闻文本中包括的历史人物图像和历史人物名称，将所述历史人物与对应的历史人物名称匹配绑定；

28、获取预设资料库中的资料文本，对资料文本中的人名进行识别形成资料文本人物名称；

29、检测与所述资料文本人物名称匹配的人物肖像，将所述人物肖像与所述资料文本人物名称进行匹配；

30、将匹配后的人物肖像与资料文本人物名称以及历史人物图像与历史人物名称进行整理，形成人物名称与人物图像匹配关系集，所述人物名称与人物图像匹配关系集为关系库。

31、作为一种可选的实施方式，在本发明实施例第二方面中，所述检测与所述资料文本人物名称匹配的人物肖像，包括：

32、检索资料文本人物名称，查找匹配的人物肖像，当未查找到所述人物肖像时，增加所述资料文本人物名称对应的限定词，基于所述限定词与资料文本人物名称的结合检索匹配的人物肖像。

33、作为一种可选的实施方式，在本发明实施例第二方面中，通过预设的语言处理工具从历史新闻文本提取历史人物名称和从资料文本中提取资料文本人物名称，所述语言处理工具包括jieba工具或pyltp工具。

34、作为一种可选的实施方式，在本发明实施例第二方面中，所述将匹配后的人物肖像与资料文本任务名称以及历史人物图像与历史人物名称进行整理，包括：

35、分别写入人物肖像与资料文本人物名称、以及历史人物图像与历史人物名称的匹配关系；

36、检测所述资料文本人物名称与所述历史人物名称是否完全重合，若是，则将该人物肖像与资料文本任务名称的匹配关系以及历史人物图像与历史人物名称的匹配关系整合为一个匹配关系；

37、当所述资料文本人物名称与所述历史人物名称非完全重合时，分别提取资料文本人物名称和历史人物名称中的关键字，比对两个关键字之间是否相同，若是，则将该人物肖像与资料文本任务名称的匹配关系以及历史人物图像与历史人物名称的匹配关系整合为一个匹配关系，否则，分别保留人物肖像与资料文本任务名称的匹配关系以及历史人物图像与历史人物名称的匹配关系。

38、作为一种可选的实施方式，在本发明实施例第二方面中，所述根据预设的关系库识别所述人物图像对应的人物名称，包括：

39、获取所述人物图像中的人脸特征，计算所述人脸特征与关系库中人物肖像以及历史人物图像的相似度；

40、当相似度大于设定阈值时，则将该人物肖像或者历史人物图像定义为所述人物图像的识别图像，根据关系库中人物图像与资料文本任务名称的匹配关系以及历史人物图像与历史人物名称的匹配关系获取该识别图像对应的人物名称。

41、作为一种可选的实施方式，在本发明实施例第二方面中，当相似度大于设定阈值的人物肖像和/或历史人物图像为多个时，从多个人物肖像和/或历史人物图像中选择相似度最高的人物肖像或历史人物图像为人物图像的识别图像。

42、本发明实施例第三方面公开一种电子设备，包括：存储有可执行程序代码的存储器；与所述存储器耦合的处理器；所述处理器调用所述存储器中存储的所述可执行程序代码，用于执行本发明实施例第一方面公开的新闻人物识别方法。

43、本发明实施例第四方面公开一种计算机可读存储介质，其存储计算机程序，其中，所述计算机程序使得计算机执行本发明实施例第一方面公开的新闻人物识别方法。

44、与现有技术相比，本发明实施例具有以下有益效果：

45、本发明实施例的一种新闻人物识别方法中通过先构建关系库，使得人物名称与人物图像有了对应的匹配关系，因此当对应于所采集的任意一个新闻文本，通过提取新闻文本中的人物图像，结合关系库中的匹配关系，可以快速识别到与人物图像对应的人物名称，准确度高，整体性能好。