视频中目标人物查找方法和装置与流程

本发明涉及计算机技术领域，尤其涉及一种视频中目标人物查找方法和装置。

背景技术：

电视台在制作节目时，通常会利用到一些历史素材。对于政治类的视频节目，在播出前需要进行节目审核。如果审核出视频中出现了敏感人物，该视频时不允许被播放的。目前，主要通过专门的节目审核人员对视频进行人工审核，费时费力，工作效率低。且视频素材数据量大，可能只有一个镜头出现了敏感任务，在人工审核时很容易漏掉该镜头。虽然可以利用图像识别技术对敏感人物进行识别，但是只能识别正面的人脸，并且识别速度慢，效率低。

技术实现要素：

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本发明的一个目的在于提出一种视频中目标人物查找方法，能够快速、方便地查找出视频中敏感人物，提高识别效率。

本发明的第二个目的在于提出一种视频中目标人物查找装置。

为了实现上述目的，本发明第一方面实施例提出了一种视频中目标人物查找方法，包括：接收目标人物信息和待检查视频，所述目标人物信息包括目标人物的姓名和/或照片；根据所述目标人物信息确定所述目标人物对应的模板；将所述待检查视频切分为多个关键帧图像；基于人脸识别算法从所述多个关键帧图像中筛选出多个包含人脸的帧图像；根据所述模板确定所述多个包含人脸的帧图像中包含目标人物的帧图像，并获取所述包含目标人物的帧图像在所述待检查视频中的时间信息。

本发明实施例的视频中目标人物查找方法，通过接收的目标人物信息确定目标人物对应的模板，再将待检查视频切分为多个关键帧图像，并基于人脸识别算法从多个关键帧图像中筛选出多个包含人脸的帧图像，以及根据模板确定多个包含人脸的帧图像中包含目标人物的帧图像，并获取包含目标人物的帧图像在待检查视频中的时间信息，能够快速、方便地查找出视频中敏感人物，提高了识别效率。

本发明第二方面实施例提出了一种视频中目标人物查找装置，包括：接收模块，用于接收目标人物信息和待检查视频，所述目标人物信息包括目标人物的姓名和/或照片；确定模块，用于根据所述目标人物信息确定所述目标人物对应的模板；切分模块，用于将所述待检查视频切分为多个关键帧图像；筛选模块，用于基于人脸识别算法从所述多个关键帧图像中筛选出多个包含人脸的帧图像；获取模块，用于根据所述模板确定所述多个包含人脸的帧图像中包含目标人物的帧图像，并获取所述包含目标人物的帧图像在所述待检查视频中的时间信息。

本发明实施例的视频中目标人物查找装置，通过接收的目标人物信息确定目标人物对应的模板，再将待检查视频切分为多个关键帧图像，并基于人脸识别算法从多个关键帧图像中筛选出多个包含人脸的帧图像，以及根据模板确定多个包含人脸的帧图像中包含目标人物的帧图像，并获取包含目标人物的帧图像在待检查视频中的时间信息，能够快速、方便地查找出视频中敏感人物，提高了识别效率。

附图说明

图1是根据本发明一个实施例的视频中目标人物查找方法的流程图；

图2是根据本发明另一个实施例的视频中目标人物查找方法的流程图；

图3是根据本发明又一个实施例的视频中目标人物查找方法的流程图；

图4是根据本发明一个实施例的视频中目标人物查找装置的结构示意图一；

图5是根据本发明一个实施例的视频中目标人物查找装置的结构示意图二；

图6是根据本发明另一个实施例的视频中目标人物查找装置的结构示意图；

图7是根据本发明又一个实施例的视频中目标人物查找装置的结构示意图。

具体实施方式

下面详细描述本发明的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

下面参考附图描述本发明实施例的视频中目标人物查找方法和装置。

图1是根据本发明一个实施例的视频中目标人物查找方法的流程图。

如图1所示，视频中目标人物查找方法可包括：

S1，接收目标人物信息和待检查视频。

其中，目标人物信息可以是目标人物的姓名，也可以是目标人物的照片。当然，也可以是两者的组合。待检查视频的文件格式可包括mp4、avi、rm、rmvb、flv等视频格式。

举例来说，审核人员想检查某一mp4视频中是否含有敏感人物张xx和王xx，可直接输入张xx和王xx的姓名作为检索条件。如果审核人员不知道敏感人物的名字，则可输入敏感人物张xx和王xx对应的照片作为检索条件。

S2，根据目标人物信息确定目标人物对应的模板。

具体地，当目标人物信息为姓名时，可从预先建立的模板库中获取与姓名对应的模板，然后展示与姓名对应的模板。审核人员在查看到展示的模板后，可选择目标人物对应的模板。举例来说，审核人员在输入目标人物的姓名张xx后，可能有很多人物的姓名都是张xx。此时，可从模板库中检索出所有姓名为张xx的模板，将这些模板提供给审核人员。该模板包含有人物多个角度的样本图片，由审核人员选择确认目标人物张xx对应的模板，因此可避免重名的问题。

另外，当目标人物信息为照片时，可计算照片与模板库中模板的第一相似度，然后可根据第一相似度获取与目标人物对应的模板。举例来说，审核人员输入了一张目标人物的照片，可将该照片与模板库中的模板进行匹配。由于模板中包含有人物多个角度的样本图片，因此可依次计算该照片与样本图片的相似度。获取相似度得分最高的样本图片对应的模板，即与照片最相似的样本图片对应的模板作为目标人物的模板。

其中，模板库为预先建立的。具体地，可获取人物多个角度的样本图片，基于多个角度的样本图片建立模板库。例如：对于敏感人物张xx，可获取张xx正面、左右侧面45度、左右侧面30度、仰视、俯视等多个角度的样本图片，基于这些样本图片对敏感人物张xx进行多角度建模，从而生成张xx对应的模板，保存至模板库中。

S3，将待检查视频切分为多个关键帧图像。

具体地，可将待检查视频切分为多个关键帧图像。在本发明的一个实施例中，可以根据视频的长度来切分关键帧图像，例如视频长度为60秒，可以以1秒或2秒截取关键帧图像。

S4，基于人脸识别算法从多个关键帧图像中筛选出多个包含人脸的帧图像。

在切分得到多个关键帧图像之后，可采用基于OpenGL人脸识别库的算法从多个关键帧图像中筛选出多个包含人脸的帧图像，从而过滤掉不包含人脸的帧图像，提高识别效率。其中，OpenGL是一个开源的图像识别库，可以用于进行人脸识别。

S5，根据模板确定多个包含人脸的帧图像中包含目标人物的帧图像，并获取包含目标人物的帧图像在待检查视频中的时间信息。

具体地，可提取包含人脸的帧图像的第一图像特征和目标人物对应的模板的第二图像特征，然后可计算第一图像特征和第二图像特征的第二相似度。当第二相似度大于预设阈值时，则可确定包含人脸的帧图像为包含目标人物的帧图像。在此之后，可获取包含目标人物的帧图像在待检查视频中的时间信息。例如：某一视频长度为15分钟，以每2秒为一帧切分出多个关键帧图像。由此，可知每个关键帧图像对应的时间信息。假设第一张关键帧图像在2秒处，则第二张关键帧图像在4秒处，以此类推。其中，有些关键帧图像是包含人脸的，通过上述方法检测出包含目标人物张xx的帧图像。然后可确定该帧图像在视频的10分20秒处。

本发明实施例的视频中目标人物查找方法，通过接收的目标人物信息确定目标人物对应的模板，再将待检查视频切分为多个关键帧图像，并基于人脸识别算法从多个关键帧图像中筛选出多个包含人脸的帧图像，以及根据模板确定多个包含人脸的帧图像中包含目标人物的帧图像，并获取包含目标人物的帧图像在待检查视频中的时间信息，能够快速、方便地查找出视频中敏感人物，提高了识别效率。

图2是根据本发明另一个实施例的视频中目标人物查找方法的流程图。

如图2所示，视频中目标人物查找方法可包括：

S1，接收目标人物信息和待检查视频。

S2，根据目标人物信息确定目标人物对应的模板。

S3，将待检查视频切分为多个关键帧图像。

S4，基于人脸识别算法从多个关键帧图像中筛选出多个包含人脸的帧图像。

S5，根据模板确定多个包含人脸的帧图像中包含目标人物的帧图像，并获取包含目标人物的帧图像在待检查视频中的时间信息。

应当理解的是，步骤S1至S5与上一实施例中的步骤S1至S5描述一致，故本实施例中不再赘述。

S6，屏蔽包含目标人物的帧图像中的人脸部分。

在获取包含目标人物的帧图像及其在待检查视频中的时间信息之后，可对该帧图像进行处理，即屏蔽掉该帧图像中目标人物的人脸部分，例如在人脸部分加入马赛克，从而遮挡住目标人物的人脸，避免在播放视频时，出现该目标人物。

本发明实施例的视频中目标人物查找方法，通过在获取包含目标人物的帧图像及其在待检查视频中的时间信息之后，屏蔽掉该帧图像中目标人物的人脸部分，从而避免在播放视频时，显示出敏感人物的情况。

图3是根据本发明又一个实施例的视频中目标人物查找方法的流程图。

如图3所示，视频中目标人物查找方法可包括：

S1，接收目标人物信息和待检查视频。

S2，根据目标人物信息确定目标人物对应的模板。

S3，将待检查视频切分为多个关键帧图像。

S4，基于人脸识别算法从多个关键帧图像中筛选出多个包含人脸的帧图像。

S5，根据模板确定多个包含人脸的帧图像中包含目标人物的帧图像，并获取包含目标人物的帧图像在待检查视频中的时间信息。

S6，屏蔽包含目标人物的帧图像中的人脸部分。

应当理解的是，步骤S1至S6与上一实施例中的步骤S1至S6描述一致，故本实施例中不再赘述。

S7，基于OCR技术识别出包含目标人物的帧图像中的文字信息。

在屏蔽掉包含目标人物的帧图像中的人脸部分之后，还可基于OCR(Optical Character Recognition，光学字符识别)技术识别出包含目标人物的帧图像中的文字信息。这样做的目的在于：虽然敏感人物的人脸部分被屏蔽掉了，但是仍有可能出现该敏感人物的姓名的情况。例如：该敏感人物在参加会议，座位上摆放该敏感人物的姓名牌。因此，只屏蔽掉敏感人物的人脸部分是不够的，还需要对姓名部分进行进一步的处理。S8，利用NLP自然语言处理技术，并根据预设的姓名库判断文字信息是否为目标人物的姓名。

S8，利用NLP自然语言处理技术，并根据预设的姓名库判断文字信息是否为目标人物的姓名。

具体地，可利用NLP(Natural Language Processing，自然语言处理技术)对识别出的文字信息进行处理，然后可根据预设的姓名库判断识别出的文字信息是否为目标人物的姓名。例如，预设的姓名库可以是敏感人物的姓名集合。

S9，如果文字信息是目标人物的姓名，则屏蔽文字信息。

例如：帧图像中敏感人物张xx的人脸部分被马赛克遮挡，与其对应的姓名牌的部分也应一起被遮挡，从而避免敏感信息被播放。

本发明实施例的视频中目标人物查找方法，通过屏蔽包含目标人物的帧图像中与目标人物对应的姓名，可进一步避免敏感信息被播放的问题。

为实现上述目的，本发明还提出一种视频中目标人物查找装置。

图4是根据本发明一个实施例的视频中目标人物查找装置的结构示意图一。

如图4所示，视频中目标人物查找装置可包括：接收模块110、确定模块120、切分模块130、筛选模块140和获取模块150。

接收模块110用于接收目标人物信息和待检查视频。

其中，目标人物信息可以是目标人物的姓名，也可以是目标人物的照片。当然，也可以是两者的组合。待检查视频的文件格式可包括mp4、avi、rm、rmvb、flv等视频格式。

举例来说，审核人员想检查某一mp4视频中是否含有敏感人物张xx和王xx，可直接输入张xx和王xx的姓名作为检索条件。如果审核人员不知道敏感人物的名字，则可输入敏感人物张xx和王xx对应的照片作为检索条件。

确定模块120用于根据目标人物信息确定目标人物对应的模板。具体地，当目标人物信息为姓名时，可从预先建立的模板库中获取与姓名对应的模板，然后展示与姓名对应的模板。审核人员在查看到展示的模板后，可选择目标人物对应的模板。举例来说，审核人员在输入目标人物的姓名张xx后，可能有很多人物的姓名都是张xx。此时，可从模板库中检索出所有姓名为张xx的模板，将这些模板提供给审核人员。该模板包含有人物多个角度的样本图片，由审核人员选择确认目标人物张xx对应的模板，因此可避免重名的问题。

另外，当目标人物信息为照片时，可计算照片与模板库中模板的第一相似度，然后可根据第一相似度获取与目标人物对应的模板。举例来说，审核人员输入了一张目标人物的照片，可将该照片与模板库中的模板进行匹配。由于模板中包含有人物多个角度的样本图片，因此可依次计算该照片与样本图片的相似度。获取相似度得分最高的样本图片对应的模板，即与照片最相似的样本图片对应的模板作为目标人物的模板。

切分模块130用于将待检查视频切分为多个关键帧图像。具体地，可将待检查视频切分为多个关键帧图像。在本发明的一个实施例中，可以根据视频的长度来切分关键帧图像，例如视频长度为60秒，可以以1秒或2秒截取关键帧图像。

筛选模块140用于基于人脸识别算法从多个关键帧图像中筛选出多个包含人脸的帧图像。在切分得到多个关键帧图像之后，可采用基于OpenGL人脸识别库的算法从多个关键帧图像中筛选出多个包含人脸的帧图像，从而过滤掉不包含人脸的帧图像，提高识别效率。其中，OpenGL是一个开源的图像识别库，可以用于进行人脸识别。

获取模块150用于根据模板确定多个包含人脸的帧图像中包含目标人物的帧图像，并获取包含目标人物的帧图像在待检查视频中的时间信息。

具体地，可提取包含人脸的帧图像的第一图像特征和目标人物对应的模板的第二图像特征，然后可计算第一图像特征和第二图像特征的第二相似度。当第二相似度大于预设阈值时，则可确定包含人脸的帧图像为包含目标人物的帧图像。在此之后，可获取包含目标人物的帧图像在待检查视频中的时间信息。例如：某一视频长度为15分钟，以每2秒为一帧切分出多个关键帧图像。由此，可知每个关键帧图像对应的时间信息。假设第一张关键帧图像在2秒处，则第二张关键帧图像在4秒处，以此类推。其中，有些关键帧图像是包含人脸的，通过上述方法检测出包含目标人物张xx的帧图像。然后可确定该帧图像在视频的10分20秒处。

此外，如图5所示，视频中目标人物查找装置还可包括建立模块160。

建立模块160用于获取人物多个角度的样本图片，基于多个角度的样本图片建立模板库。例如：对于敏感人物张xx，可获取张xx正面、左右侧面45度、左右侧面30度、仰视、俯视等多个角度的样本图片，基于这些样本图片对敏感人物张xx进行多角度建模，从而生成张xx对应的模板，保存至模板库中。

本发明实施例的视频中目标人物查找装置，通过接收的目标人物信息确定目标人物对应的模板，再将待检查视频切分为多个关键帧图像，并基于人脸识别算法从多个关键帧图像中筛选出多个包含人脸的帧图像，以及根据模板确定多个包含人脸的帧图像中包含目标人物的帧图像，并获取包含目标人物的帧图像在待检查视频中的时间信息，能够快速、方便地查找出视频中敏感人物，提高了识别效率。

图6是根据本发明另一个实施例的视频中目标人物查找装置的结构示意图。

如图6所示，视频中目标人物查找装置可包括：接收模块110、确定模块120、切分模块130、筛选模块140、获取模块150、建立模块160和屏蔽模块170。

其中，接收模块110、确定模块120、切分模块130、筛选模块140、获取模块150、建立模块160与上一实施例的描述一致，此处不赘述。

屏蔽模块170用于屏蔽包含目标人物的帧图像中的人脸部分。在获取包含目标人物的帧图像及其在待检查视频中的时间信息之后，可对该帧图像进行处理，即屏蔽掉该帧图像中目标人物的人脸部分，例如在人脸部分加入马赛克，从而遮挡住目标人物的人脸，避免在播放视频时，出现该目标人物。

本发明实施例的视频中目标人物查找装置，通过在获取包含目标人物的帧图像及其在待检查视频中的时间信息之后，屏蔽掉该帧图像中目标人物的人脸部分，从而避免在播放视频时，显示出敏感人物的情况。

图7是根据本发明又一个实施例的视频中目标人物查找装置的结构示意图。

如图7所示，视频中目标人物查找装置可包括：接收模块110、确定模块120、切分模块130、筛选模块140、获取模块150、建立模块160、屏蔽模块170、识别模块180和判断模块190。

其中，接收模块110、确定模块120、切分模块130、筛选模块140、获取模块150、建立模块160与上一实施例的描述一致，此处不赘述。

识别模块180用于基于OCR技术识别出包含目标人物的帧图像中的文字信息。在屏蔽掉包含目标人物的帧图像中的人脸部分之后，可基于OCR(Optical Character Recognition，光学字符识别)技术识别出包含目标人物的帧图像中的文字信息。这样做的目的在于：虽然敏感人物的人脸部分被屏蔽掉了，但是仍有可能出现该敏感人物的姓名的情况。例如：该敏感人物在参加会议，座位上摆放该敏感人物的姓名牌。因此，只屏蔽掉敏感人物的人脸部分是不够的，还需要对姓名部分进行进一步的处理。

判断模块190用于利用NLP自然语言处理技术，并根据预设的姓名库判断文字信息是否为目标人物的姓名。具体地，可利用NLP(Natural Language Processing，自然语言处理技术)对识别出的文字信息进行处理，然后可根据预设的姓名库判断识别出的文字信息是否为目标人物的姓名。例如，预设的姓名库可以是敏感人物的姓名集合。

屏蔽模块170用于当文字信息确认是目标人物的姓名时，屏蔽文字信息。例如：帧图像中敏感人物张xx的人脸部分被马赛克遮挡，与其对应的姓名牌的部分也应一起被遮挡，从而避免敏感信息被播放。

本发明实施例的视频中目标人物查找装置，通过屏蔽包含目标人物的帧图像中与目标人物对应的姓名文字信息，可进一步避免敏感信息被播放的问题。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。