会议人像的拍摄方法、交互平板、计算机设备及存储介质与流程

文档序号:23270512发布日期:2020-12-11 19:02阅读:128来源:国知局
会议人像的拍摄方法、交互平板、计算机设备及存储介质与流程

本申请涉及图像拍摄领域,尤其涉及一种会议人像的拍摄方法、交互平板、计算机设备以及计算机可读存储介质。



背景技术:

在视频会议的一种常见场景中,会议室中有多人参与视频通话,为了实现更优秀的视频效果,往往会对讲话人进行人像的特写拍摄跟踪。而鉴于视频摄像镜头一般采用的广角镜头,以收录所有与会者图像,因此当需要显示目标人物(如讲话人)的特写图像时,会从广角图像中将目标人物图像裁剪出来,但这样所得到的目标人物的特写图像往往很不清晰。

上述内容仅用于辅助理解本申请的技术方案,并不代表承认上述内容是现有技术。



技术实现要素:

本申请的主要目的在于提供一种会议人像的拍摄方法、交互平板、计算机设备以及计算机可读存储介质,旨在解决难以得到视频会议中目标人物的清晰的特写图像的问题。

为实现上述目的,本申请提供一种会议人像的拍摄方法,包括以下步骤:

采集视频会议室内的广角图像;

确定目标人物在所述广角图像中的目标位置;

根据所述目标位置控制变焦镜头拍摄所述目标人物的目标人脸图像。

进一步地,所述确定目标人物在所述广角图像中的目标位置的步骤包括:

利用声音定位算法确定所述目标人物在所述广角图像中的第一位置,以及识别所述目标人物在所述广角图像中的人脸图像,并确定所述人脸图像在所述广角图像中的第二位置;

根据所述第一位置和所述第二位置,得到所述目标人物在所述广角图像中的目标位置。

进一步地,所述识别所述目标人物在所述广角图像中的人脸图像的步骤之后,还包括:

根据所述人脸图像对应的像素点数,确定所述目标人物与拍摄位置之间的第一距离;

根据所述第一距离确定所述变焦镜头的焦距,所述焦距应用于拍摄所述目标人脸图像。

进一步地,所述确定目标人物在所述广角图像中的目标位置的步骤之后,还包括:

在确定得到多个目标人物时,确定多个目标人物对应的目标位置之间的第二距离;

判断所述第二距离是否小于或等于预设阈值;

若是,执行所述根据所述目标位置控制变焦镜头拍摄所述目标人物的目标人脸图像的步骤。

进一步地,所述判断所述第二距离是否小于预设阈值的步骤之后,还包括:

若否,根据每个所述目标人物对应的说话时间,确定第一目标人物和第二目标人物;

根据所述第一目标人物对应的目标位置,控制所述变焦镜头拍摄所述第一目标人物的目标人脸图像,并将所述第二目标人物在所述广角图像中的人脸图像,作为所述第二目标人物的目标人脸图像。

进一步地,所述根据所述目标位置控制变焦镜头拍摄所述目标人物的目标人脸图像的步骤之后,还包括:

根据所述目标人脸图像和所述广角图像生成画中画图像,并输出所述画中画图像;

或者,输出所述目标人脸图像。

进一步地,所述会议人像的拍摄方法还包括:

在输出所述画中画图像或者所述目标人脸图像之后,在预设时长内未检测到人声信息,则输出所述广角图像。

为实现上述目的,本申请还提供一种交互平板,所述交互平板包括:

采集模块,用于采集视频会议室内的广角图像;

确定模块,用于确定目标人物在所述广角图像中的目标位置;

拍摄模块,用于根据所述目标位置控制变焦镜头拍摄所述目标人物的目标人脸图像。

为实现上述目的,本申请还提供一种计算机设备,所述计算机设备包括:

所述计算机设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的会议人像的拍摄程序,所述会议人像的拍摄程序被所述处理器执行时实现如上述会议人像的拍摄方法的步骤。

为实现上述目的,本申请还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有会议人像的拍摄程序,所述会议人像的拍摄程序被处理器执行时实现如上述会议人像的拍摄方法的步骤。

本申请提供的会议人像的拍摄方法、交互平板、计算机设备以及计算机可读存储介质,采集视频会议室内的广角图像;确定目标人物在所述广角图像中的目标位置;根据所述目标位置控制变焦镜头拍摄所述目标人物的目标人脸图像。这样,通过使用广角镜头和变焦镜头相结合的方式,在得到视频会议的广角图像的同时,还能得到目标人物清晰的目标人脸图像。

附图说明

图1为本申请一实施例中会议人像的拍摄方法步骤示意图;

图2为本申请一实施例中会议人像的拍摄方法另一步骤示意图;

图3为本申请一实施例中会议人像的拍摄方法又一步骤示意图;

图4为本申请一实施例中会议人像的拍摄方法再一步骤示意图;

图5为本申请一实施例中交互平板的结构示意框图;

图6为本申请一实施例的计算机设备的结构示意框图;

图7为本申请一实施例的终端系统的构成示意框图。

本申请目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。

参照图1,在一实施例中,所述会议人像的拍摄方法包括:

步骤s10、采集视频会议室内的广角图像。

步骤s20、确定目标人物在所述广角图像中的目标位置。

步骤s30、根据所述目标位置控制变焦镜头拍摄所述目标人物的目标人脸图像。

本实施例中,执行终端可以是交互平板(又称交互智能平板)、会议机、计算机设备等,也可以是会议人像的拍摄装置(如一种图像处理器)。

如步骤s10所述:可选的,本终端系统的构成可如图7所示,包括:图像处理器、第一图像传感器、第二图像传感器、广角镜头、变焦镜头、云台、麦克风阵列和声音处理装置。其中,广角镜头用于对视频会议室内部场景进行拍摄录像,由第一图像传感器将基于广角镜头采集到的广角图像传输至图像处理器;麦克风阵列用于采集会议室内部的人声信息,并将采集到人声信息传输至声音处理装置,声音处理装置在进行音频输出的同时,还可以分析人声信息,从而对会议室内部的说话者进行声源定位,并将声源定位数据传输至图像处理器;变焦镜头架设在云台上,图像处理器可通过控制云台转动,从而调整变焦镜头的拍摄角度,而第二图像传感器则用于将基于变焦镜头采集到的图像传输至图像处理器;图像处理器还用于整合第一图像传感器和第二图像传感器传输过来的图像,得到相应的视频,并进行视频输出。

需要说明的是,广角镜头可以是鱼眼镜头;所述云台为一种摄像机的支撑平台;图像传感器通过利用光电器件的光电转换功能,可以将感光面上的光像转换为与光像成相应比例关系的电信号。

应当理解的是,变焦镜头与云台、第二图像传感器可以是一体成型的,如一种变焦单摄云台摄像机;广角镜头与第二图像传感器也可以是一体成型的,如一种广角摄像机。

可选的,当检测到视频会议启动时,终端可以通过采用广角镜头采集视频会议室内的广角图像。

如步骤s20所述:可选的,终端在采集广角图像时,还通过利用麦克风阵列采集会议室内的人声信息,并将人声信息对应的说话者定义为目标人物。

进一步地,终端根据麦克风阵列采集得到的人声信息,利用声源定位技术,确定目标人物在所述广角图像中的第一位置。

需要说明的是,声源定位技术是利用麦克风阵列上至少两个麦克风接收到同一声源对应的时间点(或者声强)的不同,根据麦克风之间的距离信息,结合平面几何,即可得到声源所在方位。

可选的,以广角图像所在平面构建平面直角坐标系,当广角图像所在平面垂直于水平面时,则两者交线延伸的方向为水平方向(x轴方向),而垂直于水平面的方向则为垂直方向(y轴方向)。另外,定义垂直于广角图像所在平面的方向为z轴方向。

可选的,利用声音定位算法分析出目标人物在广角图像中的x轴坐标,记为第一位置。

在得到目标人物的第一位置后,定位至在广角图像中所在位置与第一位置对应的人像处(即目标人物对应的人像),然后利用人脸识别技术,识别得到目标人物的人脸图像,再根据人脸图像在广角图像中的显像区域与广角图像上边界和/或下边界之间的距离,得到目标人物的人脸图像在垂直方向上的y轴坐标,作为人脸图像在所述广角图像中的第二位置。

可选的,确定人脸图像对应的第二位置时,可以是先确定人脸图像的显像区域中心点,然后根据显像区域中心点与广角图像上边界和/或下边界之间的距离,得到y轴坐标作为第二位置。

应当理解的是,在识别人脸图像时,可以是识别包括整个人像头部在内的图像。

结合第一位置(x轴坐标)和第二位置(y轴坐标),即可得到目标人物在广角图像中的目标位置(x,y)。这样,可以快速定位得到目标人物的目标位置。

可选的,终端在得到广角图像后,也可以是先识别广角图像中的人脸图像,得到每个人脸图像对应的第二位置,然后实时或定时根据声音定位算法,确定目标人物在广角图像中的第一位置,再定位到广角图像中与第一位置同处一垂直方向上的人脸图像处,获取该人脸图像对应的第二位置,结合第一位置和第二位置,即可得到目标人物在广角图像中的目标位置。

可选的,终端也可以是预先存储有目标人物的基准人脸图像,当终端采集到广角图像后,直接利用人脸识别技术,识别广角图像中与基准人脸图像相同或相似的人脸图像,作为目标人物的人脸图像。再进一步确定该人脸图像在广角图像中的x轴坐标和y轴坐标,得到目标人物在广角图像中的目标位置。

如步骤s30所述:在得到目标人物在广角图像中的人脸图像对应的目标位置时,控制云台转动,以使变焦镜头的拍摄角度正对目标位置所在的方位,然后利用变焦镜头对准目标人物的头像,并调整变焦镜头的焦距,使头像画面占比在设定范围内,同时聚焦清晰,对目标人物进行特写拍摄,得到目标人物的目标人脸图像。

可选的,变焦镜头用于拍摄目标人脸图像所使用的焦距,可以是根据实际情况需要预先设定的(如一个预先设定的出厂值);也可以是根据所述人脸图像对应的像素点数,确定所述目标人物与拍摄位置之间的第一距离,然后根据所述第一距离确定所述变焦镜头的焦距。

这样,通过使用广角镜头和变焦镜头相结合的方式,在得到视频会议的广角图像的同时,还能得到目标人物清晰的目标人脸图像。

在一实施例中,如图2所示,在上述图1所示的实施例基础上,所述会议人像的拍摄方法还包括:

步骤s40、根据所述目标人物在所述广角图像中的人脸图像对应的像素点数,确定所述目标人物与拍摄位置之间的第一距离;

步骤s41、根据所述第一距离确定所述变焦镜头的焦距,所述焦距应用于拍摄所述目标人脸图像。

本实施例中,终端在识别得到目标人物在广角图像中的人脸图像的同时,还可以获取人脸图像对应的显像区域,计算显像区域内的像素点数,然后确定人脸图像对应的像素点数在广角图像总像素点数中的占比值,再根据占比值确定目标人物(或者目标人物的人脸图像)与广角镜头(或者变焦镜头)的拍摄位置之间的、沿z轴方向的第一距离。

应当理解的是,占比值越小,得到的第一距离越远。

终端只需预先经过数据分析训练,保存不同占比值与对应的第一距离之间的关系,在得到人脸图像对应的像素点数在广角图像总像素点数中的占比值之后,即可获取与该占比值对应的第一距离。

可选的,终端预先确定不同第一距离与变焦镜头的焦距之间的对应关系,为不同的第一距离设定对应的焦距,以使变焦镜头调整为与当前的第一距离对应的焦距后,变焦镜头拍摄得到的目标人物的头像画面占比处于设定范围内,并聚焦清晰。

应当理解的是,设定范围可以根据实际情况需要设置,本申请不作限定。

这样,根据目标人物与拍摄位置之间的第一距离的不同,确定相应的焦距,并确定得到的焦距控制变焦镜头对目标人物进行特写拍摄,可以更为准确地得到目标人物清晰的目标人脸图像。

在一实施例中,如图3所示,在上述图1至图2的实施例基础上,所述确定目标人物在所述广角图像中的目标位置的步骤之后,还包括:

步骤s50、在确定得到多个目标人物时,确定多个目标人物对应的目标位置之间的第二距离。

步骤s51、判断所述第二距离是否小于或等于预设阈值;

步骤s60、若是,执行所述根据所述目标位置控制变焦镜头拍摄所述目标人物的目标人脸图像的步骤。

本实施例中,终端可以是根据在第一预设时长内,利用麦克风阵列采集到的人声信息进行声音定位。当在第一预设时长内有多个人在讲话时,终端即可确定得到多个目标人物,以及各目标人物在广角图像中的第一位置。

需要说明的是,第一预设时长可根据实际情况需要设置,如30秒、一分钟等。

进一步地,终端在得到各个目标人物的第一位置后,分别确定各个目标人物在广角图像中的人脸图像,并分别确定各个目标人物对应的人脸图像在广角图像中的第二位置,结合第一位置和第二位置得到目标人物的目标位置。

可选的,若终端控制有多个变焦镜头,且变焦镜头的数量大于或等于目标人物的数量,则终端根据各目标人物对应的目标位置,为每个目标人物分配对应的变焦镜头,并利用变焦镜头拍摄目标人物的目标人脸图像。

可选的,若终端仅控制有一个变焦镜头,或者变焦镜头的数量小于目标人物的数量,则终端确定多个目标人物的人脸图像对应的目标位置之间的第二距离,且若目标人物为3人以上,则确定位于广角图像中最左侧的目标人物与最右侧的目标人物之间的第二距离。

在得到多个目标人物对应的目标位置之间的第二距离后,检测第二距离是否小于或者等于预设阈值。其中,预设阈值表征为变焦镜头拍摄得到的目标人脸图像在满足清晰度需求的情况下,目标人脸图像的最大横向长度。

可选的,终端检测到第二距离小于或者等于预设阈值时,则执行执行所述根据所述目标位置控制变焦镜头拍摄所述目标人物的目标人脸图像的步骤(步骤s30),以使拍摄得到的目标人脸图像包括所有目标人物的头像。终端可先根据各个目标人物对应的目标位置,确定多个目标人物中的中心位置,然后将变焦镜头的焦点与中心位置对齐后,再进行目标人脸图像的拍摄。

这样,当存在多个目标人物时,可以根据实际情况需要分配或调整变焦镜头对目标人物的拍摄,可以最大限度地得到目标人物清晰的目标人脸图像。

在一实施例中,如图4所示,在上述图1至图3的实施例基础上,所述判断所述第二距离是否小于预设阈值的步骤之后,还包括:

步骤s70、若否,根据每个所述目标人物对应的说话时间,确定第一目标人物和第二目标人物;

步骤s71、根据所述第一目标人物对应的目标位置,控制所述变焦镜头拍摄所述第一目标人物的目标人脸图像,并将所述第二目标人物在所述广角图像中的人脸图像,作为所述第二目标人物的目标人脸图像。

本实施例中,在得到多个目标人物对应的目标位置之间的第二距离后,检测第二距离是否小于或者等于预设阈值。

可选的,终端检测到第二距离大于预设阈值时,根据每个所述目标人物对应的说话时间,确定第一目标人物和第二目标人物。

可选的,说话时间可以是说话时长,将在第一预设时长内说话时长最长的目标人物作为第一目标人物,其余目标人物则作为第二目标人物。

可选的,说话时间可以是说话时间点,并将对应的说话时间点最接近当前时间点的目标人物作为第一目标人物,其余目标人物则作为第二目标人物。

可选的,终端从多个目标人物中,区分出第一目标人物和第二目标人物后,则根据所述第一目标人物对应的目标位置,控制所述变焦镜头拍摄所述第一目标人物的目标人脸图像(即只针对第一目标人物执行步骤s30,使用变焦镜头拍摄第一目标人物的目标人脸图像);而对于第二目标人物,则直接将第二目标人物在广角图像中的人脸图像,从广角图像中裁剪出来并进行图像放大处理,将最终得到的人脸图像作为第二目标人物的目标人脸图像。

这样,当存在多个目标人物时,可以根据实际情况需要分配或调整变焦镜头对目标人物的拍摄,可以最大限度地得到目标人物清晰的目标人脸图像。

在一实施例中,在上述实施例基础上,所述根据所述目标位置控制变焦镜头拍摄所述目标人物的目标人脸图像的步骤之后,还包括:

步骤s80、根据所述目标人脸图像和所述广角图像生成画中画图像,并输出所述画中画图像。

或者,步骤s81、输出所述目标人脸图像。

本实施例中,在视频会议启动时,尤其是在远程会议场景中,一般本地终端采集得到的会议室内部的视频是可以通过网络传输,输出至远程终端进行播放,以使远程终端会议室内的与会人员可以了解到本地会议室内的情况。

可选的,终端在得到目标人物的目标人脸图像后,可以根据目标人脸图像和广角图像生成画中画图像,例如以广角图像为底层图像,将目标人脸图像叠加在广角图像之上,并将目标人脸图像显示在广角图像中的人像区域外,从而得到画中画图像。在终端得到画中画图像后,持续输出画中画图像,并整合为视频传输至远程终端。

或者,终端在得到目标人物的目标人脸图像后,也可以是只输出目标人脸图像,并将持续输出的目标人脸图像整合为视频传输至远程终端。

这样,通过重点突出目标人物的目标人脸图像,可以提高与会人员对目标人物的关注度。

可选的,当终端输出画中画图像或者目标人脸图像之后,若麦克风阵列在预设时长(记为第二预设时长)内未检测到人声信息时(例如此时轮到远程终端处的与会人员发言,故本地端与会人员保持安静,就会出现该情形),则终端将输出的画中画图像或者目标人脸图像切换为输出广角图像,并将持续输出的广角图像整合为视频传输至远程终端。

需要说明的是,第二预设时长可根据实际情况需要设置,如一分钟、两分钟等。

可选的,当终端确定得到多个目标人物时,且检测到多个目标人物的人脸图像对应的目标位置之间的第二距离,大于预设阈值时,则判定此时各目标人物的距离过于分散,不适宜用变焦镜头拍摄目标人脸图像,终端即可直接输出视频会议室内的广角图像,并将持续输出的广角图像整合为视频传输至远程终端。

这样,通过输出广角图像,可以方便远程与会人员了解本地端会议的全局情况。

参照图5,本申请实施例中还提供一种交互平板10,包括:

采集模块11,用于采集视频会议室内的广角图像;

确定模块12,用于确定目标人物在所述广角图像中的目标位置;

拍摄模块13,用于根据所述目标位置控制变焦镜头拍摄所述目标人物的目标人脸图像。

参照图6,本申请实施例中还提供一种计算机设备,该计算机设备可以是服务器,其内部结构可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中,该计算机设计的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于会议人像的拍摄程序。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种会议人像的拍摄方法。

本领域技术人员可以理解,图6中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定。

此外,本申请还提出一种计算机可读存储介质,所述计算机可读存储介质包括会议人像的拍摄程序,所述会议人像的拍摄程序被处理器执行时实现如以上实施例所述的会议人像的拍摄方法的步骤。可以理解的是,本实施例中的计算机可读存储介质可以是易失性可读存储介质,也可以为非易失性可读存储介质。

综上所述,为本申请实施例中提供的会议人像的拍摄方法、交互平板、计算机设备和存储介质,采集视频会议室内的广角图像;确定目标人物在所述广角图像中的目标位置;根据所述目标位置控制变焦镜头拍摄所述目标人物的目标人脸图像。这样,通过使用广角镜头和变焦镜头相结合的方式,在得到视频会议的广角图像的同时,还能得到目标人物清晰的目标人脸图像。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的和实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可以包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限,ram通过多种形式可得,诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双速据率sdram(ssrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。

需要说明的是,在本文中,术语“包括”、“包含”或者其任何其它变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素,而且还包括没有明确列出的其它要素,或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。

以上所述仅为本申请的优选实施例,并非因此限制本申请的专利范围,凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其它相关的技术领域,均同理包括在本申请的专利保护范围内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1