字幕显示方法、终端及计算机可读存储介质与流程

本发明涉及多媒体技术领域，尤其涉及一种字幕显示方法、终端及计算机可读存储介质。

背景技术：

随着社会的不断发展，在公共场所经常可以看到不同国籍的国际友人。而为了给这些国际友人提供一些向导性的提示，公共场所里往往会设置有电视，用以播放一些向导性的内容。但是，公共场所的电视在使用的过程中，往往只能显示一种固定语言的字幕，而如果用户不能理解这种语言文字，那么该公共电视就没有起到应有的作用；对用户而言，其无法从公共电视中获得需要的向导信息，降低了用户了体验。

技术实现要素：

本发明的主要目的在于提出一种字幕显示方法、终端及计算机可读存储介质，旨在解决视频字幕的语言种类无法自动调整的技术问题。

为实现上述目的，本发明提供一种字幕显示方法，所述字幕显示方法包括以下步骤：

获取当前预设区域内的图像，并根据所述图像判断所述预设区域内是否存在用户；

若所述预设区域内存在用户，则根据所述图像获取所述用户的生理特征信息，并根据所述生理特征信息确定所述用户的使用语言；

设置与所述用户的使用语言相同语种的字幕，并显示所述字幕。

可选的，所述获取当前预设区域内的图像，并根据所述图像判断所述预设区域内是否存在用户的步骤包括：

获取当前预设区域内的图像，并对所述图像进行人脸检测，判断所述图像中是否存在人脸图像，以判断所述预设区域内是否存在用户。

可选的，所述若所述预设区域内存在用户，则根据所述图像获取所述用户的生理特征信息，并根据所述生理特征信息确定所述用户的使用语言的步骤包括：

若所述预设区域内存在用户，则在所述图像中获取用户的特征图像，并根据所述特征图像获取所述用户的生理特征信息；

查询预设数据库，将所述生理特征信息与所述预设数据库中的特征信息进行比对，以判断所述用户的所属国籍，并根据所述用户的所属国籍确定所述用户的使用语言。

可选的，所述若所述预设区域内存在用户，则根据所述图像获取所述用户的生理特征信息，并根据所述生理特征信息确定所述用户的使用语言的步骤，还包括：

若所述预设区域内存在用户，则判断所述用户的数量是否大于预设显示数量；

若所述用户的数量大于预设显示数量，则根据预设规则在所述用户中确定有效用户，并获取所述有效用户的生理特征信息；

根据所述生理特征信息确定所述有效用户的使用语言。

可选的，所述若所述预设区域内存在用户，则判断所述用户的数量是否大于预设显示数量的步骤之后，还包括：

若所述用户的数量小于或等于预设显示数量，则获取所有用户的生理特征信息，并根据所述生理特征确定所有用户的使用语言。

可选的，所述设置与所述用户的使用语言相同语种的字幕，并显示所述字幕的步骤之后，还包括：

在经过预设时间时获取所述预设区域内的二次图像，并根据所述二次图像判断所述用户是否仍在所述预设区域内；

若所述用户仍在所述预设区域内，则保持所述字幕的语种不变。

可选的，所述在经过预设时间时获取所述预设区域内的二次图像，并根据所述二次图像判断所述用户是否仍在所述预设区域内的步骤之后，还包括：

若所述用户已不在所述预设区域内，则根据所述二次图像判断所述预设区域内是否存在其他的二次用户；

若所述预设区域内存在其他的二次用户，则根据所述二次图像获取所述二次用户的生理特征信息，并根据所述二次用户的生理特征信息确定所述二次用户的使用语言，以设置与所述二次用户的使用语言相同语种的字幕。

可选的，所述生理特征信息包括发色特征信息、肤色特征信息、五官特征信息。

此外，为实现上述目的，本发明还提供一种字幕显示终端，所述字幕显示终端包括处理器、存储器及存储在所述存储器上并可被所述处理器执行的字幕显示程序，其中所述字幕显示程序被所述处理器执行时，实现如上述的字幕显示方法的步骤。

此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有字幕显示程序，所述字幕显示程序被处理器执行时实现如上述的字幕显示方法的步骤。

本发明通过获取当前预设区域内的图像，并根据所述图像判断所述预设区域内是否存在用户；若所述预设区域内存在用户，则根据所述图像获取所述用户的生理特征信息，并根据所述生理特征信息确定所述用户的使用语言；设置与所述用户的使用语言相同语种的字幕，并显示所述字幕。通过以上方式，本发明可对预设区域内的用户进行分析，根据用户生理特征判断出其语言习惯，并根据其语言习惯进行字幕设置，使得所显示的字幕的语言时用户能理解的语言，实现了字幕语言种类的自动调整，方便用户阅读和理解字幕所包括的含义，提高了用户的体验。

附图说明

图1为本发明实施例方案涉及的字幕显示终端的硬件结构示意图；

图2为本发明字幕显示方法第一实施例的流程示意图；

图3为图2所述若所述预设区域内存在用户，则根据所述图像获取所述用户的生理特征信息，并根据所述生理特征信息确定所述用户的使用语言的步骤细化流程图；

图4为本发明字幕显示方法第二实施例的流程示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明实施例方案的主要思路是：获取当前预设区域内的图像，并根据所述图像判断所述预设区域内是否存在用户；若所述预设区域内存在用户，则根据所述图像获取所述用户的生理特征信息，并根据所述生理特征信息判断所述用户的使用语言；设置与所述用户的使用语言相同语种的字幕，并显示所述字幕。

本发明实施例涉及的字幕显示方法主要应用于字幕显示终端，字幕显示终端可以是智能电视、显示屏、电脑等具有显示播放功能的终端设备。后续描述中将以智能电视作为字幕显示终端进行说明。

参照图1，图1为本发明实施例方案涉及的字幕显示终端的硬件结构示意图。如图1所示，本发明实施例的字幕显示终端可以包括处理器1001(例如cpu)，通信总线1002，用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信；用户接口1003可以包括显示屏(display)、输入单元比如键盘(keyboard)；网络接口1004可选的可以包括标准的有线接口、无线接口(如wi-fi接口)；存储器1005可以是高速ram存储器，也可以是稳定的存储器(non-volatilememory)，例如磁盘存储器，存储器1005可选的还可以是独立于前述处理器1001的存储装置。

可选的，字幕显示终端还可以包括摄像头、rf(radiofrequency，射频)电路，传感器、音频电路、wifi模块等等。其中，传感器比如光传感器、运动传感器以及其他传感器。具体的，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示屏的亮度，接近传感器可根据传感设备与参照物的距离，调整显示屏的亮度。作为运动传感器的一种，重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别终端姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；当然，字幕显示终端还可配置陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。

本领域技术人员可以理解，图1中示出的终端结构并不构成对本发明字幕显示终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

继续参照图1，图1中作为一种计算机存储介质的存储器1005可以包括操作系统、网络通信模块以及字幕显示程序。

在图1所示的终端中，网络通信模块主要用于连接服务器，与服务器进行数据；而处理器1001可以调用存储器1005中存储的字幕显示程序，并执行以下操作：

获取当前预设区域内的图像，并根据所述图像判断所述预设区域内是否存在用户；

若所述预设区域内存在用户，则根据所述图像获取所述用户的生理特征信息，并根据所述生理特征信息确定所述用户的使用语言；

设置与所述用户的使用语言相同语种的字幕，并显示所述字幕。

进一步的，所述处理器1001还可以调用存储器1005中存储的字幕显示程序，并执行以下操作：

获取当前预设区域内的图像，并对所述图像进行人脸检测，判断所述图像中是否存在人脸图像，以判断所述预设区域内是否存在用户。

进一步的，所述处理器1001还可以调用存储器1005中存储的字幕显示程序，并执行以下操作：

若所述预设区域内存在用户，则在所述图像中获取用户的特征图像，并根据所述特征图像获取所述用户的生理特征信息；

查询预设数据库，将所述生理特征信息与所述预设数据库中的特征信息进行比对，以判断所述用户的所属国籍，并根据所述用户的所属国籍确定所述用户的使用语言。

进一步的，所述处理器1001还可以调用存储器1005中存储的字幕显示程序，并执行以下操作：

若所述预设区域内存在用户，则判断所述用户的数量是否大于预设显示数量；

若所述用户的数量大于预设显示数量，则根据预设规则在所述用户中确定有效用户，并获取所述有效用户的生理特征信息；

根据所述生理特征信息确定所述有效用户的使用语言。

进一步的，所述处理器1001还可以调用存储器1005中存储的字幕显示程序，并执行以下操作：

若所述用户的数量小于或等于预设显示数量，则获取所有用户的生理特征信息，并根据所述生理特征确定所有用户的使用语言。

进一步的，所述处理器1001还可以调用存储器1005中存储的字幕显示程序，并执行以下操作：

在经过预设时间时获取所述预设区域内的二次图像，并根据所述二次图像判断所述用户是否仍在所述预设区域内；

若所述用户仍在所述预设区域内，则保持所述字幕的语种不变。

进一步的，所述处理器1001还可以调用存储器1005中存储的字幕显示程序，并执行以下操作：

若所述用户已不在所述预设区域内，则根据所述二次图像判断所述预设区域内是否存在其他的二次用户；

若所述预设区域内存在其他的二次用户，则根据所述二次图像获取所述二次用户的生理特征信息，并根据所述二次用户的生理特征信息确定所述二次用户的使用语言，以设置与所述二次用户的使用语言相同语种的字幕。

进一步的，所述生理特征信息包括发色特征信息、肤色特征信息、五官特征信息。

基于上述字幕显示终端的硬件结构，提出本发明字幕显示终端方法各个实施例。

参照图2，图2为本发明字幕显示方法第一实施例的流程示意图。

本实施例中，所述字幕显示方法包括以下步骤：

步骤s10，获取当前预设区域内的图像，并根据所述图像判断所述预设区域内是否存在用户；

在公共场所经常可以看到不同国籍的国际友人。而为了给这些国际友人提供一些向导性的提示，公共场所里往往会设置有电视，用以播放一些向导性的内容。但是，公共场所的电视在使用的过程中，往往只能显示一种固定语言的字幕，而如果用户不能理解这种语言文字，那么该公共电视就没有起到应有的作用；对用户而言，其无法从公共电视中获得需要的向导信息，降低了用户了体验。

基于上述情况，本实施例提出一种字幕显示方法，该方法可对用户进行识别，判断用户的使用语言，并根据用户的使用语言设置字幕的语言种类，从而使得用户可以正常理解字幕内容。

具体的，本实施例中以智能电视进行说明。在公共场所(例如车站、商场等场所)中设置有专门用于播放向导信息的智能电视，以方便人们能便捷、快速的获取到指引信息。这些智能电视可通过摄像头获取到预设区域内的图像，以确定预设区域内是否存在用户正常观看电视。其中，摄像头可以是可以是集成设置在电视本体上的；当然还可以是以外接设备的方式与智能电视配套使用的。在摄像头时以外接设备的方式与智能电视配套使用时，摄像头可以是以有线方式与智能电视连接，当然也可以是以无线方式与智能电视连接。而对于摄像头的数量，可以是一个，也可以是两个以上(此处“以上”包括本数，下同)。通过这些摄像头，可以拍摄到预设区域内的图像。其中预设区域是智能电视的显示屏前的有效观看区域，对于该区域的面积和形状可以根据实际情况进行具体设置。本实施例中，摄像头在对当前预设区域拍摄完成时，将会把拍摄所得的图像传输至智能电视；智能电视在获取到该图像时，将会对该图像进行人脸识别，判断图像中是否存在人的脸部图像，从而判断图像中是否存在用户图像；若图像中存在人的脸部图像，则确定图像中存在用户图像；若图像中存在用户图像，则确定预设区域内存在有用户，并认为该用户当前正在该预设区域中观看电视。此时进入步骤s20。

步骤s20，若所述预设区域内存在用户，则根据所述图像获取所述用户的生理特征信息，并根据所述生理特征信息确定所述用户的使用语言；

本实施例中，若智能电视在预设区域的图像中识别到人脸图像，则确定预设区域中存在用户正在观看电视。此时电视将根据图像判断用户的语言习惯，确定用户可以理解的语言种类(语种)。具体的，由于环境等原因，在同一个地区生活的人，往往具有类似的生理特征，而这些人往往使用同一种语言进行交流。例如，欧洲人一般是白种人，其眼睛可能是蓝色、棕色等；而中国人一般是黄种人，眼睛一般是黑棕色。当然除了上述生理特征，还有其它的生理特征(如五官尺寸、比例等)。根据这一原理，可对不同地区的人的生理特征数据进行分析，总结出不同地区的人的生理特征，并将这些生理特征录入数据库中；而在存储不同地区的人的生理特征信息时，还可对应存储该地区的人的常用语种(语言种类)，例如北美地区与英语对应，西亚地区与阿拉伯语对应，中国地区与中文对应。如此，在获取到某个用户的生理特征信息，即可将用户的生理特征信息和数据库中的特征数据进行比对，从而判断是属于哪一个地区，确定用户国籍，并根据用户国籍确定用户的使用语言。

本实施例中，智能电视判断预设区域内存在用户时，电视将对图像内容进行进一步的分析和识别，根据该图像获取用户的用户图像，并根据用户图像获取用户的生理特征信息，以根据所述生理特征信息确定所述用户的使用语言。其中用户的生理特征信息，包括用户的发色特征信息、肤色特征信息、五官特征信息(五官尺寸、比例等)、外形特征信息等。电视在获取到这些生理特征信息时，可查询数据库，将该生理特征信息与数据库中的信息进行比对，判断用户的所属国籍；在确定用户的国籍时，即可确定用户的使用语言。

步骤s30，设置与所述用户的使用语言相同语种的字幕，并显示所述字幕。

本实施例中，智能电视在确定用户的语言种类时，即确定了字幕的目标语种，此时即可目标语种进行字幕设置。具体的，智能电视将获取待显示的源字幕，将其翻译成目标语种的字幕。在翻译完成时，智能电视即可显示该目标语种的字幕。当然，在显示该字幕时，还可显示未翻译的源字幕。例如，源字幕为中文字幕，而当前预设区域内的用户为美国人；智能电视在根据图像确定出用户的语言习惯时，将把中文源字幕进行翻译，得到英文字幕；在显示时，智能电视将会把中文源字幕和英文字幕一同显示。

进一步的，智能电视在图像判断预设区域内是否存在用户时，若未在图像中识别到人脸图像，则会判断预设区域内不存在用户，此时智能电视不会执行后续的生理特征信息获取和字幕翻译等操作。

再进一步的，智能电视在根据用户的生理特征信息确定用户的使用语言的过程中，若未能根据用户的生理特征判断出用户的语言习惯，则此时智能电视将不改变源字幕的语种，并直接显示源字幕。当然考虑到英语的广泛使用，在无法确定用户的语言习惯时，还可以直接将源字幕翻译成英文字幕，并将该源字幕和英文字幕一同显示。

本实施例中，获取当前预设区域内的图像，并根据所述图像判断所述预设区域内是否存在用户；若所述预设区域内存在用户，则根据所述图像获取所述用户的生理特征信息，并根据所述生理特征信息确定所述用户的使用语言；设置与所述用户的使用语言相同语种的字幕，并显示所述字幕。通过以上方式，本实施例可对预设区域内的用户进行分析，根据用户生理特征判断出其语言习惯，并根据其语言习惯进行字幕设置，使得所显示的字幕的语言时用户能理解的语言，实现了字幕语言种类的自动调整，方便用户阅读和理解字幕所包括的含义，提高了用户的体验。

参照图3，图3为图2所述若所述预设区域内存在用户，则根据所述图像获取所述用户的生理特征信息，并根据所述生理特征信息确定所述用户的使用语言的步骤细化流程图。

基于上述图2所示实施例，步骤s20包括：

步骤s21，若所述预设区域内存在用户，则判断所述用户的数量是否大于预设显示数量；

步骤s22，若所述用户的数量大于预设显示数量，则根据预设规则在所述用户中确定有效用户，并获取所述有效用户的生理特征信息；

步骤s23，根据所述生理特征信息确定所述有效用户的使用语言；

步骤s24，若所述用户的数量小于或等于预设显示数量，则获取所有用户的生理特征信息，并根据所述生理特征确定所有用户的使用语言。

本实施例中，若智能电视根据摄像头拍摄的图像判断预设区域中存在有用户正在观看电视，则智能电视将对图像进行分析，以判断预设区域中的用户数量。具体的，本实施例中可以采用人脸识别的方法进行判断，即智能电视将检测图像中存在多少张人脸图像，从而确定用户的数量。在确定用户的数量数，将判断用户的数量是否大于预设显示数量。其中预设显示数量是一预设值，其表示可同时显示字幕语种的最大数量。例如，该预设显示数量为2，则表示智能电视最多可同时显示两种语言的字幕。对应该预设显示数量，可以是根据屏幕的尺寸大小和播放的画面内容确定的，以保证在显示多种语言的字幕时，不会影响其它画面内容的正常观看。

本实施例中，智能电视在确定用户的数量时，会将用户数量和预设显示数量进行比较，判断用户的数量是否大于预设显示数量。如果用户的数量大于预设显示数量，则说明智能电视无法同时显示所有语言的字幕；此时智能电视将在所有用户中确定预设数量的有效用户，并获取有效用户的生理特征信息，以根据有效用户的生理特征信息确定使用语言，并进行后续的字幕设置。其中，对于有效用户的确定规则，可以是根据实际情况进行设置的。例如，可以是根据用户进入预设区域的时间确定的。例如，摄像头拍摄时是以视频模式进行拍摄，获得的是视频图像；智能电视根据该视频图像确定共有a和b两个用户在预设区域，其中a用户是在10点整进入了预设区域，b用户是在10点2分进入预设区域；而由于预设显示数量为1，即智能电视最多可显示一种语种的字幕；则此时智能电视将会在a和b两个用户中确定一个有效用户，并获取该有效用户的生理特征信息以确定其使用语言；此时智能电视将会把较早进入预设区域的a用户确定为有效用户，并获取a用户的生理特征信息，以根据a用户的生理特征信息确定a用户的使用语言。当然，还可以是根据用户所处位置确定有效用户。例如，预设区域中包括中心区域和非中心区域，在用户的数量大于预设显示数量时，智能电视会将处于中心区域的用户确定为有效用户，并获取该有效用户的生理特征信息以确定其使用语言。

进一步的，若用户的数量小于或等于预设显示数量，则智能电视会获取所有用户的生理特征信息，并根据这些生理特征信息分别确定各用户的使用语言，以根据各用户的使用语言设置多种语种字幕，并同时进行显示。

再进一步的，本实施例中，是先判断用户的数量与预设数量之间的大小关系，再根据两者的大小关系确定需要获取生理特征信息的有效用户；还可以是先获取预设区域内所有用户的生理特征信息，并根据这些生理特征信息确定各用户的使用语言；然后在确定这些用户的语言的总数量是否大于预设数量；若语言的总数量大于预设数量，则在这些语言中确定有效语言，并根据有效语言进行字幕设置；若语言的总数量小于或等于预设数量，则直接根据这些语言类型设置多种语种字幕，并同时进行显示。其中对于有效语言的数量，可以是根据用户的人数进行确定的，例如，预设数量为2，预设区域中有5人说英语，7人说中文，1人说日语，则可将英语和中文确定为有效语言，并进行相应的字幕设置。当然在具体实施中，有效语言的确定规则也可以是其它的内容。

参照图4，图4为本发明字幕显示方法第二实施例的流程示意图。

基于上述图2所示实施例，步骤s30之后，还包括：

步骤s40，在经过预设时间时获取所述预设区域内的二次图像，并根据所述二次图像判断所述用户是否仍在所述预设区域内；

步骤s50，若所述用户仍在所述预设区域内，则保持所述字幕的语种不变；

步骤s60，若所述用户已不在所述预设区域内，则根据所述二次图像判断所述预设区域内是否存在其他的二次用户；

步骤s70，若所述预设区域内存在其他的二次用户，则根据所述二次图像获取所述二次用户的生理特征信息，并根据所述二次用户的生理特征信息确定所述二次用户的使用语言，以设置与所述二次用户的使用语言相同语种的字幕。

本实施例中，智能电视在显示了某一语种的字幕后，还会通过摄像头对预设区域继续进行监控，根据预设区域内的观看电视的用户的变化实时调整字幕的语种。具体的，智能电视在经过预设时间时会通过摄像头再次获取预设区域内的图像，为了将本次图像与步骤s10中的图像相区别，此处的图像可称为二次图像；根据二次图像，电视可判断原用户是否仍待在预设区域内观看电视。如果原用户仍在预设区域内，则电视将认为原用户仍在观看电视，为了保证原用户能顺利理解字幕内容，当前不对字幕的语种进行调整，保存当前的字幕状态不便。而如果原用户不在预设区域内(或离开了预设区域)，则电视将认为原用户已不再阅读字幕，此时电视将会检测预设区域内是否有其他的用户，这个其他可称为二次用户；若存在二次用户，则电视会获取二次用户的生理特征信息，以根据二次用户的生理特征确定所述二次用户的使用语言，并设置与二次用户的使用语言相同语种的字幕，保证二次用户能顺利理解字幕内容。其中，特征获取和用户语言确定等具体步骤细节，可参照步骤s10和步骤s20，此处不再赘述；对于摄像头的拍摄，可以是一直进行的，即摄像头一直处在拍摄状态，获取到的是预设区域的实时监控视频图像，当然也可以是每隔一定周期拍摄的照片图像；而对于电视对图像的人脸识别和用户检测处理，类似的，可以是对监控视频图像进行实时识别和检测，当然也可以是每隔一定周期进行一次识别和检测。

本实施例中，智能电视在显示了某一语种的字幕后，还会通过摄像头对预设区域继续进行监控，根据预设区域内的观看电视的用户的变化实时调整字幕的语种，以满足公共场所不断流动的人群的字幕阅读需求。

本发明还提供一种计算机可读存储介质。

本发明计算机可读存储介质上存储有字幕显示程序，所述字幕显示程序被处理器执行时实现如上述字幕显示方法的步骤。

其中，字幕显示程序被执行时所实现的方法可参照本发明字幕显示方法的各个实施例，此处不再赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。