一种智能电视的显示控制方法及装置制造方法
【专利摘要】本发明公开了一种智能电视的显示控制方法及装置。其方法包括：对智能电视的视频采集装置采集的视频图像进行用户识别检测；当检测到用户后，从视频图像中提取用于分析用户身份的图像特征信息；根据该图像特征信息确定用户的身份信息，并根据该用户的身份信息确定用户的身份；根据身份与显示信息的对应关系，选择用户的身份对应的显示信息；根据选择的显示信息调整智能电视的显示内容。本发明实施例提供的方法及装置，不需要用户使用账号登陆，而是在检测到用户后，通过分析用户的身份，自动为用户推送显示内容。
【专利说明】一种智能电视的显示控制方法及装置
【技术领域】
[0001]本发明涉及智能电视控制【技术领域】，尤其涉及一种智能电视的显示控制方法及装置。
【背景技术】
[0002]随着三网融合，智能电视已经逐渐进入家庭。智能电视提供给用户的内容除了传统的电视节目和基本功能外，还有更多海量的节目内容和丰富的功能。用户在面对如此多的内容和功能时，经常会花费大量的时间和精力查找自己喜欢的内容和功能，从而导致用户使用智能电视的体验降低。
[0003]为了使用户打开智能电视时不需要每次重新查找自己喜欢的内容和功能。现有的一种解决方案是:为用户分配账号，当用户通过账号登陆智能电视的桌面系统后，智能电视记录该账号对应的浏览的频道、使用的应用等使用记录，以及该账号对应的主题配置，并在用户通过账号智能电视的桌面系统后，智能电视按账号对应的历史使用记录推送节目内容。
[0004]上述技术方案虽然可以为用户推送节目内容。但需要用户使用账号登陆后才能实现。
【发明内容】
[0005]本发明的目的是提供一种智能电视的显示控制方法及装置，以解决需要用户使用账号登陆后才能进行节目内容推送的问题。
[0006]本发明的目的是通过以下技术方案实现的:
[0007]一种智能电视的显示控制方法，包括:
[0008]对智能电视的视频采集装置采集的视频图像进行用户识别检测；
[0009]当检测到用户后，从检测到用户的视频图像中提取用于分析用户身份的图像特征
信息；
[0010]根据用于分析用户身份的图像特征信息确定用户的身份信息，并根据该用户的身份信息确定用户的身份；
[0011]根据身份与显示信息的对应关系，选择用户的身份对应的显示信息；
[0012]根据选择的显示信息调整智能电视的显示内容。
[0013]其中，显示信息可以但不仅限于包括以下至少一种信息:节目内容的信息、控制功能的信息、界面框架的信息。
[0014]如果显示信息包括节目内容的信息，则身份与显示信息的对应关系包括:身份与节目内容的信息的对应关系；如果显示信息包括控制功能的信息，则身份与信息的对应关系包括:身份与控制功能的信息的对应关系；如果显示信息包括界面框架的信息，则身份与显示信息的对应关系包括:身份与界面框架的信息的对应关系。
[0015]本发明实施例提供的方法，不需要用户使用账号登陆，而是在检测到用户后，通过分析用户的身份，选择用户身份对应的显示信息，从而自动为用户推送显示内容。
[0016]较佳地，可以利用人脸分类器对智能电视的视频采集装置采集的视频图像进行人脸识别，当识别到人脸后，即确定检测到用户。在此基础上，为了降低误检率，对于检测到的人脸区域，还利用鼻子分类器对该人脸区域进行鼻子检测；如果检测到鼻子，确定检测到用户。
[0017]基于上述任意方法实施例，较佳地，用于分析用户身份的图像特征信息可以包括脸部图像信息。那么，用户的身份信息可以但不仅限于包括以下任意信息或组合:年龄段、性别、表情。
[0018]在此基础上，从视频图像中提取用户的脸部图像信息的具体实现方式可以是:确定用户的人脸区域；在该用户的人脸区域利用人眼分类器对人脸区域进行人眼检测；确定两眼连线的中心点，并以该中心点为坐标原点旋转人脸区域，使得两眼连线与以该中心点为坐标原点的显示坐标系的横轴平行；从旋转后的人脸区域提取正方形区域的图像信息作为用户的脸部图像信息，该正方形区域的边长为两眼连线距离的2倍，在水平方向沿两眼连线的中心点对称，且该正方形区域的上边线到该中心点的距离为两眼连线距离的一半。
[0019]基于上述任意方法实施例，较佳地，用于分析所述用户身份的图像特征信息还可以包括用于识别衣服颜色的目标区域的色彩信息，则用户的身份信息还可以包括用户的衣服颜色类型。那么，从视频图像中提取目标区域的色彩信息的具体实现方式:确定用户的人脸区域；根据该人脸区域确定该目标区域；提取该目标区域的色彩信息。相应的，根据用于分析用户身份的图像特征信息确定用户的身份信息的具体实现方式可以是:根据该目标区域的色彩信息确定用户的衣服颜色类型。
[0020]通常，从图像中提取的色彩信息是红绿蓝(RGB)色彩信息。但RGB色彩不稳定，容易受到光强、阴影等因素的影响。为了更加准确的识别用户衣服的颜色，提取目标区域的色彩信息，并根据该色彩信息确定用户的衣服颜色类型的具体实现方式可以是:提取所述目标区域的红绿蓝RGB色彩信息；然后将提取的RGB信息转换为HSV色彩信息，并根据HSV色彩信息确定该用户的衣服颜色类型。
[0021]基于上述任意方法实施例，为了保证身份分析的准确性，较佳地，确定用户的身份信息时，可以根据从连续X帧视频图像中提取的用于分析该用户身份的图像特征信息，确定该用户的身份信息。其中，X为不小于2的整数。
[0022]基于上述任意方法实施例，如果确定出至少两个身份，根据身份与显示信息的对应关系，选择用户的身份对应的显示信息的具体实现方式可以是:
[0023]如果显示信息包括节目内容的信息，根据身份与节目内容的信息的对应关系，选择每个身份对应的节目内容的信息的并集或交集；
[0024]如果显示信息包括控制功能的信息，根据身份与控制功能的信息的对应关系，选择每个身份对应的控制功能的信息的并集或交集；
[0025]如果显示信息包括界面框架的信息，根据身份与界面框架的信息的对应关系，选择多用户身份对应的界面框架的信息。
[0026]基于与方法同样的发明构思，本发明实施例还提供一种智能电视的显示控制装置，包括:
[0027]用户识别模块，用于对智能电视的视频采集装置采集的视频图像进行用户识别检测；
[0028]图像特征信息提取模块，用于当用户识别模块检测到用户后，从检测到用户的视频图像中提取用于分析用户身份的图像特征信息；
[0029]用户身份确定模块，用于根据用于分析用户身份的图像特征信息确定用户的身份信息，并根据该用户的身份信息确定用户的身份；
[0030]显示信息选择模块，用于根据身份与显示信息的对应关系，选择用户的身份对应的显示信息，该显示信息包括节目内容的信息、控制功能的信息、和/或界面框架的信息；
[0031]显示内容调整模块，用于根据选择的显示信息调整智能电视的显示内容。
[0032]本发明实施例提供的装置，不需要用户使用账号登陆，而是在检测到用户后，通过分析用户的身份，自动为用户推送显示内容。
[0033]较佳地，如果用户身份确定模块确定出至少两个身份，显示信息选择模块具体用于:
[0034]如果显示信息包括节目内容的信息，根据身份与节目内容的信息的对应关系，选择每个身份对应的节目内容的信息的并集或交集；
[0035]如果显示信息包括控制功能的信息，根据身份与控制功能的信息的对应关系，选择每个身份对应的控制功能的信息的并集或交集；
[0036]如果显示信息包括界面框架的信息，根据身份与界面框架的显示信息的对应关系，选择多用户身份对应的界面框架的信息。
[0037]较佳地，用户识别模块具体用于:利用人脸分类器对所述视频图像进行人脸检测；对于检测到的人脸区域，利用鼻子分类器对所述人脸区域进行鼻子检测；如果检测到鼻子，确定检测到用户。
[0038]基于上述任意装置实施例，较佳地，用于分析用户身份的图像特征信息可以包括脸部图像信息。那么，用户的身份信息可以但不仅限于包括以下任意信息或组合:年龄段、性别、表情。
[0039]在此基础上，图像特征信息提取模块具体可以用于:确定用户的人脸区域；在该用户的人脸区域利用人眼分类器对人脸区域进行人眼检测；确定两眼连线的中心点，并以该中心点为坐标原点旋转人脸区域，使得两眼连线与以该中心点为坐标原点的显示坐标系的横轴平行；从旋转后的人脸区域提取正方形区域的图像信息作为用户的脸部图像信息，该正方形区域的边长为两眼连线距离的2倍，在水平方向沿两眼连线的中心点对称，且该正方形区域的上边线到该中心点的距离为两眼连线距离的一半。
[0040]基于上述任意装置实施例，较佳地，用于分析用户身份的图像特征信息还可以包括用于识别衣服颜色的目标区域的色彩信息，则用户的身份信息还可以包括用户的衣服颜色类型。那么，图像特征信息提取模块具体用于:确定用户的人脸区域；根据该人脸区域确定该目标区域；提取该目标区域的色彩信息。用户身份确定模块具体用于:根据该目标区域的色彩信息确定用户的衣服颜色类型。
[0041]通常，从图像中提取的色彩信息是RGB色彩信息。但RGB色彩不稳定，容易受到光强、阴影等因素的影响。为了更加准确的识别用户衣服的颜色，图像特征信息提取模块具体可以用于:提取目标区域的RGB色彩信息；然后将提取的RGB信息转换为HSV色彩信息。用户身份确定模块具体用于:根据HSV色彩信息确定该用户的衣服颜色类型。[0042]基于上述任意装置实施例，为了保证身份分析的准确性，较佳地，用户识别模块具体用于:根据从连续X帧视频图像中提取的用于分析该用户身份的图像特征信息，确定该用户的身份信息。其中，X为不小于2的整数。
【专利附图】
【附图说明】
[0043]图1为本发明实施例提供的一种方法流程图；
[0044]图2为本发明实施例提供的用于分析用户表情的脸部图像区域示意图；
[0045]图3a?图3c为本发明实施例提供的显示界面的显示内容示意图；
[0046]图4为本发明实施例提供的装置示意图。
【具体实施方式】
[0047]下面将结合附图，对本发明实施例提供的技术方案进行详细描述。
[0048]图1所示为本发明实施例提供的一种智能电视的显示控制方法流程图，具体包括如下操作:
[0049]步骤100、对智能电视的视频采集装置采集的视频图像进行用户识别检测。
[0050]步骤110、当检测到用户后，从检测到用户的视频图像中提取用于分析用户身份的图像特征信息。
[0051]步骤120、根据用于分析用户身份的图像特征信息确定用户的身份信息，并根据该用户的身份信息确定用户的身份。
[0052]其中，用户的身份是由用户的身份信息来确定的。用户的身份信息不同，相应的用户身份不同。
[0053]步骤130、根据身份与显示信息的对应关系，选择用户的身份对应的显示信息。
[0054]步骤140、根据选择的显示信息调整智能电视的显示内容。
[0055]上述的显示信息可以但不仅限于包括以下至少一种信息:节目内容的信息、控制功能的信息、界面框架的信息。
[0056]如果显示信息包括节目内容的信息，则身份与显示信息的对应关系包括:身份与节目内容的信息的对应关系；如果显示信息包括控制功能的信息，则身份与显示信息的对应关系包括:身份与控制功能的信息的对应关系；如果显示信息包括界面框架的信息，则身份与显示信息的对应关系包括:身份与界面框架的信息。
[0057]其中，节目内容的显示信息既可以是具体节目内容的信息，例如某部电视剧的信息或者某款游戏的信息，也可以是节目内容分类的信息，例如分类为“恐怖片”、“喜剧片”等等。控制功能的信息是指对智能电视的控制功能的信息，例如快速切换功能、快速返回主显示界面的功能等等。界面框架的信息描述了显示界面的布局，即不同显示内容显示位置、显示比例、显示风格，以及显示界面的色彩搭配、主题图案等等，界面框架的信息既可以是主显示界面的框架信息，也可以是全部界面的框架信息。所谓主显示界面，是指智能电视开机后显示的界面。
[0058]以显示信息包括节目内容的信息、控制功能的信息和界面框架的信息为例，根据选择的显示信息调整智能电视的显示内容具体是指:根据选择的节目内容的信息和控制功能的信息确定显示内容，例如，根据节目内容的信息，确定对应的节目内容的介绍信息作为显示内容或者确定对应的节目内容的具体播放内容作为显示内容，根据控制功能的信息，确定对应的控制功能图标作为显示内容；根据选择的界面框架的信息，确定各个显示内容在显示界面的布局以及显示界面的色彩搭配、主题画面等等。
[0059]本发明实施例提供的方法，不需要用户使用账号登陆，而是在检测到用户后，通过分析用户的身份，选择用户身份对应的显示信息，从而自动为用户推送显示内容。
[0060]进行用户识别检测的方式有多种，较为常见的是通过人脸识别来识别用户。基于上述任意实施例，较佳地，可以利用人脸分类器对智能电视的视频采集装置采集的视频图像进行人脸识别，当识别到人脸后，即确定检测到用户。例如，对视频图像进行灰度化处理，然后利用基于Harr like特征的AdaBoost人脸分类器对进行灰度化处理后的视频图像进行人脸检测。
[0061]在上述人脸识别的基础上，为了降低误检率，对于检测到的人脸区域，还利用鼻子分类器对该人脸区域进行鼻子检测；如果检测到鼻子，确定检测到用户。
[0062]如果检测区域过小，将影响检测的准确性。因此，当检测到人脸区域后，对人脸区域的大小进行判断，如果该人脸区域的大小在N个像素(Pixel) XN个Pixel范围内，则将该人脸区域放大A倍后进行鼻子检测；如果该人脸区域的大小超过N个Pixel XN个Pixel，但在N个Pixel X 2N个Pixel范围内，则将该人脸区域方法B倍后进行鼻子检测；如果该人脸区域的大小超过N个Pixel X 2N个Pixel，则直接对该人脸区域进行鼻子检测。其中，N的取值范围为30?50，较佳地，N取值为40 ；A的取值范围为2?5，较佳地，A取值为4 ；较佳地，B的取值为2.5。应当指出的是，鼻子检测区域的大小、放大倍数等等参数根据实际应用中视频图像的显示像素、鼻子分类器的参数等等确定。
[0063]其中，鼻子分类器可以采用现有的算法训练得到。作为举例而非限定，利用鼻子分类器进行鼻子检测的实现方式可以是:
[0064]将鼻子训练图像进行灰度化处理，计算鼻子区域的局部二进制模式(LocalBinary Pattern，LBP)特征，同时引入大量的非鼻子的人脸其它部位图像作为负样本，用于训练鼻子分类器。较佳地，鼻子分类器为瀑布式级联分类器的每一层是一个由Adaboost算法训练得到的强分类器。进行鼻子检测时检测顺序的位置越靠前的层，容许匹配误差的阈值越大，这样可使得大多数鼻子检测区域能够通过；位置越靠后的层容许匹配误差的阈值越小，这样对鼻子匹配的精度要求越高，鼻子分类能力越强。鼻子分类器训练好后，利用鼻子分类器对鼻子检测区域的图像进行匹配，具体的，将鼻子检测区域的图像划分为多个图像块，利用鼻子分类器分别对每个图像块进行匹配。完成匹配后，对鼻子检测区域中与鼻子分类器匹配的图像块过滤噪声，并统计过滤噪声后的图像块中相邻图像块的个数，如果个数超过了规定值，就确定有鼻子存在。
[0065]基于上述任意方法实施例，较佳地，用于分析用户身份的图像特征信息可以包括脸部图像信息。那么，用户的身份信息可以但不仅限于包括以下任意信息或组合:年龄段、性别、表情。
[0066]本发明实施例中，通过脸部图像信息匹配年龄段、性别及表情可以参照现有的实现方式实现，本发明不再赘述。
[0067]在此基础上，从视频图像中提取用户的脸部图像信息的具体实现方式可以是:确定用户的人脸区域(具体可以采用上述任意实施例描述的人脸识别方式确定人脸区域，如果上述用户识别检测是通过人脸识别进行的，则该步骤即用户识别检测的步骤)；在该用户的人脸区域利用人眼分类器对人脸区域进行人眼检测；确定两眼连线的中心点，并以该中心点为坐标原点旋转人脸区域，使得两眼连线与以该中心点为坐标原点的显示坐标系的横轴平行，如图2所示；从旋转后的人脸区域提取正方形区域的图像信息作为用户的脸部图像信息，该正方形区域的边长为两眼连线距离的2倍，在水平方向沿两眼连线的中心点对称，且该正方形区域的上边线到该中心点的距离为两眼连线距离的一半。应当指出的是，脸部图像信息也可以是矩形区域的图像信息，或者其他形状的区域的图像信息。区域大小、位置也可以根据实际需要设定，本发明不作限定。
[0068]其中，人眼分类器的实现原理与鼻子分类器的实现原理类似，这里不再赘述。在进行人眼检测时，具体可以在人脸区域中截取鼻子以上的区域作为人眼检测的区域。当在人眼检测的区域仅检测到一只人眼时，可以将人眼检测的区域放大后重新进行人眼检测，直到检测到两只人眼。
[0069]本发明实施例中，根据脸部图像信息确定用户的身份信息时，可以将脸部图像信息缩放到预定的大小(本发明实施例中，预定的大小为100个Pixel X 100个Pixel)，然后进行灰度归一化处理，进而进行同态滤波。
[0070]设脸部图像信息为S(x，y),对该脸部图像信息进行对数运算，然后进行傅立叶变换，变换后送入高通滤波器再进行傅立叶逆变换，最后进行指数运算得到灰度归一化后的图像信息，结果记为I (x，y)(也可表示为7厂;)。对灰度归一化处理后的脸部图像信息采用基于Gabor小波变换的方法提取用户的表情频域特征，小波变换是用一组Gabor滤波器函数与给定信号的卷积来实现的。滤波器函数表示为:
[0071]
【权利要求】
1.一种智能电视的显示控制方法，其特征在于，包括: 对智能电视的视频采集装置采集的视频图像进行用户识别检测； 当检测到用户后，从所述视频图像中提取用于分析所述用户身份的图像特征信息；根据所述用于分析所述用户身份的图像特征信息确定用户的身份信息，并根据所述用户的身份信息确定所述用户的身份； 根据身份与显示信息的对应关系，选择所述用户的身份对应的显示信息，所述显示信息包括节目内容的信息、控制功能的信息、和/或界面框架的信息； 根据选择的显示信息调整智能电视的显示内容。
2.根据权利要求1所述的方法，其特征在于，对智能电视的视频采集装置采集的视频图像进行用户识别检测，包括: 利用人脸分类器对所述视频图像进行人脸检测； 对于检测到的人脸区域，利用鼻子分类器对所述人脸区域进行鼻子检测； 如果检测到鼻子，确定检测到用户。
3.根据权利要求1或2所述的方法，其特征在于，所述用于分析所述用户身份的图像特征信息包括脸部图像信息，所述用户的身份信息包括:年龄段、性别、和/或表情。
4.根据权利要求3所述的方法，其特征在于，从所述视频图像中提取所述用户的脸部图像信息，包括: 确定所述用户的人脸区 域； 在所述用户的人脸区域利用人眼分类器对所述人脸区域进行人眼检测； 确定两眼连线的中心点，并以所述中心点为坐标原点旋转所述人脸区域，使得所述两眼连线与以所述中心点为坐标原点的显示坐标系的横轴平行； 从旋转后的人脸区域提取正方形区域的图像信息作为所述用户的脸部图像信息，所述正方形区域的边长为所述两眼连线距离的2倍，在水平方向沿所述两眼连线的中心点对称，且所述正方形区域的上边线到所述中心点的距离为所述两眼连线距离的一半。
5.根据权利要求1或2所述的方法，其特征在于，所述用于分析所述用户身份的图像特征信息包括用户识别衣服颜色的目标区域的色彩信息，从所述视频图像中提取用于分析所述用户身份的图像特征信息，包括: 确定所述用户的人脸区域； 根据所述人脸区域确定所述目标区域； 提取所述目标区域的色彩信息； 所述用户的身份信息包括所述用户的衣服颜色类型，根据所述用于分析所述用户身份的图像特征信息确定用户的身份信息，包括: 根据所述目标区域的色彩信息确定所述用户的衣服颜色类型。
6.根据权利要求5所述的方法，其特征在于，提取所述目标区域的色彩信息，包括: 提取所述目标区域的红绿蓝RGB色彩信息； 将提取的RGB信息转换为HSV色彩信息； 根据所述目标区域的色彩信息确定所述用户的衣服颜色类型，包括: 根据所述HSV色彩信息确定所述用户的衣服颜色类型。
7.根据权利要求1或2所述的方法，其特征在于，根据所述用于分析所述用户身份的图像特征信息确定所述用户的身份信息，包括: 根据从连续X帧视频图像中提取的用于分析所述用户身份的图像特征信息确定所述用户的身份信息，X为不小于2的整数。
8.根据权利要求1或2所述的方法，其特征在于，如果确定出至少两个身份，根据身份与显示信息的对应关系，选择所述用户的身份对应的显示信息，包括: 如果所述显示信息包括节目内容的信息，根据身份与节目内容的信息的对应关系，选择每个身份对应的节目内容的信息的并集或交集； 如果所述显示信息包括控制功能的信息，根据身份与控制功能的信息的对应关系，选择每个身份对应的控制功能的信息的并集或交集； 如果所述显示信息包括界面框架的信息，根据身份与界面框架的信息的对应关系，选择多用户身份对应的界面框架的信息。
9.一种智能电视的显示控制装置，其特征在于，包括: 用户识别模块，用于对智能电视的视频采集装置采集的视频图像进行用户识别检测；图像特征信息提取模块，用于当用户识别模块检测到用户后，从所述视频图像中提取用于分析所述用户身份的图像特征信息； 用户身份确定模块，用于根据所述用于分析所述用户身份的图像特征信息确定所述用户的身份信息，并根据所述用户的身份信息确定所述用户的身份； 显示信息选择模块，用于根据身份与显示信息的对应关系，选择所述用户的身份对应的显示信息，所述显示信息包括节目内容的信息、控制功能的信息、和/或界面框架的信息； 显示内容调整模块，用于根据选择的显示信息调整智能电视的显示内容。
10.根据权利要求9所述的装置，其特征在于，如果所述用户身份确定模块确定出至少两个身份，所述显示信息选择模块具体用于: 如果所述显示信息包括节目内容的信息，根据身份与节目内容的信息的对应关系，选择每个身份对应的节目内容的信息的并集或交集； 如果所述显示信息包括控制功能的信息，根据身份与控制功能的信息的对应关系，选择每个身份对应的控制功能的信息的并集或交集； 如果所述显示信息包括界面框架的信息，根据身份与界面框架的信息的对应关系，选择多用户身份对应的界面框架的信息。
【文档编号】H04N21/258GK103618918SQ201310615701
【公开日】2014年3月5日 申请日期:2013年11月27日 优先权日:2013年11月27日
【发明者】阮桃, 刘恒, 张庆芬, 成刚 申请人:青岛海信电器股份有限公司