专利名称：广播接收装置的制作方法
技术领域：
本发明涉及广播接收装置。
背景技术：
在现有的广播接收装置中，操作者拥有操作的决定权，缺少对其他视听者的关照。 对此，在专利文献1中，在多个使用者使有自己专用的遥控器，根据规定的优先顺序决定能 够操作的遥控器的情况下，在遥控器的操作次数或者操作时间中设置限制，使优先顺序变 动，在这方面下了很大功夫。专利文献[专利文献1]特开2003-111161号公报
发明内容
在专利文献1中，具有在对于自己专用的遥控器，在遥控器的操作次数或者操作 时间中设置限制，使优先顺序变动的方面下了很大功夫这样的特征。然而，在多名视听者视听的情况下，能够设想到这样的课题，S卩，当某个视听者集 中视听节目时，有时突然被其他的视听者变更频道，或者进行了用录像预约等隐藏正在视 听的节目画面这样的操作，破坏了情绪，不能愉快地欣赏特定节目。本发明是考虑了上述课题而完成的，目的是提供实现能够比以往减少装置操作者 以外的视听者干扰视听的操作方法的广播收发装置。为了实现该目的，本发明的广播接收装置由拍摄包括正在视听广播接收装置中显 示的节目、画面的视听者的状态、姿势、状况等影像的摄像单元110、从拍摄的影像检测视听 者面部的面部检测单元120、区别管理所检测的面部的个人区别单元130、在所区别的每个 面部计算电视机视听的注视度信息的注视度计算单元140、判定电视机的操作者，以操作者 以外的视听者的关注度信息的值判定操作执行的操作执行判定单元150构成。依据本发明，直到操作者以外的视听者的关注度信息成为小于规定的值为止，保 留操作。从而，与以往相比较，改善成使得减少视听者被打扰，能够集中地愉快地视听节目。
图1是本发明实施例1的广播接收装置的结构图。图2是个人区别单元的框图。图3是注视度计算单元的框图。图4是操作执行判定单元的框图。图5是个人区别处理的流程。图6是个人识别单元存储的面部检测结果。图7是个人识别单元存储的面部模板。图8是注视度计算的流程。
图9是模板生成处理的流程。图10是注视度计算单元存储的每个人的注视度信息。图11表示电视机视听者。图12表示电视机操作者判定方式的一个例子。图13是操作执行判定的流程图。图14是操作保留中的处理流程。符号说明1、2、3:视听者4 遥控器5、6、7 被检测了的面部区域8、9、10 被检测了的面部区域与遥控器的距离110:摄像单元120 面部检测单元130:个人区别单元131 面部跟踪单元132 面部区别单元133 模板生成单元134 存储单元140 注视度计算单元141:面部朝向检测单元142 瞬间注视度计算单元143 区间注视度计算单元144 注视度存储单元150:操作执行判定单元151 遥控器位置检测单元152 操作者判定单元153 执行判定单元154 通知单元160 操作事件检测单元170 控制单元601、1000 识别符602 面部状态603 面部检测结果位置604:面部检测结果大小1001 瞬间注视度1002 瞬间关注度串1003:区间注视度
具体实施例方式以下，使用
本发明的实施形态。[实施例1]图1是本发明实施例1的广播接收装置(以下记为电视机)的结构图。110是摄像单元，120是面部检测单元，130是个人区别单元，140是注视度计算单 元，150是操作执行判定单元，160是操作事件检测单元，170是控制单元。另外，以下为了简 便将注视度信息称为注视度。摄像单元110是拍摄正在视听电视机的视听者的影像的单元。由摄像单元110拍 摄的影像输入到面部检测单元120、个人区别单元130、注视度计算单元140和操作执行判 定单元150。面部检测单元120从由上述摄像单元110拍摄的影像和图像得到包括面部的 面部区域图像信息，在得到了该面部区域图像信息以后检测面部区域，生成检测面部的面 部检测信息，将面部检测结果输入到个人区别单元130。关于面部区域的检测方式没有特别 限制。也可以采用与检测面部的面部检测区域信息相对应，使用作为能够检测面部的信息 的面部模型模板信息进行检测的方法等已有的技术。作为面部检测结果，在每个检测了的 面部输出面部区域的坐标、大小。另外，以下将模板信息称为模板。个人区别单元130使用检测出的面部检测结果，从由摄像单元110拍摄图像拍摄 的图像划分出面部区域的影像，与个人模板进行比较区别个人，分配识别符，在面部检测单 元120生成的面部检测结果中添加区别个人的识别符信息。以下，将在面部检测结果中添加了区别个人的识别符信息的信息称为添加识别符 的面部检测结果600(图6)。关于个人区别的方式以及在个人区别中使用的个人模板的生 成方式没有特别限制。也可以采用检测眼睛或者口鼻等面部的器官比较特征点的方式等已 有的技术。注视度计算单元140使用个人区别单元130生成的添加识别符的面部检测结果 600 (图6)，从由摄像单元110拍摄的图像划分出面部区域的影像，在每个人计算注视度。另外，面部检测、个人识别、注视度计算的处理既可以在摄像单元110拍摄影像的 时间单位(每个帧)进行，也可以将规定的时间间隔作为处理时间单位进行。操作执行判定单元150以从操作事件检测单元160输入的操作事件为契机，从由 摄像单元110拍摄的影像信号和从个人区别单元130得到的添加识别符的面部检测结果， 判断是操作者还是其以外的视听者，将根据其以外的视听者的注视度判定了操作执行的判 定结果输出到控制单元170。操作事件检测单元160检测由在这里没有记载的遥控器或者操作屏实施的操作 事件，如果检测出了频道切换或者录像预约等妨碍视听的操作事件，则通知给操作执行判 定单元150。控制单元170是进行在这里没有记载的电视机整体控制的单元。另外，根据操作 执行判定单元150的判定结果，控制由遥控器或者操作屏实施的操作执行。以下，顺序说明个人区别单元130、注视度计算单元140、操作执行判定单元150的 处理的详细过程。个人区别单元130是使用由面部检测单元120检测出的面部检测结果信息，在所 拍摄的各个视听者中添加识别符进行区别的单元。以下，使用图2、图5、图6进行说明。
图2是个人区别单元130的框图，图5是个人区别处理的流程，图6表示个人识别 单元存储的添加识别符的面部检测结果600，图7表示个人识别单元存储的个人模板。如图2所示，个人区别单元130由面部跟踪单元131、面部区别单元132、模板生成 单元133、存储单元134构成。面部跟踪单元131是判断包含在由面部检测单元120检测出的面部检测结果中的 面部与在前一个帧(处理时间单位)的个人区别处理中存储到存储单元134中的添加识别 符的面部检测结果600的哪个识别符的面部相对应的单元。作为跟踪面部的方式，也可以 采取使用了亮度信号的代表点匹配方式、检测动态矢量并根据其矢量进行跟踪的方式等已 有的技术。由面部跟踪单元131实施的面部跟踪结果判断以下的三种状态。(1)「在座」有能够与添加识别符的面部检测结果600取得对应的面部的情况。(2)「新加入」在添加识别符的面部检测结果600中不存在能够与由面部检测单 元120检测出的面部检测结果取得对应的面部的情况。(3)「离座」在添加识别符的面部检测结果600中存在不能与由面部检测单元120 检测出的面部检测结果取得对应的面部的情况。面部区别单元132对个人模板与由面部检测单元120检测出的面部区域的图像数 据进行比较，判断是存储了个人模板的已知的视听者还是新的视听者。在已知视听者的情 况下，更新该识别符的添加识别符的面部检测结果600。另外，在新视听者的情况下，分配临 时识别符，追加到添加识别符的面部检测结果600中。模板生成单元133是使用由面部检测单元120检测出的面部区域的图像数据生成 个人模板的单元。如图7所示，存储成使识别符与个人模板能够建立对应关系。另外，对于 一个识别符能够存储多个个人模板。存储单元134存储添加识别符的面部检测结果600和个人模板。物理上即使与其 它的存储单元通用也没有问题。以下，使用图5的个人区别处理的流程说明个人区别处理。s501 :s501是面部跟踪处理。根据面部跟踪结果，使处理分支。如果面部跟踪结果是「在座」，则判断为正在视听的视听者继续进行视听，进入到 s502。如果面部跟踪结果是「新」，则判断为出现了新的视听者，进入到S504。如果面部跟踪结果是「离座」，则判断为视听者离开了电视机前面，进入到S509。
s502 进入到视听者继续「在座」时的添加识别符的面部检测结果信息更新处理 s503。s503 更新在s501中判断为「在座」的识别符(601)的添加识别符的面部检测结
果600信息。「状态」信息(602) 「在座」「面部检测结果」信息(603)用由面部检测单元120检测出的信息置换。s504 由于出现了新的视听者，因此在s505以下的步骤中进行面部区别处理。s505 参照在存储单元134中注册的个人模板，判断是存储了个人模板的已知的 视听者还是新的视听者。在与注册数据一致的情况下，以一致的个人模板参照并取得识别符，进入到s506。在不一致情况下，进入到s507。s506 更新在s505中判断为是已知视听者的识别符(601)的添加识别符的面部检 测结果600信息。「状态」信息(602) 「新」「面部检测结果」信息(603)用由面部检测单元120检测出的信息置换s507 对新的视听者分配临时识别符s508:将分配了临时识别符的新视听者的信息追加到添加识别符的面部检测结果 600信息中。「状态」信息(602) 「新」「面部检测结果」信息(603)由面部检测单元120检测出的信息s509 进入到视听者「离座」时的添加识别符的面部检测结果信息更新处s510。s510 更新在s501中判断为「离座」的识别符(601)的添加识别符的面部检测结 果600信息。「状态」信息(602) 「离座」「面部检测结果」信息(603)清除注视度计算单元140是使用个人区别单元130生成的添加识别符的面部检测结果 600，从由摄像单元110拍摄的图像划分出面部区域的影像，在每个人计算注视度的单元。以下，使用图3、图8、图10进行说明。图3是注视度计算单元140的框图，图8是注视度计算的流程，图10表示每个人 的注视度信息。如图3所示，注视度计算单元140由面部朝向检测单元141、瞬间注视度计算单元 142、区间注视度计算单元143、注视度存储单元144构成。面部图像检测单元141计算由旋转的大小、上下倾斜、左右倾斜构成的面部方向， 根据面部方向信息，进行面部是否朝向电视机方向的正面判定。旋转的大小、上下倾斜、左 右倾斜的计算方式也可以使用使三维面部模型与面部图像相配合进行判定的方式等已有 的技术。正面判定例如在输入了面部的所有特征器官(两只眼睛、鼻子、嘴)的面部图像 中，将满足旋转大小的绝对值为95度以下，上下倾斜的绝对值为5度以下，左右倾斜为5度 以下条件的面部判断为正面。将旋转大小的范围取得很大是为了在托腮的状态或者横向视 听的状态下也进行检测。另外，也可以不一定是该方式，只要是能够判定视听者的面部对于电视机是否朝 向正面的方式即可。瞬间注视度计算单元142以规定的时间间隔计算每名视听者的瞬间注视度，始终 将确定的时间长度部分(以下，记为区间)的最新瞬间注视度存储到注视度存储单元144 中。区间注视度计算单元143根据瞬间注视度计算单元142计算出的每个区间部分的 瞬间注视度，计算最新的区间注视度，记录到注视度存储单元144中。注视度存储单元144如图10所示，记录区间部分的瞬间注视度1001和区间注视 度1002。瞬间注视度和区间注视度都能够用在由个人区别单元140分配的识别符1000进行参照。瞬间注视度1001记录到环形缓冲构造的存储器区域中，始终存储区间部分的最新 的瞬间注视度(瞬间关注度串)。另外，图中t0、tl……成为对于所有的视听者计算出了同 一个时刻的瞬间注视度的抽取点。以下，使用图8的注视度计算的流程说明注视度计算。s801 从个人区别单元130生成的添加识别符的面部检测结果600，用识别符参照 进行注视度计算的对象的状态。在状态不是「离座」的情况下，转移到s802的面部朝向判 定处理。在状态是「离座」的状态下，使瞬间注视度成为_l(s806)。而且，处理转移到s809 的区间注视度计算。s802 从由摄像单元110拍摄的图像，使用面部区域的影像进行面部朝向判定。使 用使三维面部模型与面部图像相配合进行判定的方式等现有的技术，判定面部对于电视机 是否朝向正面(s802)。在面部朝向正面的情况下在s804中，除此以外的情况下在s805中 决定瞬间注视度。s804 将面部对电视机朝向正面时判断为正在注视视听的状态，使瞬间注视度成 为1。而且，处理转移到s807。s805 将面部对电视机没有朝向正面时判断为没有正在注视视听的状态，使瞬间 注视度成为0。而且，处理转移到s809。s807 判定被判定为正面的面部的识别符是否是临时识别符。在是临时识别符的 情况下，处理转移到s808，在不是临时识别符的情况下，处理转移到s809。s808 识别符是临时识别符的面部表示是没有存储个人模板的未注册的面部，或 者是遮挡了一部分等，面部图像的摄影状态差，不能区别个人。从而，当判定为面部朝向是 正面时，向个人区别单元130请求个人模板的生成，取得分配给其面部的面部识别符。而 且，用被分配的识别符置换在注视度存储单元144中记录的临时识别符的值。通过这样做， 即使在从用临时识别符区别了个人的临时状态变化到能够区别为注册了个人模板的已知 个人的正式状态的情况下，也能够不中断而继续保持区间部分的最新的瞬间注视度信息。 另外，关于个人模板生成处理另行说明。s809 在s809中，从记录在注视度存储单元144中的区间部分的瞬间注视度信息 计算区间注视度。计算方式采用区间时间中的注视状态，即瞬间注视度为1的比例。但是， 不限于该方式，也可以是瞬间注视度为1的状态连续出现2次的比例。区间注视度与计算 瞬间注视度的规定时间间隔同步进行更新，在注视度存储单元144中，在区间注视度信息 1002中始终存储最新的区间注视度。以下，使用图9的个人模板生成处理的流程，说明个人区别单元140中的个人模板
生成处理。s901 等待个人模板生成请求，在有生成请求的情况下，处理转移到s902。s902 将请求了个人模板生成的面部图像与注册在存储单元134中的个人模板进 行参照，判断是存储了个人模板的已知的视听者还是新的视听者。在与注册数据一致的情 况下，进入到s904，在不一致的情况下，进入到s908。s904 参照存储单元144，取得在s902中一致的个人模板的识别符(s904)，进入到 s905。s905 将添加识别符面部检测结果600的状态信息更新为临时识别符的值，表示状态从临时识别符变化到了正式识别符的状态。另外，识别符信息也更新为正式识别符的 值。进入到s906s906 从请求了个人模板生成的面部图像生成个人模板，作为用于判定在s904和 s908中分配的识别符的个人的模板610，存储到存储单元134中。在该识别符中注册的个 人模板数超过了可存储数的情况下，清除最陈旧的信息。进入到s907。s907:根据个人模板生成请求，返回被分配给面部图像的识别符，结束处理。s908 由于与注册数据不一致，因此分配新的识别符。进入到s905。这样，关于个人模板未注册的面部图像，作为区别用模板，在适当的正面朝向的面 部图像的情况下，进行个人模板生成。由此，能够生成精度高的个人模板。另外，判断是否 未注册，能够不麻烦使用者，进行个人模板生成和注册。操作执行判定单元105是以从操作事件检测单元160输入的操作事件为契机，根 据视听者的注视度判定操作执行的单元。以下，使用图4、图11、图12、图13、图14进行说明。图4是操作执行判定单元150的框图，图11表示电视机视听者，图12表示电视机 操作者判断方式的一个例子，图13是操作执行判定的流程，图14是操作保留中的处理流程。如图4所示，操作执行判定单元150由遥控器位置检测单元151、操作执行判定单 元152、执行判定单元153、通知单元154构成。遥控器位置检测单元151以从操作事件检测单元160输入的操作事件为契机，从 由摄像单元110拍摄的影像检测遥控器的位置。遥控器的位置从图像中检测由遥控器发出 的红外线。操作者判定单元152是使用由遥控器位置检测单元151检测出的遥控器位置信息 和个人区别单元130生成的添加识别符的面部检测结果600，判定操作者。例如，如图11所 示，设存在视听者，分别分配了 1、2、3的识别符。操作者如图12所示，从遥控器位置4和包 含在面部检测结果中的面部位置信息5、6、7，计算遥控器与面部的距离8、9、19，将距离最 短的判断为操作者的面部。图12的情况下，判定为识别符1是操作者。
判定执行单元153是使用由注视度计算单元140计算出的区间注视度，判断执行 被请求了的操作的单元。在由操作者判定单元152判定的操作者以外的区间注视度大于预 先确定的阈值的情况下，判定为操作无效或者操作保留。通知单元154是向操作者通知成为无效或者成为保留的单元。使用在电视机画面 的下端用文本显示，或者在遥控器的显示单元上显示等方法。以下，说明使用图13的操作执行判定的流程，说明操作执行判定处理。另外，以下 是作为操作保留时的处理流程。作为操作无效时的处理流程可以将「保留」改为「无效」。S1301 等待遥控器操作事件，在检测出了频道切换或者录像预约等妨碍视听的遥 控器操作事件的情况下，处理转移到sl302。S1302 从注视度计算单元140的注视度存储单元144取得区间注视度信息。进入 到 s1303。S1303 在所有的视听者的区间注视度小于阈值的情况下进入到S1309。其它的情 况下进入到sl304。
S1304 使用由摄像单元110拍摄的影像，由遥控器位置检测单元151检测遥控器 位置。进入到sl305。S1305 由操作者判定单元152从在S1304中得到的遥控器位置和操作者的面部位 置判定操作者。S1306 使用在S1302中取得的区间注视度信息，操作者以外的区间注视度即使一 个人比阈值大，也进入到sl307。其它的情况下进入到S1309。S1307 使操作判定结果成为「保留」，向控制单元170请求遥控器操作「保留」。进 入到sl309。S1308 在画面的下端用文字等显示操作成为「保留」，通知给操作者。S1309 操作判定结果是「执行」，遥控器操作保持为有效。也可以预先由使用者将操作设定为「无效」或者「保留」，还可以进行在刚加入视 听的操作者(例如，在区间注视度的测定期间中加入了视听的视听者等)操作的情况下，成 为「无效」，在某种程度长的时间进行视听的视听者操作的情况下，成为「保留」等控制。以下，使用图14的操作保留中的处理流程说明操作保留中的处理。S1401 在不是操作保留中的情况下结束处理。在是操作保留中的情况下进入到 sl402。S1402 与区间注视度信息的更新同步，从注视度存储单元144取得区间注视度信 息。进入到sl403。S1403 判定操作者以外的区间注视度是否大于阈值。即使一个人比阈值大也进入 到s 1404。其它的情况下进入到s 1406。S1404:判定保留继续时间是否比阈值长。短的情况下继续保留。进入到S1405。 长的情况下进入到sl406。S1405 操作判定结果保持「保留」不变，继续保留状态。S1406 操作判定结果成为「保留解除」，向控制单元170请求遥控器操作保留解 除，结束处理。如上所述，操作保留中由于以区间注视度的更新单位重新评估保留状态，因此能 够在操作者以外的视听者的注视度低的时刻执行成为保留的操作。依据以上说明的本发明的实施例，能够将操作保留到操作者以外的视听者的注视 度比规定的值小为止。从而，能够提供视听者不受打扰的能够集中、愉快地视听节目的电视 机。
权利要求
一种广播接收装置，具备拍摄视听者的摄像单元，其特征在于，具备从由所述摄像单元拍摄的图像得到包含面部的面部区域图像信息，在得到了该面部图像信息以后，生成检测面部的面部检测信息的面部检测单元；根据所述面部检测信息区别被拍摄的视听者的个人区别单元；对每名视听者求出表示视听注视程度的注视度的注视度计算单元；从视听者确定操作者的操作者确定单元；利用由所述操作者确定单元所确定的操作者以外的视听者的注视度的值，判定操作的执行的操作执行判定单元。
2.根据权利要求1所述的广播接收装置，其特征在于，具备 将由所述操作执行判定单元作出的判定结果告知视听者的通知单元。
3.根据权利要求1所述的广播接收装置，其特征在于所述个人区别单元具备模板生成单元，所述模板生成单元从所述面部区域图像生成作 为与个人相对应的模板信息的个人模板信息，所述注视度计算单元具备使用所述面部区域图像检测面部朝向的面部朝向检测单元， 所述个人模板生成单元使用由所述面部朝向检测单元判断为面部朝向是正面的面部 区域图像信息，生成个人模板信息。
4.根据权利要求1所述的广播接收装置，其特征在于，所述注视度计算单元计算按每个规定的时间间隔得到的瞬时注视度信息， 从计算出的任意时间起，保持具有所述按每个规定的时间间隔计算出的瞬时注视度信 息的瞬时关注度串信息，根据所述瞬间关注度串信息计算区间注视度信息，所述操作执行判定单元使用所述区间注视度信息来判定操作的执行。
5.根据权利要求1所述的广播接收装置，其特征在于，所述注视度计算单元具备使用所述面部区域图像检测面部朝向的面部朝向检测单元， 将面部正面朝向广播接收装置时的瞬间注视度信息作为注视状态。
6.根据权利要求1所述的广播接收装置，其特征在于，所述操作执行判定单元，在注视度信息的值大于规定阈值时，使操作无效。
7.根据权利要求1所述的广播接收装置，其特征在于，所述操作执行判定单元，在注视度信息的值大于规定阈值的期间，使操作保留。
8.根据权利要求1所述的广播接收装置，其特征在于，所述操作执行判定单元，在使操作保留以后注视度信息的值比规定阈值大的状态持续 了规定时间以上的情况下，不使操作保留。
9.根据权利要求2所述的广播接收装置，其特征在于，在由所述操作执行判定单元作出的判定结果是操作无效或者操作保留的情况下，进行 因其他的视听者正在注视节目而成为操作无效或已成为保留的通知。
10.根据权利要求2所述的广播接收装置，其特征在于所述个人区别单元具备模板生成单元，所述模板生成单元从所述面部区域图像生成作 为与个人相对应的模板信息的个人模板信息，所述注视度计算单元具备使用所述面部区域图像检测面部朝向的面部朝向检测单元，所述个人模板生成单元使用由所述面部朝向检测单元判断为面部朝向是正面的面部 区域图像信息，生成个人模板信息。
11.根据权利要求2所述的广播接收装置，其特征在于，所述注视度计算单元计算按每个规定的时间间隔得到的瞬时注视度信息， 从计算出的任意时间起，保持具有所述按每个规定的时间间隔计算出的瞬时注视度信 息的瞬时关注度串信息，根据所述瞬间关注度串信息计算区间注视度信息，所述操作执行判定单元使用所述区间注视度信息来判定操作的执行。
12.根据权利要求2所述的广播接收装置，其特征在于，所述注视度计算单元具备使用所述面部区域图像检测面部朝向的面部朝向检测单元， 将面部正面朝向广播接收装置时的瞬间注视度信息作为注视状态。
13.根据权利要求2所述的广播接收装置，其特征在于，所述操作执行判定单元，在注视度信息的值大于规定阈值时，使操作无效。
14.根据权利要求2所述的广播接收装置，其特征在于，所述操作执行判定单元，在注视度信息的值大于规定阈值的期间，使操作保留。
15.根据权利要求2所述的广播接收装置，其特征在于，所述操作执行判定单元，在使操作保留以后注视度信息的值比规定阈值大的状态持续 了规定时间以上的情况下，不使操作保留。
全文摘要
本发明提供一种广播接收装置，其不影响操作者以外的视听者的视听的操作单元，由拍摄视听者的影像的摄像单元(110)、从拍摄的影像检测视听者面部的面部检测单元(120)、区别管理所检测的面部的个人区别单元(130)、在所区别的每个面部计算电视机视听的注视度信息的注视度计算单元(140)、判定电视机的操作者，以操作者以外的视听者的关注度信息的值判定操作执行的操作执行判定单元(150)构成。
文档编号H04N5/44GK101959033SQ20101019856
公开日2011年1月26日 申请日期2010年6月7日 优先权日2009年7月15日
发明者田中真愉子 申请人:日立民用电子株式会社