专利名称：电子系统、影像校正方法及其计算机程序产品的制作方法
技术领域：
本发明是与影像校正有夫，特别是利用人脸识别以进行影像校正的电子系统及其方法。
背景技术：
数字遥控器在电视频道的控制上，扮演不可或缺的角色，其功能包括转换频道、调整声音大小、调整画面等等。随着影像处理技术的进步以及人脸识别及手部检测技术的改迸，因此可检测使用者的脸部及手部位置，并利用手势控制来达成便利的遥控方式。
一般利用检测人脸及手势动作的方法，是在电视屏幕上嵌入许多使用者界面(User interface, UI),以让使用者简单利用手势即可启动想要执行的功能,或是修改声音及画面设定等等，然而若使用者并不在电视屏幕正中央，或是处于一不恰当的距离，再加上摄影机为定焦镜头，此时，使用者界面往往会无法使用，反而会造成使用者的不便，因此亟需ー种影像校正方法以解决上述使用者不在适当位置的问题。
发明内容
本发明提供ー种电子系统，包括ー显示器，其具有ー屏幕中心点；ー摄影装置，用以撷取显示器前的至少ー第一影像；一人脸检测装置，电性连接于摄影装置，用以检测上述第一影像以产生一人脸影像，其中人脸影像具有一人脸位置及一人脸中心点；以及一影像校正装置，电性连接于人脸检测装置，用以依据人脸位置由人脸影像中撷取包含有人脸中心点的一第二影像，将第二影像平移，使人脸中心点与上述屏幕中心点重迭以产生一第三影像，并对第三影像进行缩放以产生符合一预定分辨率的ー输出影像。本发明还提供ー种影像校正方法，包括接收由ー摄影装置于ー显示器前所撷取的至少ー第一影像，其中显示器具有ー屏幕中心点；检测第一影像以产生一人脸影像，其中人脸影像具有一人脸位置及一人脸中心点；依据人脸位置，由人脸影像中撷取包含有人脸中心点的一第二影像；平移第二影像，以使人脸中心点与屏幕中心点重迭以产生一第三影像；以及对第三影像进行缩放以产生符合一预定分辨率的ー输出影像。本发明还提供一种计算机程序产品，其被一机器加载以执行一影像校正方法，上述计算机程序产品包括一第一程序码，用以接收由ー摄影装置所撷取于一显示器前的至少ー第一影像；一第二程序码，用以检测第一影像以产生一人脸影像，其中上述人脸影像具有一人脸位置，一人脸中心点；一第三程序码，用以依据人脸位置，由人脸影像中撷取包含有人脸中心点的一第二影像；一第四程序码，用以平移第二影像，以使人脸中心点与屏幕中心点重迭以产生一第三影像；以及ー第五程序码，用以对第三影像进行缩放以产生符合一预定分辨率的ー输出影像。
图IA是显示依据本发明一实施例的电子系统的方块图。
图IB是显示依据本发明一实施例的影像校正装置的方块图。图2是显示依据本发明一实施例的影像校正方法的流程图。图3A及3B是显示依据本发明一实施例的匹配影像撷取及平移缩放处理的对照图。图4A是显示依据本发明一实施例的手部检测的示意图。图4B是显示依据本发明一实施例的事件检测的示意图。[主要元件标号说明]
100 电子系统； 110 显不器；120 摄影装置； 130 人脸检测装置；140 影像校正装置；141 匹配影像撷取器；142 平移处理器；143 缩放处理器；150 手部检测器；160 事件检测器。
具体实施例方式图IA是显不依据本发明一实施例的电子系统100的方块图。电子系统100包括一显示器110、ー摄影装置120、一人脸检测装置130、一影像校正装置140、一手部检测器150以及一事件检测器160。显示器110显示不同来源的视频输入信号，例如电视节目、由摄影装置120所撷取的影像画面及/或由本发明的影像校正装置140处理过后的输出影像。摄影装置120用以撷取显示器110前的多个第一影像，摄影装置120可为摄影机、网络摄影机(Webcam)或其它照相装置，但本发明不限于此。人脸检测装置130电性连接于摄影装置120，用以接收由摄影装置120所撷取的第一影像，并由第一影像中检测一人脸影像。在本发明ー实施例中，人脸检测装置130、影像校正装置140及手部检测器150在电子系统100开机后自动启动，并持续检测画面中的手部动作是否快速挥动大于预定时间(例如I秒)，在检测到人脸影像及手部位置后，在屏幕上显示对应的使用者界面(Userinterface, Π)，并触发事件检测器160。若使用者将手部移开屏幕范围，则使用者界面会关闭，人脸检测装置130、影像校正装置140及手部检测器150则回到检测手部快速挥动状态的流程。在本发明的另ー实施例中，当使用者以手部快速挥动大于预定时间(例如I秒)时，启动人脸检测装置130，以避免使用者手部的轻微移动造成不必要的启动。又一实施例中，摄影装置120为ー固定式的定焦摄影机，且需限制拍摄环境，以利人脸检测装置130识别人脸，例如拍摄的人脸在X、Y及Z轴的偏向角度约在正负30度之内，以及所拍摄的人物的距离约在I. 5公尺至5公尺之间，但本发明不限于此。在另ー实施例中，人脸检测装置130使用OpenCV数据库以进行人脸检測，OpenCV数据库米用由 Viola & Jones 所发表的 AdaBoost Learning with Haar-Iike Features 算法以实现人脸检测，人脸检测装置130还可对所检测出的人脸部分标示ー椭圆形红框，但本发明不限于此。影像校正装置140电性连接于人脸检测装置130，用以接收由人脸检测装置130所检测的人脸影像，并执行影像校正的流程。图IB是显示依据本发明一实施例的影像校正装置140的方块图。在本发明的一实施例中，如图IB所示，影像校正装置140还包括一匹配影像撷取器141、一平移处理器142及ー缩放处理器143。匹配影像撷取器141接收由人脸检测装置130所检测出的人脸影像，以计算出人脸高度及人脸宽度，且人脸影像具有一人脸中心点。在一较佳实施例中，匹配影像撷取器141依据所检测出的人脸，由人脸中心点上下各延长I. 5倍人脸高度，并由人脸中心点左右各延长2倍人脸宽度，以由人脸影像中撷取出一第二影像，但本发明不限于此。在另ー实施例中，若摄影装置120所拍摄的第一影像的画面比例为4 3，且显示器110的画面比例亦为4 3，则匹配影像撷取器141所撷取出的第二影像是由人脸中心点上下各延长I. 5倍人脸高度，并由人脸中心点左右各延长2倍人脸宽度，意即第二影像为ー 4 3的画面，匹配 影像撷取器141还可以依据第一影像及显示器110的画面比例(例如16 : 9或16 : 10)对所撷取的人脸宽高范围进行调整，以利于后续的影像缩放，不致于发生影像比例变形的情況。平移处理器142接收由匹配影像撷取器141所产生的第二影像，并将第二影像中的人脸中心点平移至与显示器110的屏幕中心点重迭。举例来说，以显示器110的屏幕最左上点为原点，水平方向往右为正，垂直方向往下为正，且W为显示器110的画面的水平分辨率，H为显示器110的画面的垂直分辨率，Px为人脸椭圆框中心点的水平方向(X轴)坐标，Py为人脸椭圆框中心点的垂直方向(Y轴)坐标，则平移处理器142可计算出人脸中心点与显示器Iio的屏幕中心点坐标(W/2，H/2)所需位移的向量M可以下式表示M = (ff/2-Px, H/2-Py)进而把第二影像平移至显示器中央以产生一第三影像。在一实施例中，平移处理器142所产生的第三影像并无法填满整个显示器的画面，平移处理器142会将在显示器110的画面中除了第三影像之外的部分填入黒色，对于显示器110的画面来说，第三影像可视为一有效(valid)影像区域，如图3B所示，第一影像经过匹配影像撷取及平移处理后，可得到第二影像。缩放处理器143接收由平移处理器142所产生的第三影像，并对第三影像进行缩放处理(scaling)。如同前述的实施例，举例来说，若使用者与摄影装置120的距离介于I. 5公尺及5公尺之间，仅需考虑将第三影像放大，若V为第三影像的高度，P为显示器110的垂直分辨率，则在缩放处理器143中对第三影像进行放大的比例S = P/V，以产生与显示器110的分辨率相符的输出影像，值得ー提的是所撷取的第三影像的画面比例与显示器110的画面比例是一致的，因此输出影像的画面比例亦会与显示器110的画面比例一致，但本发明不限于此。在一实施例中，举例来说，若摄影装置110为ー网络摄影机，其分辨率为320x240，则人脸大小可定义在70至90个像素之间，若第三影像中的人脸的像素数目在此范围之外，缩放处理器142则对第三影像进行对应的缩放处理。在另ー实施例中，使用者与摄影装置120之间的距离可能相当接近，亦或摄影装置120的分辨率大于显示器110的分辨率，因此缩放处理器143需对第三影像进行缩小处理，以让输出影像符合显示器110的分辨率，其中若V为第三影像的高度，P为显示器110的垂直分辨率，则在缩放处理器143中对第三影像进行缩小的比例S = P/V。惟若因人物距离摄影装置120太近而导致无法收集到人物的足够信息时，则不需对第三影像进行缩小处理。又一实施例中，缩放处理器143还可对第三影像进行缩放，以符合一预定分辨率。举例来说，预定分辨率可为显示器110的分辨率或是ー限制影像范围的分辨率，但缩放处理后所产生的输出影像的画面比例与第二影像的画面比例是一致的，以免发生画面变形的问题，但本发明不限于此。
在本发明的另ー实施例，于影像校正装置140中的平移处理器142及缩放处理器143的流程顺序可以交换，意即可对第二影像先进行平移处理以得到第三影像，再进行缩放处理以得到输出影像，亦可对第二影像先进行缩放处理以得到第三影像，再进行平移处理以得到输出影像。值得注意的是若先对第二影像进行缩放处理，则所产生的第三影像的人脸中心点相对于人脸影像的人脸中心点将会有所偏移，然而显示器110的屏幕中心点是不变的。举例来说，以显示器110的屏幕最左上点为原点，水平方向往右为正，垂直方向往下为正，且W为显示器110的画面的水平分辨率，H为显示器110的画面的垂直分辨率，Px’为人脸椭圆框中心点的水平方向(X轴)坐标，py’为人脸椭圆框中心点的垂直方向(Y轴)坐标，则可计算出人脸中心点与显示器110的屏幕中心点坐标(W/2，H/2)所需位移的向量Μ’可以下式表示Μ，= (W/2-Px，，H/2-Py，) 手部检测器150检测由缩放处理器140所产生的输出影像中的手部位置。举例来说，本发明可利用上述Viola & Jones所提出的对象检测方法，并改变其训练样本以检测手部及其手势，然而手部的特征点并不像人脸的特征点这么多，本发明更以Viola & Jones的对象检测方法为基础，再加入肤色检测(skin color detection),以让手部检测的结果更为准确。在一实施例中，手部检测器150还可显示一使用者界面，以让使用者界面的位置符合所检测出的手部位置，例如图4A所示，手部检测器150并在手部位置的周围标示一绿框，以便使用者在显示器上观察到手部位置的变化，但本发明不限于此。事件检测器160用以检测输出影像中的手部位置的多个手势变化，使用者可用不同的手势来控制使用者界面，例如要启动图形按钮或是启动相对应的事件，藉以完成手势遥控的操作，如图4B所示，使用者可利用手势变化来操作图形按钮。在一实施例中，影像校正装置140还可将输出影像转换为一透明(transparent)影像以显示于显示器110，在使用者利用手势在控制使用者界面时，可避免所撷取的输出影像完全覆盖在播放中的电视节目。图2是显示依据本发明一实施例的影像校正方法的流程图。在步骤S200，使用者快速挥动手部超过预定时间(例如I秒)，以启动人脸检测装置130。在步骤S210，人脸检测装置130对摄影装置120所撷取的第一影像进行人脸检测以产生一人脸影像。在步骤S220，匹配影像撷取器141由人脸中心点，在水平及垂直方向的一预定范围内撷取一第二影像。在步骤S230，平移处理器142将第二影像平移，使得人脸中心点与显示器110的屏幕中心点重迭，以产生一第三影像。在步骤S240，缩放处理器143对第三影像进行缩放，以产生符合ー预定分辨率的输出影像。在步骤S250，手部检测器150检测输出影像中的手部位置。在步骤S260，事件检测器160检测输出影像中的手部位置的手势动作，以控制使用者界面。在步骤S270，在显示器110中显示输出影像。图2中步骤S200 S270中的细步动作是与图1A、1B中所示者相同，于此不再累述。在本发明中，可采用成本较为低廉的固定式定焦摄影机，而本发明所提供的影像校正方法可将所拍摄到的人脸影像校正至显示器中央，以利使用者控制使用者界面，并检测人脸影像中的手部位置及手势动作，以让使用者可透过手势以遥控电视机。本发明的方法，或特定型态或其部分，可以以程序码的型态包含于实体媒体，如软盘、光盘片、硬盘、或是任何其它机器可读取(如计算机可读取)储存媒体，其中，当程序码被机器，如计算机加载且执行时，此机器变成用以參与本发明的装置或系统。本发明亦提出一种计算机程序产品，其被一机器加载以执行一影像校正方法，上述计算机程序产品包括一第一程序码，用以接收由ー摄影装置所撷取于一显示器前的多个第一影像；一第二程序码，用以检测上述第一影像以产生一人脸影像，其中上述人脸影像具有一人脸位置，一人脸中心点；一第三程序码， 用以依据上述人脸位置，由上述人脸影像中撷取包含有上述人脸中心点的一第二影像；一第四程序码，用以平移上述第二影像，以使上述人脸中心点与上述屏幕中心点重迭以产生一第三影像；以及一第五程序码，用以对上述第三影像进行缩放以产生符合一预定分辨率的ー输出影像。第一程序码至第五程序码的细步动作是与图1A、1B中所示者相同，于此不再累述。本发明的方法、系统与装置也可以以程序码型态通过ー些传送媒体，如电线或电缆、光纤、或是任何传输型态进行传送，其中，当程序码被机器，如计算机接收、加载且执行时，此机器变成用以參与本发明的装置或系统。当在一般用途处理器实作时，程序码结合处理器提供一操作类似于应用特定逻辑电路的独特装置。惟以上所述者，仅为本发明的较佳实施例而已，当不能以此限定本发明实施的范围，即大凡依本发明权利要求范围及发明说明内容所作的简单的等效变化与修饰，皆仍属本发明权利要求涵盖的范围内。另外本发明的任一实施例或权利要求范围不须达成本发明所揭露的全部目的或优点或特点。此外，摘要部分和标题仅是用以辅助专利文件搜寻之用，并非用以限制本发明的权利要求范围。
权利要求
1.一种电子系统,包括 ー显不器，其具有ー屏幕中心点； ー摄影装置，用以撷取上述显示器前的至少ー第一影像； 一人脸检测装置，用以检测上述第一影像以产生一人脸影像，其中上述人脸影像具有一人脸位置及一人脸中心点；以及 一影像校正装置，用以依据上述人脸位置由上述人脸影像中撷取包含有上述人脸中心点的一第二影像，将上述第二影像平移，使上述人脸中心点与上述屏幕中心点重迭以产生一第三影像，并对上述第三影像进行缩放，以产生符合一预定分辨率的ー输出影像。
2.根据权利要求I所述的电子系统，其中上述摄影装置以ー固定式的定焦镜头撷取上述第一影像。
3.根据权利要求I所述的电子系统，其中于使用者快速挥动手部超过I秒吋，上述人脸检测装置对上述第一影像中进行人脸检测，用以检测出上述人脸影像。
4.根据权利要求I所述的电子系统，其中上述人脸检测装置还在上述人脸影像中的一人脸位置标示ー第一框线。
5.根据权利要求I所述的电子系统，其中上述人脸检测装置由上述人脸中心点于水平方向延伸第一倍数的范围及于垂直方向延伸第二倍数的范围，以从上述人脸影像中撷取出上述第二影像。
6.根据权利要求I所述的电子系统，其中上述影像校正装置还将上述输出影像转换为一透明影像以显示于上述显示器。
7.根据权利要求I所述的电子系统，还包括一手部检测器，用以检测上述输出影像中的一手部位置。
8.根据权利要求7所述的电子系统，其中上述手部检测器还使ー使用者界面的位置符合上述输出影像的上述手部位置。
9.根据权利要求8所述的电子系统，其中上述手部检测器还在上述输出影像的上述手部位置显示ー第二框线。
10.根据权利要求9所述的电子系统，还包括一事件检测器，用以检测上述手部位置的多个手势动作以操作上述使用者界面。
11.根据权利要求I所述的电子系统，其中上述输出影像的显示比例是与上述第二影像的显示比例相同。
12.—种影像校正方法，包括 接收由ー摄影装置于ー显示器前所撷取的至少ー第一影像，其中上述显示器具有ー屏.中心点； 检测上述第一影像以产生一人脸影像，其中上述人脸影像具有一人脸位置及一人脸中心点； 依据上述人脸位置，由上述人脸影像中撷取包含有上述人脸中心点的一第二影像； 平移上述第二影像，以使上述人脸中心点与上述屏幕中心点重迭以产生一第三影像；以及 对上述第三影像进行缩放，以产生符合一预定分辨率的ー输出影像。
13.根据权利要求12所述的影像校正方法，其中上述摄影装置以ー固定式的定焦镜头撷取上述第一影像。
14.根据权利要求12所述的影像校正方法，其中当使用者快速挥动手部超过I秒时，检测上述第一影像以产生上述人脸影像。
15.根据权利要求12所述的影像校正方法，其中当检测出上述人脸位置时，于上述人脸影像中的上述人脸位置标示ー第一框线。
16.根据权利要求12所述的影像校正方法，其中上述第二影像是于上述人脸中心点于水平方向延伸第一倍数的范围及于垂直方向延伸第二倍数的范围由上述人脸影像中所撷取。
17.根据权利要求12所述的影像校正方法，还包括将上述输出影像转换为一透明影像以显示于上述显示器。
18.根据权利要求12所述的影像校正方法，还包括检测上述输出影像中的一手部位置。
19.根据权利要求18所述的影像校正方法，还显示一使用者界面，上述使用者界面的位置是符合上述输出影像的上述手部位置。
20.根据权利要求19所述的影像校正方法，还包括于上述输出影像的上述手部位置显示ー第二框线。
21.根据权利要求20所述的影像校正方法，还包括检测上述手部位置的多个手势动作以操作一使用者界面。
22.根据权利要求12所述的影像校正方法，其中上述输出影像的显示比例是与上述第ニ影像的显示比例相同。
23.一种计算机程序产品，其被一机器加载以执行一影像校正方法，上述计算机程序产品包括 一第一程序码，用以接收由ー摄影装置所撷取于一显示器前的至少ー第一影像； 一第二程序码，用以检测上述第一影像以产生一人脸影像，其中上述人脸影像具有一人脸位置，一人脸中心点； 一第三程序码，用以依据上述人脸位置，由上述人脸影像中撷取包含有上述人脸中心点的一第二影像； 一第四程序码，用以平移上述第二影像，以使上述人脸中心点与上述屏幕中心点重迭以产生一第三影像；以及 一第五程序码，用以对上述第三影像进行缩放以产生符合一预定分辨率的一输出影像。
全文摘要
本发明提供一种电子系统，包括一显示器，其具有一屏幕中心点；一摄影装置，用以撷取上述显示器前的至少一第一影像；一人脸检测装置，电性连接于上述摄影装置，用以检测上述第一影像以产生一人脸影像，其中上述人脸影像具有一人脸位置及一人脸中心点；以及一影像校正装置，电性连接于上述人脸检测装置，用以依据上述人脸位置由上述人脸影像中撷取包含有上述人脸中心点的一第二影像，将上述第二影像平移，使上述人脸中心点与上述屏幕中心点重迭以产生一第三影像，并对上述第三影像进行缩放，以产生符合一预定分辨率的一输出影像。
文档编号G06F3/01GK102682272SQ20111007185
公开日2012年9月19日 申请日期2011年3月24日 优先权日2011年3月15日
发明者林昭源 申请人:纬创资通股份有限公司