评分装置以及评分方法
【技术领域】
[0001]本发明涉及计算对于歌唱者的歌唱行为的得分的评分装置以及评分方法。
【背景技术】
[0002]作为播放卡拉0K的乐曲的卡拉0K装置，存在能够计算对于歌唱者的歌唱行为的得分的卡拉0K装置。计算对于歌唱行为的得分的功能被称为“评分功能”等。在以往的评分功能中，基于歌唱行为中的音程、抑扬、声量等与声音相关的信息来计算得分。歌唱者通过利用上述评分功能，能够以得分来确认歌唱行为的结果，能够更加享受歌唱行为。
[0003]用于使歌唱者更加享受歌唱行为的其他功能也被实用化。例如，利用互联网来显示对于歌唱行为的得分的全国排行的功能、通过对于歌唱行为的得分来进行bingo游戏的功能、变换歌唱者的声音而从扬声器输出的功能等被实用化。
[0004]此外，作为用于使歌唱者更加享受歌唱行为的技术，存在专利文献1中公开的技术。在专利文献1中公开的技术中，听者的感情被估计，基于估计结果来编辑卡拉0K的视频。
[0005]由于卡拉0K装置被用作娱乐装置的情况较多，所以向用于使歌唱者更加享受歌唱行为的功能的需求高。
[0006]现有技术文献
[0007]专利文献
[0008]专利文献1:(日本)特开2009 - 288446号公报
【发明内容】
[0009]本发明的目的在于，提供能够使歌唱者更加享受歌唱行为的技术。
[0010]为了达成上述目的，本发明采用以下的结构。
[0011]本发明的评分装置的特征在于，具有:取得部件，取得拍摄到歌唱者的图像数据；检测部件，根据由所述取得部件取得的图像数据，检测与歌唱中的表情或面部的运动有关的特征作为所述歌唱者的面部的特征；计算部件，基于由所述检测部件检测到的特征，计算对于所述歌唱者的歌唱行为的得分；以及输出部件，输出所述得分。
[0012]在本发明的评分装置中，作为对于歌唱者的歌唱行为的得分的计算基准之一，考虑以往没有考虑到的歌唱者的面部的特征(与歌唱中的表情或面部的运动有关的特征)。由此，能够使歌唱者更加注重唱法，能够使其更加享受歌唱行为。此外，能够扩大更加享受歌唱行为的歌唱者的层。例如，即使是对歌声没有自信的人，也能够通过努力做出表情等从而能够获得较高的得分，因此能够更加享受歌唱行为。面部的特征例如是表情、面部器官的运动的大小、面部器官的特征点的位置关系、视线方向、睁眼状态、特征点附近的深浅值、特征点附近的深浅值的周期性、特征点附近的深浅值的方向性、颜色分布、亮度分布等。
[0013]此外，优选所述图像数据是运动图像的图像数据，所述检测部件在所述运动图像的每N帧(N为1以上的整数)中，检测所述歌唱者的面部的特征，所述计算部件基于所述每N帧的特征来计算所述得分。通过设为这样的结构，能够得到更适当的值作为对于歌唱者歌唱乐曲整体的歌唱行为的得分。此外，能够使歌唱者在乐曲整体上更加注重唱法。其结果，能够使歌唱者更加享受歌唱行为。
[0014]此外，优选对所述歌唱者歌唱的乐曲预先决定目标的特征，所述计算部件将由所述检测部件检测到的特征与所述目标的特征进行比较，基于其比较结果来计算所述得分。例如，优选对所述歌唱者歌唱的乐曲预先决定目标的表情，所述检测部件检测在所述乐曲的至少一部分期间即评分期间中的所述歌唱者的表情，所述计算部件计算在所述评分期间之中检测到与所述目标的表情一致的表情的期间的长度的总和越大则越高的值作为所述得分。或者，优选所述目标的特征是从图像数据提取的特征矢量，所述检测部件从由所述取得部件取得的图像数据提取所述歌唱者的面部的特征矢量，所述计算部件计算由所述检测部件提取到的特征矢量和目标的特征矢量之间的类似度，基于所计算出的类似度来计算所述得分。目标的特征例如是乐曲的提供者所意图的特征。因此，通过设为这样的结构，能够得到更适于乐曲的提供者的意图的得分。
[0015]此外，优选对所述歌唱者歌唱的乐曲预先决定目标的表情，所述检测部件关于预先决定的多个表情的每个表情，计算该表情和所述歌唱者的表情之间的类似度，所述计算部件基于与所述目标的表情对应的类似度来计算所述得分。通过设为这样的结构，也能够得到更适于乐曲的提供者的意图的得分。
[0016]此外，优选对所述歌唱者歌唱的乐曲预先决定应使面部的特征变化而歌唱的时间位置即特征变化位置，所述计算部件基于所述特征变化位置上的由所述检测部件检测到的特征的变化的大小来计算所述得分。通过设为这样的结构，也能够得到更适于乐曲的提供者的意图的得分。
[0017]此外，优选在所述歌唱者歌唱的乐曲的每个期间中，预先决定目标的面部的特征。例如，优选在所述歌唱者歌唱的乐曲的每小段中，预先决定目标的面部的特征。通过设为这样的结构，能够使歌唱者在每个期间(每小段)更加注重唱法，能够使其更加享受歌唱行为。
[0018]此外，优选所述计算部件在所述歌唱者歌唱的乐曲的每小段中，基于在所述歌唱者正在歌唱该小段时的所述歌唱者的面部的特征，计算对于所述歌唱者歌唱该小段的歌唱行为的得分即部分得分。通过设为这样的结构，能够得到每小段的得分，因此能够使歌唱者更加享受歌唱行为。例如，能够使歌唱者掌握歌唱小段的歌唱行为是哪个程度的等级，能够使歌唱者掌握应努力做出面部的特征的小段。其结果，能够使歌唱者在每小段更加注重唱法，能够使其更加享受歌唱行为。
[0019]此外，优选所述计算部件基于所述每小段的部分得分，计算对于所述歌唱者歌唱所述乐曲整体的歌唱行为的得分即整体得分。通过设为这样的结构，不仅能够得到每小段的得分(部分得分)，还能够得到乐曲整体的得分(整体得分)，因此能够使歌唱者更加享受歌唱行为。例如，由于能够使歌唱者掌握歌唱乐曲整体的歌唱行为是哪个程度的等级，所以能够使歌唱者更加享受歌唱行为。
[0020]这样得到的各得分通过输出部件而被输出至评分装置的外部。所输出的得分也可以作为数值而显示在显示装置中，也可以变换为预先与得分建立关联而定义的消息而显示在显示装置中，此外，也可以作为在显示装置中显示的登场人物的运动或表情、从扬声器输出的声音、设置有卡拉OK装置的房间的照明等的变化而被利用。像这样，通过以外部的装置能够利用的方式输出各得分，能够向歌唱者反馈得分，能够使歌唱者更加享受歌唱行为。
[0021]此外，本发明也可以作为具有上述部件的至少一部分的评分装置而理解，还能够作为包含上述处理的至少一部分的评分方法、或者用于实现该方法的模拟程序或记录有该程序的记录介质而理解。另外，上述部件以及处理的各个能够尽可能相互组合而构成本发明。
[0022]根据本发明，能够使歌唱者更加享受歌唱行为。
【附图说明】
[0023]图1是表示实施例1?5所涉及的卡拉0K系统的结构的一例的图。
[0024]图2是表示实施例1?5所涉及的评分装置的功能结构的一例的框图。
[0025]图3是表示实施例1所涉及的评分装置的动作的流程的一例的流程图。
[0026]图4是表示实施例1所涉及的评分装置的动作的具体例的图。
[0027]图5是表示实施例2所涉及的评分装置的动作的流程的一例的流程图。
[0028]图6是表示实施例2所涉及的评分装置的动作的具体例的图。
[0029]图7是表示实施例3所涉及的评分装置的动作的流程的一例的流程图。
[0030]图8是表示实施例3所涉及的评分装置的动作的具体例的图。
[0031]图9是表示实施例4所涉及的评分装置的动作的流程的一例的流程图。
[0032]图10是表示实施例4所涉及的评分装置的动作的具体例的图。
[0033]图11是表示实施例5所涉及的评分装置的动作的流程的一例的流程图。
[0034]图12是表示实施例5所涉及的评分装置的动作的具体例的图。
[0035]图13是表示实施例1所涉及的表情的检测方法的一例的图。
[0036]图14是表示实施例1所涉及的正确答案表情的决定方法的一例的图。
[0037]图15是表示实施例1所涉及的正确答案表情的决定方法的一例的流程图。
[0038]图16是表示实施例1所涉及的正确答案表情的决定方法的一例的图。
[0039]图17是表示实施例1所涉及的正确答案表情的决定方法的一例的流程图。
[0040]图18是表示实施例1所涉及的在决定正确答案表情时使用的信息(表示场景的特征和表情之间的对应关系的信息)的一例的图。
[0041]图19 (a)是表示实施例2所涉及的卡拉0K图像的一例的图。并且，图19 (b)、19 (c)是表示实施例1?5所涉及的卡拉0K图像的一例的图。
[0042]图20(a)、20(d)是表示实施例1?5所涉及的得分的显示方法的一例的图。并且，图20(b).20(c)是表示实施例1?5所涉及的得分的显示方法的一例的图。
[0043]标号说明
[0044]100评分装置
[0045]101拍摄装置
[0046]102卡拉0K装置
[0047]103显示装置
[0048]104扬声器
[0049]105麦克风
[0050]201图像取得部
[0051]202特征检测部
[0052]203存储部
[0053]204得分计算部
【具体实施方式】
[0054]<实施例1 >
[0055]以下，说明本发明的实施例1所涉及的评分装置以及评分方法。
[0056]本实施例所涉及的评分装置是对歌唱者的歌唱行为进行评分的装置，例如，在卡拉0K的系统(卡拉0K系统)中被使用。
[0057](系统结构)
[0058]图1是表示本实施例所涉及的卡拉0K系统的结构的一例的图。
[0059]如图1所示，本实施例所涉及的卡拉0K系统具有评分装置100、拍摄装置101、卡拉0K装置102、显示装置103、扬声器104、麦克风105等。
[0060]麦克风105将声音变换为电信号，将电信号发送至卡拉0K装置102。例如，歌唱者的歌声被变换为电信号而发送至卡拉0K装置102。
[0061]卡拉0K装置102生成表示乐曲的电信号。例如，卡拉0K装置102生成表示歌唱者所选择的乐曲的电信号。
[0062]此外，卡拉0K装置102从麦克风105接收表示声音的电信号。例如，卡拉0K装置102从麦克风105接收表示歌唱者的歌声的电信号。
[0063]并且，卡拉0K装置102将表示声音的电信号发送至扬声器104。例如，卡拉0K装置102生成表示乐曲、歌唱者的歌声、或者这双方的电信号，将所生成的电信号发送至扬声器 104。
[0064]此外，卡拉0K装置102从评分装置100取得评分结果(表示对于歌唱者的歌唱行为的得分的得分数据)。
[0065]此外，卡拉0K装置102将图像数据输出至显示装置103。例如，卡拉0K装置102将与乐曲相应的图像数据(表示卡拉0K的图像(视频)的图像数据；卡拉0K图像数据)、表示评分结果的图像数据(得分图像数据)等输出至显示装置103。
[0066]扬声器104发出与电信号相应的声音。例如，扬声器104输出乐曲、歌唱者的歌声、或者这双方。
[0067]显示装置103将基于从卡拉0K装置102输出的图像数据的图像显示在画面中。例如，显示装置103将基于卡拉0K图像数据的图像(卡拉0K图像)、基于得分图像数据的图像(得分图像)等显示在画面中。
[0068]拍摄装置101通过拍摄歌唱者来生成图像数据(拍摄图像数据)，将拍摄图像数据输出至评分装置100。
[0069]评分装置100从拍摄装置101取得拍摄到歌唱者的拍摄图像数据，基于所取得的拍摄图像数据，计算对于歌唱者的歌唱行为的得分。并且，评分装置100将表示所计算出的