专利名称：信息处理装置和信息处理方法
技术领域：
本发明涉及信息处理装置和信息处理方法。
背景技术：
人们已知检测显示板上诸如用户的手指之类的操作工具的移动并且执行与用户 的交互的信息处理装置。例如，当用户选择显示板上所希望的GUI (图形用户界面)对象时， 信息处理装置显示包含了对于该对象可选择的一个或多个操作项目的操作选单，并且要求 用户选择希望的操作项目。然后，当操作工具与对象的显示区域接触预定的时间段时，信息 处理装置辨认选单起动操作的输入并且显示操作选单。[专利文档1]日本专利申请早期公开No.2005-352619[专利文档2]日本专利申请早期公开No.2007-80291[专利文档3]日本专利申请早期公开No.2007-22657
发明内容
然而，用户不得不保持操作工具的接触状态预定的时间段，直到操作选单被显示。 这里，当预定时段缩短时，一般对象选择操作(轻叩(tapping))与选单起动操作区分起来 是模棱两可的。此外，在操作选单被显示之后，用户需要执行复杂的操作来选择希望的操作 项目，并且未必可以说用户能享受良好的操作环境。具体地，在诸如具有受限I/O接口规范的便携信息处理终端等之类的信息处理装 置中，用户需要执行很多操作，包括在选择对象之后选择选项选单。此外，在选择多个对象 之后显示操作选单以及选择希望的操作项目时，用户还需执行复杂的操作。鉴于以上所述的，希望提供能够使用于对象的操作选单的显示以及操作项目的选 择更容易的信息处理装置和信息处理方法。根据本发明的第一实施例，提供了一种信息处理装置，该信息处理装置包括操作 工具检测器，该操作工具检测器用于检测操作工具与显示板的接触状态；显示控制器，该显 示控制器用于当在显示板上的被选择的对象上由操作工具检测器检测到操作工具的指示 方向的改变时，控制显示板以在所述对象附近显示包含了对于所述对象可选择的一个或多 个操作项目的操作选单；以及操作项目选择部分，该操作项目选择部分用于当操作选单被 显示时，根据由操作工具检测器检测的操作工具的指示方向的改变，而从操作选单选择操 作项目中的一个。操作项目选择部分可从操作选单选择操作工具的指示方向的延长线上的操作项 目。操作项目选择部分可从操作选单选择位于通过如下的改变量限定的方向上的操 作项目该改变量是通过将操作工具的指示方向的改变量乘以系数a而获得的，系数a大于 1。显示控制器可控制显示板以将操作选单旋转通过将操作工具的指示方向的改变量乘以 系数(1-a)而获得的改变量，然后显示操作选单。
当操作选单被显示并且同时操作工具的非接触状态被操作工具检测器检测到时， 由操作项目选择部分选择的操作项目可被执行。当操作选单被显示并且同时与显示板接触的操作工具的预定距离或更长距离的 移动被操作工具检测器检测到时，显示控制器可控制显示板以停止对操作选单的显示。根据本发明的第二实施例，提供了一种信息处理方法，该信息处理方法包括以下 步骤当在显示板上的被选择的对象上检测到操作工具的指示方向的改变时，控制显示板 以在该对象附近显示包含了对于该对象可选择的一个或多个操作项目的操作选单；以及当 操作选单被显示时，根据操作工具的指示方向的改变，而从操作选单选择操作项目中的一 个。根据上述的本发明的实施例，可以提供能够使用于对象的操作选单的显示以及操 作项目的选择更容易的信息处理装置和信息处理方法。
图1是示出根据本发明的实施例的信息处理装置的概述的视图；图2是示出根据本发明的实施例的信息处理装置的原理功能结构的框图；图3A是示出显示板上操作工具的位置以及操作工具的检测结果的视图；图3B是示出显示板上操作工具的位置以及操作工具的检测结果的视图；图3C是示出显示板上操作工具的位置以及操作工具的检测结果的视图；图4是示出根据本发明的实施例的信息处理方法的流程图；图5是示出信息处理方法的处理示例(操作选单的显示)的视图；图6是示出信息处理方法的处理示例(操作项目的执行)的视图；图7是示出信息处理方法的处理示例(操作选单的显示的停止)的视图；图8是示出信息处理方法的处理示例(操作项目的选择)的视图；图9是示出用于选择操作项目的第一修改的视图；图10是示出用于选择操作项目的第二修改的视图；并且图11是示出操作选单的另一显示示例的视图。
具体实施例方式在下文中，将参考附图详细地描述本发明的优选实施例。注意，在本说明书和附图 中，具有实质相同功能和结构的结构元素被标以相同的标号，并且对这些结构元素的重复 说明被省略。[1.信息处理装置100的概述]图1是示出根据本发明的实施例的信息处理装置100的概述的视图。根据本发明的实施例的信息处理装置100利用显示板101来检测诸如用户手指之 类的操作工具M的接触状态。信息处理装置100是个人计算机、PDA、便携音乐播放器等。 在下面的描述中，信息处理装置100具有内置型显示板101，然而，信息处理装置100可经由 通信装置连接至显示板101。当在显示板101上的被选择的对象0上检测到操作工具M的指示方向(pointing direction)的改变时，信息处理装置100以这样的方式控制显示板101 包含了对于对象0可选择的一个或多个操作项目I的操作选单OM被显示在对象0附近。然后，当操作选单OM 被显示时，信息处理装置100根据操作工具M的指示方向的改变而从操作选单OM选择操作 项目I。例如，在图1中，当选择对象0时，在对象0上改变了操作工具M的指示方向，并且 显示了操作选单0M。根据操作选单OM上操作工具M的指示方向的改变，操作项目1(例如， 操作项目16)被选择。这里，例如，当操作工具是手指时，操作工具的指示方向是通过手指 指出的方向。在图1和其他图中，被选择的操作项目I和对象0被示出有阴影线。因此，用户可通过改变操作工具M的指示方向来输入选单起动操作，并且用户不 需要保持操作工具M的接触状态预定的时间段。此外，用户可通过改变操作工具M的指示方 向来选择希望的操作项目I，并且用户不需要在选择操作项目I时执行复杂的操作。此外， 用户可高效地执行作为一系列操作的选择对象0、显示操作选单OM和选择操作项目I的操 作。[2.信息处理装置100的功能结构]图2是示出根据本发明的实施例的信息处理装置100的原理功能结构的框图。信 息处理装置100具有显示板101、操作工具检测器107、存储装置109、显示控制器111和控 制器113。显示板101用作接触传感器103和显示单元105。接触传感器103检测操作工具 M的接触状态。接触传感器103是光学传感器、电容传感器、压力传感器或任何其他的传感 器。在下面的描述中，假设接触传感器103基于显示板101的光接收状态来检测操作工具 M的接触状态。显示单元105在显示控制器111的控制下显示应用的处理结果、内容以及对象0， 并且特别显示包含了对于显示板101上所选中的对象0可选择的一个或多个操作项目I的 操作选单0M。这里，对象是包括诸如图标、按钮或缩略图之类的GUI的对象0。操作工具检测器107通过接触传感器103检测操作工具M与显示板101的接触状 态。操作工具检测器107使用显示板101的光接收状态作为基础来检测操作工具M与显示 板101的接触存在或不存在、接触位置、接触面积以及指示方向。这里，将稍后描述通过接 触传感器103检测操作工具M的方法。存储装置109存储信息处理程序、应用程序、对象0数据等，并且特别存储操作选 单OM的数据。控制器113通过借助信息处理程序的执行控制每个部分，来控制信息处理装 置100的总体操作。具体地，控制器113具有作为如下的操作项目选择部分的功能，该操作项目选择 部分在操作选单OM被显示的时候，根据操作工具检测器107所检测的操作工具M的指示方 向的改变，而从操作选单OM选择操作项目I。这里，操作工具M的指示方向的改变可从传统的按钮向下、按钮向上、点击、双击、 接触、拖动、放下、轻打(flick)等来区分。它是在不干涉这些操作的情况下被检测的。[3.检测操作工具M的方法]在显示板101上，RGB像素和光接收传感器(都未示出)以矩阵形式来布置。光接 收传感器充当接触传感器103，用于接收从显示板101发出的光和由操作工具M反射的光， 并且基于光接收状态来检测操作工具M的接触状态。操作工具检测器107执行对接触传感器103的输出结果的数字处理，从而生成传感器图像S。操作工具检测器107基于传感器图像S来计算表达了与每个像素相对应的光接收 状态的亮度值，并且利用预定阈值将亮度值处理成二进制值。在二进制处理中，每个像素的 亮度值被分类成第一或第二类别，并且传感器图像S的每个区域被分类成与各个类别相对 应的第一或第二区域Al或A2。第一和第二区域Al和A2与大亮度和小亮度区域相对应，大 亮度和小亮度区域被分别指定为操作工具M的接触区域和非接触区域。操作工具检测器107使用第一区域Al的存在作为基础来检测操作工具M与显示 板101的接触存在或不存在。此外，操作工具检测器107计算第一区域Al的重心位置和面 积，从而检测操作工具M的接触位置和接触面积中的每一个。具体地，操作工具检测器107指定第一区域Al的长轴方向D，从而检测操作工具M 的指示方向。操作工具M的指示方向被定义为沿第一区域Al的长轴方向D而指出显示板 101的上部的方向。控制器113计算在旋转前后操作工具M的指示方向之间的角度差，从而 计算操作工具M的旋转角。在下文中，将参考图3A到图3C来描述用于检测操作工具M的指示方向的方法。图 3A到图3C是示出显示板101上操作工具M的位置以及操作工具M的检测结果的视图。在图3A中，作为操作工具M的指端的接触区域Al被抓取(grasp)为传感器图像S 上的椭圆形区域Al。在此情况下，操作工具检测器107指定椭圆形区域Al的长轴方向D， 并且检测作为操作工具M的指示方向的、沿所指定的长轴方向D指示显示板101的上部的 方向。通常，指端与显示板101的接触区域Al被抓取为椭圆形区域Al，在椭圆形区域Al中 手指的指示方向是长轴方向D。在图3B中，指端从图3A的状态旋转，并且经旋转的指端的接触区域Al’被抓取为 传感器图像S上的椭圆形区域Al，。在此情况下，操作工具检测器107指定椭圆形区域Al， 的长轴方向D，并且检测作为旋转之后的操作工具M的指示方向的、沿所指定的长轴方向D 指示显示板101的上部的方向。然后，控制器113使用旋转前后操作工具M的指示方向之 间的角度差作为基础来计算操作工具M的旋转角。另一方面，在图3C中，指端的接触区域Al，，被抓取为传感器图像S上的近似圆形 区域Al”。在此情况下，操作工具检测器107可不指定接触区域Al”的长轴方向D，并且控 制器113将它看作检测错误。[4.信息处理方法]图4是示出根据本发明的实施例的信息处理方法的流程图。图5到图8是示出信 息处理方法的处理示例的视图。如图4所示，操作工具检测器107对于每个检测帧检测操作工具M的接触状态 (SlOl)。控制器113确定操作工具M的接触状态是否从上个检测到的帧中的接触状态改变 (S103)。当确定结果为肯定的时候，控制器113执行步骤S105及以后的处理，而当确定结 果为否定的时候，它回到步骤SlOl的处理。在步骤S105中，控制器113确定操作选单OM是否被显示。当确定结果为肯定的时 候，控制器113执行步骤S107及以后的处理。当确定结果为否定的时候，它执行步骤S115 的处理。在步骤S107中，控制器113确定用于操作选单的显示的对象0是否在显示板101上被选择。对象0是通过操作工具M的轻叩等而在显示板101上被选择的。当确定结果为 肯定的时候，控制器113确定操作工具M是否在所选择的对象0上没有移动预定的距离或 更长距离，以及操作工具M是否旋转了预定的角度或更大角度(步骤S109、SllD0这里，操作工具M的移动距离是已经与显示板101接触地移动的操作工具M的接 触位置的改变量。操作工具M的旋转量意味着操作工具M的指示方向的改变量。此外，移 动预定的距离或更长距离例如意味着所选择的对象0到显示区域之外的移动。旋转预定的 角度或更大角度例如意味着旋转这样的旋转角，所述旋转角使得选单起动操作的输入不被 误识别。然后，当确定结果为肯定的时候，控制器113显示操作选单0M(S113)并且回到步 骤SlOl的处理。另一方面，当步骤S107、S109或Slll中的确定结果为否定的时候，控制器 113回到步骤SlOl的处理。这里，操作选单OM包含对于所选择的对象0可选择的一个或多个操作项目I，上述 操作项目I显示在对象0的附近。在操作选单OM中，使所选择的操作项目I成为焦点，并 且例如操作项目I被放大显示。此外，在考虑了从操作工具M的指示方向估计的操作工具 M的位置的情况下显示操作选单0M，以便防止所显示的操作项目I被操作工具M覆盖而降 低了可见性。在图5中，音乐专辑(album) 1到7的标签被显示在显示板101上作为对象0，并且 专辑3的标签被操作工具M选择。如图5所示，当对象0被选择并且操作工具M旋转预定的 角度或更大角度时，选单起动操作的输入被辨认并且操作选单OM被显示。在图5中，显示 了包含用于从专辑3中存储的歌曲1到7中进行选择的操作项目I的操作选单0M。此外， 操作工具M的指示方向的延长线上的操作项目14是在操作选单OM上可选的。这里，当操 作工具M移动预定的距离或更长距离时，选单起动操作的输入不被辨认，以防止操作错误。 利用此结构，用户可通过改变操作工具M的指示方向来容易地输入选单起动操作。当步骤S105中的确定结果为否定的时候，也就是说，操作选单OM不被显示的时 候，控制器113在步骤S115中确定操作工具M是否改变成非接触状态。然后，当确定结果 为肯定的时候，控制器113执行操作选单OM上所选择的操作项目I (S117)，并且它回到步骤 S101。当确定结果为否定的时候，执行步骤S119的处理。如图6所示，当操作选单OM被显示时，通过将操作工具M改变成非接触状态来执 行操作选单OM上所选择的操作项目I。在图6中，一旦操作工具M被变成非接触状态，操作 选单OM上所选择的操作项目14的重放就开始。然后，用户可通过使操作工具M成为非接 触状态来容易地指示对操作项目I的执行。当步骤S115中的确定结果为否定的时候，也就是说，操作工具M未被变成非接触 状态的时候，则在步骤S119中，控制器113确定操作工具M是否移动了预定的距离或更 长距离。这里，预定距离或更长距离的移动例如意味着到操作选单OM的显示区域之外的 移动。然后，当确定结果为肯定的时候，操作选单OM的显示被停止(S121)，并且回到步骤 S101。当确定结果为否定的时候，执行步骤S123的处理。如图7所示，当操作选单OM被显示时，通过已移动预定的距离或更长距离的操作 工具M来停止操作选单OM的显示。在图7中，一旦操作工具M移动到所选择的专辑3的对 象0的显示区域之外，操作选单OM的显示就停止。利用此结构，用户可通过将操作工具M
7移动预定的距离或更长距离来容易地停止操作选单OM的显示。当步骤S119中的确定结果为否定的时候，也就是说，操作工具M没有移动预定 的距离或更长距离的时候，控制器113确定操作工具M是否旋转预定的角度或更大角度 (S123)。这里，旋转预定的角度或更大角度例如意味着具有检测准确度或更大准确度的、 操作工具M的指示方向的旋转。然后，当确定结果为肯定的时候，执行操作项目I的选择 (S125)并且更新操作选单OM的显示等。此外，控制器113返回至步骤SlOl的处理。如图8所示，当操作选单OM被显示时，根据操作工具M的指示方向的改变来选择 操作项目I。然后，在操作选单OM上，焦点移至所选择的操作项目I。在图8中，当操作工 具M的指示方向顺时针旋转90°时，焦点从操作项目14移动到位于顺时针90°方向上的 操作项目16。这里，在操作选单OM中包含的操作项目I中，显示板101上位于操作工具M 的指示方向的延长线上的操作项目I被选择。然后，用户可根据操作工具M的指示方向的 改变来容易地选择所希望的操作项目I。这里，当操作选单OM的显示被起动时，预定的操作 项目I可被设置为可选择的或者它们全部可被设置为不可选择的。[5.修改]图9和图10是示出用于选择操作项目I的第一和第二修改的视图。图11是示出 操作选单OM的另一显示示例的视图。在上述实施例中，描述了在操作工具M的指示方向的延长线上选择操作项目I的 情况。在此情况下，操作工具M的指示方向的改变范围被限制，并且有时候选择的可操作性 降低。例如，在将手指的指示方向旋转180°时就存在一些困难。因此，如图9所示，在第一修改中，选择的不是操作工具M的指示方向的延长线上 的操作项目I，而是通过如下的改变量限定的方向上的操作项目I 该改变量是通过将操作 工具M的指示方向的改变量乘以系数a(l < a)而获得的。例如，假设当操作工具M的指示方向的延长线上的操作项目14被选择时，操作工 具M的指示方向顺时针旋转45°。在此情况下，例如，当给定系数a = 2时，焦点从操作选 单OM的被选择的操作项目14移动至位于顺时针90°方向(=45度X2)上的操作项目 16。利用此结构，相比于选择操作工具M的指示方向的延长线上的操作项目I，用户可容易 地选择希望的操作项目I。在第一修改中，描述了选择位于通过如下的改变量限定的方向上的操作项目I的 情况该改变量是通过将操作工具M的指示方向的改变量乘以系数a而获得的。在此情况 下，因为通过重视操作工具M的指示方向的改变来选择操作项目，所以相比于选择指示方 向的延长线上的操作项目I，改进了选择的可操作性。然而，当所选择的操作项目I的位置 与操作工具M的指示方向不匹配时(例如，在图9中，不是操作项目16而是操作项目15位 于操作工具M的指示方向的延长线上)，通过直观的操作来选择操作项目I是困难的。因此，如图10所示，在第二修改中，位于通过如下的改变量限定的方向上的操作 项目I被选择该改变量是通过将操作工具M的指示方向的改变量乘以系数a(l <a)而获 得的，并且操作选单OM被旋转通过将操作工具M的指示方向的改变量乘以系数(Ι-a)而获 得的改变量。例如，假设当在操作工具M的指示方向的延长线上选择操作项目14时，操作工具 M的指示方向顺时针旋转45°。在此情况下，例如，当给定系数a = 2时，焦点从操作选单
8OM上的操作项目14移动至位于顺时针90°方向(=45° X 2)上的操作项目16，并且如 箭头MD所示出的，操作选单OM顺时针旋转-45° ( = 45° X (_1))，也就是说逆时针旋转 45°。然后，操作工具M的指示方向的延长线上的操作项目16被选择。利用此结构，相比 于选择位于由通过将操作工具M的指示方向的改变量乘以系数a而获得的改变量限定的方 向上的操作项目I，用户可通过直观的操作来容易地选择希望的操作项目I。图11示出包含了对于多个对象0可选择的一个或多个操作项目I的操作选单OM 的显示示例。在图11中，例如，对形成数据表(spreadsheet)的多个单元(对象0)中所包 含的数据执行最大、最小、平均、求和等统计处理。在此情况下，用户在显示板101上执行操作工具M的拖动以选择包含了用于统计 处理的数据的多个单元，然后在拖动终点处的单元上将操作工具M旋转预定的角度或更大 角度。然后，控制器113辨认选单起动操作的输入，并且围绕终点处的单元显示近似扇形的 操作选单0M。然后，在选单起动操作之后，用户可根据操作工具M的指示方向的改变来选择 操作项目I (例如，在图11中，操作项目13被选择)。这里，如果操作工具M的指示方向在操作工具M的拖动期间被轻微地改变，则只要 指示方向的改变小于预定的角度，控制器113就不辨认选单起动操作的输入。[6.结论]如上所述，根据本发明的实施例，当在显示板101上的被选择的对象0上检测到操 作工具M的指示方向的改变时，信息处理装置100控制显示板101 (显示单元105)以在对 象0附近显示包含了对于对象0可选择的一个或多个操作项目I的操作选单0M。然后，当 操作选单OM被显示时，信息处理装置100根据操作工具M的指示方向的改变来选择操作选 单OM上的操作项目I。利用此结构，用户可通过改变操作工具M的指示方向来输入选单起动操作，并且 不需要将操作工具M的接触状态保持预定的时间段。此外，用户可通过改变操作工具M的指 示方向来选择希望的操作项目I，并且不需要在选择操作项目I时执行复杂的操作。此外， 用户可高效地执行作为一系列操作的选择对象0、显示操作选单OM和选择操作项目I的操作。本领域的技术人员应当理解，各种修改、组合、子组合以及变更可根据设计需求和 其他因素而发生，只要它们在所附权利要求或其等同物的范围内。例如，在上述实施例中，描述了利用光学接触传感器来检测操作工具M的接触状 态的情况。然而，传感器可以是电容传感器、压力传感器或任何其他的接触传感器。此外，在上述实施例中，描述了基于操作工具M的接触状态来检测操作工具M的指 示方向的情况。然而，可从操作工具M的接触状态和邻近(proximity)状态来检测操作工 具M的指示方向。在此情况下，例如，作为接触/邻近传感器的输出结果的传感器图像被处 理成三位的(three-digit)值，以便指定操作工具M的接触区域、邻近区域和非接触邻近区 域。然后，邻近区域和接触区域的重心位置被作用基础，来将从邻近区域的重心朝向接触区 域的重心的方向检测为操作工具M的指示方向。本申请包含与2009年7月2日递交日本专利局的日本优先专利申请JP 2009-158153中所公开的主题相关的主题，该日本优先专利申请的全部内容由此通过引用 而被结合于此。
9
权利要求
一种信息处理装置，包括操作工具检测器，所述操作工具检测器用于检测操作工具与显示板的接触状态；显示控制器，所述显示控制器用于当在所述显示板上的被选择的对象上由所述操作工具检测器检测到所述操作工具的指示方向的改变时，控制所述显示板以在所述对象附近显示包含了对于所述对象可选择的一个或多个操作项目的操作选单；以及操作项目选择部分，所述操作项目选择部分用于当所述操作选单被显示时，根据由所述操作工具检测器检测的所述操作工具的指示方向的改变，而从所述操作选单选择操作项目中的一个。
2.根据权利要求1所述的信息处理装置，其中所述操作项目选择部分从所述操作选单选择所述操作工具的指示方向的延长线上的 操作项目。
3.根据权利要求1所述的信息处理装置，其中所述操作项目选择部分从所述操作选单选择位于通过如下的改变量限定的方向上的 操作项目该改变量是通过将所述操作工具的指示方向的改变量乘以系数a而获得的，所 述系数a大于1。
4.根据权利要求3所述的信息处理装置，其中所述显示控制器控制所述显示板以将所述操作选单旋转通过将所述操作工具的指示 方向的改变量乘以系数(1-a)而获得的改变量，然后显示所述操作选单。
5.根据权利要求1所述的信息处理装置，其中当所述操作选单被显示并且同时所述操作工具的非接触状态被所述操作工具检测器 检测到时，由所述操作项目选择部分选择的操作项目被执行。
6.根据权利要求1所述的信息处理装置，其中当所述操作选单被显示并且同时与所述显示板接触的所述操作工具的预定距离或更 长距离的移动被所述操作工具检测器检测到时，所述显示控制器控制所述显示板以停止对 所述操作选单的显示。
7.一种信息处理方法，包括以下步骤当在显示板上的被选择的对象上检测到操作工具的指示方向的改变时，控制所述显示 板以在所述对象附近显示包含了对于所述对象可选择的一个或多个操作项目的操作选单； 以及当所述操作选单被显示时，根据所述操作工具的指示方向的改变，而从所述操作选单 选择操作项目中的一个。
全文摘要
本发明提供了信息处理装置和信息处理方法。信息处理装置包括操作工具检测器，该操作工具检测器用于检测操作工具与显示板的接触状态；显示控制器，该显示控制器用于当在显示板上的被选择的对象上由操作工具检测器检测到操作工具的指示方向的改变时，控制显示板以在该对象附近显示包含了对于该对象可选择的一个或多个操作项目的操作选单；以及操作项目选择部分，该操作项目选择部分用于当操作选单被显示时，根据由操作工具检测器检测的操作工具的指示方向的改变，而从操作选单选择操作项目中的一个。
文档编号G06F3/048GK101943989SQ20101021448
公开日2011年1月12日 申请日期2010年6月25日 优先权日2009年7月2日
发明者宫泽悠介, 成田智也, 本间文规, 梨子田辰志 申请人:索尼公司