专利名称：信息处理装置及信息处理方法
技术领域：
本发明涉及一种信息处理装置及信息处理方法。
背景技术：
传统地，通常在将显示倍率改变为容易操作的倍率之后，在个人计算机上进行显示画面操作。作为改变显示倍率的方法，例如，用户从列表框中选择其想要的倍率，直接以数字的方式输入倍率，或者移动滑块。近来，通过手势(例如两个手指在附装触摸屏的手机和个人数字助理以及附装触摸板的笔记本个人计算机等上打开/闭合)来进行放大/缩小正在快速普及。然而，如果在这种设备上将显示倍率设置过小，则操作目标对象显示小，使得操作困难。结果，发生如下操作错误例如用户选择其想要选择的对象的相邻对象或者选择多个对象。为了避免由于显示小导致的这些操作错误，已经公开了各种方法。例如，在日本特开2004-140811号公报中，在高密度对象处自动放大显示。这防止错误地选择相邻对象。在日本特开2009-0320 号公报中，当在进行选择操作的手指等的屏幕触摸范围内存在多个对象时，自动放大显示。这防止选择多个对象。然而，在日本特开2004-140811号公报中，当多个对象相互分离地布置时，即使对象显示小，也不放大。此外，在日本特开2009-0320 号公报中，当在手指等的屏幕触摸范围内不存在多个对象时，即使对象显示小，也不放大。为此，当对象显示小并且难以看清时， 用户可能无意地触摸对象。此外，当对象小并且难以确认其内容时，用户可能错误地选择其它对象。考虑当用户纵观显示时，因为其想要使显示滚动，所以其缩小显示。即使对象密集， 其可能也不想自动放大显示。此外，考虑因为用户想要直接对图像对象进行描画或者输入手写字符，而不切换到图像编辑模式等，所以其放大图像对象。然而，传统的能够放大/缩小画面的设备不管显示倍率仅允许相同的输入操作，并且无法满足进行放大/缩小的用户的意图。鉴于上述问题，本发明提供如下一种技术防止当操作目标对象显示小时的操作错误，并且执行符合放大/缩小了画面的用户的意图的操作。
发明内容
根据本发明的一个方面，提供一种信息处理装置，其根据在显示画面上发出的操作指令接受不同类型的多个处理中的一个，所述信息处理装置包括输入单元，其用于输入在所述显示画面上发出的所述操作指令；提取单元，其用于基于在所述显示画面上输入所述操作指令的位置，从在所述显示画面上显示的对象中提取关注对象；获得单元，其用于获得表示由所述提取单元提取的关注对象的显示大小的信息；以及确定单元，其用于根据所述显示大小从不同类型的处理中确定可执行的处理。根据本发明的另一方面，提供一种信息处理装置中的信息处理方法，所述信息处理装置根据在显示画面上发出的操作指令接受不同类型的多个处理中的一个，所述信息处理方法包括以下步骤输入在所述显示画面上发出的所述操作指令；基于在所述显示画面上输入所述操作指令的位置，从在所述显示画面上显示的对象中提取关注对象；获得表示在所述提取步骤中提取的关注对象的显示大小的信息；以及根据所述显示大小从不同类型的处理中确定可执行的处理。通过以下参照附图对示例性实施例的详细描述，本发明的其他特征将变得清楚。
图IA是例示根据本发明的信息处理装置的硬件配置的框图；图IB是例示根据本发明的信息处理装置的软件配置的框图；图2A到图2C是例示以不同的放大倍率显示的Web站点的图；图3是例示操作执行确定处理的流程图；图4是例示对象大小与要执行的操作的组合的表；图5是例示基于条件确定是否执行操作的处理的流程图；图6A是例示操作的优先级设定的表；图6B是例示根据对象大小改变操作优先级的表；图7是例示基于优先级确定是否执行操作的处理的流程图；图8是例示当持续输入操作时允许执行操作的处理的流程图；图9A和图9B是示出当操作目标对象大时执行复杂的手势操作的示例的图；图10是例示对象大小与要执行的手势操作的组合的表；图IlA和图IlB是例示当多个对象相互交叠时的操作执行确定的图；图12是例示当多个对象相互交叠时的条件的表；图13是例示当多个对象相互交叠时的操作执行确定处理的流程图；图14是例示可执行的操作显示的图；图15A到图15C是例示表示不执行输入操作的显示的图；图16A是例示条件改变画面的图；图16B是例示使用样本对象设置条件值的图；图17是例示通过学习来改变条件表的处理的流程图；以及图18是例示对象大小与要执行的操作的组合的表。
具体实施例方式参照附图详细描述本发明的示例性实施例。应当注意，除非另外特别声明，否则在这些实施例中描述的部件的相对配置、数字表示和数值绝不限制本发明的范围。(第一实施例)第一实施例将描述根据操作目标对象(关注对象)的大小来确定是否执行操作的情况。图IA是例示根据本发明的信息处理装置100的硬件配置的框图。总线101连接各构成要素。CPU(中央处理单元)102进行用于各种处理的运算、逻辑判断等，并控制连接到总线101的各构成要素。信息处理装置100包括存储器(包括程序存储器和数据存储器)。程序存储器存储用于CPU进行控制的程序，所述程序包括根据流程图的各种处理序列(稍后描述)。存储器可以是R0M(只读存储器)103或者将程序从外部存储设备等加载到其中的RAM(随机存取存储器)104，或者可以由ROM与RAM的组合来实现。存储设备105例如是存储根据本发明的数据及程序的硬盘。作为具有与存储设备 105相同功能的备选，可以使用外部存储设备106。外部存储设备106可以通过介质(记录介质)和用于实现对介质的存取的外部存储驱动器来实现。已知的介质示例是软盘(FD)、 ⑶-R0M、DVD、USB存储器、MO以及闪存。在本实施例中，RAM 104、存储设备105以及外部存储设备106保持需要的信息。信息输入设备107用来从外部装置输入信息。信息输入设备107接收用户对信息处理装置的操作。输入方法例如是诸如鼠标或轨迹球的指示设备，或者触摸输入。信息输出设备108将信息处理装置100的处理结果以及保持信息输出到外部装置。在本实施例中，信息输出设备108输出由信息处理装置100生成的对象以及用于画面显示(例如关于对象的显示)的信息，并且画面显示设备等对其进行显示。图IB是例示根据本发明的信息处理装置100的软件配置的框图。操作接受单元151接受从信息输入设备107输入到信息处理装置100的操作请求。使用诸如鼠标、轨迹球、触摸板、触摸屏、手写笔、手写板或者键盘的设备来输入操作请求。对于触感设备，可以想像使用手指或者笔的输入。对象提取单元152提取位于画面上已输入由操作接受单元151接受的操作的位置的对象。对象大小测量单元153测量由对象提取单元152提取的对象的显示大小。可以使用像素、显示长度或者面积来测量对象大小。基于对象大小测量单元153测量的对象大小，操作执行确定单元IM确定是否实际执行操作接受单元151接受的操作。更具体地说，将预先设置对象大小与可执行操作指令的组合的条件存储作为定义数据，并基于该条件确定是否能够接受。当操作执行确定单元IM确定能够执行操作时，操作执行单元155执行与操作相对应的处理。操作执行单元155将执行结果通知给信息输出设备108，并将执行结果反映在诸如屏幕的显示设备上。参照图2A到图2C通过例示在附装了触摸屏的个人数字助理中安装了根据本发明的信息处理装置100的情况来说明在不同放大倍率下Web站点的显示的图。图2A到图2C 是例示在不同放大倍率下显示的Web站点的图。屏幕对图像共享站点进行成像。虽然在此例示了 Web站点，但是本发明不限于Web站点，并能够应用到在个人数字助理或者PC中安装的应用。图2A是例示Web站点的通常显示或者缩小显示的图。屏幕200是个人数字助理的显示屏，并且假定因为便携性重要所以屏幕200不大。 在通常显示或者缩小显示中，诸如构成Web站点的文本、图像、按钮的对象显示非常小，因此难以看清它们。该屏幕附装了触摸屏，并假定能够使用手指、手写笔等在显示屏上输入。 然而，可以不附装触摸屏，在不附装触摸屏的情况下，也可以进行使用鼠标、轨迹球、硬按钮、键盘等的输入。当触摸屏幕两点之间的间距增加时确定画面放大/缩小操作为放大操作，而当间距减小时确定为缩小操作。作为选择，可以在屏幕上设置滑块以根据滑块位置进行放大/缩小，可以准备放大按钮和缩小按钮，或者可以直接指定倍率。手指201是用户的手指。手指201直接触摸附装触摸屏的屏幕200以进行各种操作。文本框202允许输入文本。通过选择文本框，画面切换到文本输入画面，或者出现文本输入对话以允许进行文本输入。然而，当文本框202显示小时，如同图2A的示例，因为显示小于指尖，所以难以通过用手指201触摸文本框202来选择它。在该难以选择的状态下，用户可能不会强制进行选择操作。因此，当以不足以进行选择的大小显示对象时，信息处理装置100仅接受图2A中箭头所示的滚动操作，而不接受选择操作。滚动操作通常能够通过拖动没有对象的部分来沿用户想要的方向移动整个画面。在图2A的示例中，还将在用作对象的文本框上的拖动视为滚动操作。仅接受滚动操作能够防止由对用户只想滚动的对象的错误操作导致的麻烦画面转变。图像203布置在Web站点上。该示例假定在Web上共享的图像。用户能够通过触摸来选择图像，下载图像并单独在图像编辑画面上编辑选择的图像。然而，当图像显示小时，如图2A所示的示例，难以确认图像内容，用户可能不会在不了解图像内容的情况下选择特定图像。因此，根据本实施例的信息处理装置100仅接受对图像的滚动操作而不接受选择操作。列表框204记载列表。通过触摸并选择在一行上显示的列表框204来展示列表。 用户能够通过用手指、触笔等触摸列表中的一个来选择它。然而，当列表显示小时，如图2A 的示例所示，因为用户无法了解内容，因此难以阅读字符并确定要选择哪一个列表。由于列表项目与相邻的列表项目接近，因此在如图2A所示的示例的大小下难以用手指选择用户想要的项目。因此，根据实施例的信息处理装置100也仅接受列表框上的滚动操作，而不接受选择操作。用户触摸按钮205以进行选择，并执行分配给按钮的操作。然而，当如图2A所示按钮显示小时，难以看清按钮上写的字符并确定按钮的功能。此外，按钮太小而无法用手指选择它，从而选择操作困难。为此，根据实施例的信息处理装置100也仅接受按钮上的滚动操作，而不接受选择操作。通过触摸带下划线的文本部分来选择链接206，并且画面转变到另一个链接的页面。然而，当如图2A所示链接显示小时，难以看清字符并确定链接目的地。此外，链接太小而无法用手指选择它，选择操作困难。即使用户想要进行滚动操作，也难以单纯地区分字符与链接，并且用户可能错误地选择字符。为了防止这样，根据本实施例的信息处理装置100 也仅接受链接上的滚动操作，而不接受选择操作。图2B是示出在图2A中的显示被放大后显示的Web站点内图。文本框202被放大并以大到足以适合于手指201的指尖的大小来显示。用户能够容易地进行选择操作。信息处理装置100接受选择操作，而不接受文本框202上的滚动操作。图像203被放大并以大到足以确认图像内容的大小来显示。用户能够容易地找到其想要的图像。信息处理装置100接受选择操作而不接受图像203上的滚动操作。列表框204被放大到足以容易地阅读字符并容易用指尖进行选择操作的大小。信息处理装置100接受选择操作而不接受列表框204上滚动操作。由于列表框204中列表项目彼此相邻，因此容易发生对相邻项目的错误选择。为了防止这样，当列表框204以大到足
6以适合于整个手指头的大小来显示时，可以使得能够进行选择操作。按钮205被放大到大到足以容易地看清写在按钮上的字符并确定按钮的功能的大小。因此，信息处理装置100接受选择操作，而不接受按钮205上的滚动操作。链接206被放大到足以看清字符并使用指尖进行选择操作的大小。信息处理装置 100接受选择操作，而不接受链接206上的滚动操作。在图2B所示的示例中，不接受对象上的滚动操作。然而，作为其它方法，可以将轻敲(tap)操作(只轻轻的一个接触的操作)确定为选择操作，并可以将拖动操作确定为滚动操作。这使得能够接受对象上的选择操作和滚动操作两者。图2C是示出在图2B中的显示进一步被放大之后显示的Web站点的图。文本框202被进一步放大到远大于手指201的指尖的大小。信息处理装置100接受对文本框202的手写字符输入操作。即，信息处理装置100接受与上述滚动操作不同类型的操作。此时，对手写输入字符进行识别并将其转换为输入到文本框202中的文本数据。 在图2C的状态下，信息处理装置100不接受文本框202上的滚动操作，以不将其误认为手写字符输入操作。与滚动操作类似，可以不接受选择操作。作为选择，可以将轻敲操作(只轻轻的一个接触的操作)确定为选择操作，并且可以将触摸点的移动(如拖动操作)确定为手写字符输入操作。图像203被放大到远大于手指201的指尖的大小。信息处理装置100接受对图像 203的描画操作(描绘操作)，而不接受图像203上的滚动操作。与滚动操作类似，可以不接受选择操作。作为选择，可以将轻敲操作(只轻轻的一个接触的操作)确定为选择操作， 并且可以将触摸点的移动(如拖动操作)确定为描画操作。对于剩下的对象，进行与图2B中的处理相同的处理。如上所述，当操作目标对象小时，选择操作困难。因此考虑用户想要通过充分利用纵观状态进行滚动操作，而不是选择操作。在这种情况下，根据本实施例的信息处理装置 100能够仅接受满足用户意图的滚动操作。能够防止当对象小并且难以选择它时的操作错误。在将对象以容易选择的状态放大并显示之后，能够接受选择操作。当通过进一步放大来对文本框和图像进行大的显示时，信息处理装置能够满足直接输入手写字符或者描画的要求，而无需麻烦地转变到编辑画面。将参照图3例示基于对象大小确定是否执行接受的操作的处理。图3是例示操作执行确定处理的流程图。在步骤S301中，操作接受单元151进行操作接收处理以接收从信息输入设备107 输入的用户操作指令。在步骤S302中，对象提取单元152提取操作位置附近的对象。更具体地说，对象提取单元152提取位于输入了步骤S301中接收的操作的位置附近的对象。位于输入操作位置附近的对象是例如最靠近输入操作的起点的对象。更具体地说，从位于输入操作指令的位置的对象或者距所述位置预定距离的对象中，提取位于距输入操作指令的位置距离最小的位置的对象。作为其它示例，当指定操作的点移动时，可以选择该点通过距离最长的对象。可以提取与针对操作输入的各个坐标点最近的对象。在步骤S303中，对象大小测量单元153进行对象大小测量处理。更具体地说，对象大小测量单元153测量在步骤S302中提取的对象在显示上的大小(显示大小)。通过提取对象的外接矩形并计算外接矩形的垂直和水平像素数来测量大小。作为其它示例，可以测量表示对象面积的像素数。在步骤S304中，基于在步骤S303中测量的对象大小来确定是否实际执行步骤 S301中接收的操作。例如，当显示大小等于或者小于阈值时，确定无法执行与操作指令相对应的处理。当显示大小大于阈值时，确定能够执行与操作指令相对应的处理。如果确定能够执行处理(步骤S304中的“是”)，则处理进入步骤S305。如果确定无法执行处理(步骤 S304中的“否”)，则处理直接结束。在步骤S305中，进行接收的操作执行处理。执行与在步骤S301中接收的操作相对应的处理。从而，执行图3中的选择处理、滚动处理等。将参照图4例示确定是否执行接受的操作的详细方法。图4例示了对象大小与要执行的操作的组合。图4将进行如图2A到图2C的操作执行确定所需的条件，例示为表。该表被存储为定义数据并能够用来进行操作执行确定。表的第一列是对象401，可以针对各个对象类型进行单独的设置。然而，所有的对象可以具有共同的设定，而无需准备该项目。在图4的示例中，对象401包括如图2A到图 2C所示的文本框、图像、列表框、按钮以及链接。当在画面上出现其它对象类型时，可以进一步设置对象401。对象401可以设置通过使用图像识别技术的对象识别获得的图像内的对象。例如，可以想像图像中的对象(例如人物、建筑、汽车、船)。表的第二列是大小402，将对象大小设置为接受操作时的确定标准。在图4的示例中，用对象的垂直像素数和水平像素数来表示大小。作为选择，可以将大小设置为面积(例如“小于900像素”)，或者用毫米来设置。表的第三列是许可操作403，并设置当对象大小与在第二列中设置的大小402匹配时要接受的操作。例如，为了对文本框进行如图2A至图2C的确定，在第二列中设置了指尖不适合于文本框的大小(例如“小于30X30像素”)的条件，并将滚动操作设置为当满足该条件时许可的操作。接着，设置指尖适合于文本框的大小(例如“30X30像素或者更大且小于100X100像素”)的条件，并且将选择操作设置为当满足该条件时许可的操作。此夕卜，设置了能够手写的大小(例如“100X100像素或者更大”)的条件，并将手写字符输入操作设置为当满足该条件时许可的操作。对剩余的对象类型进行类似的设置，并定义如图4那样的条件表，使得能够进行如图2A到图2C的确定。图4中设置的大小402仅是示例，可以设置其它像素数。尤其，容易操作的对象大小根据屏幕尺寸、显示分辨率以及显示设备性能而改变。因此，可以根据使用情况来改变设置。此外，容易操作的对象大小根据操作输入媒介(例如手指、笔或者鼠标) 的改变而改变。因此，可以针对各个输入媒介准备条件表并基于在输入媒介检测处理中检测到的输入媒介来切换条件表。作为检测对触摸屏的输入媒介的方法，可以基于输入检测方法的不同(例如静电电容方法或者电磁感应方法)、触摸屏的接触面积等来区分输入媒介。当在个人数字助理中安装了加速度传感器时，还能够通过加速度传感器检测到的摆动确定用户是否正在行走，并且如果在行走，则将条件表切换到用于行走的表。作为选择，可以准备与摆动的幅度相对应的条件表并根据摆动幅度来切换条件表。许可的操作也不限于图4的内容，可以设置其它操作。在手势识别可用的环境中，可以设置许可的手势操作。以这种方式，将设置对象大小402以及相应的许可操作403的条件存储作为定义数据。可以使用条件来进行如图2A到图2C中的确定。
将参照图5的流程图例示基于条件确定是否执行接受的操作的处理。步骤S501到S503的处理与图3的步骤S301到S303的处理相同。测量输入操作位置附近的对象的大小。在步骤S504中，进行许可操作获得处理。基于在步骤S502中提取的对象以及在步骤S503中测量的大小来搜索预先定义的图4所示的条件表，获得许可的操作。在步骤S505中，确定在步骤S504中获得的许可操作是否包括在步骤S501中接收的操作。如果许可操作包括接收的操作，则确定能够执行接收的操作(步骤S505中的 “是”)，并且处理进入步骤S506。如果许可操作不包括接收的操作，则确定无法执行接收的操作(步骤S505中的“否”)，并且处理结束，而不执行在步骤S501中接收的操作。在步骤 S506中，与图3的示例类似，执行与在步骤S501中接收的操作相对应的处理。如上面通过例示图4和图5所描述的那样，预先将操作目标对象的显示大小与要接受的操作的组合设置为条件。基于条件，能够接受与对象大小相对应的操作。将参照图6A和图6B例示确定是否接受操作的另一详细方法。图6A和图6B是例示根据对象大小改变操作优先级的表。图6A示出当对对象进行操作601时针对各操作在开始时的优先级602。在图6A 的示例中，选择操作具有最高优先级。这表示基本上优先接受选择操作。然而，在这种状态下，当用户想要进行滚动操作并且错误地触摸对象时，无意中选择了对象。此外，在这种状态下，无法接受对对象的选择以外的操作。为了许可选择以外的操作，通过模式切换来改变优先级。此外，可以针对各个对象单独设置操作优先级。图6B将根据对象611的大小612改变各个操作613的优先级614之后的状态示出作为表。例如，当操作目标文本框的大小小于30X30像素时，将滚动的优先级改变为高。 可以根据操作目标对象的大小来切换要接受的操作。在图6B的示例中，通过布置第一列上的对象611的项目来针对各个对象类型进行单独的设置。然而，所有对象类型可以具有共同设置，而无需布置该列。将参照图7的流程图例示基于优先级来确定是否执行接受操作的处理。步骤S701到S703的处理与图3的步骤S301到S303的处理相同。测量输入操作位置附近的对象的大小。在步骤S704中，基于在步骤S703中测量的对象大小来改变操作优先级。更具体地说，如图6A和图6B的表所示，基于对象大小来改变操作优先级。在步骤S705中，确定在步骤S701中接收的操作的优先级是否为高。如果优先级为高(步骤S705中的“是”)，则处理进入步骤S706以执行与接收的操作相对应的处理。如果接收的操作的优先级为低(步骤S705中的“否”)，则处理结束。如上面通过例示图6和图7所描述的那样，基于操作目标对象的显示大小改变操作优先级。基于优先级，能够接受与对象大小相对应的操作。在上述示例中，基于对象大小在滚动、选择、手写等之间切换操作，但是也可以应用其它操作。将参照图18说明另一示例。图18例示了与图4以外操作相对应的情况。图18 将与对象1801的大小1802相对应的各个操作1803示出作为表。例如，即使针对移动手指的相同操作，也基于图像对象的大小改变要接受的操作。
当用作对象1801的图像对象的大小小于50X50像素并且难以确认图像内容时， 在图像上移动手指的操作是整个画面滚动操作。此时，当松开手指而不在图像上移动它时， 可以什么也不作。当图像对象的大小等于或者大于50 X 50像素且小于100 X 100像素，并且大到足以确认图像内容时，在图像上移动手指的操作是图像移动操作，能够将图像移动到另一位置。此时，当松开手指而不在图像上移动它时，可以选择用手指触摸的图像对象。当图像对象的大小等于或者大于100X 100像素并且足够大时，在图像上移动手指的操作是手写字符输入或者描画操作。此时，当松开手指而不在图像上移动它时，可以什么也不作， 可以选择用手指触摸的图像对象或者可以将用手指触摸的点描绘为描画。例如，在当前显示大小为相对按钮对象的标准大小的50%的情况下，滚动操作有效，在100%的情况下，选择操作有效，而在200 %的情况下，手写操作有效。可以基于整个画面的显示倍率来确定有效的操作。例如，在显示倍率50%的情况下，滚动操作有效，在100 %的情况下，选择操作有效，而在200 %的情况下，手写操作有效。 这种方法在例如对象大小相同(例如照片的列表)时有效。通过针对各个对象设置整个画面的不同显示倍率也能够处理大小不同的对象的情况(如图2A到图2C)。如上所述，根据本实施例的信息处理装置100根据操作目标对象的大小改变要接受的操作。这即使当操作目标对象显示小时也能够防止操作错误。此外，能够根据改变了画面倍率的用户改变显示对象的大小的意图来接受操作。(第二实施例)第二实施例将描述当持续输入操作时允许执行操作的配置。将参照图8的流程图说明根据第二实施例的当持续输入操作时允许执行操作的处理。步骤S801到S803的处理与图3的步骤S301到S303的处理相同。测量输入操作位置附近的对象的大小。在步骤S804中，确定在当前的对象大小下是否能够执行接收的操作。如果确定能够执行操作(步骤S804中的“是”)，则处理进入步骤S805。如果确定无法执行操作(步骤S804中的“否”)，则处理进入步骤S806。在步骤S806中，确定是否持续输入操作。例如，针对触摸画面的选择操作，确定用户是否持续触摸画面。作为另一示例，针对在画面上通过拖动操作进行的滚动操作，如果检测到拖动持续或者拖动之后的位置被持续触摸，则可以确定操作继续。如果持续时间超过预定时间(步骤S806中的“是”)，则处理进入步骤S807。如果持续时间不超过预定时间 (步骤S806中的“否”)，则处理直接结束。如果在步骤S806中确定持续输入操作，则在步骤S807中，计算画面的显示倍率。 作为计算方法，首先，计算需要的对象大小，使得能够接受接收的操作。接着，计算并确定画面的显示倍率，使得在步骤S802中提取的对象具有计算的大小。在步骤S808中，基于在步骤S807中计算的显示倍率来对整个画面、画面的一部分或者在步骤S802中提取的对象进行放大或者缩小。在步骤S805中，执行在步骤S801中接收的操作。在图8的示例中，在步骤S807 和S808的处理中改变显示倍率。然而，当操作简单地持续时，可以接受其以执行处理。作为选择，可以只进行步骤S807中的显示倍率计算处理以在画面上显示显示倍率并将其展
10示给用户。如上所述，即使不许可执行输入操作，而用户想要输入操作，通过持续输入操作也允许执行输入操作，从而用户能够进行输入操作。因此，放大操作和缩小操作都无需单独进行。此外，展示用于设置原本输入已成为可执行的操作所需的大小的放大倍率，将操作所需的原本大小通知给用户。此外，以这种放大倍率的实际显示，使得后续操作容易。(第三实施例)在第三实施例中，将参照图9A和图9B描述随着操作目标对象的大小增加接受更复杂手势操作的示例。图9A是示出在与图2A到图2C相同的使用情况下放大到某一程度的Web画面的图。中心图像是人物。手势901是用手指201进行的手写输入。在图9A的示例中，将“保密”的描绘识别为“保密”手势，并且假定设置“保密”印记(显示图标)。然而，当图像对象小或者识别的人物对象小时，如同图9A的示例，难以输入诸如“保密”手势的复杂手势。结果，如图9A那样，手势形状可能丢失，导致识别错误。为了防止这样，当对象显示小时，信息处理装置100不接受复杂的手势。图9B是示出在从图9A放大之后显示的Web画面的图。人物显示大。在这种状态下，能够输入大且形状更好的手势901。因此，当对象显示大时，信息处理装置100接受笔画数高或者形状复杂的手势。假定输入了操作指令以使用符号或者字符来指定要在位于显示画面上的对象上显示的显示图标。当对象的显示大小等于或者小于阈值并且符号或者字符的笔画数等于或者小于预定整数值时，确定能够执行与操作指令相对应的显示图标显示处理(显示执行确定处理)。如果确定能够执行显示图标显示处理，则执行与操作指令相对应的显示图标显示处理。以这种方式，即使当用户在特意确定的位置或者大小输入手势时，也基于用户尝试输入的目标对象的大小来切换是否允许接受手势，由此减少手势识别错误。将参照图10例示设置对象大小与要接受的手势操作的组合的条件表。图10将进行参照图9A和图9B描述的操作执行确定所需的条件示出为表。对象 1001以及大小1002的项目与图4中的相同，但是第三列为许可手势1003。可以在图4的许可操作中设置许可手势1003或者将其配置为如图10所示。在图10的示例中，当对象1001 是在图像内识别的图像内对象并且大小1002小于30X30像素时，对象过小，不接受手势操作(无许可手势1003)。当大小1002等于或者大于30X 30像素且小于50X 50像素时，作为许可手势1003，仅接受简单符号(例如“圆”、“三角形”或者“正方形”)的手势操作。当大小1002等于或大于50X50像素且小于100X 100像素时，作为许可手势1003追加接受略微复杂的符号(例如“星”、“音符”或者“G谱号”)的手势操作。当大小1002足够大(例如100 X 100像素或者更大)时，作为许可手势1003还追加接受复杂的符号(例如“保密”、 “特殊”或者“有限公司”)的手势操作。如上所述，根据第三实施例的信息处理装置100随着操作目标对象的大小增加接受更复杂的手势操作。能够根据改变了显示对象的大小的用户的意图接受手势操作。在容易发生识别错误的大小下，不接受复杂的手势操作，从而减少识别错误。(第四实施例)
在第四实施例中，首先参照图IlA和图IlB描述当多个对象相互交叠时的操作执行确定。图IlA和图IlB的示例假定能够进行图像相册布局的应用或者Web站点的画面显
7J\ ο图IlA示出了在通常显示或者缩小显示下的相册布局的画面。页1101是相册的一页。在图1IA的示例中，在画面内显示了四个双联页(two-page spread)。用户将手指201移近图像203以操作它。在手指201的下面有图像203和页1101， 考虑图像203和页1101两者的条件来确定是否接受操作。例如，该大小大到足以确认图像 203的内容并容易用手指选择图像203。因此，接受对图像203的选择操作。页1101不太大，并且没有特意许可操作。图IlB例示了在从图IlA放大之后显示的相册布局画面。在该示例中，图IlA中左上方的双联页显示在中心。在这种情况下，图像203的大小比图IlA中的大。这样，与图IlA相类似地接受选择操作。此外，页1101的大小也足够大。因此，许可接受对图像203定位的布局操作。在布局操作中，用户通过例如拖动操作将图像203移动到其想要的位置。通过将多个对象的条件组合，能够根据各个对象的特性来确定复杂的情况。在图 IlA和图IlB的示例中，如果页1101小，则难以细微调整图像203的位置。因此，不接受布局操作。这能够防止由于错误移动图像203而导致图像203极大地未对准。将参照图12例示当多个对象相互交叠时的条件设定。图12例示了用于实现图 IlA和图IlB中的确定的条件。第一、第二以及第四列与图4中的相同。然而，第一列上的对象1201和第二列上的大小1202允许同时设置多个对象条件。第三列是优先级1203。第四列示出了许可操作 1204。考虑多个条件同时满足的情况，基于优先级确定要应用的条件。如果严格地限定条件以不同时满足多个条件，则可以省略该项目。在图12的示例中，针对图像对象的设定与图4中的相同。此外，添加将图像对象与页对象组合的条件。作为组合的条件，同时设置图像大小为足以确认内容的50X50像素或者更大的条件以及页大小为足以细微调整的100X 100像素或者更大的条件。设置当这些条件同时满足时接受能够细微调整图像位置的布局操作。然而，图像大小为50X50像素或者更大的设定可以与图像大小为100X 100像素或者更大的条件同时满足。在这种情况下，通过参照优先级1203来确定优先条件。在图12的示例中，将图像大小为100X 100像素或者更大的条件优先。还可以不将优先级3的条件严格设置为大于或者等于50X50像素且小于100 X 100像素，而是简单的50 X 50像素或者更大。当图像变成100 X 100像素或者更大时自动选择优先级1的条件。如果条件具有相同的优先级，则可以接受具有该优先级的所有操作。通过将多个对象组合来表达一个条件，能够确定更复杂的情况。通过设置优先级， 无需设置严格的大小条件，并能够容易地进行设置。后续的设置改变也不会影响其它条件。将参照图13例示当多个对象相互交叠时的操作执行确定处理。步骤S1301中的处理与图3的步骤S301相同，并接收用户输入的操作。在步骤S1302中，提取操作位置附近的多个对象。提取位于输入操作的起点的所有对象。作为其它方法，可以提取位于距输入操作的位置预定距离的多个对象。
在步骤S1303中，确定是否处理了在步骤S1302中提取的所有对象。完成确定处理是步骤S1304到S1307中的处理。如果确定处理了所有对象(步骤S1303中的“是”)， 则处理进入步骤S 1308。如果确定未处理所有对象(步骤S1303中的“否”)，则选择未处理的对象中的一个，处理进入步骤S1304。步骤S1304中的处理与图3的步骤S303中的处理相同，并测量在步骤S1303中选择的对象的大小。步骤S1305中的处理是对象类型获得处理，并获得在步骤S1303中选择的对象的类型。步骤S1306中的处理是标志(flag)设置处理。更具体地说，基于在步骤S1304中测量的对象大小以及在步骤S1305中获得的对象类型来搜索如图12所示的条件表，并针对满足条件的项目设置标志。例如，参照图12，当对象类型是图像并且大小是100X100像素时，针对关于满足条件的优先级1和2的图像对象的项目设置标志。在这种情况下，优先级 1的条件仅具有之前设置了标志的图像项目，因此，完全满足优先级1的条件。相反，由于未针对页对象项目设置标志，因此不完全满足优先级2的条件。步骤S1307中的处理是进行到下一个对象的处理，将当前处理的对象视为处理过的对象。之后，处理返回步骤S1303。在步骤S1303中，选择未处理的对象。如果处理了所有对象，则在步骤S1303中，确定已经处理了所有对象。步骤S1308中的处理是许可操作获得处理。基于在步骤S1306中设置的标志提取针对所有项目设置了标志的各个条件。从提取的条件中选择优先级最高的条件，并获得选择的条件许可的操作。步骤S1309中的处理与图5的步骤S505中的相同。确定在步骤S1308中获得的许可操作是否包括在步骤S1301中接收的操作。如果许可操作包括接收的操作(步骤S1309 中的“是”)，则进行步骤S1310中的接收操作执行处理。如果许可操作不包括接收的操作 (步骤S1309中的“否”)，则处理结束。如上所述，当多个对象相互交叠时，根据第四实施例的信息处理装置100能够通过设置条件的组合来确定更复杂的情况。通过设置优先级，无需严格设置大小条件，能够容易地进行设定。(第五实施例)在第五实施例中，将参照图14例示可执行的操作显示。图14的示例基本与图IlB 的显示状态相同。标记1401表示当前接受的操作。在图14的示例中，当手指201接近图像203时， 检测到手指201已经接近。接着，获得针对图像203的大小的许可操作，并在图像203上显示与许可操作相对应的标记。如上面参照图IlB所述，在图14的情况下，图像203接受选择操作和布局操作。因此，显示标记“S”(选择)和标记“L”(布局)。由此，用户能够确认操作目标对象当前接受的操作。虽然图14的示例使用标记，但是可以直接列出并显示操作名称、操作说明等。可以不在对象上而在标记与对象不交叠的位置显示标记。可以总显示在当前对象大小下接受的操作，而不管手指是否接近。将参照图15A到图15C例示表示不接受输入的操作的显示。图15A到图15C的示例基本与图IlA的显示状态相同。
1
图15A示出了显示用于明确表示不接受操作的对话的示例。对话1501显示表示在当前大小下无法接受选择操作的确定结果，并将表示该确定结果的消息通知给用户。虽然在图15A的状态下图像203显示小并且不接受图像布局操作，但是因为用户用手指201对图像203进行选择操作，所以显示对话1501。如图15A所示，对话1501可以进一步记载如下消息如果放大图像203，则能够接受选择操作。此外， 可以同时记载使得能够进行选择操作的显示倍率。图15B示出了在对象上显示标记以明确表示不接受操作的示例。操作禁止标记1502是对象上的用于表示在当前大小下禁止操作的交叉。这表示对象无法接受用户的操作。可以在不接受操作的所有对象上显示标记。图15C示出了模糊显示对象以明确表示不接受操作的示例。例如，操作禁止对象1503被模糊显示，以表示以当前大小下无法操作对象。可以对不接受操作的所有对象进行模糊显示。如上所述，根据第五实施例的信息处理装置100在画面上显示当前运行的操作， 并且用户能够在操作之前识别它。这能够减少虽然用户尝试操作但是未能接受操作的不便。如果用户进行禁止操作，则显示无法接受操作的消息以向用户通知禁止操作。通过记载用于接受操作的建议，能够将如何能够进行操作通知给用户。(第六实施例)在第六实施例中，将参照图16A例示条件改变画面。图16A的示例假定显示图4 的条件表作为列表以允许改变各个项目的画面。列表框1601允许选择对象类型。用户从列表中选择操作目标对象类型。文本框1602用来输入大小。用户输入用作接受操作时的确定条件的对象大小。图 16A的示例假定在文本框中进行手动输入。作为替代，可以针对各个位准备上、下按钮以逐一增加/减少值。用户可以选择在列表框中准备的几个值中的一个。列表框1603用来选择许可操作。用户选择当满足条件时许可的操作。在图16A 的示例中仅能够设置一个许可操作，但是可以设置多个许可操作。列表框和文本框用作各个项目的显示示例，但是本发明不限于此。可以通过触摸操作选择各个输入项目，或者通过键操作来移动指针。可以不使用如同图16A中的示例的条件改变画面，而直接编辑设置条件的数据库、文本文件等。参照图16B说明使用样本对象设置条件值的示例。创建用于调整条件值的样本对象1604。如同图16B中的示例，准备各种大小的样本对象。提示用户向所有大小的样本对象输入要调整的操作(例如选择操作)。此时，改变条件表中的值以从条件中排除选择操作失败的大小。例如在选择时当手指离开对象或者触摸多个对象时，操作失败。以这种方式， 当操作失败时，可以调整条件表中的值以调整适于输入了操作的用户的条件表。通过不是仅仅一次而是多次输入操作，提高了调整精度。可以通过添加诸如手指、笔以及“行走中”的条件并进行相同的操作来创建与各个情况相对应的条件表。可以从通常操作中学习条件， 而不准备如同图16B的样本对象。例如，当针对小对象进行选择操作时，不接受该操作。然而，当将相同的操作进行预定次数时，确定即使在该大小下用户也想要进行选择操作，并且可以改变条件以接受选择操作。即使当对象大到足以进行选择，但是用户触摸对象以外的部分或者选择多个对象并且操作失败时，可以改变条件以在该大小下不接受选择操作。此夕卜，当用户取消刚刚之前的操作时，可以改变条件以不接受取消的操作。参照图17说明通过从操作失败以及取消操作中学习来改变条件表的处理。步骤 S 1701到S 1703中的处理与图3的步骤S301到S303的处理相同。在这些处理中，接收用户输入的操作，提取输入操作位置附近的对象，并测量对象大小。在步骤S1704中，确定在步骤S1701中接收的操作是否是取消操作。如果确定接收的操作是取消操作(步骤S1704中的“是”)，则处理进入步骤S1705。如果确定接收的操作不是取消操作(步骤S1704中的“否”)，则处理进入步骤S1709。步骤S1709到S1710中的处理与图5的步骤S504到S505中的处理相同。在步骤 S1709中，基于测量的对象大小获得许可操作。在步骤S1710中，确定许可操作是否包括接收的操作。如果确定许可操作包括接收的操作(步骤S1710中的“是”)，则处理进入步骤 S1711。在步骤S1711中，执行与接收的操作相对应的处理。如果确定许可操作不包括接收的操作(步骤S1710中的“否”)，则处理进入步骤S1712。在步骤S1712中，确定在步骤S1710中确定许可操作不包括与接收的操作相同的操作的次数是否等于或者大于预定次数。如果相同的操作是“不接受(不包括在许可操作中)”被确定了预定次数(步骤S1712中的“是”)，则处理进入步骤S1713。在步骤S1713 中，将条件改变为即使在当前大小下也接受操作。这是因为其能够解释为即使在当前大小下，用户也想要进行不接受的操作并由此反复尝试操作。在步骤S1713的处理中，将在当前显示大小下对对象的操作指令添加为可执行的操作指令。作为用于许可的大小，存储曾被确定为禁止操作的大小并将其改变为其平均值、最大值或者最小值。如果相同的操作是“不接受(不包括在许可操作中)”未被确定了预定次数或者更多次(步骤S1712中的“否”)， 则处理结束。步骤S1705中的处理是对象获得处理，并获得当输入取消操作时的操作目标对象。由于不了解取消输入操作的时间，因此在接受任意操作时，都存储输入操作的位置处的对象。步骤S1706中的处理与图3的步骤S303中的处理相同，并测量在步骤S1705中获得的对象的大小。如果接受了任意操作，则可以存储输入操作位置处的对象的大小以获得值。在这种情况下，可以省略步骤S1705中的处理。在步骤S1707中，确定相同的操作是否被取消了预定次。如果相同的操作被取消了预定次或者更多(步骤S1707中的“是”)，则处理进入步骤S1708。在步骤S1708中，改变条件(从可执行的操作指令中排除)，以在当前大小下不接受操作。这是因为其能够解释为在当前大小下用户不想进行操作并由此已多次取消操作。作为用于禁止的大小，存储操作失败的大小并将其改变为其平均值、最大值或者最小值。如上所述，根据第六实施例的信息处理装置100能够改变条件以进行适于环境以及用户的使用的设置。学习实际输入的操作、取消操作等使得能够进行反应用户习惯和意图的更精确的确定。本发明能够防止当操作目标对象显示小时的操作错误，并执行符合放大/缩小画面的用户的意图的操作。(其它实施例)本发明的各方面还可以通过读出并执行记录在存储设备上的用于执行上述实施例的功能的程序的系统或装置的计算机(或诸如CPU或MPU的设备)来实现，以及通过由系统或装置的计算机通过例如读出并执行记录在存储设备上的用于执行上述实施例的功能的程序来执行各步骤的方法来实现。鉴于此，例如经由网络或者从用作存储设备的各种类型的记录介质(例如计算机可读介质)向计算机提供程序。 虽然参照示例性实施例对本发明进行了描述，但是应当理解，本发明并不限于所公开的示例性实施例。应当对所附权利要求的范围给予最宽的解释，以使其涵盖所有这些变型例以及等同的结构和功能。
权利要求
1.一种信息处理装置，其根据在显示画面上发出的操作指令接受不同类型的多个处理中的一个，所述信息处理装置包括输入单元，其用于输入在所述显示画面上发出的所述操作指令；提取单元，其用于基于在所述显示画面上输入所述操作指令的位置，从在所述显示画面上显示的对象中提取关注对象；获得单元，其用于获得表示由所述提取单元提取的关注对象的显示大小的信息；以及确定单元，其用于根据所述显示大小从不同类型的处理中确定可执行的处理。
2.根据权利要求1所述的信息处理装置，其中，当所述显示大小不大于阈值时，所述确定单元确定无法执行与所述操作指令相对应的处理，而当所述显示大小大于所述阈值时， 所述确定单元确定能够执行与所述操作指令相对应的处理。
3.一种信息处理装置中的信息处理方法，所述信息处理装置根据在显示画面上发出的操作指令接受不同类型的多个处理中的一个，所述信息处理方法包括以下步骤输入在所述显示画面上发出的所述操作指令；基于在所述显示画面上输入所述操作指令的位置，从在所述显示画面上显示的对象中提取关注对象；获得表示在所述提取步骤中提取的关注对象的显示大小的信息；以及根据所述显示大小从不同类型的处理中确定可执行的处理。
全文摘要
本发明提供一种信息处理装置及信息处理方法。所述信息处理装置根据在显示画面上发出的操作指令接受不同类型的多个处理中的一个，所述信息处理装置包括输入单元，其用于输入在所述显示画面上发出的所述操作指令；提取单元，其用于基于在所述显示画面上输入所述操作指令的位置，从在所述显示画面上显示的对象中提取关注对象；获得单元，其用于获得表示由所述提取单元提取的关注对象的显示大小的信息；以及确定单元，其用于根据所述显示大小从不同类型的处理中确定可执行的处理。
文档编号G06F3/048GK102455871SQ20111030839
公开日2012年5月16日 申请日期2011年10月12日 优先权日2010年10月15日
发明者山本圭一, 金井映理 申请人:佳能株式会社