显示装置、显示方法及计算机可读记录介质与流程

1.本公开涉及显示装置、显示方法及计算机可读记录介质。


背景技术：

2.在现有技术的示例中，显示装置使用手写识别技术将手写数据转换为字符等，并显示所述字符等已经为人所知。当用户在预定的竖向或横向上进行手写时，显示装置可以将手写数据高精度地转换为字符等。
3.例如，在日本专利no.3599927中提出了一种用于将手写数据转换为字符串等而不限制手写方向的技术。日本专利no.3599927提出一种用于识别手写方向，并基于所识别的方向执行假名
‑
汉字转换或预测转换的技术。
4.然而，现有技术中存在没有表示一个以上的字符相对于字符串的位置的显示元素或标签的显示的问题。例如，用户可能想要在将一个以上的字符插入字符串中。在文字处理器软件中，用户可以通过将光标移动至插入位置并从键盘输入字符等来容易地插入字符等。然而，在通过手写识别输入一个以上的字符的显示装置的情况下，所述显示装置不显示所述一个以上的字符相对于所述字符串的位置。


技术实现要素：

5.根据实施例的一方面，提供一种显示装置，其用于显示第一字符串，该显示装置包括：显示器，其被配置为显示从手写数据转换的一个以上的字符；以及电路，其被配置为显示表示所述一个以上的字符相对于所述第一字符串的位置的显示元素或标签。
6.实施例的其他特征将在结合附图阅读时从下面的详细描述中变得显而易见。
附图说明
7.图1是用于说明有关将字符插入字符串中的比较例的图。
8.图2是用于说明根据一实施例的将字符插入字符串中的方法的图。
9.图3a、图3b、图3c和图3d是示出显示装置的整体配置的示例的图。
10.图4是示出笔的示例的立体图。
11.图5是示出显示装置的硬件配置的示例的图。
12.图6是示出显示装置中包括的有关用户认证的功能块的示例的功能框图。
13.图7是示出已定义的控制数据的示例的图。
14.图8是示出手写识别词典部的词典数据的示例的图。
15.图9是示出字符串转换词典部的词典数据的示例的图。
16.图10是示出预测转换词典部的词典数据的示例的图。
17.图11a和图11b是示出存储在操作命令定义部中的操作命令定义数据和系统定义数据的示例的图。
18.图12是示出当有通过手写数据选择的已选择数据时的操作命令定义数据的示例
的图。
19.图13是示出操作指南和由所述操作指南显示的可选候选的示例的图。
20.图14a、图14b、图14c和图14d是用于说明指定已选择数据的示例的图。
21.图15a和图15b是示出当有手写数据时的基于操作命令定义数据的操作命令的候选的显示例的图。
22.图16a和图16b是示出当有手写数据时的基于操作命令定义数据的操作命令的候选的显示例的图。
23.图17是示出通过长按笔来选择的确定数据的示例的图。
24.图18是用于说明字符的插入目的地的示例的图。
25.图19是示出确定数据和手写数据的示例的图。
26.图20是示出对
“ていれい
(定期)”显示的操作指南的示例的图。
27.图21是示出显示所接受的“定例(定期)”的选择的状态的图。
28.图22是示出在用户选择了已选择数据“定例(定期)”的状态下显示的箭头的示例的图。
29.图23a和图23b是示出箭头的位置的示例的图。
30.图24是示出插入有“定例(定期)”的字符串作为确定数据的图。
31.图25是示出横向书写的确定数据和竖向书写的选择数据的示例的图。
32.图26是示出当用户竖向书写时的操作指南的示例的图。
33.图27是示出在确定数据旁边显示的表示插入目的地的插入符号的示例的图。
34.图28是用于说明显示装置显示字符串候选和操作命令候选的处理的示例的顺序图(之一)。
35.图29是用于说明显示装置显示字符串候选和操作命令候选的处理的示例的顺序图(之二)。
36.图30是用于说明显示装置显示字符串候选和操作命令候选的处理的示例的顺序图(之三)。
37.图31是用于说明显示装置显示字符串候选和操作命令候选的处理的示例的顺序图(之四)。
38.图32是用于说明显示装置显示字符串候选和操作命令候选的处理的示例的顺序图(之五)。
39.图33是用于说明显示装置显示字符串候选和操作命令候选的处理的示例的顺序图(之六)。
40.图34是用于说明显示表示插入目的地的箭头的手写输入显示控制部的处理的示例的流程图。
41.图35是说明当执行英文转换时将字符插入字符串中的方法的图。
42.图36是示出用于英文转换的已定义的控制数据的示例的图。
43.图37是示出用于英文转换的手写识别词典部的词典数据的示例的图。
44.图38是示出用于英文转换的字符串转换词典部的词典数据的示例的图。
45.图39示出用于英文转换的预测转换词典部的词典数据的示例。
46.图40a和图40b是示出在执行英文转换时没有已选择数据的情况下的操作命令定
义数据的示例的图。
47.图41是示出在执行英文转换时有已选择数据的情况下的操作命令定义数据的示例的图。
48.图42是示出当执行英文转换时的操作指南和由操作指南显示的可选候选的示例的图。
49.图43a和图43b是用于说明当执行英文转换时的已选择数据的指定例的图。
50.图44a和图44b分别是当执行英文转换时在有图43a和图43b所示的手写数据的情况下的基于操作命令定义数据的操作命令候选的显示例的图。
51.图45是示出当执行英文转换时通过长按笔来选择的确定数据的示例的图。
52.图46是用于说明当执行英文转换时的字符的插入目的地的示例的图。
53.图47是示出确定数据和手写数据的示例的图。
54.图48是示出对“reg”显示的操作指南的示例的图。
55.图49是示出显示所接受的“regular(定期)”的选择的状态的图。
56.图50是示出在用户选择了已选择数据“regular(定期)”的状态下显示的箭头的示例的图。
57.图51a和图51b是示出箭头的位置的示例的图。
58.图52是示出插入有“regular(定期)”的字符串作为确定数据的图。
59.图53是示出当执行英文转换时在确定数据旁边显示的表示插入目的地的插入符号的示例的图。
60.图54是用于说明当执行中文转换时将字符插入字符串中的方法的图。
61.图55是示出用于中文转换的已定义的控制数据的示例的图。
62.图56是示出用于中文转换的手写识别词典部的词典数据的示例的图。
63.图57是示出用于中文转换的字符串转换词典部的词典数据的示例的图。
64.图58示出用于中文转换的预测转换词典部的词典数据的示例。
65.图59a和图59b是示出当执行中文转换时没有已选择数据的情况下的操作命令定义数据的示例的图。
66.图60是示出当执行中文转换时有已选择数据的情况下的操作命令定义数据的示例的图。
67.图61是示出当执行中文转换时的操作指南和由操作指南显示的可选候选的示例的图。
68.图62a和图62b是用于说明当执行中文转换时的已选择数据的指定例的图。
69.图63a和图63b分别是当执行中文转换时在有图62a和图62b所示的手写数据的情况下的基于操作命令定义数据的操作命令候选的显示例的图。
70.图64是示出当执行中文转换时通过长按笔来选择的确定数据的示例的图。
71.图65是用于说明当执行中文转换时的字符的插入目的地的示例的图。
72.图66是示出确定数据和手写数据的示例的图。
73.图67是示出对“定期”显示的操作指南的示例的图。
74.图68是示出显示所接受的“定期”的选择的状态的图。
75.图69是示出在用户选择了已选择数据“定期”的状态下显示的箭头的示例的图。
76.图70a和图70b是示出箭头的位置的示例的图。
77.图71是示出插入有“定期”的字符串作为确定数据的图。
78.图72是示出在确定数据旁边显示的表示插入目的地的插入符号的示例的图。
79.图73是示出显示装置的另一配置例的图。
80.图74是示出显示装置的又一配置例的图。
81.图75是示出显示装置的再一配置例的图。
82.图76是示出显示装置的又另一配置例的图。
具体实施方式
83.在下文中，将参照附图对实施例进行描述。图中，对相同的构成要素用相同的附图标记表示，并且对相同构成要素的重复描述可以被省略。
84.实施例的一个数据要提供一种能够显示表示一个以上的字符相对于字符串的位置的显示元素或标签的显示装置。
85.在下文中，将参照附图对根据本发明的实施例的显示装置、所述显示装置所采用的显示方法、以及计算机可读记录介质进行描述。
86.[第一实施例]
[0087]
<字符插入的概述>
[0088]
首先，在对实施例进行描述之前将对比较例进行说明，以供参考。应注意的是，比较例是相关技术，并且不一定在本领域或现有技术中是已知的。图1是用于说明有关将字符插入字符串中的比较例的图。
[0089]
图1示出以下状态(1)、(2)、(3)。
[0090]
(1)：用户将手写数据输入至显示装置，并且所述显示装置将所述手写数据转换为字符串“gee”以对其进行显示的状态。
[0091]
(2)：用户注意到在“g”和“e”之间缺失字符“r”，并手写要识别的“r”，并将被识别的“r”拖放在“g”与“e”之间的状态。
[0092]
(3)：显示装置基于“r”的落放坐标确定要将“r”插入“g”与“e”之间，并全部擦除，并显示“gree”的状态。
[0093]
因此，在比较例中，用户可以通过执行拖动与落放(drag
‑
and
‑
drop)操作来插入通过字符识别识别的横向书写的字符，但是，例如，当要插入多个字符时，用户可能会对要将多个字符中的哪一个插入在插入位置感到困惑。
[0094]
根据一实施例，显示装置显示表示一个以上的字符相对于字符串的位置的显示元素或标签，以明确一个以上的字符相对于字符串的插入位置。
[0095]
图2是用于说明根据一实施例的将字符插入字符串中的方法的图。图2示出用户将竖向手写数据输入至显示装置，所述显示装置将手写数据转换为字符串“今日
の
会議(今天的会议)”301的示例，该字符串是汉字和平假名字符的组合，发音为“kyo no kaigi”，意思是“今天的会议”。用户注意到，在“今日
の”
(今天的)与“会議”(会议)之间缺失单词“定例”，发音为“teirei no”，意思是“定期”，并用平假名字符手写
“ていれい”
，并使所述显示装置将该手写字符转换为汉字字符“定例”302。当用户选择或开始拖动汉字字符“定例”302时，所述显示装置显示表示插入目的地(或插入位置)的箭头303。箭头303具有朝向汉字字符
“
定例”302的底端、以及指向要插入汉字字符“定例”302的字符串的指向端，以明确汉字字符“定例”302相对于字符串“今日
の
会議”301的位置。此外，箭头303使用户能够容易地理解插入位置。用户拖动汉字字符“定例”302，并将箭头303的指向端落放在与期望的插入位置对准的位置。
[0096]
如上所述，根据本实施例的显示装置显示表示一个以上的字符相对于字符串的位置的箭头303(显示元素或标签的示例)，从而便于用户将字符插入期望的插入位置中。因此，可以明确字符串与一个以上的字符的相对位置。
[0097]
<术语>
[0098]
日语中，有平假名字符、片假名字符以及汉字字符，而不是字母。日语单词或术语可以用一个以上的平假名字符、片假名字符、汉字字符或至少两个这样的日语字符的组合(除非另有说明，以下简称为“字符”或“字符串”)来拼写。此外，日语文本数据可以具有两个方向中的一个，并且日语字符可以从左到右横向书写，或者从上到下竖向书写。
[0099]“确定数据”指坐标点序列被转换为诸如可以通过字符识别在计算机上处理的字符代码等的信息的数据。对于确定数据，是否执行了正确的转换无关紧要。将主要使用字符对本实施例进行描述，但是，数值、符号、字母等可以用于插入处理。
[0100]“手写数据”指当用户在显示装置上连续移动输入装置或设备时将坐标点序列显示为轨迹的数据。用户将输入装置或设备压在显示装置上并连续移动输入装置或设备，之后使输入装置或设备从显示装置分离一系列操作将被称为笔画，并且通过笔画手写的数据将被称为笔画数据。手写数据包括一个以上的笔画数据。
[0101]“插入”不仅指在字符串或文本中两个字符之间的位置插入一个以上的字符，而且还指在字符串的开头或末尾插入一个以上的字符。
[0102]“选择数据”指用户根据由显示装置确定的操作方法选择的一个以上的字符。
[0103]
例如，“拖动”指在字符被选择时移动字符的操作，例如，在按下鼠标按钮的同时移动鼠标的操作。“落放”指例如在目标位置处放开所拖动的字符的操作，例如在目标位置处放开鼠标按钮的操作。通过拖动而所选择的数据发生移动。落放使显示装置停止检测坐标。
[0104]“显示元素或标签”指在显示于屏幕上的符号、图形或图像。显示元素或标签只要明确要插入的一个或多个字符相对于字符串的位置(在下文中也称为“插入目的地”)便足以。显示元素或标签可以与相对于字符串的字符插入位置有关，或者与一个以上的字符在字符串中的位置有关，或者用于支持或辅助字符插入。
[0105]“一个以上的字符相对于字符串的位置”指字符串与一个以上的字符的相对位置。该位置可以是一个以上的字符相对于字符串的插入位置、替换位置等。
[0106]“执行相对于字符串使用一个或多个字符的处理”例如包括对于一个以上的字符相对于字符串进行插入、替换、插入或替换之后的重新转换等。该处理只要使用一个以上的字符和字符串便足以。另外，显示装置可以通过高亮或闪烁显示来显示字符串。在替换的情况下，可以选择字符串中的字符。
[0107]
<显示装置的整体配置>
[0108]
将参照图3a至图3d对根据本实施例的显示装置2的整体配置进行描述。图3a至图3c是示出显示装置2的整体配置的图，图3d是示出用户u握笔2500的图。图3a示出用作具有横向拉长的形状且挂在墙上的电子白板的显示装置2的示例。
[0109]
显示装置2基于输入装置或设备与集成有触摸屏面板的显示器相接触的位置来显示手写的手写数据。由于显示装置2可以输入由用户输入(手写)的手写的手写数据，因而显示装置2也可以被称为手写输入装置。
[0110]
如图3a所示，显示器220设于显示装置2的上部。如图3d所示，用户u可以使用笔2500在显示器220上手写(亦称输入或描绘)字符等。
[0111]
图3b示出用作具有竖向拉长的形状且挂在墙上的电子白板的显示装置2的示例。
[0112]
图3c示出平放在桌子230上的显示装置2的示例。由于显示装置2具有约1cm的厚度，因而即使显示装置2被平放在桌子230上也无需调节桌子230的高度，桌子230可以是普通桌子或通用桌子。在该示例中，用户u可以容易地在绕桌子230移动。
[0113]
<笔的外观的示例>
[0114]
图4示出笔2500的示例的立体图。在图4所示的示例中，笔2500是多功能笔。与可以被称为无源笔的不具有内置电源的笔相反，具有内置电源且能够向显示装置2发送命令的笔2500可以被称为有源笔。图4所示的笔2500在其笔尖(或工作端)上具有一个物理开关，在其笔尾上具有一个物理开关，并且在其侧面上具有两个物理开关。笔2500的笔尖被分配用于书写，笔2500的笔尾被分配用于删除，笔2500的侧面被分配用于用户功能。在本实施例中，笔2500还包括存储对于笔2500唯一且不同于其他笔的笔id的笔id的非易失性存储器。
[0115]
通过使用带开关的笔，可以减少由用户执行的显示装置2的操作流程。带开关的笔主要指有源笔。然而，不具有内置电源的无源笔可以仅使用根据电磁感应的lc电路来产生电力，因此，有源笔可以包含电磁感应式无源笔。除了电磁感应式无源笔之外，带开关的笔的其他示例包括光学式笔、红外式笔、静电电容式笔等。
[0116]
笔2500的硬件配置可以类似于包括通信功能和微型计算机且采用通用控制方法的笔的硬件配置。笔2500可以是电磁感应式、主动静电耦合式等。另外，笔2500可以包括诸如笔压力检测功能、笔倾斜检测功能、在笔触及触摸屏面板之前显示光标的笔悬停功能等的功能。
[0117]
<显示装置的硬件配置>
[0118]
接下来，将参照图5对显示装置2的硬件配置进行描述。如图5所示，显示装置2可以具有信息处理装置或计算机的配置。图5是示出显示装置2的硬件配置的示例的图。如图5所示，显示装置2包括中央处理单元(cpu)201、只读存储器(rom)202、随机存取存储器(ram)203、以及固态驱动器(ssd)204。
[0119]
显示装置2的cpu 201控制显示装置2的整体操作。rom 202存储用于驱动cpu 201的一个以上的程序，例如初始程序加载器(ipl)等。ram 203用作cpu 201的工作区域。ssd 204存储各种数据、以及用于显示装置2的一个以上的程序。当然，rom 202和ram 203可以存储各种数据。
[0120]
所述一个以上的程序可以被存储在合适的非暂时性计算机可读记录介质中。形成非暂时性计算机可读记录介质的记录介质不受特殊限制，并且可以包括上述rom 202、ram 203、ssd 204等。
[0121]
显示装置2还包括显示控制器213、触摸传感器控制器215、触摸传感器216、显示器220、电源开关227、倾斜传感器217、串行接口218、扬声器219、麦克风221、无线通信设备222、红外接口(i/f)223、电源控制电路224、ac适配器225、以及电池226。
[0122]
显示控制器213控制和管理用于将输出图像输出至显示器220等的屏幕显示。触摸传感器216检测显示器220上的诸如笔2500、用户的手等(即，输入装置)的数据的触摸，即，输入装置与显示器220之间的接触。当检测到笔2500的触摸时，触摸传感器216还从笔2500接收笔id。
[0123]
触摸传感器控制器215控制触摸传感器216的处理。触摸传感器216的处理包括输入坐标和检测坐标。例如，在光学式触摸传感器216的情况下，输入坐标和检测坐标的方法可以是光学方法。根据光学方法，设置于显示器220的上侧两端的两个收发光装置从各自的发光元件与显示器220平行地发射多个红外线；并且通过各自的光接收元件接收由设置于显示器220的周围的反射部件反射并经由与各自的发光元件所发出的红外线的光路相同的光路返回的红外线。
[0124]
触摸传感器216将由两个收发光装置发射并被数据阻挡的红外线的位置信息输出至触摸传感器控制器215，触摸传感器控制器215识别坐标位置，即，数据与显示器220接触的接触位置。另外，触摸传感器控制器215包括通信部215a，并且能够与笔2500进行无线通信。例如，当根据诸如蓝牙(注册商标)的标准进行通信时，可以使用商用笔作为笔2500。当一个以上的笔2500被预先注册在通信部215a中时，用户无需进行使笔2500能够与显示装置2通信的连接设置即可进行通信。
[0125]
电源开关227接通或断开显示装置2的电源。倾斜传感器217检测显示装置2的倾斜角度。倾斜传感器217主要用于检测在图3a、图3b或图3c所示的设置状态下是否使用显示装置2，并且可以根据该设置状态来自动改变字符等的粗细。
[0126]
串行接口218形成对外部通用串行总线(usb)等的通信接口。串行接口218例如用于输入外部信息。扬声器219用于音频输出，而麦克风221用于音频输入。无线通信设备222与用户携带的终端进行通信，并且，例如，将对向互联网的连接进行中继。无线通信设备222可以通过诸如wi
‑
fi(注册商标)、蓝牙(注册商标)等的标准进行通信，但对无线通信设备222所采用的通信标准不作特殊限制。无线通信设备222形成接入点，并且，当用户将所获取的服务集标识符(ssid)和密码设置于用户携带的终端时，可以连接至该接入点。
[0127]
可以为无线通信设备222准备以下两个接入点(a)、(b)。
[0128]
接入点(a)
→
互联网
[0129]
接入点(b)
→
公司网络
→
互联网
[0130]
接入点(a)可以供无法访问内部网络但可以利用互联网的外部用户使用。接入点(b)供可以利用公司(或内部)网络和互联网的公司用户使用。
[0131]
红外i/f 223检测与其相邻设置的显示装置2。红外线i/f 223可以利用红外线的直线性仅检测与其相邻设置的显示装置2。可以在显示装置2的每一侧设置一个红外i/f 223，从而可以检测其他显示装置2与显示装置2相邻设置的方向。相邻的显示装置2可以显示过去手写的手写信息(当将一个显示器220的区域视为一页时，另一页的手写信息)。
[0132]
电源控制电路224控制作为显示装置2的电源的ac适配器225和电池226。ac适配器225将商用电源共用的交流电(ac)转换为直流电(dc)。
[0133]
在显示器220是所谓的电子纸的情况下，显示器220在渲染图像之后几乎不消耗电力来维持图像，因此，显示器220可以由电池226驱动。因此，即使在诸如户外的难以连接电源的位置，也可以将显示装置2用于诸如数字标牌的用途。
[0134]
显示装置2还包括总线210。总线210可以是用于电连接诸如图5所示的cpu 201等的显示装置2的每个构成要素的地址总线、数据总线等。
[0135]
触摸传感器216不限于光学式，而是可以由通过检测静电电容的变化来识别接触位置的静电电容式触摸屏面板形成。触摸传感器216可以是通过检测两个相对的电阻膜上的电压变化来识别接触位置的电阻膜式触摸屏面板。触摸传感器216可以是通过检测在数据接触触摸屏面板(或显示器)时产生的电磁感应来识别接触位置的电磁感应式触摸屏面板。因此，触摸传感器216可以使用各种检测手段。触摸传感器216可以是不需要电子笔来检测有无与笔尖的触碰的类型。在这种情况下，可以将用户的指尖笔形条等用于触摸操作。笔2500不一定需要具有细长的笔形状。
[0136]
<显示装置的功能>
[0137]
接下来，将参照图6对显示装置2的功能进行描述。图6是示出显示装置2的功能的示例的功能框图。显示装置2包括手写输入部21、显示部(或显示器)22、手写输入显示控制部23、候选显示计时器控制部24、手写输入存储部25、手写识别控制部26、手写识别词典部27、字符串转换控制部28、字符串转换词典部29、预测转换控制部30、预测转换词典部31、操作命令识别控制部32、操作命令定义部33、以及字符串插入控制部41。显示装置2的各功能是当图5所示的构成要素响应于根据从ssd 204加载至ram 203并由cpu 201执行的程序的来自cpu 201的命令执行操作时在这些构成要素中的一个中实现的功能或手段。
[0138]
手写输入部21由触摸传感器216等实现，并且接受来自用户的手写输入。手写输入部21将用户的笔输入d1转换为笔操作数据d2(提笔、落笔或笔坐标数据)，并将笔操作数据d2发送至手写输入显示控制部23。笔坐标数据作为离散值被定期地发送，并且离散值之间的坐标被计算和补充。
[0139]
显示部22由显示器220等实现，并且显示手写数据或操作菜单。显示部22将由手写输入显示控制部23写入视频存储器的渲染数据d3转换为基于显示器220的特性的数据，并将转换后的数据发送至显示器220。
[0140]
手写输入显示控制部23执行手写输入和显示的整体控制。手写输入显示控制部23处理来自手写输入部21的笔操作数据d2，并通过将处理后的笔操作数据d2发送至显示部22来显示该处理后的笔操作数据d2。
[0141]
候选显示计时器控制部24包括用于可选候选的显示控制计时器。候选显示计时器控制部24开始或停止计时器，并生成用于开始显示可选候选的定时以及用于删除显示的定时。候选显示计时器控制部24从手写输入显示控制部23接收计时器开始请求d4(或计时器停止请求，视情况而定)，并将超时事件d5发送至手写输入显示控制部23。
[0142]
手写输入存储部25包括存储用户数据(手写数据/字符串数据)的存储功能。手写输入存储部25从手写输入显示控制部23接收用户数据d6
‑
1，并将用户数据d6
‑
1存储在手写输入存储部25中。手写输入存储部25从手写输入显示控制部23接收获取请求d6
‑
2，并将存储在手写输入存储部25中的用户数据d7发送至手写输入显示控制部23。手写输入存储部25将确定数据的位置信息d36发送至操作命令识别控制部32。
[0143]
手写识别控制部26包括用于执行在线手写识别的识别引擎。不同于一般的光学字符读取器(ocr)，与用户的笔操作并行地识别字符(不仅是日语字符，而且还包括其他语言的字符，例如在英语的情况下的字母)、数字、符号(％、$、&等)和图形(线、圆、三角形等)。对
于识别技术，尽管人们已设计出多种算法，由于本实施例可以利用适当的常规识别技术，因而其详细说明从略。
[0144]
手写识别控制部26从手写输入显示控制部23接收笔操作数据d8
‑
1，并执行手写识别，并存储手写识别字符串候选。手写识别控制部26存储使用手写识别词典部27从手写识别字符串候选d12转换而来的语言字符串候选。在单独地从手写输入显示控制部接收到获取请求d8
‑
2的情况下，手写识别控制部26将存储的手写识别字符串候选和语言字符串候选d9发送至手写输入显示控制部23。
[0145]
手写识别词典部27包括用于手写识别的语言转换的词典数据。手写识别词典部27从手写识别控制部26接收手写识别字符串候选d12，并将手写识别字符串候选d12转换成语言上可能的语言字符串候选d13，并将转换后的语言字符串候选d13发送至手写识别控制部26。例如，在日语的情况下，将平假名字符转换成汉字字符或片假名字符。
[0146]
字符串转换控制部28控制转换字符串候选向字符串的转换。转换后的字符串很可能被生成为包括手写识别字符串或语言字符串。字符串转换控制部28从手写识别控制部26接收手写识别字符串和语言字符串候选d11，并使用字符串转换词典部29将手写识别字符串和语言字符串候选d11转换为转换字符串候选，并存储该转换字符串候选。在单独地从手写输入显示控制部23接收到获取请求d14的情况下，字符串转换控制部28将所存储的转换字符串候选d15发送至手写输入显示控制部23。
[0147]
字符串转换词典部29包括用于字符串转换的词典数据。字符串转换词典部29从字符串转换控制部28接收手写识别字符串和语言字符串候选d17，并将转换字符串候选d18发送至字符串转换控制部28。
[0148]
预测转换控制部30从手写识别控制部26接收手写识别字符串和语言字符串候选d10。预测转换控制部30从字符串转换控制部28接收转换字符串候选d16。预测转换控制部30使用预测转换词典部31分别将手写识别字符串和语言字符串候选d10以及转换字符串候选d16转换成预测字符串候选。预测转换字符串很可能被生成为包括手写识别字符串、语言字符串或转换字符串。在单独地从手写输入显示控制部23接收到获取请求d19的情况下，预测转换控制部30将预测字符串候选d20发送至手写输入显示控制部23。
[0149]
预测转换词典部31包括用于预测转换的词典数据。预测转换词典部31从预测转换控制部30接收手写识别字符串和语言字符串候选以及转换字符串候选d21，并将预测字符串候选d22发送至预测转换控制部30。
[0150]
操作命令识别控制部32从手写识别控制部26接收手写识别字符串和语言字符串候选d30。操作命令识别控制部32从字符串转换控制部28接收转换字符串候选d28，并从预测转换控制部30接收预测字符串候选d29。操作命令识别控制部32分别针对手写识别字符串和语言字符串候选d30、转换字符串候选d28以及预测字符串候选d29将操作命令转换请求d26发送至操作命令定义部33，并从操作命令定义部33接收操作命令候选d27。操作命令识别控制部32存储操作命令候选d27。
[0151]
在操作命令转换请求d26与操作命令定义部分匹配的情况下，操作命令定义部33将操作命令候选d27发送至操作命令识别控制部32。
[0152]
另外，操作命令识别控制部32从手写输入显示控制部23接收笔操作数据d24
‑
1，并将过去输入和决定的确定数据的位置信息获取请求d23发送至手写输入存储部25。操作命
令识别控制部32存储由笔操作数据指定的确定数据，作为选择数据(包括位置信息)。操作命令识别控制部32利用笔操作数据d24
‑
1的位置来识别满足预定标准的选择数据。在单独地从手写输入显示控制部23接收到获取请求d24
‑
2的情况下，操作命令识别控制部32将所存储的操作命令候选和识别出的选择数据d25发送至手写输入显示控制部23。
[0153]
在选择数据被拖动的期间，手写输入显示控制部23基于选择数据和确定数据的位置来显示表示插入目的地的箭头303。换言之，手写输入显示控制部23根据由手写输入部21所接受的一个以上的字符的移动引起的一个以上的字符与字符串之间的位置关系来显示插入目的地。当所述选择数据被落放时，手写输入显示控制部23将箭头的指向端的坐标、选择数据、以及确定数据d41发送至字符串插入控制部41。因此，手写输入显示控制部23是被配置为显示表示一个以上的字符相对于第一字符串的位置的显示元素或标签的第一电路的示例。进一步地，所述字符串插入控制部41是被配置为将所述一个以上的字符插入所述第一字符串与所述显示元素或标签的距离最近的两个字符之间的位置，以生成可以由第一电路显示的第二字符串的第二电路的示例。
[0154]
字符串插入控制部41基于箭头303的指向端的位置，使用一个以上的字符对字符串进行处理。例如，将选择数据插入到确定数据中离箭头303的指向端的坐标最近的两个字符之间的位置。字符串插入控制部41将插入有选择数据的确定数据d42(第二字符串的一例)发送至手写输入显示控制部23。手写输入显示控制部23将插入有选择数据的确定数据d37显示于显示部22上，并将插入有选择数据的确定数据d38存储在手写输入存储部25中。
[0155]
<已定义控制数据>
[0156]
接下来，将参照图7对被显示装置2用于各种处理的已定义控制数据进行描述。图7示出已定义控制数据的示例。图7所示的示例示出每个控制项的控制数据。
[0157]
可选候选显示计时器401定义直到显示可选候选为止的时间(第一时间的一示例)，以使显示装置2在进行手写时不显示可选候选。图7示出，除非自提笔起在timervalue(计时器值)＝500[ms]内发生落笔，否则显示可选候选。可选候选显示计时器401由候选显示计时器控制部24存储。可选候选显示计时器401在将后述的图30所示的步骤s18中开始可选候选显示计时器时使用。
[0158]
可选候选删除计时器402定义直到所显示的可选候选被删除为止的时间(第二时间的一示例)，以便如果用户未选择可选候选则删除可选候选。图7示出，除非自可选候选的显示起在timervalue＝5000[ms]内选择了可选候选，否则删除可选候选显示。可选候选删除计时器402由候选显示计时器控制部24存储。可选候选删除计时器402在待后述的图31所示的步骤s49中开始可选候选显示删除计时器时使用。
[0159]
手写数据矩形区域403定义可以被视为靠近手写数据的矩形区域。在图7所示的示例中，手写数据矩形区域403将手写数据的矩形区域在水平方向上扩展估计字符尺寸的50％，并将手写数据的矩形区域在垂直方向上扩展估计字符尺寸的80％。在图7所示示例中，估计字符尺寸用百分比(指定的％)表示。但是，若单位被指定为“mm”等，则估计字符尺寸可以具有固定的长度。手写数据矩形区域403由手写输入存储部25存储。在待后述的图29所示的步骤s9中使用估计字符尺寸405，以确定手写数据矩形区域和笔画矩形区域的重叠状态。
[0160]
估计书写方向/字符尺寸判定条件404定义用于确定书写方向和字符尺寸测量方
向的常数。在图7所示的示例中，在以下情况下，将估计书写方向确定为“横向书写”，并将估计字符尺寸确定为垂直距离：
[0161]
·
在手写数据矩形区域中首次添加笔画的时间与最后一次添加笔画的时间之间的差mintime为mintime＝1000[ms]以上；
[0162]
·
手写数据矩形区域的水平距离(宽度)与垂直距离(高度)之间的差mindiff为mindiff＝10[mm]以上；以及
[0163]
·
水平距离比垂直距离长。
[0164]
在水平距离比垂直距离短的情况下，将估计书写方向确定为“竖向书写”，并将估计字符尺寸确定为水平距离。在不满足上述条件的情况下，将估计书写方向确定为“横向书写”(defaultdir＝“horizontal”)，并将估计字符尺寸确定为水平距离和垂直距离中更长的距离。估计书写方向/字符尺寸判定条件404由手写输入存储部25存储。估计书写方向/字符尺寸判定条件404用于在待后述的图31所示的步骤s46中获取估计书写方向、以及在图33所示的步骤s66中获取字符串数据字体。
[0165]
估计字符尺寸405定义用于估计字符等的尺寸的数据。在图7所示的示例中，将通过估计书写方向/字符尺寸判定条件404确定的估计字符尺寸与估计字符尺寸405的小号字符405a(下称最小字体大小)和大号字符405c(下称最大字体大小)进行比较。在估计字符尺寸小于最小字体大小的情况下，将估计字符尺寸确定为最小字体大小。在估计字符尺寸大于最大字体大小的情况下，将估计字符尺寸确定为最大字体大小。否则，将估计字符尺寸确定为中号字符405b的字符尺寸。估计字符尺寸405由手写输入存储部25存储。估计字符尺寸405用于在待后述的图33所示的步骤s66中获取字符串数据字体。
[0166]
更具体地，手写输入存储部25将由估计书写方向/字符尺寸判定条件404确定的估计字符尺寸与估计字符尺寸405的fontsize(字体尺寸)进行比较，并使用具有最接近估计字符尺寸的fontsize的字体。例如，当估计字符尺寸为25mm以下(小号字符的fontsize)时，手写输入存储部25将估计字符尺寸确定为“小号字符”；当估计字符尺寸大于25mm且小于50mm(中号字符的fontsize)时，手写输入存储部25将估计字符尺寸确定为“中号字符”；并且，当估计字符尺寸大于100mm(大号字符的fontsize)时，手写输入存储部25将估计字符尺寸确定为“大号字符”。小号字符405a使用25mm明朝体体(fontstyle＝“ming”，fontsize＝“25mm”)，中号字符405b使用50mm ming字体(fontstyle＝“ming”，fontsize＝“50mm”)，并且大号字符405c使用100mm哥特体(fontstyle＝“gothic”，fontsize＝“100mm”)。可以通过增加估计字符尺寸405的种类的数量来增加字体大小和样式的种类的数量。
[0167]
跨线判定条件406定义用于确定是否选择了多个确定数据的数据。假定手写数据是单个笔画。在图7所示的示例中，在以下情况下将确定数据确定为选择数据：
[0168]
·
手写数据的长边长度为100mm(minlenlongside＝“100mm”)以上；
[0169]
·
手写数据的短边长度为50mm(maxlenshortside＝“50mm”)以下；以及
[0170]
·
确定数据沿长边方向和短边方向以80[％](minoverlaprate＝“80％”)以上的重叠率与手写数据重叠。跨线判定条件406由操作命令识别控制部32存储。跨线判定条件406用于在待后述的图30所示的步骤s37中确定选择数据时判定跨线。
[0171]
围线判定条件407定义用于确定手写数据是否为围线的数据。在图7所示的示例中，操作命令识别控制部32将与手写数据重叠且被确定为沿长边方向和短边方向的重叠率
trial”“资格审定”)，如第二行所示。转换前的其他字符串的转换后的概率在第三行至第十行中也类似地示出。
[0179]
图10所示的预测转换词典部31的词典数据表示：转换前由三个汉字字符“議事録”组成且发音为“gijiroku”(英语可以意指“议程”)的字符串有0.65的概率在转换后被转换成由七个汉字和平假名字符“議事録
の
送付先”组成的字符串且发音为“gijiroku no soufusaki”“英语可以意指“sending destination of agenda(议程的发送目的地)”，如第一行所示；并且转换前由三个汉字字符“技量試”组成且发音为“giryoushi”(英语可以意指“qualification trial(资格审定)”)的另一字符串有0.75的概率在转换后被转换成由六个汉字和平假名字符“技量試
を
決裁”组成的字符串且发音为“giryoushi wo kessai”(英语可以意指“资格审定批准”，如第二行所示。转换前的其他字符串的转换后的概率在第三行至第八行中也类似地示出。尽管图10示出转换前的字符串由汉字字符组成，但除汉字字符之外的字符也可以被注册为转换前的字符串。
[0180]
词典数据不需要语言依赖性，在转换之前和之后可以注册任意字符串。
[0181]
<存储在操作命令定义部中的操作命令定义数据>
[0182]
接下来，将参照图11a、图11b和图12对操作命令识别控制部32所使用的操作命令定义数据进行描述。图11a和图11b示出存储在操作命令定义部33中的操作命令定义数据和系统定义数据的示例。
[0183]
图11a示出操作命令定义数据的示例。图11a所示的操作命令定义数据是在没有由手写数据选择的选择数据且所有操作显示装置2的操作命令为目标的情况下的操作命令定义数据的示例。图11a所示的操作命令包括操作命令名称(name)、与字符串候选部分匹配的字符串(string)、以及要执行的操作命令字符串(command)。操作命令字符串中的“％～％”是变量，并且对应于如图11b所示的系统定义数据。换言之，“％～％”被图11b所示的系统定义数据替换。
[0184]
首先，在图11a所示的操作命令定义数据701中，操作命令名称为由发音为“gijiroku tenpureito wo yomikomu”(英语“load agenda template(载入议程模板)”)的十四个汉字、片假名和平假名字符“議事録
テンプレートを
読
み
込
む”
组成的字符串，与字符串候选部分匹配的字符串由发音为“gijiroku”(英语“agenda(议程)”)的三个汉字字符“議事録”组成或由发音为“tenpureito”(英语“template(模板)”)的六个片假名字符
“テンプレート”
组成，并且要执行的操作命令字符串为“readfile https://％username％:％password％@server.com/templ ate/minutes.pdf”。在该示例中，系统定义数据"％～％"包括在要执行的操作命令字符串中，并且“％username％”和“％password％”分别被系统定义数据704和705替换。因此，最终操作命令字符串为“readfile https://taro.tokkyo:x2pdhty s@server.com/template/minutes.pdf”，表示读取文件(readfile)“https://taro.to kkyo:x2pdhtys@server.com/template/minutes.pdf”。
[0185]
在操作命令定义数据702中，操作命令名称是由发音为“gijiroku foruda ni hozonsuru”(英语“store agenda folder(保存在议程文件夹)”)的十三个汉字、片假名和平假名字符“議事録
フォルダに
保存
する”
组成的字符串，与所述字符串候选部分匹配的字符串是发音为“gijiroku”(英语“agenda(议程)”)的三个汉字字符“議事録”或发音为“hozon”(英语“store(保存)”)的两个汉字字符“保存”，并且要执行的操作命令字符串是
“
writefile https:/％username％:％password％@server.com/minutes/％machinename％_％yyyyy
‑
mm
‑
dd％.pdf”。类似于操作命令定义数据701，操作命令字符串中的“％username％”、“％password％”、以及“％ma chinename％”分别被图11b所示的系统定义数据704、705、706替换。“％yyyy
‑
mm
‑
dd％”被当前的年、月、日替换。例如，若当前日期为2018年9月26日，则“％yyyy
‑
mm
‑
dd％”被“2018
‑
09
‑
26”替换。最终操作命令是“writefile https://ta ro.tokkyo:x2pdhtys@server.com/minutes/％my
‑
machine_2018
‑
09
‑
26.pdf”，表示将“gijiroku”(英语“agenda(议程)”)存储(写入)于写入文件(writefile)“https://taro.tokkyo:x2pdhtys@server.com/％minutes/％my
‑
machine_2018
‑
09
‑
26.pdf”。
[0186]
在操作命令定义数据703中，操作命令名称是由发音为“insatsu suru”(英语“print(打印)”)的由四个汉字和平假名字符“印刷
する”
组成的字符串，与字符串候选部分匹配的字符串由发音为“insatsu”(英语“print(打印)”)的两个汉字字符“印刷”组成或由发音为“purinto”(英语“print(打印)”)的四个片假名字符
“プリント”
组成，并且要执行的操作命令字符串是“printfile https:/％us ername％:％password％@server.com/print/％machiname％
‑
％yyyy
‑
mm
‑
dd％.pdf”。当操作命令字符串如在操作命令定义数据702中那样被替换时，最终操作命令是“printfile https://taro.tokkyo:x2pdhtys@server.com/print/％my
‑
machine_2018
‑
09
‑
26.pdf”，表示文件(printfile)“https://taro.tokkyo:x2pdhtys@server.com/print/％my
‑
machine_2018
‑
09
‑
26.pdf”被打印(printfile)，即，文件被传输至服务器。当用户使打印机与服务器通信并指定文件时，打印机将文件的内容打印在纸上。
[0187]
如上所述，由于可以从字符串候选中识别操作命令定义数据701至703，因此，当用户手写操作命令时，可以显示该操作命令。进一步地，在用户认证成功的情况下，操作命令定义数据的“％username％”、“％password％”等被用户信息替换，因此，可以进行与用户相对应的文件的输入和输出。
[0188]
在不执行用户认证的情况下(包括用户认证失败但用户能够使用显示装置2的情况)，显示装置2被预设的显示装置2的“％username％”、“％password％”等替换。因此，即使没有用户认证，也可以进行与显示装置2相对应的文件的输入和输出。
[0189]
接下来，将对当有手写数据时的操作命令定义数据，即，用于编辑系统和装饰系统的操作命令定义数据进行描述。图12示出当有由手写数据选择的选择数据时的操作命令定义数据的示例。图12所示的操作命令定义数据包括操作命令名称(name)、操作命令候选的组名称(group)、以及要执行的操作命令字符串(command)。
[0190]
操作命令定义数据707定义编辑系统(group＝“edit”)的操作命令，并且是编辑系统的操作命令名称的定义数据的示例，包括由发音为“shoukyo”(英语“delete(删除)”)两个汉字字符“消去”组成的字符串、由发音为“idou”(英语“move(移动)”的两个汉字字符“移動”组成的字符串)、由发音为“kaiten”(英语“rotate(旋转)”两个汉字字符“回転”组成的字符串、以及由发音为“sentaku”(英语“select(选择)”)的两个汉字字符“選択”组成的字符串。换言之，对选择数据显示这些操作命令，以使用户可以选择期望的操作命令。
[0191]
操作命令定义数据708定义装饰系统(group＝“decorate”)的操作命令，并且是装饰系统的操作命令名称的定义数据的示例，包括由发音为“futoku”(英语“粗”)的汉字和平
假名字符“太
く”
组成的字符串、由发音为“hosoku”(英语“thin(细)”)的两个汉字和平假名字符“細
く”
组成的字符串、以及由发音为“ookiku”(英语“large(大)”)的三个汉字和平假名字符“大
きく”
组成的字符串、由发音为“chiisaku”(英语“small(小)”)的三个汉字和平假名字符“小
さく”
组成的字符串、以及由发音为“kasen”(英语“underline(下划线)”)的两个汉字字符“下線”组成的字符串。对选择数据显示这些操作命令，以使用户可以选择期望的操作命令。也可以显示其他操作命令，例如与颜色有关的操作命令。
[0192]
因此，当用户通过手写数据指定选择数据时，识别操作命令定义数据707、708，以使用户可以通过进行手写来使操作命令被显示。
[0193]
<操作指南的显示例>
[0194]
图13示出操作指南500及由操作指南500显示的可选候选530的示例。当用户手写手写数据504并且可选候选显示计时器超时时，显示操作指南500。操作指南500包括操作标头520、操作命令候选510、手写识别字符串候选506、转换字符串候选507、字符串/预测转换候选508、以及手写数据矩形区域显示503。可选候选530包括操作命令候选510、手写识别字符串候选506、转换字符串候选507、以及字符串/预测转换候选508。在该示例中未显示语言字符串候选，然而，视情况，可以显示语言字符串候选。操作命令候选510以外的可选候选530将被称为字符串候选539。
[0195]
操作标头520包括按钮501、509、502、505。按钮501接受预测转换与假名转换之间的切换操作。在图13所示的示例中，当用户按下表示由发音为“yosoku”(英语“predictive(预测性)”)的两个汉字字符“予測”组成的字符串的按钮509以选择预测转换时，手写输入部21接受所选择的预测转换，并将其通知给手写输入显示控制部23，显示部22变更按钮509的显示以表示由发音为“kana(假名)”的两个平假名字符
“かな”
组成的字符串，使得能够选择假名转换。在该变更之后，字符串候选539按照将平假名字符转换成汉字和/或片假名字符的假名转换的降序排列候选。
[0196]
按钮502接候选显示上的页面操作。在图13所示的示例中，有三个候选显示页面，并且当前显示第一个页面。按钮505接受操作指南500的删除。当用户按下按钮505时，手写输入部21接受该删除并将其通知给手写输入显示控制部23，显示部22删除手写数据以外的显示。按钮509接受集体显示删除。当用户按下按钮509时，手写输入部21接受集体显示删除并将其通知给手写输入显示控制部23，显示部22删除包括手写数据在内的图13所示的所有显示。因此，用户可以从头开始重做手写。
[0197]
在该示例中，手写数据504是发音为“gi”的平假名字符
“ぎ”
。显示包围手写数据504的手写数据矩形区域显示503。显示流程可以按照稍后结合图28至图33描述的顺序来执行。在图13所示的示例中，手写数据矩形区域显示503被显示为由点表示的矩形框。
[0198]
手写识别字符串候选506、转换字符串候选507以及字符串/预测转换候选508分别包括按照概率降序排列的字符串候选。手写识别字符串候选506的发音为“gi”的平假名字符
“ぎ”
是识别结果的候选。在该示例中，显示装置2正确地识别出发音为“gi”的平假名字符
“ぎ”
。
[0199]
转换字符串候选507是从语言字符串候选转换而来的转换字符串候选。在该示例中，转换字符串候选507显示发音为“gijiroku”(英语可以意指“agenda(议程)”)的由三个汉字字符“議事録”组成的上字符串、以及由发音为“giryoushi”(英语可以意指
“
qualification trial(资格审定)”)的三个汉字字符“技量試”组成的下字符串，该“技量試”是由发音为“gijutsu ryousan shisaku”(在英语中可以意指“technical mass production trial(技术量产试作)”)的六个汉字字符“技術量産試作”组成的字符串的缩写。字符串/预测转换候选508是从语言字符串候选或转换字符串候选转换而来的预测字符串候选。在该示例中，字符串/预测转换候选508显示发音为“giryoushi wo kessai”(英语可以意指“qualification trial approval(资格审定批准)”)的由六个汉字和平假名字符“技量試
を
決裁”组成的上字符串、以及转换后由七个汉字和平假名字符“議事録
の
送付先”组成且发音为“gijiroku no soufusaki”(英语可以意指议程的发送目的地)的下字符串。
[0200]
操作命令候选510是基于操作命令定义数据701至703选择的操作命令候选。在图13所示的示例中，首符号“>>”511表示操作命令候选。在图13中，没有作为发音为“gi”的平假名字符
“ぎ”
的手写数据504可以选择的确定数据，并且由于作为手写数据504的字符串候选的显示在转换字符串候选507中的发音为“gijiroku”(英语可以意指“agenda(议程)”)的三个汉字字符“議事録”组成的字符串候选(上字符串)与操作命令定义数据701和702部分地匹配，所以显示在转换字符串候选507中的发音为“gijiroku”(英语可以意指“agenda(议程)”)由三个汉字字符“議事録”组成的字符串候选(上字符串)被显示为操作命令的操作命令候选510。
[0201]
操作命令候选510包括发音为“gijiroku tenpureto wo yomikomu”(英语“load agenda template(载入议程模板)”)的由十四个汉字、片假名和平假名字符“議事録
テンプレートを
読
み
込
む”
组成的上候选(上字符串)、以及发音为“gijiroku foruda ni hozonsuru”(英语“store agenda folder(保存在议程文件夹)”)的由十三个汉字、片假名和平假名字符“議事録
フォルダに
保存
する”
组成的下候选(下字符串)。当用户选择显示在操作命令候选510中的上行首字符“>>”5111之后的上候选时，执行由操作命令定义数据701定义的操作命令。当用户选择显示在操作命令候选510中的下行首字符“>>”511之后的下候选时，执行由操作命令定义数据702定义的操作命令。由于操作命令候选是在找到包括转换字符串的操作命令定义数据时显示的，因而并非始终显示操作命令候选。
[0202]
如图13所示，字符串候选和操作命令候选同时被一起显示，因此，用户可以任意地选择用户所期望的字符串候选和操作命令候选。
[0203]
<选择对象的指定例>
[0204]
当用户通过手写来选择确定数据时，根据该实施例的显示装置2可以指定选择数据。所述选择数据(或确定数据)可以成为编辑或装饰的对象。
[0205]
图14a至图14d是示出指定选择数据的示例的图。在图14a至图14d中，手写数据11由黑色实线显示，手写数据矩形区域12由灰色半色调点图案显示，确定数据13由黑线显示，并且选择数据矩形区域14由虚线显示。这些数据和区域可以通过附加至指定给其的附图标记的小写字母彼此区分。进一步地，跨线判定条件406或图7中所示的定义控制数据的围线判定条件407可以用作用于将确定数据判定为选择数据的判定条件(是否满足预定关系)。
[0206]
图14a示出用户使用跨线(手写数据11a)指定横向书写的两个确定数据13a和13b的示例。在该示例中，手写数据矩形区域12a的短边的长度h1和长边的长度w1满足跨线判定条件406的条件，并且手写数据矩形区域12a相对于确定数据13a和13b的重叠率分别满足跨线判定条件406的条件。因此，确定数据13a和13b即发音为“gijiroku”的由三个汉字字符
“
議事録”组成的字符串和发音为“giji”的由两个平假名字符
“ぎじ”
组成的字符串被指定为选择数据。
[0207]
图14b示出用户使用围线(手写数据11b)指定横向书写的确定数据13c的示例。在该示例中，由于手写数据矩形区域12c相对于确定数据13c的重叠率满足围线判定条件407的条件，只有确定数据13c即发音为“gijiroku”的由三个汉字字符“議事録”组成的字符串被指定为选择数据。
[0208]
图14c示出用户使用跨线(手写数据11c)指定竖向书写的多个确定数据13d和13e的示例。在该示例中，类似于图14a，手写数据矩形区域12d的短边的长度h1和手写数据矩形区域12d的长边的长度w1满足跨线判定条件406的条件，并且手写数据矩形区域12c相对于确定数据13d即发音为“gijiroku”的由三个汉字字符“議事録”组成的字符串和确定数据13e即发音为“giji”的由两个平假名字符
“ぎじ”
组成的字符串的重叠率分别满足跨线判定条件406的条件。因此，确定数据13d和13e，即发音为“gijiroku”的由三个汉字字符“議事録”组成的字符串和“发音为”“giji”的由两个平假名字符
“ぎじ”
组成的字符串被指定为选择数据。
[0209]
图14d示出用户使用围线(手写数据11d)指定确定数据13f的示例。在该示例中，类似于图14b，只有确定数据13f即发音为“gijiroku”的由三个汉字字符“議事録”组成的字符串的被指定为选择数据。
[0210]
<操作命令候选的显示例>
[0211]
图15a和图15b示出在存在图14a所示的手写数据的情况下的基于操作命令定义数据的操作命令候选的显示例。图15a示出编辑系统的操作命令候选，图15b示出装饰系统的操作命令候选。进一步地，图15a示出由图14a所示的手写数据11a指定选择数据的示例。
[0212]
如图15a和图15b所示，主菜单550在行首字符“>>”511之后显示操作命令候选。主菜单550在操作命令定义数据中显示上次执行的操作命令名称或第一操作命令名称。第一行的行首字符“>>”511a显示编辑系统的操作命令候选，第二行的行首字符“>>”511b显示装饰系统的操作命令候选。
[0213]
操作命令512中的行尾字符“>”(子菜单按钮的示例)表示有子菜单。在第一行中，行尾字符“>”512a使(最后选择)子菜单关于编辑系统的操作命令候选进行显示。在第二行中，行尾字符“>”512b使其余子菜单关于装饰系统的操作命令候选进行显示。当用户在操作命令512中按下行尾字符“>”时，在其右侧显示子菜单560。子菜单560显示在操作命令定义数据中定义的所有操作命令。在图15a所示的显示例中，从显示主菜单550的时间起也显示对应于第一行的行尾字符“>”512a的子菜单560。当用户按下第一行的行尾字符“>”512a时，可以显示子菜单560。
[0214]
当用户通过使用笔来按下操作命令名称中的一个时，手写输入显示控制部23对选择数据执行与操作命令名称相对应的操作命令定义数据的“command”(参见图12)。换言之，当选择“消去(删除)”按钮521时，执行“delete(删除)”；当选择“移動(移动)”按钮522时，执行“move(移动)”；当选择“回転(旋转)”按钮523时，执行“rotate(旋转)”；并且当选择“選択(选择)”按钮524时，执行“select(选择)”。
[0215]
例如，若用户用笔按下"消去(删除)"按钮521，则发音为“gijiroku”的由三个汉字字符“議事録”组成的字符串和发音为“giji”的由两个平假名字符
“ぎじ”
组成的字符串可
以被删除。按下“移動(移动)”按钮522、“回転(旋转)”按钮523以及“選択(选择)”按钮524出现边界框(选择数据的外接矩形)。“移動(移动)”按钮522和“回転(旋转)”按钮523允许用户通过笔的拖动操作来移动或旋转字符。按下“選択(选择)”按钮524允许用户执行其他边界框操作。
[0216]
除了操作命令候选以外的字符串候选，例如
“‑‑”
541，
“‑”
542，“～”543，
“→”
544，and545是跨线(手写数据11a)的识别结果。因此，若用户想要输入字符串而不是操作命令，则可以选择字符串候选。
[0217]
在图15b中，当用户按下第二行的行尾字符“>”512b时，在其右侧显示子菜单560。类似于图15a，图15b示出主菜单550和子菜单560两者均被显示的示例。当基于图12所示的操作命令定义数据选择“太
く
(粗)”按钮531a时，手写输入显示控制部23在选择数据上执行“thick(粗)”以使选择数据变粗。当选择“細
く
(细)”按钮532a时，手写输入显示控制部23对选择数据执行“thin(细)”以使选择数据变细。当选择“大
きく
(大)”按钮533a时，手写输入显示控制部23对选择数据执行“large(大)”以使选择数据变大。当选择“小
さく
(小)”按钮534a时，手写输入显示控制部23对选择数据执行“small(小)”以使选择数据变小。当选择“下線(下划线)”按钮535a时，手写输入显示控制部23对选择数据执行"underline(下划线)"以对选择数据加下划线。
[0218]
关于当选择“太
く
(粗)”按钮531a时使选择数据在何种程度上变粗、当选择“細
く
(细)”按钮532a时使选择数据在何种程度上变细、当选择“大
きく
(大)”按钮533a使选择数据在何种程度上变大、当选择“小
さく
(小)”按钮534a时使选择数据在何种程度上变小、以及当选择“下線(下划线)”按钮535a时所使用的线型，可以分别定义固定值或默认值。或者，当选择图15b所示的子菜单时，可以打开单独的选择菜单以允许用户对选择数据进行调整。
[0219]
当用户用笔按下“太
く
(粗)”按钮531a时，手写输入显示控制部23使形成确定数据13a和13b即发音为“gijiroku”的由三个汉字字符“議事録”组成的字符串和发音为“giji”的由两个平假名字符
“ぎじ”
组成的字符串的线变粗。当用户用笔按下“細
く
(细)”按钮532a时，手写输入显示控制部23使形成确定数据13a和13b即发音为“gijiroku”的由三个汉字字符“議事録”组成的字符串和发音为“giji”的由两个平假名字符
“ぎじ”
组成的字符串的线变细。当用户用笔按下“大
きく
(大)”按钮533a时，手写输入显示控制部23可以分别放大确定数据13a和13b。当用户用笔按下“小
さく
(小)”按钮534a时，手写输入显示控制部23可以分别缩小确定数据13a和13b。当用户用笔按下"下線(下划线)"按钮535a时，手写输入显示控制部23可以分别对确定数据13a和13b加下划线。
[0220]
图16a和图16a示出当有图14b所示的手写数据时的基于操作命令定义数据的操作命令候选的显示例。与图15a和图15b的不同在于，图16a和图16b示出由图14b所示的手写数据11b(围线)指定选择数据的示例。通过比较图15a和图15b与图16a和图16b可以看出，无论手写数据是线还是围线，所显示的操作命令候选没有差异，以使手写输入显示控制部23在选择数据被指定时能够将操作命令候选显示于显示部22上。然而，手写输入显示控制部23可以根据手写数据来识别手写数据并更改操作命令候选。在这种情况下，开发人员等将诸如图13所示的操作命令定义数据与识别出的手写数据(
“‑”
、“o”等)相关联起来，以便在提供识别出的手写数据与操作命令定义数据之间的对应关系。
[0221]
在图16a和图16b中，除操作命令候选以外的字符串候选，即，
“○”
551、“∞”552、
“
0”553、“00”554和
“ロ”
555是围线(手写数据11b)的识别结果，并且，若用户想要输入字符串而不是操作命令，则可以选择字符串候选。
“ロ”
555是发音为“ro”的片假名字符。
[0222]
如结合图14a至图14d等所述，该实施例可以接受通过围线、条(或直线)等对于确定数据的选择。进一步地，如图17所示，用户可以通过用笔2500长按确定数据13g来选择确定数据13g。
[0223]
图17示出通过长按笔2500来选择的确定数据13g的示例。如将参照图18所描述，显示装置2在转换单元中管理字符串的坐标。因此，确定数据13g的外接矩形302的坐标也是已知的。在图17所示的示例中，由于笔2500的笔尖的坐标位于确定数据13g的外接矩形302的内部，并且，在预定时间以上的时间内，笔尖的坐标不会移动，因而手写输入显示控制部23检测确定数据13g。确定数据13g成为选择数据。在长按下的情况下，由于不会产生提笔且没有相应的操作命令，因而不显示操作指南500。因此，基于使用围线、条(或直线)和长按的三种方法中的一个来接受选择数据。但是，手写输入显示控制部23可以检测长按并显示操作指南500。
[0224]
<字符插入目的地的确定方法>
[0225]
将参照图18对字符插入目的地的确定方法进行描述。图18是用于说明字符插入目的地的示例的图。图18显示字符串“今日
の
会議(今天的会议)”作为确定数据。手写输入存储部25存储确定数据的左上角的坐标p1和确定数据的右下的坐标p2。假定所使用的字体和字符尺寸是已知的。若字体是已知的，则每个字符的字符尺寸也是已知的。例如，手写输入存储部25包括与一般的汉字、平假名、数字等对应地注册有纵横尺寸的表。从而，手写输入显示控制部23可以使用这样的注册信息来计算每个字符的坐标(例如，容纳一个字符的方形的左上角和右下角的坐标)。
[0226]
图18示出每个字符的右下角的坐标ya至yd(x坐标为x1或x2)。手写输入显示控制部23可以容易地计算坐标ya至yd。因此，手写输入显示控制部23可以将ya至yd的坐标与箭头303的指向端的坐标进行比较，并将箭头303的指向端的坐标附近的坐标ya至yd中最近的一个确定为两个字符之间的插入目的地。
[0227]
插入不限于在两个字符之间的字符的插入，用户可以在字符串的开头或末尾插入字符。因此，手写输入显示控制部23将包括坐标y1和y2的坐标与箭头303的指向端的坐标进行比较，并将坐标中最近的一个确定为两个字符之间的插入目的地。但是，在字符的插入的情况下在拖动之后落放时，箭头303的指向端的坐标与两个字符之间最近的坐标之间的距离必须满足插入判定条件408。
[0228]
<字符插入的处理流程>
[0229]
接下来，将参照图19至图24对显示装置2接受字符的插入的处理流程进行描述。图19示出确定数据13h和手写数据504的示例。在该示例中，如图2所示的字符串“今日
の
会議”被显示为确定数据13h。此外，用户手写平假名字符串
“ていれい”
，以便插入通过转换平假名字符串而获得的汉字字符串“定例”。插入目的地处的待插入汉字字符串“定例”的字符串不限于确定数据，并且可以是从文件等读取的字符串。对于插入至插入目的地的字符串也同样如此。
[0230]
图20示出对平假名字符串
“ていれい”
显示的操作指南500的示例。在该示例中显示的字符串候选539包括
“ていれい”
、“定例”、“定例化”、“定例会議”以及“定例結果”。用户
可以通过用笔2500按下“定例”来选择“定例”。手写输入显示控制部23接受“定例”的选择。
[0231]
图21示出显示所接受的选择字符串“定例”的状态。作为选择数据16(亦是确定数据)的字符串“定例”被显示在用户手写字符串
“ていれい”
的位置。用虚线表示并围绕选择数据16的框16a可以在转换之后被显示长达预定时间，或者可以根本不被显示。
[0232]
图22示出当用户将“定例”选择为选择数据16时显示的箭头303的示例。换言之，当用户通过围线或条选择“定例”时，暂且显示操作指南500。当用户开始拖动选择数据16时，操作指南500被擦除。手写输入显示控制部23开始箭头303的显示，或者根据与确定数据13h的距离来开始箭头303的显示。
[0233]
图22示出被显示以表示正在插入“定例”的插入目标框304，但是，插入目标框304可以被显示或可以不被显示。在显示插入目标框304的情况下，插入目标框304可以在与箭头303相同的定时显示，或者可以在确定数据13h成为选择数据时始终显示。
[0234]
手写输入显示控制部23可以将显示箭头303的位置确定为以下位置(a1)至(a3)中的任一个。
[0235]
(a1)：在围绕“定例”的外接矩形的边311至314(由于外接矩形用于内部处理，因而可以是不可见的，但在图22中使用插入目标框304进行说明)中，离围绕确定数据13h的外接矩形最近的边312。围绕确定数据13h的外接矩形与围绕“定例”的外接矩形的最近的边之间的距离是穿过该边的中心且垂直于该边延伸的直线的长度。手写输入显示控制部23垂直于边312地朝向确定数据13h显示箭头303。箭头30表示一个以上的字符相对于字符串的位置。箭头303的底端可以位于边312上，但可以位于插入目标框304的内部或外部。箭头303在边312上的位置可以在边312上的任意位置。在图22中，箭头303的底端位于边312的中心。
[0236]
(a2)：当有(即存在)一个以上的确定数据时，在围绕“定例”的外接矩形(插入目标框304)的边311至314中，与上述(a1)类似地确定离围绕确定数据13h的外接矩形的最近的边上的位置。围绕确定数据13h的外接矩形与围绕“定例”的外接矩形的最近的边之间的距离是穿过该边的中心且垂直于该边延伸的直线的长度。显示装置2可以对多个确定数据中的每一个显示箭头303。例如，每一边的中心与确定数据之间的距离可以是直到穿过中心且垂直于该边延伸的直线到达确定数据的外接矩形为止的距离。
[0237]
(a3)：选择数据在移动方向上的位置。例如，当向左拖动选择数据时，手写输入显示控制部23在边312上显示箭头303。当沿倾斜方向拖动选择数据时，箭头303可以被显示于四个方向(左、右、上、下方向)中分量最多的方向。
[0238]
手写输入显示控制部23可以采用以下定时(b1)至(b3)中的任一个作为用于显示箭头303的定时。
[0239]
(b1)：紧接在开始拖动之后的定时(紧接在开始移动后)。
[0240]
(b2)：“定例”与确定数据13h之间的距离小于阈值的定时。该阈值不同于插入判定条件408的阈值，判定是否要显示箭头303。若插入判定条件408是2mm，则阈值可以是大于2mm的10mm等。当“定例”的周围有多个确定数据时，手写输入显示控制部23将各边311至314与最近的确定数据之间的距离与阈值进行比较，以判定是否对边311至314中的每一个进行显示。
[0241]
(b3)：紧接在选择数据被选择之后的定时(主要是当通过长按来选择时)。
[0242]
如图23a和图23b所示，箭头303的位置不限于在围绕“定例”的一边的中心。图23a
和图23b是示出箭头303的位置的示例的图。在图23a中，箭头303被显示在边312的上端。在图23b中，箭头303被显示在边312的下端。箭头303可以被显示在边的任何地点。
[0243]
当用户结束拖动(发生落放)时，箭头303的显示被隐藏，并且不显示箭头303。换言之，当不再能够检测到笔2500的坐标时，箭头303的显示被隐藏。若确定数据13h与箭头303的指向端的坐标之间的距离小于插入判定条件408的阈值，则字符串插入控制部41将选择数据16(“定例”)插入到包括在确定数据13h中且具有离箭头303的指向端最近的坐标的两个字符之间的位置。或者，无论是否考虑插入判定条件408，选择数据16(“定例”)可以被插入到包括在确定数据13h中且具有离箭头303的指向端的坐标最近的坐标的两个字符之间的位置。
[0244]
在图22、图23a和图23b所示的示例中，由于具有离箭头303的指向端的坐标最近的坐标的两个字符之间的位置是确定数据13h中平假名字符
“の”
与汉字字符“会”之间的位置，因而字符串插入控制部41将字符串“定例”插入到平假名字符
“の”
与汉字字符“会”之间的位置。
[0245]
在上述实施例中，显示元素或标签由箭头指定，但是，显示元素或标签可以具有任意形状。显示元素或标签的形状例如可以是三角形、手指形图标、菱形、线段等。
[0246]
另外，在确定数据被竖向书写或横向书写的前提下，箭头在水平或垂直方向上延伸，但在确定数据被斜向书写的情况下，优选地，箭头可以在斜向上延伸。换言之，优选地，箭头在相对于确定数据的外接矩形的边中的一个垂直的方向上延伸。
[0247]
图24示出将字符串“定例”插入到确定数据中的字符串。通过插入“定例”(定期)，将确定数据“今日
の
会議”(今天的会议)显示为字符串“今日
の
定例会議”(今天的定期会议)。在插入时，字符串插入控制部41获取原始确定数据的开头处的第一坐标(图18中的p1)，并删除“今日
の
会議”和“定例”。然后，字符串插入控制部41从原始确定数据的开头处的第一坐标显示“今日
の
定例会議”。字符串插入控制部41也可以在“今日
の”
旁边追加显示“定例会議(定期会议)”，而不删除“今日
の
(今天的)”。
[0248]
对于字符尺寸，若确定数据和选择数据的字符尺寸不同，则手写输入显示控制部23使选择数据的字符尺寸与确定数据的字符尺寸一致。在这种情况下，手写输入显示控制部23可以显示可容易识别或可读的字符串。手写输入显示控制部23可以根据用户的指令、设置等用确定数据和选择数据的原始大小显示插入有选择数据的字符串。
[0249]
<确定数据的手写方向及选择数据的手写方向>
[0250]
在图19至图24中，确定数据的手写方向为竖向，而选择数据(“定例”)的手写方向为横向。在这种情况下，选择数据16的高度不超过一个字符的高度，从而便于用户理解选择数据相对于确定数据的位置(插入目的地)。因此，用户可以在不同于确定数据的手写方向的手写方向上书写要插入的字符串。另一方面，手写输入显示控制部23在将选择数据16插入到确定数据15h之前，将选择数据16(“定例”)的显示方向由横向书写方向改为竖向书写方向。更具体地，由于手写输入显示控制部23以字符代码处理字符串“今日
の
定例会議”，因而可以将字符串“今日
の
定例会議”的显示方向设置为竖向。
[0251]
另外，如图25所示，确定数据15h的手写方向可以是横向，而选择数据16(“定例”)的手写方向可以是竖向。图25示出横向书写的确定数据15h和竖向书写的选择数据16的示例。在这种情况下，选择数据16的宽度不超过一个字符的宽度，从而便于用户理解选择数据
相对于确定数据的位置(插入目的地)。
[0252]
根据本实施例，由于通过箭头303显示选择数据相对于确定数据的位置，因而确定数据15h的手写方向可以是竖向，而选择数据16(“定例”)的手写方向可以是竖向。类似地，确定数据15h的手写方向可以是横向，而选择数据16(“定例”)的手写方向可以是横向。
[0253]
图26示出当用户竖向书写时的操作指南500的显示例。用户在竖向地手写手写数据504
“ていれい”
。在这种情况下，例如，操作指南500被显示在手写数据矩形区域显示503的左侧。如同横向书写的情况，操作指南500可以被显示在手写数据矩形区域显示503的右侧，或者在手写数据矩形区域显示503的下方。另外，操作指南500可以被显示在手写数据矩形区域显示503的上方。
[0254]
<插入目的地的其他显示例>
[0255]
如图27所示，手写输入显示控制部23可以在确定数据15h侧显示表示插入目的地的插入符号305。图27是显示于确定数据侧的表示插入目的地的插入符号305的示例。在图27中，三角形插入符号305(显示元素或标签的示例)被显示在平假名字符
“の”
与汉字字符“会”之间。插入符号305表示一个以上的字符相对于字符串的位置。当选择数据16与确定数据15h之间的距离变得小于阈值时，手写输入显示控制部23将插入符号305显示于离形成选择数据16的外接矩形(插入目标框304)的边312的中心最近的确定数据15h侧的两个字符之间。当用户拖动和移动选择数据时，手写输入显示控制部23根据边312的中心位置更改插入符号305的位置。
[0256]
因此，即使未显示箭头303，用户也可以基于插入符号305的位置来掌握要插入选择数据的位置。
[0257]
插入符号305的形状不限于三角形，可以是箭头、圆形、矩形、点等。插入符号305的形状可以是分隔两个字符的线。此外，手写输入显示控制部23可以更改两个字符之间的颜色，或者更改插入位置前后的字符的颜色。箭头303和插入符号305可以同时显示。在这种情况下，优选地，箭头303和插入符号305的颜色或形状被设计为表示它们之间的联系。例如，手写输入显示控制部23可以使箭头303和插入符号305的形状均为三角形、矩形或圆形，或者，使箭头303呈凸状，并使插入符号305呈凹状。
[0258]
<操作流程>
[0259]
将参照图28至图33使用上述配置对显示装置的操作进行描述。图28至图33是示出显示装置2显示字符串候选和操作命令候选的处理的示例的顺序图。图28所示的处理在启动显示装置2时(当启动应用程序时)开始。在图28至图33中，由于空间限制，为了方便起见，用附图标记表示图6所示的功能。
[0260]
首先，在图28所示的步骤s1中，手写输入显示控制部23将手写数据的开始发送至手写输入存储部25，响应于此，手写输入存储部25获得手写数据区域(用于存储手写数据的存储区域)。手写数据区域可以在用户使笔2500与手写输入部21接触之后获得。
[0261]
接下来，在步骤s2中，用户使笔2500与手写输入部21接触，手写输入部21检测落笔并将其发送至手写输入显示控制部23。
[0262]
在步骤s3中，手写输入显示控制部23将笔画的开始发送至手写输入存储部25，手写输入存储部25获得笔画区域。
[0263]
在步骤s4中，当用户在使笔2500保持与手写输入部21接触的同时移动笔2500时，
手写输入部21将笔坐标发送至手写输入显示控制部23。
[0264]
在步骤s5中，手写输入显示控制部23将笔坐标补充显示数据(对离散笔坐标进行插值的数据)发送至显示部22。显示部22通过使用笔坐标补充显示数据对笔坐标进行插值来显示线。
[0265]
在步骤s6中，手写输入显示控制部23将笔坐标及其接收时间发送至手写输入存储部25，手写输入存储部25将笔坐标添加至笔画。在用户移动笔2500的过程中，手写输入部21周期性地重复向手写输入显示控制部23发送笔坐标，因此，重复步骤s4至s6的处理，直到提笔。
[0266]
在图29所示的步骤s7中，当用户从手写输入部21放开笔2500时，手写输入部21将提笔发送至手写输入显示控制部23。
[0267]
在步骤s8中，手写输入显示控制部23将笔画的结束发送至手写输入存储部25，手写输入存储部25确定笔画的笔坐标。在确定笔画的笔坐标之后，无法将笔坐标添加至笔画。
[0268]
接下来，在步骤s9中，手写输入显示控制部23基于手写数据矩形区域403将手写数据矩形区域和笔画矩形区域的重叠状态获取发送至手写输入存储部25。手写输入存储部25计算重叠状态，并将计算出的重叠状态发送至手写输入显示控制部23。
[0269]
当手写数据矩形区域与笔画矩形区域彼此不重叠时，执行随后的步骤s10至s15。
[0270]
在步骤s10中，若手写数据矩形区域与笔画矩形区域彼此不重叠，则确定一个手写数据，因此，手写输入显示控制部23将存储数据清除发送至手写识别控制部26。
[0271]
在步骤s11至s13中，手写识别控制部26将存储数据清除发送至字符串转换控制部28、预测转换控制部30、以及操作命令识别控制部32。响应于存储数据清除，手写识别控制部26、字符串转换控制部28、预测转换控制部30以及操作命令识别控制部32清除与直至紧接在接收存储数据清除之前的时间点所存储的字符串候选和操作命令候选有关的数据。在清除数据时，最后手写的笔画不会被添加至手写数据。
[0272]
在步骤s14中，手写输入显示控制部23将手写数据的结束发送至手写输入存储部25，手写输入存储部25确定手写数据。当完成一个手写数据时(不再添加笔画)，确定手写数据。
[0273]
在步骤s15中，手写输入显示控制部23将手写数据的开始发送至手写输入存储部25。为了准备下一个手写数据的开始(落笔)，手写输入存储部25获得新的手写数据区域。
[0274]
接下来，在图30所示的步骤s16中，手写输入显示控制部23将相对于在步骤s8中结束的笔画的笔画添加发送至手写输入存储部25。在执行步骤s10至s15时，所添加的笔画是手写数据的第一笔画，手写输入存储部25将笔画数据添加至开始手写的手写数据。若未执行步骤s10至s15，则所添加的笔画已被添加至正在手写的手写数据。
[0275]
随后，在步骤s17中，手写输入显示控制部23将笔画添加发送至手写识别控制部26，手写识别控制部26将笔画数据添加至存储字符串候选的笔画数据存储区域(临时存储笔画数据的区域)。
[0276]
在步骤s19中，手写识别控制部26对笔画数据存储区域执行手写识别。
[0277]
在步骤s20中，手写识别控制部26将作为手写识别的执行结果的手写识别字符串候选发送至手写识别词典部27。手写识别词典部27将语言上可能的语言字符串候选发送至手写识别控制部26。
[0278]
在步骤s21中，手写识别控制部26将手写识别字符串候选和接收到的语言字符串候选发送至字符串转换控制部28。
[0279]
在步骤s22中，字符串转换控制部28将手写识别字符串候选和语言字符串候选发送至字符串转换词典部29。字符串转换词典部29将转换字符串候选发送至字符串转换控制部28。
[0280]
在步骤s23中，字符串转换控制部28将接收到的转换字符串候选发送至预测转换控制部30。
[0281]
在步骤s24中，预测转换控制部30将接收到的转换字符串候选发送至预测转换词典部31。预测转换词典部31将预测字符串候选发送至预测转换控制部30。
[0282]
在步骤s25中，预测转换控制部30将接收到的预测字符串候选发送至操作命令识别控制部32。
[0283]
在步骤s26中，操作命令识别控制部32将接收到的预测字符串候选发送至操作命令定义部33。操作命令定义部33将操作命令候选发送至操作命令识别控制部32。因此，操作命令识别控制部32可以获取操作命令候选，该操作命令候选与包括匹配于预测字符串候选的字符串(string)的操作命令定义数据对应。
[0284]
此后，类似地执行直到结合步骤s27至s32描述的发送操作命令候选为止的处理。
[0285]
在步骤s27中，字符串转换控制部28将接收到的转换字符串候选发送至操作命令识别控制部32。
[0286]
在步骤s28中，操作命令识别控制部32将接收到的转换字符串候选发送至操作命令定义部33。操作命令定义部33将操作命令候选发送至操作命令识别控制部32。因此，操作命令识别控制部32可以获取操作命令候选，该操作命令候选与包括匹配于转换字符串候选的字符串(string)的操作命令定义数据对应。
[0287]
在步骤s29中，手写识别控制部26将手写识别字符串候选和语言字符串候选发送至预测转换控制部30。
[0288]
在步骤s30中，预测转换控制部30将手写识别字符串候选和接收到的语言字符串候选发送至预测转换词典部31。预测转换词典部31将预测字符串候选发送至预测转换控制部30。
[0289]
在步骤s31中，预测转换控制部30将接收到的预测字符串候选发送至操作命令识别控制部32。
[0290]
在步骤s32中，操作命令识别控制部32将接收到的预测字符串候选发送至操作命令定义部33。操作命令定义部33将操作命令候选发送至操作命令识别控制部32。因此，操作命令识别控制部32可以获取操作命令候选，该操作命令候选与包括匹配于预测字符串候选的字符串(string)的操作命令定义数据对应。
[0291]
在步骤s33中，手写识别控制部26将手写识别字符串候选和接收到的语言字符串候选发送至操作命令识别控制部32。
[0292]
在步骤s34中，操作命令识别控制部32将手写识别字符串候选和接收到的语言字符串候选发送至操作命令定义部33。操作命令定义部33将操作命令候选发送至操作命令识别控制部32。因此，操作命令识别控制部32可以获取操作命令候选，该操作命令候选与包括匹配于语言字符串候选的字符串(string)的操作命令定义数据对应。
[0293]
接下来，在步骤s35中，手写识别控制部26将笔画添加发送至操作命令识别控制部32。
[0294]
在步骤s36中，操作命令识别控制部32将确定数据的位置信息获取发送至手写输入存储部25。手写输入存储部25将确定数据的位置信息发送至操作命令识别控制部32。
[0295]
在步骤s37中，为了确定选择数据，基于跨线判定条件406和围线判定条件407，操作命令识别控制部32确定在步骤s35中通过笔画添加从手写识别控制部26接收到的笔画的位置信息是否与从手写输入存储部25接收到的确定数据的位置信息处于预定关系。操作命令识别控制部32将可以被确定为要选择的确定数据存储为选择数据。在这种情况下，由于识别出选择数据，因而操作命令识别控制部32可以从操作命令定义部33获取输入和输出系统的操作命令候选。
[0296]
进一步地，手写识别控制部26、字符串转换控制部28、预测转换控制部30以及操作命令识别控制部32分别存储与手写识别字符串候选、语言字符串候选、转换字符串候选、预测字符串候选、操作命令候选以及选择数据有关的数据，以便可以在待后述的后续阶段的步骤s42至s45中获取数据。
[0297]
在步骤s18中，紧接在步骤s17中向手写识别控制部26发送笔画添加后，手写输入显示控制部23将可选候选显示计时器的开始发送至候选显示计时器控制部24。响应于接收到可选候选显示计时器的开始，候选显示计时器控制部24启动可选候选显示计时器。
[0298]
图31所示的后续步骤s38至s40在经过预定时间之前发生落笔时(计时器超时之前)执行。
[0299]
在步骤s38中，若用户在计时器超时之前使笔2500与手写输入部21接触，则手写输入部21将落笔(与步骤s2相同的事件)发送至手写输入显示控制部23。
[0300]
在步骤s39中，手写输入显示控制部23将笔画的开始(与步骤s3相同)发送至手写输入存储部25。步骤s39之后的顺序与步骤s3之后的顺序相同。
[0301]
在步骤s40中，手写输入显示控制部23将可选候选显示计时器停止请求发送至候选显示计时器控制部24。候选显示计时器控制部24响应于该停止请求而停止可选候选显示计时器，因为检测到落笔，因而不需要计时器。
[0302]
s41至s77在经过预定时间之前(在计时器超时之前)没有发生落笔时执行。因此，显示图13所示的字符串候选和操作命令候选。
[0303]
在步骤s41中，若在启动可选候选显示计时器用户未使笔2500与手写输入部21接触，则候选显示计时器控制部24将超时发送至手写输入显示控制部23。
[0304]
在步骤s42中，手写输入显示控制部23将手写识别字符串/语言字符串候选的获取请求发送至手写识别控制部26。响应于该获取请求，手写识别控制部26发送当前存储的手写识别字符串/语言字符串候选发送至手写输入显示控制部23。
[0305]
在步骤s43中，手写输入显示控制部23将转换字符串候选的获取请求发送至字符串转换控制部28。响应于该获取请求，字符串转换控制部28将当前存储的转换字符串候选发送至手写输入显示控制部23。
[0306]
在步骤s44中，手写输入显示控制部23将预测字符串候选的获取请求发送至预测转换控制部30。响应于该获取请求，预测转换控制部30将当前存储的预测字符串候选发送到至手写输入显示控制部23。
[0307]
在步骤s45中，手写输入显示控制部23将操作命令候选的获取请求发送至操作命令识别控制部32。响应于该获取请求，操作命令识别控制部32将当前存储的操作命令候选和选择数据发送至手写输入显示控制部23。
[0308]
接下来，在步骤s46中，手写输入显示控制部23将估计书写方向的获取请求发送至手写输入存储部25。响应于该获取请求，手写输入存储部25从手写数据矩形区域的笔画添加时间、水平距离以及垂直距离确定估计书写方向，并将该估计书写方向发送至手写输入显示控制部23。
[0309]
在步骤s47中，手写输入显示控制部23从手写识别字符串候选(图13中的
“ぎ”
)、语言字符串候选(图13中未显示，但例如可以是“議”)、转换字符串候选(图13中的“議事録”和“技量試”)、预测字符串候选(图13中的“技量試
を
決裁”和“議事録
の
送付先”)、操作命令候选(图13中的“議事録
テンプレートを
読
み
込
む”
和“議事録
フォルダーに
保存
する”
)、各选择概率以及估计书写方向中创建如图13所示的可选候选显示数据。另外，手写输入显示控制部23将包括字符串候选和操作命令候选的所创建的可选候选显示数据发送至显示部22，以进行显示。
[0310]
在步骤s48中，手写输入显示控制部23发送手写数据和选择数据的矩形区域显示数据(矩形框)(图13中的手写数据矩形区域显示503)以进行显示。
[0311]
在步骤s49中，手写输入显示控制部23将可选候选显示删除计时器的开始发送至候选显示计时器控制部24，以便在自显示可选候选显示数据经过预定时间之后删除所选择的候选显示数据。候选显示计时器控制部24响应于接收到可选候选显示删除计时器的开始，启动可选候选显示删除计时器。
[0312]
在启动可选候选删除计时器之后，当用户删除显示于显示部22上的可选候选显示时，或者发生手写数据的变化时(即，手写数据的笔画被添加、删除、移动、变形或分割)，或者超时之前未选择候选时，执行图32所示的步骤s50至s54。
[0313]
进一步地，步骤s50和s51在删除候选显示或发生手写数据的变化时执行。
[0314]
在步骤s50中，手写输入部21将可选候选显示删除的发生或手写数据的变化发送至手写输入显示控制部23。
[0315]
在步骤s51中，手写输入显示控制部23发送可选候选删除计时器的停止。候选显示计时器控制部24响应于接收到可选候选删除计时器的停止而停止可选候选删除计时器，因为在预定时间内对手写数据执行了操作，不再需要可选候选删除计时器。
[0316]
在步骤s53中，手写输入显示控制部23将可选候选显示数据的删除请求发送至显示部22，以删除可选候选显示。
[0317]
在步骤s54中，手写输入显示控制部23将手写数据和选择数据的矩形区域显示数据的删除请求发送至显示部22，以删除矩形区域显示。因此，若在除选择操作命令候选以外的条件下删除操作命令候选的显示，则照其维持手写数据的显示。
[0318]
另一方面，在步骤s54中，若在启动可选候选删除计时器之后未发生可选候选显示的删除或手写数据的变化(若用户未执行笔操作)，则候选显示计时器控制部24将超时发送至手写输入显示控制部23。
[0319]
类似地，在可选候选显示删除计时器超时之后，手写输入显示控制部23执行步骤s53和s54，因为显示部22可以在经过预定时间后删除可选候选显示数据、以及手写数据和
选择数据的矩形区域显示数据。
[0320]
若用户在启动可选候选删除计时器之后选择可选候选，则执行图33所示的步骤s55至s77。
[0321]
在步骤s55中，若用户在启动可选候选删除计时器之后选择可选候选，则手写输入部21将字符串候选或操作命令候选的选择发送至手写输入显示控制部23。
[0322]
在步骤s56中，手写输入显示控制部23将可选候选显示删除计时器的停止发送至候选显示计时器控制部24。候选显示计时器控制部24响应于接收到可选候选显示删除计时器的停止而停止可选候选显示删除计时器。
[0323]
接下来，在步骤s57中，手写输入显示控制部23将存储数据清除发送至手写识别控制部26。
[0324]
在步骤s58中，手写识别控制部26将存储数据清除发送至字符串转换控制部28。
[0325]
在步骤s59中，手写识别控制部26将存储数据清除发送至预测转换控制部30。
[0326]
在步骤s60中，手写识别控制部26将存储数据清除发送至操作命令识别控制部32。
[0327]
手写识别控制部26、字符串转换控制部28、预测转换控制部30、以及操作命令识别控制部32分别清除与直到紧接在接收到存储数据清除之前的时间点所存储的字符串候选和操作命令候选有关的数据。
[0328]
接下来，在步骤s61中，手写输入显示控制部23将可选候选显示数据的删除发送至显示部22，以删除可选候选显示。
[0329]
在步骤s62中，手写输入显示控制部23将手写数据和选择数据的矩形区域显示数据的删除发送至显示部22，以删除矩形区域显示。
[0330]
在步骤s63中，手写输入显示控制部23将手写数据显示数据的删除以及在步骤s5中发送的笔坐标补充显示数据的删除发送至显示部22，以删除手写数据显示和笔坐标补充显示。可以删除手写数据显示和笔坐标补充显示，因为选择了字符串候选或操作命令候选，从而不需要手写数据等。
[0331]
在步骤s64中，手写输入显示控制部23将手写数据的删除发送至手写输入存储部25。
[0332]
若用户选择字符串候选，则执行步骤s65至s67。
[0333]
在步骤s65中，当选择了字符串候选时，手写输入显示控制部23将字符串数据的添加发送至手写输入存储部25。
[0334]
进一步地，在步骤s66中，手写输入显示控制部23将字符串数据字体的获取发送至手写输入存储部25。手写输入存储部25从手写数据的估计字符尺寸中选择定义的字体，并将所选择的字体发送至手写输入显示控制部23。
[0335]
接下来，在步骤s67中，手写输入显示控制部23向显示部22发送将要与手写数据显示在相同的位置的字符串数据显示数据，使用从手写输入存储部25接收的已定义的字体，以便显示字符串数据显示数据。
[0336]
若选择了操作命令候选，则执行步骤s68至s71。进一步地，若有选择数据，则执行步骤s68至s70。
[0337]
在步骤s68中，当选择了针对选择数据的操作命令候选时(当有选择数据时)，为了使手写输入显示控制部23删除原始选择数据，手写输入显示控制部23将选择数据显示数据
的删除发送至显示部22，并删除选择数据显示。
[0338]
接下来，在步骤s69中，手写输入显示控制部23将选择数据的操作命令执行发送至手写输入存储部25。手写输入存储部25将新的选择数据的显示数据(编辑或修饰后的显示数据)发送至手写输入显示控制部23。
[0339]
接下来，在步骤s70中，手写输入显示控制部23将选择数据显示数据发送至显示部22，以便重新显示执行操作命令之后的选择数据。
[0340]
当没有选择数据时(当选择输入和输出系统的操作命令时)，执行步骤s71。
[0341]
在步骤s71中，当选择输入和输出系统的操作命令时，手写输入显示控制部23执行与由用户选择的操作命令对应的操作命令定义数据的操作命令字符串(command)。
[0342]
当执行插入处理时，即，当用户开始拖放选择数据时，执行步骤s72至s76。
[0343]
在步骤s72中，用户开始拖动选择数据16。手写输入显示控制部23可以检测笔2500的笔尖的坐标在选择数据16的外接矩形内，并确定正在执行拖动而不是笔画输入。若通过围线或条选择了选择数据16，则显示操作指南500，因此，当选择了选择数据时，手写输入显示控制部23擦除操作指南500。手写输入显示控制部23在笔2500的笔尖的坐标处移动并显示选择数据16。进一步地，如将参照图34更详细描述，手写输入显示控制部23在选择数据16被拖动的过程中显示箭头303。
[0344]
另外，用户在观察所显示的箭头303的同时确定插入目的地，并落放选择数据16(执行提笔)。手写输入显示控制部23从手写输入部21获取提笔。
[0345]
在步骤s73中，当检测到落放(选择数据16的落放)时，手写输入显示控制部23擦除箭头303。
[0346]
在步骤s74中，手写输入显示控制部23将箭头303的指向端的坐标、选择数据、以及发生落放时的确定数据发送至字符串插入控制部41。若没有选择数据16以外的确定数据，或者，若设置为根据确定数据与选择数据16之间的距离显示箭头303，而手写输入显示控制部23未显示箭头303，则手写输入显示控制部23确定该处理不是插入处理，并且不向字符串插入控制部41发送任何内容。因此，在这种情况下，处理仅仅是对选择数据16的移动处理。
[0347]
在步骤s75中，字符串插入控制部41由确定数据来识别离箭头303的指向端的坐标最近的两个字符，并且，若箭头303的指向端的坐标与确定数据之间的距离小于插入判定条件408的阈值，则在两个字符之间插入选择数据。所述字符串插入控制部41将插入有选择数据的字符串发送至手写输入显示控制部23。
[0348]
在步骤s76中，手写输入显示控制部23擦除确定数据和选择数据，并将插入后的字符串显示于显示部22。
[0349]
在步骤s77中，对于下一个手写数据，手写输入显示控制部23将手写数据的开始发送至手写输入存储部25。手写输入存储部25获得手写数据区域。此后，重复步骤s2至s77的处理。
[0350]
<顺序图的补充>
[0351]
将针对上述顺序图描述本实施例的插入处理。首先，当用户手写平假名字符
“ていれい”
以插入汉字字符“定例”时，在步骤s47中显示图13所示的操作指南500。用户在步骤s55中选择操作指南500的“定例”。因此，在步骤s61至s63中暂且擦除操作指南500。
[0352]
接下来，用户通过围线或条选择“定例”。因此，在步骤s47中显示操作指南500。在
长按的情况下，不显示操作指南50。由于用户开始选择数据16(“定例”)的拖动，因而执行步骤s72至s76的处理。
[0353]
<箭头的显示>
[0354]
将参照图34对显示表示插入目的地的箭头303的手写输入显示控制部23的处理进行描述。图34是示出显示表示插入目的地的箭头303的手写输入显示控制部23的处理的示例的流程图。在该示例中，将对根据确定数据与选择数据之间的位置关系来控制箭头303的显示和隐藏的情况进行描述。位置关系例如指距离。图34的处理在开始拖动选择数据时开始。
[0355]
首先，在步骤s1001中，手写输入显示控制部23识别离选择数据16最近的确定数据15h。
[0356]
在步骤s1002中，手写输入显示控制部23确定箭头303的指向端与确定数据15h之间的距离是否小于阈值。或者，手写输入显示控制部23可以确定该距离是否为阈值以下。在步骤s1001和s1002中，所识别和确定的确定数据15h不限于最近的确定数据，可以是具有小于阈值的距离的所有确定数据。阈值可以是固定的，或者，可以根据选择数据16的大小来确定。优选地，可以在箭头303的指向端和确定数据15h重叠之前显示箭头303。
[0357]
当有距离小于阈值的确定数据15h且步骤s1002中的判定结果为“是”时，处理进入步骤s1003。在步骤s1003中，手写输入显示控制部23显示表示确定数据15h的方向的箭头303。例如，手写输入显示控制部23在离确定数据13h的外接矩形最近的边312的中央显示箭头303。箭头303的指向端被显示在确定数据13h侧，而箭头303的底端被显示在选择数据16侧。
[0358]
另一方面，若步骤s1002中的判定结果为否，则处理进入步骤s1004。在步骤s1004中，对于具有不小于阈值的距离的确定数据，手写输入显示控制部23隐藏表示确定数据的方向的箭头303，以便不显示箭头303。
[0359]
然后，在步骤s1005中，手写输入显示控制部23确定是否检测到落放(选择数据16的落放)。换言之，手写输入显示控制部23确定是否不再从手写输入部21发送笔坐标。
[0360]
若没有检测到落放并且步骤s1005中的判定结果为否，则处理返回至步骤s1001；并且，若检测到落放并且步骤s1005中的判定结果为是，则处理进入步骤s1006。在步骤s1006中，手写输入显示控制部23隐藏箭头303，以便不显示箭头303。结果，字符串插入控制部41开始将选择数据16插入到确定数据13h中。
[0361]
<有益特征>
[0362]
如上所述，由于根据本实施例的显示装置2显示表示一个以上的字符相对于字符串的位置的箭头303，因而可以明确字符串与一个以上的字符的相对位置。即使插入目标的字符数较多，用户也可以容易地将字符等插入至期望的插入位置。
[0363]
[第二实施例]
[0364]
在该实施例中，显示装置2显示表示一个以上的英语字符(字母)相对于英语字符串的位置的箭头303。除了转换词典和操作命令定义数据对应于英语之外，本实施例中的显示装置2的配置与第一实施例相同。因此，将基于手写数据到英语的转换(下称“英文转换”)对显示装置2的不同于第一实施例的特征的特征进行描述。
[0365]
图35是用于说明在执行英文转换时将字符插入字符串中的方法的图。在图35的描
述中，将主要仅对与图2的不同进行描述。用户向显示装置2输入手写数据“todays’meeting(今天的会议)”，显示装置2将手写数据转换为字符串“today’s meeting(今天的会议)”301以对其进行显示。用户注意到在字符串“today’s meeting”301的“today’s(今天的)”与“meeting(会议)”之间设有空格，并将手写数据“regular(定期)”输入至显示装置2，显示装置2将手写数据转换为字符串“regular”302。当用户选择或拖动字符串“regular”302时，显示装置2显示表示插入目的地的箭头303。箭头303的底端面向字符串“regular”302，并且箭头303的指向端面向并指向插入目的地，从而明确字符串“regular”302相对于字符串“today’s meeting”301的插入目的地。因此，用户可以容易地理解插入目的地，即，字符串“regular”302的期望的插入位置。用户拖动字符串“regular”302并通过将箭头303的指向端对准期望的插入位置来将字符串“regular”302落放在箭头303所表示的期望的插入位置。
[0366]
因此，即使在英文转换的情况下，由于根据本实施例的显示装置2显示表示一个以上的字符相对于字符串的位置的箭头303，因而可以明确字符串与一个以上的字符的相对位置。即使插入目标的字符数较大，用户也可以容易地将字符等插入期望的插入位置。
[0367]
上面关于第一实施例给出的图3至图6也适用于第二实施例。
[0368]
<已定义的控制数据>
[0369]
图36是示出用于英文转换的已定义的控制数据的示例的图。在图36的描述中，将主要对与图7的不同进行描述。除了使字母的字体名称对应于“fontstyle”之外，每个已定义的控制数据的内容可以与图7的所示的相同。因此，当用户用英语进行手写时，可以使用英语中常用的字体来显示字符串。
[0370]
<词典数据的示例>
[0371]
将参照图37至图39对在英文转换的情况下的词典数据进行描述。在图37至图39的描述中，将主要对与图8至图10的不同进行描述。图37示出用于英文转换的手写识别词典部27的词典数据的示例。图37所示的手写识别词典部27的词典数据表示手写字符“a(笔画数据的状态)”被转换为字符“a”的概率为0.90，并且被转换为字符“o”的概率为0.10。
[0372]
图38示出用于英文转换的字符串转换词典部29的词典数据的示例。在图38所示的字符串转换词典部29的词典数据中，字符“a”被转换为字符串“ab”的概率为0.55，并且被转换为字符串“ai”的概率为0.45。对于转换前的其他字符串，也同样如此。
[0373]
图39示出用于英文转换的预测转换词典部31的词典数据的示例。在图39所示的预测转换词典部31的词典数据中，字符串“agenda(议程)”被转换为字符串“agenda list(议程列表)”的概率为0.55，并且被转换为“agenda template(议程模板)”的概率为0.30。对于转换前的其他字符和字符串，也同样如此。
[0374]
词典数据没有语言依赖性，在转换之前和之后可以注册任意字符或字符串。
[0375]
<操作命令定义数据示例>
[0376]
图40a示出当在执行英文转换时没有已选择数据时的操作命令定义数据的示例。在图40a的描述中，将主要对与图11a的不同进行描述。每个操作命令的内容与图11a中的相同，但使英语表达对应于操作命令名称(name)和字符串(string)。因此，用户可以用英语手写操作命令，并选择英语的操作命令。
[0377]
图40b示出系统定义数据的示例。在图40b的描述中，在图40b中，将主要对与图11b
的不同进行描述。在图40b中，使“bob”对应于“用户名”。
[0378]
例如除了“name”由字母识别外，待后述的图41至图44b与上文中结合第一实施例描述的图12至15b相似。
[0379]
图41示出在执行英语转换的情况下当有已选择数据时的操作命令定义数据的示例。在图41的描述中，将主要对与图12的不同进行描述。每个操作命令的内容与图12中的相同，但使英语表达对应于“name”。因此，用户可以选择英语的操作命令。
[0380]
<可选候选的显示例>
[0381]
图42示出当执行英文转换时的操作指南500以及由操作指南500显示的可选择候选530的示例。在图42的描述中，将主要对与图13的区别进行描述。在图42中，用户手写字符“a”作为手写数据504，并且，基于该字符“a”，显示操作命令候选510、手写识别字符串候选506、转换字符串候选507以及字符串/预测转换候选508。因此，除了用英语显示而不是用日语显示外，图42中的显示可以与图13的相似。
[0382]
操作命令候选510例如是在图40a所示的操作命令定义数据中具有“agenda”作为“string”的操作命令定义数据701和702。
[0383]
因此，在英文转换的情况下，用户可以类似地显示操作指南500。
[0384]
<选择数据的指定例>
[0385]
图43a和图43b是用于说明当执行英文转换时的选择数据的指定例的图。在图43a和图43b的描述中，将主要对与图14a至图14d的不同进行描述。
[0386]
图43a示出用户使用跨线(手写数据11a2)指定横向书写的两个确定数据13a2和13b2的示例。在该示例中，手写数据矩形区域12a2的短边的长度h1和长边的长度w1满足跨线判定条件406，并且手写数据矩形区域12a2相对于确定数据13a2、13b2的重叠率满足跨线判定条件406。因此，将“agenda”和“ag”两者的确定数据13a2和13b2指定为选择数据。
[0387]
图43b示出用户使用围线(手写数据11b2)指定横向书写的确定数据13c2的示例。在该示例中，仅将确定数据13c2相对于手写数据矩形区域12c2的重叠率满足围线判定条件407的确定数据13c2“agenda”指定为选择数据。
[0388]
因此，在英文转换的情况下，用户可以类似地选择确定数据。
[0389]
<操作命令候选的显示例>
[0390]
图44a和图44分别是示出当执行英文转换时在有图43a和图43b所示的手写数据的情况下的基于操作命令定义数据的操作命令候选的显示例的图。在图44a和44b的描述中，将主要对与图15a和图15b的不同进行描述。
[0391]
图44a示出编辑系统的操作命令候选，图44b示出装饰系统的操作命令候选。图44a示出在图43a所示的手写数据11a2中指定确定数据的示例。如图44a和图44b所示，主菜单550包括在行首字符“>>”511之后显示的操作命令候选。
[0392]
通过按下图44a中的第一行的行尾字符“>”512a来显示图44a所示的子菜单560。当用户用笔按下任意操作命令名称时，手写输入显示控制部23对选择数据执行对应于操作命令名称的操作命令定义数据的“command”。换言之，当选择“delete(删除)”按钮521b时，手写输入显示控制部23执行“delete”；当选择“move(移动)”按钮522b时，手写输入显示控制部23执行“move”；当选择“rotate(旋转)”按钮523b时，手写输入显示控制部23执行“rotate”；并且当选择“select(选择)”按钮524b时，手写输入显示控制部23执行“select”。
[0393]
当用户用笔按下“delete”按钮521b时，手写输入显示控制部23删除确定数据13a2“agenda”和确定数据13b2“ag”。当用户用笔按下“move”按钮522b时，手写输入显示控制部23接受确定数据13a2“agenda”和确定数据13b2的“ag”的移动。当用户用笔按下“rotate”按钮523b时，手写输入显示控制部23将确定数据13a2“agenda”和确定数据13b2“ag”旋转预定角度。当用户用笔按下“select”按钮524b时，手写输入显示控制部23接受确定数据13a2“agenda”和确定数据13b2“ag”的选择。
[0394]
除
“‑‑”
541b、
“‑”
542b、“～”543b、
“→”
544b和545b等操作命令候选外的字符串候选是跨线(手写数据11a2)的识别结果。因此，若用户想要输入字符串而不是操作命令，则可以选择字符串候选。
[0395]
在图44b中，当用户按下第二行的行尾字符“>”512b时，在其右侧显示子菜单560。类似于图44a，图44b示出主菜单550和子菜单560两者均被显示的示例。当基于图41所示的操作命令定义数据选择“thick”按钮531b时，手写输入显示控制部23对选择数据执行“thick”以使选择数据变粗。当选择“thin”按钮532b时，手写输入显示控制部23对选择数据执行“thin”以使选择数据变细。当选择“large”按钮533b时，手写输入显示控制部23对选择数据执行“large”以使选择数据变大。当选择“small”按钮534b时，手写输入显示控制部23对选择数据执行“small”以使选择数据变小。当选择“underline”按钮535b时，手写输入显示控制部23对选择数据执行"underline"以对选择数据加下划线。
[0396]
当用户用笔按下“thick”按钮531b时，手写输入显示控制部23使形成确定数据13a2“agenda”和确定数据13b2“ag”的线变粗。当用户用笔按下“thin”按钮532b时，手写输入显示控制部23使形成“agenda”和“ag”的线变窄。当用户用笔按下“large”按钮533b时，手写输入显示控制部23放大确定数据13a2和13b2中的字符。当用户用笔按下“small”按钮534b时，手写输入显示控制部23减小确定数据13a2和13b2的字符。当用户用笔按下“underline”按钮535b时，手写输入显示控制部23可以对确定数据13a2和13b2的字符加下划线。
[0397]
因此，即使在英文转换的情况下，用户也可以在有手写数据时使操作命令被显示。
[0398]
<确定数据的显示例>
[0399]
图45示出在英文转换的情况下通过长按笔2500来选择的确定数据13g的示例。在图45的描述中，将主要对与图17的不同进行描述。由于显示装置2以转换单位管理字符串的坐标，因而确定数据13g(“regular(定期)”)的外接矩形302的坐标也是已知的。因此，在英文转换的情况下，显示装置2可以以与在第一实施例中处理日语时相同的方式检测确定数据13g。
[0400]
<字符插入目的地的确定方法>
[0401]
将参照图46对字符插入目的地的确定方法进行描述。图46是用于说明当执行英文转换时的字符的插入目的地的示例的图。在图46的描述中，将主要对与图18的不同进行描述。图46中显示字符串“today’s meeting(今天的会以)”作为确定数据。手写输入存储部25存储确定数据的左上角的坐标p1和确定数据的右下角的坐标p2。假定所使用的字体和字符尺寸是已知的。若字体是已知的，则每个字符的字符尺寸也是已知的。例如，手写输入存储部25包括与字母相对应地注册有竖向和横向尺寸的表。因此，手写输入显示控制部23可以使用这样的注册信息来计算每个字符的坐标(例如，用于容纳一个字符的一个正方形的左
上角和右下角的坐标)。
[0402]
图46示出每个字符的右下角的坐标xa至xd(y坐标是y1或y2)。手写输入显示控制部23可以容易地计算坐标xa至xd。因此，手写输入显示控制部23可以将坐标xa至xd与箭头303的指向端的坐标进行比较，并确定箭头303的指向端的坐标附近的坐标xa至xd中最近的一个为两个字符之间的插入目的地。
[0403]
在英语的情况下，手写输入存储部25可以以单词为单位而不是字符单位来管理坐标。在这种情况下，可以将作为两个单词之间的坐标的坐标xf、xg与箭头303的指向端的坐标进行比较，并确定在两个单词之间的插入目的地的最近的坐标x至m。
[0404]
<字符插入的处理流程>
[0405]
接下来，将参照图47至图52对当执行英文转换时显示装置2接受字符的插入的处理流程进行描述。图47示出确定数据13h和手写数据504的示例。在图47至图52的描述中，将主要对与图19至图24的不同进行描述。
[0406]
在图47中，显示有确定数据13h“today's meeting(今天的会议)。另外，用户手写字符串“reg”，以便插入字符串(或单词)“regular”。
[0407]
图48示出对字符串“reg”显示的操作指南500的示例。在该示例中显示的字符串候选539包括“reg”、“regular”、“regain”、“regard”以及“registration”。用户可以通过用笔2500按下来选择字符串“regular”。手写输入显示控制部23接受“regular”的选择。
[0408]
图49示出显示接受已选择的字符串“regular”的状态。作为选择数据16(亦是确定数据)的字符串“regular”显示在用户手写字符串“reg”的位置。用虚线表示并且围绕选择数据16的框16a可以在转换之后被显示长达预定时间，或者可以根本不显示。
[0409]
图50示出当用户选择“regular”作为选择数据16时显示的箭头303的示例。换言之，当用户通过围线或条选择“regular”时，暂且显示操作指南500。当用户开始拖动选择数据16时，操作指南500被擦除。手写输入显示控制部23开始箭头303的显示，或者根据与确定数据13h的距离来开始箭头303的显示。
[0410]
确定手写输入显示控制部23显示箭头303的位置的方法和定时可以与处理日语的情况相同。
[0411]
如图51a和图51b所示，箭头303的位置不限于围绕“regular”的边的中心。图51a和图51b示出箭头303的位置的示例。在图51a中，箭头303显示在围绕“regular”的边的左端；图51b中，箭头303显示在围绕“regular”的边的右端。箭头303可以显示在该边的任何地方。
[0412]
当确定数据13h与箭头303的指向端的坐标之间的距离小于插入判定条件408的阈值时，字符串插入控制部41将选择数据16(“regular”)插入到离箭头303的指向端的坐标最近的确定数据13h的两个字符之间。
[0413]
在图50、图51a和图51b中，由于离箭头303的指向端的坐标最近的两个字符之间的位置是字符“s”与“m”之间的位置，因而字符串插入控制部41将字符串“regular”插入到在两个字符“s”与“m”之间。
[0414]
图52示出包括插入到确定数据中的“regular”的字符串。通过插入“regular”，“today's meeting(今天的会议)”被更改为“today's regular meeting(今天的定期会议)”并显示。插入时，字符串插入控制部41获取原始确定数据的开头处的第一坐标(图46中的p1)，并删除“today's meeting”和“regular”。字符串插入控制部41从原始确定数据的开
头处的第一坐标显示“today's regular meeting”。字符串插入控制部41可以在“today's”旁边追加显示“regular meeting(定期会议)”，而不删除“today's(今天的)”。
[0415]
<确定数据的手写方向和选择数据的手写方向>
[0416]
在图47至图52中，确定数据的手写方向是横向，并且选择数据“regular”的手写方向是横向。由于在英语的情况下通常使用横向书写方向，因而将省略竖向书写确定数据或选择数据的示例。
[0417]
<插入目的地的其他显示例>
[0418]
如图53所示，手写输入显示控制部23可以在确定数据15h侧显示表示插入目的地的插入符号305。在图53的描述中，将主要对与图27的不同进行描述。图53示出在确定数据侧显示的表示插入目的地的插入符号305的示例。在图53中，三角形插入符号305(显示元素或标签的示例)被显示在字符“s”与“m”之间。插入符号305表示一个以上的字符相对于字符串的位置。当选择数据16与确定数据15h之间的距离变得小于阈值时，手写输入显示控制部23将插入符号305显示在离形成选择数据16的外接矩形(插入目标框304)的边312的中心最近的确定数据15h侧的两个字符之间。当用户拖动和移动选择数据16时，手写输入显示控制部23根据边312的中心位置更改插入符号305的位置。
[0419]
因此，即使在英文转换的情况下，即使未显示箭头303，用户也可以基于插入符号305的位置来掌握要插入选择数据的位置。
[0420]
在英文转换的情况下，操作过程可以与图28至图33和图34中的相同。
[0421]
<显著的有益特征>
[0422]
根据该实施例，即使在英文转换的情况下，由于显示装置2显示表示一个以上的字符相对于字符串的位置的箭头303，因而可以明确字符串与一个以上的字符的相对位置。即使插入目标的字符数较大，用户也可以容易地将字符等插入期望的插入位置。
[0423]
[第三实施例]
[0424]
在该实施例中，显示装置2显示表示一个以上的中文的字符(或中文字符)相对于中文的字符串的位置的箭头303。除了转换词典和操作命令定义数据对应于中文外，本实施例中的显示装置2的配置与第一实施例中的配置相同。因此，将基于手写数据到中文的转换(下称“中文转换”)对显示装置2的不同于第一实施例的特征进行描述。
[0425]
图54是用于说明当执行中文转换时将字符插入字符串中的方法的图。在图54的描述中，将主要仅对与图2的不同进行描述。用户将手写数据输入至显示装置2，显示装置2将手写数据转换成中文字符串301，以对其进行显示。中文字符串301在英文中意指“today’s meeting(今天的会议)”。用户注意到在意指“今天的”的中文字符串与意指“会议”的中文字符串之间缺失意指“定期”的单词“定期”，并用中文手写“定期”，并使显示装置2将手写字符转换为中文字符“定期”302。当用户选择或开始拖动中文字符“定期”302时，显示装置2显示表示插入目的地(或插入位置)的箭头303。箭头303的底端面向中文字符“定期”302，并且其指向端指向要插入中文字符“定期”302的字符串，以明确中文字符“定期”302相对于中文字符串301的位置。另外，箭头303使用户能够容易地理解插入位置。用户拖动中文字符“定期”302，并将箭头303的指向端落放至与期望的插入位置对准的位置。
[0426]
因此，即使在中文转换的情况下，由于根据本实施例的显示装置2显示表示一个以上的字符相对于字符串的位置的箭头303，因而可以明确字符串与一个以上的字符的相对
位置。即使插入目标的字符数较大，用户也可以容易地将字符等插入期望的插入位置。
[0427]
上面关于第一实施例给出的图3至图6的描述也适用于第三实施例。
[0428]
<已定义的控制数据>
[0429]
图55是示出用于中文转换的已定义的控制数据的示例的图。在图55的描述中，将主要对与图7的不同进行描述。除了使中文字符的字体名称(例如，“宋体”(对应于“simhei”)和“黒体”(对应于“dfkai
‑
sb”)对应于“fontstyle”外，每个已定义的控制数据的内容可以与图7所示的内容相似。因此，当用户用中文进行手写时，可以使用中文中经常使用的字体来显示字符串。
[0430]
<词典数据的示例>
[0431]
将参照图56至图58对中文转换的情况下的词典数据进行描述。在图56至图58的描述中，将主要对与图8至图10的不同进行描述。图56示出用于中文转换的手写识别词典部27的词典数据的示例。汉语不使用例如对应于日语中使用的平假名字符的字符，因此，在中文转换的情况下，手写识别词典部27是用于执行字符识别的词典。图56所示的手写识别词典部27的词典数据表示手写中文字符321(笔画数据的状态)被转换为中文字符322的概率为0.90，转换为中文字符323的概率为0.10。
[0432]
图57示出中文转换所使用的字符串转换字典部29的字典数据的示例。在图57所示的字符串转换词典部29的词典数据中，中文字符324被转换为中文字符串325的概率为0.95，而中文字符326被转换为中文字符串327的概率为0.85。对于转换前的其他字符串，也同样如此。
[0433]
图58示出在中文转换中使用的预测转换词典部31的词典数据的示例。在图58所示的预测转换词典部31的词典数据中，中文字符串328被转换为中文字符串329的概率为0.65，而中文字符串被转换为中文字符串331的概率为0.75。对于转换前的其他字符和字符串，也同样如此。
[0434]
词典数据没有语言依赖性，在转换之前和之后可以注册任意字符或字符串。
[0435]
<操作命令定义数据的示例>
[0436]
图59a示出当执行中文转换时没有选择数据时的操作命令定义数据的示例。在图59a的描述中，将主要对与图11a的不同进行描述。每个操作命令的内容与图11a中的相同，但使中文表达对应于操作命令名称(name)和字符串(string)。因此，用户可以用中文手写操作命令，并选择中文的操作命令。
[0437]
图59b示出系统定义数据的示例。在图59b的描述中，将主要对与图11b的不同进行描述。在图59b中，使“lin”对应于“用户名”。
[0438]
例如除了“name”由字母识别外，待后述的图60至图63b与上文中结合第一实施例描述的图12至图15b相似。
[0439]
图60示出当执行中文转换时在有选择数据时的操作命令定义数据的示例。在图60的描述中，将主要对与图12的不同进行描述。每个操作命令的内容与图12中的相同，但使英语表达对应于“name”。因此，用户可以选择英语的操作命令。
[0440]
<可选候选的显示例>
[0441]
图61示出当执行中文转换时的操作指南500以及由操作指南500显示的可选候选530的示例。在图61的描述中，将主要对与图13的不同进行描述。在图61中，用户手写中文字
符作为手写数据504，并且，基于该中文字符，显示操作命令候选510、手写识别字符串候选506、转换字符串候选507、以及字符串/预测转换候选508。因此，除了用中文显示而不是用日语显示外，图61中的显示可以与图13中的相似。
[0442]
操作命令候选510例如是在图59a所示的操作命令定义数据中具有从手写数据504正确地转换而来的手写识别字符串候选506作为“string”的操作命令定义数据701和702。
[0443]
因此，在中文转换的情况下，用户可以类似地显示操作指南500。
[0444]
<选择数据的指定例>
[0445]
图62a和图62b是用于说明当执行中文转换时的选择数据的指定例的图。在图62a和图62b的描述中，将主要对与图14a至图14d的不同进行描述。
[0446]
图62a示出用户使用跨线(手写数据11a2)指定横向书写的两个确定数据13a2和13b2的示例。在该示例中，手写数据矩形区域12a2的短边的长度h1和长边的长度w1满足跨线判定条件406，并且手写数据矩形区域12a2相对于确定数据13a2和13b2的重叠率满足跨线判定条件406。因此，将确定数据13a2和13b2均指定为选择数据。
[0447]
图62b示出用户使用围线(手写数据11b2)指定横向书写的确定数据13c2的示例。在该示例中，仅将确定数据13c2相对于手写数据矩形区域12c2的重叠率满足围线判定条件407的确定数据13c2指定为选择数据。
[0448]
因此，在中文转换的情况下，用户可以类似地选择确定数据。
[0449]
<操作命令候选的显示例>
[0450]
图63a和图63b分别是示出当执行中文转换时在有图62a和图62b所示的手写数据时的情况下的基于操作命令定义数据的操作命令候选的显示例的图。在图63a和图63b的描述中，将主要对与图15a和图15b的不同进行描述。
[0451]
图63a示出编辑系统的操作命令候选，图63b示出装饰系统的操作命令候选。图63a示出在图62a所示的手写数据11a2中指定确定数据的示例。如图63a和图63b所示，主菜单550包括在行首字符“>>”511之后显示的操作命令候选。
[0452]
通过按下图63a中的第一行的行尾字符“>”512a来显示图63a所示的子菜单560。当用户用笔按下任意操作命令名称时，手写输入显示控制部23对选择数据执行对应于操作命令名称的操作命令定义数据的“command”。换言之，当选择“删除”按钮521b，手写输入显示控制部23执行“delete(删除)”；当选择“移动”按钮522b时，手写输入显示控制部23执行“move(移动)”；当选择“旋转”按钮523b时，手写输入显示控制部23执行“rotate(旋转)”；并且当选择“旋转”按钮524b时，手写输入显示控制部23执行“select(选择)”。
[0453]
当用户用笔按下“删除”按钮521b时，手写输入显示控制部23删除确定数据13a2“agenda”和13b2确定数据和“ag”。当用户用笔按下“移动”按钮522b时，手写输入显示控制部23接受确定数据13a2和13b2的移动。当用户用笔按下“旋转”按钮523b时，手写输入显示控制部23将确定数据13a2和13b2旋转预定角度。当用户用笔按下“选择”按钮524b时，手写输入显示控制部23接受确定数据13a2和13b2的选择。
[0454]
除
“‑‑”
541b，
“‑”
542b，“～”543b，
“→”
544b和545b等操作命令候选外的字符串候选是跨线(手写数据11a2)的识别结果。因此，若用户想要输入字符串而不是操作命令，则可以选择字符串候选。
[0455]
在图63b中，当用户按下第二行的行尾字符“>”512b时，在其右侧显示子菜单560。
类似于图63a，图63b示出主菜单550和子菜单560两者均被显示的示例。当基于图60所示的操作命令定义数据选择“变粗”按钮531b时，手写输入显示控制部23对选择数据执行“thick(粗)”以使选择数据变粗。当选择“变细”按钮532b时，手写输入显示控制部23对选择数据执行“thin(细)”以使选择数据变细。当选择“变大”按钮533b时，手写输入显示控制部23对选择数据执行“large(大)”以使选择数据变大。当选择“变小”按钮534b时，手写输入显示控制部23对选择数据执行“small(小)”以使选择数据变小。当选择“下划线”按钮535b时，手写输入显示控制部23对选择数据执行“underline(下划线)”以对选择数据加下划线。
[0456]
当用户用笔按下“变粗”按钮531b时，手写输入显示控制部23使形成确定数据13a2和13b2的线变粗。当用户用笔按下“变细”按钮532b时，手写输入显示控制部23使形成确定数据13a2和13b2的线变窄。当用户用笔按下“变大”按钮533b时，手写输入显示控制部23放大确定数据13a2和13b2的字符。当用户用笔按下“变小”按钮534b时，手写输入显示控制部23减小确定数据13a2和13b2的字符。当用户用笔按下“下划线”按钮535b时，手写输入显示控制部23可以对确定数据13a2和13b2的字符加下划线。
[0457]
因此，即使在中文转换的情况下，用户也可以在有手写数据时使操作命令被显示。
[0458]
<确定数据的显示例>
[0459]
图64示出在中文转换的情况下通过长按笔2500来选择的确定数据13g的示例。在图64的描述中，将主要对与图17的不同进行描述。由于显示装置2以转换单位管理字符串的坐标，因而确定数据13g(“定期”)的外接矩形302的坐标也是已知的。
[0460]
因此，在中文转换的情况下，显示装置2可以以与在第一实施例中处理日语时相同的方式检测所确定数据13g。
[0461]
<字符插入目的地的确定方法>
[0462]
将参照图65对字符插入目的地的确定方法进行描述。图65是用于说明当执行中文转换时的字符的插入目的地的示例的图。在图65的描述中，将主要对与图18的不同进行描述。图65中显示中文字符串301作为确定数据。手写输入存储部25存储确定数据的左上角的坐标p1和确定数据的右下角的坐标p2。假定所使用的字体和字符尺寸是已知的。若字体是已知的，则每个字符的字符尺寸也是已知的。例如，手写输入存储部25包括与中文字符相对应地注册有竖向和横向尺寸的表。因此，手写输入显示控制部23可以使用这样的注册信息来计算每个中文字符的坐标(例如，用于容纳一个中文字符的一个正方形的左上角和右下角的坐标)。
[0463]
图65示出每个中文字符的右下角的坐标xa至xd(y坐标是y1或y2)。手写输入显示控制部23可以容易地计算坐标xa至xd。因此，手写输入显示控制部23可以将坐标xa至xd与箭头303的指向端的坐标进行比较，并确定箭头303的指向端的坐标附近的坐标xa至xd中最近的一个为两个中文字符之间的插入目的地。
[0464]
<字符插入的处理流程>
[0465]
接下来，将参照图66至图71对当执行中文转换时显示装置2接受字符的插入的处理流程进行描述。图66示出确定数据13h和手写数据504的示例。在图66至图71的描述中，将主要对与图19至图24的不同进行描述。
[0466]
在图66中，用中文显示有确定数据13h。另外，用户手写中文字符串“定期”，以便插入中文字符串(或单词)。
[0467]
图67示出对中文字符串“定期”显示的操作指南500的示例。在该示例中显示的字符串候选539包括四个候选。用户可以通过用笔2500按下来选择中文字符串“定期”。手写输入显示控制部23接受中文字符串“定期”的选择。
[0468]
图68示出显示接受已选择的中文字符串“定期”的状态。作为选择数据16(亦是确定数据)的中文字符串“定期”显示在用户手写中文字符串“定期”的位置。用虚线表示并且围绕选择数据16的框16a可以在转换之后被显示长达预定时间，或者可以根本不显示。
[0469]
图69示出当用户选择“定期”作为选择数据16时显示的箭头303的示例。换言之，当用户通过围线或条选择“定期”时，暂且显示操作指南500。当用户开始拖动选择数据16时，操作指南500被擦除。手写输入显示控制部23开始箭头303的显示，或者根据与确定数据13h的距离来开始箭头303的显示。
[0470]
确定手写输入显示控制部23显示箭头303的位置的方法和定时可以与处理日语的情况相同。
[0471]
如图70a和图70b所示，箭头303的位置不限于围绕“定期”的边的中心。图70a和图70b示出箭头303的位置的示例。在图70a中，箭头303显示在围绕“定期”的边的左端，在图70b中，箭头303显示在围绕“定期”的边的右端。箭头303可以显示在该边的任何地方。
[0472]
当确定数据13h与箭头303的指向端的坐标之间的距离小于插入判定条件408的阈值时，字符串插入控制部41将选择数据16(“定期”)插入到离箭头303的指向端的坐标最近的确定数据13h的两个中文字符之间。
[0473]
在图69、图70a和图70b中，由于离箭头303的指向端的坐标最近的两个中文字符之间的位置是中文字符“的”与“会”之间的位置，因而字符串插入控制部41将字符串“定期”插入到在两个中文字符“的”与“会”之间。
[0474]
图71示出包括插入到确定数据中的“定期”的字符串。通过插入“定期”，意指“today’s meeting(今天的会议)”的原始中文字符串被更改为意指“today’s regular meeting(今天的定期会议)”的中文字符串并显示。插入时，字符串插入控制部41获取原始确定数据的开头处的第一坐标(图65中的p1)，并删除确定数据13h和所述选择数据16。字符串插入控制部41从原始确定数据的开头处的第一坐标显示意指“今天的定期会议”的确定数据13h2。字符串插入控制部41可以在“今天的”(意指“today's”)旁边追加显示“定期”(意指“regular”)和随后的中文字符而不删除“今天的”。
[0475]
<确定数据的手写方向和选择数据的手写方向>
[0476]
在图66至图71中，确定数据的手写方向是横向，并且选择数据(“定期”)的手写方向是横向。由于在中文的情况下通常使用横向书写方向，因而将省略竖向书写确定数据或选择数据的示例。然而，确定数据15h的手写方向可以是横向，并且选择数据16的手写方向(“定期”)可以是纵向。或者，确定数据15h的手写方向可以是纵向，并且选择数据16(“定期”)的手写方向可以是纵向。进一步地，确定数据15h的手写方向可以是纵向，并且选择数据16(“定期”)的手写方向可以是横向。
[0477]
<插入目的地的其他显示例>
[0478]
如图72所示，手写输入显示控制部23可以在确定数据15h侧显示表示插入目的地的插入符号305。在图72的描述中，将主要对与图27的不同进行描述。图72示出在确定数据侧显示的表示插入目的地的插入符号305的示例。在图72中，三角形插入符号305(显示元素
或标签的示例)被显示在中文字符“的”与“会”之间。插入符号305表示一个以上的字符相对于字符串的位置。当选择数据16与确定数据15h之间的距离变得小于阈值时，手写输入显示控制部23将插入符号305显示在离形成选择数据16的外接矩形(插入目标框304)的边312的中心最近的确定数据15h侧的两个字符之间。当用户拖动和移动选择数据16时，手写输入显示控制部23根据边312的中心位置更改插入符号305的位置。
[0479]
因此，即使在中文转换的情况下，即使未显示箭头303，用户也可以基于插入符号305的位置来掌握要插入选择数据的位置。
[0480]
在中文转换的情况下，操作过程可以与图28至图33和图34中的相同。
[0481]
<显著的有益特征>
[0482]
根据该实施例，即使在中文转换的情况下，由于显示装置2显示表示一个以上的字符相对于字符串的位置的箭头303，因而可以明确字符串与一个以上的字符的相对位置。即使插入目标的字符数较大，用户也可以容易地将字符等插入期望的插入位置。
[0483]
[第四实施例]
[0484]
在以下描述的实施例中，将对显示装置2的其他配置进行描述。
[0485]
<显示装置配置的第一示例>
[0486]
在上述实施例中，假定显示装置2包括大型触摸屏面板。但是，显示装置2不限于触摸屏面板。
[0487]
图73示出显示装置2的另一配置例。在图73中，在常规的白板413上方设置有投影仪411。该投影仪411对应于显示装置2。常规的白板413不是与触摸屏面板一体的平板显示器，而是用户用记号笔直接在其上书写的白板。白板可以是黑板，并且只需具有足够大的平坦面以使图像能够被投射在其上即可。
[0488]
投影仪411包括超短焦光学系统，以便可以将低失真图像从约10cm的距离投射至白板413上。图像可以从具有无线或有线连接的pc等被发送至投影仪411。或者，图像可以被存储在投影仪411中。
[0489]
用户使用专用电子笔2501在白板413上进行手写。例如，电子笔2501在前端部具有发光部，当用户将笔尖按在白板413上以进行书写时，发光部分开启。发光部发出的光的波长是近红外或红外，对用户的眼睛不可见。投影仪411包括捕获发光部并分析所捕获的图像以确定电子笔2501的方向的摄像头。电子笔2501将声波连同光一起进行发射，并且投影仪411根据声波的到达时间来计算与电子笔2501的距离。投影仪411可以根据所确定的方向和计算出的距离来识别电子笔2501的位置。在电子笔2501的位置处描绘(投影)有笔画。
[0490]
由于投影仪411投射菜单430，因而当用户用电子笔2501按下按钮时，投影仪411由电子笔2501的位置和开关的接通信号识别所按按钮。例如，当按下存储按钮431时，由用户手写的笔画(一组坐标)被存储在投影仪411中。投影仪411将手写信息存储在预定的服务器412、usb存储器2600等中。手写信息可以以页面为单位存储。存储坐标而不是图像数据，以便于用户对其进行重新编辑。然而，在该实施例中，由于可以通过手写来调用和访问操作命令，因而菜单430的显示不是必需的。
[0491]
[第五实施例]
[0492]
<显示装置配置的第二示例>
[0493]
图74是示出显示装置2的另一配置例的图。在图74所示的示例中，显示装置2包括
终端装置600、图像投影装置700a、以及笔操作检测装置810。
[0494]
终端装置600有线连接至图像投影装置700a和笔操作检测装置810。图像投影装置700a将从终端装置600输入的图像数据投影至屏幕800上。
[0495]
笔操作检测装置810与电子笔820进行通信，并检测屏幕800附近的电子笔820的操作(或动作)。更具体地，电子笔820检测表示屏幕上由电子笔820指示(或指向)的点的坐标信息，并将坐标信息发送至终端装置600。
[0496]
终端装置600基于从笔操作检测装置810接收的坐标信息来生成由电子笔820输入的笔画图像的图像数据。终端装置600控制图像投影装置700a在屏幕800上绘制笔画图像。
[0497]
另外，终端装置600生成表示由图像投影装置700a投影的背景图像和电子笔820输入的笔画图像组成的重叠图像的重叠图像数据。
[0498]
[第六实施例]
[0499]
<显示装置配置的第三示例>
[0500]
图75是示出显示装置2的另一配置示的图。在图75所示的示例中，显示装置2包括终端装置600、显示器800a、以及笔操作检测装置810a。
[0501]
笔操作检测装置810a设置于显示器800a附近，并且检测表示显示器800a上由电子笔820a指示(或指向)的点的坐标信息，并将该坐标信息发送至终端装置600。在图75所示的示例中，电子笔820a可以由终端装置600通过usb连接器充电。
[0502]
终端装置600生成由电子笔820a输入的笔画图像的图像数据，并基于从笔操作检测装置810a接收的坐标信息将图像数据显示于显示器800a上。
[0503]
[第七实施例]
[0504]
<显示装置配置的第四示例>
[0505]
图76是示出显示装置2的另一配置例的图。在图76所示的示例中，显示装置2包括终端装置600以及图像投影装置700a。
[0506]
终端装置600通过蓝牙(注册商标)等与电子笔820b进行无线通信，并接收屏幕800上由电子笔820b指示(或指向)的点的坐标信息。坐标信息可以通过由电子笔820b检测形成于屏幕800上的微细位置信息来获得。或者，可以从屏幕800接收坐标信息。
[0507]
终端装置600基于接收到的坐标信息生成由电子笔820b输入的笔画图像的图像数据，并控制图像投影装置700a投影笔画图像。
[0508]
终端装置600生成表示由图像投影装置700a投影的背景图像和电子笔820b输入的笔画图像组成的重叠图像的重叠图像数据。
[0509]
如上所述，上述每个实施例可以应用于多种多样的系统配置。
[0510]
<其他应用>
[0511]
尽管上面参照示例对本发明的优选实施例进行了描述，但在不脱离本公开的精神和范围的前提下可以对其实施多种变更、变形和替换。
[0512]
显示装置2将确定数据存储为字符代码，并将手写数据存储为坐标点数据。另外，确定数据和手写数据可以被存储在各种类型的存储介质中，或者被存储在连接至网络的存储装置中，并随后通过从显示装置2下载所存储的数据来重用。重用所存储的数据的显示装置2可以是任意显示装置或通用信息处理装置。因此，用户可以通过在不同的显示装置2上再现手写内容来继续进行会议等。
[0513]
例如，实施例的显示方法可以适当地适用于具有触摸屏面板的信息处理装置。具有与显示装置相同功能的装置也称为电子黑板、电子白板、电子信息板、交互式板等。具有触摸屏面板的信息处理装置例如可以是诸如投影仪(pj)、数字标牌等的输出装置，平视显示(hud)装置、工业机器、成像装置、集音器、医疗设备、网络家电、膝上型个人电脑(pc)、蜂窝电话、智能手机、平板电脑终端、游戏设备、个人数字助理(pda)、数码相机、可穿戴pc、台式pc等。
[0514]
在实施例中，笔尖的坐标通过由触摸屏面板检测笔尖的坐标的方法来检测。但是，显示装置2可以使用超声波来检测笔尖的坐标。另外，笔可以将超声波连同光一起进行发射，并且显示装置2可以根据超声波的到达时间来计算与笔的距离。显示装置2可以由检测到的方向和计算出的距离对笔的位置进行定位。投影仪可以绘制(投影)笔的轨迹作为笔画。
[0515]
在实施例中，当有选择数据时显示编辑系统和装饰系统的操作命令候选，而当没有选择数据时显示输入和输出系统的操作命令候选。但是，显示装置2可以同时显示编辑系统、装饰系统以及输入和输出系统的操作命令候选。
[0516]
进一步地，例如图6的配置例是根据主要功能划分的，以方便理解显示装置2的处理。本公开不限于以单位或名称来划分处理的方法。例如，根据处理内容，显示装置2的处理可以进一步划分为更小的处理单元。或者，一个处理单元可以被分割为包括更多的处理。
[0517]
根据实施例，由显示装置2执行的处理的一部分可以由通过网络连接至显示装置2的服务器执行。
[0518]
根据上述每个实施例，可以提供一种能够显示表示一个以上的字符相对于字符串的位置的显示元素或标签的显示装置。
[0519]
尽管实施例和示例以例如“第一”、“第二”、“第三”等进行编号，但序数并不暗示实施例和示例的优先顺序。
[0520]
根据上述教导，可以实施很多附加的变形和变更。因此，应理解的是，在所附权利要求书的范围内，可以与本说明书中具体描述的方式不同地实践本专利说明书的公开。
[0521]
如计算机领域的技术人员可以理解，本发明可以使用根据本说明书的教导编程的常规通用数字计算机来方便地实现。如将对软件领域的技术人员显而易见，熟练的程序员可以基于本公开的教导容易地准备适当的软件编码。如相关领域的技术人员将容易理解，本发明还可以通过准备asic或通过使常规组件电路的适当的网络互连来实现。
[0522]
所描述的实施例的每个功能可以由一个以上的处理电路来实现。处理电路可以包含编程的处理器。处理电路还可以包含诸如专用集成电路(asic)之类的装置以及被设置为执行所列举的功能的常规电路组件。
[0523]
处理电路被实现为微处理器的至少一部分。处理电路可以使用一个以上的电路、一个以上的微处理器、微控制器、asic、专用硬件、dsp、微型计算机、中央处理单元、fpga、可编程逻辑器件、状态机、超级计算机或其任意组合来实现。而且，处理电路可以包含可在一个以上的处理电路内执行的一个以上的软件模块。处理电路可以进一步包含配置为存储使处理电路执行功能的指令和/或代码的存储器。
[0524]
当以软件体现时，各个块可以代表包括用于实现指定逻辑功能的程序指令的代码的模块、段或部分。程序指令可以以包括以编程语言编写的人可读语句的源代码，或包括可
由诸如计算机系统或其他系统中的处理器的合适的执行系统识别的数字指令的机器代码的形式体现。机器代码可以从源代码等转换。当以硬件体现时，各个块可以代表用于实现指定的逻辑功能的一个电路或多个互连电路。