翻译装置的制作方法

本发明涉及对拍摄的图像中包含的字符进行识别，并对识别出的字符进行翻译的翻译装置等。

背景技术：

以往，已知通过OCR(Optical Character Recognition：光学字符识别)来识别拍摄中的图像中包含的字符串，并对得到的字符串进行翻译并显示的便携终端。另外，在便携终端中，有辨别画面的纵横，表示当前的画面是纵画面还是横画面的规格的便携终端。而且，在专利文献1中，公开了表示拍摄装置的倾斜状态的技术。

现有技术文献

专利文献

专利文献1：日本公开特许公报“特开2009-122628号公报(2009年6月4日公开)”

技术实现要素：

发明要解决的问题

在通过OCR识别并翻译图像中包含的字符串的情况下，若装置要翻译的字符串的方向和实际的字符串的方向不同，则翻译变得困难。

参照图7对此进行说明。如上所述，便携终端中具有具备判断本终端是纵画面还是横画面的功能的便携终端。并且，在本终端为纵画面的情况下，如图7(a)所示，要翻译的字符串的方向例如在翻译英语的情况下为便携终端的短边方向。另外，在本终端为横画面的情况下，如图7(b)所示，要翻译的字符串的方向为便携终端的长边方向。

因此，在用户无法容易地识别本终端是纵画面还是横画面的情况下，可能造成便携终端要翻译的字符串的方向和实际的字符串的 方向不同。例如，如图7(c)所示在拍摄桌子上的书籍(传单)的情况下，便携终端的画面成为与地面水平的状态，用户难以识别是纵画面还是横画面。由此，用户识别要翻译的字符串的方向和实际的字符串的方向是否一致是困难的。

这不能通过上述专利文献1记载的技术消除。

本发明是鉴于上述问题而完成的，其目的在于提供用户能识别要翻译的字符串的方向的翻译装置等。

用于解决问题的方案

为了解决上述问题，本发明的一方式的翻译装置对拍摄图像中包含的字符进行识别，对识别出的字符进行翻译并将其显示在显示部，上述翻译装置的特征在于，具备：翻译字符串方向决定单元，其决定翻译字符串方向，上述翻译字符串方向是要翻译的字符串的方向；翻译字符串方向显示控制单元，其将翻译字符串方向信息显示在显示部，上述翻译字符串方向信息是表示上述翻译字符串方向决定单元决定的翻译字符串方向的信息；以及翻译单元，其针对上述识别出的字符，将上述翻译字符串方向决定单元决定的方向视为字符串的方向来对一串字符进行翻译。

发明效果

根据本发明的一方式，由于提示表示要翻译的字符串的方向的信息，因此具有用户能容易识别要翻译的字符串的方向的效果。

附图说明

图1是表示本发明的实施方式的翻译装置的主要部分构成的框图。

图2是表示上述翻译装置的画面例的图。

图3是表示上述翻译装置的翻译处理的流程的流程图。

图4是表示上述翻译装置的翻译处理的流程的流程图。

图5是表示上述翻译装置的翻译处理的流程的流程图。

图6是表示上述翻译装置的翻译处理的流程的流程图。

图7是用于说明以往技术的问题点的图，(a)是表示纵画面的 例子的图，(b)是表示横画面的例子的图，(c)是表示纵画面和横画面的区别是困难的状况的图。

具体实施方式

〔实施方式1〕

参照图1～图3说明本发明的一实施方式。图1是表示本实施方式的便携终端(翻译装置)1的主要部分构成的框图。便携终端1通过OCR(Optical Character Recognition：光学字符识别)对拍摄中的图像中包含的字符串进行字符识别处理，并进行通过字符识别处理取得的字符(串)的翻译。在执行翻译处理时，若通过字符识别处理取得的字符串的方向和执行翻译处理的字符串的方向(以下，称为翻译字符串方向)不同，则不能准确地执行翻译处理。由此，便携终端1将表示执行翻译处理的字符串的方向的信息在适当的定时显示在适当的位置。由此，用户能容易地识别翻译字符串方向。

〔便携终端1的构成〕

如图1所示，便携终端1包含控制部10、触摸面板11、拍摄部12以及方向检测部13。

触摸面板11具备显示部16和操作接收部17(输入面)，接收对输入面的接触或接近，将表示有接触或接近的位置的信息通知给控制部10，并且显示由控制部10通知的信息。

显示部16进行信息的显示，例如是液晶显示器、有机EL显示器等。操作接收部17是接收用户的输入操作的用户界面，配置在与显示部16的显示画面重叠的位置。

拍摄部12是用于拍摄对象物的拍摄装置，是所谓的照相机。此外，拍摄部12可以拍摄照片等静止图像，也可以拍摄动态图像等视频。另外，也能拍摄静止图像和视频两者。拍摄部12由控制部10控制，拍摄对象物。另外，拍摄部12将拍摄到的静止图像、动态图像输出给图像取得部21。

方向检测部13检测便携终端1的方向，并将检测到的结果通知 给显示控制部23。作为方向检测部13的例子，可列举地磁传感器、陀螺仪传感器等。

控制部10执行包含取得的图像的字符识别处理、翻译处理等的便携终端1的各种处理，包含图像取得部21、AF处理部22、翻译字符串方向决定部(翻译字符串方向决定单元)23、翻译字符串方向显示控制部(翻译字符串方向显示控制单元)24、字符识别部(被拍摄体角度判断单元)25以及翻译部(翻译单元)26。

图像取得部21通过拍摄部12取得图像，并将取得的图像发送给字符识别部25。

AF处理部22进行对准拍摄部12的焦点的处理(AF(Auto Focus：自动对焦)处理)，并且在开始了该处理时，将这一情况通知给翻译字符串方向判断部23。

翻译字符串方向决定部23在从AF处理部22接收到开始AF处理的通知时，参照由方向检测部13通知的便携终端1的方向，决定便携终端1的方向和进行翻译处理的字符串的方向的关系。更详细地说，例如，在将英语翻译成其它语言的情况下，由于英语的字符串是横的，因此当便携终端1处于纵画面状态时，将便携终端1的短边方向决定为翻译字符串方向，当便携终端1处于横画面状态时，将便携终端1的长边方向决定为翻译字符串方向。在此，纵画面状态是指在显示画面为长方形的便携终端1中显示画面的长边比短边接近垂直的状态的情况下的显示状态，横画面状态是指短边比长边接近垂直的状态的情况下的显示状态。

翻译字符串方向显示控制部24将表示翻译字符串方向决定部23决定的翻译字符串方向的信息按规定时间显示在显示部16。表示翻译字符串方向的信息是表示字符的方向及字符串的方向与便携终端1的方向的关系的信息。

图2示出表示翻译字符串方向的信息的例子。图2表示便携终端1的显示画面例，图标(翻译字符串方向信息)101是表示翻译字符串方向的信息。图标101由“A”表示字符的方向，由几行横线(横杠)表示翻译字符串的方向。由此，在图标101的例子中，表示进 行字符的方向为显示画面的长边方向而字符串的方向为显示画面的短边方向的字符串的翻译。此外，图标101不限于此，只要是能识别字符的方向和字符串的方向的显示，可以是任意的。例如，字符的方向不限于“A”这样的显示，可以是其它字母，也可以是其它语言。另外，也可以使用不是语言的箭头等来进行显示。另外，字符串的方向不限于线，也可以是箭头、语句、图形等。另外，图标101也可以是半透明的。

另外，图标101的显示位置在作为翻译对象的字符串的附近，例如，在显示画面的大致中央。由此，用户能明确地识别图标101。这是因为，用户注视作为翻译对象的字符串的可能性高，如果将图标101显示在作为翻译对象的字符串的附近，则图标101进入用户的视野的可能性变高。

另外，规定时间是指用户能够识别并且显示图标101不会让用户感到烦扰的时间，例如为1秒程度(0.5秒～1.5秒)。

字符识别部25进行图像取得部21取得的图像中包含的字符的识别处理。例如通过OCR进行字符识别处理。然后，将字符识别处理的结果通知给翻译部26。

翻译部26对由字符识别部25通知的字符识别处理的结果进行翻译处理。将在翻译字符串方向决定部23决定的方向排列的字符作为一个字符串来进行翻译处理。

〔翻译处理的流程〕

接着，参照图3说明便携终端1的翻译处理的流程。图3是表示便携终端1的翻译处理的流程的流程图。如图3所示，当开始拍摄时，AF处理部22开始AF处理(S1)，并且与之并行地，图像取得部21取得图像(S21)。

并且，当开始AF处理时，翻译字符串方向决定部23决定翻译字符串方向(S2)，翻译字符串方向显示控制部24将表示决定的翻译字符串方向的信息(翻译字符串方向信息)显示在显示部16(S3)。之后，当便携终端1的方向有变化时(在S4中为“是”)，翻译字符串方向决定部23将翻译字符串方向决定为与变化后的便携终端1的 方向一致，翻译字符串方向显示控制部24将表示决定的翻译字符串方向的翻译字符串方向信息显示在显示部16。并且，在便携终端1的方向不变化(在S4中为“否”)，经过规定时间(在S5中为“是”)时，翻译字符串方向显示控制部24消去翻译字符串方向信息(S6)。

另一方面，由字符识别部25对由图像取得部21取得的图像进行字符识别处理(S22)，翻译部26在字符串排列在翻译字符串方向决定部23决定的翻译字符串方向的情况下对字符识别处理的结果进行翻译处理(S23)。然后，将翻译结果显示在显示部16(S24)。

另外，开始AF处理，之后，在AF处理结束后(在S11中为“是”)，当焦点不对准或探测到对触摸面板11的接触时(在S12中为“是”)，返回步骤S1的AF处理。另一方面，如果焦点对准，或没有对触摸面板11的接触(在S12中为“否”)，直接返回拍摄中。

此外，步骤S3的翻译字符串方向显示处理和步骤S11的AF处理结束没有关系，不管AF处理是否结束(不管焦点对准还是不对准)，都进行翻译字符串方向显示处理。

〔实施方式2〕

参照图4说明本发明的另一实施方式。在本实施方式中，显示表示被拍摄体倾斜的信息这一点与上述实施方式1不同。被拍摄体(例如，记载有字符等的书)倾斜的状态是指被拍摄体与便携终端1的拍摄方向不垂直(或大致垂直)的状态。

在被拍摄体倾斜的情况下，记载在被拍摄体上的字符也会以具有角度的状态被拍摄，由此使字符识别处理的精度降低。并且，当字符识别处理的精度降低时，之后的翻译结果会变得不准确。由此，将被拍摄体处于倾斜的状态的内容通知给用户，由此能确保翻译处理的正确性。

在本实施方式中，使用字符识别部25的字符识别处理的结果，提取被拍摄体的倾斜度，在倾斜度超过规定值的情况下，将该倾斜度通知给翻译字符串方向显示控制部24。当字符识别部25将表示倾斜度超过规定值的信息通知给翻译字符串方向显示控制部24时，使显示部16显示的图标101的显示改变颜色、闪烁等而变得不同。例 如，在倾斜度不超过规定值的情况下，使图标101的颜色呈白色，当倾斜度超过规定值的情况下，使图标101的颜色呈红色。或者，在倾斜度不超过规定值的情况下，直接显示图标101，在倾斜度超过规定值的情况下，闪烁地显示图标101。另外，可以根据倾斜度的程度来改变颜色的浓度，也可以改变闪烁的周期。

此外，在字符识别处理中，检测被拍摄体的倾斜度的技术是公知的，因此在此省略其说明。

参照图4说明本实施方式的翻译处理的流程。在图4中，与上述实施方式1的图3不同的点是步骤3和步骤S22。在本实施方式中，加入步骤22a的“字符识别处理和倾斜度提取”来代替图3的步骤22的“字符识别处理”，加入步骤3a的“翻译字符串方向显示(包含倾斜度信息)”来代替图3的步骤3的“翻译字符串方向显示”。

〔实施方式3〕

参照图5、6说明本发明的另一实施方式。在本实施方式中，与上述实施方式不同的是显示图标101的定时。在上述实施方式中，开始AF处理时，决定翻译字符串方向，进行图标101的显示，但是在本实施方式中，方向检测部13检测便携终端1的纵横，在便携终端1的纵横有变化，换句话说，在纵画面状态和横画面状态有切换时，决定翻译字符串方向，进行图标101的显示。

图5表示代替上述实施方式1的AF处理而进行便携终端1的纵横切换检测的情况下的流程图。在本实施方式中，经过了代替图2的步骤S1的“AF处理开始”的步骤S31的“纵/横切换检测”时(在S31中为“是”)，进入下一步骤S2。

图6表示代替上述实施方式2的AF处理而进行便携终端1的纵横切换检测的情况下的流程图。在本实施方式中，经过了代替图3的步骤S1的“AF处理开始”的步骤S31的“纵/横切换检测”时(在S31中为“是”)，进入下一步骤S2。

〔其它〕

此外，在上述实施方式中，是以字符串是横的语言(例如英语)为前提进行记载的，但是翻译对象语言不限于此，也可以是字符串 为纵的语言。特别是，本发明的图标101明确地显示作为翻译对象的字符的方向和字符串的方向。因此，可以说在字符串不限定于横的情况的方面，本发明是更有效的。这是因为，便携终端1的方向仅表示字符的方向，不表示横写或纵写的信息。因此，用户难以判断哪个方向的字符串被翻译。

另外，作为上述本实施方式的便携终端1的适用场景，可以列举以下的例子。例如，在由便携终端1执行字符串的翻译处理的情况下，用户注视作为翻译对象的字符串。由此，即使在显示部16的角部提示某种信息，用户也可能识别不到。并且，作为一般的人的倾向，调整便携终端1(的照相机(拍摄部12)的位置)，使得作为翻译对象的字符串尽量写在显示部16的中央附近。

并且，在记载有翻译对象的字符串的书等水平放置于桌子等的情况下，拍摄该字符串的便携终端1也处于接近水平的状态。在该状态下，便携终端1的纵画面状态和横画面状态频繁切换的可能性高，用户难以识别便携终端1是纵画面还是横画面。由此，有可能处于与用户的意图不同的画面状态。并且，在这种状态下不能适当地执行翻译的情况下，用户无法知道不能适当翻译的理由是什么，会带来困惑。

根据上述本实施方式，将表示翻译字符串方向的信息(图标101)显示在进入用户的视野的可能性高的位置，因此在翻译对象的字符串的方向与翻译字符串方向不同的情况下，用户能容易地对其进行识别。由此，能防止由于翻译对象的字符串的方向和翻译字符串方向不同而不能适当地执行翻译处理而给用户带来困惑的情况。

此外，在上述实施方式中说明了执行翻译处理的便携终端1，但是也能应用到仅进行字符识别处理的装置、在字符识别处理之后进行各种检索的装置等。

〔软件的实现例〕

便携终端1的控制部分(特别是图像取得部21、AF处理部22、翻译字符串方向决定部23以及翻译字符串方向显示控制部24)可以 由形成于集成电路(IC芯片)等的逻辑电路(硬件)实现，也可以使用CPU(Central Processing Unit：中央处理单元)由软件实现。

在后者的情况下，便携终端1具备：执行实现各功能的软件即程序的命令的CPU、将上述程序和各种数据能读取地记录在计算机(或CPU)中的ROM(Read Only Memory：只读存储器)或存储装置(将其称为“记录介质”)、展开上述程序的RAM(Random Access Memory：随机存取存储器)等。并且，通过使计算机(或CPU)从上述记录介质读取并执行上述程序，能实现本发明的目的。作为上述记录介质，能使用“非暂时性有形介质”，例如，磁带、磁盘、卡、半导体存储器、可编程逻辑电路等。另外，上述程序可以通过能传送该程序的任意的传送介质(通信网络、广播波等)提供给上述计算机。此外，在本发明中，上述程序代码也能以在电子传送中具体化的、载波上承载的数据信号的形式实现。

〔总结〕

本发明的方式1的翻译装置是对拍摄图像中包含的字符进行识别，对识别出的字符进行翻译并将其显示在显示部的翻译装置(便携终端)，上述翻译装置(便携终端)具备：翻译字符串方向决定单元(翻译字符串方向决定部)，其决定翻译字符串方向，上述翻译字符串方向是要翻译的字符串的方向；翻译字符串方向显示控制单元(翻译字符串方向显示控制部)，其将翻译字符串方向信息显示在显示部，上述翻译字符串方向信息是表示上述翻译字符串方向决定单元决定的翻译字符串方向的信息；以及翻译单元(翻译部)，其针对上述识别出的字符，将上述翻译字符串方向决定单元决定的方向视为字符串的方向来对一串字符进行翻译。

根据上述构成，由于将翻译字符串方向显示在显示部，用户能容易识别翻译字符串方向。

本发明的方式2的翻译装置可以是，在上述方式1中，上述翻译字符串方向显示控制单元在上述显示部在与显示着的翻译对象的字符重叠的位置、要接触的位置或者在上述显示部的中央显示上述翻译字符串方向信息。

一般而言，在拍摄中将某种信息显示在显示部的情况下，为了不影响被拍摄体，尽量显示在显示部的角部的情况较多。

然而，根据上述构成，将翻译字符串方向信息显示在与翻译对象字符重叠的位置、要接触的位置或显示部的中央，因此用户能以非常高的准确率识别翻译字符串方向信息。由此，能防止用户忽视翻译字符串方向信息而不能识别翻译字符串方向而感到困惑。

本发明的方式3的翻译装置可以是，在上述方式1或2中，上述翻译字符串方向显示控制单元在本装置的拍摄处理中的自动对焦已开始时，或者在本装置的上述显示部切换了纵画面状态和横画面状态时，将上述翻译字符串方向信息显示在上述显示部，上述纵画面状态是矩形的上述显示部的长边比短边接近垂直的状态的情况下的显示，上述横画面状态是上述显示部的短边比长边接近垂直的状态的情况下的显示。

在自动对焦开始时，或者在本装置的纵画面状态和横画面状态切换时，用户对本终端进行某种操作的可能性高。由此，根据上述构成，能在用户对本终端进行某种操作的可能性高时，换句话说在用户注视本终端的可能性高时，显示翻译字符串方向信息。

本发明的方式4的翻译装置可以是，在上述方式1～3的任一个中，上述翻译字符串方向显示控制单元将显示在上述显示部的上述翻译字符串方向信息在经过规定时间后从该显示部消去。

根据上述构成，将翻译字符串方向信息经过规定时间后从显示部消去，因此能防止由于持续显示翻译字符串方向信息，用户难以看到翻译对象字符、翻译结果的情况。此外，规定时间是显示不会让用户感到烦扰的时间，例如1秒程度(0.5秒～1.5秒)。

本发明的方式5的翻译装置可以是，在上述方式1～4的任一个中，具备被拍摄体角度判断单元，上述被拍摄体角度判断单元判断被拍摄体和与拍摄方向垂直的面的角度是否超过规定值，在上述被拍摄体角度判断单元判断为上述角度超过规定值时，上述翻译字符串方向显示控制单元使上述翻译字符串方向信息包含表示上述角度超过规定值的要点的信息，并将其显示在上述显示部。

一般而言，当被拍摄体和与拍摄方向垂直的面的角度大到一定程度以上时，不能准确地进行字符识别处理。并且，如果字符识别处理不准确，则翻译处理也不准确。根据上述构成，当被拍摄体和与拍摄方向垂直的面的角度超过规定值时，显示翻译字符串方向信息，该翻译字符串方向信息包含表示超过规定值的意思的信息。由此，用户能知道被拍摄体的角度是不合适的，能防止翻译处理不准确。此外，拍摄方向是拍摄部拍摄的方向(照相机面对着的方向)。

本发明的方式6的翻译装置的控制方法是对拍摄图像中包含的字符进行识别，对识别出的字符进行翻译并将其显示在显示部的翻译装置的控制方法，上述翻译装置的控制方法的特征在于，针对上述翻译装置，包含：翻译字符串方向决定步骤，决定翻译字符串方向，上述翻译字符串方向是要翻译的字符串的方向；翻译字符串方向显示控制步骤，将翻译字符串方向信息显示在显示部，上述翻译字符串方向信息是表示在上述翻译字符串方向决定步骤中决定的翻译字符串方向的信息；以及翻译步骤，针对上述识别出的字符，将上述翻译字符串方向决定步骤中决定的方向视为字符串的方向来对一串字符进行翻译。

由此，得到与上述方式1相同的效果。

本发明的各方式的翻译装置可以由计算机来实现，在该情况下，通过使计算机作为上述翻译装置具备的各单元来工作而由计算机实现上述翻译装置的翻译装置的控制程序以及记录其的计算机可读取记录介质也纳入本发明的范畴。

本发明不限于上述各实施方式，能在权利要求示出的范围内做各种变更，将不同的实施方式中分别公开的技术手段适当组合而得到的实施方式也包含在本发明的技术范围中。而且，通过将各实施方式中分别公开的技术手段组合，能形成新的技术特征。

工业上的可利用性

本发明能利用于具备翻译功能的便携终端。

附图标记说明

1 便携终端(翻译装置)

21 图像取得部

22 AF处理部

23 翻译字符串方向决定部(翻译字符串方向决定单元)

24 翻译字符串方向显示控制部(翻译字符串方向显示控制单元)

25 字符识别部(被拍摄体角度判断单元)

26 翻译部(翻译单元)

101 图标(翻译字符串方向信息)。