焦点状态显示设备和焦点状态显示方法

专利名称：焦点状态显示设备和焦点状态显示方法
技术领域：
本发明涉及一种用于显示照相机的焦点状态的设备及其显示方法，尤其涉及一种用于显示小型便携式照相机和在配备照相机的便携式终端装置(比如配备有成像功能的便携式电话)中设置的定焦照相机的焦点状态的技术。
背景技术：
近年来，随着体积小、功耗低的图像传感器的发展，具有内置相机的便携式装置，比如PDA(个人数字助理)、便携式电话和便携式PC(个人电脑)已经在广泛使用。
这些便携式装置能够利用例如诸如内置CCD的相机之类的相机来拍摄图像和印刷材料，以代替记笔记。它们也能够把这种被摄图像存储在便携式装置中，并通过便携式装置的电子邮件功能用因特网把被摄图像发送到其它便携式装置和PC。
安装在这种便携式装置中的相机被制造得尽可能地小而轻。一般来说，使用分辨率低于正常数码相机的分辨率的、即约10万到30万有效像素的相机。
安装在便携式终端装置中的相机在机体大小和成本上也有严格的限制，因此一般来说，不安装自动聚焦装置。当用户使用这样一个内置相机拍摄图像时，在内置相机的拍摄范围内的图像被显示在一个显示屏上，例如在便携式终端装置中设置的LCD(液晶显示器)上。这样，就有可能在确认显示屏的同时调节焦点进行拍摄。
为了在拍摄时调节焦点，尽管用户可以如上所述地在确认显示屏的同时进行聚焦，但是也可以由便携式终端装置显示焦点状态而进行聚焦，同时用户确认焦点状态的显示以及显示屏。便携式终端装置可包括根据利用内置相机接收的图像的信号分量显示焦点状态的功能。
在专利文件1(日本专利公开(Kokai)号3-11884A(1991))中描述的一种成像设备涉及一种诸如具有取景器和焦点控制装置的摄像机之类的成像设备。该设备包括一个焦点状态显示设备，用于根据被摄图像信号的高频分量与低频分量的比率在手动调焦时显示焦点状态。
在专利文件2(日本专利公开(Kokai)号2002-196225A)中描述的焦点状态显示设备和显微镜设备包括一个焦点状态显示设备，图像数据的空间频率的高频分量被其提取，以生成差分图像数据，着色是按照指示数据的高频分量的像素值改变的，并利用色差来通知焦点状态。
发明公开在这样一个配备相机的便携式终端装置中设置的诸如LCD之类的显示设备体积小而且像素少，所以显示的图像粗糙。因此，在例如用肉眼确定一个模糊的摄影图像的时候难以聚焦。即使提供如在专利文件1(日本专利公开(Kokai)号3-11884A(1991))和专利文件2(日本专利公开(Kokai)号2002-196225A)中所述的焦点状态显示设备，用户也难以明白所显示的焦点状态，并且有时难以调节焦点。
鉴于这些问题，作出了本发明。本发明的目的是提供一种焦点状态显示设备和一种焦点状态显示方法，其允许用户容易地确定相机的焦点状态，并且即使在其尺寸和分辨率都受限制的配备相机的便携式终端装置的显示设备中，也能精确地确认和调节焦点。
本发明提供一种焦点状态显示设备，它包括焦点区域提取装置，用于从被摄图像信号中提取一个预定区域的图像信号；边缘增强处理装置，用于增强所提取图像信号的边缘；时间积分值计算装置，用于计算边缘增强的图像信号在一定的时间期间的积分值；焦点状态确定装置，用于根据所计算的积分值确定被摄图像信号的焦点状态；以及焦点状态显示装置，用于显示所确定的焦点状态。
本发明也提供一种焦点状态显示设备，它包括焦点区域提取装置，用于从被摄图像信号中提取一定的区域的图像信号；边缘增强处理装置，用于增强所提取图像信号的边缘；直方图准备装置，用于准备边缘增强的图像信号的直方图；方差值计算装置，用于计算所准备的直方图中关于那些不小于一定的阈值的图像信号的方差值；时间积分值计算装置，用于计算所计算的图像信号的方差值在一定的时间期间的积分值；焦点状态确定装置，用于根据所计算的积分值确定被摄图像信号的焦点状态；以及焦点状态显示装置，用于显示所确定的焦点状态。
在本发明的焦点状态显示设备中，焦点状态显示装置的特征在于它以定量或定性的方式显示。在这种情况下，定量显示包括显示在焦点状态显示设备中计算的焦点状态的值的大小，其中，随着该值变大，焦点被更准确地调节。另外，定性显示包括根据前述的焦点状态的值的大小改变显示的形式。
这使得能够以用户容易明白的各种形式显示焦点状态。用户能够在观看焦点状态的显示的时候调节摄影图像的焦点，移动和操作成像设备。
在本发明的焦点状态显示设备中，通过焦点状态显示装置的焦点状态的定量显示的例子包括用条形图、电平计、数字值、图形形式的个数等等显示被摄图像信号的焦点状态的形式。
此外，在进行前述的焦点状态的定量显示时，优选的是连同当前焦点状态一起显示从拍摄开始到当前时间的被摄图像信号的焦点状态的最大值。
相比之下，在本发明的焦点状态显示设备中，通过焦点状态显示装置的焦点状态的定性显示的例子包括以下形式。
该焦点状态显示设备的一种形式进一步包括发光装置，其中，焦点状态显示装置通过使发光装置闪烁或发光来显示被摄图像信号的焦点状态。
该焦点状态显示设备的一种形式进一步包括用于发出声音或语音的发声装置，其中焦点状态显示装置通过使发声装置发出声音或语音来显示被摄图像信号的焦点状态。
该焦点状态显示设备的一种形式进一步包括滤波装置，用于去除被摄图像信号的空间频率成分的高频分量，其中焦点状态显示装置根据被摄图像信号的焦点状态来修改要通过滤波装置从图像信号中去除的空间频率分量的范围。
一种形式是，焦点状态显示装置利用显示图像的颜色、显示字符的密度等等显示被摄图像信号的焦点状态。
此外，本发明提供一种照相机，它包括用于拍摄图像的成像装置、用于显示通过成像装置拍摄的图像的图像显示装置、以及前述焦点状态显示设备的任何一个，本发明也提供具有该照相机的便携式终端装置。
本发明也提供一种焦点状态显示方法，该方法包括以下步骤从被摄图像信号中提取一个预定区域的图像信号；增强所提取图像信号的边缘；计算边缘增强的图像信号在一定的时间期间的积分值；根据所计算的积分值确定被摄图像信号的焦点状态；并显示所确定的焦点状态。
本发明也提供一种焦点状态显示方法，该方法包括以下步骤从被摄图像信号中提取某一个区域的图像信号；增强所提取图像信号的边缘；准备边缘增强的图像信号的直方图；计算所准备的直方图中关于那些不小于一定的阈值的图像信号的方差值；计算所计算的图像信号的方差值在一定的时间期间的积分值；根据所计算的积分值确定被摄图像信号的焦点状态；并显示所确定的焦点状态。
本发明也提供一种程序，该程序包括以下步骤从被摄图像信号中提取一个预定区域的图像信号；增强所提取图像信号的边缘；计算边缘增强的图像信号在一定的时间期间的积分值；根据所计算的积分值确定被摄图像信号的焦点状态；并显示所确定的焦点状态。
本发明也提供一种程序，该程序包括以下步骤从被摄图像信号中提取某一个区域的图像信号；增强所提取图像信号的边缘；准备边缘增强的图像信号的直方图；计算所准备的直方图中关于那些不小于一定的阈值的图像信号的方差值；计算所计算的图像信号的方差值在一定的时间期间的积分值；根据所计算的积分值确定被摄图像信号的焦点状态；并显示所确定的焦点状态。
本发明进一步提供一种记录介质，其中记录前述程序的任何一个。
此外，本发明提供一种焦点状态确定设备，它包括边缘检测装置，用于检测被摄图像信号的边缘；时间积分值计算装置，用于计算相邻图像信号的差在一定的时间期间的积分值，借助于边缘检测装置，所检测的边缘构成边界；以及焦点状态确定装置，用于根据通过时间积分值计算装置所计算的积分值来确定被摄图像信号的焦点状态。
按照该焦点状态确定设备，有可能容易地仅仅通过对图像信号的差进行时间积分来确定焦点状态，所述图像信号的差比如是以所检测的边缘构成边界的一个相邻区域的亮度差。特别地，在拍摄对象是字符码的情况中，没有多少必要进行边缘增强，因此仅仅通过前述的边缘检测就能确定焦点状态。
此外，提供一种焦点状态确定设备，它包括直方图准备装置，用于准备被摄图像信号的直方图；方差值计算装置，用于计算所准备的直方图中关于那些不小于一定的阈值的图像信号的方差值；以及焦点状态确定装置，用于根据所计算的图像信号的方差值确定被摄图像信号的焦点状态。
按照前述的焦点状态确定设备，只有直方图中那些不小于某一个阈值的信号才被用于焦点确定。因此，由于高频噪声、用户的手活动等等而生成的边缘能被去除，并且它们的影响能得到控制。
提供一种焦点状态确定设备，它具有焦点状态确定装置，用于在一个能够在标准模式与OCR功能模式之间转换的拍摄对象转换装置转换到OCR功能模式的情况下，确定字符或条形码的焦点状态，其中所述标准模式处理作为拍摄对象的一般图像，所述OCR功能模式处理作为拍摄对象的字符或条形码；以及一个控制部分，用于控制以使得它启动用于识别被摄字符或条形码的码识别装置。该设备可以被构造成使得它在拍摄对象被转换时自动地启动。此外，该设备还可以具有用于确定拍摄对象是一般图像、字符还是条形码的确定装置。
本发明已经考虑了在焦点状态显示设备中设置焦点状态显示装置，该焦点状态显示装置确定被摄图像信号的焦点状态，并按照所确定的焦点状态进行容易为用户所明白的可视的或声学的显示。
以下参考附图详细描述本发明的实施例。
图1至13表示按照本发明的焦点状态显示设备和焦点状态显示方法的例子。附图中具有相同标记的部分代表相同的元素，并且它们的基本构造相同。
附图简述图1显示作为本发明第一实施例的包括焦点状态显示设备的配备相机的便携式终端装置的外观。
图2显示功能框图，它表示在图1中所示的便携式电话10中设置的焦点状态显示设备的构成。
图3示意性地显示图2中所示的聚焦区域提取部分21中的图像的聚焦区域和提取的设置。
图4显示用于在图2中所示的边缘增强处理部分22中的图像信号的边缘增强处理的空间差分算子的例子。
图5显示一种形式，其中焦点状态被显示在按照本发明第一实施例的便携式电话10的LCD显示部分115和116上，其中焦点状态的值是用条形图显示的。
图6显示一种形式，其中焦点状态被显示在按照本发明第一实施例的便携式电话10的LCD显示部分115和116上，其中焦点状态的值是用电平计显示的。
图7显示一种形式，其中焦点状态被显示在按照本发明第一实施例的便携式电话10的LCD显示部分115和116上，其中焦点状态的值是用数字值显示的。
图8显示一种形式，其中焦点状态被显示在按照本发明第一实施例的便携式电话10的LCD显示部分115和116上，其中焦点状态的值是用预定数量的图形形式显示的。
图9显示一种形式，其中焦点状态被显示在按照本发明第一实施例的便携式电话10的LCD显示部分115和116上，其中焦点状态的值是用显示颜色的块显示的。
图10显示用于在图9中所示的显示形式中记录颜色块91与焦点状态值之间的关系的颜色表的构成的例子。
图11显示一种形式，其中焦点状态被显示在按照本发明第一实施例的便携式电话10的LCD显示部分115和116上，其中焦点状态的值是用所显示字符的密度显示的。
图12显示功能框图，它表示作为本发明第四实施例在配备相机的便携式装置中设置的焦点状态显示设备的构成。
图13显示一个图形，该图形表示在图2的直方图处理部分23中相对于要被边缘增强的图像数据信号的值生成的关于边缘亮度和频率之间的关系的直方图。
图14显示按照本发明的实施例的便携式电话的示意构成的例子的功能框图。
图15示意性地显示照相机112的透镜焦深转换机构的构成的例子，它表示用于正常拍摄和OCR功能模式的焦深转换机构的例子。
图16显示一个流程图，该流程图描述在按照本发明第五实施例的包括焦点状态显示设备的配备相机的便携式电话中的、重点在于OCR功能的处理的流程。
图17显示一个流程图，该流程图描述在按照本发明第五实施例的包括焦点状态显示设备的配备相机的便携式电话中的、重点在于OCR功能的处理的流程。
图18显示一个流程图，该流程图描述在按照本发明第五实施例的包括焦点状态显示设备的配备相机的便携式电话中的、重点在于OCR功能的处理的流程。
图19显示一个流程图，该流程图描述在按照本发明第五实施例的包括焦点状态显示设备的配备相机的便携式电话中的、重点在于OCR功能的处理的流程。
图20显示一个流程图，该流程图描述在按照本发明第五实施例的包括焦点状态显示设备的配备相机的便携式电话中的、重点在于OCR功能的处理的流程。
图21显示在按照本发明第五实施例的包括焦点状态显示设备的配备相机的便携式电话中的处理的流程中，显示装置上所显示的内容。
图22显示在按照本发明第五实施例的包括焦点状态显示设备的配备相机的便携式电话中的处理的流程中，显示装置上所显示的内容。
图23显示在按照本发明第五实施例的包括焦点状态显示设备的配备相机的便携式电话中的处理的流程中，显示装置上所显示的内容。
图24显示在按照本发明第五实施例的包括焦点状态显示设备的配备相机的便携式电话中的处理的流程中，显示装置上所显示的内容。
图25显示在按照本发明第五实施例的包括焦点状态显示设备的配备相机的便携式电话中的处理的流程中，显示装置上所显示的内容。
图26显示在按照本发明第五实施例的包括焦点状态显示设备的配备相机的便携式电话中的处理的流程中，显示装置上所显示的内容。
图27显示在按照本发明第五实施例的包括焦点状态显示设备的配备相机的便携式电话中的处理的流程中，显示装置上所显示的内容。
图28显示在按照本发明第五实施例的包括焦点状态显示设备的配备相机的便携式电话中的处理的流程中，显示装置上所显示的内容。
图29显示在按照本发明第五实施例的包括焦点状态显示设备的配备相机的便携式电话中的处理的流程中，显示装置上所显示的内容。
图30显示在按照本发明第五实施例的包括焦点状态显示设备的配备相机的便携式电话中的处理的流程中，显示装置上所显示的内容。
图31显示在按照本发明第五实施例的包括焦点状态显示设备的配备相机的便携式电话中的处理的流程中，显示装置上所显示的内容。
图32说明性地显示一种方式，其中利用按照本发明的配备相机的便携式电话拍摄例如印在名片上的URL。
实施本发明的最佳方式第一实施例本发明的第一实施例是一个包括焦点状态显示设备的配备相机的便携式电话/PHS(个人手持电话系统)(为了简化描述，下文中简称为“便携式电话”)。图1显示包括焦点状态显示设备的配备相机的便携式电话的外观。图1(A)显示本实施例的便携式电话的后视图，以及图1(B)显示其前视图。图14显示一个功能框图，它表示按照本实施例的便携式电话的示意构成的例子。
在图1中，配备相机的便携式电话10包括一个机体部分10a和一个用于进行无线电通信的天线111。机体部分10a的背面包括用于拍摄图像的相机112(成像装置)、用于通过闪烁或发光而通知焦点状态的LED(发光二极管)113(发光装置)、用于利用声音或语音通知焦点状态的扬声器114(发声装置)、以及用于显示一个子屏的小LCD(液晶显示器)显示部分116(显示装置)。
机体部分10a的前面也包括用于显示一个主屏的LCD显示部分115(显示装置)、用于开/关电源的电源键117、用于操作呼入电话、呼出电话、电话功能切换、性能的确定等等的电话功能键118、用于切换各种功能的模式键119、用于在上下左右方向上移动选择对象的光标键120、用于确定要从相机输入的图像的拍摄的快门键121、用于拨号诸如输入的电话号码的包括薄膜键的拨号键122、用于语音放大以进行呼叫接收的扬声器123以及用于输入语音的话筒124。
在本例中，相机112是一个要被设置在便携式装置中的小而轻的相机。例如，该相机可以是一个30万像素的CCD(电荷耦合器件，一种区域类型固态成像装置)相机。
此外，LCD显示部分115和116是使用诸如LCD显示器之类的装置构成的，所述LCD显示器具有点阵结构、作为背光的PDP(等离子体显示板)和有机EL(电致发光)，以及作为这些装置与便携式电话10的内部系统之间的接口的各种驱动器。
当操作便携式电话10时，用于执行各种操作的引导、接收信息、图像、文本信息、图标等等被显示在LCD显示部分115和116上。
当用相机112进行拍摄时，焦点状态与从相机112输入的图像一起被显示在LCD显示部分115和116上。当用户调节相机112的位置时，可以识别到随之改变的拍摄对象。当焦点被调节时，其信息被显示在LCD显示部分115和116上，并通过经扬声器114或用于语音放大的扬声器123生成预定的声音而向用户通知。
在本发明的便携式电话中，前述的焦点状态的显示和焦点被调整的通知，可以由LCD显示部分115和116、LED113、扬声器114或用于语音放大的扬声器123的任何一个或其组合执行。
如图14中所示，按照本实施例的便携式电话10包括CPU(控制部分)231，用于控制整个设备(包括拍摄过程转换装置，用于字符、码等的识别装置(OCR功能)，信息处理装置，帧速率控制装置，定时器设置装置等等)；存储器232，包括半导体存储器，比如用于存储控制程序、固定数据等等的ROM，以及作为用于CPU的操作的存储区的RAM，以及硬盘驱动器，该存储器存储接收的或输入的字符信息、图像信息和语音信号。便携式电话10进一步包括照相机112(成像装置)，用于输入作为对象处理的图像信息；灯234(发光装置)，用于在成像时通过用户的操作而发光；LCD显示部分115(显示装置，输出(通知)装置的一部分)，用于向用户显示字符信息和图像信息；键输入部分122，用于输入和生成来自用户的键操作信息；天线111，用于发射和接收无线电波；无线电部分238，用于控制无线电通信的发射和接收；扬声器114(输出(通知)装置的一部分)，用于输出语音信号；以及话筒124，用于输入来自用户的语音信号。
控制部分231控制整个便携式电话10，并且也有OCR功能。控制部分利用照相机112拍摄例如字符，显示图像信息，识别例如字符，并根据键操作按照所识别的内容进行处理。
特别地，控制部分231具有拍摄过程转换装置，用于在例如拍摄自然图像时与在拍摄字符、条形码等等的OCR功能模式下拍摄时之间，为字符识别(OCR)、捕获等等的目的而转换至少一部分处理。控制部分231进一步具有用于在处理被转换到OCR功能模式时识别字符、条形码等的OCR功能，用于通知用户经OCR功能所识别的结果的通知装置，以及作为用于根据经OCR功能所识别的内容进行预定处理的信息处理装置的功能。
此外，控制部分231具有作为帧速率控制装置的功能，通过该功能，当处理被转换到OCR功能模式时，控制部分以能从照相机112中获得的快的帧速率在显示部分115上显示一个图像，直到OCR功能被启动，并且在OCR功能被启动后，该图像被拍摄，并以该OCR功能所必需的一个帧速率进行显示。
ROM是一种只读半导体存储器，用于存储固定数据，比如在控制部分231操作时所必需的程序和通信控制数据。RAM被用作所谓的工作存储器，用于暂存关于条形码识别和通信的数据、用于计算的数据、计算结果等等。要在便携式电话10中处理的程序在RAM中被展开，然后被执行。
图15示意性地显示照相机112的透镜焦深转换机构的构成的例子，它表示用于正常拍摄和OCR功能模式的焦深转换机构的例子。如图15中所示，透镜焦深转换机构包括一个相机模块250，其具有一个诸如CCD之类的固态成像器件及其信号输出电路；一个例如用螺丝安装在相机模块250上的透镜单元252，透镜单元在其内部具有一个透镜251；以及安装在透镜单元252外围部分上的相机操纵杆253，相机操纵杆253转动透镜单元252。透镜单元252被用螺丝安装在相机模块250上。当相机操纵杆253的手柄253a在A←→B方向上移动时，透镜单元252在X←→Y方向相对于相机模块250移动。因此，附在透镜单元252上的透镜251与相机模块250之间的焦距被转换，从而使得在正常拍摄与OCR功能工作时之间的焦深被转换。在本实施例中，当OCR功能在工作时，相机操纵杆253被一个例如已经从控制部分231(图14)接收一个驱动信号的包括螺线管的驱动部分(图中省略)滑动，然后，焦深被自动转换。可以在相机机身上设置一个与相机操纵杆253的手柄253a互锁的滑动手柄，以便具有例如在OCR功能工作时通过用户对微距摄影的手动操作进行转换的构造。
图2显示一个功能框图，它表示在本实施例的便携式电话10中设置的焦点状态显示设备的构成。
在图2中，本实施例的焦点状态显示设备包括成像装置20(对应于便携式电话10的相机112)，焦点区域提取部分21，边缘增强处理部分22，直方图处理部分23，方差值计算处理部分24，时间积分值计算处理部分25，焦点状态确定装置26，焦点状态显示装置31，以及显示图像合成部分32。
从成像装置20中捕获的图像，在焦点区域提取部分21、边缘增强处理部分22、直方图处理部分23、方差值计算处理部分24、时间积分值计算处理部分25、焦点状态确定装置26和焦点状态显示装置31中被处理，由此生成焦点状态的一个显示图像。焦点状态的显示图像和从成像装置20中捕获的图像在显示图像合成部分32中被合成，然后被输出到LCD显示部分115和116。
在本实施例的焦点状态显示设备和配备焦点状态显示设备的配备相机的便携式电话中，上述以外的部件的构成与常规的相同，并在本例中省略对它们的描述。
下面参考图2，说明上述的本实施例中的便携式电话10和焦点状态显示设备的操作。
当利用本实施例的便携式电话10的相机112拍摄一个图像时，在成像装置20中捕获的图像在焦点区域提取部分21中被提供一个焦点区域设置，然后提取在该焦点区域的范围中包括的图像信号的亮度信号。
图3示意性地显示本例中的聚焦区域的设置和图像的提取。在图3中，在通过成像装置20捕获的一个图像41的中心部分设置一个矩形焦点区域42，并提取焦点区域42中包括的图像信号。焦点区域的大小、形状和位置等可以任意地改变，并且也可以由用户任意地设置。
将在焦点区域提取部分21中提取的亮度信号进行局部乘法和累加处理，然后在边缘增强处理部分22中用空间差分算子进行绝对值处理，由此生成边缘增强的图像信号数据。图4显示在边缘增强处理部分22中使用的空间差分算子的例子。
在该过程后，本实施例的焦点状态显示设备具有以下两个方法来根据前述的边缘增强的图像信号数据确定焦点状态。
在第一种方法中，在时间积分值计算处理部分25中计算一个时间积分值，其中在某一段时间期间的边缘增强的信号被积分。在本例中，某一段时间期间被设置作为用于减少上述信号的值的时间波动所产生的影响以及平均图像信号所需的时间。这稳定了焦点状态的确定。然后，在焦点状态确定装置26中，通过将在值计算处理部分25中所计算的时间积分值除以一个预定值，计算焦点状态的值。如果焦点状态的值大，则确定焦距为调节过的；如果焦点状态的值小，则确定焦距为未调节过的。
在第二个方法中，在直方图处理部分23中，相对于边缘增强的信号的值生成关于边缘强度和频率之间的关系的如图13中所示的直方图。然后，在方差值计算处理部分24中，只用前述的直方图中那些不小于某一个阈值的信号来计算信号的方差值。然后，在时间积分值计算处理部分25中计算一个积分值，其中，将以上计算的方差值在某一段时间期间积分。本例中，如上所述，某一段时间期间是为了减少图像信号的值的时间波动所产生的影响以及平均图像信号所需的时间。然而，设置比第一个方法中的某一段时间期间更长的时间。
然后，在焦点状态确定装置26中，通过将在时间积分值计算处理部分25中所计算的时间积分值除以一个预定值，然后加上一个偏移值，计算焦点状态的值。如果焦点状态的值大，则确定焦距为调节过的；如果焦点状态的值小，则确定焦距为未调节过的。
在前述的第二个方法中，只有直方图中那些不小于某一个阈值的信号被使用，以便去除由于焦点区域42中的高频噪声、用户的手活动等等所产生的边缘，以及控制它们的影响。
此外，在从直方图计算方差值时，可以使用一种获得方差值的方法，该方法只使用那些不小于某一个阈值的值和不大于某一个阈值的值。这去除根据在黑暗中摄影时所生成的随机噪声所检测的边缘。
一般来说，当手动相机的焦点被调节时，通过移动一个聚焦环来调节焦点。然而，在涉及定焦相机的情况中，诸如在便携式终端装置中，用户为了调节一个预定的焦距而需要上下移动便携式终端。因此，在本实施例的成像装置20中，在图3中所示的焦点区域42中的图像在上下方向上变化很大，并且图像信号的时间积分值波动很大。
如上所述，通过利用在方差值计算处理部分24中计算的方差值计算时间积分值，焦点区域中图像的变化所产生的影响可以得到控制，并且可以计算出一个稳定的值。
当上述第一个方法与第二个方法进行比较时，尽管第一个方法在所计算的焦点状态的值上的准确性比第二个方法的低，但第一个方法的优点是处理所用的时间较少。相比之下，尽管第二个方法比第一个方法用更多的时间进行处理，但第二个方法的优点是在所计算的焦点状态的值上有更高的准确性。
在本实施例中，可以使用第一个方法或第二个方法。或者，可以通过这两个方法获得时间积分值，以便采用一个更好(更高)准确性的值。
另外，在本实施例中，在前述的第一个方法和第二个方法中，焦点区域提取部分21提取从在成像装置20中捕获的图像中的焦点区域的范围中包括的图像信号的亮度信号。这减少了随后的计算过程所需的时间，并在焦点状态的确定中防止由于不必要的图像部分的影响而产生的准确性的恶化。然而，本发明并不限于此，以及在使用能够进行高速处理的CPU或没有不必要的图像部分的情况中，可以提取关于在成像装置20中捕获的所有图像的图像信号的亮度信号，而不通过焦点区域提取部分21进行提取。
另外，在本实施例中，在前述的第一个方法和第二个方法中，通过借助于边缘增强处理部分22进行边缘增强，对一个具有不清楚的边缘部分的图像中的焦点状态的确定的准确性被改善。然而，本发明并不限于此。如果不存在一个具有不清楚的边缘部分的图像，则可以在随后的处理中使用通过焦点区域提取部分21提取的亮度信号或关于在成像装置20中捕获的所有图像的图像信号的亮度信号，而不通过边缘增强处理部分22进行边缘增强。
此外，在本实施例中，在前述的第二个方法中，时间积分值计算处理部分25通过在某一段时间期间积分一个通过方差值计算处理部分24计算的方差值而计算一个时间积分值。这减少信号的值的时间波动所产生的影响，并改善在焦点状态的确定中的准确性。然而，本发明并不限于此。通过方差值计算处理部分24计算的方差值可以在随后的过程中使用。
在上文中，通过焦点状态确定装置26所计算的焦点状态的值被输入焦点状态显示装置31。焦点状态显示装置31根据焦点的值进行用于向用户显示和通知焦点状态的处理。
焦点状态显示装置31生成一个对应于焦点状态的值的焦点状态显示图像，并把该图像输出到显示图像合成部分32。另外，焦点状态显示装置31能在预定的情况中输出一个用于使该LED闪烁/发光装置113闪烁或发光的信号，或者一个用于使扬声器114和123产生一个声音的信号。
在本例中，前述的预定的情况是这样的情形，其中焦点状态的值变成例如最大值，并且在这个情况中，焦点在成像装置20中被调节。有可能通过使该LED闪烁/发光装置113闪烁或发光或者使扬声器114和123产生预定的声音来通知用户这个信息。
以下参考图5至11具体说明在LCD显示部分115和116上显示焦点状态的例子。焦点状态显示装置31被预先设置，以使得它能执行这些显示。
图5至11显示在本实施例的便携式电话10的LCD显示部分115和116上显示焦点状态的各种形式的示例，本实施例包括如上所述的焦点状态显示设备。在图5中所示的显示形式中，焦点状态是用一个条形图显示的。在图5中，焦点状态显示图51被显示在LCD显示部分115或116上的显示屏53上，其指示的是，随着量规(gauge)向右移动，焦点状态的值变得更高。另外，条52指示至此为止焦点状态的最大值。
根据这样一个焦点状态显示，用户在观看显示屏53并确定焦点状态显示图51的量规变得最大的位置作为相机112的焦点位置的同时能够进行拍摄，上下移动本实施例的便携式电话10。
在图6中所示的显示形式中，焦点状态是用一个电平计显示的。在图6中，焦点状态显示电平计61被显示在LCD显示部分115或116上的显示屏63上，其指示的是，随着电平计的显示电平顺时针从最小到最大移动，焦点状态的值变得更高。另外，条62指示至此为止焦点状态的最大值。
根据这样一个焦点状态显示，用户在观看显示屏63并确定焦点状态显示电平计61的显示电平变得最大的一个位置作为相机112的焦点位置的同时能够进行拍摄，上下移动本实施例的便携式电话10。
在图7中所示的显示形式中，焦点状态是用数字值显示的。在图7中，在LCD显示部分115或116上的显示屏73上，一个对应于焦点状态的数字值被显示在显示窗71上，其指示的是，随着数字值变得更高，焦点状态的值变得更高。另外，显示窗71指示至此为止焦点状态的最大值。
根据这样一个焦点状态显示，用户在观看显示屏73并确定在显示窗71上显示的对应于焦点状态的数字值变得最大的一个位置作为相机112的焦点位置的同时能够进行拍摄，上下移动本实施例的便携式电话10。
在图8中所示的显示形式中，焦点状态是用图形形式的数目显示的。在图8中，在LCD显示部分115或116上的显示屏83上，其数目对应于焦点状态的图形形式81被显示，其指示的是，随着图形形式81的数目变得更大，焦点状态的值变得更大。为了进行这样一个显示，例如可以显示对应于通过将焦点状态的值除以一个预定值得出的商的图形形式。另外，图形形式82显示对应于至此为止焦点状态的最大值的图形形式的数目。
尽管在图8中显示矩形四边形作为例子，但是也可以使用这个形状以外的任何图形形式的形状来显示。
根据这样一个焦点状态显示，用户在观看显示屏83并确定所显示的图形形式81的数目变得最大的一个位置作为相机112的焦点位置的同时能够进行拍摄，上下移动本实施例的便携式电话10。
在图9中所示的显示形式中，焦点状态是用颜色的变化来显示的。在图9中，在LCD显示部分115或116上的显示屏93上显示其颜色对应于焦点状态的一个块91。这个块91的颜色对应于焦点状态的值。
图10显示用于在本例中记录颜色块91与焦点状态的值之间的关系的颜色表的构成的例子。通常，在显示屏93上显示的块91的颜色是使用RGB色素确定的。可以将这些色素的值与焦点状态的值相关联并记录在颜色表中。
图10中所示的例子被构造成使得随着块91的颜色接近绿色，焦点状态的值变得更高，以及随着块91的颜色接近红色，焦点状态的值变得更低。当然，本实施例的焦点状态显示设备的显示形式并不限于此，因此可以使用任何构造的颜色表。
根据这样一个焦点状态显示，用户在观看显示屏93并确定所显示块91最接近绿色的一个位置作为相机112的焦点位置的同时能够进行拍摄，上下移动本实施例的便携式电话10。
在图11所示的显示形式中，焦点状态是用所显示字符的密度显示的。在图11中，字符101“Focus is adjusted”(焦距被调节)以对应于焦点状态的值的密度被显示在LCD显示部分115或116上的显示屏103上。
在这个情况中，字符101的密度被构造成使得它根据焦点状态的值在一个预定范围内波动。例如，该密度可以在一个从0(黑色)到255(白色)的范围中被显示。根据这样一个焦点状态显示，用户在观看显示屏103并确定所显示字符变得最暗的一个位置作为相机112的焦点位置的同时能够进行拍摄，上下移动本实施例的便携式电话10。
第二实施例在本实施例中，由于焦点状态显示设备和配备其的便携式电话10与图1和2中所示的第一实施例中的相同，因此省略对它们的说明。第一实施例被构造成使得焦点状态被显示在LCD显示部分115或116上的显示屏上，如图5至11中所示的那样。相比之下，第二实施例的特征在于，不是在LCD显示部分115或116上显示，或者除了在LCD显示部分115或116上显示外，通过用一个预定的方法使被设置在便携式电话10上的LED 113闪烁或发光以便将焦点状态向用户通知。
在图2中，例如作为用一个预定的方法来使前述的LED 113闪烁的一种方式，可以将焦点状态显示装置31构造成使得它能一直计算一个通过将一个预定的值除以焦点状态的值所获得的值，并用所计算的值作为一个速度(pace)来使LED 113闪烁。这就在焦点状态的值变得更高时按比例地增加LED 113的闪烁的速度，并且用户按照该速度能够确定相机112的焦点状态。
另外，在图2中，例如作为用一个预定的方法使前述的LED 113闪烁的一种方式，可以将焦点状态显示装置31构造成使得它确定焦点状态的值是否大于一个预定值，并且如果焦点状态的值大于该预定值，就使LED 113发光。这使LED 113在焦点状态的值大于该预定值时发光，这样，用户就能按照其确定相机112的焦点状态。
第三实施例在本实施例中，由于焦点状态显示设备和配备焦点状态显示设备的便携式电话10与图1和2中所示的第一实施例中的相同，因此省略对它们的说明。第一实施例被构造成使得焦点状态被显示在显示屏上，即如图5至11中所示的LCD显示部分115与116上。相比之下，第二实施例的特征在于，不是在LCD显示部分115与116上显示(或者除了在LCD显示部分115与116上显示外)，通过使设置在便携式电话10上的扬声器114或123产生一个预定声音而向用户通知焦点状态。
在图2中，例如作为使扬声器114或123产生预定声音的一种方式，可以将焦点状态显示装置31构造成使得它能总是计算一个通过将一个预定的值除以焦点状态的值所获得的值，并使扬声器114或123产生一个其频率对应于所计算的值的声音。这就在焦点状态的值变得更高时按比例地提高通过扬声器114或123所发出的声音的频率，并且用户按照其能够确定相机112的焦点状态。
另外，在图2中，例如作为使前述扬声器114或123产生预定声音的的一种方式，可以将焦点状态显示装置31构造成使得它确定焦点状态的值是否大于一个预定值，并且如果焦点状态的值大于该预定值，就使扬声器114或123产生该预定声音。这就使扬声器114或123在焦点状态的值超过该预定值时产生该预定声音，这样，用户就能按照其确定相机112的焦点状态。
第四实施例本发明的第四实施例是一个配备相机的便携式电话，它包括一个与第一实施例中的相同方式的焦点状态显示设备。图12显示一个功能框图，它表示在便携式电话中设置的焦点状态显示设备的构成。在图中，配有与图2中的相同的标记的部件表示相同的部件，并且省略对其的说明。
图12中，本实施例的焦点状态显示设备包括一个BPF(带通滤波器)80(滤波装置)，其代替图2中所示的显示图像合成部分32，用于去除图像数据信号中的空间频率分量的高频分量。
BPF 80向从自成像装置20输出的例如8×8和16×16的像素块的每个中的图像数据信号应用正交变换，比如FFT(快速傅里叶变换)、DCT(离散余弦变换)和哈达玛变换。在只用每个块的预定范围中的那些频率分量的逆变换之后，可以把图像数据信号输出到LCD显示部分115和116。
焦点状态显示装置31控制BPF 80，以使得它在从焦点状态确定装置26输出的焦点状态的值变低时按比例地扩展要在BPF 80中从图像数据信号中去除的频率分量的范围(高频分量)。以上的要根据焦点状态的值通过BPF 80从图像数据信号中去除的频率分量的范围的方式例如可以如下。
焦点状态显示装置31计算一个通过用焦点状态的值除以一个预定值而获得的值。在BPF 80正交变换每个像素块中的图像数据信号后，BPF 80获得通过焦点状态显示装置31计算的前述值。然后，BPF 80从图像数据信号中包括的空间频率分量中连续地提取较低频率分量，以使得所提取频率分量的数与总数的比率等于相当于前述值的比率值(例如百分比)，在其它频率分量被设定为0的条件下逆变换所提取的频率分量，并将它们输出到LCD显示部分115和116。
根据这样一个焦点状态显示，用户在观看LCD显示部分115和116的显示屏并直觉地确定所显示图像的模糊很小的一个位置作为相机112的焦点位置的同时，能够进行拍摄，上下移动本实施例的便携式电话10。
按照上述每个实施例中的配备相机的便携式电话和设置于其中的焦点状态显示设备，在从相机112捕获的图像数据信号在焦点区域提取部分21、边缘增强处理部分22、直方图处理部分23、方差值计算处理部分24、时间积分值计算处理部分25等中经过一个预定的处理之后，它的焦点状态通过焦点状态确定装置26被确定。并且焦点状态可以以一种容易为用户明白的直观方法，通过焦点状态显示装置31经LCD显示部分115和116、LED113和扬声器114和123被显示或通知。
这允许打算使用便携式电话10来拍摄图像的用户通过参考以可视或声学方式显示的焦点状态而容易地确认和调节焦点。
第五实施例在本实施例中，字符被包括在拍摄对象中。本例中的“字符”除了一般的语言和字符外还包括诸如条形码之类的代码。换言之，字符意味着其中拍摄对象本身被安排成具有一个一般的或通用的意思的显示。
现今，配备相机的便携式电话的功能的改善是显著的。例如，具有10万像素级的像素数的便携式电话的开发正在进行中。另外，随着像素数的改善，各种在过去还是困难的应用已经变得可能。其中一个应用被认为是在便携式电话上安装OCR功能。然而，常规的便携式电话的像素数约为10万，因此，要用便携式电话中设置的相机直接拍摄印在例如名片上的项，即诸如姓名、公司名、电话/传真号码、邮件地址等之类的字符，并在便携式电话中获得这些字符，一直是困难的。
本实施例的便携式电话采用按照前述实施例中的每个的焦点状态显示设备。在配备相机的便携式电话中，通过把数码相机的像素数提高到百万像素级，像素数相当于小型数码照相机的像素数，并且具有令用户满意的画面质量的成像成为可能。本发明人认为，尽管常规的便携式电话有困难，但通过在这样一个配备相机的便携式电话中设置高度像素化的OCR功能，就有可能用在便携式电话中设置的相机直接拍摄诸如姓名、公司名、电话/传真号码、邮件地址等之类的字符，并在便携式电话中获得它们，由此存储在存储器中，并根据所获得的电话号码和邮件地址直接地打电话或发邮件。在这种情况中，如果像素数变大，就有可能用长焦距拍摄长字符串(比如URL)。
然而，在试图一次识别一个长字符串时，字符本身变小，因此相机优选地能够容易地从普通拍摄模式变到特写模式。然而，在常规的设备中，没有给予这方面的技术考虑。另外，为了以良好的状态拍摄小字符串并准确地识别它，优选的是，在拍摄时将作为拍摄对象的字符串准确定位在显示屏上。然而，在常规的设备中，没有给予这方面的技术考虑。
图32示意性地显示一种方式，其中利用按照本实施例的配备相机的便携式电话拍摄例如印在名片上的URL。如图32中所示，当透镜LS的视角为40°并且在特写状态中焦点被调节的距离H是10cm时，能够拍摄的拍摄对象的宽度W是7.28cm。在这个宽度，一次能拍摄例如一个印在名片上的URL。然而，在显示装置(主LCD和副LCD二者)上显示的字符串变小，以至于变得非常难以确认焦点是否被调节，在此场合下按照上述实施例中的每个的焦点状态显示装置能有效地执行。
以下参照


按照本发明的第五实施例的包括焦点状态显示装置的配备相机的便携式电话。图16至20显示描述按照本实施例的包括焦点状态显示装置的配备相机的便携式电话的处理的流程的流程图，重点在于OCR功能。图21至31显示在处理的流程中在显示装置上显示的内容。
在待机屏301中，当该装置被设置到相机模式并在步骤S1执行相机启动过程时，在显示屏302上显示语句“相机在启动”(步骤S2)。在步骤S3，当相机启动完成时，在显示装置上显示一个完成图像(through image)(图21，303)。在这个屏幕上，可以选择“按快门”、“显示菜单”和“取消”。在步骤S4，通过重写将一个拍摄图像保存在一个第一存储器中。在本例中，第一存储器是一个所谓的缓冲存储器，并且第一存储器通过不断重写拍摄操作中的这种图像信号而暂存图像信号以作为成像对象。在步骤S5，在显示装置(309)上显示在第一存储器中保存的拍摄图像。当通过选择“取消”而取消拍摄时，该过程返回到步骤S15中的待机屏(待机模式)(310)。在本例中，当在实际中进行正常拍摄时，省略了步骤S7(按菜单按钮中的否)，并在步骤S8中在快门按钮上进行一个按下操作(是)。
重复从步骤S4至S8的处理，直到快门按钮被按下。
当在步骤S8中快门按钮被按下时，在步骤S9显示一个确认屏(图21，304)。在这个情况下，当选择”取消”时(步骤S10)，则过程返回到步骤S4。当不选择“取消”而是在步骤S11中选择“保存”，则显示“正在保存”(图21的306，图22的311-312)。如果在保存期间的一个预定时间内选择“取消”(步骤S11中的否)，则过程返回到步骤S9。当在选择“保存”之后过去了该预定的时间，则整个拍摄图像的图像数据实际上就能被保存。换言之，在步骤S12，将保存在第一存储器中的拍摄图像例如以JPEG格式压缩，然后在步骤S13，将压缩的图像数据保存在一个第二存储器(比如一个非易失性存储卡)中(步骤S13，图22的313-314)。然后，当过程前进到步骤S14来暂停相机功能时，在步骤S15，过程进入待机模式并进行对其的显示(步骤S15，图21的301，图22的310)。
在步骤S7，当选择按菜单按钮时(是)，过程前进到步骤S16，并显示一个拍摄子菜单屏(图21，305)。在子菜单上，例如显示关于拍摄的项“1”到“9”。在步骤S18，从所显示的子菜单中选择一个希望的项，并且在步骤S18中，确定是否切换拍摄模式。在不进行拍摄模式的切换的情况下，设定所选择的项。在进行拍摄模式的切换的情况下(是)，过程前进到步骤S19，并显示一个拍摄模式菜单屏(图21，307)。在拍摄模式菜单中，例如显示项“1”到“4”。根据选择哪项来执行一个确定过程，过程可前进到步骤S21到S24的任何一个(图16的A到D)。当在步骤S21选择“静止图像”并且然后选择“是”时，则过程返回到步骤S4去执行处理。
当在步骤S22选择“运动图像”时，如图17中所示，过程继续步骤S25，并通过重写在第一存储器中保存一个拍摄图像。然后，在步骤S26，显示在第一存储器中保存的拍摄图像，然后在步骤S27，确定是否按取消按钮。如果按取消按钮(是)，则过程返回到步骤S15中的待机模式。在不按取消按钮(否)的情况下，过程前见到步骤S28，并确定是否按菜单按钮。在随后的步骤S29至S38中，对运动图像拍摄执行基本上与图16的步骤S11至S14中的相同的处理，因此省略在流程图中的描述。
在步骤S24，当选择“字符读取”时(是，图23的315)，过程前进到图18的步骤S39，并显示一个字符读取菜单屏(图23，316)。字符读取的项例如包括“1”URL、“2”邮件地址、“3”电话号码、以及“4”字母数字字符。可以设置其它的项。
在步骤S41，确定URL是否是字符读取的对象项，如果是是，则过程前进到步骤S42，并将“1”存储在存储器中的区域X中。如果在步骤S41中是否，则确定邮件地址是否是字符读取的对象项。如果是是，则过程前进到步骤S43，并将“2”存储在存储区X中。如果在步骤S43中是否，则过程前进到步骤S45，并确定电话号码是否是字符读取的对象项，如果是是，则过程前进到步骤S46，并将“3”存储在存储区X中。如果在步骤S45中是否，则过程前进到步骤S47，并确定字母数字字符是否是字符读取的对象项，如果是是，则过程前进到步骤S48，并将“4”存储在存储区X中。如果在步骤S47中是否，则过程前进到步骤S49。
在步骤S49，通过重写来在第一存储器中保存一个拍摄图像，并在步骤S50中，在显示装置上显示在第一存储器中保存的拍摄图像。在这个情况下，例如如在图23的显示屏37上所示的那样，显示一个代表Abcdef的主页的URL的拍摄对象“abcdef.com”，以作为一个完成图像，并且也显示一个焦点条。例如，显示消息“当焦点条的颜色最接近蓝色时拍摄”，并且用户能够按照这个显示确认焦点状态。换言之，从步骤S51进行焦点的确定，并在步骤S52显示焦点确定的结果。焦点确定及其结果的显示可以按前述的实施例的每个中所描述的处理进行。当焦点被确认时，确定是否按快门按钮(步骤S53)。如果在步骤S53中是否，则在步骤S54中确定是否按菜单按钮。如果菜单按钮被按下(是)，则过程返回到图16的步骤S19，并显示拍摄模式菜单屏。如果菜单按钮不被按下(否)，则在步骤S55确定是否按取消按钮。如果在步骤S55中是否，则过程返回到步骤S49。如果是是，则过程返回到步骤S15，并进入待机模式。
如果在步骤S53中是是，则过程前进到步骤S56，并在矩形区318a中显示“abcdef.com”的拍摄图像，如图23的显示屏318上所示。
然后，在步骤S57，确定是否按取消按钮。如果是是，则过程返回到步骤S49。如果是否，则过程前进到步骤S58，并确定是否按识别按钮。如果是否，则过程返回到步骤S56。如果是是，则在步骤S59通过OCR功能执行一个字符识别过程，并在步骤S60，在显示装置上显示字符识别的结果。然后，过程前进到步骤S61，并根据识别结果确定是否需要再识别。如果是是，则过程返回到步骤S49。如果是否，则过程前进到步骤S62。在步骤S62，确定是否要按菜单按钮。如果是是，则过程前进到图19的步骤S71。如果是否，则过程前进到步骤S63，并确定是否要按回车按钮。如果是否，则过程返回到步骤S60。如果是是，则过程前进到步骤S64。在步骤64，确定“1”是否被存储在前述的存储区X中。如果是是，则过程前进到步骤S67中的URL输入模式。如果是否，则过程前进到步骤S65，并确定“2”是否被存储在前述的存储区X中。如果是是，则过程前进到步骤S68中的邮件写作模式。如果是否，则过程前进到步骤S66，并确定“3”是否被存储在前述的存储区X中。如果是是，则过程前进到步骤S69中的呼出模式。如果是否，则过程前进到步骤S70中的记事本注册模式。
如图19中所示，在步骤S71，显示一个字符识别子菜单屏(图23，323)。在步骤S72从字符识别子菜单的“1”到“7”中以及在步骤S73到S78从前述的“1”到“6”中选择任何一项。例如，在步骤S73中的连续识别中，当“1连续识别”被选择时，则过程前进到步骤S49。如果不选择这个，则在步骤S74中的额外识别中，当“2额外识别”被选择时，过程前进到步骤S39。在步骤S75中电话簿的新注册中，当“3在电话簿中的新注册”被选择时，则过程前进到步骤S79中的电话簿注册模式。如果不选择这个，则在步骤S76中的电话簿中的额外注册中，当“4电话簿中的额外注册”被选择时，过程前进到步骤S80中的电话簿编辑模式。如果不选择这个，则在步骤S77中的书签注册中，当“书签注册”被选择时，过程前进到一个书签注册模式。如果不选择这个，则过程前进到步骤S78中的编辑选择。如果选择“编辑”，则过程前进到步骤S82中的输入编辑模式。如果不选择“编辑”，则过程前进到所选择项的模式。以下描述前述的“1”到“3”的具体过程和显示。
如图20中所示，在续接图16中的代码读取选择步骤的步骤S83中，显示一个代码读取菜单屏(图27，352)。项的例子包括两个类型，即“1”一维条形码和“2”二维条形码(QR码)。在步骤S85，确定是否选择读取一维条形码。如果选择读取一维条形码，则“1”被存储在存储器Y中。之后，或者如果不选择读取一维条形码，则过程前进到步骤S87，并确定是否选择读取二维条形码。如果选择读取二维条形码，则在步骤S88中，将“2”存储在存储器Y中，并且过程前进到步骤S89。如果不选择读取二维条形码，则过程前进到步骤S89而不经过步骤S88。
然后在步骤S89，通过重写来在第一存储器中保存一个拍摄图像，并且在步骤S90中，在显示装置上显示在第一存储器中保存的拍摄图像。在步骤S91中进行焦点的确定，在步骤S92，确定焦点是否被调节。如果焦点是未调节的，则过程返回到步骤S89。如果确定焦点为被调节的，则过程前进到步骤S93，并进行代码识别。在步骤S94中确定通过OCR功能的代码识别是否成功。如果代码识别成功，则在步骤S95中显示代码识别的结果并且过程前进到步骤S96。这样，通过在其中代码识别是可能的焦点被调节的状态中进行代码识别过程，与总是进行代码识别相比，就能减少CPU的处理负担，并且也能把与代码识别过程相伴的帧速率的减少控制到最小。
然后在步骤S96，确定是否按再识别按钮。换言之，如果代码识别不成功，则按再识别按钮(是)，并且过程返回到步骤S89。如果在显示装置上显示的代码识别的结果是成功的(否)，则过程前进到步骤S97，并确定是否按回车按钮。如果不按回车按钮，则过程返回到步骤S95。如果按回车按钮，则过程前进到步骤S98。如果在代码识别的结果中包括用于识别URL的信息，则过程可前进到步骤S67中的URL输入模式。
例如，在步骤S56中，在图23的显示屏317中，一个URL被大致定位于[]中，然后用焦点条进行聚焦过程，然后是一个按快门的过程，由此在如显示屏318上所示的矩形区318a中显示“Abcdef.com”的拍摄图像。如果存在多个行，则有可能例如通过一个键操作来选择一个要经过识别过程的行。通过执行用于决定识别过程的过程，执行一个用于读取字符(URL)的OCR识别功能(319)。在识别完成时，如显示屏320上所示的那样，通过前述过程获得的URL“http://Abcdef.com”被作为一项[URL]显示。通过按回车按钮，也有可能启动一个相对于这个URL的因特网连接过程(322)。
如果是准备一个邮件地址，则过程可从步骤S99前进到邮件写作模式(步骤S68)。例如，在步骤S68，在图24的显示屏326中，将一个邮件地址大致定位在[]中，然后用焦点条进行聚焦过程，接着是按快门的过程，由此在矩形区327a中显示“Taro.XX@abc.com”的拍摄图像，如显示屏327上所示的那样。如果存在多个行，则有可能例如通过一个键操作来选择要经过识别过程的一行。通过执行一个用于决定识别过程的过程，执行用于读取字符(邮件地址)的OCR识别过程(328)。当识别过程完成时，如显示屏329所示的那样，通过前述过程获得的邮件地址被作为一个[邮件地址]项显示。通过按下回车按钮，显示一个相对于拥有这个邮件地址的人的邮件写作屏(330)。在这种情况下，通过按下“发送”，就有可能启动相对于这个邮件地址的因特网连接过程并发送电子邮件(331)。
如果电话号码被显示，则过程可从步骤S100前进到步骤S69中的呼出模式。此外，过程可前进到步骤S70中的记事本注册模式。
例如，在步骤S69，在图25的显示屏335中，将一个电话号码大致定位在[]中，然后用焦点条进行聚焦过程，接着是按快门的过程，由此在矩形区336a中显示“0123456789”的拍摄图像，如显示屏336上所示的那样。如果存在多个行，则有可能例如通过一个键操作来选择要经过识别过程的一行。通过执行一个用于决定识别过程的过程，执行用于读取字符(电话号码)的OCR识别过程(337)。当识别过程完成时，如显示屏338所示的那样，通过前述过程获得的电话号码被作为一个[电话号码]项显示。通过按下回车按钮，显示一个相对于拥有这个电话号码的人的呼出确认屏(339)。在这种情况下，通过按下“呼叫”，就启动一个呼出过程(340)。
通过与前述过程(显示屏344至349)中的相同的过程能够执行一个在图26所示的记事本中对字母数字字符的记录过程。省略了详细的描述。这同样适用于图27的显示屏352至357中所示的基于一维条形码的URL输入和图28的显示屏360至366中所示的基于二维条形码的URL输入。
然后，如果一个URL被输入(图23的321或图28的364)，则当URL实际包括一个更长的字符串时，有必要输入一个连续的字符串。在这样的情况下，在步骤S71，显示一个字符识别子菜单(图29，367)，在此，“1连续识别”被选择，然后被决定。如显示屏368上所示的那样，一个连续字符串“today/index.html”被拍摄，以及用焦点条确认焦点，接着是按下快门，由此使得能够如显示屏369(370)中所示的那样进行对字符串“today/index.html”的OCR识别。当识别完成时，如显示屏371上所示的那样，显示一个将连续的字符串连接起来的字符串“http://Abcdef.com/today/index.html”。在内容被确认后，通过按下回车按钮，就能获得前述的URL并将其存储在便携式电话中(372)。在这种情况下，通过按下回车按钮，就能执行相对于前述的URL的因特网连接(374)。在显示屏372上，通过显示菜单，也有可能再次显示子菜单。
然后，在获得URL之后，通过从子菜单显示中选择“2额外识别”，就有可能额外地注册接着URL项的“1”到“4”的任何项。例如，如果从图30中的显示屏376中注册一个邮件地址，通过选择并决定“2邮件地址”，如显示屏377上所示的那样，名片上的XX Taro的邮件地址被拍摄。在这种情况下，焦点状态也是用焦点条确认的，并且“Taro.XX@abc.com”被拍摄，如显示屏378上所示的那样。在这种情况下，有可能通过一个键操作来改变一个选择行。当为能进行OCR识别而作一个选择时，识别过程被执行(379)，并且“Taro.XX@abc.com”能作为邮件地址而被获得(380)。
在显示屏380上，当选择“回车”时，显示一个新的邮件写作屏(381)。如显示屏382上所示，有可能从一个邮件地址移动到一个URL行，并例如在因特网上连接到该URL。另外，在菜单被显示时(显示屏383)，项“1”至“3”、“6”和“7”被显示为可选择的项，而项“4”和“5”被显示为不可选择的项。项“4”被显示为不可选择的项是因为额外识别被执行，而事“5”被显示为不可选择的项是因为菜单是在一个邮件地址被选择的状态中被显示的。
之后，在图31的显示屏384上，例如当“2额外识别”被选择时，可以选择从“1”到“4”的任何一个字符读取，如显示屏385上所示的那样。在这种情况下，当选择“3”即“电话号码”时，如显示屏386上所示的那样，XX Taro的电话号码“0123456789”被拍摄并且焦点条被显示。在用焦点条确认了焦点状态后，通过按下快门，就能拍摄该电话号码(387)。在这种情况下，上下移动多个行可改变一个选择行。下一步，通过执行OCR识别过程(385)，如显示屏389上所示的那样，就能注册在电话号码的显示位置上获得的电话号码。在这种情况下，当选择“回车”时，如显示屏390上所示的那样，显示呼出确认屏。当选择“呼叫”时，就能执行一个实际进行电话呼叫的过程。当选择“菜单”时，显示子菜单(391)。当选择“电话簿中的新注册”时，就能注册该电话号码，如显示屏392上所示的那样。如显示屏392上所示，有可能容易地从一个名片准备一个地址簿，该地址簿能显示一个列表中的姓名、它的读取、电话号码、邮件地址、个人URL等等。通过在URL之后使用功能“2”即“额外识别”，邮件地址、电话号码等被连续地识别，有可能例如在电话簿中注册所有被识别的数据。
如上所述，按照本实施例的便携式电话在用相机拍摄印在名片等上的字符数据时，通过用聚焦装置通知用户焦点状态，就有可能容易了解焦点状态。之后，通过在焦距被调节的状态下拍摄例如字符数据，并通过用OCR功能识别在良好状态下拍摄的字符数据，就有可能在便携式电话中容易地获得一个相对较短及较长的字符串，例如URL、邮件地址等等。以上参考在配备相机的便携式电话中使用的每个实施例说明了本发明的焦点状态显示设备和焦点状态显示方法。然而，本发明的焦点状态显示设备和焦点状态显示方法并不限于这些实施例的范围。本领域的技术人员在不偏离本发明范围的情况下能够对本发明的焦点状态显示设备和焦点状态显示方法添加各种修改和改进。例子包括使用彩色的显示、使用颜色的深浅的显示、其他图形显示或使用字符、象形文字字符等的显示，以及使用声音、振动等等的通知。
在上述每个实施例中，作为例子，焦点状态显示设备被应用于便携式电话。然而，该设备可以应用到任何装置，即诸如PDA之类的便携式信息终端、诸如便携式个人电脑之类的信息处理装置等等，只要这些装置包括一个(内置/外置)相机。此外，作为成像对象的图像数据可以是任何事物。此外，在上述每个实施例中，尽管使用了指定为焦点状态显示设备和便携式电话的名称，但使用这些名称是为了方便说明。因此，显然也可以使用诸如聚焦状态显示设备、通信终端装置和聚焦状态显示方法之类的名称。
另外，在上述每个实施例中，使用图形形式、符号、字符等等在LCD显示部分115和116的显示的例子以及通过扬声器114和123产生声音的例子被描述为焦点状态的显示或通知装置。然而，也可以将不包括前述例子的可视的、声学的或其他方法用于通知方法。构成前述的便携式电话和焦点状态显示设备的各种类型的装置以及它们的每个电路部分，诸如类型、数量、以及存储器部分与显示部分的连接方法，并不限于前述的实施例，因此可以采用任何众所周知的结构。
本发明的焦点状态显示设备和焦点状态显示方法，以及配备它们的诸如便携式电话之类的设备，可以以用于执行显示前述的焦点状态的功能的程序的形式实现。尽管这个程序可以被构造成使得它事先被内置在前述装置的每个中，但该程序也可以被记录在与前述装置的每个相分离的计算机可读记录介质中。
在本发明中，作为这样一个记录介质，主存储器本身可以是一个程序介质。另外，诸如CD-ROM驱动器之类的程序读取器可以是一个程序介质，它被设置为外部存储装置，通过在其中插一个记录介质而得以进行读取。在这两种情况下，可以构造一个存储的程序，以使得它通过CPU访问而被执行。或者，两种情况都使用这样一个方法，通过该方法，程序被读取，并且所读程序被下载到在图中未被示出的一个程序存储区中，程序在那里被执行。用于这种下载的程序事先被存储在每个装置中。
前述的程序介质是一个记录介质，它被构造成使得它与便携式终端装置或信息处理装置是可分离的。程序介质可以是诸如磁带和盒式带之类的磁盘，诸如CD-ROM、CD-R/RW、MO、MD、DVD-ROM、DVD-RAM和DVD-RW之类的光盘，诸如PC卡、Compact Flash Card(注册商标)、SmartMedia(注册商标)、IC卡、SD卡(注册商标)和存储棒(注册商标)之类的卡，或者一个以固定方式携带程序的介质，包括诸如掩模ROM、EPROM、EEPROM和快闪ROM之类的半导体存储器。
此外，程序介质可以是一种以流动方式携带程序的介质，在该方式下，程序通过通信连接装置从一个通信网络被下载，该通信连接装置能够连接到诸如因特网连接提供者或服务器终端之类的外部通信网络。在程序以这种方式被从通信网络下载的情况下，用于下载的程序可事先被存储，或者从其它记录介质被安装。在记录介质中存储的内容不限于程序，并且内容可以是数据。
这样，如果前述的程序被记录在一个能与装置体分离的记录介质中，就能灵活地相对于各种类型的包括本发明的焦点装置显示设备和焦点装置显示方法的装置对程序升级、为添加新的显示形式而更新等等。因此，提供对用户来说更方便的装置成为可能。
工业实用性如上所述，按照本发明的焦点装置显示设备和焦点装置显示方法，可以可见地或者以声学方式显示焦点信息。因此，用户就有可能容易地确认和调节焦点。
如果将具有这种优越特点的焦点装置显示设备应用到具有小型监视器的便携式终端，比如包括成像装置的便携式电话、便携式信息终端等，用户就能容易地确认焦点状态，从而使得能够拍摄具有准确调焦的图像。
另外，从包括成像装置的便携式电话和便携式信息终端的拍摄图像中，有可能容易地识别字符，并调节诸如条形码和QR码之类的二进制化的图像的焦点，由此改善字符识别以及条形码和QR码识别的准确性。
此外，通过使用焦点显示功能和OCR功能，可以以良好的准确性识别例如长字符串。
权利要求
1.一种焦点状态显示设备，包括焦点区域提取装置，用于从被摄图像信号中提取一个预定区域的图像信号；边缘增强处理装置，用于增强所提取图像信号的边缘；时间积分值计算装置，用于计算边缘增强的图像信号在一定的时间期间的积分值；焦点状态确定装置，用于根据所计算的积分值确定被摄图像信号的焦点状态；和焦点状态显示装置，用于显示所确定的焦点状态。
2.一种焦点状态显示设备，包括焦点区域提取装置，用于从被摄图像信号中提取一定的区域的图像信号；边缘增强处理装置，用于增强所提取图像信号的边缘；直方图准备装置，用于准备边缘增强的图像信号的直方图；方差值计算装置，用于计算所准备的直方图中关于那些不小于一定的阈值的图像信号的方差值；时间积分值计算装置，用于计算所计算的图像信号的方差值在一定的时间期间的积分值；焦点状态确定装置，用于根据所计算的积分值确定被摄图像信号的焦点状态；和焦点状态显示装置，用于显示所确定的焦点状态。
3.按照权利要求1或2的任何一项的焦点状态显示设备，其中焦点状态显示装置以定量的方式显示。
4.按照权利要求1或2的任何一项的焦点状态显示设备，其中焦点状态显示装置用条形图显示被摄图像信号的焦点状态。
5.按照权利要求1或2的任何一项的焦点状态显示设备，其中焦点状态显示装置用电平计显示被摄图像信号的焦点状态.
6.按照权利要求1或2的任何一项的焦点状态显示设备，其中焦点状态显示装置用数字值显示被摄图像信号的焦点状态。
7.按照权利要求1或2的任何一项的焦点状态显示设备，其中焦点状态显示装置用图形形式的个数显示被摄图像信号的焦点状态。
8.按照权利要求3至6的任何一项的焦点状态显示设备，其中焦点状态显示装置连同当前焦点状态一起显示从拍摄开始到当前时间的被摄图像信号的焦点状态的最大值。
9.按照权利要求1或2的任何一项的焦点状态显示设备，其中焦点状态显示装置以定性的方式显示。
10.按照权利要求1或2的任何一项的焦点状态显示设备，焦点状态显示设备进一步包括发光装置，其中焦点状态显示装置通过使发光装置闪烁或发光来显示被摄图像信号的焦点状态。
11.按照权利要求1或2的任何一项的焦点状态显示设备，焦点状态显示设备进一步包括用于产生出声音或语音的发声装置，其中焦点状态显示装置通过使发声装置产生出声音或语音来显示被摄图像信号的焦点状态。
12.按照权利要求1或2的任何一项的焦点状态显示设备，焦点状态显示设备进一步包括滤波装置，用于去除被摄图像信号的空间频率分量的高频分量，其中焦点状态显示装置根据被摄图像信号的焦点状态来修改要通过滤波装置从图像信号中去除的空间频率分量的范围。
13.按照权利要求1或2的任何一项的焦点状态显示设备，其中焦点状态显示装置用一个显示图像的颜色来显示被摄图像信号的焦点状态。
14.按照权利要求1或2的任何一项的焦点状态显示设备，其中焦点状态显示装置用显示字符的密度来显示被摄图像信号的焦点状态。
15.一种照相机，包括用于拍摄图像的成像装置和用于显示由成像装置拍摄的图像的图像显示装置，其中该照相机包括按照权利要求1至14的任何一项的焦点状态显示设备。
16.一种具有按照权利要求15的照相机的便携式终端装置。
17.一种焦点状态显示方法，包括以下步骤从被摄图像信号中提取一个预定区域的图像信号；增强所提取图像信号的边缘；计算边缘增强的图像信号在一定的时间期间的积分值；根据所计算的积分值确定被摄图像信号的焦点状态；和显示所确定的焦点状态。
18.一种焦点状态显示方法，包括以下步骤从被摄图像信号中提取一定的区域的图像信号；增强所提取图像信号的边缘；准备边缘增强的图像信号的直方图；计算所准备的直方图中关于那些不小于一定的阈值的图像信号的方差值；计算所计算的图像信号的方差值在一定的时间期间的积分值；根据所计算的积分值确定被摄图像信号的焦点状态；和显示所确定的焦点状态。
19.一种程序，包括以下步骤从被摄图像信号中提取一个预定区域的图像信号；增强所提取图像信号的边缘；计算边缘增强的图像信号在一定的时间期间的积分值；根据所计算的积分值确定被摄图像信号的焦点状态；和显示所确定的焦点状态。
20.一种程序，包括以下步骤从被摄图像信号中提取一定的区域的图像信号；增强所提取图像信号的边缘；准备边缘增强的图像信号的直方图；计算所准备的直方图中关于那些不小于一定的阈值的图像信号的方差值；计算所计算的图像信号的方差值在一定的时间期间的积分值；根据所计算的积分值确定被摄图像信号的焦点状态；和显示所确定的焦点状态。
21.一种记录介质，其中记录按照权利要求19或20的任何一项的程序。
22.一种焦点状态确定设备，包括边缘检测装置，用于检测被摄图像信号的边缘；时间积分值计算装置，用于计算相邻图像信号的差在一定的时间期间的积分值；焦点状态确定装置，用于根据通过时间积分值计算装置所计算的积分值来确定被摄图像信号的焦点状态。
23.一种焦点状态通知设备，除了按照权利要求22的焦点状态确定设备之外，进一步包括焦点状态通知装置，用于通知通过焦点状态确定设备所确定的焦点状态。
24.一种焦点状态确定设备，包括直方图准备装置，用于准备被摄图像信号的直方图；方差值计算装置，用于计算所准备的直方图中关于那些不小于一定的阈值的图像信号的方差值；和焦点状态确定装置，用于根据所计算的图像信号的方差值确定被摄图像信号的焦点状态。
25.一种焦点状态显示设备，其中用一个显示图像的颜色来显示被摄图像信号的焦点状态。
26.一种焦点状态确定设备，具有焦点状态确定装置，用于在能够在标准模式与OCR功能模式之间转换的拍摄对象转换装置转换到OCR功能模式的情况下，确定字符或条形码的焦点状态，所述标准模式处理作为拍摄对象的一般图像，所述OCR功能模式处理作为拍摄对象的字符或条形码；和控制部分，用于控制以使得它启动用于识别被摄字符或条形码的码识别装置。
27.按照权利要求26的焦点状态显示设备，进一步包括用于显示焦点状态的焦点状态显示装置。
28.按照权利要求22至27的任何一项的焦点状态确定设备，进一步包括用于确定拍摄对象是一般图像还是字符码的的确定装置。
29.一种便携式装置，包括按照权利要求28的焦点状态确定设备。
30.一种焦点状态确定方法，具有以下步骤边缘检测，用于检测被摄图像信号的边缘；时间积分值计算，用于计算相邻图像信号的差在一定的时间期间的积分值，通过边缘检测步骤所检测的边缘来构成边界；和焦点状态确定，用于根据通过时间积分值计算步骤所计算的积分值来确定被摄图像信号的焦点状态。
31.一种焦点状态确定方法，具有以下步骤直方图准备，用于准备被摄图像信号的直方图；方差值计算，用于计算所准备的直方图中关于那些不小于一定的阈值的图像信号的方差值；和焦点状态确定，用于根据所计算的图像信号的方差值确定被摄图像信号的焦点状态。
32.一种焦点状态显示方法，包括用一个显示图像的颜色来显示被摄图像信号的焦点状态的步骤。
33.一种焦点状态确定方法，包括以下步骤码识别，用于在能够在标准模式与OCR功能模式之间转换的拍摄对象转换装置转换到OCR功能模式的情况下，识别被摄字符或条形码，所述标准模式处理作为拍摄对象的一般图像，所述OCR功能模式处理作为拍摄对象的字符或条形码；和焦点状态确定，用于确定字符或条形码的焦点状态。
34.一种程序，用于使计算机能够执行按照权利要求30至33的方法的任何一项。
全文摘要
一种聚焦状态显示设备，包括焦点区域提取装置，用于从所拾取的图像信号中提取一个预定区域的图像信号；边缘增强处理装置，用于增强所提取的图像信号的边缘；时间累加值计算装置，用于计算边缘增强的图像信号在一段预定时间的累加值；聚焦状态判断装置，用于根据所计算的累加值判断所拾取的图像信号是否处于聚焦状态；以及聚焦状态显示装置，用于显示所判断的聚焦状态。既使在具有内置相机的移动终端装置的显示设备具有有限的尺寸和分辨率时，用户也能够容易地检查和调节相机的焦点。
文档编号G02B7/28GK1768299SQ20048000916
公开日2006年5月3日 申请日期2004年1月16日 优先权日2003年2月7日
发明者萩野良雄 申请人:夏普株式会社