便携式信息终端装置的制作方法

专利名称：便携式信息终端装置的制作方法
技术领域：
本发明涉及一种便携式信息终端装置，更详细地说，涉及基于拍摄图像 进4ti人证处理的便携式信息终端装置的改进。
背景技术：
在便携电话机等便携式信息终端装置中，4絲用于对被摄体进行拍摄以生成图像数据的相机。相机中安装了例如作为光电变换元件的CCD (Charge-Coupled Device:光电^給器件)或者CMOS (Complementary Metal Oxide Semiconductor:互补型金属氧化物半导体)图像传感器等。最近，在这种便携式信息终端装置中在冲刺乍中促进相才"于面部图^ii行 才甜聂、将从4射聂的面部图像中所提取的眼睛、鼻子、嘴及轮廓的形状或者大 小等特征信息与便携式信息终端装置的务賭器中预先务賭的用户的特征信息 进行比较，来进行认证处理(所谓的面部认证)。认证处理的结果是，仫^/人 所4財聂的面部图像中提取的特征信息与用户的特征信息之间的一IJU1超出了 识别阈值的情况下，才判定这时进行操作的人是真正的用户，并允i衬Mt之 后的处理，由此可以实现^4生的提升和隐私的保护(例如参考专利文献1 )。 在认证处理时，首先，为相机供电以启动相机，通过对相机中所具备的 光电变换元件进行初始化处理可进行拍摄。当可由相机来进行^財聂时，^4十 对相机的被摄体的图|^便携式信息终端装置的显示部中以实时的方式进行 显示。进行4喿作的人一边，见看显示部的显示画面(取景器画面)， 一边进4ti周整以〗^^H斜財A4財聂自己的面部，并进行确定操作来4甜聂面部图像。由此，可以从所拍摄的面部图像中提取特征信息，通过将这些特征信息与预先^f诸 的用户特征信息相比4棘进行认证处理。专利文献l:特开2000-278658号7>净艮但是，在目前的认证处理方法中，当进行了用于确定4^f亍需要认证处理 的处理的操作时，首先启动相才几，在可以由相枳ii行^財聂后，如果不才艮据拍摄操作对面部图^ii行拍摄，就不用进4iS人证处理。由于相才几启动后到可以 才財聂通常需要0. 5秒左右的时间，用户必须等待这段时间经过^才可以进 行才財聂才剁乍，所以存在比專她烦的问题。另外，当未浮皮判定为是真正用户时，必须再次进行拍摄才剁乍，进而在增 加了麻烦的同时，也产生了认证处理需要花费时间的问题。发明内容本发明针对上述情况而提出的，其目的在于提供一种能够降低认证处理 所需要的劳力和时间的便携式信息终端装置。另夕卜，本发明的目的在于提供一种可以缩短认证处理中所需要的时间的 便携式信息终端装置。本发明的第l便携式信息终端装置，M:用于对被被摄体进行拍摄的 4射聂单元；基于用户的操作为上述4財聂单it^电以进行上述4財聂单元的初始 化处理的拍摄单元启动部件；控制由上述^財菱单元进行的4甜聂动作的拍摄控 制部件；将从面部图像中所提取的特征信息作为注册特征信息而预先##的 特征信息^H诸部件;和利用上述注册特征信息,基于上述4財聂单元的4射聂图像 ^i^f亍iU正处理的iU正处理部件，所述拍摄控制部件根据由上述拍摄单元启 动部件所进行的上述4財聂单元的初始化处理的结束而开始拍摄。才艮据上必吉构，可以基于用户的操作来启动才財聂单元，初始化处理结束 能够进行拍摄，并基于此自动地进4ti人证处理。也就是说，在4財聂单元启动 以后用户不用进行拍摄操作，自动M/人拍摄单元所拍摄的图像中提取特征信 息，通过将该特征信息与预先务賭的注册特征信息进行比较，进4ti人证处理。 因此，可以i^/flJ见在这样要等待从拍摄单元启动之后到可以^)l聂为止的时 间之后才能进行拍摄操作的麻烦，故能够减少认证处理所需要的劳力和时间。另夕卜，可以减少傳J脉这样的、用户在确认了从4財聂单元启动后变为可 4財聂之后到进行^甜聂操怍为止所产生的时间延迟，能够在4財聂单元启动后更 短的时间内进行认证处理，所以能够缩短认证处理所需要的时间。本发明的第2便携式信息终端装置，H用于对被被摄体进行拍摄的 才財聂单元；基于用户的操作为上述4甜聂单^电以进行上述拍摄单元的初始 化处理的拍摄单元启动部件；控制由上述^財聂单元进行的^射聂动作的拍摄控制部件；将从面部图像中所提取的特征信息作为注册特征信息而预先务賭的 特征信息^f诸部件；利用上述注册特征信息、基于上述拍摄单元的4財聂图像 进行认证处理的认证处理部件；通过控制上述拍摄控制部件以^Ji述认证处 理部件，可以在上述认证处理中的认证失败的情况下再次进行4甜聂、并根据 该4甜聂图像来进行认证处理的连续认证部件。通过这样的结构，可以在认证处理中的认证失败的情况下，再次自动地 进4ti人证处理。因此，在真正用户进行操作的情况下，^ii过第l次认证处 理未判断出是真正用户的情况下，其后用户无需进行4射聂操作，就可再次进 行认证处理。也才议说，直到判断出是真正的用户为止自动地重复进行认证 处理，所以能够减少认证处理所需要的劳力和时间的，并能够缩短认证处理 所需要的时间。本发明的笫3便携式信息终端装置中，上述认证处理部件具有从上述 4甜聂图像中提取特征信息的特^E^取部件；将上述特^|€取部件所提取的特 征信息与上述特征信息##部件中所存储的注册特征信息相比较，并求出数 ^/f匕后的一致度的一f^计算部〗牛；还M用于在i^i正处理时显示上述一至丈 度与上述认证阈值的比4交结果的比较结果显示部件。通过这样的结构，显示了认证处理时一SU1与认证阈值的比较结果，所 以用户可根据这一显示而确认这一认证处理时所4財聂的自己的面部图1象是否 是容易认出的图像。在根据本发明第4便携式信息终端装置中，上述认证处理部件基于一系 列的操作来进4ti人证处理，上述拍才聂单元启动部件基于上逸连续的操作中最 后一个#^乍之前的操怍而启动上述4財聂单元。通itit才羊的结构，基于最后一个操作之前的操作可以快速地启动4甜聂单 元。这种情况下，进行最后一个操作时之前使拍摄单元ii^可4射聂状态，可 以将直到拍摄单元^&^可4財聂状态为止的等待时间省^#。另夕卜，如果采用 一^4白摄单元ii^可4財聂的状态后便自动地进行认证处理的结构，则由于在 进行最后一个操作前就能够完成认证处理，所以能够进一步缩短认证处理所 需要的时间。本发明的第5方面的便携式信息终端装置，具备用于在上述4財聂单元 启动后，在规定的时间内不进行上述一系列操作的下一个操作的情况下，停力于上述4財聂单元进行供电的4財聂单元停止部件。通iti!4羊的结构，在4財聂单元启动后，可以防止不开始i人证处理的长时 间放置。由于4射聂单元需要消耗比较多的驱动功率，所以在不开始认证处理 的情况下通过停止了对拍摄单元的驱动，从而能够降低功耗。本发明第6方面的便携式信息终端装置，H在上述拍摄单元启动后， 在进行了与上述一系列操作的下一个操作不同的操作的情况下，停止对上述 4封聂单元进行供电的4甜聂单元停止部件。通过采用上述的结构，在4射聂单元启动后，可以防止不开始认证处理的 长时间放置。由于拍摄单元需要消耗比较多的驱动功率，所以在不开始认证 处理的情况下通过停止了对拍摄单元的驱动，可以P争低功耗。根据本发明的便携式信息终端装置,可根据用户的才^f乍来启动4甜聂单元， 在初始化处理结^^就可以进行^財聂，据此，能够自动地进4ti人证处理。因 此，可以避免等待从4財聂单元启动后到可以4財聂为止的时间之后才进行4財聂 操作的麻烦，故能够减少认证处理所需要的劳力和时间。另夕卜，可以减少用 户在确i/0/4甜聂单元启动后变为可^甜聂之后、到进4亍4財聂操作为止所产生的 时间延迟，并能够在^甜聂单元启动后更短的时间内进行认证处理，所以能够 缩4豆iU正处理所需要的时间。另夕卜，根据本发明的便携式信息终端装置，在认证处理中认证失败的情 况下，通过再次自动地ii4ti人证处理，直到判断出是真正用户为止重复自动 i4ii行认证处理，所以在减少了认证处理所需要的劳力和时间的同时，缩短 了认证处理所需要的时间。如果显示认证处理时的一致度与认证阈值的比较 结果，则用户可以基于这一显示而确i人该i人证处理时所拍才聂的自己的面部图 像是否是容易认出的图像。另外，根据本发明的便携式信息终端装置，基于i^一个操作之前进行 的操作，可以快速地启动4財聂单元。在最后一个^(乍进行时使^財聂单元ii^ 可才財聂状态，可以将拍摄单元^可拍摄状态之前的等待时间省^#。另夕卜， 如果采用一^甜聂单元进入可4射聂的状态便自动地进行认证处理的结构，则 由于在进行最后一个才斜乍时之前就能够完成认证处理，所以缩短了认证处理 所需要的时间。另夕卜，通过本发明的便携式信息终端装置，在不开始认证处理的情况下通过停jh^j^財聂单元的驱动，可以防止在4甜聂单元启动后不开始认证处理的 长时间i文置，所以可以降^^库毛。


图1是表示本发明实施例1的便携式信息终端装置的一个例子的外观图、 示出了作为便携式信息终端装置的一个例子的便携电话机。图2是图1所示便携电话机的内部结构的一个例子的方框图。 图3是表示图2的4財聂单元驱动控制部的结构示例的方框图。 图4是示出了图2的认证处理部的构成示例的方框图。图6是示出了面部认证用图像注册画面的显示示例的图。 图7是示出了^级别设定画面的显示示例的图。 图8是示出了4脊i吴历史画面的显示示例的图。 图9是示出了进行面部认证时的主显示部的显示示例的图。 图"罢^rA了miS:太劳即示例的图示例的图。图12是用于比较到认证处理结束为止所需要的时间的时序图，(a)是现 有技术中的便携电话机的情形，(b)是实施例l的便携电话机的情形，(c)是 实施例2的便携电话机的情形，(d)是实施例3的便携电话机的情形附图标记说明1 便携电话机101 主显示部102 副显示部103 受话用接收器104 幼机105 子相机 201 樹乍键203送话用M风400控制部4014甜聂单元驱动控制部402认证处理部術A特减取部402B一狄计算部402C一狄判定部403连续认证部404计时部4054財聂单元启动部405A电源接通部405B初始4b处理部406才射聂控制部407抽聂单元停止部410刷诸器411显示画面^t据^f诸部412图微据賴部413特征信息刺诸部4144射吴历史信息^f渚部450通信部M实施方式 实施例1图1是表示本发明实施例1的便携式信息终端装置的一个例子的外观图， 示出了作为便携式信息终端装置的一个例子的便携电话机1。该便携电话机1是所谓的折叠式便携电话机，通过绞接部300连结了显示框体100和操作框 体200,可以相对置:^i斤叠显示框体100和才剩乍框体200的一面。在显示框体100中，在折叠时作为内侧的框体表面中设置有主显示部 101、受话用接收器103以及子相机105，在作为外侧的框体表面中设置有副 显示部102以M相机104。另夕卜，在操作框体200中，在折叠时作为内侧的框体表面中设置有多个才斜乍键201以及送话用;1^风203。这种折叠式便 携电话机l可以在压缩折叠状态下携带，如果将框体展开，则能够一边^L^ 主显示部101的显示， 一边对操怍键201进行按压操作。也就是说，主要的 信息显示采用主显示部101来进行,主要的梯作输入采用操作键201来进行。该便携电话机l J!r^这样的功能(即面部认证功能)，即在用户一ii^见 看主显示部101的显示， 一边对才剩乍键201进行操作时，由子相机105对用 户的面部图^ii行4財聂,基于从该面部图像中提取的特征信息进行认证处理， 其结果是，但在判断出此时进行操作的人是真正用户的情况下才允许进行之 后的处理。通it^4;M亍隐密性高的功能时进^i人证处理，从而可以iiiij^ 性的提高以及隐私的保护。图2是显示图1所示的便携电话机l的内部结构的一个例子的方框图。控制部400Ai ]于控制便携电话机l的主要动作的处理器，具备4財聂单元 驱动控制部401、认证处理部402、连续认证部403以及计时部404。在将来 自才剁乍键201的才^f乍信息输^ij控制部400中的同时，^f诸器410、图l綠 入输出部430、声音输入输出部440以及通信部450可输入输出;^i^接到控 制部400。在图像输入输出部430中^主显示部101、副显示部102、主相机104 以及子相机105。主相机104及子相机105分别作为^財聂单元而被单元化， 在这些拍摄单元中，具备CCD (Charge-coupled Device)或者 CMOS (Complementary Metal Oxide Semiconductor)图像传感器等光电变换元 件以及控制电路。其中采用了光电变换元件，所述光电变换元件在给拍摄单 M电之后需要进行偏移或增益调整等初始化处理。声音输入输出部440中M受话用接收器103以及送话用麦克风203。 通信部450通过与图中未示出的勤占之间进行电波的发送和接4棘进行声音 数据和图^it据的发送和接收。4甜聂单元驱动控制部401通过向图^^7v输出部430发送信号而控制主 相才几104和子相才几105。在该实施例中，4財聂单元驱动控制部401通过控制 子相机105的驱动，用子相机105 ^甜聂一i^见看主显示部101 —&于操作键 201进行操作的才斜乍者的面部图像，根据从该面部图像中所提取特征信息进 行认证处理。但是，也可以是由主相才几104来;J甜聂面部图〗象以进4亍iU正处理的结构。认证处理部402将从#4聂图像中所提取的特征信息与##器410中所预 先存储的用户的特征信息(注册特征信息)相比较，从而判断此时进行4剁乍 的才剁乍者是否是真正的用户。连续认证部403通过控制4財聂单元驱动控制部 401 ^i人证处理部402而连续;Kkii行多次认证处理。计时部404用于进行时 间的计量并输出时间信息。^^诸器410包括显示画面凝:据^f诸部411、图^^t据^f诸部412、特征 信息^f诸部413以及4射吴历史信息##部414。显示画面数据##部411中 务賭了在主显示部101或副显示部102中所显示的画面数据。图像数据## 部412中^f诸了用主相机104或子相机105所^射聂的图^^:据以A^由通信 部450 /"卜部接收的图傳教据等。特征信息##部413中务賭了认证处理中 所采用的面部图像的特征信息。将在认证失败的情况下该认证时的信息作为 4射吴历史信息，在4射吴历史信息^f诸部414中。但是，认证处理中所釆用的面部图像的特征信息或面部图像的图傢数据 也可以##在例如像SIM (Subscriber Identity Module:用户识别沖势^)卡 这样的能够相对于便携电话机l拆装的存储介质(图中没有示出)中。图3是显示了图2的拍摄单元驱动控制部401的结构示例的图。^甜聂单 元驱动控制部401 M4甜聂单元启动部405、 ^財聂控制部406以及^甜聂单元 停止部407。拍摄单元启动部405用于将控制信号发送给主相机104及子相 机105以启动这些相机，并^^基于用户的操作而为拍摄单元106 (主相机 104及子相机105 )供电的电源接通部405A、和进行初始化处理的初始化处 理部405B。4射聂控制部406以来自初始化处理部405B的输入信号和用户的4甜聂才斜乍 为勤出，通过控制主相机104或子相机105的4射聂动作，从而生成此时针对 主相机104或子相机105的被摄体的静态图mt据。拍摄单元停止部407通图4是示出了图2的认证处理部402的结构示例的图。认证处理部402 ^4争^E^是取部402A、 一ft;l计算部402B以及一f^l判定部402C。在认证 处理开始时，由特4械取部402A从子相机105所^財聂的面部图像中提取关于 眼睛、鼻子、嘴以及轮廓等面部各部分的形状或者大小等特征信息。由一致度计算部402B将由特4iE^取部402A所提取的特征信息与务賭器410的特征 信息^f渚部413中所##的注册特征信息相比较，计算出数值化的一f谈。一纟谈判定部402C将由一致度计算部402B所计算的一fJb变与规定的阈 值(认证阈值)相比较，输出该比较结果。这时，当一ft^出了认证阈值 的情况下，判断为是真正的用户并且认证成功，在一M小于认证阈值的情 况下，不判断为是真正的用户并且认证失败。在此，所谓的一iiJl是所比较 的4^特征信息中相一致的特征信息所占的百分比(％),认证阈值通常^皮设 置为^见定值的90 / 以上。图5是示出了在进行与面部认证有关的设定时主显示部101的显示示例 的图。用户对才^^乍4建201进行操作并读出#法设定画面(参考图5(a)), 当从该^性设置画面所显示的选项中选择"面部认证设定，，选项时，在主 显示部IOI中显示提示输入预先分lei合该便携电话机l的终端密码号(参考 图5(b))。在该显示画面中，当对才斜乍键201所包含的清除键进行操作时， 主显示部101的显示返回到图5 (a)所示的^4H"生-没定画面。终端密码号例如由4 ~ 8位的任意字符串构成，在购买便携电话机1时被 预先设定，但是也可以通过用户对才剩乍键201进行操作来修改。在图5(b)的 终端密码号输入画面中，对才剁乍键201进行净斜乍而输入的字符串与预先设定 的终端密码号不一致的情况下，在主显示部101中显示这一消息(参考图 5(c))。另夕卜，当在终端密码号输入画面中所输入的字符串为3位或者3位以 下的情况下，在主显示部101中显示应输入4-8位字符串的消息(参考图 5 (d))。主显示部101进行了图5(c)或者图5(d)所示的显示后，经过规定的时间 M时、或者对操作键210所包含的任意键进行操作时，主显示部101的显 示返回到图5 (a)所示的安全性i殳定画面。当在图5 (b)的终端密码号输入画面中所输入的字符串与预先设定的终 端密码号一致的情况下，主显示部IOI的显示切换为面部认证利用设定画面 (参考图5(e)),该画面用于设定进行面部认证的模式的开启/关闭。在该显 示画面中，当对才剁乍键201所包含的清除键进行操作时，主显示部101的显 示返回到图5(b)所示的终端密码号输入画面。另夕卜，面部认证利用设定画面 中，通过操作键201的操作而关闭面部认证时，主显示部101的显示返回到图5 (a)所示的#性^:定画面。在图5(e)的面部认证利用设定画面中，当通过操作键201的操作而开启 面部认证时，主显示部101的显示切4灸为面部认证"i殳定画面(参考图5(f)), 该画面用于进^f亍与面部i^正有关的it定。在本实施例中，作为面部认证时所使用的注册特征信息，可以从最多7 个图像数据中提取特征信息并^f诸^賭器410中。通过基于从至少2个图 ^!丈据中所提取的注册特征信息来进行面部认证，由此可以提高真正的用户 进行面部认证的情况下的认证成功率(本人接受率)，防止由于用户的表情或 光线的照射角度等微妙不同而ii^认证失败。但是，用于面部认证的注册特 征信息不P艮于是从7个图^lt据中所提取，例如也可以基于从1个图^^t据 中所提取的注册特征信息来进行面部认证。用户的面部图像最好是由用户采用主相机104或子相机105来预先4甜菱， 并将这些图^l史据^f诸^賭器410的图^^t据^H渚部412中。面部认证由 于M于/Ait些图^li据中抽出并^H诸器410的特征信息^f诸部413中所 务賭的注册特征信息而进行的，所以这些图傳Jt据本身在面部认证时不需要， 但是，如^4储在^fit器410中，则由于用户可以读出这些图#*据进行面 部图像的确认，所以提高了简便性。在图5 (f)的面部认证设定画面中包含与表示用户的图像(面部认证用 图像)分别对应的选项，所述用户是上述注册特征信息的提取源；与面部认 证时的认证阈值的设定相对应的选项(^4生级别设定)；以及与4普误历史相 对应的选项。在该显示画面中，当选择与面部认证用图像相对应的选项时， 显示用于进行面部认证用图像的重写注册或认的画面(面部认证用图像注册 画面)。另夕卜，在选择与安全性级别设定相对应的选项时，显示用于设定面部 认证时的认证阈值的画面(^^性船'J设定画面)。另夕卜，^i^择与4fi吴历史 相对应的选项时，显示用于显示4晉误历史的画面(4脊i吴历史画面)。进行了这些各种设定等之后，知于操作键201进行操作并完成面部认证 设定时，主显示部101的显示切换为图5 (g)或图5 (h)中所示的显示。也就是 说如果至少一个面部认证用图像被注册，就在主显示部IOI中显示基于/人该 面部认证用图像中所提取的特征信息进行面部认证的提示(参考图5(g))， 选择该画面中所包含的确认键lll时，主显示部IOI的显示返回到图5(a)所示的^4生设定画面。另一方面，在没有注册任一个面部认证用图像的情况下，在主显示部101中显示应当进行面部认证用图像注册的提示(参考图 5(h)),选择该画面中所包含的确认键112时，主显示部101的显示返回到图 5 (f)所示的面部认证设定画面。图6是示出了面部认证用图像注册画面的显示示例的图。在图5(f)的面 部认证设定画面中，当选择与面部认证用图<|^目对应的任一选项时，主显示 部101的显示如图6 (a)所示那样，切换为与该面部认证用图#^目对应的面部 i人证用图^象注册画面。面部认证用图^象注册画面中包含"重写注册"选项以 及"注册数据确认"选项。图6(a)的面部认证用图像注册画面中所显示的选项中选择"重写注册" 选项时，子相机105被启动，在子相机105变为可4甜聂的状态后，在主显示 部101中实时地显示针对子相机105的被摄体的图像(参考图6(b))。这时， 主显示部101用作子相机105的取景器，在由主显示部101所构成的取景器 中显示出一边观看主显示部101 —边进行操作的操作者的面部。图6(b)的取景器画面中，用户在进行了自己的面部位置的调整等后，通 必于操作键201所包含的确定键进行^f乍^it行注册操作时，控制部400的 特4iE^取部402A这时进行从用子相机105々財聂的图像中提取特征信息的处 理。此时，如果适当地进行了用户面部位置的调整，就可以提取出眼睛、鼻 子、嘴以及轮廓的形状或大小等特征信息，但是在没有适当地进行位置调整 的情况下以及在用户的面部不能在主显示部IOI中完全显示的情况下，不能 提取出特征信息。在特征信息提取成功的情况下，在将该特征信息^H者于存 储器410的特征信息存储部413中的同时，将这时的面部图像作为面部认证 用图像而^f诸于存储器410的图^^:据^f诸部412中。在特征信,y^取成功的情况下，在主显示部IOI中显示将基于该面部图像的特征信息^f诸(注册)于^f诸器410中的提示(参考图6(c))。用户选 择该显示画面中所包含的确iU建113时，主显示部101的显示返回到图5 (f) 中所示的面部认证设定画面。另一方面，在特征信息提取失败的情况下，在 主显示部101中显示该消息和特征信息^是取失败的原因(参考图6(d)),用 户选捧该画面中所包含的确认键114时,主显示部101中的显示返回到图5 (b)所示的取景器画面，并且可以再次用子相机105来;t財聂面部图像。当从图6 (a)的面部认证用图像注册画面所显示的选项中选择"注册数据 确认"选项时，读出##器410的图^^据^f诸部412中所^f诸的对应面部 i人证用图像，并显示于主显示部101中(参考图6(e))。用户通过图6(e)所 示的面部认证用图像确认画面可以确认所注册的面部认证用图像。在该显示 画面中，当对操作键201所包含的清除键进行操作时，主显示部101的显示 返回到图6 (a)所示的面部^人证用图j象注册画面。在图6(e)的面部认证用图像确认画面中，当通过用户对操作键201的操 作来删除对应的面部认证用图像时，主显示部IOI的显示切换为用于确认是 否翔'J除该面部认证用图像的删除确认画面(参考图6(f))。在该显示画面 中，包含有指示旨在应删除面部认证用图像的"是"键115以及指示旨在不 删除面部认证用图像的"否"键116。在图6(f)的删除确认画面中，在通过 才^f乍键201的操作而选择了 "否"键116的情况下，主显示部101的显示返 回到图6 (e)所示的面部认证用图傳_确认画面。在图6(f)的删除确认画面中，通过才剁乍键201的才刻乍而选择"是"键115 时，开始/A^賭器410的图^a据^f诸部412及特征信息^f诸部413中删除 对应的面部认证用图像和注册特征信息的处理，同时在主显示部IOI中显示 正在删除中(参考图6(g))。并且，当删除面部认证用图傳及注册特征信息 的处理结束时，在主显示部101中显示这一消息(参考图6(h))，经过规定 时间后超时或者响应于操作键201中所包含的任意键被操作，主显示部IOI 的显示返回到图5 (f)所示的面部认i正没定画面中。图7是显示了^性MJ'K殳定画面的显示示例的图。在图5 (f)的面部认 证设定画面中，当选择与^H"生级别设定相对应的选项时，主显示部101的 显示如图7所示那样切换为安全l"生级别设定画面，该画面用于设定面部认证 时的认证阈值。作为安全性级别，认证阈值可被预先设定为最高"3级"、比 "3级"低的认证阈值"2级"、和比"2级"低的认证阈值"1级"，在# 性则'B殳定画面中可以选择任意一个^性级别。图8 A^示了错误历史画面的显示示例的图。在图5(f)的面部认证设定 画面中，选择与错i吴历史相对应的选项时，主显示部101的显示如图8所示 那样切换为用于显示4脊i吴历史的错i吴历史画面。错i吴历史画面中将用于表示认证失败时的日期时间的时间信息作为错误历史信息而列表显示规定次数(例如9次)。当上述^见定次数的4脊i吴历史4言息^l^f诸器410的错误历史 信息^f诸部414的状态下发生了新的认证失败的情况下，删除最旧的4射吴历 史信息，将新的4射吴历史信息#^诸于^(诸器410中，并进行更新以便将该新 的4脊i吴历史信息显示在4脊i吴历史画面中。图9是显示了进行面部认证时的主显示部101的显示示例的图。在这个 例子中，在切换便携电话机1的管理功能中所包含的保密模式的开启/关闭时 进行面部认证。在保密才莫式开启状态时，不仅仅是^fe的数据，作为保密数 据而预先注册的数据也变成被显示的状态，在保密模式关闭状态时，不显示 j呆密lst据，处于〗又显示一^Jt据的状态。在如图9(a)所示的用于设定便携电话机1的管理功能的管理功能画面 中，从该管理功能画面所显示的选项中选择才剩乍"保密模式，，选项时，启动 子相机105。并且，在ii7v可由子相机105进行拍摄的状态之后，在主显示 部101中实时地显示针对子相机105的被摄体的图像(参考图9(b)),并开 始自动认证。这时，在子相机105的初始化处理结束后变为可^甜聂状态的时 刻，即使用户不进行4財菱操怍，扫于用于认证的面部图^ii行拍摄，进而从 该才財聂图像中提取特征信息。并JJt过将所提取的特征信息与^f诸器410的 特征信息##部413中所预先^f诸的用户特征信息相比较，自动地进4ti人证 处理。在该认证处理中，当所提取的面部图像的特征信息与存储器410中所存 储的用户的特征信息的一li^超出了在^4^生级别设定画面中所预先设定的 认证阈值的情况下，确定该操作者是真正的用户。这种情况下，对于主显示 部101中所显示的用户的面部图像,通过由所谓的动作聚焦来进行突出显示， 以-见觉岁i^^it知iU正成功。此后，在主显示部101中显示i人证成功了的消息(参考图9(c))，经过 规定时间以后，切换到用于切换保密模式开启/关闭的画面(参考图9(d))。 另一方面，在特征信息的一i谈小于认证阔值、认证失败的情况下，AU匕刻 由子相机105所^射聂的图像中再次自动;4|€取特征信息，将该特征信息与存 储器410中所^f诸的用户的特征信息进行比较。如本实施例中那样，在认证失败的情况下，经过^见定时间(例如，3秒)到超时为止，连续地重复进行认证处理，在认证成功的时刻结束认证处理。例如，在设定了超时的时间为3秒的情况下，最多进行7次认证处理。进而， 1次i^正处理所需要的时间为0. 4秒左右，如果第1次iU正处理时iU正就成 功了，则在子相机105的初始化处理结束后，几乎不需要等待时间即可ii^ 后续的处理。在重复进4ti人证处理期间，主显示部IOI中显示取景器画面， 实时地显示面针对子相机105的被摄体的图像。在重复进行认证处理时，每当进行多次认证处理时，作为这些认证处理 中的特征信息比较结果，将在主显示部101进行对应于特征信息的一li^的 显示。更M地说，主显示部101所显示的取景器画面的框117的颜色采用 与特征信息的一il^相对应的颜色来显示。由此，由于可以显示认证处理时 的特征信息一H^的比较结果，所以用户可以才艮据这一显示来确i人认i正处理 时所拍才聂的自己的面部图像是否是容易多H人的图像。但是，并不限于这样的结构，特征信息的一f谈也可以采用数值或图表 等在主显示部IOI进行级别显示。另夕卜，也不限于对所有的认证处理都显示 比辟支结果的结构，也可以对于至少一次认证处理显示比较结果。从开始自动认证之后经过规定时间而变为超时的情况下，在主显示部 101中显示认证失败的消息(参考图9(e))。在用户选择了这一显示画面中所 包含的再次认证键118时，主显示部101的显示返回图9(b)所示的取景器画 面，开始再次的自动iU正。另一方面，图9(e)中，当用户选择主显示部IOI 中所显示的终端密码号输入键119时，主显示部101的显示切换为^it输入 终端密码号的终端密码号输入画面(参考图9(f))。图9 (f)的终端密码号输入画面中所输入的字符串与预先设定的终端密 码号相一致的情况下，主显示部101的显示切换为用于切换保密模式的开启/ 关闭的画面(参考图9(d))。另一方面，在图9(f)的终端密码号输入画面中，由操作键201的操作所 输入的字符串与预先设定的终端密码号不一致的情况下，将这一提示显示于 主显示部101中(参考图9(g))。另夕卜，终端密码号賴r入画面中所输入的字 符串在3位以下的情况下，在主显示部101中显示必须输入4 ~ 8位的字符串 的提示(参考图9 (h))。并且，在进行了图9 (g)或图9 (h)中所示的显示之后， 经过规定时间后超时、或者对才剁乍键201中所包含的任一个键进行操怍时，主显示部101的显示返回到图9(a)所示的管理功能画面。 实施例2在实施例l中，虽然对基于选择了管理功能画面中的"保密模式，，选项 而启动子相机105并进行自动认证的结构进行了说明，但是在实施例2中， 可采用如下所述的结构，即在必须进行面部认证的保密模式的选择操作(最 终操作)之前，在进行管理功能的选择操作的时刻启动子相机105、使子相 机105 ii^可4甜聂的状态，基于保密模式的选择操作而直接开始自动认证。示例的图。图10(a)所示的菜单画面中，当/人该菜单画面所显示的选项中选 择"管理功能"选项时，显示用于进行管理功能设定的管理功能设定画面(参 考图10(b))，通过从该管理功能画面所显示的选项中选择操作"保密模式" 选项，可以显示用于切换保密才莫式开启/关闭的画面(参考图10(e))。也就 是说，在本实施例中，通过分级的一系列操作，可以切换保密才莫式的开启/ 关闭。图10(a)的菜单画面中，当从该菜单画面所显示的选项中选择"管理功 能"选项时，启动子相机105。之后，主显示部IOI的显示就切换为管理功 能设定画面(参考图10(b))，当在该管理功能设定画面中选择才剁乍"保密模 式，，选项时，在主显示部IOI中显示取景器画面，然后开始自动认证(参考 图10(c))。子相机105的初始化处理所需要的时间，也^A说，从子相机105启动 到i^可^財聂状态为止所需要的时间为0. 5秒左右，所以通常在从图10(b) 所示的管理功能画面所显示的选项中选择操怍"保密模式，，选项之前,子相 机105就i^了可^甜聂状态。因此，响应于选择才斜乍管理功能画面中的"保 密才莫式"选项，可直4妻开始自动i^正。由于自动iU正开始后的处理以及主显 示部101的显示(图10(d) ~ (i))与实施例1中的自动i人证开始后的处理和 主显示部101的显示(图9 (c) ~ (h))相同，所以此处省略了对其的说明。在本实施例中，选择操作了图10(a)的菜单画面中的"管理功能"选项 并启动了子相机105后，在规定的时间内，4W亍一系列才斜乍中的下一个才^t, 也就是不进行用于选择图10(b)的管理功能画面中的"保密模式，，选项的操 作，在超时的情况下，通过停止给子相机105供电而停止子相机105的驱动。另外，在选择操怍了图10(a)的菜单画面中的"管理功能"选项并且启 动了子相机105后，当进行了与一系列操作中的下一个操作不同的操怍的情 况下，例如在对操作键201中所包含的清除键进行#^(乍并返回到菜单画面的 情况下，"^ii过停止给子相机105供电而停止子相机105的驱动。通过这样的结构，在子相机105启动以后，可以防止不开始认证处理而 长时间放置。由于子相机105要消耗比较多的驱动功率，故当在规定时间内 不进行下一个选择操怍的情况下，停止对子相机105的驱动，可以降低功耗。但是，对于一系列#^中最终 ^乍的"保密模式"的选择而言，不限于 才艮据其上一个选^4喿作、即"管理功能"的选择来启动子相机105,也可以 根据一系列才斜乍中更前的选择才剩乍来启动子相机105,其中上述一系列才^[乍 用于确定ii^亍需要^人i正处理的处理。 实施例3虽然在实施例l中描述了根据对管理功能画面中的"保密模式"选项的 选择而启动子相机105并进行自动认证的结构，但是在实施例3中，在必须 进行面部认证的保密模式的选择操作(最终^^乍)之前，在进行管理功能的 选择操作的时刻启动子相机105，在子相机105—旦处于可拍摄状态，便开 士台自^;iU正。图11 ^_表示才艮据本发明的实施例3进行面部i人证时的主显示部101的显 示示例的图。在如图ll(a)所示的菜单画面中，当/人该菜单画面所显示的选 项中选择操作"管理功能"的选项时，显示用于进行管理功能设定的管理功 能设定画面(参考图ll(b)),从该管理功能画面所显示的选项中选择才斜乍"保 密才莫式"选项，就可以显示用于切换保密沖莫式开启/关闭的画面(参考图 ll(c))。也就是说，本实施例中，通过分级的一系列操怍，可以切换保密模 式的开启/关闭。图ll(a)的菜单画面中，当从该菜单画面所显示的选项中选择操作"管 理功能"选项时，启动子相机105,在初始化处理结束并叙了可4財聂状态 后，开始自动认证。也就是说，根据子相机105的初始化处理的结束，用户 不用进行拍摄操作就自动地从所拍摄的面部图像中提取特征信息，并将该特 征信息与务賭器410的特征信息提取部413中所预先存储的用户的特征信息 相比4交，自动地进行i人证处理。在本实施例中，与实施例1的情;X^目同，在特征信息的一f嫂比认证阈 值小、认证失败的情况下，/Ait—时刻由子相机105所拍摄的图像中再次自 动地提取特征信息，并将这个特征信息与务賭器410中所务賭的用户的特4正 信息进行比较，到经过规定的时间(例如，3秒)后超时为止连续地重复进 4ti人证处理，在认证成功的时刻结束认证处理。但是，在本实施例中，与实 施例l所不同的是，在重复进行认证处理期间，主显示部IOI中不显示取景 器画面。由于1次iU正处理所需要的时间大约是0. 4秒左右，所以如果第1次的 认证处理中认证成功，则通常到用户从图ll(b)所示的管理功能画面所显示 的选项中选择操作"保密模式"选项为止的期间内，就结束了自动认证。因 此，在认证成功的情况下，根据对管理功能画面中的"保密模式"选项进行 选择操作，主显示部101的显示直接地就切换为用于切换保密模式开启/关闭 的画面(参考图ll(c))。但是，对于在第1次的认证处理中认证失败并进行了多次认证处理的情 况，在用户选择操作了 "保密模式"选项的时刻认证处理尚iM吉束的情况下， 可以在选择操作"保密模式，，选项后等待认证处理结束后再进行接下来的处 理。在规定时间内重复进行的认证处理中均为认证失败的情况下，从图ll(b) 所示的管理功能画面所显示的选项中选择操作"保密模式"选项后，在主显 示部IOI中显示催促输入终端密码号的终端密码号输入画面(参考图11 (d))。在图11 (d)的终端密码号输入画面中所输入的字符串与预先设定的终端 密码号相一致的情况下，主显示部IOI的显示切换为用于切换保密模式的开 启/关闭的画面(参考图ll(c))。另一方面，在图ll(d)的终端密码号输入画面中，由操作键201的才斜乍 所输入的字符串与预先设定的终端密码号不一致的情况下，在主显示部101 中显示这一提示(参考图ll(e))。另夕卜，在终端密码号输入画面中所输入的 字符串小于等于3位的情况下，在主显示部101中显示应该l俞入4 ~ 8位的字 符串的消息(参考图ll(f))。并且，在进行了图ll(e)或图ll(f)那样的显 示之后，在经过规定时间并超时或者在对操作键2 01所包含的任意一个键进 行才喿怍时，主显示部的显示返回到图ll(a)所示的菜单画面。但是，对于作为一系列操作中最终操怍的"保密才莫式"的选择而言，不限于根据其上一个选择操作、即"管理功能"的选择来启动子相机105,也 可以根据一系列操怍中更前的选择操作来启动子相机105,其中所述一系列才喿作用于决定i^阡需^i人^正处理的处理。另夕卜，在自动认证的过程中主显示部101中可以显示取景器画面。这种 情况不M碍一系列的操作，并且最好是在主显示部101的1分显示画面 中显示取景器画面。图12是用于比较到认证处理结束为止所需要的时间的时序图，(a)是现 有技术中的便携电话机的情况，(b)是实施例l的便携电话机的情况，(c)是 实施例2的便携电话机的情况，(d)是实施例3的便携电话机的情况。在实施例1 ~3中，基于由用户进行的"保密模式"的选择操作(图12(b)) 或者"管理功能，，的选择操作(图12(c)、 (d))而启动子相机105，在该子 相机105的初始化处理结束后ii^可4甜聂状态之后(图l2 (b) 、 (d))或者在 "保密才莫式，，的选择操作之后(图12(c)),可自动地i^ffi人i正处理。也就是 说，子相机105启动后用户无需进行4射聂操作，而是自动地从子相机105所 才甜聂的图^象中提取特征信息，并将该特征信息与预先务賭的用户的特征信息 进行比较，以进4iS人证处理。因此，由于能够避免像图12(a)所示的J贿技 术所示那样的麻烦，即需要等待子相机105启动后到i^可4財聂状态为止的 时间后才能进行拍4聂操作的麻烦，所以减少了认证处理需要的劳力和时间。另夕卜，如图12(a)所示的现有技术例那样，用户在确认了子相机105启 动后并能够进行4財聂之后到进行拍摄操作为止所产生的时间延迟TL能够被 减少，并能够在子相机105启动后的更短时间内进4H人证处理，所以缩短了 认证处理所需要的时间。在图12(b)所示的实施例1中，基于一系列才剩乍中的最终才^f乍、即"保 密模式"的选择操作，在图12(c)、 (d)所示的实施例2、 3中，基于最终操 作前所进行的"管理功能"的选择操作，自动地启动子相机105,并进行认 证处理，其中所述一系列梯d乍是用于确定冲;M亍需^"认证处理的处理。因此， 基于最终操作前所进行的操作，可以更早地启动子相才几105。特别是，在图12(c)、 (d)所示的实施例2、 3中，由于基于在最终^f乍 之前进行的"管理功能"的选择操作而启动子相机105，所以直到进行最终处理时为止，子相机105ii7v可拍摄状态，可以省略子相机105处于可摄像 状态之前的等待时间TS (参考图12 (a))。另夕卜，在图12 (d)所示的实施例3中，由于子相机105 —旦处于可摄 #^1犬态后，便进行自动地认证处理，直到进行最终操作时为止能够预先结束 认证处理，并能够进一步缩短认证处理所需要的时间。如实施例1 ~ 3那样，在认证处理中认证失败的情况下，如果要再次自动 ;^^fti人证处理，则即使在真正的用户进行操作时第1次认证处理没有被判 断为真正的用户的情况下，其后用户也无需进行4射聂操作，再次进4ti人证处 理。也就是说，由于到被判断为是真正的用户为止重复自动地进^fiS人证处理， 所以能够减少了认证处理所需要的劳力和时间，并能够缩短认证处理所需要 的时间。在认证处理的过程中进行面部图像的^甜聂时,最好不要产生快门的声音。 通it^用上述结构，当在公共汽车中等周围有人的环境中进^i人证处理的情 况下，可以防止由于快门的声音而被误解为偷拍等。在本实施例中，在认证 处理时不进行^財聂操作，故可防止由于拍摄操作而被误解为偷拍等。但是，当在规定时间内没有被判断为是真正的用户时，不限于超时的结 构，也可以是在认证成功之前重复:Nkii行认证处理的结构。另外，不P艮于连 续地进4ti人证处理，也可以在子相机105启动并处于可^甜聂状态后，仅进行 1次认证处理。另夕卜，面部认证不限于在切换保密模式的开启/关闭时进行，也可以在安全性和隐私性高的其他功能，例如卡设定，来信限制、锁定设定、密码号变更、发信人号码通知/不通》ai殳定、i殳定重置、软件更新、本局号码详细显示、 以及与其j^t据变更有关的各种设定操作时进行。另夕卜，认证处理不P艮于根据面部图像来进行的面部认证，如果是表示用户的图像，则也可以基于用户的指紋图像^ii行。在这种情况下，可提取并比较指紋图像的特征信息，由itbi^fti人证处理。本发明不限于上述实施例的内容,可在权利要求范围下可进行^^种变更。 本申请根据巴^^约规定请求了 2005年7月29日的日本专利申请(专利申请2005-220085 )的优先权，参考该专利申请的^内容并4^引入到本申请中。
权利要求
1. 一种便携式信息终端装置，其特征在于，具备拍摄单元，对被摄体进行拍摄；拍摄单元启动部件，基于用户的操作给上述拍摄单元供电，并进行上述拍摄单元的初始化处理；拍摄控制部件，控制由上述拍摄单元进行的拍摄动作；特征信息存储部件，将从面部图像中所提取的特征信息作为注册特征信息而预先存储；和认证处理部件，利用上述注册特征信息，基于上述拍摄单元的拍摄图像来进行认证处理，所述拍摄控制部件根据由上述拍摄单元启动部件所进行的上述拍摄单元的初始化处理的结束而开始拍摄。
2. —种便携式信息终端装置，其特^^于，絲 樹聂单元，对被摄体进行樹聂；才財聂单元启动部件，基于用户的操作，给上述拍摄单力洪电，并进行上述4甜聂单元的初始化处理；才財聂控制部件，控制由上述拍摄单元进行的4財聂动作； 特征信息存储部件，将从面部图像中所提取的特征信息作为注册特征信息而预先务賭；认证处理部件，利用上述注册特征信息，基于上述拍摄单元的拍摄图像 ^i^f于iU正处理；和连续认证部件，通过控制上述^財聂控制部件以^Ji述认证处理部件，从 而在上述认证处理中的认证失败的情况下再次进行拍摄，并根据该4甜聂图像 絲行认证处理。
3. 根据权利要求1或2所记载的便携式信息终端装置，^#44于 上述认证处理部件具有AUi述拍摄图像中提取特征信息的特征提取部件；将上述特征提取部件所提取的特征信息与上述特征信息^f诸部件中所存 储的注册特征信息相比较，并求出数值化的一!谈的一fi^计算部件；和将 上述一l谈与认证阈值相比较的一ll^判断部件，还具备在认证处理时显示上述一f谈与上述认证阈值的比较结果的比 彬吉果显示部件。
4. 根据权利要求1至3中任一项所述的便携式信息终端装置，其特4i^于上述认证处理部件基于上述一系列的才剩乍^^ffi人证处理， 上述4射聂单元启动部件基于上述一 系列操作中最终操作之前所进行的操 作而启动上述^財菱单元。
5. 才M居权利要求4的便携式信息终端装置，^#44于蔣 在上述4劲聂单元启动后，在规定的时间内未进行上述一系列操作的下一个操作的情况下，停止对上述4財聂单^ii行供电的4射聂单元停止部件。
6. 根据权利要求4的便携式信息终端装置，其特;f球于蔣 在上述4財聂单元启动后，在进行了与上述一系列操怍的下一个操作不同的操作的情况下，停J^t上述4射聂单元进行供电的4甜聂单元停止部件。
全文摘要
本发明的目的在于提供一种可减少认证处理所需要的劳力和时间的便携式信息终端装置。基于用户的“保密模式”的选择操作而启动子相机(图9(a))，并在该子相机的初始化处理结束后进入了可拍摄状态后，自动地进行认证处理(图9(b))。由此，可以避开等待从子相机启动之后到可以拍摄为止所经过的时间之后才能进行拍摄操作的烦恼，故能够减少认证处理所需要的劳力和时间。另外，可以减少用户在确认从子相机启动后变为可拍摄开始到进行拍摄操作为止所产生的时间延迟，能够在子相机启动后更短的时间内进行认证处理，故能够缩短认证处理所需要的时间。
文档编号G06F1/00GK101228493SQ20068002287
公开日2008年7月23日 申请日期2006年7月12日 优先权日2005年7月29日
发明者滨口清治, 滨村博康, 笹雅明 申请人:夏普株式会社