便携信息终端装置的制作方法

专利名称：便携信息终端装置的制作方法
技术领域：
本发明涉及一种便携信息终端装置，更M地，涉及根据4射聂图像进行 认证处理的便携信息终端装置的改进。
背景技术：
在便携电话机等便携信息终端装置中，具有通过4甜聂被摄体并生成图像 数据的相机。在这种便携信息终端装置中，近来，出现了如下所述的便携信息终端装置^ii^^f乍过程中采用相才;U于面部图傳进行拍摄，并将从所拍 摄的面部图像中提取的眼睛、鼻子、嘴巴及轮廓的形状或大小等特征信息， 与作为注册特征信息预先刷诸在便携信息终端装置的务賭器中的用户特征信 息进行比较，由此进4ti人证处理(即面部认证)。认证处理的结果，仅当从拍摄图像中提取出的特征信息与用户的特征信息的一fi^超过了识别阈值时，才判定为此时进行操作的用户是真正的用户，并允许^u亍后续的处理，从而 能够提高^性和保护隐私(例如，参见专利文献l)。通常，认证处理时所4甜聂的图像不^f诸在^f渚器中，^(诸器中仅## 从该图像中提取的特征信息，并比较该特征信息与注册特征信息。处，当 不^^真正用户的人，例如对偷盗来的便携信息终端装置进行操作的人等，非;M吏用该便携信息终端装置时，如果能够存^i人证处理时所拍摄的图像作为 历史信息，则在重新取回便携信息终端装置后，就能够轻易地才財居所存储的 图像确定该非法使用者。因此，在这种技术领域中，提出了在认证失败时存 〗浙人证处理时所4射聂的图像作为历史信息的技术等各种方案(例如，参见特 许文献1 ~ 3 )。专利文献1:特开2000-278658号的7>开文本专利文献2:特开2005-115485号的7>开文本专利文献3:特开2005-084991号的公开文本但是，上i^i贿对支术中，当认证处理失败时，无i^i人证处理时所4甜聂的图像是什么图傳i卩作为历史信息进行务賭。因此，例Vi人证处理时，即使操作者拍摄了周围的风景而不是操作者自己的面部等情形，也将该图像作为历 史^(诸^賭器中。换句话说，在存储器中存储了对确定非法使用者完全不 必要的信息，导致务賭器的4吏用量增加到所需以上。发明内容本发明鉴于上述情况而提出，其目的在于提供一种能够仅^f诸对确定非法寸M者有用的信息的便携信息终端装置。本发明的目的是提供一种能够减少存储器使用量的便携信息终端装置。 本发明的目的是提供一种能够更准确地确定非法使用者的便携信息终端装置。本发明的第一种便携信息终端装置，具有拍摄单元，用于4射聂被摄体； 特征信息 1单元，将从面部图像中提取出的特征信息作为注册特征信息进 4预先^f诸；认证处理单元，根据上述拍摄单元4甜聂的拍摄图像，^^]上述 注册特征信息进4ti人证处理；和4脊i吴历史管理单元，在上述认证处理中将认 证失败的历史信息作为错误历史信息^H诸在4ti吴历史^f诸单元中，上述认证 处理单元具有/AJi述对財聂图像中提取出特征信息的特征提取单元；比较由 上述特^j^R取单^^取出的特征信息与存储在上述特征信息存储单元中的注 册特征信息，并求出数值^^的一f谈的一l谈计算单元；以及比專^Ji述一 至嫂与认证阈值的一至谈判断单元，当在上述特^^是取单元中提取出特征信 息，并且在上述一fl;l判断单元中判断出一lt^小于认证阈值时，上述4ti吴 历史管理单元将4脊误历史信息，在上述错i吴历史##单元中。根据上必吉构，虽然从4射聂图像中提取出了特征信息，但是仅当判定出 该特征信息与注册特征信息的一fi^'J、于认证阈值时，才能够^f诸4脊i吴历史 信息。换句i射兌，尽管拍摄图像是面部图像，并提取出了例如眼睛、鼻子、 嘴巴和轮廓的形状或大小等面部图像的特征信息，但是只有当与作为注册特 征信息被事先务賭的用户特征信息的一51JL小于认证阈值，并判定为不是真 正用户时，才能够^f渚4晉误历史信息。这样，不是真正用户的人，例如偷取便携信息终端装置的人等想要非法 ^^]该便携信息终端装置，仅仅当从该人的面部图像中提取出特征信息时，才将在认证处理中认证失败的历史信息作为错i吴历史信息进行存储，当重新 取回便携信息终端装置后，根据该错i吴历史信息确定该人。从而，不能根据 4財氛图像确定为非法使用者时存储错i吴历史信息的情况能够得到防止，所以 能够仅##对确定非法使用者有用的信息，并能够减少务賭器的使用量。本发明的第二种便携信息终端装置，具有用于计时的计时单元，上述错 误历史信息中包含在进行了上述认证处理时由上述计时单元所计量的时间 信息。根据上述结构，能够^filii行了认证处理时的时间信息，作为错误历史 信息。因此，在重新取回了便携信息终端装置后，能够根据进行了认证处理 时的时间信息中确定非法使用者，故能够更准确地确定非法使用者。本发明的第三种便携信息终端装置中，上述错i吴历史信息包含用于上述 认证处理的、由上述4財緣置所拍摄的拍摄图像。根据上i^M构，能够^H渚用于认证处理的4財聂图像，即提取出特征信息 的面部图像，并作为4射吴历史信息。因此，在重新取回便携信息终端装置后， 能够根据面部图像确定非法使用者，故能够更加准确地确定非法使用者。本发明的第四种便携信息终端装置，具有连续认证单元，其用于通过控 制上述^財聂单元和上述认证处理单元，从而当上述认证处理中认证失败时再 次进行4甜聂，并4艮据该拍4聂图^f^i4li^正处理；上述4晉i吴历史信息包含用 于上述认证处理的、由上述拍摄单元所拍摄的4射聂图像的4^或任意一幅。根据上必吉构，当反复连续i4ii行的任-^人证处理中认证失败时，^f诸 用于这些认证处理的4甜聂图像(面部图像)的全部或任意一幅，并作为错误 历史信息。当^f诸所有的面部图像时，能够根据这些面部图像更加准确;^角 定非法使用者。另一方面，当存、诸任意一幅面部图像时，与##所有的面部 图像的情"W目比，能够减少务賭器的使用量。本发明的第五种便携信息终端装置，具有用于检测出上述便携信息终端 装置的位置信息的位置信息检测单元，上述4射吴历史信息中包含在进行了 上述认证处理时由上述位置信息检测装置所检测的位置信息。才艮据上iiM构，能够賴进行了认证处理时的位置信息，^ff乍为4射吴历 史信息。因而，在重新取回便携信息终端装置之后，能够根据进行了认证处 理时的位置信息确定非法橫月者，所以能够更准确地确定非、;^M者。本发明的第六种便携信息终端装置中，能够乂A^新的错误历史信息开始按顺序4籽见定次数的错误历史信息存储到上述错i吴历史信息^l单元中，上 述错误历史管理单元，从##上一次4晉误历史信息开始经过一定时间之后认 证失败时，在上述错i吴历史^f诸装置中^f诸错误历史信息。才N居上i^i吉构，非;^f吏用者注意到^f诸了作为4射吴历史信息的、在认证 处理中认证失败的历史信息，为了从该错误历史##单元中删除该错误历史 信息而在短时间内进行了多次自己的面部无法被识别的认证处理时，能够防 jL^f诸那些认证处理时的4射吴历史信息。因而，能够防止非法^^者故意从 错误历史存储单元中删除对确定非法使用者有用的错i吴历史信息，所以能够 更准确地确定非法佳月者。本发明的第七种便携信息终端装置，包括4射吴显示单元，用于在等待画 面中显示在上述4脊i吴历史^l单元中务賭了错误历史信息。才M居上iii吉构，当在用户不知道的情况下非';妇吏用便携信息终端装置， 并在错i吴历史^f诸单元中存储了此时的错i吴历史信息时，能够通过在等待画 面中显示该提示^it知用户。根据本发明的便携信息终端装置，4財聂图像是面部图像，从拍摄图像中 提取了特征信息，但是仅仅当判定出该特征信息与注册特征信息的一f谈小 于认证阈值时，才##4脊误历史信息。这样，当无法从拍摄图像中确定非法 使用者时能够防止^f诸4晉误历史信息，所以能够仅##对确定非法佳月者有 用的信息，能够减少^f诸器的^^]量。根据本发明的便携信息终端装置，由于将进行了认证处理时的时间信 息、用于认证处理的才財聂图像、和进行了认证处理时的位置信息作为错误历 史信息进行存储，所以在重新取回便携信息终端装置后，能够^ii些信息中 确定非》'^f吏用者，故能够更准确地确定非;^f捐者。当反复连续地进行了认 证处理时，假设^f诸了用于该认证处理的所有4甜聂图像，就能更加准确;Nk^角 定非法使用者，假设存储了任意一幅拍摄图像，就能够减少务賭器的使用量。根据本发明的便携信息终端装置，仅^5L^f诸了上一次4射吴历史信息开 始并经过一定时间之后认证失败时，才^f渚4脊误历史信息，由此能够防止非 ;妇吏用者故意从4脊i吴历史^f诸单元中删除对确定非法使用者有用的错i吴历史 信息，所以能够更准确地确定非法使用者。才M居本发明的便携信息终端装置，当在用户不知道的情况下非';^fM便 携信息终端装置，并在4射吴历史^(渚装置中##了错误历史信息时，能够通 过在等待画面中显示该提示来通知用户。


图i是本发明实施例的一例便携信息终端装置的夕卜观图，其示出了4射更 携电话才A/f乍为便携信息终端装置的一个例子。图2是示出了图i所示的便携电话机的内部结构的框图。图3是示出了图2的摄像单元驱动控制部的结构例的框图。图4是示出了图2的认证处理部的结构例的框图。图5 ^_设定有关面部认证时的主显示部的显示例子的示意图。图6是面部^人i正用图^象注册画面的显示例的示意图。图7是^^级别设定画面的显示例的示意图。图8^j脊i吴历史画面的显示例的示意图。图9是进行面部认证时的主显示部的显示例的示意图。图10是从4ti吴历史画面中选择错误历史信息时的显示例的示意图，(a)是错i吴历史信息的选择状况，(b)是针对所选择的错误历史信息的第一显示例，(c)是针对所选择的错误历史信息的第二显示例。图11是主显示部件中所显示的等《寺画面的一个例子的示意图。
具体实施方式
图l是表示本发明的实施例的一例便携信息终端装置的夕卜观图，其示出 了作为便携信息终端装置的一个例子的便携电话机1。该便携电话机1是所 谓的折叠式便携电话机，显示壳体100和操怍壳体200通过铰链300相连， 显示壳体100可以与操作壳体200的一面相对置折叠。在显示壳体100中，折叠时在内侧的壳体表面上配置有主显示部101、 受话用接收器103和子相机105,在外侧的壳体表面上配置有子显示部102 和主相机104。并且，才^[乍壳体200,折叠时在内侧的壳体表面上配置有多个 操作键201和送话用麦克风203。这种折叠式便携电话机l可以在折叠压缩 的状态下携带，如M开壳体，则可以一边观看主显示部101的显示， 一边按下操作键201进行操作。总之，主要的信息显示是采用主显示部101来实 现的，主要的输入4刻乍是^^操作键201来实现的。这种便携电话才几l具有如下的功能(所谓的面部认一证功能)当用户一 ii;见看主显示部101的显示一边进行操作键201的操作时，通过子相机105 4財IU )户的面部图像，并根据从该面部图像中提取的特征信息进行认证处理，理。通##^上述隐蔽性较高的功能时进行认证处理，能够提高2性并 保护隐私。图2是示出了图1所示的一例便携电话机的内部结构的框图。控制部400 是对便携电话机l的主要^1乍进行控制的处理器，具有摄像单元驱动控制部 401、认证处理部402、连续认证部403、 4晉误历史管理部404、计时部405 和位置信息检测部406。从4斜乍键201向控制部400输入操作信号，并JL^ 储器410、图^4^入输出部430、声音输入输出部440和通信部450可输入输 出地连接在控制部400。图像输入输出部430具有主显示部101、子显示部102、主相枳J04和 子相机105。将主相机104和子相机105分别单元化为摄像单元，这种摄像 单元包括CCD( Charge-Coup 1 ed Device )和CMOS(Complementary Meta 1 Oxide Semiconductor)图像传感器等光电转换元件和控制电路。这里，在对摄#^ 元供电后，使用了需要进行偏移或增益调整等初始化处理的光电转换元件。声音输入输出部440具有受话用接收器103和送话用U风203。通信 部450通过与未图示的勤占之间进行电波收发，从而实现声音数据和图^l丈 据等的收发。才射象单元驱动控制部401通过^[言号发i^Jij图^i^入输出部430,控制 i^目机104和子相机105的驱动。在该实施例中，摄像单元驱动控制器401 通过控制子相机105的驱动，用子相机105 ^財聂一i^见看主显示部101 —边 对才斜乍键201进行才斜乍的4斜乍者的面部图像，并才M居从该面部图像中提取出 的特征信息进^^人证处理。但是，也可以用主相机104寸射聂面部图像后进行 认证处理。认证处理部402通过比较从拍摄图像中提取出的特征信息与事先^f诸在 务賭器400中的用户的特征信息(注册特征信息)，判断此时进行操作的才剁乍者是不是真正用户。连续认证部403通过控制摄^^元马区动控制部401 ^"i人 证处理部402,从而连续地进行多次认证处理。当认证失败时，错误历史管 理部404将此次认证时的历史信息^f诸到务賭器410中，作为错i吴历史信息。计时部405是进行时间计量的装置。位置信息检测部406是4&则出便携 电话机1的位置信息的装置，这里，用GPS (Global Positioning System) 构成位置信息检测部406。务賭器410包括显示画面数据^^部411、图傳^t据^f诸部412、特征 信息^ft部413和4射吴历史信息的##部414。在显示画面数据^fJl部411 中^H诸主显示部101或子显示部102中所显示的画面数据。在图^lt据^f诸 部412中^f渚主相机104或子相机105 4甜菱到的图4緣据、以^itiiit信部 450 /"卜部接收到的图#|丈据等。在特征信息^f诸部413中##用于认证处 理的面部图像的特征信息。在4晉误历史信息^Hil部414中，/A^:新的错误历史信息开始按顺序^H渚 预定次数的4綠历史信息。也才;^_说，当##在4射吴历史信息##部414中 的错i吴历史信息处于未满;Ui述预定次数的状态而认证失败时，将此次认证 时的错i吴历史信息ii^口并^ft到错i吴历史信息^H诸部414中。另一方面，当 处于将上述预定次数的错i吴历史信息^f诸到错i吴历史信息存储部414的状态 而i^正失败时，删除最旧的错误历史信息，同时^f^iU正时的新的镅i吴历史 信息。例如，可以^f诸如下内容作为4緣历史信息进行认证处理时从计时部 405输出的时间信息、用于认证处理的子相机105所4射聂的4財聂图像、或进 4ti人证处理时从位置信息检测部406输出的位置信息等。但是，也可以将用于认证处理的面部图像的特征信息或面部图像的图像 数据^^诸到例如SIM (Subscriber Identity Module)卡之类的相对于便携 电话机l可拆卸的记录媒体(图中未示出)中。图3是示出了图2的摄像单元驱动控制部401的结构例的框图。摄像单 元驱动控制部401具有^射象单元启动部407、摄像控制部408和摄#^元停 止部409。摄像单元启动部407将控制信号发送到主相机104和子相机105 启动这些相才凡，该4勤象单元启动部407具有根据用户的#4乍向主相 机104或子相机105接通电源的电源接通部407A、和进行初始化处理的初始化处理部407B。摄像控制部408根据来自初始化处理部407B的输入信号和用户的摄像 操怍，控制主相机104或子相机105的^財聂动作，生成针对此时的主相机104 或子相右U05的被i聂体的4争止图傳Jt据。摄^^元停止部409通过停止给主 相机104和子相机105提供电力，来停止这些摄〗象单元的驱动。图4是示出了图2的认证处理部402的结构例的框图。认证处理部402 具有特4iE^取部402A、 一li^l计算部402B和一fi^判断部402C。当开始认 证处理时，由特;f对是取部402A从子相机105:l甜聂到的面部图像中提取出眼睛、 鼻子、嘴巴和轮廓等面部各部分的形状或大小等特征信息。当4射聂图像不是面部图像而AX景图像等时，不能从4財聂图像中提取出 特征信息。这种情形，认证失败，但不将此时的错误历史信息存储到务賭器 410的4fi吴历史信息^ft部414中。另一方面，当从拍摄图像中成功iW是取 出特征信息时,通过一狄计算部402B,比较该特征信息与^i者絲储器410 的特征信息^#部413中的注册特征信息，并计算出数值化后的一1嫂。一ltl判定部402C比较由一至t^计算部402B计算出的一IJU1与预定的 阈值(认证阔值)，并输出该比较结果。这时，当一l谈超过i/v证阔值时，判 ^:真正用户，认证成功。当一li^小于认证阈值时，不判定为真正用户， 认证失败。所谓的一f谈，是指被比较的所有特征信息中一致的特征 信息所占的比例(％),通常，#^人证阈值设定为大于等于预定值的90%。将一It^判断部402C输出的比较结果输A5^fi吴历史管理部404中。 当认证失败时，错误历史管理部404将该次认证时的错误历史信息存储到错 误历史信息^#部414中。另一方面，当认证成功时、或者将前一次4晉误历 史信息^f诸到4射吴历史信息^f诸部414开始的一定时间内认证失败时，4射吴 历史管理部404不将此次认证时的4緣历史信息^f诸到4綠历史信息n^f诸部 414中。也tU^兌，4晉误历史管理部404只有在务賭了前一次4晉误历史信息 并经过了一定时间^认证失败时，才将错误历史信息##到错误历史信息 ##部414中。在本实施例中，如^A人^財聂图像中提取出特征信息，则仅当判定为该特 征信息与注册特征信息之间的一致度d、于认证阈值时，才能够存储4晉i吴历史 信息。也就是说，拍摄图像是面部图像，虽然提取出例如眼睛、鼻子、嘴巴以及轮廓的形状或大小等面部图像的特征信息，但是，仅当与作为注册特征 信息的预先务賭的用户特征信息的一礼变小于认证阈值，被判定为不是真正用户时，才能够^f诸4脊i吴历史信息。这样，如果不是真正的用户，例如盗窃便携电话机l的人等想非法^JD 该便携电话机1，则仅当从该人的面部图像中提取出特征信息时，才对认证处理中认证失败的历史信息进行务賭，并作为错i吴历史信息，同时在重新取 回便携电话机l之后，就可以根据错i吴历史信息确定该人了。从而，能够防 止当不肯M艮据拍摄图像确定为非法^f^D者时^H诸4射吴历史信息，所以能够存 储对确定非法^^)者有用的信息，并能够降^^f诸器410的4躺量。再者，仅当存储了前一次错误历史信息并经过了一定时间后认证失败 时，才^f诸4射吴历史信息，通it^用上述结构，非法^^)者注意到##了认 证处理过程中作为错i吴历史信息的认证失败的历史信息，为了从错误历史信 息^f诸部414中删除该错误历史信息而在短时间内进行了多次自己的面部无 法被识别的认证处理时，能够防止对这些认证处理时的错i吴历史信息进行存 储。从而，由于能够防止非法使用者故意将用于确定非法使用者的错误历史 信息从错溪历史信息^f诸部414中删除，故能够更可靠地确定非法使用者。图5另—ii行有关面部认i正的i殳定时的主显示部的显示例的示意图。用户 对4剩乍键201进行4斜乍并读出安全性设定画面(参见图5(a)), —旦4斜乍了 选#^玄#性设定画面中所显示的项目中的"面部识别设定"项目，就在主 显示部IOI中显示催促输入该便携电话机l中被事先分配的终端密码号的画 面(参见图5(b))。在该显示画面中，一:&#作了操怍键201中包含的清除 4建，主显示画面101的显示就返回到如图5所示的^4生没定画面。终端密码号是便携电话机1在购买时预先设定的，由例如4 ~ 8位的任 意字符串构成，用户可以通必于操作键201进行4喿怍来更改。在图5 (b)的 终端密码号输入画面中，通过#^乍4定201的#^乍而输入的字符串，当与预先 设定的终端密码号不一致时，在主显示部101中显示该提示(参见图5(c))。 并且，当在终端密码号输入画面中输入的字符串小于等于3位时，在主显示 部101中显示应输入4 ~ 8位字符串的提示(参见图5 (d))。在主显示部101中i^f亍了如图5 (c)或图5 (d)所示的显示后，当经 过了预定时间后超时或者操作了操作键201中所包含的任意一个键时，主显示部101的显示就返回到图5 (a)所示的*|"生设定画面。当在图5 (b)的终端密码号输入画面中输入的字符串与预先设定的终端 密码号一致时，主显示部IOI的显示就切换到用于对进行面部认证的模式的 启动/关闭(ON/OFF)进行设定的面部认证设定画面(参见图5(e))。在该显 示画面中，一JS4喿作了操作键201中包含的清除鍵，主显示部101的显示就 返回到图5(b)所示的终端密码号输入画面。并且，在面部认证利用设定画面 中，一^Sit过才剁乍键201的操作结束了面部认证，主显示部101的显示才说 回到图5 (a)所示的^f生设定画面。在图5 (e)的面部认证利用设定画面中，一^SJt过才刻乍键201的才辦启动 了面部认证，主显示部101的显示就^皮切换到用于进行有关面部认证的设定 的面部认证设定画面(参见图5(f))。在本实施例中，可以从最多7个图^l史据中提取出特征信息，并^j诸到 ##器410中作为进行面部认证时^jf]的注册特征信息。根据从至少2个图 ^U史据中提取的注册特征信息进行面部认证，由此，可以提高当对真正用户 进行面部认证时认证成功的概率(该人的接受率)，并能够防止因为用户的表 情或者光线照射的角度等细小的差M致的认证失败。但是，用户面部认证 ^^]的注册特征信息不局限于从7个图^^:据中提取，例如也可以根据从一 个图^l丈据中提取的注册特征信息来进行面部认证。事先通iti相机104或子相机105才甜躺户的面部图像，并将这些图像 数据賴到^f诸器410的图^lt据^ft部412中。根据/Ai^些图mt据中提 取并^f诸^賭器410的特征信息^f诸部413中的注册特征信息进行面部认 证，因此，这些图像数据本身在面部认证时是必需的，故如果###賭器 410,用户就可以通过读喊些图^l史据来确认面部图像，因而提高了便利性。图5 (f )的面部认证设定画面中包括分别与表示上述注册特征信息的 提取源即用户的图像(用于面部认证的图像)对应的项目、与面部认证时的 认证阈值的设定(安全级别设定)相对应的项目、以及与4晉i吴历史对应的项 目。在该显示画面中，如果选择了与面部认证用图#^于应的项目，就显示进 行面部认证用图像的重写注册或确认的画面(面部认证用图像注册画面)。如 ^i4择了与"^级别设定相对应的项目，就显示用于设定面部认证时的认证 阈值的画面(安全级别设定画面)。如^it择了与错误历史对应的项目，就显示用于显示4脊i吴历史的画面(镅误历史画面)。进行了这些各种设定等后，对操作键201进行操作， 一旦面部iU正i殳定 结束，主显示部101的显示就^皮切4灸成图5 (g)和图5 (h)中所示的显示。 也才>^_说，如果注册了至少1个面部认证用图^f象，贝'j根据从该面部认证用图 像中提取的特征信息，在主显示部101中显示(参见图5 (g))进行面部认证 的4是示，如果选择包含在该画面中的确认4定U1，则主显示部101的显示就 返回到图5 (a)中所示的^性设定画面。另一方面，如果一次也没有注册 面部认证用图像，就在主显示部IOI中显示应进行面部认证用图像的注册的 提示(参见图5(h)), —^Si^择了该画面中包含的确认键112,主显示部IOI 的显示就返回到图5(f)所示的面部认证设定画面。图6是面部认证用图像注册画面的显示例的示意图。在图5 (f )的面部 认证设定画面中，一M择了与面部认证用图^^于应的任意一个项目，主显 示部101的显示就^皮切换成图6(a)所示的与面部认证用图傳J 寸应的面部认 证用图像注册画面。面部认证用图像注册画面包含"重写注册"项目和"注 册数据确认'，项目。一旦操作选择了图6 (a )的面部认证用图V象注册画面中所显示的项目中 的"重写注册"项目，就启动子相机105,当处于可以用子相机105进行拍 摄的状态后，就在主显示部IOI中实时地显示针对子相机105的被摄体的图 像(参见图6 (b))。这时，主显示部101就作为子相机105的取景器，在由 主显示部101构成的取景画面中显现出一边观看主显示部101 —边进行才斜乍 的操作者的面部。在图6 (b)的取景画面中，用户调整自己面部的位置等后，一^SJf过操 作包含于操作键201中的确定键进行注册4^f乍，控制部400的特;(jE^取部 402A就进行,Ai匕时由子相机105对甜聂到的图像中提取出特征信息的处理。这时，如^^"用户面部位置进^it当调整，就可以提取出眼睛、鼻子、 嘴巴和轮廓的形状或大小等特征信息，如果不对位置进4tit当地调整，则当 在主显示部101中完全没有显现出用户的面部等时，就不能提取出特征信息。 当成功^y是取出特征信息时，将该特征信息^H诸到^f诸器410的特征信息存 储部413中，此时的面部图像#招皮作为面部认证用图^^f诸在^j诸器410的 图^l丈据^f诸部412中。当成功地提取出特征信息时，在主显示部101中显示已经将基于该面部图像的特征信息^f诸(注册)到^[诸器410中的提示(参见图6 (c))。用户 一JSi^择了这种显示画面中包含的确认一建113,主显示部101的显示就返回 到图5 (f )中所示的面部认证设定画面。另一方面，当特征信息的提取失败 时，就在主显示部101中显示该提示和特征信息提取失败的原因(参见图6 (d))，用户一^i4择了该显示画面中包含的确认键114,主显示部101的显 示就逸回到图5(b)所示的取景画面，并能够再次用子相机105 4射聂面部图 像。一:^#作选择了图6 (a)的面部认证用图像注册画面中所显示的"注册 数据确认"项目，就读出##^(诸器410的图^#:据##部412中的对应 的面部认证用图像，并显示在主显示部IOI中(参见图6 (e))。用户可以通 过图6 (e)所示的面部认证用图像的确认画面，确认已注册的面部认证用图 像。在该显示画面中，一^S4喿作了搡作键201中包含的清除键，主显示部IOI 的显示就返回到图6 (a)所示的面部认证用图l象注册画面。在图6 (e)的面部认证用图像确认画面中， 一旦用户通必付斜乍键201 进行操作，进行了删除对应的面部认证用图像的操作，主显示部101的显示 才&皮切换到确认是否可以删除该面部认证用图像的删除确认画面(参见图6 (f ))。在该显示画面中，包括指示旨在应删除面部认证用图像的"是"键 115、和提示旨在不删除面部认证用图像的"否，，键116。在图6 (f )的删除 确认画面中，当通过操作键201的才辨了选择"否"键116时，主显示部101 的显示就返回到图6(e)所示的面部认证用图4象确认画面。在图6 (f )的删除确认画面中，当利用操作键201的才辦选择"是'，键 115时，就开始/人务賭器410的图傳教据^^者部412和特征信息^f诸部413 中删除对应的面部认证用图像和注册特征信息的处理，并在主显示部IOI中 显示正在删除的提示(参见图(g))。接着， 一旦完成了删除面部认证用图像 和注册特征信息的处理，就在主显示部IOI中显示该提示(参见图6 (h))， 如果经过了一定的时间后超时、或响应于操作了#^4建201中包含的任意一 个键，则主显示部IOI的显示就逸回到图5(f)所示的面部认证i殳定画面。图7是^级别设定画面的显示例的示意图。在图5 (f )的面部认证设 定画面中，一JSi^择了与^^级别设定相对应的项目，主显示部101的显示画面。就^^M'J而言，事先设定最高的认证阈值为"级别3",比3"低的认证阈1议"MJ'J 2"，比"级别2"低的认证阔#^_ " 'J 1";在^^级别设定画面中，可以选#[壬意一个安全级别。图8是4脊i吴历史画面的显示例的示意图。在图5 (f )的面部认证设定画 面中，一JSii择了与4射吴历史对应的项目，主显示部101的显示才^f皮切换到 图8所示的用于显示^脊误历史的4晉误历史画面。在4晉误历史画面中，表示认 证失败时的日期和时间的时间信息作为错误历史信息仅列表显示了规定次数 (如9次)。在上述规定次数的错误历史信息被##在务賭器410的賴误历史 信息##部414中的状态下再次认证失败时，删除最旧的4ti吴历史信息，将 最新的错误历史信息，到务賭器410中，并进行更新以便新的错误历史信 息显示在4脊i吴历史画面。图9是it^亍面部iM正时的主显示部101的显示例的示意图。在该例子中， 当切换包含在便携电话机1的管理功能中的保密模式中的启动/关闭时,进行 面部认证。当保密模式处于启动状态时，处于显示通常数据和作为保密数据 被事先注册的数据的状态；当保密模式处于关闭状态时，处于不显示保密数 据仅显示通常数据的状态。在图9(a)所示的用于设定便携电话机l的管理功能的管理功能画面中， 一^i^择操作了在该管理功能画面中显示的项目中的"保密模式"项目，就 启动子相机105。在子相机105处于可以4財聂状态后，在主显示部IOI中以 实时方式显示针对子相机105的被摄体的图像(参见图9(b)),并开始自动 认证。这时，由于在结束了子相机105的初始化处理后处于可4甜聂状态，所 以即使用户不进行拍摄操作，也可以4財聂用于认证的面部图像，并进一步从 所4射聂图像中提取特征信息。而且，通过比4"斤提取出的特征信息与事絲 储#賭器410的特征信息^f诸部413中的用户特征信息，自动进行认证处 理。在该认证处理中，当提取出的面部图像的特征信息与^f渚在^H诸器410 中的用户的特征信息的一致^i过了在安全级别设定画面中事先设定的认证 阈值时，判定该操作者是真正的用户。这时，针对显示在主显示部101的用 户的面部图像，通过所谓的动作聚焦(action focus)进行强化显示，从而通过纟见觉^^iMi^i^人证成功。然后，在主显示部101中显示认证成功的消息(参见图9 (C)),经过规定时间后，切换到用于切换保密模式的启动/关闭的画面(参见图9 (d))。另一方面，当特征信息的一li^小于认证阈值，认证失败时，再次从该时刻通过子相机105 4射菱的图像中自动^y^取特征信息，并将该特征信息与## ^H诸器410中的用户的的特征信息进行比4交。如上所述，在本实施例中，当认证失败时，在经过)见定时间(如3秒) 后超时之前，反复连续;^ii行认证处理，认证成功时结束认证处理。例如， 当设定超时的时间为3秒时，最多进行7次认证处理。换句^i兌，1次认证 处理所需要的时间是0. 4秒，假设在1次认证处理中认证成功，则在子相机 105的初始化处理结束后，几乎无需等待时间就可以进入下一个处理。在反 复进行认证处理期间，在主显示部IOI中显示取景画面，以实时方式显示针 对子相机105的净皮才聂体的图像。在反复进4ti人证处理时，每当进行多次认证处理，就在主显示部IOI中 显示与特征信息的一H^相对应的显示，作为该认证处理中特征信息的比较 结果。M说，主显示部IOI中显示的取景画面的框117的颜色以对应于特 征信息的一致度的颜色进行显示。从而，由于显示了认证处理时的特征信息 的一H变的比较结果，所以根据该显示，用户可以确认该认证处理时拍摄的 自己的面部图像是否是容易识别的图像。但是，并不局限于这种结构，还可以在主显示部IOI中用数值或图表等 分级显示特征信息的一m。并且，不局限于对所有认证处理都显示比较结 果的结构，也可以采用对至少一次认i正处理显示比4&吉果的结构。当自动认证开始后经过了规定时间后超时的情形，在主显示部IOI中显 示认证失败的提示(参见图9 (e ))。 一旦用户选择了包含在该显示画面中的 再确iU建118，主显示部IOI的显示就返回到图9 (b)所示的取景画面，再 次开始自动i^证。另一方面，在图9 (e)中，当用户选择了在主显示部IOI 中显示的终端密码号llr7v建U9时，主显示部101的显示就被切换到催促输 入终端密码号的终端密码号输入画面(参见图9 (f))。当在图9(f)的终端密码号输入画面中输入的字符串与事先设定的终端 密码号一致时，主显示部101的显示被切换到用于切换保密模式的启动/关闭的画面(参见图9 (d))。另一方面，在图9 (f )的终端密码号输入画面中，当通过操作键201的 操作而输入的字符串与事先设定的终端密码号不一致时，在主显示部101中 显示该提示(参见图9 (g))。并且，当在终端密码号输入画面中输入的字符 串小于等于3位时，在主显示部IOI中显示应输入4-8位字符串的提示(参 见图9 (h))。接着，在进行了图9 (g)或图9 (h)的显示后， 一旦经ii^见 定时间后超时或操作了包含在操作键201中的任意一个键时，主显示部IOI 的显示就返回到图9 (a)所示的管理功能画面。在本实施例中，当认证处理中认证^Ji时，再次自动进^ffi人证处理，则 当真正的用户进行^f乍时，在通过第1次认证处理无法判歧真正的用户时， 其后用户也无需进行4射聂^ft,就再次进4ti人证处理。换句话说，由于在判 断为是真正的用户之前反复自动进4ti人证处理，所以可以减少认证处理所需 的工夫，并缩短认证处理所需的时间。在认证处理中进行面部图像的4財聂时，最好不发出快门声音。通絲用 该结构，当在汽车中等周围有人的环境中进^S人证处理时，可以防止因为产 生快门声音而被误解为偷拍等。在本实施例中，由于是在认证处理时进行拍 摄操作，因此可以防止因为进行拍摄操作而被i吴解为偷拍等。但是，当在规定时间内未判定出是真正的用户时，不局限于这种超时的 结构，ii可以采用反复进4亍认证处理直到认证成功为止的结构。并且，不局 限于这种连续蚰进^i人证处理结构，还可以在子相机105启动并处于可^射聂 状态后，采用^J^f亍一次i^证处理的结构。图10是选>#4射吴历史画面中的賴^吴历史信息时的显示例的示意图，(a) 是错i吴历史信息的选择状况，(b)是针对所选择的错误历史信息的第一显示 例，(c)是针对所选择的错i吴历史信息的第二显示例。在图8所示的4晉误历史画面中，用户对才^f乍4建201进行才喿作，指示游标 120指向主显示部101中列表显示的错i吴历史信息(时间信息)中的任意一 个后，进行确定操作，从而能够选^i亥错误历史信息(参照附图10 (a))。在图10 (b)所示的第一显示例中，根据错误历史信息的选择操作，从 4射吴历史信息存—诸部414中读出当务賭了错i吴历史信息时用于认证处理的由 子相机105 4甜聂到的图像，并在主显示部101中显示该4甜聂图像。当如本实施例那样进行连续地认证时，由于在认证中^J^了多个拍摄图像，所以在主显示部101中显示这些^財聂图像的全部或任意一幅。当在主显示部101中显 示多个4財聂图像的4^时，在主显示部101中缩略显示这些^財聂图像，或者 当对拍4聂图#^^行选#4喿作时，还可以在整个主显示部101放大显示所选的拍摄图像。但是，当采用与本发明的实施方式不同的^(又进行一次认证处理的结构时，还可以在主显示部101中显示在该1次认证处理时子相机105 4射聂到的 图像。在图10 (c)所示的第二显示例中，根据错i吴历史信息的选择操作，在 ^f诸了4射吴历史信息的认证处理时，从4綠历史信息^f诸部414中读出由位 置信息检测部406 #^则出的位置信息，并在主显示部101中显示该位置信息。 在该实施例中，虽然在主显示部101中显示了作为位置信息的地A,但是本 发明并不局限于此，还可以例如在主显示部101中显示地图，在地图上确定 所枱溯出的位置信息。本发明不局限于在主显示部101中列表显示作为错i吴历史信息的进行认 i正处理时的时间信息的结构，还可以通过选#^皮列表显示的错误历史信息， 从4fi吴历史信息^f渚部414中读出与该4射吴历史对应的认证处理时的时间信 息，在主显示部101中显示该时间信息。并且，还可以~~^示针对各个错 误历史进行认证处理时的时间信息、用于认证处理的4甜聂图像、和进行认证 处理时的位置信息，并JUi可以采用如下结构，即显示用户选#^些4昔误历 史信息中的任意一个的结构。在本实施例中，通过^fili^ti人证处理时的时间信息、用于认证处理的 才財聂图像、或者将进^i人证处理时的位置信息作为^i吴历史信息，在重新取 回便携电话机l后，由于可以根据该信息中确定非^f吏用者，所以能够更正 确地确定非法^f吏用者。当进行连续认证时，，H更^f诸所有用于这些认证处理 的4甜聂图像，则根据该4射聂图像(面部图像)可以更正确的确定非法<^]者， 如^f诸任意一幅拍摄图像，则与^H诸所有4射聂图像的情^U目比，可以减少 务賭器410的佳月量。图ll是主显示部lOl中所显示的等待画面的一个例子的示意图。这里， 所谓的等待画面，是指在便携电话机l接通了电源的状态下，在不启动应用程序时显示在主显示部101中的画面。在图11所示的例子中，在主显示部101中显示的"~^分等待画面上，设置了通过显示规定的图标;^于用户进行通知的通知区域121。在该例子中，在通知区域121中，显示了用于通知旨在接收了新电子邮件的邮件接收图标 122 、和用于通知旨在务賭了新的错i吴历史信息的賴"i吴显示图标(賴误显示单 元)123。从而，在用户不知道的情况下非法^J ]便携电话机1,并在错误历 史信息存储部414中存储了此时的错i吴历史信息时，并能够在等待画面中显 示该^是示^if知用户。面部认证并不局限于切换保密模式的启动/关闭时，可以在有关安全度 或者隐私度较高的其他功能的各种设定操作时进行，例如卡的设置、收信限 制、锁定设定、密码号变更、通知发信A^号/不通^i殳定、重新设定、软件 更新、详细显示本局号码、以及^( :据的变更。并且，认证处理并不局限于才M居面部图像数据进行的面部认证，如果是 显示用户的图像，则也可以是根据用户的指紋图像等进行的认证处理。这时， 通过比较提取出的指紋图像的特征信息，从而能够进行认证处理。本发明并不局限于上述实施例的内容，可以^y又利要求书的范围内进行 各种变更。本申请根据巴S^约的规定要求2005年7月22日在日本的专利申请(特 愿2005-212806 )的优先权，处，参照该专利申请的全文进行引用。符号说明1、 便携电话机101、 主显示部102、 子显示部103、 受话用接收器104、 主相机105、 子相机 121、通知区域 123、賴i吴显示图标 201、樹乍键203、送话用^X400、 控制部401、 摄像单元驱动控制部402、 认证处理部 402A、特4lL^取部 402B、 一lt^计算部 402C、 一fi^判断部403、 连续认证部404、 4脊误历史管理部405、 计时部406、 位置信息4企测部407、 纟射象单元启动部 407A、电源接通部 407B、初始4t处理部408、 #聂像控制部409、 摄像单元停止部410、 賴器411、 显示画面教:据^f渚部412、 图^l史据^f渚部413、 特征信息賴部414、 銜吴历史信息賴部 450、通信部
权利要求
1.一种便携信息终端装置，其特征在于，具有拍摄单元，用于拍摄被摄体；特征信息存储单元，将从面部图像中提取出特征信息作为注册特征信息进行预先存储；认证处理单元，根据上述拍摄单元拍摄的拍摄图像，使用上述注册特征信息进行认证处理；和错误历史管理单元，在上述认证处理中将认证失败的历史信息作为错误历史信息存储在错误历史存储单元中，上述认证处理单元具有从上述拍摄图像中提取出特征信息的特征提取单元；比较由上述特征提取单元提取出的特征信息与存储在上述特征信息存储单元中的注册特征信息，并求出数值化后的一致度的一致度计算单元；以及比较上述一致度与认证阈值的一致度判断单元，当在上述特征提取单元中提取出特征信息，并且在上述一致度判断单元中判断出一致度小于认证阈值时，上述错误历史管理单元将错误历史信息存储在上述错误历史存储单元中。
2. 如权利要求1所述的便携信息终端装置，其特4正在于， 具有用于计时的计时单元，上述错误历史信息包含当进行了上述认证处理时通iti述计时单元计 量的时间信息。
3. 如权利要求1所述的便携信息终端装置，其特4正在于， 上述错误历史信息包含通iUi述^甜聂单元拍慑的用于上述^人证处理的4財聂图像。
4. 如权利要求1所述的便携信息终端装置，其特4碌于， 具有连续认证单元，通过控制上述4財聂单元和上述认证处理单元，从而当在上述认证处理中认证失败的情况下再次进行^甜聂，并根据该拍摄图像进 4t认证处理，上述错i吴历史信息包含由上述4甜聂装置4甜聂的用于上述认证处理的拍 摄图像的全部或任意一幅。
5. 如权利要求1所述的便携信息终端装置，其特4正在于，具有用于检测上述便携信息终端装置的位置信息的位置信息检测单元； 上述4fi吴历史信息包含在进行了上述认证处理时通iUi述位置信息检 测单^i全测的位置信息。
6. 如权利要求1 ~ 5中任意一项所述的便携信息终端装置，其特征在于， 能够从最新的4晉误历史信息开始按顺序将规定次数的错误历史信息存储到上述4射吴历史##单元；在从存储了上一次4晉误历史信息后经过一定时间之后认证失败的情况 下，上述错误历史管理单元将4脊误历史信息^f诸到上述错i吴历史##单元中。
7. 如权利要求1 ~ 6中任意一项所述的便携信息终端装置，其特征在于， 具有4射吴显示单元，用于在等待画面中显示在上述4晉i吴历史^f诸单元中^f渚了4fi吴历史信息。
全文摘要
本发明的目的在于提供一种便携信息终端装置，能够仅存储对指定非法用户有用信息。在特征提取部(402A)中，从拍摄图像中提取特征信息，当一致度判断部(402C)判定出该特征信息与注册特征信息之间的一致度小于认证阈值时，错误历史信息管理部(404)将此时的错误历史信息存储到错误历史信息存储部414中。因此，当不是真正用户的人，譬如偷盗便携电话机的人等想非法使用该便携电话机，仅当从该人的面部图像中提取出特征信息时，才将在认证处理中认证失败的历史信息作为错误历史信息进行存储，当重新取回该便携电话机后，能够根据错误历史信息确定该人。
文档编号G06T7/00GK101238705SQ200680022878
公开日2008年8月6日 申请日期2006年7月12日 优先权日2005年7月22日
发明者中冈明, 清水纯一 申请人:夏普株式会社