便携信息终端、信息提示系统以及信息提示方法与流程

本发明涉及拍摄图像而保存到信息服务器并从信息服务器获取图像而显示的便携信息终端和信息提示系统以及信息提示方法。

背景技术：

智能手机、平板终端等便携信息终端的普及得到发展。便携信息终端搭载有照相机功能，用户能够使用照相机功能拍摄各种图像，并将拍摄到的图像保存到便携信息终端的存储装置部、云存储设备等。另外，用户通过使用便携信息终端重放显示保存于存储装置部、云存储设备等的图像，从而能够回想拍摄图像时的状况、印象。

例如，专利文献1中以“用户能够在实际来到该场所、或者待在自己家里等时，体验该场所中的其他人的状况、状态，感受与该人之间的轻松的关系，或者重温过去自己在该场所中的状况、状态而回忆过去”为课题，公开了如下构成的信息呈现方法，即“在用用户终端测量或者指示当前位置并发送给服务器时，服务器将在相对该当前位置一定的距离内的位置拍摄到的照片的图像信息、表示拍摄位置的信息以及拍摄时的拍摄人的生物体信息，发送给该用户终端。在该用户终端中，通过空间表现来显示该发送的信息，或者通过振动、光的闪烁来呈现该发送的信息”。

现有技术文献

专利文献

专利文献1：日本特开2009-187233号公报

技术实现要素：

在所述专利文献1记载的技术中，通过用户的操作指示，根据当前位置(或者设定位置)和拍摄位置及其距离而选择图像，并将图像与生物体信息一起提示。此时，作为图像的选择条件，使用了当前位置和拍摄位置的位置信息，不过一般认为，仅凭该条件难以有效地提供使用户想起回忆的图像。

即，为了有效地使用户想起拍摄的当时的回忆，需要加入过去拍摄图像时的季节(月日)及时刻、相对拍摄对象物(被摄体)所指向的方位等各种条件来选择图像。例如，如果在冬季(或者相同的月日)提示在冬季的某日拍摄到的图像，则易于想起当时的回忆。另外，如果在傍晚的时间段(傍晚)提示在某日的傍晚拍摄到的图像，则易于想起当时的回忆。另外，即便在过去拍摄到的拍摄对象物(被摄体)消失之后，如果在从当时的拍摄位置朝向有过拍摄对象物(被摄体)的方位时提示图像，则易于想起当时的回忆。而且，这样的选择条件(季节、月日、时刻、方位等)是按照用户以及用户所处的状况而变化的，所以最好是用户能够适当地设定。

另外，在对用户提示所选择的回忆图像时，有必要对其显示方法进行设计。在所述专利文献1中，使过去拍摄到的图像与地图链接而显示，并且一并提示拍摄时从用户获取到的生物体信息。然而，当前，在用户使用便携终端进行拍摄的状况下，针对拍摄中的照相机图像尚未考虑如何显示回忆图像。即，在选择多个图像时，最好不是将它们整齐划一地显示，而是强调显示被认为是用户特别关心的图像。

本发明的目的在于提供一种利用由用户设定的条件来选择用户过去拍摄并保存的图像，从而对用户有效地显示的便携信息终端、信息提示系统以及信息提示方法。

本发明提供一种便携信息终端，具备：图像输入部，输入拍摄到的图像数据；信息获取部，获取包括日期时间信息、位置信息、方位信息、到被摄体的距离信息在内的各种信息，作为便携信息终端的状况；通信部，经由网络，在与信息服务器之间进行图像数据及各种信息的发送接收；显示部，显示基于由图像输入部输入的图像数据的输入图像和/或基于由通信部接收到的图像数据的关联图像；以及控制部，控制便携信息终端的各部的动作。所述控制部进行控制，以使得在将拍摄到的图像数据保存到信息服务器时，与拍摄时的关联信息一起发送，该拍摄时的关联信息包括：利用信息获取部获取的表示拍摄时的便携信息终端的状况的各种信息；以及能够识别便携信息终端的用户的用户识别信息，在请求保存于信息服务器的图像数据时，将当前的终端信息和记述有由便携信息终端的用户设定的图像数据的重放条件的图像检索条件发送给信息服务器，所述当前的终端信息包括：利用信息获取部获取的表示当前的便携信息终端的状况的各种信息；以及能够识别便携信息终端的用户的用户识别信息，获取由信息服务器根据当前的终端信息和图像检索条件检索到的图像数据，作为关联图像显示于显示部。

在本发明的信息提示系统中，便携信息终端具备：图像输入部，输入拍摄到的图像数据；信息获取部，获取包括日期时间信息、位置信息、方位信息、到被摄体的距离信息在内的各种信息，作为便携信息终端的状况；通信部，经由网络，在与信息服务器之间进行图像数据及各种信息的发送接收；以及显示部，显示基于由图像输入部输入的图像数据的输入图像和/或基于由通信部接收到的图像数据的关联图像。信息服务器具备：存储装置部，保存从便携信息终端发送的图像数据和各种信息；图像检索部，根据来自便携信息终端的请求，从存储装置部检索相应的图像数据；以及通信部，经由网络，在与便携信息终端之间，进行图像数据及各种信息的发送接收。

所述便携信息终端在将拍摄到的图像数据保存到信息服务器时，与拍摄时的关联信息一起发送，该拍摄时的关联信息包括：利用信息获取部获取的表示拍摄时的便携信息终端的状况的各种信息；以及能够识别便携信息终端的用户的用户识别信息，在请求保存于信息服务器的图像数据时，将当前的终端信息和记述有由便携信息终端的用户设定的图像数据的重放条件的图像检索条件发送给信息服务器，所述当前的终端信息包括：由信息获取部获取的表示当前的便携信息终端的状况的各种信息；以及能够识别便携信息终端的用户的用户识别信息。所述信息服务器根据从便携信息终端接收到的当前的终端信息和图像检索条件，从存储装置部中检索相应的图像数据，将检索出的图像数据发送给便携信息终端。

本发明提供一种信息提示方法，具备：便携信息终端在将拍摄到的图像数据保存到信息服务器时，将拍摄到的图像数据和拍摄时的关联信息一起发送给信息服务器的步骤，该拍摄时的关联信息包括：表示拍摄时的便携信息终端的状况的日期时间信息、位置信息、方位信息、到被摄体的距离信息的各种信息；以及包括能够识别便携信息终端的用户的用户识别信息；以及信息服务器将从便携信息终端发送的图像数据和拍摄时的关联信息保存到存储装置部的步骤。另外，具备：便携信息终端在请求保存于信息服务器的图像数据时，将当前的终端信息和记述有由便携信息终端的用户设定的图像数据的重放条件的图像检索条件发送给信息服务器的步骤，所述当前的终端信息包括：表示当前的便携信息终端的状况的各种信息；以及能够识别便携信息终端的用户的用户识别信息；信息服务器根据从便携信息终端接收到的当前的终端信息和图像检索条件，从存储装置部中检索相应的图像数据，将检索出的图像数据发送给便携信息终端的步骤；以及便携信息终端将从信息服务器发送的图像数据作为关联图像显示于显示部的步骤。

根据本发明，利用由用户设定的条件来选择用户过去拍摄并保存的图像，并强调显示关联紧密的图像，所以用户能够有效地想起回忆，诸如想起拍摄当时的状况、印象。

附图说明

图1是信息提示系统的结构图。

图2a是便携信息终端的外观图。

图2b是示出便携信息终端的主页画面的图。

图2c是便携信息终端的硬件结构图。

图2d是便携信息终端的软件结构图。

图3是信息服务器的硬件结构图。

图4a是示出便携信息终端的回忆控制设定画面的图。

图4b是说明登记条件设定的详情的图。

图4c是说明重放条件设定的详情的图。

图4d是说明对象物的方向的计算方法的图。

图5a是示出便携信息终端的照相机功能画面的图。

图5b是回忆图像登记处理的流程图。

图6a是信息服务器中的图像数据库的结构图。

图6b是信息服务器中的用户数据库的结构图。

图6c是信息服务器中的关联信息数据库的结构图。

图7a是回忆图像重放处理的流程图(便携信息终端侧)。

图7b是回忆图像检索处理的流程图(信息服务器侧)。

图8a是示出回忆图像的显示画面的例子的图(显示例1)。

图8b是示出回忆图像的显示画面的例子的图(显示例2)。

图8c是示出回忆图像的显示画面的例子的图(显示例3)。

图9a是示出插入便携信息终端的观看用装置的使用状态的图。

图9b是用户的视线以及便携信息终端的指向方向的变化的说明图。

(符号说明)

10：观看用装置；100：便携信息终端；104：ram；110：存储装置部；131：显示部；133：第一图像输入部；134：第二图像输入部；150：传感器部；160：通信部；180：触摸屏幕；180b：回忆图像的控制设定画面；180c：照相机功能画面；180d～f：显示画面的例子；200：网络；300：信息服务器；304：ram；310：存储装置部；360：lan通信部；1102：拍摄功能部；1103：信息获取部；1104：回忆图像控制部；3101：信息管理部；3102：图像检索部；3011：图像数据存储区域；3012：关联信息存储区域。

具体实施方式

以下，使用附图说明本发明的实施方式的例子。在以下叙述的实施例中，使用“回忆图像”这样的用语，是指对于拍摄该图像的用户来说能够再现拍摄当时的状况、印象而想起回忆的图像。具体而言，拍摄时的各种条件(日期时间、位置以及其他)与当前的状况(日期时间、位置以及其他)关联的情形较多，一般能够称为“关联图像”。

在本实施例中使用的便携信息终端可以是便携电话、智能手机、平板终端等。或者，也可以是头戴式显示器(hmd＝headmounteddisplay)等头部佩戴型信息终端。进而，也可以是通过将智能手机、平板终端等固定到适配器来替代头部佩戴型信息终端的结构。另外，也可以是pda(personaldigitalassistants，个人数字助理)、笔记本型pc(personalcomputer，个人电脑)、电子书阅读器等。另外，也可以是数码静态相机、可拍摄运动图像的视频照相机、便携型游戏机等其他数字设备。在以下的实施例中，作为便携信息终端主要说明使用智能手机的情况。

[信息提示系统结构]

图1是示出本实施例的信息提示系统的一个例子的系统结构图。信息提示系统由便携信息终端100、因特网等宽带网络200以及信息服务器300构成。

便携信息终端100能够经由图示省略的接入点等、或者经由图示省略的移动电话通信网的基站等与网络(因特网)200连接，能够与网络200上的各服务器装置发送接收数据。便携信息终端100和接入点之间的连接通过wi-fi(注册商标)等无线通信方式和/或其他通信方式进行。便携信息终端100和移动电话通信网的基站之间的连接通过w-cdma(widebandcodedivisionmultipleaccess，宽带码分多址)(注册商标)方式、gsm(globalsystemformobilecommunications，全球移动通信系统)(注册商标)方式、lte(longtermevolution，长期演进)方式或者其他通信方式进行。

信息服务器300是由进行信息存储/提示服务的运营商设置的服务器装置。信息服务器300接收并存储从便携信息终端100发送的图像数据以及关联信息，并且，将根据来自便携信息终端100的请求而检索到的图像数据以及关联信息发送给便携信息终端100。

此外，在图1中，与网络200连接的便携信息终端100以及信息服务器300分别仅记载有1台，但能够适当地连接多个便携信息终端100和多个信息服务器300，相互进行数据的发送接收。

[便携信息终端的外观]

图2a是示出便携信息终端100的一个例子的外观图。在此，示出便携信息终端100为智能手机时的前表面(正面)图(a)以及背面(后面)图(b)。

在(a)中，在便携信息终端100的前表面设置有：动作指示器124、第一图像输入部133、单声道扬声器142、触摸屏幕180。动作指示器124通过led(lightemittingdiode)的点亮/有无闪烁来显示便携信息终端100的动作状态。触摸屏幕180由触摸面板123和显示部131构成。

在(b)中，在便携信息终端100的背面设置有：触摸传感器122、第二图像输入部134、辅助光发光/红外线测距器135、立体声扬声器143。在从第二图像输入部134输入图像时，辅助光发光/红外线测距器135发出用于补偿不足光量的辅助光。另外，辅助光发光/红外线测距器135使用红外线来测量到被摄体的距离。

在此，在2个图像输入部中，将配置于前表面的第一图像输入部133称为“内置照相机”，将配置于背面的第二图像输入部134称为“外置照相机”。触摸传感器122也可以不配置在便携信息终端100的背面，而配置于侧表面、前表面的下部(不与触摸屏幕180重叠的部分)等。另外，构成触摸屏幕180的触摸面板123也可以一并具有触摸传感器122的功能。在该情况下，能够在触摸屏幕180上的任意的位置执行触摸传感器122的功能(例如指纹认证功能)。

在便携信息终端100的上端具备作为操作键121之一的电源键121p。在便携信息终端100的下端具备语音输入部145、作为扩展接口部170之一的μ-usb输入部170u。

[便携信息终端的主页画面]

图2b是示出便携信息终端100中显示的主页画面的一个例子的图。触摸屏幕180中显示的主页画面180a由主功能图标显示区域180a1、一般图标显示区域180a2、其他信息显示区域180a3、控制键区域180a4以及通知区域180a5构成。主页画面180a是在便携信息终端100的电源接通(on)后或休眠状态解除后，在执行任意的应用的过程中触摸了主页键的情况下等显示的基本画面。

主功能图标显示区域180a1是与便携信息终端100中频繁使用的主要应用关联起来的图标的显示区域。一般图标显示区域180a2是与其他应用关联起来的图标的显示区域。其他信息显示区域180a3是显示时刻信息、气象信息等一般信息的区域。控制键区域180a4是显示“后退键”、“主页键”、“app历史键”的区域。通知区域180a5是通知电波状态、电池剩余量等信息的区域。

[便携信息终端的硬件结构]

图2c是示出便携信息终端100的硬件结构的一个例子的图。便携信息终端100构成为具备：主控制部101、系统总线102、rom103、ram104、存储装置部110、操作输入部120、图像处理部130、语音处理部140、传感器部150、通信部160、扩展接口部170。

主控制部101是依照预定的动作程序控制便携信息终端100的整体的微型处理器部件。系统总线102是用于在主控制部101与便携信息终端100内的各动作块之间进行各种命令、数据的发送接收的数据通信路。

rom(readonlymemory，只读存储器)103是储存有操作系统等基本动作程序、其他动作程序(应用、以下相同)的存储器，使用例如如eeprom(electricallyerasableprogrammablerom，电可擦可编程rom)、闪存rom的可改写的rom。ram(randomaccessmemory，随机存取存储器)104为基本动作程序、其他动作程序执行时的工作区。rom103以及ram104也可以与主控制部101为一体构成。另外，rom103也可以不是图2c所示的独立结构，而使用存储装置部110内的部分存储区域。

存储装置部110存储便携信息终端100的动作程序、动作设定值、便携信息终端100的授权用户的个人信息、认证信息等。另外，能够存储从网络上下载的动作程序、利用该动作程序产生的各种数据等。另外，能够存储从网络上下载的运动图像、静态图像、语音等内容。另外，能够存储使用照相机功能拍摄到的运动图像、静态图像等数据。也可以用存储装置部110的部分区域代替rom103的全部功能或者部分功能。另外，存储装置部110需要即使在未从外部对便携信息终端100供给电源的状态下仍保持所存储的信息。因此，例如，使用闪存rom、ssd(solidstatedrive，固态硬盘)等半导体元件存储器、hdd(harddiscdrive)等磁盘驱动器等设备。此外，存储于rom103、存储装置部110的各动作程序能够通过来自网络上的各服务器装置的下载处理进行更新以及功能扩展。

操作输入部120是用于输入针对便携信息终端100的操作指示的指示输入部。操作输入部120由排列有按钮开关等的操作键121、根据静电电容的变化检测操作人(用户)的手指触摸的触摸传感器122、重叠配置于显示部131的触摸面板123构成。进而，作为其他操作设备，也可以使用与扩展接口部170连接的键盘、通过有线通信或者无线通信连接的独立的便携终端设备等。或者，也可以通过语音输入来进行便携信息终端100的操作。此外，触摸传感器122具备检测对传感器部触摸的手指的指纹、掌纹的功能。

图像处理部130由显示部131、图像信号处理部132、第一图像输入部133、第二图像输入部134构成。显示部131是例如液晶面板等显示设备，显示由图像信号处理部132处理后的图像数据，提供给便携信息终端100的用户。图像信号处理部132具备图示省略的视频ram，根据输入的图像数据而驱动显示部131。另外，图像信号处理部132根据需要进行编码影像信号的解码处理、格式变换处理、菜单以及其他osd(onscreendisplay，屏幕显示)信号的重叠处理等。第一图像输入部133以及第二图像输入部134是内置照相机、外置照相机等拍摄部件，使用ccd(chargecoupleddevice，电荷耦合器件)、cmos(complementarymetaloxidesemiconductor，互补金属氧化物半导体)传感器等电子设备，将从透镜输入的光变换为电信号，取入被摄体的图像数据。

语音处理部140由语音输出部141、语音信号处理部144、语音输入部145构成。语音输出部141是扬声器，将由语音信号处理部144处理后的语音信号提供给便携信息终端100的用户。单声道扬声器142在语音通话时等进行单声道语音输出，立体声扬声器143在音乐重放时等进行立体语音输出。语音信号处理部144根据需要进行编码语音信号的解码处理等。语音输入部145是麦克风，将用户的语音等变换为语音数据而输入。

传感器部150是用于检测便携信息终端100的状态的各种传感器群。作为传感器，具有gps(globalpositioningsystem，全球定位系统)接收部151、陀螺传感器152、地磁传感器153、加速度传感器154，检测便携信息终端100的位置、倾斜、方位、活动。除此以外，还可以具备照度传感器、接近传感器、气压传感器等，检测周围的明亮度、周围物的接近状况等。

通信部160由lan(localareanetwork，局域网)通信部161、电话网通信部162、nfc(nearfieldcommunication，近场通讯)部163构成。lan通信部161经由接入点等与因特网等网络200连接，与网络上的信息服务器300进行数据的发送接收。与接入点等之间的连接利用wi-fi(注册商标)等无线连接进行。电话网通信部162通过与移动电话通信网的基站等之间的无线通信进行电话通信(通话)以及数据的发送接收。与基站等之间的通信可以利用w-cdma(注册商标)方式、lte方式等进行。nfc部163在接近对应的读取器/写入器时，进行无线通信。lan通信部161、电话网通信部162以及nfc部163分别具备编码电路、解码电路、天线等。通信部160也可以还具备bluetooth(注册商标)通信部、红外线通信部等。

扩展接口部170是用于扩展便携信息终端100的功能的接口群，由影像/语音接口、usb(universalserialbus，通用串行总线)接口、存储器接口等构成。影像/语音接口在与外部影像/语音设备之间进行影像信号/语音信号的输入/输出。usb接口与pc、键盘以及其他usb设备连接，进行数据的发送接收。存储器接口连接存储卡、其他存储器介质，进行数据的发送接收。

此外，图2c所示的便携信息终端100的结构例还包括大量在本实施例的动作中并非必须的结构，即便不具备这些的结构，也不会影像本实施例的效果。

[便携信息终端的软件结构]

图2d是示出便携信息终端100的软件结构的一个例子的图。在此，示出存储装置部110(或者rom103，以下相同)以及ram104中的软件的结构。存储装置部110中存储有基本动作程序1001、拍摄程序1002、信息获取程序1003、回忆图像控制程序1004以及其他动作程序1009。另外，存储装置部110具备：识别信息存储区域1011，用于存储能够识别便携信息终端100或者其用户的用户识别信息；以及用于存储其他信息的各种信息存储区域1019。

存储于存储装置部110的基本动作程序1001在ram104中展开，进而由主控制部101执行上述展开的基本动作程序，从而构成基本动作部1101。同样地，拍摄程序1002、信息获取程序1003、回忆图像控制程序1004以及其他动作程序1009分别在ram104中展开，进而由主控制部101执行上述展开的各动作程序，从而构成拍摄功能部1102、信息获取部1103、回忆图像控制部1104以及其他动作部1109。另外，ram104具备用于临时存储在各动作程序执行时产生的数据的临时存储区域1200。

此外，以下，为简化动作说明，将通过主控制部101在ram104中展开存储于存储装置部110的基本动作程序1001并执行而进行各动作模块的控制的处理，记述为基本动作部1101进行各动作模块的控制的处理。关于利用其他动作程序进行的其他功能模块的动作，也进行同样的记述。

拍摄功能部1102对使用第一图像输入部133、第二图像输入部134等照相机部件的图像拍摄处理进行控制。此外，图像拍摄处理中的一般的动作/处理是公知的，所以省略详细的说明。

信息获取部1103具备：日期时间信息获取部1103a、位置信息获取部1103b、方位信息获取部1103c以及距离信息获取部1103d。日期时间信息获取部1103a从图示省略的内置时钟、与网络连接的标准时刻服务器获取日期时间信息。位置信息获取部1103b根据gps接收部151接收到的信号，获取便携信息终端100的位置信息。或者，还能够通过bluetooth(注册商标)通信部接收信标信号。方位信息获取部1103c根据地磁传感器153检测出的地磁信息而获取便携信息终端100指向的方位信息。距离信息获取部1103d使用利用辅助光发光/红外线测距器135执行的距离测定等公知技术，获取便携信息终端100和拍摄对象物(被摄体)之间的距离信息。

回忆图像控制部1104具备：图像登记部1104a、图像请求部1104b、图像显示部1104c。图像登记部1104a进行用于将用户拍摄的图像登记保存到信息服务器300的控制。图像请求部1104b进行用于依照用户的请求而从信息服务器300获取登记保存的图像的控制。图像显示部1104c进行将从信息服务器300获取的图像显示于显示部131的控制。

此外，所述各动作程序为在产品出厂的时间点预先存储到存储装置部110的状态。或者，也可以在产品出厂后，经由lan通信部161或者电话网通信部162等从网络上的各服务器装置获取。另外，也可以经由扩展接口部170等，获取储存于存储卡、光盘等的所述各动作程序。

[信息服务器的硬件结构]

图3是示出信息服务器300的硬件结构(包括部分软件结构)的一个例子的图。信息服务器300由主控制部301、系统总线302、ram304、存储装置部310、lan通信部360构成。

主控制部301是依照预定的动作程序而控制信息服务器300的整体的微型处理器部件。系统总线302是用于在主控制部301与信息服务器300内的各动作块之间进行各种命令、数据的发送接收的数据通信路。ram304是执行各动作程序时的工作区。ram304也可以与主控制部301为一体结构。

存储装置部310中存储有信息管理程序3001和图像检索程序3002。另外，存储装置部310具备图像数据存储区域3011和关联信息存储区域3012。存储于存储装置部310的信息管理程序3001和图像检索程序3002在ram304中展开，进而由主控制部301执行上述展开的信息管理程序和图像检索程序3002，从而构成信息管理部3101和图像检索部3102。另外，ram304具备根据需要而临时存储在执行各动作程序时产生的数据的临时存储区域(图示省略)。在此，信息管理部3101将从便携信息终端100发送的回忆图像及其关联信息保存到图像数据存储区域3011和关联信息存储区域3012。图像检索部3102根据来自便携信息终端100的请求，检索相应的回忆图像。

lan通信部360经由图示省略的路由器装置等与因特网等网络200连接，与网络上的便携信息终端100进行数据的发送接收。经由路由器装置的与因特网等的连接既可以是有线连接也可以是无线连接。lan通信部360具备编码电路、解码电路等。

[回忆图像的控制处理]

以下，说明将使用便携信息终端100拍摄到的图像数据作为回忆图像保存到信息服务器300，并且检索保存于信息服务器300的回忆图像并提供给便携信息终端100而重放显示的回忆图像的控制处理。此外，以下，有时将“回忆图像的控制处理”等简称为“回忆控制处理”等。

[回忆控制设定处理]

图4a是示出便携信息终端100中的回忆图像的控制设定画面(回忆控制设定画面)的一个例子的图。通过起动回忆控制应用而显示回忆控制设定画面180b。通过在图2b的主页画面180a中触碰显示于主功能图标或者一般图标的显示区域180a1、180a2的回忆控制应用的图标，进行回忆控制应用的起动指示。基本动作部1101根据用户的指示，将控制主体移交给回忆图像控制部1104，回忆图像控制部1104在触摸屏幕180(显示部131)中显示用于设定回忆图像的控制条件的回忆控制设定画面180b。

回忆控制设定画面180b由登录设定区域180b1、登记条件设定区域180b2、重放条件设定区域180b3构成。登录设定区域180b1是输入用于登录到信息服务器300的登录名信息以及用于进行用户认证的口令信息的区域。在回忆控制应用起动后，便携信息终端100使用输入到登录设定区域180b1的各信息，登录到信息服务器300。

登记条件设定区域180b2是用于设定是否将使用照相机功能拍摄到的图像数据登记为回忆图像、以及是否与其他用户共享登记为回忆的图像数据的区域。重放条件设定区域180b3是设定根据什么样的条件选择并重放显示过去拍摄并保存到信息服务器300的回忆图像的区域。作为具体的选择条件，根据便携信息终端100获取到的当前的终端的信息(当前日期时间信息、当前位置信息、当前方位信息等)，选择与其关联的拍摄条件的回忆图像。另外，还能够获取并重放显示由其他用户(朋友)登记为回忆的图像数据。用户勾选设定画面180b的期望的条件项目即可。进而，通过触碰显示于登记条件设定区域180b2以及重放条件设定区域180b3的“详细”键，能够关于各设定项目输入详细的条件。

输入到登录设定区域180b1的各信息被存储到存储装置部110的识别信息存储区域1011。输入到登记条件设定区域180b2以及重放条件设定区域180b3的各信息被存储到存储装置部110的各种信息存储区域1019。

图4b是说明登记条件设定区域180b2中的详细设定的图。在此，说明用户勾选“共享图像”的项目，与其他用户共享登记为回忆图像的图像数据的情况。

在“共享图像”的项目中，能够选择是使登记的图像数据“与已登记用户共享”还是“与所有用户共享”，即能够选择图像的公开等级。在前者的“与已登记用户共享”情况下，限制公开等级，进而，作为设定范围，登记(设定)许可图像数据共享的用户。用户的登记利用邮件地址信息、用于登录到信息服务器300的登录名信息等进行指定。另一方面，在后者的“与所有用户共享”情况下，登录到信息服务器300的所有用户都为共享的对象。

图4c是说明重放条件设定区域180b3中的详细设定的图。在此，详细设定在什么样的条件下重放显示保存于信息服务器300的回忆图像。

在勾选“根据日期时间重放”的项目的情况下，作为日期时间的详细条件，划分而设定有“年”、“月”、“日”、“时刻”。在根据“年”重放的情况下，进一步地，作为设定范围，能够选择仅重放在与当前日期时间相同的年拍摄的图像、或者重放在当前日期时间起大于等于x年前拍摄到的图像。在根据“月”重放的情况下，进而，能够选择仅重放在与当前日期时间相同的月拍摄到的图像、或者重放在与当前日期时间相同的月的前后x个月以内拍摄到的图像。在根据“日”重放的情况下，进而，能够选择仅重放在与当前日期时间相同的日子拍摄的图像、或者重放在与当前日期时间相同的日子的前后x日以内拍摄的图像。在根据“时刻”重放的情况下，进而，能够设定重放在与当前时刻相同的时刻的前后x分钟以内拍摄的回忆图像。此外，关于日期时间的“年”、“月”、“日”、“时刻”的条件既可以是单独的条件、或者也可以与多个条件组合使用。

在勾选“根据位置重放”的项目的情况下，作为详细条件，划分而设定有“当前位置”或者“指定位置”。在根据“当前位置”重放的情况下，进而，能够设定x值，以重放在从便携信息终端100的当前位置起东西和/或南北xm以内的位置拍摄的图像。在根据“指定位置”重放的情况下，进而，利用纬度/经度设定指定位置，设定x值，以重放在从指定位置起东西和/或南北xm以内的位置拍摄的图像。或者，x值也可以通过纬度/经度的变化幅度来指定。还可以指定为从指定位置起半径xm以内。

在勾选“根据方位重放”的项目的情况下，作为详细条件，划分而设定有“方位”或者“在朝向对象物的方向时”。在根据“方位”重放的情况下，进而，能够设定x值，以重放便携信息终端100当前所指向的方位和过去拍摄时所指向的方位之间的角度差为±x度以内的图像。在根据“在朝向对象物的方向时”重放的情况下，在便携信息终端100朝向过去拍摄的图像内的对象物(被摄体)的方向时，重放包括该对象物的图像。即使在该情况下，也能够设定x值，以使得重放角度差为±x度以内的图像。

在勾选“重放朋友的图像”的项目的情况下，作为详细条件，划分而设定有“特定的用户”或者“所有用户”。在重放“特定的用户”的图像的情况下，进而，设定重放哪个用户拍摄的图像。用户的设定使用邮件地址信息或用于登录到信息服务器300的登录名信息。此外，“特定的用户”也可以与在图4b的“共享图像”的项目中登记的用户相同。在重放“所有用户”的图像的情况下，登记到信息服务器300的所有用户的图像都为重放的对象。

另外，上述用于重放显示的各设定条件(日期时间、位置、方位、朋友的图像)既可以单独使用也可以组合多个来使用。在组合多个设定条件的情况下，能够使用逻辑或(or)、逻辑与(and)等逻辑式，更适当地缩减重放条件。由此，通过并非简单地使用拍摄日期时间而是组合使用拍摄位置、拍摄方向的条件，能够设定与用户的爱好对应的重放条件，能够提示使用户有效地想起拍摄当时的状况、印象的回忆图像。

另外，在“根据方位重放”中，“在朝向对象物的方向时”重放包含对象物的图像，在本实施例中是特别独特的处理，以下，说明其计算方法。

图4d是用于说明从便携信息终端观察的对象物的方向的计算方法的图。

设为用户过去在a地点使用便携信息终端100进行对象物s的拍摄，将该拍摄图像作为回忆图像而保存到信息服务器300。此时，便携信息终端100和对象物s的距离是l，便携信息终端100所指向的方位是α。此外，距离l利用信息获取部1103的距离信息获取部1103d测定。将这些拍摄关联信息(a地点的位置信息、拍摄方位α、距离l)与对象物s的拍摄图像数据一起保存到信息服务器300。

另一方面，说明在当前用户处于b地点的情况下，对象物s的位置为哪个方向。能够根据在a地点获取的位置信息和在b地点获取的位置信息，计算ab之间的距离m以及角度β。根据这些信息(距离l、距离m、角度α、角度β)，通过三角测量的计算，能够计算出从b地点观察对象物s的方位γ以及从b地点至对象物s的距离n。即，在当前用户处于b地点的情况下，如果便携信息终端100所指向的方位是计算出的所述方位γ(或者方位γ±x度以内)，则能够判定为便携信息终端100朝向对象物s的方向。

[回忆图像登记处理]

以下，说明回忆图像登记处理，即使用便携信息终端100拍摄被摄体的图像，将拍摄到的图像数据作为回忆图像与其关联信息一起登记保存到信息服务器300。

图5a是示出便携信息终端100的照相机功能画面的一个例子的图。通过由用户触碰显示于图2b的主页画面180a的照相机功能应用的图标，在触摸屏幕180中显示照相机功能画面180c。照相机功能画面180c由照相机控制键区域180c1、照相机设定键区域180c3、焦点位置显示标志180c4构成，另一方面，从作为照相机部件的第一图像输入部(内置照相机)133或者第二图像输入部(外置照相机)134输入的图像数据重叠显示于触摸屏幕180。在照相机控制键区域180c1中具备快门键180c2。另外，通过触碰在照相机设定键区域180c3中准备的照相机切换键，进行照相机部件的切换。

图5b是示出回忆图像登记处理的流程图。主要由回忆图像控制部1104的图像登记部1104a控制该处理。

首先，用户通过操作显示于便携信息终端100的主页画面180a，指示照相机功能应用的起动。具体而言，触碰显示于图2b的主功能图标或者一般图标的显示区域180a1、180a2的照相机功能应用的图标。基本动作部1101确认图4a的回忆图像登记设定180b2，并且根据用户的指示，将控制主体移交给回忆图像控制部1104的图像登记部1104a。图像登记部1104a起动拍摄功能部1102(s101)。拍摄功能部1102使照相机部件中的例如第二图像输入部(外置照相机)134有效，并且开始从第二图像输入部134输入图像数据。进而，如图5a所示，拍摄功能部1102在触摸屏幕180(显示部131)中显示从第二图像输入部134输入的图像数据以及照相机功能画面180c(s102)。

接下来，基本动作部1101确认有无基于用户的触摸操作而输入的对触摸屏幕180(触摸面板123)的操作指示，将确认结果通知给图像登记部1104a(s103)。在没有输入对触摸屏幕180的操作指示的情况下，待机，直至收到指示为止。在输入了对触摸屏幕180的操作指示的情况下，确认操作指示的类别(s104)。

在s104中确认的操作指示的类别是照相机功能应用结束的指示的情况下，进入到s105，图像登记部1104a使拍摄功能部1102的动作结束，将控制主体返还给基本动作部1101。基本动作部1101在触摸屏幕180中显示主页画面180a(s106)。

在s104中确认的操作指示的类别是快门操作的情况下，进入到s107，拍摄功能部1102开始从第二图像输入部134输入的图像数据的获取处理。首先，拍摄功能部1102从第二图像输入部134获取图像数据，存储到ram104的临时存储区域1200(s107)。图像数据的获取处理包括：对焦、曝光等预处理；将ccd、cmos传感器等电子设备的输出变换为数字数据的处理；以及伽玛校正、噪声去除、图像压缩处理等后处理。接下来，图像登记部1104a请求信息获取部1103获取拍摄时的各种信息(日期时间信息等)。

与其对应地，日期时间信息获取部1103a对获取所述图像数据时的拍摄日期时间信息(年、月、日、时、分、秒)进行获取(s108)。位置信息获取部1103b对获取所述图像数据时的便携信息终端100的拍摄位置信息(经度、纬度)进行获取(s109)。方位信息获取部1103c对获取所述图像数据时便携信息终端100所指向的拍摄方位信息进行获取(s110)。进而，距离信息获取部1103d获取到拍摄对象物(被摄体)的被摄体距离信息(s111)。

接下来，判定是否将拍摄的图像数据登记为回忆图像(s112)。用户能够通过图4a所示的回忆控制应用的设定来选择是否将拍摄的图像数据登记为回忆图像。或者，也可以设为用户能够从菜单等进行设定。

在s112中判定为登记为回忆图像的情况下，进入到s113，图像登记部1104a生成与登记的图像关联的拍摄时的关联信息。作为拍摄时的关联信息包括：能够识别便携信息终端100的用户的用户识别信息(或者也可以是能够识别便携信息终端100的终端识别信息)；由信息获取部1103获取的拍摄时的各种信息(日期时间信息、位置信息、方位信息、距离信息)；以及在回忆控制设定画面180b的登记条件设定区域180b2的“共享图像”项目中设定的公开等级设定信息等。进而，图像登记部1104a将在s107的处理中获取的图像数据和在s113的处理中生成的拍摄时的关联信息经由通信部160以及网络(因特网)200发送给信息服务器300(s114)。

在信息服务器300中，在图像数据存储区域3011和关联信息存储区域3012中将上述发送的图像数据和拍摄时的关联信息分别关联起来存储。此外，s107的处理中获取的图像数据和s113的处理中生成的拍摄时的关联信息也可以在便携信息终端100内的存储装置部110的各种信息存储区域1019中一并存储。然后，返回到s103，反复上述处理。

另一方面，在s112的判定中，在不将拍摄的图像数据登记为回忆图像的情况下，进入到s115，进行通常的拍摄处理。图像登记部1104a根据在s107中获取的图像数据和在s108～s111中获取的拍摄时的各种信息(日期时间信息、位置信息、方位信息、距离信息)，生成图像文件(s115)。该图像文件也可以是公知的exif(exchangeableimagefileformat，可交换图像文件格式)形式等。进而，图像登记部1104a将s115中生成的图像文件存储到存储装置部110的各种信息存储区域1019(s116)。然后，返回到s103，反复上述处理。

此外，即使在s112的判定中不将拍摄的图像数据登记为回忆图像的情况下，也将此时获取的图像数据和拍摄时的各种信息保存到存储装置部110。因此，之后，用户能够将该图像作为回忆图像发送给信息服务器300而追加登记。另外，关于s115～s116的处理，也可以由拍摄功能部1102代替图像登记部1104a作为控制主体而进行处理。

[信息服务器的数据库]

将从便携信息终端100发送的回忆图像的图像数据和拍摄时的关联信息，通过信息服务器300的信息管理部3101保存到图像数据存储区域3011和关联信息存储区域3012。在此，说明以什么样的结构保存这些数据。

图6a是示出存储于信息服务器300的图像数据存储区域3011的图像数据库的一个例子的图。图像数据库的结构被分割成按照能够识别便携信息终端100的用户的每个用户识别信息的文件夹，从便携信息终端100发送的图像数据被储存到对应的文件夹。利用以下叙述的用户数据库(图6b)的登录名信息以及关联信息数据库(图6c)的用户识别信息来管理这些各文件夹。另外，通过与关联信息数据库的图像识别信息对应的文件名，来管理文件夹内的各图像数据。

图6b是示出存储于信息服务器300的关联信息存储区域3012的用户数据库的一个例子的图。用户数据库是存储利用信息存储/提示服务的用户的一览的数据库，登记有登录名、口令、姓名、邮件地址、联系电话等信息。也可以还登记住址信息、信用卡信息等其他信息。

登录名是用于识别利用信息存储/提示服务的用户的识别信息，在登录到信息存储/提示服务时使用。针对每个用户唯一地决定登录名。口令是在登录到信息存储/提示服务时的用户认证中使用的认证信息。各用户能够任意地指定口令。姓名是与利用信息存储/提示服务的用户的姓名有关的信息。邮件地址以及联系电话是与向利用信息存储/提示服务的各用户的联络目的地有关的信息，在进行各种联络时使用。在图4a所示的登录设定区域180a1中分别输入登录名以及口令而进行登录。

图6c是示出存储于信息服务器300的关联信息存储区域3012的关联信息数据库的一个例子的图。关联信息数据库是用于存储与从便携信息终端100发送的各图像数据关联的拍摄时的关联信息的数据库。

图像识别信息是能够识别从便携信息终端100发送的各图像数据的识别信息。用户识别信息是能够识别各图像数据的拍摄(登记)人的用户识别信息，使用用户数据库(图6b)的登录名。通过组合图像识别信息和用户识别信息，能够唯一地识别图像数据。拍摄日期时间信息是从便携信息终端100发送的各图像数据的拍摄日期时间信息，同样地，与图像识别信息对应地登记各图像数据的拍摄位置信息、拍摄方位信息、被摄体距离信息(图示省略)。进而，也可以登记能够识别便携信息终端的终端识别信息、公开等级设定信息等信息。

[回忆图像重放处理]

以下，说明根据便携信息终端100的当前的状况来检索获取过去拍摄而保存到信息服务器300的回忆图像，并在便携信息终端100中重放显示的回忆图像重放处理。

图7a和图7b是示出回忆图像重放处理的流程图，图7a示出便携信息终端100侧的处理，图7b示出信息服务器300侧的处理。

首先，利用图7a说明便携信息终端100侧的图像重放处理。通过回忆图像控制部1104的图像请求部1104b控制以下的处理。此外，能够通过回忆控制应用的设定，选择是否执行回忆图像重放处理。或者，也可以设为能够从用户菜单等进行设定。在设定为执行回忆图像重放处理的情况下，图7a所示的处理流程始终动作。

在s201中，回忆图像控制部1104的图像请求部1104b生成便携信息终端100的用户识别信息和记述有在回忆控制设定画面180b的重放条件设定区域180b3中设定的重放条件的回忆图像检索条件(以下称为“图像检索条件”)。进而，图像请求部1104b将在s201的处理中生成的图像检索条件经由通信部160以及网络200发送给信息服务器300(s202)。发送的图像检索条件被存储到信息服务器300的关联信息存储区域3012。

接下来，图像请求部1104b请求信息获取部1103获取当前的终端的状况(日期时间信息等)。与其对应地，日期时间信息获取部1103a获取当前的日期时间信息(s203)，位置信息获取部1103b获取便携信息终端100的当前的位置信息(s204)。进而，方位信息获取部1103c获取便携信息终端100当前指向的方位信息(s205)。

接下来，在s206中，图像请求部1104b根据信息获取部1103获取到的当前日期时间信息、当前位置信息以及当前方位信息、便携信息终端100的用户识别信息，生成当前的终端状态的信息(以下称为“当前的终端信息”)。进而，图像请求部1104b将在s206中生成的当前的终端信息经由通信部160以及网络200发送给信息服务器300(s207)。

与其对应地，在信息服务器300中，如在图7b中后述的那样，根据从便携信息终端100发送的图像检索条件(s202)和当前的终端信息(s207)，从数据库中检索相应的图像数据，作为回忆图像与拍摄时的关联信息一起发送给便携信息终端100。

在s208中，便携信息终端100的图像请求部1104b判定是否从信息服务器300接收到回忆图像及其关联信息。在接收到回忆图像和关联信息的情况下，判定便携信息终端100的显示部131的工作状况(s209)，执行回忆图像显示处理(s210)或者回忆图像报告处理(s211)。主要由回忆图像控制部1104的图像显示部1104c控制s210和s211的处理。

在s209的判定中，在显示部131是工作中的情况(进行画面显示的情况)下，图像显示部1104c判断为是用户使用便携信息终端100的过程中。在该情况下，进入到s210，图像显示部1104c将接收到的回忆图像显示于显示部131。此外，回忆图像的显示方法的详情后述。之后，进入到s212。

在s209的判定中，在显示部131并非工作中的情况(未进行画面显示的情况)下，图像显示部1104c判断为用户未使用便携信息终端100。在该情况下，进入到s211，图像显示部1104c从立体声扬声器143输出用于通知接收到回忆图像的报告音、或者通过图示省略的震动器使便携信息终端100的框体振动。由此，用户能够得知接收到回忆图像。

另一方面，在s208的判定中，在未从信息服务器300接收到回忆图像和关联信息的情况下(或者从信息服务器300接收到没有作为重放的对象的图像数据的意思的情况下)，进入到s212。在s212中，图像请求部1104b确认在回忆控制设定画面180b的重放条件设定区域180b3中设定的重放条件是否被更新。在重放条件被更新的情况下，返回到s201而反复处理。在重放条件未被更新的情况下，返回到s203而反复处理。

图7b示出信息服务器300的图像检索处理。在信息服务器300的关联信息存储区域3012存储有在图7a的s202中从便携信息终端100发送的回忆图像检索条件(以下称为“图像检索条件”)。主要由图像检索部3102控制以下的处理。

在s301中，信息服务器300从便携信息终端100接收当前的终端信息(当前日期时间信息、当前位置信息、当前方位信息、用户识别信息)(与图7a的s207对应)。图像检索部3102根据接收到的当前的终端信息获取发送源的便携信息终端100的用户识别信息。然后，确认预先从便携信息终端100发送的图像检索条件中的、与所述用户识别信息对应的图像检索条件(s302)。

接下来，在s303中，图像检索部3102参照存储于关联信息存储区域3012的关联信息数据库，判定是否有与所述图像检索条件一致的图像。通过对在s301中接收到的当前的终端信息(当前日期时间信息、当前位置信息、当前方位信息、用户识别信息)和登记于关联信息数据库的拍摄时的关联信息(日期时间信息、位置信息、方位信息、距离信息)进行比较，并参照记载在图像检索条件中的重放条件，进行该判定。其具体例子，后述。在有与检索条件一致的图像的情况下，进入到s304，在没有与检索条件一致的图像的情况下，结束处理。

在s304中，判定与检索条件一致的图像(以下称为“该图像”)是否为便携信息终端100的用户自身登记的图像。在该判定中，对根据当前的终端信息获取的用户识别信息和登记于关联信息数据库的该图像数据的用户识别信息进行比较即可。判定的结果，在该图像是便携信息终端100的用户自身登记的图像的情况下，进入到s306的处理。在该图像并非便携信息终端100的用户自身登记的图像数据的情况下，进入到s305。

在s305中，判定该图像数据对利用根据当前的终端信息获取的用户识别信息识别的用户是否许可共享。在该判定中，对根据当前的终端信息获取的用户识别信息和关联信息数据库的该图像数据的公开等级设定的信息进行比较即可。判定的结果，在该图像数据对上述识别出的用户许可共享的情况下，进入到s306的处理。在该图像数据对所述识别的用户未许可共享的情况下，结束处理。

在s306中，图像检索部3102根据该图像数据的图像识别信息，从图像数据存储区域3011的图像数据库中获取该图像数据。进而，图像检索部3102将获取到的图像数据作为回忆图像，与登记于关联信息数据库的拍摄时的关联信息一起发送给便携信息终端100(s307)。

这样，信息服务器300能够根据由便携信息终端100设定的回忆图像检索条件，从图像数据库中检索与检索条件一致的图像，作为回忆图像发送给便携信息终端100。

[回忆图像检索处理的具体例]

以图6a～图6c记载的登记数据为例子，具体说明所述图7b的回忆图像的检索处理。在该图像检索处理中，对从便携信息终端100获取的当前的终端信息(当前日期时间信息、当前位置信息、当前方位信息)和登记于图6c的关联信息数据库的拍摄条件的数据进行比较，参照在回忆图像检索条件中记载的重放条件(图4c)，检索相应的图像。

<检索例1>

在终端的当前日期时间信息是“2017年10月01日13时25分15秒”、重放条件被设定为“基于年的回忆图像的重放”且“重放在从当前日期时间起大于等于2年前拍摄的回忆图像”的情况下，抽出图像数据“img_000001”和图像数据“img_000002”。

<检索例2>

在终端的当前日期时间信息是“2017年10月01日13时25分15秒”、重放条件被设定为“基于年的回忆图像的重放”且“重放在从当前日期时间起大于等于2年前拍摄的回忆图像”、进而被设定为“基于月的回忆图像的重放”且“重放在前后1个月以内拍摄的回忆图像”的情况下，抽出图像数据“img_000002”。

<检索例3>

在终端的当前日期时间信息是“2017年10月01日13时25分15秒”、重放条件被设定为“基于时刻的回忆图像的重放”且“重放在前后15分钟以内拍摄的回忆图像”的情况下，抽出图像数据“img_000001”和图像数据“img_000027”。

<检索例4>

在终端的当前位置信息是“35.4030/139.5329”、重放条件被设定为“基于当前位置的回忆图像的重放”且“重放在纬度和/或经度的误差为0.0010以内拍摄的回忆图像”的情况下，抽出图像数据“img_000002”和图像数据“img_000027”。

<检索例5>

在重放条件被设定为“基于指定位置的回忆图像的重放”且“指定位置＝35.4050/139.5320”以及“重放在纬度和/或经度的误差为0.0010以内拍摄的回忆图像”的情况下，不管便携的当前位置信息如何，都抽出图像数据“img_000003”。

<检索例6>

在终端的当前方位信息是“192度”、重放条件被设定为“基于方位的回忆图像的重放”且“仅重放在方位的差分为±5度以内拍摄的回忆图像”的情况下，抽出图像数据“img_000003”。

<检索例7>

在终端的当前日期时间信息是“2017年10月01日13时25分15秒”、终端的当前位置信息是“35.4030/139.5329”、重放条件被设定为“基于年的回忆图像的重放”且“重放在从当前日期时间起大于等于2年前拍摄的回忆图像”、被设定为“基于月的回忆图像的重放”且“重放在前后1个月以内拍摄的回忆图像”、进而被设定为“基于当前位置的回忆图像的重放”且“重放在纬度和/或经度的误差为0.0010以内拍摄的回忆图像”的情况下，抽出图像数据“img_000002”。

<检索例8>

在终端的当前方位信息是“δ度”、重放条件被设定为“在朝向对象物的方向时重放”的情况下，关于各图像数据，按照图4d所示的步骤，根据当前位置计算对象物的方位γ，在存在计算出的方位γ和当前方位δ的角度差为预定值(x度)以内的图像数据的情况下，抽出该图像数据。此外，在方位γ的计算中，使用当前位置信息和登记于关联信息数据库的拍摄条件(位置信息、方位信息、距离信息)。

<检索例9>

在重放条件“重放特定的用户的回忆图像”且登记有“user000002”的邮件地址的情况下，抽出“user000002”登记的图像数据“img_000001”(其中，在“user000002”对“user000001”许可回忆图像的共享的情况下)。

在上述检索例中，在使用便携信息终端的当前方位信息的情况下，重放条件是“基于方位的回忆图像的重放”(检索例6)、以及使用便携信息终端的当前方位信息(检索例8)可以说是特别特有的处理。

<回忆图像的显示>

具体说明所述图7a的回忆图像显示处理(s210)中的图像显示方法。便携信息终端100应当显示从信息服务器300接收到的回忆图像，但从信息服务器300还一起发送了该图像的拍摄时的关联信息。收到这些信息，图像显示部1104c将显示的图像的拍摄时的关联信息和便携信息终端100的当前的状况(当前的终端信息)进行比较，进行基于各信息的一致度的显示控制。以下示出几个显示例。

<显示例1>

图8a示出与上述<检索例3>的检索结果对应的显示画面。在便携信息终端100的当前日期时间信息是“2017年10月01日13时25分15秒”、且重放条件是“基于时刻的回忆图像的重放”的情况下，从信息服务器300接收抽出的2个图像数据“img_000001”、“img_000027”以及它们的关联信息。在该情况下，如图像数据180d2、180d3所示地，图像显示部1104c将接收到的2个图像数据“img_000001”、“img_000027”分别重叠于从第二图像输入部134输入的图像数据(以下照相机图像)180d1而显示。

在该显示中，改变图像数据180d2和图像数据180d3的显示的大小，将图像数据180d3的一方显示得更大。其中，比较当前日期时间信息和各图像数据的关联信息(拍摄日期时间信息)，根据其一致度控制大小。即在本例子中，比较当前时刻信息“13时25分15秒”和各图像数据的时刻信息，将其误差小的一方的图像数据180d3“img_000027”(13时22分53秒)显示得更大，将另一方的图像数据180d2“img_000001”(13时36分41秒)显示得更小。

<显示例2>

图8b示出与上述<检索例4>的检索结果对应的显示画面。在便携信息终端100的当前位置信息是“35.4030/139.5329”、且重放条件是“基于当前位置的回忆图像的重放”的情况下，从信息服务器300接收抽出的2个图像数据“img_000002”、“img_000027”及其关联信息。在该情况下，并非显示2个图像数据，而是对各图像数据的关联信息(拍摄位置信息)和当前位置信息进行比较，选择并显示一致度大的一方(误差小的一方)的图像数据。在本例子中，选择“img_000027”的图像数据(拍摄位置信息是“35.4031/139.5330”)作为图像数据(回忆图像)180e2，与从第二图像输入部134输入的图像数据(照相机图像)180e1并排显示。

此时，根据选择的图像数据“img_000027”的拍摄位置信息和当前位置信息的一致度，改变图像数据(照相机图像)180e1和图像数据(回忆图像)180e2的显示比例。在图8b(a)中，在两者的误差小的(一致度大的)情况下，增大图像数据(回忆图像)180e2的显示比例。在图8b(b)中，在两者的误差大的(一致度小的)情况下，减小图像数据(回忆图像)180e2的显示比例。

进而，控制为：在用户移动而更新了便携信息终端100的当前位置信息时，所述显示比例也根据当前位置而被更新。

<显示例3>

图8c示出与上述<检索例6>的检索结果对应的显示画面。在便携信息终端100的当前方位信息是“192度”、且重放条件是“基于方位的回忆图像的重放”的情况下，从信息服务器300接收抽出的1个图像数据“img_000003”和其关联信息。在该情况下，将接收到的图像数据“img_000003”作为图像数据(回忆图像)180f2，与从第二图像输入部134输入的图像数据(照相机图像)180f1重叠显示。

此外，根据图像数据(回忆图像)180f2的关联信息和便携信息终端100的当前的状况(当前日期时间信息、当前位置信息、当前方位信息等)的一致度，控制该图像数据的显示的大小。在本例子中，比较“img_000003”的拍摄方位信息(195度)和当前方位信息(192度)。在图8c(a)中，在一致度大的(误差小的)情况下，将图像数据180f2显示得较大。在图8c(b)中，在一致度小的(误差大的)情况下，将图像数据180f2显示得较小。

在显示上述<检索例8>的检索结果的情况下也能够应用图8c的<显示例3>。在便携信息终端100的当前方位信息是“δ度”、且重放条件被设定为“在朝向对象物的方向的情况下重放”的情况下，接收对象物的方位γ接近当前方位δ的图像数据(回忆图像)。在该情况下，如图8c所示，也将接收到的图像数据(回忆图像)显示为图像数据180f2。

关于该情况的图像数据180f2的显示的大小，比较对象物的方位γ和当前方位δ，如果其误差小，则如(a)所示地将图像数据180f2显示得较大，如果其误差大，则如(b)所示地将图像数据180f2显示得较小。或者，也可以设为：如果计算出的到对象物的距离n小，则将图像数据180f2显示得较大，如果到对象物的距离n大，则将图像数据180f2显示得较小。

这样，根据<显示例3>，在用户具有的便携信息终端100的当前方位变化时，所显示的回忆图像的大小根据与拍摄时的方位(或者对象物的方位)的一致度而变化。而且，在朝向拍摄该回忆图像时的方位(或者对象物的方位)时，以最大的大小显示该回忆图像，能够使用户有效地想起拍摄时的回忆。

此外，在上述的显示控制中，根据当前的终端的状况和拍摄时的关联信息的一致度，改变回忆图像的大小来显示，但也可以根据一致度使图像的透射度不同而显示。

另外，在上述的显示例中，也可以控制为关于显示中的回忆图像，在通过用户操作指示选择出1个时，进行全画面显示。或者，也可以控制为可以更换所选择的图像与照相机图像的显示比例等。

另外，在上述<显示例1、3>中，在便携信息终端100是具备透射型显示器的hmd的情况下，照相机图像180d1、180f1可以是透射显示器的周边风景。在该情况下，在周边风景上重叠显示回忆图像180d2、180f2。

如以上说明的那样，本实施例的便携信息终端100获取用户过去拍摄并登记到信息服务器300的回忆图像中的、与当前的终端的状况(日期时间、位置、指向方向等)关联紧密的图像，与当前的周边风景重叠或者并排显示。此时，根据当前的终端的状况和拍摄时的关联信息的一致度来控制显示图像的大小、透射度而显示，所以与当前的状况关联特别紧密的图像被强调显示，能够使用户有效地想起回忆。

<能够进行vr显示的观看用装置>

在此，作为便携信息终端100的使用方式，说明佩戴在用户的头部而能够进行vr(virtualreality，虚拟现实)等显示的观看用装置。

图9a是示出将便携信息终端100插入到观看用装置(适配器)10，由用户1佩戴观看用装置10的使用状态的图。(a)是从正上方观察佩戴观看用装置10的用户1的俯视图，(b)是从正面观察佩戴观看用装置10的用户1的正面图。通过使用这样的观看用装置10，能够实现与hmd(headmounteddisplay，头戴式显示器)同样的功能。或者，也可以是如下方式：代替观看用装置10，以在眼前配置便携信息终端100的方式，由用户1用双手或者单手把持便携信息终端100使用。

观看用装置10是向狭缝部20插入智能手机、平板终端等便携信息终端100并支撑的结构。用户1将插入有便携信息终端100的观看用装置10配置到眼前，使用带状物等固定于头部。便携信息终端100的显示画面(显示部131)能够进行在从第二图像输入部134输入的图像数据(照相机图像)上重叠利用cg(computergraphics，计算机图形学)等制作出的人造物的vr(virtualreality)显示、mr(mixedreality，混合现实)显示等。另外，在具备透射型显示器的hmd的情况下，能够进行在周边风景上重叠利用cg等制作出的人造物的ar(augmentedreality，增强现实)显示等。

显示于便携信息终端100的显示画面的图像经由配置于观看用装置10的内部的透镜部11入射到用户1的眼睛。另外，间隔部12防止通过左右各自的透镜部11的图像发生混合。此外，上述的狭缝部20、透镜部11、间隔部12等是说明观看用装置10的内部构造的，通常时并露出到外部。另外，优选成为如下构造：在通常时，观看用装置10的框体的一部分如盖那样地覆盖便携信息终端100，即使用户1的头部的上下左右活动时，仍能够防止便携信息终端100掉下、偏移。另外，设为在观看用装置10的框体设置有窗13，使设置于便携信息终端100的背面的第二图像输入部134露出的构造。

图9b是说明用户1活动头部时的、用户的视线以及便携信息终端100的指向方向的变化的图。(a)是从正上方观察用户1的俯视图。佩戴观看用装置10的用户1通过以头部中心为轴向左右(水平方向)活动头，插入到观看用装置10的便携信息终端100从位置100a移动到位置100b。在该情况下，便携信息终端100在位置100a指向的方向是da，在位置100b指向的方向是db，相对角度差为δ。另外，(b)是将便携信息终端100的中心位置固定而表现(a)中的便携信息终端100的指向方向的变化(da→db)的图。

在此，说明使用图9a、图9b的观看用装置进行所述图8c的<显示例3>的控制的情况。在便携信息终端100当前指向的方位是方向db、对象物为方向da的情况下，根据其角度差δ的大小，控制图像数据180f2的大小。进而，也可以根据角度差δ的大小，使图像数据180f2的透射度变化。另外，控制为：在用户1将头部左右(水平方向)活动而更新便携信息终端100的当前方位信息、或者用户1移动而更新便携信息终端100的当前位置信息时，上述的显示的大小也适当更新。

[变形例1]

登记于信息服务器300的图像数据库的图像数据也可以并非是利用便携信息终端100拍摄并经由网络200上载的图像数据。例如，店铺经营人在pc上制作本店铺的广告图像并登记。此时，在登记于关联信息数据库的拍摄时的关联信息中，登记本店铺的特卖日等作为拍摄日期时间信息，登记本店铺的正面入口前的纬度/经度信息作为拍摄位置信息，登记从本店铺正面入口前的位置指向本店铺正面入口时的方位信息作为拍摄方位信息。另外，作为公开等级设定的“共享图像”项目的设定，选择“与所有用户共享”。

于是，在任意的用户在“日”的信息与所述特卖日一致的日子，在所述店铺经营人经营的店铺的正面入口前使便携信息终端100指向所述店铺正面入口侧的情况下，便携信息终端100能够从信息服务器300获取所述广告图像并显示。即，店铺经营人通过预先准备广告图像并登记为回忆图像，能够有效地进行本店铺的宣传。

[变形例2]

在将由便携信息终端100拍摄的图像数据及其关联信息登记到信息服务器300时，同时登记其他关联数据(例如语音数据、文本数据等)。所述关联数据被登记到信息服务器300的关联文件数据库(图示省略)。

例如，在上述的回忆图像重放处理(图7a)中从服务器300接收图像数据(回忆图像)时(s208)，同时接收所述关联数据。之后，在显示部131显示所述图像数据(回忆图像)时(s210)，同时重放关联数据。如果是语音数据，则起动语音重放软件并从扬声器输出语音，如果是文本数据，则通过记事本app等在显示部131上显示。或者，也可以在s208的处理中仅进行所述关联数据的获取，并在通过用户操作指示选择了显示于显示部131的图像数据(回忆图像)之后，进行获取到的关联数据的重放处理。通过进行这样的控制，能够在显示图像数据(回忆图像)的同时重放与所述图像关联的数据，因此，能够更有效地想起回忆。

以上，说明了本发明的实施方式的例子，但实现本发明的技术的结构当然不限于上述实施例，而能够考虑各种变形例。例如，能够将某个实施例的结构的一部分置换为其他实施例的结构，并且，还能够对某个实施例的结构追加其他实施例的结构。这些结构全部属于本发明的范畴。另外，文中、图中出现的数值、消息等仅为一个例子，即使使用不同的数值、消息，也不影像本发明的效果。

上述的本发明的各功能模块的一部分或者全部也可以通过用例如集成电路来实现等而以硬件实现。另外，也可以通过由微型处理器单元等解释并执行用于实现各个功能等的程序而以软件实现。还可以并用硬件和软件。所述软件也可以是在产品出厂的时间点预先储存于便携信息终端100的rom103、存储装置部110等的状态。也可以在产品出厂后，从因特网上的各种服务器装置等获取。另外，也可以获取利用存储卡、光盘等提供的所述软件。

另外，图中示出的控制线、信息线示出了在说明上认为必要的部分，未必示出产品上的所有控制线、信息线。也可以认为实际上几乎所有结构都相互连接。