信息处理装置、存储介质及信息处理方法与流程

本发明涉及一种信息处理装置、存储介质及信息处理方法。

背景技术：

专利文献1中公开有一种商品推荐系统，其具备：图像文件，存储有包含一个以上的商品的复数个商品图像；商品区域提取单元，从包含一个以上的商品的各商品图像中删除背景区域而提取一个商品的区域；图像信息数据库，将与从各商品图像中提取的商品区域相对应的各商品的商品id及商品信息与该商品图像建立关联而进行存储；图像特征量获取单元，计算所提取的商品区域的图像特征量而获取与该商品区域相对应的商品的图像特征量；特征量数据库，将由图像特征量获取单元获取的各商品的图像特征量与各商品id建立关联而进行存储；相似度计算单元，将存储于特征量数据库中的各商品的图像特征量用作相似度计算用特征量而计算各商品之间的相似度；相似商品数据库，将由相似度计算单元计算出的各商品之间的相似度与各商品id建立关联而进行存储；从用户终端接收相似图像检索要求的单元；相似图像检索单元，将该相似图像检索要求的基础即商品的商品id作为关键词，从所述相似商品数据库中提取对该商品的相似度高的一个以上的商品；及使得能够从用户终端阅览与由相似图像检索单元提取的商品相对应的商品图像及商品信息的单元。

专利文献2中公开有一种搭配推荐装置，其为了复数种时尚单品的搭配而推荐适合于与所输入的单品的组合的另一种单品，所述搭配推荐装置的特征在于，具备：存储部，存储作为成为示范的搭配的图像集合而预定的参考用照片集合和作为所推荐的单品的图像集合而预定的推荐用照片集合；参考用全身照片特征提取部，从所述参考用照片集合中提取表示组合有复数种单品的图像的全身照片，在所述提取的全身照片中确定各单品的区域，从所述确定的单品的区域中分别提取图像的特征量，将按每个所述单品提取的特征量作为参考用全身照片特征集合而存储于存储部；推荐用照片特征提取部，从所述推荐用照片集合中提取表示组合有复数种单品的图像的全身照片和表示仅包含单独单品的图像的单独单品照片，在所述提取的全身照片中确定各单品的区域，从所述确定的单品的区域中分别提取图像的特征量，并且从所述单独单品照片中提取图像的特征量，对于所述全身照片及单独单品照片，将按每个单品提取的特征量作为推荐用照片特征集合而存储于存储部；及推荐部，使用所述参考用全身照片特征集合和所述推荐用照片特征集合，学习各单品的区域之间的关联性，根据所述区域之间的关联性和所述输入的单品的图像的特征量，从所述推荐用照片集合中检索适合于与所述输入的单品的组合的另一种单品，将其作为推荐的单品而提示。

专利文献1：日本特开2009-251850号公报

专利文献2：日本特开2012-014544号公报

用户中存在虽然没有确定所期望的商品的形状或颜色等具体的印象，但想要融入该风景的商品这种不明确要求的用户。在该情况下，为了检索融入风景的商品，需要推定风景表示哪种印象。

技术实现要素：

本发明的目的在于提供一种能够推定所拍摄的风景所表示的印象的信息处理装置、存储介质及信息处理方法。

第1方式所涉及的信息处理装置具备：接收部，接收拍摄了包含物体的风景的输入图像；及推定部，根据输入有由所述接收部接收到的所述输入图像的学习模型，推定映入所述输入图像中的风景所表示的印象。

根据第1方式所涉及的信息处理装置，第2方式所涉及的信息处理装置中，所述接收部将拍摄了建筑物的外观或建筑物的内部的风景的图像作为所述输入图像而接收。

根据第2方式所涉及的信息处理装置，第3方式所涉及的信息处理装置中，所述接收部将拍摄了在建筑物的外观或建筑物的内部包含具有共同的印象的复数个物体的风景的图像作为所述输入图像而接收。

根据第1方式至第3方式中的任一方式所涉及的信息处理装置，第4方式所涉及的信息处理装置中，所述推定部将由所述接收部接收到的所述输入图像输入至与所述学习模型不同的其他学习模型中，并进一步推定映入所述输入图像中的风景的场所。

根据第1方式至第4方式中的任一方式所涉及的信息处理装置，第5方式所涉及的信息处理装置中，所述推定部进一步推定对映入所述输入图像中的风景的强调色。

根据第5方式所涉及的信息处理装置中，第6方式所涉及的信息处理装置中，所述推定部不使用预定的物体的颜色来进行强调色的推定。

根据第6方式所涉及的信息处理装置中，第7方式所涉及的信息处理装置中，所述预定的物体设定为动植物。

根据第1方式至第7方式中的任一方式所涉及的信息处理装置，第8方式所涉及的信息处理装置具备：设定部，使用拍摄了商品的预先准备的复数个商品图像，分别设定所述商品图像中所包含的商品对由所述推定部推定的印象的适合程度；及输出部，以由所述设定部设定的商品的所述适合程度递减的顺序，将所述商品图像中所包含的商品作为推荐商品而进行输出。

根据第8方式所涉及的信息处理装置，第9方式所涉及的信息处理装置中，当通过所述推定部已推定拍摄有映入所述输入图像中的风景的场所时，所述设定部以越是假想在由所述推定部推定的场所中的利用而制作的商品，所述适合程度越高的方式设定所述适合程度。

根据第8方式或第9方式所涉及的信息处理装置，第10方式所涉及的信息处理装置中，当通过所述推定部已推定对映入所述输入图像中的风景的强调色时，所述设定部以越是具有接近由所述推定部推定的强调色的颜色的商品，所述适合程度越高的方式设定所述适合程度。

根据第9方式或第10方式所涉及的信息处理装置，第11方式所涉及的信息处理装置中，所述设定部针对使用包含由所述推定部推定的印象的复数个项目而设定的所述适合程度，根据所述商品图像中所包含的商品的种类来调整所述复数个项目对所述适合程度的设定产生的影响程度。

根据第10方式所涉及的信息处理装置，第12方式所涉及的信息处理装置中，当所述商品图像中所包含的商品的种类为杂货时，所述设定部设定为与其他种类的商品相比，商品的颜色对所述适合程度的设定产生的影响程度高。

第13方式所涉及的存储介质存储用于使计算机作为第1方式至第12方式中的任一方式所涉及的信息处理装置的各部而发挥功能的信息处理程序。

第14方式所涉及的信息处理方法包括如下步骤：接收步骤，接收拍摄了包含物体的风景的输入图像；及推定步骤，根据输入有由所述接收部接收到的所述输入图像的学习模型，推定映入所述输入图像中的风景所表示的印象。

发明效果

根据本发明的第1方式、第13方式及第14方式，具有能够推定所拍摄的风景所表示的印象的效果。

根据本发明的第2方式，具有能够推定建筑物的印象的效果。

根据本发明的第3方式，具有如下效果：与根据仅包含单一物体的风景的图像推定风景所表示的印象的情况相比，能够精确度良好地推定所拍摄的风景所表示的印象。

根据本发明的第4方式，具有如下效果：除了所拍摄的风景所表示的印象以外，还能够进一步推定所拍摄的风景的场所。

根据本发明的第5方式，具有如下效果：除了所拍摄的风景所表示的印象以外，还能够进一步推定对拍摄的风景的强调色。

根据本发明的第6方式，具有如下效果：与使用所拍摄的风景中所包含的所有物体的颜色推定强调色的情况相比，能够推定对所拍摄的风景带来变化的更有效果的强调色。

根据本发明的第7方式，具有如下效果：与包括所拍摄的风景中所包含的动植物的颜色而推定强调色的情况相比，能够推定对所拍摄的风景带来变化的更有效果的强调色。

根据本发明的第8方式，具有如下效果：能够提示适合于由输入图像推定的风景所表示的印象的商品。

根据本发明的第9方式，具有如下效果：能够提示与根据由输入图像推定的风景所表示的印象而提示的商品相比，更适合于映入输入图像中的风景的商品。

根据本发明的第10方式，具有如下效果：能够提示适合于由输入图像推定的风景所表示的印象的商品且引人注目的成为所推定的风景的重点的商品。

根据本发明的第11方式，具有如下效果：与和商品图像中所包含的商品的种类无关地固定了包含所推定的印象的复数个项目对商品对风景的适合程度的设定产生的影响程度的情况相比，能够提示更适合于映入输入图像中的风景的商品。

根据本发明的第12方式，与和商品图像中所包含的商品的种类无关地固定了商品的颜色对商品对风景的适合程度的设定产生的影响程度的情况相比，能够提示更适合于映入输入图像中的风景的商品。

附图说明

根据以下附图，对本发明的实施方式进行详细叙述。

图1是表示第1实施方式所涉及的信息处理系统的结构例的图；

图2是表示第1实施方式所涉及的信息处理装置的功能结构例的图；

图3是表示信息处理装置中的电气系统的主要部分结构例的图；

图4是表示第1实施方式所涉及的推定处理的流程的一例的流程图；

图5是表示输入图像的一例的图；

图6是表示第2实施方式所涉及的信息处理系统的结构例的图；

图7是表示第2实施方式所涉及的信息处理装置的功能结构例的图；

图8是表示第2实施方式所涉及的推定处理的流程的一例的流程图；

图9是表示显示于用户终端的画面的一例的图。

符号说明

2-通信线路，10(10a)-信息处理装置，12-接收部，14-推定部，14a-印象推定部，14b-场所推定部，14c-颜色推定部，16-设定部，18(18a)-输出部，20-用户终端，30-商品信息db，40-计算机，41-cpu，42-rom，43-ram，44-非易失性存储器，47-通信单元，48-输入单元，49-显示单元，100(100a)-信息处理系统，ui-商品分数，ui^c-颜色分数，ui^r-场所分数，ui^s-印象分数。

具体实施方式

以下，参考附图对本实施方式进行说明。另外，在所有附图中，对功能相同的构成要件及处理赋予相同的符号，并省略重复说明。

＜第1实施方式＞

图1是表示本实施方式所涉及的信息处理系统100的结构例的图。信息处理系统100包含信息处理装置10及用户终端20，信息处理装置10和用户终端20通过通信线路2连接。

信息处理装置10通过通信线路2从用户终端20接收拍摄了风景的图像，推定映入图像中的风景所表示的印象，并通过通信线路2将推定结果输出至用户终端20。

在此，所谓“印象”为用户所持有的心情。例如，所谓风景所表示的印象为看到该风景的用户对风景所持有的心情。并且，用户对生活空间中的室内装饰所持有的心情也称为“室内装饰印象”。

作为印象的例子，例如有在应用了木质感的基础上重视了功能性的简约而不腻的印象的北欧摩登风；直接使用了天然木的风格的印象的北欧自然风；及应用了北欧风格的特征即木质感的简约室内装饰中，配置了古物的室内装饰的印象的北欧复古风等。并且，作为其他例，例如还存在使用曲线或花纹等装饰来呈现女性氛围的印象的新怀旧风；呈现优美或文雅的印象的高雅风；及在减少家具等生活用品的数量的基础上，还克制了生活用品中所使用的颜色数量或装饰的印象的极简主义等印象。

用户终端20为向信息处理装置10发送拍摄了风景的图像，并且显示从信息处理装置10输出的风景所表示的印象的推定结果的信息设备。如上所述，风景所表示的印象通过生活空间中的室内装饰的氛围而形成。因此，从用户终端20发送至信息处理装置10的图像例如优选为拍摄了建筑物的内部或建筑物的外观等人的生活空间的图像。进一步而言，例如即使是建筑物的内部的图像，也难以根据仅拍摄了单一物体的图像推定生活空间整体的印象，因此从用户终端20发送至信息处理装置10的图像中例如优选包含形成生活空间的印象的复数个物体，即具有共同的印象的复数个物体(若为种类不同的物体，则更佳)。

若用户终端20具备通过通信线路2在与信息处理装置10之间收发信息的通信功能和使用文字、图像、声音及振动中的至少一种通知方式向用户终端20的操作者(以下，称为“用户”)通知信息的通知功能，则并不限定于特定种类的信息设备。例如，除了台式计算机、能够携带的平板式计算机或智能手机及佩戴在腕部或脸部等用户身体上的可穿戴装置以外，利用人工智能与用户进行会话、还进行图像的收发的智能扬声器(ai扬声器)等被用作用户终端20。

另外，在图1的例子中，在信息处理系统100中仅示出一台用户终端20，但用户终端20的台数并没有限制，也可以在信息处理系统100中包含复数个用户终端20。

通信线路2可以为无线线路，也可以为有线线路，并且可以为专用线路，也可以为连接不特定多数的装置的公用线路。当然，在如智能手机那样用户终端20与用户一同移动的信息设备的情况下，例如优选用户终端20与信息处理装置10通过无线线路连接。

图2是表示信息处理装置10中的功能结构例的图。信息处理装置10包含接收部12、推定部14及输出部18。

接收部12通过通信线路2从用户终端20接收拍摄了风景的图像。以下，有时将从用户终端20接收到的图像称为“输入图像”。接收部12将接收到的输入图像通知给推定部14。

推定部14包含印象推定部14a、场所推定部14b及颜色推定部14c，各自根据输入图像的内容推定预定的项目。

若接收输入图像，则印象推定部14a推定映入输入图像中的风景所表示的印象。映入输入图像中的风景所表示的印象的推定中例如使用机器学习方法。所谓机器学习方法为如下推定方法：通过使用复数个数据将数据与数据所表示的含义建立对应关联而反复学习，发现数据与数据所表示的含义之间潜在地存在的规律性，并根据该规律性推定未知的数据所表示的含义。

具体而言，将拍摄了与输入图像不同的风景的复数个样品图像作为输入而提供，并将样品图像的各个风景中所包含的物体所表示的印象作为输出而提供，由此可得到预先学习了风景与印象的对应关联建立的印象学习模型。因此，印象推定部14a通过将输入图像输入至已学习的印象学习模型而推定映入输入图像中的风景所表示的印象。

印象学习模型例如使用如非专利文献1～非专利文献3中所记载的机器学习方法的一例的公知的深度学习技术来构建。

非专利文献1：a.krizhevsky,i.sutskever,g.e.hinton,“imagenetclassificationwithdeepconvolutionalneuralnetworks”inproc.ofnips,2012。

非专利文献2：k.simonyananda.zisserman,“verydeepconvolutionalnetworksforlarge-scaleimagerecognition”inproc.oficlr,2015。

非专利文献3：k.he,x.zhang,s.ren,andj.sun,“deepresiduallearningforimagerecognition”inproc.ofcvpr,2016。

并且，在印象学习模型中，将样品图像与样品图像所表示的印象建立对应关联的算法例如使用如非专利文献4中所记载的反向传播算法。

非专利文献4：d.e.rumelhart,g.e.hinton,r.j.williams,“learningrepresentationsbyback-propagatingerrors”nature323(6088)p533-p536,1986。

即，印象推定部14a通过使用印象学习模型而根据输入图像中所包含的物体的形状、物体的配置、物体的颜色及物体的大小等形成输入图像中所表示的风景的氛围的物体的特征来推定映入输入图像中的风景所表示的印象。预先学习了风景与印象的对应关联建立的印象学习模型为学习模型的一例。

如(1)式所示，印象推定部14a中的印象的推定结果由m维实数矢量s表示。

[数式1]

s＝(s1，s2，…，sm)^t……(1)

其中，“m(m为1以上的整数)”表示能够由印象推定部14a推定的印象数量，即已学习的印象数量，实数sm(m＝1～m)表示映入输入图像中的风景表示第m个印象的概率。变量m与能够由印象推定部14a推定的分别不同的印象建立有对应关联，sm的值越大，越表示是由变量m表示的印象类似度被强调的风景。因此，例如成为如下结构，即，印象学习模型的输出层由m个单元形成，且各个单元的输出值与sm建立有对应关联。另外，“t”为表示转置矩阵的数学记号。

若接收输入图像，则场所推定部14b推定映入输入图像中的风景的场所。其中，所谓“场所”为根据用途分类的生活空间的名称，例如通过客厅、餐厅、卧室、阳台及玄关等区分来表示。

在场所推定部14b中，与印象推定部14a相同地，在映入输入图像中的风景的场所的推定中例如使用机器学习方法。

具体而言，将拍摄了与输入图像不同的风景的复数个样品图像作为输入而提供，并将样品图像的各个风景所表示的场所作为输出而提供，由此可得到预先学习了风景与场所的对应关联建立的场所学习模型。因此，场所推定部14b通过将输入图像输入至已学习的场所学习模型而推定映入输入图像中的风景的场所。

场所学习模型也例如使用如上述非专利文献1～非专利文献3中所记载的公知的深度学习技术来构建，与印象学习模型相同地，在场所学习模型中，将样品图像与样品图像所表示的风景的场所建立对应关联的算法中也例如使用如非专利文献4中所记载的反向传播算法。如此预先学习了风景与场所的对应关联建立的场所学习模型为与印象学习模型不同的其他学习模型的一例。

如(2)式所示，场所推定部14b中的场所的推定结果由k维实数矢量r表示。

[数式2]

r＝(r1，r2，…，rk)^t……(2)

其中，“k(k为1以上的整数)”表示能够由场所推定部14b推定的场所数，即已学习的场所数，实数rk(k＝1～k)表示映入输入图像中的风景为第k个场所的概率。变量k与能够由场所推定部14b推定的分别不同的场所建立有对应关联，rk的值越大，越表示是与变量k建立有对应关联的场所类似度被强调的风景。因此，例如成为如下结构，即，场所学习模型的输出层由k个单元形成，且各个单元的输出值与rk建立有对应关联。

若接收输入图像，则颜色推定部14c推定对映入输入图像中的风景的强调色。所谓“强调色”是指在风景内配色时引人注目的颜色即重点色(accentcolor)。强调色具有使风景发生变化或衬托风景的颜色的效果。例如，对风景的颜色的互补色为强调色的一例。

颜色推定部14c以数值表示所推定的强调色。若能够以数值唯一地表示强调色，则可以使用任何表色系，作为一例，假设颜色推定部14c在表现颜色时使用lab表色系。另外，关于颜色推定部14c中的具体的强调色的推定方法，在后面进行说明。

推定部14将关于由印象推定部14a、场所推定部14b及颜色推定部14c分别推定的印象、场所及强调色的各推定结果通知给输出部18。

若从推定部14接收推定结果，则输出部18将由推定部14推定的各个推定结果输出至用户终端20。

图3是表示信息处理装置10中的电气系统的主要部分结构例的图。信息处理装置10例如使用计算机40来构成。

计算机40具备负责图2所示的本实施方式所涉及的信息处理装置10的各部的cpu(centralprocessingunit(中央处理器))41、存储信息处理程序的rom(readonlymemory(只读存储器))42、用作cpu41的临时工作区域的ram(randomaccessmemory(随机存取存储器))43、非易失性存储器44及输入输出接口(i/o)45。并且，cpu41、rom42、ram43、非易失性存储器44及i/o45经由总线46分别连接。

非易失性存储器44为即使供给至非易失性存储器44的电力被截断也可维持所存储的信息的存储装置的一例，例如使用半导体存储器，但也可以使用硬盘。非易失性存储器44无需一定要内置于计算机40中，也可以使用如存储卡那样在计算机40中能够装卸的存储装置。

另一方面，在i/o45上例如连接有通信单元47、输入单元48及显示单元49。

通信单元47与通信线路2连接，并具备与连接于通信线路2的用户终端20或未图示的外部装置进行数据通信的通信协议。

输入单元48为接收来自信息处理装置10的操作者的指示并通知给cpu41的输入装置，例如使用按钮、键盘、鼠标及触摸面板等。

显示单元49为将通过cpu41处理的信息作为图像而显示的显示装置，例如使用液晶显示器或有机el(electroluminescence(电致发光))显示器等。

另外，连接于i/o45的单元并不限定于图3所示的单元。例如，也可以将以声音输出信息的声音输出单元或将信息打印在纸张等记录介质上的打印单元连接于i/o45。

接着，参考图4对信息处理装置10的动作进行说明。

图4是表示信息处理装置10启动时通过cpu41执行的推定处理的流程的一例的流程图。

规定推定处理的信息处理程序例如预先存储于信息处理装置10的rom42。信息处理装置10的cpu41读入存储于rom42的信息处理程序并执行推定处理。另外，假设信息处理装置10的非易失性存储器44中分别预先存储有已学习的印象学习模型和场所学习模型。

首先，在步骤s10中，cpu41判定从用户终端20是否接收到输入图像。当未接收到输入图像时，反复执行步骤s10的判定处理而监视输入图像的接收状况。另一方面，当接收到输入图像时，将接收到的输入图像存储于ram43并过渡到步骤s20。

在步骤s20中，cpu41使用在存储于非易失性存储器44的印象学习模型中输入了在步骤s10中接收到的输入图像时的、形成印象学习模型的输出层的m个单元的输出值来生成(1)式所示的实数矢量s。实数矢量s为映入输入图像中的风景所表示的印象(也称为“风景的印象”)的推定结果，cpu41将印象的推定结果存储于ram43。

在步骤s30中，cpu41使用在存储于非易失性存储器44的场所学习模型中输入了在步骤s10中接收到的输入图像时的、形成场所学习模型的输出层的k个单元的输出值来生成(2)式所示的实数矢量r。实数矢量r为映入输入图像中的风景的场所(有时简称为“风景的场所”)的推定结果，cpu41将场所的推定结果存储于ram43。

在步骤s40中，cpu41推定对映入在步骤s10中接收到的输入图像中的风景的强调色。

输入图像中通常包含复数个颜色，但颜色数越多，强调色的推定所需要的时间越长，并且具有颜色的种类分散而导致强调色的推定精确度下降的倾向。因此，cpu41通过将表示颜色的数值包含于预定的范围内的近似的颜色作为相同的颜色而进行处理来进行将输入图像中所包含的颜色数减少至预定的数量(例如256色)的减色处理。

cpu41将在进行减色处理之后的输入图像中使用最多的颜色确定为输入图像的底色底色(basecolor)。输入图像中的各颜色的使用频率例如由每种颜色的显示面积的大小来表示，每种颜色的面积通过总计具有与各颜色相对应的像素值的像素的数量来测量。即，所谓输入图像的底色为在输入图像中使用最多的颜色，是代表输入图像的颜色。

另外，为了被称为输入图像的底色，例如优选颜色的显示面积为在视觉上能够判别比其他颜色使用更多的程度的面积(称为“阈值面积”)以上。因此，cpu41例如优选将具有阈值面积以上的显示面积的颜色作为输入图像的底色。

倒过来说，例如优选即使是在输入图像中使用最多的颜色，当该颜色的显示面积小于阈值面积时，cpu41也不会将其确定为输入图像的底色。

另外，cpu41也可以不将预定的物体(以下，称为“特定物体”)中的颜色的显示面积算入最终的颜色的显示面积中。在此，所谓“特定物体”为以治愈目的而配置的物体或在复数个生活空间中自律移动的物体，是对生活空间中的印象的形成没有帮助的物体，而不是为了形成在生活空间中统一的印象而配置。

因此，例如植物、人、宠物及扫地机器人为特定物体的一例，特定物体中的颜色的显示面积并不用于计算输入图像的底色。

映入输入图像中的物体的探测通过使用物体探测模型来实现，所述物体探测模型是例如使用如非专利文献5中所记载的公知的深度学习技术进行了机器学习的模型。已学习的物体探测模型例如存储于非易失性存储器44。

[非专利文献5]：s.ren,k.he,r.girshick,j.sun,“fasterr-cnn：towardsreal-timeobjectdetectionwithregionproposalnetworks”,inproc.ofnips,2015。

当已确定输入图像的底色时，cpu41将在lab表色系中与底色的色差最大的颜色推定为对映入输入图像中的风景的强调色。强调色无需一定为一种颜色，cpu41例如也可以以与底色的色差大的顺序将l种(l为2以上的整数)颜色作为强调色。

在步骤s50中，cpu41控制通信单元47，向发送了风景的印象、风景的场所及对风景的强调色的推定中所使用的输入图像的用户终端20输出各项目的推定结果。由此，用户可得到映入输入图像中的风景所表示的印象、风景的场所及对风景的强调色。强调色以lab表色系的数值表示，因此当向用户终端20输出强调色时，cpu41可以将lab表色系的数值例如转换为“红色”、“蓝色”那样用户容易理解的颜色名称而进行输出。

另外，推定结果的输出目的地并不限于发送了输入图像的用户终端20。例如，可以向与输入图像的发送源不同的用户终端20或信息处理装置10的显示单元49输出，并且，也可以向与用户终端20不同的连接于通信线路2的其他外部装置输出。

通过以上，结束图4所示的推定处理。

图5是表示信息处理装置10从用户终端20接收的输入图像的一例的图。当接收到如图5所示的输入图像(例如，以天然木色为基调的房间的图像)时，信息处理装置10例如将“印象＝北欧摩登风”、“场所＝客厅”、“强调色＝蓝紫色”等信息作为推定结果而输出至用户终端20。

在图4所示的推定处理中，推定了风景的印象、风景的场所及强调色的各项目，但信息处理装置10无需推定所有的项目，也可以推定这些项目中的至少一个项目。

并且，当在图4所示的推定处理中推定风景的场所时，作为推定结果，输出了生活空间的名称，但只要可识别风景的场所，则也可以使用其他区分来表示风景的场所。

例如，信息处理装置10也可以推定映入输入图像中的风景的地址。当推定地址时，无需推定至风景所表示的场所的门牌号，例如可以以市街村单位的水准进行推定。在该情况下，信息处理装置10将拍摄了与输入图像不同的风景的复数个样品图像作为输入而提供，并将样品图像的各个风景所表示的场所的地址作为输出而提供，由此使用预先学习了风景与地址的对应关联建立的场所学习模型来进行场所的推定即可。

作为其他例，当接收到拍摄了店内的图像作为输入图像时，信息处理装置10可以推定商店名。在该情况下，信息处理装置10将拍摄了与输入图像不同的店内的复数个样品图像作为输入而提供，并将拍摄了各个样品图像的商店名作为输出而提供，由此使用预先学习了风景与商店名的对应关联建立的场所学习模型来进行场所的推定即可。

并且，在图4所示的推定处理中，推定了对映入输入图像中的风景的强调色，但信息处理装置10所推定的颜色只要是与输入图像具有某种关系的颜色即可，并不限于强调色。

例如，信息处理装置10也可以推定输入图像的底色或输入图像的风景中所包含的各物体的颜色。并且，信息处理装置10可以按颜色的显示面积顺序输出所推定的各物体的颜色。

如此，根据本实施方式所涉及的信息处理装置10，由拍摄了包含物体的风景的输入图像推定风景的印象、风景的场所及与风景有关的颜色中的至少一个，并输出推定结果。

＜第2实施方式＞

如上所述，在第1实施方式中，对由输入图像推定风景的印象、风景的场所及与风景有关的颜色中的至少一个的信息处理装置10进行了说明，但也可以将由推定结果导出的其他信息提示给用户。

在第2实施方式中，对使用所推定的风景的印象、风景的场所及与风景有关的颜色中的至少一个项目将适合于风景的商品提示给用户的信息处理装置10a进行说明。

图6是表示本实施方式所涉及的信息处理系统100a的结构例的图。信息处理系统100a与图1所示的信息处理系统100的不同点在于，信息处理装置10被置换为信息处理装置10a且追加了商品信息db(database(数据库)：db)30。

信息处理装置10a通过通信线路2从用户终端20接收输入图像，推定映入输入图像中的风景所表示的印象、风景的场所及与风景有关的颜色(例如对风景的强调色)中的至少一个项目，并通过通信线路2将适合于风景的商品输出至用户终端20。以下，只要没有特别的指定，则对信息处理装置10a推定风景的印象、风景的场所及对风景的强调色的各项目的例子进行说明。

商品信息db30为存储有信息处理装置10a作为适合于以输入图像表示的风景的商品而提示给用户的商品的信息(以下，称为“商品信息”)的存储装置。具体而言，商品的名称、商品的图像及商品的颜色作为商品信息而与每个商品建立对应关联并存储于商品信息db30，但存储于商品信息db30的商品信息并不限于这些信息，商品的价格、商品的供应商、商品的大小等、只要是与商品有关的信息，则任何信息都可以与商品建立对应关联而存储于商品信息db30。商品的颜色例如使用测色仪来测量，被设定为与颜色推定部14c中所使用的表色系相同的表色系的颜色值，但也可以以颜色名称设定。

并且，存储于商品信息db30的商品的种类并没有限制，例如可以存储有家电、西装及餐具等任何种类的商品信息，在此，作为一例，存储有椅子、桌子、沙发、搁板、衣柜、杂货、灯具、窗帘及地毯等与室内装饰有关的商品信息。另外，以下有时将拍摄了商品的图像称为“商品图像”。商品图像中可以包含复数个商品，但为了将商品的颜色建立对应关联而进行管理，例如优选商品图像中所包含的商品的颜色是共同的。并且，假设在假想利用商品的场所拍摄商品图像。例如，若为餐桌，则将以餐厅空间为背景拍摄的图像作为商品图像而与餐桌建立对应关联，并存储于商品信息db30。

商品信息db30将信息处理装置10a所选择的商品的商品信息通知给信息处理装置10a。

图7是表示信息处理装置10a中的功能结构例的图。信息处理装置10a中的功能结构与图2所示的信息处理装置10的功能结构例的不同点在于，输出部18被置换为输出部18a且追加了设定部16，其他结构与图2相同。

设定部16将存储于商品信息db30的所有商品图像分别输入至已学习的印象学习模型及场所学习模型中，使推定部14按每个商品推定商品图像中所包含的商品所表示的印象及所假想的商品的利用场所。以下，有时将商品所具有的印象称为“商品的印象”，且将所假想的商品的利用场所称为“商品的场所”。

当在商品的印象的推定中使用了印象学习模型时，若将存储于商品信息db30的商品的数量设为i个(i为1以上的整数)，则如(3)式所示，第i个(i＝1～i)商品(以下，称为“商品i”)的印象由m维实数矢量si表示。

[数式3]

si＝(si1，si2，…，sim)^t……(3)

其中，实数sim(m＝1～m)表示商品i表示第m个印象的概率。变量m与能够由印象推定部14a推定的分别不同的印象建立有对应关联，因此sim的值越大，越表示是由变量m表示的印象类似度被强调的商品。

另一方面，当在商品的场所的推定中使用了场所学习模型时，如(4)式所示，商品i的场所由k维实数矢量ri表示。

[数式4]

ri＝(ri1，ri2，…，rik)^t……(4)

其中，实数rik(k＝1～k)表示商品的场所为第k个场所的概率，因此rik的值越大，越表示是假想在与变量k建立有对应关联的场所利用的商品。

并且，设定部16按每个商品设定在具有由输入图像推定的印象的风景中配置了以商品图像表示的商品时的该商品适合于风景的程度，即商品对以输入图像表示的风景的适合程度。

设定部16由被称为“分数”的数值来表示商品对以输入图像表示的风景的适合程度。分数越高，表示商品对以输入图像表示的风景的适合程度越高。

分数中存在由推定部14推定的每个项目的分数。具体而言，存在表示以输入图像表示的风景所表示的印象与商品的印象的相似度的印象分数、表示映入输入图像中的风景的场所与商品的场所的相似度的场所分数及表示对映入输入图像中的风景的强调色与商品的颜色的相似度的颜色分数。

以输入图像表示的风景所表示的印象与商品的印象的相似度越高，风景所具有的氛围与商品所具有的氛围越接近，因此当在该风景中配置了商品时，具有毫无违和感地融入风景的倾向。因此，通过以该相似度越高，印象分数就越高的方式进行设定来表示商品对以输入图像表示的风景的适合程度。即，印象分数中使用如下尺度：商品对以输入图像表示的风景的适合程度越高，呈现越高的值。

作为一例，商品i的印象分数ui^s使用如(5)式所示的余弦相似度来定义。

[数式5]

其中，实数矢量s为(1)式所示的风景所表示的印象的推定值，实数矢量si为(3)式所示的商品i的印象的推定值。“·”表示矢量的内积，“||”表示矢量的长度。

并且，映入输入图像中的风景的场所与商品的场所的相似度越高，越接近预先假想了配置商品的场所的商品的利用场所，因此当在该风景中配置了商品时，具有毫无违和感地融入风景的倾向。因此，通过以该相似度越高，场所分数就越高的方式进行设定来表示商品对以输入图像表示的风景的适合程度。即，场所分数中使用如下尺度：商品对以输入图像表示的风景的适合程度越高，呈现越高的值。

因此，与印象分数ui^s相同地，商品i的场所分数ui^r使用如(6)式所示的余弦相似度来定义。

[数式6]

其中，实数矢量r为(2)式所示的风景的场所的推定值，实数矢量ri为(4)式所示的商品i的场所的推定值。

并且，对映入输入图像中的风景的强调色与商品的颜色的相似度越高，当在该风景中配置了商品时，越会作为风景中的重点色发挥功能，因此具有发挥衬托风景的作用的倾向。因此，通过以该相似度越高，颜色分数就越高的方式进行设定来表示商品对以输入图像表示的风景的适合程度。即，颜色分数中使用如下尺度：商品对以输入图像表示的风景的适合程度越高，呈现越高的值。

作为一例，商品i的颜色分数ui^c使用如(7)式所示的运算公式来定义。

[数式7]

其中，“c”为对映入输入图像中的风景的强调色，“ci”为商品i的颜色。

设定部16使用包含印象分数ui^s、场所分数ui^r及颜色分数ui^c的如(8)式所示的运算公式来按每个商品设定商品i的最终分数即商品分数ui。

[数式8]

其中，α、β及γ分别为印象分数ui^s、场所分数ui^r及颜色分数ui^c的权重参数，其调整印象分数ui^s、场所分数ui^r及颜色分数ui^c对商品分数ui的影响程度。

商品分数ui的运算公式并不限于(8)式，只要是以随着由推定部14推定的各项目的分数(在该情况下为印象分数ui^s、场所分数ui^r及颜色分数ui^c)的合计值变高而商品分数ui也变高的方式定义的运算公式即可。

输出部18a参考从设定部16接收到的各个商品的商品分数ui将适合于映入输入图像中的风景的商品作为推荐商品而进行输出，并提示给用户。

另外，信息处理装置10a中的电气系统的主要部分结构具有与图3所示的信息处理装置10中的电气系统的主要部分结构例相同的结构。

接着，参考图8对信息处理装置10a的动作进行说明。

图8是表示信息处理装置10a启动时通过cpu41执行的推定处理的流程的一例的流程图。

图8所示的推定处理的流程图与图4所示的第1实施方式所涉及的推定处理的流程图的不同点在于，追加了步骤s60～s90来代替删除步骤s50。

在步骤s40中推定对映入输入图像中的风景的强调色之后执行步骤s60。

在步骤s60中，cpu41从存储于商品信息db30的商品中选择一个商品，并获取所选择的商品的商品信息。为了方便说明，将所选择的商品设为商品i。

在此，对商品信息存储于商品信息db30的例子进行说明，但也可以将商品信息存储于信息处理装置10a的非易失性存储器44。在该情况下，在信息处理系统100a中不需要商品信息db30。

在步骤s70中，cpu41从在步骤s60中获取的商品信息中提取商品图像及商品的颜色，并计算在步骤s20～s40中推定的每个项目的分数。

具体而言，cpu41通过将从商品信息中提取的商品i的商品图像输入至已学习的印象学习模型而获取表示商品i的印象的实数矢量si。并且，cpu41使用在步骤s20中推定的表示风景的印象的实数矢量s和表示商品i的印象的实数矢量si，按照(5)式计算所选择的商品i的印象分数ui^s。另外，商品i的实数矢量si也可以不使用印象学习模型而从商品i的外观人为地预先设定。在该情况下，只要在商品信息中包含预先设定的实数矢量si即可。

并且，cpu41通过将从商品信息中提取的商品i的商品图像输入至已学习的场所学习模型而获取表示商品i的场所的实数矢量ri。并且，cpu41使用在步骤s30中推定的表示风景的场所的实数矢量r和表示商品i的场所的实数矢量ri，按照(6)式计算所选择的商品i的场所分数ui^r。另外，商品i的实数矢量ri也可以不使用场所学习模型而从商品i的外观人为地预先设定。在该情况下，只要在商品信息中包含预先设定的实数矢量ri即可。

并且，cpu41使用在步骤s40中推定的对风景的强调色c和从商品信息中提取的商品i的颜色，按照(7)式计算所选择的商品i的颜色分数ui^c。

另外，在推定处理的步骤s40中推定了复数个对风景的强调色c的情况下，当商品i的颜色与任一强调色c相同时，将颜色分数ui^c设定为“1”即可。并且，在推定处理的步骤s40中推定了输入图像的底色的情况下，当商品i的颜色与底色相同时，将颜色分数ui^c设定为“1”即可。

另外，cpu41使用计算出的印象分数ui^s、场所分数ui^r及颜色分数ui^c，按照(8)式计算所选择的商品i的商品分数ui。

商品分数ui的计算中所使用的权重参数α、β及γ例如预先存储于非易失性存储器44。权重参数α、β及γ预先被调整为使对拍摄了与输入图像不同的风景的复数个样品图像的各个商品的商品分数ui与根据人的感觉判断的样品图像的风景与商品的适合程度接近。

在步骤s80中，cpu41判定是否已获取存储于商品信息db30的所有商品的商品信息。

当存在未获取的商品信息时，过渡到步骤s60，从存储于商品信息db30的商品中选择一个尚未获取商品信息的商品而获取所选择的商品的商品信息。即，直至选择存储于商品信息db30的所有商品为止反复执行步骤s60～s80的处理，由此计算存储于商品信息db30的各商品i的商品分数ui。

另一方面，当已获取存储于商品信息db30的所有商品的商品信息时，过渡到步骤s90。

在步骤s90中，cpu41参考在步骤s70中计算出的存储于商品信息db30的各商品i的商品分数ui，将从商品分数ui高的商品开始依次显示有适合于输入图像的风景的推荐商品的画面输出至作为输入图像的发送源的用户终端20。

图9是显示于用户终端20的画面的一例。如图9所示，在用户终端20上显示适合于映入用户向信息处理装置10a发送的图像中的风景的推荐商品。

推荐商品为适合于映入输入图像中的风景的商品，因此例如椅子或桌子等各种种类的商品作为推荐商品而会显示于用户终端20。因此，cpu41可以将精确推荐商品的种类的精确检索的功能添加于画面上。例如，当通过精确检索指定了椅子时，cpu41参考种类分类为椅子的商品的商品分数ui，将以商品分数ui递减的顺序仅显示有椅子的画面输出至作为输入图像的发送源的用户终端20。

另外，推荐结果的输出目的地并不限于发送了输入图像的用户终端20。例如，可以向与输入图像的发送源不同的用户终端20或信息处理装置10a的显示单元49输出，并且，也可以向与用户终端20不同的连接于通信线路2的其他外部装置输出。

并且，关于推荐商品的输出方式也没有限制，例如可以如商品名那样仅以文字输出给用户，也可以除了文字以外，还包含如商品图像那样的图像而输出给用户。根据情况，还可以将推荐商品以声音输出给用户。

通过以上，结束图8所示的推定处理。

在图8所示的推定处理中，推定风景的印象、风景的场所及对风景的强调色的各项目，考虑商品与每个推定项目的适合程度而输出了推荐商品，但如上所述，计算与商品的适合程度时所使用的推定项目并不固定于风景的印象、风景的场所及对风景的强调色，也可以使用推定项目中的至少一个来计算映入输入图像中的风景与商品的适合程度并输出推荐商品。

例如，当使用风景的印象及对风景的强调色时，商品i的商品分数ui由(9)式表示，当使用风景的场所及对风景的强调色时，商品i的商品分数ui由(10)式表示。

[数式9]

并且，当在图8所示的推定处理中计算商品分数ui时，对所有商品使用了相同的权重参数α、β及γ，但也可以按商品的每个种类准备不同值的权重参数α、β及γ的组合，根据商品的种类改变商品分数ui的计算中所使用的权重参数α、β及γ的值。由此，可实现信息处理装置10a中的各推定项目与商品的适合程度对商品分数ui的设定产生的影响程度的调整。

例如，杂货具有作为对风景赋予重点色的作用而被使用的倾向。因此，当商品的种类为杂货时，将权重参数γ设定为与其他种类的商品相比，商品的颜色的适合程度对商品分数ui的设定更产生影响，由此将更适合于映入输入图像中的风景的商品作为推荐商品而进行输出。

以上，使用各实施方式对本发明进行了说明，但本发明并不限定于各实施方式中所记载的范围。在不脱离本发明的宗旨的范围内能够对各实施方式施加各种变更或改良，该施加了变更或改良的方式也包含于本发明的技术范围内。例如，在不脱离本发明的宗旨的范围内可以变更处理的顺序。

并且，在各实施方式中，作为一例，对用软件实现推定处理的方式进行了说明，但也可以将与图4及图8所示的流程图相同的处理例如安装于asic(applicationspecificintegratedcircuit(专用集成电路))中并由硬件进行处理。在该情况下，与用软件实现推定处理的情况相比，可实现处理的高速化。

并且，在上述各实施方式中，对rom42中安装有信息处理程序的方式进行了说明，但并不限定于此。本发明所涉及的信息处理程序也能够以记录在能够由计算机读取的存储介质的方式提供。例如，可以以将本发明所涉及的信息处理程序记录在cd(compactdisc(压缩式磁盘))-rom或dvd(digitalversatiledisc(数字通用光盘))-rom等光盘的方式提供。并且，也可以以将本发明所涉及的信息处理程序记录在usb(universalserialbus(通用串行总线))存储器及闪存等半导体存储器的方式提供。另外，可以从连接于通信线路2的未图示的外部装置通过通信线路2获取本发明所涉及的信息处理程序。

上述本发明的实施方式是以例示及说明为目的而提供的。另外，本发明的实施方式并不全面详尽地包括本发明，并且并不将本发明限定于所公开的方式。很显然，对本发明所属的领域中的技术人员而言，各种变形及变更是自知之明的。本实施方式是为了最容易理解地说明本发明的原理及其应用而选择并说明的。由此，本技术领域中的其他技术人员能够通过对假定为各种实施方式的特定使用最优化的各种变形例来理解本发明。本发明的范围由以上的权利要求书及其等同物来定义。