摄像设备及系统、信息处理设备、其控制方法和存储介质与流程

本发明涉及摄像设备、信息处理设备和摄像设备系统。

背景技术：

已知在拍摄时通过以神经网络等为代表的机器学习方法来识别被摄体的摄像设备。这样的摄像设备使用支持用户预先指定的特定被摄体的已学习模型(learnedmodel)，以针对特定被摄体进行处理。

尽管目前存在诸如人、汽车和火车等的几种类型的被摄体，但是预期将来被摄体的类型的数量会增加。此外，尽管常规上用于af(自动调焦处理)中的被摄体判断，但是认为使用范围将扩大到针对摄像设备中的诸如ae(自动曝光)、awb(自动白平衡)、图像处理和噪音去除等的处理。

在这种情况下，尽管将需要多个已学习模型，但是在实践中，将所有已学习模型保持在摄像设备上是困难的，因为这将需要大的记录容量。因此，需要适当地切换可以在摄像设备中保持的已学习模型。

在日本特开2008-67316中，公开了一种图像分发系统，该图像分发系统生成高分辨率图像然后将其分发给客户终端，该高分辨率图像的图像质量是根据针对客户终端所请求的期望图像的高分辨率的设置参数来进行控制的。

然而，尽管在日本特开2008-67316中公开了一种根据来自客户终端的请求而生成并发送高分辨率图像的方法，但是不存在与神经网络中的已学习模型的交换有关的发明。

技术实现要素：

鉴于上述问题而做出本发明，并且使得在拍摄中能够适当地提供具有用于判断被摄体等的已学习模型的摄像设备。

根据本发明的第一方面，提供一种摄像设备，包括：接收部件，其被配置为与能够发送多个已学习模型的外部装置连接，并且接收多个已学习模型的列表信息；选择部件，其被配置为基于所述多个已学习模型的列表信息，从所述多个已学习模型中选择已学习模型；以及发送部件，其被配置为向所述外部装置发送对所述选择部件所选择的已学习模型的发送请求，其中，所述接收部件接收从所述外部装置发送的所选择的已学习模型。

根据本发明的第二方面，提供一种信息处理设备，包括：接收部件，其被配置为与能够发送多个已学习模型的外部装置连接，并且接收多个已学习模型的列表信息；选择部件，其被配置为基于所述多个已学习模型的列表信息，从所述多个已学习模型中选择已学习模型；以及发送部件，其被配置为向所述外部装置发送对所述选择部件所选择的已学习模型的发送请求，其中，所述接收部件接收从所述外部装置发送的所选择的已学习模型，并且所述发送部件将所选择的已学习模型发送到摄像设备。

根据本发明的第三方面，提供一种摄像设备系统，包括：外部装置，其被配置为能够发送多个已学习模型；以及摄像设备，其包括：接收部件，其被配置为与所述外部装置连接并且接收多个已学习模型的列表信息；选择部件，其被配置为基于所述多个已学习模型的列表信息，从所述多个已学习模型中选择已学习模型；以及发送部件，其被配置为向所述外部装置发送对所述选择部件所选择的已学习模型的发送请求，其中，所述接收部件接收从所述外部装置发送的所选择的已学习模型。

根据本发明的第四方面，提供一种摄像设备系统，包括：外部装置，其被配置为能够发送多个已学习模型；信息处理设备，其包括：接收部件，其被配置为与所述外部装置连接并且接收多个已学习模型的列表信息；选择部件，其被配置为基于所述多个已学习模型的列表信息，从所述多个已学习模型中选择已学习模型；以及发送部件，其被配置为向所述外部装置发送对所述选择部件所选择的已学习模型的发送请求；以及摄像设备，其中，所述接收部件接收从所述外部装置发送的所选择的已学习模型，并且所述发送部件将所选择的已学习模型发送到所述摄像设备。

根据本发明的第五方面，提供一种摄像设备的控制方法，包括：与能够发送多个已学习模型的外部装置连接，并且接收多个已学习模型的列表信息；基于所述多个已学习模型的列表信息，从所述多个已学习模型中选择已学习模型；以及向所述外部装置发送对在所述选择中所选择的已学习模型的发送请求，其中，在所述接收中，接收从所述外部装置发送的所选择的已学习模型。

根据本发明的第六方面，提供一种信息处理设备的控制方法，包括：与能够发送多个已学习模型的外部装置连接，并且接收多个已学习模型的列表信息；基于所述多个已学习模型的列表信息，从所述多个已学习模型中选择已学习模型；以及向所述外部装置发送对所述选择中所选择的已学习模型的发送请求，其中，在所述接收中，接收从所述外部装置发送的所选择的已学习模型，以及在所述发送中，将所选择的已学习模型发送到摄像设备。

根据本发明的第七方面，提供一种非暂时性计算机可读存储介质，其存储有用于使计算机执行根据上述的方法的步骤的程序。

通过以下参考附图对典型实施例的描述，本发明的其它特征将变得明显。

附图说明

图1是第一实施例的系统结构图。

图2是第一实施例中的摄像设备的框图。

图3是第一实施例中的神经网络处理单元的示意性结构图。

图4是第一实施例中的通信设备的框图。

图5是第一实施例中的摄像设备和通信设备的处理序列图。

图6是示出第一实施例中的摄像设备的处理的流程图。

图7是示出第一实施例中的通信设备的处理的流程图。

图8a、图8b和图8c是示出第一实施例中的用于菜单选择和用于拍摄时的摄像设备的画面的示例的图。

图9是第二实施例的系统结构图。

图10是第二实施例中的信息处理设备的框图。

图11是第二实施例中的摄像设备、通信设备和信息处理设备的处理序列图。

图12是示出第二实施例中的摄像设备的处理的流程图。

图13是示出第二实施例中的信息处理设备的处理的流程图。

图14是示出第二实施例中的通信设备的处理的流程图。

图15是示出第二实施例中的信息处理设备的菜单选择画面的示例的图。

图16是示出第三实施例中的已学习模型的示例的图。

图17是示出第三实施例中的摄像设备的菜单选择画面的示例的图。

具体实施方式

在下文中，将参考附图详细地描述实施例。注意，以下实施例不旨在限制所要求保护的发明的范围。在实施例中描述了多个特征，但是不限制要求所有这样的特征的发明，并且多个这样的特征可以适当地组合。此外，在附图中，相同的附图标号被给予相同或相似的结构，并且省略其冗余的描述。

(第一实施例)

<系统结构>

图1是示出第一实施例中的摄像设备系统的结构的图。摄像设备系统由摄像设备100以及通过无线或有线通信网络连接的能够发送多个已学习模型的通信设备200构成。摄像设备100使用已学习模型，以进行检测处理、分类处理、区域分类处理、图像恢复处理、调焦处理、曝光处理和白平衡处理中的任意处理。

＜摄像设备100的结构>

图2是示出摄像设备100的结构的框图。在图2中，摄像设备100包括cpu101、存储器102、非易失性存储器103、操作单元104、神经网络处理单元105、摄像单元112、图像处理单元113、编码处理单元114、显示控制单元115以及显示单元116。此外，摄像设备100包括通信控制单元117、通信单元118、记录介质控制单元119和内部总线130。

尽管摄像设备100使用拍摄镜头111以在摄像单元112的像素阵列中形成被摄体的光学图像，拍摄镜头111能够或不能够相对于摄像设备100的本体(壳体或主体)安装/拆卸。此外，摄像设备100经由记录介质控制单元119针对记录介质120进行图像数据的写入和读取。记录介质120能够或不能够相对于摄像设备100安装/拆卸。

cpu101通过执行存储在非易失性存储器103中的计算机程序，经由内部总线130控制摄像设备100的各单元(各功能块)的操作。

存储器102是可重写的易失性存储器。存储器102临时记录用于控制摄像设备100的各单元的操作的计算机程序、诸如与摄像设备100的各单元的操作相关的参数等的信息以及由通信控制单元117接收的信息等。此外，存储器102临时记录由摄像单元112获取的图像以及由图像处理单元113、编码处理单元114等处理的图像和信息。存储器102包括足够的存储容量用于临时记录这些。

此外，存储器102存储计算机程序，该计算机程序描述神经网络结构的处理内容以及由神经网络处理单元105使用的诸如加权系数和偏差值(偏差信息)等的已学习的系数参数。注意，加权系数是指示神经网络的节点间连接强度的值，并且偏差(bias)是用于提供与加权系数和输入数据的累积值相关的偏移的值。

非易失性存储器103是能够被电清除和记录的存储器，并且例如使用eeprom或硬盘等。非易失性存储器103存储用于控制摄像设备100的各单元的操作的计算机程序以及诸如与摄像设备100的各单元的操作有关的参数等的信息。该计算机程序实现摄像设备100所进行的各类型的操作。注意，在非易失性存储器103中，可以存储上述的用于描述神经网络的处理内容的计算机程序以及由神经网络处理单元105使用的诸如加权系数和偏差值等的已学习的系数参数。

操作单元104提供用于操作摄像设备100的用户接口。操作单元104包括各类型的按钮，诸如电源按钮、菜单按钮、用于拍摄的释放按钮、视频记录按钮和取消按钮等，并且各类型的按钮由开关或触摸面板等构成。cpu101根据经由操作单元104输入的用户指示来控制摄像设备100。注意，尽管这里描述了cpu101基于经由操作单元104输入的操作来控制摄像设备100的情况的示例，但是不限于此。例如，cpu101可以基于经由通信单元118从远程控制器(未示出)或移动终端(未示出)等输入的请求来控制摄像设备100。稍后使用图3描述神经网络处理单元105。

拍摄镜头(镜头单元)111由包括变焦透镜和调焦透镜等的透镜组(未示出)、镜头控制单元(未示出)、以及光阑(未示出)等构成。拍摄镜头111可用作用于改变视角的变焦部件。镜头控制单元利用从cpu101发送的控制信号进行焦点调整和光圈值(f值)的控制。

摄像单元112可用作用于连续获取构成运动图像的多个图像的获取部件。由例如ccd(电荷耦合器件)或cmos(互补金属氧化物半导体)元件等组成的区域图像传感器被用作摄像单元112。摄像单元112包括像素阵列(未示出)，在该像素阵列中用于将被摄体的光学图像转换成电信号的光电转换单元(未示出)以阵列(即，二维)布置。在该像素阵列上，通过拍摄镜头111形成被摄体的光学图像。摄像单元112将拍摄到的图像输出至图像处理单元113或存储器102。注意，摄像单元112还能够获取静止图像。

图像处理单元113针对从摄像单元112输出的图像数据或从存储器102读出的图像数据进行预定的图像处理。作为该图像处理的示例，可以给出动态范围转换处理、插值处理、缩小处理(大小调整处理)和颜色转换处理等。此外，图像处理单元113使用由摄像单元112获取的图像数据，以进行曝光控制和焦点检测控制等的预定计算处理。基于从图像处理单元113的计算处理所获取的计算结果，cpu101进行曝光控制和焦点检测控制等。更具体地，由cpu101进行ae处理、awb处理和af处理等。此外，可使用神经网络处理单元105来进行ae处理、awb处理和af处理的一部分。

编码处理单元114通过针对图像数据进行帧内预测编码(画面内预测编码)和帧间预测编码(画面间预测编码)等来压缩图像数据的大小。编码处理单元114例如是由半导体元件等构成的编码设备。编码处理单元114可以是布置在摄像设备100的外部的编码设备。此外，可使用神经网络处理单元105来进行编码处理单元114的处理的一部分。

显示控制单元115控制显示单元116。显示单元116包括显示画面(未示出)。显示控制单元115生成能够在显示单元116的显示画面上显示的图像，然后将该图像(即，图像信号)输出到显示单元116。此外，显示控制单元115不仅将图像数据输出到显示单元116，还能够经由通信控制单元117将图像数据输出到外部装置。显示单元116基于从显示控制单元115发送的图像信号在显示画面上显示图像。显示单元116包括osd(在屏显示)功能，osd功能是用于在显示画面上显示菜单等的设置画面的功能。显示控制单元115可以将osd图像叠加在图像信号上，然后将图像信号输出到显示单元116。显示单元116由液晶显示器或有机电致发光显示器等构成并且显示从显示控制单元115发送的图像信号。显示单元116可以是例如触摸面板。在显示单元116是触摸面板的情况下，显示单元116还可用作操作单元104。

通信控制单元117由cpu101控制。通信控制单元117被配置为生成与无线通信标准(诸如ieee802.11等)兼容的调制信号，将该调制信号输出到通信单元118，然后经由通信单元118从外部装置接收调制信号。此外，通信控制单元117能够发送和接收控制信号和视频信号。例如，通信控制单元117也可以控制通信单元118以发送符合诸如hdmi(高清晰度多媒体接口)和sdi(串行数字接口)等的通信标准的视频信号。

通信单元118将视频信号和控制信号转换成物理电信号，然后物理电信号被发送到外部装置和从外部装置接收到。注意，尽管在这里描述了由通信单元118通信视频信号和控制信号的情况下的示例，但是并不限制由通信单元118进行通信。

记录介质控制单元119控制记录介质120。记录介质控制单元119基于来自cpu101的请求，将用于控制记录介质120的控制信号输出到记录介质120。例如，非易失性存储器或磁盘等被用作记录介质120。如上所述，记录介质120能够或不能够安装/拆卸。记录介质120记录编码图像数据等。图像数据等以与记录介质120的文件系统兼容的格式被保存为文件。

注意，功能块101至105、112至115、117和119中的各功能块被连接以经由内部总线130彼此可访问。

<神经网络处理部105的结构>

图3是示出神经网络处理部105的结构的图。神经网络处理单元105使用预学习的系数参数来执行神经网络处理。注意，尽管神经网络处理是由例如cnn(卷积神经网络)和全连接层构成的事物，但是不限于此。此外，在全连接层中，上述系数参数对应于与各层的节点连接的各边(edge)所保持的权重或偏差，而在cnn中，上述系数参数与内核的权重或偏差相对应。

如图3所示，神经网络处理单元105通过在神经核140中包括cpu141、乘积累加运算电路142、dma143和内部存储器144来构成。

cpu141经由内部总线130执行存储在存储器102、非易失性存储器103或内部存储器144中的计算机程序，其中，在计算机程序上描述了神经网络的处理内容。此外，cpu141执行乘积累加运算电路142和dma143的控制。

乘积累加运算电路142是在神经网络中进行乘法累加运算的电路。乘积累加运算电路142包括多个乘积累加运算电路，并且能够并行执行处理。

dma143是专门用于在不经过cpu141的情况下进行数据传送的电路，并经由内部总线130进行存储器102或非易失性存储器103与内部存储器144之间的数据传送。此外，dma143进行乘积累加运算电路142与内部存储器144之间的数据传送。dma143传送的数据是描述神经网络的处理内容的计算机程序、已学习的系数参数、以及在乘积累加运算电路142中计算出的中间数据等。

内部存储器144存储描述神经网络的处理内容的计算机程序、已学习的系数参数、以及在乘积累加运算电路142中计算出的中间数据等。此外，内部存储器144可以包括多个组(bank)，并且可以动态地切换组。

＜通信设备200的结构>

图4是示出本发明的第一实施例中的通信设备200的结构的框图。

在图4中，cpu201进行构成通信设备200的所有处理块的控制。存储器202是主要用作cpu201的工作区和数据的临时缓冲区的存储器。显示单元203由液晶面板或有机el面板等构成，并且基于来自cpu201的指示来进行操作画面等的显示。内部总线204是用于将通信设备200中的各处理块相互连接的总线。

操作单元205由键盘、鼠标、按钮、触摸面板和远程控制器等构成，并且接收来自用户的操作指示。将从操作单元205输入的操作信息发送到cpu201，并且cpu201基于该操作信息执行各处理块的控制。

记录单元206包括记录介质并且是用于基于来自cpu201的指示相对于记录介质存储和读取各种数据的处理块。记录介质例如由eeprom、内置闪速存储器、内置硬盘或可安装/装卸的存储卡等构成。作为神经网络中的学习数据的输入数据和监督数据被保存在记录单元206中。

通信单元207包括用于进行无线lan和有线lan通信的硬件等。在无线lan中，例如是ieee802.11n/a/g/b方法处理块。通信单元207通过无线lan连接到外部接入点，然后通过接入点进行与其它无线通信装置的通信。此外，在有线lan中，通信单元207通过以太网线缆或交换集线器经由外部路由器进行通信。通信单元207进行与包括摄像设备100的外部装置的通信，并进行诸如图像、控制数据、学习数据和已学习模型等的信息的交换。

神经网络处理单元208使用保存在记录单元206中的学习数据和预先生成的神经网络模型来进行神经网络学习处理。神经网络处理单元208结合经由操作单元205的来自用户的指示、或者从通信单元207接收到的然后记录在记录单元206中的图像数据的接收，来进行学习处理。神经网络处理单元208由gpu(图形处理单元)或dsp(数字信号处理器)构成。注意，神经网络学习处理可以由cpu201进行，而无需布置神经网络处理单元208。

<第一实施例的处理序列>

使用图5对本实施例中的摄像设备100和通信设备200的处理序列进行说明。

在步骤s501中，摄像设备100针对通信设备200发送已学习模型的列表信息的获取请求(发送请求)。注意，当发送用于获取已学习模型的列表信息的请求时，cpu101添加用于识别摄像设备100的信息(id)或者诸如型号识别编号和序列号等的信息。

在步骤s502中，通信设备200从摄像设备100接收用于获取已学习模型的列表信息的请求，然后用已学习模型的列表信息进行回复。注意，在该步骤中，可以采用使得仅发送由能够被摄像设备100处理的已学习模型构成的已学习模型的列表信息的结构，并且可以采用使得发送由通信设备200保持的所有已学习模型的列表信息的结构。注意，已学习模型可由另一装置预先学习或由通信设备200的神经网络处理单元208学习。

在步骤s503中，摄像设备100从在步骤s502中获取的已学习模型的列表信息中选择所需的已学习模型，然后针对通信设备200发送对该已学习模型的获取请求。

在步骤s504中，通信设备200从摄像设备100接收针对已学习模型的获取请求，然后用所请求的已学习模型进行回复。

在步骤s505中，通信设备200发送已学习模型菜单显示所需的文本和图像信息等，作为与在步骤s504中发送的已学习模型有关的信息。

＜摄像设备100的处理流程>

使用图6说明本实施例的摄像设备100的处理序列。在摄像设备100的电源接通的状态下，通过在存储器102中展开存储在非易失性存储器103中的计算机程序，然后由cpu101读取并执行存储器102中的计算机程序，来实现该操作。

在步骤s601中，cpu101判断是否存在对用于切换已学习模型的菜单画面的显示请求。在存在经由操作单元104来自用户的显示请求的情况下(步骤s601为“是”)，cpu101控制显示控制单元115，在显示单元116上显示菜单画面，然后使本处理从步骤s601进入步骤s602。在不存在经由操作单元104的来自用户的显示请求的情况下(步骤s601为“否”)，cpu101继续本处理。注意，稍后使用图8a至图8c描述菜单画面的示例。

在步骤s602中，cpu101通过控制通信控制单元117，然后经由通信单元118进行通信，建立与通信设备200的连接。cpu101控制通信控制单元117，然后经由通信单元118进行针对已学习模型的列表信息的请求。cpu101使本处理进入步骤s603。

在步骤s603中，cpu101经由通信单元118接收从通信设备200发送的已学习模型的列表信息，然后将所获取的列表信息保持在存储器102中。注意，假定已学习模型的列表信息包括与摄像设备100有关的已学习模型用途和可适用被摄体信息、已学习模型的列表信息中存在的数据大小信息、以及处理性能要求信息等。在结束本处理之后，cpu101使处理进入步骤s604。

注意，在从通信设备200发送能够在摄像设备100中处理已学习模型的列表信息的情况下，可以省略后述的从步骤s604至s608的处理。此外，在步骤s603中接收到已学习模型的列表信息时可以获取能够在摄像设备100中处理的已学习模型的列表信息。

从步骤s604至s607，假定针对已学习模型的列表信息中的每个已学习模型进行处理。

在步骤s604中，cpu101根据在步骤s603中接收到的已学习模型用途和可适用被摄体信息，判断已学习模型是否能够在摄像设备100中被处理。这里，已学习模型能够被处理意味着数字照相机100支持已学习模型的使用。例如，在数字照相机100支持自动聚焦于动物被摄体的功能的情况下，将用于检测动物被摄体的已学习模型判断为能够被处理的已学习模型。在判断为已学习模型能够被处理的情况下(步骤s604为“是”)，cpu101使本处理从步骤s604进入步骤s605。在判断为已学习模型不能被处理的情况下(步骤s604为“否”)，cpu101使本处理从步骤s604进入步骤s608。

在步骤s605中，cpu101根据在步骤s603中接收到的数据大小信息，判断各个已学习模型是否具有容纳(能够记录)在存储器102中所保留的可用容量中的数据大小。在判断为数据大小能够容纳在可用容量中的情况下(步骤s605为“是”)，cpu101使本处理从步骤s605进入步骤s606。在判断为数据大小不能容纳在可用容量中的情况下(步骤s605为“否”)，cpu101使本处理从步骤s605进入步骤s608。

在步骤s606中，cpu101根据在步骤s603中接收到的处理性能要求信息，判断是否可以按摄像设备100所决定的每预定单位时间执行已学习模型。处理性能要求信息例如可以通过tops(每秒万亿次操作)值、处理周期数来设置，或者使得处理性能要求信息指示乘积累加运算电路的处理能力。此外，此处用于判断的“预定单位时间”可以是与已学习模型用途相对应的不同值。例如，在用于在拍摄时调整被摄体上的焦点的情况下，由于寻求实时性能，因此参考相对短的单位时间进行判断。另一方面，在用于在拍摄之后为了针对出现预定被摄体的图像而搜索图像组情况下，与拍摄时相比，寻求实时性能的程度较低。因此，在这种情况下，参考相对长的单位时间进行判断。在判断为能够按每预定单位时间执行已学习模型的情况下(步骤s606为“是”)，cpu101使本处理从步骤s606进入步骤s607。在判断为无法按每预定单位时间执行已学习模型的情况下(步骤s606为“否”)，cpu101使本处理从步骤s606进入步骤s608。

在步骤s607中，cpu101判断为在步骤s604至s606中确认的已学习模型是能够显示在菜单画面上的已学习模型，然后将该已学习模型作为用于菜单显示的已学习模型列表而记录在存储器102中。cpu101使本处理从步骤s607进入步骤s608。

在步骤s608中，cpu101判断是否针对在步骤s603中接收到的已学习模型的列表信息中描述的所有已学习模型进行了从步骤s604至s607的处理。在判断为针对列表信息中描述的所有已学习模型进行了处理的情况下(步骤s608为“是”)，cpu101使本处理从步骤s608进入步骤s609。在判断为未针对列表信息中描述的所有已学习模型进行处理的情况下(步骤s608为“否”)，cpu101使本处理从步骤s608返回至步骤s604。

在步骤s609中，cpu101控制显示控制单元115，然后在显示单元116上显示记录在存储器102中的用于菜单显示的已学习模型列表。cpu101使本处理从步骤s609进入步骤s610。

在步骤s610中，cpu101从操作单元104接收通过用户操作对已学习模型的选择，然后cpu101使本处理从步骤s610进入步骤s611。

在步骤s611中，cpu101通过控制通信控制单元117，经由通信单元118发送用于从通信设备200获取在步骤s610中由用户选择的已学习模型的获取请求。cpu101使本处理从步骤s611进入步骤s612。

在步骤s612中，cpu101经由通信单元118接收已学习模型和关于已学习模型的相关信息然后将其保存在存储器102中。cpu101使本处理从步骤s612进入步骤s613。

在步骤s613中，cpu101使用关于已学习模型的相关信息来配置显示画面，控制显示控制单元115，在显示单元116上显示已学习模型被切换，然后在步骤s613结束本流程图中的处理。

注意，在以上描述中，采用如下的结构，该结构使得在步骤s607中，仅将满足步骤s604至s606中的条件的已学习模型作为模型列表存储在存储器102中，然后在步骤s609中，显示在菜单画面上。然而，可以采用如下的结构，该结构使得在步骤s607中，将所有模型列表存储在存储器102中，并且通过从可执行已学习模型的显示改变显示，来在步骤s609中将不满足步骤s604至s606中的条件的已学习模型显示为不可执行已学习模型。

＜通信设备200的处理流程>

使用图7来说明本实施例的通信设备200的处理序列。在通信设备200的电源接通的状态下，通过在存储器202中展开存储在记录单元206中的计算机程序，然后由cpu201读取并执行存储器202中的计算机程序，来实现该操作。

在步骤s701中，cpu201经由通信单元207从摄像设备100接收已学习模型列表信息获取请求。注意，假定来自摄像设备100的已学习模型列表信息获取请求包括用于识别摄像设备100的信息(id)以及诸如型号识别编号和序列号等的摄像装置信息。cpu201使本处理从步骤s701进入步骤s702。

在步骤s702中，cpu201经由通信单元207发送记录在记录单元206中的已学习模型的列表信息。注意，可以采用如下的结构，该结构使得cpu201根据在步骤s701中获取的摄像设备100的识别信息等，仅发送能够在摄像设备100中处理的已学习模型作为列表信息。在仅发送能够在摄像设备100中处理的已学习模型作为列表信息的情况下，向摄像设备100通知仅是能够被处理的列表信息。cpu201使本处理从步骤s702进入步骤s703。

在步骤s703中，cpu201经由通信单元207从摄像设备100接收已学习模型获取请求。cpu201使本处理从步骤s703进入步骤s704。

在步骤s704中，cpu201从记录单元206读取在步骤s703中从摄像设备100指定的已学习模型以及与已学习模型有关的信息，然后将其经由通信单元207发送到摄像设备100。cpu201在步骤s704中结束本处理。

<摄像设备100的画面的示例>

使用图8a至图8c描述本实施例中的用于菜单选择和拍摄时的摄像设备100的画面的示例。

图8a示出用于使用摄像设备100的机器学习功能来选择af被摄体的画面的示例。注意，对于除了af之外的选择，菜单结构可以是相同的。此外，假定各被摄体支持各个已学习模型。

菜单显示801指示在菜单画面中的画面上设置何种功能。

被摄体设置状态802指示能够由af选择的被摄体的当前设置状态。被摄体设置状态802显示被摄体和指示被摄体的优先级顺序的编号。摄像设备100根据优先级顺序检测被摄体。注意，关于在被摄体设置状态802处显示的编号，它们可以不是优先级顺序而是用于识别用于存储被摄体的位置的编号。

改变目的地被摄体选择框803指示用户选择的改变目的地被摄体。可选择列表804显示能够被选择的被摄体的列表。滑动条805是用于通过滑动来显示不能在画面上显示的被摄体的滑动条。不可选择标记806指示在尽管被摄体被显示为支持、但是摄像设备100由于诸如设置条件等的一些原因而不能选择该被摄体的情况下显示的标记。

改变源被摄体选择框807指示用户选择的改变源被摄体。执行按钮808是用于将通过改变源被摄体选择框807所选择的被摄体的设置应用于通过改变目的地被摄体选择框803所选择的部分的执行按钮。

图8b示出用于从图8a中设置的被摄体中选择在拍摄时使用的被摄体的菜单画面的示例。

被摄体选择显示812指示用于从登记到摄像设备100的被摄体中选择在拍摄时使用的被摄体的显示。

拍摄阶段被摄体选择框813指示用于选择在拍摄时使用的被摄体的选择框。执行按钮814是用于设置拍摄阶段被摄体选择框813的按钮。取消按钮815是用于从当前菜单画面返回到主画面的按钮。

图8c示出拍摄时的摄像设备100的摄像画面的示例。

af框821指示焦点在被摄体上的何处。被摄体选择显示822显示图8b中选择的被摄体的设置值或ae选择菜单(未图示)上选择的设置值。注意，不限于af或ae，而是显示使用已学习模型的功能的状态。

如上所述，通过进行第一实施例的处理并且通过摄像设备100从通信设备200获取已学习模型，能够改变多个已学习模型。

(第二实施例)

尽管以下参考附图以摄像设备100、通信设备200和信息处理设备300作为示例详细描述了本发明的第二实施例，但是本发明不限于以下实施例。

在第一实施例中，说明了摄像设备100和通信设备200所构成的系统。在本实施例中，描述了添加了诸如智能电话或pc等的信息处理设备300的具有摄像设备100和通信设备200的系统的结构。注意，本实施例中的摄像设备100的块结构和通信设备200的块结构与第一实施例的相同。

＜第二实施例的系统结构>

使用图9说明本实施例的系统结构。如图9所示，摄像设备100、通信设备200和信息处理设备300通过无线或有线通信网络彼此连接。注意，摄像设备100和通信设备200可以经由信息处理设备300进行通信。

＜信息处理设备300的块结构>

图10是示出第二实施例中的信息处理设备300的结构的框图。信息处理设备300包括cpu301、存储器302、摄像单元303、显示单元304、操作单元305、记录单元306和通信单元307。

cpu301对构成信息处理设备300的所有处理块进行控制。程序存储在稍后描述的记录单元306中。

存储器302主要用作cpu301的工作区和数据的临时缓冲区。诸如os(操作系统)和应用等的程序被展开在存储器302上，然后由cpu301执行。

摄像单元303包括光学透镜、cmos传感器和数字图像处理单元等。然后，经由光学透镜输入的光被cmos传感器光电转换，来自cmos传感器的模拟信号被转换为数字数据，然后获取拍摄图像。摄像单元303所获取的拍摄图像被临时存储在存储器302中，然后基于cpu301的控制来进行处理。例如，进行记录单元306到记录介质的记录、以及通信单元307到外部装置的发送等。此外，摄像单元303包括镜头控制单元，并且基于来自cpu301的指示来进行诸如变焦、调焦和光圈调整等的控制。

显示单元304由液晶面板或有机el面板等构成，并且基于来自cpu301的指示进行操作画面和拍摄图像等的显示。

操作单元305由键盘、鼠标、按钮、十字方向键、触摸面板、远程遥控器等构成并且接收来自用户的操作指示。将从操作单元305输入的操作信息发送到cpu301，并且cpu301基于该操作信息执行各处理块的控制。

记录单元306由大容量记录介质构成，并且是用于基于来自cpu301的指示存储和读取各种数据的处理块。记录介质例如由内置闪速存储器、内置硬盘或可安装/拆卸的存储卡等构成。

通信单元307包括用于进行通信的处理硬件(诸如天线、无线lan和有线lan等)，并且是用于进行例如ieee802.11n/a/g/b方法通信的处理块。通信单元307通过无线lan连接到外部接入点，然后通过接入点进行与其它无线通信装置的通信。

内部总线308将信息处理设备300中的各处理块彼此连接。

＜第二实施例的处理序列>

图11是示出本实施例中的摄像设备100、通信设备200和信息处理设备300的处理序列的图。

在步骤s1101中，信息处理设备300针对摄像设备100进行对用于识别摄像设备100的信息(id)或者诸如型号识别编号和序列号等的摄像装置信息的获取请求。此外，假定摄像装置信息包括已学习模型用途和可适用被摄体信息、存储器102中保留的可用容量、以及处理性能要求信息。

在步骤s1102中，摄像设备100针对信息处理设备300发送摄像装置信息。

在步骤s1103中，信息处理设备300针对通信设备200发送对已学习模型的列表信息的获取请求。

在步骤s1104中，信息处理设备300针对通信设备200发送在步骤s1102中获取的摄像装置信息。

在步骤s1105中，通信设备200从信息处理设备300接收用于获取已学习模型的列表信息的请求，然后用已学习模型的列表信息进行回复。注意，在该步骤中，可以采用使得仅发送由能够被摄像设备100处理的已学习模型构成的已学习模型的列表信息的结构，并且可以采用使得发送由通信设备200保持的所有已学习模型的列表信息的结构。

在步骤s1106中，信息处理设备300从在步骤s1105中获取的已学习模型的列表信息中选择所需的已学习模型，然后针对通信设备200发送对该已学习模型的获取请求。

在步骤s1107中，通信设备200从信息处理设备300接收对已学习模型的获取请求，然后用所请求的已学习模型进行回复。

在步骤s1108中，通信设备200发送已学习模型菜单显示所需的文本和图像信息等，作为与在步骤s1107中发送的已学习模型有关的信息。

在步骤s1109中，信息处理设备300针对摄像设备100发送在步骤s1107中获取的已学习模型。

在步骤s1110中，信息处理设备300针对摄像设备100发送在步骤s1108中获取的与已学习模型有关的信息。

＜摄像设备100的处理流程>

图12是示出本实施例中的摄像设备100的处理的流程图。在摄像设备100的电源接通的状态下，通过在存储器102中展开存储在非易失性存储器103中的计算机程序，然后由cpu101读取并执行存储器102中的计算机程序，来实现该操作。

在步骤s1201中，cpu101通过控制通信控制单元117，然后经由通信单元118进行通信，建立与信息处理设备300的连接。注意，在与通信设备200直接通信的情况下，还进行与通信设备200的连接。cpu101经由通信单元118从信息处理设备300接收对摄像装置信息的获取请求，然后使本处理从步骤s1201进入步骤s1202。

在步骤s1202中，cpu101控制通信控制单元117，然后经由通信单元118将存储在存储器102中的摄像装置信息发送到信息处理设备300。cpu101使本处理从步骤s1202进入步骤s1203。

在步骤s1203中，cpu101经由通信单元118接收从信息处理设备300发送的已学习模型，然后将所获取的已学习模型和与已学习模型有关的信息存储在存储器102中。cpu101使本处理从步骤s1203进入步骤s1204。

在步骤s1204中，cpu101使用关于已学习模型的相关信息来配置显示画面，控制显示控制单元115，在显示单元116上显示已学习模型被切换，然后在步骤s1204中结束本流程图中的处理。

注意，尽管在图12中描述了cpu101从信息处理设备300获取已学习模型的流程，但是可以从信息处理设备300获取通信设备200的访问目的地，然后可以直接从通信设备200获取已学习模型和与已学习模型有关的信息。

＜信息处理设备300的处理流程>

图13是示出本实施例中的信息处理设备300的处理的流程图。在信息处理设备300的电源接通的状态下，通过在存储器302中展开存储在记录单元306中的计算机程序，然后由cpu301读取并执行存储器302中的计算机程序，来实现该操作。

在步骤s1301中，cpu301建立与摄像设备100的连接，然后针对摄像设备100经由通信单元307发送对摄像装置信息的获取请求。cpu301使本处理进入步骤s1302。

在步骤s1302中，cpu301经由通信单元307从摄像设备100获取摄像装置信息。cpu301使本处理进入步骤s1303。

在步骤s1303中，cpu301建立与通信设备200的连接，然后针对通信设备200进行对已学习模型的列表信息的请求。注意，cpu301假定除了对已学习模型的列表信息的请求之外，还将在步骤s1302中获取的摄像装置信息发送到通信设备200。cpu301使本处理进入步骤s1304。

在步骤s1304中，cpu301经由通信单元307接收从通信设备200发送的已学习模型的列表信息，然后将所获取的列表信息保持在存储器302中。注意，假定已学习模型的列表信息包括已学习模型用途和可适用被摄体信息、已学习模型的列表信息中存在的数据大小信息、以及与摄像设备100有关的处理性能要求信息。cpu101在结束本处理之后，使处理进入步骤s1305。

注意，在从通信设备200发送能够在摄像设备100中处理的已学习模型的列表信息的情况下，可以省略后述的从步骤s1304至s1309的处理。此外，在接收到已学习模型的列表信息时，可以获取能够在摄像设备100中处理的已学习模型的列表信息。从步骤s1305至s1308，假定针对已学习模型的列表信息中的每个已学习模型进行处理。

在步骤s1305中，cpu301根据在步骤s1302中从摄像设备100接收到的摄像设备信息以及在步骤s1304中从通信设备200接收到的已学习模型用途和可适用被摄体信息，判断已学习模型是否能够在摄像设备100中被处理。在判断为已学习模型能够被处理的情况下(步骤s1305为“是”)，cpu301使本处理从步骤s1305进入步骤s1306。在判断为已学习模型不能被处理的情况下(步骤s1305为“否”)，cpu301使本处理从步骤s1305进入步骤s1309。

在步骤s1306中，cpu301根据在步骤s1302中获取的存储器102的可用容量和在步骤s1304中接收到的已学习模型的数据大小，判断数据大小是否能够容纳在存储器102的可用容量中。在判断为数据大小能够容纳在可用容量中的情况下(步骤s1306为“是”)，cpu101使本处理从步骤s1306进入步骤s1307。在判断为数据大小不能容纳在可用容量中的情况下(步骤s1306为“否”)，cpu301使本处理从步骤s1306进入步骤1309。

在步骤s1307中，cpu301根据在步骤s1302中从摄像设备100接收到的摄像设备信息和在步骤s1304中从通信设备200接收到的处理性能要求信息，判断是否能够按摄像设备100所决定的每预定单位时间执行已学习模型。处理性能要求信息与第一实施例的步骤s606中所描述的处理性能要求信息相同。在判断为已学习模型能够按每预定单位时间执行的情况下(步骤s1307为“是”)，cpu301使本处理从步骤s1307进入步骤s1308。在判断为已学习模型不能够按每预定单位时间执行的情况下(步骤s1307为“否”)，cpu301使本处理从步骤s1307进入步骤s1309。

在步骤s1308中，cpu301判断为在步骤s1305至s1307中确认的已学习模型是能够呈现给用户的已学习模型，然后将其作为要呈现给用户的已学习模型列表记录在存储器302中。cpu301使本处理从步骤s1308进入步骤s1309。

在步骤s1309中，cpu301判断是否针对在步骤s1304中接收到的已学习模型的列表信息中描述的所有已学习模型进行了从步骤s1305至s1308的处理。在判断为针对列表信息中描述的所有已学习模型进行了处理的情况下(步骤s1309为“是”)，cpu301使本处理从步骤s1309进入步骤s1310。在判断为未针对列表信息中所描述的所有已学习模型进行处理的情况下(步骤s1309为“否”)，cpu301使本处理从步骤s1309返回至步骤s1305。

在步骤s1310中，cpu301在显示单元304上显示记录在存储器302中的要呈现给用户的已学习模型列表。cpu301使本处理从步骤s1310进入步骤s1311。注意，稍后使用图15描述用于在显示单元304上显示的显示方法的示例。

在步骤s1311中，cpu301从操作单元305接收通过用户操作对已学习模型的选择，然后使本处理从步骤s1311进入步骤s1312。

在步骤s1312中，cpu301针对通信设备200经由通信单元307发送与在步骤s1311中由用户选择的已学习模型有关的获取请求。cpu301使本处理从步骤s1312进入步骤s1313。

在步骤s1313中，cpu301经由通信单元307接收已学习模型和关于已学习模型的相关信息，然后将其保存在存储器302中。cpu301使本处理从步骤s1313进入步骤s1314。

在步骤s1314中，cpu301针对摄像设备100经由通信单元307发送已学习模型和关于已学习模型的相关信息。cpu301在步骤s1314中结束本处理。注意，cpu301发送与支持由图15中稍后描述的优先级编号1505所选择的被摄体的已学习模型的优先级顺序有关的信息作为已学习模型的相关信息。

注意，尽管在图13中描述了cpu301从通信设备200获取然后针对摄像设备100传送已学习模型的流程，但是可以将针对通信设备200的访问目的地从信息处理设备300通知给摄像设备100。

<通信设备200的处理流程>

图14是示出本实施例中的通信设备200的处理的流程图。在通信设备200的电源接通的状态下，通过在存储器202中展开存储在记录单元206中的计算机程序，然后由cpu201读取并执行存储器202中的计算机程序，来实现该操作。

在步骤s1401中，cpu201经由通信单元207从信息处理设备300接收已学习模型列表信息获取请求。注意，假定来自信息处理设备300的已学习模型列表信息获取请求包括用于识别摄像设备100的信息(id)以及诸如型号识别编号和序列号等的摄像装置信息。cpu201使本处理从步骤s1401进入步骤s1402。

在步骤s1402中，cpu201经由通信单元207向信息处理设备300发送记录在记录单元206中的已学习模型的列表信息。注意，可以采用如下的结构，该结构使得cpu201从在步骤s1401中获取的摄像设备100的识别信息等中仅发送能够在摄像设备100中处理的已学习模型作为列表信息。在仅发送能够在摄像设备100中处理的已学习模型作为列表信息的情况下，向信息处理设备300通知仅是能够处理的列表信息。cpu201使本处理从步骤s1402进入步骤s1403。

在步骤s1403中，cpu201经由通信单元207从信息处理设备300接收已学习模型获取请求。cpu201使本处理从步骤s1403进入步骤s1404。

在步骤s1404中，cpu201从记录单元206读取在步骤s1403中从信息处理设备300指定的已学习模型以及与已学习模型有关的信息，然后将其经由通信单元207发送到信息处理设备300。cpu201在步骤s1404中结束本处理。

在图15中示出本实施例中的使用在信息处理设备300的应用上进行操作的已学习模型来进行处理的被摄体选择画面的示例。画面是应用的画面，并且假定被显示在信息处理设备300的显示单元304上。

应用标题1501是用于识别应用的显示器。被摄体设置状态1502指示af中能够被摄像设备100选择的被摄体的当前设置状态。注意，被摄体设置状态1502的数字指示在摄像设备100中设置的被摄体的优先级编号。改变目的地被摄体选择框1503指示用户选择的改变目的地被摄体。

可选择列表1504显示能够被选择的被摄体的列表。可选择列表使已经保持在摄像设备100中的被摄体优先并且以高级别显示该被摄体。优先级编号1505指示针对摄像设备100设置的可选择列表1504中的被摄体的优先级编号。通过选择改变目的地被摄体选择框1503和改变源被摄体选择框1507，改变优先级编号1505的显示。

不可选择标记1506指示在尽管被摄体显示为支持、但是摄像设备100由于诸如设置条件等的一些原因而不能选择该被摄体的情况下显示的标记。改变源被摄体选择框1507指示用户选择的改变源被摄体。执行按钮1508是用于将利用改变源被摄体选择框1507选择的被摄体的设置应用于利用改变目的地被摄体选择框1503选择的部分的执行按钮。

功能选择按钮1509是用于在使用已学习模型的诸如af、ae、awb和噪声降低(nr)等的功能之中切换功能的按钮。型号名称1510显示诸如摄像设备100的型号名称等的识别信息。图标1511显示使得能够判断摄像设备100的图标。

如上所述，通过进行本实施例的处理并且通过摄像设备100经由信息处理设备300从通信设备200获取已学习模型，能够改变多个已学习模型。

(第三实施例)

尽管以下参考附图以摄像设备100、通信设备200和信息处理设备300作为示例详细描述了本发明的第三实施例，但是本发明不限于以下实施例。

在第一实施例和第二实施例中，针对一个被摄体有效地配置已学习模型。在本实施例中，描述一个已学习模型对于多个被摄体有效的情况。

注意，摄像设备100、通信设备200和信息处理设备300的系统结构与第二实施例中配置的系统相同，并且各块结构和处理流程也与第二实施例的相同。

使用图16描述本实施例中的已学习模型的呈现方法的示例。

将上述图15中的信息处理设备300的应用画面上的可选择列表1504显示为包括多个被摄体支持已学习模型1601的列表。用户从包括多个被摄体支持已学习模型1601的可选择列表1504中选择期望的被摄体，然后将被摄体登记到摄像设备100。注意，在“狗+猫”的情况下，使“狗”优先，以及在“猫+狗”的情况下，使“猫”优先。同样地，如果“成人+儿童”，则使“成人”优先，以及如果“儿童+成人”，则使“儿童”优先，并且同样适用于“火车+汽车”。

注意，尽管作为示例描述了信息处理设备300的应用画面上的可选择列表1504，但是这可以在摄像设备100的菜单画面上进行。

在图17中，示出本实施例中的摄像设备的菜单选择画面的示例。在图17中示出如下的菜单画面的示例，该菜单画面用于在如上所述在图16中选择包括多个被摄体的已学习模型的情况下选择在拍摄时使用的被摄体。

拍摄阶段被摄体选择框1701指示用于选择在拍摄时使用的被摄体的选择框。第一优先级被摄体1702呈现多个被摄体中最高优先级的被摄体。第二优先级被摄体1703呈现多个被摄体中的第二高优先级的被摄体。在af处理中，在未找到第一优先级被摄体的情况下，进行用于检测第二优先级被摄体的处理。

被摄体切换启用按钮1704是即使已学习模型支持多个被摄体、在进行用于仅检测第一优先级被摄体的处理的情况下进行设置的设置按钮。在被摄体切换启用按钮1704未被启用的情况下，进行用于仅检测第一优先级被摄体1702的处理。

执行按钮1705是用于结束由用户设置的状态的按钮。取消按钮1706是用于从本菜单画面返回到主画面的按钮。

注意，本实施例采取如在1601中所示的以已学习模型为单位向用户呈现多个被摄体支持已学习模型的形式。然而，如图16中的1602中所示，即使已学习模型支持多个被摄体，也可以以被摄体为单位呈现给用户并且能够由用户进行选择。

此外，尽管在本实施例中仅将多达两个被摄体描述为多个被摄体，但是可以存在三个或更多个被摄体。

如上所述，通过进行本实施例的处理并且通过摄像设备100获取已学习模型，即使已学习模型支持多个被摄体，也能够改变多个已学习模型。

(变型例)

虽然以上详细描述了本发明的实施例，但本发明不限于这些实施例，并且本发明包括不脱离本发明的主旨的范围的各种形式。

本发明所适用的对象不限于上述实施例中的摄像设备100等。例如，即使在摄像设备100是由多个设备配置的系统的情况下，也可以实现与上述实施例同样的功能。此外，可以利用网络上的外部装置来执行和实现摄像设备100的处理的一部分。

其它实施例

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(cpu)、微处理单元(mpu)读出并执行程序的方法。

虽然已经参考典型实施例描述了本发明，但是应当理解，本发明不限于所公开的典型实施例。所附权利要求的范围应被赋予最宽泛的解释，以涵盖所有这样的修改以及等同的结构和功能。