处理装置、处理程序、处理方法及处理系统与流程

1.本公开涉及用于对由照相机拍摄的被摄体的图像进行处理的处理装置、处理程序、处理方法以及处理系统。


背景技术：

2.以往，已知医生观察对象者的口腔状态的变化，进行例如病毒性感冒等诊断。在此，已知在位于口腔内的咽部的最深部出现的淋巴滤泡中存在流感特有的图案(pattern)。具有该特有的图案的淋巴滤泡被称为流感滤泡，是流感的特征性的标志，从发病时开始出现。但是，这样的咽部部分是通过医生直接诊断来诊断的，没有进行使用图像的诊断。
3.另一方面，已知有在前端具有拍摄光学系统且用于拍摄腹腔等体内深部的内窥镜(专利文献1)。在这样的内窥镜中，由于受到拍摄窗的污垢、雾影(cloud)的影响，一边利用清洗液供给单元供给清洗液，一边利用施振单元使振子的污垢以能够与清洗液混合的强度振动，接着切换为比能够使振子与清洗液混合的强度的振动弱的强度的振动，使透明部件的表面干燥，从而去除这些影响。
4.现有技术文献
5.专利文献
6.专利文献1：日本特开2009-189496号公报


技术实现要素：

7.发明所要解决的课题
8.在日常判断所见、且在短时间内诊断的咽部、扁桃体等口腔内，难以使用像这样的内窥镜那样大规模的装置。另外，对于因呼吸而外部空气和体内空气高频率地出入的口腔内(特别是咽部)的拍摄，雾影的影响极其严重。此外，在口腔内牙齿、舌头等具有活跃动作的各种区域接近，难以稳定地拍摄清晰的图像。因此，鉴于上述那样的技术，在本公开中，目的在于提供适合于对为了用于口腔内的诊断而拍摄口腔内得到的图像进行处理的处理装置、处理程序、处理方法以及处理系统。
9.用于解决课题的手段
10.根据本公开的一个方式，提供“一种处理装置，包括：输入输出接口，其构成为与对至少包含口腔内的被摄体的图像进行拍摄的照相机以能够通信的方式连接，并接受由所述照相机拍摄到的所述图像的输入；存储器，其构成为除了规定的指示命令以外，还存储由所述输入输出接口接受的所述图像；以及处理器，其构成为通过执行存储于所述存储器的所述规定的指示命令，基于存储于所述存储器的所述图像来确定所述图像所包含的所述被摄体中的规定的区域，并以能够识别所确定的所述规定的区域的方式对所述图像进行处理”。
11.根据本公开的一个方式，提供“一种处理装置，其包括：输入输出接口，其构成为与对至少包含口腔内的被摄体的图像进行拍摄的照相机以能够通信的方式连接，并接受由所述照相机拍摄到的所述图像的输入；存储器，其构成为除了规定的指示命令之外，还存储由
所述输入输出接口接受的所述图像；以及处理器，其构成为通过执行存储于所述存储器的所述规定的指示命令，来进行从存储于所述存储器的所述图像去除所述图像所包含的雾影的处理”。
12.根据本公开的一个方式，提供“一种处理装置，包括：输入输出接口，其构成为与对至少包含口腔内的被摄体的图像进行拍摄的照相机以能够通信的方式连接，并接受由所述照相机拍摄到的所述图像的输入；存储器，其构成为除了规定的指示命令之外，还存储由所述输入输出接口接受的所述图像；以及处理器，其构成为通过执行存储于所述存储器的所述规定的指示命令，来对所述图像进行超分辨率处理，以提高存储于所述存储器的所述图像的分辨率”。
13.根据本公开的一个方式，提供“一种处理程序，使包括输入输出接口和存储器的计算机作为处理器发挥功能，所述输入输出接口与对至少包含口腔内的被摄体的图像进行拍摄的照相机以能够通信的方式连接，所述存储器构成为存储所述图像，所述处理器构成为接受由所述照相机拍摄到的所述图像的输入，存储由所述输入输出接口接受的所述图像，基于存储于所述存储器的所述图像来确定所述图像所包含的所述被摄体中的规定的区域，进行用于以能够识别所确定的所述规定的区域的方式处理所述图像的处理”。
14.根据本公开的一个方式，提供“一种处理方法，是在包括输入输出接口和存储器的计算机中，处理器执行所述指示命令而进行的处理方法，所述输入输出接口与对至少包含口腔内的被摄体的图像进行拍摄的照相机以能够通信的方式连接，所述存储器构成为除了存储规定的指示命令之外还存储所述图像，所述处理方法包括如下步骤：接受由所述照相机拍摄到的所述图像的输入；存储由所述输入输出接口接受的所述图像；基于存储于所述存储器的所述图像来确定所述图像所包含的所述被摄体中的规定的区域；以及以能够识别所确定的所述规定的区域的方式对所述图像进行处理”。
15.根据本公开的一个方式，提供“一种处理系统，包括：拍摄装置，其构成为拍摄至少包含口腔内的被摄体的图像；以及上述记载的处理装置”。
16.发明效果
17.根据本公开，能够提供适合于对为了用于口腔内的诊断而拍摄口腔内得到的图像进行处理的处理装置、处理程序、处理方法以及处理系统。
18.此外，上述效果只不过是为了便于说明的例示性的效果，并不是限定性的效果。在上述效果的基础上，或者代替上述效果，也能够起到本公开中记载的任何效果、也能够起到对本领域技术人员来说明显的效果。
附图说明
19.图1是表示本公开的一实施方式的处理系统1的使用状态的图。
20.图2是本公开的一实施方式的处理系统1的示意图。
21.图3是表示本公开的一实施方式的处理系统1的结构的框图。
22.图4是表示本公开的一实施方式的拍摄装置200的上表面的结构的示意图。
23.图5是表示本公开的一实施方式的拍摄装置200的截面的结构的示意图。
24.图6是表示在本公开的一实施方式的处理装置100中执行的处理流程的图。
25.图7是表示在本公开的一实施方式的处理装置100中执行的处理流程的图。
26.图8是表示与本公开的一实施方式的已学习模型的生成有关的处理流程的图。
27.图9是表示与本公开的一实施方式的已学习模型的生成有关的处理流程的图。
28.图10是表示与本公开的一实施方式的已学习模型的生成有关的处理流程的图。
29.图11是表示在本公开的一实施方式的处理装置100上显示的画面的示例的图。
30.图12是表示在本公开的一实施方式的处理装置100上显示的画面的示例的图。
31.图13是表示在本公开的一实施方式的处理装置100上显示的画面的示例的图。
32.图14是表示在本公开的一实施方式的处理装置100上显示的画面的示例的图。
33.图15是表示在本公开的一实施方式的处理装置100上显示的画面的示例的图。
34.图16是表示在本公开的一实施方式的处理装置100上显示的画面的示例的图。
35.图17是表示在本公开的一实施方式的处理装置100上显示的画面的示例的图。
36.图18是表示在本公开的一实施方式的处理装置100上显示的画面的示例的图。
37.图19是表示通过本公开的一实施方式的处理装置100获得的图像的示例的图。
38.图20是表示通过本公开的一实施方式的处理装置100获得的图像的示例的图。
39.图21是表示通过本公开的一实施方式的处理装置100获得的图像的示例的图。
40.图22是表示通过本公开的一实施方式的处理装置100获得的图像的示例的图。
41.图23是表示通过本公开的一实施方式的处理装置100获得的图像的示例的图。
42.图24是表示本公开的一实施方式的图像输出的示例的图。
43.图25是表示本公开的其他实施方式的处理系统1的结构的框图。
具体实施方式
44.参照附图对本公开的各种实施方式进行说明。另外，对附图中的共同的构成要素标注相同的参照符号。
45.＜第一实施方式＞
46.1.处理系统1的概要
47.本公开的处理系统1主要用于拍摄受试者的口腔内部而得到被摄体图像。特别是，该处理系统1用于拍摄口腔的喉口深处周边、具体而言是咽部。因此，以下主要对将本公开的处理系统1用于咽部拍摄的情况进行说明。但是，咽部是拍摄部位的一例，当然，只要是口腔内，即使是扁桃体等其他部位，也能够适当地使用本公开的处理系统1。
48.作为一例，本公开的处理系统1用于根据拍摄包含对象者的口腔的咽部区域的被摄体而得到的图像来确定图像中包含的区域。由处理系统1拍摄并确定了区域的图像例如用于医生判定患有流感的可能性。在此，患有流感的可能性通过对对象者的咽部、扁桃体区域进行诊察、或判断在咽部区域有无滤泡等表现来进行。因此，作为一例，处理系统1能够确定所得到的图像中的咽部、扁桃体、发现滤泡的区域。此外，流感的患病可能性的判定为一例，当然，只要是判定因患病而在口腔内表现出差异的疾病，则均可适当使用。作为这样的疾病的一例，可举出溶连菌感染症、腺病毒感染症、eb病毒感染症、支原体感染症、动脉硬化等。
49.此外，在本公开中，使用针对疾病的“判定”、“诊断”等用语，但这些未必意味着由医生进行的确定的判定、诊断。例如，当然也可以包括由拍摄对象自己使用本公开的处理系统1，或者由医生以外的使用者使用，由处理系统1所包含的处理装置100进行判定或诊断。
50.图1是表示本公开的一实施方式的处理系统1的使用状态的图。根据图1，本公开的处理系统1包括处理装置100和拍摄装置200。使用者将辅助器具300插入对象者的口腔710，以被插入的辅助器具300覆盖的方式将拍摄装置200插入到其内部。因此，拍摄装置200用于拍摄口腔710的内部。具体而言，首先，处理系统1的拍摄装置200由使用者(既存在对象者700自己的情况，也存在与对象者700不同的人的情况)将辅助器具300插入口腔710内。此时，辅助器具300的前端通过门牙711而插入至软腭713附近。然后，在辅助器具300被插入到口腔710内的状态下，将拍摄装置200从前端插入到辅助器具300内。因此，拍摄装置200通过门牙711而插入至软腭713附近。此时，利用辅助器具300(作为压舌板发挥功能)将舌头714向下方按压而限制舌头714的动作，并且利用辅助器具300的前端将软腭713向上方按压。由此，确保拍摄装置200的良好的视野，拍摄位于拍摄装置200的前方的咽部715。
51.将所拍摄的被摄体图像(咽部715的图像)从拍摄装置200发送至以能够进行有线通信的方式连接的处理装置100。接收到被摄体图像的处理装置100的处理器对存储在处理装置100的存储器中的程序进行处理，由此根据被摄体图像进行区域的确定，将其结果输出到显示器等。
52.另外，如图1所示，拍摄装置200的前端部分被插入到对象者的咽部附近。因此，该前端部分受到对象者的呼吸的影响而强烈受到前端部分的雾影、由雾影引起的光的扩散等的影响。因此，有时得到的图像成为白色雾影的状态图像。此外，如图1所示，拍摄装置200通过门牙711的附近，插入到舌头714附近。因此，有可能由于门牙711、舌头714的动作而阻碍稳定的拍摄。另外，在咽部715附近，不仅咽部715，软腭713、舌头714等各种区域也接近，焦点的调整等有可能困难。因此，有时所得到的图像变得不清晰。因此，处理系统1能够执行雾影去除处理、超分辨率处理等清晰化处理。
53.2.处理系统1的结构
54.图2是本公开的一实施方式的处理系统1的示意图。根据图2，处理系统1包括处理装置100和以能够通过有线通信的方式与该处理装置100连接的拍摄装置200。处理装置100接受使用者的操作输入，控制拍摄装置200的拍摄。另外，处理装置100对由拍摄装置200拍摄到的被摄体图像进行处理，确定图像所包含的咽部、滤泡的区域。并且，处理装置100以能够识别的方式输出所确定的区域，使得使用者、对象者等能够确认。
55.拍摄装置200的至少前端插入到对象者的口腔内，对口腔内、特别是咽部进行拍摄。关于其具体的拍摄处理，在后面叙述。所拍摄的被摄体图像经由有线电缆被发送到处理装置100。
56.图3是表示本公开的一实施方式的处理系统1的结构的框图。根据图3，处理系统1包括：处理装置100，其包括处理器111、存储器112、操作输入接口113、显示器114和输入输出接口115；以及拍摄装置200，其包括照相机211和光源212。这些各构成要素相互经由控制线以及数据线而相互电连接。此外，处理系统1不需要具备图3所示的全部构成要素，也可以省略一部分而构成，也可以添加其他构成要素。例如，处理系统1能够包括用于驱动各构成要素的电池、用于将由处理系统1处理的结果向外部发送或接收来自外部的指示命令的通信接口等。
57.处理器111作为基于存储于存储器112的程序来进行处理系统1的其他构成要素的控制的控制部发挥功能。处理器111根据存储器112中存储的程序，控制照相机211的驱动、
光源212的驱动，并且将从拍摄装置200接收到的被摄体图像存储在存储器112中，对所存储的被摄体图像进行处理。具体而言，处理器111基于存储于存储器112的程序来执行如下处理等：接受使用者对操作输入接口113的指示输入，将光源212接通而指示照相机211的拍摄的处理；用于接受由拍摄装置200拍摄到的被摄体图像的输入的处理；用于将由输入输出接口115接受的被摄体图像存储于存储器112的处理；用于基于存储于存储器112的被摄体图像来确定该被摄体图像所包含的被摄体中的规定的区域的处理；用于以能够识别所确定的规定的区域的方式处理被摄体图像的处理；用于使被摄体图像清晰化的处理；以及用于将以能够识别所确定的特定的区域的方式处理后的被摄体图像输出至显示器114的处理。处理器111主要由一个或多个cpu构成，但也可以适当组合gpu等。
58.存储器112由ram、rom、非易失性存储器、hdd等构成，作为存储部发挥功能。存储器112将用于本实施方式的处理系统1的各种控制的指示命令作为程序进行存储。具体而言，存储器112存储用于使处理器111执行如下处理的程序：接受使用者对操作输入接口113的指示输入，将光源212接通而指示照相机211的拍摄的处理；用于接受由拍摄装置200拍摄到的被摄体图像的输入的处理；用于将由输入输出接口115接受的被摄体图像存储于存储器112的处理；用于基于存储于存储器112的被摄体图像来确定该被摄体图像所包含的被摄体中的规定的区域的处理；用于以能够识别所确定的规定的区域的方式处理被摄体图像的处理；用于使被摄体图像清晰化的处理；以及用于将以能够识别所确定的特定的区域的方式处理后的被摄体图像输出到显示器114的处理等。另外，存储器112除了该程序以外，还将与包含对象者700的对象者相关的各种信息(对象者识别信息等)、由拍摄装置200的照相机211拍摄到的被摄体图像、进行了清晰化处理或区域确定处理的被摄体图像等与对象者识别信息对应起来进行存储。另外，存储器112根据情况而存储清晰化处理或区域确定处理中所使用的各已学习模型。此外，存储器112也可以使用以能够通信的方式与外部连接的存储介质，或者组合使用这样的存储介质。
59.操作输入接口113作为接受使用者对处理装置100以及拍摄装置200的指示输入的操作输入部发挥功能。作为操作输入接口113的一例，如图2所示，可举出用于指示拍摄装置200的录像的开始/结束的“拍摄按钮”、用于进行各种选择的“确定按钮”、用于返回到前画面或取消输入的确定操作的“返回/取消按钮”、用于进行显示于显示器114的图标等的移动的十字键按钮、用于进行处理装置100的电源的接通断开的接通断开键等。另外，在操作输入接口113中，也可以使用与显示器114重叠设置且具有与显示器114的显示坐标系对应的输入坐标系的触摸面板。基于触摸面板的使用者的指示输入的检测方式可以是静电电容式、电阻膜式等任意方式。
60.显示器114作为用于显示由拍摄装置200拍摄到的被摄体图像、或输出由处理器111判定出的结果的显示部发挥功能。由液晶面板构成，但不限于液晶面板，也可以由有机el显示器、等离子体显示器等构成。
61.输入输出接口115作为输入输出部发挥功能，该输入输出部用于对通过有线或无线连接的拍摄装置200接受与拍摄开始等关联的各种命令、由拍摄装置200拍摄到的图像数据的输入输出。作为输入输出接口115的一例，可举出usb、scsi等有线通信用连接器、bluetooth(注册商标)、红外线等无线通信用收发设备、印刷安装基板、柔性安装基板用的各种连接端子等各种接口。例如在图2的例子中，从拍摄装置200延伸的有线电缆与作为usb
端子的输入输出接口115连接。由输入输出接口115接受的被摄体图像的图像数据在处理器111的控制下被存储在存储器112中。
62.照相机211根据来自处理装置100的指示而被驱动，作为检测由作为被摄体的口腔反射的反射光而生成被摄体图像的拍摄部发挥功能。照相机211为了检测该光，作为一例而具备cmos图像传感器、用于实现所希望的功能的透镜系统和驱动系统。图像传感器不限于cmos图像传感器，也可以使用ccd图像传感器等其他传感器。虽然未特别图示，但照相机211能够具有自动对焦功能，例如优选设定为焦点在透镜的正面与特定区域一致。另外，照相机211可以具有变焦功能，优选设定为根据咽部或流感滤泡的尺寸以适当的倍率进行拍摄。
63.在本实施方式中，照相机211插入对象者的口腔内，用于拍摄位于该口腔的深处的咽部，因此照相机211与被摄体的距离比较近。因此，照相机211具有根据[(从照相机211的前端部到咽部后壁的距离)*tanθ]计算出的值为垂直20mm以上以及水平40mm以上的视场角(2θ)。通过使用具有这样的视场角的照相机，即使照相机211与被摄体接近，也能够进行更宽范围的拍摄。因此，照相机211可以使用通常的照相机，但也可以使用被称为所谓的广角照相机或超广角照相机的照相机。
[0064]
另外，在本实施方式中，由照相机211拍摄的流感滤泡形成于口腔内的咽部。通常，咽部在进深方向上形成得较深，因此，若景深较浅，则焦点在咽部前部与咽部后部之间偏移，难以得到适合用于处理装置100、由医师进行判定的被摄体图像。因此，照相机211具有至少20mm以上、优选30mm以上的景深。通过使用具有这样的景深的照相机，能够得到从咽部前部到咽部后部在任意区域都有焦点的被摄体图像。
[0065]
光源212根据来自处理装置100的指示而被驱动，作为用于向口腔内照射光的光源部发挥功能。光源212包括一个或多个光源。在本实施方式中，光源212由一个或多个led构成，从各led向口腔方向照射具有规定的频带的光。光源212使用具有紫外光波段、可见光波段、红外光波段中的所希望的波段的光、或者它们的组合。特别是，通过对流感滤泡照射紫外光波段的短波长波段的光，流感滤泡的特定成分发生反应，因此能够更可靠地进行疾病可能性的判定。
[0066]
另外，在本实施方式中，对处理装置100和拍摄装置200通过有线电缆可通信地连接的情况进行了说明。但是，当然不限于此，两者也可以通过无线通信连接。
[0067]
图4是表示本公开的一实施方式的拍摄装置200的上表面的结构的示意图。以下，基于图4对拍摄装置200的具体结构进行说明。根据图4，主体214具备基端220以及前端221，由在与从光源212照射光的方向大致平行的方向上具有规定长度的长度的柱状体构成。并且，主体214的至少前端221被插入到口腔。
[0068]
主体214形成为截面为正圆的中空的圆筒形的柱状。其壁部224只要是能够向其内部导光的材料即可，作为一个例子，能够使用热塑性树脂而得到。热塑性树脂可以使用链状聚烯烃系树脂(聚丙烯系树脂等)、环状聚烯烃系树脂(降冰片烯系树脂等)之类的聚烯烃系树脂、三乙酰纤维素、二乙酰纤维素之类的纤维素酯系树脂、聚酯系树脂、聚碳酸酯系树脂、(甲基)丙烯酸系树脂、聚苯乙烯系树脂、或它们的混合物、共聚物等。即，主体214作为用于将从光源照射的光向口腔内或扩散板方向导光的导光体发挥功能。
[0069]
主体214形成为中空，因此通过壁部224在其内表面形成收纳空间223。在该收纳空间223收纳有照相机211。另外，主体214只要形成为具有收纳空间223的柱状即可。因此，收
纳空间223不需要具有截面为正圆的圆筒形，也可以是截面为椭圆或多边形。另外，主体214的内部不一定需要形成为中空。
[0070]
在此，作为一例，在与对象者的门牙的位置关系中确定主体214的长度。图13是表示本公开的一实施方式的对象者7的截面的概略图。具体而言，是表示一般的对象者7的口腔附近的截面的图。根据图13，对象者7从门牙711朝向喉深处方向形成口腔，在其最深部具有成为被摄体的咽部715。因此，拍摄装置200为了拍摄咽部715，将其前端插入到软腭713附近。对象者7具有从门牙711到软腭713的距离d1。根据“睡眠時無呼吸症候群
における
上気道内径
の
測定
(
睡眠呼吸暂停综合症中的上呼吸道内径的测定
)
(大谷信夫)”j.jpn.bronchoesophagol.soc.(日气食会报)，vol.40，no.5，pp，396-402，距离d1一般为100mm～200mm左右。
[0071]
主体214具有距离d1作为从前端221到基端220的长度。该距离d1为从门牙711到软腭713的距离d1的100％以下，优选为80％以下的长度。通常，当异物被插入喉深处时，会引起呕吐感，另一方面，当主体214短时，照相机211与被摄体之间的距离变得太远。如果是上述的距离d1，则能够防止呕吐感，另一方面，也能够适当地保持与被摄体的距离感。
[0072]
握柄213的前端与主体214的基端220连接。使用者握持该握柄213进行拍摄装置200的插拔等操作。握柄213与使用者的手掌握持时的形状相匹配，具有朝向与主体214连接的前端侧相对变细、朝向位于主体214的相反侧的基端侧弯曲而鼓起的形状。此外，在本实施方式中，具有截面为正圆那样的形状，但不需要是正圆，也可以是椭圆或多边形。
[0073]
在此，作为一例，主体214的与连结主体214的前端221和基端220的方向垂直的方向上的宽度(距离d2)在与对象者的嘴的上下方向的开口宽度的关系中确定。根据图13，对象者7具有距离d2作为嘴的上下方向的开口宽度。根据“日本人成人顎関節健常者
における
最大開口量
についての
統計学的検討(日本人成人鄂关节正常者的最大开口量的统计学研究)(大塚原宏泰等)”日本口腔外科学会杂志，vo.44，no.2，pp159-167，在一般的成年男性的情况下，距离d2平均为3.5cm～4.0cm。
[0074]
拍摄装置200与辅助器具300一起以该距离d2的宽度插入，但使用者需要一边从分别插入的间隙观察口腔内一边进行拍摄。因此，在插入了拍摄装置200的状态下不妨碍使用者的可视性是有益的。因此，主体214的距离d2可以设为口的上下方向的开口宽度即距离d2的80％以下，优选设为60％以下的宽度，或者3.2cm以下，优选设为2.4cm以下。
[0075]
握柄213在主体214的基端220附近具有用于对辅助器具300进行定位的卡合突起217和定位突起218。卡合突起217与设置于辅助器具300的卡合突起相互卡合。另外，定位突起218插入设置于辅助器具300的插入孔，将拍摄装置200与辅助器具300相互定位。此外，在本实施方式中，主体214的卡合突起217的合计4个卡合突起等间隔地配置在握柄213的表面且主体214的基端220附近的位置。另外，在握柄213的表面的卡合突起217之间且主体214的基端220附近的位置配置有一个定位突起218。但是，不限于此，也可以仅配置卡合突起217和定位突起218中的任一方。另外，卡合突起217和定位突起218的个数只要是一个或多个，则可以是任意个数。
[0076]
握柄213包括用于接受来自使用者的操作输入而开始或结束被摄体图像的拍摄的拍摄按钮215。因此，使用者也能够通过处理装置100的操作输入接口113的拍摄按钮进行拍摄的开始和结束的指示，但也能够使用该拍摄按钮215进行拍摄的开始和结束的指示。
[0077]
扩散板219配置于主体214的前端221，使从光源212照射并通过了主体214的光向口腔内扩散。扩散板219具有与主体214的构成为能够导光的部分的截面形状对应的形状。在本实施方式中，主体214形成为中空的圆筒形。因此，扩散板219的截面也与其形状对应地形成为中空状。
[0078]
照相机211用于检测从扩散板219扩散并照射到口腔内并由被摄体反射来的反射光，生成被摄体图像。照相机211配置于在主体214的壁部224的内表面、即主体214的内部形成的收纳空间223。另外，在本实施方式中，仅记载了一个照相机211，但拍摄装置200也可以包含多个照相机。通过使用多个照相机生成被摄体图像，被摄体图像包含与流感滤泡的立体形状相关的信息。由此，能够更准确地确定流感滤泡的区域。另外，在本实施方式中，照相机211配置于主体214的收纳空间223，但也可以配置于主体214的前端221或主体214(既可以是主体214的内部，也可以是主体214的外周上)。
[0079]
图5是表示本公开的一实施方式的拍摄装置200的截面结构的示意图。根据图5，光源212在配置于握柄213的前端侧的基板225上配置合计4个光源212-1～212-4。作为一个例子，光源212分别由led构成，从各led朝向口腔的方向照射具有规定的频带的光。具体而言，从光源212照射的光入射到主体214的基端220，通过主体214的壁部224向扩散板219方向导光。到达扩散板219的光通过扩散板219扩散到口腔内。然后，由扩散板219扩散的光被作为被摄体的咽部715等反射。当反射光到达照相机211时，生成被摄体图像。
[0080]
此外，可以构成为独立地控制光源212-1～212-4。例如，通过使光源212-1～212-4中的一部分发光，能够在被摄体图像中包含具有立体形状的流感滤泡的阴影。由此，被摄体图像包含与流感滤泡的立体形状相关的信息，能够更准确地确定流感滤泡区域。
[0081]
另外，在本实施方式中，光源212-1～212-4配置于主体214的基端220侧，但也可以配置于主体214的前端221或主体214(既可以是主体214的内部，也可以是主体214的外周上)。
[0082]
扩散板219用于防止从光源212照射的光仅照射口腔内的一部分，而生成均匀的光。因此，作为一例，使用在扩散板219的表面形成微细的透镜阵列且具有任意的扩散角度的透镜状的扩散板。另外，代替于此，也可以使用通过在表面随机配置的微细的凹凸来实现光扩散功能的扩散板等能够通过其他方法使光扩散的扩散板。并且，扩散板219也可以与主体214一体地构成。例如，能够通过在主体214的前端部分形成微细的凹凸等方法来实现。
[0083]
另外，拍摄装置的主体214的至少前端221插入口腔内。因此，在拍摄被摄体时受到由对象者的呼吸引起的前端部分的雾影的影响。因此，在处理装置100中能够实施用于去除雾影的影响的清晰化处理。
[0084]
3.在处理装置100中执行的处理流程
[0085]
图6是表示在本公开的一实施方式的处理装置100中执行的处理流程的图。具体而言，图6是表示处理装置100的处理器111基于存储于存储器112的程序以规定周期执行的处理流程的图。
[0086]
当该处理流程开始时，处理器111控制在显示器114上显示首页画面(s111)。这里，图11是表示在本公开的一实施方式的处理装置100上显示的画面的示例的图。具体而言，示出了通过图6的s111的处理显示于显示器114的首页画面的例子。根据图11，在显示器114的大致中心附近，显示有用于转移到接通拍摄装置200的电源来拍摄被摄体图像的拍摄模式
的拍摄模式图标11、和用于转移到将已经拍摄并存储在存储器112等中的被摄体图像等输出到显示器114的图像确认模式的图像确认模式图标12。使用者能够对操作输入接口113进行操作来选择转移到哪个模式。
[0087]
再次返回到图6，处理器111判断是否经由操作输入接口113接受了使用者对拍摄模式图标11或图像确认模式图标12中的任意一个图标的操作输入(s112)。然后，在判断为选择了拍摄模式图标11的情况下(s113)，处理器111转移到拍摄模式，控制接通拍摄装置200的电源，并且将拍摄待机画面输出到显示器114(s114)。对于该拍摄待机画面予以后述。另一方面，在判断为选择了图像确认模式图标12的情况下(s113)，处理器111转移到图像确认模式，控制向显示器114输出图像确认画面(s115)。由此，该处理流程结束。此外，处理器111在s112中判断为没有接受任何操作输入的情况下，该处理流程也直接结束。
[0088]
这里，图12是表示在本公开的一实施方式的处理装置100上显示的画面的示例的图。具体而言，示出了通过图6的s114的处理显示于显示器114的拍摄待机画面的例子。根据图12，在显示器114中，作为拍摄待机画面，显示有由拍摄装置200拍摄并经由输入输出接口115接收到的所谓的取景图像。使用者能够参照该取景图像，对操作输入接口113进行操作输入，进行焦点、视场角、光圈值等的调整或放大缩小等。
[0089]
在图12的拍摄待机画面中，显示有使用者将拍摄装置200的至少前端部分插入对象者的口腔内而作为被摄体的咽部附近的被摄体图像。由此，在被摄体图像中，除了位于插入了拍摄装置200的口腔710内的舌头714、软腭713以外，还显示包含咽部715的被摄体图像。在此，如上所述，在口腔710的拍摄中，由于由对象者的呼气的影响引起的拍摄装置200的前端部分的雾影、由水分引起的来自光源的光的漫反射、局部的光的照射等引起，被摄体图像成为整体白色雾影、或者局部(例如，图12的图像的左上部分)白色雾影的图像。
[0090]
图7是表示在本公开的一实施方式的处理装置100中执行的处理流程的图。具体而言，图7是表示在图6中进行了拍摄待机画面的显示时，处理装置100的处理器111基于存储器112中存储的程序以规定周期执行的处理流程的图。
[0091]
如上所述，当使用者选择拍摄模式并且显示拍摄待机画面时，开始图7的处理流程。当该处理流程开始时，处理器111接受来自操作输入接口113或拍摄装置200的拍摄按钮215的输入，判断是否按下了某个拍摄按钮(s211)。然后，在按下了某个拍摄按钮的情况下，开始拍摄装置200的拍摄(s212)，显示拍摄中画面。具体而言，处理器111控制将由拍摄装置200的照相机211拍摄到的被摄体图像经由拍摄装置200内的输入输出接口和处理装置100内的输入输出接口115输入到处理装置100，并存储到存储器112。
[0092]
另外，这里拍摄的被摄体图像可以是每按下某个拍摄按钮就连拍1张或多张而拍摄的静态图像，也可以是在一定时间内拍摄的动态图像中的任意一个。另外，虽然未特别图示，但在处理装置100中执行一系列的处理的过程中，在操作输入接口113中接受使用者的操作输入，预先进行成为受试者的对象者的输入。因此，处理器111在存储器112中存储所拍摄的被摄体图像时，与所输入的对象者的对象者识别信息或其拍摄日期时间等信息对应起来进行存储。
[0093]
这里，图13是表示在本公开的一实施方式的处理装置100上显示的画面的示例的图。具体而言，图13示出了在通过图7的s212的处理开始拍摄之后显示于显示器114的画面的例子。根据图13，当按下拍摄按钮时，将预先决定的张数(例如30张)汇总并以一定间隔连
拍而进行拍摄，在显示14中显示有当前的拍摄的进展状况(“拍摄中”这样的显示，并且进行意味着拍摄了30张中的第15张的显示)。并且，在显示14的背面显示有在该时间点由拍摄装置200的照相机211拍摄到的被摄体图像。
[0094]
再次返回到图7，当被摄体图像的拍摄结束且所拍摄的各被摄体图像被存储于112时，对各被摄体图像进行清晰化处理。清晰化处理可包含被摄体图像中所含的雾影等各种噪声成分的去除处理、边缘部分的强调处理、超分辨率处理、亮度修正等修正处理、二值化处理等各种处理。在图7中，由于是口腔内的被摄体图像，因此容易成为由呼气引起的雾影所造成的白色雾影的图像。因此，处理器111对存储器112中存储的被摄体图像进行雾影去除处理(s213)。处理器111将进行了雾影去除处理的被摄体图像与对象者识别信息对应起来暂时存储在存储器112中。
[0095]
作为雾影去除处理的一例，可举出处理器111对所得到的被摄体图像执行各像素的像素值、对比度和/或亮度的校正、雾影去除滤波器的应用等处理。另外，也能够对通过将包含雾影的被摄体图像作为雾影学习用图像、并且将不包含雾影的被摄体图像作为良好学习用图像进行学习而生成的已学习雾影去除图像模型应用所得到的被摄体图像来实施雾影去除处理。
[0096]
这里，例如对于拍摄到的被摄体图像有时为了详细确认病变区域而进行放大显示等。但是，有时由于所得到的图像的劣化等原因而变得不清晰，无法充分地进行确认。因此，处理器111对进行了雾影去除处理的被摄体图像进行超分辨率处理(s214)。处理器111将进行了超分辨率处理的被摄体图像与对象者识别信息对应起来暂时存储在存储器112中。
[0097]
作为超分辨率处理的一例，可举出利用了图像的自相关的单图像超分辨率处理、通过推定多个图像间的微细的位置的偏移并进行各像素间的插补而进行的多个图像超分辨率处理等。另外，也能够通过对将高分辨率图像作为高分辨率学习用图像、并且将通过对该高分辨率学习用图像进行劣化处理而得到的图像作为低分辨率学习用图像进行学习而生成的已学习超分辨率图像模型，应用所得到的被摄体图像来实施超分辨率处理。
[0098]
另外，在本实施方式中，按照雾影去除处理、超分辨率处理的顺序进行了处理，但该处理的顺序不限于此。例如，可以颠倒该顺序，也可以适当组合其他处理来实施。
[0099]
接着，处理器111对进行了超分辨率处理的被摄体图像进行区域确定处理(s215)。然后，处理器111除了存储于存储器112的区域确定处理前的被摄体图像之外，还将进行了区域确定处理并以能够识别所确定的区域的方式附加了标签的被摄体图像分别与对象者识别信息对应起来存储于存储器112。
[0100]
作为区域确定处理的一例，可举出医生等经由操作输入接口113进行的标签赋予处理、基于保持按预先确定的每个区域存储的特征量数据库而得到的被摄体图像中的特征量来赋予标签的处理等。另外，也可以将所得到的被摄体图像作为学习用图像，并且将通过对该学习用图像进行上述的区域确定处理而得到的各区域的位置信息作为学习用位置信息进行学习而生成的已学习区域确定图像模型应用所得到的被摄体图像，由此实施区域确定处理。此外，在本实施方式中，主要对确定咽部和滤泡的区域的情况进行了说明，但在确定扁桃体、其他区域的情况下也进行同样的处理。
[0101]
接着，处理器111进行用于向显示器114分别输出进行了上述处理的被摄体图像的处理(s216)。另外，向显示器114的显示是输出处理的一例，也可以采用其他的输出方法。作
为输出的其他例子，既可以向通过有线/无线连接的外部的显示装置、打印机输出，也可以向通过有线/无线连接的其他终端装置、服务器装置发送。
[0102]
这里，图14是表示在本公开的一实施方式的处理装置100上显示的画面的示例的图。具体而言，图14示出了通过图7的s216的处理结束各种处理后显示于显示器114的一览画面的例子。根据图14，通过按下拍摄按钮而得到的30张被摄体图像按照其拍摄顺序在显示器114上各显示4张。另外，在显示器114的右侧，分别显示有完成图标15、重新拍摄图标16、下一页图标17、前一页图标18。完成图标15用于将暂时存储在存储器112中的各被摄体图像与对象者识别信息对应起来存储在存储器112的hdd或闪存等中，并转移到待机到再次检测到拍摄按钮的按下为止的状态。重新拍摄图标16用于从存储器112中删除暂时存储在存储器112中的各被摄体图像，然后转移到待机至检测到拍摄按钮的按下为止的状态。下一页图标17和前一页图标18用于将各显示4张的一系列被摄体图像转移到显示下4张或前4张被摄体图像的状态。这些各图标通过在操作输入接口113中接受使用者的操作输入而被选择。
[0103]
此外，也如图14所示，在该一览画面中显示执行了图7的雾影去除处理(s213)、超分辨率处理(s214)之后的被摄体图像。因此，各图像成为进行了高分辨率的雾影去除的图像。在一览画面中，也可以不显示高分辨率的图像本身，而显示低分辨率的图像。
[0104]
图15是表示在本公开的一实施方式的处理装置100上显示的画面的示例的图。具体而言，图15示出了使由使用者从图14所示的一览画面中选择的特定的一张被摄体图像显示于显示器114时的画面的例子。图14的一览画面中的被摄体图像的选择通过经由操作输入接口113接受使用者的选择操作来进行。
[0105]
根据图15，在显示器114上显示通过接受使用者的选择操作而选择出的特定的一张被摄体图像、即进行了超分辨率处理和雾影去除处理后的图像。另外，在显示器114的下部，通过操作输入接口113接受来自使用者的操作输入，暂时与被摄体图像重叠地显示选择托盘(tray)23。在该选择托盘23上分别显示完成图标19、重新拍摄图标20、下一页图标21、前一页图标22。这些图标的功能与图14中说明的各图标相同。另外，在选择托盘23中，除了这些图标以外，还显示区域确定图标41。区域确定图标41与当前显示的被摄体图像对应，用于从存储器112读出以能够识别所确定的区域的方式附加了标签的被摄体图像并进行显示。另外，在该一览画面中，通过操作输入接口113接受使用者的操作，从而返回到图14所示的画面。
[0106]
也如图15所示，在该画面中显示执行了图7的雾影去除处理(s213)、超分辨率处理(s214)之后的被摄体图像。另外，处理器111通过利用操作输入接口113接受使用者的放大缩小操作的输入，能够放大缩小所显示的图像。因此，即使在放大了的情况下，也能够显示高精细的被摄体图像。
[0107]
图16是表示在本公开的一实施方式的处理装置100上显示的画面的示例的图。具体而言，图16示出了在图15所示的画面中通过接受使用者对区域确定图标41的选择而显示的画面的例子。根据图16，用于将能够识别通过图7的区域确定处理(s215)确定出的各区域的标签信息与被摄体图像重叠显示。例如，通过区域显示40强调显示被确定为软腭的区域，并且进行通知是“软腭”的区域名显示36。同样地，通过区域显示39强调显示被确定为咽部的区域，并且进行通知是“咽部”的区域名显示35。并且，通过区域显示37和38强调显示被确
定为流感滤泡的区域，并且进行通知是“滤泡”的区域名显示33和34。这样，通过将由区域确定处理确定的各区域以能够识别的方式输出到显示器114，能够进行医生等的顺畅的诊断。另外，在该画面中，通过操作输入接口113接受使用者的操作，从而返回到图15所示的画面。此外，在图16的例子中，对确定咽部、软腭、滤泡等区域的例子进行了说明，但在确定扁桃体等其他区域的情况下也进行同样的处理。
[0108]
再次返回到图7，处理器111根据在各画面中由操作输入接口113接受的使用者的操作输入，进行用于将暂时存储在存储器112中的各被摄体图像与对象者识别信息对应起来存储在存储器112的hdd或闪存等中、或者不进行存储而进行删除的处理(s217)。然后，该处理流程结束。
[0109]
这里，图17是表示在本公开的一实施方式的处理装置100上显示的画面的示例的图。具体而言，示出了在图6的s115中转移到图像确认模式并将图像确认画面显示于显示器114的情况下的例子。根据图17，显示拍摄顺序最新的对象者的被摄体图像的一览画面。通过从存储器112提取与对象者识别信息对应的一系列图像而读出这些图像。因此，在该画面的上部显示由与所显示的被摄体图像对应的对象者识别信息确定的对象者名(患者：a)28。另外，在显示器114的右侧分别显示有下一个患者图标24、上一个患者图标25、下一个图像图标26、上一个图像图标27。下一个患者图标24和上一个患者图标25用于显示与当前显示的对象者的前后所存储的对象者相对应地存储的一系列的被摄体图像。下一个图像图标26以及上一个图像图标27用于将各显示4张的一系列的被摄体图像转移到显示接下来的4张或者之前的4张被摄体图像的状态。通过在操作输入接口113中接受使用者的操作输入来选择这些各图标。
[0110]
另外，也如图17所示，在该一览画面中显示在进行了雾影去除处理、超分辨率处理之后存储的被摄体图像。在一览画面中，也可以不显示高分辨率的图像本身，而显示低分辨率的图像。
[0111]
图18是表示在本公开的一实施方式的处理装置100上显示的画面的示例的图。具体而言，图18示出了将使用者从图17所示的一览画面中选择的特定的一张被摄体图像显示于显示器114时的画面的例子。图17的一览画面中的被摄体图像的选择通过经由操作输入接口113接受使用者的选择操作来进行。
[0112]
根据图18，将通过接受使用者的选择操作而选择出的特定的一张被摄体图像显示于显示器114。另外，在显示器114的下部，通过操作输入接口113接受来自使用者的操作输入，暂时与被摄体图像重叠地显示选择托盘32。在该选择托盘32上分别显示下一个患者图标28、上一个患者图标29、下一个图像图标30、上一个图像图标31。这些图标的功能与图17中说明的各图标相同。另外，在选择托盘32中，除了这些图标以外，还显示区域确定图标42。区域确定图标41与当前显示的被摄体图像对应，用于从存储器112读出以能够识别所确定的区域的方式附加了标签的被摄体图像并进行显示。另外，在该一览画面中，通过操作输入接口113接受使用者的操作，从而返回到图14所示的画面。
[0113]
如图18所示，在该画面上显示在进行了雾影去除处理、超分辨率处理之后存储的被摄体图像。另外，处理器111通过利用操作输入接口113接受使用者的放大缩小操作的输入，能够放大缩小所显示的图像。因此，即使在放大了的情况下，也能够显示高精细的被摄体图像。
[0114]
另外，当接受了针对区域确定图标42的选择操作输入时，在显示器114上显示以能够识别所确定的区域的方式附加了标签的被摄体图像。该画面与图16相同，因此省略其说明。
[0115]
图24是表示本公开的一实施方式的图像输出的示例的图。具体而言，图24示出了从输入输出接口115对通过有线或无线连接的其他处理装置输出被摄体图像和与其对应地存储的各种信息的情况下的例子。在图24的例子中，在其他处理装置中，按每个对象者识别信息，除了被摄体图像以外，还存储其拍摄日、医生们的意见信息、登记记录等，并作为电子病历而输出。然后，根据图24，在其他处理装置的显示器上显示拍摄的日期和在该日期拍摄的被摄体图像43以及44，除了医生等能够阅览之外，除了该被摄体图像之外，还显示医生们的意见信息、用药记录信息等。
[0116]
4.已学习图像模型的生成所涉及的处理流程
[0117]
图8是表示与本公开的一实施方式的已学习模型的生成有关的处理流程的图。具体而言，图8是用于生成在图7的s213中使用的已学习雾影去除图像模型的处理。该处理流程可以由处理装置100的处理器111执行，也可以由其他处理装置的处理器执行。
[0118]
根据图8，执行取得由拍摄装置200拍摄到的包含雾影的被摄体图像作为雾影学习用图像的步骤(s311)。执行取得另行由拍摄装置200拍摄到的不含雾影的良好的被摄体图像作为良好学习用图像的步骤(s312)。另外，良好学习用图像的取得使用与雾影学习用图像分开拍摄的被摄体图像，但也可以通过对雾影学习用图像进行各像素的像素值、对比度和/或亮度的校正、应用雾影去除滤波器等的雾影去除处理来取得。
[0119]
当分别得到雾影学习用图像和良好学习用图像时，执行使用两个学习用图像进行雾影去除图案的机器学习的步骤(s313)。作为该机器学习的一例，将雾影学习用图像和良好学习用图像的组提供给组合神经元而构成的神经网络，一边调整各神经元的参数一边重复学习，使得神经网络的输出与良好学习用图像相同。然后，执行取得已学习的雾影去除图像模型(例如神经网络和参数)的步骤(s314)。所取得的已学习雾影去除模型也可以存储在处理装置100的存储器112、经由无线通信与处理装置100连接的其他处理装置内。然后，通过在处理装置100或其他处理装置中执行所存储的已学习雾影去除模型，来执行图7所示的被摄体图像的雾影去除处理(s213)。
[0120]
图19和图20是表示由本公开的一实施方式的处理装置100获得的图像的示例的图。具体而言，图19示出了由拍摄装置200拍摄并进行雾影去除处理之前的被摄体图像。另外，图20示出了使用已学习雾影去除模型对图19的图像进行雾影去除处理后的被摄体图像。根据图19，在雾影去除处理前的被摄体图像中，由于对象者的呼气、呼气中包含的水分引起的光的漫反射、光相对于特定部分的集中，成为整体或一部分发白的雾影的图像。而且，由此成为口腔咽部附近的可视性差的图像。另一方面，根据图20，通过已学习雾影去除模型对图19的图像进行的雾影去除处理，雾影被去除，软腭及其深处的咽部的可视性被明显改善。
[0121]
另外，在得到图20的雾影去除处理后的被摄体图像时，已学习雾影去除模型是通过将100张雾影学习用图像和100张良好学习用图像提供给神经网络进行机器学习而生成的。
[0122]
图9是表示与本公开的一实施方式的已学习模型的生成有关的处理流程的图。具
体而言，图9是用于生成在图7的s214中使用的已学习超分辨率图像模型的处理。该处理流程可以由处理装置100的处理器111执行，也可以由其他处理装置的处理器执行。
[0123]
根据图9，执行取得包含咽部的被摄体的高分辨率图像作为高分辨率学习用图像的步骤(s411)。接着，执行对所取得的高分辨率学习用图像进行缩放处理、雾影处理等劣化处理的步骤(s412)。然后，进行取得作为该执行的结果而得到的劣化处理后的图像作为低分辨率学习用图像的步骤(s413)。
[0124]
当分别得到高分辨率学习用图像和低分辨率学习用图像时，执行使用两个学习用图像进行超分辨率图案的机器学习的步骤(s414)。作为该机器学习的一例，将高分辨率学习用图像和低分辨率学习用图像的组提供给组合神经元而构成的神经网络，一边调整各神经元的参数一边重复学习，使得神经网络的输出与高分辨率学习用图像相同。然后，执行取得已学习的超分辨率图像模型(例如神经网络和参数)的步骤(s415)。所获取的已学习超分辨率图像模型可以存储在处理装置100的存储器112中或经由无线通信连接到处理装置100的另一处理装置中。然后，通过在处理装置100或其他处理装置中执行所存储的已学习超分辨率图像模型，来执行图7所示的被摄体图像的超分辨率处理(s214)。
[0125]
图21和图22是表示由本公开的一实施方式的处理装置100获得的图像的示例的图。具体而言，图21示出了由拍摄装置200拍摄并进行超分辨率处理之前的被摄体图像及其局部放大图像。另外，图22表示使用已学习超分辨率图像模型对图21的图像进行超分辨率处理后的被摄体图像及其局部放大图像。根据图21，在超分辨率处理前的被摄体图像中，根据其局部放大图像也可知，各区域的边界部分不清晰。另一方面，根据图22，通过已学习超分辨率图像模型对图21的图像进行的超分辨率处理，从该局部放大图像也可知，各区域的边界部分的不清晰度被消除，改善到在放大时也能够清晰地掌握边界的程度。
[0126]
另外，在得到图22的超分辨率处理后的被摄体图像时，已学习超分辨率图像模型通过将500张高分辨率学习用图像和对该图像进行劣化处理而得到的500张低分辨率学习用图像提供给神经网络并进行机器学习而生成。
[0127]
图10是表示与本公开的一实施方式的已学习模型的生成有关的处理流程的图。具体而言，图10是用于生成在图7的s215中使用的已学习区域确定图像模型的处理。该处理流程可以由处理装置100的处理器111执行，也可以由其他处理装置的处理器执行。
[0128]
根据图10，执行取得包含咽部的被摄体的被摄体图像作为学习用图像的步骤(s511)。接着，针对所取得的学习用图像，执行例如基于医生的操作输入对咽部、滤泡等的诊断中的关注区域进行标签赋予处理的步骤(s512)。然后，进行取得作为该执行的结果而得到的标签的位置信息作为学习用位置信息的步骤(s513)。
[0129]
当分别得到学习用图像和学习用位置信息时，执行使用它们进行区域确定图案的机器学习的步骤(s514)。作为该机器学习的一例，将学习用图像和学习用位置信息的组提供给组合神经元而构成的神经网络，一边调整各神经元的参数一边重复学习，使得神经网络的输出与学习用位置信息相同。然后，执行取得已学习的区域确定图像模型(例如神经网络和参数)的步骤(s515)。所取得的已学习区域确定图像模型也可以存储在处理装置100的存储器112、经由无线通信与处理装置100连接的其他处理装置内。然后，通过在处理装置100或其他处理装置中执行所存储的已学习区域确定图像模型，来执行图7所示的被摄体图像的区域确定处理(s215)。
[0130]
图23是表示由本公开的一实施方式的处理装置100获得的图像的示例的图。具体而言，图23示出了在对由拍摄装置200拍摄到的被摄体图像进行了雾影去除处理以及超分辨率处理之后，使用已学习区域确定图像模型进行区域确定处理，以能够识别的方式输出所确定的各区域的被摄体图像。根据图23，通过使用已学习区域确定模型，能够分别确定咽部、滤泡等区域。另外，在图10的例子中，作为关注区域，仅举出了咽部和滤泡，但除此以外，也能够确定扁桃体、舌头等部位、气泡、唾液等随机生成的区域。
[0131]
另外，在得到图23的区域确定处理后的被摄体图像时，已学习区域确定图像模型是通过将1300张学习用图像和对这些1300张进行区域确定处理而得到的各被摄体图像中的学习用位置信息提供给神经网络来进行机器学习而生成的。
[0132]
这样，在本实施方式中，能够提供适合于为了用于口腔内的诊断而对拍摄口腔内而得到的图像进行处理的处理装置、处理程序、处理方法以及处理系统。另外，由于根据对口腔内进行拍摄而得到的图像来确定咽部、扁桃体等区域并将它们以能够识别的方式输出，因此能够适合于医生们的诊断。另外，在容易受到呼气的影响、牙齿、舌头等的运动的影响的口腔内的拍摄中，通过进行雾影去除处理、超分辨率处理，能够改善可视性。
[0133]
＜其他实施方式＞
[0134]
在上述的实施方式中，对处理装置100和拍摄装置200通过有线电缆以能够通信的方式连接的情况进行了说明。但是，不限于此，也可以在处理装置100的内部的柔性安装基板或印刷安装基板上一体地安装照相机或光源。图25是表示本公开的其他实施方式的处理系统1的结构的框图。根据图25，处理系统1的处理装置100与上述一实施方式同样地包括处理器111、存储器112、操作输入接口113、显示器114以及输入输出接口115。除此之外，处理装置100还包括照相机116和光源117。这些各构成要素相互经由控制线以及数据线而相互电连接，但照相机116、光源117也经由输入输出接口115而与各构成要素电连接。
[0135]
作为这样的处理装置100的例子，例如可举出智能手机、移动电话终端、平板终端、pda、数码相机终端、可便携游戏机、膝上型电脑终端等带相机的终端装置。在该情况下，照相机116不插入到口腔内的咽部附近，而是配置在门牙的外侧(体外侧)进行口腔内的拍摄。
[0136]
另外，在上述一实施方式中，对处理装置100与拍摄装置200经由有线电缆以能够通信的方式连接的情况进行了说明。但是，不限于此，也可以通过无线通信将两者连接。在该情况下，例如能够将由拍摄装置200拍摄到的被摄体图像发送到远程设置的服务器装置，使服务器装置作为处理装置发挥功能，向其他处理装置的显示器等输出被摄体图像。
[0137]
此外，这些实施方式除了在上述中具体说明的点以外，与在图1～图22中说明的一个实施方式中的结构、处理、顺序相同。因此，省略这些事项的详细说明。
[0138]
也可以将在各实施方式中说明的各要素适当组合，或者将它们置换而构成系统。
[0139]
在本说明书中说明的处理以及步骤不仅能够通过在实施方式中明示地说明的处理以及步骤来实现，还能够通过软件、硬件或者它们的组合来实现。具体而言，本说明书中说明的处理和步骤通过在集成电路、易失性存储器、非易失性存储器、磁盘、光存储器等介质中安装与该处理相当的逻辑来实现。另外，在本说明书中说明的处理以及步骤能够将这些处理、步骤作为计算机程序来安装，并使包括处理装置、服务器装置的各种计算机执行。
[0140]
即使说明了本说明书中说明的处理和步骤由单一的装置、软件、组件、模块执行的主旨，这样的处理或步骤也能够由多个装置、多个软件、多个组件和/或多个模块执行。另
外，即使说明了在本说明书中说明的各种信息被存储在单一的存储器或存储部中的主旨，也能够将这样的信息分散地存储在单一的装置所具备的多个存储器或分散地配置在多个装置中的多个存储器中。进而，在本说明书中说明的软件以及硬件的要素能够通过将它们合并为更少的构成要素或者分解为更多的构成要素来实现。
[0141]
符号说明
[0142]
1处理系统
[0143]
100处理装置
[0144]
200拍摄装置
[0145]
700对象者。