手术支持系统、信息处理设备和程序的制作方法

本公开涉及一种手术支持系统、一种信息处理设备和一种程序。

背景技术：

在手术室中，使用各种相机，例如，内窥镜相机、手术现场相机和手术室相机，并且在手术期间显示并且可以记录通过由这些相机执行的成像而获得的手术图像。记录的手术图像用于验证和确认术后技术，目的是改进技术，并且被医生用于例如学术会议上的演示和讲座。

此外，ptl1公开了一种在手术期间成像时向手术图像自动添加元数据的技术，以提高记录的手术图像的后期编辑效率。

引用列表

专利文献

ptl1：日本未审查专利申请公开号2016-42982

技术实现要素：

本发明要解决的问题

然而，目前还没有充分利用这种手术图像，并且希望进一步利用手术图像。

解决问题的方法

根据本公开，提供了一种手术支持系统，包括：存储器，存储通过使用指示手术期间的危险状况的标签信息作为教师数据来学习手术图像组而获得的确定器；以及预测器，通过使用手术图像作为输入并使用确定器来执行发生危险状况的预测。

此外，根据本公开，提供了一种信息处理设备，包括：存储器，存储通过使用指示手术期间的危险状况的标签信息作为教师数据来学习手术图像组而获得的确定器；以及预测器，通过使用手术图像作为输入并使用确定器来执行发生危险状况的预测。

此外，根据本公开，提供了一种程序，促使计算机执行：存储通过使用指示手术期间的危险状况的标签信息作为教师数据来学习手术图像组而获得的确定器；以及通过使用手术图像作为输入并使用确定器来执行发生危险状况的预测。

本发明的效果

如上所述，根据本公开，可以通过利用手术图像来预测发生危险状况。

应当注意，上述效果不一定是限制性的，除了上述效果之外或代替上述效果，可以实现本文描述的任何效果或由此可理解的任何其他效果。

附图说明

图1是示出根据本公开实施方式的手术支持系统1000的示意性配置的框图；

图2示出了在预测到发生危险状况的情况下显示的包括警报的图像的示例；

图3是示出操作屏幕的显示示例的示图；

图4是示出根据实施方式的服务器10的配置示例的框图；

图5是示出与学习相关的操作的示例的流程图；

图6是示出与危险状况的预测相关的操作的示例的流程图；

图7是示出硬件配置示例的说明图。

具体实施方式

下面，参考附图详细描述本公开的优选实施方式。应当注意，相同的附图标记用于表示本文和附图中具有基本相同功能配置的组件，以省略多余的描述。

此外，在本说明书和附图中，具有基本相同功能配置的组件有时使用相同附图标记之后的不同字母来彼此区分。然而，在不需要特别区分具有基本上相同功能配置的组件的情况下，相同的附图标记单独附于每个组件。

应当注意，按照以下顺序进行描述。

[1.背景]

[2.配置]

[2-1.手术支持系统的总体配置]

[2-2.服务器的配置]

[3.操作]

[4.修改示例]

[4-1.修改示例1]

[4-2.修改示例2]

[4-3.修改示例3]

[5.硬件配置示例]

[6.结论]

[1.背景]

在描述本公开的一个实施方式之前，将首先描述导致创建本公开的一个实施方式的背景。在手术室中，使用各种相机，例如，内窥镜相机、手术现场相机和手术室相机。在手术期间显示并且可以记录通过这些相机执行的成像而获得的手术图像。应当注意，在本说明书中，在不需要区分静止图像和运动图像的情况下，这些图像可以均简单地称为图像。此外，在本说明书中，手术图像这一表达用作包括手术期间获得的静止图像或手术期间获得的运动图像的表达。

目前没有有效利用这种手术图像。因此，本公开提出了一种机制，用于学习多个手术图像(也可以称为手术图像组)，并且使用通过学习获得的确定器来自动预测手术期间可能发生的危险状况，这允许有效地利用手术图像。手术期间可能发生的危险情况可能包括例如意外症状和导致意外症状的事件。应当注意，在本说明书中，由出血、穿孔和医疗事故引起的各种症状、在医疗实践(治疗)之前和之后生命信息发生巨大变化的情况、需要改变外科手术的情况以及由医疗实践引起的其他不便的症状都统称为意外症状。

顺便提及，在用于执行这种学习的机器学习技术中，期望使用适当的教师数据来执行学习，以获得更精确的确定器。作为这样的教师数据，例如，可以想到使用通过标记每个静止图像或运动图像中的每个帧而获得的标记信息。期望根据期望的确定器的性能来准备这种标签信息。

然而，手动执行这种标记是昂贵的，并且非常困难，特别是在手术图像组中包括的手术图像是运动图像或者手术图像组中包括的手术图像的数量大的情况下。在一些情况下，手动执行或通过自动方法执行手术图像的分类或向手术图像添加元数据，但是没有准备能够用作通过学习获得上述确定器的教师数据的适当的标签信息。

因此，创建本实施方式，以着眼于上述情况。根据本实施方式的手术支持系统自动生成指示手术期间的危险状况的标签信息，该标签信息能够用作教师数据。此外，根据本实施方式的手术支持系统可以通过使用生成的标签信息作为教师数据来学习手术图像组，从而获得确定器。此后，根据本实施方式的手术支持系统能够通过使用如此获得的确定器从手术期间输入的手术图像实时预测发生危险状况。在下文中，在本实施方式中，将依次描述实现上述效果的配置和操作。

[2.配置]

[2-1.手术支持系统的总体配置]

图1是示出根据本公开实施方式的手术支持系统1000的示意性配置的框图。根据本实施方式的手术支持系统1000存在于通信网络5、服务器10和手术室20a至20c中，并且包括可以在手术期间使用的手术器械。应当注意，在本说明书中，可以在手术期间使用的装置统称为手术器械，不仅医疗应用的装置称为手术器械，不限于医疗应用的装置(例如，通用装置)也称为手术器械。

通信网络5是用于从耦合到通信网络5的设备发送的信息的有线或无线传输路径。例如，通信网络5可以包括诸如互联网、电话线网络或卫星通信网络等公共线路网络、包括以太网(注册商标)的各种类型的lan(局域网)和wan(广域网)等。此外，通信网络5还可以包括诸如，ip-vpn(互联网协议虚拟专用网络)之类的专用线路网络。

服务器10经由通信网络5耦合到存在于各个手术室20a至20c中的每个手术器械。服务器10可以存在于手术室20a至20c中或者存在于手术室20a至20c所在的医院中，或者可以存在于医院之外。

服务器10从手术室20a至20c中存在的手术器械接收手术图像(静止图像或运动图像)，并累积(记录)手术图像。此外，服务器10还学习累积的手术图像组，从而获得确定器。另外，服务器10通过使用实时接收的手术图像作为输入并使用先前获得的确定器来预测发生危险状况。此外，在预测到发生危险状况的情况下，服务器10使手术器械输出警报，该手术器械存在于手术室20a至20c中从其获取手术图像的手术室中，并且用作输出部。应当注意，稍后将参考图4描述服务器10的详细配置。

如图1所示，存在于每个手术室20a至20c中的外科手术器械的示例包括例如相机201、生命监视器202、编码器203、监视器204、扬声器205、解码器206、照明装置207和电手术刀(能量装置)208。在这些手术器械中，监视器204、扬声器205、照明装置207和电手术刀208可以均用作输出部，该输出部通过使用图像显示、声音、光或振动来输出警告已经预测到发生危险状况的警报。这允许将视觉、听觉或触觉警报输出给卫生保健专业人员，例如，外科医生和手术室工作人员。应当注意，图1所示的手术器械是示例性的，并且手术支持系统1000中可以包括其他手术器械。例如，诸如投影仪(输出部的示例)、双极、手术机器人等手术器械可以包括在手术支持系统1000中。此外，尽管图1仅示出了存在于手术室20a中的手术器械，但是手术器械也类似地存在于手术室20b和手术室20c中。

相机201将通过成像获得的手术图像输出到编码器203。相机201可以包括例如内窥镜相机、手术现场相机和手术室相机。内窥镜相机插入例如患者的体腔中，并获取手术部位的图像。此外，手术现场相机从患者体外获取手术部位的图像。此外，手术室相机例如设置在手术室的天花板上，并且获取整个手术室的图像。应当注意，相机201可以包括其他相机，并且可以包括例如电子显微镜等。

生命监视器202向编码器203输出图像(手术图像的示例)，通过将手术期间由未示出的生命信息测量装置测量的患者的生命信息(例如，心率、呼吸(率)、血压和体温)可视化而获得该图像。

编码器203(实时编码器)将手术期间从相机201和生命监视器202输出的手术图像实时传输到服务器10。

监视器204用作输出部，并显示(输出)由解码器206从服务器10接收的图像。监视器204要显示的图像可以包括由同一手术室中的相机201获取的手术图像。此外，在服务器10预测发生危险状况的情况下，要由监视器204显示的图像可以包括警报，例如，图像可以具有叠加在手术图像上的警报。

图2示出了在服务器10预测发生危险状况的情况下，包括在监视器204上显示的警报的图像的示例。图2中所示的图像v10是在监视器204上显示的图像，并且包括警报a10，该警报a10警告已经预测到发生出血(危险状况的示例)和预测到发生出血的位置。例如，医生确认图2所示的警报a10，并且在识别出可能发生出血的部分之后执行手术，这可以使得可以避免发生出血。

此外，监视器204还可以显示用于提供关于图像显示的指令或用于提供关于手术器械的操作的指令的操作屏幕。在这种情况下，可以在监视器204的显示表面上提供触摸板，这使得用户可以操作触摸板。

图3是示出在监视器204上显示的操作屏幕的示例的示图。图3示例性地示出了在手术室20a中设置有至少两个监视器204作为输出目的地装置的情况下在监视器204上显示的操作屏幕。参考图3，操作屏幕5193设置有发送源选择区域5195、预览区域5197和控制区域5201。

在发送源选择区域5195中，手术支持系统1000中设置的发送源装置和指示发送源装置的显示信息的缩略图屏幕彼此关联地显示。用户能够从在发送源选择区域5195中显示的任何发送源装置中选择用户想要在监视器204上显示的显示信息。

预览区域5197显示作为输出目的地的装置的两个监视器204(监视器1和监视器2)的屏幕预览。在所示的示例中，在一个监视器204中以pinp显示四个图像。这四个图像对应于从发送源选择区域5195中选择的发送源装置传输的显示信息。在这四个图像中，一个图像作为主图像相对较大地显示，其余三个图像作为子图像相对较小地显示。用户能够通过适当选择显示四个图像的区域来切换主图像和子图像。另外，在显示四个图像的区域的下部设置状态显示区域5199，并且可以在区域中适当地显示与手术相关的状态(例如，手术经过的时间、患者的身体信息等)。

控制区域5201设置有发送源操作区域5203和输出目的地操作区域5205，在发送源操作区域5203中显示用于操作发送源装置的gui(图形用户界面)部分，在输出目的地操作区域5205中显示用于操作输出目的地装置的gui部分。在所示的示例中，发送源操作区域5203设置有用于在具有成像功能的发送源装置处对相机执行各种类型的操作(摇摄、倾斜和缩放)的gui部分。用户能够适当地选择这些gui部分来操作发送源装置处的相机的操作。应当注意，尽管省略了图示，但是在发送源选择区域5195中选择的发送源装置是记录器的情况下(即，在预览区域5197中显示过去记录在记录器中的图像的情况下)，发送源操作区域5203可以设置有用于执行图像的回放、回放停止、倒带、前进等操作的gui部分。

此外，输出目的地操作区域5205设置有gui部分，用于在作为输出目的地装置的监视器204上的显示器上执行各种类型的操作(交换、翻转、颜色调节、对比度调节以及2d显示和3d显示之间的切换)。用户能够适当地选择这些gui部分，来操作监视器204上的显示器。

应当注意，监视器204中显示的操作屏幕不限于所示的示例，并且用户能够经由监视器204对手术支持系统1000中设置的每个装置执行输入操作。

扬声器205用作输出部，并通过解码器206输出从服务器10接收的音频。例如，在服务器10预测发生危险状况的情况下，扬声器205输出警告已经预测发生危险状况的音频(警报的示例)。

解码器206从服务器10接收图像和音频，并将图像和音频分别输出到监视器204和扬声器205。

照明装置207是在手术室中使用的照明装置，例如，无影灯。如图1所示，根据本实施方式的照明装置207经由通信网络5耦合到服务器10。此外，根据本实施方式的照明装置207用作输出部，并且根据从服务器10接收的控制信号，输出警告已经预测到发生危险状况的警报。例如，照明装置207可以通过输出具有预定颜色的光或者通过使照明模式不同于正常模式来输出警报。

电手术刀208是用于外科手术的外科工具，并且能够在外科手术中断的同时停止出血，例如，通过向人体施加高频电流。此外，如图1所示，根据本实施方式的电手术刀208经由通信网络5耦合到服务器10。根据本实施方式的电手术刀208用作输出部，并且根据从服务器10接收的控制信号，输出已经预测到发生危险状况的警报。例如，电手术刀208可以通过振动手柄部分来输出警报。

如上所述，在服务器10预测发生危险状况的情况下，输出警告已经预测发生危险状况的警报。结果，例如，通过手术外科医生停止采取导致医疗事故的行动，或者在认识到可能发生出血的部分之后进行手术，可以避免危险状况。

[2-2.服务器的配置]

迄今为止，已经描述了根据本实施方式的手术支持系统1000的配置。随后，将参考图4描述图1所示的服务器10的更详细的配置。图4是示出根据本实施方式的服务器10的配置示例的框图。如图4所示，服务器10是包括控制器110、通信部130和存储器150的信息处理设备。

控制器110用作算术处理单元和控制单元，并根据各种程序控制服务器10的整体操作。此外，如图4所示，控制器110用作通信控制器111、信息获取部112、分类器113、教师数据生成器114、学习部115、预测器116和警报控制器117。

通信控制器111控制由通信部130执行的与另一设备的通信。例如，通信控制器111控制通信部130从图1所示的编码器203接收手术图像。此外，通信控制器111根据稍后将描述的信息获取部112发出的指令，控制通信部130以接收手术属性信息。此外，通信控制器111根据稍后将描述的警报控制器117发出的指令，控制通信部130将用于输出上述警报的图像、音频、控制信号等发送到存在于图1所示的各个手术室20a至20c中的手术器械。

信息获取部112获取(收集)与从编码器203接收的手术图像相对应的手术属性信息(元信息)。信息获取部112可以向通信控制器111输出用于获取手术属性信息的指令，并且从通信控制器111获取根据该指令控制通信部130的通信控制器111接收的手术属性信息。

例如，信息获取部112不仅从包括在图1所示的手术室20a至20c中的手术器械获取多条手术属性信息，还从医院内外未示出的数据库、系统等获取多条手术属性信息，并将多条手术属性信息与相应手术图像相关联。以下是信息获取部112获取的手术属性信息的示例的描述。

手术属性信息可以包括患者信息，例如，患者的年龄、性别、种族、状况等。可以从例如his(医院信息系统)、emr(电子病历，也称为电子病历)等获得患者信息。

手术属性信息还可以包括医生信息，例如，医生的识别信息、医生的姓名、医生所属的医疗机构、医生的毕业学校等。可以从例如ris(放射信息系统，也称为订单系统)、手术计划系统、麻醉机系统或基于互联网的医生信息站点获得医生信息。

手术属性信息还可以包括与手术方法相关的手术方法信息，例如，手术方法的名称(例如，食管切除术、全胃切除术、小肠恶性肿瘤手术、部分肝切除术、胰腺远端切除术、肺叶切除术、tapvr手术、用于清除血肿的开颅术等)、技术过程、技术过程的时间分配等。可以从例如ris、医院中的手术方法数据库或互联网上的手术方法信息站点获得手术方法信息。

手术属性信息还可以包括指示手术器械的状况(例如，使用状态、状态等)的手术器械信息，例如，电手术刀208、手术机器人等。例如，在手术机器人的情况下，手术器械信息可以包括机器人中包括的手臂的关节状况、手臂的姿态等。在电手术刀的情况下，手术器械信息可以包括开/关操作的状态。可以从手术室20a至20c中存在的每个手术器械获取手术器械信息。

由信息获取部112获取的手术属性信息与手术图像相关联，并输出到分类器113和教师数据生成器114。

分类器113基于手术属性信息对手术图像进行分类。例如，分类器113可以基于手术属性信息中包括的手术方法信息，对每种手术方法的手术图像进行分类。然而，通过分类器113对手术图像进行分类的方法不限于这种示例，并且可以基于手术属性信息中包括的各种信息来执行更多样的分类。

分类器113将分类的手术图像和与手术图像的分类相关的信息输出到将在后面描述的教师数据生成器114。这种配置允许教师数据生成器114可以针对由分类器113分类的每个手术图像更有效地生成标签信息作为教师数据。

分类器113还将通过对多个手术图像(静止图像或运动图像)进行分类而获得的多个手术图像组以及与多个手术图像组的分类相关的信息输出到稍后描述的学习部115。这种配置允许学习部115对由分类器113分类的每个手术图像组执行学习，从而提高学习的效率并提高要获得的确定器的性能。应当注意，由分类器113分类的多个手术图像组可以存储在存储器150中。

此外，分类器113将分类的手术图像和与手术图像的分类相关的信息输出到稍后描述的预测器116。这种配置允许预测器116基于手术图像的分类选择确定器并执行预测，从而提高预测精度。

教师数据生成器114基于由分类器113分类的手术图像和由信息获取部112获取的手术属性信息，生成指示手术期间的危险状况的标签信息。由教师数据生成器114生成的标签信息被稍后描述的学习部115用作教师数据。

例如，教师数据生成器114可以通过执行用于检测出血的出血检测、用于检测由于医疗事故导致的返工的返工检测、用于检测执行止血的止血检测等来生成所述标签信息。例如，在检测到出血的情况下，可以生成指示出血的标签信息(危险状况的示例)，并将其添加到已经检测到出血的帧中。此外，在检测到返工的情况下，可以生成指示医疗事故(危险状况的示例)的标签信息，并将其添加到检测到返工的帧或对应于引起返工的医疗事故的帧。此外，在检测到执行止血的情况下，可以生成指示出血(危险状况的示例)的标签信息，并将其添加到已经检测到执行止血的帧中(或者，如果可检测到，则添加到出血期间的帧中)。

例如，教师数据生成器114可以通过图像识别从手术图像中检测红色、液体等的特征量来执行出血检测。

此外，例如，教师数据生成器114可以通过检测场景变化来执行返工检测。可以通过从手术图像中检测图案变化的方法、从手术图像中检测插入和移除内窥镜的方法、或者检测手术图像中识别的手术器械的变化的方法来执行场景变化。

此外，由信息获取部112获取的手术器械信息可以用于检测场景变化。例如，作为手术器械信息，可以使用电手术刀208或双极的使用状态和状态变化、手术机器人的状态、使用期间镊子的变化等。

由信息获取部112获取的手术方法信息可以用于检测场景变化。例如，作为手术方法信息，可以使用与每个手术方法的技术过程的时间分配相关的信息。应当注意，这些信息可以根据患者是成人还是儿童、或者肥胖程度等而不同，因此，可以通过使用由信息获取部112获取的患者信息来选择性地使用或校正外科手术的时间分配。

例如，在手术方法信息中包括的技术过程的时间分配和从手术器械信息估计的技术过程的时间分配之间的差异较大的情况下，教师数据生成器114可以确定已经发生返工。此外，教师数据生成器114可以检测在手术方法信息中包括的技术过程的时间分配和从手术器械信息估计的技术过程的时间分配之间开始出现差异的帧，作为对应于作为返工原因的医疗事故的帧。

此外，教师数据生成器114可以通过检测预先学习的用于止血的外科器械(例如，用于结扎的针和线、电手术刀208等)的特征来检测正在执行止血。例如，在电手术刀208处于凝固模式的情况下，教师数据生成器114能够检测到正在进行止血。

应当注意，教师数据生成器114生成指示手术期间的危险状况的标签信息的方法不限于上述示例。例如，教师数据生成器114可以确定已经发生了医疗事故，并且如果检测到手术图像中包括(收集)的医生数量大于正常数量，则生成指示医疗事故的标签信息。

学习部115通过使用由教师数据生成器114生成的标签信息作为教师数据以学习由分类器113分类的手术图像组，来生成(获取)确定器(学习模型)。学习部115的学习方法没有特别限制，例如，可以通过准备、标签信息和手术图像组彼此相关联的学习数据，并基于多层神经网络将学习数据输入到计算模型来执行学习。或者，也可以使用基于dnn(深层神经网络)的方法，例如，cnn(卷积神经网络)、3d-cnn、rnn(递归神经网络)等。

由学习部115生成的确定器被稍后描述的预测器116用来执行发生危险状况的预测。因此，学习部115学习手术图像组中在添加了指示危险状况的标签信息的帧之前的帧的手术图像，作为导致发生危险状况的手术图像。这种配置允许由学习部115生成的确定器用于在发生危险状况之前预测发生危险状况。

学习部115可以生成多个确定器。如上所述，分类器113可以将多个手术图像分类成多个手术图像组；因此，学习部115可以为每个分类的手术图像组生成确定器。即，可以生成与由分类器113分类的手术图像组的数量相同数量的确定器。

由学习部115生成的多个确定器与和用于生成各个确定器的手术图像组的分类相关的信息相关联地存储在存储器150中。

预测器116通过使用由分类器113分类的手术图像(静止图像或运动图像)作为输入并使用存储在存储器150中的确定器来执行发生危险状况的预测。

如上所述，多个确定器存储在存储器150中。因此，预测器116可以基于由分类器113执行的手术图像的分类，从存储在存储器150中的多个确定器中选择用于预测的确定器。

这样的配置可以促使选择更适合于当前手术的确定器，并且可以提高危险状况的预测精度。应当注意，可以逐帧(frame-by-frame)地执行或者可以仅在手术开始时执行确定器的这种选择，并且在手术期间可以使用相同的确定器。

此外，在预测发生危险状况的情况下，预测器116生成与预测相关的信息(以下称为预测信息)，例如，危险状况的类型(出血、穿孔、医疗事故等)、危险状况的风险程度、预测发生危险状况的位置等。此外，在预测到发生危险状况的情况下，预测器116将生成的预测信息提供给警报控制器117。

在预测器116预测到发生危险状况的情况下，警报控制器117促使基于预测器116提供的预测信息输出警报。如上所述，由存在于预测会发生危险状况的手术室中的手术器械(在图1所示的示例中，监视器204、扬声器205、照明装置207和电手术刀20)输出警报，并且用作输出部。警报控制器117可以为那些输出部生成图像、音频和控制信号，以输出警报，并且向通信控制器111提供所生成的图像、音频和图像信号，从而使得输出警报。

警报控制器117可以根据预测信息输出不同的警报。此外，警报控制器117还可以使对应于预测信息的输出部(手术器械)输出警报。

例如，在预测信息包括危险状况的类型的信息的情况下，警报控制器117可以使得输出包括危险状况的类型的信息的警报。例如，警报控制器117可以生成图像，在该图像中，指示危险状况的类型的信息的警报与手术图像相结合，并且可以使监视器204显示组合图像。此外，警报控制器117可以使扬声器205输出包括危险状况的类型的信息的音频。另外，警报控制器117可以根据危险状况的类型使照明装置207输出具有不同颜色的光束。更进一步，警报控制器117可以根据危险状况的类型使电手术刀208具有不同的振动模式。

这样的配置使得手术外科医生能够掌握预测将发生的危险状况的类型，从而使得更容易避免危险状况。

此外，在预测信息包括危险状况的危险程度的信息的情况下，警报控制器117可以使得输出对应于危险状况的危险程度的警报。例如，在风险程度高的情况下，警报控制器117可以生成图像，在该图像中，将比风险程度低的情况下更突出的警报与手术图像组合，并且可以使监视器204显示组合图像。此外，警报控制器117还可以改变警报的显示尺寸或颜色。此外，在风险程度高的情况下，与风险程度低的情况相比，警报控制器117可以提高从扬声器205输出的警报的音量。另外，在风险程度高的情况下，与风险程度低的情况相比，警报控制器117可以增加输出到照明装置207的光的强度。此外，在风险程度高的情况下，与风险程度低的情况相比，警报控制器117可以增加电手术刀208的振动强度。

这样的配置使得例如，在预测发生危险状况的风险更高的情况下能够更有力地警告手术外科医生。

此外，在预测信息包括预测发生危险状况的位置的信息的情况下，警报控制器117可以生成包括指示预测发生危险状况的位置的警报的图像，并且可以使监视器204显示该图像。此外，警报控制器117还可以控制投影仪(未示出)，以使得警报投射在预测将发生危险状况的位置。

这样的配置使得手术外科医生能够掌握预计发生危险状况的位置，从而使得更容易避免危险状况。

如上所述，尽管已经描述了将由警报控制器117输出的警报的示例，但是本技术不限于这些示例，并且可以输出除上述之外的警报。

通信部130是通信模块，用于根据通信控制器111的控制经由有线或无线向另一设备发送数据和从另一设备接收数据。通信部130通过有线lan(局域网)、无线lan、wi-fi(无线保真，注册商标)、红外通信、蓝牙(注册商标)、近场/非接触通信等方案，直接或经由网络接入点与外部装置进行无线通信。

存储器150存储服务器10的每个组件运行的程序和参数。例如，存储器150存储由分类器113分类的多个手术图像组和与多个手术图像组的分类相关的信息。此外，存储器150存储由学习部115生成的多个确定器。如上所述，为每个分类的手术图像组生成确定器；因此，存储器150彼此关联地存储确定器和与确定器的手术图像组的分类相关的信息。

[3.操作]

上面已经描述了根据本实施方式的手术支持系统1000和服务器10的相应配置。随后，将描述根据本实施方式的手术支持系统1000的操作示例。应当注意，在下文中，将首先参考图5描述与学习相关的操作，然后将参考图6描述与手术期间执行的危险状况的预测相关的操作。

图5是示出与学习相关的手术支持系统1000的操作的示例的流程图。应当注意，可以预先执行图5所示的过程，例如，在与危险状况的预测相关的过程之前，这将在后面参考图6进行描述。

首先，信息获取部112获取手术属性信息(s101)。此外，通信部130从编码器203接收(获取)手术图像(s103)。应当注意，步骤s101和步骤s103可以并行执行。

随后，分类器113基于在步骤s101中获取的手术属性信息，对在步骤s103中获取的手术图像进行分类(s105)。随后，教师数据生成器114基于在步骤s101中获取的手术属性信息和在步骤s105中分类的手术图像，生成作为教师数据的标签信息(s107)。

随后，学习部115通过使用在步骤s107中生成的标签信息作为教师数据，对在步骤s105中分类的每个手术图像组执行学习来生成确定器(s109)，并且使存储器150存储确定器(s110)。

上面已经描述了与学习相关的操作。随后，将描述与手术期间执行的危险状况的预测相关的操作。图6是示出与危险状况的预测相关的手术支持系统1000的操作的示例的流程图。应当注意，例如，在执行参考图5描述的处理并且确定器存储在存储器150中之后，执行图6所示的处理。

首先，信息获取部112获取手术属性信息(s201)。此外，通信部130从编码器203接收(获取)手术图像(s203)。应当注意，可以并行执行步骤s201和步骤s203。

随后，分类器113基于在步骤s201中获取的手术属性信息，对在步骤s203中获取的手术图像进行分类(s205)。随后，预测器116基于在步骤s207中执行的分类，从存储在存储器150中的多个确定器中选择用于预测的确定器(s207)。

此外，预测器116通过使用在步骤s207中选择的确定器并使用在步骤s203中获取的手术图像作为输入来执行发生危险状况的预测(s209)。

作为步骤s209的预测的结果，在没有预测到发生危险状况的情况下(s211中的否)，通信部130再次从编码器203接收(获取)手术图像(s213)。然后，处理返回到步骤s209，并且通过使用在步骤s213中获取的手术图像作为输入来执行发生危险状况的预测。

相反，作为步骤s209的预测的结果，在预测到发生危险状况的情况下(s211中的是)，诸如监视器204、扬声器205、照明装置207或电手术刀208等输出部根据警报控制器117的控制输出警报(s211)。

[4.修改示例]

上面已经描述了根据本实施方式的配置示例和操作示例。在下文中，将描述本实施方式的修改示例。应当注意，下面描述的修改示例可以独立地应用于本实施方式，或者可以组合地应用于本实施方式。此外，可以应用本修改示例来代替本实施方式中描述的配置，或者可以另外应用于本实施方式中描述的配置。

[4-1.修改示例1]

上述实施方式中描述的图1和图4的相应配置是示例，并且本技术不限于这些示例。例如，可以在另一设备中提供在上述实施方式中描述的服务器10的一些或所有功能。例如，可以在不同的设备中提供与学习相关的功能(例如，教师数据生成器114、学习部115等)以及与发生危险状况的预测相关的功能，例如，预测器116、警报控制器117等。此后，通过学习获得的确定器可以从执行学习的设备提供给执行预测的设备。

此外，与上述预测相关的功能可以在手术器械中提供，例如，图1所示的手术室20a至20c中存在的相机201、生命监视器202、编码器203、监视器204、扬声器205、解码器206、照明装置207或电手术刀208。

此外，不一定由服务器10生成在监视器204上显示的图像作为警报。例如，监视器204可以直接接收并显示在同一手术中由相机201获取的手术图像，并且在从服务器10接收到与警报相关的控制信号等的情况下，可以生成并显示警报和手术图像组合的图像。

[4-2.修改示例2]

此外，在上述实施方式中，已经描述了将包括从手术室中存在的手术器械提供的手术图像的手术图像组用于学习的示例；然而，本技术不限于这样的示例。例如，记录在外部数据库等中的手术图像组或相应的手术属性信息可以提供给服务器10并用于学习。

[4-3.修改示例3]

此外，在上述实施方式中，已经描述了通过预先学习生成确定器然后执行预测的示例；然而，本技术不限于这样的示例。例如，在参考图6描述的预测过程中获取的手术属性信息或手术图像可以用于学习，并且可以在任何时候更新确定器。

[5.硬件配置示例]

上面已经描述了本公开的实施方式。最后，参考图7，将描述根据本公开实施方式的信息处理设备的硬件配置。图7是示出根据本公开实施方式的服务器10的硬件配置的示例的框图。与下面描述的硬件和软件共同实现根据本公开实施方式的服务器10的信息处理。

如图7所示，服务器10包括cpu(中央处理器)901、rom(只读存储器)902、ram(随机存取存储器)903和主机总线904a。此外，服务器10包括桥接器904、外部总线904b、接口905、输入装置906、输出装置907、存储装置908、驱动器909、连接端口911和通信装置913。服务器10可以具有处理电路，例如，dsp或asic，以代替cpu901或除了cpu901之外。

cpu901用作算术处理单元和控制单元，并且根据各种程序控制服务器10的整体操作。此外，cpu901可以是微处理器。rom902存储由cpu901使用的程序和算术参数。ram903临时存储在执行cpu901时使用的程序、在执行时适当改变的参数等。例如，cpu901可以用作控制器110。

cpu901、rom902和ram903经由包括cpu总线等的主机总线904a互连。主机总线904a经由桥接器904连接到外部总线904b，例如，pci(外围组件互连/接口)总线。应当注意，主机总线904a、桥接器904和外部总线904b不必被配置为彼此分离，并且可以在一条总线中实现其功能。

输入装置906由用户向其输入信息的装置实现，例如，鼠标、键盘、触摸面板、按钮、麦克风、开关、杠杆等。此外，输入装置906可以是例如使用红外线或其他无线电波的遥控装置，或者可以是与服务器10的操作兼容的外部连接装置，例如，移动电话或pda。另外，输入装置906可以包括例如输入控制电路，该输入控制电路基于用户使用上述输入装置输入的信息生成输入信号，并将输入信号输出到cpu901。服务器10的用户能够通过操作输入装置906向服务器10输入各种类型的数据，或者向服务器10提供关于处理操作的指令。

输出装置907包括能够视觉或听觉地向用户通知所获取的信息的装置。这种装置的示例包括显示装置，例如，crt显示装置、液晶显示装置、等离子显示装置、el显示装置或灯、音频输出装置(例如，扬声器或耳机)、打印机装置等。输出装置907输出例如由服务器10执行的各种处理获得的结果。具体地，显示装置以各种格式，例如，文本、图像、表格、图形等，可视地显示由服务器10执行的各种处理所获得的结果。同时，音频输出装置将包括再现的音频数据、声学数据等的音频信号转换成模拟信号，并可听地输出该模拟信号。

存储装置908是用作服务器10的存储器的示例的数据存储装置的装置。例如，通过诸如hdd、半导体存储装置、光存储装置、磁光存储装置等磁存储装置来实现存储装置908。存储装置908可以包括存储介质、将数据记录在存储介质上的记录装置、从存储介质读取数据的读取装置以及删除记录在存储介质上的数据的删除装置。存储装置908存储要由cpu901执行的程序或各种类型的数据以及从外部获取的各种类型的数据。例如，存储装置908可以用作存储器150。

驱动器909是用于存储介质的读取器/写入器，并且内置或外部附接到服务器10。驱动器909读取记录在诸如磁盘、光盘、磁光盘或半导体存储器等可移动存储介质上的信息，并将读取的信息输出到ram903。此外，驱动器909还能够将信息写入可移动存储介质。

连接端口911是连接到外部装置的接口，并且是连接到能够例如通过usb(通用串行总线)传输数据的外部装置的连接端口。

通信装置913例如是包括要连接到网络920等的通信装置的通信接口。通信装置913可以是例如用于有线或无线lan(局域网)、lte(长期演进)、蓝牙(注册商标)或wusb(无线usb)的通信卡等。此外，通信装置913可以是用于光通信的路由器、用于adsl(非对称数字用户线路)的路由器或者用于任何类型通信的调制解调器。例如，通信装置913能够根据预定的协议(例如，tcp/ip)向互联网或另一通信装置发送信号和从互联网或另一通信装置接收信号等。例如，通信装置913可以用作通信部130。

应当注意，网络920是用于从耦合到网络920的设备传输的信息的有线或无线传输路径。例如，网络920可以包括公共线路网络(例如，互联网、电话线网络或卫星通信网络)、包括以太网(注册商标)的各种类型的lan(局域网)和wan(广域网)等。此外，网络920还可以包括租用线路网络，例如，ip-vpn(互联网协议虚拟专用网络)。

如上所述，已经描述了能够实现根据本公开实施方式的服务器10的功能的硬件配置的示例。上述组件中的每一个都可以使用通用元件来实现，或者可以使用专用于每个组件的功能的硬件来实现。因此，可以根据执行本公开的实施方式的技术水平来适当地改变要使用的硬件配置。

应当注意，可以制造如上所述用于实现根据本公开的实施方式的服务器10的功能的计算机程序，并将该计算机程序安装在pc等上。此外，可以提供其中存储有这种程序的计算机可读记录介质。记录介质例如是磁盘、光盘、磁光盘、闪存等。另外，上述程序可以例如通过网络分发，而不使用记录介质。

[6.结论]

如上所述，根据本公开的实施方式，可以通过利用手术图像来预测发生危险状况。此外，在预测到发生危险状况的情况下，可以在危险状况发生之前输出警报，并且可以通过手术外科医生在识别出可能发生出血的部分之后停止采取导致医疗事故的动作或停止执行手术来避免危险状况。

结果，减少了对患者的侵害程度，缩短了手术时间。此外，提高了患者的生活质量，并且提高了患者的满意度，导致医院的顾客数量增加。还预计手术室利用率的提高将提高医院的盈利能力。此外，预计意外症状风险的降低将缓解医生的紧张情绪，提高医生的工作满意度，防止人员流失，并降低劳动力成本。

尽管上面已经参考附图对本公开的优选实施方式进行了详细描述，但是本公开的技术范围不限于这样的示例。显而易见的是，本公开所属领域的普通技术人员将会想起在根据权利要求的技术思想的范围内的各种变更和修改，并且当然可以理解，这些也属于本公开的技术范围。

例如，上述实施方式的步骤不一定按照流程图中指示的顺序按时间序列执行。例如，上述实施方式的过程的步骤可以以与流程图中指示的顺序不同的顺序执行，或者并行执行。

此外，本文描述的效果仅仅是解释性和说明性的，而不是限制性的。即，除了上述效果之外，或者代替上述效果，根据本文的描述，根据本公开的技术可以表现出对本领域技术人员显而易见的其他效果。

应当注意，以下配置也属于本公开的技术范围。

(1)一种手术支持系统，包括：

存储器，存储通过使用指示手术期间的危险状况的标签信息作为教师数据来学习手术图像组而获得的确定器；以及

预测器，通过使用手术图像作为输入并使用所述确定器来执行发生危险状况的预测。

(2)根据(1)所述的手术支持系统，其中，

所述存储器存储多个确定器，并且

所述预测器通过使用多个确定器中对应于手术图像的确定器来执行预测。

(3)根据(2)所述的手术支持系统，其中，基于手术图像的分类来选择用于预测的确定器。

(4)根据(3)所述的手术支持系统，其中，基于与手术方法相关的手术方法信息对手术图像进行分类。

(5)根据(2)至(4)中任一项所述的手术支持系统，还包括

学习部，其通过对已经分类的每个手术图像组执行学习来生成确定器。

(6)根据(5)所述的手术支持系统，还包括

教师数据生成器，其生成标签信息。

(7)根据(6)所述的手术支持系统，其中，所述教师数据生成器通过执行用于检测出血的出血检测、用于检测返工的返工检测、或用于检测执行止血的止血检测中的至少一个来生成所述标签信息。

(8)根据(1)至(7)中任一项所述的手术支持系统，还包括

警报控制器，其使得输出部在预测器预测到发生危险状况的情况下输出警报，所述警报警告已经预测到发生危险状况。

(9)根据(8)所述的手术支持系统，其中，

在预测到发生危险状况的情况下，所述预测器生成与预测相关的预测信息，并且

所述警报控制器促使根据预测信息输出警报。

(10)根据(9)所述的手术支持系统，其中，

所述手术支持系统包括多个输出部，并且

从多个输出部中对应于预测信息的输出部输出警报。

(11)根据(9)或(10)所述的手术支持系统，其中，所述预测信息包括从已经预测到发生的危险状况的类型、危险状况的风险程度以及预测将发生危险状况的位置中选择的至少一条信息。

(12)根据(1)至(11)中任一项所述的手术支持系统，其中，所述危险状况包括意外症状或导致意外症状的事件。

(13)根据(1)至(12)中任一项所述的手术支持系统，其中，所述手术图像组包括多个运动图像，并且所述手术图像是运动图像。

(14)一种信息处理设备，包括：

存储器，存储通过使用指示手术期间的危险状况的标签信息作为教师数据来学习手术图像组而获得的确定器；以及

预测器，通过使用手术图像作为输入并使用所述确定器来执行发生危险状况的预测。

(15)一种程序，促使计算机实现以下功能：

存储通过使用指示手术期间的危险状况的标签信息作为教师数据来学习手术图像组而获得的确定器；以及

通过使用手术图像作为输入并使用所述确定器来执行发生危险状况的预测。

附图标记列表

10服务器

20a至20c手术室

110控制器

111通信控制器

112信息获取部

113分类器

114教师数据生成器

115学习部

116预测器

117警报控制器

130通信部

150存储器

201相机

202生命监视器

203编码器

204监视器

205扬声器

206解码器

207照明装置

208电手术刀

1000手术支持系统