针对手术结果的反馈提供方法以及程序与流程

本发明涉及一种针对手术结果的反馈提供方法以及程序。

背景技术：

需要研发能够在手术过程中提供用于辅助医生的手术的信息的技术。为了提供用于辅助手术的信息，需要能够识别手术行为。

以往为了构思用于最优化手术流程的方案而参考预先拍摄的医疗影像或者向非常资深的医生进行咨询，但仅靠医疗影像难以判断出不必要的流程，资深医生的咨询则具有难以获得与适于特定患者的咨询的问题。

因此，医疗影像或者资深医生的咨询在用于针对手术对象患者最优化手术流程的辅助用途方面具有很多应用难点。

因此，需要开发如下的方法：在利用三维医疗影像(例如，针对三维手术工具的移动以及由于工具的移动而发生的器官内部的变化的虚拟影像)进行手术时，最少化不必要的流程而最优化手术流程，并且能够提供基于此的手术辅助信息。

并且，近来在医疗影像的分析中广泛应用着深度学习(deeplearning)。深度学习被定义为通过多种非线性变换方法的组合而尝试高水准的抽象化(abstractions，在大量的数据或者复杂的资料中概括核心内容或者功能的操作)的机械学习算法的集合。笼统地说，深度学习可以被视为把人的思考方式教给电脑的机械学习的一种领域。

技术实现要素：

技术问题

本发明所要解决的课题涉及针对手术结果的反馈提供方法以及程序。

本发明所要解决的课题并不限于以上提及的课题，普通技术人员将能够从以下的记载明确理解未提及的其他课题。

技术方案

根据用于解决上述课题的本发明的一方面的针对手术果的反馈提供方法，包括如下步骤：计算机获取基于在实际手术过程中获取的实际手术数据而被划分从而由多个细节手术操作构成的实际手术提示表数据；获取针对所述实际手术的参考(reference)提示表数据；以及比较所述实际手术提示表数据和所述参考提示表数据而提供反馈。

并且，所述多个细节手术操作可以是基于所述实际手术数据所包括的手术部位、手术工具的种类、所述手术工具的数量、所述手术工具的位置、所述手术工具的方向以及所述手术工具的移动中的至少一个而划分所述实际手术数据而得的手术操作。

并且，所述多个细节手术操作可以分别被赋予标准化的名称以及标准化的代码数据中的至少一个。

并且，所述提供反馈的步骤可以包括如下步骤：获取用于检索所述多个细节手术操作中的至少一个的检索信息；基于所述标准化的名称或者所述标准化的代码数据提取与所述检索信息对应的至少一个细节手术操作；以及提供关于被提取的所述至少一个细节手术操作的反馈。

并且，所述参考提示表数据可以是针对所述实际手术进行了最优化的提示表数据或者参考用虚拟手术提示表数据。

并且，所述提供反馈的步骤可以包括如下步骤：比较所述实际手术提示表数据和所述参考提示表数据各自所包括的多个细节手术操作，从而判断所述实际手术提示表数据中是否存在不必要的细节手术操作、被遗漏的细节手术操作或者错误的细节手术操作。

并且，所述判断是否存在错误的细节手术操作的步骤可以包括如下步骤：比较与所述参考提示表数据所包括的细节手术操作对应的手术工具的移动和与所述实际手术提示表数据所包括的细节手术操作对应的手术工具的移动；以及基于比较所述手术工具的移动的结果，判断所述实际手术提示表数据所包括的细节手术操作是否错误。

并且，还可以包括如下步骤：将所述实际手术提示表数据添加到学习提示表数据；以及利用所述学习提示表数据进行针对获取最优化提示表数据的模型的强化学习。

并且，还可以包括如下步骤：在获取的所述手术信息中搜索至少一个手术错误(surgicalerror)情况；以及提供关于搜索到的所述手术错误情况的反馈。

并且，还可以包括如下步骤：获取关于与包括所述实际手术提示表数据的一个以上的实际手术提示表数据分别对应的预后的信息；基于所述一个以上的实际手术提示表数据以及关于预后的信息进行强化学习；以及基于所述强化学习结果，判断所述一个以上的实际手术提示表数据所包括的至少一个细节手术操作和预后之间的相关关系。

根据用于解决上述课题的本发明的一方面，提供一种计算机程序，与作为硬件的计算机结合而被储存在计算机可读记录介质，以执行根据公开的实施例而针对手术结果的反馈提供方法。

本发明的其他具体事项包括于详细说明和附图。

技术效果

根据公开的实施例，通过将实际手术过程与参考进行比较，从而具有能够提供针对手术的过程和结果的反馈的效果。

根据公开的实施例，具有即使用户不一一查看手术影像也能够提取需要的部分而提供反馈的效果。

本发明要解决的技术问题不局限于以上提及的技术问题，本领域技术人员可通过下文中的记载明确理解未提及的其他技术问题。

附图说明

图1是示出根据被公开的实施例的机器人手术系统的图。

图2是示出根据一实施例而提供针对手术结果的反馈的方法的流程图。

图3是示出根据一实施例算出最优化提示表数据的方法的流程图。

图4是示出根据一实施例而获取反馈的方法的流程图。

符号说明

10：医疗影像拍摄设备

20：服务器

30：控制部

32：显示器

34：手术用机器人

36：影像拍摄部

具体实施方式

参考结合附图而详细后述的实施例即可明确地理解本发明的优点、特征及用于实现这些的方法。然而，本发明并不局限于以下公开的实施例，其可以由互不相同的多样的形态实现，提供本实施例仅仅旨在使本发明的公开完整并用于将本发明的范围完整地告知本发明所属的技术领域中普通技术人员，本发明仅由权利要求的范围定义。

本说明书中使用的术语以说明实施例为目的，并不旨在限制本发明。除非在文中特别提及，在本说明书中单数形式包括复数形式。在说明书中使用的“包含(comprises)”和/或“包含的(comprising)”不排除被提及的构成要素以外的一个以上的其他构成要素的存在或者附加。贯穿整个说明书，相同附图标记指代同一构成要素，“和/或”包括提及的构成要素中的每一个以及一个以上的所有组合。虽然“第一”、“第二”等用于叙述多种构成要素，但这些构成要素显然并不被这些术语所限制。这些术语仅用于将一个构成要素与其他构成要素进行区分。因此，以下提及的第一构成要素在本发明的技术思想内显然可以是第二构成要素。

除非另有定义，否则本说明书中使用的所有术语(包括技术及科学术语)可以以本发明所属的技术领域中具备基本知识的人员所能够共同理解的含义而被使用。并且，对于定义于通常使用的词典的术语而言，除非另有明确而特别的定义，否则不应被理想化或者过度化地解释。

说明书中使用的术语“部”或者“模块”等术语表示诸如软件、fpga或者asic等的硬件构成要素，“部”或者“模块”执行某些作用。然而，“部”或者“模块”的含义并不限于软件或者硬件。“部”或者“模块”可以构成为存在于可寻址的存储介质，也可以构成为能够再现一个以上的处理器。因此，作为一例，“部”或者“模块”包括：诸如软件构成要素面向对象的软件构成要素类(class)构成要素以及任务构成要素之类的构成要素；以及进程；函数；属性；程序；子例程；程序代码段；驱动器；固件；微代码；电路；数据；数据库；数据结构；表；数组以及变量。在构成要素和“部”或者“模块”内提供的功能可以用数量更少的构成要素和“部”或者“模块”结合，或者可以进一步分离为附加的构成要素和“部”或者“模块”。

本说明书中，“影像”可以表示由离散性的影像要素(例如，二维影像中的像素和三维影像中的体素(voxel))构成的多维(multi-dimensional)数据。例如，影像可以包括通过ct拍摄装置获取的对象的医疗影像等。

本说明书中，“对象(object)”可以是人或者动物，或者可以是人或者动物的一部分或者全部。例如，对象可以包括肝、心脏、子宫、大脑、乳房、腹部等器官以及血管中的至少一个。

本说明书中，“用户”作为医疗专家，可以为医生、护士、临床病理学家、医疗影像专家等，并且可以为维修医疗装置的技术人员，但并不限于此。

本说明书中，“医疗影像数据”作为通过医疗影像拍摄设备拍摄的医疗影像，包括能够以三维模型呈现对象的身体的所有医疗影像。“医疗影像数据”可以包括计算机断层扫描(ct：computedtomography)影像、磁共振成像(mri：magneticresonanceimaging)、正电子发射断层扫描(pet：positronemissiontomography)影像等。

在本说明书中，“虚拟身体模型”表示基于医疗影像数据以符合实际患者的身体的方式生成的模型。“虚拟身体模型”可以直接将医疗影像数据进行三维建模而生成，也可以在建模后进行校正使其与实际手术时相同。

在本说明书中，“虚拟手术数据”表示包括针对虚拟身体模型进行的预演(rehearsal)或者模拟的行为的数据。“虚拟手术数据”可以是在虚拟空间对虚拟身体模型执行了预演或者模拟的影像数据，也可以是记录有针对虚拟身体模型执行的手术操作的数据。

在本说明书中，“实际手术数据”表示随着实际医务人员进行手术而获取的数据。“实际手术数据”可以是在实际手术过程中拍摄手术部位的影像数据，也可以是记录有针对实际手术过程中执行的手术操作的数据。

本说明书中，“细节手术操作”表示根据特定的基准划分的手术操作的最小单位。

本说明书中，“提示表(cuesheet)数据”表示将特定的手术过程划分为细节手术操作而按顺序记录的数据。

在本说明书中，“执行提示表数据”表示基于用户执行模拟的虚拟手术数据而获取的提示表数据。

在本说明书中，“训练用虚拟手术提示表数据”包括于执行提示表数据，表示基于用户执行手术模拟训练(simulation)而获取的虚拟手术数据生成的提示表数据。

在本说明书中，“参考用虚拟手术提示表数据”表示针对为了构筑学习用大数据或者引导手术流程而由特定的医疗人员执行的虚拟手术的提示表数据。

本说明书中，“最优化提示表数据”表示针对在手术时间或者手术预后等方面进行了最优化的手术流程的提示表数据。

在本说明书中，“学习提示表数据”表示用于算出最优化提示表数据的学习中利用到的提示表数据。

在本说明书中，“手术引导数据”表示在实际手术时被利用为引导信息的数据。

本说明书中，“计算机”包括能够执行运算处理而向用户提供结果的多种的所有装置。例如，计算机不仅可以为桌上型pc、笔记本计算机(notebook)，也可以相当于是智能电话(smartphone)、平板pc、蜂窝电话(cellularphone)、个人通信服务电话(pcsphone：personalcommunicationservicephone)、同步/异步国际电话移动系统-2000(imt-2000)的移动终端、掌上个人计算机(palmpersonalcomputer)、个人数字助理(pda：personaldigitalassistant)等。并且，在头戴式显示器(hmd：headmounteddisplay)装置包括计算功能的情形下，hmd装置可以成为计算机。并且，计算机可以相当于是接收来自客户端的请求而执行信息处理的服务器。

以下，参照附图详细说明本发明的实施例。

图1是示出根据公开的实施例的机器人手术系统的图。

参照图1，示出了将能够根据公开的实施例执行机器人手术的系统简略地图形化的图。

根据图1，机器人手术系统包括医疗影像拍摄设备10、服务器20以及配备于手术室的控制部30、影像拍摄部36、显示器32以及手术机器人34。根据实施例，可以在根据公开的实施例的机器人手术系统中省略医疗影像拍摄设备10。

在一实施例中，用户通过利用控制部30控制手术用机器人34而执行机器人手术。在一实施例中，机器人手术也可以不受用户的控制而通过控制部30自动执行。

服务器20为包括至少一个处理器和通信部的计算装置。

控制部30包括包含至少一个处理器和通信部的计算装置。在一实施例中，控制部30包括用于控制手术用机器人34的硬件以及软件界面。

影像拍摄部36包括至少一个图像传感器。即，影像拍摄部36包括至少一个摄像装置而用于拍摄手术部位。在一实施例中，影像拍摄部36与手术机器人34结合而被利用。例如，影像拍摄部36可以包括与手术机器人34的手术臂(arm)结合的至少一个摄像机。

在一实施例中，影像拍摄部36拍摄的影像被显示在显示器340。

控制部30可以从服务器20接收手术所需的信息或者生成手术所需的信息而向用户提供。例如，控制部30在显示器32显示所生成或者所接收的手术所需的信息。

例如，用户可以通过在查看显示器32的同时操作控制部30而控制手术机器人34的移动，从而执行机器人手术。

服务器20利用由医疗影像拍摄设备10预先拍摄的对象(患者)的医疗影像数据而生成机器人手术所需的信息，并将生成的信息提供至控制部30。

控制部30使从服务器20接收到的信息显示于显示器32而向用户提供从服务器20接收到的信息，或者利用从服务器20接收到的信息控制手术机器人34。

在一实施例中，能够在医疗影像拍摄设备10使用的单元并不受限制，例如，可以使用ct、x-ray、pet、mri等其他多种医疗影像获取单元。

以下，参照附图详细说明提供针对手术结果的反馈的方法。

图2是示出根据一实施例而提供针对手术结果的反馈的方法的流程图。

图2所示的各步骤在图1所述的服务器20或者控制部30以时间顺序执行。虽然以下为了便于说明而叙述为通过计算机执行各步骤，但各步骤的执行主体并不限于特定装置，其全部或者一部分可以在服务器20或者控制部30执行。

参照图2，根据本发明的一实施例的针对手术结果的反馈提供方法包括如下步骤：计算机获取基于在实际手术过程中获取的实际手术数据而被划分从而由多个细节手术操作构成的实际手术提示表数据(s200)；获取针对所述实际手术的参考(reference)提示表数据(s400)；以及比较所述实际手术提示表数据和所述参考提示表数据而提供反馈(s600)。以下，记载关于各步骤的详细说明。

计算机获取基于在实际手术过程中获取的实际手术数据而被划分从而由多个细节手术操作构成的实际手术提示表数据(s200)。所述计算机基于在由手术机器人进行的手术过程中拍摄的手术影像或者在手术机器人的控制过程中获取的数据而生成实际手术提示表数据。

构成所述提示表数据的细节手术操作是构成手术流程的最小操作单位。细节手术操作可以根据多种基准而被划分。例如，细节手术操作可以以手术类型(例如，腹腔镜手术、机器人手术)、执行手术的解剖学身体部位、使用的手术工具、手术工具的数量、手术工具在画面中显示的方向或者位置、手术工具的移动(例如，前进/后退)等为基准而进行划分。

上述划分基准和划分基准内所包括的细节类别可以通过医疗人员的实际手术数据学习而直接设定。计算机可以根据医疗人员设定的划分基准以及细节类别而执行监督(supervised)学习将实际手术数据划分为作为最小单位的细节手术操作。

并且，所述划分基准和划分基准内所包括的细节类别可以通过计算机的手术影像学习而提取。例如，计算机可以对积累为大数据的实际手术数据进行深度学习(即，无监督学习)而算出划分基准以及各划分基准内的类别。然后，计算机可以根据通过实际手术数据学习而生成的划分基准划分实际手术数据而生成提示表数据。

并且，作为另一实施例，实际手术数据也可以通过影像识别而掌握是否符合各个划分基准而被划分(segmentation)。即，计算机可以在实际手术数据的影像内画面中识别相当于划分基准的解剖学器官位置、出现的手术工具、各手术工具的数量等，从而以细节手术操作为单位进行划分。

并且，作为另一实施例，计算机可以基于实际手术数据所包括的手术工具移动数据而执行用于生成提示表数据的划分过程。在用户执行机器人手术的情形下，实际手术数据可以包括关于用户选择的手术工具种类以及数量、各手术工具的移动的信息等的在控制手术机器人的过程中输入的多种信息。因此，计算机可以基于在实际手术数据的各时间点所包括的信息而进行划分。

并且，作为一实施例，实际手术数据包括有切除、缝合等多种细节手术操作，且根据划分基准而执行划分(segmentation)。具体地，若对将实际执行胃癌手术的实际手术数据(例如，实际手术影像)划分为细节手术操作而生成提示表数据的过程进行说明则如下。

例如，胃癌手术中首先包括切除包含肿瘤的一部分胃或者整个胃的细节手术操作以及切除淋巴结的细节手术操作。此外，根据胃癌的状态，应用有多种切除术以及连接术。并且，各个细节手术操作可以根据实施细节手术操作进行的具体位置和手术工具的移动方向而被划分为更加详细的多个细节手术操作。

例如，胃癌手术的细节操作首先可以被划分为开腹步骤、切除步骤、连接步骤以及缝合步骤等。

并且，连接被切除的器官的方法包括将贲门末端切开4-5cm以上并连接的体外吻合方法或者将肚脐切开3cm左右并在腹腔内进行切除并吻合的体内吻合方法等，上述的连接步骤可以根据诸如此类的具体的连接方法而被更加详细地划分。

进一步，各个手术方法可以根据手术工具的位置和移动而被划分为更加细节性的多个细节手术操作。

被划分的各个细节手术操作可以根据执行细节手术操作的位置和手术工具的移动路径(pathway)而被赋予标准化的名称。

在一实施例中，利用于标准化名称的术语可以被多样地定义。例如，在处理胃(stomach)的下端右侧特定部位时，该部位的名称可以使用医疗领域通常使用的名称，可以利用在根据公开的实施例的系统中定义的更加上位或者具体化的名称。

因此，用户实际执行手术的手术影像可以基于多个细节手术操作得到标准化的名称而整理为被依次罗列的提示表形态的信息。

并且，作为一实施例，所述提示表数据可以根据划分为细节手术操作的基准而生成为特定位数的代码(code)数据。即，计算机根据应用标准化的划分基准并指定划分基准内的细节类别而将实际手术数据划分为标准化的细节手术操作，并对各细节类别赋予标准化的代码值而赋予能够区分各细节手术操作的标准化的代码数据。

计算机根据划分基准应用顺序从特定的细节手术操作所属的上位类别依次赋予数字或者文字而向各细节手术操作赋予数字(digital)化的代码数据。据此，计算机可以以罗列各细节手术操作的标准化的代码数据的形态生成提示表数据，而不是以被划分的细节手术操作影像的形态生成提示表数据。并且，用户可以根据仅提供由标准化的代码数据构成的提示表数据而共享或者传递实际手术过程。

在一实施例中，在计算机对应于布置在手术室的客户终端或者控制部30的情形下，计算机可以从手术影像获取标准化的代码数据，并通过将获取的代码数据传送到服务器20而共享或者传递实际手术过程。

在一实施例中，在计算机与服务器20对应的情形下，手术影像被传送到服务器20，并且可以在服务器20生成提示表数据和代码数据。

并且，作为一实施例，计算机可以对各个细节手术操作的标准化的代码(code)赋予标准化的名称。据此，用户可以在整个提示表内仅选择所期望的细节手术操作部分而进行确认。并且，在这种情形下，即使用户不查看整个手术影像，也可以仅查看基于标准化的名称而被依次罗列有各个细节手术操作的提示表来容易地掌握手术的进行过程。

提示表数据可以利用针对各细节手术操作的影像数据库而被转换为手术影像。所述影像数据库中可以储存有符合各代码数据的影像，符合各代码数据的影像可以根据情况而储存有多个。例如，特定的代码数据可以根据之前执行的操作而加载影像数据库内的不同的细节手术操作影像。

并且，由于各提示表数据与特定的虚拟身体模型匹配而得到储存，因此计算机根据对虚拟身体模型依次应用提示表数据所包括的各细节手术操作，可以再现为手术模拟影像。

因此，与提示表数据对应的影像可以在与手术影像相同的视角(pointofview)再现，也可以以不同视角重新构建而再现。或者，影像可以被3d建模，从而根据用户的操作来调节视角和位置。

计算机获取关于所述实际手术的参考提示表数据(s400)。

在一实施例中，参考提示表数据表示通过计算机生成的最优化提示表数据。

在另一实施例中，参考提示表数据表示参考用虚拟手术提示表数据。

图3是示出根据一实施例算出最优化提示表数据的方法的流程图。

计算机获取一个以上的学习提示表数据(s420)。所述学习提示表数据为用于算出最优化提示表数据而学习的学习对象数据。所述学习提示表数据可以包括基于实际手术数据而生成的提示表数据(即，实际手术提示表数据)或者基于作为参考用而模拟的虚拟手术数据而生成的提示表数据(即，参考用虚拟手术提示表数据)。所述实际手术提示表数据为计算机根据划分基准划分实际手术数据而生成的数据。所述参考用虚拟手术提示表数据是以创建学习对象数据为目的或者以作为参考而向实习医生提供为目的执行模拟而生成的数据，而不是在用户的手术训练过程中获取的数据。

然后，计算机利用学习提示表数据进行强化学习(reinforcementlearning)(s440)。强化学习作为机械学习的一个领域，是一种在某个环境内被定义的智能体(agent)识别当前的状态，在能够选择的行动中选择使回报最大化的行动或者行动顺序的方法。强化学习可以被概括为学习基于状态转移和根据状态转移的回报而使回报最大化的方法。

然后，计算机利用强化学习结果算出最优化提示表数据(s460)。所述最优化提示表数据基于强化学习结果，将能够缩短患者的麻醉时间的最短手术时间、最小出血量、必要操作组、必要执行顺序等作为条件而计算出。

所述必要操作组是为了执行特定的细节手术操作而必须一起执行的细节手术操作的组。所述必要执行顺序是在执行特定手术的过程中必须依次执行的手术操作顺序。例如，根据手术的种类或者手术操作的种类，需要依次出现的手术操作及其顺序可能已被确定。

并且，计算机通过强化学习算出根据患者的身体条件、手术部位(例如，肿瘤组织)条件(例如，肿瘤的大小、位置等)等的按照情况的最优化提示表数据。为此，计算机在学习时与学习提示表数据一起应用患者条件、手术部位条件等。

在一实施例中，计算机能够自己执行虚拟的模拟手术(仿真手术)。例如，计算机可以基于公开的手术流程最优化方法而生成根据手术种类以及患者的种类的手术流程，并且基于生成的手术流程执行虚拟的手术模拟。

计算机评价虚拟的手术模拟结果，并且基于虚拟的手术模拟信息及对其结果的评价信息进行强化学习，据此获取最优化的手术过程。

即使是以能够生成最优的手术流程的方式进行学习的模型，也会由于在实际手术中每个患者的身体结构和手术的种类不同，所以可能难以根据各个患者和手术种类而生成最优化的手术流程。

因此，计算机利用经学习的模型生成基于患者的身体结构以及手术种类的手术流程，并执行虚拟的手术模拟，据此进行强化学习，从而可以根据各个患者和手术种类而生成最优化的手术流程。

计算机比较所述实际手术提示表数据和所述参考提示表数据而提供反馈(s600)。

在一实施例中，比较实际手术提示表数据和参考提示表数据的作业可以在布置于手术室的计算机或者控制部30进行，也可以在服务器20进行。

在服务器20进行比较的情形下，服务器20获取参考提示表数据并与从控制部30获取的手术影像或者提示表数据(代码数据)进行比较。

在布置于手术室的计算机或者控制部30进行比较的情形下，计算机从手术影像获取提示表数据，并与从服务器20接收到的参考提示表数据进行比较。

在一实施例中，可以通过网站或者应用(application)提供反馈。例如，可以通过设置在医生的移动终端的应用而提供反馈，手术结束则可以向医生的移动终端提供与反馈相关的通知。

图4是示出根据一实施例而获取反馈的方法的流程图。

在一实施例中，计算机可以将实际手术提示表数据所包括的细节手术操作的种类和顺序与参考提示表数据所包括的细节手术操作的种类和顺序进行比较而提供针对手术结果的反馈(s620)。

例如，计算机可以判断相比于参考提示表数据包括的细节手术操作，实际手术提示表数据所包括的细节手术操作中是否存在遗漏的细节手术操作、不必要的细节手术操作或者错误的细节手术操作而提供针对其结果的反馈。

例如，参考提示表数据中包括的必要的细节手术操作可能在实际手术提示表数据中被遗漏。

并且，实际手术提示表数据中可能包括有参考提示表数据中没有包括的不必要的细节手术操作。

并且，虽然实际手术提示表数据中也包括了参考提示表数据所包括的细节手术操作，但其具体的操作可能不同或者错误。

在此情形下，虽然参考提示表数据和实际手术提示表数据的细节手术操作的种类一致，但若具体地进行比较则其操作可能不同。

因此，计算机判断各细节手术操作是否被准确地执行。虽然特定的细节手术操作要包括于整个手术过程中，但可能没有被正常地执行。例如，在用夹子形态的手术工具抓取特定位置的组织的操作(即，细节手术操作)中，如果比最优的深度更深地抓取组织或者以组织被抓取后容易掉落的程度用夹子的较小的区域抓取组织，则可能被判断为不正常的细节手术操作。计算机通过影像识别来识别实际手术影像内的组织和手术工具而准确地识别细节手术操作，并与最优化提示表数据内的正常的细节手术操作进行比较而执行评价和反馈。

并且，计算机可以分析实际手术提示表数据本身而提供关于发生了异常情况或者突发情况的记录的信息。例如，如果在特定部位发生了出血，则计算机可以提供关于发生了出血的事实和发生出血的位置以及出血量的信息中的至少一个。

进一步，计算机可以分析实际手术提示表数据所包括的细节手术操作的记录而判断发生出血的原因并进行提供。

具体地，计算机分析所完成的实际手术提示表而搜索手术错误(surgicalerror)(s640)。计算机在感测到根据预先设定的规则的手术错误(surgicalerror)情况的情形下，可以提供反馈。

例如，普遍的手术错误情况和基于此的反馈提供方法如后所述。

作为一例，计算机可以感测在患者的身体留有异物的情形(foreignobjectsleftinthepatient’sbody)而提供反馈。根据公开的实施例，计算机基于获取的手术影像而不仅识别手术工具的位置、出血部位，还识别手术影像所包括的所有客体，并分析各客体。计算机判断手术影像所包括的客体的位置、数量、引入时间等。因此，计算机如果判断为在手术结束时被引入的外部物质没有从手术部位去除，则可以发出警告，并向用户提供请求确认的反馈。在一实施例中，计算机在被引入手术部位的客体在影像中没有被确认的情形下也可以向用户请求确认。例如，在没有确认到被引入手术部位的客体从手术部位被去除的情形下，即便没有包含于手术影像，也有存在遗留在看不见的位置的可能性，因此可以向用户提供反馈。

作为一例，可以感测对患者的手术错误(wrongpatientsurgery)情况而提供反馈。根据公开的实施例，计算机实时地分析手术影像，并且执行3d建模影像的器官和实际器官之间的整合(registration)。计算机实时地追踪摄像机和手术工具的位置，并判断手术情况，并且获取使模拟器模仿实际手术过程的信息。在一实施例中，在整合患者的实际器官和3d建模影像的器官的过程中，如果实际器官和3d建模影像不匹配，则有可能对患者进行了错误的手术，因此计算机可以向用户请求确认。

作为一例，可以感测关于错误的手术部位(wrongsidesurgery)的情况而提供反馈。在公开的实施例中，计算机会判断手术情况并提供根据预演结果或者最优的手术方法的手术引导影像。在此过程中，如果实际手术的进行过程与预演或者最优的手术方法不同，则有可能在错误的部位进行了手术或者进行了不同种类的手术，因此计算机可以向用户请求确认。

作为一例，可以认知神经损伤(nervedamage)情况而提供反馈。在公开的实施例中，计算机可以与如上述的方法一样在实际手术与预演不同的情形下提供反馈，并且可以根据患者的器官和手术工具的位置关系而在切断重要的神经或者神经节，或者手术工具靠近神经而预测到危险的情况下提供警告。并且，计算机可以通过图像的整合，进一步，利用ar技术或者混合现实(mr：mixedreality)技术将看不清楚的血管、神经、神经节等与手术影像重叠而示出，从而使用户在手术后也能够清晰地查看重要部分，有助于对手术过程进行复盘。

并且，作为另一实施例，还包括将实际手术提示表数据添加到用于算出最优化提示表数据的学习提示表数据，并进行强化学习的步骤(s660)。

在一实施例中，在实际手术提示表数据中可能存在比最优化提示表数据更好的部分。因此，可以通过将实际手术提示表数据添加到学习提示表数据，并进行强化学习，据此获取能够生成更好的最优化提示表数据的模型。

并且，作为另一实施例，计算机追踪与各个手术记录对应的患者的预后(s680)。计算机通过将各个手术记录和与各手术记录对应的预后用作学习数据而进行机械学习，从而可以判断出各个预后是通过怎样的手术操作的结合而发生的。

例如，计算机可以通过分析发生特定副作用的患者的手术操作而导出可能成为副作用的原因的细节手术操作(即使是很小的手术操作)或者细节手术操作的结合。

在一实施例中，计算机可以通过强化学习获取关于导致各个预后的细节手术操作的信息。例如，计算机可以基于针对手术过程中进行的操作和在包括各个操作或者以特定顺序执行各个操作的情形下产生的预后的学习数据而进行强化学习。计算机可以基于强化学习结果而判断特定细节手术操作或者连续性的细节手术操作或者细节手术操作的组合会导致怎样的预后(即，怎样的副作用)。

并且，计算机可以以多种方式输出反馈而将其提供给用户。在一实施例中，计算机可以提取存在问题的细节手术操作而提供反馈。例如，计算机可以仅提取存在问题的细节手术操作的影像并将该影响再现，从而对用户掌握问题提供帮助。

并且，计算机可以检索手术过程中包括的细节手术操作而将其提供。例如，通常手术会进行几小时以上，因此用户难以在手术后确认整个影像而得到反馈。因此，计算机可以提供提示表数据，如果用户选择提示表数据中包括的一个以上的细节手术操作，则仅提取被选择的细节手术操作而提供反馈。例如，计算机可以仅提取被选择的细节手术操作的影像而再现。

根据公开的实施例，各个细节手术操作具有标准化的名称和标准化的代码数据。因此，用户可以基于标准化的名称或者代码数据而检索各个细节手术操作，并且仅查看提示表数据也可以容易地判断手术经过。

以上，根据上述的本发明的一实施例的针对手术结果的反馈提供方法可以实现为程序而存储于介质，以与作为硬件的计算机结合而被执行。

上述前述的程序可以包括所述计算机的处理器(cpu)通过所述计算机的装置接口可读取的代码化为c、c++、java、机器语言等的计算机语言的代码(code)，以使所述计算机读取程序来执行实现为程序的所述方法。这样的代码可以包括与定义执行所述方法所需的功能的函数等相关的功能性代码(functionalcode)，且可以包括所述计算机的处理器按预定的步骤执行所述功能所需的执行步骤相关控制代码。并且，这样的代码还可以包括所述计算机的处理器执行所述功能所需的附加信息或有关媒体应在所述计算机的内部或者外部存储器的哪一位置(地址编号)参照的存储器参照相关代码。并且，在所述计算机的处理器为了执行所述功能而需要与位于远程(remote)的哪个其他计算机或者服务器等进行通信的情况下，代码还可以包括针对如下的通信相关代码：利用所述计算机的通信模块来与远程的哪个其他计算机或者服务器等如何进行通信；当通信时需要传送何种信息或媒体等。

所述存储介质不是诸如寄存器、高速缓存、存储器等的短时间存储数据的介质，而是表示半永久性地存储数据并且能够被设备读取的介质。具体地，所述存储介质的示例有rom、ram、cd-rom、磁带、软盘和光学数据存储装置等，然而并不局限于此。即，所述程序可以存储在计算机可以访问的各种服务器上的各种记录介质中或用户的所述计算机上的各种记录介质中。并且，所述介质可以分布在通过网络连接的计算机系统，并以分布的方式存储有计算机可读代码。

与本发明的实施例相关而说明的方法或者算法的步骤可以通过硬件直接实现，或者由通过硬件运行的软件模块实现，或者可以通过它们的结合而实现。软件模块也可以被长留在随机存取存储器(ram：randomaccessmemory)、只读存储器(rom：readonlymemory)、可擦除可编程只读存储器(eprom：erasableprogrammablerom)、电可擦除可编程只读存储器(eeprom：electricallyerasableprogrammablerom)、闪存(flashmemory)、硬盘、可移动盘、cd-rom或者本发明所属技术领域中公知的任意形态的计算机可读记录介质。

以上参照附图说明了本发明的实施例，但在本发明所属技术领域中具有普通知识的人员可以理解的是，可以在不改变本发明的技术思想或者必要特征的情况下以其他具体形态实施。因此，以上记载的实施例应当理解为在所有方面均为示例性的，而不是限定性的。