一种虚拟实境手术场景生成方法及装置与流程

本发明涉及计算机技术领域，尤其涉及一种虚拟实境手术场景生成方法及装置。

背景技术：

随着科技发展，医疗知识与技术也越来越进步，但对于完成现今较为复杂精密的手术的难度仍然非常高。

鉴此，许多手术/医疗辅助系统或方法的相关技术被陆续提出，期望能通过软硬件结合的方式结合专门医疗知识与相关硬件设备而形成以辅助系统，用以产生术前规划作为医疗行为或手术执行前的评估、预测或规划，但在实际手术过程中，可能由于手术规划不合适的，或者操作失误等原因而使得手术失败，降低了手术的成功率。

技术实现要素：

本发明实施例所要解决的技术问题在于，提供一种虚拟实境手术场景生成方法及装置，通过对手术的训练，丰富了手术操作的方式，提高了手术的成功率。

为了解决上述技术问题，本发明实施例提供了一种虚拟实境手术场景生成方法，所述方法包括：

采集目标人体的体征数据，根据所述体征数据生成虚拟实境人形模型，所述体征数据包括三维数据、各人体部位的指标数据以及各人体组织的指标数据等；

当接收到针对所述虚拟实境人形模型所输入的手术操作指令时，获取手术操作信息，所述手术操作信息包括手术操作手势；

将所述虚拟实境人形模型与所述手术操作信息进行合成处理以生成虚拟实境手术场景，并将所述虚拟实境手术场景进行输出。

可选的，所述手术操作信息还包括手术操作人体部位标识；

所述将所述虚拟实境人体模型与所述手术操作信息进行合成处理以生成虚拟实境手术场景，包括：

将所述手术操作人体部位标识所指示的虚拟实境人体模型的部位与所述手术操作手势进行合成处理以生成虚拟实境手术场景。

可选的，所述将所述虚拟实境手术场景进行输出，包括：

在虚拟实境显示界面采用预设显示效果显示所述虚拟实境手术场景。

可选的，所述将所述虚拟实境人体模型与所述手术操作信息进行合成处理以生成虚拟实境手术场景之后，还包括：

根据所述手术操作信息实时输出反馈信息，所述反馈信息包括反馈正常和反馈异常。

可选的，所述根据所述手术操作信息实时输出反馈信息之后，还包括：

在所述反馈信息为反馈异常时，输出异常提示信息。

相应地，本发明实施例还提供了一种虚拟实境手术场景生成装置，所述装置包括：

模型生成模块，用于采集目标人体的体征数据，根据所述体征数据生成虚拟实境人形模型，所述体征数据包括三维数据、各人体部位的指标数据以及各人体组织的指标数据等；

信息获取模块，用于当接收到针对所述虚拟实境人形模型所输入的手术操作指令时，获取手术操作信息，所述手术操作信息包括手术操作手势；

场景生成模块，用于将所述虚拟实境人形模型与所述手术操作信息进行合成处理以生成虚拟实境手术场景，并将所述虚拟实境手术场景进行输出。

可选的，所述手术操作信息还包括手术操作人体部位标识；

所述场景生成模块具体用于：

将所述手术操作人体部位标识所指示的虚拟实境人体模型的部位与所述手术操作手势进行合成处理以生成虚拟实境手术场景，并将所述虚拟实境手术场景进行输出。

可选的，所述场景生成模块具体用于：

将所述虚拟实境人形模型与所述手术操作信息进行合成处理以生成虚拟实境手术场景，在虚拟实境显示界面采用预设显示效果显示所述虚拟实境手术场景。

可选的，所述装置还包括：

反馈信息输出模块，用于根据所述手术操作信息实时输出反馈信息，所述反馈信息包括反馈正常和反馈异常。

可选的，所述装置还包括：

提示信息输出模块，用于在所述反馈信息为反馈异常时，输出异常提示信息。

在本发明实施例中，虚拟实境手术场景生成装置采集目标人体的三维数据、各人体部位的指标数据以及各人体组织的指标数据等体征数据，以生成虚拟实境人形模型，当接收到针对该虚拟实境人形模型所输入的手术操作指令时，获取相应的手术操作信息，并将虚拟实境人形模型与手术操作信息进行合成处理以生成虚拟实境手术场景同时进行输出。通过对生成的虚拟实境人形模型进行手术训练，使得手术人员可对手术操作及手术效果进行预判，丰富了手术操作的方式，并提高了手术的成功率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例中的一种虚拟实境手术场景生成方法的流程示意图；

图2是本发明实施例中的另一种虚拟实境手术场景生成方法的流程示意图；

图3是本发明实施例中的一种虚拟实境手术场景生成装置的结构示意图；

图4是本发明实施例中的另一中虚拟实境手术场景生成装置的结构示意图；

图5是本发明实施例中一种执行上述虚拟实境手术场景生成方法的计算机系统的架构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的说明书和权利要求书及上述附图中的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。

本发明实施例中提及的虚拟实境手术场景生成方法的执行依赖于计算机程序，可基于信息虚拟实境手术场景生成装置运行于冯若依曼体系的计算机系统之上。该计算机系统可以是个人电脑、平板电脑、笔记本电脑、智能手机、掌上电脑以及移动互联网设备(MID)等终端设备。

以下分别进行详细说明。

图1是本发明实施例中一种虚拟实境手术场景生成方法的流程示意图，如图所示所述方法至少包括：

步骤S101，采集目标人体的体征数据，根据所述体征数据生成虚拟实境人形模型，所述体征数据包括三维数据、各人体部位的指标数据以及各人体组织的指标数据等；

具体的，所述体征数据包括三维数据、各人体部位的指标数据(如心脏跳动次数/分，血压、血脂指数等各个器官的指数含量以及各个器官的大小、结构等信息)以及各人体组织的指标数据等。其中，三维数据至少包括目标人体的身高信息、体重信息以及三围信息等。

所述采集目标人体的体征数据，根据所述体征数据生成虚拟实境人形模型，可以理解的是，可通过摄像头采集目标人体的人像信息，如通过摄像头按照预设顺序对目标人体进行扫描，所述人像信息至少包括用户的身高信息、体重信息以及三围信息等，然后通过X光透视人体部位及组织信息；也可以为输入预先检测获取的各项人体参数信息。

具体实施中，当检测或接收到构建人形模型信号时，如检测到针对虚拟实境显示界面输入的人体模型触控操作时或者通过体感仪输入的操作手势等触发信号与预设构建模型触发信息相匹配时等触发情况下，虚拟实境手术场景生成装置启动摄像头及X光检测设备进行体征数据的采集，再根据这些采集的体征数据生成虚拟实境人形模型，其中，所述生成虚拟实境人形模型可以为采用预设建模算法或者函数以及将采集到的体征数据作为输入参数，以得到对应的输出，所述输出即为生成的虚拟实境人形模型；也可以为在预设的人形模型信息集合中查找所述采集到的体征数据对应的人形模型，等等。

可选的，可根据采集到的体征数据等比例构建与所述目标人体相匹配的虚拟实境人形模型，所述等比例可以为1:1，也可以小于1:1，具体不限定。

步骤S102，当接收到针对所述虚拟实境人形模型所输入的手术操作指令时，获取手术操作信息，所述手术操作信息包括手术操作手势；

具体的，指令是指示计算机执行某种操作的命令。它由一串二进制数码组成，通常包括两个部分：操作码和地址码。其中，操作码指明该指令要完成的操作的类型或性质，如取数、做加法或输出数据等，而地址码则指明操作对象的内容或所在的存储单元地址。根据指令类型，某个具体的存储领域被称作“寄存器(register)”，里面包含了可用于调出指令的数据或数据存储位置。手术操作指令即为指示虚拟实境手术场景生成装置执行手术操作的命令。

具体实施中，当医生或者其他用户通过佩戴虚拟现实(Virtual Reality，VR)眼镜、VR手套、VR服饰等VR设备进入虚拟实境后，通过虚拟实境手术场景生成装置输入手术操作时，这些操作对于虚拟实境手术场景生成装置而言，就是一系列指令，虚拟实境手术场景生成装置接收到这些指令后，根据指令类型，从预设的存储器中提取指令并对指令进行解析，提取指令携带的信息，如手术操作手势。所述手术操作手势可以包括手指开合度、手指弯曲度等信息、手指移动轨迹等，从而准确确定输入的操作。

可选的，所述手术操作信息还包括手术操作人体部位标识，该标识用于唯一识别人体部位，如心、肝、脾、肺、肾、眼、耳、鼻、喉等器官或各组织，以确定手术操作部位。

步骤S103，将所述虚拟实境人形模型与所述手术操作信息进行合成处理以生成虚拟实境手术场景，并将所述虚拟实境手术场景进行输出。

具体的，所述合成处理即为将所输入的手术操作以及对应的人体部位进行合成，以实现对人体进行手术的目的，将此合成处理过程作为虚拟实境手术场景，同时，在虚拟实境手术场景生成装置的虚拟实境显示界面(交互界面)将该场景进行输出，所述输出可以为实时的。

可选的，可采用预设的显示效果对该虚拟实境手术场景进行显示，所述预设的显示效果可以为在一个平面180旋转显示，也可以为空间360旋转显示，还可以为对手术部位放大或者不同颜色等方式突出显示等等，此处不作具体限定。

在本发明实施例中，虚拟实境手术场景生成装置采集目标人体的三维数据、各人体部位的指标数据以及各人体组织的指标数据等体征数据，以生成虚拟实境人形模型，当接收到针对该虚拟实境人形模型所输入的手术操作指令时，获取相应的手术操作信息，并将虚拟实境人形模型与手术操作信息进行合成处理以生成虚拟实境手术场景同时进行输出。通过对生成的虚拟实境人形模型进行手术训练，使得手术人员可对手术操作及手术效果进行预判，丰富了手术操作的方式，并提高了手术的成功率。

图2是本发明另一实施例提供的虚拟实境手术场景生成方法的流程示意图，如图所示所述方法至少包括：

步骤S201，采集目标人体的体征数据，根据所述体征数据生成虚拟实境人形模型，所述体征数据包括三维数据、各人体部位的指标数据以及各人体组织的指标数据等；

具体的，所述体征数据包括三维数据、各人体部位的指标数据(如心脏跳动次数/分，血压、血脂指数等各个器官的指数含量以及各个器官的大小、结构等信息)以及各人体组织的指标数据等。其中，三维数据至少包括目标人体的身高信息、体重信息以及三围信息等。

所述采集目标人体的体征数据，根据所述体征数据生成虚拟实境人形模型，可以理解的是，可通过摄像头采集目标人体的人像信息，如通过摄像头按照预设顺序对目标人体进行扫描，所述人像信息至少包括用户的身高信息、体重信息以及三围信息等，然后通过X光透视人体部位及组织信息；也可以为输入预先检测获取的各项人体参数信息。

具体实施中，当检测或接收到构建人形模型信号时，如检测到针对虚拟实境显示界面输入的人体模型触控操作时或者通过体感仪输入的操作手势等触发信号与预设构建模型触发信息相匹配时等触发情况下，虚拟实境手术场景生成装置启动摄像头及X光检测设备进行体征数据的采集，再根据这些采集的体征数据生成虚拟实境人形模型，其中，所述生成虚拟实境人形模型可以为采用预设建模算法或者函数以及将采集到的体征数据作为输入参数，以得到对应的输出，所述输出即为生成的虚拟实境人形模型；也可以为在预设的人形模型信息集合中查找所述采集到的体征数据对应的人形模型，等等。

可选的，可根据采集到的体征数据等比例构建与所述目标人体相匹配的虚拟实境人形模型，所述等比例可以为1:1，也可以小于1:1，具体不限定。

步骤S202，当接收到针对所述虚拟实境人形模型所输入的手术操作指令时，获取手术操作信息，所述手术操作信息包括手术操作手势手术操作人体部位标识；

具体的，指令是指示计算机执行某种操作的命令。它由一串二进制数码组成，通常包括两个部分：操作码和地址码。其中，操作码指明该指令要完成的操作的类型或性质，如取数、做加法或输出数据等，而地址码则指明操作对象的内容或所在的存储单元地址。根据指令类型，某个具体的存储领域被称作“寄存器(register)”，里面包含了可用于调出指令的数据或数据存储位置。手术操作指令即为指示虚拟实境手术场景生成装置执行手术操作的命令。

具体实施中，当医生或者其他用户通过佩戴虚拟现实(Virtual Reality，VR)眼镜、VR手套、VR服饰等VR设备进入虚拟实境后，通过虚拟实境手术场景生成装置输入手术操作时，这些操作对于虚拟实境手术场景生成装置而言，就是一系列指令，虚拟实境手术场景生成装置接收到这些指令后，根据指令类型，从预设的存储器中提取指令并对指令进行解析，提取指令携带的信息，如手术操作手势和手术操作人体部位标识。所述手术操作手势可以包括手指开合度、手指弯曲度等信息、手指移动轨迹等，从而准确确定输入的操作；所述手术操作人体部位标识用于唯一识别人体部位，如心、肝、脾、肺、肾、眼、耳、鼻、喉等器官或各组织，以确定手术操作部位。

可选的，可通过虚拟实境手术场景生成装置中的体感设备接收所输入的指令，在用户初次使用该设备时，可预先进行调试，从而使得用户的操作被精准的采集。

步骤S203，将所述手术操作人体部位标识所指示的虚拟实境人体模型的部位与所述手术操作手势进行合成处理以生成虚拟实境手术场景，并在虚拟实境显示界面采用预设显示效果显示所述虚拟实境手术场景；

具体的，所述合成处理即为将所输入的手术操作以及对应的人体部位进行合成，以实现对人体进行手术的目的，具体将手术操作人体部位标识所指示的虚拟实境人体模型的部位(如心、肝、脾、肺、肾等部位)与手术操作手势进行合成，此合成处理过程即为虚拟实境手术场景生成过程，同时，在虚拟实境手术场景生成装置的虚拟实境显示界面(交互界面)将该场景进行输出，所述输出可以为实时的。同时，采用预设的显示效果对该虚拟实境手术场景进行显示，所述预设的显示效果可以为在一个平面180旋转显示，也可以为空间360旋转显示，还可以为对手术部位放大或者不同颜色等方式突出显示等等，此处不作具体限定。

步骤S204，根据所述手术操作信息实时输出反馈信息，所述反馈信息包括反馈正常和反馈异常；

具体的，在上述描述的虚拟实境手术场景中，人形模型对所输入的操作实时进行反馈，输出反馈信息。所述反馈信息可以为反馈正常，如此操作正确，次操作合理，此操作精准等；也可以为反馈异常，如此操作错误，此操作有误差，此操作不合理，此操作会产生严重后果等。

步骤S205，在所述反馈信息为反馈异常时，输出异常提示信息。

具体的，若输出的反馈信息为反馈异常时，进行提示。可以文本、音频、视频、闪烁灯光等方式进行提示；还可以根据反馈异常的严重程度以不同方式提示，如严重闪烁红灯、轻微闪烁黄灯，或者严重提示音量大，轻微提示音量小，等等，具体不限定。

在本发明实施例中，虚拟实境手术场景生成装置采集目标人体的三维数据、各人体部位的指标数据以及各人体组织的指标数据等体征数据，以生成虚拟实境人形模型，当接收到针对该虚拟实境人形模型所输入的手术操作指令时，获取相应的手术操作信息，并将虚拟实境人形模型与手术操作信息进行合成处理以生成虚拟实境手术场景同时进行输出。通过对生成的虚拟实境人形模型进行手术训练，使得手术人员可对手术操作及手术效果进行预判，丰富了手术操作的方式，并提高了手术的成功率。

图3是本发明实施例提供的一种虚拟实境手术场景生成装置的组成结构示意图，如图所示所述装置包括：

模型生成模块10，用于采集目标人体的体征数据，根据所述体征数据生成虚拟实境人形模型，所述体征数据包括三维数据、各人体部位的指标数据以及各人体组织的指标数据等；

信息获取模块20，用于当接收到针对所述虚拟实境人形模型所输入的手术操作指令时，获取手术操作信息，所述手术操作信息包括手术操作手势；

场景生成模块30，用于将所述虚拟实境人形模型与所述手术操作信息进行合成处理以生成虚拟实境手术场景，并将所述虚拟实境手术场景进行输出。

可选的，所述手术操作信息还包括手术操作人体部位标识；

所述场景生成模块30具体用于：

将所述手术操作人体部位标识所指示的虚拟实境人体模型的部位与所述手术操作手势进行合成处理以生成虚拟实境手术场景，并将所述虚拟实境手术场景进行输出。

可选的，所述场景生成模块30具体用于：

将所述虚拟实境人形模型与所述手术操作信息进行合成处理以生成虚拟实境手术场景，在虚拟实境显示界面采用预设显示效果显示所述虚拟实境手术场景。

可选的，如图4所示，所述装置还包括：

反馈信息输出模块40，用于根据所述手术操作信息实时输出反馈信息，所述反馈信息包括反馈正常和反馈异常。

可选的，如图4所示，所述装置还包括：

提示信息输出模块50，用于在所述反馈信息为反馈异常时，输出异常提示信息。

在本发明实施例中，虚拟实境手术场景生成装置采集目标人体的三维数据、各人体部位的指标数据以及各人体组织的指标数据等体征数据，以生成虚拟实境人形模型，当接收到针对该虚拟实境人形模型所输入的手术操作指令时，获取相应的手术操作信息，并将虚拟实境人形模型与手术操作信息进行合成处理以生成虚拟实境手术场景同时进行输出。通过对生成的虚拟实境人形模型进行手术训练，使得手术人员可对手术操作及手术效果进行预判，丰富了手术操作的方式，并提高了手术的成功率。

图5展示了一种运行上述虚拟实境手术场景生成方法的基于冯诺依曼体系的计算机系统10。该计算机系统10可以是智能手机、平板电脑、掌上电脑，笔记本电脑或个人电脑等用户终端设备。具体的，可包括通过系统总线连接的外部输入接口1001、处理器1002、存储器1003和输出接口1004。其中，外部输入接口1001可包括触控屏10016，可选的还可以包括网络接口10018。存储器1003可包括外存储器10032(例如硬盘、光盘或软盘等)和内存储器10034。输出接口1004可包括显示屏10042和音响/喇叭10044等设备。

在本实施例中，本方法的运行基于计算机程序，该计算机程序的程序文件存储于前述基于冯诺依曼体系的计算机系统10的外存储器10032中，在运行时被加载到内存储器10034中，然后被编译为机器码之后传递至处理器1002中执行，从而使得基于冯诺依曼体系的计算机系统10中形成逻辑上的模型生成模块10、信息获取模块20、场景生成模块30、反馈信息输出模块40以及提示信息输出模块50，且在上述虚拟实境手术场景生成方法执行过程中，输入的参数均通过外部输入接口1001接收，并传递至存储器1003中缓存，然后输入到处理器1002中进行处理，处理的结果数据或缓存于存储器1003中进行后续地处理，或被传递至输出接口1004进行输出。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。

以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。