一种虚拟手术模拟方法、装置、电子设备及存储介质

1.本发明涉及医学技术领域，尤其涉及一种虚拟手术模拟方法、装置、电子设备及存储介质。


背景技术：

2.科学技术的发展带动了社会的进步，新兴科技术被运用到医疗领域中，对医疗行业产生了巨大的影响。
3.虚拟手术仿真系统是科技技术在医学领域的一个典型应用。医疗手术复杂多样，其术前设计、手术操作及术后预测较为困难，虚拟现实技术为医生提供了虚拟的手术环境以及可交互操作平台，能够模拟临床手术的全过程，为该问题的解决提供了一种理想的方法。与传统的手术模拟方式相比，基于三维显示的虚拟手术技术具有无损伤性、可重复性和可指定性等优点。
4.为了获得真实的手术虚拟效果，手势以及手术动作的识别至关重要。现在的虚拟手术一般是利用键盘、鼠标或通过佩戴数据手套的方式来获取用于虚拟手术的信息和指令。但是利用键盘和鼠标获取信息与通过手握器械来完成真实手术的差异较大，虚拟手术操作效果大打折扣。数据手套虽然可以通过实时采集手部关节数据来获得手势信息，但数据手套一般价格昂贵而且使用时有较多限制，应用成本高，不易普及。


技术实现要素：

5.本发明提供一种虚拟手术模拟方法、装置、电子设备及存储介质，旨在有效解决现有技术中进行虚拟手术时需要依赖信息输入设备或数据手套等穿戴设备才能将虚拟手术操作者的手势和显示器上的虚拟手模型相关联的技术问题。
6.根据本发明的一方面，本发明提供一种虚拟手术模拟方法，所述方法包括：
7.根据预采集的虚拟手术操作者的手部三维信息确定对应的虚拟手模型；
8.显示用于进行所述虚拟手术的虚拟空间并建立与所述虚拟空间相关联的坐标系，所述虚拟空间中包括虚拟手术器械模型、作为所述虚拟手术对象的虚拟人体组织模型以及所述虚拟手模型；
9.在所述虚拟手术实施过程中，实时采集所述手部三维信息，并基于所述手部三维信息识别所述虚拟手术操作者的手势，以及所述虚拟手术器械模型、所述虚拟人体组织模型和所述虚拟手模型之间的位置关系；
10.基于所述手势以及所述位置关系确定所述虚拟手术操作者的指令以及操作动作，并根据所述指令和所述操作动作在所述虚拟空间中同步显示所述虚拟手术的虚拟画面。
11.进一步的，所述在所述虚拟手术实施过程中，所述实时采集所述手部三维信息包括：
12.通过基于飞行时间的深度检测方式实时采集所述虚拟手术操作者的手部三维信息。
13.进一步的，所述通过基于飞行时间的深度检测方式实时采集所述手部三维信息包括：
14.驱使两个位于同一平面不同位置的深度检测装置各自持续以空间扫描的方式发射调制光脉冲以实时地捕获所述虚拟手术操作者手部上的不同部位的深度信息；
15.基于所述两个深度检测装置各自探测到的手部上的不同部位的深度信息，根据三角测量法计算所述手部三维信息。
16.进一步的，所述驱使两个位于同一平面不同位置的深度检测装置各自持续以空间扫描的方式发射调制光脉冲以实时地捕获所述虚拟手术操作者手部上的不同部位的深度信息包括：
17.针对每条能够扫描到所述虚拟手术操作者的手部的扫描线，获取该扫描线对应的调制光脉冲的发射时间以及从所述虚拟手术操作者的手部的不同部分反射回的信号的接收时间；
18.基于所述发射时间和所述接收时间的差值确定所述虚拟手术操作者手部上的不同部位在所述坐标系中相对于发射该调制光脉冲的所述深度检测装置的深度信息。
19.进一步的，所述虚拟手模型由基于解剖学及运动学而预先设定的15个刚体构成，并且所述虚拟手模型具有22个自由度。
20.进一步的，所述基于所述手部三维信息识别所述虚拟手术操作者的手势，以及所述虚拟手术器械模型、所述虚拟人体组织模型和所述虚拟手模型之间的位置关系包括：
21.基于所述手部三维信息确定手部特征向量，所述手部特征向量包含下列信息中的至少一个：手指弯曲度、伸出手指的数量、相邻手指之间的夹角、相邻指尖之间的距离；
22.将所述手部特征向量输入经训练的分类器；
23.所述经训练的分类器基于所输入的手部特征向量识别所述虚拟手术操作者的手势。
24.进一步的，所述基于所述手部三维信息识别所述虚拟手术操作者的手势以及所述虚拟手术器械模型、所述虚拟人体组织模型和所述虚拟手模型之间的位置关系还包括：
25.基于所述手部三维信息识别所述虚拟手术器械模型和所述虚拟手模型之间是否发生空间位置碰撞，以及识别所述虚拟人体组织模型和所述虚拟手术器械模型之间是否发生空间位置碰撞；
26.在识别出所述虚拟手术器械模型和所述虚拟手模型之间发生空间位置碰撞和/或所述虚拟人体组织模型和所述虚拟手术器械模型之间发生空间位置碰撞时，在所述虚拟空间中同步显示与所述空间位置碰撞相关联的预设动作。
27.进一步的，所述基于所述手部三维信息识别所述虚拟手术器械模型和所述虚拟手模型之间是否发生空间位置碰撞，以及识别所述虚拟人体组织模型和所述虚拟手术器械模型之间是否发生空间位置碰撞包括：
28.基于所述虚拟手术器械模型、所述虚拟人体组织模型以及所述虚拟手模型构建多级包围盒模型，所述多级包围盒模型包括与所述虚拟手术器械模型、所述虚拟人体组织模型以及所述虚拟手模型相关联的包围盒的属性信息，所述属性信息至少包括各级包围盒的大小、位置信息以及各级包围盒的面片表信息；
29.根据所述多级包围盒模型识别所述虚拟手术器械模型和所述虚拟手模型之间是
否发生空间位置碰撞，以及识别所述虚拟人体组织模型和所述虚拟手术器械模型之间是否发生空间位置碰撞。
30.进一步的，所述根据所述多级包围盒模型识别所述虚拟手术器械模型和所述虚拟手模型之间是否发生空间位置碰撞，以及识别所述虚拟人体组织模型和所述虚拟手术器械模型之间是否发生空间位置碰撞包括：
31.针对每组待识别的两个包围盒，根据所述两个包围盒各自的最大名义半径、最小名义半径以及所述两个包围盒的几何中心点之间的距离确定所述两个包围盒是否发生空间位置碰撞；
32.其中，若所述两个包围盒的几何中心点之间的距离大于两个包围盒各自的最大名义半径之和，则确定分别与所述两个包围盒相关联的模型不发生空间位置碰撞；
33.若所述两个包围盒的几何中心点之间的距离小于两个包围盒各自的最小名义半径之和，则确定分别与所述两个包围盒相关联的模型发生空间位置碰撞；
34.否则，采用包围盒-面片检测方式进一步识别所述虚拟手术器械模型和所述虚拟手模型之间是否发生空间位置碰撞和/或所述虚拟人体组织模型和所述虚拟手术器械模型之间是否发生空间位置碰撞。
35.进一步的，所述采用包围盒-面片检测方式进一步识别所述虚拟手术器械模型和所述虚拟手模型之间是否发生空间位置碰撞和/或所述虚拟人体组织模型和所述虚拟手术器械模型之间是否发生空间位置碰撞包括：
36.针对每组待识别的两个包围盒，选取其中的一个包围盒与构成另一个包围盒的面片的空间几何关系并根据分离轴算法确定所述两个包围盒是否发生空间位置碰撞；
37.其中，若识别出其中的一个包围盒与构成另一个包围盒的面片中的一个发生空间位置碰撞，则确定分别与所述两个包围盒相关联的模型发生空间位置碰撞，否则，确定分别与所述两个包围盒相关联的模型不发生空间位置碰撞。
38.根据本发明的另一方面，本发明提供一种虚拟手术模拟装置，包括：预处理模块，用于根据预采集的虚拟手术操作者的手部三维信息确定对应的虚拟手模型，并显示用于进行所述虚拟手术的虚拟空间以及建立与所述虚拟空间相关联的坐标系，所述虚拟空间包括虚拟手术器械模型、作为所述虚拟手术对象的虚拟人体组织模型以及所述虚拟手模型；信息采集及识别模块，用于在所述虚拟手术实施过程中，实时采集所述虚拟手术操作者的手部三维信息，并基于所述手部三维信息识别所述虚拟手术操作者的手势以及所述虚拟手术器械模型、所述虚拟人体组织模型和所述虚拟手模型之间的位置关系；虚拟同步模块，用于基于所述手势以及所述位置关系确定所述虚拟手术操作者的指令以及操作动作，并根据所述指令和操作动作在所述虚拟空间中同步显示所述手术的虚拟画面。
39.根据本发明的另一方面，本发明提供一种电子设备，所述电子设备包括存储器、处理器以及存储在上述存储器中并可在上述处理器上运行的计算机程序，上述处理器执行上述计算机程序时实现如上所述的任一虚拟手术模拟方法。
40.根据本发明的另一方面，本发明提供一种存储介质，所述存储介质中存储有多条指令，所述指令适于由处理器加载以执行如上所述的任一虚拟手术模拟方法。
41.通过本发明中的上述实施例中的一个实施例或多个实施例，至少可以实现如下技术效果：
42.由于可以实时采集虚拟手术实施者的手部三维信息，并根据该手部三维信息确定相应的虚拟手模型，故不需要在手上穿戴数据采集设备，可以解放双手，便于灵活地进行手术模拟，同时，在虚拟手术实施过程中，通过手部三维信息识别虚拟手术器械模型、虚拟人体组织模型以及虚拟手模型之间的位置关系，通过虚拟模型之间的位置关系，可以判断出不同虚拟模型之间的碰撞情况，并根据指令和操作动作确定虚拟手术的虚拟画面，快速精准地模拟真实的手术过程。本方案不但可以实时显示虚拟手术操作者的手部姿态，还可以通过手部姿态直接控制手术进程，在获取指令和操作动作时可脱离键盘和鼠标的限制，由此获得使虚拟手术操作者的手部活动不受其它设备的影响，使操作者身临其境地进行手术模拟的技术效果。
附图说明
43.下面结合附图，通过对本发明的具体实施方式详细描述，将使本发明的技术方案及其它有益效果显而易见。
44.图1为本发明实施例一提供的一种虚拟手术模拟方法的步骤流程图；
45.图2为虚拟手模型的刚体和自由度示意图；
46.图3为用于识别虚拟手术操作者的手势的静态手势；
47.图4为包围盒二叉树分割法示意图；
48.图5为包围盒名义半径判断法示意图；
49.图6为本发明实施例三提供的一种虚拟手术模拟装置的结构示意图。
具体实施方式
50.本发明实施例提供一种虚拟手术模拟方法、装置、电子设备及存储介质，能够解决现有技术中进行虚拟手术时需要依赖信息输入设备或数据手套等穿戴设备才能将虚拟手术操作者的手势和显示器上的虚拟手模型相关联的技术问题。
51.本发明实施例中的技术方案为解决上述的技术问题，总体思路如下：
52.在本发明实施例中，根据预采集的虚拟手术操作者的手部三维信息确定对应的虚拟手模型；显示用于进行虚拟手术的虚拟空间并建立与虚拟空间相关联的坐标系，虚拟空间中包括虚拟手术器械模型、作为虚拟手术对象的虚拟人体组织模型以及虚拟手模型；在虚拟手术实施过程中，实时采集手部三维信息，并基于手部三维信息识别虚拟手术操作者的手势，以及虚拟手术器械模型、虚拟人体组织模型以及虚拟手模型之间的位置关系；基于手势以及位置关系确定虚拟手术操作者的指令以及操作动作，并根据指令和操作动作在虚拟空间中同步显示虚拟手术的虚拟画面。本发明提供上述方法，用以解决现有技术中进行虚拟手术时需要依赖信息输入设备或数据手套等穿戴设备才能将虚拟手术操作者的手势和显示器上的虚拟手模型相关联的技术问题。相较于现有技术中，本方案可以在显示器上实时显示虚拟手术操作人员的手部姿态，并通过手部姿态直接控制手术进程，相比传统的键盘、鼠标输入，在模拟手术过程中，虚拟手术操作的手部可以脱离键盘和鼠标的限制，也不需要穿戴数据采集设备，便于灵活地进行虚拟手术模拟，使得学习过程自然、直观、易于实施，能使人身临其境地模拟手术实施过程，提升用户体验。
53.另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在
三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本文中字符“/”，在不做特别说明的情况下，一般表示前后关联对象是一种“或”的关系。
54.为了更好的理解上述技术方案，下面通过附图以及具体实施例对本发明技术方案做详细的说明，应当理解本发明实施例以及实施例中的具体特征是对本发明技术方案的详细的说明，而不是对本发明技术方案的限定，在不冲突的情况下，本发明实施例以及实施例中的技术特征可以相互组合。
55.实施例一
56.本发明提供一种虚拟手术模拟方法，可以应用于一装置，其中，对于所述装置具体是什么样的设备本发明不作限制。
57.如图1所示，该信息处理方法的主要流程描述如下：
58.步骤s101：根据预采集的虚拟手术操作者的手部三维信息确定对应的虚拟手模型；
59.步骤s102：显示用于进行虚拟手术的虚拟空间并建立与虚拟空间相关联的坐标系，虚拟空间中包括虚拟手术器械模型、作为虚拟手术对象的虚拟人体组织模型以及虚拟手模型；
60.步骤s103：在虚拟手术实施过程中，实时采集手部三维信息，并基于手部三维信息识别虚拟手术操作者的手势，以及虚拟手术器械模型、虚拟人体组织模型以及虚拟手模型之间的位置关系；
61.步骤s104：基于手势以及位置关系确定虚拟手术操作者的指令以及操作动作，并根据指令和操作动作在虚拟空间中同步显示虚拟手术的虚拟画面。
62.其中，在步骤s101中，根据预采集的虚拟手术操作者的手部三维信息确定对应的虚拟手模型。示例性地，在虚拟手术实施场景中，需要配置采集虚拟手术操作者的手部精细动作信息的传感器，该根据该手部三维信息可以计算出手部处于移动状态时在三维空间中的移动加速度、速度和移动方向等，以及手部旋转时手掌的转动角度、角速度和旋转方向等，进而确定对应的虚拟手模型。其中，在获取手部信息时，可以由一种传感器获取数据，也可以使用多种传感器采集数据，在实际应用中，对于使用什么类型的传感器，本领域的技术人员可以根据具体需求确定，对此本发明不作限定。
63.当执行完步骤s101以后，执行步骤s102，显示用于进行虚拟手术的虚拟空间并建立与虚拟空间相关联的坐标系，虚拟空间中包括虚拟手术器械模型、作为虚拟手术对象的虚拟人体组织模型以及虚拟手模型。示例性地，在虚拟手术系统中，需要在显示界面上显示用于进行虚拟手术的虚拟空间，并且在该虚拟空间中建立与虚拟空间相关联的坐标系，用以精确地显示虚拟模型。其中显示设备可以是vr头显、计算机显示器或液晶显示器，vr头显可以是vr眼镜、vr眼罩或vr头盔等，对于显示设备的类型，本发明不做限定。在虚拟空间中，至少包括虚拟手术器械模型、作为虚拟手术对象的虚拟人体组织模型以及虚拟手模型，其中，虚拟手术器械模型根据手术类型来确定，例如可包括手术刀、手术剪、组织钳、消毒棉等。相应的，虚拟人体组织模型也根据手术类型来确定，例如虚拟颅颌面多组织生物力学模型、胃部模型等。除了虚拟手术器械模型和虚拟人体组织模型，还实时显示与虚拟手术操作者的手势相对应的虚拟手模型，把虚拟手术操作者在现实中作出的手部动作同步显示在显示器上。
64.在执行步骤s102以后，执行步骤s103，在虚拟手术实施过程中，实时采集手部三维信息，并基于手部三维信息识别虚拟手术操作者的手势，以及虚拟手术器械模型、虚拟人体组织模型以及虚拟手模型之间的位置关系。示例性地，虚拟手术系统需要实时采集手部三维信息，对手部三维信息进行深度计算，来识别出虚拟手术操作者的手势，同时，通过手部三维信息获得虚拟手术器械模型、虚拟人体组织模型和虚拟手模型之间的位置关系，其中，该位置关系还包括不同虚拟模型之间发生碰触时的精确位置。在虚拟手术实施过程中，虚拟手术器械模型和虚拟人体组织模型在不被碰触的情况下是静态显示的，虚拟手模型是随着虚拟手术操作者的手部移动而移动的，当虚拟手模型移向某个虚拟手术器械模型时，虚拟手术系统通过实时采集手部三维信息来判断虚拟手模型是否碰触到虚拟手术器械模型，以及与虚拟手术器械模型发生碰触时的精确位置。当虚拟手模型抓取到虚拟手术器械模型以后，则需要通过实时采集手部三维信息来判断虚拟手术器械模型是否碰触到虚拟人体组织模型，以及与虚拟人体组织模型发生碰触时的精确位置。
65.在执行步骤s103以后，执行步骤s104，基于手势以及位置关系确定虚拟手术操作者的指令以及操作动作，并根据指令和操作动作在虚拟空间中同步显示虚拟手术的虚拟画面。示例性地，虚拟手术操作者可以通过预设的特定手势来发出用于控住虚拟模拟手术的指令，该指令具体可用于控制虚拟手术的手术类型以及手术执行过程中的操作步骤或操作动作，比如当虚拟手术操作者作出剪刀手的动作时，则表示虚拟手术的操作动作为剪开虚拟人体组织模型，当虚拟手术操作者作出连挥两次手的动作时，表示执行下一步虚拟手术操作步骤。通过虚拟模型之间的位置关系，可以确定出虚拟模型之间的碰撞状态以及碰撞的具体位置。当虚拟手模型碰触到虚拟手术器械模型时，需要获取用于确定手术操作的操作指令，进而确定虚拟手模型要执行的操作动作。比如，虚拟手模型碰触到虚拟手术刀模型时，需要确定虚拟手模型抓取虚拟手术刀模型的指令和操作动作，比如以持弓法、执笔法、抓持法、反挑法中的一种姿势手持虚拟手术刀模型。确定操作动作后则根据碰触位置来执行该操作动作，比如用虚拟手模型的右手的拇指和食指固定住虚拟手术刀模型，然后控制虚拟手术刀模型随着虚拟手模型的移动而移动。同理，如果虚拟手术器械模型碰触到虚拟人体组织模型，则需要通过指令和操作动作来确定虚拟手术器械模型在虚拟人体组织模型上执行的具体手术操作，比如切割、穿刺、缝合等。可选的，如果通过位置关系确定出虚拟手模型碰触的是虚拟人体组织模型，则可以通过操作指令确定虚拟手模型要执行的操作，比如提拉、按压、翻折、抬起、放下等动作。
66.根据指令和操作动作在虚拟空间中同步显示虚拟手术的虚拟画面。示例性地，根据指令以及操作动作可以确定虚拟手术的具体操作动作，根据位置关系以及发生碰触后的碰触位置，可以获取执行虚拟手术的虚拟人体组织模型的手术位置，当手术位置和手术操作动作都确定以后，则在手术位置处显示对应的手术效果。例如，在基于颅颌面多组织生物力学模型的虚拟手术中，操作者通过虚拟手术操作者作出的手势动作，控制虚拟手模型抓取到虚拟手术刀模型，并把虚拟手术刀模型的刀尖移动到虚拟颌面软组织模型上，虚拟手术系统获取到执行穿刺的指令，确定操作动作为穿刺，则在虚拟颌面软组织模型上动态模拟显示手术刀穿刺颌面软组织的效果，模拟真实的手术环境。
67.在本发明实施例中，由于可以实时采集虚拟手术实施者的手部三维信息，并根据该手部三维信息确定相应的虚拟手模型，故不需要在手上穿戴数据采集设备，可以解放双
手，便于灵活地进行手术模拟，同时，在虚拟手术实施过程中，通过手部三维信息识别虚拟手术器械模型、虚拟人体组织模型以及虚拟手模型之间的位置关系，基于手势以及位置关系确定虚拟手术的虚拟画面，从而能够精准模拟真实的手术过程。本方案不但可以实时显示虚拟手术操作者的手部姿态，还可以通过手部姿态直接控制手术进程，在获取指令和操作动作时可脱离键盘和鼠标的限制，由此获得使虚拟手术操作者的手部活动不受其它设备的影响，使操作者身临其境地进行手术模拟的技术效果。
68.实施例二
69.基于与本发明实施例一中虚拟手术模拟方法同样的发明构思，本发明实施例二的虚拟手术模拟方法包括：
70.进一步的，通过基于飞行时间的深度检测方式实时采集虚拟手术操作者的手部三维信息。飞行时间测距方法属于双向测距技术，主要利用信号在两个异步收发机或被反射面之间往返的飞行时间来测量节点之间的距离。在虚拟手术模拟系统中，通过基于飞行时间的深度检测方式对信息进行采集，具体来说，需要实时采集虚拟手术操作者的手部三维信息，手部包括手指的每个骨骼和关节以及手掌和手腕等。
71.进一步的，驱使两个位于同一平面不同位置的深度检测装置各自持续以空间扫描的方式发射调制光脉冲以实时地捕获虚拟手术操作者手部上的不同部位的深度信息。基于两个深度检测装置各自探测虚拟手术操作者手部上的不同部位的深度信息，根据三角测量法计算手部三维信息。具体来说，可通过摄像头、传感器等深度检测装置对虚拟手术操作者的手部进行追踪，获取手部的相关信息。深度检测装置可测量光线在深度检测装置和虚拟手术操作者手部之间的往返时间，进而计算出距离。深度检测装置向手部多个位置各自持续以空间扫描的方式发射调制光脉冲，并接收虚拟手术操作者手部反射回的调制光脉冲，通过深度计算实时地捕获虚拟手术操作者手部上的不同部位的深度信息。
72.基于两个深度检测装置各自探测到的手部上的不同部位的深度信息，根据三角测量法计算手部三维信息。具体来说，两个深度检测装置可拍摄虚拟手术操作者手部的图片信息，得到两幅针对同一环境的不同视角照片，通过比对不同摄像头在同一时刻获得的图像的差别，使用算法来计算深度信息，通过多角三维成像获取虚拟手术操作者手部在三位空间中的位置信息和位移信息。
73.进一步的，针对每条能够扫描到虚拟手术操作者的手部的扫描线，获取该扫描线对应的调制光脉冲的发射时间以及从虚拟手术操作者的手部的不同部分反射回的信号的接收时间，基于发射时间和接收时间的差值确定虚拟手术操作者手部上的不同部位在坐标系中相对于发射该调制光脉冲的深度检测装置的深度信息。示例性地，当获取到扫描线对应的调制光脉冲的发射时间和反射信号的接收时间后，计算出两个时间的差值，根据调制光脉冲的飞行时间和光速，确定虚拟手术操作者手部上的不同部位在坐标系中相对于发射该调制光脉冲的深度检测装置的深度信息，进而能够实时采集虚拟手术操作者手部处于移动状态时在三维空间中运动加速度、移动速度和移动方向，以及手部旋转时手掌的转动角度、角速度和旋转方向等信息。
74.进一步的，虚拟手模型由基于解剖学及运动学而预先设定的15个刚体构成，并且虚拟手模型具有22个自由度。示例性地，图2所示为虚拟手模型的刚体和自由度示意图，在该虚拟手模型中，由15个刚体和22个自由度构成。在运动过程中，骨骼不会改变形状，可作
为刚性体进行处理，对应手的解剖结构中的骨骼对每一只虚拟手模型设计了15个刚体，如图2所示，在一只虚拟手模型中，15个长方体表示15个刚体，其中，每根手指的3个骨骼对应3个刚体，一只手的15个手指骨骼对应15个刚体。图2中的22个椭圆则表示22个自由度，对应骨骼之间可活动的关节，其中，为了提高手势识别的准确度，手掌部分对应7个自由度。在虚拟手术中，可通过控制刚体和自由度的位置和角度来控制虚拟手模型在虚拟空间中的空间位置、几何姿态以及抓取状态等。
75.进一步的，基于手部三维信息确定手部特征向量，手部特征向量包含下列信息中的至少一个：手指弯曲度、伸出手指的数量、相邻手指之间的夹角、相邻指尖之间的距离；将手部特征向量输入经训练的分类器；经训练的分类器基于所输入的手部特征向量识别虚拟手术操作者的手势。示例性地，根据手部三维信息可以计算出手部特征向量，手部特征向量根据虚拟手术模拟系统的需求确定，可以是手指弯曲度、伸出手指的数量、相邻手指之间的夹角、相邻指尖之间的距离中的一个或多个。然后将手部特征向量输入经训练的分类器，采用最优分类函数，进行多类分类器的训练，在进行训练的步骤之后，将进行线上的识别阶段，要求快速度、高精确度地识别，将手部特征向量对应到标签上，标签按0，1，2依次顺序排列，映射到各类手势。图3所示为虚拟手术模拟系统中预存的用于识别虚拟手术操作者的手势的静态手势数据库，储存着若干种作为待识别对象的静态手势。根据手部特征向量，可以在静态手势数据库中匹配出虚拟手术操作者的手势。
76.基于手部三维信息识别虚拟手术器械模型和虚拟手模型之间是否发生空间位置碰撞，以及识别虚拟人体组织模型和虚拟手术器械模型之间是否发生空间位置碰撞。在识别出虚拟手术器械模型和虚拟手模型之间发生空间位置碰撞和/或虚拟人体组织模型和虚拟手术器械模型之间发生空间位置碰撞时，在虚拟空间中同步显示与空间位置碰撞相关联的预设动作。示例性地，基于手部三维信息识别可以识别出不同的虚拟模型之间的碰撞关系，包括虚拟手术器械模型和虚拟手模型之间，以及虚拟人体组织模型和虚拟手术器械模型之间的碰撞关系。同时需要在虚拟空间中同步显示与空间位置碰撞相关联的手势动作，模拟真实手术中的手术场景。
77.进一步的，基于虚拟手术器械模型、虚拟人体组织模型以及虚拟手模型构建多级包围盒模型，多级包围盒模型包括与虚拟手术器械模型、虚拟人体组织模型以及虚拟手模型相关联的包围盒的属性信息，属性信息至少包括各级包围盒的大小、位置信息以及各级包围盒的面片表信息。根据多级包围盒模型识别虚拟手术器械模型和虚拟手模型之间是否发生空间位置碰撞，以及识别虚拟人体组织模型和虚拟手术器械模型之间是否发生空间位置碰撞。示例性地，基于多级包围盒模型进行虚拟模型的碰撞检测，多级包围盒模型包括属性信息，属性信息至少包括各级包围盒的大小、位置信息以及各级包围盒的面片表信息。具体来说，可包括描述信息、面片信息(点、法向量)、包围盒二叉树信息。其中描述信息用于描述模型的基本信息，如模型id、名称、精度以及根包围盒尺寸等。面片信息包含面片的顶点链表、法向量链表以及面片表。对虚拟模型的包围盒进行层层分割，去掉无相交状态的包围盒，保留有相交状态的包围盒。例如，图4所示为包围盒二叉树分割法示意图，通过二叉树将根包围盒分为左右两个包围盒，如果这两个包围盒都与图形相交，则双点画线进行二次分割线，将包围盒进一步分割为4个包围盒，去掉无相交状态的包围盒，把剩下的包围盒画线为三次分割线，将二次分割所得包围盒进一步分割为8个包围盒，保留处于相交状态的包围
盒，舍弃无相交状态的包围盒，采用同样的分割方法直至将每个虚拟模型的包围盒分割到满足精度要求为止。
78.进一步的，针对每组待识别的两个包围盒，根据两个包围盒各自的最大名义半径、最小名义半径以及两个包围盒的几何中心点之间的距离确定两个包围盒是否发生空间位置碰撞。其中，若两个包围盒的几何中心点之间的距离大于两个包围盒各自的最大名义半径之和，则确定分别与两个包围盒相关联的模型不发生空间位置碰撞。若两个包围盒的几何中心点之间的距离小于两个包围盒各自的最小名义半径之和，则确定分别与两个包围盒相关联的模型发生空间位置碰撞。否则，采用包围盒-面片检测方式进一步识别虚拟手术器械模型和虚拟手模型之间是否发生空间位置碰撞和/或虚拟人体组织模型和虚拟手术器械模型之间是否发生空间位置碰撞。
79.示例性地，通过名义半径法判断包围盒之间的位置关系。每个虚拟模型的包围盒的盒中心到包围盒表面上点的最大距离称为最大名义半径r
max
，最小距离称为最小名义半径r
min
。对于包围盒来说，最大名义半径r
max
等于包围盒最短边边长的一半，最小名义半径r
min
等于包围盒对角线长度的一半。
80.图5所示为包围盒名义半径判断法示意图，在该图中，需要进行相交检测的两包围盒分别为b1和b2，b1的最大、最小名义半径分别为r
max1
、r
min1
，b2的最大、最小名义半径分别为r
max
、r
min
，两包围盒中心分别为c1和c2，c1和c2之间的距离为d，则包围盒b1和b2之间的相交检测法基本原理为：
[0081][0082]
当两个虚拟模型的包围盒之间的距离小于两个包围盒的最小名义半径r
min
之和时，两个包围盒处于相交状态，即两个包围盒对应的模型产生生空间位置碰撞。当两个虚拟模型的包围盒之间的距离大于两个包围盒的最大名义半径r
max
之和时，表示两个包围盒处于分离状态，则两个包围盒对应的模型没有发生空间位置碰撞。当两个虚拟模型的包围盒之间的距离大于两个包围盒的最小名义半径r
min
之和，且小于两个包围盒的最大名义半径r
max
之和时，不能判断两个包围盒的碰撞关系，则采用包围盒-面片检测方式进一步识别虚拟模型之间的空间位置碰撞情况。
[0083]
进一步的，针对每组待识别的两个包围盒，选取其中的一个包围盒与构成另一个包围盒的面片的空间几何关系并根据分离轴算法确定两个包围盒是否发生空间位置碰撞。其中，若识别出其中的一个包围盒与构成另一个包围盒的面片中的一个发生空间位置碰撞，则确定分别与两个包围盒相关联的模型发生空间位置碰撞，否则，确定分别与两个包围盒相关联的模型不发生空间位置碰撞。示例性地，通过包围盒与面片的相交检测来进行碰撞检测，由于实际中的面片通常多是三角面片，所以采用分离轴判断法来加快包围盒与三角面片之间的相交检测速度。分离轴算法是空间中凸多面体之间相交检测的常用方法，在碰撞检测中将三角面片看成是空间凸多面体的退化，进而通过面片与包围盒进行相交检测。对于虚拟手术系统中待识别的两个包围盒，确定其中的一个包围盒与构成另一个包围盒的面片的空间几何关系，根据分离轴算法确定两个包围盒的空间位置碰撞状态。当一个
包围盒与构成另一个包围盒的面片中的一个发生空间位置碰撞，则确定两个包围盒对应的模型发生空间位置碰撞，否则两个模型不发生空间位置碰撞。
[0084]
实施例三
[0085]
基于与本发明实施例一中虚拟手术模拟方法同样的发明构思，本发明实施例提供一种装置，请参考图6，所述装置包括：
[0086]
预处理模块201，用于根据预采集的虚拟手术操作者的手部三维信息确定对应的虚拟手模型，并显示用于进行所述虚拟手术的虚拟空间并建立与所述虚拟空间相关联的坐标系，所述虚拟空间中包括虚拟手术器械模型、作为所述虚拟手术对象的虚拟人体组织模型以及所述虚拟手模型；
[0087]
信息采集及识别模块202，用于在所述虚拟手术实施过程中，实时采集所述手部三维信息，并基于所述手部三维信息识别所述虚拟手术操作者的手势，以及所述虚拟手术器械模型、所述虚拟人体组织模型和所述虚拟手模型之间的位置关系；
[0088]
虚拟同步模块203，用于基于所述手势以及所述位置关系确定所述虚拟手术操作者的指令以及操作动作，并根据所述指令和所述操作动作在所述虚拟空间中同步显示所述虚拟手术的虚拟画面。
[0089]
根据本发明的另一方面，本发明提供一种电子设备，所述电子设备包括存储器、处理器以及存储在上述存储器中并可在上述处理器上运行的计算机程序，上述处理器执行上述计算机程序时实现发明任一实施例所述的虚拟手术模拟方法。
[0090]
本发明还提供一种存储介质，所述存储介质中存储有多条指令，所述指令适于由处理器加载以执行发明任一实施例所述的虚拟手术模拟方法。
[0091]
综上所述，虽然本发明已以优选实施例揭露如上，但上述优选实施例并非用以限制本发明，本领域的普通技术人员，在不脱离本发明的精神和范围内，均可作各种更动与润饰，因此本发明的保护范围以权利要求界定的范围为准。