专利名称：用于裁剪三维医疗数据集的方法和系统的制作方法
技术领域：
一般来说，本公开涉及裁剪三维医疗数据集的、基于姿势(gesture)的方法以及用于裁剪三维医疗数据集的、基于姿势的控制系统。
背景技术：
在查看三维医疗数据集的体积渲染时，用户经常必须裁剪三维医疗数据集以便更清晰地查看所需的解剖结构。裁剪去除了三维医疗数据集的一部分以便更清晰地图示底层结构。根据常规技术，用户必须先选择要调整的裁剪平面，然后控制裁剪平面的定位，以便只裁剪图像不需要的部分。用户通常使用用户接口装置、例如鼠标或轨迹球，从而先选择裁剪平面，然后通过使用用户接口装置拖曳裁剪平面将其重新定位。虽然有效，但这种裁剪三维医疗数据集的常规技术远远算不上理想，特别是在手术或其它侵入性医疗过程所需的无菌环境中。 例如，如果外科医生在手术过程期间使用三维医疗数据集作为参考，用户接口装置必须保持无菌。像轨迹球鼠标之类的用户接口装置的真实性质使其难以保持无菌。例如，鼠标通常具有多个按钮，而轨迹球需要在键盘或其它固定装置(mounting fixture)上自由旋转。如果覆盖在无菌罩中，这两种装置的功能性可能会受到一定的影响。而且，在每个手术过程之前，工作人员必须执行额外步骤以确保用户接口装置的无菌性。此外，在执行过程时，外科医生经常难以和不便从带用户接口装置的工作站迁移到患者。因此，由于这些和其它原因，期望用于操纵三维医疗数据集的改进的方法和控制系统。
发明内容
本文解决了上述缺陷、缺点和问题，这通过阅读理解以下说明书将会理解。在一实施例中，一种操纵三维医疗数据集的方法，包括平移身体部位、使用相机系统检测身体部位的平移，以及基于身体部位的平移在三维医疗数据集中平移裁剪平面。该方法包括在平移裁剪平面之后在裁剪平面的位置裁剪三维医疗数据集，以及使用体积渲染显示裁剪的三维医疗数据集。在另一个实施例中，一种操纵三维医疗数据集的方法，包括在预定体积内执行初始化姿势。该方法包括使用相机系统检测初始化姿势和使用处理器确定初始化姿势在预定体积内的位置。该方法包括基于初始化姿势在预定体积内的位置使用处理器选择多个裁剪平面中的一个。该方法包括在预定体积内执行平移姿势和使用相机系统检测平移姿势。该方法包括基于平移姿势使用处理器确定平移方向和平移距离。该方法包括在平移方向中将选择的裁剪平面移动平移距离。该方法包括在移动裁剪平面之后在裁剪平面的位置裁剪三维医疗数据集，并将裁剪的三维医疗数据集显示为体积渲染。在另一个实施例中，一种基于姿势的控制系统，包括相机系统、连接到相机系统的显示装置以及连接到相机系统和显示装置的处理器。处理器配置成在显示装置上显示三维医疗数据集的体积渲染。处理器配置成从相机系统接收平移姿势的相机数据。处理器配置成从相机数据划分身体部位。处理器配置成从相机数据确定平移姿势的平移距离和平移方向。处理器配置成在平移方向中将裁剪平面移动平移距离。处理器配置成在裁剪平面的位置裁剪三维医疗数据集并使用体积渲染在显示装置上显示裁剪的三维医疗数据集。通过附图及其详细描述，本领域的技术人员将会显见到本发明的多种其它特征、目的和优点。
图I是根据一实施例的、基于姿势的控制系统的不意表不；
图2是根据一实施例的方法的流程图；
图3是根据一实施例的握拢的手的示意表示；
图4是根据一实施例的张开的手的示意表示；
图5是根据一实施例的盒子(box)的正视图的示意表示；
图6是根据一实施例的盒子的剖面图的示意表示；
图7是根据一实施例的预定体积的正视图的示意表示；以及 图8是根据一个实施例的预定体积的剖面图的示意表示。
具体实施例方式在以下详细描述中，参照了构成其部分的附图，并且附图中通过举例说明的方式示出可实践的具体实施例。对这些实施例进行充分描述，以便使本领域的技术人员能够实践实施例，并且要理解，可利用其它实施例，可进行逻辑、机械、电和其它变更，而没有背离实施例的范围。因此，以下详细描述不是要理解为限制本发明的范围。图I是根据一实施例的基于姿势的控制系统100的示意表示。基于姿势的控制系统100包括显示装置102、相机系统104以及处理器106。体积渲染的图像可在显示装置102上显示。根据一示范实施例，体积渲染的图像可包括超声图像，例如在获取额外数据时实时更新的现场超声图像。用户107在可由相机系统104检测的位置中显示，以进一步示出可如何使用基于姿势的控制系统100。用户107可使用某个身体部位(如手109)执行姿势。相机系统104包括两个相机108，它们经调整以从显示装置102前方的区域检测相机数据。根据其它实施例，相机系统104可包括仅一个相机。此外，根据其它实施例，相机系统可包括两个或更多采用不同配置的相机。例如，一实施例可包括定位以从显示装置102记录数据的第一个相机，以及定位在由显示装置102定义的平面前方一段距离的第二个相机。此配置可能会有用，因为第二个相机可轻松确定何时用户107在朝显示装置102的方向中移动或离开显示装置102的方向中移动。根据一实施例，处理器106接收三维医疗数据集。处理器106根据用户107执行的姿势裁剪三维医疗数据集。关于处理器如何基于姿势裁剪三维医疗数据集的额外详情将在下文中进一步详细描述。三维医疗数据集可包括来自任何三维成像模态的三维医疗数据集，包括计算机断层扫描(CT)、正电子发射断层扫描(PET)、X射线、超声等。基于姿势的控制系统100可集成到来自上述任何模态的医疗成像系统中，基于姿势的控制系统100可以是工作站的一部分，或者基于姿势的控制系统100可以是独立系统。
处理器106可根据许多不同技术使用体积渲染从三维医疗数据集产生图像。根据一示范实施例，处理器106可通过射线投射技术从视平面(未示出)产生体积渲染的图像。处理器106可从视平面投射多条平行射线到三维医疗数据集。可基于三维医疗数据集中的信息为每个体素指配某个值和不透明度。例如，从前方开始，即查看图像的方向，沿射线的每个值可随相应的不透明度而增加(multiply)。然后，不透明度加权值在沿每条射线从前到后的方向中累计。为视平面中的每个像素重复此过程以产生体积渲染的图像。在另一个实施例中，可为每个样本指配不透明度值并可根据一般渲染方程执行体积组成。根据一实施例，来自视平面的像素值可显示为体积渲染的图像。体积渲染算法可配置成使用不透明度函数提供从不透明度O (完全透明)到1.0(完全不透明)的逐步过渡。在为视平面中的每个像素重指配值时，体积渲染算法可将沿每条射线的体素的不透明度因子化。例如，不透明度接近I. O的体素将阻挡大部分沿射线的体素份额，而不透明度接近O的体素将允许大部分沿射线的体素份额。此外，在可视化一个表面时，在基于值重新指配体素不透明度时，可执行阈值化操作。根据一示范阈值化操作，值高于阈值的体素不透明度可设置为1.0，而值低于阈值的体素不透明度可设置为O。这种类型的阈值化消除了沿射线高于阈值的第一体素之外的任何体素的份额。也可使用其它类型的阈值化方案。例如，在明显高于阈值的 体素设置为1.0(S卩，不透明)而明显低于阈值的体素设置为0(半透明)的情况下，可使用不透明度函数。但是，不透明度函数可用于为值接近阈值的体素指配O和I. O之外的不透明度。这个“过渡区”用于减少在使用简单二进制阈值化算法时可能出现的伪影。可使用将不透明度映射到值的线性函数为值在“过渡区”内的体素指配不透明度。根据其它实施例，可使用从O前进到I. O的其它类型的函数。在一个示范实施例中，可使用梯度阴影填充产生体积渲染的图像，以便向用户呈现相对表面的深度的更好感知。例如，三维医疗数据集内的表面可通过使用去除低于或高于阈值的数据的阈值来被部分地定义。接着，可在每条射线和表面的相交处定义梯度。如上所述，从视平面的每个像素到三维医疗数据集中定义的表面对射线进行跟踪。一旦在每条射线计算出梯度，处理器106(图I中示出)可计算表面上对应于每个像素的位置的光反射并基于梯度应用标准阴影填充方法。根据另一个实施例，处理器106识别明暗度相似的、连接的体素组以便从3D数据定义一个或多个表面。根据其它实施例，射线可从单个视点投射。图2是根据一实施例的操纵三维医疗数据集的方法200的流程图。各个方框表示根据方法200可形成的步骤。方法200的技术效果是在基于姿势确定的裁剪位置显示裁剪的三维医疗数据集。参照图I和图2，在步骤202，用户107执行初始化姿势。初始化姿势可以是相机系统104和处理器106的组合能够检测的任何姿势或移动。在步骤204，处理器106基于来自相机系统104的数据检测初始化姿势。图3是根据一实施例的握拢的手的示意表示，而图4是根据一实施例的张开的手的示意表示。现在参照图1-4,根据示范实施例,在步骤202,用户107可执行从大体握拢或拳状位置(如图3的握拢的手300所示)到大体张开位置(如图4的张开的手400所示)的张开用户的手109的初始化姿势。处理器106可从相机系统104接收相机数据。可进行初始划分以从背景中分离操作员的手或身体。例如，手的划分可基于阈值化、颜色和运动提示的组合以从背景中分离手。划分还可从手分离特征点，而这些特征点用于运动跟踪。特征点可映射到握拢的手及张开的手的简化模型。这是执行图像识别以确定手是张开(根据一实施例对应于操作模式)还是握拢(根据一实施例对应于非操作模式)的示范方法。根据其它实施例，也可以使用其它划分技术。然后，处理器106可在相关相机数据中搜索与图4中所示张开的手400 —致的形状。例如，处理器106可使用算法搜索与用户张开的手一致的五个手指(appendages)。张开用户的手只是初始化姿势的一个示例，可使用其它初始化姿势。根据另一个实施例，作为校准步骤的一部分，用户107可使用基于姿势的控制系统100建立其自己的独特初始化姿势。例如，用户可进入校准或设置模式，然后在相机系统104的视野中执行所需的初始化姿势。然后，处理器106可记录此特定初始化姿势，并在例如方法200的过程期间操纵三维医疗数据集时搜索此初始化姿势。处理器106可使用基于形状的检测算法和/或移动检测算法的组合以识别初始化姿势。图5是根据一实施例的、用于裁剪三维医疗数据集的盒子500的正视图的示意表 示。图6是根据一实施例的盒子500沿剖面线A-A的剖面图的示意表示。共同的参考标号将用于标识图5和图6中的相同结构。参照图5和图6，盒子500包括6个面顶面502、底面504、左面(left side) 506、右面508、前面(front side) 510及后面512。每一面定义相应裁剪平面顶面502定义顶裁剪平面；底面504定义底裁剪平面；左面506定义左裁剪平面；右面508定义右裁剪平面；前面510定义前裁剪平面；以及后面512定义后裁剪平面。下面将描述关于裁剪平面的额外细节。图7是相对相机系统104(图I中示出)定义的预定体积700的正视图的示意表示。图8是预定体积700沿剖面线B-B的剖面图的示意表示。预定体积700的精确界线可由用户在设置或校准过程期间确定，或者可将预定体积700预设为固定大小。根据一实施例，预定体积可为约I米宽、O. 5米高和O. 5米深。此外，预定体积700可定位于显示装置102(图I中示出)前方约3米及地板上方约I. 5米处。但是，应当理解，根据额外实施例，预定体积700可以有不同的大小和/或形状。此外，在其它实施例中，预定体积700可定位于相对显示装置102的不同位置中。参照图7和图8，根据一实施例，预定体积700包括6个子体积顶子体积702、底子体积704、左子体积706、右子体积708、前子体积710及后子体积712。再参照图2，在步骤206，处理器106(图I中示出)确定在步骤202执行的初始化姿势的位置。根据一实施例，处理器106使用来自相机系统104(图I中示出)的输入来确定是否在预定体积700的6个子体积的任何一个中执行初始化姿势。图I中所示的相机系统104包括安装在显示装置102上的两个相机。相机系统104使用来自两个相机的数据更准确地定义执行初始化姿势的三维位置。此外，相机系统可使用相机数据(包括相机的焦深和/或用于执行初始化姿势的身体部位的大小)来准确确定在与显示装置102垂直的距离中的初始化姿势的位置。关于图7和图8显示坐标轴718。坐标轴718在图7中显示x方向和y方向，并且在图8中显示y方向和z方向。根据一实施例，X方向和y方向可定义为在与显示装置102(图I中示出)平行的平面中。z方向可定义为在与显示装置102正交的方向中。在图2的步骤208，处理器106 (图I中示出)基于在步骤206中确定的初始化姿势的位置选择裁剪平面。根据一示范实施例，处理器106可选择对应于执行初始化姿势的子体积的裁剪平面。例如，参照图5、图6、图7和图8，如果在顶子体积702中执行初始化姿势，则处理器106(图I中示出)选择前裁剪平面。如果在底子体积704中执行初始化姿势，则处理器106选择底裁剪平面。如果在前子体积710中执行初始化姿势，则处理器106选择前裁剪平面。如果在后子体积712中执行初始化姿势，则处理器106选择后裁剪平面。如果在左子体积706中执行初始化姿势，则处理器106选择左裁剪平面。如果在右子体积708中执行初始化姿势，则处理器106选择右裁剪平面。在步骤210，用户107(图I中示出)在相机系统104(图I中示出)可检测的位置中执行平移姿势。根据示范实施例，平移姿势可以是大体在以下三个正交方向之一中的移动朝向或离开相机系统104 (即，z方向中)；相对相机系统104的左或右(即，X方向中)；以及相对相机系统104的上或下(即，y方向中)。平移姿势的方向应符合步骤208选择的的裁剪平面。例如，处理器106可能仅允许在与裁剪平面的表面垂直的方向中平移裁剪平面。例如，处理器106会仅允许在z方向中平移前裁剪平面。根据一实施例，平移姿势可包括在所需的平移方向中平移身体部位，例如手。例如，如果要向左移动左裁剪平面或右裁剪 平面，用户可向左平移他的手。平移姿势还可包括身体部位在其它方向中的移动，其它方向包括向相机系统104右方、上方、下方以及朝向或离开相机系统104的方向。根据示范实施例，裁剪平面将跟随平移姿势向左、右、上、下、内及外。对于大体朝向相机系统104或大体离开相机系统104的方向中的平移姿势，处理器106可在相对于进入图像或退出图像的方向调整前裁剪平面或后裁剪平面。通过先识别裁剪平面，并为该裁剪平面确定合理的平移方向，不需要用户做出精确的平移姿势。也就是说，根据一实施例，因为处理器106将仅允许在与平面垂直的方向平移裁剪平面，因此如果用户在大体正确的方向中做出姿势，则处理器106将相应地移动裁剪平面。在步骤212，处理器106检测平移姿势。在步骤204检测初始化姿势之后，处理器106配置成检测身体部位的平移姿运动。根据使用张开手作为初始化姿势的实施例，处理器106可配置成基于来自相机系统104的数据划分用户的手，然后跟踪用户手随时间的移动。在一个这种实施例中，处理器106可识别具有空间定位方式与手指一致的多个凸出物的物体。在执行平移姿势时，可使用其它物体识别技术来识别用户的身体部位。在步骤214，处理器106基于用户的平移姿势移动裁剪平面。例如，处理器106可基于平移姿势确定平移方向和平移距离。例如，处理器106可基于来自相机系统104的数据确定平移姿势的方向，然后处理器106可基于用户的身体部位在平移姿势期间移动的距离来确定平移距离。根据一实施例，可在预定体积700(图7中示出)内执行平移姿势。可基于平移姿势在预定体积700内覆盖的距离来计算平移距离。此外，可应用比例因子以基于平移姿势在预定体积700内覆盖的距离百分比来确定平移距离。在步骤216，处理器106在步骤214期间移动的裁剪平面的位置裁剪三维医疗数据集。三维医疗数据集的裁剪可通过几种方式进行。在一个实施例中，可通过从三维医疗数据集去除数据执行裁剪。在另一个实施例中，可通过简单排除射线投射期间处于裁剪平面之外的样本来执行裁剪。在又一个实施例中，在体积渲染过程期间可使用硬件支持剪取平面的图形卡执行裁剪。仍然参照图2，在步骤218，处理器106(图I中示出)使用体积渲染在显示装置102(图I中示出)上显示裁剪的三维医疗数据集。根据一实施例，在步骤216裁剪三维医疗数据集和在步骤218显示裁剪的三维医疗数据集的体积渲染可通过在步骤210执行平移姿势实时执行。也就是说，在用户执行平移姿势时，在显示装置102上显示的体积渲染可实时更新以在用户执行平移姿势的过程中反映裁剪平面的重新定位。这是有利的，因为它允许用户在完成裁剪过程前查看对裁剪平面位置的修改结果。此外，如果用户将裁剪平面移得太远或偏好裁剪平面在中间位置，用户只需调整平移姿势。用户可通过执行停止姿势指示平移姿势已完成，如步骤220所示。根据使用张开手作为初始化姿势的实施例，停止姿势可包括握拢手。其它实施例可使用不同的停止姿势。在步骤222，用户决定他是否要进行任何额外的图像裁剪。如果用户想要对先前调整的裁剪平面进行进一步调整或调整任何其它裁剪平面，则方法200返回步骤202。如果不想对裁剪平面进行任何额外调整，则方法200结束。虽然方法200描述为一系列分离的步骤，可以意识到，根据方法200裁剪三维医疗数据集的过程可由用户以流动和连续的方式执行。将描述通过使用方法200执行的示范裁剪平面调整以进一步说明方法200可如何让用户受益。使用方法200，用户能够通过调整一个或多个裁剪平面快速和准确地裁剪三维医疗数据集。例如，参照图2和图7，用户可在预定体积700内的点714张开他的手。张开他的手是处理器106识别的初始化姿势，并且，·基于初始化姿势在右子体积中的位置，右裁剪平面被选择。然后，用户可将其张开的手从点714平移到点716。处理器会识别这个平移姿势并且右裁剪平面会平移。从预定体积内的点714到点716的距离由处理器106计算，并且如有必要，会对该距离应用比例因子以便处理器计算右裁剪平面相对显示装置102上显示的三维医疗数据集的体积渲染应移动的距离。在用户平移其张开的手时，右裁剪平面可实时移动。处理器在对应于点716的位置裁剪三维医疗数据集，并且裁剪的图像显示在显示装置102上。在预定体积700内的点716，用户可握拢他的手。握拢手是处理器106检测的停止姿势。停止姿势指示对右裁剪平面的调整已完成，除非用户决定通过再一次重复方法200对右裁剪平面进行进一步调整。处理器106可响应停止姿势取消选择裁剪平面。这样，通过简单地张开他的手和平移他的手，用户能够快速选择所需的裁剪平面并裁剪三维医疗数据集。通过多次执行方法200，即通过方法200的步骤调整多个裁剪平面，用户能够快速调整三维医疗数据集以便显示最关键的解剖结构，而无需担心用户接口的无菌性。此外，如果用户正在进行外科手术，他可获得极大的时间优势，因为他不需要离开过程以裁剪三维医疗数据集。本书面描述使用示例来公开包括最佳模式的本发明，并还使本领域技术人员能实践本发明，包括制作和使用任何装置或系统及执行任何结合的方法。本发明可取得专利的范围由权利要求定义，且可包括本领域技术人员想到的其它示例。如果此类其它示例具有与权利要求字面语言无不同的结构要素，或者如果它们包括与权利要求字面语言无实质不同的等效结构要素，则它们规定为在权利要求的范围之内。
权利要求
1.一种基于姿势的控制系统(100)，包括 相机系统(104)； 连接到所述相机系统(104)的显示装置(102);以及 连接到所述相机系统(104)和所述显示装置(102)的处理器(106)，其中所述处理器(106)配置成在所述显示装置(102)上显示三维医疗数据集的体积渲染；从所述相机系统(104)接收平移姿势的相机数据；从所述相机数据确定所述平移姿势的平移距离和平移方向；在所述平移方向中将所述裁剪平面移动所述平移距离；在所述移动所述裁剪平面后在所述裁剪平面的位置裁剪所述三维医疗数据集；以及使用体积渲染在所述显示装置(102)上显示所裁剪的三维医疗数据集。
2.如权利要求I所述的基于姿势的控制系统(100)，其中，所述平移姿势包括平移手。
3.如权利要求I所述的基于姿势的控制系统(100)，其中，所述处理器(106)还配置成通过去除所述裁剪平面的一面的一部分图像来裁剪所述三维医疗数据集。
4.如权利要求I所述的基于姿势的控制系统(100)，其中，所述处理器(106)还配置成将所述裁剪的三维医疗数据集显示为现场超声图像。
5.如权利要求I所述的基于姿势的控制系统(100)，其中，所述处理器(106)配置成在执行所述平移姿势时实时平移所述裁剪平面。
6.如权利要求I所述的基于姿势的控制系统(100)，其中，所述处理器(106)配置成实现划分算法以识别身体部位，从而确定所述平移距离和所述平移方向。
7.如权利要求I所述的基于姿势的控制系统(100)，其中，所述相机系统(104)包括多个相机。
8.如权利要求I所述的基于姿势的控制系统(100)，其中，所述处理器(106)配置成通过特征跟踪确定所述平移距离和所述平移方向。
9.一种基于姿势的控制系统(100)，包括 相机系统(104)； 连接到所述相机系统(104)的显示装置(102);以及 连接到所述相机系统(104)和所述显示装置(102)的处理器(106)，其中所述处理器(106)配置成 从所述相机系统(104)接收相机数据； 在所述相机数据中检测初始化姿势； 确定所述初始化姿势的位置； 基于所述初始化姿势的所述位置选择多个裁剪平面中的一个； 在所述相机数据中检测平移姿势； 确定所述平移姿势的平移距离和平移方向； 在所述平移方向中将所选择的裁剪平面移动所述平移距离； 在移动所述裁剪平面后在所述裁剪平面的位置裁剪三维医疗数据集；以及 使用体积渲染显示所裁剪的三维医疗数据集。
10.如权利要求9所述的基于姿势的控制系统(100)，其中，所述初始化姿势包括张开手或握拢所述手中的一个。
11.如权利要求10所述的基于姿势的控制系统(100)，其中，所述平移姿势包括平移所述手。
12.如权利要求9所述的基于姿势的控制系统(100)，其中，所述多个裁剪平面包括以盒子定向的六个平面。
13.如权利要求9所述的基于姿势的控制系统(100)，其中，所述处理器(106)还配置成响应在所述相机数据中检测到停止姿势，停止移动所述选择的裁剪平面。
14.如权利要求13所述的基于姿势的控制系统(100)，其中，所述处理器(106)还配置成在所述相机数据中检测到所述停止姿势后取消选择所述裁剪平面。
15.如权利要求9所述的基于姿势的控制系统(100)，其中，所述处理器(106)配置成在执行所述平移姿势时实时移动所述选择的裁剪平面。
全文摘要
本发明名称为“用于裁剪三维医疗数据集的方法和系统”。一种基于姿势的控制系统(100)，包括相机系统(104)、连接到相机系统(104)的显示装置(102)、以及连接到相机系统(104)和显示装置(102)的处理器(106)。处理器配置成(106)在显示装置(102)上显示三维医疗数据集的体积渲染、接收平移姿势的相机数据、以及从相机数据确定平移距离和平移方向。处理器(106)配置成在平移方向中将裁剪平面移动平移距离。处理器(106)配置成在裁剪平面的位置裁剪三维医疗数据集并使用体积渲染在显示装置(102)上显示裁剪的三维医疗数据集。
文档编号G06T15/00GK102915555SQ20121027435
公开日2013年2月6日 申请日期2012年8月3日 优先权日2011年8月3日
发明者E.N.斯蒂恩 申请人:通用电气公司