用于生成穴位和压力点图的系统和方法与流程
相关申请的交叉引用
本申请要求于2019年9月4日提交的第16/560,913号美国专利申请的优先权，该美国专利申请是于2019年3月12日提交的第16/351,334号美国专利申请的接续申请并且要求于2018年10月17日提交的第62/747,065号美国临时申请的优先权，该美国专利申请的全部内容通过引用合并至本文中。
本发明通常涉及治疗性技术，包括但不限于检测用于对人类患者进行针灸和治疗性物理操纵的压力点，并且向人类患者提供远程指导的针灸和治疗性物理操纵。
背景技术：
最近，广泛采用并使用了涉及针灸治疗、压力点疗法、深层组织按摩、目标热治疗、目标冰治疗、目标肌肉电刺激疗法等的物理疗法。这些不同类型的治疗中的共同要素是，它们都涉及根据由治疗人员识别的患者身体上的特定位置(例如，压力点、穴位(xuewei)、触痛点、肿块、抽筋/痉挛部位、关节等)执行的目标动作(例如，插入针灸针，施加电脉冲，施加热量、冰袋和/或压力等)。物理治疗师、按摩治疗师、传统东方中医、私人教练或一些其他专家擅长识别患者的肌肉、关节、身体、生理健康和/或心理健康，确定合适的治疗程序并且确定应该利用所识别的治疗程序进行治疗的身体上的合适位置，并且通常亲自对患者进行评估。该疗法自身需要治疗人员在物理上对患者的身体执行程序，以帮助患者获得放松、减轻疼痛、减轻身体症状、改善血液循环、促进伤口愈合并最终改善患者的生理健康和心理健康。
上述治疗方法存在多个问题。首先，要达到物理医学领域中专业医生的技能水平需要多年的学习和实践。该领域中总体上缺乏合格的教师和机构使其难以在这个非常丰富和多样的领域中传播知识和专业技能。另外，实践不仅需要心智敏锐度和天赋，还需要大量练习来发展的身体技能。许多患者不想成为新手医生的对象，因此，新手要成为熟练医生需要更长的时间。由医生执行的许多治疗程序不仅需要知识和技能，还需要体力和耐力。许多熟练和有经验的医生不能继续有效地实践，因为他们持续了很多年并且由于实践的体力需求而容易感到疲劳。
物理疗法的其他方面可能会阻碍其广泛使用，包括隐私问题、卫生问题和时间/空间限制。例如，一些患者不愿尝试涉及物理操纵的治疗，因为他们对治疗师的身体接触程度和/或治疗师在物理上紧密接近度、或者在治疗过程期间长时间保持不穿衣服感到不舒服。一些人会对使用其按摩床和设备已与其他患者共享的设施而感到不舒服。有时，备受好评的治疗设施可能已超额预定，或者等待时间过长。
但是已经对解决上述的一些问题作了一些尝试。解决方案远远不够。例如，自动按摩椅可以用于根据针对身体的各个位置(例如，背部、腿部、肩部等)或具有预定目标(例如，放松肌肉、减轻背部疼痛、改善血液循环等)的一些预设程序来执行按摩。然而，按摩椅和预设程序不是针对个别患者而定制的，并且并不是对许多患者(例如，由于体型、身高、症状、损伤等的变化)有效。手持按摩设备或肌肉电刺激设备使患者能够将设备自我导向到他/她身体上需要治疗的位置。然而，由于患者的年龄、身体上的疼痛和损伤所导致的技能缺乏和身体能力的下降，自助设备的有效性也较低。有关自我管理治疗和电枢管理治疗的视频和自助书籍在某些低风险情况下可能会有所帮助，但是在更复杂的治疗情况下，会对患者带来更多问题和伤害。尽管可以设想远程控制按摩设备以对患者进行治疗，但是迄今为止在这方面的实际研究和开发非常有限。
提供有效且高效的人机界面以促进远程指导的针灸和治疗性物理操纵具有挑战性。迫切需要良好的技术以支持专家指导，以及在通过网络实时地对患者进行远程指导的物理治疗性治疗(例如，由本地操作员或机器人进行)期间进行间接和/或间断的专家干预。
技术实现要素：
相应地，迫切需要一种有效和高效的人机界面，以有助于进行远程指导的针灸和治疗性物理操纵，并且迫切需要良好的技术以支持专家指导以及在对患者进行远程指导的物理治疗性治疗(例如，通过本地操作员或机器人)期间的间接和/或间歇性专家干预。
在本公开中，治疗环境包括本地站点(例如，如图1a中所示的本地站点102)以及远程站点(例如，如图1b中所示的远程站点105)。利用治疗性机器人和/或本地人类治疗操作员将患者定位在本地站点处。从本地站点流传输的患者的二维(2d)图像(例如，患者全身或患者身体的一个或多个部位/部分的rgbd图像)被提供给计算系统(例如，图1a中的本地计算设备114，或者图1b中的远程计算设备115或中央控制服务器136)，该计算系统处理所捕获的2d图像并针对患者的身体生成(例如，实时或离线)标记有穴位和其他相应的关键物理点(例如，关节、肌肉、触痛点、压力点等)的三维(或伪3d)人体网格或模型。在一些实施例中，在治疗环节期间实时地持续更新和跟踪三维模型和关键物理点(例如，包括穴位)的相应位置，使得即使在患者已经移动了其身体和/或改变了他/她的姿势(例如，由于力的施加、由治疗引起的过敏或不适和/或由固定姿势引起的疲劳等)时，也可以在整个治疗环节中在患者身体上的正确位置执行治疗。
在一些实施例中，中央计算机还包括拟合跟踪模型，该拟合跟踪模型在流传输和处理同一患者的连续图像帧时继续跟踪关键物理点的位置。
在一些实施例中，将本地站点处的患者的三维模型(或该三维模型的子部分)发送回本地站点并在本地站点处以关键物理点(或其选定的子集)叠加在上面的方式进行呈现。局部呈现的患者模型和叠加的关键物理点有助于为患者提供确切治疗位置上的指导。患者或本地治疗操作员可以根据在局部呈现的图像中提供的指导对所识别的位置执行治疗。这使得较不熟练的人员或患者本人能够执行治疗，从而减少了对高度熟练的医生实际出现在患者站点以执行治疗的需求。这也比基于在线演示视频或教科书执行治疗更有效，因为可以针对患者的特定身体和姿势识别关键物理点，并且实时更新这些关键物理点以维持位置的准确性。对于身体的某些区域或某些类型的低风险治疗，患者或他/她的护理人员可以在患者家中执行治疗，以便为患者提供更好的私密性和便利性。
在一些实施例中，除了本地站点之外，治疗环境还包括远程站点，在该远程站点中，混合现实环境用于使远程专家感知患者身体的3d模型(例如，通过患者身体的点云图像或其他3d渲染，以及在触觉输入设备上提供的触觉反馈)，并使远程专家根据需要提供治疗指导输入(例如，口头指令、触觉移动演示指令等)。在远程站点处，患者的3d模型被显示为叠加有已由中央计算机识别的关键物理点。远程专家可以基于他自身的个人专长调整显示器上的自动识别的关键物理点的位置(例如，使用图5中所示的用户界面500)，和/或为特定治疗程序选择这些关键物理点的子集。远程专家可以向患者和/或本地治疗操作员提供高级指令，以按顺序对患者身体的一个或多个区域执行治疗程序。根据这种由远程专家协助的混合现实设置，远程专家可以同时帮助监视和指导分别位于多个不同位置处的多个患者的治疗。可以使远程专家从手动执行治疗的体力需求和繁重任务中解脱出来，使得他/她的经验、知识和专长可以在每天的较长时间段内以及从长远来看得到利用。在一些实施例中，可以将患者身体的3d模型代替患者的全彩照片图像或视频呈现给远程专家，使得能够解决和减轻患者对身体图像和隐私的不适和担忧。
在一些实施例中，在本地站点处提供各种传感器，以在治疗期间收集传感器信息。结合所执行的治疗来处理传感器信息，并且将分析结果实时提供给本地操作员和/或远程专家，使得可以进行适当的调整。例如，可以向远程专家呈现用户姿势、患者身体的各个部位的区域温度、患者身体的各个部位的硬度、心率、血压、呼吸频率、排汗等的变化，并且相应地调整患者身体上的治疗程序和/或治疗位置。附加的传感器反馈和分析结果有助于远程专家在治疗期间执行更好的指导，并根据患者的状况和对治疗的耐受性实时地调整治疗。
在一些实施例中，除了本地治疗操作员之外，利用并控制位于本地站点处的治疗性机器人(例如，机械臂、椅子或床上的按摩垫、可动的压力施加器等)来执行应用于患者身体的至少一些物理治疗。例如，插入和拔出针灸针、经由红外光或直接接触施加热量、敷用冰袋、经由具有不同形状和尺寸的施加器施加压力、根据移动路径施加滚动和按摩运动、控制身体部位的拉伸等，可以由治疗性机器人根据从中央计算机、患者、本地治疗操作员和/或远程专家接收到的指令来执行。机器人的运动是精确且完全可调整的，并且可以连续工作更长的时间而不会像人类操作员或医生那样感到疲劳。机器人易于消毒并且还给予患者更多的隐私性。
在一些实施例中，在具有一个或多个处理器和存储器的计算设备处执行提供远程指导的物理治疗的方法，其中，计算设备与治疗性机器人进行通信，并且联接至包括第一显示器和第一输入设备的指导设备，并且其中，在物理治疗环节期间，治疗性机器人与治疗对象并置，并且指导设备与治疗指导者并置。该方法包括：接收治疗对象的一个或多个全身图像；为治疗对象生成多个关键物理点，包括：从治疗对象的一个或多个全身图像中确定治疗对象的多个形状参数和姿势参数；识别与治疗对象的多个形状参数和姿势参数相对应的第一三维人体模板，其中，第一三维人体模板具有相应的关键物理点的集合；以及将所识别的第一三维人体模板拟合到治疗对象的一个或多个全身图像，其中，该拟合导致对第一三维人体模板的相应的关键物理点的集合中的至少一个关键物理点的位置进行调整；以及将第一三维人体模板的相应的关键物理点的集合的经调整的位置提供给指导设备，其中，第一三维人体模板的相应的关键物理点的集合的经调整的位置为物理治疗环节期间由治疗指导者指定的治疗程序提供了依据。
在一些实施例中，计算系统包括人体恢复模型，该人体恢复模型被训练以根据对从在本地站点处捕获的患者的单个2d图像中提取的图像特征进行编码获得的形状、姿势、穴位和摄像机参数来重建3d人体网格。在一些实施例中，人体恢复模型包括使组合损失最小化的迭代3d回归模块。在一些实施例中，组合损失包括由鉴别器网络/模块(例如，包括与相应的穴位、形状、姿势等相对应的多个鉴别器)监督的鉴别器误差，用于评估所获得的标记有穴位的3d人体网格是否对应于真实人类的形状、姿势和穴位，以便优化人体恢复模型的性能。在一些实施例中，当2d注释数据(或2d基础真实数据)和/或3d注释数据(或3d基础真实数据)可用时，组合损失进一步包括重投影损失(或误差)和3d基础真实损失。在一些实施例中，基于诸如为lsp、mpii、mpi-inf-3dhp或coco的数据库，利用2d关键点对2d图像进行注释。
在一些实施例中，患者或本地治疗操作员可以根据与基于局部捕获的图像提供的3d人体网格上标记的穴位相关联的治疗数据，对所识别的一个或多个位置执行治疗。这使得较不熟练的人员或患者本人能够执行治疗，从而减少了对高度熟练的医生实际出现在患者站点以执行治疗的需求。本公开中讨论的系统和过程也可以用于通过监督和指导初级医生识别具有不同身高和体重和处于不同姿势的患者上的穴位的技能来训练初级医生。这也比基于在线演示视频或教科书执行治疗更有效，因为可以针对患者的特定身体和姿势识别穴位，并且实时更新穴位以维持位置的准确性。对于身体的某些区域或某些类型的低风险治疗，患者或他/她的护理人员可以在患者家中执行治疗，以便为患者提供更好的私密性和便利性。
在一些实施例中，除了本地站点之外，治疗环境还包括远程站点，在该远程站点中，混合现实环境用于使远程专家感知与患者身体相对应的3d人体网格(例如，通过患者身体的点云图像或其他3d渲染，以及在触觉输入设备上提供的触觉反馈)，并使远程专家根据需要提供治疗指导输入(例如，口头指令、触觉移动演示指令等)。在远程站点处，患者的3d人体被显示并且被标记有已由计算系统识别的穴位和关键物理点。在一些实施例中，远程专家(例如，传统中医医生)可以在各种形状和/或姿势的2d图像和/或3d人体模型/网格上提供穴位的基础真实数据(例如，注释数据)。在一些实施例中，远程专家还可以基于他的自身个人专长来调整所标记的穴位的位置，和/或为特定的治疗程序选择其子集。远程专家可以向患者和/或本地治疗操作员提供高级指令，以按顺序对患者身体的一个或多个区域执行治疗程序。根据这种由远程专家协助的混合现实设置，远程专家可以同时帮助监视和指导分别位于多个不同位置处的多个患者的治疗。可以使远程专家从手动执行治疗的体力需求和繁重任务中解脱出来，使得他/她的经验、知识和专长可以在每天的较长时间段内以及从长远来看得到利用。在一些实施例中，可以将标记有与患者身体相对应的穴位的3d人体网格代替患者的全彩照片图像或视频呈现给远程专家，使得能够解决和减轻患者对身体图像和隐私的不适和担忧。
在一些实施例中，在本地站点处提供各种传感器，以在治疗期间收集传感器信息。结合所执行的治疗来处理传感器信息，并且将分析结果实时提供给本地操作员和/或远程专家，使得可以进行适当的调整。例如，可以向远程专家呈现用户姿势、患者身体的各个部位的区域温度、患者身体的各个部位的硬度、心率、血压、呼吸频率、排汗等的变化，并且相应地调整患者身体上的治疗程序和/或治疗位置。附加的传感器反馈和分析结果有助于远程专家在治疗期间执行更好的指导，并根据患者的状况和对治疗的耐受性实时地调整治疗。
在一些实施例中，除了本地治疗操作员之外，开利用并控制位于本地站点处的治疗性机器人(例如，机械臂、椅子或床上的按摩垫、可动的压力施加器等)来执行应用于患者身体的至少一些物理治疗。例如，插入和拔出针灸针、经由红外光或直接接触施加热量、敷用冰袋、经由具有不同形状和尺寸的施加器施加压力、根据移动路径施加滚动和按摩运动、控制身体部位的拉伸等，可以由治疗性机器人根据从计算系统、患者、本地治疗操作员和/或远程专家接收到的指令来执行。机器人的运动更加精确、一致且完全可调整，并且可以连续工作更长的时间而不会像人类操作员或医生那样感到疲劳。机器人易于消毒并且还给予患者更多的隐私性。
在一些实施例中，在具有一个或多个处理器或存储器的计算设备处执行一种方法，该方法包括：获得人类对象的第一二维图像，第一人类对象的第一二维图像至少捕获第一人类对象的预定部分；使用经训练的人体恢复模型对第一人类对象的第一二维图像进行处理，以获得表示具有相应穴位的三维人体网格的多个参数，其中，经训练的人体恢复模型包括迭代三维回归模块，该迭代三维回归模块受鉴别器监督并且使组合损失最小化至预设阈值以下，组合损失包括人体的带编码的二维输入图像的重投影误差、三维基础真实误差和鉴别器误差；三维基础真实误差包括与相对于带注释的三维人体的姿势估计、形状估计和穴位估计有关的相应误差；并且鉴别器误差提供对所获得的具有相应穴位的三维人体网格是否对应于真实人体的形状、姿势和穴位的度量。该方法进一步包括根据所获得的具有相应穴位的三维人体网格，生成对应于第一人类对象的治疗数据。
根据一些实施方式，计算系统包括一个或多个处理器、存储器和一个或多个程序；一个或多个程序被存储在存储器中并且被配置成由一个或多个处理器执行，并且一个或多个程序包括用于执行上述任何方法的操作的指令。根据一些实施方式，非暂时性计算机可读存储介质存储有指令，当指令由具有一个或多个处理器的计算系统执行时，这些指令使计算系统执行上述任何方法的操作。根据一些实施方式，计算系统包括用于执行上述任何方法的操作的装置。
贯穿本公开描述了所公开的系统和方法的其他优点，和/或根据本文提供的公开对本领域技术人员而言是显而易见的。
附图说明
为了更好地理解各种所描述的实施方式，应结合以下附图对下文的实施方式的描述进行参考，在该附图中，相同的附图标记在整个附图中表示相应的部件。
图1a是根据一些实施例的向患者提供远程指导的针灸和治疗性物理操纵的示例性治疗环境的示例性本地站点。
图1b是根据一些实施例的向患者提供远程指导的针灸和治疗性物理操纵的示例性治疗环境的示例性远程站点。
图2是示出了根据一些实施例的包括远程指导的治疗环境的示例性架构的框图。
图3示出了根据一些实施例的用于训练和使用模板模型的示例性处理流水线，该模板模型用于生成患者身体的关键物理点。
图4a至图4c示出了根据一些实施方式的用于在远程指导的治疗环境的远程站点处进行实时视觉和触觉渲染的示例性处理流水线。
图4d示出了根据一些实施例的用于训练和使用模型的示例性处理流水线，该模型用于生成穴位并在重建的3d人体上提供相应的治疗数据。
图4e至图4i示出了根据一些实施方式的示例性3d全身穴位图和人体的各个部分的穴位图。
图5示出了根据一些实施例的示例性用户界面，该示例性用户界面用于为远程专家提供对患者的治疗的远程指导。
图6a是根据一些实施例的提供远程指导的针灸和物理操纵的方法的流程图。
图6b是根据一些实施例的在重建的3d人体网格上生成穴位以进行物理治疗的方法的流程图。
图7是示出了根据一些实施例的示例性本地站点设备(例如，机器人)的框图。
图8是示出了根据一些实施方式的示例性服务器的框图。
图9是示出了根据一些实施方式的示例性专家侧装置的框图。
贯穿附图中的多个视图，相同的附图标记表示相应的部件。
具体实施方式
本公开提供了根据各种实施例的用于提供远程指导的针灸和治疗性物理操纵以及根据各种实施例的用于根据用于使用包括迭代三维(3d)回归模块的经训练的人体恢复模型基于患者的单个二维(2d)图像来重建以穴位标记的3d人体网格的系统和方法。
远程指导的针灸和治疗性物理操纵由于其灵活性和降低了对治疗操作员的技能水平、身体状况和/或体力和耐力的要求而具有优于由熟练的医生亲自治疗的优势。一名熟练的医生可以为许多本地站点提供远程协助和指导，这些本地站点配备了技术水平较低的人类治疗操作员、远程指导的治疗性机器人或仅有患者本人。这样，可以治疗更多的患者，而患者不必长途跋涉或适应不方便的治疗日程。同时，借助于计算机生成的关键物理点(适配各个患者的特定身体参数)，可以将远程专家的专业知识运用于复杂的诊断和治疗计划设计。由于专家的输入与计算系统(例如，控制计算机)的广泛知识库的结合，可以提高诊断和治疗计划生成的准确性，该计算系统在3d重建人体网格上为患者的身体生成关键物理点(例如，包括穴位)。
由于远程专家的远程指导的治疗计划以及实时调整和指导输入的实用性，传统上不愿意接受这种直接接触式物理操纵疗法的患者可以从这些类型的治疗中受益。例如，一些患者由于各种原因(例如，身体形象、羞怯、宗教、卫生等)不想在真正的人类医生面前脱衣服或被人类医生直接触摸。本文中公开的远程指导系统使患者能够独自地在治疗室或者他/她自己的家中，并且具有在由经训练的计算机系统和熟练的专家基于他/她身体和姿势的实时图像实时地提供的指导下，由机器人或由他/她自己执行的治疗程序。当基于患者身体的3d人体网格或其他三维模型(例如，单色深度图像)和由计算设备生成的相应关键物理点(例如，包括穴位)提供远程指导输入时，熟练的专家不需要查看患者的彩色图像或知道患者的身份。熟练的专家可以探索人体的3d人体网格或其他三维模型的表面触觉特性，并经由触觉感知输入设备接收基于物理仿真生成的触觉反馈。熟练的专家还接收从患者身体收集的实时传感器信息以及患者在治疗期间的口头反馈。这些进一步有助于减少远程咨询的局限性，并且提高由熟练的专家提供的远程指导的准确性。
通过在本地站点使用治疗性机器人，减少了对治疗人员的体力要求。代替使用许多患者通用的固定程序和指令，治疗性机器人可以在远程的人类专家的间歇帮助下基于预先编程的指令传递定制的治疗方案。一方面，机器人被编程为根据经由机载传感器和/或通过网络收集的环境输入执行各种低级或中级任务，另一方面，人类专家可以根据基于从与患者并置的传感器接收到的流rgbd数据的患者身体的实际实时视觉与触觉渲染以及根据基于流rgbd数据生成的关键物理点(例如，基于从rgbd数据生成的三维模型)，在适当的时间进行间接干预。在治疗期间，关键物理点的生成和关键物理点的跟踪基于一个模型，该模型利用具有不同的身体特征和治疗性需求的患者的专家注释图像进行训练。结果，关键物理点的位置呈现给远程专家以生成治疗计划，并由机器人用于执行针对各个患者的高度定制和准确的治疗程序。
类似地，人类专家可以使用经训练且受监督的人体恢复模型，根据患者的具有穴位的3d人体网格的实际实时视觉和触觉渲染，在适当的时间进行间接干预。在一些实施例中，穴位的生成是基于人体恢复模型，该人体恢复模型是使用3d迭代回归模型进行监督的，该3d迭代回归模型包括鉴别器模块，该鉴别器模块具有许多患者(具有不同的身体特征和治疗性需求)的基础真实注释数据(例如，穴位、姿势、形状和/或其他关键物理点的2d和/或3d数据)。结果，关键物理点的位置呈现给远程专家以生成治疗计划，并由机器人用于执行针对各个患者的高度定制和准确的治疗程序。此外，使用经训练的人体恢复模型，仅需要患者的单个2d图像(包括全身或身体的一部分)即可重建标记有穴位的3d人体网格，从而提供为物理疗法的需求提供端到端的解决方案。
在各种实施例中，根据本公开，如本文所述的远程指导的物理治疗系统的各个特征或特征的组合将进一步提供上述优点和/或提供将被更详细地阐述或者对本领域技术人员而言将是显而易见的额外优点。
现在将详细地参照实施例，附图中示出了这些实施例的示例。在下面的详细描述中，阐述了很多具体细节以提供对各种所描述的实施例的全面理解。然而，对于本领域的普通技术人员将显而易见的是，可以在没有这些具体细节的情况下实践各种所描述的实施例。在其他情况下，没有详细描述公知的方法、过程、部件、电路和网络，以免不必要地使实施例的各方面模糊不清。
还将理解，尽管在某些情况下，术语第一、第二等在本文中用于描述各种元件，但是这些元件不应受到这些术语的限制。这些术语仅用于区分一个元件与另一个元件。例如，第一用户界面可以被称为第二用户界面，类似地，第二用户界面可以被称为第一用户界面，而不脱离所描述的各种实施方式的范围。第一用户界面和第二用户界面都是用户界面，但是它们不是相同的用户界面。
在本文中的各种所描述的实施方式的描述中使用的术语仅出于描述特定实施方式的目的并且不旨在进行限制。如在各种所描述的实施方式和所附权利要求的描述中所使用的，单数形式“一”、“一个”和“该”也旨在包括复数形式，除非上下文另有明确指出。还应理解，本文所使用的术语“和/或”指代并涵盖相关联所列项目中的一个或多个的任何和所有可能的组合。还应理解的是，术语包含(includes/including)和/或包括(comprises/comprising)当用于本说明书中时，是指存在多个所阐述的特征、整数、步骤、操作、元件和/或组件，但不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或其的组。
如在本文所使用的，术语“如果”可选地被解释为意指“当……时”或“在……时”或“响应于确定”或“响应于检测”或“根据确定”，这取决于上下文。类似地，短语“如果确定为”或“如果检测到“所阐述的条件或事件””可选地被解释为意指“在确定时”或“响应于确定”或“在检测到“所阐述的条件或事件”时”或“响应于检测到“所阐述的条件或事件””或“根据检测到的“所阐述的条件或事件”的确定”，这取决于上下文。
应当理解，“远程指导的”可以指对诸如因特网或者组织或家庭网络内的内联网的有线或无线网络的控制，不特别地限制从其提供人类用户的输入的确切距离和位置，并且本教导的范围也不受此限制，除非另外明确地指定。
还应当理解，尽管术语用户、专家、人类操作员、管理员、技术人员、人员等可以用于指代在本文中所述的一些特定情况下起作用的一个或多个人，但是这些参考并不限制本教导关于执行这种动作的一个或多个人的范围。
图1a是根据一些实施例的远程指导的物理治疗环境100的示例性本地站点102。
在环境100的本地站点102处，患者104与多个传感器并置，这些传感器包括成像传感器106(例如，摄像机、深度摄像机、红外传感器))、生理传感器116(例如，血压监测器、心率监测器、氧气水平监测器、肌电图(electromyography，emg)传感器、温度传感器、排汗传感器等)、患者反馈传感器(例如，压力传感器、麦克风124)。患者104被定位在支撑表面126上，诸如按摩台、电动床或治疗椅的顶部。所有传感器可选地连接到网络134，并且被配置成将所收集的传感器数据实时发送到中央控制服务器136(例如，中央计算系统)，并由中央服务器通过网络134进行实时控制。在一些实施例中，传感器可选地由本地操作员110经由传感器的输入接口来手动地(例如，调整摄像机视野和缩放水平)控制。
在一些实施例中，成像传感器106被配置成捕获本地站点的视觉数据以及可选的深度数据。在一些实施例中，成像传感器106包括光检测和测距(lightdetectionandranging，lidar)或rgbd摄像机，用于捕获场景的rgb彩色图像数据和相应的深度数据。在一些实施例中，成像传感器106进一步包括红外摄像机，该红外摄像机被进一步配置成捕获患者身体的热图，以指示身体对治疗的反应或者指示血液循环状态和患者的受伤部位。在一些实施例中，当患者躺在或坐在支撑表面126上时，成像传感器106位于患者身体的上方。在一些实施例中，在患者躺在或坐在支撑表面126上之前，当患者处于站立姿势时，一些成像传感器用于从多个方向捕获患者的初始图像集，以生成患者的全身三维模型。在一些实施例中，成像传感器106在患者处于站立姿势时捕获2d图像，以使用3d身体恢复模型生成患者的3d全身网格或3d局部人体网格。在一些实施例中，成像传感器106由中央服务器136控制，以基于当前正在使用的治疗位置和治疗程序来调节摄像机角度和/或缩放水平。例如，可以根据治疗需要控制成像传感器106，以捕获全身图像或全身的一部分的图像。
在一些实施例中，生理传感器116(例如，血压监测器、心率监测器、氧气水平监测器、emg(肌电图)传感器、温度传感器、排汗传感器等)用于在治疗期间或治疗程序的特定子部分期间收集基线患者生理数据和生理响应数据。来自不同的传感器的响应数据通过传感器融合过程(例如，在本地计算设备114的传感器融合模块112中)按时间进行关联，并通过网络134提供至中央控制服务器136上的分析模型。分析结果(诸如增加/减少的肌肉/精神压力水平、增加/减少的舒适度水平、增加/减少的机动性/灵活性水平、增加/减少的疼痛、增加/减少的血液循环以及其他治疗宣传水平等)形成了分析模型以生成有关对当前进行的治疗程序或计划进行更改的建议。
在环境100的本地站点102处，治疗性机器人128(例如，包括机械臂130-1和130-2和控制单元132的机器人)与患者104并置。机器人128连接到网络134并且通过网络134接收来自中央控制服务器136的指令。在一些实施例中，中央控制服务器136与机器人128并置(例如，在同一房间中)。在一些实施例中，中央控制服务器136与机器人位于同一局域网内(例如，在相同的治疗设施中)。在一些实施例中，中央控制服务器136通过广域网(例如，因特网)连接到机器人128。在一些实施例中，位于多个位置处的多个机器人由相同的中央控制服务器136同时连接和控制。
在一些实施例中，机器人128具有可以用于(例如，机器人可以基于人类操作员(例如，本地操作员110或位于远程站点105(例如，图1b)处的远程专家108)的指令自动选择选定的附件)不同类型的治疗程序(例如，针灸、按摩、针压、加热、冰敷、肌肉电刺激、压力、伸展等)和/或患者身体上的治疗位置(例如，头部、颈部、肩部和身体的其他部位上的压力点、关节、肌肉、皮肤等)的多个附件(例如，针灸针注射器、按摩辊、针压探头、加热垫、冰垫、电极、夹子、抓取器等)。在一些实施例中，传感器(例如，传感器106、116、124等)可选地由本地操作员(例如，操作员110)经由传感器的输入接口来手动地(例如，调整摄像机视野和缩放水平)控制。
在一些实施例中，生理传感器和患者反馈传感器中的至少一些位于机器人128上，并且在治疗过程期间与机器人(例如，与机械臂130)一起移动到患者身体的各个位置。例如，一个或多个压力传感器、排汗传感器、温度传感器位于在按摩和物理操纵期间使用的机器人指尖上，以检测被夹紧的肌肉的部位、发炎或受伤的部位、不适或疼痛的部位等，以及在各种治疗程序期间经治疗的部位的生理变化(例如，增加的血液循环、放松、僵硬等)。在一些实施例中，生理传感器和患者反馈传感器中的至少一些被附接到患者身体上的固定位置。例如，将压力传感器放置在患者的手中，如果以过大的力或强度进行治疗(例如，指压、按摩、拉伸、加热、电刺激)，则患者可以挤压该压力传感器。其他示例包括血压监测器、心率监测器和emg监测器，这些监测器附接到患者身体上的固定位置并且将传感器数据实时传输到本地计算设备114和传感器融合模块112。
在一些实施例中，机器人128的多个部分(例如，具有不同主要角色和/或附件的两个机械手或臂130)可以根据由中央控制服务器136、远程专家108和/或本地操作员110提供的高级指令以协同的方式进行工作。例如，机器人128具有机载处理能力以执行低级功能，诸如移动、拉动、推动、振动、抓取，以特定选定的模式进行移动以及在超过阻力的阈值量时停止等。在一些实施例中，机器人128具有机载处理能力以执行中级任务，诸如沿预设方向抓取和拉伸肢体、向治疗部位施加热量、注射针头、拔出针头、对治疗部位进行指压按摩、对治疗部位进行敲击按摩、对治疗部位进行电刺激治疗、擦拭患者身体上的治疗部位、在患者身体上的治疗部位上涂敷药膏、协助患者躺下或坐起、协助患者转身至所需的治疗姿势等。机器人128由中央控制服务器136控制，该中央控制服务器根据可由机器人执行的低级任务或中级任务提供治疗计划，其中，治疗计划用于完成由远程专家提供的高级指令或中央服务器136的治疗选择程序。
在一些实施例中，用户反馈传感器包括麦克风124，该麦克风在治疗期间捕获用户(例如，患者104)的声音。用户可以经由麦克风124口头传达治疗期间的疼痛或不适，回答远程专家的问题或向远程专家108提问。在一些实施例中，在治疗环节的各个部分(例如，摄入、诊断、治疗和反馈部分)期间，患者的语音输入(例如，答案、问题和评论)被分析并且被本地计算设备114自动转录为文本，用于系统的记录保存和未来改进。
在一些实施例中，本地站点102包括多个输出设备，这多个输出设备向患者104和本地操作员110提供反馈和信息。在一些实施例中，本地输出设备包括显示器146(诸如显示器或投影仪)，用于显示远程专家所看到的用户身体的三维模型以及当前治疗信息，诸如在患者身体上标识的关键物理点118(例如，包括穴位)、身体的在治疗中被操纵的当前部分以及治疗程序的名称和说明。在一些实施例中，显示器还包括远程专家108的图像。在一些实施例中，当患者移动身体或改变其姿势时，当远程专家修改自动识别的关键物理点的位置或将关键物理点的子集识别为目标治疗点时，当远程专家识别或改变治疗程序时，和/或当执行或完成治疗程序时等，患者的3d模型、关键物理点和其他治疗信息被实时更新。在一些实施例中，当患者移动身体或改变其姿势时，当成像传感器106改变摄像机的角度和/或缩放以捕获患者身体的不同部分的2d图像时，当远程专家修改自动识别的穴位位置或将穴位的子集识别为目标治疗点时，当远程专家识别或改变治疗程序时，和/或当执行或完成治疗程序时等，患者的3d人体网格、穴位和其他治疗信息被实时更新。
在一些实施例中，输出设备包括扬声器144，用于在治疗环节期间将来自远程专家108的口头问题、答案和指令输出到患者104和/或本地操作员110。
在一些实施例中，本地站点102包括投影仪147，用于将标识出的关键物理点(或与当前治疗程序相关的关键物理点的子集)投影到这些关键物理点在患者身体上的相应位置。在一些实施例中，投影仪147被安装在患者104的头顶上方。在一些实施例中，投影仪147被附接到可动机械臂上，并且可以被移动至靠近患者身体的作为当前治疗环节(例如，当实际治疗由患者本人或由本地操作员而不是机器人执行时)的对象的部分。在一些实施例中，投影仪包括多个光源146，每个光源由远程服务器136单独控制，以将相应的光点148投影到患者身体的相应部分上。每个光源的确切方向是基于三维空间中的光点坐标、根据患者身体的位置以及患者身体上的相应的关键物理点(例如，穴位)的位置来计算的。在一些实施例中，利用被投影在患者身体上的光点捕获的图像被提供回中央控制服务器136并用于调整患者身体的三维模型，直至投影在患者身体上的光点的实际位置与当时计算出的患者身体上的光点的位置对准。
在一些实施例中，机械臂130包括传感器，该传感器在治疗过程期间检测并跟踪被投影到患者身体上的光点148的位置，使得即使患者在治疗期间轻微地移动或改变他/她的姿势，也始终能对患者身体上的正确位置进行治疗。在一些实施例中，投影仪147具有传感器，该传感器检测机械臂130的位置并调整其自身的位置和取向，使得来自光源146的光在其通往患者身体的途中不受机械臂130的阻挡。
在一些实施例中，在本地站点102处，支撑表面126包括用于收集生理反馈和患者反馈的各种传感器。在一些实施例中，支撑表面126还包括用于执行治疗程序的至少一部分的各种可动部件。例如，支撑表面126是按摩台的表面，并且包括可单独抵靠患者身体向上移动以对患者身体上的选定点施加各种水平的压力的球或圆形尖端的圆柱体。支撑表面126可选地包括按摩辊，该按摩辊在支撑表面126上行进，以便以选定的移动模式在患者身体上施加按摩。例如，一旦远程专家已经针对患者身体指定或批准自动生成的按摩运动路径，则患者可以仰卧，并且以圆周运动和上下运动的方式对其下背部进行按摩。让患者在接受按摩时仰卧有时会使患者更舒适和放松。因为按摩是由按摩台根据患者身体的3d人体网格或其他三维模型执行的，所以患者无需俯卧，因为治疗师无需从上方查看和操纵病人的背部。按摩台的移动部件接收来自中央控制服务器136的指令，并且在物理疗法期间实时调整其移动部件的移动路径(例如，当从3d摄像机捕获的当前图像生成的3d模型指示患者已经移动力他/她的身体时)。
在一些实施例中，人类治疗操作员110(例如，助理医师、练习技能的实习生(例如，医学生)、护士、看护员、患者的家庭成员或朋友等)出现在本地站点102处。治疗操作员110可以根据由远程专家或中央控制服务器136提供的信息和指令(例如，经由扬声器144或显示器146的输出)来协助进行治疗。在一些实施例中，治疗操作员110在初始成像阶段(例如，捕获2d图像或rgbd图像)期间协助重新放置患者104或使患者104保持静止，或者协助改变机器人128的附件以用于由远程专家108选择的特定治疗程序。在一些实施例中，人类操作员110可以遵循远程专家108的演示，并且基于被投影到患者身体上的光点148的位置对患者104执行相应的治疗程序。
图1b是根据一些实施例的向患者(例如，图1a中的患者104)提供远程指导的针灸和治疗性物理操纵的示例性治疗环境100的示例性远程站点105。
在环境100的远程站点105处，显示器103(诸如显示器、投影仪、平视式显示器等)用于显示由位于本地站点102处的成像传感器106捕获的患者104的图像。在一些实施例中，除了全彩图像和红外图像之外，还显示了由深度摄像机106捕获的患者身体107的虚拟化版本。从图像传感器106(例如，深度摄像机)流传输的全彩图像和相应的深度数据用于生成呈患者的点云或其他三维表示形式的患者的虚拟化版本，使得经由显示器103在远程站点105处可视地呈现的患者身体107的虚拟化版本基本上同时密切地对应于本地站点102处的患者104的状态。
在一些实施例中，从控制服务器136接收患者107的虚拟化版本，其中控制服务器136基于从深度摄像机106接收的流图像和深度数据来执行生成和连续更新患者的虚拟化版本所需的计算。在一些实施例中，显示器103还将从中央控制服务器136接收的所生成的关键物理点118叠加在患者107的虚拟化版本上，如显示器103上所示的那样。在一些实施例中，还在远程站点105处的显示器103上显示从生理传感器(例如，传感器116)、用户反馈传感器124接收的传感器数据以及传感器数据的分析结果(例如，从本地站点102或中央服务器136接收的分析结果)。
在一些实施例中，在环境100的远程站点105处，显示器103(诸如显示器、投影仪、平视式显示器等)用于基于由位于本地站点102处的成像传感器106捕获的2d图像107(例如，图像107，图1a)来显示患者104的具有穴位的重建的3d人体网格。在一些实施例中，从中央控制服务器136接收患者107的2d图像，其中，控制服务器136处理2d图像以提取图像特征并持续更新由成像传感器106捕获的患者的2d图像。控制服务器136进一步重建3d人体模型(例如，除了图像107之外或者替代图像107可选地示出的3d人体网格)。在一些实施例中，显示器103还将从中央控制服务器136接收的所生成的穴位叠加在患者的3d人体网格上，如显示器103上所示的那样。
在一些实施例中，除了显示器103之外，一个或多个输入设备(例如，诸如触摸感测遥控器的触摸感测表面、或也用作显示器的触摸屏显示器、鼠标、操纵杆、棒控制器、麦克风103和/或跟踪用户(例如，专家108)的一个或多个特征(诸如用户的手)的位置的摄像机)也被远程专家108利用来提供输入和指令，这些输入和指令将用于指导治疗(例如，控制机器人128或指导本地操作员110)。一个或多个输入设备包括触觉感知输入设备111(例如，三维触觉感知指向设备、触觉感知手套等)，其根据在患者身体109的虚拟化版本上的与经由输入设备111提供的当前移动和位置输入相对应的位置(或患者身体的3d人体网格)处发生的模拟物理特性和物理交互对远程专家108的一只或两只手产生力、运动和/或质感反馈。例如，当经由输入设备111提供的移动和位置输入对应于沿着患者身体107的虚拟化版本(或患者身体的3d人体网格)上的对应于患者肩部的模拟表面的移动时，在触觉感知输入设备111上生成的触觉反馈将在用户的手中引起与患者肩部的形状、大小、摩擦、质感和硬度相对应的触觉。实时触觉反馈与患者身体的虚拟化版本的可视化渲染相结合，使远程专家108能够准确地体验和评估患者身体上的问题部位，并且提供有关患者的治疗程序的更准确和谨慎的指导。
在一些实施例中，远程站点105处的输入设备可选地也支持遥操作，并且专家108可以临时接管机械臂130的控制(使用由机器人复制的精确的直接移动控制，而不是由机器人解释并基于预先建立的任务执行指令来执行的命令类型的控制)并基于从本地站点接收的图像在患者身体上的所需位置进行治疗。在其他时候，在远程专家已经提供了启动治疗程序所需的远程指导之后，远程专家使得机器人能够根据预先建立的任务执行指令完全自主地进行操作。
在一些实施例中，人类操作员108使用触觉感知输入设备111以与患者身体107的虚拟化版本(或患者身体的3d人体网格)上的虚拟化表面进行交互，并且用额外的关键物理点(例如，包括穴位)标记患者身体的虚拟化版本或者调整自动生成的关键物理点(例如，包括穴位)的位置。在一些实施例中，当远程专家指定新的关键物理点(例如，包括穴位)时，和/或当远程专家调整自动生成的关键物理点(例如，包括穴位)的位置时，新的关键物理点(例如，包括穴位)的位置和经调整的关键物理点(例如，包括穴位)的位置被发送到中央控制服务器136，并且中央控制服务器136相应地更新被发送到远程站点和本地站点的显示器和投影仪的指令。
在一些实施例中，远程专家可以使用触觉感知输入设备以在患者身体的虚拟化版本上标记按摩路径。该路径被提供至中央控制服务器并且被中继至机器人或被显示在位于本地站点102处的显示器上，然后在治疗程序期间被实施。
除了与患者104并置的设备(例如，患者侧计算设备114)和与远程专家108并置的设备(例如，专家侧计算设备115)之外，远程指导的物理治疗环境100还包括中央计算设备(例如，中央控制服务器136)，该中央计算设备处理与视觉和触觉数据处理和渲染有关的大量计算任务，为患者生成虚拟化的三维模型(例如，包括3d人体网格或其他三维人体模型)并且为虚拟化的三维模型(例如，包括3d人体网格或其他三维人体模型)生成关键物理点(例如，包括穴位)，根据患者在所捕获的2d图像或流深度图像中的移动来更新虚拟化的三维模型(例如，包括3d人体网格或其他三维人体模型)并跟踪关键物理点(例如，包括穴位)，并基于专家输入或来自本地站点(例如，投影仪上的传感器)的反馈来更新关键物理点(例如，包括穴位)，并且利用中级指令和工作流程(弥补来自远程专家的高级指令与可由机器人执行的低级指令之间的差距)生成治疗程序和治疗计划。中央控制服务器136经由一个或多个网络134连接到本地站点设备114和/或远程站点设备115。在一些实施例中，中央控制服务器136与机器人128并置。在一些实施例中，中央控制服务器136与远程专家108并置。在一些实施例中，中央控制服务器136不与机器人128或远程专家108并置。
在一些实施例中，中央控制服务器136使用诸如为kinectfusion的实时密集表面映射和跟踪技术来处理与实时的同时定位和映射(simultaneouslocalizationandmapping，slam)有关的计算。在一些实施例中，其他实时三维建模方法(例如，蒙皮多人线性(skinnedmulti-personlinear，smpl)模型)用于基于从本地站点102处收集的流图像和深度数据或2d图像生成患者的虚拟化三维或伪三维表示(例如，3d人体网格或其他三维人体模型)。在一些实施例中，中央计算设备使用用于视觉渲染的kinectfusion在流rgbd数据的每个时间步骤期间生成点云。在一些实施例中，中央计算设备还执行触觉渲染和物理仿真，以用于例如经由虚拟指针在远程专家与患者身体的虚拟化版本之间进行交互。在一些实施例中，患者身体的虚拟化版本由三维点云表示。在一些实施例中，患者身体的虚拟化版本由三维网格表示，该三维网格包括与患者身体的物理表面相对应的模拟表面。
在一些实施例中，中央控制服务器136实施已经在患者的带注释的深度图像上进行训练的图像处理模型，其中，注释包括具有不同形状、大小和其他视觉特征的患者身体上的关键物理点的位置。当模型训练完成后，模型用于处理当前患者的深度图像，用于得出患者身体的三维模型，以及得出用于确定患者身体上的关键物理点的位置的参数。在一些实施例中，使用基于模板的模型，并且基于患者身体的形状参数选择最适合患者的模板。一旦为患者的身体生成了关键物理点，就可以随着患者身体移动或改变姿势来连续跟踪关键物理点的位置。关于图3描述了生成和跟踪关键物理点的更多细节。
在一些实施例中，中央控制服务器136实施图像处理模型(例如，人体恢复模型)，该图像处理模型已经根据来自患者的形状和姿势变化的2d和/或3d图像的注释数据(例如，基础真实数据)被训练，其中，注释数据包括形状、姿势以及在具有不同形状、大小和其他视觉特征的患者身体上的穴位位置。当模型训练完成后，模型用于处理当前患者的2d图像、重建患者身体的3d人体网格以及用于处理确定患者身体上的穴位位置的参数。在一些实施例中，一旦为患者身体生成了穴位，就随着患者身体的移动或改变姿势，或者随着成像传感器改变位置以捕获患者身体的不同位置(从患者身体的上部到下部)来连续地跟踪穴位的位置。关于图4d描述了生成具有穴位的3d人体网格的更多细节。
在一些实施例中，中央控制服务器136包括治疗计划者，其基于关键物理点(例如，包括穴位)和来自专家108的输入(例如，经由图5中所示的用户界面500提供的输入)生成一组治疗程序和针对每个治疗程序的治疗动作。治疗计划者要考虑患者身体的特征、症状、关键物理点(例如，包括穴位)的位置、远程专家的输入以及在治疗过程期间和/或在早期治疗过程期间检测到的反馈，并且根据预先编程的治疗计划指令来生成和修改治疗计划。
在一些实施例中，中央控制服务器136包括以下模块中的一个或多个以实现其功能：3d人体模板模型138(可选地，由3d人体恢复模型(例如，包括3d回归模块，该3d回归模块进一步包括鉴别器模块)替代或增强)、模型选择与拟合模块140(可选地，由模型训练模块替代或增强)、关键物理点跟踪模块142(可选地，由穴位生成模块替代或增强)、传感器融合与分析模块144、治疗计划生成模块146、远程机器人控制模块148(其进一步包括远程指导模块150和遥操作模块152)、视觉和触觉渲染模块154、本地站点用户界面模块156和远程站点用户界面模块158。
图2是示出了根据一些实施例的包括远程指导的治疗环境100的示例性架构200的框图。
如本文所述，治疗环境的关键组成部分是基于患者的rgbd图像或2d图像自动生成关键物理点(例如，包括穴位)，并且在治疗期间当患者移动或改变他/她的姿势和/或成像传感器捕获患者的不同部位/部分时继续跟踪关键物理点(例如，包括穴位)。
在一些实施例中，为了建立用于为当前患者生成定制的关键物理点的模型，首先建立三维人体数据库。物理治疗专家(例如，传统中医专家、或物理治疗师、有经验的脊椎按摩师、针灸师、按摩治疗师等)对具有各种大小、形状、健身水平、性别、年龄、种族等的患者的图像(包括彩色图像和深度图像)进行注释，以在图像上指示与各种类型的治疗程序(例如，针灸、电刺激、加压、指压等)有关的各种类型的关键物理点(例如，穴位、肌肉、关节、触痛点等)的位置。在一些实施例中，将患者的图像转换为患者的三维模型，并且在三维模型上提供注释。
在一些实施例中，为了建立用于为当前患者生成定制的穴位的人体恢复模型，首先建立3d人体网格数据库。物理治疗专家(例如，传统中医专家、或物理治疗师、有经验的脊椎按摩师、针灸师、按摩治疗师等)对具有各种大小、形状、健身水平、性别、年龄、种族等的患者的2d图像进行注释，以在图像上指示与各种类型的治疗程序(例如，针灸、电刺激、加压、指压等)有关的穴位和/或其他类型的关键物理点(例如，肌肉、关节、触痛点等)的位置。在一些实施例中，对患者的2d图像进行分析以重建患者的3d人体网格，并且在3d人体网格上生成穴位。
在一些实施例中，还利用各种参数标记2d图像或rgbd图像，这些参数表征了在图像中的患者身体的视觉特征。参数包括人体的各个关键部位(例如，头部、面部、耳朵、颈部、肩部、下背、腹部、背部、臀部、左大腿、右大腿、左膝盖、右膝盖、左小腿、右小腿、左手、右手、左手腕、右手腕、左脚、右脚、左脚底、右脚底等)的形状(例如，实际形状或预定的形状类别)和尺寸(例如，一般尺寸或实际尺寸)。其他形状参数可选地包括肌肉线条、脂肪含量、肿胀、瘀伤等。在一些实施例中，还利用图像中的患者的一个或多个姿势参数来标记图像。例如，姿势参数包括患者的整体姿势，诸如坐着、俯卧、仰卧、向左侧卧、向右侧卧等。其他姿势参数可能与身体的特定部位有关，诸如左腿弯曲至45度、手臂在躯干的一侧上、左臂抬起、头转向左侧、闭眼等。与治疗以及患者身体的姿势相关的特定于身体的某些部位的注释包括关节(诸如膝盖、臀部、脚踝、脚趾、手腕、手指、肩部、脊柱等的关节)的位置和识别。图像上还注释了与不同健康方面(诸如睡眠、消化、精力、心脏、肝脏等)有关的穴位。在一些实施例中，可选地进一步利用与穴位相关的身体功能来注释穴位。
如本文中所述，机器人在其中操作的三维物理空间的表示的重建需要以相当的准确度实时地执行，以便于用户提供适当和及时的干预。为了促进实时三维探索、分割、标记以及与环境的交互，需要结合环境的可视化实时执行触觉渲染和物理仿真。在一些实施例中，由于本质上需要发送和处理的视觉和深度数据是大量的，因此需要对网络延时进行管理，以便基于通过网络以各种等待时间进行通信的这种数据提供平稳、实时的操作和控制。
在一些实施例中，一旦建立了带有患者的注释图像的训练数据库，就将图像和注释数据用于训练图像处理模型。在一些实施例中，深度学习模型用于将图像与相应参数进行链接。在一些实施例中，模板模型用于将患者图像的视觉参数(例如，形状参数和姿势参数)与关键物理点(例如，肌肉、关节、压力点、穴位等)的位置进行链接。当从与新患者并置的3d摄像机接收到的新患者的图像时，将图像作为输入提供给经训练的图像处理模型(例如，神经网络模型或模板模型)，并且基于经训练的图像处理模型为输入图像生成关键物理点。在一些实施例中，如果图像处理模型是基于模板的模型，则使用新接收到的图像中的患者的形状和姿势参数来识别最接近的匹配模块，并且在最接近的匹配模板中的关键物理点的位置被用作当前患者的关键物理点的位置。在一些实施例中，最接近的匹配模板被拟合到当前患者的图像，并且由于拉伸(在拟合期间)而对最接近的匹配模板上的关键物理点的位置进行调整，并且经调整的关键物理点的位置被用作患者的关键物理点的位置。在一些实施例中，一旦基于视觉参数(例如，形状参数和姿势参数)为患者选择了最接近的匹配模板，因为在流图像中识别出患者身体的小幅度移动(例如，移动不符合新姿势)，则将模板拟合到新图像，并且基于新拟合的模板连续更新关键物理点的位置。在一些实施例中，当在新图像中检测到新姿势时，基于最接近的匹配标准来识别新模板。在一些实施例中，当随后的治疗程序需要新姿势时，可以基于形状参数和与所需的下一个姿势相对应的新的姿势参数来预先选择新模板或者两个或更多个候选模板，以节省处理时间。
在一些实施例中，一旦建立了带有患者的注释图像的训练数据库，就将图像和注释数据用于训练人体恢复模型。在一些实施例中，当前患者的形状和姿势参数从2d图像中被提取并用于根据患者的与穴位位置相关的参数来定制(例如，变形、调整)3d人体模板。在一些实施例中，使用2d和/或3d基础真实数据来训练鉴别器模块，以评估重建的3d人体网格中的参数以及穴位是否对应于真实人体。
如图2中所示，来自各种传感器(例如图像传感器(例如，3d图像、红外图像等)、热传感器(例如，温度传感器、机械臂上的红外传感器等)、生理传感器(例如，emg传感器、心率传感器等)、患者反馈传感器(例如，压力传感器、麦克风)等)的传感器数据通过传感器融合处理，基于时间(例如，基于传感器数据的相同或相似的时间戳进行关联)进行合并并且基于指示器类型(例如，与疼痛、压力、舒适度等相关)进行分组，融合的传感器数据被分析并提供至中央控制服务器136以作为视觉指令输出，用于各种类型的测量，以确定治疗是否有效、对患者是否舒适和/或痛苦，并且确定如何调整治疗参数以改善患者的有效性、舒适度和耐受度。
如图2中所示，在一些实施例中，所生成的关键物理点被提供至中央控制服务器136并且被传递到远程站点(并且可选地传递到本地站点)以进行显示。在一些实施例中，代替显示患者的全彩图像并将所生成的关键物理点叠加在全彩图像上。中央控制服务器136生成患者身体的三维模型。在一些实施例中，三维模型是被拟合到患者的流图像的模板模型。在一些实施例中，三维模型是从来自3d摄像机的流图像生成的点云。在一些实施例中，为了在患者的三维模型与远程专家之间提供触觉交互，中央控制服务器使用具有流表面的基于舍位带符号距离函数(truncatedsigneddistancefunction，tsdf)的触觉渲染方法，以确保与虚拟化患者身体的平稳且稳健的触觉交互。
在一些实施例中，基于融合的方法(例如，kinectfusion)被用于执行流视觉数据和深度数据的定位和映射。根据kinectfusion，来自三维摄像机的流rgbd数据将被融合并保存为舍位带符号距离函数(tsdf)。kinectfusion可以提供全场景的密集几何体，以实现混合现实。本公开描述了由kinectfusion使用改进的触觉渲染流水线(包括碰撞检测、代理更新和力计算)生成的具有流表面的视觉及触觉渲染。这种改进的方法在计算上非常有效，并且可以与kinectfusion框架很好地集成。
如图2中所示，在一些实施例中，所生成的穴位被提供至中央控制服务器136并且被传递到远程站点(并且可选地传递到本地站点)以进行显示。在一些实施例中，中央控制服务器136生成患者身体的3d人体网格。在一些实施例中，根据患者的形状和姿势参数生成3d人体网格。
如图2中所示，在一些实施例中，远程专家与患者的重建的3d人体网格或其他三维模型进行交互，并且可选地通过显示3d人体网格或其他三维模型和物理关键点(例如，包括穴位)来调整关键物理点(例如，包括穴位)的位置。在一些实施例中，为交互提供了触觉感知设备，使得远程专家可以以真实大小、形状和质感反馈体验3d人体网格或其他三维人体模型的表面。在一些实施例中，远程专家选择关键物理点(例如，包括穴位)的子集作为选定的治疗程序的目标点。在一些实施例中，远程专家在虚拟三维模型上演示治疗程序，使得可以由本地操作员、患者或本地站点处的机器人执行相同的程序。在一些实施例中，远程专家指定治疗程序的顺序，并且还与患者和/或本地操作员进行交互以询问患者的症状，要求患者或操作员调整患者的姿势并且向患者解释治疗程序以及这些治疗程序的目的。
在一些实施例中，包括治疗程序和作为治疗程序的目标的关键物理点(例如，包括穴位)的位置的治疗计划被发送至位于本地站点处的机器人。机器人根据关键物理点(例如，包括穴位)的位置和治疗计划中的指令实施治疗计划并执行治疗程序。在一些实施例中，机器人将本地反馈传感器数据返回到中央控制服务器，并且中央控制服务器继续更新患者身体的3d人体网格或其他三维模型、关键物理点(例如，包括穴位)的位置以及从本地站点接收的传感器数据，并且将更新的数据发送到远程站点，以使远程专家更新治疗计划或相应地更新治疗计划中包含的治疗程序的治疗参数。
图2仅是治疗环境的示例性架构的图示。架构的其他结构是可能的，并且架构可以包括其他部件和通信路线，基于本公开，这对于本领域技术人员将是很明显的。
图3示出了根据一些实施例的用于训练和使用模板模型的示例性处理流水线300，该模板模型用于生成患者身体的关键物理点。如图3中所示，利用各种类型的参数(包括形状参数、姿势参数、关节参数和物理关键点在三维模型上的位置)对人类患者身体的三维模型的数据库进行注释。三维模型用于训练以获得模板模型(例如，人类蒙皮模板模型)。模板模型包括具有相应的形状参数、姿势参数、关节参数和关键物理点的多个模板，这些参数和关键物理点代表训练数据中表示的人体。当从本地站点接收到患者的一个或多个rgbd图像时，对图像进行处理以确定身体形状参数以及可选的姿势参数。在一些实施例中，姿势参数由患者或本地操作员手动输入。在一些实施例中，姿势参数由远程专家或本地操作员指定，并且在流传输患者的图像之前根据指定的姿势参数来对患者进行定位。模板模型使用患者的身体形状参数作为输入来识别最匹配的模板，例如，具有基于模板的形状参数的评估函数与流图像中的患者的形状参数之间的最小总体差异的模板。一旦根据形状参数和姿势参数识别了最匹配的模板，就将最匹配的模板用作患者身体的经估计的三维模型。最匹配的模板被拟合到患者身体图像的实际形状参数，并且模板的各个部分被拉伸或缩小。拟合以最小程度地改变最匹配模板的方式执行，并且在拟合之后，将经拟合的模板上的关键物理点的位置用作处于当前姿势下的患者自动生成的关键物理点的位置。
在一些实施例中，在治疗环节期间，患者可能会略微地移动，并且患者的移动会导致流传输至控制服务器的图像略微地改变，从而导致患者身体的形状参数发生变化。如果形状参数的变化相对较小，例如小于预设的阈值百分比，则不会改变先前选定的模板，并且在新图像中将模板再次拟合到患者的身体，并且相应地将关键物理点的位置更新为拟合的结果。如果形状参数的改变相对较大，例如大于预设的阈值百分比，则基于从新图像中得出的新的形状参数，从模板模型中的模板集中选择新的模板。一旦选择了新的模板(例如，与以前不同的模板或相同的模板)，新的模板在新图像中被拟合到患者身体，并且基于经拟合的模板上的关键物理点的新位置再次更新关键物理点的位置。在一些实施例中，如果患者的姿势改变(例如，患者抬起他的腿或侧转身)，则基于新图像中患者身体的形状参数和新图像中患者身体的姿势参数来选择新的模板。新的模板被拟合到处于新姿势的患者身体，并且将经拟合的模板上的关键物理点的位置用作处于患者自动生成的关键物理点的位置。
在一些实施例中，当将为患者生成的关键物理点的位置发送到本地站点处的投影仪时，并且当投影仪基于关键物理点的位置以及患者身体的当前已知的形状和位置将光点投影到患者身体上时，如果光点的位置与患者身体上的关键物理点的预测位置不对准，则将差异报告回中央控制服务器，并且中央控制服务器调整患者身体的三维模型并且可选地重新选择模板或重新调整模板与当前图像中的患者之间的拟合，直至光点与关键物理点的预测位置在本地站点处充分地对准。
图4a至图4c示出了根据一些实施方式的用于在远程指导的治疗环境的远程站点处进行实时视觉和触觉渲染的示例性处理流水线。
如图4a中所示，从与患者和机器人并置的成像传感器(例如，3d摄像机)接收到的rgbd数据402通过网络进行流传输并且提供给中央控制服务器136上的图形处理单元404(graphicalprocessingunit，gpu)。由于kinectfusion适用于密集映射和定位，因此密集几何体被生成为患者身体的3d虚拟化版本的流表面。在gpu404中，执行tsdf更新，然后执行碰撞检测，然后执行带有力阴影和射线投射的代理更新。所得数据包括点云406和所有触觉交互点(hip)的代理值408。点云406和代理值408用于显示器(例如，本地站点处的显示器和远程站点处的显示器)上的视觉渲染，并且代理值408用于触觉感知输入设备(例如，输入设备111)上的力渲染。
在本公开中，提出了一种具有力阴影的新的代理更新方法，该代理更新方法更有效并且保证在不同平面的相交边界处的稳定渲染。此外，该方法允许在触觉渲染中添加诸如为摩擦和触觉质感的表面特性。
代理更新是基于约束的触觉渲染的关键部分，因为代理不仅用于计算交互点处的力，而且在视觉上为查看者进行渲染。如果代理更新不稳定且不平滑，则力渲染和视觉渲染将会不平滑。先前，以发布的代理更新方法使用基于梯度的方法来查找最近的表面点。如图4b中所示，左侧的图4b(1)示出了一种情况，即触觉交互发生在方向发生急剧变化的表面上(例如，交互围绕弯曲表面的角部或两个相交平面的边界进行)。在该情况下，根据先前公开的触觉渲染方法，用户将触觉交互点(hip)从hi-1移动到hi，并且将代理位置从pi-1更改为pi。由于在先前公开的方法中，根据hip，代理始终是最接近的表面点，因此代理经历位置的突然改变。就用户体验而言，用户的手指好像突然“跳动”到表面的另一侧，并且计算出的力急剧改变为几乎相反的方向。这会使用户分心，感到不实在且令人困惑。
力阴影是用于平滑触觉渲染的算法。在本公开中，提出了一种具有力阴影的新的基于tsdf的代理更新方法。与先前的力阴影方法不同，当前公开的方法着重于tsdf数据结构，该tsdf数据结构可以用于所有的基于融合的3d重建中。改进的代理更新方法处理了两种情况：
在一些实施例中，本文描述的改进的方法模拟表面特性以生成模拟的摩擦力以及纹理化表面的不同触觉。在一些实施例中，可以使用已知的摩擦锥通过简单的改变来模拟摩擦力。如图5中所示，角度α定义了从当前hiphi开始的圆锥。摩擦锥与先前的代理点pi-1的切平面形成交互圆。在一些实施例中，α＝arctan(μ)，其中，μ是用户定义的摩擦系数。如果先前的时间步骤代理pi-1位于交互圆以内(例如，如图4c(1)中所示)，则新的代理将直接设置为与以前相同的值：pi＝pi-1。如果先前的时间步骤代理pi-1位于交互圆之外(例如，如图4c(2)中所示)，则目标位置(近似代理)gi＝ci，其中，ci是在交互圆上最接近pi-1的的点。这两种情况对应于模拟静态摩擦和模拟动态摩擦。在一些实施例中，通过使用凹凸纹理方法来实现触觉纹理，该凹凸纹理方法可以为表面上的每个点生成约束以改变法线。
图4d示出了用于直接从单个二维(2d)图像重建人体的三维(3d)网格的示例性处理流水线4300。在一些实施例中，处理流水线4300包括训练和使用3d重建模型来重建3d人体网格并在重建的3d人体网格上显示穴位。在一些实施例中，处理流水线进一步包括训练3d回归模型并将3d回归模型应用于具有相应穴位的重建的3d网格，以获得最小化的组合损失。
在参考图1a讨论的一些实施例中，本地站点102处的成像传感器106捕获人类对象104的至少一部分的二维(2d)图像。在一些实施例中，所捕获的2d图像是以人体或人体的一部分为中心的单个rgb图像。例如，所捕获的2d图像是人类对象104的全身图像，人类对象104的上半身图像、人类对象104的下半身图像或人体的可充分辨识姿势变化的重要部分的图像。
在一些实施例中，提供(4310)了多个2d带注释的图像、具有不同形状和姿势的3d人体网格的池以及3d数据集，该3d数据集包括在相应的3d人体网格上标记的穴位的3d数据。在一些实施例中，2d带注释的图像包括由摄像机捕获的图像，这些图像进一步带有2d关键点的注释。在一些实施例中，关键点包括人体的各种物理关键点，诸如人体上的一个或多个关节或一个或多个面部关键点。在一些实施例中，3d人体网格的池包括具有各种形状(例如，与身高、体重和/或人体的身体比例、人体的各个部分/部位有关)和/或姿势(例如，包括在治疗台上接受针灸治疗的患者的一个或多个惯用姿势)的人的3d网格的3d数据集。在一些实施例中，3d数据集包括使用带有标记的3d扫描仪收集的穴位的3d数据(例如，位置数据)，以显示相应3d人体上的穴位。在一些实施例中，通过请求医生(例如，传统中医(tcm)医生)在一个或多个3d人体模型上标记穴位来收集3d数据集，并且3d数据集存储在相应的3d人体模型上标记的穴位的3d数据(例如，位置数据)。在一些实施例中，为tcm医生提供有各种形状、身高、姿势、体重、年龄和/或性别的3d人体模型以用于标记穴位。在一些实施例中，要求tcm医生在3d人体模型的一个或多个部分/部位(诸如3d人体的上半身、3d人体的下本身、3d人体的头部、3d人体的肢体(例如，手臂、腿、脚))上标记相应的穴位。
在一些实施例中，计算系统(例如，本地计算设备114或中央控制服务器136，图1a)获得(4320)单个所捕获的2d图像，以如本文在方法4300中所讨论的那样进行进一步处理。在一些实施例中，计算系统进一步处理(4320)所捕获的2d图像以获得来自2d图像的各种图像特征φ(例如，卷积特征)，以在以下步骤中重建三维(3d)人体网格。例如，计算系统使用经训练的模型(例如，包括多层的深度神经网络模型，诸如resnet50)来获得所捕获的2d图像的卷积特征。
在一些实施例中，计算系统使用经训练的人体恢复模型进一步处理(4330)所捕获的2d图像，以重建人类对象的具有穴位的3d人体网格。例如，经训练的人体恢复模型包括用于输出3d人体网格的蒙皮多人线性(smpl)模型。在一些实施例中，人体恢复模型基于多个参数来重建3d人体网格，这多个参数包括与人类对象的形状(β)(例如，身高、体重、身体比例)、姿势(θ)、穴位(α)有关的人体参数以及用于拍摄2d图像的摄像机参数(例如，全局旋转、平移、缩放)。在一些实施例中，人体恢复模型基于人类对象的形状和姿势参数重塑3d人体网格模板。在一些实施例中，人体恢复模型进一步将关键物理点(例如，关节、面部关键点)和穴位投影(例如，正射投影)到重建的3d人体网格上。在一些实施例中，人体恢复模型包括分别与人体的多个部分(例如，诸如上半身、下半身、头部、肢体等)相对应的多个人体恢复子模型。
在一些实施例中，形状参数β与人类个体如何改变身高、体重、身体比例等有关。在一些实施例中，形状参数β由主成分分析(pca)形状空间的多个系数进行参数化。在一些实施例中，姿势θ说明了人体网格的3d表面如何根据物理关键点的分布以及相应的物理关键点的不同姿势而变形。在一些实施例中，姿势θ通过多个关键物理点的相对3d旋转来进行建模，该多个关键物理点诸如为以轴角表示(例如，θ∈r3k)的多个关节(例如，k个关节)。在一些实施例中，穴位α包括与3d人体上的多个穴位的相应位置信息相对应的多个位置参数(例如，在2d平面中和/或在3d维度中)。
在一些实施例中，人体恢复模型包括可微分函数，该可微分函数输出具有n个顶点的三角(三角形)网格m(θ,β)∈r3×n。在一些实施例中，通过对以人类对象的形状β和姿势θ为条件的模板主体顶点进行成形，然后通过向前运动根据关节旋转θ对骨骼进行铰接，并通过利用线性混合蒙皮使表面变形来获得三角网格m。
在一些实施例中，根据形状β、姿势θ和一个或多个物理关键点的位置来估计多个穴位α的相应位置信息。在一个示例中，根据一个或多个穴位与一个或多个关键物理点(例如，关节、面部特征点或其他人体特征点)之间的预定位置关系，在3d人体网格(例如，网格m)上确定穴位α的位置信息。在另一示例中，根据从3d扫描仪或本文所讨论的3d人体模型上的tcm医生注释获得的穴位的3d数据集，在3d人体网格(例如，网格m)上确定穴位α。在一些实施例中，通过从最终网格顶点进行线性回归来获得在随后的步骤中用于计算重投影误差x(θ,β)∈r3×p的多个3d关键物理点。
在一些实施例中，2d图像的多个参数包括一个或多个摄像机参数，诸如全局旋转r、平移t和比例s。在一些实施例中，人体恢复模型进一步包括用于获取摄像机参数的摄像机模型，该摄像机参数包括以轴角表示的全局旋转r、平移t和比例s。在一些实施例中，表示人体网格的3d重建的多个摄像机参数被表示为多维矢量(例如，θ＝{θ,β,α,r,t,s})。在一些实施例中，基于摄像机参数来计算穴位x(θ,β)的投影，例如，
在一些实施例中，计算系统执行(4340)迭代3d回归以输出具有最小化的组合损失的3d人体网格。在一些实施例中，对预定的迭代时间t(例如，t＝3,5,10,20或100等)执行迭代3d回归以训练3d人体恢复模型，以用于重建(例如，输出)具有相应穴位的3d人体网格。在一些实施例中，监督3d回归模型以实现最小化的组合损失l＝λ(lreproj+ll3d)+ladv，其中，lreproj包括穴位重投影误差/损失，l3d表示3d损失，ladv是对抗损失，以验证所获得的具有相应穴位的3d人体网格是否对应于真实的人体形状、姿势和穴位。在一些实施例中，lreproj进一步包括物理关键点重投影误差/损失。在一些实施例中，执行3d回归以训练3d人体恢复模型，直至将组合损失l减小至预设的损失值为止。在一些实施例中，训练每个穴位，然后计算系统将所有穴位集成在一起，以用最小化的组合损失l输出基于物理关键点并标记有穴位的3d人体网格。
在一些实施例中，在迭代误差反馈回路中执行迭代回归，其中，对于当前估计反复地进行渐进式改变。在一些实施例中，用于重建3d人体网格的经训练的3d回归模型将所捕获的2d图像的图像特征φ(例如，在步骤4320中)和多个参数θ(例如，如步骤4330中所讨论的)作为3d回归模型的输入，并且3d回归模型输出当前回路的参数的变化δθ。通过将参数的变化δθ添加到当前回路的参数θt中来更新作为下一回路θt+1的输入的参数(例如，θt+1＝θt+δθ)。
在一些实施例中，重投影损失/误差(lreproj)与在从2d关键物理点位置生成包括3d投影的3d人体网格期间的相应穴位和其他类型的关键物理点的集体投影误差有关，诸如：
其中，xi是穴位或另一种类型的物理关键点(例如，在2d图像上注释)的第i个基础真实2d数据，
在一些实施例中，当3d基础真实数据可用时，执行3d监督。在一些实施例中，3d损失l3d是与3d关键物理点损失(l3d点)、3d形状和姿势损失(l3dsmpl)以及3d穴位损失l3dap有关的3d基础真实误差。例如，3d损失l3d是l3d点、l3dsmpl与l3dap之和。
在一些实施例中，当关键物理点的3d基础真实数据可用时，例如，当关键物理点的3d注释(例如，来自标准数据库或tcm医生的注释)可用时，可以计算3d关键物理点损失l3d点。在一些实施例中，基于摄像机参数通过关键物理点的3d基础真实数据与相应的关键物理点的投影之间的比较来确定3d关键物理点损失l3d点(例如，
在一些实施例中，当在smpl模型中用于3d人体网格重建的形状和姿势的基础真实数据可用时，获得了3d形状和姿势损失(l3dsmpl)。例如，3d形状和姿势损失(l3dsmpl)被确定为
在一些实施例中，如参考方法4300的步骤4310所讨论的，使用3d数据集来获得3d穴位损失l3dap，该3d数据集包括在相应的3d人体网格上标记的穴位的基础真实3d数据。在一些实施例中，3d穴位损失l3dap被确定为
在一些实施例中，对抗损失(ladv)(也被称为鉴别器误差)提供了对所获得的具有相应穴位的3d人体网格是否对应于真实人体的形状、姿势和穴位的度量。在一些实施例中，对包括多个子鉴别器的鉴别器网络/模块进行训练以确定对抗损失ladv。在一些实施例中，每个穴位对应于用于确定相应穴位的相应对抗损失的单个子鉴别器(例如，相应穴位对应于真实人类上的穴位的可能性)。在一些实施例中，分别针对形状和姿势对子鉴别器进行单独训练。在一些实施例中，针对每个关键物理点对相应的子鉴别器进行训练。在一些实施例中，每个子鉴别器输出介于0和1之间的值，表示对应参数对应于真实人类参数的概率。在一些实施例中，对子鉴别器进行单独评估，以优化每个子鉴别器的结果，并且共同优化图像编码器的性能以获得图像特征和人体恢复模型。在一些实施例中，合适的统计方法(诸如最小二乘法)被用于优化过程。
在一些实施例中，将3d关键物理点损失l3d点以及3d形状和姿势损失l3dsmpl应用于最终回路中的最终估计值θt。在一些实施例中，在每次迭代时将对抗损失ladv应用于估计值，使得3d回归模型可以在每次迭代时基于真实人体来校正估计值θt。
在一些实施例中，计算系统输出(4350)用于人类对象的重建的3d人体网格(例如，图1b中的显示器103上显示的3d人体网格)。在一些实施例中，用穴位(例如，穴位118，图1b)标记3d人体网格。在一些实施例中，计算系统根据具有对应于人类对象的穴位的重建的3d人体网格(例如，如参考图1b和图2所讨论的)来生成(4360)与人类对象的相应穴位相关联的治疗数据。
在一些实施例中，利用各种类型的参数(包括形状参数、姿势参数、关节参数和穴位的位置)对患者身体的3d人体网格的数据库进行注释。带注释的3d人体网格在训练中用于获得人体恢复模型(例如，包括蒙皮多人线性(smpl)模型)，以获得代表训练数据中呈现出的人体的相应的形状参数、姿势参数、关节参数以及穴位。当从本地站点接收到患者的2d图像时，对2d图像进行处理以确定身体形状参数、姿势参数和穴位参数。在一些实施例中，姿势参数由患者或本地操作员手动输入或校正。在一些实施例中，姿势参数由远程专家或本地操作员指定，并且在流传输患者的图像之前根据指定的姿势参数来对患者进行定位。然后，将形状、姿势和穴位参数用于对模板人体网格顶点进行塑形，并在定制的3d人体网格上表明物理关键点。在一些实施例中，摄像机模型和摄像机参数用于将穴位和其他类型的物理关键点从2d特征数据集投影到重建的3d人体网格上。在一些实施例中，使用3d迭代回归模型来进一步验证所生成的3d人体网格和穴位。例如，如上面在步骤4340中所讨论的，使用3d迭代回归模型来使组合损失(包括重投影损失、3d损失和鉴别器误差)最小化。在一些实施例中，包括多个子鉴别器的鉴别器模块分别评估形状、姿势和穴位是否对应于真实人体。
在一些实施例中，在治疗环节期间，患者可能会略微地移动，并且患者的移动会导致流传输至控制服务器的2d图像略微地改变，从而导致患者身体的形状参数和穴位位置发生变化。如果变化相对较小，例如，小于预设阈值百分比，则重建的3d人体网格不改变，并且穴位的位置也不改变。如果变化相对较大，例如，大于预设阈值百分比，则基于从更新的2d图像得出的新形状和穴位参数，使用经训练的模型对3d人体网格进行重建。使用3d迭代回归模型，基于新的穴位位置来更新和验证穴位的位置。在一些实施例中，如果患者的姿势改变(例如，患者抬起他的腿或侧转身)，或者如果成像传感器捕获到人体的不同部位，则使用经训练的模型基于从更新的2d图像得出的新形状和穴位参数来对3d人体网格进行重建。使用3d迭代回归模型，基于新的穴位位置来更新和验证穴位的位置。
在一些实施例中，当将为患者生成的穴位位置发送到本地站点处的投影仪时，并且当投影仪基于穴位的位置以及患者身体的当前已知的形状和位置将光点投影到患者身体上时，如果光点的位置与患者身体上的穴位的预测位置不对准，则将差异报告回中央控制服务器，并且中央控制服务器调整患者身体的3d人体网格以及3d人体网格上的穴位，直至光点与穴位的预测位置在本地站点处充分地对准。
图4e示出了示例性3d全身穴位图，并且图4f至图4i示出了根据一些实施方式的人体的各个部分的示例性穴位图。在一些实施例中，如图4e至4i中所示，人体上的穴位的位置信息(例如，包括2d数据和/或3d数据)被视为基础真实数据。在一些实施例中，可以使用带有标记的3d扫描仪获得基础真实穴位数据，以在相应的3d人体上显示穴位。在一些实施例中，可以从由tcm医生在形状、姿势和部分不同的3d人体模型上标记的注释数据中获得基础真实穴位数据。在一些实施例中，如参考图3所讨论的，经训练的人体恢复模型可以重建3d人体网格，并且在3d人体网格上提供穴位。在一些实施例中，人体恢复模型包括用于使3d基础真实误差最小化的迭代回归模块，该3d基础真实误差进一步包括相对于带注释的3d穴位数据(全身穴位数据或人体的相应部分上的穴位的子集)的穴位估计误差。在一些实施例中，人体恢复模型包括鉴别器模块，该鉴别器模块用于确定具有相应穴位的重建的人体网格(全身人体网格或局部人体网格)是否对应于具有穴位的真实人体。在一些实施例中，鉴别器模块包括对应于人体的相应部分(例如，诸如图4f中的耳朵、图4g中的头部、图4h中的手臂和图4i中的腿部)的多个子鉴别器。
图5示出了根据一些实施例的示例性用户界面500，该示例性用户界面用于为远程专家提供对治疗患者的远程指导。
如图5中所示，用户界面500包括实时数据显示部分502和治疗计划及调整区域501。在实时数据显示部分502中，在第一区域中显示患者身体504的虚拟化版本。在一些实施例中，患者身体504的虚拟化版本在操作上是由从本地站点102处接收到的流3d图像生成的点云。在一些实施例中，患者身体的虚拟化版本是3d人体网格。在一些实施例中，患者身体504的虚拟化版本是平滑网格表面，其表示患者身体在本地站点处的支撑表面上的深度、形状和姿势。在一些实施例中，为患者身体识别的关键物理点506(例如，包括穴位)被叠加在患者身体504的虚拟化版本上。在一些实施例中，目标区域选择窗口508被显示为叠加在患者身体504的虚拟化版本上。远程专家可以在患者身体的虚拟化版本的不同部分上滑动目标区域选择窗口508，并且在缩放的查看区域510中查看这些部分。默认，窗口508被置于患者身体的虚拟化版本的区域上，该区域是当前执行治疗程序的目标区域。例如，在治疗程序期间，远程专家可以通过使用虚拟指针512拖动窗口508来移动窗口508，并且将在缩放的查看区域510中显示窗口508内的患者身体的区域。一旦远程专家释放窗口508，该窗口就自动返回到当前治疗程序的目标区域，并且在缩放的查看区域510中显示的患者身体的部分成为当前治疗程序的目标区域。该用户界面特征使得远程专家能够在治疗程序期间检查患者身体的其他部分，就像他或她在患者所处的位置一样。在一些实施例中，远程专家可以在将窗口508拖离默认位置后通过按下输入设备上的特定键来暂时锁定窗口508的位置。在缩放的查看区域510中，默认示出了当前治疗程序的状态和进度。例如，如图5中所示，当前执行的治疗程序是利用长针在患者身体的区域1上针灸20分钟。缩放的查看区域510示出了两根针已经被插入到区域1中为治疗程序选择的五个关键物理点中。当将新的针插入下一个关键物理点中时，关键物理点也将被突显(例如，带有十字“x”)。在一些实施例中，远程专家可以使用触觉感知输入设备来探索在缩放的查看区域510中示出的患者身体的部分。当虚拟指针512在缩放的查看区域510中示出的患者身体的虚拟化版本的一部分的表面上被拖动时，中央控制计算机经由触觉感知输入设备(例如，设备111)向专家的手提供触觉反馈，使得远程专家可以体验到患者皮肤的轮廓、质感和硬度的变化。这有助于远程专家更好地调整治疗程序以及在治疗程序期间调整关键物理点的位置。
如图5中所示，来自本地站点的传感器数据被显示在传感器反馈显示区域514中。例如，患者的心率、体温、压力水平等被显示在该区域中，并且在治疗程序期间被持续更新。这些传感器数据中的一些是原始的传感器数据，一些是聚集的传感器数据。在一些实施例中，数据中的一些是基于多种类型的传感器数据的组合得出的分析结果。例如，压力水平是从生理反应(例如，血压、心率、排汗、肌肉张力等)以及其他活动用户反馈数据(例如，用户手上的压力传感器、用户的口头交流、用户的面部表情等)得出的一种类型的数据。远程专家可选地选择他/她想要在该区域中显示的传感器数据的类型，以确定适合的治疗程序。例如，如果治疗的目的是放松，则远程专家将用于确定压力水平的关联传感器数据置于显示区域514中。如果治疗的目的是减轻疼痛，则远程专家将用于确定疼痛和不适的关联传感器数据置于显示区域514中。在一些实施例中，用户界面允许远程专家选择治疗的目的，并且自动地将传感器数据类型填充至传感器反馈显示区域514中。
在用户界面500中，治疗计划输入区域510不会实时地进行动态更新。在治疗计划指定区域510中，远程专家已经选择了要在当前治疗环节中执行的多个治疗程序。在一些实施例中，甚至在所有治疗程序已经被指定之前，就可以开始治疗计划。有时，远程专家会基于较早执行的治疗程序的结果来确定稍后的治疗程序。例如，在当前治疗计划中，第一治疗程序被指定为“针灸”，并且用户界面使得远程专家能够为每个治疗程序选择患者身体上的目标区域。在指定了治疗程序的目标区域之后，用户界面使得远程专家能够为治疗程序选择一个或多个治疗参数。一旦指定了所有的治疗参数，就显示控件，使得远程专家能够发送命令以开始治疗程序。如图5中所示，用户界面500示出了远程专家已经完全指定了三个治疗程序。第一治疗程序是针灸，其被应用于患者身体的区域1。在一些实施例中，在指定目标区域期间，远程专家可以选择患者身体的目标区域中的关键物理点的特定子集作为治疗程序的目标点。在一些实施例中，远程专家还被给予一种方法以指定在治疗程序中待操纵的这些目标点的顺序。在治疗参数区域中，远程专家可以指定所需的设备(例如，长针)和每根针保持插入所需的时间(例如，20分钟)。在该特定示例中，远程专家已经开始针灸程序(例如，如第一治疗程序旁边显示的“暂停”按钮所指示的)。如果远程专家希望在其完成之前停止当前治疗程序(例如，由于传感器数据指示的患者的不适)，则远程专家可以激活第一治疗程序旁边的暂停按钮。位于本地站点处的机器人将根据从远程专家接收到的命令停止治疗程序。
如图5中所示，在该示例中，远程专家已经指定了许多治疗程序(例如，针灸、冰敷和加热)，并且开始在治疗计划中指定第四治疗程序(例如，电刺激)。专家已经选择了在目标选择区域520中显示的患者身体522的虚拟化版本的目标区域(例如，区域4(例如，用户的颈部区域))。如图5中所示，远程专家可以从可能的姿势525(例如，俯卧、左腿略微弯曲地躺着、两腿略微弯曲地趟向左侧)的列表中选择用于治疗程序的姿势。在一些实施例中，一旦远程专家已经选择了用于治疗程序的姿势，则在目标选择区域520中以放大状态示出所选择的姿势。患者身体的关键目标点(例如，穴位、冰敷点、加热点、电刺激点等)被显示在目标选择区域中所示的三维人体网格或其他3d模型上。在一些实施例中，目标选择区域520中示出的模型是从在本地站点处捕获的患者的2d图像生成的重建的3d人体网格(如所讨论的)。在一些实施例中，在目标选择区域520中示出的模型是实际的三维模型图像。在一些实施例中，在目标选择区域中示出的模型是最匹配患者身体的模板三维模型。在一些实施例中，在目标选择区域中示出的模型是最匹配患者身体的三维模型的拟合版本。使用通用模型的好处是减少了计算并实现更快的性能。使用最匹配患者身体的模拟的好处是，该模型更紧密地反映患者的实际状况(例如，肥胖、虚弱、皮肤下几乎没有脂肪等)。在一些实施例中，可以响应于远程专家的输入来调整目标区域选择区域中所示的3d人体网格或其他3d模型的姿势。例如，远程专家可以拖动模型的腿使其弯曲，或者移动模型的手臂以将其抬高到模型的头部上方等。在一些实施例中，一旦调整了模型的姿势，就将经调整的模型姿势发送到本地站点，并且患者或本地操作员可以在开始相应的治疗程序之前帮助患者相应地调整患者的姿势。
在目标选择区域520中，关键物理点524(例如，包括穴位)被示出为叠加在患者身体的3d人体网格或其他3d模型上。远程专家可以通过将可调整大小的框526置于模型上的区域上方来选择区域。远程专家还可以选择选定的目标区域内的特定关键物理点(例如，点528)作为治疗程序的目标点。一旦选择了所有的目标区域，远程专家就可以选择目标选择区域中的“完成”按钮，以将目标区域和目标点的信息输入到治疗程序的目标区域部分(例如，1“针灸”或4“电刺激”)中。一旦远程专家还已经为治疗程序选择了治疗参数(例如，治疗目标位置、持续时间和强度等)，就启用用于使治疗程序开始的控件(例如，显示了开始按钮)。
在一些实施例中，用户界面500为远程专家提供预设的治疗计划，以为特定患者进行选择。在一些实施例中，一旦完全指定或全部完成，则用户界面500使得远程专家能够保存当前治疗计划。在一些实施例中，在选择了所保存或预设的治疗计划，并且在治疗计划指定区域中填充了治疗程序和相应的参数之后，远程专家仍可以以上述概述相同的方式使用用户界面500来修改治疗计划的特定方面。
在一些实施例中，要求患者在治疗期间保持静止，并基于所施加的操纵来跟踪和预测用户的移动，有助于减少网络延时的问题。在一些实施例中，如果在治疗程序期间检测到太多移动，则在用户界面500上生成警报，并且远程专家可以在用户界面500中输入命令以请求再次执行治疗程序并要求机器人在程序期间限制患者的移动。
图6a是根据一些实施例的提供远程指导的物理治疗的方法6100的流程图。方法6100在具有一个或多个处理器和存储器的计算设备(例如，中央控制服务器136)处执行，其中，计算设备(6102)与治疗性机器人(例如，与患者104并置的机器人128)以及指导设备(例如，与远程专家110并置的计算机)进行通信，该指导设备包括第一显示生成部件和第一输入设备(例如，触觉感知输入设备、触摸屏或鼠标)，并且其中，在物理治疗环节期间，治疗性机器人与治疗对象(例如，患者104)并置，并且指导设备与治疗指导者(例如，远程专家110)并置。
在方法6100中，计算设备接收(6104)治疗对象的一个或多个全身图像(例如，图像被流传输至中央控制服务器，图像包括彩色图像和相应的深度数据，图像在治疗环节期间由位于患者的本地站点处的rgbd摄像机捕获)。计算设备为治疗对象生成(6106)多个关键物理点(例如，压力点、穴位、电刺激部位、触痛点、关节等)。为了生成多个关键物理点，计算设备从治疗对象的一个或多个全身图像确定(6108)治疗对象的多个形状参数和姿势参数。计算设备进一步识别(6110)与治疗对象的多个形状参数和姿势参数相对应的第一三维人体模板(例如，基于流3d图像中的患者的形状参数和姿势参数，经训练的模板模型从大量的人体模板中识别最匹配的三维人体模板)，其中，第一三维人体模板具有相应的关键物理点的集合(例如，相对于模板模型已知的每个模板，关键物理点的位置是已知的)。然后，计算设备将所识别的第一三维人体模板拟合(6112)到治疗对象的一个或多个全身图像(例如，患者身体图像的形状、大小、姿势以及所识别的最佳匹配的人体模板不完全相同，并且由于拟合而以使误差或差异函数最小化的方式执行拟合)，其中，拟合导致对第一三维人体模板的相应的关键物理点的集合中的至少一个关键物理点的位置进行调整(例如，当三维人体模板被拟合时，人体模板的关键物理点的位置相应地移动)。计算设备将第一三维人体模板的相应的关键物理点的集合的经调整的位置提供(6114)给指导设备，其中，第一三维人体模板的相应的关键物理点的集合的经调整的位置为物理治疗环节期间由治疗指导者指定的治疗程序提供了基础(例如，如图5中所示)。
在一些实施例中，在由治疗性机器人在治疗对象上执行治疗程序期间：计算设备接收治疗对象的额外的全身图像；计算设备基于治疗对象的额外的全身图像来检测治疗对象在治疗程序期间进行的移动；并且响应于检测到治疗对象在治疗程序期间进行的移动，计算设备将所识别的第一三维人体模板重新拟合至治疗对象的额外的全身图像(例如，患者身体图像的形状、大小、姿势以及所识别的最佳匹配的人体模板不完全相同，并且由于拟合而以使误差或差异函数最小化的方式执行拟合)，其中，重新拟合导致对第一三维人体模板的相应的关键物理点的集合中的至少一个关键物理点的位置进行额外调整(例如，当三维人体模板被拟合时，人体模板的关键物理点的位置相应地移动)。计算设备将第一三维人体模板的相应的关键物理点的集合的额外经调整的位置提供给指导设备，其中，第一三维人体模板的相应的关键物理点的集合的额外经调整的位置为物理治疗环节期间执行的治疗程序提供了修改的基础。例如，在治疗程序期间跟踪关键物理点的位置，并基于当患者在治疗程序期间移动他/她的身体时关键物理点的位置的改变来调整机器人的治疗动作。
在一些实施例中，在由治疗性机器人在治疗对象上执行治疗程序期间：计算设备从与治疗对象并置的多个传感器接收传感器数据(例如，心率、血压、排汗、抓杆上的压力/力等)；计算设备基于时间关联传感器数据(例如，对于每个时间点，关联传感器数据值的集合)；并且计算设备根据经关联的传感器数据(例如，当前时间的关联传感器数据指示患者处于压力下、承受过多疼痛等)自动调整一个或多个治疗参数(例如，减少用于电刺激的电流，或减少用于针压治疗的力/压力，减小用于针灸治疗的针头深度等)。例如，远程专家的治疗程序可以将治疗参数设置在可接受的范围(例如，电流的范围、压力/力的范围、针头深度的范围等)内，并且中央控制计算机向机器人发送命令，以基于从患者接收到的传感器反馈数据实时调整实际用于执行治疗程序的治疗参数值。
在一些实施例中，在将第一三维人体模板的相应的关键物理点的集合的经调整的位置提供给指导设备之后，计算设备从与治疗指导者并置的指导设备接收用户输入，其中，用户输入进一步修改第一三维人体模板的相应的关键物理点的集合的经调整的位置。例如，远程专家可以根据其自身的专长在患者身体的虚拟化模型上移动自动生成的关键物理点。计算设备根据用户输入向治疗性机器人提供在治疗环节期间执行的治疗程序的修改基础。例如，如果治疗程序时将针头施加到患者身体上的穴位x，则为穴位x自动生成的位置是患者身体上的位置1，并且远程专家已经将穴位x的位置调整到患者身体上的位置2，治疗性机器人将针灸针插入患者身体上的位置2中。
在一些实施例中，计算设备经由第一输入设备检测第一移动输入，其中，第一移动输入的位置对应于跨越治疗对象的第一表面部分的移动；计算设备响应于第一移动输入，执行治疗对象的第一表面部分的触觉渲染；并且计算设备经由第一输入设备向治疗指导者提供触觉反馈，其中，触觉反馈根据治疗对象的第一表面部分的轮廓约束第一移动输入，并且其中，触觉反馈模拟治疗对象的第一表面部分的一个或多个表面特征。例如，当远程专家使用触觉输入设备以使虚拟指针滑过患者身体的虚拟化版本的肩部部分时，虚拟指针的移动被约束成在肩部的表面上(而不是穿过肩部的表面)移动，并且当远程专家使用触觉输入设备推靠肩部时，触觉反馈将包括推靠用户的手的反作用力，并且当远程专家在拖动虚拟指针的同时推靠肩部时，摩擦力也将增加。这种触觉反馈使得远程专家能够真实地体验患者的肩部，和/或演示要在患者肩部上执行的按摩动作。
在一些实施例中，在由治疗性机器人在治疗对象上执行治疗程序期间：计算设备从指导设备接收命令以直接控制治疗性机器人；并且响应于从指导设备接收命令，计算设备中断由治疗性机器人在治疗对象上执行的治疗程序。例如，远程专家可以确定应当更仔细地执行治疗程序的特定部分，并且中断机器人(例如，通过激活用户界面500上的暂停按钮)，然后激活遥操作控件以直接控制机器人的移动。
在一些实施例中，在中断由治疗性机器人在治疗对象上执行的治疗程序之后：计算设备从指导设备接收直接操纵命令，包括从第一输入设备接收的一个或多个移动输入；并且响应于从指导设备接收直接操纵命令，计算设备根据一个或多个移动输入的移动参数和力参数使治疗性机器人执行移动。例如，远程专家可以使用触觉感知输入设备提供移动输入(例如，按摩动作)，其中，位置、力量、速度以及移动模式适合于当前治疗情况，并且相同的移动输入由治疗性机器人在患者身体上精确地复制(例如，具有相同的位置、力、速度以及移动模式)。
应当理解，已经描述了方法600中的操作的特定顺序仅是示例，并且不旨在指示所描述的顺序是可以执行操作的唯一顺序。本领域普通技术人员将认识到对本文所述的操作进行重新排序的各种方式。另外，应当注意，本文中相对于本文所述的其他方法进行描述的其他过程的细节也可以类似方式应用于上文参考图6所描述的方法600。为了简便起见，此处不再赘述。
图6b是根据一些实施例的在重建的3d人体网格上生成穴位以进行物理治疗的方法6200的流程图。方法6200在具有一个或多个处理器和存储器的计算设备(例如，中央控制服务器136、本地计算设备114或远程计算设备115，图1a至图1b)处执行。在一些实施例中，计算设备与治疗性机器人(例如，与患者104并置的机器人128)以及指导设备(例如，与远程专家110并置的计算机)进行通信，该指导设备包括第一显示器和第一输入设备(例如，触觉感知输入设备、触摸屏或鼠标)，并且其中，在物理治疗环节期间，治疗性机器人与治疗对象(例如，患者104)并置，并且指导设备与治疗指导者(例如，远程专家110)并置。
在方法6200中，计算设备获得(6204)人类对象的第一二维图像(例如，患者107的2d图像，图1a)，第一人类对象的第一二维图像至少捕获人类对象的预定部分。在一些实施例中，2d图像包括患者104的全身。在一些其他实施例中，2d图像至少包括患者104的一部分，诸如人类对象的上半身、人类对象的下半身或人体的在图像中可充分辨识出姿势/姿态变化的重要部分或者人体的包括用于当前物理治疗的重要穴位的重要部分，诸如患者的手臂、患者的腿部、患者的躯干、患者的头部、患者的耳朵等。
在一些实施例中，计算设备使用经训练的人体恢复模型(例如，如参考图4d所讨论的)对第一人类对象的第一二维图像进行处理(6206)，以获得代表具有相应穴位(例如，穴位118，图1b)的三维人体网格(例如，图1b中的显示器103上显示的3d人体网格)的多个参数。在一些实施例中，经训练的人体恢复模型包括(6208)迭代三维回归模块，该迭代三维回归模块由鉴别器监督并使组合损失(例如，组合损失l＝λ(lreproj+ll3d)+ladv，图4d)最小化至预设阈值以下。在一些实施例中，如参考图4d所讨论的，组合损失包括人体的经编码的二维输入图像的重投影误差(例如，lreproj)、三维基础真实误差(例如，l3d)以及鉴别器误差(例如，ladv)。在一些实施例中，三维基础真实误差包括(6210)与相对于带注释的三维人体的姿势估计、形状估计和穴位估计有关的相应误差。在一些实施例中，鉴别器误差提供(6212)对所获得的具有相应穴位的三维人体网格是否对应于真实人体的形状、姿势和穴位的度量。在一些实施例中，计算设备根据所获得的具有相应穴位的三维人体网格，生成(6214)对应于第一人类对象的治疗数据。
在一些实施例中，计算设备进一步使用带注释的2d图像、带注释的3d人体网格以及3d数据集来训练人体恢复模型，该3d数据集包括标记在相应的3d人体网格上的带注释的穴位。在一些实施例中，从穴位数据库中检索3d数据集，或者由tcm医生在相应的3d人体模型上对3d数据集进行注释。
在一些实施例中，人体恢复模型包括分别与人体的多个部分相对应的多个人体恢复子模型。在一些实施例中，计算设备进一步使用三维人体上的与姿势、形状相对应的相应部分的注释数据以及与该相应部分相关联的穴位的子集来对相应的人体恢复子模型进行训练。在一些实施例中，计算设备进一步利用相应的穴位来重建人体的一部分，包括：将重建的3d完整人体网格划分为多个重建的部分；以及识别重建的部分，该重建的部分与接收到的人类对象的所述部分的2d图像相对应。
在一些实施例中，第一人类对象的第一二维图像捕获第一人类对象的第一部分，并且其中，使用与第一人类对象的第一部分相对应的第一人体恢复子模型对第一人类对象的二维图像进行处理。
在一些实施例中，计算设备进一步获得第二二维图像，该第二二维图像捕获人类对象的与第一部分不同的第二部分。在一些实施例中，响应于患者的移动、tcm医生的请求/更改治疗计划、摄像机移动等来捕获第二2d图像。作为响应，计算设备使用第二人体恢复子模型对第一人类对象的第二部分的第二二维图像进行处理，以获得表示与人类对象的第二部分相对应的第二三维人体网格的第二组参数，该三维人体网格具有与第一人体的第二部分相关联的第二组穴位。计算设备根据与第二部分相对应的、具有相应的第二组穴位的第二三维人体网格对治疗数据进行进一步更新。
在一些实施例中，计算设备接收三维人体数据库，该三维人体数据库存储与在多个三维人体模板的相应的三维人体模板上标记的多个关键物理点相对应的关键物理点数据，其中，基于接收到的三维人体数据库将多个关键物理点标记在相应的三维全身模型上。
在一些实施例中，三维人体数据库使用三维扫描仪收集数据，以获得在相应的三维全身模板上的多个关键物理点的关键物理点数据。在一些实施例中，三维人体数据库收集与多个关键物理点相对应的关键物理点数据，这些关键物理点被传统中医(tcm)专家标记在相应的三维人体模板上。
在一些实施例中，计算设备进一步通过以下方式对分布在相应的三维全身模型上的多个关键物理点进行标记：在相应的三维全身模型上识别多个关键特征点(例如，膝盖骨、胫骨)；以及识别与相应的关键特征点相关联的多个穴位。例如，足三里(st36)穴位是在膝盖骨的下缘以下的四指宽度以及胫骨外侧的一指宽度处。在一些实施例中，tcm专家基于个体患者的物理特征(例如，不同患者中手指宽度变化)进一步调整穴位的位置，从而导致不同患者上的穴位位置略有不同。
在一些实施例中，在处理第一二维图像之前，计算设备进一步过滤二维图像，诸如去除过于模糊或包含少于预定数量的穴位的图像。在一些实施例中，计算设备进一步提供所获得的标记有穴位的三维人体网格，以显示在远离第一计算设备定位的第二计算设备(例如，显示器103)上。计算设备进一步接收用户输入以修改与三维人体网格上的一个或多个穴位相关联的治疗数据。
应当理解，已经描述了方法6200中的操作的特定顺序仅是示例，并且不旨在指示所描述的顺序是可以执行操作的唯一顺序。本领域普通技术人员将认识到对本文所述的操作进行重新排序的各种方式。另外，应当注意，本文中相对于本文所述的其他方法进行描述的其他过程的细节也可以类似方式应用于上文参考图6所描述的方法6200。为了简便起见，此处不再赘述。
上述信息处理方法中的操作可选地通过运行信息处理设备中的一个或多个功能模块(诸如通用处理器或专用芯片)来实现。
图7是示出了根据一些实施例的包括示例性机器人128和本地站点计算设备114的本地站点设备700的框图。
本地站点设备700包括一个或多个处理单元(cpu)702、一个或多个网络接口704(例如，包括到服务器136的i/o接口)、存储器706以及用于将这些部件互连的一个或多个通信总线708(有时被称为芯片组)。存储器706包括高速随机存取存储器，诸如dram、sram、ddrram或其他随机存取固态存储器设备；以及可选地包括非易失性存储器，诸如一个或多个磁盘存储设备、一个或多个光盘存储设备、一个或多个闪存设备或一个或多个其他非易失性固态存储设备。存储器706可选地包括远离一个或多个处理单元702定位的一个或多个存储设备。存储器706或替代地存储器706内的非易失性存储器包括非暂时性计算机可读存储介质。在一些实施方式中，存储器706或存储器706的非暂时性计算机可读存储介质存储以下程序、模块和数据结构或其子集或超集：
操作系统716，包括用于处理各种基本系统服务和用于执行硬件相关任务的程序；
网络通信模块718，用于将机器人128连接到其他计算设备；
呈现模块720，用于经由与用户界面710相关联的一个或多个输出设备712(例如，显示器、扬声器等)在机器人128处呈现信息；
输入处理模块722，用于检测来自一个或多个输入设备714之一的一个或多个用户输入或交互，并且解释检测到的输入或交互；
控制单元724，用于控制机器人128和本地站点设备的功能，该控制单元包括：摄像机控制单元713，其用于控制机器人128的一个或多个摄像机106；机器人功能控制单元717，其用于控制机器人的机器人操作单元726；路径执行单元719，用于根据路径规划器的高级指令执行路径；以及其他单元，用于实施如本文所述的机器人128的功能。
上面识别的元件中的每一个可以被存储在先前提到的存储设备中的一个或多个中，并且对应于用于执行上述功能的一组指令。上面识别的模块或程序(即，指令的集)不需要被实施为单独的软件程序、过程、模块或数据结构，因此，这些模块的各个子集可以组合或以其他方式重新布置在各种实施方式中。在一些实施方式中，存储器706可选地存储以上识别的模块和数据结构的子集。此外，存储器706可选地存储上文未描述的附加的模块和数据结构。
在一些实施方式中，本地站点设备的功能中的至少一些功能由服务器136执行，并且这些功能的相应子模块可以位于服务器136内而不是位于本地站点设备内。图7中所示的本地站点设备仅仅是说明性的，并且在各种实施方式中用于实施本文所述的功能的模块的不同配置是可能的。
上面识别的元件中的每一个可以被存储在先前提到的存储设备中的一个或多个中，并且对应于用于执行上述功能的一组指令。上面识别的模块或程序(即，指令的集)不需要被实施为单独的软件程序、过程或模块，因此，这些模块的各个子集可以组合或以其他方式重新布置在各种实施方式中。在一些实施方式中，存储器706可选地存储以上识别的模块和数据结构的子集。此外，存储器706可选地存储上文未描述的附加的模块和数据结构。
图8是示出了根据一些实施方式的示例性服务器136的框图。服务器系统136通常包括一个或多个处理单元(cpu)802、一个或多个网络接口804(例如，包括到一个或多个机器人128的i/o接口和到一个或多个用户侧设备(诸如本地站点设备700和远程站点设备900)的i/o接口)、存储器806以及用于将这些部件互连的一个或多个通信总线808(有时被称为芯片组)。存储器806包括高速随机存取存储器，诸如dram、sram、ddrram或其他随机存取固态存储器设备；以及可选地包括非易失性存储器，诸如一个或多个磁盘存储设备、一个或多个光盘存储设备、一个或多个闪存设备或一个或多个其他非易失性固态存储设备。存储器806可选地包括远离一个或多个处理单元802定位的一个或多个存储设备。存储器806或替代地存储器806内的非易失性存储器包括非暂时性计算机可读存储介质。在一些实施方式中，存储器806或存储器806的非暂时性计算机可读存储介质存储以下程序、模块和数据结构或其子集或超集：
操作系统816，包括用于处理各种基本系统服务和用于执行硬件相关任务的程序；
网络通信模块818，用于将服务器136连接到其他计算设备(例如，本地站点设备700(例如摄像机和传感器以及计算设备)和远程站点设备900(例如，包括输入设备(例如，设备111)、显示设备和计算设备))；
呈现模块820，用于经由与用户界面810相关联的一个或多个输出设备812(例如，显示器、扬声器等)在服务器136处呈现信息；
输入处理模块822，用于检测来自一个或多个输入设备814之一的一个或多个用户输入或交互，并且解释检测到的输入或交互；
服务器侧模块826，用于控制服务器136的功能，该服务器侧模块包括用于在虚拟化环境中执行对象分割的对象分割模块828；kinectfusion模块830，用于基于从机器人接收到的图像和深度数据流来生成和更新虚拟化环境；触觉渲染模块832，用于基于经由触觉感知输入设备提供的用户输入并基于虚拟化环境中的输入位置来生成触觉反馈；物理仿真模块，用于在虚拟化环境中生成反作用力和摩擦力渲染以及对象交互模型；路径规划模块836，用于基于虚拟化环境并基于虚拟化环境中存在的触觉标记和虚拟对象生成规划路径；控制器模块838，用于控制机器人执行路径；网络延时补偿模块840，用于基于网络延迟来调整路径规划；以及其他模块842，用于实现本文所述的服务器136的其他功能(例如，模块138、140、142、144、146、150、152、154、156和158)。
上面识别的元件中的每一个可以被存储在先前提到的存储设备中的一个或多个中，并且对应于用于执行上述功能的一组指令。上面识别的模块或程序(即，指令的集)不需要被实施为单独的软件程序、过程、模块或数据结构，因此，这些模块的各个子集可以组合或以其他方式重新布置在各种实施方式中。在一些实施方式中，存储器806可选地存储以上识别的模块和数据结构的子集。此外，存储器806可选地存储上文未描述的附加的模块和数据结构。
在一些实施例中，服务器126的功能中的至少一些功能由机器人128、本地站点计算设备114或远程站点计算设备115执行，并且这些功能的相应子模块可以位于机器人、本地站点计算设备114或远程站点计算设备115内，而不是位于服务器136内。图8中所示的服务器136仅仅是说明性的，并且在各种实施方式中用于实施本文所述的功能的模块的不同配置是可能的。
上面识别的元件中的每一个可以被存储在先前提到的存储设备中的一个或多个中，并且对应于用于执行上述功能的一组指令。上面识别的模块或程序(即，指令的集)不需要被实施为单独的软件程序、过程或模块，因此，这些模块的各个子集可以组合或以其他方式重新布置在各种实施方式中。在一些实施方式中，存储器806可选地存储以上识别的模块和数据结构的子集。此外，存储器806可选地存储上文未描述的附加的模块和数据结构。
图9是示出了根据一些实施方式的示例性远程侧设备900的框图。远程站点设备900通常包括一个或多个处理单元(cpu)902、一个或多个网络接口904(例如，包括到服务器110的i/o接口)、存储器906以及用于将这些部件互连的一个或多个通信总线908(有时被称为芯片组)。存储器906包括高速随机存取存储器，诸如dram、sram、ddrram或其他随机存取固态存储器设备；以及可选地包括非易失性存储器，诸如一个或多个磁盘存储设备、一个或多个光盘存储设备、一个或多个闪存设备或一个或多个其他非易失性固态存储设备。存储器906可选地包括远离一个或多个处理单元902定位的一个或多个存储设备。存储器906或替代地存储器906内的非易失性存储器包括非暂时性计算机可读存储介质。在一些实施方式中，存储器906或存储器906的非暂时性计算机可读存储介质存储以下程序、模块和数据结构或其子集或超集：
操作系统916，包括用于处理各种基本系统服务和用于执行硬件相关任务的程序；
网络通信模块918，用于将服务器136连接到其他计算设备；
呈现模块920，用于经由与用户界面910相关联的一个或多个输出设备912(例如，显示器103、扬声器、触觉感知输入设备111等)在远程侧设备900处呈现信息；
输入处理模块922，用于检测来自一个或多个输入设备914(例如，触觉感知输入设备111)之一的一个或多个用户输入或交互，并且解释检测到的输入或交互；
应用程序924，用于实施各种用户级别功能，诸如文字处理、绘图等；
用户侧模块926，用于控制用户侧设备的功能，该用户侧模块包括用户层模块928以及如本文所述的用于实施用户侧设备的其他功能的其他模块930。
上面识别的元件中的每一个可以被存储在先前提到的存储设备中的一个或多个中，并且对应于用于执行上述功能的一组指令。上面识别的模块或程序(即，指令的集)不需要被实施为单独的软件程序、过程、模块或数据结构，因此，这些模块的各个子集可以组合或以其他方式重新布置在各种实施方式中。在一些实施方式中，存储器906可选地存储以上识别的模块和数据结构的子集。此外，存储器906可选地存储上文未描述的附加的模块和数据结构。
在一些实施方式中，服务器136的功能中的至少一些功能由远程站点设备900执行，并且这些功能的相应子模块可以位于服务器内而不是位于远程站点设备900内。图9中所示的远程站点设备900仅仅是说明性的，并且在各种实施方式中用于实施本文所述的功能的模块的不同配置是可能的。
上面识别的元件中的每一个可以被存储在先前提到的存储设备中的一个或多个中，并且对应于用于执行上述功能的一组指令。上面识别的模块或程序(即，指令的集)不需要被实施为单独的软件程序、过程或模块，因此，这些模块的各个子集可以组合或以其他方式重新布置在各种实施方式中。在一些实施方式中，存储器906可选地存储以上识别的模块和数据结构的子集。此外，存储器906可选地存储上文未描述的附加的模块和数据结构。
- 还没有人留言评论。精彩留言会获得点赞！