一种基于混合现实的医学微创手术训练系统的制作方法
【技术领域】
[0001]本发明涉及一种基于混合现实的医学微创手术训练系统，属于生物医学和信息技术领域。
【背景技术】
[0002]20世纪以来，以腔镜技术为代表的微创手术技术发展迅速，微创手术与传统的手术相比，其具有创伤小、恢复快、麻醉时间短等优点，因此微创手术得到广泛的应用和发展。然而由于微创手术本省的特点，医生只能通过内窥镜看到病人体内的局部状况，这样对于医生来说手术难度大大加大，而且对经验值的依赖比传统的手术要高，所以对医生来说，术前训练十分重要。一般，医生在进行微创手术训练时，都是使用尸体来训练手术技能，但是尸体价格昂贵，且难以重复利用，大多数医生只能通过临床来训练自身的医术技巧，这样就增加了手术的危险性。因此年轻的医生在临床手术前往往缺少训练，对于学医的学生来说训练的机会更是少之又少了。目前也有一些虚拟手术训练类的系统或方法，但是其训练的人体器官模型大都通过相关软件设计的，真实性不强，而且其训练是以教程的训练形式进行训练，理论性比较强，与实际的临床手术还有很大差距。
[0003]鉴于此需要一套真实性强、可重复利用的微创手术训练系统，以提高从医人员的专业技能，减小病人的痛苦，增大手术的成功率。
[0004]本发明是基于混合现实技术，所述的混合现实技术是虚拟现实技术的进一步发展，其是在虚拟的环境中引入现实的场景信息，在虚拟环境、现实环境和用户之间搭起一个交互反馈的信息回路，以增强用户体验的真实感。
【发明内容】
[0005]本发明目的是提供一种基于混合现实的医学微创手术训练系统，用于医学从业者和学习者的临床手术前的训练，特别是用于微创手术的教学和术前训练，以提高医生的专业技能。
[0006]一种基于混合现实的医学微创手术训练系统，包括
主动端单元:包括一台计算机和一台连接于计算机且具有力反馈的多自由度操作手柄，计算机具有虚拟手术场景，虚拟手术场景是将通过扫描以及后期处理所获得的真实的人体器官模型数据导入到仿真软件中搭建而成，操作者通过操作具有力反馈的多自由度操作手柄来控制计算机虚拟手术场景中的手术器械，从而完成虚拟的手术过程，所述多自由度操作手柄是具有力反馈的，在进行虚拟手术场景的微创手术时，操作者可感受的到手术器械的切割力度；
视频图像采集及传输单元:由一套可以将二维的双目视频图像转化为具有3D效果的视频图像装置组成，将主动端单元操作者的操作过程，采集并转化后所获得3D视频数据通过数据线传输到具有3D显示效果的视频图像接收及显示单元；
视频图像接收及显示单元:显示器位于从动端单元，从动端单元的受训人员带上3D眼镜后即可在较强沉浸感的情况下观察主动端单元的操作者在主动端单元的操作情况；从动端单元:包括多台计算机和多台连接于计算机且具有力反馈的多自由度操作手柄，计算机具有虚拟的手术场景，虚拟手术场景是将通过扫描以及后期处理所获得的真实的人体器官模型数据导入到仿真软件中搭建而成，受训人员一方面通过视频图像接收及显示单元观察主动端单元操作者的手术过程，另一方面通过操作具有力反馈的多自由度操作手柄来控制计算机虚拟场景中的手术器械，从而完成虚拟的手术过程，该多自由度操作手柄是具有力反馈的，在进行虚拟手术场景的微创手术时，可以感受的到手术刀的切割力度。
[0007]主动端单元的操作者在进行虚拟的手术时，从动端单元的受训人员可以实现与主动端单元同步及完全相同的操作，并且通过从动端单元的操作手柄可以感受的到主动端单元在进行手术时对手术器械的操控情况。通过视频图像采集及传输单元可以采集主动端操作者的操作过程并传输到为从动端的显示器中，在从动端的受训人员可以一边感受主动端的手术器械操作情况，同时也可以观察主动端的操作者的整体操作过程。
[0008]本发明采用的是混合现实技术，即本发明中虚拟手术场景是将通过扫描和后续处理所得到的真实的人体器官模型数据导入到仿真软件中搭建而成，具有非常强的真实性。
[0009]本发明还可以完成授课式的训练方式，这种方式适合于有经验的医生在主动端进行手术操作，学习者在从动端感受并观察主动端教授者的手术过程。即主动端单元和从动端单元是通过局域网连接的，在相同的手术场景情况下，主动端进行虚拟手术的时候，从动端单元会跟随主动端单元实现完全相同的操作，此时从动端的操作人员的无法控制从动端单元的的操作，从动端的人员可以通过手扶多具有力反馈的多自由度操作手柄来感受主动端在进行手术时所使用的力度以及角度，同时可以观察计算机场景中的手术情况，从而可以实现授课式的训练。
【附图说明】
[0010]图1为本发明的系统结构示意图；
其中1-主动端单元、2-视频图像采集及传输单元、3-视频图像接收及显示单元、4-从动端单元。
【具体实施方式】
[0011]下面结合附图对本发明作进一步详细说明。
[0012]如图1所示，一种基于混合现实的医学微创手术训练系统，包括主动端单元1、视频图像采集及传输单元2、视频图像接收及显示单元3和从动端单元4。其中，
主动端单元1:包括一台计算机和一台连接于计算机且具有力反馈的多自由度操作手柄，计算机具有虚拟手术场景，虚拟手术场景是将通过扫描以及后期处理所获得的真实的人体器官模型数据导入到仿真软件中搭建而成，操作者通过操作具有力反馈的多自由度操作手柄来控制计算机虚拟手术场景中的手术器械，从而完成虚拟的手术过程，所述多自由度操作手柄是具有力反馈的，在进行虚拟手术场景的微创手术时，操作者可感受的到手术器械的切割力度；
视频图像采集及传输单元2:由一套可以将二维的双目视频图像转化为具有3D效果的视频图像装置组成，将主动端单元操作者的操作过程，采集并转化后所获得3D视频数据通过数据线传输到具有3D显示效果的视频图像接收及显示单元；
视频图像接收及显示单元3:显示器位于从动端单元，从动端单元的受训人员带上3D眼镜后即可在较强沉浸感的情况下观察主动端单元的操作者在主动端单元的操作情况；从动端单元4:包括多台计算机和多台连接于计算机且具有力反馈的多自由度操作手柄，计算机具有虚拟的手术场景，虚拟手术场景是将通过扫描以及后期处理所获得的真实的人体器官模型数据导入到仿真软件中搭建而成，受训人员一方面通过视频图像接收及显示单元观察主动端单元操作者的手术过程，另一方面通过操作具有力反馈的多自由度操作手柄来控制计算机虚拟场景中的手术器械，从而完成虚拟的手术过程，该多自由度操作手柄是具有力反馈的，在进行虚拟手术场景的微创手术时，可以感受的到手术刀的切割力度。
[0013]主动端单元I和从动端单元4的计算机中的虚拟手术场景，是将通过扫描和后期处理所获得的真实的人体器官导入到仿真软件中搭建而成的，具有非常强的真实性。
[0014]主动端单元I和从动端单元4可以分别作为独立训练系统，二者皆包括一台计算机和一台连接于计算机且具有力反馈的多自由度操作手柄，计算机中是通过扫描以及后期处理所获得的人体器官微创手术场景，训练人员可以通过操作具有力反馈的多自由度操作手柄来对计算机中逼近真实的临床场景进行手术，该具有力反馈的多自由度操作手柄可以较真实的反馈虚拟手术中手术器械在手术过程中的力，从而进一步提高了训练手术过程的真实感。
[0015]主动端单元I和从动端单元4可以通过局域网实现连通，此时在主动端单元I和从动端单元4处于相同的场景时，从动端单元4会跟随主动端单元I实现相同场景的相同操作，从动端的受训人员即可通过手扶具有力反馈的多自由度操作手柄来感受主动端在进行手术时所使用的力度以及角度，同时可以观察计算机虚拟场景中的手术情况，这样就实现了教学式训练，经验丰富的医生可以在主动端单元进行手术，从动端的学员可以很好的感受和观察主动端的医生进行的手术过程，从而极大的提高了学习的效果。
[0016]上述实施例和图式并非限定本发明的产品形态和式样，任何所属技术领域的普通技术人员对其所做的适当变化或修饰，皆应视为不脱离本发明的专利范畴。
【主权项】
1.一种基于混合现实的医学微创手术训练系统一种基于混合现实的医学微创手术训练系统，其特征在于包括如下单元: 主动端单元:包括一台计算机和一台连接于计算机且具有力反馈的多自由度操作手柄，计算机具有虚拟手术场景，虚拟手术场景是将通过扫描以及后期处理所获得的真实的人体器官模型数据导入到仿真软件中搭建而成，操作者通过操作具有力反馈的多自由度操作手柄来控制计算机虚拟手术场景中的手术器械，从而完成虚拟的手术过程，所述多自由度操作手柄是具有力反馈的，在进行虚拟手术场景的微创手术时，操作者可感受的到手术器械的切割力度； 视频图像采集及传输单元:由一套可以将二维的双目视频图像转化为具有3D效果的视频图像装置组成，将主动端单元操作者的操作过程，采集并转化后所获得3D视频数据通过数据线传输到具有3D显示效果的视频图像接收及显示单元； 视频图像接收及显示单元:显示器位于从动端单元，从动端单元的受训人员带上3D眼镜后即可在较强沉浸感的情况下观察主动端单元的操作者在主动端单元的操作情况；从动端单元:包括多台计算机和多台连接于计算机且具有力反馈的多自由度操作手柄，计算机具有虚拟的手术场景，虚拟手术场景是将通过扫描以及后期处理所获得的真实的人体器官模型数据导入到仿真软件中搭建而成，受训人员一方面通过视频图像接收及显示单元观察主动端单元操作者的手术过程，另一方面通过操作具有力反馈的多自由度操作手柄来控制计算机虚拟场景中的手术器械，从而完成虚拟的手术过程，该多自由度操作手柄是具有力反馈的，在进行虚拟手术场景的微创手术时，可以感受的到手术刀的切割力度。
【专利摘要】本发明公开一种基于混合现实的医学微创手术训练系统，包括主动端单元、视频图像采集及传输单元、视频图像接收及显示单元、从动端单元。主动端单元在进行虚拟的手术时，从动端单元可以实现与主动端同步及完全相同的操作，并且通过从动端的手柄可以感受的到主动端在进行手术时对手术器械的操控情况。通过视频图像采集及传输单元可以采集主动端人员的操作过程并传输到为从动端的显示器中，在从动端的受训人员可以一边感受主动端的手术器械操作情况，同时也可以观察主动端的操作者的整体操作过程。本发明的有益效果在于通过混合现实的手术过程，实现了真实感很强的医学微创手术的训练，为医院和医学院校提供了良好的训练平台。
【IPC分类】G09B9/00
【公开号】CN104992582
【申请号】CN201510406086
【发明人】王伟, 王政, 李尔, 徐波
【申请人】中国科学院自动化研究所, 中国科学院浙江数字内容研究院
【公开日】2015年10月21日
【申请日】2015年7月13日