一种虚实融合的数字孪生流体现象模拟方法

本公开的实施例涉及基于混合现实的流体仿真与交互，具体涉及一种虚实融合的数字孪生流体现象模拟方法。

背景技术：

1、传统基于计算机图形学的流体仿真与交互应用常常完全在虚拟仿真环境中进行，不具备对真实场景的感知和融合能力；同时，受限于物理系统的求解效率和渲染精度，仿真应用多采用离线计算的方式，渲染输出序列图像并生成动画，对于用户的交互反馈和控制能力较弱。

2、相比于复刻场景细致的几何结构，流体交互场景孪生重建更侧重于系统的实时性和鲁棒性，需要在复杂场景中快速实时的抽取仿真边界几何特征，并在低纹理、变化光照、传感器快速移动的情况下维持跟踪系统的稳定运行，是需要解决的问题；此外，如何在重建中快速准确的跟踪和提取交互平面结构甚至是语义信息，也是支持更加真实智能的流体仿真应用的重要任务。在混合现实环境中复现与真实场景行为一致的流体并能实现基于物理的建模与演化仍然面临一系列问题和挑战。首先，采用什么手段捕获真实场景的流体数据、采集哪些数据，需要根据实际应用场景而定；其次，如何打破传统迭代优化方法从连续表面几何或连续密度场推断速度场的高时耗、低精度的局限，即从采集的数据中实时恢复全部流场数据也是一项具有挑战性的难题；最后，如何快速地从观测到的数据中获得影响流体行为的物理属性，进而为基于物理的流体动态演化仿真提供支持，以满足虚拟流体对真实环境的感知与融合需求，需进一步深入研究。在基于物理真实性的实时虚实融合交互方面，如何解决用户和场景边界与虚拟物体的近距离实时交互和如何将虚拟场景的交互作用力反馈给用户，进一步增加用户体验的沉浸感与真实感也是重要问题。虚实融合环境下大规模流体的实时渲染的问题与挑战同时体现在环境的场景信息获取以及流体渲染的速率与质量上。尽管目前已有大量研究用于测定真实场景中的光场，但一个完整的全局光照分布需要建立光场以及场景中对象的紧密关联，如何以更好的方式结合三维场景数字孪生以及光场信息获取是一个关键问题。

3、虚实融合技术的发展对虚拟场景时空一致性以及虚拟对象的自然交互具有较高要求，因此，面向混合现实场景的物理仿真应用应具备的能力包括快速感知与重建仿真环境边界、真实流体属性精确获取与动态流体生成、可交互可演化的虚拟流体与真实用户行为交互与即时反馈。本发明围绕虚实融合流体仿真，实现基于深度图像的三维场景快速重建、基于物理感知的流体参数获取与演进模拟、虚实融合人机交互与控制三方面研究内容，并以此构建典型示范应用场景。

技术实现思路

1、本公开的内容部分用于以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。本公开的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。

2、本公开的一些实施例提出了虚实融合的数字孪生流体现象模拟方法，来解决以上背景技术部分提到的技术问题中的一项或多项。

3、本公开解决的技术问题是：基于深度图像的三维场景快速重建获取真实空间信息，为虚拟流体仿真与交互提供场景边界，实现基于真实空间特征虚拟流体场景建模；基于物理感知的流体参数获取与演进模拟提高模拟的真实性与效率；虚实融合人机交互控制通过捕获用户的动作信息并反馈给虚拟流体，实现虚拟流体与真实用户的互动，构建虚实贯通的用户-场景-物理现象虚实融合交互，提高虚实交互的体验感。

4、本公开的一些实施例提供了一种虚实融合的数字孪生流体现象模拟方法，包括：采集室内场景深度图和室内场景rgb图，以及根据上述室内场景rgb图，对上述室内场景深度图进行补全处理，以生成补全后室内场景深度图；根据上述室内场景rgb图，对三维场景点云进行重建，以及确定上述三维场景点云的点云语义；基于物理感知，对三维流体场景进行逆向孪生构建，以生成孪生流体场景；根据人体躯干骨骼运动和手部骨骼运动，不断更新地计算追踪帧数据组；控制传感器对真实场景进行测量，获取真实环境颜色信息，以及在孪生流体场景中建立若干虚拟光源以对真实光场信息进行模拟，以进行数字孪生流体场景的展示。

5、本公开的上述各个实施例中具有如下有益效果：通过本公开的一些实施例的虚实融合的数字孪生流体现象模拟方法，最大程度地保证研究过程的规范性和预期研究目标的可及性，提升了混合场景真实感和沉浸感，实现场景丰富、细节逼真、实时高效的人机交互。

技术特征：

1.一种虚实融合的数字孪生流体现象模拟方法，包括：

2.根据权利要求1所述的方法，其中，所述采集室内场景深度图和室内场景rgb图，以及根据所述室内场景rgb图，对所述室内场景深度图进行补全处理，以生成补全后室内场景深度图，包括：

3.根据权利要求1所述的方法，其中，所述根据所述室内场景rgb图，对三维场景点云进行重建，以及确定所述三维场景点云的点云语义，包括：

4.根据权利要求1所述的方法，其中，所述基于物理感知，对三维流体场景进行逆向孪生构建，以生成孪生流体场景，包括：

5.根据权利要求4所述的方法，其中，所述根据人体躯干骨骼运动和手部骨骼运动，不断更新地计算追踪帧数据组，包括：

6.根据权利要求1所述的方法，其中，所述控制传感器对真实场景进行测量，获取真实环境颜色信息，以及在孪生流体场景中建立若干虚拟光源以对真实光场信息进行模拟，以进行数字孪生流体场景的展示，包括：

技术总结
本公开的实施例公开了一种虚实融合的数字孪生流体现象模拟方法。该方法的一具体实施方式包括：采集室内场景深度图和室内场景RGB图，以及根据室内场景RGB图，对室内场景深度图进行补全处理；对三维场景点云进行重建，以及确定三维场景点云的点云语义；基于物理感知，对三维流体场景进行逆向孪生构建，以生成孪生流体场景；根据人体躯干骨骼运动和手部骨骼运动，不断更新地计算追踪帧数据组；控制传感器对真实场景进行测量，获取真实环境颜色信息，以及在孪生流体场景中建立若干虚拟光源以对真实光场信息进行模拟，以进行数字孪生流体场景的展示。该实施方式保证了研究过程的规范性和预期研究目标的可及性，提升了混合场景真实感和沉浸感。

技术研发人员：高阳,刘雪梅,郝爱民,李瑾
受保护的技术使用者：北京航空航天大学
技术研发日：
技术公布日：2024/1/16