多模态数据图表可视化方法、存储介质和电子设备

本发明涉及数据可视化技术，特别涉及关于多模态数据图表在二维屏幕空间和三维空间场景中的实时交互切换分析方法、存储介质和电子设备。

背景技术：

1、人类的各类感觉器官中，人眼具有最强的信号处理能力。视觉是获取信息的最重要通道，超过50％的人脑功能用于视觉感知，包括解码可视信息和思考可视符号等。但是，人类的视觉工作内存很小，在认知过程中常常需要依靠外部帮助。图片、图形等在过去两百年间是人类认知过程中最重要的工具。可视化是人类在认知过程中产生的对事物的认知视图，强化认知理解并有利于知识交流。人们应用可视化技术历史悠久，在中世纪时期，人们就开始使用包含等值线的地磁图、表示海上主要风向的箭头图和天象图。当前已经发展出了可视分析学，以应对海量、高维、多源和动态数据的分析挑战。而这也正是数据可视化发展的由来。挑战不仅来源于数据量的巨大、高位、多元源、多态，更重要的是数据获取的动态性、数据内容的噪声和互相矛盾、数据关系的异构与异质性等。

2、其中数据可视化的作用在于视物致知，即从看见物体到获取知识。对于复杂、大尺度的数据，已有的统计分析或数据挖掘方法往往是对数据的简化和抽象，隐藏了数据集真实的结构，而数据可视化则可还原乃至增强数据中的全局结构和具体细节。如果将数据可视化看成艺术创作过程，则数据可视化需要达到真、善、美的均衡，达到有效地挖掘、传播与沟通数据中蕴含的信息、知识与思想，实现设计与功能之间的平衡。从这个意义上说，数据可视化体现出宽物善知的作用。

3、多模态数据是指由多种模式或来源的数据组成的数据。例如，一个三维模型可能包含形状、颜色、纹理等多种模式的数据。多模态数据图表是一种将多模态数据可视化的方法，它可以将多模态数据以图表的形式展示出来，使人们能够从多个角度理解和分析数据。

4、在目前的数据可视化技术中，多模态数据图表普遍采用二维屏幕空间进行展示。然而，这种展示方式存在一些局限性，例如无法生动地呈现三维模型的空间结构，以及无法从多个角度观察数据等。为了克服这些问题，研究人员开始尝试将多模态数据图表融入到三维空间场景中进行展示。例如：公开号cn113079411a的专利申请提供的一种多模态数据同步可视化系统，在采集脑电信号时，同步录制的诱发视频和受试者面部表情视频叠加在脑电图的波形下面，并且将记录的眼睛注视位置在录制的呈现诱发图像屏幕的视频上进行标注，以固定大小的圆的方式进行显示，让实验人员达到仅仅通过观察更易于注意的标注形状和视频图像信息，就可以侦测到受试者眼动情况以及受试者当前对应的状态；公开号为cn108710628a的专利申请提供的一种基于草图交互的面向多模态数据的可视分析方法，将原始数据集分为多种可视化数据结构，进行可视化数据结构与可视形态的匹配；根据原始数据集到可视化数据结构到可视形态的映射关系，将原始数据集分解为具有关联的多个信息侧面，每个信息侧面通过一种可视形态呈现于一个视图中，并结合用户选择的布局信息，生成多视角关联视图；识别用户根据目标分析需求在多视角关联视图进行草图圈选操作时绘制的草图符号，进而分析由草图符号组成的草图手势的含义，根据草图手势的含义生成新的视图。

5、现有的将多模态数据图表融入到三维空间场景中的展示方法，往往需要手动调整图表的位置和方向，这样操作繁琐且难以确保图表位置和方向始终处于最佳状态。另外，当图表数量较多时，可能会出现图表之间的遮挡问题。同时，当观察视角发生变化时，图表的方向可能需要手动调整以适应新的视角，这无疑增加了操作的复杂性。现有的方法通常只关注二维屏幕空间的展示或者三维空间场景的展示，缺乏足够的交互性和实用性。

6、因此，探索一种能实现多模态数据图表在二维屏幕空间与三维空间场景中自动交互切换的方法，以及解决图表位置遮挡、视角转换不自然等问题，已经成为当前数据可视化技术亟待解决的重要挑战。

技术实现思路

1、本发明的目的是，提供一种基于二三维空间实时交互无缝切换的多模态数据图表可视化方法，在二维屏幕空间展示的二维多模态数据图表，在三维立体空间以布告板形式展示的数据图表，即将二维屏幕空间图表理解成贴在三维空间某固定平面特定位置上的图表，以及基于此图表形式的二维屏幕空间和三维立体空间图表实时交互无缝切换的多模态数据图表可视化方法。

2、本发明提出了一种基于双向实时交互的二三维空间多模态数据图表可视化方法，使得用户能够在二维屏幕空间和三维空间场景之间实现图表的实时切换和展示。该方法适用于多模态数据图表，例如形状、颜色、纹理等多种数据属性，提高了数据分析的维度和效率。本发明采用以下技术方案：

3、一种基于二三维空间实时交互无缝切换的多模态数据图表可视化方法，在二维屏幕空间展示的二维多模态数据图表，在三维立体空间以布告板形式展示的数据图表，即将二维屏幕空间图表理解成贴在三维空间某固定平面特定位置上的图表，以及基于此图表形式的二维屏幕空间和三维立体空间图表实时交互无缝切换的多模态数据图表可视化方法；

4、在实时交互过程中，针对二维屏幕空间图表切换到三维空间的可视化展示和三维空间图表切换到二维屏幕空间的可视化展示，执行s1～s6步骤：

5、s1、在实时交互过程中，获得多模态数据图表，通过和用户进行实时交互，选择图表的展示形式，并且根据指定的展示形式，选择相应的二三维空间实时交互无缝切换方式；

6、s2、获取图表的当前位置以及目标图表放置位置，首先获取当前正在展示的图表的三维空间中起始位置并且记录，随后获取目标图表的放置位置并且记录，获取目标图表的放置位置的方法包括，根据目标图表所处的二维或三维空间特性，计算目标图表在相应空间中可能放置的位置，计算出目标图表可能放置的位置后，确定图表位置的包围盒是否与其他图表包围盒相交而相互遮挡，自动调整位置和图表朝向，规避遮挡；

7、s3、收集并整合多模态数据，根据多模态数据的特点和可视化需求，选择合适的图表类型来展示数据，调用渲染引擎，绘制动态多模态数据图表到gpu纹理数据中，根据数据的变化，实时更新gpu纹理中的像素数据；

8、s4、根据步骤s2中获取到的图表的起始位置以及目标图表放置位置，计算出从图表当前位置，到图表最终放置的目标位置之间的平移与旋转动态插值路径，使用多种有效的插值方法来计算路径，以实现平滑、自然的切换过程；

9、s5、在多模态数据图表切换过程中，基于实时更新的gpu纹理数据，以及动态路径插值数据，在三维空间中绘制出动态多模态数据图表；

10、s6、到达多模态数据图表目标位置后，图表位置静止，图表内容依然动态刷新。

11、在采用上述技术方案的基础上，本发明还可采用以下进一步的技术方案，或对这些进一步的技术方案组合使用：

12、所述步骤s2中获取图表的起始位置以及目标图表放置位置，首先获取当前正在展示的图表的起始位置并且记录，随后获取目标图表的放置位置，获取目标图表的放置位置的方法包括，根据目标图表所处的二维或三维空间特性，计算目标图表在相应空间中可能放置的位置，计算出目标图表可能放置的位置后，确定图表位置的包围盒是否与其他图表包围盒相交而相互遮挡，自动调整位置和图表朝向，规避遮挡；具体包括以下步骤：

13、s2.1，获取图表的当前位置，通过实时交互中，用户选中的图表的所处空间特性及图表在当前空间中的位置，生成图表的当前三维空间位置，并且记录下来，以备后续使用；

14、s2.2，获取目标图表的放置位置并且记录，获取目标图表的放置位置的方法包括根据目标图表所处的二维或三维空间特性，计算目标图表在相应空间中可能放置的位置，计算出目标图表可能放置的位置后，确定图表位置的包围盒是否与其他图表包围盒相交而相互遮挡，自动调整位置和图表朝向，规避遮挡，包括以下步骤：

15、s2.2.1,根据目标图表所处的二维或三维空间特性，计算目标图表在相应空间中可能放置的位置；

16、s2.2.2,使用多种方法综合来判断图表位置的包围盒是否与其他图表包围盒相交而相互遮挡，其中一种具体方法是使用分离轴定理检测凸多边形(如aabb、obb、球体等)之间是否发生碰撞。主要思想是，如果存在一个分离轴，使得在该轴的投影上，两个包围盒的投影不重叠，则这两个包围盒在3d空间中是分离的，没有相交或遮挡；

17、s2.2.3，如果存在遮挡，则自动调整图表位置，直到不存在遮挡，使用模拟退火算法来进行遮挡调整，模拟退火是一种概率搜索算法，用于求解全局优化问题。其主要思想来源于固体退火过程的模拟——固体加热后，粒子随机运动，然后慢慢冷却，粒子逐渐趋于有序状态；

18、s2.2.4，根据三维空间中视角的转换自动进行图表目标放置的朝向的变化，使用一种综合了相机图表视角和图表遮挡关系的方法，通过四元数和摄像机控制，来实现视角转换和目标放置的朝向变化，四元数是一种扩展了复数的数学概念，可以用于表示三维空间中的旋转。相较于欧拉角，四元数可以避免万向节锁问题，提供更稳定的旋转表达，并且四元数能够通过插值平滑地过渡两个旋转之间的变化。

19、优选的，所述步骤s2.2.3如果存在遮挡，则自动调整图表位置，直到不存在遮挡，使用模拟退火算法来进行遮挡调整，包括以下步骤：

20、(a)初始化：设置初始温度、冷却系数(通常小于1且接近1)以及终止温度。随机选择一个合理的初始图表位置，并计算其遮挡程度作为初始成本；

21、(b)迭代过程：在温度从初始温度减少至终止温度的过程中重复执行以下步骤：

22、(ba)扰动：随机选择一个新位置，可以是在当前位置的随机扰动；

23、(bb)如果新位置没有遮挡，或者遮挡减少了，则接受这个新位置；否则，按照一定概率接受新位置，其中概率由当前温度和新旧位置的遮挡程度决定；

24、(bc)冷却：更新温度，通常是乘以一个小于1的系数，以模拟冷却过程；

25、(c)结束迭代：当温度降到终止以下时，结束迭代。返回当前解作为最终解。

26、优选的，所述步骤s2.2.4根据三维空间中视角的转换自动进行图表目标放置的朝向的变化，使用一种综合了相机图表视角和图表遮挡关系的方法，通过四元数和摄像机控制，来实现视角转换和目标放置的朝向变化，包括以下步骤：

27、(a)初始化场景和物体：首先，需要获取在三维空间场景中摄像机和目标图表的当前世界空间位置，以及摄像机的视角和目标图表的朝向；

28、(b)计算旋转四元数：根据摄像机的视角和目标图表的朝向，计算目标图表在新视角下的旋转四元数。可以使用四元数乘法来组合多个旋转操作；

29、(c)插值过渡：为了实现平滑的视角转换，可以使用球面线性插值在当前四元数和目标四元数之间插值。插值过程可以根据需要设置过渡时间和速度。该方法计算四元数点积，确定插值方向，计算插值角度，并且应用根据时间调整插值效果的四元数方案，实现基于时间的角度平滑过渡：

30、(d)更新物体朝向：将插值得到的四元数应用到物体的旋转变换中，实时更新物体的朝向。

31、在步骤s4中，根据步骤s2中获取到的图表的起始位置以及目标图表放置位置，计算出从图表当前位置，到图表最终放置的目标位置之间的平移与旋转动态插值路径，使用多种有效的插值方法来计算路径，以实现平滑、自然的切换过程，包括以下步骤：

32、s4.1，定义图表起始和结束位置：根据步骤s2中获取到的图表的起始位置以及目标图表放置位置定义图表的起始位置和结束位置。这两个位置可以被表示为二维或三维的向量；

33、s4.2，定义控制点：在计算样条形状之前，需要先定义控制点组，样条的形状由一组控制点决定，确定至少四个控制点(包括起始点和结束点)，但通常会随机采样生成更多的控制点以实现更复杂的曲线形状；

34、s4.3，计算样条曲线方程：给定一组控制点和一个参数t(范围从0到1)，可以使用一些样条计算方案来计算样条的曲线方程，比如其中一种使用catmull-rom样条插值方法，计算样条上的任意一点的公式如下：c(t)＝0.5*[(2*p1)+(-p0+p2)*t+(2*p0-5*p1+4*p2-p3)*t^2+(-p0+3*p1-3*p2+p3)*t^3]。其中，p0、p1、p2和p3是相邻的四个控制点，t是参数，c(t)是根据参数t计算得到的catmull-rom样条曲线上某点的位置；

35、s4.4，计算平移和旋转：使用样条曲线来计算图表的平移和旋转，平移直接由曲线上的点来决定，旋转通过计算曲线的切线来决定，切线方向就是旋转的方向，切线通过样条曲线的导数来计算；

36、s4.5，动态插值：最后，通过改变参数t的值来动态地改变图表的位置和旋转，当t从0变化到1时，图表会沿着我们所计算的样条曲线从起始位置移动到结束位置，同时进行相应的旋转。

37、优选的，所述步骤s5的具体步骤包括：

38、s5.1，准备渲染参数：根据在之前步骤中计算得到的动态路径插值数据，包括平移向量和旋转向量，以便在三维空间中实现图表的平移和旋转动效。

39、s5.2，配置三维渲染环境中的相机参数和视图设置，以便在适当的角度和视距下观察动态多模态数据图表；

40、s5.3，将渲染的动态多模态数据图表的gpu纹理数据应用到一个三维图表模型上，贴图到一个三维平面模型上，将纹理坐标与模型顶点信息进行关联；

41、s5.4，根据之前计算得到的平移向量和旋转向量为三维图表模型应用动态路径插值数据，并生成新的三维图表模型的变换矩阵；

42、s5.5，根据相机、视图和动态变换设置，将动态多模态数据图表绘制到三维空间中。

43、根据本发明目的的第二个方面，本发明提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述基于二三维空间实时交互无缝切换的多模态数据图表可视化方法的步骤。

44、根据本发明目的的第二个方面，本发明一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述基于二三维空间实时交互无缝切换的多模态数据图表可视化方法的步骤。

45、本发明的有益效果在于：本发明面向复杂多模态数据关联和结构的展示需求和现有技术的局限性，引入空间加速结构、并行计算技术、计算缓存技术、gpu计算等综合技术以及自动计算图表在二维屏幕空间和三维空间中的放置位置机制，自动处理图表遮挡关系机制、三维空间中视角的平滑转换和目标放置的朝向变化机制，提高了可视化空间的利用率以及交互性。本发明还引入了多种样条插值技术计算平移和旋转动态插值路径，实现了从二维屏幕空间到三维空间的平滑切换，提高了数据可视化的视觉感受，使得用户的实时交互体验感受更好。该方法提高了空间利用效率和交互性，解决了传统二维图表在展示多模态数据时的局限性，从而实现了更直观、高效的数据可视化效果和优化用户体验。实验测试结果表明，本发明在性能中等的普通pc机器上，就能对上百个多模态数据图表，实现二三维空间无缝平滑切换的可视化展示，系统运行帧率达到60帧每秒以上，完全达到实时，性能上满足用户进行流畅交互。本发明提升了多模态数据图表实时交互的效率和用户体验，并可以被方便地集成到任一个成熟完整的绘制引擎中，发明成果有显著的应用潜力。