图像效果增强方法、装置、设备及计算机可读存储介质与流程

1.本技术涉及增强现实的技术领域，尤其是涉及一种图像效果增强方法、装置、设备及计算机可读存储介质。


背景技术：

2.随着社会经济不断发展，科技不断进步，越来越多的科技产品在日常的生活中进行运用，近年来增强现实技术，即ar技术频繁的出现在大众视野内，增强现实(augmented reality)技术是一种将虚拟信息与真实世界巧妙融合的技术，广泛运用了多媒体、三维建模、实时跟踪及注册、智能交互、传感等多种技术手段，将计算机生成的文字、图像、三维模型、音乐、视频等虚拟信息模拟仿真后，应用到真实世界中，两种信息互为补充，从而实现对真实世界的“增强”。
3.但是在目前利用ar技术进行投射的3d模型都是固定的，即所有的3d模型都是预设固定模型，用户不能根据自身需求创建3d模型，现亟需一种根据现实场景信息按需自由创建3d模型的技术。


技术实现要素：

4.为了实现按需自由创建3d模型，本技术提供一种图像效果增强方法、装置、设备及计算机可读存储介质。
5.第一方面，本技术提供一种图像效果增强方法，采用如下的技术方案：一种图像效果增强方法，应用于头戴式显示设备，所述方法包括：获取多个角度的待增强对象的图像数据；基于所述多个角度的待增强对象的图像数据构建所述待增强对象的立体模型；获取当前现实场景信息；将所述立体模型与所述当前现实场景信息进行叠加，得到效果增强图像；显示所述效果增强图像。
6.通过采用上述技术方案，将当前显示现实场景中的物体进行立体建模，构建与当前显示现实场景中的物体外形一致的立体模型，立体模型根据用户所需求的当前显示现实场景中的物体的特征进行建立，并将所创建的立体模型投射至当前现实场景中，得到效果增强图像，而不是将固有的3d模型投射至当前显示现实场景中，从而实现按需自由创建3d模型。
7.可选的，所述基于所述多个角度的待增强对象的图像数据构建所述待增强对象的立体模型包括：对所述多个角度的待增强对象的图像数据进行特征提取，得到所述待增强对象的多个图像特征；将所述多个图像特征与特征库内的3d模型进行匹配，获取与所述多个图像特征相匹配的3d模型；
基于3d部位拆分规则对所述多个图像特征进行拆分；将拆分后的图像特征填充到所述3d模型中对应的3d部位，得到所述立体模型。
8.可选的，所述3d模型包括基础模型和增量模型；将所述多个图像特征与特征库内的3d模型进行匹配，获取与所述多个图像特征相匹配的3d模型包括：获取所述特征库中的多个基础模型，将所述多个图像特征与所述多个基础模型进行匹配，输出与所述多个图像特征相匹配的基础模型；获取所述与所述图像特征相匹配的基础模型所对应的多个增量模型，将所述多个图像特征与所述多个增量模型进行匹配，输出与所述多个图像特征相匹配的增量模型。
9.可选的，在所述显示所述效果增强图像之后，还包括：响应于用户的动作指令，对所述效果增强图像中的立体模型进行动态调整；将动态调整调整后的立体模型与当前现实场景信息进行叠加，得到具有动态效果的效果增强图像；显示所述具有动态效果的效果增强图像。
10.通过采用上述技术方案，用户可以通过头戴式显示设备向立体模型下达动态调整指令，即控制立体模型进行动作，增强了用户与立体模型进行互动的体验感。
11.可选的，所述立体模型包括至少一个特征部位，每个所述特征部位均对应至少一个动作信息，每个所述动作信息均对应至少一个预设动态参数；所述响应于用户的动作指令，对所述效果增强图像中的立体模型进行动态调整包括：获取所述用户的动作指令包含的当前特征部位以及当前动作信息；基于所述当前特征部位以及当前动作信息获取对应的预设动态参数；基于所述预设动态参数对所述立体模型的当前特征部位进行动态调整。
12.可选的，在所述获取所述用户的动作指令包含的当前特征部位以及当前动作信息之前，还包括：获取所述至少一个动作信息的动作信息名称；将所述动作信息名称进行显示。
13.可选的，在所述显示所述具有动态效果的效果增强图像之后，还包括：对所述具有动态效果的效果增强图像进行视频录制并存储。
14.第二方面，本技术提供一种图像效果增强装置，采用如下的技术方案：一种图像效果增强装置，包括：数据获取模块，用于获取多个角度的待增强对象的图像数据；模型构建模块，用于基于所述多个角度的待增强对象的图像数据构建所述待增强对象的立体立体模型；信息获取模块，用于获取当前现实场景信息；信息叠加模块，用于将所述立体模型与所述当前现实场景信息进行叠加，得到效果增强图像；图像显示模块，用于显示所述效果增强图像。
15.通过采用上述技术方案，将当前显示现实场景中的物体进行立体建模，构建与当前显示现实场景中的物体外形一致的立体模型，立体模型根据用户所需求的当前显示现实场景中的物体的特征进行建立，并将所创建的立体模型投射至当前现实场景中，得到效果
增强图像，而不是将固有的3d模型投射至当前显示现实场景中，从而实现按需自由创建3d模型。
16.第三方面，本技术提供一种头戴式显示设备，采用如下的技术方案：一种头戴式显示设备，包括存储器和处理器，所述存储器上存储有能够被处理器加载并执行第一方面任一项所述的图像效果增强方法的计算机程序。
17.第四方面，本技术提供一种计算机可读存储介质，采用如下的技术方案：一种计算机可读存储介质，存储有能够被处理器加载并执行第一方面任一项所述的图像效果增强方法的计算机程序。
附图说明
18.图1是本技术实施例提供的一种图像效果增强方法的流程示意图。
19.图2是本技术实施例提供的构建立体模型的流程示意图。
20.图3是申请实施例提供的一种图像效果增强装置的结构框图。
21.图4是本技术实施例提供的头戴式显示设备的结构框图。
具体实施方式
22.以下结合附图对本技术作进一步详细说明。
23.图1为本技术实施例提供的一种图像效果增强方法的流程示意图。
24.如图1所示，该方法主要流程描述如下（步骤s101～s105）：步骤s101，获取多个角度的待增强对象的图像数据；步骤s102，基于多个角度的待增强对象的图像数据构建待增强对象的立体模型；可选的，如图2所示，本技术实施例提供的构建立体模型的流程示意图，步骤s102包括（步骤s1021～s1024）：步骤s1021，对多个角度的待增强对象的图像数据进行特征提取，得到待增强对象的多个图像特征；步骤s1022，将多个图像特征与特征库内的3d模型进行匹配，获取与多个图像特征相匹配的3d模型；具体的，3d模型包括基础模型和增量模型；获取特征库中的多个基础模型，将多个图像特征与多个基础模型进行匹配，输出与多个图像特征相匹配的基础模型；获取与图像特征相匹配的基础模型所对应的多个增量模型，将多个图像特征与多个增量模型进行匹配，输出与多个图像特征相匹配的增量模型。
25.步骤s1023，基于3d部位拆分规则对多个图像特征进行拆分。
26.步骤s1024，将拆分后的图像特征填充到3d模型中对应的3d部位，得到立体模型。
27.步骤s103，获取当前现实场景信息；步骤s104，将立体模型与当前现实场景信息进行叠加，得到效果增强图像。
28.步骤s105，显示效果增强图像。
29.在本实施例中，响应于用户的动作指令，对效果增强图像中的立体模型进行动态调整；将动态调整调整后的立体模型与当前现实场景信息进行叠加，得到具有动态效果的效果增强图像；显示具有动态效果的效果增强图像。
30.具体的，立体模型包括至少一个特征部位，每个特征部位均对应至少一个动作信息，每个动作信息均对应至少一个预设动态参数；获取用户的动作指令包含的当前特征部位以及当前动作信息；基于当前特征部位以及当前动作信息获取对应的预设动态参数；基于预设动态参数对立体模型的当前特征部位进行动态调整。
31.在本实施例中，获取至少一个动作信息的动作信息名称；将动作信息名称进行显示。
32.在本实施例中，对具有动态效果的效果增强图像进行视频录制并存储。
33.在本实施例中，用户通过头戴式显示设备拍摄多张不同角度的待增强对象的图像数据，待增强对象的图像数据包括至少3张不同角度的待增强对象照片和/或至少3段不同角度的待增强对象视频，所拍摄的多个待增强对象照片或待增强对象视频应将尽可能的包含待增强对象的整体图像。提取多个待增强对象的图像数据中的多个图像特征。
34.例如，当待增强对象为动物时，对动物的种类进行特征提取，其中，多个图像特征包括动物的身体、头部、四肢、尾部等具有动物种类判别作用的特征信息。
35.将待增强对象的多个图像特征与特征库中的3d模型进行匹配，3d模型包括多个基础模型和增量模型，其中，增量模型为基础模型的附加模型，即对基础模型进一步细化分类产生的模型。
36.例如，当待增强对象为动物时，将多个基础模型按照动物种类划分为哺乳类模型、鱼类模型和鸟类模型等，增量模型则是将哺乳类模型划分为狗类模型和猫类模型等所属于哺乳类模型的进一步细化的小分类模型。
37.需要说明的是，在对基础模型进一步细化出增量模型之后，还可以对增量模型也进行进一步的细化，例如，当待增强对象为动物时，根据上述模型划分放置将哺乳类模型细化为狗类模型和猫类模型之后，还可以按照狗或者猫的具体种类进行划分，针对每一个种类建立多个种类模型。
38.在本实施例中，将待增强对象的多个图像特征与多个基础模型进行匹配，在匹配到符合多个图像特征的基础模型之后，将多个图像特征与属于基础模型的多个增量模型进行匹配，得到相匹配的增量模型，即获取与图像特征相匹配的3d模型。
39.在本实施例中，在获取到与待增强对象的多个图像特征相匹配的3d模型之后，将待增强对象的多个图像特征按照3d部位拆分规则进行拆分，将拆分后的图像特征填充到3d模型中对应的3d部位，填充完毕之后的3d模型即为与待增强对象的图像数据一致的立体模型。其中，3d部位拆分规则为根据待增强对象的图像特征所制定的特征拆分规则，即将待增强对象的图像数据按照图像特征拆分为多个独立的图像特征。
40.在本实施例中，3d模型仅为一个模型框架，为创建与待增强对象图像特征一致的立体模型，需要将当待增强对象按照3d部位拆分规则进行拆分，将拆分得到的多个图像特征填充至3d模型与图像部位特征相对应的3d部位中，所填充的3d部位将具有与待增强对象的图像特征一致的特征。
41.在本实施例中，立体模型包括至少一个特征部位，将立体模型的3d部位按部位特征进行拆分，得到多个特征部位模型，每个特征部位模型包含一个特征部位，每个特征部位均对应至少一个动作信息，每个动作信息均对应至少一个预设动态参数，每个动作信息设置有与特征部位相对应的动作信息名称，用户通过选择动作信息名称控制特征部位模型按
照动态参数进行动态调整，即控制特征部位模型做出相应动作，且动作的执行顺序与用户的选择顺序一致。将立体模型的各个特征部位模型按照动态参数执行的动作结果与当前现实场景信息进行结合，即将进行动态调整的立体模型投射至用户通过头戴式显示设备采集的当前现实场景中，用户通过头戴式显示设备即可观看按照自身需求所建立的具有动态效果的效果增强图像，且可以将具有动态效果的效果增强图像进行视频录制并存储。
42.在本实施例中，预设动态参数可以是声音、颜色、形状、部位等，在此不做具体限定。
43.对于步骤s101至步骤s105中的图像效果增强方法，通过实例进行具体说明：用户通过头戴式显示设备拍摄3张不同角度的小狗照片作为图像数据，其中图像特征包括小狗的身体、头部、四肢、尾部等。将小狗的多个图像特征即小狗的身体、头部、四肢、尾部等与特征库中的多个基础模型进行匹配，得到符合小狗的图像特征的基础模型中的哺乳类模型，再进一步的与属于哺乳类模型的增量模型进行匹配，得到符合小狗的图像特征的增量模型的狗类模型，从而获取狗类模型的模型框架。
44.将所拍摄的小狗图像数据按照小狗的特征进行拆分，拆分成多个部位特征，将拆分之后的身体、头部、四肢、尾部等填充到3d模型相对应的身体、头部、四肢、尾部模型框架中，填充完毕之后的3d模型即为所拍摄的小狗立体模型。
45.将小狗立体模型的特征部位进行拆分，得到多个特征部位模型，即身体模型、头部模型、四肢模型、尾部模型等，每个特征部位模型配置有属于该部位特征的动态参数。
46.身体模型的动作信息包括控制身体扭动的预设动态参数并命名为身体扭动等，头部模型的动作信息包括控制头部进行点头、摇头动作的预设动态参数，头部点动、头部摇动等，四肢模型的动作信息包括控制四肢进行行走、坐下动作的预设动态参数并命名为走动、静坐等，尾部模型的动作信息包括控制尾巴带摆动频率的预设动态参数并名为快速摆动、缓慢摆动等，在此不做具体限定。
47.用户通过选择身体扭动、头部点动、走动、快速摆动等动作信息名称控制小狗立体模型执行上述动作指令，用户通过头戴式显示设备即可观看到小狗立体模型在当前显示现实场景中进行动态调整，并且可以将整个动态调整过程进行录制，得到具有小狗立体模型动作效果的视频，便于进行反复观看。
48.在本实施例中，仅对预设动态参数为动作的情况进行说明，预设动态参数可同时包括声音、颜色和形状等，例如，小狗模型的尾部模型的动作信息还可以包括改变颜色的预设动态参数，并命名为颜色调整，同时对颜色名称进行显示，在此不做进一步的举例说明。
49.需要说明的是，立体模型的创建并不局限于动物，也可以为建筑物、植物和汽车等，在此不做具体限定。
50.在本实施例中，若图像数据的采集对象为建筑物时，将建筑立体模型的特征部位进行拆分，得到多个特征部位模型，如楼体模型、窗户模型、大门模型等，每个特征部位模型配置有属于该部位特征的预设动态参数，如楼体模型的动作信息包括控制楼体转动、平移的预设动态参数并命名为楼体转动、楼体平移等，窗户模型的动作信息包括控制窗户打开、关闭的预设动态参数并命名为窗户打开、窗户关闭等，大门模型的动作信息包括控制大门打开、关闭动作的预设动态参数并命名为大门打开、大门关闭等，在此不做具体限定。
51.在本实施例中，若图像数据的采集对象为植物时，将植物立体模型的特征部位进
行拆分，得到多个特征部位模型，如根茎模型、叶片模型、花朵模型、果实模型等，每个特征部位模型配置有属于该部位特征的预设动态参数，如根茎模型的动作信息包括控制根茎伸长、缩短的预设动态参数并命名为植株生长、植株缩小等，叶片模型的动作信息包括控制叶片舒展、卷曲的预设动态参数并命名为叶片舒展、叶片卷曲等，花朵模型的动作信息包括控制花朵开放、闭合动作的预设动态参数并命名为花朵绽放、花朵收缩等，果实模型的动作信息包括控制果实成长、变色动作的预设动态参数并命名为果实成熟、果实变色等，在此不做具体限定。
52.需要说明的是，立体模型的创建和预设动态参数的设置均与图像数据的采集对象相关，但创建过程和具体的参数设置方式所采用规则一致，在此不继续举例说明。
53.图3为申请实施例提供的一种图像效果增强装置200的结构框图。
54.如图3所示，图像效果增强装置200主要包括：数据获取模块201，用于获取多个角度的待增强对象的图像数据；模型构建模块202，用于基于多个角度的待增强对象的图像数据构建待增强对象的立体立体模型；信息获取模块203，用于获取当前现实场景信息；信息叠加模块204，用于将立体模型与当前现实场景信息进行叠加，得到效果增强图像；图像显示模块205，用于显示效果增强图像。
55.作为本实施例的一种可选实施方式，模型构建模块202具体用于：特征提取模块，用于对多个角度的待增强对象的图像数据进行特征提取，得到待增强对象的多个图像特征；模型匹配模块，用于将多个图像特征与特征库内的3d模型进行匹配，获取与多个图像特征相匹配的3d模型；特征拆分模块，用于基于3d部位拆分规则对多个图像特征进行拆分；特征填充模块，用于将拆分后的图像特征填充到3d模型中对应的3d部位，得到立体模型。
56.在本可选实施例中，模型匹配模块具体用于获取特征库中的多个基础模型，将多个图像特征与多个基础模型进行匹配，输出与多个图像特征相匹配的基础模型；获取与图像特征相匹配的基础模型所对应的多个增量模型，将多个图像特征与多个增量模型进行匹配，输出与多个图像特征相匹配的增量模型。
57.作为本实施例的一种可选实施方式，该装置具体还用于响应于用户的动作指令，对效果增强图像中的立体模型进行动态调整；将动态调整调整后的立体模型与当前现实场景信息进行叠加，得到具有动态效果的效果增强图像；显示具有动态效果的效果增强图像。
58.作为本实施例的一种可选实施方式，该装置具体还用于获取用户的动作指令包含的当前特征部位以及当前动作信息；基于当前特征部位以及当前动作信息获取对应的预设动态参数；基于预设动态参数对立体模型的当前特征部位进行动态调整。
59.作为本实施例的一种可选实施方式，该装置具体还用于获取至少一个动作信息的动作信息名称；将动作信息名称进行显示。
60.作为本实施例的一种可选实施方式，该装置具体还用于对具有动态效果的效果增
强图像进行视频录制并存储。
61.在一个例子中，以上任一装置中的模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个专用集成电路(application specific integratedcircuit，asic)，或，一个或多个数字信号处理器(digital signal processor，dsp)，或，一个或者多个现场可编程门阵列(field programmable gate array，fpga)，或这些集成电路形式中至少两种的组合。
62.再如，当装置中的模块可以通过处理元件调度程序的形式实现时，该处理元件可以是通用处理器，例如中央处理器(central processing unit，cpu)或其它可以调用程序的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，soc)的形式实现。
63.所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
64.图4为本技术实施例提供的头戴式显示设备300的结构框图。
65.如图4所示，头戴式显示设备300包括处理器301和存储器302，还可以进一步包括信息输入/信息输出(i/o)接口303、通信组件304中的一种或多种以及通信总线305。
66.其中，处理器301用于控制头戴式显示设备300的整体操作，以完成上述的图像效果增强方法的全部或部分步骤；存储器302用于存储各种类型的数据以支持在头戴式显示设备300的操作，这些数据例如可以包括用于在该头戴式显示设备300上操作的任何应用程序或方法的指令，以及应用程序相关的数据。该存储器302可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(static random access memory，sram)、电可擦除可编程只读存储器(electrically erasable programmable read-only memory，eeprom)、可擦除可编程只读存储器(erasable programmable read-only memory，eprom)、可编程只读存储器(programmable read-only memory，prom)、只读存储器(read-only memory，rom)、磁存储器、快闪存储器、磁盘或光盘中的一种或多种。
67.i/o接口303为处理器301和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件304用于头戴式显示设备300与其他设备之间进行有线或无线通信。无线通信，例如wi-fi，蓝牙，近场通信(near field communication，简称nfc)，2g、3g或4g，或它们中的一种或几种的组合，因此相应的该通信组件104可以包括：wi-fi部件，蓝牙部件，nfc部件。
68.头戴式显示设备300可以被一个或多个应用专用集成电路 (application specific integrated circuit，简称asic)、数字信号处理器(digital signal processor，简称dsp)、数字信号处理设备(digital signal processing device，简称dspd)、可编程逻辑器件(programmable logic device，简称pld)、现场可编程门阵列(field programmable gate array，简称fpga)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述实施例给出的图像效果增强方法。
69.通信总线305可包括一通路，在上述组件之间传送信息。通信总线305可以是pci(peripheral component interconnect，外设部件互连标准)总线或eisa (extended industry standard architecture，扩展工业标准结构)总线等。通信总线305可以分为地址总线、数据总线、控制总线等。
70.头戴式显示设备300可以包括但不限于智能眼镜，还可以为实现增强现实效果的任意设备。
71.本技术还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述的图像效果增强方法的步骤。
72.该计算机可读存储介质可以包括：u盘、移动硬盘、只读存储器 (r ead-only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
73.术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
74.以上描述仅为本技术的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本技术中所涉及的申请范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离前述申请构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本技术中申请的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。