图像处理方法、装置、电子设备及存储介质与流程

[0001]
本申请涉及图像处理技术领域，更具体地，涉及一种图像处理方法、装置、电子设备以及存储介质。


背景技术：

[0002]
增强现实(augmented reality，简称ar)，是通过计算机系统提供的信息增加用户对现实世界感知的技术，将虚拟的信息应用到真实世界，并将计算机生成的虚拟物体、场景或系统提示信息叠加到真实场景中，从而实现对现实的增强。随着科技的发展，机器智能化及信息智能化日益普及，ar技术被广泛应用在教育、购物、艺术及游戏等各个领域。然而，在通过ar眼镜等增强现实场景中观看视频时，视频画面内容会完全重叠在用户眼前，可能会导致用户无法清晰的看见外界真实环境，影响用户使用体验。


技术实现要素：

[0003]
鉴于上述问题，本申请提出了一种图像处理方法、装置、电子设备及存储介质，以改善上述问题。
[0004]
第一方面，本申请实施例提供了一种图像处理方法，应用于电子设备，所述电子设备与穿戴设备通信连接，该方法包括：获取所述穿戴设备的初始位置；获取所述穿戴设备的当前位置以及姿态信息；基于所述初始位置以及所述当前位置获取与虚拟画面对应的调整参数；基于所述调整参数以及所述姿态信息对所述虚拟画面的显示尺寸进行调整。
[0005]
第二方面，本申请实施例提供了一种图像处理装置，运行于电子设备，所述电子设备与穿戴设备通信连接，该装置包括：第一数据获取模块，用于获取所述穿戴设备的初始位置；第二数据获取模块，用于获取所述穿戴设备的当前位置以及姿态信息；调整参数获取模块，用于基于所述初始位置以及所述当前位置获取与虚拟画面对应的调整参数；处理模块，用于基于所述调整参数以及所述姿态信息对所述虚拟画面的显示尺寸进行调整。
[0006]
第三方面，本申请实施例提供了一种电子设备，包括存储器以及一个或多个处理器；一个或多个程序被存储在存储器中并被配置为由一个或多个处理器执行，一个或多个程序配置用于执行上述第一方面所述的方法。
[0007]
第四方面，本申请实施例提供了一种计算机可读存储介质，计算机可读存储介质中存储有程序代码，其中，在程序代码被处理器运行时执行上述第一方面所述的方法。
[0008]
本申请实施例提供的一种图像处理方法、装置、电子设备以及存储介质，通过获取与电子设备通信连接的穿戴设备的初始位置，继而获取穿戴设备的当前位置以及姿态信息，再基于初始位置以及当前位置获取与虚拟画面对应的调整参数，然后基于调整参数以及姿态信息对虚拟画面的显示尺寸进行调整。从而通过上述方式实现了可以基于穿戴设备的当前位置相对于其初始位置的变化，获取与虚拟画面对应的调整参数，从而可以基于该调整参数以及穿戴设备的姿态信息对虚拟画面的显示尺寸进行实时调整，避免了虚拟画面内容完全重叠在用户眼前，进而导致的用户无法清晰的看见外界真实环境的问题。
附图说明
[0009]
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
[0010]
图1示出了现有技术中通过ar穿戴设备查看汽车导航信息的示例图。
[0011]
图2示出了本申请实施例提供的图像处理方法的应用场景的示意图。
[0012]
图3示出了相关技术中惯性测量单元追踪物体姿态的工作原理示意图。
[0013]
图4示出了本申请一实施例提供的一种图像处理方法的方法流程图。
[0014]
图5示出了本申请实施例提供的通过ar眼镜投屏视频内容时眼镜屏幕和所投屏的视频画面的位置关系示意图。
[0015]
图6示出了图4中的步骤s130的方法流程图。
[0016]
图7示出了本实施例提供的根据穿戴设备的当前位置与初始位置获取与虚拟画面对应的调整参数的原理示例图。
[0017]
图8示出了本申请另一实施例提供的一种图像处理方法的方法流程图。
[0018]
图9示出了本申请实施例提供的穿戴设备的当前位置与初始位置的位置关系一示意图。
[0019]
图10示出了本申请实施例提供的穿戴设备的当前位置与初始位置的位置关系另一示意图。
[0020]
图11示出了本申请实施例提供的对显示尺寸缩小后的虚拟画面的显示区域进行调整的示例图。
[0021]
图12示出了本申请又一实施例提供的一种图像处理方法的方法流程图。
[0022]
图13示出了本申请再一实施例提供的一种图像处理方法的方法流程图。
[0023]
图14示出了本申请实施例提供的对虚拟画面的显示尺寸进行调整的示例图。
[0024]
图15示出了本申请实施例提供的一种图像处理装置的结构框图。
[0025]
图16示出了本申请实施例提供的一种电子设备的结构框图。
[0026]
图17示出了本申请实施例的用于保存或者携带实现根据本申请实施例的图像处理方法的程序代码的存储单元。
具体实施方式
[0027]
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。
[0028]
近年来，随着增强现实(ar，augmented reality)技术的发展，利用ar终端设备来观看各种影像越来越受到人们的喜爱，其能够使人身临其境，为用户带来高度真实的科幻式体验感受。现有的ar终端设备，例如ar眼镜/智能眼镜基本上都可以通过type-c usb(universal serial bus，通用串行总线)线缆进行dp(display port，数字式视频接口标准)有线投屏或者通过wifi(wireless fidelity，基于ieee 802.11标准的无线局域网技术)进行无线投屏，例如，可以把手机画面内容投屏到ar眼镜佩戴者眼前呈现出的一个高清大屏幕上，或者可以将汽车导航信息投屏到汽车hud(heads up display，抬头显示)上进行
显示(如图1所示，用户可以通过hud看到汽车的导航信息)。
[0029]
发明人经过长期研究发现，传统的ar显示技术中，在通过ar眼镜进行视频投屏的时候，眼镜屏幕和所投射内容的视频画面是完全重叠的，而在视频观看的过程中，用户可能需要短暂的看清楚外界环境(例如，在影院看ar电影时想要看看旁边的观众是谁)，但又不想完全关闭当前的视频画面内容，而为了看清外界环境，用户可能会通过转动头部来试图看清外界环境，然而，在用户转动头部时，所投射的视频画面会随着用户的头部一起转动，即视频画面内容会重叠在用户眼前，从而导致用户无法清晰的看清外界环境。
[0030]
针对上述的问题，发明人经过长期的研究发现，可以通过获取与电子设备通信连接的穿戴设备的初始位置，继而获取穿戴设备的当前位置以及姿态信息，再基于初始位置以及当前位置获取与虚拟画面对应的调整参数，然后基于调整参数以及姿态信息对虚拟画面的显示尺寸进行调整。从而通过上述方式实现了可以基于穿戴设备的当前位置相对于其初始位置的变化，获取与虚拟画面对应的调整参数，从而可以基于该调整参数以及穿戴设备的姿态信息对虚拟画面的显示尺寸进行实时调整，避免了虚拟画面内容完全重叠在用户眼前，进而导致的用户无法清晰的看见外界真实环境的问题。因此，提出了本申请实施例提供的一种图像处理方法、装置、电子设备以及存储介质。
[0031]
下面对本申请实施例提供的图像处理方法的应用场景进行介绍。
[0032]
请参见图2，示出了本申请实施例提供的图像处理方法的应用场景的示意图，该应用场景包括网络系统10。该网络系统10包括：电子设备100以及穿戴设备12。
[0033]
在本申请实施例中，电子设备100可以是手机、平板、pc电脑等移动设备，穿戴设备12可以是头戴显示装置，可选的，该头戴显示装置可以为一体式头戴显示装置，或者可以为与电子设备100连接的外接式/接入式头戴显示装置。其中，穿戴设备12可以对虚拟内容(即电子设备100所投屏的视频画面)进行显示。可选的，穿戴设备12可包括无线通信模块，穿戴设备12可通过无线通信模块与电子设备100建立通信连接。其中，无线通信模块可以是蓝牙、wifi(wireless-fidelity，无线保真)、zigbee(紫峰技术)等模块。与电子设备100通信连接的穿戴设备12，可以与电子设备100进行信息以及指令的交互。
[0034]
可选的，电子设备100设置有摄像头，摄像头的数量可以不受限制，例如，可以为一个摄像头、两个摄像头或者更多的摄像头。在一种实现方式中，可以通过摄像头采集用户头部转动的图像或穿戴设备12周围环境的图像，以追踪穿戴设备12的形状，确定穿戴设备12的相对位置变化及姿态信息。在另一种实现方式中，电子设备100还可以根据设置在穿戴设备12上的光点，确定穿戴设备12的相对位置变化及姿态信息。
[0035]
可选的，电子设备100以及穿戴设备12均可以包括惯性测量传感器，惯性测量传感器包括惯性测量单元(inertial measurement unit，imu)，在一种实现方式中，电子设备100可以根据穿戴设备12的imu的测量数据以及追踪的穿戴设备12的形状信息，精确得到穿戴设备12的相对位置变化及姿态信息。其中，惯性测量单元由如图3所示的三个单轴的加速度计和三个单轴的陀螺仪组成，加速度计用于检测物体(本实施例中，该物体可以理解为穿戴设备)在载体坐标系统独立三轴的加速度信号，陀螺仪用于检测载体相对于导航坐标系的角速度信号，通过对这些加速度信号以及角速度信号进行处理，便可解算出物体的姿态。需要说明的是，惯性测量单元提供的是一个相对的定位信息，可以用于测量物体相对于起点所运动的路线。在另一种实现方式中，电子设备100可以根据穿戴设备12的imu的测量数
据以及设置在穿戴设备12上的光点，精确得到穿戴设备12的相对位置变化及姿态信息。
[0036]
可选的，在获得了穿戴设备12的相对位置变化及姿态信息的情况下，本实施例中的电子设备100可以灵活的对穿戴设备12所显示虚拟内容的显示尺寸进行调整，以便于用户可以通过虚拟内容的显示尺寸被调整后的眼镜屏幕，清晰的看清外界环境，从而提升用户体验。例如，在检测到用户的头部转动(即穿戴设备12的相对位置和/或姿态信息发生变化)后，图2中所示的视频画面的显示尺寸被缩小至图2最右侧的视频画面所示的显示尺寸，且在视频画面的显示尺寸缩小后，用户可以通过如图2所示的目标区域(即短时间内未显示视频画面的显示区域，其中，短时间的具体时长可以不作限定，例如，可以是5秒、10秒或者30秒等数值)更清晰的看清外界环境。
[0037]
下面将结合附图具体描述本申请的各实施例。
[0038]
请参阅图4，示出了本申请一实施例提供的一种图像处理方法的流程图，本实施例提供一种图像处理方法，可应用于电子设备，电子设备与穿戴设备通信连接，该方法包括：
[0039]
步骤s110：获取所述穿戴设备的初始位置。
[0040]
其中，初始位置表征首次投屏虚拟画面时，虚拟画面所在的位置，或者可以理解为首次投屏虚拟画面时，穿戴设备所在的位置。需要说明的是，在穿戴设备的位置以及姿态未发生变化时，本实施例中所投屏的虚拟画面的初始位置与穿戴设备的初始位置是重合(或重叠)的。例如，在一个具体的实施场景中，请参阅图5，示出了本申请实施例提供的通过ar眼镜投屏视频内容时眼镜屏幕和所投屏的视频画面的位置关系示意图，如图5所示，x表征眼镜屏幕的长度，y表征眼镜屏幕的宽度，(0,0)表征眼镜屏幕的最左上方的点，也可以理解为视频画面的最左上方的点；(x0,y0)表征视频画面的最右下角的点，也可以理解为眼镜屏幕的最右下角的点，即眼镜屏幕与视频画面是完全重叠的(图中仅为了便于区分，画成了不重叠)。因而可以通过获取穿戴设备的初始位置的方式来获取虚拟画面的初始位置，进而根据该初始位置的变化情况来对虚拟画面进行调整。
[0041]
作为一种方式，可以通过电子设备上设置的摄像头(包括单目摄像头或者双目摄像头)采集穿戴设备的特征点，进而可以根据特征点获取穿戴设备的初始位置。例如，可以通过电子设备的单目摄像头获取穿戴设备的特征点、以及这些特征点距离电子设备的距离，从而可以根据这些特征点对应的数据(包括特征点的坐标数据以及方位数据等)以及特征点距离电子设备的距离获取穿戴设备的初始位置。
[0042]
作为另外一种方式，可以在穿戴设备上设置标记物，在需要获取穿戴设备的初始位置时，可以通过对标记物的位置进行识别，获取穿戴设备与电子设备之间的相对空间位置关系，进而获取穿戴设备的初始位置。
[0043]
步骤s120：获取所述穿戴设备的当前位置以及姿态信息。
[0044]
可选的，穿戴设备的当前位置表征穿戴设备的位置变化后的所在位置，例如，当穿戴设备为ar眼镜时，若用户带着ar眼镜转动了头部，可以将用户头部转动后穿戴设备的所在位置作为穿戴设备的当前位置。本实施例中，穿戴设备的初始位置以及当前位置均指的是穿戴设备的位置坐标。可选的，穿戴设备的姿态信息表征穿戴设备的当前位置相对于初始位置所在的方向、方位或者角度等信息；或者该姿态信息可以理解为从初始位置变化到当前位置的过程中，穿戴设备的运动方向的趋势，例如，穿戴设备可以是向远离电子设备的方向移动，或者可以是向靠近电子设备的方向移动。
[0045]
其中，获取穿戴设备的当前位置的原理与获取其初始位置的原理类似，在此不再赘述。
[0046]
在一种实现方式中，可以通过穿戴设备的惯性测量单元检测到的imu数据获取穿戴设备的当前位置。具体的，穿戴设备的惯性测量单元可以检测穿戴设备的六自由度信息，也可以仅检测穿戴设备的三自由度信息。其中，三自由度信息可包括穿戴设备沿空间中三个直角坐标轴(如前述图3中所示的x、y、z轴)的转动自由度，六自由度信息可包括穿戴设备沿空间中三个直角坐标轴的移动自由度和转动自由度，上述三个直角坐标轴对应的移动自由度和转动自由度可以构成穿戴设备的位置信息，对应的转动自由度可构成穿戴设备的姿态信息。在这种方式下，电子设备可以通过接收穿戴设备发送的上述惯性测量传感器的感应数据，来得到惯性测量单元检测到的穿戴设备的姿态信息或者检测到的位置及姿态信息，再获取到穿戴设备与电子设备之间的相对空间位置关系，进而获取到穿戴设备的当前位置。
[0047]
在另一种实现方式中，为精确地获取到穿戴设备的当前位置及姿态信息，电子设备可以获取包含穿戴设备的图像以及惯性测量传感器的感应数据，进而可以根据图像的识别数据和imu的检测数据，得到穿戴设备的当前位置以及姿态信息。其中，电子设备可以通过图像采集装置(例如，该图像采集装置可以是前述的摄像头)获取包含穿戴设备的图像，也可以是通过其他传感器装置采集包含穿戴设备的图像，例如图像传感器、光传感器等具有图像采集功能的传感器装置。可选的，在获取到上述包含穿戴设备的图像后，可以对该图像中的穿戴设备进行识别，得到穿戴设备的轮廓数据，再根据该轮廓数据获取穿戴设备的位置信息，并根据imu的感应数据得到穿戴设备的姿态信息，从而实现获取穿戴设备的当前位置以及姿态信息。
[0048]
步骤s130：基于所述初始位置以及所述当前位置获取与虚拟画面对应的调整参数。
[0049]
本实施例中，在获取了穿戴设备的初始位置以及当前位置之后，可以根据当前位置相对于初始位置的变化，获取调整参数，进而根据该调整参数对投屏至穿戴设备中的视频内容所对应的虚拟画面的显示尺寸进行调整。其中，当前位置不同，所对应的调整参数可以不同，因而可以根据穿戴设备的位置变化实时的获取与虚拟画面对应的调整参数，具体获取过程描述如下。
[0050]
请参阅图6，作为一种方式，步骤s130可以包括：
[0051]
步骤s131：获取所述当前位置的横纵坐标相对于所述初始位置的横纵坐标的坐标偏移比例。
[0052]
其中，坐标偏移比例表征当前位置的横纵坐标值与初始位置的横纵坐标值之间的比值，包括当前位置的横坐标与初始位置的横坐标之间的比值，以及当前位置的纵坐标与初始位置的纵坐标之间的比值。或者坐标偏移比例可以表征当前位置的横纵坐标相对于初始位置的横纵坐标的坐标变化量，与当前位置的横纵坐标和初始位置的横纵坐标的坐标之和的比值，包括当前位置的横坐标相对于初始位置的横坐标的坐标变化量，与当前位置的横坐标和初始位置的横坐标的坐标之和的比值；以及当前位置的纵坐标相对于初始位置的纵坐标的坐标变化量，与当前位置的纵坐标和初始位置的纵坐标的坐标之和的比值。
[0053]
例如，在一个具体的应用场景中，请参阅图7，示出了本实施例提供的根据穿戴设
备的当前位置与初始位置获取与虚拟画面对应的调整参数的原理示例图。如图7所示，区域21表征穿戴设备的初始位置(假设为t0时刻ar眼镜的所在位置)，区域20表征穿戴设备的当前位置(假设为t1时刻ar眼镜的所在位置)，以穿戴设备为ar眼镜为例，区域21的长度为x，表征眼镜屏幕的长度为x，区域21的宽度为y，表征眼镜屏幕的宽度为y，在初始位置时，虚拟画面与眼镜屏幕重叠，二者的左上角的顶点坐标均为(0,0)，右下角的顶点坐标均为(x0，y0)。当ar眼镜由初始位置移动到当前位置时，眼镜屏幕的右下角的顶点坐标变化为(x1，y1)，且该坐标也是当前位置的视频画面的右下角的顶点坐标，相对于移动前，其坐标变化可以表示如下：
[0054]
x1＝x0+δx；
[0055]
y1＝y0+δy。
[0056]
其中，δx以及δy的数值可以为正数，也可以为负数。在图7中，假设x轴以横坐标x0的右侧方向为正方向，y轴以纵坐标y0的上侧方向为正方向，那么图7中所示的δx为负向，即δx为负数，δy为正向，即δy为正数。
[0057]
在一种实现方式中，可以计算出t1时刻相比于t0时刻，当前位置的横坐标相对于初始位置的横坐标的比值x_％＝x1/x0，以及当前位置的纵坐标相对于初始位置的纵坐标的比值y_％＝y1/y0，将x_％＝x1/x0和y_％＝y1/y0分别作为当前位置的横纵坐标相对于初始位置的横纵坐标的坐标偏移比例。
[0058]
在另一种实现方式中，可以计算出t1时刻相比于t0时刻，当前位置的横坐标相对于初始位置的横坐标的坐标变化量，与当前位置的横坐标和初始位置的横坐标的坐标之和的比值x_％＝δx/(x0+x1)，当前位置的横坐标相对于初始位置的横坐标的坐标变化量，与当前位置的横坐标和初始位置的横坐标的坐标之和的比值y_％＝δy/(y0+y1),将x_％＝δx/(x0+x1)和y_％＝δy/(y0+y1)分别作为当前位置的横纵坐标相对于初始位置的横纵坐标的坐标偏移比例。
[0059]
步骤s132：将所述坐标偏移比例作为与虚拟画面对应的调整参数。
[0060]
可选的，在如图7所示的示例中，若用户的头部仅是轻微的转动了下，而并不是想要查看外界环境时，若对视频画面的显示尺寸进行调整，可能会影响用户的观看体验。作为一种改善上述问题的方式，可以获取当前位置的横纵坐标相对于初始位置的横纵坐标的坐标变化量，判断该坐标变化量是否大于指定阈值。若判定该坐标变化量大于或等于指定阈值，再触发开始基于初始位置以及当前位置获取与虚拟画面对应的调整参数；而若判定该坐标变化量小于指定阈值，则不触发基于初始位置以及当前位置获取与虚拟画面对应的调整参数的功能，从而可以避免误操作。其中，对于该坐标变化量大于或等于指定阈值这种情况，可以仅是当前位置相对于初始位置的横坐标的坐标变化量大于指定阈值，也可以仅是当前位置相对于初始位置的纵坐标的坐标变化量大于指定阈值，或者可以是当前位置相对于初始位置的横坐标的坐标变化量以及纵坐标的坐标变化量均大于指定阈值。
[0061]
可选的，若仅是当前位置相对于初始位置的横坐标的坐标变化量大于指定阈值，或者是当前位置相对于初始位置的纵坐标的坐标变化量大于指定阈值的情况下，可以获取穿戴设备从初始位置(即t0时刻所在的位置)移动到当前位置(即t1时刻所在的位置)的移动频率，若该移动频率大于或等于预设的频域阈值，那么表示用户的头部转动的速度较快，可能是为了看清外界环境，在这种方式下，可以触发基于初始位置以及当前位置获取与虚
拟画面对应的调整参数的功能，而若该移动频率小于预设的频域阈值，那么可能用户只是为了活动头部而缓慢的转动头部，在这种方式下，可以不触发基于初始位置以及当前位置获取与虚拟画面对应的调整参数的功能。
[0062]
作为一种实现方式，若判定该坐标变化量大于或等于指定阈值，可以将上述获取的坐标偏移比例作为与虚拟画面对应的调整参数。
[0063]
步骤s140：基于所述调整参数以及所述姿态信息对所述虚拟画面的显示尺寸进行调整。
[0064]
本实施例中，穿戴设备的姿态信息可以包括穿戴设备的移动(或转动)方向。在一种实现方式中，可以基于穿戴设备的移动方向的相反方向以及调整参数对虚拟画面的显示尺寸进行调整。如上述图7所示的示例为例，在将眼镜屏幕向左上角方向由区域21移动至区域20时，在移动后的眼镜屏幕中，可以将视频画面的显示尺寸向右下角方向缩小，得到图7所示的阴影区域22，该阴影区域22即为基于调整参数以及姿态信息对虚拟画面(即视频画面的虚拟显示画面)的显示尺寸进行调整后的区域，通过对虚拟画面的显示尺寸进行调整，可以使得用户在转动头部后，可以透过ar眼镜的空白区域看清外界环境，同时不会影响用户的正常观看(即可以看清视频画面的内容)，提升了用户观看体验。
[0065]
需要说明的是，本申请实施例中仅讨论了二维坐标轴下基于调整参数以及姿态信息对虚拟画面的显示尺寸进行调整的过程，本申请实施例同样适用于三维坐标系下基于调整参数以及姿态信息对虚拟画面的显示尺寸进行调整，或者是在二维坐标系下结合穿戴设备的转动方位、角度、姿态信息以及上述调整参数等参数共同对虚拟画面的显示尺寸进行调整，所有涉及以上参数中的任何一个或者多个参数对虚拟画面的显示尺寸进行调整的方案均在本申请所请求保护的范围内。
[0066]
本实施例提供的图像处理方法，通过获取与电子设备通信连接的穿戴设备的初始位置，继而获取穿戴设备的当前位置以及姿态信息，再基于初始位置以及当前位置获取与虚拟画面对应的调整参数，然后基于调整参数以及姿态信息对虚拟画面的显示尺寸进行调整。从而通过上述方式实现了可以基于穿戴设备的当前位置相对于其初始位置的变化，获取与虚拟画面对应的调整参数，从而可以基于该调整参数以及穿戴设备的姿态信息对虚拟画面的显示尺寸进行实时调整，避免了虚拟画面内容完全重叠在用户眼前，进而导致的用户无法清晰的看见外界真实环境的问题。
[0067]
请参阅图8，示出了本申请另一实施例提供的一种图像处理方法的流程图，本实施例提供一种图像处理方法，可应用于电子设备，该方法包括：
[0068]
步骤s210：获取所述穿戴设备的初始位置。
[0069]
步骤s220：获取所述穿戴设备的当前位置以及姿态信息。
[0070]
步骤s230：获取所述当前位置的横纵坐标相对于所述初始位置的横纵坐标的坐标偏移比例。
[0071]
步骤s240：将所述坐标偏移比例作为与虚拟画面对应的调整参数。
[0072]
步骤s250：获取所述当前位置的横纵坐标相对于所述初始位置的横纵坐标的坐标变化量。
[0073]
可选的，该坐标变化量可以为正数，也可以为负数。
[0074]
步骤s261：若所述坐标变化量表征所述当前位置向靠近所述初始位置的方向移
动，基于所述调整参数按照所述移动方向的相反方向对所述虚拟画面的显示尺寸进行放大。
[0075]
本实施例中，可以根据穿戴设备的当前位置相对于初始位置的移动趋势来对虚拟画面的显示尺寸进行调整。在一种实现方式中，若上述坐标变化量表征当前位置向靠近初始位置的方向移动，那么可以基于调整参数按照穿戴设备移动方向的相反方向对虚拟画面的显示尺寸进行放大。
[0076]
例如，在一个具体的应用场景中，请参阅图9以及图10，均示出了当前位置与初始位置的位置关系示意图，以及当前位置相对于初始位置的移动趋势示例图。示例性的，在坐标轴x-o-y中，当穿戴设备由如图9(a)所示的当前位置移动到初始位置(移动前的当前位置在初始位置的右侧位置)时，或者由如图9(b)所示的当前位置移动到初始位置(移动前的当前位置在初始位置的左侧位置)时，或者由如图10(a)所示的当前位置移动到初始位置(移动前的当前位置在初始位置的上方位置)时，或者由如图10(b)所示的当前位置移动到初始位置(移动前的当前位置在初始位置的下方位置)时，表征当前位置向靠近初始位置的方向移动，那么可以基于调整参数按照穿戴设备移动方向的相反方向对虚拟画面的显示尺寸进行放大，以便于可以还原虚拟画面的最佳显示尺寸，给用户提供最佳的视觉体验。
[0077]
步骤s262：若所述坐标变化量表征所述当前位置向远离所述初始位置的方向移动，基于所述调整参数按照所述移动方向的相反方向对所述虚拟画面的显示尺寸进行缩小。
[0078]
在一种实现方式中，若上述坐标变化量表征当前位置向远离初始位置的方向移动，那么可以基于调整参数按照穿戴设备移动方向的相反方向对虚拟画面的显示尺寸进行缩小。
[0079]
例如，在一个具体的应用场景中，当穿戴设备由如图9(a)所示的初始位置移动到当前位置(移动后的当前位置在初始位置的右侧位置)时，或者由如图9(b)所示的初始位置移动到当前位置(移动后的当前位置在初始位置的左侧位置)时，或者由如图10(a)所示的初始位置移动到当前位置(移动后的当前位置在初始位置的上方位置)时，或者由如图10(b)所示的初始位置移动到当前位置(移动后的当前位置在初始位置的下方位置)时，表征当前位置向远离初始位置的方向移动，那么可以基于调整参数按照穿戴设备移动方向的相反方向对虚拟画面的显示尺寸进行缩小，以便于用户可以通过虚拟画面缩小后的空白区域(即未显示虚拟画面的区域)来更清晰的看清外界环境。
[0080]
其中，在对虚拟画面的显示尺寸进行缩小时，可以在眼镜屏幕的目标范围内显示显示尺寸缩小后的虚拟画面。例如，在一个具体的应用场景中，若用户的头部向右下角转动，那么可以将虚拟画面的显示尺寸沿眼镜屏幕的左上角进行缩小(如图11(a)所示的方式缩小)，而为了便于用户更加清晰的观看虚拟内容，例如，当将虚拟画面完全缩小至眼镜屏幕的左上角区域时，用户的头部已经向右转动，可能不便于查看左上角所显示的内容，此种情况下，可以将虚拟画面缩小至眼镜屏幕的左下角的区域进行显示(如图11(b)所示的方式缩小)，或者可以将虚拟画面缩小至眼镜屏幕的左侧区域的中部位置区域进行显示(如图11(c)所示的方式缩小)，可选的，该中部位置可以理解为眼镜屏幕的左侧宽度方向的中间位置区域，可选的，具体在哪个位置显示还可以根据用户的眼球的转动来灵活的调整，例如，当用户的头部向右下角转动后，若追踪到用户的眼球转动到了注视眼镜屏幕的左下角区域
的方向，那么可以将虚拟画面缩小至眼镜屏幕的左下角的区域进行显示，若追踪到用户的眼球转动到了注视眼镜屏幕的左侧宽度方向的中间位置区域的方向，那么可以将虚拟画面缩小至眼镜屏幕的左侧宽度方向的中间位置区域进行显示，以便于可以灵活的调整虚拟画面的显示区域，使得可以在不影响用户的正常观看的情况下，确保用户可以看清外界环境。
[0081]
本实施例提供的图像处理方法，通过获取与电子设备通信连接的穿戴设备的初始位置，继而获取穿戴设备的当前位置以及姿态信息，再基于初始位置以及当前位置获取与虚拟画面对应的调整参数，再获取当前位置的横纵坐标相对于初始位置的横纵坐标的坐标变化量，然后根据穿戴设备的当前位置相对于初始位置的移动趋势来对虚拟画面的显示尺寸进行调整，提升了对视频画面的尺寸进行调整的智能性与灵活性，提升了用户使用体验。通过对虚拟画面的显示尺寸进行实时调整，避免了虚拟画面内容完全重叠在用户眼前，进而导致的用户无法清晰的看见外界真实环境的问题。
[0082]
请参阅图12，示出了本申请又一实施例提供的一种图像处理方法的流程图，本实施例提供一种图像处理方法，可应用于电子设备，该方法包括：
[0083]
步骤s310：获取所述穿戴设备的初始位置。
[0084]
步骤s320：获取所述穿戴设备的当前位置以及姿态信息。
[0085]
步骤s330：获取所述当前位置的横纵坐标相对于所述初始位置的横纵坐标的坐标偏移比例。
[0086]
步骤s340：将所述坐标偏移比例作为与虚拟画面对应的调整参数。
[0087]
步骤s350：若检测到所述当前位置的横纵坐标与所述初始位置的横纵坐标重叠，按照所述移动方向的相反方向将所述虚拟画面的显示尺寸调整为所述虚拟画面的初始尺寸。
[0088]
可选的，以穿戴设备为ar眼镜为例，当用户的头部由初始位置转动到当前位置，再由当前位置转回初始位置时，若检测到当前位置的横纵坐标与初始位置的横纵坐标重叠，可以按照用户头部转动(或移动)方向的相反方向将虚拟画面的显示尺寸调整为虚拟画面的原始尺寸，即还原虚拟画面的显示尺寸，从而可以增强用户的视觉观看体验。
[0089]
本实施例提供的图像处理方法，通过获取与电子设备通信连接的穿戴设备的初始位置，继而获取穿戴设备的当前位置以及姿态信息，再基于初始位置以及当前位置获取与虚拟画面对应的调整参数，然后若检测到当前位置的横纵坐标与初始位置的横纵坐标重叠，按照用户头部转动(或移动)方向的相反方向将虚拟画面的显示尺寸调整为虚拟画面的原始尺寸，可以实现增强用户的视觉观看体验。
[0090]
请参阅图13，示出了本申请再一实施例提供的一种图像处理方法的流程图，本实施例提供一种图像处理方法，可应用于电子设备，该方法包括：
[0091]
步骤s410：获取所述穿戴设备的初始位置。
[0092]
步骤s420：获取所述穿戴设备的当前位置以及姿态信息。
[0093]
步骤s430：获取所述当前位置的横纵坐标相对于所述初始位置的横纵坐标的坐标偏移比例。
[0094]
步骤s440：将所述坐标偏移比例作为与虚拟画面对应的调整参数。
[0095]
步骤s450：若所述调整参数大于目标阈值，按照所述移动方向的相反方向将所述虚拟画面的显示尺寸调整为预设显示尺寸。
[0096]
可选的，在基于穿戴设备的移动方向的相反方向以及调整参数对虚拟画面的显示尺寸进行调整之前，为了避免移动前后位置变化量过大而导致的虚拟画面缩小后的显示尺寸较小而无法看清视频画面的问题，可以设置调整参数的目标阈值，并在调整前判断所获取的调整参数是否大于该目标阈值。其中，目标阈值的具体数值可以不作限定，在一种实施方式中，目标阈值小于穿戴设备的显示屏幕的宽度值和/或穿戴设备的显示屏幕的长度值；在另一种实施方式中目标阈值小于穿戴设备的显示屏幕的预设比例(例如50％)宽度值和/或穿戴设备的显示屏幕的预设比例(例如50％)长度值。
[0097]
作为一种方式，若调整参数大于目标阈值，为了确保用户仍能够清晰的查看视频画面，可以按照所述移动方向的相反方向将虚拟画面的显示尺寸调整为预设显示尺寸。例如，在一个具体的应用场景中，如图14所示，若用户的头部向右下角移动后，所得到的调整参数大于目标阈值，那么可以将虚拟画面的显示尺寸调整为眼镜屏幕的四分之一(此处的四分之一仅作为示例进行说明，具体数值可以根据实际需要进行设置)尺寸，即如图14中所示的左上角区域为显示尺寸缩小后的虚拟画面显示区域，从而可以确保虚拟画面内容的清晰度，使得可以在不影响用户的正常观看的同时更加清晰的查看外界环境，进而提升用户体验。
[0098]
本实施例提供的图像处理方法，通过获取与电子设备通信连接的穿戴设备的初始位置，继而获取穿戴设备的当前位置以及姿态信息，再基于初始位置以及当前位置获取与虚拟画面对应的调整参数，然后若调整参数大于目标阈值，可以按照移动方向的相反方向将虚拟画面的显示尺寸调整为预设显示尺寸，从而可以确保在不影响用户的正常观看的同时更加清晰的查看外界环境，进而提升用户体验。
[0099]
请参阅图15，为本申请实施例提供的一种图像处理装置的结构框图，本实施例提供一种图像处理装置500，可以运行于电子设备，所述装置500包括：第一数据获取模块510、第二数据获取模块520、调整参数获取模块530以及处理模块540：
[0100]
第一数据获取模块510，用于获取所述穿戴设备的初始位置。
[0101]
第二数据获取模块520，用于获取所述穿戴设备的当前位置以及姿态信息。
[0102]
调整参数获取模块530，用于基于所述初始位置以及所述当前位置获取与虚拟画面对应的调整参数。
[0103]
在一种实现方式中，调整参数获取模块530可以用于获取所述当前位置的横纵坐标相对于所述初始位置的横纵坐标的坐标偏移比例；将所述坐标偏移比例作为与虚拟画面对应的调整参数。
[0104]
可选的，调整参数获取模块530可以用于若所述当前位置的横纵坐标相对于所述初始位置的横纵坐标的坐标变化量大于指定阈值，基于所述初始位置以及所述当前位置获取与虚拟画面对应的调整参数。
[0105]
处理模块540，用于基于所述调整参数以及所述姿态信息对所述虚拟画面的显示尺寸进行调整。
[0106]
可选的，所述姿态信息可以包括所述穿戴设备的移动方向，在这种方式下，处理模块540可以用于基于所述移动方向的相反方向以及所述调整参数对所述虚拟画面的显示尺寸进行调整。
[0107]
可选的，装置500还可以包括坐标变化参数获取模块，用于获取所述当前位置的横
纵坐标相对于所述初始位置的横纵坐标的坐标变化量。在这种方式下，处理模块540具体可以用于若所述坐标变化量表征所述当前位置向靠近所述初始位置的方向移动，基于所述调整参数按照所述移动方向的相反方向对所述虚拟画面的显示尺寸进行放大；若所述坐标变化量表征所述当前位置向远离所述初始位置的方向移动，基于所述调整参数按照所述移动方向的相反方向对所述虚拟画面的显示尺寸进行缩小。
[0108]
可选的，处理模块540可以用于若检测到所述当前位置的横纵坐标与所述初始位置的横纵坐标重叠，按照所述移动方向的相反方向将所述虚拟画面的显示尺寸调整为所述虚拟画面的初始尺寸。
[0109]
可选的，处理模块540可以用于若所述调整参数大于目标阈值，按照所述移动方向的相反方向将所述虚拟画面的显示尺寸调整为预设显示尺寸。
[0110]
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0111]
在本申请所提供的几个实施例中，所显示或讨论的模块相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0112]
另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
[0113]
请参阅图16，基于上述的图像处理方法及装置，本申请实施例还提供了一种可以执行前述图像处理方法的电子设备100。电子设备100包括存储器102以及相互耦合的一个或多个(图中仅示出一个)处理器104，存储器102以及处理器104之间通信线路连接。存储器102中存储有可以执行前述实施例中内容的程序，而处理器104可以执行存储器102中存储的程序。
[0114]
其中，处理器104可以包括一个或者多个处理核。处理器104利用各种接口和线路连接整个电子设备100内的各个部分，通过运行或执行存储在存储器102内的指令、程序、代码集或指令集，以及调用存储在存储器102内的数据，执行电子设备100的各种功能和处理数据。可选地，处理器104可以采用数字信号处理(digital signal processing，dsp)、现场可编程门阵列(field－programmable gate array，fpga)、可编程逻辑阵列(programmable logic array，pla)中的至少一种硬件形式来实现。处理器104可集成中央处理器(central processing unit，cpu)、图像处理器(graphics processing unit，gpu)和调制解调器等中的一种或几种的组合。其中，cpu主要处理操作系统、用户界面和应用程序等；gpu用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器104中，单独通过一块通信芯片进行实现。
[0115]
存储器102可以包括随机存储器(random access memory，ram)，也可以包括只读存储器(read-only memory)。存储器102可用于存储指令、程序、代码、代码集或指令集。存储器102可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现前述各个实施例的指令等。存储数据区还可以存储电子设备100在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。
[0116]
请参考图17，其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读存储介质600中存储有程序代码，所述程序代码可被处理器调用执行上述方法实施例中所描述的方法。
[0117]
计算机可读存储介质600可以是诸如闪存、eeprom(电可擦除可编程只读存储器)、eprom、硬盘或者rom之类的电子存储器。可选地，计算机可读存储介质600包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质600具有执行上述方法中的任何方法步骤的程序代码610的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码610可以例如以适当形式进行压缩。
[0118]
综上所述，本申请实施例提供的一种图像处理方法、装置、电子设备以及存储介质，通过获取与电子设备通信连接的穿戴设备的初始位置，继而获取穿戴设备的当前位置以及姿态信息，再基于初始位置以及当前位置获取与虚拟画面对应的调整参数，然后基于调整参数以及姿态信息对虚拟画面的显示尺寸进行调整。从而通过上述方式实现了可以基于穿戴设备的当前位置相对于其初始位置的变化，获取与虚拟画面对应的调整参数，从而可以基于该调整参数以及穿戴设备的姿态信息对虚拟画面的显示尺寸进行实时调整，避免了虚拟画面内容完全重叠在用户眼前，进而导致的用户无法清晰的看见外界真实环境的问题。
[0119]
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。