参考视频画面的调整方法、设备及装置与流程

本申请涉及直播技术领域，特别是涉及参考视频画面的调整方法、设备及装置。

背景技术：

随着互联网技术的快速发展、智能设备的普及，人们能够随时随地地通过智能设备进行各种事务处理和娱乐活动，直播现在广受人们的欢迎，直播市场非常活跃。目前的直播技术，对直播中的视频处理限制较大。

技术实现要素：

本申请主要解决的技术问题是提供参考视频画面的调整方法、设备及装置，能够便于在直播过程中对参考视频画面进行裁剪和调整。

为解决上述技术问题，本申请采用的一个技术方案是：提供一种参考视频画面调整方法，包括：

获取直播画面；

在直播画面中显示参考视频画面；

确定参考视频画面的锚点；

获取锚点的位置变化，并根据锚点的位置变化对参考视频画面进行裁剪。

为解决上述技术问题，本申请采用的另一个技术方案是：提供一种电子设备，包括获取模块、显示模块、处理模块，其中，

获取模块用于获取直播画面；

显示模块用于显示直播画面和在直播画面中显示参考视频画面；

处理模块用于确定参考视频画面的锚点；

处理模块进一步用于获取锚点的位置变化，并根据锚点的位置变化对参考视频画面进行裁剪。

为解决上述技术问题，本申请采用的另一个技术方案是：提供一种电子设备，包括显示器件、图像获取电路、通信电路和处理器，处理器分别连接显示器件、通信电路和图像获取电路，其中，

图像获取电路用于获取直播画面；

显示器件用于显示直播画面和在直播画面中显示参考视频画面；

处理器用于通过通信电路获取锚点的位置变化，并根据锚点的位置变化对参考视频画面进行裁剪。

为解决上述技术问题，本申请采用的另一个技术方案是：提供一种具有存储功能的装置，存储有程序数据，程序数据能够被执行以实现上述本申请提供的参考视频画面调整方法中的步骤。

与现有技术相比，本申请的有益效果是：通过在直播画面中显示参考视频画面，能够提升直播的趣味性，并且在直播过程中的参考视频画面上确定锚点，通过获取锚点移动产生的位置变化来计算参考视频画面的待裁剪区域，可以直接对参考视频画面进行裁剪和调整，如此能够有效地实现在直播过程中直接对参考视频画面进行裁剪，无需在直播前对参考视频画面进行后期处理，从而可以实现在直播过程中直接地、快速地对参考视频画面进行处理，满足主播或用户的要求，节省用户的时间和成本，提升直播体验。

附图说明

图1是本申请参考视频画面调整方法第一实施例的流程示意图；

图2是本申请参考视频画面调整方法第一实施例的直播画面和参考视频画面的界面示意图；

图3是本申请参考视频画面调整方法第一实施例的参考视频画面裁剪的过程示意图；

图4是本申请参考视频画面调整方法第二实施例的流程示意图；

图5是本申请参考视频画面调整方法第二实施例的直播画面和参考视频画面的界面示意图；

图6是本申请参考视频画面调整方法第二实施例的参考视频画面裁剪和缩放的过程示意图；

图7是本申请参考视频画面调整方法第三实施例的流程示意图；

图8是本申请参考视频画面调整方法第三实施例的直播画面和参考视频画面的界面示意图；

图9是本申请电子设备第一实施例的电路示意框图；

图10是本申请电子设备第一实施例的电路示意框图；

图11是本申请具有存储功能的装置实施例的结构示意框图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的发明人经过长期研究发现，主播可以在直播间内打开其他视频文件来观看，例如跳舞主播把相关的跳舞视频录像作为教程，放在直播画面中，从而跟着画面中的教程来跳舞。而目前的直播技术对视频文件的调整，只能够是缩放，也就是长宽比是固定的，目前本领域内最常用的两种方法是：

第一，按照想要的显示方式直接去使用相应的素材，例如想要竖屏显示，可以直接寻找竖屏的视频文件，比如用手机录制的竖屏的视频文件，竖屏的视频文件在直播间内播放中，进行缩放后，长宽比保持不变，依然是竖屏。

第二，使用视频编辑软件进行后期处理，改变视频文件的长宽比，然后再将后期处理后的视频文件在直播间播放。

但是现有的现象就是，大量的视频文件一般都是横屏的，如果通过上述两种方法处理，都非常麻烦，而且工作量和成本太大。

为了改善上述现象或者解决上述问题，本申请提供如下实施例：

参阅图1至图3，本申请参考视频画面调整方法第一实施例，例如可以应用于视频直播技术，包括以下步骤：

步骤s101：获取直播画面11。

直播画面11是指当前直播间的直播过程进行的画面，例如是在计算机或者移动终端等直播设备上通过相应的直播软件或者应用程序，使用摄像头或者投屏等方式进行采集并以直播的形式展示给观众的画面，比如跳舞主播正在进行直播跳舞，直播画面11就是获取到的该主播进行整个直播过程的画面。

步骤s102：在直播画面11中显示参考视频画面12。

参考视频画面12是主播播放的视频文件所呈现的画面，例如跳舞主播播放的作为跳舞教程的视频画面，例如唱歌主播播放的作为mv的视频画面等，参考视频画面12是由主播或者用户进行播放的，对其类型、大小等在此不作限制。

在本实施例中，参考视频画面12显示在直播画面11中时，占据直播画面11的一部分位置，而且较直播画面11以前端显示的方式，覆盖直播画面11中的相应部分的画面，例如悬浮显示于直播画面11上。

在本实施例中，参考视频画面12可以只显示在主播这一侧的直播设备上，观众无法看到参考视频画面12，观众只能看到直播画面11。当然参考视频画面12也可以随着直播画面11形成直播视频流，通过服务器发送给观众进行观看，观众可以观看到直播画面11和参考视频画面12。

步骤s103：确定参考视频画面12的锚点121。

例如通过在参考视频画面12边界上或者边界外确定一个或者多个锚点121，该锚点121与参考视频画面12相关联，使得参考视频画面12处于可编辑的状态，用于供使用者或者计算机等进行调整参考视频画面12。锚点121的形状可以呈条形，或者点状。

步骤s104：获取锚点121的位置变化，并根据锚点121的位置变化对参考视频画面12进行裁剪。

具体地，例如主播如要对参考视频画面12进行裁剪等调整，可以通过拖动锚点121进行移动，直播设备计算锚点121移动产生的位置变化，并根据锚点121的位置变化确定待裁剪区域1213，最后根据待裁剪区域1213对参考视频画面12进行裁剪，或者随着锚点121移动的位置变化实时对参考视频画面12进行裁剪。

参阅图3，在本实施例中，例如：首先，计算锚点121在参考视频画面12中的坐标变化。

比如是以参考视频画面12的几何中心做为坐标原点，当然还可以以直播画面11的中心作为坐标原点。锚点121被移动前后的位置变化可以以坐标变化来表示。

接着，根据坐标变化计算参考视频画面12的待裁剪区域1213的宽度变化和/或高度变化，例如可以参考图3。

宽度变化和高度变化是指待裁剪区域1213在参考视频画面12的源图中的宽度变化和高度变化。

再者，根据待裁剪区域1213的高度变化和/或宽度变化对参考视频画面12进行裁剪。

参阅图3，例如以跳舞主播为例，跳舞主播利用直播设备中进行直播，同时打开一跳舞教程的视频文件作为参考视频画面12，显示在直播画面11中，由于视频文件是已经录制完了，而且长宽比是固定的，直播设备例如会根据参考视频画面12的位置、边界等因素确定锚点121，例如锚点121的位置处于参考视频画面12的边界上，主播可以拖动锚点121到参考视频画面12上想要的位置(当然，直播设备也可以自动移动锚点121使得锚点121产生位置变化)，直播设备可以计算出锚点121移动的位置变化，根据锚点121的位置变化计算待裁剪区域1213，例如主播将多个锚点121往参考视频画面12的中部方向拖动产生多段位移，该多段位移经过的区域可以确定为待裁剪区域1213，然后对参考视频画面12进行裁剪，得到裁剪后的参考视频画面12，从而满足主播的实际需求。

本实施例通过对显示在直播画面11中的参考视频画面12进行计算而确定锚点121，在获取锚点121移动产生的位置变化时根据锚点121的位置变化计算参考视频画面12的待裁剪区域1213对参考视频画面12进行裁剪，能够实现在直播过程中直接对参考视频画面12进行裁剪，无需在直播前对参考视频画面12进行后期处理，从而可以实现在直播过程中直接地、快速地对参考视频画面12进行处理，满足主播或用户的要求，节省用户的时间和成本，提升直播体验。

在本实施例中，步骤s101-s104仅是为了方便陈述而进行的编号，并不具体限定步骤的具体执行顺序，在本申请的其他实施例中，步骤的具体顺序可以不同于本实施例的顺序，只要能实现本申请相应的技术效果即可。

参阅图4至图6，本申请参考视频画面调整方法第二实施例，是在本申请参考视频画面12调整方法第一实施例对确定锚点121等步骤进行进一步描述，锚点121包括裁剪锚点1211和缩放锚点1212，其中本实施例与第一实施例相同的步骤，可以参见第一实施例的内容，在此不再赘述，本申请参考视频画面调整方法第二实施例包括如下步骤：

步骤s201：获取直播画面11。

步骤s202：在直播画面11中显示参考视频画面12。

步骤s203：在参考视频画面12的边界上确定调整框120，在调整框120的边上确定裁剪锚点1211。

例如，在想要调整参考视频画面12时，直播设备会显示出调整框120，例如，直播设备识别到主播的鼠标位置或者触摸位置停留在参考视频画面12上，或者直播设备接收到主播点击参考视频画面12的信号，则自动显示出调整框120，调整框120位于参考视频画面12的边界上，将参考视频画面12框在调整框120内，以能够对整个参考视频画面12的进行调整。在本实施例中，调整框120可以为矩形框，在调整框120的四条边的至少一条边中确定裁剪锚点1211，可选的是，在四条边中部确定四个裁剪锚点1211，每条边的中部确定一个裁剪锚点1211并显示。参阅图5，裁剪锚点1211的移动方向，可以是调整框120的边的垂直方向。

步骤s204：在调整框120的顶点上确定缩放锚点1212。

调整框120的顶点，是指相邻边的交点。例如调整框120为矩形框时，四条边的交点为四个顶点。在本实施例中，可选的是，在调整框120的4个顶点上确定四个缩放锚点1212，每个顶点确定一个缩放锚点1212并显示。缩放锚点1212的移动方向可以是，调整框120的对角线方向的正反方向，以可以对参考视频画面12进行放大或者缩小。

步骤s205：获取裁剪锚点1211的位置变化，并根据裁剪锚点1211的位置变化对参考视频画面12进行裁剪。

参阅图6，例如主播拖动调整框120上的裁剪锚点1211时，调整框的边随着裁剪锚点1211移动，比如往参考视频画面12的中部移动，可以通过计算参考视频画面12中，产生位置变化前后的坐标变化，从而计算对应调整框120的边的参考视频画面12的待裁剪区域1213。裁剪锚点1211在移动的过程中，是以该裁剪锚点1211对应的边进行整体移动，也即裁剪锚点1211的移动是带动其所在的整条边一起平移，那么该条边与相邻边的交点也会随之移动。

步骤s206：获取缩放锚点1212的位置变化，根据缩放锚点1212的位置变化对参考视频画面12进行保持长宽比例的缩放。

例如主播沿着顶点对角线方向拖动调整框120上的缩放锚点1212，直播设备就活着到缩放锚点1212移动的位置变化，并根据缩放锚点1212移动的位置变化确定缩放范围，从而对参考视频湖面进行保持长宽比的缩放。在本实施例中，缩放可以是实时缩放，也即主播实时拖动缩放锚点1212，参考视频画面12可以实时进行缩放。当然在其他实施例中，也可以是非实时缩放，在主播拖动动作完成后才执行缩放。在其他实施例中，也可以是直播设备自动进行缩放。参阅图6，缩放锚点1212移动时，形成该缩放锚点1212的两条边也会随之移动，从而对参考视频画面12进行放大或者缩小。

在本实施例中，可以对参考视频画面12进行先裁剪后缩放，或者先缩放再裁剪，当然也可以只进行裁剪或者缩放，实际情况根据具体需求去进行。

本实施例通过设置裁剪锚点1211和缩放锚点1212，能够自由地对参考视频画面12继续裁剪和缩放，既能够按照长宽比例进行缩放又支持灵活的画面裁剪，可以从原始的参考视频画面12中裁剪出合适的区域，并可以缩放到适当的大小，如此能够更好地解决现有技术中无法进行裁剪的问题，更好地提升直播体验。

参阅图7和图8，本申请参考视频画面调整方法第三实施例，是在本申请参考视频画面调整方法第一实施例对参考视频画面12和直播画面11中进行目标识别等进行进一步描述，其中本实施例与第一实施例相同的步骤，可以参见第一实施例的内容，在此不再赘述，本实施例包括如下步骤：

步骤s301：获取直播画面11。

步骤s302：在直播画面11中显示参考视频画面12。

步骤s303：确定参考视频画面12的锚点121。

步骤s304：识别参考视频画面12的第一目标。

第一目标是可以预设通过直播软件进行预设的，例如人物。以跳舞主播为例，步骤s304则为识别参考视频画面12中的跳舞主播，从而可以更好地确定裁剪范围，不至于第一目标被裁剪或者部分裁剪。

步骤s305：获取第一目标的多个第一预设特征点的移动轨迹。

参阅图8，第一预设特征点，可以根据第一目标的类型进行预设，当然第一特征点也跟参考视频画面12的类型相关。以跳舞主播为例，参考视频画面12中老师的跳舞动作，例如可以预设头部、手掌、手肘,和膝盖作为第一预设特征点，以用于获取老师的跳舞动作，当然可以选取更多的特征点，可以更加精确地表示第一目标的动作。直播设备获取老师的跳舞时第一预设特征点移动所形成的移动轨迹，通过获取第一预设特征点的移动轨迹，可以计算第一目标的主要活动空间的范围。

步骤s306：根据多个第一预设特征点的移动轨迹确定锚点121的位置变化。

步骤s307：根据锚点121的位置变化对参考视频画面12进行裁剪，以使得目标的多个第一预设特征点于裁剪后的参考视频画面12中。

具体地，直播设备可以根据多个第一预设特征点的移动轨迹计算第一目标的活动空间的范围，根据活动空间的范围计算并确定锚点121的位置变化，使得锚点121的位置变化所产生的待裁剪区域(可以参见例如图6中的待裁剪区域1213)不会裁剪到第一目标的活动空间的范围。

在本实施例中，直播设备可以根据多个第一预设特征点自动地计算锚点121的位置变化，可以无需主播进行手动去移动锚点121而产生位置变化，从而计算出待裁剪区域1213从而保证多个第一特征点对应的部分显示于在裁剪后的参考视频画面12中，也即裁剪后的参考视频画面12必须要保证显示第一特征点的轨迹，使得第一目标的动作能够正常显示在裁剪后的参考视频画面12中，从而不至于第一目标的动作由于裁剪而缺失。以舞蹈主播为例，作为教程的参考视频画面12中所展示的教程动作就显得比较重要，如果缺失可能会对主播的跟学产生影响。

在本实施例中，可以以参考视频画面12的几何中心作为坐标原点，获取第一预设特征点的移动轨迹在参考视频画面12中的坐标，选取上下左右方向的坐标最大值，作为第一目标区域(例如为矩形区域，也即第一目标活动空间的范围)的最小值，以保证第一目标区域内涵盖第一目标的多个第一预设特征点，根据第一目标区域的各边界的坐标确定锚点121位置变化需要移动到的坐标，锚点移动到的坐标不能位于到第一目标区域内，以保证待裁剪区域不会裁剪到第一目标的活动空间。锚点121需要移动到的坐标与锚点121的原始坐标相比，可以确定锚点121的位置变化，调整框120可以与第一目标区域范围相同，或者调整框120包覆第一目标区域范围。

步骤s308：识别直播画面11中的第二目标。

参阅图8，第一目标是可以在直播软件中预设的，当然也可以是直播软件自动识别，比如说自动识别人脸，或者活体识别。以跳舞主播为例，第一目标可以为主播本人。

步骤s309：获取第二目标的多个第二预设特征点的移动轨迹。

第二预设特征点，可以根据第二目标的类型进行预设，或者可以由直播软件自动确定，例如进行活体运动追踪。以跳舞主播为例，主播在跳舞时的跳舞动作，可以通过例如预设头部、手掌、手肘和膝盖作为第二预设特征点进行表征，当然可以选取更多的特征点，可以更加精确地表示第二目标的动作。直播设备获取主播在跳舞时第二预设特征点移动所形成的移动轨迹，通过获取第二预设特征点的移动轨迹，可以计算第二目标的活动空间的范围。

步骤s310：根据多个第二预设特征点的移动轨迹在直播画面11内确定第一显示区域111，以使得用于第二目标的多个第二预设特征点显示于第一显示区域111内。

具体地，可以如同步骤s307一样利用坐标的变化来计算第一显示区域111的范围，也即直播设备可以根据第二预设特征点的移动轨迹自动确定第一显示区域111的范围，以使得第一显示区域111内能够保证显示到多个预设的第二特征点，也即第一显示区域111是第二目标主要的活动空间的范围。当然，在其他实施例中，也可以通过主播或者用户手动确定第一显示区域111的范围。

步骤s311：根据第一显示区域111在直播画面11内确定第二显示区域112，第二显示区域112用于放置参考视频画面12，其中第一显示区域111和第二显示区域112不重叠。

也即，直播视频画面可以划分包括第一显示区域111和第二显示区域112，第一显示区域111和第二显示区域112不重叠显示，也即第二显示区域112在第一显示区域111外。在步骤s310确定了第一显示区域111后，就可以确定第二显示区域112。本实施例通过确定第二显示区域112，使得第二显示区域112能够用于作为显示参考视频画面12的区域，如此可以使得参考视频画面12不会与主播的主要活动空间的范围重叠，避免遮挡主播的直播活动。

步骤s312：获取移动参考视频画面12的指令，根据指令移动参考视频画面12。

例如主播通过鼠标指针或者触摸动作移动参考视频画面12，从而生成移动指令，直播设备根据移动指令对参考视频画面12进行移动，使其移动到合适的位置，以保证更好地进行直播活动。

步骤s313：判断参考视频画面12所移动到的位置是否处于第二显示区域112内。

直播设备根据指令将参考视频画面12移动到主播想要的位置时，判断参考视频画面12当前的位置是否处于第二显示区域112内。

步骤s314：若是，则将参考视频画面12显示在第二显示区域112内。

当参考视频画面12移动到的位置位于用于放置参考视频画面12的第二显示区域112内，则将参考视频画面12顺利地显示在第二显示区域112内。例如可以显示移动成功的提示。

步骤s315：若否，则在直播画面11中显示提示信息，用于提示用户进行相应操作。

当参考视频画面12移动到的位置没有位于用于放置参考视频画面12的第二显示区域112内，即位于第一显示区域111内或者与第一显示区域111重叠，此时，直播设备可以显示提示信息，比如可以以弹框的方式进行提示，提示类型例如“遮挡提示”、“移动失败提示”或者“建议移动到特定区域的提示”。在本实施例中，在移动参考视频画面12时，直播画面11中显示第一显示区域111和第二显示区域112的边界，以供主播方便地对参考视频画面12进行移动。

本实施例通过识别第一目标和第二目标，以根据第一预设特征点和第二预设特征点的轨迹分别确定第一显示区域111和第二显示区域112，能够更便于调整参考视频画面12和直播画面11之间的显示，使得参考视频画面12不会遮挡直播画面11的重要部分，能够使得观众能够更好地观看主播的直播，提升直播体验。

本实施例可以与本申请参考视频画面的调整方法第二实施例进行结合。

参阅图9，本申请电子设备第一实施例，是本申请参考视频画面的裁剪方法第一至第三实施例的直播设备的功能体现，本实施例包括获取模块21、显示模块22、处理模块23。

获取模块21用于获取直播画面。显示模块22用于显示直播画面和在直播画面中显示参考视频画面。处理模块23用于确定参考视频画面的锚点。处理模块23进一步用于获取锚点的位置变化，并根据锚点的位置变化对参考视频画面进行裁剪。

作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施方式方案的目的。

另外，本实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

本实施例的电子设备可以是pc、平板电脑、手机、笔记本电脑、智能设备等终端，关于本实施例中的功能模块更多的功能，可以参见本申请参考视频画面的调整方法第一至第三实施例，在此不再赘述。

参阅图10，本申请电子设备第二实施例，是本申请参考视频画面的调整方法第一至第三实施例的直播设备的硬件体现，本实施例包括处理器31、通信电路32、图像获取电路33、显示器件34、处理器31通过总线分别连接通信电路32、显示器件34和图像获取电路33。

在本实施例中，显示器件具有显示功能，例如lcd显示器，或者oled显示器等。通信电路32是处理器31跟外部设备进行通信的接口。图像获取电路33是用于拍摄图像或者视频的电路，或者获取投屏画面的电路。，例如图像获取电路33是摄像头，可以拍摄或者录制图像和视频，例如是包括usb等接口可以连接外部设备将视频画面投射到电子设备上的。

图像获取电路33用于获取直播画面。显示器件34用于显示直播画面和在直播画面中显示参考视频画面。处理器31用于通过通信电路32获取锚点的位置变化，并根据锚点的位置变化对参考视频画面进行裁剪。

在本实施例中，处理器31还可以称为cpu(centralprocessingunit，中央处理单元)。处理器31可以是一种集成电路芯片，具有信号的处理能力。处理器31还可以是通用处理器、数字信号处理器(dsp)、专用集成电路(asic)、现成可编程门阵列(fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

本实施例的电子设备可以是pc、平板电脑、手机、笔记本电脑等终端，关于本实施例中的处理器实现更多的功能，可以参见本申请参考视频画面的调整方法第一至第三实施例，在此不再赘述。

参阅图11，本申请具有存储功能的装置实施例所提供的装置40存储有程序数据，程序数据能够被执行以实现本申请参考视频画面调整方法第一至第三实施例中的步骤。

本申请提供的本申请参考视频画面调整方法第一至第三实施例所涉及的方法如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储装置40中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施方式方法的全部或部分步骤。而前述的装置40包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质，或包括存储介质的电脑等其他装置。

以上所述仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。