一种智能移动终端的浸入式视频呈现方法
【专利摘要】本发明涉及一种智能移动终端的浸入式视频呈现方法，其特征在于：在智能移动终端播放视频文件时，检测智能移动终端屏幕是否有移动或/和旋转，如有移动或/和旋转，通过将当前播放的视频帧图像进行缩小或放大或向右移动或向左移动或向上移动或向下移动进行处理，然后将处理后的视频帧图显示在智能移动终端的屏幕上。与现有技术相比，本发明的优点在于：让观看者感觉视频平面浮动在手机屏幕下方,，并可以通过物理直觉来进行控制其摆放位置，智能移动终端移动实现视频的上下左右滑动，智能移动终端前后移动实现视频画面放大缩小；无需手指触控即能实现视频显示画面的移动，观看者可主动选择感兴趣的区域。
【专利说明】一种智能移动终端的浸入式视频呈现方法
【技术领域】
[0001]本发明涉及一种智能移动终端的浸入式视频呈现方法。
【背景技术】
[0002]通常用户观看的视频是直接在屏幕上将原始视频文件按帧一幅一幅显示出来，每帧画面实际上就是一幅二维的平面的照片，用户观看时所呈现的照片序列，与拍摄时的照片序列是完全一样的，因此现有的观看视频的方式是被动的(即看什么是由拍摄的人决定，观看的人无法控制)、无法选择兴趣区域的、缺乏沉浸感的。而实际上，观看者的则没有主动选择的权力。
【发明内容】
[0003]本发明所要解决的技术问题是针对上述现有技术提供一种有主动控制感觉具有沉浸感的智能移动终端的浸入式视频呈现方法。
[0004]本发明解决上述技术问题所采用的技术方案为:一种智能移动终端的浸入式视频呈现方法，其特征在于:在智能移动终端播放视频文件时，检测智能移动终端屏幕是否有移动或/和旋转，而移动或/和旋转的方向定义有X，1，Z三个方向，其中X，I, Z方向的定义是以水平放置在的智能移动终端的中心点为参照系坐标原点，X方向就是智能移动终端的水平方向，右为正；y方向就是智能移动终端的水平垂直方向，如为正；z方向就是智能移动终端的空间垂直方向，天空的方向为正，地球的方向为负；如有移动或/和旋转，通过以下策略播放视频文件:
[0005]当智能移动终端屏幕在z轴上向前移动时，将当前播放的视频帧图像进行放大处理，然后将放大后的视频帧图显示在智能移动终端的屏幕上；
[0006]当智能移动终端屏幕在z轴上向后移动时，将当前播放的视频帧图像进行缩小处理，然后将缩小后的视频帧图显示在智能移动终端的屏幕上；
[0007]当智能移动终端屏幕在X轴上向左移动时，将当前播放的视频帧图像向右平移，然后将平移后的视频帧图显示在智能移动终端的屏幕上；
[0008]当智能移动终端屏幕在X轴上向右移动时，将当前播放的视频帧图像向左平移，然后将平移后的视频帧图显示在智能移动终端的屏幕上；
[0009]当智能移动终端屏幕在y轴上向上移动时，将当前播放的视频帧图像向下平移，然后将向平移后的视频帧图显示在智能移动终端的屏幕上；
[0010]当智能移动终端屏幕在y轴上向下移动时，将当前播放的视频帧图像向上平移，然后将平移后的视频帧图显示在智能移动终端的屏幕上；
[0011]当智能移动终端屏幕以y方向为轴发生顺时针旋转时，将当前播放的视频帧图像向右平移，然后将平移后的视频帧图显示在智能移动终端的屏幕上；
[0012]当智能移动终端屏幕以y方向为轴发生逆时针旋转时，将当前播放的视频帧图像向左平移，然后将平移后的视频帧图显示在智能移动终端的屏幕上。
[0013]作为改进技术方案，在智能移动终端播放视频文件时，开启智能移动终端中自带的能感知智能移动终端的移动或/和倾斜度的加速度传感器或/和陀螺仪，通过加速度传感器或/和陀螺仪采集的数据，检测智能移动终端屏幕是否有上下、左右、前后移动或/和旋转。
[0014]如果当前播放的视频帧图像向下平移或向上平移或向左平移或向右平移到底后，智能移动终端仍有平移或旋转，继续滑动若干距离部分，同时留出视频画面的背景显示在智能移动终端的屏幕上，这样就好像有一种撞到底的动感。
[0015]在智能移动终端播放视频文件时，如果检测到视频画面有抖动,显示视频的时候在相反方向对视频画面进行偏移，从而消除画面抖动，让观看者视觉更舒适。
[0016]与现有技术相比，本发明的优点在于:让观看者感觉视频平面浮动在手机屏幕下方，，并可以通过物理直觉来进行控制其摆放位置，智能移动终端移动实现视频的上下左右滑动，智能移动终端前后移动实现视频画面放大缩小；无需手指触控即能实现视频显示画面的移动，观看者可主动选择感兴趣的区域。
【专利附图】
【附图说明】
[0017]图1为本发明实施例中以手机为例的视频呈现方法示意图；
[0018]图2为本发明实施例中以手机为例的横向尺寸画面的视频呈现方法示意图；
[0019]图3为本发明实施例中以手机为例的纵向尺寸画面的视频呈现方法示意图；
[0020]图4为本发明实施例中以手机为例的手机旋转时画面透视变形示意图；
[0021]图5为本发明实施例中以手机为例的手机旋转时画面移动示意图；
[0022]图6为本发明实施例中以手机为例的手机旋转时的示意图；
[0023]图7为本发明实施例中以手机为例的手机旋转或平移到底时的显示示意图；
[0024]图8为本发明实施例中以手机为例的状态机示意图；
[0025]图9为本发明实施例中以手机为例的对画面消除抖动时的处理示意图。
【具体实施方式】
[0026]以下结合附图实施例对本发明作进一步详细描述。
[0027]本发明提供的一种智能移动终端的浸入式视频呈现方法，在智能移动终端播放视频文件时，开启智能移动终端中自带的能感知智能移动终端的移动或/和倾斜度的加速度传感器或/和陀螺仪，通过加速度传感器或/和陀螺仪采集的数据，检测智能移动终端屏幕是否有移动或/和旋转，移动或/和旋转的方向定义有X，1，z三个方向，其中X，y，z方向的定义是以水平放置在的智能移动终端的中心点为参照系坐标原点，如图6，X方向就是智能移动终端的水平方向，右为正；y方向就是智能移动终端的水平垂直方向，前为正；z方向就是智能移动终端的空间垂直方向，天空的方向为正，地球的方向为负，如有移动或/和旋转，通过以下策略播放视频文件:
[0028]当智能移动终端屏幕在z轴上向前移动时，将当前播放的视频帧图像进行放大处理，然后将放大后的视频帧图显示在智能移动终端的屏幕上；
[0029]当智能移动终端屏幕在z轴上向后移动时，将当前播放的视频帧图像进行缩小处理，然后将缩小后的视频帧图显示在智能移动终端的屏幕上；
[0030]当智能移动终端屏幕在X轴上向左移动时，将当前播放的视频帧图像向右平移，然后将平移后的视频帧图显示在智能移动终端的屏幕上；
[0031]当智能移动终端屏幕在X轴上向右移动时，将当前播放的视频帧图像向左平移，然后将平移后的视频帧图显示在智能移动终端的屏幕上；
[0032]当智能移动终端屏幕在y轴上向上移动时，将当前播放的视频帧图像向下平移，然后将向平移后的视频帧图显示在智能移动终端的屏幕上；
[0033]当智能移动终端屏幕在y轴上向下移动时，将当前播放的视频帧图像向上平移，然后将平移后的视频帧图显示在智能移动终端的屏幕上；
[0034]当智能移动终端屏幕以y方向为轴发生顺时针旋转时，将当前播放的视频帧图像向右平移，然后将平移后的视频帧图显示在智能移动终端的屏幕上；
[0035]当智能移动终端屏幕以y方向为轴发生逆时针旋转时，将当前播放的视频帧图像向左平移，然后将平移后的视频帧图显示在智能移动终端的屏幕上。
[0036]采用上述方法，在某种程度上将智能移动终端屏幕当作观察者的眼睛，眼睛具有转动、移动以及稳定的能力，因此手机屏幕呈现的视频画面可以模仿眼睛的行为，具有一定程度的主动性、感知空间和防止抖动的能力，让观看者会感觉视频平面浮动在智能移动终端手机屏幕下方，视频平面相对于屏幕的空间位置和运动行为模拟真实物理世界，从而实现一种沉浸感的观看和控制体验。
[0037]以手机为例，如图1所示，将视频画面作为一个独立于屏幕的一个平面，从手机屏幕上观看，视觉上此平面大概位于屏幕的下方。通过手机的上下移动，实现视频画面的放大缩小效果；通过手机的左右运动或旋转，实现视频画面的左右滑动；通过手机的前后移动，实现视频画面的前后滑动。下面详细描述手机在播放视频文件时，视频画面的处理策略:
[0038][视频画面放大缩小]
[0039]视频画面的放大缩小程度体现了画面跟手机屏幕的感知距离，应该按照感知距离定义偏移时的细微的透视形变的幅度。为了保证实用性，我们以画面相对屏幕的长边的完整显示作为缩到最小的比例，以画面相对屏幕的短边跟对应屏幕边长一致作为放大到最大的比例；对于横向尺寸视频，如图2所示，对于纵向尺寸视频，如图3所示。检测到手机在物理空间以屏幕为垂直方向拉近或拉远的加速度，就对画面进行放大或缩小，具体实现是需要把握好灵敏度的。我们知道无论如何晃动手机，其最终停下来速度为0，即加速度a对于时间t的积分最后为0，因此我们不能线性的应用加速度数据来进行放大缩小，可设计如图8所示的状态机，仅仅使用状态I到状态2时的加速度来放大或缩小，对于从状态2到状态I的反方向的加速度基本不予处理或非常轻微的处理。
[0040][视频画面平移]
[0041]接下来我们讨论手机平移或旋转，如何影响视频画面在屏幕中的位置，为方便讨论，我们先假设视频画面已经放大，并且为横向尺寸图，如图2左(纵向尺寸如图3左)。尽管我们可以按照三维空间建模来计算视频画面的透视变形(如图4)，但我们希望看到的视频最完整的信息，不希望有任何变形，又要同时保持沉浸感，因此我们可以设想图5的模型，即让视频画面自己移动，手机屏幕和观看眼睛的相对角度永远是垂直的。即如果手机在物理空间平移，视频画面在手机内部反方向平移；如果手机在物理空间以图6中的y轴进行顺时针旋转，视频画面向右滑动，如果逆时针旋转视频画面向左滑动。如果滑动到底，仍有平移或旋转，则应该继续滑动若干距离部分留出视频画面的背景，运动越剧烈距离(如图7A中L)越大，停止运动后视频画面侧边背景距离恢复为O (如图7B)，好像有一种撞到底的动感。如果视频画面缩小到最小的状态(如图2右)，也应该对手机的平移或旋转也应该有轻微的动态响应，如图7C，运动越剧烈，响应越明显。
[0042][视频画面去除抖动]
[0043]如果检测到视频画面有抖动，显示视频的时候在相反方向对视频画面进行偏移(见图9中第I帧)，从而消除抖动。设定偏移最大的范围，避免将真正的运动也当作抖动，有如下方法:如果上一帧的视频已经是处于偏移过的状态，同时检测到当前帧的偏移还是在同一个方向且偏移距离超过预设的最大范围，则偏移方向不变，距离到最大范围(见图9中第2帧)，若需要下一帧往其它方向偏移来消除抖动则按正常进行。
【权利要求】
1.一种智能移动终端的浸入式视频呈现方法，其特征在于:在智能移动终端播放视频文件时，检测智能移动终端屏幕是否有移动或/和旋转，而移动或/和旋转的方向定义有X，1，Z三个方向，其中X，y, Z方向的定义是以水平放置在的智能移动终端的中心点为参照系坐标原点，X方向就是智能移动终端的水平方向，右为正；y方向就是智能移动终端的水平垂直方向，前为正；z方向就是智能移动终端的空间垂直方向，天空的方向为正，地球的方向为负，如有移动或/和旋转，通过以下策略播放视频文件:当智能移动终端屏幕在Z轴上向前移动时，将当前播放的视频帧图像进行放大处理，然后将放大后的视频帧图显示在智能移动终端的屏.上； 当智能移动终端屏幕在Z轴上向后移动时，将当前播放的视频帧图像进行缩小处理，然后将缩小后的视频巾贞图显不在智能移动终端的屏.上； 当智能移动终端屏幕在X轴上向左移动时，将当前播放的视频帧图像向右平移，然后将平移后的视频帧图显示在智能移动终端的屏幕上； 当智能移动终端屏幕在X轴上向右移动时，将当前播放的视频帧图像向左平移，然后将平移后的视频帧图显示在智能移动终端的屏幕上； 当智能移动终端屏幕在y轴上向上移动时，将当前播放的视频帧图像向下平移，然后将向平移后的视频帧图显示在智能移动终端的屏幕上； 当智能移动终端屏幕在y轴上向下移动时，将当前播放的视频帧图像向上平移，然后将平移后的视频帧图显示在智能移动终端的屏幕上； 当智能移动终端屏幕以y方向为轴发生顺时针旋转时，将当前播放的视频帧图像向右平移，然后将平移后的视频帧图显示在智能移动终端的屏幕上； 当智能移动终端屏幕以y方向为轴发生逆时针旋转时，将当前播放的视频帧图像向左平移，然后将平移后的视频帧图显示在智能移动终端的屏幕上。
2.根据权利要求1所述的智能移动终端的浸入式视频呈现方法，其特征在于:在智能移动终端播放视频文件时，开启智能移动终端中自带的能感知智能移动终端的移动或/和倾斜度的加速度传感器或/和陀螺仪，通过加速度传感器或/和陀螺仪采集的数据，检测智能移动终端屏幕是否有上下、左右、前后移动或/和旋转。
3.根据权利要求1或2所述的智能移动终端的浸入式视频呈现方法，其特征在于:如果当前播放的视频帧图像向下平移或向上平移或向左平移或向右平移到底后，智能移动终端仍有平移或旋转，继续滑动若干距离部分，同时留出视频画面的背景显示在智能移动终端的屏幕上。
4.根据权利要求1或2所述的智能移动终端的浸入式视频呈现方法，其特征在于:在智能移动终端播放视频文件时，如果检测到视频画面有抖动，显示视频的时候在相反方向对视频画面进行偏移。
【文档编号】H04N21/414GK104394452SQ201410739611
【公开日】2015年3月4日 申请日期:2014年12月5日 优先权日:2014年12月5日
【发明者】钱晓炯 申请人:宁波菊风系统软件有限公司