一种基于弹幕的增强现实方法及其系统与流程

本发明涉及增强现实领域，特别涉及一种基于弹幕的增强现实方法及其系统。

背景技术：

弹幕（barrage），中文流行词语，原意指用大量或少量火炮提供密集炮击；本发明所述弹幕是指大量以字幕弹出形式显示的评论同时在屏幕上飘过的现象。弹幕可以给观众一种“实时互动”的错觉，虽然不同弹幕的发送时间有所区别，但是其只会在视频中特定的一个时间点出现，因此在相同时刻发送的弹幕基本上也具有相同的主题，在参与评论时就会有与其他观众同时评论的错觉。而传统的播放器评论系统是独立于播放器之外的，因此评论的内容大多围绕在整个视频上，话题性不强，也没有“实时互动”的感觉。

但是弹幕也有遮挡视频内容的弊病，一些不合时宜的弹幕也会降低观众对于视频的注意力。原本作为评论发送目标的视频反而成了配角，本末倒置。例如弹幕覆盖了播放画面的大半部分或者弹幕信息移动速度过快，这些弹幕现象都会影响到观看者的观看体验。

技术实现要素：

发明目的： 针对上述情况，为了克服背景技术中的缺点，本发明实施例提供了一种基于弹幕的增强现实方法及其系统，能够有效的解决上述背景技术中涉及的问题。

技术方案：一种基于弹幕的增强现实系统，包括用于显示弹幕信息的终端以及AR眼镜，所述终端包括弹幕信息发送模块，用于在检测到与任意一弹幕信息对应的视频帧播放时，将该视频帧对应的弹幕信息发送给与终端建立无线数据通信的AR眼镜；所述AR眼镜包括：现实影像摄取模块，用于接收到弹幕信息后启用朝向终端的第一摄像头摄取携带有终端画面的现实影像；虚拟信息投射模块，用于将弹幕信息作为虚拟信息投射在终端的上方进行显示。

作为本发明的一种优选方式，所述AR眼镜还包括信息回传模块，用于回传显示信息给所述终端；所述终端还包括弹幕信息隐藏模块，用于根据显示信息控制与视频帧对应的弹幕信息进行隐藏。

作为本发明的一种优选方式，所述AR眼镜还包括：眼部影像摄取模块，用于启用朝向用户的第二摄像头摄取携带有用户眼部的影像；眨眼检测模块，用于对用户眼部进行眨眼检测，并在检测到眨眼时判断眨眼频率是否达到预设频率。

作为本发明的一种优选方式，所述终端还包括弹幕信息分割模块，用于将弹幕信息按照视频帧的播放时间节点进行分割，分割后的弹幕信息携带有对应视频帧的播放时间节点；

所述AR眼镜还包括：弹幕信息查找模块，用于获取终端视频帧的播放时间节点，查找与播放时间节点对应的弹幕信息；投射子模块，用于将弹幕信息按照对应的播放时间节点投射在终端的上方进行同步显示。

作为本发明的一种优选方式，所述终端还包括：弹幕信息获取模块，用于获取视频帧播放时显示的弹幕信息；弹幕信息判断模块，用于判断弹幕信息的移动速度是否超出预设速度和∕或判断弹幕信息在屏幕的占据面积是否超出预设面积。

一种基于弹幕的增强现实方法，使用权利要求6所述的增强现实系统，所述方法包括以下步骤：

Step1、用于显示弹幕信息的终端在检测到与任意一弹幕信息对应的视频帧播放时，将该视频帧对应的弹幕信息发送给与终端建立无线数据通信的AR眼镜；

Step2、所述AR眼镜接收到弹幕信息后启用朝向终端的第一摄像头摄取携带有终端画面的现实影像，将弹幕信息作为虚拟信息投射在终端的上方进行显示。

作为本发明的一种优选方式，在将弹幕信息作为虚拟信息投射在终端的上方进行显示之后，还包括：

所述AR眼镜回传显示信息给所述终端；

所述终端根据显示信息控制与视频帧对应的弹幕信息进行隐藏。

作为本发明的一种优选方式，在弹幕信息作为虚拟信息投射在终端的上方进行显示之前，还包括：

所述AR眼镜启用朝向用户的第二摄像头摄取携带有用户眼部的影像；

对用户眼部进行眨眼检测，并在检测到眨眼时判断眨眼频率是否达到预设频率；

若达到，则继续执行步骤，否则将结束流程。

作为本发明的一种优选方式，在将该视频帧对应的弹幕信息发送给与终端建立无线数据通信的AR眼镜之前，还包括：

所述终端将弹幕信息按照视频帧的播放时间节点进行分割，分割后的弹幕信息携带有对应视频帧的播放时间节点；

将弹幕信息作为虚拟信息投射在终端的上方进行显示，包括：

所述AR眼镜获取终端视频帧的播放时间节点，查找与播放时间节点对应的弹幕信息；

将弹幕信息按照对应的播放时间节点投射在终端的上方进行同步显示

作为本发明的一种优选方式，在将该视频帧对应的弹幕信息发送给与终端建立无线数据通信的AR眼镜之前，还包括：

所述终端获取视频帧播放时显示的弹幕信息；

判断弹幕信息的移动速度是否超出预设速度和∕或判断弹幕信息在屏幕的占据面积是否超出预设面积；

若超出，则继续执行步骤，否则将结束流程。

本发明实现以下有益效果：通过所述终端的弹幕信息获取模块，获取视频播放时显示的弹幕信息，然后将获取的弹幕信息发送给弹幕信息判断模块，判断弹幕信息的移动速度和弹幕信息在屏幕的占据面积。若判断其超出预设值时，将弹幕信息发送给AR眼睛，将弹幕信息显示在终端上方，并将显示的信息在终端视频画面上隐藏。由此看出本发明避免了弹幕信息在视频画面上移动速度过快或者占据面积较大的情况，从而减少了弹幕信息对观看者的观看影响。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并于说明书一起用于解释本公开的原理。图1为本发明提供的一种基于弹幕的增强现实系统结构示意图；

图2为本发明提供的一种基于弹幕的增强现实方法流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。

请参考图1 ，图1为本发明提供的一种基于弹幕的增强现实系统结构示意图。

具体的，本实施例提供一种基于弹幕的增强现实系统，包括用于显示弹幕信息的终端1以及AR眼镜2，所述终端1包括弹幕信息发送模块3，用于在检测到与任意一弹幕信息对应的视频帧播放时，将该视频帧对应的弹幕信息发送给与终端1建立无线数据通信的AR眼镜2；所述AR眼镜2包括：现实影像摄取模块4，用于接收到弹幕信息后启用朝向终端的第一摄像头16摄取携带有终端画面的现实影像；虚拟信息投射模块5，用于将弹幕信息作为虚拟信息投射在终端1的上方进行显示。

作为本发明的一种优选方式，所述AR眼镜2还包括信息回传模块6，用于回传显示信息给所述终端1；所述终端1还包括弹幕信息隐藏模块7，用于根据显示信息控制与视频帧对应的弹幕信息进行隐藏。

作为本发明的一种优选方式，所述AR眼镜还包括：眼部影像摄取模块8，用于启用朝向用户的第二摄像头9摄取携带有用户眼部的影像；眨眼检测模块10，用于对用户眼部进行眨眼检测，并在检测到眨眼时判断眨眼频率是否达到预设频率。

作为本发明的一种优选方式，所述终端还包括弹幕信息分割模块11，用于将弹幕信息按照视频帧的播放时间节点进行分割，分割后的弹幕信息携带有对应视频帧的播放时间节点；

所述AR眼镜还包括：弹幕信息查找模块12，用于获取终端视频帧的播放时间节点，查找与播放时间节点对应的弹幕信息；投射子模块13，用于将弹幕信息按照对应的播放时间节点投射在终端的上方进行同步显示。

作为本发明的一种优选方式，所述终端还包括：弹幕信息获取模块14，用于获取视频帧播放时显示的弹幕信息；弹幕信息判断模块15，用于判断弹幕信息的移动速度是否超出预设速度和∕或判断弹幕信息在屏幕的占据面积是否超出预设面积。

具体的，首先所述终端1弹幕信息判断模块15对终端视频画面中的弹幕信息进行实时的监控，即实时的监控判断弹幕信息的移动速度或者弹幕信息在屏幕中的占据面积是否超出预设值。当弹幕信息的移动速度或者在屏幕中的占据面积超出预设值时，将超出预设值的一段时间内的弹幕信息使用AR眼镜2进行虚拟现实。其中对于弹幕信息的移动速度及其在屏幕中占据的面积判断，可以根据一段时间内，包含有弹幕信息的视频帧数量进行判断。例如，本实施中设定为1秒内包含有弹幕信息的视频帧数目量为20个，超过20即可认为屏幕中的弹幕信息移动速度或者占据面积超出预设值。

进一步的，弹幕信息判断模块15进行完判断后，弹幕信息获取模块14对所有超出预设值的时间内的弹幕信息进行获取。获取的方式即通过检测超出预设值的时间范围内的视频帧进行检测，检测到包含有弹幕信息的视频帧播放时，将该视频帧及对应的弹幕信息记录下来。例如，弹幕信息判断模块判断播放时间为1分30秒到2分内的弹幕信息移动速度或占据面积超出预设值，那么弹幕信息获取模块14将检测到的该时间内的任意一弹幕信息对应的视频帧播放时，将该视频帧、视频帧播放节点及相对应的弹幕信息记录下来。

另外，所述终端1包括的弹幕信息分割模块11，将获取的弹幕信息按照视频帧的播放时间节点进行分割，分割后的弹幕信息携带有对应的视频帧播放时间节点。

例如本实施例中，将获取的信息分割后的带有时间节点的视频帧信息，具体如下表所示：

视频帧 视频帧播放节点 弹幕信息

1 1分32秒 这个电影真好看！

2 1分40秒 女主角挺漂亮的啊！

3 1分44秒 我就是冲着男一号来的！

4 1分51秒 不好看，没劲！

进一步的，当弹幕信息分割模块11分割完弹幕信息及其相对应的视频帧后，将分割后形成的信息通过弹幕信息发送模块传送给AR眼镜2。AR眼镜2接收到上述信息后，在超出预设值的时间范围内，启用朝向终端的第一摄像头16摄取带有终端视频画面的现实影像。本实施例中第一摄像头16摄取终端画面采用扫描录像的方式。

进一步的，在第一摄像头16摄取终端视频画面的同时，AR眼镜2包含的弹幕信息查找模块12，根据摄取的终端画面现实影像的播放时间节点，找出对应的视频帧及对应的弹幕信息，并将其弹幕信息发送给虚拟信息投射模块5。在实际的实施过程中，弹幕信息查找模块12可以根据摄取的画面中现实的播放时间节点，作为判断终端播放节点的依据。

例如本实施里中，第一摄像头16摄取的终端画面中的现实影像中现实的播放时间节点为1分32秒，则弹幕信息查找模块将在视频帧中查找1分32秒对应的视频帧及对应的弹幕信息，即“这个电影真好看！”

进一步的，虚拟信息投射模块5将接收到的弹幕信息按照视频帧的播放节点进行实时的投射在摄取的终端画面上方进行显示。

例如，本实施例中，在视频帧播放到1分32秒时，第一摄像头16摄取的终端画面上方会有“这个电影真好看！”字样出现。

进一步的，在AR眼镜2对于该超出时间内的视频帧对应的弹幕信息进行虚拟显示的同时，通过信息回传模块6，将虚拟现实的弹幕信息对应的视频帧作为信号发送给终端1。所述终端1在接接收到该信号中的是视频帧信息后，利用弹幕信息隐藏模块，对该视频帧对应的弹幕信息进行隐藏。

例如视频帧1分32秒播放时该时间节点的视频帧对应的弹幕信息为“这个电影真好看！”，当这个弹幕信息被AR眼镜2虚拟显示后，AR眼镜的信息回传模块6，将1分32秒的视频帧作为反馈信息发送给终端1，终端1在视频播放至1分32秒时，利用弹幕信息隐藏模块7对该是视频帧对应的弹幕信息进行隐藏，从而不会在终端的视频画面上显示。

实施例二

请参考图1 ，图1 为本发明提供的一种基于弹幕的增强现实系统结构示意图。

具体的，实施例二所提供的一种基于弹幕的增强现实系统，与实施例一中所述大体类似，不同之处在于实施例二中，AR眼镜2更包括：眼部影像摄取模块8，用于启用朝向用户的第二摄像头摄取携带有用户眼部的影像；眨眼检测模块9，用于对用户眼部进行眨眼检测，并在检测到眨眼时判断眨眼频率是否达到预设频率。并依据眨眼频率是否超出预设值，对弹幕进行虚拟显示。即若达到，进行虚拟的显示，否则不进行虚拟显示。

具体的，即根据用户使用所述AR眼镜2阅读弹幕时，通过眼部摄像摄取模块8锁定用户的眼部映像，在锁定之后，利用眨眼检测模块9，对用户眼部进行实时的眨眼检测，并判断眨眼频率是否达到预设频率。最后依据眨眼频率是否超出预设值，对弹幕进行虚拟显示。即若达到，进行虚拟的显示，否则不进行虚拟显示。

实施例三

请参考图2，图2为本发明提供的一种基于弹幕的增强现实方法流程示意图。具体的，本实施例提供一种基于弹幕的增强现实方法，使用权利要求6所述的增强现实系统，所述方法包括以下步骤：

Step1、用于显示弹幕信息的终端在检测到与任意一弹幕信息对应的视频帧播放时，将该视频帧对应的弹幕信息发送给与终端建立无线数据通信的AR眼镜；

Step2、所述AR眼镜接收到弹幕信息后启用朝向终端的第一摄像头摄取携带有终端画面的现实影像，将弹幕信息作为虚拟信息投射在终端的上方进行显示。

作为本发明的一种优选方式，在将弹幕信息作为虚拟信息投射在终端的上方进行显示之后，还包括：

所述AR眼镜回传显示信息给所述终端；

所述终端根据显示信息控制与视频帧对应的弹幕信息进行隐藏。

作为本发明的一种优选方式，在弹幕信息作为虚拟信息投射在终端的上方进行显示之前，还包括：

所述AR眼镜启用朝向用户的第二摄像头摄取携带有用户眼部的影像；

对用户眼部进行眨眼检测，并在检测到眨眼时判断眨眼频率是否达到预设频率；

若达到，则继续执行步骤，否则将结束流程。

作为本发明的一种优选方式，在将该视频帧对应的弹幕信息发送给与终端建立无线数据通信的AR眼镜之前，还包括：

所述终端将弹幕信息按照视频帧的播放时间节点进行分割，分割后的弹幕信息携带有对应视频帧的播放时间节点；

将弹幕信息作为虚拟信息投射在终端的上方进行显示，包括：

所述AR眼镜获取终端视频帧的播放时间节点，查找与播放时间节点对应的弹幕信息；

将弹幕信息按照对应的播放时间节点投射在终端的上方进行同步显示

作为本发明的一种优选方式，在将该视频帧对应的弹幕信息发送给与终端建立无线数据通信的AR眼镜之前，还包括：

所述终端获取视频帧播放时显示的弹幕信息；

判断弹幕信息的移动速度是否超出预设速度和∕或判断弹幕信息在屏幕的占据面积是否超出预设面积；

若超出，则继续执行步骤，否则将结束流程。

应理解实施例三具体实现的过程可与实施例一、实施例二的描述相对应，此处不再详细描述。

上述实施例只为说明本发明的技术构思及特点，其目的是让熟悉该技术领域的技术人员能够了解本发明的内容并据以实施，并不能以此来限制本发明的保护范围。凡根据本发明精神实质所作出的等同变换或修饰，都应涵盖在本发明的保护范围之内。