一种车内增强现实娱乐的实现系统及方法与流程

1.本发明实施例涉及增强现实技术领域，尤其涉及一种车内增强现实娱乐的实现系统及方法。


背景技术：

2.随着汽车自动驾驶技术的不断发展，给车辆使用者提供了更多的空闲时间，车辆使用者对车载娱乐的需求也越来越高。
3.传统的车载娱乐系统仅具有娱乐播放功能或影音系统，功能单一，娱乐形式单调，不能满足人们的需求。


技术实现要素：

4.针对现有车载娱乐形式单调、功能单一的缺陷和不足，需要提供一种新型的车内娱乐系统以满足用户需求。在此，本发明提供了一种车辆内增强现实娱乐的实现系统及方法，以实现在汽车内进行增强现实(augmented reality，ar)的娱乐活动，丰富用户的车内娱乐活动，提升用户体验。
5.第一方面，本发明实施例提供了一种车辆内增强现实娱乐的实现系统，该车辆内增强现实娱乐的实现系统包括：三维外部模型获取装置，获取行驶中的车辆的外部环境的三维外部模型，并根据三维外部模型生成三维外部模型信号；动作信息获取装置，设置于车辆内部，获取用户的动作信息，并根据动作信息生成用户动作信号；娱乐内容生成装置，与三维外部模型获取装置及动作信息获取装置通讯连接，接收三维外部模型信号以及用户动作信号，且根据用户动作信号生成三维外部模型的互动信号，根据互动信号及三维外部模型信号生成增强现实内容的控制信号；娱乐内容展示装置，与娱乐内容生成装置通讯连接，接收控制信号，且根据控制信号展示增强现实内容。
6.进一步地，三维外部模型获取装置包括：图像获取模块，获取车辆外部环境的扫描图像并生成扫描图像信号；和三维外部模型获取模块，与图像获取模块通讯连接，接收扫描图像信号，且通过识别扫描图像信号生成外部环境的三维外部模型信号。
7.进一步地，图像获取模块包括摄像头、毫米波雷达或激光雷达中的至少一种。
8.进一步地，三维外部模型获取装置为自动驾驶系统和/或导航系统。
9.进一步地，增强现实内容包括射击类游戏、跑酷类游戏、赛车类游戏或冒险类游戏。
10.进一步地，娱乐内容展示装置为ar眼镜。
11.进一步地，在上述的车辆内增强现实娱乐的实现系统中，娱乐内容生成装置包括：风格转换模块，与三维外部模型获取装置通讯连接，接收三维外部模型信号，且根据三维外部模型信号将三维外部模型修改为设定风格的娱乐三维模型并生成娱乐三维模型信号；第一娱乐内容生成模块，与风格转换模块及动作信息获取装置通讯连接，接收用户动作信号及娱乐三维模型信号，且根据用户动作信号生成娱乐三维模型的互动信号，根据娱乐三维
模型信号及互动信号生成增强现实内容的控制信号。
12.进一步地，在上述的车辆内增强现实娱乐的实现系统中，娱乐内容生成装置还可以配置为包括：娱乐场景确定模块，与三维外部模型获取装置通讯连接，接收三维外部模型信号，且根据三维外部模型信号确定车辆外部环境的娱乐场景并生成娱乐场景信号；附加三维模型插入模块，娱乐场景确定模块通讯连接，接收娱乐场景信号，且根据娱乐场景信号确定与娱乐场景匹配的附加三维模型，将附加三维模型插入娱乐场景中并生成附加娱乐场景信号；和第二娱乐内容生成模块，与附加三维模型插入模块及动作信息获取装置通讯连接，接收附加娱乐场景信号，且根据用户动作信号生成娱乐场景的互动信号，根据附加娱乐场景信号及互动信号生成增强现实内容的控制信号。
13.进一步地，娱乐场景确定模块包括标识识别单元，与三维外部模型获取装置通讯连接，接收三维外部模型信号，且根据三维外部模型信号识别三维外部模型的标识信息并生成标识信号，其中，标识信息包括标志性建筑、地貌特征、天气特征、光照特点中的至少一种；和娱乐场景确定单元，与标识识别单元通讯连接，接收标识信号，且根据标识信号确定车辆外部环境的娱乐场景并生成娱乐场景信号。
14.进一步地，附加三维模型插入模块，根据附加三维模型的轮廓信息及关键点的限制信息，将附加三维模型插入娱乐场景中并生成附加娱乐场景信号。
15.进一步地，还包括烟雾处理模块，与附加三维模型插入模块通讯连接，接收附加娱乐场景信号，且采用烟雾效果处理娱乐场景并生成烟雾场景信号。
16.进一步地，上述的车辆内增强现实娱乐的实现系统中，娱乐内容生成装置还可以配置为包括：行驶路线获取模块，获取车辆的行驶路线并生成行驶路线信号；和第三娱乐内容生成模块，与行驶路线获取模块、三维外部模型获取装置及动作信息获取装置通讯连接，接收用户动作信号并根据用户动作信号生成三维外部模型的互动信号，且根据行驶路线信号、三维外部模型信号及互动信号生成增强现实内容的控制信号。
17.进一步地，第三娱乐内容生成模块包括移动路线确定单元，与行驶路线获取模块通讯连接，接收行驶路线信号，且根据行驶路线信号确定增强现实内容的移动路线并生成移动路线信号；移动娱乐场景确定单元，与移动路线确定单元及三维外部模型获取装置通讯连接，接收三维外部模型信号及移动路线信号，且根据三维外部模型信号及移动路线信号确定增强现实内容的移动娱乐场景并生成移动娱乐场景信号；用户信息确定单元，与动作信息获取装置通讯连接，接收用户动作信号，且根据用户动作信号确定用户的视角移动信息以及交互信息并生成用户视角信号和用户交互信号；和娱乐内容生成单元，与移动娱乐场景确定单元及用户信息确定单元通讯连接，根据用户视角信号以及用户交互信号生成移动娱乐场景的互动信号，且根据移动娱乐场景信号及互动信号生成增强现实内容的控制信号。
18.第二方面，本发明实施例还提供了一种车辆内增强现实娱乐的实现方法，该车辆内增强现实娱乐的实现方法包括：经由三维外部模型获取装置获取行驶中的车辆的外部环境的三维外部模型，并根据三维外部模型生成三维外部模型信号；经由动作信息获取装置获取用户的动作信息，并根据动作信息生成用户动作信号；经由娱乐内容生成装置根据用户动作信号生成三维外部模型的互动信号，且根据三维外部模型信号及互动信号生成增强现实内容的控制信号；经由娱乐内容展示装置根据控制信号展示增强现实内容。
19.进一步地，经由三维外部模型获取装置获取行驶中的车辆的外部环境的三维外部模型，并根据三维外部模型生成三维外部模型信号包括：经由图像获取模块获取车辆外部环境的扫描图像并生成扫描图像信号；经由三维外部模型获取模块通过识别扫描图像信号并生成外部环境的三维外部模型信号。
20.进一步地，经由三维外部模型获取模块取自动驾驶系统的车辆外部环境的扫描图像，包括：经由摄像头、毫米波雷达或激光雷达中的至少一种采集车辆外部环境的扫描图像。
21.进一步地，上述的车辆内增强现实娱乐的实现方法中，经由娱乐内容生成装置根据用户动作信号生成三维外部模型的互动信号，且根据三维外部模型信号及互动信号生成增强现实内容的控制信号，包括：经由风格转换模块根据三维外部模型信号将三维外部模型修改为设定风格的娱乐三维模型并生成娱乐三维模型信号；经由第一娱乐内容生成模块根据用户动作信号生成娱乐三维模型的互动信号，且根据娱乐三维模型信号及互动信号生成增强现实内容的控制信号。
22.进一步地，经由娱乐内容生成装置根据用户动作信号生成三维外部模型的互动信号，且根据三维外部模型信号及互动信号生成增强现实内容的控制信号，包括：经由娱乐场景确定模块根据三维外部模型信号确定车辆外部环境的娱乐场景并生成娱乐场景信号；经由附加三维模型插入模块根据娱乐场景信号确定与娱乐场景匹配的附加三维模型，将附加三维模型插入娱乐场景中并生成附加娱乐场景信号；经由第二娱乐内容生成模块根据用户动作信号生成娱乐场景的互动信号，且根据附加娱乐场景信号及互动信号生成增强现实内容的控制信号。
23.进一步地，经由娱乐场景确定模块根据三维外部模型信号确定车辆外部环境的娱乐场景并生成娱乐场景信号，包括：经由标识识别单元根据三维外部模型信号识别三维外部模型的标识信息并生成标识信号，其中，标识信息包括标志性建筑、地貌特征、天气特征、光照特点中的至少一种；经由娱乐场景确定单元，根据标识信号确定车辆外部环境的娱乐场景并生成娱乐场景信号。
24.进一步地，将附加三维模型插入娱乐场景中，包括：根据附加三维模型的轮廓信息及关键点的限制信息，将附加三维模型插入娱乐场景中。
25.进一步地，车辆内增强现实娱乐的实现方法，还包括：经由烟雾处理模块采用烟雾效果处理娱乐场景并生成烟雾场景信号。进一步地，车辆内增强现实娱乐的实现方法，还包括：经由风格修改模块根据娱乐场景信号将娱乐场景修改为设定风格的娱乐场景并生成风格场景信号。
26.进一步地，上述的车辆内增强现实娱乐的实现方法中，经由娱乐内容生成装置根据用户动作信号生成三维外部模型的互动信号，且根据三维外部模型信号及互动信号生成增强现实内容的控制信号，包括：经由行驶路线获取模块获取车辆的行驶路线并生成行驶路线信号；经由第三娱乐内容生成模块根据用户动作信号生成三维外部模型的互动信号，且根据行驶路线信号、三维外部模型信号及互动信号生成增强现实内容的控制信号。进一步地，经由第三娱乐内容生成模块根据用户动作信号生成三维外部模型的互动信号，且根据行驶路线信号、三维外部模型信号及互动信号生成增强现实内容的控制信号，包括：
27.经由移动路线确定单元根据行驶路线信号确定增强现实内容的移动路线并生成
移动路线信号；经由移动娱乐场景确定单元根据三维外部模型信号及移动路线信号确定增强现实内容的移动娱乐场景并生成移动娱乐场景信号；经由用户信息确定单元根据用户动作信号确定用户的视角移动信息以及交互信息并生成用户视角信号和用户交互信号；经由娱乐内容生成单元根据用户视角信号以及用户交互信号生成移动娱乐场景的互动信号，且根据移动娱乐场景信号及互动信号生成增强现实内容的控制信号。进一步地，在经由娱乐内容生成单元根据用户视角信号以及用户交互信号生成移动娱乐场景的互动信号，且根据移动娱乐场景信号及互动信号生成增强现实内容的控制信号之前，还包括：经由风格修改模块将移动娱乐场景转换为设定风格的移动娱乐场景并生成风格场景信号。
28.本发明实施例的技术方案，通过实时获取车辆的外部环境的三维模型以及车内用户的动作来进行增强现实的娱乐活动，使得娱乐活动的背景与车辆的移动的外部环境贴合，增强了用户娱乐活动的冲击感、真实感和互动感，提供了更丰富的车载娱乐活动，提升了用户体验。
附图说明
29.图1是本发明实施例一中的一种车辆内增强现实娱乐的实现系统的示意图；
30.图2是本发明实施例二中的一种车辆内增强现实娱乐的实现系统的示意图；
31.图3a是本发明实施例三中的一种车辆内增强现实娱乐的实现系统的示意图；
32.图3b是本发明实施例三中的一种动作捕捉的效果展示图；
33.图3c是本发明实施例三中的一种车辆内增强现实娱乐的实现系统的效果展示图；
34.图3d是本发明实施例三中的一种车辆内增强现实娱乐的实现系统的效果展示图；
35.图3e是本发明实施例三中的一种车辆内增强现实娱乐的实现系统的示意图；
36.图4a是本发明实施例四中的一种车辆内增强现实娱乐的实现方法的流程图；
37.图4b是本发明实施例四中的一种车辆内增强现实娱乐的实现方法的流程图。
具体实施方式
38.下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
39.实施例一
40.图1为本发明实施例一提供的一种车辆内增强现实娱乐的实现系统的示意图，该实现系统包括：三维外部模型获取装置110、动作信息获取装置120、娱乐内容生成装置130以及娱乐内容展示装置140。其中，三维外部模型获取装置110，获取车辆的外部环境的三维外部模型，并根据三维外部模型生成三维外部模型信号；动作信息获取装置120，设置于车辆内部，获取用户的动作信息，并根据动作信息生成用户动作信号；娱乐内容生成装置130，与三维外部模型获取装置110及动作信息获取装置120通讯连接，接收三维外部模型信号以及用户动作信号，且根据用户动作信号生成三维外部模型的互动信号，根据互动信号及三维外部模型信号生成增强现实内容的控制信号；娱乐内容展示装置140，根据控制信号展示增强现实内容。
41.可选的，三维外部模型获取装置110包括图像获取模块111和三维外部模型获取模
块112；其中，图像获取模块111，获取车辆外部环境的扫描图像并生成扫描图像信号；三维外部模型获取模块112，与图像获取模块111通讯连接，接收扫描图像信号，且通过识别扫描图像信号生成外部环境的三维外部模型信号。可选的，娱乐内容生成装置130包括风格转换模块131和第一娱乐内容生成模块132；其中，风格转换模块131，与三维外部模型获取装置110通讯连接，接收三维外部模型信号，且根据三维外部模型信号将三维外部模型修改为设定风格的娱乐三维模型并生成娱乐三维模型信号；第一娱乐内容生成模块132，与风格转换模块131及动作信息获取装置120通讯连接，接收用户动作信号及娱乐三维模型信号，且根据用户动作信号生成娱乐三维模型的互动信号，根据娱乐三维模型信号及互动信号生成增强现实内容的控制信号。
42.示例性的，车辆的状态可以是行驶中的状态，如自动驾驶状态。三维外部模型获取装置110可以是自动驾驶系统和/或导航系统图，图像获取模块111包括摄像头、毫米波雷达或激光雷达等中的至少一种。增强现实内容包括射击类游戏、跑酷类游戏、赛车类游戏或冒险类游戏等。动作信息获取装置120可以是车辆内置的摄像头或相机。娱乐内容生成装置130可以集成于车辆的车载娱乐系统中，也可以是单独装置。娱乐内容展示装置140为穿戴式ar设备，如ar眼镜。
43.具体的，车辆外部模型获取装置110或三维外部模型获取模块112的形式可以是一种车载计算机系统，也可以是自动驾驶系统，也可以是自动驾驶系统和导航系统。主要由人工智能、视觉计算、雷达、监控装置、定位系统以及各种传感器、控制器和执行器组成。其中，雷达的数量可以是4个或者更多，具体分布可以是车辆前方3个、后方1个，主要用于测量汽车前后左右各个物体间的距离。本发明实施例对车辆外部模型获取装置110及三维外部模型获取模块112的构成和分布不进行限定。示例性的，动作信息获取装置120的数量可以是1个、2个、4个或者更多，可以由人为设定，也可是默认设置。动作信息获取装置120可以是相机或者摄像装置，可以设置于车辆的与座位对应的各个车顶的中心处，用于实时拍摄用户的动作，还可以用于记录用户的语音信息。可选的，娱乐内容生成装置130或第一娱乐内容生成模块132可以集成于车辆的车载娱乐系统中，也可以单独设置。在车辆外部模型获取装置110获取的车辆外部的真实环境的基础上，结合虚拟画面进行增强现实内容的展示，再根据动作信息获取装置120拍摄的用户的动作信息，基于如特征识别、动作捕获等算法进行增强现实内容的互动，从而实现增强现实的娱乐活动。可选的，娱乐内容展示装置140可以基于有线或者无线的方式获取娱乐内容生成装置130的控制信号，如wifi、蓝牙等。
44.示例性的，风格转换模块131可以集成于娱乐内容生成装置130或第一娱乐内容生成模块132之中，可根据用户提前设置的风格进行风格转换，也可以是风格转换模块131根据受欢迎程度选择设定风格，或者是基于深度学习来确定设定风格。可以通过为三维外部模型或三维外部环境的各个元素添加设定风格的皮肤、挂件、涂鸦等来完成，其中，各个元素主要包括建筑、人物和其他物体等。也可通过修改真实环境的元素的轮廓来实现。通过修改外部环境的风格，能够提供更符合用户需求的娱乐场景，提高娱乐活动的趣味性。
45.需要说明的是，本发明任意实施例所说的通讯连接包括电连接或无线连接，如车载can(controller area network，控制器局域网)连接、以太网络连接、蓝牙连接或者wifi连接。
46.本发明实施例的技术方案，通过实时获取行驶车辆的外部环境的三维模型以及车
内用户的动作来进行增强现实的娱乐活动，使得娱乐活动的背景与行驶车辆的移动的外部环境贴合，增强了用户娱乐活动的冲击感、真实感和互动感，提供了更丰富的车载娱乐活动，提升了用户体验。
47.实施例二
48.图2为本发明实施例二提供的一种车辆内增强现实娱乐的实现系统的示意图，本实施例是对实施例一的进一步细化和补充，该实现系统还包括：场景确定模块、附加三维模型插入模块和烟雾处理模块。
49.如图2所示，该系统包括：三维外部模型获取装置210、动作信息获取装置220、娱乐场景确定模块230、附加三维模型插入模块240、烟雾处理模块250、第二娱乐内容生成模块260和娱乐内容展示装置270。其中，三维外部模型获取装置210，获取行驶中的车辆的外部环境的三维外部模型，并根据三维外部模型生成三维外部模型信号；；动作信息获取装置220，设置于车辆内部，获取用户的动作信息，并根据动作信息生成用户动作信号；娱乐场景确定模块230，与三维外部模型获取装置110通讯连接，接收三维外部模型信号，且根据三维外部模型信号确定车辆外部环境的娱乐场景并生成娱乐场景信号；附加三维模型插入模块240，与娱乐场景确定模块230通讯连接，接收娱乐场景信号，且根据娱乐场景信号确定与娱乐场景匹配的附加三维模型，将附加三维模型插入娱乐场景中并生成附加娱乐场景信号；烟雾处理模块250，与附加三维模型插入模块240通讯连接，接收附加娱乐场景信号，且采用烟雾效果处理娱乐场景并生成烟雾场景信号；第二娱乐内容生成模块260，与烟雾处理模块250及动作信息获取装置220通讯连接，接收烟雾场景信号，且根据用户动作信号生成娱乐场景的互动信号，根据烟雾场景信号及互动信号生成增强现实内容的控制信号；娱乐内容展示装置270，与第二娱乐内容生成模块260通讯连接，接收控制信号，且根据控制信号展示所述增强现实内容。
50.进一步的，娱乐场景确定模块260可以包括各种图像识别装置和传感器，还可以结合导航系统输出的位置信息及云端存储的各个标识确定娱乐场景。可选的，娱乐场景确定模块260包括标识识别单元261，与三维外部模型获取装置110通讯连接，接收三维外部模型信号，且根据三维外部模型信号识别三维外部模型的标识信息并生成标识信号，其中，标识信息包括标志性建筑、地貌特征、天气特征、光照特点中的至少一种；和娱乐场景确定单元262，与标识识别单元261通讯连接，接收标识信号，且根据标识信号确定车辆外部环境的娱乐场景并生成娱乐场景信号。其中，标识识别单元261可以是智能识别模块，通过智能算法确定娱乐场景，如基于特征学习的自动识别算法，如颜色特征、纹理特征、形状特征，也可以是神经网络算法或深度学习算法等。本发明实施例对娱乐场景确定模块260和标识识别单元261的构成以及所采用的算法不进行限定。可选的，标识识别单元261，还可以根据识别的标识信息确定车辆外部环境的场景类型；相应的，娱乐场景确定单元262，则根据标识信息及场景类型确定车辆外部环境的娱乐场景。可选的，娱乐场景确定单元262，可以从预先设置的场景库中选取该场景类型下的，确定与标识信息匹配或者匹配度最高的场景为该车辆外部环境的娱乐场景。具体的，娱乐场景包括开阔的水域、草原、城市道路、乡村原野、雪景、商贸中心、高速公路、隧道、大雾天气、雨天以及夜景等。
51.可选的，附加三维模型插入模块240，还可以根据附加三维模型的轮廓信息及关键点的限制信息，将三维外部模型插入娱乐场景中。在确定娱乐场景之后，附加三维模型插入
模块240将获取的附加三维模型插入娱乐场景中，可根据附加三维模型的尺寸、体积以及外轮廓等信息确定附加三维模型的位置和大小比例的布局。具体的，可以选取娱乐场景中空间大于附加三维模型体积的设定位置插入模型。待插入的附加三维模型的个数可以是1个、2个、5个、10个或者更多，可根据所采集的外部环境或三维外部模型确定，也可以由车载娱乐系统的性能确定，或者由用户预先设定。进一步地，当存在多个附加三维模型，可以对附加三维模型进行优先级划分，优先插入优先级等级高的附加三维模型。进一步地，还可以为优先级属于设定范围的附加三维模型设置关键点，并为每一个关键点设置限制信息，如当附加三维模型为一头鹿，且鹿的优先级属于设定范围，即优先级较高时，分别为鹿的四肢、头部及尾部的中心设置关键点，并要求鹿的四肢应处于地面，那么，当将该鹿的三维模型插入娱乐场景时，应保证其四肢处于地面。示例性的，如娱乐场景为森林时，附加三维模型可以是动物、植物、精灵、独角兽、怪兽等，还可以是真实的树上的装饰；当娱乐场景为商贸中心时，附加三维模型可以是卡通人物、商场或建筑物的挂件、涂鸦等。通过在娱乐场景中添加附加三维模型，丰富了增强现实的内容，增加了内容的娱乐性和趣味性，为用户带来更好的娱乐体验。
52.可选的，烟雾处理模块250，可将附加三维模型与娱乐场景衔接的地方进行烟雾处理，以模糊细节，使得插入的三维外部模型各个元素与娱乐场景更匹配、贴合，提高娱乐活动的场景的视觉效果。
53.可选的，车辆内增强现实娱乐的实现系统，还包括：风格转换模块270，与娱乐场景确定模块230通讯连接，接收所述娱乐场景信号，并根据所述娱乐场景信号将所述娱乐场景修改为设定风格的娱乐场景并生成风格场景信号。
54.可选的，娱乐场景确定模块230、附加三维模型插入模块240、烟雾处理模块250、第二娱乐内容生成模块260和风格转换模块270可以是集成为一体并设置于车载娱乐系统中，或者设置于外部的计算机系统中；也可以是部分设置于计算机系统中，部分设置于车载娱乐系统中，如可以将娱乐场景确定模块230、外部模型插入模块240、烟雾处理模块250和风格转换模块270设置于车载娱乐系统中，将第二娱乐内容生成模块260设置于外部的计算机系统中。可选的，可以通过软件和/或硬件的方式实现娱乐场景确定模块230、外部模型插入模块240、烟雾处理模块250、第二娱乐内容生成模块260和风格转换模块270，本发明实施例对其具体的实现形式不进行限定。
55.本发明实施例的技术方案，通过确定车辆外部环境的娱乐场景，并将外部环境的三维模型采用烟雾处理插入该娱乐场景中，通过真实外部环境与虚拟场景的结合，增加附加三维模型，丰富了娱乐活动的内容，增强了娱乐活动的融入感和趣味性；通过烟雾处理模糊细节，使得插入模型后场景更为顺畅，提升了视觉效果。
56.实施例三
57.图3a为本发明实施例三提供的一种车辆内增强现实娱乐的实现系统的示意图，本实施例是对上述实施例的细化方案或者替换方案。如图3a所示，该系统包括：图像获取模块310、三维外部模型获取模块320、动作信息获取装置330、行驶路线获取模块340、移动路线确定单元350、移动娱乐场景确定单元360、用户信息确定单元370、娱乐内容生成单元380和娱乐内容展示装置390。其中，图像获取模块310，获取车辆外部环境的扫描图像并生成扫描图像信号；三维外部模型获取模块320，与图像获取模块310通讯连接，接收扫描图像信号，
且通过识别扫描图像信号生成所述外部环境的三维外部模型信号；动作信息获取装置330，设置于车辆内部，获取用户的动作信息，并根据所述动作信息生成用户动作信号；行驶路线获取模块340，获取车辆的行驶路线并生成行驶路线信号；移动路线确定单元350，与所述行驶路线获取模块340通讯连接，接收所述行驶路线信号，且根据所述行驶路线信号确定所述增强现实内容的移动路线并生成移动路线信号；移动娱乐场景确定单元360，与所述移动路线确定单元350及所述三维外部模型获取模块320通讯连接，接收所述三维外部模型信号及所述移动路线信号，且根据所述三维外部模型信号及所述移动路线信号确定所述增强现实内容的移动娱乐场景并生成移动娱乐场景信号；用户信息确定单元370，与所述动作信息获取装置330通讯连接，接收所述用户动作信号，且根据所述用户动作信号确定所述用户的视角移动信息以及交互信息并生成用户视角信号和用户交互信号；娱乐内容生成单元380，与所述移动娱乐场景确定单元360及所述用户信息确定单元370通讯连接，根据所述用户视角信号以及用户交互信号生成所述移动娱乐场景的互动信号，且根据所述移动娱乐场景信号及所述互动信号生成增强现实内容的控制信号；娱乐内容展示装置390，与娱乐内容生成单元通讯连接，接收控制信号，且根据所述控制信号展示所述增强现实内容。
58.可选的，行驶路线获取模块340，可以是导航系统或自动导航系统，如车辆内置的导航系统或者移动终端中的导航系统。通过车辆的导航系统，可以确定车辆的行驶路线。优选的，行驶路线获取模块340为自动导航系统，从而可以实时获取车辆的行驶路线和预判车辆的行驶路线。
59.可选的，移动路线确定单元350，便可以根据车辆的行驶路线确定增强显示内容的移动路线，或者确定娱乐场景的移动路线。进一步地，移动路线确定单元350，可以根据行驶路线，确定预设时间内的增强现实内容的移动路线，其中，预设时间可以是1s、2s、5s或者其他值，预设时间可以由移动路线确定单元350根据车辆当前的行驶速度或者一段时间内的平均速度来确定，可以是一个随行驶速度变化的量，也可以是一个固定的值，还可以是由用户设定的值，还可以是由车载娱乐系统的数据处理速度、内存、车辆行驶速度、路况以及用户设置来综合决定的。示例性的，当车辆行驶速度较快时，预设时间可以相对短一些，而当车辆即将拐弯时，预设时间则可以设置较长一些，以对前方的路况进行更为详细的判断，从而使得可以预加载更多的娱乐场景以供后续处理，保障了系统处理的效率，提高了系统的响应速度。
60.进一步地，移动娱乐场景确定单元360可以确定当前娱乐场景并生成当前娱乐场景信号，以及根据车辆行驶的路线确定设定时间或设定距离范围内的预判娱乐场景并生成预判娱乐场景信号，与此同时，移动娱乐场景信号便包括当前娱乐场景信号和预判娱乐场景信号。其中，预判娱乐场景指的是根据沿车辆行驶路线方向所采集的真实外部环境的娱乐场景。由于车辆的行驶速度较快，因此需要频繁地变化增强现实的展示内容或者投影画面，因此，需要在对车辆真实外部环境进行修改时，可以通过车辆的自动驾驶系统预先获取车辆的行驶路线，并根据自动驾驶系统中的雷达或摄像机采集车辆行驶路线方向的预期的场景范围，提前进行场景的处理。
61.进一步地，该系统，还包括：附加三维模型插入单元、烟雾处理单元和风格转换单元。其中，附加三维模型插入单元，与移动娱乐场景确定单元360通讯连接，接收移动娱乐场景信号，并根据移动娱乐场景信号确定与移动娱乐场景匹配的附加三维模型，并将附加三
维模型插入移动娱乐场景中生成附加场景信号；烟雾处理单元，与附加三维模型插入单元通讯连接，接收附加场景信号，并采用烟雾效果处理移动娱乐场景生成烟雾场景信号；风格转换单元，与烟雾处理单元通讯连接，接收烟雾场景信号，并将移动娱乐场景修改为设定风格的移动娱乐场景生成风格场景信号。上述附加三维模型插入单元、烟雾处理单元和风格转换单元的连接顺序可以任意修改，与之对应的信号传输方式也随之改变，仅需保障烟雾处理单元的连接顺序位于三维模型插入单元之后即可，如连接顺序可以是风格转换单元、附加三维模型插入单元和烟雾处理单元，也可以是附加三维模型插入单元、风格转换单元和烟雾处理单元。
62.具体的，图3b是本发明实施例三提供的一种动作捕捉的效果展示图，如图3b所示，用户信息确定单元370，根据动作信息获取装置330发送的用户动作信息，基于动作捕捉技术对用户动作信息的特征提取，从而生成用户交互信号。
63.图3c是本发明实施例三提供的一种车辆内增强现实娱乐的实现系统的效果展示图，如图3c所示，由于用户左眼和右眼视点不同，用户信息确定单元370，可进一步包括左眼信息确定子单元和右眼信息确定子单元，分别来确定用户左眼和右眼的视点，从而根据用户左眼和右眼的视点来确定用户的视角。后续的娱乐内容生成单元380可根据用户的视角确定娱乐场景的偏转角度，以生成更符合用户真实场景的增强现实场景，为用户带来真正的沉浸式体验。可选的，移动娱乐场景确定单元360、用户信息确定单元370和娱乐内容生成单元380可以集成设置于车辆的车载娱乐系统中，也可以是单独的计算机处理系统。
64.为了便于理解，进行如下效果解释。图3d是是本发明实施例三提供的一种车辆内增强现实娱乐的实现系统的效果展示图，如图3d所示，本发明所提供的车辆内增强现实娱乐的实现系统，相当于通过一个虚拟的摄像机来确定行驶中的车辆的移动的外部场景，可通过结合自动驾驶系统或导航系统来确定摄像机的移动路线，根据车辆的行驶速度确定摄像机的移动速度，再结合用户的视角确定摄像机的偏转角度，从而为用户提供与外部真实环境结合的增强现实的娱乐场景。
65.示例性的，图3e是本发明实施例三提供的一种车辆内增强现实娱乐的实现系统的示意图，如图3e所示，该系统包括摄像头301、激光雷达302、毫米波雷达303中至少一项，导航系统304，自动驾驶控制器305，车载娱乐系统306，车内摄像头307以及ar眼镜308。其中，摄像头301、激光雷达302、毫米波雷达303实时采集车辆外部环境的扫描图像，并将扫描图像传输至自动驾驶控制器305；导航系统304规划或者获取车辆的行驶路线，并将形式路线传输至自动驾驶控制器305；自动驾驶控制器305识别扫描图像并进行车辆外部环境的三维重建，即获取车辆的外部环境的三维外部环境，同时，根据车辆的行驶路线确定增强现实内容的移动路线；车内摄像头307，设置于车辆的内部，获取用户的动作信息，可以是每个座位的上方合适的位置处，如正上方、右上方或者左上方，其个数可以是1个、2个、5个甚至更多；车载娱乐系统306，其内部设置有多个控制单元或模块，可根据接收的三维外部环境、增强现实内容的移动路线以及用户的动作信息进行增强现实内容的控制信号的生成，具体的，根据三维外部模型及移动路线确定增强现实内容的移动娱乐场景，根据动作信息确定用户的视角移动信息以及互动信息，根据移动娱乐场景、视角移动信息及互动信息生成增强现实内容的控制信号；ar眼镜308，根据来自车载娱乐系统306的控制信号进行增强现实内容的展示，可以是通过wifi、蓝牙等技术进行控制信号的传输。
66.本发明实施例的技术方案，通过获取车辆的行驶路线并预先确定增强现实内容的移动娱乐场景，通过预先加载娱乐场景并进行处理，如插入附加模型、烟雾处理、风格转换等，提高了车辆内增强现实娱乐的实现系统的响应时间，优化了系统的性能，同时结合车辆的行驶状态以用户的视觉进行娱乐场景展示，增强了系统的互动性，提高了用户身临其境的感受，提高了用户体验。
67.实施例四
68.图4a是本发明实施例五提供的一种车辆内增强现实娱乐的实现方法的流程图，本实施例可适用于在车内进行娱乐活动的情况，车辆内增强现实娱乐的实现方法具体由车辆内增强现实娱乐的实现系统来实现，该系统可以通过软件和/或硬件的方式实现。
69.如图4a所示，本实施例的方法具体包括：
70.步骤410、经由三维外部模型获取装置获取行驶中的车辆的外部环境的三维外部模型，并根据所述三维外部模型生成三维外部模型信号。
71.步骤420、经由动作信息获取装置获取用户的动作信息，并根据所述动作信息生成用户动作信号。
72.步骤430、经由娱乐内容生成装置根据所述用户动作信号生成所述三维外部模型的互动信号，且根据所述三维外部模型信号及所述互动信号生成增强现实内容的控制信号。
73.步骤440、经由娱乐内容展示装置根据控制信号展示增强现实内容。
74.本发明实施例的技术方案，通过实时获取行驶车辆的外部环境的三维模型以及车内用户的动作来进行增强现实的娱乐活动，使得娱乐活动的背景与行驶车辆的移动的外部环境贴合，增强了用户娱乐活动的冲击感、真实感和互动感，提供了更丰富的车载娱乐活动，提升了用户体验。
75.可选的，经由三维外部模型获取装置获取行驶中的车辆的外部环境的三维外部模型，并根据所述三维外部模型生成三维外部模型信号，包括：经由图像获取模块获取自动驾驶系统采集的车辆外部环境的扫描图像并生成扫描图像信号；经由三维外部模型获取模块通过识别扫描图像信号并生成外部环境的三维外部环境信号。可选的，经由图像获取模块获取车辆外部环境的扫描图像，包括：经由摄像头、毫米波雷达或激光雷达中的至少一种采集所述车辆外部环境的扫描图像。
76.可选的，经由娱乐内容生成装置根据所述用户动作信号生成所述三维外部模型的互动信号，且根据所述三维外部模型信号及所述互动信号生成增强现实内容的控制信号，包括：经由风格转换模块根据所述三维外部模型信号将所述三维外部模型修改为设定风格的娱乐三维模型并生成娱乐三维模型信号；经由第一娱乐内容生成模块根据所述用户动作信号生成所述娱乐三维模型的互动信号，且根据所述娱乐三维模型信号及所述互动信号生成增强现实内容的控制信号。
77.可选的，经由娱乐内容生成装置根据所述用户动作信号生成所述三维外部模型的互动信号，且根据所述三维外部模型信号及所述互动信号生成增强现实内容的控制信，包括：经由娱乐场景确定模块根据所述三维外部模型信号确定所述车辆外部环境的娱乐场景并生成娱乐场景信号；经由附加三维模型插入模块根据所述娱乐场景信号确定与所述娱乐场景匹配的附加三维模型，将所述附加三维模型插入所述娱乐场景中并生成附加娱乐场景
信号；经由第二娱乐内容生成模块根据所述用户动作信号生成所述娱乐场景的互动信号，且根据所述附加娱乐场景信号及所述互动信号生成增强现实内容的控制信号。可选的，经由娱乐场景确定模块根据三维外部模型信号确定车辆外部环境的娱乐场景生成娱乐场景信号，包括：经由标识识别单元根据所述三维外部模型信号识别所述三维外部模型的标识信息并生成标识信号，其中，标识信息包括标志性建筑、地貌特征、天气特征、光照特点中的至少一种；经由娱乐场景确定单元根据标识信息确定车辆外部环境的娱乐场景。可选的，将附加三维模型插入娱乐场景中，包括：根据附加三维模型的轮廓信息及关键点的限制信息，将附加三维模型插入娱乐场景中。
78.可选的，经由娱乐内容生成装置根据所述用户动作信号生成所述三维外部模型的互动信号，且根据所述三维外部模型信号及所述互动信号生成增强现实内容的控制信号，包括：经由行驶路线获取模块获取车辆的行驶路线并生成行驶路线信号；经由第三娱乐内容生成模块根据所述用户动作信号生成所述三维外部模型的互动信号，且根据所述行驶路线信号、所述三维外部模型信号及所述互动信号生成增强现实内容的控制信号。可选的，经由第三娱乐内容生成模块根据所述用户动作信号生成所述三维外部模型的互动信号，且根据所述行驶路线信号、所述三维外部模型信号及所述互动信号生成增强现实内容的控制信号，包括：经由移动路线确定单元根据所述行驶路线信号确定所述增强现实内容的移动路线并生成移动路线信号；经由移动娱乐场景确定单元根据所述三维外部模型信号及所述移动路线信号确定所述增强现实内容的移动娱乐场景并生成移动娱乐场景信号；经由用户信息确定单元根据所述用户动作信号确定所述用户的视角移动信息以及交互信息并生成用户视角信号和用户交互信号；经由娱乐内容生成单元根据所述用户视角信号以及用户交互信号生成所述移动娱乐场景的互动信号，且根据所述移动娱乐场景信号及所述互动信号生成增强现实内容的控制信号。可选的，在经由娱乐内容生成单元根据所述用户视角信号以及用户交互信号生成所述移动娱乐场景的互动信号，且根据所述移动娱乐场景信号及所述互动信号生成增强现实内容的控制信号之前，还包括：经由附加三维模型插入模块选取与娱乐场景匹配的附加三维模型，并将附加三维模型插入娱乐场景中并生成附加场景信号。
79.可选的，车辆内增强现实娱乐的实现方法，还包括：经由烟雾处理模块采用烟雾效果处理娱乐场景并生成烟雾场景信号。
80.可选的，车辆内增强现实娱乐的实现方法，还包括：经由风格修改模块将娱乐场景修改为设定风格的娱乐场景并生成风格场景信号。
81.示例性的，图4b是本发明实施例四提供的一种车辆内增强现实娱乐的实现方法的流程图，如图4b所示，该方法主要分为五个阶段：阶段401、车外环境图像扫描和采集；阶段402、图像识别与三维重建；阶段403、自适应拟态模型重构；阶段404、智能场景选择与模型插入；阶段405、动作捕获与投影画面展示。其中，阶段401、车外环境图像扫描和采集，针对自动驾驶车辆，经由摄像头、毫米波雷达、激光雷达中至少一种进行车俩外部环境的图像的扫描和采集；阶段402、图像识别与三维重建，识别所采集的图像，并根据自动驾驶系统输出车辆外部环境相应的三维模型；阶段403、自适应拟态模型重构，对三维模型进行自适应重构，修改其显示风格，如为三维模型中的物体添加挂件等装饰或皮肤；阶段404、智能场景选择与模型插入，根据三维模型或扫描图像在场景库中搜索与之匹配的场景，并选取该场景对应的附加的模型进行插入，在插入附加模型时，可采用烟雾箱模糊细节；阶段405、动作捕
获与投影画面展示，基于ar技术的动作捕获技术，包括：捕获用户的视角信息，根据用户视角进行场景展示或移动，捕获用户的操作信息或控制信息，并根据该操作信息或控制信息进行增强现实内容的展示和互动。
82.本发明实施例所提供的车辆内增强现实娱乐的实现方法可由本发明任意实施例所提供的车辆内增强现实娱乐的实现系统执行，具备该系统相应的功能和有益效果。
83.值得注意的是，上述车辆内增强现实娱乐的实现系统的实施例中，所包括的各个装置、单元、子单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
84.注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。