车辆的控制装置及程序的制作方法
【技术领域】
[0001] 本发明的实施方式涉及车辆的控制装置及程序。
【背景技术】
[0002] 以往，作为支援车辆停车的技术，存在有使用设置在车辆上的多个摄像头，将作为 车辆的周边环境拍摄的图像数据提供给驾驶员的技术。提出了向驾驶员提供时根据车辆举 动修正拍摄的图像数据的技术。此外，提出了为了容易识别周边环境而生成以俯瞰视点表 示出车辆周边的地面的俯视图像数据的技术。
[0003] 现有技术文献
[0004] 专利文献
[0005] 专利文献1 :日本特开2009-212703号公报
[0006] 专利文献2 :日本特开平9-52555号公报
[0007] 专利文献3 :日本特开2003-009141号公报
[0008] 专利文献4 :日本特开2003-244688号公报
【发明内容】
[0009] 发明要解决的课题
[0010] 但是，在现有技术中，例如因为仅在有驾驶员的指示的情况下修正图像数据，所以 出现无法实时修正这样的问题；或者因为使用车身高度传感器检测车辆的倾斜度，所以出 现在轮胎未接地等情况下无法以良好精度把握倾斜度、无法充分恰当地显示图像数据等的 问题。此外，在基于这样的图像数据的显示中，出现很难正确地把握车辆的周边状况等的问 题。
[0011] 用于解决课题的方法
[0012] 作为一个例子，本发明的实施方式的车辆的控制装置具有：获取部，获取拍摄图像 数据和车辆状态数据，所述拍摄图像数据是从设置在车辆上的用于拍摄该车辆的周边的拍 摄部输出的数据，所述车辆状态数据是从设置在该车辆上的车辆状态检测部输出的数据； 控制部，基于根据所述车辆状态数据计算出的所述车辆相对于水平方向而在左右方向上的 倾斜度，来旋转控制所述拍摄图像数据，所述水平方向是与重力方向垂直的水平面所包括 的方向；所述控制部，以使被拍摄在所述拍摄图像数据中的被摄体所包括的水平线与输出 目标的显示区域的横向的边大致平行的方式，进行旋转控制。因此，作为一个例子，起到容 易把握基于拍摄图像数据的车辆周边的状况的效果。
[0013] 此外，作为一个例子，在所述车辆的控制装置中，所述车辆状态检测部获取加速度 数据，所述加速度数据作为所述车辆状态数据，是由设置在所述车辆的加速度检测部输出 的；所述控制部，将与所述拍摄部用于拍摄的镜头的中心对应的所述拍摄图像数据的显示 区域内的位置坐标作为原点，根据侧倾角来旋转控制所述拍摄图像数据，所述侧倾角是根 据所述加速度数据求出的，用于表示围绕所述车辆的前后轴旋转的倾斜度。因此，作为一个 例子，起到容易地把握基于拍摄图像数据的车辆周边的状况的效果。此外，起到视觉上容易 识别高度差的效果。
[0014] 此外，作为一个例子，在所述车辆的控制装置中，所述控制部进一步进行所述拍摄 图像数据的放大处理或缩小处理。因此，作为一个例子，通过根据输出目标进行拍摄图像数 据的放大或缩小，起到视认性提高的效果。
[0015] 此外，作为一个例子，在所述车辆的控制装置中，所述控制部进一步针对所述拍摄 图像数据，使所述镜头中心对应的位置坐标从所述显示区域的中心移动。因此，作为一个例 子，通过根据输出目标进行拍摄图像数据的移动控制，起到视认性提高的效果。
[0016] 此外，作为一个例子，在所述车辆的控制装置中，所述控制部进一步使所述镜头中 心对应的位置坐标从所述显示区域的中心向所述显示区域内的上方移动。因此，作为一个 例子，因为主要显示拍摄图像数据所包括的水平线下方的区域，所以起到能够容易把握车 辆周边的状况的效果。
[0017] 此外，作为一个例子，在所述车辆的控制装置中，在显示有所述拍摄图像数据的显 示装置中，将表示出侧倾角与俯仰角其中至少一个的信息与所述拍摄图像数据一起显示， 所述侧倾角示出了围绕所述车辆的前后轴旋转的倾斜度，所述俯仰角示出了围绕所述车辆 的左右轴旋转的倾斜度。因此，作为一个例子，起到容易地把握车辆状态与车辆周边的状况 两者的效果。
[0018] 此外，作为一个例子，在所述车辆的控制装置中，所述获取部进一步获取示出所述 车辆是否已切换至越野用的模式的信息；所述控制部在所述车辆已切换至越野用的模式的 情况下，根据所述车辆状态数据旋转控制所述拍摄图像数据。因此，作为一个例子，在越野 用的模式中起到在视觉上容易识别车辆周边的状况的效果。
[0019] 此外，作为一个例子，在所述车辆的控制装置进一步具有生成部，其根据通过所述 控制部旋转控制后获得的所述拍摄图像数据，生成以俯瞰视点表示出所述车辆周边的地面 的俯视图像数据。因此，作为一个例子，因为通过参照旋转控制并水平化之后进行了视点变 更的俯视图像数据，能够以俯瞰的方式识别车辆周边，所以起到在视觉上容易识别车辆周 围的状况的效果。
[0020] 此外，作为一个例子，在本发明的实施方式的程序使计算机执行：获取步骤，获取 拍摄图像数据和车辆状态数据，所述拍摄图像数据是从设置在车辆上的用于拍摄该车辆的 周边的拍摄部输出的数据，所述车辆状态数据是从设置在该车辆上的车辆状态检测部输出 的数据；控制步骤，基于根据所述车辆状态数据计算出的所述车辆相对于水平方向而在左 右方向上的倾斜度，来旋转控制所述拍摄图像数据，所述水平方向是与重力方向垂直的水 平面所包括的方向；在所述控制步骤中，以使被拍摄在所述拍摄图像数据中的被摄体所包 括的水平线与输出目标的显示区域的横向的边大致平行的方式，进行旋转控制。因此，作为 一个例子，起到能够容易地把握基于拍摄图像数据的车辆周边的状况的效果。
[0021] 此外，作为一个例子，在所述程序进一步使所述计算机执行：生成步骤，其根据通 过所述控制步骤旋转控制后获得的所述拍摄图像数据，生成以俯瞰视点表示出所述车辆周 边的地面的俯视图像数据。作为一个例子，创建旋转控制并水平化之后进行了视点变更的 俯视图像数据。其结果是，因为能够以俯瞰的方式识别车辆的周边，所以起到在视觉上容易 识别车辆周围的状况的效果。
【附图说明】
[0022] 图1是示出实施方式的车辆的车室（车厢）的一部分在透视状态下的一个例子的 立体图。
[0023] 图2是示出实施方式的车辆的一个例子的俯视图（俯瞰图）。
[0024] 图3是示出实施方式的车辆的周边监视系统的一个例子的框图。
[0025] 图4是示出实施方式的加速度传感器的检测方向的一个例子的图。
[0026] 图5是示出在第一实施方式的周边监视EQJ (electronic control unit :电子控 制单元）内实现的周边监视部的结构的框图。
[0027] 图6是通过第一实施方式的拍摄部拍摄的拍摄图像数据的一个例子。
[0028] 图7是示出在将与镜头中心对应的位置坐标作为原点的情况下，表示出拍摄图像 数据的显示区域的二维正交坐标系的一个例子的图。
[0029] 图8是示出通过第一实施方式的旋转控制部进行了旋转修正后的拍摄图像数据 的一个例子的图。
[0030] 图9是示出了由第一实施方式的合成部合成后的图像数据的一个例子的图。
[0031] 图10是示出在第一实施方式的周边监视部中的面向显示装置的显示处理的顺序 的流程图。
[0032] 图11是示在出第二实施方式的周边监视ECU内实现的周边监视部的结构的框图。
[0033] 图12是示出第二实施方式的车辆越野行驶时该车辆驶上石头等的状况的例子的 图。
[0034] 图13是示出在将与镜头中心对应的位置坐标作为原点的情况下，表示出拍摄图 像数据的显示区域的二维正交坐标系的例子的图。
[0035] 图14是示出通过第二实施方式的移动量计算部计算出的光流的概念的图。
[0036] 图15是示出光流（optical flow)的平均值与车辆的移动量的关系的图。
[0037] 图16是示出因第二实施方式的车辆的倾斜导致的拍摄图像数据的变形与通过变 换部变换后的拍摄图像数据的显示范围的图。
[0038] 图17是示出通过第二实施方式的合成部合成后的俯视图像数据的例子的图。
[0039] 图18是示出在第二实施方式的俯视图像存储部存储的俯视图像数据的例子的 图。
[0040] 图19是示出第二实施方式的输出部输出的画面信息的例子的图。
[0041] 图20是示出在第二实施方式的周边监视部中的面向显示装置8的显示处理的顺 序的流程图。
[0042] 图21是示在出第三实施方式的周边监视ECU内实现的周边监视部的结构的框图。
[0043] 图22是不出第三实施方式的输出部输出的画面信息的例子的图。
【具体实施方式】
[0044] 在下面的多个实施方式中包括同样的结构要素。因此，下面对同样的结构要素附 上共同的附图标记。此外，省略重复的说明。
[0045]〈第一实施方式〉
[0046] 在实施方式中，例如，车辆1既可以是将内燃机（发动机，未图示）作为驱动源的 汽车（内燃机汽车），也可以是将电动机（马达，未图示）作为驱动源的汽车（电动汽车、燃 料电池汽车等），还可以是将这双方作为驱动源的汽车（混合动力汽车）。此外，车辆1既 能够搭载各种变速装置，又能够搭载驱动内燃机或电动机所需要的各种装置（系统、零件 等）。此外，能够以各种方式设定车辆1中涉及车轮3的驱动的装置的方式或数量、布局等。
[0047] 如图1所示，车体2构成了乘坐者（未图示）乘坐的车室2a。在车室2a内，在面 向作为乘坐者的驾驶员的座位2b的状态下，设置有转向部4、加速操作部5、制动操作部6、 变速操作部7等。作为一个例子，虽然在本实施方式中转向部4是从仪表盘（仪表面板） 突出的方向盘，加速操作部5是位于驾驶员脚下的加速踏板，制动操作部6是位于驾驶员脚 下的制动踏板，变速操作部7是从中央控制台突出的变速杆，但并不限于上述这些。
[0048] 此外，在车室2a内设置有显示装置8 (显示输出部）、声音输出装置9 (声音输出 部）。例如，显示装置 8 是IXD(liquid crystal display:液晶显示器）、0ELD(organic electroluminescent display:有机电致发光显示器）等。作为一个例子，声音输出装置 9是扬声器。此外，作为一个例子，在本实施方式中显示装置8被透明的操作输入部10 (例 如，触摸面板等）覆盖。乘坐者等能够通过操作输入部10来以视觉识别在显示装置8的显 示画面上显示的影像（图像）。此外，乘坐者等通过在与显示于显示装置8的显示画面的 影像（图像）对应的位置上使用手指等触摸、按压或移动操作输入部10来进行操作，能够 执行操作输入（指示输入）。此外，作为一个例子，在本实施方式中显示装置8、声音输出装 置9、操作输入部10等设置于监视装置11，所述监视装置11位于仪表盘的车宽方向（左右 方向）的中央部。监视装置11能够具有开