图像生成系统、图像生成方法及程序与流程

本发明涉及图像生成系统、图像生成方法及程序。

背景技术：

已知一种铁道模拟器，其能够生成将拍摄到的实际空间的实景图像与假想空间的图像等所谓的电脑图形(cg)的图像进行合成的图像。作为这样的铁道模拟器的一个示例，在专利文献1中记载有一种铁道模拟器，其能够生成将拍摄到的从行驶中的电车的驾驶座看到的实际情景的实景动态图像数据与3维cg模型进行合成的合成图像。

在专利文献1所记载的技术中，根据从预先拍摄到的实景动态图像数据通过帧间追踪(interframetracking)指定的特征点的画面上的位置与特征点的3维信息中的假想视点的非距离信息计算出距离信息。然后，基于计算出的距离信息而生成由所生成的3维cg模型的图像与实景动态图像数据的再生影像合成的合成图像。

现有技术文献

专利文献

专利文献1：日本特开2008-15576号公报

技术实现要素：

发明所要解决的问题

然而，在专利文献1所记载的技术中，当生成合成图像时，由于必须执行特征点的画面上的位置的指定、距离信息的计算、基于距离信息的cg模型的图像的生成等各种运算处理，因此处理负荷较重。

本发明是鉴于上述课题提出的，其目的之一在于提供一种轻处理负荷，且能够生成由拍摄到的实际空间的实景图像与假想空间的图像合成的图像的图像生成系统、图像生成方法及程序。

用于解决问题的方案

本发明的图像生成系统包括：将由被设置在实际空间内移动的实际铁路车辆上的照相机所拍摄的实景图像与假想空间内的假想车辆位置相关联而进行存储的实景图像存储单元；根据使用者的操作，更新所述假想空间内的所述假想车辆位置的假想车辆位置更新单元；生成表示从与更新后的所述假想车辆位置相对应的所述假想空间内的视点的位置看到的所述假想空间的情形的假想空间图像的假想空间图像生成单元；从所述实景图像存储单元取得基于更新后的所述假想车辆位置而指定的1个或多个所述实景图像的实景图像取得单元；生成所生成的所述假想空间图像与所取得的1个或多个所述实景图像的合成图像的合成图像生成单元。

在本发明的一个方式中，所述实际图像存储单元将通过被设置在所述实际铁道车辆上的多个所述照相机分别拍摄到的多个所述实际图像的组合与所述假想车辆位置相关联存储；所述假想空间图像生成单元生成更新后的所述假想车辆位置所对应的、与任一所述照相机各自对应的所述假想空间内的多个的视点相关的、表示从该视点的位置看到的所述假想空间的情形的所述假想空间图像；所述实景图像取得单元从所述实景图像存储单元取得基于更新后的所述假想车辆位置而指定的1个或多个所述组合；所述合成图像生成单元生成：对于各个所述多个所述照相机，表示从对应于该照相机的所述视点位置看到的所述假想空间的情形的所述假想空间图像与取得的1个或多个所述组合中包含的、通过该照相机拍摄的1个或多个所述实景图像的合成图像。

在该方式中，也可以进一步包括：由驾驶员训练者进行模拟驾驶操作的驾驶员操作台；列车员训练者可以上下的模拟铁道车辆；与所述模拟铁道车辆相邻设置的模拟平台；被配置在所述驾驶员操作台的前方显示面板，其显示由位于所述实际铁道车辆的前方且朝向前方的所述照相机拍摄到的1个或多个实景图像与表示从对应于该照相机的所述视点位置看到的所述假想空间的情形的所述假想空间图像的合成图像；被配置在模拟平台的前方的显示面板，其显示由位于所述实际铁道车辆的侧方且朝向前方的所述照相机拍摄的1个或多个实景图像与表示从对应于该照相机的所述视点的位置看到的所述假想空间的情形的所述假想空间图像的合成图像。

或者，还可以进一步包括：列车员训练者可以上下的模拟铁道车辆；与所述模拟铁道车辆的侧面相邻设置的模拟平台；被设置在所述模拟铁道车辆的后方的显示面板，其显示由位于所述实际铁道车辆的后方且朝向后方的所述照相机拍摄的1个或多个实景图像与表示从对应于该照相机的所述视点的位置看到的所述假想空间的情况的所述假想空间图像的合成图像；被设置在所述模拟平台的前方的显示面板，其显示由位于所述实际铁道车辆的侧方且朝向前方的所述照相机拍摄的1个或多个实景图像与表示从对应于该照相机的所述视点的位置看到的所述假想空间的情形的所述假想空间图像的合成图像。

此外，在本发明的一个方式中，所述合成图像生成单元根据所述使用者的操作，以指定的时间间隔重复实行所述合成图像的生成。

此外，本发明的图像生成方法包括：根据使用者的操作来更新假想空间内的假想车辆位置的步骤；生成表示从与更新后的所述假想车辆位置相对应的所述假想空间内的视点的位置看到的所述假想空间的情形的假想空间图像的步骤；从将由被设置在实际空间内移动的实际铁道车辆上的照相机拍摄的实景图像与从所述假想空间内的所述假想车辆位置关联存储的实景图像存储单元，取得基于更新后的所述假想车辆位置而指定的1个或多个所述实景图像的步骤；生成所生成的所述假想空间图像与所取得的1个或多个所述实景图像的合成图像的步骤。

此外，本发明的程序使计算机执行以下步骤：根据使用者的操作来更新假想空间内的假想车辆位置的步骤；生成表示从与更新后的所述假想车辆位置相对应的所述假想空间内的视点的位置看到的所述假想空间的状况的假想空间图像的步骤；从将通过被设置在实际空间内移动的实际铁道车辆上的照相机拍摄的实景图像与从所述假想空间内的所述假想车辆位置关联而存储的实景图像存储单元取得基于更新后的所述假想车辆位置而指定的1个或多个所述实景图像的步骤；生成所生成的所述假想空间图像与所取得的1个或多个所述实景图像的合成图像的步骤。

附图说明

图1为示出本发明的一个实施方式的铁道模拟器系统的整体结构的一个示例的外观立体图。

图2为示出模拟铁道车辆和驾驶员操作台的结构的一个示例的图。

图3为示出实景图像管理数据的数据结构的一个示例的图。

图4为示出假想空间的一个示例的图。

图5为说明假想铁道车辆对象的位置及方向的指定的一个示例的说明图。

图6为示出在假想空间内，假想人物对象位于假想铁道车辆对象的前方的状况的一个示例的图。

图7a为示出前方假想空间图像的一个示例的图。

图7b为示出前方实景帧图像的一个示例的图。

图7c为示出前方合成图像的一个示例的图。

图8为示出在假想空间内，假想人物对象位于假想铁道车辆对象的右侧的状况的一个示例的图。

图9为示出前方合成图像的一个示例的图。

图10a为示出右侧方假想空间图像的一个示例的图。

图10b为示出右侧方实景帧图像的一个示例的图。

图10c为示出右侧方合成图像的一个示例的图。

图11为示出在假想空间内，假想人物对象位于假想铁道车辆对象的右侧的状况的一个示例的图。

图12a为示出右侧方假想空间图像的一个示例的图。

图12b为示出右侧方实景帧图像的一个示例的图。

图12c为示出右侧方合成图像的一个示例的图。

图13为示出在假想空间内，假想人物对象位于假想铁道车辆对象的后方的状况的一个示例的图。

图14a为示出后方假想空间图像的一个示例的图。

图14b为示出后方实景帧图像的一个示例的图。

图14c为示出后方合成图像的一个示例的图。

图15为示出本发明的一个实施方式的服务器的功能的一个示例的功能模块图。

图16为示出由本发明的一实施方式的服务器进行处理的流程的一个示例的流程图。

具体实施方式

以下，基于附图对本发明的一个实施方式进行详细地说明。

图1为示出本发明的一个实施方式的铁道模拟器系统1的整体结构的一个示例的外观立体图。

图1所例示的铁道模拟器系统1是用于列车员、驾驶员的业务训练的、模拟在实际空间内移动的实际铁道的车辆(实际铁道车辆)的系统。以下，将进行列车员的业务训练的人称为列车员训练者，将进行驾驶员的业务训练的人称为驾驶员训练者。另外，图1所例示的铁道模拟器系统1的用途并不限于列车员、驾驶员的业务训练。铁道模拟器系统1也可以用于例如列车员、驾驶员的模拟体验等。

如图1所示，在本实施方式的铁道模拟器系统1中，作为主要结构，包括模拟铁道车辆10、驾驶员操作台20、列车员教练台30和驾驶员教练台40。

模拟铁道车辆10模拟实际铁道车辆的后方的一部分。列车员训练者可以上下模拟铁道车辆10。在模拟铁道车辆10内设置有模拟列车员室11，且模拟列车员室11的后方设置有后方显示面板p1。

此外，邻接模拟铁道车辆10的左侧的侧面设置有左侧模拟平台12。并且，在左侧模拟平台12前方设置有左侧方显示面板p2。此外，邻接模拟铁道车辆10的右侧的侧面设置有右侧模拟平台13。并且，在右侧模拟平台13的前方设置有右侧方显示面板p3。

驾驶员操作台20模拟存在于实际铁道车辆的驾驶室的操作台。在驾驶员操作台20中，由驾驶员训练者进行模拟驾驶操作。在驾驶员操作台20上设置有包括例如手柄(lever)等的行驶指令部21。此外，驾驶员操作台20的前方设置有前方显示面板p4。

另外，各个模拟列车员室11及驾驶员操作台20也可以分别设置有用于使驾驶员训练者与列车员训练者彼此取得联络的语音通信器。

此外，模拟铁道车辆10与驾驶员操作台20不需要设置在相同的空间中，例如可以分别设置在由隔壁隔开的相邻的房间中。此外，模拟铁道车辆10与驾驶员操作台20也可以设置在彼此远离的地方。由此，即使在列车员训练者和驾驶员训练者相隔遥远的情况下，也可以相互合作地进行训练。

在列车员教练台30上由列车员教练来进行列车员训练者的监视等。列车员教练台30上设置多个显示面板等，且列车员教练能够通过确认这些显示面板来监视列车员训练者的训练状况。

在驾驶员教练台40上由驾驶员教练进行驾驶员训练者的监视等。驾驶员教练台40上设置多个显示面板等，且驾驶员教练能够通过确认这些显示面板来监视驾驶员训练者的训练状况。

图2为示出模拟铁道车辆10及驾驶员操作台20的结构的一个示例的图。如图2所示，本实施方式的模拟铁道车辆10包括服务器50。此外，本实施方式的驾驶员操作台20包括服务器52。

服务器50包括例如处理器50a、存储部50b以及通信部50c。处理器50a是根据例如安装于服务器50的程序进行动作的cpu等的程序控制装置。存储部50b是rom、ram等存储单元、硬盘驱动器等。存储部50b存储由处理器50a执行的程序等。通信部50c是用于在例如与服务器52之间收发数据的网络板等的通信接口。服务器50经由通信部50c在与服务器52之间进行信息的发送接收。

服务器52包括例如处理器52a、存储部52b以及通信部52c。处理器52a是根据例如安装于服务器52中的程序进行动作的cpu等的程序控制装置。存储部52b是rom、ram等存储单元、硬盘驱动器等。存储部52b存储由处理器52a执行的程序等。通信部52c是用于在例如与服务器50之间收发数据的网络板等的通信接口。服务器52经由通信部52c在与服务器50之间进行信息的发送接收。

在本实施方式中，实际铁道车辆在作为使用铁道模拟器系统1的训练对象的实际空间的铁道线路上行驶期间，预先通过该实际铁道车辆上设置的照相机拍摄用于训练的动态图像。

在此，例如，通过设置在实际铁道车辆上的4个照相机拍摄动态图像。以下，这4个照相机分别被称为后方实际照相机、左侧方实际照相机、右侧方实际照相机以及前方实际照相机。在此，后方实际照相机是例如位于实际铁道车辆的最后端的车辆后方且朝向后方的、从列车员室拍摄后方的照相机。此外，左侧方实际照相机是例如位于实际铁道车辆的最后端的车辆的列车员室的左侧方且朝向前方的、从列车员室的左侧方拍摄前方的照相机。此外，右侧方实际照相机是例如位于实际铁道车辆的最后端的车辆的列车员室的右侧方且朝向前方的、从列车员室的右侧方拍摄前方的照相机。此外，前方实际照相机是例如位于实际铁道车辆的前端的车辆的前方且朝向前方的，从驾驶座拍摄前方的照相机。

如上述那样通过设置在实际铁道车辆上的4个照相机拍摄动态图像时，分别生成包括多个帧图像的4个动态图像。以下，将由设置在实际铁道车辆上的照相机生成的动态图像称为实景动态图像。其中，例如将由后方实际照相机、左侧方实际照相机、右侧方实际照相机以及前方实际照相机分别生成的实景动态图像分别称为后方实景动态图像、左侧方实景动态图像、右侧方实景动态图像以及前方实景动态图像。

另外，在本实施方式中，后方实景动态图像、左侧方实景动态图像、右侧方实景动态图像以及前方实景动态图像在拍摄时刻上设为同步。并且，将在某时刻拍摄的后方实景动态图像的帧图像、左侧方实景动态图像的帧图像、右侧方实景动态图像的帧图像以及前方实景动态图像的帧图像设定为相同的帧编号。

此外在本实施方式中，预先指定作为在实景动态图像中包含的帧图像的实景图像的拍摄时刻的实际铁道车辆的位置。以下，将这样指定的实际铁道车辆的位置称为实际车辆位置。在此，例如，可以通过使用gps模块等，在进行实景动态图像中包含的各个帧图像的拍摄时指定在该帧图像的拍摄时刻的实际车辆位置。在此，例如，也可以指定前方实际照相机的位置、由多辆编成的实际铁道车辆的整体的中心的位置等代表实际铁道车辆的点的位置来作为实际车辆位置。

并且，在本实施方式中，通过实景图像管理数据(参照图3)来管理如上所述拍摄的实景动态图像、该实景动态图像的拍摄时刻中的实际车辆位置等。实景图像管理数据也可以存储在例如服务器50的存储部50b中。

图3为示出本实施方式的实景图像管理数据的数据结构的一个示例的图。如图3所示，实景图像管理数据包括实景图像设定id、后方实景帧图像、左侧方实景帧图像、右侧方实景帧图像、前方实景帧图像、实际车辆位置数据、假想车辆位置数据。实景图像管理数据是与实景动态图像中包含的1个帧图像对应的数据。因此，例如服务器50的存储部50b中存储有实景动态图像中包含的帧图像的数量(实景动态图像的帧数)的实景图像管理数据。

实景图像设定id是实景图像管理数据的识别信息。在此，例如，也可以将帧编号设定为实景图像设定id的值。

作为实景图像管理数据中包含的后方实景帧图像、左侧方实景帧图像、右侧方实景帧图像、前方实景帧图像，设定与该实景图像管理数据中包含的实景图像设定id相对应的帧图像的实景图像。在此，例如，将后方实景动态图像中包含的帧图像的实景图像设定为后方实景帧图像。此外，将左侧方实景动态图像中包含的帧图像的实景图像设定为左侧方实景帧图像。此外，将右侧方实景动态图像中包含的帧图像的实景图像设定为右侧方实景帧图像。此外，将前方实景动态图像中包含的帧图像的实景图像设定为前方实景帧图像。这样，本实施方式的实景图像管理数据可包含有多个实景图像的组合。

作为实景图像管理数据中包含的实际车辆位置数据的值，例如设定为表示与该实景图像管理数据相对应的帧图像的拍摄时刻的实际车辆位置的值。在此，如上所述，也可以将表示代表实际车辆的点的位置的值设定为实际车辆位置数据的值。此外，实际车辆位置数据的值也可以例如由纬度和经度的组合来表现。

作为实景图像管理数据中包含的假想车辆位置数据的值，设定为表示与该实景图像管理数据中包含的实际车辆位置数据所表示的的实际车辆位置相对应的、如图4所例示的假想空间60内的位置的值。以下，将与实际车辆位置相对应的假想空间60内的位置称为假想车辆位置。在此，假想车辆位置数据的值例如可以由x坐标值、y坐标值及z坐标值的组合来表现。

图4为示出本实施方式的假想空间60的一个示例的图。图4所示的假想空间60为3维假想空间。此外，如图4所示，在本实施方式的假想空间60中，配置作为与实际铁道车辆相对应的假想对象的、由多个多边形构成的假想铁道车辆对象62。在此，将本实施方式的假想铁道车辆对象62设定为透明不可见的假想对象。

在此，例如，在实际铁道车辆为6辆编成的情况下，在假想空间60中配置有相互连接的6个假想铁道车辆对象62(62a、62b、62c、62d、62e及62f)。假想铁道车辆对象62a与例如实际铁道车辆的前端的车辆相对应。此外，假想铁道车辆对象62b、假想铁道车辆对象62c、假想铁道车辆对象62d、假想铁道车辆对象62e分别与例如从实际铁道车辆前端开始的第2辆、第3辆、第4辆、第5辆的车辆相对应。此外，假想铁道车辆对象62f与例如实际铁道车辆的最后端的车辆相对应。

然后，在本实施方式中，如上所述，实际空间内的实际车辆位置与假想空间60内的假想车辆位置1对1地相对应。在此，在本实施方式中，预先在假想空间60中设定与拍摄实景动态图像时的实际空间内的实际铁道车辆的轨道相当的轨道。并且，在本实施方式中，如图5所示，基于假想车辆位置及该轨道来唯一地指定6个假想铁道车辆对象62的位置和方向。

图5是说明基于假想车辆位置及轨道的假想铁道车辆对象的位置和方向的指定的一个示例的说明图。在图5中，以双点划线来表示缓缓地向右弯曲的假想铁道车辆对象62的轨道。此外，在图5中，假想铁道车辆对象62沿该轨道在图5中由下向上行进。

在此，例如，将实际车辆位置设为前方实际照相机的位置。并且，将假想铁道车辆对象62a的前面的中心的位置a1设为假想车辆位置。在这种情况下，指定相对于假想铁道车辆对象62的行进方向位于位置a1的后方的、以位置a1为中心的半径长度为d的圆与轨道的交点的位置a2。同样地，指定相对于上述行进方向位于位置a2的后方的、以位置a2为中心的半径长度为d的圆与轨道的交点的位置a3。此外，指定相对于上述行进方向位于位置a3的后方的、以位置a3为中心的半径长度为d的圆与轨道的交点的位置a4。此外，指定相对于上述行进方向位于位置a4的后方的、以位置a4为中心的半径长度为d的圆与轨道的交点的位置a5。此外，指定相对于上述行进方向位于位置a5的后方的、以位置a5为中心的半径长度为d的圆与轨道的交点的位置a6。在此，对半径的长度d没有特别地限定，例如可以是1个假想铁道车辆对象62的长度，也可以是1个假想铁道车辆对象62的长度加上富余长度而成的长度。

然后，将假想铁道车辆对象62a配置在假想空间60中，使假想铁道车辆对象62a的前面的中心位于位置a1且该前面的法线方向为朝向位置a1中的轨道的切线方向b1。此外，将假想铁道车辆对象62b配置在假想空间60中，使假想铁道车辆对象62b的前面的中心位于位置a2且该前面的法线方向为朝向位置a2中的轨道的切线方向b2。此外，将假想铁道车辆对象62c配置在假想空间60中，使假想铁道车辆对象62c的前面的中心位于位置a3且该前面的法线方向为朝向位置a3中的轨道的切线方向b3。此外，将假想铁道车辆对象62d配置在假想空间60中，使假想铁道车辆对象62d的前面的中心位于位置a4且该前面的法线方向朝向位置a4中的轨道的切线方向b4。此外，将假想铁道车辆对象62e配置在假想空间60中，使假想铁道车辆对象62e的前面的中心位于位置a5且该前面的法线方向朝向位置a5中的轨道的切线方向b5。此外，将假想铁道车辆对象62a配置在假想空间60中，使假想铁道车辆对象62f的前面的中心位于位置a6且位置a6中的该前面的法线方向朝向轨道的切线方向b6。以此种方式，则可指定与假想车辆位置相对应的6个假想铁道车辆对象62的位置及方向。

此外，在假想空间60内设定与分别设置在实际铁道车辆上的照相机相对应的视点(假想照相机)64的位置及视点64中的视线的方向(视线方向66)。

图4示出有视点64a、视点64b、视点64c以及视点64d的位置。此外，在图4中还示出有作为视点64a中的视线方向的视线方向66a、作为视点64b中的视线方向的视线方向66b、作为视点64c中的视线方向的视线方向66c以及作为视点64d中的视线方向的视线方向66d。

图4所示的视点64a的位置、视点64b的位置、视点64c的位置、视点64d的假想空间60内的位置分别与后方实际照相机、左侧方实际照相机、右侧方实际照相机、前方实际照相机的实际空间内的位置相对应标记。此外，图4所示的视线方向66a、视线方向66b、视线方向66c以及视线方向66d分别与后方实际照相机、左侧方实际照相机、右侧方实际照相机、前方实际照相机的实际空间内的拍摄方向相对应。

因此，在本实施方式中，如图4所示，例如，将视点64a配置在假想铁道车辆对象62f的后方且视线方向66a成为朝向后方。此外，例如，将视点64b配置在假想铁道车辆对象62f的左侧方且视线方向66b成为朝向前方。此外，例如，将视点64c配置在假想铁道车辆对象62f的右侧方且视线方向66c成为朝向前方。此外，例如，将视点64d配置在假想铁道车辆对象62a的前方且视线方向66d成为朝向前方。

然后，在本实施方式中，例如，视点64a、视点64b及视点64c被固定在与假想铁道车辆对象62f的位置相对的位置。此外，视线方向66a、视线方向66b以及视线方向66c被固定在与假想铁道车辆对象62f方向相对的方向。此外，视点64d被固定在与假想铁道车辆对象62a的位置相对的位置。此外，视线方向66d被固定在与假想铁道车辆对象62a方向相对的方向。

此外，在本实施方式中，如上所述，基于假想车辆位置，6个假想铁道车辆对象62的位置及方向被唯一地指定。因此，如图5所示，视点64a的位置、视点64b的位置、视点64c的位置、视点64d的位置、视线方向66a、视线方向66b、视线方向66c以及视线方向66d也基于假想车辆位置(例如图5中的位置a1)而被唯一地指定。

另外，如后所述，在假想空间60中也可以配置由多个多边形构成的假想人物对象68(参照图6、图8、图11和图13)等假想铁道车辆对象62以外的假想对象。

在本实施方式中，在进行使用铁道模拟器系统1的训练期间，根据驾驶员训练者等使用者进行的对行驶指令部21的操作来改变铁道模拟器系统1中模拟的实际铁道车辆中的实际车辆位置。然后，根据该实际车辆位置的变化来改变假想车辆位置，且根据该假想车辆位置的变化来改变假想空间60内的假想铁道车辆对象62的位置及方向。另外，在本实施方式中，根据假想车辆位置的变化，假想铁道车辆对象62的位置及方向沿假想空间60中设定的轨道改变。

然后，在本实施方式中，在进行使用铁道模拟器系统1的训练期间，以预定的帧率(framerate)(例如以1/60秒间隔)生成4个帧图像的组合。然后，在生成的组合中包含的各个帧图像分别显示于后方显示面板p1、左侧方显示面板p2、右侧方显示面板p3及前方显示面板p4。由此，在本实施方式中，在进行训练的期间，以指定的帧率更新显示在后方显示面板p1、左侧方显示面板p2、右侧方显示面板p3及前方显示面板p4的帧图像。此外，在本实施方式中，在进行训练期间，后方显示面板p1、左侧方显示面板p2、右侧方显示面板p3以及前方显示面板p4分别显示动态图像。

在此，在本实施方式中，例如，在后方显示面板p1上显示将合成图像作为帧图像而包括的动态图像，该合成图像合成了后方实景帧图像与表示在假想空间60内从视点64a看到的视线方向66a的情形的假想空间图像。以下，将该假想空间图像称为后方假想空间图像，且将该合成图像称为后方合成图像。

此外，在左侧方显示面板p2上显示将合成图像作为帧图像而包括的动态图像，该合成图像合成了左侧方实景帧图像与表示在假想空间60内从视点64b看到的视线方向66b的情形的假想空间图像。以下，将该假想空间图像称为左侧方假想空间图像，且将该合成图像称为左侧方合成图像。

此外，在右侧方显示面板p3上显示将合成图像作为帧图像而包括的动态图像，该合成图像合成了右侧方实景帧图像与表示在假想空间60内从视点64c看到的视线方向66c的情形的假想空间图像。以下，将该假想空间图像称为右侧方假想空间图像，且将该合成图像称为右侧方合成图像。

此外，在前方显示面板p4上显示将合成图像作为帧图像而包括的动态图像，该合成图像合成了前方实景帧图像与表示在假想空间60内从视点64d看到的视线方向66d的情形的假想空间图像。以下，将该假想空间图像称为前方假想空间图像，且将该合成图像称为前方合成图像。

另外，本实施方式的假想空间图像为渲染了看到的假想空间60的情形的计算机图形(cg)的图像。

以下，参照图6～图10c对合成图像的生成的一个示例进行说明。

例如，在某时间点(时间点t1)，如图6所示，假想空间60内成为假想人物对象68位于假想铁道车辆对象62a的前方的状况。另外，在图6中，由双点划线表示假想铁道车辆对象62的轨道。在此，例如，在拍摄与图6所示的假想空间60相对应的实景动态图像时，实际铁道车辆在实际空间内缓缓进入1021弯曲轨道。在这种情况下，如图6所示，假想空间60内的假想铁道车辆对象62的轨道是缓缓向右弯曲的轨道。

然后，基于该状况中的假想车辆位置来指定视点64a的位置、视点64b的位置、视点64c的位置、视点64d的位置、视线方向66a、视线方向66b、视线方向66c以及视线方向66d。然后，基于指定的视点64的位置及视线方向66来生成后方假想空间图像、左侧方假想空间图像、右侧方假想空间图像及前方假想空间图像的组合。图7a示出在该状况中生成的前方假想空间图像70的一个示例。

然后，取得在该状况的假想车辆位置被设定为假想车辆位置数据的值的实景图像管理数据。然后，取得该实景图像管理数据中包含的后方实景帧图像、左侧方实景帧图像、右侧方实景帧图像及前方实景帧图像的组合。图7b示出在该状况下取得的组合中所包含的前方实景帧图像72的一个示例。

然后，通过合成所生成的后方假想空间图像与所取得的组合中包含的后方实景帧图像来生成后方合成图像。此外，通过合成所生成的左侧方假想空间图像与所取得的组合中包含的左侧方实景帧图像来生成左侧方合成图像。此外，通过合成所生成的右侧方假想空间图像与所取得的组合中包含的右侧方实景帧图像来生成右侧方合成图像。此外，通过合成所生成的前方假想空间图像与所取得的组合中包含的前方实景帧图像来生成前方合成图像。图7c示出通过合成图7a所示的前方假想空间图像70与图7b所示的前方实景帧图像72来生成前方合成图像74的一个示例。

另外，认为在该状况下的假想车辆位置被设定为假想车辆位置数据的值的实景图像管理数据是不存在的。在这种情况下，可以基于该状况下的假想车辆位置取得被指定的多个实景图像管理数据。然后，可以生成合成了对多个实景图像管理数据分别包含的实景图像进行了插补的图像与假想空间图像的合成图像。

例如，可以取得包含表示在该状况下的假想车辆位置的、分别沿上述轨道的前和后、最靠近该假想车辆位置的假想车辆位置数据的实景图像管理数据。然后，可以通过对以此种方式取得的2个实景图像管理数据中分别包含的后方实景帧图像进行插补的图像与所生成的后方假想空间图像进行合成来生成后方合成图像。此外，可以通过对所取得的2个实景图像管理数据中分别包含的左侧方实景帧图像进行插补的图像与所生成的左侧方假想空间图像进行合成来生成左侧方合成图像。此外，可以通过对所取得的2个实景图像管理数据中分别包含的右侧方实景帧图像进行插补的图像与所生成的右侧方假想空间图像进行合成来生成右侧方合成图像。此外，可以通过对所取得的2个实景图像管理数据中分别包含的前方实景帧图像进行插补的图像与所生成的前方假想空间图像进行合成来生成前方合成图像。

然后，将这样生成的后方合成图像、左侧方合成图像、右侧方合成图像及前方合成图像分别显示在后方显示面板p1、左侧方显示面板p2、右侧方显示面板p3以及前方显示面板p4上。

其后，在时间点t1之后的时间点t2，将假想铁道车辆对象62移动至图8所示的位置。在图8所示的状况下，假想人物对象68的假想空间60内的位置不发生变化，但由于假想铁道车辆对象62发生移动，因而假想人物对象68位于假想铁道车辆对象62f的右侧。

图9示出在时间点t2的状况下生成的前方合成图像76的一个示例。如图8所示，在时间点t2的状况下，假想人物对象68未进入视点64d的视野范围。因此，在图9所示的前方合成图像76中不包括假想人物对象68的图像。

图10a示出在时间点t2的状况下生成的右侧方假想空间图像78的一个示例。此外，图10b示出在时间点t2的状况下取得的组合中所包含的右侧方实景帧图像80的一个示例。在时间点t2的状况下，假想人物对象68进入视点64c的视野范围。因此，图10a所示的右侧方假想空间图像78包括假想人物对象68的图像。然后，通过将图10a所示的右侧方假想空间图像78与图10b所示的右侧方实景帧图像80进行合成来生成图10c所示的右侧方合成图像82。将如此种方式生成的右侧方合成图像82显示在右侧方显示面板p3上。

如上所述，在本实施方式中，可以使在时间点t1显示在前方显示面板p4的假想人物对象68的图像在时间点t2显示在右侧方显示面板p3而不显示在前方显示面板p4。

以下，参照图11～图14c对合成图像的生成另一示例进行说明。

例如，在某时间点(时间点t3)，如图11所示，成为在假想空间60内，假想人物对象68位于假想铁道车辆对象62e的右边的状况。另外，在图11中，由双点划线表示假想铁道车辆对象62的轨道。在此，例如，在拍摄与图11所示的假想空间60相对应的实景动态图像时，实际铁道车辆在实际空间内的缓缓向右弯曲的轨道上前进。在这种情况下，如图11所示，假想铁道车辆对象62的假想空间60内的轨道是缓缓向右弯曲的轨道。

图12a示出在时间点t3的状况下生成的右侧方假想空间图像84的一个示例。此外，图12b示出在时间点t3的状况下取得的组合中所包含的右侧方实景帧图像86的一个示例。如图11所示，在时间点t3的状况下，假想人物对象68进入视点64c的视野范围。因此，图12a所示的右侧方假想空间图像84就成为包含假想人物对象68的图像。然后，通过将图12a所示的右侧方假想空间图像84与图12b所示的右侧方实景帧图像86进行合成来生成图12c所示的右侧方合成图像88。将由此生成的右侧方合成图像88显示在右侧方显示面板p3上。

然后，在时间点t3之后的时间点t4，假想铁道车辆对象62移动至图13所示的位置。在图13所示的状况下，假想人物对象68的假想空间60内的位置没有随时间点t3发生变化，但由于假想铁道车辆对象62发生移动，因此假想人物对象68位于假想铁道车辆对象62f的后方。

图14a示出在时间点t4的状况下生成的后方假想空间图像90的一个示例。此外，图14b示出在时间点t4的状况下取得的组合中所包含的后方实景帧图像92的一个示例。在时间点t4的状况下，假想人物对象68未进入视点64c的视野范围，但假想人物对象68进入视点64a的视野范围。因此，图14a所示的后方假想空间图像90包括假想人物对象68的图像。然后，通过将图14a所示的后方假想空间图像90与图14b所示的后方实景帧图像92进行合成来生成图14c所示的后方合成图像94。将由此生成的后方合成图像94显示在后方显示面板p1上。

如上所述，在本实施方式中，能够使在时间点t3显示于右侧方显示面板p3的假想人物对象68的图像在时间点t4显示于后方显示面板p1而不显示于右侧方显示面板p3。

在本实施方式中，在生成合成图像时，不需要进行通过手动作业将cg重叠在实景图像上的作业。此外，在本实施方式中，在生成合成图像时，不需要进行通过实景图像的图像解析来确定配置计算机图形(cg)的位置的运算处理等负荷繁重的处理。因此，根据本实施方式，不需耗费工夫就可以较轻的处理负荷来生成由实际图像与假想空间图像合成的图像。

此外，在本实施方式中，通过将假想人物对象68等假想对象进行建模而配置于假想空间60，从而确定关于在多个显示面板上显示的全部图像的该假想对象的图像的配置。因此，根据本实施方式，能够容易地使包含由实景图像与假想空间图像合成的图像的动态图像以被相互整合的状态显示在多个显示面板上。

另外，由照相机所拍摄的实际空间的实景图像可以作为纹理映射在构成假想人物对象68的多边形的表面。通过如此方式能够生成更接近实景的合成图像。

以下，对本实施方式的服务器50的功能以及由本实施方式的服务器50执行的处理进行进一步地说明。

图15为示出本实施方式的服务器50中实装功能的一个示例的功能块图。另外，在本实施方式的服务器50中，不需要实装图15所示的全部功能，此外，也可以实装图15所示的功能以外的功能。

如图15所示，本实施方式的服务器50在功能上例如包括实景图像存储部100、假想空间数据存储部102、行驶信号接收部104、假想车辆位置更新部106、视点位置指定部108、假想空间图像生成部110、实景图像取得部112、合成图像生成部114、合成图像输出部116、合成图像发送部118。实景图像存储部100、假想空间数据存储部102主要实装存储部50b。行驶信号接收部104、合成图像发送部118主要实装通信部50c。假想车辆位置更新部106、视点位置指定部108、假想空间图像生成部110、实景图像取得部112、合成图像生成部114主要实装处理器50a。合成图像输出部116主要实装处理器50a、后方显示面板p1、左侧方显示面板p2、右侧方显示面板p3。其中，服务器50充当作为生成本实施方式的合成图像的铁道模拟器用图像生成系统的任务。

可以通过处理器50a执行安装于计算机的服务器50且包括与以上功能对应的指令的程序来实现以上功能。该程序可以经由例如光盘、磁盘、磁带、磁光盘、闪存等计算机可读的信息存储介质，或者经由互联网等而被供给至服务器50。

在本实施方式中，实景图像存储部100，例如，将由在实际空间内移动的实际铁道车辆上设置的照相机拍摄的实景图像与假想空间60内的假想车辆位置相关联而存储。在此，实景图像存储部100也可以将由设置在实际铁道车辆上的多个照相机分别拍摄的多个实景图像的组合与假想空间60内的假想车辆位置相关联而存储。例如，如上所述，实景图像存储部100也可以存储多个包括相同时刻拍摄的实景图像的组合的上述的实景图像管理数据。

在本实施方式中，假想空间数据存储部102例如存储表示假想空间60中的各假想对象的位置、方向的数据。此外，假想空间数据存储部102也可以存储表示假想对象的多边形的数据、映射至假想对象的纹理图像等。此外，假想空间数据存储部102也可以存储表示假想空间60内设定的轨道的数据。此外，假想空间数据存储部102也可以存储表示假想铁道车辆对象62相对于假想车辆位置的的位置及方向的数据。此外，假想空间数据存储部102也可以存储表示视点64a、视点64b及视点64c的相对于假想铁道车辆对象62f的位置的相对位置的数据。此外，假想空间数据存储部102也可以存储表示视线方向66a、视线方向66b以及视线方向66c的相对于假想铁道车辆对象62f的方向的相对方向的数据。此外，假想空间数据存储部102也可以存储表示视点64d的相对于假想铁道车辆对象62a的位置的相对位置的数据。此外，假想空间数据存储部102也可以存储表示视线方向66d的相对于假想铁道车辆对象62a方向的相对方向的数据。

在本实施方式中，行驶信号接收部104接收例如与对行驶指令部21的操作输入对应的行驶信号。在此，例如，行驶指令部21可以指定的取样率将行驶信号输出至服务器52，且服务器52可以将该行驶信号发送执服务器50。在此，相当于该取样率的时间间隔也可以与相当于上述帧率的时间间隔相同。

在本实施方式中，假想车辆位置更新部106，例如，根据使用者的操作来更新假想空间60内的假想车辆位置。在此，例如，假想车辆位置更新部106也可以根据与行驶信号接收部104接收的操作输入相对应的行驶信号来更新假想空间60内的假想车辆位置。

在本实施方式中，视点位置指定部108指定例如与更新后的假想车辆位置相对应的视点64的位置。在此，例如，视点位置指定部108可以基于由假想车辆位置更新部106更新后的假想车辆位置来指定假想铁道车辆对象62的位置及方向。并且，视点位置指定部108也可以基于所指定的假想铁道车辆对象62的位置及方向来指定视点64a的位置、视点64b的位置、视点64c的位置、视点64d的位置。此外，例如，视点位置指定部108也可以基于所指定的假想铁道车辆对象62的位置及方向来指定视线方向66a、视线方向66b、视线方向66c及视线方向66d。

在本实施方式中，假想空间图像生成部110生成例如生成表示从视点64的位置看到的假想空间60的情形的假想空间图像。例如，生成表示从与更新后的假想车辆位置相对应的视点64的位置看到的假想空间60的情形的假想空间图像。在此，例如，也可以如上述那样，生成后方假想空间图像、左侧方假想空间图像、右侧方假想空间图像及前方假想空间图像的组合。

在本实施方式中，实景图像取得部112例如从实景图像存储部100取得基于视点64的位置而指定的1个或多个实景图像。例如，从实景图像存储部100取得基于与更新后的假想车辆位置相对应的视点64的位置而指定的1个或多个实景图像。在此，例如，实景图像取得部112也可以以如上所述的方式从实景图像存储部100取得基于假想空间60内的假想车辆位置而指定的1个或多个实景图像管理数据。

在本实施方式中，合成图像生成部114例如生成由假想空间图像生成部110生成的假想空间图像与由实景图像取得部112取得的1个或多个实景图像的合成图像。例如，也可以生成表示从多个照相机各自对应的视点64的位置看到的假想空间60的情形的假想空间图像与取得的实景图像管理数据中包含的由该照相机拍摄的1个或多个实景图像的合成图像。在此，例如，如上所述，也可以生成后方合成图像、左侧方合成图像、右侧方合成图像及前方合成图像的组合。另外，如上所述，合成图像生成部114也可以生成对实景图像取得部112所取得的多个实景图像进行插补了的图像。并且，合成图像生成部114也可以生成由假想空间图像生成部110生成的假想空间图像与该插补了的图像的合成图像。

在本实施方式中，合成图像输出部116，例如，将合成图像生成部114生成的合成图像输出至显示面板。在此，例如，合成图像输出部116也可以将合成图像生成部114生成的后方合成图像输出至后方显示面板p1。此时，后方显示面板p1也可以显示该后方合成图像。此外，例如，合成图像输出部116也可以将合成图像生成部114生成的左侧方合成图像输出至左侧方显示面板p2。此时，左侧方显示面板p2也可以显示该左侧方合成图像。此外，例如，合成图像输出部116也可以将合成图像生成部114生成的右侧方合成图像输出至右侧方显示面板p3。此时，右侧方显示面板p3也可以显示该右侧方合成图像。

在本实施方式中，合成图像发送部118，例如，将合成图像生成部114生成的合成图像发送至服务器52。在此，合成图像发送部118也可以将合成图像生成部114生成的前方合成图像发送至服务器52。然后，接收了该前方合成图像的服务器52也可以将该前方合成图像输出至前方显示面板p4。此时，前方显示面板p4也可以显示该前方合成图像。

另外，在本实施方式中，例如，假想车辆位置更新部106可以基于配置在假想空间60中的假想人物对象68的位置与假想车辆位置来使假想人物对象68的位置或姿势发生变化。具体地，例如，可以控制假想人物对象68的位置或姿势以做出与车辆接触的人物的这样的动作。然后，假想空间图像生成部110可以生成包含位置或姿势像这样变化的假想人物对象68的图像的假想空间图像。

以下，参照图16所例示的流程图对本实施方式的服务器50中以指定的帧率反复进行处理的流程的一个示例进行说明。

首先，行驶信号接收部104从服务器52接收与对于行驶指令部21的操作输入对应的行驶信号(s101)。

然后，假想车辆位置更新部106基于在由s101所示的处理中接收到的行驶信号与之前的帧中的实际车辆位置及假想车辆位置来确定该帧中的实际车辆位置及假想车辆位置(s102)。

然后，视点位置指定部108基于由s102所示的处理确定的假想车辆位置来指定假想铁道车辆对象62的位置及方向(s103)。

然后，视点位置指定部108基于由s103所示的处理指定的假想铁道车辆对象62的位置及方向来指定视点64的位置及视线方向66(s104)。在此，例如，也可以指定视点64a的位置、视点64b的位置、视点64c的位置、视点64d的位置、视线方向66a、视线方向66b、视线方向66c以及视线方向66d。

然后，假想空间图像生成部110基于由s104所示的处理指定的视点64的位置及视线方向66来生成假想空间图像(s105)。在此，例如，如上所述，也可以生成后方假想空间图像、左侧方假想空间图像、右侧方假想空间图像及前方假想空间图像的组合。

然后，实景图像取得部112取得包括表示由s102所示的处理指定的假想车辆位置的假想车辆位置数据的1个或多个实景图像管理数据(s106)。

然后，合成图像生成部114基于由s106所示的处理取得的实景图像管理数据中包含的实际图像和由s105所示的处理生成的假想空间图像来生成合成图像(s107)。

在此，例如，如上所述，也可以基于由s106所示的处理取得的实景图像管理数据中所包含的后方实景帧图像和由s105所示的处理生成的后方假想空间图像来生成后方合成图像。此外，例如，也可以基于由s106所示的处理取得的实景图像管理数据中包含的左侧方实景帧图像和由s105所示的处理生成的左侧方假想空间图像来生成左侧方合成图像。此外，例如，也可以基于由s106所示的处理取得的实景图像管理数据中国包含的右侧方实景帧图像和由s105所示的处理生成的右侧方假想空间图像来生成右侧方合成图像。此外，例如，也可以基于由s106所示的处理取得的实景图像管理数据中包含的前方实景帧图像和由s105所示的处理生成的前方假想空间图像来生成前方合成图像。

然后，执行合成图像输出部116的合成图像的输出及合成图像发送部118的合成图像的发送(s108)。在此，例如，合成图像输出部116也可以将后方合成图像输出至后方显示面板p1，将左侧方合成图像输出至左侧方显示面板p2，将右侧方合成图像输出至右侧方显示面板p3。此时，如上所述，后方显示面板p1显示后方合成图像，左侧方显示面板p2显示左侧方合成图像，右侧方显示面板p3显示右侧方合成图像，前方显示面板p4显示前方合成图像。此外，合成图像发送部118也可以将前方合成图像发送至服务器52。并且，服务器52也可以将前方合成图像输出至前方显示面板p4。此时，如上所述，前方显示面板p4显示前方合成图像。然后返回至s101所示的处理。

由此，在本处理例中，以指定的帧率反复进行s101～s108所示的处理。这样，合成图像生成部114也可以按指定的时间间隔反复进行根据使用者的操作的合成图像的生成。

另外，本发明并不局限于上述实施方式。

例如，可以由服务器52实装图15所示的功能的一部分或全部。

此外，例如，图1所例示的铁道模拟器系统1也可以不包括服务器52。并且，此时，服务器50也可以将前方合成图像输出至前方显示面板p4。

此外，例如，图1所例示的铁道模拟器系统1也可以不包括服务器50。并且，此时，服务器52也可以实装图15所示的功能。并且，服务器52也可以将后方合成图像输出至后方显示面板p1，将左侧方合成图像输出至左侧方显示面板p2，将右侧方合成图像输出至右侧方显示面板p3。

此外，上述具体的文字列、数值及附图中的具体的文字列是示例，不局限于这些文字列、数值。