内容发布系统、内容发布方法、以及内容发布程序与流程

1.本发明披露涉及内容发布系统、内容发布方法、以及内容发布程序。


背景技术：

2.作为提供包含实拍图像和虚拟物体的内容图像的结构而广为人知。例如，专利文献1中，记载了图像处理系统，该图像处理系统包括现实世界图像取得单元、生成合成图像的图像处理单元和显示装置上显示合成图像的显示控制单元，具备现实世界图像取得方法—通过实体相机拍摄取得现实世界图像、以及图像生成方法—将现实世界图像与表现第1虚拟物体的虚拟图像合成生成合成图像，使得该第1虚拟物体看起来位于现实世界图像的背后、以及显示控制方法—将合成图像显示在显示装置上。现有技术文献专利文献
3.专利文献1：特开2012
‑
88777号公报


技术实现要素：

发明致力于解决的问题
4.希望进一步提高包括实拍图像及虚拟物体在内的内容图像的视觉效果。解决问题的方法
5.本发明披露涉及的内容发布系统，具备至少一个处理器。该至少一个处理器，基于显示实拍图像区域及第1虚拟物体的内容图像，确定其显示的空间中的最远区域，将第2虚拟物体置于最远区域，在用户终端将显示第2虚拟物所处空间的内容图像。发明效果
6.由本发明披露可知，可以提高包括实拍图像及虚拟物体在内的内容图像的视觉效果。
附图说明
7.图1表示实施例涉及的内容发布系统应用例示意图。图2表示实施例涉及的内容发布系统相关硬件构成的示例图。图3表示实施例涉及的内容发布系统相关的功能构成示例图。图4表示基于实拍图像的内容图像示例图。图5表示实施例涉及的内容发布系统的操作序列图。图6表示确定最远区域与及第2虚拟物体的配置示例图。图7表示随着时间经过内容图像变化的示例图。图8表示随着时间经过内容图像变化的其他示例图。图9表示随着时间经过内容图像变化的其他示例图。符号说明
1
ꢀꢀꢀꢀꢀꢀ
内容发布系统
ꢀꢀꢀꢀꢀ
10
ꢀꢀꢀꢀꢀ
服务器
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
11
ꢀꢀꢀꢀꢀ
接收部12
ꢀꢀꢀꢀꢀ
区域确定部
ꢀꢀꢀꢀꢀꢀꢀ
13
ꢀꢀꢀꢀꢀ
物体设定部
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
14
ꢀꢀꢀꢀꢀ
发送部20
ꢀꢀꢀꢀꢀ
用户终端
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
21
ꢀꢀꢀꢀꢀ
发布者终端
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
207
ꢀꢀꢀꢀ
摄像部211
ꢀꢀꢀꢀ
图像处理部
ꢀꢀꢀꢀꢀꢀꢀ
212
ꢀꢀꢀꢀ
发送部
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
22
ꢀꢀꢀꢀꢀ
观众终端221
ꢀꢀꢀꢀ
接收部
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
222
ꢀꢀꢀꢀ
显示控制部
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
300
ꢀꢀꢀꢀ
实拍图像400
ꢀꢀꢀꢀ
内容图像
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
500
ꢀꢀꢀꢀ
虚拟空间
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
501
ꢀꢀꢀꢀ
虚拟相机502
ꢀꢀꢀꢀ
最远区域
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
503
ꢀꢀꢀꢀ
虚拟横截面
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
p1
ꢀꢀꢀꢀꢀ
服务器程序p2
ꢀꢀꢀꢀꢀ
客户端程序
具体实施方式
8.接下来，参照附图对本发明披露涉及的实施例进行详细说明。此外，在附图说明中，相同或同等的要素附相同的符号，省略重复的说明。
9.(系统概要)实施例涉及的内容发布系统1，是将内容图像至少发布至一个用户终端20的计算机系统。内容图像是可通过人的视觉识别感知某些信息的图像。内容图像可以是动图(影像)，也可以是静态图。用户终端20，是指使用内容发布系统的人员，即用户所使用的计算机。发布是指经由通信网络或广播网络，将信息发送至用户的处理过程。在本发明披露中，发布可以包括广播的概念。内容发布系统1，生成显示内容图像的电子数据，即内容图像数据，并将该内容图像数据发送至用户终端。用户终端20接收并处理该内容图像数据，将内容图像显示在显示装置上。
10.图1为内容发布系统1的应用例示意图。本实施例中，内容发布系统1具备服务器10。服务器10，是将内容图像至少发布至一个用户终端20的计算机(内容发布服务器)。服务器10通过通信网络n连接多个用户终端20。图1显示了5台用户终端20，但实际用户终端20的数量并不受限制。通信网络n的构成亦不受限制。例如，通信网络n可以由互联网配置，也可以由局域网配置。如图1所示，用户终端20的种类不受限制。例如，用户终端20可以是智能手机(smart phone)、平板电脑终端、可佩戴式终端(例如，头戴式显示器(hmd)、智能眼镜smart glass等)、便携式个人电脑、手机等移动终端。或者，用户终端20也可以是台式个人电脑等固定型终端。
11.本发明披露，内容图像，是将实拍图像及虚拟物体组合后生成的图像。实拍图像为反映现实世界的图像，通过相机等摄影设备拍摄取得或者拍摄获得。当然，实拍图像反映的物体(在本发明披露中称为“现实物体”)是在现实世界中实际存在的物体。虚拟物体，在现实世界(更具体的来说，指实拍图像显示的区域)中实际上并不存在，仅仅是显示在计算机系统中的物体。虚拟物体，是使用与实拍图像不同的、独立存在的图像素材，通过二维或三维的计算机图像(cg)显示。虚拟物体的显示方法不做限定。例如，虚拟物体可以使用动画素材显示，也可以基于实拍图像，使其接近真实物体而显示。内容图像也可以称为显示现实物体及虚拟物体存在的虚拟空间的图像。虚拟空间是指计算机中的图像所显示的虚拟二维或三维空间。换一种角度，内容图像也可以看做是从虚拟空间内设定的虚拟相机的视角所看到的风景，由该风景显示出来的图像。虚拟相机设置于虚拟空间内，对应于观看到内容图像的用户的视线。
12.内容发布系统1，确定基于实拍图像区域和第1虚拟物体的内容图像其显示的空间最远区域(更具体来说，指内容图像显示的虚拟空间的最远区域)。实拍图像区域指实拍图像显示的区域。因此，现实物体位于实拍图像区域内。最远区域指虚拟空间内，从虚拟相机(换言之，观看内容图像的用户)的角度可以看到的最远位置的区域。内容发布系统1，将第2虚拟物体置于该最远区域。本发明公开，该处理也可以称为虚拟空间的编辑，放置了第2虚拟物体的虚拟空间也称为“编辑后的虚拟空间”。“放置物体”指将物体(例如第2虚拟物体)放置在预定的位置，包括物体位置变更的概念。内容发布系统1，将显示编辑后的虚拟空间的内容图像显示在1个以上的用户终端20上。因此，用户最终感知的内容图像，为包括实拍图像区域、第1虚拟物体、以及第2虚拟物体的图像。
13.内容发布系统1用于多种目的。例如，内容发布系统1可以用于某位用户向其他用户进行直播内容发布的服务。该服务也称为网络直播。即，内容发布系统1可以用于将发布者提供的内容影像实时地发布给观众。因此，内容图像可以是实时发布的直播内容的图像。或者，内容发布系统1，也可以用于向观众发布过去拍摄的内容影像，例如，在实时直播结束后的规定时间，可用于观看内容的录像回放中。内容发布系统1也可以用于发布静态图像。
14.内容图像上，可以显示虚拟空间内的用户分身—虚拟形象。虚拟形象为虚拟物体的一个示例。内容图像中包含的虚拟形象不做限制，例如，虚拟形象可以对应发布者，也可以对应于参与者—即与发布者一并参与内容、一并观看该内容的用户。参与者可以说是观众的一种。
15.本实施例为直播内容的发布，即内容影像的实时发布的示例。并且，发布者使用的用户终端20称为发布者终端21，观众使用的用户终端20称为观众终端22。
16.(系统的构成)图2为内容发布系统1相关的硬件构成的示例图。作为一个示例，服务器10包括处理器101、主存储部102、辅助存储部103以及通信部104作为硬件部件。
17.处理器101为运行操作系统及应用程序的运算装置。处理器的示例包括cpu(central processing unit)以及gpu(graphics processing unit)，但处理器101的类型不限于此。
18.主存储部102，是存储驱动服务器10运转的程序、存储从处理器101输出的运算结果等的装置。例如，主存储部102，可由rom(read only memory)及ram(random access memory)中至少一个存储器构成。
19.辅助存储部103，一般是比主存储部102可存储更多数据的装置。例如，辅助存储部103，是由硬盘、闪存等非易失性存储介质构成。辅助存储部103，存储服务器程序p1(使至少1台计算机作为服务器10运转)及各种数据。例如，辅助存储部103也可以存储虚拟物体及虚拟空间中至少一个部分的数据。本实施例中，将内容发布程序作为服务器程序p1进行安装。
20.通信部104，是通过通信网络n与其他计算机进行数据通信的装置。例如，通信部104由网卡或无线通信模块构成。
21.服务器10的各功能要素，从处理器101或主存储部102读入服务器程序p1，并执行该程序来实现。服务器程序p1，包含实现服务器10各功能要素的代码。处理器101按照服务器程序p1的指示运行通信部104，实现主存储部102或辅助存储部103的数据读取及写入。通过所述处理，实现服务器10的各功能要素。
22.服务器10可由一台或多台计算机构成。使用多台计算机时，通过网络互相连接多台计算机，逻辑上构成一个服务器10。
23.例如，用户终端20作为硬件的构成要素，具备处理器201、主存储部202、辅助存储部203、以及通信部204、输入接口205、输出接口206以及摄像部207。
24.处理器201，为运行操作系统及应用程序的运算装置。例如，处理器201，可以是cpu或者gpu，但处理器201的种类不限于此。
25.主存储部202，为存储运行用户终端20的程序、处理器201输出的运算结果等的存储装置。例如，主存储部202，由rom及ram中至少一个部分构成。
26.辅助存储部203，一般是比主存储部102可存储更多数据的装置。例如，辅助存储部203，是由硬盘、闪存等非易失性存储介质构成。辅助存储部203，存储使计算机作为用户终端20运转的客户端程序p2及各种数据。例如，辅助存储部203也可以存储虚拟物体及虚拟空间中至少一个部分的数据。
27.通信部204，是通过通信网络n与其他计算机进行数据通信的装置。例如，通信部204由网卡或无线通信模块构成。
28.输入接口205，是接收用户操作及动作数据的装置。例如，输入接口205，由键盘、操作键、定位设备、麦克风、传感器以及相机中的至少一种构成。键盘及操作键也可以显示在触摸屏上。对应输入接口205的种类不做限定，输入的数据也不做限定。例如，输入接口205也可以接收通过键盘、操作键或定位设备输入或选择的数据。或者，输入接口205也可以接收通过麦克风输入的声音数据。或者，输入接口205也可以将使用传感器或相机的动作捕捉功能所检测到的用户的非语言行动(例如，视线、姿势、表情等)的数据作为动作数据进行接收。
29.输出接口206，是输出由用户终端20处理后的数据的装置。例如，输出接口206，由显示器、触摸屏、hmd及扬声器中的至少一种构成。显示器、触摸屏、hmd等显示装置，将处理后的数据显示在屏幕上。扬声器输出处理后的声音数据所表现出的声音。
30.摄像部207，是拍摄反映现实世界的图像的装置，具体为照相机。摄像部207可以拍摄动图(影像)也可以拍摄静态图(照片)。拍摄动图时，摄像部207基于所设定的帧频对影像信号进行处理，获取作为动图的按照时间序列排列的一系列图像帧。摄像部207也可用作为输入接口205。
31.用户终端20的各功能要素，从处理器201或主存储部202读入客户端程序p2，并执行该程序来实现。客户端程序p2，包含实现用户终端20各功能要素的代码。处理器201按照客户端程序p2的指示运行通信部204、输入接口205、输出接口206以及摄像部207，对主存储部202或辅助存储部203的数据进行读取及写入。通过所述处理，实现用户终端20的各功能要素。
32.服务器程序p1及客户端程序p2中至少一个程序，可以通过固定存储在cd
‑
rom、dvd
‑
rom、半导体存储器等有形存储介质上的形式予以提供。或者，所述程序中至少一个程序，也可以通过通信网络作为载波叠加后的数据信号予以提供。所述程序可以分别提供，也可以一并提供。
33.图3表示内容发布系统1相关的功能构成的示例图。关于功能构成，将用户终端20分为发布者终端21及观众终端22，分别对其功能构成进行说明。
34.服务器10，作为功能要素，具备接收部11、区域确定部12、物体设定部13以及发送部14。接收部11，为从发布者终端21接收内容图像数据的功能要素。区域确定部12，为确定所述内容图像数据显示的虚拟空间(包括现实物体及第1虚拟物体的虚拟空间)中最远区域的功能要素。物体设定部13，为在所述虚拟空间的最远区域放置第2虚拟物体的功能要素。发送部14，为向发布者终端21发送显示放置了第2虚拟物体的虚拟空间的内容图像数据的功能要素。
35.发布者终端21，作为功能要素，具备图像处理部211及发送部212。图像处理部211，为基于摄像部207拍摄的实拍图像，生成内容图像数据的功能要素。发送部212，为将所述内容图像数据发送至服务器10的功能要素。
36.观众终端22，作为功能要素，具备接收部221及显示控制部222。接收部221，为从服务器10接收内容图像数据的功能要素。显示控制部222，为处理所述内容图像数据后，将内容图像显示在显示装置上的功能要素。
37.用户终端20，在某种情况下作为发布者终端21运行，在其他情况下，也可以作为观众终端22运行。因此，用户终端20也可以具备发布者终端21及观众终端22两者的功能要素。
38.(系统的操作)图4表示基于实拍图像的内容图像的示例图。实拍图像300可以是构成动图(影像)的其中一个图像帧，也可以是一张静止图像。对应实拍图像300，内容图像400也可以是图像帧或者静止图像。发布者在室外进行拍摄，发布者终端21的摄像部207生成实拍图像300。实拍图像300，反映出发布者301、建筑物302、塔303以及山304这四种现实存在的物体。发布者301在最前面的位置，建筑物302在发布者301的后面、塔303在建筑物302的后面、山304在塔303的后面。
39.内容图像400中，用虚拟形象401替换实拍图像300中的发布者301。所述内容图像400中，实拍图像区域为除去与发布者301对应的虚拟形象401外的部分。虚拟形象401为第1虚拟物体的一个示例。图4的示例中，内容发布系统1在内容图像400所显示的虚拟空间内，进一步放置第2虚拟物体的示例—月亮402，将显示编辑后的虚拟空间的内容图像400显示在观众终端22上。
40.添加第2虚拟物体前的内容图像400，可以由发布者终端21生成、也可以由服务器10生成。无论是哪一种情况，服务器10，将第2虚拟物体放置在显示实拍图像区域及第1虚拟物体的内容图像所表现出的虚拟空间的最远区域。然后，服务器10将显示编辑后的虚拟空间的内容图像400显示在观众终端22上。
41.在内容发布系统1操作的同时，对本实施例涉及的内容发布方法进行说明。图5表示内容发布系统1的操作处理流程s1的流程图。以下，以发布者及观众登录内容发布系统1，发布者可向观众发布内容为前提。并且，以下，对图像处理进行具体说明，而将省略由发布者终端21向观众终端22与图像一起发送的声音数据的详细说明。
42.步骤s11中，发布者终端21操作摄像部207进行拍摄。图像处理部211基于拍摄的实拍图像300，生成内容图像数据。内容图像数据的生成方法及数据结构不做限定。例如，图像处理部211的内容图像数据可以包括从摄像部207取得的实拍图像。或者，图像处理部211的内容图像数据可以包括反映在实拍图像上的发布者的动作数据。
43.可选地，图像处理部211也可以将第1虚拟物体相关数据至少设定为内容图像数据
的一部分。第1虚拟物体，可以包括代替实拍图像中的发布者而显示的虚拟形象(即，发布者对应的虚拟形象)。设定发布者对应的虚拟形象时，图像处理部211，基于实拍图像反映的该发布者的动作数据，设定该虚拟形象的动作，内容图像数据可以包括显示所述动作的动作数据。
44.可选地，图像处理部211基于实拍图像确定虚拟空间，并且将所述虚拟空间涉及的数据(虚拟空间数据)包括在内容图像数据中。虚拟空间数据，可以包括对应发布者终端21的位置对应的虚拟相机的位置。虚拟空间数据，可以包括虚拟相机的光轴方向(换言之，为z方向或进深方向)上的各物体位置相关信息。例如，虚拟空间数据，可以包括从虚拟相机起至各物体的距离(即进深)。使用深度相机构成摄像部207时，图像处理部211可取得所述深度相机测定的、到实拍图像内各现实物体的距离。或者，图像处理部211，可以通过使用机器学习等方法，解析实拍图像，计算出虚拟相机的光轴方向上各物体间的位置关系。或者，图像处理部211，也可以取得各第1虚拟物体设定的位置或者进深数据。
45.在步骤s12中，发布者终端21的发送部212，将内容图像数据发送至服务器10。服务器10中的接收部11接收所述内容图像数据。发送部212也将内容图像数据对应的声音数据发送至服务器10。
46.在步骤s13中，服务器10的区域确定部12，确定内容图像表现出的虚拟空间、即设置了现实物体及第1虚拟物体的虚拟空间。虚拟空间的确定或指定，可以包括对虚拟空间内的虚拟相机、1个以上的现实物体、以及1个以上的第1虚拟物体各自位置的确定处理、以及各现实物体及各第1虚拟物体尺寸的确定处理。从发布者终端21接收的内容图像数据的数据结构不做限定，与此对应，虚拟空间的确定方法也不做限定。内容图像数据包括虚拟空间数据时，区域确定部12也可以基于虚拟空间数据，确定虚拟空间。虚拟空间数据，不包括虚拟相机光轴方向上的各物体的位置信息时，区域确定部12，也可以基于内容图像数据，计算出各物体的位置或物体之间的位置关系。内容图像数据不包括虚拟空间数据时，区域确定部12，也可以通过使用机器学习等方法，解析实拍图像，确定虚拟空间。内容图像数据不包括第1虚拟物体相关信息时，区域确定部12，也可以取得内容图像所包含的第1虚拟物体，设定虚拟空间内各第1虚拟物体的位置。
47.在步骤s14中，区域确定部12确定所述虚拟空间中的最远区域。如上所述，最远区域为距离虚拟相机最远的位置所在的区域。所述最远区域，可以是比在虚拟空间中最远位置的物体(本披露中所述物体也称为“假定最远物体”)更远的区域。假定最远物体，在未放置第2虚拟物体的虚拟空间中，是距离虚拟相机最远位置的物体。例如，在处理图4所示的内容图像400时，区域确定部12，将比山304更远位置的区域确定为最远区域。即，区域确定部12将天空确定为最远区域。或者，最远区域可以是假定最远物体所在的位置。例如，在室内拍摄的实拍图像的背景，被不透明的墙壁所覆盖时，区域确定部12将所述墙壁的位置确定为最远区域。在室外拍摄的实拍图像的背景，被1个以上的物体覆盖，未反映出天空时，区域确定部12将假定最远物体的位置确定为最远区域。在室内拍摄的实拍图像的背景，包括窗户另一边的风景时，区域确定部12将所述窗口的另一边存在的假定最远物体的位置确定为最远区域，或者，将比该假定最远物体的位置更远的区域(例如天空)确定为最远区域。
48.区域确定部12，在位于实拍图像区域内的现实物体及第1虚拟物体中，将距离虚拟空间中虚拟相机最远位置的物体确定为假定最远物体。然后，区域确定部12基于假定最远
物体的位置，确定最远区域。确定假定最远物体的位置的方法不做限定。例如，区域确定部12，可以基于虚拟相机的光轴方向上的各物体的位置，确定假定最远物体及其位置。区域确定部12，也可以基于各物体的进深，确定假定最远物体及其位置。或者，区域确定部12，也可以通过图像解析，确定现实物体的轮廓(例如，地平线、山的山脊、建筑物的轮廓等)，基于所述轮廓确定假定最远物体及其位置。或者，区域确定部12，也可以通过使用机器学习进行图像解析的方法，进行内容图像解析，确定假定最远物体及其位置。
49.在步骤s15中，服务器10的物体设定部13取得第2虚拟物体。第2虚拟物体的取得方法不做限定。例如，物体设定部13可以从辅助存储部103中读取给定的第2虚拟物体，例如，也可以读取内容发布系统1的用户(发布者或观众)指定的第2虚拟物体。或者，物体设定部13也可以通过接收发布者终端21或观众终端22发送的第2虚拟物体的数据，取得第2虚拟物体。
50.第2虚拟物体可以表现为任意物体。第2虚拟物体可以与任意一个或多个第1虚拟物体不同，也可以与任意第1虚拟物体相同。第2虚拟物体，可以表现为现实世界中不存在的物体(例如，虚构的人物形象)，也可以是以现实世界中存在的自然物或人工物体(例如，星星、人、动物、植物、飞行器、汽车、建筑物)等为模板的物体。向多个观众终端22发布内容图像时，第2虚拟物体可以是向上述观众终端22发送的共同的物体，此时，多个观众可以看到相同的第2虚拟物体。物体设定部13也可以取得多个第2虚拟物体。
51.在步骤s16中，物体设定部13，决定第2虚拟物体在虚拟空间最远区域中的位置及尺寸。例如，物体设定部13，基于虚拟空间中各物体的位置及尺寸、以及内容图像上显示的各物体的位置及尺寸中至少一个的位置及尺寸，进行运算，决定第2虚拟物体的位置及尺寸。取得多个第2虚拟物体时，物体设定部13分别决定各个第2虚拟物体的位置及尺寸。
52.决定第2虚拟物体的位置及尺寸的方法均不做限定。例如，物体设定部13可以设定第2虚拟物体的位置及尺寸，使第2虚拟物体的一部分被内容图像上的其他物体(例如，假定最远物体)遮蔽。或者，物体设定部13也可以设定第2虚拟物体的位置及尺寸，使得在内容图像上可以看到第2虚拟物体的全貌。或者，物体设定部13也可以设定第2虚拟物体的位置及尺寸，使得在内容图像上，第2虚拟物体显示在假定最远物体的后面(背后)。
53.物体设定部13，为了强调第2虚拟物体在内容图像中的非现实感，可以对第2虚拟物体设较大的尺寸。例如，在图4所示的内容图像400中的月亮402，并非真实的现实世界中月亮的大小，而是有意的扩大显示。物体设定部13，也可以设定第2虚拟物体的尺寸，使得在内容图像上，第2虚拟物体比其他物体更大。例如，物体设定部13，也可以设定第2虚拟物体的尺寸，使得在内容图像上，第2虚拟物体比假定最远物体更大。或者，物体设定部13，也可以设定第2虚拟物体的尺寸，使得在内容图像上，第2虚拟物体比所有的现实物体及所有的第1虚拟物体更大。物体设定部13，也可以根据内容图像上各物体的最小外接矩形面积，决定第2虚拟物体及其他物体(假定最远物体、现实物体、以及第1虚拟物体)的尺寸大小关系。最小外接矩形，指物体外接的矩形中面积最小的矩形。
54.图6表示最远区域的确定及第2虚拟物体的放置示例图。该图显示的虚拟空间500，与图4所示的内容图像400对应，虚拟相机501的位置与发布者终端21的摄像部207相对应。虚拟空间500，靠近虚拟相机501的一侧，由近及远，分别有虚拟形象(发布者301)、建筑物302、塔303、以及山304。因此，山304为假定最远物体。所述虚拟空间500中的最远区域502，
为比山304更远的区域。更具体来说，最远区域502，比山304的位置对应的虚拟横截面503离虚拟相机501更远的区域。在图6的示例中，区域确定部12确定虚拟空间500的最远区域502，物体设定部13在所述最远区域502内，放置第2虚拟物体—月亮402。在图4的示例中，设定月亮402被山304(假定最远物体)遮挡，且月亮402的尺寸设定为比山304更大。
55.在步骤s17中，物体设定部13，生成显示放置了第2虚拟物体的虚拟空间的内容图像数据。物体设定部13，在已决定的虚拟空间内的最远区域的位置，按照决定的尺寸放置第2虚拟物体。存在多个第2虚拟物体时，物体设定部13，将第2虚拟物体分别放置在最远区域。内容图像数据的生成方法及数据结构不做限定。例如，物体设定部13，可以生成包括实拍图像，以及显示包含各物体在内的虚拟空间的虚拟空间数据的内容图像数据。此时，内容图像数据可以包括虚拟空间内各物体的位置及尺寸。或者，物体设定部13，可以通过基于实拍图像及虚拟空间内的各物体进行渲染，生成内容图像数据。此时，内容图像数据显示内容图像本身。物体设定部13，也可以在内容图像数据中，追加强调或明确第2虚拟物体在最远位置的视觉效果(例如，雾霭等使用空气远近法的表现)相关信息。
56.在步骤s18中，服务器10的发送部14，将显示所述虚拟空间的内容图像数据发送至观众终端22。在观众终端22，接收部221接收所述内容图像数据。发送部14将内容图像数据对应的声音数据也发送至观众终端22。
57.在步骤s19中，观众终端22的显示控制部222处理所述内容图像数据，将内容图像显示在显示装置上。未在服务器10进行渲染时，显示控制部222基于内容图像数据进行渲染，显示内容图像。内容图像数据显示内容图像本身时，显示控制部222则显示所述内容图像原貌。观众终端22，通过扬声器输出与显示的内容图像对应的声音。
58.向多个观众终端22提供直播内容时，在步骤s18中，发送部14分别向观众终端22发送内容图像数据，在步骤s19中，在各个观众终端22，显示控制部222显示内容图像。多个观众终端22可以显示相同的内容图像。即，多个观众终端22中，虚拟空间内的虚拟相机的位置可以相同。此时，多个观众看到相同的内容图像。或者，在多个观众终端22中，至少一部分观众终端可以与其他观众终端22显示的内容图像不同。即，多个观众终端22中，至少一部分观众终端中虚拟相机的位置可以与其他观众终端22不同。此时，多个观众分别在其各自的视点观看直播内容。
59.在直播内容等动图的发布中，重复实施处理流程s1。当然，随着拍摄的进行，实拍图像中的现实物体可以变化，实拍图像内的现实物体的位置、大小、以及方向中至少一个要素可以变化。无论如何，在至少一部分直播内容的时间区间内，各内容图像(即，各图像帧)包括放置在虚拟空间最远区域的第2虚拟物体。内容发布系统1，在考虑动图中第2虚拟物体的显示(换言之，随着时间经过第2虚拟物体的显示)基础上，在步骤s16中，可以决定如下所示的第2虚拟物体的位置。
60.例如，物体设定部13，可以决定虚拟空间最远区域中第2虚拟物体的位置，使第2虚拟物体跟随发布者终端21的摄像部207对应的虚拟相机。图7表示基于所述控制内容图像变化的示例图。图7的示例中，伴随着摄像部207追拍(panning)，实拍图像300中的各现实物体(发布者301、建筑物302、塔303、以及山304)的位置产生变化。但是，第2虚拟物体—月亮402的位置跟随虚拟相机的位置而决定，因此，内容图像400中的月亮402的位置不变。此时，虚拟空间中月亮402与其他现实物体的位置关系产生变化。
61.或者，物体设定部13，可以决定最远区域中第2虚拟物体的位置，使第2虚拟物体跟随现实物体。第2虚拟物体跟随的现实物体，例如，可以是假定最远物体。图8表示基于所述控制内容图像变化的示例图。图8的示例中，伴随着摄像部207追拍(panning)，实拍图像300中的各现实物体(发布者301、建筑物302、塔303、以及山304)的位置产生变化。月亮402的位置跟随假定最远物体—山304的位置而决定，因此，内容图像400中的月亮402的位置对应山304产生变化。此时，最终虚拟空间中月亮402与其他现实物体的位置关系不变。
62.或者，物体设定部13，可以决定最远区域中第2虚拟物体的位置，使第2虚拟物体跟随某个第1虚拟物体。第2虚拟物体跟随的第1虚拟物体，例如，可以是发布者对应的虚拟形象。图9表示基于所述控制内容图像变化的示例图。图9的示例中，对应发布者301向旁边移动，伴随着摄像部207追拍(panning)，实拍图像300中的发布者301与其他现实物体(建筑物302、塔303、以及山304)的位置产生变化。所述示例中，月亮402的位置跟随虚拟形象401的位置而决定，因此，内容图像400中的虚拟形象401与月亮402的位置关系不变。此时，虚拟空间中第2虚拟物体，与跟随的第1虚拟物体以外的物体之间的位置关系产生变化。
63.(效果)如上述说明所示，本发明披露涉及的内容发布系统，至少具备一个处理器。该至少一个处理器，确定显示实拍图像区域及第1虚拟物体的内容图像所表现的空间最远区域，将第2虚拟物体放置在最远区域，将表现放置了第2虚拟物体的空间的内容图像显示在用户终端上。
64.本发明披露涉及的内容发布方法，基于至少配备一个处理器的内容发布系统而实施。内容发布方法，包括确定显示实拍图像区域及第1虚拟物体的内容图像所表现的空间最远区域的步骤，将第2虚拟物体放置在最远区域的步骤，将表现放置了第2虚拟物体的空间的内容图像显示在用户终端上的步骤。
65.本发明披露涉及的内容发布程序，在计算机上实施确定显示实拍图像区域及第1虚拟物体的内容图像所表现的空间最远区域的步骤，将第2虚拟物体放置在最远区域的步骤，将表现放置了第2虚拟物体的空间的内容图像显示在用户终端上的步骤。
66.如上所述，已确定了包括实拍图像区域及第1虚拟物体在内的图像涉及的最远区域，并在该最远区域放置了第2虚拟物体。可通过在该最远区域追加第2虚拟物体提高内容图像的视觉效果。并且，通过加强该视觉效果，可以进一步提高内容图像的吸引力。
67.在上述专利文献1中，记载了游戏装置将通过摄像部取得的现实世界的图像(real word image)与表现虚拟空间的虚拟世界图像(vitual image)进行合成并显示的事宜。具体来说，虚拟空间分为距离虚拟相机较近的区域(临近区)及距离虚拟相机较远的区域(偏远区)，将显示临近区存在的虚拟物体的图像显示在现实世界图像的前面，将偏远区存在的虚拟物体显示在现实世界图像的后面。
68.但是，所述技术仅仅是将实拍图像与虚拟物体合成的方法，并非是在已显示实拍图像及虚拟物体的图像上，追加其他虚拟物体的方法。因此，专利文献1记载的技术，不对显示实拍图像区域及第1虚拟物体的内容图像所表现的空间进行最远区域的确定处理。
69.对此，在本披露的上述各方面中，已对包括实拍图像区域与第1虚拟物体的图像，进行最远区域的确定，并在该最远区域放置了第2虚拟物体，因此可以提高内容图像的视觉效果。
70.在内容发布系统涉及的其他方面，至少1个处理器，将实拍图像区域内的现实物体及第1虚拟物体中，在空间内最远位置的物体确定为假定最远物体，也可以基于假定最远物体的位置确定最远区域。如上所述，可以通过假定最远物体的位置，正确确定最远区域。
71.在内容发布系统涉及的其他方面，至少1个处理器，将实拍图像区域内的现实物体及第1虚拟物体中、在空间内最远位置的物体确定为假定最远物体，也可以决定最远区域中第2虚拟物体的位置，使得第2虚拟物体的一部分被内容图像中的假定最远物体遮挡。明确显示出第2虚拟物体位于假定最远物体的后面，因此，可以进一步提高第2虚拟物体的视觉效果。因此，可以进一步提高内容图像的吸引力。
72.在内容发布系统涉及的其他方面，至少1个处理器，将实拍图像区域内的现实物体及第1虚拟物体所处空间内最远位置的物体确定为假定最远物体，并可以决定第2虚拟物体的尺寸，使得在内容图像中，显示的第2虚拟物体比假定最远物体更大。通过显示的第2虚拟物体比假定最远物体更大，可以提供给予用户非现实感的内容图像。
73.在内容发布系统涉及的其他方面，内容图像可以是发布者终端向多个观众终端发布的内容的图像。至少1个处理器，可以决定最远区域中第2虚拟物体的位置，使得第2虚拟物体跟随空间内虚拟相机的位置。基于所述处理，与相机的朝向无关，第2虚拟物体可一直显示在内容图像上，可以提供带给用户非现实感的内容图像。
74.在内容发布系统涉及的其他方面，内容图像可以是发布者终端向多个观众终端发布的内容的图像。至少1个处理器，可以决定最远区域中第2虚拟物体的位置，使得第2虚拟物体跟随实拍图像区域内现实物体的位置。基于所述处理，可以维持第2虚拟物体与现实物体的位置关系，因此可以提供带给用户第2虚拟物体存在于现实世界感的内容图像。
75.在内容发布系统涉及的其他方面，内容图像可以是发布者终端向多个观众终端发布的内容的图像，第1虚拟物体，可以包括发布者对应的虚拟形象。至少1个处理器，可以决定最远区域中第2虚拟物体的位置，使得第2虚拟物体跟随虚拟形象的位置。基于所述处理，可以维持第2虚拟物体与虚拟形象的位置关系，因此可以提供带给用户虚拟形象(发布者)与第2虚拟物体是一体的非现实感的内容图像。
76.在内容发布系统涉及的其他方面，内容图像可以是发布者终端向多个观众终端发布的内容的图像，第1虚拟物体，可以包括发布者对应的虚拟形象。至少1个处理器，可以将显示放置了第2虚拟物体的空间的内容图像分别显示在多个观众终端上。已对包括实拍图像区域及虚拟形象在内的图像，进行了最远区域的确定，并在所述最远区域放置了第2虚拟物体，因此可以提高直播内容的视觉效果。并且，通过加强所述视觉效果，可以进一步提高直播内容的吸引力。
77.(变形例)以上，基于本发明披露涉及的实施例进行了说明。但是，本发明披露不仅限于上述实施例。本发明披露，在不脱离其要旨的范围内可存在各种各样的变形例。
78.上述实施例中，内容发布系统1通过使用服务器10构成，但是，内容发布系统，也可不使用服务器10，适用于用户终端之间的直接发布。此时，服务器10的各种功能要素，均可安装在用户终端上，也可以分别安装在多个用户终端上。与此相关联，内容发布程序也可以由客户端程序实现。内容发布系统可以由服务器构成，也可不使用服务器构成。
79.本发明披露中，“至少1个处理器，实施第1处理、实施第2处理、
…
实施第n处理。”的
表述，以及与此对应的表述，为包括第1处理至第n处理过程中n个处理的实施主体(即处理器)在过程中产生变化的概念。即，该表述，包括n个处理均由同一个处理器实施的情况，以及n个处理中处理器根据任意策略产生变化情况的概念。
80.至少1个处理器的实施方法的处理步骤不仅限于上述实施例。例如，可以省略上述步骤(处理)的一部分，也可以按照其他顺序实施各步骤。并且，可以对上述步骤中任意2个以上的步骤进行组合，也可以修改或删除部分步骤。或者，也可以在上述各步骤的基础上加上其他步骤实施。