信息处理装置、信息处理系统和信息处理方法与流程

1.所公开的实施例涉及信息处理装置、信息处理系统和信息处理方法。


背景技术：

2.通过使用头戴式显示器(hmd)等向用户提供包括虚拟空间体验在内的数字内容的技术在传统上是已知的，该虚拟空间体验例如是虚拟现实(vr)、增强现实(ar)和/或混合现实(mr)、或所谓的交叉现实(xr)内容。xr是集合了所有虚拟空间技术的表达，这些虚拟空间技术除了包括vr、ar和mr以外，还包括替代现实(sr)、音频/视觉(av)等。
3.此外，例如，已经提出了以下技术，即，向用户提供取决于由用户观看的视频的振动，以便实现这种视频的真实感的提高(参见例如日本专利申请公开no.2004-081357)。
4.然而，在传统技术中，用于真实感的真实感参数必须由人工初步设置，因此需要大量人工来设置这样的真实感参数。


技术实现要素：

5.根据实施例的一个方面的信息处理装置包括控制单元，该控制单元被配置为执行：场景检测处理，从输入内容中检测场景；参数提取处理，提取与由场景检测处理检测到的场景相对应的、用于波控制的真实感参数；以及输出处理，输出内容的波信号，该波信号通过使用由参数提取处理提取的真实感参数对输入内容的声音数据进行处理而产生。
附图说明
6.图1是示出了信息处理系统的概要的图。
7.图2是示出了信息处理方法的概要的图。
8.图3是信息处理装置的框图。
9.图4是示出了场景信息db的示例的图。
10.图5是示出了场景信息db的示例的图。
11.图6是示出了场景信息db的示例的图。
12.图7是示出了优先级信息db的示例的图。
13.图8是示出了参数信息db的示例的图。
14.图9是场景检测单元的框图。
15.图10是优先级设置单元的框图。
16.图11是参数提取单元的框图。
17.图12是输出单元的框图。
18.图13是示出了由信息处理装置执行的处理过程的流程图。
19.图14是示出了优先考虑的对象的确定方法的示例的图。
具体实施方式
20.在下文中，将参考附图详细说明如在本技术中公开的信息处理装置、信息处理系统和信息处理方法的实施例。另外，本发明不限于如下所示出的实施例。
21.首先，将通过使用图1和图2来说明根据实施例的信息处理系统和信息处理方法的概要。图1是示出了信息处理系统的概要的图。图2是示出了信息处理方法的概要的图。另外，下面将说明xr空间(虚拟空间)是vr空间的情况。
22.如图1所示，信息处理系统1包括显示装置3、扬声器4和振动设备5。
23.显示装置3例如是头戴式显示器，并且是用于将从信息处理装置10提供的xr内容的视频数据呈现给用户以便使该用户享受vr体验的信息处理终端。
24.此外，显示装置3可以是完全覆盖视野的非传输型，或者可以是视频传输型和/或光传输型。此外，显示装置3具有通过传感器部(例如照相机、运动传感器等)来检测用户内部和/或外部情况的变化的设备。
25.扬声器4是输出声音的声音输出设备，并且例如设置为耳机型并佩戴在用户的耳朵上。扬声器4产生从信息处理装置10提供的声音数据作为声音。另外，扬声器4不限于耳机型，而可以是箱型(其安装在地板等上)。此外，扬声器4可以是立体声音频或多声道音频型。
26.振动设备5由电振动转换器组成，设置在例如用户就座的座位上，并且根据从信息处理装置10提供的振动数据进行振动，其中，电振动转换器由电路和磁路和/或压电元件组成。另外，例如，多个振动设备5设置在座位上，信息处理装置10单独地控制每个振动设备5。
27.由扬声器4提供的这种声音和/或振动设备5的振动(即，由波设备提供的波)适用于再现视频并施加于内容用户，从而可以进一步增加视频再现的真实感。
28.信息处理装置10由计算机组成，以有线或无线方式与显示装置3连接，并且向显示装置3提供xr内容的视频。此外，例如，信息处理装置10根据需要获取由设置在显示装置3上的传感器部检测到的情况的变化，并将这种情况的变化反映在xr内容上。
29.例如，信息处理装置10可以根据由传感器部检测到的用户的头部和/或视线的变化，来改变xr内容的虚拟空间中的视野的方向。
30.同时，当提供xr内容时，根据场景增强从扬声器4产生的声音或者根据场景使振动设备5振动，从而可以实现xr内容的真实感的提高。
31.然而，用于实现这种真实感提高的真实感控制所使用的参数(以下将称为真实感参数)必须在产生xr内容之后由人工设置，因此需要大量的工作来设置真实感参数。
32.因此，在信息处理方法中，实现了这种真实感参数的设置的自动化。例如，如图2所示，在根据实施例的信息处理方法中，首先，从xr内容的视频数据和声音数据中检测满足预定条件的场景(步骤s1)。
33.本文的预定条件例如是关于对应的视频数据或声音数据是否是需要设置真实感参数的场景的条件，并且例如由针对xr内容的内部情况的条件表达式来定义。
34.即，在信息处理方法中，在xr内容的内部情况满足由条件表达式定义的条件的情况下，作为满足预定条件的场景来执行检测。因此，在信息处理方法中，不需要执行详细分析视频数据等的处理，从而可以实现场景检测的处理负荷的降低。
35.然后，在信息处理方法中，针对通过场景检测而检测到的场景设置优先级(步骤s2)。本文中，优先级表示应该优先考虑的具有真实感参数的场景的级别。即，在信息处理方
法中，在多个场景在时间上重叠的情况下，针对每个场景，初步定义应该优先考虑的具有真实感参数的场景。
36.因此，即使在多个场景重叠的情况下，也可以向用户提供合适的真实感。此外，如稍后所述，在信息处理方法中，分别设置声音的优先级和振动的优先级中的每一个。
37.然后，在信息处理方法中，针对每个场景提取真实感参数(步骤s3)。例如，在信息处理方法中，通过使用初步定义了场景与真实感参数之间的关系的参数信息，针对每个场景提取真实感参数。
38.本文中，在信息处理方法中，取决于优先级来提取对应的真实感参数。具体地，在信息处理方法中，例如，在具有低优先级的场景和具有高优先级的场景重叠的情况下，提取这种具有高优先级的场景的真实感参数。
39.在信息处理方法中，通过使用提取的真实感参数中的声音增强参数来执行对声音数据进行增强的声音增强处理(步骤s4)，并且执行向扬声器4的输出。此外，在信息处理方法中，在执行将声音数据转换为振动数据的振动转换处理、并且通过使用提取的真实感参数中的振动参数来增强这种振动数据之后(步骤s5)，执行向振动设备5的输出。
40.因此，在信息处理方法中，可以向用户提供根据用户观看的场景而增强的声音和/或取决于场景的振动。
41.因此，在根据实施例的信息处理方法中，在从xr内容检测了场景并设置了优先级之后，提取用于波控制的真实感参数，该波控制包括针对场景的声音处理和振动处理。因此，在根据实施例的信息处理方法中，可以自动设置用于提高内容的真实感的真实感参数。
42.接下来，将通过使用图3来说明根据实施例的信息处理装置10的结构示例。图3是信息处理装置10的框图。如图3所示，信息处理装置10包括控制单元120和存储单元130。
43.存储单元130例如由诸如随机存取存储器(ram)和/或闪存(flash memory)之类的半导体存储元件、或者诸如硬盘和/或光盘之类的存储装置来实现。在图3的示例中，存储单元130具有xr内容数据库(db)131、场景信息db 132、优先级信息db 133和参数信息db 134。
44.xr内容db 131是存储显示在显示装置3上的xr内容组的数据库。场景信息db 132是存储所检测的场景的各种信息的数据库。
45.图4至图6是示出了场景信息db 132的示例的图。如图4所示，例如，场景信息db 132以相互对应的方式存储项目“检测场景”、“条件类别”、“对象”、“条件参数”、“阈值”和“条件表达式”的信息。
[0046]“检测场景”表示所检测的场景的名称。另外，“检测场景”用作识别符号，尽管通常使用诸如数值之类的代码，但在本示例中为了说明的清楚性起见使用了名称(并禁止其重复)。“条件类别”表示场景检测所依据的信息的类别。在同一图所示的示例中，执行了大致分类，分为诸如用户与对象之间的位置关系、用户的移动、用户出现的空间的信息、用户出现的时间的信息之类的类别。另外，本文中的用户表示xr空间中的操作者自身。
[0047]“对象”表示场景检测的对象。在同一图所示的示例中，诸如物体1、物体2、用户、空间1、空间1+物体3和/或内容1之类的信息对应于对象。本文中，物体1、物体2、物体3分别表示xr空间中的不同物体。此外，空间1表示例如xr空间中的用户出现的空间，并且内容1表示例如xr空间中的预定事件。
[0048]“条件参数”表示参数的条件，该参数例如是在执行参场景检测时使用的参数。如
同一图中所示，例如，诸如距离、角度、速度、加速度、旋转速度、空间的内部、物体的出现和/或数量、和/或从开始时间到结束时间之类的信息与其对应。
[0049]“阈值”表示对应于条件参数的阈值。此外，“条件表达式”表示用于检测出检测场景的条件表达式，例如，条件参数与阈值之间的关系被定义为条件表达式。
[0050]
此外，在信息处理装置10中，可以通过例如对条件类别或条件参数进行组合来检测场景，如图4所示。例如，如图5所示，可以通过对多个场景的条件类别进行组合来设置检测场景，此外，如图6所示，可以通过对多个场景的条件参数进行组合来设置检测场景。
[0051]
例如，条件类别和/或条件参数因此被组合，从而可以简化对新检测场景的设置。
[0052]
返回到图3的说明，将说明优先级信息db 133。例如，在根据实施例的信息处理装置10中，基于规则设置每个场景的优先级。优先级信息db 133存储真实感参数的优先级的各种信息。图7是示出了优先级信息db 133的示例的图。
[0053]
例如，如图7所示，优先级信息db 133以相互对应的方式存储项目“规则编号”和“优先级规则”的信息。“规则编号”表示用于识别优先级规则的编号，而“优先级规则”表示优先级的规则。
[0054]
同一图中所示的“优先考虑在先检测到的场景”和“优先考虑后续检测到的场景(在提供了后续场景时切换)”分别表示优先考虑在时间上在先或后续提供的场景的真实感参数。由此，例如，可以简化在设置场景的优先级时的规则。
[0055]
此外，“优先考虑具有较大权重的特定参数的场景”表示在真实感参数中，优先考虑具有较大声音增强参数或振动参数的场景的真实感参数。
[0056]
即，在这种情况下，设置针对具有较大声音增强参数或振动参数的场景提取的真实感参数，从而可以提供与应该增强的声音数据或振动数据相关联的真实感参数。
[0057]
此外，“优先考虑具有较大权重的每个参数的场景”表示在真实感参数中，优先考虑具有较大声音增强参数和振动参数的场景的每个真实感参数。在这种规则的情况下，相互不同的场景的参数可以用于声音增强参数和振动参数。
[0058]
即，在这种情况下，可以通过具有较大值的真实感参数来增强振动数据和声音数据中的每一个，从而可以提高这些振动数据和声音数据中的每一个的真实感。此外，本文中较大或较小的权重表示例如参数的较大或较小值。
[0059]
此外，“优先考虑较短场景的参数”表示优先考虑具有较短时间长度的场景的真实感参数。在具有较短时间段的场景在其再现时打断具有较长时间段的场景的情况下，在这样的场景期间优先设置具有较短时间段的场景的真实感参数。
[0060]
因此，例如，可以适当地增强具有较短时间段的场景。另外，可以设置规则以便优先考虑较长场景的参数。
[0061]
返回到图3的说明，将说明参数信息db 134。参数信息db 134是存储每个场景的真实感参数的信息的数据库。图8是示出了参数信息db 134的示例的图。
[0062]
如图8中所示，例如，参数信息db 134以相互对应的方式存储项目“场景名称”、“声音增强参数”和“振动参数”的信息。
[0063]“场景名称”表示如上所述的检测场景的名称，并且对应于例如如图4等所示的“检测场景”。此外，从说明的清楚的角度来看，“场景名称”在本文中被示出为爆炸场景和/或音乐厅场景。
[0064]“声音增强参数”表示在对应场景中设置的声音增强参数。例如，如图8所示，声音增强参数根据扬声器4的数量存储各个扬声器4的单独参数，例如“对于扬声器1”、“对于扬声器2”等。
[0065]
此外，例如，针对每个扬声器4，存储诸如“延迟”或“频带增强/衰减”之类的声音处理的项目中的参数值。例如，“延迟”表示延迟时间的参数，而“频带增强/衰减”表示诸如声音被增强或衰减的频带及其程度之类的参数。
[0066]“振动参数”表示在对应场景中设置的声音增强参数，并且根据振动设备5的数量存储各个振动设备5的单独参数，这与“声音增强参数”类似。例如，项目“lpf(低通滤波器)”、“延迟”和“放大”中的每一个项目中的参数被存储为“振动参数”。
[0067]“lpf”表示低通滤波器的参数，而“延迟”表示延迟时间的参数。此外，“放大”表示用于振动处理的参数，例如所执行的放大或衰减的程度。
[0068]
返回到图3的说明，将说明控制单元120。控制单元120是控制器(controller)，由例如中央处理单元(cpu)、微处理单元(mpu)等实现，在这些处理单元中，存储单元130中存储的各种程序(省略图示)在作为工作空间的ram中执行。此外，例如，还可以通过诸如专用集成电路(asic)和/或现场可编程门阵列(fpga)之类的集成电路来实现控制单元120。
[0069]
控制单元120具有内容产生单元121、呈现处理单元122、场景检测单元123、优先级设置单元124、参数提取单元125和输出单元126，并且实现或执行以下将说明的信息处理的功能和/或动作。
[0070]
内容产生单元121针对xr内容中的空间产生3d模型。例如，内容产生单元121参考xr内容db 131，并根据xr内容中用户的当前视野来产生这样的xr内容中的空间的3d模型。内容产生单元121将所产生的3d模型传给呈现处理单元122。
[0071]
呈现处理单元122执行将从内容产生单元121接收到的3d模型转换为视频数据和/或声音数据的呈现处理。例如，呈现处理单元122将转换后的视频数据输出到显示装置(参见图1)，并将它们传给场景检测单元123。此外，呈现处理单元122将转换后的声音数据传给输出单元126和场景检测单元123。另外，内容产生单元121和呈现处理单元122具有作为计算单元的功能，该计算单元从内容计算条件表达式的项目的条件数据。
[0072]
场景检测单元123从输入内容中检测满足预定条件的场景。例如，通过使用从呈现处理单元122输入的视频数据和存储在场景信息db132中的条件表达式，场景检测单元123检测应该设置真实感参数的场景。
[0073]
本文中，例如，场景检测单元123从呈现处理单元122接收例如物体在xr空间中的坐标信息和物体类型的信息，并且通过使用条件表达式检测应该设置真实感参数的场景。
[0074]
另外，例如，在xr内容是mr内容的情况下，场景检测单元123可以例如对通过拍摄mr空间的内部而提供的图像执行图像分析，以便识别在这样的mr空间中的物体或计算这样的物体的坐标。
[0075]
图9是场景检测单元123的框图。例如，如图9所示，场景检测单元123包括场景确定单元123a和条件设置单元123b。通过使用场景信息db 132中存储的用于场景确定的条件数据(条件表达式)中的每一个，场景确定单元123a确定视频数据中的情况是否满足每个场景的检测条件。
[0076]
更具体地，例如，如图4所示，基于(由内容产生单元121或呈现处理单元122从内容
计算的)用户与对象(xr空间中的物体)之间的位置关系、用户的移动、和/或条件表达式的项目的数据(例如，用户出现的空间的信息)，场景确定单元123a确定xr空间中的当前情况是否对应于初步定义的每个检测场景。
[0077]
本文中，通过使用已经由内容产生单元121或呈现处理单元122计算的文本信息数据(例如，用户在xr空间中的移动、物体的坐标信息、物体类型的信息、空间信息等)，场景确定单元123a执行场景检测处理。
[0078]
因此，例如，即使在cpu的性能比较低的情况下，也可以与具有相对较重处理负荷的处理(例如由呈现处理单元122执行的呈现处理)并行地执行诸如从场景检测到真实感参数提取处理之类的处理。
[0079]
此外，本文中，例如，基于例如图5所示的条件类别的组合或还包括如图6所示的条件参数的组合在内的用于场景确定的信息，场景确定单元123a可以确定xr空间中的当前情况是否对应于每个检测场景。
[0080]
然后，在场景确定单元123a确定xr空间中的当前情况对应于检测场景的情况下，将这种视频数据的检测场景信息传给优先级设置单元124(参见图3)。另外，在场景确定单元123a确定xr空间中的当前情况不对应于任何检测场景的情况下，其不是对应的检测场景，并且将真实感参数返回到其初始状态(不是对应的检测场景的情况下的真实感参数)。此外，在场景确定单元123a确定xr空间的当前情况对应于多个检测场景的情况下，将所确定的多个检测场景传给优先级设置单元124。
[0081]
此外，尽管本文已经说明了场景确定单元123a基于视频数据确定xr空间的当前情况是否是检测场景的情况，但是场景确定单元123a可以基于声音数据确定它是否是检测场景。
[0082]
条件设置单元123b设置用于场景检测的各种条件表达式。条件设置单元123b基于例如从xr内容的制作者和/或用户输入的信息来设置条件表达式。
[0083]
例如，条件设置单元123b从制作者或用户接收诸如真实感参数和设置该参数的场景之类的信息的输入，并将这样的场景的情况置于条件表达式中。然后，条件设置单元123b针对条件表达式的每个设置将条件表达式的信息写入场景信息db 132中，并将对应的真实感参数写入参数信息db 134中。
[0084]
因此，在信息处理装置10中，可以检测由制作者或用户请求的场景，并且可以针对检测到的场景设置由这样的制作者或用户请求的真实感参数。
[0085]
返回到图3的说明，将说明优先级设置单元124。优先级设置单元124针对由场景检测单元123检测到的场景设置优先级。
[0086]
例如，在场景检测单元123确定同时检测到多种类型的场景的情况下，优先级设置单元124参考优先级信息db 133并选择被优先考虑处理的场景。此外，在场景检测单元123确定仅检测到一个场景的情况下，这样的场景具有最高优先级。
[0087]
图10是优先级设置单元124的框图。例如，如图10所示，优先级设置单元124具有定时检测单元124a和规则设置单元124b。
[0088]
定时检测单元124a检测由场景检测单元123检测到的场景产生时的定时及其结束时的定时。例如，基于来自场景检测单元123的每个时间点的场景信息，定时检测单元124a检测在每个时间点出现的每个场景(并且还检测重叠状态)、出现的场景的产生的定时、出
现的场景被删除时的定时等。即，定时检测单元124a检测每个时间点出现的所有场景的状态，这些状态包括其产生的顺序。
[0089]
针对由场景检测单元123检测到的场景，规则设置单元124b设置用于确定真实感参数的场景的优先级。即，基于出现的并由定时检测单元124a检测到的所有场景的状态，将具有与场景链接并优先使用的参数的场景确定为在其时间点使用的真实感参数，从而针对检测场景设置优先级。因此，在信息处理装置10中，可以设置取决于这样的优先级的真实感参数。
[0090]
即，在信息处理装置10中，针对每个场景初步设置优先级条件，使得在场景a和场景b在时间上重叠的情况下，可以适当地确定具有应该优先使用的真实感参数的场景。
[0091]
例如，规则设置单元124b参考优先级信息db 133，并针对声音增强参数和振动参数中的每一个设置场景的优先级，该场景是其中确定所使用的参数被设置的场景。本文中，基于例如对于每个扬声器4和/或每个振动设备5独立的优先级规则，规则设置单元124b可以设置用于参数选择的场景。
[0092]
因此，在每个扬声器4和每个振动设备5中，根据各自的规则设置真实感参数，使得与统一设置真实感参数的情况相比，可以实现真实感的进一步提高。
[0093]
此外，规则设置单元124b将设置的规则的信息传给参数提取单元125(参见图3)，以便对应于视频数据和声音数据。
[0094]
返回图3的说明，将说明参数提取单元125。参数提取单元125提取由场景检测单元123检测到的场景的真实感参数。
[0095]
图11是参数提取单元125的框图。如图11所示，参数提取单元125具有振动参数提取单元125a、声音增强参数提取单元125b、学习单元125c。
[0096]
振动参数提取单元125a参考参数信息db 134，并提取与由优先级设置单元124提供有最高优先级的场景相对应的振动参数。例如，振动参数提取单元125a从参数信息db 134中提取与从优先级设置单元124接收到的具有最高优先级的“检测场景”相对应的振动参数，以便提取对应于场景的振动参数。
[0097]
即，在场景检测单元123检测到其中产生声音的对象彼此不同的、多个在时间上重叠的场景的情况下，参数提取单元125可以选择具有高优先级的场景(即具有以用户通过振动感觉到更多真实感的方式进行估计的优先级的场景)，并提取与这种场景相对应的用于振动产生的参数。作为结果，即使在用于再现多个场景重叠的内容的时间段期间，也可以通过合适的参数产生丰富真实感的振动。
[0098]
具体地，通过在如图7所示的优先级信息db中设置优先级规则的内容并设置每个场景的优先级条件(其被设置并存储在如图4所示的场景信息db中)，场景检测单元123可以实现对这种场景选择处理的执行。
[0099]
例如，在场景检测单元123检测到大象产生行走声音的场景(大象行走场景)和马产生行走声音的场景(马行走场景)的情况下，参数提取单元125根据“优先考虑较低频带中的较大振幅”的规则，优先考虑这种大象行走场景。因此，作为再现由大象的行走引起的振动并且作为在现实世界中也主要感觉到的振动的振动也应用于内容再现(例如，虚拟空间)中的用户，使得这种用户可以获得具有丰富真实感(即接近现实的真实感)的振动感。
[0100]
此外，在场景检测单元123检测到其中产生声音的对象彼此不同的、多个在时间上
重叠的场景的情况下，参数提取单元125还可以应用这样一种方法，即，在内容中包括的图像中，基于与多个场景中的每一个场景相对应的对象的类型和位置，来提取与从这种多个场景中选择的场景相对应的参数。
[0101]
具体地，对如图7所示的优先级信息db中的优先级规则的设置内容和每个场景的优先级条件(其被设置并存储在如图4所示的场景信息db中)进行设置(在本示例的情况下，对象的类型(m)和到这种对象的距离(d)的函数值f(m，d)被添加到这种优先级条件，并且由函数值f(m，d)提供的条件(例如，优先考虑更大的函数值“f(m，d)”)被添加到优先级规则中)，使得场景检测单元123可以实现对这种场景选择处理的执行。
[0102]
将通过使用如图14所示的具体示例来说明基于对象的位置确定优先考虑的场景的方法。图14是示出了优先考虑的对象的确定方法的示例的图。
[0103]
如图14所示，显示装置3在内容再现期间显示内容的图像31。在图像31中看见物体311(马)和物体312(大象)。在这里，场景检测单元123检测到满足条件的马行走场景和大象行走场景两者作为振动控制的对象场景。
[0104]
此外，提供了从参考位置(用户在内容图像中的位置，例如，与用户相对应的化身在xr内容中的位置)到物体311的距离l1。另一方面，提供了从这种参考位置到物体312的距离l2。此外，分别提供了物体311和物体312的参考振动强度v1、v2(内容中的物体的声音信号的低频分量的强度)。另外，提供了其中设置了“优先考虑函数f(ln，vn)＝vn/(ln
·
ln)的较大值”的优先条件的情况作为示例。
[0105]
另外，根据添加到内容等的信息来计算从参考位置到物体的距离(例如，根据xr内容中的用于视频再现的每个物体的位置信息来计算)。此外，可以通过下列方法来得知物体的参考振动强度：取决于对象物体的类型，通过从针对每种物体类型存储了初步设置的参考振动强度的数据表中读取参考振动强度来执行参考振动强度的确定的方法；将参考振动强度作为内容信息添加到内容的方法；等等。此外，用于声音再现的声音数据经常被添加到内容中，使得可以基于这种声音数据的较低频带特性(声音强度级别、较低频带信号水平等)来计算参考振动强度(振动模式与声音的较低频带分量高度相关，并且还经常基于声音的这种较低频带分量产生振动)。
[0106]
因此，信息处理装置10可以估计由内容中的振动产生对象产生的声音的较低频带特性。在这种情况下，信息处理装置10基于估计的较低频带特性来选择振动产生对象。因此，可以选择更合适的振动产生对象。
[0107]
例如，声音的较低频带特性是较低频带信号水平。在这种情况下，信息处理装置10选择所估计的较低频带信号水平大于阈值的振动产生对象。信息处理装置10可以从声音数据中提取较低频带信号水平。因此，可以通过使用声音数据中包括的较低频带信号水平来容易地选择振动产生对象。
[0108]
此外，取决于内容类型来设置较低频带信号水平的阈值。如前所述，与动物纪录片相比，在音乐视频中即使对于相同的对象也经常优选产生振动。因此，可以选择适合于内容类型(音乐视频、动物纪录片等)的振动对象。
[0109]
在这种情况下，如果物体311(马)和物体312(大象)的函数值之间的关系是函数f(l1，v1)＞函数f(l2，v2)，则物体311产生声音(振动)的场景(即马行走场景)优先地被选择，并且参数提取单元125提取对应于这种马行走场景的振动参数。然后，对应于马行走场
景的振动被施加到用户。随后，例如，如果物体312(大象)接近参考位置并且变为函数f(l1，v1)《函数f(l2，v2)的关系，则物体312产生声音(振动)的场景(即大象行走场景)优先地被选择，并且参数提取单元125提取对应于这种大象行走场景的振动参数。然后，对应于大象行走场景的振动被施加到用户。
[0110]
另外，在函数f(ln，vn)小于初步确定的或预定的阈值的情况下，即在由内容(游戏的虚拟空间等)中的用户位置处的对象引起的振动较弱(为这种用户提供较少的感觉，即需要对其施加较少的振动)的情况下，不执行将其选择为产生振动的对象的方法也是有效的。换言之，仅选择以下内容的物体作为产生振动的对象的方法也是有效的，即，由内容(游戏的虚拟空间等)中的用户位置处的对象引起的振动具有达到一定程度的强度(其强度大到这种程度：如果再现振动，则感觉到真实感的提高)。即，选择对从作为振动产生对象的候选(用户强烈感觉到其振动的振动对象)提供的对象候选产生的振动信号产生显著影响的对象。
[0111]
因此，信息处理装置10可以估计对从作为振动产生对象的候选提供的这种对象候选产生的振动信号产生显著影响的对象候选，并且将其选择为这种振动产生对象。作为结果，与用户在真实空间中的感觉相匹配的振动被施加到用户，使得可以再现具有丰富真实感的内容。
[0112]
在这种情况下，在将其选择为产生振动的对象的情况下，优选地基于内容类型来改变阈值。即，因为优选调整产生振动的对象的已确定的内容(确定级别)，所以可以优选取决于这种内容的实体来暂停或强调由出现在内容中的物体引起的振动的再现。
[0113]
即，振动的产生的原理如下。基于内容的实体来确定在内容(的每种情况)中产生振动的对象。然后，基于与已确定对象相对应的音频信号(内容中包括的对象的声音数据或从这种场景中的声音数据产生的对象的声音数据(通过例如过滤较低频域来获取))，来产生振动信号(振动数据)(通过获取并适当地放大对象的声音信号的较低频分量等来产生振动信号)。
[0114]
此外，在确定产生振动的对象的方法中，估计内容中的声音产生物体的发声声音的较低频带特性(例如，音量级别)(在如上所述的示例的情况下，基于参考振动强度来估计，该参考振动强度基于物体的类型以及参考位置(用户在内容的虚拟空间等中存在的位置)与这种物体之间的距离)，并且确定对象(将发声声音的较低频带音量级别较大的声音产生物体确定为产生振动的对象)。
[0115]
因此，基于对象的位置来确定优先考虑的场景，使得还适应用户的视觉直觉的振动(即与用户在现实空间中的感觉相匹配的振动)被施加到用户，并且可以再现具有丰富真实感的内容。
[0116]
本文中，振动参数提取单元125a提取对应于每个振动设备5的振动参数。因此，与统一提取振动参数的情况相比，可以实现真实感的进一步提高。
[0117]
声音增强参数提取单元125b参考参数信息db 134，并提取与由优先级设置单元124提供有最高优先级的场景相对应的声音增强参数。声音增强参数提取单元125b针对每个扬声器4分别提取声音增强参数，并确定基于由优先级设置单元124设置的优先级(或者基于具有最高优先级的场景)提取的声音增强参数，与振动参数提取单元125a类似。
[0118]
学习单元125c学习场景与参数信息db 134中存储的真实感参数之间的关系。例
如，学习单元125c对参数信息db 134中存储的每个场景和每个对应的真实感参数执行机器学习，同时将用户对由这样的参数等执行的真实感控制的反应提供为学习数据，以便学习场景与真实感参数之间的关系。
[0119]
本文中，例如，学习单元125c可以使用对真实感参数的用户评价(真实感控制之后用户的调整操作和/或诸如问卷之类的用户输入)作为学习数据。即，学习单元125c可以从场景和针对其设置的真实感参数的视点来学习场景与真实感参数之间的关系，以便获得较高的用户评价(即，以便获得较高的真实感)。
[0120]
此外，学习单元125c还可以在向其输入新场景的情况下，根据学习结果来确定应该设置的真实感参数。作为特定示例，例如，可以通过使用针对诸如爆炸场景之类的类似情况的真实感控制的学习结果，来确定烟火场景的真实感参数。此外，还可以基于在真实感控制之后用户的调整操作和/或诸如调查问卷之类的用户输入中改变优先级的元素的存在或不存在和/或程度，来学习优先级的规则(在用户的调整操作接近与同时出现的另一场景相对应的参数的情况下，在调查问卷中提供了应该优先考虑另一场景的回答的情况下等)。
[0121]
因此，在信息处理装置10中，例如，可以自动执行针对优先级规则和/或真实感参数的优化。
[0122]
返回图3的说明，将说明输出单元126。输出单元126将由参数提取单元125提取的真实感参数输出到扬声器4和振动设备5。
[0123]
图12是输出单元126的框图。如图12所示，输出单元126具有声音增强处理单元126a和声音-振动转换处理单元126b。
[0124]
声音增强处理单元126a对从呈现处理单元122接收的声音数据执行使用由参数提取单元125提取的声音增强参数的增强处理。例如，声音增强处理单元126a基于声音增强参数执行延迟或频带增强/衰减处理，以便对声音数据执行增强处理。
[0125]
本文中，声音增强处理单元126a对每个扬声器4执行声音增强处理，并且将应用了声音增强处理的声音数据输出到每个对应的扬声器4。
[0126]
声音-振动转换处理单元126b对从呈现处理单元122接收的声音数据执行适合于振动并且由lpf等执行的频带限制处理等，以便执行将其转换为振动数据的转换。此外，声音-振动转换处理单元126b取决于由参数提取单元125提取的振动参数，对转换后的振动参数执行增强处理。
[0127]
例如，声音-振动转换处理单元126b取决于振动参数对振动数据执行诸如低频带增强、延迟和放大之类的频率特性附加处理等增强处理，以便对这样的振动数据执行这样的增强处理。
[0128]
本文中，声音-振动转换处理单元126b对每个振动设备5执行振动增强处理，并将应用了这种振动增强处理的振动数据输出到每个对应的振动设备5。
[0129]
接下来，将通过使用图13来说明根据实施例的由信息处理装置10执行的处理过程。图13是示出了由信息处理装置10执行的处理过程的流程图。此外，如下所示的处理过程由控制单元120重复执行。
[0130]
当信息处理系统1的电源打开时，执行如图13所示的流程图的处理(步骤s101)。然后，首先执行xr内容设置处理(步骤s102)。另外，本文的xr内容设置处理包括例如用于xr内容再现的装置的每个初始设置，以及由用户执行的用于xr内容的选择等的各种处理。
[0131]
随后，信息处理装置10开始xr内容的再现(步骤s103)，并在其再现期间对xr内容执行场景检测处理(步骤s104)。随后，信息处理装置10对场景检测处理的结果执行优先级设置处理(步骤s105)，并执行真实感参数提取处理(步骤s106)。
[0132]
然后，信息处理装置10对反映了真实感参数提取处理的处理结果的各种振动数据或声音数据执行输出处理(步骤s107)。然后，信息处理装置10确定xr内容是否结束(步骤s108)，并且在确定这样的xr内容结束的情况下结束处理(步骤s108；是)。
[0133]
此外，在信息处理装置10在步骤s108的确定中确定xr内容未结束的情况下(步骤s108；否)，再次转移到步骤s104的处理。
[0134]
如上所述，根据实施例的信息处理装置10包括场景检测单元123、参数提取单元125和输出单元126。场景检测单元123从输入内容中检测场景。参数提取单元125提取与由场景检测单元123检测到的场景相对应的、用于波控制的真实感参数。
[0135]
输出单元126输出内容的波信号，该波信号通过与场景相对应并由参数提取单元125提取的真实感参数进行了增强处理。因此，在根据实施例的信息处理装置10中，可以实现用于提高内容真实感的真实感参数设置的效率提高。
[0136]
如上所述，根据实施例的信息处理装置10包括场景信息db132(存储单元的示例)、内容产生单元121和呈现处理单元122(计算单元的示例)、以及场景检测单元123。场景信息db132存储用于从输入内容中检测场景的条件表达式。内容产生单元121和呈现处理单元122从内容计算针对条件表达式的项目的条件数据。
[0137]
场景检测单元123通过使用场景信息db132中存储的条件表达式和由内容产生单元121和呈现处理单元122计算的条件数据来检测内容的场景。因此，在根据实施例的信息处理装置10中，可以实现用于提高内容真实感的真实感参数设置的效率提高。
[0138]
如上所述，根据实施例的信息处理装置10包括场景检测单元123、优先级设置单元124和参数提取单元125。场景检测单元123从内容中检测场景。优先级设置单元124针对由场景检测单元123检测到的场景设置优先级。
[0139]
参数提取单元125提取与取决于由优先级设置单元124设置的优先级而确定的场景相对应的真实感参数，作为用于真实感控制的真实感参数。因此，在根据实施例的信息处理装置10中，可以实现用于提高内容真实感的真实感参数设置的效率提高。
[0140]
同时，尽管在上述实施例中已经说明了内容是xr内容的情况，但是这不是限制性的。即，内容可以是2d视频和声音，可以仅是视频，或仅是声音。
[0141]
实施例的一个方面旨在提供信息处理装置、信息处理系统和信息处理方法，其中可以实现用于提高内容真实感的真实感参数设置的效率提高。
[0142]
根据实施例的一方面的信息处理装置包括场景检测单元、参数提取单元和输出单元。场景检测单元从输入内容中检测场景。参数提取单元提取与由场景检测单元检测到的场景相对应的、用于波控制的真实感参数。输出单元输出内容的波信号，该波信号通过由参数提取单元提取的真实感参数进行了增强处理。
[0143]
根据实施例的一方面的信息处理装置包括存储单元、计算单元和场景检测单元。存储单元存储用于从输入内容中检测场景的条件表达式。计算单元从内容计算针对条件表达式的项目的条件数据。场景检测单元通过使用存储在存储单元中的条件表达式和由计算单元计算的条件数据来检测内容的场景。
[0144]
根据实施例的一方面的信息处理装置包括场景检测单元、优先级设置单元和参数提取单元。场景检测单元从内容中检测场景。优先级设置单元针对由场景检测单元检测到的场景设置优先级。参数提取单元提取与取决于由优先级设置单元设置的优先级而确定的场景相对应的真实感参数，作为用于真实感控制的真实感参数。
[0145]
根据实施例的一方面，可以实现用于提高内容真实感的真实感参数设置的效率提高。
[0146]
实施例(1-1)：
[0147]
一种信息处理装置，包括：
[0148]
场景检测单元，从输入内容中检测场景；
[0149]
参数提取单元，提取与由场景检测单元检测到的场景相对应的、用于波控制的真实感参数；以及
[0150]
输出单元，输出内容的波信号，该波信号通过由参数提取单元提取的真实感参数进行了增强处理。
[0151]
实施例(1-2)：
[0152]
根据实施例(1-1)的信息处理装置，其中：
[0153]
参数提取单元包括振动参数提取单元，该振动参数提取单元根据内容提取振动参数作为真实感参数，该振动参数控制向用户施加振动的振动设备；以及
[0154]
输出单元将通过使用振动参数进行了增强处理的振动信号输出到振动设备。
[0155]
实施例(1-3)：
[0156]
根据实施例(1-2)的信息处理装置，其中：
[0157]
振动设备是向座位提供振动的设备；
[0158]
参数提取单元针对座位上设置的多个振动设备中的每一个提取振动参数；以及
[0159]
输出单元输出通过使用与振动设备中的每一个相对应的振动参数进行了增强处理的振动信号。
[0160]
实施例(1-4)：
[0161]
根据实施例(1-1)、实施例(1-2)或实施例(1-3)的信息处理装置，其中：
[0162]
参数提取单元包括声音参数提取单元，该声音参数提取单元提取对内容的声音数据进行增强的声音参数；以及
[0163]
输出单元将通过使用声音参数进行了增强处理的振动信号输出到声音输出设备。
[0164]
实施例(1-5)：
[0165]
根据实施例(1-1)至实施例(1-4)中任一项的信息处理装置(10)，包括：
[0166]
学习场景与真实感参数之间的关系的学习单元。
[0167]
实施例(1-6)：
[0168]
一种信息处理系统，包括：
[0169]
信息处理装置，再现xr内容；
[0170]
显示装置，取决于从信息处理装置输出的视频信号来显示视频；
[0171]
声音输出设备，取决于从信息处理装置输出的声音信号来产生声音；以及
[0172]
振动设备，取决于从信息处理装置输出的振动信号来振动，其中
[0173]
信息处理装置包括：
[0174]
场景检测单元，从输入xr内容中检测场景；
[0175]
参数提取单元，提取用于声音处理和振动处理的真实感参数，该真实感参数与由场景检测单元检测到的场景相对应；以及
[0176]
输出单元，将通过使用由参数提取单元提取的真实感参数进行了增强处理的声音数据和振动数据分别输出到声音输出设备和振动设备。
[0177]
实施例(1-7)：
[0178]
一种信息处理方法，其中，基于内容的场景，对波设备的波信号进行增强处理。
[0179]
实施例(2-1)：
[0180]
一种信息处理装置，包括：
[0181]
存储单元，存储用于从内容中检测场景的条件表达式；
[0182]
计算单元，从内容计算针对条件表达式的项目的条件数据；以及
[0183]
场景检测单元，通过使用存储在存储单元中的条件表达式和由计算单元计算的条件数据来检测内容的场景。
[0184]
实施例(2-2)：
[0185]
根据实施例(2-1)的信息处理装置，其中：
[0186]
场景检测单元包括设置条件表达式的条件设置单元；以及
[0187]
存储单元存储由条件设置单元设置的条件表达式。
[0188]
实施例(2-3)：
[0189]
根据实施例(2-1)或实施例(2-2)的信息处理装置，其中
[0190]
条件表达式的项目是用户与内容中的对象之间的位置关系。
[0191]
实施例(2-4)：
[0192]
根据实施例(2-1)、实施例(2-2)或实施例(2-3)的信息处理装置，其中
[0193]
条件表达式的项目是内容中用户的移动。
[0194]
实施例(2-5)：
[0195]
根据实施例(2-1)至实施例(2-4)中任一项的信息处理装置，其中
[0196]
条件表达式的项目是内容中用户出现的空间。
[0197]
实施例(2-6)：
[0198]
根据实施例(2-1)至实施例(2-5)中任一项的信息处理装置，其中
[0199]
条件表达式的项目是内容中用户出现的时间的信息。
[0200]
实施例(2-7)：
[0201]
一种信息处理系统，包括：
[0202]
信息处理装置，再现xr内容；
[0203]
显示装置，取决于从信息处理装置输出的视频数据来显示视频；
[0204]
声音输出设备，取决于从信息处理装置输出的声音数据来产生声音；以及
[0205]
振动设备，取决于从信息处理装置输出的振动数据来振动，其中
[0206]
信息处理装置包括：
[0207]
存储单元，存储用于从内容中检测场景的条件表达式；
[0208]
计算单元，从内容计算针对条件表达式的项目的条件数据；以及
[0209]
场景检测单元，通过使用存储在存储单元中的条件表达式和由计算单元计算的条
件数据来检测内容的场景。
[0210]
实施例(2-8)：
[0211]
一种信息处理方法，其中：
[0212]
计算用于从内容中检测场景的条件表达式的项目的条件数据；以及
[0213]
通过使用条件表达式和所计算的条件数据来检测内容的场景。
[0214]
实施例(3-1)：
[0215]
一种信息处理装置，包括：
[0216]
场景检测单元，从内容中检测场景；
[0217]
优先级设置单元，针对由场景检测单元检测到的场景设置优先级；以及
[0218]
参数提取单元，提取与取决于由优先级设置单元设置的优先级而确定的场景相对应的真实感参数，作为用于真实感控制的真实感参数。
[0219]
实施例(3-2)：
[0220]
根据实施例(3-1)的信息处理装置，其中：
[0221]
参数提取单元包括声音参数提取单元和振动参数提取单元，声音参数提取单元提取用于声音处理的声音增强参数，振动参数提取单元提取用于振动处理的振动参数；以及
[0222]
优先级设置单元针对声音增强参数和振动参数中的每一个分别设置场景的优先级。
[0223]
实施例(3-3)：
[0224]
根据实施例(3-1)或实施例(3-2)的信息处理装置，其中
[0225]
优先级设置单元设置基于场景的检测定时的优先级。
[0226]
实施例(3-4)：
[0227]
根据实施例(3-1)、实施例(3-2)或实施例(3-3)的信息处理装置，其中
[0228]
优先级设置单元设置基于真实感参数的权重的优先级。
[0229]
实施例(3-5)：
[0230]
根据实施例(3-1)至实施例(3-4)中任一项的信息处理装置，其中
[0231]
优先级设置单元设置基于场景的时间长度的优先级。
[0232]
实施例(3-6)：
[0233]
一种信息处理系统，包括：
[0234]
信息处理装置，再现xr内容；
[0235]
显示装置，取决于从信息处理装置输出的视频数据来显示视频；
[0236]
声音输出设备，取决于从信息处理装置输出的声音数据来产生声音；以及
[0237]
振动设备，取决于从信息处理装置输出的振动数据来振动，其中
[0238]
信息处理装置包括：
[0239]
场景检测单元，从xr内容中检测场景；
[0240]
优先级设置单元，针对由场景检测单元检测到的场景设置优先级；
[0241]
参数提取单元，提取与取决于由优先级设置单元设置的优先级而确定的场景相对应的真实感参数，作为用于真实感控制的真实感参数；以及
[0242]
输出单元，将通过使用由参数提取单元提取的真实感参数进行了增强处理的声音数据和振动数据输出到声音输出设备和振动设备。
[0243]
实施例(3-7)：
[0244]
一种信息处理方法，其中：
[0245]
针对从内容中检测到的场景设置优先级；以及
[0246]
提取与取决于设置的优先级而确定的场景相对应的真实感参数，作为用于真实感控制的真实感参数。