本发明涉及用于通过使用动态元数据来记录并再现多媒体内容的过程和设备。
背景技术:
许多便携式设备已经存在许多年了,它们被用于记录数字多媒体格式(例如,音频、视频和照片)。除了这些便携式设备之外,数目不断增长的蜂窝电话已经出现,它们除了提供移动电话的典型功能之外还允许根据最新的数字压缩标准来记录视频片段或进行数字照相。
除了提供蜂窝电话的典型能力之外,这种设备也由若干丰富其功能性的特性(例如GPS定位系统、加速计、取向传感器、亮度传感器等等)来表征。
这些设备当前能够进行数字照相,相片然后被存储并且被分类成文件;此外,这些设备允许提供关于图片的更多信息的被称为“元数据”的特定信息被自动加入同一文件或与其关联的文件。
被加入包含数字相片的文件的特定字段中的元数据的一些例子如下:捕获设备的制造商名称、捕获设备模型、摄影取向、拍摄日期和时间、曝光时间、闪光使用、地理坐标等等。
这些元数据是固定且非动态的。它们被加入文件结构的特定区域中并且通常关联于数字相片,但是也可以被用于不同类型的多媒体内容,例如随时间变化的音频和/或视频。
对于通常是动态的包含视频的文件而言,这些静态元数据使之无法最佳地管理显示器上的视频可视化。特别地,例如,如果当拍摄视频时,摄像机取向更改,而关联于取向的元数据没有被修改。其后果是,在后续视频再现期间,再现设备可能没有认识到拍摄取向已更改,因此屏幕上的视频可视化可能没有自动地适配。通常,这在内容是多媒体流的一部分时是特别关键的,该多媒体流通常可随时间变化并且其捕获设置(例如拍摄取向方向)也会更改,而这往往是特别是使用移动和便携式捕获设备时的情形。
当前,存在用于限定关联于图像的元数据的几种格式。最常用的格式是EXIF(可交换图像文件)和IPTC(国际新闻通信委员会)。
EXIF是一种已经针对图像被典型限定的元数据格式,而IPTC已经针对包含文本、图像或任何多媒体内容的不同类型文件定义了一组通用元数据格式。
这些元数据中的一些是固定的并且无法被用户更改,而诸如由IPTC所指定的那些的其他元数据可以被用户修改。然而,在这两种情形中,它们都是静态元数据,因而它们是不与多媒体文件的可变内容一致地修改它们自己的值的元数据,而该多媒体文件可能(在视频内容的典型情况下)在进行拍摄时更改其自己的特性(例如拍摄取向)。
这是一个问题,因为通常多媒体拍摄可能在不同的时刻、不同的地点以及因而在不同的环境条件下进行;如果这些变化没有被考虑在内,则多媒体内容的再现可能不是最佳的并且不会适合于拍摄时所存在的环境条件。
技术实现要素:
本发明的一个目的是限定动态元数据的物理结构,该动态元数据的值与由传感器(GPS定位器、加速计、取向传感器)返回的数据中的变化一致地被修改:所述变化可能在拍摄视频时或在获取任何其他多媒体信号(音频、视频和音频,等等)时发生。以这种方式,当再现包含所记录的多媒体信号的文件时,再现设备能够按照包含于同一多媒体文件中的动态元数据来最佳地再现多媒体内容。
本发明的另一目的是提供一种以最佳方式使用所述动态元数据的再现设备。
本发明的另一目的是提供一种用于使用所述动态元数据的所述再现设备的操作过程。
通过如各个权利要求中所描述的那样限定动态元数据的结构、用于使用它们的设备和用于所述设备的操作过程,实现了将从以下描述中变得清晰的本发明的这些及其他目的和优点。
应当理解,所有所附权利要求都是本说明书的组成部分。
通常,应当指出,即使本发明证实在存在至少视频数据的情况下是特别有用的,在本专利的上下文内,术语“多媒体”内容、流和文件仍是指只包括视频数据或包括音频和视频数据组合的多媒体内容、流或文件而不存在区别。
附图说明
参考附图,下文将通过仅作为非限制性示例而被提供的一些优选实施例来详细描述本发明,其中:
图1示出了数字相片的EXIF元数据结构的示例;
图2示出了当使用静态元数据时可能出现的典型问题;
图3示出了根据本发明的动态元数据结构的示例;
图4和5是本发明的记录/捕获/拍摄设备的两个不同实施例的两个框图;
图6和7是本发明的多媒体再现设备的两个不同实施例的两个框图;并且
图8是本发明的拍摄和再现设备的一个实施例的框图。
具体实施方式
本发明的目的是限定一种改进了多媒体文件(例如视频)的享用的动态元数据的结构。该动态元数据可在多媒体拍摄(音频、视频等)期间根据传感器(GPS、加速计、取向传感器等)返回的值而被更新。
除了执行为它们开发的正常功能之外,最新的蜂窝电话和便携式摄像机也配备有若干传感器,例如三轴陀螺仪、加速计、接近度传感器、取向传感器、环境光传感器、GPS定位器等等。这些传感器丰富了设备的基本功能性,这因而使得所述设备对于用户而言更加实用。
例如,配备有这样的传感器的设备能够通过加入由传感器生成的专用数据(后文称作元数据)或从该数据获得的或关联于该数据的专用数据,来提供关于所创建的多媒体文件(图像、视频、音频)的更多信息。典型地,这些元数据被添加到多媒体文件的专用存储区域中。以这种方式,例如通过指示当播放视频内容时所显示的图像的地理位置、或者通过根据其拍摄取向来适配该图像、或通过更改在过多地加速或移动照相机时所拍摄的视频的再现的速度或模式,被命令再现多媒体文件的再现设备能够之后提供进一步的信息给用户,
当前,存在几种在国际级别得到认可的元数据格式:两个例子是EXIF和IPTC格式。图1示出了关联于数字相片的EXIF元数据的例子。在文档JEITA CP-3451(http://www.exif.org/Exif2-2.PDF)中EXIF也限定了用于来自GPS系统的信息的元数据。
这种元数据已经被设想为以明确限定的格式和结构被存储于多媒体文件的特定存储区域中。当前使用的元数据是静态的并且无法例如当多媒体文件正被再现时更改它们自己的值。
关联于动态多媒体文件(例如音频或视频文件)的静态元数据不允许优化该文件的再现。
作为例子,让我们考虑关联于视频文件的静态元数据“取向”。这个元数据在视频拍摄开始时被存储:如果用户在拍摄时转动照相机一次或多次,则取向将更改数次并且此信息将丢失,因而它无法动态地关联于视频。
之后,当播放所记录的视频时,设备将根据所存储的单个静态元数据“取向”来显示视频,该元数据的初始值将是由取向传感器(或陀螺仪)返回的值。屏幕上的视频可视化的适配只有当拍摄取向保持不变时才是正确的。相反,如果照相机取向在拍摄时改变,则设备将不会觉察到它并且因此该设备将无法优化视频内容的可视化。
图2示出了该问题的示意性表示。第一个图(1,1’)示出了当假定用户在保持正被取景的场景基本上不变的同时以三种不同取向(0°,90°,180°)转动照相机时的三个不同时刻的拍摄过程。在第二个图(2)中,用户正播放刚记录的视频:在第一时刻,场景被正确显示;在第二时刻,该设备没有认识到该场景已经相对于初始时刻而转动了90°;在第三时刻,该设备再次地没有认识到该场景已经相对于初始时刻而转动了180°。
如图2所示,当再现视频时,图像的取向是不正确的,并且用户将不得不手动转动设备以便遵从视频再现的取向。
该问题的一个解决方案是限定并引入要关联于多媒体文件F的新类型的动态元数据MD:所述动态元数据MD的值能够根据由包含于该设备中的各个传感器所返回的数据而被更改。
图3中限定了动态元数据MD的结构的一个例子。特别地,在该图中可以看到,除了典型的静态元数据的列(条目、标签、值、含义、格式、组成)之外,已经引入了附加的列“动态”,其可能值是“是”或“否”。
当对应于特定元数据的列“动态”的值为“否”时,该元数据必须被看作是静态的并且必须被像这样被处理。当对应于特定元数据的列“动态”的值为“是”时,该元数据必须被看作是动态的。
当元数据为动态时,所述设备必须期望最初在图3的列“值”中指示的元数据的值将被更新。
该元数据的更新值必须被加入元数据文件F中并且必须通过由相关传感器(三轴陀螺仪、加速计、接近度传感器、环境光传感器、GPS定位器)检测到的数据而被更新。当所述设备获取更新的元数据MD时,它将相应地运转:例如,如果取向更改,则该设备可以转动在屏幕上显示的图像,或者如果场景的亮度在拍摄期间更改,则该设备可以在回放期间根据从环境光传感器获得的值来适配屏幕亮度。在又另一个例子中,所述设备可以显示视频,并且同时通过使用提供与从GPS定位传感器或定位器获得的GPS坐标有关的信息的动态元数据MD来指示在数字地图上的运动中的拍摄的准确点。
本发明实现的另一个例子是借助于运动传感器(例如,加速计)来当记录时动态地获取拍摄设备所经历的加速或减速运动,所述运动传感器例如为用于检测以运动的照相机来拍摄照片这一情形的传感器。所述再现设备获取指示当拍摄时拍摄设备所经历的加速或减速运动的动态元数据MD,并且因而能够采用适当的对策来减少由于不规则运动的图像所导致的干扰效应。这种对策可能例如在于自动地降低视频内容的再现速度,或也在于复制形成正被再现的视频流V的顺序图像中的一些。视频序列的图像的复制或速度降低的比率可以有利地根据由相应元数据指示的线加速度的或角加速的量而改变(特别是以与其直接成比例的方式),从而获得最有效的再现适配。
在一个特定示例中,动态元数据MD的更新值被加入压缩多媒体流FF中,特别是加入多媒体流FF的信令字段中。术语“信令字段”在这里是指用于加入与多媒体流FF的一部分有关的控制数据和/或信令的流FF或多媒体文件F的空间的一部分。
作为例子,在被压缩成H.264格式的多媒体内容中,动态元数据MD的更新值可以被加入信令字段SPS(序列参数设定)中或信令字段PPS(图片参数设定)中。
在另一个特定示例中,动态元数据MD的更新值被加入未压缩多媒体流FF中,特别是加入多媒体流FF的信令字段中。
在另一个例子中,更新的元数据MD可被加入多媒体流FF的容器(多媒体容器格式的一些例子是AVI、MKV、3GP、MOV、WMV等)的信令字段中。将元数据MD加入多媒体容器使之能够与被置于多媒体容器中的视频或音频的压缩率无关地使用动态元数据MD。
在另一个例子中,动态元数据MD的更新值被加入多媒体文件F中的包含多媒体文件F的字幕或章节信息的相同部分。
元数据的更新值必须至少包含其用途是标识元数据MD的字段“标签”或等同物以及其指示了元数据MD的更新值的字段“值”或等同物。以这种方式,设备能够容易地标识元数据MD及其更新值。包括值“值”或等同物的字段可以作为替代包含元数据MD的值与同一元数据MD的在先值之差;通常,这使之能够减少用于代表它所需要的比特数。
动态元数据MD能够以不同的频率被加入。典型地,视频内容是由可以被编码、压缩和加入容器格式中的固定图像的序列(或流)构成的,该容器格式也可以包括关联于视频内容V的音频信号A。为了实现本发明,元数据以时间公差动态地关联于它们所指代的图像是必要且足够的,该时间公差可以取决于许多因素,例如元数据MD的变化速度(即,由各个传感器检测到的拍摄参数更改的速度)。
特别地,在由传感器检测到的值的极端时间变化性的情况下,即当它们可能从一个图像到下一个图像而改变时,动态元数据MD可以关联于构成视频内容的序列中的每个图像。然而,在最通常的情况下,在固定且预定数目的图像(例如,每16个图像)之后加入一个新的元数据MD可能就足够了,或者这可以以特定的时间频率(例如每秒一次)来进行。
以与本发明目的完全无关的方式,元数据MD的加入频率可以是可变的并且例如取决于其值的变化程度。例如,可以确立与特定参数有关的一个元数据只有在与先前值的差异很大的情况下才加入,以便表明较小差异的值不被加入元数据内容。如果加入频率是固定的,则所述再现设备能够根据多媒体内容中特定点处的元数据MD值的缺席来推断该元数据还没有针对序列中的图像组或该图像而被更改。此外,所加入的元数据值也可以是相对于与之前加入的值的偏差或者差值,从而减少用于代表相应数值所需要的比特数。
作为可替代方案或附加地,所述频率可以由记录设备的用户来设定或更改。同样,预定(默认)的元数据加入频率可以在产生阶段被设定,并且用户可以被允许例如在适合于有关元数据MD的特定值范围内更改该默认值。
实际上,显然,与拍摄位置有关的元数据MD例如通常比环境光或取景定向(frame orientation)具有更小的可变程度。因此,以比与亮度或取景定向相关的元数据更短的频率来加入定位相关的动态元数据MD是适当且有利的。
元数据检测和加入的频率可以针对每个元数据MD而不同,或者为了使得操作更简单,它可以针对由拍摄/记录设备所处理的元数据MD中的一些或全部是相同的。
图4示出了用于拍摄/记录多媒体内容的设备1的基础结构。它包括检测必须被监视的参数值(GPS位置、设备1的取向、环境亮度、加速度等)的一个或多个传感器3。这些传感器3中的一些也可以关联于或包含于多媒体内容获取设备5(例如图4中未显示但图8中显示的CCD或CMOS视频捕获传感器5或音频捕获麦克风6)中。所述传感器所检测的值在必要时在调节和适配单元9的介入下经由数据连接线而被发送到数据控制和处理单元7,该调节和适配单元9允许例如更改传感器的操作模式(采样率、灵敏度等)并且对所检测的值执行任何预处理(采样、量化、缩放转换、放大等)。所述调节和适配单元9也可以不存在,或可被构建在传感器3本身中,它们将与该传感器一起形成单个功能块。
数据控制和处理单元7将由传感器3检测的元数据值加入到来自设备5的多媒体文件F中,该设备5正按照当前有效模式和规则捕获其内容(例如视频和音频)。关于所述模式的信息可以被存储到设备1的存储器11中,并且也可以包括使用的元数据标准(EXIF、IPTC、所有权)。
拍摄/记录设备1的操作通常能够通过交互式菜单和控制装置(键盘、触摸屏等)的组合使用而被控制,用户能够通过该控制装置发出命令并且调节功能。可以有利地假定,设备1在所述菜单的画面之一中显示用于获取传感器3的动态元数据MD的当前有效操作参数,并且允许在适当的时候通过关联于设备1的控制装置来更改所述参数的值。当记录/捕获多媒体文件F时,这个操作可以被禁止。如果动态元数据MD的加入被认为是无用的或者如果期望保持与现有静态元数据的最大兼容性,则用户甚至可以被允许去激活动态元数据MD的加入。
还可想到,用户能够去激活针对特定元数据的动态捕获模式或甚至能够直接设定其值;所述值可以在整个捕获会话的持续期间是固定的、或者直到拍摄/记录设备1关闭或直到用户进行新的设定之前是固定的。
数据控制和处理单元7可以通常包括一个或多个集成电路,该集成电路监督设备1的操作并且协调由经由信令和控制连接与它相连的各种相关单元所执行的操作,其中该信令和控制连接仅在图4及后续图中部分地示出。它能够部分地以软件形式被实现为驻留在操作存储器(FPGA、ASIC)中的一组程序指令,该操作存储器的模式和结构是本领域技术人员已知的。
数据控制和处理单元7存储包含动态元数据MD的多媒体内容,该多媒体内容之前在其自己的控制下被加入存储器MMM中作为多媒体文件F,可能在容器(例如WMV、AVI、TS、MKV)内被压缩和编码(例如MPEG2、MPEG4),并且因此它也可以执行相关的编码和压缩操作。存储器11可以是适于包含多媒体文件的任何存储器;它因而可以例如是易失型或非易失型的、RAM或ROM型的、半导体型的(CMOS、闪存)、磁类型的(硬盘)、光学类型的(CD、DVD、蓝光光盘)、可移除类型的(USB密钥)或不可移除类型的(RAM芯片)。
图5示出了作为图4的替代的拍摄/记录设备1’的实施例。在该设备1’中,加入由传感器3检测到的元数据的任务由专用加入单元13执行,该专用加入单元接收由传感器3检测的值和由多媒体内容获取设备(例如,图5的视频获取设备5和未示出的音频获取设备)捕获的多媒体内容。加入操作是在数据控制和处理单元7的控制下进行的,该单元因而没有由于以“飞速写入方式(on the fly)”加入动态元数据MD所必需的严格实时操作而变得过分地过载。此外,此加入单元13也可以执行对于本发明的目的而言不太重要的其他功能,例如模数转换、视频以及可能音频、多媒体数据的编码和压缩、插入容器格式等等,其在图4所示的布局中是由数据控制和处理单元7执行的。
图6示出了根据本发明的再现设备14的第一实施例。
让我们假设再现设备14的用户已经发出了再现包含在存储器11’中的多媒体文件F的命令。数据控制和处理单元7’从存储器11’获取多媒体文件F,提取包含于与所述多媒体文件F相关联的多媒体流FF中的动态元数据MD,并且从那里获取调节信号CS,该信号然后被发送到控制相关联显示设备18(例如屏幕或投影仪)的操作的视频处理器16。继而,视频处理器18接收从存储器11’读取的多媒体流FF,并且根据接收自数据控制和处理单元7’的调节信号CS来适配多媒体流FF的再现模式。单元7’与处理器16之间的交互以如下方式进行,即,使得多媒体流FF由再现设备14以动态适配于由记录设备1加入的动态元数据MD的值的方式来再现。
例如,如果包含由相应传感器3检测到的场景平均亮度值的元数据减小,则由设备14进行再现的亮度将自动增加以补偿观众所感知到的降低的可见性,然后如果场景亮度增加则将再次减小。在其中多媒体内容的一部分是由拍摄设备1以非常突然和不连续的运动来拍摄的情况下,根据预设准则,再现设备14可以例如以与由拍摄设备1的相应传感器3检测的加速速率成比例的方式自动减缓视频再现速度,该加速速率能够根据由该拍摄设备1相应地加入多媒体流FF中的元数据来推知。
因此,数据控制和处理单元7’根据关于多媒体内容的再现与提供关于其拍摄或捕获条件的信息的元数据值的适配的预先确立的规则,控制多媒体流FF的再现。这些规则可以当制造设备14时被确立并且可以由用户至少在特定的预定限制内修改。例如,用户可以被允许更改再现亮度与由传感器检测的拍摄亮度的适配程度,或者通过相应元数据检测到的运动速度与由显示设备18在回放期间引入的速度降低之间的比例率。
再现设备14也可以利用动态元数据MD的内容来添加更新信息至正被再现的图像中。例如,当再现在行驶车辆中捕获的多媒体流FF时,再现设备14可以从包含当拍摄时由包含于根据本发明的记录设备1中的GPS定位传感器3所提供的定位信息的元数据动态地获得拍摄多媒体内容的位置。因此,有可能通过适当的处理来在地图上绘出取得多媒体流FF的一系列位置,由此大大增加了视频流V的信息内容并且使得观众例如在可见性不良的情况下更容易识别出位置,或者在通常在实践中所发现的其中关联于档案中的多媒体内容的元数据能够被标索引并且由用户搜索的情况下从档案中检索在预定地理区域(街道、行政区等)中捕获的多媒体内容。
再现设备14的操作通常能够通过组合地使用交互式菜单和控制装置(键盘、触摸屏等)来被控制,用户能够通过该控制装置发出命令并且调节功能。可以有利地设想,设备14在所述菜单的画面之一中示出对于使用可能在视频流V中找到的任何元数据而言当前有效的操作参数(再现与拍摄条件的适配,或附加信息的可视化),并且在适当的情况下允许通过关联于设备14的控制装置来更改这种参数的值。
至于与根据所捕获的多媒体内容中的亮度变化而进行自动再现适配有关的那些操作参数,可以在设备14的交互式菜单的特定页面上显示包含在最小和最大值之间(例如1-10)的且可调节的数值,该数值代表了由设备14应用的适配/补偿的程度。作为可选方案或附加的,也可以采用图形元素,例如具有与所应用的适配率成比例的长度的刻度条。对于更高的数值(或更长的条)而言,在平均图像亮度中存在相同减少时将由所述再现设备应用更大的动态亮度增加;在平均图像亮度过度增加的情况下将应用相反的情形。
用户甚至可以被允许例如通过如下操作来完全禁止所述适配:加入数值0(零)、将条调整为零长度或将在被去激活时禁止调整适配率的可能性的指定菜单选项设为OFF(关闭)。
另一个重要的例子是适配于视频图像的取向方向。典型地,在显示设备上再现的多媒体流FF的视频内容具有几乎是矩形的形状并且可以取四个不同的取向:水平、垂直、水平倒置和垂直倒置。相反,用户可以在拍摄设备上设定的转动角度是完全任意的,因为它既可以是正的也可以是负的并且能够取任何绝对值。再现设备14必须从相关动态元数据MD的值判定当再现多媒体流FF时是否以及何时根据检测到的转动变化来执行视频图像显示取向方向的任何适配。例如,为了更改正被显示的图像的取向方向,必须判定哪个转动阈值必须被检测到以及该阈值必须被持续超出多久(“滞后现象”)。
通过适当地对数据控制和处理单元7’编程,能够在制造设备14时对这些操作参数编程。作为可选方案,例如通过限定与由再现设备14进行的对显示取向方向的几乎动态的适配相对应的预设操作配置文件,可以使这些操作参数至少部分可由用户修改。例如,可以采用这样的值:其描述这种配置文件(“保留”、“平均”、“动态”)并且关联于逐渐减小的转动阈值和滞后值,导致视频再现与拍摄的适配率的增加;然而,这同时也导致了更高的引入无用或干扰适配的风险,例如如果用户仅轻微地或在非常短的时间内转动拍摄设备1,而这实际上并不需要更改显示取向方向。适配过程甚至可以被去激活,如针对关于亮度适配的示例所显示的那样。
另外,用于将再现适配于捕获模式的操作参数可以在整个再现会话持续期间、或直到设备被关闭位置、或直到用户再次设定参数为止保持不变。
再现设备14也可以包括音频再现装置,例如音频处理器(示出为图8中的19’)和发声设备20(例如,扬声器)。分离单元(图中未示出)可以执行将音频流A和视频流V从多媒体流中分离出来的任务,相应的输出连接到各自的音频和视频处理器。
应当指出,本发明同样可适用于由多媒体捕获设备1捕获的多媒体流FF的音频内容。例如,该多媒体捕获设备1可以配备有背景噪声或回声传感器3,其值由设备1的单元7接收,单元7然后以动态元数据MD的形式将该值加入多媒体流FF。在再现期间,再现设备14的单元7’提取与声音内容有关的动态元数据MD,处理它们并且按照有效适配规则而自动地生成适合于声音捕获条件(存在背景噪声和/或回声)的声音再现,发送适当的调节信号CS至负责声音再现设备20的音频处理器。
作为图6所示结构的可选方案,数据控制和处理单元7’可以被插在存储器11’与视频处理器16(和音频处理器,若有的话)之间。在这种情况下,视频流V仅被单元7’获取,该单元7’提取动态元数据MD、处理它们并且按照当前有效的操作模式而生成用于视频处理器的调节信号CS(因而产生了调节后的视频流V’)。在这种情况下,除了再现可能需要的但是与本发明目的无关的任何其他操作(例如解码、数模转换等)之外,单元7’也可以执行视频流V和音频流从多媒体流中的分离。
在第二变型中,单元7’和视频处理器16可以被纳入执行这两个块的功能的单个集成芯片中;这对于小型设备而言是尤其可能的,对于小型设备,能够确保各种电子部件的极度集成是非常重要的。
图7示出了根据本发明的多媒体再现设备14’的第二实施例。它与图6的设备的不同之处在于存在动态元数据提取单元22,其提取动态元数据MD并且在单元7’的控制下将它们发送到单元7’。单元7’因而被解除了执行实时操作(例如,提取动态元数据MD)以及几乎与本发明目的无关的其他功能(例如,解码文件、从容器格式中提取多媒体流FF以及从多媒体流中分离视频流V和音频流A)的负担。图7也示出了将由单元7’分离的音频流导向音频处理器19’的连线,该音频处理器处理所述流A并且使之准备好由例如包括扬声器的声音再现单元20再现。
之前针对拍摄设备1的相应部件7和11所进行的相同考虑也适用于数据控制和处理单元7’和存储器11’。
显示设备18可以是能够显示视频流V的任何设备。因此,它例如可以是CRT、LCD、等离子体、LED或背投屏幕,并且它既可以包含于再现设备14’中也可以是经由任何类型的连接而关联于该再现设备的外部设备,所述连接是有线的(例如HDMI、DVI。显示端口等)或无线的(Wi-Fi、蓝牙等)。
当然,图4或5的捕获设备1可以被构建在包含图6或7的设备14、14’的同一个设备中,这因而创建了多种可能的根据本发明的可能多媒体内容拍摄和再现设备24的多样性。所述设备的一个可能实施例在图8中示出。
所述设备在捕获多媒体内容时的操作将首先被描述。一组传感器3检测与正分别由视频捕获设备5和音频捕获设备6捕获的音频和视频内容相关联的物理量(物理参数)的值。特别地,图8所示的音量传感器从相应传感器3获取音频信号并且测量关联于音频信号的参数(例如背景噪声、声音强度峰值),并且将它发送至加入和提取单元13’。在可能被专用电路调节和适配之后,参数值然后被发送到元数据加入和提取单元13’,其在数据控制和处理单元7’’的控制下,动态地将与按照当前有效规则所获取的值相对应的动态检测到的元数据加入多媒体流FF(音频和视频组合)。然后,单元13’在有或没有来自单元7’’的协作的情况下将音频流A、视频流V和动态元数据MD构成多媒体流FF(例如MPEG传输流),并且将其以多媒体文件F的形式(例如AVI或MKV容器格式)存储在存储器11’’中。
在再现期间,设备24首先通过单元13’提取要被再现为多媒体流FF的多媒体文件F,然后提取拍摄时所加入的动态元数据MD,并且经由用于控制和信令信号的连接将它们传送到数据控制和处理单元7’’。从所接收的动态元数据MD开始,并且根据当前有效规则,单元7’’生成调节和控制信号CS,该信号致使视频处理器16’和/或音频处理器19’根据之前针对多媒体流FF的图像和/或声音所获取的动态元数据MD的值来更改视频和/或音频再现模式。这意味着可以自动地且动态地修改通过其再现多媒体流FF的参数以及仍可以自动且动态地添加当捕获多媒体内容时从传感器3获取的附加信息。
上面关于所述结构内各种功能的分布的可能变化和结构的可能变化的考虑也适用于图8的设备24。特别地,各种任务可以在单元7’’与13’之间被以许多方式划分,使得例如单元13’可以执行所有实时操作,例如从动态元数据的值开始产生用于音频处理器19’和/或视频处理器16’的调节信号CS。在并不特别复杂的设备24中,两个单元24和13’’可以被合并和集成到单个集成电路中。
另外,这两个音频和视频处理器16’、19’可以被合并到单个集成电路中;在这种情况下,该单个集成电路将接收多媒体流FF、从中提取视频和音频信号并且将所述信号传送到各自的再现设备18、20。
设备24的主要优点在于,在该情况下,将元数据加入多媒体流FF中的模式并不十分重要,因为这种模式对于设备而言是已知的,该设备因而能够毫无困难地提取它们。相反,对于不同的拍摄和再现设备,所述模式可能对于一个设备是未知的或它们可能是不同的。然而,为了确保动态元数据MD与当前现有静态元数据之间的最大兼容度,这种模式为后向兼容时是有利的,即它们也能够被根据本发明的不能解释动态元数据MD的再现设备使用。
在本发明的一个可能变型中,包含于迄今为止所描述的设备中的传感器(3)可以被适于从多媒体内容本身中提取捕获条件的单元所替代。例如,该单元可以包括用于通过计算构成正捕获的图像的像素的平均亮度来获得场景亮度并且将它输出到数据处理单元或元数据加入单元的部件;或者它可以包括声音强度峰值检测器,其测量由音频传感器(即麦克风)在特定时间间隔期间检测到的声音信号的峰值并且将它输出到如下的单元,该单元从该峰值获得要以动态元数据形式被加入多媒体文件中的值。