图像处理装置的制作方法

专利名称：图像处理装置的制作方法
技术领域：
本发明涉及图像处理装置。本发明特别涉及处理具有分层结构的图像 流的图像处理装置。
背景技术：
近年来，随着所谓借助DVD介质、数字广播和网络的开通请求(点 播服务)通信之类基本设施的普及，数字内容的利用在不断增加。因数字 内容不随拷贝发生质量下降，所以它的版权管理变得重要。正当地保护数 字内容等著作物的版权的要求，今后将变得更加强烈。专利文献l中公开 了利用流所具有的拷贝限制信息来禁止复制的方法。 [专利文献1]
特开2001—86444号公报
然而，这种方法是一种只是允许或禁止的规格化处理方式，不能满足 内容提供方和用户双方的各种各样级别的要求。例如，内容提供方仅凭单
纯禁止复制，将会失去商业机会。用户一方也有从基本要求到低价格要 求的种种要求。

发明内容
本发明是借鉴这些状况而进行的，其目的在于提供一种内容提供方 可以灵活进行版权管理的图像处理装置。
本发明的某种形态是图像处理装置。该装置是生成以能译码多种图像 质量的图像的状态而被多路化的编码图像数据的装置，具备附加部，其预
3先把版权级别附加到编码图像数据，以便根据编码图像数据的使用相关的 版权级别，调整图像质量后能读出编码图像数据。由此，与图像质量相对 应的版权管理成为可能。而且，「图像质量」中也可以包含分辨率。「附 加部」也可以是生成编码图像数据流时进行记录的编码部，也可以是编码 后的后处理部。
本发明的其他形态是图像处理装置。该装置是生成以能译码多种图像 质量的图像的状态而被多路化的编码图像数据的装置，其中具备附加部， 其将针对多种图像质量的图像中的至少一个决定的、与该图像使用相关的 版权级别，预先附加到所述编码图像数据中。由此，以图像质量为单位的 版权管理变得可能。例如，可以设置进行版权管理的图像质量和不进行版 权管理的图像质量。
本发明的其他形态是图像处理装置。该装置是处理以能译码多种图像 质量的图像的状态而被多路化的编码图像数据的装置，具备管理编码图 像数据的使用相关的版权级别的管理部；根据版权级别来调整图像质量， 以处理编码图像数据的处理部。由此，根据图像质量级别的版权管理变为 可能。「管理部」可以从编码图像数据的标题获取版权级别，也可以用通 信获取，也可以在插入管理版权的卡等时，从那里获取。
本发明的另一种形态是图像处理装置。该装置是处理以能译码多种图 像质量的图像的状态而被多路化的编码图像数据的装置，其中具备管理 针对多种图像质量的图像中的至少一个而决定的、与该图像使用有关的版 权级别的管理部；根据版权级别执行处理的处理部。根据这个，以图像质 量为单位的版权管理变得可能。「管理部」可以从编码图像数据的标题获 取版权级别，也可以利用通信获取，也可以在插入管理版权的卡等时，从 那里获取。
版权级别可以确定使用编码图像数据时的承诺图像质量级别，也可以 确定利用编码图像数据的用途和承诺图像质量之间的组合。这样，可以进 行灵活的版权级别的设定。
另外，以上的构成要素的任意组合、本发明的构成要素或表现在方法、 装置、系统、记录介质、程序等之间相互置换的形态，作为本发明的形态 也是有效的。根据本发明，内容提供方可以灵活地进行版权管理。


图1是表示图像编码处理的顺序的图。图2是表示第一实施方式的图像处理装置的构成的图。 图3是表示版权级别管理表的一个例子的图。 图4是表示编码图像数据的数据结构的图。 图5是表示第二实施方式的图像处理装置的构成的图。 图6是表示第二实施方式的图像处理装置的工作原理的流程图。 图中10 —子波变换部、12—帧缓冲器、14一量子化部、16—位平 面编码部、18—算术编码部、20—流生成部、22—版权级别管理表、24— 版权级别记录部、30—版权管理部、32—显示部、34—版权级别变更部、 36—操作部、38—图像编辑部、40—认证部、42—记录部、44一通信部、 250—译码单元。
具体实施方式
本发明以从单一的编码图像数据流生成图像质量不同的静止图像、运 动图像的技术为前提。作为一个例子，参照图1简单说明利用Motion 一JPEG 2000方式对运动图像进行编码的方法。图中省略的图像编码装置， 以帧为单位连续地编码运动图像的每一帧，从而生成运动图像编码数据 流。在编码处理开始时，与运动图像的1帧相当的原始图像OI (Original Image) 102被读进帧缓冲器。读入帧缓冲器的原始图像OI，利用子波变 换器来迸行分级。JPEG2000中的子波变换器，利用了Daubechies滤波器。该滤波器在 图像的x、 y各自的方向上，同时起到高通滤波器及低通滤波器的作用， 把一个图像分割为四个频率子波段。这些子波段包括在x、 y两个方向 上具有低频成分的LL子波段；在x、 y任何一个方向上具有低频成分、且 在另一方向上具有高频成分的HL子波段和LH子波段；在x、 y两个方向 上具有高频成分的HH子波段。另外，该滤波器兼有针对x、 y两个方向、 像素数减少l/2的作用。即，各子波段的纵横像素数是处理前的图像的各自的1/2，经一次滤波，分辨率即图像大小获得1/4的子波段图像。在本说 明书中，将对原始图像01接受一次子波变换的图像称为第一分级的图像 WIp以下根据接受子波变换的次数，把第n分级的图像称为WIn。
如图1中所示意的，在第一分级的图像WI, 104中生成四个子波段 LLi、 HL,、 LH!、 HH1Q对第一分级的图像WIi 104实施子波变换，生成 第二分级的图像Wl2 106。在此，二次以后的子波变换，只对前一个分级 的图像中的LL子波段成分进行。因此，在第二分级的图像Wl2 106中， 第一分级的图像WI,的LL,子波段被分解为四个子波段LL2、HL2、LH2、 HH2 。子波变换器执行规定次数滤波，输出各子波段的子波变换系数。图 像编码装置实施其后的量子化等其他处理，最终输出编码图像数据CI (CodedImage)。
为了说明简单，在该例中，图像编码装置对原始图像OI实施三次子 波变换。因此，例如若原始图像01102是1440X960像素，则第一分级的 图像WIi 104的Lb子波段的大小是720X480、第二分级的图像Wl2 106 的LL2子波段的大小是360X240、第三分级的图像WI3 108的LL3子波段 大小是180X120。
对于分级图像需要注意的是原始图像OI中的低频成分，在图l中 出现在偏左上。在图1的情况下，位于第三分级的图像WI3的左上角的
LL3子波段是最低频率，换言之，只要可以获得该LL3子波段，就能再现 原始图像OI最基本的性质。这种观点用于下面的实施方式中。
编码数据流，除了Motion—JPEG2000以外，例如，可以是在一个流 中兼有高图像质量的HD流和低图像质量的SD流的SVC (Scalable Video Codec),也可以是Motion—JPEG。在JPEG中，有每一帧从通过离散余 弦转换获得的系数中、低次项传送过来的方式，按照利用哪一次项的系数 为止进行译码，而可以选择图像质量。根据这些规格，能够把空间分辨率 分级编码。
上述的例子是根据频率分割型的编码而分级的例子。这一点也可以是 根据近似精度提高型的编码而分级。艮卩，通过调整DCT (Discrete Cosine Transform)系数或子波系数的高位的编码位数，从而也能进行不同图像质 量的译码。另外，在JPEG2中，在上述空间分辨率的基础上，可以分级编码依据帧数的调整的时间分辨率。 (第一实施方式)第一实施方式是一种图像处理装置，其生成分级化的编码图像数据 流；附加了与分级化级别的图像相对应的版权级别的编码流。图2是表示第一实施方式的图像处理装置IOO的构成。该构成，在硬 件上可以用任意计算机的CPU、存储器、其他LSI来实现，在软件上可以 通过装载在存储器内的、具有译码功能的程序等来实现。在这里，描绘出 根据这些的协同而实现的功能块。因此，本领域的技术人员可以理解这 些功能块可以只用硬件、只用软件、或这些的组合，以各种各样的形式来 实现。图像处理装置100包括子波变换部10、帧缓冲器12、量子化部14、 位平面编码部16、算术编码部18、流生成部20、版权级别管理表22和版 权级别记录部24。首先，将原始图像01读入帧缓冲器12中。子波变换部10从帧缓冲 器12读出原始图像01，通过子波变换对图像进行递归性变换。如上所述， JPEG2000中的子波变换利用了 Daubechies滤波器。该滤波器是在图像的 纵横各方向起到低通滤波器及高通滤波器的作用，把一个图像分割为四个 频率子波段。各子波段的纵横像素数分别是处理前图像的1/2，经一次的 滤波即可获得分辨率、即图像大小为1/4的子波段图像。这样获得的子波 段图像就暂时存储在帧缓冲器12中。子波变换部10从帧缓冲器12读出如此获得的子波段中、作为最低频 率成分的LL子波段的图像，再次实施滤波处理后，把它进一步分割成LL、 HL、 LH、 HH四个子波段并写进帧缓冲器12。进行规定次数的滤波，最 后滤波生成的LL子波段，作为在原始图像01中最接近于DC成分的图像 而被获得。下面，同一分级的各子波段、即实施了相同次数的滤波而获得 的四个子波段，按照LL、 HL以及LH、 HH的顺序，逐渐含有高频成分， 含有比这些子波段更高频率成分的图像，作为前一个滤波处理获得,四个 子波段接续。这样，通过对最低频率成分重复适用纵横四分割的滤波，从 而在帧缓冲器12中能够获得在纵横四分割的递归性结构中从低频成分到高频成分分级地形成的图像。
量子化部14根据需要，从低频成分开始按顺序对存储在帧缓冲器12 中的分级化图像进行量子化。位平面编码部16是把量子化的、为了算术 编码而被分解为称为编码块的单位的子波段系数，表现为位平面。算术编 码部18对该位平面进行算术编码。流生成部20根据进行过算术编码的位 列，生成位流。经过这样的过程，上述原始图像OI变为编码图像数据CI (Coded Image)。
版权级别管理表22管理对使用该编码图像数据CI的用户许诺的版 权级别。图3表示版权级别管理表22的一例。横轴表示该编码图像数据 CI的用途，纵轴表示与各个用途相对应的允许图像质量级别。在图3中， 在低图像质量、中等图像质量、高图像质量的任何级别中都允许再生。在 高图像质量级别中禁止复制，在低图像质量、中等图像质量级别中允许复 制。在中等图像质量、高图像质量级别中禁止编辑，在低图像质量级别中 允许编辑。在此，所谓编辑是指例如包括从通过数字电视广播而接收的 编码图像数据剪切CM部分的编辑。因此，虽然能够以中等图像质量复制 其数据，但此时，不能剪切CM部分并进行复制。再分配是被禁止的。所 有的图像质量的级别都不能再分配。
复制世代表示复制可能的世代和该世代的允许图像质量级别。对于 第一世代，中等图像质量的复制是可能的，但复制第一世代的复制数据的 第二世代，只有低图像质量的复制是可能的。从第四世代起是不能复制的。 版权级别管理表22对每个用户管理着这样的概要(profile)。另外，对概 要中的各项目，通过管理者的键输入等能够适当更新。
在把上述编码图像数据CI有偿提供给用户方的情况下，根据用户方 支付的金额及线路的设定，能够使用的用途或对应于用途的允许图像质量 级别不同。另外，概要不是按每个用户生成，而可以按每个地域或每个时 间生成。例如，如果生成每个时间的概要，则也可以在用户的内容使用上 设定限制时间。在用户方的装置中，如果构成为若超过某期间就切换概要， 则在该期间以后并不是不能使用所有的内容的处理，而是也可以设定降低 允许图像质量的级别或限制用途形式的时间限制。 《
版权级别记录部24考虑所提供的用户或地域等，把对应的概要的版权级别信息记录在该编码图像数据CI的标题等中。只要把版权级别信息写入标题或其他管理者能够自由设定的区域即可。在设定时间限制等的情况下，附加多个概要的版权级别信息也可以。另外，版权级别管理表22 和版权级别记录部24也可以是外设的独立装置。该装置可以通过连接到 网络，从而在该网络中通信中的上述编码图像数据CI上附加版权级别信 息。图4表示编码图像数据CI的数据结构。图4中的标题表示图像标题。 可以在该标题区域的自由区域里附加所述版权级别信息。在每一帧中，虽 然省略图示，但也附加了帧标题，记述译码所需的信息等。如上所述，当 进行分割频率而生成分级编码图像数据CI的情况下，从每一帧的数据区 域的前端开始，按照直流成分、低频成分、中频成分、高频成分的顺序记 述数据。因此，即使仅在每一帧的前半部分也能再生图像，但成为低图像 质量的图像。随着包括后半部分而进行再生，逐渐变为高图像质量的图像。这样，根据本实施方式，由于内容提供方能够灵洁地设定内容使用的 用途或与该用途相应的允许图像质量级别，所以版权的灵活管理成为可 能。例如，通过解放到某一级别的图像质量为止的使用，从而相反地可期 待减少不正当使用的效果。(第二实施方式)第二实施方式是接受已经分级的编码图像数据流，进行与版权级别相 应的处理的图像处理装置。图5表示第二实施方式的图像处理装置200的构成。图像处理装置200 具备译码单元250。译码单元250具备流分析部252、算术译码部254、 位平面译码部256、逆量子化部258、子波逆变换部260和帧缓冲器262。流分析部252从本装置的记录部42或通信部44接受编码图像数据 CI，对其数据流进行分析。并且，检测包含在该编码图像数据CI的标题 等中的版权级别信息，转送到版权管理部30。算术译码部254对该分析的 结果、判明的应该译码的数据列实施算术译码。位平面译码部256将算术 译码的结果、所获得的数据，按每个颜色成分(Component)以位平匍的形式 进行译码。逆量子化部258对译码后的量子化数据进行逆量子化。子波逆变换部260利用帧缓冲器262，对逆量子化结果所获得的第n分级的图像 WIn实施子波逆变换。对于编码图像数据CI，每次实施子波逆变换就获得 更高位的分级图像，若进行译码直到最高位分级位置，则可以获得译码图 像数据DI (Decoded Image)。版权管理部30管理本装置中利用的编码图像数据CI的版权。它还管 理流分析部252所检测出的版权级别信息；或者通过通信部44，由与内容 提供方的服务器等的对话(session)而获取的版权级别信息。版权管理部 30，在用户使用该编码图像数据CI时，特定与其用途相应的允许图像质 量级别，并且，向子波逆变换部260指定，执行与该图像质量级别相应的 子波逆变换的次数。显示部32显示译码单元250译码过的图像质量级别的译码图像数据 DI。该图像质量级别依据于上述版权级别信息。版权级别变更部264按照 版权管理部30的指示，变更附加在上述编码图像数据CI的标题等中的版 权级别信息。例如，在进行再分配的情况下，或往记录部42复制所述编 码图像数据CI的情况下，根据时间的限制必须变更上述版权级别的情况 下等执行。操作部36是用户接口，向本装置传达来自用户的各种指令。图像编 辑部38剪切上述编码图像数据CI的一部分、或对所述编码图像数据CI 本身实施各种效果处理。这些编辑也按照上述版权级别的信息，由版权管 理部30指定可编辑的允许图像质量级别。认证部40进行变更被版权管理部30管理的上述版权级别信息用的 认证卡的插入或利用了身体特征的生物统计学的认证等。该认证卡通过内 容提供方和用户方预先制定合同，而由内容提供方提供给用户方。例如， 在附加到上述标题等中的上述版权级别信息中，禁止了内容的使用，根据 上述的认证等，就可以进行仅允许使用具有指定用途的某图像质量级别 的处理。记录部42是硬盘驱动器或DVD驱动器等大容量的记录部。通过DVD 介质等，输入上述编码图像数据CI也可以。另外，也能复制到DVD介质 等中。此时也如上所述那样，依据于上述版权级别。通信都44是无线 或有线网络的通信接口、接收广播电波的接收部等。使用这些器件，可以和外部交换上述编码图像数据CI。上述再分配也通过通信部44来进行。图6是表示第二实施方式的图像处理装置的动作的流程图。首先，从 操作部36向版权管理部30输入编码图像数据CI的使用请求(S10)。此 时，由用户指定使用该编码图像数据CI的用途、所希望的图像质量级别。 版权管理部30特定其用途、和对应于该用户的版权级别信息所包含的用 途信息(S12)，核对这些(S14)。在其用途被禁止的情况下(S14的否)， 禁止使用该图像数据(S22)。在其用途没有被禁止的情况下(S14的是)，特定用户希望的图像级 别，和对应于上述版权级别信息所包含的上述用途的允许图像质量级别 (S16)，对这些进行核对(S18)。在所希望的图像质量级别的使用被禁 止的情况下(S18的否)，其图像数据的使用被禁止(S22)。在允许所 希望的图像质量级别的使用的情况下(S18的是)，允许使用其图像数据 的所希望的图像质量级别(S20)。而且，本实施方式的画像处理装置200，只要包括译码单元250和记 录部42和通信单元44中的至少一方，其他部件的组合是任意的即可。例 如，除此之外只包括显示部32的构成也是可能的。另外，不包括显示部 32，而是用于进行复制或图像编辑的装置也可以。这样，根据本实施方式，接受了编码图像数据的用户，不是允许使用 还是禁止使用的二选一的选择，而是尽管用途及图像质量级别受限制，仍 然可以使用其。因此，能够灵活地达到内容提供方的版权保护要求与用户 方的内容使用要求之间的平衡。以上，以几个实施方式为基础对本发明进行了说明。这些实施方式仅 是示例，本领域内的普通技术人员应当理解这些各构成要素和各处理过程 的组合可以有各种变形例，这种变形例也属于本发明的范围。在第二实施方式中，说明了频率分割型的分级化。在这一点上，也可 以利用近似精度提高型的分级。这种情况下，通过废弃子波变换系数的位 列中、规定数的低位，从而可以对各种图像质量级别的图像进行译码。艮P， 通过版权管理部30对位平面译码部256指定变换的位数，从而可以调整 图像质量级别。如果使用这种分级方式，则可以用图像的部分单位对图像质量级别设定差别。这种情况下，对图3所示的管理版权级别信息的表的每个概要， 不仅可以用用途、图像质量级别的2个参数记载，还可以用用途、图像质 量级别、图像部分的3个参数来记载。另外，还可以用图像质量级别、图 像部分的2个参数来记载。这种情况下，内容提供方按照上述的实施方式， 可以更加灵活地管理版权。另外，不同的图像质量级别，不仅是分辨率，实施对压缩率或颜色数 进行分级也可以实现。压縮率若使用JPEG2000的分层功能，则可以实现 分级。彩色图像是用亮度成分和色差成分来表示的，但对色差成分也可以 使用如上所述的分级方法。在上述实施方式中，作为用于图像的编码的空间滤波，说明了子波变 换，但也可以用其他的空间频率变换。例如，也可以使用在JPEG标准中 所使用的离散余弦变换。
权利要求
1、一种图像处理装置，是生成以能译码多种图像质量的图像的状态而被多路化的编码图像数据的装置，其特征在于，包括附加部，其将针对所述多种图像质量的图像中的至少一个图像而决定的、与该图像使用相关的版权级别，预先附加到所述编码图像数据中。
2、 一种图像处理装置，是处理以能译码多种图像质量的图像的状态而被多路化的编码图像数据的装置，其特征在于，具备管理针对所述多种图像质量的图像中的至少一个图像而决定的、与该图像使用有关的版权级别的管理部；和 根据所述版权级别执行处理的处理部。
3、 根据权利要求1或2所述的图像处理装置，其特征在于，所述版权级别决定利用所述编码图像数据时的允许图像质量级别。
4、 根据权利要求1或2所述的图像处理装置，其特征在于，所述版权级别决定利用所述编码图像数据的用途和允许图像质量级 别的组合。
全文摘要
本发明提供一种内容提供方可以灵活地进行版权管理的图像处理装置。本发明的图像处理装置(100)包括子波变换部(10)、帧缓冲器(12)、量子化部(14)、位平面编码部(16)、算术编码部(18)、流生成部(20)，利用这些块把原始图像OI转换为分级变换为编码图像数据CI。版权级别管理表(22)管理向使用该编码图像数据CI的用户允许的版权级别。版权级别记录部(24)考虑所提供的用户或地域等，把对应的概要的版权级别的信息，记录在该编码图像数据CI的标题等处。
文档编号H04N7/24GK101222623SQ20071019947
公开日2008年7月16日 申请日期2005年3月30日 优先权日2004年3月30日
发明者冈田伸一郎, 冈田茂之, 松尾义裕 申请人:三洋电机株式会社