屏幕视频的预测编码的方法与系统的制作方法
【技术领域】
[0001]本揭露涉及一种屏幕视频(screen video)的预测编码的方法与系统。
【背景技术】
[0002]屏幕视频内容编码(Screen Content Coding, SCC)常应用的服务如智能家庭、云端游戏、医疗等的关键技术。屏幕视频内容编码技术是从各种装置的屏幕提取画面，在每单位时间(例如秒)提取多张构成连续画面的视频内容后，将屏幕视频内容进行压缩编码的技术。无线多屏幕画面内容分享的产品如Media Link HD、All share Cast等,为此也订定了屏幕镜射(mirroring)服务的通信标准,如WiF1-显示器的Miracast标准、点对点(peer-to-peer, P2P)无线屏幕录影(wireless screencast),以提供跨平台屏幕内容分享的标准。云端互动式屏幕分享服务平台则可通过互联网(Internet)将远端服务器执行的屏幕画面分享至使用者，让使用者可通过互动界面操控远端服务器，例如云端游戏、云端智能家庭、远端桌面等即是此服务的应用。
[0003]在视频编码过程中，画面间预测编码(Inter-predict1n)及画面内预测编码(Intra-predi ct 1n)扮演重要的角色。画面间预测编码是利用视频内容不同时间点画面内容的关联性(时间关联性)进行压缩编码。画面内预测编码是利用同一张画面内的相邻区域画面关联性(空间关联性)进行压缩编码。视频内容编码一般利用统计参数，判断输入图像中的每一区块是空白、或是非移动区块、或是移动区块，然后挑选相对应的省略模式(Skip mode)、或是画面间编码(Intra coding)、或是画面内编码(Inter coding)。视频内容编码的另一实施范例依据输入图像的特性(例如场景统计)，将此输入图像分类成已事先定义好的类型，然后每一不同类型的图像分配不同的权重并且采用不同的编码参数。
[0004]屏幕视频内容通常包含文字(text)、线条(lines)、计算机图形(graphics)等与一般视频内容迥异的内容。文字、线条、计算机图形等此类内容非自然图像且为高频数据，其特性为容易模糊或消失。目前许多针对屏幕视频内容的编码技术已被提出，而部分编码方法已被视频编码标准如H.265/高效率视频编码(High efficiency video coding,HEVC)米用。
[0005]HEVC有多种编码模式(mode),移动合并模式(mot1n merge mode)是其中一种编码模式，此移动合并模式可从时间上(不同画面)与空间上(同画面邻近区域)共7个位置的移动向量(此7个向量为邻近画面的五个移动向量与参考画面的两个移动向量)中挑出最多五个做为候选者(candidate),例如在可供挑选的为七个编码区块(coding block)中，从同画面邻近区域的多个编码区块中最多挑选4个，从不同画面的同一相对位置各自对应的编码区块中最多挑选一个。但有可能会有一些位置不存在移动向量，所以如果可以选的话，会照特定顺序最多选到五个，然后从这五个中经由比对选出最佳配对的移动向量当成编码结果。此移动向量指向的区域与目前正要编码的区域很相似，可通过如运动补偿的方式达到压缩的效果。
[0006]进阶移动向量预测(AdvancedMot1n Vector Predict1n,AMVP)模式是HEVC 的多种编码模式的其中另一种编码模式，此AMVP模式跟邻近画面的五个移动向量与参考画面的两个移动向量比对，从而挑选出移动向量搜寻的起始点(initial point),也就是说，与移动合并模式从相同的7个位置的移动向量挑出最多两个做为候选者，然后从这两候选者中经由比对选出最佳配对的移动向量当成编码结果。
[0007]上述这些屏幕视频内容的编码技术或产品或其他类似技术及/产品利用视窗屏幕内容的特性，针对图像内编码模式(Intra predict1n)的文字、自然图片、混合自然图片与文字等图像设计独特的画面内编码(Intra coding)。例如,HEVC屏幕视频内容的编码技术针对屏幕视频内容中图像内编码模式的文字、自然图片、混合自然图片与文字混合等图像采用高编码复杂度(例如H.264的数倍)的硬件与高存储器数据存取量(例如双倍速数据传输(Double Date Rat, DDR)存储器频宽的数倍)来执行编码。
【发明内容】
[0008]本揭露的实施例可提供一种屏幕视频的预测编码的方法与系统。
[0009]本揭露的一实施例是关于一种屏幕视频的预测编码的方法。此方法可包含:利用分类器(classifier),将屏幕视频内容中多个编码区块(coding block)分成多种区块类型；以及利用计算装置(computing device)，根据此多个编码区块相对应的此多种区块类型，过滤此多个编码区块的每一编码区块与目前编码区块不同区块类型(block type)的至少一候选区块，并且算出基于类型的移动合并(Type-based Mot1n Merge, TMM)模式的第一候选移动向量集合与基于类型的进阶移动向量预测(Advanced Mot1n VectorPredict1n, AMVP)模式的第二候选移动向量集合。
[0010]本揭露的另一实施例是关于一种屏幕视频编码的系统。此系统可包含分类器、以及计算装置。此分类器将屏幕视频内容中多个编码区块分成多种区块类型。此计算装置根据此多个编码区块相对应的此多种区块类型，过滤此多个编码区块的每一编码区块与目前编码区块不同区块类型的至少一候选区块，并且算出基于类型的移动合并(TMM)模式的第一候选移动向量集合与基于类型的进阶移动向量预测(AMVP)模式的第二候选移动向量集入口 ο
[0011]现在配合下列图示、实施例的详细说明及权利要求书，将上述及本发明的其他优点详述于后。
【附图说明】
[0012]图1是依据本揭露的一实施例，说明屏幕视频内容中的文字图像内容与自然图像内容的一范例示意图。
[0013]图2是依据本揭露的一实施例，说明利用区块分类的屏幕视频的预测编码的组成部分。
[0014]图3是依据本揭露的一实施例，说明一种屏幕视频的预测编码的方法。
[0015]图4是依据本揭露的一实施例，说明一种屏幕视频的预测编码的系统。
[0016]图5是依据本揭露的一实施例，说明分类器的运作。
[0017]图6是依据本揭露的一实施例，说明计算装置执行画面间预测编码时，建置基于类型的移动合并模式的运作流程。
[0018]图7A至图7C是依据本揭露的一实施例，说明计算装置建置基于类型的移动合并模式的移动向量候选集合的一个范例示意图。
[0019]图8是依据本揭露的一实施例，说明计算装置执行画面间预测编码时，建置基于类型的进阶移动向量预测模式的运作流程。
[0020]图9是依据本揭露的一实施例，说明此基于类型的移动向量估计的运作流程。
[0021]图1OA是依据本揭露的一实施例，说明跨边界的区块类型的四种情况。
[0022]图1OB是依据本揭露的一实施例，说明处理跨边界的区块类型的一范例示意图。
[0023]【符号说明】
[0024]100屏幕视频内容110文字图像内容的部分
[0025]120自然图像内容的部分112、132区块
[0026]122文字图像内容1142自然图像内容
[0027]200利用区块分类的屏幕视频的预测编码的运作流程
[0028]210区块类型分类
[0029]220基于类型的移动合并模式
[0030]230基于类型的进阶移动向量预测模式
[0031]240基于类型的快速移动向量估计
[0032]310利用分类器，将屏幕视频内容中多个编码区块分成多种区块类型
[0033]320利用计算装置，依据此多个编码区块相对应的此多种区块类型，对此多个编码区块的每一编码区块过滤与目前编码区块不同区块类型的至少一候选区块，并且算出移动合并模式的第一候选区块集合以及进阶移动向量预测模式的第二候选区块集合
[0034]330依据此编码区块相对应的该区块类型，从搜寻点集合过滤与此目前编码区块不同区块类型的搜寻点，从而搜寻到估计的移动向量
[0035]400屏幕视频的预测编码的系统
[0036]410分类器420计算装置
[0037]412多个编码区块414多种区块类型
[0038]416已编码的参考数据422画面间预测结果
[0039]424辅助信息430画面内预测编码模块
[0040]432画面内预测结果
[0041]501输入区块510颜色计数程序
[0042]C颜色计数
[0043]520判断输入区块内颜色计数C是否大于一阈值Cl
[0044]530决定出输入区块是一类型η的编码区块
[0045]540计数输入区块的内容的频率计数超过η-1个频率计数阈值F1?Flri的计数，从而产生频率直方图
[0046]550依据此频率直方图，决定此