专利名称：一种主副画面实时渲染的拍照方法
技术领域：
本发明涉及一种影像处理方法，更具体地说，涉及一种主副画面实时渲染的拍照方法。
背景技术：
对目前的数码相机拍摄的照片的后期处理，通常都必须复制到电脑上，再用图片处理软件进行影像处理。随着智能移动终端的硬件发展与普及，现有技术也存在一些应用于智能移动终端的图片处理软件，方便实时对智能移动终端的图片进行影像处理，但还是存在不方便之处，比如在网络上分享拍摄的照片，则须拍摄完后，再利用图片处理软件进行影像处理，处理完后再进行分享。为了解决上述不足，现有技术中还存在对摄像头获取的画面进行实时渲染的技术方案，可以对摄像头获取的画面进行简单的实时渲染。但就目前的现有技术看，只存在对摄像头获取的图像进行单一的渲染处理，从美观层面上看，成像结果效果单调，基本没有任何用于修饰的技术特征。中国发明专利申请201110328311.7公开了一种具有画中画视频录制播放功能的数码相机，包括:图像拍摄单元，用于实时采集数码相机外部的影像信息；图像存储单元，与图像拍摄单元相连接，用于预先存储至少一张图片；背景图片设置单元，与图像存储单元相连接，用于根据用户输入的背景图片选择指令，从所述图像存储单元选取一张图片作为背景图片；视频显示窗口处理单元，分别与图像拍摄单元、图像存储单元和背景图片设置单元相连接，用于制作带有背景图片的视频文件，并存储到图像存储单元中。上述发明专利申请的技术方案可以制作具有背景图片的视频文件，使用户在播放视频文件时，可以同时看到背景图片和视频信息，实现画中画播放的功能。但上述发明专利申请的技术方案的背景图片必须预先进行存储，而且效果单一，只能选取预存储的背景，视频布局受限于利用某种算法将视频以某种固定的布局和模式与背景图片叠加在一起。这往往会使合成后的效果看起来单调不搭配，大大的降低了合成质量，极大的限制了用户的需要。如果用户需要在合成的作品上加一些个性化的文字或者个性化的图案以及一些个性化的背景。现有技术将无法满足这些需求，用户如果需要这些效果还需借助第三方软件在拼贴的结果图上进行添加文、图案或者修改背景等二次处理。操作过程非常繁琐，学习成本高。
发明内容
本发明的目的在于克服现有技术的不足，提供一种简单易用、布局不限、可自动进行添加文字、图案和背景、将同一影像经过不同处理合成显示具有画中画效果的主副画面实时渲染的拍照方法。本发明的技术方案如下:一种主副画面实时渲染的拍照方法，步骤如下:
I)加载主画面数据模板、初始化渲染环境、创建数据缓冲区、加载滤镜脚本；2)获取主画面原始影像，拷贝主画面原始影像生成副画面原始影像；3 )主画面数据模板转换成窗口中的图块,将主画面原始影像合成到图块中，生成主画面渲染影像；4)将副画面原始影像加载到数据缓冲区，并通过滤镜脚本进行渲染，生成副画面渲染影像；5)将主画面渲染影像与副画面渲染影像合成，在窗口中显示。作为优选，主画面数据模板包括图块位置信息、图块形状掩码图，根据图块位置信息，对主画面原始影像进行裁减或缩放，截取图块范围内的影像，然后根据图块形状掩码图对图块范围内的影像进行透明度设置，形成与图块形状掩码图的状态对应的可见区域。作为优选，主画面数据模板还包括修饰图案，主画面原始影像与图块形状掩码图的状态对应的可见区域合成到修饰图案的显示区域中。作为优选，当图块形状掩码图为多个不连续的可见区域时，则将图块内的主画面原始影像在除多个不连续的可见区域外的位置进行透明度设置。作为优选，更换主画面数据模板的步骤如下:Al)清除窗口影像；A2)加载欲替换的主画面数据模板，转换成窗口中的图块；A3)将主画面原始影像合成到图块中，生成新的主画面渲染影像；A4)将新的主画面渲染影像与副画面渲染影像合成，在窗口中显示。作为优选，步骤Al)中，清除影像前，先把当前的主画面原始影像保存至影像缓存区，步骤A3)中，读取保存在影像缓存区的主画面原始影像，合成到图块中，生成新的主画面渲染影像。作为优选，步骤Al)中，清除影像前，先把当前的副画面渲染影像保存至影像缓存区，步骤A4)中，读取保存在影像缓存区的副画面渲染影像，与新的主画面渲染影像合成。作为优选，步骤Al)中，清除影像前，先把当前的副画面原始影像与对应的滤镜脚本保存至影像缓存区，步骤A4)中，读取保存在影像缓存区的副画面原始影像与对应的滤镜脚本，进行渲染后，与新的主画面渲染影像合成。作为优选，更换滤镜脚本的步骤如下:BI)暂停获取副画面原始影像数据流；B2)删除当前滤镜脚本，并加载新的滤镜脚本；B3)加载滤镜脚本所使用的素材；B4)继续获取副画面原始影像数据流，对副画面原始影像进行渲染。作为优选，如果图块位置信息、图块形状掩码图、修饰图案的分辨率超出显示窗口的分辨率，则进行分辨率变换，实现在窗口中完整显示。作为优选，拷贝主画面原始影像生成副画面原始影像后，允许对主画面原始影像进行放缩操作。作为优选，对获取的每一帧影像，均进行步骤3)至步骤5)操作，并在窗口中实时显不O本发明的有益效果如下:
本发明所述的方法对同一个影像经过不同处理以主画面和副画面的形式在同一屏幕上显示；主画面的显示是基于主画面数据模板(包括图块位置信息、图块形状掩码图、修饰图案)，位置信息决定显示位置，掩码图决定显示形状；效果新颖，整体美观，主题突出鲜明。本发明所述的方法在拍照过程中，可以看到副画面跟着主画面实时变化，背景不是静止的，显示实时效果，所见即所得，方便使用。本发明所述的方法在拍照过程中允许替换幅画面滤镜脚本、允许替换画中画素材、允许对主画面进行放缩操作，产生不同效果的副画面、画中画效果，选择多样化，而且用户体验性能优秀，达到易用性最大化。
图1是修饰图案的实施例，图中黑白小方格表示具有一定透明度；图2是图块形状掩码图的实施例，图中黑白小方格表示具有一定透明度；图3是本发明的效果图的实施例，图中副画面渲染影像使用了模糊滤镜。
具体实施例方式以下结合附图及实施例对本发明进行进一步的详细说明。本发明所述的主副画面实时渲染的拍照方法，将最终影像分为主画面区域以及剩余的副画面区域，对副画面原始影像的处理基于OpenGLES, D3D等渲染平台。本发明所述的方法步骤如下:I)加载主画面数据模板(包括图块位置信息、图块形状掩码图(如图2所示)、修饰图案(如图1所示))、初始化渲染环境(包括OpenGL ES，D3D等渲染环境)、创建数据缓冲区、加载滤镜脚本；2)获取主画面原始影像，拷贝主画面原始影像生成副画面原始影像；3)主画面数据模板转换成窗口中的图块，将主画面原始影像合成到图块中，生成主画面渲染影像；4)将副画面原始影像加载到数据缓冲区，并通过滤镜脚本进行渲染，生成副画面渲染影像；5)将主画面渲染影像与副画面渲染影像合成，在窗口中显示，合成的效果如图3所示。主画面数据模板包括图块位置信息、图块形状掩码图、修饰图案。修饰图案则是除图块及影像和副画面渲染影像以外，附加的装饰图片或文字，如与图块轮廓一样的图形边框，修饰性文字等，修饰图案可以是多个不连续区域。图块个数决定获取的主画面原始影像在同一窗口中的主画面区域中，最终显示的多少图块。图块位置信息决定当前图块的显示位置，本实施例的主画面数据模板只配置了一个图块位置信息，用来指示要把主画面影像缩放的大小，然后合成到修饰图案的哪个位置。图块形状掩码图决定当前图块最终的显示形状，用来指示经过缩放的与修饰图案中那个区域等大的主画面原始影像每像素的透明度值(哪些位置是要设置成透明的，哪些位置是要显示出来)。设置完透明度后主画面原始影像的形状就跟修饰图案中的形状一样。由于修饰图案可能是多个不连续区域而且每个区域的形状可能都不同，则此时图块形状掩码图就要与修饰图案的多个不连续区域对应，对图块内的主画面原始影像在除多个不连续的可见区域外的位置进行透明度设置。即图块里面有多少个可见区域，每个可见区域的形状又是什么样子的，都可以通过图块形状掩码图来限定。然后，把图块内经过图块形状掩码图设置透明度后的主画面原始影像合成到修饰图案中，即将主画面原始影像处理成为主画面渲染影像。为了达到更易用的效果，与尝试多种不同的显示效果，本发明所述的方法可以在取景过程中更换主画面数据模板，步骤如下:Al)清除窗口影像；A2)加载欲替换的主画面数据模板，转换成窗口中的图块；A3)将主画面原始影像合成到图块中，生成新的主画面渲染影像；A4)将新的主画面渲染影像与副画面渲染影像合成，在窗口中显示。如果不想改变当前获取的影像，只想进行主画面数据模板的修改，在步骤Al)清除影像前，先把当前的主画面原始影像保存至影像缓存区，步骤A3)中，读取保存在影像缓存区的主画面原始影像，合成到图块中，生成新的主画面渲染影像。即不改变也不会失去已经获取的影像，只更换主画面的显示效果，不必担心因为更换主画面数据模板而失去当前获取的影像。步骤Al)清除影像前，先把当前的副画面原始影像与对应的滤镜脚本保存至影像缓存区，步骤A4)中，读取保存在影像缓存区的副画面原始影像与对应的滤镜脚本，进行渲染后，与新的主画面渲染影像合成。即可以节省再进行一次主画面原始影像复制工作，与滤镜脚本加载操作，在一定程序上节省设备的硬件资源，实现硬件性能的优化。为了更进一步地节省设备的硬件资源，实现硬件性能最优化，在步骤Al)清除影像前，先把当前的副画面渲染影像保存至影像缓存区，步骤A4)中，读取保存在影像缓存区的副画面渲染影像，与新的主画面渲染影像合成。即不需要再对副画面原始影像进行重新渲染，从数据缓冲区读取后，可立即用于画面合成。为了达到尝试多种不同的显示效果，本发明所述的方法可以在取景过程中更换滤镜脚本，步骤如下:BI)暂停获取副画面原始影像数据流；B2)删除当前滤镜脚本，并加载新的滤镜脚本；B3)加载滤镜脚本所使用的素材；B4)继续获取副画面原始影像数据流，对副画面原始影像进行渲染。由于终端设备的硬件参数不尽相同，不同设备的显示窗口分辨率大小不一，如果本发明所述的方法只固定一种分辨率，则应用范围及可用性将受到影响。因此，在本发明所述的方法中，如果图块位置信息、图块形状掩码图、修饰图案的分辨率超出显示窗口的分辨率，则进行分辨率变换，实现在窗口中完整显示。还可以根据图块位置信息，对主画面原始影像进行裁减，截取图块范围内的影像，然后根据图块形状掩码图对图块范围内的影像进行透明度设置，形成与图块形状掩码图的状态对应的可见区域。当图块形状掩码图为多个不连续的可见区域时，则将图块内的主画面原始影像在除多个不连续的可见区域外的位置进行透明度设置。拷贝主画面原始影像生成副画面原始影像后，为了使主画面原始影像适应图块形状的限制，或者由于更新主画面数据模块，引起的主画面原始影像显示不全或过小等问题，本发明所述的方法允许对主画面原始影像进行放缩操作，以使得主画面原始影像能够适应各种不同的主画面数据模块。本发明所述的方法对获取的每一帧影像，均进行步骤3)至步骤5)操作，并在窗口中实时显示。用户可以实时看到主画面原始影像在主画面数据模板下、副画面原始影像在滤镜脚本的渲染下的实时效果，方便用户取舍。上述实施例仅是用来说明本发明，而并非用作对本发明的限定。只要是依据本发明的技术实质，对上述实施例进行变化、变型等都将落在本发明的权利要求的范围内。
权利要求
1.一种主副画面实时渲染的拍照方法，其特征在于，步骤如下: 1)加载主画面数据模板、初始化渲染环境、创建数据缓冲区、加载滤镜脚本； 2)获取主画面原始影像，拷贝主画面原始影像生成副画面原始影像； 3)主画面数据模板转换成窗口中的图块，将主画面原始影像合成到图块中，生成主画面渲染影像； 4)将副画面原始影像加载到数据缓冲区，并通过滤镜脚本进行渲染，生成副画面渲染影像； 5)将主画面渲染影像与副画面渲染影像合成，在窗口中显示。
2.根据权利要求1所述的主副画面实时渲染的拍照方法，其特征在于，主画面数据模板包括图块位置信息、图块形状掩码图，根据图块位置信息，对主画面原始影像进行裁减或缩放，截取图块范围内的影像，然后根据图块形状掩码图对图块范围内的影像进行透明度设置，形成与图块形状掩码图的状 态对应的可见区域。
3.根据权利要求2所述的主副画面实时渲染的拍照方法，其特征在于，主画面数据模板还包括修饰图案，主画面原始影像与图块形状掩码图的状态对应的可见区域合成到修饰图案的显示区域中。
4.根据权利要求2所述的主副画面实时渲染的拍照方法，其特征在于，当图块形状掩码图为多个不连续的可见区域时，则将图块内的主画面原始影像在除多个不连续的可见区域外的位置进行透明度设置。
5.根据权利要求1所述的主副画面实时渲染的拍照方法，其特征在于，更换主画面数据模板的步骤如下: Al)清除窗口影像； A2)加载欲替换的主画面数据模板，转换成窗口中的图块； A3)将主画面原始影像合成到图块中，生成新的主画面渲染影像； A4)将新的主画面渲染影像与副画面渲染影像合成，在窗口中显示。
6.根据权利要求5所述的主副画面实时渲染的拍照方法，其特征在于，步骤Al)中，清除影像前，先把当前的主画面原始影像保存至影像缓存区，步骤A3)中，读取保存在影像缓存区的主画面原始影像，合成到图块中，生成新的主画面渲染影像。
7.根据权利要求5所述的主副画面实时渲染的拍照方法，其特征在于，步骤Al)中，清除影像前，先把当前的副画面渲染影像保存至影像缓存区，步骤A4)中，读取保存在影像缓存区的副画面渲染影像，与新的主画面渲染影像合成。
8.根据权利要求5所述的主副画面实时渲染的拍照方法，其特征在于，步骤Al)中，清除影像前，先把当前的副画面原始影像与对应的滤镜脚本保存至影像缓存区，步骤A4)中，读取保存在影像缓存区的副画面原始影像与对应的滤镜脚本，进行渲染后，与新的主画面渲染影像合成。
9.根据权利要求1所述的主副画面实时渲染的拍照方法，其特征在于，更换滤镜脚本的步骤如下: BI)暂停获取副画面原始影像数据流； B2)删除当前滤镜脚本，并加载新的滤镜脚本； B3)加载滤镜脚本所使用的素材；B4)继续获取副画面原始影像数据流，对副画面原始影像进行渲染。
10.根据权利要求2所述的主副画面实时渲染的拍照方法，其特征在于，如果图块位置信息、图块形状掩码图、修饰图案的分辨率超出显示窗口的分辨率，则进行分辨率变换，实现在窗口中完整显不。
11.根据权利要求1所述的主副画面实时渲染的拍照方法，其特征在于，拷贝主画面原始影像生成副画面原始影像后，允许对主画面原始影像进行放缩操作。
12.根据权利要求1至11任一项所述的主副画面实时渲染的拍照方法，其特征在于，对获取的每一帧影像，均进行步骤3)`至步骤5)操作，并在窗口中实时显示。
全文摘要
本发明涉及一种主副画面实时渲染的拍照方法，步骤如下1)加载主画面数据模板、初始化渲染环境、创建数据缓冲区、加载滤镜脚本；2)获取主画面原始影像，拷贝主画面原始影像生成副画面原始影像；3)主画面数据模板转换成窗口中的图块，将主画面原始影像合成到图块中，生成主画面渲染影像；4)将副画面原始影像加载到数据缓冲区，并通过滤镜脚本进行渲染，生成副画面渲染影像；5)将主画面渲染影像与副画面渲染影像合成，在窗口中显示。本发明所述的方法简单易用、布局不限、可自动进行添加文字、图案和背景、将同一影像经过不同处理合成显示具有画中画效果。
文档编号H04N5/232GK103139478SQ201310036169
公开日2013年6月5日 申请日期2013年1月30日 优先权日2013年1月30日
发明者张伟, 张长定 申请人:厦门美图网科技有限公司