图像拍摄的方法、设备、存储介质和程序产品与流程

图像拍摄的方法、设备、存储介质和程序产品
1.本技术要求于2021年8月12日提交中国专利局、申请号为202110928106.8、申请名称为“图像拍摄防抖的方法、设备、存储介质和程序产品”的中国专利申请的优先权，其全部内容通过引用结合在本技术中。
技术领域
2.本技术涉及计算机技术领域，具体地涉及一种图像拍摄的方法、设备、存储介质和程序产品。


背景技术：

3.手机成像技术日益发达，在日常办公或生活中，人们日渐习惯利用手机随时捕捉生活或工作中的点滴。通常情况下，都是在无外部设备支撑的情况下，直接用手拿起手机进行拍摄。为了得到更清晰理想的成像效果，人们往往会尽可能稳住双手以期能够尽可能稳定拍摄前的拍照预览界面。然而，人手的图像稳定通常都有局限性，无法做到完全静止。因而，手持手机的拍照过程中，不可避免的会伴随着图像抖动。
4.一旦在拍照过程中，身体或手产生了抖动，都会造成图片成像变得模糊。尤其是在拍照预览界面将图像放大一定倍率时，呈现在手机画面的抖动也会被放大，很难得到稳定的拍照预览画面，从而影响用户的使用体验。


技术实现要素：

5.为了解决上述技术问题，本技术提出了一种图像拍摄的方法、设备、存储介质和程序产品。在该方法中，在手持手机拍摄的场景下，根据用户在相机应用拍照预览界面的变焦倍率的不同，对摄像头采集的图像进行处理，进而在该拍照预览界面呈现经过防抖处理后的图像，以减少用户手持手机拍摄时产生的图像抖动，提高了用户体验。
6.第一方面，提供一种图像拍摄方法，显示相机应用的第一预览界面，所述第一预览界面包括第一预览图像，所述第一预览图像为摄像头采集的第一图像经处理后得到的，所述第一预览图像对应第一变焦倍率，所述第一图像对应所述摄像头的第一输出模式；接收用户的第一操作；响应于所述第一操作，显示所述相机应用的第二预览界面，所述第二预览界面包括第二预览图像，所述第二预览图像为摄像头采集的第二图像经处理后得到的，所述第二预览图像对应第二变焦倍率，所述第二图像对应所述摄像头的第二输出模式，其中，所述第二输出模式与所述第一输出模式不同，所述第二变焦倍率与所述第一变焦倍率不同。这样，在手持手机拍照的场景下，在当前相机应用处于第一变焦倍率的第一预览界面时，对应第一输出模式，根据用户的变焦操作，焦距变化至第二变焦倍率，相机应用的拍照预览界面呈现第二预览界面，对应第二输出模式，从而实现了在手持手机拍照时，根据变焦倍率的不同，在拍照预览界面呈现不同的输出模式，通过不同的输出模式，可以优化在不同光照条件下相机应用拍照预览界面图像的分辨率和清晰度。
7.示例性的，相机应用为手机或平板上的系统相机应用。
8.示例性的，第一预览界面和第二预览为相机应用的拍照预览界面。
9.根据第一方面，所述第一输出模式为binning，remosaic，quadra，quadra hdr或stagger hdr之一。这样，通过不同的输出模式，可以优化在不同光照条件下相机应用拍照预览界面图像的分辨率和清晰度。
10.根据第一方面，所述第二输出模式为binning，remosaic，quadra，quadra hdr或stagger hdr之一。这样，通过不同的输出模式，可以优化在不同光照条件下相机应用拍照预览界面图像的分辨率和清晰度。
11.根据第一方面，或者以上第一方面的任意一种实现方式，所述图像拍摄方法还包括，所述第一输出模式或所述第二输出模式基于所述摄像头的拍摄亮度确定。这样，根据不同的拍摄亮度，调整输出模式，提高相机应用拍照预览界面图像的分辨率和清晰度，提高用户体验。尤其适用于夜景场景，例如当需要拍摄室外夜景时，而室内拍摄亮度为亮光，此时，呈现在相机应用的拍照预览界面的图像应为室外的夜景，而由于室内光照，可能会将当前亮度根据室内的亮光判定，从而影响夜景拍摄的效果。本发明的实施例中，在当前场景下，拍照预览界面的拍摄亮度根据室外的亮度确定，即根据室外的夜景而将此时的拍照亮度确定为暗光，从而改变输出模式，提高相机应用拍照预览界面图像的分辨率和清晰度。
12.根据第一方面，或者以上第一方面的任意一种实现方式，所述拍摄亮度基于环境光传感器采集的当前环境光亮度确定。这样，可以精确的反应当前的拍摄亮度，从而根据当前拍摄亮度呈现不同的输出模式，优化在不同光照条件下相机应用拍照预览界面图像的分辨率和清晰度。
13.根据第一方面，或者以上第一方面的任意一种实现方式，所述拍摄亮度基于所述第二预览图像的平均亮度信息确定。这样，可以精确的反应当前的拍摄亮度，从而根据当前拍摄亮度呈现不同的输出模式，优化在不同光照条件下相机应用拍照预览界面图像的分辨率和清晰度。
14.根据第一方面，或者以上第一方面的任意一种实现方式，所述拍摄亮度包括亮光和暗光。这样，根据当前拍摄亮度呈现不同的输出模式，优化在不同光照条件下相机应用拍照预览界面图像的分辨率和清晰度。
15.根据第一方面，或者以上第一方面的任意一种实现方式，当所述拍摄亮度为暗光时，所述第一输出模式为binning。这样，优化在暗光条件下相机应用拍照预览界面图像的分辨率和清晰度。
16.根据第一方面，或者以上第一方面的任意一种实现方式，当所述拍摄亮度为暗光时，所述第二输出模式为binning。这样，优化在暗光条件下相机应用拍照预览界面图像的分辨率和清晰度。
17.根据第一方面，或者以上第一方面的任意一种实现方式，当所述拍摄亮度为亮光时，所述第一输出模式为remosaic。这样，优化在亮光条件下相机应用拍照预览界面图像的分辨率和清晰度。
18.根据第一方面，或者以上第一方面的任意一种实现方式，当所述拍摄亮度为亮光时，所述第二输出模式为remosaic。这样，优化在亮光条件下相机应用拍照预览界面图像的分辨率和清晰度。
19.根据第一方面，或者以上第一方面的任意一种实现方式，所述第一操作包括用于
缩放所述第一预览图像的手势操作、屏幕点击操作或拖拽变焦进度条之一。这样，根据用户的习惯或者手机款式的不同，用户可以通过多种方式对预览图像进行变焦操作，提高了用户体验。
20.根据第一方面，或者以上第一方面的任意一种实现方式，所述第一预览界面及所述第二预览界面的所述拍摄亮度为亮光。
21.根据第一方面，或者以上第一方面的任意一种实现方式，所述方法还包括：响应于所述拍摄亮度切换为暗光时，所述相机应用显示第三预览界面，所述第三预览界面对应所述第一输出模式。这样，根据用户所处拍摄的不同场景，例如用户仍然手持手机拍照时，从亮光环境移动到了暗光环境，此时，根据亮度的不同调整不同的输出模式，优化在不同光照条件下相机应用拍照预览界面图像的分辨率和清晰度。
22.根据第一方面，或者以上第一方面的任意一种实现方式，所述方法还包括：所述第二变焦倍率大于预设切换倍率。这样，当满足预设的变焦倍率时，切换不同的输出模式，提高相机应用拍照预览界面图像的分辨率和清晰度。
23.根据第一方面，或者以上第一方面的任意一种实现方式，所述方法还包括：接收用户的第二操作；响应于所述第二操作，显示所述相机应用的第四预览界面，所述第四预览界面包括第四预览图像，所述第四预览图像为摄像头采集的第四图像经处理后得到的，所述第四预览图像对应第三变焦倍率，所述第四图像对应所述摄像头的第一输出模式，其中，所述第三变焦倍率小于所述预设切换倍率。这样，在用户将变焦倍率调整至小于预设的变焦倍率时，切换不同的输出模式，提高相机应用拍照预览界面图像的分辨率和清晰度。
24.根据第一方面，或者以上第一方面的任意一种实现方式，所述第二操作包括用于缩放所述第一预览图像的手势操作、屏幕点击操作或拖拽变焦进度条之一。这样，根据用户的习惯或者手机款式的不同，用户可以通过多种方式对预览图像进行变焦操作，提高了用户体验。
25.根据第一方面，或者以上第一方面的任意一种实现方式，所述方法还包括：所述第二变焦倍率大于预设防抖倍率，将所述第二图像基于所述第二变焦倍率经由数字变焦及电子防抖进行像素裁剪后得到所述第二预览界面。这样，当第二变焦倍率满足预设条件时，通过isp及eis对摄像头采集的图像进行像素裁剪后，将用户手持手机拍摄时产生的抖动程度降低，提高用户体验。
26.根据第一方面，或者以上第一方面的任意一种实现方式，所述数字变焦包括基于所述第二变焦倍率及所述第二输出模式进行像素裁剪。这样，结合变焦倍率和输出模式进行像素裁剪，可以提高像素裁剪的范围和准确性，将用户手持手机拍摄时产生的抖动程度降低，提高用户体验。
27.根据第一方面，或者以上第一方面的任意一种实现方式，所述电子防抖包括3d陀螺仪、2d图像特征点及图像透视变换，其中所述3d陀螺仪适用于3d图像平滑。这样，通过结合2d和3d的五轴防抖，提高了手持手机拍摄的性能，减少了用户手持手机拍摄时产生的抖动程度，提高用户体验。
28.根据第一方面，或者以上第一方面的任意一种实现方式，所述3d陀螺仪及所述2d图像特征点基于所述第二变焦倍率进行像素裁剪。这样，在用户将拍照预览界面变焦至第二变焦倍率时，通过结合2d和3d的五轴防抖，提高了手持手机拍摄的性能，减少了用户手持
手机拍摄时产生的抖动程度，提高用户体验。
29.根据第一方面，或者以上第一方面的任意一种实现方式，所述图像透视变换包括坐标变换。这样，可以提高像素裁剪的范围和准确性，将用户手持手机拍摄时产生的抖动程度降低，提高用户体验。
30.根据第一方面，或者以上第一方面的任意一种实现方式，所述第二变焦倍率大于预设防抖倍率，将所述第二图像基于所述第二变焦倍率经由数字变焦及电子防抖进行像素裁剪后得到所述第二预览界面。这样，通过结合2d和3d的五轴防抖，提高了手持手机拍摄的性能，减少了用户手持手机拍摄时产生的抖动程度，提高用户体验。
31.第二方面，本技术实施例提供一种电子设备，电子设备包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发电子设备执行第一方面任一项的方法。
32.第二方面以及第二方面的任意一种实现方式分别与第一方面以及第一方面的任意一种实现方式相对应。第二方面以及第二方面的任意一种实现方式所对应的技术效果可参见上述第一方面以及第一方面的任意一种实现方式所对应的技术效果，此处不再赘述。
33.第三方面，本技术实施例提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，当其在计算机上运行时，使得计算机执行第一方面任一项的方法。
34.第三方面以及第三方面的任意一种实现方式分别与第一方面以及第一方面的任意一种实现方式相对应。第三方面以及第三方面的任意一种实现方式所对应的技术效果可参见上述第一方面以及第一方面的任意一种实现方式所对应的技术效果，此处不再赘述。
35.第四方面，本技术实施例提供一种计算机程序产品，计算机程序产品包括计算机程序，当其在计算机上运行时，使得计算机执行第一方面任一项的方法。
36.第四方面以及第四方面的任意一种实现方式分别与第一方面以及第一方面的任意一种实现方式相对应。第四方面以及第四方面的任意一种实现方式所对应的技术效果可参见上述第一方面以及第一方面的任意一种实现方式所对应的技术效果，此处不再赘述。
37.在一种可能的设计中，第五方面中的程序可以全部或者部分存储在与处理器封装在一起的存储介质上，也可以部分或者全部存储在不与处理器封装在一起的存储器上。
附图说明
38.为了更清楚地说明本技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
39.图1为本技术实施例提供的一种电子设备示意图；
40.图2为本技术实施例提供的一种电子设备的软件结构框图；
41.图3为本技术实施例提供的一种相机应用拍照预览场景示意图；
42.图4为本技术实施例提供的一种暗光条件下的拍照成像示意图；
43.图5为本技术实施例提供的一种以binning方式输出图像的示意图；
44.图6为本技术实施例提供的一种亮光条件下的拍照成像示意图；
45.图7为本技术实施例提供的一种以remosaic方式输出图像的示意图；
46.图8为本技术实施例提供的一种图像暗亮光切换的示意图；
47.图9为本技术实施例提供的一种图像亮暗光切换的示意图；
48.图10为本技术实施例提供的一种图像输出模式切换的示意图；
49.图11为本技术实施例提供的一种图像防抖的实现示例；
50.图12为本技术实施例提供的另一种图像防抖的实现示例；
51.图13为本技术实施例提供的一种图12的视场角示意图；
52.图14a为本技术实施例提供的一种相机图像位移成像示意图；
53.图14b为本技术实施例提供的另一种相机图像位移成像示意图；
54.图15为本技术实施例提供的一种输入输出图示意图；
55.图16为本技术实施例提供的一种图像处理的逻辑处理示意图；
56.图17为本技术实施例提供的一种不同倍率下输入图与输出图之间的关系示意图；
57.图18为本技术实施例提供的一种数字变焦的实现示意图；
58.图19为本技术实施例提供的一种电子防抖的实现示意图；
59.图20为本技术实施例提供的一种电子防抖算法框架的示意图；
60.图21为本技术实施例提供的另一种实施方式；
61.图22为本技术实施例提供的一种逻辑实现时序示意图；
62.图23为本技术实施例提供的一种不同摄像头切换的示意图；
63.图24为本技术实施例提供的另一种实施方式。
具体实施方式
64.为了更好的理解本技术的技术方案，下面结合附图对本技术实施例进行详细描述。
65.应当明确，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本技术保护的范围。
66.在本技术说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”、“第四”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
67.参见图1，为本技术实施例提供的一种电子设备的结构示意图。电子设备100可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线(universal serial bus，usb)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170a，受话器170b，麦克风170c，耳机接口170d，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194，以及用户标识模块(subscriber identification module，sim)卡接口195等。其中传感器模块180可以包括压力传感器180a，陀螺仪传感器180b，磁传感器180d，加速度传感器180e，距离传感器180f，接近光传感器180g，指纹传感器180h，触摸传感器180k，环境光传感器180l等。
68.可以理解的是，本技术实施例示意的结构并不构成对电子设备100的具体限定。在本技术另一些实施例中，电子设备100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。
69.处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，ap)，调制解调处理器，图形处理器(graphics processing unit，gpu)，图像信号处理器(image signal processor，isp)，控制器，存储器，视频编解码器，数字信号处理器(digital signal processor，dsp)，基带处理器，和/或神经网络处理器(neural-network processing unit，npu)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。例如，处理器110用于执行本技术实施例中的环境光的检测方法。
70.其中，控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。
71.处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。
72.在一些实施例中，处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit，i2c)接口，集成电路内置音频(inter-integrated circuit sound，i2s)接口，脉冲编码调制(pulse code modulation，pcm)接口，通用异步收发传输器(universal asynchronous receiver/transmitter，uart)接口，移动产业处理器接口(mobile industry processor interface，mipi)，通用输入输出(general-purpose input/output，gpio)接口，用户标识模块(subscriber identity module，sim)接口，和/或通用串行总线(universal serial bus，usb)接口等。
73.外部存储器接口120可以用于连接外部存储卡，例如micro sd卡，实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信，实现数据存储功能。例如将音乐，视频等文件保存在外部存储卡中。
74.内部存储器121可以用于存储计算机可执行程序代码，可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令，从而执行电子设备100的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序。存储数据区可存储电子设备100使用过程中所创建的数据。
75.此外，内部存储器121可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，ufs)等。
76.压力传感器180a用于感受压力信号，可以将压力信号转换成电信号。在一些实施例中，压力传感器180a可以设置于显示屏194。压力传感器180a的种类很多，如电阻式压力传感器，电感式压力传感器，电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器180a，电极之间的电容改变。电子设备100根据电容的变化确定压力的强度。当有触摸操作作用于显示屏194，电子设备100根据压力传感器180a检测触摸操作强度。电子设备100也可以根据压力传感器180a的检测信号计算触摸的位置。
77.在一些实施例中，作用于相同触摸位置，但不同触摸操作强度的触摸操作，可以对
应不同的操作指令。例如：当有触摸操作强度小于第一压力阈值的触摸操作作用于短消息应用图标时，执行查看短消息的指令。当有触摸操作强度大于或等于第一压力阈值的触摸操作作用于短消息应用图标时，执行新建短消息的指令。
78.陀螺仪传感器180b可以用于确定电子设备100的运动姿态。在一些实施例中，可以通过陀螺仪传感器180b确定电子设备100围绕三个轴(即，x，y和z轴)的角速度。陀螺仪传感器180b可以用于拍摄防抖。示例性的，当按下快门，陀螺仪传感器180b检测电子设备100抖动的角度，根据角度计算出镜头模组需要补偿的距离，让镜头通过反向运动抵消电子设备100的抖动，实现防抖。陀螺仪传感器180b还可以用于导航，体感游戏场景。
79.磁传感器180d包括霍尔传感器。电子设备100可以利用磁传感器180d检测翻盖皮套的开合。在一些实施例中，当电子设备100是翻盖机时，电子设备100可以根据磁传感器180d检测翻盖的开合。进而根据检测到的皮套的开合状态或翻盖的开合状态，设置翻盖自动解锁等特性。
80.加速度传感器180e可检测电子设备100在各个方向上(一般为三轴)加速度的大小。当电子设备100静止时可检测出重力的大小及方向。还可以用于识别电子设备姿态，应用于横竖屏切换，计步器等应用。
81.距离传感器180f，用于测量距离。电子设备100可以通过红外或激光测量距离。在一些实施例中，拍摄场景，电子设备100可以利用距离传感器180f测距以实现快速对焦。
82.接近光传感器180g可以包括例如发光二极管(led)和光检测器，例如光电二极管。发光二极管可以是红外发光二极管。电子设备100通过发光二极管向外发射红外光。电子设备100使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时，可以确定电子设备100附近有物体。当检测到不充分的反射光时，电子设备100可以确定电子设备100附近没有物体。电子设备100可以利用接近光传感器180g检测用户手持电子设备100贴近耳朵通话，以便自动熄灭屏幕达到省电的目的。接近光传感器180g也可用于皮套模式，口袋模式自动解锁与锁屏。
83.指纹传感器180h用于采集指纹。电子设备100可以利用采集的指纹特性实现指纹解锁，访问应用锁，指纹拍照，指纹接听来电等。
84.触摸传感器180k，也称“触控面板”。触摸传感器180k可以设置于显示屏194，由触摸传感器180k与显示屏194组成触摸屏，也称“触控屏”。触摸传感器180k用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器，以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中，触摸传感器180k也可以设置于电子设备100的表面，与显示屏194所处的位置不同。
85.环境光传感器180l用于感知环境光亮度。电子设备100可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180l也可用于拍照时自动调节白平衡。环境光传感器180l还可以与接近光传感器180g配合，检测电子设备100是否在口袋里，以防误触。
86.按键190包括开机键，音量键等。按键190可以是机械按键。也可以是触摸式按键。电子设备100可以接收按键输入，产生与电子设备100的用户设置以及功能控制有关的键信号输入。
87.马达191可以产生振动提示。马达191可以用于来电振动提示，也可以用于触摸振动反馈。例如，作用于不同应用(例如拍照，音频播放等)的触摸操作，可以对应不同的振动
反馈效果。作用于显示屏194不同区域的触摸操作，马达191也可对应不同的振动反馈效果。不同的应用场景(例如：时间提醒，接收信息，闹钟，游戏等)也可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。
88.指示器192可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，未接来电，通知等。
89.电子设备100通过gpu，显示屏194，以及应用处理器等实现显示功能。gpu为图像处理的微处理器，连接显示屏194和应用处理器。gpu用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个gpu，其执行程序指令以生成或改变显示信息。
90.显示屏194用于显示图像，视频等。显示屏194包括显示面板。显示面板可以采用有机发光二极管(organic light-emitting diode，oled)。在一些实施例中，电子设备100可以包括1个或n个显示屏194，n为大于1的正整数。
91.电子设备100可以通过isp，摄像头193，视频编解码器，gpu，显示屏194以及应用处理器等实现拍摄功能。
92.摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，ccd)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，cmos)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给isp转换成数字图像信号。isp将数字图像信号输出到dsp加工处理。dsp将数字图像信号转换成标准的rgb，yuv等格式的图像信号。在一些实施例中，电子设备100可以包括1个或n个摄像头193，n为大于1的正整数。
93.视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样，电子设备100可以播放或录制多种编码格式的视频，例如：动态图像专家组(moving picture experts group，mpeg)1，mpeg2，mpeg3，mpeg4等。
94.参见图2，为本技术实施例提供的一种电子设备的软件结构框图。分层架构将软件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，将安卓(android)系统分为四层，从上至下分别为应用层、框架层、硬件抽象层和硬件层。
95.应用层(application，app)可以包括一系列应用程序包。例如，该应用程序包可以包括相机应用。应用层又可以分为应用界面(ui)和应用逻辑。
96.相机应用的应用界面包括单景模式、双景模式、画中画模式等，对应于不同的图像或视频拍摄模式。
97.相机应用的应用逻辑包括多摄框架和相机管理。其中，多摄框架包括切换控制模块、surface切换管理模块、多摄编码模块、转场控制模块等。切换控制模块用于控制拍摄模式的切换，例如前摄模式、后摄模式、前后模式、后后模式、画中画模式之间的切换。其中，在拍摄模式切换过程中可能会涉及打开或关闭的特定的摄像头、屏蔽不同芯片平台的硬件差异等。surface切换管理模块用于在拍摄模式切换过程中控制surface切换。在android系统中，surface对应一块屏幕缓冲区，用于保存当前窗口的像素数据。具体地，在图像或视频拍摄过程中，存在预览surface和编码surface，surface切换管理模块用于在拍摄模式切换过程中控制预览surface和编码surface的切换。多摄编码模块用于在拍摄模式过程中进行编码，生成图像或视频文件，即实现拍摄图像或视频的录制。转场控制模块用于在拍摄模式切
换过程中生成转场动效。相机管理包括设备管理模块、surface管理模块、会话管理模块等。
98.框架层(framework，fwk)为应用层的应用程序提供应用编程接口(application programming interface，api)和编程框架，包括一些预先定义的函数。在图2中，框架层包括相机框架和媒体框架。其中，相机框架可以为相机访问接口(camera2 api)，camera2 api是android推出的一套访问摄像头设备的接口，其采用管道式的设计，使数据流从摄像头流向surface。camera2 api包括相机管理(cameramanager)和相机设备(cameradevice)。cameramanager为camera设备的管理类，通过该类对象可以查询设备的camera设备信息，得到cameradevice对象。cameradevice提供了camera设备相关的一系列固定参数，例如基础的设置和输出格式等。
99.媒体框架包括媒体编解码器(mediacodec)、音频录制模块(audiorecord)和视音频复用器(muxer)。其中，mediacodec是android提供的用于对音视频进行编解码的类，它通过访问底层的codec来实现编解码的功能，是android media基础框架的一部分。audiorecord的主要功能是让各种应用能够管理音频资源，以便能够录制硬件所收集的声音。muxer用于将视频压缩数据(例如h.264)和音频压缩数据(例如，aac)合并到一个封装格式数据中。
100.硬件抽象层(hal)是位于操作系统内核与硬件电路之间的接口层，其目的在于将硬件抽象化。它隐藏了特定平台的硬件接口细节,为操作系统提供虚拟硬件平台,使其具有硬件无关性,可在多种平台上进行移植。在图2中，hal包括相机硬件抽象层(camera hal)，camera hal包括图像信号处理器(image signal processor，isp)等。hal还包括集成框架，该集成框架包括电子防抖(electric image stabilization，eis)及图像透视变换等。可理解，该图像信号处理器、电子防抖、图像透视变换为抽象的设备。在图像或视频拍摄场景中，hal会根据上层下发的分辨率以及surface大小创建相应大小的数据流。
101.内核层(kernel)是硬件和软件之间的层。内核层至少包含显示驱动，摄像头驱动，传感器驱动等。
102.参见图3，本技术实施例提供一种图像拍摄的方法，该方法可以应用于用户在手持手机并打开手机相机应用拍照时，在图像缩放过程中，由于手部抖动而造成手机相机应用的拍照预览界面成像不清晰的场景。作为一种示例，用户单手或双手持有手机并打开手机相机应用，在需要图像变焦的拍摄场景，打开相机的图像缩放功能(zoom)以放大图像。由于手部或身体不可避免的抖动，呈现在手机拍照于预览界面的画面会由于晃动而变得模糊。
103.可以理解的，电子设备的形态仅以手机做示例性说明，电子设备也可以是平板电脑，手持计算机等带摄像功能的手持电子设备，在此不作限制。
104.日常生活中，拍照是使用手机最频繁的场景之一。随处可见人们拿起手机随手用手机相机捕捉生活中的点滴。图像防抖是影响成像质量的一个重要因素。图像抖动必然导致成像的图像模糊且清晰度不高。
105.因而，很多具有拍摄功能的智能手机都会在拍照时加入防抖技术，可以降低和避免因拍照时手部抖动等因素造成的画面模糊，从而提高成像的清晰度。
106.例如，光学防抖(optical image stabilization，ois)是相机镜头特殊马达结构实现的物理防抖技术。通过陀螺仪计算拍摄过程中手机的抖动情况，将信号传至微处理器，计算需要补偿的位移量之后，控制镜头移动进行光学补偿，实现防抖。然而，ois局限于小幅
度范围内的抖动，很难弥补大角度抖动。
107.本技术的一种实施方式中，在图像缩放后，为了提高拍照时呈现在手机拍照预览界面图像的清晰度，可以根据拍摄亮度以确定图像的输出模式。拍摄亮度指的是手机的摄像头在拍摄图像时所处环境的亮度。当拍摄所处的环境亮度越亮，则手机拍摄到的图像所获取的光线越多。反之，当拍摄所处的环境亮度越低，则手机拍摄到的图像所获取的光线越少。
108.可选的，根据手机硬件模组中的环境光传感器检测当前环境光亮度以确定当前呈现在相机拍照预览界面的图像的亮度。
109.可选的，根据当前相机拍照预览界面的图像平均亮度信息确定当前呈现在相机拍照预览界面的图像亮度，包括图像的颜色、图像中各个像素点的像素值等。
110.需要说明的是，相机拍照预览界面的亮度检测与判断包括但不限于以上列举的情形。实际使用时，可以根据实际需要采用其他方式获取当前相机拍照预览界面的图像亮度。
111.在确定当前拍摄亮度后，手机选择相应的拍摄模式输出图片以优化在不同拍摄亮度下的清晰度。结合图4，为检测到手机在暗光条件下拍照的成像示例。如图4中的(a)所示，表示的是用户拿起手机打开相机应用时的初始界面。其中，初始界面指的是用户打开相机应用时的初始界面，示例性的，第一预览界面为初始界面，第一变焦倍率为初始变焦倍率，其初始变焦倍率为1倍。此时拍摄亮度为暗光。如图4中的(b)所示，在需要图像变焦的场景，用户执行第一操作，示例性的，第一操作包括用于缩放所述第一预览图像的手势操作、屏幕点击操作或拖拽变焦进度条之一。示例性的，用户触控屏幕以手势控制或点击拍照预览界面的图像缩放(zoom)开关等形式放大图片至需要的倍率，即第二变焦倍率，此时相机应用显示第二预览界面。示例性地，手机默认可以支持的最大倍率为20倍，用户此时将拍照预览界面的图像放大15倍，即图4中的(b)的图像倍率是图4中的(a)的15倍。
112.示例性地，在图4中的(a)所示的初始界面下，相机应用处于拍照预览界面，摄像头采集第一图像，手机在相机应用的初始界面设置为binning模式输出图片，即图4中的(a1)的图片输出模式为binning，即第一输出模式。又由于此时是暗光条件，在手机拍照预览界面的成像图片被放大15倍至图4中的(b)的状态后，摄像头采集第二图像，手机仍然以binning模式输出图片，以保证呈现在手机屏幕上的图像清晰度，即图4中的(b1)的图片输出模式仍然为binning，即第二输出模式。
113.示例性地，第一输出模式为binning，remosaic，quadra，quadra hdr或stagger hdr之一。
114.示例性地，第二输出模式为binning，remosaic，quadra，quadra hdr或stagger hdr之一。
115.binning模式：电子设备在拍摄图像的过程中，目标对象反射的光线被摄像头采集，以使得该反射的光线传输至图像传感器。图像传感器上包括多个感光元件，每个感光元件采集到的电荷为一个像素，并对像素信息执行模拟并合(binning)操作。具体地说，binning可以将n
×
n个像素合并为一个像素。例如，binning可以将相邻的2
×
2个像素合成为一个像素，也就是说，相邻2
×
2个像素的颜色以一个像素的形式呈现。
116.示例性地，接收用户的第二操作，显示相机应用的第四预览界面，第二操作包括用于缩放所述第一预览图像的手势操作、屏幕点击操作或拖拽变焦进度条之一。第四预览界
面包括第四预览图像，第四预览图像为摄像头采集的第四图像经处理后得到的，第四预览图像对应第三变焦倍率。例如，用户将处于图4中的(b)中的第二预览界面通过触控屏幕以手势控制或点击拍照预览界面的图像缩放(zoom)开关等形式缩小图片至需要的倍率，即第三变焦倍率。当第三变焦倍率小于预设条件时，即第三变焦倍率小于预设切换倍率时，例如将第三变焦倍率缩小为1倍时，此时图像显示第四预览界面，摄像头采集第三图像，输出模式为binning，即第一输出模式。
117.示例性地，结合图5所示，为手机获取图像后以binning方式输出图像过程示意图。其中，图5中的(b0)为一个4
×
4的像素示意图，将相邻的2
×
2个像素合成为一个像素。图5中的(b1)为binning方式输出的像素示意图。如，采用binning方式，将图5中的(b0)的01区域中的2
×
2个像素，形成图5中的(b1)中的像素r；将图5中的(b0)的02区域中的2
×
2个像素，形成图5中的(b1)中的像素g；将图5中的(b0)的03区域中的2
×
2个像素，形成图5中的(b1)中的像素g；将图5中的(b0)的04区域中的2
×
2个像素，形成图5中的(b1)中的像素b。
118.其中，以输出图像格式是拜耳阵列(bayer)格式图像为例，bayer格式的图像是指图像中仅包括红色、蓝色和绿色(即三原色)的图像。如，01区域中的2
×
2个像素形成的像素a为红色，02区域中的2
×
2个像素形成的像素b为绿色，03区域中的2
×
2个像素形成的像素c为绿色，04区域中的2
×
2个像素形成的像素d为蓝色。
119.结合图6，为检测到手机在亮光条件下拍照的成像示例。如图6中的(a)所示，表示的是用户拿起手机打开相机应用时的初始界面，即第一预览界面。此时拍摄亮度为亮光。其中，初始变焦倍率为1倍，即第一变焦倍率。如图6中的(b)所示，在需要图像变焦的场景，用户执行第一操作，示例性的，第一操作包括用于缩放所述第一预览图像的手势操作、屏幕点击操作或拖拽变焦进度条之一。用户触控屏幕以手势控制或点击拍照预览界面的图像缩放(zoom)开关等形式放大图片至需要的倍率，即第二变焦倍率，此时相机应用显示第二预览界面。示例性地，手机默认可以支持的最大倍率为20倍，用户此时将拍照预览界面的图像放大15倍，即图6中的(b)的图像倍率是图6中的(a)的15倍。
120.示例性地，在图6中的(a)的初始界面下，手机在相机应用的初始界面设置为binning模式输出图片，即图6中的(a1)的图片输出模式为binning，即第一输出模式。又由于此时是亮光条件，摄像头采集第二图像，在手机拍照预览界面的成像图片被放大15倍至图6中的(b)的状态后，即第二预览界面，手机切换为remosaic模式输出图片，即第二输出模式，以保证呈现在手机屏幕上的图像清晰度，即图6中的(b1)的图片输出模式为remosaic，进一步裁切例如边长的二分之一大小以后，即图6中的(b2)状态，输出图像。
121.示例性地，接收用户的第二操作，显示相机应用的第四预览界面，第二操作包括用于缩放所述第一预览图像的手势操作、屏幕点击操作或拖拽变焦进度条之一。第四预览界面包括第四预览图像，第四预览图像为摄像头采集的第四图像经处理后得到的，第四预览图像对应第三变焦倍率。例如，用户将处于图6中的(b)中的第二预览界面通过触控屏幕以手势控制或点击拍照预览界面的图像缩放(zoom)开关等形式缩小图片至需要的倍率，即第三变焦倍率。当第三变焦倍率小于预设条件时，即第三变焦倍率小于预设切换倍率时，例如将第三变焦倍率缩小为1倍时，此时图像显示第四预览界面，摄像头采集第三图像，输出模式为binning，即第一输出模式。
122.remosaic模式：采用remosaic方式输出图像时，将bayer格式图像重新排列得到
remosaic模式图像。如，假设在图像中一个像素是由n
×
n个像素组成的，那么，采用remosaic可以将该图像中的一个像素重新排列n
×
n个像素。示例性的，如图7中的(b0)为一种像素示意图，每个像素是由相邻的2
×
2个像素合成的。如图7中的(b1)为采用remosaic方式输出的bayer格式的图像示意。具体地说，图7中的(b0)中像素为红色、绿色和蓝色。将图7中的(b0)中的每个像素分为2
×
2个像素，并分别重新排列。即采用remosaic方式输出，输出的图像为图7中的(b1)所示的bayer格式的图像。
123.示例性地，结合图8所示，为图像被缩放至一定倍率后拍摄亮度由暗变亮时的图像输出示例。具体地，当图像被放大至例如15倍时，即由第一变焦倍率放大至第二变焦倍率，即图8中的(a)的状态，由于此时亮度判断为处于暗光状态，因而图片输出模式为binning模式，即图8中的(a1)的模式，即第二输出模式。由于用户手持手机摄像时的移动，即从暗光环境移动到亮光环境，从而导致手机拍摄亮度的变化，此时，当手机检测到亮度为亮光时，相机应用显示第三预览界面，即图8中的(b)的状态，将图片输出模式切换为remosaic模式，即图8中的(b1)的模式，即第一输出模式。
124.示例性地，结合图9所示，为图像被缩放至一定倍率后拍摄亮度由亮变暗时的图像输出示例。具体地，当图像被放大至例如15倍时，即由第一变焦倍率放大至第二变焦倍率，即图9中的(a)的状态，由于此时亮度判断为处于亮光状态，因而图片输出模式为remosaic模式，即图9中的(a1)的模式，即第二输出模式。由于用户手持手机摄像时的移动，即从亮光环境移动到暗光环境，从而导致手机拍摄亮度的变化，此时，当手机检测到亮度为暗光时，相机应用显示第三预览界面，即图9中的(b)的状态，将图片输出模式切换为binning模式，即图9中的(b1)的模式，即第一输出模式。
125.示例性地，在夜间室内拍摄场景下，在室内灯光较为明亮时，手机拍摄室内场景切换为remosaic模式输出图片。然而，此时，当手机需要从明亮的室内拍摄黑暗的窗外场景时，由于检测到窗外亮度较暗，虽然室内灯光明亮，手机在拍摄窗外镜像时，仍然需要切换为binning模式以保证图像成像的清晰度。
126.结合图10所示，为手机根据亮度选择对应的图像传感器配置并出图的逻辑示例。具体地，包括如下步骤：
127.s100：用户打开手机相机应用。此时相机应用显示初始的拍照预览界面，默认的初始界面为图像缩放1倍状态(即1x)，默认的初始图像输出模式为binning模式。
128.s101：用户操作相机的拍照预览界面以放大或缩小实时预览中的画面图像。可以理解的，用户的图像缩放包括触控屏幕的手势操作及点击手机屏幕的图像缩放按钮等。
129.示例性地，本技术的实施例中，以用户将实时在相机应用拍照预览界面的显示图像放大至15倍为例。
130.在图像被缩放至一定倍率时，尤其是当图像被放大至15倍后，由于手持手机造成的手部抖动会比在默认的图像缩放1倍状态下放大15倍，从而使得图像更加抖动而变得模糊和不清晰。因而，可以将缩放后的图像进行清晰度优化。
131.s102：在用户缩放拍照预览界面的实时图像后，手机对呈现在手机屏幕的画面做清晰度优化。
132.具体地，在手机检测到s101中的图像缩放至预设切换倍率后，检测拍摄亮度。
133.可选的，根据手机硬件模组中的环境光传感器检测当前环境光亮度以确定当前呈
现在相机拍照预览界面的图像的亮度。
134.可选的，根据当前相机拍照预览界面的图像平均亮度信息确定当前呈现在相机拍照预览界面的图像亮度，包括图像的颜色、图像中各个像素点的像素值等。
135.需要说明的是，相机拍照预览界面的亮度检测与判断包括但不限于以上列举的情形。实际使用时，可以根据实际需要采用其他方式获取当前相机拍照预览界面的图像亮度。
136.在检测到当前拍摄亮度为暗光时，将图像输出模式设置为binning模式输出图片。
137.在检测到当前拍摄亮度为亮光时，将图像输出模式设置为remosaic模式输出图片。
138.需要说明的是，本技术的实施例中，只有当s101图像缩放至大于预设切换倍率时，才会触发s102。在变焦倍率小于预设切换倍率时，s102输出图像的模式为binning模式输出图片。可选的，预设切换倍率为6-10倍。示例性地，以8倍作为预设切换倍率。
139.作为一种示例，在图像倍缩放至15倍时的暗光条件下，由16mbinning模式将图像像素输出为4608*3456。在图像倍缩放至15倍时的亮光条件下，由64mremosaic模式将图像像素输出为9216*6912，并在此基础上，由图像传感器进一步裁切二分之一至图像像素输出为4608*3456，从而使得在暗光和亮光条件下的输出像素相同。由此，可以节省后续步骤中例如s103中由isp继续裁切图像时的额外功耗。
140.完成上述步骤后，即完成对相机应用拍照预览界面输出图像的清晰度优化之后，手机继续优化呈现在手机屏幕的图像抖动情况。
141.结合图11所示，为本技术实施例的一种图像防抖的实现示例。在用户手持手机拍摄的场景下，相机应用被用户设置为放大15倍以显示远距离的人物。此时，虽然用户存在明显的手部抖动致使图像画面变得模糊，经过本技术公开的图像处理方法后，手机的相机应用呈现的拍照预览界面的图像仍然是稳定的，从而提高了用户拍摄的体验。
142.结合图12所示，为本技术实施例的另一种图像防抖的实现示例。与图11的区别是，在图12中额外在相机应用的拍照预览界面设置了防抖开关。在实时显示的拍照预览未开启防抖功能前，即图12中的(a)的状态，相机应用的拍照预览界面显示的图像随着手机的抖动而抖动，使得呈现在手机屏幕上的图像变得模糊且不清晰。在开启防抖功能后，即图12中的(b)的状态，即使存在手持手机时的手机抖动，仍然能够保证拍照预览界面的图像能够稳定输出。
143.结合图13所示，为图12实施例中视场角(fieldofview，fov)的示例。在响应于用户打开相机应用的操作后，启动摄像头，以单个摄像头为例，可以看到摄像头的拍摄范围。在用户将拍照预览界面的图像放大至15倍后，拍摄范围如图中的fov图像1。fov图像1为摄像头采集得到的图像，经过本技术的图像处理方法后，输出显示在手机的拍照预览界面的图像，即经过图像处理后的fov图像2，即图中的输出图。
144.视场角(fov)：用于指示摄像头在拍摄图像的过程中，摄像头的出图范围。若待拍摄物体处于这个角度范围内，该待拍摄物体便会被摄像头采集到，进而呈现在预览图像中。若待拍摄物体处于这个角度范围之外，该被拍摄设备便不会被图像捕捉装置采集到，即不会呈现在预览图像中。通常，摄像头的视场角越大，则拍摄范围就越大，焦距就越短。而摄像头的视场角越小，则拍摄范围就越小，焦距就越长。
145.在本技术中，也可以将“视场角”称为“视场范围”、“视野范围”等词汇。本文对于“视场角”的名称不作限制，只要表达的是如上的概念即可。
146.需要说明的是，摄像头的数量可以是一个或者多个，在此不做限定。摄像头设置于电子设备的形式不限，可以是内置摄像头也可以是外置摄像头；可以是前置摄像头，也可以是后置摄像头。
147.需要说明的是，当摄像包含多个摄像头时，多个摄像头之间的位置可以任意摆放，例如，摄像头可以位于另一摄像头的左侧或者右侧，摄像头也可以位于另一摄像头的上侧或者下侧。也就是说，本技术不限定摄像模组中任一摄像头与其它摄像头的相对位置关系。
148.结合图14a、图14b及图15所示，为手机在拍摄过程中发生位移的相机图像成像示例。如图14a所示，为手机在拍摄过程中，由于手部抖动造成图像左右位移的场景。经过本技术图像处理的方法后，实时呈现在相机应用的拍照预览界面的图像为稳定的经处理后的fov图像2。如图14b所示，为手机在拍摄过程中，由于手部抖动造成图像上下位移的场景。经过本技术图像处理的方法后，实时呈现在相机应用的拍照预览界面的图像为稳定的经处理后的fov图像2。如图15所示，即fov图像1为输入图，fov图像2为经过本技术图像处理的方法后，呈现在手机屏幕的输出图。
149.结合图16所示，为本技术一种实施例图像处理的逻辑示例。其中，图10详细阐述了步骤s100至步骤s102，此处不再赘述。结合图17-图20，以下具体展开阐述步骤s103至步骤s105。具体地，包括如下步骤：
150.s103：数字变焦包括isp将图像缩放至用户选择的变焦倍率输出。
151.s104：电子防抖包括将接收到的图像做图像防抖处理。
152.s105：将处理后的图像输出至手机相机应用的拍照预览界面实时显示。
153.需要说明的是，s104可以在用户的变焦倍率大于预设防抖倍率时才会开启并对输出图像做防抖处理。一般而言，在变焦倍率小于预设防抖倍率时，由s102输入的图像由s103做数字变焦后输出至s105。可选的，触发s104开启图像防抖的预设防抖倍率为6-15倍。
154.结合图17，为不同倍率下输入图与输出图之间的关系示例，进一步说明上述触发s104开启的预设防抖倍率。以动态裁切为例，在当前的实施例中，例如设置在满足用户变焦倍率大于10倍时，打开图像防抖的算法，即步骤s104，将处理后的图像输出至s105显示在手机相机应用的拍照预览界面。在用户的变焦倍率小于10倍时，输入图经由s103进行数字变焦并输出至s105显示在手机相机应用的拍照预览界面。如图17中的(a)所示，在手机相机应用的拍照预览界面下，用户将当前图像放大至5倍(5x)时，由s103数字变焦对图像进行处理，输出图即为s103处理后的实际放大5倍后的图像。如图17中的(b)所示，在手机相机应用的拍照预览界面下，用户将当前图像放大至10倍(10x)时，由s103数字变焦对图像进行处理，输出图即为s103处理后的实际放大10倍后的图像。如图17中的(c)所示，在手机相机应用的拍照预览界面下，用户将当前图像放大至15倍(15x)时，由于此时变焦倍率大于预设防抖倍率，开启电子防抖s104。在图像缩放至如图17中的(c)中的虚线框时，即10倍(10x)时，保留预设防抖倍率下的输入图像，即10倍(10x)时的输入图像。图像继续缩放至15倍时，电子防抖s104将像素裁剪至用户选择的缩放至15倍的图像。需要说明的是，在10倍时保留预设防抖倍率(即10倍)下的输入图像是为了给后续图像缩放的裁切预留更大的活动以保障图像的抖动范围，从而提高图像缩放至高倍率时现在在手机相机应用拍照预览界面的图像稳定性。经过本技术公开的图像处理方法后显示在手机相机应用的拍照预览界面的示例，
即输出图。
155.结合图18所示，具体展开阐述数字变焦s103的实现过程。由上述s102步骤得出在图像缩放至15倍时的亮暗光条件下，输入至数字变焦s103的图像大小均为4608*3456。例如在暗光条件下，由于变焦倍率是15倍，预设防抖倍率是10倍，长焦倍率是4倍，因而isp按照第一比例裁切4/10得到一个1842*1382的图像。isp继续将上述图像下采样0.78倍至1440*1080。又例如在亮光条件下，由于变焦倍率是15倍，预设防抖倍率是10倍，预设切换倍率是8倍，因而isp按照第二比例裁切8/10得到一个3684*2764的图像。isp继续将上述图像下采样0.29倍至1440*1080。
156.结合图19所示，具体展开阐述电子防抖s104的实现过程。电子防抖s104由至少电子防抖eis1041模块及图像透视变换1042模块执行。其中，电子防抖eis1041所需要使用的数据信息包括3d平滑、2d图像及光学防抖ois。其中，图像透视变换1042包括坐标变换、像素裁剪及上采样。示例性地，结合上述图18中的图像数据为例，由于变焦倍率是15倍，预设防抖倍率是10倍，isp输入图1440*1080经电子防抖eis处理后，送入图像透视变换，通过坐标变换并裁切15分之10至960*720，上采样1.5倍后至1440*1080的输出图，送至手机相机应用的拍照预览界面显示s105。该图像是经过本技术的图像处理方法后得到的稳定出图的输出图，其与isp输出的图像像素保持一致。
157.结合图20所示，为本技术电子防抖算法框架的示意图，包括3d陀螺仪防抖，2d图像平移。3d陀螺仪防抖包括陀螺仪，经由边界约束至路径平滑，由路径平滑至虚拟相机位姿，陀螺仪同时也输出数据至虚拟相机位姿。其中，路径平滑及虚拟相机位姿组成平滑路径估计。虚拟相机位姿继续输出至单应性变化，在接收光学防抖ois的数据后输出至图像透视变换信息。2d图像平移包括图像帧，输出至特征点检测和提取，继而特征点对，经过滤后至运动矢量，再由边界约束至路径平滑以获得平移量后输出至图像透视变换信息。在图像透视变换信息接收到3d陀螺仪的单应性变换及2d图像平移的平移量后，对图像帧进行图像透视变换，最终输出稳定的图像帧。
158.图21为本技术的另一种实施例。与上述实施例的区别在于，本实施例中，对于输出图可以做固定裁切。在当前的实施例中，例如设置在满足用户变焦倍率大于10倍时，打开图像防抖的算法，即步骤s104，将处理后的图像输出至s105显示在手机相机应用的拍照预览界面。在用户的变焦倍率小于10倍时，输入图经由s103进行数字变焦并输出至s105显示在手机相机应用的拍照预览界面。
159.如图21中的(a)所示，在手机相机应用的拍照预览界面下，用户将当前图像放大至5倍(5x)时，由s103数字变焦对图像进行处理，输出图即为s103处理后的实际放大5倍后的图像。如图21中的(b)所示，在手机相机应用的拍照预览界面下，用户将当前图像放大至10倍(10x)时，由s103数字变焦对图像进行处理，输出图即为s103处理后的实际放大10倍后的图像。如图21中的(c)所示，在手机相机应用的拍照预览界面下，用户将当前图像放大至15倍(15x)时，由于此时变焦倍率大于预设防抖倍率，即变焦倍率大于10倍，开启电子防抖s104。在图像缩放至如图21中的(c)时，由于此时是固定裁切，因而为了得到实际输出图为用户将图像放大至15倍后的数据，需要预留一个预定倍率小于该15倍图像的活动范围。在本实施例中，预定倍率为15倍乘以一个预设系数。示例性地，该预设系数为80％，即输出图在15倍的80％倍率时，即在12倍率时，保留预定倍率(即12倍)下的输入图像，即图21中的
(c)中的虚线框部分，图像继续缩放至15倍时，电子防抖s104将像素裁剪至用户选择的缩放至15倍的图像。可以理解的是，后续的图像缩放都是按照上述方式输出图像。示例性地，如图21中的(d)所示，为了得到用户选择的放大20倍后的图像输出图，在图像缩放至20倍时乘以预设系数，即80％(16倍)，保留该输入图像，图像继续缩放至20倍时，电子防抖s104将像素裁剪至用户选择的缩放至20倍的图像。可选的，预设系数为60％-90％。经过本技术公开的图像处理方法后显示在手机相机应用的拍照预览界面的示例，即输出图。
160.示例性地，具体展开阐述数字变焦s103的实现过程。由上述s102步骤得出在图像缩放至15倍时的亮暗光条件下，输入至数字变焦s103的图像大小均为4608*3456。例如在暗光条件下，由于变焦倍率是15倍，预设防抖倍率是10倍，长焦镜头基础倍率是10倍，因而isp按照第一比例裁切4/15得到一个1228*920的图像。isp继续将上述图像上采样1.41倍至1728*1296。又例如在亮光条件下，由于变焦倍率是15倍，预设防抖倍率是10倍，预设切换倍率是8倍，因而isp按照第二比例裁切4/15得到一个2456*1840的图像。isp继续将上述图像下采样0.7倍至1728*1296。
161.示例性地，具体展开阐述数字变焦s104的实现过程。示例性地，结合上述实施例中isp的图像输出的图像数据为例，由于变焦倍率是15倍，预设防抖倍率是10倍，isp输入图1728*1296经电子防抖eis处理后，送入图像透视变换，通过坐标变换并裁切20％至1440*1080的输出图，送至手机相机应用的拍照预览界面显示s105。该图像是经过本技术的图像处理方法后得到的稳定出图的输出图。
162.本实施例的实施逻辑与上述图16一致，此处不再赘述。
163.图22为本技术实施例的一种逻辑实现时序图。作为一种示例，变焦倍率按照如下步骤实现。仍然以上述用户选择的变焦倍率为15倍进行阐述。具体地，在用户打开手机相机应用的拍照预览界面时，相机应用初始界面的变焦倍率为1倍。此时，由主摄摄像头采集手机拍摄范围内的图像，当变焦倍率放大至4倍时，转为长焦摄像头采集手机拍摄范围内的图像。本实施例中，作为一种示例，预设切换倍率为8倍，预设防抖倍率为10倍。可以理解的是，预设切换倍率以及预设防抖倍率的倍率范围可以根据不同场景改变，上文已有描述，此处不再赘述。
164.具体地，在亮度检测的场景，作为一种示例，由于当前设定的预设切换倍率为8倍，因而在图像缩放小于8倍时，图像以binning模式输出图片。在图像缩放至8倍时，进行亮度检测，在检测到当前亮度为暗光时，以binning模式输出图片，在检测到当前亮度为亮光时，以remosaic模式输出图片。可以理解的是，亮度检测在图像缩放至8倍时开启，在大于8倍的变焦倍率时，仍然持续检测亮度，并根据当前检测到的亮度切换图片输出模式。
165.具体地，在像素裁剪的场景，作为一种示例，在图像缩放小于8倍时，由isp数字变焦对图像进行缩放。由于预设切换倍率是8倍，因而在变焦倍率介于8倍和10倍之间时，根据亮度不同切换不同的图片输出模式，像素裁剪模式也因此有所不同。具体地，在暗光条件下，由isp数字变焦对图像进行缩放。在亮光条件下，由图像传感器先对输入的图像做裁切以使得在亮光条件下的输出图像与暗光条件下输出的图像倍率相同。然后再将图像传感器裁切后的图像输出至isp数字变焦对图像进行缩放。可以理解的，由图像传感器先对输出图像进行裁切然后输出至isp数字变焦，可以节省isp的功耗。在图像缩放大于10倍时，以动态裁切为例，由电子防抖对图像进行裁切。
166.结合图23所示，为主摄摄像头与长焦摄像头在变焦倍率不同时进行切换的示意图。具体地，在变焦倍率小于4倍时，由主摄摄像头采集并得到图像。示例性地，如图23中的(a)，在变焦倍率为1倍时，由主摄摄像头采集并得到图像，如图23中的(b)，在变焦倍率为3.9倍时，仍由主摄摄像头采集并得到图像。如图23中的(c)，在变焦倍率为4倍时，由长焦摄像头采集并得到图像。
167.图24为本技术的另一种实施例。在本实施例的场景下，如图24所示，与前述实施例区别的地方在于不包括电子防抖s104。因而，图像的输出与裁剪由s103数字变焦完成。
168.示例性地，例如当前变焦倍率是8倍(而非本技术其他实施例中的15倍)，长焦镜头的基础倍率例如4倍。具体展开阐述数字变焦s103的实现过程。由上述s102步骤得出在图像缩放至8倍时的亮暗光条件下，输入至数字变焦s103的图像大小均为4608*3456。例如在暗光条件下，isp按照第一比例裁切4/8得到一个2304*1728的图像。isp继续将上述图像下采样0.625倍至1440*1080。又例如在亮光条件下，因而isp按照第二比例裁切8/8得到一个4608*3456的图像。isp继续将上述图像下采样0.3125倍至1440*1080。
169.具体实现中，本技术还提供一种计算机存储介质，其中，该计算机存储介质可存储有程序，其中，在所述程序运行时控制所述计算机可读存储介质所在设备执行上述实施例中的部分或全部步骤。所述的存储介质可为磁碟、光盘、只读存储记忆体(英文：read-only memory，简称：rom)或随机存储记忆体(英文：random access memory，简称：ram)等。
170.具体实现中，本技术实施例还提供了一种计算机程序产品，所述计算机程序产品包含可执行指令，当所述可执行指令在计算机上执行时，使得计算机执行上述方法实施例中的部分或全部步骤。
171.以上所述，仅为本发明的具体实施方式，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。本发明的保护范围应以所述权利要求的保护范围为准。