CN116723417B

CN116723417B - 一种图像处理方法和电子设备

Info

Publication number: CN116723417B
Application number: CN202210191283.7A
Authority: CN
Inventors: 张文红; 邵涛
Original assignee: Honor Device Co Ltd
Current assignee: Honor Device Co Ltd
Priority date: 2022-02-28
Filing date: 2022-02-28
Publication date: 2024-04-26
Anticipated expiration: 2042-02-28
Also published as: CN116723417A; CN118556406A; WO2023160220A1; CN118488325A; CN118741315A

Abstract

提供了一种图像处理方法和电子设备，应用于图像处理技术领域。该方法应用于电子设备，所述电子设备包括摄像头，该方法包括：启动摄像头；获取当前拍摄场景的变焦倍率以及动态范围；根据所述变焦倍率以及所述动态范围，确定所述摄像头的出图方式；在所述变焦倍率大于或等于第一倍率且小于第二倍率，且所述动态范围满足第一动态范围DR约束条件时，所述摄像头采用第一模式出图；基于所述摄像头输出的图像数据进行图像处理，能够提升高动态拍摄场景下的图像质量，避免出现鬼影的问题，有助于提升用户的拍摄体验。

Description

一种图像处理方法和电子设备

技术领域

本申请涉及图像处理技术领域，并且具体地，涉及一种图像处理方法和电子设备。

背景技术

随着智能终端日益发展，拍摄功能成为智能终端的必备功能。用户对智能终端的拍摄(拍照和/或摄像)需求以及体验也不断增强。智能终端可采用数字变焦(digitalzoom)的方式拍摄图像。数字变焦，是指通过软件算法对图像进行裁剪和/或放大。

目前，在高动态范围的拍摄场景下，通常采用多曝光合成的技术进行拍摄，很容易出现鬼影问题，导致图像质量不佳，影响用户的拍摄体验。

发明内容

有鉴于此，本申请提供了一种图像处理方法、电子设备、计算机可读存储介质和计算机程序产品，能够提升高动态拍摄场景下的图像质量，避免出现鬼影的问题，有助于提升用户的拍摄体验。

第一方面，提供了一种图像处理方法，所述方法应用于电子设备，所述电子设备包括摄像头，所述方法包括：

启动摄像头；

获取当前拍摄场景的变焦倍率以及动态范围；

根据所述变焦倍率以及所述动态范围，确定所述摄像头的出图方式；

在所述变焦倍率大于或等于第一倍率且小于第二倍率，且所述动态范围(具体可以是动态范围值)满足第一动态范围DR约束条件时，所述摄像头采用第一模式出图；

基于所述摄像头输出的图像数据进行图像处理。

第一模式是双增益转换DCG模式。在DCG模式下，所述摄像头输出的图像是长曝光帧和短曝光帧进行融合后的图像帧，二者融合后没有鬼影问题，且动态范围得到了提升。

所述动态范围满足第一动态范围DR约束条件定义为高动态范围。所述动态范围不满足第一动态范围DR约束条件定义为低动态范围。

可选地，可以基于拍摄场景的RAW图像的直方图来确定第一DR约束条件。第一DR约束条件根据第一比例、第二比例和第三比例确定。第一比例是指在图像像素分布中大于第一像素值所占的比例，第二比例是指在图像像素分布中小于第二像素值所占的比例。如果第一比例和第二比例均大于第三比例时，则认为满足第一DR约束条件，此时将动态范围定义为高动态范围。如果第一比例和第二比例不是均大于第三比例(或者说第一比例和第二比例中至少有一个不满足大于第三比例)时，则认为不满足第一DR约束条件，此时将动态范围定义为低动态范围。

另外，在确定摄像头的出图方式时，还可以考虑环境照度的因素。可选地，所述方法还包括：获取拍摄场景的环境照度；根据变焦倍率、动态范围以及环境照度，确定摄像头的出图方式。

可选地，在所述变焦倍率大于或等于第一倍率且小于第二倍率，且所述动态范围满足第一动态范围DR约束条件时，无论环境照度是高照度还是低照度，所述摄像头均采用第一模式出图。

作为一种可能的实现方式，在所述变焦倍率大于或等于第一倍率且小于第二倍率，且所述动态范围不满足第一DR约束条件时，所述摄像头采用第二模式出图。第二模式是合并模式(binning)。这里，当动态范围是低动态范围时，采用合并模式即可。

可选地，在所述变焦倍率大于或等于第一倍率且小于第二倍率，且所述动态范围不满足第一DR约束条件时，无论环境照度是高照度还是低照度，所述摄像头均采用第二模式出图。

在上述实现方式中，当变焦倍率等于第一倍率(比如1x)时，不论sensor采用哪种出图方式，后通路的处理都是一致的。以下分别介绍预览流、拍照流和缩略图流的处理流程。

作为一种可能的实现方式，对于在所述变焦倍率等于第一倍率，且所述动态范围值满足第一DR约束条件时，所述摄像头采用第一模式出图的情况；或者，在所述变焦倍率等于第一倍率，且所述动态范围不满足第一DR约束条件时，所述摄像头采用第二模式出图的情况，所述摄像头输出第一图像数据，所述第一图像数据采用第一图像格式；

所述第一图像数据存储于第一缓存中，所述方法还包括：

接收用户的第一操作，所述第一操作用于触发拍照；

其中，所述基于所述摄像头输出的图像数据进行图像处理，包括：

响应于所述第一操作，从所述第一缓存中获取所述第一图像数据；

通过后处理算法模块或图像信号处理器ISP第二模块对所述第一图像数据进行图像处理，得到第二图像数据；

通过ISP第三模块对所述第二图像数据进行RGB处理或YUV处理，得到YUV格式的数据，输出拍照图像。

因此，对于变焦倍率等于第一倍率的情形，基于上述步骤，可以提高拍照图像的质量。

可选地，所述方法还包括：

在缩略图流中，通过ISP第二模块对所述第一图像数据进行去马赛克处理，得到RGB格式的数据；

通过ISP第三模块对所述RGB格式的数据进行RGB处理或YUV处理，得到YUV格式的数据，输出缩略图。

因此，对于变焦倍率等于第一倍率的情形，基于上述步骤，可以提高缩略图的质量。

可选地，所述方法还包括：

在预览通路中，通过ISP第二模块对所述第一图像数据进行去马赛克处理，得到RGB格式的数据；

通过ISP第三模块对所述RGB格式的数据进行RGB处理或YUV处理，得到YUV格式的数据，输出预览图像。

因此，对于变焦倍率等于第一倍率的情形，基于上述步骤，可以提高预览图像的质量。

本申请实施例还可以将拍摄环境的环境照度，作为决策sensor出图方式的一个因素。

作为一种可能的实现方式，所述方法还包括：

获取当前拍摄场景的环境照度；

根据所述环境照度、所述变焦倍率以及所述动态范围，确定所述摄像头的出图方式。

作为一种可能的实现方式，在所述变焦倍率大于或等于第二倍率，所述环境照度为低照度，且所述动态范围满足第一DR约束条件时，所述摄像头采用第一模式出图。

作为一种可能的实现方式，在所述变焦倍率大于或等于第二倍率，所述环境照度为低照度，且所述动态范围不满足第一DR约束条件时，所述摄像头采用第二模式出图。

因此，在所述变焦倍率大于或等于第二倍率，所述环境照度为低照度的场景下，当高动态范围时，采用DCG模式出图，有助于提升拍摄图像的动态范围；当低动态范围时，采用合并模式即可。

在上述实现方式中，部分情况的后通路处理可以是一致的。具体地，对于以下各种情况：在所述变焦倍率大于第一倍率且小于第二倍率，且所述动态范围满足第一DR约束条件时，所述摄像头采用第一模式出图的情况；或者，在所述变焦倍率大于第一倍率且小于第二倍率，且所述动态范围不满足第一DR约束条件时，所述摄像头采用第二模式出图的情况；或者，在所述变焦倍率大于或等于第二倍率，所述环境照度为低照度场景，且所述动态范围满足第一DR约束条件时，所述摄像头采用第一模式出图的情况；或者，在所述变焦倍率大于或等于第二倍率，所述环境照度为低照度场景，且所述动态范围不满足第一DR约束条件时，所述摄像头采用第二模式出图的情况；后通路处理可以是一致的。

在上述各种情况中，所述摄像头输出第三图像数据，所述第三图像数据采用第一图像格式；

所述第三图像数据存储于第一缓存中，所述方法还包括：

接收用户的第二操作，所述第二操作用于触发拍照；

响应于所述第二操作，从第一缓存中获取第三图像数据；

通过后处理算法模块或ISP第二模块对所述第三图像数据进行图像处理，得到第四图像数据；

通过后处理算法模块或ISP第三模块对所述第四图像数据进行裁剪和上采样处理，输出拍照图像。

因此，对于前面提到的情况，基于上述步骤，可以提升拍照图像的质量。

在上述各种情况中，可选地，所述方法还包括：

在缩略图流中，通过ISP第二模块对所述第三图像数据进行去马赛克处理，得到RGB格式的数据；

通过ISP第三模块对所述RGB格式的数据进行RGB处理或YUV处理，得到YUV格式的数据，并对所述YUV格式的数据进行裁剪和上采样，输出缩略图。

因此，基于上述步骤，可以提升缩略图像的质量。

在上述各种情况中，可选地，所述方法还包括：

在预览通路中，通过ISP第二模块对所述第三图像数据进行去马赛克处理，得到RGB格式的数据；

通过ISP第三模块对所述RGB格式的数据进行RGB处理或YUV处理，得到YUV格式的数据，并对所述YUV格式的数据进行裁剪和上采样处理，输出预览图像。

因此，基于上述步骤，可以提升预览图像的质量。

作为一种可能的实现方式，所述方法还包括：

在所述变焦倍率大于或等于第二倍率，所述环境照度为高照度，且所述动态范围满足第一DR约束条件时，所述摄像头采用第三模式出图。第三模式是非合并+裁剪模式。

因此，在变焦倍率大于或等于第二倍率且是高照度场景下，当动态范围是高动态范围时，采用非合并+剪裁模式出图能保证更好的图像清晰度，并且，拍照场景的动态范围可以通过另出长短曝光帧通过多帧后处理算法来提升。也就是说，这里采用第三模式是考虑了拍照场景对图像质量的清晰度需求。

作为一种可能的实现方式，所述方法还包括：

在所述变焦倍率大于或等于第二倍率，所述环境照度为高照度，且所述动态范围不满足第一DR约束条件时，所述摄像头采用第三模式出图。

因此，在变焦倍率大于或等于第二倍率且是高照度场景下，当动态范围是低动态范围时，清晰度为优先考虑的因素，因此sensor采用非合并+裁剪模式出图，可以提高图像的清晰度。

对于所述摄像头采用第三模式出图的情形，后通路的处理可以保持一致。可选地，所述摄像头输出的数据为第五图像数据，所述第五图像数据采用第二图像格式；

在预览通路中，通过ISP第一模块对第五图像数据进行拜耳图像再生成处理，得到第六图像数据，所述第六图像数据采用第一图像格式；

通过ISP第二模块对所述第六图像数据进行去马赛克处理，得到RGB格式的数据；

因此，基于上述步骤，可以提升高倍率高照度下预览图像的质量。

可选地，所述第五图像数据存储于第一缓存中，所述方法还包括：

接收用户的第三操作，所述第三操作用于触发拍照；

响应于所述第三操作，从所述第一缓存中获取所述第五图像数据；

通过后处理算法模块对所述第五图像数据进行拜耳图像再生成处理，得到第七图像数据，所述第七图像数据采用第一图像格式；

通过ISP第二模块对所述第七图像数据进行去马赛克处理，得到RGB格式的数据；

通过ISP第三模块对所述RGB格式的数据进行RGB处理或YUV处理，得到YUV格式的数据，输出拍照图像。

可选地，后处理算法模块还可以进行多帧融合处理，以提升拍照图像的动态范围。

因此，基于上述步骤，可以提升高倍率高照度下拍照图像的质量。

可选地，所述方法还包括：

在缩略图流中，通过ISP第一模块对所述第五图像数据进行拜耳图像再生成处理，得到拜耳格式的数据。

通过ISP第二模块对所述拜耳格式的数据进行去马赛克处理，得到RGB格式的数据；

因此，基于上述步骤，可以提升高倍率高照度下缩略图的质量。

第二方面，提供了一种电子设备，包括用于执行第一方面中任一种方法的单元。该电子设备可以是终端，也可以是终端内的芯片。该电子设备包括输入单元、显示单元和处理单元。

当该电子设备是终端时，该处理单元可以是处理器，该输入单元可以是通信接口，该显示单元可以是图形处理模块和屏幕；该终端还可以包括存储器，该存储器用于存储计算机程序代码，当该处理器执行该存储器所存储的计算机程序代码时，使得该终端执行第一方面中的任一种方法。

当该电子设备是终端内的芯片时，该处理单元可以是芯片内部的逻辑处理单元，该输入单元可以是输出接口、管脚或电路等，该显示单元可以是芯片内部的图形处理单元；该芯片还可以包括存储器，该存储器可以是该芯片内的存储器(例如，寄存器、缓存等)，也可以是位于该芯片外部的存储器(例如，只读存储器、随机存取存储器等)；该存储器用于存储计算机程序代码，当该处理器执行该存储器所存储的计算机程序代码时，使得该芯片执行第一方面的任一种方法。

在一种实现方式中，所述处理单元用于启动摄像头；

获取当前拍摄场景的变焦倍率以及动态范围；

在所述变焦倍率大于或等于第一倍率且小于第二倍率，且所述动态范围满足第一动态范围DR约束条件时，调用所述摄像头采用第一模式出图；

基于所述摄像头输出的图像数据进行图像处理。

作为一种可能的实现方式，所述处理单元还用于：在所述变焦倍率大于或等于第一倍率且小于第二倍率，且所述动态范围不满足第一DR约束条件时，调用所述摄像头采用第二模式出图。

作为一种可能的实现方式，对于在所述变焦倍率等于第一倍率，且所述动态范围值满足第一DR约束条件时，所述摄像头采用第一模式出图的情况；或者，在所述变焦倍率等于第一倍率，且所述动态范围不满足第一DR约束条件时，所述摄像头采用第二模式出图的情况，所述摄像头输出第一图像数据，所述第一图像数据采用第一图像格式；所述第一图像数据存储于第一缓存中。

所述输入单元用于接收用户的第一操作，所述第一操作用于触发拍照；其中，所述处理单元用于基于所述摄像头输出的图像数据进行图像处理，具体包括：响应于所述第一操作，从所述第一缓存中获取所述第一图像数据；调用后处理算法模块或图像信号处理器ISP第二模块对所述第一图像数据进行图像处理，得到第二图像数据；调用ISP第三模块对所述第二图像数据进行RGB处理或YUV处理，得到YUV格式的数据，输出拍照图像。

作为一种可能的实现方式，在缩略图流中，所述处理单元还用于调用ISP第二模块对所述第一图像数据进行去马赛克处理，得到RGB格式的数据；

调用ISP第三模块对所述RGB格式的数据进行RGB处理或YUV处理，得到YUV格式的数据，输出缩略图。

作为一种可能的实现方式，在预览通路中，所述处理单元还用于调用ISP第二模块对所述第一图像数据进行去马赛克处理，得到RGB格式的数据；

调用ISP第三模块对所述RGB格式的数据进行RGB处理或YUV处理，得到YUV格式的数据，输出预览图像。

作为一种可能的实现方式，所述处理单元还用于获取当前拍摄场景的环境照度；根据所述环境照度、所述变焦倍率以及所述动态范围，确定所述摄像头的出图方式。

作为一种可能的实现方式，在所述变焦倍率大于或等于第二倍率，所述环境照度为低照度，且所述动态范围满足第一DR约束条件时，所述处理单元还用于调用所述摄像头采用第一模式出图。

作为一种可能的实现方式，在所述变焦倍率大于或等于第二倍率，所述环境照度为低照度，且所述动态范围不满足第一DR约束条件时，所述处理单元还用于调用所述摄像头采用第二模式出图。

作为一种可能的实现方式，对于以下各种情况：在所述变焦倍率大于第一倍率且小于第二倍率，且所述动态范围满足第一DR约束条件时，所述摄像头采用第一模式出图的情况；或者，在所述变焦倍率大于第一倍率且小于第二倍率，且所述动态范围不满足第一DR约束条件时，所述摄像头采用第二模式出图的情况；或者，在所述变焦倍率大于或等于第二倍率，所述环境照度为低照度场景，且所述动态范围满足第一DR约束条件时，所述摄像头采用第一模式出图的情况；或者，在所述变焦倍率大于或等于第二倍率，所述环境照度为低照度场景，且所述动态范围不满足第一DR约束条件时，所述摄像头采用第二模式出图的情况；后通路的处理是一致的。

可选地，所述摄像头输出第三图像数据，所述第三图像数据采用第一图像格式；

所述第三图像数据存储于第一缓存中，所述处理单元还用于：

接收用户的第二操作，所述第二操作用于触发拍照；

其中，所述处理单元用于基于所述摄像头输出的图像数据进行图像处理，具体包括：

响应于所述第二操作，从第一缓存中获取第三图像数据；

所述处理单元还用于调用后处理算法模块或ISP第二模块对所述第三图像数据进行图像处理，得到第四图像数据；

所述处理单元还用于调用后处理算法模块或ISP第三模块对所述第四图像数据进行裁剪和上采样处理，输出拍照图像。

作为一种可能的实现方式，在缩略图流中，所述处理单元还用于调用ISP第二模块对所述第三图像数据进行去马赛克处理，得到RGB格式的数据；

调用ISP第三模块对所述RGB格式的数据进行RGB处理或YUV处理，得到YUV格式的数据，并对所述YUV格式的数据进行裁剪和上采样，输出缩略图。

作为一种可能的实现方式，在预览通路中，所述处理单元还用于调用ISP第二模块对所述第三图像数据进行去马赛克处理，得到RGB格式的数据；

调用ISP第三模块对所述RGB格式的数据进行RGB处理或YUV处理，得到YUV格式的数据，并对所述YUV格式的数据进行裁剪和上采样处理，输出预览图像。

作为一种可能的实现方式，在所述变焦倍率大于或等于第二倍率，所述环境照度为高照度，且所述动态范围满足第一DR约束条件时，所述处理单元还用于调用所述摄像头采用第三模式出图。

作为一种可能的实现方式，在所述变焦倍率大于或等于第二倍率，所述环境照度为高照度，且所述动态范围不满足第一DR约束条件时，所述处理单元还用于调用所述摄像头采用第三模式出图。

作为一种可能的实现方式，所述摄像头输出的数据为第五图像数据，所述第五图像数据采用第二图像格式；

在预览通路中，调用ISP第一模块对第五图像数据进行拜耳图像再生成处理，得到第六图像数据，所述第六图像数据采用第一图像格式；

调用ISP第二模块对所述第六图像数据进行去马赛克处理，得到RGB格式的数据；

作为一种可能的实现方式，所述第五图像数据存储于第一缓存中，所述输入单元还用于：接收用户的第三操作，所述第三操作用于触发拍照；

所述处理单元还用于响应于所述第三操作，从所述第一缓存中获取所述第五图像数据；

调用后处理算法模块对所述第五图像数据进行拜耳图像再生成处理，得到第七图像数据，所述第七图像数据采用第一图像格式；

调用ISP第二模块对所述第七图像数据进行去马赛克处理，得到RGB格式的数据；

调用ISP第三模块对所述RGB格式的数据进行RGB处理或YUV处理，得到YUV格式的数据，输出拍照图像。

所述处理单元还用于调用ISP第一模块对所述第五图像数据进行拜耳图像再生成处理，得到拜耳格式的数据；

调用ISP第二模块对所述拜耳格式的数据进行去马赛克处理，得到RGB格式的数据；

第三方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序代码，当所述计算机程序代码被电子设备运行时，使得该电子设备执行第一方面中的任一种方法。

第四方面，提供了一种计算机程序产品，所述计算机程序产品包括：计算机程序代码，当所述计算机程序代码被电子设备运行时，使得该电子设备执行第一方面中的任一种方法。

附图说明

图1是本申请实施例的应用场景的一个示例图；

图2是本申请实施例在不同变焦倍率、不同动态范围以及不同环境照度下sensor对应的出图方式的示意图；

图3是本申请实施例的一个拍照系统的示意性框图；

图4是本申请实施例的一个拍照方法的示意性流程图；

图5是本申请实施例的另一个拍照系统的示意性框图；

图6是本申请实施例的另一个拍照方法的示意性流程图；

图7是本申请实施例的又一个拍照系统的示意性框图；

图8是本申请实施例的又一个拍照方法的示意性流程图；

图9是本申请实施例应用的一个架构示意图；

图10是一种适用于本申请的电子设备的结构示意图。

具体实施方式

下面将结合附图，对本申请实施例中的技术方案进行描述。

本申请实施例中，除非另有说明，“多个”的含义可以是两个或两个以上。

本申请实施例适用于电子设备，该电子设备可以为手机、智慧屏、平板电脑、可穿戴电子设备、车载电子设备、增强现实(augmented reality，AR)设备、虚拟现实(virtualreality，VR)设备、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本、个人数字助理(personal digital assistant，PDA)、投影仪等等。

本申请实施例的电子设备中装备有图像采集器(比如摄像头)。

本申请实施例对电子设备的具体类型不作任何限制。下文以电子设备是手机为例描述本申请实施例的图像处理方法。

以下结合图1中的场景示例说明。图1是本申请实施例的一个应用场景示例图。如图1中(1)所示的手机界面中，界面可以显示多个应用程序：应用1、应用2、…、应用7以及相机应用程序。用户点击相机应用程序，手机启动相机。在相机运行后，手机界面显示如图1中(2)所示的界面。该界面可以称为相机的拍摄界面。该拍摄界面中可以包括取景框11、变焦倍率12(默认为1x)、相册图标13、拍摄控件14和摄像头旋转控件等。用户点击拍摄控件14，可以进行拍照。在该界面中，相册图标13显示的是缩略图。摄像头旋转控件可以用于切换摄像头。

其中，取景框11用于获取拍摄预览的图像，可以实时显示预览图像。

手机支持数字变焦。用户在使用拍摄功能时，可通过在触摸屏上操作来选择不同的变焦倍率。

作为一种示例，如图1中(2)所示，用户点击图1中(2)的变焦倍率12，界面显示如图1中(3)所示的界面，出现变焦倍率的选择项15(比如，最高变焦倍率为8x，最低变焦倍率为1x)。用户在选择项15中向上拖动变焦倍率12，在变焦倍率为2x时松手，界面显示如图1中(4)所示，即，选择变焦倍率为2x。当然，在选中变焦倍率后，变焦倍率的选择项15可以隐藏，即界面上显示选择的变焦倍率为2x。

应理解，图1中的拍照场景只是示意性说明本申请的一个应用场景，这并不对本申请实施例构成限定。事实上，本申请实施例也可以应用于其他使用摄像头的场景，比如录像场景、视频通话场景、视频直播场景等。

还应理解，图1中的(2)示出的是用户在手机竖屏下进行拍照的一个界面示意图，但本申请并不限于此。比如，用户可以在手机横屏下进行拍摄。

还应理解，图1中(3)所示出的变焦倍率的选择项15的上下限(即最大的变焦倍率和最小变焦倍率)可取决于手机的实现，图1中(3)所示的上下限值仅为示例，本申请实施例并不限于此。

还应理解，图1中(3)所示出的变焦倍率的选择项15在界面中所处的位置也仅是一种示例，本申请实施例并不限于此。

在一些实施例中，手机可采用四色滤波器阵列(Quadra Color Filter Array，Quadra CFA)传感器摄像头(sensor camera)。摄像头的关键器件包括光学镜片(lens)和图像传感器(sensor)。在摄像头启动后，sensor可基于采集到的图像信号出图。

场景的动态范围动态范围(dynamic range，DR)会影响拍摄照片的质量。由于图像传感器的动态范围有限，在拍摄高动态范围场景时，通常会采用多曝光合成的方式提升图像传感器能够捕捉的场景的动态范围。目前的多曝光图像技术，通常不同曝光帧的起始曝光时间和总曝光时间都不相同，导致拍摄运动物体时，融合后的图像容易引入鬼影的问题，影响图像质量，用户体验不佳。

有鉴于此，本申请实施例提供了一种图像处理方法及电子设备，通过拍摄场景的变焦倍率和动态范围确定摄像头的出图方式，在所述变焦倍率大于或等于第一倍率且小于第二倍率，且高动态范围时sensor采用DCG模式出图，能够提升高动态拍摄场景下的图像质量，避免出现鬼影的问题，有助于提升用户的拍摄体验。

另外，本申请实施例的图像处理方法，考虑采集场景的变焦倍率、环境照度以及动态范围值这三个因素，在不同的拍摄场景下控制sensor的出图方式，为不同的拍摄场景设计不同的拍照流程，充分发挥各个组件的优势，从而在各个场景下达到提升图像质量的目的，提升用户体验。在本申请实施例中，sensor采用何种方式出图取决于拍摄场景的动态范围值、变焦倍率和环境照度。

为了便于理解，在介绍本申请实施例的图像处理方法之前，首先对本申请实施例涉及的部分术语进行解释。

在本申请实施例中，sensor支持采用第一模式、第二模式或第三模式进行出图。这里作统一说明，第一模式是双增益转换(dual conversion gain，DCG)模式。第二模式是合并模式(binning)。第三模式是非合并(non-binning)+裁剪模式。其中，DCG模式本质也是一种合并模式，下文会详细解释DCG模式。

DCG模式是指通过在cmos像素(pixel)中增加DCG，使得sensor同时具备高灵敏度和高动态范围的能力。DCG包括高增益转换(high conversion gain，HCG)和低增益转换(low conversion gain，LCG)。HCG转换增益高对应长曝光帧，暗区具有很好的信噪比。LCG转换增益低为短曝光帧，可以保证较好的高亮细节。当sensor工作在DCG模式下时，sensor分别获得长曝光帧和短曝光帧，然后将长曝光帧和短曝光帧进行融合，融合后的图像帧作为senor输出的图像。也就是说，senor在DCG模式下输出的图像，是长曝光帧和短曝光帧进行融合后的图像帧，二者融合后没有鬼影问题，且动态范围得到了提升。

其中，上述曝光帧(包括长曝光帧和短曝光帧)中的“曝光”指的是曝光量(exposure value，EV)，而非曝光时间。曝光量可由曝光时间和增益共同来确定。

例如，曝光量满足公式：EV＝Gain*曝光时间。其中，EV表示曝光量。Gain的影响因素包括但不限于CG和Iso。CG是转换增益，Iso是感光度。

可以理解，上述DCG是以长曝光帧和短曝光帧为例进行描述，但是本申请实施例并不限于此。例如，DCG模式中除了包含HCG和LCG外，可以包含更多的CG(比如，可通过在硬件中增加电容实现CG的增加)，每个CG可对应输出相应的图像帧。

合并模式是指将相邻像元感应的电荷加在一起，以一个像素的模式读出，通过合并模式输出的图像数据为拜耳格式(bayer raw)。

非合并模式(non-binning mode)，在非合并模式下，提供与sensor的分辨率相同的图像。sensor采用非合并模式下出图，其图像格式是四方原始(quadra raw)格式，而非bayer raw。

为便于ISP处理，需要将非合并模式下得到的quadra raw转换为bayer raw。

拜耳图像再生成(Remosaic)，通过对像素进行重新排列，或者说像素互换，将非合并模式下的数据转换为标准的bayer raw。在本申请实施例中，Remosaic处理可以通过后处理算法模块或ISP第一模块实现。

去马赛克(Demosaic)，用于将拜耳格式的数据转换为RGB格式的数据。Demosaic可以理解为进行色彩插值处理，即将从sensor中获得的拜耳数据中还原出符合色彩显示设备的真实世界色彩。

裁剪，通过对采集的图像进行裁剪，得到与变焦倍率对应的视场角的图。裁剪可通过crop函数实现。例如，采用crop函数获得2X下对应的视场图。

上采样，是指将特征图的分辨率还原到原始图片的分辨率大小。上采样可以通过缩放(scale)函数实现图像的放大。比如，在得到2x下的图像后，采用scale函数对2x下的图像进行放大，使得图像尺寸与1x的图像尺寸相同。

环境照度，是指用户在拍摄时所处拍摄环境的光线强弱。环境照度的值可以采用以下指标表征：亮度值(lighting value，LV)、光照度(lux)或光照度索引值(luxindex)等等。

LV用于估计环境亮度，其具体计算公式如下：

其中，Exposure为曝光时间，Aperture为光圈大小，Iso为感光度，Luma为图像在XYZ颜色空间中Y的平均值。

本申请实施例将通过合并模式或DCG模式输出的图像数据的格式命名为第一图像格式，例如，第一图像格式是bayer raw。

本申请实施例将通过非合并模式(或者非合并+裁剪模式)输出的图像数据的格式命名为第二图像格式，例如，第二图像格式是quadra raw。

对于不同的动态范围场景、不同的变焦倍率以及不同的环境照度，本申请实施例中的sensor采用合适的出图方式，以提升图像质量。以下将结合图2进行描述。

参考图2，图2是本申请实施例在不同变焦倍率、不同动态范围场景以及不同环境照度下sensor对应的出图方式的示意图。

图2中(1)是在变焦倍率大于或等于第一倍率且小于第二倍率下sensor的出图模式的示意图。图2中(2)是在变焦倍率大于或等于第二倍率下sensor的出图模式的示意图。其中，第二倍率大于第一倍率，第二倍率是大于或等于2的变焦倍率。比如，第一倍率是1x，第二倍率是2x。

在图2中(1)中，环境照度从左到右依次变强，动态范围从下到上依次变高。类似的，图2中(2)的环境照度和动态范围的变化趋势亦如此。

对于环境照度而言，在图2中，本申请实施例基于第一亮度阈值将环境照度分为低照度场景(或者说暗光环境)和高照度场景(或者说亮光环境)。

例如，如果环境照度大于或等于第一亮度阈值，则是高照度场景；如果环境照度小于第一亮度阈值，则是低照度场景。

应理解，此处将环境照度值等于第一亮度阈值的情形划分到高照度场景，但本申请实施例不限于此，比如，也可以将环境照度等于第一亮度阈值的情形划分到低照度场景。下文以高照度场景和低照度场景进行描述。

作为一种可能的实现方式，环境照度采用LV表征，相应的，第一亮度阈值为第一LV值。

作为一种可能的实现方式，环境照度采用luxindex表征，相应的，第一亮度阈值为luxindex值。其中，luxindex取值越大，环境照度越低；luxindex取值越小，环境照度越高。

对于动态范围而言，可以基于第一DR约束条件将动态范围划分为高动态范围和低动态范围。如果拍摄场景的动态范围值满足第一DR约束条件，则为高动态范围；如果拍摄场景的动态范围不满足第一DR约束条件，则为低动态范围。

可选地，第一DR约束条件(第一DR约束条件也可以具体为DR值)可以根据拍摄场景的RAW图像的直方图进行来确定。具体地，根据图像中过曝像素点所占的百分比和欠曝像素点所占的百分比，确定场景的动态范围。

示例性地，基于拍摄场景的RAW图像的直方图，第一DR约束条件根据第一比例、第二比例和第三比例确定。第一比例是指在图像像素分布中大于第一像素值所占的比例，第二比例是指在图像像素分布中小于第二像素值所占的比例。如果第一比例和第二比例均大于第三比例时，则认为满足第一DR约束条件，此时将动态范围定义为高动态范围。如果第一比例和第二比例不是均大于第三比例(比如说第一比例和第二比例中有任一个不满足大于第三比例，又比如说第一比例和第二比例都不大于第三比例)时，则认为不满足第一DR约束条件，此时将动态范围定义为低动态范围。可以理解，此处关于第一DR约束条件的描述只是示例性描述，本申请实施例并不限于此。

应理解，上述关于第一亮度阈值与第一DR约束条件的描述对图2中(1)和图2中(2)均适用。

图2中(1)本质上示出了在变焦倍率大于或等于第一倍率且小于第二倍率时的两种情形。这两种情形的划分取决于动态范围是高动态范围还是低动态范围。具体如下：

情形一，如图2中(1)所示，在变焦倍率大于或等于第一倍率且小于第二倍率，且是高动态范围时，那么无论是高照度还是低照度场景，sensor均采用第一模式出图，即DCG模式。在高动态范围场景下，使用DCG模式可以提升场景的动态范围，有助于提高图像质量。

情形二，如图2中(1)所示，在变焦倍率大于或等于第一倍率且小于第二倍率，且是低动态范围场景时，那么无论环境照度是高照度场景还是低照度场景，sensor采用第二模式出图，即合并模式。在低动态范围下，采用合并模式出图能够提升信噪比。

图2中(2)示出了在变焦倍率大于或等于第二倍率时的4种情形。这4种情形的划分取决于动态范围是高动态范围还是低动态范围，同时，还取决于环境照度是高照度场景还是低照度场景。

情形三，如图2中(2)所示，在变焦倍率大于或等于第二倍率且是低照度场景时，如果是高动态范围，sensor采用DCG模式出图。

情形四，如图2中(2)所示，在变焦倍率大于或等于第二倍率且是低照度场景时，如果是低动态范围，sensor采用合并模式出图。

情形五，如图2中(2)所示，在变焦倍率大于或等于第二倍率且是高照度场景时，如果是高动态范围，sensor采用第三模式出图，即非合并模式+裁剪处理。

情形六，如图2中(2)所示，在变焦倍率大于或等于第二倍率且是高照度场景时，如果是低动态范围，sensor也采用第三模式出图，即非合并模式+裁剪处理。

综上所述，在不同的动态范围、不同的环境照度以及不同的变焦倍率的拍摄场景下，sensor可能采用第一模式(DCG)、第二模式(合并模式)以及第三模式(非合并模式及裁剪)出图。

需要说明的是，不论sensor采用何种方式出图，sensor输出的图的比特大小(或者说是比特位宽)一致(比如，比特大小是12比特)，这样保证了输入到ISP模块的图像的比特大小也是一致的。

在上述情形中，随着拍摄场景的变化，sensor可能涉及合并模式与DCG模式之间的转换(包括从DCG模式切换到合并模式，以及，从合并模式切换到DCG模式)。为了避免频繁发生切换，此处设置第一DR阈值和第二DR阈值来实现合并模式与DCG模式之间的切换。通过比较拍摄场景的DR值，与第一DR阈值或第二DR阈值的关系，来决定是否切换sensor的出图方式。DR值用于表征拍摄场景的动态范围。示例性地，如果拍摄场景的DR值大于第一DR阈值，则从合并模式切换到DCG模式；如果拍摄场景的DR值小于第二DR阈值，则从DCG模式切换到合并模式，第一DR阈值大于第二DR阈值。其中，拍摄场景的DR值可以根据RAW图像的直方图来计算。

举例来说，假设第一DR阈值为1000，第二DR阈值为800，当图像的DR值大于1000时，可以从合并模式切换到DCG。随着拍摄场景的变化，图像的DR值也随之变化，如果DR值降低不会立马切换，而是在判断出拍摄场景的DR值小于800时才会从DCG模式切换到合并模式，从而避免了频繁切换。可以理解，此处关于DR阈值的取值也是示例性描述，本申请实施例并不限于此。

另外，在上述情形中，随着拍摄场景的变化，sensor也可能涉及非合并+裁剪模式与DCG模式之间的转换(包括从DCG模式切换到非合并+裁剪模式，以及，从非合并+裁剪模式切换到DCG模式)。例如，在高照度高动态范围场景下，当变焦倍率从1x切换到2x或2x以上时，sensor的出图方式从DCG模式切换到非合并+裁剪模式。又例如，在变焦倍率为2x的高动态范围场景下，当环境照度从低照度切换到高照度场景时，sensor的出图方式从DCG模式切换到非合并+裁剪模式。在非合并+裁剪模式与DCG模式之间的切换场景下，可以通过调整ISP中的模块，比如色调映射(tone mapping)相关的模块或自动曝光(automaticexposure，AE)模块等，来实现亮度和动态范围的平滑切换。

色调映射模块用于根据当前的场景推算出场景的平均亮度，然后根据该平均亮度选取一个合适的亮度域，再将整个场景映射到该亮度域得到正确的结果。色调映射模块包括全局色调映射(global tone mapping)和局部色调映射(local tone mapping)。

AE模块用于在外界环境光照条件发生变化时，自动调节sensor曝光时间来调节图像亮度。

以下描述在不同动态范围、不同变焦倍率以及不同的环境照度下，sensor采用图2中所示相应的出图模式的技术效果。

在变焦倍率等于第一倍率(或者，变焦倍率大于第一倍率且小于第二倍率)且是高照度场景下，当动态范围是高动态范围时，sensor采用DCG模式出图，有助于提升拍摄图像的动态范围；当动态范围是低动态范围时，无需采用DCG模式，sensor采用合并模式出图即可，选择合适的出图方式，有助于节省电子设备的功耗。另外，若变焦倍率等于第一倍率，那么在第一倍率下没有分辨率的损失，此时图像的分辨率能够满足要求。

在变焦倍率等于第一倍率(或者，变焦倍率大于第一倍率且小于第二倍率)且是低照度场景下，当动态范围是高动态范围时，sensor采用DCG模式出图，有助于提升图像的动态范围；当动态范围是低动态范围时，无需采用DCG模式，sensor采用合并模式出图即可，有助于节省电子设备的功耗。另外，在第一倍率下没有分辨率的损失，因此能够满足图像的分辨率要求。

在变焦倍率等于第一倍率(或者，变焦倍率大于第一倍率且小于第二倍率)且是高动态范围场景下，无论是高照度场景，还是低照度场景，动态范围为优先考虑的因素，因此sensor均采用DCG模式出图，有助于提升图像的动态范围。

在变焦倍率等于第一倍率(或者，变焦倍率大于第一倍率且小于第二倍率)且是低动态范围场景下，无论是高照度场景，还是低照度场景，都不需要考虑动态范围，因此sensor均采用合并模式出图即可，这样在低照度场景下还有助于提升图像的信噪比。

在变焦倍率大于或等于第二倍率且是高照度场景下，当动态范围是高动态范围时，相比于DCG模式出图提升预览场景的动态范围，此处sensor采用非合并+裁剪模式出图，这样能够保证更好的图像清晰度，并且，拍照场景的动态范围可以通过另出长短曝光帧并通过多帧后处理算法进行处理(比如，可以通过后处理算法模块和/或ISP模块来实现)来提升，从而使得拍照场景下能够达到较好的效果(可以兼顾图像的清晰度和动态范围)；当动态范围是低动态范围时，清晰度为优先考虑的因素，因此sensor采用非合并+裁剪模式出图，可以提高图像的清晰度。

在变焦倍率大于或等于第二倍率且是低照度场景下，信噪比是优先考虑的因素，优先考虑合并模式出图。但是由于DCG模式也属于一种合并模式，因此当动态范围是高动态范围时，sensor通常采用DCG模式出图，有助于提升图像的动态范围；当动态范围是低动态范围时，无需采用DCG模式，sensor采用合并模式出图即可，有助于提升图像的信噪比。

在变焦倍率大于或等于第二倍率且是高动态范围场景下，当环境照度是低照度场景时，信噪比和动态范围都是需要考虑的因素，由于DCG模式也属于一种合并模式，因此sensor采用DCG模式出图，不仅可以保证提升动态范围，还有助于提升图像的信噪比；当环境照度是高照度场景时，此处sensor采用非合并+裁剪模式出图，能够保证更好的图像清晰度，并且，拍照场景的动态范围可以通过另出长短曝光帧并通过多帧后处理算法进行处理(比如，可以通过后处理算法模块和/或ISP模块来实现)来提升，从而使得拍照场景下达到较好的效果(兼顾图像的清晰度和动态范围)，因此sensor未采用DCG模式出图(DCG模式出图可以提升预览场景的动态范围)，而是采用非合并+裁剪模式出图，可以提高拍照场景下图像的清晰度。

在变焦倍率大于或等于第二倍率且是低动态范围场景下，当环境照度是低照度场景时，图像的信噪比为优先考虑的因素，为了保证暗光下有较好的感光度，sensor采用合并模式出图，有助于提升图像的信噪比；当环境照度是高照度场景时，图像的清晰度为优先考虑的因素，因此sensor采用非合并+裁剪模式出图，可以提高图像的清晰度。

在低动态范围且低照度场景下，无论变焦倍率在哪个区间(大于或等于第一倍率且小于第二倍率，或者，大于或等于第二倍率)，图像信噪比为优先考虑的因素，因此sensor均采用合并模式出图，能够保证暗光下有较好的感光度，有助于提升图像的信噪比。

在低动态范围且高照度场景下，当变焦倍率等于第一倍率时，分辨率可以满足需求，动态范围的因素也不需要考虑，sensor采用合并模式出图即可满足需求；当变焦倍率大于第一倍率且小于第二倍率时，动态范围的因素也不需要考虑，另外受限于平台的尺寸，为了避免sensor出图过大影响预览帧率，因此sensor仍然采用合并模式出图；当变焦倍率大于或等于第二倍率时，图像的分辨率为优先考虑的因素，因此sensor采用非合并+裁剪模式出图，有助于提升图像的清晰度。

在高动态范围且低照度场景下，无论变焦倍率在哪个区间(大于或等于第一倍率且小于第二倍率，或者，大于或等于第二倍率)，信噪比为优先考虑的因素，优先考虑合并模式出图。由于DCG模式也是一种合并模式，因此在高动态范围下sensor通常采用DCG模式出图，有助于提升图像的动态范围。

在高动态范围且高照度场景下，当变焦倍率大于或等于第一倍率且小于第二倍率时，动态范围有优先考虑的因素，因此sensor均采用DCG模式出图，有助于提升图像的动态范围；当变焦倍率大于或等于第二倍率时，相比于DCG模式出图提升预览场景的动态范围，此处sensor采用非合并+裁剪模式出图因此这样可以保证更好的图像清晰度，并且，拍照场景的动态范围可以通过另出长短曝光帧通过多帧后处理算法(比如，可以通过后处理算法模块和/或ISP模块来实现)提升，从而使得拍照场景下能够达到较好的效果(可以兼顾图像的清晰度和动态范围)。

综上所述，在不同场景下，本申请实施例为sensor选择合适的出图模式，可以兼顾到功耗、清晰度以及图像质量。并且，本申请实施例中，sensor还可以实现三种模式的平滑切换。另外，通过统一控制ISP参数，还可以实现图像具有一致的颜色效果和亮度效果。

另外，可以理解，对于变焦倍率小于第一倍率的情况，是否采用图2中(1)所示的处理方式，可以取决于产品的具体实现，本申请实施例不作具体限定。例如，在用户选择的变焦倍率大于0x且小于1x时，如果电子设备具有超广角摄像头，那么可以切换到超广角摄像头进行处理。又例如，在用户选择的变焦倍率大于0x且小于1x时，也可以不切换摄像头，采用图2中(1)示出的处理方式。

在上述情形一和情形二中，在变焦倍率等于第一倍率时，sensor出图方式可能是DCG模式也可能是合并模式。此时，sensor采用DCG模式或合并模式出图后，后通路的处理保持一致。“保持一致”的含义是指：在变焦倍率等于第一倍率时，(1)sensor采用DCG模式出图时的预览流的处理，与sensor采用合并模式出图时预览流的处理是一致的；(2)sensor采用DCG模式出图时的拍照流的处理，与sensor采用合并模式出图时的拍照流的处理是一致的；(3)sensor采用DCG模式出图时的缩略图流的处理，与sensor采用合并模式出图时缩略图流的处理是一致的。

以下结合图3和图4描述在变焦倍率等于第一倍率时后通路(包括预览通路、拍照通路和缩略图通路)的处理流程。

图3是本申请实施例的拍照系统300的一个示意性框图。如图3所示，该拍照系统300包括决策模块、ISP参数配置模块、摄像头、第一缓存、第一图像处理模块、ISP第一模块、ISP第二模块、ISP第三模块。所述摄像头包括光学镜片以及图像传感器(sensor)。

应理解，预览流中涉及的ISP第一模块、ISP第二模块和ISP第三模块，拍照流中涉及的ISP第一模块、ISP第二模块和ISP第三模块，与缩略图流中涉及的ISP第一模块、ISP第二模块和ISP第三模块之间可以是部分复用或全部复用的，也可以是相互独立的，本申请实施例对此不作限定。

比如，预览流对应一套ISP第一模块、ISP第二模块和ISP第三模块；拍照流对应一套ISP第一模块、ISP第二模块和ISP第三模块；缩略图流对应一套ISP第一模块、ISP第二模块和ISP第三模块。又比如，预览流、拍照流以及缩略图流共用同一套ISP第一模块、ISP第二模块和ISP第三模块。又比如，预览流与拍照流复用ISP第一模块，预览流对应一套ISP第二模块和ISP第三模块，拍照流对应一套ISP第二模块和ISP第三模块，缩略图流对应一套ISP第二模块和ISP第三模块等等。

可以理解，上述关于ISP第一模块、ISP第二模块和ISP第三模块的描述只是示例描述，本申请实施例并不限于此。

还可以理解，上述关于ISP第一模块、ISP第二模块和ISP第三模块的描述对于后文的图5和图7也适用，下文将不再赘述。

所述决策模块用于根据拍摄场景的动态范围值、变焦倍率和环境照度，确定各个模块(包括摄像头、ISP第一模块、ISP第二模块、ISP第三模块和后处理算法模块)的参数配置。各个模块的相关参数配置可通过ISP参数配置模块下发给各个模块。换句话说，所述决策模块通过ISP参数配置模块，控制或调配各个模块的功能或作用，比如说，使能或不使能哪些ISP模块，ISP模块如何处理图像数据等等。

作为一种可能的实现方式，在变焦倍率等于第一倍率的全照度场景(包括高照度场景和低照度场景)，且是高动态范围的场景下，所述决策模块至少确定以下参数配置：sensor的出图方式为DCG模式(对应第一模式)。

作为一种可能的实现方式，在变焦倍率等于第一倍率的全照度场景(包括高照度场景和低照度场景)，且是低动态范围的场景下，所述决策模块至少确定以下参数配置：sensor的出图方式为合并模式(对应第二模式)。

以第一倍率是1x为例说明，在1x场景下无分辨率的损失，能够满足图像的分辨率要求。在1x的高动态范围场景下，sensor采用DCG模式出图，可以提升场景的动态范围。另外，合并模式能够提升图像信噪比，提升暗光环境下的图像效果，因此在变焦倍率为1x的全照度场景下，在低动态范围场景，可以采用合并模式出图，图像具有较好的信噪比。在高动态范围场景下，采用DCG模式可以提升图像的动态效果，从而提升图像质量。

可选地，所述决策模块还可以配置各个ISP模块的其他参数，比如，颜色、亮度效果、变焦倍率等，控制实现各个ISP模块的ISP参数配置一致。

所述摄像头用于采集图像信号，并对所述采集的图像信号通过合并模式或DCG模式进行处理。

如图3所示，sensor通过DCG模式或合并模式输出第一图像数据，第一图像数据的格式为第一图像格式(拜耳格式)。

在图3中，所述第一缓存用于存储摄像头输出的第一图像数据，以便在拍照命令后触发后能够第一时间从第一缓存中获取拍照帧的数据。

所述第一图像处理模块用于处理拍照通路的图像数据。所述第一图像处理模块包括后处理算法模块、ISP第一模块、ISP第二模块和ISP第三模块。

所述后处理算法模块用于在拍照模式下离线对图像进行处理，以提升图像效果。例如，所述后处理算法模块用于对图像执行以下一项或多项处理：多帧融合降噪处理、多帧HDR处理等等。

在图3中，对于预览流而言，数据流经过ISP第一模块、ISP第二模块和ISP第三模块。其中，ISP第一模块不需要对从sensor获得的数据进行处理，或者说数据经过ISP第一模块后会传送至ISP第二模块。ISP第二模块用于进行bayer域的处理，输出RGB格式的数据。ISP第三模块用于进行RGB域或YUV域的处理，输出YUV格式的数据。

以下将描述ISP第二模块和ISP第三模块可以包含的进一步处理功能。此处做统一说明，在ISP第二模块和ISP第三模块使能的情况下，下面关于ISP第二模块和ISP第三模块的处理在其他模式(下文的第二模式和第三模式)或拍照系统(比如图5或图7中的拍照系统)或处理流程(比如图4、图6或图8中的处理流程)中或其他通路(拍照流、缩略图流)也是适用的。在下文出现ISP第二模块和ISP第三模块的地方将不再赘述其进一步处理功能。

可选地，ISP第二模块还包括以下一项或多项处理：坏点矫正(bad pixelcorrection，BPC)、黑电平矫正(black level correct，BLC)、镜头阴影矫正(lens shadecorrection，LSC)、自动白平衡(automatic white balance，AWB)、bayer域降噪(noisereduce，NR)、Demosaic等。

可选地，ISP第三模块还包括以下一项或多项处理：颜色矫正(color correct，CC)、YUV域降噪(noise reduce，NR)、颜色增强(color enhancer，CE)、锐化(Sharpen)、色调映射(Tone Mapping)等。

如图3所示，对于拍照流而言，数据流经过第一缓存、第一图像处理模块。第一图像处理模块中内部的数据流走向也可以有多种方式。本申请实施例对第一数据送入第一图像处理模块内部后的处理不作具体限定。在第一图像处理模块内部，决策模块可以选择数据流经过哪些模块，或不经过哪些模块。

图3中示出了数据流在所述第一图像处理模块中的两种走向。一种可能的实现方式，如图3所示，从第一缓存中获得的第一数据在送入第一图像处理模块后，首先输送到后处理算法模块，即，不经过ISP第一模块，然后经过ISP第二模块、ISP第三模块。其中，ISP第二模块与后处理算法模块之间通过双向箭头(即可双向交互)连接；ISP第三模块与后处理算法模块之间通过双向箭头连接。

例如，在数据经过后处理算法模块处理后，可送入ISP第二模块进行处理，接着，在ISP第二模块处理完成后可将数据再返回给后处理算法模块进行处理，也可以传输给ISP第三模块进行处理；然后，后处理算法模块处理完后可送入ISP第三模块处理，最后ISP第三模块处理完后返回给后处理算法模块进一步处理，有助于提高图像质量。

另一种可能的实现方式，如图3所示，第一图像数据在送入第一图像处理模块后，首先输送到ISP第一模块。ISP第一模块对第一图像数据进行处理(比如binning、HDR融合等)。接着，ISP第一模块将处理后的图像数据送到后处理算法模块；后处理算法模块在处理完成后可以将处理后的图像数据传输给ISP第二模块，在ISP第二模块处理完成后可将图像数据再返回给后处理算法模块进行处理，也可以传输给ISP第三模块进行处理；然后，后处理算法模块处理完后可送入ISP第三模块处理，最后ISP第三模块处理完后返回给后处理算法模块进一步处理，有助于提高图像质量。

如图3所示，对于缩略图流而言，数据流经过第一缓存、ISP第二模块和ISP第三模块。此处数据流不需要经过ISP第一模块的原因在于，从第一缓存中获得的数据的格式为第一图像格式的数据，即拜耳数据，因此无需ISP第一模块进行处理以得到拜耳数据。此处缩略图流是离线处理，因此可以调用ISP第二模块和ISP第三模块处理图像。另外，需要说明的是，由于缩略图要保证优先出图速度，对图像的清晰度要求要低于拍照流，因此对于缩略图流而言，不需要经过后处理算法模块对图像进行处理。

在图3的基础上，本申请实施例设计了相应的后通路处理流程，具体涉及预览流、拍照流和缩略图流。以下结合图4描述采用图3所示的拍照系统300的拍照流程。

图4示出了在变焦倍率等于第一倍率时的拍照方法的示意性流程图。如图4所示，拍照方法包括以下步骤：

步骤401，对于采集的图像信号，通过合并模式或DCG模式进行处理，获得第一图像数据，所述第一图像数据采用第一图像格式。第一图像格式是bayer raw。

也就是说，sensor采用DCG模式或合并模式进行出图，输出bayer raw图像，比如第一图像数据。第一图像数据可以送入预览通路处理，也可存储于第一缓存中以便后续拍照通路调用。

步骤402，将所述第一图像数据送入预览通路，同时，将所述第一图像数据存储在第一缓存中。

其中，第一缓存用于保存拍照帧的数据。在拍照命令触发后，可从第一缓存中获得拍照帧的数据返回给用户。

本申请实施例对第一缓存的类型不作具体限定。第一缓存可以是普通的缓存(buffer)，也可以是某种拍照模式下特有的buffer。例如，第一缓存是零秒延时拍照(zeroshutter lag，ZSL)缓存(buffer)。ZSL buffer用来存储sensor直出的图像数据。在ZSL模式下，拍照命令下发后，系统就会从ZSL buffer中选出对应帧的图像数据送入拍照流和缩略图流进行处理。

步骤403-1，通过ISP第二模块对所述第一图像的原始数据进行去马赛克处理，得到RGB格式的数据；

步骤403-2，通过ISP第三模块对所述RGB格式的数据进行RGB处理或YUV处理，得到YUV格式的数据，输出预览图像。

以上步骤403-1至步骤403-2描述的是预览通路的工作流程。通过上述流程，可以提高预览图像的图像质量。

步骤404，接收用户的第一操作，所述第一操作用于触发拍照。

所述第一操作是拍照命令。本申请实施例对第一操作的具体形式不作具体限定，比如，第一操作是手动点击拍摄控件，或者，第一操作是通过声音控制手机进行拍照，或者所述第一操作是定时启动拍照功能的操作(比如，在3秒后自动拍照)。例如，第一操作是用户点击图1中所示的拍摄控件14的操作。

步骤405，响应于所述第一操作，从第一缓存中获取第一图像数据。

在接收到拍照命令后，需要从第一缓存中取出对应拍照时间戳的图像帧，比如，该图像帧的数据为所述第一图像数据。

步骤406-1，通过后处理算法模块或ISP第二模块对所述第一图像数据进行图像处理，得到第二图像数据。

比如，通过后处理算法模块或ISP第二模块对所述第一图像数据进行Bayer域的处理，得到RGB格式的数据。可以理解，后处理算法模块或ISP第二模块也可以执行其他图像处理，具体参考前文描述，此处不再赘述。

步骤406-2，通过ISP第三模块对所述第二图像数据进行RGB处理或YUV处理，得到YUV格式的数据，输出拍照图像。

以上步骤404至步骤406-2描述的是拍照通路的工作流程。通过上述流程，可以提高拍照图像的图像质量。

步骤407-1，通过ISP第二模块对所述第一图像数据进行Demosaic处理，得到RGB格式的数据；

步骤407-2，通过ISP第三模块对所述RGB格式的数据进行RGB处理或YUV处理，得到YUV格式的数据，输出缩略图。

以上步骤407-1至步骤407-2描述的是缩略图流的工作流程。通过上述流程，可以提高缩略图的图像质量。

在上述情形一、情形二、情形三和情形四中，sensor出图方式可能采用DCG模式出图也可能采用合并模式出图。sensor在哪种情形下具体采用哪种模式出图在前述情形已经描述，此处不再赘述。

在变焦倍率大于第一倍率且小于第二倍率场景下，以及，在变焦倍率大于或等于第二倍率的低照度场景下，sensor采用DCG模式或合并模式出图后，后通路的处理保持一致。“保持一致”的含义前文也已经解释，此处不再赘述。

以下结合图5和图6描述拍摄场景(包括变焦倍率大于第一倍率且小于第二倍率的场景，以及，变焦倍率大于或等于第二倍率的低照度场景)的另一处理流程。

图5是本申请实施例的拍照系统500的一个示意性框图。拍照系统500与拍照系统300包括的内容相同。此处不再赘述拍照系统500中包括的模块。图5与图3的区别至少在于以下方面：在图5中，ISP第三模块或者后处理算法模块需要基于变焦倍率进行相应的裁剪和上采样处理。图5中的ISP第三模块或者后处理算法模块需要进行裁剪和上采样处理的原因在于：图5所示的拍照系统针对的是变焦倍率大于第一倍率且小于第二倍率下的场景，以及，变焦倍率大于或等于第二倍率且低照度下的场景，而图3所示的拍照系统针对的是变焦倍率等于第一倍率(比如1x)下的场景。图3中的ISP第三模块或者后处理算法模块无需进行裁剪和上采样处理。

作为一种可能的实现方式，在以下两种情况：(1)变焦倍率大于或等于第二倍率，且是低照度高动态场景，(2)变焦倍率大于第一倍率且小于第二倍率，且是全环境照度(包括高照度和低照度)高动态场景，所述决策模块至少确定以下参数配置：所述摄像头的出图方式为DCG模式，在预览通路中ISP第三模块的图像处理包括裁剪和上采样，在拍照通路中后处理算法模块或ISP第三模块的图像处理包括裁剪和上采样，以及，在缩略图通路中ISP第三模块的图像处理包括裁剪和上采样。

作为一种可能的实现方式，在以下两种情况：(1)变焦倍率大于或等于第二倍率，且是低照度低动态场景，(2)变焦倍率大于第一倍率且小于第二倍率，且是全环境照度(包括高照度和低照度)低动态场景，所述决策模块至少确定以下参数配置：所述摄像头的出图方式为合并模式，在预览通路中ISP第三模块的图像处理包括裁剪和上采样，在拍照通路中后处理算法模块或ISP第三模块的图像处理包括裁剪和上采样，以及，在缩略图通路中ISP第三模块的图像处理包括裁剪和上采样。

在图5中，sensor采用合并模式或DCG模式出图，获得第三图像数据，所述第三图像数据采用第一图像格式。在获得第三图像数据后，将所述第三图像数据送入预览通路，同时，将所述第三图像数据存储在第一缓存中。第一缓存的描述可以参考前面的描述(比如前文步骤402下面关于第一缓存的描述)，此处不作赘述。

比如，在变焦倍率是2x的暗光场景下，在低动态范围下sensor采用合并模式出图，可提升信噪比；在高动态范围下采用DCG模式，可以提高动态范围。另外，还需要根据变焦倍率2x进行裁剪，以便得到与2x对应的视场图。预览出图或拍照出图应当与1x的尺寸大小一致，因此还需要对裁剪后的图像进行上采样处理。

同样，此处也涉及预览流、拍照流以及缩略图流的处理流程。以图5中的数据走向进行示例说明。

图5中预览流的数据走向与图3中预览流的数据走向相同。类似地，在图5中，ISP第一模块不需要对从sensor获得的数据进行处理，或者说数据经过ISP第一模块后会传送至ISP第二模块；并且，ISP第三模块用于对图像进行裁剪和上采样。通过裁剪可以获得相应的变焦倍率的视场图；通过上采样可以得到预览效果图。

图5中的拍照流的数据走向与图3中拍照流的数据走向相同。图5与图3中的第一图像处理模块包含的模块相同。类似地，图5中的第一图像处理模块中内部的数据流走向也可以有多种方式。二者的区别至少在于，在图5中，后处理算法模块或ISP第三模块中的处理包括裁剪和上采样处理，以保证图像的分辨率保持不变。

如图5所示，对于缩略图流而言，数据流经过第一缓存、ISP第二模块和ISP第三模块。此处数据流不需要经过ISP第一模块的原因在于，从第一缓存中获得的数据的格式为拜耳数据，因此无需ISP第一模块进行处理以得到拜耳数据。另外，此处缩略图流是离线处理，因此可以调用ISP第二模块和ISP第三模块处理图像。并且，ISP第三模块用于对图像进行裁剪和上采样，以保证缩略图像的分辨率保持不变。

在图5的基础上，本申请实施例设计了相应的后通路处理流程，具体涉及预览流、拍照流和缩略图流。以下结合图6描述采用图5所示的拍照系统的500的拍照流程。

图6示出了另一拍照方法的示意性流程图。如图6所示，拍照方法包括以下步骤：

步骤601，对于采集的图像信号，通过合并模式或DCG模式处理，获得第三图像数据，所述第三图像数据采用第一图像格式。第一图像格式是bayer raw。

也就是说，sensor采用合并模式出图，输出bayer raw图像，比如第三图像数据。第三图像数据可以送入预览通路处理，也可存储于第一缓存中以便后续拍照通路调用。

步骤602，将所述第三图像数据送入预览通路，同时，将所述第三图像数据存储在第一缓存中。

第一缓存的描述可以参考前文，此处不再赘述。

步骤603-1，通过ISP第二模块对所述第三图像数据进行去马赛克(Demosaic)处理，得到RGB格式的数据；

步骤603-2，通过ISP第三模块对所述RGB格式的数据进行RGB处理或YUV处理，得到YUV格式的数据，并对所述YUV格式的数据进行裁剪和上采样处理，输出预览图像。

以上步骤603-1至步骤603-2描述的是预览通路的工作流程。通过上述步骤，可以提高预览图像的质量。

步骤604，接收用户的第二操作，所述第二操作用于触发拍照。

所述第二操作是拍照命令。第二操作的描述可以参考前文第一操作的描述，此处不再赘述。

步骤605，响应于所述第二操作，从第一缓存中获取第三图像数据。

步骤606-1，通过后处理算法模块或ISP第二模块对所述第三图像数据进行图像处理，得到第四图像数据。

比如，通过后处理算法模块或ISP第二模块对所述第三图像数据进行Bayer域的处理，得到RGB格式的数据。可以理解，后处理算法模块或ISP第二模块也可以执行其他图像处理，具体参考前文描述，此处不再赘述。

步骤606-2，通过后处理算法模块或ISP第三模块对所述第四图像数据进行裁剪和上采样处理，输出拍照图像。

以上步骤604至步骤606-2描述的是第二模式下的拍照流的工作流程。通过上述步骤，可以提高拍照图像的质量。

步骤607-1，通过ISP第二模块对所述第三图像数据进行Demosaic处理，得到RGB格式的数据；

步骤607-2，通过ISP第三模块对所述RGB格式的数据进行RGB处理或YUV处理，得到YUV格式的数据，并对所述YUV格式的数据进行裁剪和上采样处理，输出缩略图。

以上步骤607-1至步骤607-2描述的是缩略图流的工作流程。通过上述步骤，可以提高缩略图的质量。

在上述情形五和情形六中，sensor的出图方式为第三模式(即非合并+裁剪模式)。以下结合图7和图8描述后通路的处理流程。

图7是本申请实施例的拍照系统700的一个示意性框图。该拍照系统700与拍照系统300包括的内容相同。拍照系统700与拍照系统300包括的内容相同。此处不再赘述拍照系统700中包括的模块。图7与图3的区别至少在于以下方面：在图7中，sensor出图方式为非合并模式+裁剪处理；ISP第一模块或后处理算法模块需要进行Remosaic处理。

作为一种可能的实现方式，在变焦倍率大于或等于第二倍率，且是高照度场景时，无论是高动态范围还是低动态范围，所述决策模块至少确定以下参数配置：所述摄像头的出图方式为非合并模式+裁剪处理，预览通路中的ISP第一模块的图像处理包括Remosaic处理，拍照通路中的ISP第一模块或后处理算法模块需要进行Remosaic处理，以及，缩略图通路中的ISP第一模块的图像处理包括Remosaic处理。

在图7中，所述摄像头用于采集图像信号，并对所述采集的图像信号通过非合并模式+裁剪处理，输出第五图像数据。所述第五图像数据采用第二图像格式(即quadra raw)。换种表述，sensor采用非合并模式+裁剪方式进行出图。

需要说明的是，由于此处sensor的出图方式采用的是非合并模式，相比于合并模式，在非合并模式下不会损失图像的分辨率(或者说清晰度)，在高变焦倍率下(比如，变焦倍率大于或等于第二倍率)需优先保证图像的清晰度，因此在高变焦倍率下采用非合并模式出图会更合适。另外，在通过非合并模式处理图像信号后，只需要再做裁剪即可得到高变焦倍率的相应视场角的图像，无需再对图像进行上采样。

举例来说，假设sensor的分辨率为50M(或者说像素为5千万)，变焦倍率取2x，那么sensor使用非合并模式出图后，还需要进行2x视场角(FOV)的裁减，就能得到12.5M的图像。

所述第一缓存用于存储摄像头输出的第五图像数据，以便在拍照命令后触发后能够第一时间从第一缓存中获取拍照帧的数据。

所述后处理算法模块用于在拍照模式下离线对图像进行Remosaic处理，以提升图像效果。

可选地，所述后处理算法模块还可用于对图像执行以下一项或多项处理：多帧融合降噪处理、多帧HDR处理等等。

如图7所示，对于预览流而言，数据流经过ISP第一模块、ISP第二模块和ISP第三模块。其中，ISP第一模块用于对第五图像数据进行Remosaic处理。ISP第二模块用于进行bayer域的处理，输出RGB格式的数据。ISP第三模块用于进行RGB域或YUV域的处理，输出YUV格式的数据。

ISP第二模块或ISP第三模块还可以包含进一步处理功能，相关描述可以参考前文，这里不再赘述。

可选地，ISP第一模块还包括以下一项或多项处理：binning、HDR融合等。此处作统一说明，在ISP第一模块使能的情况下，此处介绍的ISP第一模块包含的进一步处理功能，对于本申请实施例中出现ISP第一模块的其他地方(比如，图3或图5中的ISP第一模块等)也可以适用。

如图7所示，对于拍照流而言，数据流经过第一缓存、第一图像处理模块。第一图像处理模块中内部的数据流走向也可以有多种方式。本申请实施例对第五图像数据送入第一图像处理模块内部后的处理不作具体限定。决策模块可以在第一图像处理模块内部，选择经过哪些模块，或不经过哪些模块。

图7中示出了数据流在所述第一图像处理模块中的两种走向。一种可能的实现方式，如图7所示，从第一缓存中获得的第五图像数据在送入第一图像处理模块后，首先输送到后处理算法模块，即，不经过ISP第一模块，后处理算法模块对第五图像数据进行Remosaic处理，然后经过ISP第二模块、ISP第三模块。其中，ISP第二模块与后处理算法模块之间通过双向箭头(即可双向交互)连接；ISP第三模块与后处理算法模块之间通过双向箭头连接。

例如，在第五图像数据经过后处理算法模块进行Remosaic处理后，可送入ISP第二模块进行处理，接着，在ISP第二模块处理完成后可将图像数据再返回给后处理算法模块进行处理，也可以传输给ISP第三模块进行处理；然后，后处理算法模块处理完后可送入ISP第三模块处理，最后ISP第三模块处理完后返回给后处理算法模块进一步处理，有助于提高图像质量。

由于第五图像数据(格式为quadra raw)在送入所述后处理算法模块时，噪声模型并未被破坏，所述后处理算法模块可以基于第五图像数据(quadra raw)进行降噪处理。这样，通过噪声建模的方法能够达到更好的降噪效果。相比于将第五图像数据送入ISP或者摄像头内部进行Remosaic处理，这样做能够达到更好的降噪效果，有利于提升拍照图像的清晰度，提高用户拍摄体验。

另一种可能的实现方式，如图7所示，第五图像数据在送入第一图像处理模块后，首先输送到ISP第一模块。ISP第一模块对第五图像数据进行Remosaic处理；接着，ISP第一模块处理后的图像数据送到后处理算法模块；后处理算法模块进行处理后可以将处理后的图像数据传输给ISP第二模块，在ISP第二模块处理完成后可将图像数据再返回给后处理算法模块进行处理，也可以传输给ISP第三模块进行处理；然后，后处理算法模块处理完后可送入ISP第三模块处理，最后ISP第三模块处理完后返回给后处理算法模块进一步处理，有助于提高图像质量。

如图7所示，对于缩略图流而言，数据流经过第一缓存、ISP第一模块、ISP第二模块和ISP第三模块。其中，ISP第一模块用于对第五图像数据进行Remosaic处理，得到的图像数据的格式为bayer raw。经过ISP第一模块处理后得到的bayer raw，可通过ISP第二模块和ISP第三模块进行进一步处理。ISP第二模块用于进行bayer域的处理，输出RGB格式的数据。ISP第三模块用于进行RGB域或YUV域的处理，输出YUV格式的数据。

需要说明的是，由于缩略图要保证优先出图速度，因此缩略图流对图像的清晰度要求要低于拍照流，因此对于缩略图流而言，不需要经过后处理算法模块对图像进行处理。

本申请实施例为sensor采用第三模式进行出图时设计了后通路的处理流程，具体涉及预览流、拍照流、缩略图流。以下结合图8描述采用图7所示的拍照系统700的拍照流程。

图8示出了拍摄场景(即在变焦倍率大于或等于第二倍率的高照度场景)的另一拍照方法的示意性流程图。如图8所示，拍照方法包括以下步骤：

步骤801，对于采集的图像信号，通过非合并模式以及裁剪处理，获得第五图像数据，所述第五图像数据采用第二图像格式。

具体而言，sensor对采集到的图像信号采用非合并模式出图，并基于quadra raw格式图像进行裁剪(比如，通过crop函数实现)，获得quadra raw图像。

步骤802，将所述第五图像数据送入预览通路，同时，将所述第五图像数据存储在第一缓存中。

第一缓存的描述可以参考前文，此处不再赘述。

步骤803-1，通过ISP第一模块对第五图像数据进行Remosaic处理，得到第六图像数据，并将所述第六图像数据送入ISP第二模块。所述第六图像数据采用第一图像格式(bayer raw)。

也就是说，sensor输出的图像格式是quadra raw格式，经过ISP第一模块处理后，得到bayer raw格式的图像。

步骤803-2，通过ISP第二模块对所述第六图像数据进行去马赛克处理，得到RGB格式的数据。

步骤803-3，通过ISP第三模块对所述RGB格式的数据进行RGB处理或YUV处理，得到YUV格式的数据，输出预览图像。

以上步骤803-1至步骤803-3描述的是预览流的工作流程。

步骤804，接收用户的第三操作，所述第三操作用于触发拍照。

所述第三操作可以参考前文第一操作的描述，此处不再赘述。

步骤805，响应于所述第三操作，从第一缓存中获取第五图像数据。

在接收到拍照命令后，需要从第一缓存中取出对应拍照时间戳的图像帧，比如，该图像帧的数据为所述第五图像数据。

步骤806-1，通过后处理算法模块对所述第五图像数据进行Remosaic处理，得到第七图像数据。所述第七图像数据采用第一图像格式(bayer raw)。

另外，前文有提到：在变焦倍率大于或等于第二倍率且是高照度场景下，当动态范围是高动态范围时，拍照场景的动态范围可以通过另出长短曝光帧，并通过多帧后处理算法来提升。相应的，在步骤806-1中，可选地，所述后处理算法模块还用于对sensor在DCG模式下输出的多个图像帧进行多帧融合处理，以提升拍照场景的动态范围。

或者，可选地，也可以是通过ISP第一模块对sensor在DCG模式下输出的多个图像帧进行多帧融合处理。

步骤806-2，通过ISP第二模块对所述第七图像数据进行去马赛克处理，得到RGB格式的数据。

步骤806-3，通过ISP第三模块对所述RGB格式的数据进行RGB处理或YUV处理，得到YUV格式的数据，输出拍照图像。

以上步骤804至步骤806-3描述的是拍照流的工作流程。在拍照通路的处理中，相比于将第五图像数据送入ISP或者摄像头内部进行Remosaic处理，利用后处理算法模块对第五图像数据进行remosaic处理的情形，能够达到更好的降噪效果，有利于提升拍照图像的清晰度。

另外，在拍照通路中，Remosaic处理也可以由ISP第一模块执行。图8中仅是示出了通过后处理算法模块进行Remosaic处理的情形。

可选地，上述步骤806-1也可以替换为：通过ISP第一模块对所述第五图像数据进行Remosaic处理，得到第七图像数据。所述第七图像数据采用第一图像格式(bayer raw)。相应的，步骤806-2和步骤806-3也可以进行相应调整。比如，步骤806-2替换为：通过后处理算法模块对第七图像数据进行图像处理，并将后处理算法模块处理后的图像数据送到ISP第二模块进行处理；步骤806-3替换为：通过ISP第三模块对ISP第二模块输出的图像数据进行处理，输出拍照图像。后处理算法模块、ISP第二模块或ISP第三模块对图像数据的具体处理方式不作限定，可以参考前文描述。

步骤807-1，通过ISP第一模块对所述第五图像数据进行Remosaic处理，得到拜耳格式的数据。

步骤807-2，通过ISP第二模块对所述拜耳格式的数据进行Demosaic处理，得到RGB格式的数据；

步骤807-3，通过ISP第三模块对所述RGB格式的数据进行RGB处理或YUV处理，得到YUV格式的数据，输出缩略图。

以上步骤804、步骤805、步骤807-1至步骤807-3描述的是缩略图流的工作流程。通过上述步骤，可以提高缩略图的质量。

可以理解，上述图3、图5和图7中所示出的拍照系统仅是示例性描述，本申请实施例并不限于此。

还可以理解，上述图4、图6和图8中所示的拍照方法的流程也仅是示例性描述，并不对本申请实施例的保护范围构成限定。

以下结合图9和图10描述本申请实施例应用的软件系统和硬件架构。

图9是本申请实施例应用的架构(包括软件系统和部分硬件)的一个示意图。如图9所示，应用架构分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，应用架构可以分为五层，从上至下分别为应用层、应用框架层、硬件抽象层HAL、驱动层(driver)以及硬件层。

如图9所示，应用层包括相机和图库。

可以理解，图9中示出的是部分应用程序，事实上应用层还可以包括其他应用程序，本申请对此不作限定。比如应用层还包括信息、闹钟、天气、秒表、指南针、计时器、手电筒、日历、支付宝等应用程序。

如图9所示，应用框架层包括相机访问接口。相机访问接口中包括相机管理和相机设备。硬件抽象层包括相机硬件抽象层和相机算法库。其中，相机硬件抽象层中包括多个相机设备。相机算法库中包括后处理算法模块和决策模块。

应理解，决策模块也可以放在其他层。作为一种可能的实现方式，决策模块可以放在应用层或应用框架层。

驱动层用于驱动硬件资源。驱动层中可以包括多个驱动模块。如图9所示，驱动层包括相机设备驱动、数字信号处理器驱动和图形处理器驱动等。

硬件层包括传感器、图像信号处理器、数字信号处理器和图形处理器。其中，床干起中包括多个传感器、TOF摄像头以及多光谱传感器。图像信号处理器中包括ISP第一模块、ISP第二模块和ISP第三模块。

举例来说，用户可以点击相机应用程序。在用户点击相机进行拍照时，拍照指令可以通过相机访问接口下发到相机硬件抽象层。相机硬件抽象层调用相机设备驱动，并调用相机算法库。相机算法库中的决策模块根据变焦倍率、环境照度和动态范围值确定拍照模式(比如第一模式、第二模式或第三模式)，并将配置好的参数(包括senor出图方式、各个ISP模块的参数配置、后处理算法模块的参数配置)发送给相机硬件抽象层。相机硬件抽象层将决策模块配置的参数下发到相机设备驱动。相机设备驱动基于相机硬件抽象层下发的配置参数发送到硬件层，比如，将senor出图方式发送给传感器，将各个ISP模块的参数配置发送给图像信号处理器。传感器基于senor出图方式进行出图。图像信号处理器基于各个ISP模块的参数配置进行相应的处理。相机算法库还用于向驱动层中的数字信号处理器驱动下发数字信号，以便数字信号处理器驱动调用硬件层中的数字信号处理器进行数字信号处理。数字信号处理器可以将处理好的数字信号通过数字信号处理器驱动返回到相机算法库。相机算法库还用于向驱动层中的图形信号处理器驱动下发数字信号，以便图形信号处理器驱动调用硬件层中的图形处理器进行数字信号处理。图形处理器可以将处理好的图形数据通过图形处理器驱动返回到相机算法库。

另外，图像信号处理器输出的图像可以发送给相机设备驱动。相机设备驱动可以将图像信号处理器输出的图像发送给相机硬件抽象层。相机硬件抽象层可以将图像送入后处理算法模块作进一步处理，也可以将图像送入相机访问接口。相机访问接口可以将相机硬件抽象层返回的图像发送至相机。

上文详细描述了本申请实施例应用的软件系统。下面结合图10描述电子设备1000的硬件系统。

图10示出了一种适用于本申请的电子设备1000的结构示意图。

电子设备1000可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线(universal serial bus，USB)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194，以及用户标识模块(subscriber identification module，SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A，陀螺仪传感器180B，气压传感器180C，磁传感器180D，加速度传感器180E，距离传感器180F，接近光传感器180G，指纹传感器180H，温度传感器180J，触摸传感器180K，环境光传感器180L，骨传导传感器180M等。

需要说明的是，图10所示的结构并不构成对电子设备1000的具体限定。在本申请另一些实施例中，电子设备1000可以包括比图10所示的部件更多或更少的部件，或者，电子设备1000可以包括图10所示的部件中某些部件的组合，或者，电子设备1000可以包括图10所示的部件中某些部件的子部件。比如，图10所示的接近光传感器180G可以是可选的。图10示的部件可以以硬件、软件、或软件和硬件的组合实现。

处理器110可以包括一个或多个处理单元。例如，处理器110可以包括以下处理单元中的至少一个：应用处理器(application processor，AP)、调制解调处理器、图形处理器(graphics processing unit，GPU)、图像信号处理器(image signal processor，ISP)、控制器、视频编解码器、数字信号处理器(digital signal processor，DSP)、基带处理器、神经网络处理器(neural-network processing unit，NPU)。其中，不同的处理单元可以是独立的器件，也可以是集成的器件。

控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。

处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。

在一些实施例中，处理器110可以包括一个或多个接口。例如，处理器110可以包括以下接口中的至少一个：内部集成电路(inter-integrated circuit，I2C)接口、内部集成电路音频(inter-integrated circuit sound，I2S)接口、脉冲编码调制(pulse codemodulation，PCM)接口、通用异步接收传输器(universal asynchronous receiver/transmitter，UART)接口、移动产业处理器接口(mobile industry processor interface，MIPI)、通用输入输出(general-purpose input/output，GPIO)接口、SIM接口、USB接口。

图10所示的各模块间的连接关系只是示意性说明，并不构成对电子设备1000的各模块间的连接关系的限定。可选地，电子设备1000的各模块也可以采用上述实施例中多种连接方式的组合。

充电管理模块140用于从充电器接收电力。其中，充电器可以是无线充电器，也可以是有线充电器。在一些有线充电的实施例中，充电管理模块140可以通过USB接口130接收有线充电器的电流。在一些无线充电的实施例中，充电管理模块140可以通过电子设备1000的无线充电线圈接收电磁波(电流路径如虚线所示)。充电管理模块140为电池142充电的同时，还可以通过电源管理模块141为电子设备1000供电。

电源管理模块141用于连接电池142，充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入，为处理器110，内部存储器121，显示屏194，摄像头193，和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量、电池循环次数和电池健康状态(例如，漏电、阻抗)等参数。可选地，电源管理模块141可以设置于处理器110中，或者，电源管理模块141和充电管理模块140可以设置于同一个器件中。

电子设备1000的无线通信功能可以通过天线1、天线2、移动通信模块150、无线通信模块160、调制解调处理器以及基带处理器等器件实现。

电子设备1000可以通过GPU、显示屏194以及应用处理器实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。

显示屏194可以用于显示图像或视频。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)、有机发光二极管(organic light-emitting diode，OLED)、有源矩阵有机发光二极体(active-matrix organic light-emitting diode，AMOLED)、柔性发光二极管(flex light-emitting diode，FLED)、迷你发光二极管(mini light-emitting diode，Mini LED)、微型发光二极管(micro light-emitting diode，Micro LED)、微型OLED(Micro OLED)或量子点发光二极管(quantum dotlight emitting diodes，QLED)。在一些实施例中，电子设备1000可以包括1个或N个显示屏194，N为大于1的正整数。

电子设备1000可以通过ISP、摄像头193、视频编解码器、GPU、显示屏194以及应用处理器等实现拍摄功能。

ISP用于处理摄像头193反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给ISP处理，转化为肉眼可见的图像。ISP可以对图像的噪点、亮度和色彩进行算法优化，ISP还可以优化拍摄场景的曝光和色温等参数。在一些实施例中，ISP可以设置在摄像头193中。

摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的红绿蓝(red green blue，RGB)，YUV等格式的图像信号。在一些实施例中，电子设备1000可以包括1个或N个摄像头193，N为大于1的正整数。

数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当电子设备1000在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。

视频编解码器用于对数字视频压缩或解压缩。电子设备1000可以支持一种或多种视频编解码器。这样，电子设备1000可以播放或录制多种编码格式的视频，例如：动态图像专家组(moving picture experts group，MPEG)1、MPEG2、MPEG3和MPEG4。

NPU是一种借鉴生物神经网络结构的处理器，例如借鉴人脑神经元之间传递模式对输入信息快速处理，还可以不断地自学习。通过NPU可以实现电子设备1000的智能认知等功能，例如：图像识别、人脸识别、语音识别和文本理解。

电子设备1000可以通过音频模块170、扬声器170A、受话器170B、麦克风170C、耳机接口170D以及应用处理器等实现音频功能，例如，音乐播放和录音。

距离传感器180F用于测量距离。电子设备1000可以通过红外或激光测量距离。在一些实施例中，例如在拍摄场景中，电子设备1000可以利用距离传感器180F测距以实现快速对焦。

环境光传感器180L用于感知环境光亮度。电子设备1000可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180L也可用于拍照时自动调节白平衡。环境光传感器180L还可以与接近光传感器180G配合，检测电子设备1000是否在口袋里，以防误触。

指纹传感器180H用于采集指纹。电子设备1000可以利用采集的指纹特性实现解锁、访问应用锁、拍照和接听来电等功能。

触摸传感器180K，也称为触控器件。触摸传感器180K可以设置于显示屏194，由触摸传感器180K与显示屏194组成触摸屏，触摸屏也称为触控屏。触摸传感器180K用于检测作用于其上或其附近的触摸操作。触摸传感器180K可以将检测到的触摸操作传递给应用处理器，以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中，触摸传感器180K也可以设置于电子设备1000的表面，并且与显示屏194设置于不同的位置。

按键190包括开机键和音量键。按键190可以是机械按键，也可以是触摸式按键。电子设备1000可以接收按键输入信号，实现于案件输入信号相关的功能。

在一些实施例中，处理器110可以基于启动摄像头；获取当前拍照环境下的变焦倍率以及环境照度值；根据所述变焦倍率以及环境照度值确定相应的拍照流程。

在一种可能的实现方式中，所述处理器110可根据不同的动态范围、不同的变焦倍率以及不同的环境照度，为sensor选择合适的出图方式。

可以理解，本申请实施例的图像处理方法可以应用于图10中所示的电子设备中，具体的实现步骤可以参考前文方法实施例的介绍，此处不再赘述。

由上可知，本申请实施例提供了一种图像处理方法和电子设备，通过拍摄场景的变焦倍率和动态范围确定摄像头的出图方式，在所述变焦倍率大于或等于第一倍率且小于第二倍率，且高动态范围时sensor采用DCG模式出图，能够提升高动态拍摄场景下的图像质量，避免出现鬼影的问题，有助于提升用户的拍摄体验。进一步地，在确定摄像头的出图方式也可以考虑拍摄场景的环境照度，以选择合适的出图方式。

本申请还提供了一种计算机程序产品，该计算机程序产品被处理器执行时实现本申请中任一方法实施例所述的方法。

该计算机程序产品可以存储在存储器中，经过预处理、编译、汇编和链接等处理过程最终被转换为能够被处理器执行的可执行目标文件。

本申请还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被计算机执行时实现本申请中任一方法实施例所述的方法。该计算机程序可以是高级语言程序，也可以是可执行目标程序。

该计算机可读存储介质可以是易失性存储器或非易失性存储器，或者，可以同时包括易失性存储器和非易失性存储器。其中，非易失性存储器可以是只读存储器(read-only memory，ROM)、可编程只读存储器(programmable ROM，PROM)、可擦除可编程只读存储器(erasable PROM，EPROM)、电可擦除可编程只读存储器(electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(random access memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(static RAM，SRAM)、动态随机存取存储器(dynamic RAM，DRAM)、同步动态随机存取存储器(synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(doubledata rateSDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(directrambus RAM，DR RAM)。

本领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的装置和设备的具体工作过程以及产生的技术效果，可以参考前述方法实施例中对应的过程和技术效果，在此不再赘述。

在本申请所提供的几个实施例中，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的方法实施例的一些特征可以忽略，或不执行。以上所描述的装置实施例仅仅是示意性的，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，多个单元或组件可以结合或者可以集成到另一个系统。另外，各单元之间的耦合或各个组件之间的耦合可以是直接耦合，也可以是间接耦合，上述耦合包括电的、机械的或其它形式的连接。

应理解，在本申请的各种实施例中，各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请的实施例的实施过程构成任何限定。

另外，本文中术语“系统”和“网络”在本文中常被可互换使用。本文中的术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

总之，以上所述仅为本申请技术方案的较佳实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims

1.一种图像处理方法，其特征在于，所述方法应用于电子设备，所述电子设备包括摄像头，所述方法包括：

启动摄像头；

获取当前拍摄场景的变焦倍率以及动态范围；

在所述变焦倍率大于或等于第一倍率且小于第二倍率，且所述动态范围满足第一动态范围DR约束条件时，所述摄像头采用第一模式出图，所述第二倍率大于所述第一倍率；

基于所述摄像头输出的图像数据进行图像处理；

其中，所述动态范围满足第一动态范围DR约束条件时，所述动态范围为高动态范围；所述第一模式为双增益转换DCG模式，在所述DCG模式下，所述摄像头输出的图像是长曝光帧和短曝光帧进行融合后的图像帧。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在所述变焦倍率大于或等于第一倍率且小于第二倍率，且所述动态范围不满足第一DR约束条件时，所述摄像头采用第二模式出图，所述第二倍率大于所述第一倍率，所述第二模式是合并模式。

3.根据权利要求1或2所述的方法，其特征在于，对于在所述变焦倍率等于第一倍率，且所述动态范围值满足第一DR约束条件时，所述摄像头采用第一模式出图的情况；或者，在所述变焦倍率等于第一倍率，且所述动态范围不满足第一DR约束条件时，所述摄像头采用第二模式出图的情况，所述摄像头输出第一图像数据，所述第一图像数据采用第一图像格式；

所述第一图像数据存储于第一缓存中，所述方法还包括：

接收用户的第一操作，所述第一操作用于触发拍照；

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

5.根据权利要求3所述的方法，其特征在于，所述方法还包括：

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取当前拍摄场景的环境照度；

其中，所述根据所述变焦倍率以及所述动态范围，确定所述摄像头的出图方式，包括：

7.根据权利要求6所述的方法，其特征在于，所述方法还包括：

在所述变焦倍率大于或等于第二倍率，所述环境照度为低照度，且所述动态范围满足第一DR约束条件时，所述摄像头采用第一模式出图。

8.根据权利要求6所述的方法，其特征在于，所述方法还包括：

在所述变焦倍率大于或等于第二倍率，所述环境照度为低照度，且所述动态范围不满足第一DR约束条件时，所述摄像头采用第二模式出图。

9.根据权利要求1、2、7或8所述的方法，其特征在于，对于在所述变焦倍率大于第一倍率且小于第二倍率，且所述动态范围满足第一DR约束条件时，所述摄像头采用第一模式出图的情况；或者，在所述变焦倍率大于第一倍率且小于第二倍率，且所述动态范围不满足第一DR约束条件时，所述摄像头采用第二模式出图的情况；或者，在所述变焦倍率大于或等于第二倍率，所述当前拍摄场景的环境照度为低照度场景，且所述动态范围满足第一DR约束条件时，所述摄像头采用第一模式出图的情况；或者，在所述变焦倍率大于或等于第二倍率，所述当前拍摄场景的环境照度为低照度场景，且所述动态范围不满足第一DR约束条件时，所述摄像头采用第二模式出图的情况，所述摄像头输出第三图像数据，所述第三图像数据采用第一图像格式；

所述第三图像数据存储于第一缓存中，所述方法还包括：

接收用户的第二操作，所述第二操作用于触发拍照；

响应于所述第二操作，从第一缓存中获取第三图像数据；

10.根据权利要求9所述的方法，其特征在于，所述方法还包括：

11.根据权利要求9所述的方法，其特征在于，所述方法还包括：

12.根据权利要求6所述的方法，其特征在于，所述方法还包括：

在所述变焦倍率大于或等于第二倍率，所述环境照度为高照度，且所述动态范围满足第一DR约束条件时，所述摄像头采用第三模式出图，所述第三模式是非合并+裁剪模式。

13.根据权利要求6所述的方法，其特征在于，所述方法还包括：

14.根据权利要求12或13所述的方法，其特征在于，所述摄像头输出的数据为第五图像数据，所述第五图像数据采用第二图像格式；

15.根据权利要求14所述的方法，其特征在于，所述第五图像数据存储于第一缓存中，所述方法还包括：

接收用户的第三操作，所述第三操作用于触发拍照；

16.根据权利要求15所述的方法，其特征在于，所述方法还包括：

在缩略图流中，通过ISP第一模块对所述第五图像数据进行拜耳图像再生成处理，得到拜耳格式的数据；

17.一种电子设备，其特征在于，包括处理器和存储器，所述处理器和所述存储器耦合，所述存储器用于存储计算机程序，当所述计算机程序被所述处理器执行时，使得所述电子设备执行权利要求1至16中任一项所述的方法。

18.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，当所述计算机程序被处理器执行时，使得所述处理器执行权利要求1至16中任一项所述的方法。

19.一种芯片，其特征在于，包括处理器，当所述处理器执行指令时，所述处理器执行如权利要求1至16中任一项所述的方法。