CN110086967B - 图像处理方法、图像处理器、拍摄装置和电子设备 - Google Patents

Abstract

本申请公开了一种图像处理方法。图像处理方法包括：应用程序模块向相机服务模块请求原始数据；相机服务模块在接收到请求后，将请求发送给硬件抽象模块；硬件抽象模块在接收到请求后，将原始数据经相机服务模块发送至应用程序模块；应用程序模块在接收到原始数据后，将原始数据发送至算法后处理模块；和算法后处理模块对原始数据进行拍照后处理并将处理后的结果数据传回给应用程序模块。本申请实施方式的图像处理方法通过算法后处理模块实现数据分流，可以减少硬件抽象模块的负载，使得系统运行流畅，不会出现卡顿现象，且不需要用户长时间等待，极大地提升了拍照体验。此外，本申请还公开了一种图像处理器、拍摄装置和电子设备。

Description

图像处理方法、图像处理器、拍摄装置和电子设备

技术领域

本申请涉及图像处理技术领域，更具体而言，涉及一种图像处理方法、图像处理器、拍摄装置和电子设备。

背景技术

随着电子技术的发展，相机的功能越来越多，模块也越来越复杂。当用户按下相机的拍照键后，需要在拍照界面等待一段时间以完成图像处理，在这一过程中，用户不能执行其他操作，也不能退出相机，拍照体验不佳。

发明内容

本申请实施方式提供一种图像处理方法、图像处理器、拍摄装置和电子设备。

本申请实施方式的图像处理方法包括：应用程序模块向相机服务模块请求原始数据；所述相机服务模块在接收到所述请求后，将所述请求发送给硬件抽象模块；所述硬件抽象模块在接收到所述请求后，将所述原始数据经所述相机服务模块发送至所述应用程序模块；所述应用程序模块在接收到所述原始数据后，将所述原始数据发送至算法后处理模块；和所述算法后处理模块对所述原始数据进行拍照后处理并将处理后的结果数据传回给所述应用程序模块。

本申请实施方式的图像处理器包括应用程序模块、相机服务模块、硬件抽象模块和算法后处理模块。所述应用程序模块用于向所述相机服务模块请求原始数据。所述相机服务模块用于在接收到所述请求后，将所述请求发送给所述硬件抽象模块。所述硬件抽象模块用于在接收到所述请求后，将所述原始数据经所述相机服务模块发送至所述应用程序模块。所述应用程序模块还用于在接收到所述原始数据后，将所述原始数据发送至所述算法后处理模块。所述算法后处理模块用于对所述原始数据进行拍照后处理并将处理后的结果数据传回给所述应用程序模块。

本申请实施方式的拍摄装置包括上述的图像处理器和图像传感器，所述图像传感器与所述图像处理器连接。

本申请实施方式的电子设备包括上述的拍摄装置和壳体，所述拍摄装置与所述壳体结合。

本申请实施方式的图像处理方法、图像处理器、拍摄装置和电子设备通过算法后处理模块实现数据分流，可以减少硬件抽象模块的负载，使得系统运行流畅，不会出现卡顿现象，而算法后处理模块的拍照后处理可以在后台运行，不需要用户长时间等待，极大地提升了拍照体验。

本申请的实施方式的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实施方式的实践了解到。

附图说明

本申请的上述和/或附加的方面和优点从结合下面附图对实施方式的描述中将变得明显和容易理解，其中：

图1是本申请某些实施方式的图像处理器的模块示意图；

图2是本申请某些实施方式的图像处理方法的流程示意图；

图3是本申请某些实施方式的图像处理方法的流程示意图；

图4是本申请某些实施方式的图像处理方法的流程示意图；

图5是本申请某些实施方式的图像处理方法的流程示意图；

图6是本申请某些实施方式的图像处理方法的流程示意图；

图7是本申请某些实施方式的图像处理方法的流程示意图；

图8是本申请某些实施方式的拍摄装置的模块示意图；

图9是本申请某些实施方式的算法后处理模块的示意图；

图10是本申请某些实施方式的电子设备的结构示意图；

图11是本申请某些实施方式的电子设备的结构示意图。

具体实施方式

下面详细描述本申请的实施方式，实施方式的示例在附图中示出，相同或类似的标号自始至终表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本申请，而不能理解为对本申请的限制。

请参阅图1和图2，本申请实施方式的图像处理方法包括：

01：应用程序模块14向相机服务模块18请求原始数据；

02：相机服务模块18在接收到请求后，将请求发送给硬件抽象模块12；

03：硬件抽象模块12在接收到请求后，将原始数据经相机服务模块18发送至应用程序模块14；

04：应用程序模块14在接收到原始数据后，将原始数据发送至算法后处理模块16；和

05：算法后处理模块16对原始数据进行拍照后处理并将处理后的结果数据传回给应用程序模块14。

请参阅图1，本申请实施方式的图像处理器10包括应用程序模块(APP)14、相机服务模块(Camera Service)18、硬件抽象模块(Hardware Abstraction Layer，HAL)12和算法后处理模块(Algo Process Service，APS)16。本申请实施方式的图像处理方法可由本申请实施方式的图像处理器10实现。例如，应用程序模块14可用于执行01和04中的方法，相机服务模块18可用于执行02中的方法，硬件抽象模块12可用于执行03中的方法，算法后处理模块16可用于执行05中的方法。

也即是说，应用程序模块14可以用于向相机服务模块18请求原始数据。相机服务模块18可以用于在接收到请求后，将请求发送给硬件抽象模块12。硬件抽象模块12可以用于在接收到请求后，将原始数据经相机服务模块18发送至应用程序模块14。应用程序模块14还可以用于在接收到原始数据后，将原始数据发送至算法后处理模块16。算法后处理模块16可以用于对原始数据进行拍照后处理并将处理后的结果数据传回给应用程序模块14。

本申请实施方式的图像处理方法和图像处理器10通过算法后处理模块16实现数据分流，可以减少硬件抽象模块12的负载，使得系统运行流畅，不会出现卡顿现象，而算法后处理模块16的拍照后处理可以在后台运行，不需要用户长时间等待，极大地提升了拍照体验。

具体地，应用程序模块14向相机服务模块18请求原始数据，原始数据为图像数据，原始数据可以是RAW格式的数据或者是YUV格式的数据；相机服务模块18在接收到请求后，将请求发送给硬件抽象模块12；硬件抽象模块12在接收到请求后，将原始数据经相机服务模块18发送至应用程序模块14，即硬件抽象模块12先将原始数据发送至相机服务模块18，相机服务模块18再将原始数据发送至应用程序模块14；应用程序模块14在接收到原始数据后，将原始数据发送至算法后处理模块16，算法后处理模块16内存储有至少一种图像处理算法，图像处理算法包括多帧处理算法、美颜处理算法、虚化处理算法、高动态范围图像(High-Dynamic Range，HDR)处理算法、滤镜处理算法、旋转处理算法、水印处理算法等；算法后处理模块16对原始数据进行拍照后处理并将处理后的结果数据传回给应用程序模块14，即：算法后处理模块16采用上述图像处理算法处理RAW格式的数据或者是YUV格式的数据，并将处理后的结果数据传回给应用程序模块14。

请参阅图1和图3，在某些实施方式中，应用程序模块14向相机服务模块18请求的原始数据为多帧。

硬件抽象模块12在接收到请求后，将原始数据经相机服务模块18发送至应用程序模块14(即03)，包括：

032：硬件抽象模块12在接收到请求后，依次将多帧原始数据经相机服务模块18发送至应用程序模块14；

应用程序模块14在接收到原始数据后，将原始数据发送至算法后处理模块16(即04)，包括：

042：应用程序模块14在接收到多帧原始数据后，将多帧原始数据打包发送至算法后处理模块16。

请参阅图1，在某些实施方式中，应用程序模块14向相机服务模块18请求的原始数据为多帧。硬件抽象模块12可用于执行032中的方法，应用程序模块14可用于执行042中的方法。也即是说，硬件抽象模块12可以用于在接收到请求后，依次将多帧原始数据经相机服务模块18发送至应用程序模块14。应用程序模块14可以用于在接收到多帧原始数据后，将多帧原始数据打包发送至算法后处理模块16。

例如，应用程序模块14向相机服务模块18请求的原始数据为4帧，相机服务模块18在接收到请求后，将请求发送给硬件抽象模块12；硬件抽象模块12在接收到请求后，首先，硬件抽象模块12将第1帧原始数据发送至相机服务模块18，相机服务模块18将第1帧原始数据发送至应用程序模块14；其次，硬件抽象模块12将第2帧原始数据发送至相机服务模块18，相机服务模块18将第2帧原始数据发送至应用程序模块14；然后，硬件抽象模块12将第3帧原始数据发送至相机服务模块18，相机服务模块18将第3帧原始数据发送至应用程序模块14；最后，硬件抽象模块12将第4帧原始数据发送至相机服务模块18，相机服务模块18将第4帧原始数据发送至应用程序模块14。在这一过程中，硬件抽象模块12将前一帧原始数据发送至相机服务模块18后，即可开始将下一帧原始数据发送至相机服务模块18，而无需等待相机服务模块18将前一帧原始数据发送至应用程序模块14，再开始将下一帧原始数据发送至相机服务模块18。这样可以节省将多帧原始数据经相机服务模块18发送至应用程序模块14所需的总时长，避免用户长时间等待，有利于提升拍照体验。

应用程序模块14在接收到第1帧原始数据、第2帧原始数据、第3帧原始数据和第4帧原始数据后，将第1帧原始数据、第2帧原始数据、第3帧原始数据和第4帧原始数据打包发送至算法后处理模块16。可以理解，当应用程序模块14向相机服务模块18请求的原始数据为多帧时，算法后处理模块16一般是需要对多帧原始数据进行拍照后处理，而若是应用程序模块14依次将多帧原始数据发送至算法后处理模块16，算法后处理模块16在仅接收到第1帧原始数据，或者仅接收到第1帧原始数据和第2帧原始数据，或者仅接收到第1帧原始数据、第2帧原始数据和第3帧原始数据时，算法后处理模块16并不能完成对多帧原始数据的拍照后处理。在本申请实施方式中，应用程序模块14将多帧原始数据打包发送至算法后处理模块16，可以高效地利用传输资源，在应用程序模块14将多帧原始数据打包发送至算法后处理模块16之后，算法后处理模块16即可对多帧原始数据进行拍照后处理，并将处理后的结果数据传回给所述应用程序模块14。

当然，在其他实施方式中，相机服务模块18也可以实现将多帧原始数据打包的功能。也即是说，硬件抽象模块12在接收到请求后，依次将多帧原始数据发送至相机服务模块18；相机服务模块18将多帧原始数据打包发送至应用程序模块14；应用程序模块14在接收到打包好的多帧原始数据后，将打包好的多帧原始数据发送至算法后处理模块16。

请参阅图1，在某些实施方式中，在算法后处理模块16对原始数据进行拍照后处理的过程中，应用程序模块14能够关闭或者退出应用界面。

具体地，在算法后处理模块16对原始数据进行拍照后处理的过程中，用户能够选择性的控制应用程序模块14关闭或者退出应用界面。也即是说，当用户仍需要使用应用程序模块14的应用界面时，用户也可以保持打开应用程序模块14的应用界面，而用户不需要使用应用程序模块14的应用界面时，由于算法后处理模块16对原始数据进行拍照后处理的过程不涉及应用程序模块14的工作，应用程序模块14能够根据用户的控制关闭或者退出应用界面。用户无需在应用程序模块14的应用界面长时间等待，导致无法执行其他操作。

请参阅图1和图4，在某些实施方式中，图像处理方法还包括：

06：相机服务模块18向应用程序模块14发送关于原始数据的帧数建议；

应用程序模块14向相机服务模块18请求原始数据(即01)，包括：

012：应用程序模块14根据帧数建议向相机服务模块18请求原始数据。

请参阅图1，在某些实施方式中，相机服务模块18可用于执行06中的方法，应用程序模块14可用于执行012中的方法。也即是说，相机服务模块18还可以用于向应用程序模块14发送关于原始数据的帧数建议。应用程序模块14还可以用于根据帧数建议向相机服务模块18请求原始数据。

具体地，帧数建议表示帧数的具体数值，例如1帧、2帧、3帧、4帧等。若相机服务模块18向应用程序模块14发送的关于原始数据的帧数建议为4帧，则应用程序模块14向相机服务模块18请求4帧原始数据；若相机服务模块18向应用程序模块14发送的关于原始数据的帧数建议为5帧，则应用程序模块14向相机服务模块18请求5帧原始数据。

硬件抽象模块12可以获取感光度(ISO值)信息、陀螺仪的抖动情况、AR场景检测结果(检测场景类型，例如人物、动物、风景等)等，硬件抽象模块12将这些信息发送至相机服务模块18，相机服务模块18根据这些信息向应用程序模块14发送关于原始数据的帧数建议。例如，当抖动较大时，相机服务模块18向应用程序模块14建议的帧数可以相对多一些，以更好地实现拍照后处理；当几乎不存在抖动时，相机服务模块18向应用程序模块14建议的帧数可以相对少一些，以减少数据传输量。也即是说，相机服务模块18向应用程序模块14建议的帧数与陀螺仪的抖动程度成正相关。当然，硬件抽象模块12也可以直接根据这些信息给出关于原始数据的帧数建议，相机服务模块18再向应用程序模块14转发关于原始数据的帧数建议。

请参阅图1和图5，在某些实施方式中，图像处理方法还包括：

07：相机服务模块18向应用程序模块14发送对原始数据进行拍照后处理的算法建议；

08：应用程序模块14根据算法建议设置预定算法并将预定算法发送至硬件抽象模块12；

算法后处理模块16对原始数据进行拍照后处理并将处理后的结果数据传回给应用程序模块14(即05)，包括：

052：算法后处理模块16根据预定算法对原始数据进行拍照后处理，并将处理后的结果数据传回给应用程序模块14。

请参阅图1，在某些实施方式中，相机服务模块18可用于执行07中的方法，应用程序模块14可用于执行08中的方法，算法后处理模块16可用于执行052中的方法。也即是说，相机服务模块18还可以用于向应用程序模块14发送对原始数据进行拍照后处理的算法建议。应用程序模块14还可以用于根据算法建议设置预定算法并将预定算法发送至硬件抽象模块12。算法后处理模块16还可以用于根据预定算法对原始数据进行拍照后处理，并将处理后的结果数据传回给应用程序模块14。

具体地，算法建议和预定算法均可以是上述多帧处理算法、美颜处理算法、虚化处理算法、HDR处理算法、滤镜处理算法、旋转处理算法、水印处理算法中一种或多种。例如，若相机服务模块18向应用程序模块14发送的对原始数据进行拍照后处理的算法建议为多帧处理算法，则应用程序模块14根据算法建议设置多帧处理算法，并将多帧处理算法发送至硬件抽象模块12，算法后处理模块16根据多帧处理算法对原始数据进行拍照后处理，并将处理后的结果数据传回给应用程序模块14；若相机服务模块18向应用程序模块14发送的对原始数据进行拍照后处理的算法建议为美颜处理算法和HDR处理算法，则应用程序模块14根据算法建议设置美颜处理算法和HDR处理算法，并将美颜处理算法和HDR处理算法发送至硬件抽象模块12，算法后处理模块16根据美颜处理算法和HDR处理算法对原始数据进行拍照后处理，并将处理后的结果数据传回给应用程序模块14。

硬件抽象模块12可以获取感光度(ISO值)信息、陀螺仪的抖动情况、AR场景检测结果(检测场景类型，例如人物、动物、风景等)等，硬件抽象模块12将这些信息发送至相机服务模块18，相机服务模块18根据这些信息向应用程序模块14发送对原始数据进行拍照后处理的算法建议。例如，当陀螺仪检测到的抖动较大时，相机服务模块18建议多帧处理算法，以根据多帧处理消除抖动；当AR场景检测结果检测的场景类型为人物时，相机服务模块18建议美颜处理算法，以对人物进行美颜；当AR场景检测结果检测的场景类型为风景时，相机服务模块18建议HDR处理算法，以形成高动态范围的风景图像。当然，硬件抽象模块12也可以直接根据这些信息给出对原始数据进行拍照后处理的算法建议，相机服务模块18再向应用程序模块14转发对原始数据进行拍照后处理的算法建议。

在某些实施方式中，图像处理方法还包括：相机服务模块18一并向应用程序模块14发送关于原始数据的帧数建议和对原始数据进行拍照后处理的算法建议；应用程序模块14根据帧数建议向相机服务模块18请求原始数据；应用程序模块14根据算法建议设置预定算法并将预定算法发送至硬件抽象模块12；算法后处理模块16根据预定算法对原始数据进行拍照后处理，并将处理后的结果数据传回给应用程序模块14。

请参阅图1和图6，在某些实施方式中，原始数据包括待处理数据和元数据。应用程序模块14向相机服务模块18请求原始数据(即01)，包括：

014：应用程序模块14向相机服务模块18请求待处理数据；

硬件抽象模块12在接收到请求后，将原始数据经相机服务模块18发送至应用程序模块14(即03)，包括：

034：硬件抽象模块12在接收到请求后，将待处理数据和与待处理数据对应的元数据经相机服务模块18发送至应用程序模块14；

应用程序模块14在接收到原始数据后，将原始数据发送至算法后处理模块16(即04)，包括：

044：应用程序模块14在接收到待处理数据和元数据后，将待处理数据和元数据发送至算法后处理模块16；

算法后处理模块16对原始数据进行拍照后处理并将处理后的结果数据传回给应用程序模块14(即05)，包括：

054：算法后处理模块16根据元数据对待处理数据进行拍照后处理并将处理后的结果数据传回给应用程序模块14。

请参阅图1，在某些实施方式中，原始数据包括待处理数据和元数据。应用程序模块14可用于执行014中的方法，硬件抽象模块12可用于执行034中的方法，应用程序模块14可用于执行044中的方法，算法后处理模块16可用于执行054中的方法。

也即是说，应用程序模块14可以用于向相机服务模块18请求待处理数据。硬件抽象模块12可以用于在接收到请求后，将待处理数据和与待处理数据对应的元数据经相机服务模块18发送至应用程序模块14。应用程序模块14可以用于在接收到待处理数据和元数据后，将待处理数据和元数据发送至算法后处理模块16。算法后处理模块16可以用于根据元数据对待处理数据进行拍照后处理并将处理后的结果数据传回给应用程序模块14。

具体地，元数据(metadata)与待处理数据对应。元数据包括待处理数据的相关信息，例如3a(自动曝光控制AE、自动聚焦控制AF、自动白平衡控制AWB)信息、图片信息(图片的宽度和高度)、曝光参数(光圈大小、快门速度和感光度光圈值)等。算法后处理模块16可以依据元数据实现对待处理数据的拍照后处理。例如，算法后处理模块16依据元数据中的ISO值调节待处理数据对应的图像亮度等。

当原始数据包括待处理数据和元数据时，应用程序模块14向相机服务模块18请求待处理数据；相机服务模块18在接收到请求后，将请求发送给硬件抽象模块12；硬件抽象模块12在接收到请求后，将待处理数据和与待处理数据对应的元数据经相机服务模块18发送至应用程序模块14；应用程序模块14在接收到待处理数据和元数据后，将待处理数据和元数据发送至算法后处理模块16；算法后处理模块16根据元数据对待处理数据进行拍照后处理并将处理后的结果数据传回给应用程序模块14。

进一步地，当应用程序模块14向相机服务模块18请求的原始数据为多帧时，相机服务模块18在接收到请求后，将请求发送给硬件抽象模块12；硬件抽象模块12在接收到请求后，依次将多帧待处理数据和分别与多帧待处理数据对应的多帧元数据经相机服务模块18发送至应用程序模块14；应用程序模块14在接收到多帧待处理数据和多帧元数据后，将多帧待处理数据和多帧元数据打包发送至算法后处理模块16；算法后处理模块16根据多帧元数据对多帧待处理数据进行拍照后处理并将处理后的结果数据传回给应用程序模块14。

例如，应用程序模块14向相机服务模块18请求4帧待处理数据，相机服务模块18在接收到请求后，将请求发送给硬件抽象模块12；硬件抽象模块12在接收到请求后，首先，硬件抽象模块12将第1帧待处理数据(即图1中的待处理数据1)和第1帧元数据(即图1中的元数据1)发送至相机服务模块18，相机服务模块18将第1帧待处理数据和第1帧元数据发送至应用程序模块14；其次，硬件抽象模块12将第2帧待处理数据(即图1中的待处理数据2)和第2帧元数据(即图1中的元数据2)发送至相机服务模块18，相机服务模块18将第2帧待处理数据和第2帧元数据发送至应用程序模块14；然后，硬件抽象模块12将第3帧待处理数据(即图1中的待处理数据3)和第3帧元数据(即图1中的元数据3)发送至相机服务模块18，相机服务模块18将第3帧待处理数据和第3帧元数据发送至应用程序模块14；最后，硬件抽象模块12将第4帧待处理数据(即图1中的待处理数据4)和第4帧元数据(即图1中的元数据4)发送至相机服务模块18，相机服务模块18将第4帧待处理数据和第4帧元数据发送至应用程序模块14。在这一过程中，硬件抽象模块12将前一帧待处理数据和元数据发送至相机服务模块18后，即可开始将下一帧待处理数据和元数据发送至相机服务模块18，而无需等待相机服务模块18将前一帧待处理数据和元数据发送至应用程序模块14，再开始将下一帧待处理数据和元数据发送至相机服务模块18。这样可以节省将多帧待处理数据和元数据经相机服务模块18发送至应用程序模块14所需的总时长，避免用户长时间等待，有利于提升拍照体验。

应用程序模块14在接收到第1帧待处理数据和第1帧元数据、第2帧待处理数据和第2帧元数据、第3帧待处理数据和第3帧元数据、第4帧待处理数据和第4帧元数据后，将第1帧待处理数据和第1帧元数据、第2帧待处理数据和第2帧元数据、第3帧待处理数据和第3帧元数据、第4帧待处理数据和第4帧元数据打包发送至算法后处理模块16。可以理解，当应用程序模块14向相机服务模块18请求的待处理数据为多帧时，算法后处理模块16一般是需要对多帧待处理数据进行拍照后处理，而若是应用程序模块14依次将多帧待处理数据和对应的元数据发送至算法后处理模块16，算法后处理模块16在仅接收到第1帧待处理数据和第1帧元数据，或者仅接收到第1帧待处理数据和第1帧元数据、第2帧待处理数据和第2帧元数据，或者仅接收到第1帧待处理数据和第1帧元数据、第2帧待处理数据和第2帧元数据、第3帧待处理数据和第3帧元数据时，算法后处理模块16并不能完成对多帧待处理数据的拍照后处理，在本申请实施方式中，应用程序模块14将多帧待处理数据和对应的元数据打包发送至算法后处理模块16，可以高效地利用传输资源，在应用程序模块14将多帧待处理数据和对应的元数据打包发送至算法后处理模块16之后，算法后处理模块16即可根据多帧元数据对多帧待处理数据进行拍照后处理，并将处理后的结果数据传回给所述应用程序模块14。

请参阅图1和图7，在某些实施方式中，硬件抽象模块12内的数据为第一图像格式。其中：应用程序模块14向相机服务模块18请求的原始数据也为第一图像格式的数据。或者，应用程序模块14向相机服务模块18请求的原始数据为第二图像格式的数据，图像处理方法还包括：

09：硬件抽象模块12将第一图像格式的数据转换为第二图像格式的数据。

请参阅图1，在某些实施方式中，硬件抽象模块12内的数据为第一图像格式。其中：应用程序模块14向相机服务模块18请求的原始数据也为第一图像格式的数据。或者，应用程序模块14向相机服务模块18请求的原始数据为第二图像格式的数据。硬件抽象模块12可用于执行09中的方法。也即是说，硬件抽象模块12还可以用于将第一图像格式的数据转换为第二图像格式的数据。

具体地，第一图像格式可以是RAW格式，第二图像格式可以是YUV格式。硬件抽象模块12内的数据为第一图像格式，即RAW格式。

第一种情况，应用程序模块14向相机服务模块18请求的原始数据也为RAW格式。此时，硬件抽象模块12内的数据与应用程序模块14向相机服务模块18请求的原始数据格式相同。硬件抽象模块12无需对RAW格式的数据进行格式转换。

当应用程序模块14向相机服务模块18请求多帧RAW格式的原始数据时，相机服务模块18在接收到请求后，将请求发送给硬件抽象模块12；硬件抽象模块12在接收到请求后，依次将多帧RAW格式的数据经相机服务模块18发送至应用程序模块14；应用程序模块14在接收到多帧RAW格式的数据后，将多帧RAW格式的数据打包发送至算法后处理模块16；算法后处理模块16对多帧RAW格式的数据进行拍照后处理并将处理后的结果数据传回给应用程序模块14。

当原始数据包括待处理数据和元数据时，应用程序模块14向相机服务模块18请求RAW格式的数据；相机服务模块18在接收到请求后，将请求发送给硬件抽象模块12；硬件抽象模块12在接收到请求后，将RAW格式的数据和对应的元数据经相机服务模块18发送至应用程序模块14；应用程序模块14在接收到RAW格式的数据和对应的元数据后，将RAW格式的数据和对应的元数据发送至算法后处理模块16；算法后处理模块16根据元数据对RAW格式的数据进行拍照后处理并将处理后的结果数据传回给应用程序模块14。

第二种情况，应用程序模块14向相机服务模块18请求的原始数据为YUV格式。此时，硬件抽象模块12内的数据与应用程序模块14向相机服务模块18请求的原始数据格式不同。硬件抽象模块12需要将RAW格式的数据转换为YUV格式的数据。

当应用程序模块14向相机服务模块18请求多帧YUV格式的原始数据时，相机服务模块18在接收到请求后，将请求发送给硬件抽象模块12；硬件抽象模块12在接收到请求后，先将多帧RAW格式的数据转换为多帧YUV格式的数据，再依次将多帧YUV格式的数据经相机服务模块18发送至应用程序模块14；应用程序模块14在接收到多帧YUV格式的数据后，将多帧YUV格式的数据打包发送至算法后处理模块16；算法后处理模块16对多帧YUV格式的数据进行拍照后处理并将处理后的结果数据传回给应用程序模块14。

当原始数据包括待处理数据和元数据时，应用程序模块14向相机服务模块18请求YUV格式的数据；相机服务模块18在接收到请求后，将请求发送给硬件抽象模块12；硬件抽象模块12在接收到请求后，先将RAW格式的数据转换为YUV格式的数据，再将YUV格式的数据和对应的元数据经相机服务模块18发送至应用程序模块14；应用程序模块14在接收到YUV格式的数据和对应的元数据后，将YUV格式的数据和对应的元数据发送至算法后处理模块16；算法后处理模块16根据元数据对YUV格式的数据进行拍照后处理并将处理后的结果数据传回给应用程序模块14。

请参阅图1和图8，在某些实施方式中，硬件抽象模块12内的第一图像格式的数据通过图像传感器20直接传输获得。或者，硬件抽象模块12内存储的第一图像格式的数据通过被算法后处理模块16处理实现拍照后处理并经应用程序模块14回传获得。

请参阅图8，本申请实施方式的拍摄装置100包括上述任一实施方式的图像处理器10和图像传感器20。图像处理器10和图像传感器20连接。图像传感器20包括图像采集单元(sensor)22和RAW图像数据单元(Image Front-end，IFE)24，图像采集单元22用于接收光线以采集获得图像数据(RAW图像，即前述第一图像格式的数据)，RAW图像数据单元24用于将图像采集单元22采集的图像数据传输至图像处理器10，其中，RAW图像数据单元24可以对图像采集单元22采集获得的RAW图像进行处理并输出处理后的RAW图像至图像处理器10。

图像处理器10包括硬件抽象模块12、应用程序模块14、算法后处理模块16和相机服务模块18。

硬件抽象模块12用于接收RAW图像、将RAW图像转换为YUV图像(即前述第二图像格式的数据)、及传输RAW图像和/或YUV图像。硬件抽象模块12可以与图像传感器20连接。具体地，硬件抽象模块12可以包括与图像传感器20连接的缓存单元(buffer queue)122、RAW转RGB处理单元(Bayer Process Segment，BPS)124和与应用程序模块14连接的降噪及YUV后处理单元(Image Process Engine，IPE)126。缓存单元122用于缓存来自图像传感器20的RAW图像并通过相机服务模块18、应用程序模块14传输给算法后处理模块16。RAW转RGB处理单元124用于将来自缓存单元122的RAW图像转换为RGB图像。降噪及YUV后处理单元126用于处理RGB图像得到YUV图像并将YUV图像通过相机服务模块18、应用程序模块14传输给算法后处理模块16。硬件抽象模块12还可传输图像数据的元数据，元数据包括3a(自动曝光控制AE、自动聚焦控制AF、自动白平衡控制AWB)信息、图片信息(例如图像宽度、高度)、曝光参数(光圈大小、快门速度和感光度光圈值)等，可以利用元数据辅助实现对RAW图像和/或YUV图像的拍照后处理(例如包括美颜处理、滤镜处理、旋转处理、水印处理、虚化处理、HDR处理、及多帧处理中的至少一种)。在一个实施例中，元数据包括感光度(ISO)信息，根据感光度信息可以辅助调节RAW图像和/或YUV图像的亮度，从而实现与调节亮度相关的拍照后处理。

由于硬件抽象模块12只接收RAW图像、将RAW图像转换为YUV图像、及传输RAW图像和/或YUV图像，而不对RAW图像和/或YUV图像进行拍照后处理，拍照后处理的图像处理算法无需在硬件抽象模块12本身的算法架构上做流程截断，只需在外部做兼容，设计难度大大减小。

在相关技术中，应用程序接口(API)将硬件抽象模块建立成管道(pipeline)的方式，由于管道的创建需要大量的时间和内存，因此在相机启动时需要将相机对应的工作模式用到的所有管道均先创建好，而为了实现各种图像处理算法，一般需要创建大量管道(例如超过三条管道)，这会导致相机的启动需要耗费大量的时间，并且占用大量的内存。本申请实施方式的硬件抽象模块12只接收RAW图像、将RAW图像转换为YUV图像、及传输RAW图像和/或YUV图像，而不对RAW图像和/或YUV图像进行拍照后处理，因此，硬件抽象模块12只需建立少量(例如一条或两条)管道即可，无需建立大量的管道，从而能够节约内存，并且可以使得相机的启动速度变快。

应用程序模块14与硬件抽象模块12通过相机服务模块18连接。应用程序模块14可以用于根据用户的输入产生控制指令并将该控制指令通过相机服务模块18、硬件抽象模块12发送给图像传感器20以对图像传感器20的工作进行相应的控制。其中，应用程序模块14可以以64比特位(bit)运行，并且拍照后处理的图像处理算法的静态数据连接库(lib)可以配置为64比特位，以提高运算速度。应用程序模块14接收硬件抽象模块12通过相机服务模块18传输的RAW图像和/或YUV图像后，可以对RAW和/或YUV图像进行拍照后处理，也可以将RAW和/或YUV图像传输至算法后处理模块16进行拍照后处理。当然，还可以是应用程序模块14进行一些拍照后处理(例如美颜处理、滤镜处理、旋转处理、水印处理、虚化处理等)，算法后处理模块16进行另外一些拍照后处理(例如HDR处理、多帧处理等)。在本申请实施方式中，应用程序模块14将RAW和/或YUV图像传输至算法后处理模块16进行拍照后处理。

算法后处理模块16通过应用程序模块14、相机服务模块18与硬件抽象模块12连接，算法后处理模块16内存储有至少一种图像处理算法(例如包括美颜处理算法、滤镜处理算法、旋转处理算法、水印处理算法、虚化处理算法、HDR处理算法、及多帧处理算法中的至少一种)，算法后处理模块16用于采用图像处理算法处理RAW图像和/或YUV图像以实现拍照后处理。由于对RAW图像和/或YUV图像进行拍照后处理可由算法后处理模块16实现，从而无需在硬件抽象模块12本身的算法架构上做流程截断，只需在外部做兼容，设计难度减小。并且由于拍照后处理由算法后处理模块16实现，因此算法后处理模块16的功能更单一、更聚焦，从而可以达到移植快，扩展新的图像处理算法简单等效果。当然，若是在应用程序模块14进行一些拍照后处理(例如美颜处理、滤镜处理、旋转处理、水印处理、虚化处理等)，算法后处理模块16进行另外一些拍照后处理(例如HDR处理、多帧处理等)时，应用程序模块14内也可存储有至少一种图像处理算法(例如包括美颜处理算法、滤镜处理算法、旋转处理算法、水印处理算法、虚化处理算法、HDR处理算法、及多帧处理算法中的至少一种)，应用程序模块14还用于采用图像处理算法处理RAW图像和/或YUV图像以实现拍照后处理。由于对RAW图像和/或YUV图像进行拍照后处理由应用程序模块14与算法后处理模块16实现，从而无需在硬件抽象模块12本身的算法架构上做流程截断，只需在外部做兼容，耦合设计难度同样也是大大减小。

在算法后处理模块16只处理RAW图像(例如图像处理算法针对RAW图像进行处理)时，硬件抽象模块12可以只传输RAW图像(此时可以不需要将RAW图像转换为YUV图像)；在算法后处理模块16只处理YUV图像(例如图像处理算法针对YUV图像进行处理)时，硬件抽象模块12可以只传输YUV图像；在算法后处理模块16处理RAW图像和YUV图像时，硬件抽象模块12可以传输RAW图像和YUV图像。

图像传感器20进行一次拍摄(曝光成像)后，将拍摄数据(RAW图像)传输给硬件抽象模块12，在算法后处理模块16接收到与拍摄数据对应的RAW图像和/或YUV图像后，图像传感器20能够进行下一次拍摄、或图像传感器20能够关闭、或应用程序模块14能够关闭、或应用程序模块14能够退出应用界面。由于拍照后处理由算法后处理模块16实现，因此在将拍摄数据对应的RAW图像和/或YUV图像传输给算法后处理模块16后，只需要算法后处理模块16就可实现拍照后处理，此时图像传感器20和应用程序模块14无需参与拍照后处理，因此，图像传感器20能够关闭或执行下一次拍摄，应用程序模块14能够关闭或退出应用界面。如此，拍摄装置100能够实现快拍，并且在算法后处理模块16进行拍照后处理时可以关闭应用程序模块14或退出应用程序界面，从而在电子设备上进行一些其他操作(例如与拍摄装置100无关的操作，比如浏览网页、看视频、打电话等)，从而用户无需花费大量的时间等待拍照后处理的完成，便于用户使用电子设备。

算法后处理模块16可以包括编码单元162，编码单元162用于将YUV图像转换为JPG图像(或者JPEG图像等)。具体地，在算法后处理模块14处理的是YUV图像时，编码单元162可以直接对YUV图像进行编码以形成JPG图像，从而提高图像的输出速度。在算法后处理模块14处理的是RAW图像时，算法后处理模块14可以将处理实现拍照后处理的RAW图像经应用程序模块14、相机服务模块18回传至硬件抽象模块12，例如回传至RAW转RGB处理单元124，RAW转RGB处理单元124可以用于将算法后处理模块14处理实现拍照后处理并经应用程序模块14回传的RAW图像转换为RGB图像，降噪及YUV后处理单元126可以将RGB图像转换为YUV图像，该YUV图像可以再次传输至算法后处理模块16的编码单元162中以将该YUV图像转换为JPG图像。在某些实施方式中，算法后处理模块14也可以将处理实现拍照后处理的RAW图像经应用程序模块14、相机服务模块18回传至缓存单元122，回传的RAW图像经过RAW转RGB处理单元124和降噪及YUV后处理单元126形成YUV图像，再传输至编码单元162以形成JPG图像。在形成JPG图像后，算法后处理模块16可以用于将JPG图像传输至存储器中保存。

请参阅图9，算法后处理模块16包括逻辑处理调用层164、算法模块接口层166和算法处理层168。逻辑处理调用层164用于与应用程序模块14通信。算法模块接口层166用于维护算法接口。算法处理层168包括至少一种图像处理算法。算法模块接口层166用于通过算法接口对算法处理层168的图像处理算法进行注册、注销、调用和回调中的至少一种操作。

逻辑处理调用层164可以包括线程队列，算法后处理模块16接收到RAW图像和/或YUV图像的拍照后处理任务后，可以将拍照后处理任务缓存在线程队列中处理，其中，线程队列可以缓存多个拍照后处理任务，如此，可以通过逻辑处理调用层164实现快拍(即快拍机制)。另外，逻辑处理调用层164也可以接收应用程序模块14发送的初始化(init)、进程(process)等指令，并将对应的指令和数据保存到线程队列中。逻辑处理调用层164根据线程队列中的任务进行具体逻辑的调用(即具体逻辑调用组合)。逻辑处理调用层164还可以将处理获得的缩略图(thumbnail)回传给应用程序模块14进行显示(即缩略图回显)。

算法模块接口层166用于调用算法接口，调用命令也可以保存到线程队列中，算法处理层168在接收到线程队列的调用命令时，即可解析调用命令的参数获得需要调用的图像处理算法。算法模块接口层166对图像处理算法进行注册时，可以在算法处理层168中新增一种图像处理算法；算法模块接口层166对图像处理算法进行注销时，可以删除算法处理层168中一种图像处理算法；算法模块接口层166对图像处理算法进行调用时，可以调用算法处理层168中一种图像处理算法；算法模块接口层166对图像处理算法进行回调时，可以将算法处理后的数据和状态回传给应用程序模块14。其中，可以采用统一接口实现图像处理算法的注册、注销、调用、回调等操作。算法处理层168中的每一种图像处理算法都是独立的，如此可以方便对图像处理算法实现注册、注销、调用、回调等操作。

请参阅图8，相机服务模块18分别与硬件抽象模块12和应用程序模块14连接。相机服务模块18对RAW图像和/或YUV图像进行封装并将封装后的RAW图像和/或YUV图像传输至应用程序模块14、及将应用程序模块14回传的RAW图像传输至硬件抽象模块12。如此，通过相机服务模块18对图像进行封装，可以提高图像传输的效率，并且能够提高图像传输的安全性。硬件抽象模块12和应用程序模块14之间传输的数据需要通过相机服务模块18。例如，硬件抽象模块12向应用程序模块14传输RAW图像和/或YUV图像时，硬件抽象模块12先将RAW图像和/或YUV图像传输至相机服务模块18，相机服务模块18对RAW图像和/或YUV图像进行封装并将封装后的RAW图像和/或YUV图像传输至应用程序模块14。又例如，硬件抽象模块12向应用程序模块14传输元数据时，硬件抽象模块12先将元数据传输至相机服务模块18，相机服务模块18对元数据进行封装并将封装后的元数据传输至应用程序模块14。又例如，硬件抽象模块12向应用程序模块14传输帧数建议时，硬件抽象模块12先将帧数建议传输至相机服务模块18，相机服务模块18对帧数建议进行封装并将封装后的帧数建议传输至应用程序模块14。又例如，硬件抽象模块12向应用程序模块14传输算法建议时，硬件抽象模块12先将算法建议传输至相机服务模块18，相机服务模块18对算法建议进行封装并将封装后的算法建议传输至应用程序模块14。当然，在某些实施方式中，硬件抽象模块12可将感光度信息、陀螺仪的抖动情况、AR场景检测结果等传输至相机服务模块18，相机服务模块18根据感光度信息、陀螺仪的抖动情况、AR场景检测结果等获得帧数建议和/或算法建议，再将帧数建议和/或算法建议传输至应用程序模块14。

请参阅图10和图11，本申请实施方式的电子设备1000包括上述任一实施方式的拍摄装置100和壳体200，拍摄装置100与壳体200结合。壳体200可以作为电子设备1000的功能元件的安装载体。壳体200可以为功能元件提供防尘、防摔、防水等保护，功能元件可以是显示屏、拍摄装置100、受话器等。其中，在一个实施方式中，壳体200包括主体210和可动支架220，可动支架220在驱动装置的驱动下可以相对于主体210运动，例如可动支架220可以相对于主210体滑动，以滑入主体210(例如图10的状态)或从主体210滑出(例如图11的状态)。部分功能元件可以安装在主体210上，另一部分功能元件(例如拍摄装置100)可以安装在可动支架220上，可动支架220运动可带动该另一部分功能元件缩回主体210内或从主体210中伸出。在另一个实施方式中，壳体200上开设有采集窗口，拍摄装置100与采集窗口对准安装以使拍摄装置100能够通过采集窗口接收外界光线以形成图像，或者拍摄装置100设置在显示屏下方，拍摄装置100接收穿过显示屏的外界光线以形成图像。

尽管上面已经示出和描述了本申请的实施方式，可以理解的是，上述实施方式是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施方式进行变化、修改、替换和变型。

Claims (14)

1.一种图像处理方法，其特征在于，包括：

相机服务模块向应用程序模块发送关于原始数据的帧数建议；

所述应用程序模块根据所述帧数建议向所述相机服务模块请求所述原始数据；

所述相机服务模块在接收到所述请求后，将所述请求发送给硬件抽象模块；

所述硬件抽象模块在接收到所述请求后，将所述原始数据经所述相机服务模块发送至所述应用程序模块；

所述应用程序模块在接收到所述原始数据后，将所述原始数据发送至算法后处理模块；和

所述算法后处理模块对所述原始数据进行拍照后处理并将处理后的结果数据传回给所述应用程序模块。

2.一种图像处理方法，其特征在于，包括：

相机服务模块向应用程序模块发送对原始数据进行拍照后处理的算法建议；

所述应用程序模块向相机服务模块请求原始数据；

所述相机服务模块在接收到所述请求后，将所述请求发送给硬件抽象模块；

所述硬件抽象模块在接收到所述请求后，将所述原始数据经所述相机服务模块发送至所述应用程序模块；

所述应用程序模块在接收到所述原始数据后，将所述原始数据发送至算法后处理模块；

所述应用程序模块根据所述算法建议设置预定算法并将所述预定算法发送至所述硬件抽象模块；及

所述算法后处理模块根据所述预定算法对所述原始数据进行拍照后处理，并将处理后的结果数据传回给所述应用程序模块。

3.根据权利要求1或2所述的图像处理方法，其特征在于，所述应用程序模块向所述相机服务模块请求的所述原始数据为多帧；

所述硬件抽象模块在接收到所述请求后，将所述原始数据经所述相机服务模块发送至所述应用程序模块，包括：

所述硬件抽象模块在接收到所述请求后，依次将多帧所述原始数据经所述相机服务模块发送至所述应用程序模块；

所述应用程序模块在接收到所述原始数据后，将所述原始数据发送至算法后处理模块，包括：

所述应用程序模块在接收到多帧所述原始数据后，将多帧所述原始数据打包发送至所述算法后处理模块。

4.根据权利要求1或2所述的图像处理方法，其特征在于，在所述算法后处理模块对所述原始数据进行拍照后处理的过程中，所述应用程序模块能够关闭或者退出应用界面。

5.根据权利要求1或2所述的图像处理方法，其特征在于，所述原始数据包括待处理数据和元数据；所述应用程序模块向相机服务模块请求原始数据，包括：

所述应用程序模块向所述相机服务模块请求所述待处理数据；

所述硬件抽象模块在接收到所述请求后，将所述原始数据经所述相机服务模块发送至所述应用程序模块，包括：

所述硬件抽象模块在接收到所述请求后，将所述待处理数据和与所述待处理数据对应的所述元数据经所述相机服务模块发送至所述应用程序模块；

所述应用程序模块在接收到所述原始数据后，将所述原始数据发送至算法后处理模块，包括：

所述应用程序模块在接收到所述待处理数据和所述元数据后，将所述待处理数据和所述元数据发送至算法后处理模块；

所述算法后处理模块对所述原始数据进行拍照后处理并将处理后的结果数据传回给所述应用程序模块，包括：

所述算法后处理模块根据所述元数据对所述待处理数据进行拍照后处理并将处理后的结果数据传回给所述应用程序模块。

6.根据权利要求1或2所述的图像处理方法，其特征在于，所述硬件抽象模块内的数据为第一图像格式；其中：

所述应用程序模块向所述相机服务模块请求的所述原始数据为所述第一图像格式的数据；或者

所述应用程序模块向所述相机服务模块请求的所述原始数据为第二图像格式的数据，所述图像处理方法还包括：

所述硬件抽象模块将所述第一图像格式的数据转换为所述第二图像格式的所述数据。

7.一种图像处理器，其特征在于，包括应用程序模块、相机服务模块、硬件抽象模块和算法后处理模块；

所述相机服务模块用于向所述应用程序模块发送关于原始数据的帧数建议；

所述应用程序模块用于根据所述帧数建议向所述相机服务模块请求所述原始数据；

所述相机服务模块用于在接收到所述请求后，将所述请求发送给所述硬件抽象模块；

所述硬件抽象模块用于在接收到所述请求后，将所述原始数据经所述相机服务模块发送至所述应用程序模块；

所述应用程序模块还用于在接收到所述原始数据后，将所述原始数据发送至所述算法后处理模块；和

所述算法后处理模块用于对所述原始数据进行拍照后处理并将处理后的结果数据传回给所述应用程序模块。

8.一种图像处理器，其特征在于，包括应用程序模块、相机服务模块、硬件抽象模块和算法后处理模块；

所述相机服务模块用于向所述应用程序模块发送对原始数据进行拍照后处理的算法建议；

所述应用程序模块用于向所述相机服务模块请求原始数据；

所述相机服务模块用于在接收到所述请求后，将所述请求发送给所述硬件抽象模块；

所述硬件抽象模块用于在接收到所述请求后，将所述原始数据经所述相机服务模块发送至所述应用程序模块；

所述应用程序模块还用于在接收到所述原始数据后，将所述原始数据发送至所述算法后处理模块；

所述应用程序模块还用于根据所述算法建议设置预定算法并将所述预定算法发送至所述硬件抽象模块；及

所述算法后处理模块还用于根据所述预定算法对所述原始数据进行拍照后处理，并将处理后的结果数据传回给所述应用程序模块。

9.根据权利要求7或8所述的图像处理器，其特征在于，所述应用程序模块向所述相机服务模块请求的所述原始数据为多帧；

所述硬件抽象模块用于在接收到所述请求后，依次将多帧所述原始数据经所述相机服务模块发送至所述应用程序模块；

所述应用程序模块用于在接收到多帧所述原始数据后，将多帧所述原始数据打包发送至所述算法后处理模块。

10.根据权利要求7或8所述的图像处理器，其特征在于，在所述算法后处理模块对所述原始数据进行拍照后处理的过程中，所述应用程序模块能够关闭或者退出应用界面。

11.根据权利要求7或8所述的图像处理器，其特征在于，所述原始数据包括待处理数据和元数据；

所述应用程序模块用于向所述相机服务模块请求所述待处理数据；

所述硬件抽象模块用于在接收到所述请求后，将所述待处理数据和与所述待处理数据对应的所述元数据经所述相机服务模块发送至所述应用程序模块；

所述应用程序模块用于在接收到所述待处理数据和所述元数据后，将所述待处理数据和所述元数据发送至算法后处理模块；

所述算法后处理模块用于根据所述元数据对所述待处理数据进行拍照后处理并将处理后的结果数据传回给所述应用程序模块。

12.根据权利要求7或8所述的图像处理器，其特征在于，所述硬件抽象模块内的数据为第一图像格式；其中：

所述应用程序模块向所述相机服务模块请求的所述原始数据为所述第一图像格式的数据；或者

所述应用程序模块向所述相机服务模块请求的所述原始数据为第二图像格式的数据，所述硬件抽象模块还用于将所述第一图像格式的数据转换为所述第二图像格式的所述数据。

13.一种拍摄装置，其特征在于，包括：

权利要求7-12任意一项所述的图像处理器；和

图像传感器，所述图像传感器与所述图像处理器连接。

14.一种电子设备，其特征在于，包括：

权利要求13所述的拍摄装置，和

壳体，所述拍摄装置与所述壳体结合。

Images