CN110942047B - 应用优化方法及相关产品 - Google Patents

Abstract

本申请实施例提供了一种应用优化方法及相关产品，应用于电子设备，方法包括：所述第三方应用向所述硬件抽象模块发送图像预览请求；所述硬件抽象模块调用底层驱动采集初始图像数据，并向所述媒体策略模块发送所述初始图像数据；所述媒体策略模块接收所述初始图像数据，调用预先使能的算法模块处理所述初始图像数据，得到最终图像数据；所述媒体策略模块向所述第三方应用发送所述最终图像数据；所述第三方应用根据所述最终图像数据进行物体识别处理。可见，本申请实施例不仅保证了上报给第三方应用的数据帧的质量，而且提升了第三方应用的识别准确性。

Description

应用优化方法及相关产品

技术领域

本申请涉及图像处理领域，具体涉及一种应用优化方法及相关产品。

背景技术

物体识别是使用机器对某张图片或视频中的物体进行分析，是计算机视觉中的经典问题之一，其任务是用识别窗口去标出图像中物体的位置，标注出有哪些物体，并识别出物体的名字并给出物体的类别。从传统的人工设计特征加浅层分类器的框架，到基于深度学习的端到端的识别框架，物体识别一步步变得愈加成熟。在移动设备上部署时，作为第三方应用，只能通过系统拿到一些标准的摄像机API(Application Programming Interface，应用程序接口)，再根据从API中拿到的数据进行识别。

发明内容

本申请实施例提供了一种应用优化处理方法及相关产品，可以对图像数据进行处理，并根据处理后的图像进行物体识别。

第一方面，本申请实施例提供了一种应用优化方法，应用于电子设备，所述电子设备包括媒体服务模块和操作系统、所述操作系统的应用层设置有第三方应用，所述操作系统的硬件抽象层设置有硬件抽象模块、媒体策略模块；所述方法包括：

所述第三方应用向所述硬件抽象模块发送图像预览请求；

所述硬件抽象模块调用底层驱动采集初始图像数据，并向所述媒体策略模块发送所述初始图像数据；

所述媒体策略模块接收所述初始图像数据，调用预先使能的算法模块处理所述初始图像数据，得到最终图像数据，所述算法模块是所述第三方应用通过所述媒体服务模块选择并请求所述操作系统对本应用开放的增强功能的算法模块；

所述媒体策略模块向所述第三方应用发送所述最终图像数据；

所述第三方应用根据所述最终图像数据进行物体识别处理。

第二方面，本申请实施例提供了一种应用优化装置，应用于电子设备，所述电子设备包括媒体服务模块和操作系统、所述操作系统的应用层设置有第三方应用，所述操作系统的硬件抽象层设置有硬件抽象模块、媒体策略模块，所述装置包括处理单元和通信单元，其中，

所述处理单元用于通过所述通信单元根据所述第三方应用向所述硬件抽象模块发送图像预览请求；以及所述硬件抽象模块调用底层驱动采集初始图像数据，并向所述媒体策略模块发送所述初始图像数据；以及所述媒体策略模块接收所述初始图像数据，调用预先使能的算法模块处理所述初始图像数据，得到最终图像数据，所述算法模块是所述第三方应用通过所述媒体服务模块选择并请求所述操作系统对本应用开放的增强功能的算法模块；以及所述媒体策略模块向所述第三方应用发送所述最终图像数据；以及所述第三方应用根据所述最终图像数据进行物体识别处理。

第三方面，本申请实施例提供一种电子设备，包括处理器、存储器、通信接口以及一个或多个程序，其中，上述一个或多个程序被存储在上述存储器中，并且被配置由上述处理器执行，上述程序包括用于执行本申请实施例第一方面任一方法中的步骤的指令。

第四方面，本申请实施例提供了一种芯片，包括：处理器，用于从存储器中调用并运行计算机程序，使得安装有所述芯片的设备执行如本申请实施例第一方面任一方法中所描述的部分或全部步骤。

第五方面，本申请实施例提供了一种计算机可读存储介质，其中，上述计算机可读存储介质存储用于电子数据交换的计算机程序，其中，上述计算机程序使得计算机执行如本申请实施例第一方面任一方法中所描述的部分或全部步骤。

第六方面，本申请实施例提供了一种计算机程序产品，其中，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如本申请实施例第一方面任一方法中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。

可以看出，本申请实施例中，首先电子设备的所述第三方应用向所述硬件抽象模块发送图像预览请求；然后所述硬件抽象模块调用底层驱动采集初始图像数据，并向所述媒体策略模块发送所述初始图像数据；再然后所述媒体策略模块接收所述初始图像数据，调用预先使能的算法模块处理所述初始图像数据，得到最终图像数据，所述算法模块是所述第三方应用通过所述媒体服务模块选择并请求所述操作系统对本应用开放的增强功能的算法模块；接着所述媒体策略模块向所述第三方应用发送所述最终图像数据；最后所述第三方应用根据所述最终图像数据进行物体识别处理。可见，本申请实施例可以利用媒体平台OMedia拿到更多第三方应用无法获得的图像数据信息，并对这些图像数据信息进行过滤，保证了上报给第三方应用的数据帧的质量，提升了第三方应用的识别准确性。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供一种电子设备的结构示意图；

图2-1是本申请实施例提供的一种应用优化方法的流程示意图；

图2-2是本申请实施例提供的过滤目标数据的流程示意图；

图3是本申请实施例提供的另一种应用优化方法的流程示意图；

图4是本申请实施例提供的一种电子设备的结构示意图；

图5是本申请实施例提供的一种应用优化装置的功能单元组成框图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

本申请实施例所涉及到的电子设备可以是具备通信能力的电子设备，该电子设备可以包括各种具有无线通信功能的手持设备、车载设备、可穿戴设备、计算设备或连接到无线调制解调器的其他处理设备，以及各种形式的用户设备(User Equipment，UE)，移动台(Mobile Station，MS)，终端设备(terminal device)等等。

目前，在移动设备上部署实时物体识别应用时，从相机预览中拿到的实时图片对物体识别有很大的影响，当拿到的图片较模糊的时候，模型给出的结果就会受到影响，应用只能基于可以拿到的数据进行优化，无法基于Acc和/或Gyro数据对输入图片进行过滤优化。

针对上述问题，本申请实施例提供了一种应用优化方法及相关产品，下面结合附图对本实施例进行详细介绍。

如图1所示，图1是本申请实施例提供一种电子设备的结构示意图,本申请实施例所涉及的电子设备100包括媒体服务模块和操作系统(例如安卓操作系统，此处不做唯一限定)，所述操作系统的应用层设置有第三方应用和媒体管理模块(又称为媒体接口模块)，所述操作系统的硬件抽象层设置有硬件抽象模块、媒体策略模块和算法管理模块，此外，操作系统原生架构还包括框架层、驱动层，框架层包括各种原生应用的应用接口(如原生相机应用程序接口)、应用服务(如原生相机服务)、框架层接口(如Google HAL3interface)，硬件抽象层包括硬件抽象层接口(例如：HAL3.0)、各种原生应用的硬件抽象模块(如相机硬件抽象模块)，驱动层包括各种驱动(例如屏幕Display驱动、音频Audio驱动等)，该驱动层用于使能电子设备的各种硬件，例如图像信号处理器ISP+前端图像传感器sensors等。

其中，媒体服务模块独立于操作系统设置，第三方应用可以通过媒体管理模块与媒体服务模块进行通信，媒体服务模块可以通过由应用接口、应用服务、框架层接口、硬件抽象层接口以及硬件抽象模块组成的安卓原生信息链路与媒体策略模块通信，媒体策略模块与算法管理模块通信，算法管理模块维护安卓原生的算法库，算法管理模块中包括算法模块，可以调用算法库中的算法进行数据处理，算法库包括各种原生应用所支持的增强功能，如针对原生相机应用，支持其实现双目拍照、美颜、锐化、夜景等各类增强功能。此外，媒体服务模块也可以与媒体策略模块或者算法管理模块直连通信。

基于上述架构，所述媒体服务模块可以通过安卓原生信息链路、媒体策略模块、算法管理模块使能算法库中的算法模块，或者，直接通过媒体策略模块和算法管理模块使能算法库中的算法模块，或者，直接通过算法管理模块使能算法库中的算法模块，从而实现针对第三方应用开放原生应用关联的增强功能。

基于上述架构，所述媒体服务模块可以通过安卓原生信息链路，或者，通过由媒体策略模块和硬件抽象模块组成的第一信息链路，或者，通过由媒体策略模块、算法管理模块和硬件抽象模块组成的第二信息链路，调用应用的驱动以使能某些硬件，从而实现针对第三方应用开放原生应用关联的硬件。

请参阅图2-1，图2-1是本申请实施例提供的一种应用优化方法的流程示意图，该应用优化方法应用于如图1所示的电子设备，如图所示，本应用优化方法包括如下方法。

步骤201，第三方应用向所述硬件抽象模块发送图像预览请求。

其中，第三方应用与硬件抽象Camera HAL模块通信连接，所述第三方应用需要对物体进行识别时，首先要发送一个图像预览请求给Camera HAL模块，Camera HAL模块在接收到该请求后，会对该请求进行解析，将该图像预览请求转换成底层能够识别的信息，以及还可以确定第三方应用发送的是否是图像预览请求。

步骤202，所述硬件抽象模块调用底层驱动采集初始图像数据，并向所述媒体策略模块发送所述初始图像数据。

其中，所述Camera HAL模块可以调用位于硬件层的底层驱动，Camera HAL模块对收到的图像预览请求进行解析后，会将该解析后的图像预览请求发送给底层驱动。

步骤203，所述媒体策略模块接收所述初始图像数据，调用预先使能的算法模块处理所述初始图像数据，得到最终图像数据，所述算法模块是所述第三方应用通过所述媒体服务模块选择并请求所述操作系统对本应用开放的增强功能的算法模块。

其中，当底层驱动从Camera HAL模块中接收到第三方应用的图像预览请求后，就可以从硬件层中获取相关的初始图像数据，并将这些初始图像数据上报给媒体策略OmediaStrategy模块，Omedia Strategy模块可以将获取的初始图像数据发送给算法管理AlgoManager模块中的算法模块进行模糊过滤处理，当然也可以调用Algo Manager模块中的算法模块直接进行数据过滤处理。这些初始图像数据包括但不限于颜色编码方案YUV数据、陀螺仪Gyro数据和加速度Acc数据，其中，Gyro数据和Acc数据可以是通过硬件层的Gyro传感器和Acc传感器获得，当然也可以通过其他方式获得。

步骤204，所述媒体策略模块向所述第三方应用发送所述最终图像数据。

步骤205，所述媒体策略模块上报所述最终图像数据给所述第三方应用进行物体识别处理。

其中，算法模块在对初始图像数据进行处理后，会将获得的最终图像数据发送给与其通信连接的Omedia Strategy模块，Omedia Strategy模块再将该最终图像数据发送给之前发出过图像预览请求的第三方应用，当然Omedia Strategy模块可以先将获得的最终图像数据发送给Camera HAL模块，再通过Camera HAL模块将最终图形数据发送给第三方应用，使得第三方应用可以根据最终图像数据进行物体识别处理。

其中，对图像进行物体识别是通过利用大量的物体数据去训练神经网络得到的模型实现的，这些物体数据包括但不限于物体名称、物体颜色、物体形状等物体特征信息。且在将最终图像数据交给第三方应用进行物体识别之前，还要将最终图像数据进行一次格式转换，例如将YUV格式的最终图像数据转换为RGB格式的图像数据或将YUV格式的最终图像数据转换成位图。

可以看出，本申请实施例中，首先电子设备的所述第三方应用向所述硬件抽象模块发送图像预览请求；然后所述硬件抽象模块调用底层驱动采集初始图像数据，并向所述媒体策略模块发送所述初始图像数据；再然后所述媒体策略模块接收所述初始图像数据，调用预先使能的算法模块处理所述初始图像数据，得到最终图像数据，所述算法模块是所述第三方应用通过所述媒体服务模块选择并请求所述操作系统对本应用开放的增强功能的算法模块；接着所述媒体策略模块向所述第三方应用发送所述最终图像数据；最后所述第三方应用根据所述最终图像数据进行物体识别处理。可见，本申请实施例可以利用媒体平台OMedia拿到更多第三方应用无法获得的图像数据信息，并对这些图像数据信息进行过滤，保证了上报给第三方应用的数据帧的质量，提升了第三方应用的识别准确性。

在一个可能的实例中，所述初始图像数据包括对应于每一帧图像的陀螺仪数据和/或加速度数据，所述预先使能的算法模块用于执行以下操作：所述将所述初始图像数据进行灰度化处理和拉普拉斯变换得到二维矩阵；计算所述二维矩阵的均值和/或标准差；过滤不符合预设均值和/或预设标准差的二维矩阵对应的初始图像数据，得到目标图像数据；根据所述陀螺仪数据和/或加速度数据处理所述目标图像数据，得到最终图像数据。

其中，算法模块在获取到初始图像数据后，会对初始图像数据进行第一步的过滤处理，首先是将初始图像数据进行灰度化和拉普拉斯变换以此得到一个二维矩阵，最后会将每一帧图像对应的图像数据和二维矩阵的均值和标准差进行比较，将不符合规则的那一帧的图像对应的所有图像数据过滤掉。

其中，在初始获得的图像数据是彩色图像的由三个分量组成的三通道数据，灰度化处理是指将三通道的数据的彩色图像变为单通道的数据的灰度图像。标准差又名均方差，标准差是方差的算术平方根，能反映一个数据集的离散程度。

可见，本示例中，首先对初始图像数据进行灰度化处理，使三维数据变成二维可以减小初始图像数据的数据量，方便后续处理，对初始图像数据进行拉普拉斯变换可以对初始图像数据进行锐化，这种方式不仅可以使图像中的各灰度值得到保留，还能使灰度突变处的对比度得到增强。最后通过均值和标准差过滤初始图像数据得到最终图像数据，可以过滤掉离均值较近且不会过于离散的图像数据，在保留原图像特征的前提下还能缩小待处理的初始图像数据的数据量。

在一个可能的实例中，所述根据所述陀螺仪数据和/或加速度数据处理所述目标图像数据，得到最终图像数据，包括：设定第一门限值；所述算法管理模块判断所述陀螺仪数据是否大于所述第一门限值；若是，则丢弃所述陀螺仪数据对应的目标图像数据；若否，则将所述目标图像数据作为最终图像数据。

其中，当初始图像数据在算法模块中进行第一步过滤后得到目标图像数据，再次通过算法模块对目标图像数据进行过滤才能得到最终图像数据，在通过Omedia Strategy模块获取初始图像数据时，Omedia Strategy模块从硬件层的陀螺仪传感器中获取了Gyro数据，将大于第一门限值的Gyro数据过滤，将小于第一门限值的Gyro数据保留并设置为最终图像数据，第一门限值可以是个特定数值也可以是一个范围。

可见，本示例中，根据Gyro数据对目标图像数据进行第二步过滤，可以提高上报给第三方应用的数据帧的质量，使得第三方应用利用最终图像数据进行物体识别的准确率更高。

在一个可能的实例中，所述根据所述陀螺仪数据和/或加速度数据处理所述目标图像数据，得到最终图像数据，包括：设定第二门限值；判断所述加速度数据是否大于所述第二门限值；若是，则丢弃所述加速度数据对应的目标图像数据；若否，则将所述目标图像数据作为所述最终图像数据。

其中，当初始图像数据在算法模块中进行第一步过滤后得到目标图像数据，再次通过算法模块对目标图像数据进行过滤才能得到最终图像数据，在通过Omedia Strategy模块获取初始图像数据时，Omedia Strategy模块从硬件层的加速度传感器中获取了Acc数据，将大于第一门限值的Acc数据过滤，将小于第一门限值的Acc数据保留并设置为最终图像数据，第一门限值可以是个特定数值也可以是一个范围。

可见，本示例中，根据Acc数据对目标图像数据进行第二步过滤，可以提高上报给第三方应用的数据帧的质量，使得第三方应用利用最终图像数据进行物体识别的准确率更高。

在一个可能的实例中，所述初始图像数据包括对应于第一帧图像的第一陀螺仪数据，以及对应于第二帧图像的第二陀螺仪数据和第一加速度数据，所述媒体策略模块调用所述算法模块对所述初始图像数据进行处理，得到最终图像数据，包括：根据所述第一加速度数据计算所述第二帧图像相对于所述第一帧图像的移动距离；判断所述第二帧图像的移动距离是否是所述第一帧图像的宽度的整数倍，所述第一帧图像的宽度与所述第二帧图像的宽度相等；若是，则保留所述第二帧图像，并根据所述第一陀螺仪数据和所述第二陀螺仪数据得到最终图像数据。

其中，本实施例可以应用于全景拍照场景中，在进行全景拍照时，用户需要匀速的移动电子设备，否则最终合成的照片质量会受到严重影响，如扭曲严重等，因此，需要对获得的每一帧图像是否是在匀速下拍摄的进行判断，可以通过直接比较每一帧图像的Acc数据的大小来确定，还可以根据Acc数据来计算出该加速度数据对应的一帧图像相对于前一帧图像的移动距离，根据移动距离来判断是否匀速移动。例如，设置每一帧图像的宽度为W，根据第二帧图像的加速度数据确定了该第二帧图像相对于第一帧图像的移动距离为N*W，其中N＝0,1,2…，也就是说第二帧图像的移动距离是第一帧图像的移动距离的整数倍，可以据此判断第二帧图像可以用于照片合成。

可见，本示例中，根据加速度来确定图像的相对移动距离，再根据相对移动距离来确定该帧图像是否可用，这样可以保证用于合成完整照片的图像不会产生重叠，使得最终合成的图像不会严重扭曲。

在一个可能的实例中，所述根据所述第一陀螺仪数据和所述第二陀螺仪数据得到最终图像数据，包括：所述算法管理模块分别对所述第一陀螺仪数据和所述第二陀螺仪数据进行积分运算，得到积分值；根据所述积分值确定所述第二陀螺仪数据对应的所述第二帧图像相对于所述第一陀螺仪数据对应的所述第一帧图像的旋转角度；根据所述旋转角度调整所述第二陀螺仪数据对应的所述第二帧图像的初始图像数据，得到最终图像数据。

其中，每一帧图像都有对应的YUV数据和/或Gyro数据和/或Acc数据，初始图像数据中包含了不同帧的图像所有的对应的数据，具体的，在全景拍摄场景中，可以根据Gyro数据对多帧图像进行过滤。可以根据第二帧图像数据的Gyro数据计算出的积分值确定其相比于第一帧图像的旋转角度，然后调整第二帧图像的相关图像数据，使其相比于前一帧图像的旋转角度能小于一个预设值,将调整后的初始图像数据设定为最终图像数据，再发送给第三方应用进行物体识别，其中，利用Gyro数据进行过滤的图像可以是之前根据Acc数据进行筛选后保留的图像数据。

可见，本示例中，根据初始图像数据中的Gyro数据确定后一帧图像相比于前一帧图像的选择角度，或者后续图像相比于第一帧图像的选择角度，将根据旋转角度调整后的初始图像数据确定为最终图像数据，可以提高上报给第三方应用的数据帧的质量，使得第三方应用利用最终图像数据进行物体识别的准确率更高。

在一个可能的实例中，所述操作系统的硬件抽象层设置有算法管理模块；所述第三方应用向所述硬件抽象模块发送图像预览请求之前，所述方法还包括：所述第三方应用向所述媒体服务模块发送被选择开放的所述增强功能；所述媒体服务模块接收所述被选择开放的增强功能，通过所述媒体策略模块向所述算法管理模块发送所述被选择开放的增强功能；所述算法管理模块使能所述被选择开放的增强功能的算法模块。

其中，第三方应用可以向媒体服务Omedia Service模块发送请求，然后OmediaService模块根据请求将媒体平台的版本信息发送给第三方应用，第三方应用选择需要使用的增强功能，然后Omedia Service模块用于对Algo Manager模块中的算法模块进行使能，也就是说，Omedia Service模块可以与第三方应用建立通信连接，获取第三方应用的图像获取请求，当该请求在Omedia Service模块进行解析后，可以将需要使用的算法模块的哪些功能的信息传送给Camera HAL模块，通过Camera HAL模块将相关信息发送给OmediaStrategy模块实现对算法模块的使能。所述增强功能的相关算法在算法模块未使能前是不对第三方应用开放的，也就是说只有通过Omedia Service模块对算法模块进行使能后，第三方应用才能使用底层核心功能的算法。Omedia Service模块可以与第三方应用建立通信连接时，第三方应用与媒体服务模块之间还可以包括一个媒体管理模块，第三方应用可以先将图像预览请求等控制信息发送给媒体管理模块，通过媒体管理模块将图像预览请求发送给Omedia Service模块。

可见，本示例中，通过媒体服务模块使得第三方应用能够使用操作系统底层的增强功能，但底层又不直接对第三方应用开放，能够有效的控制安全，有利于安全的开放底层功能。

下面举例说明一下。

如图2-2所示，初始图像数据包括Acc数据和Gyro数据，当在算法模块中进行了第一步过滤得到目标图像数据后，会在算法模块进行第二步数据过滤，首先，给Gyro数据设定一个门限值Th1，Acc数据设定一个门限值Th2，判断Gyro数据是否大于Th1，若Gyro数据的值大于Th1，则丢弃掉这个Gyro数据对应的一帧图像的全部图像数据，若小于Th1，则继续判断Acc数据的值是否大于Th2，若大于Th2，则丢弃掉这个Acc数据对应的这一帧图像的全部图像数据，若小于Th2，则将这个Acc数据对应的这一帧的图像数据设置为最终图像数据。同时根据Gyro数据和Acc数据确定最终图像数据，可以提高上报给第三方应用的数据帧的质量，使得第三方应用利用最终图像数据进行物体识别的准确率更高。

请参阅图3，图3是本申请实施例提供的另一种应用优化方法的流程示意图，该应用优化方法可以应用于如图1所示的电子设备中。

如图所示，本应用优化方法包括以下操作：

步骤301，第三方应用向所述硬件抽象模块发送图像预览请求；

步骤302，所述硬件抽象模块调用底层驱动采集初始图像数据，并向所述媒体策略模块发送所述初始图像数据；

步骤303，所述媒体策略模块接收所述初始图像数据，调用预先使能的算法模块处理所述初始图像数据，得到最终图像数据，所述算法模块是所述第三方应用通过所述媒体服务模块选择并请求所述操作系统对本应用开放的增强功能的算法模块；

步骤304，将所述初始图像数据进行灰度化处理和拉普拉斯变换得到二维矩阵；

步骤305，计算所述二维矩阵的均值和/或标准差；

步骤306，过滤不符合预设均值和/或预设标准差的二维矩阵对应的初始图像数据，得到目标图像数据；

步骤307，根据所述陀螺仪数据和/或加速度数据处理所述目标图像数据，得到最终图像数据；

步骤308，所述媒体策略模块向所述第三方应用发送所述最终图像数据；

步骤309，所述第三方应用根据所述最终图像数据进行物体识别处理。

可以看出，本申请实施例中，可以根据YUV数据、Gyro数据和Acc数据等对获取的图像数据进行处理后再在第三方应用中进行物体识别，不仅保证了上报给应用的数据帧的质量，而且提升了应用的识别准确性。

与上述图2-1、图3所示的实施例一致的，请参阅图4，图4是本申请实施例提供的一种电子设备400的结构示意图，如图所示，所述电子设备400包括应用处理器410、存储器420、通信接口430以及一个或多个程序421，其中，所述一个或多个程序421被存储在上述存储器420中，并且被配置由上述应用处理器410执行，所述一个或多个程序421包括用于执行上述方法实施例中任一步骤的指令。

在一个可能的示例中，所述程序421中包括用于执行以下步骤的指令：所述第三方应用向所述硬件抽象模块发送图像预览请求；所述硬件抽象模块调用底层驱动采集初始图像数据，并向所述媒体策略模块发送所述初始图像数据；所述媒体策略模块接收所述初始图像数据，调用预先使能的算法模块处理所述初始图像数据，得到最终图像数据，所述算法模块是所述第三方应用通过所述媒体服务模块选择并请求所述操作系统对本应用开放的增强功能的算法模块；所述媒体策略模块向所述第三方应用发送所述最终图像数据；所述第三方应用根据所述最终图像数据进行物体识别处理。

在一个可能的示例中，所述初始图像数据包括对应于每一帧图像的陀螺仪数据和/或加速度数据，所述预先使能的算法模块用于通过所述程序421中的指令执行以下操作：将所述初始图像数据进行灰度化处理和拉普拉斯变换得到二维矩阵；计算所述二维矩阵的均值和/或标准差；过滤不符合预设均值和/或预设标准差的二维矩阵对应的初始图像数据，得到目标图像数据；根据所述陀螺仪数据和/或加速度数据处理所述目标图像数据，得到最终图像数据。

在一个可能的示例中，在根据所述陀螺仪数据和/或加速度数据处理所述目标图像数据，得到最终图像数据方面，所述程序421中的指令具体用于执行以下操作：设定第一门限值；判断所述陀螺仪数据是否大于所述第一门限值；若是，则丢弃所述陀螺仪数据对应的目标图像数据；若否，则将所述目标图像数据作为最终图像数据。

在一个可能的示例中，在根据所述陀螺仪数据和/或加速度数据处理所述目标图像数据，得到最终图像数据方面，所述程序421中的指令具体用于执行以下操作：设定第二门限值；判断所述加速度数据是否大于所述第二门限值；若是，则丢弃所述加速度数据对应的目标图像数据；若否，则将所述目标图像数据作为所述最终图像数据。

在一个可能的示例中，所述初始图像数据包括对应于第一帧图像的第一陀螺仪数据，以及对应于第二帧图像的第二陀螺仪数据和第一加速度数据，在所述媒体策略模块调用所述算法模块对所述初始图像数据进行处理，得到最终图像数据方面，所述程序421中的指令具体用于执行以下操作：根据所述第一加速度数据计算所述第二帧图像相对于所述第一帧图像的移动距离；判断所述第二帧图像的移动距离是否是所述第一帧图像的宽度的整数倍，所述第一帧图像的宽度与所述第二帧图像的宽度相等；若是，则保留所述第二帧图像，并根据所述第一陀螺仪数据和所述第二陀螺仪数据得到最终图像数据。

在一个可能的示例中，在所述根据所述第一陀螺仪数据和所述第二陀螺仪数据得到最终图像数据方面，所述程序421中的指令具体用于执行以下操作：分别对所述第一陀螺仪数据和所述第二陀螺仪数据进行积分运算，得到积分值；根据所述积分值确定所述第二陀螺仪数据对应的所述第二帧图像相对于所述第一陀螺仪数据对应的所述第一帧图像的旋转角度；根据所述旋转角度调整所述第二陀螺仪数据对应的所述第二帧图像的初始图像数据，得到最终图像数据。

在一个可能的示例中，所述操作系统的硬件抽象层设置有算法管理模块；所述第三方应用向所述硬件抽象模块发送图像预览请求之前，所述程序421中的指令具体用于执行以下操作：所述第三方应用向所述媒体服务模块发送被选择开放的所述增强功能；所述媒体服务模块接收所述被选择开放的增强功能，通过所述媒体策略模块向所述算法管理模块发送所述被选择开放的增强功能；所述算法管理模块使能所述被选择开放的增强功能的算法模块。上述主要从方法侧执行过程的角度对本申请实施例的方案进行了介绍。

可以理解的是，电子设备为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所提供的实施例描述的各示例的单元及算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

本申请实施例可以根据上述方法示例对电子设备进行功能单元的划分，例如，可以对应各个功能划分各个功能单元，也可以将两个或两个以上的功能集成在一个处理单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。需要说明的是，本申请实施例中对单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

图5是本申请实施例提供的一种应用优化装置500的功能单元组成框图。该应用优化装置500应用于电子设备，所述电子设备包括媒体服务模块和操作系统、所述操作系统的应用层设置有第三方应用，所述操作系统的硬件抽象层设置有硬件抽象模块、媒体策略模块，所述装置包括处理单元和通信单元，其中，

所述处理单元用于通过所述通信单元根据所述第三方应用向所述硬件抽象模块发送图像预览请求；以及所述硬件抽象模块调用底层驱动采集初始图像数据，并向所述媒体策略模块发送所述初始图像数据；以及所述媒体策略模块接收所述初始图像数据，调用预先使能的算法模块处理所述初始图像数据，得到最终图像数据，所述算法模块是所述第三方应用通过所述媒体服务模块选择并请求所述操作系统对本应用开放的增强功能的算法模块；以及所述媒体策略模块向所述第三方应用发送所述最终图像数据；以及所述第三方应用根据所述最终图像数据进行物体识别处理。

在一个可能的示例中，所述初始图像数据包括对应于每一帧图像的陀螺仪数据和/或加速度数据，所述预先使能的算法模块用于根据所述处理单元501执行以下操作，将所述初始图像数据进行灰度化处理和拉普拉斯变换得到二维矩阵；计算所述二维矩阵的均值和/或标准差；过滤不符合预设均值和/或预设标准差的二维矩阵对应的初始图像数据，得到目标图像数据；根据所述陀螺仪数据和/或加速度数据处理所述目标图像数据，得到最终图像数据。

在一个可能的示例中，在所述根据所述陀螺仪数据和/或加速度数据处理所述目标图像数据，得到最终图像数据方面，所述处理单元501具体用于，设定第一门限值；判断所述陀螺仪数据是否大于所述第一门限值；若是，则丢弃所述陀螺仪数据对应的目标图像数据；若否，则将所述目标图像数据作为最终图像数据。

在一个可能的示例中，在所述根据所述陀螺仪数据和/或加速度数据处理所述目标图像数据，得到最终图像数据方面，所述处理单元501具体用于，设定第二门限值；判断所述加速度数据是否大于所述第二门限值；若是，则丢弃所述加速度数据对应的目标图像数据；若否，则将所述目标图像数据作为所述最终图像数据。

在一个可能的示例中，所述初始图像数据包括对应于第一帧图像的第一陀螺仪数据，以及对应于第二帧图像的第二陀螺仪数据和第一加速度数据，在所述媒体策略模块调用所述算法模块对所述初始图像数据进行处理，得到最终图像数据方面，所述处理单元501具体用于，根据所述第一加速度数据计算所述第二帧图像相对于所述第一帧图像的移动距离；判断所述第二帧图像的移动距离是否是所述第一帧图像的宽度的整数倍，所述第一帧图像的宽度与所述第二帧图像的宽度相等；若是，则保留所述第二帧图像，并根据所述第一陀螺仪数据和所述第二陀螺仪数据得到最终图像数据。

在一个可能的示例中，在所述根据所述第一陀螺仪数据和所述第二陀螺仪数据得到最终图像数据方面，所述处理单元501具体用于，分别对所述第一陀螺仪数据和所述第二陀螺仪数据进行积分运算，得到积分值；根据所述积分值确定所述第二陀螺仪数据对应的所述第二帧图像相对于所述第一陀螺仪数据对应的所述第一帧图像的旋转角度；根据所述旋转角度调整所述第二陀螺仪数据对应的所述第二帧图像的初始图像数据，得到最终图像数据。

在一个可能的示例中，所述操作系统的硬件抽象层设置有算法管理模块，所述第三方应用向所述硬件抽象模块发送图像预览请求之前，所述处理单元501具体用于，所述第三方应用向所述媒体服务模块发送被选择开放的所述增强功能；所述媒体服务模块接收所述被选择开放的增强功能，通过所述媒体策略模块向所述算法管理模块发送所述被选择开放的增强功能；所述算法管理模块使能所述被选择开放的增强功能的算法模块。

其中，所述应用优化装置500还可以包括存储单元503，用于存储电子设备的程序代码和数据。所述处理单元501可以是处理器，所述通信单元502可以是触控显示屏或者收发器，存储单元503可以是存储器。

可以理解的是，由于方法实施例与装置实施例为相同技术构思的不同呈现形式，因此，本申请中方法实施例部分的内容应同步适配于装置实施例部分，此处不再赘述。

本申请实施例还提供了一种芯片，其中，该芯片包括处理器，用于从存储器中调用并运行计算机程序，使得安装有所述芯片的设备执行如上述方法实施例中电子设备所描述的部分或全部步骤。

本申请实施例还提供一种计算机存储介质，其中，该计算机存储介质存储用于电子数据交换的计算机程序，该计算机程序使得计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤，上述计算机包括电子设备。

本申请实施例还提供一种计算机程序产品，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤。该计算机程序产品可以为一个软件安装包，上述计算机包括电子设备。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。

上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例上述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取器(英文：Random Access Memory，简称：RAM)、磁盘或光盘等。

以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (9)

1.一种应用优化方法，其特征在于，应用于电子设备，所述电子设备包括媒体服务模块和操作系统、所述操作系统的应用层设置有第三方应用，所述操作系统的硬件抽象层设置有硬件抽象模块、媒体策略模块和算法管理模块，所述算法管理模块中包括算法模块；所述方法包括：

所述第三方应用向所述硬件抽象模块发送图像预览请求；

所述硬件抽象模块调用底层驱动采集初始图像数据，并向所述媒体策略模块发送所述初始图像数据，所述初始图像数据包括对应于每一帧图像的陀螺仪数据和/或加速度数据；

所述媒体策略模块接收所述初始图像数据，调用预先使能的算法模块将所述初始图像数据进行灰度化处理和拉普拉斯变换得到二维矩阵；计算所述二维矩阵的均值和标准差；过滤不符合预设均值和预设标准差的二维矩阵对应的初始图像数据，得到目标图像数据；根据所述陀螺仪数据和/或加速度数据处理所述目标图像数据，得到最终图像数据，所述算法模块是所述第三方应用通过所述媒体服务模块从所述算法管理模块中选择并请求所述操作系统对本应用开放的增强功能的算法模块；

所述媒体策略模块向所述第三方应用发送所述最终图像数据；

所述第三方应用根据所述最终图像数据进行物体识别处理。

2.根据权利要求1所述的方法，其特征在于，所述根据所述陀螺仪数据和/或加速度数据处理所述目标图像数据，得到最终图像数据，包括：

设定第一门限值；

判断所述陀螺仪数据是否大于所述第一门限值；

若是，则丢弃所述陀螺仪数据对应的目标图像数据；

若否，则将所述目标图像数据作为最终图像数据。

3.根据权利要求1所述的方法，其特征在于，所述根据所述陀螺仪数据和/或加速度数据处理所述目标图像数据，得到最终图像数据，包括：

设定第二门限值；

判断所述加速度数据是否大于所述第二门限值；

若是，则丢弃所述加速度数据对应的目标图像数据；

若否，则将所述目标图像数据作为所述最终图像数据。

4.根据权利要求1-3任一项所述的方法，其特征在于，所述目标图像数据包括对应于第一帧图像的第一陀螺仪数据，以及对应于第二帧图像的第二陀螺仪数据和第一加速度数据，根据所述陀螺仪数据和/或加速度数据处理所述目标图像数据，得到最终图像数据，包括：

根据所述第一加速度数据计算所述第二帧图像相对于所述第一帧图像的移动距离；

判断所述第二帧图像的移动距离是否是所述第一帧图像的宽度的整数倍，所述第一帧图像的宽度与所述第二帧图像的宽度相等；

若是，则保留所述第二帧图像，并根据所述第一陀螺仪数据和所述第二陀螺仪数据得到最终图像数据。

5.根据权利要求4所述的方法，其特征在于，所述根据所述陀螺仪数据和/或加速度数据处理所述目标图像数据，得到最终图像数据，包括：

分别对所述第一陀螺仪数据和所述第二陀螺仪数据进行积分运算，得到积分值；

根据所述积分值确定所述第二陀螺仪数据对应的所述第二帧图像相对于所述第一陀螺仪数据对应的所述第一帧图像的旋转角度；

根据所述旋转角度调整所述第二陀螺仪数据对应的所述第二帧图像的初始图像数据，得到最终图像数据。

6.根据权利要求1所述的方法，其特征在于，所述操作系统的硬件抽象层设置有算法管理模块；所述第三方应用向所述硬件抽象模块发送图像预览请求之前，所述方法还包括：

所述第三方应用向所述媒体服务模块发送被选择开放的所述增强功能；

所述媒体服务模块接收所述被选择开放的增强功能，通过所述媒体策略模块向所述算法管理模块发送所述被选择开放的增强功能；

所述算法管理模块使能所述被选择开放的增强功能的算法模块。

7.一种应用优化装置，其特征在于，应用于电子设备，所述电子设备包括媒体服务模块和操作系统、所述操作系统的应用层设置有第三方应用，所述操作系统的硬件抽象层设置有硬件抽象模块、媒体策略模块和算法管理模块，所述算法管理模块中包括算法模块，所述装置包括处理单元和通信单元，其中，

所述处理单元用于通过所述通信单元根据所述第三方应用向所述硬件抽象模块发送图像预览请求；以及所述硬件抽象模块调用底层驱动采集初始图像数据，并向所述媒体策略模块发送所述初始图像数据，所述初始图像数据包括对应于每一帧图像的陀螺仪数据和/或加速度数据；以及所述媒体策略模块接收所述初始图像数据，调用预先使能的算法模块将所述初始图像数据进行灰度化处理和拉普拉斯变换得到二维矩阵；计算所述二维矩阵的均值和标准差；过滤不符合预设均值和预设标准差的二维矩阵对应的初始图像数据，得到目标图像数据；根据所述陀螺仪数据和/或加速度数据处理所述目标图像数据，得到最终图像数据，所述算法模块是所述第三方应用通过所述媒体服务模块从所述算法管理模块中选择并请求所述操作系统对本应用开放的增强功能的算法模块；以及所述媒体策略模块向所述第三方应用发送所述最终图像数据；以及所述第三方应用根据所述最终图像数据进行物体识别处理。

8.一种电子设备，其特征在于，包括处理器、存储器、通信接口，以及一个或多个程序，所述一个或多个程序被存储在所述存储器中，并且被配置由所述处理器执行，所述程序包括用于执行如权利要求1-6任一项所述的方法中的步骤的指令。

9.一种计算机存储介质，其特征在于，存储用于电子数据交换的计算机程序，其中，所述计算机程序使得计算机执行如权利要求1-6任一项所述的方法。

Images