CN114299089A - 图像处理方法、装置、电子设备及存储介质 - Google Patents

Abstract

本公开关于一种图像处理方法、装置、电子设备及存储介质，所述图像处理方法包括：获取输入图像；在所述输入图像中执行感兴趣区域检测，从所述输入图像中提取出所述感兴趣区域，并对提取出的感兴趣区域执行第一图像处理，所述第一图像处理是用于改善所述感兴趣区域的失真的感兴趣区域恢复处理；获取与所述感兴趣区域有关的属性信息，其中，所述属性信息包括以下至少一种属性信息：所述感兴趣区域本身的第一属性信息、与所述感兴趣区域相关的遮挡区域的第二属性信息；基于获取的属性信息对已执行所述第一图像处理后的所述感兴趣区域进行第二图像处理，得到输出图像，所述第二图像处理用于提高已执行所述第一图像处理后的所述感兴趣区域的图像质量。

Description

图像处理方法、装置、电子设备及存储介质

技术领域

本公开涉及信号处理领域，尤其涉及一种图像处理方法、装置、电子设备及存储介质。

背景技术

图像内容在使用中往往会经过多次转发、编辑等操作，而导致整体图像质量偏低，特别是如果图像中人眼重点关注的感兴趣区域的质量下降，则会很大程度上影响用户对图像内容的观感。例如，人脸信息在视频消费场景中属于人眼重点关注信息。例如，在短视频类视频内容中，人脸占比更重，用户对人脸信息更为敏感。因此，短视频场景的人脸信息质量需要格外重视。而短视频视频内容往往会经过多次转发，编辑，整体视频画面质量偏低。人脸区域往往存在噪声、模糊、编码失真等各种问题。通过感兴趣区域恢复技术可以在一定程度上复原感兴趣区域，例如，可以恢复出人脸五官等人眼感兴趣区域，但是，由于现有的感兴趣区域恢复技术仅针对失真严重的感兴趣区域进行处理，即仅关注使感兴趣区域本身的失真得到改善，而可能导致在感兴趣区域恢复后感兴趣区域与背景区域的一致性较差或者与感兴趣区域相关的本不该被处理的遮挡区域被处理，使得仍然无法获得较高的图像处理质量。例如，在背景噪声较重时容易在感兴趣区域(例如，人脸区域)以及感兴趣区域附近背景区域之间出现帧间闪烁或不连续问题并且可能出现色偏问题，而且在感兴趣区域有遮挡的情况下，遮挡区域容易出现扭曲、失真现象，等等。

发明内容

本公开提供一种图像处理方法、装置电子设备及存储介质，以至少解决相关技术中的由于仅针对图像的失真进行处理，而使得仍然无法获得较高的图像处理质量的问题。

根据本公开实施例的第一方面，提供了一种图像处理方法，所述图像处理方法包括：获取输入图像；在所述输入图像中执行感兴趣区域检测，从所述输入图像中提取出所述感兴趣区域，并对提取出的感兴趣区域执行第一图像处理，其中，所述第一图像处理是用于改善所述感兴趣区域的失真的感兴趣区域恢复处理；获取与所述感兴趣区域有关的属性信息，其中，所述属性信息包括以下至少一种属性信息：所述感兴趣区域本身的第一属性信息、与所述感兴趣区域相关的遮挡区域的第二属性信息；基于获取的属性信息对已执行所述第一图像处理后的所述感兴趣区域进行第二图像处理，得到输出图像，其中，所述第二图像处理用于提高已执行所述第一图像处理后的所述感兴趣区域的图像质量。

可选地，所述基于获取的属性信息对已执行所述第一图像处理后的所述感兴趣区域进行第二图像处理，包括执行以下操作中的一个操作：基于所述第一属性信息对已执行所述第一图像处理后的所述感兴趣区域进行颜色校正；基于所述第一属性信息和/或所述第二属性信息将已执行所述第一图像处理后的所述感兴趣区域与所述输入图像进行融合；基于所述第一属性信息对已执行所述第一图像处理后的所述感兴趣区域进行颜色校正，并且基于所述第一属性信息和/或所述第二属性信息对执行了颜色校正后的所述感兴趣区域与所述输入图像进行融合。

可选地，所述获取与所述感兴趣区域有关的属性信息，包括：基于提取出的所述感兴趣区域来获取所述感兴趣区域的第一属性信息；和/或，在所述输入图像中执行遮挡检测并基于遮挡检测结果和感兴趣区域检测结果来获取所述遮挡区域的第二属性信息。

可选地，所述基于提取出的所述感兴趣区域来获取所述感兴趣区域的第一属性信息，包括：基于提取出的所述感兴趣区域来获取所述感兴趣区域的各子区域的位置信息；根据获取的各子区域的位置信息来获取所述第一属性信息。

可选地，所述在所述输入图像中执行遮挡检测并基于遮挡检测结果和感兴趣区域检测结果来获取所述遮挡区域的第二属性信息，包括：在所述输入图像中执行遮挡检测来获取所述输入图像中所有遮挡区域的位置信息；基于所述所有遮挡区域的位置信息以及所述感兴趣区域的位置信息来获取所述第二属性信息。

可选地，所述基于所述所有遮挡区域的位置信息以及所述感兴趣区域的位置信息来获取所述第二属性信息，包括：基于所述所有遮挡区域的位置信息获得所述所有遮挡区域的第一掩膜图；获取感兴趣区域模板位置信息；基于第一掩膜图、感兴趣区域模板位置信息以及所述感兴趣区域的位置信息，获得与所述感兴趣区域相关的遮挡区域的第二掩膜图，作为所述第二属性信息。

可选地，所述基于所述第一属性信息对已执行所述第一图像处理后的所述感兴趣区域进行颜色校正，包括：基于所述第一属性信息对已执行所述第一图像处理后的所述感兴趣区域的各子区域分别进行颜色校正。

可选地，所述基于所述第一属性信息和/或所述第二属性信息将已执行所述第一图像处理后的所述感兴趣区域与所述输入图像进行融合，包括：基于所述第一属性信息获得所述感兴趣区域的第三掩膜图；基于所述第二掩膜图和所述第三掩膜图将已执行所述第一图像处理后的所述感兴趣区域与所述输入图像进行融合。

可选地，所述基于所述第一属性信息获得所述感兴趣区域的第三掩膜图，包括：基于所述第一属性信息获得所述感兴趣区域的第四掩膜图；获取感兴趣区域模板位置信息；基于第四掩膜图、感兴趣区域模板位置信息以及所述感兴趣区域的位置信息，获得所述第三掩膜图。

可选地，所述基于所述第二掩膜图和所述第三掩膜图将已执行所述第一图像处理后的所述感兴趣区域与所述输入图像进行融合，包括：将所述第二掩膜图与所述第三掩膜图进行融合，得到融合掩膜图；基于所述融合掩膜图将已执行所述第一图像处理后的所述感兴趣区域与所述输入图像进行融合。

可选地，所述基于所述第一属性信息和/或所述第二属性信息将已执行所述第一图像处理后的所述感兴趣区域与所述输入图像进行融合，包括：基于所述第一属性信息获得所述感兴趣区域的第三掩膜图；基于所述第三掩膜图将已执行所述第一图像处理后的所述感兴趣区域与所述输入图像进行融合。

可选地，所述基于所述第一属性信息和/或所述第二属性信息将已执行所述第一图像处理后的所述感兴趣区域与所述输入图像进行融合，包括：基于所述第二掩膜图，将已执行所述第一图像处理后的所述感兴趣区域与所述输入图像进行融合。

可选地，所述基于所述第一属性信息对已执行所述第一图像处理后的所述感兴趣区域的各子区域分别进行颜色校正，包括：基于所述第一属性信息，分别估计已执行所述第一图像处理后的所述感兴趣区域的各子区域的颜色校正参数；利用估计出的各子区域的颜色校正参数分别对各子区域进行颜色校正。

根据本公开实施例的第二方面，提供了一种图像处理装置，所述图像处理装置包括：图像获取单元，被配置为获取输入图像；图像处理单元，被配置为：在所述输入图像中执行感兴趣区域检测，从所述输入图像中提取出所述感兴趣区域，并对提取出的感兴趣区域执行第一图像处理，其中，所述第一图像处理是用于改善所述感兴趣区域的失真的感兴趣区域恢复处理；获取与所述感兴趣区域有关的属性信息，其中，所述属性信息包括以下至少一种属性信息：所述感兴趣区域本身的第一属性信息、与所述感兴趣区域相关的遮挡区域的第二属性信息；基于获取的属性信息对已执行所述第一图像处理后的所述感兴趣区域进行第二图像处理，得到输出图像，其中，所述第二图像处理用于提高已执行所述第一图像处理后的所述感兴趣区域的图像质量。

可选地，所述基于获取的属性信息对已执行所述第一图像处理后的所述感兴趣区域进行第二图像处理，包括执行以下操作中的一个操作：基于所述第一属性信息对已执行所述第一图像处理后的所述感兴趣区域进行颜色校正；基于所述第一属性信息和/或所述第二属性信息将已执行所述第一图像处理后的所述感兴趣区域与所述输入图像进行融合；基于所述第一属性信息对已执行所述第一图像处理后的所述感兴趣区域进行颜色校正，并且基于所述第一属性信息和/或所述第二属性信息对执行了颜色校正后的所述感兴趣区域与所述输入图像进行融合。

可选地，所述获取与所述感兴趣区域有关的属性信息，包括：基于提取出的所述感兴趣区域来获取所述感兴趣区域的第一属性信息；和/或，在所述输入图像中执行遮挡检测并基于遮挡检测结果和感兴趣区域检测结果来获取所述遮挡区域的第二属性信息。

可选地，所述基于提取出的所述感兴趣区域来获取所述感兴趣区域的第一属性信息，包括：基于提取出的所述感兴趣区域来获取所述感兴趣区域的各子区域的位置信息；根据获取的各子区域的位置信息来获取所述第一属性信息。

可选地，所述在所述输入图像中执行遮挡检测并基于遮挡检测结果和感兴趣区域检测结果来获取所述遮挡区域的第二属性信息，包括：在所述输入图像中执行遮挡检测来获取所述输入图像中所有遮挡区域的位置信息；基于所述所有遮挡区域的位置信息以及所述感兴趣区域的位置信息来获取所述第二属性信息。

可选地，所述基于所述所有遮挡区域的位置信息以及所述感兴趣区域的位置信息来获取所述第二属性信息，包括：基于所述所有遮挡区域的位置信息获得所述所有遮挡区域的第一掩膜图；获取感兴趣区域模板位置信息；基于第一掩膜图、感兴趣区域模板位置信息以及所述感兴趣区域的位置信息，获得与所述感兴趣区域相关的遮挡区域的第二掩膜图，作为所述第二属性信息。

可选地，所述基于所述第一属性信息对已执行所述第一图像处理后的所述感兴趣区域进行颜色校正，包括：基于所述第一属性信息对已执行所述第一图像处理后的所述感兴趣区域的各子区域分别进行颜色校正。

可选地，所述基于所述第一属性信息和/或所述第二属性信息将已执行所述第一图像处理后的所述感兴趣区域与所述输入图像进行融合，包括：基于所述第一属性信息获得所述感兴趣区域的第三掩膜图；基于所述第二掩膜图和所述第三掩膜图将已执行所述第一图像处理后的所述感兴趣区域与所述输入图像进行融合。

可选地，所述基于所述第一属性信息获得所述感兴趣区域的第三掩膜图，包括：基于所述第一属性信息获得所述感兴趣区域的第四掩膜图；获取感兴趣区域模板位置信息；基于第四掩膜图、感兴趣区域模板位置信息以及所述感兴趣区域的位置信息，获得所述第三掩膜图。

可选地，所述基于所述第二掩膜图和所述第三掩膜图将已执行所述第一图像处理后的所述感兴趣区域与所述输入图像进行融合，包括：将所述第二掩膜图与所述第三掩膜图进行融合，得到融合掩膜图；基于所述融合掩膜图将已执行所述第一图像处理后的所述感兴趣区域与所述输入图像进行融合。

可选地，所述基于所述第一属性信息和/或所述第二属性信息将已执行所述第一图像处理后的所述感兴趣区域与所述输入图像进行融合，包括：基于所述第一属性信息获得所述感兴趣区域的第三掩膜图；基于所述第三掩膜图将已执行所述第一图像处理后的所述感兴趣区域与所述输入图像进行融合。

可选地，所述基于所述第一属性信息和/或所述第二属性信息将已执行所述第一图像处理后的所述感兴趣区域与所述输入图像进行融合，包括：基于所述第二掩膜图，将已执行所述第一图像处理后的所述感兴趣区域与所述输入图像进行融合。

可选地，所述基于所述第一属性信息对已执行所述第一图像处理后的所述感兴趣区域的各子区域分别进行颜色校正，包括：基于所述第一属性信息，分别估计已执行所述第一图像处理后的所述感兴趣区域的各子区域的颜色校正参数；利用估计出的各子区域的颜色校正参数分别对各子区域进行颜色校正。

根据本公开实施例的第三方面，提供了一种电子设备，其特征在于，包括：至少一个处理器；至少一个存储计算机可执行指令的存储器，其中，所述计算机可执行指令在被所述至少一个处理器运行时，促使所述至少一个处理器执行如上所述的图像处理方法。

根据本公开实施例的第四方面，提供了一种存储指令的计算机可读存储介质，其特征在于，当所述指令被至少一个处理器运行时，促使所述至少一个处理器执行如上所述的图像处理方法。

根据本公开实施例的第五方面，提供了一种计算机程序产品，包括计算机指令，其特征在于，所述计算机指令被处理器执行时实现如上所述的图像处理方法。

本公开的实施例提供的技术方案至少带来以下有益效果：根据本公开实施例的图像处理方法，在对提取出的感兴趣区域执行了用于改善所述感兴趣区域的失真的感兴趣区域恢复处理之后，获取了与所述感兴趣区域有关的属性信息，并基于获取的属性信息(包括所述感兴趣区域本身的第一属性信息、与所述感兴趣区域相关的遮挡区域的第二属性信息中的至少一个)对提取出的所述感兴趣区域进行了用于提高已执行第一图像处理后的所述感兴趣区域的图像质量的第二图像处理，通过在执行第二图像处理时使用所述感兴趣区域的第一属性信息，从而改善在感兴趣区域恢复后所述感兴趣区域与背景区域的一致性较差的问题；另外在执行第二图像处理时考虑了与所述感兴趣区域相关的遮挡区域的第二属性信息，从而有利于防止遮挡区域被处理而出现扭曲失真，最终使得可以得到更高质量的输出图像。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的示例实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。

图1是本公开的示例性实施例可以应用于其中的示例性系统架构；

图2是本公开示例性实施例的图像处理方法的流程图；

图3是根据本公开示例性实施例的图像处理方法的示例的示意图；

图4是示出图3所示的生成遮挡区域mask图的操作的示意图；

图5是示出图3所示的颜色校正操作的示意图；

图6是示出图3所示的生成人脸区域mask图的操作的示意图；

图7是示出图3所示的人脸区域回填融合操作的示意图；

图8是示出本公开示例性实施例的图像处理装置的框图；

图9是根据本公开示例性实施例的电子设备的框图。

具体实施方式

为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。

需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

在此需要说明的是，在本公开中出现的“若干项之中的至少一项”均表示包含“该若干项中的任意一项”、“该若干项中的任意多项的组合”、“该若干项的全体”这三类并列的情况。例如“包括A和B之中的至少一个”即包括如下三种并列的情况：(1)包括A；(2)包括B；(3)包括A和B。又例如“执行步骤一和步骤二之中的至少一个”，即表示如下三种并列的情况：(1)执行步骤一；(2)执行步骤二；(3)执行步骤一和步骤二。

图1示出了本公开的示例性实施例可以应用于其中的示例性系统架构100。

如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息(例如图像或视频数据上传请求、图像或视频数据下载请求)等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如音视频通信软件、音视频录制软件、即使通信软件、会议软件、邮箱客户端、社交平台软件等。此外，终端设备101、102和103上还可以安装各种图像或视频拍摄编辑应用。终端设备101、102、103可以是硬件，也可以是软件。当终端设备101、102、103为硬件时，可以是具有显示屏并且能够进行音视频播放、录制、编辑等的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。当终端设备101、102、103为软件时，可以安装在上述所列举的电子设备中，其可以实现成多个软件或软件模块(例如用来提供分布式服务)，也可以实现成单个软件或软件模块。在此不做具体限定。

终端设备101、102、103可以安装有图像采集装置(例如摄像头)，以采集图像或视频数据。实践中，组成视频的最小视觉单位是帧(Frame)。每一帧是一幅静态的图像。将时间上连续的帧序列合成到一起便形成动态视频。此外，终端设备101、102、103也可以安装有用于将电信号转换为声音的组件(例如扬声器)以播放声音，并且还可以安装有用于将模拟音频信号转换为数字音频信号的装置(例如，麦克风)以采集声音。另外，终端设备101、102、103之间可彼此进行语音通信或视频通信。

服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103上所安装的多媒体应用提供支持的后台服务器。后台服务器可以对所接收到的音视频数据上传请求等数据进行解析、存储等处理，并且还可以接收终端设备101、102、103所发送的音视频数据下载请求，并将该音视频数据下载请求所指示的音视频数据反馈至终端设备101、102、103。

需要说明的是，服务器可以是硬件，也可以是软件。当服务器为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器为软件时，可以实现成多个软件或软件模块(例如用来提供分布式服务)，也可以实现成单个软件或软件模块。在此不做具体限定。

需要说明的是，本公开实施例所提供的图像处理方法通常由终端设备执行，但是也可由服务器执行，或者也可以由终端设备和服务器协作执行。相应地，图像处理装置可设置在终端设备中、服务器中或者设置在终端设备和服务器两者中。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器，本公开对此并无限制。

图2是本公开示例性实施例的图像处理方法的流程图。

参照图2，在步骤S210，获取输入图像。可采用任何图像获取方法来获取输入图像，本公开示例性实施例对获取输入图像的方式并未任何限制。

在步骤S220，在所述输入图像中执行感兴趣区域检测，从所述输入图像中提取出所述感兴趣区域，并对提取出的感兴趣区域执行第一图像处理。这里，第一图像处理是用于改善所述感兴趣区域的失真的感兴趣区域恢复处理。作为示例，感兴趣区域可以是人脸区域，但不限于此。在感兴趣区域是人脸区域的情况下，第一图像处理是人脸区域恢复处理。在下文中，为便于清楚理解图2所述的图像处理方法，结合图3的示例对其进行描述。在图3的示例中，假设感兴趣区域是人脸区域。

具体地，在步骤S220，可以利用任何目标检测方式检测输入图像中的感兴趣区域，在执行感兴趣区域检测之后，可基于感兴趣区域检测结果从输入图像中提取感兴趣区域，随后，针对提取出的感兴趣区域可以执行第一图像处理。作为示例，上述感兴趣区域检测结果可以是感兴趣区域的位置信息。例如，可以执行感兴趣区域检测来获得感兴趣区域关键点信息，并基于关键点信息来获得感兴趣区域的位置信息。可选地，提取出的感兴趣区域可以在被映射到预定尺寸的模板之后被执行上述第一图像处理。

如图3所示，通过对输入图像执行人脸区域检测，以获得人脸区域的位置信息。获得人脸位置信息后，将对人脸区域进行提取，通过仿射变换将人脸区域映射到固定尺寸的模板上(也被称为将人脸区域对齐至固定尺寸的模板)。该对齐的人脸区域进一步执行人脸区域恢复，以得到更为清晰的人脸图像。

在步骤S230，获取域所述感兴趣区域有关的属性信息。这里，所述属性信息包括以下至少一种属性信息：所述感兴趣区域本身的第一属性信息、与所述感兴趣区域相关的遮挡区域的第二属性信息。

具体地，根据示例性实施例，获取所述感兴趣区域的属性信息可以包括：基于提取出的所述感兴趣区域来获取所述感兴趣区域的第一属性信息；和/或，在所述输入图像中执行遮挡检测并基于遮挡检测结果和感兴趣区域检测结果来获取所述遮挡区域的第二属性信息。也就是说，可以仅获取第一属性信息、或者仅获取第二属性信息、或者获取第一属性信息和第二属性信息两者。这里，与感兴趣区域相关的遮挡区域可以是文字区域，但不限于此。

例如，可以通过以下方式来获取感兴趣区域的第一属性信息：首先，基于提取出的所述感兴趣区域来获取所述感兴趣区域的各子区域的位置信息，然后，根据获取的各子区域的位置信息来获取所述第一属性信息。通过根据获取的各子区域的位置信息来获得第一属性信息，便于在后续第二图像处理时针对性地分别对各子区域进行处理，有助于后续图像处理质量的改善。例如，将在下文中提及的，在根据获取的各子区域的位置信息来获得第一属性信息的情况下，可以根据第一属性信息分别对各子区域进行校正，从而提高颜色校正效果。

例如，如图3所示，在经过人脸区域提取而提取出人脸区域之后，可对提取出的人脸区域执行人脸区域属性检测，来得到人脸区域的各子区域(例如，人脸的五官、皮肤、头发等子区域)的位置信息。具体地，可以首先识别人脸区域的各子区域的类别，并获取各子区域的位置信息。随后，可进一步根据获取的各子区域的位置信息获得人脸区域的类别标注信息图，作为人脸区域的上述第一属性信息。上述人脸区域属性检测模块可以是通过深度学习检测人脸区域的属性信息，其可以对人脸五官、皮肤、头发等区域进行标注，通过这种方式，人脸区域可以有效地与背景其他区域区分出来，使得后期图像融合效果更为自然。

根据本公开示例性实施例，在步骤S230，既可以仅获取感兴趣区域的第一属性信息，也可以仅获取与感兴趣区域相关的遮挡区域的第二属性信息，或者也可以获取以上两者。

关于第二属性信息的获取，例如，可通过在所述输入图像中执行遮挡检测并基于遮挡检测结果和感兴趣区域检测结果来获取所述遮挡区域的第二属性信息。具体地，在所述输入图像中执行遮挡检测并基于遮挡检测结果和感兴趣区域检测结果来获取所述遮挡区域的第二属性信息，可以包括：在所述输入图像中执行遮挡检测来获取所述输入图像中所有遮挡区域的位置信息；基于所述所有遮挡区域的位置信息以及所述感兴趣区域的位置信息来获取所述第二属性信息。作为示例，第二属性信息可以是与所述感兴趣区域相关的遮挡区域的掩膜图(mask图)，但不限于此。在第二属性信息是与所述感兴趣区域相关的遮挡区域的mask图时，例如，基于所述所有遮挡区域的位置信息以及所述感兴趣区域的位置信息来获取所述第二属性信息，包括：首先，基于所述所有遮挡区域的位置信息获得所述所有遮挡区域的第一掩膜图；其次，获取感兴趣区域模板位置信息；最后，基于第一掩膜图、感兴趣区域模板位置信息以及所述感兴趣区域的位置信息，获得与所述感兴趣区域相关的遮挡区域的第二掩膜图，作为所述第二属性信息。这里，第一掩膜图和第二掩膜图可以是尺寸与输入图像的尺寸相同的掩膜图。例如，在第一掩膜图中，所有遮挡区域的位置处的取值为1，而其他区域的取值可以是0。在第二掩膜图中，仅与感兴趣区域相关的遮挡区域的位置处的取值为1，而其他区域的取值均为0。

例如，在图3的示例中，还对输入图像执行遮挡检测，以便获得所有遮挡区域的位置信息。遮挡区域可以是文字区域。作为示例，遮挡检测可以是传统文字区域检测，或者是基于深度学习的文字区域检测，其能够对图像中的所有文字区域进行标注，生成全部文字区域mask图。随后，基于遮挡检测的结果和感兴趣区域检测结果可以获得遮挡区域的第二属性信息。例如，在图3的示例中，遮挡检测结果是上述全部文字区域mask图，人脸区域检测结果可以是人脸关键点信息，基于遮挡检测的结果和感兴趣区域检测结果可以生成遮挡区域mask图。在遮挡区域是文字区域的情况下，这个mask图即为与人脸区域相关的文字区域的mask图。

图4是示出图3所示的生成遮挡区域mask图的操作的示意图。如图4所示，在图3的遮挡区域mask图的生成操作中，首先，获取作为人脸区域检测结果的人脸关键点信息，并且获取模板人脸位置信息。根据人脸关键点信息可以获得人脸位置信息。根据人脸模板图像可以获得模板人脸位置信息。通过将人脸位置信息映射到上述模板人脸位置信息，可以获得仿射变换参数，例如，仿射变换矩阵。其次，利用仿射变换矩阵将作为文字区域检测结果的全部文字区域mask图进行仿射变换，生成文字区域模板mask图。这里，全部文字区域mask图的尺寸与原始输入图像的尺寸相同，而文字区域模板mask图的尺寸与人脸模板图像的尺寸相同。获得文字区域模板mask图后，再将文字区域模板mask图进行仿射变换(具体地，可利用根据仿射变换矩阵获得的逆仿射变换矩阵进行仿射变换)，恢复至输入图像的尺寸。注意，此时，超出人脸模板图像的内容将被置零。而后对恢复至输入图像的尺寸的mask图进行二值化处理，得到仅与人脸区域相关的文字区域mask图，作为最终生成的遮挡区域mask图。

在获取了与所述感兴趣区域有关的属性信息之后，最后，在步骤S240，基于获取的属性信息对已执行所述第一图像处理后的所述感兴趣区域进行第二图像处理，得到输出图像。如上所述，第一图像处理可以是感兴趣区域恢复处理，但是由于感兴趣区域恢复处理仅针对图像失真进行处理，而会导致仍然难以达到较高的图像处理质量，为此，本公开示例性实施例的图像处理方法在获取了与所述感兴趣区域的属性信息之后，基于获取的属性信息对已执行所述第一图像处理后的感兴趣区域进一步进行第二图像处理，以得到更高质量的输出图像。这里，第二图像处理用于提高已执行所述第一图像处理后的所述感兴趣区域的图像质量。具体地，例如，基于获取的属性信息对已执行所述第一图像处理后的所述感兴趣区域进行第二图像处理，包括执行以下操作中的一个操作：基于所述第一属性信息对已执行所述第一图像处理后的所述感兴趣区域进行颜色校正；基于所述第一属性信息和/或所述第二属性信息将已执行所述第一图像处理后的所述感兴趣区域与所述输入图像进行融合；基于所述第一属性信息对已执行所述第一图像处理后的所述感兴趣区域进行颜色校正，并且基于所述第一属性信息和/或所述第二属性信息对执行了颜色校正后的所述感兴趣区域与所述输入图像进行融合。

通过基于所述第一属性信息对已执行所述第一图像处理后的所述感兴趣区域进行颜色校正，可以进一步改善色偏。通过基于第一属性信息将已执行所述第一图像处理后的所述感兴趣区域与所述输入图像进行融合，可以改善感兴趣区域(例如，人脸区域)以及感兴趣区域附近背景区域之间出现的帧间闪烁或不连续。通过基于第二属性信息将已执行所述第一图像处理后的所述感兴趣区域与所述输入图像进行融合，可以在感兴趣区域有遮挡的情况下，防止遮挡区域出现扭曲、失真。而如果基于第一属性信息和第二属性信息两者将已执行所述第一图像处理后的所述感兴趣区域与所述输入图像进行融合，不仅可以改善上述帧间闪烁或不连续问题，而且可以防止遮挡区域出现扭曲、失真。此外，既可以基于第一属性信息对已执行所述第一图像处理后的感兴趣区域进行颜色校正，而且在进行颜色校正之后，可以进一步基于第一属性信息和/或第二属性信息将已执行所述第一图像处理后的感兴趣区域与输入图像进行融合，由此不仅可以改善色偏，而且可以解决上述帧间闪烁或不连续问题，并且可以防止遮挡区域出现扭曲、失真。

下面，结合图1并参照图5对颜色校正操作进行介绍。具体地，例如，可以基于所述第一属性信息，对已执行所述第一图像处理后的感兴趣区域的各子区域分别进行颜色校正。例如，可以首先基于所述第一属性信息，分别估计已执行所述第一图像处理后的所述感兴趣区域的各子区域的验证校正参数，然后，利用估计出的各子区域的颜色校正参数分别对各子区域进行颜色校正。

如图1所示，在经过人脸区域属性检测获取到人脸区域的属性信息之后，可以基于该属性信息(上述第一属性信息)对执行了人脸区域恢复处理的人脸区域进行颜色校正，以帮助校正人脸区域恢复处理中产生的色偏。例如，人脸五官和皮肤的色域大不相同，人脸区域恢复处理产生的色偏是非线性的，若将其看作一个整体采用统一的参数进行校正，面积较小的五官如嘴巴、眉毛等区域容易被大面积区域色偏影响，得到的结果仍然容易存在一定程度的色偏。图5是示出图3所示的颜色校正操作的示意图。如图5所示，利用人脸区域属性信息，可以分别估计人脸各子区域(皮肤区域、唇部区域、眉毛区域、头发区域和眼睛区域)的颜色校正参数，并基于估计出的颜色校正参数分别进行各子区域的颜色校正，从而在局部对色偏进行线性校正。

接下来，结合图1并参照图6和图7对上述融合操作进行介绍。如在上文中提及的，第二属性信息例如可以是与感兴趣区域相关的遮挡区域的第二掩膜图。在这种情况下，上述基于所述第一属性信息和/或所述第二属性信息将已执行所述第一图像处理后的所述感兴趣区域与所述输入图像进行融合，可以包括：基于所述第二掩膜图，将已执行所述第一图像处理后的所述感兴趣区域与所述输入图像进行融合。通过基于第二掩膜图将已执行所述第一图像处理后的所述感兴趣区域与所述输入图像进行融合，可以在感兴趣区域有遮挡的情况下，有效地区分出与感兴趣区域相关的遮挡区域，从而防止在图像融合时对遮挡区域进行处理，从而防止了遮挡区域出现扭曲、失真。

可选地，上述基于所述第一属性信息和/或所述第二属性信息将已执行所述第一图像处理后的所述感兴趣区域与所述输入图像进行融合，可以包括：基于所述第一属性信息获得所述感兴趣区域的第三掩膜图；基于所述第三掩膜图将已执行所述第一图像处理后的所述感兴趣区域与所述输入图像进行融合。通过基于第三掩膜图将已执行所述第一图像处理后的所述感兴趣区域与所述输入图像进行融合，可以在融合时有效地将感兴趣区域与其他背景区域区分处理，使得图像融合效果更自然，改善了感兴趣区域(例如，人脸区域)以及感兴趣区域附近背景区域之间出现的帧间闪烁或不连续。

可选地，上述基于所述第一属性信息和/或所述第二属性信息将已执行所述第一图像处理后的所述感兴趣区域与所述输入图像进行融合，可以包括：基于所述第一属性信息获得所述感兴趣区域的第三掩膜图；基于所述第二掩膜图和所述第三掩膜图将已执行所述第一图像处理后的所述感兴趣区域与所述输入图像进行融合。通过基于所述第二掩膜图和所述第三掩膜图将已执行所述第一图像处理后的所述感兴趣区域与所述输入图像进行融合，不仅改善了感兴趣区域(例如，人脸区域)以及感兴趣区域附近背景区域之间出现的帧间闪烁或不连续，而且防止了与感兴趣区域相关的遮挡区域的失真、扭曲。

在上文中提及基于第一属性信息获得感兴趣区域的第三掩膜图。例如，基于所述第一属性信息获得所述感兴趣区域的第三掩膜图，包括：基于所述第一属性信息获得所述感兴趣区域的第四掩膜图；获取感兴趣区域模板位置信息；基于第四掩膜图、感兴趣区域模板位置信息以及所述感兴趣区域的位置信息，获得所述第三掩膜图。这里，第四掩膜图的尺寸与感兴趣区域模板的尺寸相同。第三掩膜图的尺寸与原始输入图像的尺寸相同。

例如，如图3所示的示例，在通过执行人脸区域属性检测而获得人脸区域的属性信息之后，根据该属性信息，可以获得整体人脸区域(包括头发)的mask图(在图3中被称为“人脸区域mask图”)。例如，如上文中所提及的，人脸区域的属性信息可以是人脸区域的类别标注信息图，通过对该类别标注信息图进行二值化可以得到尺寸与模板尺寸相同的人脸区域mask图，基于该人脸区域mask图可以得到与原始输入图像的尺寸相同的人脸区域mask图。

图6是示出图3所示的生成人脸区域mask的操作的示意图。参照图6，可以采用与生成遮挡区域mask图相类似的操作，将尺寸与模板尺寸相同的人脸区域mask图变换至尺寸与原始输入图像的尺寸相同的人脸区域mask图。例如，在得到人脸关键点信息之后，可根据人脸关键点信息获得人脸位置信息，此外，基于获得的人脸位置信息和模板人脸位置信息，可以获得一组仿射变换参数，例如，逆仿射变换矩阵。利用该逆仿射变换矩阵可以将尺寸与模板尺寸相同的人脸区域mask图进行仿射变换，将其恢复至原始输入图像的尺寸(即，原图尺寸)，进而得到最终的人脸区域mask图。注意，此时，超出模板图像的内容将被置零。

另外，在上文中提及可以基于所述第二掩膜图和所述第三掩膜图将已执行所述第一图像处理后的所述感兴趣区域与所述输入图像进行融合。具体地，例如，可以首先将所述第二掩膜图与所述第三掩膜图进行融合，得到融合掩膜图，随后，基于所述融合掩膜图将已执行所述第一图像处理后的所述感兴趣区域与所述输入图像进行融合。

例如，如图3所示，在获得遮挡区域mask图和人脸区域mask图之后，可基于遮挡区域mask图和人脸区域mask图对提取出的执行了人脸恢复和颜色校正后的感兴趣区域与输入图像进行融合(在图3中，该融合操作被称为“人脸区域回填融合”)。

图7是示出图3所示的人脸区域回填融合操作的示意图。人脸区域回填融合可以将所获得的人脸区域处理结果与原始的输入图像进行融合。在融合操作中，首先可以将遮挡区域mask图与人脸区域mask图进行融合，提取其公共区域，得到最终的融合mask图。此外，可选地，可以对融合mask图进行羽化，使得人脸区域与周围其他区域的衔接更加自然。随后，可以基于羽化后的mask图对执行了人脸区域恢复处理的感兴趣区域与原始的输入图像进行融合。由于图3中执行了人脸区域恢复处理后的图像的尺寸与模板尺寸相同，因此，在融合之前，可以将其进行仿射变换，得到与输入图像的尺寸相同的恢复处理后的图像。接下来，可以基于羽化后的mask图对输入图像和与输入图像的尺寸相同的恢复处理后的图像进行融合。融合后的图像可以作为输出图像。

可选地，如图3所示，还可以进一步对融合后的图像进行全局图像处理，以对整体图像质量进行进一步增强、修复，得到输出图像。这里，根据融合后的图像的后续具体应用，可以执行适于后续具体应用的全局处理，本公开对此并未任何限制。

以上，已经结合图2至图7对根据本公开示例性实施例的图像处理方法进行了描述，根据上述图像处理方法，通过在对提取出的感兴趣区域执行感兴趣区域恢复处理之后，获取与所述感兴趣区域有关的属性信息，并基于获取的属性信息对已执行所述第一图像处理后的所述感兴趣区域进行第二图像处理，可以得到更高质量的输出图像。

上述图像处理方法可以应用在视频场景中，例如，有效地解决存在文字遮挡时文字区域容易扭曲失真、在背景噪声较重时容易发生感兴趣区域噪声水平与周围背景不一致(即，帧间闪烁、不连续)、甚至与原输入出现色偏等问题。

图8是示出本公开示例性实施例的图像处理装置的框图。

参照图8，图像处理装置800可包括图像获取单元810和图像处理单元820。具体而言，图像获取单元810可被配置为获取输入图像。图像处理单元820可被配置为：在所述输入图像中执行感兴趣区域检测，从所述输入图像中提取出所述感兴趣区域，并对提取出的感兴趣区域执行第一图像处理，其中，所述第一图像处理是用于改善所述感兴趣区域的失真的感兴趣区域恢复处理；获取与所述感兴趣区域有关的属性信息；基于获取的属性信息对已执行所述第一图像处理后的所述感兴趣区域进行第二图像处理，得到输出图像，其中，所述第二图像处理用于提高已执行所述第一图像处理后的所述感兴趣区域的图像质量。

由于图2所示的图像处理方法可由图8所示的图像处理装置800来执行，并且图像获取单元810执行与图4中的步骤S410对应的操作，而图像处理单元820执行与图2中的步骤S220至S240对应的操作，因此，关于图8中的各单元所执行的操作中涉及的任何相关细节均可参见关于图2的相应描述，这里都不再赘述。

此外，需要说明的是，尽管以上在介绍图像处理装置800时将其划分为用于分别执行相应处理的单元，然而，本领域技术人员清楚的是，上述各单元执行的处理也可以在图像处理装置800不进行任何具体单元划分或者各单元之间并无明确划界的情况下执行。此外，图像处理装置800还可包括其他单元，例如，存储单元等。

图9是根据本公开示例性实施例的电子设备的框图。

参照图9，电子设备900可包括至少一个存储器901和至少一个处理器902，所述至少一个存储器存储计算机可执行指令，计算机可执行指令在被至少一个处理器执行时，促使至少一个处理器902执行根据本公开实施例的图像处理方法。

作为示例，电子设备可以是PC计算机、平板装置、个人数字助理、智能手机、或其他能够执行上述指令集合的装置。这里，电子设备并非必须是单个的电子设备，还可以是任何能够单独或联合执行上述指令(或指令集)的装置或电路的集合体。电子设备还可以是集成控制系统或系统管理器的一部分，或者可被配置为与本地或远程(例如，经由无线传输)以接口互联的便携式电子设备。

在电子设备中，处理器可包括中央处理器(CPU)、图形处理器(GPU)、可编程逻辑装置、专用处理器系统、微控制器或微处理器。作为示例而非限制，处理器还可包括模拟处理器、数字处理器、微处理器、多核处理器、处理器阵列、网络处理器等。

处理器可运行存储在存储器中的指令或代码，其中，存储器还可以存储数据。指令和数据还可经由网络接口装置而通过网络被发送和接收，其中，网络接口装置可采用任何已知的传输协议。

存储器可与处理器集成为一体，例如，将RAM或闪存布置在集成电路微处理器等之内。此外，存储器可包括独立的装置，诸如，外部盘驱动、存储阵列或任何数据库系统可使用的其他存储装置。存储器和处理器可在操作上进行耦合，或者可例如通过I/O端口、网络连接等互相通信，使得处理器能够读取存储在存储器中的文件。

此外，电子设备还可包括视频显示器(诸如，液晶显示器)和用户交互接口(诸如，键盘、鼠标、触摸输入装置等)。电子设备的所有组件可经由总线和/或网络而彼此连接。

根据本公开的实施例，还可提供一种存储指令的计算机可读存储介质，其中，当所述指令由至少一个处理器执行时，促使所述至少一个处理器执行根据本公开示例性实施例的图像处理方法。这里的计算机可读存储介质的示例包括：只读存储器(ROM)、随机存取可编程只读存储器(PROM)、电可擦除可编程只读存储器(EEPROM)、随机存取存储器(RAM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、闪存、非易失性存储器、CD-ROM、CD-R、CD+R、CD-RW、CD+RW、DVD-ROM、DVD-R、DVD+R、DVD-RW、DVD+RW、DVD-RAM、BD-ROM、BD-R、BD-R LTH、BD-RE、蓝光或光盘存储器、硬盘驱动器(HDD)、固态硬盘(SSD)、卡式存储器(诸如，多媒体卡、安全数字(SD)卡或极速数字(XD)卡)、磁带、软盘、磁光数据存储装置、光学数据存储装置、硬盘、固态盘以及任何其他装置，所述任何其他装置被配置为以非暂时性方式存储计算机程序以及任何相关联的数据、数据文件和数据结构并将所述计算机程序以及任何相关联的数据、数据文件和数据结构提供给处理器或计算机使得处理器或计算机能执行所述计算机程序。上述计算机可读存储介质中的指令或计算机程序可在诸如客户端、主机、代理装置、服务器等计算机设备中部署的环境中运行，此外，在一个示例中，计算机程序以及任何相关联的数据、数据文件和数据结构分布在联网的计算机系统上，使得计算机程序以及任何相关联的数据、数据文件和数据结构通过一个或多个处理器或计算机以分布式方式存储、访问和执行。

根据本公开的实施例中，还可提供一种计算机程序产品，该计算机程序包括计算机指令，所述计算机指令被处理器执行时实现根据本公开示例性实施例的图像处理方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求限定。

Claims (10)

1.一种图像处理方法，其特征在于，包括：

获取输入图像；

在所述输入图像中执行感兴趣区域检测，从所述输入图像中提取出所述感兴趣区域，并对提取出的感兴趣区域执行第一图像处理，其中，所述第一图像处理是用于改善所述感兴趣区域的失真的感兴趣区域恢复处理；

获取与所述感兴趣区域有关的属性信息，其中，所述属性信息包括以下至少一种属性信息：所述感兴趣区域本身的第一属性信息、与所述感兴趣区域相关的遮挡区域的第二属性信息；

基于获取的属性信息对已执行所述第一图像处理后的所述感兴趣区域进行第二图像处理，得到输出图像，其中，所述第二图像处理用于提高已执行所述第一图像处理后的所述感兴趣区域的图像质量。

2.如权利要求1所述的图像处理方法，其中，所述基于获取的属性信息对已执行所述第一图像处理后的所述感兴趣区域进行第二图像处理，包括执行以下操作中的一个操作：

基于所述第一属性信息对已执行所述第一图像处理后的所述感兴趣区域进行颜色校正；

基于所述第一属性信息和/或所述第二属性信息将已执行所述第一图像处理后的所述感兴趣区域与所述输入图像进行融合；

基于所述第一属性信息对已执行所述第一图像处理后的所述感兴趣区域进行颜色校正，并且基于所述第一属性信息和/或所述第二属性信息对执行了颜色校正后的所述感兴趣区域与所述输入图像进行融合。

3.如权利要求2所述的图像处理方法，其特征在于，所述获取与所述感兴趣区域有关的属性信息，包括：

基于提取出的所述感兴趣区域来获取所述感兴趣区域的第一属性信息；和/或

在所述输入图像中执行遮挡检测并基于遮挡检测结果和感兴趣区域检测结果来获取所述遮挡区域的第二属性信息。

4.如权利要求3所述的图像处理方法，其中，所述基于提取出的所述感兴趣区域来获取所述感兴趣区域的第一属性信息，包括：

基于提取出的所述感兴趣区域来获取所述感兴趣区域的各子区域的位置信息；

根据获取的各子区域的位置信息来获取所述第一属性信息。

5.如权利要求3所述的图像处理方法，其中，所述在所述输入图像中执行遮挡检测并基于遮挡检测结果和感兴趣区域检测结果来获取所述遮挡区域的第二属性信息，包括：

在所述输入图像中执行遮挡检测来获取所述输入图像中所有遮挡区域的位置信息；

基于所述所有遮挡区域的位置信息以及所述感兴趣区域的位置信息来获取所述第二属性信息。

6.如权利要求5所述的图像处理方法，其中，所述基于所述所有遮挡区域的位置信息以及所述感兴趣区域的位置信息来获取所述第二属性信息，包括：

基于所述所有遮挡区域的位置信息获得所述所有遮挡区域的第一掩膜图；

获取感兴趣区域模板位置信息；

基于第一掩膜图、感兴趣区域模板位置信息以及所述感兴趣区域的位置信息，获得与所述感兴趣区域相关的遮挡区域的第二掩膜图，作为所述第二属性信息。

7.如权利要求4所述的图像处理方法，其中，所述基于所述第一属性信息对已执行所述第一图像处理后的所述感兴趣区域进行颜色校正，包括：

基于所述第一属性信息对已执行所述第一图像处理后的所述感兴趣区域的各子区域分别进行颜色校正。

8.一种图像处理装置，包括：

图像获取单元，被配置为获取输入图像；

图像处理单元，被配置为：

在所述输入图像中执行感兴趣区域检测，从所述输入图像中提取出所述感兴趣区域，并对提取出的感兴趣区域执行第一图像处理，其中，所述第一图像处理是用于改善所述感兴趣区域的失真的感兴趣区域恢复处理；

获取与所述感兴趣区域有关的属性信息，其中，所述属性信息包括以下至少一种属性信息：所述感兴趣区域本身的第一属性信息、与所述感兴趣区域相关的遮挡区域的第二属性信息；

基于获取的属性信息对已执行所述第一图像处理后的所述感兴趣区域进行第二图像处理，得到输出图像，其中，所述第二图像处理用于提高已执行所述第一图像处理后的所述感兴趣区域的图像质量。

9.一种电子设备，其特征在于，包括：

至少一个处理器；

至少一个存储计算机可执行指令的存储器，

其中，所述计算机可执行指令在被所述至少一个处理器运行时，促使所述至少一个处理器执行如权利要求1到7中的任一权利要求所述的图像处理方法。

10.一种存储指令的计算机可读存储介质，其特征在于，当所述指令被至少一个处理器运行时，促使所述至少一个处理器执行如权利要求1到7中的任一权利要求所述的图像处理方法。

Images