CN102842140A - 图像处理装置以及图像处理方法 - Google Patents

Abstract

本发明提供一种图像处理装置以及图像处理方法。图像处理装置包括：重要度映射图创建单元，其创建表示图像数据的重要区域和该区域的重要度的重要度映射图；和图像处理单元，其根据由所述重要度映射图创建单元创建的重要度映射图，将所述重要区域的图像数据的画风变换为第1画风(tone)，将所述重要区域以外的区域的图像数据的画风变换为第2画风。

Description

图像处理装置以及图像处理方法

技术领域

本发明涉及在对照片图像进行绘画变换时进行与构成照片图像的图像数据的区域的重要度相应的画风(tone)变换的技术。

背景技术

近年来，伴随数码相机的普及，照片的欣赏方法变得多样化。尤其因为是数字图像数据，所以可以进行各种图像处理。

例如，提出了能够通过施加图像处理从而生成以原始照片为基础而趣味不同的画风的图像(绘画风等)来进行显示的技术(例如，参照专利文献1)。

使专利文献1的技术得到发展，进而还提出了如下技术：通过从画家实际描画的绘画图像提取色彩信息和笔触信息等的特征，并且对所拍摄的图像附加提取出的特征，从而考虑原图像整体，变换为艺术性高的绘画风图像(例如，参照专利文献2)。

此外，还提出了通过改变绘画风等的画质从而使其具有变化的技术(例如，参照专利文献3)。

但是，在将照片变换为绘画风的作品时，在一张照片中存在例如中央部分、脸部那样重要的区域、和如周边部分那样不是那么重要的区域。此外，重要的区域不局限于脸部、中央部分，还有车、花等，想要拍摄的中心性的被摄体的情况。因此，希望对重要的区域，在画风变换后的图像中进行强调，即与其他区域相比，实现看起来的差别化，但是在现有技术中存在如下课题：照片整体被以相同的方式进行变换。

发明内容

本发明鉴于这种情况而做，其目的在于提供一种图像处理装置、图像处理方法以及程序，能够在画风变换后的图像中，在重要度高的区域和其他区域之间实现看起来的差别化。

为了解决所述课题，在第1发明中，提供一种图像处理装置，其特征在于，包括：重要度设定单元，其从图像数据中设定重要度；重要度映射图创建单元，其决定与所述重要度设定单元设定的重要度对应的重要区域，创建重要度映射图；和画风变换处理单元，其针对所述图像数据，对所述重要区域的图像数据进行第1画风变换处理，并且对所述重要区域以外的区域的图像数据进行第2画风变换处理。

此外，在第2发明中，提供一种图像处理装置，其特征在于，在能够按照给定的参数将处理对象的图像变换为多个种类的画风的图像处理装置中，具备：选择单元，其选择要变换的画风的种类；区域设定单元，其对所述处理对象的图像设定重要区域；和画风变换处理单元，其对所述处理对象的图像，进行变换为所选择的种类的画风的变换处理时，对所述重要区域进行第1变换处理，对不同于所述重要区域的其他区域进行第2变换处理。

根据本发明，在画风变换后的图像中，能够在重要度高的区域与其他区域之间实现外观的差别化。

附图说明

图1是表示本发明的实施方式的图像显示系统的网络系统的构成的框图。

图2是表示实现该实施方式的图像服务站的服务器的概略构成的框图。

图3是用于对画风变换处理中的纹理细密度进行说明的图。

图4是用于说明画风变换处理中的笔致(笔触)的形状的图。

图5是用于表示该实施方式的终端与服务器间的数据交换的工序图。

图6是用于说明该实施方式的绘画变换处理的流程图。

图7是用于说明该实施方式的脸部检测处理的流程图。

图8是用于说明该实施方式的脸部的区域创建的图。

图9的(a)、(b)、(c)是用于说明该实施方式的重要度映射图的图。

图10是用于说明使用了重要度映射图的绘画变换的图。

图11是用于说明脸部区域的边界的图。

图12是表示通过手动而指定的重要区域的例子的图。

具体实施方式

以下，参照附图对本发明的实施方式进行说明。

图1是表示应用了本发明的图像显示系统的网络系统的构成的框图。

图中符号10是具有SNS(social network service，社会网络服务)功能的图像服务站，通过因特网500与多个终端1-1、1-2、1-3……连接。

图像服务站10是进行从用户上载(upload)的图像数据(主要是由数码相机所拍摄的照片的图像数据)的保存、上载的图像数据向绘画风图像的变换、上载的图像以及变换后的绘画风图像的阅览、下载(download)等的服务的站点。

终端1-1、1-2、1-3……是具备通信功能、以及具有图像数据表示的图像的显示功能的任意装置，例如是通常的个人计算机、包括智能手机的移动电话终端。

图2是表示实现图像服务站10的服务器11的构成主要部分的框图。在服务器11中设置有会员区100、公共区200、控制区300。

会员区100是对每个登记会员设置的区域，具有用于识别会员的用户ID102、和与其对应的用户各自的各种属性信息104。

此外，106是存储由用户上载的照片的图像数据的上载图像区、108是存储在图像服务站10中进行了绘画变换的绘画风图像(作品)的作品缓冲区、110是下载其他用户的作品而存储的下载作品缓冲区。

公共区200是对全体用户公共设置的区域，包括存储将用户上载的图像变换为绘画风的许多作品的作品区202。

针对存储在作品区202中的各作品，与图像数据208一起存储用于识别该作品的图像ID204、和该作品的属性信息206。

控制区300包括绘画变换处理部302、参数表304、重要度映射图306、显示控制部308、评价控制部310、会员管理部312、脸部检测处理部314的各部。

绘画变换处理部302进行将存储在作品缓冲区108中的图像数据变换为绘画风图像数据的绘画变换处理。脸部检测处理部314从存储在作品缓冲区108中的图像数据检测任意人物的脸部。参数表304存储绘画变换处理部302进行绘画变换处理时参考的绘画变换用的参数。重要度映射图306存储绘画变换处理部302进行绘画变换处理时参考的、图像数据中的各像素的重要度。显示控制部308存储使作品显示在画面上的控制程序。

评价控制部310对存储在会员区100的作品缓冲区108中的作品，进行与访问次数等相应的评价，并且对每个作品赋予点数。会员管理部312通过用户ID对会员进行管理，控制按免费会员、收费会员、高级会员的服务。该会员管理部312还掌管图像服务站10的SNS功能。

此外，在服务器11中，设置有CPU20和显示缓冲器30。CPU20控制服务器11整体(上述的各部)，并且进行用于使许多作品在因特网上一览显示而需要的各种处理。在CPU20进行的处理中，还包括绘画变换处理部302中的绘画变换处理附带的处理。显示缓冲器30是在CPU20使许多作品一览显示时用于展开显示用的图像的作业用存储器。

以下，参照流程图对本实施方式的图像显示系统的具体动作进行说明。

首先，参照图5，来说明在终端1-1、1-2、1-3、……与图像服务站10的服务器11之间进行图像的上载、显示、阅览、下载时的工序。

在用户为会员(免费会员、收费会员或者高级会员)的情况下，用户从自己的终端1访问图像服务站10(步骤SB1)。服务器11通过用户的登录来认证用户ID(步骤SC1)，在确认是会员时，发送该会员的网页，变为从会员能观看的方式(步骤SC2)。

会员在打开自己的网页后，进行图像的上载(步骤SB2)。被上载的图像存储在服务器的会员区100的上载图像区106中。在会员请求该图像的绘画变换时(步骤SB3)，在服务器11中进行绘画变换处理(步骤SC3)，变换后的图像、即作品被存储在作品缓冲区108中。

会员可以直接以个人欣赏变换后的作品，而在想要对其他用户公开时，进行投稿(步骤SB4)。被投稿的作品从会员区100的作品缓冲区108转送到公共区200的作品区202并被保存。另外，作品区202内的作品中还附加有通过图2进行了说明的属性信息206。

对于作品区202内的作品，服务器11根据需要进行一览显示(步骤SC4)。另外，服务器11在进行一览显示时适当对作品区202内的作品调整大小。即，通常，作品区202内的作品的尺寸比一览显示用的图像尺寸大，所以缩小作品，此外，在作品区202内的作品的尺寸比一览显示用的图像尺寸小时放大作品。

此外，会员能够通过请求阅览(步骤SB5)，从而以实际的尺寸来阅览被一览显示的任意作品。在存在阅览请求时，服务器11以实际的尺寸显示所请求的作品(步骤SC5)，并且对有了阅览请求的作品增加点数(步骤SC6)。

此外，会员可以点击表示喜欢所阅览的作品的GOOD按钮，也可以写入感想等的评语(步骤SB6)。在GOOD按钮被点击，或写入了感想等的评语时，服务器增加被阅览的作品的属性信息的点数(步骤SC6)。据此，该作品的评价提高。使评语写入与GOOD按钮相比，点数数量高。

此外，会员可以请求下载所阅览的作品(步骤SB7)。服务器11在从会员存在下载请求时，根据需要许可下载(步骤SC7)，仅在下载被许可的情况下，会员才可以下载所阅览的作品(步骤SB8)。所下载的作品保存在会员区100的下载作品缓冲器110中。

此外，在有了下载请求时，服务器11也对该作品增加点数(步骤SC8)。

另一方面，会员以外的其他用户，即任意的用户可以通过适当访问图像服务站10(步骤SA1)，来以一览显示的状态阅览保存在公共区200的作品区202中的作品。而且，任意的用户也可以通过请求阅览(步骤SA2)，从而以实际的尺寸来阅览被一览显示中的任意作品。

而且，在任意的用户喜欢所阅览的作品而点击GOOD按钮时(步骤SA3)，在该情况下，服务器11也对被阅览的作品增加点数(步骤SC6)。

接下来，对服务器11将上载的图像数据变换为绘画风图像时的绘画变换处理技术进行说明。

绘画变换，是指对构成照片等图像的各像素按照给定的参数(绘画变换参数)进行变换，变换为油画风、水彩画风、彩色粉笔画风、彩色铅笔画风、蜡笔画风、插图画风、素描画风、喷涂画风、丝网印刷风、刺绣画风、拼贴画(粘贴画)风等，所谓的绘画风的图像处理技术。将这多个画风称为画风的种类。

在绘画变换中，基本上通过利用照片修饰软件等自动地调整/组合已知的各种效果处理的参数，来将处理对象的原图像变换为看起来像绘画风的图像。

作为效果处理，例如存在：对图像匹配纹理，给予特殊的质感的纹理处理；将图像分类为轮廓部、细花纹等纹理部、平坦部，通过分别对其实施适当处理，从而提高质感和清晰感的分辨率处理；将颜色分为色相(Hue)、彩度(Saturation)、明度(Value)的3要素进行调整的HSV处理；调整图像的R(红)G(绿)B(蓝)各色的程度的RGB处理；沿R→G→B方向进行交换的RGB交换处理；实施被称为拉普拉斯滤波的滤波的边缘提取处理；实施被称为中值滤波的滤波的中间浓度提取处理；提取相邻的像素的RGB的直方图，并分别进行提取出了最小/中间/最大的浓度时的处理的浓度提取处理；将图像的最暗的部分设为黑，将最亮的部分设为白，适当分布中间的直方图，进行对比度修正，或放大图像的直方图的补偿处理；维持亮的部分和暗的部分而调节中间的明亮度的伽马(γ)校正处理；使图像的暗的区域变亮，或使亮的区域变暗的阴影处理；在各像素的RGB值为阈值以上的明亮度时，将该RGB值反转的负感作用(solarization)处理；随机地描画点，使噪声产生，调整噪声的量、颜色的噪声附加处理等。

此外，还存在如下效果处理，即：通过利用画风匹配，将在被称为HDR(High Dynamic Range，高动态范围)的通常的照片中不能表现的宽动态范围的照片放入窄动态范围幅度内，从而对曝光过多的过白(白飛び)以及曝光不足的过黑(黑つぶれ)进行补正来增大表现力的效果处理。该HDR是效果处理的一种，也是画风种类的一种。

即，绘画变换处理在原理上是效果处理的一种，绘画变换算法通过组合效果处理和参数来作出各种绘画风，对其变换算法进行了编程。

在该变换算法中，预先准备用于对原图像的像素进行变换的所述参数的组(set)即参数群P。设画风的种类有12种类时，用参数群P(1)～P(12)表示。根据参数的决定方法不同，所变换的图像的画风也发生变化。将用于变换为油画风的参数群设为P(1)，在P(1)中存在m个用于按照看起来像油画风的方式变换图像的效果处理所需要的参数时，参数可以用参数P1～Pm来表示，成为参数群P(n)包括多个参数P1～Pm。

像素一般用RGB各多个比特的灰度来表现，参数是用于对该比特数据施加运算的要素。例如在强调红色分量而稍微抑制绿色分量和蓝色分量时，进行R×2、G×0.9、B×0.5这样的运算时的系数“2”、“0.9”、“0.5”是参数。

或者，运算要素预先被编程，红色的强调度1时R×1.1、强调度2时R×1.2、强调度3时R×1.3，进行这样的运算时的强调度也是参数。

此外，还有在关注像素和邻接像素之间施加给定运算的情况。例如如图3(A)所示，在以关注像素A5(RGB)为中心，上下左右排列像素A1(RGB)、A2(RGB)、A3(RGB)、A4(RGB)、A5(RGB)、A6(RGB)、A7(RGB)、A8(RGB)、A9(RGB)时，对A5(R)进行A5(R)＝A1(R)×q1+A2(R)×q2+A3(R)×q3+A4(R)×q4+A5(R)×q5+A6(R)×q6+A7(R)×q7+A8(R)×q8+A9(R)×q9的运算，针对G、B也进行同样的运算。这里的q是参数，通过改变该数值(系数)可以进行不同的效果处理。

此外，还有加工为笔致(以下称为“笔触”)不同的效果处理。

具体而言，从构成图像数据的像素，以颜色等为基准收集相关高的像素，形成组。接下来，对各个组的像素，针对同一组的像素将颜色置换为该组的代表色。如此将颜色置换为代表色的像素的组形成各自的笔触。根据相应的图像加工处理，通过改变作为组而收集的像素的相关的取得方法、以及由同一颜色(代表色)的像素构成的组的形状(长度(距离)、扁平度)，从而能够改变所形成的笔触，结果，可以将图像数据表示的图像的画风变更为各种绘画风。而且按照各种画风，来设定各自的处理所使用的相关度、表示组的形状的长度、扁平度等的参数的最佳组合。

例如在由与关注像素A5相关高的像素构成的组的形状为图4(A)、图4(B)所示的形状时，图4(A)所示的形状与图4(B)所示的形状相比，扁平度大、长度(距离)短。

将多个图像数据的各个变更为不同的笔触时，可以通过在变更画风时，调整收集构成笔触的像素的组的形状，例如，组的扁平度，来实现。由表示笔触的同一颜色的像素构成的组的扁平度变大时，笔触变粗，结果，图像的笔致被粗犷地显示。由同一颜色的像素构成的组的扁平度变小时，可以作出小的笔触，结果，图像的笔致被细致地显示。

以上详细叙述的绘画变换算法，存储在服务器11的控制区300的绘画变换处理部302中，参数群同样地存储在控制区300的参数表304中。

图6是表示绘画变换处理部302的绘画变换处理的流程图。在服务器11中，如图6所示，首先绘画变换处理部302进行前处理(步骤SC101)。这里是与画风的种类无关地公共执行的处理。

如上述那样的效果处理对各像素来进行，所以图像数据需要是位图形式。因此绘画变换处理部302将通常以JPEG形式表现的图像数据变换为位图形式。

此外，因为被上载的图像数据的尺寸各种各样，所以绘画变换处理部302将其调整为显示区的像素数，例如800×600像素。较大的图像缩小，较小的图像放大。这是因为，确定了尺寸时参数也可以固定，可以高效地进行处理。当然，后述的本图像的绘画变换时，对被上载的图像数据的尺寸直接进行绘画变换。

接下来，绘画变换处理部302通过脸部检测处理来确认变换对象的图像是否包含脸部(步骤SC102)。这是因为，若对图像内的脸部部分施加极端的变换则脸部部分变得不自然，所以对脸部部分实施更自然地与其他部分不同的绘画变换处理。更具体而言，为了对脸部部分，实施将变换强度设定得比其他部分弱的绘画变换处理、或比其他部分纹理细密的绘画变换处理。

所谓纹理细密(detailed)，是指进行效果处理时的对象像素的组较小。例如晕映处理时，对关注像素A(x、y)在其邻接像素间形成组，取得各像素的平均值，将该组内的像素置换为平均值，由此表现晕映了的感觉(smoothing or airbrushing)。此时，例如在以关注像素A5为中心邻接了像素A1、A2、A3、A4、(A5)、A6、A7、A8、A9时，将像素A5的上下左右的A2、A4、A6、A8的4像素分组为对象时(参照图3(B))，与将周围A1～A9的8像素分组为对象的情况(参照图3(C))相比，或者与将包括了进一步周围的24像素分组为对象的情况(参照图3(D))相比，可以说纹理细密(反义词是粗糙(coarse))。

此外，根据画风的种类不同，还存在如图3(E)所示以不定形进行分组的情况。在该情况下，对较少的1组按照较少的像素数进行画风变换处理时，与将较多的像素数汇总为1组进行画风变换处理相比，可以说纹理细密。

同样地，对于笔致，也是如图4(A)所示以用较少的像素数形成的组处理多次时，与如图4(B)所示以用较多的像素数形成的组处理较少次数相比，可以说纹理细密。

使用图7的流程图后面叙述所述脸部检测处理，但是因为即使在一张图像中，脸部区域与背景、中央部分与周边部分，重要度也不同，所以在脸部检测处理中，绘画变换处理部302创建与处理对象图像相关的重要度映射图的数据，并将其存储在控制区300的重要度映射图306中。

重要度(emphasis)表示对于观看者的重要性(importance)的程度，而在技术上，表示要强调(emphasis)的程度。

接下来，绘画变换处理部302使用户从油画风、水彩画风、彩色粉笔画风、彩色铅笔画风、……等中选择希望的画风(步骤SC103)。

在选择了画风后，绘画变换处理部302转移到各个绘画变换算法的流程。例如若是油画风变换则进入步骤SC104，若是水彩画风变换则进入步骤SC105。若是其他情况则进入其他绘画变换算法的流程(步骤SC106)。另外，绘画变换处理部302在执行各算法时，参照控制区300的参数表304和重要度映射图306(步骤SC107、SC108、SC109、SC110)。

步骤SC104、SC105、SC106的绘画变换时，绘画变换处理部302将一览显示的显示画面尺寸的图像数据作为对象来进行绘画变换。另外，变换后的图像被发送给用户的终端1，并且在终端1中进行画面显示。之后，若从用户的终端1指示了决定(步骤SC112：是)，则绘画变换处理部302进入本图像的绘画变换(步骤SC113)，若指示了以其他画风重做(步骤SC112：否)，则进入步骤SC103的处理。

步骤SC113的本图像的绘画变换时，绘画变换处理部302利用由步骤SC112决定的绘画变换算法参照参数表304和重要度映射图306来进行绘画变换(步骤SC114、SC115)。因为即使是相同的画风，图像尺寸不同时适当的参数也不同，所以在步骤SC115参照的参数表与由步骤SC107或者SC108取得的参数不同。

而后，绘画变换处理部302进行将绘画变换后的本图像再次变换为JPEG形式的后处理(步骤SC116)。

下面，参照图7～图9来说明前述的步骤SC102的脸部检测处理、和此时的重要度映射图的创建过程。

如图7所示，脸部检测处理时，绘画变换处理部302首先将对象图像数据作为对象由脸部检测处理部314检测脸部(步骤SC151)。这里，脸部检测技术是公知技术，所以不详细叙述。

接下来，绘画变换处理部302对对象图像数据设定脸部区域(步骤SC152)。此时，即使由步骤SC151成功检测出脸部，要准确地提出其轮廓也是困难的，所以绘画变换处理部302将包括脸部部分的椭圆形(ellipse)或者矩形(square)的区域设定为脸部区域。

图8是说明包括脸部区域的区域(emphasis area)的示例的图，在图8中，sq是包括脸部(face)F1的矩形(square)的区域，el是包括脸部F1的椭圆形(ellipse)的区域。即，sq、el是与检测出的脸部对应的区域。即，包括检测出的脸部区域的矩形区域是sq，将该sq内接的椭圆形系的区域设为el。

而后，绘画变换处理部302创建重要度映射图(步骤SC153)。图9是用于说明重要度映射图的图。在步骤SC153中，绘画变换处理部302从图9(a)所示的图像数据检测出脸部F1、F2、F3时，将图9(b)所示的脸部区域sq1、sq2、sq3设定为图像数据。另外，图9(b)是示出将脸部区域设为矩形区域时的图。

接下来，如图9(c)所示，绘画变换处理部302首先将脸部区域sq1、sq2、sq3设定为图像内重要度的位次为第1位的第1区域E1、E2、E3。

接下来，绘画变换处理部302将由椭圆el3表示的中央部的区域设定为图像内重要度的位次为第2位的第2区域E4。设定第2区域E4时，绘画变换处理部302例如使上述椭圆el3为例如长轴为画面的宽度尺寸的1/2的长度、并且短轴为长轴的给定比率的长度的椭圆。

进而，绘画变换处理部302将由包围椭圆el3的椭圆el4表示的背景部分的区域设定为图像内重要度的位次为第3位的第3区域E5。另外，图9(c)的示例，是上述椭圆el4为与图像的4边全部相切的大小、以及具有偏平度的情况的示例。

最后，绘画变换处理部302将第3区域E5的外侧、也就是画面的外周边部分的区域设定为图像内重要度的位次为第4位(最低的位次)的第4区域E6。

即，图9(c)是示出了重要度映射图的概念图，表示第1区域E1、E2、E3、第2区域E4、第3区域E5、第4区域E6、以及关于第1区域～第4区域的各区域的图像内重要度的位次、即图像内的相对重要度的数据成为重要度映射图。在步骤SC153中，绘画变换处理部302将所涉及的数据存储到控制区300的重要度映射图306中。

然后，绘画变换处理部302通过前述的步骤SC104、SC105、SC106、SC113的绘画变换对图像数据的各像素进行绘画变换处理时，根据图9(c)所示的重要度映射图，对于重要度越高的区域将变换强度设定得越弱，对于重要度越低的区域将变换强度设定得越强来进行绘画变换，或者对于重要度越高的区域，进行纹理越细密的绘画变换。

另外，绘画变换处理时，如后述那样根据画风的种类而分别执行不同的许多效果处理(参照图10)，所以按各种效果处理适当地将变换强度设定得较弱，或者设定得纹理较细密。综合地执行它们的结果，对重要度高的区域将变换强度设定得较弱，对重要度低的区域将变换强度设定得较强来进行绘画变换，或者对重要度高的区域进行比重要度低的区域纹理细密的绘画变换。因此，设定变换强度的处理和设定纹理细密度的处理并存。

其结果，在绘画变换后的绘画风图像中，重要度越高的区域，其与原图像的差异越小，重要度越低的区域，其与原图像的差异变得越大。也就是说，重要度最高的第1区域E1、E2、E3、即脸部区域sq1、sq2、sq3，与其他区域相比较，其与原图像的差异最小。

因此，在原图像中存在人物的脸部时，在绘画变换后的绘画风图像中，可以在存在脸部的重要度高的区域与其他区域之间实现外观的差别化。而且，不会破坏脸部的感觉，可以进行自然的绘画变换。当然这仅是一例，也可以不对脸部区域sq1、sq2、sq3实施不破坏脸部感觉的绘画变换处理。

这里，针对绘画变换处理中的变换强度进行详细叙述。变换强度的强弱，基本上是之前说明的参数的大小。即，变换强度的强弱，是之前例示的效果处理中所需要的参数P1～Pm、对各像素的每个RGB的比特数据实施运算的要素(系数)、颜色的强调度、在关注像素和邻接像素之间实施给定运算时的数值(系数)q、表现笔触时的像素组的形状(长度、扁平度等)的大小。也就是说，参数越大，绘画风图像中的与原图像的差异变得越大。

作为一般性，所谓图像变换，是指将原图像表象为其他图像。在表象时，实施给定变换。此时，若变换系数(参数)较小，则原图像和变换后的图像的差异较小，若变换系数最小，则原图像与变换后的图像没有变化，得到相同的图像。若变换系数较大，则与原图像的差异变得突出。

将原图像设为A，将变换后的图像设为B，将变换算法设为f时，图像的变换可以用B＝f(A)表示。

这里，f例如是纹理处理、HSV处理、拉普拉斯滤波、中值滤波这样的多种效果处理。此外，f例如是变换为油画风的处理，变换为水彩画风的处理。

图10(a)是示意性表示作为一般性的绘画变换的处理内容的图。如该图所示，在变换算法中，实际上包括与目标画风相应的多种效果处理1～N各自的算法。

此外，图10(b)是与目标画风为某画风时的图10(a)相对应的概念图。如该图所示，在变换算法中包括与目标画风相应的特定种类的效果处理1、7、9、……M的算法。

另一方面，加入了变换强度的要素的图像变换可以用B＝f(A、I)表示。I是强度(intensity)。

例如一般对于在个人计算机使用的照片修饰软件等，可以进行能够调整强度的各种图像处理，在所涉及的图像处理进行调整的强度相当于I的值。

此外，在变换算法f中，不局限于维持一个像素(x、y)的位置的处理，还可以移动像素的位置，或者以由多个像素构成的组单位进行移动的处理。例如通过将(x1、y1)的像素移动到(x3、y4)，或者将其周边的像素一起移动，可以得到扭曲的图像。在该情况下，移动距离越大，变换强度越强。而且，在变换算法f中还包括各种晕映处理。例如在对关注像素设定周边像素的平均值的晕映处理中，周边像素数越多，变换强度越强。

这里，在前述的步骤SC104、SC105、SC106、SC113的绘画变换中，针对重要度映射图中所示的第1区域～第4区域的各个区域设定不同的变换强度。也就是说，在绘画变换时，通过进行对处理对象的关注像素应用对包含关注像素的区域设定的变换强度I的处理，从而将原图像变换为重要度越高的区域与原图像的差异越小、重要度越低的区域与原图像的差异越大的绘画风图像。

图10(c)是示意性地示出了对关注像素应用对包含关注像素的区域设定的变换强度I的绘画变换的处理内容的、与图10(b)对应的图。如该图所示，在绘画变换时，在多个种类的效果处理1、7、9、……M的每一个中，对关注像素进行反映了与重要度映射图中按每区域所示的重要度相应的变换强度I的处理。其结果，对原图像进行重要度不同的每个区域变换强度不同的绘画变换。

总而言之，在前述的步骤SC104、SC105、SC106、SC113的绘画变换中，对图像数据的全部像素进行所述B＝f(A、I)的处理，但是根据该像素属于哪个区域，来改变I的值。另外，根据变换目标的画风的种类不同，还存在不反映变换强度I，即变换强度I不对参数产生影响的效果处理。

此外，用α表示由前述的重要度映射图306所示的各区域E1～E6的重要度时，α具有与图像数据相同的像素数，像素A的变换运算成为：

A(RGB)(x、y)＝A(RGB)(x、y)*P1*α(x、y)

A(RGB)(x、y)＝A(RGB)(x、y)*P2*α(x、y)

A(RGB)(x、y)＝A(RGB)(x、y)*Pn*α(x、y)

其中，(x、y)是二维坐标。也就是说，根据α的值，参数的影响度发生变化。

根据所涉及的技术，上述绘画变换例如也可以是如下处理：使构成图像处理领域中公知(参照日本特许第4151234号公报(特开2002-325171号公报)、日本特许第4797039号公报(特开2009-237927号公报)等)的α映射图的α值(与表现颜色的数据R、G、B不同的各像素的透过信息)反映由重点度映射图306所示的每个区域的变换强度，将利用与画风相应的变换算法暂先进行了绘画变换的变换图像(绘画风图像)和原图像进行α混合(Alpha Blending)。

图10(d)是示意性示出了基于α混合的绘画变换的处理内容的、与图10(c)对应的图。

若将原像素值设为A、将变换后的像素值设为B、将α映射图的各像素值设为α(0.0～1.0)，则基于α混合的绘画变换可以用B＝α×A+(1.0-α)×f(A)表示。

因此，例如在原图像上重叠变换图像进行混合时，若提高变换强度低的(重要度高的)区域的像素的α值、降低变换强度高的(重要度低的)区域的像素的α值，则变换强度最低的区域(图9(c)中E1、E2、E3)可以使透过变换图像表现出原图像的程度变得最大。也就是说，在最终得到的绘画变换图像中，可以使重要度越高的区域与原图像的差异越小，重要度越低的区域与原图像的差异越大。

另外，重要度也可以不设置与图像数据相同的像素数，而使各区域E1～E6的内部一律是相同的重要度时，准备6种重要度数据即可。此外，重复的区域，可以设为中间值等，也可以考虑进一步细分化。

此外，图11是将脸部区域sq的轮廓部分的区域(边界区域)进一步细分化后的图。在脸部区域sq的轮廓的内外，改变重要度时，有可能在绘画变换后的图像中形成气氛的不同而产生显著的阶差。因此，可以在脸部区域sq的外侧，设定与图8所例示的同样的椭圆形的区域el，进而在区域el的外侧设定比区域el大一圈的椭圆形的区域el5，将各区域sq、el、el5的重要度的关系设为sq＞el＞el5。通过这种方法，能够对脸部的轮廓部分进行自然感觉的阶段性地绘画变换。

根据以上说明的本实施方式，在将拍摄了主要被摄体的照片图像变换为绘画风图像时，在画风变换后的图像中，能够在存在主要被摄体的重要度高的区域与其他区域之间实现外观的差别化。尤其，通过在重要区域的部分和其他部分改变变换强度，能够消除绘画风图像整体上的不自然感，实现看起来自然的绘画变换。

另外，本发明不限定于由上述实施方式所说明的构成等，当然可以对各部的构成等进行适当变形、变更。

此外，在本实施方式中，对于作为绘画变换后的绘画风图像，生成重要度越高的区域与原图像的差异越小、重要度越低的区域与原图像的差异越大的图像的构成，进行了说明。但是，作为绘画变换后的绘画风图像，也可以与本实施方式相反地，构成为生成重要度越高的区域与原图像的差异越大的图像，即生成对重要度越高的区域比重要度低的区域进行了强调的图像。即，也可以故意强调主要的被摄体使其醒目。

例如作为其应用例，存在以使图像内的特定区域凸出的特殊印刷为目的，生成绘画风图像的情况等。

此外，在本实施方式中，说明了在原图像设定重要度不同的4种区域，即第1区域E1、E2、E3和第2区域E4、第3区域E5、第4区域E6，对各区域E1～E6以与重要度相应的不同的变换强度实施绘画变换处理的例子。

但是，也可以在原图像中，例如仅将第1区域E1～第3区域E5设定为本发明的重要区域，或者仅将第1区域E1和第2区域E4设定为本发明的重要区域，或者仅将第1区域E1设定为本发明的重要区域。

此外，在本实施方式中，以使重要区域(其中，重要度最高的区域)为与人的脸部对应的区域的情况为例进行了说明，但是重要区域也可以是狗或猫等动物的脸部，也可以不是脸部，而是建筑物或车、天空、海等任意被摄体部分。

此外，采用了自动提取重要区域的方式，但是也可以采用由用户将任意区域指定为重要区域的方式。对于使用户将任意区域指定为重要区域的方法、以及用于确定所指定的重要区域的方法是任意的，但是可以采用以下方法。

例如，使终端1的用户在终端1的画面上通过触摸面板的操作按照描画所期望的图像内的被摄体部分的轮廓的方式进行触摸。期间，在服务器11侧，逐次取得表示画面内的触摸位置的轨迹的一系列坐标数据，另一方面，将全部图像作为对象来进行轮廓提取。然后，将由在提取出的轮廓线中与触摸位置的轨迹最吻合的位置的轮廓线包围的区域设定为重要区域。图12是示出了使用户将任意区域指定为重要区域时的示例的图，图12(A)是示出原图像的示例的图，图12(B)是示出包围由用户指定的重要区域的轮廓线L的示例的图。

此外，在本实施方式中，作为画风变换以绘画变换为例进行了说明，但是本发明不局限于绘画变换，只要是将原图像变换为具备任意的人为特征的图像的处理，也可以应用于其他画风变换。

此外，这里针对将本发明应用于实现图像服务站10的服务器11的情况进行了说明，但是只要是具备对图像进行任意的画风变换的功能的装置，本发明可以适用于任意装置。作为任意装置，例如包括数码相机、以将由数码相机摄影的照片图像作为欣赏用而进行显示的情形为主要目的的数码相框、通用个人计算机等。

以上，对本发明的实施方式及其变形例进行了说明，但是本发明不限定于此，只要在可以获得本发明的作用效果的范围内，就可以进行适当变更，变更后的实施方式也包括在权利要求书所记载的发明、以及与该发明均等的发明的范围内。

Claims (22)

1.一种图像处理装置，其特征在于，包括：

重要度映射图创建单元，其创建表示图像数据的重要区域和该区域的重要度的重要度映射图；和

图像处理单元，其根据由所述重要度映射图创建单元创建的重要度映射图，将所述重要区域的图像数据的画风变换为第1画风，将所述重要区域以外的区域的图像数据的画风变换为第2画风。

2.根据权利要求1所述的图像处理装置，其特征在于，

所述重要度映射图创建单元创建表示重要度不同的第1重要区域、第2重要区域、和该区域的重要度的重要度映射图，

所述图像处理单元将所述第1重要区域、第2重要区域的图像数据的画风变换为不同的画风。

3.根据权利要求1所述的图像处理装置，其特征在于，

所述第1变换处理和所述第2变换处理的画风的变换强度不同。

4.根据权利要求1所述的图像处理装置，其特征在于，

所述第1变换处理和所述第2变换处理的画风的变换参数不同。

5.根据权利要求1所述的图像处理装置，其特征在于，

所述图像处理单元将图像数据的画风变换为绘画风。

6.根据权利要求1所述的图像处理装置，其特征在于，

所述重要区域是与所述图像数据的中央部分对应的区域。

7.根据权利要求1所述的图像处理装置，其特征在于，

所述重要区域存在多个。

8.根据权利要求7所述的图像处理装置，其特征在于，

多个所述重要区域分别具有不同的多阶段的重要度。

9.根据权利要求1所述的图像处理装置，其特征在于，

所述重要度映射图示出所述图像数据的各像素的重要度。

10.一种图像处理装置，其特征在于，包括：

指定单元，其指定画风；

区域设定单元，其设定图像的重要区域；和

图像处理单元，其将所述图像的画风变换为由所述指定单元所指定的画风，其中，对所述重要区域进行第1变换处理，对与所述重要区域不同的其他区域进行第2变换处理。

11.根据权利要求10所述的图像处理装置，其特征在于，

所述区域设定单元设定重要度不同的第1重要区域、第2重要区域，

所述图像处理单元对所述第1重要区域、第2重要区域的图像进行不同的变换处理。

12.根据权利要求10所述的图像处理装置，其特征在于，

所述第1变换处理和所述第2变换处理的画风的变换强度相互不同。

13.根据权利要求12所述的图像处理装置，其特征在于，

所述图像处理单元按照给定的参数将所述图像的画风变换为由所述指定单元所指定的画风，所述变换强度依赖于所述参数的大小。

14.根据权利要求10所述的图像处理装置，其特征在于，

所述指定单元指定多个绘画风的画风的一个。

15.根据权利要求10所述的图像处理装置，其特征在于，

所述重要区域是与所述图像的中央部分对应的区域。

16.根据权利要求10所述的图像处理装置，其特征在于，

所述重要区域在所述图像内存在多个区域。

17.根据权利要求16所述的图像处理装置，其特征在于，

所述图像处理单元对所述多个区域的图像分别进行使变换强度阶段性不同的画风变换。

18.根据权利要求10所述的图像处理装置，其特征在于，

还包括生成表示所述图像的各像素的变换强度的重要度映射图的区域设定单元，

所述图像处理单元对各像素以按照所述重要度映射图示出的变换强度的变换强度进行变换处理。

19.一种图像处理方法，其特征在于，

创建表示图像数据的重要区域和该区域的重要度的重要度映射图，

按照所述重要度映射图，将所述重要区域的图像数据的图像变换为第1画风，将所述重要区域以外的区域的图像数据的画风变换为第2画风。

20.一种图像处理方法，其特征在于，

指定画风，

设定图像的重要区域，

将图像的画风变换为所指定的画风，其中，对所述重要区域进行第1变换处理，对不同于所述重要区域的其他区域进行第2变换处理。

21.一种计算机可读介质，其存储了使计算机发挥以下单元的功能的程序：

重要度映射图创建单元，其创建表示图像数据的重要区域和该区域的重要度的重要度映射图；和

图像处理单元，其根据由所述重要度映射图创建单元创建的重要度映射图，将所述重要区域的图像数据的画风变换为第1画风，将所述重要区域以外的区域的图像数据的画风变换为第2画风。

22.一种计算机可读介质，其存储了使计算机发挥以下单元的功能的程序：

指定单元，其指定画风；

区域设定单元，其设定图像的重要区域；和

图像处理单元，其将所述图像的画风变换为由所述指定单元所指定的画风，其中，对所述重要区域进行第1变换处理，对不同于所述重要区域的其他区域进行第2变换处理。

Images