JP2018014646A - 画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】 入力画像の雰囲気を残した色彩の背景を有する影絵調画像を生成する画像処理技術を提供する。【解決手段】 入力画像の距離情報を取得する距離情報取得手段と、前記距離情報を用いて前記入力画像の領域ごとに階調を割り当て、割り当てられた階調にしたがって前記入力画像の輝度データを変換する階調割当手段と、代表色を設定する代表色設定手段と、前記代表色にしたがって前記入力画像の色データを変換する調色手段と、を備えることを特徴とする画像処理装置である。【選択図】 図１

Description

本発明は、デジタル画像データに影絵のような効果を付加する画像処理技術に関する。

入力された画像データに対して、画像データの情報量を落とすことによって被写体のシルエットを強調する画像処理がある。例えば、入力画像データから抽出した輪郭線に基づいて塗りつぶしを行うことにより、切り絵風画像を生成する情報処理回路を備えるものがある（例えば、特許文献１参照）。また、画像を似たような色で空間的にグルーピングして同じグループでは同じ１色で表わすように減色している。こうすることで限られた絵の具で実現した水彩画のテイストを表現する方法がある（例えば、特許文献２参照）。

特開２０１１−１８０６４３号公報 特開平１１−２３２４４１号公報

しかしながら、特許文献１に記載の処理は、白黒画像を前提として色情報の処理が考慮されていないため、カラー画像を作ることは難しい。特許文献２では、入力画像の色を生かしたカラー画像を作ることはできるが、似たような色の背景と主被写体が前後に重なった場合は、背景と主被写体が同じ色となってしまう可能性がある。したがって、色彩を有する背景と黒もしくはグレーの主被写体で構成される影絵調の画像を作ることは難しい。

上記課題に鑑み、本発明の目的は、背景は入力画像の雰囲気を残した色彩で描写され、主被写体は黒もしくはグレーの影で表現される影絵調画像を生成する技術を提供することにある。

本発明の一実施態様は、入力画像の距離情報を取得する距離情報取得手段と、前記距離情報を用いて前記入力画像の領域ごとに階調を割り当て、割り当てられた階調にしたがって前記入力画像の輝度データを変換する階調割当手段と、代表色を設定する代表色設定手段と、前記代表色にしたがって前記入力画像の色データを変換する調色手段と、を備えることを特徴とする画像処理装置である。

また、本発明の別の一実施態様は、入力画像の距離情報を取得する工程と、前記距離情報を用いて前記入力画像の領域ごとに階調を割り当て、割り当てられた階調にしたがって前記入力画像の輝度データを変換する工程と、代表色を設定する工程と、前記代表色にしたがって前記入力画像の色データを変換する工程と、を備えることを特徴とする画像処理方法である。

本発明によれば、入力画像の雰囲気を残した色彩の背景を有する影絵調画像を生成することが可能となる。

第１の実施形態における画像処理装置の構成図 第１の実施形態における影絵調処理部の構成図 第１の実施形態における階調割当に用いるＬＵＴの入出力特性を示した図 第１の実施形態における影絵調処理の各ステップでの処理後の画像のイメージ図 第１の実施形態における各被写体の距離関係を模式的に示した図 第１の実施形態における影絵調処理の動作を示すフローチャート 第２の実施形態における影絵調処理部の構成図 第２の実施形態におけるＬＵＴ選択処理の動作を示すフローチャート 第２の実施形態における影絵調処理後の画像のイメージ図 第１の実施形態における調色処理の彩度制御特性を示した図

（第１の実施形態）
以下、本発明の実施形態について説明する。

本実施形態では、本発明を適用できる画像処理装置の一例としてデジタルカメラ、スキ
ャナ等の撮像系を有する画像処理装置を挙げる。しかし、これに限らず、画像データを処理できる画像処理装置であれば特に実施の形態は限定されない。すなわち、画像処理装置としては、パーソナルコンピュータ等の情報処理装置であってもよいし、携帯型の情報端末、プリンタ等の画像形成装置などでもよい。これは以下の各実施形態でも同様である。

図１は、本実施形態における画像処理装置１００の一例であるデジタルカメラのブロッ
ク図である。

画像処理装置１００において、被写体光は、絞り、レンズ等の光学系１により撮像素子２上に結像され、光電変換されて電気信号となって撮像素子２から出力される。撮像素子２は、例えば、一般的な原色カラーフィルタを備える単板カラー撮像素子とする。原色カラーフィルタは、各々６５０ｎｍ、５５０ｎｍ、４５０ｎｍ近傍に透過主波長帯を持つ３種類の色フィルタからなり、各々Ｒ（赤）、Ｇ（緑）、Ｂ（青）の各バンドに対応する色プレーンを撮影する。単板カラー撮像素子では、この色フィルタを画素毎にモザイク状に空間的に配列し、各画素が単一の色プレーンにおける強度を得るので、撮像素子２からは色モザイク画像が出力されることになる。

Ａ／Ｄ変換部３は、撮像素子２により得られた電気信号をデジタル画像信号に変換し、現像処理部４に出力する。本実施形態では、この時点で１２ｂｉｔの画像データが画素毎に生成される。現像処理部４は、デジタル画像信号に対して、画素補間処理、輝度信号処理、及び色信号処理などの一連の現像処理を行う。本実施形態では、現像処理部４の処理でＲ、Ｇ、Ｂの色空間から８ｂｉｔの輝度（Ｙ）データ、色差（Ｕ、Ｖ）データの色空間に変換され、ＹＵＶデータとして現像処理部４から出力されるものとする。

距離情報取得部１２は、現像処理部４から出力される画像データにおける被写体の距離情報を画素ごとに取得する。本実施形態における距離情報とは、画像のピント位置から被写体までの相対的な距離、もしくは撮影時の撮像装置から被写体までの絶対距離であってもよい。なお、絶対距離あるいは相対距離は、像面側での距離、物体側での距離のどちらであってもよい。また、距離は、実空間の距離で表されてもよいし、デフォーカス量で表されていてもよい。

本実施形態では、距離情報取得部１２は現像処理部４から出力される画像データから被写体の距離情報を取得する。距離情報の取得には、例えば特開２０００−１５６８２３号公報に記載された撮像面位相差画素を用いた方法や、撮像条件を変えて複数回撮影したぼけ方の異なる画像データを用いる方法（Ｄｅｐｔｈ Ｆｒｏｍ Ｄｅｆｏｃｕｓ法：ＤＦＤ法）など、任意の公知の技術を使用可能である。

但し、本実施形態はこれに限定されるものではなく、例えば、位相差検出素子の利用など、現像処理部４から出力される画像データを用いずに距離情報を取得しても構わない。

本実施形態では、撮影される画像に対して影絵調処理を行う撮影モードに設定されている場合、現像処理部４から出力される画像データに対して、影絵調処理部５にて後述する影絵調画像処理が施される。

信号処理部６は、影絵調処理がなされた画像データに対して、リサイズ処理などを行い、出力部７へ供給する。出力部７は、ＨＤＭＩ（登録商標）などの出力インタフェースへの出力、半導体メモリカードなどの記録メディアへの記録、画像処理装置１００の表示装置（図示せず）への出力の１つ以上を行う。

なお、通常の撮影モードに設定されている場合には、現像処理部４から出力される画像データに対して影絵調処理を行わず、破線で示すように直接信号処理部６に入力される。

ＵＩ部９は、スイッチ、ボタン、表示装置（図示せず）に設けられたタッチパネルなどの入力機器を１つ以上有し、ユーザによる指示などの外部からの操作は、ＵＩ部９を介して画像処理装置１００へと入力され、制御部１０はこれを受けて演算を行ったり、各部を制御したりする。このＵＩ部９を用いて、撮影モードとして、影絵調処理を行う影絵調モード、通常モードの選択を行うことができるようにしてもよい。

制御部１０は、バス８を介して各部を制御し、また適宜必要な演算処理を行う。

メモリ１１は、各処理部で用いられる画像データや、絞り値、シャッタースピード、ＩＳＯ感度、ホワイトバランスゲイン値、ｓ−ＲＧＢなどの色域の設定などの撮影時情報のデータを記憶する。記憶されているデータは、制御部１０の指示によって適宜読み出され、使用される。図１に示す各構成要素は、バス８を介して互いに通信可能に接続されている。

以下、図２を参照して、画像処理装置１００が実行する影絵調処理の画像処理方法、及びそれを実現する画像処理回路の構成について説明する。

影絵調処理部５は、影絵の特徴を画像効果として画像データに施すための構成を有する。影絵の代表的な特徴は、輪郭内を黒く塗り潰したシルエット表現、スクリーンからの距離に応じたボケ量、大きく減光された周辺部、制限された色数である。

本実施形態では、撮影画像に対応した距離情報を用いて、距離毎に異なる方法で輝度（Ｙ）データおよび色差（ＵＶ）データを作成することにより、入力画像の雰囲気を残した豊かな色彩の背景を有する影絵調の効果を出すことが可能となる。

階調割当部２０１は、現像処理部４から入力されたＹＵＶ形式の画像データにおける輝度（Ｙ）データに対して階調割り当てを行う。本実施形態では、１次元のルックアップテーブル（ＬＵＴ）を用いて距離情報取得部１２から入力される距離情報に基づき階調を割り当てる。

ＬＵＴ２０７は、図３（ａ）および（ｂ）で示すように、特性が異なる複数のＬＵＴ（ＬＵＴ２０７ａおよびＬＵＴ２０７ｂ）を有し、ＬＵＴ選択部２０６が影絵調種類および顔検出・人体検出結果（人物検出の結果）に基づいて選択したものである。影絵調種類については後述する。

ボケ画像生成部２０２は、影絵調の階調が割り当てられた輝度（Ｙ）データに対してローパスフィルタを用いたフィルタ処理などでボカシ処理（平滑化処理）を行うことによってボケ画像を生成する。ここでボケ画像とは、入力画像をボカした、つまり所定の周波数より高い高周波成分を排除した画像である。ボカシ処理を行う方法は幾つか考えられ、例えば、ガウシアンフィルタ係数によるローパスフィルタを縦および横にかけて１度に平滑化する方法がある。

なお、影絵調処理で望まれる程度のボケ具合を１度の平滑化処理で実現するためには、ローパスフィルタのカーネルサイズが大きくなり処理時間が膨大なものとなってしまう。つまりカメラのハード上で処理するにはあまり現実的ではない。そこで、本実施形態では、処理時間を短縮しかつ所望のボケを得るために、縮小処理回路と拡大処理回路を組み合わせてボケ画像を生成する。ボケ画像生成処理についての詳細の動きは図６（ｃ）のフローチャートを用いて後述する。

合成部２０３は、階調割当部２０１から入力された輝度（Ｙ）データとボケ画像生成部２０２から入力されたボケ画像を特定の条件で合成する。影絵は、スクリーンと光源の間に影を作る物体を配置して物体の影がスクリーンに映し出されることによって鑑賞できるが、物体とスクリーンの距離に応じて輪郭の鮮明度が変化するという特徴がある。本実施形態では、合成部２０３が、距離情報取得部１２から入力された距離情報が特定の値以上の領域をボケ画像で置き換えることにより、スクリーンからの距離に応じてボケ量が変化するという影絵の特徴を画像効果として施すことができる。

周辺光量低下処理部２０４は、影絵調のボケ効果が与えられた画像データに対して画像データの周辺光量が低下しているかのような処理を施す。影絵は、明瞭な影を作成するために点光源で影を作る物体やスクリーンを照らすため、スクリーンの一点が最も明るくその点から離れるに従って暗くなるという特徴がある。

この特徴を画像データに与えるため、本実施形態では、スクリーンの中心を最も明るい点として、画像データの周辺輝度を低下させる処理を施す。具体的には、画像データに対応させた２次元分布の周辺輝度低下データ（周辺光量低下データ）を画像データに乗算することで、画像データの輝度分布を調整する。また、画像データの周辺の輝度を低下させる処理としてはこれに限らず、画像データに除算、あるいは加減算することで輝度分布を調整する輝度低下データであってもよい。また、輝度低下データとして予めもつのではなく、演算によって画像データの輝度分布を調整する方法でも本発明は適用できる、演算方法には依らないものである。但し、最も明るい点をスクリーンの中心ではなく、上側や下側、もしくはスクリーンの外側に配置することにより、太陽などの光源被写体を表現することも可能である。この場合は、周辺光量低下データの座標を上下左右にシフトした上で画像データに乗算すれば良い。

なお、合成部２０３と周辺光量低下処理部２０４による処理は、影絵調の効果をより効果的に付加するための処理であって、本発明の効果を実現するための処理として必須ではない。

代表色選択部２０９は、影絵調画像を調色するために必要な代表色情報を作成する。基本的な影絵は、無色のスクリーンに白熱灯、ＬＥＤ電球、プロジェクタ光源などが発する人の目で無色と感じられる光を照射して作られるために白黒のモノトーンであるが、空の青や夕焼けの赤を表現するために、光源の前にカラーフィルムを挟むことで調色を施すことが可能である。この効果を画像データに与えるため、本実施形態では、代表色選択部２０９が、実際の影絵におけるカラーフィルム選択に相当する代表色情報の選択処理を行う。

調色部２０５は、周辺光量低下処理を施された輝度（Ｙ）データと代表色情報を用いて、影絵調画像の色差（ＵＶ）データを作成する。

影絵調処理部は、周辺光量低下処理部２０４から出力された輝度（Ｙ）データと調色部２０５から出力された色差（ＵＶ）データを合わせたものをＹＵＶ画像データとして信号処理部６に出力する。

ここで、本実施形態で行われる階調割当部２０１での階調割当処理についてより詳細に説明する。

階調割当部２０１は、距離情報取得部から入力される距離情報に応じて画像データの階調を割り当てるが、距離情報には上述した通り様々な形態が想定されるため、距離情報をそのまま画像データの階調とすることはできない場合がある。そのため、本実施形態では、使用する距離情報の形態に合わせたＬＵＴをメモリに保存しておき、それを距離情報に適用した結果を画像データの階調として割り当てる。

本実施形態では、画像データにおける各画素の被写体距離を、無限遠を０、ピント面を１２８、至近端を２５５として２５６階調で表す距離情報を用いる。

図３（ａ）は、前述した距離情報を影絵調の階調に変換するＬＵＴ２０７ａである。影絵は、主要被写体が全て影で暗く（黒）、遠景は影と対比するようにやや明るく、被写体が存在しない領域は影絵を映し出すスクリーンのため最も明るい（白）、という特徴的な階調特性を有している。なお、影絵における遠景部分が影よりも明るい理由は、影を作る物体がスクリーンから離れて光源方向に近付くことにより、光源からの光が回り込むためである。

ＬＵＴ２０７ａは、ピント面に存在する主被写体のシルエットを確実に判別できる階調を与えるため、ピント面を示す１２８に対して、１２８−１５と１２８＋１５の範囲内にある入力を主被写体領域として、主被写体を表す階調値１００を与え、１２８＋１５よりも大きな入力を至近の被写体として、影を表す階調値０を与え、１２８−１５よりも小さな入力については、０付近の入力を無限遠の被写体として、スクリーンを表す階調値２２０を与え、それ以外の入力を遠景の被写体として、遠景を表す階調値２００を与える。

図４に、本実施形態において、影絵調処理部５が行う影絵調処理の各ステップでの処理後の画像（データ）のイメージ図を示す。図４（ａ）は、現像処理部４から出力され、影絵調処理部５に入力されるＹＵＶデータからなる画像データのサンプルを示している。図５は、画像データにおける各被写体と距離の関係を示す模式図を示している。図４（ａ）と図５に示す通り、画像データには、ピント面に主被写体である画面中央の人物が存在し、画面左側に立つ木の幹が至近端に存在し、ビル群や森がピント面よりも遠くに存在し、空が無限遠に存在している。

図４（ｂ）は、距離情報取得部１２から出力され、影絵調処理部５に入力される距離情報のイメージ図を示している。図４（ｂ）では、無限遠に存在する空の値が０、ピント面よりも遠くに存在するビル群や森の値が６４、ピント面に存在する人物の値が１２８、至近端に存在する木の幹の値が２５５、人物と木の間に存在する地面が１２８と２５５の間で連続的に変化している。図４（ｂ）は上記数値に応じて白黒のモノトーンで表示してある。

図４（ｃ）は、階調割当部２０１から出力される画像データのイメージ図である。図４（ｃ）は、上述した階調割当処理によって、ピント面よりも距離情報の値が大きな木や地面などの値が一律０となり、影のように表され、そのシルエットが強調されている一方、人物は中間調１００で表されており、木のシルエットと人物のシルエットを明確に判別することができる。ピント面よりも距離情報の値が小さなビル群や森の値は一律２００となり、シルエットが強調されながらも、影や人物の領域との判別が可能である。また、無限遠に存在する空の値は一律で２２０となり、画面内で最も明るく影絵におけるスクリーンのように表されている。

図４（ｄ）は、合成部２０３から出力される画像データのイメージ図である。本実施形態においては、階調割当部２０１から出力された画像に対して、距離情報が無限遠である領域をボケ画像生成部２０２から出力されたボケ画像で置き換える。図４（ｄ）を見ると、ビル群や森の輪郭の尖鋭度が低下している一方で、影の輪郭は尖鋭度が高いままで保たれており、より影のシルエットが強調されていることが分かる。

図４（ｅ）は、周辺光量低下処理部２０４から出力される画像データのイメージ図である。本実施形態においては、ボケ画像生成部２０２から出力された画像データに対し、画面中心を入力値１００％、画面４隅を入力値３０％、その他の領域は所定の割合で同心円状に入力値を低下させる周辺輝度低下データを乗算することで、周辺光量低下処理が行われる。図４（ｅ）を見ると、点光源でスクリーンを照らしたような周辺光量落ちが表現されていることが分かる。

以上の通り、図３（ａ）に示すＬＵＴ２０７ａのような特性で階調割当処理を行った上で得られた最終的な画像は、木の幹が影のように表される一方、人物は中間調で表されており、木のシルエットと人物のシルエットを明確に判別することができる。

しかし一方で、主被写体、特に人物は影で表すという影絵の特徴的な階調と異なるという側面もある。したがって、理想的には、ユーザの作画意図や人物の有無に応じて、主被写体と主被写体よりも撮像面に近い被写体の階調を分離する制御を適用的に選択できることが望ましい。そこで本実施形態では、後述するようにユーザの作画意図や人物の有無に応じて、適したＬＵＴを選択して適用する。

図６は、図２に示す影絵調処理部５で行われる影絵調処理の全体の動作を示すフローチャートである。フローチャートの各動作は制御部１０、あるいは制御部１０の指示により各部で行われる。

ステップＳ６０１では、階調割当部２０１で用いられるＬＵＴ２０８が、ＬＵＴ選択部２０６によって選択され、設定される。

ステップＳ６０２では、選択されたＬＵＴに従って、階調割当部２０１が前述したような階調割当処理を行う。

ステップＳ６０３では、ボケ画像生成部２０２により、階調割当がなされた画像データに対して、ボケ画像生成処理が行われる。

ステップＳ６０４では、合成部２０３により、ボケ画像生成部２０２から出力されたボケ画像と階調割当部２０１から出力された画像データに対して、前述したような合成処理が行われる。

ステップＳ６０５では、周辺光量低下処理部２０４により、合成処理がなされた画像データに対して、前述したような周辺光量低下処理が行われる。

ステップＳ６０６では、代表色選択部２０９により、影絵調画像を調色するための代表色情報が選択される。

ステップＳ６０７では、調色部２０５により、周辺光量低下処理を施された輝度（Ｙ）データと代表色情報を用いて、影絵調画像の色差（ＵＶ）データが作成される。影絵調処理部５は、これと周辺光量低下処理部２０４から出力された輝度（Ｙ）データを合わせたＹＵＶ画像データを出力して処理を終了する。

図６のステップＳ６０１のＬＵＴ選択処理を、図６（ｂ）のフローチャートを用いて詳細に説明する。前述したように、本実施形態では、ユーザの作画意図や人物の有無に応じて、適したＬＵＴを選択して適用する。

例えば、ユーザの作画意図が、ピント面に存在する主被写体のシルエットを確実に判別したいという場合は、図３（ａ）に示すような、至近端の階調値を０、主被写体の階調値を０より高い値とした特性を持つＬＵＴ１で階調割当を行う。一方、ユーザの作画意図が、影絵のように主被写体を影として表したいという場合は、図３（ｂ）に示すような、ピント面の主被写体から至近端の間に存在する被写体に一律で階調値０を与える特性を持つＬＵＴ２で階調割当を行う。

ただし、いずれも無限遠に存在する被写体には階調値２２０を与えることによって、スクリーンとして表すような特性を持っている。また、無限遠と主被写体の間にある被写体には、階調値２００を与えることによって、遠景として表す。図４（ｅ）は、前述した通り、階調割当部２０１で用いるＬＵＴ２０８としてＬＵＴ１を用いた場合の影絵調処理部５の出力画像イメージであったが、図４（ｆ）に、ＬＵＴ２０８としてＬＵＴ２を用いた場合の出力画像イメージを示す。図４（ｆ）を見ると、ピント面に存在する主被写体の階調値が０として必ず影として表されるため、実際の影絵に近い表現となる。

また、例えば、ピント面に存在する主被写体が人物である場合は、人物を影で表すような特性を持つＬＵＴ２で階調割当を行う。人物判定については、入力画像におけるピント面から一定の距離内の領域に対して顔検出処理および人体検出処理を施し、その結果を用いる。なお、顔検出処理および人体検出処理については公知の技術を用いれば良い。人物判定結果は、メモリ１１に記録される。

本実施形態では、影絵調画像の作成前に、ユーザが、影絵調種類として影絵らしさを優先するモード、シルエット判別を優先するモード、または主被写体の人物判定結果に応じて影絵らしさ優先とシルエット判別優先を自動で切り替える人物判定優先のモードのいずれかを選択することが可能である。ＵＩ部９を介して、ユーザによって入力された影絵調種類は、メモリ１１に記録される。

ステップＳ６０１１では、制御部１０が、影絵調種類として、例えば人物判定優先をメモリ１１から読みだす。

ステップＳ６０１２では、制御部１０が、人物判定結果をメモリ１１から読み出す。

次に、ステップＳ６０１３では、ＬＵＴ選択部２０６が、読みだされた影絵調種類と人物判定結果を用いて、対応するＬＵＴ２０８を、メモリ１１に記憶されている影絵調種類毎のＬＵＴ２０７から選択する。上述した影絵調種類の内、影絵らしさを優先するモードの場合はＬＵＴ１，シルエット判別を優先するモードの場合はＬＵＴ２、人物判定優先のモードの場合は、さらに人物判定結果ありであればＬＵＴ１、人物判定結果なしであればＬＵＴ２を選択する。

影絵調種類毎のＬＵＴ２０７を予め保持しておくことで撮影時に膨大な計算処理が発生することがないため、静止画であれば撮影駒速を落とすことなく高速連写ができ、動画であれば高画素・高フレームレートの動画像を生成することができる。

ステップＳ６０１３では、制御部１０が、選択されたＬＵＴ２０８を階調割当部２０１に設定して本処理に戻る。

図６のステップＳ６０３のボケ画像生成処理を、図６（ｃ）のフローチャートを用いて詳細に説明する。前述したように、ボケ画像生成処理では、縮小処理と拡大処理を組み合わせてボケ画像を生成する。より具体的には、一旦縮小処理を行って情報量を落とした画像を再び補間を伴い拡大することで画像をぼかすことができる。まず、目標とするボケの大きさに合わせて最縮小画像の縮小サイズを設定する。

例えば、本実施形態では、無限遠領域を置き換えるボケ画像としては入力画像に対して各辺１／４サイズ（縦横でそれぞれ画素数が１／４）とする。各辺１／４サイズまで縮小する場合、Ｎ＝２として縦方向および横方向に１／２縮小をＮ回繰り返す（ステップＳ６０２１〜６０２４）。ここで、縮小による高周波成分の折返り、いわゆるモアレの発生を防ぐために、縮小の前に縦方向および横方向にフィルタ係数［１，２，１］のローパスフィルター（ＬＰＦ）をかけて平滑化しておく（ステップＳ６０２２）。縮小処理がＮ回まで終了したら、次に元のサイズになるまで拡大処理を行う。拡大処理も縮小処理同様、縦方向および横方向に２倍ずつＮ回繰り返す（ステップＳ６０２５〜６０２７）。尚、本実施形態では１回の縮小時の変倍率を１／２倍としたが、１／４倍でもよくこれに限るものではない。但し、併せてかけるローパスフィルタのフィルタ係数は、モアレの発生を防ぐためには適宜変える必要がある。例えば１／４倍とした場合のフィルタ係数は［１，４，６，４，１］と設定する必要がある。

図６のステップＳ６０６の代表色選択処理を、図６（ｄ）のフローチャートを用いて詳細に説明する。前述したように、代表色選択処理では、実際の影絵におけるカラーフィルムに相当する代表色情報を選択する。実際の影絵では、製作者がカラーフィルムの色を選択することによって様々なシーンを表現することが可能である。

実際のシーンは、例えば一口に夕景と言っても、明るさや色相、彩度は様々な場合があり一様ではないが、一般的に夕景を想起させる色は限られており、影絵のように少ない情報で見る側の想像を膨らませる表現においては、その色を用いることが望ましい。したがって、例えば、夕景のシーンならば橙色のフィルム、青空のシーンならば水色のフィルム、森のシーンなら緑色のフィルムが用いられることが多い。特徴的なのは夜空のシーンで、実際の夜空は日没直後の薄明から始まり、薄暮、そして真っ暗な夜空へ推移していくが、影絵では影以外を黒で表せないことから夜空をやや明るめの青色で表すことが多い。

この特徴を画像データに与えるため、本実施形態では、影絵で用いられる代表的なシーンに合致する色情報を例えばＹＵＶデータでメモリ１１に予め格納しておき、それを代表色選択部が選択する。夕景シーンを表現する場合は代表色情報２１１として色情報２１０ａを選択し、青空シーン、夜空シーン、木々の緑シーンを表現する場合は、それぞれ色情報２１０ｂ、色情報２１０ｃ、色情報２１０ｄを選択する。

なお、どのシーンを表現するかの判断は、例えばユーザから入力された色指定情報、距離情報、撮影情報、入力画像データを用いて代表色選択部２０９が判断する。ＵＩ部９を介して、ユーザによって入力された色指定情報は、メモリ１１に記録される。

ステップＳ６０３１では、制御部１０が、色指定情報をメモリ１１から読み出す。本実施形態では、色指定情報を、色指定なし、色指定あり（白黒）、色指定あり（夕景）、色指定あり（青空）、色指定あり（夜空）、色指定あり（木々の緑）から選択することができる。

ステップＳ６０３２では、代表色選択部２０９がメモリ１１から読み出された色指定情報を判定する。色指定ありの場合は、代表色選択部２０９が指定された代表色情報をメモリ１１から読み出して調色部２０６に出力し、ステップＳ６０３８に進む。色指定なしの場合は、ステップＳ６０３３に進む。

ステップＳ６０３３では、代表色選択部２０９が、撮影情報を距離情報取得部１２から読み出す。本実施形態では、撮影情報として、例えば入力画像から算出された撮影シーン判定情報、入力画像から算出されたＡＷＢ演算情報、および赤外センサ（図示せず）から得られた赤外センサ出力情報を用いることができる。

ステップＳ６０３４では、代表色選択部２０９が、入力画像に対応する距離情報を距離情報取得部１２から読み出す。

ステップＳ６０３５では、代表色選択部２０９が、上述した撮影情報と距離情報を用いて、代表色情報を選択する。例えば、撮影情報として上述したシーン判定結果が得られた場合、夕景判定ならば代表色情報２１１として色情報２１０ａを選択し、夜景判定ならば色情報２１０ｃを選択する。一方、シーン判定結果が風景判定の場合は、２１０ｂまたは２１０ｄのどちらが最適かを判別することができない。ところで、実際の影絵では、手前の物体が影で表されるため、カラーフィルムによって調色される対象は主に背景部分となる。この特徴を画像データに与えるため、本実施形態では、代表色選択部２０９が、距離情報を用いて入力画像の背景部（背景領域）を特定し、背景部の色情報と近い色情報を代表色情報２１１として選択する。例えば、背景部におけるＹ、Ｕ、Ｖの平均値が、それぞれ２１１、２１、−２３の場合、これをＨＳＶ空間に変換した時の色相の値は２０４°となり、空の青の色相に近いため、代表色情報２１１として青空を示す２１０ｂが選択される。なお、距離情報に基づいて、距離が所定値よりも大きい領域を背景領域と設定することができる。

ステップＳ６０３６では、制御部１０が、選択された代表色情報２１１を調色部２０５に設定する。

なお、本実施形態では、ユーザの色指定を前提として、ユーザによる色指定情報の入力がない場合（Ｓ６０３２でＮＯ）においてのみ、代表色選択部２０９が入力画像の撮影情報に基づいて代表色情報を選択する構成であるが、これに限らない。ユーザの色指定情報の入力の有無に拘わらず、代表色選択部２０９が、入力画像の撮影情報に基づいて代表色を選択する構成であってもよい。

さらになお、本実施形態では、代表色選択部２０９が予め用意された複数の色から代表色を選択する構成であるが、入力画像から代表色を抽出して代表色設定を行ってもよい。

図６のステップＳ６０７の調色処理を詳細に説明する。調色部２０５が、代表色選択部２０９から入力された代表色情報と周辺光量低下処理部２０４から入力された周辺光量低下処理済の輝度（Ｙ）データを用いて、影絵調画像の色差（ＵＶ）信号を生成する。ステップＳ６０３５で選択された代表色情報は青空を示すＹＵＶデータであるが、例えばこのＵＶ値を一律で影絵調画像の色差（ＵＶ）信号に割り当ててしまうと、影の部分にも色がついてしまい、不自然な影絵調画像が生成されてしまう。

したがって、本実施例では、前述した周辺光量低下処理済の輝度（Ｙ）データにしたがって代表色情報の彩度を減少させ、そのＵＶデータを影絵調画像の色差（ＵＶ）信号に割り当てる。図１０は、周辺光量低下処理済の輝度（Ｙ）データと影絵調画像の彩度の関係を示すグラフである。点１０１はステップＳ６０３５で選択された代表色情報２１１を示しており、本実施形態では、例えば、輝度（Ｙ）が１６８、彩度（Ｓ）が０．６１である。代表色情報２１１を基準として、輝度（Ｙ）が小さくなるほど影絵調画像の彩度は低下し、輝度（Ｙ）が０、つまり影の彩度は０になる。一方、輝度（Ｙ）が１６８より大きくなっても彩度（Ｓ）は０．６１でクリップされ、不自然に彩度が上がることはない。

以上のように、本実施形態では、影絵調の効果を付与する影絵調処理において、入力画像に対応する距離情報を用いて影絵調の階調を持つ輝度データを生成し、予め用意された代表色情報を用いて調色を施した色データと合わせて最終的な画像データとすることで、影絵調の画像を生成する。これにより、背景は入力画像の雰囲気を残した豊かな色彩で描写され、主被写体は黒もしくはグレーの影で表現する影絵調処理を実現することができる。

（第２の実施形態）
影絵における背景部は、被写体が何もないスクリーンであるため、影絵を投影する光源の周辺光量落ちを除けば、輝度（Ｙ）および色差（ＵＶ）が一律同じ値となる。背景部は面積が広いため、特にカラーフィルムを用いた調色が行われると、平板な印象を与えることがある。これを避けるため、光源と影を作る物体の間に、例えば光を通す薄い紙を数枚重ねることによって、背景部のみにテクスチャを付加する手法がある。

第１の実施形態では、階調割当部２０１にて階調割当を行う際、背景部に一律で同じ輝度（Ｙ）および色差（ＵＶ）を割り当てる特性のＬＵＴを用いたが、第２の実施形態では、背景部の輝度（Ｙ）データに元画像の輝度（Ｙ）データを割り当てるＬＵＴを用いる。

図７は、第２の実施形態における影絵調処理部５の詳細を示すブロック図である。図２と同じ符号のブロックについては処理内容が同じため説明は省略する。第１の実施例と異なるところは、レベル補正部７０１が設けられ、レベル補正部７０１が距離情報とＬＵＴ２０８を解析し、必要に応じて入力画像の輝度（Ｙ）データをレベル補正するところである。

図８は、本実施形態における、図７に示す影絵調処理部５で行われる影絵調処理の全体の動作を示すフローチャートである。ステップＳ８０１およびステップＳ８０３を除く影絵調処理については図６で示した動作と同様である。

ステップＳ８０１の動作はステップＳ６０１と同様であるが、前述したように、本実施形態では、背景部の輝度（Ｙ）データに元画像の輝度（Ｙ）データを割り当てるＬＵＴを選択して適用する。図３（ｃ）は、第１の実施形態で用いたＬＵＴ２に対し、無限遠に存在する被写体には入力画像の輝度（Ｙ）データを与えるよう特性を変更したＬＵＴ３である。

図９に、本実施形態において、影絵調処理部５が行う影絵調処理の各ステップでの処理後の画像（データ）のイメージ図を示す。図９（ａ）は、現像処理部４から出力され、影絵調処理部５に入力されるＹＵＶデータからなる画像データのサンプルを示している。図９（ｂ）は、ステップＳ８０１においてＬＵＴ３が選択された場合に、影絵調処理部５から出力される画像データのイメージ図である。図９（ｂ）を見ると、背景部の輝度（Ｙ）データが、入力画像の輝度（Ｙ）データにぼかし処理と周辺光量落ち処理画施されたデータとなっており、背景部の平板な印象を解消することができている。一方で、背景部に一律で階調値２２０を割り当てた図４（ｆ）と比較すると、図９（ｂ）は背景部の一部に遠景部のビル群よりも暗い箇所があるため、手前にある被写体よりも奥の被写体の方が明るいという影絵の特徴的な階調特性から外れている。

これを改善するために、主被写体と背景部の間に位置する遠景部に対して、背景部の輝度（Ｙ）平均値を０．５倍した値を割り当てたＬＵＴ４の特性を図３（ｄ）に示す。また、図９（ｃ）は、ステップＳ８０１においてＬＵＴ４が選択された場合に、影絵調処理部５から出力される画像データのイメージ図である。背景部の輝度（Ｙ）平均値が１６８のため、遠景部にはその半分の８４が割当てられている。

図９（ｃ）を図９（ｂ）と比較すると、遠景部のビル群の輝度値（Ｙ）が低下していることが分かるが、背景部の輝度値（Ｙ）のばらつきが大きく、例えば最も暗い画素の輝度値（Ｙ）は５３であり、遠景部よりも暗い背景部の領域が多く残っている。ステップＳ８０１においては、遠景部の輝度値（Ｙ）を背景部の輝度値（Ｙ）よりも下げる処理を行ったが、背景部の輝度値（Ｙ）のばらつきが大きい場合は、画像全体が暗くなってしまうため、背景部の輝度値（Ｙ）よりも遠景部の輝度値（Ｙ）を下げることは不可能である。したがって、ステップＳ８０２で、背景部の輝度値（Ｙ）を大きくするレベル補正処理を行う。

ステップＳ８０２では、レベル補正部７０１が、入力画像における輝度（Ｙ）データのレベル補正を行う。

ステップＳ８０３〜Ｓ８０８は、それぞれステップＳ６０２〜Ｓ６０７と同じ動作を行い、影絵調処理を終了する。

図８のステップＳ８０２のレベル補正処理を、図８（ｂ）のフローチャートを用いて詳細に説明する。前述したように、本実施形態では、入力画像における輝度（Ｙ）データのレベル補正を行う。

本実施形態では、背景部と遠景部を比較して確実に背景の方が明るいと感じられるよう、背景部の最も暗い画素を遠景部の２倍の明るさにするレベル補正処理を行う。例えば、５３〜２５５の輝度値（Ｙ）範囲が１６８〜２５５の範囲になるレベル補正処理を施す。図９（ｄ）は、ステップＳ８０２において入力画像の輝度値（Ｙ）にレベル補正を行った場合に、影絵調処理部５から出力される画像データのイメージ図である。図９（ｄ）を見ると、背景部の全画素が遠景部のビル群よりも明るくなっており、前述した影絵の特徴的な階調特性に沿っていることが分かる。

ステップＳ８０１１では、レベル補正部７０１が、入力画像に対応する距離情報を距離情報取得部１２から読み出す。

ステップＳ８０１２では、レベル補正部７０１が、メモリ１１からＬＵＴ２０８を読み出す。ＬＵＴ２０８は、ステップＳ８０１においてＬＵＴ選択部２０６が選択した結果を用いる。

ステップＳ８０１３では、レベル補正部７０１が、距離情報およびＬＵＴ２０８を用いて、レベル補正目標値を決定する。レベル補正部７０１は、まず距離情報を参照して入力画像における背景部を特定し、背景部を参照することで、最も暗い画素の輝度（Ｙ）値が５３であると判断する。次に、レベル補正部７０１は、背景部における輝度（Ｙ）データの平均値を求める。最後に、レベル補正部７０１は、ＬＵＴ２０８を参照して遠景部に割り当てられる階調値を算出する。本実施形態では、ＬＵＴ２０８として図３（ｄ）に示すＬＵＴ４を用いるため、遠景部の階調値は、背景部における輝度（Ｙ）平均値の半分、すなわち８４となる。前述した通り、本実施形態におけるレベル補正の目標は、例えば、背景部の最も暗い画素を遠景部の２倍の明るさにすることであるので、レベル補正目標値として、５３〜２５５の輝度値（Ｙ）範囲を１６８〜２５５の範囲にする、という値が決定される。

以上のように、本実施形態では、影絵調の効果を付与する影絵調処理において、入力画像に対応する距離情報を用いて影絵調の階調を持つ輝度データを生成し、予め用意された代表色情報を用いて調色を施した色データと合わせて最終的な画像データとすることで、影絵調の画像を生成する。これにより、背景は入力画像の雰囲気を残した豊かな色彩で描写され、主被写体は黒もしくはグレーの影で表現する影絵調処理を実現することができる。

さらに本実施形態では、ＬＵＴに応じて入力画像をレベル補正し、それを背景部の輝度データとして用いることで、調色を施しても平板な印象を与えることなく、撮影シーンの雰囲気を残した豊かな色彩で描写された影絵調画像を生成することが可能である。

上記各実施形態では、影絵調処理部５の各ブロックのハード構成についても説明したが、各ブロックの動作はいずれもソフトウェアでも実現可能な処理であるので、影絵調処理部５の各動作の一部あるいは全部がソフトウェア処理で実装されていても良い。また、図１の画像処理装置１００におけるその他のブロックについても、同様にその一部あるいは全部がソフトウェア処理で実装されていても良い。

また、上記各実施形態では、階調割当部２０１における階調割当を１次元ＬＵＴによって行う例を示した。しかし、階調割当処理の方法はこれに限らず、図３に示すような特性を持った階調割当を行うものであれば、例えば演算により出力画素値を算出するような処理であってもよい。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

２ 撮像素子
５ 影絵調処理部
１０ 制御部
１２ 距離情報取得部
１００ 画像処理装置
２０１ 階調割当部
２０２ ボケ画像生成部
２０３ 合成部
２０４ 周辺光量低下処理部
２０５ 調色部
２０６ ＬＵＴ選択部
２０９ 代表色選択部

Claims (10)

1. 入力画像の距離情報を取得する距離情報取得手段と、
   前記距離情報を用いて前記入力画像の領域ごとに階調を割り当て、割り当てられた階調にしたがって前記入力画像の輝度データを変換する階調割当手段と、
   代表色を設定する代表色設定手段と、
   前記代表色にしたがって前記入力画像の色データを変換する調色手段と、を備えることを特徴とする画像処理装置。
2. 前記代表色設定手段は、前記入力画像における背景領域の画像データに基づいて代表色を設定することを特徴とする請求項１に記載の画像処理装置。
3. 前記代表色設定手段は、前記入力画像の撮影情報に基づいて代表色を設定することを特徴とする請求項１または請求項２に記載の画像処理装置。
4. 前記撮影情報は、ＡＷＢ演算情報、撮影シーン判定情報、赤外センサ出力情報の少なくとも１つから構成されることを特徴とする請求項１から請求項３までの何れか１項に記載の画像処理装置。
5. 前記調色手段は、画像の輝度データを用いて前記代表色の彩度を低下させた色データにしたがって、前記入力画像の色データを変換することを特徴とする請求項１から請求項４までの何れか１項に記載の画像処理装置。
6. 前記階調割当手段は、前記入力画像において人物検出がされた場合、人物検出された画素が属する距離およびその距離から一定の距離にある範囲に含まれる領域については、輝度を０とすることを特徴とする請求項１から請求項５までの何れか１項に記載の画像処理装置。
7. 前記階調割当手段は、前記入力画像における背景領域については前記入力画像の輝度データを割り当てることを特徴とする請求項１から請求項６までの何れか１項に記載の画像処理装置。
8. 前記入力画像をレベル補正するレベル補正手段をさらに備え、
   前記階調割当手段は、前記入力画像における背景領域の少なくとも一部については前記入力画像の輝度データをレベル補正したデータを割り当てることを特徴とする請求項７に記載の画像処理装置。
9. 前記階調割当手段から出力される輝度データにデータを平滑化するボカシ処理を施すボケ画像生成手段と、
   前記階調割当手段から出力される輝度データと前記ボケ画像の輝度データを合成する合成手段と、をさらに備え、
   前記合成手段は、前記入力画像の背景領域については前記ボケ画像の輝度データを、距離の小さい領域については前記階調割当手段から出力される輝度データを合成することを特徴とする請求項１から請求項８までの何れか１項に記載の画像処理装置。
10. 入力画像の距離情報を取得する工程と、
    前記距離情報を用いて前記入力画像の領域ごとに階調を割り当て、割り当てられた階調にしたがって前記入力画像の輝度データを変換する工程と、
    代表色を設定する工程と、
    前記代表色にしたがって前記入力画像の色データを変換する工程と、を備えることを特徴とする画像処理方法。

Images