JP6864449B2 - イメージの明るさを調整する方法及び装置 - Google Patents

Description

以下、イメージの明るさを調整する技術が提供される。

スマートフォンなどのようなスマート機器が広く普及されており、このようなスマート機器は、一般的にユーザによってコンテンツを制作できるようにカメラが内蔵されている。スマート機器は、内蔵されたカメラを用いて写真及び動画などを撮影する。また、スマート機器は、撮影された写真を表示したり動画を再生する機能を提供する。

さらに、スマート機器は、ユーザがイメージなどを編集できる機能を提供する。例えば、ユーザは、スマート機器によって撮影されたイメージをユーザ自分の好みに応じてイメージの色及びの大きさなどを変更し得る。スマート機器は、ユーザがより便利でナチュラルにイメージ編集できるよう編集機能を提供することができる。

本発明の目的は、イメージの明るさを調整する技術が提供する。

一実施形態によるイメージの明るさを調整する方法は、オブジェクトが示される入力イメージから抽出された前記オブジェクトの１つ以上の特徴点に基づいて、オブジェクトモデルを前記オブジェクトにマッチングするステップと、前記マッチングされたオブジェクトモデルに基づいて、２次元イメージ形式の表面ノーマルマップを前記入力イメージにマッピングするステップと、前記マッピングされた表面ノーマルマップ及び仮想光源に基づいて、前記入力イメージに対する陰影情報を生成するステップとを含む。

前記表面ノーマルマップを前記入力イメージにマッピングするステップは、前記マッチングされたオブジェクトモデルの各特徴点が位置する地点のノーマルベクトルを補間して前記表面ノーマルマップを生成するステップを含む。

前記表面ノーマルマップを前記入力イメージにマッピングするステップは、前記オブジェクトモデルに関してデータベースに予め格納された表面ノーマルモデルを前記表面ノーマルマップに変換し得る。

前記オブジェクトモデルを前記入力イメージにマッチングするステップは、前記オブジェクトモデルの特徴点の座標を前記入力イメージの特徴点の座標に変換する変換関数を決定するステップを含む。

前記表面ノーマルマップを前記入力イメージにマッピングするステップは、前記決定された変換関数を用いて、表面ノーマルモデルの各座標を変換して２次元イメージ形式の表面ノーマルマップを生成するステップを含む。

前記陰影情報を生成するステップは、前記表面ノーマルマップのそれぞれの座標のノーマルベクトル及び前記入力イメージで該当座標における前記仮想光源による光ベクトル間のドット積演算を行うステップを含む。

前記ドット積演算を行うステップは、前記仮想光源の位置及び前記入力イメージにおける各ピクセルの該当位置間の関係又は前記仮想光源の照明方向に基づいて該当ピクセルに入射される前記光ベクトルを決定するステップを含む。

イメージの明るさを調整する方法は、前記陰影情報を前記入力イメージに反映して再照明されたイメージを生成するステップと、前記入力イメージの明るさヒストグラムに基づいて前記再照明されたイメージのトーンを調整するステップとをさらに含み得る。

前記再照明されたイメージのトーンを調整するステップは、前記入力イメージのピクセルの全体個数に対する前記入力イメージで予め定めた明るさ範囲のピクセル数の比率に基づいて、前記再照明されたイメージの少なくとも一部領域でピクセルのトーンに加重値を付加するステップを含む。

イメージの明るさを調整する方法は、前記仮想光源の強度、位置、色、照明方向、及びタイプのうち少なくとも１つを指示する制御信号を受信するステップをさらに含み得る。

前記オブジェクトは人の顔であり得る。

一実施形態によるイメージの明るさを調整する装置は、オブジェクトが示される入力イメージから抽出された前記オブジェクトの特徴点に基づいてオブジェクトモデルを前記オブジェクトにマッチングし、前記マッチングされたオブジェクトモデルに基づいて２次元イメージ形式の表面ノーマルマップを前記入力イメージにマッピングし、前記マッピングされた表面ノーマルマップ及び仮想光源に基づいて前記入力イメージに対する陰影情報を生成するプロセッサを含む。

前記プロセッサは、前記マッチングされたオブジェクトモデルの各特徴点が位置する地点のノーマルベクトルを補間して前記表面ノーマルマップを生成し得る。

装置は、前記オブジェクトモデルに関する表面ノーマルモデルをデータベースに格納するメモリをさらに含み、前記プロセッサは、前記表面ノーマルモデルを前記表面ノーマルマップに変換して前記表面ノーマルマップを生成し得る。

前記プロセッサは、前記オブジェクトモデルの特徴点の座標を前記入力イメージの特徴点の座標に変換する変換関数を決定し得る。

前記プロセッサは、前記決定された変換関数を用いて表面ノーマルモデルの各座標を変換して２次元イメージ形式の表面ノーマルマップを生成し得る。

前記プロセッサは、前記表面ノーマルマップのそれぞれの座標のノーマルベクトル及び前記入力イメージで該当座標における前記仮想光源による光ベクトル間のドット積演算を行う。

前記プロセッサは、前記仮想光源の位置及び前記入力イメージにおける各ピクセルの位置間の関係又は前記仮想光源の照明方向のいずれか１つに基づいて前記入力イメージの前記該当ピクセルで前記光ベクトルを決定し得る。

前記プロセッサは、前記陰影情報を前記入力イメージに反映して再照明されたイメージを生成し、前記入力イメージの明るさヒストグラムに基づいて前記再照明されたイメージのトーンを調整し得る。

前記プロセッサは、前記入力イメージのピクセルの全体個数に対する前記入力イメージで予め定めた明るさ範囲のピクセル数の比率に基づいて、前記再照明されたイメージの少なくとも一部領域でピクセルのトーンに加重値を付加し得る。

他の実施形態によるイメージの明るさを調整する装置は、オブジェクトが示される入力イメージを受信するイメージ受信部と、前記入力イメージから抽出された前記オブジェクトの特徴点に基づいてオブジェクトモデルを前記オブジェクトにマッチングし、前記マッチングされたオブジェクトモデルに基づいて２次元イメージ形式の表面ノーマルマップを前記入力イメージにマッピングし、前記マッピングされた表面ノーマルマップ及び仮想光源に基づいて前記入力イメージに対する陰影情報を生成するプロセッサとを含む。

前記イメージ受信部はカメラであり得る。

装置は、前記入力イメージに前記陰影情報を反映して表現するディスプレイをさらに含み得る。

前記プロセッサは、前記マッチングされたオブジェクトモデルの各特徴点が位置する地点のノーマルベクトルを補間して前記表面ノーマルマップを生成し得る。

装置は、前記オブジェクトモデルに関する表面ノーマルモデルをデータベースに格納するメモリをさらに含み、前記プロセッサは、前記表面ノーマルモデルを前記表面ノーマルマップに変換し得る。

前記プロセッサは、ユーザがオブジェクトを見る方向を指示するビューベクトル及び前記仮想光源から前記オブジェクトに投射された光が前記オブジェクトによって反射した方向を指示する反射ベクトルに基づいて前記陰影情報を生成し得る。

一実施形態による映像の明るさを調整する方法は、オブジェクトモデル及び映像におけるオブジェクトの特徴点に基づいて入力映像の表面ノーマルマップを生成するステップと、仮想光源及び前記表面ノーマルマップに基づいて前記入力映像のための陰影情報を生成するステップと、前記入力映像の明るさを調整するために前記入力映像に前記陰影情報を適用するステップとを含む。

前記オブジェクトモデルは、前記オブジェクトの前記特徴点に対応する特徴点及び前記オブジェクトモデルの前記特徴点に対応するノーマルベクトルを含み、前記表面ノーマルマップを生成するステップは、前記入力映像の座標でノーマルベクトルを取得するために前記オブジェクトモデルの前記ノーマルベクトルを補間するステップを含み得る。

前記表面ノーマルマップを生成するステップは、前記オブジェクトモデル及び前記オブジェクトの前記特徴点に基づいて前記表面ノーマルマップに表面ノーマルモデルを変換するステップを含み得る。

前記方法は、前記オブジェクトモデルの特徴点及び前記オブジェクトの前記特徴点に基づいて前記オブジェクトで前記オブジェクトモデルをマッチングさせるステップをさらに含み、前記表面ノーマルマップを生成するステップは、他の方向から前記オブジェクトのビューに対応する複数の表面ノーマルモデルを前記オブジェクトにマッチングされた前記オブジェクトモデルの前記特徴点に対してマッチングさせた結果を結合することによって前記表面ノーマルマップを生成するステップを含み得る。

前記陰影情報を生成するステップは、前記表面ノーマルマップの各座標でノーマルベクトル及び前記入力映像の対応座標で前記仮想光源の光ベクトル間のドット積を前記陰影情報として算出するステップを含み得る。

前記陰影情報を生成するステップは、前記オブジェクト上の前記仮想光源から投影される光が前記オブジェクトによって反射する方向を指示する前記入力映像の各座標における反射ベクトル、及び前記オブジェクトをユーザが視聴する方向を指示するビューベクトル間のドット積を前記陰影情報として算出するステップを含み得る。

前記陰影情報を生成するステップは、前記仮想光ベクトル及び前記表面ノーマルマップに基づいて前記反射ベクトルを算出するステップを含み得る。

前記陰影情報を前記入力映像に適用することは再照明された映像を生成し、前記方法は前記入力映像の明るさヒストグラムに基づいて前記再照明された映像のトーンを調整するステップをさらに含み得る。

前記再照明された映像のトーンを調整するステップは、前記入力映像の明るさヒストグラムに基づいて複数のトーン調整スタイルからトーン調整スタイルを選択するステップと、前記再照明された映像のトーンを調整するために前記再照明された映像に前記選択されたトーン調整スタイルを適用するステップとを含み得る。

本発明によると、イメージの明るさを調整する技術を提供することができる。

一実施形態によるイメージの明るさを調整する方法を概略的に示したフローチャートである。 一実施形態によるイメージの明るさを調整する方法の例示を細部的に示す図である。 一実施形態によるイメージの明るさを調整する方法の例示を細部的に示す図である。 一実施形態によるイメージの明るさを調整する方法の他の例示を細部的に示す図である。 一実施形態によるイメージの明るさを調整する方法の他の例示を細部的に示す図である。 一実施形態によるイメージの明るさを調整する方法の他の例示を細部的に示す図である。 一実施形態による光源の種類に応じる光ベクトルの例示を説明する図である。 一実施形態による光源の種類に応じる光ベクトルの例示を説明する図である。 一実施形態によるビューベクトル及び反射ベクトルに基づいた陰影情報の生成を説明する図である。 一実施形態による光源の強度に応じて再照明されたイメージを示す図である。 一実施形態による光源の位置に応じて再照明されたイメージを示す図である。 一実施形態によるイメージの明るさを調整する装置の例示的なグラフィクユーザインタフェースを示す図である。 一実施形態による再照明されたイメージにトーンが調整された例を示す図である。 一実施形態によるイメージの明るさヒストグラムに基づいたトーンの調整を示す図である。 一実施形態によるイメージの明るさヒストグラムに基づいたトーンの調整を示す図である。 一実施形態によるイメージの明るさヒストグラムに基づいたトーンの調整を示す図である。 一実施形態によるイメージの明るさヒストグラムに基づいたトーンの調整を示す図である。 一実施形態によるイメージの明るさを調整する装置の構成を示すブロック図である。 一実施形態によるイメージの明るさを調整する装置の構成を示すブロック図である。 一実施形態によるイメージの明るさを調整する装置の構成を示すブロック図である。 一実施形態によるイメージの明るさを調整する装置の構成を示すブロック図である。

以下、本発明を実施するための形態の具体例を、図面を参照しながら、詳細に説明する。各図面で提示された同一の参照符号は同一の部材を示す。

本実施形態で用いる用語は、単に特定の実施形態を説明するために用いるものであって、実施形態を限定しようとする意図はない。単数の表現は、文脈上、明白に異なる意味をもたない限り複数の表現を含む。本明細書において、「含む」又は「有する」等の用語は明細書上に記載した特徴、数字、ステップ、動作、構成要素、部品又はこれらを組み合わせたものが存在することを示すものであって、１つ又はそれ以上の他の特徴や数字、ステップ、動作、構成要素、部品、又はこれを組み合わせたものなどの存在又は付加の可能性を予め排除しないものとして理解しなければならない。

異なる定義がされない限り、技術的であるか又は科学的な用語を含むここで用いる全ての用語は、本実施形態が属する技術分野で通常の知識を有する者によって一般的に理解されるものと同じ意味を有する。一般的に用いられる予め定義された用語は、関連技術の文脈上で有する意味と一致する意味を有するものと解釈すべきであって、本明細書で明白に定義しない限り、理想的又は過度に形式的な意味として解釈されることはない。

また、図面を参照して説明する際に、図面符号に関係なく同一の構成要素には同一の参照符号を付与し、それに対する重複説明を省略する。本実施形態の説明において関連する公知技術に対する具体的な説明が実施形態の要旨を不要に曖昧にすると判断される場合、その詳細な説明を省略する。

図１は、一実施形態によるイメージの明るさを調整する方法を概略的に示したフローチャートである。

まず、ステップＳ１１０において、イメージの明るさを調整する装置のプロセッサは、オブジェクトが示される入力イメージから抽出されたオブジェクトの特徴点に基づいてオブジェクトモデルをオブジェクトにマッチングする。例えば、プロセッサは、オブジェクトモデルの各特徴点の座標を入力イメージでそれに対応する特徴点の座標に一致させることによって、入力イメージのオブジェクトにオブジェクトモデルをマッチングし得る。プロセッサは、オブジェクトの一般的な形態に対して指定された全ての特徴点が抽出されていない場合でも、予め定めた特徴点が抽出されたり予め定めた個数以上の特徴点が抽出されれば、入力イメージのオブジェクトにオブジェクトモデルをマッチングする。入力イメージはオブジェクトが示されるイメージとして、２次元形式のイメージであり得る。例えば、入力イメージは、停止した写真又は動画の各フレームであり得る。

オブジェクトは背景と区別され、入力イメージに示される対象を示す。オブジェクトは様々なタイプであり、例えば、オブジェクトのタイプは人の顔、人の身体、動物、及びモノなどであってもよい。特徴点はオブジェクトの特徴を示す点として、例えば、人の顔タイプのオブジェクトの特徴点は目、鼻、及び口などのように指定される。

オブジェクトモデルは、特定タイプのオブジェクトに対する特徴点が予め指定されている汎用モデルを示す。例えば、オブジェクトモデルは、予め定めた大きさ（例えば、入力イメージと同一の大きさ）のイメージで各特徴点が特定座標に位置するものと定義される。オブジェクトモデルは、特定タイプのオブジェクトの一般的な形態（例えば、オブジェクトのアウトライン、及びオブジェクトの特徴点の間の幾何構造など）及びこのような一般的な形態上に特徴点が指定された位置を含む２次元イメージ形式又は３次元イメージ形式のモデルであり得る。オブジェクトモデルが３次元イメージ形式である場合、プロセッサは、オブジェクトモデルを２次元である入力イメージにマッチンすることができる。

一実施形態によると、プロセッサは、オブジェクトモデルの輪郭をオブジェクトの輪郭に一致させ得る。下記では、オブジェクトが人の顔タイプである場合を仮定して説明するが、これに限定することなく、他のタイプのオブジェクトに対しても適用される。例えば、特定動物の頭に対して、該当動物の頭の特徴点及び一般的な形態を有するオブジェクトモデルを用いてもよい。

例えば、プロセッサは、正確な一致のために従来における顔輪郭抽出アルゴリズムを人の顔が示される入力イメージに適用してもよい。異なる例として、リアルタイム動作が優先される場合には、プロセッサは顔を楕円（オブジェクトタイプに応じてオブジェクトの概略的な輪郭に対応する図形）に仮定し、各特徴点の比例により楕円を変形する。上述した顔輪郭抽出アルゴリズムは、追加的な演算時間が所要されることで、プロセッサは、リアルタイムのプレビューモード（例えば、下記の図１０に示すイメージをメモリに格納することなく、ユーザにプレビューを提供するモード）では顔を楕円として仮定して変形する方法を適用し、再照明されたイメージを格納するとき（例えば、ユーザが撮影ボタンをクリックして再照明されたイメージを格納）は、顔輪郭抽出アルゴリズムを適用して精密度を高めることができる。顔の輪郭が正確に一致すれば、陰影効果を適用するとき顔輪郭と背景との間の境界で生じる誤差が減少し得る。

そして、ステップＳ１２０において、プロセッサは、マッチングされたオブジェクトモデルに基づいて２次元イメージ形式の表面ノーマルマップを入力イメージにマッピングする。表面ノーマルマップのマッピングは下記で詳細に説明する。

表面ノーマルマップは、入力イメージの各ピクセルの座標に対してオブジェクトの表面に対応するノーマルベクトルがマッピングされたマップを示す。入力イメージに示されるオブジェクト上の特定ピクセルにマッピングされたノーマルベクトルは、該当ピクセルで該当オブジェクトの表面の法線上のベクトル値を有し得る。一実施形態によると、表面ノーマルマップは２次元イメージ形式として、例えば、２次元座標のそれぞれにノーマルベクトルがマッピングされる。入力イメージの解像度がｍ＊ｎである場合、該当の入力イメージにノーマルベクトルがマッピングされたマップを下記の数式（１）のように示すことができる。（ここで、ｎ、ｍは１以上の整数）

上述した数式（１）において、入力イメージの各ピクセルの座標にマッピングされるノーマルベクトルは３次元ベクトルであるｗ_ｘｙ、ｕ_ｘｙ、ｖ_ｘｙに表現され、ｗ_ｘｙは（ｘ、ｙ）位置のピクセルに対応するノーマルベクトルのｘ方向成分、ｕ_ｘｙは（ｘ、ｙ）位置のピクセルに対応するノーマルベクトルのｙ方向成分、ｖ_ｘｙは（ｘ、ｙ）位置のピクセルに対応するｚ方向成分を示す（ｘは１以上ｎ以下の整数、ｙは１以上ｍ以下の整数）。例えば、ｘ方向成分はＲ色値、ｙ方向成分はＧ色値、ｚ方向成分はＢ色値に表現されてもよい。ただし、本明細書で座標系を直交座標系に限定することなく、設計に応じて様々な座標系が適用され得る。また、ノーマルベクトルもＲＧＢカラー値に表現したが、これに限定することなく、ＹＣｂＣｒカラー値などのような様々な色に表現され得る。

次にステップＳ１３０において、プロセッサは、マッピングされた表面ノーマルマップ及び仮想光源に基づいて入力イメージに対する陰影情報を生成する。例えば、プロセッサは、表面ノーマルマップに基づいてオブジェクトに仮想光源による光が投射される場合の陰影効果を示す陰影情報を生成する。一実施形態によると、プロセッサは、表面ノーマルマップのそれぞれの座標のノーマルベクトル及び該当座標における仮想光源による光ベクトル間のドット積演算を行い、ドット積演算の結果に基づいて陰影情報を生成する。プロセッサは、仮想光源による光ベクトルを仮想光源の位置及び入力イメージにおける各特徴点の位置間の関係に基づいて決定し、下記の図６Ａ及び図６Ｂを参照して光ベクトルの算出及びドット積演算を詳細に説明することにする。

陰影効果は、入力イメージの少なくとも一部領域のピクセルが明るくなったり暗くなる効果を示す。陰影情報は、入力イメージの特定ピクセルが明るくなったり暗くなる程度を示す情報である。

図２及び図３は、一実施形態によるイメージの明るさを調整する方法の例示を細部的に示す図である。

図２は、各特徴点にノーマルベクトルが割り当てられたオブジェクトモデルを補間して生成された表面ノーマルマップを用いてイメージの明るさを調整する方法のフローチャートであり、図３は、入力イメージが図２に示された方法によって処理される過程を示す。

まず、ステップＳ２１０において、イメージの明るさを調整する装置のイメージ受信部は入力イメージ３０１を受信する。例えば、イメージ受信部がカメラであってもよく、カメラは入力イメージ３０１を撮影する。イメージ受信部が通信部である場合、通信部は有無線通信によって入力イメージ３０１を外部から受信することができる。

そして、ステップＳ２２０において、イメージの明るさを調整する装置のプロセッサは、入力イメージ３０１に示されるオブジェクトの特徴点３０２を抽出する。プロセッサは、オブジェクトのタイプに応じて該当タイプに特化した方式によってオブジェクトの特徴点３０２を抽出し得る。例えば、プロセッサは、オブジェクトのタイプが人の顔である場合、人の顔の特徴点３０２を抽出するアルゴリズム（例えば、ＰＣＡ（Ｐｒｉｎｃｉｐａｌ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ）、ＬＤＡ（Ｌｉｎｅａｒ ｄｉｓｃｒｉｍｉｎａｔｅ ａｎａｌｙｓｉｓ）など）を用いて特徴点３０２を抽出する。例えば、図３に示すように、プロセッサは、人の顔で目、鼻及び口に対応する特徴点３０２を抽出する。プロセッサは、オブジェクトの一般的な形態に対して設定された全ての特徴点のうち少なくとも一部を抽出する。ただし、特徴点を抽出するアルゴリズムを上述の内容に限定することなく、上述した特徴点も単なる例示であって、目、鼻、及び口のように限定することはない。

次に、ステップＳ１１０において、プロセッサは図１を参照して上述したように、図３に示すようにオブジェクトモデル２０１をオブジェクトにマッチングする。図３に示すようにオブジェクトモデル２０１は予めデータベースに格納される。

一実施形態によると、プロセッサは、オブジェクトモデル２０１をオブジェクトにマッチングするための変換関数を決定する。変換関数は、オブジェクトモデル２０１の特徴点の座標を入力イメージの特徴点３０２の座標に変換する関数として、例えば、オブジェクトモデルの特徴点の座標及び入力イメージの特徴点３０２の座標間の関係を示す。

そして、ステップＳ１２０において、プロセッサは図１を参照して上述したように表面ノーマルマップ３０３を入力イメージ３０１にマッピングする。より具体的に、ステップＳ２３０において、プロセッサは、マッチングされたオブジェクトモデル２０１の各特徴点が位置する地点のノーマルベクトルを補間して表面ノーマルマップ３０３を生成する。例えば、図２に示されたオブジェクトモデル２０１は、特徴点でのみノーマルベクトルが指定されており、プロセッサは、特徴点の間の空間に対してノーマルベクトルを補間し得る。そのため、プロセッサは、リアルタイムでオブジェクトに適応的な表面ノーマルマップ３０３を生成することができる。オブジェクトモデル２０１の幾何構造の精密度に応じて表面ノーマルマップ３０３の品質が決定される。

次に、ステップＳ１３０において、プロセッサは、図１を参照して上述したように陰影情報３０４を生成する。プロセッサは、仮想光源設定２０２により仮想光源を設定する。仮想光源設定２０２は、仮想光源の強度、位置、色、照明方向、及びタイプのうち少なくとも１つを設定する制御信号として、ユーザによって設定されたり自動設定される。陰影情報３０４は、オブジェクトの各座標で明るさが増加したり減少しなければならない程度を示す加重値に関する情報を含み、図３に示された陰影情報３０４で明るく表示された領域は、明るさが増加する加重値を有する領域、暗く表示された領域を明るさが減少する加重値を有する領域を示す。

一実施形態によると、プロセッサは、入力イメージ３０１上で顔の特徴点に基づいて整列された表面ノーマルマップ３０３とユーザによって指定された仮想光源の方向／位置、強度、タイプなどに基づいて顔に対する陰影情報３０４を生成する。例えば、プロセッサは、顔領域内の各ピクセルに対して表面ノーマルマップ３０３に割り当てられたノーマルベクトルと該当ピクセルに対して指定された光ベクトルとの間のドット積演算によって、顔領域の各ピクセルの陰影情報３０４を算出することができる。

そして、ステップＳ２４０において、プロセッサは、陰影情報３０４を入力イメージ３０１に反映してトーンを調整する。例えば、プロセッサは、陰影情報３０４を入力イメージ３０１に反映して再照明されたイメージ３０９を生成する。プロセッサは、入力イメージ３０１の明るさヒストグラムに基づいて再照明されたイメージ３０９のトーンを調整する。一実施形態によると、プロセッサは、入力イメージ３０１の全体ピクセルに対する予め定めた明るさ範囲のピクセルの比率に基づいて再照明されたイメージ３０９の少なくとも一部領域に対応するピクセルのトーンに加重値を付加する。

一実施形態によると、プロセッサは、顔領域内の各ピクセルごとの陰影情報３０４を、ユーザが指定したり自動設定されるトーン調整スタイルに応じて最終陰影情報にアップデートすることができる。プロセッサは、最終陰影情報を入力イメージ３０１に反映して顔領域に陰影効果を表現する。また、プロセッサは、入力イメージ３０１及び再照明されたイメージ３０９のトーンを調整する場合、オブジェクト（例えば、顔）の輪郭部分における不一致を最小化するため、オブジェクトと背景の境界領域にブラー効果などを適用する。

図４、図５Ａ、及び図５Ｂは、一実施形態によるイメージの明るさを調整する方法の他の例示を細部的に示す図である。

図４は、予め格納されたオブジェクトモデル２０１及びオブジェクトモデル２０１に関して、格納された表面ノーマルモデル４０１を用いてイメージの明るさを調整する方法を示すフローチャートである。図５Ａ及び図５Ｂは、入力イメージ３０１が図４に示された方法によって処理される過程を示す。

まず、ステップＳ２１０において、イメージの明るさを調整する装置のイメージ受信部は、図２を参照して上述したように入力イメージ３０１を受信する。そして、ステップＳ２２０において、プロセッサは図２を参照して上述したように入力イメージ３０１に示されるオブジェクトの特徴点３０２を抽出する。次に、ステップＳ１１０において、プロセッサは図１を参照して上述したように、図５Ａに示すようにオブジェクトモデル２０１をオブジェクトにマッチングする。そして、ステップＳ１２０において、プロセッサは表面ノーマルマップ５０１を入力イメージ３０１にマッピングする。ここで、図３に示す表面ノーマルマップ３０３とは相違に、図５Ａに示す表面ノーマルマップ５０１は、表面ノーマルモデル４０１が変換されたものである。次に、ステップＳ１３０において、プロセッサは図１を参照して上述したように、表面ノーマルマップ５０１及び仮想光源に基づいて陰影情報３０４を生成する。そして、ステップＳ２４０において、プロセッサは、図２を参照して上述したようにトーンを調整する。図４、図５Ａ及び図５Ｂに示された上述したステップＳ２１０、２２０、１１０、１３０、２４０は図２及び図３を参照して上述したため、具体的な説明を省略する。ただし、図４に示すステップＳ１２０は、図４のステップＳ４３０を介して詳細に説明する。

一実施形態によると、ステップＳ４３０において、プロセッサは、オブジェクトモデル２０１に関してデータベースに図５Ａに示された予め格納された表面ノーマルモデル４０１を変換して表面ノーマルマップ５０１を生成する。例えば、プロセッサは、表面ノーマルモデル４０１の各特徴点をステップＳ１１０でオブジェクトにマッチングされたオブジェクトモデル２０１の特徴点に一致させることで、表面ノーマルモデル４０１を変換する。一実施形態によると、プロセッサは、上述したステップＳ１１０で決定された変換関数を用いて、ステップＳ４３０で予め格納された表面ノーマルモデル４０１の各座標を変換し、図５Ａに示すように、２次元イメージ形式の表面ノーマルマップ５０１を生成する。表面ノーマルマップ５０１は、入力イメージ３０１のオブジェクトの位置に合わせて整列され得る。

表面ノーマルモデル４０１は、２次元イメージの各座標ごとに各座標に対応するノーマルベクトルがマッピングされているモデルを示す。例えば、表面ノーマルモデル４０１は、オブジェクトモデル２０１に関して予め格納された２次元イメージ形式のモデルであり得る。表面ノーマルモデル４０１は、図５Ａに示すように、特定タイプのオブジェクトの一般的な形態上の各ピクセルの座標にノーマルベクトルが割り当てられ、特徴点が予め指定され得る。

また、他の一実施形態によると、図５Ｂに示すように、複数の表面ノーマルモデル４０１〜４０４が様々な角度で予め格納されてもよい。この場合、ステップＳ４３０において、プロセッサは、複数の表面ノーマルモデル４０１〜４０４のそれぞれをオブジェクトにマッチングされたオブジェクトモデル２０１の特徴点に一致させた結果を結合して表面ノーマルマップ５０１を生成する。例えば、プロセッサは、オブジェクトにマッチングされたオブジェクトモデル２０１の特徴点と複数の表面ノーマルモデル４０１〜４０４のそれぞれの特徴点との類似度を算出し、複数の表面ノーマルモデル４０１〜４０４のそれぞれをオブジェクトモデル２０１の特徴点に一致させた結果を、算出された類似度の比率に応じて結合し得る。

例えば、オブジェクトが特定方向を見ている場合、該当オブジェクトに対応するオブジェクトモデル２０１の特徴点と正面表面ノーマルモデル４０１、上端部表面ノーマルモデル４０２、下端部表面ノーマルモデル４０３、及び左側表面ノーマルモデル４０４のそれぞれの特徴点の類似度の比率がａ：ｂ：ｃ：ｄに算出される（ここで、ａ、ｂ、ｃ、ｄは０と１との間の実数であり、ａ、ｂ、ｃ、ｄの総合は１）。プロセッサは、正面表面ノーマルモデル４０１をオブジェクトモデル２０１の特徴点に一致させた結果にはａの加重値、上端部表面ノーマルモデル４０２をオブジェクトモデル２０１の特徴点に一致させた結果にはｂの加重値、下端部表面ノーマルモデル４０３をオブジェクトモデル２０１の特徴点に一致させた結果にはｃの加重値、左側表面ノーマルモデル４０４をオブジェクトモデル２０１の特徴点に一致させた結果にはｄの加重値を付与し合算することで、表面ノーマルマップ５０１を生成することができる。

ただし、図５Ｂでは、４個の表面ノーマルモデル４０１〜４０４のみを示しているが、これに限定することなく、設計に応じて様々な角度の表面ノーマルモデルが予め格納されて表面ノーマルマップ５０１を生成するため使用され得る。また、プロセッサは、左側表面ノーマルモデル４０４を左右反転することによって、右側に対する表面ノーマルモデルを生成して活用することもできる。

図６Ａ及び図６Ｂは、一実施形態による光源の種類に応じる光ベクトルの例示を説明する図である。

イメージの明るさを調整するために用いられる仮想光源の種類は、ユーザによって又は自動決定される。仮想光源は、入力イメージに照明効果を及ぼすように設定された光源として、例えば、仮想光源は、スポット光源又は方向性光源を用いてもよい。ただし、仮想光源の種類をこれに限定することはない。

本明細書において、スポット光源は、特定位置に設定された仮想光源から全方向に光が放出するように設定された仮想光源を示す。方向性光源は、特定方向に光が放出するように設定された仮想光源を示し、例えば、太陽などのように極めて遠い距離に位置する光源の場合は実質的に同じ方向を有する光が達する。

光ベクトルは、仮想光源から放出された光の特定地点に対する方向及びの大きさなどを示す。光ベクトルは、仮想光源による光源効果の程度及び方向を示す。以下、本明細書では正規化された大きさを有する光ベクトルを基準にして説明するが、これに限定することはない。

例えば、スポット光源に対してプロセッサは、仮想光源の位置及び入力イメージにおける各ピクセルの位置間の関係に基づいて該当ピクセルに入射される光ベクトルを決定する。したがって、スポット光源に対する光ベクトルは、スポット光源の位置に応じて変わり得る。スポット光源の光ベクトルは、下記の図６Ａを参照して説明する。

他の例として、方向性光源に対してプロセッサは、仮想光源の照明方向に基づいて該当のピクセルに入射される光ベクトルを決定する。したがって、方向性光源に対する光ベクトルは、予め一定のベクトル値に定められる。方向性光源の光ベクトルは下記の図６Ｂを参照して説明する。

図６Ａは、スポット光源による光ベクトルを説明するための図である。

一実施形態によると、入力イメージ６１０に示されるオブジェクト６２０上で任意のピクセル６３０に対してスポット光源６０１から放出された光が投射される。スポット光源６０１の位置情報（例えば、スポット光源６０１の座標）はユーザによって指定されたり自動指定される。スポット光源６０１による光ベクトル６４０は、スポット光源６０１の位置情報でのみ算出される。例えば、スポット光源６０１から該当ピクセル６３０に投射される光を光ベクトル６４０に示され、光ベクトル６４０は、スポット光源６０１と該当ピクセル６３０との間の正規化された位置差として示すことができる。例えば、スポット光源６０１の位置がＳ_ｘ、Ｓ_ｙ、Ｓ_ｚ（例えば、ユーザによって又は自動指定される）であり、任意のピクセル６３０の入力イメージ６１０上の位置がｘ、ｙ、０（ここで、入力イメージ６１０上の全てのピクセルのｚ座標は０であると仮定）である場合、プロセッサは、該当ピクセル６３０に投射される光ベクトル６４０はＬ＝［ｘ−Ｓ_ｘ、ｙ−Ｓ_ｙ、−Ｓ^ｚ］に示し、さらに、これを正規化した値を有するよう算出することができる。例えば、光ベクトル６４０は、光ベクトル６４０の長さによってｘ−Ｓ_ｘ、ｙ−Ｓ_ｙ、及び−Ｓ_ｚを割ることで正規化される。

例えば、表面ノーマルマップで、入力イメージ６１０上のｘ、ｙ位置上におけるノーマルベクトル値がｗ_ｘｙ、ｕ_ｘｙ、ｖ_ｘｙである場合、プロセッサはｘ、ｙ位置に対してスポット光源６０１による光ベクトルＬとノーマルベクトル間のドット積演算の結果値としてｗ_ｘｙ（ｘ−Ｓ_ｘ）＋ｕ_ｘｙ（ｙ−Ｓ_ｙ）＋ｖ_ｘｙ（−Ｓ_ｚ）を算出し得る。

図６Ｂは、方向性光源による光ベクトル６８０を説明するための図である。

一実施形態によると、方向性光源６０９は、入力イメージ６５０から極めて遠い距離に位置すると仮定し、方向性光源から入力イメージ６５０のオブジェクト６６０上の全てのピクセル６７０に対して同一の光が投射され得る。方向性光源６０９の方向はユーザによって指定されたり自動指定される。方向性光源６０９は、入力イメージ６５０上のオブジェクト６６０から極めて遠い距離に位置すると仮定され、方向性光源６０９による光の投射方向のみが指定されると、方向性光源６０９によってオブジェクト６６０の各ピクセル６７０に投射される光ベクトル６８０は全て同一である。例えば、方向性光源６０９によって各ピクセル６７０に投射される光ベクトル６８０は全てＬ＝［Ｌ_ｘ、Ｌ_ｙ、Ｌ_ｚ］に示す。Ｌ_ｘはｘ軸方向に対する光の方向、Ｌ_ｙはｙ軸方向に対する光の方向、Ｌ_ｚはｚ軸方向に対する光の方向を示す。

例えば、表面ノーマルマップで入力イメージ６５０上のｘ、ｙ位置上におけるノーマルベクトル値がｗ_ｘｙ、ｕ_ｘｙ、ｖ_ｘｙである場合、プロセッサはｘ、ｙ位置に対して方向性光源６０９による光ベクトルＬとノーマルベクトルとの間のドット積演算の結果値としてｗ_ｘｙＬｘ＋ｕ_ｘｙＬｙ＋ｖ_ｘｙＬｚを算出し得る。

上述した図６Ａ及び図６Ｂでは、プロセッサが光ベクトル及びノーマルベクトル間のドット積演算に基づいて陰影情報を生成したが、これに限定することはない。下記、図７では他の方式の陰影情報生成について説明する。

図７は、一実施形態によるビューベクトル及び反射ベクトルに基づいた陰影情報の生成を説明する図である。

ビューベクトル７５０は、ユーザが入力イメージ７１０又はオブジェクト７２０を見る方向を指示するベクトルを示す。反射ベクトル７４２は、光源７０１から投射された光がオブジェクト７２０のいずれかのピクセル７３０に達した後、反射する光を指示するベクトルを示す。したがって、反射ベクトル７４２は、光ベクトル７４１がオブジェクト７２０から反射したベクトルであり得る。例えば、プロセッサは、反射ベクトル７４２を次式により算出する。

ここで、Ｌは光ベクトル７４１、n^はノーマルベクトル７４３を示す。

一実施形態によると、プロセッサは、ビューベクトル７５０及び反射ベクトル７４２をドット積７９０することで陰影情報を生成することができる。例えば、ユーザが正面から機器を観察する一般的な場合、ビューベクトル７５０が０、０、１であるため、プロセッサは反射ベクトル７４２のｚ方向成分のみを選択して陰影情報として生成し得る。

一実施形態によると、図６Ａ及び図６Ｂに示すスポット光源及び方向性光源の全てに対して、図７に示されたビューベクトル７５０及び反射ベクトル７４２に基づいた陰影情報を生成する方式が適用される。例えば、図６Ａに示されたスポット光源より、図６Ｂに示された方向性光源のように特定方向に光が放出されるよう設定され、反射する光の方向も特定方向に示される場合にビューベクトル７５０に基づいて生成された陰影情報は、視点と一致するほど明るく表現され得る。

図８は、一実施形態による光源の強度に応じて再照明されたイメージを示す図である。

例えば、図８は、入力イメージ３０１の明るさが上述した図１〜図５に示す方法により調整された、再照明されたイメージ８１０、８２０、８３０を示す。

図８に示すそれぞれの再照明されたイメージ８１０、８２０、８３０は互いに仮想光源の強度が相違に設定された例を示す。第１再照明されたイメージ８１０は仮想光源の強度が低い場合、第２再照明されたイメージ８２０は仮想光源の強度が中間程度である場合、第３再照明されたイメージ８３０は仮想光源の強度が高い場合を示す。

図８に示すように、第１再照明されたイメージ８１０の一部領域８１１、８１２に比べて、第２再照明されたイメージ８２０の一部領域８２１、８２２の明るさが比較的高く調整される。また、第２再照明されたイメージ８２０の一部領域８２１、８２２の明るさよりも第３再照明されたイメージ８３０の一部領域８３１、８３２の明るさが比較的高く調整される。

ただし、図８において、入力イメージ３０１の一部領域の明るさ増加についてのみ説明したが、これに限定することなく、仮想光源による照明効果はオブジェクトの全般的な領域に影響を与え、さらに一部領域の明るさが減少（例えば、影効果など）されることがある。

一実施形態によると、仮想光源の強度に応じてイメージの明るさを調整する装置は、入力イメージ３０１に示されるオブジェクトの明るさを違和感なしにナチュラルに増加させたり減少させ得る。

図９は、一実施形態による光源の位置に応じて再照明されたイメージを示す図である。

例えば、図９は、入力イメージ３０１の明るさが上述した図１〜図５に示す方法により調整された再照明されたイメージ９１０、９２０、９３０を示す。図９において、仮想光源９０９は方向性光源であり得る。

図９に示すそれぞれの再照明されたイメージ９１０、９２０、９３０は互いに仮想光源９０９の方向が相違に設定された例を示す。第４再照明されたイメージ９１０は、左側上端部からオブジェクトに向かって−４５度方向に光が投射されるように設定された仮想光源９０９が適用された結果を示す。第５再照明されたイメージ９２０は、正面上端部からオブジェクトに向かって０度方向に光が投射されるように設定された仮想光源９０９が適用された結果を示す。第６再照明されたイメージ９３０は、右側上端部からオブジェクトに向かって＋４５度方向に光が投射されるように設定された仮想光源９０９が適用された結果を示す。

図９に示すように、第４再照明されたイメージ９１０では、−４５度方向に光が投射される仮想光源９０９によって、オブジェクト（図９では人の顔）の右側下端部領域９１１の明るさが減少し得る。第５再照明されたイメージ９２０では、正面上端部からオブジェクトに向かって光が投射される仮想光源９０９により、顔の下端部領域９２１の明るさが減少し得る。第６再照明されたイメージ９３０では、右側上端部からオブジェクトに向かって光が投射される仮想光源９０９により、顔の左側下端部領域９３１の明るさが減少し得る。図９では仮想光源９０９によってオブジェクトに発生する影効果を示すこともある。

ただし、図９において、入力イメージ３０１の一部領域の明るさの減少（例えば、影効果）についてのみ説明したが、これに限定することなく、仮想光源９０９による照明効果はオブジェクトの全般的な領域に影響を与え、さらに一部領域の明るさが増加することもある。

一実施形態によると、イメージの明るさを調整する装置は、仮想光源９０９の位置及び方向などにより、入力イメージに示されるオブジェクトの明るさを違和感なしにナチュラルに増加させたり減少させることができる。

図１０は、一実施形態によるイメージの明るさを調整する装置の例示的なグラフィクユーザインタフェース（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ：ＧＵＩ）を示す図である。

イメージの明るさを調整する装置１０００は、例えば、スマートフォンであり得る。ただし、これに限定することはない。イメージの明るさを調整する装置１０００は、上述した図１〜図５に示す方法を行う過程で求められるユーザ操作を受信する。例えば、図１０は、仮想光源設定に対するユーザ操作を受信するためのグラフィクユーザインタフェースを示す。

例えば、図１０に示されたグラフィクユーザインタフェースは、光源タイプインタフェース１０１０、光源位置／方向インタフェース１０２０、及び光源強度インタフェース１０３０などを含む。インタフェースの種類及びデザインなどはこれに限定することなく、設計に応じて様々なインタフェースを用いてもよい。

光源タイプインタフェース１０１０は、ユーザから仮想光源のタイプの指定に関する操作を受信するように設定される。例えば、図１０に示す装置１０００は、光源タイプインタフェース１０１０によってユーザからスポット光源及び方向性光源のいずれか１つを指定する操作を受信する。

光源位置／方向インタフェース１０２０は、仮想光源のタイプに応じてユーザから仮想光源の位置及び方向のうち少なくとも１つの指定に関する操作を受信するよう設定される。

図１０でスポット光源が選択された場合、光源位置／方向インタフェース１０２０は、仮想光源の位置を指定する操作を受信する。スポット光源は、光源の全方向に光を投射するためスポット光源の位置のみが指定されれば、スポット光源による光ベクトルが入力イメージのそれぞれのピクセルに対して導出（任意のピクセルにおける光ベクトルは、該当ピクセルの座標及びスポット光源の座標間の位置差に算出）され、位置のみを指定するインタフェースにも光ベクトルに基づいた光源効果の表現が可能になる。一実施形態によると、プロセッサは、予め指定された複数の位置に対するインタフェース（図示せず）をユーザに提供し、ユーザからスポット光源の位置に対する選択を受信すると、該当位置をスポット光源の位置として設定する。例えば、ユーザによって中間アイコンが活性化されれば、装置１０００は、仮想光源の位置をオブジェクトから正面上の予め設定された地点に設定することができる。

図１０で方向性光源が選択された場合、光源位置／方向インタフェース１０２０は、仮想光源の方向を指定する操作を受信する。方向性光源は、イメージ上の全てのピクセルに対して同じ方向を有する光を投射するものと仮定されることができるため、方向性光源の方向のみが指定されれば、方向性光源による光ベクトルが入力イメージのそれぞれのピクセルに対して導出され、方向を指定するインタフェースにも光ベクトルに基づいた光源効果の表現が可能になる。一実施形態によると、プロセッサは、予め指定された複数の方向に対するインタフェースをユーザに提供し、ユーザから方向性光源の方向に対する選択を受信すれば、該当方向を方向性光源の方向として設定する。例えば、ユーザによって右側アイコンが活性化されれば、装置１０００は、仮想光源から投射される光ベクトルの方向を右側上端部からオブジェクトに向かうように設定することができる。

光源強度インタフェース１０３０は、ユーザから仮想光源の強度の指定に関する操作を受信するように設定される。図１０において、仮想光源の強度は、レベル０（例えば、仮想光源ｏｆｆ）〜レベル５（例えば、仮想光源強度最大）まで区分され、例えば、ユーザによってレベル３に対応するアイコンが活性化されれば、装置１０００は、仮想光源の強度をレベル３（中間程度）に設定する。ただし、仮想光源の強度区分を上述の内容に限定することなく、ｎ個のレベル（ここで、ｎは１以上の整数）に区分されるように設定できる。

プレビューインタフェースは、再照明されたイメージ１００９を提供する。また、プレビューインタフェースは、再照明されたイメージ１００９のトーンを調整した結果を提供できる。例えば、プレビューインタフェースは、光源設定インタフェース（図１０において１０１０〜１０３０）及びトーン調整インタフェース（図示せず）などによって受信されるユーザの操作をリアルタイムに反映して生成された再照明されたイメージ１００９を提供する。例えば、光源強度インタフェース１０３０によって光源の強度が変更されれば、装置１０００は、変更された光源強度が反映された再照明されたイメージ１００９をリアルタイムに表示できる。

ただし、イメージの明るさを調整する装置１０００のグラフィクユーザインタフェースを図１０に示す内容に限定することなく、再照明されたイメージ１００９のトーンを調整（例えば、図２及び図４のステップＳ２４０）するためのインタフェース、写真撮影のためのインタフェース、及び再照明されたイメージ１００９の格納のためのインタフェースなどのような様々なインタフェースを提供できる。

図１１は、一実施形態による再照明されたイメージにトーンが調整された例を示す図である。

一実施形態によると、装置のプロセッサは、図１〜図５に示すステップＳ２４０で陰影情報を入力イメージ３０１に反映してトーンを調整する。例えば、プロセッサは、入力イメージ３０１に陰影情報を反映して再照明されたイメージを生成し、再照明されたイメージのトーンを調整する。図１１ではトーン調整の４種類のスタイルを図示しているが、トーン調整のスタイルをこれに限定することはない。

第１スタイルはイメージで明るい領域及び暗い領域のピクセルのトーンに対して加重値を付加するスタイルを示す。第１スタイルによると、例えば、プロセッサは、明るい領域に対応するピクセルと暗い領域に対応するピクセルのトーンに同じ加重値を付加する。この場合、明るい領域が加重値によって明るくなる程度及び暗い領域が加重値によって暗くなる程度の比率が同一であり、第１スタイルによりトーンの調整された再照明されたイメージ１１１０は、全体的な明暗が明確になる。第１スタイルを「ｄａｒｋ＆ｂｒｉｇｈｔ」スタイルと示す。

明るい領域に対応するピクセルは、ピクセルの明るさが予め定めた閾値よりも大きいピクセルを示し、暗い領域に対応するピクセルはピクセルの明るさが予め定めた閾値以下であるピクセルを示す。

第２スタイルは、上述した第１スタイルと同じ加重値を付加し、さらに暗い領域に対応するピクセルに特定影色をさらに付加するスタイルを示す。第２スタイルによりトーンの調整された再照明されたイメージ１１２０は、人の皮膚トーン（例えば、茶色）と類似に設定された影色をさらに付加することで、陰影効果をよりナチュラルに示し得る。第２スタイルを「ｓｈａｄｏｗ ｃｏｌｏｒ ｍｉｘｉｎｇ」スタイルと示す。

第３スタイルは、明るい領域に対応するピクセルは保持して暗い領域に対応するピクセルのトーンに加重値を付加するスタイルを示す。第３スタイルによりトーンの調整された再照明されたイメージ１１３０は暗い領域がより強調され、入力イメージ３０１が全般的に明るく撮影された場合に適する。第３スタイルを「ｄａｒｋ ｔｏｎｅ」スタイルと示す。

第４スタイルは、暗い領域に対応するピクセルを保持して明るい領域に対応するピクセルのトーンに加重値を付加するスタイルを示す。第４スタイルによりトーンの調整された再照明されたイメージ１１４０は明るい領域がより強調され、入力イメージ３０１が全般的に暗く撮影された場合に適する。第４スタイルを「ｂｒｉｇｈｔ ｔｏｎｅ」スタイルと示す。

上述したトーン調整のスタイルは、グラフィクユーザインタフェースを用いて受信されるユーザ操作に応じて決定されたり自動決定される。下記の図１２〜図１５では、トーン調整のスタイルが自動決定される例示を説明する。

図１２〜図１５は、一実施形態によるイメージの明るさヒストグラムに基づいたトーンの調整を示す図である。

図１２は、上述した図１１に示す第１スタイルによりトーンの調整された再照明されたイメージ１２１０、図１３は第２スタイルによりトーンの調整された再照明されたイメージ１３１０、図１４は第３スタイルによりトーンの調整された再照明されたイメージ１４１０、図１５は第４スタイルによりトーンの調整された再照明されたイメージ１５１０を示す。

プロセッサは、入力イメージの明るさヒストグラム１２２０、１３２０、１４２０、１５２０に基づいてトーン調整のスタイルを決定し、決定されたスタイルにより再照明されたイメージ１２１０、１３１０、１４１０、１５１０のトーンを調整する。例えば、プロセッサは、入力イメージの全体ピクセルに対する予め定めた明るさ範囲のピクセルの比率に基づいて、再照明されたイメージ１２１０、１３１０、１４１０、１５１０の少なくとも一部領域に対応するピクセルのトーンに加重値を付加する。図１２〜図１５に示された明るさヒストグラム１２２０、１３２０、１４２０、１５２０は、入力イメージのピクセルの明るさ分布を示し、例えば、横軸は明るさを示し、縦軸は入力イメージ内で横軸の明るさを有するピクセル数を示す。ただし、明るさヒストグラム１２２０、１３２０、１４２０、１５２０は、入力イメージに関するものを例にしたが、これに限定することなく、再照明されたイメージ１２１０、１３１０、１４１０、１５１０の明るさヒストグラムを用いてもよい。

一実施形態によると、プロセッサは、入力イメージのピクセルの明るさが第２閾値の明るさ以下でありながら第１閾値の明るさよりも大きいピクセル数が全体ピクセルのうち予め定めた第１比率以上の個数である場合に応答して、陰影情報で暗い領域及び明るい領域に加重値を付加することができる。例えば、プロセッサは、入力イメージの図１２に示された明るさヒストグラム１２２０のように、入力イメージの明るさが中間程度である場合、第１スタイルによりトーンを調整し得る。

一実施形態によると、プロセッサは、入力イメージのピクセルの明るさが第３閾値の明るさ以下であり、第２閾値の明るさよりも大きいピクセル数が全体ピクセルのうち予め定めた第２比率以上の個数である場合に応答して、陰影情報で暗い領域及び明るい領域に加重値を付加して予め定めた影色を暗い領域に付加する。例えば、プロセッサは、入力イメージの図１３に示された明るさヒストグラム１３２０のように入力イメージの明るさが中間程度である場合、第２スタイルによりトーンを調整し得る。

一実施形態によると、プロセッサは、入力イメージのピクセルの明るさが第３閾値の明るさよりも大きいピクセル数が全体ピクセルのうち予め定めた第３比率以上の個数である場合に応答して、陰影情報で暗い領域に加重値を付加する。例えば、プロセッサは、図１４に示された明るさヒストグラム１４２０のように入力イメージの明るさが強い明るさである場合、第３スタイルによりトーンを調整し得る。

一実施形態によると、プロセッサは、入力イメージのピクセルの明るさが第１閾値の明るさ以下であるピクセル数が全体ピクセルのうち予め定めた第４比率以上の個数である場合に応答して、陰影情報で明るい領域に加重値を付加する。例えば、プロセッサは、図１５に示された明るさヒストグラム１５２０のように入力イメージの明るさが弱い場合、第４スタイルによりトーンを調整し得る。

ただし、トーン調整の各スタイルの適用を上述した内容によって限定することなく、ユーザの好み、背景イメージの状況、ユーザの操作、及び設計などに応じてスタイルの適用基準を多様に変更することができる。

図１６〜図１９は、一実施形態によるイメージの明るさを調整する装置の構成を示すブロック図である。

一実施形態によるイメージの明るさを調整する装置１６００は、図１６に示すようにプロセッサ１６１０を含む。また、図１７〜図１９に示すように、メモリ１７２０、イメージ受信部１８３０、及びディスプレイ１９４０をさらに含んでもよい。

プロセッサ１６１０は、上述した図１〜図５を参照して説明したイメージの明るさを調整する方法を行う。例えば、プロセッサ１６１０は、オブジェクトが示される入力イメージから抽出されたオブジェクトの特徴点に基づいてオブジェクトモデルをオブジェクトにマッチングし、マッチングされたオブジェクトモデルに基づいて２次元イメージ形式の表面ノーマルマップを入力イメージにマッピングし、マッピングされた表面ノーマルマップ及び仮想光源に基づいて入力イメージに対する陰影情報を生成する。

メモリ１７２０は、ハードウェアと結合して一実施形態によるイメージの明るさを調整する方法を実行させるために、媒体に格納されたコンピュータプログラムを含む。また、メモリ１７２０は、オブジェクトモデル及びオブジェクトモデルに関する表面ノーマルモデルなどをデータベースに予め格納する。例えば、メモリ１７２０は、入力イメージ、再照明されたイメージ、及びトーンの調整された再照明されたイメージを格納し、陰影情報及び表面ノーマルマップなどのように図１〜図５に示す方法を行うために必要であったり実行する過程で生成されるデータを格納する。

イメージ受信部１８３０は、外部から入力イメージを受信する。例えば、イメージ受信部１８３０は、カメラにより撮影された入力イメージを受信する。また、イメージ受信部１８３０は、有無線通信によって入力イメージを受信する。

ディスプレイ１９４０はイメージを表示する。一実施形態によると、ディスプレイ１９４０は、入力イメージに陰影情報を反映して表現し得る。例えば、ディスプレイ１９４０は、入力イメージ、再照明されたイメージ、及びトーンが調整されたイメージなどを表示する。本明細書ではイメージを停止した写真を例に挙げて説明したが、これに限定することなくイメージの明るさを調整する装置１６００は動画に対しても適用される。イメージが動画である場合、プロセッサ１６１０は、動画の各フレームに対して上述した図２〜図１５に示す方法をリアルタイムに実行し、各フレームに示されるオブジェクトに対してナチュラルな陰影効果を適用できる。ディスプレイ１９４０は、スクリーン、プロジェクター、ＬＣＤ、及びＯＬＥＤなどを含む。

一実施形態による装置１６００は、イメージを処理することのできるプロセッサ１６１０を含む電子装置１６００であって、例えば、スマートフォン及びカメラなどであり得る。

一実施形態による装置１６００は、カメラにより撮影された顔に複雑度の低いグラフィックレンダリング技術（例えば、光源による照明効果及びＳｏｆｔ Ｓｈａｄｉｎｇ）を適用してナチュラルな陰影効果を付加的に表現することができる。スマートフォンなどのようなモバイルスマート機器において性能が制限されているが、小型スマート機器でナチュラルな陰影効果をリアルタイムに入力イメージへ反映しながらもその性能は低下しない。例えば、装置１６００は、スマートフォンやカメラなどのモバイルスマート機器に内蔵されたＣＰＵ、ＧＰＵ及び標準グラフィックスＳ／Ｗを活用して、照明に関する複雑な物理演算なしにオブジェクトに対して仮想光源による陰影効果をリアルタイムに表現できる。

また、装置１６００は、人の顔が正面で撮影された場合（例えば、ｓｅｌｆｉｅ ｃａｍｅｒａ）に陰影効果をよりナチュラルに反映し得る。装置１６００は、写真を撮影するとき（例えば、撮影された写真をプレビューした後格納するとき）仮想光源による陰影効果を顔領域にリアルタイムにオーバーレイすることができ、上述した方法によって撮影されたイメージを容易に編集できる。

一実施形態によると、装置１６００は、複雑な３Ｄ幾何構造モデルを使用することなく、簡単な幾何構造モデル（例えば、オブジェクトモデル）を利用しながらも高い品質の陰影効果を取得できる。また、装置１６００は、照明演算を表面ノーマルマップを用いて光ベクトルとのドット積に単純化することにより、複雑な演算を行うことなく、リアルタイムに微細な陰影効果を表現できる。

また、装置１６００は、陰影効果を適用するとき撮影状況に応じてトーン調整のスタイルを手動又は自動選択することができることから、よりナチュラルな陰影効果を表現できる。装置１６００は、単にイメージをフィルタリングすることに比べて、よりナチュラルで目鼻立ちがはっきりするように再照明されたイメージを取得できる。

以上述した装置は、ハードウェア構成要素、ソフトウェア構成要素、又はハードウェア構成要素及びソフトウェア構成要素の組合せで具現される。例えば、本実施形態で説明した装置及び構成要素は、例えば、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）、デジタル信号プロセッサ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、マイクロコンピュータ、ＦＰＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｕｎｉｔ）、マイクロプロセッサー、又は命令を実行して応答する異なる装置のように、１つ以上の汎用コンピュータ又は特殊目的コンピュータを用いて具現される。処理装置は、オペレーティングシステム（ＯＳ）及びオペレーティングシステム上で行われる１つ以上のソフトウェアアプリケーションを実行する。また、処理装置は、ソフトウェアの実行に応答してデータをアクセス、格納、操作、処理、及び生成する。理解の便宜のために、処理装置は１つが使用されるものとして説明する場合もあるが、当該技術分野で通常の知識を有する者は、処理装置が複数の処理要素及び／又は複数類型の処理要素を含むことが分かる。例えば、処理装置は、複数のプロセッサ又は１つのプロセッサ及び１つのコントローラを含む。また、並列プロセッサのような、他の処理構成も可能である。

ソフトウェアは、コンピュータプログラム、コード、命令、又はこれらのうちの１つ以上の組合せを含み、希望通りに動作するように処理装置を構成し、独立的又は結合的に処理装置に命令する。ソフトウェア及び／又はデータは、処理装置によって解釈され、処理装置に命令又はデータを提供するためのあらゆる類型の機械、構成要素、物理的装置、仮想装置、コンピュータ格納媒体又は装置、或いは送信される信号波を介して永久的又は一時的に具現化される。ソフトウェアは、ネットワークに接続されたコンピュータシステム上に分散され、分散された方法で格納されるか又は実行される。ソフトウェア及びデータは１つ以上のコンピュータ読み取り可能な記録媒体に格納される。

本実施形態による方法は、多様なコンピュータ手段を介して実施されるプログラム命令の形態で具現され、コンピュータ読み取り可能な記録媒体に記録される。記録媒体は、プログラム命令、データファイル、データ構造などを単独又は組合せて含む。記録媒体及びプログラム命令は、本発明の目的のために特別に設計して構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり使用可能なものであってもよい。コンピュータ読み取り可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスクのような磁気−光媒体、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置を含む。プログラム命令の例としては、コンパイラによって生成されるような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行される高級言語コードを含む。ハードウェア装置は、本発明の動作を実行するために１つ以上のソフトウェアモジュールとして作動するように構成してもよく、その逆も同様である。

以上、本発明の実施形態について図面を参照しながら詳細に説明したが、本発明は、上述の実施形態に限定されるものではなく、本発明の技術的範囲から逸脱しない範囲内で多様に変更実施することが可能である。

１６００ イメージの明るさを調整する装置
１６１０ プロセッサ
１７２０ メモリ
１８３０ イメージ受信部
１９４０ ディスプレイ

Claims (32)

1. オブジェクトが示される入力イメージから抽出された前記オブジェクトの１つ以上の特徴点に基づいて、オブジェクトモデルを前記オブジェクトにマッチングするステップと、
   前記マッチングされたオブジェクトモデルに基づいて、２次元イメージ形式の表面ノーマルマップを前記入力イメージにマッピングするステップと、
   前記マッピングされた表面ノーマルマップ及び仮想光源に基づいて、前記入力イメージに対する陰影情報を生成するステップと、
   前記陰影情報を前記入力イメージに反映して再照明されたイメージを生成するステップと、
   前記入力イメージの明るさヒストグラムに基づいて前記再照明されたイメージのトーンを調整するステップと、
   を含むことを特徴とするイメージの明るさを調整する方法。
2. 前記表面ノーマルマップを前記入力イメージにマッピングするステップは、前記マッチングされたオブジェクトモデルの各特徴点が位置する地点のノーマルベクトルを補間して前記表面ノーマルマップを生成するステップを含むことを特徴とする請求項１に記載のイメージの明るさを調整する方法。
3. 前記表面ノーマルマップを前記入力イメージにマッピングするステップは、前記オブジェクトモデルに関してデータベースに予め格納された表面ノーマルモデルを前記表面ノーマルマップに変換するステップを含むことを特徴とする請求項１に記載のイメージの明るさを調整する方法。
4. 前記オブジェクトモデルを前記入力イメージにマッピングするステップは、前記オブジェクトモデルの特徴点の座標を前記入力イメージの特徴点の座標に変換する変換関数を決定するステップを含むことを特徴とする請求項１に記載のイメージの明るさを調整する方法。
5. 前記表面ノーマルマップを前記入力イメージにマッピングするステップは、前記決定された変換関数を用いて、表面ノーマルモデルの各座標を変換して２次元イメージ形式の表面ノーマルマップを生成するステップを含むことを特徴とする請求項４に記載のイメージの明るさを調整する方法。
6. 前記陰影情報を生成するステップは、前記表面ノーマルマップのそれぞれの座標のノーマルベクトル及び前記入力イメージで該当座標における前記仮想光源による光ベクトル間のドット積演算を行うステップを含むことを特徴とする請求項１乃至５のいずれか一項に記載のイメージの明るさを調整する方法。
7. 前記ドット積演算を行うステップは、前記仮想光源の位置及び前記入力イメージにおける各ピクセルの該当位置間の関係又は前記仮想光源の照明方向に基づいて該当ピクセルに入射される前記光ベクトルを決定するステップを含むことを特徴とする請求項６に記載のイメージの明るさを調整する方法。
8. 前記再照明されたイメージのトーンを調整するステップは、前記入力イメージのピクセルの全体個数に対する前記入力イメージで予め定めた明るさ範囲のピクセル数の比率に基づいて、前記再照明されたイメージの少なくとも一部領域でピクセルのトーンに加重値を付加するステップを含むことを特徴とする請求項１に記載のイメージの明るさを調整する方法。
9. 前記仮想光源の強度、位置、色、照明方向、及びタイプのうち少なくとも１つを指示する制御信号を受信するステップをさらに含むことを特徴とする請求項１乃至８のいずれか一項に記載のイメージの明るさを調整する方法。
10. 前記オブジェクトは人の顔であることを特徴とする請求項１乃至９のいずれか一項に記載のイメージの明るさを調整する方法。
11. 請求項１乃至１０のいずれか一項に記載の方法をプロセッサに実行させるコンピュータプログラム。
12. オブジェクトが示される入力イメージから抽出された前記オブジェクトの特徴点に基づいてオブジェクトモデルを前記オブジェクトにマッチングし、前記マッチングされたオブジェクトモデルに基づいて２次元イメージ形式の表面ノーマルマップを前記入力イメージにマッピングし、前記マッピングされた表面ノーマルマップ及び仮想光源に基づいて前記入力イメージに対する陰影情報を生成し、前記陰影情報を前記入力イメージに反映して再照明されたイメージを生成し、前記入力イメージの明るさヒストグラムに基づいて前記再照明されたイメージのトーンを調整するプロセッサを含むことを特徴とするイメージの明るさを調整する装置。
13. 前記プロセッサは、前記マッチングされたオブジェクトモデルの各特徴点が位置する地点のノーマルベクトルを補間して前記表面ノーマルマップを生成することを特徴とする請求項１２に記載のイメージの明るさを調整する装置。
14. 前記オブジェクトモデルに関する表面ノーマルモデルをデータベースに格納するメモリをさらに含み、
    前記プロセッサは、前記表面ノーマルモデルを前記表面ノーマルマップに変換することを特徴とする請求項１２に記載のイメージの明るさを調整する装置。
15. 前記プロセッサは、前記オブジェクトモデルの特徴点の座標を前記入力イメージの特徴点の座標に変換する変換関数を決定することを特徴とする請求項１２に記載のイメージの明るさを調整する装置。
16. 前記プロセッサは、前記決定された変換関数を用いて表面ノーマルモデルの各座標を変換して２次元イメージ形式の表面ノーマルマップを生成することを特徴とする請求項１５に記載のイメージの明るさを調整する装置。
17. 前記プロセッサは、前記表面ノーマルマップのそれぞれの座標のノーマルベクトル及び前記入力イメージで該当座標における前記仮想光源による光ベクトル間のドット積演算を行うことを特徴とする請求項１２乃至１６のいずれか一項に記載のイメージの明るさを調整する装置。
18. 前記プロセッサは、前記仮想光源の位置及び前記入力イメージにおける各ピクセルの位置間の関係又は前記仮想光源の照明方向のいずれか１つに基づいて前記入力イメージのピクセルで前記光ベクトルを決定することを特徴とする請求項１７に記載のイメージの明るさを調整する装置。
19. 前記プロセッサは、前記入力イメージのピクセルの全体個数に対する前記入力イメージで予め定めた明るさ範囲のピクセル数の比率に基づいて、前記再照明されたイメージの少なくとも一部領域でピクセルのトーンに加重値を付加することを特徴とする請求項１２に記載のイメージの明るさを調整する装置。
20. オブジェクトが示される入力イメージを受信するイメージ受信部と、
    前記入力イメージから抽出された前記オブジェクトの特徴点に基づいてオブジェクトモデルを前記オブジェクトにマッチングし、前記マッチングされたオブジェクトモデルに基づいて２次元イメージ形式の表面ノーマルマップを前記入力イメージにマッピングし、前記マッピングされた表面ノーマルマップ及び仮想光源に基づいて前記入力イメージに対する陰影情報を生成し、ユーザがオブジェクトを見る方向を指示するビューベクトル及び前記仮想光源から前記オブジェクトに投射された光が前記オブジェクトによって反射した方向を指示する反射ベクトルに基づいて前記陰影情報を生成するプロセッサと、
    を含むことを特徴とする装置。
21. 前記イメージ受信部はカメラであることを特徴とする請求項２０に記載の装置。
22. 前記プロセッサは、前記入力イメージに前記陰影情報を適用するように構成され、
    前記装置は、前記入力イメージに前記陰影情報を反映して表現するディスプレイをさらに含むことを特徴とする請求項２０又は２１に記載の装置。
23. 前記プロセッサは、前記マッチングされたオブジェクトモデルの各特徴点が位置する地点のノーマルベクトルを補間して前記表面ノーマルマップを生成することを特徴とする請求項２０又は２１に記載の装置。
24. 前記オブジェクトモデルに関する表面ノーマルモデルをデータベースに格納するメモリをさらに含み、
    前記プロセッサは、前記表面ノーマルモデルを前記表面ノーマルマップに変換することを特徴とする請求項２０又は２１に記載の装置。
25. 映像の明るさを調整する方法において、
    オブジェクトモデル及び映像におけるオブジェクトの特徴点に基づいて入力映像の表面ノーマルマップを生成するステップと、
    仮想光源及び前記表面ノーマルマップに基づいて前記入力映像のための陰影情報を生成するステップと、
    前記入力映像の明るさを調整するために前記入力映像に前記陰影情報を適用するステップと、
    を含み、
    前記陰影情報を生成するステップは、前記オブジェクト上の前記仮想光源から投影される光が前記オブジェクトによって反射する方向を指示する前記入力映像の各座標における反射ベクトル、及び前記オブジェクトをユーザが視聴する方向を指示するビューベクトル間のドット積を前記陰影情報として算出するステップを含むことを特徴とする方法。
26. 前記オブジェクトモデルは、前記オブジェクトの前記特徴点に対応する特徴点及び前記オブジェクトモデルの前記特徴点に対応するノーマルベクトルを含み、
    前記表面ノーマルマップを生成するステップは、前記入力映像の座標でノーマルベクトルを取得するために前記オブジェクトモデルの前記ノーマルベクトルを補間するステップを含むことを特徴とする請求項２５に記載の方法。
27. 前記表面ノーマルマップを生成するステップは、前記オブジェクトモデル及び前記オブジェクトの前記特徴点に基づいて前記表面ノーマルマップに表面ノーマルモデルを変換するステップを含むことを特徴とする請求項２５に記載の方法。
28. 前記オブジェクトモデルの特徴点及び前記オブジェクトの前記特徴点に基づいて前記オブジェクトで前記オブジェクトモデルをマッチングさせるステップをさらに含み、
    前記表面ノーマルマップを生成するステップは、他の方向から前記オブジェクトのビューに対応する複数の表面ノーマルモデルを前記オブジェクトにマッチングされた前記オブジェクトモデルの前記特徴点に対してマッチングさせた結果を結合することによって前記表面ノーマルマップを生成するステップを含むことを特徴とする請求項２５に記載の方法。
29. 前記陰影情報を生成するステップは、前記表面ノーマルマップの各座標でノーマルベクトル及び前記入力映像の対応座標で前記仮想光源の光ベクトル間のドット積を前記陰影情報として算出するステップを含むことを特徴とする請求項２５乃至２８のいずれか一項に記載の方法。
    
30. 前記陰影情報を生成するステップは、前記仮想光源の光ベクトル及び前記表面ノーマルマップに基づいて前記反射ベクトルを算出するステップを含むことを特徴とする請求項２５乃至２９のいずれか一項に記載の方法。
31. 前記陰影情報を前記入力映像に適用することは再照明された映像を生成し、前記方法は前記入力映像の明るさヒストグラムに基づいて前記再照明された映像のトーンを調整するステップをさらに含むことを特徴とする請求項２５乃至３０のいずれか一項に記載の方法。
32. 前記再照明された映像のトーンを調整するステップは、
    前記入力映像の明るさヒストグラムに基づいて複数のトーン調整スタイルからトーン調整スタイルを選択するステップと、
    前記再照明された映像のトーンを調整するために前記再照明された映像に前記選択されたトーン調整スタイルを適用するステップと、
    を含むことを特徴とする請求項３１に記載の方法。
    

Images