JP2004357277A - デジタル画像処理方法 - Google Patents

Abstract

【課題】従来の技術に悪影響を及ぼす静止の制約を克服する形態を有する画像処理方法を提供する。
【解決手段】先ず、被験者に関連した画像の色情報を、画像取出し装置によって取り出す。次に、視覚的に関連のある領域を検出する。次に、取り出された画像のグレースケールを、視覚的に関連のある領域に基づいて正規化して、取り出された画像の露出補正を行う。撮影された被験者の皮膚に対応する領域の識別も行い、その領域を、露出補正を行うステップに対して視覚的に関心のある領域として使用する。
【選択図】図６

Description

本発明は、デジタル画像処理方法に関する。
特に、本発明は、画像取出し装置によって取出される、被験者に関連した画像の色情報を取り出すステップと、
視覚的に関連のある領域を検出するステップと、
取り出された画像のグレースケールを前記視覚的に関連のある領域に基づいて正規化することによって、取り出された画像の露出補正を行うステップとを具えるデジタル画像処理方法に関する。

本発明は、特に、移動式画像取出し装置によって撮影された逆光の被験者(subject)の画像の処理方法に関するが、これに限定されるものではなく、以下の説明を、図示の便宜上のみの理由からこの分野に関連して行う。

周知のように、写真画像の品質を制約するとともに写真の生成が最適でないことに伴う主な問題の一つは、撮影された被験者への誤った光の露出に起因する。
この問題は、特に、移動式電話機のような移動式装置に生じ、利用できる光学装置の小型化、フラッシュ装置の欠如等の複数の要因により、取得される写真に対して、誤った露出がなされる。さらに、いわゆるマルチメディアメッセージングサービスすなわちＭＭＳ（マルチメディアメッセージングサービスの英語表現の頭字語）にリンクした、写真の生成における従来の使用に伴う移動式装置の性質によって、図３に示すタイプの写真が取得される。

露出が、撮影された被験者と、写真を見る人の個人的な好みとに依存するために、正確な露出の正確な規定を行うことができないが、「通常の」被験者に対して（、したがって、正確な写真を取得する際に意図的な写真の過剰露出を伴う雪に覆われた風景のような極端なケースを考察しないとき）、撮影された画像の主な特徴が、中間のグレーレベルを用いて再生されるときに、正確な露出が得られる。

画像処理の分野において、ヒストグラム均等化(histogram equalization)、グレーレベルスライシング(grey-level slicing)、ヒストグラムストレッチング(histogram stretching)等の撮影された画像の色調品質を向上する複数の技術が周知である。

Bhukhanwaleなどによる表題”Automated Global Enhancement of Digitized Photographs”, IEEE Transaction on Consumer Electronics, vol. 40, no. 1, 1994の文献は、視覚的に重要な領域が中間の色調レベルを占有するように写真画像の露出を調整することによって画像中のこれら領域を識別できるアルゴリズムを記載している。

さらに、同一出願人名で出願された欧州特許出願番号０１８３０８０３．１は、写真画像中の視覚的に重要な領域を中間の色調レベルで配置するためにその領域を識別できるアルゴリズムを記載しており、このアルゴリズムは、ベイヤーパターン形式の画像を直接処理し、高い情報内容を有する画像中の領域すなわち視覚的に重要な領域を検出するのに用いられる統計的な目安を簡単化する。

この明細書に記載されたアルゴリズムは、ベイヤーパターン形式の画像上で直接動作し、以下のステップを具える。
− ベイヤーパターン緑色面すなわちチャネルＧの取出し。この面は、輝度Ｙを良好に近似する。

− 視覚的な解析。チャネルＧが一度取り出されると、視覚的に関心のある領域がこのチャネル上で識別される。このために、緑色面は、同一サイズのＮブロックに分割され、以下の統計値が各ブロックに対して計算される。
− 収束。それは、ブロックの先鋭度を特徴付け、撮影された画像の詳細に対応する高周波成分を具える領域を識別するのに用いられる。
コントラスト。それは、画像の色調範囲に関連する。コントラストが最大になると、ブロック中のポイントのいわゆるクラスターの分離が最大になる、すなわち、ブロックの視覚的なインパクトが最大になる。

撮影された画像の照明状態に依存せずに重要な視覚的な特徴を取得するために、全平面上で計算されたチャネルＧの平均値のみに基づいて一時的な訂正を行うことによって生成された中間的な発光を行う画像上で、視覚的な解析が行われる。

− 露出調整。視覚的に関心がある領域が一度検出されると、これら領域の平均グレーレベルを基準値として用いることによって、露出調整が行われる。さらに詳しくは、撮影された画像が変化し、ベイヤー形式に属する全ての画素を変更することによって、これら領域の平均値がターゲット値Ｔになる。このターゲット値Ｔを、１２８付近の範囲の値とする必要があり、それは、補正されたベイヤー形式の色再構成後に実行されたあり得る補正範囲を考慮する必要がある。これは、所定の場合において、ターゲット値Ｔが１２８より十分低くなり得ることを意味する。

このために、デジタル画像取出し装置すなわちカメラのシミュレートされた応答曲線が、図１に線形的に示すように用いられる。
この曲線は、カメラによって取り出された光量を画素値に変換する方法の評価を与え、すなわち、それは、関数

を表す。ここで、Ｑを光量とし、Ｉを最終的な画素値とする。

カメラのこのようにシミュレートされた応答関数（１）を、パラメータによって

のように表現することができる。Ａ，Ｃを、曲線形状の制御パラメータとし、値ｑは、２に基づく対数単位で表現される（それは、「ストップ」という名称でも知られている。）。Mannなどによる表題”Comparametric Equations with Practical Applications in Quantigraphic Image Processing”, IEEE Transactions on Image Processing, Vol. 9, no. 8, 2000の文献の情報を用いることによって、これら制御パラメータＡ，Ｃを評価することができる。

特別の最終的な効果（例えば、コントラストの向上）を実現するためにこれらパラメータＡ，Ｃの値を実験的に取得し又はそれを設定することもできる。特に、図１は、Ａ＝７及びＣ＝０．１３の式（２）で表現されるシミュレートされた応答曲線の傾向を示す。

視覚的に重要な領域に対してこのようにシミュレートされた応答曲線ｆ及び平均グレーレベルａｖｇを用いることによって、理想的な露出状態の距離Δは、

として表現され、したがって、位置（ｘ，ｙ）を有する画素のグレー値Ｉ（ｘ，ｙ）は、

で変化する。画素の全てのグレー値は補正される。

特に、上記変化は、ほとんどＬＵＴ（ルックアップテーブル）変換であり（すなわち、蒸気変化は、参照のためにテーブルに置かれている。）、図２Ａ，２Ｂは、値Ａ＝７及びＣ＝０．１３を有するシミュレートされた応答曲線ｆ１並びに値Ａ＝０．８５及びＣ＝１を有するシミュレートされた応答曲線ｆ２から発生した互いに相違する変換（曲線ＬＵＴ１，ＬＵＴ２）を示す。

距離すなわち値１２８のオフセットは、（７２に等しい同一入力値から開始して、）ｆ１に対して１．２４であり、ｆ２に対して０．６２である。
図２Ａ，２Ｂから明らかなように、第１の曲線ＬＵＴ１は、更に線形的な傾向を有し、それに対して、第２の曲線ＬＵＴ２は、いわゆるレンジ傾向(range trend)を有する。

複数の態様の下で好適であるとしても、これら従来の技術は、図３に示すように、ユーザがビデオホンに対する画像送信に使用する際に写真画像がしばしば逆光を浴びるとともに主に人の体形に焦点が合わせられる移動式電話機のような携帯装置の場合には、それほど有効ではない。

本発明の目的は、従来の技術に悪影響を及ぼす静止の制約を克服する形態を有する画像処理方法を提供することである。

本発明による解決は、写真に撮影された被験者の皮膚の特徴を検出して、関心のある領域を簡単に選択し及び見つけ出し、その領域に対して、露出調整／補正を適用する。

このような理想的な解決に基づいて、技術的な課題は、請求項１で規定されたような画像処理方法によって解決される。

本発明による画像処理方法は、撮影された被験者の皮膚の認識アルゴリズムに基づいて、撮像装置によって撮影されたデジタル画像の露出補正を行って、図３に示すような逆光の被験者の場合を解決して最終的な写真画像品質を向上する。

特に、本発明による方法は、以下のステップを具える。
１）第１段階：色情報取出しステップ。
既知の画像処理方法を参照すればわかるように、本発明による方法は、画像がベイヤー形式(Bayer format)であるときに取り出された画像の緑チャネルＧを取り出す。
それに対して、それは、ＲＧＢ画像から取得されたＹｃｂＣｒタイプの画像に対する輝度チャネルＹを取り出す。

２）第２段階：写真画像に撮影された被験者の皮膚に対応する領域の識別方法を用いた視覚的な解析ステップ。
この解析は、
１．ＲＧＢ形式の画像、
２．最初の画像から手頃にサブサンプルされたＲＧＢコピーを発生するベイヤーパターン形式の画像で実行する。

特に、このような皮膚認識方法によって、撮影された被験者の皮膚に対応する視覚的に関心のある複数の領域が検出される。
このようにして、第１の取出しステップ中に取得された色情報が用いられる。

特に、ベイヤーデータを用いることによって、３色平面上での操作及び図４に線図的に示すような最初のデータの１／４に対応するサイズを有するサブサンプル上での操作が可能になり、したがって、本発明による方法の計算の影響が著しく減少する。

第３段階：取得した写真画像の露出調整ステップ。
この調整を、二つの方法で実行することができる。
１．ＲＧＢ形式の画像の補正。
２．次の色補間アルゴリズム前におけるベイヤーパターン形式画像の補正。
ＲＧＢ形式の画像の補正の場合、一度、視覚的に重要な画素が、上記のように検出されると（すなわち、画素が、撮影された被験者の皮膚に対応する領域に属する。）、既知の露出補正アルゴリズムが用いられ、この場合、既知の画素クラスタの平均グレーレベルが、撮影された被験者の皮膚に属するものと考えられる。

換言すれば、被験者の皮膚に属する画素は、画像グレースケールの中間レベルに位置し、画像中の残り全ての画素は、この平均レベルに基づいて再び位置する。
特に、一度、上記ステップ（２），（３）に従って輝度値が補正され、したがって、図１に示すタイプの曲線から開始して、Sakakueなどによる表題”Adaptive Gamma Processing of the Video Cameras for the Expansion of the Dynamic range”, IEEE Transaction on Consumer Electronics, Vol. 41, n. 3, August 1995に含まれる情報を用いることによって、画素の色値を、以下の式を用いて再構成することができる。

Ｒ，Ｇ，Ｂを、入力画素の色値とする。

ベイヤー形式の画像の補正の場合、式（５），（６）及び（７）を用いることができず、出力結果は、単に式（４）を全ての画素パターンに適用することによって取得される。
写真画像に撮影された被験者の皮膚に対応する領域の識別方法を、詳細に説明する。
撮影された被験者の皮膚の色を識別する複数の方法が、皮膚に対する色の確率の目安へのしきい値の適用に基づいて十分知られている。

実際には、人間の皮膚の色は、大抵の自然のオブジェクトの色とは異なる特定の色のカテゴリーに属する。特に、Zartiなどによる表題”Comparison of five color models in skin pixel classification”, Proc. Of Int. Workshop on Recognition, Analysis and Tracking of Faces and Gestures in Real-Time Systems, IEEE Computer Society, Corfu, Greece, pages 58-63, 1999の文献において、人間の皮膚の色をグループ化することや、被験者間の皮膚の変化がほぼ強度差に起因するものであり、したがって、それを、被験者画像の色成分のみを用いて減少できることを示している。

さらに、Yangなどによる表題”Skin-colour modelling and adaptation”, Technical Report CMU-CS-97-146, School of Computer Science, Carnegie Mellon University, 1997の文献において、人間の皮膚の色のスライシング(slicing)を色平面の２次元ガウス関数によって表現できることが示されている。このスライシングの中心は、平均ベクトル

によって決定され、そのベルの振幅は、共分散行列Σによって決定され、これら二つの値は、テストデータの共分散群から開始して評価される。

したがって、色ベクトル

から開始する人間の皮膚の色分類に属する画素ブロックの状況的な確率

は、

によって与えられる。ここで、

を、平均ベクトル

の色ベクトル

のいわゆるマハロノビス(Mahalonobis)距離であり、

によって規定される。

換言すれば、色ベクトル

を有する画素ブロックのマハロノビス距離

の値は、予め設定された人間の皮膚の色の分類にこのブロックが属する確率を決定する。マハロノビス距離

が最大になると、ブロックがこのような人間の皮膚の色の分類に属する確率が最低になる。

著しい量の色のタイプ、距離測定及び２次元スライシングが与えられる場合、著しく多用な画像処理アルゴリズムを考慮することができる。さらに、照明状態及び色モデルは、撮像モデルに従って変化することができる。
本発明の好適例では、撮影された被験者の皮膚の識別ステップを具える。

第１例において、この認識ステップは、ほぼ確率的な関数に基づく。
特に、ＹｃｒＣｂ形式で取り出された画像の各画素に対して、確率的なスライシングが、被験者の皮膚に属するものとしてこの画素を分類するか否かを評価するために準備される。このスライシングに基づいて、新たな画像が、正規化されたグレースケールを用いて処理され、この場合、被験者の皮膚が、被験者を撮影する二つの互いに相違する画像上において、図５に示すように強調される。

撮影された被験者の皮膚の識別ステップの第１例に基づいて、更に高いグレー値を有する画素は、撮影された被験者の皮膚に属するものと考えられる。
被験者を撮影する図５Ａに示すような画像上の撮影された被験者の皮膚の識別ステップの第１例を用いて検出される領域を、図５Ｃに示す。

第２例において、撮影された被験者の皮膚の識別ステップは、実質的には、単一のしきい値領域に基づき、それは、Sorianoなどによる表題”Skin color modelling under varying illumination conditions using the skin locos for selecting training pixels”, Real-time Image Sequence Analysis (RISA2000, August 31 − Sept. 1, Finland)の文献に記載されたような正規化されたチャネルｒ，ｇから開始するクロミナンススライシングヒストグラムを生成するためにＲＧＢ形式の画像処理を行う。特に、正規化されたチャネルｒ，ｇは、

として規定される。

結果的に得られる２次元的なヒストグラムは、画像中にクロミナンススライシングを示し、したがって、左の人間の皮膚のクロミナンススライシングは、単一のしきい値領域ｗの適用することによって検出される。特に、しきい値領域に属する処理された画像の画素は、被験者の皮膚に属するものとして分類される。
同様に、図５Ｂは、被験者を撮影する図５Ａに示した画像上の撮影された被験者の皮膚の識別ステップ第２例を用いて検出される領域を示す。

図６は、本発明による方法の互いに相違するステップの後に行われる、特に強調された被験者に関する画像の次の処理を線図的に示す。
特に、取り出された画像（Ａ）において、撮影された被験者の皮膚に対応する領域の識別ステップは、確率的な方法（Ｂ）又はしきい値方法（Ｃ）によって実行される。
したがって、最適画像が開始画像（Ａ）との比較によりすぐに明らかとなるので、露出補正ステップを、撮影された被験者の皮膚に属するものとして検出された領域を用いて実行して、最終的に処理された画像（Ｄ）を取得するグレーレベルを正規化することができる。

本発明の好適例によれば、被験者に属するものとして識別ステップで検出された領域は、次に続く撮影画像露出調整ステップに対する視覚的に重要な画像として使用される。
本発明による画像処理方法の好適な実施の形態において、撮影サラタ被験者の皮膚に属する領域の識別ステップは、ベイヤー形式の８ビット画像を処理し、既に説明したようにして取得されるとともに図４に線図的に示す、最初のデータの１／４に対応するサイズを有するサブサンプルのカラー画像を構成する。

サブサンプルのこのようなカラー画像から開始して、撮影された被験者の皮膚に属する領域の識別ステップは、第１の確率的な実施の形態によるクロミナンススライシングヒストグラム又は第２のしきい値の実施の形態による正規化されたチャネルｒ，ｇを用いて実行される。

しかしながら、この第２のケースにおいて、正規化されたチャネルｒ，ｇは、

として規定され、ここで、

結果的に得られる２次元的なヒストグラムは、処理された画像のクロミナンススライシングを示し、したがって、図７に線図的に示すような撮影された被験者の皮膚に対応する領域は、取り出されたベイヤー形式の画像（ａ）と、撮影された被験者の皮膚に対応する領域を検出するために処理された画像（ｂ）と、これら領域の検出ヒストグラム（ｃ）ｒ−ｇとを連続的に示す。

本発明による方法は、最後に、従来技術で既に示した式（５）〜（７）によって取り出された色の再構成ステップを具え、Ｒ，Ｇ，Ｂ及びＲ’，Ｇ’，Ｂ’は、取り出され及び処理された画像の赤色値、緑色値及び青色値である。

上記ステップのシーケンスは、計算の観点から更なる簡単化に有利なベイヤーパターン形式の画像で直接実行し得る補正を許容する簡単な変更に適切である。実際には、図４のダイヤグラムによる皮膚の検出に必要な画像が一度構成されると、関連の領域に対して計算された平均値を、ベイヤーパターンの補正を直接実行するのに使用することができ、それは、例えば、上記欧州特許出願番号０１８３０８０３．１に記載されたようなモードを用いる。

しかしながら、式（５），（６），（７）に記載された色再構成式をこのケースに用いることができず、補正されたベイヤーパターンの出力結果は、単に式（４）を全てのモデル画素に適用することによって取得される。

換言すれば、位置（ｘ，ｙ）の画素のグレー値Ｉ（ｘ，ｙ）は、

に変更される。
ＣＭＯＳ−ＶＧＡセンサ及びWindows(登録商標)の評価キットを用いることによって実行される逆行の被験者の画像処理を、図８に示し、この場合、撮影された被験者の皮膚に属するものとして検出されたパネルＶの領域は、黒い背景として表示される。

同様な図９において、圧縮ｊｐｅｇフォーマットにおける通常のＶＧＡセンサによって取得された画像（ａ）及び従来のアベレージバンドＤＳＣ（デジタル静止カメラ）の４，１Ｍｐｉｘ ＣＣＤセンサによって取得された画像（ｂ）並びに本発明による方法によってそれぞれ処理された画像（ｂ），（ｄ）を示し、この場合、画像品質が向上したのがわかる。

既知の画像取出し装置のシミュレートされた応答曲線の傾向を示す。 図１の曲線として互いに相違する曲線に関連したＬＵＴ変換を示す。 既知の画像取出し装置によって取り出された逆光の被験者の画像を示す。 本発明による画像処理方法のステップの線形図を示す。 本発明による画像処理方法のステップにおいて必要である重要な領域を検出する次の画像処理を示す。 本発明による方法を次の画像処理によって線形的に示す。 本発明による画像処理方法のステップにおいて必要である重要な領域を検出する次の画像処理を示す。 本発明による方法によって取得された処理画像を示す。 本発明による方法によって取得された処理画像を示す。

Claims (13)

1. 画像取出し装置によって取出される、被験者に関連した画像の色情報を取り出すステップと、
   視覚的に関連のある領域を検出するステップと、
   取り出された画像のグレースケールを前記視覚的に関連のある領域に基づいて正規化することによって、取り出された画像の露出補正を行うステップとを具えるデジタル画像処理方法において、撮影された被験者の皮膚に対応する領域の識別ステップを更に具え、その領域を、前記露出補正を行うステップに対して視覚的に関心のある領域として使用することを特徴とするデジタル画像処理方法。
2. 前記認識ステップが、前記撮影された被験者の皮膚に対応する前記領域に属するものとして前記画像の画素を分類する必要があるか否かを評価するために、ＹｃｒＣｂ形式で取り出された前記画像を確率的にスライシングする構成ステップを具えることを特徴とする請求項１記載のデジタル画像処理方法。
3. 更に高いグレー値を有する画素を、前記撮影された被験者の皮膚に対応する前記領域に属するものとして分類することを特徴とする請求項２記載のデジタル画像処理方法。
4. 前記認識ステップが、前記撮影された被験者の皮膚に対応する前記領域に属するものとして前記画像の画素を分類すべきか否かを評価するために、ＲＧＢ形式で取り出された前記画像にしきい値領域を適用するステップを具えることを特徴とする請求項１記載のデジタル画像処理方法。
5. 前記しきい値領域を適用するステップが、取り出された画像のクロミナンススライシングヒストグラムの構成ステップを具えることを特徴とする請求項４記載のデジタル画像処理方法。
6. 前記クロミナンススライシングヒストグラムの構成ステップが、タイプ
   

   

   
   の正規化されたチャネルｒ，ｇを使用し、Ｒ，Ｇ及びＢを、取り出されたＲＧＢ画像の各画素の赤色値、緑色値及び青色値とすることを特徴とする請求項５記載のデジタル画像処理方法。
7. 前記認識ステップが、前記クロミナンススライシングヒストグラムにおいて前記しきい値領域に属する前記取り出された画像の画素によって形成された、撮影した被験者の皮膚に属する前記領域を検出するために、前記クロミナンススライシングヒストグラムを使用することを特徴とする請求項５記載のデジタル画像処理方法。
8. 前記取り出された画像をベイヤー形式とすることを特徴とする請求項１記載のデジタル画像処理方法。
9. 前記取り出された画像の露出補正が、タイプ
   

   

   
   のシミュレートされた応答関数を使用し、Ａ及びＣを、予め設定された制御パラメータとし、ｑを、２に基づく対数で表現された光量の値とし、グレー平均レベルａｖｇを、視覚的に関心がある領域で計算して、
   

   

   
   のような理想的な露出状態の距離Δを計算し、
   

   

   
   の位置（ｘ，ｙ）を有する画素の輝度値Ｙ（ｘ，ｙ）を変更することを特徴とする請求項８記載のデジタル画像処理方法。
10. 前記取り出された画像がベイヤー形式であり、関係
    

    

    
    に従うサブサンプルステップを設け、前記クロミナンススライシングヒストグラムの構成ステップが、タイプ
    

    

    
    の正規化されたチャネルｒ，ｇを使用することを特徴とする請求項５記載のデジタル画像処理方法。
11. 最終的な色再構成ステップを具えることを特徴とする請求項１記載のデジタル画像処理方法。
12. 前記画像をＲＧＢ形式で取出した請求項１１記載のデジタル画像処理方法において、前記色再構成ステップが、関係
    

    

    
    を具え、Ｒ，Ｇ，Ｂを、前記取り出された画像の赤色値、緑色値及び青色値とし、Ｒ’，Ｂ’，Ｇ’を、処理された画像の赤色値、緑色値及び青色値とすることを特徴とするデジタル画像処理方法。
13. 前記画像をベイヤー形式で取出した請求項１１記載のデジタル画像処理方法において、前記最終色再構成ステップで、位置（ｘ，ｙ）を有する画素のグレー値Ｉ（ｘ，ｙ）を、
    

    

    
    で変更することを特徴とするデジタル画像処理方法。

Images