JP5842940B2 - 画像処理装置及び電子カメラ - Google Patents

Description

本発明は、画像処理装置、及び電子カメラに関する。

近年、カメラの処理性能が向上し、カメラ内でＲＡＷ現像などの画像編集が可能なカメラが増えてきている。この場合、ＲＡＷ画像は、カメラの背面液晶を見ながらユーザが適宜に操作入力してユーザの好みに応じてカメラ内で画像編集し、ＪＰＥＧ等の画像フォーマットでメモリカード等に保存することができる。このような画像処理機能を搭載することにより、撮影後、直ちに画像を編集することができるとともに、パーソナルコンピュータ用の画像処理ソフトがなくても画像処理できるという利点がある。

特開２０００−５００８６号公報

しかしながら、現像後の画像はパーソナルコンピュータ等のディスプレイ装置に表示し、あるいはプリンタ等で印刷して鑑賞することが多く、この場合、カメラ内ＲＡＷ現像で使用した背面液晶とは輝度や白色点、観察時の周囲の明るさ等の画像を観察する条件（視環境）が異なることになる。従って、このような画像処理時の画像観察条件とは異なる画像観察条件で鑑賞する場合には、画像処理された処理画像をメモリカード等を介してパーソナルコンピュータに転送して、例えば上記特許文献１に記載されたようなカラーマッチング技術が応用された変換ソフト等で変換処理して保存し直すことが必要であり、利便性に欠けるという問題があった。

本発明はこのような点に鑑みてなされたものであり、画像処理を施した時の画像観察条件における画像の見えを該画像観察条件とは異なる他の画像観察条件で再現できる画像処理装置、及び電子カメラを提供することを目的とする。

本発明の画像処理装置は、画像を取得する画像取得部と、前記画像を画像処理した後の画像を表示する表示装置と、前記表示装置のデバイス特性を含み前記表示装置で表示される画像を観察する第１の視環境を取得する第１の視環境取得部と、前記画像処理した後の画像を観察する第２の視環境を取得する第２の視環境取得部と、前記第１の視環境と前記第２の視環境とに応じた階調補正を含む処理によって、前記画像を変換する変換部とを備え、前記変換部は、前記第１の視環境として明るさを複数のタイプに分けたものを含み、前記第２の視環境として明るさを複数のタイプに分けたものを含み、前記第１の視環境の複数の前記タイプと前記第２の視環境の複数の前記タイプとの組み合せに応じて設定した階調補正曲線を用いて前記階調補正を行う。

本発明の電子カメラは、本発明の画像処理装置を有して構成される。

本発明によれば、画像処理を施した時の画像観察条件における画像の見えを該画像観察条件とは異なる他の画像観察条件で再現することができる画像処理装置、及び電子カメラが提供され、ユーザの利便性を向上することができるという効果がある。

本発明の実施形態の電子カメラの概略構成を示すブロック図である。 本発明の実施形態の電子カメラの機能構成を示すブロック図である。 本発明の実施形態の電子カメラによる処理を示すフローチャートである。 本発明の実施形態の電子カメラの入力視環境の周囲明るさと出力視環境の周囲明るさとの組み合わせと階調補正曲線との対応を示す図である。 本発明の実施形態で用いる階調補正曲線の一例を示す図である。 本発明の実施形態の電子カメラにより保存される画像ファイルの概略構成を示す図である。

以下、本発明の実施形態について、図面を参照して詳細に説明する。

本実施形態の画像処理装置を備える電子カメラの概略構成が図１に示されている。この電子カメラ１は、制御部２、撮像部３、操作部４、背面液晶５、及び記録媒体６を概略備えて構成されている。

制御部２はＣＰＵ及び内部メモリ等を備えるコンピュータシステムであり、内部メモリに記憶された各種制御プログラムや後述する画像処理プログラム等を実行することにより、電子カメラ１の各種機能を実現する。撮像部３は、ＣＣＤやＣＭＯＳ等からなる撮像素子を備え、不図示の撮影レンズを介して結像された被写体の像を撮像し、Ａ／Ｄ変換したデジタルデータとしての撮影画像（ＲＡＷ画像データ等の画像データ）を出力する。

操作部４は、電子カメラ１の筐体に外部から操作できるように配置された各種のボタン、スイッチ、ダイヤル、十字キー等からなり、電子カメラ１のユーザは操作部４を操作することにより、撮影や画像編集等に関する指示を行うことができる。背面液晶５は、電子カメラ１の背面に設けられるＴＦＴ液晶パネル等からなるディスプレイ装置（表示装置）であり、背面液晶５には、ライブビュー画像や撮影された画像等が表示される。背面液晶５には、操作部４を介してユーザがモード設定やパラメータの選択設定等を行うための各種のメニュー画面等も表示される。記録媒体６は電子カメラ１に設けられた不図示のスロットに着脱可能に装着されるメモリカード等からなる可搬性を有する外部記憶装置であり、現像前のＲＡＷ画像や現像後の処理画像等に係る画像ファイルが保存（記憶）される。

この電子カメラ１に搭載される画像処理装置１０の機能構成が図２に示されている。この画像処理装置１０は、入力画像を取得する画像取得部（画像取得手段）１１と、画像取得部１１により取得された入力画像を画像処理する画像処理部（画像処理手段）１２と、画像処理部１２による画像処理のパラメータ決定に使用する画像観察条件（入力視環境）を取得する入力視環境取得部（入力視環境取得手段）１３と、画像処理部１２により画像処理された処理画像を観察する予定の画像観察条件（出力視環境）を取得する出力視環境取得部（出力視環境取得手段）１４と、入力視環境取得部１３で取得した画像観察条件で観察した時の画像の見えが出力視環境取得部１４で取得した画像観察条件で観察した時に再現されるように、処理画像を変換する見え再現部（変換手段）１５と、見え再現部１５で変換した画像を保存する画像保存部（画像保存手段）１６とを備えて構成されている。なお、以下では「画像を観察する条件」を「視環境」と称する。

画像処理装置１０を構成する各機能部１１〜１６は、コンピュータシステムとしての制御部２が所定の画像処理プログラム（現像処理プログラム）を実行することにより実現される。但し、画像処理装置１０は、このようにソフトウエアとコンピュータシステムというハードウエア資源とを協働させることによって実現するのみならず、その一部又は全部をＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等の電子回路を用いてハードウエアとして実現するようにしてもよい。

次に、画像処理装置１０による処理を図３に示すフローチャートに従って説明する。この処理は、電子カメラ１で、ユーザが所定の撮影のための操作を行うことにより、撮像部３により撮影された撮影画像（ＲＡＷ画像）又は画像処理された後の処理画像を背面液晶５で見ながら画像編集し保存する場合に実行される処理である。

（入力画像取得Ｓ１）
まず、画像取得部１１により撮像部３による撮影画像（ＲＡＷ画像）が入力画像として取得される（ステップＳ１）。このＲＡＷ画像は記録媒体６又は制御部２の内部メモリの作業領域（一時記憶バッファ）に画像ファイルとして保存される。

（入力視環境取得Ｓ２）
次いで、入力視環境取得部１３により入力視環境が取得される（ステップＳ２）。この入力視環境は、ユーザが画像編集時に背面液晶５で画像を観察した時の視環境情報である。この入力視環境には、そのパラメータとして、背面液晶５の照明白色点（Ｘ_W，Ｙ_W，Ｚ_W）とデバイス輝度Ｙ_W0、及び周囲輝度Ｙ_SW0が含まれる。照明白色点（Ｘ_W，Ｙ_W，Ｚ_W）とデバイス輝度Ｙ_W0は、予め背面液晶５のデバイス特性を記憶しておき、この値を読み出すことにより取得することができる。

また、周囲輝度Ｙ_SW0は、露出を自動調整する為にカメラに搭載されている測光機能を用いて、ユーザが背面液晶５を見ながら画像編集を行っている時の周囲の明るさを測光して算出することができる。なお、周囲輝度Ｙ_SW0は、電子カメラ１とは別体の測光装置を用いて測定した結果を、ユーザが操作部４を用いて入力設定するようにしてもよい。また、周囲輝度Ｙ_SW0として、例えば、「昼間の外の明るさ」、「室内の明るさ」、「暗い」等の複数の選択肢を予め用意しておき、ユーザがこれらの中から近い条件を、操作部４を用いて選択指定し、選択した結果に対する平均的な値を用いるようにしてもよい。

なお、入力視環境としては、これらの照明白色点、デバイス輝度、周囲輝度の他、周囲の白色点等の他のパラメータが含まれていてもよい。また、入力視環境は、撮影画像、ホワイトバランス、撮影条件のうちの少なくとも一つを用いて、そのパラメータの一部又は全部を自動的に決定するようにしてもよい。

（出力視環境及び出力色空間取得Ｓ３）
次いで、出力視環境取得部１４により出力視環境及び出力色空間が取得される（ステップＳ３）。この出力視環境は、当該画像を鑑賞する予定の表示手段（パーソナルコンピュータのディスプレイ装置、電子式のフォトアルバム、写真印刷等）で観察する時の視環境情報である。出力視環境には、そのパラメータとして、当該表示手段に係る照明白色点（Ｘ_W’，Ｙ_W’，Ｚ_W’）とデバイス輝度（照明輝度）Ｙ_W0’、及び周囲輝度Ｙ_SW0’）が含まれる。これらのパラメータの値は、ユーザが予め又は必要に応じて設定した値を読み込むことにより取得することができる。

ユーザによる設定としては、例えば、「印刷の標準視環境」、「印刷を電球照明下で観察する場合の視環境」、「ディスプレイの標準視環境」、「テレビ表示」、「カメラの背面液晶」等の複数の選択肢を用意しておき、これらの中からユーザが近い条件を選択し、選択した結果に対する一般的な視環境や標準視環境を出力視環境として設定することができる。

また、出力色空間は、ｓＲＧＢやＣＭＹＫ等のいくつかの選択肢を用意しておき、これらの中からユーザが選択指定するようにできる。なお、出力視環境には、これらの照明白色点、デバイス輝度（照明輝度）、周囲輝度の他、周囲の白色点等の他のパラメータが含まれていてもよい。

（画像処理Ｓ４）
次に、画像取得部１１により取得された入力画像（ＲＡＷ画像）に対して、画像処理部１２により画像処理（カメラ内ＲＡＷ現像）が実行される（ステップＳ４）。まず、画像処理部１２は、入力画像に対して、基本設定に基づいてホワイトバランス（ＷＢ）調整、露出補正、コントラスト補正等の画像処理を施し、背面液晶５に表示する。このような基本設定に基づく画像処理を施さず、ＲＡＷ画像そのものを背面液晶５に表示するようにしてもよい。

ユーザは、背面液晶５に表示された画像を見ながら、操作部４を用いて、自分の好みに応じて、画像処理のための各種のパラメータ（ホワイトバランスやコントラスト等）を種々変更し、最適と思うものを決定することにより、当該ＲＡＷ画像を現像（編集）することができる。画像処理部１２により、ユーザが選択したパラメータに従って画像処理が入力画像に施され、その結果が背面液晶５に表示されるので、ユーザはさらに編集が必要と考える場合には他のパラメータに変更して同様の操作を繰り返し、満足する画像が得られたならば決定のための操作を行うことにより、画像編集を終了する。

なお、ユーザによる画像編集のための各種パラメータの選択では、画像処理部１２により画像処理された処理画像の保存の際の画像フォーマット（ＪＰＥＧ、ＴＩＦＦ等）も選択指定するものとする。画像処理部１２により画像処理された処理画像は見え再現部１５に送られる。

（見え再現処理Ｓ５）
次いで、見え再現部１５は、画像処理部１２から取得した処理画像、入力視環境取得部１３により取得された入力視環境、及び出力視環境取得部１４により取得された出力視環境に基づいて、見え再現処理を実行する（ステップＳ５）。この見え再現処理は、処理画像を入力視環境（背面液晶５）で観察した時の画像の見えが、画像を鑑賞する予定の出力視環境（パーソナルコンピュータのディスプレイ装置や写真印刷等）で観察した時に再現されるように画像変換した出力画像を作成する処理である。

見え再現処理では、ＣＩＥＣＡＭ０２（ＣＩＥ Ｃｏｌｏｕｒ Ａｐｐｅａｒａｎｃｅ Ｍｏｄｅｌ ２００２）やその他の色の見えモデルを用いて処理画像から出力画像に変換する。ここでは一例として、制御部２に対する処理負担を軽減するため、ＣＩＥＣＡＭ０２よりも簡単な簡易色の見えモデルを用いて再現する場合の処理を説明する。但し、見え再現処理は、このようなモデルに限定されるものではない。

まず、処理画像はデバイス依存の色空間（背面液晶５で使用されているＲＧＢの原色座標）で記述されているので、デバイスに依存しない色空間であるＣＩＥ １９３１ ＸＹＺ色空間へ色変換する。ＲＧＢ色空間からＸＹＺ色空間への変換は、例えば下記式（１）のような３×３のマトリックスＭ_RGB→_XYZを用いて変換する。

次に、入力視環境から出力視環境に色順応変換を行う。色順応変換では、まずそれぞれの視環境への順応度合いを示す順応ファクタＤ，Ｄ’をそれぞれの視環境における照明輝度と周囲の明るさから、下記式（２）及び式（３）を用いて算出する。

ここで、Ｌ_A，Ｌ_A’は順応輝度であり、入力視環境及び出力視環境において順応している輝度である。これらの順応輝度Ｌ_A，Ｌ_A’としては、通常は照明輝度の１／５を用いる。また、Ｆ，Ｆ’は入力視環境及び出力視環境における照明輝度と周囲輝度の比に応じて決まるパラメータである。

次に、ＸＹＺ色空間から錐体応答ＬＭＳ色空間へマトリックスＭ_CAT02を用いて色変換する。ＬＭＳ色空間で入力視環境及び出力視環境における照明白色点（Ｘ_W，Ｙ_W，Ｚ_W），（Ｘ_W’，Ｙ_W’，Ｚ_W’）と順応ファクタＤ，Ｄ’を用いて、Ｖｏｎ Ｋｒｉｅｓの色順応予測式を用いて色順応変換を行い、ＬＭＳ色空間からＸＹＺ色空間に変換する。次に、ＸＹＺ色空間からステップＳ３で取得した出力色空間Ｒ’Ｇ’Ｂ’に変換する。すなわち、下記式（４）のような色変換を各画素について行う。

その後、出力色空間の階調特性に合わせて階調変換を行う。この階調変換では、まず、出力色空間に応じてガンマ補正を行う。例えば、出力色空間としてｓＲＧＢ色空間が選択されていれば、約２．２乗のガンマ値をかける。次に、入力視環境と出力視環境の周囲の明るさ（照明輝度と周囲輝度の比）の組合せに応じて、図４を用いて階調補正曲線を選択し、階調補正を行う。なお、この階調補正曲線と出力色空間の階調特性を組み合わせた階調曲線を予め作成しておき、こちらを使用してもよい。

階調補正は以下のように行う。入力視環境における周囲の明るさ及び出力視環境における周囲の明るさは、それぞれ３タイプ（「平均的な明るさ」、「薄暗い」、「暗い」）に大別することができるので、周囲輝度／照明輝度（Ｙ_SW0／Ｙ_W0又はＹ_SW0’／Ｙ_WO’）が所定値（例えば、０．２）以上の場合には「平均的な明るさ」と、０付近の場合には「暗い」と、これらの間の場合には「薄暗い」と判定する。次に、入力視環境の周囲の明るさと出力視環境の周囲の明るさの組み合わせに対応する階調補正曲線の種別（「Ａ」〜「Ｅ」）を図４に従って特定する。

例えば、入力視環境の周囲の明るさが「平均的な明るさ」であり、出力視環境の周囲の明るさが同じく「平均的な明るさ」である場合には、階調補正曲線「Ｃ」が選択され、入力視環境の周囲の明るさが「平均的な明るさ」であり、出力視環境の周囲の明るさが「暗い」である場合には、階調補正曲線「Ａ」が選択される。階調補正曲線「Ａ」〜「Ｅ」としては、例えば、図５に示すような曲線が予め設定されているものとし、対応する曲線を用いて階調補正が行われる。

（出力画像保存Ｓ６）
ステップＳ５において見え再現処理が完了し、見え再現部１５から出力される出力画像（変換画像）は、ステップＳ４でユーザにより設定された画像フォーマット（ＪＰＥＧ等）に変換され、画像保存部１６により記録媒体６に画像ファイルとして保存（記憶）される（ステップＳ６）。この保存処理の後、一連の処理が終了する。

画像保存部１６は、図６に示すように、ＪＰＥＧ等に変換した画像ファイルを記録媒体６に保存する際に、当該画像ファイルに付加情報（ｅｘｉｆタグ情報）として、見え再現処理（ステップＳ５）で使用した出力視環境情報を設定して保存するようにできる。このようにすれば、予定された出力視環境とは異なる他の出力視環境で当該画像を観察することになった場合、例えば、パーソナルコンピュータのディスプレイ装置での観察を予定していたが、写真印刷に変更するような場合に、当該他の出力視環境で画像の見えを再現するように再変換処理することができる。

この再変換処理は、図３のフローチャートにおいて、画像処理（ステップＳ４）を除く、ステップＳ１，Ｓ２，Ｓ３，Ｓ５，Ｓ６に相当する処理を実行することにより行うことができる。すなわち、ステップＳ１では記録媒体６に保存された画像ファイルに係る画像を入力画像として取得し、ステップＳ２では当該画像ファイルに付加情報として設定された出力視環境（例えば、パーソナルコンピュータのディスプレイ装置の視環境）を入力視環境として取得し、ステップＳ３では他の出力視環境（例えば、写真印刷の視環境）を出力視環境として取得する。次いで、ステップＳ４をスキップして、ステップＳ５で見え再現処理を実行し、ステップＳ６で再変換処理した画像に係る画像ファイルを記録媒体６に再変換前の画像ファイルとは別に又は上書き保存する。

なお、画像保存部１６により保存する画像ファイルに設定される付加情報としては、上述した出力視環境情報以外に、画像処理（ステップＳ４）や見え再現処理（ステップＳ５）で用いられた各種のパラメータ（例えは、ステップＳ４の画像処理で用いたホワイトバランスやコントラストの設定値、ステップＳ５の階調補正に用いた階調補正曲線の種別等）の一部又は全部、処理内容（例えば、ステップＳ５の見え再現処理で用いた色の見えモデル等）を設定するようにしてもよい。

本実施形態によると、電子カメラ１で撮影された画像を当該電子カメラ１の背面液晶５を見ながらユーザが適宜に操作入力して、ユーザの好みに応じて電子カメラ１内で画像処理することができるので、撮影現場において、撮影直後にその被写体を確認等しながら画像編集することができる。これにより、パーソナルコンピュータに転送して別途画像編集（画像処理）する必要がなくなるとともに、パーソナルコンピュータ用の画像処理ソフト（レタッチソフト）がなくても画像処理することができる。

これに加えて、画像の鑑賞を予定している視環境（パーソナルコンピュータのディスプレイ装置や写真印刷等）に応じて、電子カメラ１内において見え再現処理を行って画像を保存するようにしたので、電子カメラ１の背面液晶５を見ながら画像編集したその時の画像の見えを鑑賞予定の視環境で忠実に再現することができ、しかもパーソナルコンピュータで見えを再現するための変換ソフト等も必要ない。従って、ユーザは別途パーソナルコンピュータを用いて画像処理、見え再現処理を行うことなく、電子カメラ１の背面液晶５で見て決定した処理画像の見えを他の視環境で忠実に再現することができ、高い利便性を備えた電子カメラを実現することができる。

なお、上述した実施形態では、電子カメラ１が背面液晶５を備える場合を前提として説明したが、電子ビューファインダを備え、電子ビューファインダを見ながら画像編集するようにした電子カメラであっても本発明を適用することができる。電子ビューファインダの場合には、入力視環境としての周囲輝度は通常は変化しないと考えられるため、一律に設定された値を用いればよい。

なお、以上説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。従って、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。

１…電子カメラ、２…制御部、３…撮像部、４…操作部、５…背面液晶、６…記録媒体、１０…画像処理装置、１１…画像取得部、１２、…画像処理部、１３…入力視環境取得部、１４…出力視環境取得部、１５…見え再現部、１６…画像保存部。

Claims (7)

1. 画像を取得する画像取得部と、
   前記画像を画像処理した後の画像を表示する表示装置と、
   前記表示装置のデバイス特性を含み前記表示装置で表示される画像を観察する第１の視環境を取得する第１の視環境取得部と、
   前記画像処理した後の画像を観察する第２の視環境を取得する第２の視環境取得部と、
   前記第１の視環境と前記第２の視環境とに応じた階調補正を含む処理によって、前記画像を変換する変換部と
   を備え、
   前記変換部は、前記第１の視環境として明るさを複数のタイプに分けたものを含み、前記第２の視環境として明るさを複数のタイプに分けたものを含み、前記第１の視環境の複数の前記タイプと前記第２の視環境の複数の前記タイプとの組み合せに応じて設定した階調補正曲線を用いて前記階調補正を行う画像処理装置。
2. 前記変換部は、前記第１の視環境における前記タイプの明るさが前記第２の視環境における前記タイプの明るさより明るい場合には前記第２の視環境で観察する前記画像の階調を前記第１の視環境で観察する前記画像より低くし、前記第１の視環境における前記タイプの明るさが前記第２の視環境における前記タイプの明るさより暗い場合には前記第２の視環境で観察する前記画像の階調を前記第１の視環境で観察する前記画像より高くする階調補正を行う請求項１に記載の画像処理装置。
3. 前記変換部は、前記第１の視環境で観察した前記画像の見えが、前記第２の視環境で観察した時に再現されるように前記画像を変換する請求項１または請求項２に記載の画像処理装置。
4. 前記第２の視環境取得部は、前記第２の視環境を設定された項目に基づいて取得し、
   前記設定された項目は、印刷の標準視環境、印刷を電球照明下で観察する場合の視環境、ディスプレイの標準視環境、テレビ表示及びカメラの液晶のうちの少なくとも一つを含む請求項１乃至請求項３のいずれか一項に記載の画像処理装置。
5. 請求項１乃至請求項４のいずれか一項に記載の画像処理装置を有する電子カメラ。
6. 撮像素子を更に有し、
   前記画像取得部は、前記画像として前記撮像素子から出力される撮影画像を取得する請求項５に記載の電子カメラ。
7. 測光機能を更に有し、
   前記第１の視環境は、前記測光機能により周囲の明るさを測光することにより算出される周囲輝度を含む請求項５または請求項６に記載の電子カメラ。

Images