JP2010272109A - 画像処理装置、画像処理方法およびプログラム - Google Patents

Abstract

【課題】属性が異なる被写体像を高精度に高画質化すること。
【解決手段】画像処理装置は、被写体像についての複数の属性にそれぞれ対応づけて、それぞれの属性の被写体像をそれぞれ高画質化する複数の画像処理パラメータを格納するパラメータ格納部と、パラメータ格納部が格納している複数の画像処理パラメータをともに用いて、入力画像に含まれる被写体像を高画質化した高画質画像を生成する画像生成部とを備える。複数の画像処理パラメータの異なる組み合わせを用いて入力画像に含まれる被写体像を高画質化した画像から、入力画像との比較に基づいて少なくとも１つの画像を選択し、選択した画像を高画質画像として生成してよい。
【選択図】図１

Description

本発明は、画像処理装置、画像処理方法およびプログラムに関する。

高解像道画像を低解像度にした低解像度画像から瞳領域を特定して、その瞳領域に対応する高解像度画像上の画像領域から瞳領域を検出して、検出した領域に赤目補正処理を施す画像処理方法が知られている（例えば、特許文献１参照。）。また、カメラで撮像した画像から文字を認識する映像入力装置が知られている（例えば、特許文献２参照。）。この映像入力装置では、文字の認識が可能になるまで、画素ずらしにより撮像して文字領域の解像度を高くしていって、解像度を高めた文字領域から改めて文字認識する。
特許文献１ 特開２００５−１４９２１７号公報
特許文献２ 特開平９−８３７８９号公報

向きが異なる被写体像などのように属性が異なる被写体像には、その被写体像の属性に適した高画質化処理を施さなければ高精度に高画質化することができない、という課題があった。

上記課題を解決するために、本発明の一態様においては、画像処理装置であって、被写体像についての複数の属性にそれぞれ対応づけて、それぞれの属性の被写体像をそれぞれ高画質化する複数の画像処理パラメータを格納するパラメータ格納部と、パラメータ格納部が格納している複数の画像処理パラメータをともに用いて、入力画像に含まれる被写体像を高画質化した高画質画像を生成する画像生成部とを備える。

画像生成部は、複数の画像処理パラメータの異なる組み合わせを用いて入力画像に含まれる被写体像を高画質化した画像から、入力画像との比較に基づいて少なくとも１つの画像を選択し、選択した画像を高画質画像として生成してよい。

入力画像に含まれる被写体像の属性を特定する属性特定部と、属性特定部により特定された属性により適合する属性に対応づけてパラメータ格納部が格納している複数の画像処理パラメータをより優先して選択するパラメータ選択部と、画像生成部は、パラメータ選択部により選択された複数の画像処理パラメータをともに用いて、入力画像に含まれる被写体像を高画質化した高画質画像を生成してよい。

入力画像に含まれる被写体像を高画質化する場合における、複数の画像処理パラメータに対する重みを決定する重み決定部をさらに備え、画像生成部は、重み決定部が決定した重みに基づいて、パラメータ選択部により選択された複数の画像処理パラメータをともに用いて入力画像を高画質化した高画質画像を生成してよい。

重み決定部は、特定された属性に対する適合度がより大きい属性に対応づけられた画像処理パラメータに対する重みづけがより大きい重みを決定してよい。

パラメータ格納部は、被写体像として撮像された被写体の状態を示す複数の属性にそれぞれ対応づけて、複数の画像処理パラメータを格納しており、属性特定部は、入力画像に含まれる被写体像として撮像された被写体の状態を、当該被写体像から特定してよい。

パラメータ格納部は、被写体像として撮像された被写体の向きを示す複数の属性にそれぞれ対応づけて、複数の画像処理パラメータを格納しており、属性特定部は、入力画像に含まれる被写体像として撮像された被写体の向きを、当該被写体像から特定してよい。

パラメータ格納部は、被写体像として撮像された人物の顔の向きを示す複数の属性にそれぞれ対応づけて、複数の画像処理パラメータを格納しており、属性特定部は、入力画像に含まれる被写体像として撮像された人物の顔の向きを、当該被写体像から特定してよい。

パラメータ格納部は、被写体像として撮像された人物の表情を示す複数の属性にそれぞれ対応づけて、複数の画像処理パラメータを格納しており、属性特定部は、入力画像に含まれる被写体像として撮像された人物の表情を、当該被写体像から特定してよい。

パラメータ格納部は、被写体像として撮像された人物のしぐさを示す複数の属性にそれぞれ対応づけて、複数の画像処理パラメータを格納しており、属性特定部は、入力画像に含まれる被写体像として撮像された人物のしぐさを、当該被写体像から特定してよい。

パラメータ格納部は、被写体像として撮像された人物の姿勢を示す複数の属性にそれぞれ対応づけて、複数の画像処理パラメータを格納しており、属性特定部は、入力画像に含まれる被写体像として撮像された人物の姿勢を、当該被写体像から特定してよい。

パラメータ格納部は、被写体像として撮像された人物が着用している着用物を示す複数の属性にそれぞれ対応づけて、複数の画像処理パラメータを格納しており、属性特定部は、入力画像に含まれる被写体像として撮像された人物が着用している着用物を、当該被写体像から特定してよい。

パラメータ格納部は、被写体像として撮像された被写体の種別を示す複数の属性にそれぞれ対応づけて、複数の画像処理パラメータを格納しており、属性特定部は、入力画像に含まれる被写体像として撮像された被写体の種別を、当該被写体像から特定してよい。

パラメータ格納部は、被写体像として撮像された人物の人種を示す複数の属性にそれぞれ対応づけて、複数の画像処理パラメータを格納しており、属性特定部は、入力画像に含まれる被写体像として撮像された人物の人種を、当該被写体像から特定してよい。

パラメータ格納部は、被写体像として撮像された人物の性別を示す複数の属性にそれぞれ対応づけて、複数の画像処理パラメータを格納しており、属性特定部は、入力画像に含まれる被写体像として撮像された人物の性別を、当該被写体像から特定してよい。

パラメータ格納部は、被写体像として撮像された人物の年齢を示す複数の属性にそれぞれ対応づけて、複数の画像処理パラメータを格納しており、属性特定部は、入力画像に含まれる被写体像として撮像された人物の年齢を、当該被写体像から特定してよい。

パラメータ格納部は、被写体像を高解像度化する複数の画像処理パラメータ、被写体像を表す画素値の階調数を増加させる複数の画像処理パラメータ、被写体像を表す画素値の色数を増加させる複数の画像処理パラメータ、被写体像を低ノイズ化する複数の画像処理パラメータ、被写体像を低アーチファクト化する複数の画像処理パラメータ、被写体像のボケを低減する複数の画像処理パラメータ、および、被写体像をシャープネス化する複数の画像処理パラメータの少なくともいずれかを、それぞれの属性の被写体像をそれぞれ高画質化する複数の画像処理パラメータとして格納してよい。

パラメータ格納部は、動画に含まれる被写体像を高フレームレート化する複数の画像処理パラメータを格納してよい。

パラメータ選択部が選択した複数の画像処理パラメータを合成した合成パラメータを生成するパラメータ生成部をさらに備え、画像生成部は、パラメータ生成部が生成した合成パラメータを用いて入力画像に含まれる被写体像を高画質化することにより、高画質画像を生成してよい。

パラメータ格納部が格納する画像処理パラメータを、外部から取得する外部情報取得部をさらに備え、パラメータ格納部は、外部情報取得部が取得した画像処理パラメータを格納してよい。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

一実施形態に係る画像処理システム１０の一例を示す図である。 画像処理装置１２０のブロック構成の一例を示す図である。 圧縮部２４０のブロック構成の一例を示す図である。 画像処理装置１７０のブロック構成の一例を示す図である。 圧縮部２４０のブロック構成の他の一例を示す図である。 特徴領域特定部２０３のブロック構成の一例を示す図である。 特徴領域特定部２０３における特徴領域の特定処理の一例を示す図である。 特徴領域特定部２０３における特徴領域の特定処理の他の一例を示す図である。 第２特徴領域特定部６２０による特徴領域の判断処理の一例を示す図である。 画像処理装置１７０が有する画像処理部３３０のブロック構成の一例を示す図である。 パラメータ格納部１０１０が格納しているパラメータの一例をテーブル形式で示す図である。 特定パラメータの重みづけの一例を示す図である。 表示装置１８０のブロック構成の一例を示す図である。 表示エリア１４００の一例を示す図である。 他の実施形態に係る画像処理システム２０の一例を示す図である。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、一実施形態に係る画像処理システム１０の一例を示す。以下に説明するように、画像処理システム１０は、一例として監視システムとして機能することができる。

画像処理システム１０は、監視対象空間１５０を撮像する複数の撮像装置１００ａ−ｄ、撮像装置１００により撮像された撮像画像を処理する画像処理装置１２０、通信ネットワーク１１０、画像処理装置１７０、画像ＤＢ１７５、および複数の表示装置１８０ａ−ｄを備える。画像処理装置１７０は、監視対象空間１５０とは異なる空間１６５に設けられている。また、表示装置１８０は、監視対象空間１５０および空間１６５とは異なる空間１６０に設けられている。

以下の説明において、撮像装置１００ａおよび撮像装置１００ｂを撮像装置１００と総称する場合がある。また、表示装置１８０ａ−ｄを表示装置１８０と総称する場合がある。同様に、以後の説明においては、末尾の英文字など、数字符号に続く文字を省略することで、数字符号が指し示すものを総称することがある。

撮像装置１００ａは、撮像部１０２ａおよび撮像画像圧縮部１０４ａを有している。撮像部１０２ａは、連続して監視対象空間１５０を撮像することによって複数の撮像画像を撮像する。なお、撮像部１０２ａにより得られる撮像画像は、ＲＡＷ形式の撮像画像であってよい。撮像画像圧縮部１０４ａは、撮像部１０２ａにより撮像されたＲＡＷ形式の撮像画像を同時化して、同時化して得られた複数の撮像画像を含む動画をＭＰＥＧ符号化等により圧縮して、動画データを生成する。このように、撮像装置１００ａは、監視対象空間１５０を撮像して得られた動画を符号化して動画データを生成する。撮像装置１００ａは、当該動画データを画像処理装置１２０に出力する。

なお、撮像装置１００ｂ、撮像装置１００ｃ、および撮像装置１００ｄは、それぞれ撮像装置１００ａと同様の構成を有するので、撮像装置１００ｂ、撮像装置１００ｃ、および撮像装置１００ｄの各構成要素の説明を省略する。このようにして、画像処理装置１２０は、複数の撮像装置１００のそれぞれにより生成された動画データを、複数の撮像装置１００のそれぞれから取得する。

画像処理装置１２０は、撮像装置１００から取得した動画データを復号することにより、動画を取得する。画像処理装置１２０は、取得した動画に含まれる複数の撮像画像のそれぞれから、人物１３０が撮像された領域、車輌等の移動体１４０が撮像された領域等のように、特徴の種類が異なる複数の特徴領域を検出する。そして、画像処理装置１２０は、特徴の種類に応じた強度で特徴領域の画像を圧縮するとともに、特徴領域以外の領域の画像を、それぞれの特徴領域の画像を圧縮する圧縮強度より強い強度で圧縮する。

なお、画像処理装置１２０は、撮像画像から検出された特徴領域を特定する情報を含む特徴領域情報を生成する。そして、画像処理装置１２０は、特徴領域情報を圧縮動画データに付帯して、通信ネットワーク１１０を通じて画像処理装置１７０に送信する。

画像処理装置１７０は、特徴領域情報が対応づけられた圧縮動画データを画像処理装置１２０から受信する。そして、画像処理装置１７０は、圧縮動画データに対応づけられている特徴領域情報に対応づけて、当該圧縮動画データを画像ＤＢ１７５に記憶させる。なお、画像ＤＢ１７５は、ハードディスク等の不揮発性の記憶媒体に圧縮動画データを記憶してよい。このように、画像ＤＢ１７５は、圧縮された撮像画像を記憶する。

また、画像処理装置１７０は、表示装置１８０からの要求に応じて、画像ＤＢ１７５から圧縮動画データおよび特徴領域情報を読み出して、読み出した圧縮動画データを特徴領域情報を利用して伸張して表示用動画を生成して、通信ネットワーク１１０を通じて表示装置１８０に送信する。表示装置１８０は、画像処理装置１７０から受信した表示用動画を表示する。

なお、画像処理装置１７０は、画像処理装置１２０から取得した圧縮動画データを、特徴領域情報を利用して伸張して表示用動画を生成して、画像ＤＢ１７５に記憶させてもよい。このとき、画像処理装置１７０は、特徴領域情報を対応づけて表示用動画を画像ＤＢ１７５に記憶させしてもよい。そして、画像処理装置１７０は、表示装置１８０からの要求に応じて、画像ＤＢ１７５から表示用動画を読み出して、特徴領域情報とともに表示装置１８０に送信してもよい。

また、表示装置１８０は、画像処理装置１７０または画像処理装置１２０から特徴領域情報および圧縮動画データを受信してもよい。表示装置１８０は、受信した圧縮動画データを復号して表示装置１８０に表示させる場合に、復号して得られた撮像画像における特徴領域を一旦単純拡大して表示装置１８０に表示させてよい。表示装置１８０は、表示装置１８０における処理容量に応じて各特徴領域の画質を決定して、決定した画質で特徴領域の画像を高画質化してよい。表示装置１８０は、表示装置１８０が表示している撮像画像における特徴領域の画像を、高画質化した特徴領域の画像で差し替えて表示装置１８０に表示させてもよい。

なお、特徴領域情報は、特徴領域の位置、特徴領域の大きさ、特徴領域の数、特徴領域が検出された撮像画像を識別する識別情報等を含むテキストデータ、もしくは当該テキストデータに圧縮、暗号化等の処理が施されたデータであってよい。そして、画像処理装置１７０は、特徴領域情報が含む特徴領域の位置、特徴領域の大きさ、特徴領域の数等に基づいて、種々の検索条件を満たす撮像画像を特定する。そして、画像処理装置１７０は、特定した撮像画像を復号して、表示装置１８０に提供することにより表示装置１８０に表示させてもよい。

このように、画像処理システム１０によると、特徴領域を示す情報を動画に対応づけて記憶しているので、動画における所定の条件に適合する撮像画像群を高速に検索、頭出しをすることができる。また、画像処理システム１０によると、所定の条件に適合する撮像画像群だけ復号することができるので、再生指示に即応して速やかに所定の条件に適合する部分動画を表示することができる。

なお、記録媒体８０は、画像処理装置１２０、画像処理装置１７０、表示装置１８０用のプログラムを記憶している。記録媒体８０が記憶しているプログラムは、本実施形態に係る画像処理装置１２０、画像処理装置１７０、表示装置１８０としてそれぞれ機能するコンピュータなどの電子情報処理装置に提供される。当該コンピュータが有するＣＰＵは、当該プログラムの内容に応じて動作して、当該コンピュータの各部を制御する。ＣＰＵが実行するプログラムは、本図および以後の図に関連して説明される画像処理装置１２０、画像処理装置１７０、表示装置１８０などとして当該コンピュータを機能させる。

記録媒体８０としては、ＣＤ−ＲＯＭの他に、ＤＶＤまたはＰＤ等の光学記録媒体、ＭＯまたはＭＤなどの光磁気記録媒体、テープ媒体またはハードディスク装置などの磁気記録媒体、半導体メモリ、磁気メモリなどを例示することができる。また、専用通信ネットワークあるいはインターネットに接続されたサーバシステムに設けたハードディスクまたはＲＡＭ等の記憶装置が記録媒体８０として機能することもできる。

図２は、画像処理装置１２０のブロック構成の一例を示す。画像処理装置１２０は、画像取得部２５０、特徴領域特定部２０３、外部情報取得部２８０、圧縮制御部２１０、圧縮部２４０、対応付け処理部２０６、および出力部２０７を備える。画像取得部２５０は、圧縮動画取得部２０１および圧縮動画伸張部２０２を有する。

圧縮動画取得部２０１は、圧縮された動画を取得する。具体的には、圧縮動画取得部２０１は、撮像装置１００が生成した、符号化された動画データを取得する。圧縮動画伸張部２０２は、圧縮動画取得部２０１が取得した動画データを伸張することにより、動画に含まれる複数の撮像画像を生成する。具体的には、圧縮動画伸張部２０２は、圧縮動画取得部２０１が取得した、符号化された動画データを復号して、動画に含まれる複数の撮像画像を抽出する。なお、動画に含まれる撮像画像は、フレーム画像であってよく、フィールド画像であってもよい。

圧縮動画伸張部２０２によって得られた複数の撮像画像は、特徴領域特定部２０３および圧縮部２４０に供給される。特徴領域特定部２０３は、複数の撮像画像を含む動画から特徴領域を検出する。具体的には、特徴領域特定部２０３は、複数の撮像画像のそれぞれから特徴領域を検出する。

例えば、特徴領域特定部２０３は、動画において画像内容が変化する画像領域を、特徴領域として検出する。具体的には、特徴領域特定部２０３は、動くオブジェクトを含む画像領域を、特徴領域として検出してよい。なお、特徴領域特定部２０３は、複数の撮像画像のそれぞれから、特徴の種類が異なる複数の特徴領域を検出してよい。なお、特徴の種類とは、人物と移動体等のように、オブジェクトの種類を指標として分類される種類であってよい。また、オブジェクトの種類は、オブジェクトの形状またはオブジェクトの色の一致度に基づいて決定されてよい。このように、特徴領域特定部２０３は、複数の撮像画像から、含まれるオブジェクトの種類が異なる複数の特徴領域を検出してよい。

例えば、特徴領域特定部２０３は、予め定められた形状パターンに予め定められた一致度以上の一致度で一致するオブジェクトを複数の撮像画像のそれぞれから抽出して、抽出したオブジェクトを含む撮像画像における領域を、特徴の種類が同じ特徴領域として検出してよい。なお、形状パターンは、特徴の種類毎に複数定められてよい。また、形状パターンの一例としては、人物の顔の形状パターンを例示することができる。なお、複数の人物毎に異なる顔のパターンが定められてよい。これにより、特徴領域特定部２０３は、異なる人物をそれぞれ含む異なる領域を、異なる特徴領域として検出することができる。

なお、特徴領域特定部２０３は、上記の人物の顔の他にも、人物の頭部または人物の手等の人体の一部の部位、あるいは人体以外の生体の少なくとも一部の部位を含む領域を、特徴領域として検出することができる。なお、生体とは、生体内部の血管等のように、生体の内部に存在する特定の組織を含む。画像処理システム１０が内視鏡システムである場合など、生体内部の画像を処理する場合には、生体の内部に存在する特定の組織として、生体内部の腫瘍組織等の細胞群、タンパク質、ＤＮＡおよびＲＮＡ等の生体高分子、ならびに生体低分子などを例示することもできる。他にも、特徴領域特定部２０３は、生体の他にも、薬等の化合物やタンパク質、貨幣、キャッシュカード等のカード、車輌、あるいは車両のナンバープレートが撮像された領域を特徴領域として検出してよい。また、特徴領域特定部２０３は、複写機等のスキャナ機器によりスキャニングされたドキュメントの文字、図面、表、写真などを、特徴領域として検出してよい。特徴領域検出部２０３は、これらオブジェクトの他に、例えばテクスチャなどのように、画像情報として統計的な偏りがある群の領域を特徴領域として検出してよい。特徴領域検出部２０３は、このような様々な対象を、特徴領域の検出対象とすることができる。

また、特徴領域特定部２０３は、テンプレートマッチング等によるパターンマッチングの他にも、例えば特開２００７−１８８４１９号公報に記載された機械学習（例えば、アダブースト）等による学習結果に基づいて、特徴領域を検出することもできる。例えば、予め定められた被写体の画像から抽出された画像特徴量と、予め定められた被写体以外の被写体の画像から抽出された画像特徴量とを用いて、予め定められた被写体の画像から抽出された画像特徴量の特徴を学習する。そして、特徴領域特定部２０３は、当該学習された特徴に適合する特徴を有する画像特徴量が抽出された領域を、特徴領域として検出してよい。

なお、特徴領域特定部２０３は、特願２００８−０７８６４１号に記載された方法で特徴領域を検出してよい。例えば、特徴領域特定部２０３は、オブジェクト検出対象の撮像画像を所定比率で間引くことにより、または当該所定比率で段階的に間引くことより、撮像画像と一枚以上の間引画像とを含む画像群を生成する。そして、特徴領域特定部２０３は、生成された画像群のうちの相対的に小さい第１の画像に、第１のフィルタを作用させて、評価値を算出する。ここで、第１のフィルタは、画像上の二次元的に広がる領域に作用することで、当該領域内に特定種類のオブジェクトが存在する確率を表わす評価値を生成する。また、第１のフィルタは、画像上の領域の広さに対応する画素数が所定比率で異なる、または当該所定比率で段階的に異なる、複数の広さの領域にそれぞれ作用する複数のフィルタを含むフィルタ群のうちの、相対的に狭い領域に作用するフィルタであってよい。複数の広さの領域とは、例えば、３２×３２画素の領域、１６×１６画素の領域、および、８×８画素の領域であってよい。特徴領域特定部２０３は、所定の第１の閾値を越える評価値が得られた一次候補領域を、第１の画像から抽出する。

そして、特徴領域特定部２０３は、第１の画像よりも画素数が一段階多い第２の画像における一次候補領域に相当する領域に、フィルタ群のうちの第１のフィルタよりも一段階広い領域に作用する第２のフィルタを作用させて、評価値を算出する。そして、特徴領域特定部２０３は、所定の第２の閾値を越える評価値が得られる二次候補領域を抽出する。

ここで、特徴領域特定部２０３は、上述の異なる広さの領域に作用する複数のフィルタを画像群のうちの対応する広さの領域に作用させて上記候補領域を抽出する抽出過程を繰り返していく。このとき、特徴領域特定部２０３は、相対的に狭い領域に作用するフィルタを作用させる抽出過程から、相対的に広い領域に作用するフィルタを作用させる抽出過程を、順次に繰り返していく。具体的には、特徴領域特定部２０３は、相対的に小さい画像に相対的に狭い領域に作用するフィルタを作用させる抽出過程から相対的に大きな画像に相対的に広い領域に作用するフィルタを作用させる抽出過程に向けて順次に繰り返す。そして、特徴領域特定部２０３は、２以上の抽出過程を繰り返して最終的に候補領域を抽出することにより、特定種類のオブジェクトを検出する。そして、特徴領域特定部２０３は、当該特定種類のオブジェクトが存在する領域を、特徴領域として検出する。このように、特徴領域特定部２０３は、後の抽出過程においては、直前の過程で抽出された領域に限定してフィルタを作用させる。このため、複数の各抽出過程において順次にオブジェクトの存在の有無が選別されていき、特徴領域をより高精度に検出することができる。また、小さいサイズの画像で特徴領域の粗ぶるいが行なわれるので、より高速に特徴領域を検出することができる。

また、特徴領域特定部２０３は、特願２００８−０７８６３６号に記載された方法で特徴領域を検出してよい。例えば、特徴領域特定部２０３は、撮像画像との二次元的に広がる所定の広さの領域に作用し特定種類のオブジェクトの輪郭および内部のうちの互いに異なるいずれかの特徴量を算出する複数のフィルタを用いて、特徴領域を検出する。具体的には、特徴領域特定部２０３は、当該複数のフィルタを、オブジェクト検出対象の撮像画像上の所定の広さの領域にそれぞれ作用させることにより、複数の特徴量を算出する。ここで、当該複数のフィルタには、複数のフィルタそれぞれにより算出される各特徴量と特定種類のオブジェクトである確率を表わす一次評価値との対応関係が対応づけられている。特徴領域特定部２０３は、当該対応関係に基づいて、算出した各特徴量に対応する各一次評価値を取得する。そして、特徴領域特定部２０３は、複数のフィルタに対応する複数の一次評価値を総合することにより、当該領域に特定種類のオブジェクトが存在する確率を表わす二次評価値を取得する。例えば、特徴領域特定部２０３は、一次評価値を所定の重みづけで加算することにより、二次評価値を取得する。そして、特徴領域特定部２０３は、二次評価値と閾値とを比較して、該閾値を越えて特定種類のオブジェクトが存在する確率が高い領域を抽出する。なお、フィルタとしては、所定位置の画素値についてｘ方向の差分をとるフィルタ、所定位置の画素値をｙ方向の差分をとるフィルタ、所定位置の画素値の差分演算により曲線のエッジを検出するフィルタなどを例示することができる。これにより、特徴領域特定部２０３は、当該領域を、特定種類のオブジェクトが存在する特徴領域として検出する。このように、特徴領域特定部２０３は、オブジェクトの輪郭・内部の様々な特徴を表わす特徴量を抽出する複数のフィルタを組み合わせることにより、例えば輪郭の形状だけによる抽出と比べて、高精度に特徴領域を抽出することができる。

なお、特徴領域特定部２０３は、特願２００８−０７８６３６号に記載された方法と、特願２００８−０７８６４１号に記載された方法とを組み合わせた方法により、特徴領域を検出してよい。具体的には、特願２００８−０７８６３６号に記載された方法に関連して説明した上記の複数のフィルタは、画素数が所定比率で異なる、または所定比率で段階的に異なる、複数の広さの領域にそれぞれ作用する、１つの広さごとに複数のフィルタを含んでよい。各フィルタのそれぞれは、当該各フィルタそれぞれに応じた上記対応関係に対応づけられてよい。そして、特徴領域特定部２０３は、オブジェクト検出対象の撮像画像を所定比率で間引くことにより、または所定比率で段階的に間引くことにより、撮像画像と一枚以上の間引画像とを含む画像群を生成する。そして、特徴領域特定部２０３は、画像群のうちの相対的に小さい第１の画像に相対的に狭い領域に作用する複数の第１のフィルタを作用させることで複数の特徴量を算出する。そして、特徴領域特定部２０３は、該複数の第１のフィルタそれぞれに対応する対応関係に基づいて、算出した各特徴量に対応する各一次評価値を取得する。そして、特徴領域特定部２０３は、複数の一次評価値を総合することにより、当該領域に特定種類のオブジェクトが存在する確率を表わす二次評価値を取得する。そして、特徴領域特定部２０３は、求められた二次評価値と第１の閾値とを比較して該第１の閾値を越えて特定種類のオブジェクトが存在する確率が高い一次候補領域を抽出する。

また、特徴領域特定部２０３は、上記画像群のうちの第１の画像よりも画素数が一段階多い第２の画像の、一次候補領域に相当する領域に複数の第１のフィルタよりも一段広い領域に作用する複数の第２のフィルタを作用させることで、複数の特徴量を算出する。そして、特徴領域特定部２０３は、当該複数の第２のフィルタそれぞれに対応する対応関係に基づいて、算出した各特徴量に対応する各一次評価値を取得する。そして、特徴領域特定部２０３は、複数の第２のフィルタに対応する複数の一次評価値を総合することにより、当該一次候補領域に相当する領域に特定種類のオブジェクトが存在する確率を表わす二次評価値を取得する。そして、特徴領域特定部２０３は、求められた二次評価値と第２の閾値とを比較して第２の閾値を越えて特定種類のオブジェクトが存在する確率が高い二次候補領域を抽出する。

ここで、特徴領域特定部２０３は、上述の異なる広さの領域に作用する複数のフィルタを画像群のうちの対応する広さの領域に作用させて上記候補領域を抽出する抽出過程を繰り返していく。このとき、特徴領域特定部２０３は、相対的に狭い領域に作用するフィルタを作用させる抽出過程から、相対的に広い領域に作用するフィルタを作用させる抽出過程を、順次に繰り返していく。具体的には、特徴領域特定部２０３は、相対的に小さい画像に相対的に狭い領域に作用するフィルタを作用させる抽出過程から相対的に大きな画像に相対的に広い領域に作用するフィルタを作用させる抽出過程に向けて順次に繰り返す。そして、特徴領域特定部２０３は、２以上の抽出過程を繰り返して最終的に候補領域を抽出することにより、特定種類のオブジェクトを検出する。そして、特徴領域特定部２０３は、当該特定種類のオブジェクトが存在する領域を、特徴領域として検出する。

また、特徴領域特定部２０３は、特願２００８−０９８６００号に記載された方法で特徴領域を検出してよい。例えば、特徴領域特定部２０３は、複数の撮像装置１００により撮像された動画に含まれる複数の撮像画像から、特徴領域を検出する。一例として、撮像装置１００ａおよび撮像装置１００ｂは、互いに同一のシーンを撮影しているものとする。例えば、撮像装置１００ａおよび撮像装置１００ｂは、ステレオカメラとして機能することができる。また、本説明では、撮像装置１００ａが撮像した第１の撮像画像と、撮像装置１００ｂが撮像した第２の撮像画像とを、ペア画像と呼ぶ。特徴領域特定部２０３は、ペア画像から、該ペア画像に写し出された特定種類のオブジェクトを検出して、検出した特定種類のオブジェクトの領域を、特徴領域として検出する。

特徴領域特定部２０３は、ペア画像とみなされる第１および第２の各撮像画像について、各撮像画像上において、特定種類のオブジェクトが写し込まれた領域を抽出する。ここでは、特徴領域特定部２０３は、特定種類のオブジェクトが写し込まれた領域を、粗い検出精度で検出してよい。例えば、特徴領域特定部２０３は、各撮像画像に含まれるオブジェクトの寸法を抽出して、略同一の寸法のオブジェクトが写し込まれた領域を、特定種類のオブジェクトが写し込まれた領域として検出してよい。そして、特徴領域特定部２０３は、抽出した第１の撮像画像上の領域と第２の撮像画像上の領域の中から、互いに対応する領域のペアを検出することにより、特定種類のオブジェクトを検出する。例えば、特徴領域特定部２０３は、当該ペアの領域の画像から、当該領域に写し込まれた被写体までの距離を算出する。例えば、特徴領域特定部２０３は、同一被写体の画像上の位置差から当該距離を算出することができる。特徴領域特定部２０３は、被写体までの距離に基づく被写体の３次元形状に基づいて、特定種類のオブジェクトを検出することができる。

ここで、特徴領域特定部２０３は、互いに対応する領域のペアを検出する場合に、ペア画像とみなされる第１および第２の撮像画像から検出した、特定種類のオブジェクトが写し込まれた領域を、複数のサブ領域に分ける。そして、特徴領域特定部２０３は、各サブ領域に写し出された部分画像を特徴づける特徴量の、複数のサブ領域に渡るベクトルを算出する。ここで、特徴量としては、画素値を例示することができる。また、複数のサブ領域に渡るベクトルとしては、勾配ベクトル（例えば、画素値勾配ベクトル）を例示することができる。そして、特徴領域特定部２０３は、算出された第１の画像上の領域のベクトルと第２の画像上のベクトルとの間の論理上の距離を算出する。特徴領域特定部２０３は、論理上の距離が予め定められた値より小さい領域のペアを、互いに対応する領域のペアとして検出する。なお、上記論理上の距離としては、ベクトルを形成する各成分どうしの差に対する二乗和の平方根を例示することができる。このようにして、特徴領域特定部２０３は、ペア画像から対応する領域のペアを高精度で抽出することができるので、被写体までの距離を高精度で算出することができる。したがって、特徴領域特定部２０３は、被写体の３次元形状を高精度で認識することができ、その結果、特定種類のオブジェクトをより高精度で検出することができる。

また、特徴領域特定部２０３は、特願２００８−０９１５６２号に記載された方法で特徴領域を検出してよい。例えば、特徴領域特定部２０３は、動画に含まれる複数の撮像画像のそれぞれから、特定種類の被写体に類似した類被写体形状を、当該類被写体形状の寸法と当該撮像装置１００の画角上の位置情報とを伴って抽出する。例えば、特徴領域特定部２０３は、人物の頭部が検出対象である場合、上半部分の輪郭が半円形に類似した類被写体形状を、寸法と画角上の位置情報とともに抽出する。画角上の位置情報としては、撮像画像における画像領域上の位置を例示することができる。そして、特徴領域特定部２０３は、抽出した類被写体形状の被写体が特定種類の被写体であるか否かを判定して該特定種類の被写体を抽出する。例えば、特徴領域特定部２０３は、類被写体形状の被写体の周囲の予め定められたサーチ領域から、同一寸法に分類された類被写体形状の被写体が検出された個数を計数して、当該計数値が閾値以上の場合に、当該類被写体形状の被写体を特定種類の被写体として抽出してよい。そして、特徴領域特定部２０３は、特定種類の被写体を含む領域を、特徴領域として検出してよい。このため、特徴領域特定部２０３は、所定の寸法に近い寸法の被写体が集中して検出された画像領域内の類被写体形状の被写体を、特定種類の被写体として検出することができる。そして、当該画像領域以外の領域における類被写体形状の被写体を、特定種類の被写体として検出しなくてよい。このため、当該画像領域以外の領域における類被写体形状の被写体を、特定種類の被写体として誤検出する確率を低減することができる。

なお、撮像装置１００が画角を可変して撮像することができる場合、上記の画角上の位置情報としては、撮像装置１００の撮像方向および撮像画像上の位置を例示することができる。また、複数の撮像装置１００により、一の撮像装置１００が撮像する被写界より広い連続した被写界を撮像することができる場合、上記の画角上の位置情報としては、複数の撮像装置１００のそれぞれの撮像方向、および複数の撮像装置１００のそれぞれにより撮像された撮像画像上の位置を例示することができる。

特徴領域特定部２０３は、予め定められた被写体が撮像されている領域を特徴領域として検出することができる。なお、特徴領域特定部２０３は、矩形を含む任意の形状を有する特徴領域を検出してよい。

このように、特徴領域特定部２０３は、複数の動画のそれぞれに含まれる複数の撮像画像から、複数の特徴領域を検出する。そして、特徴領域特定部２０３は、検出した特徴領域を示す情報を、圧縮制御部２１０に供給する。なお、特徴領域を示す情報は、特徴領域の位置を示す特徴領域の座標情報、特徴領域の種類を示す種類情報、および特徴領域が検出された動画を識別する情報を含む。

圧縮制御部２１０は、特徴領域特定部２０３から取得した特徴領域を示す情報に基づいて、圧縮部２４０による動画の圧縮処理を制御する。圧縮部２４０は、圧縮制御部２１０による制御により、以下に説明するように撮像画像における特徴領域と撮像画像における特徴領域以外の領域とで異なる強度で撮像画像を圧縮する。例えば、圧縮部２４０は、動画に含まれる撮像画像における特徴領域以外の領域の解像度を、特徴領域より低減することにより、撮像画像を圧縮する。このように、圧縮部２４０は、撮像画像における各画像領域のそれぞれを、画像領域の重要度に応じた強度で圧縮する。

なお、特徴領域特定部２０３が複数の特徴領域を検出した場合、圧縮部２４０は、撮像画像における複数の特徴領域の画像を、それぞれ特徴領域の特徴の種類に応じた強度で圧縮してよい。例えば、圧縮部２４０は、撮像画像における複数の特徴領域の画像の解像度を、特徴領域の特徴の種類に応じて定められた解像度に低減してよい。

対応付け処理部２０６は、撮像画像から検出された特徴領域を特定する情報を、撮像画像に対応づける。具体的には、対応付け処理部２０６は、撮像画像から検出された特徴領域を特定する情報を、撮像画像を動画構成画像として含む圧縮動画に対応づける。そして、出力部２０７は、対応付け処理部２０６によって特徴領域を特定する情報が対応付けされた圧縮動画データを、画像処理装置１７０に出力する。

なお、外部情報取得部２８０は、特徴領域特定部２０３が特徴領域を特定する処理に用いるデータを、画像処理装置１２０の外部から取得する。特徴領域特定部２０３は、外部情報取得部２８０が取得したデータを用いて、特徴領域を特定する。外部情報取得部２８０が取得するデータについては、図６に関連して説明する。

図３は、圧縮部２４０のブロック構成の一例を示す。圧縮部２４０は、画像分割部２３２、複数の固定値化部２３４ａ−ｃ（以下、固定値化部２３４と総称する場合がある。）、および複数の圧縮処理部２３６ａ−ｄ（以下、圧縮処理部２３６と総称する場合がある。）を有する。

画像分割部２３２は、画像取得部２５０から複数の撮像画像を取得する。そして、画像分割部２３２は、複数の撮像画像を、特徴領域と、特徴領域以外の背景領域とに分割する。具体的には、画像分割部２３２は、複数の撮像画像を、複数の特徴領域のそれぞれと、特徴領域以外の背景領域とに分割する。このように、画像分割部２３２は、複数の撮像画像のそれぞれを、特徴領域と背景領域とに分割する。そして、圧縮処理部２３６は、特徴領域の画像である特徴領域画像と背景領域の画像である背景領域画像とを、それぞれ異なる強度で圧縮する。具体的には、圧縮処理部２３６は、特徴領域画像を複数含む特徴領域動画と背景領域画像を複数含む背景領域動画とを、それぞれ異なる強度で圧縮する。

より具体的には、画像分割部２３２は、複数の撮像画像を分割することにより、複数の特徴の種類毎に特徴領域動画を生成する。そして、固定値化部２３４は、特徴の種類毎に生成された複数の特徴領域動画に含まれる特徴領域画像のそれぞれについて、それぞれの特徴の種類の特徴領域以外の領域の画素値を固定値化する。具体的には、固定値化部２３４は、特徴領域以外の領域の画素値を予め定められた画素値にする。そして、圧縮処理部２３６は、特徴の種類毎に、複数の特徴領域動画を圧縮する。例えば、圧縮処理部２３６は、特徴の種類毎に、複数の特徴領域動画をＭＰＥＧ圧縮する。

固定値化部２３４ａ、固定値化部２３４ｂ、および固定値化部２３４ｃは、それぞれ第１の特徴の種類の特徴領域動画、第２の特徴の種類の特徴領域動画、および第３の特徴の種類の特徴領域動画を固定値化する。そして、圧縮処理部２３６ａ、圧縮処理部２３６ｂ、および圧縮処理部２３６ｃは、第１の特徴の種類の特徴領域動画、第２の特徴の種類の特徴領域動画、および第３の特徴の種類の特徴領域動画を圧縮する。

なお、圧縮処理部２３６ａ−ｃは、特徴の種類に応じて予め定められた強度で特徴領域動画を圧縮する。例えば、圧縮処理部２３６は、特徴領域の特徴の種類に応じて予め定められた異なる解像度の動画に特徴領域動画を変換して、変換した特徴領域動画を圧縮してよい。他にも、圧縮処理部２３６は、ＭＰＥＧ符号化により特徴領域動画を圧縮する場合に、特徴の種類に応じて予め定められた異なる量子化パラメータで特徴領域動画を圧縮してよい。

また、圧縮処理部２３６ｄは、背景領域動画を圧縮する。なお、圧縮処理部２３６ｄは、圧縮処理部２３６ａ−ｃのいずれによる圧縮強度より高い強度で、背景領域動画を圧縮してよい。圧縮処理部２３６によって圧縮された特徴領域動画および背景領域動画は、対応付け処理部２０６に供給される。

なお、特徴領域以外の領域は固定値化部２３４によって固定値化さるので、圧縮処理部２３６がＭＰＥＧ符号化等によって予測符号化する場合に、特徴領域以外の領域において予測画像との間の画像の差分量を著しく低減することができる。このため、圧縮部２４０は、特徴領域動画をより高い圧縮率で圧縮することができる。

なお、本図の構成では、圧縮部２４０が有する複数の圧縮処理部２３６のそれぞれが複数の特徴領域の画像および背景領域の画像をそれぞれ圧縮したが、他の形態では、圧縮部２４０は一の圧縮処理部２３６を有してよく、一の圧縮処理部２３６が、複数の特徴領域の画像および背景領域の画像をそれぞれ異なる強度で圧縮してよい。例えば、複数の特徴領域の画像および背景領域の画像が一の圧縮処理部２３６に時分割で順次供給され、一の圧縮処理部２３６が、複数の特徴領域の画像および背景領域の画像をそれぞれ異なる強度で順次圧縮してよい。

他にも、一の圧縮処理部２３６は、複数の特徴領域の画像情報および背景領域の画像情報を異なる量子化係数でそれぞれ量子化することによって、複数の特徴領域の画像および背景領域の画像をそれぞれ異なる強度で圧縮してよい。また、複数の特徴領域の画像および背景領域の画像がそれぞれ異なる画質の画像に変換された画像が一の圧縮処理部２３６に供給され、一の圧縮処理部２３６が、複数の特徴領域の画像および背景領域の画像をそれぞれ圧縮してよい。また、上記のように一の圧縮処理部２３６が領域毎に異なる量子化係数で量子化したり、領域毎に異なる画質に変換された画像を一の圧縮処理部２３６が圧縮する形態では、一の圧縮処理部２３６は、一の画像の全体を圧縮してもよく、本図で説明したように画像分割部２３２によって分割された画像をそれぞれ圧縮してもよい。なお、一の圧縮処理部２３６が一の画像の全体を圧縮する場合には、画像分割部２３２による分割処理および固定値化部２３４による固定値化処理はなされなくてよいので、圧縮部２４０は、画像分割部２３２および固定値化部２３４を有しなくてよい。

図４は、画像処理装置１７０のブロック構成の一例を示す。画像処理装置１７０は、圧縮画像取得部３０１、対応付け解析部３０２、伸張制御部３１０、伸張部３２０、外部情報取得部３８０、および画像処理部３３０を備える。伸張部３２０は、複数の復号器３２２ａ−ｄ（以下、復号器３２２と総称する。）を有する。

圧縮画像取得部３０１は、画像処理装置１７０により圧縮された圧縮動画を取得する。具体的には、圧縮画像取得部３０１は、複数の特徴領域動画および背景領域動画を含む圧縮動画を取得する。より具体的には、圧縮画像取得部３０１は、特徴領域情報が付帯された圧縮動画を取得する。

対応付け解析部３０２は、圧縮動画を、複数の特徴領域動画および背景領域動画と特徴領域情報とに分離して、複数の特徴領域動画および背景領域動画を伸張部３２０に供給する。また、対応付け解析部３０２は、特徴領域情報を解析して、特徴領域の位置および特徴の種類を伸張制御部３１０および画像処理部３３０に供給する。

伸張制御部３１０は、対応付け解析部３０２から取得した特徴領域の位置および特徴の種類に応じて、伸張部３２０による伸張処理を制御する。例えば、伸張制御部３１０は、特徴領域の位置および特徴の種類に応じて圧縮部２４０が動画の各領域を圧縮した圧縮方式に応じて、伸張部３２０に圧縮動画が示す動画の各領域を伸張させる。

復号器３２２は、符号化された複数の特徴領域動画および背景領域動画のいずれかを復号する。具体的には、復号器３２２ａ、復号器３２２ｂ、復号器３２２ｃ、および復号器３２２ｄは、それぞれ第１特徴領域動画、第２特徴領域動画、第３特徴領域動画、および背景領域動画を復号する。

画像処理部３３０は、伸張部３２０によって伸張された複数の特徴領域動画および背景領域動画を合成して、一の動画を生成する。具体的には、画像処理部３３０は、背景領域動画に含まれる撮像画像に、複数の特徴領域動画に含まれる撮像画像上の特徴領域の画像を合成することによって、一の表示動画を生成する。なお、画像処理部３３０は、特徴領域を背景領域より高画質化した表示動画を生成してもよい。

そして、画像処理部３３０は、対応付け解析部３０２から取得した特徴領域情報および表示動画を表示装置１８０または画像ＤＢ１７５に出力する。なお、画像ＤＢ１７５は、特徴領域情報が示す特徴領域の位置、特徴領域の特徴の種類、特徴領域の数を、表示動画に含まれる撮像画像を識別する情報に対応づけて、ハードディスク等の不揮発性の記録媒体に記録してよい。

なお、外部情報取得部３８０は、画像処理部３３０における画像処理に用いるデータを、画像処理装置１７０の外部から取得する。画像処理部３３０は、外部情報取得部３８０が取得したデータを用いて画像処理する。外部情報取得部３８０が取得するデータについては、図１０に関連して説明する。

図５は、圧縮部２４０のブロック構成の他の一例を示す。本構成における圧縮部２４０は、特徴の種類に応じた空間スケーラブルな符号化処理によって複数の撮像画像を圧縮する。

本構成における圧縮部２４０は、画質変換部５１０、差分処理部５２０、および符号化部５３０を有する。差分処理部５２０は、複数の階層間差分処理部５２２ａ−ｄ（以下、階層間差分処理部５２２と総称する。）を含む。符号化部５３０は、複数の符号器５３２ａ−ｄ（以下、符号器５３２と総称する。）を含む。

画質変換部５１０は、画像取得部２５０から複数の撮像画像を取得する。また、画質変換部５１０は、特徴領域特定部２０３が検出した特徴領域を特定する情報および特徴領域の特徴の種類を特定する情報を取得する。そして、画質変換部５１０は、撮像画像を複製することにより、特徴領域の特徴の種類の数の撮像画像を生成する。そして、画質変換部５１０は、生成した撮像画像を、特徴の種類に応じた解像度の画像に変換する。

例えば、画質変換部５１０は、背景領域に応じた解像度に変換された撮像画像（以後、低解像度画像と呼ぶ。）、第１の特徴の種類に応じた第１解像度に変換された撮像画像（以後、第１解像度画像と呼ぶ。）、第２の特徴の種類に応じた第２解像度に変換された撮像画像（以後、第２解像度画像と呼ぶ。）、および第３の特徴の種類に応じた第３解像度に変換された撮像画像（以後、第３解像度画像と呼ぶ。）を生成する。なお、ここでは、第１解像度画像は低解像度画像より解像度が高く、第２解像度画像は第１解像度画像より解像度が高く、第３解像度画像は第２解像度画像より解像度が高いとする。

そして、画質変換部５１０は、低解像度画像、第１解像度画像、第２解像度画像、および第３解像度画像を、それぞれ階層間差分処理部５２２ｄ、階層間差分処理部５２２ａ、階層間差分処理部５２２ｂ、および階層間差分処理部５２２ｃに供給する。なお、画質変換部５１０は、複数の撮像画像のそれぞれについて上記の画質変換処理することにより、階層間差分処理部５２２のそれぞれに動画を供給する。

なお、画質変換部５１０は、特徴領域の特徴の種類に応じて、階層間差分処理部５２２のそれぞれに供給する動画のフレームレートを変換してよい。例えば、画質変換部５１０は、階層間差分処理部５２２ａに供給する動画より低いフレームレートの動画を階層間差分処理部５２２ｄに供給してよい。また、画質変換部５１０は、階層間差分処理部５２２ｂに供給する動画より低いフレームレートの動画を階層間差分処理部５２２ａに供給してよく、階層間差分処理部５２２ｃに供給する動画より低いフレームレートの動画を階層間差分処理部５２２ｂに供給してよい。なお、画質変換部５１０は、特徴領域の特徴の種類に応じて撮像画像を間引くことによって、階層間差分処理部５２２に供給する動画のフレームレートを変換してよい。

階層間差分処理部５２２ｄおよび符号器５３２ｄは、複数の低解像度画像を含む背景領域動画を予測符号化する。具体的には、階層間差分処理部５２２は、他の低解像度画像から生成された予測画像との差分画像を生成する。そして、符号器５３２ｄは、差分画像を空間周波数成分に変換して得られた変換係数を量子化して、量子化された変換係数をエントロピー符号化等により符号化する。なお、このような予測符号化処理は、低解像度画像の部分領域毎に行われてよい。

また、階層間差分処理部５２２ａは、画質変換部５１０から供給された複数の第１解像度画像を含む第１特徴領域動画を予測符号化する。同様に、階層間差分処理部５２２ｂおよび階層間差分処理部５２２ｃは、それぞれ複数の第２解像度画像を含む第２特徴領域動画および複数の第３解像度画像を含む第３特徴領域動画を予測符号化する。以下に、階層間差分処理部５２２ａおよび符号器５３２ａの具体的な動作について説明する。

階層間差分処理部５２２ａは、符号器５３２ｄによる符号化後の第１解像度画像を復号して、復号した画像を第１解像度と同じ解像度の画像に拡大する。そして、階層間差分処理部５２２ａは、拡大した画像と低解像度画像との間の差分画像を生成する。このとき、階層間差分処理部５２２ａは、背景領域における差分値を０にする。そして、符号器５３２ａは、差分画像を符号器５３２ｄと同様に符号化する。なお、階層間差分処理部５２２ａおよび符号器５３２ａによる符号化処理は、第１解像度画像の部分領域毎に施されてよい。

なお、階層間差分処理部５２２ａは、第１解像度画像を符号化する場合に、低解像度画像との間の差分画像を符号化した場合に予測される符号量と、他の第１解像度画像から生成された予測画像との間の差分画像を符号化した場合に予測される符号量とを比較する。後者の符号量の方が小さい場合には、階層間差分処理部５２２ａは、他の第１解像度画像から生成された予測画像との間の差分画像を生成する。なお、階層間差分処理部５２２ａは、低解像度画像または予測画像との差分をとらずに符号化した方が符号量が小さくなることが予測される場合には、低解像度画像または予測画像との間で差分をとらなくてもよい。

また、階層間差分処理部５２２ａは、背景領域における差分値を０にしなくてもよい。この場合、符号器５３２ａは、特徴領域以外の領域における差分情報に対する符号化後のデータを０にしてもよい。例えば、符号器５３２ａは、周波数成分に変換した後の変換係数を０にしてよい。なお、階層間差分処理部５２２ｄが予測符号化した場合の動きベクトル情報は、階層間差分処理部５２２ａに供給される。階層間差分処理部５２２ａは、階層間差分処理部５２２ｄから供給された動きベクトル情報を用いて、予測画像用の動きベクトルを算出してよい。

なお、階層間差分処理部５２２ｂおよび符号器５３２ｂの動作は、第２解像度画像を符号化するという点、および第２解像度画像を符号化する場合に、符号器５３２ａによる符号化後の第１解像度画像との差分をとる場合があるという点を除いて、階層間差分処理部５２２ｂおよび符号器５３２ｂの動作は階層間差分処理部５２２ａおよび符号器５３２ａの動作と略同一であるので、説明を省略する。同様に、階層間差分処理部５２２ｃおよび符号器５３２ｃの動作は、第３解像度画像を符号化するという点、および第３解像度画像を符号化を符号化する場合に、符号器５３２ｂによる符号化後の第２解像度画像との差分をとる場合があるという点を除いて、階層間差分処理部５２２ａおよび符号器５３２ａの動作と略同一であるので、説明を省略する。

以上説明したように、画質変換部５１０は、複数の撮像画像のそれぞれから、画質を低画質にした低画質画像、および少なくとも特徴領域において低画質画像より高画質な特徴領域画像を生成する。そして、差分処理部５２０は、特徴領域画像における特徴領域の画像と、低画質画像における特徴領域の画像との間の差分画像を示す特徴領域差分画像を生成する。そして、符号化部５３０は、特徴領域差分画像および低画質画像をそれぞれ符号化する。

また、画質変換部５１０は、複数の撮像画像から解像度が低減された低画質画像を生成して、差分処理部５２０は、特徴領域画像における特徴領域の画像と、低画質画像における特徴領域の画像を拡大した画像との間の特徴領域差分画像を生成する。また、差分処理部５２０は、特徴領域において特徴領域画像と拡大した画像との間の差分が空間周波数領域に変換された空間周波数成分を持ち、特徴領域以外の領域において空間周波数成分のデータ量が低減された特徴領域差分画像を生成する。

以上説明したように、圧縮部２４０は、解像度が異なる複数の階層間の画像の差分を符号化することによって階層的に符号化する。このことからも明らかなように、本構成の圧縮部２４０による圧縮方式の一部は、Ｈ．２６４／ＳＶＣによる圧縮方式を含むことが明らかである。なお、画像処理装置１７０がこのような階層化された圧縮動画を伸張する場合には、各階層の動画データを復号して、階層間差分により符号化されている領域については、差分がとられた階層で復号された撮像画像との加算処理により、元の解像度の撮像画像を生成することができる。

図６は、特徴領域特定部２０３のブロック構成の一例を示す。特徴領域特定部２０３は、第１特徴領域特定部６１０、第２特徴領域特定部６２０、領域推定部６３０、高画質化領域決定部６４０、パラメータ格納部６５０、および画像生成部６６０を有する。第２特徴領域特定部６２０は、部分領域判断部６２２および特徴領域判断部６２４を含む。

第１特徴領域特定部６１０は、画像取得部２５０から動画に含まれる動画構成画像である撮像画像を取得する。第１特徴領域特定部６１０は、撮像画像から特徴領域を特定する。第１特徴領域特定部６１０は、図２に関連して特徴領域特定部２０３の動作として説明した特徴領域の検出方法を用いて特徴領域を検出することにより、撮像画像から特徴領域を特定してよい。

画像生成部６６０は、第１特徴領域特定部６１０により特徴領域として特定されない領域のうち、特徴領域として特定される可能性がより高い領域をより高画質化した高画質画像を、撮像画像から生成する。第２特徴領域特定部６２０は、高画質画像から特徴領域を探索する。第１特徴領域特定部６１０および第２特徴領域特定部６２０が特定した特徴領域は、いずれも特徴領域特定部２０３が特定した特徴領域として圧縮制御部２１０に供給される。

なお、第２特徴領域特定部６２０は、高画質画像から、第１特徴領域特定部６１０より詳細に特徴領域を探索してよい。例えば、第２特徴領域特定部６２０は、第１特徴領域特定部６１０が特徴領域を特定する検出精度より高精度で特徴領域を検出する検出器により実装されてよい。より具体的には、第１特徴領域特定部６１０および第２特徴領域特定部６２０が特徴領域を検出する検出器により実装される場合、第１特徴領域特定部６１０として実装する検出器の検出精度より高精度に検出することができる検出器により第２特徴領域特定部６２０が実装されてよい。

なお、第２特徴領域特定部６２０は、入力画像から、第１特徴領域特定部６１０より詳細に特徴領域を探索してよい。例えば、第２特徴領域特定部６２０は、第１特徴領域特定部６１０が特徴領域を特定する検出精度より高精度で特徴領域を検出する検出器により実装されてよい。より具体的には、第１特徴領域特定部６１０および第２特徴領域特定部６２０が特徴領域を検出する検出器により実装される場合、第１特徴領域特定部６１０を実装する検出器の検出精度より高精度に検出することができる検出器により第２特徴領域特定部６２０が実装されてよい。

なお、画像生成部６６０は、第１特徴領域特定部６１０により特徴領域として特定されない領域のうち、特徴領域として特定される可能性がより高い領域をより優先的に高画質化した高画質画像を、撮像画像から生成してよい。また、画像生成部６６０は、撮像画像に対する画像処理により、高画質画像を生成してよい。

また、画像生成部６６０は、第１特徴領域特定部６１０が特徴領域を特定した後に、第１特徴領域特定部６１０により特徴領域として特定されなかった領域のうち、特徴領域として特定される可能性がより高い領域をより高画質化した高画質画像を、撮像画像から生成してよい。このように、「第１特徴領域特定部６１０により特徴領域として特定されない領域」とは、第１特徴領域特定部６１０が特定した段階においては、第１特徴領域特定部６１０により特徴領域として特定されなかった領域であってよい。この場合、第２特徴領域特定部６２０により、特徴領域が再度探索されることになる。

他にも、「第１特徴領域特定部６１０による特徴領域として特定されない領域」とは、第１特徴領域特定部６１０が特定していない段階においては、第１特徴領域特定部６１０により特定されないことが予測される領域であってよい。例えば、第１特徴領域特定部６１０が予め定められた条件に適合する領域を特徴領域として検出する場合において、「第１特徴領域特定部６１０による特徴領域として特定されない領域」とは、当該条件に適合しない領域であってよい。画像生成部６６０は、第１特徴領域特定部６１０が特徴領域を特定していない段階で、高画質画像を生成してよい。

なお、本ブロック図では、第１特徴領域特定部６１０および第２特徴領域特定部６２０は、異なる機能ブロックで示されているが、単一の機能要素で実装され得ることは当然である。例えば、第１特徴領域特定部６１０および第２特徴領域特定部６２０は、特徴領域検出用の電気回路などのハードウェア要素、特徴領域検出用のソフトウェアなどのソフトウェア要素などを、少なくとも一部共有することができる。

なお、上記において、画像生成部６６０が入力画像を高画質化した画像を生成する場合を例に挙げて説明したが、画像生成部６６０は、第１特徴領域特定部６１０が特徴領域を特定する特徴領域特定処理の対象とした画像より高画質な画像を生成して、画像生成部６６０に提供してよい。例えば、第１特徴領域特定部６１０が、入力画像に所定の画像処理を施して特徴領域を特定する場合に、画像生成部６６０は、当該画像処理より得られる画像より高画質な画像を生成して、第２特徴領域特定部６２０に提供してよい。

このように、本実施形態における高画質画像とは、第１特徴領域特定部６１０が特徴領域特定処理に用いる画像より高画質な画像であればよく、入力画像より高画質な画像と入力画像より低画質な画像のいずれをも含む。このように、画像生成部６６０は、第１特徴領域特定部６１０により特徴領域として特定されない領域を、特徴領域として特定される可能性に応じた画質に変更した高画質画像を、入力画像から生成する。また、画像生成部６６０は、特徴領域として特定される可能性に応じた精度の画質の高画質画像を生成してよい。なお、本実施形態における高画質画像は、この発明における画質変更画像の一例とみなすことができる。

領域推定部６３０は、撮像画像において特徴領域として特定されるべき領域を推定する。例えば、特徴領域特定部２０３が、動画において動くオブジェクトの領域を特徴領域として特定すべき場合に、領域推定部６３０は、動画において動くオブジェクトが存在する領域を推定する。例えば、領域推定部６３０は、同じ動画に含まれる動画構成画像としての他の１以上の撮像画像から抽出された動くオブジェクトの位置、他の撮像画像が撮像されたタイミングなどに基づき、動くオブジェクトが存在する位置を推定する。そして、領域推定部６３０は、推定した位置を含む所定の大きさの領域を、動画において動くオブジェクトが存在する領域として推定してよい。

この場合、第１特徴領域特定部６１０は、撮像画像における領域推定部６３０が推定した領域から、動くオブジェクトの領域を特徴領域として特定する。そして、画像生成部６６０は、領域推定部６３０が推定した領域のうち、第１特徴領域特定部６１０により動くオブジェクトの領域が特定されなかった領域をより高画質にした高画質画像を生成してよい。

これにより、動くオブジェクトが存在する可能性が高い領域から、動くオブジェクトが検出できなかった場合に、再探索により動くオブジェクトを抽出することができる可能性が高まる。このように、特徴領域特定部２０３において特徴領域の検出もれが生じる確率を低減することができる。

部分領域判断部６２２は、特定の画像領域において予め定められた位置に存在する１以上の部分領域の画像が、それぞれ予め定められた条件に適合するか否かを判断する。そして、特徴領域判断部６２４は、部分領域判断部６２２による判断結果に基づき、特定の画像領域が特徴領域であるか否かを判断する。例えば、特定の画像領域が特徴領域であるか否かを判断する場合に、部分領域判断部６２２は、特定の画像領域上の異なる複数の部分領域のそれぞれに対して、それぞれ予め定められた条件に適合するか否かを判断する。そして、特徴領域判断部６２４は、否の判断結果が得られた部分領域の数が予め定められた値より小さい場合に、特定の画像領域が特徴領域であると判断する。

特定の画像領域が特徴領域であるか否かを判断する場合に、第２特徴領域特定部６２０が、当該特定の画像領域において予め定められた位置に存在する１以上の部分領域に対して上述の処理により判断する場合に、画像生成部６６０は、当該特定の画像領域を高画質化した高画質画像を生成する場合において、当該１以上の部分領域を高画質化してよい。これにより、特徴領域検出処理に有効な領域だけ高画質化することができるので、特徴領域の再検出処理にかかる演算量を低減することができる。

なお、高画質化領域決定部６４０は、画像生成部６６０が高画質化する領域を決定する。具体的には、高画質化領域決定部６４０は、画像生成部６６０が高画質化する領域を、当該領域が特徴領域として特定される可能性がより低い場合に、より広く決定する。画像生成部６６０は、高画質化領域決定部６４０が決定した領域をより高画質にした高画質画像を生成する。これにより、再探索により動くオブジェクトを抽出することができる可能性を高めることができ、特徴領域特定部２０３において特徴領域の検出もれが生じる確率を低減することができる。

パラメータ格納部６５０は、画像から抽出された特徴量に対応づけて、当該画像を高画質化すべく用いられる画像処理パラメータを格納する。そして、画像生成部６６０は、高画質化の対象領域から抽出された特徴量に適合する特徴量に対応づけてパラメータ格納部６５０が格納している画像処理パラメータを用いて、高画質化の対象領域を高画質化した高画質画像を生成する。パラメータ格納部６５０は、互いに類似する特徴量が抽出された複数の画像を教師画像として用いた学習により算出された画像処理パラメータを、当該類似する特徴量を代表する特徴量に対応づけて格納してよい。なお、画像処理パラメータとしては、高画質化対象の画像データに加算すべきより高い周波数領域の空間周波数成分を有する画像データであってよい。他にも、画像処理パラメータとしては、複数画素の画素値のデータまたは複数の特徴量成分のデータを入力データとした場合に、高画質画像を表すデータに入力データを変換するベクトル、行列、テンソル、ｎ次元混合正規分布、ｎ次元混合多項分布等を例示することができる。なお、ここでのｎは、１以上の整数であるとする。画像処理パラメータについては、画像処理装置１７０の動作に関連して後述する。

外部情報取得部２８０は、パラメータ格納部６５０が格納する画像処理パラメータおよび特徴量の少なくとも一方を、外部から取得する。パラメータ格納部６５０は、外部情報取得部２８０が取得した画像処理パラメータおよび特徴量の少なくとも一方を格納する。

図７は、特徴領域特定部２０３における特徴領域の特定処理の一例を示す。ここでは、撮像画像７００における特徴領域を特定する処理を説明する。

第１特徴領域特定部６１０は、撮像画像７００の複数の画像領域に対して、予め定められた条件への適合度を算出する。そして、第１特徴領域特定部６１０は、撮像画像において予め定められた条件への適合度が第１閾値より大きい領域７１０−１および領域７１０−２を、特徴領域として特定する。

そして、高画質化領域決定部６４０は、撮像画像において予め定められた条件への適合度が第１閾値以下である第２閾値より大きい、領域７１０−３および領域７１０−４を選択する。そして、高画質化領域決定部６４０は、領域７１０−３を含み、上記条件に対する領域７１０−３の画像の適合度に応じた大きさの領域７１０−５を、画像生成部６６０による高画質化の対象領域として決定する。また、高画質化領域決定部６４０は、領域７１０−４を含み、上記条件に対する領域７１０−４の画像の適合度に応じた大きさの領域７１０−６を、画像生成部６６０による高画質化の対象領域として決定する。

本図の例では、領域７１０−３よりも領域７１０−４に対して小さい適合度が算出されているとして、高画質化領域決定部６４０は、領域７１０−４をより大きい拡大率で拡大した領域７１０−６を、画像生成部６６０による高画質化の対象領域として決定する。このように、高画質化領域決定部６４０は、条件への適合度が予め定められた第２閾値より大きい領域を適合度に応じた拡大率で拡大して得られた領域を、画像生成部６６０による高画質化の対象領域として決定する。

そして、第２特徴領域特定部６２０は、高画質化された領域７１０−５および領域７１０−６の画像から、特徴領域を探索する。第２特徴領域特定部６２０は、第１特徴領域特定部６１０と同様の処理により、高画質化された領域７１０−５および領域７１０−６の画像から、上記条件に適合する領域を探索してよい。ここで、第２特徴領域特定部６２０が、高画質化された領域７１０−５の画像７２０において、領域７２２が上記条件に適合すると判断したとする。この場合、特徴領域特定部２０３は、第１特徴領域特定部６１０が特定した領域７１０−１および領域７１０−２に加えて、画像７２０上の領域７２２に対応する領域７１０−７を、特徴領域として特定する。

このように、画像生成部６６０は、第１特徴領域特定部６１０により特徴領域として特定されない領域のうち、所定の条件への適合度がより大きい領域をより高画質にした高画質画像を、撮像画像から生成する。具体的には、画像生成部６６０は、第１特徴領域特定部６１０により特徴領域として特定されない領域のうち、上記条件への適合度が予め定められた第２閾値より大きい領域をより高画質にした高画質画像を生成する。これにより、特徴領域である可能性が高い領域から、特徴領域が抽出される可能性を高めることができ、特徴領域の検出もれが生じる確率を低減することができる。

以上説明したように、第１特徴領域特定部６１０により特徴領域として特定された領域および高画質化の対象領域を除く領域は、特徴領域ではない非特徴領域と決定される。なお、第１特徴領域特定部６１０および第２特徴領域特定部６２０による特徴領域の特定結果、事前の試験結果、または事後の試験結果などに基づき、特徴領域ではない領域が特徴領域として特定される確率が予め定められた値より大きくなるよう第１閾値の値を設定してよい。これにより、第１特徴領域特定部６１０が特徴領域として特定した領域に、非特徴領域が含まれる可能性を低減することができる。非特徴領域についても第１閾値に近い適合度が算出される場合があるが、上記のように第１閾値を設定することにより、このような領域が特徴領域として誤検出されてしまう可能性を低減することができる。

また、第１特徴領域特定部６１０および第２特徴領域特定部６２０による特徴領域の特定結果、事前の試験結果、または事後の試験結果などに基づき、特徴領域から算出された適合度が第２閾値以上になるよう第２閾値の値を設定してよい。これにより、第２閾値以下の適合度が算出された領域に、特徴領域が含まれる可能性を低減することができる。特徴領域についても第２閾値に近い適合度が算出される場合があるが、上記のように第２閾値を設定することにより、このような領域が非特徴領域とされてしまう可能性を低減することができる。

一方、第１閾値および第２閾値の設定により、第２閾値より大きく第１閾値以下の適合度が算出された領域に、特徴領域が含まれる可能性がある。特徴領域特定部２０３によると、このような領域については、高画質化されてから第２特徴領域特定部６２０により特徴領域が探索されるので、特徴領域と非特徴領域とを適切に切り分けることができ、特徴領域を検出し損ねてしまう確率および非特徴領域を特徴領域として検出してしまう確率のいずれをも低減することができる。このように、特徴領域特定部２０３によると、感度および特異度がともに高い特徴領域検出器を提供することができる。

なお、画像生成部６６０は、上記のように適合度と閾値との関係で高画質化処理の有無を決定することの他に、入力画像の少なくとも一部の画像領域を、上記条件への適合度に応じた高画質化精度で高画質化した高画質画像を生成してよい。この場合、高画質化精度は、適合度に応じた連続関数または不連続関数で定められてよい。

図８は、特徴領域特定部２０３における特徴領域の特定処理の他の一例を示す。ここでは特に、動画から動くオブジェクトの領域を特徴領域として特定する場合の特徴領域特定部２０３の処理の一例を示す。

第１特徴領域特定部６１０または第２特徴領域特定部６２０により、撮像画像８００−１および撮像画像８００−２において、それぞれ領域８１０−１および領域８１０−２が特徴領域として特定されているものとする。ここで、領域８１０−１および領域８１０−２には、同じ被写体が撮像されたオブジェクトが存在しているとする。

この場合、領域推定部６３０は、領域８１０−１および領域８１０−２のそれぞれの画像上の位置、撮像画像８００−１および撮像画像８００−２のそれぞれが撮像されたタイミング、ならびに、撮像画像８００−３が撮像されたタイミングに基づき、撮像画像８００−３において、同じ被写体のオブジェクトが存在すべき領域として、領域８１０−３を決定する。例えば、領域推定部６３０は、領域８１０−１および領域８１０−２のそれぞれの画像上の位置、撮像画像８００−１および撮像画像８００−２のそれぞれが撮像されたタイミングから動くオブジェクトの画像領域上の速度を算出して、算出した速度、領域８１０−２の位置、および撮像画像８００−２が撮像されたタイミングと撮像画像８００−３が撮像されたタイミングとの間の時間差に基づき、同じ被写体のオブジェクトが存在すべき領域として領域８１０−３を決定する。

第１特徴領域特定部６１０は、領域８１０−３から、動くオブジェクトを探索する。第１特徴領域特定部６１０により領域８１０−３から動くオブジェクトが検出されなかった場合に、画像生成部６６０は領域８１０−３を高画質化した高画質画像８２０−４を生成する。そして、第２特徴領域特定部６２０は、高画質画像８２０−４から動くオブジェクトを探索する。これにより、動くオブジェクトが検出される可能性が高い領域から当該オブジェクトを抽出される可能性を高めることができ、動くオブジェクトの検出もれが生じる確率を低減することができる。

なお、画像生成部６６０は、領域８１０−３内のより中央の領域をより高画質化した高画質画像８２０−４を生成してもよい。これにより、動くオブジェクトが存在する確率の低い領域については高画質化の強度を低くすることができる。このため、全体を高強度で一様に高画質化する場合に比べて、高画質化にかかる演算量を低減することができる場合がある。

図９は、第２特徴領域特定部６２０による特徴領域の判断処理の一例を示す。第２特徴領域特定部６２０は、特定の画像領域９００が特徴領域であるか否かを判断するにあたり、画像領域９００内の所定の位置関係にある部分領域９１０−１〜４から、特徴量を抽出する。このとき、第２特徴領域特定部６２０は、部分領域９１０のそれぞれから、画像領域９００内における部分領域９１０のそれぞれの位置に応じて予め定められた種類の特徴量を抽出する。

第２特徴領域特定部６２０は、予め定められた条件に対する部分領域９１０の画像から抽出された特徴量の適合度を、部分領域９１０毎に算出する。第２特徴領域特定部６２０は、部分領域９１０毎に算出した適合度に基づき、画像領域９００が特徴領域であるか否かを判断する。第２特徴領域特定部６２０は、適合度の重み付き合計値が予め定められた値より大きい場合に、画像領域９００が特徴領域であると判断してよい。また、第２特徴領域特定部６２０は、予め定められた値より大きい適合度が算出された部分領域９１０の数が予め定められた値より大きい場合に、画像領域９００が特徴領域であると判断してもよい。

なお、上述した特徴量の抽出から適合度算出までの処理は、画像フィルタにより実装され得る。また、当該処理は、弱識別器として実装され得る。また、部分領域９１０の位置は、特徴領域として抽出すべきオブジェクトの種類に応じて定められてよい。例えば人物の顔のオブジェクトを含む領域を特徴領域として検出すべき場合には、部分領域９１０は、人物の顔のオブジェクトに対して判別力が予め定められた値より高くなる位置に定められてよい。判別力が高いとは、人物の顔のオブジェクトに対しては判別結果が真となる確率が高く、人物の顔以外のオブジェクトに対しては判別結果が偽となる確率が高いことを意味してよい。

ここで、画像生成部６６０は、部分領域９１０以外の領域を高画質化せず、部分領域９１０だけを高画質化する。そして、上述したように、第２特徴領域特定部６２０は、高画質化された画像から特徴領域を抽出して、画像領域９００が特徴領域であるか否かを判断する。これにより、高画質化する画像領域を限定しつつ特徴領域の検出確率を高めることができ、ひいては高速かつ高確率で特徴領域を検出することができる。なお、上記の説明では、第２特徴領域特定部６２０おける特徴領域の判断処理について説明したが、第１特徴領域特定部６１０も同じ処理により特徴領域であるか否かを判断してよい。

なお、第１特徴領域特定部６１０および第２特徴領域特定部６２０における処理は、複数の弱識別器により実装することができる。全Ｎ個の弱識別器を用いて実装する場合を例に挙げて以下に説明する。第１特徴領域特定部６１０においては、Ｎｆ個の弱識別器を用いて、特徴領域であるか否かが判別される。適合度は判別結果に基づき算出され、上述したように、適合度が第１閾値より大きい領域は特徴領域として決定され、適合度が第２閾値以下である領域は非特徴領域として決定される。

適合度が第１閾値以下であり第２閾値より大きい領域は、画像生成部６６０により高画質化される。第２特徴領域特定部６２０においては、高画質化された画像は、第１特徴領域特定部６１０が用いたＮｆ個の弱識別器と、当該Ｎｆ個の弱識別器以外のＮｂ個の弱識別器とを用いて、特徴領域であるか否かが判別される。例えば、Ｎｆ＋Ｎｂ個の弱識別器の各判別結果から算出された適合度に基づき、特徴領域であるか否かが判別されてよい。

なお、第１特徴領域特定部６１０により特徴領域として特定されなかった領域のうち、第１閾値より小さく第２閾値より大きい第３閾値と適合度との比較結果に応じて定まる複数の領域を、互い異なる処理で特徴領域が特定されてよい。例えば、第３閾値より大きい適合度が算出された領域については画像生成部６６０により高画質化せずに、第２特徴領域特定部６２０においてＮｆ＋Ｎｂ個の弱識別器により特徴領域であるか否かが判別されてよい。一方、第３閾値以下の適合度が算出された領域については画像生成部６６０により高画質化され、第２特徴領域特定部６２０においてＮｆ＋Ｎｂ個の弱識別器により特徴領域であるか否かが判別されてよい。

なお、第２特徴領域特定部６２０の処理において用いられる弱識別器の数Ｎｂは、適合度に応じて調整されてよい。例えば、適合度が小さいほど、第２特徴領域特定部６２０においてより多くの弱識別器を用いて特徴領域であるか否かが判別されてよい。以上説明したように、第２特徴領域特定部６２０は、適合度が低いほどより詳細に画質変更画像から特徴領域を探索してよい。なお、上記第１特徴領域特定部６１０および第２特徴領域特定部６２０の少なくとも一方における弱識別器構成としては、アダブーストによる弱識別器構成を例示することができる。

なお、第１特徴領域特定部６１０および第２特徴領域特定部６２０は、それぞれ多重解像度表現により構成された低解像度画像群から特徴領域を検出してもよい。この場合に、画像生成部６６０は、第１特徴領域特定部６１０における多重解像度化より高精度に多重解像度化することにより低解像度画像群を生成してよい。第１特徴領域特定部６１０における多重解像度化処理としては、バイキュービック法による縮小処理を例示することができる。また、第２特徴領域特定部６２０における多重解像度化処理としては、事前学習に基づく縮小処理を例示することができる。第２特徴領域特定部６２０は、原寸の画像と目標解像度の画像とを用いた学習により得られた画像処理パラメータを用いて、入力画像から低解像度画像群を生成してよい。なお、学習には、折り返し雑音がより小さい目標解像度の画像を用いることがより好ましい。例えば、異なる数の撮像素子を有する異なる撮像装置により得られた画像を学習に用いることができる。

なお、図３、図６から図９に関連して説明した高画質化処理としては、高解像度化処理を例示することができる。すなわち、画像生成部６６０は、特徴領域として特定される可能性がより高い領域をより高解像度化した高画質画像を生成してよい。なお、高解像度化処理としては、後に説明する超解像処理を例示することができる。

また、高画質化処理としては、階調数を増加する多階調数化処理、色数を増加する多色数化処理を例示することができる。すなわち、画像生成部６６０は、特徴領域として特定される可能性がより高い領域をより多階調数化した高画質画像を生成してよい。また、画像生成部６６０は、特徴領域として特定される可能性がより高い領域をより多色数化した高画質画像を生成してよい。

なお、高画質化の対象となる撮像画像が動画の動画構成画像である場合、高解像度化、多色数化、多階調数化、ノイズ低減化、ブロックノイズおよびモスキートノイズなどのアーチファクトを低減するアーチファクト低減化、ボケ低減化、シャープネス化、高フレームレート化、広ダイナミックレンジ化、折り返し成分を低減する縮小処理、色階調補正処理、収差歪み補正処理、符号化処理を含む変換処理などの高画質化処理においては、他の撮像画像の画素値を用いて高画質化してもよい。例えば、撮像タイミングの違いによる動体の撮像位置のずれを利用することにより高画質化してもよい。すなわち、画像生成部６６０は、動画に含まれる動画構成画像である撮像画像および当該動画に含まれる他の動画構成画像を用いて、高画質画像を生成してよい。

なお、ノイズ低減化処理としては、複数の動画構成画像を用いた処理の他、特開２００８−１６７９４９号公報、特開２００８−１６７９５０号公報、特開２００８−１６７９４８号公報、および特開２００８−２２９１６１号公報に記載された処理を例示することができる。例えば、画像生成部６６０は、ノイズ量がより多い画像とノイズ量のより少ない画像とを用いた事前学習の結果を用いて、ノイズを低減することができる。例えば、ノイズ量がより多い画像である低品質画像とノイズ量のより少ない高品質画像をペアとして変換関係を学習して、学習した変換関係を用いて被写体像のノイズを低減することができる。本実施形態のように可視光で撮像された画像のノイズ量を低減する場合には、特開２００８−１６７９４９号公報に記載されたように少線量で撮像した画像を事前学習に用いることに代えて、より少ない光量の環境光下で撮像した画像を事前学習に用いることができる。また、シャープネス化処理において、より高精度なシャープネス化処理としては、より大きいフィルタサイズのフィルタを用いた処理、より多くの方向にシャープネス化する処理を例示することができる。

図１０は、画像処理装置１７０が有する画像処理部３３０のブロック構成の一例を示す。画像処理部３３０は、パラメータ格納部１０１０、属性特定部１０２０、特定オブジェクト領域検出部１０３０、パラメータ選択部１０４０、重み決定部１０５０、パラメータ生成部１０６０、および画像生成部１０００を含む。

パラメータ格納部１０１０は、被写体像についての複数の属性にそれぞれ対応づけて、それぞれの属性の被写体像をそれぞれ高画質化する複数の画像処理パラメータを格納している。属性特定部１０２０は、入力画像に含まれる被写体像の属性を特定する。ここでいう入力画像とは、伸張部３２０により得られたフレーム画像であってよい。パラメータ選択部１０４０は、属性特定部１０２０により特定された属性により適合する属性に対応づけてパラメータ格納部１０１０が格納している複数の画像処理パラメータをより優先して選択する。画像生成部１０００は、パラメータ選択部１０４０により選択された複数の画像処理パラメータをともに用いて、入力画像に含まれる被写体像を高画質化した高画質画像を生成する。

ここで、属性としては、被写体の向きなど、被写体の状態を例示することができる。すなわち、パラメータ格納部１０１０は、被写体像として撮像された被写体の状態を示す複数の属性にそれぞれ対応づけて、複数の画像処理パラメータを格納している。属性特定部１０２０は、入力画像に含まれる被写体像として撮像された被写体の状態を、当該被写体像から特定する。

被写体の状態としては、撮像されたときの被写体の向きを例示することができる。すなわち、パラメータ格納部１０１０は、被写体像として撮像された被写体の向きを示す複数の属性にそれぞれ対応づけて、複数の画像処理パラメータを格納している。属性特定部１０２０は、入力画像に含まれる被写体像として撮像された被写体の向きを、当該被写体像から特定する。被写体の向きとは、被写体の一例としての人物の顔の向きであってよい。すなわち、パラメータ格納部１０１０は、被写体像として撮像された人物の顔の向きを示す複数の属性にそれぞれ対応づけて、複数の画像処理パラメータを格納している。属性特定部１０２０は、入力画像に含まれる被写体像として撮像された人物の顔の向きを、当該被写体像から特定する。

その他、属性とは、被写体の種別であってもよい。すなわち、パラメータ格納部１０１０は、被写体像として撮像された被写体の種別を示す複数の属性にそれぞれ対応づけて、複数の画像処理パラメータを格納している。属性特定部１０２０は、入力画像に含まれる被写体像として撮像された被写体の種別を、当該被写体像から特定する。

ここで、被写体の種別とは、被写体としての人物の性別であってよい。すなわち、パラメータ格納部１０１０は、被写体像として撮像された人物の性別を示す複数の属性にそれぞれ対応づけて、複数の画像処理パラメータを格納している。属性特定部１０２０は、入力画像に含まれる被写体像として撮像された人物の性別を、当該被写体像から特定する。他にも、被写体の種別とは、人物の年齢であってよい。すなわち、パラメータ格納部１０１０は、被写体像として撮像された人物の年齢を示す複数の属性にそれぞれ対応づけて、複数の画像処理パラメータを格納している。そして、属性特定部１０２０は、入力画像に含まれる被写体像として撮像された人物の年齢を、当該被写体像から特定する。その他、被写体の種別として、表情などを例示することができる。

被写体の向き、被写体の種別の他、被写体像の属性としては、撮像された被写体の大きさおよび位置、撮像された人物の表情、撮像された人物のしぐさ、撮像された人物の姿勢、撮像された人物の人種、撮像された人物が着用している着用物、照明状態などを例示することができる。着用物としては、めがね、サングラス、マスク、帽子など、人物が頭部に着用しているものを例示することができる。パラメータ格納部１０１０は、これら各種の属性の少なくともいずれかを含む複数の属性にそれぞれ対応づけて、複数の画像処理パラメータを格納してよい。この場合、属性特定部１０２０は、入力画像に含まれる被写体像として撮像された人物の対応する属性を、当該被写体像から特定する。被写体像の属性として、このような様々なモダリティを含むことができる。

重み決定部１０５０は、入力画像に含まれる被写体像を高画質化する場合における、複数の画像処理パラメータに対する重みを決定する。そして、画像生成部１０００は、重み決定部１０５０が決定した重みに基づいて、パラメータ選択部１０４０により選択された複数の画像処理パラメータをともに用いて入力画像を高画質化した高画質画像を生成する。なお、重み決定部１０５０は、特定された属性に対する適合度がより大きい属性に対応づけられた画像処理パラメータに対する重みづけがより大きい重みを決定してよい。

パラメータ生成部１０６０は、パラメータ選択部１０４０が選択した複数の画像処理パラメータを合成した合成パラメータを生成する。そして、画像生成部１０００は、パラメータ生成部１０６０が生成した合成パラメータを用いて入力画像に含まれる被写体像を高画質化することにより、高画質画像を生成する。

なお、上記においては、被写体の属性に応じて画像処理パラメータを生成することについて説明した。その他画像処理部３３０は、高画質化の強度を画像上で変化させてもよい。

パラメータ格納部１０１０は、特定のオブジェクトの画像を高画質化すべく用いられる画像処理パラメータである特定パラメータ、および、オブジェクトが特定されない画像を高画質化すべく用いられる画像処理パラメータである非特定パラメータを格納する。非特定パラメータは、後に説明するように、オブジェクトによらず高画質化の効果をある程度有する汎用の画像処理パラメータであってよい。

特定オブジェクト領域検出部１０３０は、入力画像から特定オブジェクトの領域である特定オブジェクト領域を検出する。そして、重み決定部１０５０は、特定オブジェクト領域が検出された入力画像を高画質化する場合における、特定パラメータおよび非特定パラメータの重みを決定する。画像生成部１０００は、重み決定部１０５０が決定した重みに基づいて、特定パラメータおよび非特定パラメータをともに用いて入力画像を高画質化した高画質画像を生成する。

なお、特定オブジェクトとは、特徴領域として検出されるべき被写体のオブジェクトであってよい。重み決定部１０５０は、入力画像における特定オブジェクト領域の画像に対して、特定パラメータに対する重みづけが非特定パラメータより大きい重みを決定する。これにより、特徴領域として検出されるべき特定オブジェクトをきちんと高画質化することができる。また、重み決定部１０５０は、特定オブジェクト領域以外の領域である非特定オブジェクト領域の画像に対して、非特定パラメータに対する重みづけが特定パラメータより大きい重みを決定する。これにより、特定のオブジェクト専用の画像処理パラメータで高画質化することを未然に防ぐことができる。

なお、パラメータ格納部１０１０は、特定のオブジェクトの複数の画像を訓練画像として用いた学習により算出された特定パラメータ、および、特定のオブジェクトの画像ではない複数の画像を訓練画像として用いた学習により算出された非特定パラメータを格納する。これにより、特定オブジェクトに特化した特定パラメータを算出することができる。また、多様なオブジェクトに対する汎用の特定パラメータを算出することができる。

なお、事前学習では、訓練画像の輝度情報そのものではなく、訓練画像のエッジ情報などの空間変化情報を利用した画像処理パラメータが学習されていることが望ましい。低空間周波数領域の情報を低減したエッジ情報を用いることにより、照明変動、特に、低周波の照明変化に対してロバストな高画質化処理を実現することができる。

なお、パラメータ生成部１０６０は、非特定パラメータと特定パラメータとを、重み決定部１０５０が決定した重みで合成することにより、合成パラメータを生成してよい。画像生成部１０００は、パラメータ生成部１０６０が生成した合成パラメータを用いて入力画像を高画質化することにより、高画質画像を生成してよい。

上記の例では、属性特定部１０２０が特定した被写体の属性に基づき選択された複数の画像処理パラメータを用いて、高画質画像を生成する場合の動作について説明した。その他にも、画像生成部１０００は、複数の画像処理パラメータの異なる組み合わせを用いて入力画像に含まれる被写体像を高画質化してよい。例えば、画像生成部１０００は、予め定められた複数の画像処理パラメータの異なる組み合わせを用いて、入力画像に含まれる被写体像を高画質化してよい。そして、画像生成部１０００は、高画質化して得られた複数の画像の中から、入力画像との比較に基づいて少なくとも１つの画像を選択し、選択した画像を高画質画像としてよい。例えば、画像生成部１０００は、高画質化して得られた複数の画像のうち、入力画像に画像内容がより類似する画像を、高画質画像としてより優先して選択してよい。

なお、パラメータ選択部１０４０は、入力画像から特定された被写体の属性に基づいて複数の画像処理パラメータの異なる組み合わせを選択してよい。画像生成部１０００は、選択された複数の画像処理パラメータを用いて、入力画像に含まれる被写体像を高画質化してよい。そして、画像生成部１０００は、高画質化により得られた複数の画像の中から、入力画像との比較に基づいて少なくとも１つの画像を選択し、選択した画像を高画質画像としてもよい。

以上説明したように、画像処理装置１７０は、パラメータ格納部１０１０が限られた数の画像処理パラメータを格納していても、多様な属性の被写体の画像に対処することができる画像処理パラメータを用いて高画質化することができる。

外部情報取得部３８０は、パラメータ格納部１０１０が格納する画像処理パラメータを、外部から取得する。パラメータ格納部１０１０は、外部情報取得部３８０が取得した画像処理パラメータを格納する。具体的には、外部情報取得部３８０は、特定パラメータおよび非特定パラメータの少なくとも一方を、外部から取得する。パラメータ格納部１０１０は、外部情報取得部３８０が取得した特定パラメータおよび非特定パラメータの少なくとも一方を格納する。

なお、高画質化としては、高解像度化、多階調数化、多色数化の他、低ノイズ化、低アーチファクト化、ボケを低減化、シャープネス化、高フレームレート化などを例示することができる。パラメータ格納部１０１０は、これらの各種高画質化処理用の画像処理パラメータを格納することができる。

図１１は、パラメータ格納部１０１０が格納しているパラメータの一例をテーブル形式で示す。パラメータ格納部１０１０は、人物の顔用の画像処理パラメータである特定パラメータＡ０、Ａ１・・・を、顔の向きに対応づけて格納している。特定パラメータＡ０、Ａ１は、対応する顔の向きの画像を訓練画像とした事前学習により、予め算出されている。

ここで、注目画素の周辺画素の画素値を加重加算することによる高解像度化処理を例に挙げて、事前学習による特定パラメータＡの算出処理を説明する。ここでは、注目画素の画素値ｙが、ｎ個の周辺画素の画素値ｘ_ｉ（ただし、ｉ＝１〜ｎ）の加重加算により算出されると仮定する。すなわち、ｙ＝Σ（ｗ_ｉｘ_ｉ）と仮定する。ここで、Σは、ｉにわたる加算を示している。ｗ_ｉは、周辺画素の画素値ｘ_ｉに対する加重係数であり、加重係数ｗ_ｉが事前学習により算出されるべき特定パラメータＡとなる。

特定の向きの顔が撮像されたｍ個の顔画像を訓練画像として用いるとする。ｋ番目（ただし、ｋ＝１〜ｍ）の訓練画像の注目画素の画素値をｙ_ｋとすると、ｙ_ｋ＝Σｗ_ｉｘ_ｋｉで表されることになる。この場合、加重係数ｗ_ｉは、最小二乗法などの演算処理によって算出することができる。例えば、ｋ番目の成分ｅ_ｋがｅ_ｋ＝ｙ_ｋ−Σ（ｗ_ｉｘ_ｋｉ）で表されるベクトルの２乗を実質的に最小化するｗ_ｉを、最小二乗法などの演算処理より算出することができる。上記の特定パラメータの算出処理を、複数の顔向きの顔画像について行うことで、各顔向きに対応する特定パラメータＡを算出することができる。

また、パラメータ格納部１０１０は、人物の顔でないオブジェクトに対して、非特定パラメータＢを格納している。非特定パラメータＢは、多種多様な被写体の画像を訓練画像とした事前学習により、予め算出されている。なお、非特定パラメータＢは、特定パラメータＡと同様の事前学習処理により算出することができる。例えば、特定パラメータＡを算出する事前学習処理において、訓練画像として顔画像ではなく人物以外の画像を用いることで、非特定パラメータＢを算出することができる。

図１２は、特定パラメータの重みづけの一例を示す。特徴領域として、画像１２００内の太線の内部の領域１２１０および領域１２２０が、特徴領域として検出されているとする。重み決定部１０５０は、特徴領域のより内部の領域１２１０には、特定パラメータの重み係数を１００％、非特定パラメータの重み係数を０％に決定する。また、領域１２１０より非特徴領域寄りの領域１２２０には、特定パラメータの重み係数を８０％、非特定パラメータの重み係数を２０％に決定する。

また、特徴領域の外側の領域に対しては、特徴領域の近傍の領域１２３０には、特定パラメータの重み係数を５０％、非特定パラメータの重み係数を５０％に決定する。そして、さらに外側の領域１２５０には、特定パラメータの重み係数を０％、非特定パラメータの重み係数を１００％に決定する。

このように、重み決定部１０５０は、入力画像における特定オブジェクト領域のより内側の領域の画像に対して、特定パラメータに対する重みづけがより大きい重みを決定する。また、重み決定部１０５０は、特定オブジェクト領域以外の領域である非特定オブジェクト領域の画像に対して、特定オブジェクト領域に近いほど、特定パラメータに対する重みづけがより大きい重みを決定する。このように、重み決定部１０５０は、特徴領域の中心から外側に向けて、特徴領域から非特徴領域に向けて特定パラメータの重み係数が段階的に減少させる。また、重み決定部１０５０は、重み係数を段階的に減少させることの他に、特徴領域の中心からの距離、または、特徴領域の周囲領域等からの距離に比例して、重み係数を連続的に減少させてもよい。例えば、重み決定部１０５０は、距離ｘに対して重み係数の値を１／ｘ、１／ｘ^２、ｅ^−ｘなどの関数に従って減少させるなど、距離ｘに対して累乗的、または指数関数的に減少する値の重み係数を決定してよい。

なお、重み決定部１０５０は、特徴領域としての検出信頼度に応じて重み係数を制御してもよい。具体的には、重み決定部１０５０は、特定オブジェクトの領域としての検出信頼度がより大きい特定オブジェクト領域の画像に対して、特定パラメータに対する重みづけがより大きい重みを決定する。

特徴領域として検出されなかった領域に特定オブジェクトが存在していたとすると、その領域を汎用の非特定パラメータで高画質化しても、特定オブジェクトが存在するかどうか判別できない場合がある。画像処理部３３０によると、特徴領域として検出されなかった領域でも、特定オブジェクト用の特定パラメータの効果を有する高画質化処理を行うので、高画質化した画像から特定オブジェクトが存在するか否かを容易に判別することができる場合がある。

なお、特定パラメータは、図１１に関連して説明した複数の画像処理パラメータを合成した画像処理パラメータであってよい。例えば、検出された特徴領域内に、正面顔から１５°横を向いた人物の顔の画像が含まれているとする。この場合、重み決定部１０５０は、特定パラメータＡ０に対する重み係数を２５％に決定して、特定パラメータＡ１に対する重み係数を７５％に決定する。そして、パラメータ生成部１０６０は、特定パラメータＡ０と特定パラメータＡ１とを、それぞれ重み係数を２５％および７５％で合成した合成パラメータを生成する。そして、画像生成部１０００は、パラメータ合成部が生成した合成パラメータと、非特定パラメータとを、図１２に図示した割合の重みづけして得られた画像処理パラメータを用いて高画質化する。

例えば、周辺画素の加重加算により高画質化する画像処理パラメータ（特定パラメータまたは非特定パラメータ）を用いる場合、パラメータ生成部１０６０は、画像処理パラメータの加重係数を、重み決定部１０５０が決定した重み係数で重み付け加算して、得られた加重係数により表される合成パラメータを算出してよい。可加算な画像処理パラメータとしては、加重係数の他に、空間周波数領域での空間周波数成分または画素データそのもの（例えば、高周波数成分の画像データ）を例示することができる。

他にも、高画質化処理が、特徴量ベクトルなどに対するベクトル演算、行列演算、またはテンソル演算で表される場合には、パラメータ生成部１０６０は、それら画像処理パラメータとしてのベクトル、行列、テンソル、ｎ次元混合正規分布、またはｎ次元混合多項分布の重み付け加算または乗算により、合成パラメータを生成してよい。なお、ここでのｎは、１以上の整数であるとする。例えば、特徴ベクトル空間においてベクトル補間することにより、スカラーでは表現できないベクトル上で合成によるボケを軽減できる場合がある。例えば、０°の向きの特徴ベクトルに係数０．２５を乗じた特徴ベクトルと、２０°の向きの特徴ベクトルに係数０．７５を乗じた特徴ベクトルとの和を、１５°の向きの特徴ベクトルとする演算を、１例として示すことができる。また、後述する様々な変換（例えば、主成分分析（ＰＣＡ）、局所保存投影（ＬＰＰ））の空間上で補間することにより、更に合成ボケを軽減することができる場合がある。なお、パラメータ生成部１０６０は、特定パラメータと非特定パラメータとから合成パラメータを算出することができる。また、パラメータ生成部１０６０は、異なる複数の特定パラメータから合成パラメータを算出することもできる。

なお、画像生成部１０００は、特定パラメータと非特定パラメータとを用いて高画質画像を生成する場合に、特定パラメータを用いて画像処理して得られた画像情報と、非特定パラメータを用いて画像処理して得られた画像情報とを、重み決定部１０５０が決定した重み係数で加算することにより、高画質画像を生成してよい。その他、画像生成部１０００は、特定パラメータを用いて画像処理して得られた画像情報に対して、非特定パラメータを用いて画像処理することにより、高画質画像を生成してもよい。同様の処理は、複数の特定パラメータを用いた高画質化処理に適用することができる。なお、ここでいう画像データとしては、画素値そのもの、特徴量空間における特徴量ベクトル、行列、ｎ次元混合正規分布、ｎ次元混合多項分布などを例示することができる。例えば、特徴ベクトル空間においてベクトル補間することにより、スカラーでは表現できないベクトル上で合成によるボケを軽減することができる場合がある。

なお、図１１および図１２にかけて説明した高画質化処理では、特徴領域内の画像から特定された人物の顔の向きに基づき、特徴領域を高画質化する場合に用いる複数の画像処理パラメータがパラメータ選択部１０４０により選択された。そして、画像生成部１０００は、パラメータ選択部１０４０により選択された複数の画像処理パラメータを用いて、１つの高画質化画像を生成した。

その他にも、画像生成部１０００は、画像生成部１０００が格納している画像処理パラメータの複数の組み合わせのそれぞれから、特徴領域を高画質化した画像を複数生成してもよい。そして、画像生成部１０００は、得られた複数の画像のうち、特徴領域内の画像に最も類似する画像を、特徴領域を高画質化した高画質画像として生成してよい。

例えば、画像生成部１０００は、０°の向きに対応する特定パラメータＡ０と２０°の向きに対応する特定パラメータＡ１との合成パラメータを用いて、特徴領域の画像を高画質化した画像を生成する。画像生成部１０００は、さらに、他の１以上の組み合わせの特定パラメータの合成パラメータを用いて、特徴領域の画像を高画質化した１以上の画像を生成する。

そして、画像生成部１０００は、生成した複数の画像のそれぞれを特徴領域内の画像と比較して、画像内容の一致度を算出する。画像生成部１０００は、生成した複数の画像のうち、最も高い一致度が得られた画像を、高画質画像として決定する。

なお、特徴領域の画像を高画質化した複数の画像を生成する場合に、画像生成部１０００は、予め定められた特定パラメータの複数の組に基づく複数の合成パラメータのそれぞれにより特徴領域内の画像を高画質化してよい。この場合、属性特定部１０２０が顔の向きを特定する処理をすることなく、パラメータ選択部１０４０が予め定められた特定パラメータの複数の組を選択してよい。

その他にも、特徴領域内の画像から特定された人物の顔の向きに基づきパラメータ選択部１０４０が特定パラメータの組を複数選択してよい。例えば、パラメータ選択部１０４０は、特定パラメータの複数の組を特定する情報と人物の顔の向きを特定する情報とを対応づけて記憶しており、特徴領域内の画像から特定された人物の顔の向きに対応づけて記憶している特定パラメータの複数の組を選択してよい。そして、選択した複数の組に基づく複数の合成パラメータのそれぞれにより特徴領域内の画像を高画質化することで、特徴領域の画像を高画質化した画像を複数生成してもよい。

また、特徴領域の画像を高画質化した複数の画像を生成する場合に、画像生成部１０００は、複数の特定パラメータのそれぞれにより特徴領域内の画像を高画質化してもよい。そして、画像生成部１０００は、得られた複数の画像のうち、特徴領域内の画像に最も類似する画像を、特徴領域を高画質化した高画質画像として生成してもよい。この場合においても、属性特定部１０２０が顔の向きを特定する処理をすることなく、パラメータ選択部１０４０が予め定められた複数の特定パラメータを選択してよいし、特徴領域内の画像から特定された人物の顔の向きに基づきパラメータ選択部１０４０が特定パラメータを複数選択してもよい。

図１１に関連して説明したように、特定の顔向きの訓練画像から、特定の顔向きの顔画像を高画質化する画像処理パラメータ（特定パラメータ）を算出することができる。他の複数の顔向きについてもそれぞれ同様にして画像処理パラメータを算出することで、複数の顔向きのそれぞれに対応する画像処理パラメータを算出することができる。そして、パラメータ格納部１０１０は、算出されたそれぞれの画像処理パラメータを、対応する顔向きに対応づけて予め格納する。なお、顔画像を高画質化する画像処理パラメータとしては、顔全体を高画質化する画像処理パラメータであってよいが、目の画像、口の画像、鼻の画像、耳の画像など、顔画像に含まれる少なくとも一部のオブジェクトを高画質化する画像処理パラメータであってもよい。

顔向きはこの発明における被写体の向きの一例であり、被写体の向きについても、顔向きと同様にして、複数の被写体の向きにそれぞれ対応する複数の画像処理パラメータを算出することができる。被写体が人物である場合には、被写体の向きとして人体の向きを例示することができ、より具体的には体部の向き、手の向きなどを人体の向きとして例示することができる。また、被写体が人物以外である場合にも、顔画像と同様にして、複数の方向の被写体が撮像された被写体像をそれぞれ高画質化する複数の画像処理パラメータを算出することができる。

被写体の向きはこの発明における被写体の状態の一例であり、被写体の状態は人物の表情により分類することができる。この場合に、パラメータ格納部１０１０が格納する複数の画像処理パラメータは、それぞれ異なる特定の表情をしている顔の画像をそれぞれ高画質化する。例えば、パラメータ格納部１０１０が格納する複数の画像処理パラメータは、人物が喜怒哀楽のそれぞれの状態にあるときの顔、人物が緊張状態にあるときの顔、人物の真顔などをそれぞれ高画質化する。

また、被写体の状態は、人物のしぐさにより分類することができる。この場合に、パラメータ格納部１０１０が格納する複数の画像処理パラメータは、それぞれ異なる特定のしぐさをしている状態の人物の画像を高画質化する。例えば、パラメータ格納部１０１０が格納する複数の画像処理パラメータは、走っている状態の人物像、足早に歩いている状態の人物像、走り出そうとしている状態の人物像、物を物色している状態の人物像などをそれぞれ高画質化する。

また、被写体の状態は、人物の姿勢により分類することができる。この場合に、パラメータ格納部１０１０が格納する複数の画像処理パラメータは、それぞれ異なる特定の姿勢をしている状態の人物の画像をそれぞれ高画質化する。例えば、パラメータ格納部１０１０が格納する複数の画像処理パラメータは、背をかがめた状態の人物像、手をポケットに入れている状態の人物像、腕組みしている状態の人物像、顔と体の向きとが一致していない状態の人物像などをそれぞれ高画質化する。

また、被写体の状態は、人物の着用物により分類することができる。この場合に、パラメータ格納部１０１０が格納する複数の画像処理パラメータは、それぞれ異なる特定の着用物を着用している状態の人物の画像をそれぞれ高画質化する。例えば、パラメータ格納部１０１０が格納する複数の画像処理パラメータは、めがねを着用している人物像、サングラスを着用している人物像、マスクをしている人物像、帽子を着用している人物像などをそれぞれ高画質化する。

以上に説明したように、被写体の複数の状態に対応して被写体が複数の属性に分類される。他にも、被写体は、被写体の種別によって複数の属性に分類されることができる。被写体の種別としては、人物の人種を例示することができる。人物の人種としては、アジア系の人種、欧州系の人種など地域的に分類された人種、形質人類学的に分類された人種などを例示することができる。この場合に、パラメータ格納部１０１０が格納する複数の画像処理パラメータは、それぞれ対応する人種に分類された人物の画像をそれぞれ高画質化する。

また、被写体の種別としては、男性・女性のように人物の性別で分類することができる。この場合に、パラメータ格納部１０１０が格納する複数の画像処理パラメータは、男性の画像または女性など、対応する性別の人物の画像をそれぞれ高画質化する。また、被写体の種別としては、人物の年齢層で分類することができる。この場合に、パラメータ格納部１０１０が格納する複数の画像処理パラメータは、十代の人物の画像、二十代の人物の画像など、対応する年代の人物の画像をそれぞれ高画質化する。

上記において例示された被写体の種別、被写体の複数の状態、またはそれらの組み合わせにより、被写体像の属性が規定される。そして、パラメータ格納部１０１０は、規定された属性のそれぞれに対応づけて、各属性に属する被写体像を高画質化する画像処理パラメータを予め格納する。パラメータ格納部１０１０により格納される画像処理パラメータは、各顔向き用の画像処理パラメータの算出方法と同様の方法により、算出することができる。例えば、表情で属性が規定されている場合には、笑っている顔が撮像された複数の画像を訓練画像として事前学習することにより、笑い顔の画像を高画質化する画像処理パラメータを算出することができる。怒り顔の画像など、他の表情の画像についてもそれぞれ同様に事前学習することで、各表情の顔画像をそれぞれ高画質化する複数の画像処理パラメータを算出することができる。しぐさ、姿勢、着用物、人種、性別、年齢などにより規定される各属性についても、同様にして画像処理パラメータを算出することができる。

属性特定部１０２０は、例えばアダブーストなどによりブースティングにより予め算出された識別器を被写体像に適用することにより、被写体像の属性を特定することができる。例えば、特定の向きの顔が撮像された複数の顔画像を教師画像として用いて、弱識別器をブースティング処理により統合して識別器を生成する。生成された識別器に被写体像を適用した場合に得られた正誤の識別結果に応じて、特定の顔向きの顔画像であるか否かを判定することができる。例えば、正の識別結果が得られた場合には、入力された被写体像は、特定の顔向きの顔画像であると判定することができる。

他の複数の顔向きについても同様にブースティング処理により識別器を生成することにより、各顔向きにそれぞれ対応する複数の識別器を生成することができる。属性特定部１０２０は、これら複数の識別器を被写体像にそれぞれ適用して、各識別器から得られた正誤の識別結果に基づいて顔向きを特定することができる。顔向きの他、表情、性別などで規定される他の１以上の属性についても、それぞれブースティング処理により属性毎に生成された識別器を適用することにより特定することができる。属性特定部１０２０は、ブースティングによる学習の他、線形判別法、混合ガウシアンモデルなど種々の方法で属性毎に学習された識別器を被写体像に適用することで、属性を特定することができる。

図１３は、表示装置１８０のブロック構成の一例を示す。表示装置１８０は、画像取得部１３００、第１画像処理部１３１０、特徴領域特定部１３２０、パラメータ決定部１３３０、表示制御部１３４０、第２画像処理部１３５０、外部情報取得部１３８０、および表示部１３９０を有する。

画像取得部１３００は、入力画像を取得する。ここでいう入力画像は、画像処理装置１７０から受け取った動画に含まれるフレーム画像であってよい。第１画像処理部１３１０は、予め定められた画像処理パラメータを用いて入力画像を高画質化した所定画質画像を生成する。例えば第１画像処理部１３１０は、高解像度化する場合には、単純補間拡大処理など、所要演算量が予め定められた値より小さい方式の画像処理パラメータを用いて、所定画質画像を生成する。

表示制御部１３４０は、第１画像処理部１３１０が生成した所定画質画像を、表示部１３９０に表示させる。このように、表示部１３９０は、所定画質画像を表示する。

特徴領域特定部１３２０は、入力画像における複数の特徴領域を特定する。特徴領域特定部１３２０は、表示部１３９０が所定画質画像を表示している状態で、入力画像における複数の特徴領域を特定してよい。なお、画像処理装置１７０は、特徴領域を特定する情報を動画に付帯情報として付帯して表示装置１８０に送信してよい。特徴領域特定部１３２０は、画像取得部１３００が取得した動画の付帯情報から特徴領域を特定する情報を抽出することにより、複数の特徴領域を特定してよい。

パラメータ決定部１３３０は、複数の特徴領域のそれぞれの画像をさらに高画質化する画像処理パラメータを、複数の特徴領域毎に決定する。例えば、パラメータ決定部１３３０は、複数の特徴領域のそれぞれの画像を、異なる強度で高画質化する画像処理パラメータを、複数の特徴領域毎に決定する。「異なる強度で高画質化する」とは、異なる演算量で高画質化すること、単位面積あたりに異なる演算量で高画質化すること、異なる所要演算量の高画質化方式で高画質化すること、などを意味してよい。

第２画像処理部１３５０は、パラメータ決定部１３３０が決定した画像処理パラメータを用いて、複数の特徴領域の画像をそれぞれ高画質化した複数の高画質特徴領域画像を生成する。表示制御部１３４０は、表示部１３９０が表示している所定画質画像における複数の特徴領域に、複数の特徴領域画像を表示させる。このように、表示制御部１３４０は、高画質画像が生成された段階で、表示部１３９０が既に表示している所定画質画像に代えて、高画質画像を表示させる。表示部１３９０は、所定画質画像を速やかに生成して表示するので、ユーザは実質的に遅滞なく、ある程度の画質の監視映像を観察することができる。

パラメータ決定部１３３０は、複数の特徴領域のそれぞれの画像の重要度に基づいて、複数の特徴領域毎に画像処理パラメータを決定してよい。重要度を示す情報は、上記付帯情報に付帯されてよい。また、重要度は、特徴領域の被写体の種別に応じて予め定められていてよい。被写体の種別毎の重要度は、表示部１３９０を観察するユーザにより設定されてもよい。パラメータ決定部１３３０は、重要度がより大きい特徴領域をより大きい強度で高画質化する画像処理パラメータを決定する。このため、ユーザは、重要な特徴領域がより高画質な画像を観察することができる。

パラメータ決定部１３３０は、複数の特徴領域のそれぞれの画像の特徴の種類に基づいて、複数の特徴領域毎に画像処理パラメータを決定する。また、パラメータ決定部１３３０は、複数の特徴領域内に撮像されている被写体の種類に基づいて、複数の特徴領域毎に画像処理パラメータを決定してもよい。このように、パラメータ決定部１３３０は、被写体の種類に応じて直接的に画像処理パラメータを決定してよい。

なお、パラメータ決定部１３３０は、第２画像処理部１３５０において複数の特徴領域をそれぞれ高画質化するのに要する処理所要量に基づいて、画像処理パラメータを決定する。具体的には、パラメータ決定部１３３０は、処理所要量がより小さい場合に、より大きい強度で高画質化する画像処理パラメータを決定する。

例えば、パラメータ決定部１３３０は、複数の特徴領域の面積がより小さい場合に、より大きい強度で高解像度化する画像処理パラメータを決定してよい。そして、第２画像処理部１３５０は、パラメータ決定部１３３０が決定した画像処理パラメータを用いて、複数の特徴領域の画像をそれぞれ高解像度化した複数の高画質特徴領域画像を生成する。また、パラメータ決定部１３３０は、複数の特徴領域の画素数がより少ない場合に、より大きい強度で高画質化する画像処理パラメータを決定してよい。

また、パラメータ決定部１３３０は、第２画像処理部１３５０において許容された処理量である処理可能容量に基づき、画像処理パラメータを決定する。具体的には、パラメータ決定部１３３０は、処理可能容量がより小さい場合に、より大きい強度で高画質化する画像処理パラメータを決定してよい。

このため、第２画像処理部１３５０が処理可能な演算量に応じて、高画質化の程度を制御することができる。このため、表示部１３９０の負荷が高画質化処理により過負荷に陥って、画像の表示が遅延することを未然に防ぐことができる場合がある。表示部１３９０の演算量に余裕があれば、速やかに高画質画像が生成されるので、観察することができる。

上述したように、高画質化としては、高解像度化を例示することができる。具体的には、パラメータ決定部１３３０は、複数の特徴領域のそれぞれの画像を高解像度化する画像処理パラメータを、複数の特徴領域毎に決定する。第２画像処理部１３５０は、パラメータ決定部１３３０が決定した画像処理パラメータを用いて、複数の特徴領域の画像をそれぞれ高解像度化した複数の高画質特徴領域画像を生成する。ここで、大きい強度で高解像度化するとは、高精度に高解像度化すること、および、より多い画素数の高画質画像を生成することを含む。

高画質化処理としては、多階調数化処理を含む。具体的には、パラメータ決定部１３３０は、複数の特徴領域のそれぞれの画像を多階調数化する画像処理パラメータを、複数の特徴領域毎に決定する。そして、第２画像処理部１３５０は、パラメータ決定部１３３０が決定した画像処理パラメータを用いて、複数の特徴領域の画像をそれぞれ多階調数化した複数の高画質特徴領域画像を生成する。

他にも、高画質化処理としては、多色数化処理を含む。具体的には、パラメータ決定部１３３０は、複数の特徴領域のそれぞれの画像を多色数化する画像処理パラメータを、複数の特徴領域毎に決定する。そして、第２画像処理部１３５０は、パラメータ決定部１３３０が決定した画像処理パラメータを用いて、複数の特徴領域の画像をそれぞれ多色数化した複数の高画質特徴領域画像を生成する。

他にも、高画質化として、低ノイズ化、低アーチファクト化、ボケを低減化、シャープネス化を例示することができる。これらの各種の高画質化についても、高解像度化などと同様、パラメータ決定部１３３０が各種の高画質化をする画像処理パラメータを複数の特徴領域毎に決定して、第２画像処理部１３５０が、パラメータ決定部１３３０が決定した画像処理パラメータを用いて、複数の特徴領域の画像をそれぞれ各種の高画質化をした複数の高画質特徴領域画像を生成することができる。

なお、上述したように、画像取得部１３００は、動画に含まれる複数の動画構成画像を入力画像として取得してよい。パラメータ決定部１３３０は、複数の特徴領域のそれぞれを高フレームレート化する画像処理パラメータを、複数の特徴領域毎に決定する。そして、第２画像処理部１３５０は、パラメータ決定部１３３０が決定した画像処理パラメータを用いて、高フレームレート化した複数の高画質特徴領域画像を生成してよい。

なお、パラメータ決定部１３３０は、動画のフレームレートに基づいて、画像処理パラメータを決定する。具体的には、パラメータ決定部１３３０は、動画のフレームレートがより小さい場合に、より大きい強度で高画質化する画像処理パラメータを決定してよい。第２画像処理部１３５０は、決定した画像処理パラメータを用いて、入力画像をそれぞれ高画質化することにより、高画質化された動画を生成してよい。なお、第２画像処理部１３５０による高画質化は、画像処理装置１７０による高画質化と同様、高解像度化、多色数化、多階調数化、ノイズ低減化、ブロックノイズおよびモスキートノイズなどのアーチファクトを低減するアーチファクト低減化、ボケ低減化、シャープネス化、高フレームレート化、広ダイナミックレンジ化、折り返し成分を低減する縮小処理、色階調補正処理、収差歪み補正処理、符号化処理を含む変換処理の概念を含んで良く、第２画像処理部１３５０はこれらの処理により高画質化画像を生成することができる。

このように、表示装置１８０は、高画質化すべき画像のデータ量、高画質化処理に割り当てることができる演算量に応じて、高画質化の強度を決定することができる。表示装置１８０によると、ある程度の品質の画像を速やかにユーザに提供することができるとともに、高画質化処理された画像の表示が極度に遅延してしまうことを未然に防ぐことができる。このため、表示装置１８０は、高画質化処理により過負荷になることを未然に防ぐことができ、画像処理装置１７０から提供された動画をスムーズに再生することができる。

なお、外部情報取得部１３８０は、特徴領域毎に画像処理パラメータを決定する決定条件を、表示装置１８０の外部から取得する。パラメータ決定部１３３０は、外部情報取得部１３８０が取得した決定条件に基づいて、複数の特徴領域毎に画像処理パラメータを決定する。決定条件としては、特徴領域の重要度、特徴領域の特徴の種類、処理所要量、特徴領域の面積、特徴領域の画素数、処理可能容量などをパラメータとした条件を例示することができる。

図１４は、表示エリア１４００の一例を示す。表示エリア１４００は、表示部１３９０により入力画像が表示される領域であるとする。ここでは、入力画像から３つの特徴領域が特定されているとする。これらの特徴領域の画像は、表示エリア１４００のうち、特徴領域エリア１４１０、特徴領域エリア１４２０、および特徴領域エリア１４３０に表示されるとする。

画像取得部１３００が入力画像を取得した場合に、表示制御部１３４０は、取得した入力画像を、表示部１３９０の表示エリア１４００にそのまま表示させる。

入力画像が表示された状態で、第２画像処理部１３５０は、各特徴領域の画像に、単純補間などの、所要演算量が予め定められた値より小さい所定の高解像度化処理を施して、各特徴領域の画像の所定画質画像を生成する（第１高解像度化段階）。この第１高解像度化段階では、高解像度化の強度は特徴領域の画素数、フレームレートなどの画像のデータ量、特徴領域の重要度、被写体の種類、ならびに第２画像処理部１３５０における演算許容量になどによらず、第２画像処理部１３５０は所定強度の高解像度化処理を施す。なお、当該所定強度の高解像度化処理を入力画像の全域に施すのに要する演算量が、第２画像処理部１３５０に常時割り当てられてよい。

第１高解像度化段階が完了して、所定画質画像１４１２、所定画質画像１４２２、および所定画質画像１４３２が生成されると、表示制御部１３４０は、所定画質画像１４１２、所定画質画像１４２２、および所定画質画像１４３２をそれぞれ対応する特徴領域エリア１４１０、特徴領域エリア１４２０、および特徴領域エリア１４３０に表示させる。

所定画質画像１４１２、所定画質画像１４２２、および所定画質画像１４３２が表示された状態で、第２画像処理部１３５０は、パラメータ決定部１３３０が特徴領域毎に決定した強度で、高解像度化処理を行い、各特徴領域の画像の高画質画像を生成する（第２高解像度化段階）。この第２高解像度化段階では、高解像度化の強度は、パラメータ決定部１３３０により決定された強度であり、特徴領域の画素数およびフレームレートなどの画像のデータ量、特徴領域の重要度、被写体の種類、ならびに第２画像処理部１３５０における演算許容量に依存する。

第２高解像度化段階が完了して、高画質画像１４１４、高画質画像１４２４、および高画質画像１４３４が生成されると、表示制御部１３４０は、高画質画像１４１４、高画質画像１４２４、および高画質画像１４３４を、それぞれ対応する特徴領域エリア１４１０、特徴領域エリア１４２０、および特徴領域エリア１４３０に表示させる。

このように、第２画像処理部１３５０は、現在の負荷量、高画質化に要する演算量に応じた強度で高解像度化するので、提供可能な範囲内で高画質な画像を速やかにユーザに提供することができる。

図１５は、他の実施形態に係る画像処理システム２０の一例を示す。本実施形態における画像処理システム２０の構成は、撮像装置１００ａ−ｄがそれぞれ画像処理部８０４ａ−ｄ（以下、画像処理部８０４と総称する。）を有する点を除いて、図１で説明した画像処理システム１０の構成と同じとなっている。

画像処理部８０４は、画像処理装置１２０に含まれる構成要素のうち、画像取得部２５０を除く構成要素を有している。そして、画像処理部８０４に含まれる各構成要素の機能および動作は、画像処理装置１２０に含まれる各構成要素が圧縮動画伸張部２０２による伸張処理によって得られた動画を処理することに替えて、撮像部１０２によって撮像された動画を処理するという点を除いて、画像処理装置１２０に含まれる各構成要素の機能および動作と略同一であってよい。このような構成の画像処理システム２０においても、図１から図１４にかけて画像処理システム１０に関連して説明した効果と同様の効果が得ることができる。

なお、画像処理部８０４は、撮像部１０２からＲＡＷ形式で表された複数の撮像画像を含む動画を取得して、取得した動画に含まれるＲＡＷ形式で表された複数の撮像画像をＲＡＷ形式のまま圧縮してよい。なお、画像処理部８０４は、ＲＡＷ形式で表された複数の撮像画像から１以上の特徴領域を検出してよい。また、画像処理部８０４は、圧縮されたＲＡＷ形式の複数の撮像画像を含む動画を圧縮してよい。なお、画像処理部８０４は、動画を、図１〜図９に関連して画像処理装置１２０の動作として説明した圧縮方法で圧縮することができる。また、画像処理装置１７０は、画像処理部８０４から取得した動画を伸張することにより、ＲＡＷ形式で表された複数の撮像画像を取得することができる。画像処理装置１７０は、伸張することにより取得されたＲＡＷ形式で表された複数の撮像画像をそれぞれ領域毎に拡大して、領域毎に同時化処理を施す。このとき、画像処理装置１７０は、特徴領域以外の領域より、特徴領域においてより高精度な同時化処理を施してよい。

なお、画像処理装置１７０は、同時化処理によって得られた撮像画像における特徴領域の画像に、超解像処理を施してよい。画像処理装置１７０における超解像処理としては、特開２００６−３５０４９８号公報に記載されたような主成分分析に基づく超解像処理、あるいは特開２００４−８８６１５号公報に記載されたような被写体の動きに基づく超解像処理を例示することができる。なお、特開２００４−８８６１５号公報に記載された超解像処理は、オブジェクトに限定せずに使用できる画像処理パラメータである非特定パラメータにより実現されてよい。

なお、画像処理装置１７０は、特徴領域に含まれるオブジェクト毎に、超解像処理を施してよい。例えば、特徴領域が人物の顔画像を含む場合に、画像処理装置１７０は、オブジェクトの一例としての顔部位（例えば、目、鼻、口など）毎に、超解像処理を施す。この場合、画像処理装置１７０は、特開２００６−３５０４９８号公報に記載されたようなモデル等の学習データを、顔部位（例えば、目、鼻、口など）毎に記憶しておく。そして、画像処理装置１７０は、特徴領域に含まれる顔部位毎に選択した学習データを使用して、各顔部位の画像に超解像処理を施してよい。

なお、モデル等の学習データは、複数の表情、複数の顔方向、複数の照明条件のそれぞれの組み合わせ毎に記憶されてよい。表情としては、喜怒哀楽のそれぞれの状態にあるときの顔、および真顔を含み、顔方向としては、正面、上方、下方、右方、左方、および後方を含む。照明条件としては、照明強度および照明の方向についての条件を含む。画像処理装置１７０は、顔の表情、顔方向、照明条件の組み合わせに対応する学習データを用いて、顔画像に超解像処理を施してよい。

なお、顔の表情および顔の方向は、特徴領域に含まれる顔画像の画像内容に基づいて特定することができる。また、表情は、口および／または目の形状から特定することができ、顔の方向は、目、口、鼻、および耳の位置関係等から特定することができる。また、顔への照明強度および照明方向は、影の位置および大きさなど、顔画像の画像内容に基づき特定することができる。なお、顔の表情、顔方向、照明条件は画像処理装置１２０において特定され、出力部２０７から画像に対応づけて、特定された顔の表情、顔方向、照明条件が送信されてよい。画像処理装置１７０は、出力部２０７から受信した顔の表情、顔方向、照明条件に対応する学習データを利用して、超解像処理を施してよい。

なお、モデル等の学習データとしては、顔全体を表現するモデルの他に、顔の部位毎のモデルを用いることができる。他にも、性別および／または人種毎の顔のモデルを用いることができる。モデルとしては人物に限らず、車両、船舶など、監視対象となる物体の種別毎にモデルを格納することができる。

このように、画像処理装置１７０は、主成分分析（ＰＣＡ）を用いて特徴領域の画像を再構成することができる。なお、画像処理装置１７０による画像再構成手法、および当該画像再構成用の学習法としては、主成分分析（ＰＣＡ）による学習・画像再構成の他に、局所保存投影（ｌｏｃａｌｉｔｙ ｐｒｅｓｅｒｖｉｎｇ ｐｒｏｊｅｃｔｉｏｎ：ＬＰＰ）、線形判別分析（Ｌｉｎｅａｒ Ｄｉｓｃｒｉｍｉｎａｎｔ Ａｎａｌｙｓｉｓ：ＬＤＡ）、独立成分分析（Ｉｎｄｅｐｅｎｄｅｎｔ ｃｏｍｐｏｎｅｎｔ ａｎａｌｙｓｉｓ：ＩＣＡ）、多次元スケーリング（ｍｕｌｔｉｄｉｍｅｎｓｉｏｎａｌ ｓｃａｌｉｎｇ：ＭＤＳ）、サポートベクターマシン（サポートベクター回帰）、ニューラルネットワーク、隠れマルコフモデル、Ｂａｙｅｓ推論、最大事後確率推定、反復逆投影、Ｗａｖｅｌｅｔ変換、局所線形埋め込み（ｌｏｃａｌｌｙ ｌｉｎｅａｒ ｅｍｂｅｄｄｉｎｇ：ＬＬＥ）、マルコフランダム場（Ｍａｒｋｏｖ ｒａｎｄｏｍ ｆｉｅｌｄ：ＭＲＦ）等の手法を用いることができる。

また、学習データとしては、特開２００６−３５０４９８号公報に記載されたようなモデルの他に、オブジェクトの多数のサンプル画像からそれぞれ抽出された、オブジェクトの画像の低周波成分および高周波成分を含んでよい。ここで、複数のオブジェクトの種類のそれぞれについてオブジェクトの画像の低周波成分をＫ−ｍｅａｎｓ法等によってクラスタリングすることによって、複数のオブジェクトの種類のそれぞれにおいてオブジェクトの画像の低周波成分が複数のクラスタにクラスタリングされていてよい。また、各クラスタ毎に代表的な低周波成分（例えば、重心値）が定められていてよい。

そして、画像処理装置１７０は、撮像画像における特徴領域に含まれるオブジェクトの画像から低周波成分を抽出する。そして、画像処理装置１７０は、抽出したオブジェクトの種類のオブジェクトのサンプル画像から抽出された低周波成分のクラスタのうち、抽出した低周波成分に適合する値が代表的な低周波成分として定められたクラスタを特定する。そして、画像処理装置１７０は、特定したクラスタに含まれる低周波成分に対応づけられている高周波成分のクラスタを特定する。このようにして、画像処理装置１７０は、撮像画像に含まれるオブジェクトから抽出された低周波成分に相関のある高周波成分のクラスタを特定することができる。そして、画像処理装置１７０は、特定した高周波成分のクラスタを代表する高周波成分を用いて、オブジェクトの画像をより高画質な高画質画像に変換してよい。例えば、画像処理装置１７０は、各オブジェクトの中心から顔上の処理対象位置までの距離に応じた重みでオブジェクト毎に選択された当該高周波成分をオブジェクトの画像に加算してよい。なお、当該代表する高周波成分は、閉ループ学習によって生成されてよい。このように、画像処理装置１７０は、各オブジェクト毎に学習することによって生成された学習データの中から、望ましい学習データをオブジェクト毎に選択して利用するので、オブジェクトの画像をより高い精度で高画質化することができる場合がある。

なお、画像処理装置１７０は、Ｋ−ｍｅａｎｓ法等によりクラスタリングせず、記憶している低周波成分および高周波成分を用いて、入力画像を高画質化することもできる。例えば、画像処理装置１７０は、低解像度の訓練画像内の各パッチから抽出したエッジ成分である低解像度エッジ成分と、高解像度の訓練画像内の各パッチから抽出したエッジ成分である高解像度エッジ成分とのペアを記憶しておく。これらのエッジ成分は、ＰＣＡなどの特徴空間上のベクトルとして記憶されてよい。

高画質化対象の入力画像を高画質化する場合、画像処理装置１７０は、入力画像をバイキュービックなどの所定の方法で拡大して得られた拡大画像から、エッジ成分をパッチ毎に抽出する。画像処理装置１７０は、入力画像内の各パッチについて、抽出されたエッジ成分と記憶しているエッジ成分との間のノルムをＰＣＡなどの特徴空間上で算出する。画像処理装置１７０は、予め定められた値より小さいノルムが算出された複数のパッチを、記憶しているパッチの中から選択する。そして、画像処理装置１７０は、注目パッチおよびその周囲パッチについて、抽出されたエッジ成分および選択された複数のパッチの高解像度エッジ成分のマルコフ確率場を設定する。画像処理装置１７０は、注目パッチ毎に設定したマルコフ確率場モデルのエネルギー最小化問題を反復確率伝搬法（ＬＢＰ）などを用いて解くことにより、各注目パッチ内の画像に加算すべき高解像度エッジ成分を、記憶している高解像度エッジ成分の中から注目パッチ毎に選択する。画像処理装置１７０は、各パッチ毎に選択した各高解像度エッジ成分を、拡大画像の各パッチの画像成分に加算することにより、高画質画像を生成する。

他にも、画像処理装置１７０は、複数クラスのガウシアンミスクチャモデルを用いて、入力画像を高画質化することもできる。例えば、低解像度の訓練画像内の各パッチの画像ベクトルと、高解像度の訓練画像内の各パッチの画像ベクトルとを学習データとする。低解像度の訓練画像内の各パッチの画像ベクトルから求められたクラスタベクトルを用いて、ガウシアンミスクチャモデルにおける各クラスに対応する密度分布の平均および分散、ならびに各クラスに対する重みを、ＥＭアルゴリズムなどにより算出する。画像処理装置１７０は、これらの平均、分散、および重みを学習データとして記憶しておく。高画質化対象の入力画像を高画質化する場合、画像処理装置１７０は、入力画像内の各パッチの画像ベクトル、当該画像ベクトルから求められたクラスタベクトル、学習データとして記憶している平均、分散、および重みとを用いて、高画質画像を生成する。

他にも、画像処理装置１７０は、入力画像から抽出された輪郭情報を用いて、入力画像だけから高画質画像を生成することもできる。例えば、画像処理装置１７０は、入力画像から抽出された輪郭付近の特定の画像領域を高解像度化する場合に、当該輪郭に沿う他の領域に含まれる画素の画素値を、特定の画像領域内に配置することで、特定の画像領域を高解像度化した高画質画像を生成することができる。例えば、画像処理装置１７０は、他の領域に含まれる画素の位置と輪郭の位置との間の位置関係に基づき、特定の画像領域内のいずれの位置に、当該画素の画素値を配置するかを決定して、決定した位置に当該画素値を配置することで、特定の画像領域を高解像度化することができる。

なお、画像処理装置１７０は、このような輪郭情報を用いた高解像度化処理を、入力画像においてエッジを含むエッジ領域の近傍に限定して施してよい。エッジ領域以外の画像領域については、フィルタ方式などにより高解像度化してよい。例えば、画像処理装置１７０は、所定量以下のエッジ量が抽出された平坦領域については、フィルタ方式を用いて高解像度化してよい。画像処理装置１７０は、所定量より大きいエッジ量が抽出されたテクスチャ領域については、フィルタ方式を用いて高解像度化した画像に、入力画像から生成した条件が満たされるように修正を加えることで、高解像度化してよい。

なお、以上説明したように、低周波成分および高周波成分を用いた高画質化処理、ガウシアンミスクチャモデル、および輪郭情報を用いた高解像度化処理は、オブジェクトが特定されない画像を高画質化する場合に利用することができる。パラメータ格納部１０１０は、画像処理装置１７０による高画質化処理に用いるパラメータ、例えば、上記低周波成分に対応する上記高周波成分のデータ、上記平坦領域を高解像度化するフィルタ、ガウシアンミクスチャモデルに関する上記学習データなどを格納することができる。オブジェクトが特定された画像を高画質化する処理としては、以下に説明するテンソルを用いた高画質化処理、局所保存投影を用いた高画質化処理などを例示することができる。

テンソルを用いた高画質化処理として、顔画像に対する高画質化処理を例に挙げて以下に説明する。解像度、パッチ位置、個人、および画素を学習対象とする４階テンソルを学習により算出するための学習画像として、解像度、人物、およびパッチ位置が異なる顔画像が用いられる。これらの学習画像を用いて、解像度、パッチ位置、人物、および画素値をそれぞれ対象として、特徴空間における固有ベクトルを算出する。算出した固有ベクトルの積による４階テンソルは、入力画像に含まれる顔画像から中解像度の顔画像を生成する場合に用いられる。なお、固有ベクトルは、固有値分解法、局所保存投影（ＬＰＰ）などによる学習により算出することができる。なお、中解像度の顔画像から高周波成分を回復するために用いる高解像度パッチが、高解像度の学習画像から得られる。画像処理装置１７０は、得られたテンソルおよび高解像度パッチを記憶しておく。

高画質化対象の入力画像に含まれる顔画像を高画質化する場合、画像処理装置１７０は、記憶している４階テンソルで顔画像をパッチ単位で変換することにより、中解像度の顔画像を形成するパッチを得る。そして、画像処理装置１７０は、当該中解像度のパッチおよび記憶している高解像度パッチとのマルコフ確率場を設定する。マルコフ確率場モデルの全パッチのエネルギー最小化問題を、逐次改良法（ＩＣＭ）などを用いて解くことにより、高周波成分が回復された高解像度の顔画像が得られる。

なお、画像処理装置１７０は、中解像度のパッチを得る前処理として、入力画像に含まれる顔画像から低解像度の顔画像を生成する処理を行ってよい。この場合、画像処理装置１７０は、前処理により得られた低解像度の顔画像を上記の４階テンソルで変換することにより中解像度のパッチを得る。前処理では、顔の向き、照明度合い、表情、人物、および画素を対象として得られた５階テンソルを用いて、入力画像に含まれる顔画像を変換する処理を含むことができる。当該５階テンソルを得るための学習画像としては、顔の向き、照明度合い、表情、および人物が異なる顔画像が用いることができる。

また、前処理として、入力画像に含まれる顔画像の位置合わせ処理を含むことが望ましい。例えば、顔画像をアフィン変換により位置合わせをしてよい。より具体的には、アフィン変換のパラメータを最適化して、アフィン変換後の顔画像と学習用の顔画像との位置を合わせる。なお、学習用の顔画像についても当然に、互いの位置が合うよう位置合わせ処理が行われることが望ましい。

また、局所保存投影（ＬＰＰ）を用いた高画質化処理の一例を以下に説明する。学習段階では、学習画像としての低解像度画像および高解像度画像のそれぞれから、局所保存投影（ＬＰＰ）により固有ベクトルを算出する。ＬＰＰ空間において、低解像度画像と高解像度画像とを動径基底関数によりネットワークの重みとして関連づける。また、学習画像の低解像度画像を入力として得られた中解像度画像と低解像度画像との残差画像、および、学習画像の高解像度画像と当該中解像度画像との残差画像を算出する。画像処理装置１７０は、中解像度画像と低解像度画像との残差画像、および、高解像度画像と中解像度画像との残差画像をパッチ毎に記憶しておく。

高画質化対象の入力画像を高画質化する場合、画像処理装置１７０は、入力画像から局所保存投影（ＬＰＰ）により固有ベクトル、および、学習段階で得られた動径基底関数から中解像度画像を生成する。画像処理装置１７０は、当該中解像度画像と入力顔画像との残差画像を算出する。当該残差画像から、局所線形埋め込み（ＬＬＥ）および最近傍探索により、対応する高解像度画像と中解像度画像との残差画像を、記憶している残差画像の中からパッチ毎に選択する。そして、画像処理装置１７０は、選択した高解像度画像と中解像度画像との残差画像を平滑化して得られた残差画像を、入力画像から生成された中解像度画像に加算することより、高画質画像を生成する。

なお、特開２００６−３５０４９８号公報に記載されたような主成分分析に基づく超解像処理では、主成分ベクトルおよび重みづけ係数により物体の画像が表される。これらの重みづけ係数および主成分ベクトルのデータ量は、物体の画像そのものが有する画素データのデータ量に比べて大幅に小さい。そこで、画像処理部８０４は、撮像部１０２から取得した複数の撮像画像における特徴領域の画像を圧縮する圧縮処理において、特徴領域に含まれる物体の画像から上記重みづけ係数を算出してよい。すなわち、画像処理部８０４は、特徴領域に含まれる物体の画像を、主成分ベクトルおよび重みづけ係数で表すことによって圧縮することができる。そして、画像処理部８０４は、主成分ベクトルおよび重みづけ係数を画像処理装置１７０に送信してよい。この場合、画像処理装置１７０においては、画像処理部８０４から取得した主成分ベクトルおよび重みづけ係数を用いて、特徴領域に含まれる物体の画像を再構成することができる。なお、画像処理部８０４は、特開２００６−３５０４９８号公報に記載されたような主成分分析に基づくモデルの他に、種々の特徴パラメータで物体を表現するモデルを利用して特徴領域に含まれる物体の画像を圧縮することができることはいうまでもない。

なお、図１〜１４に関連して説明した画像処理システム１０の構成においても、画像処理装置１７０または表示装置１８０は、高画質化処理として、特徴領域の画像に上述した超解像処理を施すことができる。また、画像処理システム１０および画像処理システム２０において、圧縮部２４０は、上述した画像処理装置１２０と同様に、画像を主成分ベクトルおよび重みづけ係数で表すことによって、撮像画像をさらに圧縮することもできる。

以上、画像処理システム１０としての動作を、監視システムを例に挙げて説明した。この発明の他の用途としては、複写機等のスキャナ機器によりスキャニングされたドキュメントに対する高画質化処理および符号化に適用することができる。例えば、文字、図面、表、写真などの各領域を特徴領域とみなすと、それらの領域に対する高解像度化処理として、上記の超解像処理などの高画質化処理を適用することができる。また、それら特徴領域の検出、符号化に、上記の特徴領域検出処理、圧縮処理を適用することができる。同様に、内視鏡システムにおいても、体内部位の検出、高画質化、及び符号化に、上記の特徴領域検出処理、高画質化処理、圧縮処理を適用することができる。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

１０ 画像処理システム
２０ 画像処理システム
８０ 記録媒体
１００ 撮像装置
１０２ 撮像部
１０４ 撮像画像圧縮部
１１０ 通信ネットワーク
１２０ 画像処理装置
１３０ 人物
１４０ 移動体
１５０ 監視対象空間
１６０ 空間
１６５ 空間
１７０ 画像処理装置
１７５ 画像ＤＢ
１８０ 表示装置
２０１ 圧縮動画取得部
２０２ 圧縮動画伸張部
２０３ 特徴領域特定部
２０６ 処理部
２０７ 出力部
２１０ 圧縮制御部
２３２ 画像分割部
２３４ 固定値化部
２３６ 圧縮処理部
２４０ 圧縮部
２５０ 画像取得部
２８０ 外部情報取得部
３０１ 画像取得部
３０２ 解析部
３１０ 伸張制御部
３２０ 伸張部
３２２ 復号器
３３０ 画像処理部
３８０ 外部情報取得部
５１０ 画質変換部
５２０ 差分処理部
５２２ 階層間差分処理部
５３０ 符号化部
５３２ 符号器
６１０ 第１特徴領域特定部
６２０ 第２特徴領域特定部
６２２ 部分領域判断部
６２４ 特徴領域判断部
６３０ 領域推定部
６４０ 高画質化領域決定部
６５０ パラメータ格納部
６６０ 画像生成部
７００ 撮像画像
７１０、７２２ 領域
７２０ 画像
８００ 撮像画像
８０４ 画像処理部
８１０ 領域
８２０ 高画質画像
９００ 画像領域
９１０ 部分領域
１０００ 画像生成部
１０１０ パラメータ格納部
１０２０ 属性特定部
１０３０ 特定オブジェクト領域検出部
１０４０ パラメータ選択部
１０５０ 重み決定部
１０６０ パラメータ生成部
１２００ 画像
１２１０、１２２０、１２３０、１２５０ 領域
１３００ 画像取得部
１３１０ 第１画像処理部
１３２０ 特徴領域特定部
１３３０ パラメータ決定部
１３４０ 表示制御部
１３５０ 第２画像処理部
１３８０ 外部情報取得部
１３９０ 表示部
１４００ 表示エリア
１４１０ 特徴領域エリア
１４１２ 所定画質画像
１４１４ 高画質画像
１４２０ 特徴領域エリア
１４２２ 所定画質画像
１４２４ 高画質画像
１４３０ 特徴領域エリア
１４３２ 所定画質画像
１４３４ 高画質画像

Claims (22)

1. 被写体像についての複数の属性にそれぞれ対応づけて、それぞれの属性の被写体像をそれぞれ高画質化する複数の画像処理パラメータを格納するパラメータ格納部と、
   前記パラメータ格納部が格納している前記複数の画像処理パラメータをともに用いて、入力画像に含まれる被写体像を高画質化した高画質画像を生成する画像生成部と
   を備える画像処理装置。
2. 前記画像生成部は、前記複数の画像処理パラメータの異なる組み合わせを用いて前記入力画像に含まれる被写体像を高画質化した画像から、前記入力画像との比較に基づいて少なくとも１つの画像を選択し、選択した画像を前記高画質画像として生成する
   請求項１に記載の画像処理装置。
3. 前記入力画像に含まれる被写体像の属性を特定する属性特定部と、
   前記属性特定部により特定された属性により適合する属性に対応づけて前記パラメータ格納部が格納している複数の画像処理パラメータをより優先して選択するパラメータ選択部と、
   前記画像生成部は、前記パラメータ選択部により選択された複数の画像処理パラメータをともに用いて、前記入力画像に含まれる被写体像を高画質化した高画質画像を生成する
   請求項１に記載の画像処理装置。
4. 前記入力画像に含まれる被写体像を高画質化する場合における、前記複数の画像処理パラメータに対する重みを決定する重み決定部
   をさらに備え、
   前記画像生成部は、前記重み決定部が決定した重みに基づいて、前記パラメータ選択部により選択された複数の画像処理パラメータをともに用いて前記入力画像を高画質化した高画質画像を生成する
   請求項３に記載の画像処理装置。
5. 前記重み決定部は、前記特定された属性に対する適合度がより大きい属性に対応づけられた画像処理パラメータに対する重みづけがより大きい前記重みを決定する
   請求項４に記載の画像処理装置。
6. 前記パラメータ格納部は、被写体像として撮像された被写体の状態を示す前記複数の属性にそれぞれ対応づけて、前記複数の画像処理パラメータを格納しており、
   前記属性特定部は、前記入力画像に含まれる被写体像として撮像された被写体の状態を、当該被写体像から特定する
   請求項３から５のいずれかに記載の画像処理装置。
7. 前記パラメータ格納部は、被写体像として撮像された被写体の向きを示す前記複数の属性にそれぞれ対応づけて、前記複数の画像処理パラメータを格納しており、
   前記属性特定部は、前記入力画像に含まれる被写体像として撮像された被写体の向きを、当該被写体像から特定する
   請求項６に記載の画像処理装置。
8. 前記パラメータ格納部は、被写体像として撮像された人物の顔の向きを示す前記複数の属性にそれぞれ対応づけて、前記複数の画像処理パラメータを格納しており、
   前記属性特定部は、前記入力画像に含まれる被写体像として撮像された人物の顔の向きを、当該被写体像から特定する
   請求項７に記載の画像処理装置。
9. 前記パラメータ格納部は、被写体像として撮像された人物の表情を示す前記複数の属性にそれぞれ対応づけて、前記複数の画像処理パラメータを格納しており、
   前記属性特定部は、前記入力画像に含まれる被写体像として撮像された人物の表情を、当該被写体像から特定する
   請求項６に記載の画像処理装置。
10. 前記パラメータ格納部は、被写体像として撮像された人物のしぐさを示す前記複数の属性にそれぞれ対応づけて、前記複数の画像処理パラメータを格納しており、
    前記属性特定部は、前記入力画像に含まれる被写体像として撮像された人物のしぐさを、当該被写体像から特定する
    請求項６に記載の画像処理装置。
11. 前記パラメータ格納部は、被写体像として撮像された人物の姿勢を示す前記複数の属性にそれぞれ対応づけて、前記複数の画像処理パラメータを格納しており、
    前記属性特定部は、前記入力画像に含まれる被写体像として撮像された人物の姿勢を、当該被写体像から特定する
    請求項６に記載の画像処理装置。
12. 前記パラメータ格納部は、被写体像として撮像された人物が着用している着用物を示す前記複数の属性にそれぞれ対応づけて、前記複数の画像処理パラメータを格納しており、
    前記属性特定部は、前記入力画像に含まれる被写体像として撮像された人物が着用している着用物を、当該被写体像から特定する
    請求項６に記載の画像処理装置。
13. 前記パラメータ格納部は、被写体像として撮像された被写体の種別を示す前記複数の属性にそれぞれ対応づけて、前記複数の画像処理パラメータを格納しており、
    前記属性特定部は、前記入力画像に含まれる被写体像として撮像された被写体の種別を、当該被写体像から特定する
    請求項３から５のいずれかに記載の画像処理装置。
14. 前記パラメータ格納部は、被写体像として撮像された人物の人種を示す前記複数の属性にそれぞれ対応づけて、前記複数の画像処理パラメータを格納しており、
    前記属性特定部は、前記入力画像に含まれる被写体像として撮像された人物の人種を、当該被写体像から特定する
    請求項１３に記載の画像処理装置。
15. 前記パラメータ格納部は、被写体像として撮像された人物の性別を示す前記複数の属性にそれぞれ対応づけて、前記複数の画像処理パラメータを格納しており、
    前記属性特定部は、前記入力画像に含まれる被写体像として撮像された人物の性別を、当該被写体像から特定する
    請求項１３に記載の画像処理装置。
16. 前記パラメータ格納部は、被写体像として撮像された人物の年齢を示す前記複数の属性にそれぞれ対応づけて、前記複数の画像処理パラメータを格納しており、
    前記属性特定部は、前記入力画像に含まれる被写体像として撮像された人物の年齢を、当該被写体像から特定する
    請求項１３に記載の画像処理装置。
17. 前記パラメータ格納部は、
    被写体像を高解像度化する複数の画像処理パラメータ、
    被写体像を表す画素値の階調数を増加させる複数の画像処理パラメータ、
    被写体像を表す画素値の色数を増加させる複数の画像処理パラメータ、
    被写体像を低ノイズ化する複数の画像処理パラメータ、
    被写体像を低アーチファクト化する複数の画像処理パラメータ、
    被写体像のボケを低減する複数の画像処理パラメータ、および、
    被写体像をシャープネス化する複数の画像処理パラメータ
    の少なくともいずれかを、前記それぞれの属性の被写体像をそれぞれ高画質化する複数の画像処理パラメータとして格納する
    請求項１から１６のいずれかに記載の画像処理装置。
18. 前記パラメータ格納部は、動画に含まれる被写体像を高フレームレート化する前記複数の画像処理パラメータを格納する
    請求項１から１７のいずれかに記載の画像処理装置。
19. 前記パラメータ選択部が選択した複数の画像処理パラメータを合成した合成パラメータを生成するパラメータ生成部
    をさらに備え、
    前記画像生成部は、前記パラメータ生成部が生成した前記合成パラメータを用いて前記入力画像に含まれる被写体像を高画質化することにより、前記高画質画像を生成する
    を有する請求項３に記載の画像処理装置。
20. 前記パラメータ格納部が格納する前記画像処理パラメータを、外部から取得する外部情報取得部
    をさらに備え、
    前記パラメータ格納部は、前記外部情報取得部が取得した前記画像処理パラメータを格納する
    請求項１から１９のいずれかに記載の画像処理装置。
21. 被写体像についての複数の属性にそれぞれ対応づけて、それぞれの属性の被写体像をそれぞれ高画質化する複数の画像処理パラメータを格納するパラメータ格納段階と、
    前記パラメータ格納段階において格納された前記複数の画像処理パラメータをともに用いて、入力画像に含まれる被写体像を高画質化した高画質画像を生成する画像生成段階と
    を備える画像処理方法。
22. 画像処理装置用のプログラムであって、コンピュータを、
    被写体像についての複数の属性にそれぞれ対応づけて、それぞれの属性の被写体像をそれぞれ高画質化する複数の画像処理パラメータを格納するパラメータ格納部、
    前記パラメータ格納部が格納している前記複数の画像処理パラメータをともに用いて、入力画像に含まれる被写体像を高画質化した高画質画像を生成する画像生成部
    として機能させるプログラム。