JP2009009206A - 画像中の輪郭抽出方法及びその画像処理装置 - Google Patents

Abstract

【課題】 本発明は、迅速でかつ正確な動的輪郭抽出法を、容易に行うことが可能な撮像装置等及びその輪郭抽出方法を提供することを目的とする。
【解決手段】 撮像素子により異なるアングルから所望の距離にある対象を撮像して得た複数の画像から距離画像を生成する距離画像生成部と、生成した距離画像により所望の距離にある対象の輪郭を抽出し、初期輪郭閉曲線を生成する初期輪郭生成部と、初期輪郭生成部が生成する初期輪郭閉曲線を初期位置として、動的輪郭抽出法により所望の距離にある対象の輪郭を抽出する動的輪郭抽出部とを備える撮像装置とする。
【選択図】 図１

Description

本発明は、撮像画像中の対象の輪郭を抽出する方法、その撮像装置及び画像処理装置等に関する。

撮像装置により撮像して得られた画像中の人物等の輪郭を抽出する方法は、種々のものが知られている。例えば、適当な閾値で画像を二値化することにより、特定のエッジ等を抽出する方法もその一つである。

また、M.Kassらによって提案された動的輪郭抽出法では、より正確な輪郭を求めるために対象を含む閉曲線を初期位置として与え、その閉曲線上の画素の値等を用いてエネルギ−等の評価関数を定義する。そして、各画素でのその評価関数の和が最小となるように閉曲線の位置を修正し、変化させる等により、対象の輪郭に最も近い最小解を求める。

このような、動的輪郭抽出方法の例は、特開平１０−１１５８８等に開示されている。また、ステレオ画像から距離画像を統合する方法等について、特開平８−３１３２１２等に開示されている。
特開平１０−１１５８８ 特開平８−３１３２１２

動的輪郭抽出法においては、初期位置としての閉曲線の設定如何によっては、正しい輪郭が得られなかったり、輪郭の抽出に相当の時間を要するという問題があった。

また、画像中の輪郭を抽出する目的となる対象物の周囲を手入力等により指定し、それを初期位置として動的輪郭抽出法を行おうとすると、煩雑な人的入力作業が必要とされる。

本発明は、このような事情に鑑み、迅速でかつ正確な動的輪郭抽出法を、容易に行うことが可能な画像処理装置等及びその輪郭抽出方法を提供することを目的とする。

本発明にかかる画像処理装置は、撮像装置により異なるアングルから所望の距離にある対象を撮像して得た複数の画像から距離画像を生成する距離画像生成部と、生成した距離画像により所望の距離にある対象の輪郭を抽出し、初期輪郭閉曲線を生成する初期輪郭生成部と、初期輪郭生成部が生成する初期輪郭閉曲線を初期位置として、動的輪郭抽出法により所望の距離にある対象の輪郭を抽出する動的輪郭抽出部とを備えることを特徴とする。

また、本発明にかかる撮像装置は、撮像素子により異なるアングルから所望の距離にある対象を撮像して得た複数の画像から距離画像を生成する距離画像生成部と、生成した距離画像により所望の距離にある対象の輪郭を抽出し、初期輪郭閉曲線を生成する初期輪郭生成部と、初期輪郭生成部が生成する初期輪郭閉曲線を初期位置として、動的輪郭抽出法により所望の距離にある対象の輪郭を抽出する動的輪郭抽出部とを備えることを特徴とする。

また、本発明にかかる撮像画像中の対象の輪郭抽出方法は、撮像装置により異なるアングルから所望の距離にある対象を撮像して得た複数の画像から所望の距離にある対象の輪郭を抽出する方法であって、複数の画像から距離画像を生成する工程と、生成した距離画像により所望の距離にある対象の輪郭を抽出して初期輪郭閉曲線を生成する工程と、生成した初期輪郭閉曲線を初期位置として、動的輪郭抽出法により所望の距離にある対象の輪郭を抽出する工程とを有することを特徴とする。

また、本発明にかかる動的輪郭抽出法の初期輪郭閉曲線設定方法は、動的輪郭抽出法の初期位置として用いる初期輪郭閉曲線を設定する方法であって、輪郭抽出の対象となる被写体を異なるアングルから撮像して得た複数の画像による距離画像から生成する被写体の輪郭を、初期輪郭閉曲線として設定することを特徴とする。

この発明により、撮像画像中の所望の対象の輪郭を迅速かつ正確に抽出可能となり、またその抽出過程で猥雑な手作業も不要とできる。

図１は、実施形態にかかる撮像装置１の全体構成について概念的に説明するブロック図である。この撮像装置１のレンズ１０は、その焦点距離を連続的に変更可能な不図示のズ−ムレンズ、ピントを調整するフォ−カシングレンズ、撮像時の手振れを補正するＶＲ（Vibration Reduction）レンズから構成される。

レンズ１０は、ＣＰＵ１７からの指示により、不図示のレンズ駆動装置を駆動することにより制御され調整される。また、レンズ１０の位置は、不図示のレンズ位置検出器によりその位置が検出され、ＣＰＵ１７によりフィ−ドバック制御される。

レンズ１０は、撮像素子１１の撮像面に被写体像を結像させる。撮像素子１１は、撮像面上に結像された被写体像の光強度に応じて光電変換した電気信号を出力する。撮像素子１１は、ＣＭＯＳやＣＣＤ等の固体撮像素子を用いる。

また、撮像素子１１は、ＣＰＵ１７が有する不図示のタイミングジェネレ−タ等のクロック生成器からのトリガ−入力により、光電変換した電気信号を順次出力する。

また、レンズ１０と撮像素子１１との間には、不図示の絞りが設けられ、ＣＰＵ１７により演算された適切な露出（自動露出ＡＥ：Auto Exposure）が指示され、調整される。

撮像素子１１やレンズ１０等の撮像系は、ステレオカメラによる画像取得をする場合には、被写体に対して異なるアングルで複数セット設けることとしてもよい。

撮像素子１１から出力される電気信号は、アナログ信号のままＣＤＳ部１２に入力されＣＤＳ（Correlated Double Sampling）処理によりノイズの低減処理がされる。ＣＤＳ部１２でのノイズ低減処理の後、不図示のＡＧＣ部でゲインの調整がされる。また、Ａ／Ｄ変換部１３では、アナログ信号からディジタル信号へと変換処理される。

ディジタル変換処理された画像デ−タは、画像処理部１４に入力される。撮像素子１１にＣＭＯＳを用いる場合には、ＣＤＳ部１２とＡ／Ｄ変換部１３等は、撮像素子１１に組み込まれる場合もある。

画像処理部１４は、中央演算装置であるＣＰＵ１７からの指示に従い、Ａ／Ｄ変換部１３から得られたディジタル画像デ−タに、ホワイトバランス処理、ハイパスフィルタ処理やノイズ低減処理、エッジ処理、階調処理（ガンマ補正）等の様々な画像処理の演算を行う。

また、画像処理部１４が備えるＡＷＢ（Auto White Balance）演算部１４ａでは、最適なホワイトバランス処理となるパラメ−タ値の演算と処理が行われる。

画像処理部１４で行われる種々の画像処理に必要なアルゴリズムやパラメ−タは、フラッシュメモリ１９等に予め記録されており、ＣＰＵ１７からの指示により必要に応じてそれぞれ最適なものが読み出され、適用される。

また、画像処理部１４は、撮像素子１１から取り込んだ撮像画像から距離画像を生成する距離画像生成部１４ｂを備える。ＣＰＵ１７は、距離画像生成部１４ｂに、同一の対象を異なるアングルで撮像した二以上の撮像画像から距離画像を作成させる。

また、画像処理部１４は、距離画像生成部１４ｂが生成した距離画像から、所望の距離にある対象を抽出し、初期輪郭を抽出する初期輪郭生成部１４ｃを備える。ＣＰＵ１７は、初期輪郭生成部１４ｃに、距離画像から対象となる被写体が位置する距離範囲に対応してその輪郭を抽出させる。

また、画像処理部１４は、初期輪郭生成部１４ｃが抽出した輪郭を初期位置の閉曲線として、動的輪郭抽出法による輪郭抽出処理をする動的輪郭抽出部１４ｄを備える。すなわちＣＰＵ１７は、動的輪郭抽出部１４ｄに、初期輪郭生成部１４ｃが抽出した輪郭を初期輪郭閉曲線として動的輪郭抽出法による演算処理を行わせ、その輪郭を作成させる。

画像処理部１４で演算処理された画像デ−タは、ＲＡＭ１６等に一時記録することができる。ＲＡＭ１６は外付けのメモリとして構成してもよい。ＲＡＭ１６に記録しておくことで、画像デ−タを読み出して別途加工することも可能となる。

また、画像処理部１４での処理負荷が大きい場合には、画像処理部１４や後述するＣＰＵ１７の機能の一部を、例えば専用の演算処理装置やコンピュ−タ等に行わせることとして、撮像装置１をシステム構成してもよい。

また、画像処理部１４は、ＲＡＭ１６や不図示のレジスタをバッファメモリとして用い、撮像された複数フレ−ム分の画像デ−タを一時記憶するフレ−ムメモリとして用いてもよい。画像処理部１４は、フレ−ムメモリから画像デ−タを適宜読み出し、画像処理後に適宜書き込みすることにより、所定の画像処理を行う。

例えば、距離画像生成部１４ｂが、距離画像の生成に異なるアングルから撮像した二枚の画像を用いる場合には、ＣＰＵ１７の指示により、第一の画像をＲＡＭ１６等に一時格納しておく。そして、距離画像生成部１４ｂは、その後に撮像素子１１から取得した第二の画像と、ＲＭＡ１６等から読み出した第一の画像とから距離画像を生成することとできる。

また、撮像装置１全体の撮像動作シ−ケンスについての制御はＣＰＵ１７からの指示にかかり、図示しないレリ−ズスイッチや各種設定処理等の操作を行う操作部１８からの操作信号も、ＣＰＵ１７に入力され処理される。

操作部１８は、撮像装置１の電源をオンオフする電源スイッチの他、レリ−ズ釦の全押しや半押し、さらには再生画像等を更新するためのアップダウン釦等を備える。アップダウン釦は、複数抽出されて表示部１５に表示された人物から所望の人物を選択したり、撮像時に手動でズ−ムレンズをテレ又はワイド側に駆動するためにも用いられる。

さらに、カ−ドインタ−フェ−ス１ａを介してメモリカ−ド１ｂ等に画像デ−タや画像処理にかかる様々な電子情報等を保存することも可能である。また、外部インタ−フェ−ス１ｃを介して、撮像装置１内の画像デ−タや処理プログラム等を外部媒体へ読み出し、又は書き込み、又は演算処理等を行うことができる。画像処理部１４等を別体として撮像装置１をシステム構成する場合には、カ−ドインタ−フェ−ス１ａや外部インタ−フェ−ス１ｃや図示しない通信ポ−ト等により、処理対象となる画像デ−タを演算処理装置等に送信等して処理させることができる。

また、表示部１５には、処理した画像を表示して撮像装置１のオペレ−タが画像の確認を行い、また必要な処理情報やメニュ−等の各種案内を表示できるように構成されている。

また、表示部１５にタッチパネル等を用いることで、入力操作が可能な構成とすることもできる。タッチパネル方式とする場合には、表示部１５は操作部１８の一部としても機能する。

表示部１５は、ＬＣＤや有機ＥＬ、無機ＥＬ等の各種表示デバイスで構成できる。表示部１５は、ＲＡＭ１６やメモリカ−ド１ｂに記録されている画像デ−タや、外部インタ−フェ−ス１ｃ等を通じて外部の撮像装置や演算処理装置等から転送されてきた画像デ−タ等を再生表示する際にも用いられる。また、撮像装置１をシステム構成する場合には、表示部１５を画像処理部１４等とは別体のモニタ−専用装置等として構成してもよい。

撮像装置１のＣＰＵ１７は、ＡＦ演算部１７ｂを備え、撮像素子１１で撮像した画像デ−タを用いて最適な自動焦点調整を行うように演算し、レンズ１０を制御する。また、ＣＰＵ１７は、撮像した画像の中に人物の顔があるかないかを検出する検出部１７ａを備える。

検出部１７ａは、撮像画像の中に人物の顔の目や鼻などに相当する部分があるのかどうかを検出することができる。検出方法として、例えば顔を２次元パタ−ンとして捉えて文字認識で確立された複合類似度などのパタ−ン認識理論、あるいは予め学習させたニュ−ラルネットワ−クを用いた抽出方法等を用いてもよい。

また、ＡＦ演算部１７ｂが行う自動焦点の演算は、撮像画像の中の所定の５個所又は９個所について行う。そして、検出部１７ａにより撮像画像中に人物の顔が検出された場合には、当該人物の顔について自動焦点動作を行うこととできる。

また、人物の顔が複数検出された場合には、最も近接の顔又は撮像画像に占める面積が最も大きな顔について自動焦点合せを行う。また、撮像画像の中心位置を占める人物の顔について自動焦点合せを行う。この場合に、撮像装置１は、例えば中心位置を占める人物を距離画像からの抽出対象として自動的に認識し、初期輪郭生成部１４ｃがその人物の輪郭を生成することとしてもよい。

次に、動的輪郭抽出部１４ｄが行う動的輪郭抽出処理について図２を用いて説明する。図２において、人物画像２１が輪郭を抽出しようとする対象である。

Snakes法等による動的輪郭抽出法では、対象となる人物画像２１の周囲に初期輪郭閉曲線２２を設定する必要がある。この初期輪郭閉曲線２２は、例えばタッチペンやマウス入力により、表示部１５等の表示画面から手動で与えてやることも可能である。

初期輪郭閉曲線２２は、可能な限り正確に対象を捉えてその近くに設定することが好ましい。撮像装置１においては、初期輪郭閉曲線２２が、後述する距離画像等により自動的に与えられるので正確であり、煩雑な入力手間を低減可能である。

動的輪郭抽出部１４ｄは、初期輪郭閉曲線２２を狭めながら、初期輪郭閉曲線２２上の各画素におけるエネルギ−等が最小となる最小解等を求めることにより、正確な輪郭２３を求めることができる。ここで、初期輪郭閉曲線２２上の複数のプロットは、輪郭を時間的に動かす際の制御点である。

次に、Snakes法による動的輪郭抽出法について簡単に説明する。この方法は、アクティブカンタ−モデル（Active Contour Models）を用いて物体の輪郭を抽出するものである。

この方法では、画像上の対象について、その周りに設定した初期輪郭閉曲線のエネルギ−最小化手法によって、アクティブカンタ−モデル（「Snakes : Active Contour Models」,IJCV vol.1(No.3),pp.321-331,(1988)等）を変化させる。このような方法においては、その後、輪郭抽出が正確に行えるかどうかは、初期輪郭閉曲線２２の設定が正確であるかどうかに大きく依存することが知られている。

この点、撮像装置１では、距離画像により初期輪郭生成部１４ｃが生成した初期輪郭閉曲線２２を与えることが可能であり、手動入力等による初期位置よりも、遥かに迅速かつ正確に設定することが可能となる。

また、同様にアクティブカンタ−モデルを用いるグロウィングスネ−ク法（growing snake method:0lof Henricsson and Walter Neuenschwander,In Proc.ICPR,pp68-73,1994等）を適用してもよい。

また、動的輪郭抽出部１４ｄは、撮像素子１１から取得した動画像において、エッジ画像に基づいてエッジの部分が他の部分よりも低いエネルギ−とされるよう、画像のエネルギ−の高低によってエッジを表現するポテンシャル画像を生成してもよい。

そして、動的輪郭抽出部１４ｄは、設定されたアクティブカンタ−モデルの初期位置（初期輪郭閉曲線２２に相当）を、生成されたポテンシャル画像にそのエネルギ−が低く（エッジ部分）なるように追跡させてもよい。動画像の場合には、対象となる被写体が常に画像中に存在することが好ましいが、仮に画像中から対象が消滅しても再度出現した際には、改めて初期輪郭閉曲線２２を設定することとしてもよい。

また、上述のグロウィングスネ−ク法や動画像の場合には、初期輪郭生成部１４ｃが作成する初期輪郭閉曲線２２上の任意の点（又は画素）を初期位置として演算処理してもよい。

図３は、距離画像生成部１４ｂが、距離画像を生成する際に用いる複数の画像の取得について説明する概念図である。被写体となる対象３１に対して、第一の撮像装置３２と、第二の撮像装置３３との二つのアングルから、いわゆるステレオ画像を取得する。

第一の撮像装置３２と第二の撮像装置３３とは、同一の撮像装置１を用いてもよい。すなわち、この場合には一つの撮像装置１を移動させることで、二つの異なるアングルから被写体３１を撮像する。また、撮像装置１は、二つの異なるアングルからだけではなく、移動させながら順次複数の画像を取得してもよく、また、移動させながら動画像を取得してもよい。

距離画像生成部１４ｂは、撮像装置１の移動角度（アングル）と、その結果得られる画像の視差量とから、対象となる被写体等の距離を算出することが可能となる。これについて、図４と図５を用いて説明する。

図４は、通常の単眼カメラで被写体となる対象３１を撮像した概念図である。この場合には、被写体となる対象３１の他に、画像４１中に背景４２や背景４３が混在する。また、背景４２や背景４３も、各々その輪郭を有しエッジ部分を有し、各々の輪郭を個別に区別することは困難である。

このため、画像処理部１４が、この状態のまま対象３１の輪郭を抽出しようとしても、誤差を多く含んだり、過誤となる対象について輪郭抽出したりすることが懸念され、正確な輪郭の抽出を期待できない。

一方、図３に示すように、取得したステレオ画像等による視差量から距離を算出すると、かなり正確な対象の特定が可能となる。典型的には、距離画像生成部１４ｂが、幾何学模様等のパタ−ンマッチング（テンプレ−トマッチング）による対応付けによる視差量に基づき、遠方は黒色とし距離が近い程白色のグラデ−ション画像（距離画像）を作成し、距離情報を重畳させた画像を作成する。この際、距離画像生成部１４ｂは、算出された視差量の有効性を、画像中の隣接画素間の輝度差によって評価してもよい。

このようにして、特定の距離範囲に存在する被写体となる対象３１のみを抽出することが可能となる。図５は、被写体となる対象の抽出と距離画像による輪郭の説明概念図を示すものである。

このようにして得た距離画像は、それのみではノイズや欠落部分が存在する場合が多い。特に、テンプレ−トマッチング等を用いると、その大きさに依存する位置の不確定性が顕在化する傾向が生じる。

画像５２は、画像処理部１４が、距離画像から所望の特定の距離範囲にある対象３１のみを残し、その他を消去することで作成する。典型的には、所望の距離範囲の対象３１をディジタル値“１”とし、その他をディジタル値“０”として２値化したディジタル処理により作成する。

対象３１の選択や設定は、操作部１８への入力により、撮像装置１からの距離範囲で指定することができる。また、表示部１５等に表示される画面上で、対象３１を確認しながら操作部１８等からの入力操作により指定してもよい。

また、画像５２中の中心位置に存在する対象や、ＡＦ演算部１７ｂがＡＦのタ−ゲットとする対象、検出部１７ａが検出する対象等を、輪郭を抽出する対象３１とすることとしてもよい。画像処理部１４は、指定された対象３１と所定の距離範囲内にある被写体のみをディジタル処理による２値化で抽出する。

次に、初期輪郭生成部１４ｃは、距離画像生成部１４ｂが生成した距離画像から抽出された対象３１の輪郭を抽出して初期輪郭閉曲線５１を作成する。初期輪郭生成部１４ｃは、対象３１のみが存在する画像５２について、対象３１の輪郭を抽出するので、図４の画像４１からの抽出に比べて正確な輪郭抽出が行える。

典型的には、上述のように２値化したディジタル処理により抽出される対象３１の境界画素を、エッジ抽出等に選択して輪郭とする。エッジ抽出は、例えば画素値の微分演算値等を用いて抽出処理してもよい。

次に、動的輪郭抽出部１４ｄは、初期輪郭生成部１４ｃが作成した初期輪郭閉曲線５１を初期位置として、上述の動的輪郭抽出法を演算処理し、図６に示すように対象３１の輪郭６１を抽出する。図６は、初期輪郭閉曲線５１と輪郭６１の説明概念図を示すものである。

上述するように、初期輪郭閉曲線５１は、輪郭６１に近い位置でかなり正確である。従って、その後動的輪郭抽出部１４ｄで動的輪郭抽出法の適用をして演算する際に、迅速かつ正確な処理が行えることとなる。

図７は、撮像装置１の輪郭抽出フロ−を概念的に示すものである。既に、説明してきた処理と重複するので、図７を用いて下記に簡単に説明をする。

（ステップ７１）
撮像装置１は、被写体となる対象３１について２つの異なるアングルから画像を取得する。

（ステップ７２）
距離画像生成部１４ｂは、ステップ７１で取得した２つの異なるアングルの画像を用いて視差量を演算し、距離画像を作成する。距離画像生成部１４ｂが、距離画像を作成することにより、画像処理部１４は、特定の距離に位置する対象のみを抽出した画像５２を作成する。

（ステップ７３）
初期輪郭生成部１４ｃは、ステップ７２で距離画像生成部１４ｂが作成した被写体像の距離画像に基づく画像５２を用いて、被写体の対象３１の輪郭を抽出する。

（ステップ７４）
動的輪郭抽出部１４ｄは、ステップ７３で初期輪郭生成部１４ｃが抽出した初期輪郭閉曲線５１を初期位置として、動的輪郭抽出法による画像処理を実行する。この実行プログラムは、フラッシュメモリ１９等に格納しておいて、ＣＰＵ１７の指示により適宜読み出して、動的輪郭抽出部１４ｄが実行することとしてもよい。

動的輪郭抽出部１４ｄは、例えば初期輪郭閉曲線５１の形状に依存する演算値と、初期輪郭閉曲線５１上の画素情報との和を評価値として、その評価値の最小解を探索する処理を行う。

典型的には、形状に依存する演算値は、初期輪郭閉曲線５１の全周長や各画素での曲率の一周和などの線形和とする。このような線形和は、閉曲線が短く滑らかであるほど値が小さくなる。また、画像情報は、各画素での濃度勾配の絶対値の初期輪郭閉曲線５１上での一周和とする。

（ステップ７５）
動的輪郭抽出部１４ｄの抽出処理により、対象３１の輪郭６１が抽出される。抽出した輪郭６１は、ＣＰＵ１７の指示により、表示部１５に表示してもよいし、ＲＡＭ１６等に一時記憶しておいてもよい。また、画像処理部１４で行う種々の画像処理に用いてもよい。

なお、上述のステップ７２における特定の距離に位置する対象のみを抽出した画像５２の作成は、ＣＰＵ１７の指示により、距離画像生成部１４ｂに処理させてもよい。

次に、動的輪郭抽出部１４ｄが、別異の動的輪郭抽出法による処理を行う場合について説明する。図８は、動的輪郭抽出部１４ｄが処理する動的輪郭抽出法として、いわゆるレベルセット法を用いた場合の一例を示すものである。

動的輪郭抽出部１４ｄがレベルセット法による動的輪郭抽出処理を実行すると、図８に示すように対象８２ａ、８２ｂが二つある場合においても、各々同時に独立した輪郭８３ａ、８３ｂを得ることが可能となる。

特に、被写体となる二つの対象が同じ距離範囲に近接して存在する場合には、距離画像生成部１４ｂは、この二つの対象８２ａと対象８２ｂを距離により分離して認識することができないことが懸念される。この場合には、初期輪郭生成部１４ｃは、初期輪郭閉曲線として輪郭８１を作成する。

図８（ａ）に示すように、輪郭８１は、対象８２ａと対象８２ｂとを切り分けできず、双方を包含する。レベルセット法にて動的輪郭処理を行う動的輪郭抽出部１４は、このような輪郭８１を初期輪郭閉曲線として処理しても、対象８２ａ、対象８２ｂ各々についての輪郭８３ａ、８３ｂを個別に分離し、各々独立に算出することが可能であり好ましい。

なお、レベルセット法に関する詳細は、種々の論文等により説明されている（例えばIEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 26, No. 3, pp.402-407, March 2004等）のでここでは、それ自体の詳細説明を避ける。

実施形態において、距離画像を作成するための複数の画像は、対象となる被写体を異なるアングルから個別に撮像するものに限定されず、例えばアングルを変化させながら動画像を撮像して取得する画像であってもよい。この場合には、いわゆる因子分解法等の三次元復元手法によって距離画像を求めてもよい。

また、実施形態の説明においては、二枚の画像から距離画像を作成することとしたが、これに限定されることはなく、任意の複数の画像から距離画像を作成してもよい。この場合には、より多くの画像を用いる程、距離画像の信頼性がより高くなるので好ましいこととなる。

また、距離画像を作成するための複数の画像は、撮像装置を移動させることによるアングルバリエ−ションに限定されるものではない。例えば、対象を含む被写体自体を回転させたり又は移動させたりして、撮像装置自体は定点に固定して取得する画像から距離画像を作成してもよい。また、撮像装置１のうちレンズ１０や撮像素子１１等の撮像系のみを移動させ、ＣＰＵ１７や画像処理部１４は固定の演算装置等に備えてもよい。

また、対象を含む被写体の回転等と撮像装置の移動とを併用して、異なるアングルからの画像取得としてもよい。また、距離画像の作成には、いわゆるステレオカメラによる取得画像を用いてもよく、単眼カメラによる取得画像を複数枚用いてもよい。また、その他の公知な手法により距離画像を作成してもよい。

また、実施形態に用いる動的輪郭抽出法は、Snakes法に限らず、いわゆるレベルセット法を用いることとしてもよい。また、その他の公知な動的輪郭抽出法を用いる事としてもよい。典型的には、画像中の対象のエッジを抽出し、そのまわりに設定した輪郭を時間的に動かすことで、対象の正確な輪郭を抽出するその他の方法を用いてもよい。

また、撮像装置１が用いる動的輪郭抽出法は、その処理プログラムやアルゴリズム等の構成を変えることにより、初期輪郭閉曲線を広げながら最適輪郭を探索する処理を行わせることも可能である。

しかし、初期輪郭閉曲線の内側に対象となる輪郭が存在するとして、初期輪郭閉曲線を内側に狭めながら、最適な輪郭を抽出していく動的輪郭抽出法を用いることが、迅速かつ正確な輪郭抽出処理を行う上でさらに好ましい。

撮像装置１は、スナップ写真のように背景が複雑な画像であっても、適切な初期輪郭位置を与えることができるので動的輪郭抽出処理により、適切かつ正確な輪郭の抽出を迅速に処理できる。

この実施形態で説明する撮像装置１の構成と動作は、自明な範囲で適宜変更して使用することができる。

本発明は、撮像装置や撮像画像中の対象の輪郭をモニタ−する車載用の画像処理装置、医療用の画像処理装置、監視用装置やその他の画像処理装置等に利用することができる。また、産業用ロボット等の被写体認識が必要な視覚システム等に利用できる。

本発明にかかる撮像装置の構成概念図 動的輪郭抽出法の説明概念図 複数の画像取得の説明概念図 通常の撮像画像の説明概念図 初期輪郭閉曲線と輪郭の説明概念図 対象の抽出と距離画像による輪郭の説明概念図 撮像装置の輪郭抽出フロ−を説明する概念図 レベルセット法による輪郭抽出の説明概念図

符号の説明

１・・撮像装置、１０・・レンズ、１１・・撮像素子、１２・・ＣＤＳ部、１３・・Ａ／Ｄ変換部、１４・・画像処理部、１４ａ・・ＡＷＢ演算部、１４ｂ・・距離画像生成部、１４ｃ・・初期輪郭生成部、１４ｄ・・動的輪郭抽出部、１５・・表示部、１６・・ＲＡＭ、１７・・ＣＰＵ、１７ａ・・検出部、１７ｂ・・ＡＦ演算部、１８・・操作部、１９・・フラッシュメモリ、１ａ・・カ−ドインタ−フェ−ス、１ｂ・・メモリカ−ド、１ｃ・・外部インタ−フェ−ス

Claims (4)

1. 撮像装置により異なるアングルから所望の距離にある対象を撮像して得た複数の画像から距離画像を生成する距離画像生成部と、
   前記生成した距離画像により前記所望の距離にある対象の輪郭を抽出し、初期輪郭閉曲線を生成する初期輪郭生成部と、
   前記初期輪郭生成部が生成する初期輪郭閉曲線を初期位置として、動的輪郭抽出法により前記所望の距離にある対象の輪郭を抽出する動的輪郭抽出部と
   を備えることを特徴とする画像処理装置。
2. 撮像素子により異なるアングルから所望の距離にある対象を撮像して得た複数の画像から距離画像を生成する距離画像生成部と、
   前記生成した距離画像により前記所望の距離にある対象の輪郭を抽出し、初期輪郭閉曲線を生成する初期輪郭生成部と、
   前記初期輪郭生成部が生成する初期輪郭閉曲線を初期位置として、動的輪郭抽出法により前記所望の距離にある対象の輪郭を抽出する動的輪郭抽出部と
   を備えることを特徴とする撮像装置。
3. 撮像装置により異なるアングルから所望の距離にある対象を撮像して得た複数の画像から前記所望の距離にある対象の輪郭を抽出する方法であって、
   前記複数の画像から距離画像を生成する工程と、
   生成した前記距離画像により前記所望の距離にある対象の輪郭を抽出して初期輪郭閉曲線を生成する工程と、
   生成した前記初期輪郭閉曲線を初期位置として、動的輪郭抽出法により前記所望の距離にある対象の輪郭を抽出する工程と
   を有することを特徴とする撮像画像中の対象の輪郭抽出方法。
4. 動的輪郭抽出法の初期位置として用いる初期輪郭閉曲線を設定する方法において、
   輪郭抽出の対象となる被写体を異なるアングルから撮像して得た複数の画像による距離画像から生成する前記被写体の輪郭を、前記初期輪郭閉曲線として設定する
   ことを特徴とする動的輪郭抽出法の初期輪郭閉曲線設定方法。

Images