JPH1127577A - 仮想視点画像システム - Google Patents

Abstract

(57)【要約】 （修正有） 【課題】 望遠レンズカメラ（実カメラ）で撮像した映
像から被写体を実時間で抽出し、仮想視点から見た背景
画像と実時間で合成する利点を利用することを目的とす
る。防犯カメラへの応用で、犯人の手前にある仮想視点
からの犯人画像を抽出したり、テレビ電話への応用で、
デイスプレイの上部に設置した実カメラの画像から、デ
イスプレイ中心部の仮想視点からの画像を実時間で合成
すること等に利用できる。 【解決手段】 例えば、望遠レンズで撮像した画像(a)
から被写体(c)を抽出し（closing技法、等で）、これを
拡大変形し、仮想視点からの背景画像(e)と合成し、仮
想カメラの合成画像(f)を得ることを特徴とする。ま
た、被写体が移動した場合に、事前に撮像した複数の背
景画像から所望のものを選び出し、合成することも他の
特徴である。また、被写体が移動した場合に、被写体の
中心部を実カメラが追尾することも他の特徴である。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、カメラの画像と、
事前に撮影した背景等の画像データベースの出力に、輪
郭抽出、拡大、合成等の信号処理を適用することによ
り、任意の視点における画像を仮想的に生成する画像シ
ステムに関するものである。

【０００２】

【従来の技術】リアルタイムで画像中の対象物の形状を
抽出する方法としては、従来、背景を例えば青色にし、
所定の色成分（この場合は青色）以外の部分を対象物と
するクロマキー処理がある。

【０００３】また、クロマキー処理等により抽出した対
象物の画像は、通常、所定の大きさ・形状に変換された
上で背景画像に合成される。

【０００４】（１）例えば野球やサッカーをはじめとす
るスポーツ中継では、フィールド内にカメラを設置する
ことができない。このため、従来はフィールド外に望遠
レンズ付きのカメラを設置していた。しかし、望遠レン
ズは人間の目に比べ焦点距離が長く、その画像はレンズ
の軸方向が圧縮され、奥行き感が乏しく臨場感に欠ける
という問題があった。また、被写体を実時間で背景から
分離する必要があるが、クロマキー処理は利用できな
い。

【０００５】（２）また、人間の目に近い標準的なレン
ズを用いた場合、カメラの設置場所が大きく制限され
る。例えばテレビ電話では人間の正面にはモニタがあ
り、カメラを設置することができない。この場合、斜め
の角度からの撮影となるため会話する人間の視線が一致
しないという問題点があった。

【０００６】（３）また、防犯カメラでは、犯人のみを
実時間で背景から分離する必要があるが、クロマキー処
理は利用できない。

【０００７】

【発明が解決しようとする課題】一般的な画像では、静
止した背景の手前に人物をはじめとする被写体が配置さ
れることが多い（図２参照）。本発明は、被写体の写っ
たカメラの画像と、事前に撮影・記録された背景画像の
データベース出力を比較して被写体のみを抽出し、これ
らに変形・合成等の処理を施すことにより、任意の視点
における画像を仮想的に生成するものである。これによ
り、例えば野球ではフィールド内の選手や、審判の視点
に近い臨場感ある画像を実時間で生成することが可能と
なる。

【０００８】

【課題を解決するための手段】本発明は、カメラの画像
と事前に撮影した背景画像を比較することにより被写体
を抽出する手段と、被写体の画像を拡大・変形して、静
止した背景上に合成する手段を有している。

【０００９】はじめに、たとえば人物等の被写体を分離
する手段について、図２及び図３を用いて説明する。カ
メラＡ（実カメラ）には例えば望遠レンズがマウントさ
れており、図３(a)のように背景の手前に被写体（人
物）が写っているものとする。また、画像データベース
には、カメラＡの位置で撮影した背景のみの画像（図３
(b)）が事前に記録されているものとする。

【００１０】(1)被写体の抽出 カメラの位置やレンズ、照明等の条件が同一であり、被
写体の影の影響が無視できるとき、これらの２枚の画像
を比較すると背景部は完全に一致する。また、一般には
被写体部分に不一致が生じる。背景と被写体の情報（輝
度あるいは色信号）が明らかに異なっている場合、適切
な判別法（例えばしきい値による２値化）を用いること
により、背景から被写体を完全に分離することができ
る。

【００１１】また、背景と被写体の輝度と色が部分的に
一致する場合であっても、画像処理の手法（例えば、モ
ルフォロジー理論におけるクロージング処理等。電子情
報通信学会誌1991年２月号pp.166〜173参照）を適用す
ることにより、外側の輪郭線を推定し、図３(c)のよう
に、ほぼ被写体のみを背景から実時間で分離することが
できる。これらの手法を整理すると、以下のようにな
る。

【００１２】(1-1)背景領域の抽出 背景領域は、以下の条件式を満たす画素の集合とする。

【００１３】しきい値＜abs（（背景の手前に被写体の
ある画像）−（背景のみの画像）） ここで、absは絶対値、しきい値は雑音等の状態で決ま
る定数である。

【００１４】(1-2)被写体領域の抽出 被写体領域は、背景以外の領域（補集合）とする。

【００１５】(1-3)被写体領域のクロージング処理 (1-2)で得た被写体領域を膨張処理（dilation）し、そ
の結果を収縮処理（erosion）する。このクロージング
処理により、たまたま被写体と背景の信号レベルが一致
し、被写体の一部が誤って背景と判定された場合でも、
小さな凹部を除去することが可能となり、ほぼ被写体の
輪郭を含む外形を実時間で抽出することができる。な
お、背景領域にオープニング処理（収縮処理後に膨張処
理）を加えても、同様の効果が得られることは明らかで
ある。

【００１６】なお、カメラの位置やレンズ、照明等の条
件が異なる場合には、それらの画像に共通する特徴点を
検出し、これらの輝度や色情報が一致するような補正処
理を行う。これにより、異なる条件下で撮影した場合で
も、背景部をほぼ一致させることができる。

【００１７】(2)被写体の変形と合成 次に、抽出した被写体を他の背景上に合成する手段につ
いて説明する。抽出した被写体の画像（図３(c)）は、
３次元の物体をある視点（あるいはビューポート）に投
影した２次元画像であり、その３次元的な情報は欠落し
ている。したがって、視点の異なる被写体の画像を正確
に生成するためには、被写体の３次元構造や、照明に用
いた光源の位置等に関する情報を取得する必要がある。
しかし、これらの情報が得られない場合でも、被写体が
人間や一般的な道具であれば、その３次元的な形状をあ
る程度予測することができる。また、光源の位置につい
ても、一定の近似を行うことにより、人間の目には違和
感のない画像を作り出すことも可能である。とくに、実
際のカメラの光軸と、仮想カメラの光軸が大きくずれな
い場合、単純な拡大処理のみで、自然な画像を生成でき
ることが多い。図３(d)は、仮想カメラの位置で標準レ
ンズを用いて撮影したと想定される場合の被写体の画像
である。

【００１８】このようにして生成した被写体の画像に明
るさ等の補正を加え、仮想カメラの位置で事前に撮影し
た背景画像（図３(e)）の上に合成することにより、そ
の視点での自然感のある画像（図３(f)）を実時間で生
成することが可能となる。以上の手法を整理すると、以
下のようになる。

【００１９】(2-1)被写体の変形・拡大 被写体の３次元形状をモデリングし、仮想カメラの位置
から撮影した２次元画像を生成する。（なお、最も単純
には被写体を２次元平面と仮定して、アフィン変換によ
る変形・拡大を行う。）勿論、更に仮想現実感を増すに
は、背景画像にもアフィン変換を行うこともできる。

【００２０】(2-2)背景と変形した被写体の合成 (2-1)で得られた被写体を、背景画像の上にオーバライ
ト（上書き）する。もし、(1-2)で抽出した被写体が変
形した被写体の領域内に完全に含まれる場合は、背景画
像として、(1-1)で得た背景領域（あるいはその一部）
を用いることも可能である。

【００２１】(3)仮想視点背景画像の事前記憶 上記(1)と(2)で述べた背景画像は実カメラAから事前に
撮像したものである。

【００２２】これを発展させ、仮想視点から事前に撮影
した背景画像を図1の記憶装置５に記憶しておくことに
より、より現実感の強い画像を合成できることは明白で
ある。(2-1)に述べた背景画像のアフィン変換による合
成において、仮想視点から事前に撮像した画像を参考に
した中間処理を実施し、より仮想現実感の強い合成画像
をえることが出来る。本発明の実施により、任意の視点
における画像、いいかえれば仮想カメラの画像を実時間
で生成することが可能となる。

【００２３】

【発明の実施の形態】以下、本発明の第１の実施例につ
いて、図１を用いて説明する。

【００２４】図１において、カメラ１にはズームレンズ
２がマウントされており、その画像はフレームメモリ８
に書き込まれる。

【００２５】このカメラの位置で撮影した背景のみの画
像が、画像データベースが構築されている記憶装置５か
ら読み出され、フレームメモリ６に書き込まれる。２つ
のフレームメモリ６８の内容は比較回路９により比較さ
れ、一致する部分を背景、その他の部分を被写体と判定
して、被写体部のみがフレームメモリ１０に転送され
る。なお、背景として不適切な画像が選択された場合に
は背景部が一致しない。この場合、比較回路９から別の
背景を読み出すよう制御される。

【００２６】フレームメモリ１０の画像信号は、画像変
換回路１１において、仮想カメラの位置、角度に基づく
変形・拡大等の処理が施され、背景のみが書き込まれた
フレームメモリ７の上にオーバライトされる。このフレ
ームメモリ７の内容は、仮想的なカメラの出力として表
示される。

【００２７】次に図４を用いて、本発明の第２の実施例
について説明する。図４において、カメラ１にはズーム
レンズ２がマウントされている。カメラ１にはレンズの
光軸、言い換えれば水平・垂直方向の角度を検出するセ
ンサー３が付加されている。さらに、ズームレンズ２に
はそのズーム比やピント、絞り、シャッター速度をはじ
めとする撮影条件を検出するセンサー４がついている。
それらのセンサーで検出した角度やズーム比等のデータ
は、画像データベースが構築されている記憶装置５に転
送され、その条件に一致する画像（背景のみ）が読み出
され、フレームメモリ６、７に転送される。背景の手前
に被写体が写っているカメラ１の画像はフレームメモリ
８に転送される。２つのフレームメモリ６、８の内容は
比較回路９により比較され、一致する部分を背景、その
他の部分を被写体と判定して、被写体部はフレームメモ
リ１０に転送される。この画像信号は、画像変換回路１
１において、仮想カメラの位置、角度に基づく変形・拡
大等の処理が施され、背景のみのフレームメモリ７の上
にオーバライトされる。なお、例えば被写体に発振器を
装着したり、カメラ１以外のカメラで撮影した映像を比
較することにより、被写体までの距離を測定し、変形や
拡大処理に用いることもできる。さらに、映像から被写
体の位置を検出し、これを自動的に追尾するようカメラ
１の方向を制御することもできる。

【００２８】被写体の位置検出の具体的実施例は被写体
の重心を使用する方法がある。また、カメラ１の光軸
と、仮想視点と対象物のなす角度が、あらかじめ設定し
た反内に収まるよう、カメラ１の光軸もしくは仮想視点
の位置を制御することもできる。

【００２９】さらに、上記実施例では、比較回路９にお
いて、一致する部分を背景、一致しない部分を被写体と
判定していたが、一致しない部分の領域を一旦膨張さ
せ、その結果を収縮させた領域を被写体領域と判定する
回路を追加することもできる。

【００３０】なお、本実施例ではカメラ１には望遠レン
ズ、仮想カメラは標準レンズを用いるものとしたが、そ
れ以外の場合でも同様の手法により仮想カメラの映像を
生成することができることは明らかである。

【００３１】また、本実施例では背景の映像を事前に取
得するものとしたが、図５および図６に示すように、カ
メラＡと同時に背景画像（被写体を含む）をカメラＢに
より撮影し、その上に拡大・変形した被写体を合成する
こともできる。ただし、この場合、カメラＢにより撮影
した被写体の上に、拡大・変形した被写体がオーバライ
トされていることが条件となる（図６(c)）。

【００３２】さらに、防犯カメラへの応用のように図2
に示した背景が比較的近い場合、これにアフィン変換等
の変形処理を施すことにより、より自然感のある合成画
像を生成することもできる。また、この背景（山などの
後景）の手前に、家並みや他の被写体のような前景が配
置されている場合、その前景の位置（例えばカメラから
の距離）を求め、これにふさわしい変形処理を加えて合
成することも可能であることは明らかである。

【００３３】また、防犯カメラへの応用の場合、上記
(3)で述べた如く、図5のカメラBを仮想カメラの位置ま
で移動し、いくつかの方位毎の背景画像を記憶装置５に
記憶し、上記アフィン変換等の変形処理に於ける中間処
理として、その基準画像に使用する方法も本発明の実施
例であることは明白である。また複数の仮想視点に於け
る背景画像を記憶し、被写体が移動した場合に自動追尾
することも本発明の実施例である。

【００３４】

【発明の効果】このように、本発明によれば、近似的に
静止した背景の手前に被写体がある場合、実際にはカメ
ラが存在しないような視点における画像を、近似的に実
時間で生成することができる。

【図面の簡単な説明】

【図１】本発明の第１の実施例を示す構成図。

【図２】本発明におけるカメラと背景、被写体の位置関
係を示す配置図。

【図３】本発明における背景からの被写体分離、拡大、
合成等の手順を示す概念図。

【図４】本発明の第２の実施例を示す構成図。

【図５】本発明の変形例を示すカメラの配置図。

【図６】本発明の変形例を示す概念図。

【符号の説明】

１…カメラ、２…カメラ１にマウントされているズーム
レンズ、３…カメラ１の光軸角度を検出するセンサー、
４…ズームレンズ２のズーム比やピント、絞り、シャッ
ター速度をはじめとする撮影条件を検出するセンサー、
５…背景画像のデータベースが構築されている画像ファ
イル（記憶装置）、６、７、８…１枚の画像信号を書き
込むフレームメモリ、９…２枚のフレームメモリの内容
を比較して一致しない部分を検出する比較回路、１０…
被写体の画像が書き込まれるフレームメモリ、１１…仮
想カメラの位置、角度に基づいてフレームメモリ１０の
画像を変形・拡大する画像変換回路。

Claims (5)

【特許請求の範囲】
1. 【請求項１】第１のカメラで撮影した画像と、事前に撮
   影・記録された画像ファイルの出力画像を比較すること
   により対象物を抽出する手段と、上記画像ファイルの出
   力画像から所定の領域を背景画像として抽出する手段
   と、抽出した対象物を仮想視点から角度・距離に応じて
   画像変換する手段と、画像変換した対象物を抽出した背
   景画像に合成する手段を有する画像システム。
2. 【請求項２】請求項１記載の画像システムにおいて、第
   1のカメラの方向、絞り、ズーム比、被写体への距離等
   の情報を検出する手段、検出した情報をもとに画像ファ
   イルの出力から抽出する背景画像の領域位置・形状を定
   める手段を有することを特徴とする画像システム。
3. 【請求項３】請求項１乃至２記載の画像システムにおい
   て、実カメラの光軸と被写体と仮想視点を結ぶ直線が、
   あらかじめ定めた角度の範囲内に収まるよう、実カメラ
   の光軸、もしくは仮想視点の位置を制御することを特徴
   とする画像システム。
4. 【請求項４】請求項１乃至３記載の画像システムにおい
   て、事前に撮影・記録された画像ファイルの出力画像の
   かわりに、第２のカメラの出力画像を用いることを特徴
   とする画像システム。
5. 【請求項５】請求項４記載の画像システムにおいて、第
   ２のカメラの方向、絞り、ズーム比、被写体への距離等
   の情報を用いることを特徴とする画像システム。