JP5317955B2 - 複数の視野の効率的な符号化 - Google Patents

Description

本発明は、画像の複数の視野を、例えば、ＭＰＥＧ規格の１つに従って圧縮されたテレビジョン信号のような画像信号に符号化する方法に関する。

本発明は、このような信号を生成する装置と、このような信号を受け取る受信機と、前記信号から符号化された情報を抽出し、この結果、前記複数の視野を生成するのに使用されることができる方法と、効率的に符号化された信号自体とにも関する。

三次元画像情報の符号化の規格化において、進行中である取り組みが、現在、存在する。例えば、（例えば、医療データ表示又は工業部品検査において一般的である）ボクセルの集合として、又は異なる方向から捕捉された複数の画像であって、例えば、一人の視聴者の２つの目によって若しくは複数の視聴者によって、又は動いている視聴者によって等の異なる方向から見られるための複数の画像として、三次元オブジェクトを表現する幾つかの仕方が、存在する。

一般的な形式は、ピクチャが、左側におけるカメラによって捕捉されると共に、ピクチャが右側におけるカメラによって捕捉される左右フォーマットである。これらのピクチャは、異なる表示器上に表示されることができ、例えば、左側のピクチャは、第１集合の時点の間に表示されることができ、右側のピクチャは、介挿された第２集合の時点の間に表示されることができ、視聴者の左目及び右目が、シャッターガラスによって前記表示器と同期して遮断される。偏光手段を有しているプロジェクタが、三次元の印象の場面を生成し、前記場面の三次元情報の一部、即ちほぼ或る方向（即ちステレオ）におけるものに見えるものを少なくともレンダリングすることができる表示器の他の例である。

種々の質の前記面の近似が使用されることができ、例えば、三次元の場面が、互いに背後にある平らな層の集合として表現されることができる。しかしながら、これらの種々の質は、既存の形式によって符号化されることができる。

他の一般的な表示器は、自動立体表示器である。この表示器は、例えば、レンズの集合の背後にＬＣＤを位置させることによって形成されており、この結果、ピクセルの群が、それぞれのレンズによって、空間における領域に投影される。このようにして複数の円錐が、２つずつが、左右の目に対する左右の画像を含んでいる空間において生成され、この結果、ガラスを有することなく、ユーザは、空間における複数の領域において自身の位置を見ることができ、三次元を知覚することができる。しかしながら、これらの群のピクセルに対するデータは、左右の画像から生成されなければならない。他の選択肢は、ユーザが、ステレオ符号化の左右の視野の間の複数の中間の方向からオブジェクトを見ることができるというものであり、この中間の視野は、左右のピクチャの間のずれ（disparity）を計算し、後続して、内挿することによって生成されることができる。

このような従来技術の左右符号化の不利な点は、かなりのデータが、中間の視野を得るのに必要であり、更に、幾分か失望する結果が得られ得るということにある。正確に整合する不均衡な場を計算することは困難であり、前景オブジェクトにくっつく後景の一部のような、内挿におけるアーチファクトを生じる。ここで以下に提示される技術的な実施例に至る願いは、中間の視野を有する視野の集合のように、異なる形式へ変換する場合の比較的正確な結果であるが、必要以上の量のデータを含んでいない結果を生じることができる符号化の仕方を有することである。

このような要件は、複数の視野の画像情報を画像信号（２００）に符号化する方法であって、
− 画像信号（２００）に、第１カメラ（１０１）によって捕捉された１つ以上のオブジェクト（１１０、１１２）を表現しているピクセル値の第１画像（２２０）を付加するステップと、
− 画像信号（２００）に、第１画像（２２０）のピクセルのそれぞれの集合に関して、前記ピクセルのそれぞれの集合によって表現されている１つ以上のオブジェクト（１１０、１１２）の領域の空間における三次元の位置を表現しているそれぞれの値を含むマップ（２２２）を付加するステップと、
− 画像信号（２００）に、第２カメラ（１０２）によって捕捉された１つ以上のオブジェクト（１１０、１１２）を表現しているピクセル値の第２画像（２２４）の部分的な表現（２２３）であって、１つ以上のオブジェクト（１１０、１１２）の第１カメラ（１０１）に可視的でない領域を表現している前記ピクセルの大部分を少なくとも有する部分的な表現（２２３）を付加するステップと、
を有する方法、当該方法によって得られる信号又は当該方法の実施を可能にする装置によって、少なくとも部分的に満たされる。

本願発明者らは、質的な理由に関して、前記左右の画像に、（所望の質を有する）特定の用途を可能にするのに必要な三次元場面情報の少なくともこの部分を表現している、前記場面の前記三次元構造に関する情報を含んでいるマップを付加することが最良であると理解する場合、興味深い符号化形式が、考えられることができることに気がついた。視野の内挿に関して、前記マップは、例えば、正確にセグメント化されたずれマップであっても良く、このずれマップのずれベクトルは、中間の視野の良好な内挿を生じる。このマップは、受信側における使用に従って、即ち例えば、三次元環境が当該表示器上でどのように擬態されるかに従って、生成／送信側において最適に調整されることができることに気づくことが重要であり、このことは、典型的には、左右の視野におけるピクセルを最良に予測するのに使用される場合とは異なる特性を有することを意味する。

前記マップは、例えば、複数の意図されている表示器が、信号を受信した際にどのように振舞うのかを自身の側において予め見ることができる人間のオペレータによって、微調整される又は作成されることさえできる。今日において、未来においてさえも、前記コンテンツの一部は、例えば、恐竜の三次元モデル、又はオーバーレイグラフィックスのように、既にコンピュータ生成されており、人口のオブジェクトを含んでいる領域に対して、少なくともピクセル精度のずれマップ、深さマップ又は類似のマップを作るには、あまりにも問題があることを意味している。

このことは、確かに、例えば、ユーザが、前記場面と比較して僅かに動くことができ、前記場面を異なるように見ることを望み得る、ゲーム用途に関しては真実であるが、近い将来において、本発明は、２つのカメラによって捕捉される又は例えば、動き視差に基づいて生成されさえする三次元テレビジョンに対しても重要なものとなり得る。既に、増えつつあるスタジオ（例えば、ＢＢＣについて）は、例えば、ニュースについての仮想周囲を使用している。

このマップは、例えば、ＭＰＥＧ-２規格によって圧縮されたグレー値画像として、及び既に当該信号内の左右画像（又は、ビデオ動画に関する幾つかの時点における画像）のデータオーバヘッドを殆ど伴うことなく符号化されることができる。

しかしながら、本願発明者らが認識したところ、このマップを持つことは、場面の一部が両方のカメラによって撮像されるので、データの量の更なる低減を可能にする。前記ピクセル情報が、二方向内挿に対して便利なものであっても（例えば、前記カメラの一方に対する鏡面反射が、軽減されることができる）、実際には、重要な情報は、二重に符号化された部分にあまり多く存在しない。従って、前記マップを利用可能にし、第２画像（例えば、右側の画像）のどの部分が符号化される（及び伝送される）必要があるかと、どの部分が、特定の用途にあまり関連しないかとが、決定されることができる。受信側において、消失したデータの良好な質の再生が、実現されることができる。

例えば、（当該場面に対して平行に又は小さい角度で位置決めされることができる）カメラに対して本質的に平らな面を有しており、あまり隣接していないオブジェクを有する簡単な場面近似（捕捉）において、第１（左側）の画像内の第２（右側）の画像内に捕捉されている消失した部分は、後景オブジェクト（例えば、無限大における場面の要素）のピクセルから構成される。

興味深い実施例は、部分的な第２ずれ又は深さマップ等の符号化を含んでいる。この部分的な、例えば、深さマップは、前記第１カメラによって撮像されることができない領域の深さの値を実質的に含む。この深さデータから、どの覆われていない部分が（図１における１３０によって示されている）第１深さを持つ前景オブジェクトに属しているのかと、どの部分が後景（１３２）に属しているのかとが、受信側において推定されることができる。このことは、より良好な内挿の戦略を可能にすることができ、例えば、孔を拡張する及び埋める量が、微調整されることができ、耳の擬遠近レンダリングが、ちょうど後景ピクセル等の代わりに、中間の画像においてレンダリングされることができる。他の例は、アングルカメラの台形ひずみが、受信側の補償のために、この第２マップ内で符号化されることができることである。

（典型的には僅かに）集束しているカメラによる捕捉からの台形ひずみの場合、一般に、水平方向のずれに加えて、垂直方向のずれが存在する。この垂直成分は、ベクトル的に、又は、例えば、ＭＰＥＧ-４サブグループのビデオ３ＤＡＶ（例えば、ＩＳＯ／ＩＥＣＪＴＣ１／ＳＣ２９／ＷＧ１１ Ｄｏｃｓ. ＭＰＥＧ２００５／１２６０３、１２６０２、１２６００、１２５９５）の「補助データ表現」の提案において既に構想されている第２マップ内に符号化されることができる。前記ずれの成分は、補助ピクチャのルマ（luma）及び／又はクロミナンスにマッピングされることができ、例えば、水平方向のずれは、高い解像度で前記ルマにマッピングされることができ、垂直方向のずれは、前記１つ又は２つのクロミナンス成分への方策によってマッピングされることができ、（この結果、前記データの一部は、Ｕ内にあり、数学的な分割により、同じ位の付加的なデータが、Ｖ内にある）。

例えば、中央視野＋「深さ」＋横（bisidal）閉塞データへの第１符号化に対する部分的な左＋右＋「深さ」の形式の利点は、以下の通りである。これを元のカメラ捕捉視野上に記憶するのではなく、閉塞データの前記中央視野への変換が、（特に、前記深さマップが、自動的に得られたものであり、低い質／一貫性のものであり、時間的及び空間的な不完全さを持っている場合）処理の不正確さを生じ、従って、符号化の非効率さを生じる。更に、中間視野を計算する場合、不正確さが、これに加えて生じる。

本発明による方法及び装置のこれら及び他の見地は、以下に記載される実施化及び実施例を参照し、より一般的な概念を例示しており単に非制限的な特定の図であって、破線は、構成要素がオプションであることを示すのに使用されており、非破線な構成要素が必ずしも本質的ではない、特定の図として機能する添付図面を参照して、明らかになり説明されるであろう。

図１は、より近いオブジェクト１１０と更なる離れたオブジェクト１１２とを含む場面の第１画像を捕捉している第１カメラ１０１を示している。この視界は、線１０３及び１０４によって区切られている。後景の視野は、前記より近いオブジェクトによって遮られており、即ち接線１２０の左側における領域１３２は、見えない。しかしながら、第２カメラ１０２が、この領域１３２の一部を、簡潔さの理由のために考慮されることができると共に右側の画像と呼ばれる第２画像内に捕捉することができる（しかし、このことは、他のピクチャの右側に幾分か更に捕捉されたものよりも狭く解釈されるべきではない）。前記第２カメラは、より近いオブジェクト１１０の更なる部分１３０を捕捉することもできる。

図２は、これらの捕捉された画像のどれが、ピクセルの集合として見えるのかを象徴的に示している。画像信号２００は、例えば、ＪＰＥＧの予測された符号化形式を有していても良く、当該場面の符号化された写真を含んでいても良く、又はＭＰＥＧ−４符号化された映画の一場面であっても良い。後者の場合、三次元データ２１０は、特定の時点における場面を再現するのに必要な情報を含んでいる。

画像２２０は、前記第１カメラによって捕捉された左側の画像であり、より近いオブジェクト１１０及び後景１１２を含んでいる。

マップ２２２は、前記オブジェクトが、どのように三次元の空間内に位置されているかに関連する何らかの情報を含むマップであり、少なくとも、（例えば、ゲームにおいて移動しているユーザとの相互作用において静的に又は動的に）複数の必要な視野の表示器上へのレンダリングに必要な情報を含んでいる。幾つかのこのような表現が可能であり、例えば、前記第１カメラによって知覚されるような二次元の位置における、前記後景における前記オブジェクトのカメラの中心までの直交するおおよその（例えば、全てのオブジェクト領域にわたる平均）距離を含んでいる深さマップであっても良く、又は、ずれ若しくは視差、又は前記ずれの水平成分のみであっても良い。

深さ及び視差等は、数学的に互いに関連付けられることができる。

この深さマップは、例えば、ピクセル精度のものであっても良く、又はピクセルの８×８ブロックごとに１つの値を持つものであっても良く、例えば、画像として符号化されても良い。

例えば、これを導出する整合アルゴリズムに基づいて決定された正確なデータ（深さマップのある部分がどれだけ信頼できるものか）のような、更なる情報が、（場合によっては１つのピクセルのみを含むピクセルの集合ごとにスカラ又はタプルを有し得る）前記深さマップに付加されることができる。

部分的なデータ構造２２３（右側の画像２２４の一部）が、前記後景の（視差シフトされた、より近いオブジェクト２２５の近傍の）前記第２カメラによってのみ見られることができるピクセルの情報（例えば、輝度のみ若しくは色、又は、領域内にピクセルを生成することができるテクスチャモデルのような、何らかの他の習慣的な表現）を有している。この符号化された部分的な領域、即ち画像パッチ生成アルゴリズムに従って大きく符号化された領域の形状の一部においてピクセル値を得るために少なくとも必要なデータは、受信側のアプリケーションが、例えば、簡単な外挿又は拡大等によってこれらを生成することにより、一部の欠落しているピクセルを許容することができる場合、右側の画像において捕捉された実際の妨害されていない領域よりも幾分か小さいものであることができる。

符号化された領域は、より大きいもの（例えば、幅の二倍、又は垂直方向において追加される類似のバッファサイズまで）であることもできる。このことは、例えば、自動的に得られた場合の前記形状の正確さに関する不確実性の場合において、又は何らかの理由のために二方向の内挿入が望ましい場合において、興味深いものであり得る。

これは、符号化の理由のためのものであっても良い。このことは、ブロック全体を符号化することがより安価なものであり得て、余分に符号化されたピクセルからの利益を得ることができるのに対し、複雑な形状の符号化は、高価なものであり得る。これに加えて、送信側においては、手動又は（半）自動解析が、右側画像内のデータ上でなされることができ、これは、左側画像におけるデータに加えて便利なものになるべき従来の導出段階の出力として提案される。例えば、鏡面反射を識別し、両方の画像における反射を有するピクセルの領域を符号化することを決定するために、ピクセル特性を見ることもできる。

更に、異なる領域の形状が、形態学的な分析によって分析されることができ、特に、前記領域の大きさ又幅が、決定されることができる。小さな領域は、かなりの符号化オーバーヘッドを含み得るが、しばしば、前記受信機側において情報を有することなく又はほとんど有することなく、概算されることができる。従って、小さい領域は、部分的な第２ピクチャから省略されることができる。このことは、各削除の効果をチェックする人間のオペレータの制御下にあることもできる。

前記領域の（包括的な又は正確な）形状は、例えば、多角形の近似又はバウンディングボックスによって符号化されることができ、内部のピクセル（テクスチャ）値は、直接的に、前記形状における線形変換表現の係数によって、又は他の数学的モデルによって符号化されることができる。更に、逆に、符号化／伝送される必要がない部分が識別されることができる。

前記部分的な表現（例えば、帰線（blanking lines）、モーフィング、所定の順序に従って再積層されるサブブロックへの切断における簡単なオフセット）が、前記第１画像に使用されていない画像又はユーザデータ（例えば、再生モデル）にマッピングされることもできる。

深さマップを伴っている前記第１画像は、中央画像であり、何れかの側における、即ちこの間に内挿されることができる或る角度距離（ベースライン）に、部分的な第２画像が存在しても良い。

前記第１カメラが、後景を撮像していても良く、前記第２カメラが、例えば、ニュースリーダがこの一部を覆っている後景を、例えば、異なる時間における同じ視点から撮像しても良い。即ち前記カメラが、或る時間に同時に存在する実際のカメラである必要はなく、むしろ、例えば、前記視野の１つは、例えば、ピクチャ記憶装置からダウンロードされても良い。

オプションで、少なくとも、前記第２画像内の撮像された覆われていないオブジェクト領域の周りの部分に関して、第２深さマップ２３９（完全な深さマップ２４０の一部）、又は類似の表現が、前記信号に付加されることができる。この深さマップは、近くのオブジェクトと遠くのオブジェクトとの間の境界を有していても良い。この情報によって、受信側は、内挿の間に、異なるピクセルを正しいオブジェクト／深さの層に追加することができる。

更なるデータ２３０が、例えば、分離又は一般的には当該場面内のオブジェクトの三次元成分に関する情報のような、専有場（proprietary fields）において、前記信号に付加されることもできる。このような指示は、（例えば、前記深さマップが十分なものでない、又はこれ自体によって前記オブジェクトの境界を定めるのに十分正確でない場合に）撮像された場面のオブジェクトの境界に後続する線と同じくらい単純なものでも良く、又は（例えば、妨げられていない部分における局所的な深さ構造の）ワイヤメッシュ又はここから得られる情報と同じくらい複雑な何かであってさえも良い。

更に、カメラの位置情報及び場面の範囲情報が含まれることができ、受信側が、複数の（少なくとも２つの）視野の更に進んだ再生を行うことを可能にする。

図３は、前記画像信号を生成するための装置３１０を示している。これは、典型的には、ＩＣ若しくはＩＣの一部、又は、適切なソフトウェアを伴っているプロセッサである。前記装置は、スタジオ内の専用オーサリング装置のような、大きい装置内に含まれていても良く、コンピュータに取り付けられていても良く、又はコンピュータ内に含まれていても良い。例示的な実施例において、第１カメラ３０１及び第２カメラ３０２は、装置３１０の入力に接続されている。各カメラは、例えば、レーザビーム又は投影されたグリッド等を使用することができる範囲ファインダ（それぞれ、３０８、３０９）を有している。

当該装置において、（前記深さマップにおける情報を使用することにより）少なくともオブジェクトの幾何学的配置を考慮に入れることにより、少なくとも２つのピクチャ間のずれを決定するずれ推定ユニット３１２が設けられる。種々のずれ推定技術は、従来技術から知られており、例えば、関連するブロック内のピクセル値の絶対差分の和によるものである。

これは、少なくともどの領域が前記画像のうちの１つのみに存在するか、及びどの領域が両方に存在するかを決定するように配されているが、ピクセルの領域に整合基準を適用することができるユニットを更に有していても良い。

ずれ推定ユニット３１２によって決定されるか、例えば、範囲データを含む入力されたカメラ信号から抽出されるかの何れかによって決定される深さマップ（又はずれマップのような類似の表現）を生成する、分析する及び／又は洗練することができる深さマップユニット３１４が、設けられることもできる。オブションで、レンダリングユニット３１６を含むことができ、レンダリングユニット３１６は、例えば、中間の視野を生成することができ、この結果、スタジオのアーティストは、何らかの変形及び／又は更に効率的な符号化の影響をチェックすることができる。このことは、ユーザインターフェースユニット３１８を介して行われ、例えば、ユーザが部分的な表現２２３の値を変化させる、又は形状を変更する（例えば、大きくする又は小さくする）ことを可能にする。当該ユーザは、マップ２２２を変更することもできる。これに加えて、表示器３３５及びユーザ入力手段は、接続可能である。これは、最終的に構成された画像信号を、信号伝送及び構成手段３３９を介して、ネットワーク３３０に送信する装置であることもでき、信号伝送及び構成手段３３９は、当業者であれば、適切なネットワークに関して（例えば、テレビジョン信号への変換は、伝送周波数への情報変換を含んでおり、インターネット伝送は、パケット化を含んでおり、更に、誤り保護ユニット等も存在し得る）見つけることができる。

このような特徴的なネットワークは、限定的に解釈されてはならず、即ちバスのような装置内部のネットワークを介してメモリユニット又は記憶媒体への伝送も含む意図のものである。

図４は、例示的な受信機４００を示しており、受信機４００は、再び、例えば、ＩＣ（の一部）であっても良く、ネットワーク３３０から受信可能な画像信号からの関連する情報を抽出する手段を有しており、即ち少なくとも、
− 第１カメラ（１０１）によって捕捉された１つ以上のオブジェクト（１１０、１１２）を表現しているピクセル値の第１画像（２２０）を抽出する手段（４０２）と、
− 画像信号（２００）から、例えば、前記第１画像の前記オブジェクトの位置に対応する深さマップのような、マップを抽出する手段と、
− 前記第２カメラ（１０２）によって捕捉された前記１つ以上のオブジェクト（１１０、１１２）を表現しているピクセル値の第２画像（２２４）の部分的な表現（２２３）を抽出する手段（４０６）と、
を有している。

勿論、前記受信機（及び抽出の方法）が、生成のために可能な実施例の何れかを反映しても良いので、更なる手段が、設けられることができ、例えば、２つのオブジェクト間の境界の指示のような更なるデータを抽出する手段を設けることができる。

この抽出された情報は、画像生成器に伝送され、前記画像生成器は、例えば、完全な左右の画像を生成することができる。画像レンダリングユニット４１２は、例えば、中間の視野（例えば、単方向又は二方向の内挿、又は何らかの他の既知のアルゴリズム）、又は自動立体表示器上の２つの視野（ステレオ）に関して必要な信号を生成することができる。三次元表示器の種類及び三次元が実際にどのように表現されるかに依存して、これらの２つのユニットは、種々の組み合わせにおいて実現されることができる。

前記受信機は、典型的には、三次元表示器４１５に接続可能なものである又は三次元表示器４１５内に含まれることができ、少なくとも２つの視野をレンダリングすることができ、又は再生された信号は、例えば、ディスク４２２ライタ、又は固体メモリ等のような、メモリ装置４２０内に記憶されることができる。

本明細書に開示されている前記アルゴリズムの構成要素は、実際には、ハードウェア（例えば、アプリケーション特有のＩＣの一部）又は特別なデジタル信号プロセッサ又は一般的なプロセッサ等において走るソフトウェアとして（完全に又は部分的に）実現されることができる。

コンピュータプログラムの下で、プロセッサ（一般的な又は特別な目的のもの）が、一連のローディングステップ（中間の言語及び最終的なプロセッサの言語への翻訳のような、中間の変換ステップを含み得る）の後に、発明の特徴的な機能の何れかを実行するように前記プロセッサへの命令を得ることを可能にする命令の収集の如何なる物理的な実現も理解されなければならない。特に、コンピュータプログラムは、例えば、ディスク若しくはテープ、メモリ内に存在するデータ、有線若しくはワイヤレスのネットワーク接続にわたって伝わるデータ、又は紙上のプログラムコードのような、媒体上のデータとして実現されることができる。プログラムコードから離れて、前記プログラムに必要な特徴的なデータも、コンピュータプログラムとして実施化されることもできる。

当該方法の機能に必要なステップの幾つかは、データ入力及び出力ステップのような、コンピュータプログラム内に記述されるのではなく、プロセッサの機能において既に存在しても良い。

上述の実施例は、本発明を、制限するものではなく、むしろ説明しているものであることに留意されたい。添付請求項に組み合わされている本発明の要素の組み合わせから離れて、前記要素の他の組み合わせも実現可能である。如何なる組み合わせの要素も、１つの専用の要素において実現されることができる。

前記請求項内に置かれた如何なる符号も、前記請求を限定するものとみなしてはならない。「有する」という語は、請求項内に記載されていない要素又は見地の存在を排除するものではない。単数形の構成要素は、複数のこのような構成要素を排除するものではない。

少なくとも２つのカメラによる場面の捕捉を模式的に示している。 画像内の必要なデータの符号化の幾つかの選択肢を模式的に示している。 当該画像信号を生成する例示的な装置を模式的に示している。 当該信号を使用することができる例示的な受信装置を模式的に示している。

Claims (16)

1. 複数の視野の画像情報を画像信号に符号化する方法であって、
   − 前記画像信号に、第１カメラによって捕捉された１つ以上のオブジェクトを表現しているピクセル値の第１画像を付加するステップと、
   − 前記画像信号に、前記第１画像のピクセルのそれぞれの集合に関して、前記ピクセルのそれぞれの集合によって表現されている前記１つ以上のオブジェクトの領域の空間における三次元の位置を表現しているそれぞれの値を含むマップを付加するステップと、
   − 前記第１カメラと異なる位置において第２カメラによって捕捉された１つ以上のオブジェクトを表現しているピクセル値の第２画像を提供するステップと、
   − 前記第１画像と前記第２画像との間の視差に応じて少なくともどの領域が前記第２画像中に存在し前記第１画像中に存在しないかを決定するステップと、
   − 前記画像信号に、前記第２画像の部分的な表現であって、前記領域のピクセルの大部分の情報を少なくとも有している部分的な表現を付加するステップと、
   を有する方法。
2. 前記画像信号に、前記第２画像のピクセルのそれぞれの集合に関して、前記ピクセルのそれぞれの集合によって表現されている前記１つ以上のオブジェクトの領域の空間における三次元位置を表現しているそれぞれの値の部分的な表現を少なくとも含む第２マップを付加するステップを更に有する、請求項１に記載の方法。
3. 前記第１画像におけるピクセルの集合に対して、前記第２画像におけるピクセルの対応する集合を示しているずれベクトルを、ずれ計算アルゴリズムによって自動的に得るステップを有し、前記画像信号にマップを付加するステップが、前記画像信号に、前記ずれベクトルを含む前記マップを付加するステップからなる、請求項１又は２に記載の方法。
4. 範囲決定装置から、前記第１画像内のピクセルの集合に関してそれぞれの範囲を得るステップを有する請求項１又は２に記載の方法であって、前記画像信号にマップを付加するステップが、前記範囲を含む前記マップを付加するステップから成る、方法。
5. 前記マップの値は、前記画像信号への付加のステップの前に、人間によって微調整される、請求項１乃至４の何れか一項に記載の方法。
6. 前記部分的な表現が、前記画像信号に付加するステップの前に、人間によって微調整される、請求項１乃至５の何れか一項に記載の方法。
7. 前記画像信号に、第１オブジェクトと第２オブジェクトとの間の境界を示している、前記マップ内の位置を含む曲線のような、指示を付加するステップを更に有している、請求項２に記載の方法。
8. 前記画像信号に、前記第２画像の部分的な表現を付加するステップが、前記第２画像の部分的な表現内のピクセルの領域を取り囲んでいる取り囲み形状の表現を特定する及び前記画像信号に付加するステップを含んでいる、請求項１乃至７の何れか一項に記載の方法。
9. 前記画像信号に、前記第２画像の部分的な表現を付加するステップが、前記第２画像の符号化される必要がない領域を特定するステップを含んでいることを特徴とする、請求項１乃至７の何れか一項に記載の方法。
10. 例えば、形態学的な分析のような、画像分析が、前記第２画像の部分的な表現内に含まれている領域において実施され、変形が、前記部分的な表現を前記画像信号に付加するステップの前に、前記部分的な表現に対して実施され、前記形態学的な分析が、例えば、それぞれの領域の最大幅の決定を含んでいる、請求項１乃至９の何れか一項に記載の方法。
11. 複数の視野の画像情報の画像信号への符号化を生成する装置であって、
    − 前記画像信号に、第１カメラによって捕捉された１つ以上のオブジェクトを表現しているピクセル値の第１画像を付加する手段と、
    − 前記画像信号に、前記第１画像のピクセルのそれぞれの集合に関して、前記ピクセルのそれぞれの集合によって表されている前記１つ以上のオブジェクトの領域の空間における三次元の位置を表現しているそれぞれの値を有するマップを付加する手段と、
    − 前記第１カメラと異なる位置において第２カメラによって捕捉された１つ以上のオブジェクトを表現しているピクセル値の第２画像を提供する手段と、
    − 前記第１画像と前記第２画像との間の視差に応じて少なくともどの領域が前記第２画像中に存在し前記第１画像中に存在しないかを決定する手段と、
    − 前記画像信号に、前記第２画像の部分的な表現を付加する手段であって、前記部分的な表現は、前記領域のピクセルの大部分の情報を少なくとも含んでいる、手段と、
    を有する装置。
12. 前記第１画像内のピクセルの集合と前記第２画像内のピクセルの対応する集合との間のずれベクトルを推定する自動ずれ推定ユニットを更に有する、請求項１１に記載の装置。
13. 前記マップの中身及び／又は前記部分的な表現にわたって人間のオペレータ制御を与えるユーザインターフェースユニットを更に有する、請求項１１又は１２に記載の装置。
14. 画像信号から、第１カメラによって捕捉された１つ以上のオブジェクトを表現しているピクセルの値の第１画像を抽出する手段と、
    前記画像信号から、前記第１画像のピクセルのそれぞれの集合に関して、前記ピクセルのそれぞれの集合によって表現されている前記１つ以上のオブジェクトの領域の空間における三次元位置を表現しているそれぞれの値を有しているマップを抽出する手段と、
    前記画像信号から、前記第1カメラと異なる位置において第２カメラによって捕捉された１つ以上のオブジェクトを表現しているピクセル値の第２画像の部分的な表現を抽出する手段であって、前記部分的な表現は、前記１つ以上のオブジェクトの前記第２画像中に存在し前記第１画像中に存在しない領域を表現している前記ピクセルの大部分の情報を少なくとも有している手段と、
    を有する画像信号受信機。
15. 画像の少なくとも２つの視野の画像を生成することができる表示器であって、
    − 請求項１４に記載の画像信号受信機と、
    − 前記画像信号受信機によって受信された前記画像信号データから、２つの画像を生成する画像生成器と、
    − 前記２つの画像から、前記表示器に適切な形式の更なる画像を生成する画像レンダリングユニットと、
    を有する表示器。
16. 画像信号から複数の視野の画像情報を抽出する方法であって、
    − 前記画像信号から、第１カメラによって捕捉された１つ以上のオブジェクトを表現しているピクセル値の第１画像を抽出するステップと、
    − 前記画像信号から、前記第１画像のピクセルのそれぞれの集合に関して、前記ピクセルのそれぞれの集合によって表現された前記１つ以上のオブジェクトの領域の空間における三次元位置を表現しているそれぞれの値を有するマップを抽出するステップと、
    − 前記画像信号から、前記第1カメラと異なる位置において第２カメラによって捕捉された１つ以上のオブジェクトを表現しているピクセル値の第２画像の部分的な表現を抽出するステップであって、前記部分的な表現は、前記１つ以上のオブジェクトの前記第２画像中に存在し前記第１画像中に存在しない領域を表現している前記ピクセルの大部分の情報を少なくとも有している、ステップと、
    を有する方法。

Images