Nothing Special   »   [go: up one dir, main page]

JP2013538474A - 3次元画像に対する視差の算出 - Google Patents

3次元画像に対する視差の算出 Download PDF

Info

Publication number
JP2013538474A
JP2013538474A JP2013515428A JP2013515428A JP2013538474A JP 2013538474 A JP2013538474 A JP 2013538474A JP 2013515428 A JP2013515428 A JP 2013515428A JP 2013515428 A JP2013515428 A JP 2013515428A JP 2013538474 A JP2013538474 A JP 2013538474A
Authority
JP
Japan
Prior art keywords
value
parallax
depth
range
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013515428A
Other languages
English (en)
Other versions
JP5763184B2 (ja
Inventor
チェン、イン
カークゼウィックズ、マルタ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2013538474A publication Critical patent/JP2013538474A/ja
Application granted granted Critical
Publication of JP5763184B2 publication Critical patent/JP5763184B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/97Determining parameters from multiple pictures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/128Adjusting depth or disparity
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • G06T2207/10021Stereoscopic video; Stereoscopic image sequence
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00Details of stereoscopic systems
    • H04N2213/003Aspects relating to the "2D+depth" image format

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Processing Or Creating Images (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

【解決手段】 装置は、画素についての奥行情報に基づいて2次元画像の画素に対する視差値を算出し、この視差値を用いて第2の画像を生成しうる。画素に対する視差値の算出は、画素の奥行と対応視差範囲との間の直線関係に対応しうる。1つの例において、3次元画像データをレンダリングするための装置は、複数の画素に関連付けられた奥行情報、および、奥行情報がマッピングされる視差範囲に基づいて第1の画像の複数の画素に対する視差値を算出すように構成された視点合成ユニットを含み、視差値は、第2の画像の複数の画素のうちの対応する1つの水平オフセットを記述する。装置は、第1の画像および奥行情報をソースデバイスから受信しうる。装置は、第1の画像および視差値を用いて第2の画像を生成しうる。
【選択図】図2

Description

本開示は、マルチメディアデータのレンダリングに関し、特に、3次元ピクチャおよびビデオデータのレンダリングに関する。
デジタルビデオ機能は、デジタルテレビジョン、デジタルダイレクトブロードキャストシステム、無線ブロードキャストシステム、携帯情報端末(PDA)、ラップトップまたはデスクトップコンピュータ、タブレットコンピュータ、デジタルカメラ、デジタル記録デバイス、デジタルメディアプレーヤ、ビデオゲームコンソール、セルラまたは衛星ラジオ電話、ビデオ遠隔会議デバイスなどを含む広範囲のデバイスに組み込まれることが可能である。デジタルビデオデバイスは、MPEG−2、MPEG−4、ITU−T H.263、または、ITU−T H.264/MEPG−4 パート10、AVC(Advanced Video Coding)によって定義された標準、あるいは、そのような標準の拡張に記述されている技術のようなビデオ圧縮技術を実施し、デジタルビデオ情報をより効率的に送信および受信する。
ビデオ圧縮技術は、空間予測および/または時間予測を実行して、ビデオシーケンス固有の冗長を減らすか、あるいは、除去する。ブロックベースのビデオ符号化について、ビデオフレームまたはスライスは、マクロブロックに分割されうる。各マクロブロックは、さらに分割されることができる。イントラ符号化(I)フレームまたはスライス内のマクロブロックは、隣接マクロブロックに対して空間予測を用いて符号化される。インター符号化(PまたはB)フレームまたはスライス内のマクロブロックは、同じフレームまたはスライス内の隣接マクロブロックに対して空間予測を使用するか、1つ以上の他のフレームまたはスライスに対して時間予測を使用しうる。
一般的に、本開示は、3次元ビデオレンダリングをサポートする技術を記述する。より詳細には、本技術は、第1の2次元画像および奥行情報を受信することと、3次元ビデオデータを示すために使用可能な第1の2次元画像および奥行画像を用いて、第2の2次元画像を生成することとを含む。すなわち、これらの技術は、推定されたデプスマップ(depth map)画像に基づく、平面視の(monoscopic)2次元画像から3次元画像へのリアルタイム変換に関する。被写体は、一般的に、スクリーンの手前、スクリーン上、またはスクリーンの後方に現れる。この効果を作り出すために、被写体を表す画素に視差値が割り当てられうる。本開示の技術は、比較的簡単な計算を用いて奥行値を視差値にマッピングすることを含む。
1つの例において、3次元画像データを生成するための方法は、3次元(3D)レンダリングデバイスを用いて、第1の画像の複数の画素に対する視差値を、複数の画素に関連付けられた奥行情報と、奥行情報がマッピングされる視差範囲とに基づいて算出することと、3Dレンダリングデバイスを用いて、第2の画像を第1の画像と視差値とに基づいて生成することとを含み、視差値は、第2の画像の対応する画素についての水平オフセットを記述する。
別の例において、3次元画像データを生成するための装置は、第1の画像の複数の画素に対する視差値を、複数の画素に関連付けられた奥行情報と、奥行情報がマッピングされる視差範囲とに基づいて算出し、第1の画像と視差値とに基づいて第2の画像を生成するように構成された視点合成ユニットを含み、視差値は、第2の画像の対応する画素についての水平オフセットを記述する。
別の例において、3次元画像データを生成するための装置は、第1の画像の複数の画素に対する視差値を、複数の画素に関連付けられた奥行情報と、奥行情報がマッピングされる視差範囲とに基づいて算出するための手段と、第1の画像と視差値とに基づいて第2の画像を生成するための手段とを含み、視差値は、第2の画像の対応する画素についての水平オフセットを記述する。
本開示に記述される技術は、少なくとも部分的にハードウェアで、恐らくはハードウェアと共にソフトウェアまたはファームウェアの態様を用いて実施されうる。ソフトウェアまたはファームウェアで実施された場合、このソフトウェアまたはファームウェアは、マイクロプロセッサ、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、または、デジタル信号プロセッサ(DSP)のような1つ以上のハードウェアプロセッサで実行されうる。本技術を実行するソフトウェアは、最初に、コンピュータ読取可能な媒体に記憶され、プロセッサにおいてロードおよび実行されうる。
それに応じて、別の例では、コンピュータ読取可能な記憶媒体は、実行されると、第1の画像の複数の画素に対する視差値を、複数の画素に関連付けられた奥行情報と、奥行情報がマッピングされる視差範囲とに基づいて算出することと、第1の画像と視差値とに基づいて第2の画像を生成することとを、3次元画像データを生成するためのデバイスのプロセッサに対して行わせる命令を備え、視差値は、第2の画像の対応する画素についての水平オフセットを記述する。
1つ以上の実施例の詳細は、添付の図および以下の記述に示される。他の特徴、目的、および利点は、記述および図から、並びに、請求項から明らかになるであろう。
図1は、ソースデバイスが、3次元画像データを宛先デバイスに送る例示的なシステムを示すブロック図である。 図2は、視点合成ユニットのコンポーネントの例示的な配置を示すブロック図である。 図3Aは、画素の奥行に基づいて、正の視差値の例を示す概念図である。 図3Bは、画素の奥行に基づいて、ゼロの視差値の例を示す概念図である。 図3Cは、画素の奥行に基づいて、負の視差値の例を示す概念図である。 図4は、ソースデバイスから受信された奥行情報を使用して、視差値を算出し、シーンの第1の視点および視差値に基づいて、画像のシーンの第2の視点を生成するための例示的な方法を示すフローチャートである。 図5は、画素についての奥行情報に基づいて、画素に対する視差値を算出するための例示的な方法を示すフローチャートである。
本開示の技術は、一般的に、例えば、ピクチャおよびビデオなどの3次元画像の符号化およびレンダリングのサポートに向けられている。より詳細には、本技術は、第1の2次元画像および奥行情報を受信することと、3次元ビデオデータを示すために使用可能な第1の2次元画像および奥行画像を用いて第2の2次元画像を生成することとを含む。本開示の技術は、比較的簡単な計算を用いて、被写体が表示されるべきスクリーンに対する被写体の奥行に基づいて視差値を算出することを含む。計算は、3次元の視聴環境(viewing environment)、ユーザ選好、および/または、コンテンツ自体に基づきうる。本技術は、例として、2次元画像がキャプチャまたは生成された際のカメラパラメータを知る必要がなく、単に、必ずしも極めて正確である必要がない視差範囲およびデプスマップ画像に基づく視点合成アルゴリズムを提供する。本開示において、「符号化(coding)」という用語は、符号化および/または復号のうちの一方または両方を指しうる。
視差(disparity)という用語は、一般的に、3次元効果を生成するための、他の画像の対応画素に対する1つの画像内の画素のオフセットを記述する。すなわち、カメラの焦点に比較的近い被写体を表す画素(スクリーンの奥行で表示されるべき)は、一般的に、例えば、スクリーンの手前またはスクリーンの後方に表示されるべき、カメラの焦点から比較的離れた被写体を表す画素よりも低い視差を有する。より詳細には、スクリーン自体の奥行で表示されるべき被写体がゼロ視差を有し、スクリーンの手前または後方のいずれかで表示されるべき被写体が、被写体を表示するためのスクリーンからの距離に基づいて可変視差値を有しうるように、画像を表示するために使用されるスクリーンは、収束点であるとみなされうる。一般性を損失することなく、スクリーンの手前の被写体は、負の視差を有するとみなれ、スクリーンの後方の被写体は、正の視差を有するとみなされる。
一般的に、本開示の技術は、各画素を、スクリーンに対して3つの領域のうちの1つに属しているとみなす:スクリーンの外側(すなわち、手前)、スクリーン上、あるいは、スクリーンの内側(すなわち、後方)。このように、本開示の技術にしたがって、3次元(3D)画像表示デバイス(3Dレンダリングデバイスとも呼ばれる)は、例えば、奥行と視差との直線数学的関係を用いて、これら3つの領域のうちの1つに基づき、奥行値を各画素に対する視差値にマッピングしうる。次に、画素がマッピングされた領域に基づいて、3Dレンダリング装置は、領域(スクリーンの外側、スクリーンの内側、またはスクリーン上である)に関連付けられた視差関数を実行し、この画素に対する視差を算出しうる。それに応じて、画素の奥行値は、最小視差(負でありうる)から正の最大視差値までの可能な視差値の範囲内の視差値にマッピングされうる。あるいは同等に、画素の奥行値は、それがスクリーンの内側にある場合に、ゼロから正の最大視差までの範囲内の視差値に、あるいは、それがスクリーンの外側にある場合に、(負の)最小視差からゼロまでの範囲内の視差値にマッピングされうる。最小視差(負でありうる)から最大視差(正でありうる)までの可能な視差値の範囲が視差範囲と呼ばれうる。
シーンの既存の視点に基づくシーンの仮想視点の生成は、従来、仮想視点を合成する前に被写体の奥行値を推定することによって達成される。奥行推定は、立体写真(stereo pair)または平面視のコンテンツから、被写体とカメラ平面との間の絶対距離または相対距離を推定するプロセスである。通常、中間調の画像で表される推定奥行情報は、DIBR(depth image based rendering)技術に基づいて、仮想視点の任意の角度を生成するために使用されることが可能である。多視点シーケンスが効率的な視点間圧縮(inter-view compression)という課題に直面する典型的な3次元テレビジョン(3DTV)システムと比較すると、デプスマップベースのシステムは、効率的に符号化されうる1つだけまたは少数の視点をデプスマップと共に送信することによって帯域幅の使用を減らしうる。デプスマップベースの変換の別の利点は、デプスマップが視点合成に使用される前に、エンドユーザによって容易に制御可能なことである(例えば、スケーリングを通して)。それは、認識された異なる量の奥行を有するカスタマイズ済みの仮想視点を生成することができる。このように、奥行推定および仮想視点合成に基づくビデオ変換は、3Dビデオのような3D画像のアプリケーションに使用されるべき有望なフレームワークとみなされる。1つの視点の2Dコンテンツだけが利用可能な、より平面視のビデオに対しても奥行推定が実行されうることに注意されたい。
図1は、宛先デバイス40が、3次元バージョンの画像を表示する目的で第2の視点56を構築するために、画像の第1の視点50について、ソースデバイス20から奥行情報52を符号化画像データ54と共に受信する例示的なシステム10を示すブロック図である。図1の例において、ソースデバイス20は、画像センサ22、奥行処理ユニット24、符号器26、送信機28を含み、宛先デバイス40は、画像ディスプレイ42、視点合成ユニット44、復号器46、受信機48を含む。ソースデバイス20および/または宛先デバイス40は、無線ハンドセットのような無線通信デバイス、いわゆるセルラまたは衛星ラジオ電話、あるいは、通信チャネルを通してピクチャおよび/またはビデオ情報を通信することができる任意の無線デバイスを備え、このケースにおいて、通信チャネルは、無線通信チャネルを備えうる。宛先デバイス40が視点合成ユニット44および画像ディスプレイ42を含むため、宛先デバイス40は、3次元ディスプレイデバイスまたは3次元レンダリングデバイスと呼ばれうる。
奥行情報からの視差値の算出に関する本開示の技術は、必ずしも無線アプリケーションまたはセッティングに限定されるべきではない。例えば、これらの技術は、無線経由テレビジョンブロードキャスト、ケーブルテレビジョン送信、衛星テレビジョン送信、インターネットビデオ送信、記憶媒体へと符号化される符号化デジタルビデオ、または他のシナリオに適用されうる。それに応じて、通信チャネルは、符号化ビデオおよび/またはピクチャデータの送信に適した無線媒体または有線媒体のあらゆる組み合わせを備えうる。
画像ソース22は、例えば、デジタルスチールカメラまたはデジタルビデオカメラなどの画像センサアレイ、1つ以上の記憶画像を備えるコンピュータ読取可能記憶媒体、外部ソースからデジタル画像を受信するためのインターフェース、ビデオゲームまたは他の対話式マルチメディアソースの実行などによってデジタル画像を生成する処理ユニット、あるいは、画像データの他のソースを備えうる。画像ソース22は、一般的に、キャプチャ画像、事前キャプチャ画像、および/またはコンピュータ生成画像のうちの任意の1つまたは複数のソースに対応しうる。いくつかの例において、画像ソース22は、セルラ電話のカメラに対応しうる。一般的に、本開示における画像への参照は、スチールピクチャとビデオデータのフレームとの両方を含む。かくして、本開示の技術は、スチールデジタルピクチャおよびデジタルビデオデータのフレームの両方に適用されうる。
画像ソース22は、画像内の被写体に対する奥行画像を算出するために、第1の視点50を奥行処理ユニット24に提供する。奥行処理ユニット24は、画像内の被写体の奥行値を自動的に算出するように構成されうる。例えば、奥行処理ユニット24は、輝度情報に基づいて被写体の奥行値を算出しうる。いくつかの例において、奥行処理ユニット24は、ユーザから奥行情報を受信するように構成されうる。いくつかの例において、画像ソース22は、異なる観点からシーンの2つの視点をキャプチャし、次に、2つの視点内の被写体間の視差に基づいて、このシーンの被写体についての奥行情報を算出しうる。様々な例において、画像ソース22は、標準的な2次元カメラ、シーンの立体視の(stereoscopic)視点を提供する2つのカメラシステム、シーンの複数の視点を撮影するカメラアレイ、または、1つの視点と奥行情報とを撮影するカメラを備えうる。
画像ソース22は、複数の視点を提供しうるが、奥行処理ユニット24は、複数の視点に基づいて奥行情報を算出し、ソースデバイス20は、1つだけの視点と、シーンの視点の各ペアについての奥行情報とを送信しうる。例えば、画像ソース22は、異なる角度から見られるように、シーンの視点の4つのペアを生成することを目的とした8つのカメラアレイを備えうる。ソースデバイス20は、各ペアについての奥行情報を算出し、各ペアの1つだけの画像と、そのペアについての奥行情報とを宛先デバイス40に送信しうる。かくして、この例において、ソースデバイス20は、8つの視点を送信するというよりはむしろ、ビットストリーム54の形で、4つの視点と、この4つの視点の各々についての奥行情報とを送信しうる。いくつかの例において、奥行処理ユニット24は、画像についての奥行情報をユーザから受信しうる。
奥行処理ユニット24は、第1の視点50および奥行情報52を符号器26に渡す。奥行情報52は、第1の視点50のデプスマップ画像を備えうる。デプスマップは、表示されるべきエリア(例えば、ブロック、スライス、または、フレーム)に関連付けられた各画素ロケーションの奥行値のマップを備えうる。第1の視点50がデジタルスチールピクチャである場合、符号器26は、第1の視点50を、例えば、JPEG(Joint Photographic Experts Group)画像として符号化するように構成されうる。第1の視点50がビデオデータのフレームである場合、符号器26は、例えば、MPEG(Motion Picture Experts Group)、MPEG−2、国際電気通信連合(ITU)H.263、ITU−T H.264/MEPG−4、H.264 AVC(Advanced Video Coding)、ITU−T H.265などのビデオ符号化標準、あるいは、他のビデオ符号化標準にしたがって第1の視点50を符号化するように構成されうる。符号器26は、奥行情報と共に符号化画像データを含むビットストリーム54を形成するために符号化画像と共に奥行情報52を含みうる。符号器26は、ビットストリーム54を送信機28に渡す。
いくつかの例において、デプスマップが推定される。1よりも多くの視点が存在し、1よりも多くの視点が利用可能な場合、ステレオマッチングが使用され、デプスマップを推定しうる。しかしながら、2Dから3Dへの変換において、奥行を推定することは、より難しい可能性がある。それにもかかわらず、様々な方法によって推定されたデプスマップが、DIBRに基づいて3Dレンダリングに使用されうる。
ITU−T H.264/MPEG−4(AVC)標準は、例えば、JVT(Joint Video Team)として知られている共同パートナーシップの製品として、ISO/IEC MPEG(Moving Picture Experts Group)と共にITU−T VCEG(Video Coding Experts Group)によって公式化された。いくつかの態様において、本開示に記述される技術は、一般的に、H.264標準と一致するデバイスに適用されうる。H.264標準は、本明細書において、H.264標準またはH.264仕様、あるいはH.264/AVC標準または仕様と呼ばれうる、2005年3月付けの、ITU−T研究グループによる、ITU−T推奨H.264の一般的な視聴覚サービスのための改良型ビデオ符号化(Advanced Video Coding for generic audiovisual services)に記述されている。JVTは、H.264/MPEG−4 AVCへの拡張に取り組み続けいている。
奥行処理ユニット24は、デプスマップの形式で奥行情報52を生成しうる。符号器26は、ビットストリーム54として送信された3Dコンテンツの一部としてデプスマップを符号化するように構成されうる。このプロセスは、1つの撮影された視点に対する1つのデプスマップ、あるいは、いくつかの送信された視点に対するデプスマップを生成することができる。符号器26は、1つ以上の視点を受信し、デプスマップは、複数の視点をまとめて符号化するH.264/AVC、MVC、あるいは、奥行およびテキスチャをまとめて符号化することができるスケーラブルビデオ符号化(SVC)のようなビデオ符号化標準を用いてそれらを符号化しうる。
第1の視点50がビデオデータのフレームに対応する場合、符号器26は、イントラ予測モードあるいはインター予測モードで第1の視点50を符号化しうる。例として、ITU−T H.264標準は、輝度コンポーネントに対して16×16、8×8、または4×4、色度コンポーネントに対して8×8のような様々なブロックサイズでイントラ予測をサポートし、同様に、輝度コンポーネントに対して16×16、16×8、8×16、8×8、8×4、4×8または4×4、色度コンポーネントに対して対応するスケーリング済みのサイズのような様々なブロックサイズでインター予測をサポートする。本開示において、「N×N(NxN)」および「N×N(N by N)」という用語は、例えば、16×16(16x16)画素、あるいは、16×16(16 by 16)画素など、垂直次元および水平次元の観点からブロックの画素次元を指すために交換可能に使用される。一般的に、16×16ブロックは、垂直方向に16画素、水平方向に16画素を有する。同様に、N×Nブロックは、一般的に、垂直方向にN個の画素、水平方向にN個の画素を有し、Nは、16よりも大きい可能性のある正の整数値を表す。ブロック内の画素は、列および行に配列されうる。ブロックは、さらに、N×Mでありうる。ここで、NおよびMは、必ずしも同一である必要のない整数である。
16×16未満のブロックサイズは、16×16のマクロブロックのパーティション(partition)と呼ばれうる。同様に、N×Nブロックの場合、N×Nよりも小さいブロックサイズは、N×Nブロックのパーティションと呼ばれうる。ビデオブロックは、画素ドメインにおいて画素データのブロックを、あるいは、例えば、離散的コサイン変換、整数変換、ウェーブレット変換などの変換、または、概念的に類似した変換を、符号化ビデオブロックと予測ビデオブロックとの画素差分を表す残差ビデオブロックデータに適用した後に、変換ドメインにおいて変換係数のブロックを備えうる。いくつかのケースでは、ビデオブロックは、変換ドメインにおいて量子化変換係数のブロックを備えうる。
類似したビデオブロックは、より良いり解像度を提供することができ、高レベルの詳細を含むビデオフレームのロケーションに対して使用されうる。一般的に、マクロブロックおよび様々なパーティションは、時々、サブブロックと呼ばれ、ビデオブロックとみなされうる。加えて、スライスは、マクロブロックおよび/またはサブブロックのような複数のビデオブロックとみなされうる。各スライスは、独立して復号化可能なビデオフレームのユニットでありうる。あるいは、フレーム自体が復号可能なユニットであるか、あるいは、フレームの他の部分が、復号可能なユニットと定義されうる。「コード化ユニット(coded unit)」あるいは「符号化ユニット(coding unit)」という単語は、フレーム全体、フレームのスライス、シーケンスまたはスーパーフレームとも呼ばれるピクチャのグループ(GOP)のような独立して復号可能な任意のビデオフレームのユニット、あるいは、適用可能な符号化技術にしたがって定義される独立して復号可能な別のユニットを指しうる。
一般的に、マクロブロックおよび様々なサブブロックまたはパーティションは、全てがビデオブロックとみなされうる。加えて、スライスは、マクロブロックおよび/またはサブブロックまたはパーティションのような一連のビデオブロックとみなされうる。一般的に、マクロブロックは、16×16の画素エリアを定義する色差および輝度値のセットを指しうる。輝度ブロックは、値の16×16のセットを備えうるが、8×8ブロック、4×4ブロック、8×4ブロック、4×8ブロック、あるいは、別のサイズなどのより小さいビデオブロックへとさらに分割されうる。2つの異なる色差ブロックは、マクロブロックの色彩を定義し、それぞれ、16×16の画素エリアに関連付けられた色彩値の8×8サブサンプルブロックを備えうる。マクロブロックは、マクロブロックに適用される符号化モードおよび/または符号化技術を定義するために構文解析情報を含みうる。
マクロブロックまたは他のビデオブロックは、スライス、フレーム、または、別の独立ユニットのような復号可能なユニットにグループ化されうる。各スライスは、独立して復号可能なビデオフレームのユニットでありうる。あるいは、フレーム自体が復号のユニットであるか、あるいは、フレームの他の部分が、復号可能なユニットと定義されうる。本開示において、「符号化ユニット」という用語は、フレーム全体、フレームのスライス、ピクチャのグループ(GOP)のような独立して復号可能な任意のビデオフレームのユニット、あるいは、使用される符号化技術にしたがって定義された独立して復号可能な別のユニットを指しうる。
上述されたように、画像ソース22は、奥行情報を生成するために、同じシーンの2つの視点を奥行処理ユニット24に提供しうる。そのような例において、符号器26は、これらの視点のうちの1つだけを、奥行情報と共に符号化しうる。一般的に、本開示の技術は、画像を、その画像についての奥行情報と共に、宛先デバイス40のような宛先デバイスに送ることに向けられており、宛先デバイス40は、奥行情報に基づいて画像の被写体の視差値を算出するように構成されうる。1つの画像だけを奥行情報と共に送ることにより、3次元画像を生成するためにシーンの2つの符号化視点を送ることで生じる帯域幅の消費および/または記憶空間の使用が減らされうる。
送信機28は、ビットストリーム54を、宛先デバイス40の受信機48に送りうる。例えば、送信機28は、例えば、MPEG−2システム技術などの転送レベルカプセル化技術を使用してビットストリーム54をカプセル化しうる。送信機28は、例えば、ネットワークインターフェース、無線ネットワークインターフェース、ラジオ周波数送信機、送信機/受信機(トランシーバ)、あるいは、他の送信ユニットを備えうる。別の例において、ソースデバイス20は、例えば、コンパクトディスク、デジタルビデオディスク、ブルーレイディスク、フラッシュメモリのような光記憶媒体、磁気媒体のような物理媒体、あるいは、他の記憶媒体にビットストリーム54を記憶するように構成されうる。そのような例において、記憶媒体は、宛先デバイス40のロケーションに物理的に転送され、データを検索するために、適切なインターフェースユニットによって読み取られうる。いくつかの例において、ビットストリーム54は、送信機28によって送信される前に、変調器/復調器(MODEM)によって変調されうる。
ビットストリーム54を受信し、データをカプセル解除した後、いくつかの例において、受信機48は、ビットストリーム54を復号器46に(あるいは、いくつかの例において、ビットストリームを復調するMODEMに)提供しうる。復号器46は、ビットストリーム54から第1の視点50および奥行情報52を復号する。例えば、復号器46は、第1の視点50と、第1の視点50のデプスマップとを奥行情報52から再度作り出しうる。デプスマップの復号後、視点合成アルゴリズムが採用され、送信されていない他の視点のテキスチャを生成することができる。復号器46は、さらに、第1の視点50および奥行情報52を視点合成ユニット44に送りうる。視点合成ユニット44は、第1の視点50および奥行情報52に基づいて第2の画像を生成する。
一般的に、人間の視覚システムは、被写体への収束の角度に基づいて奥行を認識する。視聴者に比較的近い被写体は、視聴者の目が、視聴者から比較的離れた被写体よりも大きな角度で被写体に集中するため、視聴者により近いと認識される。ピクチャおよびビデオのようなマルチメディアにおいて3次元をシミュレートするために、1つの画像が視聴者のそれぞれの目に表示されるように、2つの画像が視聴者に表示される。画像内の同じ空間ロケーションに位置付けされた被写体は、一般的に、画像が表示されているスクリーンと同じ奥行であると認識されるであろう。
奥行の錯覚を作り出すために、被写体は、水平軸に沿って、画像の各々のわずかに異なる位置に示されうる。2つの画像内の被写体のロケーション間の差分が視差と呼ばれる。一般的に、スクリーンに対して視聴者のより近くに被写体を表示するために、負の視差値が使用され、スクリーンに対してユーザから離れて被写体を表示するために、正の視差値が使用されうる。正または負の視差を有する画素は、いつくかの例において、鋭さ(sharpness)またはぼやけ(blurriness)を増加または減少させるために、より高い解像度またはより低い解像度で表示され、焦点から正または負の奥行の効果をさらに作り出しうる。
視点合成は、任意の視点角度で視点を生成するために密にサンプリングされた視点を使用するサンプリング問題とみなされうる。しかしながら、実際のアプリケーションにおいて、密にサンプリングされた視点によって要求される記憶または送信帯域幅は大きい可能性がある。よって、まばらにサンプリングされた視点およびそれらのデプスマップに基づく視点合成に関してリサーチが実行された。詳細では異なるが、まばらにサンプリングされた視点に基づくそれらのアルゴリズムは、たいてい、3Dワーピング(3D warping)に基づく。3Dワーピングにおいて、奥行およびカメラモデムを仮定すれば、最初に、基準視点の画素が、2Dカメラ座標から世界座標(world coordinate)のポイントPに逆投影されうる。次に、ポイントPは、宛先の視点(生成されるべき仮想視点)に投影されうる。世界座標における同一被写体の異なる投影に対応する2つの画素は、同一の色彩強度(color intensities)を有しうる。
視点合成ユニット44は、被写体の奥行値に基づいて、画像の被写体に対する視差値(例えば、画素、ブロック、画素のグループ、または、ブロックのグループ)を算出するように構成されうる。視点合成ユニット44は、視差値を使用して、第1の視点50から第2の画像56を生成し、視聴者が一方の目で第1の視点50を、もう一方の目で第2の画像を見た場合に3次元効果を作り出しうる。視点合成ユニット44は、第1の視点50および第2の画像56を、ユーザに表示するために、画像ディスプレイ42に渡しうる。
画像ディスプレイ42は、立体視のディスプレイまたは自動立体視の(autostereoscopic)ディスプレイを備えうる。一般的に、立体視のディスプレイは、1つの画像を片方の目に、第2の画像をもう一方の目に向けるゴーグルまたは眼鏡のような頭部装着型ユニットを視聴者が装着している間、2つの画像を表示することによって3次元をシミュレートする。いくつかの例において、各画像は、例えば、偏光眼鏡または色彩フィルタリング眼鏡を使用することで、同時に表示される。いくつかの例では、画像が素早く交互に入れ替わり、眼鏡またはゴーグルは、正確な画像が対応する目にしか示されないように、ディスプレイと同期してシャッタリング(shuttering)を素早く交互に行う。自動立体視のディスプレイは、眼鏡を使用しないが、代わりに、正確な画像を視聴者の対応する目に直接向けうる。例えば、自動立体視のディスプレイは、視聴者の目がどこに位置するかを決定するためのカメラと、視聴者の目に画像を向けるためのメカニズムおよび/または電子手段とを備えうる。
下により詳細に論述されるように、視点合成ユニット44は、視聴者に対して、スクリーンの後方、スクリーン上、スクリーンの手前に対する奥行値で構成されうる。視点合成ユニット44は、ビットストリーム54の画像データで表される被写体の奥行を視差値にマッピングする関数で構成されうる。それに応じて、視点合成ユニット44は、被写体の視差値を算出するために、関数のうちの1つを実行しうる。奥行情報52に基づいて第1の視点50の被写体の視差値を算出した後、視点合成ユニット44は、第1の視点50および視差値から第2の画像56を生成しうる。
視点合成ユニット44は、スクリーンの手前または後方に最大奥行(maximum depth)で被写体を表示するための最大視差値で構成されうる。この方式において、視点合成ユニット44は、ゼロから、正および負の最大視差値までの視差範囲で構成されうる。視聴者は、被写体が宛先デバイス44によって表示されるスクリーンの手前または後方における最大奥行を変更するために構成を調整しうる。例えば、宛先デバイス40は、遠隔制御または視聴者が操作しうる他の制御ユニットと通信状態にありうる。遠隔制御は、被写体を表示するスクリーンの手前の最大奥行、および、スクリーン後方の最大奥行を視聴者が制御することを可能にするユーザインターフェースを備えうる。この方式において、視聴者は、視聴経験(viewing experience)を改善するために、画像ディスプレイ42に対する構成パラメータを調整することができる。
スクリーンの手前およびスクリーンの後方に表示されるべき被写体の最大視差値で構成されることによって、視点合成ユニット44は、比較的簡単な計算を用いて、奥行情報52に基づき視差値を算出することができる。例えば、視点合成ユニット44は、奥行値を視差値にマッピングする関数で構成されうる。この関数は、収束奥行インターバル内の奥行値を有する画素がゼロの視差値にマッピングされ、スクリーンの手前で最大奥行の被写体が(負の)最小視差値にマッピングされ、それによって、スクリーンの手前にあるように示され、さらに、最大奥行の被写体が、スクリーンの後方に対する(正の)最大視差値にマッピングされ、それによってスクリーンの後方にあるように示されるように、奥行と、対応する視差範囲内の1つの視差値との直線関係を備えうる。
実世界座標(real-world coordinate)の1つの例において、奥行範囲は、例えば、[200,1000]であり、収束奥行距離は、例えば、約400でありうる。次に、スクリーンの手前の最大奥行は、200に対応し、スクリーンの後方の最大奥行は、1000であり、収束奥行インターバルは、例えば、[395,405]でありうる。しかしながら、実世界座標における奥行値は、利用可能ではない可能性があるか、あるいは、例えば、8ビット値(0から255まで)でありうるより小さいダイナミックレンジに量子化されうる。いくつかの例において、0から255までの値を有するそのような量子化奥行値は、デプスマップが記憶または送信されるべきシナリオ、または、デプスマップが推定されるシナリオで使用されうる。典型的なDIBRプロセスは、視差が算出される前に、低ダイナミックレンジ量子化デプスマップを、実世界デプスマップにおけるマップに変換することを含みうる。従来、より小さい量子化奥行値が実世界座標におけるより大きい奥行値に対応することに注意されたい。しかしながら、本開示の技術において、この変換は必ずしも行われる必要はなく、そのため、実世界座標における奥行範囲、または、量子化奥行値から実世界座標における奥行値への変換関数を知る必要はない。[−dis,dis]という例示的な視差範囲を考慮すると、量子化奥行範囲がdmin(0でありうる)からdmax(255でありうる)までの値を含む場合、奥行値dminは、disにマッピングされ、奥行値dmax(255でありうる)は、−disにマッピングされる。この例において、disが正であることに注意されたい。収束デプスマップインターバルが[d−δ、d+δ]であると仮定すると、このインターバルにおける奥行値は、0の視差にマッピングされる。一般的に、本開示において、「奥行値(depth value)」という表現は、より低いダイナミックレンジ[dmin,dmax]の値を指す。δ値は、許容値(tolerance value)と呼ばれ、各方向において同一である必要はない。すなわち、視差値0に全てがマッピングされる奥行値の範囲を[d−δ,d+δ]が表すように、dは、第1の許容値δおよび第2の可能で異なる許容値δだけ変更されうる。
この方式において、宛先デバイス40は、例えば、焦点距離、仮想カメラパラメータ、および、実世界奥行範囲値のようなさらなる値を考慮にいれる、より複雑な手順を使用することなく視差値を算出しうる。このように、カメラから被写体までの距離を記述する焦点距離値、カメラから様々な被写体までの実際の距離を記述する奥行範囲、2つのカメラの間の距離、視聴者からスクリーンまでの視聴距離(viewing distance)、および、スクリーンの幅、並びに、内因的または外因的なパラメータを含むカメラパラメータに依存する視差を算出するための従来の技術とは異なり、本開示の技術は、例えば、全ての画素または被写体に対する所与の視差範囲、および、画素の奥行(量子化された、あるいは、より低いダイナミックレンジにおける)に基づいて、任意の画素の視差値を算出するための比較的簡単な手順を提供しうる。
図2は、視点合成ユニット44のコンポーネントの例示的な配置を示すブロック図である。視点合成ユニット44は、ハードウェア、ソフトウェア、ファームウェア、あるいは、それらの組み合わせで実施されうる。ソフトウェアおよび/またはファームウェアで実施されると、宛先デバイス40は、例えば、1つ以上のプロセッサまたは処理ユニットのようなソフトウェアを実行するためのハードウェアを含みうる。視点合成ユニット44のコンポーネントのいずれかまたは全ては、機能的に統合されうる。
図2の例において、視点合成ユニット44は、画像入力インターフェース62、奥行情報インターフェース64、視差算出ユニット66、視差範囲構成ユニット72、奥行−視差変換データ74、視点作成ユニット68、および、画像出力インターフェース70を含む。いくつかの例において、画像入力インターフェース62および奥行情報インターフェース64は、同一の論理的および/または物理的インターフェースに対応しうる。一般的に、画像入力インターフェース62は、例えば、第1の視点50など、ビットストリーム54から復号バージョンの画像データを受信し、奥行情報インターフェース64は、第1の視点50の奥行情報52を受信しうる。画像入力インターフェース62は、第1の視点50を視差算出ユニット66に渡し、奥行情報インターフェース64は、奥行情報52を視差算出ユニット66に渡しうる。
視差算出ユニット66は、被写体についての奥行情報52および/または第1の視点50の画素に基づいて、第1の視点50の画素に対する視差値を算出しうる。視差算出ユニット66は、画素の奥行情報、例えば、画素がスクリーンの短距離内またはスクリーン上で生じるものであるか、スクリーンの後方で生じるものであるか、スクリーンの手前で生じるものであるかを奥行情報が示すかに基づいて、第1の視点50の画素に対する視差を算出する関数を選択しうる。奥行―視差変換データ74は、画素の奥行情報、並びに、スクリーンの手前およびスクリーンの後方に最大奥行で表示されるべき画素に対する最大視差値に基づいて、画素に対する視差値を算出する関数に対する命令を記憶しうる。
視差値を算出する関数は、画素の奥行値と、対応する視差値との直線関係を備えうる。例えば、スクリーンは、奥行値dが割り当てられうる。ビットストリーム54についてスクリーンの手前において最大奥行値を有する被写体は、奥行値dmaxが割り当てられうる。ビットストリーム54についてスクリーンの後方において最大奥行値を有する被写体は、奥行値dminが割り当てられうる。すなわち、dmaxおよびdminは、一般的に、奥行情報52の最大奥行値を記述しうる。記憶または送信されたデプスマップのダイナミックレンジが8ビットである例において、dmaxは、255の値を有し、dminは、0の値を有しうる。第1の視点50がピクチャに対応する場合、dmaxおよびdminは、ピクチャにおける画素の奥行に対する最大値を記述し、第1の視点50がビデオデータに対応する場合、dmaxおよびdminは、ビデオにおける画素の奥行の最大値を記述し、それは、必ずしも第1の視点50内である必要はない。
記述の目的のために、本開示の技術は、奥行値dを有するスクリーンに関して記述される。しかしながら、いくつかの例において、dは、代わりに、単に、収束面の奥行に対応しうる。例えば、ユーザが装着しており、ユーザの目のそれぞれに対して個別のスクリーンを有するゴーグルに画像ディスプレイ42が対応する場合、収束面は、スクリーン自体から比較的離れた奥行値が割り当てられうる。いずれの場合においても、dが、一般的に、ディスプレイの奥行に対応するか、あるいは、別のパラメータに基づきうる収束面の奥行を表すことは理解されるべきである。いくつかの例において、ユーザは、画像ディスプレイデバイス42に通信的に結合された遠隔制御デバイスを利用して、収束奥行値dを制御しうる。例えば、遠隔制御デバイスは、ユーザが収束奥行値を増加または減少させることを可能にするボタンを含むユーザインターフェースを含みうる。
奥行―視差変換データ74は、dmaxおよびdminに対する値を、スクリーンの手前または後方に最大奥行で表示されるべき被写体の最大視差値と共に記憶しうる。別の例において、dmaxおよびdminは、所与のダイナミックレンジが提供することができる最大または最小値でありうる。例えば、ダイナミックレンジが8ビットである場合、255(2−1)から0の間の奥行範囲が存在しうる。よって、dmaxおよびdminは、システムに対して固定でありうる。視差範囲構成ユニット72は、遠隔制御デバイスから信号を受信し、最大視差値または最小視差値を増加または減少させ、それは、次にレンダリングされた3D画像の奥行の認識を増加または減少させうる。視差範囲構成ユニット72は、追加的または代替的に遠隔制御デバイスに、画像ディスプレイ42が画像の被写体を表示するスクリーンの手前および後方における視差範囲値をユーザが調整しうるユーザインターフェースを提供しうる。例えば、最大視差を減らすことにより、認識された3D画像は、スクリーンのそれ程内側(後方)に表示されず、最小視差(すでに負である)を減らすことによって、認識された3D画像は、スクリーンからより飛び出て表示されうる。
奥行−視差変換データ74は、ゼロ奥行にマッピングされ、スクリーン上と認識される値の比較的小さい奥行インターバルを制御する奥行値δを含み、そうでなければ、スクリーンから比較的短い距離離れた画素に対応する。いくつかの例において、視差算出ユニット66は、ゼロの視差を、例えば、奥行値dなど、スクリーンの手前または後方においてδよりも低い奥行値を有する画素に割り当てうる。すなわち、そのような例において、xが画素の奥行値であると仮定すると、(d−δ)≦x≦(d+δ)である場合、視差算出ユニット66は、画素に対してゼロの視差値を割り当てうる。いくつかの例において、ユーザは、画像ディスプレイデバイス42に通信的に結合された遠隔制御デバイスを利用して、δ値を制御しうる。例えば、遠隔制御デバイスは、より多くの(またはより少ない)画素がスクリーン上に認識されるように、ユーザが値を増加(または減少)させることを可能にするボタンを含むユーザインターフェースを含みうる。
奥行―視差変換データ74は、視差算出ユニット66が、スクリーンの後方に表示されるべき被写体の視差値を算出するために実行しうる第1の関数を含みうる。第1の関数は、収束奥行値d+δよりも大きい奥行値に適用されうる。第1の関数は、収束奥行値から最大奥行値までの奥行値を、最小視差値−disから0までの範囲内の視差値にマッピングしうる。第1の関数は、奥行の単調減少関数(monotone decreasing function)である。第1の関数を奥行値に適用することで、最も飛び出た画素が、最小の視差値「−dis」(ここで、この例では、disは、正の値である)を有するように、スクリーンの手前に表示されるべき画素の3D認識を作り出すための視差値が生成されうる。dがスクリーンの奥行であり、δが比較的短い距離であり、xが画素の値であると仮定すると、第1の関数は、以下を備えうる:
Figure 2013538474
この方式において、f(x)は、画素の奥行値xを、−disから0までの視差範囲内の視差値にマッピングしうる。いくつかの例において、視差範囲内の視差値は、d+δからdmaxまでのxの値に比例しうるか、それ以外の場合、単調に減少しうる。
奥行−視差変換データ74は、さらに、視差算出ユニット66が、スクリーンの手前に表示されるべき被写体の視差値を算出するために実行しうる第2の関数を含みうる。第2の関数は、収束奥行値d−δよりも小さい奥行値に適用されうる。第2の関数は、最小奥行値から収束奥行値までの範囲内の奥行値を、0から最大視差値disまでの範囲内の視差値にマッピングしうる。第2の関数は、奥行の単調減少関数である。所与の奥行におけるこの関数の結果は、スクリーンの後方で表示されるべき画素に対する3D認識を作り出す視差であり、最も深い画素は、最大視差値「dis」を有する。dがスクリーンの奥行であり、δが比較的短い距離であり、xが画素の値であると仮定すると、第2の関数は、以下を備えうる:
Figure 2013538474
この方式において、f(x)は、画素の奥行値xを、0からdisまでの視差範囲内の視差値にマッピングしうる。いくつかの例において、視差範囲内の視差値は、d−δからdminまでのxの値に比例しうるか、それ以外の場合、単調に減少しうる。
それに応じて、視差算出ユニット66は、ステップ関数(ここで、pは画素を表し、奥行(p)は、xの奥行=奥行(p)を有する画素pに関連付けられた奥行値を表す)を使用して、画素に対する視差を算出しうる:
Figure 2013538474
画像ディスプレイ42が被写体を表示するスクリーンの手前または後方における最大奥行は、必ずしも、ビットストリーム54からの奥行情報52の最大奥行と同じである必要はない。画像ディスプレイ42が被写体を表示するスクリーンの手前または後方における最大奥行は、最大視差値disおよびdisに基づいて構成可能でありうる。いくつかの例において、ユーザは、遠隔制御デバイスまたは別のユーザインターフェースを使用して最大視差値を構成しうる。
奥行値dminおよびdmaxが、必ずしも、最大視差値から生じるスクリーンの手前または後方における最大奥行と同じである必要がないことは理解されるべきである。代わりに、dminおよびdmaxは、例えば、0から255までの定義された範囲を有する既定の値でありうる。奥行処理ユニット24は、グローバル奥行値として、画素の奥行値を割り当てうる。視点合成ユニット44により算出され、結果として得られる視差値は、特定の画素の奥行値に関係があり、被写体が表示されるスクリーンの手前または後方における最大奥行は、最大視差値に基づき、それは、必ずしも最大奥行値dminおよびdmaxである必要はない。
視差範囲構成ユニット72は、例えば、遠隔制御デバイスまたは他のユーザインターフェースから受信された信号に基づいて、disおよびdisの値を変更しうる。Nが、2次元画像の水平解像度(すなわち、x軸に沿った画素数)であるとする。次に、値αおよびβ(視差調整値と呼ばれうる)について、dis=N×αおよびdis=N×βである。この例において、αは、負の視差の最大レート(全体的な画像の幅とは対照的に)であり、それは、スクリーンの外側(または手前)の被写体の3次元認識に対応する。この例において、βは、正の視差の最大レートであり、それは、スクリーンの後方(または内側)の被写体の3次元認識に対応する。いくつかの例において、起点として以下のデフォルト値が使用されうる:αに対して(5±2)%およびβに対して(8±3)%。
最大視差値は、デバイスおよび視聴環境に依存する可能性があり、かつ、製造パラメータの一部ありうる。すなわち、製造業者は、上のデフォルト値を使用するか、あるいは、製造の時点でデフォルトパラメータを更しうる。さらに、変視差範囲構成ユニット72は、ユーザが、例えば、遠隔制御デバイス、ユーザインターフェースを用いてデフォルト値を調整するメカニズム、または、宛先デバイス40のセッティングを調整するための他のメカニズムを提供しうる。
被写体がスクリーンの手前に表示される奥行を増加させるためのユーザからの信号に応じて、視差範囲構成ユニット72は、αを増加させうる。同様に、被写体がスクリーンの手前に表示される奥行を減少させるためのユーザからの信号に応じて、視差範囲構成ユニット72は、αを減少させうる。同様に、被写体がスクリーンの後方に表示される奥行を増加させるためのユーザからの信号に応じて、視差範囲構成ユニット72は、βを増加させ、被写体がスクリーンの後方に表示される奥行を減少させるためのユーザからの信号に応じて、視差範囲構成ユニット72は、βを減少させうる。αおよび/またはβを増加または減少させた後、視差範囲構成ユニット72は、disおよび/またはdisを再度算出し、奥行−視差変換データ74に記憶されているdisおよび/またはdisの値を更新しうる。この方式において、ユーザは、3D認識を調整し、より詳細には、例えば、ピクチャを見ている間、あるいは、ビデオの再生中など、画像を見ている間に、スクリーンの手前および/または後方に被写体が表示される認識奥行を調整しうる。
第1の画像50の画素に対する視差値を算出した後、視差算出ユニット66は、視差値を視点作成ユニット68に送りうる。視差算出ユニット66は、さらに、第1の画像50を視点作成ユニット68に転送するか、あるいは、画像入力インターフェース62が、第1の画像50を視点作成ユニット68に転送しうる。いくつかの例において、第1の画像50は、画像バッファのようなコンピュータ読取可能な媒体に書き込まれ、視差算出ユニット66および視点作成ユニット68によって画像バッファから検出されうる。
視点作成ユニット68は、第1の画像50と、第1の画像50の画素に対する視差値とに基づいて第2の画像56を作り出しうる。例として、視点作成ユニット68は、第2の画像56の初期バージョンとして第1の画像50の複製を作り出しうる。非ゼロ視差値を有する第1の画像50の各画素について、視点作成ユニット68は、第1の画像50の画素から画素の視差値だけオフセットされた第2の画像56内の位置にある画素の値を変更しうる。このように、視差値dを有する位置(x,y)にある画素pについて、視点作成ユニット68は、位置(x+d,y)にある画素の値を画素pの値に変更しうる。視点作成ユニット68は、さらに、例えば、従来の穴埋め(hole filling)技術を使用して、第2の画像56の位置(x,y)の画素の値を変更しうる。例えば、第2の画像56の位置(x、y)にある画素の新しい値は、隣接画素に基づいて算出されうる。
視点作成ユニット68は、次に、第2の視点56を画像出力インターフェース70に送りうる。画像入力インターフェース62または視点作成ユニット68は、同様に、第1の画像50を画像出力インターフェースに送りうる。次に、画像出力インターフェース70は、第1の画像50および第2の画像56を画像ディスプレイ42に出力しうる。同様に、画像ディスプレイ42は、例えば、同時にまたは矢継早に第1の画像50および第2の画像56を表示しうる。
図3A〜3Cは、画素の奥行に基づいて、正、ゼロ、負の視差値の例を示す概念図である。一般的に、3次元効果を作り出すために、例えば、スクリーン上に、2つの画像が示され、スクリーンの手前または後方のいずれかに表示されるべき被写体の画素は、それぞれ、正または負の視差値を有し、スクリーンの奥行で表示されるべき被写体は、ゼロの視差値を有する。いくつかの例において、例えば、ユーザが頭部装着型ゴーグルを装着している場合、「スクリーン」の奥行は、その代わりに、共通奥行dに対応しうる。
図3A〜3Cの例は、スクリーン82が、同時か、あるいは、矢継早に、左の画像84および右の画像86を表示する例を示す。図3Aは、スクリーン82の後方(または内側)に生じる画素80Aを描写する例を示す。図3Aの例において、スクリーン82は、左の画像の画素88Aおよび右の画像の画素90Aを表示する。ここで、左の画像の画素88Aおよび右の画像の画素90Aは、一般的に、同一の被写体に対応し、よって、類似した画素値または同一の画素値を有しうる。いくつかの例において、左の画像の画素88Aおよび右の画像の画素90Aに対する輝度および色差値は、例えば、わずかに異なる角度から被写体を見たときに生じる照明または色彩差分のわずかな変化を考慮に入れうるためなど、3次元の視聴経験をさらに強めるためにわずかに異なりうる。
左の画像の画素88Aの位置は、この例において、スクリーン82によって表示された場合に右の画像の画素90Aの左に生じる。すなわち、左の画像の画素88Aと右の画像の画素90Aとの間に正の視差が存在する。視差値がdであり、左の画像の画素92Aが左の画像84の水平位置xに生じ、ここで、左の画像の画素92Aは左の画像の画素88Aに対応する、と仮定すると、右の画像の画素94Aは、右の画像86の水平位置x+dに生じ、ここで、右の画像の画素94Aは、左の画像の画素90Aに対応する。これは、ユーザの左の目が左の画像の画素88Aに焦点をあて、ユーザの右の目が右の画像の画素90Aに焦点をあてた場合に視聴者の目を、スクリーン82の比較的後方のポイントに集中させ、画素80Aがスクリーン82の後方に表示されるという錯覚を作り出す。
左の画像84は、図1および2に示される第1の画像50に対応しうる。別の例において、右の画像86は、第1の画像50に対応しうる。図3Aの例において正の視差値を算出するために、視点合成ユニット44は、左の画像84と、スクリーン82の後方の左の画像の画素92Aの奥行位置を示す左の画像の画素92Aの奥行値とを受信しうる。視点合成ユニット44は、右の画像86を形成するために左の画像84を複製し、左の画像の画素92Aの値に一致または類似するように右の画像の画素94Aの値を変更しうる。すなわち、右の画像の画素94Aは、左の画像の画素92Aと同一または類似した輝度および/または色差値を有しうる。よって、画像ディスプレイ42に対応しうるスクリーン82は、実質的に同時に、または、矢継早に、左の画像の画素88Aおよび右の画像の画素90Aを表示し、画素80Aがスクリーン82に生じる効果を作り出しうる。
図3Bは、スクリーン82の奥行で画素80Bを描写する例を示す。図3Bの例において、スクリーン82は、左の画像の画素88Bおよび右の画像の画素90Bを同じ位置に表示する。すなわち、この例では、左の画像の画素88Bと右の画像の画素90Bとの間にゼロの視差が存在する。左の画像84の左の画像の画素92B(スクリーン82によって表示された左の画像の画素88Bに対応する)が、水平位置xに生じると仮定すると、右の画像の画素94B(スクリーン82に表示された右の画像の画素90Bに対応する)もまた、右の画像86において水平位置xに生じる。
視点合成ユニット44は、左の画像の画素92Bの奥行値が、スクリーン82の奥行に等しい奥行d0であるか、あるいは、スクリーン82の奥行から短い距離δ以内であるかを決定しうる。それに応じて、視点合成ユニット44は、左の画像の画素92Bにゼロの視差値を割り当てうる。左の画像84および視差値から右の画像86を構築する場合、視点合成ユニット44は、右の画像の画素94Bの値を左の画像の画素92Bと同じに保ちうる。
図3Cは、スクリーン82の手前に画素80Cを描写する例を示す。図3Cの例において、スクリーン82は、左の画像の画素88Cを右の画像の画素90Cの右に表示する。すなわち、この例では、左の画像の画素88Cと右の画像の画素90Cとの間に負の視差が存在する。それに応じて、ユーザの目は、スクリーン82の手前の位置に集中し、それは、画素80Cがスクリーン82の手前に表示されるという錯覚を作り出しうる。
視点合成ユニット44は、左の画像の画素92Cの奥行値がスクリーン82の手前にある奥行にあることを決定しうる。かくして、視点合成ユニット44は、左の画像の画素92Cの奥行を負の視差値−dにマッピングする関数を実行しうる。次に、視点合成ユニット44は、左の画像84および負の視差値に基づいて、右の画像86を構築しうる。例えば、右の画像86を構築する場合、左の画像の画素92Cが平行位置xを有すると仮定すると、視点合成ユニット44は、右の画像86の水平位置x−d(すなわち、右の画像の画素94C)における画素の値を、左の画像の画素92Cの値に変更しうる。
図4は、ソースデバイスから受信された奥行情報を使用して、視差値を算出し、シーンの第1の視点および視差値に基づいて、画像のシーンの第2の視点を生成するための例示的な方法を示すフローチャートである。最初に、画像ソース22は、例えば、シーンの第1の視点50など、第1の視点を含む生のビデオデータを受信する(150)。上述されたように、画像ソース22は、例えば、カメラのような画像センサ、画像データ(例えば、ビデオゲーム用の)を生成する処理ユニット、あるいは、画像を記憶する記憶媒体を備えうる。
次に、奥行処理ユニット24は、第1の画像を処理して、画像の画素についての奥行情報52を決定しうる(152)。奥行情報は、デプスマップ、すなわち、画像内の各画素の奥行値の表示を備えうる。奥行処理ユニット24は、奥行情報を画像ソース22またはユーザから受信するか、あるいは、例えば、第1の画像の画素の輝度値に基づいて奥行情報を算出しうる。いくつかの例において、奥行処理ユニット24は、シーンの2つ以上の画像を受信し、視点間の差分に基づいて奥行情報を算出しうる。
次に、符号器26は、奥行情報と共に第1の画像を符号化しうる(154)。シーンの2つの画像が画像ソース22によって撮像されまたは生成される例において、符号器26は、依然として、奥行処理ユニット24が画像についての奥行情報を算出した後に、2つの画像のうちの1つだけを符号化しうる。次に、送信機28は、符号化データを送出、例えば、出力しうる(156)。例えば、送信機28は、電波を通して符号化データをブロードキャストするか、ネットワークを介して符号化データを出力するか、衛星またはケーブル送信を介して符号化データを送信するか、あるいは、他の方法で符号化データを出力しうる。この方式において、ソースデバイス20は、1つだけの画像と奥行情報とを用いて、シーンの3次元表示を生成するためのビットストリームを生成し、それは、送信機28が符号化画像データを出力する際の帯域幅の消費を減らしうる。
次に、宛先デバイス40の受信機48は、符号化データを受信しうる(158)。受信機48は、符号化データを、復号されように、復号器46に送りうる。復号器46は、第1の画像を再生するための受信データと、第1の画像についての奥行情報とを復号し、第1の画像および奥行情報を視点合成ユニット44に送りうる(160)
視点合成ユニット44は、第1の画像についての奥行情報を分析して、第1の画像の画素に対する視差値を算出しうる(162)。例えば、各画素について、視点合成ユニット44は、画素がスクリーンの後方、スクリーン上、またはスクリーンの手前に表示されるべきことを画素についての奥行情報が示すか否かを決定し、それに応じて、画素に対する視差値を算出しうる。第1の画像の画素に対する視差値を算出する例示的な方法は、図5に関してより詳細に下に記述される。
次に、視点合成ユニット44は、第1の画像および視差値に基づいて第2の画像を作り出しうる(164)。例えば、視点合成ユニット44は、第1の画像の複製から開始しうる。次に、非ゼロの視差値dを有し、位置(x,y)にある第1の画像の各画素について、視点合成ユニット44は、位置(x+d、y)にある第2の画像内の画素の値を画素の値pに変更しうる。視点合成ユニット44は、さらに、例えば、周囲の画素の値に基づいて、穴埋め技術を用いて、第2の画像の位置(x,y)にある画素の値を変更しうる。第2の画像を合成した後、画像ディスプレイ42は、第1の画像および第2の画像を、例えば、同時に、または、矢継早に表示しうる。
図5は、画素についての奥行情報に基づいて、この画素に対する視差値を算出するための例示的な方法を示すフローチャートである。図5の方法は、図4のステップ164に対応しうる。視点合成モジュール44は、立体画法ペア、すなわち、シーンの3次元視点を生成するために使用される画像のペア、ここで、ペアの2つの画像は、わずかに異なる角度からの同じシーンの画像である、で第2の画像を生成するための画像内の各画素に対して図5の方法を繰り返しうる。最初に、視点合成モジュール44は、例えば、デプスマップ画像によって提供されるような、画素の奥行値を決定しうる(180)。
次に、視点合成モジュール44は、画素の奥行値が、例えば、d0などの収束奥行から比較的小さい値δを差し引いたものよりも低いか否かを決定しうる(182)。そうである場合(182の「はい」分岐の場合)、視点合成モジュール44は、ユーザが構成可能であり、ゼロから正の最大視差値までの、可能な正の視差値の範囲に奥行値をマッピングする関数を使用して、画素に対する視差値を算出しうる(184)。例えば、xが画素の奥行値を表し、dminが画素に対する可能な最小奥行値を表し、disが正の最大視差値を表す場合、視点合成モジュールは、以下の式を使用して、画素に対する視差を算出しうる:
Figure 2013538474
一方、画素の奥行値が、スクリーンの奥行から比較的小さい値δを差し引いたものよりも低くない場合(182の「いいえ」分岐の場合)、視点合成モジュール44は、画素の奥行値が、例えばdなどの収束奥行に比較的小さい値δを足したものよりも大きいか否かを決定しうる(186)。そうである場合(186の「はい」分岐の場合)、視点合成モジュール44は、ユーザが構成可能であり、ゼロから負の最大視差値までの、可能な負の視差値の範囲に奥行値をマッピングする関数を使用して、画素に対する視差値を算出しうる(188)。例えば、xが画素の奥行値を表し、dmaxが画素に対する可能な最大奥行値を表し、−disが可能な最大(または最小)視差値を表す場合、視点合成モジュールは、以下の式を使用して、画素に対する視差を算出しうる:
Figure 2013538474
画素がd−δとd+δとの間にある場合(186の「いいえ」分岐)、視点合成モジュール44は、画素に対する視差値がゼロであると決定しうる(190)。この方式において、宛先デバイス40は、可能な正および負の視差値の範囲と、各画素の奥行値に基づいて、画像の画素に対する視差値を算出しうる。それに応じて、宛先デバイス40は、視差値を算出し、最終的には、同時または矢継早に表示されうるシーンの第2の画像をシーンの第1の画像から生成して、シーンを3次元表現で表示するために、焦点距離、実世界にける奥行範囲、仮定されたカメラまたは目の距離、あるいは、他のカメラパラメータを参照する必要はない。
2つの画像の画素間の視差は、一般的に、下記の式によって記述されうる:
Figure 2013538474
ここで、Δuは、2つの画素間の視差であり、tは、同じシーンの2つの画像をキャプチャする2つのカメラの距離であり、zは、画素の奥行値であり、hは、カメラの位置と、2つのカメラによって撮影された、シーンの被写体からの収束線が通る、カメラを通過する平面上のポイントとの差分に関するシフト値であり、fは、収束線が、主軸と呼ばれる、カメラから収束平面への垂直線と交わる距離を記述する焦点距離である。
シフト値hは、典型的に、視差の算出が下記のとおり表されうるように、制御パラメータとして使用される:
Figure 2013538474
ここで、zは、視差がゼロである奥行を表す。
正の最大視差disおよび負の最大視差disが存在すると仮定する。対応する実世界奥行範囲が[znear,zfar]であるとすると、実世界座標における画素の奥行は、zである。次に、画素に対する視差は、焦点距離およびカメラ(または、目)の距離に依存せず、よって、画素に対する視差は、以下のように算出される:
Figure 2013538474
これを実演するために、負の最大視差に対応する最も遠い画素は以下のように定義される:
Figure 2013538474
これは、zfarが実世界における最大距離を記述すると仮定されるためである。同様に、正の最大視差に対応する最も近い画素は、以下のように定義される:
Figure 2013538474
同様に、これは、znearが実世界における最短距離を記述すると仮定されるためである。よって、zがzよりも大きい場合、負の視差は、次のように算出されうる:
Figure 2013538474
一方、zがzよりも小さい場合、正の視差は、次のように算出されうる:
Figure 2013538474
本開示は、画像のデプスマップがエラーを有しうること、および、奥行範囲[znear,zfar]の推定が難しいことを認識する。最大視差値disおよびdisを推定すること、および、被写体をzの手前または後方に相対的に位置づけると仮定することは、より容易であろう。シーンは、異なる解像度でキャプチャされ、3次元ワーピングの後、画素に対する視差は、この解像度に比例しうる。換言すると、最大視差値は、正の最大視差が、dis=N×βとして算出され、負の最大視差が、dis=N×αとして算出されうるように、ディスプレイの解像度Nおよびレートαおよびβに基づいて算出されうる。
奥行推定アルゴリズムは、被写体間の相対的な奥行を推定する際、znearおよびzfarに対する完全に正確な奥行範囲を推定するよりも正確でありうる。さらに、例えば、動きまたはぼやけからのいくつかのキューの実世界奥行値への変換の間、不正確性が存在しうる。このように、実際、視差を算出するための「実際の」式は、次のように簡単にされうる:
Figure 2013538474
ここで、dは、例えば、0から255までの、[znear,zfar]に関する小さい範囲内の奥行値である。
本開示の技術は、単一の奥行値dよりもむしろ可能な奥行値の3つの範囲を考慮することがよりロバストであることを認識する。上に記述されたf(x)が−dis×g(x)に等しく、f(x)がdis×g(x)に等しいと仮定すると、本開示の技術が結果的に生じる。すなわち、pが画素を表し、奥行(p)が画素pに関連付けられた奥行値を表す場合、pの視差は、次のように算出されうる:
Figure 2013538474
1つ以上の例において、記述された機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらのあらゆる組み合わせに実施されうる。ソフトウェアで実施された場合、これら機能はコンピュータ読取可能な媒体上の1または複数の命令またはコードとして記憶または送信されうる。コンピュータ読取可能な媒体は、データ記憶媒体のような有形媒体に対応するコンピュータ読取可能な記憶媒体、または、例えば、通信プロトコルにしたがい、ある場所から別の場所へのコンピュータプログラムの移送を容易にする任意の媒体を含む通信媒体を含みうる。この方式において、コンピュータ読取可能な媒体は、一般的に、(1)非一時的である有形のコンピュータ読取可能な記憶媒体、あるいは、(2)信号または搬送波のような通信媒体に対応しうる。データ記憶媒体は、本開示に記述された技術を実施するための命令、コード、および/またはデータ構造を検索するために、1または複数のコンピュータまたは1または複数のプロセッサによってアクセスされることができる任意の利用可能な媒体でありうる。それに制限されない例として、そのようなコンピュータ読取可能な記憶媒体は、RAM、ROM、EEPROM、CD−ROMまたは他の光学ディスク記憶装置、磁気ディスク記憶装置または他の磁気記憶デバイス、フラッシュメモリ、もしくは、コンピュータによってアクセスされることができ、命令やデータ構造形で所望のプログラムコードを記憶または記憶するために使用可能な任意の別媒体を備えることができる。任意の接続も適切にコンピュータ読取可能な媒体と呼ばれる。例えば、命令が、同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者回線(DSL)、または赤外線、ラジオ、マイクロ波などの無線テクノロジを使用して、ウェブサイト、サーバ、または他のリモートソースから送信された場合、この同軸ケーブル、光ファイバケーブル、ツイストペア、DSL、または赤外線、ラジオ、マイクロ波などの無線テクノロジは、媒体の定義に含まれる。しかしながら、コンピュータ読取可能な記憶媒体およびデータ記憶媒体が、接続、搬送波、信号、または、別の一時的な媒体を含まず、代わりに、非一時的な有形の記憶媒体に向けられることは理解されるべきである。ディスク(disk)とディスク(disc)は、本明細書で使用される場合、コンパクトディスク(CD)、レーザディスク、光ディスク、デジタル多用途ディスク(DVD)、フロッピー(登録商標)ディスク、ブルーレイ(登録商標)ディスクを含む。ディスク(disk)は通常磁気作用によってデータを再生し、ディスク(disc)はレーザーで光学的にデータを再生する。上記の組み合わせもコンピュータ読取可能な媒体の範囲に含まれるべきである。
コードは、1つ以上のデジタル信号プロセッサ(DSP)、汎用マイクロプロセッサ、特定用途向け集積回路(ASIC)、フィールドプログラマブル論理アレイ(FPGA)、あるいは、別の等価的な集積回路またはディスクリート論理回路のような1または複数のプロセッサによって実行されうる。それに応じて、「プロセッサ(processor)」という用語は、本明細書で使用される場合、前述の構造のいずれか、あるいは、本明細書に記述された技術の実施に適したあらゆる他の構造を指しうる。加えて、いくつかの態様において、本明細書に記述された機能性は、符号化および復号するように構成された専用のハードウェアおよび/またはソフトウェアモジュール内に提供されるか、あるいは、結合コーデックに組み込まれうる。さらに、本技術は、1または複数の回路または論理エレメントに十分に実施されうる。
本開示の技術は、無線ハンドセット、集積回路(IC)、または、ICのセット(例えば、チップセット)を含む、広範囲のデバイスまたは装置に実施されうる。様々なコンポーネント、モジュール、又はユニットが本開示に記述され、開示された技術を実行するように構成されたデバイスの機能的な態様を強調するが、異なるハードウェアユニットによる実現を必ずしも要求するわけではない。むしろ、上に記述されたように、様々なユニットは、コーデックハードウェアユニットに結合されるか、あるいは、上に記述された1または複数のプロセッサを含む相互作用ハードウェアユニットの一群によって、適切なソフトウェアおよび/またはファームウェアと共に提供されうる。
様々な例が記述されている。これらの例または他の例は、以下の請求項の範囲内である。
視点合成ユニット44は、スクリーンの手前または後方に最大奥行(maximum depth)で被写体を表示するための最大視差値で構成されうる。この方式において、視点合成ユニット44は、ゼロから、正および負の最大視差値までの視差範囲で構成されうる。視聴者は、被写体が宛先デバイス40によって表示されるスクリーンの手前または後方における最大奥行を変更するために構成を調整しうる。例えば、宛先デバイス40は、遠隔制御または視聴者が操作しうる他の制御ユニットと通信状態にありうる。遠隔制御は、被写体を表示するスクリーンの手前の最大奥行、および、スクリーン後方の最大奥行を視聴者が制御することを可能にするユーザインターフェースを備えうる。この方式において、視聴者は、視聴経験(viewing experience)を改善するために、画像ディスプレイ42に対する構成パラメータを調整することができる。

Claims (46)

  1. 3次元(3D)画像データを生成するための方法であって、
    3Dレンダリングデバイスが、複数の画素に関連付けられた奥行情報、および、前記奥行情報がマッピングされる視差範囲に基づいて第1の画像の前記複数の画素に対する視差値を算出すること、
    前記3Dレンダリングデバイスが、前記第1の画像と前記視差値とに基づいて前記第2の画像を生成することと、
    を備え、前記視差値は、第2の画像の複数の画素のうちの対応する1つの水平オフセットを表す、方法。
  2. 前記複数の画素のうちの1つについて前記視差値を算出することは、
    前記奥行情報の奥行値を、定義された視差範囲内の視差値にマッピングする関数を選択することと、
    前記複数の画素の前記1つについて前記奥行情報に基づいて前記選択された視差関数を実行することと、
    を備える、請求項1に記載の方法。
  3. 前記複数の画素に対する前記視差値を算出することは、前記複数の画素のうちの少なくとも1つについて、
    前記複数の画素の前記1つについての前記奥行情報の奥行値が、収束奥行値に第1の許容値を足したものよりも大きい奥行値を備える第1の範囲内であるか、前記収束奥行値から第2の許容値を差し引いたものよりも小さい奥行値を備える第2の範囲内であるか、前記収束奥行値に前記第1の許容値を足したものと、前記収束奥行値から前記第2の許容値を差し引いたものとの間の奥行値を備える第3の範囲内であるかを決定することと、
    前記複数の画素の前記1つについての前記奥行情報が前記第1の範囲内である場合に、第1の関数を実行することと、
    前記複数の画素の前記1つについての前記奥行が前記第2の範囲内である場合に、第2の関数を実行することと、
    前記複数の画素の前記1つについての前記奥行情報が前記第3の範囲内である場合に、前記複数の画素の前記1つの前記視差値をゼロに等しく設定することと
    を備える、請求項1に記載の方法。
  4. 前記視差範囲は、負の最小視差値−disを備え、前記第1の関数は、前記第1の奥行範囲の奥行値を、−disから0までの負の視差値にマッピングする単調減少関数を備える、請求項3に記載の方法。
  5. 受信された視差調整値にしたがって、前記負の最小視差値を変更することをさらに備える、請求項4に記載の方法。
  6. 前記3Dディスプレイデバイスに通信的に結合された遠隔制御デバイスから前記視差調整値を受信することをさらに備える、請求項5に記載の方法。
  7. 前記受信された視差調整値は、前記第2の画像の幅のパーセンテージで表される、請求項5に記載の方法。
  8. 前記視差範囲は、正の最大視差値disを備え、前記第2の関数は、前記第2の奥行範囲の奥行値を、0からdisまでの正の視差値にマッピングする単調減少関数を備える、請求項3に記載の方法。
  9. 受信された視差調整値にしたがって、前記正の最大視差値を変更することをさらに備える、請求項8に記載の方法。
  10. 前記3Dディスプレイデバイスに通信的に結合された遠隔制御デバイスから前記視差調整値を受信することをさらに備える、請求項9に記載の方法。
  11. 前記受信された視差調整値は、前記第2の画像の幅のパーセンテージで表される、請求項9に記載の方法。
  12. 前記第1の関数は、
    Figure 2013538474
    を備え、前記第2の関数は、
    Figure 2013538474
    を備え、dminは、最小奥行値を備え、dmaxは、最大奥行値を備え、dは、前記収束奥行値を備え、δは、前記第1の許容値を備え、δは、前記第2の許容値を備え、xは、前記複数の画素の前記1つに対する前記奥行値を備え、−disは、前記視差範囲に対する負の最小視差値を備え、disは、前記視差範囲に対する正の最大視差値を備える、請求項3に記載の方法。
  13. 前記視差値を算出することは、カメラモデル、焦点距離、実世界奥行範囲値、低ダイナミックレンジ奥行値から実世界奥行値への変換、実世界収束距離、視聴距離、および、表示幅を直接使用することなく、前記視差値を算出することを備える、請求項1に記載の方法。
  14. 3次元画像データを生成するための装置であって、
    複数の画素に関連付けられた奥行情報、および、前記奥行情報がマッピングされる視差範囲に基づいて第1の画像の前記複数の画素に対する視差値を算出し、前記第1の画像および前記視差値に基づいて、前記第2の画像を生成するように構成された視点合成ユニットを備え、
    前記視差値は、第2の画像の複数の画素のうちの対応する1つの水平オフセットを記述する、装置。
  15. 前記複数の画素のうちの少なくとも1つに対する前記視差値を算出するために、前記視点合成ユニットは、
    前記複数の画素の前記1つについての前記奥行情報の奥行値が、収束奥行値に第1の許容値を足したものよりも大きい奥行値を備える第1の範囲内であるか、前記収束奥行値から第2の許容値を差し引いたものよりも小さい奥行値を備える第2の範囲内であるか、前記収束奥行値に前記第1の許容値を足したものと前記収束奥行値から前記第2の許容値を差し引いたものとの間の奥行値を備える第3の範囲内であるかを決定し、
    前記複数の画素の前記1つについての前記奥行情報が前記第1の範囲内である場合に、第1の関数を実行し、
    前記複数の画素の前記1つについての前記奥行情報が前記第2の範囲内である場合に、第2の関数を実行し、
    前記複数の画素の前記1つについての前記奥行情報が前記第3の範囲内である場合に、前記複数の画素の前記1つの前記視差値をゼロに等しく設定する
    ように構成される、請求項14に記載の装置。
  16. 前記視差範囲は、負の最小視差値−disを備え、前記第1の関数は、前記第1の奥行範囲内の奥行値を、−disから0までの負の視差値にマッピングする単調減少関数を備える、請求項15に記載の装置。
  17. 受信された視差調整値にしたがって、前記負の最小視差値を変更するように構成された視差範囲構成ユニットをさらに備える、請求項16に記載の方法。
  18. 前記視差範囲構成ユニットは、前記装置に通信的に結合された遠隔制御デバイスから前記視差調整値を受信するように構成される、請求項17に記載の装置。
  19. 前記受信された視差調整値は、前記第2の画像の幅のパーセンテージで表される、請求項17に記載の装置。
  20. 前記視差範囲は、正の最大視差値disを備え、前記第2の関数は、前記第2の奥行範囲内の奥行値を、0からdisまでの正の視差値にマッピングする単調減少関数を備える、請求項15に記載の装置。
  21. 受信された視差調整値にしたがって、前記正の最大視差値を変更するように構成された視差範囲構成ユニットをさらに備える、請求項20に記載の方法。
  22. 前記視差範囲構成ユニットは、前記装置に通信的に結合された遠隔制御デバイスから前記視差調整値を受信するように構成される、請求項21に記載の装置。
  23. 前記受信された視差調整値は、前記第2の画像の幅のパーセンテージで表される、請求項21に記載の装置。
  24. 前記第1の関数は、
    Figure 2013538474
    を備え、前記第2の関数は、
    Figure 2013538474
    を備え、dminは、最小奥行値を備え、dmaxは、最大奥行値を備え、dは、前記収束奥行値を備え、δは、前記第1の許容値を備え、δは、前記第2の許容値を備え、xは、前記複数の画素のうちの1つに対する前記奥行値を備え、−disは、前記視差範囲に対する負の最小視差値を備え、disは、前記視差範囲に対する正の最大視差値を備える、請求項15に記載の装置。
  25. 3次元(3D)画像データを生成するための装置であって、前記方法は、
    複数の画素に関連付けられた奥行情報、および、前記奥行情報がマッピングされる視差範囲に基づいて第1の画像の前記複数の画素に対する視差値を算出するための手段と、
    前記第1の画像および前記視差値に基づいて前記第2の画像を生成するための手段と、
    を備え、前記視差値は、第2の画像の複数の画素のうちの対応する1つの水平オフセットを表す、装置。
  26. 前記複数の画素のうちの1つの前記視差値を算出するための手段は、
    前記複数の画素の前記1つについての前記奥行情報の奥行値が、収束奥行値に第1の許容値を足したものよりも大きい奥行値を備える第1の範囲内であるか、前記収束奥行値から第2の許容値を差し引いたものよりも小さい奥行値を備える第2の範囲内であるか、前記収束奥行値に前記第1の許容値を足したものと、前記収束奥行値から前記第2の許容値を差し引いたものとの間の奥行値を備える第3の範囲内であるかを決定するための手段と、
    前記複数の画素の前記1つについての前記奥行情報が前記第1の範囲内である場合に、第1の関数を実行するための手段と、
    前記複数の画素の前記1つについての前記奥行情報が前記第2の範囲内である場合に、第2の関数を実行するための手段と、
    前記複数の画素の前記1つについての前記奥行情報が前記第3の範囲内である場合に、前記複数の画素のうちの1つの前記視差値をゼロに等しく設定するための手段と
    を備える、請求項25に記載の装置。
  27. 前記視差範囲は、負の最小視差値−disを備え、前記第1の関数は、前記第1の奥行範囲内の奥行値を、−disから0の範囲までの負の視差値にマッピングする単調減少関数を備える、請求項26に記載の装置。
  28. 受信された視差調整値にしたがって、前記負の最小視差値を変更するための手段をさらに備える、請求項27に記載の装置。
  29. 前記装置に通信的に結合された遠隔制御デバイスから前記視差調整値を受信するための手段をさらに備える、請求項28に記載の装置。
  30. 前記受信された視差調整値は、前記第2の画像の幅のパーセンテージで表される、請求項28に記載の装置。
  31. 前記視差範囲は、正の最大視差値disを備え、前記第2の関数は、前記第2の奥行範囲内の奥行値を、0からdisまでの正の視差値にマッピングする単調減少関数を備える、請求項26に記載の装置。
  32. 受信された視差調整値にしたがって、前記正の最大視差値を変更するための手段をさらに備える、請求項31に記載の装置。
  33. 前記装置に通信的に結合された遠隔制御デバイスから前記視差調整値を受信するための手段をさらに備える、請求項32に記載の装置。
  34. 前記受信された視差調整値は、前記第2の画像の幅のパーセンテージで表される、請求項32に記載の装置。
  35. 前記第1の関数は
    Figure 2013538474
    を備え、前記第2の関数は、
    Figure 2013538474
    を備え、dminは、最小奥行値を備え、dmaxは、最大奥行値を備え、dは、前記収束奥行値を備え、δは、前記第1の許容値を備え、δは、前記第2の許容値を備え、xは、前記複数の画素のうちの1つに対する奥行値を備え、−disは、前記視差範囲に対する負の最小視差値を備え、disは、前記視差範囲に対する正の最大視差値を備える、請求項26に記載の装置。
  36. コンピュータ読取可能な記憶媒体であって、実行された場合に、
    複数の画素に関連付けられた奥行情報、および、前記奥行情報がマッピングされる視差範囲に基づいて、第1の画像の前記複数の画素に対する視差値を算出すること、
    前記第1の画像と前記視差値とに基づいて前記第2の画像を生成すること、
    を、3次元(3D)画像データを生成するための装置のプロセッサに行わせる命令を備え、前記視差値は、第2の画像の複数の画素のうちの対応する1つの水平オフセットを表す、コンピュータ読取可能な記憶媒体。
  37. 前記複数の画素に対する前記視差値を算出させることを前記プロセッサに対して行わせる命令は、前記複数の画素のうちの少なくとも1つについて、
    前記複数の画素の前記1つについての奥行情報の奥行値が、収束奥行値に第1の許容値を足したものよりも大きい奥行値を備える第1の範囲内であるか、前記収束奥行値に第2の許容値を足したものよりも小さい奥行値を備える第2の範囲内であるか、前記収束奥行値に前記第1の許容値したものと、前記収束奥行値から前記第2の許容値を差し引いたもとの間である奥行値を備える第3の範囲内であるかを決定することと、
    前記複数の画素の前記1つについての前記奥行情報が前記第1の範囲内である場合に、第1の関数を実行することと、
    前記複数の画素の前記1つについての前記奥行情報が前記第2の範囲内である場合に、第2の関数を実行することと、
    前記複数の画素の前記1つについての前記奥行情報が前記第3の範囲内である場合に、前記複数の画素のうちの1つの前記視差値をゼロに等しく設定することと
    を、前記プロセッサに行わせる命令を備える、請求項36に記載のコンピュータ読取可能な記憶媒体。
  38. 前記視差範囲は、負の最小視差値−disを備え、前記第1の関数は、前記第1の奥行範囲内の奥行値を、−disから0までの負の視差値にマッピングする単調減少関数を備る、請求項37に記載のコンピュータ読取可能な記憶媒体。
  39. 受信された視差調整値にしたがって、前記負の最小視差値を変更することを前記プロセッサに行わせる命令をさらに備える、請求項38に記載のコンピュータ読取可能な記憶媒体。
  40. 前記装置に通信的に結合された遠隔制御デバイスから前記視差調整値を受信することを前記プロセッサに行わせる命令をさらに備える、請求項39に記載のコンピュータ読取可能な記憶媒体。
  41. 前記受信された視差調整値は、前記第2の画像の幅のパーセンテージで表される、請求項39に記載のコンピュータ読取可能な記憶媒体。
  42. 前記視差範囲は、正の最大視差値disを備え、前記第2の関数は、前記第2の奥行範囲内の奥行値を、0からdisまでの正の視差値にマッピングする単調減少関数を備える、請求項37に記載のコンピュータ読取可能な記憶媒体。
  43. 受信された視差調整値にしたがって、前記正の最大視差値を変更することを前記プロセッサに行わせる命令をさらに備える、請求項42に記載のコンピュータ読取可能な記憶媒体。
  44. 前記装置に通信的に結合された遠隔制御デバイスから前記視差調整値を受信することを前記プロセッサに行わせる命令をさらに備える、請求項43に記載のコンピュータ読取可能な記憶媒体。
  45. 前記受信された視差調整値は、前記第2の画像の幅のパーセンテージで表される、請求項43に記載のコンピュータ読取可能な記憶媒体。
  46. 前記第1の関数は、
    Figure 2013538474
    を備え、前記第2の関数は、
    Figure 2013538474
    を備え、dminは、最小奥行値を備え、dmaxは、最大奥行値を備え、dは、前記収束奥行値を備え、δは、第1の許容値を備え、δは、前記第2の許容値を備え、xは、前記複数の画素のうちの1つに対する前記奥行値を備え、−disは、前記視差範囲に対する負の最小視差値を備え、disは、前記視差範囲に対する正の最大視差値を備える、請求項37に記載のコンピュータ読取可能な記憶媒体。
JP2013515428A 2010-06-14 2011-06-14 3次元画像に対する視差の算出 Expired - Fee Related JP5763184B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/814,651 2010-06-14
US12/814,651 US20110304618A1 (en) 2010-06-14 2010-06-14 Calculating disparity for three-dimensional images
PCT/US2011/040302 WO2011159673A1 (en) 2010-06-14 2011-06-14 Calculating disparity for three-dimensional images

Publications (2)

Publication Number Publication Date
JP2013538474A true JP2013538474A (ja) 2013-10-10
JP5763184B2 JP5763184B2 (ja) 2015-08-12

Family

ID=44484863

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013515428A Expired - Fee Related JP5763184B2 (ja) 2010-06-14 2011-06-14 3次元画像に対する視差の算出

Country Status (6)

Country Link
US (1) US20110304618A1 (ja)
EP (1) EP2580916A1 (ja)
JP (1) JP5763184B2 (ja)
KR (2) KR20130053452A (ja)
CN (1) CN102939763B (ja)
WO (1) WO2011159673A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023529778A (ja) * 2019-04-22 2023-07-12 レイア、インコーポレイテッド マルチモードディスプレイを使用して複数の画像の品質を向上させるシステムおよび方法

Families Citing this family (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2319016A4 (en) * 2008-08-14 2012-02-01 Reald Inc STEREOSCOPIC DEPTH MAPPING
JP2012100129A (ja) * 2010-11-04 2012-05-24 Jvc Kenwood Corp 画像処理方法及び画像処理装置
US9983685B2 (en) * 2011-01-17 2018-05-29 Mediatek Inc. Electronic apparatuses and methods for providing a man-machine interface (MMI)
US8670023B2 (en) * 2011-01-17 2014-03-11 Mediatek Inc. Apparatuses and methods for providing a 3D man-machine interface (MMI)
TWI462569B (zh) * 2011-04-22 2014-11-21 Mstar Semiconductor Inc 三維影像攝相機及其相關控制方法
JPWO2012157443A1 (ja) * 2011-05-16 2014-07-31 ソニー株式会社 画像処理装置、及び、画像処理方法
US20140092222A1 (en) * 2011-06-21 2014-04-03 Sharp Kabushiki Kaisha Stereoscopic image processing device, stereoscopic image processing method, and recording medium
US9118902B1 (en) 2011-07-05 2015-08-25 Lucasfilm Entertainment Company Ltd. Stereoscopic conversion
US8786681B1 (en) * 2011-07-05 2014-07-22 Lucasfilm Entertainment Company, Ltd. Stereoscopic conversion
US10805625B2 (en) * 2011-07-05 2020-10-13 Texas Instruments Incorporated Method, system and computer program product for adjusting a stereoscopic image in response to decoded disparities between views of the stereoscopic image
JP6184408B2 (ja) * 2011-08-12 2017-08-23 サムスン エレクトロニクス カンパニー リミテッド 受信装置及びその受信方法
US20140198104A1 (en) * 2011-09-02 2014-07-17 Sharp Kabushiki Kaisha Stereoscopic image generating method, stereoscopic image generating device, and display device having same
WO2013048482A1 (en) * 2011-09-30 2013-04-04 Intel Corporation Mechanism for facilitating enhanced viewing perspective of video images at computing devices
JP2015513070A (ja) * 2012-01-31 2015-04-30 スリーエム イノベイティブ プロパティズ カンパニー 表面の三次元構造を測定するための方法及び装置
KR20130088636A (ko) * 2012-01-31 2013-08-08 삼성전자주식회사 영상 전송 장치 및 방법, 그리고 영상 재생 장치 및 방법
CN102831603A (zh) * 2012-07-27 2012-12-19 清华大学 基于深度图后向映射的图像渲染方法和图像渲染装置
US9449429B1 (en) * 2012-07-31 2016-09-20 Dreamworks Animation Llc Stereoscopic modeling based on maximum ocular divergence of a viewer
CN102802006B (zh) * 2012-08-03 2014-08-06 梁智伟 数码照相机、层叠式相片印刷器和立体彩色图像制作系统
CN102802015B (zh) * 2012-08-21 2014-09-10 清华大学 一种立体图像视差优化方法
JP6158929B2 (ja) * 2012-09-06 2017-07-05 ノキア テクノロジーズ オーユー 画像処理装置、方法及びコンピュータプログラム
WO2014056150A1 (en) * 2012-10-09 2014-04-17 Nokia Corporation Method and apparatus for video coding
US9648299B2 (en) * 2013-01-04 2017-05-09 Qualcomm Incorporated Indication of presence of texture and depth views in tracks for multiview coding plus depth
US9521425B2 (en) * 2013-03-19 2016-12-13 Qualcomm Incorporated Disparity vector derivation in 3D video coding for skip and direct modes
US20150033157A1 (en) * 2013-07-25 2015-01-29 Mediatek Inc. 3d displaying apparatus and the method thereof
CN103501433B (zh) * 2013-09-26 2015-12-23 深圳市掌网立体时代视讯技术有限公司 一种3d书画显示方法及装置
GB2519363A (en) * 2013-10-21 2015-04-22 Nokia Technologies Oy Method, apparatus and computer program product for modifying illumination in an image
KR102158390B1 (ko) 2013-10-22 2020-09-22 삼성전자주식회사 영상 처리 방법 및 장치
IN2013CH05313A (ja) * 2013-11-18 2015-05-29 Nokia Corp
WO2015096019A1 (en) * 2013-12-24 2015-07-02 Intel Corporation Techniques for stereo three dimensional video processing
CN104615421A (zh) * 2014-12-30 2015-05-13 广州酷狗计算机科技有限公司 虚拟礼物展示方法和装置
US10097808B2 (en) * 2015-02-09 2018-10-09 Samsung Electronics Co., Ltd. Image matching apparatus and method thereof
CN104980729B (zh) * 2015-07-14 2017-04-26 上海玮舟微电子科技有限公司 一种视差图的生成方法及系统
US20170347089A1 (en) * 2016-05-27 2017-11-30 Craig Peterson Combining vr or ar with autostereoscopic usage in the same display device
US10306215B2 (en) 2016-07-31 2019-05-28 Microsoft Technology Licensing, Llc Object display utilizing monoscopic view with controlled convergence
CN106231292B (zh) * 2016-09-07 2017-08-25 深圳超多维科技有限公司 一种立体虚拟现实直播方法、装置及设备
GB2553782B (en) * 2016-09-12 2021-10-20 Niantic Inc Predicting depth from image data using a statistical model
KR20180042955A (ko) 2016-10-19 2018-04-27 삼성전자주식회사 영상 처리 장치 및 방법
CN106454318B (zh) * 2016-11-18 2020-03-13 成都微晶景泰科技有限公司 立体成像方法及立体成像装置
WO2018095278A1 (zh) 2016-11-24 2018-05-31 腾讯科技(深圳)有限公司 飞行器的信息获取方法、装置及设备
TWI622022B (zh) * 2017-07-13 2018-04-21 鴻海精密工業股份有限公司 深度計算方法及其裝置
CN107396082B (zh) * 2017-07-14 2020-04-21 歌尔股份有限公司 一种图像数据的处理方法和装置
EP3467782A1 (en) * 2017-10-06 2019-04-10 Thomson Licensing Method and device for generating points of a 3d scene
CN110007475A (zh) * 2019-04-17 2019-07-12 万维云视(上海)数码科技有限公司 利用虚拟深度补偿视力的方法与装置
CN111970503B (zh) * 2020-08-24 2023-08-22 腾讯科技(深圳)有限公司 二维图像的三维化方法、装置、设备及计算机可读存储介质
KR20220107831A (ko) 2021-01-26 2022-08-02 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
CN112785679B (zh) * 2021-03-15 2024-11-08 网易(杭州)网络有限公司 晶石模型的渲染方法及装置、计算机存储介质、电子设备
CN116866522B (zh) * 2023-07-11 2024-05-17 广州市图威信息技术服务有限公司 一种远程监控方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003209858A (ja) * 2002-01-17 2003-07-25 Canon Inc 立体画像生成方法及び記録媒体
JP2006178900A (ja) * 2004-12-24 2006-07-06 Hitachi Displays Ltd 立体画像生成装置
JP2008263528A (ja) * 2007-04-13 2008-10-30 Univ Nagoya 画像情報処理方法及び画像情報処理システム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1353518A1 (en) * 2002-04-09 2003-10-15 STMicroelectronics S.r.l. Process and system for generating stereoscopic images from monocular images
AU2003290739A1 (en) * 2002-11-27 2004-06-23 Vision Iii Imaging, Inc. Parallax scanning through scene object position manipulation
US8094927B2 (en) * 2004-02-27 2012-01-10 Eastman Kodak Company Stereoscopic display system with flexible rendering of disparity map according to the stereoscopic fusing capability of the observer
JP4762994B2 (ja) * 2004-10-26 2011-08-31 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 視差マップ
US8384763B2 (en) * 2005-07-26 2013-02-26 Her Majesty the Queen in right of Canada as represented by the Minster of Industry, Through the Communications Research Centre Canada Generating a depth map from a two-dimensional source image for stereoscopic and multiview imaging
KR100988894B1 (ko) * 2005-11-17 2010-10-20 노키아 코포레이션 3차원 이미지 데이터를 생성, 전달, 및 처리하기 위한방법 및 장치
US8300086B2 (en) * 2007-12-20 2012-10-30 Nokia Corporation Image processing for supporting a stereoscopic presentation
US8228327B2 (en) * 2008-02-29 2012-07-24 Disney Enterprises, Inc. Non-linear depth rendering of stereoscopic animated images
JP5567562B2 (ja) * 2008-07-24 2014-08-06 コーニンクレッカ フィリップス エヌ ヴェ 多用途三次元画像フォーマット
EP2374279A1 (en) * 2008-11-24 2011-10-12 Koninklijke Philips Electronics N.V. Extending 2d graphics in a 3d gui

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003209858A (ja) * 2002-01-17 2003-07-25 Canon Inc 立体画像生成方法及び記録媒体
JP2006178900A (ja) * 2004-12-24 2006-07-06 Hitachi Displays Ltd 立体画像生成装置
JP2008263528A (ja) * 2007-04-13 2008-10-30 Univ Nagoya 画像情報処理方法及び画像情報処理システム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023529778A (ja) * 2019-04-22 2023-07-12 レイア、インコーポレイテッド マルチモードディスプレイを使用して複数の画像の品質を向上させるシステムおよび方法
JP7471449B2 (ja) 2019-04-22 2024-04-19 レイア、インコーポレイテッド マルチモードディスプレイを使用して複数の画像の品質を向上させるシステムおよび方法

Also Published As

Publication number Publication date
JP5763184B2 (ja) 2015-08-12
KR20130053452A (ko) 2013-05-24
CN102939763B (zh) 2015-03-18
KR20150043546A (ko) 2015-04-22
EP2580916A1 (en) 2013-04-17
US20110304618A1 (en) 2011-12-15
CN102939763A (zh) 2013-02-20
WO2011159673A1 (en) 2011-12-22

Similar Documents

Publication Publication Date Title
JP5763184B2 (ja) 3次元画像に対する視差の算出
KR101492876B1 (ko) 사용자 선호도들에 기초하여 3d 비디오 렌더링을 조정하기 위한 3d 비디오 제어 시스템
JP5575908B2 (ja) 2dビデオデータの3dビデオデータへの変換のための深度マップ生成技法
US10528004B2 (en) Methods and apparatus for full parallax light field display systems
JP5654138B2 (ja) 3dヒューマンマシンインターフェースのためのハイブリッドリアリティ
US8488870B2 (en) Multi-resolution, multi-window disparity estimation in 3D video processing
TWI685679B (zh) 用於全視差壓縮光場三維成像系統之方法
US20100231689A1 (en) Efficient encoding of multiple views
WO2015134222A1 (en) Depth aware enhancement for stereo video
US20180350038A1 (en) Methods and Systems for Light Field Compression With Residuals
Tang et al. A universal optical flow based real-time low-latency omnidirectional stereo video system
JP4815004B2 (ja) 多視点画像符号化装置
Salman et al. Overview: 3D Video from capture to Display
Aflaki et al. Unpaired multiview video plus depth compression
Smith et al. Bitrate reduction techniques for stereoscopic digital cinema distribution
BR112016020544B1 (pt) Realce consciente de profundidade para vídeo estéreo

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140401

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20140701

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20140708

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140729

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150106

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150319

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150512

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150610

R150 Certificate of patent or registration of utility model

Ref document number: 5763184

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees