Nothing Special   »   [go: up one dir, main page]

JP3826236B2 - Intermediate image generation method, intermediate image generation device, parallax estimation method, and image transmission display device - Google Patents

Intermediate image generation method, intermediate image generation device, parallax estimation method, and image transmission display device Download PDF

Info

Publication number
JP3826236B2
JP3826236B2 JP10488596A JP10488596A JP3826236B2 JP 3826236 B2 JP3826236 B2 JP 3826236B2 JP 10488596 A JP10488596 A JP 10488596A JP 10488596 A JP10488596 A JP 10488596A JP 3826236 B2 JP3826236 B2 JP 3826236B2
Authority
JP
Japan
Prior art keywords
parallax
image
intermediate image
images
contour
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP10488596A
Other languages
Japanese (ja)
Other versions
JPH0927969A (en
Inventor
健夫 吾妻
森村  淳
謙也 魚森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP10488596A priority Critical patent/JP3826236B2/en
Publication of JPH0927969A publication Critical patent/JPH0927969A/en
Application granted granted Critical
Publication of JP3826236B2 publication Critical patent/JP3826236B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、たとえば、立体映像表示方式における中間像生成方法、中間像生成装置、視差推定方法及び画像伝送表示装置に関するものである。
【0002】
【従来の技術】
従来、立体映像方式には様々なものが提案されているが、特殊な眼鏡をかけることなく立体動画像を複数人数で観察できる方式として、多眼式立体映像方式が有望である。多眼式立体映像方式においては、使用するカメラ台数および表示装置台数が多いほど、観察者に対して自然な動視差を感じさせることができ、また、多人数での観察が容易になる。しかしながら、撮像系の規模やカメラの光軸の設定等の制約により、実用的に用いることができるカメラ台数には限度がある。また、伝送、蓄積過程においては、カメラ台数に比例して増大する情報量を低減することが望まれる。そこで、表示側において2眼式ステレオ画像から中間像を生成して多眼式立体画像を表示できれば、撮像系の負担を軽減し、伝送、蓄積時の情報量を低減することができることになる。
【0003】
【発明が解決しようとする課題】
視点の異なる複数の画像から、その異なる視点間の任意の視点で見えるべき中間像を生成するためには、画像間で画素の対応を求めて奥行きを推定する必要がある。対応を求める方法はこう配法とブロックマッチング法に大別される。このうちこう配法は、大きな推定値に対して精度が低下し、また、こう配を用いているためにノイズの影響を受けやすい。さらに、こう配法では一般に、推定値を収束させるための繰り返し計算を必要とするため、実時間処理の点で不利である。一方、ブロックマッチング法はノイズに対して頑健であるが、輝度こう配の大小、推定値が不連続な領域の有無によって、適切なブロックサイズが異なり、適切なブロックサイズが推定値の分布に依存するという課題がある。
【0004】
金出らは、輝度こう配、ノイズ、視差分布を考慮した評価尺度を用いて、ブロックのサイズ、位置と視差を更新する繰り返し計算によって上記問題点の解決を試みているが(T.Kanade,M.Okutomi : "A Stereo Matching Algorithm with an Adaptive Window : Theory and Experiment",Technical Report CMU-CS-90,School of Computer Science,C.M.U., Pittburgh,PA 15213,(1990))、莫大な計算量を要している。
【0005】
また、画像間の対応づけにおける根本的な問題は、奥行きが不連続に変化する視差エッジ近傍では、オクルージョンが生じるために対応を精度よく求めるのは困難なことである。しかし、この視差エッジ近傍での推定値は、生成された中間像中の物体の輪郭を決定するため、中間像の合成時には非常に重要である。すなわち、視差エッジ近傍で推定誤差が生じると、前景領域の画素が背景側にはりついたり、逆に背景領域の画素が前景にはりつき、物体の輪郭線が乱れたり、物体輪郭線近傍の背景領域に偽輪郭が生じることになる。
【0006】
また、こう配法やブロックマッチング法による2画像間の対応づけ以外の方法として、アフィン変換による視差補償予測方式や(藤井,原島, "アフィン変換よる多眼式三次元画像符号化",電子情報通信学会秋期大会,D-200,(1993))、EPI(Epipolor Plane Image)を用いる方法(苗村,原島, "自己相関モデリングによる多眼式画像の補間合成",電子情報通信学会秋期大会,D-267,(1993))があるが、数 枚から数十枚の画像を用いるため、動画に適用する際には撮像系に大きな負担がかかる。
【0007】
本発明は、従来のこのような立体画像表示方式における課題を考慮し、たとえば、物体輪郭線近傍での視差を推定し、複数の画像の、例えば1組のステレオ画像から2画像間の、任意の視点に対応する中間像を生成できる中間像生成方法、中間像生成装置、視差推定方法、及び画像伝送表示装置を提供することを目的とする。
【0008】
【課題を解決するための手段】
第1の本発明は、視点の異なる2つの画像について、それぞれの画像を基準として画素毎の対応を求めて視差を推定し、視差推定が行えない領域において、その領域近傍における所定の領域を物体の輪郭により分割して出来る2つの領域のそれぞれの視差のうち、遠くを示す方の視差を用いて、前記所定の領域におけるエッジ強度をもとに、エッジ強度の強い画素において視差が大きく変化し、エッジ強度の弱い画素において視差が小さく変化するように前記視差推定が行えない領域での視差を決定し、前記画像及び前記得られた視差からそれぞれ中間像を生成し、その生成した中間像を統合することを特徴とするステレオ画像の中間像生成方法である。
第2の本発明は、中間像の統合は、前記生成した中間像においてデータのない領域と隣接する画素のデータのうち、背景側の所定の画素数のデータを用いないことにより、統合された中間像における偽輪郭の発生をなくすることを特徴とする第1の本発明の中間像生成方法である。
第3の本発明は、中間像の統合は、視点の方向に応じて、前記生成した中間像に重み付けをすることにより行うことを特徴とする第1又は第2の本発明の中間像生成方法である。
第4の本発明は、視点の異なる2画像を記憶する画像メモリと、前記2画像間で画素の対応を求め初期視差を計算する初期視差推定手段と、その初期視差を記憶する初期視差メモリと、画像から物体輪郭線を検出する物体輪郭線検出手段と、その物体輪郭線を記憶する輪郭メモリと、前記初期視差および前記物体輪郭線から、物体輪郭線近傍における視差を、物体輪郭線近傍領域を前記物体輪郭線により分割して出来る2つの領域のそれぞれの視差のうち、遠くを示す方の視差を用いて、前記物体輪郭線近傍領域におけるエッジ強度をもとに、エッジ強度の強い画素において視差が大きく変化し、エッジ強度の弱い画素において視差が小さく変化するように決定する輪郭部視差推定手段と、前記画像と前記視差から中間像を生成する中間像生成手段とを備えたことを特徴とする中間像生成装置である。
第5の本発明は、視点の異なる複数の画像について、それぞれの画像を基準として画素毎の対応を求めて初期視差を推定し、前記初期視差推定が行えない領域での視差推定は、その領域近傍における所定の領域を物体の輪郭により分割して出来る2つの領域のそれぞれの視差のうち、遠くを示す方の視差を用いて、前記所定の領域の内で物体輪郭のエッジ強度に応じて、エッジ強度の強い画素において視差が大きく変化し、エッジ強度の弱い画素において視差が小さく変化するように、前記初期視差推定で求められた視差に対する重みを変化させて前記複数の画像の視差を演算することを特徴とする視差推定方法である。
第6の本発明は、第5の本発明の前記視差推定方法により求められた視差を利用して、前記画像から中間像を生成することを特徴とする複数画像の中間像生成方法である。
第7の本発明は、2眼式画像を伝送する送信部と、その伝送された2眼式画像を受信し、その受信した2眼式画像から左右の画像を基準とした視差情報を計算し、視差が正しく計算できない領域での視差については、その領域近傍における所定の領域を物体の輪郭により分割して出来る2つの領域のそれぞれの視差のうち、遠くを示す方の視差を用いて、前記所定の領域におけるエッジ強度をもとに、エッジ強度の強い画素において視差が大きく変化し、エッジ強度の弱い画素において視差が小さく変化するように前記視差が正しく計算できない領域での視差を決定し、前記2眼式画像と前記求めた視差情報とを用いて中間像を生成し、その中間像及び前記2眼式画像を併せて多眼式画像として表示する受信部とを備えたことを特徴とする画像伝送表示装置である。
第8の本発明は、2眼式画像から左右それぞれの画像を基準とした視差を計算し、視差が正しく計算できない領域では、その領域近傍における所定の領域を物体の輪郭により分割して出来る2つの領域のそれぞれの視差のうち、遠くを示す方の視差を用いて、前記所定の領域におけるエッジ強度をもとに、エッジ強度の強い画素において視差が大きく変化し、エッジ強度の弱い画素において視差が小さく変化するように視差を補充し、前記2眼 式画像及び前記補充後の視差を符号化し伝送する送信部と、その伝送された符号化信号を受信し、その受信信号から前記2眼式画像及び前記補充後の視差を復号化し、その復号された2眼式画像及び補充後の視差を用いて中間像を生成し、その中間像及び前記2眼式画像を併せて多眼式画像として表示する受信部とを備えたことを特徴とする画像伝送表示装置である。
第9の本発明は、視点の異なる2つの画像について、それぞれの画像を基準として画素毎の対応を求めて視差を推定する手段と、視差推定が行えない領域において、その領域近傍における所定の領域を物体の輪郭により分割して出来る2つの領域のそれぞれの視差のうち、遠くを示す方の視差を用いて、前記所定の領域におけるエッジ強度をもとに、エッジ強度の強い画素において視差が大きく変化し、エッジ強度の弱い画素において視差が小さく変化するように前記視差推定が行えない領域での視差を決定する手段と、前記画像及び前記得られた視差から中間像を生成する手段とを備えたことを特徴とするステレオ画像の中間像生成装置である。
【0016】
本発明は、例えば、視点の異なる2つの画像について、画素毎の対応を求めて視差を推定する際に、オクルージョンなどによって視差推定が行えない領域において、周囲での視差と物体の輪郭をもとに、視差推定が行えない領域での視差を決定し、それぞれの画像を基準として中間像を生成し、更にその生成された中間像を統合することにより、画像全体で中間像を生成する。
【0017】
また、視差推定が行えない領域での視差を求める場合に、物体輪郭のエッジ強度に応じて、初期視差推定で求められた視差に対する重みを変化させて視差を求めることができる。
【0018】
また、本発明は、観察者の位置を検出することにより、その検出した観察者の位置に応じた立体画像などを表示することができる。
【0019】
【発明の実施の形態】
以下に、本発明をその実施の形態を示す図面に基づいて説明する。
【0020】
図1は、本発明の第1の実施の形態における中間像生成装置の構成図である。図1において、1Lは左画像用フレームメモリ、1Rは右画像用フレームメモリ、2Lは左画像を基準とした視差を求める初期視差推定部、2Rは右画像を基準とした視差を求める初期視差推定部、3L,3Rはそれぞれ左右の画像を基準とした視差を記憶する視差メモリ、4L,4Rはそれぞれ左右の画像の輪郭を抽出する輪郭抽出部、5L,5Rはそれぞれ左右の画像の輪郭を記憶する輪郭メモリ、6L,6Rはそれぞれ左右の画像の輪郭部近傍の視差を求める輪郭部視差推定部、7L,7Rはそれぞれ左右の画像を基準とした中間像を生成する中間像生成部、8は左右の画像を基準とする中間像を統合する中間像統合部である。
【0021】
以下に上記構成の動作について、図面を参照しながら説明する。
【0022】
まず、左画像用フレームメモリ1L、右画像用フレームメモリ1Rは、それぞれ左右の画像を記憶する。
【0023】
次に、初期視差推定部2Lは左画像を基準として(数1)に示すSSDによる相関演算をブロック毎に行い、SSDを最小とするdl を視差として左右の画像間の画素の対応を求め、dl を(x,y)における左画像基準の初期視差として視差メ モリ3Lに視差データを書き込む。
【0024】
【数1】

Figure 0003826236
【0025】
図2は、左画像を基準とした初期視差の模式図である。図2において、21は前景視差、22は背景視差、23は物体輪郭線、24はオクルージョン領域である。ブロック毎の相関演算による初期視差では、手前にある前景に対する視差データ21と背景に対する視差データ22の境界が物体輪郭線23とは一致せず、また、前景の左側(右画像基準の初期視差の場合には前景の右側)に対応がとれず視差が原理上正しく計算できないオクルージョン領域24が存在する。
【0026】
また、初期視差推定部2Rは、右画像を基準として(数2)に示すSSDによる相関演算を行い、左右の画像間の画素の対応を求め、右画像基準の初期視差として視差メモリ3Rに視差データを書き込む。
【0027】
【数2】
Figure 0003826236
【0028】
一方、輪郭抽出部4L,4Rは、それぞれ左右の画像のエッジ検出を行い、物体の輪郭を抽出して、輪郭メモリ5L,5Rにそれぞれ書き込む。
【0029】
次に、輪郭部視差推定部6Lは、左画像基準の初期視差と左画像の物体輪郭線から、物体輪郭線近傍での視差推定を行う。輪郭部視差推定部6Lは、(数3)に示す左右の画像を基準とした初期視差の差が、一定のしきい値以上となる領域をオクルージョン領域とみなし、オクルージョン領域での視差データを通常、視差データが取り得ない値に変更する(例えば、画像の大きさやSSD計算時の探索領域の大きさよりも絶対値の大きな値にすればよい。具体的には、探索領域が±50画素の場合には51もしくは−51をオクルージョン識別用のコードとする)。
【0030】
【数3】
Figure 0003826236
【0031】
次に、物体輪郭線に沿って視差推定を行う。図3は、輪郭部視差推定部6Lによる物体輪郭線近傍での視差推定の説明図である。図3において、31は視差推定を行うための矩形領域である。輪郭部視差推定部6Lは、物体輪郭線に沿って図3に示す矩形領域31内の視差を推定する。図4は、矩形領域内での視差推定の説明図である。矩形領域31は長手方向が物体輪郭線23に対してほぼ垂直になるように設定され(例えば、予め45゜きざみや30゜きざみのものを用意しておく)、物体輪郭線23で2つの領域に分割される。そして、分割された領域内でのそれぞれの初期視差データの分散を計算する。
【0032】
図4に示した矩形領域31では、物体輪郭線23で左右に分割された領域のうち、左の領域には背景視差22、オクルージョン領域24、前景視差21が含まれているため、ここでの初期視差の分散は大きくなる。一方、右の領域には前景での視差のみが含まれているため、領域内での初期視差の分散は小さくなる。したがって、矩形領域31を分割したそれぞれの領域における視差の分散に対してしきい値を設定し、視差の分散がしきい値以上の領域、すなわち、分割した左の領域に対しては、図4に示すように、物体輪郭線23の左側に位置する矩形の一辺31aが存在する場所の視差データを用いて、オクルージョン領域24内及び物体輪郭線23までの視差データを補充する(黒矢印に示す)。
【0033】
このようにして、オクルージョン領域24近傍における視差を背景視差22(物体輪郭線及びオクルージョン領域近傍で遠くを示す方の視差)から決定する。
【0034】
以上のようにして、視差の境界と物体輪郭線とが一致するように、つまり物体輪郭線23までの領域で視差を補充して視差分布を決定する。例えば図4では、物体輪郭線23の近傍の視差を、物体輪郭線23から左側の近傍領域については背景視差22により補充する。物体輪郭線23から右側の近傍領域については、矩形領域31の分散が低いため、視差の補充はしない。
【0035】
以上のように決定された視差により、輪郭部視差推定部6Lは視差メモリ3Lのデータを更新する。
【0036】
また、輪郭部視差推定部6Rも、輪郭部視差推定部6Lと同様に右画像を基準とした視差推定を物体輪郭線に沿って行い初期視差データを変更し、視差メモリ3Rに書き込む。
【0037】
次に、中間像生成部7L,7Rは、左右の画像データを画像用フレームメモリ1L,1Rから、と輪郭部視差推定部6L,6Rが更新した左右それぞれの画像を基準とした視差データを視差メモリ3L,3Rから、それぞれ読みだし、(数4)で示す座標値のシフトを行う。
【0038】
【数4】
Figure 0003826236
【0039】
(数4)においてαの値を0<α<1の範囲で変化させることにより、左右の画像の任意の中間像を生成できる。
【0040】
次に、中間像生成の方法を以下に示す。
【0041】
図6は、本実施の形態におけるステレオ画像の中間像生成方法を示す図である。図6において、初期視差63,64は、それぞれ左右の画像61,62を基準として(数1),(数2)による相関演算により推定する。この初期視差には、オクルージョンにより視差推定が原理上行えない領域70,71が存在する。
【0042】
次に、左右それぞれの画像を基準とした初期視差63,64に対して、前述した物体輪郭線近傍での視差推定を行ない、上記視差推定が原理上行えない領域での視差を決定する。
【0043】
そして、上記の視差推定結果65,66と左右の画像61,62から、(数4)に示す式により、左右の画像を画素毎に水平方向にシフトして、左右の画像をそれぞれ基準とした中間像67,68を生成する。この左右の画像を基準とした中間像では、物体輪郭線での視差の不連続に起因して中間像が生成されない領域(抜け領域)72,73が、物体のそれぞれ反対側(左画像基準では物体の右側、逆に右画像基準では物体の左側)に生じる。また、抜け領域の判別は、各画素に対応して専用のフラグを用意するか、特定のコード(例えば8ビットの画像であれば、255や0)を抜け領域識別用に割り当てることによって行う。
【0044】
そして、左右の画像をそれぞれ基準とした中間像67,68を後述する方法により統合することによって、画像全体で抜け領域のない中間像69を生成する。図1の中間像統合部8は、左右それぞれの画像を基準として生成された中間像を統合する。図5は、左右それぞれの画像を基準として生成された中間像を示す。前述のようにして、左右それぞれの画像に対して視差データにより座標値のシフトを行なうと、それぞれの中間像には、前景と背景での視差の不連続によりシフトの量が異なるため、中間像が生成されない領域が左右それぞれの画像に生じ、図5の斜線部分がこれを示している。図中、51は左画像を基準とした中間像で像が生成されない領域であり、52は右画像を基準とした中間像で像が生成されない領域である(左画像を基準とした中間像では前景物体の右、右画像を基準とした中間像では前景物体の左に生じる)。この、中間像が生成されない領域51,52は、左右の画像をそれぞれ基準とした場合に前景対象物に対して反対側に生じるため、左右それぞれの画像を基準として生成された中間像を統合することにより、画像全体で中間像を生成する。中間像統合部8は、画像中の各座標について、左右の画像を基準とした中間像が両方とも生成されている場合には、両方の値に基づく値(例えば両者の平均)を出力し、片方だけで中間像が生成されている場合にはそのデータを出力する。
【0045】
以上のように本実施の形態によれば、視差推定が困難な物体輪郭線近傍において、オクルージョン領域を左右の画像を基準とした初期視差から検出し、検出したオクルージョン領域での視差を周囲の視差データから決定する。また、物体輪郭線で視差が不連続(なだらかに変化しないよう)になるように視差推定を行うことにより、生成された中間像の輪郭付近での画質を向上させる。さらに、左右の画像を基準とする中間像を合成することにより画像全体の画素について中間像を生成する。
【0046】
図7は、本発明の第2の実施の形態における中間像生成装置の構成図である。図7において、9L,9Rはそれぞれ左右の画像を基準とした中間像を生成し、同時に、中間像についての視差分布を出力する中間像生成部、10L,10Rは中間像生成部9L,9Rが生成した中間像を修正する中間像修正部である。図中、中間像生成部9L,9R、中間像修正部10L,10R以外の構成は、本発明の第1の実施の形態と同一であるので図1と同一の符号を付し説明を省略し、以下に中間像生成部9L,9Rおよび中間像修正部10L,10Rの動作について説明する。
【0047】
中間像生成部9L,9Rは、左右の画像データを画像用フレームメモリ1L,1Rから、輪郭部視差推定部6L,6Rが更新した左右それぞれの画像を基準とした視差データを視差メモリ3L,3Rから、それぞれ読みだし、(数4)で示す座標値のシフトを行い、中間像を生成する。さらに、(数4)における画像データを視差に置き換えて演算し、中間像についての視差を計算する。
【0048】
中間像修正部10L,10Rは、中間像生成部9L,9Rが生成した中間像において中間像が生成されない領域(抜け領域)と接する背景領域側の境界近傍の数画素を抜け領域に編入することにより、中間像統合部8による統合後の中間像中で前景領域の物体輪郭線近傍で偽輪郭が生じることを防ぐ。この偽輪郭は、輪郭抽出の誤りに起因して、前景に含まれる画素が背景として処理されたり、もしくは、その逆の処理がなされた場合に生じる(特に前景の画素が背景として処理された場合に視覚的に目立ちやすい)。
【0049】
図8は、中間像修正部10L,10Rによる中間像の修正を説明する図である。図8において、81,82は左右の画像を基準とした中間像、72,73は中間像生成部9L,9Rにより中間像が生成されなかった抜け領域、83,84は中間像修正部10L,10Rにより抜け領域に編入される修正領域、85は修正領域を抜け領域として中間像81,82を統合し、偽輪郭が生じないように処理した中間像である。
【0050】
図9は、修正領域の設定方法を示す図であり、中間像生成部9L,9Rによって計算された中間像についての視差を示す。図9において、91は前景視差、92は背景視差、93は抜け領域、94は修正領域である。修正領域94は、抜け領域93と接する背景視差92中の水平方向の幅を1〜3画素程度の領域として設定する(これは、輪郭の抽出位置の精度が上記1〜3画素の範囲に入っていると仮定することと同じである)。背景視差92と前景視差91の識別は、図9中A,Bで示すように、抜け領域93を水平方向に走査し、抜け領域93と左右で隣接する2つの視差領域のうち視差の絶対値の小さい(すなわち奥に位置する)側を背景視差として行う。
【0051】
上述のように視差地図上に設定した修正領域より、これに対応する(視差地図上の修正領域と同一の座標値の)中間像中の領域を抜け領域に編入した後、左右の画像を基準として生成した中間像を統合することで、統合後の中間像において前景の物体輪郭線近傍で偽輪郭が生じることを防ぐことができる。
【0052】
以上のように本実施の形態によれば、輪郭抽出結果に基づいて推定された視差をもとに中間像を生成する際に、中間像中に偽輪郭が生じることを防ぐことができる。
【0053】
次に、画像輪郭部の視差推定の方法について上記実施の形態と異なる第3の実施の形態の方法を以下に示す。上記の実施の形態では画像輪郭抽出部において、輪郭のあるなしを2値で判定し、輪郭部と判定された部分での小領域の視差の分散をもとに視差の修正を行った。ここでは、輪郭部をエッジの強度で判断し、エッジ強度に応じて視差の修正の仕方を変化させる。図12に視差修正の構成(方法)を示す。図12において、121〜124は各方向成分を持つ空間フィルタ手段であり以下に示すエッジ強度を算出する。125は算出されたエッジ強度の統合手段であり、126は輪郭部視差推定手段であり、3は視差を記録するための視差メモリ手段であり、これは上記実施の形態のものと同様である。
【0054】
以上のように構成された輪郭部の視差推定方法(及び手段)について以下にその動作及び原理を述べる。
【0055】
まず、エッジ強度の算出方法であるが、図11に示すように各画素に対して空間的な重みを付け、2次元の方向性を持ったHPF(ハイパスフィルタ)やBPF(バンドパスフィルタ)を構成する。図11の(a)(d)は垂直方向の連続するエッジを検出するものであり、(b)(c)(e)は斜め方向のエッジを検出するものである。水平及び反対方向の斜めエッジの検出は、図11の係数の配置の方向を90度回転させればよい。またエッジの方向は45度刻みに限る必要はなく、30度刻みなどでもよいのは当然である。エッジ強度の算出法を式で示すと(数5)になる。
【0056】
【数5】
Ed(x,y) = Σij Wt(i,j)*P(x+i,y+j) / Σij|Wt(i,j)|
ここでEdはエッジの強度、Wtは図11に1例として示したフィルタの重み、Pは画素の規格化された信号レベル、i,j は図11に示すフィルタ係数の存在する領域である。
【0057】
統合手段125は、このようにして求められたエッジ強度を統合し、その強度のレベルの絶対値の最大値とその最大値を出したエッジの方向を輪郭部視差推定手段126に送る。輪郭部視差推定手段126では、一定の領域に対し、入力された初期視差を統合し視差を再推定する。統合の方法を(数6)に示す。
【0058】
【数6】
Figure 0003826236
ここでDsは初期視差であり、Dsnは再推定された視差であり、maxcはエッジの方向に対して法線方向に中心(i=±1,j=±1) からの最大値をとる演算子でi=0,j=0 の中心では0の値をとるものとする。初期視差Dsが求めたれていない領域は演算範囲(i,j)から除外する。ここでの(i,j)は図13に示す再推定に使用する演算範囲である。図13において、131は再推定に使用する演算範囲であり、132は再推定を行う演算範囲の中心であり、134、135、136は画像のエッジ強度の強い部分すなわちエッジであり、137はエッジに対する法線方向を示し再推定の演算の方向を示す。図13(a)から(c)に再推定に使用する演算範囲に対する代表的なエッジの位置を示し、このときの再推定時の重みとなる 1/( 1 + maxc[ Ed(x+i,y+j)] ) の値を(d)から(f)にエッジ強度とともに示す(i,j を1次元として表示)。この再推定を定性的に述べると再推定の中心部では1の重みとし、その他の部分ではエッジがない限り重み1で加算され、エッジがある場合(エッジ強度に対応して)重みを低下させる。またエッジをまたいで再推定の演算範囲が延びるとき、エッジ強度の最大のときの重みを維持するようにしている。
【0059】
このようにエッジ強度に応じて、エッジの周囲の再推定を行うことにより、第1の実施の形態よりなめらかで且つエッジをまたいで再推定の影響が及ばないようにしている(エッジ強度に応じて影響の度合いが変化し、強度が大きいとき影響はへり、強度が小さいとき影響は増える)。
【0060】
以上のように、本実施の形態では、エッジ強度に応じた画像の輪郭部の視差推定方法を行うことにより、再推定された視差がよりなめらかで、且つ輝度又は色エッジの情報によりエッジを境界として影響度合いを自動的に調整することを可能とし、画像の輪郭部での視差推定値の変化をなまることなく推定することを可能とする。またこのようにして求めた視差を用い、画像間の中間視点から見た画像を上記第1、又は第2の実施の形態のように合成することにより、複数画像の中間視点画像が、よりなめらかで且つ画像のエッジ部分で画像がなまることなく合成することが可能となる。
【0061】
本実施の形態では、視差の再推定の方法を、重み付きの平均としその重みを画像のエッジの強度で変化させ、上記のような画像のエッジ強度に応じた視差の再推定を行った。画像のエッジ強度に応じた視差の推定方法としては、このほかに視差の変化量に重みを掛けたエネルギーEを(数7)のように定義し、重みWを画像のエッジ強度に応じて小さくし、画像のエッジ強度が大きいところで視差が変化しても定義されたエネルギーが大きくならないようにし、定義されたエネルギーを最小にするようにして画像エッジ部の視差の再推定をおこなっても上記の再推定とほぼ似たような結果を得ることが可能である。
【0062】
【数7】
E(f(x,y,u,ux,uy))= ∫W(x,y)((∂u/∂x)2 + (∂u/∂y)2)dxdy
ここで u は視差を示す。
【0063】
次に、中間像を生成する際の画素の書き込み方法について以下に示す。
視差推定時に基準とした画像中の座標値(x,y) と、(数4)に示す中間像の生成により、生成された画像中の座標値(s,t) の関係は、(数8)のようになる。
【0064】
【数8】
Figure 0003826236
【0065】
図14は、(数8)の座標変換により基準画像中の画素の座標値が、中間像中の画素間に変換されることを示す。すなわち、図14中、○は画素の座標を示し、△は基準画像中の画素●が変換された画素間の座標を示し、□は変換によって中間像中の画素●に変換される基準画像中の座標を示す。基準画像のもつ空間解像度を劣化させずに中間像を生成するためには、□の座標における画素値を●の画素に書く必要がある。その方法について以下に説明する。
【0066】
図14(a)の●と□の差をΔx、図14(b)中の△と●の差をΔsとすると、(数8)のテイラー展開より、
【0067】
【数9】
Figure 0003826236
【0068】
となる。(数8)と(数9)より、ΔxとΔsの関係は、(数10)となる。
【0069】
【数10】
Figure 0003826236
【0070】
(数10)のΔxの係数の絶対値がある程度以上(例えば0.01以上)の場合、これをΔxについて解き、(数11)を得る。
【0071】
【数11】
Figure 0003826236
【0072】
逆に、(数10)をΔxついて解かない場合には、中間像の画素への書き込みは行わない。
【0073】
図19に、上述した方法により視差と視点パラメータを用いて中間像生成を行う際のフローチャートを示す。図19では、x,yのインクリメントを1としているが、視差の変化に応じてインクリメントを1以下にすることにより中間像の書き込まれない画素の発生を防止できる。
【0074】
以上、説明した方法により、視差と基準画像を用いて、基準画像の空間解像度を劣化させずに中間像を生成することができる。
【0075】
なお、本発明のすべての実施の形態において、左右の画像を基準とした中間像の統合方法は、双方の中間像が共に生成されている画素において、両者の平均を出力する方法に限る必要はなく、中間像の視点位置のパラメータαに応じた重み付け加算を行ってもよく、本発明に含まれる。
【0076】
図10は、中間像の視点位置のパラメータαに対する重みの分布の例を示したものであり、図10(a)のような直線的に変化する重みを用いても、図10(b)のような曲線的に変化する重みを用いてもよい。画素値の統合は、(数12)による重み付け加算によって行う。
【0077】
【数12】
Figure 0003826236
【0078】
なお、本発明のすべての実施の形態において、画像間の相関演算としては残差平方和(SSD)に限る必要はなく、残差絶対値和(SAD)を用いても同様の効果を得ることができ、そのような実施の形態ももちろん本発明に含まれる。
【0079】
また、本発明の実施の形態では画像間で視差を求める例を示したが、画像間で動きベクトルを求めることにより、撮影時のカメラの制約(2台のカメラの厳密な水平位置関係、光軸の方向合わせ等)を緩めることができ、そのような実施の形態も本発明に含まれる。すなわち、2枚の画像を撮影するときのカメラの光軸の向きや相互の位置関係にずれがある場合においても、水平方向の視差に加えて垂直方向の視差も求める(すなわち動きベクトルを求める)ことにより、垂直方向の画像間のずれを補正でき、撮影時のカメラの姿勢に関する制約を緩めて中間像を生成することが可能となる。
【0080】
また同様に、同一のカメラで異なる時間に撮影された画像に対しても、画像間で動きベクトルを求めることにより、撮影時のカメラの姿勢に関する制約を緩めて、時間的な中間像を生成することができ、そのような実施の形態も本発明に含まれる。
【0081】
ここで、動きベクトルを用いた場合の中間像生成の方法について説明する。動きベクトルを用いた際の、変換前後の座標値の関係は(数13)となる。
【0082】
【数13】
Figure 0003826236
【0083】
図15は、動きベクトルを用いた中間像生成の説明図である。図15において○は画素の座標であり、△は基準画像中の画素●が変換された座標、□は中間像中の●に変換される基準画像中の座標を示す。基準画像中の●と□の差ベクトルを(Δx,Δy)、中間像中の△と●の差ベクトルを(Δs,Δt)とすると、視差を用いた中間像生成時と同様にして(数14)を得る。
【0084】
【数14】
Figure 0003826236
【0085】
(数14)の右辺の係数行列の行列式の絶対値がある程度以上(例えば0.01以上)の場合、逆行列を用いて(数15)よりΔx、Δyを計算する。
【0086】
【数15】
Figure 0003826236
【0087】
逆に、上記係数行列の行列式の絶対値が小さい場合には、中間像の画素への書き込みは行わない。
【0088】
図20に、上述した方法により動きベクトルと視点パラメータを用いて中間像生成を行う際のフローチャートを示す。図20では、x,yのインクリメントを1としているが、視差の変化に応じてインクリメントを1以下にすることにより中間像の書き込まれない画素の発生を防止できる。
【0089】
以上、説明した方法により、動きベクトルと基準画像を用いて中間像を生成することができる。
【0090】
次に、本発明による中間像生成手段を用いた視点追従型画像表示の方法を示す第4の実施の形態について説明する。
【0091】
図16は、観察者の視点に応じた画像表示を行う構成の一例である。図16において、161は観察者、162は観察者の位置を検出するための位置検出手段、163はディスプレイ、164は中間像生成手段、165は2台のカメラからなる撮像手段、166は撮像された画像データを蓄積する蓄積手段、167は映像ソースを切り替える映像ソース切替手段である。以下に各構成の動作について説明する。
【0092】
撮像手段165は視点の異なる1組の画像を入力する。蓄積手段166は撮像手段165によって得られたステレオ画像を記録、再生する。映像ソース切替手段167は入力を撮像手段165と蓄積手段166のいずれかに設定する。位置検出手段162は観察者の位置を検出する。中間像生成手段164は、撮像手段165もしくは蓄積手段166から得られたステレオ画像から左右の画像を基準とした視差推定を(オクルージョン領域も含めて)行い、位置検出手段162からの視点情報に基づき中間像を生成する(ディスプレイ163が2D表示の際には、中間像をひとつ、ステレオ表示の際には右目用、左目用の中間像をそれぞれ生成する)。
【0093】
以上のように本実施の形態によれば、2枚の画像を撮像・伝送し、受信側で視差を推定し、観察者の位置を検出することにより、少ない伝送情報量で観察者の視点に応じた臨場感のある画像表示が可能となる。
【0094】
なお、本実施の形態では位置検出の結果に応じた表示の例について説明したが、複数の中間像を同時に生成し表示することにより、多人数で同時に各人の視点に応じた画像を観察することができ、本発明に含まれる。
【0095】
また、本実施の形態では受信側で視差推定を行う例について説明したが、視差推定は送信側で行ってもよく、そのような第5の実施の形態について以下に説明する。
【0096】
図17は、送信側で視差推定(もしくは動き推定)を行うシステムの送信ブロックの一例である。図17において、170は左画像を基準とした視差VL を推定する視差推定手段、171は右画像を基準とした視差VR を推定する視差推定手段、172a〜dは符号化器、173a,bは復号化器、174は左画像Lと左画像を基準とした視差VL から右画像Rを予測する予測手段、175は左画像を基準とした視差VLから右画像を基準とした視差VRを予測する予測手段、176a,bは穴埋め手段である。以下に上記構成の動作について説明する。
【0097】
まず、左画像Lは符号化器172aによって符号化される。また、視差推定手段170、171によって左右の画像をそれぞれ基準とした視差VL,VRが推定される。オクルージョン等により視差が正しく推定されない領域については、穴埋め手段176a,176bによって視差が決定される。次に、左画像を基準とした穴埋め後の視差は符号化器172bにより符号化される。符号化された左画像を基準とした穴埋め後の視差は復号化器173aにより復号化され、予測器174による右画像Rの予測と、予測器175による穴埋め後の右画像を基準とした視差の予測に用いられる。
【0098】
予測器175による右画像を基準とした視差VR の予測は、左画像を基準とした視差を用いて、(数16)として計算する。
【0099】
【数16】
Figure 0003826236
【0100】
右画像は予測器174による予測との残差をとり、符号化器172dによって符号化される。穴埋め後の右画像を基準とした視差VR は、予測器175による予測との残差をとり、符号化器172dにより符号化される。
【0101】
図18は、送信側で視差推定を行うシステムの受信ブロックの一例である。図18において、181a〜dは復号化器、174は右画像Rの予測器、175は右画像を基準とした視差の予測器である。符号化された左画像L、左画像基準の視差VL、右画像基準の視差VRの予測誤差、右画像Rの予測誤差はそれぞれ復号化器181a〜181dにより復号化される。右画像は予測器174による予測と復号化された右画像の予測誤差を加算して復元される。右画像基準の視差は予測器175による予測と復号化された予測誤差を加算して復元される。
【0102】
上記の構成により、送信側で視差推定と穴埋め処理を行うことにより、受信側での演算量を低減することができ、受信側の装置規模を縮小することができる。
【0103】
以上述べたところから明らかなように、本発明によれば、視差推定が困難な物体輪郭線近傍において、オクルージョン領域を左右の画像を基準とした初期視差から検出し、検出したオクルージョン領域での視差を周囲の視差データから決定して、物体輪郭線で視差が不連続になるように視差推定を行うことにより、生成された中間像の輪郭付近での画質を向上させることができる。
【0104】
また、左右の画像を基準とする中間像を統合することにより画像全体の画素について中間像を生成することができる。したがって、1組のステレオ画像から2画像間の任意の視点に対応する中間像を生成することができる。
【0105】
また、左右の画像を基準として生成した中間像中の抜け領域と接する背景側の数画素を統合に用いないことにより、統合後の中間像中に偽輪郭が生じることを防ぐことができる。
【0106】
さらに、動きベクトルを求めることにより、撮像時のカメラの姿勢に要求される制約を緩和することができる。
【0107】
【発明の効果】
以上述べたところから明らかなように本発明は、物体輪郭線近傍での視差を推定し、複数の画像の、例えば1組のステレオ画像から2画像間の、任意の視点に対応する中間像を生成できるという長所を有する。
【0108】
また本発明は、観察者の位置を検出する位置検出手段を備える場合は、観察者の位置に応じた画像を表示することができるという利点がある。
【図面の簡単な説明】
【図1】本発明の第1の実施の形態における中間像生成装置の構成図である。
【図2】同第1の実施の形態における左画像を基準とした初期視差の説明図である。
【図3】同第1の実施の形態における物体輪郭線近傍での視差推定の説明図である。
【図4】同第1の実施の形態における物体輪郭線近傍での視差推定の詳細な説明図である。
【図5】同第1の実施の形態における中間像中で像が生成されない領域の説明図である。
【図6】同第1の実施の形態における左右それぞれの画像を基準として生成された中間像を統合する説明図である。
【図7】本発明の第2の実施の形態における中間像生成装置の構成図である。
【図8】同第2の実施の形態における中間像統合方法の説明図である。
【図9】同第2の実施の形態における修正領域を示す図である。
【図10】統合時に用いる重みの特性の一例を示す図である。
【図11】フィルターの重み係数の1例を示す図である。
【図12】本発明の第3の実施の形態における輪郭部視差推定方法を示す図である。
【図13】同第3の実施の形態における輪郭部視差推定の演算領域を示す図である。
【図14】中間像の書き込み方法の一例を示す図である。
【図15】中間像の書き込み方法の一例を示す図である。
【図16】本発明の第4の実施の形態における視点に応じた画像を表示するシステムを示す図である。
【図17】本発明の第5の実施の形態の送信側で視差推定を行うシステムの送信部の構成の一例を示す図である。
【図18】送信側で視差推定を行うシステムの受信部の構成の一例を示す図である。
【図19】視差を用いた中間像生成方法を示すフローチャートである。
【図20】動きベクトルを用いた中間像生成方法を示すフローチャートである。
【符号の説明】
1L 左画像用フレームメモリ
1R 右画像用フレームメモリ
2L、2R 初期視差推定部
3L、3R 視差メモリ
4L、4R 輪郭抽出部
5L、5R 輪郭メモリ
6L、6R 輪郭部視差推定部
7L、7R 中間像生成部
8 中間像統合部
9L、9R 中間像生成部
10L、10R 中間像修正部
24 オクルージョン領域
162 位置検出手段[0001]
BACKGROUND OF THE INVENTION
  The present inventionFor example,3D video display system,Intermediate image generation methodIntermediate image generator,Disparity estimation method,as well asImage transmission displayIt relates to the device.
[0002]
[Prior art]
Conventionally, various stereoscopic video systems have been proposed, but a multi-view stereoscopic video system is promising as a system that allows a plurality of people to observe a stereoscopic moving image without wearing special glasses. In the multi-view stereoscopic video system, the more the number of cameras and display devices used, the more the observer can feel natural dynamic parallax, and the observation with a large number of people becomes easier. However, there are limits to the number of cameras that can be used practically due to restrictions such as the scale of the imaging system and the setting of the optical axis of the camera. In the transmission and storage processes, it is desired to reduce the amount of information that increases in proportion to the number of cameras. Therefore, if an intermediate image can be generated from a binocular stereo image and a multi-view stereo image can be displayed on the display side, the burden on the imaging system can be reduced, and the amount of information during transmission and storage can be reduced.
[0003]
[Problems to be solved by the invention]
In order to generate an intermediate image that should be seen at an arbitrary viewpoint between different viewpoints from a plurality of images having different viewpoints, it is necessary to estimate the depth by obtaining a correspondence between pixels between the images. The method for obtaining the correspondence is roughly divided into a gradient method and a block matching method. Of these, the gradient method is less accurate with respect to a large estimated value, and is susceptible to noise because of the use of the gradient. Further, the gradient method is generally disadvantageous in terms of real-time processing because it requires repeated calculation to converge the estimated value. On the other hand, the block matching method is robust against noise, but the appropriate block size varies depending on the magnitude of the luminance gradient and whether or not the estimated value is discontinuous, and the appropriate block size depends on the estimated value distribution. There is a problem.
[0004]
Kaide et al. Have tried to solve the above problems by iterative calculations that update the block size, position, and parallax using an evaluation scale that takes into account the luminance gradient, noise, and parallax distribution (T. Kanade, M Okutomi: "A Stereo Matching Algorithm with an Adaptive Window: Theory and Experiment", Technical Report CMU-CS-90, School of Computer Science, CMU, Pittburgh, PA 15213, (1990)). ing.
[0005]
In addition, a fundamental problem in association between images is that it is difficult to accurately obtain correspondence because of occlusion in the vicinity of a parallax edge whose depth changes discontinuously. However, the estimated value in the vicinity of the parallax edge determines the contour of the object in the generated intermediate image, and thus is very important when synthesizing the intermediate image. That is, if an estimation error occurs near the parallax edge, the pixels in the foreground area stick to the background side, or conversely, the pixels in the background area stick to the foreground, the object outline is disturbed, or the background area near the object outline A false contour will occur.
[0006]
Also, as a method other than the correspondence between two images by the gradient method or the block matching method, the parallax compensation prediction method by affine transformation (Fujii, Harashima, "Multi-view 3D image coding by affine transformation", electronic information communication) Academic Society Autumn Meeting, D-200, (1993)), Method using EPI (Epipolor Plane Image) (Naemura, Harashima, "Interpolation of multi-view images by autocorrelation modeling", IEICE Autumn Meeting, D- 267, (1993)), but since several to several tens of images are used, a large burden is placed on the imaging system when applied to moving images.
[0007]
  The present invention considers the problems in the conventional stereoscopic image display method,For example,Estimate the parallax in the vicinity of the object contour, and generate an intermediate image corresponding to an arbitrary viewpoint between two images from a set of stereo images, for example.,Intermediate image generation method, Intermediate image generation apparatus, parallax estimation method, and image transmission displayAn object is to provide an apparatus.
[0008]
[Means for Solving the Problems]
  FirstAccording to the present invention, for two images with different viewpoints, a parallax is estimated by obtaining a correspondence for each pixel with reference to each image, and in a region where the parallax cannot be estimated,Among the parallaxes of each of the two areas that can be obtained by dividing a predetermined area in the vicinity of the area by the contour of the object,SaidPredeterminedBased on the edge strength in the region, the parallax changes greatly in pixels with strong edge strength, and the parallax changes small in pixels with low edge strength.Cannot estimate parallaxDetermine the parallax in the region, from the image and the obtained parallaxRespectivelyGenerate intermediate imageAnd integrating the generated intermediate imageThis is a method for generating an intermediate image of a stereo image.
In the second aspect of the present invention, the integration of the intermediate image is performed by not using data of a predetermined number of pixels on the background side among the data of the pixels adjacent to the area without data in the generated intermediate image. In the intermediate image generation method according to the first aspect of the present invention, the occurrence of false contours in the intermediate image is eliminated.
In the third aspect of the present invention, the intermediate image generation method according to the first or second aspect of the present invention is characterized in that the integration of the intermediate images is performed by weighting the generated intermediate image in accordance with the direction of the viewpoint. It is.
According to a fourth aspect of the present invention, there is provided an image memory for storing two images having different viewpoints, an initial parallax estimating means for calculating a correspondence between pixels between the two images and calculating an initial parallax, and an initial parallax memory for storing the initial parallax. An object contour detection means for detecting an object contour from an image, a contour memory for storing the object contour, and a parallax in the vicinity of the object contour from the initial parallax and the object contour. In the pixel with high edge strength, based on the edge strength in the region near the object contour line, using the disparity indicating the far side among the parallaxes of the two regions that can be divided by the object contour line Contour parallax estimation means for determining that the parallax changes greatly and the parallax changes small in pixels with weak edge strength, and intermediate image generation for generating an intermediate image from the image and the parallax An intermediate image generation apparatus characterized by comprising a means.
According to a fifth aspect of the present invention, for a plurality of images having different viewpoints, the initial disparity is estimated by obtaining a correspondence for each pixel with reference to each image, and the disparity estimation in the region where the initial disparity estimation cannot be performed In accordance with the edge strength of the object contour within the predetermined region, using the disparity indicating the distance among the parallaxes of each of the two regions formed by dividing the predetermined region in the vicinity by the contour of the object, The parallax of the plurality of images is calculated by changing the weight for the parallax obtained in the initial parallax estimation so that the parallax changes greatly in a pixel with strong edge strength and changes slightly in a pixel with low edge strength. This is a parallax estimation method characterized by this.
A sixth aspect of the present invention is a method for generating an intermediate image of a plurality of images, wherein an intermediate image is generated from the image using the parallax obtained by the parallax estimation method of the fifth aspect of the present invention.
In a seventh aspect of the present invention, a transmission unit that transmits a binocular image and the transmitted binocular image are received, and parallax information is calculated from the received binocular image with reference to the left and right images. For the parallax in the area where the parallax cannot be calculated correctly, among the parallaxes of the two areas that can be obtained by dividing a predetermined area in the vicinity of the area by the contour of the object, Based on the edge intensity in a predetermined area, the parallax in the area where the parallax cannot be calculated correctly so that the parallax changes greatly in a pixel with a strong edge intensity and the parallax changes in a pixel with a low edge intensity, A receiving unit that generates an intermediate image using the binocular image and the obtained parallax information, and displays the intermediate image and the binocular image together as a multi-view image; Painting A transmission display device.
In the eighth aspect of the present invention, a parallax can be calculated from a binocular image with reference to the left and right images, and in a region where the parallax cannot be calculated correctly, a predetermined region in the vicinity of the region can be divided by the contour of the object 2 Of the parallaxes in each of the two areas, the parallax that indicates the far side is used, and the parallax changes greatly in the pixel with the strong edge intensity and the parallax in the pixel with the weak edge intensity based on the edge intensity in the predetermined area. The parallax is replenished so that changes slightly, and the two eyes A transmission unit that encodes and transmits the formula image and the supplemented parallax, and the transmitted encoded signal, and decodes the binocular image and the supplemented parallax from the received signal, And a receiving unit that generates an intermediate image using the binocular image and the parallax after replenishment, and displays the intermediate image and the binocular image together as a multi-view image. A transmission display device.
According to a ninth aspect of the present invention, there is provided a means for estimating a parallax by obtaining a correspondence for each pixel with respect to two images having different viewpoints, and a predetermined area in the vicinity of the area where the parallax cannot be estimated. Of the two regions that can be divided by the contour of the object, the disparity of the far side is used, and the disparity is large in the pixel having a strong edge strength based on the edge strength in the predetermined region. Means for determining a parallax in an area where the parallax estimation cannot be performed so that the parallax changes slightly in a pixel having a weak edge strength, and means for generating an intermediate image from the image and the obtained parallax This is an apparatus for generating an intermediate image of a stereo image.
[0016]
The present invention is based on the surrounding parallax and the contour of an object in an area where parallax estimation cannot be performed by, for example, occlusion when estimating the parallax for two images with different viewpoints. In addition, parallax is determined in a region where parallax estimation cannot be performed, intermediate images are generated based on the respective images, and the generated intermediate images are further integrated to generate an intermediate image for the entire image.
[0017]
Further, when obtaining the parallax in an area where parallax estimation cannot be performed, the parallax can be obtained by changing the weight for the parallax obtained in the initial parallax estimation in accordance with the edge strength of the object outline.
[0018]
Further, the present invention can display a stereoscopic image or the like corresponding to the detected position of the observer by detecting the position of the observer.
[0019]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, the present invention will be described with reference to the drawings illustrating embodiments thereof.
[0020]
FIG. 1 is a configuration diagram of an intermediate image generating apparatus according to the first embodiment of the present invention. In FIG. 1, 1L is a left image frame memory, 1R is a right image frame memory, 2L is an initial parallax estimation unit that obtains parallax with reference to the left image, and 2R is initial parallax estimation that obtains parallax with reference to the right image. 3L and 3R are parallax memories for storing parallax with reference to the left and right images, 4L and 4R are contour extraction units for extracting the left and right image contours, and 5L and 5R are respectively stored for the left and right image contours. Contour memories 6L and 6R are contour parallax estimation units for obtaining parallax in the vicinity of the contours of the left and right images, 7L and 7R are intermediate image generation units for generating intermediate images based on the left and right images, and 8 This is an intermediate image integration unit that integrates intermediate images based on left and right images.
[0021]
The operation of the above configuration will be described below with reference to the drawings.
[0022]
First, the left image frame memory 1L and the right image frame memory 1R store left and right images, respectively.
[0023]
Next, the initial parallax estimation unit 2L performs the correlation calculation by the SSD shown in (Equation 1) on the basis of the left image for each block, obtains the correspondence of the pixels between the left and right images using dl that minimizes the SSD as the parallax, The parallax data is written in the parallax memory 3L with dl as the initial parallax based on the left image at (x, y).
[0024]
[Expression 1]
Figure 0003826236
[0025]
FIG. 2 is a schematic diagram of initial parallax with the left image as a reference. In FIG. 2, 21 is a foreground parallax, 22 is a background parallax, 23 is an object outline, and 24 is an occlusion area. In the initial parallax based on the correlation calculation for each block, the boundary between the parallax data 21 for the foreground and the parallax data 22 for the background in front is not coincident with the object outline 23, and the left side of the foreground (the initial parallax of the right image reference) In this case, there is an occlusion region 24 in which the correspondence to the right side of the foreground cannot be taken and the parallax cannot be calculated correctly in principle.
[0026]
Further, the initial parallax estimation unit 2R performs a correlation calculation by the SSD shown in (Equation 2) using the right image as a reference, obtains a correspondence between pixels between the left and right images, and parallaxes into the parallax memory 3R as an initial parallax based on the right image. Write data.
[0027]
[Expression 2]
Figure 0003826236
[0028]
On the other hand, the contour extraction units 4L and 4R respectively detect the edges of the left and right images, extract the contours of the objects, and write them in the contour memories 5L and 5R, respectively.
[0029]
Next, the contour part parallax estimation unit 6L performs parallax estimation in the vicinity of the object outline from the initial parallax based on the left image and the object outline of the left image. The contour parallax estimation unit 6L regards an area where the difference between the initial parallaxes based on the left and right images shown in (Equation 3) as a reference threshold value or more as an occlusion area, and normal parallax data in the occlusion area The parallax data is changed to a value that cannot be obtained (for example, the absolute value is larger than the size of the image or the search area at the time of SSD calculation. Specifically, when the search area is ± 50 pixels 51 or -51 is a code for identifying occlusion).
[0030]
[Equation 3]
Figure 0003826236
[0031]
Next, parallax estimation is performed along the object outline. FIG. 3 is an explanatory diagram of parallax estimation in the vicinity of the object contour line by the contour parallax estimation unit 6L. In FIG. 3, 31 is a rectangular area for performing parallax estimation. The contour parallax estimation unit 6L estimates the parallax in the rectangular region 31 shown in FIG. 3 along the object contour. FIG. 4 is an explanatory diagram of parallax estimation within a rectangular area. The rectangular area 31 is set so that the longitudinal direction is substantially perpendicular to the object outline 23 (for example, a 45 degree increment or a 30 degree increment is prepared in advance). It is divided into. Then, the variance of each initial parallax data within the divided area is calculated.
[0032]
In the rectangular area 31 shown in FIG. 4, the left area includes the background parallax 22, the occlusion area 24, and the foreground parallax 21 among the areas divided right and left by the object outline 23. The initial parallax variance increases. On the other hand, since the right region contains only the foreground parallax, the initial parallax variance in the region is small. Therefore, a threshold is set for the dispersion of parallax in each of the divided areas of the rectangular area 31, and for areas where the dispersion of the parallax is greater than or equal to the threshold, that is, the divided left area is shown in FIG. As shown in FIG. 5, the parallax data in the occlusion area 24 and up to the object outline 23 is supplemented using the parallax data of the place where the rectangular side 31a located on the left side of the object outline 23 exists (shown by a black arrow). ).
[0033]
In this way, the parallax in the vicinity of the occlusion area 24 is determined from the background parallax 22 (the parallax that shows far away in the vicinity of the object outline and the occlusion area).
[0034]
As described above, the parallax distribution is determined by supplementing the parallax so that the boundary between the parallax and the object outline matches, that is, the area up to the object outline 23. For example, in FIG. 4, the parallax in the vicinity of the object outline 23 is supplemented with the background parallax 22 in the vicinity area on the left side of the object outline 23. In the vicinity area on the right side from the object outline 23, since the dispersion of the rectangular area 31 is low, parallax is not supplemented.
[0035]
The contour parallax estimation unit 6L updates the data in the parallax memory 3L based on the parallax determined as described above.
[0036]
Similarly to the contour parallax estimation unit 6L, the contour parallax estimation unit 6R also performs parallax estimation based on the right image along the object contour line, changes the initial parallax data, and writes the parallax memory 3R.
[0037]
Next, the intermediate image generation units 7L and 7R perform parallax data on the left and right image data from the image frame memories 1L and 1R and the parallax data on the basis of the left and right images updated by the contour parallax estimation units 6L and 6R, respectively. The data are read from the memories 3L and 3R, respectively, and the coordinate values shown in (Expression 4) are shifted.
[0038]
[Expression 4]
Figure 0003826236
[0039]
By changing the value of α in the range of 0 <α <1 in (Equation 4), an arbitrary intermediate image of the left and right images can be generated.
[0040]
Next, a method for generating an intermediate image is described below.
[0041]
FIG. 6 shows a stereo image intermediate image generation method according to the present embodiment. In FIG. 6, initial parallax 63 and 64 are estimated by correlation calculation using (Equation 1) and (Equation 2) with the left and right images 61 and 62 as references. In this initial parallax, there are regions 70 and 71 in which parallax estimation cannot be performed in principle due to occlusion.
[0042]
Next, the above-described parallax estimation in the vicinity of the object outline is performed on the initial parallax 63 and 64 with reference to the left and right images, and the parallax in a region where the parallax estimation cannot be performed in principle is determined.
[0043]
Then, from the parallax estimation results 65 and 66 and the left and right images 61 and 62, the left and right images are shifted in the horizontal direction for each pixel according to the formula shown in (Equation 4), and the left and right images are used as references. Intermediate images 67 and 68 are generated. In the intermediate image based on the left and right images, the regions (missing regions) 72 and 73 where the intermediate image is not generated due to disparity discontinuity in the object outline are opposite to the object (on the left image basis). This occurs on the right side of the object, and conversely on the right image basis. Further, the determination of the missing area is performed by preparing a dedicated flag corresponding to each pixel or assigning a specific code (for example, 255 or 0 for an 8-bit image) for identifying the missing area.
[0044]
Then, the intermediate images 67 and 68 based on the left and right images are integrated by a method described later, thereby generating an intermediate image 69 having no missing area in the entire image. The intermediate image integration unit 8 in FIG. 1 integrates the intermediate images generated based on the left and right images. FIG. 5 shows an intermediate image generated based on the left and right images. As described above, when the coordinate values are shifted by the parallax data for the left and right images, the intermediate images have different shift amounts due to the disparity of the parallax between the foreground and the background. An area where no is generated occurs in the left and right images, and the hatched portion in FIG. 5 indicates this. In the figure, 51 is an area where an image is not generated with an intermediate image based on the left image, and 52 is an area where an image is not generated with an intermediate image based on the right image (in the intermediate image based on the left image). The intermediate image based on the right and right images of the foreground object is generated on the left of the foreground object). Since the regions 51 and 52 where the intermediate image is not generated are generated on the opposite side to the foreground object when the left and right images are used as a reference, the intermediate images generated using the left and right images as a reference are integrated. Thus, an intermediate image is generated in the entire image. The intermediate image integration unit 8 outputs a value (for example, an average of both) based on both values when both intermediate images based on the left and right images are generated for each coordinate in the image. If an intermediate image is generated with only one of the images, the data is output.
[0045]
As described above, according to the present embodiment, an occlusion area is detected from the initial parallax with reference to the left and right images in the vicinity of the object contour line where it is difficult to estimate the parallax, and the parallax in the detected occlusion area is determined as the surrounding parallax. Determine from the data. Further, the parallax estimation is performed so that the parallax is discontinuous (so as not to change gently) in the object outline, thereby improving the image quality in the vicinity of the outline of the generated intermediate image. Furthermore, an intermediate image is generated for the pixels of the entire image by synthesizing the intermediate image based on the left and right images.
[0046]
FIG. 7 is a configuration diagram of the intermediate image generating apparatus according to the second embodiment of the present invention. In FIG. 7, 9L and 9R generate intermediate images based on the left and right images, respectively, and at the same time, intermediate image generators 10L and 10R output the parallax distribution for the intermediate images. It is an intermediate image correction unit that corrects the generated intermediate image. In the figure, the configurations other than the intermediate image generation units 9L and 9R and the intermediate image correction units 10L and 10R are the same as those in the first embodiment of the present invention, and therefore the same reference numerals as those in FIG. Hereinafter, operations of the intermediate image generation units 9L and 9R and the intermediate image correction units 10L and 10R will be described.
[0047]
The intermediate image generation units 9L and 9R receive the left and right image data from the image frame memories 1L and 1R, and the parallax data on the basis of the left and right images updated by the contour parallax estimation units 6L and 6R, respectively. Are read out, and the coordinate values shown in (Equation 4) are shifted to generate an intermediate image. Further, the image data in (Equation 4) is calculated by replacing it with parallax, and the parallax for the intermediate image is calculated.
[0048]
The intermediate image correction units 10L and 10R incorporate a few pixels near the boundary on the background region side in contact with the region (missing region) where the intermediate image is not generated in the intermediate images generated by the intermediate image generating units 9L and 9R into the missing region. Thus, it is possible to prevent a false contour from being generated in the vicinity of the object contour line in the foreground region in the intermediate image after the integration by the intermediate image integration unit 8. This false contour occurs when a pixel included in the foreground is processed as a background due to an error in contour extraction, or vice versa (especially when a foreground pixel is processed as a background). Visually noticeable).
[0049]
FIG. 8 is a diagram for explaining the correction of the intermediate image by the intermediate image correction units 10L and 10R. In FIG. 8, 81 and 82 are intermediate images based on the left and right images, 72 and 73 are missing areas where the intermediate image is not generated by the intermediate image generation units 9L and 9R, and 83 and 84 are intermediate image correction units 10L and 10L. A correction area 85 incorporated into the missing area by 10R is an intermediate image obtained by integrating the intermediate images 81 and 82 using the correction area as the missing area and processing so as not to generate a false contour.
[0050]
FIG. 9 is a diagram illustrating a correction area setting method, and illustrates parallax for the intermediate image calculated by the intermediate image generation units 9L and 9R. In FIG. 9, 91 is a foreground parallax, 92 is a background parallax, 93 is a missing area, and 94 is a correction area. In the correction area 94, the horizontal width in the background parallax 92 in contact with the missing area 93 is set as an area of about 1 to 3 pixels (this means that the accuracy of the contour extraction position falls within the range of 1 to 3 pixels. Is the same as assuming that As shown in FIGS. 9A and 9B, the background parallax 92 and the foreground parallax 91 are identified by scanning the missing area 93 in the horizontal direction, and the absolute value of the parallax of the two parallax areas adjacent to the missing area 93 on the left and right. The smaller side (that is, the back side) is used as background parallax.
[0051]
From the correction area set on the parallax map as described above, the corresponding area (with the same coordinate value as the correction area on the parallax map) in the intermediate image is incorporated into the missing area, and then the left and right images are used as a reference. By integrating the generated intermediate images, it is possible to prevent a false contour from occurring in the vicinity of the foreground object contour line in the integrated intermediate image.
[0052]
As described above, according to the present embodiment, it is possible to prevent a false contour from being generated in the intermediate image when generating the intermediate image based on the parallax estimated based on the contour extraction result.
[0053]
Next, the method of the third embodiment, which is different from the above-described embodiment, for the method of estimating the parallax of the image contour portion will be described below. In the above embodiment, the image contour extraction unit determines whether there is a contour by binary values, and corrects the parallax based on the dispersion of the parallax of the small area in the portion determined to be the contour portion. Here, the contour portion is determined based on the edge strength, and the manner of correcting the parallax is changed according to the edge strength. FIG. 12 shows a configuration (method) for parallax correction. In FIG. 12, reference numerals 121 to 124 denote spatial filter means having respective direction components, and calculate the following edge strengths. 125 is a means for integrating the calculated edge strength, 126 is a contour parallax estimation means, 3 is a parallax memory means for recording parallax, and this is the same as in the above embodiment.
[0054]
The operation and principle of the parallax estimation method (and means) for the contour portion configured as described above will be described below.
[0055]
First, as an edge strength calculation method, as shown in FIG. 11, a spatial weight is applied to each pixel, and an HPF (High Pass Filter) or BPF (Band Pass Filter) having a two-dimensional directionality is used. Constitute. (A) and (d) in FIG. 11 are for detecting continuous edges in the vertical direction, and (b), (c) and (e) are for detecting edges in the oblique direction. In order to detect the horizontal and opposite diagonal edges, the coefficient arrangement direction in FIG. 11 may be rotated by 90 degrees. Further, the direction of the edge need not be limited to 45 degrees, and may be 30 degrees. The calculation method of the edge strength is expressed by (Expression 5).
[0056]
[Equation 5]
Ed (x, y) = Σij Wt (i, j) * P (x + i, y + j) / Σij | Wt (i, j) |
Here, Ed is the edge strength, Wt is the weight of the filter shown as an example in FIG. 11, P is the normalized signal level of the pixel, and i, j is the region where the filter coefficient shown in FIG. 11 exists.
[0057]
The integration unit 125 integrates the edge intensities obtained in this way, and sends the maximum absolute value of the intensity level and the direction of the edge that has output the maximum value to the contour parallax estimation unit 126. The contour parallax estimation unit 126 integrates the input initial parallax for a certain region and re-estimates the parallax. The method of integration is shown in (Formula 6).
[0058]
[Formula 6]
Figure 0003826236
Here, Ds is the initial parallax, Dsn is the re-estimated parallax, and maxc is an operation that takes the maximum value from the center (i = ± 1, j = ± 1) in the normal direction with respect to the edge direction. A child takes a value of 0 at the center of i = 0 and j = 0. The region where the initial parallax Ds is not obtained is excluded from the calculation range (i, j). Here, (i, j) is a calculation range used for the re-estimation shown in FIG. In FIG. 13, 131 is a calculation range used for re-estimation, 132 is the center of the calculation range to be re-estimated, 134, 135, and 136 are portions or edges having a strong edge strength of the image, and 137 is an edge. Indicates the direction of the normal to the direction of re-estimation. FIGS. 13A to 13C show representative edge positions with respect to the calculation range used for re-estimation, and 1 / (1 + maxc [Ed (x + i, y + j)]) is shown along with the edge strength from (d) to (f) (i, j is displayed as one dimension). Qualitatively describing this re-estimation, a weight of 1 is used in the central part of the re-estimation, and other parts are added with a weight of 1 unless there is an edge. . Further, when the reestimation calculation range extends across the edges, the weight at the maximum edge strength is maintained.
[0059]
In this way, by re-estimating the periphery of the edge according to the edge strength, the influence of the re-estimation is smoother than that of the first embodiment and does not affect the re-estimation (depending on the edge strength). The degree of influence changes, and when the intensity is high, the influence decreases, and when the intensity is low, the influence increases.)
[0060]
As described above, in the present embodiment, by performing the parallax estimation method for the contour portion of the image in accordance with the edge strength, the re-estimated parallax is smoother, and the edge is bounded by luminance or color edge information. As a result, it is possible to automatically adjust the degree of influence, and it is possible to estimate without changing the parallax estimation value at the contour portion of the image. In addition, by using the parallax obtained in this way and combining the images viewed from the intermediate viewpoint between the images as in the first or second embodiment, the intermediate viewpoint images of a plurality of images can be made smoother. And it becomes possible to synthesize | combine without an image becoming unsatisfactory in the edge part of an image.
[0061]
In this embodiment, the parallax re-estimation method is a weighted average, and the weight is changed according to the edge strength of the image, and the parallax is re-estimated according to the edge strength of the image as described above. In addition to this, as a method of estimating parallax according to the edge strength of the image, energy E obtained by multiplying the amount of change in parallax by weight is defined as in (Equation 7), and the weight W is reduced according to the edge strength of the image. Even if the parallax changes when the edge strength of the image is large, the defined energy does not increase, and the parallax of the image edge part is reestimated by minimizing the defined energy. It is possible to obtain a result almost similar to the re-estimation.
[0062]
[Expression 7]
E (f (x, y, u, ux, uy)) = ∫W (x, y) ((∂u / ∂x)2 + (∂u / ∂y)2dxdy
Where u is the parallax.
[0063]
Next, a pixel writing method when generating an intermediate image is described below.
The relationship between the coordinate value (x, y) in the image used as the reference at the time of parallax estimation and the coordinate value (s, t) in the image generated by the generation of the intermediate image shown in (Expression 4) is )become that way.
[0064]
[Equation 8]
Figure 0003826236
[0065]
FIG. 14 shows that the coordinate value of the pixel in the reference image is converted between the pixels in the intermediate image by the coordinate conversion of (Equation 8). That is, in FIG. 14, ○ indicates the coordinates of the pixel, Δ indicates the coordinates between the pixels in the reference image that have been converted, and □ indicates in the reference image that is converted to the pixel ● in the intermediate image by the conversion. Indicates the coordinates. In order to generate an intermediate image without degrading the spatial resolution of the reference image, it is necessary to write pixel values at the coordinates of □ in the pixels of ●. The method will be described below.
[0066]
Assuming that the difference between ● and □ in FIG. 14A is Δx, and the difference between Δ and ● in FIG. 14B is Δs,
[0067]
[Equation 9]
Figure 0003826236
[0068]
It becomes. From (Equation 8) and (Equation 9), the relationship between Δx and Δs is (Equation 10).
[0069]
[Expression 10]
Figure 0003826236
[0070]
When the absolute value of the coefficient of Δx in (Equation 10) is more than a certain value (for example, 0.01 or more), this is solved for Δx to obtain (Equation 11).
[0071]
## EQU11 ##
Figure 0003826236
[0072]
Conversely, if (Equation 10) is not solved for Δx, writing of the intermediate image to the pixel is not performed.
[0073]
FIG. 19 shows a flowchart when an intermediate image is generated using parallax and viewpoint parameters by the above-described method. In FIG. 19, the increment of x and y is 1, but the occurrence of pixels in which no intermediate image is written can be prevented by setting the increment to 1 or less in accordance with the change in parallax.
[0074]
As described above, an intermediate image can be generated using the parallax and the reference image without degrading the spatial resolution of the reference image.
[0075]
In all the embodiments of the present invention, the integration method of the intermediate images based on the left and right images need not be limited to a method of outputting the average of both of the intermediate images generated in the pixels. Alternatively, the weighted addition according to the parameter α of the viewpoint position of the intermediate image may be performed, and is included in the present invention.
[0076]
FIG. 10 shows an example of the distribution of weights with respect to the parameter α of the viewpoint position of the intermediate image. Even if linearly changing weights such as those shown in FIG. 10A are used, FIG. Such curvilinearly changing weights may be used. The integration of pixel values is performed by weighted addition according to (Equation 12).
[0077]
[Expression 12]
Figure 0003826236
[0078]
In all the embodiments of the present invention, the correlation between images need not be limited to the residual sum of squares (SSD), and the same effect can be obtained even if the residual absolute value sum (SAD) is used. Such an embodiment is of course included in the present invention.
[0079]
In the embodiment of the present invention, an example in which parallax is obtained between images has been described. However, by obtaining a motion vector between images, camera restrictions at the time of shooting (strict horizontal positional relationship between two cameras, light Such as embodiments are also included in the present invention. That is, in the case where there is a deviation in the direction of the optical axis of the camera or the positional relationship between the two images when taking two images, the parallax in the vertical direction is obtained in addition to the parallax in the horizontal direction (that is, the motion vector is obtained). Thus, it is possible to correct a shift between images in the vertical direction, and it is possible to generate an intermediate image by relaxing restrictions on the posture of the camera at the time of shooting.
[0080]
Similarly, for images taken at different times with the same camera, a motion vector is obtained between the images, thereby relaxing restrictions on the camera posture at the time of shooting and generating a temporal intermediate image. Such an embodiment is also included in the present invention.
[0081]
Here, a method for generating an intermediate image when a motion vector is used will be described. When the motion vector is used, the relationship between the coordinate values before and after the conversion is (Equation 13).
[0082]
[Formula 13]
Figure 0003826236
[0083]
FIG. 15 is an explanatory diagram of intermediate image generation using motion vectors. In FIG. 15, ◯ indicates the coordinates of the pixel, Δ indicates the coordinate in which the pixel ● in the reference image is converted, and □ indicates the coordinate in the reference image that is converted into ● in the intermediate image. Assuming that the difference vector between ● and □ in the reference image is (Δx, Δy) and the difference vector between Δ and ● in the intermediate image is (Δs, Δt), the same as when generating the intermediate image using parallax (several 14) is obtained.
[0084]
[Expression 14]
Figure 0003826236
[0085]
When the absolute value of the determinant of the coefficient matrix on the right side of (Equation 14) is more than a certain value (for example, 0.01 or more), Δx and Δy are calculated from (Equation 15) using an inverse matrix.
[0086]
[Expression 15]
Figure 0003826236
[0087]
Conversely, when the absolute value of the determinant of the coefficient matrix is small, the intermediate image is not written to the pixels.
[0088]
FIG. 20 shows a flowchart when an intermediate image is generated using a motion vector and a viewpoint parameter by the method described above. In FIG. 20, the increment of x and y is set to 1, but the occurrence of pixels in which no intermediate image is written can be prevented by setting the increment to 1 or less according to the change in parallax.
[0089]
As described above, an intermediate image can be generated using the motion vector and the reference image by the method described above.
[0090]
Next, a fourth embodiment showing a viewpoint tracking type image display method using the intermediate image generating means according to the present invention will be described.
[0091]
FIG. 16 is an example of a configuration for performing image display according to the viewpoint of the observer. In FIG. 16, 161 is an observer, 162 is a position detecting means for detecting the position of the observer, 163 is a display, 164 is an intermediate image generating means, 165 is an imaging means comprising two cameras, and 166 is imaged. A storage means 167 for storing the image data is a video source switching means for switching the video source. The operation of each component will be described below.
[0092]
The imaging unit 165 inputs a set of images with different viewpoints. The storage unit 166 records and reproduces the stereo image obtained by the imaging unit 165. The video source switching unit 167 sets the input to either the imaging unit 165 or the storage unit 166. The position detection unit 162 detects the position of the observer. The intermediate image generation unit 164 performs parallax estimation (including the occlusion area) on the basis of the left and right images from the stereo image obtained from the imaging unit 165 or the storage unit 166, and based on the viewpoint information from the position detection unit 162. An intermediate image is generated (one intermediate image is generated when the display 163 performs 2D display, and an intermediate image for the right eye and left eye is generated when the display is stereo).
[0093]
As described above, according to the present embodiment, two images are captured and transmitted, the parallax is estimated on the receiving side, and the observer's position is detected. It is possible to display an image with a realistic presence.
[0094]
In this embodiment, an example of display according to the position detection result has been described. However, by simultaneously generating and displaying a plurality of intermediate images, a large number of people can observe images according to the viewpoints of each person at the same time. And is included in the present invention.
[0095]
Moreover, although the example which performs parallax estimation by the receiving side was demonstrated in this Embodiment, parallax estimation may be performed by the transmission side and such 5th Embodiment is demonstrated below.
[0096]
FIG. 17 is an example of a transmission block of a system that performs disparity estimation (or motion estimation) on the transmission side. In FIG. 17, 170 is a parallax estimation means for estimating the parallax VL with reference to the left image, 171 is a parallax estimation means for estimating the parallax VR with reference to the right image, 172a to d are encoders, and 173a and b are Decoder 174 predicts right image R from parallax VL based on left image L and left image 175 predicts parallax VR based on right image from parallax VL based on left image Prediction means 176a and b are hole filling means. The operation of the above configuration will be described below.
[0097]
First, the left image L is encoded by the encoder 172a. Further, the parallax estimation means 170 and 171 estimate the parallaxes VL and VR based on the left and right images, respectively. For regions where parallax is not correctly estimated due to occlusion or the like, parallax is determined by the hole filling means 176a and 176b. Next, the parallax after hole filling with the left image as a reference is encoded by the encoder 172b. The parallax after filling with the encoded left image as a reference is decoded by the decoder 173a, and the prediction of the right image R by the predictor 174 and the parallax with respect to the right image after the filling by the predictor 175 are performed. Used for prediction.
[0098]
The prediction of the parallax VR based on the right image by the predictor 175 is calculated as (Equation 16) using the parallax based on the left image.
[0099]
[Expression 16]
Figure 0003826236
[0100]
The right image takes a residual from the prediction by the predictor 174 and is encoded by the encoder 172d. The parallax VR based on the right image after filling in the hole takes a residual from the prediction by the predictor 175 and is encoded by the encoder 172d.
[0101]
FIG. 18 is an example of a reception block of a system that performs parallax estimation on the transmission side. In FIG. 18, 181a to 181d are decoders, 174 is a predictor of the right image R, and 175 is a predictor of parallax with the right image as a reference. The encoded left image L, left image reference parallax VL, right image reference parallax prediction error, and right image R prediction error are decoded by decoders 181a to 181d, respectively. The right image is restored by adding the prediction by the predictor 174 and the prediction error of the decoded right image. The parallax based on the right image is restored by adding the prediction by the predictor 175 and the decoded prediction error.
[0102]
With the above configuration, by performing disparity estimation and hole filling processing on the transmission side, it is possible to reduce the amount of computation on the reception side and to reduce the device scale on the reception side.
[0103]
As is apparent from the above description, according to the present invention, the occlusion area is detected from the initial parallax with reference to the left and right images in the vicinity of the object outline where the parallax estimation is difficult, and the parallax in the detected occlusion area is detected. Is determined from the surrounding parallax data, and the parallax estimation is performed so that the parallax is discontinuous in the object contour line, thereby improving the image quality in the vicinity of the contour of the generated intermediate image.
[0104]
Further, by integrating the intermediate images based on the left and right images, an intermediate image can be generated for the pixels of the entire image. Therefore, an intermediate image corresponding to an arbitrary viewpoint between two images can be generated from a set of stereo images.
[0105]
Further, by not using for background integration several pixels on the background side that are in contact with the missing region in the intermediate image generated with the left and right images as a reference, it is possible to prevent false contours from occurring in the integrated intermediate image.
[0106]
Furthermore, by obtaining the motion vector, it is possible to relax restrictions required for the posture of the camera at the time of imaging.
[0107]
【The invention's effect】
As is clear from the above description, the present invention estimates the parallax in the vicinity of the object contour line, and obtains an intermediate image corresponding to an arbitrary viewpoint between a plurality of images, for example, a pair of stereo images. It has the advantage that it can be generated.
[0108]
In addition, the present invention has an advantage that an image corresponding to the position of the observer can be displayed when the position detecting means for detecting the position of the observer is provided.
[Brief description of the drawings]
FIG. 1 is a configuration diagram of an intermediate image generating apparatus according to a first embodiment of the present invention.
FIG. 2 is an explanatory diagram of initial parallax with the left image as a reference in the first embodiment;
FIG. 3 is an explanatory diagram of parallax estimation in the vicinity of an object outline in the first embodiment.
FIG. 4 is a detailed explanatory diagram of parallax estimation in the vicinity of the object outline in the first embodiment.
FIG. 5 is an explanatory diagram of a region where no image is generated in the intermediate image according to the first embodiment.
FIG. 6 is an explanatory diagram for integrating intermediate images generated on the basis of left and right images in the first embodiment;
FIG. 7 is a configuration diagram of an intermediate image generating apparatus according to a second embodiment of the present invention.
FIG. 8 is an explanatory diagram of an intermediate image integration method according to the second embodiment.
FIG. 9 is a diagram showing a correction area in the second embodiment;
FIG. 10 is a diagram illustrating an example of characteristics of weights used during integration.
FIG. 11 is a diagram illustrating an example of a weighting factor of a filter.
FIG. 12 is a diagram illustrating a contour parallax estimation method according to a third embodiment of the present invention.
FIG. 13 is a diagram showing a calculation region for contour parallax estimation in the third embodiment.
FIG. 14 is a diagram illustrating an example of an intermediate image writing method.
FIG. 15 is a diagram illustrating an example of an intermediate image writing method.
FIG. 16 is a diagram showing a system for displaying an image corresponding to a viewpoint according to the fourth embodiment of the present invention.
FIG. 17 is a diagram illustrating an example of a configuration of a transmission unit of a system that performs disparity estimation on the transmission side according to the fifth embodiment of the present invention;
FIG. 18 is a diagram illustrating an example of a configuration of a reception unit of a system that performs parallax estimation on a transmission side.
FIG. 19 is a flowchart illustrating an intermediate image generation method using parallax.
FIG. 20 is a flowchart illustrating an intermediate image generation method using a motion vector.
[Explanation of symbols]
1L Left image frame memory
1R Frame memory for right image
2L, 2R initial parallax estimation unit
3L, 3R parallax memory
4L, 4R contour extraction unit
5L, 5R Contour memory
6L, 6R contour parallax estimation unit
7L, 7R intermediate image generator
8 Intermediate image integration unit
9L, 9R intermediate image generator
10L, 10R Intermediate image correction unit
24 Occlusion area
162 Position detection means

Claims (9)

視点の異なる2つの画像について、それぞれの画像を基準として画素毎の対応を求めて視差を推定し、視差推定が行えない領域において、その領域近傍における所定の領域を物体の輪郭により分割して出来る2つの領域のそれぞれの視差のうち、遠くを示す方の視差を用いて、前記所定の領域におけるエッジ強度をもとに、エッジ強度の強い画素において視差が大きく変化し、エッジ強度の弱い画素において視差が小さく変化するように前記視差推定が行えない領域での視差を決定し、前記画像及び前記得られた視差からそれぞれ中間像を生成し、その生成した中間像を統合することを特徴とするステレオ画像の中間像生成方法。For two images with different viewpoints, parallax can be estimated by obtaining the correspondence for each pixel with reference to each image, and in a region where parallax estimation cannot be performed, a predetermined region in the vicinity of the region can be divided by the contour of the object Based on the edge intensity in the predetermined area, the parallax changes greatly in the pixels with strong edge intensity, and the pixels with low edge intensity use the disparity indicating the far side of the parallaxes of the two areas. determining the disparity of a region where the disparity estimation can not be performed as the parallax is small change, the image and generating an intermediate image from each of the obtained parallax, characterized in that it integrates an intermediate image thus generated A method for generating an intermediate image of a stereo image. 中間像の統合は、前記生成した中間像においてデータのない領域と隣接する画素のデータのうち、背景側の所定の画素数のデータを用いないことにより、統合された中間像における偽輪郭の発生をなくすることを特徴とする請求項記載の中間像生成方法。The integration of the intermediate image is the generation of false contours in the integrated intermediate image by not using the data of a predetermined number of pixels on the background side among the data of the pixels adjacent to the area without data in the generated intermediate image. The intermediate image generating method according to claim 1, wherein: 中間像の統合は、視点の方向に応じて、前記生成した中間像に重み付けをすることにより行うことを特徴とする請求項、又は記載の中間像生成方法。Integration of the intermediate image, depending on the direction of the viewpoint, according to claim 1 or 2 intermediate image generation method according to characterized in that by weighting the intermediate image to the generated. 視点の異なる2画像を記憶する画像メモリと、前記2画像間で画素の対応を求め初期視差を計算する初期視差推定手段と、その初期視差を記憶する初期視差メモリと、画像から物体輪郭線を検出する物体輪郭線検出手段と、その物体輪郭線を記憶する輪郭メモリと、前記初期視差および前記物体輪郭線から、物体輪郭線近傍における視差を、物体輪郭線近傍領域を前記物体輪郭線により分割して出来る2つの領域のそれぞれの視差のうち、遠くを示す方の視差を用いて、前記物体輪郭線近傍領域におけるエッジ強度をもとに、エッジ強度の強い画素において視差が大きく変化し、エッジ強度の弱い画素において視差が小さく変化するように決定する輪郭部視差推定手段と、前記画像と前記視差から中間像を生成する中間像生成手段とを備えたことを特徴とする中間像生成装置。An image memory for storing two images with different viewpoints, an initial parallax estimation means for obtaining a pixel correspondence between the two images and calculating an initial parallax, an initial parallax memory for storing the initial parallax, and an object contour line from the image Object contour detection means for detecting, contour memory for storing the object contour, the parallax in the vicinity of the object contour from the initial parallax and the object contour, and the region near the object contour are divided by the object contour The disparity of the two regions that can be generated is the disparity that indicates the far side. Based on the edge strength in the region near the object contour line, the parallax changes greatly in the pixel with the strong edge strength, and the edge Contour parallax estimation means for determining that the parallax changes slightly in a pixel with low intensity, and an intermediate image generation means for generating an intermediate image from the image and the parallax Intermediate image generating apparatus according to claim and. 視点の異なる複数の画像について、それぞれの画像を基準として画素毎の対応を求めて初期視差を推定し、前記初期視差推定が行えない領域での視差推定は、その領域近傍における所定の領域を物体の輪郭により分割して出来る2つの領域のそれぞれの視差のうち、遠くを示す方の視差を用いて、前記所定の領域の内で物体輪郭のエッジ強度に応じて、エッジ強度の強い画素において視差が大きく変化し、エッジ強度の弱い画素において視差が小さく変化するように、前記初期視差推定で求められた視差に対する重みを変化させて前記複数の画像の視差を演算することを特徴とする視差推定方法。For a plurality of images having different viewpoints, the initial parallax is estimated by obtaining a correspondence for each pixel with reference to each image, and the parallax estimation in a region where the initial parallax cannot be performed is performed by using a predetermined region in the vicinity of the region as an object. The disparity of the two regions that can be divided according to the contour of the object is determined by using the disparity that indicates the far side, and the disparity in the pixel having a strong edge strength according to the edge strength of the object contour within the predetermined region. Parallax estimation, wherein the parallax of the plurality of images is calculated by changing a weight for the parallax obtained in the initial parallax estimation so that the parallax changes greatly in a pixel having a weak edge strength Method. 請求項5記載の前記視差推定方法により求められた視差を利用して、前記画像から中間像を生成することを特徴とする複数画像の中間像生成方法。6. A method for generating an intermediate image of a plurality of images, wherein an intermediate image is generated from the image using the parallax obtained by the parallax estimation method according to claim 5 . 2眼式画像を伝送する送信部と、その伝送された2眼式画像を受信し、その受信した2眼式画像から左右の画像を基準とした視差情報を計算し、視差が正しく計算できない領域での視差については、その領域近傍における所定の領域を物体の輪郭により分割して出来る2つの領域のそれぞれの視差のうち、遠くを示す方の視差を用いて、前記所定の領域におけるエッジ強度をもとに、エッジ強度の強い画素において視差が大きく変化し、エッジ強度の弱い画素において視差が小さく変化するように前記視差が正しく計算できない領域での視差を決定し、前記2眼式画像と前記求めた視差情報とを用いて中間像を生成し、その中間像及び前記2眼式画像を併せて多眼式画像として表示する受信部とを備えたことを特徴とする画像伝送表示装置。A transmission unit that transmits a binocular image, a region that receives the transmitted binocular image, calculates disparity information based on the left and right images from the received binocular image, and cannot calculate the disparity correctly With respect to the parallax, the edge intensity in the predetermined area is determined by using the parallax that indicates the distance among the parallaxes of the two areas obtained by dividing the predetermined area in the vicinity of the area by the contour of the object. Originally, the parallax in a region where the parallax cannot be calculated correctly is determined so that the parallax changes greatly in a pixel with a strong edge strength and the parallax changes in a pixel with a low edge strength. An image transmission display device comprising: a reception unit that generates an intermediate image using the obtained parallax information and displays the intermediate image and the binocular image together as a multi-view image. 2眼式画像から左右それぞれの画像を基準とした視差を計算し、視差が正しく計算できない領域では、その領域近傍における所定の領域を物体の輪郭により分割して出来る2つの領域のそれぞれの視差のうち、遠くを示す方の視差を用いて、前記所定の領域におけるエッジ強度をもとに、エッジ強度の強い画素において視差が大きく変化し、エッジ強度の弱い画素において視差が小さく変化するように視差を補充し、前記2眼式画像及び前記補充後の視差を符号化し伝送する送信部と、その伝送された符号化信号を受信し、その受信信号から前記2眼式画像及び前記補充後の視差を復号化し、その復号された2眼式画像及び補充後の視差を用いて中間像を生成し、その中間像及び前記2眼式画像を併せて多眼式画像として表示する受信部とを備えたことを特徴とする画像伝送表示装置。In a region where the parallax is calculated from the binocular image with reference to the left and right images, and the parallax cannot be calculated correctly, a predetermined region in the vicinity of the region is divided by the contour of the object, and the parallax of each of the two regions Among them, using the parallax that shows far away, the parallax so that the parallax changes greatly in pixels with high edge strength and the parallax changes small in pixels with low edge strength based on the edge strength in the predetermined area The transmission unit that encodes and transmits the binocular image and the parallax after the supplement, and the transmitted encoded signal are received, and the binocular image and the parallax after the supplement are received from the received signal A receiving unit that generates an intermediate image using the decoded binocular image and the supplemented parallax, and displays the intermediate image and the binocular image together as a multi-view image. Image transmission display device comprising been example. 視点の異なる2つの画像について、それぞれの画像を基準として画素毎の対応を求めて視差を推定する手段と、視差推定が行えない領域において、その領域近傍における所定の領域を物体の輪郭により分割して出来る2つの領域のそれぞれの視差のうち、遠くを示す方の視差を用いて、前記所定の領域におけるエッジ強度をもとに、エッジ強度の強い画素において視差が大きく変化し、エッジ強度の弱い画素において視差が小さく変化するように前記視差推定が行えない領域での視差を決定する手段と、前記画像及び前記得られた視差から中間像を生成する手段とを備えたことを特徴とするステレオ画像の中間像生成装置。For two images with different viewpoints, a means for estimating the parallax by obtaining the correspondence for each pixel with each image as a reference, and in a region where parallax estimation cannot be performed, a predetermined region in the vicinity of the region is divided by the contour of the object Using the disparity that indicates the far side of the two disparities in the two regions, the disparity changes greatly in the pixels with strong edge strength based on the edge strength in the predetermined region, and the edge strength is weak. Stereo comprising: means for determining parallax in an area where parallax estimation cannot be performed so that parallax changes little in a pixel; and means for generating an intermediate image from the image and the obtained parallax An intermediate image generation device for images.
JP10488596A 1995-05-08 1996-04-25 Intermediate image generation method, intermediate image generation device, parallax estimation method, and image transmission display device Expired - Lifetime JP3826236B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP10488596A JP3826236B2 (en) 1995-05-08 1996-04-25 Intermediate image generation method, intermediate image generation device, parallax estimation method, and image transmission display device

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP7-109821 1995-05-08
JP10982195 1995-05-08
JP10488596A JP3826236B2 (en) 1995-05-08 1996-04-25 Intermediate image generation method, intermediate image generation device, parallax estimation method, and image transmission display device

Publications (2)

Publication Number Publication Date
JPH0927969A JPH0927969A (en) 1997-01-28
JP3826236B2 true JP3826236B2 (en) 2006-09-27

Family

ID=26445260

Family Applications (1)

Application Number Title Priority Date Filing Date
JP10488596A Expired - Lifetime JP3826236B2 (en) 1995-05-08 1996-04-25 Intermediate image generation method, intermediate image generation device, parallax estimation method, and image transmission display device

Country Status (1)

Country Link
JP (1) JP3826236B2 (en)

Families Citing this family (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100751422B1 (en) 2002-12-27 2007-08-23 한국전자통신연구원 A Method of Coding and Decoding Stereoscopic Video and A Apparatus for Coding and Decoding the Same
EP1587035A1 (en) * 2004-04-14 2005-10-19 Koninklijke Philips Electronics N.V. Ghost artifact reduction for rendering 2.5D graphics
GB2417628A (en) * 2004-08-26 2006-03-01 Sharp Kk Creating a new image from two images of a scene
JP4687265B2 (en) * 2005-06-14 2011-05-25 富士ゼロックス株式会社 Image analyzer
CN100463527C (en) * 2005-10-18 2009-02-18 宁波大学 Multi view point video image parallax difference estimating method
US8253740B2 (en) * 2006-02-27 2012-08-28 Koninklijke Philips Electronics N.V. Method of rendering an output image on basis of an input image and a corresponding depth map
WO2007113725A2 (en) * 2006-03-31 2007-10-11 Koninklijke Philips Electronics N.V. Efficient encoding of multiple views
JP4737763B2 (en) * 2006-06-14 2011-08-03 Kddi株式会社 Free viewpoint image generation method, apparatus and program using multi-viewpoint images
EP2138091B1 (en) * 2007-04-24 2013-06-19 Olympus Medical Systems Corp. Medical image processing apparatus and medical image processing method
KR100950046B1 (en) * 2008-04-10 2010-03-29 포항공과대학교 산학협력단 Apparatus of multiview three-dimensional image synthesis for autostereoscopic 3d-tv displays and method thereof
KR20110073474A (en) * 2008-08-29 2011-06-29 톰슨 라이센싱 View synthesis with heuristic view merging
EP2180449A1 (en) * 2008-10-21 2010-04-28 Koninklijke Philips Electronics N.V. Method and device for providing a layered depth model of a scene
JP2010237941A (en) * 2009-03-31 2010-10-21 Kddi Corp Mask image generation device, three-dimensional model information generation device, and program
KR20120013966A (en) 2009-05-01 2012-02-15 톰슨 라이센싱 Reference picture lists for 3dv
IN2012DN00990A (en) 2009-08-13 2015-04-10 Sony Corp
JP2011060116A (en) * 2009-09-11 2011-03-24 Fujifilm Corp Image processing apparatus
JP2011060216A (en) * 2009-09-14 2011-03-24 Fujifilm Corp Device and method of processing image
JP2011070415A (en) * 2009-09-25 2011-04-07 Fujifilm Corp Image processing apparatus and image processing method
JP5663857B2 (en) * 2009-10-08 2015-02-04 株式会社ニコン Image display device and image display method
JP5540746B2 (en) 2009-11-20 2014-07-02 ソニー株式会社 RECEPTION DEVICE, TRANSMISSION DEVICE, COMMUNICATION SYSTEM, RECEPTION DEVICE CONTROL METHOD, AND PROGRAM
JP5556394B2 (en) * 2010-06-07 2014-07-23 ソニー株式会社 Stereoscopic image display system, parallax conversion device, parallax conversion method, and program
JP5627498B2 (en) * 2010-07-08 2014-11-19 株式会社東芝 Stereo image generating apparatus and method
JP2012054912A (en) * 2010-08-02 2012-03-15 Sharp Corp Video processing apparatus, display device and video processing method
JP5784729B2 (en) * 2010-08-27 2015-09-24 サムスン エレクトロニクス カンパニー リミテッド Rendering apparatus and method for multi-view generation
WO2012036903A1 (en) 2010-09-14 2012-03-22 Thomson Licensing Compression methods and apparatus for occlusion data
KR101640404B1 (en) * 2010-09-20 2016-07-18 엘지전자 주식회사 Mobile terminal and operation control method thereof
JP5533529B2 (en) * 2010-10-06 2014-06-25 コニカミノルタ株式会社 Image processing apparatus and image processing system
KR101798408B1 (en) 2011-01-03 2017-11-20 삼성전자주식회사 Method and apparatus for rendering high quality multi-view images for 3d display
JP5777920B2 (en) * 2011-03-30 2015-09-09 Necパーソナルコンピュータ株式会社 Image processing apparatus and image processing method
US20120313932A1 (en) * 2011-06-10 2012-12-13 Samsung Electronics Co., Ltd. Image processing method and apparatus
KR20120137205A (en) * 2011-06-10 2012-12-20 삼성전자주식회사 Method and apparatus for image processing
JP5839671B2 (en) * 2011-09-20 2016-01-06 株式会社Screenホールディングス 3D position / attitude recognition device, industrial robot, 3D position / attitude recognition method, program, recording medium
US9692991B2 (en) 2011-11-04 2017-06-27 Qualcomm Incorporated Multispectral imaging system
JP5414947B2 (en) * 2011-12-27 2014-02-12 パナソニック株式会社 Stereo camera
WO2013108310A1 (en) * 2012-01-18 2013-07-25 パナソニック株式会社 Three-dimensional image inspection device, three-dimensional image processing device, and three-dimensional image inspection method
JP5373931B2 (en) * 2012-03-22 2013-12-18 日本電信電話株式会社 Virtual viewpoint image generation method, virtual viewpoint image generation apparatus, and virtual viewpoint image generation program
WO2013164778A1 (en) * 2012-05-02 2013-11-07 Koninklijke Philips N.V. Quality metric for processing 3d video
JP5953916B2 (en) * 2012-05-02 2016-07-20 ソニー株式会社 Image processing apparatus and method, and program
WO2014013805A1 (en) * 2012-07-18 2014-01-23 ソニー株式会社 Image processing device, image processing method, and image display device
WO2014017201A1 (en) * 2012-07-26 2014-01-30 ソニー株式会社 Image processing device, image processing method, and image display device
JP5949314B2 (en) 2012-08-20 2016-07-06 株式会社日本自動車部品総合研究所 Parallax map generator and program for parallax map generator
US9641821B2 (en) 2012-09-24 2017-05-02 Panasonic Intellectual Property Management Co., Ltd. Image signal processing device and image signal processing method
WO2014119555A1 (en) * 2013-01-31 2014-08-07 株式会社ニコン Image processing device, display device and program
JP6365153B2 (en) 2014-09-10 2018-08-01 株式会社ソシオネクスト Image encoding method and image encoding apparatus
JP6423314B2 (en) 2015-06-04 2018-11-14 株式会社Soken Corresponding point search method and distance measuring device
JP2019195123A (en) * 2018-05-01 2019-11-07 オリンパス株式会社 Endoscope apparatus, control method of the same, control program, and recording medium
CN110084742B (en) * 2019-05-08 2024-01-26 北京奇艺世纪科技有限公司 Parallax map prediction method and device and electronic equipment
CN114078451B (en) * 2020-08-14 2023-05-02 京东方科技集团股份有限公司 Display control method and display device

Also Published As

Publication number Publication date
JPH0927969A (en) 1997-01-28

Similar Documents

Publication Publication Date Title
JP3826236B2 (en) Intermediate image generation method, intermediate image generation device, parallax estimation method, and image transmission display device
US7944444B2 (en) 3D image processing apparatus and method
JP3745117B2 (en) Image processing apparatus and image processing method
US8116557B2 (en) 3D image processing apparatus and method
CN108596965B (en) Light field image depth estimation method
US9451232B2 (en) Representation and coding of multi-view images using tapestry encoding
US20110032341A1 (en) Method and system to transform stereo content
US20070047040A1 (en) Apparatus and method for controlling depth of three-dimensional image
US20110026809A1 (en) Fast multi-view three-dimensional image synthesis apparatus and method
KR100517517B1 (en) Method for reconstructing intermediate video and 3D display using thereof
JP2011525657A (en) System and method for image depth extraction using motion compensation
JP2003526829A (en) Image processing method and apparatus
US8289376B2 (en) Image processing method and apparatus
Devernay et al. Adapting stereoscopic movies to the viewing conditions using depth-preserving and artifact-free novel view synthesis
CN110969706B (en) Augmented reality device, image processing method, system and storage medium thereof
CN110062219B (en) 3D-HEVC (high efficiency video coding) whole frame loss error concealment method by combining virtual viewpoint drawing
Kao Stereoscopic image generation with depth image based rendering
JP2017163528A (en) Tridimensional rendering with adjustable disparity direction
KR20110025083A (en) Apparatus and method for displaying 3d image in 3d image system
US20230419524A1 (en) Apparatus and method for processing a depth map
KR100447778B1 (en) Apparatus for Embodying Stereo/Multiview Realistic Mixed Reality using Pose Estimation and Method Thereof
US20210037230A1 (en) Multiview interactive digital media representation inventory verification
KR100272132B1 (en) Method and apparatus for reconstruction of stereo scene using vrml
CN113658202B (en) Edge fuzzy positioning and MRF (Markov random field) optimization combined monocular video virtual view synthesis method
KR100400209B1 (en) Apparatus for generating three-dimensional moving pictures from tv signals

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050707

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050719

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050912

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20060307

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060405

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20060523

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060613

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060619

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090714

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100714

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110714

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110714

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120714

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120714

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130714

Year of fee payment: 7

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term