JP2001194114A - 画像処理装置および画像処理方法、並びにプログラム提供媒体 - Google Patents
画像処理装置および画像処理方法、並びにプログラム提供媒体Info
- Publication number
- JP2001194114A JP2001194114A JP2000010127A JP2000010127A JP2001194114A JP 2001194114 A JP2001194114 A JP 2001194114A JP 2000010127 A JP2000010127 A JP 2000010127A JP 2000010127 A JP2000010127 A JP 2000010127A JP 2001194114 A JP2001194114 A JP 2001194114A
- Authority
- JP
- Japan
- Prior art keywords
- image
- pattern
- capturing
- data
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
- Stereoscopic And Panoramic Photography (AREA)
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【課題】 距離画像生成用のパターン画像と、パターン
の取り除かれたテクスチャ画像を同時に撮り込み可能な
画像処理装置および方法を提供する。 【解決手段】 計測対象を撮影する撮像素子に２つの異
なる特性を持つフィルタを各画素に対応させて配置し
た。赤外光によりパターン光を計測対象に照射し、計測
対象画像を撮り込む撮像素子の画素の約１／２に赤外光
カットフィルタを配置し、残りの１／２に可視光カット
フィルタを配置した。赤外光カットフィルタを配置した
画素にはパターン光が撮り込まれずテクスチャ画像とし
て使用され、可視光カットフィルタを配置した画素には
パターン光が撮り込まれ、この画像を用いて距離画像を
生成する。テクスチャ画像、パターン付き画像の同時撮
り込みが可能となり高精度な三次元画像が生成される。
の取り除かれたテクスチャ画像を同時に撮り込み可能な
画像処理装置および方法を提供する。 【解決手段】 計測対象を撮影する撮像素子に２つの異
なる特性を持つフィルタを各画素に対応させて配置し
た。赤外光によりパターン光を計測対象に照射し、計測
対象画像を撮り込む撮像素子の画素の約１／２に赤外光
カットフィルタを配置し、残りの１／２に可視光カット
フィルタを配置した。赤外光カットフィルタを配置した
画素にはパターン光が撮り込まれずテクスチャ画像とし
て使用され、可視光カットフィルタを配置した画素には
パターン光が撮り込まれ、この画像を用いて距離画像を
生成する。テクスチャ画像、パターン付き画像の同時撮
り込みが可能となり高精度な三次元画像が生成される。
Description
【０００１】
【発明の属する技術分野】本発明は、物体の三次元形状
を求め、距離画像を生成する画像処理装置および画像処
理方法、並びにプログラム提供媒体に関する。特に三次
元空間上である距離範囲に存在する物体を複数の異なる
位置から撮影した画像を用いて被写体表面の三次元形状
を計測して距離画像を生成するステレオ画像法において
好適な画像処理装置および画像処理方法、並びにプログ
ラム提供媒体に関する。
を求め、距離画像を生成する画像処理装置および画像処
理方法、並びにプログラム提供媒体に関する。特に三次
元空間上である距離範囲に存在する物体を複数の異なる
位置から撮影した画像を用いて被写体表面の三次元形状
を計測して距離画像を生成するステレオ画像法において
好適な画像処理装置および画像処理方法、並びにプログ
ラム提供媒体に関する。
【０００２】
【従来の技術】物体の三次元形状を求める従来手法とし
て、大きく分けて能動的手法（アクティブ手法）と受動
的手法（パッシブ手法）がある。能動的手法としては、
光を投射して、その光が反射して帰ってくるまでの時間
を測定することで各計測対象物体までの距離を求める方
法や、計測対象にスリット状のパターン光をあてて計測
対象に投影されたパターン光の形状を調べることによっ
て三次元形状を計測する光切断法といった方法がある。
て、大きく分けて能動的手法（アクティブ手法）と受動
的手法（パッシブ手法）がある。能動的手法としては、
光を投射して、その光が反射して帰ってくるまでの時間
を測定することで各計測対象物体までの距離を求める方
法や、計測対象にスリット状のパターン光をあてて計測
対象に投影されたパターン光の形状を調べることによっ
て三次元形状を計測する光切断法といった方法がある。
【０００３】また、受動的手法として代表的なものは、
三角測量の原理を利用したステレオ法であり、これは２
台以上のカメラを使って、その画像間での各画素の対応
点を見つけることで、その位置関係（視差）を求め、計
測対象までの距離を計測する方法である。
三角測量の原理を利用したステレオ法であり、これは２
台以上のカメラを使って、その画像間での各画素の対応
点を見つけることで、その位置関係（視差）を求め、計
測対象までの距離を計測する方法である。
【０００４】ステレオ法について、その原理を簡単に説
明する。ステレオ法は複数のカメラを用いて２つ以上の
視点（異なる視線方向）から同一対象物を撮影して得ら
れる複数の画像における画素同士を対応づけることで計
測対象物の三次元空間における位置を求めようとするも
のである。例えば基準カメラと検出カメラにより異なる
視点から同一対象物を撮影して、それぞれの画像内の計
測対象物の距離を三角測量の原理により測定する。
明する。ステレオ法は複数のカメラを用いて２つ以上の
視点（異なる視線方向）から同一対象物を撮影して得ら
れる複数の画像における画素同士を対応づけることで計
測対象物の三次元空間における位置を求めようとするも
のである。例えば基準カメラと検出カメラにより異なる
視点から同一対象物を撮影して、それぞれの画像内の計
測対象物の距離を三角測量の原理により測定する。
【０００５】図１は、ステレオ法の原理を説明する図で
ある。基準カメラ（Ｃａｍｅｒａ１）と検出カメラ（Ｃ
ａｍｅｒａ ２）は異なる視点から同一対象物を撮影す
る。基準カメラによって撮影された画像中の「ｍｂ」と
いうポイントの奥行きを求めることを考える。
ある。基準カメラ（Ｃａｍｅｒａ１）と検出カメラ（Ｃ
ａｍｅｒａ ２）は異なる視点から同一対象物を撮影す
る。基準カメラによって撮影された画像中の「ｍｂ」と
いうポイントの奥行きを求めることを考える。
【０００６】基準カメラによる撮影画像中のポイント
「ｍｂ」に見える物体は、異なる視点から同一物体を撮
影している検出カメラによって撮影された画像におい
て、「ｍ１」、「ｍ２」、「ｍ３」のようにある直線上
に展開されることになる。この直線をエピポーラライン
（Ｅｐｉｐｏｌａｒ ｌｉｎｅ）Ｌｐと呼ぶ。
「ｍｂ」に見える物体は、異なる視点から同一物体を撮
影している検出カメラによって撮影された画像におい
て、「ｍ１」、「ｍ２」、「ｍ３」のようにある直線上
に展開されることになる。この直線をエピポーラライン
（Ｅｐｉｐｏｌａｒ ｌｉｎｅ）Ｌｐと呼ぶ。
【０００７】基準カメラにおけるポイント「ｍｂ」の位
置は、検出カメラによる画像中では「エピポーラ・ライ
ン」と呼ばれる直線上に現れる。撮像対象となる点Ｐ
（Ｐ１，Ｐ２，Ｐ３を含む直線上に存在する点）は、基
準カメラの視線上に存在する限り、奥行きすなわち基準
カメラとの距離の大小に拘らず、基準画像上では同じ観
察点「ｍｂ」に現れる。これに対し、検出カメラによる
撮影画像上における点Ｐは、エピポーラ・ライン上に基
準カメラと観察点Ｐとの距離の大小に応じた位置にあら
われる。
置は、検出カメラによる画像中では「エピポーラ・ライ
ン」と呼ばれる直線上に現れる。撮像対象となる点Ｐ
（Ｐ１，Ｐ２，Ｐ３を含む直線上に存在する点）は、基
準カメラの視線上に存在する限り、奥行きすなわち基準
カメラとの距離の大小に拘らず、基準画像上では同じ観
察点「ｍｂ」に現れる。これに対し、検出カメラによる
撮影画像上における点Ｐは、エピポーラ・ライン上に基
準カメラと観察点Ｐとの距離の大小に応じた位置にあら
われる。
【０００８】図１には、エピポーラ・ラインと、検出カ
メラ画像中における観察点「ｍｂ」の対応を図解してい
る。同図に示すように、観察点Ｐの位置がＰ１，Ｐ２，
Ｐ３へと変化するに従って、検出カメラ画像中の観察点
は「ｍ１」、「ｍ２」、「ｍ３」へとシフトする。
メラ画像中における観察点「ｍｂ」の対応を図解してい
る。同図に示すように、観察点Ｐの位置がＰ１，Ｐ２，
Ｐ３へと変化するに従って、検出カメラ画像中の観察点
は「ｍ１」、「ｍ２」、「ｍ３」へとシフトする。
【０００９】以上の幾何光学的性質を利用して、観察点
「ｍｂ」をエピポーラ・ライン上で探索することによ
り、点Ｐの距離を同定することができる。これが「ステ
レオ法」の基本的原理である。このような方法で画面上
のすべての画素についての三次元情報を取得する。取得
した三次元情報は画素ごとに対応した画素属性データと
して使用することが可能となる。
「ｍｂ」をエピポーラ・ライン上で探索することによ
り、点Ｐの距離を同定することができる。これが「ステ
レオ法」の基本的原理である。このような方法で画面上
のすべての画素についての三次元情報を取得する。取得
した三次元情報は画素ごとに対応した画素属性データと
して使用することが可能となる。
【００１０】上述のステレオ画像法は１台の基準カメラ
と１台の検出カメラとを用いた構成としたが、検出カメ
ラを複数用いたマルチベースラインステレオ（Ｍｕｌｔ
ｉＢａｓｅｌｉｎｅ Ｓｔｅｒｅｏ）法によって評価値
を求めて、該評価値に基づいて画素ごとの三次元情報を
取得するように構成してもよい。マルチベースラインス
テレオ画像法は、１つの基準カメラと複数の検出カメラ
によって撮影される画像を用い、複数の検出カメラ画像
それぞれについて基準カメラ画像との相関を表す評価値
を求め、それぞれの評価値を加算し、その加算値を最終
的な評価値とするものである。このマルチベースライン
ステレオ画像法の詳細は、例えば「複数の基線長を利用
したステレオマッチング」、電子情報通信学会論文誌Ｄ
−１１Ｖｏｌ．Ｊ７５−Ｄ−ＩＩ Ｎｏ．８ ｐｐ．１
３１７−１３２７ １９９２年８月、に記載されてい
る。
と１台の検出カメラとを用いた構成としたが、検出カメ
ラを複数用いたマルチベースラインステレオ（Ｍｕｌｔ
ｉＢａｓｅｌｉｎｅ Ｓｔｅｒｅｏ）法によって評価値
を求めて、該評価値に基づいて画素ごとの三次元情報を
取得するように構成してもよい。マルチベースラインス
テレオ画像法は、１つの基準カメラと複数の検出カメラ
によって撮影される画像を用い、複数の検出カメラ画像
それぞれについて基準カメラ画像との相関を表す評価値
を求め、それぞれの評価値を加算し、その加算値を最終
的な評価値とするものである。このマルチベースライン
ステレオ画像法の詳細は、例えば「複数の基線長を利用
したステレオマッチング」、電子情報通信学会論文誌Ｄ
−１１Ｖｏｌ．Ｊ７５−Ｄ−ＩＩ Ｎｏ．８ ｐｐ．１
３１７−１３２７ １９９２年８月、に記載されてい
る。
【００１１】上述のように、ステレオ法は、複数のカメ
ラを用いて２つ以上の視点（異なる視線方向）から同一
対象物を撮影して得られる複数の画像における画素同士
を対応づけること、すなわち「対応点付け（マッチン
グ）」を実施することで計測対象物の三次元空間におけ
る位置を求めようとするものである。
ラを用いて２つ以上の視点（異なる視線方向）から同一
対象物を撮影して得られる複数の画像における画素同士
を対応づけること、すなわち「対応点付け（マッチン
グ）」を実施することで計測対象物の三次元空間におけ
る位置を求めようとするものである。
【００１２】従来から、よく使われている「対応点付
け」の手法は、Ｐｉｘｅｌ−ｂａｓｅｄマッチング、Ａ
ｒｅａ−ｂａｓｅｄマッチングとＦｅａｔｕｒｅ−ｂａ
ｓｅｄマッチングに大別される。Ｐｉｘｅｌ−ｂａｓｅ
ｄマッチングとは、一方の画像における点の対応を、他
方の画像でそのまま探索する方法である（Ｃ．Ｌａｗｒ
ｅｎｃｅ Ｚｉｔｎｉｃｋ ａｎｄ Ｊｏｎ Ａ． Ｗ
ｅｂｂ： Ｍｕｌｔｉ−ｂａｓｅｌｉｎｅ Ｓｔｅｒｅ
ｏ Ｕｓｉｎｇ Ｓｕｒｆａｃｅ Ｅｘｔｒａｃｔｉｏ
ｎ， Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ， ＣＭＵ−
ＣＳ−９６−１９６， （１９９６）参照）。
け」の手法は、Ｐｉｘｅｌ−ｂａｓｅｄマッチング、Ａ
ｒｅａ−ｂａｓｅｄマッチングとＦｅａｔｕｒｅ−ｂａ
ｓｅｄマッチングに大別される。Ｐｉｘｅｌ−ｂａｓｅ
ｄマッチングとは、一方の画像における点の対応を、他
方の画像でそのまま探索する方法である（Ｃ．Ｌａｗｒ
ｅｎｃｅ Ｚｉｔｎｉｃｋ ａｎｄ Ｊｏｎ Ａ． Ｗ
ｅｂｂ： Ｍｕｌｔｉ−ｂａｓｅｌｉｎｅ Ｓｔｅｒｅ
ｏ Ｕｓｉｎｇ Ｓｕｒｆａｃｅ Ｅｘｔｒａｃｔｉｏ
ｎ， Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ， ＣＭＵ−
ＣＳ−９６−１９６， （１９９６）参照）。
【００１３】Ａｒｅａ−ｂａｓｅｄマッチングとは、一
方の画像における点の対応を、他方の画像で探す時、そ
の点の周りの局所的な画像パターンを用いて探索する方
法である（奥富、金出： 複数の基線長を利用したステ
レオマッチング、電子情報通信学会論文誌Ｄ−ＩＩ、Ｖ
ｏｌ．Ｊ７５−ＤＩＩ， Ｎｏ．８， ｐｐ．１３１７
−１３２７， （１９９２）、横山、三輪、芦ヶ原、小
柳津、林、後： Ｓｔｅｒｅｏ Ｃａｍｅｒａ Ｓｙｓ
ｔｅｍ ａｎｄ Ｉｔｓ Ａｐｐｌｉｃａｔｉｏｎ、
ＳＲＦ’９７、（１９９７）、金出、木村： ビデオレ
ート・ステレオマシン、日本ロボット学会誌、Ｖｏｌ．
１３， Ｎｏ．３， ｐｐ．３２２〜３２６， （１９
９５）、金出、蚊野、木村、川村、吉田、織田： ビデ
オレートステレオマシンの開発、日本ロボット学会誌、
Ｖｏｌ．１５， Ｎｏ．２， ｐｐ．２６１〜２６７，
（１９９７）、山口、高地、井口： 適応ウィンドウ
法を用いた石像計測のためのステレオ対応付け、人文科
学とコンピュータ、Ｖｏｌ．３２， Ｎｏ．１０， ｐ
ｐ．５５〜６０， （１９９６）、横矢： 最近の信号
処理総合特集号 コンピュータビジョンの最近の話題、
システム／制御／情報、Ｖｏｌ．３８， Ｎｏ．８，
ｐｐ．４３６〜４４１， （１９９４）参照）。
方の画像における点の対応を、他方の画像で探す時、そ
の点の周りの局所的な画像パターンを用いて探索する方
法である（奥富、金出： 複数の基線長を利用したステ
レオマッチング、電子情報通信学会論文誌Ｄ−ＩＩ、Ｖ
ｏｌ．Ｊ７５−ＤＩＩ， Ｎｏ．８， ｐｐ．１３１７
−１３２７， （１９９２）、横山、三輪、芦ヶ原、小
柳津、林、後： Ｓｔｅｒｅｏ Ｃａｍｅｒａ Ｓｙｓ
ｔｅｍ ａｎｄ Ｉｔｓ Ａｐｐｌｉｃａｔｉｏｎ、
ＳＲＦ’９７、（１９９７）、金出、木村： ビデオレ
ート・ステレオマシン、日本ロボット学会誌、Ｖｏｌ．
１３， Ｎｏ．３， ｐｐ．３２２〜３２６， （１９
９５）、金出、蚊野、木村、川村、吉田、織田： ビデ
オレートステレオマシンの開発、日本ロボット学会誌、
Ｖｏｌ．１５， Ｎｏ．２， ｐｐ．２６１〜２６７，
（１９９７）、山口、高地、井口： 適応ウィンドウ
法を用いた石像計測のためのステレオ対応付け、人文科
学とコンピュータ、Ｖｏｌ．３２， Ｎｏ．１０， ｐ
ｐ．５５〜６０， （１９９６）、横矢： 最近の信号
処理総合特集号 コンピュータビジョンの最近の話題、
システム／制御／情報、Ｖｏｌ．３８， Ｎｏ．８，
ｐｐ．４３６〜４４１， （１９９４）参照）。
【００１４】Ｆｅａｔｕｒｅ−ｂａｓｅｄマッチングと
は、画像から濃淡エッジなどの特徴を抽出し、画像間の
特徴だけを用いて対応付けを行う方法である（Ｈ．Ｈ．
Ｂａｋｅｒ ａｎｄ Ｔ．Ｏ．Ｂｉｎｆｏｒｄ： Ｄｅ
ｐｔｈ ｆｒｏｍ ｅｄｇｅａｎｄ ｉｎｔｅｎｓｉｔ
ｙ ｂａｓｅｄ ｓｔｅｒｅｏ， Ｉｎ Ｐｒｏｃ．
ＩＪＣＡＩ’８１， （１９８１）、石山、角保、河
井、植芝、富田： セグメントベーストステレオにおけ
る対応候補探索、信学技報、Ｖｏｌ．９６，Ｎｏ．１３
６， （１９９７）、Ｗ．Ｅ．Ｌ．Ｇｒｉｍｓｏｎ：
Ｃｏｍｐｕｔａｔｉｏｎａｌ ｅｘｐｅｒｉｍｅｎｔｓ
ｗｉｔｈ ａ ｆｅａｔｕｒｅ ｂａｓｅｄ ｓｔｅ
ｒｅｏ ａｌｇｏｒｉｔｈｍ， ＩＥＥＥ Ｔｒａｎ
ｓ． ＰＡＭＩ， Ｖｏｌ．７， Ｎｏ．１， ｐｐ．
１７〜３４， （１９８５））。
は、画像から濃淡エッジなどの特徴を抽出し、画像間の
特徴だけを用いて対応付けを行う方法である（Ｈ．Ｈ．
Ｂａｋｅｒ ａｎｄ Ｔ．Ｏ．Ｂｉｎｆｏｒｄ： Ｄｅ
ｐｔｈ ｆｒｏｍ ｅｄｇｅａｎｄ ｉｎｔｅｎｓｉｔ
ｙ ｂａｓｅｄ ｓｔｅｒｅｏ， Ｉｎ Ｐｒｏｃ．
ＩＪＣＡＩ’８１， （１９８１）、石山、角保、河
井、植芝、富田： セグメントベーストステレオにおけ
る対応候補探索、信学技報、Ｖｏｌ．９６，Ｎｏ．１３
６， （１９９７）、Ｗ．Ｅ．Ｌ．Ｇｒｉｍｓｏｎ：
Ｃｏｍｐｕｔａｔｉｏｎａｌ ｅｘｐｅｒｉｍｅｎｔｓ
ｗｉｔｈ ａ ｆｅａｔｕｒｅ ｂａｓｅｄ ｓｔｅ
ｒｅｏ ａｌｇｏｒｉｔｈｍ， ＩＥＥＥ Ｔｒａｎ
ｓ． ＰＡＭＩ， Ｖｏｌ．７， Ｎｏ．１， ｐｐ．
１７〜３４， （１９８５））。
【００１５】上記の各手法の特徴を整理すると、次のよ
うになる。 （１）Ｐｉｘｅｌ−ｂａｓｅｄマッチングとＡｒｅａ−
ｂａｓｅｄマッチングは各々の画素に対して、対応点を
探索するので、求められた距離画像は密である。一方、
Ｆｅａｔｕｒｅ−ｂａｓｅｄマッチングは、特徴点だけ
に対して、対応付けを行うので、得られた距離画像は疎
である。
うになる。 （１）Ｐｉｘｅｌ−ｂａｓｅｄマッチングとＡｒｅａ−
ｂａｓｅｄマッチングは各々の画素に対して、対応点を
探索するので、求められた距離画像は密である。一方、
Ｆｅａｔｕｒｅ−ｂａｓｅｄマッチングは、特徴点だけ
に対して、対応付けを行うので、得られた距離画像は疎
である。
【００１６】（２）Ａｒｅａ−ｂａｓｅｄマッチング
は、一種の相関演算を行うため、Ｐｉｘｅｌ−ｂａｓｅ
ｄマッチングとＦｅａｔｕｒｅ−ｂａｓｅｄマッチング
に比べて、計算コストがかかるが、アルゴリズムの高速
化によって、必ずしも解決できない問題ではない。
は、一種の相関演算を行うため、Ｐｉｘｅｌ−ｂａｓｅ
ｄマッチングとＦｅａｔｕｒｅ−ｂａｓｅｄマッチング
に比べて、計算コストがかかるが、アルゴリズムの高速
化によって、必ずしも解決できない問題ではない。
【００１７】（３）Ｐｉｘｅｌ−ｂａｓｅｄマッチング
は、画素間の対応付けだけを行うため、計算速度がかな
り速いが、左右カメラ間の特性の違いによって、画素間
の濃淡値を用いる対応付けが容易ではない。
は、画素間の対応付けだけを行うため、計算速度がかな
り速いが、左右カメラ間の特性の違いによって、画素間
の濃淡値を用いる対応付けが容易ではない。
【００１８】上述の特徴から、一般的に、高精度で対象
の３次元形状（または奥行き）を画素毎に求めるための
手法としてＡｒｅａ−ｂａｓｅｄマッチングは有効であ
り、よく使われている。
の３次元形状（または奥行き）を画素毎に求めるための
手法としてＡｒｅａ−ｂａｓｅｄマッチングは有効であ
り、よく使われている。
【００１９】一般的なＡｒｅａ−ｂａｓｅｄマッチング
によるステレオ視の対応点の求め方について図２を用い
て説明する。図２（ａ）は、基準カメラの観測画像であ
り、図２（ｂ）は検出カメラによる観測画像である。基
準カメラによる観測画像上の点ｍｂの周辺の小領域Ｗを
テンプレートとして、検出カメラ画像のエピポーラライ
ン上の数点における画像相関値を求める。この図に示す
例の場合は、距離分解能はｍ１〜ｍ６の６点で、この距
離番号１〜６が例えば撮影した基準カメラから１ｍ、２
ｍ、３ｍ、４ｍ、５ｍ、６ｍの距離に対応しているとす
る。
によるステレオ視の対応点の求め方について図２を用い
て説明する。図２（ａ）は、基準カメラの観測画像であ
り、図２（ｂ）は検出カメラによる観測画像である。基
準カメラによる観測画像上の点ｍｂの周辺の小領域Ｗを
テンプレートとして、検出カメラ画像のエピポーラライ
ン上の数点における画像相関値を求める。この図に示す
例の場合は、距離分解能はｍ１〜ｍ６の６点で、この距
離番号１〜６が例えば撮影した基準カメラから１ｍ、２
ｍ、３ｍ、４ｍ、５ｍ、６ｍの距離に対応しているとす
る。
【００２０】各点の画像相関値は、例えば以下に示す式
（１）を用いて求める評価値を用いることができる。な
お、以下に示す式中のＩ（ｘ）は基準カメラで撮影した
基準画像における輝度値、Ｉ’（ｘ’）は検出カメラで
撮影した検出カメラ画像の輝度値を示している。
（１）を用いて求める評価値を用いることができる。な
お、以下に示す式中のＩ（ｘ）は基準カメラで撮影した
基準画像における輝度値、Ｉ’（ｘ’）は検出カメラで
撮影した検出カメラ画像の輝度値を示している。
【００２１】
【数１】
【００２２】上記式を用いて得られる図２のｍ１〜ｍ６
の６点での評価値中、最も低いところを対応点とする。
これを示したのが図２の下段のグラフである。図２の例
の場合は、ｍ３の位置、すなわちカメラから３ｍの位置
を距離データとする。なお、さらにサンプリングデータ
間の補間処理を実行してサンプルデータ以外の部分にお
いて最も低い点を求めることも可能である。この補間処
理を行なった場合、図２のグラフのｍ３とｍ４の間にあ
る点が最小の評価値であり、この場合、計測対象はカメ
ラから約３．３ｍの距離であるとされる。なお、エピポ
ーラライン、およびエピポーラライン上の位置と物体と
の距離との関係は、予めキャリブレーションによって求
めておく。例えば基準カメラ画像上のすべての画素に対
して、各距離に応じた検出カメラ画像上の対応点の座標
をテーブルにして保持しておく。
の６点での評価値中、最も低いところを対応点とする。
これを示したのが図２の下段のグラフである。図２の例
の場合は、ｍ３の位置、すなわちカメラから３ｍの位置
を距離データとする。なお、さらにサンプリングデータ
間の補間処理を実行してサンプルデータ以外の部分にお
いて最も低い点を求めることも可能である。この補間処
理を行なった場合、図２のグラフのｍ３とｍ４の間にあ
る点が最小の評価値であり、この場合、計測対象はカメ
ラから約３．３ｍの距離であるとされる。なお、エピポ
ーラライン、およびエピポーラライン上の位置と物体と
の距離との関係は、予めキャリブレーションによって求
めておく。例えば基準カメラ画像上のすべての画素に対
して、各距離に応じた検出カメラ画像上の対応点の座標
をテーブルにして保持しておく。
【００２３】このように、基準カメラ画像と検出カメラ
画像とのマッチング処理を各測定点の画素について繰り
返し実行することにより、全ての画素に対する三次元形
状データを得ることができる。
画像とのマッチング処理を各測定点の画素について繰り
返し実行することにより、全ての画素に対する三次元形
状データを得ることができる。
【００２４】
【発明が解決しようとする課題】しかしながら、実際に
は、基準カメラ画像と検出カメラ画像から全ての画素の
対応付け処理を正確に行なうことは困難である。白い壁
や人間の顔などの特徴（濃淡、形状、色等）のほとんど
ない対象におけるマッチング処理においては、対応付け
が困難になるからである。
は、基準カメラ画像と検出カメラ画像から全ての画素の
対応付け処理を正確に行なうことは困難である。白い壁
や人間の顔などの特徴（濃淡、形状、色等）のほとんど
ない対象におけるマッチング処理においては、対応付け
が困難になるからである。
【００２５】画像間の対応点は、各画素の周辺の小領域
の画像を用いて探索されるので物体表面に模様のなく、
基準カメラと検出カメラで撮り込んだ画像の各画素の輝
度値に変化の少ない場合は対応点を求めるのが困難にな
る。これを解決する方法として非周期的なランダムパタ
ーンを計測対象に照射してパターンとともに計測対象を
撮り込む方法がある。このパターン照射方法によれば、
ランダムパターンのついた画像を撮り込んでパターンに
基づく画像間の対応付け処理をすることができる。この
ように、距離画像の生成には、ランダムパターンを照射
した画像を用いることが有効である。
の画像を用いて探索されるので物体表面に模様のなく、
基準カメラと検出カメラで撮り込んだ画像の各画素の輝
度値に変化の少ない場合は対応点を求めるのが困難にな
る。これを解決する方法として非周期的なランダムパタ
ーンを計測対象に照射してパターンとともに計測対象を
撮り込む方法がある。このパターン照射方法によれば、
ランダムパターンのついた画像を撮り込んでパターンに
基づく画像間の対応付け処理をすることができる。この
ように、距離画像の生成には、ランダムパターンを照射
した画像を用いることが有効である。
【００２６】一方、上述の手法によって求められた三次
元形状（たとえばポリゴン）に実際の測定対象の色（テ
クスチャと呼ばれる）を貼り付けるためには、計測対象
である物体を例えば可視光で撮影した画像が必要とな
る。しかし、上述のランダムパターンを照射して得られ
る画像は、物体表面にランダムパターンが投影されてお
り、物体本来の色あるいは模様とは異なるパターンが付
与されているので、距離画像生成用の撮影画像そのもの
を物体の色として扱うことはできない。
元形状（たとえばポリゴン）に実際の測定対象の色（テ
クスチャと呼ばれる）を貼り付けるためには、計測対象
である物体を例えば可視光で撮影した画像が必要とな
る。しかし、上述のランダムパターンを照射して得られ
る画像は、物体表面にランダムパターンが投影されてお
り、物体本来の色あるいは模様とは異なるパターンが付
与されているので、距離画像生成用の撮影画像そのもの
を物体の色として扱うことはできない。
【００２７】物体の本来の色、すなわちテクスチャ画像
を得るための手法としては、例えばランダムパターンの
投影された物体を撮り込んで得られるパターン付き画像
に画像処理を施してパターンを消去する方法があるが、
この画像処理は煩雑であり、また、完全に物体の色を再
現することは困難である。
を得るための手法としては、例えばランダムパターンの
投影された物体を撮り込んで得られるパターン付き画像
に画像処理を施してパターンを消去する方法があるが、
この画像処理は煩雑であり、また、完全に物体の色を再
現することは困難である。
【００２８】本発明は、上述の従来技術の問題点に鑑み
てなされたものであり、上述のような画像処理を施すこ
となく、テクスチャ画像を得ることを可能とした画像処
理装置および画像処理方法、並びにプログラム提供媒体
を提供するものである。
てなされたものであり、上述のような画像処理を施すこ
となく、テクスチャ画像を得ることを可能とした画像処
理装置および画像処理方法、並びにプログラム提供媒体
を提供するものである。
【００２９】
【課題を解決するための手段】本発明は、上記課題を参
酌してなされたものであり、その第１の側面は、計測対
象にパターン光を照射してパターン光を投影した画像に
基づいて計測対象の距離データを生成する画像処理装置
において、計測対象にパターン光を投影するパターン投
光手段と、計測対象の画像を画素単位で撮り込み、各画
素毎に画像の輝度データを格納する撮像素子と、前記撮
像素子を構成する複数画素の一部画素において前記パタ
ーン光を投影したパターン付き画像を撮り込み、前記撮
像素子を構成する他の画素において前記パターン光を取
り除いたテクスチャ画像を撮り込むように構成した光学
フィルタと、前記撮像素子に格納された画像データを、
前記パターン付き画像を撮り込んだパターン画像撮り込
み画素データと、前記テクスチャ画像を撮り込んだテク
スチャ画像撮り込み画素データとに分離して出力するデ
ータ選択手段と、前記データ選択手段において分離出力
された前記パターン付き画像に基づいて前記計測対象の
距離データを算出する距離画像生成手段と、を有するこ
とを特徴とする画像処理装置にある。
酌してなされたものであり、その第１の側面は、計測対
象にパターン光を照射してパターン光を投影した画像に
基づいて計測対象の距離データを生成する画像処理装置
において、計測対象にパターン光を投影するパターン投
光手段と、計測対象の画像を画素単位で撮り込み、各画
素毎に画像の輝度データを格納する撮像素子と、前記撮
像素子を構成する複数画素の一部画素において前記パタ
ーン光を投影したパターン付き画像を撮り込み、前記撮
像素子を構成する他の画素において前記パターン光を取
り除いたテクスチャ画像を撮り込むように構成した光学
フィルタと、前記撮像素子に格納された画像データを、
前記パターン付き画像を撮り込んだパターン画像撮り込
み画素データと、前記テクスチャ画像を撮り込んだテク
スチャ画像撮り込み画素データとに分離して出力するデ
ータ選択手段と、前記データ選択手段において分離出力
された前記パターン付き画像に基づいて前記計測対象の
距離データを算出する距離画像生成手段と、を有するこ
とを特徴とする画像処理装置にある。
【００３０】さらに、本発明の画像処理装置の一実施態
様において、前記光学フィルタは、前記撮像素子におい
てパターン付き画像を撮り込む画素と、テクスチャ画像
を撮り込む画素各々に対応させて異なる光透過特性を有
する光学フィルタを配置した構成であることを特徴とす
る。
様において、前記光学フィルタは、前記撮像素子におい
てパターン付き画像を撮り込む画素と、テクスチャ画像
を撮り込む画素各々に対応させて異なる光透過特性を有
する光学フィルタを配置した構成であることを特徴とす
る。
【００３１】さらに、本発明の画像処理装置の一実施態
様において、前記光学フィルタは、異なる２つの波長帯
域の光をカットする２つの異なる種類の帯域カットフィ
ルタを前記撮像素子のパターン付き画像撮り込み画素
と、テクスチャ画像撮り込み画素の各々に対応させて配
置したことを特徴とする。
様において、前記光学フィルタは、異なる２つの波長帯
域の光をカットする２つの異なる種類の帯域カットフィ
ルタを前記撮像素子のパターン付き画像撮り込み画素
と、テクスチャ画像撮り込み画素の各々に対応させて配
置したことを特徴とする。
【００３２】さらに、本発明の画像処理装置の一実施態
様において、前記光学フィルタは、前記撮像素子のパタ
ーン付き画像撮り込み画素と、テクスチャ画像撮り込み
画素の各々に対応させてそれぞれ異なる光透過特性を有
する異なる種類の光学フィルタを配置した構成であり、
前記光学フィルタの少なくとも一方を偏光板によって構
成したことを特徴とする。
様において、前記光学フィルタは、前記撮像素子のパタ
ーン付き画像撮り込み画素と、テクスチャ画像撮り込み
画素の各々に対応させてそれぞれ異なる光透過特性を有
する異なる種類の光学フィルタを配置した構成であり、
前記光学フィルタの少なくとも一方を偏光板によって構
成したことを特徴とする。
【００３３】さらに、本発明の画像処理装置の一実施態
様において、前記光学フィルタは、前記撮像素子のパタ
ーン付き画像撮り込み画素と、テクスチャ画像撮り込み
画素の各々に対応させてそれぞれ異なる光透過特性を有
する異なる種類の光学フィルタを配置した構成であり、
前記光学フィルタの少なくとも一方が光強度を低減させ
る光強度低減フィルタによって構成したことを特徴とす
る。
様において、前記光学フィルタは、前記撮像素子のパタ
ーン付き画像撮り込み画素と、テクスチャ画像撮り込み
画素の各々に対応させてそれぞれ異なる光透過特性を有
する異なる種類の光学フィルタを配置した構成であり、
前記光学フィルタの少なくとも一方が光強度を低減させ
る光強度低減フィルタによって構成したことを特徴とす
る。
【００３４】さらに、本発明の画像処理装置の一実施態
様において、前記パターン投光手段は、赤外光によるパ
ターン光を前記計測対象に投影する構成を有し、前記光
学フィルタは、前記撮像素子におけるテクスチャ画像を
撮り込む画素に対応して赤外光カットフィルタを配置し
た構成を有することを特徴とする。
様において、前記パターン投光手段は、赤外光によるパ
ターン光を前記計測対象に投影する構成を有し、前記光
学フィルタは、前記撮像素子におけるテクスチャ画像を
撮り込む画素に対応して赤外光カットフィルタを配置し
た構成を有することを特徴とする。
【００３５】さらに、本発明の画像処理装置の一実施態
様において、前記光学フィルタは、前記撮像素子におけ
るパターン付き画像を撮り込む画素に対応して可視光カ
ットフィルタを配置した構成を有することを特徴とす
る。
様において、前記光学フィルタは、前記撮像素子におけ
るパターン付き画像を撮り込む画素に対応して可視光カ
ットフィルタを配置した構成を有することを特徴とす
る。
【００３６】さらに、本発明の画像処理装置の一実施態
様において、前記光学フィルタは、前記撮像素子のパタ
ーン付き画像撮り込み画素と、テクスチャ画像撮り込み
画素の各々に対応させてそれぞれ異なる光透過特性を有
する異なる種類の光学フィルタを配置した構成であり、
前記撮像素子の隣接画素において異なる光学フィルタが
配置光学フィルタを配置した構成を有することを特徴と
する。
様において、前記光学フィルタは、前記撮像素子のパタ
ーン付き画像撮り込み画素と、テクスチャ画像撮り込み
画素の各々に対応させてそれぞれ異なる光透過特性を有
する異なる種類の光学フィルタを配置した構成であり、
前記撮像素子の隣接画素において異なる光学フィルタが
配置光学フィルタを配置した構成を有することを特徴と
する。
【００３７】さらに、本発明の画像処理装置の一実施態
様において、前記光学フィルタは、前記撮像素子のパタ
ーン付き画像撮り込み画素と、テクスチャ画像撮り込み
画素の各々に対応させてそれぞれ異なる光透過特性を有
する異なる種類の光学フィルタを配置した構成であり、
前記撮像素子を構成する画素数の約１／２をパターン付
き画像撮り込み画素とし、残り約１／２の画素をテクス
チャ画像撮り込み画素とするように異なる光学フィルタ
を配置した構成を有することを特徴とする。
様において、前記光学フィルタは、前記撮像素子のパタ
ーン付き画像撮り込み画素と、テクスチャ画像撮り込み
画素の各々に対応させてそれぞれ異なる光透過特性を有
する異なる種類の光学フィルタを配置した構成であり、
前記撮像素子を構成する画素数の約１／２をパターン付
き画像撮り込み画素とし、残り約１／２の画素をテクス
チャ画像撮り込み画素とするように異なる光学フィルタ
を配置した構成を有することを特徴とする。
【００３８】さらに、本発明の画像処理装置の一実施態
様において、前記画像処理装置は、計測対象を異なる方
向から撮影した画像を用いて前記計測対象の三次元形状
を計測しステレオ法を適用して距離画像を生成する画像
処理装置であり、前記計測対象の画像を撮り込む第１カ
メラと、前記第１カメラと異なる方向から前記計測対象
の画像を撮り込む第２カメラと、前記第１カメラによっ
て撮り込まれた第１画像と、前記第２カメラによって撮
り込まれた第２画像との画像間対応付け処理により視差
データを生成して、該視差データに基づいて距離画像を
生成する距離画像生成手段とを有し、前記第１カメラ、
および前記第２カメラの少なくとも一方は、前記計測対
象の画像を画素単位で撮り込み、各画素毎に画像の輝度
データを格納する撮像素子と、前記撮像素子を構成する
複数画素の一部画素において前記パターン光を投影した
パターン付き画像を撮り込み、前記撮像素子を構成する
他の画素において前記パターン光を取り除いたテクスチ
ャ画像を撮り込むように構成した光学フィルタとを有し
た構成であることを特徴とする。
様において、前記画像処理装置は、計測対象を異なる方
向から撮影した画像を用いて前記計測対象の三次元形状
を計測しステレオ法を適用して距離画像を生成する画像
処理装置であり、前記計測対象の画像を撮り込む第１カ
メラと、前記第１カメラと異なる方向から前記計測対象
の画像を撮り込む第２カメラと、前記第１カメラによっ
て撮り込まれた第１画像と、前記第２カメラによって撮
り込まれた第２画像との画像間対応付け処理により視差
データを生成して、該視差データに基づいて距離画像を
生成する距離画像生成手段とを有し、前記第１カメラ、
および前記第２カメラの少なくとも一方は、前記計測対
象の画像を画素単位で撮り込み、各画素毎に画像の輝度
データを格納する撮像素子と、前記撮像素子を構成する
複数画素の一部画素において前記パターン光を投影した
パターン付き画像を撮り込み、前記撮像素子を構成する
他の画素において前記パターン光を取り除いたテクスチ
ャ画像を撮り込むように構成した光学フィルタとを有し
た構成であることを特徴とする。
【００３９】さらに、本発明の第２の側面は、計測対象
にパターン光を照射してパターン光を投影した画像に基
づいて計測対象の距離データを生成する画像処理方法に
おいて、計測対象を撮像素子によって撮り込むステップ
であり、前記撮像素子を構成する複数画素の一部画素に
おいてパターン光を投影したパターン付き画像を撮り込
み、前記撮像素子を構成する他の画素において前記パタ
ーン光を取り除いたテクスチャ画像を撮り込む画像撮り
込みステップと、前記撮像素子に格納された画像データ
を、前記パターン付き画像を撮り込んだパターン画像撮
り込み画素データと、前記テクスチャ画像を撮り込んだ
テクスチャ画像撮り込み画素データとに分離して出力す
る画像データ分離ステップと、前記画像データ分離ステ
ップにおいて分離出力された前記パターン付き画像に基
づいて前記計測対象の距離データを算出する距離画像生
成ステップと、を有することを特徴とする画像処理方法
にある。
にパターン光を照射してパターン光を投影した画像に基
づいて計測対象の距離データを生成する画像処理方法に
おいて、計測対象を撮像素子によって撮り込むステップ
であり、前記撮像素子を構成する複数画素の一部画素に
おいてパターン光を投影したパターン付き画像を撮り込
み、前記撮像素子を構成する他の画素において前記パタ
ーン光を取り除いたテクスチャ画像を撮り込む画像撮り
込みステップと、前記撮像素子に格納された画像データ
を、前記パターン付き画像を撮り込んだパターン画像撮
り込み画素データと、前記テクスチャ画像を撮り込んだ
テクスチャ画像撮り込み画素データとに分離して出力す
る画像データ分離ステップと、前記画像データ分離ステ
ップにおいて分離出力された前記パターン付き画像に基
づいて前記計測対象の距離データを算出する距離画像生
成ステップと、を有することを特徴とする画像処理方法
にある。
【００４０】さらに、本発明の画像処理方法の一実施態
様において、前記光学フィルタは、前記撮像素子におい
てパターン付き画像を撮り込む画素と、テクスチャ画像
を撮り込む画素各々に対応させて異なる光透過特性を有
する光学フィルタを配置した構成であり、前記画像撮り
込みステップは、異なる光透過特性を有する光学フィル
タを介してパターン付き画像とテクスチャ画像とを同時
に撮り込むことを特徴とする。
様において、前記光学フィルタは、前記撮像素子におい
てパターン付き画像を撮り込む画素と、テクスチャ画像
を撮り込む画素各々に対応させて異なる光透過特性を有
する光学フィルタを配置した構成であり、前記画像撮り
込みステップは、異なる光透過特性を有する光学フィル
タを介してパターン付き画像とテクスチャ画像とを同時
に撮り込むことを特徴とする。
【００４１】さらに、本発明の画像処理方法の一実施態
様は、計測対象を異なる方向から撮影した画像を用いて
前記計測対象の三次元形状を計測しステレオ法を適用し
て距離画像を生成する画像処理方法であり、計測対象の
画像を第１カメラと、前記第１カメラと異なる方向に配
置した第２カメラによって同時に撮り込む画像撮り込み
ステップであり、前記第１カメラおよび前記第２カメラ
に構成された撮像素子を構成する複数画素の一部画素に
おいてパターン光を投影したパターン付き画像を撮り込
み、前記撮像素子を構成する他の画素において前記パタ
ーン光を取り除いたテクスチャ画像を、それぞれ各カメ
ラにおいて撮り込む画像撮り込みステップと、前記第１
カメラおよび第２カメラの撮像素子に格納された画像デ
ータについて、前記パターン付き画像を撮り込んだパタ
ーン画像撮り込み画素データと、前記テクスチャ画像を
撮り込んだテクスチャ画像撮り込み画素データとに分離
して出力する画像データ分離ステップと、前記画像デー
タ分離ステップにおいて分離出力された前記第１カメラ
の撮り込んだ第１パターン付き画像と、前記第２カメラ
の撮り込んだ第２パターン付き画像とに基づいて前記計
測対象の距離データを算出する距離画像生成ステップ
と、を有することを特徴とする。
様は、計測対象を異なる方向から撮影した画像を用いて
前記計測対象の三次元形状を計測しステレオ法を適用し
て距離画像を生成する画像処理方法であり、計測対象の
画像を第１カメラと、前記第１カメラと異なる方向に配
置した第２カメラによって同時に撮り込む画像撮り込み
ステップであり、前記第１カメラおよび前記第２カメラ
に構成された撮像素子を構成する複数画素の一部画素に
おいてパターン光を投影したパターン付き画像を撮り込
み、前記撮像素子を構成する他の画素において前記パタ
ーン光を取り除いたテクスチャ画像を、それぞれ各カメ
ラにおいて撮り込む画像撮り込みステップと、前記第１
カメラおよび第２カメラの撮像素子に格納された画像デ
ータについて、前記パターン付き画像を撮り込んだパタ
ーン画像撮り込み画素データと、前記テクスチャ画像を
撮り込んだテクスチャ画像撮り込み画素データとに分離
して出力する画像データ分離ステップと、前記画像デー
タ分離ステップにおいて分離出力された前記第１カメラ
の撮り込んだ第１パターン付き画像と、前記第２カメラ
の撮り込んだ第２パターン付き画像とに基づいて前記計
測対象の距離データを算出する距離画像生成ステップ
と、を有することを特徴とする。
【００４２】さらに、本発明の第３の側面は、計測対象
にパターン光を照射してパターン光を投影した画像に基
づいて計測対象の距離データを生成する画像処理をコン
ピュータ・システム上で実行せしめるコンピュータ・プ
ログラムを提供するプログラム提供媒体であって、前記
コンピュータ・プログラムは、計測対象を撮像素子によ
って撮り込むステップであり、前記撮像素子を構成する
複数画素の一部画素においてパターン光を投影したパタ
ーン付き画像を撮り込み、前記撮像素子を構成する他の
画素において前記パターン光を取り除いたテクスチャ画
像を撮り込む画像撮り込みステップと、前記撮像素子に
格納された画像データを、前記パターン付き画像を撮り
込んだパターン画像撮り込み画素データと、前記テクス
チャ画像を撮り込んだテクスチャ画像撮り込み画素デー
タとに分離して出力する画像データ分離ステップと、前
記画像データ分離ステップにおいて分離出力された前記
パターン付き画像に基づいて前記計測対象の距離データ
を算出する距離画像生成ステップと、を有することを特
徴とするプログラム提供媒体にある。
にパターン光を照射してパターン光を投影した画像に基
づいて計測対象の距離データを生成する画像処理をコン
ピュータ・システム上で実行せしめるコンピュータ・プ
ログラムを提供するプログラム提供媒体であって、前記
コンピュータ・プログラムは、計測対象を撮像素子によ
って撮り込むステップであり、前記撮像素子を構成する
複数画素の一部画素においてパターン光を投影したパタ
ーン付き画像を撮り込み、前記撮像素子を構成する他の
画素において前記パターン光を取り除いたテクスチャ画
像を撮り込む画像撮り込みステップと、前記撮像素子に
格納された画像データを、前記パターン付き画像を撮り
込んだパターン画像撮り込み画素データと、前記テクス
チャ画像を撮り込んだテクスチャ画像撮り込み画素デー
タとに分離して出力する画像データ分離ステップと、前
記画像データ分離ステップにおいて分離出力された前記
パターン付き画像に基づいて前記計測対象の距離データ
を算出する距離画像生成ステップと、を有することを特
徴とするプログラム提供媒体にある。
【００４３】本発明の第３の側面に係るプログラム提供
媒体は、例えば、様々なプログラム・コードを実行可能
な汎用コンピュータ・システムに対して、コンピュータ
・プログラムをコンピュータ可読な形式で提供する媒体
である。媒体は、ＣＤやＦＤ、ＭＯなどの記憶媒体、あ
るいは、ネットワークなどの伝送媒体など、その形態は
特に限定されない。
媒体は、例えば、様々なプログラム・コードを実行可能
な汎用コンピュータ・システムに対して、コンピュータ
・プログラムをコンピュータ可読な形式で提供する媒体
である。媒体は、ＣＤやＦＤ、ＭＯなどの記憶媒体、あ
るいは、ネットワークなどの伝送媒体など、その形態は
特に限定されない。
【００４４】このようなプログラム提供媒体は、コンピ
ュータ・システム上で所定のコンピュータ・プログラム
の機能を実現するための、コンピュータ・プログラムと
提供媒体との構造上又は機能上の協働的関係を定義した
ものである。換言すれば、該提供媒体を介してコンピュ
ータ・プログラムをコンピュータ・システムにインスト
ールすることによって、コンピュータ・システム上では
協働的作用が発揮され、本発明の他の側面と同様の作用
効果を得ることができるのである。
ュータ・システム上で所定のコンピュータ・プログラム
の機能を実現するための、コンピュータ・プログラムと
提供媒体との構造上又は機能上の協働的関係を定義した
ものである。換言すれば、該提供媒体を介してコンピュ
ータ・プログラムをコンピュータ・システムにインスト
ールすることによって、コンピュータ・システム上では
協働的作用が発揮され、本発明の他の側面と同様の作用
効果を得ることができるのである。
【００４５】本発明のさらに他の目的、特徴や利点は、
後述する本発明の実施例や添付する図面に基づくより詳
細な説明によって明らかになるであろう。
後述する本発明の実施例や添付する図面に基づくより詳
細な説明によって明らかになるであろう。
【００４６】
【発明の実施の形態】まず、図３に本発明の画像処理装
置の構成ブロック図を示す。図３は、画像パターンの投
光によって計測対象の三次元形状または距離画像の計測
を行なう装置である。例えば投光用画像パターン生成装
置によって、ランダムテクスチャ（例えば二値または濃
淡のランダム点群）からなる画像パターンを生成し、こ
れを投光器によって計測対象に投光する。上述したよう
に計測対象にランダムテクスチャを投光することによ
り、計測対象が白い壁や人間の顔などの特徴（濃淡、形
状、色等）のほとんどない対象である場合も、画像間の
マッチング処理がより正確に実行できる。
置の構成ブロック図を示す。図３は、画像パターンの投
光によって計測対象の三次元形状または距離画像の計測
を行なう装置である。例えば投光用画像パターン生成装
置によって、ランダムテクスチャ（例えば二値または濃
淡のランダム点群）からなる画像パターンを生成し、こ
れを投光器によって計測対象に投光する。上述したよう
に計測対象にランダムテクスチャを投光することによ
り、計測対象が白い壁や人間の顔などの特徴（濃淡、形
状、色等）のほとんどない対象である場合も、画像間の
マッチング処理がより正確に実行できる。
【００４７】図３に示す画像処理装置の概要について説
明する。画像処理装置は、先に説明したステレオ法を適
用して計測対象の三次元形状を計測するものであり、立
体形状を持つ、例えば人の顔等の被計測対象物に対して
角度の異なる位置に配置した２つのカメラ、いわゆる基
準カメラと検出カメラを用いて画像を撮り込み、これら
２つのカメラの撮影する画像に基づいて図１で説明した
ステレオ法に基づいて被計測対象物の表面形状を計測す
るものである。
明する。画像処理装置は、先に説明したステレオ法を適
用して計測対象の三次元形状を計測するものであり、立
体形状を持つ、例えば人の顔等の被計測対象物に対して
角度の異なる位置に配置した２つのカメラ、いわゆる基
準カメラと検出カメラを用いて画像を撮り込み、これら
２つのカメラの撮影する画像に基づいて図１で説明した
ステレオ法に基づいて被計測対象物の表面形状を計測す
るものである。
【００４８】ランダムパターンは、投光パターン照射手
段３１１によって照射される。この投光パターンは一様
乱数や正規乱数に基づく非周期的投光パターンである。
投光されるパターンは例えば非周期投光パターンであ
り、例えばドットのサイズ、線の長さ、太さ、位置、濃
度等に周期性を持たないパターンである。
段３１１によって照射される。この投光パターンは一様
乱数や正規乱数に基づく非周期的投光パターンである。
投光されるパターンは例えば非周期投光パターンであ
り、例えばドットのサイズ、線の長さ、太さ、位置、濃
度等に周期性を持たないパターンである。
【００４９】非周期的パターンは例えば予めスライド等
に形成され、本実施例では赤外光をスライドを介して照
射することによって計測対象に対してパターンを投影す
る。あるいは、透過型液晶表示素子等を用いて動的にラ
ンダムパターンを生成して、これを赤外光を用いて投影
してもよい。計測対象３００の表面に形成された非周期
パターンを計測対象とともに撮像することにより、距離
画像生成時の基準カメラと検出カメラの撮像データの対
応付けを容易にすることができる。
に形成され、本実施例では赤外光をスライドを介して照
射することによって計測対象に対してパターンを投影す
る。あるいは、透過型液晶表示素子等を用いて動的にラ
ンダムパターンを生成して、これを赤外光を用いて投影
してもよい。計測対象３００の表面に形成された非周期
パターンを計測対象とともに撮像することにより、距離
画像生成時の基準カメラと検出カメラの撮像データの対
応付けを容易にすることができる。
【００５０】なお、図３の構成のように計測対象３００
にランダムテクスチャ投光パターンを照射するのは、計
測対象が例えば壁、人の顔等のように表面の各部を区別
する特徴が少なく、基準カメラ画像と検出カメラ画像の
画像間対応付けが困難である場合に、撮影画像にランダ
ムパターンを付与して画像間対応付け処理を実行しやす
くするためのものである。照射するパターンは、画像間
対応付け処理を実行可能とするパターンであればよく、
計測対象自体が特徴的な構成を持つ場合には、簡単なパ
ターン構成としてもよい。
にランダムテクスチャ投光パターンを照射するのは、計
測対象が例えば壁、人の顔等のように表面の各部を区別
する特徴が少なく、基準カメラ画像と検出カメラ画像の
画像間対応付けが困難である場合に、撮影画像にランダ
ムパターンを付与して画像間対応付け処理を実行しやす
くするためのものである。照射するパターンは、画像間
対応付け処理を実行可能とするパターンであればよく、
計測対象自体が特徴的な構成を持つ場合には、簡単なパ
ターン構成としてもよい。
【００５１】カメラ１，３０１とカメラ２，３０２は、
計測対象３００に対して異なる視線方向に配置されて、
各視線方向の画像、すなわちランダムパターンの投影さ
れた計測対象３００を撮影する。一方が基準カメラ、他
方が検出カメラに対応する。各カメラによって撮影され
る画像は、同期したタイミングで撮り込まれる。カメラ
１，３０１から撮り込まれた画像は、パターンの付加さ
れた画像であるパターン付き画像１，３０３と、パター
ンの付加されていない計測対象３００の本来の色を反映
したテクスチャ画像１，３０４に分離されて撮り込まれ
る。この分離方法については、図４を用いて、後段で説
明する。一方カメラ２，３０２から撮り込まれた画像
も、パターンの付加された画像であるパターン付き画像
２，３０５と、パターンの付加されていない計測対象３
００の本来の色を反映したテクスチャ画像２，３０６に
分離されて撮り込まれる。
計測対象３００に対して異なる視線方向に配置されて、
各視線方向の画像、すなわちランダムパターンの投影さ
れた計測対象３００を撮影する。一方が基準カメラ、他
方が検出カメラに対応する。各カメラによって撮影され
る画像は、同期したタイミングで撮り込まれる。カメラ
１，３０１から撮り込まれた画像は、パターンの付加さ
れた画像であるパターン付き画像１，３０３と、パター
ンの付加されていない計測対象３００の本来の色を反映
したテクスチャ画像１，３０４に分離されて撮り込まれ
る。この分離方法については、図４を用いて、後段で説
明する。一方カメラ２，３０２から撮り込まれた画像
も、パターンの付加された画像であるパターン付き画像
２，３０５と、パターンの付加されていない計測対象３
００の本来の色を反映したテクスチャ画像２，３０６に
分離されて撮り込まれる。
【００５２】画像間対応付け手段３０７は、カメラ１，
３０１によって撮り込まれたパターン付き画像１，３０
３と、カメラ２，３０２によって撮り込まれたパターン
付き画像２，３０５を入力して各投光パターン画像間の
対応付け処理を行なう。すなわち、カメラ１，３０１の
撮影した画像の各画素に対するカメラ２，３０２の撮影
した検出画像の画素の対応付け処理を行ない、基準画像
に対する検出画像の視差データを距離画像生成手段３０
８に出力する。画像間対応付け手段３０７における画像
間の対応付け処理においては、各画像の補正値等を設定
したキャリブレーションパラメータを用いて行われる。
３０１によって撮り込まれたパターン付き画像１，３０
３と、カメラ２，３０２によって撮り込まれたパターン
付き画像２，３０５を入力して各投光パターン画像間の
対応付け処理を行なう。すなわち、カメラ１，３０１の
撮影した画像の各画素に対するカメラ２，３０２の撮影
した検出画像の画素の対応付け処理を行ない、基準画像
に対する検出画像の視差データを距離画像生成手段３０
８に出力する。画像間対応付け手段３０７における画像
間の対応付け処理においては、各画像の補正値等を設定
したキャリブレーションパラメータを用いて行われる。
【００５３】投光パターン照射手段３１１の照射する投
光パターンは、先に説明したように非周期的なパターン
であり、各カメラによって撮影した画像の対応付けが比
較的容易に行われる。距離画像生成手段３０８は、画像
間対応付け手段３０７の生成した視差データに基づいて
距離画像を生成する。
光パターンは、先に説明したように非周期的なパターン
であり、各カメラによって撮影した画像の対応付けが比
較的容易に行われる。距離画像生成手段３０８は、画像
間対応付け手段３０７の生成した視差データに基づいて
距離画像を生成する。
【００５４】なお、図３に示す構成の各ブロックにおけ
る処理、およびブロック間データ転送制御等は、図示し
ない制御手段によって制御され、所定のメモリ、例えば
ＲＡＭ，ＲＯＭ等の半導体メモリ、磁気ディスク、光デ
ィスク等の記憶媒体に記録された制御プログラムによっ
て制御することができる。また、図示しない入力手段に
よってユーザがコマンド、パラメータ等を入力して各制
御態様を変更することが可能である。
る処理、およびブロック間データ転送制御等は、図示し
ない制御手段によって制御され、所定のメモリ、例えば
ＲＡＭ，ＲＯＭ等の半導体メモリ、磁気ディスク、光デ
ィスク等の記憶媒体に記録された制御プログラムによっ
て制御することができる。また、図示しない入力手段に
よってユーザがコマンド、パラメータ等を入力して各制
御態様を変更することが可能である。
【００５５】図３の画像処理装置は、パターン光を付与
した計測対象パターン付き画像と、パターン光が取り除
かれた計測対象テクスチャ画像を同時に撮り込むことが
可能な装置である。本構成によれば、パターン光を付与
した計測対象に基づく高精度な距離画像と、パターン光
が取り除かれた計測対象画像であるテクスチャ画像が同
時に得られるので、これら両画像に基づいて高精度な三
次元画像を容易に得ることができる。すなわち、従来の
パターン付与画像からパターンを取り除く画像処理が不
要になる。
した計測対象パターン付き画像と、パターン光が取り除
かれた計測対象テクスチャ画像を同時に撮り込むことが
可能な装置である。本構成によれば、パターン光を付与
した計測対象に基づく高精度な距離画像と、パターン光
が取り除かれた計測対象画像であるテクスチャ画像が同
時に得られるので、これら両画像に基づいて高精度な三
次元画像を容易に得ることができる。すなわち、従来の
パターン付与画像からパターンを取り除く画像処理が不
要になる。
【００５６】図４に、本発明の画像処理装置におけるカ
メラ部、すなわち図３におけるカメラ１，３０１とカメ
ラ２，３０２の内部構成を示す。計測対象の撮影画像は
レンズ４０１を介して撮像素子４０２において撮像され
る。撮像素子４０２は、例えばＣＣＤ（Ｃｈａｒｇｅｄ
ｃｏｕｐｌｅｄ ｄｅｖｉｃｅ）、あるいはＣＭＯＳ
（Ｃｏｍｐｌｅｍｅｎｔａｒｙ ｍｅｔａｌ ｏｘｉｄ
ｅ ｓｅｍｉｃｏｎｄｕｃｔｏｒ）であり、各画素にお
いて光電変換により光が電荷に変換される素子によって
構成される。
メラ部、すなわち図３におけるカメラ１，３０１とカメ
ラ２，３０２の内部構成を示す。計測対象の撮影画像は
レンズ４０１を介して撮像素子４０２において撮像され
る。撮像素子４０２は、例えばＣＣＤ（Ｃｈａｒｇｅｄ
ｃｏｕｐｌｅｄ ｄｅｖｉｃｅ）、あるいはＣＭＯＳ
（Ｃｏｍｐｌｅｍｅｎｔａｒｙ ｍｅｔａｌ ｏｘｉｄ
ｅ ｓｅｍｉｃｏｎｄｕｃｔｏｒ）であり、各画素にお
いて光電変換により光が電荷に変換される素子によって
構成される。
【００５７】撮像素子４０２の前面、すなわちレンズ４
０１側には、光学フィルタ４０３が撮像素子４０２の各
画素に対応して形成されている。すなわち、撮像素子４
０２は、光学フィルタ４０３を介して撮影画像を撮り込
む構成となっている。光学フィルタ４０３は、２つの種
類のフィルタ、光学フィルタＡと光学フィルタＢを各画
素毎に対応付けた構成を持つ。例えば光学フィルタＡは
可視光カットフィルタであり、光学フィルタＢは赤外光
カットフイルタである。
０１側には、光学フィルタ４０３が撮像素子４０２の各
画素に対応して形成されている。すなわち、撮像素子４
０２は、光学フィルタ４０３を介して撮影画像を撮り込
む構成となっている。光学フィルタ４０３は、２つの種
類のフィルタ、光学フィルタＡと光学フィルタＢを各画
素毎に対応付けた構成を持つ。例えば光学フィルタＡは
可視光カットフィルタであり、光学フィルタＢは赤外光
カットフイルタである。
【００５８】図５に光学フィルタ４０３の例を２つ示
す。図５（１）、（２）において、１つの四角形が撮像
素子４０２の１画素に対応する。図５（１）の例は、隣
合う画素が異なるフィルタを持つように構成した例であ
る。また、図５（２）は、４画素を１組として同一フィ
ルタを対応させた例である。なお、これらの図は、光学
フィルタ４０３の配列の一部を示すものであり、実際
は、撮像素子４０２の全画素に対応して、図５に示す配
列と同様のパターンが配置されているものである。
す。図５（１）、（２）において、１つの四角形が撮像
素子４０２の１画素に対応する。図５（１）の例は、隣
合う画素が異なるフィルタを持つように構成した例であ
る。また、図５（２）は、４画素を１組として同一フィ
ルタを対応させた例である。なお、これらの図は、光学
フィルタ４０３の配列の一部を示すものであり、実際
は、撮像素子４０２の全画素に対応して、図５に示す配
列と同様のパターンが配置されているものである。
【００５９】さらに、光学フィルタ４０３の異なる例を
２つ図６に示す。図６（３）、（４）において、１つの
枠が撮像素子４０２の１画素に対応する。図６（３）の
例は、列方向に同一フィルタを配列し隣り合う列におけ
る画素が異なるフィルタを持つように構成した例であ
る。また、図６（４）は、行方向に同一フィルタを配列
し隣り合う行における画素が異なるフィルタを持つよう
に構成した例である。
２つ図６に示す。図６（３）、（４）において、１つの
枠が撮像素子４０２の１画素に対応する。図６（３）の
例は、列方向に同一フィルタを配列し隣り合う列におけ
る画素が異なるフィルタを持つように構成した例であ
る。また、図６（４）は、行方向に同一フィルタを配列
し隣り合う行における画素が異なるフィルタを持つよう
に構成した例である。
【００６０】図５または図６に示すような光学フィルタ
４０３を介して撮像素子４０２に撮り込まれた画像は、
図４に示す読み出し部４０４によって読み出される。読
み出し部４０４は、撮像素子４０２の各画素の電荷を電
圧に変換して読み出し、Ａ／Ｄ変換部４０５に出力す
る。Ａ／Ｄ変換部は各画素の電圧信号を、各画素の輝度
を示すデジタルデータに変換して、フレームメモリ４０
６に格納する。
４０３を介して撮像素子４０２に撮り込まれた画像は、
図４に示す読み出し部４０４によって読み出される。読
み出し部４０４は、撮像素子４０２の各画素の電荷を電
圧に変換して読み出し、Ａ／Ｄ変換部４０５に出力す
る。Ａ／Ｄ変換部は各画素の電圧信号を、各画素の輝度
を示すデジタルデータに変換して、フレームメモリ４０
６に格納する。
【００６１】フレームメモリ４０６に格納された輝度デ
ータは、各画素ごとに順次、輝度データ選択部４０７に
出力され、光学フィルタＡが対応づけられた画素の輝度
データと、光学フィルタＢが対応づけられた画素の輝度
データを分離してそれぞれ出力する。輝度データ選択部
４０７は、図５に示す光学フィルタ４０３の構成データ
を有し、この構成データに基づいて各画素の位置データ
を保持して、各画素の輝度データを分離して出力する。
ータは、各画素ごとに順次、輝度データ選択部４０７に
出力され、光学フィルタＡが対応づけられた画素の輝度
データと、光学フィルタＢが対応づけられた画素の輝度
データを分離してそれぞれ出力する。輝度データ選択部
４０７は、図５に示す光学フィルタ４０３の構成データ
を有し、この構成データに基づいて各画素の位置データ
を保持して、各画素の輝度データを分離して出力する。
【００６２】分離出力された輝度データの例を図７に示
す。図７は、図５（１）の光学フィルタを用いた場合に
得られる分離された出力データを示したものである。
す。図７は、図５（１）の光学フィルタを用いた場合に
得られる分離された出力データを示したものである。
【００６３】図７（１）は、光学フィルタＡ（可視光カ
ットフィルタ）が対応付けられた画素の輝度データを集
積したデータである。各画素中（Ａ）が示されている部
分が輝度データを有する画素であり、（−）が示されて
いる部分は輝度データを持たない画素である。（Ａ）が
示されている画素は光学フィルタＡ（可視光カットフィ
ルタ）によってフィルタリングされた画像に基づく輝度
データを有する。すなわち赤外光によって照射されたパ
ターン光を撮り込んだ画像であるパターン付き画像が図
７（１）の（Ａ）部分に撮り込まれている。
ットフィルタ）が対応付けられた画素の輝度データを集
積したデータである。各画素中（Ａ）が示されている部
分が輝度データを有する画素であり、（−）が示されて
いる部分は輝度データを持たない画素である。（Ａ）が
示されている画素は光学フィルタＡ（可視光カットフィ
ルタ）によってフィルタリングされた画像に基づく輝度
データを有する。すなわち赤外光によって照射されたパ
ターン光を撮り込んだ画像であるパターン付き画像が図
７（１）の（Ａ）部分に撮り込まれている。
【００６４】一方、図７（２）は、光学フィルタＢ（赤
外光カットフィルタ）が対応付けられた画素の輝度デー
タを集積したデータである。各画素中（Ｂ）が示されて
いる部分が輝度データを有する画素であり、（−）が示
されている部分は輝度データを持たない画素である。
（Ｂ）が示されている画素は光学フィルタＢ（赤外光カ
ットフィルタ）によってフィルタリングされた画像に基
づく輝度データを有する。すなわち赤外光によって照射
されたパターンはフィルタＢによってカットされ、計測
対象の本来の色データを反映したテクスチャ画像を撮り
込んだ画像であるテクスチャ画像が図７（２）の（Ｂ）
の部分に撮り込まれている。
外光カットフィルタ）が対応付けられた画素の輝度デー
タを集積したデータである。各画素中（Ｂ）が示されて
いる部分が輝度データを有する画素であり、（−）が示
されている部分は輝度データを持たない画素である。
（Ｂ）が示されている画素は光学フィルタＢ（赤外光カ
ットフィルタ）によってフィルタリングされた画像に基
づく輝度データを有する。すなわち赤外光によって照射
されたパターンはフィルタＢによってカットされ、計測
対象の本来の色データを反映したテクスチャ画像を撮り
込んだ画像であるテクスチャ画像が図７（２）の（Ｂ）
の部分に撮り込まれている。
【００６５】図４に示す輝度データ選択部４０７は、こ
の図７に示す２つの分離画素データをそれぞれ出力す
る。図４に示す構成は、図３に示す少なくともカメラ１
に構成されており、図７（１）に示す輝度データがパタ
ーン付き画像１，３０３として出力され、図７（２）に
示す輝度データがテクスチャ画像１，３０４として出力
されることになる。
の図７に示す２つの分離画素データをそれぞれ出力す
る。図４に示す構成は、図３に示す少なくともカメラ１
に構成されており、図７（１）に示す輝度データがパタ
ーン付き画像１，３０３として出力され、図７（２）に
示す輝度データがテクスチャ画像１，３０４として出力
されることになる。
【００６６】一方、カメラ２，３０２はカメラ１と同様
の構成として距離画像生成用のパターン付き画像とテク
スチャ画像を得る構成としてもよく、あるいは距離画像
生成用のパターン付き画像のみを得る構成としてもよ
い。
の構成として距離画像生成用のパターン付き画像とテク
スチャ画像を得る構成としてもよく、あるいは距離画像
生成用のパターン付き画像のみを得る構成としてもよ
い。
【００６７】カメラ２，３０２をカメラ１と同様、距離
画像生成用のパターン付き画像とテクスチャ画像を得る
構成とした場合は、図７（１）に示すと同様の輝度デー
タをパターン付き画像２，３０５として出力し、図７
（２）に示すと同様の輝度データをテクスチャ画像２，
３０６として出力する。カメラ２，３０２によって撮り
込まれたパターン付き画像２，３０５は距離画像生成用
データとして画像間対応付け手段３０７に出力され、カ
メラ２，３０２によって撮り込まれたテクスチャ画像
２，３０６は、カメラ１，３０１によって撮り込まれた
テクスチャ画像１，３０４の補間用データとして用いる
ことができる。
画像生成用のパターン付き画像とテクスチャ画像を得る
構成とした場合は、図７（１）に示すと同様の輝度デー
タをパターン付き画像２，３０５として出力し、図７
（２）に示すと同様の輝度データをテクスチャ画像２，
３０６として出力する。カメラ２，３０２によって撮り
込まれたパターン付き画像２，３０５は距離画像生成用
データとして画像間対応付け手段３０７に出力され、カ
メラ２，３０２によって撮り込まれたテクスチャ画像
２，３０６は、カメラ１，３０１によって撮り込まれた
テクスチャ画像１，３０４の補間用データとして用いる
ことができる。
【００６８】なお、テクスチャ画像はカメラ１，３０１
によって撮り込まれており、カメラ２，３０６によって
テクスチャ画像を撮り込む必要がない場合は、カメラ２
は距離画像を生成するためのパターン付き画像のみを得
る構成としてもよい。その場合は、カメラ２，３０２は
図４に示す２つの種類の光学フィルタを画素毎に対応さ
せた構成を持つ必要がなく、可視光カットフィルタを撮
像素子の全画素に対応付けた構成とすることができる。
によって撮り込まれており、カメラ２，３０６によって
テクスチャ画像を撮り込む必要がない場合は、カメラ２
は距離画像を生成するためのパターン付き画像のみを得
る構成としてもよい。その場合は、カメラ２，３０２は
図４に示す２つの種類の光学フィルタを画素毎に対応さ
せた構成を持つ必要がなく、可視光カットフィルタを撮
像素子の全画素に対応付けた構成とすることができる。
【００６９】図３に示す画像間対応付け手段３０７は、
カメラ１，３０１によって撮り込まれたパターン付き画
像１，３０３と、カメラ２，３０２によって撮り込まれ
たパターン付き画像２，３０５を入力する。これらのパ
ターン付き画像は、図７（１）に示す画像データであ
り、全画素についてのデータを保有するものではない
が、画像間対応付け手段３０７における画像間対応付け
処理は、これらの画素データのみに基づいて行なうこと
が可能である。なお、必要であれば、輝度データを持た
ない画素について、周辺画素の輝度データに基づく補間
処理を実行してもよい。あるいは、輝度データのない画
素について、隣接のＸ軸方向、あるいはＹ軸方向にシフ
トした輝度データを使用することも可能である。この処
理を行なうと、画像間対応付け処理において１画素ずれ
た異なった点を対応点とする可能性があるが、画像全体
をマクロ的に観察する場合には、このミクロ的な誤差は
問題とならない。
カメラ１，３０１によって撮り込まれたパターン付き画
像１，３０３と、カメラ２，３０２によって撮り込まれ
たパターン付き画像２，３０５を入力する。これらのパ
ターン付き画像は、図７（１）に示す画像データであ
り、全画素についてのデータを保有するものではない
が、画像間対応付け手段３０７における画像間対応付け
処理は、これらの画素データのみに基づいて行なうこと
が可能である。なお、必要であれば、輝度データを持た
ない画素について、周辺画素の輝度データに基づく補間
処理を実行してもよい。あるいは、輝度データのない画
素について、隣接のＸ軸方向、あるいはＹ軸方向にシフ
トした輝度データを使用することも可能である。この処
理を行なうと、画像間対応付け処理において１画素ずれ
た異なった点を対応点とする可能性があるが、画像全体
をマクロ的に観察する場合には、このミクロ的な誤差は
問題とならない。
【００７０】また、カメラ１，３０１によって得られる
テクスチャ画像１，３０４についても、距離画像生成用
画像と同様、図７（２）に示すように、全画素について
のデータを保有するものとはならないが、これらの画素
データに基づいて得られる画像をテクスチャ画像として
もマクロ的には問題となることはない。必要であれば、
データを持たない画素について、周辺画素のデータに基
づく補間処理を実行してもよい。また、カメラ２，３０
２から得られるテクスチャ画像２，３０６を用いて補間
処理を行なってもよい。
テクスチャ画像１，３０４についても、距離画像生成用
画像と同様、図７（２）に示すように、全画素について
のデータを保有するものとはならないが、これらの画素
データに基づいて得られる画像をテクスチャ画像として
もマクロ的には問題となることはない。必要であれば、
データを持たない画素について、周辺画素のデータに基
づく補間処理を実行してもよい。また、カメラ２，３０
２から得られるテクスチャ画像２，３０６を用いて補間
処理を行なってもよい。
【００７１】なお、図４に示す構成は、カメラ部構成と
して説明したが、これらの構成のすべての構成要素をカ
メラ内の構成とする必要はなく、例えばフレームメモリ
４０６、輝度データ選択部４０７等の構成をカメラ外に
構成してカメラからデータ転送を行なうようにしてもよ
い。また、フレームメモリ４０６を介さずにＡ／Ｄ変換
部４０５から直接輝度データを輝度データ選択部４０７
に出力する構成としてもよい。この構成例を図８に示
す。
して説明したが、これらの構成のすべての構成要素をカ
メラ内の構成とする必要はなく、例えばフレームメモリ
４０６、輝度データ選択部４０７等の構成をカメラ外に
構成してカメラからデータ転送を行なうようにしてもよ
い。また、フレームメモリ４０６を介さずにＡ／Ｄ変換
部４０５から直接輝度データを輝度データ選択部４０７
に出力する構成としてもよい。この構成例を図８に示
す。
【００７２】次に、本発明の画像処理装置を使用した具
体的な画像処理例を図９を用いて説明する。図９におい
て、計測対象９０１はカップであり、計測対象９０１に
対してパターン投光手段９００から赤外光を用いてラン
ダムパターンが照射される。このパターンは、画像間対
応付け手段による画像間対応付け処理を精度よく実行可
能とするためのパターンであり、例えば非周期的なパタ
ーンからなるランダムドットパターンが用いられる。
体的な画像処理例を図９を用いて説明する。図９におい
て、計測対象９０１はカップであり、計測対象９０１に
対してパターン投光手段９００から赤外光を用いてラン
ダムパターンが照射される。このパターンは、画像間対
応付け手段による画像間対応付け処理を精度よく実行可
能とするためのパターンであり、例えば非周期的なパタ
ーンからなるランダムドットパターンが用いられる。
【００７３】カメラ１，９０２と、カメラ２，９０３に
よってパターンの照射された計測対象９０１の画像を異
なる方向から撮り込む。カメラ１，９０２と、カメラ
２，９０３は、それぞれ位置が固定されており、距離を
求めるために必要なパラメータはキャリブレーションに
よって予め算出されている。
よってパターンの照射された計測対象９０１の画像を異
なる方向から撮り込む。カメラ１，９０２と、カメラ
２，９０３は、それぞれ位置が固定されており、距離を
求めるために必要なパラメータはキャリブレーションに
よって予め算出されている。
【００７４】カメラ１，９０２と、カメラ２，９０３
は、図５で説明したように、２つの異なる光学フィルタ
Ａ，Ｂが画素毎に対応付けられた撮像素子を有するもの
であり、赤外光カットフィルタと可視光カットフィルタ
とが画素毎に対応付けられたフィルタを介して画像を撮
り込む。なお、光学フィルタＡ，Ｂの組合わせは、可視
光カットフィルタと赤外光カットフィルタとに限らな
い。
は、図５で説明したように、２つの異なる光学フィルタ
Ａ，Ｂが画素毎に対応付けられた撮像素子を有するもの
であり、赤外光カットフィルタと可視光カットフィルタ
とが画素毎に対応付けられたフィルタを介して画像を撮
り込む。なお、光学フィルタＡ，Ｂの組合わせは、可視
光カットフィルタと赤外光カットフィルタとに限らな
い。
【００７５】例えば、光学フィルタＡとして赤外光のみ
を通過させ可視光のみならず例えば紫外線等の他の波長
の光もカットする帯域カットフィルタを用いてパターン
画像を撮り込み、光学フィルタＢとして赤外光カットフ
ィルタを用いてテクスチャ画像を撮り込む構成としても
よい。あるいは、光学フィルタＢとして赤外光カットフ
ィルタを用いてテクスチャ画像を撮り込み、光学フィル
タＡの部分にはフィルタを取り付けない構成としてパタ
ーン画像を撮り込む構成としてもよい。
を通過させ可視光のみならず例えば紫外線等の他の波長
の光もカットする帯域カットフィルタを用いてパターン
画像を撮り込み、光学フィルタＢとして赤外光カットフ
ィルタを用いてテクスチャ画像を撮り込む構成としても
よい。あるいは、光学フィルタＢとして赤外光カットフ
ィルタを用いてテクスチャ画像を撮り込み、光学フィル
タＡの部分にはフィルタを取り付けない構成としてパタ
ーン画像を撮り込む構成としてもよい。
【００７６】このような構成とすることにより、カメラ
１，９０２から、照射パターンの取り除かれたテクスチ
ャ画像１，９０４と、照射パターン付き画像１，９０６
が撮り込まれ、カメラ２，９０３から、照射パターンの
取り除かれたテクスチャ画像２，９０５と、照射パター
ン付き画像２，９０７が撮り込まれる。
１，９０２から、照射パターンの取り除かれたテクスチ
ャ画像１，９０４と、照射パターン付き画像１，９０６
が撮り込まれ、カメラ２，９０３から、照射パターンの
取り除かれたテクスチャ画像２，９０５と、照射パター
ン付き画像２，９０７が撮り込まれる。
【００７７】距離画像生成部９０８は、カメラ１，９０
２の撮影した照射パターン付き画像１，９０６と、カメ
ラ２，９０３の撮影した照射パターン付き画像２，９０
７を入力して、予め実行されたキャリブレーションによ
って算出済みのパラメータを用いて画像間対応付け処理
を実行して視差データを取得し距離画像を生成する。距
離画像生成部９０８は、計測対象９０１にランダムパタ
ーンが投影された画像を用いて画像間対応付け処理を実
行できるので、高精度な距離画像９０９を生成すること
が可能となる。
２の撮影した照射パターン付き画像１，９０６と、カメ
ラ２，９０３の撮影した照射パターン付き画像２，９０
７を入力して、予め実行されたキャリブレーションによ
って算出済みのパラメータを用いて画像間対応付け処理
を実行して視差データを取得し距離画像を生成する。距
離画像生成部９０８は、計測対象９０１にランダムパタ
ーンが投影された画像を用いて画像間対応付け処理を実
行できるので、高精度な距離画像９０９を生成すること
が可能となる。
【００７８】また、パターンの投影されていないテクス
チャ画像は、カメラ１，９０２の撮影したテクスチャ画
像１，９０４と、カメラ２，９０３の撮影したテクスチ
ャ画像２，９０５がパターン付き画像と同時に撮り込ま
れる。距離画像生成部９０８において生成された距離画
像データとテクスチャ画像１，９０４により高精度な三
次元画像データを生成することが可能となる。なお、カ
メラ１，９０２の撮影したテクスチャ画像１，９０４に
ついて、カメラ２，９０３の撮影したテクスチャ画像
２，９０５を用いて補間処理を実行してもよい。
チャ画像は、カメラ１，９０２の撮影したテクスチャ画
像１，９０４と、カメラ２，９０３の撮影したテクスチ
ャ画像２，９０５がパターン付き画像と同時に撮り込ま
れる。距離画像生成部９０８において生成された距離画
像データとテクスチャ画像１，９０４により高精度な三
次元画像データを生成することが可能となる。なお、カ
メラ１，９０２の撮影したテクスチャ画像１，９０４に
ついて、カメラ２，９０３の撮影したテクスチャ画像
２，９０５を用いて補間処理を実行してもよい。
【００７９】図１０に本発明の画像処理装置における距
離画像生成処理フローを示す。図１０のフローの各ステ
ップについて説明する。
離画像生成処理フローを示す。図１０のフローの各ステ
ップについて説明する。
【００８０】ステップＳ１００１は、計測対象である物
体に赤外光パターンを照射し、異なる方向に設置したカ
メラ１，カメラ２によって同時に計測対象の像を撮り込
むステップである。
体に赤外光パターンを照射し、異なる方向に設置したカ
メラ１，カメラ２によって同時に計測対象の像を撮り込
むステップである。
【００８１】ステップＳ１００２は、カメラ１からテク
スチャ画像１と、パタン付き画像１を取得し、カメラ２
からテクスチャ画像２と、パタン付き画像２を取得する
ステップである。これは、先に説明した図４、または図
８に示す構成によって実行されるステップである。
スチャ画像１と、パタン付き画像１を取得し、カメラ２
からテクスチャ画像２と、パタン付き画像２を取得する
ステップである。これは、先に説明した図４、または図
８に示す構成によって実行されるステップである。
【００８２】ステップＳ１００３は距離画像生成部にお
いて、カメラ１の撮影した照射パターン付き画像１と、
カメラ２の撮影した照射パターン付き画像２を入力し
て、キャリブレーション・パラメータを用いて画像間対
応付け処理を実行して視差データを取得し距離画像を生
成するステップである。
いて、カメラ１の撮影した照射パターン付き画像１と、
カメラ２の撮影した照射パターン付き画像２を入力し
て、キャリブレーション・パラメータを用いて画像間対
応付け処理を実行して視差データを取得し距離画像を生
成するステップである。
【００８３】なお、上述の実施例においては、パターン
照射光を赤外光を用いて計測対象に照射して、カメラの
フィルタとして赤外光カットフィルタを設けた構成によ
り、パターンを取り除いたテクスチャ画像を撮り込む構
成について説明したが、例えばパターン照射光を紫外光
を用いて計測対象に照射して、カメラのフィルタとして
紫外光カットフィルタを用いて、紫外光カットフィルタ
を対応させた画素の撮り込み画像に基づいてテクスチャ
画像を得る構成としてもよい。
照射光を赤外光を用いて計測対象に照射して、カメラの
フィルタとして赤外光カットフィルタを設けた構成によ
り、パターンを取り除いたテクスチャ画像を撮り込む構
成について説明したが、例えばパターン照射光を紫外光
を用いて計測対象に照射して、カメラのフィルタとして
紫外光カットフィルタを用いて、紫外光カットフィルタ
を対応させた画素の撮り込み画像に基づいてテクスチャ
画像を得る構成としてもよい。
【００８４】さらに、赤外光、紫外光のように波長帯域
によって可視光と分離する手法のみならず、例えば、パ
ターン照射を一定の偏波光として照射する構成とすると
ともに、撮像素子に設ける光学フィルタに偏光板を適用
して、偏光板を通過した画素部分にはパターン光を入力
させない構成としてもよい。
によって可視光と分離する手法のみならず、例えば、パ
ターン照射を一定の偏波光として照射する構成とすると
ともに、撮像素子に設ける光学フィルタに偏光板を適用
して、偏光板を通過した画素部分にはパターン光を入力
させない構成としてもよい。
【００８５】あるいは、パターン光を光強度（輝度）の
弱い照射光によって計測対象に照射する構成とするとと
もに、撮像素子に光強度を低減させる光強度低減フィル
タを設けることにより、フィルタを通過した画素部分に
はパターン光を入力させない、あるいはパターン光を目
立たなくする構成としてもよい。
弱い照射光によって計測対象に照射する構成とするとと
もに、撮像素子に光強度を低減させる光強度低減フィル
タを設けることにより、フィルタを通過した画素部分に
はパターン光を入力させない、あるいはパターン光を目
立たなくする構成としてもよい。
【００８６】このように、パターン光を照射する光特性
に応じて撮像素子のフィルタ構成をパターン光入力画素
と、パターン光非入力画素との組合わせ構成とし、パタ
ーン付き画像とテクスチャ画像とを同時に撮り込み、こ
れら２つの種類の画像データを各画像データを取り込ん
だ画素に応じて分離し、パターン光を撮り込んだ画素デ
ータを距離画像生成用画像として用い、パターン光を撮
り込まない画素データをテクスチャ画像として用いるこ
とで、従来のようなパターン光が写し込まれた画像から
パターンを取り除くといった煩雑な画像処理が不要とな
る。
に応じて撮像素子のフィルタ構成をパターン光入力画素
と、パターン光非入力画素との組合わせ構成とし、パタ
ーン付き画像とテクスチャ画像とを同時に撮り込み、こ
れら２つの種類の画像データを各画像データを取り込ん
だ画素に応じて分離し、パターン光を撮り込んだ画素デ
ータを距離画像生成用画像として用い、パターン光を撮
り込まない画素データをテクスチャ画像として用いるこ
とで、従来のようなパターン光が写し込まれた画像から
パターンを取り除くといった煩雑な画像処理が不要とな
る。
【００８７】なお、上述の実施例では、画像撮り込みを
行なうカメラを２台として、２つの投光パターン画像か
ら距離画像を求める構成について説明したが、さらに３
台以上のカメラを用いたマルチベースラインステレオシ
ステムにおいて本発明を適用することも可能である。さ
らに、本発明の構成は上述したステレオ法に基づく距離
計測のみならず、パターン光を投影することによって距
離計測を行なう光切断法や、空間コード（２次元コード
化パターン）法による距離計測においても応用可能であ
る。
行なうカメラを２台として、２つの投光パターン画像か
ら距離画像を求める構成について説明したが、さらに３
台以上のカメラを用いたマルチベースラインステレオシ
ステムにおいて本発明を適用することも可能である。さ
らに、本発明の構成は上述したステレオ法に基づく距離
計測のみならず、パターン光を投影することによって距
離計測を行なう光切断法や、空間コード（２次元コード
化パターン）法による距離計測においても応用可能であ
る。
【００８８】以上、特定の実施例を参照しながら、本発
明について詳解してきた。しかしながら、本発明の要旨
を逸脱しない範囲で当業者が該実施例の修正や代用を成
し得ることは自明である。すなわち、例示という形態で
本発明を開示してきたのであり、限定的に解釈されるべ
きではない。また、上述の実施例を適宜組み合わせて構
成したものも、本発明の範囲に含まれるものであり、本
発明の要旨を判断するためには、冒頭に記載した特許請
求の範囲の欄を参酌すべきである。
明について詳解してきた。しかしながら、本発明の要旨
を逸脱しない範囲で当業者が該実施例の修正や代用を成
し得ることは自明である。すなわち、例示という形態で
本発明を開示してきたのであり、限定的に解釈されるべ
きではない。また、上述の実施例を適宜組み合わせて構
成したものも、本発明の範囲に含まれるものであり、本
発明の要旨を判断するためには、冒頭に記載した特許請
求の範囲の欄を参酌すべきである。
【００８９】
【発明の効果】以上、詳記したように、本発明の画像処
理装置および画像処理方法によれば、距離画像を生成す
る計測対象を撮影する撮像素子に２つの異なる画像を撮
り込むためのフィルタを設け、撮像素子の一部の画素を
パターン光入力画素とし、他の画素をパターン光非入力
画素とする構成としたので、距離画像生成用のパターン
画像と、パターンの取り除かれたテクスチャ画像の２つ
の画像を同時に撮り込むことが可能となり、パターン画
像を用いた高精度な距離画像が生成可能となるととも
に、生成した距離画像に基づく距離データとテクスチャ
画像に基づいて容易に高精度な三次元画像データを生成
することが可能となる。
理装置および画像処理方法によれば、距離画像を生成す
る計測対象を撮影する撮像素子に２つの異なる画像を撮
り込むためのフィルタを設け、撮像素子の一部の画素を
パターン光入力画素とし、他の画素をパターン光非入力
画素とする構成としたので、距離画像生成用のパターン
画像と、パターンの取り除かれたテクスチャ画像の２つ
の画像を同時に撮り込むことが可能となり、パターン画
像を用いた高精度な距離画像が生成可能となるととも
に、生成した距離画像に基づく距離データとテクスチャ
画像に基づいて容易に高精度な三次元画像データを生成
することが可能となる。
【図１】本発明において使用される三次元情報取得構成
として適用可能なステレオ法について説明した図であ
る。
として適用可能なステレオ法について説明した図であ
る。
【図２】ステレオ法を適用した距離画像生成において行
われる画像間対応付け処理について説明する図である。
われる画像間対応付け処理について説明する図である。
【図３】本発明の画像処理装置の構成を示す図である。
【図４】本発明の画像処理装置におけるカメラ部の構成
を示す図である。
を示す図である。
【図５】本発明の画像処理装置において適用される光学
フィルタの構成例（その１）を示す図である。
フィルタの構成例（その１）を示す図である。
【図６】本発明の画像処理装置において適用される光学
フィルタの構成例（その２）を示す図である。
フィルタの構成例（その２）を示す図である。
【図７】本発明の画像処理装置において得られるパター
ン付き画像と、テクスチャ画像のデータ取得画素構成に
ついて説明する図である。
ン付き画像と、テクスチャ画像のデータ取得画素構成に
ついて説明する図である。
【図８】本発明の画像処理装置におけるカメラ部の構成
（例２）を示す図である。
（例２）を示す図である。
【図９】本発明の画像処理装置における画像処理の具体
的実施例を説明する図である。
的実施例を説明する図である。
【図１０】本発明の画像処理装置における像撮り込みお
よび距離画像生成処理フローを説明する図である。
よび距離画像生成処理フローを説明する図である。
３００ 計測対象 ３０１ カメラ１ ３０２ カメラ２ ３０３ パターン付き画像１ ３０４ テクスチャ画像１ ３０５ パターン付き画像２ ３０６ テクスチャ画像２ ３０７ 画像間対応付け手段 ３０８ 距離画像生成手段 ３１１ 投光パターン照射手段 ４０１ レンズ ４０２ 撮像素子 ４０３ 光学フィルタ ４０４ 読み出し部 ４０５ Ａ／Ｄ変換部 ４０６ 輝度データ選択部 ９００ 投光パターン照射手段 ９０１ 計測対象 ９０２ カメラ１ ９０３ カメラ２ ９０４ テクスチャ画像１ ９０５ テクスチャ画像２ ９０６ パターン付き画像１ ９０７ パターン付き画像２ ９０８ 距離画像生成部 ９０９ 距離画像
フロントページの続き Ｆターム(参考） 2F065 AA04 AA06 AA53 FF05 FF49 HH00 HH07 LL22 LL24 LL26 LL32 QQ03 QQ24 QQ25 QQ31 2H059 AA10 AA18 CA01 5B057 BA02 BA15 CA08 CA12 CA16 CB08 CB13 CB16 DA07 DA20 DB03 DB09 DC32 DC36 5C076 AA11 AA19
Claims (14)
- 【請求項１】計測対象にパターン光を照射してパターン
光を投影した画像に基づいて計測対象の距離データを生
成する画像処理装置において、 計測対象にパターン光を投影するパターン投光手段と、 計測対象の画像を画素単位で撮り込み、各画素毎に画像
の輝度データを格納する撮像素子と、 前記撮像素子を構成する複数画素の一部画素において前
記パターン光を投影したパターン付き画像を撮り込み、
前記撮像素子を構成する他の画素において前記パターン
光を取り除いたテクスチャ画像を撮り込むように構成し
た光学フィルタと、 前記撮像素子に格納された画像データを、前記パターン
付き画像を撮り込んだパターン画像撮り込み画素データ
と、前記テクスチャ画像を撮り込んだテクスチャ画像撮
り込み画素データとに分離して出力するデータ選択手段
と、 前記データ選択手段において分離出力された前記パター
ン付き画像に基づいて前記計測対象の距離データを算出
する距離画像生成手段と、 を有することを特徴とする画像処理装置。 - 【請求項２】前記光学フィルタは、前記撮像素子におい
てパターン付き画像を撮り込む画素と、テクスチャ画像
を撮り込む画素各々に対応させて異なる光透過特性を有
する光学フィルタを配置した構成であることを特徴とす
る請求項１に記載の画像処理装置。 - 【請求項３】前記光学フィルタは、異なる２つの波長帯
域の光をカットする２つの異なる種類の帯域カットフィ
ルタを前記撮像素子のパターン付き画像撮り込み画素
と、テクスチャ画像撮り込み画素の各々に対応させて配
置したことを特徴とする請求項１に記載の画像処理装
置。 - 【請求項４】前記光学フィルタは、前記撮像素子のパタ
ーン付き画像撮り込み画素と、テクスチャ画像撮り込み
画素の各々に対応させてそれぞれ異なる光透過特性を有
する異なる種類の光学フィルタを配置した構成であり、
前記光学フィルタの少なくとも一方を偏光板によって構
成したことを特徴とする請求項１に記載の画像処理装
置。 - 【請求項５】前記光学フィルタは、前記撮像素子のパタ
ーン付き画像撮り込み画素と、テクスチャ画像撮り込み
画素の各々に対応させてそれぞれ異なる光透過特性を有
する異なる種類の光学フィルタを配置した構成であり、
前記光学フィルタの少なくとも一方が光強度を低減させ
る光強度低減フィルタによって構成したことを特徴とす
る請求項１に記載の画像処理装置。 - 【請求項６】前記パターン投光手段は、赤外光によるパ
ターン光を前記計測対象に投影する構成を有し、 前記光学フィルタは、前記撮像素子におけるテクスチャ
画像を撮り込む画素に対応して赤外光カットフィルタを
配置した構成を有することを特徴とする請求項１に記載
の画像処理装置。 - 【請求項７】前記光学フィルタは、前記撮像素子におけ
るパターン付き画像を撮り込む画素に対応して可視光カ
ットフィルタを配置した構成を有することを特徴とする
請求項１に記載の画像処理装置。 - 【請求項８】前記光学フィルタは、前記撮像素子のパタ
ーン付き画像撮り込み画素と、テクスチャ画像撮り込み
画素の各々に対応させてそれぞれ異なる光透過特性を有
する異なる種類の光学フィルタを配置した構成であり、
前記撮像素子の隣接画素において異なる光学フィルタを
配置した構成を有することを特徴とする請求項１に記載
の画像処理装置。 - 【請求項９】前記光学フィルタは、前記撮像素子のパタ
ーン付き画像撮り込み画素と、テクスチャ画像撮り込み
画素の各々に対応させてそれぞれ異なる光透過特性を有
する異なる種類の光学フィルタを配置した構成であり、
前記撮像素子を構成する画素数の約１／２をパターン付
き画像撮り込み画素とし、残り約１／２の画素をテクス
チャ画像撮り込み画素とするように異なる光学フィルタ
を配置した構成を有することを特徴とする請求項１に記
載の画像処理装置。 - 【請求項１０】前記画像処理装置は、計測対象を異なる
方向から撮影した画像を用いて前記計測対象の三次元形
状を計測しステレオ法を適用して距離画像を生成する画
像処理装置であり、 前記計測対象の画像を撮り込む第１カメラと、 前記第１カメラと異なる方向から前記計測対象の画像を
撮り込む第２カメラと、 前記第１カメラによって撮り込まれた第１画像と、前記
第２カメラによって撮り込まれた第２画像との画像間対
応付け処理により視差データを生成して、該視差データ
に基づいて距離画像を生成する距離画像生成手段とを有
し、 前記第１カメラ、および前記第２カメラの少なくとも一
方は、 前記計測対象の画像を画素単位で撮り込み、各画素毎に
画像の輝度データを格納する撮像素子と、 前記撮像素子を構成する複数画素の一部画素において前
記パターン光を投影したパターン付き画像を撮り込み、
前記撮像素子を構成する他の画素において前記パターン
光を取り除いたテクスチャ画像を撮り込むように構成し
た光学フィルタと、 を有した構成であることを特徴とする請求項１に記載の
画像処理装置。 - 【請求項１１】計測対象にパターン光を照射してパター
ン光を投影した画像に基づいて計測対象の距離データを
生成する画像処理方法において、 計測対象を撮像素子によって撮り込むステップであり、
前記撮像素子を構成する複数画素の一部画素においてパ
ターン光を投影したパターン付き画像を撮り込み、前記
撮像素子を構成する他の画素において前記パターン光を
取り除いたテクスチャ画像を撮り込む画像撮り込みステ
ップと、 前記撮像素子に格納された画像データを、前記パターン
付き画像を撮り込んだパターン画像撮り込み画素データ
と、前記テクスチャ画像を撮り込んだテクスチャ画像撮
り込み画素データとに分離して出力する画像データ分離
ステップと、 前記画像データ分離ステップにおいて分離出力された前
記パターン付き画像に基づいて前記計測対象の距離デー
タを算出する距離画像生成ステップと、 を有することを特徴とする画像処理方法。 - 【請求項１２】前記光学フィルタは、前記撮像素子にお
いてパターン付き画像を撮り込む画素と、テクスチャ画
像を撮り込む画素各々に対応させて異なる光透過特性を
有する光学フィルタを配置した構成であり、前記画像撮
り込みステップは、異なる光透過特性を有する光学フィ
ルタを介してパターン付き画像とテクスチャ画像とを同
時に撮り込むことを特徴とする請求項１１に記載の画像
処理方法。 - 【請求項１３】前記画像処理方法は、計測対象を異なる
方向から撮影した画像を用いて前記計測対象の三次元形
状を計測しステレオ法を適用して距離画像を生成する画
像処理方法であり、 計測対象の画像を第１カメラと、前記第１カメラと異な
る方向に配置した第２カメラによって同時に撮り込む画
像撮り込みステップであり、前記第１カメラおよび前記
第２カメラに構成された撮像素子を構成する複数画素の
一部画素においてパターン光を投影したパターン付き画
像を撮り込み、前記撮像素子を構成する他の画素におい
て前記パターン光を取り除いたテクスチャ画像を、それ
ぞれ各カメラにおいて撮り込む画像撮り込みステップ
と、 前記第１カメラおよび第２カメラの撮像素子に格納され
た画像データについて、前記パターン付き画像を撮り込
んだパターン画像撮り込み画素データと、前記テクスチ
ャ画像を撮り込んだテクスチャ画像撮り込み画素データ
とに分離して出力する画像データ分離ステップと、 前記画像データ分離ステップにおいて分離出力された前
記第１カメラの撮り込んだ第１パターン付き画像と、前
記第２カメラの撮り込んだ第２パターン付き画像とに基
づいて前記計測対象の距離データを算出する距離画像生
成ステップと、 を有することを特徴とする請求項１１に記載の画像処理
方法。 - 【請求項１４】計測対象にパターン光を照射してパター
ン光を投影した画像に基づいて計測対象の距離データを
生成する画像処理をコンピュータ・システム上で実行せ
しめるコンピュータ・プログラムを提供するプログラム
提供媒体であって、前記コンピュータ・プログラムは、 計測対象を撮像素子によって撮り込むステップであり、
前記撮像素子を構成する複数画素の一部画素においてパ
ターン光を投影したパターン付き画像を撮り込み、前記
撮像素子を構成する他の画素において前記パターン光を
取り除いたテクスチャ画像を撮り込む画像撮り込みステ
ップと、 前記撮像素子に格納された画像データを、前記パターン
付き画像を撮り込んだパターン画像撮り込み画素データ
と、前記テクスチャ画像を撮り込んだテクスチャ画像撮
り込み画素データとに分離して出力する画像データ分離
ステップと、 前記画像データ分離ステップにおいて分離出力された前
記パターン付き画像に基づいて前記計測対象の距離デー
タを算出する距離画像生成ステップと、 を有することを特徴とするプログラム提供媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000010127A JP2001194114A (ja) | 2000-01-14 | 2000-01-14 | 画像処理装置および画像処理方法、並びにプログラム提供媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000010127A JP2001194114A (ja) | 2000-01-14 | 2000-01-14 | 画像処理装置および画像処理方法、並びにプログラム提供媒体 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2001194114A true JP2001194114A (ja) | 2001-07-19 |
Family
ID=18538176
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000010127A Pending JP2001194114A (ja) | 2000-01-14 | 2000-01-14 | 画像処理装置および画像処理方法、並びにプログラム提供媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2001194114A (ja) |
Cited By (71)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009243921A (ja) * | 2008-03-28 | 2009-10-22 | Yamatake Corp | 撮像装置および３次元形状計測装置 |
| US7911496B2 (en) | 2006-11-02 | 2011-03-22 | Fujifilm Corporation | Method of generating range images and apparatus therefor |
| KR20110084029A (ko) * | 2010-01-15 | 2011-07-21 | 삼성전자주식회사 | 3차원 영상 획득 장치 및 방법 |
| JP2013507601A (ja) * | 2009-10-07 | 2013-03-04 | エイ．トロンスリーディー ゲゼルシャフト ミット ベシュレンクテル ハフツング | 三次元画像を撮影するための方法 |
| JP2013540999A (ja) * | 2010-09-13 | 2013-11-07 | マイクロ‐エプシロン オプトロニク ゲーエムベーハー | 距離測定システム |
| JP2015017921A (ja) * | 2013-07-12 | 2015-01-29 | 株式会社明電舎 | 摺り板形状計測装置 |
| JP2015118583A (ja) * | 2013-12-19 | 2015-06-25 | ソニー株式会社 | 情報処理装置、情報処理方法、並びにプログラム |
| US9374516B2 (en) | 2014-04-04 | 2016-06-21 | Qualcomm Incorporated | Auto-focus in low-profile folded optics multi-camera system |
| US9383550B2 (en) | 2014-04-04 | 2016-07-05 | Qualcomm Incorporated | Auto-focus in low-profile folded optics multi-camera system |
| US9386222B2 (en) | 2014-06-20 | 2016-07-05 | Qualcomm Incorporated | Multi-camera system using folded optics free from parallax artifacts |
| US9398264B2 (en) | 2012-10-19 | 2016-07-19 | Qualcomm Incorporated | Multi-camera system using folded optics |
| US9438889B2 (en) | 2011-09-21 | 2016-09-06 | Qualcomm Incorporated | System and method for improving methods of manufacturing stereoscopic image sensors |
| US9485495B2 (en) | 2010-08-09 | 2016-11-01 | Qualcomm Incorporated | Autofocus for stereo images |
| US9541740B2 (en) | 2014-06-20 | 2017-01-10 | Qualcomm Incorporated | Folded optic array camera using refractive prisms |
| US9549107B2 (en) | 2014-06-20 | 2017-01-17 | Qualcomm Incorporated | Autofocus for folded optic array cameras |
| US20170256069A1 (en) * | 2016-03-01 | 2017-09-07 | Magic Leap, Inc. | Depth sensing systems and methods |
| US9774831B2 (en) | 2013-02-24 | 2017-09-26 | Fotonation Cayman Limited | Thin form factor computational array cameras and modular array cameras |
| US9774789B2 (en) | 2013-03-08 | 2017-09-26 | Fotonation Cayman Limited | Systems and methods for high dynamic range imaging using array cameras |
| US9787911B2 (en) | 2013-03-14 | 2017-10-10 | Fotonation Cayman Limited | Systems and methods for photometric normalization in array cameras |
| US9794476B2 (en) | 2011-09-19 | 2017-10-17 | Fotonation Cayman Limited | Systems and methods for controlling aliasing in images captured by an array camera for use in super resolution processing using pixel apertures |
| US9800859B2 (en) | 2013-03-15 | 2017-10-24 | Fotonation Cayman Limited | Systems and methods for estimating depth using stereo array cameras |
| US9800856B2 (en) | 2013-03-13 | 2017-10-24 | Fotonation Cayman Limited | Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies |
| US9807382B2 (en) | 2012-06-28 | 2017-10-31 | Fotonation Cayman Limited | Systems and methods for detecting defective camera arrays and optic arrays |
| US9813617B2 (en) | 2013-11-26 | 2017-11-07 | Fotonation Cayman Limited | Array camera configurations incorporating constituent array cameras and constituent cameras |
| US9811753B2 (en) | 2011-09-28 | 2017-11-07 | Fotonation Cayman Limited | Systems and methods for encoding light field image files |
| US9813616B2 (en) | 2012-08-23 | 2017-11-07 | Fotonation Cayman Limited | Feature based high resolution motion estimation from low resolution images captured using an array source |
| US9819863B2 (en) | 2014-06-20 | 2017-11-14 | Qualcomm Incorporated | Wide field of view array camera for hemispheric and spherical imaging |
| US9832381B2 (en) | 2014-10-31 | 2017-11-28 | Qualcomm Incorporated | Optical image stabilization for thin cameras |
| US9858673B2 (en) | 2012-08-21 | 2018-01-02 | Fotonation Cayman Limited | Systems and methods for estimating depth and visibility from a reference viewpoint for pixels in a set of images captured from different viewpoints |
| US9866739B2 (en) | 2011-05-11 | 2018-01-09 | Fotonation Cayman Limited | Systems and methods for transmitting and receiving array camera image data |
| US9888194B2 (en) | 2013-03-13 | 2018-02-06 | Fotonation Cayman Limited | Array camera architecture implementing quantum film image sensors |
| US9898856B2 (en) | 2013-09-27 | 2018-02-20 | Fotonation Cayman Limited | Systems and methods for depth-assisted perspective distortion correction |
| US9924092B2 (en) | 2013-11-07 | 2018-03-20 | Fotonation Cayman Limited | Array cameras incorporating independently aligned lens stacks |
| US9936148B2 (en) | 2010-05-12 | 2018-04-03 | Fotonation Cayman Limited | Imager array interfaces |
| US9942474B2 (en) | 2015-04-17 | 2018-04-10 | Fotonation Cayman Limited | Systems and methods for performing high speed video capture and depth estimation using array cameras |
| US9955070B2 (en) | 2013-03-15 | 2018-04-24 | Fotonation Cayman Limited | Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information |
| US9986224B2 (en) | 2013-03-10 | 2018-05-29 | Fotonation Cayman Limited | System and methods for calibration of an array camera |
| US10009538B2 (en) | 2013-02-21 | 2018-06-26 | Fotonation Cayman Limited | Systems and methods for generating compressed light field representation data using captured light fields, array geometry, and parallax information |
| US10013764B2 (en) | 2014-06-19 | 2018-07-03 | Qualcomm Incorporated | Local adaptive histogram equalization |
| US10027901B2 (en) | 2008-05-20 | 2018-07-17 | Fotonation Cayman Limited | Systems and methods for generating depth maps using a camera arrays incorporating monochrome and color cameras |
| US10084958B2 (en) | 2014-06-20 | 2018-09-25 | Qualcomm Incorporated | Multi-camera system using folded optics free from parallax and tilt artifacts |
| US10091405B2 (en) | 2013-03-14 | 2018-10-02 | Fotonation Cayman Limited | Systems and methods for reducing motion blur in images or video in ultra low light with array cameras |
| US10089740B2 (en) | 2014-03-07 | 2018-10-02 | Fotonation Limited | System and methods for depth regularization and semiautomatic interactive matting using RGB-D images |
| US10119808B2 (en) | 2013-11-18 | 2018-11-06 | Fotonation Limited | Systems and methods for estimating depth from projected texture using camera arrays |
| US10122993B2 (en) | 2013-03-15 | 2018-11-06 | Fotonation Limited | Autofocus system for a conventional camera that uses depth information from an array camera |
| US10127682B2 (en) | 2013-03-13 | 2018-11-13 | Fotonation Limited | System and methods for calibration of an array camera |
| US10142560B2 (en) | 2008-05-20 | 2018-11-27 | Fotonation Limited | Capturing and processing of images including occlusions focused on an image sensor by a lens stack array |
| US10178373B2 (en) | 2013-08-16 | 2019-01-08 | Qualcomm Incorporated | Stereo yaw correction using autofocus feedback |
| US10182216B2 (en) | 2013-03-15 | 2019-01-15 | Fotonation Limited | Extended color processing on pelican array cameras |
| US10250871B2 (en) | 2014-09-29 | 2019-04-02 | Fotonation Limited | Systems and methods for dynamic calibration of array cameras |
| US10261219B2 (en) | 2012-06-30 | 2019-04-16 | Fotonation Limited | Systems and methods for manufacturing camera modules using active alignment of lens stack arrays and sensors |
| US10306120B2 (en) | 2009-11-20 | 2019-05-28 | Fotonation Limited | Capturing and processing of images captured by camera arrays incorporating cameras with telephoto and conventional lenses to generate depth maps |
| US10311649B2 (en) | 2012-02-21 | 2019-06-04 | Fotonation Limited | Systems and method for performing depth based image editing |
| US10366472B2 (en) | 2010-12-14 | 2019-07-30 | Fotonation Limited | Systems and methods for synthesizing high resolution images using images captured by an array of independently controllable imagers |
| US10390005B2 (en) | 2012-09-28 | 2019-08-20 | Fotonation Limited | Generating images from light fields utilizing virtual viewpoints |
| US10482618B2 (en) | 2017-08-21 | 2019-11-19 | Fotonation Limited | Systems and methods for hybrid depth regularization |
| US10805589B2 (en) | 2015-04-19 | 2020-10-13 | Fotonation Limited | Multi-baseline camera array system architectures for depth augmentation in VR/AR applications |
| US11270110B2 (en) | 2019-09-17 | 2022-03-08 | Boston Polarimetrics, Inc. | Systems and methods for surface modeling using polarization cues |
| US11290658B1 (en) | 2021-04-15 | 2022-03-29 | Boston Polarimetrics, Inc. | Systems and methods for camera exposure control |
| US11302012B2 (en) | 2019-11-30 | 2022-04-12 | Boston Polarimetrics, Inc. | Systems and methods for transparent object segmentation using polarization cues |
| US11525906B2 (en) | 2019-10-07 | 2022-12-13 | Intrinsic Innovation Llc | Systems and methods for augmentation of sensor systems and imaging systems with polarization |
| US11580667B2 (en) | 2020-01-29 | 2023-02-14 | Intrinsic Innovation Llc | Systems and methods for characterizing object pose detection and measurement systems |
| US11689813B2 (en) | 2021-07-01 | 2023-06-27 | Intrinsic Innovation Llc | Systems and methods for high dynamic range imaging using crossed polarizers |
| WO2023145556A1 (ja) * | 2022-01-25 | 2023-08-03 | パナソニックＩｐマネジメント株式会社 | 距離測定装置 |
| US11792538B2 (en) | 2008-05-20 | 2023-10-17 | Adeia Imaging Llc | Capturing and processing of images including occlusions focused on an image sensor by a lens stack array |
| US11797863B2 (en) | 2020-01-30 | 2023-10-24 | Intrinsic Innovation Llc | Systems and methods for synthesizing data for training statistical models on different imaging modalities including polarized images |
| US11954886B2 (en) | 2021-04-15 | 2024-04-09 | Intrinsic Innovation Llc | Systems and methods for six-degree of freedom pose estimation of deformable objects |
| US11953700B2 (en) | 2020-05-27 | 2024-04-09 | Intrinsic Innovation Llc | Multi-aperture polarization optical systems using beam splitters |
| US12020455B2 (en) | 2021-03-10 | 2024-06-25 | Intrinsic Innovation Llc | Systems and methods for high dynamic range image reconstruction |
| US12067746B2 (en) | 2021-05-07 | 2024-08-20 | Intrinsic Innovation Llc | Systems and methods for using computer vision to pick up small objects |
| US12069227B2 (en) | 2021-03-10 | 2024-08-20 | Intrinsic Innovation Llc | Multi-modal and multi-spectral stereo camera arrays |
-
2000
- 2000-01-14 JP JP2000010127A patent/JP2001194114A/ja active Pending
Cited By (132)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7911496B2 (en) | 2006-11-02 | 2011-03-22 | Fujifilm Corporation | Method of generating range images and apparatus therefor |
| JP2009243921A (ja) * | 2008-03-28 | 2009-10-22 | Yamatake Corp | 撮像装置および３次元形状計測装置 |
| US12022207B2 (en) | 2008-05-20 | 2024-06-25 | Adeia Imaging Llc | Capturing and processing of images including occlusions focused on an image sensor by a lens stack array |
| US12041360B2 (en) | 2008-05-20 | 2024-07-16 | Adeia Imaging Llc | Capturing and processing of images including occlusions focused on an image sensor by a lens stack array |
| US10142560B2 (en) | 2008-05-20 | 2018-11-27 | Fotonation Limited | Capturing and processing of images including occlusions focused on an image sensor by a lens stack array |
| US11412158B2 (en) | 2008-05-20 | 2022-08-09 | Fotonation Limited | Capturing and processing of images including occlusions focused on an image sensor by a lens stack array |
| US10027901B2 (en) | 2008-05-20 | 2018-07-17 | Fotonation Cayman Limited | Systems and methods for generating depth maps using a camera arrays incorporating monochrome and color cameras |
| US11792538B2 (en) | 2008-05-20 | 2023-10-17 | Adeia Imaging Llc | Capturing and processing of images including occlusions focused on an image sensor by a lens stack array |
| JP2013507601A (ja) * | 2009-10-07 | 2013-03-04 | エイ．トロンスリーディー ゲゼルシャフト ミット ベシュレンクテル ハフツング | 三次元画像を撮影するための方法 |
| US9050158B2 (en) | 2009-10-07 | 2015-06-09 | A. Tron3D Gmbh | Method for acquiring three-dimensional images |
| US10306120B2 (en) | 2009-11-20 | 2019-05-28 | Fotonation Limited | Capturing and processing of images captured by camera arrays incorporating cameras with telephoto and conventional lenses to generate depth maps |
| KR101652393B1 (ko) * | 2010-01-15 | 2016-08-31 | 삼성전자주식회사 | 3차원 영상 획득 장치 및 방법 |
| KR20110084029A (ko) * | 2010-01-15 | 2011-07-21 | 삼성전자주식회사 | 3차원 영상 획득 장치 및 방법 |
| US10455168B2 (en) | 2010-05-12 | 2019-10-22 | Fotonation Limited | Imager array interfaces |
| US9936148B2 (en) | 2010-05-12 | 2018-04-03 | Fotonation Cayman Limited | Imager array interfaces |
| US9485495B2 (en) | 2010-08-09 | 2016-11-01 | Qualcomm Incorporated | Autofocus for stereo images |
| JP2013540999A (ja) * | 2010-09-13 | 2013-11-07 | マイクロ‐エプシロン オプトロニク ゲーエムベーハー | 距離測定システム |
| US11875475B2 (en) | 2010-12-14 | 2024-01-16 | Adeia Imaging Llc | Systems and methods for synthesizing high resolution images using images captured by an array of independently controllable imagers |
| US11423513B2 (en) | 2010-12-14 | 2022-08-23 | Fotonation Limited | Systems and methods for synthesizing high resolution images using images captured by an array of independently controllable imagers |
| US10366472B2 (en) | 2010-12-14 | 2019-07-30 | Fotonation Limited | Systems and methods for synthesizing high resolution images using images captured by an array of independently controllable imagers |
| US10742861B2 (en) | 2011-05-11 | 2020-08-11 | Fotonation Limited | Systems and methods for transmitting and receiving array camera image data |
| US9866739B2 (en) | 2011-05-11 | 2018-01-09 | Fotonation Cayman Limited | Systems and methods for transmitting and receiving array camera image data |
| US10218889B2 (en) | 2011-05-11 | 2019-02-26 | Fotonation Limited | Systems and methods for transmitting and receiving array camera image data |
| US9794476B2 (en) | 2011-09-19 | 2017-10-17 | Fotonation Cayman Limited | Systems and methods for controlling aliasing in images captured by an array camera for use in super resolution processing using pixel apertures |
| US10375302B2 (en) | 2011-09-19 | 2019-08-06 | Fotonation Limited | Systems and methods for controlling aliasing in images captured by an array camera for use in super resolution processing using pixel apertures |
| US9438889B2 (en) | 2011-09-21 | 2016-09-06 | Qualcomm Incorporated | System and method for improving methods of manufacturing stereoscopic image sensors |
| US9864921B2 (en) | 2011-09-28 | 2018-01-09 | Fotonation Cayman Limited | Systems and methods for encoding image files containing depth maps stored as metadata |
| US10430682B2 (en) | 2011-09-28 | 2019-10-01 | Fotonation Limited | Systems and methods for decoding image files containing depth maps stored as metadata |
| US12052409B2 (en) | 2011-09-28 | 2024-07-30 | Adela Imaging LLC | Systems and methods for encoding image files containing depth maps stored as metadata |
| US10984276B2 (en) | 2011-09-28 | 2021-04-20 | Fotonation Limited | Systems and methods for encoding image files containing depth maps stored as metadata |
| US10275676B2 (en) | 2011-09-28 | 2019-04-30 | Fotonation Limited | Systems and methods for encoding image files containing depth maps stored as metadata |
| US20180197035A1 (en) | 2011-09-28 | 2018-07-12 | Fotonation Cayman Limited | Systems and Methods for Encoding Image Files Containing Depth Maps Stored as Metadata |
| US10019816B2 (en) | 2011-09-28 | 2018-07-10 | Fotonation Cayman Limited | Systems and methods for decoding image files containing depth maps stored as metadata |
| US11729365B2 (en) | 2011-09-28 | 2023-08-15 | Adela Imaging LLC | Systems and methods for encoding image files containing depth maps stored as metadata |
| US9811753B2 (en) | 2011-09-28 | 2017-11-07 | Fotonation Cayman Limited | Systems and methods for encoding light field image files |
| US10311649B2 (en) | 2012-02-21 | 2019-06-04 | Fotonation Limited | Systems and method for performing depth based image editing |
| US10334241B2 (en) | 2012-06-28 | 2019-06-25 | Fotonation Limited | Systems and methods for detecting defective camera arrays and optic arrays |
| US9807382B2 (en) | 2012-06-28 | 2017-10-31 | Fotonation Cayman Limited | Systems and methods for detecting defective camera arrays and optic arrays |
| US11022725B2 (en) | 2012-06-30 | 2021-06-01 | Fotonation Limited | Systems and methods for manufacturing camera modules using active alignment of lens stack arrays and sensors |
| US10261219B2 (en) | 2012-06-30 | 2019-04-16 | Fotonation Limited | Systems and methods for manufacturing camera modules using active alignment of lens stack arrays and sensors |
| US9858673B2 (en) | 2012-08-21 | 2018-01-02 | Fotonation Cayman Limited | Systems and methods for estimating depth and visibility from a reference viewpoint for pixels in a set of images captured from different viewpoints |
| US10380752B2 (en) | 2012-08-21 | 2019-08-13 | Fotonation Limited | Systems and methods for estimating depth and visibility from a reference viewpoint for pixels in a set of images captured from different viewpoints |
| US12002233B2 (en) | 2012-08-21 | 2024-06-04 | Adeia Imaging Llc | Systems and methods for estimating depth and visibility from a reference viewpoint for pixels in a set of images captured from different viewpoints |
| US9813616B2 (en) | 2012-08-23 | 2017-11-07 | Fotonation Cayman Limited | Feature based high resolution motion estimation from low resolution images captured using an array source |
| US10462362B2 (en) | 2012-08-23 | 2019-10-29 | Fotonation Limited | Feature based high resolution motion estimation from low resolution images captured using an array source |
| US10390005B2 (en) | 2012-09-28 | 2019-08-20 | Fotonation Limited | Generating images from light fields utilizing virtual viewpoints |
| US10165183B2 (en) | 2012-10-19 | 2018-12-25 | Qualcomm Incorporated | Multi-camera system using folded optics |
| US9398264B2 (en) | 2012-10-19 | 2016-07-19 | Qualcomm Incorporated | Multi-camera system using folded optics |
| US9838601B2 (en) | 2012-10-19 | 2017-12-05 | Qualcomm Incorporated | Multi-camera system using folded optics |
| US10009538B2 (en) | 2013-02-21 | 2018-06-26 | Fotonation Cayman Limited | Systems and methods for generating compressed light field representation data using captured light fields, array geometry, and parallax information |
| US9774831B2 (en) | 2013-02-24 | 2017-09-26 | Fotonation Cayman Limited | Thin form factor computational array cameras and modular array cameras |
| US9774789B2 (en) | 2013-03-08 | 2017-09-26 | Fotonation Cayman Limited | Systems and methods for high dynamic range imaging using array cameras |
| US9917998B2 (en) | 2013-03-08 | 2018-03-13 | Fotonation Cayman Limited | Systems and methods for measuring scene information while capturing images using array cameras |
| US11985293B2 (en) | 2013-03-10 | 2024-05-14 | Adeia Imaging Llc | System and methods for calibration of an array camera |
| US10958892B2 (en) | 2013-03-10 | 2021-03-23 | Fotonation Limited | System and methods for calibration of an array camera |
| US11272161B2 (en) | 2013-03-10 | 2022-03-08 | Fotonation Limited | System and methods for calibration of an array camera |
| US9986224B2 (en) | 2013-03-10 | 2018-05-29 | Fotonation Cayman Limited | System and methods for calibration of an array camera |
| US10225543B2 (en) | 2013-03-10 | 2019-03-05 | Fotonation Limited | System and methods for calibration of an array camera |
| US9800856B2 (en) | 2013-03-13 | 2017-10-24 | Fotonation Cayman Limited | Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies |
| US10127682B2 (en) | 2013-03-13 | 2018-11-13 | Fotonation Limited | System and methods for calibration of an array camera |
| US9888194B2 (en) | 2013-03-13 | 2018-02-06 | Fotonation Cayman Limited | Array camera architecture implementing quantum film image sensors |
| US9787911B2 (en) | 2013-03-14 | 2017-10-10 | Fotonation Cayman Limited | Systems and methods for photometric normalization in array cameras |
| US10412314B2 (en) | 2013-03-14 | 2019-09-10 | Fotonation Limited | Systems and methods for photometric normalization in array cameras |
| US10547772B2 (en) | 2013-03-14 | 2020-01-28 | Fotonation Limited | Systems and methods for reducing motion blur in images or video in ultra low light with array cameras |
| US10091405B2 (en) | 2013-03-14 | 2018-10-02 | Fotonation Cayman Limited | Systems and methods for reducing motion blur in images or video in ultra low light with array cameras |
| US10638099B2 (en) | 2013-03-15 | 2020-04-28 | Fotonation Limited | Extended color processing on pelican array cameras |
| US10122993B2 (en) | 2013-03-15 | 2018-11-06 | Fotonation Limited | Autofocus system for a conventional camera that uses depth information from an array camera |
| US10542208B2 (en) | 2013-03-15 | 2020-01-21 | Fotonation Limited | Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information |
| US10674138B2 (en) | 2013-03-15 | 2020-06-02 | Fotonation Limited | Autofocus system for a conventional camera that uses depth information from an array camera |
| US10182216B2 (en) | 2013-03-15 | 2019-01-15 | Fotonation Limited | Extended color processing on pelican array cameras |
| US9955070B2 (en) | 2013-03-15 | 2018-04-24 | Fotonation Cayman Limited | Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information |
| US9800859B2 (en) | 2013-03-15 | 2017-10-24 | Fotonation Cayman Limited | Systems and methods for estimating depth using stereo array cameras |
| US10455218B2 (en) | 2013-03-15 | 2019-10-22 | Fotonation Limited | Systems and methods for estimating depth using stereo array cameras |
| JP2015017921A (ja) * | 2013-07-12 | 2015-01-29 | 株式会社明電舎 | 摺り板形状計測装置 |
| US10178373B2 (en) | 2013-08-16 | 2019-01-08 | Qualcomm Incorporated | Stereo yaw correction using autofocus feedback |
| US9898856B2 (en) | 2013-09-27 | 2018-02-20 | Fotonation Cayman Limited | Systems and methods for depth-assisted perspective distortion correction |
| US10540806B2 (en) | 2013-09-27 | 2020-01-21 | Fotonation Limited | Systems and methods for depth-assisted perspective distortion correction |
| US9924092B2 (en) | 2013-11-07 | 2018-03-20 | Fotonation Cayman Limited | Array cameras incorporating independently aligned lens stacks |
| US10767981B2 (en) | 2013-11-18 | 2020-09-08 | Fotonation Limited | Systems and methods for estimating depth from projected texture using camera arrays |
| US11486698B2 (en) | 2013-11-18 | 2022-11-01 | Fotonation Limited | Systems and methods for estimating depth from projected texture using camera arrays |
| US10119808B2 (en) | 2013-11-18 | 2018-11-06 | Fotonation Limited | Systems and methods for estimating depth from projected texture using camera arrays |
| US9813617B2 (en) | 2013-11-26 | 2017-11-07 | Fotonation Cayman Limited | Array camera configurations incorporating constituent array cameras and constituent cameras |
| US10708492B2 (en) | 2013-11-26 | 2020-07-07 | Fotonation Limited | Array camera configurations incorporating constituent array cameras and constituent cameras |
| JP2015118583A (ja) * | 2013-12-19 | 2015-06-25 | ソニー株式会社 | 情報処理装置、情報処理方法、並びにプログラム |
| US10089740B2 (en) | 2014-03-07 | 2018-10-02 | Fotonation Limited | System and methods for depth regularization and semiautomatic interactive matting using RGB-D images |
| US10574905B2 (en) | 2014-03-07 | 2020-02-25 | Fotonation Limited | System and methods for depth regularization and semiautomatic interactive matting using RGB-D images |
| US9973680B2 (en) | 2014-04-04 | 2018-05-15 | Qualcomm Incorporated | Auto-focus in low-profile folded optics multi-camera system |
| US9374516B2 (en) | 2014-04-04 | 2016-06-21 | Qualcomm Incorporated | Auto-focus in low-profile folded optics multi-camera system |
| US9383550B2 (en) | 2014-04-04 | 2016-07-05 | Qualcomm Incorporated | Auto-focus in low-profile folded optics multi-camera system |
| US9860434B2 (en) | 2014-04-04 | 2018-01-02 | Qualcomm Incorporated | Auto-focus in low-profile folded optics multi-camera system |
| US10013764B2 (en) | 2014-06-19 | 2018-07-03 | Qualcomm Incorporated | Local adaptive histogram equalization |
| US9843723B2 (en) | 2014-06-20 | 2017-12-12 | Qualcomm Incorporated | Parallax free multi-camera system capable of capturing full spherical images |
| US9854182B2 (en) | 2014-06-20 | 2017-12-26 | Qualcomm Incorporated | Folded optic array camera using refractive prisms |
| US9733458B2 (en) | 2014-06-20 | 2017-08-15 | Qualcomm Incorporated | Multi-camera system using folded optics free from parallax artifacts |
| US9549107B2 (en) | 2014-06-20 | 2017-01-17 | Qualcomm Incorporated | Autofocus for folded optic array cameras |
| US9819863B2 (en) | 2014-06-20 | 2017-11-14 | Qualcomm Incorporated | Wide field of view array camera for hemispheric and spherical imaging |
| US9386222B2 (en) | 2014-06-20 | 2016-07-05 | Qualcomm Incorporated | Multi-camera system using folded optics free from parallax artifacts |
| US9541740B2 (en) | 2014-06-20 | 2017-01-10 | Qualcomm Incorporated | Folded optic array camera using refractive prisms |
| US10084958B2 (en) | 2014-06-20 | 2018-09-25 | Qualcomm Incorporated | Multi-camera system using folded optics free from parallax and tilt artifacts |
| US11546576B2 (en) | 2014-09-29 | 2023-01-03 | Adeia Imaging Llc | Systems and methods for dynamic calibration of array cameras |
| US10250871B2 (en) | 2014-09-29 | 2019-04-02 | Fotonation Limited | Systems and methods for dynamic calibration of array cameras |
| US9832381B2 (en) | 2014-10-31 | 2017-11-28 | Qualcomm Incorporated | Optical image stabilization for thin cameras |
| US9942474B2 (en) | 2015-04-17 | 2018-04-10 | Fotonation Cayman Limited | Systems and methods for performing high speed video capture and depth estimation using array cameras |
| US12081721B2 (en) | 2015-04-19 | 2024-09-03 | Adeia Imaging Llc | Multi-baseline camera array system architectures for depth augmentation in VR/AR applications |
| US11368662B2 (en) | 2015-04-19 | 2022-06-21 | Fotonation Limited | Multi-baseline camera array system architectures for depth augmentation in VR/AR applications |
| US10805589B2 (en) | 2015-04-19 | 2020-10-13 | Fotonation Limited | Multi-baseline camera array system architectures for depth augmentation in VR/AR applications |
| US11475583B2 (en) | 2016-03-01 | 2022-10-18 | Magic Leap, Inc. | Depth sensing systems and methods |
| US10565717B2 (en) * | 2016-03-01 | 2020-02-18 | Magic Leap, Inc. | Depth sensing systems and methods |
| US20170256069A1 (en) * | 2016-03-01 | 2017-09-07 | Magic Leap, Inc. | Depth sensing systems and methods |
| US10964039B2 (en) | 2016-03-01 | 2021-03-30 | Magic Leap, Inc. | Depth sensing systems and methods |
| US10482618B2 (en) | 2017-08-21 | 2019-11-19 | Fotonation Limited | Systems and methods for hybrid depth regularization |
| US11562498B2 (en) | 2017-08-21 | 2023-01-24 | Adela Imaging LLC | Systems and methods for hybrid depth regularization |
| US10818026B2 (en) | 2017-08-21 | 2020-10-27 | Fotonation Limited | Systems and methods for hybrid depth regularization |
| US11983893B2 (en) | 2017-08-21 | 2024-05-14 | Adeia Imaging Llc | Systems and methods for hybrid depth regularization |
| US11270110B2 (en) | 2019-09-17 | 2022-03-08 | Boston Polarimetrics, Inc. | Systems and methods for surface modeling using polarization cues |
| US11699273B2 (en) | 2019-09-17 | 2023-07-11 | Intrinsic Innovation Llc | Systems and methods for surface modeling using polarization cues |
| US11982775B2 (en) | 2019-10-07 | 2024-05-14 | Intrinsic Innovation Llc | Systems and methods for augmentation of sensor systems and imaging systems with polarization |
| US12099148B2 (en) | 2019-10-07 | 2024-09-24 | Intrinsic Innovation Llc | Systems and methods for surface normals sensing with polarization |
| US11525906B2 (en) | 2019-10-07 | 2022-12-13 | Intrinsic Innovation Llc | Systems and methods for augmentation of sensor systems and imaging systems with polarization |
| US11302012B2 (en) | 2019-11-30 | 2022-04-12 | Boston Polarimetrics, Inc. | Systems and methods for transparent object segmentation using polarization cues |
| US11842495B2 (en) | 2019-11-30 | 2023-12-12 | Intrinsic Innovation Llc | Systems and methods for transparent object segmentation using polarization cues |
| US11580667B2 (en) | 2020-01-29 | 2023-02-14 | Intrinsic Innovation Llc | Systems and methods for characterizing object pose detection and measurement systems |
| US11797863B2 (en) | 2020-01-30 | 2023-10-24 | Intrinsic Innovation Llc | Systems and methods for synthesizing data for training statistical models on different imaging modalities including polarized images |
| US11953700B2 (en) | 2020-05-27 | 2024-04-09 | Intrinsic Innovation Llc | Multi-aperture polarization optical systems using beam splitters |
| US12020455B2 (en) | 2021-03-10 | 2024-06-25 | Intrinsic Innovation Llc | Systems and methods for high dynamic range image reconstruction |
| US12069227B2 (en) | 2021-03-10 | 2024-08-20 | Intrinsic Innovation Llc | Multi-modal and multi-spectral stereo camera arrays |
| US11683594B2 (en) | 2021-04-15 | 2023-06-20 | Intrinsic Innovation Llc | Systems and methods for camera exposure control |
| US11290658B1 (en) | 2021-04-15 | 2022-03-29 | Boston Polarimetrics, Inc. | Systems and methods for camera exposure control |
| US11954886B2 (en) | 2021-04-15 | 2024-04-09 | Intrinsic Innovation Llc | Systems and methods for six-degree of freedom pose estimation of deformable objects |
| US12067746B2 (en) | 2021-05-07 | 2024-08-20 | Intrinsic Innovation Llc | Systems and methods for using computer vision to pick up small objects |
| US11689813B2 (en) | 2021-07-01 | 2023-06-27 | Intrinsic Innovation Llc | Systems and methods for high dynamic range imaging using crossed polarizers |
| WO2023145556A1 (ja) * | 2022-01-25 | 2023-08-03 | パナソニックＩｐマネジメント株式会社 | 距離測定装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2001194114A (ja) | 画像処理装置および画像処理方法、並びにプログラム提供媒体 | |
| KR102674646B1 (ko) | 뷰로부터 거리 정보를 획득하는 장치 및 방법 | |
| JP4915859B2 (ja) | 物体の距離導出装置 | |
| US20120242795A1 (en) | Digital 3d camera using periodic illumination | |
| JP2001264033A (ja) | 三次元形状計測装置とその方法、三次元モデリング装置とその方法、およびプログラム提供媒体 | |
| JP2001008235A (ja) | ３次元データの再構成のための画像入力方法及び多眼式データ入力装置 | |
| CN107517346B (zh) | 基于结构光的拍照方法、装置及移动设备 | |
| EP3382645B1 (en) | Method for generation of a 3d model based on structure from motion and photometric stereo of 2d sparse images | |
| JP2012058076A (ja) | ３次元計測装置及び３次元計測方法 | |
| JP6304244B2 (ja) | ３次元形状計測装置、３次元形状計測方法及び３次元形状計測プログラム | |
| TWI672937B (zh) | 三維影像處理之裝置及方法 | |
| WO2017214735A1 (en) | Systems and methods for obtaining a structured light reconstruction of a 3d surface | |
| JP4110501B2 (ja) | ランダムパターン生成装置とその方法、距離画像生成装置とその方法、およびプログラム提供媒体 | |
| TW202014993A (zh) | 資訊處理裝置、記錄媒體、程式產品及資訊處理方法 | |
| CN110213491A (zh) | 一种焦距调整方法、装置及存储介质 | |
| WO2019125427A1 (en) | System and method for hybrid depth estimation | |
| JP4337203B2 (ja) | 距離画像生成装置および距離画像生成方法、並びにプログラム提供媒体 | |
| JP6409769B2 (ja) | ３次元形状計測装置、３次元形状計測方法及び３次元形状計測プログラム | |
| JP2001167276A (ja) | 撮影装置 | |
| JP2015019346A (ja) | 視差画像生成装置 | |
| JP2013044597A (ja) | 画像処理装置および方法、プログラム | |
| JP2001338280A (ja) | ３次元空間情報入力装置 | |
| CN112750157B (zh) | 一种深度图像生成方法及装置 | |
| JP4091455B2 (ja) | ３次元形状計測方法及び３次元形状計測装置並びにその処理プログラムと記録媒体 | |
| JP2004132759A (ja) | 三次元画像生成用データ撮像装置、および三次元画像生成用データ撮像方法、並びにコンピュータ・プログラム |