Nothing Special   »   [go: up one dir, main page]

JP6244407B2 - 深度測定の品質の向上 - Google Patents

深度測定の品質の向上 Download PDF

Info

Publication number
JP6244407B2
JP6244407B2 JP2016124730A JP2016124730A JP6244407B2 JP 6244407 B2 JP6244407 B2 JP 6244407B2 JP 2016124730 A JP2016124730 A JP 2016124730A JP 2016124730 A JP2016124730 A JP 2016124730A JP 6244407 B2 JP6244407 B2 JP 6244407B2
Authority
JP
Japan
Prior art keywords
pixel
pixels
depth
invalid
flying
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2016124730A
Other languages
English (en)
Other versions
JP2016201117A (ja
Inventor
ギーグ、ローラン
サミュエル、ミシェル
ソロー、ジュリアン
Original Assignee
ソフトキネティック ソフトウェア
ソフトキネティック ソフトウェア
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソフトキネティック ソフトウェア, ソフトキネティック ソフトウェア filed Critical ソフトキネティック ソフトウェア
Publication of JP2016201117A publication Critical patent/JP2016201117A/ja
Application granted granted Critical
Publication of JP6244407B2 publication Critical patent/JP6244407B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Image Analysis (AREA)

Description

本発明は、深度マップや「三次元ポイント・クラウド」データ情報を含んだ画像などの測距測定の品質向上に関し、特に、画像化された三次元的シーンにおける、深度測定のノイズ除去、および、前景オブジェクトと背景オブジェクトとの間のエッジに対応するピクセルに関連する問題の多い補間深度値の修正に関する。
深度測定カメラ・システムは、家庭用電子システムおよびコンシューマ・ゲームにおけるジェスチャー認識や人体骨格追跡のために使用される技術によりますます人気が高まっている、最近の測距測定デバイスである。
主として、このようなアプリケーションに適した２つのタイプの環境照明に依存しない深度知覚あるいは三次元（３Ｄ）カメラ技術が存在している。一方のタイプの３Ｄカメラ技術は、例えばPrimeSense社によって提供されている、Microsoft社のKinect for Xbox 360（Kinectとして知られている）のビデオ・ゲーム・コンソールにおいてジェスチャー認識のために使用される構造光３Ｄカメラである。（Microsoft、Kinect、およびKinect for Xbox 360は、Microsoft Corporationの商標である。）第２のタイプの３Ｄ知覚カメラ技術は、いくつかの独立した会社によって開発・製造され、例えば、自動車産業で、あるいは、ビデオ・ゲーム、ロボット、家庭オートメーションなどの人間対機械のインタラクションを含む様々な環境におけるジェスチャー認識および人体骨格追跡のために使用される、飛行時間（ＴｏＦ）カメラである。
しかし、３Ｄ知覚カメラのタイプに無関係に、複数のピクセルを含むシーンの画像が提供され、画像の個々のピクセルには、画像化されたオブジェクトからカメラまでの距離に関連する情報が少なくとも含まれており、このような情報は測定された深度値である。少なくとも深度測定情報が埋め込まれたこのような画像は「深度マップ」と呼ばれている。他のタイプの画像は、埋め込まれた深度測定情報、例えば「３Ｄポイント・クラウド」データ・マトリックスを含むことも可能であり、画像には、カメラ座標系に、あるいは仮想環境座標系に関する埋め込まれた情報が含まれている。このような画像では、ｘおよびｙは、それぞれ水平および垂直軸に対応しており、ｚ軸は深度に対応している。カメラ座標系から仮想環境座標系への変換は投射の問題であり、そして、このような変換は一般に「シーン較正（scene calibration）」と呼ばれている。
したがって、深度測定を提供する画像を利用する任意のアプリケーションまたはシステムは、解像度、ノイズ、精度、頑丈性、および、再現性の点で測定品質に依存している。とりわけ、主として３Ｄ ＴｏＦカメラ技術を考慮すると、シーンオブジェクトのエッジの周りの深度測定は、単一の、本来鮮明なエッジに対して、少なくとも１ピクセル半径で深度データに影響を及ぼすことがある、「フライング・ピクセル」とも呼ばれる、畳込みおよび／または補間の人為的結果を示すことが知られている。このような「フライング・ピクセル」は、オブジェクトのエッジの位置に生じるあらゆる潜在的な運動ぶれとは独立の、空間的な人為的結果であり、除去し、かつ／または、新たに計算される深度値に対応する、シーン中の正しい位置に修復しなければならず、新たに計算される深度値により、「フライング・ピクセル」は前景オブジェクトまたは背景オブジェクトのいずれかに適切に割り当てられる。このような修復の目的は、後続するオブジェクト検出の信頼性を著しく改善し、かつ、３Ｄシーン内のオブジェクトの深度情報の品質を向上させることである。
したがって、本発明の目的は、測距測定、例えば深度マップの、または、３Ｄポイント・クラウドの形態で提供される測定の品質を、ノイズがあるピクセル値の形態および／または補間された「フライング・ピクセル」値の形態であり得る欠陥ピクセルを検出することにより向上させる方法およびシステムを提供することである。特に、ノイズがあるピクセル値は、深度マップ全体に関連している。しかしながら、これらは、平らな連続する表面の品質を低下させる傾向がある。「フライング・ピクセル」値は、深度マップや対応する３Ｄポイント・クラウドに表現される３Ｄオブジェクトのエッジに関連しており、これらのエッジは、前景オブジェクトと、異なる深度に位置している背景オブジェクトとの間における境界として定義される。
本発明の一態様によれば、三次元画像における欠陥ピクセル値についての深度マップの品質を向上させるための方法であって、
ａ）シーンに関連する深度測定データを決定するステップと、
ｂ）深度測定データ内の欠陥を検出するステップと、
ｃ）検出された欠陥ピクセルのそれぞれに深度修正を定義するステップと、
ｄ）検出された欠陥ピクセルのそれぞれの深度測定データに深度修正を適用するステップと
を含む方法が提供される。
本発明の方法を使用することにより、とりわけ深度測定ノイズを減らすことができるため、深度マップあるいは３Ｄポイント・クラウド画像の品質を著しく向上させることができる。特に、オブジェクトのエッジに位置している補間された「フライング・ピクセル」に含まれている情報が修復され、その結果、これらのエッジが鮮明化され、したがって、それらがさらなる信号処理方法のために適切で、かつ、有用になる。
さらに、このような方法は深度マップ深度データ値の品質に依存しているため、本発明の１つの結果として、三次元シーン内の対象物に対して実施されるジェスチャー認識のような運動に関連するデータ解析と同様に、ユーザおよびオブジェクトの検出、識別、追跡が著しく改善される。もう１つの結果として、より容易に、より高い信頼性および精度で、シーン内のユーザの形状およびオブジェクトの形状に関連する画像の抽出を実施することができる。
さらに、オブジェクトの改良された検出により、３Ｄシーン内のユーザおよびオブジェクトの著しく良好なモデル化も提供され、特に、ユーザの身体部分とオブジェクトまたはそれ自体との溶け込みが最小化され、また、ユーザの身体の形状をより正確にモデル化することができるため、人体骨格への適合およびその追跡も著しく改善される。
本発明の好ましい実施例では、ステップｂ）は、ピクセルのそれぞれに、少なくとも１つの方向における、深度に関連する方向導関数を決定するステップを含む。
ステップｃ）は、好適には、識別された欠陥ピクセルのそれぞれについて、
ｃ１）深度の方向導関数に関連してベクトルを決定するステップと、
ｃ２）決定されたベクトルに対する法線を決定するステップと、
ｃ３）決定されたベクトル、および、決定されたベクトルに対する法線のうちの１つの結果をデータ・パラメータと共に少なくとも用いて、重み係数パラメータを決定するステップであって、その値が、ピクセル幅によって表される実空間における長さの大きさに関連している重み係数パラメータであるステップと、
ｃ４）重み係数パラメータ、および、隣接するピクセルに関連する情報のうちの少なくとも１つを用いて、修正係数を決定するステップと
を含む。
一実施例では、ステップｃ４）は、隣接するピクセルの深度値、重み係数、および、修正係数のうちの少なくとも１つを用いるステップをさらに含むことができる。代わりに、または、加えて、ステップｃ４）は、隣接するピクセルに関連する情報の統計的モードを用いるステップを含むことが可能である。
有利には、ステップｃ４）は、隣接する有効なピクセルのみを用いる。
ステップｃ４）は、隣接するピクセルにわたって決定される回帰平面から抽出される深度情報を用いるステップをさらに含むことができる。
本発明の一実施例では、欠陥ピクセルは、三次元画像内の前景オブジェクトと背景オブジェクトとの間のエッジに位置している補間されたピクセル・データ値を含むことができる。この場合、ステップｂ）は、ピクセルの少なくとも１つの深度の方向導関数が既定された閾値より大きく、かつ、少なくとも２つの連続する方向導関数が同じ符号を有している場合に、エッジにあるピクセルの欠陥のある深度測定を識別するために深度に関連する方向導関数を用いるステップをさらに含むことができる。これにより、上で説明した「フライング・ピクセル」のテストが提供される。
また、「フライング・ピクセル」の修正に加えて、本発明の方法は、「ノイズがあるピクセル」の修正も行う。この場合、ステップｂ）は、三次元画像内の連続面のピクセルの欠陥のある測定を決定するステップを含む。
この場合、ステップｂ）は、ピクセルの少なくとも１つの深度の方向導関数が既定された閾値より大きく、かつ、そのピクセルの他の深度の方向導関数もまた既定された閾値より大きく、かつ、２つの方向導関数が反対の符号を有している場合に、連続する表面上のピクセルの欠陥のある深度測定を識別するために深度に関連する方向導関数を用いるステップをさらに含む。
欠陥ピクセルが「ノイズがあるピクセル」である場合、ステップｃ）は、識別された欠陥ピクセルのそれぞれについて、
ｃ５）２つの直交軸を用いて、深度の方向導関数のデータ値に関連してベクトルを決定するステップと、
ｃ６）決定されたベクトルの半径値、決定されたベクトルに対する法線情報、およびピクセルによって表されるシーン内の実幅のうちの少なくとも１つを用いて、重み係数パラメータを決定するステップと、
ｃ７）決定された重み係数パラメータを、隣接するピクセルに関連する情報と組み合わせて用いて、修正係数を適用するステップと
をさらに含むことができる。
一実施例では、深度に関連する方向導関数は、少なくとも２つの直交軸を用いて決定される。別の実施例では、深度に関連する方向導関数は、法線マップを用いて決定される。別の好ましい実施例では、深度に関連する方向導関数が法線マップを決定するために用いられることがある。
本発明の一実施例では、上記方法は、「フライング・ピクセル」および「ノイズがあるピクセル」のうちの少なくとも１つを修正するために使用され、好ましい実施例では、上記方法は、「フライング・ピクセル」および「ノイズがあるピクセル」を修正する。
ステップａ）は、深度マップの形態、３Ｄポイント・クラウドの形態、または、任意の他の形態で、３Ｄ知覚デバイス、または、カメラによって提供される、あるいは、記憶媒体からの深度測定データにアクセスするステップを含むことができる。
次に、本発明をより深く理解するために、単なる実例にすぎないが、添付の図面を参照する。
三次元シーンの二次元上面図を示す概略図である。 図１の三次元シーンの二次元前方カメラ・ビューを示す概略図である。 図１の二次元上面図に対する三次元データ測定を表す概略図である。 深度値信号をピクセル位置と共に表す概略図である。 図４と同様であるが、本発明に従った修正後の深度値信号およびピクセル位置を表す図である。 本発明による深度マップのノイズ除去およびエッジ修正方法におけるステップのフローチャートである。 「フライング・ピクセル」を中心とする３×３の核を、２つの直交軸における隣接するピクセルと共に示す図である。 「フライング・ピクセル」を中心とする３×３の核を、有効であり、かつ、前景または背景のオブジェクト画像の一部を形成していると決定された隣接するピクセルと共に示す図である。
本発明について、特定の実施例に関して、また、特定の図面を参照して説明するが、本発明はそれらに限定されない。説明されている図面は、単なる概略図にすぎず、非限定的である。図面では、いくつかの要素の大きさは、説明のために、誇張され、スケール通りには描かれていないことがある。
「垂直」および「水平」という用語は、ここでは、図の特定の方向を意味するべく使用されており、これらの用語は、ここで説明されている特定の実施例に限定されないことは理解されよう。
典型的な飛行時間（ＴｏＦ）３Ｄカメラの場合、ＴＯＦ原理を使用して距離または深度データを計算するプロセスには、光学および電子装置とアナログ／ディジタル処理ユニットとの組合せが含まれる。典型的には、振幅変調（ＡＭ）赤外線（ＩＲ）信号がＴｏＦカメラ・デバイスに埋め込まれた照明システムによって風景に送り出される。専用のセンサがシーン内のオブジェクトで反射したＩＲ強度を位相の関数として同期的に記録する。次に、センサからの信号が時間で積分され、ピクセル毎に深度値の測定を推定するために、位相遅延計算が用いられる。ＴｏＦ ３Ｄ画像は、センサの解像度およびレンズの視野によって決定されるその解像度、光の変調周波数、シーンで反射する光の量、および、例えば光エンジンの品質、基本的に何らかの量子化の人為的結果を作り出す光学、電子および信号処理装置の組合せ、および測定におけるノイズといった画像化システムに関連するパラメータによって決定されるその深度測定精度、また、より深刻な問題として、基本的に「ぼやけた（fuzzy）」エッジを深度マップにもたらす何らかの補間深度測定によって制限されることがある。「ぼやけた」エッジ内のこのようなピクセルは、「フライング・ピクセル」とも呼ばれている。
本発明は、集合的に「欠陥ピクセル」と呼ばれている、「ノイズがある」および「フライング・ピクセル」を解決し、シーンに存在している物体に可能な限り対応するよう、深度マップ内のこれらの欠陥ピクセルの深度測定値を修正するための方法およびシステムに関するものである。本方法およびシステムは、深度に関連する測定が埋め込まれた画像を含む、３Ｄ知覚カメラ、媒体記憶装置、または、インターネットを介した媒体によって提供される、位相マップ、深度マップ、または、３Ｄポイント・クラウドの形態での入力を有している。「ノイズがある」および補間された「フライング・ピクセル」の両方を、ある特定の深度勾配測定、ベクトルおよび幾何学的条件付き計算、閾値、より具体的には重み付き畳込みに関して修正するために、３Ｄ画像の入力深度データに特定の信号処理が適用される。結果として得られる出力により、ノイズが少なく、また、ｚ軸あるいは深さ軸に沿ってエッジを有するシーンのオブジェクトの周りの補間された「フライング・ピクセル」が著しく少ない、再構築された深度マップ画像が提供される。向上された、および／または、修正された画像は、次に、３Ｄカメラ・デバイスまたは他の３Ｄ画像化システムによって提供された元の入力３Ｄ画像の代わりに、３Ｄ画像化アプリケーションによって使用されることが意図され、このようなアプリケーションの、より良好な操作性および効率を可能にする。
最初に図１を参照すると、あるシーンの二次元（２Ｄ）上面図がｘｚ平面に示されている。カメラ１０は、その中に前景オブジェクト１６および背景オブジェクト１８が存在している、点線１２、１４で画定される視野を有している。前景オブジェクト１６のエッジ２０は、図３を参照して説明するように、背景オブジェクト１８に対して「フライング・ピクセル」を生成することがある。
図２は、図１で定義された３Ｄシーンの、前景オブジェクト１６および背景オブジェクト１８をｘｙ平面に有する、２Ｄ前方カメラ・ビューである。このビューでは、エッジ２０は、前景オブジェクト１６と背景オブジェクト１８との間に良好に画定され、鮮明である。エッジ２０しか示されていないが、「フライング・ピクセル」は、前景オブジェクト１６が背景オブジェクト１８と重畳する上側および下側エッジ２２、２４にも存在し得ることは理解されよう。さらに、オブジェクト１６および１８の平らな連続面も、カメラ・センサの性能に起因するいくつかのノイズがあるピクセルを示すことがあることを理解されたい。
図３は、図１に示されている画像に対応するピクセルによって、前景オブジェクト３２および背景オブジェクト３４を示したものである。示されたとおり、２つの「フライング・ピクセル」３６、３８が前景オブジェクト３２と背景オブジェクト３４との間のエッジ上に位置している。これらの「フライング・ピクセル」は、いずれも前景オブジェクト３２または背景オブジェクト３４のいずれかに属するかもしれないし、あるいは一方のみが前景オブジェクト３２に属し、他方は背景オブジェクト３４に属することも可能である。前景オブジェクト３２は連続する平らな表面オブジェクトであり、その測定は少なくとも１つのノイズがあるピクセル３７を示している。
図４は、図３と同様であるが、深度マップに関連する信号４０も示している。示されたとおり、信号４０において、下側の線は、ピクセル４２によって示されている前景オブジェクトに対応しており、上側の線は、ピクセル４４によって示されている背景オブジェクトに対応しており、下側および上側の線の間の傾斜は、「フライング・ピクセル」４６、４８に対応している。下側の線のブリップ（blip）は、ピクセル４２によって示されている前景オブジェクト内の「ノイズがあるピクセル」４３に対応している。
本発明による処理の後、「ノイズがあるピクセル」４３および「フライング・ピクセル」４６、４８は、図５に示されているように修正されている。図５に示されているように、信号５０はより明確化されており、ピクセル５２に対応するまっすぐな下側の線、およびピクセル５４に対応するまっすぐな上側の線を有している。図４に４３で示されている「ノイズがあるピクセル」は、ピクセル５３で示されているように修正されており、「フライング・ピクセル」４６、４８は、前景オブジェクト（ピクセル５６）に対応するピクセル５２と背景オブジェクト（ピクセル５８）に対応するピクセル５４に適切に割り当てられている。
図６には、本発明の方法の一実施例の主要なステップを示すフローチャートが示されている。ステップ６０で、入力深度マップあるいは３Ｄポイント・クラウドが入手される。深度マップあるいは３Ｄポイント・クラウドは、３Ｄカメラ、媒体記憶装置、または、インターネットから直接入手することができる。ステップ６２で、集合的に「欠陥ピクセル」と呼ばれている、「ノイズがあるピクセル」および補間された「フライング・ピクセル」が検出される。「ノイズがあるピクセル」であると決定されているピクセル毎にノイズ除去修正係数が決定され、ステップ６４で、隣接するピクセルについて修正係数が適用される。次に、ステップ６６で、「欠陥ピクセル」であると決定されているピクセル毎の修正係数の決定が実施され、適用される。ステップ６６では、前景オブジェクトおよび背景オブジェクトの深度値について修正が実施される。ステップ６４および６６において、修正係数のこのような決定には、隣接するピクセルの平均、メジアン、および／または、モード値のうちの少なくとも１つに従って、修正されるピクセルに割り当てられる値が決定される統計的モードを使用するステップを含まれるかもしれない。次に、修復された深度マップあるいは３Ｄポイント・クラウドが出力される（ステップ６８）。ステップ６８からの出力は、正確かつ信頼性の高い深度マップが必要であるか、あるいは、好ましいとされる、任意のアプリケーションに使用することができる。
本発明の方法は、２つの主要なステップ、すなわち、「ノイズがあるピクセル」および補間された「フライング・ピクセル」を検出するステップと、検出された「ノイズがあるピクセル」および「フライング・ピクセル」の両方を修正するステップとを含む。
「ノイズがあるピクセル」および補間された「フライング・ピクセル」の両方を検出するために、最初のステップは、ピクセルが「ノイズがある」のか否か、あるいは「フライング」であるか否かを決定するために、評価中のピクセルに対応する１つの点の周りの方向導関数を使用する。すべての深度画像ピクセルが評価されることが好ましい。これらの方向導関数は多方向のものであり得るが、説明を簡単にするために、以下、垂直および水平方向のみ説明する。しかしながら、他の方向に対しても同じ原理が適用されることは理解されよう。さらに、方向導関数を使用する代わりに、他の方法を適用することも可能である。
「Ｐ」が深度マップ内の評価中のピクセルであり、「ａ」がその平面内の選択された方向である場合、ｄａ（Ｐ）は、ピクセル「Ｐ」における方向「ａ」での導関数の値になる。方向導関数の絶対値｜ｄａ（Ｐ）｜、および、｜ｄａ＋π（Ρ）｜が方向「ａ」のあらかじめ定義された閾値より大きく、かつ、ｄａ（Ｐ）およびｄａ＋π（Ρ）の符号が同じである場合、ピクセルは「フライング」であると宣言される。隣接するすべてのピクセルの深度値とは著しく異なる深度値をピクセルが有している場合、とりわけ、少なくとも１つの方向導関数があらかじめ定義された閾値より大きく、かつ、少なくとも２つの方向導関数が反対の符号を有している場合は、そのピクセルは「ノイズがある」と宣言される。ピクセル毎に、任意の数の方向について、「ノイズがあるピクセル」のテストまたは「フライング・ピクセル」のテストのいずれかを実施することができる。理想的には、これらの方向は、単位円、すなわち、１ピクセルの半径の円をカバーするべきである。典型的には、ｉ＝１からｎである一組の方向｛ａ＿ｉ｝を使用することができ、
a_i＝(i-1)*π/n
である。
方向導関数は、有限差分によって簡単に推定することができる。図７では、ピクセル７０は、ピクセル「Ｐ」の上の「Ｔ」、左の「Ｌ」、右の「Ｒ」、および下の「Ｂ」のピクセルに対応するピクセル７２、７４、７６、７８を用いて評価されているピクセル「Ｐ」である。そのピクセルが「フライング」であるか否か、および、そのピクセルが「ノイズがある」であるか否かを、２つの方向、すなわち、角度０°およびπ／２（水平および垂直方向）で決定するために、ピクセル７２、７４、７６、７８の値を使用することができる。
これらの２つの方向の場合、「ノイズがあるピクセル」のテストは、
(|R-P|＜Thおよび|L-P|＜Th)または(|T-P|＜Thおよび|B-P|＜Th)
および
sign(R-P)≠sign(P-L)またはsign(T-P)≠sign(P-B)
まで簡単になる。
「フライング・ピクセル」のテストは、
(|R-P|＞kThおよび|L-P|＞kTh)または(|T-P|＞kThおよび|B-P|＞kTh)
および
sign(R-P)＝sign(P-L)またはsign(T-P)＝sign(P-B)
まで簡単になり、ここで、Ｔｈは適用される閾値であり、また、ｋは既定された重み係数である。例えば０．０８ｍのＴｈの値を使用することができるが、任意の他の適切な値を使用することができることは理解されよう。上記の「フライング・ピクセル」のテスト、および、「ノイズがあるピクセル」のテストの代替として、以下を代わりに使用することも可能である。
|L-R|＞Thおよび|T-B|＞Th
この後者の場合、評価中のピクセルを取り囲んでいる２つのピクセルの間の値が使用されるため、閾値は、先のテストで与えられたそれより大きくてもよい。
「ノイズがあるピクセル」および「フライング・ピクセル」が識別されると、第２のステップにより、識別された「ノイズがあるピクセル」または「フライング・ピクセル」の各々に個別の修正を適用するための新しい深度値が推定される。修正は、単一プロセス内の単一パスで実施することができる。よりよく理解するために、時間について順を追って、修正ステップを説明する。
最初に、すべての「フライング・ピクセル」および「ノイズがあるピクセル」に無効であるとのフラグが立てられる。特に、ＴｏＦカメラを使用する場合、他の理由、例えば不良であるとの確信や低ＩＲ照明のために信頼できないと（すなわち、閾値処理を使用して）判定されるかもしれない他のピクセルも無効としてフラグを立てることができ、本発明の方法を使用して、それらの深度を推定し直すことも可能である。
原理は、無効ピクセルの周囲の有効ピクセルを使用して、その無効ピクセルの新しい深度を推定するということである。図８はこれを示したものであり、ピクセル８０は、ピクセルの対８２、８４で示されている、周囲の有効ピクセルとの関係で評価されている。ピクセルの対が評価のために示されているが、その決定のために任意の適切な数の有効ピクセルを使用することができることは理解されよう。
図８において、無効な「フライング・ピクセル」である「Ｐ」を取り囲んでいる有効なピクセルは「Ｖ」で示されている。しかしながらこの推定の場合、８２で示されている前景の有効ピクセル、または８４で示されている背景の有効ピクセルのいずれかのみが使用され、前景および背景の両方からの有効ピクセルの組合せではない。ピクセル８２は、「Ｐ」より小さい深度値を有し、また、ピクセル８４は、「Ｐ」より大きい深度値を有することになろう。
「ノイズがあるピクセル」については、ピクセルは有効ではあるが「ノイズがある」として識別され、「フライング・ピクセル」について上で説明したのと同じプロセスがこの「ノイズがあるピクセル」に対して実施される。
推定のために使用する有効ピクセルの選択により、無効な点が前景オブジェクトまたは背景オブジェクトのいずれに存在しているかの選好が評価される。選好のモードは、例えば、「フライング・ピクセル」を、それらの深度値に必要な修正が最少量になるようにマッピングすることによって、あるいは、「フライング・ピクセル」を、カメラからの距離が既定された閾値を超えている場合に前景オブジェクトに設定することによって、あるいは、「フライング・ピクセル」を、カメラまでの距離が既定された閾値未満である場合に背景オブジェクトに設定することによって、決定することができる。前景オブジェクトの選好が使用され、有効な前景オブジェクトのピクセルの集合が空でない場合、「Ｐ」の新しい深度値は、これらの有効な前景オブジェクトのピクセルのみに基づいて推定される。有効な前景オブジェクトのピクセルの集合が空であり、かつ、有効な背景オブジェクトのピクセルの集合が空でない場合は、「Ｐ」の新しい深度値は、有効な背景オブジェクトのピクセルのみに基づいて推定される。有効な前景および背景オブジェクトのピクセルに関連する両方の集合が空の場合、ピクセルを修正することはできず、そのピクセルは無効のままである。同様に、背景オブジェクトの選好が使用され、有効な背景オブジェクトのピクセルの集合が空でない場合は、「Ｐ」の新しい深度値は、これらの有効な背景オブジェクトのピクセルのみに基づいて推定される。有効な背景オブジェクトのピクセルの集合が空であり、かつ、有効な前景オブジェクトのピクセルの集合が空でない場合は、「Ｐ」の新しい深度値は、有効な前景オブジェクトのピクセルの集合のみに基づいて推定される。有効な背景および前景オブジェクトのピクセルに関連する両方の集合が空の場合、ピクセルを修正することはできず、そのピクセルは無効のままである。
一組の周囲のピクセルから（前景オブジェクトまたは背景オブジェクトのいずれかから）の「Ｐ」の深度値の推定は、重み係数の適用、統計的決定を使用した任意の補間方法、または、回帰平面の使用を含む様々な手段によって実施することができる。
本発明の一実施例では、有効な前景ピクセルに基づく回帰平面を使用する。点ｐにおける回帰平面の深度値が、ピクセル「Ｐ」のための新しい深度値として割り当てられる。
他の実施例では、前景オブジェクト内の有効ピクセルの平均深度値が決定され、ピクセル「Ｐ」のための新しい深度値として割り当てられる。代わりに、有効な前景オブジェクトのピクセル、および／または、有効な背景オブジェクトのピクセルの深度値の、最小、最大、メジアン、またはモードを使用することが可能である。有効な前景オブジェクトのピクセルの集合および有効な背景オブジェクトのピクセルの集合に、異なる予測方法を使用することが可能である。例えば、推定が有効な前景オブジェクトのピクセルに依存している場合、その集合中の有効ピクセルの最大深度値を使用してもよいし、推定が有効な背景オブジェクトのピクセルを利用している場合は、その集合中の有効ピクセルの最小深度値を使用してもよい。
この方法によってその深度値が首尾よく推定されたすべての無効ピクセル、すなわち、少なくとも１つの有効な隣接するピクセルを有するすべての無効ピクセルには有効であることのフラグが立てられる。この方法は反復して繰り返すことができ、プロセスの開始時に少なくとも１つのピクセルに有効とのフラグが立てられることを条件として、深度マップ内のすべての無効ピクセルを再構築することができる。
しかしながら、「フライング・ピクセル」の識別および修正の信頼性を改善するためには、カメラによって生成される深度マップからノイズを除去する必要がある。これは、最初にピクセル毎にωｉを決定し、次に３×３重み付きΩｉ核をピクセル毎に使用することによって達成することができる。核Ωｉのパラメータを再計算して、あるいは、再計算することなく、複数パスを適用することができる。
再度、図８を参照すると、以下の式を使用して、深度の場から法線角度を決定することができる。
∂x＝(L-P)/2+(P-R)/2＝(L-R)/2 （１）
∂y＝(T-P)/2+(B-R)/2＝(T-B)/2 （２）
dz＝√(dx２+dy２)/4 （３）
dw＝Ｐの幅 （４）
r＝√(dz２+dw２) （５）
Ωｉ＝acos(dz/r) （６）
式（１）および（２）は、勾配∂ｚ（ｘ）および∂ｚ（ｙ）に関係しており、式（３）は、勾配の形での半径を与える。式（４）は、記載されているとおり、ピクセル「Ｐ」の幅であり、式（５）および（６）は、それぞれ法線半径および法線角度を与える。
法線角度を計算し、推定し、または、取得するために、他の方法を使用することができ、例えば、利用可能である場合はカメラから、カメラ、信号、およびプラットフォームの特性に応じて使用することも可能である。
例えば、計算効率のために、深度マップからのΩｉを、
Ωｉ＝acos(atan(dz/dw))＝１/√(１+(dz/dw)２)
と決定することができる。
一般に、関数Ωｉ＝Ｆｗ（ｄｚ）は窓関数と呼ばれている。
ノイズ除去のパスの後に、場の勾配が計算され、二次導関数ｄ２ｚの符号が局所分離パラメータとして使用される。二次偏微分ｄ２ｚは、投影空間における勾配ベクトルの両端における導関数ｄｚの差として計算される。
次に、重み付きΩｉ３×３バイポーラ核が、ｎ≧１であるｎパス、適用される。分離パラメータは、核内のグループＩＤとして働いており、また、反対符号のピクセルは無視される一方で、同じ符号のピクセル値がまとめて平均化される。
この原理は、符号のない（つまり０に等しい）値を分離パラメータのために充てて、これらの点を両方の符号と平均化することができるように、改良されている。この改良により、分離することによって出力信号に導入されるノイズを小さくする努力の一環として、例えば∂２ｚまたはＩＲパワーなどの他のデータを使用して、閾値を分離パラメータに適用することができる。
この核は、所望の効果を得るために複数回にわたって適用することができる。現在のＴＯＦ信号は、典型的には、２パスの処理によって最良の利益を得ている。
この分離を促進し、および／または、複数パスの処理を回避するために、勾配方向の変位マップを構築して局所展開を生成することができる。局所極小および／または極大値のみならず、個々の深度値を使用することができる。しかしながら、使用すべき展開方法は、出力信号中のノイズおよび所望の分離率によって決定されることになる。

Claims (12)

  1. 飛行時間三次元撮像システムから得られた深度マップの品質を、欠陥ピクセルの深度測定値を修正することにより向上させるための方法であって、
    ａ）それぞれのピクセルについて、少なくとも１つの方向における方向導関数値を、当該ピクセルと前記少なくとも１つの方向に隣接するピクセルとの間の深度測定値の有限差分に基づいて決定し、且つ、当該ピクセルが欠陥ピクセルであるか否かを判別するために前記方向導関数値を用いることによって、欠陥ピクセルを検出し識別するステップと、
    ｂ）欠陥ピクセルであると識別されたそれぞれのピクセルについて、修正された深度測定値を決定し適用するステップと、
    を含み、
    前記方向導関数値を用いるステップは、
    当該ピクセルと第１の隣接するピクセルとの間に得られる第１の方向導関数値が第１の予め定められた閾値よりも大きく、且つ、前記第１の方向導関数値と、当該ピクセルと、前記ピクセルに関して前記第１の隣接するピクセルの反対側にある第２の隣接するピクセルとの間に得られる第２の方向導関数値とが反対の符号を有している場合に、当該ピクセルがノイズがあるピクセルであると決定することと、
    当該ピクセルと第１の隣接するピクセルとの間に得られる第１の方向導関数値が第２の予め定められた閾値よりも大きく、且つ、前記第１の方向導関数値と、当該ピクセルと、前記ピクセルに関して前記第１の隣接するピクセルの反対側にある第２の隣接するピクセルとの間に得られる第２の方向導関数値とが同じ符号を有している場合に、当該ピクセルがフライング・ピクセルであると決定することと、
    を含む、方法。
  2. 前記第２の予め定められた閾値は、前記第１の予め定められた閾値と異なる、請求項１に記載の方法。
  3. 欠陥があるもしくは赤外放射が低いピクセルとして決定されるピクセルを無効であるとしてフラグを立てるステップをさらに含む、請求項１に記載の方法。
  4. 無効であるピクセルのための修正された深度測定値を、隣接する、無効とされていないピクセルからの深度測定値のみを用いて決定するステップをさらに含む、請求項３に記載の方法。
  5. 無効であるフライング・ピクセルのそれぞれのための修正された深度測定値を、前記無効であるフライング・ピクセルの前記深度測定値が第３の予め定められた閾値よりも大きいときには、前景オブジェクトにおける隣接する、無効とされていないピクセルの前記深度測定値のみを用い、前記無効であるフライング・ピクセルの前記深度測定値が前記第３の予め定められた閾値よりも小さいときには、背景オブジェクトにおける隣接する、無効とされていないピクセルの前記深度測定値のみを用いて、決定するステップをさらに含む、請求項３に記載の方法。
  6. 前記無効であるフライング・ピクセルの前記深度測定値が前記第３の予め定められた閾値よりも大きく、且つ、前記前景オブジェクトにおける隣接する、無効とされていないピクセルがないときには、前記無効であるフライング・ピクセルを修正するために、前記背景オブジェクトにおける隣接する、無効とされていないピクセルの前記深度測定値を用い、前記無効であるフライング・ピクセルを無効でないとしてフラグを立てるステップと、
    前記無効であるフライング・ピクセルの前記深度測定値が前記第３の予め定められた閾値よりも小さく、且つ、前記背景オブジェクトにおける隣接する、無効とされていないピクセルがないときには、前記無効であるフライング・ピクセルを修正するために、前記前景オブジェクトにおける隣接する、無効とされていないピクセルの前記深度測定値を用い、前記無効であるフライング・ピクセルを無効でないとしてフラグを立てるステップと、
    をさらに含み、
    隣接する、無効とされていないピクセルがないときには、前記無効であるフライング・ピクセルは、修正された深度測定値を推定できないとして無効のままであるとされる、請求項５に記載の方法。
  7. ステップｂ）が、重み係数、回帰平面、補間方法、および統計的モードの使用、のうちの１つを適用することにより、隣接する、無効とされていないピクセルの１組の前記深度測定値から、新たな深度測定値を計算することをさらに含む、請求項３に記載の方法。
  8. 前記統計的モードは、前景オブジェクトの無効とされていないピクセル、または、背景オブジェクトの無効とされていないピクセルのいずれかの前記深度測定値の平均、最大、メジアン、および最小のうちの１つである、請求項７に記載の方法。
  9. 識別されたフライング・ピクセルのそれぞれについて修正された深度測定値を決定し適用する前に、識別されたノイズがあるピクセルのそれぞれについて修正された深度測定値
    を決定し適用するステップを実施することをさらに含む、請求項１に記載の方法。
  10. 識別されたノイズがあるピクセルのそれぞれについて修正された深度測定値を決定し適用するステップが、
    ｄｚを２つの直交する深度方向導関数から決定されるベクトルの半径とし、ｄｗを前記ピクセルの幅として、それぞれのピクセルについて法線角度Ωｉを数式Ωｉ＝１／√（１＋（ｄｚ／ｄｗ）２）を用いて計算するステップと、
    ｎを１以上とし、それぞれのピクセルの前記法線角度Ωｉとして、ｎパス適用される重み付きΩｉ３×３バイポーラ核から、前記修正された深度測定値を計算するステップと、 を含む、請求項９に記載の方法。
  11. 前記２つの直交する深度方向導関数から決定される前記ベクトルの前記半径の二次導関数ｄ２ｚの符号から、同じ符号の深度測定値だけが平均されるように、重み付きΩｉ３×３バイポーラ核からの前記修正された深度測定値の決定において、グループＩＤとして働く局所分離パラメータを決定することをさらに含む、請求項１０に記載の方法。
  12. 前記核が複数回適用され得、前記局所分離パラメータの符号なしの値が、両方の符号について平均される、請求項１１に記載の方法。
JP2016124730A 2011-06-24 2016-06-23 深度測定の品質の向上 Expired - Fee Related JP6244407B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP11171408.5 2011-06-24
EP11171408 2011-06-24

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2014516383A Division JP6143747B2 (ja) 2011-06-24 2012-06-22 深度測定の品質の向上

Publications (2)

Publication Number Publication Date
JP2016201117A JP2016201117A (ja) 2016-12-01
JP6244407B2 true JP6244407B2 (ja) 2017-12-06

Family

ID=46275736

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2014516383A Active JP6143747B2 (ja) 2011-06-24 2012-06-22 深度測定の品質の向上
JP2016124730A Expired - Fee Related JP6244407B2 (ja) 2011-06-24 2016-06-23 深度測定の品質の向上

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2014516383A Active JP6143747B2 (ja) 2011-06-24 2012-06-22 深度測定の品質の向上

Country Status (7)

Country Link
US (1) US9426444B2 (ja)
EP (1) EP2538242B1 (ja)
JP (2) JP6143747B2 (ja)
KR (1) KR101554241B1 (ja)
CN (1) CN103814306B (ja)
TW (1) TWI536318B (ja)
WO (1) WO2012175731A1 (ja)

Families Citing this family (113)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8908995B2 (en) 2009-01-12 2014-12-09 Intermec Ip Corp. Semi-automatic dimensioning with imager on a portable device
US9779546B2 (en) 2012-05-04 2017-10-03 Intermec Ip Corp. Volume dimensioning systems and methods
US10007858B2 (en) 2012-05-15 2018-06-26 Honeywell International Inc. Terminals and methods for dimensioning objects
US10321127B2 (en) 2012-08-20 2019-06-11 Intermec Ip Corp. Volume dimensioning system calibration systems and methods
US9939259B2 (en) 2012-10-04 2018-04-10 Hand Held Products, Inc. Measuring object dimensions using mobile computer
US9841311B2 (en) 2012-10-16 2017-12-12 Hand Held Products, Inc. Dimensioning system
EP2750391B1 (en) 2012-12-31 2017-03-22 Nokia Technologies Oy Method, apparatus and computer program product for processing of images
JP2016510473A (ja) 2013-02-12 2016-04-07 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ デプスマップのコンテンツを強化するための方法およびデバイス
US9080856B2 (en) 2013-03-13 2015-07-14 Intermec Ip Corp. Systems and methods for enhancing dimensioning, for example volume dimensioning
US9860510B2 (en) * 2013-03-15 2018-01-02 Intuitive Surgical Operations, Inc. Depth based modification of captured images
US9729860B2 (en) * 2013-05-24 2017-08-08 Microsoft Technology Licensing, Llc Indirect reflection suppression in depth imaging
US9584790B2 (en) * 2013-06-03 2017-02-28 Microsoft Technology Licensing, Llc Edge preserving depth filtering
US10228452B2 (en) 2013-06-07 2019-03-12 Hand Held Products, Inc. Method of error correction for 3D imaging device
US9464885B2 (en) 2013-08-30 2016-10-11 Hand Held Products, Inc. System and method for package dimensioning
CA2863709C (en) * 2013-09-17 2016-11-01 Motion Metrics International Corp. Method and apparatus for performing a fragmentation assessment of a material
KR20150037366A (ko) * 2013-09-30 2015-04-08 삼성전자주식회사 깊이 영상의 노이즈를 저감하는 방법, 이를 이용한 영상 처리 장치 및 영상 생성 장치
US9582887B2 (en) 2013-10-09 2017-02-28 Sony Corporation Methods and apparatus for determining field of view dependent depth map correction values
CN103927782A (zh) * 2014-01-06 2014-07-16 河南科技大学 一种用于深度图像曲面拟合的方法
US9418432B2 (en) 2014-03-28 2016-08-16 Sony Corporation Imaging system with depth estimation mechanism and method of operation thereof
US9098754B1 (en) * 2014-04-25 2015-08-04 Google Inc. Methods and systems for object detection using laser point clouds
US9823059B2 (en) 2014-08-06 2017-11-21 Hand Held Products, Inc. Dimensioning system with guided alignment
AU2014218390B2 (en) * 2014-08-27 2017-01-12 Canon Kabushiki Kaisha Method, system and apparatus for forming a high resolution depth map
US10775165B2 (en) 2014-10-10 2020-09-15 Hand Held Products, Inc. Methods for improving the accuracy of dimensioning-system measurements
US10810715B2 (en) 2014-10-10 2020-10-20 Hand Held Products, Inc System and method for picking validation
US9779276B2 (en) 2014-10-10 2017-10-03 Hand Held Products, Inc. Depth sensor based auto-focus system for an indicia scanner
WO2016059983A1 (ja) * 2014-10-14 2016-04-21 オリンパス株式会社 撮像システム
US9897434B2 (en) 2014-10-21 2018-02-20 Hand Held Products, Inc. Handheld dimensioning system with measurement-conformance feedback
US9557166B2 (en) 2014-10-21 2017-01-31 Hand Held Products, Inc. Dimensioning system with multipath interference mitigation
US9762793B2 (en) 2014-10-21 2017-09-12 Hand Held Products, Inc. System and method for dimensioning
US10060729B2 (en) 2014-10-21 2018-08-28 Hand Held Products, Inc. Handheld dimensioner with data-quality indication
US9752864B2 (en) * 2014-10-21 2017-09-05 Hand Held Products, Inc. Handheld dimensioning system with feedback
CN104378619B (zh) * 2014-11-12 2016-09-28 合肥工业大学 一种基于前后景梯度过渡的快速高效的空洞填补算法
CN104778673B (zh) * 2015-04-23 2018-11-09 上海师范大学 一种改进的高斯混合模型深度图像增强方法
GB2541153A (en) * 2015-04-24 2017-02-15 Univ Oxford Innovation Ltd Processing a series of images to identify at least a portion of an object
GB2537831A (en) * 2015-04-24 2016-11-02 Univ Oxford Innovation Ltd Method of generating a 3D representation of an environment and related apparatus
US9786101B2 (en) 2015-05-19 2017-10-10 Hand Held Products, Inc. Evaluating image values
US10066982B2 (en) 2015-06-16 2018-09-04 Hand Held Products, Inc. Calibrating a volume dimensioner
US10677924B2 (en) 2015-06-23 2020-06-09 Mezmeriz, Inc. Portable panoramic laser mapping and/or projection system
US9857167B2 (en) 2015-06-23 2018-01-02 Hand Held Products, Inc. Dual-projector three-dimensional scanner
US20160377414A1 (en) 2015-06-23 2016-12-29 Hand Held Products, Inc. Optical pattern projector
US9835486B2 (en) 2015-07-07 2017-12-05 Hand Held Products, Inc. Mobile dimensioner apparatus for use in commerce
EP3396313B1 (en) 2015-07-15 2020-10-21 Hand Held Products, Inc. Mobile dimensioning method and device with dynamic accuracy compatible with nist standard
US20170017301A1 (en) 2015-07-16 2017-01-19 Hand Held Products, Inc. Adjusting dimensioning results using augmented reality
US10094650B2 (en) 2015-07-16 2018-10-09 Hand Held Products, Inc. Dimensioning and imaging items
CN105374019B (zh) * 2015-09-30 2018-06-19 华为技术有限公司 一种多深度图融合方法及装置
US10249030B2 (en) 2015-10-30 2019-04-02 Hand Held Products, Inc. Image transformation for indicia reading
CN105445751B (zh) * 2015-11-18 2018-09-07 国家海洋局第一海洋研究所 一种浅水区域水深比值遥感反演方法
US10225544B2 (en) 2015-11-19 2019-03-05 Hand Held Products, Inc. High resolution dot pattern
US10025314B2 (en) 2016-01-27 2018-07-17 Hand Held Products, Inc. Vehicle positioning and object avoidance
WO2017145605A1 (ja) * 2016-02-22 2017-08-31 株式会社リコー 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
JP6431495B2 (ja) * 2016-03-25 2018-11-28 本田技研工業株式会社 教師データ生成方法
CN108885265A (zh) * 2016-03-31 2018-11-23 富士胶片株式会社 距离图像处理装置、距离图像获取装置及距离图像处理方法
US10339352B2 (en) 2016-06-03 2019-07-02 Hand Held Products, Inc. Wearable metrological apparatus
US9940721B2 (en) 2016-06-10 2018-04-10 Hand Held Products, Inc. Scene change detection in a dimensioner
US10163216B2 (en) 2016-06-15 2018-12-25 Hand Held Products, Inc. Automatic mode switching in a volume dimensioner
US10165168B2 (en) 2016-07-29 2018-12-25 Microsoft Technology Licensing, Llc Model-based classification of ambiguous depth image data
KR102561099B1 (ko) 2016-09-23 2023-07-28 삼성전자주식회사 ToF(time of flight) 촬영 장치 및 다중 반사에 의한 깊이 왜곡 저감 방법
US10451714B2 (en) 2016-12-06 2019-10-22 Sony Corporation Optical micromesh for computerized devices
US10536684B2 (en) 2016-12-07 2020-01-14 Sony Corporation Color noise reduction in 3D depth map
US10909708B2 (en) 2016-12-09 2021-02-02 Hand Held Products, Inc. Calibrating a dimensioner using ratios of measurable parameters of optic ally-perceptible geometric elements
US10178370B2 (en) 2016-12-19 2019-01-08 Sony Corporation Using multiple cameras to stitch a consolidated 3D depth map
US10181089B2 (en) * 2016-12-19 2019-01-15 Sony Corporation Using pattern recognition to reduce noise in a 3D map
EP3340629A1 (en) * 2016-12-21 2018-06-27 Thomson Licensing Method and apparatus for embedding key information in an image
KR101865821B1 (ko) * 2016-12-30 2018-06-08 동의대학교 산학협력단 깊이 영상의 잡음 제거 방법 및 깊이 영상의 잡음 제거 장치 그리고 잡음 제거를 통한 부호화 방법과 부호화 장치
US10495735B2 (en) 2017-02-14 2019-12-03 Sony Corporation Using micro mirrors to improve the field of view of a 3D depth map
US10795022B2 (en) 2017-03-02 2020-10-06 Sony Corporation 3D depth map
CN106981081A (zh) * 2017-03-06 2017-07-25 电子科技大学 一种基于深度信息提取的墙面平整度检测方法
US11047672B2 (en) 2017-03-28 2021-06-29 Hand Held Products, Inc. System for optically dimensioning
US10979687B2 (en) 2017-04-03 2021-04-13 Sony Corporation Using super imposition to render a 3D depth map
CN108234858B (zh) * 2017-05-19 2020-05-01 深圳市商汤科技有限公司 图像虚化处理方法、装置、存储介质及电子设备
JP6813436B2 (ja) * 2017-06-16 2021-01-13 株式会社東芝 情報処理装置、移動体、情報処理方法、およびプログラム
CA3009798A1 (en) * 2017-07-12 2019-01-12 General Electric Company Graphic overlay for measuring dimensions of features using a video inspection device
US10733748B2 (en) 2017-07-24 2020-08-04 Hand Held Products, Inc. Dual-pattern optical 3D dimensioning
EP3438699A1 (de) * 2017-07-31 2019-02-06 Hexagon Technology Center GmbH Distanzmesser mit spad-anordnung zur berücksichtigung von mehrfachzielen
EP3680857B1 (en) * 2017-09-11 2021-04-28 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Image processing method and apparatus, electronic device and computer-readable storage medium
EP3462415A1 (en) * 2017-09-29 2019-04-03 Thomson Licensing Method and device for modifying attributes of points of a 3d scene
US10484667B2 (en) 2017-10-31 2019-11-19 Sony Corporation Generating 3D depth map using parallax
US11393114B1 (en) * 2017-11-08 2022-07-19 AI Incorporated Method and system for collaborative construction of a map
WO2019162564A1 (en) * 2018-02-22 2019-08-29 Nokia Technologies Oy An apparatus, a method and a computer program for volumetric video
US10477220B1 (en) 2018-04-20 2019-11-12 Sony Corporation Object segmentation in a sequence of color image frames based on adaptive foreground mask upsampling
US10584962B2 (en) 2018-05-01 2020-03-10 Hand Held Products, Inc System and method for validating physical-item security
US10549186B2 (en) 2018-06-26 2020-02-04 Sony Interactive Entertainment Inc. Multipoint SLAM capture
JP7117914B2 (ja) 2018-06-29 2022-08-15 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP2020010146A (ja) 2018-07-05 2020-01-16 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP2020013291A (ja) * 2018-07-18 2020-01-23 コニカミノルタ株式会社 物体検出システム及び物体検出プログラム
CN110956603B (zh) * 2018-09-25 2023-04-21 Oppo广东移动通信有限公司 深度图像边缘飞点的检测方法、装置及电子设备
CN110956657B (zh) * 2018-09-26 2023-06-30 Oppo广东移动通信有限公司 深度图像获取方法及装置、电子设备及可读存储介质
TWI687708B (zh) * 2018-10-09 2020-03-11 大陸商光寶電子（廣州）有限公司 誤差校正系統及其方法
CN112184603B (zh) * 2019-07-04 2022-06-24 浙江商汤科技开发有限公司 一种点云融合方法、装置、电子设备和计算机存储介质
CN110400343B (zh) * 2019-07-11 2021-06-18 Oppo广东移动通信有限公司 深度图处理方法和装置
CN110400340B (zh) * 2019-07-11 2022-03-22 Oppo广东移动通信有限公司 深度图处理方法和装置
CN112241015B (zh) * 2019-07-19 2023-03-24 北醒（北京）光子科技有限公司 一种单点激光雷达去除拖点的方法
JP2021051015A (ja) * 2019-09-25 2021-04-01 ソニーセミコンダクタソリューションズ株式会社 測距装置、測距方法、並びにプログラム
US11639846B2 (en) 2019-09-27 2023-05-02 Honeywell International Inc. Dual-pattern optical 3D dimensioning
CN114450550A (zh) * 2019-10-02 2022-05-06 富士通株式会社 校正方法、校正程序以及信息处理系统
CN111045030B (zh) * 2019-12-18 2022-09-13 奥比中光科技集团股份有限公司 一种深度测量装置和方法
US11295521B2 (en) 2020-03-25 2022-04-05 Woven Planet North America, Inc. Ground map generation
CN111443357A (zh) * 2020-05-19 2020-07-24 炬佑智能科技(苏州)有限公司 一种测距方法及测距系统
CN111709940B (zh) * 2020-06-19 2023-06-27 湖南恒岳重钢钢结构工程有限公司 一种基于机器视觉的电容缺陷检测方法
KR102385076B1 (ko) * 2020-07-10 2022-04-11 주식회사 메디트 데이터 잠금 시스템 및 데이터 잠금 방법
CN111833370A (zh) * 2020-07-22 2020-10-27 浙江光珀智能科技有限公司 一种飞行像素滤除方法及系统
JP2022083913A (ja) * 2020-11-25 2022-06-06 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
EP4309583A4 (en) 2021-03-17 2024-07-31 Fujifilm Corp INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, PROGRAM AND X-RAY IMAGING SYSTEM
US20240169572A1 (en) * 2021-03-25 2024-05-23 Sony Semiconductor Solutions Corporation Information processing device, information processing method, and program
CN113379847B (zh) * 2021-05-31 2024-02-13 上海集成电路制造创新中心有限公司 异常像素的修正方法及设备
CN113222862B (zh) * 2021-06-04 2024-09-17 黑芝麻智能科技(上海)有限公司 图像畸变校正方法、装置、电子设备和存储介质
CN113313658B (zh) * 2021-07-29 2021-11-30 南昌虚拟现实研究院股份有限公司 图像处理方法、装置、电子设备及存储介质
WO2023224326A1 (ko) * 2022-05-18 2023-11-23 삼성전자 주식회사 깊이 정보를 획득하는 증강 현실 디바이스 및 그 동작 방법
US20230394691A1 (en) * 2022-06-07 2023-12-07 Toyota Research Institute, Inc. Depth estimation with sparse range sensor depth and uncertainty projection
KR102567379B1 (ko) * 2022-07-18 2023-08-17 주식회사 호인스컴퍼니 3d 모델링 자동 보정을 통한 실감 오브젝트 생성 시스템
WO2024116631A1 (ja) * 2022-11-29 2024-06-06 ソニーセミコンダクタソリューションズ株式会社 検出装置及び検出方法
KR102525570B1 (ko) * 2022-11-30 2023-04-25 주식회사 테스트웍스 라이다-카메라 영상 융합을 위한 라이다 데이터 이상치 제거 방법 및 이를 수행하는 컴퓨팅 장치
EP4386449A1 (fr) * 2022-12-14 2024-06-19 Stmicroelectronics (Grenoble 2) Sas Obtention d'une carte de profondeur

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2807137B2 (ja) * 1992-12-15 1998-10-08 松下電工株式会社 立体形状検出方法
JPH0934932A (ja) * 1995-07-20 1997-02-07 Matsushita Electric Ind Co Ltd ３次元データの凹凸検出方法および凹凸検出装置
JPH09161072A (ja) * 1995-12-13 1997-06-20 Tsushin Hoso Kiko 映像信号の構造情報を抽出する映像処理装置
US5751290A (en) * 1996-09-20 1998-05-12 Industrial Technology Research Institute Three dimensional graphics system and method with correction to z buffer value errors
JPH10143659A (ja) * 1996-11-06 1998-05-29 Komatsu Ltd 物体検出装置
JPH11120359A (ja) * 1997-10-21 1999-04-30 Sony Corp 画像処理装置および方法、並びに伝送媒体
US6577307B1 (en) * 1999-09-20 2003-06-10 Silicon Integrated Systems Corp. Anti-aliasing for three-dimensional image without sorting polygons in depth order
JP2004297267A (ja) * 2003-03-26 2004-10-21 Sharp Corp 画素欠陥処理装置
JP2006191454A (ja) * 2005-01-07 2006-07-20 Sony Corp ノイズ検出回路及び同回路を有する信号処理装置及び同装置を備えた撮像装置及びノイズ除去方法
JP4923101B2 (ja) * 2006-03-22 2012-04-25 ピルツ ゲーエムベーハー アンド コー．カーゲー 画像間の空間対応を判別して三次元再構成をする方法および装置
JP2008243184A (ja) * 2007-02-26 2008-10-09 Fujifilm Corp 濃淡画像の輪郭補正処理方法及びその装置
US8175374B2 (en) * 2007-04-20 2012-05-08 Softkinetic Software Volume recognition method and system
RU2497196C2 (ru) * 2007-10-11 2013-10-27 Конинклейке Филипс Электроникс Н.В. Способ и устройство для обработки карты глубины
JP5448617B2 (ja) * 2008-08-19 2014-03-19 パナソニック株式会社 距離推定装置、距離推定方法、プログラム、集積回路およびカメラ
JP5567908B2 (ja) * 2009-06-24 2014-08-06 キヤノン株式会社 ３次元計測装置、その計測方法及びプログラム
JP5624998B2 (ja) * 2009-12-25 2014-11-12 本田技研工業株式会社 画像処理装置、画像処理方法、コンピュータプログラム及び移動体
KR20110135786A (ko) * 2010-06-11 2011-12-19 삼성전자주식회사 깊이 전이 데이터를 이용한 3ｄ 비디오 인코딩／디코딩 장치 및 방법
JP5150698B2 (ja) 2010-09-30 2013-02-20 株式会社東芝 デプス補正装置及び方法
US9123115B2 (en) * 2010-11-23 2015-09-01 Qualcomm Incorporated Depth estimation based on global motion and optical flow

Also Published As

Publication number Publication date
JP2014524016A (ja) 2014-09-18
EP2538242A1 (en) 2012-12-26
US20140253679A1 (en) 2014-09-11
TWI536318B (zh) 2016-06-01
WO2012175731A1 (en) 2012-12-27
JP6143747B2 (ja) 2017-06-07
JP2016201117A (ja) 2016-12-01
EP2538242B1 (en) 2014-07-02
KR101554241B1 (ko) 2015-09-18
TW201308252A (zh) 2013-02-16
CN103814306A (zh) 2014-05-21
US9426444B2 (en) 2016-08-23
CN103814306B (zh) 2016-07-06
KR20140027468A (ko) 2014-03-06

Similar Documents

Publication Publication Date Title
JP6244407B2 (ja) 深度測定の品質の向上
EP2848003B1 (en) Method and apparatus for acquiring geometry of specular object based on depth sensor
KR101758058B1 (ko) 깊이 정보를 이용한 카메라 모션 추정 방법 및 장치, 증강 현실 시스템
US11328479B2 (en) Reconstruction method, reconstruction device, and generation device
CN104574393B (zh) 一种三维路面裂缝图像生成系统和方法
JP2004117078A (ja) 障害物検出装置及び方法
KR101666854B1 (ko) 복수 개의 깊이 영상에 기초한 깊이 영상 접힘 제거 장치 및 방법
US11189042B2 (en) Information processing device, information processing method, and computer program
WO2007052191A2 (en) Filling in depth results
KR101556593B1 (ko) 영상 처리 방법
US7764284B2 (en) Method and system for detecting and evaluating 3D changes from images and a 3D reference model
CN111553342B (zh) 一种视觉定位方法、装置、计算机设备和存储介质
KR20240086528A (ko) 포인트 클라우드 데이터의 오차를 예측하는 방법
JP2017199285A (ja) 情報処理装置、情報処理方法、プログラム
Diskin et al. Dense 3D point-cloud model using optical flow for a monocular reconstruction system
CN113723432A (zh) 一种基于深度学习的智能识别、定位追踪的方法及系统
KR101907057B1 (ko) 구면 모델링을 통한 깊이 정보 보정 방법과 보정장치
KR101904170B1 (ko) 구면 모델링을 통한 깊이 정보 보정 및 부호화 방법과 부호화장치
KR20140067253A (ko) 영상 처리 장치 및 방법
CN113706596A (zh) 一种基于单目相机进行稠密建图的方法
Drouin et al. Camera–projector matching using unstructured video
Yang et al. Approximate ground truth in the real world for testing optical flow algorithms

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20170224

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20170227

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170622

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170711

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170926

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171031

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171113

R150 Certificate of patent or registration of utility model

Ref document number: 6244407

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees