JP7362265B2 - 情報処理装置、情報処理方法及びプログラム - Google Patents

Description

距離画像をユーザに提示する技術に関する。

距離画像は、撮影したシーンの各画素に対応する距離値で構成される画像であり、シーンにおける形状の計測や物体の検出など様々な分野で用いられている。距離画像の距離値の分布を知る方法として、各画素における距離値をヒストグラムで表現する方法が知られている。特許文献１では、距離データを信頼度に基づいてフィルタリングすることで、信頼度の高い有効距離データと信頼度の低い無効距離データを抽出する。さらに、有効距離データについてヒストグラムを生成する技術が開示されている。

特開２００８－６５６３４号公報

特許文献１の手法では、信頼度が高いにも関わらず正確でない距離データが得られている場合がある。その場合、有効距離データによるヒストグラムはユーザにとって見にくい可能性がある。

本発明は上記問題に鑑みてなされたものであり、ユーザにとって見やすいヒストグラムを提示することを目的とする。

上記課題を解決するために、本発明にかかる情報処理装置は、計測装置から対象物体までの距離値を画素位置ごとに格納する距離画像を取得する第１取得手段と、前記距離画像を入力とし、前記距離画像の前記距離値の画素数である度数を示すヒストグラムの表示範囲を指定する入力情報を出力する学習済みモデルによって、前記入力情報を取得する第２取得手段と、前記入力情報によって指定される前記表示範囲において前記ヒストグラムを出力し、前記計測装置によって正確に計測できていない前記距離値の前記度数を低減可能とする出力手段と、を有することを特徴とする。

本発明によれば、ユーザにとって見やすいヒストグラムを提示できる。

情報処理システムのハードウェア構成例を示す図 情報処理装置の機能構成例を示す図 情報処理装置のハードウェア構成例を示す図 情報処理装置が実行する処理手順を示すフローチャート ヒストグラムの一例を説明する例の図 ヒストグラムの一例を説明する図 ＧＵＩの一例を示す図 情報処理装置が実行する処理手順を示すフローチャート ドロップダウンリストの一例を示す図 ヒストグラムの一例を示す図 情報処理装置が実行する処理手順を示すフローチャート 領域分割の一例を示す図 代表値の求め方の一例を示す図 座標変換を設定するＧＵＩの一例を示す図 情報処理装置の機能構成例を示す図 情報処理装置が実行する処理手順を示すフローチャート ヒストグラムの一例を示す図 ＧＵＩの一例を示す図 情報処理装置の機能構成例を示す図 情報処理装置が実行する処理手順を示すフローチャート カラー画像と対応するヒストグラムの一例を示す図 カラー画像と対応するヒストグラムの一例を示す図

本発明にかかる実施形態を説明するのに先立ち、用語の定義について説明する。

距離画像とは、距離センサ等を用いて撮像されたシーンにおける各画素を、距離値として表現した２次元の画像のことである。この距離値は距離センサの光学系の中心からシーンに含まれる対象物体までの距離として得られる。つまり、距離画像の各画素には計測装置から対象物体までの距離データが保持される。距離値を求める方法として、Ｔｉｍｅ－ｏｆ－Ｆｌｉｇｈｔセンサの場合は、照射した光がシーンの物体に反射して受光素子に戻ってくるまでの時間を計測する。距離画像の各画素には、距離値に変換された結果が保持される。また、ステレオカメラ等の場合は、左右に並べた２つの輝度画像における画素間の対応関係を求めることで距離を求める。このように、正しい距離値を求めるには、受光素子に入る光の量を求めるだけでなく、その後の処理が含まれるため、一般的には輝度画像と比べてノイズが多く、また、距離値を計測できない画素も生じる。距離値を計測できなかった画素には、正しい距離値が計測できないことを示す距離値が格納される。例えば０の値、無限大や負の値が格納されている。

ヒストグラムとは、縦軸に度数、横軸に階級をとった統計グラフの一種で、データの分布状況を視覚的に認識するために用いられるグラフである。本実施形態では、距離画像の距離値の分布を表現したヒストグラムを対象とする。そのため、横軸の階級として、連続する距離の範囲を用いる。例えば、０～１００までの整数値からなる距離値が存在する距離画像の場合、０～９、１０～１９、２０～２９、３０～３９、４０～４９、５０～５９、６０～６９、７０～７９、８０～８９、９０～１００の１０個の階級に分ける。これらそれぞれの階級のことをビンと呼ぶ。また、階級の数をビンの数と定義し、この例ではビンの数は１０である。さらに、各ビンにおいて、この範囲の距離値を持つ距離画像内の画素数を度数として縦軸に表現する。

（第１の実施形態）
距離画像を使った分析には様々なユースケースがあるが、距離値そのものや距離画像を見ただけでは全体の傾向がわかりづらい場合は、距離値の分布の傾向を知るためにヒストグラムを生成する。すなわち、計測装置によって該計測装置からの対象物体までの距離値を計測した結果から得られる距離画像を取得する。距離画像に基づいて、所定の距離値を含む階級の度数を低減させた、所定の範囲に含まれる距離値の分布を示すヒストグラムを出力する。距離画像だけではなく、距離画像を補正した補正画像からヒストグラムを出力してもよい。計測装置によって計測されなかった画素についての情報をヒストグラムから省く、または欠損した画素を補完してヒストグラムに反映できるため、より見やすいヒストグラムを出力できる。

ヒストグラムは、計測装置からシーンに含まれる対象物体までの距離値の分布を示し、物体検出、ノイズ分析の解析、対象物体の形状分析等に用いられる。ヒストグラムは、距離画像から実測値の概況を把握することに役立つ。しかしながら、ヒストグラムの基となる距離画像にノイズ（計測が上手くいかなかった画素）が多く含まれる場合、ユーザにとって有効な情報（信頼度の高い情報）をうまく提示することができない。例えば、ＬｉＤＡＲなどのレーザレンジセンサの場合では、レーザ光の反射率が高いほど信頼度が高く設定される。このとき、鏡面に二回当たって二次反射を受光した場合でも、光の減衰は少なく反射率が高くなり、二次反射から距離を求めても正しい距離値にはならない。一方で、二眼のステレオの場合であれば、局所領域同士の類似度が高いほど信頼度を高く設定する。しかしながら、テクスチャに繰り返しパターンが含まれているような場合、類似度が高い領域が複数見つかることがある。その場合、類似度も高いため信頼度は高く算出されるが、実は類似度の高い他の領域の方が正しいマッチング対応領域である場合などがある。こうした場合、正しい距離値ではないにもかかわらず信頼度が高い状態が生じる。このような背景から、ユーザにとって必要な情報を含んだヒストグラムを生成する場合、信頼度の大きさに依存して距離データを抽出することが必ずしも好ましいとは言えない。

図５を用いて具体例を説明する。例えば、撮像装置を正対設置のために距離画像とヒストグラムを用いる。図５（ａ）のＡ１は撮像装置５が物体４２に対して正対している状況である。図５（ａ）のＡ２は撮像装置５に対して物体４３が傾いて設置されている状況である。この２つの状況をヒストグラムで分析する場合、それぞれ撮像した距離画像からヒストグラムを生成する。しかしながら、距離画像で距離を計測できなかった画素（距離値０が入力されている）をそのままヒストグラムのデータとして採用すると、図５（ｂ）Ｇ１０のように距離値０の度数が大きく、他の距離値のピークＧ１０１が見づらくなってしまう。すると、Ａ１の画像から作られたヒストグラムとＡ２の画像から作られたヒストグラムとの差がわかりづらい。そのため、本実施形態ではＧ１００のデータを低減するように、撮像装置やユーザによるフィードバックの情報を利用する。Ａ１から生成されるヒストグラムはＧ１１のように、ピークＧ１０２３が急になるため、撮像装置と対象物体が平行に設置されている可能性が高い。一方、Ａ２から生成されるヒストグラムは、Ｇ１２のようになり、ヒストグラムの山Ｇ１０２がなだらかになる。この場合は、撮像装置と対象物体が平行になっていない可能性が高い。また、ヒストグラムを用いることで距離の実測値の分布が見やすくなる。つまり、第１の実施形態の情報処理装置は、距離センサ（撮像装置）の情報に基づいてヒストグラムの表示範囲を決定し、さらにヒストグラムを描画する際に入力情報に基づいて補正したヒストグラムを表示する。入力情報とは、ユーザによるフィードバック情報や、撮像装置に由来する情報等を指す。これによってユーザの利便性を向上させたヒストグラムを生成、描画する例について述べる。さらに、様々なグラフィックユーザインターフェース（ＧＵＩ）を用いてユーザの入力に応じてヒストグラムの生成、描画方法を変更することができる。

図１は本実施形態における情報処理システムのハードウェア構成図である。同図において、１は情報処理装置、１０は距離画像を撮像するための距離センサなどの撮像装置（計測装置）、１１は撮像した距離画像やヒストグラムを表示するためのディスプレイなどの表示装置である。撮像装置１０で撮像した距離画像を情報処理装置１で処理しヒストグラムを生成し、表示装置１１に出力する。また、情報処理装置１はＧＵＩなどによりユーザからの入力を受け付け、ユーザ入力に基づいてヒストグラムを生成、描画し、表示装置１１に表示する。

図２は、本実施形態における情報処理装置１の機能構成例を示す図である。情報処理装置１は、画像取得部１００、情報取得部１０１、補正部１０２、生成部１０３、決定部１０４、変換部１０５、出力部１０６、分割部１０７を備えている。撮像装置１０は画像取得部１００および情報取得部１０１と接続され、出力部１０６は表示装置１１と接続されている。ただし、図２は、機能構成の一例であり、本発明の適用範囲を限定するものではない。

撮像装置（計測装置）１０では、２次元画像の各画素に距離値を保持した距離画像を撮像し、画像取得部１００に出力する。撮像装置１０には、例えばステレオカメラ、距離センサ、ＲＧＢ－Ｄカメラ等を用いる。

画像取得部１００（第１取得部）は、計測装置によって、計測装置からの対象物体までの距離値を計測した結果から得られる距離画像を取得する。ここでは、撮像装置１０から対象物体までの距離データを示す距離画像を取得し、情報取得部１０１に出力する。

情報取得部１０１（第２取得部）は、有効でない距離値として、前記計測装置が正しい距離値を計測できない距離値を示す入力情報を取得する。本実施形態では、入力情報は、例えば以下の情報である。すなわち、撮像装置１０が計測可能な奥行距離の範囲の情報。撮像装置１０が計測できなかった画素に格納する距離値の値（例えば距離値０）。距離計測を行った際の各画素における距離の信頼度マップ（距離値の確からしさ）。情報取得部１０１が取得した入力情報は補正部１０２、生成部１０３、決定部１０４に出力される。なお、信頼度マップとは、距離画像における距離値を求める際の距離の信頼度の大きさを各画素で保持した画像のことである。信頼度は例えば０～１．０の間の値で保持される。信頼度が高いほどその距離値は正確である可能性が高い。信頼度マップは距離画像と同じ解像度であり、同じ画素位置にはシーンにおける同じ領域の距離値またはその信頼度が保持されている。

補正部１０２は、計測装置による計測結果が所定の範囲外の距離値になる画素を補正する。例えば、計測装置によって計測できる距離値の範囲を所定の範囲とする。画像取得部１００から距離画像および情報取得部１０１が取得した情報を受け取って、距離画像を補正する。補正処理を行ったものをここでは補正画像と呼ぶ。補正処理部１０２は補正画像を生成部１０３に出力する。距離画像を補正することによってより精細なヒストグラムを生成できる。補正処理についての詳細は後述する。

生成部１０３は、距離画像または補正画像に基づいて、所定の距離値を含む階級の度数を低減させたヒストグラムを生成する。例えば、距離値が計測されなかった画素（欠損画素と呼ぶ）に入力された値（ここでは距離値０）を含む階級が強調されないようにヒストグラムを生成する。その際、情報取得部１０１から撮像装置１０の計測可能な奥行距離の範囲の情報や、撮像装置１０が計測できなかった画素に格納する距離値の値を受け取って、それらに基づいてヒストグラムを生成する。生成したヒストグラムは決定部１０４に出力する。

決定部１０４は、生成部１０３からヒストグラムを、情報取得部１０１から信頼度マップを受け取って、ヒストグラムのデータに対して信頼度に基づいた色データを決定する。そして、色付きヒストグラムのデータを変換部１０５に出力する。ヒストグラムの表示色を変えることによって、ユーザにとって見やすいヒストグラムを出力できる。

変換部１０５は、決定部１０４から色付きヒストグラムのデータを受け取って、色付きヒストグラムを表示装置１１に表示するための画像データに変換する。生成したヒストグラム画像データは出力部１０６に出力する。出力部１０６は、変換部１０５からヒストグラム画像データを受け取って、表示装置１１に出力する。また、距離画像やＧＵＩも必要に応じて出力する。分割部１０７は、距離画像またはそれに対応するカラー画像を所定のルールに従って分割する。例えば、所定の大きさ（例えば１辺１０ピクセルの正方形）のグリッドで距離画像を分割する。または、カラー画像から得られる画像特徴に基づいて、類似した画像特徴同士が同じ領域に含まれるように領域分割をする。

表示装置１１は、ディスプレイであり、出力部１０６から出力されたヒストグラム画像データを所定の領域に描画して表示する。また距離画像やＧＵＩの表示も行う。

図３は、情報処理装置１のハードウェア構成を示す図である。Ｈ１１はＣＰＵであり、システムバスＨ２０に接続された各種デバイスの制御を行う。Ｈ１２はＲＯＭであり、ＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ／Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）のプログラムやブートプログラムを記憶する。Ｈ１３はＲＡＭであり、ＣＰＵであるＨ１１の主記憶装置として使用される。Ｈ１４は外部メモリであり、情報処理装置１が処理するプログラムを格納する。入力部Ｈ１５はタッチパネルやキーボード、マウス、ロボットコントローラーであり、情報等の入力に係る処理を行う。表示部Ｈ１６は、Ｈ１１からの指示に従って情報処理装置１の演算結果を表示装置に出力する。なお、表示装置は液晶表示装置やプロジェクタ、ＬＥＤインジケータなど、種類は問わない。Ｈ１７は通信インターフェイスであり、ネットワークを介して情報通信を行うものであり、通信インターフェイスはイーサネット（登録商標）でもよく、ＵＳＢやシリアル通信、無線通信等種類は問わない。Ｈ１８は入出力部（Ｉ／Ｏ）であり、カメラＨ１９と接続されている。なお、カメラＨ１９は撮像装置１０に相当し、表示部Ｈ１６は表示装置１１に相当する。

次に、本実施形態における処理手順について説明する。以下の説明では、各工程（ステップ）について先頭にＳを付けて表記する。図４は、情報処理装置１が実行する処理手順を示すフローチャートである。ただし、情報処理装置１は必ずしもこのフローチャートで説明するすべてのステップを行わなくても良い。以下、フローチャートは、コンピュータである図３のＣＰＵ（Ｈ１１）が外部メモリ（Ｈ１４）で格納されているコンピュータプログラムを実行することにより実現されるものとする。

Ｓ１０００では、情報処理装置１が、システムの初期化を行う。すなわち、外部メモリＨ１４からプログラムを読み込み、情報処理装置１を動作可能な状態にする。

Ｓ１００１では、画像取得部１００が、計測装置（撮像装置１０）によって、計測装置からの対象物体までの距離値を計測した結果から得られる距離画像を取得する。ただし、これに限るものではなく、例えば、予め撮像装置１０によって撮像した距離画像をファイルとして保存した距離画像ファイルを読み込むことで距離画像を取得してもよい。情報処理装置の内部に距離画像を保持する保持部を有している場合は、保持部から距離画像を取得する。または、情報処理装置の外部に距離画像を保持する保持装置がある場合は、通信部によって距離画像を取得する。

Ｓ１００２では、情報取得部１０１が、有効でない距離値として前記計測装置が計測できない距離値の範囲を示す入力情報を取得する。すなわち、ヒストグラムとして表示させる距離値の範囲を指定する入力情報を取得する。情報取得部１０１は、距離画像を入力とし、ヒストグラムの表示範囲を指定する入力情報を出力する学習済みモデルによって入力情報を取得してもよい。ユーザが見たいと思う表示範囲を学習させた学習済みモデルを使うことによって、ユーザにとって見やすいヒストグラムを簡単に提示できる。また、入力情報は上記の内容に限らない。例えば、撮像装置１０が計測可能な奥行距離の範囲の情報や、撮像装置１０が計測できなかった画素に格納する距離値の値や、距離計測を行った際の各画素における距離値の確からしさを示す信頼度マップを取得する。信頼度マップは２次元画像の各画素において信頼度を格納した画像のことである。ここでは、撮像装置１０から入力情報を取得する。なお、入力情報はこれ以外にも、ヒストグラムの各階級に割り当てる距離値の範囲を設定する情報でもよい。具体例としては、距離値０から１９９９までを１００ずつ区切りで２０階級だったのを、距離値１００から１９９９までを１００ずつ区切りで１９階級にしてもよい。０のみを除いて距離値１から２０００までを１００ずつ区切りで２０階級にしてもよい。このように各階級の距離値の範囲を設定することで、ユーザにとって見やすいヒストグラムを生成できる。

Ｓ１００３では、補正部１０２が、距離画像を構成する画素のうち、前記計測装置による計測結果が所定の範囲外の距離値になる画素を補正する。すなわち、計測装置による計測結果が所定の範囲外の距離値になる画素について、その画素の周辺の画素に含まれる距離値を用いて補正する。距離画像に対して所定の処理を行い、距離値が正確に計測できていない領域（ノイズ）を低減させた補正画像を得る。所定の処理の内容について説明する。距離画像は計算によって距離値を求めて得られているため、カラー画像や輝度画像と比べてノイズが多く、距離が計測できていない画素が存在する。また、信頼度が低い（予め設定された値より信頼度が小さい）画素には距離が計測できていないことを示す値を画素に格納しておく。信頼度が低い画素もノイズとみなす。そうしたノイズを低減するために、オープニング処理やクロージング処理によるノイズ除去を行う。また、バイラテラルフィルタやガイデッドフィルタによって平滑化を行う。こうして距離画像のノイズを低減したものをここでは補正画像と呼ぶ。補正画像は距離画像の一種であり、補正処理部１０２によってノイズが低減された距離画像である。具体的には、基本的には孤立点のように距離値が周囲の画素と比べて著しく異なる画素（距離値が欠損した画素）があれば、周囲の画素と同じような値に変更される。例えば、３ｘ３の画素領域と、中心の画素の距離値が４で、その周辺の画素における距離値が１０４であった場合に、距離値が４の画素は周囲とは著しく距離値が異なる孤立点となるため、距離値４の画素をノイズと見なす。そして、補正画像では距離値４だった画素に１０４くらいの距離値が保持される。

Ｓ１００４では、生成部１０３が、距離画像に基づいて、所定の距離値を含む階級の度数を低減させたヒストグラムを生成する。ヒストグラムを生成する距離の範囲は、情報取得部１０１が取得した入力情報に基づいて撮像装置１０が計測可能な奥行距離の範囲を用いる。すなわち、計測可能な奥行範囲が２００から１０００であった場合、ヒストグラムの横軸の範囲を２００から１０００に設定する。このように撮像装置１０から得られた計測可能な奥行範囲を用いてヒストグラムを生成することで、計測誤差による誤った値を排除してヒストグラムを生成および描画することができる。もし、計測可能な奥行範囲が不明または設定されていない撮像装置１０の場合は、距離計測できなかった画素が保持する値の情報を取得し、その値を除いた距離値の最大値と最小値の範囲でヒストグラムを生成する。図５は計測できなかった画素を保持する値を考慮したヒストグラムを説明する例の図である。図５のヒストグラムを生成する距離画像は０～１２５０の値を保持しており、計測できなかった画素が保持する値は０であるとする。図５（ｂ）のＧ１０は距離画像の値全てを用いてヒストグラムを生成した場合であり、Ｇ１００は計測できなかった画素が大きな度数として表現されている。Ｇ１０１は計測できなかった画素以外のヒストグラム領域を表しているが、ヒストグラムを描画する範囲の制約により、度数の最大値で正規化してヒストグラムを描画している。そのため、Ｇ１０１はＧ１００に比べて相対的に度数が小さく、距離値の分布を確認しづらい。一方、図５（ｃ）のＧ１１は０を除いた最小値１２０から最大値１２５０までの範囲でヒストグラムを生成したものである。Ｇ１００に対応する距離の範囲をヒストグラム生成の範囲外とすることで、Ｇ１０１はＧ１０２のように描画することができるため、距離値の分布を確認しやすくなっていることがわかる。ヒストグラムのビンの数については、最終的に表示装置１１で描画されるヒストグラムの描画領域の画素数と同じ値、もしくはそれを超えない値に設定すればよい。ただし、これに限るものではなく、図示しないビンの数設定用のＧＵＩによって、ユーザがビンの数を任意に設定し、それに基づいてヒストグラムを生成してもよい。

Ｓ１００５では、出力部１０６が、Ｓ１００４で生成されたヒストグラムに対して、入力情報、または補正された距離画像の少なくとも一方に基づいて、補正したヒストグラムを出力する。例えば、入力情報が信頼度に基づいた表示に関する情報であった場合は、Ｓ１００４で生成したヒストグラムとＳ１００２で取得した信頼度マップに基づいて、ヒストグラムに信頼度の大小に応じた色データを決定する。すなわち、各ビンにおいて、度数の数値だけでなく、度数の値の個数からなる色ベクトル情報を決定したデータとする。図６は信頼度によって色付けしたヒストグラムの例を説明する図である。図６のＧ１２のようにヒストグラムを信頼度に基づいて色データを決定する方法について説明する。まず、ヒストグラムの各ビンに対応した画素位置群を取得する。そして、信頼度マップにおいてそれらの画素位置群における信頼度を取得し、それを降順に並べる。そしてその並び順に対応する輝度でヒストグラムのそのビンの色を決定する。例えば、あるビンにおいて度数は５であり、それらに対応した信頼度が（０．９、０．３、０．６、１．０、０．５）からなっていたとする。これを降順に並べ（１．０、０．９、０．６、０．５、０．３）としたものがＧ１０３である。さらにＧ１０３を信頼度に応じて輝度に変換したものがＧ１０４であり、これがあるビンにおけるヒストグラムの色となる。これらを全てのビンに対して行った結果がＧ１２の信頼度の色付きヒストグラムとなる。こうした信頼度の色付きヒストグラムとすることで、ユーザは信頼度を考慮した距離値の分布を直感的に知ることができ、ヒストグラムによる分析や値の設定などを効率よく行うことができるようになる。

次に、ヒストグラムを表示した上で、さらにインタラクティブにユーザがヒストグラムに様々な変更を加える処理方法について説明する。図７は距離画像やヒストグラムを表示および編集するＧＵＩの例を示す図である。図７において、Ｕ１００は距離画像やヒストグラムを表示したり編集したりするＧＵＩのウィンドウである。Ｕ１０１は距離画像を表示する領域である。Ｕ１０２はヒストグラムを表示する領域である。Ｕ１０３は表示されたヒストグラムである。Ｕ１０４はヒストグラムに表示される距離値の最小値を示す領域である。Ｕ１０５はヒストグラムに表示される距離値の最大値を示す領域である。Ｕ１０６はヒストグラムの表示範囲の最小値を編集できる領域である。Ｕ１０７はヒストグラムの表示範囲の最大値を編集できる領域である。Ｕ１０８はヒストグラムの表示色を選択するドロップダウンリストである。Ｕ１０９は処理前後の可視化を行うか否かを選択するチェックボックスである。Ｕ１１０は代表値を利用するか否かを選択するチェックボックスである。Ｕ１１１は座標変換を行うためのボタンである。Ｕ１１２はヒストグラムを描画した色を距離画像にも反映するか否かを選択するチェックボックスである。Ｕ１１３はＵ１０１に表示する画像およびＵ１０３のヒストグラムを生成する元の画像を距離画像か補正画像かどちらかを選択するラジオボタンである。ユーザはこのようなＧＵＩを用いてヒストグラムに様々な変更を加えることができる。また、以下の説明では、Ｕ１１３において距離画像が選択されているものとして説明を行う。

このようなユーザによる入力情報を情報取得部１０１が取得し、図示しない判断部に情報を出力する。判断部はヒストグラムを生成し直すか否かを判断する。これらをＳ１００６に含めた処理の流れについて説明する。図８はユーザ入力によってヒストグラムに変更を加える処理の流れを示すフローチャートである。表示色を変更する場合、表示範囲の最小値と最大値を変更する場合、処理前後の可視化を行う場合、代表値を利用する場合、座標変換を行う場合の５つの場合それぞれについて、図８のフローチャートを用いて処理の流れを説明する。

＜表示色を変更する場合＞
本処理では、ヒストグラムを表示する色および距離画像の色をユーザが指定した色に変更する。その処理の流れについて説明する。

Ｓ１１０１では、情報取得部１０１が、Ｕ１０８で設定されたヒストグラムの色の情報およびＵ１１２のチェック状態を示す入力情報を取得する。すなわち表示色をＣ１０１として、表示色を距離画像にも反映するという情報を取得する。ユーザはＵ１０８を画面上でクリックまたはタッチすると、表示色選択のドロップダウンリストの中からヒストグラムと距離画像を描画する色を選択することができる。図９は表示色選択のドロップダウンリストの例を示す図である。図９のＣ１００に示す信頼度またはＣ１０１に示すような複数のカラーバーの中から一つを選択する。また、表示色を距離画像にも反映するか否かを示すチェックボックスＵ１１２に入力する。本処理では、最初にＣ１００の信頼度が選択されていた状態から、Ｓ１１００によってＣ１０１のカラーバーが選択され、Ｕ１１２のチェックボックスにチェックを入れた場合について説明する。

Ｓ１１０２では、補正部１０２が、生成したヒストグラムに対して補正が必要か判断する。表示色が変更されない場合、Ｓ１１０５に進む。表示色が変更される場合、Ｓ１１０３に進む。

Ｓ１１０３では、決定部１０４が、ユーザによって指定された色に基づいてヒストグラムの表示方法を決定する。表示色の変更に関する情報（設定されたヒストグラムの色の情報）に基づいて表示色（表示方法）を決定する。変換部１０５が決定された色データから色付きヒストグラムデータを生成する。また、決定部１０４は距離画像に対してＣ１０１のカラーバーの適用を行う。Ｃ１０１などのカラーバーは左の色ほど距離が近いことを、右の色ほど距離が遠いことを表している。よってＵ１０４に示されているヒストグラムの距離値の最小値がＣ１０１の左端の色と一致し、Ｕ１０５に示されているヒストグラムの距離値の最大値がＣ１０１の右端の色と一致するように距離値とカラーバーの色とを対応付ける。そしてヒストグラムの各ビンの距離値に対応したカラーバーの色をヒストグラムの色情報として決定する。さらに、Ｕ１０１に描画する距離画像についても、各画素における距離値に対応したカラーバーの色とする情報を決定する。

Ｓ１１０４では、変換部１０５が色付きヒストグラムの画像データと距離画像の色変換した画像データを生成する。具体的には、Ｓ１００６と同様に色付きヒストグラムデータから画像データに変換する。また、距離画像を描画する画像データに対して各画素の距離値に対応したカラーバーの色で更新する。

Ｓ１１０５では、出力部１０６が、決定部１０４によって決定された色を用いて、表示方法を変更したヒストグラムを出力する。Ｓ１１０５で生成したヒストグラムの画像データと距離画像の画像データを表示装置１１に出力する。ここでは表示装置１１は、ヒストグラムの画像データに対してはＵ１０２に、距離画像の画像データに対してはＵ１０１が対応する。

以上の処理により、ユーザが指定した表示色に基づいて、ヒストグラムを表示する色および距離画像の色を変更することで、ユーザにとって見やすいヒストグラムを生成する。ユーザは所望の色でヒストグラムや距離画像を分析できる。

＜表示範囲の最小値と最大値を変更する場合＞
本処理では、ヒストグラムの表示範囲をユーザが指定した範囲に変更し、それに伴って距離画像を描画する色も変更する。その処理の流れについて説明する。

Ｓ１１０１では、情報取得部１０１が、ヒストグラムの表示範囲をユーザが指定した範囲に指定する入力情報を取得する。具体的には、Ｕ１０６およびＵ１０７から距離値の情報およびＣ１１２のチェック状態を示す入力情報を取得する。すなわち、ヒストグラムの表示範囲の最大値および最小値が変更され、距離画像にも反映するという情報を取得する。ユーザはＵ１０６およびＵ１０７に対して距離値を入力することでヒストグラムの表示範囲を設定する。設定方法としては、キーボードから数字を入力してもよいし、画面上に数字キーを出現させて、マウス操作やタッチパネルのタッチ操作によって数字を入力してもよいし、数値のスライドバーにより数字を入力してもよい。また図示しない最大値ボタンまたは最小値ボタンを押すことで、距離画像の最大値または最小値を自動で入力してもよい。また、距離画像にも反映するか否かを示すチェックボックスＵ１１２に入力する。本処理では、表示色としてＣ１０１が選択されている状態で、Ｕ１０６およびＵ１０７で距離値の変更が行われ、Ｕ１１２のチェックボックスにチェックを入れた場合について説明する。

Ｓ１１０２では、補正部１０２が、生成したヒストグラムに対して補正が必要か判断する。補正部１０２が、表示範囲の変更に関する情報を受け取る。表示範囲が変更されると、ヒストグラムを生成し直す必要があると判断し、Ｓ１１０３に進む。表示範囲が変更されない場合はＳ１１０５に進む。

Ｓ１１０３では、決定部１０４が、ヒストグラムの表示範囲を決定する。また、表示色を変更する場合におけるＳ１１０４と同様にヒストグラムに色データを決定し、色付きヒストグラムデータおよび距離画像のデータを生成する。もし、Ｕ１０６が距離画像の距離値の最小値よりも大きい場合には、Ｕ１０６より小さい距離値を持つ画素の色はカラーバー内には存在しない別の色を対応付ける。同様に、Ｕ１０７が距離画像の距離値の最大値よりも小さい場合には、Ｕ１０７より大きい距離値を持つ画素の色はカラーバー内には存在しない別の色を対応付ける。このように色付けすることで、ヒストグラムの表示範囲外に対応する距離画像の領域を可視化することができる。

Ｓ１１０４では、変換部１０５が、色付きヒストグラムの画像データと距離画像の色変換した画像データを生成する。具体的には、Ｓ１００６と同様に色付きヒストグラムデータから画像データに変換する。また、距離画像を描画する画像データに対して各画素の距離値に対応したカラーバーの色および表示範囲外を表すＳ１１０４で設定した色で更新する。

Ｓ１１０５では、出力部１０６が、入力情報によって指定された表示範囲におけるヒストグラムを出力する。Ｓ１１０５で生成したヒストグラムの画像データと距離画像の画像データを表示装置１１に出力する。ここでは表示装置１１は、ヒストグラムの画像データに対してはＵ１０２に、距離画像の画像データに対してはＵ１０１が対応する。また、Ｕ１０６の値をＵ１０４に表示し、Ｕ１０７の値をＵ１０５に表示する。

以上の処理により、ユーザが指定したヒストグラムの表示範囲に基づいて、ヒストグラムを生成し、ヒストグラムの色や距離画像を描画する色を変更することで、ユーザは注目したい距離値の範囲で分析することができる。

＜処理前後の可視化を行う場合＞
本処理では、処理前後の可視化を行うか否かのチェックボックスＵ１０９にチェックを入れることで、補正処理部１０２に入力する距離画像と、補正処理部１０２が出力する補正画像の差異を可視化する。その処理の流れについて説明する。

Ｓ１１０１では、情報取得部１０１がＵ１０９のチェック状態を示す入力情報を取得する。すなわち処理前後の可視化を行うという情報を取得する。ユーザは処理前後の可視化を行うか否かのチェックボックスＵ１０９にチェックを入れる。本処理では、表示色としてＣ１０１が選択されている状態で、Ｕ１０９のチェックボックスにチェックを入れた場合について説明する。

Ｓ１１０２では、補正部１０２が、生成したヒストグラムに対して補正が必要か判断する。補正部１０２が、処理前後の可視化を行うという情報を受け取る。Ｕ１０９にチェックが入っている場合は、ヒストグラムの表示色を変更するためにＳ１１０３にすすむ。Ｕ１０９にチェックが入っていない場合、すなわち可視化処理を行わない場合はＳ１１０５に進む。

Ｓ１１０３では、決定部１０４が、ヒストグラムに距離画像から得たデータと補正画像から得たデータの差異を表す色データを決定する。図１０の距離画像と補正画像の差異を表すヒストグラムを示す例の図を用いて、距離画像と補正画像の差異の色付け方法について説明する。Ｇ１０５は距離画像であり、距離計測できなかった画素をＧ１１１で表現している。Ｇ１３はＧ１０５の距離画像に対応するヒストグラムである。Ｇ１３の各ビンにおけるグラフの色の違いはＧ１０１のカラーバーによって表示した色を表している。ヒストグラムＧ１３の中でＧ１０７は距離計測できなかったＧ１１１の画素に対応したビンの度数を表している。Ｇ１０６は距離画像を補正処理部１０２が処理して得られた補正画像を表している。Ｇ１４は補正画像に対応するヒストグラムである。ヒストグラムＧ１４の中でＧ１０９およびＧ１１０はＧ１１１に対応する距離計測できていなかった画素が、補正画像Ｇ１０６で補正された結果、Ｇ１０７のビンからＧ１０９およびＧ１１０に補正されたことを示している。さらに、ヒストグラムＧ１４におけるＧ１０９とＧ１１０における色はＧ１０７と同じ色を用いる。またヒストグラムＧ１３におけるＧ１０８に対応する一部の画素は、補正画像Ｇ１０６においてＧ１１１のビンに補正され、Ｇ１０８と同じ色を用いて表現する。このように、補正処理を行う前の距離画像Ｇ１０５をヒストグラム表示する場合の各ビンの色で、補正処理を行った後の補正画像Ｇ１０６のヒストグラムの色を表現する。補正画像のヒストグラムＧ１４を見れば、距離画像と補正画像の差異を表した色付きヒストグラムデータを生成することができる。このようにヒストグラムを表示することによって、距離画像の欠損領域がどのように補完されたのかをユーザが視認できるため、ユーザにとって見やすいヒストグラムを提示できる。

Ｓ１１０４では、変換部１０５が、色付きヒストグラムデータから、色付きヒストグラムの画像データと距離画像の色変換した画像データを生成する。

Ｓ１１０５では、出力部１０６が、補正部１０２によって補正された画像に基づいて得られた距離値と、距離画像に含まれていた距離値とを異なる色で表示したヒストグラムを出力する。すなわち、補正済みの距離画像（補正画像）から生成したヒストグラムと、距離画像から生成したヒストグラムとの差異を可視化したヒストグラムデータを出力する。

以上の処理により、補正処理を行う前の距離画像と、補正処理を行った後の補正画像との差異を、一つの色付きヒストグラムで表現することができるため、ユーザにとって見やすいヒストグラムが提示できる。

＜代表値を利用する場合＞
本処理では、代表値の利用を行うか否かのチェックボックスＵ１１０にチェックを入れることで、計測できなかった画素を含む距離画像に対して、距離値を補正した補正画像を作成しなくても、計測できなかった領域の影響を抑制したヒストグラムを生成する。こうすることによって、距離画像において欠損した情報を補いつつ、ヒストグラムで距離画像の概要を表現することができる。また、距離画像の領域毎にヒストグラム化を行うため、画素毎に処理をするよりも処理負荷が軽い。その処理の流れについて図１１を用いて説明する。図１１の代表値を利用したヒストグラムの生成の処理を表すフローチャートによってヒストグラムが生成される。

Ｓ１１０１では、情報取得部１０１がＵ１１０のチェック状態を取得する。ユーザは代表値の利用を行うか否かのチェックボックスＵ１１０にチェックを入れる。本処理では、表示色としてＣ１０１が選択されている状態で、Ｕ１１０のチェックボックスにチェックを入れた場合について説明する。

Ｓ１１０２では、補正部１０２が、生成したヒストグラムに対して補正が必要か判断する。代表値の利用を行う場合、Ｓ１２００に進む。代表値を利用しない場合はＳ１２０２に進む。

Ｓ１２００では、分割部１０７が、領域毎に所定の値（その領域の距離値の平均値や中央値等）を対応付けて距離画像を分割する。領域分割は画素位置が近いものが同じグループに属するような空間分割を行う。図１２は領域分割の例を示す図である。図１２を用いて領域分割方法の例を説明する。Ｇ１１２は距離画像である。Ｇ１１３は距離画像において計測できなかった画素（欠損画素）を表す。Ｇ１１４はＧ１１２の距離画像を、所定の大きさの格子状の線（グリッド）で領域分割したものである。Ｇ１１５は領域を分割した格子状の線を表す。この例のように、格子状の線によって領域分割を行えばよい。ただし、領域分割の方法は格子状に分割する例に限るものではない。別の空間分割を用いてもよい。例えば、距離画像に対応した輝度画像またはカラー画像Ｇ１１６が存在した場合には、輝度画像またはカラー画像Ｇ１１６に対してＳｕｐｅｒｐｉｘｅｌ処理を行う。すなわち、距離画像に対応したカラー画像の画像特徴に基づいて、距離画像を部分領域に分割する。ＳＬＩＣ（Ｓｉｍｐｌｅ Ｌｉｎｅａｒ Ｉｔｅｒａｔｉｖｅ Ｃｌｕｓｔｅｒｉｎｇ）に代表されるような処理である。そのようにしてＧ１１７のような領域分割を行ってもよい。Ｇ１１８はＳｕｐｅｒｐｉｘｅｌで分割した線を表す。すなわち、カラー画像におけるエッジ検出の結果（画像特徴）に基づいて対応する距離画像の領域を分割する。こうすることによって、距離値が近い画素同士が同じ領域に含まれる可能性が上がる。

Ｓ１２０１では、生成部１０３が、Ｓ１２００で分割した部分領域毎（例えば、グリッド毎）に代表値を取得することによって、ヒストグラムを生成する。具体的には、領域毎に画素群の距離値の中央値を代表値とすればよい。ただし、代表値は中央値に限るものではなく、最頻値を用いてもよいし、計測できなかった画素を計算から除いた平均値を用いてもよい。また、図１３はガウシアンフィッティングによる代表値の求め方の例を示す図である。Ｇ１５はある領域における画素群の距離値のヒストグラムである。Ｇ１１９はＧ１５のヒストグラムに対してガウシアンフィッティングを行った結果である。Ｇ１２０はフィッティングしたガウシアンの中心の位置であり、Ｇ１２０が表す距離値を代表値として用いてもよい。このように、代表値を用いることで領域内全ての画素が計測できなかった場合を除けば、領域ごとに計測に基づく距離の代表値を求めることができる。また、各領域における画素の数を数えておく。画素の数は、計測できなかった画素も含めて数える。

Ｓ１２０２では、出力部１０６が、領域毎に代表値とその画素数に基づいてヒストグラムを出力する。Ｓ１００４で説明したヒストグラムの生成では、１画素ごとに距離値に応じたビンに度数を１ずつ追加するようにしてヒストグラムを生成していたが、ここでは、領域ごとに代表値に応じたビンに度数を画素数だけ追加するようにしてヒストグラムを生成する。

以上の処理により、計測できなかった画素を含む距離画像であっても、計測できなかった領域の影響を抑制した距離値の分布によるヒストグラムを生成することができる。そのため、ユーザにとって見やすいヒストグラムを提示できる。

＜座標変換を行う場合＞
本処理では、撮像装置１０の座標系における距離値の分布を表すヒストグラムを、ユーザが指定した任意の座標系における距離値の分布を表すヒストグラムに変換して表示する。その処理の流れについて説明する。ただし、処理の流れのうちＳ１１０４、Ｓ１１０５、Ｓ１１０６は既に説明した表示色を変更する場合と同様であるため、説明を省略する。

Ｓ１１０１では、情報取得部１０１が、Ｕ１１４で設定された変換行列およびＵ１１８で設定された撮像装置１０の内部パラメータの情報を取得する。ユーザがＵ１１１の座標変換を行うためのボタンをクリックまたはタッチすると、座標変換を設定するＧＵＩがポップアップする。図１４は座標変換を設定するＧＵＩの例を示す図である。Ｕ１１４は座標変換を設定するＧＵＩである。Ｕ１１５は撮像装置１０の座標系から新しい座標系に変換するための変換行列である。Ｕ１１６は変換行列をファイルから読み込むボタンである。Ｕ１１７は変換行列をファイルへ保存するボタンである。Ｕ１１８は距離画像を３次元点群に変換するためのパラメータを設定するためのボタンである。Ｕ１１９は平面フィッティングを行って変換行列を求めるボタンである。Ｕ１２０は座標系を直接操作して変換行列を求めるボタンである。Ｕ１２１は変換行列のうち座標系の回転行列成分を表す。Ｕ１２２は変換行列のうち座標系の並進移動成分を表す。各ボタンや操作方法について説明する。変換行列Ｕ１１５は、ユーザが直接数値を入力することで編集することができる。ただし、回転行列Ｕ１２１は行列式＝１の直交行列を満たしている、また、変換行列の４行目の成分は（０ ０ ０ １）である等の変換行列の制約を満たさない場合は、変換行列が適切ではないことを知らせる表示が行われる。例えば、変換行列Ｕ１１５の中で、不適切な値の文字色が黒から赤に変化する。変換行列の例として、例えば、並進移動成分Ｕ１２２の第３成分に数値を入力すれば、距離画像の距離値がその数値の分だけオフセットした座標変換を行うことができる。読み込みボタンＵ１１６を押すと、ファイルダイアログがポップアップし、変換行列を表すｃｓｖファイルを読み込むことで変換行列Ｕ１１５を更新することができる。保存ボタンＵ１１７を押すと、現在の変換行列Ｕ１１５がｃｓｖファイル形式で保存される。パラメータ設定ボタンＵ１１８を押すと、撮像装置１０の焦点距離ｆｘ、ｆｙや中心位置ｃｘ、ｃｙなどの内部パラメータを設定することができる。設定方法としては、内部パラメータをｃｓｖファイル形式で書かれたファイルを読み込む方法でもよいし、ｆｘ、ｆｙ、ｃｘ、ｃｙの値を直接ユーザが書き込む方法でもよい。ここで設定した内部パラメータに基づいて、距離画像は撮像装置１０の座標系における３次元点群に変換することができる。距離画像の画素位置（ｐｘ，ｐｙ）における距離値がｐｄであるとき、撮像装置１０の座標系における３次元位置（Ｘ，Ｙ，Ｚ）は次式で求めることができる。

Ｘ ＝ ｐｄ（ｐｘ－ｃｘ）／ｆｘ
Ｙ ＝ ｐｄ（ｐｙ－ｃｙ）／ｆｙ （式１）
Ｚ ＝ ｐｄ
平面フィッティングボタンＵ１１９を押すと、距離画像を撮像装置１０の座標系における３次元位置を表す点群に変換した３次元点群を表示したＧＵＩがさらにポップアップする。この３次元点群表示ＧＵＩ上で複数の点群を選択すると、その点群に対して平面でフィッティングした結果を得ることが出来る。フィッティングした平面の方程式は次式で表される。

ＡＸ＋ＢＹ＋ＣＺ＋Ｄ＝０ （式２）
ただし、ベクトル（Ａ，Ｂ，Ｃ）は大きさ１で、平面の法線方向を表す。変換行列のうち回転行列を示すＵ１２１の部分が新しい座標系におけるＺ方向が（Ａ，Ｂ，Ｃ）と一致するような回転行列として設定される。座標系操作ボタンＵ１２０を押すと、３次元点群表示ＧＵＩがさらにポップアップする。ユーザはその３次元点群表示ＧＵＩ上で、新しい座標系を示す原点とＸＹＺの軸からなる座標系オブジェクトをマウス操作やタッチ操作によって、自由に３次元表示ＧＵＩ上で回転および並進移動させることができる。座標系オブジェクトを移動させると、撮像装置１０の座標系からその座標系に変換するための変換行列がＵ１１５に表示される。このような座標変換を設定するＧＵＩＵ１１４を用いて、ユーザは変換行列を設定する。

Ｓ１１０２では、補正部１０２が、座標変換を行うための情報から補正が必要か判断する。座標変換を行う場合、Ｓ１１０３に進む。座標変換を行わない場合は、Ｓ１１０５に進む。Ｓ１１０３では、決定部１０４が座標の変換方法を決定する。Ｓ１１０４では、変換部１０５がまず式１に基づいて距離画像を撮像装置１０の座標系における３次元点群に変換する。次に、変換行列Ｐを用いて、３次元点群（Ｘ，Ｙ，Ｚ）を新しい座標系（Ｘｎ，Ｙｎ，Ｚｎ）に変換する。変換式は次式で表される。

そして、新しい座標系におけるＺｎの分布をヒストグラムとして生成する。その方法はＳ１００４における距離値がＺｎになった以外は同様であるため、説明を省略する。以上の処理により、ユーザが指定した任意の座標系における距離値の分布によるヒストグラムを生成することができる。

上記述べた構成で、距離センサの情報に基づいてヒストグラムの表示範囲を決定し、さらにヒストグラムを描画する際の色を信頼度に基づいて色付けすることによってユーザの利便性を向上させたヒストグラムを生成、描画することができる。さらにＧＵＩを用いてユーザの入力に応じて様々なヒストグラムの生成、描画方法を変更することができる。

（変形例）
第１の実施形態における変換部１０５および出力部１０６は、ヒストグラムを表示するための画像変換および画像表示を行う例として説明したが、これに限るものではない。例えば、ヒストグラムの分布の形状を用いてマッチングや物体検出を行う場合には、変換部１０５はヒストグラムを多次元ベクトルに変換し、出力部１０６は多次元ベクトルを出力するようにしてもよい。このようにすることで、ヒストグラムを用いた物体の類似度計算や物体検出に用いることができる。

出力部１０６において、学習済みモデルを用いることによって、補正されたヒストグラムを出力してもよい。ここでいう学習済みモデルとは、入力画像から入力画像に対応する結果を出力するニューラルネットワークに基づくネットワーク構造とそのパラメータとする。具体的にはＣＮＮ（畳込みニューラルネットワーク）等である。例えば、距離画像または補正画像を入力することによって、適切な距離値の範囲を推定する学習済みモデルを用いる。このとき、学習済みモデルは、距離画像に対して、どのような外れ値が多いのかを学習し、有効な距離値が多い範囲を距離値の範囲として推定する。また、計測装置によって計測可能な距離値が異なることから、計測装置が計測できない領域とその正解値を予め学習済みモデルに学習させてもよい。その場合、計測が困難な領域の距離値を推定するように学習させる。ここで学習（パラメータの更新）とは、学習モデルの入力側の層に画像を設定し、出力画像の層に画像に対する正解値を設定する。ニューラルネットワークを経由して算出される出力が設定した正解値に近づくようにニューラルネットワークのパラメータを調整する処理を指す。なお、学習済みモデルは、情報処理装置１が保持してもよいし、外部装置で保持してもよい。学習済みモデルを活用することによって、ユーザにとって使いやすいヒストグラムを効率的に出力できるようになる。

第１の実施形態における＜代表値を利用する場合＞の例では、Ｓ１２００において領域分割を行う方法として、格子状の線で領域分割する場合や、ＳＬＩＣを用いる場合について述べたが、これに限るものではない。例えば、輝度画像または距離画像を入力として領域分割結果を制御するパラメータ群を出力するようなネットワークモデルを学習によって獲得してもよい。代表値を利用したヒストグラムの結果は、ノイズを含まない距離画像から生成したヒストグラムと似ているほど良い結果であると言える。そこで、なるべく良い結果を出力できる領域分割パラメータを出力するネットワークモデルを学習する。例えば、計算処理負荷が少ない時、またはユーザが指定した学習期間などの学習フェーズにおいて、領域分割ネットワークモデル（学習済みモデル）の学習を行う。学習の方法は特に規定しないが、例えば強化学習を用いればよい。強化学習ではエージェントが行動によって状態を変化させて報酬を得るというモデルにおいて、報酬がなるべく高くなるように行動を決定するための学習を行う方法である。そこで、行動として領域分割パラメータを変化させて、代表値を求めるための領域分割結果の状態を変化させる。報酬としては、代表値を利用したヒストグラムが、ノイズを含まない距離画像から生成したヒストグラムと似ているほど報酬が高くなるように設定する。ただし、ノイズを含まない距離画像を得ることは困難なため、第１の実施形態で述べた補正処理によって補正画像を生成して、ノイズを含まない距離画像として用いてもよい。本システムを利用する際に、距離画像と輝度画像が入力されるたびに、そのデータを保存しておき、学習に利用する。本システムを利用中に補正画像を生成した場合はそれを保存して利用すればよい。補正画像を生成する処理を行わなかった場合には、学習フェーズにおいて補正画像を生成すればよい。このようにして強化学習を行うことによって、ユーザが入力する距離画像および輝度画像の特性に対して最適な領域分割を行うパラメータを得ることができる。また、教師あり学習で、上記の領域分割を学習させてもよい。教師データとして、距離画像とカラー画像を用意し、ノイズを含まない距離画像を正解とする。または、距離画像に対して所定の範囲の距離値を持つ画素をグルーピングしたデータを正解としてもよい。この教師データによって、近い距離値をもつ画素同士の画像特徴をニューラルネットワークに学習させることによって、学習済みモデルを生成する。情報処理装置における保持部、または外部装置にこの学習済みモデルを保持する。領域分割を行う際に、取得された距離画像とカラー画像とを学習済みモデルに入力することによって、距離画像が部分領域に分割される。この部分領域毎に、距離値の代表値（平均値や中央値）を対応付けておくことで、ヒストグラムを生成する。学習済みモデルで領域分割を行うことによって、ヒストグラムの概況が正確に表現でき、ユーザにとって見やすいヒストグラムを表示できる。

上記の表示方法を組み合わせてもよい。例えば、＜代表値を利用する場合＞と＜処理前後の可視化を行う場合＞とを組み合わせてもよい。具体的には、図１１のフローチャートに従って、距離画像の補完を行った後、図８のフローチャートを適用して、補完前後の距離データの差を表示させる。上記の表示方法を組み合わせることによって、ユーザにとってより見やすいヒストグラムを提示できる。

（第２の実施形態）
第１の実施形態では、距離画像を入力として、距離センサの情報に基づいてヒストグラムの表示範囲を決定し、ヒストグラムを描画する際の色付けを工夫する例について述べた。およびＧＵＩを用いてユーザの入力に応じて利便性の高いヒストグラムを生成、描画する例について述べた。これに対して、第２の実施形態では、距離画像と画素対応の取れた輝度画像またはカラー画像を入力として、輝度画像またはカラー画像上で領域を設定して、その領域に対応する距離画像のヒストグラム上の領域を強調表示する例について述べる。

図２１を用いて具体例を説明する。例えば、工場において、ベルトコンベア上を流れる部品Ｗ２１０を距離画像とカラー画像で検査する場合を考える。部品Ｗ２１０～Ｗ２１３は、中央部分に凹みを有する物体であるとする。カラー画像Ｉ２１０、Ｉ２１１、Ｉ２１２はベルトコンベア等を流れる部品を時系列に撮像した画像であって、それぞれ距離画像から対応するヒストグラムＧ２１１、Ｇ２１２、Ｇ２１３が生成される。例えば、画像Ｉ２１０において、部品Ｗ２１０の中央の凹み部分をユーザがＧＵＩで選択する。すると、画像Ｉ２１０に対応するヒストグラムＧ２１１から部品Ｗ２１０の凹み部分の計測結果が含まれるビンが強調表示される。同様に、画像Ｉ２１１の部品Ｗ２１１の網掛け領域が選択された場合は、ヒストグラムＧ２１２のビンＧ２１０１を強調する。本実施形態では、ユーザが実際に観測するシーンと同じ輝度画像またはカラー画像上で領域を設定できるため、距離画像上で指定する場合よりも直感的に領域を指定しやすい。また、カラー画像の該当領域の実測値がヒストグラムで確認できるため、ユーザにとって見やすいヒストグラムになる。

図１５は第２の実施形態における情報処理装置の機能構成例を示す図である。図１５の情報処理装置２は、画像取得部２００、情報取得部２０１、補正部２０２、生成部２０３、決定部２０４、変換部２０５、出力部２０６、領域設定部（第１設定部）２０７から構成される。また、図１５の情報処理装置２は撮像装置２０、表示装置２１と接続されている。本実施形態における情報処理装置２は第１の実施形態に示した図２と略同様である。同様の機能については説明を省略し、違いのある撮像装置２０、画像取得部２００、情報取得部２０１、領域設定部（第１設定部）２０７について説明を行う。

撮像装置２０は距離画像と輝度画像またはカラー画像を撮像し、画像取得部２００に出力する。以下では、カラー画像であるとして説明を行う。カラー画像は距離画像と位置合わせが行われており、シーン内の任意の点は同じ画素位置で観測される。撮像装置２０には、例えばステレオカメラ、ＲＧＢ－Ｄカメラ等を用いる。

画像取得部２００は撮像装置２０から距離画像およびカラー画像を取得し、情報取得部２０１に出力する。情報取得部２０１は第１の実施形態における情報取得部１０１の機能に加え、カラー画像を取得し、カラー画像に対するユーザ入力の情報も取得する。それらの情報を補正処理部２０２、ヒストグラム生成部２０３、決定部２０４、領域設定部２０７に出力する。決定部２０４は、第１の実施形態における決定部１０４の機能に加え、カラー画像に対しても画素領域を指定する情報を決定する。そして、ヒストグラム、距離画像、カラー画像の決定情報とともに変換部２０５に出力する。変換部２０５は、決定部２０４からヒストグラム、距離画像、カラー画像とそれらの決定情報を受け取って、表示装置２１に表示するための画像データに変換する。出力部２０６は、変換部２０５からヒストグラム画像データ、距離画像データ、カラー画像データを受け取って、表示装置２１に出力する。また、ＧＵＩも必要に応じて出力する。表示装置２１は、具体的にはディスプレイであり、出力部２０６から出力されたヒストグラム画像データ、距離画像データ、カラー画像データ、ＧＵＩを所定の領域に描画して表示する。領域設定部２０７（第１設定部）は、ユーザによって入力された情報からカラー画像上で領域を設定する。ユーザはＧＵＩをもちいて、距離値を確認したい領域をカラー画像上で指定する。

次に、本実施形態における処理手順について説明する。まず、距離画像のヒストグラムを生成して表示するまでの処理については、第１の実施形態における図４のフローチャートと同様であるため、説明を省略する。本実施形態では、図４のフローチャート実行後に、ユーザ入力によってカラー画像上で領域を設定し、その領域に対応するヒストグラム領域を強調表示する。図１６はユーザ入力から領域設定を行って強調表示したヒストグラムを表示する処理の流れを示すフローチャートである。その処理の流れについて説明する。

Ｓ２１００では、情報処理装置が初期化を行う。Ｓ２１０１では、情報取得部２０１が領域を設定するための入力を取得し、領域設定部２０７に出力する。ユーザはカラー画像に対して領域を設定するための入力を行う。領域を設定するための入力の例としては以下のような方法がある。カラー画像または距離画像上である画素を指定する。カラー画像または距離画像上で複数の画素領域を指定する。カラー画像において、色の範囲を指定する（例えば１８０＜Ｒ＜２５０かつＧ＜５０、Ｂ＜５０として赤い領域を指定する）。物体検出などの画像処理アルゴリズムを適用して、物体領域を指定する（例えば、円検出により円領域を指定する）。テンプレートマッチングによって所定の物体領域を指定する。ただし、これらの方法に限るものではない。

Ｓ２１０２では、領域設定部２０７が、領域を設定するための情報を受け取って、まず、指定された領域をカラー画像と同じ解像度のマスク画像として生成する。ある画素や複数の画素領域が指定されていれば、その領域をマスクとして生成する。カラー画像で色の範囲が指定されていれば、その範囲を満たす画素領域をマスクとして生成する。物体検出などの画像処理アルゴリズムを適用した場合は、得られた画素領域をマスクとして生成する。このマスク画像は、例えば、指定された領域の画素では１の値を格納しており、それ以外の画素領域では０の値を格納した二値の画像である。

Ｓ２１０３では、決定部２０４が、マスク画像を用いて表示する画像とヒストグラムにおける対応領域を特定し、その領域を強調するための表示方法を決定する。表示する画像とは、距離画像であってもカラー画像であってもよい。図示しないＧＵＩによって表示する画像をユーザが切り替えられるものとする。まず、表示する画像については、マスク画像によって画素同士の対応が取れているため、表示する画像上において、マスクされている画素領域と同じ画素領域を抽出して、その領域を強調するように色データを編集する。強調する方法としては、領域を赤や青などの特定の色に変換する方法や、表示時に点滅するように一定時間ごとに色が切り替わるようにする方法、マスクされていない画素領域の色を暗くする方法等がある。ただし、これらの方法に限るものではない。

次に、ヒストグラムについては、ヒストグラムに対応する距離画像上で、マスクされている画素領域を特定し、その領域における距離値群を抽出する。そして、それらの距離値群に対応するヒストグラムの領域を強調するように色データを編集する。図１７はヒストグラムを強調する方法の例を示す図である。図１７において、Ｇ１２０は距離画像（または距離画像に対応するカラー画像）を表しており、その距離画像に対応するヒストグラムがＧ１６である。Ｇ１２１はＧ１２０と同様の距離画像（または距離画像に対応するカラー画像）であり、そのうちの一部の領域が、Ｇ１２２としてマスクされている画素領域を表している。Ｇ１７は距離画像Ｇ１２１に対応するヒストグラムであり、Ｇ１２３はＧ１２２の領域に対応する距離値群のヒストグラムの度数領域を表している。Ｇ１２３のように、マスクされている画素領域Ｇ１２２に対応する距離値の度数の色データを編集する。強調する方法としては、対応するヒストグラム領域を赤や青などの特定の色に変換する方法や、表示時に点滅するように一定時間ごとに色が切り替わるようにする方法、マスクされていない画素領域に対応するヒストグラム領域の色を暗くする方法等がある。ただし、これらの方法に限るものではない。例えば、Ｇ１２２の距離値群に対応するヒストグラムの度数の色を全て変更してもよい。このようにして、表示画像とヒストグラムに対して決定情報として色情報を決定して、色付き表示画像のデータおよび色付きヒストグラムデータを生成する。距離画像または距離画像に対応するカラー画像から確認したい領域を選択して、その領域の実測値の概況を把握できるため、ユーザにとって見やすいヒストグラムが生成できる。

Ｓ２１０４では、変換部２０５が、色付き表示画像の画像データと色付きヒストグラムの画像データを生成する。具体的な方法としてはＳ１００６と同様であり、それぞれを画像データに変換する。Ｓ２１０５では、出力部２０６が、表示画像とヒストグラムをＧＵＩ上に表示させるよう出力する。

以上の処理により、カラー画像上で設定した領域に対応する距離画像のヒストグラム領域およびカラー画像上での対応領域を強調表示することができる。

また、輝度画像またはカラー画像で用いることができる物体検出などの既存のアルゴリズムを用いて領域設定を行って、その領域に対応する距離画像のヒストグラムを分析することができる。上記述べた構成で、ユーザはカラー画像上で、所望の条件に基づいて領域を設定し、その領域に対応するヒストグラム領域を強調して可視化することによって、直感的に距離値とシーンとの対応を分析することができる。

（変形例）
第２の実施形態では、輝度画像またはカラー画像上で領域を設定する例について述べたが、これに限るものではない。例えば、距離画像上でＳ２１００と同様にして領域を設定してもよい。

第２の実施形態における決定部２０４および変換部２０５は、ヒストグラムや表示画像の色データを編集して、画像に変換する例について述べたが、これに限るものではない。例えば、ユーザ入力において、ある画素が指定された場合に、距離画像において対応する画素を特定する。そのカラー画像における画素位置（ｐｘ，ｐｙ）とその画素における距離値がｐｄを取得する。式１を用いて撮像装置２０の座標系における３次元位置（Ｘ，Ｙ，Ｚ）を求めることができる。決定部２０４はこの３次元位置を情報として決定してもよい。さらに変換部２０５は３次元位置の情報をＧＵＩの形に変換して出力できるようにする。

図１８は距離画像の画素における３次元位置を示すＧＵＩの例を示す図である。Ｕ１２３は距離画像の画素と３次元位置を示すＧＵＩであり、ウィンドウとしてポップアップするものとする。そして、ユーザはマウスなどで距離画像またはカラー画像上である画素位置（ｐｘ，ｐｙ）を指定すると、Ｕ１２４とＵ１２５にそれぞれその画素位置が表示される。さらに、その画素位置における距離値ｐｄがＵ１２６に表示される。また、式１を用いて計算された撮像装置２０の座標系における３次元位置（Ｘ，Ｙ，Ｚ）の値それぞれがＵ１２７、Ｕ１２８、Ｕ１２９に表示される。このようにして、ユーザが指定した画素位置における３次元位置を確認することができる。

（第３の実施形態）
第２の実施形態では、輝度画像またはカラー画像上で領域を設定すると、その領域に対応したヒストグラムの領域が強調表示される例について述べた。これに対して、第３の実施形態では、ヒストグラム上で領域を選択すると、その領域に対応した画素領域を輝度画像またはカラー画像上で強調表示する例について述べる。図２２を用いて具体例を説明する。カラー画像Ｉ２２００とＩ２２０１には、容器の中にばら積みされたワークが写っている。複数のワークのうちＷ２２０は一番手前に積まれたワークであるとする。カラー画像Ｉ２２００に対応する距離画像から生成されたヒストグラムをＧ２２とする。カラー画像Ｉ２２０１に対応する距離画像から生成されたヒストグラムをＧ２３とする。このとき、ユーザがＧＵＩでヒストグラムＧ２２の最も小さい距離値を含むビンを選択したとする。すると、画像Ｉ２２００に含まれるＷ２２０が色つきで強調表示される。一方で、ヒストグラムＧ２３のうち比較的距離値が大きいビンＧ２２１が選択されると、箱の底に近いワークＷ２２１が強調される。本実施形態によって、ヒストグラムによる距離値の分布表示に対して、ユーザが直感的に距離値の分布と観測シーンとの対応を取ることができるようになる。

図１９は、第３の実施形態における情報処理装置の機能構成例を示す図である。図１９の情報処理装置３の機能構成例は図１５と略同様である。同様の機能については説明を省略し、違いのある情報取得部３０１、ヒストグラム設定部３０７（第２設定部）、出力部３０６について説明を行う。

情報取得部３０１は、第１の実施形態における情報取得部１０１の機能に加え、カラー画像を取得し、生成されたヒストグラムに対するユーザ入力の情報も取得する。それらの情報を補正部３０２、生成部３０３、決定部３０４、ヒストグラム設定部３０７（第２設定部）に出力する。ヒストグラム設定部３０７（第２設定部）は、生成されたヒストグラムにおいて、ユーザによって指定された階級を設定する。出力部３０６は、カラー画像において、ヒストグラム設定部で設定された階級に対応した画素を強調して表示ように出力する。次に、本実施形態における処理手順について説明する。まず、距離画像のヒストグラムを生成して表示するまでの処理については、第１の実施形態における図４のフローチャートと同様であるため、説明を省略する。本実施形態では、図４のフローチャート実行後に、ユーザ入力によってヒストグラム上で領域を設定し、その領域に対応するカラー画像領域を強調表示する。図２０はユーザ入力からヒストグラムの領域設定を行って強調表示したカラー画像を表示する処理の流れを示すフローチャートである。その処理の流れについて説明する。ただし、Ｓ３１０４とＳ３１０５は図１６におけるＳ２１０４とＳ２１０５と同様であるため、説明を省略する。

Ｓ３１００では、情報処理装置が初期化する。Ｓ３１０１では、情報取得部３０１が、計測装置によって計測装置からの対象物体までの距離値を計測した結果から得られる距離画像と距離画像と対応したカラー画像とを取得する。Ｓ３１０２では、生成部３０３が、距離画像に基づいて、距離値の分布を示す前記ヒストグラムを出力する。

Ｓ３１０３では、領域設定部３０７（第２設定部）が、生成されたヒストグラムにおいて、ユーザによって指定された階級を設定する。ユーザはヒストグラムに対して領域を設定するための入力を行う。ヒストグラム上で領域を設定するための入力の例としては以下のような方法がある。ヒストグラム上である距離値を指定する。ヒストグラム上で複数の距離値範囲を領域として指定する。ヒストグラム上で特定の度数条件に合う距離範囲を領域として指定する（例えば度数が１００未満である距離値として距離範囲を指定する）。ヒストグラムの形状（波形）の特徴に基づいて距離範囲を領域として指定する（例えばヒストグラムの傾きの絶対値が閾値以上の距離範囲を指定する）。ただし、これらの方法に限るものではない。Ｓ３１０４では、変換部３０５が、設定されたヒストグラムの階級に対応する距離値を含む画素を距離画像から抽出し、その画素の表示方法を変更するための変換を行う。ヒストグラムの領域を設定するための情報を受け取って、まず、指定された距離値群を抽出する。例えば、距離値が４１０から４４０の範囲と、５１０から５５０までの範囲を距離値群として抽出する。そして、距離画像においてその距離値群の範囲を満たす画素領域をマスクとして生成する。このマスク画像は、例えば、距離画像と同じ解像度であり、距離値群の範囲を満たす画素領域では１の値を格納しており、それ以外の画素領域では０の値を格納した二値の画像である。なお、決定部３０４が、距離値群とマスク画像を用いてヒストグラムと表示する画像において、対応する領域を強調するための表示方法を決定する。ヒストグラムについては、ユーザが指定した領域における距離値群に対応するビンのデータに対して、強調表示を行う。ヒストグラムの領域を強調する例としては、対応するビン領域の色を特定の色に変換する。対応するビンのビンごとに異なる色に変換する方法、表示時に点滅するように一定時間ごとに色が切り替わるようにする。対応するビン以外のビン領域の色を暗くする方法等がある。ただし、これらの方法に限るものではない。次に、表示する画像については、マスク画像によって画素同士の対応が取れているため、表示する画像上において、マスクされている画素領域と同じ画素領域を抽出して、その領域を強調するように色データを編集する。強調する方法としては、ヒストグラムにおける強調方法と同様にすればよい。ヒストグラムにおける強調方法と同じ方法で表示画像を強調することで、両者の対応関係を取りやすい。ただし、これに限るものではなく、ヒストグラムにおける強調方法と、表示する画像における強調方法を異なるものにしてもよい。Ｓ３１０５では、出力部３０６が、カラー画像において、ヒストグラム設定部３０７で設定された階級に対応した画素を強調して表示するよう表示装置３１にヒストグラムを出力する。

以上の処理により、ヒストグラム上で設定した領域に対応するカラー画像上での画素領域を強調表示することができる。

本実施形態の適用例としては、例えば、図２１における物体検出に適用できる。例えば、Ｇ２１３のように、点線で表示される基準値より突出したビンＧ２１０２に対応する距離値をもつ領域を、Ｉ２１１２のように強調表示してもよい。基準値は、それまでに撮像された距離画像から各ビンもしくは特徴的なビン（例えば最頻値であるビン）の度数の平均値を用いる。画像Ｉ２１２では、逆さの部品Ｗ２１３がＷ２１２と同時に撮像されている。そのため、ヒストグラムＧ２１３のビンＧ２１０２は通常よりも大きい度数を示す。基準値を実測値で設定できるため、ユーザにとって使いやすいヒストグラムが生成できる。

また、教師あり学習の学習データ生成に用いることが出来る。図２２においてＷ２２０やＷ２２１のようなワークが箱の中にばら積みされている場合に、ワークを撮像した距離画像Ｉ２２００からワークの位置を認識し、ワークをピッキングするロボット装置を考える。ロボットが箱の中のワークのうち一番上にあるワーク（撮像装置からの距離が最も小さいワーク）をピッキングするように学習させるには、例えば距離画像からピッキング可能なワークに対して正解値（ＧＴ）を付与した学習データを用いる。ユーザはヒストグラムでワークの距離値を確認しながらＧＴを付与できる。そのため、効率的に学習データを生成できる。

上記述べた構成で、ユーザはヒストグラム上で、所望の条件に基づいて距離値の範囲領域を設定し、その領域に対応するカラー画像の画素領域を強調して可視化することによって、直感的に距離値とシーンとの対応関係を分析することができる。

（その他の実施形態）
第１の実施形態では、１枚の距離画像に対して１つのヒストグラムを生成して、その表示を行う例について説明したが、それに限るものではない。例えば、距離画像を複数フレーム取得して、各距離画像に対するヒストグラムをそれぞれ生成し、複数枚のヒストグラムを用いて分析を行ってもよい。そして、複数のヒストグラムにおける各ビンの度数の最大値、最小値、平均値、中央値、偏差、合計値などの統計情報を出力できるようにする。このようにして、例えば、一定時間間隔で距離画像を取得して、そのシーンにおける時間的な変化をヒストグラム上で解析することができる。また、統計情報だけでなく、各ビンにおける度数の変化量を出力できるようにすれば、時系列の変化を分析することができる。

本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、データ通信用のネットワーク又は各種記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。また、そのプログラムをコンピュータが読み取り可能な記録媒体に記録して提供してもよい。

１ 情報処理装置
１０ 撮像装置
１１ 表示装置
１００ 画像取得部
１０１ 情報取得部
１０２ 補正部
１０３ 生成部
１０４ 決定部
１０５ 変換部
１０６ 出力部
１０７ 分割部

Claims (15)

1. 計測装置から対象物体までの距離値を画素位置ごとに格納する距離画像を取得する第１取得手段と、
   前記距離画像を入力とし、前記距離画像の前記距離値の画素数である度数を示すヒストグラムの表示範囲を指定する入力情報を出力する学習済みモデルによって、前記入力情報を取得する第２取得手段と、
   前記入力情報によって指定される前記表示範囲において前記ヒストグラムを出力し、前記計測装置によって正確に計測できていない前記距離値の前記度数を低減可能とする出力手段と、を有することを特徴とする情報処理装置。
2. 前記入力情報は、前記計測装置が正しい距離値を計測できない距離値として距離画像を構成する画素に０の値、無限大または負の値を格納することを示すことを特徴とする請求項１に記載の情報処理装置。
3. 前記距離画像を構成する画素のうち、前記計測装置による計測結果が所定の範囲外の距離値になる画素を補正する補正手段をさらに有し、
   前記出力手段は、前記補正手段によって補正された距離画像に基づいて、前記所定の範囲外の距離値を含む階級の度数を低減させた前記ヒストグラムを出力することを特徴とする請求項１または２に記載の情報処理装置。
4. 前記補正手段は、前記計測装置による計測結果が所定の範囲外の距離値になる画素について、該画素の周辺の画素に含まれる距離値を用いて補正し、
   前記出力手段は、前記補正手段によって補正された距離画像に基づいて、前記所定の範囲の距離値を含む階級の度数を補完した前記ヒストグラムを出力することを特徴とする請求項３に記載の情報処理装置。
5. 前記出力手段は、前記補正手段によって補正された画像に基づいて得られた距離値と、前記距離画像に含まれていた距離値とを異なる色で表示した前記ヒストグラムを出力することを特徴とする請求項３または４に記載の情報処理装置。
6. 領域毎に所定の値を対応付けて前記距離画像を分割する分割手段を更に有し、
   前記出力手段は、前記分割手段によって分割された前記領域に対応付けられた値からヒストグラムを出力することを特徴とする請求項１乃至５のいずれか１項に記載の情報処理装置。
7. 前記分割手段は、前記距離画像を、所定の大きさのグリッドに分割し、
   前記出力手段は、該グリッド毎に対応付けられた距離値からヒストグラムを出力することを特徴とする請求項６に記載の情報処理装置。
8. 前記分割手段は、前記距離画像に対応したカラー画像の画像特徴に基づいて前記距離画像を部分領域に分割し、
   前記出力手段は、該部分領域毎に対応付けられた距離値から前記ヒストグラムを出力することを特徴とする請求項６または７に記載の情報処理装置。
9. 前記分割手段は、前記カラー画像と前記距離画像とを入力とし、前記距離画像を分割した部分領域を出力する学習済みモデルによって分割された該部分領域を分割し、
   前記出力手段は、該部分領域毎に対応付けられた距離値から前記ヒストグラムを出力することを特徴とする請求項８に記載の情報処理装置。
10. 前記第２取得手段は、前記距離画像における前記距離値の確からしさである信頼度をさらに取得し、
    前記出力手段は、前記信頼度に基づいて所定の値より前記信頼度が大きい領域の値を強調した前記ヒストグラムを出力することを特徴とする請求項１乃至９のいずれか１項に記載の情報処理装置。
11. ユーザによって指定された色に基づいて前記ヒストグラムの表示方法を決定する決定手段をさらに有し、
    前記出力手段は、前記決定手段によって決定された色を用いて前記ヒストグラムを出力することを特徴とする請求項１乃至１０のいずれか１項に記載の情報処理装置。
12. 前記距離画像と対応したカラー画像において、ユーザによって指定された領域を設定する第１設定手段を更に有し、
    前記出力手段は、前記第１設定手段で設定された前記領域に含まれる距離値の階級を強調した前記ヒストグラムを出力することを特徴とする請求項１乃至１１のいずれか１項に記載の情報処理装置。
13. 前記入力情報によって指定された前記表示範囲に対応した画素位置を強調した前記カラー画像を表示する表示手段を有することを特徴とする請求項１２に記載の情報処理装置。
14. コンピュータを、請求項１乃至１３のいずれか１項に記載の情報処理装置が有する各手段として機能させるためのプログラム。
15. 計測装置から対象物体までの距離値を画素位置ごとに格納する距離画像を取得する第１取得工程と、
    前記距離画像を入力とし、前記距離画像の前記距離値の画素数である度数を示すヒストグラムの表示範囲を指定する入力情報を出力する学習モデルによって、前記入力情報を取得する第２取得工程と、
    前記入力情報が指定する前記表示範囲において前記ヒストグラムを出力し、前記計測装置によって正確に計測できていない前記距離値の前記度数を低減可能とする出力工程と、を有することを特徴とする情報処理方法。

Images