JP6121063B1 - カメラ較正方法、デバイス及びシステム - Google Patents

Abstract

１または複数のイメージングデバイスを較正するための複数のシステム、複数の方法、および複数のデバイスが提供される。一態様において、方法は、複数の特徴と１または複数の基準マーカとを含む較正対象の複数の画像を１または複数のイメージングデバイスのそれぞれから受信するステップと、複数の画像の各画像における１または複数の基準マーカと、較正対象上の１または複数の基準マーカとの間の空間的関係を決定するステップと、空間的関係に基づき、複数の画像の各画像における複数の特徴の複数の画像座標と、較正対象上の対応する複数の特徴に関する複数のグローバル座標との間の対応を定式化するステップと、対応に基づき、１または複数のイメージングデバイスに関する複数の較正パラメータを決定するステップとを備える。

Description

無人航空機（ＵＡＶ）などの無人輸送体は、多種多様な軍事および民間での用途のために監視、偵察、および探索に関する職務を実行するのに用いられ得る。いくつかの場合において、ＵＡＶは、ある環境において、物体の画像データを生成するためのカメラを運び得る。特定の用途に基づき、カメラの１または複数のパラメータを決定するために、カメラ較正手順が実行され得る。

カメラ較正のための既存のアプローチは、いくつかの場合において最適ではないかもしれない。例えば、いくつかのカメラ較正方法は、複数のカメラを含む画像化システムを較正するのに最適ではないかもしれない。

本開示は、較正が改善された複数のカメラ、および他の複数のタイプのイメージングデバイスのシステム、方法、およびデバイスを提供する。いくつかの実施形態において、本明細書で説明されている複数の較正技術は、複数の特徴と、１または複数の識別可能な基準マーカとを備える、較正対象の１または複数のイメージングデバイスにより得られた複数の画像を利用する。複数の基準マーカは、複数の画像における複数の特徴の複数の画像座標と、較正対象上の対応する複数の特徴の複数のグローバル座標との間の対応付けを容易にするために用いられ得る。決定された対応に基づき、複数のイメージングデバイスに関する１または複数の較正パラメータ（例えば、複数の外部および／または内部パラメータ）が計算され得る。本開示のいくつかの態様は、較正対象の全体の一部のみ（例えば、較正対象上の複数の特徴全てのうちの一部のみ）を描写する複数の画像を用いた複数の較正パラメータの決定を可能とする。有利に、このアプローチは、特に複数のイメージングデバイスの較正に関して、較正処理の改善された正確性および柔軟性を提供する。

したがって、一態様において、１または複数のイメージングデバイスを較正するための方法が提供される。方法は、
繰り返しパターンで配置された複数の特徴と１または複数の基準マーカとを含む較正対象の複数の画像を１または複数のイメージングデバイスのそれぞれから受信する段階と、
複数の画像の各画像における１または複数の基準マーカと、較正対象上の１または複数の基準マーカとの間の空間的関係を、１または複数のプロセッサの補助を受けて決定する段階と、
空間的関係に基づき、および１または複数のプロセッサの補助を受け、複数の画像の各画像における複数の特徴の複数の画像座標と、較正対象上の対応する複数の特徴に関する複数のグローバル座標との間の対応を定式化する段階と、
対応に基づき、および１または複数のプロセッサの補助を受け、１または複数のイメージングデバイスに関する複数の較正パラメータを決定する段階と
を備え、
１または複数の基準マーカはそれぞれ、複数の画像の各画像において一意に識別可能であり、
複数の画像は、複数の特徴全てのうちの一部しかキャプチャしていない少なくとも１つの画像を含む。

いくつかの実施形態において、１または複数のイメージングデバイスは無人航空機により搭載される。

いくつかの実施形態において、複数の画像の各画像は、１または複数の基準マーカと、較正対象上の複数の特徴の少なくともサブセットとをキャプチャしている。１または複数のイメージングデバイスのそれぞれからの複数の画像は、較正対象に対して異なる複数の位置および向きで撮像され得る。

いくつかの実施形態において、較正対象は、複数の正方形を含むチェッカー盤であり、複数の特徴は複数の正方形の複数の角点を含む。１または複数の基準マーカはそれぞれ、複数の正方形の１つの中に位置付けられ得る。複数の特徴は、チェッカー盤の４つの外側の角を含み得、少なくとも１つの画像は、４つの外側の角の少なくとも１つを除外し得る。

いくつかの実施形態において、１または複数の基準マーカは少なくとも３つの基準マーカを含む。１または複数の基準マーカは、複数の円形のドット、三角形、または四辺形を含み得る。１または複数の基準マーカは、繰り返しパターンに重ねられ得る。１または複数の基準マーカは、較正対象上の不規則な多角形の複数の頂点を形成し得る。１または複数の基準マーカは、二等辺または不等辺三角形の複数の頂点を形成する３つの基準マーカを含み得る。

いくつかの実施形態において、１または複数の基準マーカは、複数の画像における不規則な多角形の複数の頂点を形成し、空間的関係を決定する段階は、複数の画像における不規則な多角形の複数の頂点と、較正対象上の不規則な多角形の複数の頂点との間の対応を識別する段階を有する。複数の特徴は、平面上で繰り返しパターンに配置され得、１または複数の基準マーカは、平面内で非回転対称である形状を形成し得る。

いくつかの実施形態において、１または複数のイメージングデバイスは、実質的に同時に複数の画像をキャプチャする第１カメラおよび第２カメラを含む。定式化する段階は、第１カメラにより得られた画像および第２カメラにより得られた対応する画像の両方に存在する複数の特徴を識別する段階を有し得る。複数の較正パラメータは、１または複数のイメージングデバイスのそれぞれに関する焦点距離、主点の位置、画素サイズ、または光学的歪みの少なくとも１つを含み得る。複数の較正パラメータは、較正対象に対する１または複数のイメージングデバイスのそれぞれの位置および向きを含み得る。

他の態様において、１または複数のイメージングデバイスを較正するためのシステムが提供される。システムは、
繰り返しパターンで配置された複数の特徴と１または複数の基準マーカとを含む較正対象の複数の画像をキャプチャするようそれぞれが構成された１または複数のイメージングデバイスと、
１または複数のプロセッサと
を備え、
１または複数の基準マーカはそれぞれ、複数の画像の各画像において一意に識別可能であり、
複数の画像は、複数の特徴全てのうちの一部しかキャプチャしていない少なくとも１つの画像を含み、
１または複数のプロセッサは集合的に、または個々に、
１または複数のイメージングデバイスのそれぞれから複数の画像を受信し、
複数の画像の各画像における１または複数の基準マーカと、較正対象上の１または複数の基準マーカとの間の空間的関係を決定し、
１または複数の基準マーカの、予め定められた複数のグローバル座標に基づき、複数の画像の各画像における複数の特徴の複数の画像座標と、較正対象上の対応する複数の特徴に関する複数のグローバル座標との間の対応を定式化し、
対応に基づき、１または複数のイメージングデバイスに関する複数の較正パラメータを決定するよう構成されている。

いくつかの実施形態において、１または複数のイメージングデバイスは無人航空機により搭載される。

いくつかの実施形態において、複数の画像の各画像は、１または複数の基準マーカと、較正対象上の複数の特徴の少なくともサブセットとをキャプチャしている。１または複数のイメージングデバイスのそれぞれからの複数の画像は、較正対象に対して異なる複数の位置および向きで撮像され得る。

いくつかの実施形態において、較正対象は、複数の正方形を含むチェッカー盤であり、複数の特徴は複数の正方形の複数の角点を含む。１または複数の基準マーカはそれぞれ、複数の正方形の１つの中に位置付けられ得る。複数の特徴は、チェッカー盤の４つの外側の角を含み得、少なくとも１つの画像は、４つの外側の角の少なくとも１つを除外し得る。

いくつかの実施形態において、１または複数の基準マーカは少なくとも３つの基準マーカを含む。１または複数の基準マーカは、複数の円形のドット、三角形、または四辺形を含み得る。１または複数の基準マーカは、繰り返しパターンに重ねられ得る。１または複数の基準マーカは、較正対象上の不規則な多角形の複数の頂点を形成し得る。１または複数の基準マーカは、二等辺または不等辺三角形の複数の頂点を形成する３つの基準マーカを含み得る。

いくつかの実施形態において、１または複数の基準マーカは、複数の画像における不規則な多角形の複数の頂点を形成し、空間的関係を決定する段階は、複数の画像における不規則な多角形の複数の頂点と、較正対象上の不規則な多角形の複数の頂点との間の対応を識別することを有する。複数の特徴は、平面上で繰り返しパターンに配置され得、１または複数の基準マーカは、平面内で非回転対称である形状を形成し得る。

いくつかの実施形態において、１または複数のイメージングデバイスは、実質的に同時に複数の画像をキャプチャする第１カメラおよび第２カメラを含む。定式化する段階は、第１カメラにより得られた画像および第２カメラにより得られた対応する画像の両方に存在する複数の特徴を識別する段階を有し得る。複数の較正パラメータは、１または複数のイメージングデバイスのそれぞれに関する焦点距離、主点の位置、画素サイズ、または光学的歪みの少なくとも１つを含み得る。複数の較正パラメータは、較正対象に対する１または複数のイメージングデバイスのそれぞれの位置および向きを含み得る。

他の態様において、１または複数のイメージングデバイスを用いて複数の深度マップを生成するための方法が提供される。方法は、
１または複数のイメージングデバイスのそれぞれから１または複数の画像を得る段階と、
１または複数のプロセッサの補助を受け、３次元深度マップを生成するよう１または複数のイメージングデバイスに関する複数の較正パラメータに基づき１または複数のイメージングデバイスのそれぞれからの１または複数の画像を処理する段階と
を備え、
複数の較正パラメータは、１または複数のイメージングデバイスのそれぞれからの較正対象の複数の較正画像を用いて決定され、
較正対象は、繰り返しパターンで配置された複数の特徴と１または複数の基準マーカとを含み、
１または複数の基準マーカはそれぞれ、複数の較正画像の各較正画像内で一意に識別可能であり、
複数の較正画像は、複数の特徴全てのうちの一部しかキャプチャしていない少なくとも１つの較正画像を含む。

いくつかの実施形態において、１または複数のイメージングデバイスは無人航空機により搭載される。深度マップは、無人航空機からの、１または複数の物体の複数の距離を示す情報を含み得る。

いくつかの実施形態において、複数の較正画像の各較正画像は、１または複数の基準マーカと、較正対象上の複数の特徴の少なくともサブセットとをキャプチャしている。複数のイメージングデバイスのそれぞれからの複数の較正画像は、較正対象に対して異なる複数の位置および向きで撮像され得る。

いくつかの実施形態において、較正対象は、複数の正方形を含むチェッカー盤であり、複数の特徴は複数の正方形の複数の角点を含む。１または複数の基準マーカはそれぞれ、複数の正方形の１つの中に位置付けられ得る。複数の特徴は、チェッカー盤の４つの外側の角を含み得、少なくとも１つの較正画像は、４つの外側の角の少なくとも１つを除外し得る。

いくつかの実施形態において、１または複数の基準マーカは少なくとも３つの基準マーカを含む。１または複数の基準マーカは、複数の円形のドット、三角形、または四辺形を含み得る。１または複数の基準マーカは、繰り返しパターンに重ねられ得る。１または複数の基準マーカは、較正対象上の不規則な多角形の複数の頂点を形成し得る。１または複数の基準マーカは、二等辺または不等辺三角形の複数の頂点を形成する３つの基準マーカを含み得る。

いくつかの実施形態において、１または複数の基準マーカは、複数の画像における不規則な多角形の複数の頂点を形成し、複数の較正パラメータは、少なくとも、複数の較正画像における不規則な多角形の複数の頂点と、較正対象上の不規則な多角形の複数の頂点との間の対応を識別することにより決定される。複数の特徴は、平面上で繰り返しパターンに配置され得、１または複数の基準マーカは、平面内で非回転対称である形状を形成し得る。

いくつかの実施形態において、１または複数の基準マーカは、複数の画像における不規則な多角形の複数の頂点を形成し、空間的関係を決定する段階は、複数の画像における不規則な多角形の複数の頂点と、較正対象上の不規則な多角形の複数の頂点との間の対応を識別する段階を有する。複数の特徴は、平面上で繰り返しパターンに配置され得、１または複数の基準マーカは、平面内で非回転対称である形状を形成し得る。

いくつかの実施形態において、１または複数のイメージングデバイスは、実質的に同時に複数の画像をキャプチャする第１カメラおよび第２カメラを含む。１または複数の画像を処理する段階は、第１カメラにより得られた画像および第２カメラにより得られた対応する画像の両方に存在する複数の特徴を識別する段階を有し得る。１または複数の画像を処理する段階は、第１カメラによりキャプチャされた画像と、第２カメラによりキャプチャされた対応する画像との間の視差を決定する段階を有し得る。複数の較正パラメータは、１または複数のイメージングデバイスのそれぞれに関する焦点距離、主点の位置、画素サイズ、または光学的歪みの少なくとも１つを含み得る。複数の較正パラメータは、較正対象に対する１または複数のイメージングデバイスのそれぞれの位置および向きを含み得る。１または複数の画像を処理する段階は、１または複数の画像の少なくとも１つにおける光学的歪みを低減する段階を有し得る。

他の態様において、１または複数のイメージングデバイスを用いて複数の深度マップを生成するためのシステムが提供される。システムは、
複数の画像を得るようそれぞれが構成された１または複数のイメージングデバイスと、
１または複数のプロセッサと
を備え得、
１または複数のプロセッサは集合的に、または個々に、
１または複数のイメージングデバイスのそれぞれから１または複数の画像を得、
３次元深度マップを生成するよう１または複数のイメージングデバイスに関する複数の較正パラメータに基づき１または複数のイメージングデバイスのそれぞれからの１または複数の画像を処理するよう構成され、
複数の較正パラメータは、１または複数のイメージングデバイスのそれぞれからの較正対象の複数の較正画像を用いて決定され、
較正対象は、繰り返しパターンで配置された複数の特徴と１または複数の基準マーカとを含み、
１または複数の基準マーカはそれぞれ、複数の較正画像の各較正画像内で一意に識別可能であり、
複数の較正画像は、複数の特徴全てのうちの一部しかキャプチャしていない少なくとも１つの較正画像を含む。

いくつかの実施形態において、１または複数のイメージングデバイスは無人航空機により搭載される。深度マップは、無人航空機からの、１または複数の物体の複数の距離を示す情報を含み得る。

いくつかの実施形態において、複数の較正画像の各較正画像は、１または複数の基準マーカと、較正対象上の複数の特徴の少なくともサブセットとをキャプチャしている。複数のイメージングデバイスのそれぞれからの複数の較正画像は、較正対象に対して異なる複数の位置および向きで撮像され得る。

いくつかの実施形態において、較正対象は、複数の正方形を含むチェッカー盤であり、複数の特徴は複数の正方形の複数の角点を含む。１または複数の基準マーカはそれぞれ、複数の正方形の１つの中に位置付けられ得る。複数の特徴は、チェッカー盤の４つの外側の角を含み得、少なくとも１つの較正画像は、４つの外側の角の少なくとも１つを除外し得る。

いくつかの実施形態において、１または複数の基準マーカは少なくとも３つの基準マーカを含む。１または複数の基準マーカは、複数の円形のドット、三角形、または四辺形を含み得る。１または複数の基準マーカは、繰り返しパターンに重ねられ得る。１または複数の基準マーカは、較正対象上の不規則な多角形の複数の頂点を形成し得る。１または複数の基準マーカは、二等辺または不等辺三角形の複数の頂点を形成する３つの基準マーカを含み得る。

いくつかの実施形態において、１または複数の基準マーカは、複数の画像における不規則な多角形の複数の頂点を形成し、複数の較正パラメータは、少なくとも、複数の較正画像における不規則な多角形の複数の頂点と、較正対象上の不規則な多角形の複数の頂点との間の対応を識別することにより決定される。複数の特徴は、平面上で繰り返しパターンに配置され得、１または複数の基準マーカは、平面内で非回転対称である形状を形成し得る。

いくつかの実施形態において、１または複数の基準マーカは、複数の画像における不規則な多角形の複数の頂点を形成し、空間的関係を決定する段階は、複数の画像における不規則な多角形の複数の頂点と、較正対象上の不規則な多角形の複数の頂点との間の対応を識別することを有する。複数の特徴は、平面上で繰り返しパターンに配置され得、１または複数の基準マーカは、平面内で非回転対称である形状を形成し得る。

いくつかの実施形態において、１または複数のイメージングデバイスは、実質的に同時に複数の画像をキャプチャする第１カメラおよび第２カメラを含む。１または複数の画像を処理する段階は、第１カメラにより得られた画像および第２カメラにより得られた対応する画像の両方に存在する複数の特徴を識別する段階を有し得る。１または複数の画像を処理する段階は、第１カメラによりキャプチャされた画像と、第２カメラによりキャプチャされた対応する画像との間の視差を決定する段階を有し得る。複数の較正パラメータは、１または複数のイメージングデバイスのそれぞれに関する焦点距離、主点の位置、画素サイズ、または光学的歪みの少なくとも１つを含み得る。複数の較正パラメータは、較正対象に対する１または複数のイメージングデバイスのそれぞれの位置および向きを含み得る。１または複数の画像を処理する段階は、１または複数の画像の少なくとも１つにおける光学的歪みを低減する段階を有し得る。

本願発明の異なる複数の態様が、個々に、集合的に、または互いに組み合わせて認識さ得ることが理解されよう。本明細書に説明されている本願発明の様々な態様は、以下に明記される特定の複数の用途のうち何れかに、または任意の他の複数のタイプの複数の可動物体のために適用され得る。本明細書における航空機についてのいずれの説明も、任意の輸送体など任意の可動物体に当てはまり得、それらのために用いられ得る。追加的に、空中での動き（例えば、飛行）に関する文脈で本明細書に開示されている複数のシステム、デバイス、および方法は、地上または水上での動き、水面下での動き、または宇宙空間での動きなど他の複数のタイプの動きに関する文脈にも適用され得る。さらに、本明細書におけるロータまたはロータ組立体についてのいずれの説明も、回転により推進力を生成するよう構成された任意の推進システム、デバイス、または機構（例えば、プロペラ、車輪、車軸）に当てはまり得、それらのために用いられ得る。

本願発明の他の複数の目的および特徴は、明細書、複数の請求項、および添付の複数の図面を検討することにより明らかとなろう。
参照による組み込み

本明細書で言及される全ての出版物、特許、および特許出願は、それぞれの個々の出版物、特許、または特許出願が具体的に、および個々に参照により組み込まれることが示されているのと同じ程度、参照により本明細書に組み込まれる。

本願発明の複数の新規な特徴は、特に添付の複数の請求項に明記されている。本願発明の複数の特徴および利点のより良い理解は、本願発明の複数の原理が利用される例示的な複数の実施形態を明記する以下の詳細な説明、および添付の複数の図面の参照により得られるであろう。

複数の実施形態に係る、単眼カメラのモデルを示す。

複数の実施形態に係る、グローバル座標系から画像座標系へのマッピングのモデルを示す。

複数の実施形態に係る、グローバル座標系から画像座標系へのマッピングのモデルを示す。

複数の実施形態に係る、イメージングデバイスの較正に用いるのに適した較正対象を示す。

複数の実施形態に係る、チェッカー盤較正対象の複数の画像を示す。

複数の実施形態に係る、相対的配置に基づいて一意に識別可能である複数の基準マーカを示す。 複数の実施形態に係る、相対的配置に基づいて一意に識別可能である複数の基準マーカを示す。

複数の実施形態に係る、複数の基準マーカを有する較正対象を示す。

複数の実施形態に係る、１または複数の基準マーカを有する較正対象を用いて１または複数のイメージングデバイスを較正するための方法を示す。

複数の実施形態に係る、画像における較正対象の複数の特徴および複数の基準マーカの識別を示す。 複数の実施形態に係る、画像における較正対象の複数の特徴および複数の基準マーカの識別を示す。 複数の実施形態に係る、画像における較正対象の複数の特徴および複数の基準マーカの識別を示す。 複数の実施形態に係る、画像における較正対象の複数の特徴および複数の基準マーカの識別を示す。

複数の実施形態に係る、双眼カメラの較正における複数の座標系間の複数の空間的関係のモデルを示す。

複数の実施形態に係る、複数の歪み画像座標および歪み補正画像座標間のマッピングのモデルを示す。

複数の実施形態に係る、双眼カメラシステムのための画像修正手順を示す。 複数の実施形態に係る、双眼カメラシステムのための画像修正手順を示す。

複数の実施形態に係る、画像修正を実行する処理の結果得られる複数の双眼カメラ画像を示す。

複数の実施形態に係る、画像データから複数の深度マップを生成するための方法を示す。

複数の実施形態に係るＵＡＶを示す。

複数の実施形態に係る、支持機構と積載物とを含む可動物体を示す。

複数の実施形態に係る、可動物体を制御するためのシステムを示す。

本開示は、カメラなどの複数のイメージングデバイスの較正を実行するために改善されたシステム、方法、およびデバイスを提供する。本明細書に説明されている複数のアプローチは、１または複数のイメージングデバイスを用いて較正対象の複数の画像を得ることを伴い得る。較正対象は、複数の特徴と１または複数の基準マーカとを含み得る。複数の画像のいくつかが較正対象の複数の特徴の全てをキャプチャしていないときでも、複数の画像における複数の特徴の画像座標と、較正対象の複数の特徴のグローバル座標との間の対応付けを容易にするために、１または複数の基準マーカは識別可能であり得る。このアプローチは、複数のイメージングデバイスのそれぞれが較正対象の全体の画像データを得ることが困難である、例えば、複数のイメージングデバイスが同時に較正されているときなど複数の状況においても、正確かつ信頼性の高い較正を提供するために有利であり得る。追加的に、そのような複数のアプローチは、より大きな複数の較正対象の使用を可能とし、このことは、結果として得られる複数の較正パラメータの正確性を向上させ得る。

本明細書に説明されている複数の技術は、可動物体により搭載される１または複数のイメージングデバイスを用いる視覚ベースのナビゲーションなどの、画像化および画像化データを伴う多種多様な用途における使用のために実装され得る。例として、本開示の複数のシステム、方法、およびデバイスは、無人航空機（ＵＡＶ）により搭載される１または複数のカメラを較正するのに用いられ得る。１または複数のカメラのそれぞれは、少なくとも３つの、チェッカー盤の複数の正方形に重ねられた円形の基準マーカを有するチェッカー盤較正対象の複数の画像をキャプチャするのに用いられ得る。複数の基準マーカは、画像データにおいてキャプチャされている複数の角点に対応するチェッカー盤の複数の角点の複数のグローバル座標の決定を容易にするよう、複数の画像において一意に識別可能であり得る。この対応情報は、ＵＡＶの複数のカメラのための複数の較正パラメータを決定するのに用いられ得る。複数のカメラによりキャプチャされる続く画像データは、例えば、周囲環境の、および／または同環境内の複数の物体の複数の３次元（３Ｄ）深度マップを生成するために、複数の較正パラメータに基づいて処理され得る。

本明細書に説明されている複数の技術は、１または複数のイメージングデバイス（例えば、カメラ、スキャナ等）を較正するのに用いられ得る。本明細書において「ビジョンセンサ」とも呼ばれ得るイメージングデバイスは、電磁放射（例えば、可視光、赤外線、および／または紫外線）を検出し、検出された電磁放射に基づき画像データを生成するよう構成され得る。例えば、イメージングデバイスは、電荷結合素子（ＣＣＤ）センサ、または光の複数の波長に応答して複数の電気信号を生成する相補型金属酸化物半導体（ＣＭＯＳ）センサを含み得る。結果として得られる複数の電気信号は、処理されて画像データを生成し得る。イメージングデバイスにより生成される画像データは、複数の静止画（例えば、写真）、複数の動画（例えば、ビデオ）、またはこれらの適した複数の組み合わせであり得る１または複数の画像を含み得る。画像データは、多色（例えば、ＲＧＢ、ＣＭＹＫ、ＨＳＶ）、または単色（例えば、グレースケール、白黒、セピア）であり得る。

本開示の複数のイメージングデバイスは、本明細書に説明されている複数の可動物体の１または複数によってなど、様々なタイプの物体によって運ばれ得る。イメージングデバイスは、物体の上方、下方、側方、またはその内部など、物体の任意の適した部分に位置付けられ得る。いくつかのイメージングデバイスは、物体の空間的配置および／または動きが複数のイメージングデバイスの空間的配置および／または動きに対応するように、物体に機械的に接続され得る。イメージングデバイスは、イメージングデバイスが取り付けられた物体の一部に対して動かないように、剛性の接続部材を介して物体に接続され得る。代替的に、イメージングデバイスと物体との間の接続は、物体に対するイメージングデバイスの動きを可能とし得る。接続は、永久的な接続、または非永久的な（例えば、解放可能な）接続であり得る。適した複数の接続方法は、接着剤、ボンディング、溶接、および／または留め具（例えば、ねじ、釘、ピン等）を含み得る。オプションで、イメージングデバイスは、物体の一部と一体的に形成され得る。さらに、イメージングデバイスは、イメージングデバイスにより収集されたデータが、本明細書に説明されている複数の実施形態など物体の様々な機能（例えば、ナビゲーション、制御、推進、ユーザまたは他のデバイスとの通信等）のために用いられることを可能とするよう物体の一部（例えば、プロセッシングユニット、制御システム、データストレージ）と電気的に接続され得る。

いくつかの実施形態において、複数のイメージングデバイスはＵＡＶにより搭載される。例えば、ＵＡＶは、小型の（例えば、１０ｋｇ以下の重量を有する、１．５ｍ以下の最大寸法を有する）ＵＡＶであり得る。ＵＡＶは、複数のプロペラにより空中を動くよう推進されるマルチロータ航空機（例えば、クアッドコプター）などロータクラフトであり得る。本明細書に説明されている複数のＵＡＶは、（例えば、搭載されているコントローラなど適したコンピューティングシステムによって）完全に自律的に、半自律的に、または（例えば、人であるユーザによって）手動で操作され得る。ＵＡＶは、適したエンティティ（例えば、人であるユーザまたは自律制御システム）から複数のコマンドを受信し、１または複数の動作を実行することによりそのような複数のコマンドに応答し得る。例えば、ＵＡＶは、地上から離陸する、（例えば、最大３つの並進自由度で、および最大３つの回転自由度で）空中を動く、対象の位置へ、または一連の対象位置へ動く、空中をホバリングする、地上に着陸する、およびその他のことをするよう制御され得る。他の例として、ＵＡＶは、（例えば、最大３つの並進自由度で、および最大３つの回転自由度で）指定された速度および／または加速度で、または指定された移動経路に沿って動くよう制御され得る。さらに、複数のコマンドは、本明細書に説明されている複数のコンポーネントなど１または複数のＵＡＶコンポーネント（例えば、センサ、アクチュエータ、推進ユニット、積載物等）を制御するのに用いられ得る。

いくつかの実施形態において、イメージングデバイスはカメラであり得る。本明細書に提供されている特定の複数の実施形態はカメラに関する文脈で説明されているが、本開示は、任意の適したイメージングデバイスに適用され得、複数のカメラに関連する本明細書におけるいずれの説明も、他の複数のタイプの複数のイメージングデバイスにも適用され得ることが理解されるであろう。３Ｄシーン（例えば、環境、１または複数の物体等）の複数の２Ｄ画像を生成するのにカメラが用いられ得る。カメラにより生成される複数の画像は、２Ｄ画像平面への３Ｄシーンの投射を表し得る。したがって、２Ｄ画像における各点は、シーンにおける３Ｄ空間座標に対応する。

図１は、複数の実施形態に係る、単一のカメラ（単眼カメラ）のモデル１００を示す。モデル１００は、グローバル座標系１０２と、カメラ座標系１０４と、画像平面座標系１０６と、画素座標系１０８とを含む。本明細書において「グローバル座標系」とも呼ばれ得るグローバル座標系１０２は、カメラによりキャプチャされたシーン、および／またはカメラが動作している環境の基準枠を表す。グローバル座標系１０２は、座標原点Ｏ_ｗと、複数の３Ｄ座標軸Ｘ_ｗ、Ｙ_ｗ、Ｚ_ｗとを有する。いくつかの実施形態において、グローバル座標系１０２は、以下にさらに詳細に説明されるように、較正対象などのシーンにおける関心対象の物体に関して定義され得る。カメラ座標系１０４は、カメラの基準枠を表し、座標原点Ｏ_ｃと、複数の３Ｄ座標軸Ｘ_ｃ、Ｙ_ｃ、Ｚ_ｃとを有する。軸Ｚ_ｃは、外に向かう方向が正の方向であるカメラの光軸に対応し得る。

本明細書において「画像座標系」とも呼ばれ得る画像平面座標系１０６と画素座標系１０８とは、カメラにより生成される画像の基準枠を表す。画像平面座標系は、座標原点Ｏ_ｐと複数の２Ｄ座標軸Ｘ_ｐ、Ｙ_ｐとを有する。画像内の複数の画素の複数の位置は、画像の左上角の座標原点と複数の２Ｄ座標軸ｕ、ｖとを有する画素座標系１０８の観点から表され得る。ｕ軸は、画像の複数の行と平行であり得、右方向が正の方向であり、ｖ軸は、画像の複数の列と平行であり得、下方の方向が正の方向である。いくつかの実施形態において、カメラ座標系１０４は、画像平面座標系１０６と画素座標系１０８と位置合わせされ得る。例えば、カメラ座標系１０４のＸ_ｃ軸は、画像の複数の行と平行であり得、画素座標系１０８のｕ軸と同じ方向に位置合わせされ得る。同様に、カメラ座標系１０４のＹ_ｃ軸は、画像の複数の列と平行であり得、画素座標系１０８のｖ軸と同じ方向に位置合わせされ得る。

図１は単一のイメージングデバイスを描写しているが、本明細書に説明されている複数の実施形態は、１台、２台、３台、４台、５台、またはより多くのイメージングデバイスなど任意の適した数のイメージングデバイスに適用され得ることが理解されよう。複数のイメージングデバイスは全て、同じタイプのものであり得る。代替的に、複数のイメージングデバイスの少なくともいくつかは、異なる複数のタイプのものであり得る。複数のイメージングデバイスは、互いに対して所望されるように位置付けられ、方向付けられ得る。例えば、本明細書に提供されている様々な実施形態は、２つのイメージングデバイス（双眼視）、例えば、左カメラおよび右カメラを利用する。複数のイメージングデバイスは、各イメージングデバイスの視界が異なるように、異なる複数の位置および向きに位置付けられ得る。複数のイメージングデバイスの複数の視野は重なり得る。いくつかの実施形態において、複数のイメージングデバイスはそれぞれ、異なる複数の位置および／または向きからの同じシーンの画像データを提供する。複数のイメージングデバイスは、同時に、またはおよそ同時にシーンの複数の画像をキャプチャするよう構成され得る。代替的に、いくつかのイメージングデバイスは、他の複数のイメージングデバイスとは異なる複数の時間に複数の画像をキャプチャするよう構成され得る。

いくつかの実施形態において、１または複数のイメージングデバイスにより収集された、シーンの２Ｄ画像データを用いてシーンの３Ｄ情報を得ることが望ましいかもしれない。例えば、様々な用途は、シーンの複数の２Ｄ画像（例えば、異なる複数の位置および向きで撮像された複数の画像）に基づき、シーンの３Ｄ再構築（例えば、ポイントクラウド、占有格子、深度マップ、視差マップなどの３Ｄモデル等）を生成することを伴い得る。複数のイメージングデバイスが用いられる複数の実施形態において、以下にさらに詳細に説明されるように、３Ｄ再構築は、異なる複数の位置および／または向きに位置付けられた複数のイメージングデバイスにより得られた画像データ間の複数の視差に基づき生成され得る。代替的に、または組み合わせて、３Ｄ情報は、単一のイメージングデバイスから、例えば、ｓｔｒｕｃｔｕｒｅ−ｆｒｏｍ−ｍｏｔｉｏｎまたは他の適した複数の技術を用いて得られる画像データからも復元され得る。結果として得られる３Ｄ再構築は、シーンに関する様々なタイプの量的情報、例えば、複数の物体の複数の空間的な位置（例えば、カメラ、複数の他の物体からの距離）、物体の複数の寸法（例えば、長さ、幅、高さ）を決定するのに用いられ得る。この情報は、多種多様な用途、例えば、コンピュータビジョン、物体認識、トラッキング、姿勢の推定、自己運動の決定等において有用であり得る。例えば、ＵＡＶの動作に関する文脈において、シーン再構築は、ナビゲーション、障害物回避、マッピング、対象トラッキングおよび同様のものなどの複数の機能性のために役立ち得る。

いくつかの実施形態において、本明細書に説明されている複数のシーン再構築技術は、シーンの画像における複数の画像座標と実際のシーンの（グローバル座標としても知られる）複数のグローバル座標との間の対応を決定することを伴う。この対応は、様々な座標系、例えば、グローバル座標系、カメラ座標系、および画像座標系の間の複数の変換または複数のマッピングを決定することにより識別され得る。これらのマッピングを規定する複数の数学的関係は、シーン、複数のイメージングデバイス、および画像平面の複数のモデル、例えば、ピンホールカメラモデルに基づき決定され得る。

図２は、複数の実施形態に係る、グローバル座標系から画像座標系へのマッピングのモデル２００を示す。マッピングモデル２００は、世界、カメラ、および画像座標系間の複数の関係を描写している。マッピングモデル２００は、画像化処理（例えば、シーンにおける物体の複数のグローバル座標を画像における複数の画像座標に投射すること）、および再構築処理（例えば、画像における複数の画像座標を用いてシーンにおける物体の複数のグローバル座標を復元すること）を説明するのに用いられ得る。

グローバル座標系は、数式

によりカメラ座標系に関連付けられ得る。ここで、Ｒは回転行列であり、Ｔは並進ベクトルであり、カメラ座標系がグローバル座標系に対してそれぞれどのように方向付けられ、位置付けられているかを示す。複数のカメラ座標は、対応する複数の画像平面座標を得るためにスケーリングされ得る。

カメラが光学的なレンズの歪み（例えば、半径方向の歪み、偏心的な歪み、薄いプリズムの歪み）を有する複数の実施形態において、歪みＸ_ｄ、Ｙ_ｄのある複数の画像平面座標は、以下の歪みに関する数式からなど、当業者に公知である複数の技術を用いて、複数の画像平面座標から決定され得る。

ここで、

およびｋ_１、ｋ_２、ｋ_３、ｐ_１、ｐ_２、ｓ_１、ｓ_２は、歪みパラメータｋ_１、ｋ_２、ｋ_３は半径方向の歪みパラメータであり、ｐ_１、ｐ_２は、偏心的な歪みパラメータであり、ｓ_１、ｓ_２は、薄いプリズムの歪みパラメータである）。いくつかの実施形態において、複数のパラメータのうち４つのみ（例えば、ｋ_１、ｋ_２、ｐ_１、ｐ_２）が計算される。

複数の画素座標は、以下の関係を用いて得られ得る。

ここで、Ｍはカメラ内部行列であり、ｕ_０、ｖ_０は（光軸が画像平面と交差する、画像中心としても知られる）主点の複数の座標であり、

であり、ここで、ｆは、カメラの焦点距離であり、ａ_ｘ、ａ_ｙは、それぞれ水平方向および鉛直方向の画素寸法である。

図３は、複数の実施形態に係る、グローバル座標系から画像座標系へのマッピングのモデル２５０を示す。グローバル座標系、カメラ座標系、歪み補正画像平面座標系、歪み画像平面座標系、および画素座標系間の複数の関係は、図２のマッピングモデル２００に関して本明細書に説明されているものと同様であり得る。マッピングモデル２００と同様に、マッピングモデル２５０は、画像化処理（例えば、複数のグローバル座標（Ｘ_ｗ，Ｙ_ｗ，Ｚ_ｗ）を複数の画素座標（ｕ，ｖ）に投射）を説明するのに用いられ得る。物体の複数のグローバル座標は、画像歪み補正を行って、歪み補正された複数の画素座標（ｕ'，ｖ'）を得、その後、歪み補正された複数の画素座標を用いて複数のグローバル座標を再構築することにより、複数の画素座標から復元され得る。

画像データからのシーン再構築を正確に実行するために、本明細書に説明されている複数のマッピングと関連付けられた複数のイメージングデバイスの１または複数のパラメータを決定または推定することが有益であるかもしれない。これらのパラメータは、複数の外部パラメータ（各イメージングデバイスが較正対象に対してどのように位置付けられ、方向付けられているかを示す回転行列Ｒおよび並進ベクトルＴ）と、複数の内部パラメータ（焦点距離、主点の位置、画素サイズに関する情報を含む内部行列Ｍ、光学的歪みパラメータｋ_１、ｋ_２、ｋ_３、ｐ_１、ｐ_２、ｓ_１、ｓ_２）とを含み得る。複数のイメージングデバイスが用いられる複数の実施形態において、複数の外部パラメータは、以下にさらに詳細に説明されるように、複数のイメージングデバイスが互いに対してどのように位置付けられ、方向付けられているのかを示す、複数のイメージングデバイスの複数のカメラ座標系間で変換を行うための複数の回転行列および並進ベクトルも含み得る。１または複数のイメージングデバイスの複数の外部および／または内部パラメータを得る処理は、「カメラ較正」と本明細書において呼ばれ得る。

カメラ較正は、複数のイメージングデバイスがＵＡＶなどの可動物体に搭載される、またはそれにより搭載されるときに特に有用であり得る。そのような複数の可動物体の動作は、例えば、較正パラメータに影響し得る複数の振動および他の複数の動きに起因して、複数のイメージングデバイスの位置および／または向きの複数の変化を引き起こし得る。可動物体により搭載される複数のイメージングデバイスの較正は、可動物体が動作している間に（オンライン較正）、および／または可動物体が動作していない間に（オフライン較正）生じ得る。例えば、ＵＡＶにより搭載される複数のカメラのためのオフライン較正は、ＵＡＶの電源が切られている、および／またはＵＡＶが飛行していないときに実行され得、他方、オンライン較正は、ＵＡＶの電源が入れられている、および／またはＵＡＶが飛行している間に実行され得る。

カメラ較正は、様々なやり方で実行され得る。いくつかの実施形態において、較正処理は、複数の特徴を有するシーンの複数の画像を得し、およびその後、複数の画像における複数の特徴の画像座標と、シーンにおける対応する複数の特徴グローバル座標との間の複数の対応を識別することを伴う。その後、（例えば、本明細書に説明されている複数のマッピングモデルに基づき定義される）複数の較正パラメータは、グローバル座標系と画像座標系との間の識別された複数の対応およびマッピングに基づいて推定され得る。例えば、（単一のカメラの複数のパラメータを決定する）単眼較正は、ピンホールカメラモデルに基づき複数の較正パラメータ（例えば、Ｒ、Ｔ、Ｍ）の推定値を生成すること、その後、歪みの影響を推定すること（例えば、複数の歪みパラメータの複数の初期値は０であると仮定される）、その後、最適な複数のカメラ較正パラメータを得るために（例えば、レーベンバーグ・マーカートアルゴリズムを用いて）パラメータ最適化を実行することを伴い得る。

いくつかの実施形態において、世界−画像座標の複数の対応の識別を容易するために較正対象が用いられる。較正対象は、規定の配置の特徴を有する任意の構造であり得る。例えば、較正対象は、１Ｄ（例えば、線形、曲線、または曲線のある形状）、２Ｄ（例えば、平面または他の平坦な面）、または３Ｄ（例えば、立方体、球体、プリズム、２またはそれより多くの交差する平面）であり得る。複数の特徴は、（例えば、複数の画像認識アルゴリズム、複数の特徴抽出アルゴリズム、または他の複数のコンピュータビジョン技術を用いて）画像データから容易に識別可能であり、および、特徴以外のもの（例えば、較正対象の他の複数の部分、シーンにおける他の複数の物体、画像ノイズ）から明らかに区別可能であるように設計され得る。いくつかの実施形態において、複数の特徴は、較正対象の複数の点（例えば、複数の角、頂点、交差点）（本明細書において「特徴点」とも呼ばれる）である。代替的に、または組み合わせて、複数の特徴は、複数の線（例えば、線形、曲線、または曲線のある）、（例えば、２つの異なるように色付けされたエリア間の）複数の縁、複数の幾何学形状（例えば、円、三角形、四辺形等）、記号または文字（例えば、英数字）、またはこれらの適した複数の組み合わせであり得る。追加的に、各特徴の複数の特性（例えば、サイズ、形状、色）は、所望されるように変化させられ得る。

較正対象は、任意の適した数の特徴、およびそれらの組み合わせを含み得る。例えば、較正対象は、少なくとも１０、２０、３０、４０、５０、６０、７０、８０、９０または１００の特徴を含み得る。比較的多くの特徴を用いることにより、較正処理の正確性が向上させられ得る。いくつかの実施形態において、較正対象は、１つのタイプのみの特徴を含み得、他の複数の実施形態において、対象は、少なくとも２、３、４、５、またはより多くの異なるタイプの特徴など、１つのタイプより多くの特徴を含み得る。複数の特徴は、各特徴の較正対象に対する位置および／または向きが知られるように、較正対象で複数の規定の位置に位置付けられ得る。いくつかの実施形態において、複数の特徴は、所与の複数の寸法（例えば、長さ、幅、高さ、複数の特徴間の間隔）を有する繰り返しパターン（例えば、複数の行および列を有する格子）で較正対象上に配置される。複数の特徴は、較正対象上のそれらの位置および／または向きが変化しないように、静的な複数の特徴であり得る。代替的に、複数の特徴は、位置および／または向きが変化する動的な複数の特徴であり得る。本明細書に説明されている複数の特徴は、較正対象と一体的に形成され得（例えば、対象の一部に印刷される、または塗布される）、または、別々に提供され、対象に接続され得る（例えば、対象の一部に取り付けられる、または貼り付けられる）。

いくつかの実施形態において、較正処理は、較正対象の画像セットを、較正されることになる各イメージングデバイスによりキャプチャすることを伴う。各画像データセットは、較正対象の少なくとも５、１０、１５、２０、２５、３０、３５、４０、４５、５０、またはより多くの画像を含み得る。複数の画像は、異なる複数の位置および／または向きで較正対象を描写し得る。各画像は、画像に存在する複数の特徴を識別し、それらの画像座標を決定するために処理され得る。画像データにおける複数の特徴の複数の画像座標と、較正対象上の複数の特徴の複数のグローバル座標との間の複数の対応が決定され得、その後に続いて、（例えば、本明細書に説明されている複数の数学的関係に基づき）複数の較正パラメータを解くために用いられ得る。オプションで、複数の画像データセットを得るのに複数のイメージングデバイスが用いられる複数の実施形態において、複数の画像データセットに亘る複数の特徴の複数の画像座標間の複数の対応も決定され得、複数のイメージングデバイスに関する複数のパラメータ（例えば、複数のイメージングデバイスの互いに対する位置および／または向き）を推定するために用いられ得る。

図４は、複数の実施形態に係る、イメージングデバイスの較正に用いるのに適した較正対象３００を示す。対象３００は、複数の白色の正方形３０４と交互になっている複数の黒色の正方形３０２の繰り返しパターンを有する平面のチェッカー盤パターンを備える。複数の正方形３０２、３０４のそれぞれは、同じサイズを有し、複数の行および列を有する格子に配置され得る。いくつかの実施形態において、（例えば、複数の円３０５に示されるように）複数の正方形の複数の角点は、イメージングデバイス較正を実行するために較正対象３００の複数の特徴点としての役割を担う。複数の角点は、複数の機械視覚方法を用いて、画像データの他の複数の部分とは区別するのが比較的容易であり得る。代替的に、または組み合わせて、チェッカー盤の他の複数の部分は、較正を目的として対象３００の複数の特徴としての役割を担い得る（例えば、黒色の正方形３０２、白色の正方形３０４等）。対象３００の複数の特徴は、様々な特徴抽出技術を用いて較正対象３００の画像データから識別され得、各特徴の複数の画像座標が決定され得る。この処理は、較正対象３００の幾何学の知識により容易にされ得る。例えば、チェッカー盤の複数の正方形３０２、３０４の複数の角点が較正対象３００の複数の特徴点としての役割を担う複数の実施形態において、複数の正方形のサイズは、隣接する複数の特徴点間の間隔を規定する。したがって、各角点の複数の画像座標は、チェッカー盤内のそれの行および列位置に基づいて決定され得る。

対象３００の画像データにおける複数の特徴の複数の画像座標が一旦決定されると、その後、複数の画像座標と、対象３００上の特徴の複数のグローバル座標との間の対応が識別され得る。グローバル座標系は、各特徴の複数のグローバル座標が対象３００の特徴の位置に対応するように、対象３００に対して定義され得る。例えば、グローバル座標系の原点Ｏ_ｗは、チェッカー盤の４つの外側の角（３０６ａ、３０６ｂ、３０６ｃ、３０６ｄ）の１つに位置付けられ得、チェッカー盤の平面は、グローバル座標系のＸ_ｗＹ_ｗ平面に沿って存在する。したがって、複数の角点が較正のための複数の特徴としての役割を担う複数の実施形態において、対象３００上の各角点のＺ_ｗグローバル座標は０であり、各角点のＸ_ｗ，Ｙ_ｗグローバル座標は、チェッカー盤上のそれの２Ｄ位置（例えば、行および列位置）に基づいて決定され得る。

図５は、複数の実施形態に係る、対象３００と同様のチェッカー盤較正対象の第１および第２画像３５０、３５２を示す。図５の実施形態において、較正対象は、スクリーン上に表示される画像である。しかし、本明細書に説明されている複数の較正対象は、材料（例えば、１枚の紙）上に印刷されるなど、他の複数の方式でも提供され得ることが理解されるであろう。較正対象の第１の画像３５０および第２の画像３５２は、カメラ較正を実行するために較正画像データセットの一部として、双眼または立体視画像化システムの左カメラおよび右カメラによりそれぞれ得られ得る。特に、較正対象の複数の特徴の全て（例えば、チェッカー盤の複数の角点の全て）が第１および第２画像３５０、３５２の両方において見えるように、画像３５０、３５２は両方とも、較正対象の全体（例えば、チェッカー盤の４つの外側の角、チェッカー盤の４つの外側の縁、黒色および白色の複数の正方形の全て）をキャプチャしている。したがって、第１の画像３５０における複数の特徴（例えば、複数の角点）の画像座標と、第２の画像３５２における対応する複数の特徴画像座標と、較正対象における複数の特徴の複数のグローバル座標との間の複数の対応が識別され、左および右カメラの複数の較正パラメータを決定するために用いられ得る。

いくつかの実施形態において、各カメラにより得られた較正画像データが較正対象の全体をキャプチャしておらず、複数の特徴全てのうちの一部しか画像内に見えていないことになった場合、特に較正対象が異なる複数のカメラ位置および／または向きから画像化された場合、複数の特徴の画像−グローバル座標の複数の対応を決定することが困難になり得、さらには不可能となり得る。例えば、再び図５を参照すると、第１および第２画像３５０、３５２の少なくとも１つがチェッカー盤較正対象の全体をキャプチャし損ねており（例えば、４つの外側の角の少なくとも１つ、その４つの外側の縁または部分の少なくとも１つ、その黒色および白色の複数の正方形または部分の少なくとも１つを除外しており）、チェッカー盤の複数の角点のサブセットのみが見えている場合、画像における複数の角点と対象上の複数の角点との間の複数の対応は、繰り返すチェッカー盤パターンに起因して不明瞭となり得る。この課題は、いくつかの場合において、特徴点の全てが確実に各カメラの視界内にあるよう較正対象のサイズを小さくする、またはカメラと較正対象との間の距離を長くすることにより避けられ得るが、これらのアプローチは、較正の正確性を低下させ得る。

本明細書に説明されている様々な実施形態は、画像データが較正対象および複数の較正対象特徴の全体をキャプチャしていないときでも、カメラの複数の較正パラメータの決定を可能とする改善された複数の較正対象を提供する。いくつかの実施形態において、これらの較正対象は、複数の規定の位置に位置付けられた１または複数の基準マーカを含む。画像データが、異なる複数の位置および／または向きで較正対象を描写している場合であっても、１または複数の基準マーカはそれぞれ、較正対象の画像データにおいて一意に識別可能であり得る。結果として、較正対象の複数の特徴に関する画像−グローバル座標の複数の対応は、明確に各特徴を識別するための複数の空間的な基準として複数の基準マーカを用いることにより、複数の特徴のサブセットのみが画像データにおいて見えるときでも決定され得る。有利に、このアプローチは、画像が複数の基準マーカの全てと複数の較正特徴の少なくともいくつかとをキャプチャしている限り、その画像をカメラ較正のために用いることを可能とし、それにより較正処理の柔軟性およびロバスト性を改善する。このことは、較正対象の全体が各カメラの視界にあるように複数のカメラを配置するのが比較的困難であり得るので、複数のカメラを利用する複数のデバイス、例えば、立体視感知システムを実装するＵＡＶにとって特に有益であり得る。

本明細書に説明されている複数の基準マーカの、形状、サイズ、および色のうち少なくとも１つを含む複数の特性は、所望されるように変化させられ得る。例示的な複数の基準マーカは、複数の幾何学形状（例えば、点、線、円、三角形、四辺形）記号または文字（例えば、英数字）、またはこれらの適した複数の組み合わせを含む。本明細書に提供されている複数の較正対象は、少なくとも１つ、２つ、３つ、４つ、５つ、またはより多くの基準マーカなど任意の適した数の基準マーカを含み得る。いくつかの実施形態において、複数の較正対象は、３つの基準マーカのみを含む。いくつかの実施形態において、本明細書に説明されている複数の較正対象は、単一のタイプの基準マーカのみを含む。代替的に、較正対象は、少なくとも２つ、３つ、４つ、５つ、またはより多くの異なるタイプなど異なる複数のタイプの基準マーカを含み得る。

複数の基準マーカの複数の特性は、例えば、複数の画像認識アルゴリズム、特徴抽出アルゴリズム、または他のコンピュータビジョン技術を用いて画像データからの複数の基準マーカの識別を容易するために選択され得る。オプションで、複数の基準マーカは、複数の基準マーカおよび特徴の正確な識別を容易にするよう複数の特徴とは視覚的に明確であり得る。例えば、複数の基準マーカは、複数の特徴とは異なる形状、サイズ、およびは色のうち少なくとも１つを有し得る。他の例として、複数の特徴は、（例えば、１Ｄの線、または２Ｄの面上の）繰り返しパターンで配置され得、他方、複数の基準マーカは繰り返さない。

複数の基準マーカはそれぞれ、較正対象上の異なる位置に位置付けられ得る。いくつかの実施形態において、各特徴と複数の基準マーカの少なくとも１つとの間の空間的関係（例えば、相対的な位置、向き）が知られるように、複数の基準マーカは、規定の配置で複数の較正対象の特徴に対して位置付けられる。例えば、複数の基準マーカは、較正対象の１または複数の特徴と重ねられ得、またはそれらと共に点在させられ得る。他の例として、複数の基準マーカは、１または複数の特徴の近くに、またはそれらと隣接して位置付けられ得る。複数の基準マーカは、全ての基準マーカと複数の特徴の少なくともいくつかとが較正対象の複数の画像において同時に見えるように、較正対象上に位置付けられ得る。

画像データが、較正対象の回転および／または並進させられたビューを表す場合であっても、各基準マーカを較正対象の画像データにおいて一意に識別可能とするよう様々な技術が用いられ得る。例えば、各基準マーカは、異なるサイズ、形状、および色のうち少なくとも１つのものであり得、または、他の複数のマーカとは視覚的に区別されることを可能とするように、複数の特性またはマークを含み得る。代替的に、または組み合わせて、複数の基準マーカは、各基準マーカを、それらの相対的配置に基づいて一意に識別可能とするやり方で配置され得る。そのような実施形態において、複数の基準マーカは、（例えば、形状、サイズ、色、または他の複数の特性に関して）同様または同一であり得る。例えば、各基準マーカは、複数の不規則な多角形（例えば、二等辺三角形、不等辺三角形）の頂点を形成するように位置付けられ得る。複数の不規則な多角形の角度の少なくともいくつかは、他の複数の角度とは異なる複数のサイズを有し得る。同様に、複数の不規則な多角形の縁の少なくともいくつかは、他の複数の縁とは異なる複数の長さを有し得る。オプションで、複数の角度の全ては、異なる複数のサイズのものであり得、複数の縁の全ては異なる複数の長さを有し得る。他の例として、較正対象の複数の特徴が平面（例えば、格子など複数の特徴の２Ｄの繰り返しパターン）に配置される複数の実施形態において、複数の基準マーカは、平面内で回転対称である形状を形成し得る。

図６および７は、複数の実施形態に係る、相対的配置に基づいて一意に識別可能である複数の基準マーカを示す。図６は、本明細書において複数の黒色の円として描写されている複数の基準マーカＡ、Ｂ、Ｃの第１のビュー４００を示す。複数の基準マーカＡ、Ｂ、Ｃは、不等辺三角形の複数の頂点を形成するよう互いに対して配置され得る。図７は、第１のビュー４００の回転および並進を表す第２のビュー４１０を示す。非対称であるという三角形の複数の特質に起因して、第２のビュー４１０における基準マーカＡ'、Ｂ'、Ｃ'はそれぞれ、第１のビュー４００における基準マーカＡ、Ｂ、Ｃにそれぞれ対応するものとして一意に識別され得る。いくつかの実施形態において、対応する複数の基準マーカの識別は、第１および第２のビュー４００、４１０における三角形の複数の特徴（例えば、縁、角度）に対する複数の基準マーカの配置に基づき実行される。例えば、図６および７の実施形態において、マーカＢおよびＢ'は両方共、三角形の最も長い縁の反対側に位置付けられ、マーカＣおよびＣ'は両方共、三角形の最も短い縁の反対側に位置付けられる。他の例として、マーカＢおよびＢ'は両方共、三角形の最も大きい内部角の頂点に位置付けられ、マーカＣおよびＣ'は両方共、三角形の最も小さい内部角の頂点に位置付けられる。図６および７の基準マーカは三角形を形成するものとして描写されているが、複数の基準マーカは、他の複数の不規則な多角形（例えば、３つ、４つ、５つ、６つ、またはより多くの頂点を有する不規則な多角形）を形成するよう配置され得ることが認識されよう。このアプローチは、各マーカを、複数の基準マーカを見る位置および／または向きに関わらず一意に識別可能とし得る。

図８は、複数の実施形態に係る、基準マーカ５０２ａ、５０２ｂ、５０２ｃを有する較正対象５００を示す。較正対象３００と同様に、較正対象５００は、互い違いになっている黒色および白色の複数の正方形の繰り返しパターンを有するチェッカー盤を含む。図８の実施形態において、基準マーカ５０２ａ〜ｃは、チェッカー盤の異なる白色の正方形内にそれぞれ位置付けられた同一の複数の黒色の円である。しかし、代替的な複数の実施形態において、基準マーカ５０２ａ〜ｃの少なくともいくつかが複数の黒色の正方形内に位置付けられた白色の円であり得ることが認識されよう。基準マーカ５０２ａ〜ｃは、較正対象５００上でチェッカー盤に対して、知られている位置において位置付けられ、例えば、各マーカの行および列位置は知られている。各基準マーカ５０２ａ〜ｃは、チェッカー盤の異なる部分（例えば、異なる行および／または列位置）に位置決めされ得る。いくつかの実施形態において、基準マーカ５０２ａ〜ｃは、不規則な三角形の複数の頂点を形成するよう対象５００上に配置される。したがって、対象５００の画像が３つの基準マーカ５０２ａ〜ｃの全てを含む場合、対象５００のいくつかのみが見える（例えば、チェッカー盤の４つの外側の角、４つの外側の縁、複数の黒色の正方形、および／または複数の白色の正方形の少なくとも１つが画像から除外されている）場合であっても、各基準マーカ５０２ａ〜ｃは一意に識別可能である。各基準マーカ５０２ａ〜ｃが一旦画像データにおいて識別されると、画像における複数の基準マーカと較正対象５００上の複数の基準マーカとの間の空間的関係（例えば、回転、変形）が決定され得る。この空間的関係はその後、画像データにおいて描写されている各特徴（例えば、角点）の複数のグローバル座標を決定するのに用いられ得る。

図９は、複数の実施形態に係る、１または複数の基準マーカを含む較正対象を用いて１または複数のイメージングデバイスを較正するための方法６００を示す。方法６００の複数の段階の少なくともいくつかは、１または複数のプロセッサによってなど、適したコンピューティングシステムまたはデバイスによって実施され得る。複数のイメージングデバイスが可動物体により搭載される複数の実施形態において、方法６００の複数の段階のいくつかまたは全てが、可動物体が動作していないときに実行され得る（オフライン較正）。代替的に、複数の段階のいくつかまたは全てが、可動物体が動作している間に実行され得る（オンライン較正）。

段階６１０において、較正対象の複数の画像が、１または複数のイメージングデバイス（例えば、１または複数のカメラ）のそれぞれから受信される。較正対象は、本明細書において前に説明されるように、複数の特徴および１または複数の基準マーカを含み得る。複数の特徴は、任意の適した構成、例えば、格子などの繰り返しパターンで配置され得る。１または複数の基準マーカは、上記にて説明されるように、複数の画像において一意に識別可能であるように設計され得る。各イメージングデバイスにより提供される複数の画像は、較正対象に対して異なる複数の位置および／または向きで撮像された複数の画像を含み得る。各画像は、基準マーカの全て、および、較正対象の複数の特徴の少なくともいくつかをキャプチャし得る。いくつかの実施形態において、複数のイメージングデバイスにより生成される複数の画像の少なくとも１つは、較正対象の複数の特徴全てのうちの一部しかキャプチャしていない。

段階６２０において、各イメージングデバイスにより提供される複数の画像の各画像における複数の特徴および１または複数の基準マーカが識別される。例えば、各画像は、画像において見える複数の基準マーカおよび複数の特徴を識別するよう、様々なコンピュータビジョンアルゴリズムを用いて処理され得る。いくつかの実施形態において、アルゴリズムは、識別を容易にするために、複数の基準マーカおよび／または特徴の知られている複数の特性（例えば、形状、サイズ、色、相対的配置）に関する情報に基づいて実行され得る。複数の基準マーカおよび／または特徴が一旦識別されると、それらは、画像内のそれらの画素位置を表わす複数の画像座標が割り当てられ得る。例えば、円形の基準マーカに関する複数の画像座標は、円の中心の複数の座標であり得る。オプションで、識別の正確性を向上させるために、例えば、ノイズを低減すること、分析に関して適していないと見なされる複数の画像を破棄すること、およびその他のことにより複数の画像は識別手順の前に補正され得、および／または前処理され得る。

図１０、図１１、図１２、および図１３は、複数の実施形態に係る、画像における較正対象の複数の特徴および基準マーカの識別を示す。図１０は、対象５００と同様に、３つの黒色の円形の基準マーカを含むチェッカー盤較正対象の一部をキャプチャしている画像を示す。特に、画像は、チェッカー盤の複数の角点のいくつかのみが見えるように、較正対象の特定の複数の部分、例えば、チェッカー盤の左上および左下の角、チェッカー盤の左縁を除外している。しかし、３つの基準マーカ全ておよび複数の基準マーカの近くの複数の角点が見える。３つの基準マーカが不規則な多角形を形成するように較正対象上に配置されているので、較正対象のいくつかの領域が画像によりキャプチャされていないが、複数の基準マーカはそれぞれ一意に識別可能である。図１１は、チェッカー盤の複数の正方形の複数の角点を識別する処理に続く図１０の画像を示す。複数の角点は、本明細書において前に説明されるように、カメラ較正のための複数の特徴としての役割を担い得る。いくつかの実施形態において、角点識別アルゴリズムが失敗した（例えば、角点が識別されなかった）場合、画像は無効であると見なされる。図１２は、複数の基準マーカを識別する処理に続く図１０の画像を示す。複数の円形の基準マーカは、ハフ変換などの適した複数の検出方法を用いて識別され得る。アルゴリズムが任意の基準マーカを識別し損ねた場合、画像は無効であると見なされ得る。

いくつかの実施形態において、基準マーカ検出アルゴリズムは、誤検知を生成し得る。例えば、画像の、基準マーカではない複数の領域を識別し得る。例えば、図１２の画像は、画像の、基準マーカではない複数の部分が誤って識別されたいくつかのエラー結果を含む。このことは、例えば、検出アルゴリズムが、複数の基準マーカを識別するのに形状認識（例えば、円の認識）に頼っており、同様の形状の複数の物体が画像において見えるときに生じ得る。図１３は、誤検知の発生を低減させるための、図１２の結果のフィルタリングを示す。複数の基準マーカが較正対象の複数の特徴と共に点在させられている、またはそれらと重ねられている複数の実施形態において、画像データは、識別された複数の特徴の凸閉包内のものに基準マーカ識別結果を限定するようフィルタリングされ得る。図１３において、識別された複数の角点の凸閉包の外側にある複数の誤検知が取り除かれている。複数の基準マーカは、複数の基準マーカの相対的配置の知識に基づいて、残っている複数の結果から決定され得る。いくつかの実施形態において、各結果に関する位置情報（例えば、行および列情報および／または複数の画像座標）が決定され得る。位置情報セットはその後、互いに正しい空間的関係にある複数の基準マーカを識別するよう分析され得る。例えば、再び図１３を参照すると、対象上の複数の基準マーカが三角形の複数の頂点を形成していることが知られており、三角形の複数の特質（例えば、縁の長さ、角度）は予め定められているので、この幾何学的制約を満たすであろうセットを識別するために複数の結果が検索され得る。そのような結果が見つからなかった場合、または１より多くのセットの結果が見つかった場合、画像は無効であると見なされ得る。

段階６３０において、複数の画像の各画像における１または複数の基準マーカと、較正対象上の１または複数の基準マーカとの間の空間的関係が決定される。前に説明されたように、複数の基準マーカは一意に識別可能であるように構成されているので、画像データにおける複数の基準マーカの位置が、実際の較正対象上の複数の基準マーカの複数の知られている位置とどのように異なっているかを比較することにより空間的関係（例えば、並進、回転、反転）が決定され得る。そのような複数の差は、画像のキャプチャの間の較正対象に対するイメージングデバイスの位置および／または向きに基づき生じ得る。例えば、１または複数の基準マーカが画像データにおける不規則な多角形の複数の頂点を形成する複数の実施形態において、空間的関係は、画像データにおける不規則な多角形の複数の頂点がどのように実際の対象の複数の頂点の複数の知られている位置に対応するかを識別することにより決定され得る。チェッカー盤較正対象が用いられ、複数の基準マーカがチェッカー盤の複数の特定の正方形に位置付けられる複数の実施形態において、空間的関係は、画像における複数の基準マーカのそれぞれに関して位置情報（例えば、行および列位置）を識別し、この情報を、実際のチェッカー盤上の知られている位置情報（例えば、行および列位置）と比較することにより決定され得る。

段階６４０において、画像データにおける複数の特徴の複数の画像座標と、較正対象上の対応する複数の特徴に関する複数のグローバル座標（グローバル座標）との間の対応が、段階６３０において決定された空間的関係に基づき定式化される。例えば、実際の較正対象上の各特徴点の複数の位置は、決定された空間的関係を用いて決定され得る。各特徴はその後、グローバル座標系に対する特徴点の位置を示すグローバル座標セットが割り当てられる。したがって、複数の画像座標および各特徴の複数のグローバル座標は知られているので、画像と複数のグローバル座標との間の対応またはマッピングが定式化され得る。

複数のイメージングデバイスが較正されており、各イメージングデバイスがそれぞれの画像セットを提供している複数の実施形態において、段階６４０は、複数のそれぞれの画像セットのそれぞれに存在する複数の特徴を識別し、その後、これらの特徴のみに関する複数のグローバル座標を決定することを伴い得る。例えば、チェッカー盤の複数の角点を用いた双眼較正に関して、段階６４０は、左および右カメラ両方の画像において見える複数の角点を識別し、これらの共通の角点に関する複数のグローバル座標を決定することを伴い得る。左および右画像両方は上記にて説明されるように較正対象の複数の基準マーカの全てを描写するので、左および右画像は両方共、複数の基準マーカ近くの複数の特徴を少なくとも含むべきである。代替的な複数の実施形態において、この処理が逆にされ得、どの特徴が異なる複数の画像セットに亘って共通であるのかを決定する前に、複数のイメージングデバイスにより生成された複数の画像において見える全ての特徴に関して複数のグローバル座標を決定し得る。

段階６５０において、１または複数のイメージングデバイスに関する複数の較正パラメータが、段階６４０において定式化された対応に基づき決定される。本明細書において前に説明されるように、複数の較正パラメータは、１または複数のイメージングデバイスのそれぞれに関する、カメラ内部行列に関連する複数のパラメータ（例えば、焦点距離、主点の位置、画素サイズ）、カメラと複数のグローバル座標系との間の複数の回転行列および並進ベクトル、および／または光学的歪み（例えば、半径方向の歪み、偏心的な歪み、薄いプリズムの歪み）を含み得る。複数の特徴に関する画像−グローバル座標の複数の対応が一旦決定されると、段階６４０に関して上記にて説明されるように、この対応情報は様々な較正パラメータを解くために用いられ得る。

複数の較正パラメータを解くために様々な方法が用いられ得る。いくつかの実施形態において、複数の較正パラメータの初期推定値が最初に得られる。例えば、歪みの影響を無視して、単眼カメラの較正のために、グローバル座標系と画像座標系との間の以下のマッピング数式を得るのに、マッピングモデル（例えば、マッピングモデル２００または２５０）が用いられ得る。

ここで、Ｒ＝［ｒ_１ ｒ_２ ｒ_３］（３×３行列）、Ｔは３×１ベクトル、およびλ＝Ｚ_ｃ（グローバル座標系からカメラ座標系へ変換された後の点のＺ軸成分）である。

較正対象が平面的、例えば、平面のチェッカー盤である複数の実施形態において、対象平面は、対象上の各特徴のＺ_ｗ座標が０であるように、グローバル座標系のＸ_ｗＹ_ｗ平面上に存在すると仮定され得る。したがって、上記の数式は、

のように書き換えられ得る。ホモグラフィー行列Ｈはその後、

として定義され得る。ここで、ｓ＝１／λである。ホモグラフィー行列数式におけるλは、単一の点ではなくむしろ平均値に対応し得る。

複数の特徴の複数のグローバル座標は、例えば、段階６４０で決定され、知られているので、ホモグラフィー行列Ｈが解かれ得る。ホモグラフィー行列の定義に基づき、以下の数式が得られ得る。

ｒ_１およびｒ_２は回転行列におけるベクトルであるので、以下の数式が得られ得る。

と定義すると、以下のものが得られ得る。

数式（８）に従うと、以下のものが得られ得る。

数式（１０）において、Ｖは２×６行列であり、ホモグラフィー行列Ｈから変換されている。ｂを解くために、行列Ｂを制約するのに少なくとも３つの異なるＨが用いられる。したがって、異なる複数の位置および／または向きにおける、較正対象の少なくとも３つの異なる画像からのデータを用いてパラメータ推定が実行され得る。

行列Ｂが解かれ得る場合、行列Ｍも解かれ得る。その後に続いて、ＲおよびＴが数式（７）に従って解かれ得る。行列Ｍの異なる複数の形態に基づき、閉じた解は以下のようになり得る。

「接線効果」を考慮しない場合、および

である場合、

である。

「接線効果」が考慮されない場合、および

である場合、

である。

最初の解が得られた後、複数の較正パラメータは、例えば、レーベンバーグ・マーカートアルゴリズムにより、最適化され得る。いくつかの実施形態において、最適な解は、以下の目的関数を最小化する。

複数のイメージングデバイス（例えば、２またはそれより多くのカメラ）が較正されている複数の実施形態において、段階６５０は、複数のカメラ座標系のそれぞれの間の回転行列Ｒおよび並進ベクトルＴに関して解くことも含み得る。これらの外部パラメータは、本明細書に説明されている複数の単眼較正方法に基づいて得られ得る。例えば、左および右カメラにより観察される空間的な点に関する双眼較正（２つのイメージングデバイスの較正）において、左カメラ座標系における座標Ｐ_ｌと右カメラ座標系における座標Ｐ_ｒは以下の関係を満たし得る。

ここで、Ｒは右カメラ座標系から左カメラ座標系への回転行列であり、Ｔは、左カメラ座標系の原点Ｏ_ｌから右カメラ座標系の原点Ｏ_ｒへの並進ベクトルである。

図１４は、複数の実施形態に係る、双眼カメラの較正における複数の座標系間の複数の空間的関係のモデル８００を示す。グローバル座標系（原点をＯ_ｗとしたＸ_ｗＹ_ｗＺ_ｗ）が、回転行列Ｒ_ｌと並進ベクトルＴ_ｌとにより左カメラ座標系（Ｏ_ｌを原点としたＸ_ｌＹ_ｌＺ_ｌ）に関連付けられ、回転行列Ｒ_ｒと並進ベクトルＴ_ｒとにより右カメラ座標系（Ｏ_ｒを原点としたＸ_ｒｒＺ_ｒ）に関連付けられる。これら回転行列および並進ベクトルは、本明細書において前に説明されている複数の方法を用いて得られ得る。左および右カメラ座標系間を変換するための回転行列Ｒおよび並進ベクトルＴはその後、以下の関係により決定され得る。

本明細書に説明されている複数の方法に従って複数の較正パラメータが一旦決定されると、それらパラメータは、画像データが様々な下流での用途、例えば、複数の地図の生成のための３Ｄ空間情報の復元、物体認識、ナビゲーション等に適するよう複数のイメージングデバイスにより得られた画像データを処理するのに用いられ得る。例えば、本明細書で「歪み補正」とも呼ばれる、１または複数のイメージングデバイスと関連付けられた光学的歪みの複数の影響を補正するために画像データは、決定された複数の較正パラメータに基づき処理され得る。他の例として、複数のそれぞれの画像データセットをキャプチャするのに２またはそれより多くのイメージングデバイスが用いられる複数の実施形態において、修正を実行するのに、例えば、画像データセットが立体視のために用いられるのを可能とするように複数の較正パラメータが用いられ得る。

図１５は、複数の実施形態に係る、複数の歪み画像座標と複数の歪み補正画像座標との間のマッピングのモデル９００を示す。歪みは、レンズの複数の光学的特質に起因して、イメージングデバイスによってキャプチャされた複数の画像に生じ得る。画像歪み補正は、理想的なピンホールカメラモデルに従った歪み補正画像（例えば、複数の歪み補正画像平面座標（Ｘ_ｐ，Ｙ_ｐ）に対応する複数の歪み補正画像または画素座標（ｕ_２，ｖ_２）を有する画像）を得るよう、イメージングデバイスによりキャプチャされた画像（例えば、複数の歪み画像平面座標（Ｘ_ｄ，Ｙ_ｄ）に対応する複数の歪み画像または画素座標（ｕ_１，ｖ_１）を有する画像）における歪みの複数の影響を取り除くのに用いられ得る。したがって、歪み画像を歪み補正画像に変換するのに画像歪み補正が用いられ得る。画像歪み補正手順は、複数のイメージングデバイスに関する、前に決定された複数の内部パラメータ（例えば、歪みパラメータ、カメラ内部行列Ｍ）に基づき実行され得る。そのような複数のパラメータは、本明細書に提示されている複数のアプローチを用いて決定され得る。

画像歪み補正を実行するのに様々な方法が用いられ得る。例えば、複数の歪み補正画像平面座標（Ｘ_ｐ，Ｙ_ｐ）が、以下の数式に従って歪み補正された複数の画素座標（ｕ_２，ｖ_２）から決定され得る。

複数の歪み画像平面座標（Ｘ_ｄ，Ｙ_ｄ）は、数学的な歪みモデル（例えば、本明細書において前に提示されている歪み数式（３）によって説明されているモデル）と、複数の歪みパラメータに関する、前に決定された複数の値とに基づき歪み補正画像平面座標（Ｘ_ｐ，Ｙ_ｐ）から決定され得る。歪み画像（ｕ_１，ｖ_１）の複数の画素座標はその後、以下の数式によって得られ得る。

複数の歪み補正画素座標（ｕ_２，ｖ_２）のグレースケール値が、複数の歪み画素座標（ｕ_１，ｖ_１）に対し補間を行うことにより得られ得る。補間は、最近隣補間法または共一次補間法などの任意の適した方法を用いて実行され得る。したがって、歪み補正画像が得られ得る。

本明細書に説明されている画像歪み補正処理と同様に、立体修正としても知られる画像修正は、画像から画像への変換処理を伴い得る。しかし、画像修正は、カメラ座標系レベルでの空間的な変換も伴う。画像修正は、例えば、深度マップ、視差マップ、およびシーンの他の３Ｄ表現の生成のために、立体視アルゴリズムの実装を容易するために、複数のイメージングデバイスによりキャプチャされた画像データを処理するのに用いられ得る。例えば、いくつかの実施形態において、複数の立体視アルゴリズムは、異なる複数のカメラ（例えば、左カメラおよび右カメラ）によりキャプチャされた複数の画像間の複数の点対応を決定することを伴い得る。画像修正は、各カメラにより得られた画像データを共通の平面へ投射し、それにより、複数の画像における一致する複数の画像点の検索の手順を単純化するのに用いられ得る。

図１６および１７は、複数の実施形態に係る、双眼カメラシステムのための画像修正手順を示す。図１６は、立体視のための左カメラ座標系（カメラ１）と右カメラ座標系（カメラ２）との間のマッピングのモデル１０００を示す。画像修正処理は、左および右画像データを修正するのに用いられる回転行列Ｒ_１、Ｒ_ｒ、およびＲ_ｒｅｃｔを決定することを伴い得る。いくつかの実施形態において、これらの行列は、修正の後に左および右画像の複数の重複する部分を最大化し、画像の変形量を最小化するよう構成される。さらに、両方の修正画像において同じ行列Ｍが用いられる場合、修正された複数の画像は、同じ縮尺であり得、それにより被写界深度の計算が容易になる。

図１７は、修正されていないカメラ座標系と修正されたカメラ座標系との間のマッピングのモデル１０５０を示す。いくつかの実施形態において、回転行列Ｒ_ｌおよびＲ_ｒは数式

を満たし得る。ここで、Ｒは右カメラ座標系（Ｘ_ｒ，Ｙ_ｒ，Ｚ_ｒ）から左カメラ座標系（Ｘ_ｌ，Ｙ_ｌ，Ｚ_ｌ）への回転行列である。Ｒ_ｌおよびＲ_ｒはそれぞれ、左カメラ座標系から第１の一時的な座標系

への、および右カメラ座標系から第２の一時的な座標系

への複数の回転行列である。いくつかの実施形態において、

は、回転行列Ｒの回転角度が等しく分割されるように、Ｒ_ｒに等しくなるよう設定され得る。２つのカメラ座標系の空間的な姿勢が変換後に同一であるよう左および右カメラ座標系はそれぞれ、Ｒ_ｌおよびＲ_ｒに従って変換され得る。しかし、Ｒ_ｌに従って左カメラ座標系を変換することにより得られた座標系には並進ベクトルＴ_ｔｅｍｐ＝Ｒ_ｌＴがあり得る。

２つの座標系はその後、２つの座標系のＸＯＹ平面が同一面であり、両方のＸ軸が基準線と平行であるように、回転行列Ｒ_ｒｅｃｔにより同時に変換され得る。行列Ｒ_ｒｅｃｔは、主観的に決定され得る。例えば、Ｒ_ｒｅｃｔは

と表され得る。ここで、

であり、

であり、ｅ_３＝ｅ_１×ｅ_２であり、Ｔ_ｔｅｍｐ＝Ｒ_ｌＴ（３×１行列）であり、Ｔ_{ｔｅｍｐ＿ｘ}は、Ｔ_ｔｅｍｐの第１行の第１列として定義され、Ｔ_{ｔｅｍｐ＿ｙ}は、Ｔ_ｔｅｍｐの第２行の第１列として定義される。

いくつかの実施形態において、複数のカメラ座標系の回転の後、Ｘ軸と平行であり２つの座標系間にある並進ベクトルＴ_ｒｅｃｔ＝Ｒ_ｒｅｃｔＲ_ｌＴのみがある。オプションで、行列Ｍは、行列Ｍ_１と置き換えられ得る（図１６を参照）。

回転行列Ｒ_ｌ、Ｒ_ｒ、およびＲ_ｒｅｃｔ並びにマッピング行列Ｍが決定された後に、上記にて説明されている単一の画像歪み補正手順と同様に画像修正手順が実行され得る。画像修正は、それぞれの個々のイメージングデバイスにより得られた各画像セットに対して別々に実行され得る。例えば、図１６を再び参照すると、点（ｕ_３，ｖ_３）に関し、元の左カメラ座標系における座標（Ｘ_ｐｌ，Ｙ_ｐｌ，Ｚ_ｐｌ）を得るよう逆マッピングが実行され得る。

これは、以下の関係を得るようスケーリングされ得る。

複数の歪み座標は、前に決定された複数の歪みパラメータと歪みモデル（例えば、数式（３））とに従って得られ得る。元の左側の座標系における複数の画素座標（ｕ_１，ｖ_１）がその後、得られ得る。

修正された複数の画像座標（ｕ_３，ｖ_３）のグレースケール値は、任意の適した補間アルゴリズムを用いて決定され得る。この修正処理は、右カメラに関する修正された複数の画像座標を得るのにも用いられ得る。

図１８は、複数の実施形態に係る、画像修正を実行する処理の後の複数の双眼カメラ画像を示す。複数の画像は、左カメラにより得られた第１の修正画像１１００と、右カメラにより得られた第２の修正画像１１０２とを含む。特に、第１の画像１１００における複数の物体は、重ねられた複数の水平方向の線１１０４により示されるように第２の画像１１０２における対応する複数の物体と水平方向に位置合わせされる。

１または複数の画像から得られた画像データが本明細書に説明されるような歪み補正および／または修正により一旦処理されると、複数の画像が、複数のコンピュータビジョン用途など様々な用途のために用いられ得る。いくつかの実施形態において、複数の画像が、シーンにおける複数の物体の複数のイメージングデバイスからの複数の距離など画像化されたシーンに関して空間情報を復元するのに用いられ得る。この空間情報は、例えば、深度マップ、視差マップ、占有格子、ポイントクラウド、およびその他など、環境の複数の３Ｄ表現を生成するのに用いられ得る。

図１９は、複数の実施形態に係る、画像データから複数の深度マップを生成するための方法１２００を示す。方法１２００の複数の段階の少なくともいくつかは、１または複数のプロセッサによってなど、適したコンピューティングシステムまたはデバイスにより実施され得る。

段階１２１０において、１または複数の画像が、１または複数のイメージングデバイスのそれぞれから得られる。それらイメージングデバイスは、シーンの対応する複数の画像を生成するよう、同時に、または実質的に同時に複数の画像をキャプチャするよう構成され得る。それらイメージングデバイスは、異なる複数の位置および／または向きからの同じシーンの複数の画像を生成するよう互いに対して位置決めされ得る。例えば、双眼視システムを搭載したＵＡＶは、ＵＡＶを取り囲む環境の複数の画像を同時にではあるが、２つの異なる位置および／または向きからキャプチャする左カメラおよび右カメラを有し得る。したがって、シーンにおける複数の物体は、異なる複数のイメージングデバイスにより得られた複数の画像において異なる複数の画像座標を有するであろう。

段階１２２０において、１または複数のイメージングデバイスのそれぞれからの１または複数の画像は、３Ｄ深度マップを生成するよう１または複数のイメージングデバイスに関する複数の較正パラメータに基づき処理される。複数の較正パラメータは、本明細書において前に説明されたように、複数のイメージングデバイスに関する複数の内部および／または外部パラメータを含み得、方法６００など本明細書に説明されている複数の較正方法のうち何れかを用いて、前に決定され得る。較正方法は、オンライン較正方法またはオフライン較正方法であり得る。いくつかの実施形態において、複数の較正パラメータは、１または複数のイメージングデバイスのそれぞれからの較正対象の複数の較正画像を用いて決定される。較正対象は、本明細書に提示されている複数の実施形態のうち何れか、例えば、チェッカー盤較正対象であり得る。例えば、較正対象は、繰り返しパターンで配置された複数の特徴、および１または複数の基準マーカを含み得る。１または複数の基準マーカは、複数のイメージングデバイスにより得られた各較正画像内で一意に識別可能であるように、例えば、図６、７および８の複数の実施形態に関して上記にて説明されるようにそれぞれが設計され得る。いくつかの実施形態において、複数の較正画像の少なくとも１つは、較正対象の複数の特徴全てのうちの一部しかキャプチャしていない。前に説明さているたように、本明細書に説明されている複数の方法は、本明細書に説明されるように複数の画像のいくつかまたは全てが較正対象特徴の全ての特徴をキャプチャしていないときでも、複数の較正画像から複数の較正パラメータを決定するのに用いられ得る。

複数の画像から３Ｄ深度マップを生成出来るよう、それら画像を処理する様々な方法が用いられ得る。例えば、複数の画像は、本明細書に説明されている画像歪み補正および／または修正技術により処理され得る。修正された複数の画像はその後、複数の画像における複数の物体に関する深さ情報を復元し、したがって画像化されたシーンの深度マップを生成するよう様々な立体視アルゴリズムへの入力として用いられ得る。例えば、異なる複数のイメージングデバイスにより得られた複数の画像（例えば、同時に、または実質的に同時にキャプチャされた複数の画像）は、それら画像間の複数の視差を決定するために互いに比較され得る。視差情報と複数のイメージングデバイス間の空間的関係に関する情報に基づき、物体と複数のイメージングデバイスとの間の距離が決定され得る。例えば、異なる複数のイメージングデバイスからの複数の画像における同じ物体の複数の画像座標間の視差が計算され得る。複数のイメージングデバイスから物体への距離は、視差、複数のイメージングデバイスの焦点距離、および複数のイメージングデバイス間の空間的関係（例えば、複数のイメージングデバイスの間の距離）の観点で表され得る。したがって、焦点距離および空間的関係情報が一旦（例えば、本明細書に説明されている複数の較正方法を介して）決定されると、距離が計算され得る。

画像化されたシーン内の全ての点に関して３Ｄ深度マップを生成するようにこの処理が繰り返され得る。そのような複数の深度マップは、多種多様な用途に用いられ得る。例えば、複数のイメージングデバイスがＵＡＶによって搭載される複数の実施形態において、複数のイメージングデバイスからの画像データに基づいて生成される深度マップは、様々な物体のＵＡＶからの複数の距離を示す情報を提供するのに用いられ得る。この情報は、障害物回避、ナビゲーション、対象トラッキング、および同様のものなど様々なＵＡＶの機能を助長するようにするのに用いられ得る。

本明細書に説明されている複数のシステム、デバイス、および方法は、多種多様な可動物体に適用され得る。前に言及したように、本明細書における航空機についてのいずれの説明も、任意の可動物体に当てはまり得、およびそのために用いられ得る。本願発明の可動物体は、空中（例えば、固定翼航空機、回転翼航空機、または固定翼も回転翼も有さない航空機）、水中（例えば、船または潜水艦）、地上（例えば、車、トラック、バス、バン、バイクなどの自動車、棒、釣竿などの可動構造または枠体、または電車）、地下（例えば、地下鉄）、宇宙空間（例えば、宇宙飛行機、衛星、または宇宙探査機）、またはこれら環境の任意の組み合わせなど任意の適した環境内を動くよう構成され得る。可動物体は、本明細書の他の箇所において説明されている輸送体などの輸送体であり得る。いくつかの実施形態において、可動物体は、人または動物など生体に搭載され得る。適した複数の動物は、鳥類、イヌ科の動物、ネコ科の動物、ウマ科の動物、ウシ属の動物、羊、豚、イルカ、齧歯動物、または昆虫を含み得る。

可動物体は、環境内で、６自由度（例えば、並進３自由度、および回転３自由度）に関して自由に動くことが可能であり得る。代替的に、可動物体の動きは、所与の経路、軌道、または向きによってなど１または複数の自由度に関して制限を受け得る。動きは、エンジンまたはモータなどの任意の適した作動機構により作動させられ得る。可動物体の作動機構は、電気エネルギー、磁気エネルギー、太陽エネルギー、風力エネルギー、重力エネルギー、化学エネルギー、核エネルギー、またはこれらの任意の適した組み合わせなど任意の適したエネルギー源により電力供給され得る。可動物体は、本明細書の他の箇所において説明されるように、推進システムを介して自己推進し得る。オプションで、推進システムは、電気エネルギー、磁気エネルギー、太陽エネルギー、風力エネルギー、重力エネルギー、化学エネルギー、核エネルギー、またはこれらの任意の適した組み合わせなどのエネルギー源で作動し得る。代替的に、可動物体は生き物により運ばれ得る。

いくつかの場合において、可動物体は輸送体であり得る。適した複数の輸送体は、水用輸送体、航空機、宇宙用輸送体、または地面用輸送体を含み得る。例えば、複数の航空機は、固定翼航空機（例えば、飛行機、グライダー）、回転翼航空機（例えば、ヘリコプター、ロータクラフト）、固定翼および回転翼の両方を有する航空機、またはいずれも有さない航空機（例えば、小型軟式飛行船、熱気球）であり得る。輸送体は、空中、水上、水中、宇宙空間、地上、または地下を自己推進するなど、自己推進し得る。自己推進型の輸送体は、１または複数のエンジン、モータ、車輪、車軸、磁石、ロータ、プロペラ、ブレード、ノズル、またはこれらの任意の適した組み合わせを含む推進システムなどの推進システムを利用し得る。いくつかの場合において、可動物体が表面から離陸出来る、表面に着陸出来る、それの現在の位置および／または向きを維持出来る（例えば、ホバリングする）、向きを変化させられる、および／または位置を変化させられるよう推進システムが用いられ得る。

可動物体は、ユーザにより遠隔的に制御され得、若しくは、可動物体内、またはその上の乗員により近くで制御され得る。いくつかの実施形態において、可動物体は、ＵＡＶなど無人可動物体であり得る。ＵＡＶなどの無人可動物体は、可動物体に搭乗している乗員を有さなくてもよい。可動物体は、人または自律制御システム（例えば、コンピュータ制御システム）により、若しくはこれらの任意の適した組み合わせにより制御され得る。可動物体は、人工知能を用いて構成されたロボットなど自律的または半自律的ロボットであり得る。

可動物体は、任意の適したサイズおよび／または複数の寸法を有し得る。いくつかの実施形態において、可動物体は、輸送体内またはその上に人である乗員を有するためのサイズおよび／または複数の寸法のものであり得る。代替的に、可動物体は、輸送体内またはその上に人である乗員を有することが可能なサイズおよび／または複数の寸法より小さなものであり得る。可動物体は、人により持ち上げられる、または搭載されるのに適したサイズおよび／または複数の寸法のものであり得る。代替的に、可動物体は、人により持ち上げられる、または搭載されるのに適したサイズおよび／または複数の寸法より大きくてもよい。いくつかの場合において、可動物体は、およそ２ｃｍ、５ｃｍ、１０ｃｍ、５０ｃｍ、１ｍ、２ｍ、５ｍ、または１０ｍより短い、またはそれらと等しい最大寸法（例えば、長さ、幅、高さ、直径、対角線）を有し得る。最大寸法は、およそ２ｃｍ、５ｃｍ、１０ｃｍ、５０ｃｍ、１ｍ、２ｍ、５ｍ、または１０ｍより長くてもよく、またはそれらと等しくてもよい。例えば、可動物体の、対向する複数のロータの複数のシャフト間の距離は、およそ２ｃｍ、５ｃｍ、１０ｃｍ、５０ｃｍ、１ｍ、２ｍ、５ｍ、または１０ｍより短くてもよく、またはそれらと等しくてもよい。代替的に、対向する複数のロータの複数のシャフト間の距離は、およそ２ｃｍ、５ｃｍ、１０ｃｍ、５０ｃｍ、１ｍ、２ｍ、５ｍ、または１０ｍより長くてもよく、またはそれらと等しくてもよい。

いくつかの実施形態において、可動物体は、１００ｃｍ×１００ｃｍ×１００ｃｍ未満、５０ｃｍ×５０ｃｍ×３０ｃｍ未満、または５ｃｍ×５ｃｍ×３ｃｍ未満の体積を有し得る。可動物体の総体積は、およそ１ｃｍ^３、２ｃｍ^３、５ｃｍ^３、１０ｃｍ^３、２０ｃｍ^３、３０ｃｍ^３、４０ｃｍ^３、５０ｃｍ^３、６０ｃｍ^３、７０ｃｍ^３、８０ｃｍ^３、９０ｃｍ^３、１００ｃｍ^３、１５０ｃｍ^３、２００ｃｍ^３、３００ｃｍ^３、５００ｃｍ^３、７５０ｃｍ^３、１０００ｃｍ^３、５０００ｃｍ^３、１０，０００ｃｍ^３、１００，０００ｃｍ^３、１ｍ^３、または１０ｍ^３より小さくてもよく、またはそれらと等しくてもよい。逆に、可動物体の総体積は、およそ１ｃｍ^３、２ｃｍ^３、５ｃｍ^３、１０ｃｍ^３、２０ｃｍ^３、３０ｃｍ^３、４０ｃｍ^３、５０ｃｍ^３、６０ｃｍ^３、７０ｃｍ^３、８０ｃｍ^３、９０ｃｍ^３、１００ｃｍ^３、１５０ｃｍ^３、２００ｃｍ^３、３００ｃｍ^３、５００ｃｍ^３、７５０ｃｍ^３、１０００ｃｍ^３、５０００ｃｍ^３、１０，０００ｃｍ^３、１００，０００ｃｍ^３、１ｍ^３、または１０ｍ^３より大きくてもよく、またはそれらと等しくてもよい。

いくつかの実施形態において、可動物体は、およそ３２，０００ｃｍ^２、２０，０００ｃｍ^２、１０，０００ｃｍ^２、１，０００ｃｍ^２、５００ｃｍ^２、１００ｃｍ^２、５０ｃｍ^２、１０ｃｍ^２、または５ｃｍ^２より小さい、またはそれらと等しい設置面積（可動物体により取り囲まれる横方向の断面積を指し得る）を有し得る。逆に、設置面積は、およそ３２，０００ｃｍ^２、２０，０００ｃｍ^２、１０，０００ｃｍ^２、１，０００ｃｍ^２、５００ｃｍ^２、１００ｃｍ^２、５０ｃｍ^２、１０ｃｍ^２、または５ｃｍ^２より大きくてもよく、またはそれらと等しくてもよい。

いくつかの場合において、可動物体は１０００ｋｇ以下の重量を有し得る。可動物体の重量は、およそ１０００ｋｇ、７５０ｋｇ、５００ｋｇ、２００ｋｇ、１５０ｋｇ、１００ｋｇ、８０ｋｇ、７０ｋｇ、６０ｋｇ、５０ｋｇ、４５ｋｇ、４０ｋｇ、３５ｋｇ、３０ｋｇ、２５ｋｇ、２０ｋｇ、１５ｋｇ、１２ｋｇ、１０ｋｇ、９ｋｇ、８ｋｇ、７ｋｇ、６ｋｇ、５ｋｇ、４ｋｇ、３ｋｇ、２ｋｇ、１ｋｇ、０．５ｋｇ、０．１ｋｇ、０．０５ｋｇ、または０．０１ｋｇより軽くてもよく、またはそれらと等しくてもよい。逆に、重量は、およそ１０００ｋｇ、７５０ｋｇ、５００ｋｇ、２００ｋｇ、１５０ｋｇ、１００ｋｇ、８０ｋｇ、７０ｋｇ、６０ｋｇ、５０ｋｇ、４５ｋｇ、４０ｋｇ、３５ｋｇ、３０ｋｇ、２５ｋｇ、２０ｋｇ、１５ｋｇ、１２ｋｇ、１０ｋｇ、９ｋｇ、８ｋｇ、７ｋｇ、６ｋｇ、５ｋｇ、４ｋｇ、３ｋｇ、２ｋｇ、１ｋｇ、０．５ｋｇ、０．１ｋｇ、０．０５ｋｇ、または０．０１ｋｇより重くてもよく、またはそれらと等しくてもよい。

いくつかの実施形態において、可動物体は、可動物体により搭載される積み荷に対して小さくてもよい。積み荷は、以下にさらに詳細に説明されるような積載物および／または支持機構を含み得る。いくつかの例において、荷重に対する可動物体の重量の比は、およそ１：１より大きい、それより小さい、またはそれと等しくてもよい。いくつかの場合において、荷重に対する可動物体の重量の比は、およそ１：１より大きい、それより小さい、またはそれと等しくてもよい。オプションで、荷重に対する支持機構の重量の比は、およそ１：１より大きい、それより小さい、またはそれと等しくてもよい。所望されるとき、荷重に対する可動物体の重量の比は、１：２、１：３、１：４、１：５、１：１０より小さくてもよく、またはそれらと等しくてもよく、若しくはさらに小さくてもよい。逆に、荷重に対する可動物体の重量の比は、２：１、３：１、４：１、５：１、１０：１より大きくてもよい、またはそれらと等しくてもよく、若しくはさらに大きくてもよい。

いくつかの実施形態において、可動物体は、消費するエネルギーが少量であり得る。例えば、可動物体は、およそ５Ｗ／ｈ、４Ｗ／ｈ、３Ｗ／ｈ、２Ｗ／ｈ、１Ｗ／ｈより少量を、若しくはさらに少量を用い得る。いくつかの場合において、可動物体の支持機構は、消費するエネルギーが少量であり得る。例えば、支持機構は、およそ５Ｗ／ｈ、４Ｗ／ｈ、３Ｗ／ｈ、２Ｗ／ｈ、１Ｗ／ｈより少量を、若しくはさらに少量を用い得る。オプションで、可動物体の積載物は、およそ５Ｗ／ｈ、４Ｗ／ｈ、３Ｗ／ｈ、２Ｗ／ｈ、１Ｗ／ｈより少量を、若しくはさらに少量など、消費するエネルギーが少量であり得る。

図２０は、本願発明の複数の実施形態に係る無人航空機（ＵＡＶ）１３００を図示する。ＵＡＶは、本明細書に説明されるような可動物体の例であり得る。ＵＡＶ１３００は、４つのロータ１３０２、１３０４、１３０６および１３０８を有する推進システムを含み得る。任意の数の（例えば、１、２、３、４、５、６、またはより多くの）ロータが設けられ得る。複数のロータは、本明細書の他の箇所に説明されている複数の自己締付式ロータの複数の実施形態であり得る。無人航空機の複数のロータ、ロータ組立体、または他の推進システムは、無人航空機が、ホバリングする／位置を維持する、向きを変化させる、および／または位置を変化させることを可能とし得る。対向する複数のロータの複数のシャフト間の距離は、任意の適した長さ１３１０であり得る。例えば、長さ１３１０は、２ｍより短くてもよく、またはそれと等しくてもよく、若しくは、５ｍより短くてもよく、またはそれと等しくてもよい。いくつかの実施形態において、長さ１３１０は、４０ｃｍ〜１ｍ、１０ｃｍ〜２ｍ、または５ｃｍ〜５ｍの範囲内であり得る。本明細書におけるＵＡＶについてのいずれの説明も、異なるタイプの可動物体などの可動物体に当てはまり得、またその逆も当てはまる。

いくつかの実施形態において、可動物体は積み荷を運ぶよう構成され得る。積み荷は、乗客、貨物、器材、器具、および同様のものの１または複数を含み得る。積み荷は筐体内に設けられ得る。筐体は、可動物体の筐体とは別個であり得、可動物体のための筐体の一部であり得る。代替的に、積み荷には筐体が設けられ得、他方、可動物体は筐体を有さない。代替的に、積み荷の複数の部分、または積み荷全体は筐体なしで設けられ得る。積み荷は、可動物体に対して強固に固定され得る。オプションで、積み荷は、可動物体に対して動くことが可能（例えば、可動物体に対して並進可能または回転可能）であり得る。

いくつかの実施形態において、積み荷は積載物を含む。積載物は、何ら動作または機能を実行しないように構成され得る。代替的に、積載物は、機能的な積載物としても知られる動作または機能を実行するよう構成された積載物であり得る。例えば、積載物は、１または複数の対象を調査するための１または複数のセンサを含み得る。画像キャプチャデバイス（例えば、カメラ）、オーディオキャプチャデバイス（例えば、パラボラマイク）、赤外線イメージングデバイス、または紫外線イメージングデバイスなど任意の適したセンサが、積載物に組み込まれ得る。センサは、静的な感知データ（例えば、写真）または動的な感知データ（例えば、ビデオ）を提供し得る。いくつかの実施形態において、センサは、積載物の対象に関する感知データを提供する。代替的に、または組み合わせて、積載物は、複数の信号を１または複数の対象へ提供するための１または複数の発信機を含み得る。照明光源または音源など任意の適した発信機が用いられ得る。いくつかの実施形態において、積載物は、可動物体とは遠隔であるモジュールとの通信などのための１または複数の送受信機を含む。オプションで、積載物は、環境または対象とインタラクトするよう構成され得る。例えば、積載物は、複数の物体を操作可能なロボットアームなどツール、器具、または機構を含み得る。

オプションで、積み荷は支持機構を含み得る。支持機構は積載物に対して設けられ得、積載物は、直接的に（例えば、可動物体に直接的に接触して）または間接的に（例えば、可動物体に接触せず）支持機構を介して可動物体に接続され得る。逆に、積載物は支持機構を要することなく可動物体に搭載され得る。積載物は、支持機構と一体的に形成され得る。代替的に、積載物は支持機構と解放可能に接続され得る。いくつかの実施形態において、積載物は、１または複数の積載物要素を含み得、複数の積載物要素の１または複数は、上記にて説明されるように可動物体および／または支持機構に対して動くことが可能であり得る。

支持機構は、可動物体と一体的に形成され得る。代替的に、支持機構は可動物体と解放可能に接続され得る。支持機構は、直接的または間接的に可動物体に接続され得る。支持機構は、積載物に対してサポートを提供し（例えば、積載物の重量の少なくとも一部を運び）得る。支持機構は、積載物の動きを安定化させ得る、および／または方向付け得ることが可能な適した取り付け構造（例えば、ジンバルプラットフォーム）を含み得る。いくつかの実施形態において、支持機構は、可動物体に対する積載物の状態（例えば、位置および／または向き）を制御するよう適合され得る。例えば、支持機構は、積載物が可動物体の動きに関わらず適した基準枠に対してそれの位置および／または向きを維持するように、可動物体に対して（例えば、１、２、または３つの並進度、および／または１、２、または３つの回転度に関して）に動くよう構成され得る。基準枠は固定された基準枠（例えば、周囲環境）であり得る。代替的に、基準枠は動いている基準枠（例えば、可動物体、積載物対象）であり得る。

いくつかの実施形態において、支持機構は、支持機構および／または可動物体に対する積載物の動きを可能とするよう構成され得る。動きは、（例えば、１、２、または３つの軸に沿った）最大３自由度に関する並進、（例えば、１、２、または３つの軸周りの）最大３自由度に関する回転、またはこれらの任意の適した組み合わせであり得る。

いくつかの場合において、支持機構は、支持機構枠組立体および支持機構作動組立体を含み得る。支持機構枠組立体は、積載物に対して構造的なサポートを提供し得る。支持機構枠組立体は、複数の個別の支持機構枠部品を含み得、これらのうちいくつかは、互いに対して動くことが可能であり得る。支持機構作動組立体は、複数の個別の支持機構枠部品の動きを作動させる１または複数のアクチュエータ（例えば、モータ）を含み得る。複数のアクチュエータは、複数の支持機構枠部品の動きを同時に可能とし得、または、一時に単一の支持機構枠部品の動きを可能とするよう構成され得る。複数の支持機構枠部品の動きは、積載物の対応する動きを生じさせ得る。例えば、支持機構作動組立体は、１または複数の回転軸（例えば、ロール軸、ピッチ軸、またはヨー軸）周りの１または複数の支持機構枠部品の回転を作動させ得る。１または複数の支持機構枠部品の回転は積載物を、可動物体に対して１または複数の回転軸周りで回転させ得る。代替的に、または組み合わせて、支持機構作動組立体は、１または複数の並進軸に沿った１または複数の支持機構枠部品の並進を作動させ得、これにより、可動物体に対して１または複数の対応する軸に沿った積載物の並進を生じさせ得る。

いくつかの実施形態において、可動物体、支持機構、および積載物の、固定された基準枠（例えば、周囲環境）に対する、および／または互いに対する動きは、端末により制御され得る。端末は、可動物体、支持機構、および／または積載物から距離を置いた位置における遠隔制御デバイスであり得る。端末は、支持プラットフォーム上に配置され得、またはそれに貼り付けられ得る。代替的に、端末はハンドヘルドデバイスまたはウェアラブルデバイスであり得る。例えば、端末は、スマートフォン、タブレット、ラップトップ、コンピュータ、眼鏡、手袋、ヘルメット、マイク、またはこれらの適した複数の組み合わせを含み得る。端末は、キーボード、マウス、ジョイスティック、タッチスクリーン、またはディスプレイなどのユーザインタフェースを含み得る。手動で入力されたコマンド、音声制御、ジェスチャ制御、（例えば、端末の動き、位置、または傾きを介した）位置制御など任意の適したユーザ入力が、端末とインタラクトするのに用いられ得る。

端末は、可動物体、支持機構、および／または積載物の任意の適した状態を制御するのに用いられ得る。例えば、端末は、可動物体、支持機構、および／または積載物の、固定された基準に対する、互いからの、および／または互いへの位置および／または向きを制御するのに用いられ得る。いくつかの実施形態において、端末は、支持機構の作動組立体、積載物のセンサ、積載物の発信機などの可動物体、支持機構、および／または積載物の複数の個々の要素を制御するのに用いられ得る。端末は、可動物体、支持機構、または積載物の１または複数と通信を行うよう適合させられた無線通信デバイスを含み得る。

端末は、可動物体、支持機構、および／または積載物の情報を見るための適したディスプレイユニットを含み得る。例えば、端末は、位置、並進速度、並進加速度、向き、角速度、角加速度、またはこれらの任意の適した複数の組み合わせに関する、可動物体、支持機構、および／または積載物の情報を表示するよう構成され得る。いくつかの実施形態において、端末は、機能的な積載物により提供されるデータ（例えば、カメラまたは他の画像キャプチャデバイスにより記録された複数の画像）など積載物により提供される情報を表示し得る。

オプションで、同じ端末が、可動物体、支持機構、および／または積載物、若しくは可動物体、支持機構、および／または積載物の状態の制御と、可動物体、支持機構、および／または積載物からの情報の受信および／または表示との両方を行い得る。例えば、端末は、積載物によりキャプチャされた画像データ、または積載物の位置についての情報を表示している間、環境に対する積載物の配置を制御し得る。代替的に、異なる複数の端末が異なる複数の機能のために用いられ得る。例えば、第１端末が可動物体、支持機構、および／または積載物の動きまたは状態を制御し得、他方、第２端末が可動物体、支持機構、および／または積載物からの情報を受信および／または表示し得る。例えば、第１端末が、環境に対する積載物の配置を制御するのに用いられ得、他方、第２端末が、積載物によりキャプチャされた画像データを表示し得る。可動物体と、可動物体の制御とデータの受信との両方を行う統合型の端末との間で、または可動物体と、可動物体の制御とデータの受信との両方を行う複数の端末との間で、様々な通信モードが利用され得る。例えば、少なくとも２つの異なる通信モードが、可動物体と、可動物体の制御と可動物体からのデータの受信との両方を行う端末との間で形成され得る。

図２１は、複数の実施形態に係る、支持機構１４０２および積載物１４０４を含む可動物体１４００を例示する。可動物体１４００は航空機として描写されているが、この描写は限定であることを意図されておらず、本明細書で前に説明されるように任意の適したタイプの可動物体が用いられ得る。複数の航空機システムに関する文脈で本明細書に説明されている複数の実施形態のうち何れかが、任意の適した可動物体（例えば、ＵＡＶ）に適用され得ることを当業者は理解されよう。いくつかの場合において、積載物１４０４は、支持機構１４０２を要することなく可動物体１４００に設けられ得る。可動物体１４００は、複数の推進機構１４０６、感知システム１４０８、および通信システム１４１０を含み得る。

複数の推進機構１４０６は、前に説明されるように複数のロータ、複数のプロペラ、複数のブレード、複数のエンジン、複数のモータ、複数の車輪、複数の車軸、複数の磁石、複数のノズルの１または複数を含み得る。例えば、複数の推進機構１４０６は、本明細書の他の箇所において開示されているように、複数の自己締付式ロータ、複数のロータ組立体、または他の複数の回転式推進ユニットであり得る。可動物体は、１または複数の、２またはそれより多くの、３またはそれより多くの、４またはそれより多くの推進機構を有し得る。複数の推進機構は全て同じタイプのものであり得る。代替的に、１または複数の推進機構は、異なる複数のタイプの推進機構であり得る。複数の推進機構１４０６は、本明細書の他の箇所において説明されるような支持要素（例えば、駆動シャフト）など任意の適した手段を用いて可動物体１４００に搭載され得る。複数の推進機構１４０６は、頂部、底部、前部、後部、複数の側部、またはこれらの任意の適した複数の組み合わせなど可動物体１４００の任意の適した部分に搭載され得る。

いくつかの実施形態において、複数の推進機構１４０６は、可動物体１４００が可動物体１４００の水平方向の動きを何ら要することなく（例えば、滑走路を滑走することなく）表面から鉛直方向に離陸する、または表面に鉛直方向に着陸することを可能とし得る。オプションで、複数の推進機構１４０６は、可動物体１４００が指定された位置および／または向きで空中でホバリングすることを可能とするよう動作可能であり得る。複数の推進機構１４００の１または複数は、他の複数の推進機構とは独立して制御され得る。代替的に、複数の推進機構１４００は、同時に制御されるよう構成され得る。例えば、可動物体１４００は、揚力および／または推力を可動物体に対して提供し得る複数の水平面指向のロータを有し得る。複数の水平面指向のロータは、鉛直方向の離陸、鉛直方向の着陸、およびホバリング能力を可動物体１４００に対して提供するよう作動させられ得る。いくつかの実施形態において、複数の水平面指向のロータの１または複数が反時計回り方向に回転し得る間、複数の水平面指向のロータの１または複数は時計回り方向に回転し得る。例えば、時計回りのロータの数は、反時計回りのロータの数と等しくてもよい。複数の水平面指向のロータのうちそれぞれの回転速度は、各ロータにより生成される揚力および／または推力を制御し、およびそれにより、（例えば、最大３つの並進度、および最大３つの回転度に関して）可動物体１４００の空間的配置、速度、および／または加速度を調整するために独立して変化させられ得る。

感知システム１４０８は、（例えば、最大３つの並進度、および最大３つの回転度に関して）可動物体１４００の空間的配置、速度および／または加速度を感知し得る１または複数のセンサを含み得る。１または複数のセンサは、全地球測位システム（ＧＰＳ）センサ、動きセンサ、慣性センサ、近接センサ、または画像センサを含み得る。感知システム１４０８により提供される感知データは、（例えば、以下に説明されるように、適したプロセッシングユニットおよび／または制御モジュールを用いて）可動物体１４００の空間的配置、速度、および／または向きを制御するのに用いられ得る。代替的に、感知システム１４０８は、天候条件、潜在的な複数の障害物への近接、複数の地理的特徴の位置、複数の人工構造の位置、および同様のものなど、可動物体を取り囲む環境についてのデータを提供するのに用いられ得る。

通信システム１４１０は、通信システム１４１４を有する端末１４１２との複数の無線信号１４１６を介した通信を可能とする。通信システム１４１０、１４１４は、無線通信に適した任意の数の送信機、受信機、および／または送受信機を含み得る。通信は、データが１方向にのみ送信され得るように片方向通信であり得る。例えば、片方向通信は、可動物体１４００のみがデータを端末１４１２へ送信することを伴い得、またはその逆も当てはまる。データは、通信システム１４１０の１または複数の送信機から通信システム１４１２の１または複数の受信機へ送信され得、またはその逆も当てはまる。代替的に、通信は、データが可動物体１４００と端末１４１２との間で両方の方向に送信され得るように双方向通信であり得る。双方向通信は、通信システム１４１０の１または複数の送信機から通信システム１４１４の１または複数の受信機へデータを送信することを伴い得、またその逆も当てはまる。

いくつかの実施形態において、端末１４１２は、可動物体１４００、支持機構１４０２、および積載物１４０４の１または複数に対して制御データを提供し得、可動物体１４００、支持機構１４０２、および積載物１４０４の１または複数から情報（例えば、可動物体、支持機構または積載物の位置および／または動き情報、積載物のカメラによりキャプチャされた画像データなど積載物により感知されたデータ）を受信し得る。いくつかの場合において、端末からの制御データは、可動物体、支持機構、および／または積載物の複数の相対的な位置、複数の動き、複数の作動、または複数の制御のための複数の命令を含み得る。例えば、制御データにより可動物体の位置および／または向きが（例えば、複数の推進機構１４０６の制御を介して）変更されることになり得、または可動物体に対して積載物が（例えば、支持機構１４０２の制御を介して）動くことになり得る。端末からの制御データにより、カメラまたは他の画像キャプチャデバイスの動作の制御（例えば、静止画または動画の撮像、ズームインまたはアウト、電源のオンオフ、複数の画像化モードの切り替え、画像解像度の変更、焦点の変更、被写界深度の変更、露出時間の変更、視角または視界の変更）など積載物が制御されることになり得る。いくつかの場合において、可動物体、支持機構、および／または積載物からの複数の通信は、（例えば、感知システム１４０８の、または積載物１４０４の）１または複数のセンサからの情報を含み得る。複数の通信は、１または複数の異なるタイプのセンサ（例えば、ＧＰＳセンサ、動きセンサ、慣性センサ、近接センサ、または画像センサ）からの感知された情報を含み得る。そのような情報は可動物体、支持機構、および／または積載物の位置（例えば、位置、向き）、動き、または加速度に関し得る。積載物からのそのような情報は、積載物によりキャプチャされたデータ、または積載物の感知された状態を含み得る。端末１４１２により送信されて提供される制御データは、可動物体１４００、支持機構１４０２、または積載物１４０４の１または複数の状態を制御するよう構成され得る。代替的に、または組み合わせて、支持機構１４０２および積載物１４０４はそれぞれ、端末１４１２が可動物体１４００、支持機構１４０２、および積載物１４０４のうちそれぞれと独立して通信を行い得るように、またそれぞれを制御出来るよう端末と通信を行うよう構成された通信モジュールも含み得る。

いくつかの実施形態において、可動物体１４００は、端末１４１２に加えて、または端末１４１２の代わりに他の遠隔デバイスと通信を行うよう構成され得る。また端末１４１２は、可動物体１４００のみならず他の遠隔デバイスとも通信を行うよう構成され得る。例えば、可動物体１４００および／または端末１４１２は、他の可動物体、若しくは他の可動物体の支持機構または積載物と通信を行い得る。所望されるとき、遠隔デバイスは第２端末または他のコンピューティングデバイス（例えば、コンピュータ、ラップトップ、タブレット、スマートフォン、または他のモバイルデバイス）であり得る。遠隔デバイスは、可動物体１４００へデータを送信し、可動物体１４００からデータを受信し、端末１４１２へデータを送信し、および／または端末１４１２からデータを受信するよう構成され得る。オプションで、遠隔デバイスは、可動物体１４００および／または端末１４１２から受信したデータがウェブサイトまたはサーバにアップロードされ得るようにインターネットまたは他の遠距離通信ネットワークに接続され得る。

図２２は、複数の実施形態に係る、可動物体を制御するためのシステム１５００のブロック図を用いた概略図である。システム１５００は、本明細書に開示される複数のシステム、デバイス、および方法の任意の適した実施形態と組み合わせて用いられ得る。システム１５００は、感知モジュール１５０２、プロセッシングユニット１５０４、非一時的コンピュータ可読媒体１５０６、制御モジュール１５０８、および通信モジュール１５１０を含み得る。

感知モジュール１５０２は、異なる複数のやり方で複数の可動物体に関連する情報を収集する異なる複数のタイプのセンサを利用し得る。異なる複数のタイプのセンサが、異なる複数のタイプの信号、または異なる複数の発信源からの複数の信号を感知し得る。例えば、複数のセンサは、慣性センサ、ＧＰＳセンサ、近接センサ（例えば、ライダー）、または視覚／画像センサ（例えば、カメラ）を含み得る。感知モジュール１５０２は、複数のプロセッサを有するプロセッシングユニット１５０４に操作可能に接続され得る。いくつかの実施形態において、感知モジュールは、感知データを直接的に適した外部デバイスまたはシステムへ送信するよう構成された送信モジュール１５１２（例えば、Ｗｉ−Ｆｉ（登録商標）画像送信モジュール）に操作可能に接続され得る。例えば、送信モジュール１５１２は、感知モジュール１５０２のカメラによりキャプチャされた複数の画像を遠隔端末へ送信するのに用いられ得る。

プロセッシングユニット１５０４は、プログラマブルプロセッサ（例えば、中央演算処理装置（ＣＰＵ）など１または複数のプロセッサを有し得る。プロセッシングユニット１５０４は、非一時的コンピュータ可読媒体１５０６に操作可能に接続され得る。非一時的コンピュータ可読媒体１５０６は、１または複数の段階を実行するためにプロセッシングユニット１５０４により実行可能であるロジック、コード、および／または複数のプログラム命令を格納し得る。非一時的コンピュータ可読媒体は、１または複数のメモリユニット（例えば、ＳＤカードまたはランダムアクセスメモリ（ＲＡＭ）など取り外し可能な媒体または外部ストレージ）を含み得る。いくつかの実施形態において、感知モジュール１５０２からのデータは、非一時的コンピュータ可読媒体１５０６の複数のメモリユニットへ直接的に伝達され、その中に格納され得る。非一時的コンピュータ可読媒体１５０６の複数のメモリユニットは、本明細書に説明されている複数の方法の任意の適した実施形態を実行するべくプロセッシングユニット１５０４により実行可能なロジック、コード、および／または複数のプログラム命令を格納し得る。例えば、プロセッシングユニット１５０４は、プロセッシングユニット１５０４の１または複数のプロセッサに、感知モジュールにより生成された感知データを分析させる複数の命令を実行するよう構成され得る。複数のメモリユニットは、プロセッシングユニット１５０４により処理されることになる感知モジュールからの感知データを格納し得る。いくつかの実施形態において、非一時的コンピュータ可読媒体１５０６の複数のメモリユニットは、プロセッシングユニット１５０４により生成される複数の処理結果を格納するのに用いられ得る。

いくつかの実施形態において、プロセッシングユニット１５０４は、可動物体の状態を制御するよう構成された制御モジュール１５０８に操作可能に接続され得る。例えば、制御モジュール１５０８は、６自由度に関して可動物体の空間的配置、速度、および／または加速度を調整するよう可動物体の複数の推進機構を制御するよう構成され得る。代替的に、または組み合わせて、制御モジュール１５０８は、支持機構、積載物、または感知モジュールの状態の１または複数を制御し得る。

プロセッシングユニット１５０４は、１または複数の外部デバイス（例えば、端末、ディスプレイデバイス、または他のリモートコントローラ）へデータを送信し、および／またはデータをそれらから受信するよう構成された通信モジュール１５１０に操作可能に接続され得る。有線通信または無線通信など任意の適した通信手段が用いられ得る。例えば、通信モジュール１５１０は、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、赤外線、無線、ＷｉＦｉ（登録商標）、ポイントツーポイント（Ｐ２Ｐ）ネットワーク、遠距離通信ネットワーク、クラウド通信、および同様のものの１または複数を利用し得る。オプションで、タワー、衛星、移動局などの複数の中継局が用いられ得る。複数の無線通信は近接性依存または近接性非依存であり得る。いくつかの実施形態において、複数の通信のために見通し線は要求されてもよくされなくてもよい。通信モジュール１５１０は、感知モジュール１５０２からの感知データ、プロセッシングユニット１５０４により生成された複数の処理結果、所与の制御データ、端末またはリモートコントローラからの複数のユーザコマンド、および同様のものの１または複数を送信し得、および／またはそれらを受信し得る。

システム１５００の複数のコンポーネントは、任意の適した構成で配置され得る。例えば、システム１５００の複数のコンポーネントの１または複数は、可動物体、支持機構、積載物、端末、感知システム、または上記のものの１または複数と通信を行っている追加の外部デバイスの上に配置され得る。追加的に、図２２は単一のプロセッシングユニット１５０４および単一の非一時的コンピュータ可読媒体１５０６を描写しているが、このことは限定するよう意図されていないこと、およびシステム１５００が複数のプロセッシングユニットおよび／または非一時的コンピュータ可読媒体を含み得ることを当業者は理解されよう。いくつかの実施形態において、複数のプロセッシングユニットおよび／または非一時的コンピュータ可読媒体の１または複数は、システム１５００により実行される処理および／またはメモリ機能の任意の適した態様が、可動物体、支持機構、積載物、端末、感知モジュール、上記のものの１または複数と通信を行っている追加の外部デバイス、またはこれらの適した複数の組み合わせ上など異なる複数の位置の１または複数で起こり得るよう、上記で説明した複数の位置に位置付けられ得る。

本明細書で用いられているように、Ａおよび／またはＢとは、ＡまたはＢの１または複数、ＡおよびＢなどこれらの複数の組み合わせを包含する。

本開示の複数の装置、デバイス、システム、およびそれらのコンポーネントのうち何れかの特定の複数の寸法は、本明細書の開示を考慮すれば当業者に明らかとなるように、意図されている用途に応じて容易に変更され得る。さらに、本明細書に説明されている複数の実施形態は、例示のみを目的としており、それらを考慮しての様々な変更または変化が当業者に提案され得、本願の思想および範囲、および添付の複数の請求項の態様に含まれていることが理解される。本明細書に説明されている複数の実施形態の多数の異なる組み合わせが可能であり、そのような組み合わせは、本開示の一部と見なされる。加えて、本明細書における任意の一実施形態との関連で説明される全ての特徴は、本明細書における他の複数の実施形態での使用に容易に適合させられ得る。

本願発明の好ましい複数の実施形態が本明細書において示され説明されてきたが、当業者にとっては、そのような複数の実施形態が単なる例示により提供されていることが明らかとなろう。当業者は、本願発明から逸脱することなく多数の変形例、変更例、および置換例が思いつかれよう。本明細書に説明されている本願発明の複数の実施形態の様々な代替例が本願発明を実施するにあたり採用され得ることが理解されるべきである。以下の請求項は本願発明の範囲を規定し、これらの請求項の範囲内の複数の方法および構造、並びにそれらの同等物がそれら請求項によって網羅されることが意図されている。
（項目１）
１または複数のイメージングデバイスを較正するための方法であり、
繰り返しパターンで配置された複数の特徴と１または複数の基準マーカを含む較正対象の複数の画像を、上記１または複数のイメージングデバイスのそれぞれから受信するステップと、
上記複数の画像の各画像における上記１または複数の基準マーカと、上記較正対象の上記１または複数の基準マーカとの間の空間的関係を、１または複数のプロセッサの補助を受けて決定するステップと、
上記空間的関係に基づき、および１または複数のプロセッサの補助を受け、上記複数の画像の各画像における複数の特徴の画像座標と、上記較正対象上の対応する複数の特徴に関する複数のグローバル座標との間の対応を定式化するステップと、
上記対応に基づき、および上記１または複数のプロセッサの補助を受け、上記１または複数のイメージングデバイスに関する複数の較正パラメータを決定するステップと
を含み、
上記１または複数の基準マーカはそれぞれ、上記複数の画像の各画像において一意に識別可能であり、
上記複数の画像は、上記複数の特徴全てのうちの一部しかキャプチャしていない少なくとも１つの画像を含む、方法。
（項目２）
上記１または複数のイメージングデバイスは無人航空機により搭載される、項目１に記載の方法。
（項目３）
上記複数の画像の上記各画像は、上記１または複数の基準マーカと、上記較正対象の上記複数の特徴の少なくともサブセットをキャプチャする、項目１に記載の方法。
（項目４）
上記１または複数のイメージングデバイスのそれぞれからの上記複数の画像は、上記較正対象に対して異なる位置および向きで撮像される、項目１に記載の方法。
（項目５）
上記較正対象は、複数の正方形を含むチェッカー盤であり、上記複数の特徴は上記複数の正方形の複数の角点を含む、項目１に記載の方法。
（項目６）
上記１または複数の基準マーカはそれぞれ、上記複数の正方形の１つの中に位置付けられる、項目５に記載の方法。
（項目７）
上記複数の特徴は、上記チェッカー盤の４つの外側の角を含み、上記少なくとも１つの画像は、上記４つの外側の角の少なくとも１つを除外する、項目５に記載の方法。
（項目８）
上記１または複数の基準マーカは少なくとも３つの基準マーカを含む、項目１に記載の方法。
（項目９）
上記１または複数の基準マーカは、複数の円形のドット、三角形、または四辺形を含む、項目１に記載の方法。
（項目１０）
上記１または複数の基準マーカは、上記繰り返しパターンに重ねられる、項目１に記載の方法。
（項目１１）
上記１または複数の基準マーカは、上記較正対象上の不規則な多角形の複数の頂点を形成する、項目１に記載の方法。
（項目１２）
上記１または複数の基準マーカは、二等辺または不等辺三角形の複数の頂点を形成する３つの基準マーカを含む、項目１１に記載の方法。
（項目１３）
上記１または複数の基準マーカは、上記複数の画像における不規則な多角形の複数の頂点を形成し、上記空間的関係を決定するステップは、上記複数の画像における上記不規則な多角形の上記複数の頂点と、上記較正対象上の上記不規則な多角形の上記複数の頂点との間の対応を識別する、項目１１に記載の方法。
（項目１４）
上記複数の特徴は、平面上で上記繰り返しパターンに配置され、上記１または複数の基準マーカは、上記平面内で非回転対称である形状を形成する、項目１に記載の方法。
（項目１５）
上記１または複数のイメージングデバイスは、実質的に同時に複数の画像をキャプチャする第１カメラおよび第２カメラを含む、項目１に記載の方法。
（項目１６）
上記定式化するステップは、上記第１カメラにより得られた画像および上記第２カメラにより得られた対応する画像の両方に存在する複数の特徴を識別するステップを有する、項目１５に記載の方法。
（項目１７）
上記複数の較正パラメータは、上記１または複数のイメージングデバイスのそれぞれに関する焦点距離、主点の位置、画素サイズ、または光学的歪みの少なくとも１つを含む、項目１に記載の方法。
（項目１８）
上記複数の較正パラメータは、上記較正対象に対する上記１または複数のイメージングデバイスのそれぞれの位置および向きを含む、項目１に記載の方法。
（項目１９）
１または複数のイメージングデバイスを較正するためのシステムであって、
繰り返しパターンで配置された複数の特徴と１または複数の基準マーカとを含む較正対象の複数の画像をキャプチャするようそれぞれが構成された１または複数のイメージングデバイスと、
１または複数のプロセッサと
を備え、
上記１または複数の基準マーカはそれぞれ、上記複数の画像の各画像において一意に識別可能であり、
上記複数の画像は、上記複数の特徴全てのうちの一部しかキャプチャしていない少なくとも１つの画像を含み、
上記１または複数のプロセッサは集合的に、または個々に、
上記１または複数のイメージングデバイスのそれぞれから上記複数の画像を受信し、
上記複数の画像の各画像における上記１または複数の基準マーカと、上記較正対象上の上記１または複数の基準マーカとの間の空間的関係を決定し、
上記１または複数の基準マーカの、予め定められた上記複数のグローバル座標に基づき、上記複数の画像の各画像における複数の特徴の画像座標と、上記較正対象に対応する複数の特徴に関するグローバル座標との間の対応を定式化し、
上記対応に基づき、上記１または複数のイメージングデバイスに関する複数の較正パラメータを決定する、システム。
（項目２０）
上記１または複数のイメージングデバイスは無人航空機により搭載される、項目１９に記載のシステム。
（項目２１）
上記複数の画像の上記各画像は、上記１または複数の基準マーカと、上記較正対象上の上記複数の特徴の少なくともサブセットとをキャプチャする、項目１９に記載のシステム。
（項目２２）
上記１または複数のイメージングデバイスのそれぞれからの上記複数の画像は、上記較正対象に対して異なる位置および向きで撮像される、項目１９に記載のシステム。
（項目２３）
上記較正対象は、複数の正方形を含むチェッカー盤であり、上記複数の特徴は上記複数の正方形の複数の角点を含む、項目１９に記載のシステム。
（項目２４）
上記１または複数の基準マーカはそれぞれ、上記複数の正方形の１つの中に位置付けられる、項目２３に記載のシステム。
（項目２５）
上記複数の特徴は、上記チェッカー盤の４つの外側の角を含み、上記少なくとも１つの画像は、上記４つの外側の角の少なくとも１つを除外する、項目２３に記載のシステム。
（項目２６）
上記１または複数の基準マーカは少なくとも３つの基準マーカを含む、項目１９に記載のシステム。
（項目２７）
上記１または複数の基準マーカは、複数の円形のドット、三角形、または四辺形を含む、項目１９に記載のシステム。
（項目２８）
上記１または複数の基準マーカは、上記繰り返しパターンに重ねられる、項目１９に記載のシステム。
（項目２９）
上記１または複数の基準マーカは、上記較正対象上の不規則な多角形の複数の頂点を形成する、項目１９に記載のシステム。
（項目３０）
上記１または複数の基準マーカは、二等辺または不等辺三角形の複数の頂点を形成する３つの基準マーカを含む、項目２９に記載のシステム。
（項目３１）
上記１または複数の基準マーカは、上記複数の画像における不規則な多角形の複数の頂点を形成し、上記空間的関係を決定することは、上記複数の画像における上記不規則な多角形の上記複数の頂点と、上記較正対象上の上記不規則な多角形の上記複数の頂点との間の対応を識別する、項目２９に記載のシステム。
（項目３２）
上記複数の特徴は、平面上で上記繰り返しパターンに配置され、上記１または複数の基準マーカは、上記平面内で非回転対称である形状を形成する、項目１９に記載のシステム。
（項目３３）
上記１または複数のイメージングデバイスは、実質的に同時に複数の画像をキャプチャする第１カメラおよび第２カメラを含む、項目１９に記載のシステム。
（項目３４）
上記定式化することは、上記第１カメラにより得られた上記複数の画像および上記第２カメラにより得られた対応する上記複数の画像に、両方に存在する複数の特徴を識別することを有する、項目３３に記載のシステム。
（項目３５）
上記複数の較正パラメータは、上記１または複数のイメージングデバイスのそれぞれに関する焦点距離、主点の位置、画素サイズ、または光学的歪みの少なくとも１つを含む、項目１９に記載のシステム。
（項目３６）
上記複数の較正パラメータは、上記較正対象に対する上記１または複数のイメージングデバイスのそれぞれの位置および向きを含む、項目１９に記載のシステム。
（項目３７）
１または複数のイメージングデバイスを用いて複数の深度マップを生成するための方法であって、
上記１または複数のイメージングデバイスのそれぞれから１または複数の画像を得る段階と、
１または複数のプロセッサの補助を受け、３次元深度マップを生成するよう上記１または複数のイメージングデバイスに関する複数の較正パラメータに基づき上記１または複数のイメージングデバイスのそれぞれからの上記１または複数の画像を処理する段階と
を備え、
上記複数の較正パラメータは、上記１または複数のイメージングデバイスのそれぞれからの較正対象の複数の較正画像を用いて決定され、
上記較正対象は、繰り返しパターンで配置された複数の特徴と１または複数の基準マーカとを含み、
上記１または複数の基準マーカはそれぞれ、上記複数の較正画像の各較正画像内で一意に識別可能であり、
上記複数の較正画像は、上記複数の特徴全てのうちの一部しかキャプチャしていない少なくとも１つの較正画像を含む、方法。
（項目３８）
上記１または複数のイメージングデバイスは無人航空機により運ばれる、項目３７に記載の方法。
（項目３９）
上記深度マップは、上記無人航空機からの、１または複数の物体の複数の距離を示す情報を含む、項目３８に記載の方法。
（項目４０）
上記複数の較正画像の上記各較正画像は、上記１または複数の基準マーカと、上記較正対象上の上記複数の特徴の少なくともサブセットとをキャプチャしている、項目３７に記載の方法。
（項目４１）
上記複数のイメージングデバイスのそれぞれからの上記複数の較正画像は、上記較正対象に対して異なる複数の位置および向きで撮像される、項目３７に記載の方法。
（項目４２）
上記較正対象は、複数の正方形を含むチェッカー盤であり、上記複数の特徴は上記複数の正方形の複数の角点を含む、項目３７に記載の方法。
（項目４３）
上記１または複数の基準マーカはそれぞれ、上記複数の正方形の１つの中に位置付けられる、項目４２に記載の方法。
（項目４４）
上記複数の特徴は、上記チェッカー盤の４つの外側の角を含み、上記少なくとも１つの較正画像は、上記４つの外側の角の少なくとも１つを除外する、項目４２に記載の方法。
（項目４５）
上記１または複数の基準マーカは少なくとも３つの基準マーカを含む、項目３７に記載の方法。
（項目４６）
上記１または複数の基準マーカは、複数の円形のドット、三角形、または四辺形を含む、項目３７に記載の方法。
（項目４７）
上記１または複数の基準マーカは、上記繰り返しパターンに重ねられる、項目３７に記載の方法。
（項目４８）
上記１または複数の基準マーカは、上記較正対象上の不規則な多角形の複数の頂点を形成する、項目３７に記載の方法。
（項目４９）
上記１または複数の基準マーカは、二等辺または不等辺三角形の複数の頂点を形成する３つの基準マーカを含む、項目４８に記載の方法。
（項目５０）
上記１または複数の基準マーカは、上記複数の較正画像における不規則な多角形の複数の頂点を形成し、上記複数の較正パラメータは、少なくとも、上記複数の較正画像における上記不規則な多角形の上記複数の頂点と、上記較正対象上の上記不規則な多角形の上記複数の頂点との間の対応を識別することにより決定される、項目４８に記載の方法。
（項目５１）
上記複数の特徴は、平面上で上記繰り返しパターンに配置され、上記１または複数の基準マーカは、上記平面内で非回転対称である形状を形成する、項目３７に記載の方法。
（項目５２）
上記１または複数のイメージングデバイスは、実質的に同時に複数の画像をキャプチャする第１カメラおよび第２カメラを含む、項目３７に記載の方法。
（項目５３）
上記１または複数の画像を処理する段階は、上記第１カメラによりキャプチャされた画像および上記第２カメラによりキャプチャされた対応する画像の両方に存在する１または複数の特徴を識別する段階を有する、項目５２に記載の方法。
（項目５４）
上記１または複数の画像を処理する段階は、上記第１カメラによりキャプチャされた画像と、上記第２カメラによりキャプチャされた対応する画像との間の視差を決定する段階を有する、項目５２に記載の方法。
（項目５５）
上記複数の較正パラメータは、上記１または複数のイメージングデバイスのそれぞれに関する焦点距離、主点の位置、画素サイズ、または光学的歪みの少なくとも１つを含む、項目３７に記載の方法。
（項目５６）
上記複数の較正パラメータは、上記較正対象に対する上記１または複数のイメージングデバイスのそれぞれの位置および向きを含む、項目３７に記載の方法。
（項目５７）
上記１または複数の画像を処理する段階は、上記１または複数の画像の少なくとも１つにおける光学的歪みを低減する段階を有する、項目３７に記載の方法。
（項目５８）
１または複数のイメージングデバイスを用いて複数の深度マップを生成するためのシステムであって、
複数の画像を得るようそれぞれが構成された１または複数のイメージングデバイスと、
１または複数のプロセッサと
を備え、
上記１または複数のプロセッサは集合的に、または個々に、
上記１または複数のイメージングデバイスのそれぞれから１または複数の画像を得、
３次元深度マップを生成するよう上記１または複数のイメージングデバイスに関する複数の較正パラメータに基づき上記１または複数のイメージングデバイスのそれぞれからの上記１または複数の画像を処理するよう構成され、
上記複数の較正パラメータは、上記１または複数のイメージングデバイスのそれぞれからの較正対象の複数の較正画像を用いて決定され、
上記較正対象は、繰り返しパターンで配置された複数の特徴と１または複数の基準マーカとを含み、
上記１または複数の基準マーカはそれぞれ、上記複数の較正画像の各較正画像内で一意に識別可能であり、
上記複数の較正画像は、上記複数の特徴全てのうちの一部しかキャプチャしていない少なくとも１つの較正画像を含む、システム。
（項目５９）
上記１または複数のイメージングデバイスは無人航空機により運ばれる、項目５８に記載のシステム。
（項目６０）
上記深度マップは、上記無人航空機からの、１または複数の物体の複数の距離を示す情報を含む、項目５９に記載のシステム。
（項目６１）
上記複数の較正画像の上記各較正画像は、上記１または複数の基準マーカと、上記較正対象上の上記複数の特徴の少なくともサブセットとをキャプチャしている、項目５８に記載のシステム。
（項目６２）
上記複数のイメージングデバイスのそれぞれからの上記複数の較正画像は、上記較正対象に対して異なる複数の位置および向きで撮像される、項目５８に記載のシステム。
（項目６３）
上記較正対象は、複数の正方形を含むチェッカー盤であり、上記複数の特徴は上記複数の正方形の複数の角点を含む、項目５８に記載のシステム。
（項目６４）
上記１または複数の基準マーカはそれぞれ、上記複数の正方形の１つの中に位置付けられる、項目６３に記載のシステム。
（項目６５）
上記複数の特徴は、上記チェッカー盤の４つの外側の角を含み、上記少なくとも１つの較正画像は、上記４つの外側の角の少なくとも１つを除外する、項目６３に記載のシステム。
（項目６６）
上記１または複数の基準マーカは少なくとも３つの基準マーカを含む、項目５８に記載のシステム。
（項目６７）
上記１または複数の基準マーカは、複数の円形のドット、三角形、または四辺形を含む、項目５８に記載のシステム。
（項目６８）
上記１または複数の基準マーカは、上記繰り返しパターンに重ねられる、項目５８に記載のシステム。
（項目６９）
上記１または複数の基準マーカは、上記較正対象上の不規則な多角形の複数の頂点を形成する、項目５８に記載のシステム。
（項目７０）
上記１または複数の基準マーカは、二等辺または不等辺三角形の複数の頂点を形成する３つの基準マーカを含む、項目６９に記載のシステム。
（項目７１）
上記１または複数の基準マーカは、上記複数の較正画像における不規則な多角形の複数の頂点を形成し、上記複数の較正パラメータは、少なくとも、上記複数の較正画像における上記不規則な多角形の上記複数の頂点と、上記較正対象上の上記不規則な多角形の上記複数の頂点との間の対応を識別することにより決定される、項目６９に記載のシステム。
（項目７２）
上記複数の特徴は、平面上で上記繰り返しパターンに配置され、上記１または複数の基準マーカは、上記平面内で非回転対称である形状を形成する、項目５８に記載のシステム。
（項目７３）
上記１または複数のイメージングデバイスは、実質的に同時に複数の画像をキャプチャする第１カメラおよび第２カメラを含む、項目５８に記載のシステム。
（項目７４）
上記１または複数の画像を処理する段階は、上記第１カメラによりキャプチャされた画像および上記第２カメラによりキャプチャされた対応する画像の両方に存在する１または複数の特徴を識別することを有する、項目７３に記載のシステム。
（項目７５）
上記１または複数の画像を処理する段階は、上記第１カメラによりキャプチャされた画像と、上記第２カメラによりキャプチャされた対応する画像との間の視差を決定することを有する、項目７３に記載のシステム。
（項目７６）
上記複数の較正パラメータは、上記１または複数のイメージングデバイスのそれぞれに関する焦点距離、主点の位置、画素サイズ、または光学的歪みの少なくとも１つを含む、項目５８に記載のシステム。
（項目７７）
上記複数の較正パラメータは、上記較正対象に対する上記１または複数のイメージングデバイスのそれぞれの位置および向きを含む、項目５８に記載のシステム。
（項目７８）
上記１または複数の画像を処理する段階は、上記１または複数の画像の少なくとも１つにおける光学的歪みを低減することを有する、項目５８に記載のシステム。

Claims (33)

1. １または複数のイメージングデバイスを較正するための方法であり、
   繰り返しパターンで配置された複数の特徴と１または複数の基準マーカを含む較正対象の複数の画像を、前記１または複数のイメージングデバイスのそれぞれから受信するステップと、
   各画像における前記１または複数の基準マーカと、前記較正対象の前記１または複数の基準マーカとの間の空間的関係を、決定するステップと、
   前記空間的関係に基づき、前記各画像における複数の特徴の画像座標と、前記較正対象上の対応する複数の特徴に関する複数のグローバル座標との間の対応を定式化するステップと、
   前記対応に基づき、前記１または複数のイメージングデバイスに関する複数の較正パラメータを決定するステップと
   を含み、
   前記１または複数の基準マーカはそれぞれ、前記複数の画像の各画像において一意に識別可能であり、
   前記複数の画像は、前記複数の特徴全てのうちの一部しかキャプチャしていない少なくとも１つの画像を含む、方法。
2. 前記１または複数のイメージングデバイスは無人航空機により搭載される、請求項１に記載の方法。
3. 前記各画像は、前記１または複数の基準マーカと、前記較正対象の前記複数の特徴の少なくともサブセットをキャプチャする、請求項１または２に記載の方法。
4. 前記複数の画像は、前記較正対象に対して異なる位置および向きで撮像される、請求項１から３のいずれか一項に記載の方法。
5. 前記較正対象は、複数の正方形を含むチェッカー盤であり、前記複数の特徴は前記複数の正方形の複数の角点を含む、請求項１から４のいずれか一項に記載の方法。
6. 前記１または複数の基準マーカはそれぞれ、前記複数の正方形の１つの中に位置付けられる、請求項５に記載の方法。
7. 前記複数の特徴は、前記チェッカー盤の４つの外側の角を含み、前記少なくとも１つの画像は、前記４つの外側の角の少なくとも１つを除外する、請求項５または６に記載の方法。
8. 前記１または複数の基準マーカは少なくとも３つの基準マーカを含む、請求項１から７のいずれか一項に記載の方法。
9. 前記１または複数の基準マーカは、前記繰り返しパターンに重ねられる、請求項１から８のいずれか一項に記載の方法。
10. 前記１または複数の基準マーカは、前記較正対象上の不規則な多角形の複数の頂点を形成する、請求項１から９のいずれか一項に記載の方法。
11. 前記１または複数の基準マーカは、二等辺または不等辺三角形の複数の頂点を形成する３つの基準マーカを含む、請求項１０に記載の方法。
12. 前記１または複数の基準マーカは、前記複数の画像における不規則な多角形の複数の頂点を形成し、前記空間的関係を決定するステップは、前記複数の画像における前記不規則な多角形の前記複数の頂点と、前記較正対象上の前記不規則な多角形の前記複数の頂点との間の対応を識別する、請求項１０または１１に記載の方法。
13. 前記複数の特徴は、平面上で前記繰り返しパターンに配置され、前記１または複数の基準マーカは、前記平面内で非回転対称である形状を形成する、請求項１から１２のいずれか一項に記載の方法。
14. 前記定式化するステップは、第１カメラにより得られた画像および第２カメラにより得られた対応する画像の両方に存在する複数の特徴を識別するステップを有する、請求項１から１３のいずれか一項に記載の方法。
15. 前記複数の較正パラメータは、前記１または複数のイメージングデバイスのそれぞれに関する焦点距離、主点の位置、画素サイズ、または光学的歪みの少なくとも１つを含む、請求項１から１４のいずれか一項に記載の方法。
16. 前記複数の較正パラメータは、前記較正対象に対する前記１または複数のイメージングデバイスのそれぞれの位置および向きを含む、請求項１から１５のいずれか一項に記載の方法。
17. 繰り返しパターンで配置された複数の特徴と１または複数の基準マーカとを含む較正対象の複数の画像をキャプチャする１または複数のイメージングデバイスと、
    １または複数のプロセッサと
    を備え、
    前記１または複数の基準マーカはそれぞれ、前記複数の画像の各画像において一意に識別可能であり、
    前記複数の画像は、前記複数の特徴全てのうちの一部しかキャプチャしていない少なくとも１つの画像を含み、
    前記１または複数のプロセッサは、
    前記１または複数のイメージングデバイスのそれぞれから前記複数の画像を受信し、
    前記複数の画像の各画像における前記１または複数の基準マーカと、前記較正対象上の前記１または複数の基準マーカとの間の空間的関係を決定し、
    前記１または複数の基準マーカの、予め定められた複数のグローバル座標に基づき、前記複数の画像の各画像における複数の特徴の画像座標と、前記較正対象に対応する複数の特徴に関するグローバル座標との間の対応を定式化し、
    前記対応に基づき、前記１または複数のイメージングデバイスに関する複数の較正パラメータを決定する、システム。
18. 前記１または複数のイメージングデバイスは無人航空機により搭載される、請求項１７に記載のシステム。
19. 前記各画像は、前記１または複数の基準マーカと、前記較正対象上の前記複数の特徴の少なくともサブセットとをキャプチャする、請求項１７または１８に記載のシステム。
20. 前記複数の画像は、前記較正対象に対して異なる位置および向きで撮像される、請求項１７から１９のいずれか一項に記載のシステム。
21. 前記較正対象は、複数の正方形を含むチェッカー盤であり、前記複数の特徴は前記複数の正方形の複数の角点を含む、請求項１７から２０のいずれか一項に記載のシステム。
22. 前記１または複数の基準マーカはそれぞれ、前記複数の正方形の１つの中に位置付けられる、請求項２１に記載のシステム。
23. 前記複数の特徴は、前記チェッカー盤の４つの外側の角を含み、前記少なくとも１つの画像は、前記４つの外側の角の少なくとも１つを除外する、請求項２１または２２に記載のシステム。
24. 前記１または複数の基準マーカは少なくとも３つの基準マーカを含む、請求項１７から２３のいずれか一項に記載のシステム。
25. 前記１または複数の基準マーカは、前記繰り返しパターンに重ねられる、請求項１７から２４のいずれか一項に記載のシステム。
26. 前記１または複数の基準マーカは、前記較正対象上の不規則な多角形の複数の頂点を形成する、請求項１７から２５のいずれか一項に記載のシステム。
27. 前記１または複数の基準マーカは、二等辺または不等辺三角形の複数の頂点を形成する３つの基準マーカを含む、請求項２６に記載のシステム。
28. 前記１または複数の基準マーカは、前記複数の画像における不規則な多角形の複数の頂点を形成し、前記空間的関係を決定することは、前記複数の画像における前記不規則な多角形の前記複数の頂点と、前記較正対象上の前記不規則な多角形の前記複数の頂点との間の対応を識別する、請求項２６または２７に記載のシステム。
29. 前記複数の特徴は、平面上で前記繰り返しパターンに配置され、前記１または複数の基準マーカは、前記平面内で非回転対称である形状を形成する、請求項１７から２８のいずれか一項に記載のシステム。
30. 前記定式化することは、第１カメラにより得られた前記複数の画像および第２カメラにより得られた対応する前記複数の画像に、両方に存在する複数の特徴を識別することを有する、請求項１７から２９のいずれか一項に記載のシステム。
31. 前記複数の較正パラメータは、前記１または複数のイメージングデバイスのそれぞれに関する焦点距離、主点の位置、画素サイズ、または光学的歪みの少なくとも１つを含む、請求項１７から３０のいずれか一項に記載のシステム。
32. 前記複数の較正パラメータは、前記較正対象に対する前記１または複数のイメージングデバイスのそれぞれの位置および向きを含む、請求項１７から３１のいずれか一項に記載のシステム。
33. 請求項１から１６の何れか一項に記載の方法をコンピュータに実行させるプログラム。

Images