JP7172603B2 - 信号処理装置、信号処理方法、およびプログラム - Google Patents

Description

本開示は、信号処理装置、信号処理方法、およびプログラムに関し、特に、汎用性が高い撮像素子を用いて、撮像素子と被写体との距離を検出することができるようにした信号処理装置、信号処理方法、およびプログラムに関する。

ＴｏＦ（Time of Flight）法は、対象物体を被写体とし、その被写体に向けてパルス光を投光し、被写体からの反射光を撮像素子で受光するまでの時間を計測することにより、撮像素子と対象物体の距離を検出する方法である。

ＴｏＦ法を実現する技術としては、電荷振り分け方式の画素構造を有するCMOS(Complementary Metal-Oxide Semiconductor)撮像素子を用いる技術がある（例えば、特許文献１参照）。この技術では、例えば、画素ごとに、投光されたパルス光に対する被写体からの反射光による先行部分の蓄積電荷と後行部分の蓄積電荷を振り分けて保持し、両方の蓄積電荷量の比率を求めることにより、被写体と撮像素子の距離を検出することができる。

しかしながら、電荷振り分け方式の画素構造を有するCMOS撮像素子では、振り分けた蓄積電荷を保持するために、最低でも１画素あたり２つのメモリが必要になる。

そこで、電荷蓄積期間の異なる２つの画素グループを有する撮像素子を用いる技術が考案されている（例えば、特許文献２参照）。この技術では、パルス光の投光期間の開始時刻と終了時刻を、各画素グループの電荷蓄積期間の開始時刻または終了時刻と同期させることにより、１画素あたり１つのメモリで各画素における被写体と撮像素子の距離の検出が可能である。

特開２００４－２９４４２０号 特開２０１０－２１３２３１号

しかしながら、特許文献２に記載の技術では、パルス光の投光期間の開始時刻や終了時刻に基づいて、画素グループごとに、撮像素子の電荷蓄積期間の開始時刻と終了時刻を制御する必要がある。従って、そのような制御を行うことができない、汎用性が高い撮像素子を用いて、撮像素子と被写体との距離を検出することが望まれている。

本開示は、このような状況に鑑みてなされたものであり、汎用性が高い撮像素子を用いて、撮像素子と被写体との距離を検出することができるようにするものである。

本開示の第１の側面の信号処理装置は、１以上の行の画素からなる画素グループごとに電荷蓄積期間が制御されるローリングシャッタ方式の撮像素子において、前記画素グループごとの前記電荷蓄積期間と、投光されるパルス光の投光期間とに基づいて、前記撮像素子と被写体との距離の検出に用いる画素グループのペアを決定する決定部を備える信号処理装置である。

本開示の第１の側面の信号処理方法およびプログラムは、本開示の第１の側面の信号処理装置に対応する。

本開示の第１の側面においては、１以上の行の画素からなる画素グループごとに電荷蓄積期間が制御されるローリングシャッタ方式の撮像素子において、前記画素グループごとの前記電荷蓄積期間と、投光されるパルス光の投光期間とに基づいて、前記撮像素子と被写体との距離の検出に用いる画素グループのペアが決定される。

本開示の第２の側面の信号処理装置は、１以上の行の画素からなる画素グループごとに電荷蓄積期間が制御されるローリングシャッタ方式の撮像素子において決められた２つの前記画素グループのぺアのうちの一方の画素グループに対する第１の電荷蓄積期間と、他方の画素グループに対する第２の電荷蓄積期間と、前記撮像素子の被写体に向けて投光されるパルス光の投光期間とに基づいて、前記ペアを用いて前記撮像素子から前記被写体までの距離演算が可能であるかを判断する距離可能判断部を備える信号処理装置である。本開示の第２の側面の信号処理方法は、本開示の第２の側面の信号処理装置に対応する。

本開示の第２の側面においては、１以上の行の画素からなる画素グループごとに電荷蓄積期間が制御されるローリングシャッタ方式の撮像素子において決められた２つの前記画素グループのぺアのうちの一方の画素グループに対する第１の電荷蓄積期間と、他方の画素グループに対する第２の電荷蓄積期間と、前記撮像素子の被写体に向けて投光されるパルス光の投光期間とに基づいて、前記ペアを用いて前記撮像素子から前記被写体までの距離演算が可能であるかが判断される。

なお、本開示の第２の側面の信号処理装置は、コンピュータにプログラムを実行させることにより実現することができる。

また、本開示の第１および第２の側面の信号処理装置を実現するために、コンピュータに実行させるプログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。

本開示の第１および第２の側面によれば、汎用性が高い撮像素子を用いて、撮像素子と被写体との距離を検出することができる。

なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

本開示を適用した信号処理装置としての距離検出装置の第１実施の形態の構成例を示すブロック図である。 ローリングシャッタ機能を説明する図である。 距離検出処理を説明するフローチャートである。 ペア決定処理の第１の例を説明するフローチャートである。 ペア決定処理の第１の例におけるタイミングチャートの例である。 ペア決定処理の第１の例におけるタイミングチャートの他の例である。 ペア決定処理の第２の例を説明するフローチャートである。 ペア決定処理の第２の例におけるタイミングチャートの例である。 ペア決定処理の第２の例におけるタイミングチャートの他の例である。 ペア決定処理の第３の例を説明するフローチャートである。 ペア決定処理の第３の例におけるタイミングチャートの例である。 ペア決定処理の第３の例におけるタイミングチャートの他の例である。 ペア決定処理の第４の例を説明するフローチャートである。 ペア決定処理の第４の例におけるタイミングチャートの例である。 ペア決定処理の第４の例におけるタイミングチャートの他の例である。 ペア決定処理の第５の例を説明するフローチャートである。 ペア決定処理の第５の例におけるタイミングチャートの例である。 ペア決定処理の第５の例におけるタイミングチャートの他の例である。 ペア決定処理の第６の例を説明するフローチャートである。 ペア決定処理の第７の例を説明するフローチャートである。 本開示を適用した信号処理装置としての距離検出装置の第２実施の形態の構成例を示すブロック図である。 本開示を適用した信号処理装置としての距離検出装置の第３実施の形態の構成例を示すブロック図である。 本開示を適用した信号処理装置としての距離検出装置の第４実施の形態の構成例を示すブロック図である。 本開示を適用した信号処理装置としての距離検出装置の第５実施の形態の構成例を示すブロック図である。 本開示を適用した信号処理装置としての距離検出装置の第６実施の形態の構成例を示すブロック図である。 図２５の距離検出装置の距離検出処理を説明するフローチャートである。 図２６のペア判定処理を説明するフローチャートである。 コンピュータのハードウエアの構成例を示すブロック図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。

以下、本開示を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．第１実施の形態：距離検出装置（図１乃至図２０）
２．第２実施の形態：距離検出装置（図２１）
３．第３実施の形態：距離検出装置（図２２）
４．第４実施の形態：距離検出装置（図２３）
５．第５実施の形態：距離検出装置（図２４）
６．第６実施の形態：距離検出装置（図２５乃至図２７）
７．第７実施の形態：コンピュータ（図２８）
８．応用例（図２９および図３０）

＜第１実施の形態＞
（信号処理装置の第１実施の形態の構成例）
図１は、本開示を適用した信号処理装置としての距離検出装置の第１実施の形態の構成例を示すブロック図である。

図１の距離検出装置１０は、投光部１１、投光制御部１２、撮像素子１３、撮像制御部１４、決定部１５、および距離検出部１６により構成される。距離検出装置１０は、対象物体を被写体とすることにより、ＴｏＦ法を用いて撮像素子１３と対象物体との距離を検出する。

投光部１１は、例えば、可視光LED（Light Emitting Diode）などにより構成されるストロボ装置である。投光部１１は、投光制御部１２から供給される投光開始信号に応じて、撮像素子１３の被写体である対象物体に向けてパルス光の投光を開始し、投光終了信号に応じて、その投光を終了する。

投光制御部１２は、最初のパルス光の投光開始時刻、投光時間、および投光周期を決定する。投光制御部１２は、最初のパルス光の投光開始時刻、投光時間、および投光周期に基づいて、各パルス光の投光期間を決定する。投光制御部１２は、タイミングジェネレータ（タイミング発生回路）を有する。投光制御部１２のタイミングジェネレータは、決定された各パルス光の投光期間に基づいて、パルス光ごとに、パルス光の投光開始を指示するタイミング信号である投光開始信号と投光終了を指示するタイミング信号である投光終了信号を生成する。投光制御部１２は、投光開始信号と投光終了信号を投光部１１に供給することにより、投光期間の間、パルス光を投光するように投光部１１を制御する。また、投光制御部１２は、投光期間を決定部１５に供給する。

撮像素子１３は、行列状の画素を有する。撮像素子１３は、行列状の画素を、１以上の画素からなるブロックごとに複数の画素グループに分類する。例えば、撮像素子１３は、行列状の画素を行ごとに異なる画素グループに分類する。撮像素子１３は、画素グループごとに、撮像制御部１４から供給される電荷蓄積開始信号に応じて各画素における電荷の蓄積を開始し、電荷蓄積終了信号に応じて各画素における電荷の蓄積を終了する。撮像素子１３は、各画素において蓄積された電荷の電気信号を画素信号として、距離検出部１６に供給する。

なお、撮像素子１３としては、例えば、汎用性が高い一般的なCMOS撮像素子を用いることができる。即ち、一般的なCMOS撮像素子は、ローリングシャッタ機能を有している。ローリングシャッタ機能では、図２に示すように、ｋ行（ｋは１以上の整数）ごとに、所定の期間ずつ、電荷のリセット時刻から電荷の読み出し時刻までの電荷蓄積期間がずれるように電荷の読み出しが制御される。従って、このようなCMOS撮像素子は、行列状の画素を行ごとに異なる画素グループに分類する撮像素子１３として採用することができる。

撮像制御部１４は、画素グループごとに電荷蓄積期間を決定する。撮像制御部１４は、タイミングジェネレータ（タイミング発生回路）を有する。撮像制御部１４のタイミングジェネレータは、決定された各画素グループの電荷蓄積期間に基づいて、画素グループごとに、電荷の蓄積開始を指示するタイミング信号である電荷蓄積開始信号と蓄積終了を指示するタイミング信号である電荷蓄積終了信号を生成する。撮像制御部１４は、画素グループごとに、生成された電荷蓄積開始信号と電荷蓄積終了信号を撮像素子１３に供給することにより、その画素グループに分類された画素が、電荷蓄積期間の間、電荷を蓄積するように、撮像素子１３を制御する。また、撮像制御部１４は、各画素グループの電荷蓄積期間を決定部１５に供給する。

決定部１５は、パルス光ごとに、投光期間と各画素グループの電荷蓄積期間とに基づいて、複数の画素グループから、ＴｏＦ法による撮像素子１３と被写体（対象物体）との距離の検出に用いる第１の画素グループと第２の画素グループのペアを決定する。決定部１５は、各パルス光の投光期間と、そのパルス光に対応する第１の画素グループと第２の画素グループの電荷蓄積期間を示すペア情報とを対応付けて距離検出部１６に供給する。なお、決定部１５は、各パルス光の投光期間と、そのパルス光に対応するペア情報とを対応付けて一時的に保持してもよい。

距離検出部１６は、パルス光ごとに、決定部１５から供給されるペア情報に基づいて、撮像素子１３から供給される各画素の画素信号から、そのパルス光に対応する第１の画素グループと第２の画素グループに分類された画素の画素信号を選択する。距離検出部１６は、パルス光ごとに、選択された画素信号と投光期間とに基づいて、ＴｏＦ法により、撮像素子１３と第１の画素グループの画素における被写体（対象物体）との距離を検出する。

なお、距離検出部１６は、選択された画素信号に対して所定の信号処理を施して、ＴｏＦ法による距離検出に適した画素信号を生成し、その画素信号に基づいて撮像素子１３と被写体の距離を検出するようにしてもよい。

例えば、撮像素子１３の行列状の画素上に所定の配列で並んだ赤、緑、および青のカラーフィルタが搭載されている場合、パルス光に含まれる光の波長により、赤色の画素（Ｒ画素）、緑色の画素（Ｇ画素）、および青色の画素（Ｂ画素）の分光透過特性が異なる。従って、同一の被写体からのパルス光の反射光を受信した場合であっても、Ｒ画素、Ｇ画素、およびＢ画素の間で画素信号に差分が生じる。よって、この場合、距離検出部１６は、選択された画素信号に対して、Ｒ画素、Ｇ画素、およびＢ画素の分光透過特性の差分を埋める信号処理を施す。なお、距離検出部１６は、Ｒ画素、Ｇ画素、およびＢ画素に対して信号処理を施さず、Ｒ画素、Ｇ画素、およびＢ画素のうちのいずれか１つの画素信号のみを距離の検出に用いるようにしてもよい。

また、パルス光の光量が小さい場合、その反射光に対応する画素信号の信号量は小さくなり、ノイズ成分の影響を受けやすくなる。従って、この場合、距離検出部１６は、例えば、選択された画素信号に対して、画素信号の信号量を増幅しつつノイズを低減する信号処理を施す。

さらに、第１の画素グループおよび第２の画素グループの各画素の電荷蓄積期間が、投光期間に比べて著しく大きい場合、各画素の画素信号の信号量のうちの、パルス光の反射光による信号量に対する、パルス光以外の外光による信号量の割合が大きくなる場合がある。従って、この場合、距離検出部１６は、例えば、選択された画素信号に対して、パルス光を投光していないときの画素信号の信号量を減算する信号処理を施すことにより、選択された画素信号の信号量から外光による信号量を除去する。

以上のように、距離検出部１６は、ＴｏＦ法による距離検出に適した画素信号を生成し、その画素信号に基づいて撮像素子１３と被写体の距離を検出することにより、その距離の検出精度を向上させることができる。距離検出部１６は、検出された距離を出力する。

なお、撮像素子１３の各画素には、カラーフィルタが搭載されていても、搭載されていなくてもよい。撮像素子１３の各画素にカラーフィルタが搭載されていない場合、距離検出部１６は、画素信号に対して、Ｒ画素、Ｇ画素、およびＢ画素の分光透過特性の差分を埋める信号処理を施さずに、高精度で撮像素子１３と被写体の距離を検出することができる。

また、投光部１１は、赤外光LEDであってもよい。この場合、撮像素子１３は、赤外光を受光可能な画素を有する撮像素子である。なお、この場合、撮像素子１３は、赤外光を受光可能な画素と可視光を受光可能な画素の両方からなる図示せぬ撮像素子の赤外光を受光可能な画素から構成されるようにしてもよい。即ち、図示せぬ撮像素子が、距離検出用の赤外光を受光可能な画素と撮影用の可視光を受光可能な画素を有し、撮像素子１３は、その距離検出用の画素のみからなるようにしてもよい。この場合、撮影と距離検出を同時に行うことができる。

さらに、撮像素子１３は、撮影に適した電荷蓄積時間の電荷蓄積を行う撮影用の画素とＴｏＦに適した電荷蓄積時間の電荷蓄積を行う距離検出用の画素の両方からなる図示せぬ撮像素子の距離検出用の画素から構成されるようにしてもよい。この場合、撮影と距離検出を同時に行うことができる。また、投光部１１から投光される可視光のパルス光を撮影時のビデオライトとしても用いることができる。

また、撮像素子１３は、撮影用の画素、距離検出用の画素、および撮影レンズの異なる瞳領域を用いて位相差を検出する、離散的に配置された位相差検出用の画素を有する図示せぬ撮像素子の距離検出用の画素であってもよい。この場合、撮影、ＴｏＦ法による距離検出、および位相差検出法による距離検出を同時に行うことができる。これにより、例えば、位相差検出法において距離検出の精度が低下する暗所では、ＴｏＦ法による距離検出結果を採用し、明所では位相差検出法による距離検出結果を採用することができる。また、投光部１１によりパルス光が投光されるため、暗所での位相差検出法による距離検出結果の精度が向上する。

（距離検出処理の説明）
図３は、図１の距離検出装置１０の距離検出処理を説明するフローチャートである。この距離検出処理は、例えば、所定の単位時間内に投光される１以上のパルス光であるパルス光群ごとに行われる。

図３のステップＳ１１において、投光制御部１２は、最初のパルス光の投光開始時刻、投光時間、および投光周期を決定し、それらに基づいて、処理対象のパルス光群の各パルス光の投光期間を決定する。そして、投光制御部１２のタイミングジェネレータは、決定された各パルス光の投光期間に基づいて、パルス光ごとに、投光開始信号と投光終了信号を生成し、投光部１１に供給する。また、投光制御部１２は、各パルスの投光期間を決定部１５に供給する。

ステップＳ１２において、撮像制御部１４は、画素グループごとに電荷蓄積期間を決定する。撮像制御部１４のタイミングジェネレータは、決定された各画素グループの電荷蓄積期間に基づいて、画素グループごとに、電荷蓄積開始信号と電荷蓄積終了信号を生成し、撮像素子１３に供給する。また、撮像制御部１４は、各画素グループの電荷蓄積期間を決定部１５に供給する。

ステップＳ１３において、決定部１５は、パルス光ごとに、投光期間と各画素グループの電荷蓄積期間とに基づいて、複数の画素グループから第１の画素グループと第２の画素グループのペアを決定するペア決定処理を行う。このペア決定処理の詳細は、後述する図４、図７、図１０、図１３、図１６、図１９、または図２０を参照して説明する。

ステップＳ１４において、投光部１１は、投光制御部１２から供給される投光開始信号と投光終了信号に基づいて、投光期間の間、パルス光を被写体に向けて投光する。

ステップＳ１５において、撮像素子１３は、画素グループごとに、撮像制御部１４から供給される電荷蓄積開始信号と電荷蓄積終了信号に基づいて、電荷蓄積期間の間、各画素において電荷を蓄積する。撮像素子１３は、各画素において蓄積された電荷の電気信号を画素信号として、距離検出部１６に供給する。

ステップＳ１６において、距離検出部１６は、パルス光ごとに、決定部１５から供給されるペア情報に基づいて、撮像素子１３から供給される各画素の画素信号から、そのパルス光に対応する第１の画素グループと第２の画素グループに分類された画素の画素信号を選択する。

ステップＳ１７において、距離検出部１６は、パルス光ごとに、選択された画素信号と投光期間とに基づいて、ＴｏＦ法により、撮像素子１３と第１の画素グループの画素における被写体（対象物体）との距離を検出する。距離検出部１６は、その距離を出力し、処理を終了する。

（ペア決定処理の第１の例の説明）
なお、以下において、時刻Ｔ１は、撮像制御部１４から供給される第１の画素グループの候補としての各画素グループの電荷蓄積期間の開始時刻であり、時刻Ｔ２は、投光制御部１２から供給されるペア決定処理の処理対象のパルス光の投光期間の開始時刻である。時刻Ｔ３は、処理対象のパルス光の被写体からの反射光の撮像素子１３による受光期間の開始時刻であり、時刻Ｔ４は、撮像制御部１４から供給される第２の画素グループの候補としての各画素グループの電荷蓄積期間の開始時刻である。時刻Ｔ５は、投光制御部１２から供給される処理対象のパルス光の投光期間の終了時刻であり、時刻Ｔ６は、処理対象のパルス光の受光期間の終了時刻である。時刻Ｔ７は、撮像制御部１４から供給される第１の画素グループの候補の電荷蓄積期間の終了時刻であり、時刻Ｔ８は、撮像制御部１４から供給される第２の画素グループの候補の電荷蓄積期間の終了時刻である。時刻Ｔ９は、投光制御部１２から供給される処理対象のパルス光の次のパルス光の投光期間の開始時刻である。

即ち、投光部１１は、時刻Ｔ２から時刻Ｔ５までの投光期間の間、即ち時刻Ｔ２から投光時間（Ｔ５－Ｔ２）の間、処理対象のパルス光を投光する。なお、パルス光の投光開始時刻のインターバルは（Ｔ９－Ｔ２）である。また、撮像素子１３は、時刻Ｔ３から時刻Ｔ６までの受光期間の間、処理対象のパルス光の被写体からの反射光を受光する。撮像素子１３の第１の画素グループの候補としての画素グループの各画素は、時刻Ｔ１から時刻Ｔ７までの電荷蓄積期間の間、受光された反射光の量に対応する電荷を蓄積する。また、撮像素子１３の第２の画素グループの候補としての画素グループの各画素は、時刻Ｔ４から時刻Ｔ８までの電荷蓄積期間の間、受光された反射光の量に対応する電荷を蓄積する。

以下では、時刻Ｔ１を電荷蓄積開始時刻Ｔ１、時刻Ｔ２を投光開始時刻Ｔ２、時刻Ｔ３を受光開始時刻Ｔ３、時刻Ｔ４を電荷蓄積開始時刻Ｔ４、時刻Ｔ５を投光終了時刻Ｔ５、時刻Ｔ６を受光終了時刻Ｔ６、時刻Ｔ７を電荷蓄積終了時刻Ｔ７、時刻Ｔ８を電荷蓄積終了時刻Ｔ８、時刻Ｔ９を投光開始時刻Ｔ９という。

図４は、図３のステップＳ１３のペア決定処理の第１の例を説明するフローチャートである。

図４のステップＳ３１において、決定部１５は、処理対象のパルス光群のうちの先頭のパルス光を処理対象のパルス光に設定する。

ステップＳ３２において、決定部１５は、電荷蓄積開始時刻Ｔ１が、投光開始時刻Ｔ２と同一であり、かつ、電荷蓄積終了時刻Ｔ７が投光終了時刻Ｔ５と同一である第１の画素グループを検索する。

ステップＳ３３において、決定部１５は、ステップＳ３２の処理の結果、第１の画素グループが検索されたかどうかを判定する。ステップＳ３３で第１の画素グループが検索されたと判定された場合、決定部１５は、検索された第１の画素グループ、即ち電荷蓄積期間が処理対象のパルス光の投光期間と同一である画素グループを、第１の画素グループに決定する。

ステップＳ３４において、決定部１５は、カウント値ｉを１に設定する。

ステップＳ３５において、決定部１５は、撮像制御部１４から供給される電荷蓄積開始時刻Ｔ４が、投光制御部１２から供給される投光終了時刻Ｔ５と同一である第２の画素グループを検索する。

ステップＳ３６において、決定部１５は、ステップＳ３５の処理の結果、第２の画素グループが検索されたかどうかを判定する。ステップＳ３６で検索されたと判定された場合、決定部１５は、検索された第２の画素グループを第２の画素グループに決定し、処理をステップＳ３７に進める。

ステップＳ３７において、決定部１５は、カウント値ｊを１に設定する。

ステップＳ３８において、決定部１５は、ステップＳ３２で検索された１以上の第１の画素グループのうちのｉ番目の第１の画素グループと、ステップＳ３６で検索された１以上の第２の画素グループのうちのｊ番目の第２の画素グループのペアを、撮像素子１３と対象物体の距離の検出に用いる第１の画素グループと第２の画素グループのペアとして決定する。

ステップＳ３９において、決定部１５は、カウント値ｊは、ステップＳ３５で検索された第２の画素グループの個数以上であるかどうかを判定する。ステップＳ３９でカウント値ｊは、ステップＳ３５で検索された第２の画素グループの個数以上ではないと判定された場合、処理はステップＳ４０に進む。

ステップＳ４０において、決定部１５は、カウント値ｊを１だけインクリメントし、処理をステップＳ３８に戻す。そして、カウント値ｊが、ステップＳ３５で検索された第２の画素グループの個数以上になるまで、ステップＳ３８乃至Ｓ４０の処理が繰り返される。

一方、ステップＳ３９でカウント値ｊは、ステップＳ３５で検索された第２の画素グループの個数以上であると判定された場合、処理はステップＳ４１に進む。

ステップＳ４１において、決定部１５は、カウント値ｉは、ステップＳ３２で検索された第１の画素グループの個数以上であるかどうかを判定する。ステップＳ４１でカウント値ｉは、ステップＳ３２で検索された第１の画素グループの個数以上ではないと判定された場合、処理はステップＳ４２に進む。

ステップＳ４２において、決定部１５は、カウント値ｉを１だけインクリメントして、処理をステップＳ３５に戻す。そして、カウント値ｉが、ステップＳ３２で検索された第１の画素グループの個数以上になるまで、ステップＳ３５乃至Ｓ４２の処理が繰り返される。

一方、ステップＳ４１でカウント値ｉは、ステップＳ３２で検索された第１の画素グループの個数以上であると判定された場合、処理はステップＳ４３に進む。

ステップＳ４３において、決定部１５は、処理対象のパルス光の投光期間と、ステップＳ３８で決定された全てのペアのペア情報とを距離検出部１６に供給し、処理をステップＳ４４に進める。

一方、ステップＳ３３で第１の画素グループが検索されていないと判定されたか、または、ステップＳ３６で第２の画素グループが検索されていないと判定された場合、第１の画素グループと第２の画素グループのペアは決定されず、処理はステップＳ４４に進む。

ステップＳ４４において、決定部１５は、処理対象のパルス光群のうちの最後のパルス光を処理対象のパルス光に設定したかどうかを判定する。ステップＳ４４でまだ最後のパルス光を処理対象のパルス光に設定していないと判定された場合、処理はステップＳ４５に進む。

ステップＳ４５において、決定部１５は、現在の処理対象のパルス光の次のパルス光を新たに処理対象のパルス光に設定し、処理をステップＳ３２に戻す。そして、処理対象のパルス光群のうちの最後のパルス光が処理対象のパルス光に設定されるまで、ステップＳ３２乃至Ｓ４５の処理が繰り返される。

一方、ステップＳ４４で処理対象のパルス光群のうちの最後のパルス光を処理対象のパルス光に設定したと判定された場合、処理は図３のステップＳ１３に戻り、ステップＳ１４に進む。

（ペア決定処理の第１の例により決定される第１の画素グループと第２の画素グループのペアの例）
図５は、撮像素子１３と第１の画素グループの画素における被写体（対象物体）が離れている場合に、ペア決定処理の第１の例により決定される第１の画素グループと第２の画素グループのペアの電荷蓄積期間等を示すタイミングチャートである。また、図６は、撮像素子１３から被写体までの距離が０[ｍ]である場合に、ペア決定処理の第１の例により決定される第１の画素グループと第２の画素グループのペアの電荷蓄積期間等を示すタイミングチャートである。

図５および図６に示すように、ペア決定処理の第１の例では、第１の画素グループの電荷蓄積開始時刻Ｔ１は、投光開始時刻Ｔ２と同一であり、第１の画素グループの電荷蓄積終了時刻Ｔ７と第２の画素グループの電荷蓄積開始時刻Ｔ４は、投光終了時刻Ｔ５と同一である。

この場合、処理対象のパルス光の被写体からの反射光の受光により、第１の画素グループの画素に蓄積された電荷量をＱ１とし、第２の画素グループの画素に蓄積された電荷量をＱ２とするとき、第２の画素グループの画素で投光時間（Ｔ５－Ｔ２）のパルス光の反射光を全て受光したと仮定した場合に蓄積される電荷量は、（Ｑ１＋Ｑ２）である。また、第２の画素グループの画素の実際の電荷蓄積時間は、投光終了時刻Ｔ５から受光終了時刻Ｔ６までの時間（Ｔ６－Ｔ５）である。従って、時間（Ｔ６－Ｔ５）は、以下の式（１）により表される。

（Ｔ６－Ｔ５）＝（Ｔ５－Ｔ２）×Ｑ２÷（Ｑ１＋Ｑ２）・・・（１）

よって、距離検出部１６は、投光開始時刻Ｔ２および投光終了時刻Ｔ５、並びに、電荷量Ｑ１および電荷量Ｑ２に基づいて、時間（Ｔ６－Ｔ５）を求めることができる。

ここで、投光開始時刻Ｔ２から受光開始時刻Ｔ３までの時間（Ｔ３－Ｔ２）は、撮像素子１３と被写体（対象物体）の距離に比例する。具体的には、撮像素子１３と被写体（対象物体）の距離Ｄ[ｍ]は、光の速度ｃ＝３×１０＾８[ｍ/ｓ]を用いて、以下の式（２）により表すことができる。

Ｄ[ｍ]＝０．５×ｃ×（Ｔ３－Ｔ２）・・・（２）

また、投光開始時刻Ｔ２から受光開始時刻Ｔ３までの時間（Ｔ３－Ｔ２）は、投光終了時刻Ｔ５から受光終了時刻Ｔ６までの時間（Ｔ６－Ｔ５）と一致する。従って、距離Ｄ[ｍ]は、以下の式（３）により表すこともできる。

Ｄ[ｍ]＝０．５×ｃ×（Ｔ６－Ｔ５）・・・（３）

よって、距離検出部１６は、上述した式（１）により求められた時間（Ｔ６－Ｔ５）を用いて、式（３）により、距離Ｄ[ｍ]を求める。

その結果、図５に示すように、電荷量Ｑ１が電荷量Ｑ１＿１であり、電荷量Ｑ２が電荷量Ｑ２＿１である場合、距離検出部１６により求められる距離Ｄ[ｍ]は、以下の式（４）で表される。

Ｄ[ｍ]＝０．５×ｃ×（（Ｔ５－Ｔ２）×Ｑ２＿１÷（Ｑ１＿１＋Ｑ２＿１））・・・（４）

図５の場合、撮像素子１３と第１の画素グループの画素における被写体が離れているため、処理対象のパルス光の受光開始時刻Ｔ３と投光開始時刻Ｔ２は異なる。従って、Ｑ２＿１は０ではない。よって、式（４）により求められる距離Ｄ[ｍ]は０ではない。

一方、図６に示すように、電荷量Ｑ１が電荷量Ｑ１＿２であり、電荷量Ｑ２が電荷量Ｑ２＿２である場合、距離検出部１６により求められる距離Ｄ[ｍ]は、以下の式（５）で表される。

Ｄ[ｍ]＝０．５×ｃ×（（Ｔ５－Ｔ２）×Ｑ２＿２÷（Ｑ１＿２＋Ｑ２＿２））・・・（５）

図６の場合、撮像素子１３と第１の画素グループの画素における被写体が離れていないため、処理対象のパルス光の受光開始時刻Ｔ３と投光開始時刻Ｔ２は同一である。従って、Ｑ２＿２は０である。よって、式（５）により求められる距離Ｄ[ｍ]は０である。

（ペア決定処理の第２の例の説明）
図７は、図３のステップＳ１３のペア決定処理の第２の例を説明するフローチャートである。

図７のステップＳ６１において、決定部１５は、処理対象のパルス光群のうちの先頭のパルス光を処理対象のパルス光に設定する。

ステップＳ６２において、決定部１５は、電荷蓄積開始時刻Ｔ１が、投光開始時刻Ｔ２より前であり、かつ、電荷蓄積終了時刻Ｔ７が投光終了時刻Ｔ５と同一である第１の画素グループを検索する。

ステップＳ６３乃至Ｓ７５の処理は、図４のステップＳ３３乃至Ｓ４５の処理と同様であるので、説明は省略する。

（ペア決定処理の第２の例により決定される第１の画素グループと第２の画素グループのペアの例）
図８は、撮像素子１３と第１の画素グループの画素における被写体（対象物体）が離れている場合に、ペア決定処理の第２の例により決定される第１の画素グループと第２の画素グループのペアの電荷蓄積期間等を示すタイミングチャートである。また、図９は、撮像素子１３から被写体までの距離が０[ｍ]である場合に、ペア決定処理の第２の例により決定される第１の画素グループと第２の画素グループのペアの電荷蓄積期間等を示すタイミングチャートである。

図８および図９に示すように、ペア決定処理の第２の例では、第１の画素グループの電荷蓄積開始時刻Ｔ１は、投光開始時刻Ｔ２より前であり、第１の画素グループの電荷蓄積終了時刻Ｔ７と第２の画素グループの電荷蓄積開始時刻Ｔ４は、投光終了時刻Ｔ５と同一である。

この場合、上述した式（１）が成り立つ。従って、距離検出部１６は、上述した式（１）により求められた時間（Ｔ６－Ｔ５）を用いて、式（３）により、距離Ｄ[ｍ]を求める。

その結果、図８に示すように、電荷量Ｑ１が電荷量Ｑ１＿３であり、電荷量Ｑ２が電荷量Ｑ２＿３である場合、距離検出部１６により求められる距離Ｄ[ｍ]は、以下の式（６）で表される。

Ｄ[ｍ]＝０．５×ｃ×（（Ｔ５－Ｔ２）×Ｑ２＿３÷（Ｑ１＿３＋Ｑ２＿３））・・・（６）

図８の場合、撮像素子１３と第１の画素グループの画素における被写体が離れているため、処理対象のパルス光の受光開始時刻Ｔ３と投光開始時刻Ｔ２は異なる。従って、Ｑ２＿３は０ではない。よって、式（６）により求められる距離Ｄ[ｍ]は０ではない。

一方、図９に示すように、電荷量Ｑ１が電荷量Ｑ１＿４であり、電荷量Ｑ２が電荷量Ｑ２＿４である場合、距離検出部１６により求められる距離Ｄ[ｍ]は、以下の式（７）で表される。

Ｄ[ｍ]＝０．５×ｃ×（（Ｔ５－Ｔ２）×Ｑ２＿４÷（Ｑ１＿４＋Ｑ２＿４））・・・（７）

図９の場合、撮像素子１３と第１の画素グループの画素における被写体が離れていないため、処理対象のパルス光の受光開始時刻Ｔ３と投光開始時刻Ｔ２は同一である。従って、Ｑ２＿４は０である。よって、式（７）により求められる距離Ｄ[ｍ]は０である。

（ペア決定処理の第３の例の説明）
図１０は、図３のステップＳ１３のペア決定処理の第３の例を説明するフローチャートである。

図１０のステップＳ９１において、決定部１５は、処理対象のパルス光群のうちの先頭のパルス光を処理対象のパルス光に設定する。

ステップＳ９２において、決定部１５は、電荷蓄積開始時刻Ｔ１が投光開始時刻Ｔ２より前であり、かつ、電荷蓄積終了時刻Ｔ７が、投光開始時刻Ｔ２より後であり、投光終了時刻Ｔ５と同一または前である第１の画素グループを検索する。

ステップＳ９３において、決定部１５は、ステップＳ９２の処理の結果、第１の画素グループが検索されたかどうかを判定する。ステップＳ９３で第１の画素グループが検索されたと判定された場合、決定部１５は、検索された第１の画素グループ、即ち電荷蓄積期間が処理対象のパルス光の投光期間の少なくとも一部を含む画素グループを、第１の画素グループに決定する。

ステップＳ９４において、決定部１５は、カウント値ｉを１に設定する。

ステップＳ９５において、決定部１５は、電荷蓄積開始時刻Ｔ４が、ステップＳ９２で検索された１以上の第１の画素グループのうちのｉ番目の第１の画素グループの電荷蓄積終了時刻Ｔ７と同一である第２の画素グループを検索する。

ステップＳ９６乃至Ｓ１０５の処理は、図４のステップＳ３６乃至Ｓ４５の処理と同様であるので、説明は省略する。

（ペア決定処理の第３の例により決定される第１の画素グループと第２の画素グループのペアの例）
図１１は、撮像素子１３と第１の画素グループの画素における被写体（対象物体）が離れている場合に、ペア決定処理の第３の例により決定される第１の画素グループと第２の画素グループのペアの電荷蓄積期間等を示すタイミングチャートである。また、図１２は、撮像素子１３から被写体までの距離が０[ｍ]である場合に、ペア決定処理の第３の例により決定される第１の画素グループと第２の画素グループのペアの電荷蓄積期間等を示すタイミングチャートである。

図１１および図１２に示すように、ペア決定処理の第３の例では、第１の画素グループの電荷蓄積開始時刻Ｔ１が、投光開始時刻Ｔ２より前であり、かつ、電荷蓄積終了時刻Ｔ７が、投光開始時刻Ｔ２より後であり、投光終了時刻Ｔ５と同一または前である。また、第２の画素グループの電荷蓄積開始時刻Ｔ４が、第１の画素グループの電荷蓄積終了時刻Ｔ７と同一である。

この場合、処理対象のパルス光の被写体からの反射光の受光により、第１の画素グループの画素に蓄積された電荷量をＱ１とし、第２の画素グループの画素に蓄積された電荷量をＱ２とするとき、第２の画素グループの画素で投光時間（Ｔ５－Ｔ２）のパルス光の反射光を全て受光したと仮定した場合に蓄積される電荷量は、（Ｑ１＋Ｑ２）である。

また、第２の画素グループの画素の実際の電荷蓄積時間は、第２の画素グループの電荷蓄積開始時刻Ｔ４から受光終了時刻Ｔ６までの時間（Ｔ６－Ｔ４）である。従って、電荷蓄積開始時刻Ｔ４から投光終了時刻Ｔ５までの時間（Ｔ５－Ｔ４）に第２の画素グループの画素に蓄積される電荷量をＱ２ｍｉｎとすると、時間（Ｔ６－Ｔ５）は、以下の式（８）により表される。

（Ｔ６－Ｔ５）＝（Ｔ５－Ｔ２）×（Ｑ２－Ｑ２ｍｉｎ）÷（Ｑ１＋Ｑ２）・・・（８）

ここで、Ｑ２ｍｉｎは、撮像素子１３と被写体の距離Ｄ[ｍ]によらず、以下の式（９）で表される。

Ｑ２ｍｉｎ＝（Ｑ１＋Ｑ２）×（Ｔ５－Ｔ４）÷（Ｔ５－Ｔ２）・・・（９）

従って、距離検出部１６は、投光開始時刻Ｔ２、投光終了時刻Ｔ５、および第２の画素の電荷蓄積開始時刻Ｔ４、並びに、電荷量Ｑ１および電荷量Ｑ２に基づいて、時間（Ｔ６－Ｔ５）を求めることができる。

距離検出部１６は、このようにして求められた時間（Ｔ６－Ｔ５）を用いて、式（３）により、距離Ｄ[ｍ]を求める。

その結果、図１１に示すように、電荷量Ｑ１が電荷量Ｑ１＿５であり、電荷量Ｑ２が電荷量Ｑ２＿５である場合、距離検出部１６により求められる距離Ｄ[ｍ]は、以下の式（１０）で表される。

Ｄ[ｍ]＝０．５×ｃ×（Ｔ５－Ｔ２）×（Ｑ２＿５－Ｑ２ｍｉｎ）÷（Ｑ１＿５＋Ｑ２＿５）・・・（１０）

図１１の場合、撮像素子１３と第１の画素グループの画素における被写体が離れているため、処理対象のパルス光の投光終了時刻Ｔ５と受光終了時刻Ｔ６は異なる。従って、電荷量Ｑ２＿５はＱ２ｍｉｎと同一ではない。よって、式（１０）により求められる距離Ｄ[ｍ]は０ではない。

一方、図１２に示すように、電荷量Ｑ１が電荷量Ｑ１＿６であり、電荷量Ｑ２が電荷量Ｑ２＿６である場合、距離検出部１６により求められる距離Ｄ[ｍ]は、以下の式（１１）で表される。

Ｄ[ｍ]＝０．５×ｃ×（Ｔ５－Ｔ２）×（Ｑ２＿６－Ｑ２ｍｉｎ）÷（Ｑ１＿６＋Ｑ２＿６）・・・（１１）

図１２の場合、撮像素子１３と第１の画素グループの画素における被写体が離れていないため、処理対象のパルス光の投光終了時刻Ｔ５と受光終了時刻Ｔ６は同一である。従って、電荷量Ｑ２＿６はＱ２ｍｉｎと同一である。よって、式（１１）により求められる距離Ｄ[ｍ]は０である。

（ペア決定処理の第４の例の説明）
図１３は、図３のステップＳ１３のペア決定処理の第４の例を説明するフローチャートである。

図１３のステップＳ１２１乃至Ｓ１２４の処理は、図７のステップＳ６１乃至Ｓ６４の処理と同様である。

ステップＳ１２５において、決定部１５は、電荷蓄積開始時刻Ｔ４が、投光開始時刻Ｔ２より後であり、投光終了時刻Ｔ５と同一または投光終了時刻Ｔ５より前である第２の画素グループを検索する。

ステップＳ１２６乃至Ｓ１３５の処理は、図４のステップＳ３６乃至Ｓ４５の処理と同様であるので、説明は省略する。

（ペア決定処理の第４の例により決定される第１の画素グループと第２の画素グループのペアの例）
図１４は、撮像素子１３と第１の画素グループの画素における被写体（対象物体）が離れている場合に、ペア決定処理の第４の例により決定される第１の画素グループと第２の画素グループのペアの電荷蓄積期間等を示すタイミングチャートである。また、図１５は、撮像素子１３から被写体までの距離が０[ｍ]である場合に、ペア決定処理の第４の例により決定される第１の画素グループと第２の画素グループのペアの電荷蓄積期間等を示すタイミングチャートである。

図１４および図１５に示すように、ペア決定処理の第４の例では、第１の画素グループの電荷蓄積開始時刻Ｔ１が、投光開始時刻Ｔ２より前であり、かつ、電荷蓄積終了時刻Ｔ７が、投光終了時刻Ｔ５と同一である。また、第２の画素グループの電荷蓄積開始時刻Ｔ４が、投光開始時刻Ｔ２より後であり、投光終了時刻Ｔ５と同一または投光終了時刻Ｔ５より前である。

この場合、第２の画素グループの電荷蓄積開始時刻Ｔ４から投光終了時刻Ｔ５までの間、処理対象のパルス光の被写体からの反射光の受光により、第１の画素グループと第２の画素グループの両方の画素に電荷が蓄積される。従って、処理対象のパルス光の被写体からの反射光の受光により、第１の画素グループの画素に蓄積された電荷量をＱ１とし、第２の画素グループの画素に蓄積された電荷量をＱ２とするとき、第２の画素グループの画素で投光時間（Ｔ５－Ｔ２）のパルス光の反射光を全て受光したと仮定した場合に蓄積される電荷量は、（Ｑ１＋Ｑ２－Ｑ２ｍｉｎ）である。

また、第２の画素グループの画素の実際の電荷蓄積時間は、第２の画素グループの電荷蓄積開始時刻Ｔ４から受光終了時刻Ｔ６までの時間（Ｔ６－Ｔ４）である。従って、時間（Ｔ６－Ｔ５）は、以下の式（１２）により表される。

（Ｔ６－Ｔ５）＝（Ｔ５－Ｔ２）×（Ｑ２－Ｑ２ｍｉｎ）÷（Ｑ１＋Ｑ２－Ｑ２ｍｉｎ）・・・（１２）

ここで、Ｑ２ｍｉｎは、撮像素子１３と被写体の距離Ｄ[ｍ]によらず、以下の式（１３）で表される。

Ｑ２ｍｉｎ＝（Ｑ１＋Ｑ２－Ｑ２ｍｉｎ）×（Ｔ５－Ｔ４）÷（Ｔ５－Ｔ２）
＝（Ｑ１＋Ｑ２）×（Ｔ５－Ｔ４）÷（２×Ｔ５－Ｔ４－Ｔ２）・・・（１３）

従って、距離検出部１６は、投光開始時刻Ｔ２、投光終了時刻Ｔ５、および第２の画素の電荷蓄積開始時刻Ｔ４、並びに、電荷量Ｑ１および電荷量Ｑ２に基づいて、時間（Ｔ６－Ｔ５）を求めることができる。

距離検出部１６は、このようにして求められた時間（Ｔ６－Ｔ５）を用いて、式（３）により、距離Ｄ[ｍ]を求める。

その結果、図１４に示すように、電荷量Ｑ１が電荷量Ｑ１＿７であり、電荷量Ｑ２が電荷量Ｑ２＿７である場合、距離検出部１６により求められる距離Ｄ[ｍ]は、以下の式（１４）で表される。

Ｄ[ｍ]＝０．５×ｃ×（Ｔ５－Ｔ２）×（Ｑ２＿７－Ｑ２ｍｉｎ）÷（Ｑ１＿７＋Ｑ２＿７－Ｑ２ｍｉｎ）・・・（１４）

図１４の場合、撮像素子１３と第１の画素グループの画素における被写体が離れているため、処理対象のパルス光の投光終了時刻Ｔ５と受光終了時刻Ｔ６は異なる。従って、電荷量Ｑ２＿７はＱ２ｍｉｎと同一ではない。よって、式（１４）により求められる距離Ｄ[ｍ]は０ではない。

一方、図１５に示すように、電荷量Ｑ１が電荷量Ｑ１＿８であり、電荷量Ｑ２が電荷量Ｑ２＿８である場合、距離検出部１６により求められる距離Ｄ[ｍ]は、以下の式（１５）で表される。

Ｄ[ｍ]＝０．５×ｃ×（Ｔ５－Ｔ２）×（Ｑ２＿８－Ｑ２ｍｉｎ）÷（Ｑ１＿８＋Ｑ２＿８－Ｑ２ｍｉｎ）・・・（１５）

図１５の場合、撮像素子１３と第１の画素グループの画素における被写体が離れていないため、処理対象のパルス光の投光終了時刻Ｔ５と受光終了時刻Ｔ６は同一である。従って、電荷量Ｑ２＿８はＱ２ｍｉｎと同一である。よって、式（１５）により求められる距離Ｄ[ｍ]は０である。

（ペア決定処理の第５の例の説明）
図１６は、図３のステップＳ１３のペア決定処理の第５の例を説明するフローチャートである。

図１６のステップＳ１５１において、決定部１５は、処理対象のパルス光群のうちの先頭のパルス光を処理対象のパルス光に設定する。

ステップＳ１５２において、決定部１５は、電荷蓄積開始時刻Ｔ１が、投光開始時刻Ｔ２より前であり、かつ、電荷蓄積終了時刻Ｔ７が投光終了時刻Ｔ５と同一または投光終了時刻Ｔ５より後である第１の画素グループを検索する。

ステップＳ１５３乃至Ｓ１６５の処理は、図１３のステップＳ１２３乃至Ｓ１３５の処理と同様であるので、説明は省略する。

（ペア決定処理の第５の例により決定される第１の画素グループと第２の画素グループのペアの例）
図１７は、撮像素子１３と第１の画素グループの画素における被写体（対象物体）が離れている場合に、ペア決定処理の第５の例により決定される第１の画素グループと第２の画素グループのペアの電荷蓄積期間等を示すタイミングチャートである。また、図１８は、撮像素子１３から被写体までの距離が０[ｍ]である場合に、ペア決定処理の第５の例により決定される第１の画素グループと第２の画素グループのペアの電荷蓄積期間等を示すタイミングチャートである。

図１７および図１８に示すように、ペア決定処理の第５の例では、第１の画素グループの電荷蓄積開始時刻Ｔ１が、投光開始時刻Ｔ２より前であり、かつ、電荷蓄積終了時刻Ｔ７が、投光終了時刻Ｔ５と同一または後である。また、第２の画素グループの電荷蓄積開始時刻Ｔ４が、投光開始時刻Ｔ２より後であり、投光終了時刻Ｔ５と同一または投光終了時刻Ｔ５より前である。

この場合、第１の画素グループの画素は、投光時間（Ｔ５－Ｔ２）のパルス光の反射光を全て受光する。また、第２の画素グループの画素の実際の電荷蓄積時間は、第２の画素グループの電荷蓄積開始時刻Ｔ４から受光終了時刻Ｔ６までの時間（Ｔ６－Ｔ４）である。

従って、処理対象のパルス光の被写体からの反射光の受光により、第１の画素グループの画素に蓄積された電荷量をＱ１とし、第２の画素グループの画素に蓄積された電荷量をＱ２とするとき、時間（Ｔ６－Ｔ５）は、以下の式（１６）により表される。

（Ｔ６－Ｔ５）＝（Ｔ５－Ｔ２）×（Ｑ２－Ｑ２ｍｉｎ）÷Ｑ１・・・（１６）

ここで、Ｑ２ｍｉｎは、撮像素子１３と被写体の距離Ｄ[ｍ]によらず、以下の式（１７）で表される。

Ｑ２ｍｉｎ＝Ｑ１×（Ｔ５－Ｔ４）÷（Ｔ５－Ｔ２）・・・（１７）

従って、距離検出部１６は、投光開始時刻Ｔ２、投光終了時刻Ｔ５、および第２の画素の電荷蓄積開始時刻Ｔ４、並びに、電荷量Ｑ１および電荷量Ｑ２に基づいて、時間（Ｔ６－Ｔ５）を求めることができる。

距離検出部１６は、このようにして求められた時間（Ｔ６－Ｔ５）を用いて、式（３）により、距離Ｄ[ｍ]を求める。

その結果、図１７に示すように、電荷量Ｑ１が電荷量Ｑ１＿９であり、電荷量Ｑ２が電荷量Ｑ２＿９である場合、距離検出部１６により求められる距離Ｄ[ｍ]は、以下の式（１８）で表される。

Ｄ[ｍ]＝０．５×ｃ×（Ｔ５－Ｔ２）×（Ｑ２＿９－Ｑ２ｍｉｎ）÷Ｑ１＿９・・・（１８）

図１７の場合、撮像素子１３と第１の画素グループの画素における被写体が離れているため、処理対象のパルス光の投光終了時刻Ｔ５と受光終了時刻Ｔ６は異なる。従って、電荷量Ｑ２＿９はＱ２ｍｉｎと同一ではない。よって、式（１８）により求められる距離Ｄ[ｍ]は０ではない。

一方、図１８に示すように、電荷量Ｑ１が電荷量Ｑ１＿１０であり、電荷量Ｑ２が電荷量Ｑ２＿１０である場合、距離検出部１６により求められる距離Ｄ[ｍ]は、以下の式（１９）で表される。

Ｄ[ｍ]＝０．５×ｃ×（Ｔ５－Ｔ２）×（Ｑ２＿１０－Ｑ２ｍｉｎ）÷Ｑ１＿１０・・・（１９）

図１８の場合、撮像素子１３と第１の画素グループの画素における被写体が離れていないため、処理対象のパルス光の投光終了時刻Ｔ５と受光終了時刻Ｔ６は同一である。従って、電荷量Ｑ２＿１０はＱ２ｍｉｎと同一である。よって、式（１５）により求められる距離Ｄ[ｍ]は０である。

（ペア決定処理の第６の例の説明）
図１９は、図３のステップＳ１３のペア決定処理の第６の例を説明するフローチャートである。

図１９のステップＳ１８１において、決定部１５は、処理対象のパルス光群のうちの先頭のパルス光を処理対象のパルス光に設定する。

ステップＳ１８２において、決定部１５は、撮像制御部１４から供給される電荷蓄積開始時刻Ｔ１が、予め決定されたＴ３ｍｉｎより前であり、かつ、電荷蓄積終了時刻Ｔ７が、予め決定されたＴ６ｍａｘと同一またはＴ６ｍａｘより後である第１の画素グループを検索する。

Ｔ３ｍｉｎは、距離Ｄ[ｍ]が予め決められた検出可能距離下限値Ｌｍｉｎ[ｍ]である場合の受光開始時刻Ｔ３の予測値であり、検出可能距離下限値Ｌｍｉｎ[ｍ]と処理対象のパルス光の投光開始時刻Ｔ２を用いて、以下の式（２０）で表される。

Ｔ３ｍｉｎ＝Ｔ２＋２×Ｌｍｉｎ÷ｃ・・・（２０）

また、Ｔ６ｍａｘは、距離Ｄ[ｍ]が予め決められた検出可能距離上限値Ｌｍａｘ[ｍ]である場合の受光終了時刻Ｔ６の予測値であり、検出可能距離上限値Ｌｍａｘ[ｍ]と処理対象のパルス光の投光開始時刻Ｔ２を用いて、以下の式（２１）で表される。

Ｔ６ｍａｘ＝Ｔ５＋２×Ｌｍａｘ÷ｃ・・・（２１）

この場合、距離検出部１６は、検出可能距離下限値Ｌｍｉｎ[ｍ]から検出可能距離上限値Ｌｍａｘ[ｍ]までの間の距離Ｄ[ｍ]を検出可能である。

ステップＳ１８３乃至Ｓ１９５の処理は、図１６のステップＳ１５３乃至Ｓ１６５の処理と同様であるので、説明は省略する。

なお、決定部１５は、Ｔ３ｍｉｎ，Ｔ６ｍａｘの代わりに、受光開始時刻Ｔ３の推定値Ｔ３ｅｓｔ、受光終了時刻Ｔ６の推定値Ｔ６ｅｓｔを用いてもよい。推定値Ｔ３ｅｓｔおよび推定値Ｔ６ｅｓｔは、例えば、過去の距離Ｄ[ｍ]の検出結果の傾向から推定される。

撮像素子１３が、撮影用の画素、距離検出用の画素、および位相差検出用の画素を有する図示せぬ撮像素子の距離検出用の画素からなる場合のように、距離検出部１６による方法以外の方法(位相差検出法など)でも距離検出を行う場合、推定値Ｔ３ｅｓｔおよび推定値Ｔ６ｅｓｔは、その距離検出結果から推定されるようにしてもよい。

（ペア決定処理の第７の例の説明）
図２０は、図３のステップＳ１３のペア決定処理の第７の例を説明するフローチャートである。

図２０のステップＳ２０１において、決定部１５は、処理対象のパルス光群のうちの先頭のパルス光を処理対象のパルス光に設定する。

ステップＳ２０２において、決定部１５は、電荷蓄積時間（Ｔ７－Ｔ１）が、処理対象のパルス光の投光開始時刻Ｔ２から次のパルス光の投光開始時刻Ｔ９までの時間（Ｔ９－Ｔ２）より小さく、電荷蓄積開始時刻Ｔ１が投光開始時刻Ｔ２と同一であり、かつ、電荷蓄積終了時刻Ｔ７が投光終了時刻Ｔ５と同一である第１の画素グループを検索する。

即ち、決定部１５は、ペア決定処理の第１の例で決定される第１の画素グループのうちの、電荷蓄積時間がパルス光の投光周期（投光インターバル時間）より小さいもののみを、第１の画素グループとして検索する。

ステップＳ２０３およびＳ２０４の処理は、図４のステップＳ３３およびＳ３４の処理と同様であるので、説明は省略する。

ステップＳ２０５において、決定部１５は、電荷蓄積時間（Ｔ８－Ｔ４）が時間（Ｔ９－Ｔ２）より小さく、かつ、電荷蓄積開始時刻Ｔ４が投光終了時刻Ｔ５と同一である第２の画素グループを検索する。

即ち、決定部１５は、ペア決定処理の第１の例で決定される第２の画素グループのうちの、電荷蓄積時間がパルス光の投光周期より小さいもののみを、第２の画素グループとして検索する。

ステップＳ２０６乃至Ｓ２１５の処理は、図４のステップＳ３６乃至Ｓ４５の処理と同様であるので、説明は省略する。

以上のように、ペア決定処理の第７の例では、電荷蓄積時間がパルス光の投光周期より小さくなるように、第１の画素グループと第２の画素グループが決定される。これにより、パルス光の投光期間や電荷蓄積期間によらず、第１の画素グループおよび第２の画素グループの画素が電荷を蓄積している間に投光が開始されるパルス光の数が１以下になる。従って、距離Ｄ[ｍ]の検出に用いられる画素信号が、複数のパルス光の反射光による電荷の画素信号になることを防止することができる。その結果、距離Ｄ[ｍ]の検出精度を向上させることができる。

なお、図示は省略するが、ペア決定処理の第２の例乃至第６の例においても、第１の例と同様に、第２の例乃至第６の例において決定される第１の画素グループおよび第２の画素グループのうちの、電荷蓄積時間がパルス光の投光周期より小さいもののみが、第１の画素グループおよび第２の画素グループに決定されるようにしてもよい。

以上のように、距離検出装置１０は、各画素グループの電荷蓄積期間とパルス光の投光期間とに基づいて、複数の画素グループから、撮像素子１３と被写体（対象物体）との距離の検出に用いる第１の画素グループと第２の画素グループのペアを決定する。従って、電荷振り分け方式の画素構造を有するCMOS撮像素子や、パルス光の投光期間に基づいて各画素グループの電荷蓄積期間を制御可能な撮像素子などの特殊な撮像素子を用いずに、汎用性が高い撮像素子１３を用いて、撮像素子１３と被写体（対象物体）との距離を検出することができる。

＜第２実施の形態＞
（信号処理装置の第２実施の形態の構成例）
図２１は、本開示を適用した信号処理装置としての距離検出装置の第２実施の形態の構成例を示すブロック図である。

図２１に示す構成のうち、図１の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。

図２１の距離検出装置３０の構成は、投光部１１が距離検出装置３０の外部に設けられる点が、図１の距離検出装置１０の構成と異なる。即ち、距離検出装置３０では、距離検出装置３０の外部に設けられた投光部１１を距離検出装置３０の投光制御部１２が制御する。

＜第３実施の形態＞
（信号処理装置の第３実施の形態の構成例）
図２２は、本開示を適用した信号処理装置としての距離検出装置の第３実施の形態の構成例を示すブロック図である。

図２２に示す構成のうち、図１の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。

図２２の距離検出装置５０の構成は、投光部１１と撮像素子１３が距離検出装置５０の外部に設けられる点が、図１の距離検出装置１０の構成と異なる。即ち、距離検出装置５０では、距離検出装置５０の外部に設けられた投光部１１を距離検出装置５０の投光制御部１２が制御し、距離検出装置５０の外部に設けられた撮像素子１３を距離検出装置５０の撮像制御部１４が制御する。

＜第４実施の形態＞
（信号処理装置の第４実施の形態の構成例）
図２３は、本開示を適用した信号処理装置としての距離検出装置の第４実施の形態の構成例を示すブロック図である。

図２３に示す構成のうち、図１の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。

図２３の距離検出装置７０の構成は、投光部１１、投光制御部１２、撮像素子１３、および撮像制御部１４が距離検出装置７０の外部に設けられる点が、図１の距離検出装置１０の構成と異なる。即ち、距離検出装置７０では、決定部１５が、距離検出装置７０の外部に設けられた投光制御部１２から投光期間を取得し、撮像制御部１４から電荷蓄積期間を取得する。

＜第５実施の形態＞
（信号処理装置の第５実施の形態の構成例）
図２４は、本開示を適用した信号処理装置としての距離検出装置の第５実施の形態の構成例を示すブロック図である。

図２４に示す構成のうち、図１の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。

図２４の距離検出装置９０の構成は、投光部１１、投光制御部１２、撮像素子１３、撮像制御部１４、および距離検出部１６が距離検出装置９０の外部に設けられる点が、図１の距離検出装置１０の構成と異なる。即ち、距離検出装置９０では、決定部１５が、距離検出装置９０の外部に設けられた投光制御部１２から投光期間を取得し、撮像制御部１４から電荷蓄積期間を取得してペア決定処理を行う。そして、決定部１５が、各パルス光の投光期間と、そのパルス光に対応するペア情報とを対応付けて、距離検出装置９０の外部に設けられた距離検出部１６に供給する。

＜第６実施の形態＞
（信号処理装置の第６実施の形態の構成例）
図２５は、本開示を適用した信号処理装置としての距離検出装置の第６実施の形態の構成例を示すブロック図である。

図２５に示す構成のうち、図２４の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。

図２５の距離検出装置１１０は、決定部１５の代わりに判定部１１１を備える点が、図２４の距離検出装置９０の構成と異なる。距離検出装置１１０は、パルス光ごとに、第１の画素グループと第２の画素グループのペアを決定するのではなく、予め決められた２つの画素グループの１以上の各ペアが、第１の画素グループと第２の画素グループのペアであるかどうかを判定する。

具体的には、距離検出装置１１０の判定部１１１は、パルス光ごとに、投光期間と予め決められた２つの画素グループの各ペアの電荷蓄積期間とに基づいて、そのペアが、第１の画素グループと第２の画素グループのペアであるかどうかを判定する。判定部１１１は、各パルス光の投光期間と、そのパルス光に対応する第１の画素グループと第２の画素グループのペアであると判定されたペアの電荷蓄積期間を示すペア情報とを対応付けて距離検出部１６に供給する。なお、判定部１１１は、各パルス光の投光期間と、そのパルス光に対応するペア情報とを対応付けて一時的に保持してもよい。

（距離検出処理の説明）
図２６は、図２５の距離検出装置１１０の距離検出処理を説明するフローチャートである。この距離検出処理は、例えば、所定の単位時間内に投光される１以上のパルス光であるパルス光群ごとに行われる。

図２６のステップＳ２３１およびステップＳ２３２の処理は、図３のステップＳ１１およびＳ１２の処理と同様であるので、説明は省略する。

ステップＳ２３３において、判定部１１１は、パルス光ごとに、投光期間と予め決められた２つの画素グループの各ペアの電荷蓄積期間とに基づいて、そのペアが、第１の画素グループと第２の画素グループのペアであるかどうかを判定するペア判定処理を行う。このペア判定処理の詳細は、後述する図２７を参照して説明する。

ステップＳ２３４およびＳ２３５の処理は、図３のステップＳ１４およびＳ１５の処理と同様であるので、説明は省略する。

ステップＳ２３６において、判定部１１１は、パルス光ごとに、ステップＳ２３３の処理により第１の画素グループおよび第２の画素グループのペアであると判定された２つの画素グループのペアが存在するかどうかを判定する。ステップＳ２３６で、第１の画素グループおよび第２の画素グループのペアであると判定された２つの画素グループのペアが存在すると判定された場合、処理はステップＳ２３７に進む。

ステップＳ２３７およびＳ２３８の処理は、図３のステップＳ１６およびＳ１７の処理と同様であるので、説明は省略する。

一方、ステップＳ２３６で、第１の画素グループおよび第２の画素グループのペアであると判定された２つの画素グループのペアが存在しないと判定された場合、ステップＳ２３７およびＳ２３８の処理はスキップされ、処理は終了する。

図２７は、図２６のステップＳ２３３のペア判定処理を説明するフローチャートである。このペア判定処理は、例えば、予め決められた２つの画素グループのペアごとに行われる。

図２７のステップＳ２５１において、判定部１１１は、処理対象のパルス光群のうちの先頭のパルス光を処理対象のパルス光に設定する。

ステップＳ２５２において、処理対象の予め決められた２つの画素グループのペアのうちの一方の画素グループにおいて、電荷蓄積開始時刻Ｔ１が、投光開始時刻Ｔ２より前であり、かつ、電荷蓄積終了時刻Ｔ７が投光終了時刻Ｔ５と同一または投光終了時刻Ｔ５より後であるかどうかを判定する。

ステップＳ２５２で、一方の画素グループにおいて、電荷蓄積開始時刻Ｔ１が、投光開始時刻Ｔ２より前であり、かつ、電荷蓄積終了時刻Ｔ７が投光終了時刻Ｔ５と同一または投光終了時刻Ｔ５より後であると判定された場合、処理はステップＳ２５３に進む。

ステップＳ２５３において、判定部１１１は、処理対象の予め決められた２つの画素グループのペアのうちの一方の画素グループを、第１の画素グループに決定する。

ステップＳ２５４において、処理対象の予め決められた２つの画素グループのペアのうちの他方の画素グループにおいて、電荷蓄積開始時刻Ｔ４が、投光開始時刻Ｔ２より後であり、投光終了時刻Ｔ５と同一または投光終了時刻Ｔ５より前であるかどうかを判定する。

ステップＳ２５４で、他方の画素グループにおいて、電荷蓄積開始時刻Ｔ４が、投光開始時刻Ｔ２より後であり、投光終了時刻Ｔ５と同一または投光終了時刻Ｔ５より前であると判定された場合、処理はステップＳ２５５に進む。

ステップＳ２５５において、判定部１１１は、処理対象の予め決められた２つの画素グループのペアのうちの他方の画素グループを、第２の画素グループに決定する。

ステップＳ２５６において、判定部１１１は、処理対象のパルス光の投光期間と、処理対象の予め決められた２つの画素グループのペアのペア情報とを距離検出部１６に供給し、処理をステップＳ２５７に進める。

一方、ステップＳ２５２で、一方の画素グループにおいて、電荷蓄積開始時刻Ｔ１が、投光開始時刻Ｔ２より前ではない、または、電荷蓄積終了時刻Ｔ７が投光終了時刻Ｔ５と同一もしくは投光終了時刻Ｔ５より後ではないと判定された場合、処理はステップＳ２５７に進む。

また、ステップＳ２５４で、他方の画素グループにおいて、電荷蓄積開始時刻Ｔ４が、投光開始時刻Ｔ２より後ではない、または、投光終了時刻Ｔ５と同一もしくは投光終了時刻Ｔ５より前ではないと判定された場合、処理はステップＳ２５７に進む。

ステップＳ２５７およびＳ２５８の処理は、図１６のステップＳ１６４およびＳ１６５の処理と同様であるので、説明は省略する。

なお、ペア判定処理における第１の画素グループと第２の画素グループのペアの条件は、図４、図７、図１０、図１３、図１９、または図２０のペア決定処理における条件と同一であってもよい。

以上のように、距離検出装置１１０の判定部１１１は、予め決められた２つの画素グループのペアの電荷蓄積期間とパルス光の投光期間とに基づいて、そのペアが、第１の画素グループと第２の画素グループのペアであるかどうかを判定する。即ち、判定部１１１（距離可能判断部）は、予め決められた２つの画素グループのペアの電荷蓄積期間とパルス光の投光期間とに基づいて、そのペアを用いて撮像素子１３から被写体までの距離演算が可能であるかどうかを判定する。

従って、撮像素子１３から被写体までの距離演算が可能であると判定されたペアを用いて、撮像素子１３と被写体との距離を検出することができる。その結果、電荷振り分け方式の画素構造を有するCMOS撮像素子や、パルス光の投光期間に基づいて各画素グループの電荷蓄積期間を制御可能な撮像素子などの特殊な撮像素子を用いずに、汎用性が高い撮像素子１３を用いて、撮像素子１３と被写体との距離を検出することができる。

なお、距離検出装置の第６実施の形態は、第１乃至第４実施の形態において決定部１５の代わりに判定部１１１が設けられたものであってもよい。

＜第７実施の形態＞
（本開示を適用したコンピュータの説明）
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

図２８は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。

コンピュータ２００において、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。

バス２０４には、さらに、入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、入力部２０６、出力部２０７、記憶部２０８、通信部２０９、及びドライブ２１０が接続されている。

入力部２０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部２０７は、ディスプレイ、スピーカなどよりなる。記憶部２０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部２０９は、ネットワークインタフェースなどよりなる。ドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア２１１を駆動する。

以上のように構成されるコンピュータ２００では、CPU２０１が、例えば、記憶部２０８に記憶されているプログラムを、入出力インタフェース２０５及びバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ２００（CPU２０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア２１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

コンピュータ２００では、プログラムは、リムーバブルメディア２１１をドライブ２１０に装着することにより、入出力インタフェース２０５を介して、記憶部２０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２０９で受信し、記憶部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記憶部２０８に、あらかじめインストールしておくことができる。

なお、コンピュータ２００が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

＜応用例＞
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械（トラクター）などのいずれかの種類の移動体に搭載される装置として実現されてもよい。

図２９は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム７０００の概略的な構成例を示すブロック図である。車両制御システム７０００は、通信ネットワーク７０１０を介して接続された複数の電子制御ユニットを備える。図２９に示した例では、車両制御システム７０００は、駆動系制御ユニット７１００、ボディ系制御ユニット７２００、バッテリ制御ユニット７３００、車外情報検出ユニット７４００、車内情報検出ユニット７５００、及び統合制御ユニット７６００を備える。これらの複数の制御ユニットを接続する通信ネットワーク７０１０は、例えば、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）、ＬＡＮ（Local Area Network）又はＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークであってよい。

各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク７０１０を介して他の制御ユニットとの間で通信を行うためのネットワークＩ／Ｆを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信Ｉ／Ｆを備える。図２９では、統合制御ユニット７６００の機能構成として、マイクロコンピュータ７６１０、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０、音声画像出力部７６７０、車載ネットワークＩ／Ｆ７６８０及び記憶部７６９０が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信Ｉ／Ｆ及び記憶部等を備える。

駆動系制御ユニット７１００は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット７１００は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット７１００は、ＡＢＳ（Antilock Brake System）又はＥＳＣ（Electronic Stability Control）等の制御装置としての機能を有してもよい。

駆動系制御ユニット７１００には、車両状態検出部７１１０が接続される。車両状態検出部７１１０には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット７１００は、車両状態検出部７１１０から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。

ボディ系制御ユニット７２００は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット７２００は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット７２００には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット７２００は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。

バッテリ制御ユニット７３００は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池７３１０を制御する。例えば、バッテリ制御ユニット７３００には、二次電池７３１０を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット７３００は、これらの信号を用いて演算処理を行い、二次電池７３１０の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。

車外情報検出ユニット７４００は、車両制御システム７０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット７４００には、撮像部７４１０及び車外情報検出部７４２０のうちの少なくとも一方が接続される。撮像部７４１０には、ＴｏＦ（Time Of Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部７４２０には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム７０００を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。

環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びＬＩＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）装置のうちの少なくとも一つであってよい。これらの撮像部７４１０及び車外情報検出部７４２０は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。

ここで、図３０は、撮像部７４１０及び車外情報検出部７４２０の設置位置の例を示す。撮像部７９１０，７９１２，７９１４，７９１６，７９１８は、例えば、車両７９００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部７９１０及び車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として車両７９００の前方の画像を取得する。サイドミラーに備えられる撮像部７９１２，７９１４は、主として車両７９００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部７９１６は、主として車両７９００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。

なお、図３０には、それぞれの撮像部７９１０，７９１２，７９１４，７９１６の撮影範囲の一例が示されている。撮像範囲ａは、フロントノーズに設けられた撮像部７９１０の撮像範囲を示し、撮像範囲ｂ，ｃは、それぞれサイドミラーに設けられた撮像部７９１２，７９１４の撮像範囲を示し、撮像範囲ｄは、リアバンパ又はバックドアに設けられた撮像部７９１６の撮像範囲を示す。例えば、撮像部７９１０，７９１２，７９１４，７９１６で撮像された画像データが重ね合わせられることにより、車両７９００を上方から見た俯瞰画像が得られる。

車両７９００のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２２，７９２４，７９２６，７９２８，７９３０は、例えば超音波センサ又はレーダ装置であってよい。車両７９００のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２６，７９３０は、例えばＬＩＤＡＲ装置であってよい。これらの車外情報検出部７９２０～７９３０は、主として先行車両、歩行者又は障害物等の検出に用いられる。

図２９に戻って説明を続ける。車外情報検出ユニット７４００は、撮像部７４１０に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット７４００は、接続されている車外情報検出部７４２０から検出情報を受信する。車外情報検出部７４２０が超音波センサ、レーダ装置又はＬＩＤＡＲ装置である場合には、車外情報検出ユニット７４００は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット７４００は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。

また、車外情報検出ユニット７４００は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部７４１０により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット７４００は、異なる撮像部７４１０により撮像された画像データを用いて、視点変換処理を行ってもよい。

車内情報検出ユニット７５００は、車内の情報を検出する。車内情報検出ユニット７５００には、例えば、運転者の状態を検出する運転者状態検出部７５１０が接続される。運転者状態検出部７５１０は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット７５００は、運転者状態検出部７５１０から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット７５００は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。

統合制御ユニット７６００は、各種プログラムにしたがって車両制御システム７０００内の動作全般を制御する。統合制御ユニット７６００には、入力部７８００が接続されている。入力部７８００は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット７６００には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部７８００は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム７０００の操作に対応した携帯電話又はＰＤＡ（Personal Digital Assistant）等の外部接続機器であってもよい。入力部７８００は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部７８００は、例えば、上記の入力部７８００を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット７６００に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部７８００を操作することにより、車両制御システム７０００に対して各種のデータを入力したり処理動作を指示したりする。

記憶部７６９０は、マイクロコンピュータにより実行される各種プログラムを記憶するＲＯＭ（Read Only Memory）、及び各種パラメータ、演算結果又はセンサ値等を記憶するＲＡＭ（Random Access Memory）を含んでいてもよい。また、記憶部７６９０は、ＨＤＤ（Hard Disc Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。

汎用通信Ｉ／Ｆ７６２０は、外部環境７７５０に存在する様々な機器との間の通信を仲介する汎用的な通信Ｉ／Ｆである。汎用通信Ｉ／Ｆ７６２０は、ＧＳＭ（Global System of Mobile communications）、ＷｉＭＡＸ、ＬＴＥ（Long Term Evolution）若しくはＬＴＥ－Ａ（LTE－Advanced）などのセルラー通信プロトコル、又は無線ＬＡＮ（Ｗｉ－Ｆｉ（登録商標）ともいう）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などのその他の無線通信プロトコルを実装してよい。汎用通信Ｉ／Ｆ７６２０は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）へ接続してもよい。また、汎用通信Ｉ／Ｆ７６２０は、例えばＰ２Ｐ（Peer To Peer）技術を用いて、車両の近傍に存在する端末（例えば、運転者、歩行者若しくは店舗の端末、又はＭＴＣ（Machine Type Communication）端末）と接続してもよい。

専用通信Ｉ／Ｆ７６３０は、車両における使用を目的として策定された通信プロトコルをサポートする通信Ｉ／Ｆである。専用通信Ｉ／Ｆ７６３０は、例えば、下位レイヤのＩＥＥＥ８０２．１１ｐと上位レイヤのＩＥＥＥ１６０９との組合せであるＷＡＶＥ（Wireless Access in Vehicle Environment）、ＤＳＲＣ（Dedicated Short Range Communications）、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信Ｉ／Ｆ７６３０は、典型的には、車車間（Vehicle to Vehicle）通信、路車間（Vehicle to Infrastructure）通信、車両と家との間（Vehicle to Home）の通信及び歩車間（Vehicle to Pedestrian）通信のうちの１つ以上を含む概念であるＶ２Ｘ通信を遂行する。

測位部７６４０は、例えば、ＧＮＳＳ（Global Navigation Satellite System）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Global Positioning System）衛星からのＧＰＳ信号）を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部７６４０は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、ＰＨＳ若しくはスマートフォンといった端末から位置情報を取得してもよい。

ビーコン受信部７６５０は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部７６５０の機能は、上述した専用通信Ｉ／Ｆ７６３０に含まれてもよい。

車内機器Ｉ／Ｆ７６６０は、マイクロコンピュータ７６１０と車内に存在する様々な車内機器７７６０との間の接続を仲介する通信インタフェースである。車内機器Ｉ／Ｆ７６６０は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near Field Communication）又はＷＵＳＢ（Wireless USB）といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器Ｉ／Ｆ７６６０は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（High-Definition Multimedia Interface）、又はＭＨＬ（Mobile High-definition Link）等の有線接続を確立してもよい。車内機器７７６０は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも１つを含んでいてもよい。また、車内機器７７６０は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器Ｉ／Ｆ７６６０は、これらの車内機器７７６０との間で、制御信号又はデータ信号を交換する。

車載ネットワークＩ／Ｆ７６８０は、マイクロコンピュータ７６１０と通信ネットワーク７０１０との間の通信を仲介するインタフェースである。車載ネットワークＩ／Ｆ７６８０は、通信ネットワーク７０１０によりサポートされる所定のプロトコルに則して、信号等を送受信する。

統合制御ユニット７６００のマイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム７０００を制御する。例えば、マイクロコンピュータ７６１０は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット７１００に対して制御指令を出力してもよい。例えば、マイクロコンピュータ７６１０は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ７６１０は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。

マイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の３次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ７６１０は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。

音声画像出力部７６７０は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図２９の例では、出力装置として、オーディオスピーカ７７１０、表示部７７２０及びインストルメントパネル７７３０が例示されている。表示部７７２０は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部７７２０は、ＡＲ（Augmented Reality）表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ７６１０が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。

なお、図２９に示した例において、通信ネットワーク７０１０を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム７０００が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク７０１０を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク７０１０を介して相互に検出情報を送受信してもよい。

なお、図１乃至図２７を用いて説明した本実施形態に係る距離検出装置１０（３０，５０，７０，９０，１１０）の各機能を実現するためのコンピュータプログラムを、いずれかの制御ユニット等に実装することができる。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体を提供することもできる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。

以上説明した車両制御システム７０００において、図１乃至図２７を用いて説明した本実施形態に係る投光制御部１２、撮像制御部１４、決定部１５（判定部１１１）、距離検出部１６は、図２９に示した応用例の統合制御ユニット７６００に適用することができる。例えば、投光制御部１２、撮像制御部１４、決定部１５（判定部１１１）、距離検出部１６は、統合制御ユニット７６００のマイクロコンピュータ７６１０に相当する。また、投光部１１と撮像素子１３は、撮像部７４１０に適用することができる。例えば、統合制御ユニット７６００は、第１の画素グループと第２の画素グループのペアを決定することにより、汎用性が高い撮像素子を用いて、撮像素子と自分の車両の周囲の被写体（例えば、他の車両、人間、道路バリアなど）との距離を検出することができる。

また、図１乃至図２７を用いて説明した投光制御部１２、撮像制御部１４、決定部１５（判定部１１１）、距離検出部１６の少なくとも一部の構成要素は、図２９に示した統合制御ユニット７６００のためのモジュール（例えば、一つのダイで構成される集積回路モジュール）において実現されてもよい。あるいは、図１乃至図２７を用いて説明した投光制御部１２、撮像制御部１４、決定部１５（判定部１１１）、距離検出部１６が、図２９に示した車両制御システム７０００の複数の制御ユニットによって実現されてもよい。

本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。

また、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、上述した実施の形態では、決定部１５が、投光制御部１２から供給される投光期間と撮像制御部１４から供給される電荷蓄積期間に基づいて、第１の画素グループと第２の画素グループを決定したが、決定部１５は、所定の画素グループを第１の画素グループと第２の画素グループにするように、投光期間と電荷蓄積期間を制御するようにするようにしてもよい。

また、同一の対象物体に対して、複数の距離検出装置１０が設けられるようにしてもよい。この場合、他の距離検出装置１０の投光部１１から投光されたパルス光の対象物体からの反射光が撮像素子１３で受光され、距離検出の精度が低下することを防止するため、距離検出装置１０は、自他のパルス光の反射光を分離するとよい。自他のパルス光の反射光を分離する方法としては、例えば、撮像素子１３の前面に偏光板を設置する方法、パルス光の波長および撮像素子１３に搭載するカラーフィルタの透過波長を距離検出装置１０ごとに異ならせる方法などがある。

さらに、投光期間と電荷蓄積期間が固定されている場合、図３のステップＳ１１乃至Ｓ１３の処理は、距離検出処理の前に行われてもよい。

なお、本開示は、以下のような構成もとることができる。

（１）
画素グループごとに電荷蓄積期間が制御される撮像素子の前記画素グループごとの前記電荷蓄積期間と、投光されるパルス光の投光期間とに基づいて、前記撮像素子と被写体との距離の検出に用いる画素グループのペアを決定する決定部
を備える信号処理装置。
（２）
前記決定部は、前記電荷蓄積期間が前記投光期間と同一である画素グループを、前記ペアの一方の画素グループに決定する
ように構成された
前記（１）に記載の信号処理装置。
（３）
前記決定部は、前記電荷蓄積期間の開始時刻が前記投光期間の終了時刻と同一である画素グループを、前記ペアの他方の画素グループに決定する
ように構成された
前記（２）に記載の信号処理装置。
（４）
前記決定部は、前記電荷蓄積期間の開始時刻が前記投光期間の開始時刻より前であり、かつ、前記電荷蓄積期間の終了時刻が前記投光期間の終了時刻と同一である画素グループを、前記ペアの一方の画素グループに決定する
ように構成された
前記（１）に記載の信号処理装置。
（５）
前記決定部は、前記電荷蓄積期間の開始時刻が前記投光期間の終了時刻と同一である画素グループを、前記ペアの他方の画素グループに決定する
ように構成された
前記（４）に記載の信号処理装置。
（６）
前記決定部は、前記電荷蓄積期間の開始時刻が、前記投光期間の開始時刻より後であり、前記投光期間の終了時刻と同一または前記投光期間の終了時刻より前である画素グループを、前記ペアの他方の画素グループに決定する
ように構成された
前記（４）に記載の信号処理装置。
（７）
前記決定部は、前記電荷蓄積期間の開始時刻が前記投光期間の開始時刻より前であり、かつ、前記電荷蓄積期間の終了時刻が前記投光期間の開始時刻より後であり、前記投光期間の終了時刻と同一または前記投光期間の終了時刻より前である画素グループを、前記ペアの一方の画素グループに決定する
ように構成された
前記（１）に記載の信号処理装置。
（８）
前記決定部は、前記電荷蓄積期間の開始時刻が、前記ペアの一方の画素グループの前記電荷蓄積期間の終了時刻と同一である画素グループを、前記ペアの他方の画素グループに決定する
ように構成された
前記（７）に記載の信号処理装置。
（９）
前記決定部は、前記電荷蓄積期間の開始時刻が前記投光期間の開始時刻より前であり、かつ、前記電荷蓄積期間の終了時刻が前記投光期間の終了時刻と同一または前記投光期間の終了時刻より後である画素グループを、前記ペアの一方の画素グループに決定する
ように構成された
前記（１）に記載の信号処理装置。
（１０）
前記決定部は、前記電荷蓄積期間の開始時刻が、前記投光期間の開始時刻より後であり、前記投光期間の終了時刻と同一または前記投光期間の終了時刻より前である画素グループを、前記ペアの他方の画素グループに決定する
ように構成された
前記（９）に記載の信号処理装置。
（１１）
前記決定部は、前記電荷蓄積期間の開始時刻が、前記撮像素子と前記被写体との距離が所定の距離である場合に前記パルス光の反射光の前記撮像素子による受光が開始される受光開始時刻より前である画素グループを、前記ペアの一方の画素グループに決定する
ように構成された
前記（１）に記載の信号処理装置。
（１２）
前記決定部は、前記電荷蓄積期間の終了時刻が、前記撮像素子と前記被写体との距離が所定の距離である場合に前記パルス光の反射光の前記撮像素子による受光が終了される受光終了時刻と同一または前記受光終了時刻より後である画素グループを、前記ペアの一方の画素グループに決定する
ように構成された
前記（１１）に記載の信号処理装置。
（１３）
前記決定部は、前記電荷蓄積期間の時間が、前記パルス光の投光周期より小さい２つの画素グループを前記ペアに決定する
ように構成された
前記（１）乃至（１２）のいずれかに記載の信号処理装置。
（１４）
前記決定部により決定された前記ペアの前記画素グループに分類される画素の前記電荷蓄積期間だけ蓄積された電荷の画素信号に基づいて、前記撮像素子と前記被写体との距離を検出する距離検出部
をさらに備える
前記（１）乃至（１３）のいずれかに記載の信号処理装置。
（１５）
前記パルス光を前記被写体に向けて投光する投光部
をさらに備える
前記（１）乃至（１４）のいずれかに記載の信号処理装置。
（１６）
前記投光期間の間、前記パルス光を投光するように前記投光部を制御する投光制御部
をさらに備える
前記（１５）に記載の信号処理装置。
（１７）
前記撮像素子
をさらに備える
前記（１）乃至（１６）のいずれかに記載の信号処理装置。
（１８）
前記画素グループごとに、前記画素グループに分類された画素が、前記電荷蓄積期間の間、電荷を蓄積するように、前記撮像素子を制御する撮像素子制御部
をさらに備える
前記（１７）に記載の信号処理装置。
（１９）
信号処理装置が、
画素グループごとに電荷蓄積期間が制御される撮像素子の前記画素グループごとの前記電荷蓄積期間と、投光されるパルス光の投光期間とに基づいて、前記撮像素子と被写体との距離の検出に用いる画素グループのペアを決定する決定ステップ
を含む信号処理方法。
（２０）
コンピュータを
画素グループごとに電荷蓄積期間が制御される撮像素子の前記画素グループごとの前記電荷蓄積期間と、投光されるパルス光の投光期間とに基づいて、前記撮像素子と被写体との距離の検出に用いる画素グループのペアを決定する決定部
を備える信号処理装置として機能させるためのプログラム。
（２１）
撮像素子の第１の画素グループに対する第１の電荷蓄積期間と、前記撮像素子の第２の画素グループに対する第２の電荷蓄積期間と、前記撮像素子の被写体に向けて投光されるパルス光の投光期間とに基づいて、前記撮像素子から前記被写体までの距離演算が可能であるかを判断する距離可能判断部
を備える信号処理装置。
（２２）
信号処理装置が、
撮像素子の第１の画素グループに対する第１の電荷蓄積期間と、前記撮像素子の第２の画素グループに対する第２の電荷蓄積期間と、前記撮像素子の被写体に向けて投光されるパルス光の投光期間とに基づいて、前記撮像素子から前記被写体までの距離演算が可能であるかを判断する距離可能判断ステップ
を含む信号処理方法。

１０ 距離検出装置, １１ 投光部, １２ 投光制御部, １３ 撮像素子， １４ 撮像素子制御部, １５ 決定部， １６ 距離検出部, ３０，５０，７０，９０，１１０ 距離検出装置， １１１ 判定部

Claims (22)

1. １以上の行の画素からなる画素グループごとに電荷蓄積期間が制御されるローリングシャッタ方式の撮像素子において、前記画素グループごとの前記電荷蓄積期間と、投光されるパルス光の投光期間とに基づいて、前記撮像素子と被写体との距離の検出に用いる画素グループのペアを決定する決定部
   を備える信号処理装置。
2. 前記決定部は、前記電荷蓄積期間が前記投光期間と同一である画素グループを、前記ペアの一方の画素グループに決定する
   ように構成された
   請求項１に記載の信号処理装置。
3. 前記決定部は、前記電荷蓄積期間の開始時刻が前記投光期間の終了時刻と同一である画素グループを、前記ペアの他方の画素グループに決定する
   ように構成された
   請求項２に記載の信号処理装置。
4. 前記決定部は、前記電荷蓄積期間の開始時刻が前記投光期間の開始時刻より前であり、かつ、前記電荷蓄積期間の終了時刻が前記投光期間の終了時刻と同一である画素グループを、前記ペアの一方の画素グループに決定する
   ように構成された
   請求項１に記載の信号処理装置。
5. 前記決定部は、前記電荷蓄積期間の開始時刻が前記投光期間の終了時刻と同一である画素グループを、前記ペアの他方の画素グループに決定する
   ように構成された
   請求項４に記載の信号処理装置。
6. 前記決定部は、前記電荷蓄積期間の開始時刻が、前記投光期間の開始時刻より後であり、前記投光期間の終了時刻と同一または前記投光期間の終了時刻より前である画素グループを、前記ペアの他方の画素グループに決定する
   ように構成された
   請求項４に記載の信号処理装置。
7. 前記決定部は、前記電荷蓄積期間の開始時刻が前記投光期間の開始時刻より前であり、かつ、前記電荷蓄積期間の終了時刻が前記投光期間の開始時刻より後であり、前記投光期間の終了時刻と同一または前記投光期間の終了時刻より前である画素グループを、前記ペアの一方の画素グループに決定する
   ように構成された
   請求項１に記載の信号処理装置。
8. 前記決定部は、前記電荷蓄積期間の開始時刻が、前記ペアの一方の画素グループの前記電荷蓄積期間の終了時刻と同一である画素グループを、前記ペアの他方の画素グループに決定する
   ように構成された
   請求項７に記載の信号処理装置。
9. 前記決定部は、前記電荷蓄積期間の開始時刻が前記投光期間の開始時刻より前であり、かつ、前記電荷蓄積期間の終了時刻が前記投光期間の終了時刻と同一または前記投光期間の終了時刻より後である画素グループを、前記ペアの一方の画素グループに決定する
   ように構成された
   請求項１に記載の信号処理装置。
10. 前記決定部は、前記電荷蓄積期間の開始時刻が、前記投光期間の開始時刻より後であり、前記投光期間の終了時刻と同一または前記投光期間の終了時刻より前である画素グループを、前記ペアの他方の画素グループに決定する
    ように構成された
    請求項９に記載の信号処理装置。
11. 前記決定部は、前記電荷蓄積期間の開始時刻が、前記撮像素子と前記被写体との距離が所定の距離である場合に前記パルス光の反射光の前記撮像素子による受光が開始される受光開始時刻より前である画素グループを、前記ペアの一方の画素グループに決定する
    ように構成された
    請求項１に記載の信号処理装置。
12. 前記決定部は、前記電荷蓄積期間の終了時刻が、前記撮像素子と前記被写体との距離が所定の距離である場合に前記パルス光の反射光の前記撮像素子による受光が終了される受光終了時刻と同一または前記受光終了時刻より後である画素グループを、前記ペアの一方の画素グループに決定する
    ように構成された
    請求項１１に記載の信号処理装置。
13. 前記決定部は、前記電荷蓄積期間の時間が、前記パルス光の投光周期より小さい２つの画素グループを前記ペアに決定する
    ように構成された
    請求項１に記載の信号処理装置。
14. 前記決定部により決定された前記ペアの前記画素グループに分類される画素の前記電荷蓄積期間だけ蓄積された電荷の画素信号に基づいて、前記撮像素子と前記被写体との距離を検出する距離検出部
    をさらに備える
    請求項１に記載の信号処理装置。
15. 前記パルス光を前記被写体に向けて投光する投光部
    をさらに備える
    請求項１に記載の信号処理装置。
16. 前記投光期間の間、前記パルス光を投光するように前記投光部を制御する投光制御部
    をさらに備える
    請求項１５に記載の信号処理装置。
17. 前記撮像素子
    をさらに備える
    請求項１に記載の信号処理装置。
18. 前記画素グループごとに、前記画素グループに分類された画素が、前記電荷蓄積期間の間、電荷を蓄積するように、前記撮像素子を制御する撮像素子制御部
    をさらに備える
    請求項１７に記載の信号処理装置。
19. 信号処理装置が、
    １以上の行の画素からなる画素グループごとに電荷蓄積期間が制御されるローリングシャッタ方式の撮像素子において、前記画素グループごとの前記電荷蓄積期間と、投光されるパルス光の投光期間とに基づいて、前記撮像素子と被写体との距離の検出に用いる画素グループのペアを決定する決定ステップ
    を含む信号処理方法。
20. コンピュータを
    １以上の行の画素からなる画素グループごとに電荷蓄積期間が制御されるローリングシャッタ方式の撮像素子において、前記画素グループごとの前記電荷蓄積期間と、投光されるパルス光の投光期間とに基づいて、前記撮像素子と被写体との距離の検出に用いる画素グループのペアを決定する決定部
    を備える信号処理装置として機能させるためのプログラム。
21. １以上の行の画素からなる画素グループごとに電荷蓄積期間が制御されるローリングシャッタ方式の撮像素子において決められた２つの前記画素グループのぺアのうちの一方の画素グループに対する第１の電荷蓄積期間と、他方の画素グループに対する第２の電荷蓄積期間と、前記撮像素子の被写体に向けて投光されるパルス光の投光期間とに基づいて、前記ペアを用いて前記撮像素子から前記被写体までの距離演算が可能であるかを判断する距離可能判断部
    を備える信号処理装置。
22. 信号処理装置が、
    １以上の行の画素からなる画素グループごとに電荷蓄積期間が制御されるローリングシャッタ方式の撮像素子において決められた２つの前記画素グループのぺアのうちの一方の画素グループに対する第１の電荷蓄積期間と、他方の画素グループに対する第２の電荷蓄積期間と、前記撮像素子の被写体に向けて投光されるパルス光の投光期間とに基づいて、前記ペアを用いて前記撮像素子から前記被写体までの距離演算が可能であるかを判断する距離可能判断ステップ
    を含む信号処理方法。

Images