Nothing Special   »   [go: up one dir, main page]

JP2012138671A - ステレオカメラ装置 - Google Patents

ステレオカメラ装置 Download PDF

Info

Publication number
JP2012138671A
JP2012138671A JP2010288259A JP2010288259A JP2012138671A JP 2012138671 A JP2012138671 A JP 2012138671A JP 2010288259 A JP2010288259 A JP 2010288259A JP 2010288259 A JP2010288259 A JP 2010288259A JP 2012138671 A JP2012138671 A JP 2012138671A
Authority
JP
Japan
Prior art keywords
camera
timing
imaging units
stereo camera
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010288259A
Other languages
English (en)
Other versions
JP5568458B2 (ja
Inventor
Keishun Nakada
圭俊 中田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Corp
Original Assignee
Kyocera Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Corp filed Critical Kyocera Corp
Priority to JP2010288259A priority Critical patent/JP5568458B2/ja
Publication of JP2012138671A publication Critical patent/JP2012138671A/ja
Application granted granted Critical
Publication of JP5568458B2 publication Critical patent/JP5568458B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Stereoscopic And Panoramic Photography (AREA)
  • Studio Devices (AREA)

Abstract

【課題】通常は前記複数の撮像部の同期信号のタイミングを一致させて同期をとり、被写体との距離が一定以下となる即ち高速のフレームレートが要求される場合でも露光時間を短くする必要がないステレオカメラ装置を提供する。
【解決手段】複数の撮像部と、該複数の撮像部のそれぞれの撮像タイミングをフレーム同期信号によって制御する制御部と、前記撮像部から出力された映像信号を受けて画像処理を行う画像処理部とからなるステレオカメラ装置において、前記制御部は、被写体との距離が所定の距離よりも大きい場合に前記複数の撮像部のフレーム同期信号のタイミングを一致させておき、被写体との距離が前記所定の距離以下である場合に前記複数の撮像部のフレーム同期信号のタイミングをずらして撮影を行う。
【選択図】 図10

Description

本発明は、ステレオカメラに関するものである。
近年、複数の撮像部を用いて写した1組の画像を用いて被写体まで距離を算出することができるステレオカメラが、車の安全走行を支援するための車載カメラとして用いられている。
ステレオカメラを用いることにより、複数の撮像部それぞれで被写体を異なる位置から撮像した複数の画像を使用して、同一被写体に対する視差から三角測量の原理により被写体までの距離を求めることができる。
三角測量の原理は、複数の画像に含まれる画像情報を重ね合わせて複数の画像の一致した情報を求める処理を行うものである。そのため、前記複数の画像の間には視差以外のずれがないことが、前記被写体までの距離を高精度で求めるために望ましい。
そこで、ステレオカメラにおいて複数の画像間の視差以外のずれを出来る限り小さなものとするために、ステレオカメラにおける複数の撮像部の同期をとる技術が開示されている。
ステレオカメラにおける複数の撮像部の同期をとる技術として、例えば特許文献1には、ステレオカメラにおける複数の撮像部に対して共通の駆動信号・同期信号を供給することによって、複数の撮像部の同期をとる技術が開示されている。
また、特許文献2には、基準となる光信号を撮像し、該光信号をトリガとして複数の撮像部の同期をとる技術が開示されている。
さらに、特許文献3には、各撮像部の撮像タイミングのずれを調整してタイミングジェネレータを介して各撮像部が撮像するためのタイミング信号を各撮像部に供給する技術が開示されている。
特開2000−341719号公報 特開2002−344800号公報 特開2006−203448号公報
ところで、車載カメラとして用いられるステレオカメラにおいては、例えば先行車両との距離が小さくなった場合等には高速のフレームレートが要求されることがある。
例えば特許文献1〜3に開示されたような複数の撮像部の同期をとったステレオカメラでは、高速のフレームレートが要求される場合には、フレームレートの周期に合わせて露光時間を短くせざるを得ない。露光時間が短くなると取り込む画像の光量不足になったり、該光量不足を補うために撮像素子のゲインを上げると画像にノイズがのってきたりするという課題が発生するが、例えば特許文献1〜3に開示されたような複数の撮像部全てを同期して駆動するステレオカメラではこれらの課題を解決することはできない。
従って、本発明はかかる従来技術の問題に鑑み、複数の撮像部と、該複数の撮像部のそれぞれの撮影動作タイミングを同期信号によって制御する制御部と、前記撮像部から出力された映像信号を受けて画像処理を行う画像処理部とからなるステレオカメラ装置において、通常は前記複数の撮像部の同期信号のタイミングを一致させて同期をとり、被写体との距離が一定以下となる即ち高速のフレームレートが要求される場合でも露光時間を短くする必要がないステレオカメラ装置を提供することを目的とする。
また、複数の撮像系の同期をとるに際して、特許文献1に開示された技術では起動時に発生する複数の撮像系間の起動遅延が発生するため正確に同期がとることが難しい。また、特許文献2に開示された技術では外部から光信号を入力する必要がある、特許文献3に開示した技術では外部から信号を供給する必要があり、何れも外部からの信号の入力手段が必要であり機器が煩雑化する。そこで、前記目的に付随して、正確に且つ外部からの信号の入力が必要ないため機器を煩雑化することがないステレオカメラを提供することを目的とする。
上記の課題を解決するために、本発明においては、複数の撮像部と、該複数の撮像部のそれぞれの撮像タイミングをフレーム同期信号によって制御する制御部と、前記撮像部から出力された映像信号を受けて画像処理を行う画像処理部とからなるステレオカメラ装置において、前記制御部は、被写体との距離が所定の距離よりも大きい場合に前記複数の撮像部のフレーム同期信号のタイミングを一致させておき、被写体との距離が前記所定の距離以下である場合に前記複数の撮像部のフレーム同期信号のタイミングをずらして撮影を行うことを特徴とする。
これにより、通常運転時は前記複数の撮像部の同期をとっておくことで被写体までの距離を前述の三角測量の原理を用いて正確に求めることができ、高速のフレームレートが必要となる被写体との距離が小さくなったときには前記複数の撮像部の位相をずらして撮像することで、個々の撮像部のフレームレートは変えずに、見かけ上の撮像周期を短くすることができる。従って、カメラの露光時間を変えずに済み、画像の光量や画質を犠牲にすることなく見かけ上のフレームレートを上げることが可能となる。
また、前記制御部は、前記複数の撮像部の少なくとも1つの周波数を他の撮像部の周波数と異ならせることでフレーム同期信号のタイミングを変更した後、前記周波数を他の撮像部の周波数と異ならせた撮像部の周波数を前記他の撮像部の周波数と一致させるとよい。
これにより、少なくとも1つの撮像部の周波数の変更だけで前記複数の撮像部の同期をとることができる。従って、簡単で正確に、且つ外部からの信号の入力が必要ないため機器を煩雑化することがないステレオカメラを提供することを目的とする。
また、前記制御部は、前記複数の撮像部の少なくとも1つのブランキング期間の長さを変更することで、前記複数の撮像部のフレーム同期信号のタイミングを変更するとよい。
これにより、少なくとも1つの撮像部のブランキング期間の長さの変更だけで前記複数の撮像部の同期をとることができる。従って、簡単で正確に、且つ外部からの信号の入力が必要ないため機器を煩雑化することがないステレオカメラを提供することを目的とする。
また、前記画像処理部は、前記複数の撮像部のフレーム同期信号のタイミングをずらして撮影された画像のフレームを時系列に並べ替える処理を行うとよい。
これにより、前記画像処理部で処理される画像を連続的に確認することができる。
また、前記フレーム同期信号のタイミングのずらし量は、前記撮像部の数がnであるとき、フレーム周期/nであるとよい。
これにより、より細かな時間で画像情報を得ることができる。また、複数の撮像部のフレームレートの共通時間が連続する時間を長くとることができる。
本発明によれば、複数の撮像部と、該複数の撮像部のそれぞれの撮影動作タイミングを同期信号によって制御する制御部と、前記撮像部から出力された映像信号を受けて画像処理を行う画像処理部とからなるステレオカメラ装置において、通常は前記複数の撮像部の同期信号のタイミングを一致させて同期をとり、被写体との距離が一定以下となる即ち高速のフレームレートが要求される場合でも露光時間を短くする必要がないステレオカメラを提供することができる。
実施例に係る車載ステレオカメラ装置のカメラの同期に関する部分の構成を示すブロック図である。 実施例に係る車載ステレオカメラ装置における2つのカメラの同期をとるための動作フローを示す図である。 実施例に係る車載ステレオカメラ装置を構成する2つのカメラの垂直同期信号の発生するタイミングを示すタイムチャートである。 実施例に係る車載ステレオカメラ装置のカメラの同期に関する部分の構成を示す別の例のブロック図である。 実施例に係る車載ステレオカメラ装置における2つのカメラの同期をとるための別の例の動作フローを示す図である。 実施例に係る車載ステレオカメラ装置を構成する2つのカメラの垂直同期信号の発生するタイミングを示す別の例のタイムチャートである。 実施例に係る車載ステレオカメラ装置を構成する2つのカメラの垂直同期信号の発生するタイミングを示すさらに別の例のタイムチャートである。 実施例に係る車載ステレオカメラ装置及びその周辺機器のカメラの同期に関する部分の構成を示す別の例のブロック図である。 実施例に係る車載ステレオカメラ装置における2つのカメラの同期をとるためのさらに別の例の動作フローを示す図である。 ステレオカメラと被写体との距離に応じた2つのカメラの垂直同期信号のタイムチャートを示したものである。 実施例のステレオカメラによる先行車との衝突前後の画像情報を示した図である。
以下、図面を参照して本発明の好適な実施例を例示的に詳しく説明する。
(2台のカメラの同期をとるための例)
本発明の実施例に係る車載ステレオカメラ装置について、図1〜図3を用いて2つのカメラ(撮像部)の同期をとる一実施形態について説明する。
図1は実施例に係る車載ステレオカメラ装置のカメラの同期に関する部分の構成を示すブロック図である。図2は、実施例に係る車載ステレオカメラ装置における2つのカメラの同期をとるための動作フローを示す図である。図3は実施例に係る車載ステレオカメラ装置を構成する2つのカメラの垂直同期信号の発生するタイミングを示すタイムチャートである。
まず、図1を用いて2つのカメラの同期に関する部分の構成について説明する。
図1において、ステレオカメラ装置は、カメラの同期に関する部分として、カメラ11、カメラ12の2つのカメラ(撮像部)と、1つの制御ユニット13を有している。また、制御ユニット13は、位相判定部14、遅延量判断部15及びPLL回路最適クロック生成部16を有している。ここで、便宜上カメラ11をカメラA、カメラ12をカメラBと称することとする。またカメラA及びカメラBの少なくとも一方は周波数が可変であり、この可変の周波数はPLL回路最適クロック生成部16からの指令により可変である。本実施例においてはカメラBの周波数をPLL回路最適クロック生成部16からの指令により可変であるものとする。
次に、図2に示したフローを用いて2つのカメラの同期をとる手順について説明する。
まずステップS11及びステップS12において、カメラA、カメラBからそれぞれ垂直同期信号が、制御ユニット13を構成する位相判定部14に供給される。
ここで、カメラA及びカメラBからの画像信号は、所定の規格でカメラ11、カメラ12に入力される水平同期信号、垂直同期信号に基づいて出力される。つまり、カメラ11、12の画像出力は、カメラの出力の開始を表す垂直同期信号を待ち、その垂直同期信号を受け取った時点から規定の走査ライン数分の画像信号を出力する。
ステップS11及びS12で、カメラA、カメラBから垂直同期信号が位相判定部14に供給されると、ステップS13に進む。
ステップS13では、位相判定部14にてカメラAからの垂直同期信号と、カメラBからの垂直同期信号との位相のずれを判定し、両者に位相のずれがある場合はステップS14に進み、位相のずれがない場合はステップS16に進む。
図3において、図3(a)はカメラAとカメラBの同期がとれている場合のカメラA、カメラBの垂直同期信号の発生するタイミングを示す図であって、カメラAの垂直同期信号のタイムチャートを111、カメラBの垂直同期信号の垂直同期信号のタイムチャートを121で表している。なお、Vsyncは垂直同期信号を意味する。
図3(a)においては、カメラAの垂直同期信号とカメラBの垂直同期信号の発生タイミング、周期が同じであって、両者に位相のずれがない。このような場合には、図2に示したフローチャートにおけるステップS13において、位相のずれがないと判断してステップS16に進む。
一方、図3において、図3(b)はカメラAとカメラBの同期がとれていない場合のカメラA、カメラBの垂直同期信号の発生するタイミングを示す図であって、カメラAの垂直同期信号のタイムチャートを112、カメラBの垂直同期信号のタイムチャートを122で表している。
図3(b)においては、カメラAの垂直同期信号とカメラBの垂直同期信号の発生タイミングが異なり、周期が同じであって、θだけ位相がずれている。このような場合には、図2に示したフローチャートにおけるステップS13において、位相のずれがあるとしてステップS14に進む。
前述したように、図2に示したフローチャートにおいて、ステップS13で位相のずれがあると判断されると、前述の通りステップS14に進む。
ステップS14では、遅延量判断手段14によって垂直同期信号の発生タイミングのずれからカメラAとカメラBとの位相のずれθを判断する。
ステップS14で位相のずれが判断されると、ステップS15に進む。
ステップS15ではPLL回路最適クロック生成部16からの指令によって、カメラBの周波数を変更し、カメラBの周期をカメラAの周期と異ならせる。本実施例においては、図3(b)に123で示したように、カメラBの周波数を変更することで、カメラBの周期をカメラAの周期の5/6としている。本実施例においては、カメラBの周期をカメラAの周期の5/6に変更しているが、カメラBの周期の変更幅はこれに限定されるものではなく、例えばカメラAとカメラBの位相のずれθに基づいてθが大きいときにはカメラBの周期の変更幅が大きくなるように、θが小さいときにはカメラBの変更幅が小さくなるようにといったようにθの大きさに応じて適宜変更することができる。
そして、図3(b)に123で示したように、カメラBの周波数を変更することによって、時刻tでカメラAとカメラBの垂直同期信号の発生タイミングが同じとなる。この時刻tで、PLL回路最適クロック生成部16で再度カメラBの周波数を変更し、カメラBの周期をカメラAの周期と同じにする。これにより、時刻t以降においてカメラAとカメラBの同期がとれる。
(2台のカメラの同期をとるための別の例)
本発明の実施例に係る車載ステレオカメラ装置について、図4〜図6を用いて2つのカメラ(撮像部)の同期をとる別の実施形態について説明する。
図4は実施例に係る車載ステレオカメラ装置のカメラの同期に関する部分の構成を示す別の例のブロック図である。図5は、実施例に係る車載ステレオカメラ装置における2つのカメラの同期をとるための別の例の動作フローを示す図である。図6は実施例に係る車載ステレオカメラ装置を構成する2つのカメラの垂直同期信号の発生するタイミングを示す別の例のタイムチャートである。
まず、図4を用いて2つのカメラの同期に関する部分の構成について説明する。
図4において、ステレオカメラ装置は、カメラの同期に関する部分として、カメラ11、カメラ12の2つのカメラ(撮像部)と、1つの制御ユニット13’を有している。また、制御ユニット13’は、位相判定部14、遅延量判断部15及び制御信号発信部17を有している。ここで、便宜上カメラ11をカメラA、カメラ12をカメラBと称することとする。またカメラA及びカメラBの少なくとも一方はブランキング期間の長さが可変であり、この可変のブランキング期間の長さは制御信号発信部17からの指令により変更できる。本実施例においてはカメラBのブランキング期間の長さを制御信号発信部17からの指令により可変であるものとする。なお、図4において、図1と同一符号は同一物を表している。
次に、図5に示したフローを用いてカメラの同期をとる手順について説明する。
まずステップS21及びステップS22において、カメラA、カメラBからそれぞれ垂直同期信号が、制御ユニット13’を構成する位相判定部14に供給される。
ステップS21及びS22で、カメラA、カメラBから垂直同期信号が位相判定部14に供給されると、ステップS23に進む。
ステップS23では、位相判定部14にてカメラAからの垂直同期信号と、カメラBからの垂直同期信号との位相のずれを判定し、両者に位相のずれがある場合はステップS24に進み、位相のずれがない場合はステップS26に進む。
図6において、図6(a)はカメラAとカメラBの同期がとれている場合のカメラA、カメラBの垂直同期信号の発生するタイミングを示す図であって、カメラAの垂直同期信号のタイムチャートを211、カメラBの垂直同期信号の垂直同期信号のタイムチャートを212で表している。
図6(a)に示したように、カメラAの垂直同期信号とカメラBの垂直同期信号の発生タイミング及び周期が同じであって、両者に位相のずれがない場合には、図5に示したフローチャートにおけるステップS23において、位相のずれがないと判断してステップS26に進む。
一方、図6において、図6(b)はカメラAとカメラBの同期がとれていない場合のカメラA、カメラBの垂直同期信号の発生するタイミングを示す図であって、カメラAの垂直同期信号のタイムチャートを212、カメラBの垂直同期信号の垂直同期信号のタイムチャートを222で表している。
図6(b)においては、カメラAの垂直同期信号とカメラBの垂直同期信号の発生タイミングが異なり、周期が同じであるため、θだけ位相がずれている。このような場合には、図5に示したフローチャートにおけるステップS23において、位相のずれがあるとしてステップS24に進む。
前述の通り、図5に示したフローチャートにおいて、ステップS23で位相のずれがあると判断されると、ステップS24に進む。
ステップS24では、遅延量判断手段14によって垂直同期信号の発生タイミングのずれからカメラAとカメラBとの位相のずれθを判断する。
ステップS24で位相のずれが判断されると、ステップS25に進む。
ステップS25では制御信号発信部17からの指令によって、カメラBのブランキング期間の長さを変更して、カメラBの垂直同期信号の発生のタイミングを変更している。本実施例においては、図6(b)に223で示したように、カメラBのブランキング期間の長さを変更することで、時刻t’においてカメラAとカメラBの垂直同期信号の発生のタイミングを一致させてカメラAとカメラBの同期をとっている。
(2台のカメラの同期をとるためのさらに別の例)
本発明の実施例に係る車載ステレオカメラ装置について、図7〜図9を用いて2つのカメラ(撮像部)の同期をとるさらに別の実施形態について説明する。
図7は実施例に係る車載ステレオカメラ装置を構成する2つのカメラの垂直同期信号の発生するタイミングを示すさらに別の例のタイムチャートである。図8は実施例に係る車載ステレオカメラ装置及びその周辺機器のカメラの同期に関する部分の構成を示す別の例のブロック図である。図9は、実施例に係る車載ステレオカメラ装置における2つのカメラの同期をとるためのさらに別の例の動作フローを示す図である。
まず、図8を用いてカメラの同期に関する部分の構成について説明する。
図8において、ステレオカメラ装置は、カメラの同期に関する部分として、カメラ21、カメラ22の2つのカメラ(撮像部)と、1つの制御ユニット23を有している。また、制御ユニット23は、位相判定部24、遅延量判断部25及び制御信号発信部27を有している。ここで、便宜上カメラ21をカメラA、カメラ22をカメラBと称することとする。
次に、図9に示したフローを用いてカメラの同期をとる手順について説明する。
まずステップS31及びステップS32において、カメラA、カメラBからそれぞれ画像データが、制御ユニット23を構成する位相判定部24に供給される。
ステップS31及びS32で、カメラA、カメラBから画像データが位相判定部24に供給されると、ステップS33に進む。
ステップS33では、位相判定部24にてカメラAからの画像データと、カメラBからの画像データとの位相のずれを判定し、両者に位相のずれがある場合はステップS34に進み、位相のずれがない場合はステップS36に進む。
図7にはカメラA、カメラBの垂直同期信号のタイムチャート及び本発明のステレオカメラが搭載される車両に設けられたパルス発光式の前照灯の発光タイミングのタイムチャートを示している。ここで、図7においては、カメラAの垂直同期信号とカメラBの垂直同期信号がθ’だけ位相がずれている場合について示している。
カメラAからの画像データの出力yは、カメラAの垂直同期信号が発生するとともに前照灯が点灯しているときに発生する。また、カメラBからの画像データの出力yも同様である。即ち、カメラAからの出力yとカメラBからの出力yの差は、カメラAとカメラBの位相のずれに対応する。従って、カメラAからの出力yとカメラBからの出力yの差が0であればカメラAとカメラBの同期がとれている、カメラAからの出力yとカメラBからの出力yの差が0でなければ同期がとれていないと判断することができる。
図9に示したフローチャートにおいて、ステップS33で位相のずれがあると判断されると、前述の通りステップS34に進む。
ステップS33では、位相判定手段24によって前述のカメラAからの出力yとカメラBからの出力yの差に基づいてカメラAとカメラBとの位相のずれの有無を判断する。
ステップS34では、遅延量判断手段25によって前述のカメラAからの出力yとカメラBからの出力yの差に基づいてカメラAとカメラBとの位相のずれ量θ’を判断する。前述の通り、カメラAからの出力yとカメラBからの出力yの差は、カメラAとカメラBの位相のずれに対応するので、カメラAからの出力yとカメラBからの出力yの差が分かれば、位相のずれ量θ’を判断することができる。
ステップS34で位相のずれ量θ’が判断されると、ステップS35に進む。
ステップS35では制御信号発信部27からの指令によって、図4〜図6を用いて説明した場合と同様に、カメラBのブランキング期間の長さを変更して、カメラBの垂直同期信号の発生のタイミングを変更する。これによりカメラAとカメラBの同期をとることができる。
なお、制御信号発信部27に変えてPLL回路最適クロック生成部を設け、ステップS35で前記PLL回路最適クロック生成部からの指令によって、図1〜図3を用いて説明した場合と同様に、カメラBの周期を調整してカメラAとカメラBの同期をとることもできる。
即ち、パルス式発光式の前照灯を有する車両に搭載しているステレオカメラにおいては、カメラAとカメラBの出力の差を判断し、カメラAとカメラBの出力の差が0となるようカメラBの位相をずらすことでカメラAとカメラBを同期させることが可能である。
なお、図2、図5及び図9に示したフローチャートによる手順により、カメラAとカメラBの同期をとる具体例について説明したが、図2、図5及び図9に示した何れの手順もカメラAとカメラBの同期をとる場合のみならず、カメラAとカメラBの位相をずらす場合にも応用可能である。
以上により、正確に、且つ外部からの信号の入力が必要ないため機器を煩雑化すること無しに、カメラAとカメラBの同期をとることができる。これにより、正確且つ簡単に三角測量の原理により対象物までの距離を求めることができる。
(被写体との距離が一定距離以下となった場合の対応)
図10は、ステレオカメラと被写体との距離に応じたカメラAとカメラBの垂直同期信号のタイムチャートを示したものである。
図10(a)に示すように、先行車(被写体)との距離が予め定めた所定の距離より大きい場合は、前述した方法でカメラAとカメラBの同期をとっておく。ここで前記所定の距離とは、ステレオカメラが搭載された車両と先行車との距離が小さく衝突の可能性が生じる距離であって、車両速度に関わらず一定の距離を設定してもよく、車両の速度に応じて可変する距離としてもよい。前記先行車との距離は、別途距離計を設けて求めてもよいが、ステレオカメラを用いて三角測量の原理により先行車までの距離を求めると部品点数を少なく発明を実施することができる。
一方、図10(b)に示すように、先行車(被写体)との距離が前記所定の距離以下となると、前述したカメラAとカメラBの同期をとる方法を逆に適用して、カメラAとカメラBの位相をθ’’だけずらす。θ’’は、カメラBのX+1フレームが、カメラAのXフレームとX+2フレームの間のブランキング期間Y全体を含むように設定する。ステレオカメラを構成するカメラの台数がn(本実施例においてはn=2)であるとき、θ’’=フレーム周期c/nとすることが好ましい。
図10(a)に示したように、カメラAとカメラBの同期がとれている状態では、ブランキング期間Yにおいて撮像ができないが、図10(b)に示したようにカメラBの位相をずらすことでより細かな時間で画像情報を得ることが可能となる。
図11は本実施例のステレオカメラによる先行車との衝突前後の画像情報を示した図であって、図10(b)に示したXフレーム、X+1フレーム、X+2フレームで取得した画像情報を撮像タイミング順に並べたものであり、X+1フレームのタイミングで先行車両と衝突している状況を表している。図11において101は先行車両、102は本実施例のステレオカメラが搭載された車両の前部である。
先行車(被写体)との距離が前記所定の距離以下であるにも関わらず、仮に、図10(a)に示したように、カメラAとカメラBの同期をとっていてXフレーム、X+2フレームの画像情報のみしか得られない場合、衝突の瞬間を捉えることができない。
しかし、本発明では、図10(b)に示したように、カメラAとカメラBの位相をずらしてX+1フレームを生成し、細かな時間で画像情報を得ることができるため、X+1フレームで衝突の瞬間を捉えることができる。
本実施例によれば、通常運転時はカメラAとカメラBの同期をとっておくことで対象物までの距離を正確に求めることができ、高速のフレームレートが必要となる先行車との距離が小さくなったときにはカメラAとカメラBの位相をずらして撮像し、撮像タイミング順に並べることで、個々のカメラ(カメラA、カメラB)のフレームレートは変えずに、見かけ上の撮像周期を短くすることができる。従って、カメラの露光時間を変えずに済むため、画像の光量や画質を犠牲にすることなく見かけ上のフレームレートを上げることが可能となる。
複数の撮像部と、該複数の撮像部のそれぞれの撮影動作タイミングを同期信号によって制御する制御部と、前記撮像部から出力された映像信号を受けて画像処理を行う画像処理部とからなるステレオカメラ装置において、通常は前記複数の撮像部の同期信号のタイミングを一致させて同期をとり、被写体との距離が一定以下となる即ち高速のフレームレートが要求される場合でも露光時間を短くする必要がないステレオカメラとして利用することができる。
11、12 カメラ(撮像部)
13 制御ユニット(制御部)
14 位相判定部
15 遅延量判断部
16 PLL回路最適クロック生成部
17 制御信号発信部

Claims (5)

  1. 複数の撮像部と、該複数の撮像部のそれぞれの撮像タイミングをフレーム同期信号によって制御する制御部と、前記撮像部から出力された映像信号を受けて画像処理を行う画像処理部とからなるステレオカメラ装置において、
    前記制御部は、被写体との距離が所定の距離よりも大きい場合に前記複数の撮像部のフレーム同期信号のタイミングを一致させておき、被写体との距離が前記所定の距離以下である場合に前記複数の撮像部のフレーム同期信号のタイミングをずらして撮影を行うことを特徴とするステレオカメラ装置。
  2. 前記制御部は、前記複数の撮像部の少なくとも1つの周波数を他の撮像部の周波数と異ならせることでフレーム同期信号のタイミングを変更した後、前記周波数を他の撮像部の周波数と異ならせた撮像部の周波数を前記他の撮像部の周波数と一致させることを特徴とする請求項1記載のステレオカメラ装置。
  3. 前記制御部は、前記複数の撮像部の少なくとも1つのブランキング期間の長さを変更することで、前記複数の撮像部のフレーム同期信号のタイミングを変更することを特徴とする請求項1記載のステレオカメラ装置。
  4. 前記画像処理部は、前記複数の撮像部のフレーム同期信号のタイミングをずらして撮影された画像のフレームを時系列に並べ替える処理を行うことを特徴とする請求項1〜3何れかに記載のステレオカメラ装置。
  5. 前記フレーム同期信号のタイミングのずらし量は、前記撮像部の数がnであるとき、フレーム周期/nであることを特徴とする請求項1〜4何れかに記載のステレオカメラ装置。
JP2010288259A 2010-12-24 2010-12-24 ステレオカメラ装置 Expired - Fee Related JP5568458B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010288259A JP5568458B2 (ja) 2010-12-24 2010-12-24 ステレオカメラ装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010288259A JP5568458B2 (ja) 2010-12-24 2010-12-24 ステレオカメラ装置

Publications (2)

Publication Number Publication Date
JP2012138671A true JP2012138671A (ja) 2012-07-19
JP5568458B2 JP5568458B2 (ja) 2014-08-06

Family

ID=46675783

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010288259A Expired - Fee Related JP5568458B2 (ja) 2010-12-24 2010-12-24 ステレオカメラ装置

Country Status (1)

Country Link
JP (1) JP5568458B2 (ja)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014138401A (ja) * 2013-01-18 2014-07-28 Fujitsu Semiconductor Ltd 画像処理装置、画像処理方法及びプログラム
JP2014216803A (ja) * 2013-04-25 2014-11-17 株式会社富士通アドバンストエンジニアリング 画像処理装置および方法
JP2015033066A (ja) * 2013-08-06 2015-02-16 株式会社ニコン カメラシステム
WO2015136798A1 (ja) * 2014-03-13 2015-09-17 ソニー株式会社 撮像装置、撮像システム、および、撮像装置の制御方法
JP2015165628A (ja) * 2014-03-03 2015-09-17 Smk株式会社 画像処理システム
JP2016178523A (ja) * 2015-03-20 2016-10-06 株式会社リコー 撮像装置、撮像方法、プログラム、車両制御システム、および車両
JP2018186525A (ja) * 2018-06-26 2018-11-22 株式会社ニコン 撮像装置
CN109862342A (zh) * 2019-04-16 2019-06-07 廖新兴 一种具有多摄像头模组的三维数码立体拍摄终端
WO2019239779A1 (ja) * 2018-06-12 2019-12-19 ローム株式会社 カメラシステム、そのコントローラ、自動車、デシリアライザ回路
US10807532B2 (en) 2014-05-29 2020-10-20 Nikon Corporation Image capture device and vehicle
CN113840133A (zh) * 2020-06-23 2021-12-24 佳能株式会社 成像方法、成像系统、制造系统、以及用于制造产品的方法
WO2023013108A1 (ja) * 2021-08-02 2023-02-09 日立Astemo株式会社 マルチカメラ装置
WO2023130706A1 (zh) * 2022-01-04 2023-07-13 北京石头创新科技有限公司 多摄像头的帧同步控制方法及自行走设备
US11961307B2 (en) 2019-06-14 2024-04-16 Mazda Motor Corporation Outside environment recognition device

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1127701A (ja) * 1997-06-30 1999-01-29 Sony Corp 撮像信号処理装置及び方法
JP2000261691A (ja) * 1999-03-12 2000-09-22 Toshiba Corp 同期信号制御回路
JP2004266458A (ja) * 2003-02-28 2004-09-24 Shimadzu Corp 撮影装置、および、同期撮影タイミング制御器
JP2006246307A (ja) * 2005-03-07 2006-09-14 Seiko Epson Corp 画像データ処理装置
JP2007028043A (ja) * 2005-07-14 2007-02-01 Eastman Kodak Co デジタルカメラ
JP2007030603A (ja) * 2005-07-25 2007-02-08 Mazda Motor Corp 車両用走行支援装置
JP2007172035A (ja) * 2005-12-19 2007-07-05 Fujitsu Ten Ltd 車載画像認識装置、車載撮像装置、車載撮像制御装置、警告処理装置、画像認識方法、撮像方法および撮像制御方法
JP2008298532A (ja) * 2007-05-30 2008-12-11 Konica Minolta Holdings Inc 障害物計測方法、障害物計測装置及び障害物計測システム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1127701A (ja) * 1997-06-30 1999-01-29 Sony Corp 撮像信号処理装置及び方法
JP2000261691A (ja) * 1999-03-12 2000-09-22 Toshiba Corp 同期信号制御回路
JP2004266458A (ja) * 2003-02-28 2004-09-24 Shimadzu Corp 撮影装置、および、同期撮影タイミング制御器
JP2006246307A (ja) * 2005-03-07 2006-09-14 Seiko Epson Corp 画像データ処理装置
JP2007028043A (ja) * 2005-07-14 2007-02-01 Eastman Kodak Co デジタルカメラ
JP2007030603A (ja) * 2005-07-25 2007-02-08 Mazda Motor Corp 車両用走行支援装置
JP2007172035A (ja) * 2005-12-19 2007-07-05 Fujitsu Ten Ltd 車載画像認識装置、車載撮像装置、車載撮像制御装置、警告処理装置、画像認識方法、撮像方法および撮像制御方法
JP2008298532A (ja) * 2007-05-30 2008-12-11 Konica Minolta Holdings Inc 障害物計測方法、障害物計測装置及び障害物計測システム

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014138401A (ja) * 2013-01-18 2014-07-28 Fujitsu Semiconductor Ltd 画像処理装置、画像処理方法及びプログラム
JP2014216803A (ja) * 2013-04-25 2014-11-17 株式会社富士通アドバンストエンジニアリング 画像処理装置および方法
JP2015033066A (ja) * 2013-08-06 2015-02-16 株式会社ニコン カメラシステム
JP2015165628A (ja) * 2014-03-03 2015-09-17 Smk株式会社 画像処理システム
US10178307B2 (en) 2014-03-03 2019-01-08 Smk Corporation Image processing system
WO2015136798A1 (ja) * 2014-03-13 2015-09-17 ソニー株式会社 撮像装置、撮像システム、および、撮像装置の制御方法
US10807532B2 (en) 2014-05-29 2020-10-20 Nikon Corporation Image capture device and vehicle
US11572016B2 (en) 2014-05-29 2023-02-07 Nikon Corporation Image capture device and vehicle
US11220215B2 (en) 2014-05-29 2022-01-11 Nikon Corporation Image capture device and vehicle
JP2016178523A (ja) * 2015-03-20 2016-10-06 株式会社リコー 撮像装置、撮像方法、プログラム、車両制御システム、および車両
WO2019239779A1 (ja) * 2018-06-12 2019-12-19 ローム株式会社 カメラシステム、そのコントローラ、自動車、デシリアライザ回路
JPWO2019239779A1 (ja) * 2018-06-12 2021-04-30 ローム株式会社 カメラシステム、そのコントローラ、自動車、デシリアライザ回路
JP7100702B2 (ja) 2018-06-12 2022-07-13 ローム株式会社 カメラシステム、そのコントローラ、自動車
US11451697B2 (en) 2018-06-12 2022-09-20 Rohm Co., Ltd. Camera system, controller thereof, automobile, and deserializer circuit
JP2018186525A (ja) * 2018-06-26 2018-11-22 株式会社ニコン 撮像装置
CN109862342A (zh) * 2019-04-16 2019-06-07 廖新兴 一种具有多摄像头模组的三维数码立体拍摄终端
US11961307B2 (en) 2019-06-14 2024-04-16 Mazda Motor Corporation Outside environment recognition device
CN113840133A (zh) * 2020-06-23 2021-12-24 佳能株式会社 成像方法、成像系统、制造系统、以及用于制造产品的方法
WO2023013108A1 (ja) * 2021-08-02 2023-02-09 日立Astemo株式会社 マルチカメラ装置
WO2023130706A1 (zh) * 2022-01-04 2023-07-13 北京石头创新科技有限公司 多摄像头的帧同步控制方法及自行走设备

Also Published As

Publication number Publication date
JP5568458B2 (ja) 2014-08-06

Similar Documents

Publication Publication Date Title
JP5568458B2 (ja) ステレオカメラ装置
JP5500034B2 (ja) 手振れ補正機構を備えた撮影装置
CN111866398B (zh) 事件相机
KR101767662B1 (ko) 다시점 카메라 동기화 시스템 및 방법
JP5551824B2 (ja) 撮像装置
CN108668118A (zh) 自动对焦系统、具有自动对焦系统的投影机以及自动对焦方法
KR101642569B1 (ko) 디지털 촬영시스템 및 그 제어방법
JP7195941B2 (ja) 情報処理装置及びその制御方法並びにプログラム
JP2014032159A (ja) 投影撮像システム及び投影撮像システムの制御方法
US10045015B2 (en) Method for operating a camera and a projector in a synchronized manner
JP6003745B2 (ja) 画像処理装置
CN109842750B (zh) 摄像装置系统
US9363502B2 (en) Apparatus for synchronizing stereocamera, stereocamera, and method of synchronizing stereocamera
US8780184B2 (en) Image pickup apparatus
US20120162453A1 (en) Image pickup apparatus
JP5500786B2 (ja) 投射型表示装置
JP2007129404A (ja) カメラシステム
US8947556B2 (en) Image pickup apparatus, control method therefor, and storage medium storing control program therefor
US10972665B2 (en) Imaging apparatus and image blurring amount calculation method therefor
JP2019087880A (ja) 信号出力装置、カメラ雲台、カメラ雲台連動システム、およびプログラム
JP2017520049A (ja) ジェスチャ認識のための画像マトリクスを生成するためのモジュール、システムおよび方法
US11146778B2 (en) Synchronization control device and synchronization control method
US10044963B2 (en) Imaging apparatus
JP2014107840A (ja) 撮像装置、撮像方法及びプログラム
JP2015035001A (ja) ブレ補正装置及び光学機器

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20131015

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140522

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140606

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140623

R150 Certificate of patent or registration of utility model

Ref document number: 5568458

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees