Nothing Special   »   [go: up one dir, main page]

JP5459324B2 - 車両周辺監視装置 - Google Patents

車両周辺監視装置 Download PDF

Info

Publication number
JP5459324B2
JP5459324B2 JP2012007345A JP2012007345A JP5459324B2 JP 5459324 B2 JP5459324 B2 JP 5459324B2 JP 2012007345 A JP2012007345 A JP 2012007345A JP 2012007345 A JP2012007345 A JP 2012007345A JP 5459324 B2 JP5459324 B2 JP 5459324B2
Authority
JP
Japan
Prior art keywords
moving object
detected
luminance change
detection lines
luminance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012007345A
Other languages
English (en)
Other versions
JP2013148975A (ja
Inventor
昇幸 横田
順志 宇津
宗昭 松本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2012007345A priority Critical patent/JP5459324B2/ja
Priority to US13/739,101 priority patent/US9129160B2/en
Publication of JP2013148975A publication Critical patent/JP2013148975A/ja
Application granted granted Critical
Publication of JP5459324B2 publication Critical patent/JP5459324B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Burglar Alarm Systems (AREA)

Description

本発明は、車両周辺の移動物体を監視する車両周辺監視装置に関する。
従来、カメラにより撮影した画像を表示し、運転者の視界を支援する車両周辺監視装置として、例えば、特許文献1に記載されるように、画角が180度(もしくはそれ以上)となる広角レンズを備えたカメラ装置が提案されている。このようなカメラ装置は、広い視野範囲を撮影することができる反面、撮影画像における周囲の物体が小さくなってしまう。特に、後退発進の場合には、左右に駐車された車両とのクリアランスにも注意する必要があり、画面上に小さく表示される物体に運転者は気づきにくい。
そのため、例えば、特許文献2に記載されるように、撮影画像から移動物体を切り出し、移動物体を強調表示するモニタ装置が提案されている。特許文献2では、撮影画像の特徴点のオプティカルフローを計算し、各特徴点の動きベクトルを求めることにより、移動物体の切り出しが可能となる。そして、切り出した移動物体を強調して表示することにより、車両前方の死角に移動物体が存在することを容易に認識することができる。
特開2005−110202号 特開2005−123968号
しかしながら、特許文献2のようにオプティカルフローにより動きベクトルを抽出する画像処理は、計算量が膨大となる。そのため、移動物体の動きに追従して精度良く切り出しを行うためには、別途専用のプロセッサを設け、処理時間を短くする必要が生じる。
そこで、図9に示すように、自車両外部の周辺を撮影する撮影装置にて撮影された撮影画像内に左右方向に延びる検出ラインLを設定し、検知領域を検出ラインL上に絞り込んで移動物体の検知を行うようにしたものが開発されている。具体的には、車両周辺を撮影する車載カメラにより撮影された撮影画像内に左右方向に延びる検出ラインを設定し、当該検出ライン上の画素で生じる輝度変化と、この輝度変化が移動物体によるものであるかを判定するための判定閾値(パラメータ)に基づいて移動物体を検出する構成となっている。
しかし、このように、1本の検出ラインL上の画素に生じる輝度変化から移動物体を検知する構成では、撮影画像における縦方向の移動物体の大きさが考慮されないため、例えば、舞い落ちる木の葉や撮影画像内のノイズ等、検知対象物以外の要因で検出ラインL上の画素に輝度変化が生じた場合でも、移動物体として検知されてしまい、移動物体を精度良く検知できないといった問題があった。
本発明は上記問題に鑑みたもので、処理負荷を低減するとともに移動物体の検知精度を向上することを目的とする。
上記目的を達成するため、本発明は、車両周辺を撮影する車載カメラにより撮影された撮影画像内に左右方向に延びる複数の検出ラインを設定し、移動物体により複数の検出ライン上の画素で生じる輝度変化を検出する検出手段と、検出手段により検出された複数の検出ライン上の画素で生じる輝度変化と、当該輝度変化が移動物体によるものであるか否かを判定するためのパラメータとに基づいて移動物体を判定する移動物体判定手段と、を備え、移動物体判定手段は、検出手段により輝度変化が検出された検出ラインの数が少ないほど、移動物体と判定されにくくなるように移動物体の判定条件を変更することを特徴としている。
このような構成によれば、車両周辺を撮影する車載カメラにより撮影された撮影画像内に左右方向に延びる複数の検出ラインを設定し、移動物体により複数の検出ライン上の画素で生じる輝度変化を検出し、検出された複数の検出ライン上の画素で生じる輝度変化と、当該輝度変化が移動物体によるものであるか否かを判定するためのパラメータとに基づいて移動物体を判定し、輝度変化が検出された検出ラインの数が少ないほど、移動物体と判定されにくくなるように移動物体の判定条件を変更するので、処理負荷を低減するとともに移動物体の検知精度を向上することができる。
本発明の第1実施形態に係る車両周辺監視装置の全体構成を示す図である。 撮影画像内に設定された3本の検出ラインを示す図である。 検出ラインの設定について説明するための図である。 検出ライン上の画素で検出された過去の輝度値と現在の輝度値の例を示した図である。 パラメータについて説明するための図である。 第1実施形態に係る車両周辺監視装置のフローチャートである。 第2実施形態に係る車両周辺監視装置のフローチャートである。 検出ラインの画素の一部を間引きして輝度変化を検出する処理について説明するための図である。 課題を説明するための図である。
(第1実施形態)
本発明の第1実施形態に係る車両周辺監視装置の全体構成を図1に示す。本車両周辺監視装置10には、車両周辺を撮影する車載カメラ20および表示装置30および音声出力装置40が接続されている。本車両周辺監視装置10は、既存の車載カメラ20、表示装置30および音声出力装置40から成る車両の周辺画像表示装置に、車両周辺に存在する移動物体を検知して乗員に報知する機能を付加するものとして設けられる。
本車両周辺監視装置10は、CPU、ROM、RAM、EEPROM、I/O等を備えたコンピュータとして構成されている。車両周辺監視装置1のCPUは、ROMに記憶されたプログラムに従って各種処理を実施する。
車載カメラ20は、車両後方を撮影するバックカメラとして車両後部に取り付けられている。また、車載カメラ20のレンズは広角レンズとなっている。なお、車載カメラ20の画角は185度、画素数は30万画素、フレームレートは30fps(Frames Per Second)となっている。
表示装置30は、液晶等のディスプレイを有し、車両周辺監視装置10より入力される映像信号に応じた画像をディスプレイに表示させる。
音声出力装置40は、車両周辺監視装置10より入力される音声信号に応じた音声を出力するものである。
車両周辺監視装置10は、車載カメラ20より入力される撮影画像を表示するための画像信号を表示装置30へ出力する。また、車両周辺監視装置10は、車載カメラ20より入力される撮影画像に含まれる移動物体を検知すると、予め定められた警告色で移動物体を強調表示した画像を表示するための画像信号を表示装置30へ出力するとともに、移動物体を検知したことを報知するための音声信号を音声出力装置40へ出力する。
車両周辺監視装置10のEEPROMには、輝度変化が移動物体によるものであるか否かを判定するためのパラメータを規定したパラメータテーブルが記憶されている。
本実施形態における車両周辺監視装置10は、図2に示すように、車載カメラ20により撮影された撮影画像内に左右方向に延びる検出ラインL1〜L3を設定し、当該検出ラインL1〜L3上の画素の輝度変化を検出するとともに、この検出ラインL1〜L3上の画素の輝度変化と、輝度変化が移動物体によるものであるか否かを判定するためのパラメータとに基づいて移動物体を判定する処理を行う。なお、本実施形態における各検出ラインL1〜L3の幅は、撮影画像の縦方向の1画素分に設定され、輝度変化が移動物体によるものであるか否かを判定するためのパラメータについても撮影画像の縦方向の1画素分が規定されている。
図3に、車載カメラ20が取り付けられた車両を鉛直方向から見下ろした様子を示す。図3には、車載カメラ20から車両後方に5メートル(m)離れた地点を基準地点Oが示されており、更に、車載カメラ20から基準地点Oを向く方向と直交する方向に位置する複数の地点O1〜O4が示されている。
本実施形態における検出ラインL1は、撮影画像の中央において車載カメラ20との距離が5メートル(m)となる基準地点Oと重なり、更に、車載カメラ20から基準地点Oを向く方向と直交する方向に位置する地点O1〜O4と重なるように設定される。
すなわち、検出ラインL1は、撮影画像の中央では車載カメラとの距離が一定となる地点と重なり、撮影画像の中央から左右方向に進むにつれて車載カメラとの距離が徐々に長くなる地点と重なるようなラインとして設定される。
また、検出ラインL2は、基準地点O、O1〜O4の各位置に高さが1.5メートル程度の移動物体(例えば、歩行者、二輪車、自動車)が位置する場合に、この移動物体の高さの1/2となる位置と重なるように設定される。また、検出ラインL3は、基準地点O、O1〜O4の各位置に高さが1.5メートル程度の移動物体が位置する場合に、この移動物体の上部と重なるように設定される。
なお、検出ラインL1〜L3の間隔は、撮影画像の中央部が最も広く、撮影画像の中央から左右方向に進むにつれて徐々に狭くなっている。このように、検出ラインL1〜L3は、撮影画像に含まれる移動物体の大きさ(高さ)を考慮して設定される。
次に、図4を参照して、過去の輝度値と現在の輝度値からどのようにして移動物体を判定するかについて説明する。図4には、検出ラインL1上の画素で検出された過去の輝度値と現在の輝度値の例が示されている。図4の横軸は検出ラインL1上の水平方向の座標、縦軸は輝度値を表している。
図4に示されているように、過去の輝度値と現在の輝度値にずれが生じているような場合、このずれが生じている座標の位置に同一の移動物体が存在していると判定することができる。ここで、移動物体の水平方向の大きさは、ずれが生じている部分の輝度変化の立ち上がりから輝度変化の立ち下がりまでの座標の幅(W)に相当し、移動物体の単位時間当たりの移動距離は、輝度変化の水平方向の移動距離(D)に相当する。このように、過去の輝度値と現在の輝度値から移動物体の水平方向の大きさおよび単位時間当たりの移動距離を特定することができる。
図5に示すように、本実施形態におけるパラメータには、検出ラインL1〜L3上の画素に生じる水平方向の輝度変化のサイズWおよび移動距離Dが規定されている。サイズWは、検出ラインL1〜L3上の画素に生じる水平方向の輝度変化の大きさが画素数として規定され、移動距離Dは、検出ラインL1〜L3上の画素に生じる水平方向の輝度変化の単位時間当たりの移動量が画素数として規定されている。図5に示すように、サイズWおよび移動距離Dは、自動車、二輪車、歩行者について規定されている。
なお、自動車の移動速度は時速30キロメートル、二輪車の移動速度は時速15キロメートル、歩行者の移動速度は時速8キロメートルを想定して検出ラインL1〜L3上の画素に生じる輝度変化の単位時間当たりの移動量が規定されている。これらの値は実験的に求められた値を用いて特定することができる。
車両周辺監視装置10は、検出ラインL1〜L3上の画素に生じる水平方向の輝度変化のサイズWおよび移動距離Dと、パラメータに含まれる検出ラインL1〜L3上の画素に生じる水平方向の輝度変化のサイズWおよび移動距離Dとに基づいて移動物体の判定を行う。
また、図5に示してないが、パラメータには、検出ライン上で同一の移動物体によるものとみられる輝度変化の立ち上がりを判定するための閾値および立ち下がりを判定するための閾値と、検出ライン上で同一の移動物体によるものとみられる輝度変化の移動量を判定するための閾値が含まれる。
車両周辺監視装置10は、検出ライン上でずれが生じている部分の輝度変化の立ち上がりが検出ライン上で同一の移動物体によるものとみられる輝度変化の立ち上がりを判定するための閾値以上で、かつ、検出ライン上でずれが生じている部分の輝度変化の立ち下がりが検出ライン上で同一の移動物体によるものとみられる輝度変化の立ち下がりを判定するための閾値以上の場合に、検出ライン上で検出される同一の移動物体によるものとみられる輝度変化が移動物体によるものであると判定する。
また、車両周辺監視装置10は、検出ラインL1〜L3上でずれが生じている部分の輝度変化の立ち上がりが検出ラインL1〜L3上で同一の移動物体によるものとみられる輝度変化の立ち上がりを判定するための閾値未満の場合、あるいは、検出ラインL1〜L3上でずれが生じている部分の輝度変化の立ち下がりが検出ラインL1〜L3上で同一の移動物体によるものとみられる輝度変化の立ち下がりを判定するための閾値未満の場合、検出ライン上で検出される同一の移動物体によるものとみられる輝度変化が移動物体によるものでないと判定する。
また、車両周辺監視装置10は、検出ラインL1〜L3上で検出される同一の移動物体によるものとみられる輝度変化の移動量が、検出ラインL1〜L3上で同一の移動物体によるものとみられる輝度変化の移動量を判定するための閾値以上の場合に、検出ラインL1〜L3上で検出される同一の移動物体によるものとみられる輝度変化が移動物体であると判定する。
また、車両周辺監視装置10は、検出ラインL1〜L3上で検出される同一の移動物体によるものとみられる輝度変化の移動量が、検出ラインL1〜L3上で同一の移動物体によるものとみられる輝度変化の移動量を判定するための閾値未満の場合、検出ライン上で検出される同一の移動物体によるものとみられる輝度変化が移動物体でないと判定する。
なお、検出ラインL1〜L3上の画素の輝度変化の立ち上がりを判定するための閾値を高くすると、移動物体と判定されにくくなるようになり、反対に、検出ラインL1〜L3上の画素の輝度変化の立ち上がりを判定するための閾値を低くすると、移動物体と判定されやすくなる。
また、検出ラインL1〜L3上で同一の移動物体によるものとみられる輝度変化の立ち上がりを判定するための閾値および立ち下がりを判定するための閾値を高くすると、移動物体と判定されにくくなるようになり、反対に、検出ラインL1〜L3上で同一の移動物体によるものとみられる輝度変化の立ち上がりを判定するための閾値および立ち下がりを判定するための閾値を低くすると、移動物体と判定されやすくなる。
また、検出ラインL1〜L3上で同一の移動物体によるものとみられる輝度変化の移動量を判定するための閾値を高くすると、移動物体と判定されにくくなるようになり、反対に、検出ラインL1〜L3上で同一の移動物体によるものとみられる輝度変化の移動量を判定するための閾値を低くすると、移動物体と判定されやすくなる。
本実施形態における車両周辺監視装置10は、移動物体の検知精度を向上するため、移動物体による輝度変化が検出された検出ラインの数が少ないほど、移動物体と判定されにくくなるように移動物体の判定条件を変更する。具体的には、3本の検出ラインの全てで同一の移動物体によるものとみられる輝度変化が検出された場合には、当該3本の検出ラインの全てで検出された輝度変化が移動物体によるものと判定し、3本未満の検出ラインの一部で輝度変化が検出された場合には、これらの検出ラインで検出された輝度変化は移動物体によるものでないと判定する処理を行う。
図6に、本実施形態に係る車両周辺監視装置10のフローチャートを示す。車両周辺監視装置10には、シフトレバーの位置を表すシフト位置信号が入力されている。車両周辺監視装置10のCPUは、周期的に図5に示す処理を実施する。
まず、車両のイグニッションスイッチがオン状態になったか否かを判定する(S100)。ここで、車両のイグニッションスイッチがオン状態になっていない場合、S100の判定はNOとなり、S100の判定を繰り返し実施する。また、車両のイグニッションスイッチがオン状態になると、シフト位置信号に基づいてシフトレバーの位置がリバース(R)またはパーキング(P)になっているか否かを判定する(S102)。ここで、シフト位置信号に基づいてシフトレバーの位置がリバース(R)またはパーキング(P)になっていると判定された場合、S102の判定はYESとなり、次に、車載カメラ20より入力される撮影画像を取り込み、移動物体により検出ライン上の画素で生じる輝度変化を検出する(S106)。
S108では、移動物体による輝度変化を検出している検出ラインの数が1本のみであるか否かを判定する。具体的には、3本の検出ラインのうち1本の検出ラインのみで同一の移動物体によるものとみられる輝度変化が検出されたか否かを判定する。
なお、1本の検出ライン上の離れた複数の位置で輝度変化が検出された場合、複数の移動物体が移動している可能性が高い。このため、1本の検出ライン上の離れた複数の位置で輝度変化が検出された場合には、別々の移動物体による輝度変化が検出されたものとして移動物体の判定を行う。
また、S110では、移動物体による輝度変化を検出している検出ラインの数が2本のみであるか否かを判定する。具体的には、3本の検出ラインのうち2本の検出ラインのみで同一の移動物体によるものとみられる輝度変化が検出されたか否かを判定する。
また、S112では、移動物体による輝度変化を検出している検出ラインの数が3本であるか否かを判定する。具体的には、3本の検出ライン全てで同一の移動物体によるものとみられる輝度変化が検出されたか否かを判定する。
ここで、3本の検出ラインのうち1本も同一の移動物体によるものとみられる輝度変化が検出されない場合、S108、S110、S112の判定はそれぞれNOとなり、乗員への報知を行うことなく、S102へ戻る。
また、3本の検出ラインのうち1本の検出ラインのみで同一の移動物体によるものとみられる輝度変化が検出された場合は、S108の判定はYESとなり、乗員への報知を行うことなく、S102へ戻る。
また、3本の検出ラインのうち2本の検出ラインのみで同一の移動物体によるものとみられる輝度変化が検出された場合は、S108の判定はNO、S110の判定はYESとなり、乗員への報知を行うことなくS102へ戻る。
また、3本の検出ラインの全てで同一の移動物体によるものとみられる輝度変化が検出された場合、S108の判定はNO、S110の判定もNOとなり、S112の判定はYESとなり、移動物体の存在を乗員に報知する(S114)。具体的には、検出ライン上の輝度変化のサイズより移動物体が自動車であるか、二輪車であるか、歩行者であるかを特定し、例えば、自動車が撮影画像の中央方向に移動していると判定された場合、「自動車が近づいています」といったメッセージを表示装置30に表示させるとともに、音声出力装置40より音声出力させる。また、歩行者が撮影画像の中央から右方向に移動していると判定された場合、「歩行者がいます。」といったメッセージを表示装置30に表示させるとともに、音声出力装置40より音声出力させ、S102へ戻る。
また、シフト位置信号に基づいてシフトレバーの位置がリバース(R)およびパーキング(P)以外になっていると判定された場合、S102の判定はNOとなり、処理を中断し(S104)、S102の判定を繰り返す。
上記した構成によれば、3本の検出ラインの全てで同一の移動物体によるものとみられる輝度変化が検出された場合には、当該複数の検出ラインの全てで検出された輝度変化が移動物体によるものと判定し、3本の検出ラインの一部の検出ラインのみで輝度変化が検出された場合には、当該3本の検出ラインの一部の検出ラインのみで検出された輝度変化は移動物体によるものでないと判定するので、例えば、舞い落ちる木の葉や撮影画像内のノイズ等、検知対象物以外の要因で、移動物体と判定してしまうことを防止することが可能である。
(第2実施形態)
上記第1実施形態では、3本の検出ラインの全てで同一の移動物体によるものとみられる輝度変化が検出された場合には、輝度変化が移動物体によるものと判定し、3本未満の検出ラインで輝度変化が検出された場合には、輝度変化が移動物体によるものでないと判定したが、本実施形態では、輝度変化が検出された検出ラインの数が少ないほど、移動物体と判定されにくくなるように輝度変化が移動物体によるものであるか否かを判定するためのパラメータを変更して移動物体の判定を行う。
本実施形態における車両周辺監視装置10の構成は第1実施形態に示したものと同じである。なお、上記第1実施形態と同一部分については同一符号を付して説明を省略し、以下、異なる部分を中心に説明する。
本実施形態における車両周辺監視装置10のフローチャートを図7に示す。図7におけるS100〜S112は、図6に示した第1実施形態に係る車両周辺監視装置10のフローチャートと同じであるので、ここでは、その説明を省略する。
3本の検出ラインのうち3本の検出ライン全てで同一の移動物体によるものとみられる輝度変化が検出されない場合、S108、S110、S112の判定はそれぞれNOとなり、S102へ戻る。
また、3本の検出ラインのうち3本の検出ライン全てで同一の移動物体によるものとみられる輝度変化が検出された場合、S108の判定はNO、S110の判定もNOとなり、S112の判定はYESとなり、移動体判定のためのパラメータに含まれる、検出ライン上で同一の移動物体によるものとみられる輝度変化の立ち上がりを判定するための閾値および立ち下がりを判定するための閾値と、検出ライン上で同一の移動物体によるものとみられる輝度変化の移動量を判定するための閾値をそれぞれ低い値に設定する(S222)。
次に、検出ライン上で検出された輝度変化が移動物体であるか否かを判定する(S216)。このように、3本の検出ラインのうち3本の検出ライン全てで同一の移動物体によるものとみられる輝度変化が検出された場合、検出ライン上で検出された輝度変化が移動物体である可能性が高いため、このように各閾値を比較的低い値に設定して、移動物体の判定を行う。
ここで、検出ライン上で検出された輝度変化が移動物体であると判定されると、S216の判定はYESとなり、移動物体の存在を乗員に報知し(S218)、S102へ戻る。また、検出ライン上で検出された輝度変化が移動物体でないと判定されると、S216の判定はNOとなり、移動物体の報知を行うことなく、S102へ戻る。
また、3本の検出ラインのうち2本の検出ラインのみで同一の移動物体によるものとみられる輝度変化が検出された場合、S108の判定はNO、S110の判定はYESとなり、移動体判定のためのパラメータに含まれる、検出ライン上で同一の移動物体によるものとみられる輝度変化の立ち上がりを判定するための閾値および立ち下がりを判定するための閾値と、検出ライン上で同一の移動物体によるものとみられる輝度変化の移動量を判定するための閾値をそれぞれ中間の値に設定する(S220)。
次に、検出ライン上で検出された輝度変化が移動物体であるか否かを判定する(S216)。このように、3本の検出ラインのうち2本の検出ラインで同一の移動物体によるものとみられる輝度変化が検出された場合、検出ライン上で検出された輝度変化が移動物体によるものである可能性が低くなるため、より移動物体と判定されにくくなるように、各閾値を中間の値に設定して、移動物体の判定を行う。
ここで、検出ライン上で検出された輝度変化が移動物体であると判定されると、S216の判定はYESとなり、移動物体の存在を乗員に報知し(S218)、S102へ戻る。また、検出ライン上で検出された輝度変化が移動物体でないと判定されると、S216の判定はNOとなり、移動物体の報知を行うことなく、S102へ戻る。
また、3本の検出ラインのうち1本の検出ラインのみで同一の移動物体によるものとみられる輝度変化が検出された場合、S108の判定はYESとなり、移動体判定のためのパラメータに含まれる、検出ライン上で同一の移動物体によるものとみられる輝度変化の立ち上がりを判定するための閾値および立ち下がりを判定するための閾値と、検出ライン上で同一の移動物体によるものとみられる輝度変化の移動量を判定するための閾値をそれぞれ高い値に設定する(S214)。
次に、検出ライン上で検出された輝度変化が移動物体であるか否かを判定する(S216)。このように、3本の検出ラインのうち1本の検出ラインで同一の移動物体によるものとみられる輝度変化が検出された場合、検出ライン上で検出された輝度変化が移動物体によるものである可能性が更に低くなるため、より移動物体と判定されにくくなるように各閾値を高い値に設定して、移動物体の判定を行う。
ここで、検出ライン上で検出された輝度変化が移動物体であると判定されると、S216の判定はYESとなり、移動物体の存在を乗員に報知し(S218)、S102へ戻る。また、検出ライン上で検出された輝度変化が移動物体でないと判定されると、S216の判定はNOとなり、移動物体の報知を行うことなく、S102へ戻る。
上記した構成によれば、3本の検出ラインの全てで同一の移動物体によるものとみられる輝度変化が検出された場合には、検出された3本の検出ライン上の画素で生じる輝度変化と、当該輝度変化が移動物体によるものであるか否かを判定するためのパラメータとに基づいて移動物体を判定し、輝度変化が検出された検出ラインの数が少ないほど、移動物体と判定されにくくなるように輝度変化が移動物体によるものであるか否かを判定するためのパラメータを変更して移動物体の判定を行うので、例えば、舞い落ちる木の葉や撮影画像内のノイズ等、検知対象物以外の要因で、移動物体と判定してしまうことを防止することが可能である。
また、パラメータは、検出ライン上で同一の移動物体によるものとみられる輝度変化の立ち上がりを判定するための閾値および立ち下がりを判定するための閾値の少なくとも一方を含み、車両周辺監視装置10は、輝度変化が検出された検出ラインの数が少ないほど、検出ライン上における移動物体による輝度変化の立ち上がりを判定するための閾値および立ち下がりを判定するための閾値の少なくとも一方を高くするので、移動物体の誤判定が防止され、より精度良く移動物体の判定を行うことが可能である。
また、パラメータは、検出ライン上で同一の移動物体によるものとみられる輝度変化の移動量を判定するための閾値を含み、車両周辺監視装置10は、輝度変化が検出された検出ラインの数が少ないほど、検出ライン上で同一の移動物体によるものとみられる輝度変化の移動量を判定するための閾値を高くするので、移動物体の誤判定が防止され、より精度良く移動物体の判定を行うことが可能である。
(その他の実施形態)
上記第1、第2実施形態では、撮影画像内に左右方向に延びる3本の検出ラインを設定し、移動物体により3本の検出ライン上の画素で生じる輝度変化を検出するように構成したが、検出ラインの数は3本に限定されるものではなく、2本としてもよく、4本以上としてもよい。また、検出ラインの設定についても、上記実施形態に示したような設定に限定されるものではない。
また、上記第2実施形態では、S216にて移動物体と判定された場合、輝度変化が検出された検出ライン数と関係なく、一律に移動物体の存在を乗員に報知したが、例えば、1本の検出ラインのみで移動物体と判定された場合には、警告色を青色、2本の検出ラインのみで移動物体と判定された場合には、警告色を黄色、3本の検出ライン全てで移動物体と判定された場合には、警告色を赤色、といったように、輝度変化が検出された検出ライン数に応じて、表示を異ならせて移動物体の存在を乗員に報知するようにしてもよい。また、音輝度変化が検出された検出ライン数に応じて、警告音を異ならせて移動物体の存在を乗員に報知するようにしてもよい。
また、上記第1、第2実施形態では、図8(a)に示すように、検出ラインL1〜L3上の全ての画素に対して輝度変化を検出するように構成したが、図8(b)に示すように、検出ラインL1〜L3上の一部の画素を間引くようにして輝度変化を検出するようにして、処理負荷を低減するようにしてもよい。
また、上記第1、第2実施形態では、車載カメラ20を用いて車両の後方を撮影した撮影画像に対して移動物体の判定を行う例を示したが、このような例に限定されるものではなく、例えば、車載カメラ20を用いて車両の前方を撮影した撮影画像に対して移動物体の判定を行うように構成してもよい。
なお、上記実施形態における構成と特許請求の範囲の構成との対応関係について説明すると、S106が検出手段に相当し、S108、S110、S112、S214、S220、S222が移動物体判定手段に相当し、S114、S218が報知手段に相当する。
10 車両周辺監視装置
20 車載カメラ
30 表示装置
40 音声出力装置

Claims (6)

  1. 車両周辺を撮影する車載カメラにより撮影された撮影画像内に左右方向に延びる複数の検出ラインを設定し、移動物体により前記複数の検出ライン上の画素で生じる輝度変化を検出する検出手段と、
    前記検出手段により検出された前記複数の検出ライン上の画素で生じる輝度変化と、当該輝度変化が移動物体によるものであるか否かを判定するためのパラメータとに基づいて前記移動物体を判定する移動物体判定手段と、を備え、
    前記移動物体判定手段は、前記検出手段により輝度変化が検出された検出ラインの数が少ないほど、前記移動物体と判定されにくくなるように前記移動物体の判定条件を変更することを特徴とする車両周辺監視装置。
  2. 前記移動物体判定手段は、前記複数の検出ラインの全てで同一の移動物体によるものとみられる輝度変化が検出された場合には、当該複数の検出ラインの全てで検出された輝度変化が前記移動物体によるものと判定し、前記複数の検出ラインの一部で輝度変化が検出された場合には、当該複数の検出ラインの一部のみで検出された輝度変化は前記移動物体によるものでないと判定することを特徴とする請求項1に記載の車両周辺監視装置。
  3. 前記移動物体判定手段は、前記複数の検出ラインの全てで同一の移動物体によるものとみられる輝度変化が検出された場合には、前記検出手段により検出された前記複数の検出ライン上の画素で生じる輝度変化と、当該輝度変化が移動物体によるものであるか否かを判定するためのパラメータとに基づいて前記移動物体を判定し、前記検出手段により輝度変化が検出された検出ラインの数が少ないほど、前記移動物体と判定されにくくなるように前記輝度変化が移動物体によるものであるか否かを判定するためのパラメータを変更して前記移動物体の判定を行うことを特徴とする請求項1に記載の車両周辺監視装置。
  4. 前記パラメータは、前記検出ライン上で同一の移動物体によるものとみられる輝度変化の立ち上がりを判定するための閾値および立ち下がりを判定するための閾値の少なくとも一方を含み、
    前記移動物体判定手段は、輝度変化が検出された検出ラインの数が少ないほど、前記検出ライン上における移動物体による輝度変化の立ち上がりを判定するための閾値および立ち下がりを判定するための閾値の少なくとも一方を高くすることを特徴とする請求項3に記載の車両周辺監視装置。
  5. 前記パラメータは、前記検出ライン上で同一の移動物体によるものとみられる輝度変化の移動量を判定するための閾値を含み、
    前記移動物体判定手段は、前記検出手段により輝度変化が検出された検出ラインの数が少ないほど、前記検出ライン上で同一の移動物体によるものとみられる輝度変化の移動量を判定するための閾値を高くすることを特徴とする請求項3または4に記載の車両周辺監視装置。
  6. 前記移動物体判定手段により前記移動物体と判定された場合、前記検出手段により輝度変化が検出された検出ライン数に応じて、表示または音を異ならせて前記移動物体の存在を乗員に報知する報知手段を備えたことを特徴とする請求項3ないし5のいずれか1つに記載の車両周辺監視装置。
JP2012007345A 2012-01-17 2012-01-17 車両周辺監視装置 Expired - Fee Related JP5459324B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2012007345A JP5459324B2 (ja) 2012-01-17 2012-01-17 車両周辺監視装置
US13/739,101 US9129160B2 (en) 2012-01-17 2013-01-11 Vehicle periphery monitoring apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012007345A JP5459324B2 (ja) 2012-01-17 2012-01-17 車両周辺監視装置

Publications (2)

Publication Number Publication Date
JP2013148975A JP2013148975A (ja) 2013-08-01
JP5459324B2 true JP5459324B2 (ja) 2014-04-02

Family

ID=48779699

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012007345A Expired - Fee Related JP5459324B2 (ja) 2012-01-17 2012-01-17 車両周辺監視装置

Country Status (2)

Country Link
US (1) US9129160B2 (ja)
JP (1) JP5459324B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7410675B2 (ja) * 2019-09-06 2024-01-10 キヤノン株式会社 撮像装置及びその制御方法

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4718090A (en) * 1986-04-14 1988-01-05 Cooper Jr James E Method and apparatus for high-speed processing of video images
JPH05265547A (ja) * 1992-03-23 1993-10-15 Fuji Heavy Ind Ltd 車輌用車外監視装置
DE69523698T2 (de) * 1994-08-31 2002-08-01 Nippon Telegraph & Telephone Verfahren und Gerät zum richtungsselektiven Zählen von sich bewegenden Objekten
JPH0944761A (ja) * 1995-08-01 1997-02-14 Nippon Signal Co Ltd:The 歩行者検出装置
JP3463858B2 (ja) 1998-08-27 2003-11-05 矢崎総業株式会社 周辺監視装置及び方法
JP2001189925A (ja) 1999-12-28 2001-07-10 Glowing Shinko:Kk 移動物体監視システム
JP3690283B2 (ja) 2001-01-18 2005-08-31 日産自動車株式会社 車線追従制御装置
JP4421121B2 (ja) 2001-02-06 2010-02-24 株式会社日立国際電気 侵入物体検出方法
JP3984863B2 (ja) 2002-05-13 2007-10-03 三菱電機株式会社 発進報知装置
JP3904988B2 (ja) * 2002-06-27 2007-04-11 株式会社東芝 画像処理装置およびその方法
JP4071610B2 (ja) * 2002-12-06 2008-04-02 星和電機株式会社 走行車両検知システム
KR100696728B1 (ko) 2003-06-09 2007-03-20 가부시키가이샤 히다치 고쿠사이 덴키 감시정보송신장치 및 감시정보송신방법
JP4766841B2 (ja) 2003-09-08 2011-09-07 株式会社オートネットワーク技術研究所 車両に搭載されるカメラ装置及び車両周辺監視装置
JP4228212B2 (ja) 2003-10-17 2009-02-25 三菱自動車工業株式会社 ノーズビューモニタ装置
JP2005148863A (ja) * 2003-11-11 2005-06-09 Konica Minolta Holdings Inc 人数計数システム
JP2005217482A (ja) * 2004-01-27 2005-08-11 Nissan Motor Co Ltd 車両周辺監視方法および装置
JP2005335437A (ja) * 2004-05-24 2005-12-08 Nissan Motor Co Ltd 車両周辺監視方法および装置
JP2006040092A (ja) * 2004-07-29 2006-02-09 Honda Motor Co Ltd 車両検知警報装置及び車両検知警報方法
JP2006040165A (ja) * 2004-07-29 2006-02-09 Nissan Motor Co Ltd 障害物検出装置及び障害物検出方法
US7769227B2 (en) * 2004-09-15 2010-08-03 Panasonic Corporation Object detector
JP4007355B2 (ja) * 2004-09-21 2007-11-14 日産自動車株式会社 車線追従制御装置
US7671725B2 (en) * 2006-03-24 2010-03-02 Honda Motor Co., Ltd. Vehicle surroundings monitoring apparatus, vehicle surroundings monitoring method, and vehicle surroundings monitoring program
JP5159070B2 (ja) * 2006-08-31 2013-03-06 アルパイン株式会社 車両周辺画像表示装置及び表示方法
JP4622001B2 (ja) * 2008-05-27 2011-02-02 トヨタ自動車株式会社 道路区画線検出装置および道路区画線検出方法
JP5401344B2 (ja) 2010-01-28 2014-01-29 日立オートモティブシステムズ株式会社 車両用外界認識装置
JP4992990B2 (ja) 2010-02-24 2012-08-08 株式会社デンソー 区画線検出装置
JP5113881B2 (ja) 2010-06-03 2013-01-09 株式会社デンソー 車両周辺監視装置
MY160274A (en) * 2010-08-19 2017-02-28 Nissan Motor Three-dimensional object detection device and three-dimensional object detection method

Also Published As

Publication number Publication date
JP2013148975A (ja) 2013-08-01
US20130182109A1 (en) 2013-07-18
US9129160B2 (en) 2015-09-08

Similar Documents

Publication Publication Date Title
JP5741173B2 (ja) 画像表示装置、及び、画像表示方法
US9299260B2 (en) Image display device, and image display method
US10528825B2 (en) Information processing device, approaching object notification method, and program
US9296336B2 (en) Image display device and image display method
JP5113881B2 (ja) 車両周辺監視装置
JP6205640B2 (ja) 車両用警告装置
US20130113923A1 (en) Blind Spot Detection Alert System
EP2775467A1 (en) Obstacle alert device
JP2012113605A (ja) 運転支援装置及び運転支援方法
JP2013017024A (ja) 車両接近物検知装置
WO2016092967A1 (ja) 画像生成装置及び画像生成方法
JP4687411B2 (ja) 車両周辺画像処理装置及びプログラム
JP5477394B2 (ja) 車両周辺監視装置
JP2013161440A (ja) 車両周辺監視装置
JP5459324B2 (ja) 車両周辺監視装置
JP2005309660A (ja) 車両用右左折支援装置
JPWO2013046409A1 (ja) 画像表示装置及び画像表示方法
JP6584862B2 (ja) 物体検出装置、物体検出システム、物体検出方法及びプログラム
JP5529097B2 (ja) 車両の運転支援装置
JP2005217482A (ja) 車両周辺監視方法および装置
JP4598011B2 (ja) 車両用表示装置
JP6590538B2 (ja) 画像処理装置および画像処理方法
US11657709B2 (en) Safety confirmation support system and safety confirmation support method
JP2007193651A (ja) 車線検出装置および車線逸脱警報装置
JP2012109789A (ja) 検知装置、及び、検知方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130524

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131205

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131217

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131230

R151 Written notification of patent or utility model registration

Ref document number: 5459324

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees