JP6256239B2 - 歩行者検出装置および歩行者検出方法 - Google Patents
歩行者検出装置および歩行者検出方法 Download PDFInfo
- Publication number
- JP6256239B2 JP6256239B2 JP2014152426A JP2014152426A JP6256239B2 JP 6256239 B2 JP6256239 B2 JP 6256239B2 JP 2014152426 A JP2014152426 A JP 2014152426A JP 2014152426 A JP2014152426 A JP 2014152426A JP 6256239 B2 JP6256239 B2 JP 6256239B2
- Authority
- JP
- Japan
- Prior art keywords
- pedestrian
- detection
- identification dictionary
- identification
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims description 567
- 238000000034 method Methods 0.000 claims description 221
- 238000003860 storage Methods 0.000 claims description 62
- 238000004364 calculation method Methods 0.000 claims description 34
- 238000009825 accumulation Methods 0.000 claims description 22
- 230000003247 decreasing effect Effects 0.000 claims description 15
- 238000011156 evaluation Methods 0.000 claims description 9
- 238000012790 confirmation Methods 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 2
- 238000000605 extraction Methods 0.000 claims description 2
- 238000012217 deletion Methods 0.000 claims 1
- 230000037430 deletion Effects 0.000 claims 1
- 230000008569 process Effects 0.000 description 202
- 238000012854 evaluation process Methods 0.000 description 27
- 238000012545 processing Methods 0.000 description 22
- 230000007613 environmental effect Effects 0.000 description 18
- 230000035508 accumulation Effects 0.000 description 14
- 230000008859 change Effects 0.000 description 13
- 230000007423 decrease Effects 0.000 description 8
- 238000009826 distribution Methods 0.000 description 8
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
- G01S15/87—Combinations of sonar systems
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
- G01S13/862—Combination of radar systems with sonar systems
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
- G01S13/867—Combination of radar systems with cameras
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
- G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
- G01S15/86—Combinations of sonar systems with lidar systems; Combinations of sonar systems with systems not using wave reflection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
- G01S15/88—Sonar systems specially adapted for specific applications
- G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
- G01S15/88—Sonar systems specially adapted for specific applications
- G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
- G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/19—Recognition using electronic means
- G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
- G06V30/1914—Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries, e.g. user dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/24—Character recognition characterised by the processing or recognition method
- G06V30/242—Division of the character sequences into groups prior to recognition; Selection of dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/66—Radar-tracking systems; Analogous systems
- G01S13/72—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar
- G01S13/723—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar by using numerical data
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
- G01S15/66—Sonar tracking systems
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
- G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
- G01S2013/9324—Alternative operation using ultrasonic waves
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
- G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
- G01S2013/9327—Sensor installation details
- G01S2013/93271—Sensor installation details in the front of the vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
- G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
- G01S2013/9327—Sensor installation details
- G01S2013/93275—Sensor installation details in the bumper area
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Acoustics & Sound (AREA)
- Electromagnetism (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
- Radar Systems Or Details Thereof (AREA)
- Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
Description
そして、撮影画像に写った歩行者の周囲の状況は、撮影時の環境要因によって変化する。例えば、天気が良い時に撮影した場合には、歩行者の影が歩行者と一緒に写り込む。また、撮影した季節や時刻によって、影の長さや、背景とのコントラストが変化する。更には、季節や地域によって服装が変わるので、歩行者の外形形状自体も変化する。
そこで、撮影画像中の歩行者を探索する際には、歩行者の特徴を完全には有していなくても、大まかに歩行者の特徴を有していれば、その箇所には歩行者が写っているものと判断することとしている。
当然ながら、環境要因の変化で歩行者が検出できなくなったのでは検出率を向上させることができない。そこで、歩行者の特徴を有するか否かの判断を緩やかにして、環境要因が変化しても歩行者が検出できるようにすると、撮影画像中でたまたま歩行者に近い形に見える箇所を、歩行者として誤検出してしまうので正答率が低下する。逆に、誤検出による正答率の低下を回避するために、歩行者の特徴を有するか否かの判断を厳しくすると、今度は、環境要因の変化による影響で歩行者を検出することが困難となるので、検出率が低下してしまう。このように、歩行者の検出精度がある程度まで改善された後は、歩行者の検出率と正答率とが二律背反の関係となってしまうために、それ以上に歩行者の検出精度を改善することが難しいという問題があった。
ソナー(20〜23)またはレーダー(30)の少なくとも何れかと車載カメラ(10)とを備えた車両(1)に搭載されて、該車載カメラで撮影した撮影画像を解析することにより、該撮影画像に写った歩行者を検出する歩行者検出装置(100)であって、
前記撮影画像に写った前記歩行者の形状が備える複数の特徴を数値化して記述した識別辞書を記憶している識別辞書記憶部(101)と、
前記撮影画像中で探索しようとする箇所に写った対象画像を、前記歩行者の形状が備える前記複数の特徴について数値化することにより、該対象画像から複数の特徴量を抽出する特徴量抽出部(S202、S252)と、
前記識別辞書に記述された前記複数の数値と、前記対象画像から抽出された前記複数の特徴量との内積値を算出する内積値算出部(S203、S253)と、
前記内積値算出部によって得られた前記内積値が所定閾値を超える場合に(S204:yes、S254:yes)、前記対象画像に前記歩行者が写っていると判断することによって該歩行者を検出する歩行者検出部(105)と、
前記歩行者検出部による前記歩行者の検出結果の正誤を、前記ソナーまたは前記レーダーの少なくとも何れかを用いて確認する検出結果確認部(S603、S605)と、
前記歩行者検出部によって前記歩行者が検出され、且つ、該検出の結果が前記検出結果確認部によって正しいと判断された場合に、該歩行者が検出された前記対象画像から得られた前記特徴量を正検知特徴量として蓄積する正検知特徴量蓄積部(S604)と、
前記歩行者検出部によって前記歩行者が検出され、且つ、該検出の結果が前記検出結果確認部によって正しくないと判断された場合に、該歩行者が検出された前記対象画像から得られた前記特徴量を誤検知特徴量として蓄積する誤検知特徴量蓄積部(S606)と、
前記正検知特徴量に対しては前記内積値算出部によって得られる前記内積値が増加し、前記誤検知特徴量に対しては前記内積値算出部によって得られる前記内積値が減少するように、前記検出識別辞書の前記複数の数値を学習することによって、学習識別辞書を生成する学習識別辞書生成部(S650)と、
前記学習識別辞書を前記識別辞書として前記識別辞書記憶部に書き込む識別辞書書込部(S700)と
を備える歩行者検出装置として把握することもできる。
A.装置構成 :
図1には、歩行者検出装置100を搭載した車両1が示されている。図示されるように車両1には、歩行者検出装置100に加えて、車両1の前方を撮影する車載カメラ10と、複数のソナー20〜23とが搭載されている。
車載カメラ10は車両1から前方の方向を所定の撮影周期で撮影して、得られた撮影画像を歩行者検出装置100に出力する。
また、図1では、ソナー20〜23を用いて歩行者などを検出するものとしているが、これに限らずレーダーを用いて歩行者などを検出してもよい。
尚、これら7つの「部」は、撮影画像に写った歩行者を検出する歩行者検出装置100の機能に着目して、歩行者検出装置100の内部を便宜的に分類した抽象的な概念であり、歩行者検出装置100が物理的に7つの部分に区分されることを表すものではない。従って、これらの「部」は、CPUで実行されるコンピュータープログラムとして実現することもできるし、LSIやメモリーを含む電子回路として実現することもできるし、更にはこれらを組合せることによって実現することもできる。
以下では、これら7つの「部」の動作について説明するが、その準備として、識別辞書を用いて撮影画像中の歩行者を検出する方法について簡単に説明しておく。
尚、ここでは、歩行者の形状が備える特徴の例として、最も理解が容易な輝度分布に着目した特徴について説明したが、歩行者の形状が備える特徴は、これに限られるものではない。実際には、様々な方法によって抽出された様々な種類の特徴が提案されており、何れの特徴を用いても構わない。
このような一組の数値(ここでは、人型の輝度分布を表す複数個の数値)が「識別辞書」である。また、識別辞書がN個の数値によって形成されているとき、その識別辞書はN次元の識別辞書と呼ばれる。更に、特徴を表す数値の1つ1つは「特徴量」と呼ばれる。
従って、特徴量空間では、図3(b)の画像(対象画像G1)から得られた複数の特徴量に対応する座標点は、識別辞書を表す座標点の近くに存在する筈である。
このように、対象画像に歩行者が写っていれば、特徴量空間でその対象画像に対応する座標点は、識別辞書を表す座標点の近くにあると考えて良い。
また、図4(b)に例示したように、歩行者の一部が写ってはいるが、歩行者が写っているとは言えない対象画像G5の場合も、特徴量空間で対象画像G5に対応する座標点は、識別辞書を表す座標点から離れた位置にある筈である。
このように、対象画像に歩行者が写っていなければ、特徴量空間でその対象画像に対応する座標点は、識別辞書を表す座標点から離れた位置にあると考えて良い。
以上のことから、対象画像を特徴量空間の座標点に変換した時に、その座標点が識別辞書の近くに存在するか否かによって、対象画像に歩行者が写っているか否かを判断することができる。
また、歩行者を含まない対象画像G4や対象画像G5に対応する座標点は、破線で囲った範囲の外側に存在する。
結局、特徴量空間での識別辞書と対象画像との内積値が、所定閾値よりも大きければ歩行者が写っていると判断し、所定閾値よりも小さければ歩行者は写っていないと判断することができる。
図6には、環境要因が様々に変化することで、歩行者が写った対象画像の存在範囲が変化する様子が概念的に示されている。当初は、図中に破線で示した存在範囲であったにも拘わらず、その後、環境要因が変化することによって存在範囲が変化し、結局、様々な環境要因の変化を考慮すると、図中に一点鎖線で示した範囲まで、歩行者が写った対象画像の存在範囲が広がる。そして、このように存在範囲が広がると、歩行者が写っているにも拘わらず識別辞書D1との内積値が小さな値となって、歩行者が写っていない画像(例えば図5の対象画像G5)と区別できない事態が生じる。
7つの「部」の中の識別辞書記憶部101は、複数種類の識別辞書を記憶している。図7には、識別辞書記憶部101に記憶された5種類の識別辞書D1〜D5が例示されている。尚、図7では、図示の関係から識別辞書の次元が3次元であるものとして表示しているが、識別辞書の次元は3次元以上とすることができる。また、識別辞書記憶部101に記憶されている識別辞書の種類についても、5種類より多くても良く、あるいは5種類より少なくても良い。
歩行者位置蓄積部103は、ソナー20〜23を用いて歩行者を検出することにより、歩行者が検出された位置(歩行者位置)を蓄積する。図1を用いて前述したように、ソナー20〜23は、それぞれ異なる方向に存在する歩行者などを検出している。このため歩行者位置蓄積部103は、何れのソナー20〜23が歩行者を検出したかに基づいて、歩行者の大まかな位置を検出することが可能であり、検出した歩行者位置を蓄積する。
歩行者検出部105は、車載カメラ10から撮影画像を受け取ると、識別辞書選択部104で選択された識別辞書(検出識別辞書)を用いて、撮影画像中の歩行者を検出する。
再選択要否判断部107は、検出精度評価部106で算出した検出精度に基づいて、検出識別辞書の再選択の要否を判断する。そして、再選択を要すると判断した場合は、その旨を検出結果蓄積部102に出力して、歩行者位置蓄積部103で識別辞書毎に歩行者の検出結果の蓄積を再開する。
このようにすることで、本実施例の歩行者検出装置100では、環境要因の影響を受けることなく、撮影画像中の歩行者を高い精度で検出することが可能となる。以下では、本実施例の歩行者検出装置100が歩行者を検出する処理(歩行者検出処理)について詳しく説明する。
図8および図9には、第1実施例の歩行者検出処理のフローチャートが示されている。この処理は、車載カメラ10が一定周期で画像を撮影する度に、歩行者検出装置100によって実行される。
図示されるように、歩行者検出処理では先ず始めに、車載カメラ10から撮影画像を取得する(S100)。
前述したようにソナー20〜23は、車両1の前方のそれぞれ異なる範囲で歩行者を検出するから、何れのソナー20〜23で歩行者を検出したかによって、大まかな歩行者位置を知ることができる。例えば、ソナー20で歩行者が検出されたのであれば、車両1の前方左側に歩行者が存在し、ソナー22で歩行者が検出されたのであれば、車両1の左斜め前方に歩行者が存在すると判断することができる。S101では、このようにして得られた大まかな歩行者位置を、検出時刻を示すタイムスタンプと共に蓄積する。
が上述した7つの「部」を用いて実行する。
これに対して、蓄積数が必要数に達していれば、検出精度算出処理(S300)で検出識別辞書の検出精度が算出されているので、検出精度が算出できたと判断する(S103:yes)。
これに対して、算出した検出精度が許容精度を下回っている場合は、検出識別辞書の再選択が必要と判断する(S104:yes)。
尚、候補識別辞書が得られていないと判断した場合は(S105:no)、検出識別辞書選択処理(S500)は省略する。また、そもそも、検出識別辞書の検出精度が算出されていないと判断した場合(S103:no)や、検出識別辞書の再選択は不要と判断した場合(S104:no)は、識別辞書評価処理(S400)および検出識別辞書選択処理(S500)を省略する。
これに対して、歩行者の検出を終了すると判断した場合は(S106:yes)、図8および図9に示した第1実施例の歩行者検出処理を終了する。
図10には、撮影画像中で歩行者が写っている位置を探索する歩行者探索処理(S200)のフローチャートが示されている。前述したようにこの処理は、第1実施例の歩行者検出処理の中で歩行者検出装置100によって実施される。
そして、特徴量空間での対象画像の特徴量が示す座標点と、識別辞書に対応する座標点との内積値を算出する(S203)。尚、ここで、内積値の算出に用いる識別辞書は、対象画像に歩行者が写っているか否かを判断するために用いる識別辞書である。従って、検出識別辞書を用いて歩行者を検出するために歩行者探索処理(S200)を実施しているのであれば、検出識別辞書が、ここで言う識別辞書に該当する。これに対して、後述する識別辞書評価処理(S400)の中で複数の識別辞書を評価している場合には、識別辞書記憶部101に記憶された個々の識別辞書が、ここで言う識別辞書に該当する。
これに対して、内積値が閾値よりも大きくなかった場合は(S204:no)、対象画像に歩行者が写っていないと判断することができるので、撮影画像中に対象画像を設定した位置は記憶しない。
後述する検出精度算出処理では、歩行者探索処理(S200)で検出された歩行者の位置と、ソナー20〜23で検出された歩行者位置とを比較することによって、歩行者の検出精度を算出する。ここで、歩行者探索処理(S200)では撮影画像に歩行者が写っていれば、歩行者を検出できるのに対して、ソナー20〜23で歩行者を検出可能な距離には限界があり、所定距離以上、遠くに存在する歩行者はソナー20〜23では検出することができない。
そこで、撮影画像中では、遠くの歩行者ほど画像の上部に写ることに着目して、撮影画像に写った歩行者までの大まかな距離を推定する。すなわち、撮影画像中で画像の下辺から歩行者が検出された位置までの距離を取得する。この距離は、歩行者までの大まかな距離に対応する。そこで、撮影画像の下辺からの距離が所定距離以内であれば(S206:yes)、その歩行者はソナー20〜23でも検出可能な距離にいると判断できるので、歩行者が検出された位置(撮影画像中で対象画像を設定した位置)を、検出精度算出用の検出結果として記憶する(S207)。
これに対して、撮影画像の下辺からの距離が所定距離以内に無かった場合は(S206:no)、検出精度算出用の検出結果は記憶しない。
図11には、第1実施例の歩行者検出処理の中で実施される検出精度算出処理のフローチャートが示されている。
図示されるように検出精度算出処理(S300)では、上述した歩行者探索処理(S200)で検出精度算出用に記憶した歩行者の検出結果(検出識別辞書を用いて歩行者が検出された位置)を読み出す(S301)。また、歩行者探索処理(S200)で、検出精度算出用に複数の検出結果が記憶されていた場合には、全ての検出結果を読み出してやる。
そして、図11に示した検出精度算出処理のS303では、こうして検出した正検知数を、検出精度を算出しようとする識別辞書(ここでは検出識別辞書)について既に得られた正検知数に加算することによって、検出識別辞書の正検知数を蓄積していく。
そして、図11に示した検出精度算出処理のS304では、こうして検出した誤検知数を、検出識別辞書について既に得られた誤検知数に加算することによって、誤検知数を蓄積していく。
例えば、図13の歩行者位置S1については、撮影画像中でも歩行者が検出されているので(図12の検出位置P1)、未検知ではないと判断することができる。これに対して、図13の歩行者位置S2については、撮影画像中では歩行者が検出されていないので、未検知と判断する。従って、図12および図13に示した例では、未検知数は1となる。
そして、図11に示した検出精度算出処理のS305では、こうして検出した未検知数を、検出識別辞書について既に得られた未検知数に加算することによって、未検知数を蓄積していく。
十分な精度で検出精度を算出するためには、必要数は十分に大きな数であることが望ましい。その一方で、必要数があまりに大きくなると、稀にしか検出精度を算出できなくなる。こうした観点から、必要数は、数千〜数万の範囲(代表的には、1万程度)の数に設定される。
そして、歩行者検出処理では、検出精度が得られていないと判断されて(図8のS103:no)、歩行者検出を終了するか否かが判断される(S106)。その結果、歩行者検出を終了しないと判断した場合は(S106:no)、再び先頭から歩行者検出処理が実行され、その中で検出精度算出処理(S300)が開始されて、検出識別辞書についての正検知数と誤検知数と未検知数とが蓄積される(図11のS303〜S305)。
また、検出精度が算出できたら、蓄積していた正検知数、誤検知数、未検知数は何れも初期化した後(S309)、図11の検出精度算出処理(S300)を終了して、図8の歩行者検出処理に復帰する。
図14には、識別辞書評価処理(S400)のフローチャートが示されている。
図示されるように、識別辞書評価処理(S400)を開始すると、先ず始めに、ソナー20〜23によって検出されて、タイムスタンプと共にメモリーに記憶されていた歩行者位置を読み出す(S401)。
こうした処理を繰り返した結果、検出識別辞書を除く全ての識別辞書を選択したと判断したら(S405:yes)、今度は、蓄積した正検知数および誤検知数を識別辞書毎に合計することによって、識別辞書毎の合計検知数を算出する(S406)。
そして、識別辞書毎に算出した合計検知数の中で最小の合計検知数が、検知精度を算出するための必要数に達しているか否かを判断する(S407)。
これに対して、S406で算出した合計検知数の中の最小の合計検知数が、必要数に達していないと判断した場合は(S407:no)、候補識別辞書を選択することなく、そのまま図14の識別辞書評価処理を終了して、図8の歩行者検出処理に復帰する。
図15には、検出識別辞書選択処理のフローチャートが示されている。前述したように、この処理は、図8の歩行者検出処理の中で検出識別辞書の再選択が必要と判断され(S104:yes)、候補識別辞書が得られた場合(S105:yes)に、歩行者検出装置100によって開始される。
しかし、識別辞書評価処理(S400)で他の識別辞書の検出精度を算出する際に、検出識別辞書の検出精度も算出してもよい。そして、検出識別辞書を除いた識別辞書の中で検出精度が最も高い識別辞書を、候補識別辞書として選択しても良い。この場合は、図15の検出識別辞書選択処理では、識別辞書評価処理(S400)で求めた検出識別辞書および候補識別辞書の検出精度を、それぞれS501およびS502で取得する。こうすれば、検出識別辞書の検出精度と、候補識別辞書の検出精度とを、同じ撮影画像から算出することができるので、2つの識別辞書の検出精度を正確に比較することができる。
その結果、候補識別辞書の検出精度の方が、検出識別辞書の検出精度よりも高いと判断した場合は(S503:yes)、候補識別辞書を新たな検出識別辞書として設定する(S504)。この結果、候補識別辞書が、それ以降の歩行者検出処理では検出識別辞書として使用されることになる。
これに対して、検出識別辞書の検出精度の方が、候補識別辞書の検出精度よりも高かった場合は(S503:no)、候補識別辞書を検出識別辞書として設定することはない。この結果、現状の検出識別辞書がそのまま使用されることになる。
その結果、歩行者検出を終了しないと判断した場合は(S106:no)、歩行者検出処理の先頭に戻って、車載カメラ10から新たな撮影画像を取得し(図8のS100)、上述した続く一連の処理を開始する。
これに対して、歩行者検出を終了すると判断した場合は(S106:yes)、図8および図9に示した第1実施例の歩行者検出処理を終了する。
すなわち、図16に概念的に示したように、画像撮影時の環境が環境Aであった場合は、歩行者が写った対象画像の存在範囲は、図中に破線で囲った範囲となるが、環境Bでは、一点鎖線で囲った範囲に移動する。また、環境Cでは、二点鎖線で囲った範囲に移動する。そして、これら様々な環境をひとまとめにすると、図6中に一点鎖線で示したように、歩行者が写った対象画像の存在範囲が広がるものと考えられる。
同様にして、環境Cで得られた撮影画像については、識別辞書D3を用いて歩行者を検出すればよい。更に、環境Aから環境Bに変化する途中であれば、識別辞書D4を用いて歩行者を検出し、環境Aから環境Cに変化する途中であれば、識別辞書D2を用いて歩行者を検出すればよい。
前述したように、第1実施例の歩行者検出処理では、複数種類の識別辞書を評価して(図8のS400)、検出識別辞書を変更することができるから(S500)、環境の変化に応じて適切な識別辞書を選択することができる。その結果、環境要因の影響を受けることなく、高い検出精度で歩行者を検出することが可能となる。
上述した第1実施例の歩行者検出処理では、識別辞書記憶部101に記憶されている複数種類の識別辞書は予め決まっており、画像撮影時の環境が変化すると、既定の識別辞書の中から適切な識別辞書を選択するものとして説明した。
しかし、学習によって新たな識別辞書を生成して、識別辞書記憶部101に記憶してもよい。そして、学習によって追加された識別辞書を含む複数種類の識別辞書の中から、適切な識別辞書を選択するものとしても良い。
図示されるように、第2実施例の歩行者検出処理を開始すると、車載カメラ10から撮影画像を取得した後(S150)、ソナー20〜23から歩行者位置を取得して、歩行者位置の検出時刻(タイムスタンプ)と共に、歩行者検出装置100内の図示しないメモリーに記憶する(S151)。
そこで、新たな識別辞書が学習されたか否かを判断し(S153)、学習されていた場合には(S153:yes)、その新たな識別辞書が、登録に値する識別辞書か否かを判断して、登録に値していれば識別辞書記憶部101に新たな識別辞書として登録する学習識別辞書登録処理(S700)を実施する。学習識別辞書登録処理(S700)の詳細な処理内容については後述する。
識別辞書評価処理(S400)の処理内容については、図14を用いて前述した第1実施例の識別辞書評価処理(S400)と同様である。すなわち、識別辞書記憶部101に記憶されている複数種類の識別辞書の中から検出精度が最も高い識別辞書を選択して、新たな検出識別辞書の候補となる識別辞書(候補識別辞書)に設定する。
そして、候補識別辞書が得られたか否かを判断して(図18のS155)、候補識別辞書が得られていれば(S155:yes)、検出識別辞書選択処理(S500)を開始する。検出識別辞書選択処理(S500)の処理内容については、図15を用いて前述した第1実施例の検出識別辞書選択処理(S500)と同様であるため、説明は省略する。
また、学習された新たな識別辞書が登録されていないと判断した場合は(S154:no)、識別辞書評価処理(S400)および検出識別辞書選択処理(S500)は省略する。
更に、そもそも、新たな識別辞書が学習されていないと判断した場合は(S153:no)、学習識別辞書登録処理(S700)や、識別辞書評価処理(S400)、検出識別辞書選択処理(S500)は省略する。
これに対して、歩行者の検出を終了すると判断した場合は(S156:yes)、図17および図18に示した第2実施例の歩行者検出処理を終了する。
図19には、第2実施例の歩行者探索処理(S250)のフローチャートが示されている。前述したように第2実施例の歩行者探索処理(S250)は、図10を用いて前述した第1実施例の歩行者探索処理に対して、歩行者が検出された場合に、検出された位置(対象画像を設定した位置)だけでなく、その対象画像から抽出した特徴量も記憶する点が異なっている。以下では、第1実施例の歩行者探索処理(S200)との相違点を中心に、第2実施例の歩行者探索処理(S250)について簡単に説明する。
そして、特徴量空間での対象画像の特徴量が示す座標点と、識別辞書に対応する座標点との内積値を算出して(S253)、得られた内積値が、所定の閾値よりも大きいか否かを判断する(S254)。
その結果、内積値が閾値よりも大きかった場合は(S254:yes)、対象画像に歩行者が写っていると判断することができるので、撮影画像中に対象画像を設定した位置を、歩行者の検出結果として記憶する(S255)。
これに対して、内積値が閾値よりも大きくなかった場合は(S254:no)、対象画像に歩行者が写っていないと判断することができるので、検出結果は記憶しない。
これに対して、撮影画像の下辺からの距離が所定距離以内に無かった場合は(S256:no)、識別辞書学習用の検出結果は記憶しない。
そして、前述したように第2実施例の歩行者検出処理では、歩行者探索処理から復帰すると、識別辞書学習処理(S600)を開始する。
図20には、第2実施例の歩行者検出処理の中で実施される識別辞書学習処理のフローチャートが示されている。
図示されるように識別辞書学習処理(S600)では、上述した歩行者探索処理(S250)で識別辞書学習用に記憶した歩行者の検出結果(歩行者が検出された対象画像の位置、および対象画像から抽出された特徴量)を読み出す(S601)。
例えば、図12および図13に示した例では、正検知特徴量としては、検出位置P1に設定した対象画像から抽出した特徴量を蓄積し、誤検知特徴量としては、検出位置P2に設定した対象画像から抽出した特徴量を蓄積する。
尚、学習によって適切な識別辞書を得るためには、十分な数の正検知特徴量および誤検知特徴量が蓄積されていることが望ましい。その一方で、蓄積に要する時間があまりに長くなると、画像を撮影する環境が変わってしまう可能性が生じる。そこで、必要蓄積数は、数十〜数千の範囲(代表的には、100程度)の数に設定される。
そして、前述したように歩行者検出処理では、新たな識別辞書が学習されていないと判断されて(図17のS153:no)、歩行者検出を終了するか否かが判断される(図18のS156)。その結果、歩行者検出を終了しない場合は(S156:no)、再び先頭から歩行者検出処理が実行され、その中で識別辞書学習処理(S600)が開始されて、正検知数および正検知特徴量が蓄積され(図20のS603)、誤検知数および誤検知特徴量が蓄積される(S606)。
図21および図22には、識別辞書設定値変更処理(S650)のフローチャートが示されている。
識別辞書設定値変更処理(S650)では、先ず始めに、検出識別辞書に設定された特徴量(以下では、対象画像の特徴量と区別するために「設定値」と称する)を1つ選択する(S651)。N次元の識別辞書であれば、N個の設定値を備えているから、その中の1つを選択する。
そして、選択した設定値を増加させることによって、蓄積しておいた正検知特徴量との内積値が増加するか否かを判断する(S653)。この時、蓄積しておいた全ての正検知特徴量との内積値が増加することが望ましいが、所定比率以下(例えば10%以下)であれば、内積値が増加しない正検知特徴量が存在している場合も、正検知特徴量との内積値が増加したと判断することとしても良い。
そこで、増加させた設定値を増加前の値に戻した後(S656)、今度は、その設定値を所定量だけ減少させる(S657)。
そして、前述したように第2実施例の歩行者検出処理では、識別辞書学習処理(S600)から復帰すると、新たな識別辞書が学習されたか否かを判断し(図17のS153)、新たな識別辞書が学習されていた場合には(S153:yes)、学習識別辞書登録処理(S700)を開始する。
尚、上述した識別辞書学習処理によって学習された新たな識別辞書が、本発明の「学習識別辞書」に対応する。
図23には、学習識別辞書登録処理(S700)のフローチャートが示されている。
図示されるように、学習識別辞書登録処理(S700)を開始すると、先ず始めに、既存の識別辞書(識別辞書記憶部101に登録されている識別辞書)を1つ選択する(S701)。この時、使用中の検出識別辞書を選択しても良い。
従って、内積値が所定値よりも小さかった場合は(S703:yes)、学習によって得られた識別辞書は、S701で選択した識別辞書とは大きく異なっていると考えられる。そこでこの場合は、既存の識別辞書を全て選択したか否かを判断する(S704)。選択していない識別辞書が残っている場合は(S704:no)、先頭に戻って新たな識別辞書を選択した後(S701)、その識別辞書との内積値を算出する(S702)。そして、内積値が所定値よりも小さい場合は(S703:yes)、他の識別辞書についても同様な処理を繰り返す。
これに対して、全ての識別辞書とも内積値が小さかった場合は(S704:yes)、学習によって得られた識別辞書は、識別辞書記憶部101に記憶されている既存の識別辞書の何れとも似ていないので、新たな識別辞書として登録する価値があると判断できる。
また、識別辞書記憶部101に記憶されている識別辞書が増えると、新たな識別辞書が学習された場合に、その識別辞書が登録する価値があるか否かを判断する処理(図23のS701〜S704)に要する時間も増加する。
その結果、既存の識別辞書の種類数が上限数に達していた場合は(S705:yes)、識別辞書記憶部101に記憶されている識別辞書の種類数が増えすぎたと判断できる。そこでこの場合は、識別辞書記憶部101に記憶されている識別辞書の中で、学習によって得られた最も古い識別辞書を削除する(S706)。識別辞書記憶部101の識別辞書の中に、学習によって登録されたのではなく、標準の識別辞書が予め記憶されていた場合には、標準の識別辞書を除いて最も古い識別辞書を削除する。
学習によって得られた識別辞書を識別辞書記憶部101に記憶することによって、新たな識別辞書として登録する(S707)。
こうすれば、識別辞書記憶部101に記憶されている識別辞書の種類数を上限数に抑えたまま、車載カメラ10が画像を撮影する環境の変化に応じた最新の識別辞書を記憶することができる。また、古いタイミングで学習された識別辞書は、その識別辞書を学習した時の環境が、現在の環境とは大きく異なってしまい、検出精度が低下している可能性が高いので、削除しても実害は少ないと考えられる。
もちろん、現在の環境が変化して、削除した識別辞書を学習した環境に近付いていく可能性もある。しかし、その場合でも、環境の変化に応じて識別辞書を学習することができるので、最も古いタイミングで学習された識別辞書については、削除することによる実害は僅かと考えられる。
また、ここでは、識別辞書記憶部101に記憶された識別辞書を削除してから(S706)、新たな識別辞書を記憶する(S707)ものとして説明した。しかし、新たな識別辞書を識別辞書記憶部101に記憶した後に(S707)、識別辞書記憶部101の識別辞書を削除することとしてもよい(S706)。
こうして、学習によって得られた識別辞書を識別辞書記憶部101に登録したら(S707)、図23の学習識別辞書登録処理を終了する。
例えば、図24(a)に示すように、識別辞書記憶部101に記憶されている識別辞書が1つ(識別辞書D1)の時に、図中に黒丸で表示した識別辞書が学習されたものとする。この場合、学習した識別辞書と、既存の識別辞書D1との内積値は小さくなるので、学習した識別辞書を新たな識別辞書D2として、識別辞書記憶部101に追加する。
次に、図24(b)に示したように、識別辞書D1および識別辞書D2が記憶されている状態で、図中に黒丸で表示した識別辞書が学習されたものとする。この場合、学習した識別辞書は、識別辞書D1との内積値は小さくなるが、識別辞書D2との内積値は小さくならない。そこで、この識別辞書については識別辞書記憶部101に追加しない。
更に、図24(c)に示したように、識別辞書D1および識別辞書D2が記憶されている状態で、図中に黒丸で表示した別の識別辞書が学習されたものとする。この識別辞書については、識別辞書D1との内積値も、識別辞書D2との内積値も小さくなるので、この識別辞書については新たな識別辞書として識別辞書記憶部101に追加する。
その後は、図17および図18を用いて前述したように、新たな識別辞書が登録されたか否かを判断して(図17のS154)、新たな識別辞書が登録されていたら(S154:yes)、前述した識別辞書評価処理(S400)を開始し、識別辞書評価処理(S400)で候補識別辞書が得られていた場合には(図18のS155:yes)、前述した検出識別辞書選択処理(S500)を開始する。
そして、検出識別辞書選択処理(S500)を終了したら、歩行者検出を終了するか否かを判断し(S156)、歩行者検出を終了しない場合は(S156:no)、第2実施例の歩行者検出処理の先頭に戻って、車載カメラ10から新たな撮影画像を取得した後(図17のS150)、上述した続く一連の処理を開始する。
これに対して、歩行者検出を終了すると判断した場合は(S156:yes)、図17および図18に示した第2実施例の歩行者検出処理を終了する。
102…検出結果蓄積部、 103…歩行者位置蓄積部、
104…識別辞書選択部、 105…歩行者検出部、
106…検出精度評価部、 107…再選択要否判断部。
Claims (7)
- ソナー(20〜23)またはレーダー(30)の少なくとも何れかと車載カメラ(10)とを備えた車両(1)に搭載されて、該車載カメラで撮影した撮影画像を解析することにより、該撮影画像に写った歩行者を検出する歩行者検出装置(100)であって、
前記撮影画像に写った前記歩行者の形状が備える複数の特徴を数値化して記述した識別辞書を、該数値を異ならせて複数種類記憶している識別辞書記憶部(101)と、
前記識別辞書記憶部に記憶されている前記複数種類の識別辞書について、前記撮影画像の中で該識別辞書に記述された特徴を有する箇所を探索することにより、該撮影画像に写った前記歩行者を検出して、該歩行者が検出された検出位置を、該識別辞書毎に検出結果として蓄積する検出結果蓄積部(102)と、
前記車両の周辺に存在する前記歩行者を前記ソナーまたは前記レーダーの少なくとも何れかを用いて検出し、該歩行者が検出された歩行者位置を蓄積する歩行者位置蓄積部(103)と、
前記歩行者位置蓄積部に蓄積された前記歩行者位置と、前記検出結果蓄積部に前記検出結果として前記識別辞書毎に蓄積された前記歩行者の検出位置とを比較することにより、該検出位置が該歩行者位置と整合する前記識別辞書を検出識別辞書として選択する識別辞書選択部(104)と、
前記撮影画像の中で前記検出識別辞書に記述された特徴を有する箇所を探索することにより、該撮影画像中の前記歩行者を検出する歩行者検出部(105)と
を備える歩行者検出装置。 - 請求項1に記載の歩行者検出装置であって、
前記検出結果蓄積部は、前記撮影画像中で前記歩行者が検出された位置に基づいて、前記車両から該歩行者までの距離に関する情報を取得し、該歩行者までの距離が所定の閾値距離以内であった場合に(S206:yes、S256:yes)、該歩行者の検出位置を前記検出結果として蓄積する蓄積部である
歩行者検出装置。 - 請求項1または請求項2に記載の歩行者検出装置であって、
前記検出識別辞書による前記歩行者の検出位置と、前記ソナーまたは前記レーダーの少なくとも何れかを用いて検出した前記歩行者位置とを蓄積して、該検出識別辞書の検出精度を評価する検出精度評価部(106)と、
前記検出精度評価部による前記評価の結果に基づいて、前記検出識別辞書の再選択の要否を判断する再選択要否判断部(107)と
を備え、
前記検出結果蓄積部は、前記再選択要否判断部が前記検出識別辞書の再選択を要すると判断した場合に(S104:yes)、前記識別辞書毎の前記検出結果を蓄積する蓄積部である
歩行者検出装置。 - 請求項1ないし請求項3の何れか一項に記載の歩行者検出装置であって、
前記歩行者検出部は、
前記撮影画像中で探索しようとする箇所に写った対象画像を、前記歩行者の形状が備える前記複数の特徴について数値化することにより、該対象画像から複数の特徴量を抽出する特徴量抽出部(S202、S252)と、
前記識別辞書に記述された前記複数の数値と、前記対象画像から抽出された前記複数の特徴量との内積値を算出する内積値算出部(S203、S253)と
を備え、
前記内積値算出部によって得られた前記内積値が所定閾値を超える場合に(S204:yes、S254:yes)、前記対象画像に前記歩行者が写っていると判断することによって該歩行者を検出する検出部である
歩行者検出装置。 - 請求項4に記載の歩行者検出装置であって、
前記歩行者検出部による前記歩行者の検出結果の正誤を、前記ソナーまたは前記レーダーの少なくとも何れかを用いて確認する検出結果確認部(S603、S605)と、
前記歩行者検出部によって前記歩行者が検出され、且つ、該検出の結果が前記検出結果確認部によって正しいと判断された場合に、該歩行者が検出された前記対象画像から得られた前記特徴量を正検知特徴量として蓄積する正検知特徴量蓄積部(S604)と、
前記歩行者検出部によって前記歩行者が検出され、且つ、該検出の結果が前記検出結果確認部によって正しくないと判断された場合に、該歩行者が検出された前記対象画像から得られた前記特徴量を誤検知特徴量として蓄積する誤検知特徴量蓄積部(S606)と、
前記正検知特徴量に対しては前記内積値算出部によって得られる前記内積値が増加し、前記誤検知特徴量に対しては前記内積値算出部によって得られる前記内積値が減少するように、前記検出識別辞書の前記複数の数値を学習することによって、学習識別辞書を生成する学習識別辞書生成部(S650)と、
前記学習識別辞書を前記識別辞書として前記識別辞書記憶部に追加する学習識別辞書追加部(S700)と
を備える歩行者検出装置。 - 請求項5に記載の歩行者検出装置であって、
前記識別辞書記憶部に記憶されている前記識別辞書の種類数が所定の上限数に達するか否かを判断し、該上限数に達する場合には、前記識別辞書記憶部に記憶されている前記学習識別辞書の中で前記学習識別辞書追加部が最も古いタイミングで追加した前記学習識別辞書を削除する識別辞書削除部(S706)を備える
歩行者検出装置。 - ソナーまたはレーダーの少なくとも何れかと車載カメラとを備えた車両に適用されて、該車載カメラで撮影した撮影画像を解析することにより、該撮影画像に写った歩行者を検出する歩行者検出方法であって、
前記撮影画像に写った前記歩行者の形状が備える複数の特徴を数値化して記述した複数種類の識別辞書について、前記撮影画像の中で該識別辞書に記述された特徴を有する箇所を探索することにより、該撮影画像に写った前記歩行者を検出して、該歩行者が検出された検出位置を、該識別辞書毎に検出結果を蓄積する検出結果蓄積工程(S200、S250)と、
前記車両の周辺に存在する前記歩行者を前記ソナーまたは前記レーダーの少なくとも何れかを用いて検出し、該歩行者が検出された歩行者位置を蓄積する歩行者位置蓄積工程(S101、S151)と、
前記歩行者位置蓄積工程で蓄積された前記歩行者位置と、前記検出結果蓄積工程で前記検出結果として前記識別辞書毎に蓄積された前記歩行者の検出位置とを比較することにより、該検出位置が該歩行者位置と整合する前記識別辞書を検出識別辞書として選択する識別辞書選択工程(S500)と、
前記撮影画像の中で前記検出識別辞書に記述された特徴を有する箇所を探索することにより、該撮影画像中の前記歩行者を検出する歩行者検出工程(S200、S250)と
を備える歩行者検出方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014152426A JP6256239B2 (ja) | 2014-07-25 | 2014-07-25 | 歩行者検出装置および歩行者検出方法 |
US15/327,607 US10354160B2 (en) | 2014-07-25 | 2015-06-29 | Pedestrian detection device and pedestrian detection method |
PCT/JP2015/003258 WO2016013159A1 (ja) | 2014-07-25 | 2015-06-29 | 歩行者検出装置および歩行者検出方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014152426A JP6256239B2 (ja) | 2014-07-25 | 2014-07-25 | 歩行者検出装置および歩行者検出方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2016031564A JP2016031564A (ja) | 2016-03-07 |
JP2016031564A5 JP2016031564A5 (ja) | 2016-06-02 |
JP6256239B2 true JP6256239B2 (ja) | 2018-01-10 |
Family
ID=55162706
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014152426A Active JP6256239B2 (ja) | 2014-07-25 | 2014-07-25 | 歩行者検出装置および歩行者検出方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US10354160B2 (ja) |
JP (1) | JP6256239B2 (ja) |
WO (1) | WO2016013159A1 (ja) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102017123848A1 (de) * | 2017-10-13 | 2019-04-18 | Connaught Electronics Ltd. | Automatisches Parken eines Fahrzeugs auf einem Parkplatz |
CN108172025B (zh) * | 2018-01-30 | 2021-03-30 | 东软睿驰汽车技术(上海)有限公司 | 一种辅助驾驶方法、装置、车载终端及车辆 |
JP7143661B2 (ja) * | 2018-07-24 | 2022-09-29 | トヨタ自動車株式会社 | 情報処理システム、プログラム、及び制御方法 |
CN109214293A (zh) * | 2018-08-07 | 2019-01-15 | 电子科技大学 | 一种油田作业区域人员穿戴行为检测方法及系统 |
CN109334566B (zh) * | 2018-08-31 | 2022-01-25 | 阿波罗智联(北京)科技有限公司 | 用于提供车外反馈的方法、装置、设备和存储介质 |
GB2585332A (en) * | 2019-02-12 | 2021-01-13 | Chidziva Pasihapaori | Vehicle with moving object detector |
JP7071316B2 (ja) * | 2019-07-19 | 2022-05-18 | 株式会社日立製作所 | 車両用情報処理装置 |
TWI809241B (zh) | 2020-01-16 | 2023-07-21 | 為昇科科技股份有限公司 | 生命體檢測的雷達偵測系統、生命體判斷方法及特徵資料庫建立方法 |
JP7495833B2 (ja) | 2020-07-07 | 2024-06-05 | 株式会社日立ソリューションズ・テクノロジー | Dnnモデル圧縮システム |
DE102022206123A1 (de) * | 2022-06-20 | 2023-12-21 | Robert Bosch Gesellschaft mit beschränkter Haftung | Verfahren zur Ermittlung einer angenäherten Objektposition eines dynamischen Objektes, Computerprogramm, Vorrichtung und Fahrzeug |
WO2024013919A1 (ja) * | 2022-07-14 | 2024-01-18 | 日本電気株式会社 | 物体認識システム、物体認識方法及び記録媒体 |
CN117436937B (zh) * | 2023-12-21 | 2024-07-05 | 暗物智能科技(广州)有限公司 | 一种考虑行人画像的路径预测方法及系统 |
Family Cites Families (43)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100415266B1 (ko) * | 2000-05-11 | 2004-01-16 | 가부시끼가이샤 도시바 | 물체영역정보 기술방법과 물체영역정보 생성장치 및 기록매체 |
JP4624594B2 (ja) * | 2000-06-28 | 2011-02-02 | パナソニック株式会社 | 物体認識方法および物体認識装置 |
ITTO20010282A1 (it) * | 2001-03-26 | 2002-09-26 | Fiat Ricerche | Sistema di ausilio alla guida di un autoveicolo. |
US7227893B1 (en) * | 2002-08-22 | 2007-06-05 | Xlabs Holdings, Llc | Application-specific object-based segmentation and recognition system |
US7764808B2 (en) * | 2003-03-24 | 2010-07-27 | Siemens Corporation | System and method for vehicle detection and tracking |
JP4425642B2 (ja) * | 2004-01-08 | 2010-03-03 | 富士重工業株式会社 | 歩行者抽出装置 |
JP4534700B2 (ja) * | 2004-09-30 | 2010-09-01 | 日産自動車株式会社 | 人物検出装置及び方法 |
JP4166253B2 (ja) * | 2006-07-10 | 2008-10-15 | トヨタ自動車株式会社 | 物体検出装置、物体検出方法、および物体検出用プログラム |
US7853072B2 (en) * | 2006-07-20 | 2010-12-14 | Sarnoff Corporation | System and method for detecting still objects in images |
JP4777196B2 (ja) * | 2006-09-11 | 2011-09-21 | 川崎重工業株式会社 | 運転支援装置 |
JP5012718B2 (ja) * | 2008-08-01 | 2012-08-29 | トヨタ自動車株式会社 | 画像処理装置 |
JP5210233B2 (ja) * | 2009-04-14 | 2013-06-12 | 日立オートモティブシステムズ株式会社 | 車両用外界認識装置及びそれを用いた車両システム |
JP5333080B2 (ja) * | 2009-09-07 | 2013-11-06 | 株式会社日本自動車部品総合研究所 | 画像認識システム |
JP5467300B2 (ja) * | 2010-06-23 | 2014-04-09 | 国立大学法人大阪大学 | 移動物体検出装置 |
JP2012220377A (ja) | 2011-04-11 | 2012-11-12 | Denso Corp | 物体識別装置、および物体識別プログラム |
JP5755012B2 (ja) * | 2011-04-21 | 2015-07-29 | キヤノン株式会社 | 情報処理装置、その処理方法、プログラム及び撮像装置 |
US20140236386A1 (en) * | 2011-09-22 | 2014-08-21 | Toyota Jidosha Kabushiki Kaisha | Driving assistance apparatus |
JP5673568B2 (ja) * | 2012-01-16 | 2015-02-18 | トヨタ自動車株式会社 | 物体検出装置 |
JP6100635B2 (ja) * | 2012-12-13 | 2017-03-22 | 株式会社デンソー | 移動体検出装置 |
JP5561396B1 (ja) * | 2013-02-19 | 2014-07-30 | 日本電気株式会社 | 運転支援システムおよび運転支援方法 |
JP5708689B2 (ja) * | 2013-03-13 | 2015-04-30 | 株式会社デンソー | 物体検出装置 |
JP2014215877A (ja) * | 2013-04-26 | 2014-11-17 | 株式会社デンソー | 物体検出装置 |
JP5794255B2 (ja) * | 2013-05-21 | 2015-10-14 | 株式会社デンソー | 物体検出装置 |
JP6398347B2 (ja) * | 2013-08-15 | 2018-10-03 | 株式会社リコー | 画像処理装置、認識対象物検出方法、認識対象物検出プログラム、および、移動体制御システム |
US9721172B2 (en) * | 2013-08-19 | 2017-08-01 | Gentex Corporation | Imaging system and method with ego motion detection |
US9336436B1 (en) * | 2013-09-30 | 2016-05-10 | Google Inc. | Methods and systems for pedestrian avoidance |
KR101498114B1 (ko) * | 2013-11-28 | 2015-03-05 | 현대모비스 주식회사 | 보행자를 검출하는 영상 처리 장치 및 그 방법 |
JP6483360B2 (ja) * | 2014-06-30 | 2019-03-13 | 本田技研工業株式会社 | 対象物認識装置 |
JP6340957B2 (ja) * | 2014-07-02 | 2018-06-13 | 株式会社デンソー | 物体検出装置および物体検出プログラム |
US20160019429A1 (en) * | 2014-07-17 | 2016-01-21 | Tomoko Ishigaki | Image processing apparatus, solid object detection method, solid object detection program, and moving object control system |
JP5928748B2 (ja) * | 2014-07-31 | 2016-06-01 | インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation | 同一種類の複数の認識対象物体が検索対象画像中に存在する場合に、それぞれの認識対象物体の位置および向きを精度良く求める手法 |
JP6350082B2 (ja) * | 2014-08-01 | 2018-07-04 | 株式会社デンソー | 画像処理装置 |
DE102014219148A1 (de) * | 2014-09-23 | 2016-03-24 | Robert Bosch Gmbh | Verfahren und Vorrichtung zum Erstellen eines Bewegungsmodells eines Straßenverkehrsteilnehmers |
JP6245140B2 (ja) * | 2014-10-27 | 2017-12-13 | 株式会社デンソー | 対象物識別装置、運転支援システム、車両および対象物識別方法 |
JP6396838B2 (ja) * | 2015-03-31 | 2018-09-26 | 株式会社デンソー | 車両制御装置、及び車両制御方法 |
JP6413898B2 (ja) * | 2015-04-02 | 2018-10-31 | 株式会社デンソー | 歩行者判定装置 |
JP6058072B2 (ja) * | 2015-05-29 | 2017-01-11 | 三菱電機株式会社 | 物体識別装置 |
US10274593B2 (en) * | 2015-10-02 | 2019-04-30 | Panasonic Corporation | Object detection device and object detection method |
JP6455492B2 (ja) * | 2016-07-19 | 2019-01-23 | トヨタ自動車株式会社 | 走行支援装置 |
US10740658B2 (en) * | 2016-09-08 | 2020-08-11 | Mentor Graphics Corporation | Object recognition and classification using multiple sensor modalities |
US10732420B2 (en) * | 2016-09-20 | 2020-08-04 | Panasonic Automotive Systems Company Of America, Division Of Panasonic Corporation Of North America | Head up display with symbols positioned to augment reality |
US10884417B2 (en) * | 2016-11-07 | 2021-01-05 | Boston Incubator Center, LLC | Navigation of mobile robots based on passenger following |
KR20180069147A (ko) * | 2016-12-14 | 2018-06-25 | 만도헬라일렉트로닉스(주) | 차량의 보행자 경고장치 |
-
2014
- 2014-07-25 JP JP2014152426A patent/JP6256239B2/ja active Active
-
2015
- 2015-06-29 US US15/327,607 patent/US10354160B2/en active Active
- 2015-06-29 WO PCT/JP2015/003258 patent/WO2016013159A1/ja active Application Filing
Also Published As
Publication number | Publication date |
---|---|
WO2016013159A1 (ja) | 2016-01-28 |
US10354160B2 (en) | 2019-07-16 |
US20180144207A1 (en) | 2018-05-24 |
JP2016031564A (ja) | 2016-03-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6256239B2 (ja) | 歩行者検出装置および歩行者検出方法 | |
CN110807350B (zh) | 用于面向扫描匹配的视觉slam的系统和方法 | |
CN109117825B (zh) | 车道线处理方法和装置 | |
US11348342B2 (en) | Method and device in a motor vehicle for improved data fusion in an environment detection | |
JP6808586B2 (ja) | 車両用外界認識装置 | |
JP5729398B2 (ja) | 車載物標検出装置 | |
CN109752717B (zh) | 用于关联车辆中的传感器数据的装置和方法 | |
JP2016031564A5 (ja) | ||
JPWO2004079658A1 (ja) | 生体画像照合装置およびその照合方法 | |
JPWO2012086821A1 (ja) | 測位装置、測位方法 | |
JP4660569B2 (ja) | 物体検出装置及び物体検出方法 | |
EP3438875A1 (en) | Image processing apparatus and control method therefor | |
TW201539378A (zh) | 物件偵測系統 | |
Park et al. | Performance indicator survey for object detection | |
CN111383294A (zh) | 一种安防雷达系统中防区的绘制方法及装置 | |
CN111383246B (zh) | 条幅检测方法、装置及设备 | |
JP2008122093A (ja) | 多目標追尾装置 | |
CN108710828B (zh) | 识别目标物的方法、装置和存储介质以及车辆 | |
KR101916460B1 (ko) | 깊이 정보를 이용한 물체 인식 방법 및 장치 | |
JP2020052977A (ja) | 情報処理装置、情報処理方法、およびプログラム | |
CN113033247A (zh) | 一种图像识别方法及装置、计算机可读存储介质 | |
US11907771B2 (en) | Action recognition device and action recognition method | |
US11922670B2 (en) | System for extracting outline of static object and method thereof | |
JP6528104B2 (ja) | 画像復元装置、画像復元方法及びプログラム | |
JP2019075051A (ja) | 画像処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160412 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170223 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20171107 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20171120 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6256239 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |