Nothing Special   »   [go: up one dir, main page]

JP6256239B2 - 歩行者検出装置および歩行者検出方法 - Google Patents

歩行者検出装置および歩行者検出方法 Download PDF

Info

Publication number
JP6256239B2
JP6256239B2 JP2014152426A JP2014152426A JP6256239B2 JP 6256239 B2 JP6256239 B2 JP 6256239B2 JP 2014152426 A JP2014152426 A JP 2014152426A JP 2014152426 A JP2014152426 A JP 2014152426A JP 6256239 B2 JP6256239 B2 JP 6256239B2
Authority
JP
Japan
Prior art keywords
pedestrian
detection
identification dictionary
identification
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014152426A
Other languages
English (en)
Other versions
JP2016031564A5 (ja
JP2016031564A (ja
Inventor
宗作 重村
宗作 重村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2014152426A priority Critical patent/JP6256239B2/ja
Priority to US15/327,607 priority patent/US10354160B2/en
Priority to PCT/JP2015/003258 priority patent/WO2016013159A1/ja
Publication of JP2016031564A publication Critical patent/JP2016031564A/ja
Publication of JP2016031564A5 publication Critical patent/JP2016031564A5/ja
Application granted granted Critical
Publication of JP6256239B2 publication Critical patent/JP6256239B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/87Combinations of sonar systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/862Combination of radar systems with sonar systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867Combination of radar systems with cameras
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/86Combinations of sonar systems with lidar systems; Combinations of sonar systems with systems not using wave reflection
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88Sonar systems specially adapted for specific applications
    • G01S15/93Sonar systems specially adapted for specific applications for anti-collision purposes
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88Sonar systems specially adapted for specific applications
    • G01S15/93Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/28Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/255Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/19Recognition using electronic means
    • G06V30/191Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/1914Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries, e.g. user dictionaries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/24Character recognition characterised by the processing or recognition method
    • G06V30/242Division of the character sequences into groups prior to recognition; Selection of dictionaries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66Radar-tracking systems; Analogous systems
    • G01S13/72Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar
    • G01S13/723Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar by using numerical data
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/66Sonar tracking systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9324Alternative operation using ultrasonic waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327Sensor installation details
    • G01S2013/93271Sensor installation details in the front of the vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327Sensor installation details
    • G01S2013/93275Sensor installation details in the bumper area

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Acoustics & Sound (AREA)
  • Electromagnetism (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Description

本発明は、車載カメラで得られた撮影画像を解析することによって、撮影画像に写った歩行者を検出する技術に関する。
今日の車両では、安全な走行を確保するために、あるいは運転者の運転操作を支援するために、様々な技術を用いて車両の周辺の状況を監視している。その中の代表的な技術としては、車載カメラから得られた撮影画像を解析して、撮影画像に写った歩行者を検出する技術が知られている。
この撮影画像に写った歩行者を検出する際には、検出しようとする歩行者の主に外形形状に着目して、歩行者の特徴を記憶しておき、撮影画像中で歩行者の特徴を有する箇所を探索する。そして、歩行者の特徴を有する箇所が見つかったら、その箇所に歩行者が写っていると判断する(例えば、特許文献1)。
ここで、撮影画像中の歩行者は、歩行者が単独で写っているわけではない。従って、撮影画像中で歩行者の特徴を有する箇所を探索する際には、歩行者の周囲も写った画像から、全体として歩行者の特徴を有する箇所を探索することになる。
そして、撮影画像に写った歩行者の周囲の状況は、撮影時の環境要因によって変化する。例えば、天気が良い時に撮影した場合には、歩行者の影が歩行者と一緒に写り込む。また、撮影した季節や時刻によって、影の長さや、背景とのコントラストが変化する。更には、季節や地域によって服装が変わるので、歩行者の外形形状自体も変化する。
そこで、撮影画像中の歩行者を探索する際には、歩行者の特徴を完全には有していなくても、大まかに歩行者の特徴を有していれば、その箇所には歩行者が写っているものと判断することとしている。
特開2012−220377号公報
しかし、上述した従来の技術では、歩行者の検出精度を改善することには限界があるという問題があった。これは、次のような理由による。先ず、歩行者の検出精度を向上させるためには、歩行者の検出率(撮影画像に写った歩行者の総数に対する歩行者の検出数の比率)と、正答率(歩行者として検出した画像に本当に歩行者が写っている比率)とを同時に向上させる必要がある。
当然ながら、環境要因の変化で歩行者が検出できなくなったのでは検出率を向上させることができない。そこで、歩行者の特徴を有するか否かの判断を緩やかにして、環境要因が変化しても歩行者が検出できるようにすると、撮影画像中でたまたま歩行者に近い形に見える箇所を、歩行者として誤検出してしまうので正答率が低下する。逆に、誤検出による正答率の低下を回避するために、歩行者の特徴を有するか否かの判断を厳しくすると、今度は、環境要因の変化による影響で歩行者を検出することが困難となるので、検出率が低下してしまう。このように、歩行者の検出精度がある程度まで改善された後は、歩行者の検出率と正答率とが二律背反の関係となってしまうために、それ以上に歩行者の検出精度を改善することが難しいという問題があった。
この発明は、従来技術が有する上述した課題に鑑みてなされたものであり、撮影画像中の歩行者を検出する際の検出精度を改善することが可能な技術の提供を目的とする。
上述した課題を解決するために本発明の歩行者検出装置および歩行者検出方法は、複数種類の識別辞書を記憶しておき、それぞれの識別辞書について歩行者の検出位置検出結果として蓄積しておく。また、ソナーまたはレーダーによる歩行者の検出結果も蓄積しておく。そして、複数種類の識別辞書の中から、ソナーまたはレーダーによる検出結果と、最も整合する識別辞書を選択して、選択した識別辞書を用いて撮影画像中の歩行者を検出する。
こうすれば、環境要因が変化しても、複数種類の識別辞書から最も適した識別辞書を選択して、撮影画像中の歩行者を検出することができるので、歩行者の検出精度を改善することが可能となる。
尚、本発明の歩行者検出装置および歩行者検出方法は、次のような態様で把握することも可能である。すなわち、
ソナー(20〜23)またはレーダー(30)の少なくとも何れかと車載カメラ(10)とを備えた車両(1)に搭載されて、該車載カメラで撮影した撮影画像を解析することにより、該撮影画像に写った歩行者を検出する歩行者検出装置(100)であって、
前記撮影画像に写った前記歩行者の形状が備える複数の特徴を数値化して記述した識別辞書を記憶している識別辞書記憶部(101)と、
前記撮影画像中で探索しようとする箇所に写った対象画像を、前記歩行者の形状が備える前記複数の特徴について数値化することにより、該対象画像から複数の特徴量を抽出する特徴量抽出部(S202、S252)と、
前記識別辞書に記述された前記複数の数値と、前記対象画像から抽出された前記複数の特徴量との内積値を算出する内積値算出部(S203、S253)と、
前記内積値算出部によって得られた前記内積値が所定閾値を超える場合に(S204:yes、S254:yes)、前記対象画像に前記歩行者が写っていると判断することによって該歩行者を検出する歩行者検出部(105)と、
前記歩行者検出部による前記歩行者の検出結果の正誤を、前記ソナーまたは前記レーダーの少なくとも何れかを用いて確認する検出結果確認部(S603、S605)と、
前記歩行者検出部によって前記歩行者が検出され、且つ、該検出の結果が前記検出結果確認部によって正しいと判断された場合に、該歩行者が検出された前記対象画像から得られた前記特徴量を正検知特徴量として蓄積する正検知特徴量蓄積部(S604)と、
前記歩行者検出部によって前記歩行者が検出され、且つ、該検出の結果が前記検出結果確認部によって正しくないと判断された場合に、該歩行者が検出された前記対象画像から得られた前記特徴量を誤検知特徴量として蓄積する誤検知特徴量蓄積部(S606)と、
前記正検知特徴量に対しては前記内積値算出部によって得られる前記内積値が増加し、前記誤検知特徴量に対しては前記内積値算出部によって得られる前記内積値が減少するように、前記検出識別辞書の前記複数の数値を学習することによって、学習識別辞書を生成する学習識別辞書生成部(S650)と、
前記学習識別辞書を前記識別辞書として前記識別辞書記憶部に書き込む識別辞書書込部(S700)と
を備える歩行者検出装置として把握することもできる。
このような態様で把握される歩行者検出装置は、環境の変化に応じて識別辞書を学習することができるので、環境の変化によらず高い検出精度で歩行者を検出することが可能となる。
本実施例の歩行者検出装置100を搭載した車両1を示す説明図である。 歩行者検出装置100の大まかな内部構成を示す説明図である。 撮影画像に写った歩行者を検出する方法の概要を示した説明図である。 歩行者を含まない対象画像を例示した説明図である。 識別辞書と対象画像との特徴量空間での内積値を用いて撮影画像中の歩行者を検出する方法についての説明図である。 環境要因の影響で歩行者の検出精度が低下する理由を示した説明図である。 予め記憶されている複数の識別辞書を例示した説明図である。 第1実施例の歩行者検出処理の前半部分のフローチャートである。 第1実施例の歩行者検出処理の後半部分のフローチャートである。 撮影画像中の歩行者を探索する歩行者探索処理のフローチャートである。 歩行者の検出精度を算出する検出精度算出処理のフローチャートである。 撮影画像中の歩行者の検出結果を例示した説明図である。 ソナーによる歩行者の検出結果を例示した説明図である。 複数の識別辞書の検出精度を評価する識別辞書評価処理のフローチャートである。 歩行者を検出するために用いる検出識別辞書を複数の識別辞書の評価結果に基づいて変更する検出識別辞書選択処理のフローチャートである。 歩行者の検出精度を向上させることが可能な理由を示した説明図である。 第2実施例の歩行者検出処理の前半部分のフローチャートである。 第2実施例の歩行者検出処理の後半部分のフローチャートである。 第2実施例の歩行者検出処理の中で歩行者を探索する歩行者探索処理のフローチャートである。 識別辞書を学習する識別辞書学習処理のフローチャートである。 識別辞書学習処理の中で識別辞書の設定値を変更する識別辞書設定値変更処理の前半部分のフローチャートである。 識別辞書設定値変更処理の後半部分のフローチャートである。 学習によって得られた識別辞書を新たな識別辞書として登録する学習識別辞書登録処理のフローチャートである。 学習識別辞書登録処理で新たな識別辞書が追加される様子を示した説明図である。 ソナーの代わりにレーダーを搭載した変形例の車両1を例示した説明図である。
以下では、上述した本願発明の内容を明確にするために実施例について説明する。
A.装置構成 :
図1には、歩行者検出装置100を搭載した車両1が示されている。図示されるように車両1には、歩行者検出装置100に加えて、車両1の前方を撮影する車載カメラ10と、複数のソナー20〜23とが搭載されている。
車載カメラ10は車両1から前方の方向を所定の撮影周期で撮影して、得られた撮影画像を歩行者検出装置100に出力する。
また、車両1の前方に向かって左側の正面には、前方に向けて音波を放射するソナー20が搭載されており、ソナー20よりも左外側の位置には、前方斜め左方向に向けて音波を放射するソナー22が搭載されている。同様に、車両1の前方に向かって右側の正面にも、前方に向けて音波を放射するソナー21が搭載されており、ソナー21よりも右外側の位置には、前方斜め右方向に向けて音波を放射するソナー23が搭載されている。これらソナー20〜23は、放射した音波が歩行者などに当たって戻ってきた反射波を検出することにより、歩行者などを検出することができる。そして、得られた検出結果を歩行者検出装置100に出力する。上述したように、それぞれのソナー20〜23は異なる方向に向けて音波を放射しているから、歩行者検出装置100は、何れのソナー20〜23で歩行者などを検出したかによって、歩行者などの大まかな位置を検出することができる。
尚、図1では、車載カメラ10は車両1から前方を撮影する向きに搭載され、ソナー20〜23は車両1の前方に搭載されているものとしているが、車載カメラ10を車両1から後方を撮影する向きに搭載し、ソナー20〜23を車両1の後方に搭載してもよい。あるいは、車載カメラ10を車両1から側方を撮影する向きに搭載し、ソナー20〜23を車両1の側方に搭載してもよい。更には、これらを組み合わせて、例えば、前方を撮影する車載カメラと、後方を撮影する車載カメラと、車両1の前方および斜め前方に音波を放射する複数のソナーと、後方および斜め後方に音波を放射する複数のソナーとを搭載してもよい。
また、図1では、ソナー20〜23を用いて歩行者などを検出するものとしているが、これに限らずレーダーを用いて歩行者などを検出してもよい。
図2には、本実施例の歩行者検出装置100の大まかな内部構成が示されている。図示されるように本実施例の歩行者検出装置100は、識別辞書記憶部101と、検出結果蓄積部102と、歩行者位置蓄積部103と、識別辞書選択部104と、歩行者検出部105と、検出精度評価部106と、再選択要否判断部107とを備えている。
尚、これら7つの「部」は、撮影画像に写った歩行者を検出する歩行者検出装置100の機能に着目して、歩行者検出装置100の内部を便宜的に分類した抽象的な概念であり、歩行者検出装置100が物理的に7つの部分に区分されることを表すものではない。従って、これらの「部」は、CPUで実行されるコンピュータープログラムとして実現することもできるし、LSIやメモリーを含む電子回路として実現することもできるし、更にはこれらを組合せることによって実現することもできる。
以下では、これら7つの「部」の動作について説明するが、その準備として、識別辞書を用いて撮影画像中の歩行者を検出する方法について簡単に説明しておく。
図3には、識別辞書を用いて撮影画像中の歩行者を検出する大まかな方法が示されている。例えば、図3(a)に示したように、歩行者H1〜H3が写った撮影画像が得られたものとする。尚、ここでは理解を容易にするために、歩行者H1〜H3は、同じ大きさで写っているものとする。
それぞれの歩行者H1〜H3の外形形状は異なっているが、歩行者である以上は、外形形状が共通する部分も存在する。例えば、撮影画像中で歩行者H1が写った部分の画像(図3(b)参照)と、歩行者H2が写った部分の画像(図3(c)参照)と、歩行者H3が写った部分の画像(図3(d)参照)とを切り出して、それら画像の輝度の平均を取ったとする。すると、図3(e)に模式的に示したように、ぼんやりとした人型の輝度分布が得られるものと考えられる。そこで、撮影画像中で、このような輝度分布をしている箇所を探索して、そのような箇所が見つかったら、その箇所には歩行者が写っている可能性が高いと思われる。従って、このような輝度分布は、撮影画像に写った歩行者の形状が備える特徴と考えて良い。
尚、ここでは、歩行者の形状が備える特徴の例として、最も理解が容易な輝度分布に着目した特徴について説明したが、歩行者の形状が備える特徴は、これに限られるものではない。実際には、様々な方法によって抽出された様々な種類の特徴が提案されており、何れの特徴を用いても構わない。
続いて、得られた特徴(ここでは、人型の輝度分布)を数値化する。数値化する方法は、特徴を数値によって表すことが可能でありさえすれば、どのような方法を適用しても良い。また、特徴を数値によって表すには複数個の数値が必要となるから、特徴を数値化することによって、図3(f)に示すように、複数個の数値を得ることができる。
このような一組の数値(ここでは、人型の輝度分布を表す複数個の数値)が「識別辞書」である。また、識別辞書がN個の数値によって形成されているとき、その識別辞書はN次元の識別辞書と呼ばれる。更に、特徴を表す数値の1つ1つは「特徴量」と呼ばれる。
そこで、識別辞書に含まれる複数個の特徴量を座標軸に取った空間(特徴量空間)を考える。識別辞書がN次元である場合、特徴量もN個となり、座標軸もN本となるので、N次元の特徴量空間となる。特徴量空間を用いれば、特徴量空間の座標点として識別辞書を表すことができる。
ここで、図3(e)に示した人型の輝度分布の画像を識別辞書に変換した方法と同様にして、図3(b)に示した歩行者H1が写った画像を数値化したとする。図3(b)に示した画像にも歩行者H1が写っているから、得られた複数の特徴量は、識別辞書と似ている筈である。尚、以下では、特徴量を抽出する画像を「対象画像」と称することにする。
従って、特徴量空間では、図3(b)の画像(対象画像G1)から得られた複数の特徴量に対応する座標点は、識別辞書を表す座標点の近くに存在する筈である。
また、図3(c)に示した画像(対象画像G2)についても同様に、対象画像G2には歩行者H2が写っているから、対象画像G2から得られた複数の特徴量に対応する座標点は、特徴量空間では、識別辞書を表す座標点の近くに存在する筈である。図3(d)に示した対象画像G3についても同様に、対象画像G3に対応する座標点は、識別辞書の座標点の近くに存在すると思われる。
このように、対象画像に歩行者が写っていれば、特徴量空間でその対象画像に対応する座標点は、識別辞書を表す座標点の近くにあると考えて良い。
これに対して、図4(a)に例示したように、歩行者とは無関係の対象画像G4の場合は、対象画像G4には歩行者が写っていないので、特徴量空間で対象画像G4に対応する座標点は、識別辞書を表す座標点から離れた位置にある筈である。
また、図4(b)に例示したように、歩行者の一部が写ってはいるが、歩行者が写っているとは言えない対象画像G5の場合も、特徴量空間で対象画像G5に対応する座標点は、識別辞書を表す座標点から離れた位置にある筈である。
このように、対象画像に歩行者が写っていなければ、特徴量空間でその対象画像に対応する座標点は、識別辞書を表す座標点から離れた位置にあると考えて良い。
以上のことから、対象画像を特徴量空間の座標点に変換した時に、その座標点が識別辞書の近くに存在するか否かによって、対象画像に歩行者が写っているか否かを判断することができる。
図5には、識別辞書が3次元であるものとして、対象画像に歩行者が写っているか否かを判断する様子が示されている。例えば、識別辞書D1が、d1x、d1y、d1zの3つの数値によって構成されていた場合、歩行者を含んだ対象画像に対応する座標点は、識別辞書D1の周囲に集まった状態となる。図中に破線で囲った範囲は、このような歩行者を含んだ対象画像の座標点の存在範囲を示している。従って、対象画像G1や、対象画像G2、対象画像G3に対応する座標点も、破線で囲った範囲内に存在する。
また、歩行者を含まない対象画像G4や対象画像G5に対応する座標点は、破線で囲った範囲の外側に存在する。
従って、特徴量空間での識別辞書(正確には、識別辞書の座標点を表すベクトル)と、対象画像(正確には、対象画像の座標点を表すベクトル)との内積値を算出すれば、対象画像に歩行者が写っているか否かを判断することができる。すなわち、対象画像の歩行者が写っていれば、対象画像の座標点は識別辞書の近くに存在するから、内積値は大きくなる。逆に、対象画像の歩行者が写っていなければ、対象画像の座標点は識別辞書から離れた位置に存在するから、内積値は小さくなる。
結局、特徴量空間での識別辞書と対象画像との内積値が、所定閾値よりも大きければ歩行者が写っていると判断し、所定閾値よりも小さければ歩行者は写っていないと判断することができる。
以上が、識別辞書を用いて歩行者を検出する方法の概要である。もっとも、このような方法は、環境要因の変化によって歩行者の検出精度が低下する虞がある。すなわち、歩行者の画像を撮影した時の天気や、時刻、季節などの影響によって、歩行者が写る状態も少しずつ変化するから、特徴量空間での座標点の分布範囲も変化する。
図6には、環境要因が様々に変化することで、歩行者が写った対象画像の存在範囲が変化する様子が概念的に示されている。当初は、図中に破線で示した存在範囲であったにも拘わらず、その後、環境要因が変化することによって存在範囲が変化し、結局、様々な環境要因の変化を考慮すると、図中に一点鎖線で示した範囲まで、歩行者が写った対象画像の存在範囲が広がる。そして、このように存在範囲が広がると、歩行者が写っているにも拘わらず識別辞書D1との内積値が小さな値となって、歩行者が写っていない画像(例えば図5の対象画像G5)と区別できない事態が生じる。
そこで、本実施例の歩行者検出装置100では、環境要因の影響を受けることなく高い検出精度で歩行者を検出可能とするために、図2に示した7つの「部」を備えている。
7つの「部」の中の識別辞書記憶部101は、複数種類の識別辞書を記憶している。図7には、識別辞書記憶部101に記憶された5種類の識別辞書D1〜D5が例示されている。尚、図7では、図示の関係から識別辞書の次元が3次元であるものとして表示しているが、識別辞書の次元は3次元以上とすることができる。また、識別辞書記憶部101に記憶されている識別辞書の種類についても、5種類より多くても良く、あるいは5種類より少なくても良い。
検出結果蓄積部102は、車載カメラ10からの撮影画像を受け取ると、識別辞書記憶部101に記憶されている複数種類の識別辞書を用いて、撮影画像中の歩行者を検出し、識別辞書毎に、歩行者の検出結果を蓄積する。撮影画像中の歩行者を検出する処理の詳細については後述する。
歩行者位置蓄積部103は、ソナー20〜23を用いて歩行者を検出することにより、歩行者が検出された位置(歩行者位置)を蓄積する。図1を用いて前述したように、ソナー20〜23は、それぞれ異なる方向に存在する歩行者などを検出している。このため歩行者位置蓄積部103は、何れのソナー20〜23が歩行者を検出したかに基づいて、歩行者の大まかな位置を検出することが可能であり、検出した歩行者位置を蓄積する。
識別辞書選択部104は、ソナー20〜23による歩行者位置の検出結果を歩行者位置蓄積部103から読み出して、検出結果蓄積部102に識別辞書毎に蓄積された歩行者の検出結果と比較する。そして、歩行者の検出結果が、ソナー20〜23による歩行者位置と最も整合する識別辞書を、検出識別辞書として選択する。検出識別辞書を選択する処理の詳細についても後述する。
歩行者検出部105は、車載カメラ10から撮影画像を受け取ると、識別辞書選択部104で選択された識別辞書(検出識別辞書)を用いて、撮影画像中の歩行者を検出する。
検出精度評価部106は、歩行者検出部105が検出識別辞書を用いて検出した歩行者の検出結果と、ソナー20〜23で検出した歩行者位置とを受け取って、検出識別辞書の検出精度を算出する。検出識別辞書の検出精度を算出する処理については後述する。
再選択要否判断部107は、検出精度評価部106で算出した検出精度に基づいて、検出識別辞書の再選択の要否を判断する。そして、再選択を要すると判断した場合は、その旨を検出結果蓄積部102に出力して、歩行者位置蓄積部103で識別辞書毎に歩行者の検出結果の蓄積を再開する。
このようにすることで、本実施例の歩行者検出装置100では、環境要因の影響を受けることなく、撮影画像中の歩行者を高い精度で検出することが可能となる。以下では、本実施例の歩行者検出装置100が歩行者を検出する処理(歩行者検出処理)について詳しく説明する。
B.第1実施例の歩行者検出処理 :
図8および図9には、第1実施例の歩行者検出処理のフローチャートが示されている。この処理は、車載カメラ10が一定周期で画像を撮影する度に、歩行者検出装置100によって実行される。
図示されるように、歩行者検出処理では先ず始めに、車載カメラ10から撮影画像を取得する(S100)。
続いて、ソナー20〜23から歩行者位置を取得して、歩行者位置の検出時刻と共に、歩行者検出装置100内の図示しないメモリーに記憶する(S101)。
前述したようにソナー20〜23は、車両1の前方のそれぞれ異なる範囲で歩行者を検出するから、何れのソナー20〜23で歩行者を検出したかによって、大まかな歩行者位置を知ることができる。例えば、ソナー20で歩行者が検出されたのであれば、車両1の前方左側に歩行者が存在し、ソナー22で歩行者が検出されたのであれば、車両1の左斜め前方に歩行者が存在すると判断することができる。S101では、このようにして得られた大まかな歩行者位置を、検出時刻を示すタイムスタンプと共に蓄積する。
が上述した7つの「部」を用いて実行する。
こうして、撮影画像を取得して(S100)、歩行者位置を蓄積したら(S101)、歩行者を検出するために用いる検出識別辞書を識別辞書記憶部101から読み出す(S102)。検出識別辞書は、識別辞書記憶部101に記憶されている複数種類の識別辞書の中から、後述する方法によって予め選択されている。また、まだ識別辞書が選択されていない場合は、識別辞書記憶部101に記憶されている複数種類の識別辞書の中で標準として設定されている識別辞書(図7に示した例では、識別辞書D1)を読み出す。
そして、読み出した検出識別辞書を用いて、撮影画像中の歩行者を探索する歩行者探索処理を開始する(S200)。詳細については後述するが、歩行者探索処理では、撮影画像の中から歩行者の有無を判断しようとする対象画像を切り出して、対象画像から歩行者の特徴を抽出することにより、対象画像を特徴量空間の座標点に変換する(図5参照)。そして、特徴量空間での検出識別辞書(正確には検出識別辞書の座標点を表すベクトル)と、対象画像(正確には対象画像の座標点を表すベクトル)との内積値を算出することによって、対象画像に歩行者が写っているか否かを判断する。このような操作を撮影画像の全範囲に亘って実行することにより、撮影画像に写った歩行者を探索する。
続いて、検出識別辞書による歩行者の検出精度を算出する検出精度算出処理を開始する(S300)。検出精度算出処理の詳細についても後述するが、この処理では次のようにして、検出識別辞書による検出精度を算出する。先ず、歩行者探索処理(S200)で得られた歩行者の検出結果を、ソナー20〜23から得られた歩行者位置と比較することによって、歩行者が正しく検出されているか否かを判断して、その判断結果を蓄積しておく。そして、判断結果の蓄積数が、検出精度を精度良く算出するために必要な蓄積数(必要数)に達したら、検出識別辞書の検出精度を算出する。
その後、検出識別辞書の検出精度が得られたか否かを判断する(S103)。上述したように、検出識別辞書の検出精度は、歩行者が正しく検出されているか否かの判断結果の蓄積数が必要数に達していなければ算出できない。従って、蓄積数が必要数に達していない場合は、検出精度が未だ算出できていないと判断されることになる(S103:no)。
これに対して、蓄積数が必要数に達していれば、検出精度算出処理(S300)で検出識別辞書の検出精度が算出されているので、検出精度が算出できたと判断する(S103:yes)。
そして、検出精度が算出できた場合は(S103:yes)、検出識別辞書の再選択が必要か否かを判断する(S104)。すなわち、S300で算出された検出識別辞書の検出精度を所定の許容精度と比較して、許容精度を超えている場合は、再選択は不要と判断する(S104:no)。
これに対して、算出した検出精度が許容精度を下回っている場合は、検出識別辞書の再選択が必要と判断する(S104:yes)。
そして、再選択が必要と判断した場合は(S104:yes)、識別辞書評価処理を開始する(S400)。詳細な処理内容については後述するが、識別辞書評価処理(S400)では、識別辞書記憶部101に記憶されている複数種類の識別辞書の中から検出精度が最も高い識別辞書を選択して、新たな検出識別辞書の候補となる識別辞書(候補識別辞書)に設定する。
続いて、候補識別辞書が得られたか否かを判断する(S105)。すなわち、前述したように識別辞書の検出精度を精度良く算出するためには、識別辞書による検出結果を必要数以上蓄積する必要がある。従って、必要な蓄積数に達していない場合は、識別辞書毎の検出精度を算出することができず、候補識別辞書を設定することができない。そこで、このような場合は、候補識別辞書が得られていないと判断する(S105:no)。
これに対して、候補識別辞書が得られたと判断した場合は(S105:yes)、候補識別辞書の検出精度と、検出識別辞書の検出精度とを比較して、候補識別辞書の検出精度の方が高い場合には、候補識別辞書を新たな検出識別辞書として選択する検出識別辞書選択処理を開始する(S500)。検出識別辞書選択処理の詳細な処理内容についても後述する。
尚、候補識別辞書が得られていないと判断した場合は(S105:no)、検出識別辞書選択処理(S500)は省略する。また、そもそも、検出識別辞書の検出精度が算出されていないと判断した場合(S103:no)や、検出識別辞書の再選択は不要と判断した場合(S104:no)は、識別辞書評価処理(S400)および検出識別辞書選択処理(S500)を省略する。
その後、歩行者の検出を終了するか否かを判断する(図9のS106)。そして、歩行者の検出を終了しないと判断した場合は(S106:no)、処理の先頭に戻って、車載カメラ10から撮影画像を取得した後(図8のS100)、上述した一連の処理(S101〜S106)を開始する。
これに対して、歩行者の検出を終了すると判断した場合は(S106:yes)、図8および図9に示した第1実施例の歩行者検出処理を終了する。
B−1.歩行者探索処理 :
図10には、撮影画像中で歩行者が写っている位置を探索する歩行者探索処理(S200)のフローチャートが示されている。前述したようにこの処理は、第1実施例の歩行者検出処理の中で歩行者検出装置100によって実施される。
図示されるように、歩行者探索処理では先ず始めに、歩行者を探索する対象となる対象画像を撮影画像中に設定する(S201)。撮影画像中で対象画像を設定する位置は任意の位置とすることができるが、撮影画像の全範囲に隈無く対象画像を設定するためには、始めは撮影画像の隅の位置に設定した対象画像を、少しずつ位置をずらして設定することが望ましい。
次に、撮影画像中に設定した対象画像を切り出して、対象画像から歩行者の特徴量を抽出する(S202)。こうすることによって、対象画像は、図5を用いて前述した特徴量空間の座標点に変換される。
そして、特徴量空間での対象画像の特徴量が示す座標点と、識別辞書に対応する座標点との内積値を算出する(S203)。尚、ここで、内積値の算出に用いる識別辞書は、対象画像に歩行者が写っているか否かを判断するために用いる識別辞書である。従って、検出識別辞書を用いて歩行者を検出するために歩行者探索処理(S200)を実施しているのであれば、検出識別辞書が、ここで言う識別辞書に該当する。これに対して、後述する識別辞書評価処理(S400)の中で複数の識別辞書を評価している場合には、識別辞書記憶部101に記憶された個々の識別辞書が、ここで言う識別辞書に該当する。
その後、算出した内積値が、所定の閾値よりも大きいか否かを判断する(S204)。そして、内積値が閾値よりも大きい場合は(S204:yes)、対象画像に歩行者が写っていると判断することができるので、撮影画像中に対象画像を設定した位置を、歩行者が検出された位置として、歩行者検出装置100内の図示しないメモリーに記憶する(S205)。
これに対して、内積値が閾値よりも大きくなかった場合は(S204:no)、対象画像に歩行者が写っていないと判断することができるので、撮影画像中に対象画像を設定した位置は記憶しない。
続いて、撮影画像中で歩行者が検出された位置が、撮影画像の下辺から所定距離以内にあるか否かを判断する(S206)。このような判断を行うのは、次のような理由による。
後述する検出精度算出処理では、歩行者探索処理(S200)で検出された歩行者の位置と、ソナー20〜23で検出された歩行者位置とを比較することによって、歩行者の検出精度を算出する。ここで、歩行者探索処理(S200)では撮影画像に歩行者が写っていれば、歩行者を検出できるのに対して、ソナー20〜23で歩行者を検出可能な距離には限界があり、所定距離以上、遠くに存在する歩行者はソナー20〜23では検出することができない。
そこで、撮影画像中では、遠くの歩行者ほど画像の上部に写ることに着目して、撮影画像に写った歩行者までの大まかな距離を推定する。すなわち、撮影画像中で画像の下辺から歩行者が検出された位置までの距離を取得する。この距離は、歩行者までの大まかな距離に対応する。そこで、撮影画像の下辺からの距離が所定距離以内であれば(S206:yes)、その歩行者はソナー20〜23でも検出可能な距離にいると判断できるので、歩行者が検出された位置(撮影画像中で対象画像を設定した位置)を、検出精度算出用の検出結果として記憶する(S207)。
これに対して、撮影画像の下辺からの距離が所定距離以内に無かった場合は(S206:no)、検出精度算出用の検出結果は記憶しない。
そして、撮影画像中の全範囲に対象画像を設定して歩行者を探索したか否かを判断する(S208)。その結果、歩行者を探索していない箇所が残っている場合は(S208:no)、処理の先頭に戻って、撮影画像中の新たな位置に探索画像を設定した後(S201)、上述した続く一連の処理(S202〜S208)を開始する。
このような処理を繰り返すことによって、撮影画像中の全範囲を探索したと判断したら(S208:yes)、図10に示す第1実施例の歩行者探索処理を終了して、図8の歩行者検出処理に復帰する。そして、前述したように歩行者検出処理では、歩行者探索処理から復帰すると、検出精度算出処理(S300)を開始する。
B−2.検出精度算出処理 :
図11には、第1実施例の歩行者検出処理の中で実施される検出精度算出処理のフローチャートが示されている。
図示されるように検出精度算出処理(S300)では、上述した歩行者探索処理(S200)で検出精度算出用に記憶した歩行者の検出結果(検出識別辞書を用いて歩行者が検出された位置)を読み出す(S301)。また、歩行者探索処理(S200)で、検出精度算出用に複数の検出結果が記憶されていた場合には、全ての検出結果を読み出してやる。
次に、ソナー20〜23を用いて検出した歩行者位置を読み出す(S302)。図8および図9を用いて前述したように、歩行者検出処理では、車載カメラ10から撮影画像を取得すると(S100)、続いて、ソナー20〜23を用いて検出した歩行者位置を、タイムスタンプと共に、歩行者検出装置100内のメモリーに記憶している(S101)。そこで、検出精度算出処理のS302では、タイムスタンプの情報に基づいて、撮影画像を取得した時点に対応する歩行者位置を読み出す。また、該当する歩行者位置が複数記憶されている場合には、全ての歩行者位置を読み出してやる。
そして、撮影画像から得られた歩行者の検出結果(S301で読み出した検出結果)と、ソナー20〜23から得られた歩行者位置(S302で読み出した歩行者位置)とを照合することによって、正検知の歩行者を検出して、検出した歩行者数(正検知数)を蓄積する(S303)。正検知の歩行者を検出するには、撮影画像中で歩行者が検出された位置のそれぞれについて、ソナー20〜23でも対応する位置で歩行者が検出されているか否かを判断する。
例えば、撮影画像中で歩行者が検出された検出結果として、図12に示すように検出位置P1および検出位置P2が記憶されていたとする。また、ソナー20〜23によって検出された歩行者位置としては、図13に示すように歩行者位置S1および歩行者位置S2が記憶されていたとする。この場合、図12の検出位置P1については、ソナー20〜23でも歩行者が検出されているので(図13の歩行者位置S1)、正検知と判断することができる。これに対して、図12の検出位置P2については、ソナー20〜23では歩行者が検出されていないので、誤検知と判断する。従って、図12および図13に示した例では、正検知数は1となる。
そして、図11に示した検出精度算出処理のS303では、こうして検出した正検知数を、検出精度を算出しようとする識別辞書(ここでは検出識別辞書)について既に得られた正検知数に加算することによって、検出識別辞書の正検知数を蓄積していく。
正検知数の蓄積に続いて、誤検知した歩行者の数(誤検知数)を蓄積する(S304)。誤検知した歩行者は、撮影画像から検出された歩行者(S301で読み出した歩行者)の中から、正検知の歩行者(S303で正検知と判定された歩行者)を除いた歩行者となる。上述の図12および図13に示した例を用いて説明すると、図12の検出位置P2が、ソナー20〜23では歩行者が検出されていないので誤検知と判断される。また、この場合の誤検知数は1となる。
そして、図11に示した検出精度算出処理のS304では、こうして検出した誤検知数を、検出識別辞書について既に得られた誤検知数に加算することによって、誤検知数を蓄積していく。
正検知数および誤検知数の蓄積に続いて、未検知の歩行者の数(未検知数)を蓄積する(S305)。ここで、未検知の歩行者とは、ソナー20〜23では検出されているにも拘わらず、撮影画像中では検出されていない歩行者である。従って、未検知の歩行者を検出するには、S302で読み出した歩行者位置に着目して、撮影画像中の該当する位置が、歩行者が検出された位置としてS301で読み出されているか否かを調べればよい。
例えば、図13の歩行者位置S1については、撮影画像中でも歩行者が検出されているので(図12の検出位置P1)、未検知ではないと判断することができる。これに対して、図13の歩行者位置S2については、撮影画像中では歩行者が検出されていないので、未検知と判断する。従って、図12および図13に示した例では、未検知数は1となる。
そして、図11に示した検出精度算出処理のS305では、こうして検出した未検知数を、検出識別辞書について既に得られた未検知数に加算することによって、未検知数を蓄積していく。
こうして、正検知数と誤検知数と未検知数とを蓄積したら(S303〜S305)、正検知数と誤検知数と未検知数とを合計することによって合計検知数を算出する(S306)。そして算出した合計検知数が、検出精度を算出するための必要数に達したか否かを判断する(S307)。
十分な精度で検出精度を算出するためには、必要数は十分に大きな数であることが望ましい。その一方で、必要数があまりに大きくなると、稀にしか検出精度を算出できなくなる。こうした観点から、必要数は、数千〜数万の範囲(代表的には、1万程度)の数に設定される。
その結果、合計検知数が必要数に達していない場合は(S307:no)、検出精度を算出することなく、図11の検出精度算出処理(S300)を終了して、図8の歩行者検出処理に復帰する。
そして、歩行者検出処理では、検出精度が得られていないと判断されて(図8のS103:no)、歩行者検出を終了するか否かが判断される(S106)。その結果、歩行者検出を終了しないと判断した場合は(S106:no)、再び先頭から歩行者検出処理が実行され、その中で検出精度算出処理(S300)が開始されて、検出識別辞書についての正検知数と誤検知数と未検知数とが蓄積される(図11のS303〜S305)。
こうした処理を繰り返すうちに、やがて正検知数と誤検知数と未検知数との合計検知数が必要数に達して、S307では「yes」と判断されるので、蓄積した正検知数を合計検知数で除算することによって検出精度を算出する(S308)。
また、検出精度が算出できたら、蓄積していた正検知数、誤検知数、未検知数は何れも初期化した後(S309)、図11の検出精度算出処理(S300)を終了して、図8の歩行者検出処理に復帰する。
そして、歩行者検出処理では、検出精度が得られたと判断され(図8のS103:yes)、続いて、その検出精度が許容精度を下回っている場合は、検出識別辞書の再選択が必要と判断されて(S104:yes)、識別辞書評価処理(S400)が開始される。
B−3.識別辞書評価処理 :
図14には、識別辞書評価処理(S400)のフローチャートが示されている。
図示されるように、識別辞書評価処理(S400)を開始すると、先ず始めに、ソナー20〜23によって検出されて、タイムスタンプと共にメモリーに記憶されていた歩行者位置を読み出す(S401)。
続いて、識別辞書記憶部101に記憶されている複数種類の識別辞書の中から、検出識別辞書以外の識別辞書を1つ選択し(S402)、その識別辞書を用いて歩行者探索処理を開始する(S200)。図8および図9を用いて前述した歩行者検出処理では、検出識別辞書が選択されて(S102)、検出識別辞書に対して歩行者探索処理(S200)が開始されたが、図14の識別辞書評価処理(S400)では、S402で選択された識別辞書に対して歩行者探索処理(S200)が開始されることになる。歩行者探索処理(S200)の詳細な処理については、図10を用いて説明済みなので、ここでは説明は省略する。
選択した識別辞書を用いて撮影画像中の歩行者を探索したら(S200)、歩行者探索処理(S200)で検出精度算出用に記憶した歩行者の検出結果を用いて、識別辞書の正検知数および誤検知数を蓄積する(S403、S404)。識別辞書の正検知数および誤検知数を蓄積する方法については、図11〜図13を用いて前述した検出識別辞書の正検知数および誤検知数を蓄積する方法と同様なので、ここでは説明を省略する。
そして、識別辞書記憶部101に記憶された全ての識別辞書(検出識別辞書は除く)を選択したか否かを判断する(S405)。そして、まだ選択していない識別辞書が残っていた場合は(S405:no)、S402に戻って新たな識別辞書を選択した後、その識別辞書に対して、上述した処理(S200、S403、S404)を行う。
こうした処理を繰り返した結果、検出識別辞書を除く全ての識別辞書を選択したと判断したら(S405:yes)、今度は、蓄積した正検知数および誤検知数を識別辞書毎に合計することによって、識別辞書毎の合計検知数を算出する(S406)。
そして、識別辞書毎に算出した合計検知数の中で最小の合計検知数が、検知精度を算出するための必要数に達しているか否かを判断する(S407)。
その結果、最小の合計検知数が必要数に達していた場合は(S407:yes)、識別辞書毎の正検知数を合計検知数で除算することによって、識別辞書毎に検出精度を算出する(S408)。そして、識別辞書毎に得られた検出精度の中で検知精度が最も高い識別辞書を、候補識別辞書として選択した後(S409)、図14の識別辞書評価処理を終了する。
これに対して、S406で算出した合計検知数の中の最小の合計検知数が、必要数に達していないと判断した場合は(S407:no)、候補識別辞書を選択することなく、そのまま図14の識別辞書評価処理を終了して、図8の歩行者検出処理に復帰する。
そして、図8を用いて前述したように歩行者検出処理では、識別辞書評価処理(S400)から復帰すると、候補識別辞書が得られたか否かを判断して(S105)、候補識別辞書が得られている場合は(S105:yes)、後述する検出識別辞書選択処理(S500)を開始する。これに対して、候補識別辞書が得られていない場合は(S105:no)、検出識別辞書選択処理(S500)は省略する。
B−4.検出識別辞書選択処理 :
図15には、検出識別辞書選択処理のフローチャートが示されている。前述したように、この処理は、図8の歩行者検出処理の中で検出識別辞書の再選択が必要と判断され(S104:yes)、候補識別辞書が得られた場合(S105:yes)に、歩行者検出装置100によって開始される。
図示されるように、検出識別辞書選択処理(S500)を開始すると先ず始めに、現状の検出識別辞書の検出精度を取得する(S501)。検出識別辞書の検出精度は、図11を用いて前述した検出精度算出処理(S300)の中で求められて、歩行者検出装置100内のメモリーに記憶されている。
続いて、候補識別辞書の検出精度を取得する(S502)。候補識別辞書の検出精度は、図14を用いて前述した識別辞書評価処理(S400)の中で求められて、歩行者検出装置100内のメモリーに記憶されている。
尚、本実施例では、検出識別辞書の検出精度は既に検出精度算出処理(S300)で求められているので、識別辞書評価処理(S400)では、検出識別辞書以外の識別辞書について検出精度を算出するものとして説明した。このため、図15の検出識別辞書選択処理では、検出精度算出処理(S300)で求めておいた検出識別辞書の検出精度を取得し(S501)、識別辞書評価処理(S400)で求めた候補識別辞書の検出精度を取得している(S502)。
しかし、識別辞書評価処理(S400)で他の識別辞書の検出精度を算出する際に、検出識別辞書の検出精度も算出してもよい。そして、検出識別辞書を除いた識別辞書の中で検出精度が最も高い識別辞書を、候補識別辞書として選択しても良い。この場合は、図15の検出識別辞書選択処理では、識別辞書評価処理(S400)で求めた検出識別辞書および候補識別辞書の検出精度を、それぞれS501およびS502で取得する。こうすれば、検出識別辞書の検出精度と、候補識別辞書の検出精度とを、同じ撮影画像から算出することができるので、2つの識別辞書の検出精度を正確に比較することができる。
もっとも、前述したように識別辞書の検出精度は、十分な数の検知結果を用いて算出するので、検出精度の算出に用いた撮影画像の違いが実用上の問題となることはない。従って、検出識別辞書の検出精度については、検出精度算出処理(S300)で既に求めた検出精度を流用することとし、識別辞書評価処理(S400)では、検出識別辞書以外の識別辞書の検出精度を算出することによって、処理負荷を軽減することが可能となる。
こうして、検出識別辞書および候補識別辞書の検出精度を取得したら(S501、S502)、候補識別辞書の検出精度が、検出識別辞書の検出精度よりも高いか否かを判断する(S503)。
その結果、候補識別辞書の検出精度の方が、検出識別辞書の検出精度よりも高いと判断した場合は(S503:yes)、候補識別辞書を新たな検出識別辞書として設定する(S504)。この結果、候補識別辞書が、それ以降の歩行者検出処理では検出識別辞書として使用されることになる。
これに対して、検出識別辞書の検出精度の方が、候補識別辞書の検出精度よりも高かった場合は(S503:no)、候補識別辞書を検出識別辞書として設定することはない。この結果、現状の検出識別辞書がそのまま使用されることになる。
以上のようにして、それ以降に使用する検出識別辞書が選択されたら、その検出識別辞書や候補識別辞書を含めて、各識別辞書について求めた検出精度を初期化しておく(S505)。そして、図15の検出識別辞書選択処理(S500)を終了して、図8の歩行者検出処理に復帰する。
図8および図9を用いて前述したように、歩行者検出処理では、検出識別辞書選択処理(S500)から復帰すると、歩行者検出を終了するか否かを判断する(図9のS106)。
その結果、歩行者検出を終了しないと判断した場合は(S106:no)、歩行者検出処理の先頭に戻って、車載カメラ10から新たな撮影画像を取得し(図8のS100)、上述した続く一連の処理を開始する。
これに対して、歩行者検出を終了すると判断した場合は(S106:yes)、図8および図9に示した第1実施例の歩行者検出処理を終了する。
第1実施例の歩行者検出装置100は、上述した歩行者検出処理によって撮影画像中の歩行者を検出しているので、環境要因の影響を受けることなく、高い検出精度で歩行者を検出することが可能である。これは次のような理由による。
先ず、図6を用いて前述したように、歩行者が写った対象画像の特徴量空間での存在範囲が、破線で囲った狭い範囲に存在している場合は、歩行者を精度良く検出することができる。すなわち、適切な識別辞書D1を設定しておくことで、歩行者が写った何れの対象画像についても識別辞書D1との内積値が大きな値となるようにすることができる。このため、対象画像に歩行者が写っていれば歩行者を確実に検出することができ、また、歩行者が写っていない対象画像を、歩行者が写っていると誤検出することもない。
これに対して、様々な環境要因の影響で、歩行者が写った対象画像の存在範囲が、一点鎖線で囲った範囲に広がったとする。すると、どのような識別辞書D1を設定しても、歩行者が写っているにも拘わらず、識別辞書D1との内積値が十分には大きな値とならない対象画像が生じるようになる。そして、このような対象画像の歩行者を検出しようとすると、歩行者が写っていない対象画像(例えば、図5中の対象画像G4や対象画像G5)との区別が困難となるので誤検出が増加する。これを避けるために、歩行者が写っているか否かの判断基準となる内積値の閾値を高くすると、対象画像に歩行者が写っているにも拘わらず、歩行者を検出できない場合が増加するので、検出率が低下する。
ここで、従来は、環境要因の変化による影響で、図6中の破線で囲った範囲が一点鎖線で囲った範囲に広がるものとして考えられてきた。しかし、様々な環境要因をひとまとめに見るのではなく、画像撮影時の個々の環境に着目すれば、環境が違ったからといって、歩行者が写った対象画像の存在範囲が大きく広がるとは考えにくい。従って、実際には、環境要因の変化による影響は、歩行者が写った対象画像の存在範囲を広げるものではなく、存在範囲を移動させるものであると考えられる。
すなわち、図16に概念的に示したように、画像撮影時の環境が環境Aであった場合は、歩行者が写った対象画像の存在範囲は、図中に破線で囲った範囲となるが、環境Bでは、一点鎖線で囲った範囲に移動する。また、環境Cでは、二点鎖線で囲った範囲に移動する。そして、これら様々な環境をひとまとめにすると、図6中に一点鎖線で示したように、歩行者が写った対象画像の存在範囲が広がるものと考えられる。
従って、図16に示したように、環境Bで得られた撮影画像については、識別辞書D5を用いて歩行者を検出すればよい。環境Bで得られた撮影画像であれば、歩行者が写った対象画像は、図中に一点鎖線で囲った範囲内に存在するから、歩行者が写った何れの対象画像についても識別辞書D5との内積値が大きな値となる。このため、対象画像に写った歩行者を確実に検出することができ、また、歩行者が写っていない対象画像を、歩行者が写っていると誤検出することもない。
同様にして、環境Cで得られた撮影画像については、識別辞書D3を用いて歩行者を検出すればよい。更に、環境Aから環境Bに変化する途中であれば、識別辞書D4を用いて歩行者を検出し、環境Aから環境Cに変化する途中であれば、識別辞書D2を用いて歩行者を検出すればよい。
前述したように、第1実施例の歩行者検出処理では、複数種類の識別辞書を評価して(図8のS400)、検出識別辞書を変更することができるから(S500)、環境の変化に応じて適切な識別辞書を選択することができる。その結果、環境要因の影響を受けることなく、高い検出精度で歩行者を検出することが可能となる。
C.第2実施例の歩行者検出処理 :
上述した第1実施例の歩行者検出処理では、識別辞書記憶部101に記憶されている複数種類の識別辞書は予め決まっており、画像撮影時の環境が変化すると、既定の識別辞書の中から適切な識別辞書を選択するものとして説明した。
しかし、学習によって新たな識別辞書を生成して、識別辞書記憶部101に記憶してもよい。そして、学習によって追加された識別辞書を含む複数種類の識別辞書の中から、適切な識別辞書を選択するものとしても良い。
図17および図18には、第2実施例の歩行者検出処理のフローチャートが示されている。この処理も、図8および図9を用いて前述した第1実施例の歩行者検出処理と同様に、車載カメラ10が一定周期で画像を撮影する度に、歩行者検出装置100によって実行される。
図示されるように、第2実施例の歩行者検出処理を開始すると、車載カメラ10から撮影画像を取得した後(S150)、ソナー20〜23から歩行者位置を取得して、歩行者位置の検出時刻(タイムスタンプ)と共に、歩行者検出装置100内の図示しないメモリーに記憶する(S151)。
続いて、検出識別辞書を識別辞書記憶部101から読み出して(S152)、第2実施例の歩行者探索処理を開始する(S250)。第2実施例の歩行者探索処理(S250)は、図10を用いて前述した第1実施例の歩行者探索処理(S200)に準じた処理であるが、第2実施例の歩行者探索処理(S250)では、歩行者が検出された場合に、歩行者が検出された対象画像の位置だけでなく、対象画像から抽出された特徴量を記憶する。第2実施例の歩行者探索処理(S250)の詳細な処理内容については後述する。
その後、第2実施例の歩行者検出処理では、識別辞書を学習する識別辞書学習処理(S600)を開始する。詳細については後述するが、識別辞書の学習に際しては、歩行者探索処理(S250)で得られた歩行者の検出結果(すなわち、対象画像を設定した位置と、対象画像から抽出した特徴量)を使用する。
続いて、識別辞書学習処理(S600)で新たな識別辞書が学習されたか否かを判断する(S153)。後述するように、識別辞書の学習には、ある程度の数の歩行者の検出結果が蓄積されている必要があるから、蓄積された検出結果が足らない場合は、識別辞書学習処理(S600)で新たな識別辞書を学習することができない。
そこで、新たな識別辞書が学習されたか否かを判断し(S153)、学習されていた場合には(S153:yes)、その新たな識別辞書が、登録に値する識別辞書か否かを判断して、登録に値していれば識別辞書記憶部101に新たな識別辞書として登録する学習識別辞書登録処理(S700)を実施する。学習識別辞書登録処理(S700)の詳細な処理内容については後述する。
続いて、新たな識別辞書が登録されたか否かを判断する(S154)。その結果、新たな識別辞書が登録されていた場合は(S154:yes)、識別辞書評価処理(S400)を開始する。
識別辞書評価処理(S400)の処理内容については、図14を用いて前述した第1実施例の識別辞書評価処理(S400)と同様である。すなわち、識別辞書記憶部101に記憶されている複数種類の識別辞書の中から検出精度が最も高い識別辞書を選択して、新たな検出識別辞書の候補となる識別辞書(候補識別辞書)に設定する。
そして、候補識別辞書が得られたか否かを判断して(図18のS155)、候補識別辞書が得られていれば(S155:yes)、検出識別辞書選択処理(S500)を開始する。検出識別辞書選択処理(S500)の処理内容については、図15を用いて前述した第1実施例の検出識別辞書選択処理(S500)と同様であるため、説明は省略する。
尚、候補識別辞書が得られていない場合は(S155:no)、検出識別辞書選択処理(S500)は省略する。
また、学習された新たな識別辞書が登録されていないと判断した場合は(S154:no)、識別辞書評価処理(S400)および検出識別辞書選択処理(S500)は省略する。
更に、そもそも、新たな識別辞書が学習されていないと判断した場合は(S153:no)、学習識別辞書登録処理(S700)や、識別辞書評価処理(S400)、検出識別辞書選択処理(S500)は省略する。
その後、歩行者の検出を終了するか否かを判断する(S156)。そして、歩行者の検出を終了しないと判断した場合は(S156:no)、処理の先頭に戻って、車載カメラ10から撮影画像を取得した後(図17のS150)、上述した一連の処理(S151〜S156)を開始する。
これに対して、歩行者の検出を終了すると判断した場合は(S156:yes)、図17および図18に示した第2実施例の歩行者検出処理を終了する。
C−1.歩行者探索処理 :
図19には、第2実施例の歩行者探索処理(S250)のフローチャートが示されている。前述したように第2実施例の歩行者探索処理(S250)は、図10を用いて前述した第1実施例の歩行者探索処理に対して、歩行者が検出された場合に、検出された位置(対象画像を設定した位置)だけでなく、その対象画像から抽出した特徴量も記憶する点が異なっている。以下では、第1実施例の歩行者探索処理(S200)との相違点を中心に、第2実施例の歩行者探索処理(S250)について簡単に説明する。
図示されるように、第2実施例の歩行者探索処理でも、先ず始めに、歩行者を探索する対象となる対象画像を撮影画像中に設定し(S251)、対象画像から歩行者の特徴量を抽出する(S252)。
そして、特徴量空間での対象画像の特徴量が示す座標点と、識別辞書に対応する座標点との内積値を算出して(S253)、得られた内積値が、所定の閾値よりも大きいか否かを判断する(S254)。
その結果、内積値が閾値よりも大きかった場合は(S254:yes)、対象画像に歩行者が写っていると判断することができるので、撮影画像中に対象画像を設定した位置を、歩行者の検出結果として記憶する(S255)。
これに対して、内積値が閾値よりも大きくなかった場合は(S254:no)、対象画像に歩行者が写っていないと判断することができるので、検出結果は記憶しない。
続いて、撮影画像中で歩行者が検出された位置が、撮影画像の下辺から所定距離以内にあるか否かを判断する(S256)。すなわち、ソナー20〜23で歩行者を検出可能な距離には限界があり、遠くに存在する歩行者は検出することができない。そこで、撮影画像の下辺から歩行者が検出された位置までの距離に基づいて、その歩行者が、ソナー20〜23でも検出可能な距離にいるか否かを判断する。その結果、撮影画像の下辺からの距離が所定距離以内であれば(S256:yes)、その歩行者はソナー20〜23でも検出可能と判断して、歩行者が検出された位置(撮影画像中で対象画像を設定した位置)と、対象画像から抽出された特徴量とを、識別辞書学習用の検出結果として記憶する(S257)。
これに対して、撮影画像の下辺からの距離が所定距離以内に無かった場合は(S256:no)、識別辞書学習用の検出結果は記憶しない。
そして、撮影画像中の全範囲に対象画像を設定して歩行者を探索したか否かを判断する(S258)。その結果、歩行者を探索していない箇所が残っている場合は(S258:no)、処理の先頭に戻って、撮影画像中の新たな位置に探索画像を設定した後(S251)、上述した続く一連の処理(S252〜S258)を開始する。また、撮影画像中の全範囲を探索したと判断したら(S258:yes)、図19に示す第2実施例の歩行者探索処理を終了して、図17の歩行者検出処理に復帰する。
そして、前述したように第2実施例の歩行者検出処理では、歩行者探索処理から復帰すると、識別辞書学習処理(S600)を開始する。
C−2.識別辞書学習処理 :
図20には、第2実施例の歩行者検出処理の中で実施される識別辞書学習処理のフローチャートが示されている。
図示されるように識別辞書学習処理(S600)では、上述した歩行者探索処理(S250)で識別辞書学習用に記憶した歩行者の検出結果(歩行者が検出された対象画像の位置、および対象画像から抽出された特徴量)を読み出す(S601)。
次に、ソナー20〜23を用いて検出した歩行者位置を読み出す(S602)。そして、図11を用いて前述した検出精度算出処理のS303で、正検知数を蓄積した処理と同様にして、識別辞書学習用の検出結果の中から正検知の検出結果を抽出して(S603)、正検知の対象画像の特徴量(正検知特徴量)を蓄積する(S604)。また、検出精度算出処理のS304で誤検知数を蓄積した処理と同様にして、識別辞書学習用の検出結果の中から誤検知の検出結果を抽出して(S605)、誤検知の対象画像の特徴量(誤検知特徴量)を蓄積する(S606)。
例えば、図12および図13に示した例では、正検知特徴量としては、検出位置P1に設定した対象画像から抽出した特徴量を蓄積し、誤検知特徴量としては、検出位置P2に設定した対象画像から抽出した特徴量を蓄積する。
その後、正検知数または誤検知数の何れか小さい方が、識別辞書の学習に必要な必要数に達したか否かを判断する。すなわち、正検知数は誤検知数よりも大きいか否かを判断し(S607)、正検知数の方が大きかった場合は(S607:yes)、誤検知数が必要蓄積数に達したか否かを判断する(S608)。これに対して、誤検知数の方が大きかった場合は(S607:no)、正検知数が必要蓄積数に達したか否かを判断する(S609)。
その結果、誤検知数または正検知数の何れか小さい方が必要蓄積数に達していた場合には(S608:yes、またはS609:yes)、学習によって新たな識別辞書を生成するために、検出識別辞書の設定値を変更する処理(識別辞書設定値変更処理)を開始する(S650)。詳細な処理内容については後述するが、識別辞書設定値変更処理(S650)では、S603で蓄積した正検知特徴量と、S606で蓄積した誤検知特徴量とを用いて、新たな識別辞書を生成する。
尚、学習によって適切な識別辞書を得るためには、十分な数の正検知特徴量および誤検知特徴量が蓄積されていることが望ましい。その一方で、蓄積に要する時間があまりに長くなると、画像を撮影する環境が変わってしまう可能性が生じる。そこで、必要蓄積数は、数十〜数千の範囲(代表的には、100程度)の数に設定される。
これに対して、誤検知数または正検知数の何れか小さい方が必要数に達していなかった場合には(S608:no、またはS609:no)、学習に必要な数の正検知特徴量および誤検知特徴量が、まだ蓄積されていないと考えられる。そこで、識別辞書設定値変更処理(S650)は開始せずに、図20の識別辞書学習処理を終了して、図17の歩行者検出処理に復帰する。
そして、前述したように歩行者検出処理では、新たな識別辞書が学習されていないと判断されて(図17のS153:no)、歩行者検出を終了するか否かが判断される(図18のS156)。その結果、歩行者検出を終了しない場合は(S156:no)、再び先頭から歩行者検出処理が実行され、その中で識別辞書学習処理(S600)が開始されて、正検知数および正検知特徴量が蓄積され(図20のS603)、誤検知数および誤検知特徴量が蓄積される(S606)。
こうした処理を繰り返すことによって、やがては、正検知数または誤検知数の小さい方が必要蓄積数に達するので(S608:yes、またはS609:yes)、以下に説明する識別辞書設定値変更処理(S650)を開始する(S650)。
C−3.識別辞書設定値変更処理 :
図21および図22には、識別辞書設定値変更処理(S650)のフローチャートが示されている。
識別辞書設定値変更処理(S650)では、先ず始めに、検出識別辞書に設定された特徴量(以下では、対象画像の特徴量と区別するために「設定値」と称する)を1つ選択する(S651)。N次元の識別辞書であれば、N個の設定値を備えているから、その中の1つを選択する。
次に、選択した設定値を、所定量だけ増加させる(S652)。その結果、検出識別辞書に対して少しだけ設定値が異なる新たな識別辞書が生成される。
そして、選択した設定値を増加させることによって、蓄積しておいた正検知特徴量との内積値が増加するか否かを判断する(S653)。この時、蓄積しておいた全ての正検知特徴量との内積値が増加することが望ましいが、所定比率以下(例えば10%以下)であれば、内積値が増加しない正検知特徴量が存在している場合も、正検知特徴量との内積値が増加したと判断することとしても良い。
正検知特徴量との内積値が増加したと判断した場合は(S653:yes)、今度は、その設定値を増加させることによって、誤検知特徴量との内積値が減少するか否かを判断する(S654)。ここでも、蓄積しておいた全ての誤検知特徴量との内積値が減少することが望ましいが、所定比率以下(例えば10%以下)であれば、内積値が減少しない誤検知特徴量が存在している場合も、誤検知特徴量との内積値が減少したと判断することとしても良い。
その結果、選択した設定値を増加させることによって、正検知特徴量との内積値は増加し(S653:yes)、誤検知特徴量との内積値は減少する場合は(S654:yes)、その設定値については所定量だけ増加させるものと判断して、検出識別辞書の全ての設定値を選択したか否かを判断する(図22のS661)。その結果、未選択の設定値が残っている場合は(S661:no)、処理の先頭に戻って、新たな設定値を1つ選択する(図21のS651)。
これに対して、選択した設定値を増加させることで正検知特徴量との内積値は増加したが(S653:yes)、誤検知特徴量との内積値は減少しなかった場合は(S654:no)、その設定値については増加も減少もさせるべきではないと判断できる。そこで、設定値を増加前の値に変更した後(S655)、検出識別辞書の全ての設定値を選択したか否かを判断する(図22のS661)。
一方、選択した設定値を増加させることで、正検知特徴量との内積値が増加しなかった場合は(S653:no)、その設定値については増加させるのではなく、減少させるべきである可能性がある。
そこで、増加させた設定値を増加前の値に戻した後(S656)、今度は、その設定値を所定量だけ減少させる(S657)。
そして、選択した設定値を減少させることによって、蓄積しておいた正検知特徴量との内積値が増加するか否かを判断する(S658)。この時、蓄積しておいた全ての正検知特徴量との内積値が増加することが望ましいが、所定比率以下(例えば10%以下)であれば、内積値が増加しない正検知特徴量が存在している場合も、正検知特徴量との内積値が増加したと判断することとしても良い。
設定値の減少によって正検知特徴量との内積値が増加したと判断した場合は(S658:yes)、今度は、誤検知特徴量との内積値が減少するか否かを判断する(S659)。ここでも、蓄積しておいた全ての誤検知特徴量との内積値が減少することが望ましいが、所定比率以下(例えば10%以下)であれば、内積値が減少しない誤検知特徴量が存在している場合も、誤検知特徴量との内積値が減少したと判断することとしても良い。
その結果、選択した設定値を減少させることによって、正検知特徴量との内積値は増加し(S658:yes)、誤検知特徴量との内積値は減少する場合は(S659:yes)、その設定値については所定量だけ減少させるものと判断して、検出識別辞書の全ての設定値を選択したか否かを判断する(図22のS661)。
これに対して、選択した設定値の減少によって正検知特徴量との内積値は増加したが(S658:yes)、誤検知特徴量との内積値は減少しなかった場合(S659:no)、あるいは、正検知特徴量との内積値が増加しなかった場合は(S658:no)、その設定値については増加も減少もさせるべきではないと判断できる。そこで、その設定値を減少前の値に変更した後(図22のS660)、検出識別辞書の全ての設定値を選択したか否かを判断する(S661)。
このような処理を、検出識別辞書の全ての設定値に対して実行したら、S661では「yes」と判断されるので、図21および図22に示した識別辞書設定値変更処理を終了して、図20の識別辞書学習処理に復帰した後、識別辞書学習処理も終了して、図17および図18に示した第2実施例の歩行者検出処理に復帰する。
そして、前述したように第2実施例の歩行者検出処理では、識別辞書学習処理(S600)から復帰すると、新たな識別辞書が学習されたか否かを判断し(図17のS153)、新たな識別辞書が学習されていた場合には(S153:yes)、学習識別辞書登録処理(S700)を開始する。
尚、上述した識別辞書学習処理によって学習された新たな識別辞書が、本発明の「学習識別辞書」に対応する。
C−4.学習識別辞書登録処理 :
図23には、学習識別辞書登録処理(S700)のフローチャートが示されている。
図示されるように、学習識別辞書登録処理(S700)を開始すると、先ず始めに、既存の識別辞書(識別辞書記憶部101に登録されている識別辞書)を1つ選択する(S701)。この時、使用中の検出識別辞書を選択しても良い。
続いて、選択した識別辞書と、学習によって得られた新たな識別辞書との内積値を算出する(S702)。仮に、選択した識別辞書と、学習によって得られた識別辞書とが、全く異なる識別辞書であれば内積値は小さな値となり、逆に、よく似た識別辞書であれば内積値は大きな値となる筈である。
従って、内積値が所定値よりも小さかった場合は(S703:yes)、学習によって得られた識別辞書は、S701で選択した識別辞書とは大きく異なっていると考えられる。そこでこの場合は、既存の識別辞書を全て選択したか否かを判断する(S704)。選択していない識別辞書が残っている場合は(S704:no)、先頭に戻って新たな識別辞書を選択した後(S701)、その識別辞書との内積値を算出する(S702)。そして、内積値が所定値よりも小さい場合は(S703:yes)、他の識別辞書についても同様な処理を繰り返す。
こうした処理を繰り返すうちに、何れかの識別辞書との内積値が小さくない(S703:no)と判断される場合が起こり得る。この場合は、学習によって得られた識別辞書は、識別辞書記憶部101に記憶されている既存の識別辞書の少なくとも1つと似ていると判断できる。従って、このような識別辞書は、新たな識別辞書として登録する必要はないので、そのまま図23の学習識別辞書登録処理を終了する。
これに対して、全ての識別辞書とも内積値が小さかった場合は(S704:yes)、学習によって得られた識別辞書は、識別辞書記憶部101に記憶されている既存の識別辞書の何れとも似ていないので、新たな識別辞書として登録する価値があると判断できる。
もっとも、既存の識別辞書と似ていない識別辞書が得られる度に、その識別辞書を登録していくと、識別辞書記憶部101に記憶されている識別辞書の種類が増えすぎてしまう可能性がある。記憶されている識別辞書の種類が多くなると、大きなメモリー容量が必要となるだけでなく、歩行者を迅速に検出することも困難となる。この理由は、図17および図18で説明した歩行者検出処理の中で、識別辞書記憶部101に記憶されている複数の識別辞書を評価する識別辞書評価処理(S400)に時間が掛かるようになってしまうためである。
また、識別辞書記憶部101に記憶されている識別辞書が増えると、新たな識別辞書が学習された場合に、その識別辞書が登録する価値があるか否かを判断する処理(図23のS701〜S704)に要する時間も増加する。
そこで、学習によって得られた新たな識別辞書が、既存の何れの識別辞書との内積値も小さい(新たな識別辞書として登録する価値がある)と判断された場合は(S704:yes)、識別辞書記憶部101に記憶されている既存の識別辞書の種類数が、所定の上限数に達したか否かを判断する(S705)。
その結果、既存の識別辞書の種類数が上限数に達していた場合は(S705:yes)、識別辞書記憶部101に記憶されている識別辞書の種類数が増えすぎたと判断できる。そこでこの場合は、識別辞書記憶部101に記憶されている識別辞書の中で、学習によって得られた最も古い識別辞書を削除する(S706)。識別辞書記憶部101の識別辞書の中に、学習によって登録されたのではなく、標準の識別辞書が予め記憶されていた場合には、標準の識別辞書を除いて最も古い識別辞書を削除する。
そして、識別辞書記憶部101に記憶されている識別辞書の種類を1つ減らした上で、
学習によって得られた識別辞書を識別辞書記憶部101に記憶することによって、新たな識別辞書として登録する(S707)。
こうすれば、識別辞書記憶部101に記憶されている識別辞書の種類数を上限数に抑えたまま、車載カメラ10が画像を撮影する環境の変化に応じた最新の識別辞書を記憶することができる。また、古いタイミングで学習された識別辞書は、その識別辞書を学習した時の環境が、現在の環境とは大きく異なってしまい、検出精度が低下している可能性が高いので、削除しても実害は少ないと考えられる。
もちろん、現在の環境が変化して、削除した識別辞書を学習した環境に近付いていく可能性もある。しかし、その場合でも、環境の変化に応じて識別辞書を学習することができるので、最も古いタイミングで学習された識別辞書については、削除することによる実害は僅かと考えられる。
尚、最も古いタイミングで学習した識別辞書は、その辞書を学習した時の環境が現在の環境から大きく異なっているので、検出精度も大きく低下していると考えられる。従って、図23のS706では、学習したタイミングが最も古い識別辞書を削除する代わりに、学習して登録された識別辞書の中で検出精度が最も低い識別辞書を削除するようにしてもよい。識別辞書の検出精度は改めて算出しても良いし、図14を用いて前述したように識別辞書評価処理(S400)の中で算出された検出精度を利用しても良い。
また、ここでは、識別辞書記憶部101に記憶された識別辞書を削除してから(S706)、新たな識別辞書を記憶する(S707)ものとして説明した。しかし、新たな識別辞書を識別辞書記憶部101に記憶した後に(S707)、識別辞書記憶部101の識別辞書を削除することとしてもよい(S706)。
これに対して、識別辞書記憶部101に記憶されている既存の識別辞書の種類数が上限数に達していない場合は(S705:no)、学習によって得られた識別辞書を識別辞書記憶部101に追加して記憶することによって、新たな識別辞書として登録する(S707)。
こうして、学習によって得られた識別辞書を識別辞書記憶部101に登録したら(S707)、図23の学習識別辞書登録処理を終了する。
図24には、上述した学習識別辞書登録処理(S700)によって識別辞書が登録されている様子が概念的に示されている。
例えば、図24(a)に示すように、識別辞書記憶部101に記憶されている識別辞書が1つ(識別辞書D1)の時に、図中に黒丸で表示した識別辞書が学習されたものとする。この場合、学習した識別辞書と、既存の識別辞書D1との内積値は小さくなるので、学習した識別辞書を新たな識別辞書D2として、識別辞書記憶部101に追加する。
次に、図24(b)に示したように、識別辞書D1および識別辞書D2が記憶されている状態で、図中に黒丸で表示した識別辞書が学習されたものとする。この場合、学習した識別辞書は、識別辞書D1との内積値は小さくなるが、識別辞書D2との内積値は小さくならない。そこで、この識別辞書については識別辞書記憶部101に追加しない。
更に、図24(c)に示したように、識別辞書D1および識別辞書D2が記憶されている状態で、図中に黒丸で表示した別の識別辞書が学習されたものとする。この識別辞書については、識別辞書D1との内積値も、識別辞書D2との内積値も小さくなるので、この識別辞書については新たな識別辞書として識別辞書記憶部101に追加する。
このように、図23に示した学習識別辞書登録処理(S700)では、識別辞書学習処理(S600)で新たな識別辞書が学習されると、その識別辞書が既存の識別辞書と似ているか否か(内積値が所定値よりも小さいか否か)を判断して、既存の識別辞書と似ていない場合は、新たな識別辞書として登録する。その結果、第2実施例の歩行者検出処理では、識別辞書学習処理(S600)で、既存の識別辞書と似ていない新たな識別辞書が学習される度に、識別辞書記憶部101に記憶されている識別辞書が増加していくことになる。
こうして、図23の学習識別辞書登録処理(S700)を終了したら、第2実施例の歩行者検出処理に復帰する。
その後は、図17および図18を用いて前述したように、新たな識別辞書が登録されたか否かを判断して(図17のS154)、新たな識別辞書が登録されていたら(S154:yes)、前述した識別辞書評価処理(S400)を開始し、識別辞書評価処理(S400)で候補識別辞書が得られていた場合には(図18のS155:yes)、前述した検出識別辞書選択処理(S500)を開始する。
そして、検出識別辞書選択処理(S500)を終了したら、歩行者検出を終了するか否かを判断し(S156)、歩行者検出を終了しない場合は(S156:no)、第2実施例の歩行者検出処理の先頭に戻って、車載カメラ10から新たな撮影画像を取得した後(図17のS150)、上述した続く一連の処理を開始する。
これに対して、歩行者検出を終了すると判断した場合は(S156:yes)、図17および図18に示した第2実施例の歩行者検出処理を終了する。
以上に示した第2実施例の歩行者検出処理では、画像を撮影する環境の変化に応じて識別辞書を学習して、識別辞書の種類を増やしていくことができるので、様々に環境が変化した場合でも、撮影画像中の歩行者を高い精度で検出することが可能となる。
以上、各種の実施例について説明したが、本発明は上記の実施例および変形例に限られるものではなく、その要旨を逸脱しない範囲において種々の態様で実施することができる。
例えば、上述した各種の実施例では、ソナー20〜23を用いて歩行者位置を検出するものとして説明した。しかし、図25に示したように、ソナー20〜23の代わりにレーダー30を用いて歩行者位置を検出することとしてもよい。
1…車両、 10…車載カメラ、 20〜23…ソナー、 30…レーダー、 100…歩行者検出装置、 101…識別辞書記憶部、
102…検出結果蓄積部、 103…歩行者位置蓄積部、
104…識別辞書選択部、 105…歩行者検出部、
106…検出精度評価部、 107…再選択要否判断部。

Claims (7)

  1. ソナー(20〜23)またはレーダー(30)の少なくとも何れかと車載カメラ(10)とを備えた車両(1)に搭載されて、該車載カメラで撮影した撮影画像を解析することにより、該撮影画像に写った歩行者を検出する歩行者検出装置(100)であって、
    前記撮影画像に写った前記歩行者の形状が備える複数の特徴を数値化して記述した識別辞書を、該数値を異ならせて複数種類記憶している識別辞書記憶部(101)と、
    前記識別辞書記憶部に記憶されている前記複数種類の識別辞書について、前記撮影画像の中で該識別辞書に記述された特徴を有する箇所を探索することにより、該撮影画像に写った前記歩行者を検出して、該歩行者が検出された検出位置を、該識別辞書毎に検出結果として蓄積する検出結果蓄積部(102)と、
    前記車両の周辺に存在する前記歩行者を前記ソナーまたは前記レーダーの少なくとも何れかを用いて検出し、該歩行者が検出された歩行者位置を蓄積する歩行者位置蓄積部(103)と、
    前記歩行者位置蓄積部に蓄積された前記歩行者位置と、前記検出結果蓄積部に前記検出結果として前記識別辞書毎に蓄積された前記歩行者の検出位置とを比較することにより、該検出位置が該歩行者位置と整合する前記識別辞書を検出識別辞書として選択する識別辞書選択部(104)と、
    前記撮影画像の中で前記検出識別辞書に記述された特徴を有する箇所を探索することにより、該撮影画像中の前記歩行者を検出する歩行者検出部(105)と
    を備える歩行者検出装置。
  2. 請求項1に記載の歩行者検出装置であって、
    前記検出結果蓄積部は、前記撮影画像中で前記歩行者が検出された位置に基づいて、前記車両から該歩行者までの距離に関する情報を取得し、該歩行者までの距離が所定の閾値距離以内であった場合に(S206:yes、S256:yes)、該歩行者の検出位置を前記検出結果として蓄積する蓄積部である
    歩行者検出装置。
  3. 請求項1または請求項2に記載の歩行者検出装置であって、
    前記検出識別辞書による前記歩行者の検出位置と、前記ソナーまたは前記レーダーの少なくとも何れかを用いて検出した前記歩行者位置とを蓄積して、該検出識別辞書の検出精度を評価する検出精度評価部(106)と、
    前記検出精度評価部による前記評価の結果に基づいて、前記検出識別辞書の再選択の要否を判断する再選択要否判断部(107)と
    を備え、
    前記検出結果蓄積部は、前記再選択要否判断部が前記検出識別辞書の再選択を要すると判断した場合に(S104:yes)、前記識別辞書毎の前記検出結果を蓄積する蓄積部である
    歩行者検出装置。
  4. 請求項1ないし請求項3の何れか一項に記載の歩行者検出装置であって、
    前記歩行者検出部は、
    前記撮影画像中で探索しようとする箇所に写った対象画像を、前記歩行者の形状が備える前記複数の特徴について数値化することにより、該対象画像から複数の特徴量を抽出する特徴量抽出部(S202、S252)と、
    前記識別辞書に記述された前記複数の数値と、前記対象画像から抽出された前記複数の特徴量との内積値を算出する内積値算出部(S203、S253)と
    を備え、
    前記内積値算出部によって得られた前記内積値が所定閾値を超える場合に(S204:yes、S254:yes)、前記対象画像に前記歩行者が写っていると判断することによって該歩行者を検出する検出部である
    歩行者検出装置。
  5. 請求項4に記載の歩行者検出装置であって、
    前記歩行者検出部による前記歩行者の検出結果の正誤を、前記ソナーまたは前記レーダーの少なくとも何れかを用いて確認する検出結果確認部(S603、S605)と、
    前記歩行者検出部によって前記歩行者が検出され、且つ、該検出の結果が前記検出結果確認部によって正しいと判断された場合に、該歩行者が検出された前記対象画像から得られた前記特徴量を正検知特徴量として蓄積する正検知特徴量蓄積部(S604)と、
    前記歩行者検出部によって前記歩行者が検出され、且つ、該検出の結果が前記検出結果確認部によって正しくないと判断された場合に、該歩行者が検出された前記対象画像から得られた前記特徴量を誤検知特徴量として蓄積する誤検知特徴量蓄積部(S606)と、
    前記正検知特徴量に対しては前記内積値算出部によって得られる前記内積値が増加し、前記誤検知特徴量に対しては前記内積値算出部によって得られる前記内積値が減少するように、前記検出識別辞書の前記複数の数値を学習することによって、学習識別辞書を生成する学習識別辞書生成部(S650)と、
    前記学習識別辞書を前記識別辞書として前記識別辞書記憶部に追加する学習識別辞書追加部(S700)と
    を備える歩行者検出装置。
  6. 請求項5に記載の歩行者検出装置であって、
    前記識別辞書記憶部に記憶されている前記識別辞書の種類数が所定の上限数に達するか否かを判断し、該上限数に達する場合には、前記識別辞書記憶部に記憶されている前記学習識別辞書の中で前記学習識別辞書追加部が最も古いタイミングで追加した前記学習識別辞書を削除する識別辞書削除部(S706)を備える
    歩行者検出装置。
  7. ソナーまたはレーダーの少なくとも何れかと車載カメラとを備えた車両に適用されて、該車載カメラで撮影した撮影画像を解析することにより、該撮影画像に写った歩行者を検出する歩行者検出方法であって、
    前記撮影画像に写った前記歩行者の形状が備える複数の特徴を数値化して記述した複数種類の識別辞書について、前記撮影画像の中で該識別辞書に記述された特徴を有する箇所を探索することにより、該撮影画像に写った前記歩行者を検出して、該歩行者が検出された検出位置を、該識別辞書毎に検出結果を蓄積する検出結果蓄積工程(S200、S250)と、
    前記車両の周辺に存在する前記歩行者を前記ソナーまたは前記レーダーの少なくとも何れかを用いて検出し、該歩行者が検出された歩行者位置を蓄積する歩行者位置蓄積工程(S101、S151)と、
    前記歩行者位置蓄積工程で蓄積された前記歩行者位置と、前記検出結果蓄積工程で前記検出結果として前記識別辞書毎に蓄積された前記歩行者の検出位置とを比較することにより、該検出位置が該歩行者位置と整合する前記識別辞書を検出識別辞書として選択する識別辞書選択工程(S500)と、
    前記撮影画像の中で前記検出識別辞書に記述された特徴を有する箇所を探索することにより、該撮影画像中の前記歩行者を検出する歩行者検出工程(S200、S250)と
    を備える歩行者検出方法。
JP2014152426A 2014-07-25 2014-07-25 歩行者検出装置および歩行者検出方法 Active JP6256239B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2014152426A JP6256239B2 (ja) 2014-07-25 2014-07-25 歩行者検出装置および歩行者検出方法
US15/327,607 US10354160B2 (en) 2014-07-25 2015-06-29 Pedestrian detection device and pedestrian detection method
PCT/JP2015/003258 WO2016013159A1 (ja) 2014-07-25 2015-06-29 歩行者検出装置および歩行者検出方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014152426A JP6256239B2 (ja) 2014-07-25 2014-07-25 歩行者検出装置および歩行者検出方法

Publications (3)

Publication Number Publication Date
JP2016031564A JP2016031564A (ja) 2016-03-07
JP2016031564A5 JP2016031564A5 (ja) 2016-06-02
JP6256239B2 true JP6256239B2 (ja) 2018-01-10

Family

ID=55162706

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014152426A Active JP6256239B2 (ja) 2014-07-25 2014-07-25 歩行者検出装置および歩行者検出方法

Country Status (3)

Country Link
US (1) US10354160B2 (ja)
JP (1) JP6256239B2 (ja)
WO (1) WO2016013159A1 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017123848A1 (de) * 2017-10-13 2019-04-18 Connaught Electronics Ltd. Automatisches Parken eines Fahrzeugs auf einem Parkplatz
CN108172025B (zh) * 2018-01-30 2021-03-30 东软睿驰汽车技术(上海)有限公司 一种辅助驾驶方法、装置、车载终端及车辆
JP7143661B2 (ja) * 2018-07-24 2022-09-29 トヨタ自動車株式会社 情報処理システム、プログラム、及び制御方法
CN109214293A (zh) * 2018-08-07 2019-01-15 电子科技大学 一种油田作业区域人员穿戴行为检测方法及系统
CN109334566B (zh) * 2018-08-31 2022-01-25 阿波罗智联(北京)科技有限公司 用于提供车外反馈的方法、装置、设备和存储介质
GB2585332A (en) * 2019-02-12 2021-01-13 Chidziva Pasihapaori Vehicle with moving object detector
JP7071316B2 (ja) * 2019-07-19 2022-05-18 株式会社日立製作所 車両用情報処理装置
TWI809241B (zh) 2020-01-16 2023-07-21 為昇科科技股份有限公司 生命體檢測的雷達偵測系統、生命體判斷方法及特徵資料庫建立方法
JP7495833B2 (ja) 2020-07-07 2024-06-05 株式会社日立ソリューションズ・テクノロジー Dnnモデル圧縮システム
DE102022206123A1 (de) * 2022-06-20 2023-12-21 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zur Ermittlung einer angenäherten Objektposition eines dynamischen Objektes, Computerprogramm, Vorrichtung und Fahrzeug
WO2024013919A1 (ja) * 2022-07-14 2024-01-18 日本電気株式会社 物体認識システム、物体認識方法及び記録媒体
CN117436937B (zh) * 2023-12-21 2024-07-05 暗物智能科技(广州)有限公司 一种考虑行人画像的路径预测方法及系统

Family Cites Families (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100415266B1 (ko) * 2000-05-11 2004-01-16 가부시끼가이샤 도시바 물체영역정보 기술방법과 물체영역정보 생성장치 및 기록매체
JP4624594B2 (ja) * 2000-06-28 2011-02-02 パナソニック株式会社 物体認識方法および物体認識装置
ITTO20010282A1 (it) * 2001-03-26 2002-09-26 Fiat Ricerche Sistema di ausilio alla guida di un autoveicolo.
US7227893B1 (en) * 2002-08-22 2007-06-05 Xlabs Holdings, Llc Application-specific object-based segmentation and recognition system
US7764808B2 (en) * 2003-03-24 2010-07-27 Siemens Corporation System and method for vehicle detection and tracking
JP4425642B2 (ja) * 2004-01-08 2010-03-03 富士重工業株式会社 歩行者抽出装置
JP4534700B2 (ja) * 2004-09-30 2010-09-01 日産自動車株式会社 人物検出装置及び方法
JP4166253B2 (ja) * 2006-07-10 2008-10-15 トヨタ自動車株式会社 物体検出装置、物体検出方法、および物体検出用プログラム
US7853072B2 (en) * 2006-07-20 2010-12-14 Sarnoff Corporation System and method for detecting still objects in images
JP4777196B2 (ja) * 2006-09-11 2011-09-21 川崎重工業株式会社 運転支援装置
JP5012718B2 (ja) * 2008-08-01 2012-08-29 トヨタ自動車株式会社 画像処理装置
JP5210233B2 (ja) * 2009-04-14 2013-06-12 日立オートモティブシステムズ株式会社 車両用外界認識装置及びそれを用いた車両システム
JP5333080B2 (ja) * 2009-09-07 2013-11-06 株式会社日本自動車部品総合研究所 画像認識システム
JP5467300B2 (ja) * 2010-06-23 2014-04-09 国立大学法人大阪大学 移動物体検出装置
JP2012220377A (ja) 2011-04-11 2012-11-12 Denso Corp 物体識別装置、および物体識別プログラム
JP5755012B2 (ja) * 2011-04-21 2015-07-29 キヤノン株式会社 情報処理装置、その処理方法、プログラム及び撮像装置
US20140236386A1 (en) * 2011-09-22 2014-08-21 Toyota Jidosha Kabushiki Kaisha Driving assistance apparatus
JP5673568B2 (ja) * 2012-01-16 2015-02-18 トヨタ自動車株式会社 物体検出装置
JP6100635B2 (ja) * 2012-12-13 2017-03-22 株式会社デンソー 移動体検出装置
JP5561396B1 (ja) * 2013-02-19 2014-07-30 日本電気株式会社 運転支援システムおよび運転支援方法
JP5708689B2 (ja) * 2013-03-13 2015-04-30 株式会社デンソー 物体検出装置
JP2014215877A (ja) * 2013-04-26 2014-11-17 株式会社デンソー 物体検出装置
JP5794255B2 (ja) * 2013-05-21 2015-10-14 株式会社デンソー 物体検出装置
JP6398347B2 (ja) * 2013-08-15 2018-10-03 株式会社リコー 画像処理装置、認識対象物検出方法、認識対象物検出プログラム、および、移動体制御システム
US9721172B2 (en) * 2013-08-19 2017-08-01 Gentex Corporation Imaging system and method with ego motion detection
US9336436B1 (en) * 2013-09-30 2016-05-10 Google Inc. Methods and systems for pedestrian avoidance
KR101498114B1 (ko) * 2013-11-28 2015-03-05 현대모비스 주식회사 보행자를 검출하는 영상 처리 장치 및 그 방법
JP6483360B2 (ja) * 2014-06-30 2019-03-13 本田技研工業株式会社 対象物認識装置
JP6340957B2 (ja) * 2014-07-02 2018-06-13 株式会社デンソー 物体検出装置および物体検出プログラム
US20160019429A1 (en) * 2014-07-17 2016-01-21 Tomoko Ishigaki Image processing apparatus, solid object detection method, solid object detection program, and moving object control system
JP5928748B2 (ja) * 2014-07-31 2016-06-01 インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation 同一種類の複数の認識対象物体が検索対象画像中に存在する場合に、それぞれの認識対象物体の位置および向きを精度良く求める手法
JP6350082B2 (ja) * 2014-08-01 2018-07-04 株式会社デンソー 画像処理装置
DE102014219148A1 (de) * 2014-09-23 2016-03-24 Robert Bosch Gmbh Verfahren und Vorrichtung zum Erstellen eines Bewegungsmodells eines Straßenverkehrsteilnehmers
JP6245140B2 (ja) * 2014-10-27 2017-12-13 株式会社デンソー 対象物識別装置、運転支援システム、車両および対象物識別方法
JP6396838B2 (ja) * 2015-03-31 2018-09-26 株式会社デンソー 車両制御装置、及び車両制御方法
JP6413898B2 (ja) * 2015-04-02 2018-10-31 株式会社デンソー 歩行者判定装置
JP6058072B2 (ja) * 2015-05-29 2017-01-11 三菱電機株式会社 物体識別装置
US10274593B2 (en) * 2015-10-02 2019-04-30 Panasonic Corporation Object detection device and object detection method
JP6455492B2 (ja) * 2016-07-19 2019-01-23 トヨタ自動車株式会社 走行支援装置
US10740658B2 (en) * 2016-09-08 2020-08-11 Mentor Graphics Corporation Object recognition and classification using multiple sensor modalities
US10732420B2 (en) * 2016-09-20 2020-08-04 Panasonic Automotive Systems Company Of America, Division Of Panasonic Corporation Of North America Head up display with symbols positioned to augment reality
US10884417B2 (en) * 2016-11-07 2021-01-05 Boston Incubator Center, LLC Navigation of mobile robots based on passenger following
KR20180069147A (ko) * 2016-12-14 2018-06-25 만도헬라일렉트로닉스(주) 차량의 보행자 경고장치

Also Published As

Publication number Publication date
WO2016013159A1 (ja) 2016-01-28
US10354160B2 (en) 2019-07-16
US20180144207A1 (en) 2018-05-24
JP2016031564A (ja) 2016-03-07

Similar Documents

Publication Publication Date Title
JP6256239B2 (ja) 歩行者検出装置および歩行者検出方法
CN110807350B (zh) 用于面向扫描匹配的视觉slam的系统和方法
CN109117825B (zh) 车道线处理方法和装置
US11348342B2 (en) Method and device in a motor vehicle for improved data fusion in an environment detection
JP6808586B2 (ja) 車両用外界認識装置
JP5729398B2 (ja) 車載物標検出装置
CN109752717B (zh) 用于关联车辆中的传感器数据的装置和方法
JP2016031564A5 (ja)
JPWO2004079658A1 (ja) 生体画像照合装置およびその照合方法
JPWO2012086821A1 (ja) 測位装置、測位方法
JP4660569B2 (ja) 物体検出装置及び物体検出方法
EP3438875A1 (en) Image processing apparatus and control method therefor
TW201539378A (zh) 物件偵測系統
Park et al. Performance indicator survey for object detection
CN111383294A (zh) 一种安防雷达系统中防区的绘制方法及装置
CN111383246B (zh) 条幅检测方法、装置及设备
JP2008122093A (ja) 多目標追尾装置
CN108710828B (zh) 识别目标物的方法、装置和存储介质以及车辆
KR101916460B1 (ko) 깊이 정보를 이용한 물체 인식 방법 및 장치
JP2020052977A (ja) 情報処理装置、情報処理方法、およびプログラム
CN113033247A (zh) 一种图像识别方法及装置、计算机可读存储介质
US11907771B2 (en) Action recognition device and action recognition method
US11922670B2 (en) System for extracting outline of static object and method thereof
JP6528104B2 (ja) 画像復元装置、画像復元方法及びプログラム
JP2019075051A (ja) 画像処理装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160412

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170223

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171107

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171120

R151 Written notification of patent or utility model registration

Ref document number: 6256239

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250