Nothing Special   »   [go: up one dir, main page]

JP2013250694A - Image processing apparatus - Google Patents

Image processing apparatus Download PDF

Info

Publication number
JP2013250694A
JP2013250694A JP2012123937A JP2012123937A JP2013250694A JP 2013250694 A JP2013250694 A JP 2013250694A JP 2012123937 A JP2012123937 A JP 2012123937A JP 2012123937 A JP2012123937 A JP 2012123937A JP 2013250694 A JP2013250694 A JP 2013250694A
Authority
JP
Japan
Prior art keywords
unit
object recognition
distance
road
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012123937A
Other languages
Japanese (ja)
Inventor
Masahiko Ito
雅彦 伊藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2012123937A priority Critical patent/JP2013250694A/en
Publication of JP2013250694A publication Critical patent/JP2013250694A/en
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

PROBLEM TO BE SOLVED: To properly perform functions of a driving support system by changing the size of an object recognition range depending on moving body information of a vehicle and whether or not a road on which the vehicle travels is a general road.SOLUTION: An image processing apparatus includes a determination unit 202 that determines whether or not a road on which a vehicle travels is a general road. The image processing apparatus changes, according to a determination result by the determination unit 202, the size of an object recognition range that is a range in which objects in front of the vehicle are recognized on a photographed image photographed by imaging means on the basis of moving body information of the vehicle.

Description

本発明は、自車両の前方を撮像手段により撮像した撮像画像に対して画像処理を施す画像処理装置に関するものである。   The present invention relates to an image processing apparatus that performs image processing on a captured image obtained by capturing an image of the front of a host vehicle with an imaging unit.

従来、自車両の前方を撮影した撮像画像に基づいて対象物を認識する対象物認識装置は、例えば、車両の運転者の運転負荷を軽減させるための、ACC(Adaptive Cruise Control)等の運転者支援システムなどに利用されている。この運転者支援システムは、自車両が障害物等に衝突することを回避したり、衝突時の衝撃を軽減したりするための自動ブレーキ機能や警報機能、先行車両との車間距離を維持するための自車速度調整機能、自車が走行している車線からの逸脱防止を支援する機能などの様々な機能を実現する。   2. Description of the Related Art Conventionally, an object recognition device that recognizes an object based on a captured image taken in front of the host vehicle, for example, a driver such as ACC (Adaptive Cruise Control) for reducing the driving load on the driver of the vehicle. It is used for support systems. This driver support system is designed to maintain an automatic braking function and alarm function for avoiding the collision of the own vehicle with an obstacle, etc., and reducing the impact at the time of collision, and the inter-vehicle distance from the preceding vehicle. Various functions such as a self-vehicle speed adjustment function and a function for supporting the prevention of deviation from the lane in which the vehicle is traveling are realized.

特許文献1は、次のような画像処理装置が開示されている。この特許文献1の画像処理装置では、撮像手段を取り付けている自車両の移動体情報を用いて自車両の所定時間後の到達地点を予測する。この予測に用いる移動体情報には、自車両の移動方向を示す操舵角情報や移動速度情報などがある。そして、予測された自車両の到達地点を含み、かつ撮像画面全体の大きさより小さい物体認識範囲を撮像画面上に設定する。そして、この設定した物体認識範囲内の撮像画面に対して、物体の認識が行われ、自車両の位置から認識した物体までの距離を演算する。この距離演算処理によって演算された距離は、運転者支援システムの上記各機能に用いられる。よって、撮像画面全体より小さい物体認識範囲に対してのみ物体認識を行うことにより、撮像画面全体に対して物体認識を行うことに比べて物体認識処理の負担を軽減し、かつ物体認識処理の処理時間を短くしている。また、上記特許文献1の画像処理装置では、到達地点と自車両の走行位置との間の距離を算出し、その距離に応じて三段階に物体認識範囲の大きさを切り換えている。具体的には、到達地点と自車両の走行位置との間の距離が所定範囲であるときは、中間サイズの大きさの物体認識範囲に切り換えている。上記距離が所定範囲の下限値より小さいときは、中間サイズの大きさより大きい物体認識範囲に切り換えている。上記距離が所定範囲の上限値より大きいときは、中間サイズの大きさより小さい物体認識範囲に切り換えている。   Patent Document 1 discloses the following image processing apparatus. In the image processing apparatus of Patent Document 1, the arrival point after a predetermined time of the host vehicle is predicted using the moving body information of the host vehicle to which the imaging unit is attached. The moving body information used for this prediction includes steering angle information and moving speed information indicating the moving direction of the host vehicle. Then, an object recognition range that includes the predicted arrival point of the host vehicle and is smaller than the entire size of the imaging screen is set on the imaging screen. Then, the object is recognized on the imaging screen within the set object recognition range, and the distance from the position of the host vehicle to the recognized object is calculated. The distance calculated by the distance calculation process is used for each function of the driver assistance system. Therefore, by performing object recognition only for the object recognition range smaller than the entire imaging screen, the burden of object recognition processing is reduced compared to performing object recognition for the entire imaging screen, and the object recognition processing The time is shortened. In the image processing apparatus disclosed in Patent Document 1, the distance between the arrival point and the traveling position of the host vehicle is calculated, and the size of the object recognition range is switched in three stages according to the distance. Specifically, when the distance between the arrival point and the traveling position of the host vehicle is within a predetermined range, the object recognition range is switched to an intermediate size. When the distance is smaller than the lower limit of the predetermined range, the object recognition range is switched to be larger than the intermediate size. When the distance is larger than the upper limit value of the predetermined range, the object recognition range is switched to be smaller than the intermediate size.

しかしながら、上記特許文献1の画像処理装置では、物体認識範囲内の撮像画像に対して物体の認識を行い、物体認識範囲以外の撮像画像に対しては物体の認識は行われない。このため、自車両の走行位置と物体認識範囲における自車両寄りの端縁部との間の撮像画面の端から中央部分に向かって移動する物体が突然あらわれても、その物体があらわれた撮像画面が物体認識範囲外であるので物体の認識を行うことができない。例えば、自車両が交差点や側道がある一般道路を走行しているときに歩行者が自車両の前方直前に飛び出して来ても、その歩行者の撮像画面が物体認識範囲以外であれば、その歩行者に対して物体の認識を行うことができない。よって、一般道路を走行しているとき歩行者に対する運転者支援システムの機能、例えば自動ブレーキ機能や警報機能を適切に実現することが難しくなる。   However, the image processing apparatus disclosed in Patent Document 1 recognizes an object with respect to a captured image within the object recognition range, and does not recognize an object with respect to a captured image outside the object recognition range. For this reason, even if an object that moves from the edge of the imaging screen between the traveling position of the host vehicle and the edge near the host vehicle in the object recognition range toward the center portion suddenly appears, the imaging screen on which the object appears Is outside the object recognition range, the object cannot be recognized. For example, even if a pedestrian jumps out immediately before the host vehicle when the host vehicle is traveling on a general road with an intersection or a side road, if the pedestrian's imaging screen is outside the object recognition range, An object cannot be recognized for the pedestrian. Therefore, it becomes difficult to properly realize a driver support system function for a pedestrian, for example, an automatic brake function or a warning function when traveling on a general road.

本発明は以上の問題点に鑑みなされたものであり、その目的は、自車両の移動体情報、及び自車両が走行している道路が一般道路であるか否かによって、物体認識範囲の大きさを変え、運転支援システムの機能を適切に実現できる画像処理装置を提供することである。   The present invention has been made in view of the above problems, and the object of the present invention is to increase the object recognition range depending on the moving body information of the host vehicle and whether the road on which the host vehicle is traveling is a general road. Another object is to provide an image processing apparatus that can appropriately realize the functions of the driving support system.

上記目的を達成するために、請求項1の発明は、自車両の移動体情報に基づいて、撮像手段により撮像した撮像画像上に自車両の前方の物体を認識するための物体認識範囲を設定する画像処理装置において、自車両が走行している道路が一般道路であるか否かを判定する判定部を有し、該判定部による判定結果に応じて前記物体認識範囲の大きさを変えることを特徴とするものである。   In order to achieve the above object, the invention according to claim 1 sets an object recognition range for recognizing an object ahead of the host vehicle on a captured image captured by the imaging unit based on the moving body information of the host vehicle. The image processing apparatus includes a determination unit that determines whether the road on which the host vehicle is traveling is a general road, and changes the size of the object recognition range according to a determination result by the determination unit. It is characterized by.

本発明によれば、判定部の判定結果、自車両が走行している道路が一般道路であった場合、例えば歩行者が走行車道へ飛び出す虞があり物体認識範囲の大きさを大きくし、走行車道へ飛び出して来た歩行者が物体認識範囲に入るようにする。これにより、その飛び出して来た歩行者を認識することができ、歩行者に対する運転者支援システムの機能、例えば自動ブレーキ機能や警報機能を実現することができる。よって、自車両の移動体情報、及び自車両が走行している道路が一般道路であるか否かによって、物体認識範囲の大きさを変え、運転支援システムの機能を適切に実現できる、という特有な効果が得られる。   According to the present invention, as a result of the determination by the determination unit, when the road on which the host vehicle is traveling is a general road, for example, there is a possibility that a pedestrian may jump out to the traveling roadway. A pedestrian who jumps out on the roadway is allowed to enter the object recognition range. Thereby, the pedestrian who jumped out can be recognized, and the function of a driver support system for a pedestrian, for example, an automatic brake function and an alarm function can be realized. Therefore, the function of the driving support system can be appropriately realized by changing the size of the object recognition range depending on the moving body information of the own vehicle and whether or not the road on which the own vehicle is traveling is a general road. Effects can be obtained.

実施形態における車載機器制御システムの概略構成を示す模式図である。It is a mimetic diagram showing a schematic structure of an in-vehicle device control system in an embodiment. 同車載機器制御システムを構成する撮像ユニット及び画像解析ユニットの概略構成を示す模式図である。It is a schematic diagram which shows schematic structure of the imaging unit and image analysis unit which comprise the same vehicle equipment control system. 同撮像ユニットの撮像部における光学フィルタと画像センサとを光透過方向に対して直交する方向から見たときの模式拡大図である。It is a model enlarged view when the optical filter and image sensor in the imaging part of the imaging unit are seen from the direction orthogonal to the light transmission direction. 同光学フィルタの領域分割パターンを示す説明図である。It is explanatory drawing which shows the area | region division pattern of the same optical filter. 本実施形態の画像処理に関わる機能ブロック図である。It is a functional block diagram in connection with the image processing of this embodiment. 物体までの距離と撮像画像上の物体認識範囲の変化との関係を示す図である。It is a figure which shows the relationship between the distance to an object, and the change of the object recognition range on a captured image. (a)は物体認識範囲を制限しないときの撮像画面、(b)は物体認識範囲を制限したときの撮像画面を示す図である。(A) is an imaging screen when the object recognition range is not limited, and (b) is a diagram illustrating an imaging screen when the object recognition range is limited. 本実施形態の画像処理の変形例1に関わる機能ブロック図である。It is a functional block diagram concerning the modification 1 of the image processing of this embodiment. 変形例1の画像処理を示すフローチャートである。10 is a flowchart illustrating image processing according to a first modification. 本実施形態の画像処理の変形例2に関わる機能ブロック図である。It is a functional block diagram concerning the modification 2 of the image processing of this embodiment. 変形例2の画像処理を示すフローチャートである。10 is a flowchart illustrating image processing according to a second modification. 本実施形態の画像処理の変形例3に関わる機能ブロック図である。It is a functional block diagram concerning the modification 3 of the image processing of this embodiment. 変形例3の画像処理を示すフローチャートである。10 is a flowchart illustrating image processing according to a third modification.

以下、本発明に係る対象物認識装置を、車両システムとしての車載機器制御システムに用いる一実施形態について説明する。なお、本発明に係る対象物認識装置は、車載機器制御システムに限らず、例えば撮像画像に基づいて物体検出を行う物体検出装置を搭載したその他のシステムにも適用できる。   Hereinafter, an embodiment in which an object recognition device according to the present invention is used in an in-vehicle device control system as a vehicle system will be described. Note that the object recognition apparatus according to the present invention is not limited to an in-vehicle device control system, and can be applied to other systems equipped with an object detection apparatus that detects an object based on a captured image, for example.

図1は本実施形態における車載機器制御システムの概略構成を示す模式図である。
本実施形態の車載機器制御システムは、走行する自車両100の進行方向前方領域を撮像領域として撮像する撮像手段としての撮像ユニット101が設けられている。この撮像ユニット101は、例えば、自車両100のフロントガラス105のルームミラー(図示せず)付近に設置される。撮像ユニット101の撮像によって得られる撮像画像データ等の各種データは、画像処理手段としての画像解析ユニット102に入力される。画像解析ユニット102は、撮像ユニット101から送信されてくるデータを解析して、自車両100の前方に存在する他車両の位置、方角、距離を算出したり、撮像領域内に存在する路面上の白線等の車線境界線等を検出したりする。他車両の検出では、視差画像に基づいて路面上の対象物を車両として検出する。
FIG. 1 is a schematic diagram showing a schematic configuration of an in-vehicle device control system in the present embodiment.
The in-vehicle device control system of the present embodiment is provided with an image pickup unit 101 as an image pickup unit that picks up an image of the traveling direction front area of the traveling vehicle 100 as an image pickup area. For example, the imaging unit 101 is installed in the vicinity of a room mirror (not shown) of the windshield 105 of the host vehicle 100. Various data such as captured image data obtained by imaging by the imaging unit 101 is input to an image analysis unit 102 as image processing means. The image analysis unit 102 analyzes the data transmitted from the imaging unit 101 to calculate the position, direction, and distance of another vehicle existing ahead of the host vehicle 100, or on the road surface existing in the imaging area. Detecting lane boundaries such as white lines. In detecting another vehicle, an object on the road surface is detected as a vehicle based on the parallax image.

また、画像解析ユニット102の算出結果は、車両走行制御ユニット106にも送られる。車両走行制御ユニット106は、画像解析ユニット102が検出した車線境界線(本実施形態では白線を例に挙げて説明する。)や路側段差の検出結果に基づいて、走行可能領域から自車両100が外れそうな場合等に、自車両100の運転者へ警告を報知したり、自車両のハンドルやブレーキを制御するなどの走行支援制御を行ったりする。   The calculation result of the image analysis unit 102 is also sent to the vehicle travel control unit 106. The vehicle travel control unit 106 determines that the host vehicle 100 from the travelable area is based on the detection result of the lane boundary line (in the present embodiment, a white line will be described as an example) detected by the image analysis unit 102 and the road side step. When it is likely to come off, a warning is notified to the driver of the host vehicle 100, or driving support control such as controlling the steering wheel and brake of the host vehicle is performed.

図2は、撮像ユニット101及び画像解析ユニット102の概略構成を示す模式図である。
撮像ユニット101は、2つの撮像部110A,110Bを備えたステレオカメラであり、2つの撮像部110A,110Bの構成は同一のものである。各撮像部110A,110Bは、それぞれ、撮像レンズ111A,111Bと、光学フィルタ112A,112Bと、撮像素子が2次元配置された画像センサ113A,113Bを含んだセンサ基板114A,114Bと、センサ基板114A,114Bから出力されるアナログ電気信号(画像センサ113A,113B上の各受光素子が受光した受光量)をデジタル電気信号に変換した撮像画像データを生成して出力する信号処理部115A,115Bとから構成されている。本実施形態の撮像ユニット101からは、赤色画像データ、輝度画像データ、視差画像データが出力される。
FIG. 2 is a schematic diagram illustrating a schematic configuration of the imaging unit 101 and the image analysis unit 102.
The imaging unit 101 is a stereo camera including two imaging units 110A and 110B, and the configuration of the two imaging units 110A and 110B is the same. The imaging units 110A and 110B respectively include imaging lenses 111A and 111B, optical filters 112A and 112B, sensor substrates 114A and 114B including image sensors 113A and 113B in which imaging elements are two-dimensionally arranged, and sensor substrates 114A. , 114B from signal processing units 115A, 115B that generate and output captured image data obtained by converting analog electrical signals (the amounts of light received by the light receiving elements on the image sensors 113A, 113B) into digital electrical signals. It is configured. From the imaging unit 101 of the present embodiment, red image data, luminance image data, and parallax image data are output.

また、撮像ユニット101は、FPGA(Field-Programmable Gate Array)等からなる処理ハードウェア部120を備えている。この処理ハードウェア部120は、各撮像部110A,110Bから出力される輝度画像データから視差画像を得るために、各撮像部110A,110Bでそれぞれ撮像した撮像画像間の対応画像部分の視差値を演算する視差演算部121を備えている。ここでいう視差値とは、各撮像部110A,110Bでそれぞれ撮像した撮像画像の一方を基準画像、他方を比較画像とし、撮像領域内の同一地点に対応した基準画像上の画像部分に対する比較画像上の画像部分の位置ズレ量を、当該画像部分の視差値として算出したものである。三角測量の原理を利用することで、この視差値から当該画像部分に対応した撮像領域内の当該同一地点までの距離を算出することができる。   In addition, the imaging unit 101 includes a processing hardware unit 120 including an FPGA (Field-Programmable Gate Array) or the like. In order to obtain a parallax image from the luminance image data output from each of the imaging units 110A and 110B, the processing hardware unit 120 obtains the parallax value of the corresponding image portion between the captured images captured by the imaging units 110A and 110B. A parallax calculation unit 121 for calculation is provided. The parallax value here refers to a comparison image for an image portion on the reference image corresponding to the same point in the imaging region, with one of the captured images captured by each of the imaging units 110A and 110B as a reference image and the other as a comparison image. The positional deviation amount of the upper image part is calculated as the parallax value of the image part. By using the principle of triangulation, the distance to the same point in the imaging area corresponding to the image portion can be calculated from the parallax value.

一方、画像解析ユニット102は、撮像ユニット101から出力される赤色画像データ、輝度画像データ、視差画像データを記憶するメモリ130と、識別対象物の認識処理や視差計算制御などを行うソフトウェアを内蔵したMPU(Micro Processing Unit)140とを備えている。MPU140は、メモリ130に格納された赤色画像データ、輝度画像データ、視差画像データを用いて各種の認識処理を実行する。   On the other hand, the image analysis unit 102 has a built-in memory 130 for storing red image data, luminance image data, and parallax image data output from the imaging unit 101, and software for performing recognition processing of an identification object, parallax calculation control, and the like. MPU (Micro Processing Unit) 140 is provided. The MPU 140 executes various recognition processes using the red image data, luminance image data, and parallax image data stored in the memory 130.

図3は、光学フィルタ112A,112Bと画像センサ113A,113Bとを光透過方向に対して直交する方向から見たときの模式拡大図である。
画像センサ113A,113Bは、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)などを用いたイメージセンサであり、その撮像素子(受光素子)にはフォトダイオード113aを用いている。フォトダイオード113aは、撮像画素ごとに2次元的にアレイ配置されており、フォトダイオード113aの集光効率を上げるために、各フォトダイオード113aの入射側にはマイクロレンズ113bが設けられている。この画像センサ113A,113Bがワイヤボンディングなどの手法によりPWB(printed wiring board)に接合されてセンサ基板114A,114Bが形成されている。
FIG. 3 is a schematic enlarged view when the optical filters 112A and 112B and the image sensors 113A and 113B are viewed from a direction orthogonal to the light transmission direction.
The image sensors 113A and 113B are image sensors using a CCD (Charge Coupled Device), a CMOS (Complementary Metal Oxide Semiconductor), or the like, and a photodiode 113a is used as an imaging element (light receiving element). The photodiodes 113a are two-dimensionally arranged for each imaging pixel, and a microlens 113b is provided on the incident side of each photodiode 113a in order to increase the light collection efficiency of the photodiode 113a. The image sensors 113A and 113B are bonded to a PWB (printed wiring board) by a technique such as wire bonding to form sensor substrates 114A and 114B.

画像センサ113A,113Bのマイクロレンズ113b側の面には、光学フィルタ112A,112Bが近接配置されている。本実施形態の光学フィルタ112A,112Bは、図3に示すように、透明なフィルタ基板112a上に分光フィルタ層112bを形成したものである。そして、分光フィルタに代えて又は分光フィルタに加えて、偏光フィルタ等の他の光学フィルタを設けてもよい。分光フィルタ層112bは、画像センサ113A,113B上における1つのフォトダイオード113aに対応するように領域分割されている。   Optical filters 112A and 112B are arranged close to the surfaces of the image sensors 113A and 113B on the microlens 113b side. As shown in FIG. 3, the optical filters 112A and 112B of this embodiment are obtained by forming a spectral filter layer 112b on a transparent filter substrate 112a. In place of the spectral filter or in addition to the spectral filter, another optical filter such as a polarizing filter may be provided. The spectral filter layer 112b is divided into regions so as to correspond to one photodiode 113a on the image sensors 113A and 113B.

光学フィルタ112A,112Bと画像センサ113A,113Bとの間に空隙がある構成としてもよい。しかし、光学フィルタ112A,112Bを画像センサ113A,113Bに密着させる構成とした方が、光学フィルタ112A,112Bの各フィルタ領域の境界と画像センサ113A,113B上のフォトダイオード113a間の境界とを一致させやすくなる。光学フィルタ112A,112Bと画像センサ113A,113Bは、例えば、UV接着剤で接合してもよいし、撮像に用いる有効画素範囲外でスペーサにより支持した状態で有効画素外の四辺領域をUV接着や熱圧着してもよい。   It is good also as a structure with a space | gap between optical filter 112A, 112B and image sensor 113A, 113B. However, when the optical filters 112A and 112B are in close contact with the image sensors 113A and 113B, the boundaries of the filter regions of the optical filters 112A and 112B coincide with the boundaries between the photodiodes 113a on the image sensors 113A and 113B. It becomes easy to let you. The optical filters 112A and 112B and the image sensors 113A and 113B may be bonded with, for example, a UV adhesive, or UV bonding may be performed on a four-side region outside the effective pixel while being supported by a spacer outside the effective pixel range used for imaging. Thermocompression bonding may be performed.

図4は、本実施形態に係る光学フィルタ112A,112Bの領域分割パターンを示す説明図である。
光学フィルタ112A,112Bは、第1領域及び第2領域という2種類の領域が、画像センサ113A,113B上の1つのフォトダイオード113aに対応して配置されたものである。これにより、画像センサ113A,113B上の各フォトダイオード113aによって受光される受光量は、受光する光が透過した分光フィルタ層112bの領域の種類に応じて、分光情報として取得することができる。
FIG. 4 is an explanatory diagram showing a region division pattern of the optical filters 112A and 112B according to the present embodiment.
In the optical filters 112A and 112B, two types of regions, a first region and a second region, are arranged corresponding to one photodiode 113a on the image sensors 113A and 113B. Thus, the amount of light received by each photodiode 113a on the image sensors 113A and 113B can be acquired as spectral information according to the type of region of the spectral filter layer 112b through which the received light is transmitted.

本実施形態における光学フィルタ112A,112Bにおいて、第1領域は、赤色波長帯の光のみを選択して透過させる赤色分光領域112rであり、第2領域は、波長選択を行わずに光を透過させる非分光領域112cである。そして、光学フィルタ112A,112Bは、図4に示すように、これらの第1領域112r及び第2領域112cが市松模様状に分布したものを用いている。したがって、本実施形態においては、第1領域112rに対応する撮像画素の出力信号から赤色輝度画像が得られ、第2領域112cに対応する撮像画素の出力信号から非分光の輝度画像が得られる。よって、本実施形態によれば、一度の撮像動作により、赤色輝度画像と非分光の輝度画像に対応した2種類の撮像画像データを得ることができる。これらの撮像画像データでは、その画像画素の数が撮像画素数よりも少なくなるが、より高解像度の画像を得る際には一般に知られる画像補間処理を用いてもよい。   In the optical filters 112A and 112B in the present embodiment, the first region is a red spectral region 112r that selects and transmits only light in the red wavelength band, and the second region transmits light without performing wavelength selection. It is a non-spectral region 112c. As shown in FIG. 4, the optical filters 112A and 112B use those in which the first region 112r and the second region 112c are distributed in a checkered pattern. Therefore, in the present embodiment, a red luminance image is obtained from the output signal of the imaging pixel corresponding to the first region 112r, and a non-spectral luminance image is obtained from the output signal of the imaging pixel corresponding to the second region 112c. Therefore, according to the present embodiment, two types of captured image data corresponding to a red luminance image and a non-spectral luminance image can be obtained by a single imaging operation. In these captured image data, the number of image pixels is smaller than the number of captured pixels, but generally known image interpolation processing may be used when obtaining a higher resolution image.

次に、本発明の特徴部分である、画像処理について説明する。
図5は、本実施形態の画像処理に関わる機能ブロック図である。同図において、本実施形態の画像処理装置200は、ステレオ撮像部201、判定部202、移動体情報取得部203、到達距離予測部204、到達時間設定部205、物体認識範囲算出部206、距離画像生成部207及び物体認識処理部208を含んで構成されている。ステレオ撮像部201は左右のカメラからステレオ画像(左右の輝度画像)を取得する。判定部202は、ユーザがマニュアルで現在の自車両が走行している道路が一般道路であるか否かを設定することで判定結果とする。判定結果としては、"一般道路"と"一般道路でない"の2つに区分けする。現在走行している道路においてフレームインする物体が多そうな場合には、一般道路と設定し、そうでない場合例えば高速道路などは、一般道路ではないと設定する。
Next, image processing which is a characteristic part of the present invention will be described.
FIG. 5 is a functional block diagram related to image processing of the present embodiment. In the figure, an image processing apparatus 200 according to the present embodiment includes a stereo imaging unit 201, a determination unit 202, a moving body information acquisition unit 203, an arrival distance prediction unit 204, an arrival time setting unit 205, an object recognition range calculation unit 206, a distance. An image generation unit 207 and an object recognition processing unit 208 are included. The stereo imaging unit 201 acquires a stereo image (right and left luminance images) from the left and right cameras. The determination unit 202 sets the determination result by setting whether or not the road on which the current vehicle is traveling is a general road manually by the user. The determination result is divided into two categories, “general road” and “not a general road”. When there are many objects to be framed in on the road that is currently running, the road is set as a general road. Otherwise, for example, an expressway is set as not a general road.

そして、移動体情報取得部203は、ここでの移動体は自動車であり、自動車の移動速度を取得する。自動車のCAN(Controller Area Network)通信から車速を取得することができる。到達距離予測部204は、移動体情報取得部203で取得した移動速度と到達時間設定部205で設定した時間を乗算することにより、設定された時間における到達距離を予測する。到達時間設定部205は、到達距離予測部204での到達距離の予測に用いる時間を設定する。ここでの設定時間よりも小さい時間で到達する距離のデータについては算出されず、認識処理でも利用されない。具体的には、設定時間を3秒とした場合、現位置から1秒後や2秒後に到達する距離データは算出されない。物体認識範囲算出部206は、到達距離予測部204で取得した予測距離に応じて、物体認識範囲を算出する。距離画像について画像中央に近づくほど、距離が大きくなる傾向を利用して、図6のように距離に応じた物体認識範囲をテーブルとして保持し、予測距離に応じた物体認識範囲を取得する。例えば、予測距離が12[m]ならば、予測距離12[m]の地点を含む物体認識範囲を設定してその設定された物体認識範囲に対して物体認識処理を行う必要があるため、12[m]枠より大きい枠である10[m]枠の(300,350)-(1000,700)を物体認識範囲とする。物体認識処理部208では、距離画像生成部207で生成した視差画像を用いて、物体認識範囲内の物体に対する認識処理を行う。なお、自車両が走行している道路が一般道路であるか否か、例えば一般道路の場合は図6の5[m]枠に切り換え、高速道路などの場合は図6の30[m]枠に切り換えることでもよい。   And the mobile body information acquisition part 203 is a mobile body here, and acquires the moving speed of a motor vehicle. The vehicle speed can be acquired from the CAN (Controller Area Network) communication of the automobile. The arrival distance prediction unit 204 predicts the arrival distance at the set time by multiplying the movement speed acquired by the moving body information acquisition unit 203 by the time set by the arrival time setting unit 205. The arrival time setting unit 205 sets the time used for the arrival distance prediction in the arrival distance prediction unit 204. The distance data that arrives in a time shorter than the set time here is not calculated and is not used in the recognition process. Specifically, when the set time is 3 seconds, distance data that arrives after 1 second or 2 seconds from the current position is not calculated. The object recognition range calculation unit 206 calculates the object recognition range according to the predicted distance acquired by the reach distance prediction unit 204. Using the tendency that the distance increases as the distance image approaches the center of the image, the object recognition range corresponding to the distance is held as a table as shown in FIG. 6 and the object recognition range corresponding to the predicted distance is acquired. For example, if the predicted distance is 12 [m], it is necessary to set the object recognition range including the point of the predicted distance 12 [m] and perform the object recognition process on the set object recognition range. The object recognition range is (300, 350)-(1000, 700) in the 10 [m] frame that is larger than the [m] frame. The object recognition processing unit 208 performs recognition processing for an object within the object recognition range using the parallax image generated by the distance image generation unit 207. Whether the road on which the host vehicle is traveling is a general road, for example, in the case of a general road, it is switched to the 5 [m] frame in FIG. 6, and in the case of a highway or the like, the 30 [m] frame in FIG. It may be switched to.

物体認識処理部208に入力される具体的な視差画像は図7のようになる。例えば、市街地では図7(a)の演算領域を制限しない画像を用いて認識処理を行い、高速道路などでは図7(b)の画像を用いる。さらに、認識処理の計算負荷を減らすため、図7の視差画像のうち、図5の到達距離予測部204で予測した距離(視差)よりも大きい距離の画素についてのみ認識処理を行う。距離画像生成部207では、判定部202の判定結果により、距離演算の領域を変更する。判定部202で一般道路と判定された場合は、突然フレームインする物体の距離も演算する必要があるため、物体認識範囲は変更せず(画面端まで距離演算し)、図7(a)のような距離画像を生成する。一方、一般道路ではないと判定された場合は、物体認識範囲算出部206で算出された物体認識範囲を用いて距離演算し、図7(b)のような距離画像を生成する。   A specific parallax image input to the object recognition processing unit 208 is as shown in FIG. For example, in an urban area, the recognition process is performed using an image that does not restrict the calculation area of FIG. 7A, and the image of FIG. 7B is used on an expressway or the like. Furthermore, in order to reduce the calculation processing load of the recognition process, the recognition process is performed only on pixels having a distance larger than the distance (parallax) predicted by the reach distance prediction unit 204 in FIG. The distance image generation unit 207 changes the distance calculation area based on the determination result of the determination unit 202. When the determination unit 202 determines that the road is a general road, it is necessary to calculate the distance of the object that suddenly enters the frame, so the object recognition range is not changed (the distance is calculated up to the screen edge), as shown in FIG. Such a distance image is generated. On the other hand, if it is determined that the road is not a general road, distance calculation is performed using the object recognition range calculated by the object recognition range calculation unit 206 to generate a distance image as shown in FIG.

図8は、本実施形態の画像処理の変形例1に関わる機能ブロック図である。図9は本変形例1の画像処理を示すフローチャートである。本変形例では、GPSデータを取得するためのGPSデータ取得部302を設け、GPSデータに基づいて自車両が走行している道路が一般道路であるか否か、あるいは例えばフレームインするシーンか否かを判定する。まず、撮像した画像フレーム及びGPSデータを取得する(ステップS101、S102)。このGPSデータを用い、現在の地点が高速道路などの自動車専用道路かそうでないかを位置情報により判断する(ステップS103)。自動車専用道路の場合、歩行者等がフレームインする可能性は極めて低いという仮定する。そして、現在自車両が走行している道路がフレームインしない道路であると判定し、物体認識範囲を制限して視差演算を行う(ステップS203:YES、ステップS205、S206)。一方、自動車専用道路でない場合、歩行者等がフレームインする可能性が極めて高いという仮定する。そして、現在自車両が走行している道路がフレームインする道路であると判定し、物体認識範囲を制限せずに視差演算を行う(ステップS203:NO、ステップS204、S206)。   FIG. 8 is a functional block diagram relating to the first modification of the image processing of the present embodiment. FIG. 9 is a flowchart showing image processing according to the first modification. In this modification, a GPS data acquisition unit 302 for acquiring GPS data is provided, and whether or not the road on which the vehicle is traveling is a general road based on the GPS data, for example, whether it is a frame-in scene or not. Determine whether. First, the captured image frame and GPS data are acquired (steps S101 and S102). Using this GPS data, it is determined from position information whether the current point is an automobile-only road such as an expressway or not (step S103). In the case of an automobile-only road, it is assumed that the possibility of a pedestrian or the like entering a frame is extremely low. Then, it is determined that the road on which the host vehicle is currently traveling is a road that does not enter the frame, and the parallax calculation is performed by limiting the object recognition range (step S203: YES, steps S205, S206). On the other hand, it is assumed that there is an extremely high possibility that a pedestrian or the like will frame in if the road is not a car-only road. Then, it is determined that the road on which the host vehicle is currently traveling is a frame-in road, and the parallax calculation is performed without limiting the object recognition range (step S203: NO, steps S204, S206).

図10は、本実施形態の画像処理の変形例2に関わる機能ブロック図である。図11は本変形例2の画像処理を示すフローチャートである。本変形例では、車両情報取得部402によって車両本体から出力される自車両の状態を示す車両情報、例えばCANデータなどを受け取り、判定部403によって車両情報から移動周辺の状況を判定する。本変形例2では車両情報のうち、運転手がブレーキを踏む頻度で走行道路が一般道路であるか否かを判定する。図11に示すように、ブレーキを踏んでない時間が一定以上になれば(ステップS302〜S304、ステップS305:YES)、高速道路などの非市街地を走行中であると仮定する。そして、歩行者がフレームインしないと判定し、物体認識範囲を制限して視差演算を行って物体認識処理を行う(ステップS306、S308)。ブレーキを踏んでない時間が一定以上でなければ(ステップS302〜S304、ステップ305:NO)、市街地の一般道路を走行中であると仮定し、歩行者がフレームインすると判定し、物体認識範囲を制限せずに視差演算を行って物体認識処理を行う(ステップS307、S308)。   FIG. 10 is a functional block diagram relating to the second modification of the image processing of the present embodiment. FIG. 11 is a flowchart showing the image processing of the second modification. In this modification, vehicle information indicating the state of the host vehicle output from the vehicle main body by the vehicle information acquisition unit 402, for example, CAN data, is received, and the determination unit 403 determines the situation around the movement from the vehicle information. In the second modification, it is determined whether or not the traveling road is a general road in the vehicle information with the frequency with which the driver steps on the brake. As shown in FIG. 11, when the time when the brake is not depressed becomes equal to or longer than a certain time (steps S302 to S304, step S305: YES), it is assumed that the vehicle is traveling on a non-urban area such as an expressway. Then, it is determined that the pedestrian does not enter the frame, and the object recognition process is performed by limiting the object recognition range and performing the parallax calculation (steps S306 and S308). If the time when the brake is not depressed is not a certain time or more (steps S302 to S304, step 305: NO), it is assumed that the vehicle is traveling on a general road in an urban area, and it is determined that the pedestrian enters the frame, thereby limiting the object recognition range Without performing the parallax calculation, the object recognition process is performed (steps S307 and S308).

図12は、本実施形態の画像処理の変形例3に関わる機能ブロック図である。図13は本変形例3の画像処理を示すフローチャートである。本変形例では、判定部503に物体認識結果をフィードバックさせた例である。具体的には、判定部503は、物体認識処理部504で物体を認識した結果に基づいて走行道路が一般道路であるか否かを判定する。例えば、物体認識処理部504で交通信号や道路幅を認識することで、現在の走行道路が市街地の一般道路であるかどうか、フレームインが発生しやすいかどうかを判断する。本変形例3では、交通信号を認識したかどうかで走行道路が一般道路であるか否かを判定する(ステップS405)。交通信号を認識した場合、現在の走行道路を市街地内の一般道路であると仮定し、歩行者がフレームインすると判定し、物体認識範囲を制限せずに視差演算を行う(ステップS405:YES、ステップS402、S404)。交通信号を認識しない場合、現在の走行道路が高速道路などの非市街地の道路と仮定し、歩行者がフレームインしないと判定し、物体認識範囲を制限して視差演算を行う(ステップS405:NO、ステップS403、S404)。   FIG. 12 is a functional block diagram relating to the third modification of the image processing of the present embodiment. FIG. 13 is a flowchart showing the image processing of the third modification. This modification is an example in which the determination unit 503 feeds back an object recognition result. Specifically, the determination unit 503 determines whether or not the traveling road is a general road based on the result of object recognition by the object recognition processing unit 504. For example, the object recognition processing unit 504 recognizes a traffic signal and a road width to determine whether the current traveling road is a general road in an urban area and whether frame-in is likely to occur. In the third modification, it is determined whether or not the traveling road is a general road based on whether or not the traffic signal is recognized (step S405). When the traffic signal is recognized, it is assumed that the current driving road is a general road in the city, and it is determined that the pedestrian enters the frame, and parallax calculation is performed without limiting the object recognition range (step S405: YES, Steps S402 and S404). When the traffic signal is not recognized, it is assumed that the current traveling road is a non-urban road such as an expressway, it is determined that the pedestrian does not enter the frame, the object recognition range is limited, and the parallax calculation is performed (step S405: NO) , Steps S403, S404).

以上に説明したものは一例であり、本発明は、次の態様毎に特有の効果を奏する。
(態様1)
自車両が走行している道路が一般道路であるか否かを判定する判定部を有し、該判定部による判定結果に応じて物体認識範囲の大きさを変える。これによれば、上記実施形態について説明したように、判定部202の判定結果、自車両が走行している道路が一般道路であった場合、例えば歩行者が走行車道へ飛び出す虞があり物体認識範囲の大きさを大きくし、走行車道へ飛び出して来た歩行者が物体認識範囲に入るようにする。これにより、その飛び出して来た歩行者を認識することができ、歩行者に対する運転者支援システムの機能、例えば自動ブレーキ機能や警報機能を実現することができる。よって、自車両の移動体情報、及び自車両が走行している道路が一般道路であるか否かによって、物体認識範囲の大きさを変え、運転支援システムの機能を適切に実現できる。
(態様2)
(態様1)において、GPSデータを取得するGPSデータ取得部を有し、判定部は、GPSデータ取得部により取得したGPSデータに基づいて自車両が走行している道路が一般道路であるか否かを判定する。これによれば、上記実施形態の変形例1について説明したように、現在の地点が高速道路などの自動車専用道路かそうでないかを位置情報により判定部303によって判定される。これにより、自車両が走行している道路が一般道路であるか否か応じて適切に撮像手段の物体認識範囲を変えることが可能となる。よって、運転支援システムの機能を適切に実現できる。
(態様3)
(態様1)において、判定部は、自車両のブレーキを踏む頻度に基づいて移動シーンを判定する。これによれば、上記実施形態の変形例2について説明したように、車両本体から出力される自車両の状態を示す車両情報、例えばCANデータなどを受け取り、判定部403によって車両情報から自車両が走行している道路が一般道路であるか否かを判定する。車両情報のうち、運転手がブレーキを踏む頻度で道路が一般道路であるか否かを判定する。これにより、自車両が走行している道路が一般道路であるか否かに対して適切に撮像手段の物体認識範囲を変えることが可能となる。よって、運転支援システムの機能を適切に実現できる。
(態様4)
(態様1)において、判定部は、撮像画像の物体認識結果に基づいて道路が一般道路であるか否かを判定する。これによれば、上記実施形態の変形例3について説明したように、物体認識処理部504で交通信号や道路幅を認識した結果に基づいて、判定部503によって自車両が走行している道路が一般道路であるか否かを判定する。これにより、自車両が走行している道路が一般道路であるか否かに対応して適切に撮像手段の物体認識範囲の大きさを変えることが可能となる。よって、運転支援システムの機能を適切に実現できる。
(態様5)
(態様1)において、判定部よる判定結果は、任意に設定可能である。これによれば、上記実施形態について説明したように、運転手がマニュアルで、現在自車両が走行している道路が一般道路であるか否かを判定する。これにより、適切に撮像手段の物体認識範囲を変えることが可能となる。よって、運転支援システムの機能を適切に実現できる。
(態様6)
(態様1)において、自車両の移動体情報を取得する移動体情報取得部と、自車両が到達する位置までの到達距離を予測するために用いる時間を設定する到達時間設定部と、移動体情報取得部と到達時間設定部から、設定された到達時間で自車両が到達する距離を予測する到達距離予測部と、到達距離予測部から得た予測到達距離を用いて物体認識範囲の大きさを算出する物体認識範囲算出部と、到達距離予測部から得た予測到達距離を用いて認識処理を行う認識処理部と、撮像手段で撮像された物体認識範囲内の物体と撮像手段との間の距離を算出し、判定部の判定結果と物体認識範囲算出部の物体認識範囲に基づいて距離画像を生成する距離画像生成部とを有する。これによれば、上記実施形態について説明したように、移動体情報取得部203は、自車両の移動速度を取得する。到達距離予測部204は、移動体情報取得部203で取得した移動速度と到達時間設定部205で設定した時間を乗算することにより、設定された時間における到達距離を予測する。到達時間設定部205は、到達距離予測部204での到達距離の予測に用いる時間を設定する。距離演算領域算出部206は、到達距離予測部204で取得した予測距離に応じて、距離演算領域を算出する。物体認識処理部208は、距離画像生成部207で生成した視差画像を用いて、物体の認識処理を行う。これにより、自車両が走行している道路が一般道路であるか否かに対応して適切に撮像手段の物体認識範囲の大きさを変化することが可能となる。よって、運転支援システムの機能を適切に実現できる。
(態様7)
(態様1)において、距離演算範囲算出部は、距離と該距離に対応する認識対象範囲とが記憶されたテーブル情報を用いて算出する。これによれば、上記実施形態について説明したように、演算処理の負担を軽減できる。
What has been described above is merely an example, and the present invention has a specific effect for each of the following modes.
(Aspect 1)
A determination unit that determines whether or not the road on which the host vehicle is traveling is a general road, and changes the size of the object recognition range according to a determination result by the determination unit. According to this, as described in the above embodiment, when the determination result of the determination unit 202 indicates that the road on which the host vehicle is traveling is a general road, for example, there is a possibility that a pedestrian may jump out to the traveling roadway. The size of the range is increased so that a pedestrian who has jumped out to the traveling roadway enters the object recognition range. Thereby, the pedestrian who jumped out can be recognized, and the function of a driver support system for a pedestrian, for example, an automatic brake function and an alarm function can be realized. Therefore, the function of the driving support system can be appropriately realized by changing the size of the object recognition range depending on the moving body information of the host vehicle and whether the road on which the host vehicle is traveling is a general road.
(Aspect 2)
In (Aspect 1), a GPS data acquisition unit that acquires GPS data is provided, and the determination unit determines whether or not the road on which the vehicle is traveling is a general road based on the GPS data acquired by the GPS data acquisition unit. Determine whether. According to this, as described in the first modification of the above embodiment, the determination unit 303 determines whether the current point is an automobile-only road such as an expressway or not based on position information. This makes it possible to appropriately change the object recognition range of the imaging means depending on whether the road on which the host vehicle is traveling is a general road. Therefore, the function of the driving support system can be appropriately realized.
(Aspect 3)
In (Aspect 1), the determination unit determines the moving scene based on the frequency of stepping on the brake of the host vehicle. According to this, as described in the second modification of the above-described embodiment, vehicle information indicating the state of the host vehicle output from the vehicle body, for example, CAN data is received, and the host vehicle is detected from the vehicle information by the determination unit 403. It is determined whether or not the traveling road is a general road. In the vehicle information, it is determined whether or not the road is a general road at a frequency that the driver steps on the brake. This makes it possible to appropriately change the object recognition range of the imaging unit depending on whether or not the road on which the host vehicle is traveling is a general road. Therefore, the function of the driving support system can be appropriately realized.
(Aspect 4)
In (Aspect 1), the determination unit determines whether the road is a general road based on the object recognition result of the captured image. According to this, as described in the third modification of the above embodiment, the road on which the vehicle is traveling by the determination unit 503 is determined based on the result of the traffic recognition and the road width recognized by the object recognition processing unit 504. It is determined whether the road is a general road. Accordingly, it is possible to appropriately change the size of the object recognition range of the imaging unit in accordance with whether the road on which the host vehicle is traveling is a general road. Therefore, the function of the driving support system can be appropriately realized.
(Aspect 5)
In (Aspect 1), the determination result by the determination unit can be arbitrarily set. According to this, as described in the above embodiment, it is determined whether the driver is a manual and the road on which the vehicle is currently traveling is a general road. This makes it possible to appropriately change the object recognition range of the imaging unit. Therefore, the function of the driving support system can be appropriately realized.
(Aspect 6)
In (Aspect 1), a moving body information acquisition unit that acquires moving body information of the host vehicle, an arrival time setting unit that sets a time used to predict a reach distance to the position where the host vehicle reaches, and a moving body From the information acquisition unit and the arrival time setting unit, the arrival distance prediction unit that predicts the distance that the host vehicle will reach with the set arrival time, and the size of the object recognition range using the predicted arrival distance obtained from the arrival distance prediction unit Between the object recognition range calculation unit that calculates the image, the recognition processing unit that performs the recognition process using the predicted arrival distance obtained from the arrival distance prediction unit, and the object within the object recognition range captured by the imaging unit and the imaging unit And a distance image generation unit that generates a distance image based on the determination result of the determination unit and the object recognition range of the object recognition range calculation unit. According to this, as described in the above embodiment, the moving body information acquisition unit 203 acquires the moving speed of the host vehicle. The arrival distance prediction unit 204 predicts the arrival distance at the set time by multiplying the movement speed acquired by the moving body information acquisition unit 203 by the time set by the arrival time setting unit 205. The arrival time setting unit 205 sets the time used for the arrival distance prediction in the arrival distance prediction unit 204. The distance calculation area calculation unit 206 calculates a distance calculation area according to the predicted distance acquired by the reach distance prediction unit 204. The object recognition processing unit 208 performs object recognition processing using the parallax image generated by the distance image generation unit 207. Accordingly, it is possible to appropriately change the size of the object recognition range of the imaging unit in accordance with whether or not the road on which the host vehicle is traveling is a general road. Therefore, the function of the driving support system can be appropriately realized.
(Aspect 7)
In (Aspect 1), the distance calculation range calculation unit calculates using the table information in which the distance and the recognition target range corresponding to the distance are stored. According to this, as described in the above embodiment, it is possible to reduce the burden of arithmetic processing.

100 自車両
101 撮像ユニット
102 画像解析ユニット
103 ヘッドランプ制御ユニット
104 ヘッドランプ
105 フロントガラス
106 車両走行制御ユニット
200 画像処理装置
201 ステレオ撮像部
202 判定部
203 移動体情報取得部
204 到達距離予測部
205 到達時間設定部
206 距離演算領域算出部
207 距離画像生成部
208 物体認識処理部
301 ステレオ撮像部
302 GPSデータ取得部
303 判定部
304 距離画像生成部
305 物体認識処理部
401 ステレオ撮像部
402 車両情報取得部
403 判定部
404 距離画像生成部
405 物体認識処理部
501 ステレオ撮像部
502 距離画像生成部
503 判定部
504 物体認識処理部
DESCRIPTION OF SYMBOLS 100 Own vehicle 101 Imaging unit 102 Image analysis unit 103 Headlamp control unit 104 Headlamp 105 Windshield 106 Vehicle travel control unit 200 Image processing apparatus 201 Stereo imaging unit 202 Determination unit 203 Moving body information acquisition unit 204 Reach distance prediction unit 205 Time setting unit 206 Distance calculation area calculation unit 207 Distance image generation unit 208 Object recognition processing unit 301 Stereo imaging unit 302 GPS data acquisition unit 303 Determination unit 304 Distance image generation unit 305 Object recognition processing unit 401 Stereo imaging unit 402 Vehicle information acquisition unit 403 determination unit 404 distance image generation unit 405 object recognition processing unit 501 stereo imaging unit 502 distance image generation unit 503 determination unit 504 object recognition processing unit

特開2006‐322796号公報JP 2006-322796 A

Claims (7)

自車両の移動体情報に基づいて、撮像手段により撮像した撮像画像上に自車両の前方の物体を認識するための物体認識範囲を設定する画像処理装置において、
自車両が走行している道路が一般道路であるか否かを判定する判定部を有し、該判定部による判定結果に応じて前記物体認識範囲の大きさを変えることを特徴とする画像処理装置。
In an image processing apparatus that sets an object recognition range for recognizing an object ahead of the host vehicle on a captured image captured by the imaging unit based on the moving body information of the host vehicle.
An image processing comprising: a determination unit that determines whether a road on which the host vehicle is traveling is a general road, and changing a size of the object recognition range according to a determination result by the determination unit apparatus.
請求項1記載の画像処理装置において、
GPSデータを取得するGPSデータ取得部を有し、前記判定部は、前記GPSデータ取得部により取得した前記GPSデータに基づいて自車両が走行している道路が一般道路であるか否かを判定することを特徴とする画像処理装置。
The image processing apparatus according to claim 1.
A GPS data acquisition unit that acquires GPS data is included, and the determination unit determines whether the road on which the vehicle is traveling is a general road based on the GPS data acquired by the GPS data acquisition unit An image processing apparatus.
請求項1又は2に記載の画像処理装置において、
前記判定部は、自車両のブレーキを踏む頻度に基づいて自車両が走行している道路が一般道路であるか否かを判定することを特徴とする画像処理装置。
The image processing apparatus according to claim 1 or 2,
The determination unit determines whether or not the road on which the host vehicle is traveling is a general road based on the frequency of stepping on the brake of the host vehicle.
請求項1〜3のいずれかに記載の画像処理装置において、
前記判定部は、撮像画像の物体認識結果に基づいて自車両が走行している道路が一般道路であるか否かを判定することを特徴とする画像処理装置。
The image processing apparatus according to any one of claims 1 to 3,
The determination unit determines whether or not a road on which the host vehicle is traveling is a general road based on an object recognition result of a captured image.
請求項1〜4のいずれかに記載の画像処理装置において、
前記判定部よる判定結果は、任意に設定可能であることを特徴とする画像処理装置。
The image processing apparatus according to any one of claims 1 to 4,
An image processing apparatus, wherein the determination result by the determination unit can be arbitrarily set.
請求項1記載の画像処理装置において、
前記自車両の移動体情報を取得する移動体情報取得部と、自車両が到達する位置までの到達距離を予測するために用いる時間を設定する到達時間設定部と、前記移動体情報取得部と前記到達時間設定部から、設定された到達時間で前記自車両が到達する距離を予測する到達距離予測部と、前記到達距離予測部から得た予測到達距離を用いて物体認識範囲の大きさを算出する物体認識範囲算出部と、前記到達距離予測部から得た予測到達距離を用いて認識処理を行う認識処理部と、前記撮像手段で撮像された物体認識範囲内の物体と前記撮像手段との間の距離を算出し、前記判定部の判定結果と前記物体認識範囲算出部の物体認識範囲に基づいて距離画像を生成する距離画像生成部とを有することを特徴とする画像処理装置。
The image processing apparatus according to claim 1.
A moving body information acquisition unit that acquires moving body information of the host vehicle, an arrival time setting unit that sets a time used to predict a reach distance to a position where the host vehicle reaches, and the moving body information acquisition unit; From the arrival time setting unit, the arrival distance prediction unit that predicts the distance that the host vehicle will reach in the set arrival time, and the size of the object recognition range using the predicted arrival distance obtained from the arrival distance prediction unit An object recognition range calculation unit to calculate, a recognition processing unit that performs a recognition process using the predicted arrival distance obtained from the arrival distance prediction unit, an object in the object recognition range imaged by the imaging unit, and the imaging unit And a distance image generation unit that generates a distance image based on a determination result of the determination unit and an object recognition range of the object recognition range calculation unit.
請求項6記載の画像処理装置において、
前記物体認識範囲算出部は、距離と該距離に対応する認識対象範囲とが記憶されたテーブル情報を用いて算出することを特徴とする画像処理装置。
The image processing apparatus according to claim 6.
The object recognition range calculation unit calculates the distance using table information in which a distance and a recognition target range corresponding to the distance are stored.
JP2012123937A 2012-05-31 2012-05-31 Image processing apparatus Pending JP2013250694A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012123937A JP2013250694A (en) 2012-05-31 2012-05-31 Image processing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012123937A JP2013250694A (en) 2012-05-31 2012-05-31 Image processing apparatus

Publications (1)

Publication Number Publication Date
JP2013250694A true JP2013250694A (en) 2013-12-12

Family

ID=49849338

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012123937A Pending JP2013250694A (en) 2012-05-31 2012-05-31 Image processing apparatus

Country Status (1)

Country Link
JP (1) JP2013250694A (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015225450A (en) * 2014-05-27 2015-12-14 村田機械株式会社 Autonomous traveling vehicle, and object recognition method in autonomous traveling vehicle
WO2016063309A1 (en) * 2014-10-20 2016-04-28 日産ライトトラック株式会社 Obstacle detecting device and obstacle detecting method
WO2017065171A1 (en) * 2015-10-14 2017-04-20 東芝ライフスタイル株式会社 Electric vacuum cleaner
CN113711285A (en) * 2019-04-12 2021-11-26 株式会社电装 Road type determination device and driving support device

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015225450A (en) * 2014-05-27 2015-12-14 村田機械株式会社 Autonomous traveling vehicle, and object recognition method in autonomous traveling vehicle
WO2016063309A1 (en) * 2014-10-20 2016-04-28 日産ライトトラック株式会社 Obstacle detecting device and obstacle detecting method
WO2017065171A1 (en) * 2015-10-14 2017-04-20 東芝ライフスタイル株式会社 Electric vacuum cleaner
JP2017074191A (en) * 2015-10-14 2017-04-20 東芝ライフスタイル株式会社 Vacuum cleaner
KR20170065620A (en) * 2015-10-14 2017-06-13 도시바 라이프스타일 가부시키가이샤 Electrical vacuum cleaner
CN106998983A (en) * 2015-10-14 2017-08-01 东芝生活电器株式会社 Electric dust collector
KR102001422B1 (en) * 2015-10-14 2019-07-18 도시바 라이프스타일 가부시키가이샤 Electrical vacuum cleaner
CN106998983B (en) * 2015-10-14 2020-06-09 东芝生活电器株式会社 Electric vacuum cleaner
US10932635B2 (en) 2015-10-14 2021-03-02 Toshiba Lifestyle Products & Services Corporation Vacuum cleaner
CN113711285A (en) * 2019-04-12 2021-11-26 株式会社电装 Road type determination device and driving support device
CN113711285B (en) * 2019-04-12 2023-10-31 株式会社电装 Road type determination device and driving support device

Similar Documents

Publication Publication Date Title
US10755559B2 (en) Vehicular vision and alert system
KR101650266B1 (en) Road surface slope-identifying device, method of identifying road surface slope, and computer program for causing computer to execute road surface slope identification
JP5863536B2 (en) Outside monitoring device
US20180302551A1 (en) Signal processing apparatus and imaging apparatus
JP6376429B2 (en) Target point arrival detection device, target point arrival detection program, mobile device control system, and mobile
EP2669844B1 (en) Level Difference Recognition System Installed in Vehicle and Recognition Method executed by the Level Difference Recognition System
KR20180064531A (en) Method and apparatus for parking space detection
US10848660B2 (en) Imaging apparatus, imaging module, and control method of imaging apparatus
CN110073652B (en) Image forming apparatus and method of controlling the same
JP2015139128A (en) Vehicular periphery monitoring device
JP2013250907A (en) Parallax calculation device, parallax calculation method and parallax calculation program
JP7144926B2 (en) IMAGING CONTROL DEVICE, IMAGING DEVICE, AND CONTROL METHOD OF IMAGING CONTROL DEVICE
JP2013250694A (en) Image processing apparatus
JP2014026396A (en) Movable surface boundary line recognition device, movable body having movable surface boundary line recognition device, movable surface boundary line recognition method, and movable surface boundary line recognition program
EP2674893A2 (en) Travelable area recognition system, travelable area recognition method, travelable area recognition program executed on the travelable area recognition system, and recording medium storing travelable area recognition program
KR20180117597A (en) Image processing apparatus, image processing method, computer program and electronic apparatus
WO2019058755A1 (en) Object distance detection device
JP5723561B2 (en) Driving assistance device
WO2020009172A1 (en) Camera
JP2013161187A (en) Object recognition device
JP2020009386A (en) Periphery recognition deice and on-vehicle camera system
JP7554699B2 (en) IMAGE PROCESSING APPARATUS, IMAGE PROCESSING METHOD, VEHICLE CONTROL APPARATUS, AND PROGRAM
US11201997B2 (en) Solid-state imaging device, driving method, and electronic apparatus
JP2020013096A (en) camera
JP2013161188A (en) Object recognition device