Nothing Special   »   [go: up one dir, main page]

JP6190210B2 - Headlight control device - Google Patents

Headlight control device Download PDF

Info

Publication number
JP6190210B2
JP6190210B2 JP2013175166A JP2013175166A JP6190210B2 JP 6190210 B2 JP6190210 B2 JP 6190210B2 JP 2013175166 A JP2013175166 A JP 2013175166A JP 2013175166 A JP2013175166 A JP 2013175166A JP 6190210 B2 JP6190210 B2 JP 6190210B2
Authority
JP
Japan
Prior art keywords
vehicle
light source
gradient
horizontal line
headlamp
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2013175166A
Other languages
Japanese (ja)
Other versions
JP2015044426A (en
Inventor
勇人 青木
勇人 青木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Subaru Corp
Original Assignee
Subaru Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Subaru Corp filed Critical Subaru Corp
Priority to JP2013175166A priority Critical patent/JP6190210B2/en
Publication of JP2015044426A publication Critical patent/JP2015044426A/en
Application granted granted Critical
Publication of JP6190210B2 publication Critical patent/JP6190210B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Lighting Device Outwards From Vehicle And Optical Signal (AREA)

Description

本発明は、自車両前方の状況を検出して配光パターンを自動的に切り替える前照灯制御装置に関し、特に自車両前方で道路の勾配が変化する場合であっても前方車両を適切に検出可能なものに関する。   The present invention relates to a headlamp control device that detects a situation in front of a host vehicle and automatically switches a light distribution pattern, and particularly appropriately detects a front vehicle even when a road gradient changes in front of the host vehicle. Regarding what is possible.

自動車等の車両の前照灯は、一般的に走行用ビーム(ハイビーム)と、すれ違い用ビーム(ロービーム)とを切り換え可能、又は、走行用ビームをすれ違い用ビームとは独立して消灯可能となっている。
近年、自車両前方の状況をカメラやレーダ等によって認識し、グレア(眩輝)が問題となり得る対向車、先行車等の前方車両を検出した場合には、自動的にハイビームからロービームへ切り替える機能(オートハイビーム機能)が提案されている。
In general, a headlight of a vehicle such as an automobile can be switched between a traveling beam (high beam) and a passing beam (low beam), or the traveling beam can be turned off independently of the passing beam. ing.
In recent years, the situation in front of the host vehicle is recognized by a camera, radar, etc., and when a front vehicle such as an oncoming vehicle or a preceding vehicle where glare (dazzle) can be a problem is detected, it automatically switches from high beam to low beam (Auto high beam function) has been proposed.

このようなオートハイビームに関する従来技術として、例えば特許文献1には、車載カメラ等によって前方車両を検出してハイビーム用配光パターン、ロービーム用配光パターンの切り替えを行う車両用前照灯において、カメラ等の画角外(死角)から対向車が接近する急カーブ路の走行時に、対向車検出が成立せず対向車にグレアを与えることを防止するため、前方車両の検出有無に関わらずロービーム用配光パターンを選択することが記載されている。   As a conventional technique related to such an auto high beam, for example, in Japanese Patent Application Laid-Open No. 2003-260260, a vehicle headlamp that detects a forward vehicle by an in-vehicle camera or the like and switches between a high beam light distribution pattern and a low beam light distribution pattern For driving on a low beam regardless of the presence or absence of the detection of the preceding vehicle in order to prevent the oncoming vehicle from being detected and glare on the oncoming vehicle when traveling on a sharply curved road where the oncoming vehicle approaches from outside the angle of view (dead angle) The selection of a light distribution pattern is described.

また、オートハイビーム制御を行なう場合、前方車両の光源を精度よく識別することが重要となる。
こうした光源識別に関する従来技術として、例えば特許文献2には、光源が移動光源であるか静止光源であるかを識別してオートハイビーム制御に反映させることが記載されている。
Also, when performing auto high beam control, it is important to accurately identify the light source of the vehicle ahead.
As a conventional technique related to such light source identification, for example, Patent Document 2 describes that a light source is identified as a moving light source or a stationary light source and reflected in auto high beam control.

特開2011−255826号公報JP 2011-255826 A 特許第3660877号Patent No. 3660877

上述したようなオートハイビーム機能を有する前照灯制御装置においては、自車両前方を撮像した画像内に地面と空間との境目である水平ラインを設定し、水平ラインよりも下方で所定の軌跡を示す高輝度画素群を対向車、先行車等の前方車両であると認識する。
しかし、自車両の前方で路面の勾配が谷のように変化する場合、前方車両が水平ラインよりも上方に撮像される場合などが生じ、前方車両の認識が遅れてハイビームの消灯が遅れ、前方車両にグレアを与えることが懸念される。
本発明の課題は、自車両前方で道路の勾配が変化する場合であっても前方車両を適切に検出可能な前照灯制御装置を提供することである。
In the headlight control device having the above-described auto high beam function, a horizontal line that is a boundary between the ground and space is set in an image obtained by imaging the front of the host vehicle, and a predetermined locus is set below the horizontal line. The high luminance pixel group shown is recognized as a forward vehicle such as an oncoming vehicle or a preceding vehicle.
However, when the road surface slope changes like a valley in front of the host vehicle, the forward vehicle may be imaged above the horizontal line, etc. There is concern about glare on the vehicle.
The subject of this invention is providing the headlamp control apparatus which can detect a front vehicle appropriately, even if it is a case where the gradient of a road changes ahead of the own vehicle.

本発明は、以下のような解決手段により、上述した課題を解決する
The present invention solves the above-described problems by the following means .

請求項に係る発明は、自車両前方を照射する前照灯の配光パターンを自動的に切り替える前照灯制御装置であって、自車両前方の画像を逐次撮像する撮像手段と、前記撮像手段が逐次撮像した画像から他車両の光源を認識する他車両認識手段と、前記他車両認識手段による他車両の光源の認識に応じて他車両への眩惑が抑制されるよう前記配光パターンを切り替える配光制御手段とを備える前照灯制御装置であって、自車両が走行中の車線における自車両前方の路面の勾配の現在走行中の路面の勾配に対する変化を検出する勾配変化検出手段を備え、前記他車両認識手段は、前記画像内に所定の水平ラインを設定し、前記水平ラインよりも下方で予め設定された条件を充足する高輝度画素群を他車両であると認識するとともに、前記勾配変化検出手段が上り方向への勾配変化を検出した場合には前記水平ラインを平地走行時に対して上方にオフセットし、下り方向への勾配変化を検出した場合には前記水平ラインを平地走行時に対して下方にオフセットすることを特徴とする前照灯制御装置である。
これによれば、自車両前方の勾配変化に応じて水平ラインを上方、下方にオフセットすることによって、水平ラインを適切に設定し、勾配変化検出手段が上り方向への勾配変化を検出した場合には前記水平ラインを平地走行時に対して上方にオフセットすることによって、平地走行時における前方車両検出領域の上方に存在する前方車両を適切に検出することが可能となる。
一方、下り方向への勾配変化を検出した場合には前記水平ラインを平地走行時に対して下方にオフセットすることによって、地面よりも上方に存在する街灯等の光源が平地走行時における前方車両検出領域に入って前方車両と誤認識されることを防止できる。
The invention according to claim 1 is a headlamp control device that automatically switches the light distribution pattern of a headlamp that illuminates the front of the host vehicle, the imaging means for sequentially capturing images in front of the host vehicle, and the imaging The other light recognition means for recognizing the light source of the other vehicle from the images sequentially picked up by the means, and the light distribution pattern so that dazzling to the other vehicle is suppressed according to the recognition of the light source of the other vehicle by the other vehicle recognition means. A headlamp control device comprising a light distribution control means for switching, and a gradient change detecting means for detecting a change of a slope of a road surface ahead of the host vehicle in a lane in which the host vehicle is traveling with respect to a slope of the currently traveling road surface. The other vehicle recognition means sets a predetermined horizontal line in the image and recognizes a high-luminance pixel group satisfying a preset condition below the horizontal line as an other vehicle, The gradient change When the detecting means detects a change in gradient in the upward direction, the horizontal line is offset upward with respect to traveling on flat ground, and when the gradient change in the downward direction is detected, the horizontal line is offset with respect to traveling on flat ground. The headlamp control device is characterized by being offset downward.
According to this, when the horizontal line is appropriately set by offsetting the horizontal line upward and downward according to the gradient change ahead of the host vehicle, and the gradient change detecting means detects the gradient change in the upward direction. By offsetting the horizontal line upward with respect to traveling on flat ground, it becomes possible to appropriately detect the forward vehicle existing above the forward vehicle detection area during traveling on flat ground.
On the other hand, when a change in gradient in the downward direction is detected, the horizontal line is offset downward with respect to traveling on flat ground, so that a light source such as a street lamp existing above the ground is in front vehicle detection area when traveling on flat ground. It is possible to prevent the vehicle from being mistakenly recognized as a vehicle ahead.

請求項に係る発明は、前記撮像手段は撮像された光源の自車両に対する相対距離を逐次検出可能なステレオカメラを有し、前記他車両認識手段は、前記光源の自車両に対する相対距離の推移に基づいて前記他車両の光源を認識することを特徴とする請求項1に記載の前照灯制御装置である。
これによれば、検出された光源が対向車、先行車等の移動光源であるか、街灯などの固定光源であるかを精度よく判別することができる。
According to a second aspect of the present invention, the imaging means has a stereo camera capable of sequentially detecting the relative distance of the imaged light source to the own vehicle, and the other vehicle recognition means is a transition of the relative distance of the light source to the own vehicle. The headlamp control device according to claim 1, wherein a light source of the other vehicle is recognized based on the headlight.
According to this, it is possible to accurately determine whether the detected light source is a moving light source such as an oncoming vehicle or a preceding vehicle or a fixed light source such as a streetlight.

以上説明したように、本発明によれば、自車両前方で道路の勾配が変化する場合であっても前方車両を適切に検出可能な前照灯制御装置を提供することができる。   As described above, according to the present invention, it is possible to provide a headlamp control device that can appropriately detect a preceding vehicle even when the road gradient changes in front of the host vehicle.

本発明を適用した前照灯制御装置の実施例1の構成を示すブロック図である。It is a block diagram which shows the structure of Example 1 of the headlamp control apparatus to which this invention is applied. 実施例1の前照灯制御装置における自車両前方の画像の一例を模式的に示す図である。It is a figure which shows typically an example of the image ahead of the own vehicle in the headlamp control apparatus of Example 1. FIG. 実施例1の前照灯制御装置におけるオートハイビーム制御を示すフローチャートである。It is a flowchart which shows the auto high beam control in the headlamp control apparatus of Example 1. FIG. 自車両が下り坂を走行している場合における対向車との位置関係と、撮像画像上の対向車位置及び水平ライン補正を示す模式図である。It is a schematic diagram which shows the positional relationship with an oncoming vehicle, the oncoming vehicle position on a captured image, and horizontal line correction | amendment when the own vehicle is drive | working the downhill. 自車両が上り坂を走行している場合における対向車との位置関係と、撮像画像上の対向車位置及び水平ライン補正を示す模式図である。It is a schematic diagram which shows the positional relationship with an oncoming vehicle, the oncoming vehicle position on a captured image, and horizontal line correction | amendment when the own vehicle is driving | running the uphill.

本発明は、自車両前方で道路の勾配が変化する場合であっても前方車両を適切に検出可能な前照灯制御装置を提供する課題を、自車両が走行している路面の勾配、又は、自車両前方での勾配の変化に応じて、撮像画像内に設定される水平ラインを上下方向にオフセット補正することによって解決した。   The present invention aims to provide a headlight control device capable of appropriately detecting a front vehicle even when the road gradient changes in front of the host vehicle, the road surface gradient on which the host vehicle is traveling, or The problem was solved by offset-correcting the horizontal line set in the captured image in accordance with the change in the gradient in front of the host vehicle.

以下、本発明を適用した前照灯制御装置の実施例1について説明する。
実施例1の前照灯制御装置は、例えば乗用車等の自動車の車体前部に設けられ、自車両前方の所定の領域を照射する前照灯を制御するものである。
Embodiment 1 of a headlamp control apparatus to which the present invention is applied will be described below.
The headlamp control device according to the first embodiment is provided at the front of a vehicle body of an automobile such as a passenger car, for example, and controls a headlamp that irradiates a predetermined area in front of the host vehicle.

図1は、実施例の前照灯制御装置の構成を示すブロック図である。
図1に示すように、前照灯制御装置1は、左側前照灯11、右側前照灯12、コントローラ20、前照灯ユニット30、カメラユニット40、走行情報検出ユニット50、勾配検出手段60等を有して構成されている。
FIG. 1 is a block diagram illustrating a configuration of a headlamp control apparatus according to an embodiment.
As shown in FIG. 1, the headlamp control device 1 includes a left headlamp 11, a right headlamp 12, a controller 20, a headlamp unit 30, a camera unit 40, a travel information detection unit 50, and a gradient detection means 60. Etc. are configured.

左側前照灯11、右側前照灯12は、車体前部の左右にそれぞれ設けられている。
左側前照灯11、右側前照灯12は、自車両前方を例えば100m以上前方まで照射するハイビーム(走行用ビーム)、及び、自車両前方を例えば40m程度前方まで照射するロービーム(すれ違い用ビーム)を選択可能となっている。
左側前照灯11、右側前照灯12は、ハイビーム用、ロービーム用として例えばLED等の光源と、光源が発生する光を所定の配光パターンで投光するプロジェクタ型又はリフレクタ型の光学系等をそれぞれ有する。
ハイビーム用、ロービーム用の光源は独立して点灯、消灯が可能となっており、ハイビーム点灯時にはロービームも同時点灯されるようになっている。
The left headlamp 11 and the right headlamp 12 are provided on the left and right of the front part of the vehicle body, respectively.
The left headlight 11 and the right headlamp 12 are, for example, a high beam (traveling beam) that irradiates the front of the host vehicle to, for example, 100 m or more, and a low beam (passing beam) that irradiates the front of the host vehicle, for example, by about 40 m. Can be selected.
The left headlight 11 and the right headlight 12 are, for example, a light source such as an LED for high beam and low beam, and a projector-type or reflector-type optical system that projects light generated by the light source in a predetermined light distribution pattern. Respectively.
The light source for high beam and low beam can be turned on and off independently, and the low beam is also turned on simultaneously when the high beam is turned on.

コントローラ20は、図示しないバッテリ等の電源から供給される電力を、左側前照灯11、右側前照灯12の各光源に供給するものである。
コントローラ20は、前照灯制御ユニット30からの制御信号に応じて、左側前照灯11、右側前照灯12のハイビーム用光源、ロービーム用光源をそれぞれ点灯、消灯させる。
The controller 20 supplies power supplied from a power source such as a battery (not shown) to the light sources of the left headlight 11 and the right headlamp 12.
The controller 20 turns on and off the high beam light source and the low beam light source of the left headlamp 11 and the right headlamp 12 in accordance with a control signal from the headlamp control unit 30.

前照灯制御ユニット30は、車体に設けられる各種電装品を統括的に制御する情報処理装置である。
前照灯制御ユニット30は、CPU等の情報処理装置、RAMやROM等の記憶手段、入出力インターフェイス及びこれらを接続するバス等を有して構成されている。
前照灯制御ユニット30は、コントローラ20に制御信号を与え、左側前照灯11、右側前照灯12のハイビーム点灯、ロービーム点灯、消灯を切り替える機能を有する。
The headlamp control unit 30 is an information processing apparatus that comprehensively controls various electrical components provided on the vehicle body.
The headlamp control unit 30 includes an information processing device such as a CPU, storage means such as a RAM and a ROM, an input / output interface, a bus connecting these, and the like.
The headlight control unit 30 has a function of giving a control signal to the controller 20 and switching the left headlight 11 and the right headlight 12 between high beam lighting, low beam lighting, and extinguishing.

前照灯制御ユニット30には、スイッチ31、照度センサ32等が接続されている。
スイッチ31は、例えば、車室内のステアリングコラム部等に設けられ、ドライバが前照灯を操作する操作入力手段である。
スイッチ31は、例えば、オフ(消灯)、ロービーム点灯、ハイビーム点灯の手動選択のほか、オートモードの選択が可能となっている。
オートモードは、車両外部の明暗等を検出して、前照灯を自動的に点灯、消灯させるものである。
A switch 31, an illuminance sensor 32, and the like are connected to the headlamp control unit 30.
The switch 31 is, for example, an operation input means that is provided in a steering column portion or the like in the vehicle interior and that allows the driver to operate the headlamp.
For example, the switch 31 can select the auto mode in addition to manual selection of off (lights off), low beam lighting, and high beam lighting.
In the auto mode, the headlamp is automatically turned on and off by detecting light and darkness outside the vehicle.

また、オートモードは、さらにオートハイビームモードを備えている。
オートハイビームモードは、自車両前方をカメラユニット40で逐次撮像して得た時系列の画像に基づいて、対向車、先行車等の前方車両の灯火類(光源)の有無や市街地走行等を判別し、通常時はハイビーム点灯を行うとともに、所定範囲内に前方車両を検出したり、市街地走行を検出した場合には自動的にロービーム点灯に切り替えるものである。
前照灯制御ユニット30は、カメラユニット40等からの情報に基づいて他車両の光源を認識する他車両認識手段、その認識結果に応じてハイビーム点灯、ロービーム点灯を切り替える配光制御手段として機能する。
The auto mode further includes an auto high beam mode.
In the auto high beam mode, the presence or absence of lights (light sources) of front vehicles such as an oncoming vehicle and a preceding vehicle, and urban driving are determined based on time-series images obtained by sequentially capturing the front of the host vehicle with the camera unit 40. During normal times, high beam lighting is performed, and when a vehicle ahead is detected within a predetermined range or when traveling in an urban area is detected, the light beam is automatically switched to low beam lighting.
The headlamp control unit 30 functions as other vehicle recognition means for recognizing the light source of another vehicle based on information from the camera unit 40 or the like, and as a light distribution control means for switching between high beam lighting and low beam lighting according to the recognition result. .

照度センサ32は、車両外部の明るさを検出する明度センサである。
照度センサ32は、例えば、フロントウインドウガラスの周縁部における車室内に設けられている。
The illuminance sensor 32 is a brightness sensor that detects the brightness outside the vehicle.
The illuminance sensor 32 is provided, for example, in the passenger compartment at the peripheral edge of the front window glass.

カメラユニット40は、例えば車幅方向に離間して配置された一対のカメラによって自車両前方を撮像するステレオカメラ、及び、その撮像画像を画像処理するステレオ画像処理手段等を備えている。
カメラユニット40は、例えばCMOS、CCD等の固体撮像素子によって、所定の画角内に含まれる範囲内を所定のフレームレートで逐次撮像し、得られた時系列の画像データを順次前照灯制御ユニット30に提供する。
また、カメラユニット40は、公知のステレオ画像処理技術によって、特定の被写体に相当する画素群のステレオ画像上における視差に基づいて、三角測量の原理により、自車両から被写体までの相対距離を検出可能となっている。
カメラユニット40は、例えば、車室内におけるルームミラー基部(フロントウインドウガラス上端部)に隣接して設けられる。
The camera unit 40 includes, for example, a stereo camera that images the front of the host vehicle with a pair of cameras that are spaced apart in the vehicle width direction, and a stereo image processing unit that performs image processing on the captured image.
The camera unit 40 sequentially captures a range included in a predetermined angle of view at a predetermined frame rate by using a solid-state image sensor such as a CMOS or CCD, and sequentially controls the obtained time-series image data. Provide to unit 30.
Further, the camera unit 40 can detect the relative distance from the own vehicle to the subject by the principle of triangulation based on the parallax on the stereo image of the pixel group corresponding to the specific subject by a known stereo image processing technique. It has become.
For example, the camera unit 40 is provided adjacent to a room mirror base (upper end portion of the front window glass) in the vehicle interior.

走行情報検出ユニット50には、図示しない車速センサ、舵角センサ、車体横加速度センサ、車体ヨーレートセンサ等が接続されている。
走行情報検出ユニット50は、これらの各ユニットの出力に基づいて、車速、舵角(ハンドル角)、車体横加速度(横G)、車体ヨーレート等の車両状態に関する情報を前照灯制御ユニット30に提供する。
A vehicle speed sensor, a steering angle sensor, a vehicle body lateral acceleration sensor, a vehicle body yaw rate sensor, and the like (not shown) are connected to the travel information detection unit 50.
Based on the output of each of these units, the travel information detection unit 50 informs the headlamp control unit 30 of vehicle state information such as vehicle speed, rudder angle (handle angle), vehicle body lateral acceleration (lateral G), vehicle body yaw rate, etc. provide.

傾斜検出手段60は、自車両が走行中の路面の前後方向の勾配(傾斜)を検出するものである。
傾斜検出手段60は、例えば、車両前後方向の加速度を検出する加速度センサや、車両の変速機を統括的に制御する図示しないトランスミッション制御手段から取得される駆動トルク等に関する情報に基づいて、勾配を推定する推定手段等を有して構成されている。
The inclination detecting means 60 detects a gradient (inclination) in the front-rear direction of the road surface on which the host vehicle is traveling.
For example, the inclination detection unit 60 detects the gradient based on information on an acceleration sensor that detects acceleration in the longitudinal direction of the vehicle and transmission torque that is not shown in the figure, which is acquired from a transmission control unit (not shown) that comprehensively controls the transmission of the vehicle. It has an estimation means for estimation and the like.

次に、実施例の前照灯制御装置におけるオートハイビーム制御のための光源認識について説明する。
図2は、実施例の前照灯制御装置における自車両前方の画像の一例を模式的に示す図である。
画像100には、例えば、自車両走行車線101、対向車線102、ガードレール103、反射板104、街灯105、対向車106等にそれぞれ対応する画素群が含まれている。
Next, light source recognition for auto high beam control in the headlamp control apparatus of the embodiment will be described.
FIG. 2 is a diagram schematically illustrating an example of an image in front of the host vehicle in the headlamp control apparatus according to the embodiment.
The image 100 includes, for example, pixel groups corresponding to the own vehicle traveling lane 101, the oncoming lane 102, the guard rail 103, the reflector 104, the streetlight 105, the oncoming vehicle 106, and the like.

また、画像100において、画像処理における基準線である水平ラインHが設けられる。
水平ラインHは、路面部分と空間部との境目を示す線であり、画像100の中央部に水平方向に延在する。
夜間である場合には、画像100においては、主に光源に対応する画素群が検出される。
逐次撮像される画像100を時系列に比較した場合、自車両の左側に存在する反射板104、街灯105の光は、時間経過とともに画面中央部からそれぞれ左下方向、左上方向に変位していく。
また、自車両の右側(対向車線側)に存在する反射板104の光は、時間経過とともに画面中央部から右下方向へ変位する。
Further, in the image 100, a horizontal line H that is a reference line in image processing is provided.
The horizontal line H is a line indicating the boundary between the road surface portion and the space portion, and extends in the horizontal direction at the center of the image 100.
In the nighttime, in the image 100, a pixel group mainly corresponding to the light source is detected.
When the images 100 sequentially captured are compared in time series, the light from the reflector 104 and the street lamp 105 existing on the left side of the host vehicle is displaced in the lower left direction and the upper left direction from the center of the screen with time.
Moreover, the light of the reflecting plate 104 existing on the right side (opposite lane side) of the host vehicle is displaced from the center of the screen to the lower right direction with the passage of time.

これに対し、対向車106の前照灯は、他の光源に対して輝度が大きく、画面中央部から右下方向へ、水平ラインHよりも下方で変位することによって特徴付けられる。
前照灯制御ユニット30は、このような特徴に基づいて、対向車106を認識・検出可能となっている。
また、自車両前方の走行車線上でありかつ水平ラインHの下方に、テールランプに相当する赤色系の高輝度画素群が検出された場合には、先行車として認識する。
さらに、街灯105等の車両以外の光源が所定の基準以上に多く分布している場合には、市街地走行中であると判断し、前照灯制御ユニット30は、左側前照灯11、右側前照灯12をともにロービーム点灯とする。
On the other hand, the headlamp of the oncoming vehicle 106 is characterized by being brighter than other light sources and being displaced from the center of the screen in the lower right direction below the horizontal line H.
The headlamp control unit 30 can recognize and detect the oncoming vehicle 106 based on such characteristics.
When a red high-luminance pixel group corresponding to the tail lamp is detected on the traveling lane ahead of the host vehicle and below the horizontal line H, the vehicle is recognized as a preceding vehicle.
Further, when light sources other than the vehicle such as the street lamp 105 are distributed more than a predetermined reference, it is determined that the vehicle is traveling in the city, and the headlamp control unit 30 determines that the left headlamp 11 and the right front lamp Both the illumination lamps 12 are set to low beam lighting.

また、実施例1においては、自車両が走行中の路面の前後方向の勾配に応じて、水平ラインHを上下にオフセットする補正を行っている。
図3は、実施例の前照灯制御装置におけるオートハイビーム制御を示すフローチャートである。
以下、ステップ毎に順を追って説明する。
なお、初期状態においては左右前照灯11,12はハイビーム点灯状態となっている。
<ステップS01:光源検出>
前照灯制御ユニット30は、カメラユニット40が撮像した画像から、所定以上の輝度の画素群を光源として抽出する。
その後ステップS02に進む。
In the first embodiment, the horizontal line H is corrected to be offset up and down in accordance with the gradient in the front-rear direction of the road surface on which the host vehicle is traveling.
FIG. 3 is a flowchart showing auto high beam control in the headlight control apparatus of the embodiment.
Hereinafter, the steps will be described step by step.
In the initial state, the left and right headlamps 11 and 12 are in a high beam lighting state.
<Step S01: Light Source Detection>
The headlamp control unit 30 extracts a pixel group having a predetermined luminance or higher from the image captured by the camera unit 40 as a light source.
Thereafter, the process proceeds to step S02.

<ステップS02:勾配検出>
前照灯制御ユニット30は、勾配検出手段60から自車両が現在走行中の路面の勾配に関する情報を取得する。
この情報には、勾配の大きさに関するパラメータである勾配値に関する情報が含まれる。
その後、ステップS03に進む。
<Step S02: gradient detection>
The headlamp control unit 30 acquires information regarding the gradient of the road surface on which the host vehicle is currently traveling from the gradient detection means 60.
This information includes information regarding the gradient value, which is a parameter regarding the magnitude of the gradient.
Thereafter, the process proceeds to step S03.

<ステップS03:勾配判定>
前照灯制御ユニット30は、ステップS02において取得した勾配値が予め設定された所定値以上である場合には、勾配路走行中であると認識し、ステップS04及びステップS05にそれぞれ進む。
一方、勾配値が所定値未満である場合には、平地走行であると認識し、ステップS07に進む。
<Step S03: Slope determination>
The headlamp control unit 30 recognizes that the vehicle is traveling on a slope when the slope value acquired in step S02 is equal to or greater than a predetermined value, and proceeds to steps S04 and S05.
On the other hand, if the gradient value is less than the predetermined value, it is recognized that the vehicle is traveling on a flat ground, and the process proceeds to step S07.

<ステップS04:勾配値に応じた水平ラインオフセット>
前照灯制御ユニット30は、ステップS02において取得された勾配値に応じて、上述した光源認識において用いられる水平ラインHを上下方向にオフセットする補正を行う。
<Step S04: Horizontal line offset according to the gradient value>
The headlamp control unit 30 performs correction for offsetting the horizontal line H used in the above-described light source recognition in the vertical direction according to the gradient value acquired in step S02.

図4は、自車両が下り坂を走行している場合における対向車との位置関係と、撮像画像上の対向車位置及び水平ライン補正を示す模式図である。
図4(a)は、路面、自車両200及び対向車106の模式的側面視図であり、図4(b)は、撮像された画像の一例を示す模式図である(後述する図5において同様)。
図4(a)に示すように、自車両200が下り坂を走行している場合には、下り坂の前方に存在する平坦路は、自車両200の車両前後方向に対して、上方を見上げる方向に見えることになる。
仮にこのような領域を対向車106が走行している場合には、画像100内においては水平ラインHよりも上方に存在することになり、通常の光源認識では対向車106が接近して水平ラインHよりも下方となるまで対向車としての認識が成立せず、ハイビーム状態が維持されてグレアを与えることになってしまう。
そこで、実施例1においては、自車両200が下り坂を走行している場合には、勾配値に応じて、水平ラインHを上方へシフトさせる補正を行っている。
このシフト量は、勾配値の増加に応じて大きくなるように設定される。
FIG. 4 is a schematic diagram showing the positional relationship with the oncoming vehicle, the oncoming vehicle position on the captured image, and the horizontal line correction when the host vehicle is traveling downhill.
4A is a schematic side view of the road surface, the host vehicle 200, and the oncoming vehicle 106, and FIG. 4B is a schematic diagram illustrating an example of the captured image (in FIG. 5 described later). The same).
As shown in FIG. 4A, when the host vehicle 200 is traveling on a downhill, the flat road existing in front of the downhill looks up above the vehicle longitudinal direction of the host vehicle 200. You will see the direction.
If the oncoming vehicle 106 is traveling in such an area, the oncoming vehicle 106 exists above the horizontal line H in the image 100, and the oncoming vehicle 106 approaches the horizontal line in normal light source recognition. Recognition as an oncoming vehicle is not established until the vehicle is below H, and the high beam state is maintained and glare is imparted.
Thus, in the first embodiment, when the host vehicle 200 is traveling on a downhill, correction is performed to shift the horizontal line H upward according to the gradient value.
This shift amount is set so as to increase as the gradient value increases.

図5は、自車両が上り坂を走行している場合における対向車との位置関係と、撮像画像上の対向車位置及び水平ライン補正を示す模式図である。
図5(a)に示すように、自車両200が上り坂を走行している場合には、自車両前方の車線は、画像100上においては上り坂の終端付近までしか撮像されなくなり、それよりも遠方を走行する前方車両の撮像及び検出は実質的に不可能である。このため、水平ラインHを下方へオフセットさせたとしても、前方車両の検出性能に影響を与えることはない。
一方、図5(b)に示すように、上り坂の終端よりも遠方に存在する街灯105などの光源は、一部が平坦路走行時の水平ラインHよりも下方に撮像されることから、仮に水平ラインHの補正を行わずに光源認識を行った場合、これが前方車両であると誤認識されることが懸念される。
そこで、実施例1においては、自車両200が上り坂を走行している場合には、勾配値に応じて、水平ラインHを下方へシフトさせる補正を行っている。
このシフト量は、勾配値の増加に応じて大きくなるように設定される。
以上説明した水平ラインHのオフセットを行った後、ステップS07に進む。
FIG. 5 is a schematic diagram showing the positional relationship with the oncoming vehicle, the oncoming vehicle position on the captured image, and the horizontal line correction when the host vehicle is traveling uphill.
As shown in FIG. 5A, when the host vehicle 200 is traveling on an uphill, the lane ahead of the host vehicle is imaged only up to the vicinity of the end of the uphill on the image 100. However, it is practically impossible to capture and detect a forward vehicle traveling far away. For this reason, even if the horizontal line H is offset downward, the detection performance of the preceding vehicle is not affected.
On the other hand, as shown in FIG. 5 (b), a part of the light source such as the street lamp 105 existing farther from the end of the uphill is imaged below the horizontal line H when traveling on a flat road. If light source recognition is performed without correcting the horizontal line H, there is a concern that this may be erroneously recognized as a forward vehicle.
Therefore, in the first embodiment, when the host vehicle 200 is traveling uphill, correction is performed to shift the horizontal line H downward according to the gradient value.
This shift amount is set so as to increase as the gradient value increases.
After performing the offset of the horizontal line H described above, the process proceeds to step S07.

<ステップS05:光源相対距離計算>
カメラユニット20は、公知のステレオ画像処理によって、自車両から光源までの相対距離を検出し、前照灯制御ユニット30に逐次伝達する。
その後、ステップS06に進む。
<Step S05: Light Source Relative Distance Calculation>
The camera unit 20 detects the relative distance from the host vehicle to the light source by known stereo image processing, and sequentially transmits it to the headlamp control unit 30.
Thereafter, the process proceeds to step S06.

<ステップS06:動的光源判断>
前照灯制御ユニット30は、ステップS05において取得した自車両から光源までの相対距離の時間履歴に基づいて、光源の自車両に対する相対速度及び相対移動方向を算出する。
前照灯制御ユニット30は、光源の自車両に対する相対速度等、及び、走行情報検出ユニット50から提供される自車両の車速や旋回状態に基づいて、光源の対地移動速度及び方向を算出する。
そして、光源の対地移動速度が所定値以上である場合には、当該光源が対向車、先行車等の移動光源であると認識し、ステップS09に進む。
一方、光源の対地移動速度が所定値未満である場合には、街灯などの静止光源であると認識し、ステップS07に進む。
<Step S06: Dynamic Light Source Determination>
The headlamp control unit 30 calculates the relative speed and the relative movement direction of the light source with respect to the host vehicle based on the time history of the relative distance from the host vehicle to the light source acquired in step S05.
The headlamp control unit 30 calculates the ground movement speed and direction of the light source based on the relative speed of the light source with respect to the host vehicle and the vehicle speed and turning state of the host vehicle provided from the travel information detection unit 50.
And when the ground movement speed of a light source is more than predetermined value, it recognizes that the said light source is moving light sources, such as an oncoming vehicle and a preceding vehicle, and progresses to step S09.
On the other hand, when the ground moving speed of the light source is less than the predetermined value, the light source is recognized as a stationary light source such as a streetlight, and the process proceeds to step S07.

<ステップS07:通常車両検出>
前照灯制御ユニット30は、上述した通常の車両検出(光源認識)を行う。
その後、ステップS08に進む。
<Step S07: Normal vehicle detection>
The headlamp control unit 30 performs the above-described normal vehicle detection (light source recognition).
Thereafter, the process proceeds to step S08.

<ステップS08:前方車両判断>
前照灯制御ユニット30は、ステップS07において前方車両(対向車又は先行車)を検出した場合には、ステップS09に進み、前方車両を検出しなかった場合には、ステップS01に戻って以降の処理を繰り返す。
<Step S08: Forward vehicle judgment>
The headlamp control unit 30 proceeds to step S09 if a forward vehicle (an oncoming vehicle or a preceding vehicle) is detected in step S07, and returns to step S01 if no forward vehicle is detected. Repeat the process.

<ステップS09:ハイビーム消灯>
前照灯制御ユニット30は、コントローラ20に制御信号を出力し、左側前照灯11、右側前照灯12をともにハイビーム消灯かつロービーム点灯状態とする。
その後、一連の処理を終了(リターン)する。
<Step S09: High beam off>
The headlamp control unit 30 outputs a control signal to the controller 20 so that both the left headlamp 11 and the right headlamp 12 are turned off in a high beam and in a low beam.
Thereafter, the series of processing is terminated (returned).

以上説明した実施例1によれば、自車両200が下り勾配を有する路面を走行している場合には、水平ラインHを上方にオフセットすることによって、自車両200から見上げる方向に存在する前方車両を適切に検出することが可能となる。
これによって、前方車両を早期に発見してハイビーム消灯することができ、グレアを与えることを防止できる。
一方、自車両200が上り勾配を有する路面を走行している場合には、水平ラインHを下方にオフセットすることによって、地面よりも上方に存在する街灯105等の光源を前方車両と誤認識することを防止できる。
また、ステレオカメラを用いて光源の速度を検出することによって、検出された光源が対向車、先行車等の移動光源であるか、街灯などの固定光源であるかを精度よく判別することができる。
According to the first embodiment described above, when the host vehicle 200 is traveling on a road surface having a downward slope, the front vehicle existing in the direction of looking up from the host vehicle 200 by offsetting the horizontal line H upward. Can be detected appropriately.
As a result, the vehicle ahead can be found early and the high beam can be turned off, and glare can be prevented.
On the other hand, when the host vehicle 200 is traveling on an uphill road surface, by offsetting the horizontal line H downward, a light source such as a street lamp 105 existing above the ground is erroneously recognized as a preceding vehicle. Can be prevented.
In addition, by detecting the speed of the light source using a stereo camera, it is possible to accurately determine whether the detected light source is a moving light source such as an oncoming vehicle or a preceding vehicle or a fixed light source such as a streetlight. .

次に、本発明を適用した前照灯制御装置の実施例2について説明する。
以下、上述した実施例1と実質的に共通する箇所については同じ符号を付して説明を省略し、主に相違点について説明する。
実施例2の前照灯制御装置は、実施例1における勾配検出手段60に代えて、図示しないナビゲーション装置を用いて、自車両前方における自車両の走行車線の勾配の現在走行中の路面の勾配に対する変化を検出し、勾配の変化に応じて水平ラインHをオフセット補正するものである。
ナビゲーション装置は、車線形状、勾配を含む地形データ(地図データ)を保持するとともに、GPS等の自車両位置検出手段を備えている。
Next, a second embodiment of the headlamp control apparatus to which the present invention is applied will be described.
In the following, portions that are substantially the same as those of the first embodiment described above are denoted by the same reference numerals, description thereof is omitted, and differences are mainly described.
The headlamp control device according to the second embodiment uses a navigation device (not shown) instead of the gradient detection unit 60 according to the first embodiment, and the gradient of the road surface on which the vehicle is currently traveling is the gradient of the traveling lane of the vehicle ahead of the vehicle. Is detected, and the horizontal line H is offset-corrected in accordance with the change in gradient.
The navigation device holds terrain data (map data) including a lane shape and a gradient, and includes own vehicle position detection means such as GPS.

前照灯制御ユニット30は、自車両前方における勾配が、上り方向に変化する場合には、その変化量に応じて水平ラインHを上方にオフセットする補正を行う。
ここで、勾配が上り方向に変化するとは、例えば、現在下り坂を走行しており前方で平坦路となっている場合、現在下り坂を走行しており前方で傾斜が緩やかとなっている場合、現在下り坂又は平坦路を走行しており前方で上り坂となっている場合、現在上り坂を走行しており前方で傾斜が急となっている場合などが該当する。
When the gradient in front of the host vehicle changes in the upward direction, the headlamp control unit 30 performs correction for offsetting the horizontal line H upward according to the amount of change.
Here, when the slope changes in the upward direction, for example, when the vehicle is currently traveling on a downhill and is a flat road ahead, the vehicle is currently traveling on a downhill and the slope is gentle ahead For example, a case where the vehicle is currently traveling on a downhill or a flat road and is an uphill in front, a case where the vehicle is currently traveling on an uphill and the slope is steep in front, and the like.

一方、前照灯制御ユニット30は、自車両前方における勾配が、下り方向に変化する場合には、その変化量に応じて水平ラインHを下方にオフセットする補正を行う。
ここで、勾配が下り方向に変化するとは、例えば、現在上り坂を走行しており前方で平坦路となっている場合、現在上り坂を走行しており前方で傾斜が緩やかとなっている場合、現在上り坂又は平坦路を走行しており前方で下り坂となっている場合、現在下り坂を走行しており前方で傾斜が急となっている場合などが該当する。
On the other hand, when the gradient in front of the host vehicle changes in the downward direction, the headlamp control unit 30 performs correction for offsetting the horizontal line H downward according to the amount of change.
Here, when the slope changes in the downward direction, for example, when the vehicle is currently traveling uphill and is a flat road ahead, the vehicle is currently traveling uphill and the slope is gentle ahead For example, a case where the vehicle is currently traveling on an uphill or a flat road and has a downhill in front, a case where the vehicle is currently traveling on a downhill, and the slope is steep in front is applicable.

以上説明した実施例2によれば、自車両前方の勾配変化に応じて水平ラインHを上方、下方にオフセットすることによって、水平ラインHを適切に設定し、上述した実施例1の効果と実質的に同様の効果をより確実に得ることができる。   According to the second embodiment described above, the horizontal line H is appropriately set by offsetting the horizontal line H upward and downward in accordance with the gradient change in front of the host vehicle. Therefore, the same effect can be obtained more reliably.

(変形例)
本発明は、以上説明した実施例に限定されることなく、種々の変形や変更が可能であって、それらも本発明の技術的範囲内である。
(1)前照灯制御装置や、前照灯の構成は上述した実施例に限らず、適宜変更することが可能である。
例えば、実施例では、オートハイビーム制御はハイビームとロービームとを切り替えているが、これに限らず、例えば、ハイビーム用として複数の配光パターンを有する前照灯において、ハイビーム用の配光パターンを前方光源の認識結果に応じてグレアが抑制されるよう切り替えるものであってもよい。
(2)実施例では、前照灯の光源としてLED光源を用いているが、これに限らず、他種類の光源であってもよい。また、光学系の種類も特に限定されない。
(Modification)
The present invention is not limited to the embodiments described above, and various modifications and changes are possible, and these are also within the technical scope of the present invention.
(1) The configuration of the headlamp control device and the headlamp is not limited to the embodiment described above, and can be changed as appropriate.
For example, in the embodiment, the automatic high beam control switches between the high beam and the low beam. However, the present invention is not limited to this. For example, in a headlamp having a plurality of light distribution patterns for a high beam, the high beam distribution pattern is moved forward. It may be switched so that glare is suppressed according to the recognition result of the light source.
(2) In the embodiment, the LED light source is used as the light source of the headlamp. However, the present invention is not limited to this, and other types of light sources may be used. Also, the type of optical system is not particularly limited.

1 前照灯制御装置
11 左側前照灯 12 右側前照灯
20 コントローラ 30 前照灯制御ユニット
31 スイッチ 32 照度センサ
40 カメラユニット 50 走行情報検出ユニット
100 画像 101 自車両走行車線
102 対向車線 103 ガードレール
104 反射板 105 街灯
106 対向車 200 自車両
DESCRIPTION OF SYMBOLS 1 Headlamp control apparatus 11 Left side headlamp 12 Right side headlamp 20 Controller 30 Headlamp control unit 31 Switch 32 Illuminance sensor
40 camera unit 50 travel information detection unit 100 image 101 own vehicle travel lane 102 opposite lane 103 guardrail 104 reflector 105 street light 106 oncoming vehicle 200 own vehicle

Claims (2)

車両前方を照射する前照灯の配光パターンを自動的に切り替える前照灯制御装置であって、
自車両前方の画像を逐次撮像する撮像手段と、
前記撮像手段が逐次撮像した画像から他車両の光源を認識する他車両認識手段と、
前記他車両認識手段による他車両の光源の認識に応じて他車両への眩惑が抑制されるよう前記配光パターンを切り替える配光制御手段と
を備える前照灯制御装置であって、
自車両が走行中の車線における自車両前方の路面の勾配の現在走行中の路面の勾配に対する変化を検出する勾配変化検出手段を備え、
前記他車両認識手段は、前記画像内に所定の水平ラインを設定し、前記水平ラインよりも下方で予め設定された条件を充足する高輝度画素群を他車両であると認識するとともに、前記勾配変化検出手段が上り方向への勾配変化を検出した場合には前記水平ラインを平地走行時に対して上方にオフセットし、下り方向への勾配変化を検出した場合には前記水平ラインを平地走行時に対して下方にオフセットすること
を特徴とする前照灯制御装置。
A headlamp control device that automatically switches the light distribution pattern of a headlamp that illuminates the front of the host vehicle,
Imaging means for sequentially capturing images ahead of the host vehicle;
Other vehicle recognition means for recognizing the light source of another vehicle from the images sequentially captured by the imaging means;
A headlamp control device comprising: a light distribution control means for switching the light distribution pattern so that dazzling to another vehicle is suppressed in accordance with recognition of a light source of the other vehicle by the other vehicle recognition means,
Gradient change detecting means for detecting a change in the gradient of the road surface in front of the vehicle in the lane in which the vehicle is traveling with respect to the gradient of the currently running road surface,
The other vehicle recognizing unit sets a predetermined horizontal line in the image, recognizes a high-luminance pixel group satisfying a preset condition below the horizontal line as an other vehicle, and the gradient. When the change detecting means detects a gradient change in the upward direction, the horizontal line is offset upward with respect to traveling on flat ground, and when the gradient change in the downward direction is detected, the horizontal line is offset with respect to traveling on flat ground. The headlamp control device is characterized in that it is offset downward.
前記撮像手段は撮像された光源の自車両に対する相対距離を逐次検出可能なステレオカメラを有し、
前記他車両認識手段は、前記光源の自車両に対する相対距離の推移に基づいて前記他車両の光源を認識すること
を特徴とする請求項1に記載の前照灯制御装置。
The imaging means has a stereo camera capable of sequentially detecting the relative distance of the imaged light source to the vehicle,
The headlamp control device according to claim 1, wherein the other vehicle recognition unit recognizes a light source of the other vehicle based on a transition of a relative distance of the light source to the host vehicle.
JP2013175166A 2013-08-27 2013-08-27 Headlight control device Expired - Fee Related JP6190210B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013175166A JP6190210B2 (en) 2013-08-27 2013-08-27 Headlight control device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013175166A JP6190210B2 (en) 2013-08-27 2013-08-27 Headlight control device

Publications (2)

Publication Number Publication Date
JP2015044426A JP2015044426A (en) 2015-03-12
JP6190210B2 true JP6190210B2 (en) 2017-08-30

Family

ID=52670377

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013175166A Expired - Fee Related JP6190210B2 (en) 2013-08-27 2013-08-27 Headlight control device

Country Status (1)

Country Link
JP (1) JP6190210B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7085679B1 (en) 2021-04-19 2022-06-16 三菱化工機株式会社 Processing method using a filtration device

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101911715B1 (en) * 2014-08-04 2018-10-25 젠텍스 코포레이션 Driver assist system utilizing an inertial sensor
CN115175409B (en) * 2022-05-26 2023-07-18 江苏灵敏智控科技有限公司 Street lamp control system and control method based on Internet of things

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06267304A (en) * 1993-03-17 1994-09-22 Toyota Motor Corp Head lamp device for vehicle
JP4371366B2 (en) * 2004-07-12 2009-11-25 株式会社小糸製作所 Vehicle headlamp device
JP4473232B2 (en) * 2006-04-26 2010-06-02 株式会社日本自動車部品総合研究所 Vehicle front environment detecting device for vehicle and lighting device for vehicle
JP5531919B2 (en) * 2010-11-09 2014-06-25 株式会社デンソー Headlight control device

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7085679B1 (en) 2021-04-19 2022-06-16 三菱化工機株式会社 Processing method using a filtration device

Also Published As

Publication number Publication date
JP2015044426A (en) 2015-03-12

Similar Documents

Publication Publication Date Title
US9415719B2 (en) Headlight control device
US9505338B2 (en) Vehicle driving environment recognition apparatus
JP6310899B2 (en) Outside environment recognition device
JP5617999B2 (en) On-vehicle peripheral object recognition device and driving support device using the same
JP4473232B2 (en) Vehicle front environment detecting device for vehicle and lighting device for vehicle
JP4538468B2 (en) Image processing apparatus, image processing method, and image processing system
JP4508202B2 (en) Inter-vehicle information transmission system
US9821706B2 (en) Illuminating device, illuminating method, program, and medium
JP5333539B2 (en) Headlamp light distribution control device
US9193297B2 (en) Vehicle light distribution control device and vehicle light distribution control method
US8866387B2 (en) Vehicular headlight apparatus
JP5673462B2 (en) Headlight device
JP6214290B2 (en) Headlight control device
JP6190210B2 (en) Headlight control device
JP5195390B2 (en) Front irradiation automatic control device
JP4007578B2 (en) Headlamp irradiation range control method and headlamp apparatus
JP2011037414A (en) Headlamp system for vehicle
JP2013209034A (en) Vehicle detection device
JP5873372B2 (en) Headlight light distribution control device
JP6700904B2 (en) Vehicle light distribution control device
JP6539191B2 (en) Outside environment recognition device
JP6549974B2 (en) Outside environment recognition device
JP6087736B2 (en) Headlight control device
JP2951184B2 (en) Automatic headlight distribution device for vehicles
WO2019156087A1 (en) Image processing device and vehicle light fixture

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160330

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170118

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170124

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170323

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170711

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170804

R150 Certificate of patent or registration of utility model

Ref document number: 6190210

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees