Nothing Special   »   [go: up one dir, main page]

JP2008305096A - Driving support device - Google Patents

Driving support device Download PDF

Info

Publication number
JP2008305096A
JP2008305096A JP2007150808A JP2007150808A JP2008305096A JP 2008305096 A JP2008305096 A JP 2008305096A JP 2007150808 A JP2007150808 A JP 2007150808A JP 2007150808 A JP2007150808 A JP 2007150808A JP 2008305096 A JP2008305096 A JP 2008305096A
Authority
JP
Japan
Prior art keywords
driver
display
brake
alerting
pedestrian
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2007150808A
Other languages
Japanese (ja)
Inventor
Osamu Ozaki
修 尾崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2007150808A priority Critical patent/JP2008305096A/en
Publication of JP2008305096A publication Critical patent/JP2008305096A/en
Pending legal-status Critical Current

Links

Landscapes

  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Regulating Braking Force (AREA)
  • Traffic Control Systems (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a driving support device for supporting safe driving regardless of an drowsiness of a driver. <P>SOLUTION: An ECU (Electronic Control Unit) 2 of a night view system 1 is connected with a breath analyzer 3, a near-infrared camera 4, a driver imaging camera 5, a brake sensor 6, a display 7, a non-visual stimulation generation device 8, and a brake ECU 9. The ECU 2 has a drinking decision part 10, a video drawing part 11, a pedestrian detection part 12, a line of sight detection part 13, a visual stimulation drawing processing part 14, a non-visual stimulation generation processing part 15, and a brake control part 16. The ECU 2 controls the display 7 to display a pedestrian detection window and an alert window when detecting a pedestrian, increases a warning level of the alert window and the pedestrian detection window when deciding that the driver is drunk. <P>COPYRIGHT: (C)2009,JPO&INPIT

Description

本発明は、車両周囲の暗視映像から障害物を検出して注意喚起処理を行う運転支援装置に関する。   The present invention relates to a driving support device that detects an obstacle from a night vision image around a vehicle and performs an alerting process.

従来、夜間において、車両前方に存在する車両や人などへの衝突を防止するために、車両に搭載された暗視カメラで撮像された暗視映像を車内のディスプレイに表示させるナイトビューシステムなどの運転支援装置が知られている。この運転支援装置は、暗視映像から障害物を検出すると、暗視映像中に障害物検知枠を表示させることで、運転者に対して注意喚起表示を行う(例えば、特許文献1参照)。   Conventionally, in order to prevent a collision with a vehicle or a person existing in front of the vehicle at night, a night view system that displays a night vision image captured by a night vision camera mounted on the vehicle on a display in the vehicle, etc. Driving assistance devices are known. When detecting an obstacle from a night vision image, this driving support device displays an obstacle detection frame in the night vision image to display a warning to the driver (for example, see Patent Document 1).

また、この運転支援装置は、さらに、車両前方に存在する車両等が接近して、警告領域(例えば、衝突までの時間TTCが4秒以内となる領域)又は介入制御領域(例えば、TTCが2秒以内となる領域)に入ったことを検出すると、ブレーキアシストを行う。
特開2005−135037号公報
In addition, the driving support device further approaches a warning area (for example, an area in which the time TTC until the collision is within 4 seconds) or an intervention control area (for example, TTC is 2) when a vehicle or the like existing in front of the vehicle approaches. Brake assist is performed when it is detected that the vehicle has entered the area (within seconds).
JP 2005-135037 A

しかしながら、上記の運転支援装置では、運転者の状態によらずに注意喚起表示を行うため、覚醒度が低い運転者は、この注意喚起表示に気付かない可能性がある。特に、運転者が飲酒状態になると、視野狭窄や視力低下、判断能力の低下、操作誤り等の症状が出やすくなるため、注意喚起表示に気付かない可能性が更に高くなるという問題があった。   However, in the above-described driving support device, a warning display is performed regardless of the driver's state. Therefore, a driver with a low arousal level may not notice this warning display. In particular, when the driver is in a drinking state, symptoms such as narrowing of the visual field, reduced visual acuity, poor judgment ability, and operation error are likely to occur, and there is a problem that the possibility of not being aware of the alert display is further increased.

しかも、このような場合、運転者の踏力も弱くなるため、運転者が障害物を発見してブレーキを踏み込んでも、思っているほど制動力が得られない場合がある。このため、急ブレーキや急ハンドルにより危険が顕在化する可能性があるという問題もあった。   In addition, in such a case, the driver's pedaling force is also weakened. Therefore, even if the driver finds an obstacle and steps on the brake, the braking force may not be obtained as much as expected. For this reason, there has been a problem that danger may be manifested by sudden braking or sudden steering.

そこで、本発明は、運転者の覚醒度によらず、安全な運転支援を行うことができる運転支援装置を提供することを目的とする。   Then, an object of this invention is to provide the driving assistance apparatus which can perform a safe driving assistance irrespective of a driver | operator's arousal level.

本発明の運転支援装置は、暗視撮像装置により撮像された車両周囲の暗視映像を取得する暗視映像取得手段と、前記暗視映像から障害物を検出する障害物検出手段と、前記障害物を検出した場合に、運転者の注意を喚起させる注意喚起処理を行う注意喚起処理手段と、運転者の覚醒度を判定する覚醒度判定手段と、を備え、前記注意喚起処理手段は、前記覚醒度判定手段で判定する覚醒度が低いほど、前記注意喚起の程度を高くして前記注意喚起処理を行うことを特徴とする。   The driving support apparatus according to the present invention includes a night-vision video acquisition unit that acquires a night-vision video around the vehicle imaged by a night-vision imaging device, an obstacle detection unit that detects an obstacle from the night-vision video, and the obstacle A warning processing means for performing a warning process for calling a driver's attention when an object is detected, and a wakefulness determination means for determining a driver's wakefulness, wherein the warning processing means The alerting process is performed by increasing the degree of alerting as the alertness determined by the alertness determining means is lower.

本発明の運転支援装置によれば、暗視映像取得手段で取得した暗視映像から障害物を検出すると、覚醒度判定手段で判定する運転者の覚醒度が低いほど、注意喚起処理手段で行う注意喚起の程度を高くすることで、覚醒度が低くなって判断能力等が低下した運転者に対しても、注意喚起に気付かせることができる。しかも、覚醒度が高く判断能力等が高い運転者に対しては、必要以上の注意喚起を行わないため、過度な煩わしさを与えることがない。このため、運転者の覚醒度によらず、安全な運転支援を行うことができる。   According to the driving support apparatus of the present invention, when an obstacle is detected from the night vision image acquired by the night vision image acquisition unit, the alerting processing unit performs the lower the driver's arousal level determined by the awakening level determination unit. By raising the degree of alerting, it is possible to make the alerting notice even for a driver whose arousal level is low and judgment ability and the like are reduced. In addition, the driver who has a high degree of arousal and high judgment ability or the like does not give excessive attention, and thus does not give excessive annoyance. For this reason, safe driving assistance can be performed regardless of the driver's arousal level.

この場合、上記注意喚起処理は、前記暗視映像に障害物検知枠を表示させる処理であり、前記覚醒度判定手段で判定する覚醒度が低いほど、注意喚起の程度が高くなるように、前記障害物検知枠を表示させることが好ましい。この運転支援装置では、障害物を検出すると、障害物検知枠を表示させると共に、覚醒度判定手段で判断する運転者の覚醒度が低いほど、運転者に対する注意喚起の程度が高くなるように、障害物検知枠を表示させる。このため、覚醒度が低くなって判断能力等が低下した運転者に対しても、障害物の存在に気付かせることができると共に、障害物の位置を認識させることができる。しかも、覚醒度が高く判断能力等が高い運転者に対しては、必要以上に注意喚起程度を高くして障害物検知枠を表示させないため、過度な煩わしさを与えることもなくなる。   In this case, the alerting process is a process of displaying an obstacle detection frame on the night vision image, and the lower the alertness determined by the alertness determining unit, the higher the alerting degree, It is preferable to display an obstacle detection frame. In this driving support device, when an obstacle is detected, an obstacle detection frame is displayed, and the lower the driver's arousal level determined by the arousal level determination means, the higher the degree of alerting the driver, Display the obstacle detection frame. For this reason, a driver whose arousal level is low and judgment ability or the like is lowered can be made aware of the presence of an obstacle and can recognize the position of the obstacle. In addition, a driver with a high degree of arousal and high judgment ability or the like does not display an obstacle detection frame with an unnecessarily high degree of alerting, so that it is not excessively troublesome.

また、上記注意喚起処理は、前記暗視映像の周囲に注意喚起刺激枠を表示させる処理であり、前記覚醒度判定手段で判定する覚醒度が低いほど、注意喚起の程度が高くなるように、前記注意喚起刺激枠を表示させることが好ましい。この運転支援装置では、障害物を検出すると、注意喚起刺激枠を表示させると共に、覚醒度判定手段で判断する運転者の覚醒度が低いほど、運転者に対する注意喚起の程度が高くなるように、注意喚起刺激枠を表示させる。このため、覚醒度が低くなって判断能力等が低下した運転者に対しても、危険が迫っていることに気付かせることができる。しかも、覚醒度が高く判断能力等が高い運転者に対しては、必要以上に注意喚起程度を高くして注意喚起刺激枠を表示させないため、過度な煩わしさを与えることもなくなる。   In addition, the attention calling process is a process of displaying a warning stimulus frame around the night vision image, so that the lower the alertness determined by the alertness determination unit, the higher the degree of alerting. It is preferable to display the alerting stimulus frame. In this driving support device, when an obstacle is detected, a warning stimulus frame is displayed, and the lower the driver's arousal level determined by the arousal level determination means, the higher the level of alerting to the driver, A reminder stimulus frame is displayed. For this reason, it is possible to make the driver aware that the danger is imminent even for a driver whose judgment ability and the like are lowered due to a low degree of arousal. In addition, a driver with a high degree of arousal and high judgment ability or the like does not display an alerting stimulus frame with an unnecessarily high alerting degree, so that no excessive inconvenience is caused.

また、本発明の運転支援装置は、運転者がブレーキペダルを踏み始めてからブレーキが利き始めるまでの待ち時間を調整するブレーキ調整手段を更に備え、前記ブレーキ調整手段は、前記覚醒度判定手段で判定する覚醒度が低いほど、前記待ち時間を短くすることを特徴とする。   In addition, the driving support device of the present invention further includes a brake adjustment unit that adjusts a waiting time from when the driver starts to step on the brake pedal until the brake starts to work, and the brake adjustment unit is determined by the arousal level determination unit. The waiting time is shortened as the awakening level is lower.

この運転支援装置によれば、覚醒度判定手段で判断する運転者の覚醒度が低いほど、ブレーキ調整手段でブレーキが利き始めるまでの待ち時間を短くすることで、覚醒度が低くなって運転者のブレーキ踏み込み操作が遅れたとしても、覚醒度が高いときよりも早いタイミングでブレーキを効かせることができる。しかも、覚醒度が高い運転者に対しては、通常のタイミングでブレーキを利かせることができるため、過度な煩わしさを与えることがない。このように、本発明の運転支援装置によれば、運転者の覚醒度によらず、安全な運転支援を行うことができる。   According to this driving support device, the lower the driver's wakefulness determined by the wakefulness determining means, the shorter the waiting time until the brake starts to work with the brake adjusting means, thereby lowering the wakefulness. Even if the brake depression operation is delayed, it is possible to apply the brake at an earlier timing than when the arousal level is high. Moreover, a driver with a high arousal level can be braked at a normal timing, so that it is not excessively troublesome. Thus, according to the driving assistance apparatus of the present invention, safe driving assistance can be performed regardless of the driver's arousal level.

この場合、上記ブレーキ調整手段は、前記ブレーキの遊び量を調整することが好ましい。この運転支援装置によれば、ブレーキの遊び量を調整することで、ブレーキペダルを踏み始めてから、ブレーキが利き始めるまでの時間を確実に調整することができる。   In this case, it is preferable that the brake adjusting means adjusts the play amount of the brake. According to this driving support device, by adjusting the amount of play of the brake, it is possible to reliably adjust the time from when the brake pedal is started to when the brake starts to work.

本発明によれば、運転者の覚醒度によらず、安全な運転支援を行うことができる。   According to the present invention, safe driving assistance can be performed regardless of the driver's arousal level.

以下、図面を参照して、本発明に係る運転支援装置の好適な実施形態について詳細に説明する。本実施形態は、本発明に係る運転支援装置を、ナイトビューシステムに適用したものである。   DESCRIPTION OF EMBODIMENTS Hereinafter, a preferred embodiment of a driving assistance apparatus according to the present invention will be described in detail with reference to the drawings. In this embodiment, the driving support apparatus according to the present invention is applied to a night view system.

図1は、本発明に係る実施形態のナイトビューシステムのブロック構成を示した図である。図に示すように、本実施形態のナイトビューシステム1は、ECU(Electronic Control Unit)2を備えている。ECU2には、飲酒検知装置3と、近赤外線カメラ4と、運転者撮像カメラ5と、ブレーキセンサ6とが接続されており、さらに、ディスプレイ7と、非視覚刺激発生装置8と、ブレーキECU9とが接続されている。   FIG. 1 is a diagram showing a block configuration of a night view system according to an embodiment of the present invention. As shown in the figure, the night view system 1 of the present embodiment includes an ECU (Electronic Control Unit) 2. The ECU 2 is connected with a drinking detection device 3, a near-infrared camera 4, a driver imaging camera 5, and a brake sensor 6, and further includes a display 7, a non-visual stimulus generation device 8, and a brake ECU 9. Is connected.

飲酒検知装置3は、空気中のアルコール濃度を検知する検知装置である。飲酒検知装置3は、ステアリング付近や運転席のヘッドレストなどの運転席付近に取り付けられており、運転者から吹き付けられる呼気からアルコール濃度を検知する。そして、飲酒検知装置3は、アルコール濃度を示すアルコール濃度情報をECU2に送信する。   The drinking detection device 3 is a detection device that detects the alcohol concentration in the air. The alcohol detection device 3 is attached in the vicinity of the driver's seat such as the steering or the headrest of the driver's seat, and detects the alcohol concentration from the breath blown from the driver. Then, the drinking detection device 3 transmits alcohol concentration information indicating the alcohol concentration to the ECU 2.

近赤外線カメラ4は、例えば車両のインナーバックミラーの内側に設けられ、車両の前方画像を撮像する暗視カメラである。近赤外線カメラ4は、撮像した前方画像を映像信号としてECU2に送信する。   The near-infrared camera 4 is a night vision camera that is provided, for example, inside an inner rearview mirror of a vehicle and captures a front image of the vehicle. The near infrared camera 4 transmits the captured front image to the ECU 2 as a video signal.

運転者撮像カメラ5は、例えばステアリングカバーの内部に設けられ、運転席に座った運転者の顔を撮像するカメラである。この運転者撮像カメラ5は、撮像した運転者の顔画像を映像信号として視線検知部13に出力する。   The driver imaging camera 5 is a camera that is provided inside the steering cover, for example, and images the face of the driver sitting in the driver's seat. The driver imaging camera 5 outputs the captured driver's face image to the line-of-sight detection unit 13 as a video signal.

ブレーキセンサ6は、運転者によるブレーキペダルの踏み込み操作を検出するセンサである。ブレーキセンサ6は、ブレーキペダルの踏み込み操作を検出すると、ブレーキ操作信号をECU2へ送信する。   The brake sensor 6 is a sensor that detects the depression operation of the brake pedal by the driver. When the brake sensor 6 detects a depression operation of the brake pedal, the brake sensor 6 transmits a brake operation signal to the ECU 2.

ディスプレイ7は、運転者から見える位置に配置されており、駐車支援画像を表示する画像表示装置である。なお、ディスプレイ7は、ヘッドアップディスプレイや、HMI(Human Machine Interface)などにより構成されている。   The display 7 is an image display device that is disposed at a position visible to the driver and displays a parking assistance image. The display 7 is composed of a head-up display, an HMI (Human Machine Interface), or the like.

非視覚刺激発生装置8は、運転席に内蔵された振動発生装置や、ダッシュボードに内蔵された警告音発生装置など、視覚以外の五感で運転者に刺激を与える装置である。   The non-visual stimulus generation device 8 is a device that stimulates the driver with five senses other than vision, such as a vibration generation device built in the driver's seat or a warning sound generation device built in the dashboard.

ブレーキECU9は、ECU2の制御に従い、ブレーキの操作制御を行う制御部である。ブレーキECU9は、ブレーキの操作制御として、ブレーキアシスト処理と、遊び調節処理とを行う。ブレーキアシスト処理は、運転者によるブレーキ操作により発生する制動力を増大させる処理である。遊び調節処理は、ブレーキペダルを踏み込んでからブレーキが利き始めるまでの時間を調節する処理である。この遊び調節処理は、例えば、ブレーキディスク又はブレーキドラムとブレーキパッドとの間隔を機械的に調節したり、ブレーキワイヤの弛みや、マスタシリンダの油圧などを調節したりすることで、ブレーキの遊びを調節することができる。   Brake ECU9 is a control part which performs operation control of a brake according to control of ECU2. The brake ECU 9 performs brake assist processing and play adjustment processing as brake operation control. The brake assist process is a process for increasing the braking force generated by the brake operation by the driver. The play adjustment process is a process of adjusting the time from when the brake pedal is depressed until the brake starts to work. In this play adjustment process, for example, the brake play is reduced by mechanically adjusting the distance between the brake disc or brake drum and the brake pad, adjusting the slack of the brake wire, the hydraulic pressure of the master cylinder, etc. Can be adjusted.

また、ECU2は、飲酒検知装置3から送信されるアルコール濃度情報と、近赤外線カメラ4から映像信号として送信される前方画像と、運転者撮像カメラ5から映像信号として送信される運転者の顔画像と、ブレーキセンサ6から送信されるブレーキ操作情報とに基づき、注意喚起処理を行い、ディスプレイ7と、非視覚刺激発生装置9と、ブレーキECU9とを制御する。そのため、ECU2は、飲酒判定部10と、映像描画部11と、歩行者検知部12と、視線検知部13と、視覚刺激描画処理部14と、非視覚刺激発生処理部15と、ブレーキ制御部16とを備えている。なお、ECU2は、例えば、CPU、ROM、RAMを含むコンピュータを主体として構成されている。   The ECU 2 also includes alcohol concentration information transmitted from the alcohol detection device 3, a front image transmitted as a video signal from the near-infrared camera 4, and a driver's face image transmitted as a video signal from the driver imaging camera 5. Based on the brake operation information transmitted from the brake sensor 6, an alerting process is performed to control the display 7, the non-visual stimulus generator 9, and the brake ECU 9. Therefore, the ECU 2 includes a drinking determination unit 10, a video drawing unit 11, a pedestrian detection unit 12, a gaze detection unit 13, a visual stimulus drawing processing unit 14, a non-visual stimulus generation processing unit 15, and a brake control unit. 16. The ECU 2 is mainly configured by a computer including a CPU, a ROM, and a RAM, for example.

飲酒判定部10は、飲酒検知装置3から送信されるアルコール濃度情報を取得し、運転者が飲酒しているか否かの飲酒判定を行い、飲酒フラグ設定処理を行う。つまり、飲酒判定部10は、このアルコール濃度情報が示すアルコール濃度に応じて運転手の飲酒量を判断し、さらに、このアルコール濃度が所定の閾値未満であれば飲酒状態と判定し、所定値以上であれば無飲酒状態と判定する。そして、飲酒判定部10は、飲酒状態と判定すると、飲酒フラグをONに設定し、無飲酒状態と判定すると、飲酒フラグをOFFに設定する。   The drinking determination unit 10 acquires the alcohol concentration information transmitted from the drinking detection device 3, determines whether or not the driver is drinking, and performs a drinking flag setting process. That is, the drinking determination unit 10 determines the amount of alcohol consumed by the driver according to the alcohol concentration indicated by the alcohol concentration information, and further determines that the alcohol is in a drinking state if the alcohol concentration is less than a predetermined threshold. If so, it is determined that there is no drinking. And if the drinking determination part 10 determines with a drinking state, it will set a drinking flag to ON, and if it determines with a non-drinking state, it will set a drinking flag to OFF.

映像描画部11は、近赤外線カメラ4から映像信号として送信される前方画像を取得して、この前方画像をデジタル画像に変換し、ディスプレイ7に表示させる表示用画像を生成する。そして、映像描画部11は、この表示用画像をディスプレイ7に表示させる。   The video drawing unit 11 acquires a front image transmitted as a video signal from the near-infrared camera 4, converts the front image into a digital image, and generates a display image to be displayed on the display 7. Then, the video drawing unit 11 displays this display image on the display 7.

歩行者検知部12は、近赤外線カメラ4から映像信号として送信される前方画像を取得して、この前方画像をデジタル画像に変換し、歩行者を検知するための物体検知用画像を生成する。そして、歩行者検知部12は、物体検知用画像を走査して、歩行者を探索する。そして、歩行者検知部12は、歩行者が検知されると、歩行者が検知されたことを示す歩行者検知情報をブレーキ制御部16に送信すると共に、物体検知用画像における歩行者の位置を示す歩行者位置情報を視覚刺激描画処理部14に送信する。また、歩行者検知部12は、検知した歩行者が、本当に歩行者であるか否かの歩行者捕捉確立を判断する。つまり、歩行者捕捉確立が所定の閾値以上の場合は、歩行者の捕捉確立が高いと判断し、歩行者捕捉確立が所定の閾値未満の場合は、歩行者の捕捉確立が低いと判断する。そして、歩行者検知部12は、この判断結果を示す歩行者捕捉情報を視覚刺激描画処理部14に送信する。   The pedestrian detection unit 12 acquires a front image transmitted as a video signal from the near-infrared camera 4, converts the front image into a digital image, and generates an object detection image for detecting a pedestrian. And the pedestrian detection part 12 scans the image for object detection, and searches for a pedestrian. Then, when a pedestrian is detected, the pedestrian detection unit 12 transmits pedestrian detection information indicating that the pedestrian has been detected to the brake control unit 16 and also determines the position of the pedestrian in the object detection image. The pedestrian position information shown is transmitted to the visual stimulus drawing processing unit 14. Moreover, the pedestrian detection part 12 judges pedestrian capture establishment of whether the detected pedestrian is really a pedestrian. That is, when the pedestrian capture establishment is equal to or greater than a predetermined threshold, it is determined that the pedestrian capture establishment is high, and when the pedestrian capture establishment is less than the predetermined threshold, it is determined that the pedestrian capture establishment is low. Then, the pedestrian detection unit 12 transmits pedestrian capture information indicating the determination result to the visual stimulus drawing processing unit 14.

視線検知部13は、運転者がディスプレイを確認したか否かを判定するディスプレイ確認フラグ設定処理を行う。つまり、視線検知部13は、運転者撮像カメラ5から映像信号として送信される顔画像を取得し、この顔画像をデジタル画像に変換して、運転者の視線を検知するための視線検知用画像を生成する。そして、視線検知部13は、視線検知用画像から、顔画像の特徴点を抽出して運転者の顔を検出し、運転者の目を特定して運転者の視線方向を検出する。さらに、視線検知部13は、この運転者の視線方向が、ディスプレイ7の方向を向いているかを判定する。そして、視線検知部13は、顔画像から運転者の顔を検出すると、ディスプレイ確認フラグをOFFに設定し、注意喚起処理が開始された後に、運転者の視線方向がディスプレイ7を向いたと判定すると、ディスプレイ確認フラグをONに設定する。   The line-of-sight detection unit 13 performs display confirmation flag setting processing for determining whether or not the driver has confirmed the display. That is, the gaze detection unit 13 acquires a face image transmitted as a video signal from the driver imaging camera 5, converts the face image into a digital image, and detects a gaze detection image for detecting the driver's gaze. Is generated. Then, the line-of-sight detection unit 13 extracts feature points of the face image from the line-of-sight detection image, detects the driver's face, identifies the driver's eyes, and detects the driver's line-of-sight direction. Further, the line-of-sight detection unit 13 determines whether or not the driver's line-of-sight direction faces the direction of the display 7. Then, when detecting the driver's face from the face image, the line-of-sight detection unit 13 sets the display confirmation flag to OFF, and determines that the driver's line-of-sight direction is directed to the display 7 after the alerting process is started. Then, the display confirmation flag is set to ON.

視覚刺激描画処理部14は、飲酒判定部10から送信される飲酒判定結果と、映像描画部11から送信される表示用画像と、歩行者検知部12から送信される歩行者位置情報と、視線検知部13から送信される視線方向情報とに基づき、注意喚起処理として視覚刺激処理を行う。   The visual stimulus drawing processing unit 14 includes a drinking determination result transmitted from the drinking determination unit 10, a display image transmitted from the video drawing unit 11, pedestrian position information transmitted from the pedestrian detection unit 12, and a line of sight. Based on the line-of-sight direction information transmitted from the detection unit 13, visual stimulus processing is performed as alert processing.

この視覚刺激処理は、歩行者位置情報を受信すると、映像描画部11がディスプレイ7に表示させる表示用画像に対して、歩行者を囲む歩行者検知枠を重畳する。そして、視覚刺激描画処理部14は、表示用画像に歩行者検知枠を重畳する際、飲酒判定結果に基づき運転者が飲酒状態であると判断すると、無飲酒状態であると判断した場合に比べて、歩行者検知枠の注意喚起程度を高くして表示用画像に重畳する。歩行者検知枠の注意喚起程度を高くするとは、例えば、歩行者検知枠の輝度を高く、表示用画像に重畳する時間を長くすること等をいう。   In this visual stimulation process, when the pedestrian position information is received, a pedestrian detection frame surrounding the pedestrian is superimposed on the display image that the video drawing unit 11 displays on the display 7. Then, when the visual stimulus drawing processing unit 14 superimposes the pedestrian detection frame on the display image, if the driver determines that the person is drinking based on the drinking determination result, the visual stimulus drawing processing unit 14 is compared with the case where the driver is determined not to drink. Then, the alerting degree of the pedestrian detection frame is increased and superimposed on the display image. Increasing the alert level of the pedestrian detection frame means, for example, increasing the luminance of the pedestrian detection frame and increasing the time for superimposing on the display image.

また、この視覚刺激処理は、歩行者位置情報を受信すると共に、歩行者捕捉情報を受信すると、映像描画部11がディスプレイ7に表示させる表示用画像に対して、表示用画像全体を囲む注意喚起刺激枠を重畳する。そして、視覚刺激描画処理部14は、注意喚起刺激枠を表示用画像に重畳する際、飲酒判定結果に基づき運転者が飲酒状態であると判断すると、無飲酒状態であると判断した場合に比べて、注意喚起刺激枠の注意喚起程度を高くして表示用画像に重畳する。注意喚起刺激枠の注意喚起程度を高くするとは、例えば、歩行者検知枠の輝度を高く、点滅周期を短く、表示用画像に重畳する時間を長くすること等をいう。   In addition, the visual stimulation process receives pedestrian position information and, upon receiving pedestrian capture information, alerts surrounding the entire display image with respect to the display image displayed on the display 7 by the video drawing unit 11. Superimpose stimulus frames. Then, when the visual stimulus drawing processing unit 14 superimposes the alerting stimulus frame on the display image, the visual stimulus drawing processing unit 14 determines that the driver is in a drinking state based on the drinking determination result, as compared with the case in which it is determined that the driver is not drinking. Then, the alerting degree of the alerting stimulus frame is increased and superimposed on the display image. Increasing the degree of alerting in the alerting stimulus frame means, for example, increasing the brightness of the pedestrian detection frame, shortening the blinking cycle, and increasing the time for superimposing on the display image.

非視覚刺激発生処理部15は、非視覚刺激発生装置8に対して、注意喚起処理として非視覚刺激を発生させる非視覚刺激処理を行う。   The non-visual stimulus generation processing unit 15 performs a non-visual stimulus process for generating a non-visual stimulus as a warning process for the non-visual stimulus generator 8.

ブレーキ制御部16は、歩行者検知部12から歩行者検知情報を受信すると、ブレーキECU9に対して、ブレーキアシスト処理と、遊び調節処理とを行わせる。   When receiving the pedestrian detection information from the pedestrian detection unit 12, the brake control unit 16 causes the brake ECU 9 to perform a brake assist process and a play adjustment process.

次に、図2を参照しながら、本実施形態に係るナイトビューシステム1の注意喚起処理動作について説明する。   Next, the alert processing operation of the night view system 1 according to the present embodiment will be described with reference to FIG.

図2は、ECUの注意喚起処理動作を示すフローチャートである。図に示すように、ECU2の映像描画部11は、近赤外線カメラ4から送信される前方画像を取得すると(ステップS1)、この前方画像から表示用画像及び物体検知用画像を生成し、この表示用画像をディスプレイ7に表示させる(ステップS2)。   FIG. 2 is a flowchart showing the alerting processing operation of the ECU. As shown in the figure, when the video drawing unit 11 of the ECU 2 acquires the front image transmitted from the near-infrared camera 4 (step S1), the image drawing unit 11 generates a display image and an object detection image from the front image, and displays this display. The business image is displayed on the display 7 (step S2).

そして、歩行者検知部12は、物体検知用画像から歩行者を検知すると(ステップS3:YES)、飲酒フラグがONになっているか否かを判定する(ステップS4)。   And if the pedestrian detection part 12 detects a pedestrian from the image for object detection (step S3: YES), it will determine whether the drinking flag is set to ON (step S4).

ここで、飲酒フラグ設定処理動作について説明する。図3は、飲酒フラグの設定処理動作を示すフローチャートである。図に示すように、運転者による飲酒検査が行われると(ステップS21)、飲酒検知装置3からアルコール濃度情報が送信される。そして、アルコール濃度情報が示すアルコール濃度が所定の閾値以上の場合、飲酒判定部10は、無飲酒状態と判定し(ステップS22:NO)、飲酒フラグをOFFに設定する(ステップS23)。一方、アルコール濃度情報が示すアルコール濃度が所定の閾値未満の場合、飲酒判定部10は、飲酒状態と判定し(ステップS22:YES)、飲酒フラグをONに設定する(ステップS24)。   Here, the drinking flag setting processing operation will be described. FIG. 3 is a flowchart showing the operation of setting a drinking flag. As shown in the figure, when a drinking test is performed by the driver (step S21), alcohol concentration information is transmitted from the drinking detection device 3. If the alcohol concentration indicated by the alcohol concentration information is equal to or greater than the predetermined threshold, the drinking determination unit 10 determines that there is no drinking (step S22: NO), and sets the drinking flag to OFF (step S23). On the other hand, when the alcohol concentration indicated by the alcohol concentration information is less than the predetermined threshold, the drinking determination unit 10 determines that it is a drinking state (step S22: YES), and sets the drinking flag to ON (step S24).

図2に戻り、ステップS4において、飲酒フラグがOFFに設定されている場合(ステップS4:NO)、視覚刺激描画処理部14は、表示用画像に歩行者検知枠を重畳し、ディスプレイ7に表示用画像を表示させる(ステップS6)。   Returning to FIG. 2, when the drinking flag is set to OFF in step S <b> 4 (step S <b> 4: NO), the visual stimulus drawing processing unit 14 superimposes the pedestrian detection frame on the display image and displays it on the display 7. A work image is displayed (step S6).

一方、ステップS4において、飲酒フラグがONに設定されている場合(ステップS4:YES)、視覚刺激描画処理部14は、歩行者検知枠の注意喚起程度を高くして(ステップS5)表示用画像に歩行者検知枠を重畳し、ディスプレイ7に表示用画像を表示させる。なお、ステップS5において、歩行者検知枠の注意喚起程度を高くするとは、例えば、歩行者検知枠の表示時間を長くし、輝度を上げ、点滅周期を短くすること等をいう。   On the other hand, if the drinking flag is set to ON in step S4 (step S4: YES), the visual stimulus drawing processing unit 14 increases the degree of alerting of the pedestrian detection frame (step S5). A pedestrian detection frame is superimposed on the display 7 and a display image is displayed on the display 7. In step S5, increasing the alert level of the pedestrian detection frame means, for example, increasing the display time of the pedestrian detection frame, increasing the luminance, shortening the blinking cycle, and the like.

そして、ステップS7において、視覚刺激描画処理部14は、歩行者捕捉情報に基づき歩行者捕捉確立を判定し、歩行者捕捉確立が低いと判定すると(ステップS7:NO)、処理を終了し、再度上記処理を繰り返す。   In step S7, when the visual stimulus rendering processing unit 14 determines pedestrian capture establishment based on the pedestrian capture information and determines that the pedestrian capture establishment is low (step S7: NO), the process is terminated, and again. Repeat the above process.

一方、ステップS7において、歩行者捕捉確立が高いと判定すると(ステップS7:YES)、視覚刺激描画処理部14は、更に、飲酒フラグがONになっているか否かを判定する(ステップS8)。   On the other hand, when it is determined in step S7 that the pedestrian capture establishment is high (step S7: YES), the visual stimulus drawing processing unit 14 further determines whether or not the drinking flag is ON (step S8).

ステップS8において、飲酒フラグがOFFに設定されている場合(ステップS8:NO)、視覚刺激描画処理部14は、表示用画像に歩行者検知枠を重畳し、ディスプレイ7に表示用画像を表示させる(ステップS10)。   In step S8, when the drinking flag is set to OFF (step S8: NO), the visual stimulus drawing processing unit 14 superimposes the pedestrian detection frame on the display image and causes the display 7 to display the display image. (Step S10).

一方、ステップS8において、飲酒フラグがONに設定されている場合(ステップS8:YES)、視覚刺激描画処理部14は、注意喚起刺激枠の注意喚起程度を高くして(ステップS9)表示用画像に歩行者検知枠を重畳し、ディスプレイ7に表示用画像を表示させる(ステップS10)。なお、ステップS9において、注意喚起刺激枠の注意喚起程度を高くするとは、例えば、表示するタイミングを早くし、表示する時間を長くし、輝度を上げ、点滅周期を短くすること等をいう。   On the other hand, when the drinking flag is set to ON in step S8 (step S8: YES), the visual stimulus drawing processing unit 14 increases the degree of alerting in the alerting stimulus frame (step S9). A pedestrian detection frame is superimposed on the display 7 and a display image is displayed on the display 7 (step S10). In step S9, increasing the degree of attention in the attention stimulating frame means, for example, that the display timing is advanced, the display time is increased, the luminance is increased, and the blinking cycle is shortened.

その後、飲酒フラグがONに設定されている場合(ステップS11:YES)、非視覚刺激発生処理部15は、非視覚刺激発生装置8に非視覚刺激を発生させる(ステップS12)。ステップS12において、非視覚刺激とは、振動発生装置による振動や、警告音発生装置による警告音等をいう。   Thereafter, when the drinking flag is set to ON (step S11: YES), the non-visual stimulus generation processing unit 15 causes the non-visual stimulus generation device 8 to generate a non-visual stimulus (step S12). In step S12, the non-visual stimulus refers to a vibration generated by a vibration generating device, a warning sound generated by a warning sound generating device, or the like.

そして、視覚刺激描画処理部14は、ディスプレイ確認フラグがONになっているか否かを判定する(ステップS13)。   Then, the visual stimulus drawing processing unit 14 determines whether or not the display confirmation flag is ON (step S13).

ここで、ディスプレイ確認フラグ設定処理動作について説明する。図4は、ディスプレイ確認フラグ設定処理動作を示すフローチャートである。図に示すように、まず、視線検知部13は、運転者撮像カメラ5から送信される顔画像を取得し、運転者の顔を検知すると(ステップS31)、ディスプレイ確認フラグをOFFに設定する(ステップS32)。そして、上述した注意喚起処理が開始されると、視線検知部13は、運転者の視線方向を検知し(ステップS33)、この視線方向がディスプレイ7を向いているか否かを判定する(ステップS34)。そして、この視線方向がディスプレイ7を向いていると判定した場合(ステップS33:YES)、視線検知部13は、ディスプレイ確認フラグをONに設定する(ステップS35)
図2に戻り、ステップS13において、ディスプレイ確認フラグがOFFに設定されている場合(ステップS4:NO)、視覚刺激描画処理部14は、注意喚起刺激枠及び非視覚刺激の発生を継続し、再度上記処理を繰り返す。一方、ステップS13において、ディスプレイ確認フラグがONに設定されている場合(ステップS4:YES)、視覚刺激描画処理部14は、注意喚起刺激枠及び非視覚刺激の発生を中断し、再度上記処理を繰り返す。
Here, the display confirmation flag setting processing operation will be described. FIG. 4 is a flowchart showing the display confirmation flag setting processing operation. As shown in the drawing, first, the line-of-sight detection unit 13 acquires a face image transmitted from the driver imaging camera 5 and detects the driver's face (step S31), and sets the display confirmation flag to OFF (step S31). Step S32). When the above-described alerting process is started, the line-of-sight detection unit 13 detects the driver's line-of-sight direction (step S33) and determines whether the line-of-sight direction is facing the display 7 (step S34). ). If it is determined that the line-of-sight direction is facing the display 7 (step S33: YES), the line-of-sight detection unit 13 sets the display confirmation flag to ON (step S35).
Returning to FIG. 2, when the display confirmation flag is set to OFF in step S <b> 13 (step S <b> 4: NO), the visual stimulus rendering processing unit 14 continues to generate the alert stimulus frame and the non-visual stimulus, and again Repeat the above process. On the other hand, when the display confirmation flag is set to ON in step S13 (step S4: YES), the visual stimulus drawing processing unit 14 interrupts the generation of the alert stimulus frame and the non-visual stimulus and performs the above process again. repeat.

図5は、ディスプレイの表示例を示す図である。図に示すように、ディスプレイ7から表示される表示用画像は、前方画像内において、歩行者αを囲むように歩行者検知枠βが表示され、表示用画像全体を囲むように注意喚起刺激枠γが表示される。   FIG. 5 is a diagram illustrating a display example of the display. As shown in the figure, in the display image displayed from the display 7, a pedestrian detection frame β is displayed so as to surround the pedestrian α in the front image, and an attention stimulating frame so as to surround the entire display image. γ is displayed.

図6は、歩行者検知枠の表示態様例として、輝度と時間の関係を示す図である。図では、無飲酒状態と判定された場合の歩行者検知枠を一点鎖線Aで示し、飲酒状態と判定された場合の歩行者検知枠を実線Bで示している。図に示すように、時間t1のときに歩行者αを検知し、無飲酒状態と判定された場合、時間t1で歩行者検知枠Aを点灯し、表示が開始される。そして、輝度Y1で点灯を維持し、時間t2になると、歩行者検知枠Aを消灯して、表示が終了される。   FIG. 6 is a diagram illustrating a relationship between luminance and time as an example of a display mode of the pedestrian detection frame. In the figure, a pedestrian detection frame when determined to be a non-drinking state is indicated by an alternate long and short dash line A, and a pedestrian detection frame when determined to be a drinking state is indicated by a solid line B. As shown in the figure, when the pedestrian α is detected at time t1 and it is determined that the person is not drinking, the pedestrian detection frame A is turned on at time t1 and the display is started. And lighting is maintained with the brightness | luminance Y1, and when it becomes time t2, the pedestrian detection frame A will be light-extinguished and a display will be complete | finished.

一方、飲酒状態と判定された場合、時間t1で歩行者検知枠Aを点灯し、表示が開始される。そして、輝度Y1よりも高い輝度Y2で点灯を維持し、時間t2よりも遅い時間t3になると、歩行者検知枠Bを消灯して、表示が終了される。   On the other hand, when it is determined that the person is drinking, the pedestrian detection frame A is turned on at time t1, and the display is started. And lighting is maintained with the brightness | luminance Y2 higher than the brightness | luminance Y1, and when it becomes time t3 later than time t2, the pedestrian detection frame B will be light-extinguished and a display will be complete | finished.

図7は、注意喚起刺激枠の表示態様例として、輝度と時間の関係を示す図である。図では、無飲酒状態と判定された場合の注意喚起刺激枠を一点鎖線Cで示し、飲酒状態と判定された場合の注意喚起刺激枠を実線Dで示している。図に示すように、時間t1のときに歩行者αを検知し、無飲酒状態と判定された場合、歩行者捕捉確立を判断するための猶予時間を十分に取った後、時間t5で注意喚起刺激枠Cを点灯し、表示が開始される。そして、周期f1で、最大輝度が輝度Y5となるように点灯と消灯を繰り返す。そして、時間t7になると、輝度Y3で点灯を維持し、時間t8になると、注意喚起刺激枠Cを消灯して、表示が終了される。   FIG. 7 is a diagram showing a relationship between luminance and time as an example of a display mode of the alerting stimulus frame. In the figure, the alerting stimulus frame when determined to be a non-drinking state is indicated by an alternate long and short dash line C, and the alerting stimulus frame when determined to be a drinking state is indicated by a solid line D. As shown in the figure, when pedestrian α is detected at time t1 and it is determined that there is no drinking, an alert is given at time t5 after sufficient grace time is taken to determine the establishment of pedestrian capture. The stimulus frame C is turned on and display is started. Then, lighting and extinguishing are repeated so that the maximum luminance becomes the luminance Y5 in the cycle f1. At time t7, the lighting is maintained at the luminance Y3, and at time t8, the alerting stimulus frame C is turned off and the display is ended.

一方、飲酒状態と判定された場合、無飲酒状態と判定された場合に比べて歩行者捕捉確立を判断するための猶予時間を短く取り、時間t5よりも早い時間t4で注意喚起刺激枠Cを点灯し、表示が開始される。そして、周期f1よりも周期が短い周期f2で、最大輝度が輝度Y5よりも高い輝度Y6となるように点灯と消灯を繰り返す。そして、時間t6になると、輝度Y3よりも高い輝度Y4で点灯を維持し、時間t8よりも遅い時間t9になると、注意喚起刺激枠Dを消灯して、表示が終了される。   On the other hand, when it is determined that the person is in a drinking state, the grace time for determining the establishment of pedestrian capture is shorter than in the case where it is determined that the person is not drinking. Lights up and display starts. Then, lighting and extinguishing are repeated so that the maximum luminance becomes the luminance Y6 higher than the luminance Y5 in the cycle f2 shorter than the cycle f1. Then, at time t6, lighting is maintained at luminance Y4 higher than luminance Y3, and at time t9 later than time t8, the attention stimulating frame D is extinguished and the display is terminated.

次に、図8を参照しながら、本実施形態に係るナイトビューシステム1のブレーキ制御処理動作について説明する。   Next, the brake control processing operation of the night view system 1 according to the present embodiment will be described with reference to FIG.

図8は、ECUのブレーキ制御処理動作を示すフローチャートである。図に示すように、ECU2のブレーキ制御部16は、歩行者検知部12から送信される歩行者検知情報を取得すると(ステップS41)、飲酒フラグがONに設定されているか否かを判定する(ステップS42)。そして、飲酒フラグがOFFに設定されている場合(ステップS42:NO)、ブレーキ制御部16は、ステップS44に移行する。   FIG. 8 is a flowchart showing the brake control processing operation of the ECU. As shown in the figure, when the brake control unit 16 of the ECU 2 acquires the pedestrian detection information transmitted from the pedestrian detection unit 12 (step S41), the brake control unit 16 determines whether the drinking flag is set to ON (step S41). Step S42). If the drinking flag is set to OFF (step S42: NO), the brake control unit 16 proceeds to step S44.

一方、ステップS42において、飲酒フラグがONに設定されている場合(ステップS42:YES)、ブレーキ制御部16は、遊び調節処理を行い、ブレーキの「遊び」を小さく設定する(ステップS43)。   On the other hand, if the drinking flag is set to ON in step S42 (step S42: YES), the brake control unit 16 performs play adjustment processing and sets the brake "play" to a small value (step S43).

その後、ブレーキ制御部16は、ブレーキセンサ6から送信されるブレーキ操作信号に基づき、運転者によるブレーキ踏み込み操作が行われているか否かを判定する(ステップS44)。そして、ブレーキ踏み込み操作が行われていないと判定した場合(ステップS44:NO)、ブレーキ制御部16は、処理を終了し、再度上記処理を繰り返す。   Thereafter, the brake control unit 16 determines whether or not the driver has depressed the brake based on the brake operation signal transmitted from the brake sensor 6 (step S44). And when it determines with the brake depression operation not being performed (step S44: NO), the brake control part 16 complete | finishes a process, and repeats the said process again.

一方、ステップS44において、ブレーキ踏み込み操作が行われていると判定した場合(ステップS44:YES)、ブレーキ制御部16は、ブレーキアシスト処理をおこない、制動力をサポートする(ステップS45)。   On the other hand, when it is determined in step S44 that the brake depression operation is performed (step S44: YES), the brake control unit 16 performs a brake assist process and supports the braking force (step S45).

このように、本実施形態に係るナイトビューシステム1によれば、近赤外線カメラ4で撮像した車両の前方画像から歩行者αを検出すると、歩行者検知枠βを表示させると共に、飲酒判定部10により、運転者が飲酒状態であると判定された場合は、歩行者検知枠βの注意喚起程度を高くして歩行者検知枠βを表示させる。このため、飲酒状態となって判断能力等が低下した運転者にも、歩行者αの存在に気付かせると共に、歩行者αの位置を認識させることができる。しかも、無飲酒状態で判断能力等が高い運転者に対しては、注意喚起程度を高くして歩行者検知枠βを表示させないため、過度な煩わしさを与えることもなくなる。   As described above, according to the night view system 1 according to the present embodiment, when the pedestrian α is detected from the front image of the vehicle imaged by the near-infrared camera 4, the pedestrian detection frame β is displayed and the drinking determination unit 10 is displayed. Thus, when it is determined that the driver is in a drunk state, the degree of alerting of the pedestrian detection frame β is increased and the pedestrian detection frame β is displayed. For this reason, the driver whose judgment ability or the like has been lowered due to drinking can be made aware of the presence of the pedestrian α and can recognize the position of the pedestrian α. In addition, for a driver who is not drinking and has high judgment ability and the like, the degree of alerting is raised and the pedestrian detection frame β is not displayed, so that no excessive inconvenience is given.

また、歩行者を検出すると、注意喚起刺激枠γを表示させると共に、飲酒判定部10により、運転者が飲酒状態であると判定された場合は、注意喚起刺激枠γの注意喚起程度を高くして注意喚起刺激枠γを表示させる。このため、飲酒状態となって判断能力等が低下した運転者にも、危険が迫っていることに気付かせることができる。しかも、無飲酒状態で判断能力等が高い運転者に対しては、注意喚起程度を高くして注意喚起刺激枠を表示させないため、過度な煩わしさを与えることもなくなる。   In addition, when a pedestrian is detected, an alerting stimulus frame γ is displayed, and when the drinking determination unit 10 determines that the driver is in a drinking state, the alerting degree of the alerting stimulus frame γ is increased. To display the alert stimulus frame γ. For this reason, the driver who is in a drinking state and whose judgment ability and the like are reduced can be made aware that the danger is imminent. In addition, since the driver is not drunk and has high judgment ability and the like, the alerting degree is not displayed and the alerting stimulus frame is not displayed, so that it is not excessively bothered.

また、本実施形態に係るナイトビューシステム1によれば、運転者が飲酒状態であると判定された場合は、ブレーキ制御部16による遊び調節処理を行い、無飲酒状態と判定された場合に比べて、ブレーキが利き始めるまでの待ち時間を短くすることで、飲酒状態となって運転者のブレーキ踏み込み操作が遅れたとしても、無飲酒状態と判定されたときよりも早いタイミングでブレーキを効かせることができる。しかも、無飲酒状態と判定された運転者に対しては、通常のタイミングでブレーキを利かせることができるため、過度な煩わしさを与えることがない。   Moreover, according to the night view system 1 which concerns on this embodiment, when it determines with a driver | operator being a drinking state, the play control process by the brake control part 16 is performed, compared with the case where it determines with a non-drinking state. Therefore, by shortening the waiting time until the brake starts to work, even if the driver becomes depressed and the driver's brake depression operation is delayed, the brake is applied at an earlier timing than when it is determined that the person is not drinking. be able to. And since it can apply a brake at a normal timing with respect to the driver determined to be a non-drinking state, it does not give an excessive troublesomeness.

以上、本発明の好適な実施形態について説明したが、本発明は上記実施形態に限定されるものではない。例えば、上記実施形態では、注意喚起処理として、歩行者検知枠の表示と、注意喚起刺激枠の表示を例に説明したが、これに限られることなく、例えば、注意を喚起するためのマークや文字画像を表示させてもよい。   The preferred embodiment of the present invention has been described above, but the present invention is not limited to the above embodiment. For example, in the above-described embodiment, the display of the pedestrian detection frame and the display of the attention stimulating frame have been described as examples of the alerting process. However, the present invention is not limited to this, for example, a mark for alerting, A character image may be displayed.

また、上記実施形態では、飲酒判定部10で飲酒状態と判定した場合、注意喚起程度を高める手法として、1つの表示態様で歩行者検知枠と注意喚起刺激枠とを表示させるように説明したが、飲酒判定部10が判定する飲酒量に応じて、段階的に又はリニアに、歩行者検知枠と注意喚起刺激枠とを表示させる態様を変化させてもよい。また、注意喚起程度を高める手法として、例えば、色を変化させることとしてもよい。   Moreover, in the said embodiment, when it determined with the drinking determination part 10 being a drinking state, although demonstrated as a method of raising the alerting degree, a pedestrian detection frame and an alerting stimulus frame were displayed by one display mode. Depending on the amount of drinking determined by the drinking determination unit 10, the manner in which the pedestrian detection frame and the alerting stimulation frame are displayed stepwise or linearly may be changed. Further, as a technique for increasing the degree of alerting, for example, the color may be changed.

また、上記実施形態では、ECU2のブレーキ制御部16は、歩行者を検知したときに遊び調節処理を行うように説明したが、例えば、飲酒判定部10で飲酒状態と判定した場合は、歩行者の検知有無に拘らず、遊び調節処理を行うようにしてもよい。   Moreover, in the said embodiment, although the brake control part 16 of ECU2 demonstrated that a play adjustment process was performed when a pedestrian was detected, for example, when the drinking determination part 10 determines with a drinking state, a pedestrian Regardless of whether or not this is detected, play adjustment processing may be performed.

本発明に係る実施形態のナイトビューシステムのブロック構成を示した図である。It is the figure which showed the block configuration of the night view system of embodiment which concerns on this invention. ECUの注意喚起処理動作を示すフローチャートである。It is a flowchart which shows the alerting process operation | movement of ECU. 飲酒フラグの設定処理動作を示すフローチャートである。It is a flowchart which shows the setting process operation | movement of a drinking flag. ディスプレイ設定フラグの設定処理動作を示すフローチャートである。It is a flowchart which shows the setting process operation | movement of a display setting flag. ディスプレイの表示例を示す図である。It is a figure which shows the example of a display of a display. 歩行者検知枠の表示態様例として、輝度と時間の関係を示す図である。It is a figure which shows the relationship between a brightness | luminance and time as a display mode example of a pedestrian detection frame. 注意喚起刺激枠の表示態様例として、輝度と時間の関係を示す図である。It is a figure which shows the relationship between a brightness | luminance and time as an example of a display aspect of an alerting stimulus frame. ECUのブレーキ制御処理動作を示すフローチャートである。It is a flowchart which shows the brake control processing operation | movement of ECU.

符号の説明Explanation of symbols

1…ナイトビューシステム(運転支援装置)、2…ECU(運転支援装置)、4…近赤外線カメラ(暗視撮像装置)、10…飲酒判定部(覚醒度判定手段)、12…歩行者検知部(障害物検出手段)、14…視覚刺激描画処理部(注意喚起処理手段)、16…ブレーキ制御部(ブレーキ調整手段)、α…歩行者(障害物)、β…歩行者検知枠(障害物検知枠)、γ…注意喚起刺激枠。   DESCRIPTION OF SYMBOLS 1 ... Night view system (driving assistance apparatus), 2 ... ECU (driving assistance apparatus), 4 ... Near-infrared camera (night vision imaging device), 10 ... Drinking determination part (wakefulness determination means), 12 ... Pedestrian detection part (Obstacle detection means), 14 ... visual stimulus drawing processing section (attention calling processing means), 16 ... brake control section (brake adjustment means), α ... pedestrian (obstacle), β ... pedestrian detection frame (obstacle) Detection frame), γ ... alerting stimulus frame.

Claims (5)

暗視撮像装置により撮像された車両周囲の暗視映像を取得する暗視映像取得手段と、
前記暗視映像から障害物を検出する障害物検出手段と、
前記障害物を検出した場合に、運転者の注意を喚起させる注意喚起処理を行う注意喚起処理手段と、
運転者の覚醒度を判定する覚醒度判定手段と、を備え、
前記注意喚起処理手段は、前記覚醒度判定手段で判定する覚醒度が低いほど、前記注意喚起の程度を高くして前記注意喚起処理を行うことを特徴とする運転支援装置。
Night vision image acquisition means for acquiring a night vision image around the vehicle imaged by the night vision imaging device;
Obstacle detection means for detecting an obstacle from the night vision image;
When the obstacle is detected, a warning processing means for performing a warning process for calling the driver's attention; and
An awakening level determination means for determining the driver's awakening level,
The driving assistance device, wherein the alerting processing unit performs the alerting process with a higher degree of alerting as the alertness determined by the alertness determination unit is lower.
前記注意喚起処理は、前記暗視映像に障害物検知枠を表示させる処理であり、前記覚醒度判定手段で判定する覚醒度が低いほど、注意喚起の程度が高くなるように、前記障害物検知枠を表示させることを特徴とする請求項1に記載の運転支援装置。   The alerting process is a process of displaying an obstacle detection frame on the night vision image, and the obstacle detection is performed such that the lower the alertness determined by the alertness determination means, the higher the alerting degree. The driving support device according to claim 1, wherein a frame is displayed. 前記注意喚起処理は、前記暗視映像の周囲に注意喚起刺激枠を表示させる処理であり、前記覚醒度判定手段で判定する覚醒度が低いほど、注意喚起の程度が高くなるように、前記注意喚起刺激枠を表示させることを特徴とする請求項1に記載の運転支援装置。   The alerting process is a process of displaying a reminder stimulus frame around the night-vision image, and the alerting degree is increased as the alertness determined by the alertness determining unit is lower. The driving support device according to claim 1, wherein a stimulating stimulus frame is displayed. 運転者がブレーキペダルを踏み始めてからブレーキが利き始めるまでの待ち時間を調整するブレーキ調整手段を更に備え、
前記ブレーキ調整手段は、前記覚醒度判定手段で判定する覚醒度が低いほど、前記待ち時間を短くすることを特徴とする請求項1〜3の何れか1項に記載の運転支援装置。
Brake adjusting means for adjusting a waiting time from when the driver starts to step on the brake pedal until the brake starts to work,
The driving support apparatus according to any one of claims 1 to 3, wherein the brake adjusting unit shortens the waiting time as the awakening level determined by the awakening level determination unit is low.
前記ブレーキ調整手段は、前記ブレーの遊び量を調整することを特徴とする請求項4に記載の運転支援装置。   The driving support device according to claim 4, wherein the brake adjusting unit adjusts a play amount of the brace.
JP2007150808A 2007-06-06 2007-06-06 Driving support device Pending JP2008305096A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007150808A JP2008305096A (en) 2007-06-06 2007-06-06 Driving support device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007150808A JP2008305096A (en) 2007-06-06 2007-06-06 Driving support device

Publications (1)

Publication Number Publication Date
JP2008305096A true JP2008305096A (en) 2008-12-18

Family

ID=40233786

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007150808A Pending JP2008305096A (en) 2007-06-06 2007-06-06 Driving support device

Country Status (1)

Country Link
JP (1) JP2008305096A (en)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010165087A (en) * 2009-01-14 2010-07-29 Denso Corp Driving support apparatus
JP2010201977A (en) * 2009-02-27 2010-09-16 Toyota Motor Corp On-vehicle display system
WO2010134396A1 (en) * 2009-05-21 2010-11-25 日産自動車株式会社 Driving assist device and driving assist method
CN103661107A (en) * 2013-11-29 2014-03-26 北京理工大学 Non-line-of-sight driving system with controllable circumferential view field
JP2014145999A (en) * 2013-01-30 2014-08-14 Denso Corp Control system
US9292471B2 (en) 2011-02-18 2016-03-22 Honda Motor Co., Ltd. Coordinated vehicle response system and method for driver behavior
US9296382B2 (en) 2011-02-18 2016-03-29 Honda Motor Co., Ltd. System and method for responding to driver behavior
JP2016147534A (en) * 2015-02-10 2016-08-18 株式会社豊田中央研究所 Irradiation device and program
US9505305B2 (en) 2014-03-25 2016-11-29 Fujitsu Ten Limited Vehicle device
US9751534B2 (en) 2013-03-15 2017-09-05 Honda Motor Co., Ltd. System and method for responding to driver state
US10499856B2 (en) 2013-04-06 2019-12-10 Honda Motor Co., Ltd. System and method for biological signal processing with highly auto-correlated carrier sequences
JP7528649B2 (en) 2020-09-02 2024-08-06 株式会社Jvcケンウッド OBJECT RECOGNITION CONTROL DEVICE AND OBJECT RECOGNITION CONTROL METHOD

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010165087A (en) * 2009-01-14 2010-07-29 Denso Corp Driving support apparatus
JP2010201977A (en) * 2009-02-27 2010-09-16 Toyota Motor Corp On-vehicle display system
US8427295B2 (en) 2009-02-27 2013-04-23 Toyota Jidosha Kabushiki Kaisha Vehicle-installed display system and control method thereof
CN102439645B (en) * 2009-05-21 2014-07-30 日产自动车株式会社 Driving assist device and driving assist method
WO2010134396A1 (en) * 2009-05-21 2010-11-25 日産自動車株式会社 Driving assist device and driving assist method
JP2011001049A (en) * 2009-05-21 2011-01-06 Nissan Motor Co Ltd Device and method for supporting driving
CN102439645A (en) * 2009-05-21 2012-05-02 日产自动车株式会社 Driving support device and driving support method
US8788148B2 (en) 2009-05-21 2014-07-22 Nissan Motor Co., Ltd. Driver assistance system and driver assistance method
US9505402B2 (en) 2011-02-18 2016-11-29 Honda Motor Co., Ltd. System and method for responding to driver behavior
US9873437B2 (en) 2011-02-18 2018-01-23 Honda Motor Co., Ltd. Coordinated vehicle response system and method for driver behavior
US9292471B2 (en) 2011-02-18 2016-03-22 Honda Motor Co., Ltd. Coordinated vehicle response system and method for driver behavior
US9296382B2 (en) 2011-02-18 2016-03-29 Honda Motor Co., Ltd. System and method for responding to driver behavior
US11377094B2 (en) 2011-02-18 2022-07-05 Honda Motor Co., Ltd. System and method for responding to driver behavior
US9440646B2 (en) 2011-02-18 2016-09-13 Honda Motor Co., Ltd. System and method for responding to driver behavior
US9475502B2 (en) 2011-02-18 2016-10-25 Honda Motor Co., Ltd. Coordinated vehicle response system and method for driver behavior
US10875536B2 (en) 2011-02-18 2020-12-29 Honda Motor Co., Ltd. Coordinated vehicle response system and method for driver behavior
US9855945B2 (en) 2011-02-18 2018-01-02 Honda Motor Co., Ltd. System and method for responding to driver behavior
JP2014145999A (en) * 2013-01-30 2014-08-14 Denso Corp Control system
US10752252B2 (en) 2013-03-15 2020-08-25 Honda Motor Co., Ltd. System and method for responding to driver state
US10780891B2 (en) 2013-03-15 2020-09-22 Honda Motor Co., Ltd. System and method for responding to driver state
US10246098B2 (en) 2013-03-15 2019-04-02 Honda Motor Co., Ltd. System and method for responding to driver state
US10308258B2 (en) 2013-03-15 2019-06-04 Honda Motor Co., Ltd. System and method for responding to driver state
US11383721B2 (en) 2013-03-15 2022-07-12 Honda Motor Co., Ltd. System and method for responding to driver state
US9751534B2 (en) 2013-03-15 2017-09-05 Honda Motor Co., Ltd. System and method for responding to driver state
US10759438B2 (en) 2013-03-15 2020-09-01 Honda Motor Co., Ltd. System and method for responding to driver state
US10759437B2 (en) 2013-03-15 2020-09-01 Honda Motor Co., Ltd. System and method for responding to driver state
US10759436B2 (en) 2013-03-15 2020-09-01 Honda Motor Co., Ltd. System and method for responding to driver state
US10499856B2 (en) 2013-04-06 2019-12-10 Honda Motor Co., Ltd. System and method for biological signal processing with highly auto-correlated carrier sequences
CN103661107A (en) * 2013-11-29 2014-03-26 北京理工大学 Non-line-of-sight driving system with controllable circumferential view field
US9505305B2 (en) 2014-03-25 2016-11-29 Fujitsu Ten Limited Vehicle device
JP2016147534A (en) * 2015-02-10 2016-08-18 株式会社豊田中央研究所 Irradiation device and program
JP7528649B2 (en) 2020-09-02 2024-08-06 株式会社Jvcケンウッド OBJECT RECOGNITION CONTROL DEVICE AND OBJECT RECOGNITION CONTROL METHOD

Similar Documents

Publication Publication Date Title
JP2008305096A (en) Driving support device
US10160426B2 (en) Driver monitoring device
US11377094B2 (en) System and method for responding to driver behavior
JP6341055B2 (en) In-vehicle control device
JP5082834B2 (en) Aside look detection device and method, and program
JP4922715B2 (en) Occupant detection system, alarm system, braking system, vehicle
US9767374B2 (en) Driver check apparatus
JP2009244959A (en) Driving support device and driving support method
JP2008199515A (en) Fellow passenger sitting posture detecting/determining apparatus and method
JP5880740B1 (en) Collision avoidance system and collision avoidance method
JP2012173803A (en) Safe driving support device and safe driving support method
US20160107574A1 (en) Control unit for a motor vehicle having a camera for the driver&#39;s face, and method for imaging the face of a vehicle occupant
JP2001260776A (en) Vehicle obstacle warning device
JP2005262927A (en) Seat belt device
JP2010282350A (en) Collision safety system
JP2008305190A (en) Doze warning device and car
JP5573820B2 (en) Condition monitoring device
JP2009166612A (en) Parking support device
JP2007253821A (en) Occupant imaging device
KR100788619B1 (en) Side-view monitoring device for vehicle
JP4900146B2 (en) Obstacle detection device
JP7441417B2 (en) Driver state estimation device
JP2007204032A (en) On-vehicle warning device
JP2022129155A (en) In-vehicle multi-monitoring device of vehicle
JPH11304428A (en) Driver monitor device and automobile drive support system