JP2004254044A

JP2004254044A - Driving supporting method, display system and notification system

Info

Publication number: JP2004254044A
Application number: JP2003041728A
Authority: JP
Inventors: Masaru Kakizaki; 勝柿崎; Koji Nakamura; 耕治中村; Nobuaki Kawahara; 伸章川原
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2003-02-19
Filing date: 2003-02-19
Publication date: 2004-09-09

Abstract

<P>PROBLEM TO BE SOLVED: To enable a driver to safely drive a vehicle by quickly and accurately grasping a situation in front of the vehicle without averting his eyes from a scene ahead of the vehicle which the driver actually looks at through the windshield even in an environment in which the driver cannot see ahead at night or the like. <P>SOLUTION: An infrared light 11 is provided at the front of the vehicle and an infrared camera 12 is mounted in a vehicle interior. An image processing circuit 13 segments only an image in a preset prescribed area among infrared images photographed by the infrared camera 12 and displays the image on a liquid crystal panel 15. The prescribed area is an area (for example, a roadside area, etc., where headlight does not shine) which is bad for the driver to see, and the image in the area is displayed on the liquid crystal panel 15 to thereby be displayed as a virtual image on the windshield 8. Since the virtual image is displayed so as to be overlapped on an actual scene that the driver sees, the driver accurately grasps the situation in front of the vehicle even in an environment with low illumination. <P>COPYRIGHT: (C)2004,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
本発明は、自動車等の車両を運転する運転者に対し車両前方状況に関する情報を表示して運転を支援する運転支援方法と、この運転支援方法を実現する表示システム及び報知システムに関する。
【０００２】
【従来の技術】
近年、視認性に優れ運転者の負担の少ない画像ＨＭＩ（ＨｕｍａｎＭａｃｈｉｎｅＩｎｔｅｒｆａｃｅ）への要求が高まっている。特に、前方視界補助情報や死角情報等の車両を安全に走行させるための情報のニーズが高まっており、これらをより効果的に運転者へ伝達するための画像ＨＭＩが求められる。
【０００３】
自動車を夜間走行する場合、運転者はヘッドライトの灯りや街灯の明かり等を頼りに低照度環境の中で運転の判断をしているため、昼間の運転に比べて歩行者等の発見が遅れ、危険性が大きくなる。そのため、夜間に自動車事故に遭遇すると死亡事故につながる可能性も高くなる。
【０００４】
夜間の低照度環境等、肉眼での視認性の悪い環境をカバーするための技術として、例えば図２８に示すように、前方対象物１０１から発する遠赤外線をレンズ１０２で集光して赤外線センサー部１０３により電気信号に変換し、これを可視画像として表示できるよう信号処理部１０４にて信号処理して表示部１０５へ表示させる技術が知られている（例えば、特許文献１参照。）。
【０００５】
これによって、運転者が目視で見づらい車両前方の景色であっても、表示部１０５を見ることによって認識することができる。
また、例えば図２９に示すように、可視光カメラ１１１が可視光風景を撮影してその画像データを可視光画像フレームメモリ１１２に記録すると共に、赤外線カメラ１１３が赤外線風景を撮影してその画像データを赤外線画像フレームメモリ１１４に記録し、ＣＰＵ１１５が、赤外線画像から運転者の視認困難な部位に相当する領域を切り出して可視光画像における対応する領域に合成し、その合成画像を重畳画像フレームメモリ１１６に記録して、これを表示モニタ１１８に表示させる技術も知られている（例えば、特許文献２参照。）。
【０００６】
即ち、上記特許文献２に記載の技術は、運転者にとって視認できる部分は可視光により撮影した風景を表示し、肉眼で視認困難な視界部位には赤外線により撮影した風景を合成して表示することによって、運転者が表示モニタ１１８の表示画像を見ることにより車両前方の風景全体を把握できるようにするものである。
【０００７】
【特許文献１】
特開平０５−１３７０３０号公報
【特許文献２】
特開平１１−３０８６０９号公報
【０００８】
【発明が解決しようとする課題】
しかしながら、上記従来の技術により車両前方の情報を運転者に提供すると、運転者はこれら情報（前方風景）を認識するために視線を表示モニタに向ける必要がある。表示モニタが例えばインストルメントパネルに配置されている場合は、走行中に運転者が前方から目を背けるため、危険が伴う。また例えば、表示モニタがフロントガラスと運転者との間に配置されている場合、インストルメントパネル配置の場合よりは運転者が前方から大きく目を背ける必要はなくなるものの、走行中の前方の景色が見づらくなる（表示モニタが邪魔になる）ため、やはり危険が伴う。
【０００９】
しかも、走行中に運転者から見える実際の車両前方景色と、表示モニタに表示された画像（車両前方の風景画像）とを瞬時に対応させることが困難であり、例えば表示モニタにて前方に障害物があることを認識してから運転者が実際にその認識に基づく対応をとる（例えば障害物の実際の位置を肉眼で確認してから回避措置をとる）までの間のタイムロスが大きくなりかねない。
【００１０】
更に、表示モニタには歩行者や障害物だけでなく、街路樹や建造物などの周囲の様子まで全て表示されるため、仮に表示モニタに障害物が映されたとしてもそれが障害物であることを瞬時に認識できず、対応が遅れてしまうおそれもある。
本発明は上記課題に鑑みなされたものであり、夜間等の前方が見づらい環境においても、運転中の運転者がフロントガラス越しに実際に見ている車両前方の景色から視線をそらすことなく、車両前方の状況を迅速且つ的確に把握して、安全に走行できるようにすることを目的とする。
【００１１】
【課題を解決するための手段及び発明の効果】
上記課題を解決するためになされた請求項１記載の運転支援方法は、可視光線以外の電磁波による画像を撮影する撮影手段により車両前方の風景を撮影し、該撮影した画像である不可視光画像のうち少なくとも、運転者の肉眼では見えにくい視認困難領域の画像を、運転者から見える実際の景色と重なり合うようにフロントガラス面に虚像表示する。
【００１２】
撮影手段は、人間の肉眼では視認できない可視光線以外の電磁波（例えば赤外線等）による画像を撮影するものであるため、車両前方の景色が肉眼で見えにくい場合であっても、撮影手段により撮影すれば、その撮影画像により車両前方の景色全体を把握することができる。
【００１３】
そして本発明（請求項１）では、撮影手段による不可視光画像を、従来のように表示モニタ等に表示するのではなく、虚像表示、つまりフロントガラス面に虚像を形成することにより実現している。しかも、単にフロントガラス面の任意の位置に虚像表示するのではなく、運転者から見える実際の景色（虚像表示の対象となる実際の対象物）と虚像とが重なり合うように表示する。
【００１４】
そのため、請求項１記載の発明によれば、夜間等の前方が見づらい環境においても、運転中の運転者がフロントガラス越しに実際に見ている車両前方の景色から視線をそらすことなく、車両前方の状況を迅速且つ的確に把握して、安全に走行することができる。しかも、運転者から見える実際の景色と虚像とが重なり合っているため、運転者は瞬時に虚像を理解でき、車両前方状況に応じた適切な運転ができるようになる。
【００１５】
尚、虚像表示する画像は、視認困難領域のみでもいいし、撮影手段にて撮影した画像（不可視光画像）の全てでもよく、少なくとも視認困難領域を含む任意の領域を適宜決めればよい。
ここで、視認困難領域は、運転者の個人差や車両の違い、或いはその時々の車両周囲環境等に応じて適宜設定することができるが、例えば請求項２に記載のように、当該車両のヘッドライトを点灯した際にその照射光による当該車両への反射輝度が所定輝度以下となる領域（以下「ヘッドライトが当たらない領域」ともいう）にするとよい。
【００１６】
このようにすれば、夜間の走行中にヘッドライトが当たらない領域に対応した不可視光画像がフロントガラス面に虚像表示されるため、肉眼では見え難い場所の景色を視認することができる。
ヘッドライトが当たらない領域の設定は、例えば車両毎あるいは車種毎に実験的に得られた領域を予めデフォルト設定してもいいし、不可視光画像の各画素の輝度に基づいて設定することにより走行中の車両前方状況にリアルタイムに対応可能となるようにしてもよい。また例えば、ヘッドライトのハイビーム照射時とロウビーム照射時それぞれに対応した領域を設定するようにしてもよい。
【００１７】
また、視認困難領域は、例えば運転者等が任意に設定できるようにしてもよいし、また例えば、運転中にリアルタイムに視認困難な領域を解析して設定されるようにしてもよいが、例えば請求項３記載のように、予め設定された所定領域であってもよい。
【００１８】
このようにすれば、視認困難な領域をリアルタイムに解析する必要や、運転者等による設定操作の必要もなく、設定された所定領域に基づく簡単な処理のみで人間の肉眼で見え難い領域に不可視光画像を虚像表示することができる。
尚この場合も、所定領域は適宜設定することができ、例えば路側を含む所定範囲内としてもいいし、また例えば、想定される複数の領域を予め用意しておいて運転者がその中から選択的に設定できるようにしてもよい。
【００１９】
一方、車両の運転中は、走行中の道路の交通状況や周囲の環境等によって、運転者が視認困難と感じる領域も変化する。例えば、街灯のない道路を自車のみで夜間走行しているときに視認困難と感じる領域と、街灯があってしかも自車の前後及び対向車線にも車両が走行しているときに視認困難と感じる領域とは、当然異なるものとなる。
【００２０】
そこで、視認困難領域は、上記のように予め設定しておくのではなく、例えば請求項４に記載のように、不可視光画像の中で輝度が所定の第１輝度閾値以下の画素からなる領域としてもよい。
第１輝度閾値は、運転者の個人差等に応じて適宜決めることもできるが、例えばその閾値より大きいと肉眼でも比較的よく見えるというような値に設定することができる。逆に言えば、その閾値より低い輝度だと肉眼では見え難くなるような値とすることができる
また例えば、請求項５に記載のように、撮影手段が、可視光線を集光して撮影を行う可視光撮影機能も備えると共に、該可視光撮影機能による撮影と不可視光画像の撮影とを交互に行うよう構成されており、連続して撮影された、可視光撮影機能による撮影画像である可視光画像及び不可視光画像に対し、可視光画像の中で輝度が所定の第２輝度閾値以下の画素からなる領域に対応する不可視光画像内の領域を、視認困難領域としてもよい。
【００２１】
つまり、請求項４のように不可視光画像を構成する各画素の輝度に基づくものではなく、可視光画像を構成する各画素の輝度に基づいて視認困難領域を決めるのである。
このように、請求項４又は請求項５記載の運転支援方法によれば、運転者から実際に見える景色が明るければ（つまり第１又は第２輝度閾値以下の領域が少なければ）その分虚像表示される領域も小さくなるし、逆に実際の景色が暗ければ（つまり第１又は第２輝度閾値以下の領域が大きいと）その分虚像表示される領域も大きくなる。そのため、運転者の視認困難な領域を特定して運転中の周囲環境等にリアルタイムに対応した適切な虚像表示がなされるようになる。
【００２２】
フロントガラス面への虚像表示は、例えば常時行うようにしてもよいが、日中の明るいときは運転者からの視認性は通常は良好であるため、虚像表示の必要性が低い。視認性良好のときにも虚像表示すると、それが逆に視界の妨げとなってしまう可能性もある。
【００２３】
そのため、例えば請求項６に記載のように、当該車両のヘッドライトが点灯しているときにフロントガラス面への虚像表示を行うようにするとよい。このようにすれば、必要以上の虚像表示をなくすことができ、運転者は安全且つ快適に運転することができる。
【００２４】
次に、請求項７記載の発明は、運転者に対し注意を喚起する運転支援方法であって、車両に搭載された複数の光源からの光を、二つ以上の光源から同時に光が照射されることのないよう順次車両前方へ照射して該照射毎に該光源による光を撮影可能な撮影手段によって車両前方の風景を撮影する。そして、撮影手段による各光源毎の撮影画像（各光源からの照射毎の撮影画像）を相互比較して、各撮影画像相互間で異なる部分があった場合に、その異なる部分を対象物の影と判断して車両前方に対象物があることを運転者に報知する。
【００２５】
つまり、各光源からの光が順次照射される毎に一つの撮影手段が撮影を行い、各撮影結果を比較することによって対象物の影を見出すものである。例えば車両前方の対象物に対して異なる位置から光を照射すると、照射する光毎に対象物の影は異なる。そのため、複数の光源から個々に光を照射して、各照射毎に撮影手段が撮影を行うと、各照射毎に影の部分が異なる撮影画像が得られる。
【００２６】
このように、異なる部分（影の部分）があった場合に運転者へ報知することによって、仮に運転者が視覚で見落とした場合であっても運転者は対象物の存在を迅速に認識することができ、例えば対象物として道路上に障害物があってそれを視認できなくても、報知により迅速に対処できる。
【００２７】
また、単に異なる部分があったことをもってその部分を影と判断するのではなく、例えば請求項８に記載のように、各光源毎の撮影画像相互間で異なる部分の輝度の差が所定の第３輝度閾値より高い場合に、その異なる部分が対象物の影であると判断するようにしてもよい。
【００２８】
即ち、対象物に光を照射した場合、光の当たっている部分に比べて影の部分が暗くなるため、各光源毎の撮影画像を比較して画像データ（画素）の著しく異なる領域を対象物の影と判定するのである。そのため、第３輝度閾値は、影の部分とそうでない部分とを明確に区別できるような値に設定すればよい。これにより、対象物の影をより確実に検出することが可能となる。
【００２９】
更に、単に対象物があったという事実のみを報知するのではなく、例えば請求項９に記載のように対象物の実際の位置を報知するようにしてもよい。即ち、対象物の影の位置に基づいて当該車両に対する対象物の実際の位置である実位置を導出して、報知の際は少なくともその導出した実位置を報知するのである。このようにすれば、運転者は対象物の存在に加えて自車に対する実位置まで知ることができるため、対象物に対して迅速且つ適切に対処することができる。
【００３０】
請求項１０記載の発明は、車両に搭載され、車両前方の状況を表示して運転者の運転を支援するための表示システムであって、ヘッドライトとは別に搭載された不可視光放射手段が可視光線以外の電磁波を車両前方に放射して、車両前方の風景を撮影するために設置された撮影手段が可視光線以外の電磁波による画像を撮影する。
【００３１】
そして、画像処理手段が、撮影手段により撮影した画像である不可視光画像のうち少なくとも運転者の肉眼では見えにくい視認困難領域の画像を抽出し、該画像を表示手段によってフロントガラス面に虚像表示する。表示手段は、画像表示面から表示光を出射することにより画像処理手段が抽出した画像をフロントガラス面に虚像表示して運転者が視認できるよう構成されたものである。また、撮影手段及び表示手段は、虚像表示された画像が運転者から見える実際の景色における該画像に対応する領域と重なり合うような相対位置関係となるよう、それぞれ設置される。
【００３２】
つまり、請求項１記載の運転支援方法が実現されたシステムである。そのため、本発明（請求項１０）記載の表示システムによれば、夜間等の前方が見づらい環境においても、運転中の運転者がフロントガラス越しに実際に見ている車両前方の景色から視線をそらすことなく、車両前方の状況を迅速且つ的確に把握して、安全に走行することができる。しかも、運転者から見える実際の景色と虚像とが重なり合っているため、運転者は瞬時に虚像を理解でき、車両前方状況に応じた適切な運転ができるようになる。
【００３３】
尚、表示手段を構成する画像表示面への表示は、例えば画像処理手段が抽出した画像をそのまま表示してもいいし何らかの処理を加えて表示してもいい。また、画像表示面の表示光は、直接フロントガラス面に出射されるようにしてもいいし、反射鏡やレンズ等による反射や屈折等を経てフロントガラス面に当たるようにしてもよく、画像表示面の表示方法や、画像表示面からの出射光がフロントガラス面まで到達する過程は任意に決めればよく、結果的に所望の画像がフロントガラス面に虚像表示されればよい。
【００３４】
視認困難領域は、例えば請求項１１に記載のように、当該車両のヘッドライトが当たらない領域にしてもよいし、例えば請求項１２に記載のように、予め設定された所定領域であってもよい。前者の場合、夜間の走行中にヘッドライトが当たらない領域の不可視光画像がフロントガラス面に虚像表示されるため、肉眼では見え難い場所の景色を視認することができ、後者の場合、視認困難な領域をリアルタイムに解析する必要はなく、簡単な処理で人間の肉眼で見え難い領域に不可視光画像を虚像表示することができる。
【００３５】
また、視認困難領域は、例えば請求項１３に記載のように、不可視光画像において画素の輝度が第１輝度閾値以下の領域にしてもよい。即ち、請求項１３記載の表示システムは、画像処理手段が、不可視光画像を構成する各画素の輝度と予め設定した第１輝度閾値とを比較する第１輝度比較部と、該第１輝度比較部により第１輝度閾値以下と判断された画素からなる領域を視認困難領域として該領域の画像を抽出する画像抽出部とを備えたものである。
【００３６】
つまり、請求項４記載の運転支援方法が実現されたシステムである。そのため、請求項４記載の発明と同様の作用・効果が得られる。
視認困難領域以外の領域については、言い換えれば運転者が肉眼で比較的良好に視認できる領域であるため、虚像表示を全く行わないようにしてもよいが、例えば請求項１４に記載のように、画像抽出部が、不可視光画像における視認困難領域以外の画像についてもその画像を構成する各画素の輝度を第１輝度閾値以下の所定の輝度に変換して、視認困難領域の画像と共に抽出するようにしてもよい。
【００３７】
また、表示手段によるフロントガラス面への虚像表示は、例えば請求項１５に記載のように、当該車両のヘッドライトが点灯しているときに行うようにするとよい。このようにすれば、必要以上の虚像表示をなくすことができ、運転者が安全且つ快適に運転することができる。
【００３８】
更に、不可視光放射手段は、例えば請求項１６に記載のように、ヘッドライト光の照射範囲よりも広い範囲又は遠方に可視光線以外の電磁波を放射できるよう構成されているとよい。一般にヘッドライトは、運転者の視界を良好にすることを主目的とする一方で周囲に悪影響を及ぼさないように照射するようにされているが、可視光線以外の電磁波は人間の目には見えないため、ヘッドライトより広範囲或いは遠方に放射しても差し支えない。
【００３９】
そのため、不可視光放射手段からの電磁波を上記のようにヘッドライトより広範囲又は遠方に放射するようにすれば、肉眼では見えないより広い範囲（或いは遠い範囲）まで車両前方の状況を認識することができ、より安全な運転が可能となる。
【００４０】
次に、請求項１７記載の表示システムは、車両前方の風景を撮影するために設置され、可視光線による画像である可視光画像及び可視光線以外の電磁波による画像である不可視光画像を共に撮影可能な撮影手段と、該撮影手段へ入射する可視光線を遮断する可視光フィルタと、該撮影手段へ入射する電磁波（可視光線以外）を遮断する電磁波フィルタと、可視光フィルタ及び電磁波フィルタの切り替えを行うフィルタ切替手段と、を備えたものである。
【００４１】
そして、切替撮影制御手段が、
電磁波フィルタにより可視光線以外の電磁波を遮断して撮影手段により可視光画像を撮影する可視光撮影動作、及び可視光フィルタにより可視光線を遮断して撮影手段により不可視光画像を撮影する不可視光撮影動作が交互に行われるようフィルタ切替手段と撮影手段とを同期制御し、画像処理手段が、切替撮影制御手段の動作により順次得られる可視光画像及び不可視光画像に対し、可視光画像の中で輝度が所定の第２輝度閾値以下の画素からなる領域に対応する不可視光画像内の領域の画像を抽出する。
【００４２】
そして表示手段により、画像処理手段が抽出した画像をフロントガラス面に虚像表示する。この表示手段は、請求項１０で説明した表示手段と同じ構成のものである。また、撮影手段及び表示手段の相対位置関係も請求項１０と同様であり、虚像表示された画像が運転者から見える実際の景色における該画像に対応する領域と重なり合うよう、それぞれ設置される。
【００４３】
つまり、可視光線による画像と可視光線以外の電磁波による画像を共に撮影可能な一つの撮影手段により、電磁波フィルタを通過してきた可視光線による画像撮影と、可視光フィルタを通過してきた上記電磁波による画像撮影とを交互に行うのである。
【００４４】
そのため、例えば上記電磁波による画像を撮影する手段と可視光線による画像を撮影する手段とを別々に設ける場合に比べ、一つの撮影手段で可視光画像及び不可視光画像とを撮影することができるため、撮影手段のコスト削減や配置スペースの使用効率向上が可能となる。
【００４５】
また、可視光画像の輝度に基づいて視認困難領域が決まるため、不可視光画像に基づく視認困難領域の決定に比べてより人間の視覚に合った領域決定がなされることになり、運転中の周囲環境等に応じたより適切な虚像表示が可能となる。
なお、ヘッドライトからの出射光には、一般に可視光線以外の電磁波成分（例えば赤外線）も含まれているため、上記請求項１７記載の表示システムにおいては、ヘッドライトからの照射光のみで可視光画像及び不可視光画像とを撮影することが可能ではあるが、人間の肉眼で見にくい部位をできるかぎり正確に撮影するためには、例えば請求項１８に記載のように、ヘッドライトとは別に可視光線以外の電磁波を当該車両の前方に放射する不可視光放射手段を備えてもよい。
【００４６】
このようにすれば、ヘッドライトのみを用いた場合に比べ、より確実に車両前方の状況を知ることができる。更に、例えばこの不可視光放射手段からの放射電磁波の放射範囲をヘッドライトの照射範囲より広く或いは遠くに設定すれば、より広範囲で車両前方の状況を認識することができ、安全性のより向上した表示システムの提供が可能となる。
【００４７】
請求項１９に記載の表示システムは、車両前方の風景を撮影するために設置され、可視光線による画像である可視光画像及び可視光線以外の電磁波による画像である不可視光画像を共に撮影可能な撮影手段と、ヘッドライトから車両前方へ照射される照射光のうち可視光線を遮断する可視光フィルタと、ヘッドライトから車両前方へ照射される照射光のうち可視光線以外の電磁波を遮断する電磁波フィルタと、可視光フィルタ及び前記電磁波フィルタの切り替えを行うフィルタ切替手段と、を備えたものである。
【００４８】
そして、切替撮影制御手段が、電磁波フィルタによりヘッドライトからの電磁波を遮断して撮影手段により可視光画像を撮影する可視光撮影動作、及び可視光フィルタによりヘッドライトからの可視光線を遮断して撮影手段により不可視光画像を撮影する不可視光撮影動作が交互に行われるよう、フィルタ切替手段と撮影手段とを同期制御する。可視光画像及び不可視光画像が順次得られたときの画像処理手段の動作、及び画像処理手段により抽出された画像の表示手段による虚像表示については、上記請求項１７と同じである。
【００４９】
つまり、上記請求項１７記載の表示システムでは可視光フィルタ及び電磁波フィルタがそれぞれ撮影手段へ入射する可視光線及び上記電磁波を遮断するものであったのに対し、本発明（請求項１９）では、可視光フィルタ及び電磁波フィルタがそれぞれ、ヘッドライトからの可視光線及び電磁波を遮断するよう構成されている。
【００５０】
そのため、ヘッドライト以外に別途可視光線以外の電磁波を放射する手段を設けることなく、ヘッドライトからの照射（放射）のみで可視光画像と不可視光画像とを撮影することができ、光源のコスト削減や配置スペースの使用効率向上が可能となる。また、請求項１７と同様、一つの撮影手段で可視光画像及び不可視光画像とを撮影することができるため、撮影手段のコスト削減や配置スペースの使用効率向上も可能となる。
【００５１】
尚、請求項１７〜１９に記載の各発明においても、請求項１４に記載の発明のように、視認困難領域以外の画像の輝度を第２輝度閾値以下に変換して虚像表示するようにしてもよい。つまり、画像処理手段によって抽出された視認困難領域の画像と共に、それ以外の領域の画像も併せて虚像表示してもよい。
【００５２】
次に、請求項２０記載の発明は、車両に搭載され、運転者に対し注意を喚起するための報知システムであって、当該車両前方を照射する複数の光源と、各光源毎に設けられ、光源から車両前方への照射光を遮断する遮断手段と、各光源による照射光を集光して撮影（換言すれば、各光源から光を照射したときの車両前方の風景を撮影）する撮影手段と、を備えたものである。
【００５３】
そして、一光源撮影制御手段が、いずれか一つの光源による照射光のみを車両前方に照射して他の全ての光源からの照射光をそれぞれ対応する遮断手段によって遮断する一光源照射動作を各光源毎に順次行うと共に、該各一光源照射動作の実行毎に撮影手段による撮影が行われるよう、各遮断手段と撮影手段とを同期制御し、対象物判定手段が、一光源撮影制御手段により得られた各一光源照射動作毎の撮影画像を相互比較して異なる部分があった場合に、該異なる部分を対象物の影と判断し、対象物判定手段により対象物の影が判断されたときに、報知手段が、対象物があることを運転者に報知する。
【００５４】
即ち、請求項７記載の運転支援方法が実現された報知システムであり、請求項７と同様、仮に運転者が視覚で見落とした場合であっても運転者は対象物の存在を迅速に認識することができ、例えば対象物として道路上に障害物があってそれを視認できなくても、報知により迅速に対処できる
請求項２１に記載の発明は、請求項８記載の運転支援方法が実現された報知システムであり、対象物判定手段が、各撮影画像相互間で異なる部分の輝度の差が所定の第３輝度閾値より高い場合に、その異なる部分が対象物の影であると判断するようにしてもよい。つまり、各光源毎の撮影画像を比較して画像データ（画素）の著しく異なる領域を対象物の影と判定するのである。第３輝度閾値は、影の部分とそうでない部分とを明確に区別できるような値に設定すればよい。これにより、対象物の影をより確実に検出することが可能となる。
【００５５】
請求項２２に記載の発明は、請求項９記載の運転支援方法が実現された報知システムであり、位置導出手段が、撮影画像中における対象物の影の位置に基づいて当該車両に対する対象物の実際の位置である実位置を導出し、報知手段は少なくともその導出された実位置を報知するものであるとよい。報知システムをこのように構成すれば、運転者は対象物の存在に加えて自車に対する相対位置まで知ることができるため、対象物に対して迅速且つ適切に対処することができる。
【００５６】
実位置としては、例えば自車から対象物までの距離であってもいいし、自車に対する大まかな位置表現（例えば「左前方」、「道路中央」など）であってもよく、適宜決めればよい。
そして、位置導出手段による実位置の導出は、例えば撮影画像中の影の座標から数値演算等により算出する方法が考えられるが、例えば請求項２３に記載のようにしてもよい。即ち、撮影画像中における対象物の影の位置（例えば座標）と実位置との対応関係を示す位置導出パラメータを記憶した記憶手段を備え、位置導出手段は、記憶手段に記憶された位置導出パラメータに従って実位置を導出するのである。
【００５７】
このようにすれば、実位置導出のために複雑な数値演算等を行う必要なく、撮影画像中の影の位置から実位置を簡単に得ることができ、位置導出手段を簡単な構成で実現できる。
また、報知手段による具体的報知方法としては種々考えられるが、例えば請求項２４に記載のように音声により報知を行うようにしてもよい。このようにすれば、運転者が視覚によって情報を見落としても聴覚により気づくことができるため、より確実に情報を伝達できる信頼性の高い報知システムの実現が可能となる。
【００５８】
また例えば請求項２５のように、報知手段は、画像表示面から表示光を出射することにより該画像表示面上の画像をフロントガラス面に虚像表示する表示手段を備え、対象物判定手段により対象物の影が判断されたとき、表示手段によるフロントガラス面への虚像表示により報知を行うようにしてもよい。
【００５９】
表示手段による虚像表示としては、例えば請求項２６に記載のように、対象物があることを示す警告マークをフロントガラス面へ虚像表示するようにしてもいいし、また、対象物の実位置を報知する際には、例えば請求項２７に記載のように、位置導出手段により導出された実位置をフロントガラス面へ虚像表示するようにしてもいい。このようにすれば、運転者は対象物の存在を視覚的に認識でき、対象物に対する迅速な対処が可能となる。
【００６０】
そして、上記のように虚像表示により対象物の存在を報知する場合、より好ましくは、例えば請求項２８に記載のように、虚像表示に対応した実際の対象物を運転者が見たときに該対象物と重畳するよう、虚像表示を行うようにするとよい。このようにすれば、単にフロントガラス面の任意の位置に虚像表示するよりも、運転者は対象物の存在とその位置まで即座に認識することができるため、対象物に対するより迅速な対処が可能となる。
【００６１】
ここで、対象物判定手段により対象物の影と判断されたもの全てに対して報知を行うようにすると、例えば道路上ではなく歩道を通行中の歩行者や街路樹、或いは街灯などまでが対象物と判断されて報知されてしまうことも考えられる。そこで、例えば請求項２９に記載のように、撮影画像中における対象物の影の位置に基づいて対象物の影が走行中の道路上に位置しているか否かを判定する道路上判定手段を備え、報知手段は、該道路上判定手段により対象物の影が道路上に位置していると判定された場合に報知を行うようにするとよい。
【００６２】
つまり、道路以外の対象物は車両の走行に直接的な影響を与えないため、道路上の対象物のみ報知するものである。そのため、運転者にとって本当に必要な対象物情報のみが報知されることになり、対象物報知により運転者に与える負担（道路上にあるものなのか否かの判断にかかる負担）や煩わしさを抑えることができる。
【００６３】
【発明の実施の形態】
以下に、本発明の好適な実施形態を図面に基づいて説明する。
［第１実施形態］
図１は、本実施形態の表示システムの概略構成を示す説明図である。本実施形態の表示システムは、車両に搭載され、例えば夜間等の運転者の視認困難な環境において車両の前方状況を表示し運転者の運転を支援するためのものであり、図１に示す如く、主として赤外線ライト１１、赤外線カメラ１２、画像処理回路１３及び液晶パネル１５により構成される。
【００６４】
赤外線ライト１１は、車両前方の広範囲（ヘッドライト１の照射範囲より広い範囲）に赤外線を放射するよう車両前部に配置されている。赤外線カメラ１２は、赤外線による画像を撮影するための周知のものであり、運転者の視点６から車両前方をみたときの視野全体を撮影できるよう、フロントガラス８の上部中央に配置されている。
【００６５】
図３は、赤外線カメラ１２による撮影画像の一例を示しており、この撮影画像は運転者が運転席から正面をみたときの視野と略同一である。従って赤外線ライト１１は、少なくとも図３に示した撮影画像の領域には十分に赤外線を照射できるものを使用している。
【００６６】
画像処理回路１３は、赤外線カメラ１２で撮影した画像（本発明の不可視光画像に相当；以下「赤外線画像」という）から後述する赤外線画像切り出し処理によって所定領域の画像のみを切り出してその画像データを液晶パネル１５へ出力するものであり、その具体的構成を図２に示す。
【００６７】
画像処理回路１３は、ハンドル２の前方にあるヘッドライトスイッチ１４をＯＮすることにより起動するもので、図２に示す如く、赤外線カメラ用フレームメモリ２１、切り出し領域設定メモリ２２、ＣＰＵ２３及び重ね合わせ用フレームメモリ２４により構成されている。つまり、本実施形態の表示システムはヘッドライト１の点灯時に動作するものである。
【００６８】
ヘッドライトスイッチ１４のＯＮにより画像処理回路１３が起動すると、赤外線カメラ１２にて撮影された赤外線画像（画素データ）が赤外線カメラ用フレームメモリ２１に記録される。この記録は起動中随時行われる。
一方、切り出し領域設定メモリ２２には、赤外線画像の中から切り出すべき領域が予めデフォルト設定されており、ＣＰＵ２３は、赤外線カメラ用フレームメモリ２１に記録された赤外線画像からこの切り出し領域設定メモリ２２の設定内容に相当する領域（切り出し領域）の画像のみを切り出して重ね合わせ用フレームメモリ２４に記録する。
【００６９】
この切り出し領域は本発明の視認困難領域に相当するものであり、本実施形態では図３に示す領域Ｂに設定している。図３において、領域Ａはヘッドライト１の光が当たる領域であり、それ以外の領域はヘッドライト１の当たらない領域、つまりヘッドライト１を点灯した際にその照射光による当該車両への反射輝度が所定輝度以下となる領域である。
【００７０】
この領域Ａ以外の範囲のうち、路側を含み車両に比較的近い範囲であって視覚による見落としがあると危険な状況になる可能性の高い領域である領域Ｂを、切り出し領域として切り出し、重ね合わせ用フレームメモリ２４に記録して、後述するようにフロントガラス８の表面に虚像として表示するようにしている。
【００７１】
尚、この切り出し領域（領域Ｂ）は、例えば車両毎あるいは車種毎に実験的に得られた領域を設定することができるが、それ以外にも、例えば赤外線画像の各画素の輝度をみて輝度が所定値以下の領域（つまり肉眼で視認困難な領域）とすることにより走行中の車両前方状況にリアルタイムに対応可能となるようにしてもよい。また例えば、ヘッドライト１のハイビーム照射時とロウビーム照射時とで異なる領域となるようにしてもよい。更に例えば、想定される複数の切り出し領域を予め切り出し領域設定メモリ２２に設定しておき、運転者がその中から運転時の周囲環境等に応じた適切な切り出し領域を選択的に設定できるようにしてもよい。
【００７２】
そして、重ね合わせ用フレームメモリ２４に記録された領域Ｂの画像データは、液晶パネル１５へ出力される。液晶パネル１５は、図１に示すように車室内のインストルメントパネル３の上部に配置されており、表示画面上に表示された画像の表示光がフロントガラス８面で反射して運転者の視点６に入るようにされている。つまり運転者は、液晶パネル１５に表示された画像を、フロントガラス８面に表示される虚像として見ることになる。
【００７３】
本実施形態では、重ね合わせ用フレームメモリ２４に記録された領域Ｂの画像が液晶パネル１５に表示され、その表示光がフロントガラス８面に虚像表示される。そのため、運転者は領域Ｂの画像（風景）をフロントガラス８上の虚像として見ることができる。液晶パネル１５と赤外線カメラ１２の相対位置関係及び液晶パネル１５の画面表示は、この虚像表示された領域Ｂの画像が、運転者からみた実際の領域Ｂに相当する風景に重なり合うようにされている。
【００７４】
赤外線カメラ１２と液晶パネル１５の具体的配置方法としては、まず赤外線カメラ１２の位置を決め、赤外線カメラ１２が車両前方を撮影できるよう、つまり図３に示した範囲を撮影できるよう配置する。次に、運転者から見える実際の車両前方の風景と、フロントガラス８に虚像表示される赤外線画像とが重なり合うよう、液晶パネル１５の位置を調整し、重なり合ったところで液晶パネル１５を固定する。
【００７５】
次に、ＣＰＵ２３が実行する、赤外線カメラ用フレームメモリ２１から切り出し領域（領域Ｂ）の画像のみを切り出して重ね合わせ用フレームメモリ２４に記録する赤外線画像切り出し処理について、図４に基づいて説明する。図４は、本実施形態の赤外線画像切り出し処理を示すフローチャートである。この赤外線画像切り出し処理は、図示しない車両のイグニションスイッチのＯＮ後、継続して行われるものである。
【００７６】
この処理が開始されると、まずステップ（以下「Ｓ」と略す）１１０にて、切り出し領域設定メモリ２２内に設定された切り出し領域（領域Ｂ）を読み出し、続くＳ１２０にてヘッドライト１が点灯（つまりヘッドライトスイッチ１４がＯＮ）しているか否かを判断する。ヘッドライト１の消灯中はこのＳ１２０の判断処理が繰り返されることになるが、ヘッドライト１が点灯すると、Ｓ１３０以下の処理に進む。
【００７７】
ここで、本実施形態では、赤外線画像の各画素が図５に示すようなアドレスにて配列されている。即ち、画素列（Ｘ軸）ｍが１〜Ｌ列、画素行（Ｙ軸）ｎが１〜Ｋ行である。つまり、トータル（Ｌ＊Ｋ）個の画素にて赤外線画像が構成されている。
【００７８】
そして、Ｓ１３０以下の処理においては、この画素一つずつに対して処理を行っていく。具体的には、各画素行ｎに対してＳ１４０〜Ｓ１９０の処理をｎ＝１からｎ＝Ｋとなるまで繰り返す。また、Ｓ１４０〜Ｓ１９０の処理においては、各画素列ｍに対してＳ１５０〜Ｓ１８０の処理をｍ＝１からｍ＝Ｌとなるまで繰り返す。つまり、図５に示した撮影画像において、最上行（ｎ＝１）から各行毎に１列目の画素〜Ｌ列目の画素、という順番で最終画素（Ｌ，Ｋ）まで、各画素毎に順次Ｓ１５０〜Ｓ１８０の処理を行うのである。
【００７９】
Ｓ１５０では、赤外線カメラ用フレームメモリ２１に記録された赤外線画像のうち対応する画素（ｍ、ｎ）を読み込む。そして、続くＳ１６０にて、その読み込んだ画素（ｍ，ｎ）が切り出し領域（領域Ｂ）に当てはまるか否かを判断し、当てはまらない場合はＳ１８０に進んで、重ね合わせ用フレームメモリ２４における画素（ｍ，ｎ）に黒表示のデータを書き込む。黒表示とは即ち、液晶パネル１５に何も表示しない状態をいい、その画素については虚像表示はされないことになる。
【００８０】
一方、Ｓ１６０にて領域Ｂに当てはまると判断された場合はＳ１７０に進み、重ね合わせ用フレームメモリ２４における画素（ｍ，ｎ）に赤外線画像における画素（ｍ，ｎ）のデータを書き込む。この一連の処理が全ての画素について行われると（Ｓ２００）、再びＳ１２０に戻って上記同様の処理を繰り返すことになる。
【００８１】
この結果、重ね合わせ用フレームメモリ２４には、赤外線画像のうち領域Ｂに相当する画像のみが記録され、これが液晶パネル１５に表示されて、運転者がフロントガラス８面の虚像として見ることになる。具体的には、例えば図６のように領域Ｂの画像のみ（本例では道路を横断しようとしている歩行者）が重ね合わせ用フレームメモリ２４に記録され、フロントガラス８に虚像表示される。
【００８２】
以上詳述した通り、本実施形態の表示システムは、赤外線カメラ１２にて撮影した赤外線画像の中から、予め設定した切り出し領域（領域Ｂ）の画像のみを切り出して虚像表示する。この切り出し領域は、ヘッドライトが当たらない領域における所定領域であり、しかもその虚像表示は、フロントガラス８面に表示された領域Ｂの虚像が、運転者からみた実際の領域Ｂに相当する風景に重なり合うようにされている。
【００８３】
従って、本実施形態の表示システムによれば、夜間等の前方が見づらい環境においても、運転中の運転者がフロントガラス８越しに実際に見ている車両前方の景色から視線をそらすことなく肉眼で見え難い場所の景色を視認でき、車両前方の状況を迅速且つ的確に把握して、安全に走行することができる。しかも、運転者から見える実際の景色と虚像とが重なり合っているため、運転者は瞬時に虚像を理解でき、車両前方状況に応じた適切な運転ができるようになる。
【００８４】
また、切り出し領域を予め切り出し領域設定メモリ２２に設定しているため、例えば走行中に視認困難な領域をリアルタイムに解析して切り出す必要や、運転者等による切り出し領域の詳細設定等の煩わしい操作も必要もなく、設定された所定領域に基づく簡単な処理のみで人間の肉眼で見え難い領域に切り出し領域の画像を虚像表示することができる。
【００８５】
尚、本実施形態では、ＣＰＵ２３がヘッドライトスイッチ１４からの信号（ＯＮ／ＯＦＦの信号）を直接取り込むようにしたが、これに限らず例えば電子制御装置（ＥＣＵ）１７から取り込むようにしてもよい。また、ヘッドライト１の点灯中に虚像表示するようにしたが、これに限らず例えば本表示システム専用の起動スイッチを設けてこのスイッチにより起動させるようにしてもよいし、また例えば、照度センサを設けて車両周囲の照度を計測し、所定の照度より低くなったときに自動的に起動するようにしてもよい。
【００８６】
また、本実施形態では赤外線カメラ１２によって、運転者の肉眼では視認困難な風景を撮影するようにしたが、赤外線に限らず、例えば超音波レーダやミリ波レーダを用いるなど、可視光線以外の電磁波であって運転者に見えない風景画像を撮影可能なあらゆる光源及びその撮影機器を適用することができる。
【００８７】
ここで、本実施形態の構成要素と本発明の構成要素の対応関係を明らかにする。本実施形態において、赤外線カメラ１２は本発明（請求項１）の撮影手段に相当し、赤外線ライト１１は本発明の不可視光放射手段に相当し、ＣＰＵ２３は本発明（請求項１０）の画像処理手段に相当し、液晶パネル１５は本発明の表示手段に相当する。また、図４の赤外線画像切り出し処理において、Ｓ１６０〜Ｓ１８０の処理はいずれも本発明（請求項１０）の画像処理手段が実行する処理に相当する。
【００８８】
［第２実施形態］
上記第１実施形態では、フロントガラス８面に虚像表示する画像、即ち赤外線画像における切り出し領域（領域Ｂ）を、予め切り出し領域設定メモリ２２に設定しておくようにしたが、本実施形態では、そのように予め固定しておくのではなく、走行中の車両前方の視界状況に応じて切り出す領域を決めるようにしたものである。
【００８９】
図７は本実施形態の表示システムの概略構成を示す説明図であり、図８は本実施形態の表示システムにおける画像処理回路の構成を示すブロック図である。図７，８に示す如く、本実施形態の表示システムは、ヘッドライトスイッチとは別に当該表示システム専用のシステム起動スイッチ３０を設けてこのスイッチ３０によりシステムを起動させるようにしていること、及び、画像処理回路３１に輝度閾値設定メモリ３３を設けてＣＰＵ３４がその設定内容に基づいて切り出し領域を設定することを除いて、基本的には図１，２に示した第１実施形態の表示システムと同じであり、赤外線カメラ１２及び液晶パネル１５の配置方法も第１実施形態と同様である。そのため、図１，２と同じ構成要素には同じ符号を付し、その説明を省略する。
【００９０】
また、本実施形態の赤外線ライト１１は、ヘッドライト１の照射範囲より遠方に赤外線を放射できるよう配置されている。そのため、ヘッドライト１の照射範囲より遠方の風景を撮影することができる。
輝度閾値設定メモリ３３には、赤外線カメラ用フレームメモリ２１に記録された赤外線画像のうち運転者の肉眼で視認困難な領域と視認できる領域とを判別するための輝度閾値Ｚが予め設定されている。ＣＰＵ３４は、赤外線画像を構成する各画素の輝度がこの輝度閾値Ｚより高いものについては全て輝度Ｚに変換し、輝度閾値Ｚ以下のものについてはそのままの輝度にて、重ね合わせ用フレームメモリ２４に記録する。
【００９１】
輝度閾値Ｚは、運転者にとって視認困難と感じる明るさと視認良好と感じる明るさとの境目の明るさ（例えば実験的に求められた適切な明るさ）に対応する赤外線画像の輝度に設定されている。尚、運転者の個人差を考慮して、運転者自身が任意に輝度閾値Ｚを設定できるようにしてもよい。
【００９２】
図９に、ＣＰＵ３４が実行する輝度判定・データ書き込み処理を示す。この輝度判定・データ書き込み処理は、システム起動スイッチ３０のＯＮ期間中、継続して行われるものである。
この処理が開始されると、まずＳ２１０にて、輝度閾値設定メモリ３３から輝度閾値Ｚを読み出して、続くＳ２２０以降の処理に進む。本実施形態でも、赤外線画像の各画素が図５に示すようなアドレスにて配列されており、このＳ２２０からＳ２９０に至る一連の処理は、図４で説明した第１実施形態の赤外線画像切り出し処理と同様、画素一つずつに対して処理を行っていく。つまり、各画素行ｎに対してＳ２３０〜Ｓ２８０の処理をｎ＝１からｎ＝Ｋとなるまで繰り返す。また、Ｓ２３０〜Ｓ２８０の処理においては、各画素列ｍに対してＳ２４０〜Ｓ２７０の処理をｍ＝１からｍ＝Ｌとなるまで繰り返すことになる。
【００９３】
Ｓ２４０では、赤外線カメラ用フレームメモリ２１に記録された赤外線画像のうち対応する画素（ｍ、ｎ）を読み込む。そして、続くＳ２５０にて、その読み込んだ画素（ｍ，ｎ）の輝度値が輝度閾値Ｚ以下か否かを判断し、輝度閾値Ｚより大きい場合はＳ２７０に進んで、重ね合わせ用フレームメモリ２４における画素（ｍ，ｎ）に輝度値Ｚのデータを書き込む。
【００９４】
一方、Ｓ２５０にて輝度閾値Ｚ以下と判断された場合はＳ２６０に進み、重ね合わせ用フレームメモリ２４における画素（ｍ，ｎ）に赤外線画像における画素（ｍ，ｎ）のデータを書き込む。この一連の処理が全ての画素について行われると（Ｓ２９０）、再びＳ２２０に戻って上記同様の処理を繰り返すことになる。
【００９５】
この結果、重ね合わせ用フレームメモリ２４には、赤外線画像のうち輝度閾値Ｚ以下の画素からなる領域（視認困難領域）についてはそのままの輝度で、それ以外の輝度閾値Ｚより大きい画素からなる領域については全て輝度をＺに変換して記録される。そしてこれが液晶パネル１５に表示され、運転者がフロントガラス８面の虚像として見ることになる。
【００９６】
これにより、運転者にとって視認困難な領域は虚像表示によって前方風景を認識できるようになる。また、視認良好な領域については、輝度をＺに統一しているが、もともと実際の風景が見やすい領域であるため、その領域に輝度値Ｚの画像を虚像表示しても運転者にはほとんどその虚像が認識されない。そのため、輝度閾値Ｚより大きい領域については、輝度値Ｚに統一するのではなく第１実施形態のように黒表示としてもよいし、輝度値Ｚ以下の任意の輝度に統一してもよい。
【００９７】
従って、本実施形態によれば、肉眼では視認困難な領域を虚像にて認識できるため、第１実施形態と同様の作用効果を得ることができる。しかも、本実施形態では、運転者から実際に見える景色が明るければ（つまり輝度閾値Ｚ以下の領域が少なければ）その分虚像表示される領域も小さくなるし、逆に実際の景色が暗ければ（つまり輝度閾値Ｚ以下の領域が大きいと）その分虚像表示される領域も大きくなることになり、第１実施形態のように予め領域を設定する場合に比べ、運転者の視認困難な領域を特定して運転中の周囲環境等にリアルタイムに対応した適切な虚像表示がなされるようになる。
【００９８】
また、輝度閾値Ｚより大きい輝度値の画素領域については全て輝度値Ｚに変換して輝度を落としているため、仮に虚像の位置と実際の位置とがずれてしまっても、赤外線画像をそのまま虚像表示する場合に比べて前方風景が見づらくなることはない。
【００９９】
更に、本実施形態では、赤外線ライト１１からの赤外線をヘッドライト１の照射光より遠方に放射するようにしているため、肉眼では見えないより遠い範囲まで車両前方の状況を認識することができ、より安全な運転が可能となる。
尚、本実施形態ではシステム起動スイッチ３０のＯＮによりシステム起動（虚像表示）されるようにしたが、これに限らず、例えば第１実施形態のようにヘッドライトスイッチＯＮにより起動するようにしてもいいし、また例えば、照度センサを設けて車両周囲の照度を計測し、所定の照度より低くなったときに自動的に起動するようにしてもよい。
【０１００】
ここで、本実施形態の構成要素と本発明の構成要素の対応関係を明らかにする。本実施形態において、輝度閾値Ｚは本発明の第１輝度閾値に相当し、ＣＰＵ３４は本発明の第１輝度比較部及び画像抽出部に相当する。また本実施形態の赤外線ライト１１は特に請求項１６の不可視光放射手段に相当するものである。また、図９の輝度判定・データ書き込み処理において、Ｓ２５０の処理は本発明の第１輝度比較部が実行する処理に相当し、Ｓ２６０及びＳ２７０の処理はいずれも本発明の画像抽出部が実行する処理に相当する。
【０１０１】
［第３実施形態］
上記第１及び第２実施形態はいずれも、ヘッドライト１とは別に赤外線ライト１１を配置する構成をとっていたが、本実施形態は、ヘッドライト１のみの照射で赤外線画像を撮影すると共に可視光線による画像（可視光画像）を撮影し、可視光画像の輝度に基づいて赤外線画像の中からフロントガラス８面へ虚像表示すべき領域を決定するものである。
【０１０２】
図１０は、本実施形態の表示システムの概略構成を示す説明図である。図示の如く、本実施形態の表示システムは、可視光画像と赤外線画像を共に撮影可能な可視光線・赤外線両用カメラ（以下単に「両用カメラ」という）４３がフロントガラス８の上部中央に配置され、ヘッドライト１にはフィルタ切替器４２が取り付けられている。
【０１０３】
両用カメラ４３が、運転者の視点６から車両前方をみたときの視野全体を撮影できるようフロントガラス８の上部中央に配置されていること、及び、液晶パネル１５と両用カメラ４３の相対位置関係、液晶パネル１５の画面表示が、虚像表示された画像が運転者からみた実際の風景に重なり合うようにされていることは、上記第１及び第２実施形態における赤外線カメラ１２、液晶パネル１５及びフロントガラス８の場合と全く同様である。
【０１０４】
尚、図１０は車両の側面から見た図であるためヘッドライト１及びフィルタ切替器４２はそれぞれ一つしか記載されていないが、当然ながら、実際にはヘッドライト１は車両前部の左右両側に配置され、その各々にフィルタ切替器４２が取り付けられている。
【０１０５】
そして、これら両用カメラ４３による撮影とフィルタ切替器４２の動作は、後述するように画像処理回路４０内のＣＰＵ４８からの指令に従ってカメラ・フィルタ切替制御装置４１により同期制御される。尚、液晶パネル１５については上記第１及び第２実施形態と同様である。
【０１０６】
フィルタ切替器４２は、図１１に示す如く、全体が円盤状の形状となっているもので、このうち約半分（半円部分）に赤外線透過フィルタ５２が、残り半分の半円部分に赤外線カットフィルタ５３が、それぞれ形成されたフィルタ円盤として構成されている。そして、このフィルタ円盤は回転型アクチュエータ５１により回転される。
【０１０７】
回転型アクチュエータ５１は、例えばステッピングモータを用いて回転位置制御できるものでもいいし、また例えば、一般的なＤＣモータを用いてエンコーダ等により位置制御可能な構成のものでもよく、後述するフィルタ切替器４２と両用カメラ４３との同期制御が確実に行える種々のものを使用できる。
【０１０８】
このフィルタ切替器４２とヘッドライト１との相対位置関係は、概略的に図１２のようになっており、回転型アクチュエータ５１の動作によって、ヘッドライトからの照射光は、赤外線透過フィルタ５２又は赤外線カットフィルタ５３のいずれか（重複する場合もあり）を通過して車両前方に照射されることになる。
【０１０９】
本実施形態では、赤外線カットフィルタ５３で赤外線をカットした時の両用カメラ４３による撮影画像（つまり可視光画像）と、赤外線透過フィルタ５２で赤外線のみを透過させた時の両用カメラ４３による撮影画像（つまり赤外線画像）とを交互に取得し、可視光画像の輝度に基づいて、赤外線画像のうち虚像表示すべき画像領域を決定する。
【０１１０】
より具体的には、図１３に示すように、両用カメラ４３が撮影した画像のうち可視光画像についてはフレームメモリＡ４６に、赤外線画像についてはフレームメモリＢ４７に、それぞれ記録される。一方、輝度閾値設定メモリ３３は、図８で説明した第２実施形態の輝度閾値設定メモリ３３と同じものであって輝度閾値Ｚが設定されている。そして、ＣＰＵ４８はフレームメモリＡ４６の可視光画像を構成する各画素の輝度がこの輝度閾値Ｚより高いものについては全て黒表示とし、輝度閾値Ｚ以下のものについては、その対応する赤外線画像上の画素をそのままの輝度にて重ね合わせ用フレームメモリ２４に記録する。
【０１１１】
図１４に、ＣＰＵ４８が実行する撮影制御処理を示す。この撮影制御処理は、図示は省略したものの例えば第１実施形態のようにヘッドライトスイッチのＯＮにより開始されるようにしてもいいし、また例えば第２実施形態のように専用のシステム起動スイッチのＯＮにより開始されるようにしてもよい。
【０１１２】
この処理が開始されると、まずＳ３１０にて、輝度閾値設定メモリ３３から輝度閾値Ｚを読み出して、続くＳ３２０以降の処理に進む。Ｓ３２０では、フィルタ切替器４２の赤外線カットフィルタ５３をＯＮにして赤外線が車両前方に照射されないようにし、続くＳ３３０にて両用カメラ４３による撮影（つまり可視光画像の撮影）を行い、その画像データをフレームメモリＡ４６に記録する。
【０１１３】
次にＳ３４０では、フィルタ切替器４２の赤外線透過フィルタ５２をＯＮにして赤外線のみが車両前方に照射されるようにし、続くＳ３５０にて両用カメラ４３による撮影（つまり赤外線画像の撮影）を行い、その画像データをフレームメモリＢ４７に記録する。
【０１１４】
尚、Ｓ３２０及びＳ３３０によるフィルタ切替器４２の動作及び可視光画像の撮影は本発明の可視光撮影動作であり、Ｓ３４０及びＳ３５０によるフィルタ切替器４２の動作及び赤外線画像の撮影は本発明の不可視光撮影動作である。
そして、このように可視光画像及び赤外線画像がそれぞれ対応するフレームメモリＡ４６及びフレームメモリＢ４７に記録されると、Ｓ３６０に移行して輝度判定・データ書込処理が実行される。この輝度判定・データ書込処理の詳細は図１５に示す通りであり、図示の如く、上記第１又は第２実施形態と同様、画素一つずつに対して処理が行われる。つまり、各画素行ｎに対してＳ４２０〜Ｓ４７０の処理をｎ＝１からｎ＝Ｋとなるまで繰り返す。また、Ｓ４２０〜Ｓ４７０の処理においては、各画素列ｍに対してＳ４３０〜Ｓ４６０の処理をｍ＝１からｍ＝Ｌとなるまで繰り返すことになる。
【０１１５】
Ｓ４３０では、フレームメモリＡ４６に記録された可視光画像のうち対応する画素（ｍ、ｎ）を読み込む。そして、続くＳ４４０にて、その読み込んだ画素（ｍ，ｎ）の輝度値が輝度閾値Ｚ以下か否かを判断し、輝度閾値Ｚより大きい場合はＳ４６０に進んで、重ね合わせ用フレームメモリ２４における画素（ｍ，ｎ）に黒表示のデータを書き込む。
【０１１６】
一方、Ｓ４４０にて輝度閾値Ｚ以下と判断された場合はＳ４５０に進み、重ね合わせ用フレームメモリ２４における画素（ｍ，ｎ）に赤外線画像における画素（ｍ，ｎ）のデータを書き込む。この一連の処理が全ての画素について行われると（Ｓ４８０）、再びＳ３２０（図１４）に戻って上記同様の処理を繰り返すことになる。
【０１１７】
この結果、重ね合わせ用フレームメモリ２４には、赤外線画像のうち、可視光画像における輝度閾値Ｚ以下の画素からなる領域（視認困難領域）に対応する領域の画像についてはそのままの赤外線画像の輝度で、それ以外の領域については全て黒表示として記録される。つまり、可視光では見えづらい部分を赤外線で補間したような画像が重ね合わせ用フレームメモリ２４に記憶されることになる。そしてこれが表示手段である液晶パネル１５に表示され、運転者がフロントガラス８面の虚像として見ることになる。尚、回転型アクチュエータ５１の動作速度（回転周波数）は、運転者の目にちらつきを感じさせない程度の速度域（例えば６０Ｈｚ以上）で適宜決めればよい。
【０１１８】
以上詳述したように、本実施形態の表示システムは、フィルタ切替器４２により車両前方に可視光線を照射する場合と赤外線のみを放射する場合とを交互に切り替え、それぞれにおいて両用カメラ４３で撮影している。そのため、ヘッドライト１以外に別途赤外線ライト等を設けることなく、ヘッドライト１からの照射（放射）のみで可視光画像と不可視光画像とを撮影することができ、光源のコスト削減や車両前部における光源配置スペースの使用効率向上が可能となる。
【０１１９】
また、画像撮影についても、一つの両用カメラ４３で可視光画像及び赤外線画像を撮影することができるため、撮影手段としてのカメラのコスト削減や配置スペースの使用効率向上も可能となる。
ここで、本実施形態の構成要素と本発明の構成要素の対応関係を明らかにする。本実施形態において、両用カメラ４３は本発明（請求項１９）の撮影手段に相当し、赤外線透過フィルタ５２は本発明の可視光フィルタに相当し、赤外線カットフィルタ５３は本発明の電磁波フィルタに相当し、回転型アクチュエータ５１は本発明のフィルタ切替手段に相当し、ＣＰＵ４８は本発明の切替撮影制御手段及び画像処理手段に相当し、輝度閾値Ｚは本発明の第２輝度閾値に相当する。
また、図１４の撮影制御処理におけるＳ３２０〜Ｓ３６０の処理はいずれも本発明の切替撮影制御手段が実行する処理に相当し、図１５の輝度判定・データ書き込み処理におけるＳ４４０〜Ｓ４６０の処理はいずれも本発明の画像処理手段が実行する処理に相当する。また、図１５の輝度判定・データ書き込み処理におけるＳ４４０の処理で肯定判定される領域は本発明（請求項５）の視認困難領域に相当するものである。
【０１２０】
尚、上記実施形態では、フィルタ切替器４２を構成する各フィルタ５２，５３がいずれも半円形状のものとしたが、これに限らず例えば図２７に示すフィルタ切替器８０のように、いずれも円形状のフィルタとしてもよい。つまり、円形状の赤外線透過フィルタ８１及び赤外線カットフィルタ８２を形成し、ヘッドライト１からの照射光がこれら各フィルタ８２を通るようにするのである。このようにしても上記実施形態と同様の効果が得られる。但し、半円形状の場合に比べるとフィルタを通過する光量が低くなるため、フィルタはできるたけ面積の広いものがよい。
【０１２１】
また、フィルタを駆動するアクチュエータとして本実施形態では回転型アクチュエータ５１を用いるようにしたが、回転型に限らず例えばシャッタ等のリニアに動作するアクチュエータを用いて駆動するようにしてもよく、赤外線のカットと赤外線のみの透過とを交互に且つ運転者の目にちらつきを感じさせない程度の速度で駆動できるものであればどのようなアクチュエータでもよい。
【０１２２】
また、可視光画像で輝度が輝度閾値Ｚより大きい領域については全て黒表示とするようにしたが、黒表示に限定されるわけではなく、例えば第２実施形態と同じように、輝度閾値Ｚ以下の任意の輝度に変換するようにしてもよい。
［第４実施形態］
本実施形態は、運転者に対して注意を喚起する（詳しくは道路上に障害物があることを認識させる）ための障害物報知システムであり、図１６に示す如く、主としてヘッドライト１、光遮断機５６，５７、カメラ５８，画像処理・制御回路５５、液晶パネル１５及びスピーカ５９により構成される。液晶パネル１５は上記各実施形態と全く同様のものである。
【０１２３】
カメラ５８は、可視光線による画像を撮影するための例えばＣＣＤカメラ等の一般的なカメラであり、画像処理・制御回路５５の制御をうけて車両前方の風景を撮影する。尚、運転者の視点６から車両前方をみたときの視野全体を撮影できるよう、フロントガラス８の上部中央に配置されている（図１７参照）。
【０１２４】
光遮断機５６，５７はそれぞれ、詳細には図１７に示すように、左右に配置されたヘッドライト１（１ａ，１ｂ）に取り付けられたものであり、その具体的構成は図１８の通りである。即ち、円盤状の約半分が半円形状にくり抜かれて透過孔７３が形成された光遮断板７２が、回転型アクチュエータ７１にて回転駆動されるものである。
【０１２５】
そして、画像処理・制御回路５５が、後述するように各光遮断機５６，５７の動作及びカメラ５８による撮影を同期制御している。図１７は、右ヘッドライト１ａからの照射光は光遮断機５６の透過孔７３から車両前方へ照射されており、一方の左ヘッドライト１ｂからの照射光は光遮断機５７の光遮断板７２によって遮断されている状態を示している。
【０１２６】
この状態（図１７）でカメラ５８による撮影を行った後は、各光遮断機５６，５７を駆動して図１９に示す状態になる。即ち、図１９の状態は、右ヘッドライト１ａからの照射光は光遮断機５６の光遮断板７２によって遮断されており、一方の左ヘッドライト１ｂからの照射光は光遮断機５７の透過孔７３から車両前方へ照射されている状態を示している。この状態になったときも、カメラ５８により撮影を行う。
【０１２７】
つまり、右ヘッドライト１ａの照射光だけが車両前方に照射されている時の運転席からの風景と、左ヘッドライト１ｂの照射光だけが車両前方に照射されている時の運転席からの風景とを交互に撮影するのである。そして、各ヘッドライト１ａ，１ｂによる撮影が順次行われる毎に、その両画像を比較して後述の撮影制御処理により道路上に障害物があるか否かを検出する。
【０１２８】
こういった各光遮断機５６，５７とカメラ５８との同期制御は、画像処理・制御回路５５により行われる。図２０は、画像処理・制御回路５５の概略構成を示す説明図である。この画像処理・制御回路５５も、上記各実施形態と同様、ヘッドライトスイッチのＯＮにより動作するようにしてもいいし、専用の起動スイッチにより起動するようにしてもよく、動作開始タイミングは適宜決めることができる。
【０１２９】
画像処理・制御回路５５は、大きく分けて画像処理回路６０と、この画像処理回路６０からの指令を受けてカメラ５８及び各光遮断機５６，５７を制御するカメラ・遮断機制御回路６６とで構成されている。カメラ５８にて撮影された風景画像のうち、左ヘッドライト１ｂによる照射光が車両前方へ照射されている時の撮影画像はフレームメモリＡ６１へ記録され、右ヘッドライト１ａによる照射光が車両前方へ照射されている時の撮影画像はフレームメモリＢ６２へ記録される。
【０１３０】
ＣＰＵ６５はこれら両撮影画像を比較して、画像データの異なる部分の輝度の差が輝度閾値設定メモリ６４に設定されている輝度閾値Ｄより大きい場合を、障害物（対象物）の影と判断する。そして、撮影画面上における影の位置から、位置変換パラメータメモリ６３に記憶された位置変換パラメータに基づいて障害物の実際の位置を導出する。
【０１３１】
障害物位置の導出後は、障害物が存在していること及びその位置をスピーカ５９から音声で警告すると共に、障害物が存在していることを示す警告マークを液晶パネル１５に表示してフロントガラス８面に虚像表示させる。
次に、ＣＰＵ６５が実行する撮影制御処理について、図２１に基づいて説明する。ＣＰＵ６５は、所定の条件（例えばヘッドライトスイッチのＯＮなど）が成立するとこの処理を開始する。
【０１３２】
この処理が開始されると、まずＳ５１０にて、輝度閾値設定メモリ６４から輝度閾値Ｄを読み出す。そして、Ｓ５２０に移行してタイマーがゼロになったか否かを判断する。ここでタイマーとは、光遮断機５６，５７の交互動作及びその動作毎のカメラ５８の撮影を、一定の間隔を開けて実行するために設けているものである。
【０１３３】
即ち、上記第１〜第３実施形態の場合は、フロントガラス８に風景画像を虚像表示するため、切れ目のない連続的な画像表示（虚像表示）が必要であった。しかし、本実施形態の場合、風景画像の虚像を表示するのではなく、道路上に障害物があるか否かを判断してあった場合にその旨を運転者に報知するものである。そのため、必ずしも切れ目のない連続的な撮影・障害物検知が必要というわけではなく、運転者が障害物を認識したときにそれを回避できる程度の時間間隔（例えば数十ｍｓｅｃ．毎の画像取り込み・処理）で障害物判定・報知を行えば十分である。よって、本実施形態ではタイマーを設け、一連の処理（Ｓ５３０〜Ｓ５９０）が終了した後は一定時間（タイマーの設定時間）間隔をおいて再びＳ５３０以降の処理を行うようにしている。
【０１３４】
タイマーがゼロになるまではＳ５２０の処理を繰り返すことになるが、タイマーがゼロになるとＳ５３０に進む。Ｓ５３０では、右ヘッドライト１ａに取り付けられた光遮断機５６をＯＮして左ヘッドライト１ｂに取り付けられた光遮断機５７をＯＦＦすることにより、左ヘッドライト１ｂからの照射光のみが車両前方に照射されるようにする。そしてＳ５４０に進み、この状態でカメラ５８による撮影を行い、その撮影画像をフレームメモリＡに記録する。
【０１３５】
このときのフレームメモリＡに記録された撮影画像例を図２３（ａ）に示す。図２３（ａ）のうち左側の画像Ａが、フレームメモリＡに記録された撮影画像であり、道路のほぼ中央部に障害物があってその影が障害物の右後方にのびている様子を示している。
【０１３６】
続くＳ５５０では、左ヘッドライト１ｂに取り付けられた光遮断機５７をＯＮして右ヘッドライト１ａに取り付けられた光遮断機５６をＯＦＦすることにより、右ヘッドライト１ａからの照射光のみが車両前方に照射されるようにする。そしてＳ５６０に進み、この状態でカメラ５８による撮影を行い、その撮影画像をフレームメモリＢに記録する。
【０１３７】
このときのフレームメモリＢに記録された撮影画像例を図２３（ａ）に示す。図２３（ａ）のうち右側の画像Ｂが、フレームメモリＢに記録された撮影画像であり、道路のほぼ中央部に障害物があってその影が障害物の左後方にのびている様子を示している。そして、図２３（ａ）に例示した二つの撮影画像は、影の部分を除いて両者はほぼ一致している。
【０１３８】
そして、Ｓ５７０に進んで二つの光遮断機５６，５７を共にＯＦＦにし、両ヘッドライト１ａ，１ｂからの照射光が共に車両前方へ照射されるようにする。そしてＳ５９０に進み、障害物報知処理を実行する。
Ｓ５９０の障害物報知処理の詳細は図２２に示す通りであり、まずＳ６００にて物体位置座標（Ｘ，Ｙ）を原点（０，０）に設定する。ここで、物体位置座標（Ｘ，Ｙ）とは、障害物の根本（正確には障害物の影の根本）の座標を示すものであり、本処理開始時は原点に設定し、以後の処理で障害物の影が判断される毎にこの座標を更新していくことになる。また、本実施形態における撮影画像の画素構成（座標配列）は、図５で説明した画素配列と全く同様である（図２３参照）。
【０１３９】
Ｓ６００で物体位置座標を原点に設定した後は、Ｓ６１０以降の処理に進む。この中でＳ６１０〜Ｓ６８０の処理については、画素一つずつに対して処理を行っていく。具体的には、各画素行ｎに対してＳ６２０〜Ｓ６７０の処理をｎ＝１からｎ＝Ｋとなるまで繰り返す。また、Ｓ６２０〜Ｓ６７０の処理においては、各画素列ｍに対してＳ６３０〜Ｓ６６０の処理をｍ＝１からｍ＝Ｌとなるまで繰り返す。つまり、図２３（ａ）に示した各撮影画像において、最上行（ｎ＝１）から各行毎に１列目の画素〜Ｌ列目の画素、という順番で最終画素（Ｌ，Ｋ）まで、各画素毎に順次Ｓ６３０〜Ｓ６６０の処理を行うのである。
【０１４０】
Ｓ６３０では、フレームメモリＡ６１に記録された画像Ａのうち対応する画素（ｍ、ｎ）と、フレームメモリＢ６２に記録された画像Ｂのうち対応する画素（ｍ、ｎ）を読み込む。そして、続くＳ６４０にて、その読み込んだ各画像Ａ，Ｂの各画素（ｍ，ｎ）の差分を求め、その差分の絶対値を画面Ｃにおける画素（ｍ，ｎ）の輝度として設定する。図２３（ｂ）に画像Ｃの例を示す。画像Ｃは画像Ａと画像Ｂの各画素の差分の絶対値をとったものであり、図２３（ａ）の画像Ａと画像Ｂとで異なる部分は障害物の影の部分のみであるため、結果として画像Ｃはこの影の部分のみが抽出された画像となる。尚、この画像Ｃは撮影画像の全画素についてＳ６３０〜Ｓ６６０の処理を行った結果生成されるものとして例示したものである。
【０１４１】
Ｓ６５０では、画像Ｃにおける画素（ｍ，ｎ）の輝度値が輝度閾値設定メモリ６４に設定されている輝度閾値Ｄより高いか否かを判断し、低い場合は影ではないものとしてＳ６７０に移行するが、高い場合は、影であると判断してＳ６６０に進み、物体位置座標（Ｘ，Ｙ）に座標（ｍ，ｎ）を上書きする。
【０１４２】
このように全ての画素について上記処理を行うことにより、最終的には物体位置座標（Ｘ，Ｙ）には障害物の影の付け根の座標（ｍ，ｎ）（図２３（ｂ）参照）が上書きされた状態となる。
そして、Ｓ６９０に移行し、得られた物体位置座標（ここでは障害物の影の付け根座標（ｍ，ｎ））を位置変換パラメータと照らし合わせて、実際の位置を導出する。図２４に、本実施形態の位置変換パラメータを示す。この位置変換パラメータは、撮影画像中の全ての画素に対応した物体位置座標（Ｘ，Ｙ）に対して実際の位置に関する情報が対応づけられて登録されたものである。
【０１４３】
即ち、例えば物体位置座標が（１，１）の場合（つまり画面の最左上）、位置変換パラメータに照らし合わせることにより、実際の位置は自車からの距離（但しＹ軸成分のみ）がＺ１［ｍ］で道路外に位置していることが読みとれる。また例えば、物体位置座標が（Ｘ，１００）の場合、位置変換パラメータに照らし合わせることにより、実際のＹ軸方向距離は２５０ｍであることがわかる。このように、物体位置座標（Ｘ，Ｙ）から実際の障害物の位置がすぐに導き出せるようになっているのである。
【０１４４】
尚、本例では位置情報としてＹ軸方向の距離と、道路上であるか否かの情報をパラメータとして登録したが、これに限定されないことはいうまでもなく、例えばＸ，Ｙ両成分を加味したより正確な距離を導出できるようにしてもよい。また、道路上か否かについては、走行する道路の幅や車線数などによって異なるため、図２４のように固定化したパラメータとするのではなく、例えばナビゲーションシステム等によって走行中の道路幅・形状等を割り出し、その結果を元に道路外か否かを判断できるようにしてもよい。
【０１４５】
Ｓ６９０で位置変換パラメータと照らし合わせることにより障害物の位置を導出したら、Ｓ７００に進み、障害物が道路外にあるか否かを判断する。そして、道路外であれば、そのままこの処理を終了して図２１の本処理に戻り、Ｓ５９０にてタイマーをセットした後再びＳ５２０に戻る。一方、Ｓ７００で道路内と判断された場合は、Ｓ７１０に進み、障害物マークをフロントガラス面に虚像表示すると共に、障害物が発見されたこと及び自車に対する位置情報をスピーカ５９にて警告（音声出力）する。
【０１４６】
図２５に、障害物マークの虚像表示例及び警告の音声出力例を示す。図示の如く、運転者から実際の障害物（ここでは歩行者）をみたときにその障害物に重なり合うように警告マークが虚像表示される。また、運転席右下部のスピーカ５９からは、障害物までの距離が音声出力される。尚、本例では警告マークのみを虚像表示する場合を示したが、警告マークに加えて障害物までの距離も虚像表示するようにしてもよい。或いは、警告マークの代わりに距離の虚像表示のみとしてもよい。さらに、音声警告または虚像表示のいずれか一方のみにしてもよい。更にまた、例えば「右側前方に障害物あり・・・」というような、だいたいの位置のみを警告するようにしてもよい。
【０１４７】
従って、本実施形態の障害物報知システムによれば、仮に運転者が視覚で見落とした場合であっても運転者は障害物の存在を迅速に認識・対処できる。また、虚像表示と音声警告を共に用いており、しかも音声によって障害物までの距離をも報知するようにしているため、障害物に対してより迅速且つ適切に対処することができる。
【０１４８】
また、本実施形態では、位置変換パラメータによって障害物の実際の位置を導出するようにしているため、複雑な数値演算等を行う必要なく、撮影画像中の影の位置から実位置を簡単に得ることができ、本障害物報知システムを簡単な構成で実現できる。
【０１４９】
更に、本実施形態では、単に障害物の存在或いは障害物までの距離を報知するのみでなく、道路外にあるか否かの情報まで報知するようにしている。そのため、例えば距離のみが報知されるようなシステムに比べ、より正確な情報が運転者に与えられることになり、障害物報知により運転者に与える負担（道路上にあるものなのか否かの判断にかかる負担）や煩わしさを抑えることができる。
【０１５０】
更にまた、本実施形態では、障害物報知を連続的に実行するのではなく、タイマーを用いて一定間隔毎で実行するようにしているため、連続的に常時行う場合に比べて左右ヘッドライト１ａ，１ｂからの照射光が同時に照射される時間が長くなり、視界を良好に保てる。
【０１５１】
尚、本実施形態の光遮断機５６，５７は、透過孔７３の形状を半円形としたが、これに限らず例えば図２７で説明したフィルタ切替器８０と同じように円形の透過孔としてもよく、その形状は、ヘッドライト光を十分に照射できる範囲内で自由に決めることができる。
【０１５２】
本実施形態では左右のヘッドライト光を交互に照射させてそれぞれの影のでき方の違いをみて障害物を判断するようにしたが、ヘッドライト以外の他の光源を複数用いて同様に障害物の判断を行うようにしてもよい。また、光源の数も本例のように二つに限らず、３つ以上として各々の撮影画像を比較するようにしてもよい。
【０１５３】
ここで、本実施形態の構成要素と本発明の構成要素の対応関係を明らかにする。本実施形態において、光遮断機５６，５７は本発明の遮断手段に相当し、カメラ５８は本発明（請求項２０）の撮影手段に相当し、右ヘッドライト１ａ及び左ヘッドライト１ｂはいずれも本発明の光源に相当し、ＣＰＵ６５は本発明の一光源撮影制御手段、対象物判定手段、位置導出手段及び道路上判定手段に相当し、位置変換パラメータメモリ６３は本発明の記憶手段に相当し、位置変換パラメータは本発明の位置導出パラメータに相当し、液晶パネル１５及びスピーカ５９は本発明の報知手段に相当し、このうち特に液晶パネル１５は本発明の表示手段にも相当するものである。また、図２４の位置変換パラメータにおいて物体位置座標（Ｘ，Ｙ）に対応づけてそれぞれ登録されているＹ軸方向距離及び位置（道路外又は道路内）が本発明の実位置に相当するものである。
【０１５４】
また、図２１の撮影制御手段において、Ｓ５３０〜Ｓ５６０の各処理はいずれも本発明の一光源撮影制御手段が実行する処理に相当する。また、図２２の障害物報知処理において、Ｓ６４０及びＳ６５０の処理はいずれも本発明の対象物判定手段が実行する処理に相当し、Ｓ６９０の処理は本発明の位置導出手段が実行する処理に相当し、Ｓ７００の処理は本発明の道路上判定手段が実行する処理に相当する。
【０１５５】
以上、本発明の実施の形態について詳述したが、本発明の実施の形態は、上記各実施形態に何ら限定されるものではなく、本発明の技術的範囲に属する限り種々の形態を採り得ることはいうまでもない。
例えば、上記第３実施形態では、図１２に示すようにフィルタ切替器４２をヘッドライト１に取り付けるようにしたが、ヘッドライト１への取り付けに代えて、例えば図２６に示すように、両用カメラ４３に取り付けるようにしてもよい。
【０１５６】
即ち、ヘッドライト１の照射光（詳しくはその反射光）を含む車両前方からの光に対し、赤外線カットフィルタ５３にて赤外線をカットした光のみを両用カメラ４３に取り込んで撮影することにより可視光画像を撮影し、一方、赤外線透過フィルタ５２にて赤外線のみを両用カメラ４３に取り込んで撮影することにより赤外線画像を撮影するのである。つまり、フィルタ切替器４２の位置を両用カメラ４３側にもってきただけで他は第３実施形態と同じである。このようにしても、第３実施形態と同様の作用・効果を得ることができる。
【０１５７】
尚、この場合、ヘッドライト１とは別に赤外線ライトを配置して赤外線を車両前方に放射するようにしてもよい。つまり第１又は第２実施形態と同様の赤外線ライト１１を配置してもよい。このようにすれば、ヘッドライト▲１▼のみの場合よりも赤外線画像をより鮮明に撮影することができ、より確実に車両前方の状況を知ることができる。
【０１５８】
また、上記各実施形態では、虚像表示のための表示手段として液晶パネル１５を採用したが、これに限らず、表示光を出射してそれがフロントガラス８に反射することによって運転者が虚像として見ることができる構成の表示手段であれば何でもよい。また、この表示手段からの出射光が上記各実施形態のように直接フロントガラス８に当たるようにする方法以外にも、例えば反射鏡等を介したり、或いはレンズ等による屈折等を介してフロントガラス８に当たるようにしてもよく、結果として運転者が虚像を見ることができる限りその具体的構成は限定されない。
【図面の簡単な説明】
【図１】第１実施形態の表示システムの概略構成を示す説明図である。
【図２】第１実施形態の表示システムにおける画像処理回路の構成を示すブロック図である。
【図３】切り出し領域（領域Ｂ）の一例を示す説明図である。
【図４】第１実施形態の赤外線画像切り出し処理を示すフローチャートである。
【図５】撮影画像の画素（ｍ，ｎ）を表す説明図である。
【図６】第１実施形態の撮影画像における切り出し領域（領域Ｂ）の具体例を示す説明図である。
【図７】第２実施形態の表示システムの概略構成を示す説明図である。
【図８】第２実施形態の表示システムにおける画像処理回路の構成を示すブロック図である。
【図９】第２実施形態の輝度判定・データ書き込み処理を示すフローチャートである。
【図１０】第３実施形態の表示システムの概略構成を示す説明図である。
【図１１】フィルタ切替器の構成を示す説明図である。
【図１２】第３実施形態の、可視光線・赤外線両用カメラとフィルタ切替器とが同期制御されることを説明するためのシステム構成図である。
【図１３】第３実施形態の表示システムにおける画像処理回路の構成を示すブロック図である。
【図１４】第３実施形態の撮影制御処理を示すフローチャートである。
【図１５】図１４の撮影制御処理における輝度判定・データ書き込み処理を示すフローチャートである。
【図１６】第４実施形態の障害物報知システムの概略構成を示す説明図である。
【図１７】第４実施系他の障害物報知システムにおける、ヘッドライト，光遮断機及びカメラの設置例を表す説明図である。
【図１８】光遮断機の構成を示す説明図である。
【図１９】第４実施形態の、カメラと光遮断機とが同期制御されることを説明するためのシステム構成図である。
【図２０】第４実施形態の画像処理・制御回路の構成を表すブロック図である。
【図２１】第４実施形態の撮影制御処理を示すフローチャートである。
【図２２】図２１の撮影制御処理における障害物報知処理を示すフローチャートである。
【図２３】第４実施形態における、障害物までの距離を得る原理を説明する図であり、（ａ）は、左・右各ヘッドライト点灯時の撮影画像を示し、（ｂ）は、各撮影画像から障害物の影のみを抽出した画像を示す。
【図２４】第４実施形態の位置変換パラメータを示す説明図である。
【図２５】第４実施形態の、検出した障害物を運転者に報知する具体例を示す説明図である。
【図２６】図１２のシステム構成図の変形例を示す図である。
【図２７】第３実施形態のフィルタ切替器（図１１）の変形例を示す説明図である。
【図２８】従来の表示システムの概略構成を示す説明図である。
【図２９】従来の表示システムの概略構成を示すブロック図である。
【符号の説明】
１・・・ヘッドライト、１ａ・・・右ヘッドライト、１ｂ・・・左ヘッドライト、２・・・ハンドル、３・・・インストルメントパネル、６・・・視点、８・・・フロントガラス、１１・・・赤外線ライト、１２・・・赤外線カメラ、１３，３１，６０・・・画像処理回路、１４・・・ヘッドライトスイッチ、１５・・・液晶パネル、２１・・・赤外線カメラ用フレームメモリ、２２・・・切り出し領域設定メモリ、２４・・・合わせ用フレームメモリ、３０・・・システム起動スイッチ、３３，６４・・・輝度閾値設定メモリ、４１・・・カメラ・フィルタ切替制御装置、４２，８０・・・フィルタ切替器、４３・・・両用カメラ、５１，７１・・・回転型アクチュエータ、５２，８１・・・赤外線透過フィルタ、５３，８２・・・赤外線カットフィルタ、５５・・・画像処理・制御回路、５６，５７・・・光遮断機、５８・・・カメラ、５９・・・スピーカ、６３・・・位置変換パラメータメモリ、６６・・・カメラ・遮断機制御回路、７２・・・光遮断板、７３・・・透過孔[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a driving support method for displaying information about a situation in front of a vehicle to a driver driving a vehicle such as an automobile to assist driving, and a display system and a notification system for realizing the driving support method.
[0002]
[Prior art]
In recent years, there has been an increasing demand for an image HMI (Human Machine Interface) having excellent visibility and less burden on a driver. In particular, there is a growing need for information such as front view assist information and blind spot information for safely driving the vehicle, and an image HMI for more effectively transmitting these to the driver is required.
[0003]
When driving a car at night, the driver makes decisions about driving in low-light conditions, relying on headlights and streetlights, etc. , The danger increases. Therefore, a car accident at night increases the possibility of death.
[0004]
As a technique for covering an environment with poor visibility to the naked eye such as a low-illumination environment at night, for example, as shown in FIG. There is known a technique in which an electric signal is converted into an electric signal by a signal processing unit 103, a signal is processed by a signal processing unit 104 so that the electric signal can be displayed as a visible image, and displayed on a display unit 105 (for example, see Patent Document 1).
[0005]
As a result, the driver can recognize even the scene in front of the vehicle which is difficult for the driver to see by looking at the display unit 105.
Also, for example, as shown in FIG. 29, the visible light camera 111 captures a visible light landscape and records the image data in the visible light image frame memory 112, and the infrared camera 113 captures the infrared landscape and captures the image data. Is recorded in the infrared image frame memory 114, and the CPU 115 cuts out an area corresponding to a part where the driver has difficulty in visually recognizing from the infrared image and synthesizes the extracted area with a corresponding area in the visible light image. Is also known, and this is displayed on the display monitor 118 (for example, see Patent Document 2).
[0006]
In other words, the technology described in Patent Document 2 displays a scene captured by visible light in a portion visible to the driver, and synthesizes and displays a scene captured by infrared in a field of view that is difficult to see with the naked eye. Thus, the driver can grasp the entire scene in front of the vehicle by looking at the display image on the display monitor 118.
[0007]
[Patent Document 1]
JP 05-137030 A
[Patent Document 2]
JP-A-11-308609
[0008]
[Problems to be solved by the invention]
However, when information on the front of the vehicle is provided to the driver by the above-described conventional technique, the driver needs to turn his / her gaze to the display monitor in order to recognize the information (the scenery ahead). When the display monitor is arranged on, for example, an instrument panel, the driver turns his / her eyes from the front during traveling, which poses a danger. Also, for example, when the display monitor is disposed between the windshield and the driver, the driver does not need to look away from the front much more than in the case of the instrument panel arrangement, but the front view during traveling is not This is also dangerous because it is difficult to see (the display monitor is in the way).
[0009]
Moreover, it is difficult to instantaneously associate the actual front view of the vehicle seen by the driver during traveling with the image displayed on the display monitor (scenery image in front of the vehicle). The time loss between recognition of an object and the driver taking action based on the recognition (for example, confirming the actual position of the obstacle with the naked eye and taking avoidance measures) may be large. Absent.
[0010]
Furthermore, the display monitor displays not only pedestrians and obstacles, but also all surrounding areas such as street trees and buildings, so even if the display monitor shows an obstacle, it is an obstacle. This cannot be instantaneously recognized, and the response may be delayed.
The present invention has been made in view of the above problems, and even in an environment where the front is difficult to see, such as at night, the driver during driving does not distract the gaze from the scene in front of the vehicle that is actually looking through the windshield. It is an object of the present invention to quickly and accurately grasp a situation in front of a vehicle and to drive safely.
[0011]
Means for Solving the Problems and Effects of the Invention
The driving support method according to claim 1, which has been made to solve the above problem, captures a scene in front of the vehicle by a capturing unit that captures an image using electromagnetic waves other than visible light, and generates an invisible light image that is the captured image. At least, an image of the invisible area that is difficult to see with the naked eye of the driver is displayed as a virtual image on the windshield so as to overlap the actual scenery seen by the driver.
[0012]
Since the photographing means captures an image using electromagnetic waves (for example, infrared rays) other than visible light that cannot be visually recognized by the human naked eye, even if the scene in front of the vehicle is difficult to see with the naked eye, the photographing means can capture the image. Thus, the entire scene in front of the vehicle can be grasped from the captured image.
[0013]
In the present invention (claim 1), the invisible light image by the photographing means is realized by displaying a virtual image, that is, by forming a virtual image on a windshield surface, instead of displaying it on a display monitor or the like as in the related art. . In addition, the virtual image is not displayed simply at an arbitrary position on the windshield surface, but is displayed so that an actual scene (an actual object to be displayed as a virtual image) seen by the driver and the virtual image overlap.
[0014]
Therefore, according to the first aspect of the present invention, even in an environment where it is difficult to see the front of the vehicle, such as at night, the driver does not look away from the scene in front of the vehicle that is actually looking through the windshield. It is possible to grasp the situation quickly and accurately and drive safely. In addition, since the actual scenery and the virtual image seen by the driver overlap with each other, the driver can instantly understand the virtual image and perform appropriate driving according to the situation in front of the vehicle.
[0015]
It should be noted that the image displayed as a virtual image may be only an area that is difficult to view, or may be an entire image (invisible light image) captured by the imaging unit, and an arbitrary area including at least the area that is difficult to view may be determined as appropriate.
Here, the difficult-to-view region can be appropriately set according to individual differences between drivers, differences between vehicles, or the surrounding environment of the vehicle at that time. It is preferable to set the area in which the reflected luminance to the vehicle by the irradiation light when the headlight is turned on is equal to or less than a predetermined luminance (hereinafter, also referred to as an “area where the headlight is not lit”).
[0016]
With this configuration, an invisible light image corresponding to an area where the headlight does not hit during night driving is displayed as a virtual image on the windshield surface, so that the scenery of a place that is difficult to see with the naked eye can be visually recognized.
For the setting of the area where the headlight does not hit, for example, an area obtained experimentally for each vehicle or each vehicle type may be set in advance in advance, or by setting based on the luminance of each pixel of the invisible light image. You may make it possible to respond in real time to the middle vehicle front situation. Also, for example, regions corresponding to the high beam irradiation and the low beam irradiation of the headlight may be set.
[0017]
In addition, the hard-to-view region may be arbitrarily set by a driver or the like, for example, or may be set by analyzing a hard-to-view region in real time during driving. As described in claim 3, it may be a predetermined area set in advance.
[0018]
In this way, it is not necessary to analyze a region that is difficult to view in real time or to perform a setting operation by a driver or the like, and only a simple process based on the set predetermined region is invisible to a region that is difficult for the human naked eye to see. An optical image can be displayed as a virtual image.
In this case as well, the predetermined area can be set as appropriate, for example, it may be within a predetermined range including the roadside, or, for example, a plurality of assumed areas are prepared in advance and the driver selects from among them. You may make it possible to set it.
[0019]
On the other hand, while the vehicle is driving, the area in which the driver finds it difficult to view changes depending on the traffic condition of the road on which the vehicle is traveling, the surrounding environment, and the like. For example, an area where it is difficult to see when driving on a road without a streetlight at night with only the own vehicle, and an area where it is difficult to see when there is a streetlight and the vehicle is running before and after the vehicle and in the opposite lane. The sensed area is naturally different.
[0020]
Therefore, the difficult-to-recognize area is not set in advance as described above. For example, as described in claim 4, the invisible-light image is formed of pixels having a luminance equal to or less than a predetermined first luminance threshold in the invisible light image. It may be.
The first luminance threshold can be appropriately determined in accordance with the individual differences of the drivers, but can be set to a value such that, for example, if the first luminance threshold is larger than the threshold, it can be seen relatively well with the naked eye. Conversely, if the brightness is lower than the threshold value, it can be set to a value that makes it difficult to see with the naked eye
Further, for example, as described in claim 5, the photographing means also has a visible light photographing function of condensing visible light and photographing, and alternately performs photographing by the visible light photographing function and photographing of an invisible light image. For the visible light image and the invisible light image, which are images taken by the visible light photographing function, which are continuously photographed, the luminance in the visible light image is equal to or less than a predetermined second luminance threshold. A region in the invisible light image corresponding to the region composed of the pixels may be set as a difficult-to-view region.
[0021]
That is, instead of based on the luminance of each pixel constituting the invisible light image as in claim 4, the visually recognizable area is determined based on the luminance of each pixel constituting the visible light image.
As described above, according to the driving support method of the fourth or fifth aspect, if the scenery actually seen by the driver is bright (that is, if there are few areas equal to or less than the first or second luminance threshold), the virtual image is displayed accordingly. On the contrary, if the actual scene is dark (that is, if the area equal to or less than the first or second luminance threshold is large), the area where the virtual image is displayed becomes large. Therefore, an area in which the driver is difficult to view is specified, and an appropriate virtual image display corresponding to the surrounding environment or the like while driving is performed in real time.
[0022]
The virtual image display on the windshield may be performed, for example, all the time. However, when the driver is bright during the daytime, the visibility from the driver is usually good, so the necessity of displaying the virtual image is low. If a virtual image is displayed even when the visibility is good, it may adversely affect the view.
[0023]
Therefore, a virtual image may be displayed on the windshield when the headlight of the vehicle is turned on, for example. In this manner, unnecessary virtual image display can be eliminated, and the driver can drive safely and comfortably.
[0024]
Next, the invention according to claim 7 is a driving assistance method for calling attention to a driver, wherein light from a plurality of light sources mounted on a vehicle is irradiated simultaneously with light from two or more light sources. The scene in front of the vehicle is photographed by photographing means capable of photographing light from the light source for each irradiation in order to prevent the vehicle from being illuminated. Then, the photographed images of the respective light sources by the photographing means (the photographed images of the respective irradiations from the respective light sources) are compared with each other, and if there is a different portion between the respective photographed images, the different portion is shaded by the object. And notifies the driver that there is an object ahead of the vehicle.
[0025]
In other words, each time the light from each light source is sequentially irradiated, one photographing unit performs photographing, and a shadow of the object is found by comparing the photographing results. For example, when light is irradiated on an object in front of the vehicle from different positions, the shadow of the object is different for each light to be irradiated. Therefore, when light is individually radiated from a plurality of light sources and the photographing means performs photographing for each irradiation, a photographed image having a different shadow portion for each irradiation is obtained.
[0026]
By notifying the driver when there is a different portion (shadow portion), the driver can quickly recognize the presence of the target object even if the driver has overlooked visually. For example, even if there is an obstacle on the road as the target object and the obstacle cannot be visually recognized, it is possible to quickly cope with the notification.
[0027]
Further, instead of simply determining that a different portion is a shadow based on the presence of a different portion, for example, as described in claim 8, a difference in luminance of a different portion between captured images of each light source is a predetermined value. When the luminance is higher than the three luminance thresholds, the different portion may be determined to be a shadow of the target object.
[0028]
That is, when the object is irradiated with light, the shadow part is darker than the light-irradiated part. Is determined. Therefore, the third luminance threshold may be set to a value that can clearly distinguish a shadow portion and a non-shadow portion. This makes it possible to more reliably detect the shadow of the object.
[0029]
Further, instead of notifying only the fact that there is an object, the actual position of the object may be notified, for example, as described in claim 9. That is, the actual position, which is the actual position of the object with respect to the vehicle, is derived based on the position of the shadow of the object, and at the time of notification, at least the derived actual position is reported. In this way, the driver can know not only the presence of the object but also the actual position with respect to the own vehicle, so that the driver can quickly and appropriately deal with the object.
[0030]
According to a tenth aspect of the present invention, there is provided a display system mounted on a vehicle for displaying a situation in front of the vehicle to assist a driver in driving, wherein the invisible light radiating means mounted separately from the headlight is visible. Electromagnetic waves other than light rays are emitted toward the front of the vehicle, and a photographing unit installed for photographing a scene in front of the vehicle photographs an image using electromagnetic waves other than visible light.
[0031]
Then, the image processing means extracts at least an image of an invisible area that is difficult to see with the naked eye of the driver from the invisible light image which is an image taken by the imaging means, and displays the image on the windshield surface by the display means. . The display means emits display light from the image display surface to display a virtual image of the image extracted by the image processing means on the windshield surface so that the driver can visually recognize the image. Further, the photographing means and the display means are respectively installed such that the image displayed as a virtual image has a relative positional relationship such that the image overlaps with a region corresponding to the image in an actual scene seen by the driver.
[0032]
That is, this is a system in which the driving support method according to claim 1 is realized. Therefore, according to the display system of the present invention (claim 10), even in an environment where the front is difficult to see, such as at night, the driver who is driving is distracted from the scene in front of the vehicle that is actually looking through the windshield. Therefore, it is possible to quickly and accurately grasp the situation in front of the vehicle and to drive safely. In addition, since the actual scenery and the virtual image seen by the driver overlap with each other, the driver can instantly understand the virtual image and perform appropriate driving according to the situation in front of the vehicle.
[0033]
The display on the image display surface constituting the display means may be, for example, the image extracted by the image processing means as it is, or may be displayed by adding some processing. Further, the display light on the image display surface may be directly emitted to the windshield surface, or may impinge on the windshield surface through reflection or refraction by a reflector or a lens. And the process by which light emitted from the image display surface reaches the windshield surface may be arbitrarily determined, and as a result, a desired image may be displayed as a virtual image on the windshield surface.
[0034]
The difficult-to-view area may be, for example, an area where the headlights of the vehicle do not hit as described in claim 11, or may be a predetermined area set in advance as described in claim 12. Good. In the former case, the invisible light image of the area where the headlight does not hit during night driving is displayed as a virtual image on the windshield, so that the scenery of a place that is difficult to see with the naked eye can be visually recognized. It is not necessary to analyze a real region in real time, and an invisible light image can be displayed as a virtual image in a region that is difficult to see with the naked eye by simple processing.
[0035]
In addition, the invisibly difficult area may be, for example, an area in which the luminance of the pixel is equal to or less than the first luminance threshold in the invisible light image. That is, in the display system according to the thirteenth aspect, the image processing means compares the luminance of each pixel constituting the invisible light image with a preset first luminance threshold, and the first luminance comparison section. And an image extracting unit that extracts an image of the region including a pixel determined to be equal to or less than the first luminance threshold by the unit as a difficult-to-view region.
[0036]
That is, this is a system in which the driving support method according to claim 4 is realized. Therefore, the same operation and effect as the fourth aspect of the invention can be obtained.
Since the region other than the visually difficult region is, in other words, a region that the driver can visually recognize relatively well, the virtual image display may not be performed at all. For example, as described in claim 14, The image extraction unit converts the luminance of each pixel constituting the image other than the invisible light area in the invisible light image into a predetermined luminance equal to or less than the first luminance threshold, and extracts the luminance together with the image in the invisible light area. It may be.
[0037]
The display of the virtual image on the front glass surface by the display means may be performed when the headlights of the vehicle are turned on, for example, as described in claim 15. In this manner, unnecessary virtual image display can be eliminated, and the driver can drive safely and comfortably.
[0038]
Further, the invisible light radiating means is preferably configured to be capable of radiating electromagnetic waves other than visible light to a wider range or a distant range than the irradiation range of the headlight light, for example. In general, headlights are designed to illuminate the driver so that they do not adversely affect the surroundings while the main purpose is to improve the driver's visibility, but electromagnetic waves other than visible light are visible to the human eye. Therefore, it can be radiated to a wider or farther than the headlight.
[0039]
Therefore, if the electromagnetic waves from the invisible light radiating means are radiated to a wider range or a distant position than the headlight as described above, it is possible to recognize the situation in front of the vehicle to a wider range (or a far range) that cannot be seen with the naked eye. And safer driving becomes possible.
[0040]
Next, the display system according to claim 17 is installed to capture a scene in front of the vehicle, and can capture both a visible light image that is an image using visible light and an invisible light image that is an image using electromagnetic waves other than visible light. Switching between a suitable photographing means, a visible light filter for blocking visible light incident on the photographing means, an electromagnetic wave filter for blocking electromagnetic waves (other than visible light) incident on the photographing means, a visible light filter and an electromagnetic wave filter. Filter switching means.
[0041]
And the switching photographing control means,
A visible light photographing operation in which an electromagnetic wave filter blocks electromagnetic waves other than visible light to photograph a visible light image by the photographing means, and an invisible light photographing operation in which visible light is blocked by the visible light filter and an invisible light image is photographed by the photographing means. The filter switching means and the photographing means are synchronously controlled so that the processing is performed alternately, and the image processing means controls the luminance in the visible light image with respect to the visible light image and the invisible light image sequentially obtained by the operation of the switching photographing control means. Extracts an image of a region in the invisible light image corresponding to a region including pixels having a predetermined second luminance threshold or less.
[0042]
Then, the display unit displays a virtual image of the image extracted by the image processing unit on the front glass surface. This display means has the same configuration as the display means described in claim 10. Further, the relative positional relationship between the photographing means and the display means is also the same as in the tenth aspect, and the virtual image-displayed image is installed so as to overlap with the area corresponding to the image in the actual scene seen by the driver.
[0043]
In other words, one photographing means capable of photographing both an image using visible light and an image using electromagnetic waves other than visible light can be used to shoot an image using visible light that has passed through the electromagnetic wave filter and an image using the above electromagnetic wave that has passed through the visible light filter. Are performed alternately.
[0044]
Therefore, for example, compared to the case where the means for taking an image by the electromagnetic wave and the means for taking an image by visible light are separately provided, it is possible to take a visible light image and an invisible light image with one photographing means, It is possible to reduce the cost of the photographing means and to improve the use efficiency of the arrangement space.
[0045]
In addition, since the invisible area is determined based on the brightness of the visible light image, an area that is more suitable for human vision is determined as compared to the invisible area based on the invisible light image. A more appropriate virtual image display according to the environment or the like can be performed.
Since the light emitted from the headlight generally includes an electromagnetic wave component (for example, infrared light) other than visible light, the display system according to claim 17 uses visible light only with light emitted from the headlight. Although it is possible to capture an image and an invisible light image, in order to capture a part which is difficult to see with the naked eye of the human eye as accurately as possible, for example, a visible light is separately provided from a headlight as described in claim 18. Invisible light radiating means for radiating other electromagnetic waves to the front of the vehicle may be provided.
[0046]
In this way, the situation ahead of the vehicle can be known more reliably than when only the headlights are used. Furthermore, for example, if the radiation range of the radiated electromagnetic wave from the invisible light radiation means is set to be wider or farther than the irradiation range of the headlight, the situation in front of the vehicle can be recognized in a wider range, and the safety is further improved. A display system can be provided.
[0047]
The display system according to claim 19, which is installed to capture a scene in front of the vehicle, and is capable of capturing both a visible light image that is an image using visible light and an invisible light image that is an image using electromagnetic waves other than visible light. Means, a visible light filter that blocks visible light among irradiation light emitted from the headlight to the front of the vehicle, and an electromagnetic wave filter that cuts electromagnetic waves other than visible light among irradiation light emitted from the headlight to the front of the vehicle. , A filter switching means for switching between the visible light filter and the electromagnetic wave filter.
[0048]
Then, the switching photographing control means cuts off the electromagnetic wave from the headlight by the electromagnetic wave filter and shoots a visible light image by the photographing means, and shoots the visible light from the headlight by the visible light filter. The filter switching unit and the photographing unit are synchronously controlled so that the invisible light photographing operation of photographing the invisible light image by the unit is performed alternately. The operation of the image processing means when the visible light image and the invisible light image are sequentially obtained, and the virtual image display by the display means of the image extracted by the image processing means are the same as in claim 17.
[0049]
That is, in the display system according to the seventeenth aspect, the visible light filter and the electromagnetic wave filter block the visible light and the electromagnetic wave, respectively, incident on the photographing means. The optical filter and the electromagnetic wave filter are configured to block visible light and electromagnetic waves from the headlight, respectively.
[0050]
Therefore, a visible light image and an invisible light image can be taken only by irradiation (emission) from the headlight without providing a means for emitting electromagnetic waves other than visible light separately from the headlight, thereby reducing the cost of the light source. And the use efficiency of the arrangement space can be improved. Further, as in the case of the seventeenth aspect, since the visible light image and the invisible light image can be photographed by one photographing means, the cost of the photographing means can be reduced and the use efficiency of the arrangement space can be improved.
[0051]
In each of the seventeenth to nineteenth aspects, as in the fourteenth aspect, the brightness of the image other than the invisible area is converted to a second brightness threshold or less to display a virtual image. Is also good. That is, a virtual image may be displayed together with the image of the other region, together with the image of the hardly visible region extracted by the image processing means.
[0052]
Next, the invention according to claim 20 is a notification system mounted on a vehicle and for alerting a driver, provided for a plurality of light sources for irradiating the front of the vehicle, and for each light source, Blocking means for blocking light emitted from the light source toward the front of the vehicle, and photographing means for condensing the light emitted from each light source and photographing (in other words, photographing a scene in front of the vehicle when light is irradiated from each light source). And with.
[0053]
The one light source photographing control means irradiates only one of the irradiation lights from one of the light sources toward the front of the vehicle and cuts off the irradiation lights from all the other light sources by the corresponding cutoff means. Each of the blocking means and the photographing means are controlled synchronously so that the photographing is performed by the photographing means each time the one light source irradiation operation is performed, and the object determination means is obtained by the one light source photographing control means. When there is a different part by comparing the captured images for each one light source irradiation operation, the different part is determined as a shadow of the object, and when the shadow of the object is determined by the object determination unit. Then, the notifying means notifies the driver that there is an object.
[0054]
In other words, this is a notification system in which the driving support method described in claim 7 is realized, and similarly to claim 7, even if the driver overlooks visually, the driver quickly recognizes the presence of the target object. For example, even if there is an obstacle on the road as an object and it is not possible to see it, it is possible to respond quickly by reporting
According to a twenty-first aspect of the present invention, there is provided a notification system in which the driving assistance method according to the eighth aspect is realized, wherein the object determining unit determines that a difference in luminance of a different portion between the captured images is a predetermined third luminance. If the difference is higher than the threshold value, the different portion may be determined to be the shadow of the object. In other words, the captured images of the respective light sources are compared, and a region where the image data (pixels) are significantly different is determined as the shadow of the object. The third luminance threshold may be set to a value that can clearly distinguish a shadow portion and a non-shadow portion. This makes it possible to more reliably detect the shadow of the object.
[0055]
An invention according to claim 22 is a notification system in which the driving support method according to claim 9 is realized, wherein the position deriving unit determines the position of the object with respect to the vehicle based on the position of the shadow of the object in the captured image. It is preferable that an actual position, which is an actual position, is derived, and the notifying means notifies at least the derived actual position. If the notification system is configured in this manner, the driver can know not only the presence of the object but also the relative position with respect to the own vehicle, so that the driver can quickly and appropriately deal with the object.
[0056]
The actual position may be, for example, the distance from the own vehicle to the target object, or may be a rough position expression with respect to the own vehicle (for example, “left front”, “center of the road”, etc.). Good.
Derivation of the actual position by the position deriving means may be, for example, a method of calculating by a numerical operation or the like from the coordinates of a shadow in a captured image, but may be, for example, as described in claim 23. That is, there is provided storage means for storing a position deriving parameter indicating a correspondence relationship between the position (for example, coordinates) of the shadow of the target object in the photographed image and the actual position, and the position deriving means stores the position deriving parameter stored in the storage means. The actual position is derived according to
[0057]
With this configuration, it is possible to easily obtain the actual position from the position of the shadow in the captured image without performing a complicated numerical operation or the like for deriving the actual position, and to realize the position deriving unit with a simple configuration. .
Various specific notification methods by the notification unit are conceivable. For example, the notification may be performed by voice as described in claim 24. In this way, even if the driver overlooks the information visually, the driver can notice the information by hearing, so that it is possible to realize a highly reliable information system that can more reliably transmit the information.
[0058]
Further, for example, as in claim 25, the notifying unit includes a display unit that emits display light from the image display surface to display a virtual image of the image on the image display surface on the windshield surface. When the shadow of the object is determined, the notification may be performed by displaying a virtual image on the windshield surface by the display means.
[0059]
As the virtual image display by the display means, for example, a warning mark indicating that an object is present may be displayed on the windshield surface as a virtual image, or the real position of the object may be displayed. At the time of notification, for example, the real position derived by the position deriving means may be displayed as a virtual image on the front glass surface. In this way, the driver can visually recognize the presence of the object, and can quickly deal with the object.
[0060]
Then, when the presence of the object is notified by the virtual image display as described above, more preferably, when the driver sees the actual object corresponding to the virtual image display, for example, as described in claim 28, It is preferable to perform virtual image display so as to overlap with the target object. In this way, the driver can immediately recognize the presence of the object and its position, rather than simply displaying a virtual image at an arbitrary position on the windshield surface, so it is possible to respond to the object more quickly It becomes.
[0061]
Here, if the object is judged to be shadowed by the object judging means, all objects such as pedestrians, street trees, and street lamps not on the road but on the sidewalk are targeted. It is also conceivable that the information is judged and notified. Therefore, for example, as described in claim 29, on-road determination means for determining whether or not the shadow of the object is located on the traveling road based on the position of the shadow of the object in the captured image is provided. Preferably, the notifying unit may notify when the on-road determining unit determines that the shadow of the object is located on the road.
[0062]
That is, since objects other than the road do not directly affect the running of the vehicle, only the objects on the road are notified. Therefore, only the object information that is really necessary for the driver is notified, and the burden on the driver (the burden of determining whether or not the object is on the road) and the burden on the driver due to the object notification are reduced. be able to.
[0063]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, a preferred embodiment of the present invention will be described with reference to the drawings.
[First Embodiment]
FIG. 1 is an explanatory diagram illustrating a schematic configuration of the display system of the present embodiment. The display system according to the present embodiment is mounted on a vehicle and displays a front situation of the vehicle in an environment where it is difficult for the driver to see the vehicle at night, for example, to assist the driver in driving. As shown in FIG. It mainly comprises an infrared light 11, an infrared camera 12, an image processing circuit 13, and a liquid crystal panel 15.
[0064]
The infrared light 11 is disposed at the front of the vehicle so as to emit infrared light over a wide area in front of the vehicle (a range wider than the irradiation range of the headlight 1). The infrared camera 12 is a well-known one for capturing an image by infrared rays, and is arranged at the upper center of the windshield 8 so as to capture the entire field of view when the driver looks at the front of the vehicle from the viewpoint 6.
[0065]
FIG. 3 shows an example of an image captured by the infrared camera 12, and this captured image is substantially the same as the field of view when the driver looks at the front from the driver's seat. Therefore, the infrared light 11 used is one capable of sufficiently irradiating infrared light at least in the region of the captured image shown in FIG.
[0066]
The image processing circuit 13 cuts out only an image of a predetermined area from an image captured by the infrared camera 12 (corresponding to an invisible light image of the present invention; hereinafter, referred to as an “infrared image”) by an infrared image cutout process described later, and This is output to the liquid crystal panel 15, and the specific configuration is shown in FIG.
[0067]
The image processing circuit 13 is activated by turning on a headlight switch 14 located in front of the handle 2, and as shown in FIG. 2, a frame memory 21 for an infrared camera, a cutout area setting memory 22, a CPU 23, and a It is composed of a frame memory 24. That is, the display system of the present embodiment operates when the headlight 1 is turned on.
[0068]
When the image processing circuit 13 is activated by turning on the headlight switch 14, an infrared image (pixel data) captured by the infrared camera 12 is recorded in the infrared camera frame memory 21. This recording is performed at any time during startup.
On the other hand, an area to be cut out of the infrared image is preset in the cutout area setting memory 22 in advance, and the CPU 23 sets the cutout area setting memory 22 from the infrared image recorded in the infrared camera frame memory 21. Only the image of the area (cutout area) corresponding to the content is cut out and recorded in the frame memory 24 for superposition.
[0069]
This cut-out area corresponds to the hardly visible area of the present invention, and is set to the area B shown in FIG. 3 in the present embodiment. In FIG. 3, a region A is a region where the light of the headlight 1 shines, and the other region is a region where the headlight 1 does not shine, that is, the reflection luminance to the vehicle by the irradiation light when the headlight 1 is lit. Is an area where the brightness is equal to or lower than the predetermined luminance.
[0070]
Of the area other than the area A, an area B that is relatively close to the vehicle including the road side and is likely to be in a dangerous situation if there is a visual oversight is cut out as a cutout area and overlapped. The image data is recorded in the frame memory 24 for use as a virtual image on the surface of the windshield 8 as described later.
[0071]
The cut-out area (area B) can be set, for example, to an area experimentally obtained for each vehicle or each vehicle type. In addition to this, for example, the luminance is determined based on the luminance of each pixel of the infrared image. By setting the area to be equal to or less than a predetermined value (that is, an area that is difficult to be visually recognized by the naked eye), it may be possible to respond in real time to a situation in front of the running vehicle. Further, for example, different regions may be provided when the headlight 1 is irradiated with the high beam and when the headlight 1 is irradiated with the low beam. Further, for example, a plurality of assumed cutout areas are set in the cutout area setting memory 22 in advance, so that the driver can selectively set an appropriate cutout area according to the surrounding environment or the like during driving. You may.
[0072]
Then, the image data of the area B recorded in the overlay frame memory 24 is output to the liquid crystal panel 15. The liquid crystal panel 15 is disposed above the instrument panel 3 in the vehicle interior as shown in FIG. 1, and the display light of the image displayed on the display screen is reflected on the windshield 8 and the driver's viewpoint is 6 That is, the driver sees the image displayed on the liquid crystal panel 15 as a virtual image displayed on the windshield 8.
[0073]
In the present embodiment, the image of the area B recorded in the superimposing frame memory 24 is displayed on the liquid crystal panel 15, and the display light is displayed as a virtual image on the front glass 8 surface. Therefore, the driver can view the image (landscape) of the area B as a virtual image on the windshield 8. The relative positional relationship between the liquid crystal panel 15 and the infrared camera 12 and the screen display of the liquid crystal panel 15 are such that the image of the area B in which the virtual image is displayed overlaps the scene corresponding to the actual area B as viewed from the driver. .
[0074]
As a specific arrangement method of the infrared camera 12 and the liquid crystal panel 15, first, the position of the infrared camera 12 is determined, and the infrared camera 12 is arranged so as to be able to photograph the front of the vehicle, that is, to photograph the range shown in FIG. Next, the position of the liquid crystal panel 15 is adjusted so that the actual scene in front of the vehicle seen by the driver and the infrared image displayed as a virtual image on the windshield 8 are overlapped, and the liquid crystal panel 15 is fixed at the position where the overlap occurs.
[0075]
Next, an infrared image cutout process executed by the CPU 23 to cut out only the image of the cutout region (region B) from the infrared camera frame memory 21 and record the cutout image in the overlay frame memory 24 will be described with reference to FIG. FIG. 4 is a flowchart illustrating the infrared image cutout processing according to the present embodiment. This infrared image cutout processing is continuously performed after an ignition switch (not shown) of the vehicle is turned on.
[0076]
When this process is started, first, in step (hereinafter abbreviated as “S”) 110, the cutout area (area B) set in the cutout area setting memory 22 is read, and the headlight 1 is turned on in subsequent S120. It is determined whether or not the headlight switch 14 is ON. While the headlight 1 is turned off, the determination process of S120 is repeated. When the headlight 1 is turned on, the process proceeds to S130 and subsequent steps.
[0077]
Here, in the present embodiment, each pixel of the infrared image is arranged at an address as shown in FIG. That is, the pixel column (X axis) m is 1 to L columns, and the pixel row (Y axis) n is 1 to K rows. That is, an infrared image is composed of a total of (L * K) pixels.
[0078]
Then, in the processing after S130, the processing is performed for each pixel. Specifically, the processing of S140 to S190 is repeated for each pixel row n until n = 1 to n = K. In the processing of S140 to S190, the processing of S150 to S180 is repeated for each pixel column m until m = 1 to m = L. That is, in the captured image shown in FIG. 5, from the top row (n = 1) to the last pixel (L, K) in the order of the pixels in the first column to the pixels in the L-th column for each row, The processes of S150 to S180 are sequentially performed.
[0079]
In S150, the corresponding pixel (m, n) of the infrared image recorded in the infrared camera frame memory 21 is read. Then, in S160, it is determined whether or not the read pixel (m, n) is applicable to the cutout area (area B). If not, the process proceeds to S180, and the pixel (m, n) in the overlay frame memory 24 is determined. m, n) is written with black display data. Black display means a state where nothing is displayed on the liquid crystal panel 15, and no virtual image is displayed for the pixel.
[0080]
On the other hand, if it is determined in S160 that the image data is applied to the area B, the process proceeds to S170, and the data of the pixel (m, n) in the infrared image is written to the pixel (m, n) in the overlay frame memory 24. When this series of processing is performed for all pixels (S200), the process returns to S120, and the same processing as described above is repeated.
[0081]
As a result, only the image corresponding to the area B among the infrared images is recorded in the superimposing frame memory 24 and is displayed on the liquid crystal panel 15 so that the driver sees it as a virtual image of the windshield 8. . Specifically, for example, only the image of the area B (a pedestrian trying to cross the road in this example) is recorded in the overlay frame memory 24 as shown in FIG.
[0082]
As described in detail above, the display system of the present embodiment cuts out only an image of a preset cutout area (area B) from the infrared image captured by the infrared camera 12 and displays a virtual image. This cutout area is a predetermined area in the area where the headlight does not hit, and the virtual image display is such that the virtual image of the area B displayed on the windshield 8 surface corresponds to the actual area B viewed from the driver. It is made to overlap.
[0083]
Therefore, according to the display system of the present embodiment, even in an environment in which the front is difficult to see, such as at night, the driver during driving can look at the scene in front of the vehicle actually looking through the windshield 8 with the naked eye without distracting the eyes. It is possible to visually recognize the scenery of an invisible place, to quickly and accurately grasp the situation in front of the vehicle, and to drive safely. In addition, since the actual scenery and the virtual image seen by the driver overlap with each other, the driver can instantly understand the virtual image and perform appropriate driving according to the situation in front of the vehicle.
[0084]
In addition, since the cut-out area is set in the cut-out area setting memory 22 in advance, for example, it is necessary to analyze and cut out an area that is difficult to view during traveling in real time, and it is also necessary to perform a troublesome operation such as detailed setting of the cut-out area by a driver or the like. It is not necessary, and the image of the cutout area can be displayed as a virtual image in an area that is difficult to be seen by the human naked eye only by simple processing based on the set predetermined area.
[0085]
In the present embodiment, the CPU 23 directly takes in the signal (ON / OFF signal) from the headlight switch 14, but is not limited to this, and may take in the signal from the electronic control unit (ECU) 17, for example. . Further, the virtual image is displayed while the headlight 1 is turned on. However, the present invention is not limited to this. For example, a start switch dedicated to the present display system may be provided and the switch may be started by this switch. It may be provided to measure the illuminance around the vehicle and automatically start when the illuminance becomes lower than a predetermined illuminance.
[0086]
In the present embodiment, the infrared camera 12 is used to capture a scene that is difficult to see with the naked eye of the driver. However, the present invention is not limited to infrared rays. For example, an electromagnetic wave other than visible light such as an ultrasonic radar or a millimeter-wave radar is used. Therefore, any light source and a photographing device capable of photographing a landscape image which is invisible to the driver can be applied.
[0087]
Here, the correspondence between the components of the present embodiment and the components of the present invention will be clarified. In the present embodiment, the infrared camera 12 corresponds to a photographing unit of the present invention (claim 1), the infrared light 11 corresponds to an invisible light emitting unit of the present invention, and the CPU 23 performs image processing of the present invention (claim 10). The liquid crystal panel 15 corresponds to the display unit of the present invention. In addition, in the infrared image cutout processing of FIG. 4, all of the processing of S160 to S180 correspond to the processing executed by the image processing means of the present invention (claim 10).
[0088]
[Second embodiment]
In the first embodiment, an image to be displayed as a virtual image on the front glass 8 surface, that is, a cutout region (region B) in an infrared image is set in the cutout region setting memory 22 in advance. Instead of being fixed in advance in such a manner, the region to be cut out is determined according to the visibility in front of the running vehicle.
[0089]
FIG. 7 is an explanatory diagram showing a schematic configuration of the display system of the present embodiment, and FIG. 8 is a block diagram showing a configuration of an image processing circuit in the display system of the present embodiment. As shown in FIGS. 7 and 8, the display system of the present embodiment is provided with a system start switch 30 dedicated to the display system separately from the headlight switch, and the system is started by the switch 30. The image processing circuit 31 is basically similar to the display system of the first embodiment shown in FIGS. 1 and 2 except that a luminance threshold setting memory 33 is provided and a CPU 34 sets a cutout area based on the setting contents. This is the same, and the arrangement method of the infrared camera 12 and the liquid crystal panel 15 is the same as that of the first embodiment. Therefore, the same components as those in FIGS. 1 and 2 are denoted by the same reference numerals, and description thereof will be omitted.
[0090]
In addition, the infrared light 11 of the present embodiment is arranged so as to be able to emit infrared light farther than the irradiation range of the headlight 1. Therefore, a landscape farther than the irradiation range of the headlight 1 can be photographed.
In the brightness threshold value setting memory 33, a brightness threshold value Z for discriminating an area that is hard to be visually recognized by the driver and an area that can be visually recognized in the infrared image recorded in the infrared camera frame memory 21 is set in advance. . The CPU 34 converts all the pixels constituting the infrared image whose luminance is higher than the luminance threshold Z into the luminance Z, and converts the pixels having the luminance equal to or lower than the luminance threshold Z into the superimposing frame memory 24 with the same luminance. Record.
[0091]
The brightness threshold value Z is set to the brightness of the infrared image corresponding to the brightness at the boundary between the brightness at which the driver feels that it is difficult to view and the brightness at which the driver feels good (for example, an appropriate brightness that is experimentally obtained). . Note that the driver himself / herself may be allowed to set the brightness threshold Z arbitrarily in consideration of the individual differences of the drivers.
[0092]
FIG. 9 shows a luminance determination / data writing process performed by the CPU 34. This brightness determination / data writing process is performed continuously during the ON period of the system start switch 30.
When this process is started, first, in S210, the luminance threshold value Z is read from the luminance threshold value setting memory 33, and the process proceeds to the subsequent processes from S220. Also in the present embodiment, the pixels of the infrared image are arranged at addresses as shown in FIG. 5, and the series of processing from S220 to S290 is the infrared image cutout processing of the first embodiment described with reference to FIG. Similarly to the above, the processing is performed for each pixel. That is, the processing of S230 to S280 is repeated for each pixel row n until n = 1 to n = K. In the processing of S230 to S280, the processing of S240 to S270 is repeated for each pixel column m until m = 1 to m = L.
[0093]
In S240, the corresponding pixel (m, n) of the infrared image recorded in the infrared camera frame memory 21 is read. Then, in S250, it is determined whether or not the luminance value of the read pixel (m, n) is equal to or less than the luminance threshold value Z. If the luminance value is greater than the luminance threshold value Z, the process proceeds to S270. The data of the luminance value Z is written to the pixel (m, n).
[0094]
On the other hand, if it is determined in S250 that the brightness is equal to or less than the threshold value Z, the process proceeds to S260, and the data of the pixel (m, n) in the infrared image is written into the pixel (m, n) in the frame memory for overlay 24. When this series of processing is performed for all pixels (S290), the process returns to S220, and the same processing as above is repeated.
[0095]
As a result, in the frame memory for superimposition 24, the area (pixels that are difficult to see) of the infrared image that is smaller than the luminance threshold Z has the same luminance, and the area that is composed of other pixels that are larger than the luminance threshold Z in the infrared image. Are recorded after converting the luminance to Z. This is displayed on the liquid crystal panel 15, and the driver sees it as a virtual image of the front glass 8 surface.
[0096]
As a result, the area that is difficult for the driver to see can be recognized as a front scene by the virtual image display. In addition, the brightness is unified to Z for a region with good visibility, but since it is originally a region where the actual scenery is easy to see, even if a virtual image of the brightness value Z is displayed in that region, the driver hardly sees it. No virtual image is recognized. Therefore, an area larger than the luminance threshold value Z may not be unified to the luminance value Z but may be displayed in black as in the first embodiment, or may be unified to an arbitrary luminance value equal to or less than the luminance value Z.
[0097]
Therefore, according to the present embodiment, an area that is difficult to see with the naked eye can be recognized as a virtual image, and the same operation and effect as in the first embodiment can be obtained. Moreover, in the present embodiment, if the scenery actually seen by the driver is bright (that is, if the area less than or equal to the luminance threshold value Z is small), the area where the virtual image is displayed is correspondingly small. (That is, if the area equal to or less than the luminance threshold value Z is large), the area where the virtual image is displayed is also increased by that amount. An appropriate virtual image display corresponding to the surrounding environment or the like during the specific driving can be performed in real time.
[0098]
In addition, since all pixel regions having a luminance value larger than the luminance threshold value Z are converted to the luminance value Z and the luminance is reduced, even if the position of the virtual image is shifted from the actual position, the infrared image is directly converted to the virtual image. The front scene is not difficult to see compared to the case of displaying.
[0099]
Further, in the present embodiment, since the infrared light from the infrared light 11 is radiated farther than the irradiation light of the headlight 1, it is possible to recognize the situation in front of the vehicle to a more distant range invisible to the naked eye, Safer driving becomes possible.
In the present embodiment, the system is started (virtual image display) by turning on the system start switch 30. However, the present invention is not limited to this. For example, the system may be started by turning on the headlight switch as in the first embodiment. Alternatively, for example, an illuminance sensor may be provided to measure the illuminance around the vehicle, and automatically activated when the illuminance becomes lower than a predetermined illuminance.
[0100]
Here, the correspondence between the components of the present embodiment and the components of the present invention will be clarified. In the present embodiment, the luminance threshold value Z corresponds to the first luminance threshold value of the present invention, and the CPU 34 corresponds to the first luminance comparing unit and the image extracting unit of the present invention. Further, the infrared light 11 of the present embodiment particularly corresponds to the invisible light emitting means of claim 16. In the brightness determination / data writing process of FIG. 9, the process of S250 corresponds to the process performed by the first brightness comparison unit of the present invention, and the processes of S260 and S270 are both performed by the image extraction unit of the present invention. It corresponds to processing.
[0101]
[Third embodiment]
In both the first and second embodiments, the infrared light 11 is arranged separately from the headlight 1. However, in the present embodiment, an infrared image is captured by irradiating only the headlight 1 and the infrared light is visible. An image (visible light image) is captured by a light beam, and a region to be displayed as a virtual image on the windshield 8 is determined from the infrared image based on the luminance of the visible light image.
[0102]
FIG. 10 is an explanatory diagram illustrating a schematic configuration of the display system of the present embodiment. As shown in the drawing, the display system according to the present embodiment has a visible light / infrared camera (hereinafter simply referred to as a “bi-purpose camera”) 43 capable of capturing both a visible light image and an infrared image, which is disposed at the upper center of the windshield 8. A filter switch 42 is attached to the headlight 1.
[0103]
The dual-use camera 43 is disposed at the upper center of the windshield 8 so as to capture the entire field of view of the front of the vehicle from the driver's viewpoint 6, and the relative positional relationship between the liquid crystal panel 15 and the dual-use camera 43; The fact that the screen display of the liquid crystal panel 15 is configured so that the image displayed as a virtual image overlaps with the actual scenery seen by the driver is based on the infrared camera 12, the liquid crystal panel 15, and the windshield in the first and second embodiments. 8 is exactly the same.
[0104]
Since FIG. 10 is a view from the side of the vehicle, only one headlight 1 and one filter switch 42 are shown. However, in practice, the headlight 1 is actually located on the left and right sides of the front of the vehicle. And a filter switch 42 is attached to each of them.
[0105]
The photographing by the dual-use camera 43 and the operation of the filter switching unit 42 are synchronously controlled by the camera / filter switching control unit 41 in accordance with a command from the CPU 48 in the image processing circuit 40 as described later. The liquid crystal panel 15 is the same as in the first and second embodiments.
[0106]
As shown in FIG. 11, the filter switch 42 has a disk-like shape as a whole. An infrared transmitting filter 52 is provided in about half (semicircle), and an infrared cut filter is provided in the other half. The filters 53 are configured as filter disks formed respectively. The filter disk is rotated by the rotary actuator 51.
[0107]
The rotary actuator 51 may be one that can control the rotational position by using, for example, a stepping motor, or may be one that can be controlled in position by, for example, an encoder using a general DC motor. Various types can be used that can reliably perform synchronization control between the dual-purpose camera 42 and the dual-purpose camera 43.
[0108]
The relative positional relationship between the filter switch 42 and the headlight 1 is schematically as shown in FIG. 12, and the operation of the rotary actuator 51 causes the irradiation light from the headlight to be transmitted to the infrared transmission filter 52 or the infrared transmission filter 52. The light passes through any one of the cut filters 53 (there may be an overlap) and is emitted in front of the vehicle.
[0109]
In the present embodiment, an image captured by the dual-use camera 43 when the infrared ray is cut off by the infrared cut filter 53 (that is, a visible light image) and an image captured by the dual-use camera 43 when only the infrared ray is transmitted by the infrared transmission filter 52 ( That is, an infrared image) is obtained alternately, and an image area to be displayed as a virtual image in the infrared image is determined based on the luminance of the visible light image.
[0110]
More specifically, as shown in FIG. 13, the visible light image of the images captured by the dual-purpose camera 43 is recorded in the frame memory A46, and the infrared image is recorded in the frame memory B47. On the other hand, the luminance threshold setting memory 33 is the same as the luminance threshold setting memory 33 of the second embodiment described with reference to FIG. Then, the CPU 48 performs black display for all of the pixels constituting the visible light image of the frame memory A 46 that are higher than the luminance threshold Z, and displays the corresponding pixels on the infrared image for those whose luminance is equal to or less than the luminance threshold Z. Is recorded in the superimposing frame memory 24 at the same luminance.
[0111]
FIG. 14 shows a photographing control process executed by the CPU 48. Although not shown, the photographing control process may be started by turning on a headlight switch as in the first embodiment, or may be started by a dedicated system activation switch as in the second embodiment. It may be started by turning on.
[0112]
When this processing is started, first, in S310, the luminance threshold value Z is read from the luminance threshold value setting memory 33, and the process proceeds to subsequent S320 and subsequent steps. In S320, the infrared cut filter 53 of the filter switching unit 42 is turned ON to prevent the infrared rays from being emitted to the front of the vehicle, and in S330, the dual-use camera 43 captures an image (that is, captures a visible light image). The data is recorded in the frame memory A46.
[0113]
Next, in S340, the infrared transmission filter 52 of the filter switching unit 42 is turned on so that only infrared rays are emitted toward the front of the vehicle, and in S350, photography by the dual-purpose camera 43 (that is, photography of an infrared image) is performed. The image data is recorded in the frame memory B47.
[0114]
The operation of the filter switch 42 and the photographing of the visible light image by S320 and S330 are the visible light photographing operation of the present invention, and the operation of the filter switch 42 and the photographing of the infrared image by S340 and S350 are the invisible light of the present invention. This is a shooting operation.
Then, when the visible light image and the infrared image are recorded in the corresponding frame memories A46 and B47 as described above, the process proceeds to S360, where the luminance determination / data writing process is executed. The details of the luminance determination / data writing processing are as shown in FIG. 15, and as shown in the drawing, the processing is performed for each pixel similarly to the first or second embodiment. That is, the processing of S420 to S470 is repeated for each pixel row n until n = 1 to n = K. In the processing of S420 to S470, the processing of S430 to S460 is repeated for each pixel column m until m = 1 to m = L.
[0115]
In S430, the corresponding pixel (m, n) of the visible light image recorded in the frame memory A46 is read. Then, in S440, it is determined whether or not the luminance value of the read pixel (m, n) is equal to or less than the luminance threshold value Z. If the luminance value is greater than the luminance threshold value Z, the process proceeds to S460. Write black display data to the pixel (m, n).
[0116]
On the other hand, if it is determined in step S440 that the brightness is equal to or less than the threshold value Z, the process advances to step S450 to write the data of the pixel (m, n) in the infrared image into the pixel (m, n) in the overlay frame memory 24. When this series of processing is performed for all pixels (S480), the process returns to S320 (FIG. 14) again, and the same processing as described above is repeated.
[0117]
As a result, the superimposition frame memory 24 stores in the infrared image the brightness of the infrared image as it is for an image in an area corresponding to an area formed of pixels having a brightness threshold value Z or less (a difficult-to-view area) in the visible light image. All other areas are recorded as black display. In other words, an image obtained by interpolating a portion that is hardly visible with visible light with infrared rays is stored in the frame memory 24 for superposition. This is displayed on the liquid crystal panel 15 as a display means, and the driver sees it as a virtual image of the front glass 8 surface. Note that the operation speed (rotation frequency) of the rotary actuator 51 may be appropriately determined in a speed range (for example, 60 Hz or more) in which the driver does not feel flickering.
[0118]
As described in detail above, the display system according to the present embodiment alternately switches between the case where visible light is emitted to the front of the vehicle and the case where only infrared light is emitted by the filter switch 42, and the dual-use camera 43 captures images in each case. ing. Therefore, a visible light image and an invisible light image can be taken only by irradiation (radiation) from the headlight 1 without separately providing an infrared light or the like other than the headlight 1, thereby reducing the cost of the light source and the front of the vehicle. , The use efficiency of the light source arrangement space can be improved.
[0119]
Also, as for image shooting, since a single dual-use camera 43 can shoot a visible light image and an infrared image, it is also possible to reduce the cost of the camera as the shooting means and improve the use efficiency of the arrangement space.
Here, the correspondence between the components of the present embodiment and the components of the present invention will be clarified. In the present embodiment, the dual-use camera 43 corresponds to the photographing means of the present invention (Claim 19), the infrared transmission filter 52 corresponds to the visible light filter of the present invention, and the infrared cut filter 53 corresponds to the electromagnetic wave filter of the present invention. The rotary actuator 51 corresponds to the filter switching means of the present invention, the CPU 48 corresponds to the switching photographing control means and the image processing means of the present invention, and the luminance threshold Z corresponds to the second luminance threshold of the present invention.
In addition, the processing of S320 to S360 in the imaging control processing of FIG. 14 corresponds to the processing executed by the switching imaging control unit of the present invention, and the processing of S440 to S460 in the luminance determination and data writing processing of FIG. This corresponds to the processing executed by the image processing means of the present invention. In addition, the region that is affirmed in the process of S440 in the brightness determination / data writing process of FIG. 15 corresponds to the hardly visible region of the present invention (claim 5).
[0120]
In the above embodiment, each of the filters 52 and 53 constituting the filter switch 42 has a semicircular shape. However, the present invention is not limited to this. For example, as shown in FIG. A circular filter may be used. In other words, a circular infrared transmission filter 81 and an infrared cut filter 82 are formed, and the irradiation light from the headlight 1 passes through these filters 82. Even in this case, the same effect as in the above embodiment can be obtained. However, since the amount of light passing through the filter is lower than in the case of a semicircular shape, the filter should have a large area as much as possible.
[0121]
Further, in the present embodiment, the rotary actuator 51 is used as the actuator for driving the filter. However, the present invention is not limited to the rotary actuator. For example, the filter may be driven using a linearly operating actuator such as a shutter. Any actuator may be used as long as it can drive the cut and the transmission of infrared rays only alternately and at a speed that does not cause the driver to feel flickering.
[0122]
Further, in the visible light image, all regions where the luminance is larger than the luminance threshold Z are displayed in black. However, the present invention is not limited to black display. For example, as in the second embodiment, the display is not more than the luminance threshold Z. May be converted to an arbitrary luminance.
[Fourth embodiment]
The present embodiment is an obstacle notification system for calling a driver's attention (specifically, recognizing that there is an obstacle on the road). As shown in FIG. It comprises circuit breakers 56 and 57, a camera 58, an image processing / control circuit 55, a liquid crystal panel 15, and a speaker 59. The liquid crystal panel 15 is exactly the same as the above embodiments.
[0123]
The camera 58 is a general camera such as, for example, a CCD camera for capturing an image using visible light, and captures a scene in front of the vehicle under the control of the image processing / control circuit 55. In addition, it is arranged at the upper center of the windshield 8 so that the entire field of view when looking ahead of the vehicle from the driver's viewpoint 6 can be photographed (see FIG. 17).
[0124]
As shown in detail in FIG. 17, the light interrupters 56 and 57 are attached to headlights 1 (1a and 1b) arranged on the left and right, respectively, and the specific configuration is as shown in FIG. is there. That is, the light blocking plate 72 in which the transmission hole 73 is formed by hollowing out about half of the disk shape into a semicircle shape is driven to rotate by the rotary actuator 71.
[0125]
The image processing / control circuit 55 controls the operations of the light interrupters 56 and 57 and the photographing by the camera 58 synchronously as described later. FIG. 17 shows that the irradiation light from the right headlight 1a is emitted from the transmission hole 73 of the light interceptor 56 toward the front of the vehicle, and the irradiation light from one left headlight 1b is applied to the light interception plate 72 of the light interception device 57. FIG.
[0126]
After photographing is performed by the camera 58 in this state (FIG. 17), the light breakers 56 and 57 are driven to be in the state shown in FIG. That is, in the state of FIG. 19, the irradiation light from the right headlight 1a is blocked by the light blocking plate 72 of the light blocking device 56, and the irradiation light from one left headlight 1b is transmitted through the transmission hole of the light blocking device 57. This shows a state in which light is irradiated from 73 to the front of the vehicle. Even in this state, the camera 58 shoots an image.
[0127]
In other words, the scene from the driver's seat when only the irradiation light of the right headlight 1a is irradiated in front of the vehicle, and the scene from the driver's seat when only the irradiation light of the left headlight 1b is irradiated in front of the vehicle. And are taken alternately. Each time the headlights 1a and 1b are sequentially photographed, the two images are compared to detect whether or not there is an obstacle on the road by a photographing control process described later.
[0128]
The synchronization control between the light interrupters 56 and 57 and the camera 58 is performed by an image processing / control circuit 55. FIG. 20 is an explanatory diagram showing a schematic configuration of the image processing / control circuit 55. The image processing / control circuit 55 may be operated by turning on the headlight switch, or may be activated by a dedicated activation switch, as in the above embodiments, and the operation start timing is appropriately determined. be able to.
[0129]
The image processing / control circuit 55 is roughly divided into an image processing circuit 60 and a camera / interrupter control circuit 66 which receives a command from the image processing circuit 60 and controls the camera 58 and each of the light interceptors 56 and 57. It is configured. Of the landscape images captured by the camera 58, the captured image when the light emitted by the left headlight 1b is emitted toward the front of the vehicle is recorded in the frame memory A61, and the light emitted by the right headlight 1a is emitted toward the front of the vehicle. The captured image at the time of irradiation is recorded in the frame memory B62.
[0130]
The CPU 65 compares the two captured images, and determines that the difference between the luminances of the different portions of the image data is greater than the luminance threshold D set in the luminance threshold setting memory 64 as a shadow of an obstacle (object). . Then, based on the position conversion parameters stored in the position conversion parameter memory 63, the actual position of the obstacle is derived from the position of the shadow on the shooting screen.
[0131]
After the derivation of the obstacle position, the presence of the obstacle and the position thereof are warned by voice from the speaker 59, and a warning mark indicating the existence of the obstacle is displayed on the liquid crystal panel 15 and the front is displayed. A virtual image is displayed on the glass 8 surface.
Next, the photographing control processing executed by the CPU 65 will be described with reference to FIG. The CPU 65 starts this processing when a predetermined condition (for example, turning on the headlight switch) is satisfied.
[0132]
When this processing is started, first, in S510, the luminance threshold D is read from the luminance threshold setting memory 64. Then, the flow shifts to S520, where it is determined whether or not the timer has reached zero. Here, the timer is provided to execute the alternate operation of the light interrupters 56 and 57 and the photographing of the camera 58 for each of the operations at a predetermined interval.
[0133]
That is, in the case of the first to third embodiments, a continuous image display (virtual image display) without a break is required to display a landscape image on the windshield 8 as a virtual image. However, in the case of the present embodiment, instead of displaying a virtual image of a landscape image, when it is determined whether or not there is an obstacle on the road, the fact is notified to the driver. For this reason, continuous continuous shooting and obstacle detection are not necessarily required, and when a driver recognizes an obstacle, a time interval (for example, image capture / interval every tens of msec.) Can be avoided. It is sufficient to perform the obstacle determination and notification in the processing). Therefore, in the present embodiment, a timer is provided, and after a series of processing (S530 to S590) is completed, the processing after S530 is performed again at regular time intervals (set time of the timer).
[0134]
Until the timer becomes zero, the process of S520 is repeated. When the timer becomes zero, the process proceeds to S530. In S530, by turning on the light blocker 56 attached to the right headlight 1a and turning off the light blocker 57 attached to the left headlight 1b, only the light emitted from the left headlight 1b is directed forward of the vehicle. Be irradiated. Then, the process proceeds to S540, and in this state, an image is captured by the camera 58, and the captured image is recorded in the frame memory A.
[0135]
FIG. 23A shows an example of a captured image recorded in the frame memory A at this time. The image A on the left side in FIG. 23A is a photographed image recorded in the frame memory A, and shows a state in which there is an obstacle almost in the center of the road and the shadow extends to the right rear of the obstacle. ing.
[0136]
In S550, the light interrupter 57 attached to the left headlight 1b is turned on and the light interrupter 56 attached to the right headlight 1a is turned off, so that only the light emitted from the right headlight 1a is forward of the vehicle. To be irradiated. Then, the process proceeds to S560, and in this state, an image is captured by the camera 58, and the captured image is recorded in the frame memory B.
[0137]
FIG. 23A shows an example of a photographed image recorded in the frame memory B at this time. The image B on the right side in FIG. 23A is a photographed image recorded in the frame memory B, and shows a state in which an obstacle is located almost at the center of the road and the shadow extends to the left rear of the obstacle. ing. Then, the two captured images illustrated in FIG. 23A are almost the same except for the shadow part.
[0138]
Then, the process proceeds to S570, in which the two light interrupters 56, 57 are both turned off, so that the irradiation lights from both headlights 1a, 1b are both irradiated to the front of the vehicle. Then, the process proceeds to S590 to execute an obstacle notification process.
The details of the obstacle notification processing in S590 are as shown in FIG. 22. First, in S600, the object position coordinates (X, Y) are set to the origin (0, 0). Here, the object position coordinates (X, Y) indicate the coordinates of the root of the obstacle (correctly, the root of the shadow of the obstacle). The coordinates are updated each time the shadow of the obstacle is determined. Further, the pixel configuration (coordinate array) of the captured image in the present embodiment is exactly the same as the pixel array described with reference to FIG. 5 (see FIG. 23).
[0139]
After setting the object position coordinates at the origin in S600, the process proceeds to S610 and subsequent steps. Among them, the processing of S610 to S680 is performed for each pixel. Specifically, the processing of S620 to S670 is repeated for each pixel row n until n = 1 to n = K. In the processing of S620 to S670, the processing of S630 to S660 is repeated for each pixel row m until m = 1 to m = L. In other words, in each of the captured images shown in FIG. 23A, from the top row (n = 1) to the last pixel (L, K) in order from the first column pixel to the L column pixel for each row. The processing of S630 to S660 is sequentially performed for each pixel.
[0140]
In S630, the corresponding pixel (m, n) of the image A recorded in the frame memory A61 and the corresponding pixel (m, n) of the image B recorded in the frame memory B62 are read. In step S640, a difference between the pixels (m, n) of the read images A and B is obtained, and the absolute value of the difference is set as the luminance of the pixel (m, n) on the screen C. FIG. 23B shows an example of the image C. The image C is obtained by taking the absolute value of the difference between each pixel of the image A and the image B, and the only difference between the image A and the image B in FIG. As a result, the image C is an image in which only the shadow portion is extracted. Note that the image C is illustrated as an example generated as a result of performing the processing of S630 to S660 for all the pixels of the captured image.
[0141]
In S650, it is determined whether or not the luminance value of the pixel (m, n) in the image C is higher than the luminance threshold D set in the luminance threshold setting memory 64. If the luminance value is lower, the process proceeds to S670 as not being a shadow. Is higher, it is determined that the object is a shadow, and the flow advances to S660 to overwrite the object position coordinates (X, Y) with the coordinates (m, n).
[0142]
By performing the above processing for all the pixels in this manner, finally, the coordinates (m, n) of the base of the shadow of the obstacle (see FIG. 23B) are stored in the object position coordinates (X, Y). It will be overwritten.
Then, the process proceeds to S690, and the actual position is derived by comparing the obtained object position coordinates (here, the base coordinates (m, n) of the shadow of the obstacle) with the position conversion parameters. FIG. 24 shows the position conversion parameters of the present embodiment. The position conversion parameters are registered such that information on the actual position is associated with the object position coordinates (X, Y) corresponding to all the pixels in the captured image.
[0143]
That is, for example, when the object position coordinates are (1, 1) (that is, the top left of the screen), the actual position is determined by comparing the actual position with the distance (but only the Y-axis component) from the own vehicle by Z1 [ m] indicates that the vehicle is located outside the road. Further, for example, when the object position coordinates are (X, 100), it can be understood that the actual distance in the Y-axis direction is 250 m by checking the position conversion parameters. Thus, the actual position of the obstacle can be immediately derived from the object position coordinates (X, Y).
[0144]
In this example, the distance in the Y-axis direction and information on whether or not the vehicle is on a road are registered as parameters as position information. However, it is needless to say that the present invention is not limited to this. For example, both X and Y components are added. A more accurate distance may be derived. Further, whether or not the vehicle is on a road depends on the width of the road on which the vehicle is traveling, the number of lanes, and the like. Therefore, instead of using fixed parameters as shown in FIG. Or the like, and it may be possible to determine whether or not the vehicle is outside the road based on the result.
[0145]
When the position of the obstacle is derived by comparing it with the position conversion parameter in S690, the process proceeds to S700, and it is determined whether the obstacle is outside the road. If the vehicle is outside the road, the process is terminated and the process returns to the main process of FIG. 21. After setting the timer in S590, the process returns to S520. On the other hand, if it is determined that the vehicle is on the road in S700, the process proceeds to S710, in which an obstacle mark is displayed as a virtual image on the windshield surface, and the speaker 59 warns that an obstacle has been found and the position information for the own vehicle. Audio output).
[0146]
FIG. 25 illustrates a virtual image display example of an obstacle mark and a sound output example of a warning. As shown in the figure, when a driver views an actual obstacle (here, a pedestrian), a warning mark is displayed as a virtual image so as to overlap the obstacle. The speaker 59 at the lower right of the driver's seat outputs the distance to the obstacle as sound. In this example, only the warning mark is displayed as a virtual image, but the distance to an obstacle may be displayed as a virtual image in addition to the warning mark. Alternatively, only a virtual image of the distance may be displayed instead of the warning mark. Further, only one of the audio warning and the virtual image display may be performed. Furthermore, a warning may be given only at an approximate position, for example, "an obstacle is present in front of the right side ...".
[0147]
Therefore, according to the obstacle notification system of the present embodiment, the driver can quickly recognize and deal with the presence of the obstacle even if the driver has visually overlooked it. In addition, since both the virtual image display and the sound warning are used, and the distance to the obstacle is also notified by sound, the obstacle can be dealt with more quickly and appropriately.
[0148]
Further, in the present embodiment, since the actual position of the obstacle is derived by the position conversion parameter, the actual position can be easily obtained from the position of the shadow in the captured image without performing a complicated numerical operation or the like. Therefore, the obstacle notification system can be realized with a simple configuration.
[0149]
Further, in the present embodiment, not only the presence of an obstacle or the distance to the obstacle is reported, but also information about whether the vehicle is outside the road or not. Therefore, for example, compared to a system in which only the distance is notified, more accurate information is given to the driver, and the burden on the driver due to the obstacle notification (the determination of whether the object is on a road or not) Burden) and annoyance can be suppressed.
[0150]
Furthermore, in the present embodiment, the obstacle notification is not performed continuously, but is performed at regular intervals using a timer. , 1b, the irradiation time is simultaneously increased, and the visibility can be kept good.
[0151]
Although the light blocking devices 56 and 57 of the present embodiment have semi-circular transmission holes 73, the invention is not limited to this configuration. For example, similarly to the filter switch 80 described with reference to FIG. Frequently, the shape can be freely determined within a range where the headlight can be sufficiently irradiated.
[0152]
In the present embodiment, the left and right headlights are alternately irradiated to determine an obstacle based on the difference in the formation of each shadow, but the obstacle is similarly determined using a plurality of light sources other than the headlight. May be determined. Also, the number of light sources is not limited to two as in this example, and three or more light sources may be used to compare the respective captured images.
[0153]
Here, the correspondence between the components of the present embodiment and the components of the present invention will be clarified. In the present embodiment, the light interrupters 56 and 57 correspond to the blocking means of the present invention, the camera 58 corresponds to the photographing means of the present invention (Claim 20), and both the right headlight 1a and the left headlight 1b. The CPU 65 corresponds to a light source imaging control unit, an object determination unit, a position derivation unit, and a road determination unit of the invention, and the position conversion parameter memory 63 corresponds to a storage unit of the invention. , The position conversion parameter corresponds to the position deriving parameter of the present invention, and the liquid crystal panel 15 and the speaker 59 correspond to the notifying means of the present invention. Among them, the liquid crystal panel 15 particularly corresponds to the display means of the present invention. . Further, the distance and position (outside or inside the road) in the Y-axis direction registered in association with the object position coordinates (X, Y) in the position conversion parameters in FIG. 24 correspond to the actual position of the present invention. is there.
[0154]
Further, in the photographing control means of FIG. 21, each processing of S530 to S560 corresponds to the processing executed by one light source photographing control means of the present invention. Further, in the obstacle notification process of FIG. 22, the processes of S640 and S650 both correspond to the process executed by the object determining unit of the present invention, and the process of S690 corresponds to the process executed by the position deriving unit of the present invention. However, the processing of S700 corresponds to the processing executed by the on-road determination means of the present invention.
[0155]
As described above, the embodiments of the present invention have been described in detail. However, the embodiments of the present invention are not limited to the above embodiments, and may take various forms within the technical scope of the present invention. Needless to say.
For example, in the third embodiment, the filter switch 42 is attached to the headlight 1 as shown in FIG. 12, but instead of being attached to the headlight 1, for example, as shown in FIG. 43.
[0156]
That is, with respect to the light from the front of the vehicle including the light emitted from the headlight 1 (specifically, the reflected light), only light obtained by cutting off the infrared light by the infrared cut filter 53 is taken into the dual-use camera 43 and photographed, whereby visible light is obtained. An image is taken, and on the other hand, an infrared image is taken by taking only infrared light into the dual-use camera 43 with the infrared transmission filter 52 and taking an image. That is, the rest is the same as the third embodiment except that the position of the filter switch 42 is moved to the dual camera 43 side. Even in this case, the same operation and effect as in the third embodiment can be obtained.
[0157]
In this case, an infrared light may be arranged separately from the headlight 1 so as to emit infrared light to the front of the vehicle. That is, the same infrared light 11 as in the first or second embodiment may be provided. In this way, the infrared image can be more clearly photographed than when only the headlight (1) is used, and the situation ahead of the vehicle can be known more reliably.
[0158]
In each of the above embodiments, the liquid crystal panel 15 is employed as a display unit for displaying a virtual image. However, the present invention is not limited to this. Any display means can be used as long as it can be viewed. In addition to the method in which the light emitted from the display means directly impinges on the windshield 8 as in each of the above-described embodiments, for example, the windshield 8 may be transmitted through a reflecting mirror or the like or refracted by a lens or the like. The specific configuration is not limited as long as the driver can see a virtual image as a result.
[Brief description of the drawings]
FIG. 1 is an explanatory diagram illustrating a schematic configuration of a display system according to a first embodiment.
FIG. 2 is a block diagram illustrating a configuration of an image processing circuit in the display system according to the first embodiment.
FIG. 3 is an explanatory diagram showing an example of a cut-out area (area B).
FIG. 4 is a flowchart illustrating an infrared image cutout process according to the first embodiment.
FIG. 5 is an explanatory diagram illustrating a pixel (m, n) of a captured image.
FIG. 6 is an explanatory diagram showing a specific example of a cut-out region (region B) in a captured image according to the first embodiment.
FIG. 7 is an explanatory diagram illustrating a schematic configuration of a display system according to a second embodiment.
FIG. 8 is a block diagram illustrating a configuration of an image processing circuit in a display system according to a second embodiment.
FIG. 9 is a flowchart illustrating luminance determination / data writing processing according to the second embodiment.
FIG. 10 is an explanatory diagram illustrating a schematic configuration of a display system according to a third embodiment.
FIG. 11 is an explanatory diagram showing a configuration of a filter switching device.
FIG. 12 is a system configuration diagram for explaining that a visible light / infrared camera and a filter switch are synchronously controlled according to a third embodiment.
FIG. 13 is a block diagram illustrating a configuration of an image processing circuit in a display system according to a third embodiment.
FIG. 14 is a flowchart illustrating a shooting control process according to the third embodiment.
FIG. 15 is a flowchart illustrating a brightness determination / data writing process in the shooting control process of FIG. 14;
FIG. 16 is an explanatory diagram illustrating a schematic configuration of an obstacle notification system according to a fourth embodiment.
FIG. 17 is an explanatory diagram illustrating an example of installation of headlights, light breakers, and cameras in an obstacle notification system according to a fourth embodiment.
FIG. 18 is an explanatory diagram illustrating a configuration of a light interrupter.
FIG. 19 is a system configuration diagram for explaining that a camera and an optical breaker are synchronously controlled according to a fourth embodiment.
FIG. 20 is a block diagram illustrating a configuration of an image processing / control circuit according to a fourth embodiment.
FIG. 21 is a flowchart illustrating a shooting control process according to a fourth embodiment.
FIG. 22 is a flowchart showing an obstacle notifying process in the photographing control process of FIG. 21;
23A and 23B are diagrams illustrating a principle of obtaining a distance to an obstacle according to the fourth embodiment. FIG. 23A illustrates captured images when left and right headlights are turned on, and FIG. 5 shows an image obtained by extracting only the shadow of an obstacle from a captured image.
FIG. 24 is an explanatory diagram showing position conversion parameters of the fourth embodiment.
FIG. 25 is an explanatory diagram showing a specific example of notifying a detected obstacle to a driver according to the fourth embodiment.
FIG. 26 is a diagram illustrating a modification of the system configuration diagram of FIG. 12;
FIG. 27 is an explanatory diagram showing a modification of the filter switch (FIG. 11) of the third embodiment.
FIG. 28 is an explanatory diagram showing a schematic configuration of a conventional display system.
FIG. 29 is a block diagram illustrating a schematic configuration of a conventional display system.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 ... Headlight, 1a ... Right headlight, 1b ... Left headlight, 2 ... Steering wheel, 3 ... Instrument panel, 6 ... Viewpoint, 8 ... Windshield, 11 infrared light, 12 infrared camera, 13, 31, 60 image processing circuit, 14 headlight switch, 15 liquid crystal panel, 21 frame memory for infrared camera , 22 ... cutout area setting memory, 24 ... frame memory for matching, 30 ... system start switch, 33, 64 ... brightness threshold setting memory, 41 ... camera / filter switching control device, 42 , 80: filter switcher, 43: dual-purpose camera, 51, 71: rotary actuator, 52, 81: infrared transmission filter, 53, 82: infrared Filter 55, image processing / control circuit 56, 57 light blocker 58 camera 59 speaker 55 position conversion parameter memory 66 camera cutoff Machine control circuit, 72: light blocking plate, 73: transmission hole

Claims

A method of displaying a situation in front of the vehicle to assist the driver in driving,
A scene in front of the vehicle is photographed by photographing means for photographing an image using electromagnetic waves other than visible light, and at least the invisible light image, which is the photographed image, is an image of a difficult-to-view region that is difficult to see with the naked eye of the driver. A driving support method characterized in that a virtual image is displayed on a windshield so as to overlap with an actual scenery seen from the outside.

2. The driving support method according to claim 1, wherein the difficult-to-view area is an area in which, when a headlight of the vehicle is turned on, a reflection luminance of the irradiation light to the vehicle is equal to or less than a predetermined luminance.

The driving assistance method according to claim 1, wherein the hardly visible area is a predetermined area set in advance.

2. The driving support method according to claim 1, wherein the hard-to-recognize area is an area including pixels whose brightness is equal to or less than a predetermined first brightness threshold in the invisible light image.

The photographing means also includes a visible light photographing function for photographing by condensing visible light, and is configured to alternately perform photographing by the visible light photographing function and photographing of the invisible light image,
For the visible light image and the invisible light image, which are images taken by the visible light photographing function, which are continuously photographed, the visible light image has a luminance in the region including pixels having a predetermined second luminance threshold or less in the visible light image. The driving assistance method according to claim 1, wherein a corresponding area in the invisible light image is set as the hardly visible area.

The driving support method according to any one of claims 1 to 5, wherein the virtual image display on the windshield is performed when a headlight of the vehicle is turned on.

A driving assistance method that calls attention to the driver,
A photographing method in which light from a plurality of light sources mounted on a vehicle is sequentially irradiated in front of the vehicle so that light is not simultaneously irradiated from two or more of the light sources, and the light from the light source can be photographed for each irradiation. Take a picture of the scene in front of the vehicle by means,
The photographed images of the respective light sources by the photographing means are compared with each other, and when there is a different portion between the respective photographed images, the different portion is determined to be a shadow of the object and the object is located in front of the vehicle. A driving assistance method characterized by notifying a driver that there is a vehicle.

8. The method according to claim 7, wherein when a difference in luminance between different portions of the captured image of each light source is higher than a predetermined third luminance threshold, the different portion is determined to be a shadow of the object. The driving support method described.

8. The method according to claim 7, further comprising: deriving an actual position, which is an actual position of the object with respect to the vehicle, based on a position of a shadow of the object, and notifying at least the derived actual position at the time of the notification. Or the driving support method according to 8.

A display system mounted on a vehicle to display a situation in front of the vehicle and assist a driver in driving,
Invisible light radiating means mounted separately from the headlights and radiating electromagnetic waves other than visible light to the front of the vehicle,
A photographing unit installed to photograph a landscape in front of the vehicle, and photographing an image by electromagnetic waves other than the visible light,
Image processing means for extracting at least an image of an invisible area that is difficult to see with the naked eye of the driver from at least the invisible light image that is an image captured by the imaging means;
Display means for displaying a virtual image on the windshield surface of the image extracted by the image processing means by emitting display light from an image display surface,
With
The photographing means and the display means are each installed such that the virtual image displayed image has a relative positional relationship such that the image overlaps a region corresponding to the image in an actual scene seen by a driver. Display system.

11. The display system according to claim 10, wherein the hardly visible area is an area in which, when the headlight is turned on, a reflected luminance of the irradiation light to the vehicle is equal to or less than a predetermined luminance.

The display system according to claim 10, wherein the hard-to-view region is a predetermined region set in advance.

The image processing means,
A first luminance comparing unit that compares the luminance of each pixel constituting the invisible light image with a preset first luminance threshold,
An image extraction unit that extracts an image of the hard-to-recognize area, by using an area including pixels determined to be equal to or less than the first brightness threshold value by the first brightness comparison unit as the hard-to-view area;
The display system according to claim 10, comprising:

The image extraction unit,
For an image other than the invisible area in the invisible light image, the luminance of each pixel constituting the image is converted to a predetermined luminance equal to or less than the first luminance threshold, and is extracted together with the image in the invisible area. The display system according to claim 13, wherein:

The display system according to any one of claims 10 to 14, wherein the virtual image display on the windshield surface by the display means is performed when a headlight of the vehicle is turned on.

The display system according to any one of claims 10 to 15, wherein the invisible light radiating means is configured to be capable of radiating the electromagnetic wave in a range wider or farther than the irradiation range of the headlight light.

A display system mounted on a vehicle to display a situation in front of the vehicle and assist a driver in driving,
A photographing unit that is installed to photograph a landscape in front of the vehicle, and that can photograph both a visible light image that is an image by visible light and an invisible light image that is an image by electromagnetic waves other than visible light,
A visible light filter that blocks visible light incident on the photographing means,
An electromagnetic wave filter that blocks the electromagnetic wave incident on the photographing unit;
Filter switching means for switching between the visible light filter and the electromagnetic wave filter,
A visible light photographing operation of blocking the electromagnetic wave by the electromagnetic wave filter and photographing the visible light image by the photographing means, and an invisible light of blocking the visible light by the visible light filter and photographing the invisible light image by the photographing means. Switching photographing control means for synchronously controlling the filter switching means and the photographing means, so that light photographing operations are performed alternately,
With respect to the visible light image and the invisible light image sequentially obtained by the operation of the switching photographing control means, the invisible light corresponding to an area including a pixel whose luminance is equal to or less than a predetermined second luminance threshold in the visible light image. Image processing means for extracting an image of a region in the image;
Display means for displaying a virtual image on the windshield surface of the image extracted by the image processing means by emitting display light from an image display surface,
With
The photographing means and the display means are each installed such that the virtual image displayed image has a relative positional relationship such that the image overlaps a region corresponding to the image in an actual scene seen by a driver. Display system.

18. The display system according to claim 17, further comprising an invisible light radiating unit that radiates the electromagnetic wave forward of the vehicle, separately from the headlight.

A display system mounted on a vehicle to display a situation in front of the vehicle and assist a driver in driving,
A photographing unit that is installed to photograph a landscape in front of the vehicle, and that can photograph both a visible light image that is an image by visible light and an invisible light image that is an image by electromagnetic waves other than visible light,
A visible light filter that blocks visible light among irradiation light emitted from a headlight toward the front of the vehicle,
An electromagnetic wave filter that blocks the electromagnetic wave out of the irradiation light emitted from the headlights to the front of the vehicle,
Filter switching means for switching between the visible light filter and the electromagnetic wave filter,
A visible light photographing operation of blocking the electromagnetic wave from the headlight by the electromagnetic wave filter and photographing the visible light image by the photographing unit; and blocking the visible light from the headlight by the visible light filter to perform the photographing. Switching photographing control means for synchronously controlling the filter switching means and the photographing means, so that the invisible light photographing operation of photographing the invisible light image by means is performed alternately,
With respect to the visible light image and the invisible light image sequentially obtained by the operation of the switching photographing control means, the invisible light corresponding to an area including a pixel whose luminance is equal to or less than a predetermined second luminance threshold in the visible light image. Image processing means for extracting an image of a region in the image;
Display means for displaying a virtual image on the windshield surface of the image extracted by the image processing means by emitting display light from an image display surface,
With
The photographing means and the display means are each installed such that the virtual image displayed image has a relative positional relationship such that the image overlaps a region corresponding to the image in an actual scene seen by a driver. Display system.

A warning system mounted on the vehicle to alert the driver,
A plurality of light sources for illuminating the front of the vehicle;
Blocking means provided for each of the light sources, for blocking light emitted from the light sources toward the front of the vehicle;
Photographing means for converging and photographing irradiation light from each of the light sources,
One light source irradiation operation of sequentially irradiating only the irradiation light from any one of the light sources toward the front of the vehicle and blocking the irradiation light from all the other light sources by the corresponding blocking means is sequentially performed for each light source. One light source photographing control means for synchronously controlling each of the blocking means and the photographing means, so that photographing by the photographing means is performed every time one light source irradiation operation is performed,
The captured images for each one light source irradiation operation obtained by the one light source capturing control unit are compared with each other, and when there is a different portion between the respective captured images, the different portion is defined as a shadow of the object. Object determination means for determining,
Notifying means for notifying the driver that the target is present when the shadow of the target is determined by the target determining means,
A notification system comprising:

21. The object judging means judges whether or not the difference between the luminances of the different portions is higher than a predetermined third luminance threshold, and judges that the object is a shadow of the object when the difference is higher. Notification system.

Further, a position deriving unit that derives an actual position that is an actual position of the object with respect to the vehicle based on a position of a shadow of the object in the captured image,
22. The notification system according to claim 20, wherein the notification unit notifies at least the actual position derived by the position derivation unit.

Storage means for storing a position deriving parameter indicating a correspondence relationship between the position of the shadow of the object in the photographed image and the actual position, wherein the position deriving means stores the position derivation stored in the storage means The notification system according to claim 22, wherein the real position is derived according to a parameter.

The notification system according to any one of claims 20 to 23, wherein the notification unit performs the notification by voice.

The notifying unit includes a display unit that emits display light from an image display surface to display a virtual image of an image on the image display surface on a windshield surface, and the shadow of the object is determined by the object determination unit. 22. The notification system according to claim 20, wherein the notification is performed by displaying a virtual image on the front glass surface by the display unit.

The notifying unit, when the shadow of the object is determined by the object determining unit, performs the notification by displaying a warning mark indicating that the object is present on the windshield surface in a virtual image. The notification system according to claim 25, wherein

The notifying unit includes a display unit that emits display light from an image display surface to display a virtual image of an image on the image display surface on a windshield surface, and the shadow of the object is determined by the object determination unit. 24. The notification system according to claim 22, wherein the notification unit performs the notification by causing the display unit to display a virtual image on the front glass surface of the actual position derived by the position derivation unit.

The said display means performs the said virtual image display so that a driver may see the object corresponding to this virtual image display so that it may overlap with the said object. Notification system.

On-road determination means for determining whether or not the shadow of the object is located on a traveling road based on the position of the shadow of the object in the captured image,
29. The notification unit according to claim 20, wherein the notification unit performs the notification when the on-road determination unit determines that the shadow of the object is located on the road. Notification system.