Nothing Special   »   [go: up one dir, main page]

JP3753681B2 - 監視システム - Google Patents

監視システム Download PDF

Info

Publication number
JP3753681B2
JP3753681B2 JP2002224464A JP2002224464A JP3753681B2 JP 3753681 B2 JP3753681 B2 JP 3753681B2 JP 2002224464 A JP2002224464 A JP 2002224464A JP 2002224464 A JP2002224464 A JP 2002224464A JP 3753681 B2 JP3753681 B2 JP 3753681B2
Authority
JP
Japan
Prior art keywords
image
vehicle
camera
cameras
composite image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2002224464A
Other languages
English (en)
Other versions
JP2003158736A (ja
Inventor
修作 岡本
雅通 中川
一生 登
森村  淳
伸彦 安井
明 石田
篤 飯阪
崇 吉田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2002224464A priority Critical patent/JP3753681B2/ja
Publication of JP2003158736A publication Critical patent/JP2003158736A/ja
Application granted granted Critical
Publication of JP3753681B2 publication Critical patent/JP3753681B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、車両に設置した複数のカメラの撮像画像を用いて合成画像を生成する画像処理技術に関するものであり、特に、車両運転の際の安全確認の補助などに利用される監視システムに有効な技術に属する。
【0002】
【従来の技術】
従来、車両の周囲をカメラを用いて監視する装置として、カメラを車両のリアトランク部などに後ろ向きに設置し、このカメラから得られた画像を運転者に提示するシステムが知られている。これによって、運転者は車両後方の様子をミラーを見ることなく知ることができる。また最近では、ただ単にカメラ画像を提示するだけでなく、カメラ画像にタイヤの移動軌跡を重ねて提示するシステム(これを「従来方式1」と呼ぶ。)も知られつつある。これによって、運転者は、車両後方の様子を把握できるとともに、車両の進み先をも予測することが可能になる。
【0003】
ただし、従来方式1では、車両後方の様子は分かるものの、それ以外の部分に関しては目視とミラーに頼らざるを得ない。これに対し、自車両とその周囲全体との位置関係を客観的に分かりやすく運転者に知らせるためのシステムとして、文献1:特開平11−78692号公報に記載の装置などがある。この文献1では、複数台(8台)の車両用映像提供のためのカメラを車両の周囲に取り付け、各カメラによって撮影された画像を変形した画像(以下では「部分画像」という)を合成して、自車両の周囲を一度に見渡すことができる新たな画像を得るという方式(これを「従来方式2」と呼ぶ。)が開示されている。特に、複数のカメラの撮影画像を変形して配置する際に、部分画像同士が互いに隣接する境界部分における連続性を保つことによって、自車両と周囲の物体とのおおよその位置関係が把握しやすい画像を、運転者に提供することができる。
【0004】
【発明が解決しようとする課題】
ところで、様々な運転状況において、上述した従来方式によって合成した画像を運転者に提示した場合に、以下のような問題が生じる。
【0005】
1.従来方式1の問題と解決すべき課題
従来方式1では、カメラ画像が車両後端部よりも後方部分のうちの限られた角度の領域しか写さないため、自車後端部よりも前の部分、例えば自車両の左右のボディと周囲の物体との接触度合はドアミラーでしか判断できない。このため、その部分の接触度合と後方の様子の両方を把握するためには、表示画像とドアミラーの併用を運転者に強いることになり、運転者の負担が大きかった。
【0006】
また、従来方式1は車両後方の限られた視野の様子を表示するものである。したがって、広範囲の状況を知る必要がある運転シーンにおいて利用するのには適当ではない。例えば、図4のように後退しながら大きくハンドルを切って車両を道路に誘導させる場合、道路の左右からの接近車両を確認するためには、実質的に180度の後方視野を含む画像を運転者に提示することが必要となるが、従来方式1で提示される画像は視野が狭いため、このような用途には全く使えない。
【0007】
したがって、解決すべき第1の課題は、図4のようなケースにおいて、見ただけで安心して車を運転できるような合成画像を運転者に提供することである。
【0008】
2.従来方式2の問題と解決すべき課題
・第1の問題:表示範囲
従来方式2では、自車の直近周囲の位置関係を分かりやすく提示するために、周囲の様子をあたかも自車上方から見下ろしたような画像を提示することだけを開示している。ところが、自車の近傍とそれ以外の部分との両方が同時に把握できるような画像の提示方法に関しては、何ら開示されていない。したがって、次の例(a),(b)のような運転状況においては、従来方式2による合成画像を提示しただけでは、運転の支援には十分であるとは言えない。
【0009】
(a)路肩などへの幅寄せ
路肩などへの幅寄せを行う場合、運転者に見せる画像に対して次の2つの点が要求される。すなわち、路肩への寄せ具合がどのくらいかという点と、そのまま前進または後退したときに、その進行方向の先に、例えば電柱や発券機などの障害物がないかどうか、対向車が来ていないかどうか、またそれらの存在が確認されたときに、接触せずにかわせるかどうかという点である。
【0010】
ところが、見下ろし画像では見えている範囲が限られているので、路肩への寄せ具合を詳しく見ようと思えば直近の周囲だけを写した画像が必要になるし、一方、進行方向の先を見るためには少なくとも数メートルから十数メートル先の前方まで見える画像が必要になる。いずれにしても、一個の画像で、両方の要求を満たすことはできない。
【0011】
したがって、解決すべき第2の課題は、路肩などへの幅寄せのようなケースにおいて、自車の路肩への寄せ具合だけでなく、前進または後退したときの進行方向の先の様子も同時に分かるような合成画像を、運転者に提供することである。
【0012】
(b)切り返しを含む駐車
駐車を行うにあたって該見下ろし画像を提示する場合、駐車操作の最初の段階で緩やかに後退する際には、後方の様子の確認が必要となる。ところが見下ろし画像では見えている範囲が限られているので、上記後退時の後方確認のためにはミラーを使わざるをえなくなり、ドライバーの負担が増える。また駐車において切り返し操作(前後の細かな移動によって車を目的の場所に誘導させる操作)を頻繁に行う場合では、後方確認のみならず前方確認も必要となる。
【0013】
したがって、解決すべき第3の課題は、切り返しを伴うような駐車において、周囲の状況だけでなく、前進もしくは後退した時の進行方向の先の様子も同時に分かるような合成画像を運転者に提供することである。
【0014】
・第2の問題:物体の消失
物体の消失とは、境界部分で、少なくとも路面の部分が連続になるように画像を変形するために、その変形に順じて変形される立体物が、部分画像のレイアウトのために削除されるという問題である。
【0015】
図17(a)は車両の右後隅に立っているポールP1を示している。このポールP1は図2に示すカメラ2とカメラ3の両方から撮影されているとすると、カメラ2の撮影画像におけるポールP1Aは画像変形によってポールP1の接地点を基準に下に伸びるように歪む。一方、カメラ3の撮影画像におけるポールP1Bは画像変形によってポールP1の接地点を基準に右に伸びるように歪む。ところで、それぞれのポールP1A,P1Bはいずれも部分画像として用いない領域に伸びているため、伸びた部分が削除され、結果的にポールP1が地面と接する部分しか合成画像上には残らない(図17(b))。したがって、合成画像では、実際に存在するポールが認識困難になる。これが物体の消失の問題を引き起こす原因である。
【0016】
したがって、解決すべき第4の課題は、上述の問題を回避し、自車と周囲の物体とのおおよその位置関係、および周囲の物体との距離が、同時に把握できるような合成画像を運転者に提供することである。
【0017】
・第3の問題:境界の不連続性
従来方式2では、隣り合う部分画像同士の境界での連続性を保持するようにそれぞれのカメラ画像の変形を行うが、境界のすべての部分で連続性を保つことは原理的に困難である。したがって本方式では、少なくとも路面部分のものが違和感無く把握できるように路面部分での連続性を保つように変形することを開示している。しかしながら、これにより路面以外の物体は引き伸ばされるように大きくゆがむことになり、これが部分画像の境界部分に位置する路面以外の物体が該境界で不連続になる、という問題を引き起こす。たとえば、図18では、カメラ2とカメラ3の画像をそれぞれ変形して得た部分画像同士の境界に位置する駐車中の車が、該境界を境に不連続になってしまい、結果的に不明瞭な画像になってしまっている例を示している。したがってこのような不明瞭な画像では周囲の物体との距離がつかめないため、ドライバーは結局、ミラーなどを見てそれを確認する作業を強いられることになり、負担が大きくなる。
【0018】
したがって、解決すべき第5の課題は、前記問題を回避し、少なくともカメラ画像において安全運転に必要な情報を必ず含むような合成画像をドライバーに提供することである。
【0019】
また、上記の部分画像同士の境界における不連続性の問題を鑑みると、様々な運転シーンにおいて、合成画像のどこに境界を持ってくるか、が合成画像の有用性に大きく関係してくる。一般的に、複雑な運転操作の多く、例えば駐車(縦列、並列)や幅寄せなどにおいては、運転者が詳細状況を知りたい場所は、車両の前後よりもむしろ左右の側方180度の領域に集中することが、発明者らが行った被験者10人程度を対象に行った実験によって分かっている。
【0020】
したがって、車両の左右の側方がより連続的になるような合成画像を提示することが第6の課題であると考えられるが、従来方式2ではかかる課題に対する解決策について何ら開示されていない。
【0021】
前記の課題を解決するために、請求項1の発明が講じた解決手段は、監視システムとして、車両の周囲を撮影する少なくとも1つのカメラと、前記カメラの撮影画像を入力とし、このカメラ画像から合成画像を生成し、表示装置に表示させる画像処理部とを備え、前記カメラの少なくとも1つは、少なくともボディの側面の一部および前のタイヤの一部を撮影範囲に含むように前記ボディ側面に取り付けられ、前記画像処理部は、車両の幅寄せ時において、前記少なくとも1つのカメラの撮影画像を用い、前記ボディの側面および前タイヤを含むように、かつ、前記カメラの取り付け場所を中心とした拡縮変形をおこない、かつ、前記前タイヤの接地部分を含む車両直近部分の拡縮率が車両周辺部分の拡縮率よりも相対的に高くなるように、合成された合成画像を表示するモードを有するものである。
【0022】
また、請求項2の発明が講じた解決手段は、監視システムとして、車両の周囲を撮影する複数のカメラと、前記複数のカメラの撮影画像を入力とし、このカメラ画像から、合成画像を生成し、表示装置に表示させる画像処理部とを備え、前記複数のカメラは、当該車両のいずれのタイヤについても少なくともその一部をいずれかのカメラが撮影範囲に含むように前記ボディ側面に取り付けられ、前記画像処理部は、前記複数のカメラの撮影画像を用い、当該車両のいずれのタイヤについても少なくともその一部を含むように、合成された合成画像を表示するモードを有し、かつ、前記合成画像を、前記カメラの取り付け場所を中心とした拡縮変形をおこない、かつ当該車両の少なくとも1つのタイヤの接地部分を含む車両直近部分の拡縮率が車両周辺部分の拡縮率よりも相対的に高くなるように合成するものである。
【0023】
請求項1または2の発明によると、当該車両の少なくとも1つのタイヤの接地部分を含む車両直近部分が、車両周辺部分よりも、拡縮率が相対的に高い合成画像が表示される。このため、利用者は、車両の直近直下の詳細な状況と進行方向の先の様子とを、同じ画像から同時に確認することが可能になる。
さらに、カメラの取り付け場所を中心とした拡縮変形がおこなわれるため、ボディの側面の直線性、およびそこから先の進行方向の直線性が保持される。これにより、例えば車両の右前から対向車が近づいてくる場合、その対向車が右側の側面に沿う線を進行方向に延ばした線より右にいるか、それともかかる線をまたいでいるかを見ることによって、対向車と接触するかどうかが容易に判断できる。
また、請求項3の発明が講じた解決手段は、請求項1または2の発明の解決手段に加え、前記拡縮変形における拡縮率が、前記カメラの取り付け場所からの方向に関係なく、前記カメラの取り付け場所からの距離が等しければ、拡縮率が等しくなるように、前記拡縮変形を行うものである。
これにより、方向に関係なく、カメラの取り付け場所から離れるに従って縮小された画像が得られる。
また、請求項4の発明が講じた解決手段は、請求項1または2の発明の解決手段に加え、車の進行方向にある部分と、前記部分と前記カメラの取り付け場所からの距離が等しい車の横方向にある部分との拡縮率が異なるように、前記拡縮変形を行うものである。
これにより、車の進行方向の部分の縮小の度合いを、車の横方向の縮小の度合いより小さくしたり大きくしたりできる。
【0024】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照しながら説明する。まずそれぞれの実施形態を実現するために必要な、本発明に係る監視システムの全体構成について説明し、つづいて本発明に係る各種表示画面態様例について詳細を説明する。
【0025】
図1は本発明に係る監視システムの構成を示すブロック図である。図1に示す監視システムにおいて、画像処理部20は、カメラ11から出力された複数のカメラ画像を入力とし、これらを変形・合成して新たな画像を生成する。この合成画像は表示装置30によって表示される。画像処理部20によって、本発明に係る画像処理装置が構成される。
【0026】
なお、本願明細書では、「合成画像」とは、複数のカメラ画像から生成された画像だけでなく、1つのカメラ画像を変形・合成することによって生成した画像をも含むものとする。
【0027】
本発明の表示装置30は、典型的には液晶ディスプレイであるが、プラズマディスプレイ等の他の表示デバイスを用いることもできる。また、本発明のディスプレイは、車両搭載型のGPS端末ディスプレイ(いわゆるカーナビゲーションシステムのディスプレイ)と共用したものであってもよいし、これとは別に用意されたものであってもよい。
【0028】
撮像部10は、典型的にはCCD,CMOSデバイス等の固体撮像素子をもつ、カラーまたはモノクロのデジタルカメラである。また、撮影手段は、たとえばレンズと、プリズムまたはミラーとの組み合わせにより構成され、レンズ、プリズムまたはミラーへの入射光が、所定光路を通って撮影手段から離れた位置にある撮像素子に伝達されるように構成されていてもよい。
【0029】
図2はカメラの配置の例、図3は図2に示す各カメラの撮像画像の例である。図2において、WL1〜WL5は白線、P1〜P4はポールである。図2の例では2台のペアカメラをフロントグリル、左右ドアミラー、リアトランクの合計4箇所8台使用した場合を示している。図2に示したカメラ配置は、車の前後左右の4面のそれぞれの180度視野の画像を得るためで、現状のカメラでは一つで180度の視野を確保することができないため、便宜的に2台のカメラをペアにして実質的に180度の視野を得るようにしたものである。
【0030】
画像処理部20は、図3に示すような8枚のカメラ画像(ペアカメラを1台にした場合は4枚のカメラ画像)を変形・合成し、例えば車両上方から鉛直下方に見下ろしたような合成画像を生成する。合成画像の生成のためには、画像変形処理や変形された画像の必要な部分を切り取った部分画像の合成処理(境界部分のスムージングなどの処理(以下、境界処理)を含む)が必要になるが、図1の構成では、マッピングテーブル参照部21を備え、撮像画像の加工を一つの工程で行うために、マッピングテーブルMPTを利用する。
【0031】
画像処理部20はカメラ1〜Nからの撮影画像を入力し、これら撮影画像を加工する。ここでの加工は、▲1▼画像変形切り出し処理、▲2▼切り出された部分画像の合成処理(境界処理を含む)である。これらの▲1▼と▲2▼の処理は、それぞれ別々になされてもよいし、全部または一部が1つの工程によりなされてもよい。図1では、撮影画像の加工を一つの工程で行うために、マッピングテーブルを備えた構成をなしている。
【0032】
「マッピングテーブル」とは、合成画像の画素と、各カメラ画像の画素データとの対応関係が記述されたテーブルのことをいい、合成画像の生成処理を高速に行うために用いられる。このようなマッピングテーブルを、幾何変換などを用いた計算や手作業などによってあらかじめ作成しておくことによって、所望の合成画像を高速に生成することができる。そして、マッピングテーブルを替えることによって、画面表示モードを切り替えることができる。
【0033】
マッピングテーブルは具体的には、例えばROM(EEPROMなどの書きこみ・消去可能なROMを含む)、またはRAMに格納されている。マッピングテーブルの格納は、例えば、画像処理部内のプロセッサが計算で求めたマッピングデータをROMまたはRAMに書きこむことによって実現してもよいし、ファームウェアとして提供されるマッピングテーブルデータを、通信回線やディスクドライブなどのデータ転送手段を用いて、RAMまたはROMに書きこむようにしてもよい。
【0034】
次に、本発明に係る各種表示画面態様例について詳細を説明する。
【0035】
(第1の実施形態)
第1の実施形態は上述の第1の課題を解決するためになされた発明の一態様であり、例えば図4のように、後退しながら大きくハンドルを切って車両を道路に誘導させる場合、道路の左右からの接近車両を確認するために用いられる。
【0036】
次に表示画面態様の例について説明する。
【0037】
図5(a)は確認に用いるための本実施形態に係る画面態様の一例であり、具体的には図2に示すカメラ3およびカメラ7で撮影された画像を用いて、車両後方の左右180度の視野を持つ画像を反転させて表示し、これに自車の後退時の走行軌跡41を重ねて表示した例である(合成の元になる撮影画像は図示しない)。図5(a)から分かるように、車両の後端が車両に垂直に通っている道路に対してぎりぎりに直面している状況において、その道路の一方の端から他方の端まですなわち左右180度を見ることができる。したがって、運転者はこの画像を見ることによって、例えば実際に左側から接近している他の車両42の様子を、運転席に居ながらにして把握できる。
【0038】
図5(b)は本実施形態に係る画面態様の他の一例である。この態様は、カメラや画面の解像度が低いなどの理由によって、遠方から近づきつつある車までの距離が分かりにくい場合に用いるとよい。具体的には、遠方のエリア(破線矩形領域43)を拡大し、画面中の別な場所にサブウインドウ(実線矩形領域44)として表示する。これにより、全体画像では遠方と近傍とを一度に把握することができ、かつ、遠方の様子はサブウインドウによって確認することが可能になる。サブウインドウは全体画像の上に貼り付けるので、運転に重要な情報がこれによって隠されることをできるだけ防ぐために、貼り付け場所を予め決めておくとよい。
【0039】
図5(c)も本実施形態に係る画面態様の他の一例である。この態様は、遠方から近づいている車までの距離が分かりにくい場合に、距離を示す補助線を画像に重複して表示するものである。これにより、接近車のおおよその距離を知ることができる。図5(c)では実線45、細かい破線46および粗い破線47によって、それぞれ、自車から左右に約2m、約5mおよび約10mの位置が示されている。
【0040】
次に、このような180度の視野を持つ画像を作成する方法を簡単に説明する。
【0041】
図6はペアカメラの画像を円筒モデルにそれぞれ投影し、その投影画像をそのまま長方形の画像面に端から並べて行くようにして、視野180度のパノラマ画像を得る方法を示している。この方法では、縦の幅がカメラの視野範囲における角度に対応するため、カメラのどの方向の向きも同じ倍率の画像が得られる。
【0042】
また、図7は円筒以外のモデルとしてお碗形状のモデルを用いて視野180度の画像を得る方法を示している。カメラ画像をモデルに投影する点は図6と同様であるが、その投影画像を見る仮想視点を設け、透視投影変換によって画像を作成している点が異なる。このモデルでは、お碗の形状を変形したり仮想視点の位置を移動させることによって、自車の真後ろ方向を拡大し周辺方向を縮小した画像を作成したり、逆に自車の真後ろ方向を縮小し周辺方向を拡大した画像を作成することも可能である。
【0043】
なお、本実施例では、後方180度の視野を表示する例を示したが、実質的に視野を180度程度持つことで実用上問題がなければ、必ずしも180度を含むようにカメラを設置する必要はなく、それより若干小さめの視野角でも問題ない。また当然のことながら、空が映っている部分など、後方安全確認に不要な部分に関しては切りとって表示してもかまわない。
【0044】
(第2の実施形態)
第2の実施形態は上述の第2の課題を解決するためになされた発明の一態様であり、例えば路肩などへの幅寄せのようなケースで、自車の路肩への寄せ具合だけでなく、前進または後退したときの進行方向の先の様子も同時に分かるような合成画像を運転者に提供するものである。
【0045】
次に表示画面態様の例について説明する。
【0046】
図8(a),(b)は図2に示すカメラ1,2,5,6の4個のカメラを用いて作成した本実施形態に係る画面態様を示したものである(合成の元になる撮影画像は図示しない)。自車両の右側の画像はカメラ1とカメラ2を、また左側の画像はカメラ5とカメラ6の画像を用いてそれぞれ作られたものである。それぞれの合成画像は、タイヤの接地部分を含む車両直近部分の拡縮率が、車両周辺部分の拡縮率よりも相対的に高くなるように、合成されている。さらに、車両直近部分から車両周辺部分にむけて離れるにつれて、拡縮率が低くなっている。
【0047】
このような画像の合成方法の例を簡単に説明する。このような画像の合成を簡単に作成する一つの有効な方法は、第1の実施形態における画像合成と同様に、モデルを使って合成する方法である。例えば図7に示したお椀のモデルを用いると、図8(a)の左側の画像は次のようにして合成できる。
1. お椀のモデルの底が車のカメラ5とカメラ6との間の位置の路面上に接するように、お椀モデルを作成する。このとき、お椀モデルの大きさは、車がお椀の内面に完全に囲まれる程度の大きさにしておく。
2. カメラ5とカメラ6で撮影された画像を、それぞれお椀の内面に投影する。
3. 仮想視点を、カメラ5とカメラ6の間の位置で上方(例えば4m)に下向きに設置し、2.の処理でお椀に投影されたカメラ5、カメラ6の画像を、前記仮想視点から眺める。
【0048】
これら3つのステップの処理によって、図8(a)の左側に示したような、タイヤの接地部分を含む車両直近部分の拡縮率が、車両周辺部分の拡縮率よりも相対的に高くなるように合成された画像を得ることができる。
【0049】
ここで、なぜお椀モデルを用いると周辺部分がより縮小されるかというと、カメラ画像を投影するモデル面(本例ではお椀の内面)が仮想視点の向き(本例では真下方向)に平行に近づいていくにつれて、モデル面に投影された画像が縮小される、という幾何学的な性質に基づいているからである。
【0050】
上記方式の大きなメリットは、お椀のモデルを変形したりすることで、車両直近部分の拡縮率に対する車両周辺部分の拡縮率を自由に決められる点があげられる。例えば、お椀のモデルが円形である場合、お椀の底に相当する部分を中心にして、方向に関係なく、そこから離れるに従って縮小された画像が得られる。また、お椀のモデルを底の場所は同じままにしておき形だけ楕円形にする。この楕円形の長軸方向が車の側面に一致するようにすると、お椀の底に相当する部分を中心にして、車の進行方向の部分の縮小の度合いは、車の横方向の縮小の度合いよりは小さくすることができる。もちろん逆も可能である。
【0051】
なお、ここでは、タイヤの接地部分を含む車両直近部分の拡縮率が、車両周辺部分の拡縮率よりも相対的に高くなるように合成された画像を、お椀モデルを用いて合成する方法について説明したが、もちろんお椀モデル以外の方法を用いた合成が可能であることはいうまでもない。
【0052】
また、カメラがボディに取り付けられてあり、そのカメラのほぼ上方下向きに仮想視点を設け、上記お椀モデルを用いて画像を合成している。つまり、カメラの取り付け場所を中心に上述したような縮小変形を行っても、ボディの側面の直線性、およびそこから先の進行方向の直線性は保持される。図8(b)の画像は、カメラ1,2のほぼ上方下向きに仮想視点を設けてお椀モデルを用いて合成した画像と、カメラ5,6のほぼ上方下向きに仮想視点を設けてお椀モデルを用いて合成した画像とを用いて、作成される。
【0053】
次に、図8(a)を用いた,路肩にある溝までの幅寄せの様子を具体的に説明する。図8(a)では、車両の助手席サイドから路肩にある溝までの余裕がどの程度あるかが分かるように、車両の直近の部分を拡大して、この直近部分について少なくとも5cm程度が見分けられるような解像度を保っている。しかも、自車が路側にどの程度近づいているかを見ただけで判断できるように、自車のタイヤも写るように表示している(実線の丸のエリア51)。実験により、このような画像を提示することによって、これまで路側帯への幅寄せについて10cmを切ることが困難であった運転者が、容易に5cm以内まで寄せられるようになったことが分かっている。すなわち、この表示態様が、幅寄せ運転に大きな効果を持つことが確認されている。
【0054】
一方、本表示態様により、自車とその右サイドを通過しようとする対向車との隙間の余裕がどの程度あるかも確認できる(破線の丸のエリア52)。図8(b)は図8(a)と同一の表示態様であり、このような確認を行う状況例を示している。本表示態様では、前方が直線性を保って縮小されているため、前後のタイヤに接するように引いた線(TYRE1とTYRE3を通る線53およびTYRE2とTYRE4を通る線54)が自車の進行線となる。このため右前から対向車が近づいてくる場合、その対向車が右側の進行線より右にいるか、それとも進行線をまたいでいるかを見ることによって、対向車と接触するかどうかが容易に判断できるのである。もちろん前方になればなるほど画面が縮小されているので、対向車がまだ離れた場所から近づきつつある状況でも、前もって画面上で上記判断ができるため運転者は余裕をもって自車を操作できる。図8(b)の例では、右側の進行線よりも明らかに右にある対向車が、自車の右サイドを接触せず無事に通過して行く様子がわかるなお、前方の様子は少なくとも約5m先が見えていると運転操作がしやすい、ということが実験によって確認されている。
【0055】
ただし、実際に対向車とすれ違う場合は、これだけでは不充分な場合もある。すなわちドアミラーなど、ボディよりさらに外側に突起した物体がある場合は、画面確認と同時にやはり運転者による目視による確認も必要となる。
【0056】
なお、図8では4個のタイヤ全てを表示するものとしたが、一部のタイヤ、例えば前のタイヤのみを合成画像に表示させてもかまわない。
【0057】
以上、これまでは、第2の実施形態における画面態様を4台のカメラを用いた場合を例にとって説明した。もちろん本発明は、これに限定されるものでなく、1台のカメラのみを用いても実施することができる。例えば、コスト等の制約から、助手席側の車両側面に前向きのカメラ1台のみしか設置できない場合であっても、本発明によって、路肩への幅寄せに有効な画像を利用者に提供することが可能である。
【0058】
図19は1台のカメラのみを用いた本実施形態に係る画面態様を複数のカメラを用いた場合と対比して示す図である。同図中、(a)は車の左右に設置された4台のカメラRF,RR,LF,LRのカメラ画像の例、(b)は(a)に示す4つのカメラ画像から図8と同様に作成した合成画像である。これに対して、(c)は(a)におけるカメラLFのカメラ画像のみから合成した画像である。なお、図19(b),(c)における自車のイラストは、合成画像に対する自車位置の目安を示すために貼り付けたものであり、画像に含まれる自車部分とは必ずしも一致しない。
【0059】
図19(c)の例では、画像合成に用いられるカメラは1台だけなので、画像に映る視野範囲は(b)の例よりも限定されている。ところが、車両の直近部分を拡大することによって、少なくとも5cm程度の物が見分けられるような解像度を保ち、車両の助手席サイドから路肩の溝までどの程度余裕があるか分かるようになっている。しかも、画像をみただけで、自車が路側にどの程度接近しているのかが容易に認識できるよう、自車のタイヤも映るように表示されている(実線の丸のエリア)。
【0060】
したがって、(c)のような画像が表示されると、狭路で助手席側の路肩に溝があるような走行環境において、前方からの対向車をよける場合でも、路肩の溝にタイヤが落ちないかどうかを確認しつつ、前進しながら幅寄せすることが可能となる。もちろん、この場合は、対向車との間隔はドライバー自身が確認する必要はあるものの、幅寄せに対する運転の負担は大幅に軽減する。
【0061】
さらに、魚眼レンズを用いることによって、1台のカメラであっても十分に広い視野範囲を得ることができる。例えば、車両の助手席側の側方に視野角が180°前後の魚眼レンズが付いたカメラを設置し、このカメラ画像を用いて本発明を実現してもよい。これにより、運転席と反対側側方の画像を広い範囲で表示することができるので、より安全に運転することが可能になる。
【0062】
(第3の実施形態)
第3の実施形態は上述の第3の課題を解決するためになされた発明の一態様であり、例えば切り返しを伴うような駐車において、周囲の状況だけでなく、前進もしくは後退した時の進行方向の先の様子も同時に分かるような合成画像をドライバーに提供するものである。
【0063】
次に表示画面態様の例について、車両の停止時、前進時、および後退時の3つの状況に応じて図9および図10を用いて具体的に説明する(合成の元になる撮影画像は図示しない)。
【0064】
1.車両の停止時の表示態様例:
図9(a)は上方から見下ろした仮想視点画像に対して、自車の前方および後方に相当する部分に、それぞれの方向の遠方を把握するために必要な画像を貼り付けた例である。自車の周辺だけでなく、自車が動く方向の先の様子までが一目でわかるため、信号停止時などで発進前および直後の周囲状況確認に用いたり、また、縦列駐車、並列駐車にも適用可能である。
【0065】
2.車両が低速前進中の表示態様例:
図9(b),(c)は、いずれも上方から見下ろした仮想視点画像に対して、自車の前方に相当する部分に、前方の遠方を把握するために必要な画像を貼り付けた例を示す。自車の周辺だけでなく、進行方向の先の様子までが一目でわかる。
【0066】
図9(b),(c)の違いは、前方の遠方把握用の画像の違いである。まず、図9(b)は、見下ろし画像と前方画像との境界が路面部分で繋がるようにした場合である。路面部分で繋がるため、前方障害物が自車の前方のどの位置にあるかが分かりやすい。低速走行時として、発進時だけでなく、狭路走行や料金所などでの幅寄せにも有効である。一方、図9(c)は、見下ろし画像で死角となる部分を補うために、前方画像の視野を180度にした場合である。画像同士の境界が繋がらない問題はあるものの、前方に関しての幅広い視野の情報を一度に見ることができるメリットがある。特に発進前の前方180度周囲の確認に適している。
【0067】
なお、仮想視点画像については、前進の速度が増すにつれ、自車の前の領域が広くなるように、逆に前進の速度が下がるにつれ、自車の位置が画面の真ん中に来るように連続的に切り換えても構わない。またさらに、一定速度を超えると、画面態様を後ろのパノラマ画像だけにするようにしてもよい。
【0068】
3.車両が後退中の表示態様例:
図10(a),(b)は、いずれも上方から見下ろした仮想視点画像に対して、自車の後方に相当する部分に、後方の遠方を把握するために必要な画像を貼り付けた例を示す。自車の周辺だけでなく、後退方向の先の様子までが一目でわかる。
【0069】
図10(a),(b)の違いは、後方の遠方把握用の画像の違いである。まず図10(a)は見下ろし画像と前方画像との境界が路面部分で繋がるようにした場合である。路面部分で繋がるため、前方障害物が自車の前方のどの位置にあるかが分かりやすい。前記境界部分における路面の連続性を有することから、縦列駐車、並列駐車の開始時に表示する画像に適している。一方、図10(b)は見下ろし画像で死角となる部分を補うために、後方画像の視野を180度にした場合である。画像同士の境界が繋がらない問題はあるものの、死角の多い車両後方に関して、死角がなくなるメリットがある。特に後退前の後方180度周囲の確認に適している。
【0070】
なお、仮想視点画像については、後退の速度が増すにつれ、自車の後ろの領域が広くなるように、逆に後退の速度が下がるにつれ、自車の位置が画面の真ん中に来るように連続的に切り換えても構わない。
【0071】
また、図9(a)に示すような表示態様は、車両が全く動いてない場合のみに表示するだけではなく、切り返しなど前進と後退が頻繁に繰り返されるときに表示してもよい。例えば切り返しの際に、図9(b)と図10(a)とを切り換えて表示すると、見ていて煩わしい場合もある。このような場合は、速度の絶対値が所定値以下の期間は、図9(a)に示すような画像を常に表示させておいても良い。
【0072】
以上、これまでは、第3の実施形態における画面態様を8台のカメラを用いた場合を例にとって説明した。もちろん本発明は、これに限定されるものではなく、例えば、コスト等の制約から、車両後面の中央部にカメラが2台または1台のみしか設置できない場合であっても、本発明によって、後退時に有効な画像を利用者に提供することが可能である。
【0073】
図20は2台のカメラを用いた本実施形態に係る画面態様を示す図である。同図中、(a)は車両の後面に設置された2台のカメラBR,BLのカメラ画像の例、(b)は仮想視点画像を作る際の仮想視点の位置(車後端中央部の上方から真下に見下ろす)を示す図、(c)は(a)に示す2つのカメラ画像を用いて生成した合成画像である。図20(c)の合成画像では、上方から見下ろした仮想視点画像が下に配置されており、かつ、後方遠方を把握するために必要な画像がその上に配置されている。
【0074】
本例のように、車両後方に設置した2台のカメラのみを用いた場合、車両側方の画像は得られないものの、車両後方については視野範囲がほぼ180度の画像が得られるため、自車の周辺だけでなく、後退方向の先の様子までが画像から一目でわかる。このため、並列駐車や縦列駐車における後退時には、このような2台のカメラを用いて生成した合成画像であっても、十分実用的である。
【0075】
図21は1台のカメラを用いた本実施形態に係る画面態様を示す図である。同図中、(a)は車両の後面に設置された1台のカメラの画像、(b)は仮想視点画像を作る際の仮想視点の位置(車後端中央部の上方から真下に見下ろす)を示す図、(c)は(a)に示すカメラ画像を用いて生成した合成画像である。図21(c)の合成画像では、上方から見下ろした仮想視点画像が下に配置されており、かつ、後方遠方を把握するために必要な画像がその上に配置されている。
【0076】
本例では、カメラが1台だけなので、車両側方だけでなく、さらに車両斜め後方も視野範囲外になる。ところが図21(c)を見ると分かるように、カメラの画角が130度程度あれば、後方確認に十分な視野が得られ、自車の周辺だけでなく、後退方向の先の様子までが一目でわかる。このため、このような1台のカメラを用いて生成した合成画像であっても、並列駐車や縦列駐車における後退時には、十分実用的である。さらに、魚眼レンズを用いることによって、1台のカメラであっても十分に広い視野範囲を得ることができる。
【0077】
なお、図20(c)および図21(c)における自車のイラストは、合成画像に対する自車の位置の目安を示すために貼り付けたものである。そして、イラストの大きさを、合成画像に対して正確に一致させることによって、運転がさらにし易くなることはいうまでもない。
【0078】
(第4の実施形態)
第4の実施形態は上述の第4の課題を解決するためになされた発明の一態様であり、カメラ画像を変形・切り出して合成した仮想視点画像においても、路面以外の物体が消失しないような合成画像をドライバーに提供するものである。
【0079】
次に、表示画面態様の例について図を用いて具体的に説明する。
【0080】
図11(a)は本実施形態に係る画像の例として、車両側方の後ろ向きのカメラ(カメラ2,6)のみを用いた第1の仮想視点画像と、後のペアカメラ(カメラ3,7)のみを用いた第2の仮想視点画像とを、並列に並べて画面に表示した例を示している。これらの仮想視点画像は、それぞれ、撮影範囲が重複するカメラ(カメラ2とカメラ3,またはカメラ6とカメラ7)について、一方のカメラを用い、かつ、他方のカメラを用いないで作成した仮想視点画像である。各仮想視点画像において、その作成に用いた一方のカメラの撮影範囲については、他方のカメラとの重複部分と非重複部分とがともに含まれている。これによって、図17(b)の仮想視点画像では消滅していた自車の右後ろ隅に立っているポールP1が、2個の仮想視点画像のいずれにも消滅せずに映っている。もちろん、画面に並べて表示する代わりに、複数の仮想視点画像を別の画面に表示させて画面の切替を行うようにしてもかまわない。
【0081】
一般的に、このような路面外の物体が消滅する現象は下記の2つの条件がともに満たされたときに起こる。
【0082】
条件1:境界を構成する2つの部分画像のもとになるそれぞれのカメラが該物体を撮影している方向が、異なること
これは、物体を見ている方向が2つのカメラで異なると、それぞれのカメラ画像を仮想視点画像に変形したときに、物体の歪んでいく方向が異なるということを意味する。これは図17(a)のポールP1の変形からも明らかである。
【0083】
条件2:該物体が部分画像同士の境界付近にあること
これは、変形によって歪んだ物体が境界付近にある場合、部分画像を作るための切りだし処理によって、歪んで伸びた部分がほとんど消されてしまうということを意味する。これも図17(a)のポールP1の変形から明らかである。
【0084】
したがって、条件1が満たされなければ物体は消えることは無い。図12(a)は条件2を満たしながらも物体が消えない例を示した概念図である。図12(a)では、ポールが車両後方のペアカメラの直後に立っているが、条件1を満たしていないため、すなわちカメラ3もカメラ7も、ポールに対してほぼ同じ方向に向いているため、いずれのカメラ画像を変形しても、ポールは同じように画面の下に伸びるように歪む。このため、境界部分において、カメラ3の部分画像とカメラ7の部分画像とを混ぜ合わせる処理などを行うことによって、ポールが消えるのを防げるわけである。
【0085】
同様に、条件2が満たされなければ物体はほとんど消えない。図12(b)は条件1を満たしながらも物体が消えない例を示した概念図である。図12(b)では、ポールが車両右斜め後方に少し離れて立っており、異なる場所に位置するカメラ2、カメラ3の視野範囲にいるため条件1を満たしている。しかし、条件2を満たしていないため、すなわちカメラ2の部分画像とカメラ3の部分画像の境界から離れているため、カメラ3の部分画像において根元から画面右に伸びるように歪んでいるポールは、少なくとも境界までは消えずに残って見えている。
【0086】
このことから、画面の構成案を設計する場合の一つの指針としては、上記条件1を回避するために、一つの画面に、異なる2つのカメラ画像から作成された部分画像同士の境界を作らないということが挙げられる。前述の図は、まさしくその一例を示したものであり、カメラ2とカメラ3の境界、およびカメラ6とカメラ7の境界を同じ画面に作らないために2つの画面に分けたものである。
【0087】
また、図2のような8カメラ画像を使った場合では、図11(b)の例に示すような2画面で画像を構成することができる(合成の元になる撮影画像は図示しない)。図11(b)では、仮想視点画像において、両サイドのカメラのみを使った合成画像と、前後のカメラのみを使った合成画像とを、並列に並べて画面に表示している。いずれにしても、前記指針に基づいて作成されたものであれば、本例で示した以外の画面構成でももちろんかまわない。
【0088】
(第5の実施形態)
第5の実施形態は上述の第5の課題を解決するためになされた発明の一態様であり、仮想視点画像において隣り合う部分画像同士の境界で画像が非連続、不鮮明になるため運転に支障を与えることを防ぐために、非連続になるような部分を写した別の画像を仮想視点画像に埋め込んで、ドライバーに提示する。
【0089】
次に表示画面態様の例について図を用いて具体的に説明する。
【0090】
図13(a)は図2に示すカメラ2,3,6,7の4個のカメラを用いて生成した画面態様を示す図である。全体は、上記4つのカメラ画像を用いて合成した,上方から見下ろした仮想視点画像が使われており、画像の上半分の右に、当該車両の右後方部を撮影するカメラ2の左右反転画像を、画像の上半分の左に、当該車両の左後方部を撮影するカメラ6の左右反転画像を、サブウインドウを設けて表示している。仮想視点画像において、破線で囲まれた楕円部分では、駐車車両との接近度合がおおよそでしか把握できない。しかしながら、サブウィンドウに表示したカメラ2の左右反転画像において、実線で囲まれた円の部分を見ることによって、駐車車両の接近度合を一目で把握することができる。
【0091】
また、図13(b)は図2に示すカメラ2,3,6,7の4個のカメラを用いて生成した他の画面態様を示す図である(合成の元になる撮影画像は図示しない)。全体は、カメラ3、7の画像を用いて合成した,上方から斜め後方に見下ろして左右を反転させた仮想視点画像が使われており、画像の下半分の右にカメラ2の反転画像を、画像の下半分の左にカメラ6の反転画像を、サブウインドウを設けて表示している。図13(b)の例では、仮想視点画像の注視点が画面全体の上半分に来るものと想定されるので、サブウインドウを画面下半分の右側と左側にそれぞれ配置している。効果は図13(a)と同様である。
【0092】
いずれの例においても、サブウインドウは、背景画像としての仮想視点画像のうち隠されても運転に支障を与えない部分に固定配置してもよいし、周囲の状況などに応じて配置場所を適宜動かしても構わない。
【0093】
このような画面構成にすることで、仮想視点画像によって、自車と周囲物体との位置関係が把握できるとともに、境界で不連続になるような部分に関しては、サブウィンドウに表示されたミラー画像を見ることによって、車両周囲の物体との接近度合の詳細を、視線の移動なく把握できる。
【0094】
(第6の実施形態)
第6の実施形態は上述した第6の課題を解決するためになされた発明の一態様であり、複雑な運転操作の際に詳細状況を把握したい場所である自車の側方領域について、他の部分に優先させて運転者に提示するものである。
【0095】
図14(a),(b)は複雑な運転操作の一つである縦列駐車において、駐車動作開始時と駐車動作途中とにおける合成画像をそれぞれ示す図である。いずれの仮想視点画像においても、車両の側部に設置したカメラを優先して用いることによって、駐車中の車P_CARがカメラ4およびカメラ5のみによって画像に再現されるため、不連続になるという問題が解消されている。
【0096】
もちろん、部分画像のレイアウトをこのような態様にすると、不連続部分が車両の前後に集中するため、その部分で利用者に違和感を与える可能性がある。しかしながら、この点に関しては例えば第3の実施形態で述べたように、車両の進行方向の先を把握するために必要な画像を仮想視点画像に並べて表示することなどによって、不連続部分の違和感を緩和させることが可能である。
【0097】
上述の例では、車両側方のカメラを優先して用いることによって、縦列駐車の際に注視する部分が見やすくなるように、仮想視点画像における境界を構成した。この部分画像同士の境界は、用途や運転の状況に応じて適宜切り換えるようにしてもよい。これにより、運転者にとってより見やすい画像を提供することが可能になる。
【0098】
図15は並列駐車の際における部分画像同士の境界の切替の一例を示す図である。並列駐車を行うとき、動作開始当初(図15(a))から途中(図15(b))までは、車両側方の物体(例えば駐車中の車P_CAR_Sなど)と接触しないかどうかを主として確認する必要がある。このため、車両側部に設置したカメラを優先して用い、車両側部のカメラの撮影画像をできる限り広く用いた仮想視点画像を提示する。一方、車両の約半分がすでに駐車スペースに入りかかった最終段階では、車両後方の物体(例えば駐車中の車P_CAR_Bなど)と当たらないかどうかを主として確認する必要がある。このため、車両後部に設置したカメラを優先して用い、車両後部のカメラの撮影画像をできる限り広く用いた仮想視点画像を提示する。
【0099】
ここで、車両側部のカメラを優先するモードから車両後部のカメラを優先するモードへの切替には、例えば、車両に設けた,後方物体の検知を行うセンサの検知信号をトリガーとして用いればよい。もし、車両後方に何か物体が存在することをセンサが検知すれば、これをトリガーにして、車両後部のカメラを優先する画面モードに切り替えればよい。
【0100】
なお、切替のトリガーとしては、物体検知センサの代わりに、例えばハンドル操作やギア操作など何を用いてもかまわない。また、もちろん、運転者が手動で画面モードを切り替えてもかまわない。
【0101】
図16は上述した画面モードの切替を可能にするシステム構成を示すブロック図である。図16の構成では、マッピングテーブル選択部25が画面モード切換信号(例えば物体検知センサの信号など)を受け、その信号内容に応じて、マッピングテーブルMPTを切り換える。例えば上記のような自動切換を実現するためには、車両側部のカメラを優先する画面モードのマッピングテーブルと、車両後部のカメラを優先する画面モードのマッピングテーブルとを予め準備しておけばよい。
【0102】
以上、本発明の目的を実現するための合成画像の表示態様を説明した。なお、この合成画像を実現するための装置構成としては、表示する画像の分に相当するマッピングテーブルを備えておくようにしても良いし、状況に応じてマッピングテーブルを自動で作成してもかまわない。
【0103】
また、本発明において車両とは、普通自動車、軽自動車、貨物自動車、バス等を含む。また、本発明の技術思想が適用されうるものであれば、クレーン車、シャベルカー等の特殊車両も本発明の車両とすることができる。
【0104】
なお、以上の説明では、本発明に係る監視システムは、車両に適用するものとしたが、車両以外の移動体、例えば飛行機や船舶などであっても、同様に適用することができる。また、移動体以外の監視対象、例えば店舗、住居、ショールームなどにカメラを設置してもよい。
【0105】
また、複数のカメラの設置位置や台数は、ここで示したものに限られるものではない。例えば、各ペアカメラを、車両の四隅にそれぞれ配置してもかまわない。
【0106】
また、本発明に係る画像処理部の機能は、その全部または一部を、専用のハードウェアを用いて実現してもかまわないし、ソフトウェアによって実現してもかまわない。また、本発明に係る画像処理部の機能の全部または一部をコンピュータに実行させるためのプログラムを格納した記録媒体や伝送媒体を、利用することも可能である。例えば、コンピュータを用いた構成において、画像合成部などの各処理手段を、CPUによって実行されるソフトウェアによって実現し、ROMまたはRAMに格納しておいてもかまわない。
【0107】
【発明の効果】
以上のように本発明によると、当該車両の少なくとも1つのタイヤの接地部分を含む車両直近部分が、車両周辺部分よりも、拡縮率が相対的に高い合成画像が表示されるため、利用者は、車両の直近直下の詳細な状況と進行方向の先の様子とを、同じ画像から同時に確認することが可能になる。したがって、路肩などへの幅寄せのような場合に、自車の路肩への寄せ具合だけでなく、前進または後退したときの進行方向の先の様子が分かり、運転に不慣れな運転者であっても、画像を見るだけで峡路走行での対向車とのすれ違い、幅寄せなどが至極簡単にできるようになる。
さらに、カメラの取り付け場所を中心とした拡縮変形がおこなわれるため、ボディの側面の直線性、およびそこから先の進行方向の直線性が保持されるので、対向車と接触するかどうかが容易に判断できるようになる。
【図面の簡単な説明】
【図1】本発明の各実施形態に係る監視システムの構成を示すブロック図である。
【図2】カメラ配置の一例を示す図である。
【図3】図2に示す各カメラの撮像画像の例を示す図である。
【図4】本発明の第1の実施形態が適した状況の例であって、車両を後退させながら大きくハンドルを切って道路に誘導させる場合を示す図である。
【図5】本発明の第1の実施形態に係る画面態様の例を示す図である。
【図6】円筒モデルを用いた画像生成を示す図である。
【図7】お椀モデルを用いた画像生成を示す図である。
【図8】本発明の第2の実施形態に係る画面態様の例を示す図である。
【図9】本発明の第3の実施形態に係る画面態様の例を示す図である。
【図10】本発明の第3の実施形態に係る画面態様の例を示す図である。
【図11】本発明の第4の実施形態に係る画像の例を示す図である。
【図12】仮想視点画像において境界付近の物体が消える条件を説明するための図である。
【図13】本発明の第5の実施形態に係る画面態様の例を示す図である。
【図14】本発明の第6の実施形態に係る画面態様の例を示す図である。
【図15】本発明の第6の実施形態に係る画面モードの切替の例を示す図である。
【図16】図15に示す画面モードの切替を可能にするシステム構成を示すブロック図である。
【図17】本発明の第4の課題を説明するための図である。
【図18】本発明の第5の課題を説明するための図である。
【図19】本発明の第2の実施形態に係る画面態様の他の例である。
【図20】本発明の第3の実施形態に係る画面態様の他の例である。
【図21】本発明の第3の実施形態に係る画面態様の他の例である。
【符号の説明】
11 カメラ
20 画像処理部
30 表示装置

Claims (4)

  1. 車両の周囲を撮影する少なくとも1つのカメラと、
    前記カメラの撮影画像を入力とし、このカメラ画像から、合成画像を生成し、表示装置に表示させる画像処理部とを備え、
    前記カメラの少なくとも1つは、少なくともボディの側面の一部および前のタイヤの一部を、撮影範囲に含むように前記ボディ側面に取り付けられ、
    前記画像処理部は、当該車両の幅寄せ時において、
    前記少なくとも1つのカメラの撮影画像を用い、前記ボディの側面および前タイヤを含むように、かつ、前記カメラの取り付け場所を中心としたお椀のモデルに投影する拡縮変形をおこない、かつ、前記前タイヤの接地部分を含む車両直近部分の拡縮率が車両周辺部分の拡縮率よりも相対的に高くなるように、合成された合成画像を表示するモードを有する
    ことを特徴とする監視システム。
  2. 車両の周囲を撮影する複数のカメラと、
    前記複数のカメラの撮影画像を入力とし、このカメラ画像から、合成画像を生成し、表示装置に表示させる画像処理部とを備え、
    前記複数のカメラは、少なくとも当該車両のいずれのタイヤの一部、およびボディの側面の一部についても、いずれかのカメラが撮影範囲に含むように、前記ボディ側面に取り付けられ、
    前記画像処理部は、
    前記複数のカメラの撮影画像を用い、当該車両のいずれのタイヤについても少なくともその一部を含むように、合成された合成画像を表示するモードを有するものであり、かつ、
    前記合成画像を、前記カメラの取り付け場所を中心としたお椀のモデルに投影する拡縮変形をおこない、かつ、当該車両の少なくとも1つのタイヤの接地部分を含む車両直近部分の拡縮率が、車両周辺部分の拡縮率よりも相対的に高くなるように、合成するものである
    ことを特徴とする監視システム。
  3. 請求項1および請求項2のうちのいずれか1項の監視システムであって、
    前記拡縮変形における拡縮率が、前記カメラの取り付け場所からの方向に関係なく、前記カメラの取り付け場所からの距離が等しければ、拡縮率が等しくなる
    ことを特徴とする監視システム。
  4. 請求項1および請求項2のうちのいずれか1項の監視システムであって、
    車の進行方向にある部分と、前記部分と前記カメラの取り付け場所からの距離が等しい車の横方向にある部分との拡縮率が異なる
    ことを特徴とする監視システム。
JP2002224464A 2000-07-19 2002-08-01 監視システム Expired - Lifetime JP3753681B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002224464A JP3753681B2 (ja) 2000-07-19 2002-08-01 監視システム

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2000-219513 2000-07-19
JP2000219513 2000-07-19
JP2002224464A JP3753681B2 (ja) 2000-07-19 2002-08-01 監視システム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2001217761A Division JP3372944B2 (ja) 2000-07-19 2001-07-18 監視システム

Publications (2)

Publication Number Publication Date
JP2003158736A JP2003158736A (ja) 2003-05-30
JP3753681B2 true JP3753681B2 (ja) 2006-03-08

Family

ID=26596338

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002224464A Expired - Lifetime JP3753681B2 (ja) 2000-07-19 2002-08-01 監視システム

Country Status (1)

Country Link
JP (1) JP3753681B2 (ja)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4457690B2 (ja) * 2004-02-18 2010-04-28 日産自動車株式会社 運転支援装置
JP4639753B2 (ja) * 2004-10-25 2011-02-23 日産自動車株式会社 運転支援装置
JP4606336B2 (ja) * 2005-02-21 2011-01-05 株式会社オートネットワーク技術研究所 車両周辺視認装置
JP4907883B2 (ja) * 2005-03-09 2012-04-04 株式会社東芝 車両周辺画像表示装置および車両周辺画像表示方法
JP2007235842A (ja) * 2006-03-03 2007-09-13 Denso Corp 車載画像表示システム
JP4939828B2 (ja) * 2006-03-29 2012-05-30 株式会社デンソー 画像処理装置及びプログラム
JP4889360B2 (ja) * 2006-04-18 2012-03-07 アルパイン株式会社 車載用画像表示装置
JP2010041530A (ja) * 2008-08-07 2010-02-18 Sanyo Electric Co Ltd 操縦支援装置
JP5182042B2 (ja) * 2008-11-28 2013-04-10 富士通株式会社 画像処理装置、画像処理方法及びコンピュータプログラム
JP5091882B2 (ja) * 2009-01-21 2012-12-05 三洋電機株式会社 画像処理装置並びに視界支援装置及び方法
JP2010183170A (ja) * 2009-02-03 2010-08-19 Denso Corp 車両用表示装置
JP5439890B2 (ja) * 2009-03-25 2014-03-12 富士通株式会社 画像処理方法、画像処理装置及びプログラム
JP5195592B2 (ja) 2009-03-31 2013-05-08 富士通株式会社 映像処理装置
JP5077307B2 (ja) * 2009-08-05 2012-11-21 株式会社デンソー 車両周囲画像表示制御装置
JP5381847B2 (ja) * 2010-03-24 2014-01-08 株式会社デンソー 車両用表示装置
JP5052708B2 (ja) * 2010-06-18 2012-10-17 三菱電機株式会社 運転支援装置、運転支援システム、および運転支援カメラユニット
JP5549436B2 (ja) * 2010-07-06 2014-07-16 日産自動車株式会社 車両用監視装置
JP5735227B2 (ja) * 2010-07-16 2015-06-17 ルネサスエレクトロニクス株式会社 画像変換装置及び画像変換システム
JP5858650B2 (ja) * 2011-06-08 2016-02-10 富士通テン株式会社 画像生成装置、画像表示システム、及び、画像生成方法
EP2554434B1 (en) * 2011-08-05 2014-05-21 Harman Becker Automotive Systems GmbH Vehicle surround view system
JP2013175064A (ja) * 2012-02-24 2013-09-05 Kyocera Corp 映像処理装置、映像処理方法、および映像表示システム
JPWO2023100415A1 (ja) * 2021-11-30 2023-06-08

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2696516B2 (ja) * 1987-11-09 1998-01-14 三菱自動車工業株式会社 車輌の安全監視装置
EP2259220A3 (en) * 1998-07-31 2012-09-26 Panasonic Corporation Method and apparatus for displaying image
JP2000125156A (ja) * 1998-10-16 2000-04-28 Sony Corp 周辺確認用電子カメラ装置

Also Published As

Publication number Publication date
JP2003158736A (ja) 2003-05-30

Similar Documents

Publication Publication Date Title
JP3753681B2 (ja) 監視システム
JP3372944B2 (ja) 監視システム
US7266219B2 (en) Monitoring system
JP4766841B2 (ja) 車両に搭載されるカメラ装置及び車両周辺監視装置
US9862319B2 (en) Vehicle peripheral observation device using cameras and an emphasized frame
JP5132249B2 (ja) 車載用撮像装置
JP5858650B2 (ja) 画像生成装置、画像表示システム、及び、画像生成方法
US7295229B2 (en) Surround surveillance apparatus for mobile body
KR100486012B1 (ko) 이동체의 주위감시시스템, 및 이를 이용한 이동체,자동차, 및 전차
JP3300334B2 (ja) 画像処理装置および監視システム
JP4907883B2 (ja) 車両周辺画像表示装置および車両周辺画像表示方法
WO2011078201A1 (ja) 画像処理装置、画像処理システム、および画像処理方法
WO2011016368A1 (ja) 車両周辺画像生成装置
JP5090126B2 (ja) 車載用撮像装置
JP2005110202A (ja) カメラ装置及び車両周辺監視装置
JP5724446B2 (ja) 車両の運転支援装置
WO2002089485A1 (fr) Procede et dispositif pour la presentation d'une image de camera embarquee a bord d'un vehicule
JP5036891B2 (ja) 車両に搭載されるカメラ装置及び車両周辺監視装置
JP2002096685A (ja) 車両に用いられてカメラおよびモニタを内蔵したリアビューミラー
JP5251804B2 (ja) 運転支援装置
JPH11115546A (ja) 車両用表示装置
KR20110080985A (ko) 차량용 다시점 룸미러
US11601621B2 (en) Vehicular display system
JP2007102798A (ja) 車両周辺監視システム
JP2020088415A (ja) 車両用電子ミラーシステム

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050412

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050613

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050906

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20051102

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20051129

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20051213

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 3753681

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091222

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091222

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101222

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101222

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111222

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111222

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121222

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121222

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131222

Year of fee payment: 8

EXPY Cancellation because of completion of term