JP6725967B2 - 画像補正装置および画像補正方法 - Google Patents

Description

本発明は、画像補正装置および画像補正方法に関し、特に、車載のヘッドアップディスプレイの表示面に表示される画像の歪を補正する画像補正装置および画像補正方法に用いて好適なものである。

従来、車載のヘッドアップディスプレイにより、各種情報（例えば、車速、案内方向、走行レーン等）を示す画像を、車両の運転席の前方の表示面に表示する技術が利用されている。これにより、運転者は、視線を前方から逸らさずに各種情報を視認することができる。

一般的に、ヘッドアップディスプレイは、投影装置から投影された画像を、光学系（ミラー）で反射させて、運転席の前方の表示面（フロントウインドウまたはコンバイナ）に映し出すようになっている。しかしながら、この種のヘッドアップディスプレイでは、光路を通じて画像が歪んでしまうため、歪んだ状態の画像が表示面に表示されてしまうといった問題が生じていた。

そこで、従来、このような画像の歪を補正する技術が利用されている。図５は、従来の画像補正処理の一例を示す図である。図５（ａ）は、横長の長方形状のクロスハッチの画像５００を、補正せずにヘッドアップディスプレイの表示面（フロントウィンドウ）に表示させた例を示している。図５（ａ）に示すように、ヘッドアップディスプレイの表示面の表示領域５１０Ａ内に表示された画像５００には、その左側部分が上方に反りあがるような歪が生じている。

図５（ｂ）は、実際にヘッドアップディスプレイの表示面に表示される補正後の画像の一例として画像５０２を示している。画像５０２は、横長の長方形状を有している。画像５０２には、車速と案内方向とが示されている。この画像５０２を補正せずにヘッドアップディスプレイの表示面に表示させてしまうと、図５（ａ）の画像５００と同様に歪が生じてしまう。そこで、図５（ｃ）に示すように、画像５０２全体を歪が生じる方向とは反対の方向に傾ける（すなわち、左下がりとなるように反時計回りに回転させる）補正を行う。これにより、画像５０２をヘッドアップディスプレイの表示面に表示させたときの、当該画像５０２の歪を相殺して解消することができる。

なお、下記特許文献１には、虚像に生じる歪を近似する関数（縦方向の辺については一次式の関数、横方向の辺については二次式の関数）を予め求めて記憶しておき、これらの関数式の逆関数式を用いて、表示画像の各画素が元画像のどの画素に対応するかを計算することにより、凹面鏡に起因する歪を相殺させた表示画像を生成し、当該表示画像をヘッドアップディスプレイの表示面に表示する技術が開示されている。

特開２００３−２８７７０７号公報

しかしながら、上述のように画像全体を傾けることによって画像の歪を補正する方法を採用した場合、一定以上画像を傾けてしまうと、画像の一部がヘッドアップディスプレイの表示領域からはみ出して欠けてしまう。このため、画像に生じるより大きな歪を補正すべく、当該画像をヘッドアップディスプレイの表示領域内で十分に傾けるためには、画像を小さくしなければならないといった問題が生じていた。

例えば、図５（ｂ）に示す例では、ヘッドアップディスプレイの表示領域５１０Ａのサイズは、２４０ピクセル（縦）×４８０ピクセル（横）である。一方、画像５０２のサイズは、１９２ピクセル（縦）×４３２ピクセル（横）である。この場合、図５（ｃ）に示すように、表示領域５１０Ａ内で画像５０２を傾けることができる最大角度（θ）は、６．３８度である。これ以上画像５０２を傾けてしまうと、画像５０２の一部が表示領域５１０Ａからはみ出してしまうため、画像５０２を縮小しなければならない。しかし、画像５０２を縮小してしまうと、文字や図形が小さくなる、情報量が少なくなる、視認し難くなるといった問題が生じるため、好ましくない。

なお、特許文献１の技術は、予め求めておいた関数の逆関数を用いて表示画像の各画素の座標を計算するというような複雑な処理を行う必要があるため、上述のように画像を全体的に傾けることによって画像の歪を補正する方法と比べて、処理時間がかかるといった問題が生じてしまう。

本発明は、上述のような問題を解決するために成されたものであり、ヘッドアップディスプレイに表示される画像を小さくすることなく、当該画像に生じるより大きな歪を補正することができるようにすることを目的とする。

上記した課題を解決するために、本発明では、ヘッドアップディスプレイの表示面に表示される長方形状の画像の歪を補正するようになされた画像補正装置において、ヘッドアップディスプレイの表示領域のサイズよりも小さいサイズの画像を、その長手方向に複数の部分画像に分割し、複数の部分画像の各々を、ヘッドアップディスプレイの表示領域の範囲内で、サイズを変更することなく、前記複数の部分画像のそれぞれの内部の所定位置を中心として各々の部分画像の画像全体を回転させる補正を行うことによって傾けることにより、画像の歪を補正するようにしている。

上記のように構成した本発明によれば、ヘッドアップディスプレイの表示領域の範囲内において、画像全体を傾ける方法と比べ、より大きな傾斜角度で各部分画像を個別に傾けることができるようになる。したがって、本発明によれば、ヘッドアップディスプレイに表示される画像を小さくすることなく、当該画像に生じるより大きな歪を補正することができる。

本発明の一実施形態に係るヘッドアップディスプレイの機能構成例を示すブロック図である。 本発明の一実施形態に係る画像生成装置による処理の一例を示すフローチャートである。 本発明の一実施形態に係る画像生成装置による画像補正処理の具体例（第１例）を示す図である。 本発明の一実施形態に係る画像生成装置による画像補正処理の具体例（第２例）を示す図である。 従来の画像補正処理の一例を示す図である。

〔ヘッドアップディスプレイ１０の機能構成例〕
以下、本発明の一実施形態を図面に基づいて説明する。図１は、本発明の一実施形態に係るヘッドアップディスプレイ１０の機能構成例を示すブロック図である。図１に示すヘッドアップディスプレイ１０は、自動車等の車両に搭載されている、各種情報を運転席の前方に表示するための装置である。

図１に示すように、ヘッドアップディスプレイ１０は、画像生成装置１００、投影装置１１、凹面鏡１２および表示面１３を備えている。画像生成装置１００は、各種情報（例えば、車速、案内方向等）を表示するための画像を生成する。投影装置１１は、画像生成装置１００によって生成された画像を投影する。投影装置１１としては、例えば、レーザプロジェクタ、液晶ディスプレイ等が用いられる。

凹面鏡１２は、投影装置１１から投影された画像を反射して、当該画像を表示面１３へと導く。表示面１３は、運転席の前方に設けられている。表示面１３は、投影装置１１から投影された画像が凹面鏡１２を介して照射されることにより、当該画像を表示する。表示面１３としては、例えば、フロントウインドウまたはコンバイナが用いられる。運転者は、表示面１３にて反射された画像の光路上に形成されるＥＹＥＢＯＸ（運転者が表示画像を視認可能な領域）において、あたかもその画像が表示面１３よりも前方に拡大して表示されているかの如く、その画像の虚像を視認できるようになっている。

画像生成装置１００は、その機能構成として、情報取得部１０１、画像生成部１０２、画像分割部１０３、歪補正部１０４および表示制御部１０５を備えている。画像生成装置１００は、画像分割部１０３および歪補正部１０４により、画像補正装置として機能する。

上記各機能ブロック１０１〜１０５は、ハードウェア、ＤＳＰ（Digital Signal Processor）、ソフトウェアの何れによっても構成することが可能である。例えばソフトウェアによって構成する場合、上記各機能ブロック１０１〜１０５は、実際にはコンピュータのＣＰＵ、ＲＡＭ、ＲＯＭなどを備えて構成され、ＲＡＭやＲＯＭ、ハードディスクまたは半導体メモリ等の記録媒体に記憶されたプログラムが動作することによって実現される。

情報取得部１０１は、表示面１３に表示させる情報を取得する。図１に示す例では、情報取得部１０１は、車載のスピードセンサ２１から車速を取得する。また、情報取得部１０１は、車載のナビゲーション装置２２から案内方向を取得する。

画像生成部１０２は、情報取得部１０１によって取得された情報（例えば、スピードセンサ２１から取得した車速、ナビゲーション装置２２から取得した案内方向）を表示するための横長の長方形状の画像を生成する。特に、画像生成部１０２は、ヘッドアップディスプレイ１０（表示面１３）の表示領域のサイズよりも小さいサイズの画像を生成する。これにより、ヘッドアップディスプレイ１０（表示面１３）の表示領域内において、画像生成部１０２によって生成された画像の周囲に、画像を傾けるための領域が形成される。

画像分割部１０３は、画像生成部１０２によって生成された画像を、その横方向（長手方向）に複数の部分画像に分割する。本実施形態では、画像分割部１０３は、画像に表示されている情報の種類毎に、画像を複数の部分画像に分割する。例えば、画像分割部１０３は、画像生成部１０２によって生成された画像において車速と案内方向とが横方向に並べて示されている場合、当該画像を、車速を示す部分画像と、案内方向を示す部分画像とに分割する。

歪補正部１０４は、画像分割部１０３によって生成された複数の部分画像の各々を、ヘッドアップディスプレイ１０（表示面１３）の表示領域の範囲内で、画像生成部１０２によって生成された画像に歪が生じる方向とは逆方向に傾けることにより、画像生成部１０２によって生成された画像の歪を補正する。例えば、ヘッドアップディスプレイ１０が搭載されている車両固有の画像の歪度合いが予め計測されており、この歪度合いに応じた補正値（傾斜方向および傾斜角度）が、画像生成装置１００の記憶部（図示省略）に予め記憶されている。歪補正部１０４は、この補正値を用いて、各部分画像を傾ける。

表示制御部１０５は、歪補正部１０４による補正後の画像を投影装置１１へ出力することにより、当該画像を表示面１３に表示させる。このように予め補正された画像を投影装置１１から投影させることにより、光路を通じて当該画像に生じる歪が相殺される。このため、当該画像は、歪が生じていない状態で表示面１３に表示されるようになる。

〔画像生成装置１００による処理の一例〕
図２は、本発明の一実施形態に係る画像生成装置１００による処理の一例を示すフローチャートである。図２に示す処理は、例えば、ヘッドアップディスプレイ１０の電源がＯＮに切り替えられたタイミングで実行される。

まず、情報取得部１０１が、表示面１３に表示させる情報を取得する（ステップＳ２０２）。次に、画像生成部１０２が、ステップＳ２０２で取得された情報を表示するための横長の長方形状の画像を生成する（ステップＳ２０４）。

次に、画像分割部１０３が、ステップＳ２０４で生成された画像を、その画像に示されている情報の種類毎に、その横方向に複数の部分画像に分割する（ステップＳ２０６）。

次に、歪補正部１０４が、ステップＳ２０６で生成された複数の部分画像の各々を、ヘッドアップディスプレイ１０の表示領域の範囲内で傾けることにより、ステップＳ２０４で生成された画像の歪を補正する（ステップＳ２０８）。

次に、表示制御部１０５が、ステップＳ２０８での補正後の画像を投影装置１１へ出力することにより、当該画像を表示面１３に表示させる（ステップＳ２１０）。そして、画像生成装置１００は、図２に示す一連の処理を終了する。

〔画像生成装置１００による画像補正処理の具体例（第１例）〕
図３は、本発明の一実施形態に係る画像生成装置１００による画像補正処理の具体例（第１例）を示す図である。この例では、前提として、本実施形態のヘッドアップディスプレイ１０において、図５（ａ）に示すクロスハッチの画像５００を表示面１３に表示させたとき、図５（ａ）と同様に画像５００に歪が生じるものとする。

図３（ａ）は、画像生成部１０２によって生成された画像の一例として画像３０２を示している。画像３０２は、ヘッドアップディスプレイ１０の表示領域３１０Ａのサイズよりも小さいサイズの横長の長方形状を有している。画像３０２には、ナビゲーション装置２２から取得した案内方向を示す図形と、スピードセンサ２１から取得した車速を示す文字列とが横方向に並べて示されている。この画像３０２を補正せずにヘッドアップディスプレイ１０の表示面１３に表示させてしまうと、図５（ａ）の画像５００と同様に歪が生じてしまう。

そこで、図３（ａ）に示すように、画像分割部１０３が、案内方向を示す部分画像３０２Ａと、車速を示す部分画像３０２Ｂとに画像３０２を分割する。そして、歪補正部１０４が、図３（ｂ）に示すように、部分画像３０２Ａ，３０２Ｂの各々を、画像３０２に歪が生じる方向とは反対の方向に傾ける（すなわち、左下がりとなるように反時計回りに回転させる）補正を行う。これにより、画像３０２をヘッドアップディスプレイ１０の表示面１３に表示させたときの、当該画像３０２の歪を相殺して解消することができる。

図３（ａ）に示す例では、ヘッドアップディスプレイ１０の表示領域３１０Ａのサイズは、２４０ピクセル（縦）×４８０ピクセル（横）である。一方、画像３０２のサイズは、１９２ピクセル（縦）×４３２ピクセル（横）である。このうち、部分画像３０２Ａのサイズは、１９２ピクセル（縦）×１４４ピクセル（横）である。また、部分画像３０２Ｂのサイズは、１９２ピクセル（縦）×２８８ピクセル（横）である。なお、表示領域３１０Ａのサイズは、図５に示す表示領域５１０Ａのサイズと同じである。また、画像３０２のサイズは、図５に示す画像５０２のサイズと同じである。

この場合、図３（ｂ）に示すように、表示領域３１０Ａ内で部分画像３０２Ａ，３０２Ｂを傾けることができる最大角度（θ）は、９．５４度である。図３（ｃ）は、最大角度（θ＝９．５４度）に傾いた状態の本実施形態の部分画像３０２Ａ，３０２Ｂと、最大角度（θ＝６．３８度）に傾いた状態の従来の画像５０２とを重ね合わせて比較したものである。図３（ｃ）から明らかなように、部分画像３０２Ａ，３０２Ｂを個別に傾けるほうが、画像５０２全体を傾けるよりも、より大きな傾斜角度とすることができる。

〔画像生成装置１００による画像補正処理の具体例（第２例）〕
図４は、本発明の一実施形態に係る画像生成装置１００による画像補正処理の具体例（第２例）を示す図である。図４（ａ）では、本実施形態のヘッドアップディスプレイ１０において、図３（ａ）に示した部分画像３０２Ａ，３０２Ｂを、従来（図５）の最大角度（θ＝６．３８度）と同じ角度で傾けた例を示している。

この場合、図４（ｂ）に示すように、部分画像３０２Ａ，３０２Ｂを６．３８度傾けて表示するために必要な表示領域３１０Ａ’のサイズは、２２４ピクセル（縦）×４６４ピクセル（横）である。すなわち、図５に示したように、画像５０２全体を６．３８度傾けた場合に必要な表示領域５１０Ａのサイズ（２４０ピクセル（縦）×４８０ピクセル（横））と比べて、表示領域３１０Ａ’のサイズは、縦方向に１６ピクセル、横方向に１６ピクセル小さくなっている。

すなわち、本実施形態の画像補正方法のほうが、従来の画像補正方法よりも、画像を傾けるために必要な画像周辺の領域のサイズ（歪補正領域）を小さくすることができる。逆に言えば、ヘッドアップディスプレイの表示領域のサイズが同じ場合には、本実施形態の画像補正方法のほうが、従来の画像補正方法よりも、より大きな画像を表示することができる。

以上説明したとおり、本発明の一実施形態によれば、ヘッドアップディスプレイ１０の表示領域３１０Ａの範囲内において、画像全体を傾ける従来の画像補正方法と比べて、より大きな傾斜角度で各部分画像３０２Ａ，３０２Ｂを個別に傾けることができる。このため、本発明の一実施形態によれば、従来の画像補正方法と比べて、画像３０２を縮小することなく、画像３０２に生じるより大きな歪を補正して解消することができる。

なお、上記実施形態では、横長の長方形状の画像を複数の部分画像に分割して、各部分画像を傾けることにより、当該画像の歪を補正する例について説明したが、本発明はこれに限らない。例えば、縦長の長方形状の画像を複数の部分画像に分割して、各部分画像を傾けることにより、当該画像の歪を補正するようにしてもよい。

また、上記実施形態では、複数の部分画像３０２Ａ，３０２Ｂを同じ角度で傾けるようにしているが、本発明はこれに限らない。例えば、画像の歪度合いに応じた部分画像毎の補正値（傾斜方向および傾斜角度）を、画像生成装置１００の記憶部（図示省略）に予め記憶しておき、この補正値を用いて、複数の部分画像３０２Ａ，３０２Ｂを、歪度合いに応じて別々の角度で傾けるようにしてもよい。例えば、図５（ａ）に示すように、画像の左側の歪度合いがより大きい場合には、図３の画像３０２において、左側の部分画像３０２Ａの傾き角度をより大きくするようにしてもよい。

また、上記実施形態では、画像３０２を２つの部分画像３０２Ａ，３０２Ｂに分割する例を示しているが、本発明はこれに限らない。すなわち、画像を３つ以上の部分画像に分割するようにしてもよい。

また、上記実施形態では、画像を情報の種類毎に複数の部分画像に分割するようにしているが、本発明はこれに限らない。例えば、画像に１つの情報しか表示しない場合であっても、当該画像を複数の部分画像に分割するようにしてもよい。また、画像に３つ以上の情報を表示する場合、２つ以上の情報をまとめて１つの部分画像を生成するようにしてもよい。

その他、上記実施形態は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその要旨、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。

１０ ヘッドアップディスプレイ
１１ 投影装置
１２ 凹面鏡
１３ 表示面
２１ スピードセンサ
２２ ナビゲーション装置
１００ 画像生成装置
１０１ 情報取得部
１０２ 画像生成部
１０３ 画像分割部
１０４ 歪補正部
１０５ 表示制御部

Claims (4)

1. ヘッドアップディスプレイの表示面に表示される長方形状の画像の歪を補正する画像補正装置であって、
   前記ヘッドアップディスプレイの表示領域のサイズよりも小さいサイズの前記画像を、その長手方向に複数の部分画像に分割する画像分割部と、
   前記複数の部分画像の各々を、前記ヘッドアップディスプレイの表示領域の範囲内で、サイズを変更することなく、前記複数の部分画像のそれぞれの内部の所定位置を中心として各々の前記部分画像の画像全体を回転させる補正を行うことによって傾けることにより、前記画像の歪を補正する歪補正部と
   を備えることを特徴とする画像補正装置。
2. 前記画像分割部は、前記画像に表示される情報の種類毎に、前記画像を複数の部分画像に分割する
   ことを特徴する請求項１に記載の画像補正装置。
3. 前記歪補正部は、前記複数の部分画像の各々を、別々の角度で傾けることにより、前記画像の歪を補正する
   ことを特徴する請求項１または２に記載の画像補正装置。
4. ヘッドアップディスプレイの表示面に表示される長方形状の画像の歪を補正する画像補正装置による画像補正方法であって、
   前記画像補正装置の画像分割部が、前記ヘッドアップディスプレイの表示領域のサイズよりも小さいサイズの前記画像を、その長手方向に複数の部分画像に分割する画像分割工程と、
   前記画像補正装置の歪補正部が、前記複数の部分画像の各々を、前記ヘッドアップディスプレイの表示領域の範囲内で、サイズを変更することなく、前記複数の部分画像のそれぞれの内部の所定位置を中心として各々の前記部分画像の画像全体を回転させる補正を行うことによって傾けることにより、前記画像の歪を補正する歪補正工程と
   を含むことを特徴とする画像補正方法。