JP7467883B2 - 回路装置、電子機器及び移動体 - Google Patents

Description

本発明は、回路装置、電子機器及び移動体等に関する。

透明スクリーン等の曲面ディスプレイに画像を表示することで、ユーザーの視界に情報を重ねて表示するヘッドアップディスプレイ（ＨＵＤ：Head Up Display）が知られている。ヘッドアップディスプレイが入力画像をそのまま表示した場合、曲面ディスプレイの歪みによって表示画像が歪んで見えてしまう。このため、ヘッドアップディスプレイは入力画像に対して歪み補正を行い、その歪み補正後の画像を表示することで、歪んでいない画像を表示する。特許文献１には、歪み補正を行うヘッドアップディスプレイの従来技術が開示されている。特許文献１のヘッドアップディスプレイは、座標変換用の数式を記憶するメモリーを含み、その座標変換用の数式を用いて座標変換を行い、その結果に基づいて入力画像をマッピング処理することで、歪み補正を行う。

特開２０１０－１６４８６９号公報

上記の特許文献１には、歪み補正における座標変換用の数式が開示されているが、その数式は原理的なものであり、積分又は平方根等の複雑な演算を含んでいる。このため、特許文献１の技術では、例えば動画に対して歪み補正をリアルタイム処理するといったような、高速処理が困難であるという課題がある。特許文献１は、高速処理を行うための具体的な処理プロセスについて開示していない。

本開示の一態様は、入力座標から出力座標への座標変換を行う座標変換回路と、入力される第１画像に対して、前記出力座標に基づくマッピング処理を行うことで、曲面ディスプレイに画像を表示するための表示パネルに表示される第２画像を生成するマッピング処理回路と、を含み、前記座標変換回路は、前記座標変換を表す２次以上の多項式を用いた演算処理を行うことで、前記座標変換を行う回路装置に関係する。

回路装置の第１構成例。 第１構成例における回路装置の動作を説明する図。 座標変換回路の詳細構成例。 マッピング処理回路の詳細構成例。 回路装置の第２構成例。 第２構成例における回路装置の動作を説明する図。 ヘッドアップディスプレイの取り付け公差と回転補正との関係を説明する図。 回路装置の第３構成例。 第３構成例における回路装置の動作を説明する図。 回路装置の第４構成例。 第４構成例における回路装置の動作を説明する図。 回路装置の第５構成例。 第１処理回路及び第２処理回路の詳細構成例。 ヘッドアップディスプレイに表示される画像の一例。 マッピング処理する前の画像から抽出されたＲＯＩの画像。 ヘッドアップディスプレイに表示される画像から抽出されたＲＯＩの画像が逆マッピング処理された画像。 エッジ画像の例。 電子機器の構成例。 移動体の例。

以下、本開示の好適な実施形態について詳細に説明する。なお以下に説明する本実施形態は特許請求の範囲に記載された内容を不当に限定するものではなく、本実施形態で説明される構成の全てが必須構成要件であるとは限らない。

１．第１構成例
図１は、本実施形態の回路装置１００の第１構成例である。図２は、第１構成例における回路装置１００の動作を説明する図である。

回路装置１００は、ヘッドアップディスプレイの画像表示を制御するＨＵＤコントローラーである。但し、回路装置１００はＨＵＤコントローラーに限定されず、例えば、ヘッドアップディスプレイの表示パネルを駆動する表示ドライバーであってもよい。この場合、回路装置１００は、画像ＩＭＧ２に基づいて表示パネルを駆動する駆動回路を含んでもよい。回路装置１００は、ＩＣ（Integrated Circuit）と呼ばれる集積回路装置である。回路装置１００は、半導体プロセスにより製造されるＩＣであり、半導体基板上に回路素子が形成された半導体チップである。

図２に示すように、回路装置１００は画像ＩＭＧ１を画像ＩＭＧ２にマッピング処理する。画像ＩＭＧ１は入力画像であり、第１画像とも呼ぶ。画像ＩＭＧ２は出力画像であり第２画像とも呼ぶ。マッピング処理は、ヘッドアップディスプレイの曲面ディスプレイによる歪みをキャンセルするような歪みを、画像ＩＭＧ２に与える。即ち、ヘッドアップディスプレイの表示パネルに表示された画像ＩＭＧ２は、歪んだ画像となっている。この画像ＩＭＧ２が曲面ディスプレイに表示されることで、歪みのない表示画像がユーザーに提示される。

このような歪み補正における画像変換を行う画像処理エンジンをワープエンジンと呼ぶ。第１構成例では、回路装置１００がインバースワープエンジンである場合を説明する。インバースワープエンジンとは、インバースワープの機能を有するワープエンジンである。インバースワープとは、ワープエンジンの出力画像の各画素を、入力画像における任意の位置の画素から求める変換である。図２に示すように、回路装置１００は、出力画像である画像ＩＭＧ２における座標（ｘ，ｙ）を、入力画像である画像ＩＭＧ１における座標（ｘ’，ｙ’）に変換し、その座標に基づいてマッピング処理を行うことでインバースワープを実現する。

なお、第２構成例で説明するように、回路装置１００はフォワードワープエンジンであってもよい。また第３、第４構成例で説明するように、回路装置１００は更に画像回転を行ってもよい。

以下、回路装置１００がインバースワープエンジンである第１構成例の詳細を説明する。図１に示すように、回路装置１００は、第１座標カウンターである座標カウンター１０と、座標変換回路２０と、マッピング処理回路３０と、を含む。

座標変換回路２０は、入力座標ＩＸＹ１から出力座標ＱＸＹ１への座標変換を行う。第１構成例では、入力座標ＩＸＹ１は、画像ＩＭＧ２上の座標に対応した座標（ｘ，ｙ）であり、出力座標ＱＸＹ１は、画像ＩＭＧ１上の座標に対応した座標（ｘ’，ｙ’）である。座標変換回路２０は、座標変換を表す２次以上の多項式を用いた演算処理を行うことで、入力座標ＩＸＹ１から出力座標ＱＸＹ１への座標変換を行う。下式（１）に、多項式が２次である場合の座標変換式を示す。

上式（１）の第１行において、右辺のａ１×ｘ^２は、ｘ’を求める多項式の第１項である。同様に、ａ２×ｙ^２、ａ３×ｘｙ、ａ４×ｘ、ａ５×ｙ、ａ６は、ｘ’を求める多項式の第２項、第３項、第４項、第５項、第６項である。ａ１は、第１項の係数、即ち第１係数である。同様に、ａ２、ａ３、ａ４、ａ５、ａ６は、第２係数、第３係数、第４係数、第５係数、第６係数である。ｙ’を求める式についても同様である。

なお、座標変換式は２次多項式に限定されず、３次以上の多項式であってもよい。例えば下式（２）に、多項式が３次である場合の座標変換式を示す。

マッピング処理回路３０は、入力される画像ＩＭＧ１に対して、出力座標ＱＸＹ１に基づくマッピング処理を行うことで画像ＩＭＧ２を生成する。具体的には、画像ＩＭＧ２における座標（ｘ，ｙ）の画素値を、画像ＩＭＧ１における座標（ｘ’，ｙ’）の画素値から求める。（ｘ，ｙ）が入力座標ＩＸＹ１であり、（ｘ’，ｙ’）が出力座標ＱＸＹ１である。但し、マッピング処理回路３０は、入力座標ＩＸＹ１を用いず、内部で生成した座標と出力座標ＱＸＹ１とを用いてマッピング処理を行う。この点については図４で後述する。画素値とは、例えば当該座標における表示用の画素の色データである。

画像ＩＭＧ２は、ヘッドアップディスプレイの曲面ディスプレイに表示される。例えば、ヘッドアップディスプレイは、光源と液晶表示パネルと光学系と透明スクリーンとを含む。液晶表示パネルには画像ＩＭＧ２が表示される。光源が光を出射し、その出射光が液晶表示パネルを透過し、その透過光を光学系が透明スクリーンに投影することで、透明スクリーンに画像ＩＭＧ２が投影される。この場合、透明スクリーンが曲面ディスプレイに相当する。或いは、ヘッドアップディスプレイは、有機ＥＬ表示パネル等による透明ディスプレイを含む。この場合、透明ディスプレイに画像ＩＭＧ２が直接に表示される。即ち、表示パネルである透明ディスプレイが曲面ディスプレイを兼ねている。

本実施形態によれば、座標変換回路２０が、多項式を用いた演算処理により座標変換を行うことで、歪み補正の高速処理が可能となっている。具体的には、上式（１）等に示すように、多項式は乗算と加算の組み合わせで成り立っており、積分等の複雑な計算を含まない。このため、多項式を用いることで、積分等を含む計算を行う場合に比べて、演算時間が短縮される。

また、多項式では、入力座標ＩＸＹ１である（ｘ，ｙ）と出力座標ＱＸＹ１である（ｘ’，ｙ’）とが１対１に対応する。この対応は、マッピング処理における出力画像ＩＭＧ２の画素と入力画像ＩＭＧ１の画素の対応として、そのまま用いることが可能である。即ち、（ｘ，ｙ）を１画素ずつ逐次に座標変換回路２０に入力すると、それに対応して１画素ずつ逐次に（ｘ’，ｙ’）が出力される。この対応を用いてマッピング処理回路３０が１画素ずつマッピングすることで、１画面分の画像ＩＭＧ２を構成することが可能である。このような逐次処理は、一旦テーブル等を作成してマッピング処理する場合に比べて、リアルタイム処理に適している。また、表示処理においては、画素クロックによって画素データが入力及び出力されるので、１画素ずつの逐次処理はリアルタイム処理に適している。

以下、上式（１）のように座標変換式が２次多項式である場合を例にとって説明する。

座標変換回路２０には、多項式の係数情報ＣＦ１と入力座標ＩＸＹ１とが入力される。座標変換回路２０は、係数情報ＣＦ１に基づく演算処理により入力座標ＩＸＹ１から出力座標ＱＸＹ１を求める。係数情報ＣＦ１は、上式（１）の係数ａ１～ａ６、ｂ１～ｂ６の情報である。例えば、回路装置１００は、係数情報ＣＦ１を記憶する記憶部を含み、係数情報ＣＦ１は記憶部から座標変換回路２０に入力される。記憶部はレジスター又はメモリーである。メモリーはＲＡＭ又は不揮発性メモリー等の半導体メモリーである。係数情報ＣＦ１は、例えば回路装置１００の起動時又はヘッドアップディスプレイの製造時において記憶部に書き込まれる。

多項式を用いた座標変換では、多項式の係数によって入力座標ＩＸＹ１と出力座標ＱＸＹ１の対応が決まる。即ち、曲面ディスプレイの形状に合わせた係数情報ＣＦ１が座標変換回路２０に入力されることで、種々の曲面ディスプレイに適した歪み補正が実現される。また、座標変換回路２０は、入力された入力座標ＩＸＹ１から出力座標ＱＸＹ１を求めるので、上述したようにリアルタイム処理に適した１画素ずつの座標変換を行うことができる。

座標カウンター１０は、画素クロックに基づく画素単位の座標である第１カウント座標を出力する。座標変換回路２０は、第１カウント座標を入力座標ＩＸＹ１として座標変換を行う。第１構成例では、入力座標ＩＸＹ１は画像ＩＭＧ２上の座標に対応するので、マッピング処理回路３０が画像ＩＭＧ２を処理する際に用いる画素クロックが、座標カウンター１０に入力される。

画像ＩＭＧ２のサイズをＮ×Ｍ画素とする。Ｎ、Ｍは２以上の整数である。例えば、座標カウンター１０は、ｙ＝０において画素クロック毎にｘを１ずつ増加させ、（０，０）、（１，０）、（２，０）、・・・、（Ｎ－１，０）を出力する。次に、座標カウンター１０は、ｙ＝１とし、画素クロック毎にｘを１ずつ増加させ、（０，１）、（１，１）、（２，１）、・・・、（Ｎ－１，１）を出力する。座標カウンター１０は、これを（Ｎ－１，Ｍ－１）まで繰り返す。なお、座標のカウント順は上記に限定されず、画像ＩＭＧ２の画素をどのような順で処理するかに応じてカウント順が設定されればよい。

本実施形態では、座標カウンター１０が画素クロックに基づいて１画素ずつ座標（ｘ，ｙ）を座標変換回路２０に出力し、座標変換回路２０が座標変換を行って１画素ずつ座標（ｘ’，ｙ’）を出力する。これにより、マッピング処理回路３０が画素クロックに基づいて１画素ずつマッピング処理を行うことが可能となる。これにより、リアルタイム処理に適した歪み補正が実現される。

なお、入力座標ＩＸＹ１を出力座標ＱＸＹ１に変換する演算の処理時間は、画素クロックの複数サイクルであってもよい。入力座標ＩＸＹ１に対応した出力座標ＱＸＹ１は、処理時間の分だけディレイして出力されるが、スループットとして画素クロックの１サイクルで１つの出力座標ＱＸＹ１が得られればよい。

図３は、座標変換回路２０の詳細構成例である。座標変換回路２０は、第１演算回路２１と第２演算回路２２とを含む。第１演算回路２１及び第２演算回路２２はロジック回路であり、それぞれ個別のハードウェア回路によって構成される。なお図３には、ｘ’を求める演算回路のみ図示するが、ｙ’を求める演算回路も同様な構成である。

第１演算回路２１は、入力座標ＩＸＹ１を（ｘ，ｙ）としたとき、ｘ^２、ｙ^２、及びｘｙを求める。具体的には、第１演算回路２１は、ｘを二乗してｘ^２を求めるｘ^２演算回路ＭＣ１と、ｙを二乗してｙ^２を求めるｙ^２演算回路ＭＣ２と、ｘとｙを乗算してｘｙを求めるｘｙ演算回路ＭＣ３と、を含む。演算回路ＭＣ１～ＭＣ３は、それぞれ個別のハードウェア乗算器である。

第２演算回路２２は、第１演算回路２１の演算結果と係数情報ＣＦ１とに基づいて出力座標ＱＸＹ１を求める。ここでは、第２演算回路２２は（ｘ’，ｙ’）のうちｘ’を求める。第２演算回路２２には、係数情報ＣＦ１として、上式（１）の係数ａ１～ａ６が入力される。第２演算回路２２は、第１～第５項演算回路ＡＣ１～ＡＣ５と、加算回路ＡＤＤＣとを含む。第１～第５項演算回路ＡＣ１～ＡＣ５は、それぞれ個別のハードウェア乗算器である。

第１項演算回路ＡＣ１は、係数ａ１とｘ^２を乗算して第１項ａ１×ｘ^２を求める。第２項演算回路ＡＣ２は、係数ａ２とｙ^２を乗算して第２項ａ２×ｙ^２を求める。第３項演算回路ＡＣ３は、係数ａ３とｘｙを乗算して第３項ａ３×ｘｙを求める。第４項演算回路ＡＣ４は、係数ａ４とｘを乗算して第４項ａ４×ｘを求める。第５項演算回路ＡＣ５は、係数ａ５とｙを乗算して第５項ａ５×ｙを求める。加算回路ＡＤＤＣは、第１～第５項と、第６項である係数ａ６とを加算し、その結果をｘ’として出力する。これにより上式（１）のｘ’の演算が実現される。

なお第１演算回路２１及び第２演算回路２２の構成は図３に限定されない。例えば第１演算回路２１は３つの演算回路を含み、その３つの演算回路がパイプライン処理のようにしてｘ^２、ｙ^２、及びｘｙを演算してもよい。そして、第２演算回路２２は５つの演算回路を含み、その５つの演算回路がパイプライン処理のように第１～第５項を演算してもよい。

本実施形態によれば、第１演算回路２１が、ｘ^２、ｙ^２、及びｘｙを求める演算回路ＭＣ１～ＭＣ３を含み、第２演算回路２２が、第１～第５項を求める第１～第５項演算回路ＡＣ１～ＡＣ５を含む。これにより、各項を並列演算でき、リアルタイム処理に適した高速処理が可能となる。

なお、第２演算回路２２は第１～第ｎ項演算回路を含んでいればよい。第ｉ項演算回路は多項式の第ｉ項を演算する。ｎは２以上の整数であり、ｉは１以上ｎ以下の整数である。図３のように座標変換式が２次多項式である場合、ｎ＝５である。例えば上式（２）のように座標変換式が３次多項式である場合、ｎ＝９であってもよい。

図４は、マッピング処理回路３０の詳細構成例である。マッピング処理回路３０は、メモリー制御回路３１と、第２座標カウンターである座標カウンター３２と、画像メモリー３３と、を含む。

座標カウンター３２は、画素クロックに基づく画素単位の座標である第２カウント座標ＣＸＹＢ１を出力する。第２カウント座標ＣＸＹＢ１を（ｘｂ，ｙｂ）とする。第１構成例では、（ｘｂ，ｙｂ）は画像ＩＭＧ１上の座標を指定するので、画像ＩＭＧ１と共にマッピング処理回路３０に入力される画素クロックが、座標カウンター３２に入力される。座標カウンター３２は、座標カウンター１０と同様のカウント動作によって、（ｘｂ，ｙｂ）をカウントする。

メモリー制御回路３１は、画像メモリー３３のアクセス制御を行う。画像メモリー３３は、画像ＩＭＧ１を一時的に記憶するバッファーメモリーであり、例えばＲＡＭ等の半導体メモリーである。メモリー制御回路３１は、第２カウント座標ＣＸＹＢ１に基づいて画像ＩＭＧ１を画像メモリー３３に書き込み、座標変換回路２０からの出力座標ＱＸＹ１に基づいて画像メモリー３３から画素値を読み出し、その画素値を画像ＩＭＧ２の画素値として出力する。具体的には、メモリー制御回路３１は、ライトアドレスコントローラー３４とリードアドレスコントローラー３５とを含む。

ライトアドレスコントローラー３４は、第２カウント座標ＣＸＹＢ１である（ｘｂ，ｙｂ）を書き込みアドレスＡＤＷＲにデコードし、画像ＩＭＧ１の（ｘｂ，ｙｂ）における画素値を、画像メモリー３３のアドレスＡＤＷＲに書き込む。これが繰り返されることで、画像ＩＭＧ１が画像メモリー３３に書き込まれる。

リードアドレスコントローラー３５は、出力座標ＱＸＹ１である（ｘ’，ｙ’）を読み出しアドレスＡＤＲＤにデコードし、画像メモリー３３のアドレスＡＤＲＤから画素値を読み出す。これは、画像ＩＭＧ１の（ｘ’，ｙ’）における画素値を読み出すことに相当する。リードアドレスコントローラー３５は、読み出した画素値を、画像ＩＭＧ２の（ｘ，ｙ）における画素値として出力する。これが繰り返されることで、マッピング処理回路３０から画像ＩＭＧ２が出力される。

以上のマッピング処理では、画像ＩＭＧ２の（ｘ，ｙ）における画素値が、画像ＩＭＧ１の（ｘ’，ｙ’）における画素値から取得されている。即ち、マッピング処理回路３０は、図２で説明したインバースワープエンジンとして動作している。

２．第２構成例
図５は、回路装置１００の第２構成例である。図６は、第２構成例における回路装置１００の動作を説明する図である。

第２構成例では、回路装置１００がフォワードワープエンジンである場合を説明する。フォワードワープエンジンとは、フォワードワープの機能を有するワープエンジンである。フォワードワープとは、ワープエンジンの入力画像の各画素を、出力画像における任意の位置の画素から求める変換である。図６に示すように、回路装置１００は、入力画像である画像ＩＭＧ１における座標（ｘ’，ｙ’）を、出力画像である画像ＩＭＧ２における座標（ｘ，ｙ）に変換し、その座標に基づいてマッピング処理を行うことでフォワードワープを実現する。

図５に示すように、回路装置１００は、座標カウンター１０と座標変換回路２０とマッピング処理回路３０とを含む。

第２構成例では、座標カウンター１０は、第１カウント座標である（ｘ’，ｙ’）を入力座標ＩＸＹ１として座標変換回路２０に出力する。（ｘ’，ｙ’）は画像ＩＭＧ１上の座標に対応するので、画像ＩＭＧ１と共にマッピング処理回路３０に入力される画素クロックが、座標カウンター１０に入力される。

座標変換回路２０は、入力座標ＩＸＹ１から出力座標ＱＸＹ１への座標変換を行う。第２構成例では、出力座標ＱＸＹ１は、画像ＩＭＧ２上の座標に対応した座標（ｘ，ｙ）である。下式（３）に、多項式が２次である場合の座標変換式を示す。下式（３）は、上式（１）の逆座標変換に相当している。

座標変換回路２０は、係数情報ＣＦ１に基づいて上式（３）の演算処理を行う。第２構成例において、係数情報ＣＦ１は、上式（３）の係数ｃ１～ｃ６、ｄ１～ｄ６の情報である。座標変換回路２０の構成は、図３で説明した第１構成例と同様である。但し、第２構成例では、入力座標として（ｘ’，ｙ’）が第１演算回路２１及び第２演算回路２２に入力され、係数ｃ１～ｃ６が第２演算回路２２に入力され、出力座標としてｘが第２演算回路２２から出力される。

マッピング処理回路３０は、画像ＩＭＧ１における座標（ｘ’，ｙ’）の画素値を、画像ＩＭＧ２における座標（ｘ，ｙ）に移動させる。（ｘ’，ｙ’）が出力座標ＱＸＹ１であり、（ｘ，ｙ）が入力座標ＩＸＹ１である。マッピング処理回路３０は、メモリー制御回路３１と座標カウンター３２と画像メモリー３３とを含む。

座標カウンター３２は、第２カウント座標ＣＸＹＢ１として（ｘｂ，ｙｂ）を出力する。第２構成例では、（ｘｂ，ｙｂ）は画像ＩＭＧ２上の座標を指定するので、マッピング処理回路３０が画像ＩＭＧ２を処理する際に用いる画素クロックが、座標カウンター３２に入力される。

メモリー制御回路３１は、座標変換回路２０からの出力座標ＱＸＹ１に基づいて画像ＩＭＧ１を画像メモリー３３に書き込み、第２カウント座標ＣＸＹＢ１に基づいて画像メモリー３３から画素値を読み出し、その画素値を画像ＩＭＧ２の画素値として出力する。

具体的には、ライトアドレスコントローラー３４は、出力座標ＱＸＹ１である（ｘ，ｙ）を書き込みアドレスＡＤＷＲにデコードし、画像ＩＭＧ１の（ｘ’，ｙ’）における画素値を、画像メモリー３３のアドレスＡＤＷＲに書き込む。これは、画像ＩＭＧ１の（ｘ’，ｙ’）における画素値を、座標（ｘ，ｙ）に移動させることに相当する。即ち、画像メモリー３３に書き込まれた画像ＩＭＧ１は、歪み補正によって変形された画像となっている。

リードアドレスコントローラー３５は、第２カウント座標ＣＸＹＢ１である（ｘｂ，ｙｂ）を読み出しアドレスＡＤＲＤにデコードし、画像メモリー３３のアドレスＡＤＲＤから画素値を読み出す。リードアドレスコントローラー３５は、読み出した画素値を、画像ＩＭＧ２の（ｘ，ｙ）における画素値として出力する。これが繰り返されることで、マッピング処理回路３０から画像ＩＭＧ２が出力される。

以上のマッピング処理では、画像ＩＭＧ１の（ｘ’，ｙ’）における画素値が、画像ＩＭＧ２の（ｘ，ｙ）の画素値に移動されている。即ち、マッピング処理回路３０は、図６で説明したフォワードワープエンジンとして動作している。

３．第３構成例
第３構成例では、回路装置１００は、表示画像の歪み補正に加えて回転補正を行う。まず、図７を用いて、ヘッドアップディスプレイの取り付け公差と回転補正との関係を説明する。なお図７ではヘッドアップディスプレイが自動車のダッシュボードに設置される場合を例に説明するが、ヘッドアップディスプレイの設置場所はこれに限定されない。また図７ではヘッドアップディスプレイの表示部ＤＳＰを平面で示しているが、実際には曲面ディスプレイである。

図７に示す方向ＤＺは、ヘッドアップディスプレイの表示部ＤＳＰに直交する方向である。具体的には、曲面である表示部ＤＳＰのいずれかの位置において、方向ＤＺと表示部ＤＳＰとが直交する。例えば表示部ＤＳＰの中央において方向ＤＺと表示部ＤＳＰとが直交する。方向ＤＸは方向ＤＺに直交する方向であり、方向ＤＹは方向ＤＸ及び方向ＤＺに直交する方向である。方向ＤＸは水平方向に相当する。即ち、自動車が水平な姿勢であるときに方向ＤＸは水平面に平行である。ヘッドアップディスプレイが自動車のダッシュボードに垂直に設置される場合、方向ＤＹは垂直方向に相当し、方向ＤＹは水平面に垂直である。但し、方向ＤＹは垂直方向に限定されず、方向ＤＹは水平面に対して傾いてもよい。ヘッドアップディスプレイが奥行き方向に角度θＸだけ傾斜してダッシュボードに設置される場合、方向ＤＹは水平面に対して角度θＸだけ傾く。

回転ＲＺは、方向ＤＺに平行な軸を回転軸とする表示部ＤＳＰの回転を示す。ヘッドアップディスプレイをダッシュボードに取り付ける際の公差によって、回転ＲＺの回転角度にばらつきが生じる。公差がゼロであるときの回転角度を０度とし、時計回りの回転を正とし、反時計回りの回転を負とする。表示部ＤＳＰの回転ＲＺが正の回転角度であるとき、ユーザーから見て表示画像が時計回りに回転することになる。回路装置１００は、画像を負方向、即ち反時計回りに回転処理する。これにより、表示部ＤＳＰが公差により傾いていたとしても、ユーザーから見て傾いていない画像を表示させることができる。

図８は、回路装置１００の第３構成例である。図９は、第３構成例における回路装置１００の動作を説明する図である。

第３構成例では、回路装置１００がインバースワープエンジンである場合を説明する。図９に示すように、回路装置１００は、出力画像である画像ＩＭＧ２における座標（ｘａ，ｙａ）を回転変換し、回転変換後の座標（ｘ，ｙ）を、入力画像である画像ＩＭＧ１における座標（ｘ’，ｙ’）に変換し、その座標に基づいてマッピング処理を行うことで画像回転及びインバースワープを実現する。

図８に示すように、回路装置１００は、座標カウンター１０と座標変換回路２０とマッピング処理回路３０と回転変換回路４０とを含む。なお、第１構成例と同様の構成及び動作については、適宜に説明を省略する。

座標カウンター１０は、第１カウント座標ＣＸＹＡ１として（ｘａ，ｙａ）を出力する。（ｘａ，ｙａ）は画像ＩＭＧ２上の座標に対応するので、マッピング処理回路３０が画像ＩＭＧ２を処理する際に用いる画素クロックが、座標カウンター１０に入力される。

回転変換回路４０は、第１カウント座標ＣＸＹＡ１に対して回転変換を行い、回転変換後の座標を入力座標ＩＸＹ１として座標変換回路２０に出力する。第３構成例では、入力座標ＩＸＹ１は（ｘ，ｙ）である。下式（４）に示すように、回転変換回路４０は、アフィン変換を用いて座標回転を行う。θは回転角度である。

回転変換回路４０は、回転角度θを示す角度情報ＲＴ１に基づいて、上式（４）により第１カウント座標ＣＸＹＡ１を入力座標ＩＸＹ１に変換する。例えば、回路装置１００は、角度情報ＲＴ１及び係数情報ＣＦ１を記憶する記憶部を含み、角度情報ＲＴ１は記憶部から回転変換回路４０に入力され、係数情報ＣＦ１は記憶部から座標変換回路２０に入力される。記憶部はレジスター又はメモリーである。メモリーはＲＡＭ又は不揮発性メモリー等の半導体メモリーである。角度情報ＲＴ１及び係数情報ＣＦ１は、例えば回路装置１００の起動時又はヘッドアップディスプレイの製造時において記憶部に書き込まれる。

座標変換回路２０は、係数情報ＣＦ１に基づいて入力座標ＩＸＹ１から出力座標ＱＸＹ１への座標変換を行う。第３構成例では、出力座標ＱＸＹ１は、画像ＩＭＧ１上の座標に対応した座標（ｘ’，ｙ’）である。座標変換式は第１構成例と同様である。

マッピング処理回路３０は、画像ＩＭＧ２における座標（ｘａ，ｙａ）の画素値を、画像ＩＭＧ１における座標（ｘ’，ｙ’）の画素値から求める。（ｘａ，ｙａ）は第１カウント座標ＣＸＹＡ１であり、（ｘ’，ｙ’）は出力座標ＱＸＹ１である。マッピング処理回路３０の構成及び動作は、第１構成例と同様である。

第３構成例のマッピング処理では、画像ＩＭＧ２の（ｘａ，ｙａ）における画素値が、画像ＩＭＧ１の（ｘ’，ｙ’）における画素値から取得される。即ち、マッピング処理回路３０は、図９で説明したインバースワープエンジンとして動作している。また、回転変換回路４０が座標回転を行うことで、マッピング処理において、画像回転を含むインバースワープが行われる。

４．第４構成例
図１０は、回路装置１００の第４構成例である。図１１は、第４構成例における回路装置１００の動作を説明する図である。

第４構成例では、回路装置１００がフォワードワープエンジンである場合を説明する。図１１に示すように、回路装置１００は、入力画像である画像ＩＭＧ１における座標（ｘａ，ｙａ）を回転変換し、回転変換後の座標（ｘ’，ｙ’）を、出力画像である画像ＩＭＧ２における座標（ｘ，ｙ）に変換し、その座標に基づいてマッピング処理を行うことで画像回転及びフォワードワープを実現する。

図１０に示すように、回路装置１００は、座標カウンター１０と座標変換回路２０とマッピング処理回路３０と回転変換回路４０とを含む。なお、第２構成例及び第３構成例と同様の構成及び動作については、適宜に説明を省略する。

座標カウンター１０は、第１カウント座標ＣＸＹＡ１として（ｘａ，ｙａ）を出力する。第４構成例では、（ｘａ，ｙａ）は画像ＩＭＧ１上の座標に対応するので、マッピング処理回路３０に画像ＩＭＧ１と共に入力される画素クロックが、座標カウンター１０に入力される。

回転変換回路４０は、第１カウント座標ＣＸＹＡ１に対して回転変換を行い、回転変換後の座標を入力座標ＩＸＹ１として座標変換回路２０に出力する。第４構成例では、入力座標ＩＸＹ１は（ｘ’，ｙ’）である。下式（５）に示すように、回転変換回路４０は、アフィン変換を用いて座標回転を行う。θは回転角度である。

回転変換回路４０は、回転角度θを示す角度情報ＲＴ１に基づいて、上式（５）により第１カウント座標ＣＸＹＡ１を入力座標ＩＸＹ１に変換する。

座標変換回路２０は、係数情報ＣＦ１に基づいて入力座標ＩＸＹ１から出力座標ＱＸＹ１への座標変換を行う。第４構成例では、出力座標ＱＸＹ１は、画像ＩＭＧ２上の座標に対応した座標（ｘ，ｙ）である。座標変換式は第２構成例と同様である。

マッピング処理回路３０は、画像ＩＭＧ１における座標（ｘａ，ｙａ）の画素値を、画像ＩＭＧ２における座標（ｘ，ｙ）に移動させる。（ｘａ，ｙａ）は第１カウント座標ＣＸＹＡ１であり、（ｘ，ｙ）は出力座標ＱＸＹ１である。マッピング処理回路３０の構成及び動作は、第２構成例と同様である。

第４構成例のマッピング処理では、画像ＩＭＧ１の（ｘａ，ｙａ）における画素値が、画像ＩＭＧ２の（ｘ，ｙ）の画素値に移動されている。即ち、マッピング処理回路３０は、図１１で説明したフォワードワープエンジンとして動作している。また、回転変換回路４０が座標回転を行うことで、マッピング処理において、画像回転を含むフォワードワープが行われる。

５．第５構成例
図１２は、回路装置１００の第５構成例である。第５構成例では、回路装置１００は画像ＩＭＧ２を逆マッピング処理することで画像ＩＭＧ３を生成し、画像ＩＭＧ１と画像ＩＭＧ３とを比較することで画像ＩＭＧ２のエラーを検出する。

回路装置１００は、インターフェース１１０と、記憶部１３３と、画像処理回路１３５と、インターフェース１４０と、比較回路１４５と、エラー検出回路１５０と、記憶部１６０と、レジスター回路１７０と、インターフェース１９０と、を含む。

インターフェース１１０は、例えば処理装置２００等から回路装置１００に送信される画像データを受信する。インターフェース１１０は、受信した画像データを回路装置１００の内部で用いられる形式に変換し、その変換後の画像データを画像ＩＭＡ１として出力する。例えば、インターフェース１１０はＯｐｅｎＬＤＩ（Open LVDS Display Interface）であり、ＬＶＤＳ（Low Voltage Differential Signaling）で受信したシリアル信号を、ＲＧＢのパラレル信号に変換する。処理装置２００は、例えばＳｏＣ（System on a Chip）、ＭＣＵ（Micro Control Unit）、又はＣＰＵ（Central Processing Unit）である。

画像処理回路１３５は、ヘッドアップディスプレイの曲面ディスプレイが有する表面形状に合わせて画像をマッピングする第１処理回路１３１と、その逆マッピングを行う第２処理回路１３２と、を含む。第１処理回路１３１を第１ワープエンジンとも呼び、第２処理回路１３２を第２ワープエンジンとも呼ぶ。以下、第１処理回路１３１及び第２処理回路１３２が歪み補正と共に画像回転を行う例を説明するが、第１処理回路１３１及び第２処理回路１３２が歪み補正のみを行ってもよい。

なお、曲面ディスプレイとは、ヘッドアップディスプレイにおけるスクリーン又は表示パネルである。スクリーンを被投影体とも呼ぶ。曲面ディスプレイがスクリーンであるとき、ヘッドアップディスプレイは、画像ＩＭＡ２をスクリーンに投影する投影装置を含む。投影装置は、例えば液晶表示パネルと、その液晶表示パネルを駆動する表示ドライバーと、光源と、レンズとを含む。表示ドライバーは受信した画像データに基づいて液晶表示パネルに画像を表示させ、光源が液晶表示パネルに光を出力し、液晶表示パネルを通過した光がレンズによりスクリーンに投影される。スクリーンは、透明な物体であり、且つ投影された光を反射する反射面を有する。例えば、車載のヘッドアップディスプレイにおいて、スクリーンはダッシュボードに取り付けられた透明スクリーン、又は自動車のフロントガラスである。曲面ディスプレイが表示パネルであるとき、その表示パネルの表示画像がユーザーから直接に視認されるようにヘッドアップディスプレイが構成されており、ヘッドアップディスプレイは画像ＩＭＡ２を表示パネルに表示する。表示パネルは、例えば有機ＥＬパネルを用いた透明ディスプレイであり、その透明ディスプレイが曲面を有する。

第１処理回路１３１は、係数情報ＣＦ１を用いた第１マッピング処理と、角度情報ＲＴ１を用いた第１回転処理とを画像ＩＭＡ１に対して行い、処理後の画像ＩＭＡ２を出力する。画像ＩＭＡ１は第１画像であり、画像ＩＭＡ２は第２画像である。また、第１処理回路１３１は画像ＩＭＡ１から注目領域の画像ＩＭＡ１’を抽出する。注目領域をＲＯＩ（Region Of Interest）とも呼ぶ。なお画像ＩＭＡ１’は画像ＩＭＡ１全体であってもよい。以下では、画像ＩＭＡ１’が、画像ＩＭＡ１から抽出された注目領域の画像である場合を例に説明し、注目領域の画像ＩＭＡ’も第１画像と呼ぶこととする。

第２処理回路１３２は、係数情報ＣＦ２を用いた第２マッピング処理と、角度情報ＲＴ２を用いた第２回転処理とを画像ＩＭＡ２に対して行い、処理後の画像ＩＭＡ３を出力する。画像ＩＭＡ３は第３画像である。具体的には、第２処理回路１３２は画像ＩＭＡ２から注目領域の画像を抽出し、その画像に対して第２マッピング処理と第２回転処理とを行う。第２回転処理は、第１回転処理の逆回転処理である。画像ＩＭＡ３は、画像ＩＭＡ２から抽出された注目領域の画像が逆マッピング及び逆回転された画像となる。

インターフェース１４０は、画像ＩＭＡ２を回路装置１００の外部に出力する。回路装置１００の外部とは、例えばヘッドアップディスプレイの表示パネルを駆動する表示ドライバーである。例えば、インターフェース１４０はＬＶＤＳのインターフェースであり、画像処理回路１３５からのＲＧＢのパラレル信号をＬＶＤＳのシリアル信号に変換する。

記憶部１３３は第１記憶部である。第１処理回路１３１は、注目領域の画像ＩＭＡ１’を記憶部１３３に記憶させる。記憶部１６０はメモリーである。例えば、メモリーは、ＲＡＭ又は不揮発性メモリー等の半導体メモリーである。なお、記憶部１３３と記憶部１６０は、それぞれ個別のメモリーで構成されてもよいし、１つのメモリーで構成されてもよい。

比較回路１４５は、記憶部１３３に記憶された画像ＩＭＡ１’と、画像ＩＭＡ３との間の比較処理を行い、その比較結果を出力する。この比較結果は、画像ＩＭＡ２のエラーを検出するために用いられる。即ち、第１処理回路１３１が行う第１マッピング処理及び第１回転処理が正常であったか否かを検証するために用いられる。比較回路１４５は、画像ＩＭＡ１と画像ＩＭＡ３との間の類似度を示す指標を求める。指標は後述する形状指標又は視認性指標である。或いは、比較回路１４５は、ＳＳＤ（Sum of Squared Difference）、ＳＡＤ（Sum of Absolute Difference）又はＮＣＣ（Normalized Cross Correlation）等を指標として求めてもよい。

エラー検出回路１５０は、指標と閾値とを比較することで、第２画像ＩＭＡ２のエラー検出を行う。閾値は、画像ＩＭＡ１’と画像ＩＭＡ３がどの程度の類似度を有していれば許容できるかを示す閾値である。

画像処理回路１３５は、エラー検出回路１５０によりエラーが検出された場合、インターフェース１４０への画像ＩＭＡ２の出力を停止する。或いは、インターフェース１４０は、エラー検出回路１５０によりエラーが検出された場合、画像ＩＭＡ２の出力を停止する。インターフェース１４０は、エラー情報と共に画像ＩＭＡ２を出力し、そのエラー情報を受信した表示ドライバーが、エラー情報に基づく動作を行ってもよい。或いは、インターフェース１９０は、エラー情報を処理装置２００に出力し、そのエラー情報を受信した処理装置２００が、エラー情報に基づく動作を行ってもよい。エラー情報は、例えばエラー判定フラグ、或いは指標等である。エラー情報に基づく動作は、例えばヘッドアップディスプレイの表示停止等である。

インターフェース１９０は、回路装置１００と処理装置２００の回路間通信を行う。例えば、インターフェース１９０は、ＳＰＩ（Serial Peripheral Interface）方式やＩ２Ｃ方式等のシリアル通信インターフェースである。処理装置２００からの設定情報や制御情報は、例えばレジスター回路１７０に書き込まれ、回路装置１００は、その設定情報や制御情報に応じた動作を行う。

レジスター回路１７０は、インターフェース１９０を介して処理装置２００からアクセス可能に構成されている。レジスター回路１７０はエラー検出結果レジスター１７６と閾値レジスター１７８とを含む。

エラー検出結果レジスター１７６は、エラー検出回路１５０が出力したエラー検出結果を記憶する。エラー検出結果は、例えば、表示画像がエラーと判定されたか否かを示すエラー判定フラグである。処理装置２００は、インターフェース１９０を介してエラー検出結果レジスター１７６からエラー検出結果を読み出すことで、エラーが発生したか否かを判断できる。

閾値レジスター１７８には、処理装置２００からインターフェース１９０を介して閾値が設定される。エラー検出回路１５０は、指標と、閾値レジスター１７８に設定された閾値とを比較してエラー検出を行う。

記憶部１６０は第２記憶部である。記憶部１６０は、係数情報ＣＦ１、ＣＦ２と角度情報ＲＴ１、ＲＴ２とを記憶する。具体的には、処理装置２００がＣＦ１、ＣＦ２、ＲＴ１及びＲＴ２をインターフェース１９０に送信し、記憶部１６０は、インターフェース１９０が受信したＣＦ１、ＣＦ２、ＲＴ１及びＲＴ２を記憶する。画像処理回路１３５は、記憶部１６０から読み出したＣＦ１、ＣＦ２、ＲＴ１及びＲＴ２に基づいてマッピング処理及び回転処理を行う。記憶部１６０は、例えばメモリー又はレジスターである。例えば、メモリーは、ＲＡＭ又は不揮発性メモリー等の半導体メモリーである。

なお、画像処理回路１３５、比較回路１４５、及びエラー検出回路１５０はロジック回路である。画像処理回路１３５、比較回路１４５、及びエラー検出回路１５０は、個々の回路として構成されてもよいし、或いは自動配置配線等により一体化された回路として構成されてもよい。また、これらのロジック回路の一部又は全部が、ＤＳＰ（Digital Signal Processor）等のプロセッサーにより実現されてもよい。この場合、各回路の機能が記述されたプログラムや命令セットがメモリーに記憶され、そのプログラムや命令セットをプロセッサーが実行することで、各回路の機能が実現される。

図１２では回路装置１００がエラー検出回路１５０及びエラー検出結果レジスター１７６を含むが、回路装置１００がエラー検出回路１５０及びエラー検出結果レジスター１７６を含まなくてもよい。この場合、インターフェース１９０は、比較回路１４５が求めた指標を処理装置２００に出力し、その指標を受信した処理装置２００が、指標と閾値を比較することでエラー検出してもよい。処理装置２００は、エラーを検出したとき、ヘッドアップディスプレイの表示停止等のエラー対応動作を行ってもよい。

図１３は、第１処理回路１３１及び第２処理回路１３２の詳細構成例である。

第１処理回路１３１は、第１座標カウンターである座標カウンター１０と、第１回転変換回路である回転変換回路４０と、第１座標変換回路である座標変換回路２０と、第１マッピング処理回路であるマッピング処理回路３０と、を含む。これらの動作については第１～第４構成例で説明した通りである。なお第１処理回路１３１が歪み補正のみを行う場合には回転変換回路４０が省略されてもよい。

第２処理回路１３２は、第２座標カウンターである座標カウンター５０と、第２回転変換回路である回転変換回路８０と、第２座標変換回路である座標変換回路６０と、第２マッピング処理回路であるマッピング処理回路７０と、を含む。座標カウンター５０はカウント座標ＣＸＹＡ２を出力する。回転変換回路８０は、角度情報ＲＴ２に基づいてカウント座標ＣＸＹＡ２を入力座標ＩＸＹ２に回転変換する。座標変換回路６０は、係数情報ＣＦ２に基づいて、２次以上の多項式を用いた演算処理により入力座標ＩＸＹ２を出力座標ＱＸＹ２に座標変換する。マッピング処理回路７０は、出力座標ＱＸＹ２に基づいて画像ＩＭＡ２を画像ＩＭＡ３にマッピング処理する。これらの回路の詳細構成及び動作は、座標カウンター１０、回転変換回路４０、座標変換回路２０、及びマッピング処理回路３０と同様である。なお第２処理回路１３２が歪み補正のみを行う場合には回転変換回路８０が省略されてもよい。

なお第２処理回路１３２の構成は図１３に限定されない。例えば、第２マッピング処理における座標の対応を記述したマップテーブルが第２処理回路１３２に入力されてもよい。第２処理回路１３２は、マップテーブル及び角度情報ＲＴ２に基づいて第２マッピング処理及び第２回転処理を行ってもよい。

比較回路１４５が行う画像比較について説明する。

図１４はヘッドアップディスプレイに表示される画像ＩＭＧ２の一例である。図１４では、メーター画像ＤＩＭの上にアイコンＩＣＡが重ねられている。アイコンＩＣＡは、ある透過率でメーター画像ＤＩＭにブレンドされる。本実施形態において、回路装置１００は、アイコンＩＣＡが適切に表示されるか否かを検証する。この場合、図１４の点線矩形で示すように、アイコンＩＣＡを含む領域がＲＯＩに設定される。

図１５は、マッピング処理する前の画像ＩＭＧ１から抽出されたＲＯＩの画像ＩＭＧ１’である。ＲＯＩ内には、アイコンＩＣＡと、アイコンＩＣＡの背景画像であるメーター画像ＤＩＭとが含まれる。図１６は、画像ＩＭＧ２から抽出されたＲＯＩの画像ＩＭＧ２’が逆マッピング処理された画像ＩＭＧ３である。図１６には、アイコンＩＣＡが正しく表示されなかった例を示す。この場合、画像ＩＭＧ１’と画像ＩＭＧ３は背景画像のみ一致しており、アイコンＩＣＡ部分は異なっている。このため、比較結果である指標が示す類似度は低い。画像ＩＭＧ３においてもアイコンＩＣＡが正しく表示されている場合には、類似度は高くなる。類似度を示す指標は、連続的又は段階的な値をとることができる。エラー検出回路１５０は指標と閾値を比較するが、その閾値を調整することで、どの程度の類似度を許容するのかを調整可能である。

比較回路１４５は、画像ＩＭＧ１’と画像ＩＭＧ３の類似度を示す指標として、形状指標、又は視認性指標、又はその両方を求める。なお上述のように、比較回路１４５は、ＳＳＤ、ＳＡＤ又はＮＣＣ等を指標として求めてもよい。なお、類似度が高いほど指標が大きくなるか、類似度が高いほど指標が小さくなるかは、指標の算出手法によって異なる。閾値は、形状指標と視認性指標のそれぞれに対して設定される。

まず形状指標の第１算出手法を説明する。比較回路１４５は、色空間における画像ＩＭＧ１’と画像ＩＭＧ３の画像間距離を求める。色空間は例えばＲＧＢ又はＹＣｒＣｂである。具体的には、比較回路１４５は、色空間において、画像ＩＭＧ１’の画素と、その画素に対応する画像ＩＭＧ３の画素の距離の二乗値を求める。比較回路１４５は、その二乗値を画像内で積算し、その積算値を画像間距離とする。第１算出手法では、画像間距離が形状指標に相当する。

次に形状指標の第２算出手法を説明する。図１７に示すように、比較回路１４５は、画像ＩＭＧ１’のエッジを抽出することで、エッジ画像ＥＩＭＧ１’を求める。また比較回路１４５は、画像ＩＭＧ３のエッジを抽出することで、画像ＩＭＧ３のエッジ画像を求める。以下、画像ＩＭＧ３のエッジ画像をＥＩＭＧ３とする。比較回路１４５は、エッジ画像ＥＩＭＧ１’とエッジ画像ＥＩＭＧ３を比較する。具体的には、比較回路１４５は、ソーベルフィルター等を用いて画像ＩＭＡ１’と画像ＩＭＧ３からエッジを抽出し、エッジ画像ＥＩＭＧ１’とエッジ画像ＥＩＭＧ３の相関値を求める。第２算出手法では、エッジ画像の相関値が形状指標に相当する。

次に視認性指標の算出手法を説明する。ここでは色空間をＹＣｒＣｂとするが、色空間はＲＧＢ等であってもよい。比較回路１４５は、画像ＩＭＧ１’のＹチャンネルからヒストグラムを求める。同様に、比較回路１４５は、画像ＩＭＧ１’のＣｒチャンネル、Ｃｂチャンネルからヒストグラムを求め、画像ＩＭＧ３のＹチャンネル、Ｃｒチャンネル、Ｃｂチャンネルからヒストグラムを求める。

比較回路１４５は、Ｙチャンネルにおける画像ＩＭＧ１’と画像ＩＭＧ３のヒストグラムに対して相互相関演算を行う。相互相関演算は、２つのヒストグラムを遅延（lag）だけずらして相関値を求め、遅延を変化させながら相関値を求めていく演算である。遅延を変化させていき、２つのヒストグラムの相関値が高くなるところがあれば、その遅延にピークが立つことになる。ピークは複数立つ可能性がある。同様に、比較回路１４５は、Ｃｒチャンネル、Ｃｂチャンネルにおける画像ＩＭＧ１’と画像ＩＭＧ３のヒストグラムに対して相互相関演算を行う。

比較回路１４５は、全チャンネルの相互相関信号においてピークが立っている遅延値を調べ、その遅延値のうち最大の遅延値を求める。この最大の遅延値が視認性指標に相当する。アイコンと背景画像の色のコントラストが高い場合、最大の遅延値が大きくなるので、視認性指標はアイコンと背景画像の色のコントラストを示す。色のコントラストが高いほど視認性が高いと考えられるため、視認性指標が大きいほど類似度が高いと判断される。

以上に説明した形状指標、又は視認性指標、又はその両方を用いることで、ＲＯＩの画像ＩＭＧ１’とＩＭＧ３の類似度を判断できる。形状指標を用いた場合、画像ＩＭＧ１’と画像ＩＭＧ３が一致しているとき、類似度が最も高くなる。即ち、類似度を一致度合いと言い換えることもできる。例えばアイコンＩＣＡが回転して表示された場合には、アイコンＩＣＡが回転していない場合に比べて類似度が低下する。一方、視認性指標は色のコントラストを示すので、アイコンＩＣＡが回転した場合であっても類似度があまり変化しない。従って、アイコンＩＣＡが回転した場合等を許容するときには、視認性指標を用いればよい。また、形状指標と視認性指標は算出手法が異なるので、その両方を用いることによって、エラー検出の精度を向上できる。

６．電子機器、移動体
図１８は、本実施形態の回路装置を含む電子機器の構成例である。電子機器３００は、処理装置３１０、回路装置３２０、記憶装置３５０、操作装置３６０、通信装置３７０、ヘッドアップディスプレイ４００を含む。回路装置３２０は第１～第５構成例の回路装置１００に対応する。ヘッドアップディスプレイ４００は、表示ドライバー３３０、表示パネル３４０を含む。処理装置３１０は、例えばＭＣＵ等である。図１８の構成例では回路装置３２０は表示コントローラーに対応する。但し、本実施形態の回路装置１００は、表示コントローラーだけでなく、ヘッドアップディスプレイ用の表示画像を生成する回路装置であれば適用可能である。

処理装置３１０は、記憶装置３５０に記憶された画像データ、又は通信装置３７０が受信した画像データを回路装置３２０に転送する。回路装置３２０は、画像データに対する画像処理、表示タイミング制御、及び表示ドライバーに転送する画像データの生成等を行う。また回路装置３２０は、第５構成例で説明したように画像データのエラー検出を行ってもよい。表示ドライバー３３０は、回路装置３２０から転送された画像データと、回路装置３２０による表示タイミング制御に基づいて、表示パネル３４０を駆動し、画像を表示させる。表示パネル３４０は、例えば液晶表示パネル、或いはＥＬ表示パネル等である。記憶装置３５０は、例えばメモリー、或いはハードディスクドライブ、或いは光学ディスクドライブ等である。操作装置３６０は、電子機器３００をユーザーが操作するための装置であり、例えばボタンや、或いはタッチパネルや、或いはキーボード等である。通信装置３７０は、例えば有線通信を行う装置、或いは無線通信を行う装置である。有線通信は、例えばＬＡＮ、又はＵＳＢ等である。無線通信は、例えば無線ＬＡＮや、無線近接通信等である。

本実施形態の回路装置を含む電子機器としては、車載用の電子機器、工場設備等の表示端末、ロボットに搭載された表示装置、又は情報処理装置等の種々の機器を想定できる。車載用の電子機器は、例えばメーターパネル等である。情報処理装置は例えばＰＣ等である。

図１９は、本実施形態の回路装置３２０を含む移動体の例である。移動体は、本実施形態の回路装置３２０と、回路装置３２０に画像データを送信する処理装置３１０と、を含む。処理装置３１０は、回路装置３２０からのヘッドアップディスプレイ用表示画像のエラー検出結果に基づいてエラー対応処理を行ってもよい。移動体は、ヘッドアップディスプレイ４００と制御装置２０８とを含む。制御装置２０８はＥＣＵ（Electronic Control Unit）であり、ＥＣＵに回路装置３２０と処理装置３１０が組み込まれる。なお回路装置３２０はヘッドアップディスプレイ４００に組み込まれてもよい。本実施形態の回路装置３２０は、例えば、車、飛行機、バイク、自転車、或いは船舶等の種々の移動体に組み込むことができる。移動体は、例えばエンジンやモーター等の駆動機構、ハンドルや舵等の操舵機構、各種の電子機器を備えて、地上や空や海上を移動する機器又は装置である。図１９は移動体の具体例としての自動車２０６を概略的に示している。ヘッドアップディスプレイ４００は透明スクリーンを有し、その透明スクリーンは運転席とフロントガラスの間に設置される。或いは、ヘッドアップディスプレイは、フロントガラスを透明スクリーンとして用い、フロントガラスに画像を投影してもよい。ヘッドアップディスプレイ４００は、例えば自動車２０６のメーターパネルとして機能する。

以上に説明した本実施形態の回路装置は、座標変換回路とマッピング処理回路とを含む。座標変換回路は、入力座標から出力座標への座標変換を行う。マッピング処理回路は、入力される第１画像に対して、出力座標に基づくマッピング処理を行うことで、曲面ディスプレイに画像を表示するための表示パネルに表示される第２画像を生成する。座標変換回路は、座標変換を表す２次以上の多項式を用いた演算処理を行うことで、座標変換を行う。

多項式は乗算と加算の組み合わせで成り立っており、積分等の複雑な計算を含まない。このため、多項式を用いて座標変換を行うことで、積分等を含む計算を行う場合に比べて、演算時間が短縮される。また、多項式では、入力座標と出力座標とが１対１に対応する。この対応を用いてマッピング処理回路が１画素ずつマッピングすることで、１画面分の画像を構成することが可能である。このような逐次処理は、一旦テーブル等を作成してマッピング処理する場合に比べて、リアルタイム処理に適している。

また本実施形態では、座標変換回路は、多項式の係数情報と入力座標とが入力され、係数情報に基づく演算処理により入力座標から出力座標を求めてもよい。

多項式を用いた座標変換では、多項式の係数によって入力座標と出力座標の対応が決まる。即ち、曲面ディスプレイの形状に合わせた係数情報が座標変換回路に入力されることで、種々の曲面ディスプレイに適した歪み補正が実現される。また、座標変換回路は、入力された入力座標から出力座標を求めるので、上述したようにリアルタイム処理に適した１画素ずつの座標変換を行うことができる。

また本実施形態では、座標変換回路は、第１～第ｎ項演算回路と加算回路とを含んでもよい。第ｉ項演算回路は、係数情報に基づいて多項式の第１～第ｎ項の第ｉ項を演算してもよい。ｎは２以上の整数であり、ｉは１以上ｎ以下の整数である。加算回路は、第１～第ｎ項演算回路が出力する第１～第ｎ項を加算し、出力座標を出力してもよい。

このようにすれば、多項式の各項に対応した項演算回路が個別に設けられるので、各項の演算が並列処理される。これにより、座標変換を高速に処理することが可能となる。

また本実施形態では、座標変換回路は、第１演算回路と第２演算回路とを含んでもよい。第１演算回路は、入力座標を（ｘ，ｙ）としたとき、ｘ^２、ｙ^２、及びｘｙを求めてもよい。第２演算回路は、第１演算回路の演算結果と係数情報とに基づいて出力座標を求めてもよい。

このようにすれば、第１演算回路が、係数を乗算する前の項ｘ^２、ｙ^２、及びｘｙを演算し、第２演算回路が、そのｘ^２、ｙ^２、及びｘｙに対して係数を乗算することで、多項式の各項を演算し、求めた項を加算することで出力座標を出力できる。このように、多項式を用いることで、乗算と加算によって座標変換の演算を構成できる。

また本実施形態では、多項式は、第１～第６項として、ａ１×ｘ^２、ａ２×ｙ^２、ａ３×ｘｙ、ａ４×ｘ、ａ５×ｙ、及びａ６を含んでもよい。係数情報は、第１～第６係数として、ａ１、ａ２、ａ３、ａ４、ａ５、及びａ６の情報を含んでもよい。第２演算回路は、ａ１とｘ^２を乗算する第１項演算回路と、ａ２とｙ^２を乗算する第２項演算回路と、ａ３とｘｙを乗算する第３項演算回路と、ａ４とｘを乗算する第４項演算回路と、ａ５とｙを乗算する第５項演算回路と、加算回路と、を含んでもよい。加算回路は、第１～第５演算回路が出力する第１～第５項、及び第６項であるａ６を加算し、出力座標を出力してもよい。

このようにすれば、多項式の２次の項及び１次の項について、各項に対応した項演算回路が個別に設けられる。これにより、多項式の２次の項及び１次の項について、各項の演算が並列処理されるので、座標変換を高速に処理することが可能となる。

また本実施形態では、回路装置は第１座標カウンターを含んでもよい。第１座標カウンターは、画素クロックに基づく画素単位の座標である第１カウント座標を出力してもよい。座標変換回路は、第１カウント座標を入力座標として座標変換を行ってもよい。

本実施形態によれば、第１座標カウンターが画素クロックに基づいて１画素ずつ第１カウント座標を出力し、その第１カウント座標を座標変換回路が出力座標に変換する。これにより、画素クロックに従って１画素ずつ出力座標が出力されるので、マッピング処理回路が画素クロックに基づいて１画素ずつマッピング処理を行うことが可能となる。これにより、リアルタイム処理に適した歪み補正が実現される。

また本実施形態では、入力座標は、第１画像及び第２画像の一方の画像上の座標に対応した座標であってもよい。出力座標は、第１画像及び第２画像の他方の画像上の座標に対応した座標であってもよい。

マッピング処理回路がインバースワープを行う場合、入力座標は第２画像上の座標に対応し、出力座標は第１画像上の座標に対応する。マッピング処理回路がフォワードワープを行う場合、入力座標は第１画像上の座標に対応し、出力座標は第２画像上の座標に対応する。多項式を用いた演算処理において、インバースワープに対応した係数、或いはフォワードワープに対応した係数を用いることで、インバースワープ及びフォワードワープのいずれも実現可能である。

また本実施形態では、マッピング処理回路は、画素クロックに基づく画素単位の座標である第２カウント座標を出力する第２座標カウンターと、第１画像を記憶する画像メモリーと、画像メモリーのアクセス制御を行うメモリー制御回路と、を含んでもよい。メモリー制御回路は、第２カウント座標に基づいて第１画像を画像メモリーに書き込み、出力座標に基づいて画像メモリーから読み出した画素値を、第２画像の第１カウント座標における画素値として出力することで、マッピング処理を行ってもよい。又は、メモリー制御回路は、第１画像の第１カウント座標における画素値を出力座標における画素値として画像メモリーに書き込み、第２カウント座標に基づいて画像メモリーから読み出した画素値を、第２画像の第２カウント座標における画素値として出力することで、マッピング処理を行ってもよい。

前者のマッピング処理では、画像メモリーから第２画像が読み出される際に、第２画像の入力座標における画素値が、第１画像の出力座標における画素値から取得されている。これにより、インバースワープが実現される。後者のマッピング処理では、画像メモリーに第１画像が書き込まれる際に、第１画像の入力座標における画素値が、出力座標における画素値に移動されている。これにより、フォワードワープが実現される。

また本実施形態では、回路装置は回転変換回路を含んでもよい。回転変換回路は、座標の回転変換を行い、回転後座標を出力してもよい。座標変換回路は、回転後座標を入力座標として座標変換を行ってもよい。

このようにすれば、回転後座標である入力座標が出力座標に変換され、その出力座標に基づいてマッピング処理が行われる。これにより、曲面ディスプレイの取り付け誤差等に対応した画像回転と、曲面ディスプレイによる画像の歪みに対応した画像歪み補正とを、実現できる。

また本実施形態では、回路装置は第１座標カウンターを含んでもよい。第１座標カウンターは、画素クロックに基づく画素単位の座標である第１カウント座標を出力してもよい。回転変換回路は、第１カウント座標に対して回転変換を行うことで、回転後座標を求めてもよい。

本実施形態によれば、第１座標カウンターが画素クロックに基づいて１画素ずつ第１カウント座標を出力し、その第１カウント座標を回転変換回路が回転後座標に変換し、その回転後座標を座標変換回路が出力座標に変換する。これにより、画素クロックに従って１画素ずつ出力座標が出力されるので、マッピング処理回路が画素クロックに基づいて１画素ずつマッピング処理を行うことが可能となる。これにより、リアルタイム処理に適した回転補正及び歪み補正が実現される。

また本実施形態では、第１カウント座標は、第１画像及び第２画像の一方の画像上の座標を指定する座標であってもよい。出力座標は、第１画像及び第２画像の他方の画像上の座標を指定する座標であってもよい。

マッピング処理回路がインバースワープを行う場合、第１カウント座標は第２画像上の座標に対応し、出力座標は第１画像上の座標に対応する。マッピング処理回路がフォワードワープを行う場合、第１カウント座標は第１画像上の座標に対応し、出力座標は第２画像上の座標に対応する。多項式を用いた演算処理において、インバースワープに対応した係数、或いはフォワードワープに対応した係数を用いることで、インバースワープ及びフォワードワープのいずれも実現可能である。また回転変換回路が第１カウント座標を回転変換するので、第１画像が第２画像にマッピング処理される際に歪み補正と画像回転が同時に行われることになる。

また本実施形態では、マッピング処理回路は、画素クロックに基づく画素単位の座標である第２カウント座標を出力する第２座標カウンターと、第１画像を記憶する画像メモリーと、画像メモリーのアクセス制御を行うメモリー制御回路と、を含んでもよい。メモリー制御回路は、第２カウント座標に基づいて第１画像を画像メモリーに書き込み、出力座標に基づいて画像メモリーから読み出した画素値を、第２画像の第１カウント座標における画素値として出力することで、マッピング処理を行ってもよい。又は、メモリー制御回路は、第１画像の第１カウント座標における画素値を出力座標における画素値として画像メモリーに書き込み、第２カウント座標に基づいて画像メモリーから読み出した画素値を、第２画像の第２カウント座標における画素値として出力することで、マッピング処理を行ってもよい。

前者のマッピング処理では、画像メモリーから第２画像が読み出される際に、第２画像の第１カウント座標における画素値が、第１画像の出力座標における画素値から取得されている。これにより、画像回転及び歪み補正を含んだインバースワープが実現される。後者のマッピング処理では、画像メモリーに第１画像が書き込まれる際に、第１画像の第１カウント座標における画素値が、出力座標における画素値に移動されている。これにより、画像回転及び歪み補正を含んだフォワードワープが実現される。

また本実施形態では、多項式は、ａ１×ｘ^２＋ａ２×ｙ^２＋ａ３×ｘｙ＋ａ４×ｘ＋ａ５×ｙ＋ａ６であってもよい。

このようにすれば、２次多項式を用いた演算処理により座標変換が行われる。２次多項式の各項は、最大で２回の乗算しか含まない。このため、２次多項式を用いた座標変換は、より高次の多項式を用いる場合に比べて演算負荷が小さくなり、リアルタイム処理に適している。

また本実施形態では、回路装置は第２マッピング処理回路と比較回路とを含んでもよい。第２マッピング処理回路は、マッピング処理の逆マッピング処理である第２マッピング処理を第２画像に対して行うことで、第３画像を生成してもよい。比較回路は、第１画像と第３画像との比較を行い、比較の結果を、第２画像のエラー検出を行うための情報として出力してもよい。

このようにすれば、回路装置が、ヘッドアップディスプレイに表示するために歪み補正された画像が適切であるか検証できる。或いは、エラー検出情報が回路装置に外部に出力される場合には、そのエラー検出情報を受け取る外部装置が、上記検証を実施できる。マッピング処理回路が第１画像を第２画像にマッピングし、第２マッピング処理回路が第２画像を第３画像に逆マッピングするので、第２画像が正常である場合には第３画像が第１画像と同じ画像に戻るはずである。比較回路は、その第３画像と第１画像を比較することで、第２画像のエラー検出を行うための情報を出力できる。

また本実施形態の電子機器は、上記のいずれかに記載された回路装置を含む。

また本実施形態の移動体は、上記のいずれかに記載された回路装置を含む。

なお、上記のように本実施形態について詳細に説明したが、本開示の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本開示の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また本実施形態及び変形例の全ての組み合わせも、本開示の範囲に含まれる。また回路装置、ヘッドアップディスプレイ、電子機器及び移動体の構成及び動作等も、本実施形態で説明したものに限定されず、種々の変形実施が可能である。

１０…座標カウンター、２０…座標変換回路、２１…第１演算回路、２２…第２演算回路、３０…マッピング処理回路、３１…メモリー制御回路、３２…座標カウンター、３３…画像メモリー、３４…ライトアドレスコントローラー、３５…リードアドレスコントローラー、４０…回転変換回路、５０…座標カウンター、６０…座標変換回路、７０…マッピング処理回路、８０…回転変換回路、１００…回路装置、１１０…インターフェース、１３１…第１処理回路、１３２…第２処理回路、１３３…記憶部、１３５…画像処理回路、１４０…インターフェース、１４５…比較回路、１５０…エラー検出回路、１６０…記憶部、１７０…レジスター回路、１７６…エラー検出結果レジスター、１７８…閾値レジスター、１９０…インターフェース、２００…処理装置、２０６…自動車、２０８…制御装置、３００…電子機器、３１０…処理装置、３２０…回路装置、３３０…表示ドライバー、３４０…表示パネル、３５０…記憶装置、３６０…操作装置、３７０…通信装置、４００…ヘッドアップディスプレイ、ＡＣ１～ＡＣ５…第１～第５項演算回路、ＡＤＤＣ…加算回路、ＡＤＲＤ…読み出しアドレス、ＡＤＷＲ…書き込みアドレス、ＣＦ１…係数情報、ＣＸＹＡ１…第１カウント座標、ＣＸＹＢ１…第２カウント座標、ＩＭＡ１，ＩＭＧ１…第１画像、ＩＭＡ２，ＩＭＧ２…第２画像、ＩＭＡ３…第３画像、ＩＸＹ１…入力座標、ＭＣ１…ｘ^２演算回路、ＭＣ２…ｙ^２演算回路、ＭＣ３…ｘｙ演算回路、ＱＸＹ１…出力座標、ＲＴ１…角度情報、ａ１～ａ６…係数

Claims (17)

1. 曲面ディスプレイを用いたヘッドアップディスプレイを設置場所に取り付けるときの取り付け誤差による表示の傾きを補正する座標の回転変換を行い、回転後座標を出力する回転変換回路と、
   前記回転後座標である入力座標から出力座標への座標変換を行う座標変換回路と、
   入力される第１画像に対して、前記出力座標に基づくマッピング処理を行うことで、前記曲面ディスプレイに画像を表示するための表示パネルに表示される第２画像を生成するマッピング処理回路と、
   を含み、
   前記座標変換回路は、
   前記入力座標が１画素分ずつ逐次に入力され、前記入力座標に対して１画素分ずつ逐次に、前記座標変換を表す２次以上の多項式を用いた演算処理を行うことで、前記出力座標を１画素分ずつ逐次に出力し、
   前記マッピング処理回路は、
   前記出力座標に基づいて１画素分ずつ逐次に前記マッピング処理を行うことを特徴とする回路装置。
2. 請求項１に記載された回路装置において、
   前記入力座標が（ｘ，ｙ）であり、ｘが０以上Ｎ以下の整数であり、ｙが０以上Ｍ以下の整数であり、Ｎ及びＭが２以上の整数であるとき、
   前記座標変換回路に逐次に入力される前記入力座標は、ｙ＝０において（０，０）、（１，０）、（２，０）、・・・、（Ｎ－１，０）の順であり、次に、ｙ＝１において（０，１）、（１，１）、（２，１）、・・・、（Ｎ－１，１）の順であり、以降ｙが順次に増加されて（Ｎ－１，Ｍ－１）まで繰り返されることを特徴とする回路装置。
3. 請求項１又は２に記載の回路装置において、
   前記座標変換回路は、
   前記多項式の係数情報と前記入力座標とが入力され、前記係数情報に基づく前記演算処理により前記入力座標から前記出力座標を求めることを特徴とする回路装置。
4. 請求項３に記載の回路装置において、
   前記座標変換回路は、
   第ｉ項演算回路が、前記係数情報に基づいて前記多項式の第１～第ｎ項の第ｉ項を演算する第１～第ｎ項演算回路（ｎは２以上の整数、ｉは１以上ｎ以下の整数）と、
   前記第１～第ｎ項演算回路が出力する前記第１～第ｎ項を加算し、前記出力座標を出力する加算回路と、
   を有することを特徴とする回路装置。
5. 請求項４に記載された回路装置において、
   前記第１～第ｎ項演算回路は、
   前記第１～第ｎ項を並列演算することを特徴とする回路装置。
6. 請求項３に記載の回路装置において、
   前記座標変換回路は、
   前記入力座標を（ｘ，ｙ）としたとき、ｘ^２、ｙ^２、及びｘｙを求める第１演算回路と、
   前記第１演算回路の演算結果と前記係数情報とに基づいて前記出力座標を求める第２演算回路と、
   を含むことを特徴とする回路装置。
7. 請求項６に記載の回路装置において、
   前記多項式は、第１～第６項として、ａ１×ｘ^２、ａ２×ｙ^２、ａ３×ｘｙ、ａ４×ｘ、ａ５×ｙ、及びａ６を含み、
   前記係数情報は、前記第１～第６係数として、ａ１、ａ２、ａ３、ａ４、ａ５、及びａ６の情報を含み、
   前記第２演算回路は、
   前記ａ１と前記ｘ^２を乗算する第１項演算回路と、
   前記ａ２と前記ｙ^２を乗算する第２項演算回路と、
   前記ａ３と前記ｘｙを乗算する第３項演算回路と、
   前記ａ４と前記ｘを乗算する第４項演算回路と、
   前記ａ５と前記ｙを乗算する第５項演算回路と、
   前記第１～第５演算回路が出力する前記第１～第５項、及び前記第６項であるａ６を加算し、前記出力座標を出力する加算回路と、
   を含むことを特徴とする回路装置。
8. 請求項１乃至７のいずれか一項に記載の回路装置において、
   画素クロックに基づく画素単位の座標である第１カウント座標を出力する第１座標カウンターを含み、
   前記座標変換回路は、
   前記第１カウント座標を前記入力座標として前記座標変換を行うことを特徴とする回路装置。
9. 請求項７に記載の回路装置において、
   前記入力座標は、前記第１画像及び前記第２画像の一方の画像上の座標に対応した座標であり、
   前記出力座標は、前記第１画像及び前記第２画像の他方の画像上の座標に対応した座標であることを特徴とする回路装置。
10. 請求項８に記載の回路装置において、
    前記マッピング処理回路は、
    前記画素クロックに基づく画素単位の座標である第２カウント座標を出力する第２座標カウンターと、
    前記第１画像を記憶する画像メモリーと、
    前記画像メモリーのアクセス制御を行うメモリー制御回路と、
    を含み、
    前記メモリー制御回路は、
    前記第２カウント座標に基づいて前記第１画像を前記画像メモリーに書き込み、前記出力座標に基づいて前記画像メモリーから読み出した画素値を、前記第２画像の前記第１カウント座標における画素値として出力することで、前記マッピング処理を行う、又は、
    前記第１画像の前記第１カウント座標における画素値を前記出力座標における画素値として前記画像メモリーに書き込み、前記第２カウント座標に基づいて前記画像メモリーから読み出した画素値を、前記第２画像の前記第２カウント座標における画素値として出力することで、前記マッピング処理を行うことを特徴とする回路装置。
11. 請求項１に記載の回路装置において、
    画素クロックに基づく画素単位の座標である第１カウント座標を出力する第１座標カウンターを含み、
    前記回転変換回路は、
    前記第１カウント座標に対して前記回転変換を行うことで、前記回転後座標を求めることを特徴とする回路装置。
12. 請求項１１に記載の回路装置において、
    前記第１カウント座標は、前記第１画像及び前記第２画像の一方の画像上の座標を指定する座標であり、
    前記出力座標は、前記第１画像及び前記第２画像の他方の画像上の座標を指定する座標であることを特徴とする回路装置。
13. 請求項１１に記載の回路装置において、
    前記マッピング処理回路は、
    前記画素クロックに基づく画素単位の座標である第２カウント座標を出力する第２座標カウンターと、
    前記第１画像を記憶する画像メモリーと、
    前記画像メモリーのアクセス制御を行うメモリー制御回路と、
    を含み、
    前記メモリー制御回路は、
    前記第２カウント座標に基づいて前記第１画像を前記画像メモリーに書き込み、前記出力座標に基づいて前記画像メモリーから読み出した画素値を、前記第２画像の前記第１カウント座標における画素値として出力することで、前記マッピング処理を行う、又は、
    前記第１画像の前記第１カウント座標における画素値を前記出力座標における画素値として前記画像メモリーに書き込み、前記第２カウント座標に基づいて前記画像メモリーから読み出した画素値を、前記第２画像の前記第２カウント座標における画素値として出力することで、前記マッピング処理を行うことを特徴とする回路装置。
14. 請求項１乃至１３のいずれか一項に記載の回路装置において、
    前記多項式は、ａ１×ｘ^２＋ａ２×ｙ^２＋ａ３×ｘｙ＋ａ４×ｘ＋ａ５×ｙ＋ａ６であることを特徴とする回路装置。
15. 請求項１乃至１３のいずれか一項に記載の回路装置において、
    前記マッピング処理の逆マッピング処理である第２マッピング処理を前記第２画像に対して行うことで、第３画像を生成する第２マッピング処理回路と、
    前記第１画像と前記第３画像との比較を行い、前記比較の結果を、前記第２画像のエラー検出を行うための情報として出力する比較回路と、
    を含むことを特徴とする回路装置。
16. 請求項１乃至１５のいずれか一項に記載の回路装置を含むことを特徴とする電子機器。
17. 請求項１乃至１５のいずれか一項に記載の回路装置を含むことを特徴とする移動体。
    

Images