JP7419721B2 - 回路装置、電子機器及び移動体 - Google Patents

Description

本発明は、回路装置、電子機器及び移動体等に関する。

透明スクリーン等に画像を表示することで、ユーザーの視界に情報を重ねて表示するヘッドアップディスプレイ（ＨＵＤ：Head Up Display）が知られている。特許文献１には、ヘッドアップディスプレイに出力される画像データを検証する手法が開示されている。特許文献１では、複数の入力画像データを統合し、その統合後の画像データにマッピング処理を行い、そのマッピング処理後の画像データをヘッドアップディスプレイに出力し、そのヘッドアップディスプレイに出力される画像データの妥当性を確かめる。

米国特許出願公開第２０１６／０３０７３４６号明細書

ヘッドアップディスプレイは例えば自動車のダッシュボード等に取り付けられるが、ダッシュボード等に対するヘッドアップディスプレイの取り付け角度には公差が生じる。ここでの取り付け角度は、視線を軸として画面が回転する方向の回転角度、即ちヘッドアップディスプレイの画面に交差する軸を回転軸とする回転角度である。ヘッドアップディスプレイの取り付け角度が変わると表示画像が傾くため、その表示画像の傾きに合わせて画像を回転することで表示画像の傾きをキャンセルする。特許文献１には、このような画像回転を行った際に画像データを検証する手法は開示されていない。

本発明の一態様は、入力された第１画像に対して第１マッピング処理及び第１回転処理を行うことで、ヘッドアップディスプレイ用の第２画像を生成し、前記第１マッピング処理の逆マッピング処理である第２マッピング処理及び前記第１回転処理の逆回転処理である第２回転処理を前記第２画像に対して行うことで、第３画像を生成する画像処理回路と、前記第１画像と前記第３画像との比較を行い、前記比較の結果を、前記第２画像のエラー検出を行うための情報として出力する比較回路と、を含む回路装置に関係する。

本実施形態の回路装置の構成例。 本実施形態の回路装置の第１動作例を説明する図。 ヘッドアップディスプレイの取り付け公差と画像回転との関係を説明する図。 第１回転処理の詳細を説明する図。 本実施形態の回路装置の第２動作例を説明する図。 本実施形態の回路装置の第３動作例を説明する図。 本実施形態の回路装置の第４動作例を説明する図。 マップテーブルを補間する処理を説明する図。 各フレームで画像の１色成分ずつ比較する場合の処理を説明する図。 ヘッドアップディスプレイに表示される画像の一例。 マッピング処理する前の画像から抽出されたＲＯＩの画像。 ヘッドアップディスプレイに表示される画像から抽出されたＲＯＩの画像が逆マッピング処理された画像。 エッジ画像の例。 電子機器の構成例。 移動体の例。

以下、本開示の好適な実施の形態について詳細に説明する。なお以下に説明する本実施形態は特許請求の範囲に記載された内容を不当に限定するものではなく、本実施形態で説明される構成の全てが必須構成要件であるとは限らない。

１．回路装置
図１は、本実施形態の回路装置１００の構成例である。回路装置１００は、ヘッドアップディスプレイの画像表示を制御するヘッドアップディスプレイコントローラーである。回路装置１００は、ＩＣ（Integrated Circuit）と呼ばれる集積回路装置である。回路装置１００は、半導体プロセスにより製造されるＩＣであり、半導体基板上に回路素子が形成された半導体チップである。

回路装置１００は、インターフェース１１０と、記憶部１３３と、画像処理回路１３５と、インターフェース１４０と、比較回路１４５と、エラー検出回路１５０と、記憶部１６０と、レジスター回路１７０と、インターフェース１９０と、を含む。

インターフェース１１０は、例えば処理装置２００等から回路装置１００に送信される画像データを受信する。インターフェース１１０は、受信した画像データを回路装置１００の内部で用いられる形式に変換し、その変換後の画像データを画像ＩＭＡ１として出力する。画像ＩＭＡ１は第１画像である。例えば、インターフェース１１０はＯｐｅｎＬＤＩ（Open LVDS Display Interface）であり、ＬＶＤＳ（Low Voltage Differential Signaling）で受信したシリアル信号を、ＲＧＢのパラレル信号に変換する。処理装置２００は、例えばＳｏＣ（System on a Chip）、ＭＣＵ（Micro Control Unit）、又はＣＰＵ（Central Processing Unit）である。

画像処理回路１３５は、ヘッドアップディスプレイの表示部の表面形状に合わせて画像をマッピングする第１処理回路１３１と、その逆マッピングを行う第２処理回路１３２と、を含む。第１処理回路１３１を第１ワープエンジンとも呼び、第２処理回路１３２を第２ワープエンジンとも呼ぶ。

具体的には、第１処理回路１３１は、第１マッピング情報ＭＰＡ１を用いた第１マッピング処理と、第１回転情報ＲＴ１を用いた第１回転処理とを画像ＩＭＡ１に対して行い、処理後の画像ＩＭＡ２を出力する。画像ＩＭＡ２は第２画像である。また第１処理回路１３１は画像ＩＭＡ１’を抽出する。画像ＩＭＡ１’は、画像ＩＭＡ１、又は画像ＩＭＡ１から抽出された注目領域の画像である。なお、画像ＩＭＡ１、及び画像ＩＭＡ１の一部である画像ＩＭＡ’のいずれも第１画像と呼ぶこととする。注目領域をＲＯＩ（Region Of Interest）とも呼ぶ。

なお、表示部とは、ヘッドアップディスプレイにおけるスクリーン又はディスプレイである。スクリーンを被投影体とも呼ぶ。表示部がスクリーンであるとき、ヘッドアップディスプレイは、画像ＩＭＡ２をスクリーンに投影する投影装置を含む。投影装置は、例えば液晶表示パネルと、その液晶表示パネルを駆動する表示ドライバーと、光源と、レンズとを含む。表示ドライバーは受信した画像データに基づいて液晶表示パネルに画像を表示させ、光源が液晶表示パネルに光を出力し、液晶表示パネルを通過した光がレンズによりスクリーンに投影される。スクリーンは、透明な物体であり、且つ投影された光を反射する反射面を有する。例えば、車載のヘッドアップディスプレイにおいて、スクリーンはダッシュボードに取り付けられた透明スクリーン、又は自動車のフロントガラスである。表示部がディスプレイであるとき、ヘッドアップディスプレイは画像ＩＭＡ２をディスプレイに表示する。ディスプレイは、例えば有機ＥＬパネルを用いた透明ディスプレイである。

第２処理回路１３２は、第２マッピング情報ＭＰＡ２を用いた第２マッピング処理と、第２回転情報ＲＴ２を用いた第２回転処理とを画像ＩＭＡ２に対して行い、処理後の画像ＩＭＡ３を出力する。画像ＩＭＡ３は第３画像である。画像ＩＭＡ１’が画像ＩＭＡ１であるとき、画像ＩＭＡ３は、画像ＩＭＡ２全体が逆マッピングされた画像である。画像ＩＭＡ１’が、画像ＩＭＡ１から抽出された注目領域の画像であるとき、画像ＩＭＡ３は、画像ＩＭＡ２から抽出された注目領域の画像が逆マッピングされた画像である。なお以下では、画像ＩＭＡ１’が、画像ＩＭＡ１から抽出された注目領域の画像である場合を例に説明する。

インターフェース１４０は、画像ＩＭＡ２を回路装置１００の外部に出力する。回路装置１００の外部とは、例えばヘッドアップディスプレイの表示パネルを駆動する表示ドライバーである。例えば、インターフェース１４０はＬＶＤＳのインターフェースであり、画像処理回路１３５からのＲＧＢのパラレル信号をＬＶＤＳのシリアル信号に変換する。

記憶部１３３は第１記憶部である。第１処理回路１３１は、画像ＩＭＡ１から抽出した注目領域の画像ＩＭＡ１’を記憶部１３３に記憶させる。記憶部１６０はメモリーである。例えば、メモリーは、ＲＡＭ又は不揮発性メモリー等の半導体メモリーである。なお、記憶部１３３と記憶部１６０は、それぞれ個別のメモリーで構成されてもよいし、１つのメモリーで構成されてもよい。

比較回路１４５は、記憶部１３３に記憶された画像ＩＭＡ１’と、画像ＩＭＡ３との間の比較処理を行い、その比較結果を出力する。この比較結果は、画像ＩＭＡ２のエラーを検出するために用いられる。即ち、第１処理回路１３１が行う第１マッピング処理及び第１回転処理が正常であったか否かを検証するために用いられる。比較回路１４５は、画像ＩＭＡ１と画像ＩＭＡ３との間の類似度を示す指標を求める。指標は後述する形状指標又は視認性指標である。或いは、比較回路１４５は、ＳＳＤ（Sum of Squared Difference）、ＳＡＤ（Sum of Absolute Difference）又はＮＣＣ（Normalized Cross Correlation）等を指標として求めてもよい。

エラー検出回路１５０は、指標と閾値とを比較することで、第２画像ＩＭＡ２のエラー検出を行う。閾値は、画像ＩＭＡ１’と画像ＩＭＡ３がどの程度の類似度を有していれば許容できるかを示す閾値である。

画像処理回路１３５は、エラー検出回路１５０によりエラーが検出された場合、インターフェース１４０への画像ＩＭＡ２の出力を停止する。或いは、インターフェース１４０は、エラー検出回路１５０によりエラーが検出された場合、画像ＩＭＡ２の出力を停止する。インターフェース１４０は、エラー情報と共に画像ＩＭＡ２を出力し、そのエラー情報を受信した表示ドライバーが、エラー情報に基づく動作を行ってもよい。或いは、インターフェース１９０は、エラー情報を処理装置２００に出力し、そのエラー情報を受信した処理装置２００が、エラー情報に基づく動作を行ってもよい。エラー情報は、例えばエラー判定フラグ、或いは指標等である。エラー情報に基づく動作は、例えばヘッドアップディスプレイの表示停止等である。

インターフェース１９０は、回路装置１００と処理装置２００の回路間通信を行う。例えば、インターフェース１９０は、ＳＰＩ（Serial Peripheral Interface）方式やＩ２Ｃ方式等のシリアル通信インターフェースである。処理装置２００からの設定情報や制御情報は、例えばレジスター回路１７０に書き込まれ、回路装置１００は、その設定情報や制御情報に応じた動作を行う。

レジスター回路１７０は、インターフェース１９０を介して処理装置２００からアクセス可能に構成されている。レジスター回路１７０はエラー検出結果レジスター１７６と閾値レジスター１７８とを含む。

エラー検出結果レジスター１７６は、エラー検出回路１５０が出力したエラー検出結果を記憶する。エラー検出結果は、例えば、表示画像がエラーと判定されたか否かを示すエラー判定フラグである。処理装置２００は、インターフェース１９０を介してエラー検出結果レジスター１７６からエラー検出結果を読み出すことで、エラーが発生したか否かを判断できる。

閾値レジスター１７８には、処理装置２００からインターフェース１９０を介して閾値が設定される。エラー検出回路１５０は、指標と、閾値レジスター１７８に設定された閾値とを比較してエラー検出を行う。

記憶部１６０は第２記憶部である。記憶部１６０は、第１マッピング情報ＭＰＡ１と第２マッピング情報ＭＰＡ２と第１回転情報ＲＴ１と第２回転情報ＲＴ２とを記憶する。具体的には、処理装置２００がＭＰＡ１、ＭＰＡ２、ＲＴ１及びＲＴ２をインターフェース１９０に送信し、記憶部１６０は、インターフェース１９０が受信したＭＰＡ１、ＭＰＡ２、ＲＴ１及びＲＴ２を記憶する。画像処理回路１３５は、記憶部１６０から読み出したＭＰＡ１、ＭＰＡ２、ＲＴ１及びＲＴ２に基づいてマッピング処理及び回転処理を行う。記憶部１６０は、例えばメモリー又はレジスターである。例えば、メモリーは、ＲＡＭ又は不揮発性メモリー等の半導体メモリーである。

なお、画像処理回路１３５、比較回路１４５、及びエラー検出回路１５０はロジック回路である。画像処理回路１３５、比較回路１４５、及びエラー検出回路１５０は、個々の回路として構成されてもよいし、或いは自動配置配線等により一体化された回路として構成されてもよい。また、これらのロジック回路の一部又は全部が、ＤＳＰ（Digital Signal Processor）等のプロセッサーにより実現されてもよい。この場合、各回路の機能が記述されたプログラムや命令セットがメモリーに記憶され、そのプログラムや命令セットをプロセッサーが実行することで、各回路の機能が実現される。

図１では回路装置１００がエラー検出回路１５０及びエラー検出結果レジスター１７６を含むが、回路装置１００がエラー検出回路１５０及びエラー検出結果レジスター１７６を含まなくてもよい。この場合、インターフェース１９０は、比較回路１４５が求めた指標を処理装置２００に出力し、その指標を受信した処理装置２００が、指標と閾値を比較することでエラー検出してもよい。処理装置２００は、エラーを検出したとき、ヘッドアップディスプレイの表示停止等のエラー対応動作を行ってもよい。

図２は、本実施形態の回路装置１００の第１動作例を説明する図である。

第１処理回路１３１は、第１回転処理Ｓ１１において、第１回転情報ＲＴ１を用いて第１マッピング情報ＭＰＡ１を回転変換することでマッピング情報ＲＭＰＡ１を生成する。第１マッピング情報ＭＰＡ１は、ソース座標とターゲット座標が対応付けられたマップテーブルである。第１回転情報ＲＴ１は、座標系の回転変換を規定する情報である。第１処理回路１３１は、ソース座標又はターゲット座標を第１回転情報ＲＴ１に基づいて回転変換する。変換後のマップテーブルがマッピング情報ＲＭＰＡ１である。

第１処理回路１３１は、第１マッピング処理Ｓ１２において、マッピング情報ＲＭＰＡ１を用いて画像ＩＭＡ１を画像ＩＭＡ２にマッピングする。マッピング処理をワープ処理とも呼ぶ。回転変換されたマッピング情報ＲＭＰＡ１が用いられるので、マッピングと共に画像回転が行われることになる。

第１マッピング処理Ｓ１２は、画像ＩＭＡ１上の位置と表示部上の位置とを対応づける座標変換を行うことで、画像ＩＭＡ１を画像ＩＭＡ２に変換する。この座標変換は、マップテーブルにより定義される。第１処理回路１３１はフォワードワープエンジン又はインバースワープエンジンである。第１処理回路１３１がフォワードワープエンジンであるとき第１マッピング情報ＭＰＡ１はフォワードマップテーブルであり、第１処理回路１３１がインバースワープエンジンであるとき第１マッピング情報ＭＰＡ１はインバースマップテーブルである。なお、インバースワープエンジンをリバースワープエンジンとも呼び、インバースマップテーブルをリバースマップテーブルとも呼ぶ。

フォワードワープとは、ワープエンジンに対する入力画像の各画素を、出力画像における任意の位置に移動させる変換である。フォワードワープエンジンとは、フォワードワープの機能を有するワープエンジンである。フォワードマップテーブルとは、入力画像の各画素と、その各画素に対応した移動先座標とが対応付けられたテーブルである。或いは、フォワードマップテーブルとは、入力画像の各画素と、その各画素に対応した移動先座標への相対移動量とが対応付けられたテーブルである。インバースワープとは、ワープエンジンの出力画像の各画素を、入力画像における任意の位置の画素から求める変換である。インバースワープエンジンとは、インバースワープの機能を有するワープエンジンである。インバースマップテーブルとは、出力画像の各画素と、その各画素に対応した参照元座標とが対応付けられたテーブルである。或いは、インバースマップテーブルとは、出力画像の各画素と、その各画素に対応した参照元座標からの相対移動量とが対応付けられたテーブルである。

第１マッピング処理Ｓ１２は、ヘッドアップディスプレイの表示部に表示された画像がユーザーから見て歪んでいない状態に見えるように、画像ＩＭＡ１を変形する処理である。表示部が曲面を有する場合には、歪んでいない画像を表示部に表示させると、曲面のためにユーザーからは画像が歪んで見える。この歪みをキャンセルするように画像を変形する。或いは、画像を表示部に投影する際に画像が歪む場合があるが、同様に、歪みをキャンセルするように画像を変形する。このように、画像ＩＭＡ２は、歪んでいない画像ＩＭＡ１が変形されたものなので、歪んだ画像となっている。

第１回転処理Ｓ１１又は第１マッピング処理Ｓ１２に異常がある場合、画像ＩＭＡ１は正常に画像ＩＭＡ２に変換されない。このようなエラーを検出する際、変形された画像ＩＭＡ２と元の画像ＩＭＡ１とを単純に比較しても正確にエラー検出できないため、本実施形態では画像ＩＭＡ２を逆マッピングした後に画像比較を行う。この逆マッピングと画像比較について説明する。

第１処理回路１３１は、Ｓ１３に示すように、画像ＩＭＡ１からＲＯＩを抽出し、抽出後の画像ＩＭＡ１’を出力する。例えば、ヘッドアップディスプレイに表示させる画像のうち、表示が正常かを検証したい領域をＲＯＩとする。例えば車載ヘッドアップディスプレイにおいて、ＲＯＩは、警告灯等のアイコンを含む領域である。

第２処理回路１３２は、Ｓ２３に示すように、画像ＩＭＡ２からＲＯＩを抽出し、抽出後の画像ＩＭＡ２’を出力する。画像ＩＭＡ２におけるＲＯＩは、画像ＩＭＡ１におけるＲＯＩに相当する領域である。

第２処理回路１３２は、第２回転処理Ｓ２１において、第２回転情報ＲＴ２を用いて第２マッピング情報ＭＰＡ２を回転変換することでマッピング情報ＲＭＰＡ２を生成する。第２マッピング情報ＭＰＡ２は、ソース座標とターゲット座標が対応付けられたマップテーブルである。第２回転情報ＲＴ２は、第１回転情報ＲＴ１が規定する回転変換の逆回転変換を規定する情報である。即ち、第２回転情報ＲＴ２が規定する回転変換は、第１回転情報ＲＴ１が規定する回転変換に対して中心座標が同一であり、回転角度の絶対値が同一であり、回転方向が逆である。第２処理回路１３２は、ソース座標又はターゲット座標を第２回転情報ＲＴ２に基づいて回転変換する。変換後のマップテーブルがマッピング情報ＲＭＰＡ２である。

第２処理回路１３２は、第２マッピング処理Ｓ２２において、マッピング情報ＲＭＰＡ２を用いて画像ＩＭＡ２’を画像ＩＭＡ３にマッピングする。画像ＩＭＡ３は第３画像である。回転変換されたマッピング情報ＲＭＰＡ２が用いられるので、マッピングと共に画像回転が行われることになる。

第２マッピング処理Ｓ２２は、表示部上の位置と画像ＩＭＡ３上の位置とを対応づける座標変換を行うことで、画像ＩＭＡ２’を画像ＩＭＡ３に変換する。この座標変換はマップテーブルにより定義され、第１マッピング処理Ｓ１２における座標変換の逆変換となっている。第２処理回路１３２はフォワードワープエンジン又はインバースエンジンである。第２処理回路１３２がフォワードワープエンジンであるとき第２マッピング情報ＭＰＡ２はインバースマップテーブルであり、第２処理回路１３２がインバースワープエンジンであるとき第２マッピング情報ＭＰＡ２はフォワードマップテーブルである。

第２マッピング処理Ｓ２２は、ヘッドアップディスプレイの表示部に合わせて変形された画像を、歪んでいない画像に戻す処理である。第１処理回路１３１及び第２処理回路１３２が行う処理に異常が無い場合には、マッピング前の画像ＩＭＡ１’と、マッピング及び逆マッピング後の画像ＩＭＡ３とが同じ画像となるはずである。比較回路１４５は、画像ＩＭＡ１’と画像ＩＭＡ３の類似度を示す指標を求める。エラー検出回路１５０は、その指標が示す類似度が閾値以下である場合に、エラーが発生したと判断する。なお、画像ＩＭＡ１’と画像ＩＭＡ３が完全に一致していなくても、画像ＩＭＡ２の視認性に影響しない程度に画像ＩＭＡ１’と画像ＩＭＡ３が類似している場合には、エラー検出回路１５０は、エラーが発生していないと判断する。どの程度の類似度を許容するかは、指標と比較される閾値によって設定される。

なお、図２では第１処理回路１３１が第１回転情報ＲＴ１に基づいて第１マッピング情報ＭＰＡ１に回転処理を行い、処理後のマッピング情報ＲＭＰＡ１を用いて画像ＩＭＡ１をマッピング処理する場合を例に説明したが、回転処理及びマッピング処理はこれに限定されない。同様に、第２処理回路１３２が行う回転処理及びマッピング処理も図２に限定されない。例えば、第１処理回路１３１は、第１マッピング情報ＭＰＡ１を用いて第１画像ＩＭＡ１をマッピング処理し、処理後の画像を第１回転情報ＲＴ１に基づいて回転処理してもよい。第２処理回路１３２は、第２回転情報ＲＴ２に基づいて画像ＩＭＡ２’を回転処理し、処理後の画像を、第２マッピング情報ＭＰＡ２を用いてマッピング処理してもよい。

図３は、ヘッドアップディスプレイの取り付け公差と画像回転との関係を説明する図である。なお図３ではヘッドアップディスプレイが自動車のダッシュボードに設置される場合を例に説明するが、ヘッドアップディスプレイの設置場所はこれに限定されない。

図３に示す方向ＤＺは、ヘッドアップディスプレイの表示部ＤＳＰに直交する方向である。表示部ＤＳＰが曲面を有する場合には、表示部ＤＳＰのいずれかの位置において方向ＤＺと表示部ＤＳＰとが直交する。例えば表示部ＤＳＰの中央において方向ＤＺと表示部ＤＳＰとが直交する。方向ＤＸは方向ＤＺに直交する方向であり、方向ＤＹは方向ＤＸ及び方向ＤＺに直交する方向である。方向ＤＸは水平方向に相当する。即ち、自動車が水平な姿勢であるときに方向ＤＸは水平面に平行である。ヘッドアップディスプレイが自動車のダッシュボードに垂直に設置される場合、方向ＤＹは垂直方向に相当し、方向ＤＹは水平面に垂直である。但し、方向ＤＹは垂直方向に限定されず、方向ＤＹは水平面に対して傾いてもよい。即ち、ヘッドアップディスプレイが奥行き方向に傾斜してダッシュボードに設置されてもよい。

回転ＲＺは、方向ＤＺに平行な軸を回転軸とする表示部ＤＳＰの回転を示す。ヘッドアップディスプレイをダッシュボードに取り付ける際の公差によって、回転ＲＺの回転角度にばらつきが生じる。公差がゼロであるときの回転角度を０度とし、時計回りの回転を正とし、反時計回りの回転を負とする。表示部ＤＳＰの回転ＲＺが正の回転角度であるとき、ユーザーから見て表示画像が時計回りに回転することになる。第１処理回路１３１は、画像を負方向、即ち反時計回りに回転処理する。これにより、表示部ＤＳＰが公差により傾いていたとしても、ユーザーから見て傾いていない画像を表示させることができる。

なお、奥行き方向における表示部ＤＳＰの傾斜角度θＸについては、補間処理を後述する際に説明する。

図４は、第１回転処理の詳細を説明する図である。なお図４では第１処理回路１３１がフォワードワープエンジンである場合を例に説明する。

図４に示すように、マップテーブルはソース座標（ＸＳｉ，ＹＳｉ）とターゲット座標（ＸＴｉ，ＹＴｉ）を対応付けるテーブルである。ｉは１以上４以下の整数である。なお図４ではマップテーブルに４点の座標変換が定義されるが、マップテーブルは２以上の点の座標変換を定義していればよい。

第１処理回路１３１がフォワードワープエンジンである場合、マップテーブルはフォワードマップテーブルである。即ち、ソース座標（ＸＳｉ，ＹＳｉ）は画像ＩＭＡ１における位置を示し、ターゲット座標（ＸＴｉ，ＹＴｉ）は画像ＩＭＡ２における位置を示す。第１処理回路１３１は、第１回転処理において、マップテーブル内のターゲット座標（ＸＴｉ，ＹＴｉ）を回転変換する。即ち、画像ＩＭＡ２における位置を示す座標が回転変換される。なお、第１処理回路１３１がインバースマップエンジンである場合においても、インバースマップテーブルにおいて画像ＩＭＡ２内の位置を示す座標が回転変換される。

回転変換は、ＸＹ座標において中心座標を中心として所定角度だけ回転する変換である。例えば処理装置２００は、所定角度を示す第１回転情報ＲＴ１を、インターフェース１９０を介してレジスター回路１７０に書き込む。第１処理回路１３１は、レジスター回路１７０から第１回転情報ＲＴ１を読み出すことで所定角度を設定する。この所定角度は、回転角度の絶対値と回転方向の情報を含む。

第２処理回路１３２も同様に、第２回転処理において、マップテーブルにおける画像ＩＭＡ２内の位置を示す座標を回転変換する。

以上の本実施形態では、画像処理回路１３５は、入力された画像ＩＭＧ１に対して第１マッピング処理及び第１回転処理を行うことで、ヘッドアップディスプレイ用の画像ＩＭＧ２を生成する。画像処理回路１３５は、第１マッピング処理の逆マッピング処理である第２マッピング処理及び第１回転処理の逆回転処理である第２回転処理を画像ＩＭＧ２’に対して行うことで、画像ＩＭＧ３を生成する。比較回路１４５は、画像ＩＭＧ１’と画像ＩＭＧ３との比較を行い、比較の結果を、画像ＩＭＧ２のエラー検出を行うための情報として出力する。

本実施形態によれば、ヘッドアップディスプレイに表示される画像が回転されている場合であっても、その回転処理された画像が適切であるか検証できる。即ち、画像処理回路１３５が、第１マッピング処理の逆マッピング処理と、第１回転処理の逆回転処理とを画像ＩＭＧ２’に対して行うので、画像ＩＭＧ２が正常である場合には画像ＩＭＧ３が画像ＩＭＧ１’と同じ画像に戻るはずである。比較回路１４５は、その画像ＩＭＧ３と画像ＩＭＧ１’を比較することで、画像ＩＭＧ２のエラー検出を行うための情報を出力できる。

また本実施形態では、比較回路１４５は、画像ＩＭＧ１と画像ＩＭＧ３との比較を注目領域において行う。即ち、図２で説明したように、第１処理回路１３１が画像ＩＭＧ１からＲＯＩの画像ＩＭＧ１’を抽出する。また第２処理回路１３２が画像ＩＭＧ２からＲＯＩの画像ＩＭＧ２’を抽出し、その画像ＩＭＧ２’に第２マッピング処理及び第２回転処理を行うことで画像ＩＭＧ３を出力する。即ち、画像ＩＭＧ３はＲＯＩの画像である。比較回路１４５は、ＲＯＩの画像ＩＭＧ１’とＲＯＩの画像ＩＭＧ３とを比較する。

本実施形態によれば、ヘッドアップディスプレイに表示される画像のうち注目領域についてのみエラー検出を行うことができる。注目領域は、例えば表示画像のうち重要度が高い内容が表示される領域である。これにより、画像処理回路１３５及び比較回路１４５の処理負荷を低減できる。即ち、注目領域の画像ＩＭＧ１’と画像ＩＭＧ３とを比較することで、画像全体で比較する場合に比べて比較回路１４５の処理負荷を低減できる。また、第２処理回路１３２が注目領域の画像ＩＭＧ２’に対して第２マッピング処理及び第２回転処理を行うことで、画像全体を処理する場合に比べて第２処理回路１３２の処理負荷を低減できる。

２．縮小処理、拡大処理
図２では、画像処理回路１３５は画像の縮小処理及び拡大処理を行っていないが、以下の図５～図７で説明するように、画像処理回路１３５は画像の縮小処理、又は縮小処理及び拡大処理を行ってもよい。なお以下では、図２等において既に説明した動作については説明を省略する。

図５は、本実施形態の回路装置１００の第２動作例を説明する図である。第１処理回路１３１は、Ｓ１３に示すように画像ＩＭＧ１からＲＯＩの画像を抽出し、Ｓ１４に示すようにＲＯＩの画像を１／２サイズに縮小処理し、縮小処理後の画像ＩＭＡ１’を出力する。縮小処理とは、画像の画素数を減らす処理、即ち画像をダウンサンプリングする処理である。なお、縮小とＲＯＩ抽出の順序は逆でもよい。即ち、第１処理回路１３１は、画像ＩＭＧ１を縮小処理し、縮小処理後の画像からＲＯＩの画像を抽出し、抽出されたＲＯＩの画像ＩＭＡ１’を出力してもよい。

第２処理回路１３２は、Ｓ２３に示すように画像ＩＭＧ２からＲＯＩの画像を抽出し、Ｓ２４に示すようにＲＯＩの画像を１／２サイズに縮小処理し、縮小処理後の画像ＩＭＡ２’を出力する。画像ＩＭＡ１’も画像ＩＭＡ３も１／２縮小された画像なので、画像ＩＭＧ１’と画像ＩＭＡ３は同サイズとなる。なお、第１処理回路１３１の場合と同様に、縮小とＲＯＩ抽出の順序が逆であってもよい。

図６は、本実施形態の回路装置１００の第３動作例を説明する図である。図６では、第１処理回路１３１はＳ１３のＲＯＩ抽出のみ行い、１／２縮小を行わない。第２処理回路１３２は、Ｓ２３のＲＯＩ抽出とＳ２４の１／２縮小処理を行う。また第２処理回路１３２は、Ｓ２６に示すように、画像ＩＭＡ３の画像サイズを２倍にする拡大処理を行い、拡大処理後の画像ＩＭＡ３’を出力する。比較回路１４５は、画像ＩＭＡ１’と画像ＩＭＡ３’を比較する。Ｓ２４の１／２縮小処理とＳ２６の２倍拡大処理により、画像ＩＭＡ３’は画像ＩＭＧ１’と同サイズとなる。

図７は、本実施形態の回路装置１００の第４動作例を説明する図である。図７では、第１処理回路１３１はＳ１３のＲＯＩ抽出とＳ１４の１／２縮小処理を行う。第２処理回路１３２は、Ｓ２３に示すように画像ＩＭＧ２からＲＯＩの画像を抽出し、Ｓ２５に示すようにＲＯＩの画像を１／４サイズに縮小処理し、縮小処理後の画像ＩＭＡ２’を出力する。第２処理回路１３２は、Ｓ２６の２倍拡大処理を行う。画像ＩＭＧ１’は１／２縮小された画像であり、画像ＩＭＧ３’は１／４縮小及び２倍拡大された画像なので、画像ＩＭＧ１’と画像ＩＭＧ３’は同サイズとなる。

以上の図５～図７の実施形態によれば、第２処理回路１３２は、１／２縮小又は１／４縮小された画像ＩＭＡ２’に対して第２マッピング処理及び第２回転処理を行うので、縮小処理を行わない場合に比べて第２処理回路１３２の処理負荷を低減できる。また、図５及び図７の実施形態によれば、比較回路１４５は、１／２縮小サイズの画像を比較するので、オリジナルサイズの画像を比較する場合に比べて比較回路１４５の処理負荷を低減できる。

３．マップテーブル補間処理
ヘッドアップディスプレイのディスプレイ面の傾斜角度に応じてマップテーブルを補間する処理を説明する。まず図３を用いて、奥行き方向におけるディスプレイ面の傾斜角度について説明する。

図３に示すように、表示部ＤＳＰにおいて画像が表示される面をディスプレイ面とする。ディスプレイ面と基準面の成す角度が、奥行き方向におけるディスプレイ面の傾斜角度θＸである。基準面は例えば水平面であるが、これに限定されない。方向ＤＸに平行な軸を回転軸としてディスプレイ面が回転すると傾斜角度θＸが変化する。傾斜角度θＸは固定であってもよいし、可変であってもよい。例えば、ユーザーが傾斜角度θＸを調整可能に構成されていてもよい。

図８は、マップテーブルを補間する処理を説明する図である。第１処理回路１３１が用いる第１マッピング情報ＭＰＡ１は、第１傾斜角度に対応する第１マップテーブルＴＢ１と、第２傾斜角度に対応する第２マップテーブルＴＢ２とを含む。図８では第１傾斜角度を５度とし、第２傾斜角度を１０度とする。

第１処理回路１３１は、第１マップテーブルＴＢ１と第２マップテーブルＴＢ２に基づく補間処理Ｓ５０を行うことで、第３傾斜角度に対応した第３マップテーブルＴＢ３を生成し、第３マップテーブルＴＢ３に基づいて第１マッピング処理を行う。具体的には、処理装置２００が、第３傾斜角度を示す傾斜情報ＳＬＰを、インターフェース１９０を介してレジスター回路１７０に書き込む。第１処理回路１３１は、レジスター回路１７０に書き込まれた傾斜情報ＳＬＰに基づいて補間処理Ｓ５０を行う。

補間処理Ｓ５０は、第１マップテーブルＴＢ１と第２マップテーブルＴＢ２から線形補間により第３マップテーブルを求める処理である。例えば図４のマップテーブルを例にとると、第１マップテーブルＴＢ１のターゲット座標（ＸＴｉ，ＹＴｉ）と第２マップテーブルＴＢ２のターゲット座標（ＸＴｉ，ＹＴｉ）は、傾斜角度に応じて異なっている。第１処理回路１３１は、第１マップテーブルＴＢ１のターゲット座標（ＸＴｉ，ＹＴｉ）と第２マップテーブルＴＢ２のターゲット座標（ＸＴｉ，ＹＴｉ）から線形補間により第３マップテーブルのターゲット座標（ＸＴｉ，ＹＴｉ）を求める。また、第１処理回路１３１は、３つ以上のマップテーブルを使用することにより、３次スプライン補間等、高次の補間を行ってもよい。

なお第２処理回路１３２も同様な補間処理を行う。即ち、第２マッピング情報ＭＰＡ２は、第１傾斜角度に対応する第４マップテーブルと、第２傾斜角度に対応する第５マップテーブルとを含む。第２処理回路１３２は、第４マップテーブルと第５マップテーブルに基づく補間処理を行うことで、第３傾斜角度に対応した第６マップテーブルを生成し、第６マップテーブルに基づいて第２マッピング処理を行う。

４．各フレームで１色成分ずつ比較する処理
比較回路１４５は１又は複数のフレームにおいて画像比較を行う。以下、「各フレーム」は、画像比較を行うフレームを指すものとする。比較回路１４５は、比較を行う各フレームにおいて画像の全色成分について比較を行ってもよいし、各フレームで画像の１色成分ずつ比較してもよい。

図９は、各フレームで画像の１色成分ずつ比較する場合の処理を説明する図である。図９では画像のＲ成分、Ｇ成分、Ｂ成分をそれぞれ第１色成分、第２色成分、第３色成分とするが、色成分はこれに限定されない。例えば第１色成分、第２色成分、第３色成分は、Ｙ成分、Ｃｒ成分、Ｃｂ成分であってもよい。図９では１フレーム毎に画像比較を行うものとし、フレームＦ１～Ｆ３における処理をフレームＦ４以降において繰り返すとする。

フレームＦ１において、第１処理回路１３１は、画像ＩＭＧ１のＲＧＢ成分に対して第１マッピング処理及び第１回転処理を行い、画像ＩＭＧ２のＲＧＢ成分を出力する。フレームＦ２、Ｆ３においても上記処理は同じである。

フレームＦ１において、第１処理回路１３１は、画像ＩＭＧ１のＲ成分からＲＯＩを抽出し、画像ＩＭＧ１’のＲ成分を出力する。第２処理回路１３２は、画像ＩＭＧ２のＲ成分からＲＯＩを抽出し、画像ＩＭＧ２’のＲ成分を出力し、画像ＩＭＧ２’のＲ成分に対して第２マッピング処理及び第２回転処理を行い、画像ＩＭＧ３のＲ成分を出力する。比較回路１４５は、画像ＩＭＧ１’のＲ成分と画像ＩＭＧ３のＲ成分とを比較する。フレームＦ２において、第１処理回路１３１、第２処理回路１３２及び比較回路１４５は、上記と同様な処理をＧ成分に対して行う。フレームＦ３において、第１処理回路１３１、第２処理回路１３２及び比較回路１４５は、上記と同様な処理をＢ成分に対して行う。

図９の実施形態によれば、各フレームにおいてＲＯＩの画像が１色成分のみ生成され、その１色成分について画像比較が行われる。これにより、各フレームにおいて全色成分の画像比較を行う場合に比べて、第２処理回路１３２が行う第２マッピング処理及び第２回転処理の処理負荷、及び比較回路１４５が行う比較処理の処理負荷が低減される。

５．画像比較
比較回路１４５が行う画像比較について説明する。

図１０はヘッドアップディスプレイに表示される画像ＩＭＧ２の一例である。図１０では、メーター画像ＤＩＭの上にアイコンＩＣＡが重ねられている。アイコンＩＣＡは、ある透過率でメーター画像ＤＩＭにブレンドされる。本実施形態において、回路装置１００は、アイコンＩＣＡが適切に表示されるか否かを検証する。この場合、図１０の点線矩形で示すように、アイコンＩＣＡを含む領域がＲＯＩに設定される。

図１１は、マッピング処理する前の画像ＩＭＧ１から抽出されたＲＯＩの画像ＩＭＧ１’である。ＲＯＩ内には、アイコンＩＣＡと、アイコンＩＣＡの背景画像であるメーター画像ＤＩＭとが含まれる。図１２は、画像ＩＭＧ２から抽出されたＲＯＩの画像ＩＭＧ２’が逆マッピング処理された画像ＩＭＧ３である。図１２には、アイコンＩＣＡが正しく表示されなかった例を示す。この場合、画像ＩＭＧ１’と画像ＩＭＧ３は背景画像のみ一致しており、アイコンＩＣＡ部分は異なっている。このため、比較結果である指標が示す類似度は低い。画像ＩＭＧ３においてもアイコンＩＣＡが正しく表示されている場合には、類似度は高くなる。類似度を示す指標は、連続的又は段階的な値をとることができる。エラー検出回路１５０は指標と閾値を比較するが、その閾値を調整することで、どの程度の類似度を許容するのかを調整可能である。

比較回路１４５は、画像ＩＭＧ１’と画像ＩＭＧ３の類似度を示す指標として、形状指標、又は視認性指標、又はその両方を求める。なお上述のように、比較回路１４５は、ＳＳＤ、ＳＡＤ又はＮＣＣ等を指標として求めてもよい。なお、類似度が高いほど指標が大きくなるか、類似度が高いほど指標が小さくなるかは、指標の算出手法によって異なる。閾値は、形状指標と視認性指標のそれぞれに対して設定される。

まず形状指標の第１算出手法を説明する。比較回路１４５は、色空間における画像ＩＭＧ１’と画像ＩＭＧ３の画像間距離を求める。色空間は例えばＲＧＢ又はＹＣｒＣｂである。具体的には、比較回路１４５は、色空間において、画像ＩＭＧ１’の画素と、その画素に対応する画像ＩＭＧ３の画素の距離の二乗値を求める。比較回路１４５は、その二乗値を画像内で積算し、その積算値を画像間距離とする。第１算出手法では、画像間距離が形状指標に相当する。

次に形状指標の第２算出手法を説明する。図１３に示すように、比較回路１４５は、画像ＩＭＧ１’のエッジを抽出することで、エッジ画像ＥＩＭＧ１’を求める。また比較回路１４５は、画像ＩＭＧ３のエッジを抽出することで、画像ＩＭＧ３のエッジ画像を求める。以下、画像ＩＭＧ３のエッジ画像をＥＩＭＧ３とする。比較回路１４５は、エッジ画像ＥＩＭＧ１’とエッジ画像ＥＩＭＧ３を比較する。具体的には、比較回路１４５は、ソーベルフィルター等を用いて画像ＩＭＡ１’と画像ＩＭＧ３からエッジを抽出し、エッジ画像ＥＩＭＧ１’とエッジ画像ＥＩＭＧ３の相関値を求める。第２算出手法では、エッジ画像の相関値が形状指標に相当する。

次に視認性指標の算出手法を説明する。ここでは色空間をＹＣｒＣｂとするが、色空間はＲＧＢ等であってもよい。比較回路１４５は、画像ＩＭＧ１’のＹチャンネルからヒストグラムを求める。同様に、比較回路１４５は、画像ＩＭＧ１’のＣｒチャンネル、Ｃｂチャンネルからヒストグラムを求め、画像ＩＭＧ３のＹチャンネル、Ｃｒチャンネル、Ｃｂチャンネルからヒストグラムを求める。

比較回路１４５は、Ｙチャンネルにおける画像ＩＭＧ１’と画像ＩＭＧ３のヒストグラムに対して相互相関演算を行う。相互相関演算は、２つのヒストグラムを遅延（lag）だけずらして相関値を求め、遅延を変化させながら相関値を求めていく演算である。遅延を変化させていき、２つのヒストグラムの相関値が高くなるところがあれば、その遅延にピークが立つことになる。ピークは複数立つ可能性がある。同様に、比較回路１４５は、Ｃｒチャンネル、Ｃｂチャンネルにおける画像ＩＭＧ１’と画像ＩＭＧ３のヒストグラムに対して相互相関演算を行う。

比較回路１４５は、全チャンネルの相互相関信号においてピークが立っている遅延値を調べ、その遅延値のうち最大の遅延値を求める。この最大の遅延値が視認性指標に相当する。アイコンと背景画像の色のコントラストが高い場合、最大の遅延値が大きくなるので、視認性指標はアイコンと背景画像の色のコントラストを示す。色のコントラストが高いほど視認性が高いと考えられるため、視認性指標が大きいほど類似度が高いと判断される。

以上に説明した形状指標、又は視認性指標、又はその両方を用いることで、ＲＯＩの画像ＩＭＧ１’とＩＭＧ３の類似度を判断できる。形状指標を用いた場合、画像ＩＭＧ１’と画像ＩＭＧ３が一致しているとき、類似度が最も高くなる。即ち、類似度を一致度合いと言い換えることもできる。例えばアイコンＩＣＡが回転して表示された場合には、アイコンＩＣＡが回転していない場合に比べて類似度が低下する。一方、視認性指標は色のコントラストを示すので、アイコンＩＣＡが回転した場合であっても類似度があまり変化しない。従って、アイコンＩＣＡが回転した場合等を許容するときには、視認性指標を用いればよい。また、形状指標と視認性指標は算出手法が異なるので、その両方を用いることによって、エラー検出の精度を向上できる。

６．電子機器、移動体
図１４は、本実施形態の回路装置を含む電子機器の構成例である。電子機器３００は、処理装置３１０、回路装置３２０、記憶装置３５０、操作装置３６０、通信装置３７０、ヘッドアップディスプレイ４００を含む。回路装置３２０は図１の回路装置１００に対応し、処理装置３１０は図１の処理装置２００に対応する。ヘッドアップディスプレイ４００は、表示ドライバー３３０、表示パネル３４０を含む。処理装置３１０は、例えばＭＣＵ等である。図１４の構成例では回路装置３２０は表示コントローラーに対応する。但し、本実施形態のエラー検出手法は、表示コントローラーだけでなく、ヘッドアップディスプレイ用の表示画像を生成する回路装置に適用可能である。

処理装置３１０は、記憶装置３５０に記憶された画像データ、又は通信装置３７０が受信した画像データを回路装置３２０に転送する。回路装置３２０は、画像データに対する画像処理、表示タイミング制御、表示ドライバーに転送する画像データの生成、及びその画像データのエラー検出等を行う。表示ドライバー３３０は、回路装置３２０から転送された画像データと、回路装置３２０による表示タイミング制御に基づいて、表示パネル３４０を駆動し、画像を表示させる。表示パネル３４０は、例えば液晶表示パネル、或いはＥＬ表示パネル等である。記憶装置３５０は、例えばメモリー、或いはハードディスクドライブ、或いは光学ディスクドライブ等である。操作装置３６０は、電子機器３００をユーザーが操作するための装置であり、例えばボタンや、或いはタッチパネルや、或いはキーボード等である。通信装置３７０は、例えば有線通信を行う装置、或いは無線通信を行う装置である。有線通信は、例えばＬＡＮ、又はＵＳＢ等である。無線通信は、例えば無線ＬＡＮや、無線近接通信等である。

本実施形態の回路装置を含む電子機器としては、車載用の電子機器、工場設備等の表示端末、ロボットに搭載された表示装置、又は情報処理装置等の種々の機器を想定できる。車載用の電子機器は、例えばメーターパネル等である。情報処理装置は例えばＰＣ等である。

図１５は、本実施形態の回路装置３２０を含む移動体の例である。移動体は、本実施形態の回路装置３２０と、回路装置３２０に画像データを送信する処理装置３１０と、を含む。処理装置３１０は、回路装置３２０からのヘッドアップディスプレイ用表示画像のエラー検出結果に基づいてエラー対応処理を行ってもよい。移動体は、ヘッドアップディスプレイ４００と制御装置２０８とを含む。制御装置２０８はＥＣＵ（Electronic Control Unit）であり、ＥＣＵに回路装置３２０と処理装置３１０が組み込まれる。なお回路装置３２０はヘッドアップディスプレイ４００に組み込まれてもよい。本実施形態の回路装置３２０は、例えば、車、飛行機、バイク、自転車、或いは船舶等の種々の移動体に組み込むことができる。移動体は、例えばエンジンやモーター等の駆動機構、ハンドルや舵等の操舵機構、各種の電子機器を備えて、地上や空や海上を移動する機器又は装置である。図１５は移動体の具体例としての自動車２０６を概略的に示している。ヘッドアップディスプレイ４００は透明スクリーンを有し、その透明スクリーンは運転席とフロントガラスの間に設置される。或いは、ヘッドアップディスプレイは、フロントガラスを透明スクリーンとして用い、フロントガラスに画像を投影してもよい。ヘッドアップディスプレイ４００は、例えば自動車２０６のメーターパネルとして機能する。

以上に説明した本実施形態の回路装置は、画像処理回路と比較回路とを含む。画像処理回路は、入力された第１画像に対して第１マッピング処理及び第１回転処理を行うことで、ヘッドアップディスプレイ用の第２画像を生成する。画像処理回路は、第１マッピング処理の逆マッピング処理である第２マッピング処理及び第１回転処理の逆回転処理である第２回転処理を第２画像に対して行うことで、第３画像を生成する。比較回路は、第１画像と第３画像との比較を行い、比較の結果を、第２画像のエラー検出を行うための情報として出力する。

このようにすれば、ヘッドアップディスプレイに表示される画像が回転処理されている場合であっても、その回転処理された画像が適切であるか検証できる。即ち、画像処理回路が、第１マッピング処理の逆マッピング処理と、第１回転処理の逆回転処理とを第２画像に対して行うので、第２画像が正常である場合には第３画像が第１画像と同じ画像に戻るはずである。比較回路は、その第３画像と第１画像を比較することで、第２画像のエラー検出を行うための情報を出力できる。

また本実施形態では、比較回路は、第１画像と第３画像との比較を注目領域において行ってもよい。

このようにすれば、ヘッドアップディスプレイに表示される画像のうち注目領域についてのみエラー検出を行うことができる。これにより、第２マッピング処理及び第２回転処理において扱われる画像の画素数が低下するので、画像処理回路の処理負荷が低減される。また比較処理において扱われる画像の画素数が低下するので、比較回路の処理負荷が低減される。

また本実施形態では、回路装置は第１記憶部を含んでもよい。画像処理回路は、第１画像における注目領域の画像を抽出して第１記憶部に記憶させてもよい。比較回路は、第１記憶部に記憶された第１画像における注目領域の画像と、第３画像との比較を行ってもよい。

第１処理回路が第１画像をマッピング処理して第２画像を生成し、第２処理回路が第２画像を逆マッピング処理して第３画像を生成するために、演算時間が必要である。本実施形態によれば、第１記憶部が、第３画像と比較される第１画像を、上記演算時間において一時記憶できる。

また本実施形態では、画像処理回路は、第１マッピング処理及び第１回転処理を行う第１処理回路と、第２マッピング処理及び第２回転処理を行う第２処理回路と、を有してもよい。

このようにすれば、第１処理回路又は第２処理回路に異常があるときエラーが検出される。即ち、同一処理回路でマッピング及び逆マッピングを行った場合には、マッピングにおいて生じた異常が、逆マッピングにおいて元に戻り、第１画像と第３画像が類似した画像となる可能性がある。本実施形態によれば、マッピングと逆マッピングをそれぞれ独立した処理回路が実行することで、エラーを確実に検出できる。

また本実施形態では、第２回転処理における画像回転は、第１回転処理における画像回転と回転中心が同一であり、回転角度の絶対値が同一であり、回転方向が逆であってもよい。

このようにすれば、第１回転処理において回転された画像が、第２回転処理において逆回転されるので、元の画像に戻る。この元に戻った画像と第１回転処理前の画像とを比較することで、エラー検出できる。

また本実施形態では、第１回転処理及び第２回転処理における画像回転は、ヘッドアップディスプレイのディスプレイ面に交差する軸を回転軸としてもよい。

ヘッドアップディスプレイの取り付け場所に対して、ヘッドアップディスプレイの取り付け角度にばらつきがある。この取り付け角度のばらつきによって、ユーザーから表示画像が傾いて見える。この傾きは、ディスプレイ面に交差する軸を回転軸とする回転に相当する。本実施形態では、画像処理により画像を回転させることで、取り付け角度のばらつきによる表示画像の傾きを補正できる。また、逆回転を用いて元に戻した第３画像と、入力画像である第１画像を比較することで、回転補正を行った場合であってもエラー検出可能である。

また本実施形態では、回路装置は記憶部を含んでもよい。記憶部は、第１回転処理における画像回転を規定する第１回転情報と、第２回転処理における画像回転を規定する第２回転情報とを記憶してもよい。画像処理回路は、記憶部に記憶された第１回転情報に基づいて第１回転処理を行い、記憶部に記憶された第２回転情報に基づいて第２回転処理を行ってもよい。

同一回転情報に基づいて回転処理及び逆回転処理を行った場合には、回転処理において生じた異常が、逆回転処理において元に戻り、第１画像と第３画像が類似した画像となる可能性がある。本実施形態によれば、第１回転情報と第２回転情報をそれぞれ独立した回転情報として記憶部が記憶することで、エラーを確実に検出できる。

また本実施形態では、記憶部は、第１マッピング処理におけるマッピングを規定する第１マッピング情報と、第２マッピング処理におけるマッピングを規定する第２マッピング情報とを記憶してもよい。画像処理回路は、第１マッピング情報に基づいて第１マッピング処理を行い、第２マッピング情報に基づいて第２マッピング処理を行ってもよい。

同一マッピング情報に基づいてマッピング処理及び逆マッピング処理を行った場合には、マッピング処理において生じた異常が、逆マッピング処理において元に戻り、第１画像と第３画像が類似した画像となる可能性がある。本実施形態によれば、第１マッピング情報と第２マッピング情報をそれぞれ独立したマッピング情報として記憶部が記憶することで、エラーを確実に検出できる。

また本実施形態では、第１マッピング情報は、ヘッドアップディスプレイのディスプレイ面の第１傾斜角度に対応する第１マップテーブルと、ディスプレイ面の第２傾斜角度に対応する第２マップテーブルとを含んでもよい。画像処理回路は、第１マップテーブルと第２マップテーブルに基づく補間処理を行うことで、ディスプレイ面の第３傾斜角度に対応した第３マップテーブルを生成し、第３マップテーブルに基づいて第１マッピング処理を行ってもよい。

奥行き方向におけるディスプレイ面の傾斜角度に応じて表示画像の歪み方が変化する。マッピング処理では、この傾斜角度に応じた歪みを含むマッピングを行う。本実施形態によれば、第１傾斜角度に対応する第１マップテーブルと、第２傾斜角度に対応する第２マップテーブルとに基づく補間処理を行うことで、ディスプレイ面の第３傾斜角度に対応した第３マップテーブルを生成するので、様々な傾斜角度に対応できる。また、補間処理によりマップテーブルを生成するので、記憶部に記憶するマップテーブルの数を削減できる。

また本実施形態では、第２マッピング情報は、第１傾斜角度に対応する第４マップテーブルと、第２傾斜角度に対応する第５マップテーブルとを含んでもよい。画像処理回路は、第４マップテーブルと第５マップテーブルに基づく補間処理を行うことで、第３傾斜角度に対応した第６マップテーブルを生成し、第６マップテーブルに基づいて第２マッピング処理を行ってもよい。

このようにすれば、第３マップテーブルと、その逆マッピングに対応した第６マップテーブルとが、共に第３傾斜角度に対応したものとなる。これにより、第６マップテーブルを用いた逆マッピングにより第３画像が第１画像と同様な画像に戻る。

また本実施形態では、画像処理回路は、第２画像を縮小処理し、縮小処理後の第２画像に対して第２マッピング処理及び第２回転処理を行ってもよい。

このようにすれば、第２処理回路に入力される第２画像が縮小画像となるので、第２マッピング処理及び第２回転処理の処理負荷を低減できる。

また本実施形態では、比較回路は、第１フレームにおいて第１画像の第１色成分と第３画像の第１色成分との比較を行い、第２フレームにおいて第１画像の第２色成分と第３画像の第２色成分との比較を行ってもよい。

このようにすれば、１フレームにつき画像の１色成分のみ比較されるので、１フレームにつき画像の全色成分を比較する場合に比べて比較回路の負荷を低減できる。

また本実施形態では、画像処理回路は、第１フレームにおいて第２画像の第１色成分に対して第２マッピング処理及び第２回転処理を行うことで、第３画像の第１色成分を生成してもよい。画像処理回路は、第２フレームにおいて第２画像の第２色成分に対して第２マッピング処理及び第２回転処理を行うことで、第３画像の第２色成分を生成してもよい。

このようにすれば、１フレームにつき画像の１色成分のみ第２マッピング処理及び第２回転処理されるので、１フレームにつき画像の全色成分を第２マッピング処理及び第２回転処理する場合に比べて第２処理回路の負荷を低減できる。

また本実施形態では、比較回路は、第１画像の画素値と第３画像の画素値とに基づいて、又は第１画像のエッジ画像の画素値と第３画像のエッジ画像の画素値とに基づいて、第１画像と第３画像との間の類似度を示す指標を、比較の結果として求めてもよい。

画像の類似度が高い場合、第１画像の画素値と第３画像の画素値とが類似しており、或いは第１画像のエッジ画像の画素値と第３画像のエッジ画像の画素値とが類似している。本実施形態によれば、第１画像の画素値と第３画像の画素値とに基づいて、又は第１画像のエッジ画像の画素値と第３画像のエッジ画像の画素値とに基づいて指標が求められることで、その指標が、第１画像と第３画像との間の類似度を示すものとなる。

また本実施形態では、回路装置は、指標と閾値との比較により第２画像のエラー検出を行うエラー検出回路を含んでもよい。

このようにすれば、回路装置が指標に基づいて第２画像のエラーを検出し、そのエラー検出結果に基づくエラー対応処理を行うこと、又はエラー検出結果を回路装置の外部に出力することが可能となる。

また本実施形態の電子機器は、上記のいずれかに記載された回路装置を含む。

また本実施形態の移動体は、上記のいずれかに記載された回路装置を含む。

なお、上記のように本実施形態について詳細に説明したが、本開示の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本開示の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また本実施形態及び変形例の全ての組み合わせも、本開示の範囲に含まれる。また回路装置、ヘッドアップディスプレイ、電子機器及び移動体の構成及び動作等も、本実施形態で説明したものに限定されず、種々の変形実施が可能である。

１００…回路装置、１１０…インターフェース、１３１…第１処理回路、１３２…第２処理回路、１３３…記憶部、１３５…画像処理回路、１４０…インターフェース、１４５…比較回路、１５０…エラー検出回路、１６０…記憶部、１７０…レジスター回路、１７６…エラー検出結果レジスター、１７８…閾値レジスター、１９０…インターフェース、２００…処理装置、２０６…自動車、２０８…制御装置、３００…電子機器、３１０…処理装置、３２０…回路装置、３３０…表示ドライバー、３４０…表示パネル、３５０…記憶装置、３６０…操作装置、３７０…通信装置、４００…ヘッドアップディスプレイ、ＤＳＰ…表示部、Ｆ１～Ｆ３…フレーム、ＩＣＡ…アイコン、ＩＭＡ１，ＩＭＡ１'，ＩＭＡ２，ＩＭＡ２'，ＩＭＡ３…画像、ＭＰＡ１…第１マッピング情報、ＭＰＡ２…第２マッピング情報、ＲＴ１…第１回転情報、ＲＴ２…第２回転情報、Ｓ１１…第１回転処理、Ｓ１２…第１マッピング処理、Ｓ２１…第２回転処理、Ｓ２２…第２マッピング処理、Ｓ５０…補間処理

Claims (17)

1. 入力された第１画像に対して第１マッピング処理及び第１回転処理を行うことで、ヘッドアップディスプレイ用の第２画像を生成し、前記第１マッピング処理の逆マッピング処理である第２マッピング処理及び前記第１回転処理の逆回転処理である第２回転処理を前記第２画像に対して行うことで、第３画像を生成する画像処理回路と、
   前記第１画像と前記第３画像との比較を行い、前記比較の結果を、前記第２画像のエラー検出を行うための情報として出力する比較回路と、
   前記第１マッピング処理におけるマッピングを規定する第１マッピング情報と、前記第２マッピング処理におけるマッピングを規定する第２マッピング情報とを記憶する第２記憶部と、
   を含み、
   前記画像処理回路は、
   前記第２記憶部に記憶された前記第１マッピング情報に基づいて前記第１マッピング処理を行い、前記第２記憶部に記憶された前記第２マッピング情報に基づいて前記第２マッピング処理を行い、
   前記第１マッピング情報は、前記ヘッドアップディスプレイのディスプレイ面の第１傾斜角度に対応する第１マップテーブルと、前記ディスプレイ面の第２傾斜角度に対応する第２マップテーブルとを含み、
   前記画像処理回路は、
   前記第１マップテーブルと前記第２マップテーブルに基づく補間処理を行うことで、前記ディスプレイ面の第３傾斜角度に対応した第３マップテーブルを生成し、前記第３マップテーブルに基づいて前記第１マッピング処理を行うことを特徴とする回路装置。
2. 請求項１に記載の回路装置において、
   前記第２マッピング情報は、前記第１傾斜角度に対応する第４マップテーブルと、前記第２傾斜角度に対応する第５マップテーブルとを含み、
   前記画像処理回路は、
   前記第４マップテーブルと前記第５マップテーブルに基づく補間処理を行うことで、前記第３傾斜角度に対応した第６マップテーブルを生成し、前記第６マップテーブルに基づいて前記第２マッピング処理を行うことを特徴とする回路装置。
3. 入力された第１画像に対して第１マッピング処理及び第１回転処理を行うことで、ヘッドアップディスプレイ用の第２画像を生成し、前記第１マッピング処理の逆マッピング処理である第２マッピング処理及び前記第１回転処理の逆回転処理である第２回転処理を前記第２画像に対して行うことで、第３画像を生成する画像処理回路と、
   前記第１画像と前記第３画像との比較を行い、前記比較の結果を、前記第２画像のエラー検出を行うための情報として出力する比較回路と、
   を含み、
   前記画像処理回路は、
   前記第１画像を縮小処理することで、第４画像を生成し、
   前記第２画像を前記第４画像と同サイズに縮小処理し、縮小処理後の前記第２画像に対して前記第２マッピング処理及び前記第２回転処理を行うことで、前記第３画像を生成し、
   前記比較回路は、
   前記第４画像と前記第３画像との前記比較を行うことを特徴とする回路装置。
4. 入力された第１画像に対して第１マッピング処理及び第１回転処理を行うことで、ヘッドアップディスプレイ用の第２画像を生成し、前記第１マッピング処理の逆マッピング処理である第２マッピング処理及び前記第１回転処理の逆回転処理である第２回転処理を前記第２画像に対して行うことで、第３画像を生成する画像処理回路と、
   前記第１画像と前記第３画像との比較を行い、前記比較の結果を、前記第２画像のエラー検出を行うための情報として出力する比較回路と、
   を含み、
   前記画像処理回路は、
   前記第２画像を縮小処理し、縮小処理後の前記第２画像に対して前記第２マッピング処理及び前記第２回転処理を行うことで、前記第３画像を生成し、
   前記第３画像を前記第１画像と同サイズに拡大処理することで、第５画像を生成し、
   前記比較回路は、
   前記第１画像と前記第５画像との前記比較を行うことを特徴とする回路装置。
5. 入力された第１画像に対して第１マッピング処理及び第１回転処理を行うことで、ヘッドアップディスプレイ用の第２画像を生成し、前記第１マッピング処理の逆マッピング処理である第２マッピング処理及び前記第１回転処理の逆回転処理である第２回転処理を前記第２画像に対して行うことで、第３画像を生成する画像処理回路と、
   前記第１画像と前記第３画像との比較を行い、前記比較の結果を、前記第２画像のエラー検出を行うための情報として出力する比較回路と、
   を含み、
   前記画像処理回路は、
   前記第１画像を縮小処理することで、第４画像を生成し、
   前記第２画像を縮小処理し、縮小処理後の前記第２画像に対して前記第２マッピング処理及び前記第２回転処理を行うことで、前記第３画像を生成し、
   前記第３画像を前記第４画像と同サイズに拡大処理することで、第５画像を生成し、
   前記比較回路は、
   前記第４画像と前記第５画像との前記比較を行うことを特徴とする回路装置。
6. 入力された第１画像に対して第１マッピング処理及び第１回転処理を行うことで、ヘッドアップディスプレイ用の第２画像を生成し、前記第１マッピング処理の逆マッピング処理である第２マッピング処理及び前記第１回転処理の逆回転処理である第２回転処理を前記第２画像に対して行うことで、第３画像を生成する画像処理回路と、
   前記第１画像と前記第３画像との比較を行い、前記比較の結果を、前記第２画像のエラー検出を行うための情報として出力する比較回路と、
   を含み、
   前記比較回路は、
   第１フレームにおいて前記第１画像の第１色成分と前記第３画像の第１色成分との前記比較を行い、第２フレームにおいて前記第１画像の第２色成分と前記第３画像の第２色成分との前記比較を行うことを特徴とする回路装置。
7. 請求項６に記載の回路装置において、
   前記画像処理回路は、
   前記第１フレームにおいて前記第２画像の第１色成分に対して前記第２マッピング処理及び前記第２回転処理を行うことで、前記第３画像の第１色成分を生成し、前記第２フレームにおいて前記第２画像の第２色成分に対して前記第２マッピング処理及び前記第２回転処理を行うことで、前記第３画像の第２色成分を生成することを特徴とする回路装置。
8. 入力された第１画像に対して第１マッピング処理及び第１回転処理を行うことで、ヘッドアップディスプレイ用の第２画像を生成し、前記第１マッピング処理の逆マッピング処理である第２マッピング処理及び前記第１回転処理の逆回転処理である第２回転処理を前記第２画像に対して行うことで、第３画像を生成する画像処理回路と、
   前記第１画像と前記第３画像との比較を行い、前記比較の結果を、前記第２画像のエラー検出を行うための情報として出力する比較回路と、
   を含み、
   前記比較回路は、
   前記第１画像の画素値と前記第３画像の画素値とに基づいて、又は前記第１画像のエッジ画像の画素値と前記第３画像のエッジ画像の画素値とに基づいて、前記第１画像と前記第３画像との間の類似度を示す指標を、前記比較の結果として求めることを特徴とする回路装置。
9. 請求項８に記載の回路装置において、
   前記指標と閾値との比較により前記第２画像の前記エラー検出を行うエラー検出回路を含むことを特徴とする回路装置。
10. 請求項３乃至９のいずれか一項に記載の回路装置において、
    前記第１回転処理における画像回転を規定する第１回転情報と、前記第２回転処理における画像回転を規定する第２回転情報とを記憶する第２記憶部を含み、
    前記画像処理回路は、
    前記第２記憶部に記憶された前記第１回転情報に基づいて前記第１回転処理を行い、前記第２記憶部に記憶された前記第２回転情報に基づいて前記第２回転処理を行うことを特徴とする回路装置。
11. 請求項１乃至１０のいずれか一項に記載の回路装置において、
    前記比較回路は、
    前記第１画像と前記第３画像との前記比較を注目領域において行うことを特徴とする回路装置。
12. 請求項１１に記載の回路装置において、
    第１記憶部を含み、
    前記画像処理回路は、
    前記第１画像における前記注目領域の画像を抽出して前記第１記憶部に記憶させ、
    前記比較回路は、
    前記第１記憶部に記憶された前記第１画像における前記注目領域の画像と、前記第３画像との比較を行うことを特徴とする回路装置。
13. 請求項１乃至１２のいずれか一項に記載の回路装置において、
    前記画像処理回路は、
    前記第１マッピング処理及び前記第１回転処理を行う第１処理回路と、
    前記第２マッピング処理及び前記第２回転処理を行う第２処理回路と、
    を有することを特徴とする回路装置。
14. 請求項１乃至１３のいずれか一項に記載の回路装置において、
    前記第２回転処理における画像回転は、
    前記第１回転処理における画像回転と回転中心が同一であり、回転角度の絶対値が同一であり、回転方向が逆であることを特徴とする回路装置。
15. 請求項１乃至１４のいずれか一項に記載の回路装置において、
    前記第１回転処理及び前記第２回転処理における画像回転は、
    前記ヘッドアップディスプレイのディスプレイ面に交差する軸を回転軸とすることを特徴とする回路装置。
16. 請求項１乃至１５のいずれか一項に記載の回路装置を含むことを特徴とする電子機器。
17. 請求項１乃至１５のいずれか一項に記載の回路装置を含むことを特徴とする移動体。

Images