JP6657570B2 - 画像処理装置、表示装置、及び、画像処理装置の制御方法 - Google Patents

Description

本発明は、画像処理装置、表示装置、及び、画像処理装置の制御方法に関する。

表示部に表示させる画像の形状を変形させる幾何補正を行う装置が知られている（例えば、特許文献１参照）。特許文献１は、幾何補正の典型的な例である台形歪み補正を行うプロジェクターを開示している。

特開平１１−３３１７３７号公報

一般に画像の形状を変形させる補正は入力画像を縮小変形するため、補正後の画像には、表示画像の周辺部に縮小変形の結果生じた領域が生成される。例えば、台形歪み補正は、画像処理装置の備える液晶パネル上に画像を台形状に縮小して形成することにより行うため、表示画像の台形歪みが大きいときには、液晶パネル上に形成する画像が小さくなる。この液晶パネルの表示画像が表示されない領域に適切な画像を表示させないと、表示画像の表示画質を低下させてしまう場合がある。
本発明は、上述した事情に鑑みてなされたものであり、画像の変形に伴う画像の表示画質の低下を抑制することができる画像処理装置、表示装置、及び、画像処理装置の制御方法を提供することを目的とする。

上記目的を達成するために、本発明の画像処理装置は、入力画像を変形して出力画像を生成する画像処理装置であって、前記入力画像の変形を行う画像変形部と、前記画像変形部から前記入力画像を変形した変形後画像のデータが入力された場合に、前記変形後画像のデータを前記出力画像のデータとして出力し、前記画像変形部から前記変形後画像のデータが入力されない場合に、前記変形後画像の背景となる背景画像のデータを前記出力画像のデータとして出力する出力画像生成部とを備えることを特徴とする。
本発明によれば、画像の変形に伴う画像の表示画質の低下を抑制することができる。

また、本発明は、上記画像処理装置において、前記画像変形部から前記変形後画像のデータが出力されない、前記出力画像の画素位置を示す位置情報を生成する位置情報生成部を備え、前記出力画像生成部は、前記位置情報に基づいて、前記画像変形部から前記変形後画像のデータが入力されないタイミングを判定し、前記変形後画像のデータが入力されないタイミングで前記背景画像のデータを出力することを特徴とする。
本発明によれば、画像変形部から変形後画像のデータが入力されないタイミングを正確に判定して、背景画像のデータを出力画像として出力することができる。

また、本発明は、上記画像処理装置において、前記位置情報生成部は、前記画像変形部が前記入力画像の１フレームを変形した際に、前記画像変形部から入力される前記変形後画像のデータに基づいて、前記変形後画像の背景を示す背景情報を前記位置情報として生成することを特徴とする。
本発明によれば、簡単な処理により位置情報を生成することができる。

本発明の表示装置は、入力画像を変形して表示部に表示させる表示装置であって、前記入力画像の変形を行う画像変形部と、前記画像変形部から前記入力画像を変形した変形後画像のデータが入力された場合に、前記変形後画像のデータを出力画像のデータとして出力し、前記画像変形部から前記変形後画像のデータが入力されない場合に、前記変形後画像の背景となる背景画像のデータを前記出力画像のデータとして出力する出力画像生成部と、前記出力画像生成部から入力される前記出力画像のデータに基づいて、出力画像を構成し、前記表示部に表示させる画像処理部と、を備えることを特徴とする。
本発明によれば、画像の変形に伴う画像の表示画質の低下を抑制することができる。

本発明の画像処理装置の制御方法は、入力画像を変形して出力画像を生成する画像処理装置の制御方法であって、前記入力画像の変形を実行し、前記入力画像を変形した変形後画像のデータが入力された場合に、前記変形後画像のデータを前記出力画像のデータとして出力し、前記変形後画像のデータが入力されない場合に、前記変形後画像の背景となる背景画像のデータを前記出力画像のデータとして出力することを特徴とする。
本発明によれば、画像の変形に伴う画像の表示画質の低下を抑制することができる。

第１の実施形態のプロジェクターのブロック図。 第１の実施形態の画像処理部の構成図。 台形歪み補正の説明図であり、（Ａ）は入力画像を示す図、（Ｂ）は出力画像を示す図。 背景データ生成部の動作タイミングを示す図であり、（Ａ）は出力垂直同期信号を示す図、（Ｂ）は背景データ生成部から出力される画像データを示す図、（Ｃ）は背景データ生成部から出力される背景データを示す図。 第１の実施形態の幾何補正部の処理手順を示すフローチャート。 背景データ生成部の処理手順を示すフローチャート。 比較例を示す図であり、（Ａ）はフレームメモリーの全面を背景データで塗りつぶした状態を示す図、（Ｂ）は画像領域を画像データで上書きする様子を示す図。 第２の実施形態の画像処理部の構成図。 座標変換情報の算出方法の説明図であり、（Ａ）は補正前画像を示す図、（Ｂ）は補正後画像を示す図。 第２の実施形態の画像処理部の処理手順を示すフローチャート。 幾何補正処理の説明図であり、（Ａ）は補正前画像を構成する１ブロックであるブロックＡの拡大図、（Ｂ）は補正後画像におけるブロックＡの拡大図。 幾何補正処理の説明図であり、（Ａ）はブロックＡ内の選択された４画素を示す図、（Ｂ）は選択された４画素の幾何補正後の画素位置を示す図。 幾何補正処理の説明図であり、（Ａ）は補正後画像上の４画素に囲まれた出力画素を示す図、（Ｂ）は４画素及び出力画素を補正前の状態に戻した状態を示す図。

［第１の実施形態］
図１は、第１の実施形態のプロジェクター１のブロック図である。
表示装置としてのプロジェクター１は、パーソナルコンピューターや各種映像プレーヤー等の外部の画像供給装置３に接続され、この画像供給装置３から入力される入力画像データＤに基づく画像を対象物体に投射する装置である。画像供給装置３としては、ビデオ再生装置、ＤＶＤ（Digital Versatile Disk）再生装置、テレビチューナー装置、ＣＡＴＶ（Cable television）のセットトップボックス、ビデオゲーム装置等の映像出力装置、パーソナルコンピューター等が挙げられる。また、対象物体は、建物や物体など、一様に平らではない物体であってもよいし、スクリーンＳＣや、建物の壁面等の平らな投射面を有するものであってもよい。本実施形態では平面のスクリーンＳＣに投射する場合を例示する。

プロジェクター１は、画像供給装置３に接続するインターフェイスとして、Ｉ／Ｆ（インターフェイス）部２４を備える。Ｉ／Ｆ部２４には、例えば、デジタル映像信号が入力されるＤＶＩインターフェイス、ＵＳＢインターフェイス、ＬＡＮインターフェイス等を用いることができる。また、Ｉ／Ｆ部２４には、例えば、ＮＴＳＣ、ＰＡＬ、ＳＥＣＡＭ等のコンポジット映像信号が入力されるＳ映像端子、コンポジット映像信号が入力されるＲＣＡ端子、コンポーネント映像信号が入力されるＤ端子等を用いることができる。さらに、Ｉ／Ｆ部２４には、ＨＤＭＩ（登録商標）規格に準拠したＨＤＭＩコネクター等の汎用インターフェイスを用いることができる。また、Ｉ／Ｆ部２４は、アナログ映像信号をデジタル画像データに変換するＡ／Ｄ変換回路を有し、ＶＧＡ端子等のアナログ映像端子により画像供給装置３に接続される構成としてもよい。なお、Ｉ／Ｆ部２４は、有線通信によって画像信号の送受信を行ってもよく、無線通信によって画像信号の送受信を行ってもよい。

プロジェクター１は、大きく分けて光学的な画像の形成を行う表示部１０と、この表示部１０により表示する画像を電気的に処理する画像処理系とを備えている。まず、表示部１０について説明する。

表示部１０は、光源部１１、光変調装置１２及び投射光学系１３を備える。
光源部１１は、キセノンランプ、超高圧水銀ランプ、ＬＥＤ（Light Emitting Diode）等からなる光源を備えている。また、光源部１１は、光源が発した光を光変調装置１２に導くリフレクター及び補助リフレクターを備えていてもよい。また、光源部１１は、投射光の光学特性を高めるためのレンズ群、偏光板、或いは光源が発した光の光量を光変調装置１２に至る経路上で低減させる調光素子等（いずれも不図示）を備えたものであってもよい。
光変調装置１２は、光源部１１から射出された光を画像データに基づいて変調する変調部に相当する。光変調装置１２は、液晶パネルを用いた構成とする。光変調装置１２は、複数の画素をマトリクス状に配置した透過型液晶パネルを備え、光源が発した光を変調する。光変調装置１２は、光変調装置駆動部２３によって駆動され、マトリクス状に配置された各画素における光の透過率を変化させることにより、画像を形成する。
投射光学系１３は、投射する画像の拡大・縮小及び焦点の調整を行うズームレンズ、フォーカスの調整を行うフォーカス調整機構等を備えている。投射光学系１３は、光変調装置１２で変調された画像光を対象物体に投射して結像させる。

表示部１０には、光源駆動部２２及び光変調装置駆動部２３が接続されている。
光源駆動部２２は、制御部３０の制御に従って光源部１１が備える光源を駆動する。光変調装置駆動部２３は、制御部３０の制御に従って、後述する画像処理部２５Ａから入力される画像信号に従って光変調装置１２を駆動し、液晶パネルに画像を描画する。

プロジェクター１の画像処理系は、プロジェクター１を制御する制御部３０を中心に構成される。プロジェクター１は、制御部３０が処理するデータや制御部３０が実行する制御プログラムを記憶した記憶部５４を備える。また、プロジェクター１は、リモコン５による操作を検出するリモコン受光部５２を備え、操作パネル５１及びリモコン受光部５２を介した操作を検出する入力処理部５３を備えている。
記憶部５４は、フラッシュメモリー、ＥＥＰＲＯＭ等の不揮発性のメモリーである。
制御部３０は、図示しないＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等を備えて構成される。制御部３０は、ＣＰＵによって、ＲＯＭに記憶した基本制御プログラム、及び記憶部５４に記憶された制御プログラムを実行することにより、プロジェクター１を制御する。また、制御部３０は、記憶部５４が記憶する制御プログラムを実行することにより、投射制御部３１、補正制御部３２の機能を実行する。

プロジェクター１の本体には、ユーザーが操作を行うための各種スイッチ及びインジケーターランプを備えた操作パネル５１が配置されている。操作パネル５１は、入力処理部５３に接続されている。入力処理部５３は、制御部３０の制御に従い、プロジェクター１の動作状態や設定状態に応じて操作パネル５１のインジケーターランプを適宜点灯或いは点滅させる。操作パネル５１のスイッチが操作されると、操作されたスイッチに対応する操作信号が入力処理部５３から制御部３０に出力される。
また、プロジェクター１は、ユーザーが使用するリモコン５を有する。リモコン５は各種のボタンを備えており、これらのボタンの操作に対応して赤外線信号を送信する。プロジェクター１の本体には、リモコン５が発する赤外線信号を受光するリモコン受光部５２が配置されている。リモコン受光部５２は、リモコン５から受光した赤外線信号をデコードして、リモコン５における操作内容を示す操作信号を生成し、制御部３０に出力する。

画像処理部（画像処理装置）２５Ａは、制御部３０の制御に従って入力画像データＤを取得し、入力画像データＤについて、画像サイズや解像度、静止画像か動画像であるか、動画像である場合はフレームレート等の属性などを判定する。画像処理部２５Ａは、フレーム毎にフレームメモリー２７に画像を展開し、展開した画像に対して画像処理を実行する。画像処理部２５Ａは、処理後の画像をフレームメモリー２７から読み出して、この画像に対応するＲ、Ｇ、Ｂの画像信号を生成して、光変調装置駆動部２３に出力する。
画像処理部２５Ａが実行する処理は、例えば、解像度変換処理、デジタルズーム処理、色調補正処理、輝度補正処理、幾何補正処理等である。また、画像処理部２５Ａは、Ｉ／Ｆ部２４から入力される画像データに基づき画像をフレームメモリー２７に描画する描画処理、フレームメモリー２７から画像を読み出して画像信号を生成する生成処理等を行う。また、画像処理部２５Ａは、上記の複数の処理を組み合わせて実行することも勿論可能である。

また、プロジェクター１は、無線通信部５５を備える。無線通信部５５は、図示しないアンテナやＲＦ（Radio Frequency）回路等を備え、制御部３０の制御の下、外部の装置との間で無線通信を実行する。無線通信部５５の無線通信方式は、例えば無線ＬＡＮ（Local Area Network）、Bluetooth（登録商標）、ＵＷＢ（Ultra Wide Band)、赤外線通信等の近距離無線通信方式、或いは、携帯電話回線を利用した無線通信方式を採用できる。

投射制御部３１は、光源駆動部２２、光変調装置駆動部２３及び画像処理部２５Ａを制御して、入力画像データＤに基づく画像を対象物体に投射させる。
補正制御部３２は、例えば、入力処理部５３がリモコン５や操作パネル５１による幾何補正処理の指示を検出し、幾何補正処理の指示を示す操作データが入力された場合に、画像処理部２５Ａを制御して、幾何補正処理を実行させる。

図２は、第１の実施形態の画像処理部２５Ａの構成図である。
画像処理部２５Ａは、幾何補正部（画像変形部）２６、背景マップ生成部（位置情報生成部）２５１、背景マップ記憶部２５２、背景データ生成部（出力画像生成部）２８、処理部２９を備える。

幾何補正部２６は、入力画像データＤを取得し、取得した入力画像データＤに対して幾何補正処理を行う。本実施形態では、幾何補正処理の一例として台形歪み補正を行う。なお、以下では、台形歪み補正を簡単に補正と呼ぶ。
プロジェクター１が、スクリーンＳＣに対して傾きを有して配置された場合、フレームメモリー２７に書き込まれる画像が矩形であっても、スクリーンＳＣに投写される画像は歪んだ画像となる。幾何補正部２６は、台形歪みが生じた画像を本来表示されるべき形状の画像に見せるために、入力画像データＤに基づく画像（以下、入力画像という）を、スクリーンＳＣにおける台形歪みを補償するように変形させる。

図３は、補正の説明図であり、図３（Ａ）はフレームメモリー２７に描画された入力画像Ｐ０を示し、図３（Ｂ）はフレームメモリー２７に描画された出力画像Ｐ１を示す。出力画像Ｐ１は、幾何補正部２６による補正後にフレームメモリー２７に書き込まれる画像である。出力画像Ｐ１をスクリーンＳＣに投写すると、台形歪みが相殺されて、矩形状に画像が表示される。
幾何補正部２６が入力画像Ｐ０を幾何補正して出力する画像データ（補正後画像のデータ）は、図３（Ｂ）に示す入力画像Ｐ０を幾何補正した画像が描画された領域（以下、画像領域という）の画像データである。画像領域以外の領域（以下、背景領域という）のデータは、幾何補正部２６からは出力されない。プロジェクター１や透過型の液晶表示装置では、黒色画像等の背景データ（背景画像のデータ）を背景領域に配置しておかないと、スクリーンＳＣに投写される投写画像に関係のない周囲の領域が不自然に明るくなり、投写画像の表示画質を低下させる要因となる。
このため、本実施形態は、幾何補正部２６から画像データが出力されないタイミングを背景データ生成部２８が判定して、画像データが出力されないタイミングで、背景データ生成部２８が背景データをフレームメモリー２７に書き込む。

背景マップ生成部２５１は、幾何補正部２６が入力画像Ｐ０の１フレームを幾何補正した際に、幾何補正部２６から入力される画像データに基づいて、背景領域を示す背景マップ（背景情報）を生成する。背景マップは、前述の画像領域と背景領域とを区別するためのマップであり、出力画像Ｐ１の各画素に対応して「０」又は「１」のデータを記録したマップである。背景マップ生成部２５１は、幾何補正部２６から画像データが入力された場合、出力画像Ｐ１の該当する画素位置に「０」を記録し、幾何補正部２６から画素データが入力されなかった場合、出力画素の該当する画素位置に「１」を記録する。背景マップ生成部２５１は、作成した背景マップを背景マップ記憶部２５２に出力して、背景マップ記憶部２５２に記憶させる。

処理部２９は、フレームメモリー２７に記憶されたデータ（画像データ及び背景データ）を読み出し、読み出したデータに対して、解像度変換、デジタルズーム、色調補正、輝度補正のうちのいずれか１つ以上を実行する。

図４は、背景データ生成部２８の動作タイミングを示す図である。図４（Ａ）は、制御部３０から背景データ生成部２８に供給される出力垂直同期信号（以下、Ｖｓｙｎｃと表記する）を示し、図４（Ｂ）は背景データ生成部２８が画像データを出力する出力タイミングを示す。また、図４（Ｃ）は背景データ生成部２８が背景データを出力する出力タイミングを示す図である。
背景データ生成部２８は、制御部３０から入力される出力水平同期信号（以下、Ｌｓｙｎと表記する：不図示）及びＶｓｙｎｃとの同期を取りながら、画像データ又は背景データを、出力画像Ｐ１を形成するデータとしてフレームメモリー２７に書き込む。
背景データ生成部２８は、背景マップ記憶部２５２の記憶する背景マップと、Ｌｓｙｎ及びＶｓｙｎｃとに基づいて、幾何補正部２６から画像データが入力されないタイミングを判定する。背景データ生成部２８は、幾何補正部２６から画像データが入力されないタイミングでは、背景データを、出力画像Ｐ１を形成するデータとしてフレームメモリー２７に書き込む。図４に示す例では、図４（Ｂ）に示す画像データの信号レベルがローレベルに低下したタイミングで、図４（Ｃ）に示す背景データの信号レベルがハイレベルになり、背景データ生成部２８から背景データがフレームメモリー２７に書き込まれる。背景データには、例えば、背景色が黒の画像データを用いることができる。また、背景色は、黒色に限定されるものではなく、画素値が低いものであればよい。

図５は、幾何補正部２６の処理手順を示すフローチャートである。
制御部３０は、転送先座標テーブルを更新すると、転送先座標テーブルを更新した旨を示す信号（以下、更新通知信号という）を幾何補正部２６に送る。転送先座標テーブルとは、出力画像Ｐ１における画素の位置（座標）と、この位置に対応する入力画像Ｐ０上の位置（座標）とを対応付けたテーブルである。なお、転送先座標テーブルは、出力画像Ｐ１におけるすべての画素について対応関係を含んでいる必要はない。

幾何補正部２６は、制御部３０から更新通知信号が入力されると（ステップＳ１／ＹＥＳ）、補正を施した画像データの出力先を背景データ生成部２８から背景マップ生成部２５１に変更する（ステップＳ２）。幾何補正部２６は、更新通知信号の入力後、最初に入力した１フレームの画像データを補正すると、処理した画像データを背景マップ生成部２５１に出力する（ステップＳ３）。最初の１フレームの画像データに対する補正が終了すると、幾何補正部２６は、画像データの出力先を背景データ生成部２８に変更する（ステップＳ４）。その後、幾何補正部２６は、入力される画像データを補正して背景データ生成部２８に出力する（ステップＳ５）。また、幾何補正部２６は、ステップＳ１において、更新通知信号を入力していないと判定すると（ステップＳ１／ＮＯ）、画像データの出力先の変更は行わずに、補正後の画像データを背景データ生成部２８に出力する（ステップＳ５）。

図６は、背景データ生成部２８の処理手順を示すフローチャートである。
背景データ生成部２８は、制御部３０から入力されるＬｓｙｎ及びＶｓｙｎｃに同期して、幾何補正部２６から入力される画像データ、又は背景データをフレームメモリー２７に書き込む。
背景データ生成部２８は、背景マップ記憶部２５２に記憶された背景マップを参照して、フレームメモリー２７に次に書き込むデータが、背景データであるか否かを判定する（ステップＳ１１）。背景データ生成部２８は、次に書き込むデータが背景データであると判定すると（ステップＳ１１／ＹＥＳ）、背景データを、出力画像Ｐ１を形成するデータとしてフレームメモリー２７に書き込む（ステップＳ１３）。また、背景データ生成部２８は、次に書き込むデータが背景データではないと判定すると（ステップＳ１１／ＮＯ）、幾何補正部２６から入力される画像データを、出力画像Ｐ１を形成するデータとしてフレームメモリー２７に書き込む（ステップＳ１２）。ステップＳ１２又はＳ１３の処理が終了すると、背景データ生成部２８は、背景マップを参照して、フレームメモリー２７への書き込みが終了したか否かを判定する（ステップＳ１４）。書き込みが終了ではないと判定すると（ステップＳ１４／ＮＯ）、背景データ生成部２８は、ステップＳ１１に戻る。また、書き込みが終了であると判定すると（ステップＳ１４／ＹＥＳ）、背景データ生成部２８は、この処理フローを終了させる。

図７は、本実施形態との比較例を示す図であり、図７（Ａ）はフレームメモリー２７の全面を背景データで塗りつぶした状態を示す図であり、図７（Ｂ）は画像領域を画像データで上書きした状態を示す図である。
図７（Ａ）に示すようにフレームメモリー２７の全面を背景データで塗りつぶした後に、図７（Ｂ）に示すように画像領域を画像データで上書きした場合、画像領域には、画像データと背景データとの２回、データが書き込まれる。すなわち、フレームメモリー２７に書き込まれるデータに不要なデータが発生している。
これに対して、本実施形態は、幾何補正部２６から画像データが出力されないタイミングを背景マップに基づいて背景データ生成部２８が判定して、画像データが出力されないタイミングでは、背景データ生成部２８が背景データをフレームメモリー２７に出力して書き込んでいる。このため、画像領域に画像データが２度書き込まれることはなく、１フレーム分のデータ書き込み時間で出力画像Ｐ１をフレームメモリー２７に書き込むことができる。

［第２の実施形態］
図８は、第２の実施形態の画像処理部（画像処理装置）２５Ｂの構成図である。画像処理部２５Ｂは、幾何補正部２６と、処理部２９とを備える。
幾何補正部２６は、入力画像データＤに対して幾何補正処理を行って、補正後の画像データをフレームメモリー２７に記憶させる。処理部２９は、幾何補正部２６により処理された画像をフレームメモリー２７から読み出し、この画像に対して、解像度変換、デジタルズーム、色調補正、輝度補正のうちのいずれか１つ以上を実行する。

幾何補正部２６は、ラインバッファー２６１と、転送先座標テーブル２６２と、座標演算部（位置情報生成部）２６３と、補間部２６４と、フィルターテーブル２６５とを備える。また、座標演算部２６３は、第１変換部２６３１と、選択部２６３２と、第２変換部２６３３とを備える。

ラインバッファー２６１は、ラインバッファー２６１Ａ、ラインバッファー２６１Ｂ、ラインバッファー２６１Ｃ及びラインバッファー２６１Ｄを備える。各ラインバッファー２６１Ａ、２６１Ｂ、２６１Ｃ及び２６１Ｄは、水平方向の１ライン分の画像データを記憶する。すなわち、本実施形態のラインバッファー２６１は、水平方向の４ライン分の画像データを記憶する。以下では、Ｉ／Ｆ部２４から入力され、ラインバッファー２６１に記憶された水平方向の複数ライン分の画像データを画像データＤ１と表記する。
ラインバッファー２６１の記憶する画像データＤ１には、画像データＤ１を構成する各画素の画素データが含まれる。画素データは、１フレームの画像データでの画素位置を示す画素位置情報と、各画素の画素値とを含む。
図８には、４つのラインバッファー２６１Ａ、２６１Ｂ、２６１Ｃ及び２６１Ｄを備えたラインバッファー２６１を示したが、ラインバッファーの数は４つに限定されるものではなく、補間部２６４の補間処理に必要とする画素数に応じて増減できる。

転送先座標テーブル２６２には、座標変換情報が登録されている。座標変換情報は、幾何補正処理を施す前の画像（以下、補正前画像という）上の代表点について、幾何補正後の画像（以下、補正後画像という）上の座標を計算して、代表点の補正前画像上の座標と、補正後画像上の座標とを対応付けた情報である。
なお、以下では、幾何補正処理の一例として台形歪み補正を行う場合について説明する。座標変換情報は、プロジェクター１の制御部３０によって算出され、転送先座標テーブル２６２に登録される。

図９は、座標変換情報の算出方法の説明図であり、図９（Ａ）は光変調装置１２が備える液晶パネルの画素領域１２ａに描画された補正前画像Ｐ２を示し、図９（Ｂ）は画素領域１２ａに描画された補正後画像Ｐ３を示す。
本実施形態では、図９（Ａ）に示すように、補正前画像Ｐ２をＬ画素×Ｌ画素（Ｌは任意の自然数）の矩形のブロックに分割し、分割した各ブロックの格子点を前述の代表点としている。分割した各ブロックの格子点について補正後画像Ｐ３上の座標を計算し、補正前画像Ｐ２上の座標と、補正後画像Ｐ３上の座標とを対応付けて転送先座標テーブル２６２に登録している。なお、補正前画像Ｐ２に設定された直交座標系をＸ−Ｙ座標系とし、補正後画像Ｐ３に設定された直交座標系をｘ−ｙ座標系とする。
例えば、図９（Ａ）に示す補正前画像Ｐ２上のブロックの各格子点（Ｘ０，Ｙ０），（Ｘ１，Ｙ１），（Ｘ２，Ｙ２），（Ｘ３，Ｙ３）の座標と、図９（Ｂ）に示す補正後画像Ｐ３上のブロックの各格子点（ｘ０，ｙ０），（ｘ１，ｙ１），（ｘ２，ｙ２），（ｘ３，ｙ３）の座標とがそれぞれに対応付けられる。

座標演算部２６３は、ラインバッファー２６１に格納された複数ラインの画像データＤ１から、画素値の算出が可能な補正前画像Ｐ２上の出力画素の座標を算出する。座標演算部２６３は、算出した出力画素の座標を補正前画像Ｐ２上の座標に変換して、補間部２６４に通知する。補間部２６４は、座標演算部２６３から通知された補正前画像Ｐ２上の座標の画素値を、ラインバッファー２６１から読み込んだ画素の画素値に基づいて算出する。このため、本実施形態は、補間部２６４が補間処理に使用する画素数を削減して、ラインバッファー２６１と補間部２６４とをつなぐバスの帯域負荷の増大を低減することができる。

座標演算部２６３を構成する各部について説明する。第１変換部２６３１は、補正前画像Ｐ２を構成する画素の座標を、補正後画像Ｐ３上の座標に変換する。補正前画像Ｐ２を構成する画素は、補正前画像Ｐ２上の座標値が整数の位置に配置され、補正前画像Ｐ２上での座標値に小数点が含まれる位置には、画素が存在しない。また、補正後画像Ｐ３上の「座標」には、座標値に小数点を含む場合が含まれる。選択部２６３２は、補正前画像Ｐ２を構成する画素の補正後画像Ｐ３上の座標に基づいて、補正後画像Ｐ３を構成する出力画素を選択する。第２変換部２６３３は、選択部２６３２の選択した出力画素の補正前画像Ｐ２上の座標を算出する。
以下、第１変換部２６３１、選択部２６３２、第２変換部２６３３の処理について詳細に説明する。

図１０は、第２の実施形態の幾何補正部２６の処理手順を示すフローチャートである。
まず、第１変換部２６３１は、転送先座標テーブル２６２を参照して、補正前画像Ｐ２上の座標（Ｘ，Ｙ）を、補正後画像Ｐ３上の座標（ｘ，ｙ）に変換する線形変換の変換式を求める（ステップＳ２１）。
図１１は幾何補正の説明図であり、図１１（Ａ）は補正前画像Ｐ２を構成する１ブロックであるブロックＡを拡大した拡大図を示し、図１１（Ｂ）は補正後画像Ｐ３におけるブロックＡの拡大図を示す。補正を行うことで、補正前画像Ｐ２上のブロックＡが、補正後画像Ｐ３上のブロックＡに補正される。また、Ｌ（Ｌは任意の自然数）画素×Ｌ画素のかたまりをブロックと表記する。図１１（Ａ）に示すブロックＡ内の座標（Ｘ，Ｙ）を、補正後の座標（ｘ，ｙ）に変換する変換式が下記式（１）、（２）となる。

式（１）、（２）を簡略化するため、ｘ１’＝ｘ１−ｘ０，ｘ２’＝ｘ２−ｘ０，ｘ３’＝ｘ３−ｘ０，ｙ１’＝ｙ１−ｙ０，ｙ２’＝ｙ２−ｙ０，ｙ３’＝ｙ３−ｙ０とする。
また、座標（Ｘ，Ｙ）は、ブロックＡの左上を原点とする座標である。すなわち、補正前画像Ｐ２の原点（０、０）から座標（Ｘ，Ｙ）までの座標は、座標（Ｘ，Ｙ）に、原点からブロックＡの左上の格子点までの距離を加算して求めることができる。補正後画像Ｐ３上の座標（ｘ，ｙ）は、補正後画像Ｐ３の原点（０，０）を原点とする座標である。

図１２は、幾何補正の説明図であり、図１２（Ａ）は図１１（Ａ）に示すブロックＡ内の選択された４画素を示し、図１２（Ｂ）は選択された４画素の幾何補正後の画素位置を示す図である。
次に、選択部２６３２は、補正前画像Ｐ２において、ブロック内の小さい領域の４画素（例えば、２×２画素）を選択し、選択した４画素の補正後画像Ｐ３上の座標を上述した式（１）、（２）により算出する（ステップＳ２２）。以下では、選択された４画素を画素ａ，ｂ，ｃ，ｄと呼ぶ。補正前画像Ｐ２上の選択された４画素ａ，ｂ，ｃ，ｄを図１２（Ａ）に示す。選択された４画素ａ，ｂ，ｃ，ｄの補正後画像Ｐ３上の位置を図１２（Ｂ）に示す。また、図１２（Ｂ）には、４画素ａ，ｂ，ｃ，ｄと、その周囲に位置する、座標値が整数で表される画素（以下、整数画素という）とを拡大して表示する。

次に、選択部２６３２は、出力画素と背景画素とを特定する（ステップＳ２３）。選択部２６３２は、補正後画像Ｐ３上の４画素ａ，ｂ，ｃ，ｄで囲まれた範囲内にある整数画素を出力画素として特定する。図１２（Ｂ）に示す４画素ａ，ｂ，ｃ，ｄで囲まれた画素Ｆが出力画素Ｆとなる。また、選択部２６３２は、補正後画像Ｐ３上の４画素ａ，ｂ，ｃ，ｄで囲まれなかった整数画素が存在する場合、この整数画素を背景領域に含まれる背景画素として特定する。選択部２６３２は、背景画素に分類された補正後画像Ｐ３上の整数画素の座標（画素位置）を表す背景座標情報（位置情報）を生成する。

図１３は、幾何補正処理の説明図であり、図１３（Ａ）は補正後画像Ｐ３上の４画素に囲まれた出力画素を示す図であり、図１３（Ｂ）は４画素及び出力画素を補正前の状態に戻した状態を示す図である。
次に、第２変換部２６３３は、出力画素Ｆの補正前画像Ｐ２上の座標を算出する（ステップＳ２４）。ステップＳ２２で選択した４画素ａ，ｂ，ｃ，ｄの補正後画像Ｐ３上の座標を図１３（Ａ）に示すようにａ（ｘｆ０，ｙｆ０），ｂ（ｘｆ１，ｙｆ１），ｃ（ｘｆ２，ｙｆ２），ｄ（ｘｆ３，ｙｆ３）と表記する。また、ステップＳ２３で特定した出力画素Ｆの座標を図１３（Ａ）に示すように（ｘｉ，ｙｉ）と表記する。
第２変換部２６３３は、まず、出力画素Ｆが、４画素ａ，ｂ，ｃ，ｄのうち、ａ（ｘｆ０，ｙｆ０），ｃ（ｘｆ２，ｙｆ２），ｄ（ｘｆ３，ｙｆ３）で囲まれた三角形の範囲内に含まれるのか、ａ（ｘｆ０，ｙｆ０），ｂ（ｘｆ１，ｙｆ１），ｄ（ｘｆ３，ｙｆ３）で囲まれた三角形の範囲内に含まれるのかを判定する。
第２変換部２６３３は、出力画素Ｆが、ａ（ｘｆ０，ｙｆ０），ｃ（ｘｆ２，ｙｆ２），ｄ（ｘｆ３，ｙｆ３）で囲まれた三角形の範囲内に含まれると判定する場合、下記式（３）、（４）により出力画素Ｆ（ｘｉ，ｙｉ）の補正前画像Ｐ２上の座標（ＸＦ，ＹＦ）を算出する。図１３（Ｂ）に、出力画素Ｆ（ｘｉ，ｙｉ）の補正前画像Ｐ２上の座標（ＸＦ，ＹＦ）を示す。式（３）及び（４）は、４画素ａ，ｂ，ｃ，ｄの補正後画像Ｐ３上の座標を、補正前画像Ｐ２上の座標に戻すアフィン変換の変換式を求めて、求めた変換式により出力画素Ｆ（ｘｉ，ｙｉ）を補正前画像Ｐ２の座標（ＸＦ，ＹＦ）に変換することで求められる式である。また、式（３）及び（４）に示すＭの値は、画素間の距離に対応した値であり、上下左右に隣接する２×２画素の座標とした場合、Ｍの値は１になる。

また、座標演算部２６３は、出力画素Ｆが、ａ（ｘｆ０，ｙｆ０），ｂ（ｘｆ１，ｙｆ１），ｄ（ｘｆ３，ｙｆ３）で囲まれた三角形の範囲内に含まれる場合、下記式（５）、（６）により出力画素Ｆ（ｘｉ，ｙｉ）の補正前画像Ｐ２上の座標（ＸＦ，ＹＦ）を算出する変換式を求める。式（５）及び（６）は、４画素ａ，ｂ，ｃ，ｄの補正後画像Ｐ３上の座標を、補正前画像Ｐ２上の座標に戻すアフィン変換の変換式を求めて、求めた変換式により出力画素Ｆ（ｘｉ，ｙｉ）を補正前画像Ｐ２の座標（ＸＦ，ＹＦ）に変換することで求められる式である。また、式（５）、（６）に示すＭの値は、画素間の距離に対応した値であり、上下左右に隣接する２×２画素の座標とした場合のＭの値は１になる。

また、４画素ａ，ｂ，ｃ，ｄの補正後画像Ｐ３上の座標によって囲まれる出力画素が複数存在する場合、座標演算部２６３は、各出力画素について、補正前画像Ｐ２上の座標（ＸＦ，ＹＦ）を算出する。
なお、本実施形態では、出力画素Ｆの補正前画像Ｐ２上の座標を算出する際に線形変換ではなく、アフィン変換を用いている。これは、線形変換の変換式の逆関数を求める演算が複雑となるため、アフィン変換を用いて出力画素Ｆの補正前画像Ｐ２上の座標を算出している。

次に、座標演算部２６３は、上記ステップＳ２２〜Ｓ２４の処理を、補正前画像Ｐ２に含まれるすべての４画素の組み合わせで実施したか否かを判定する（ステップＳ２５）。否定判定の場合（ステップＳ２５／ＮＯ）、座標演算部２６３は、ステップＳ２２の処理に戻り、選択していない他の４画素の組み合わせによりステップＳ２２〜Ｓ２４の処理を実施する。
また、座標演算部２６３は、上記ステップＳ２２〜Ｓ２４の処理を、補正前画像Ｐ２に含まれる４画素の全ての組み合わせで実施して、背景座標情報を生成する。また、座標演算部２６３は、背景座標情報の生成の際に、背景画素と、画像領域の画素との境界に位置する画素を特定することで、背景座標情報の作成を簡略化してもよい。例えば、座標演算部２６３は、水平方向の同一ラインにおいて、背景画素に分類された画素の下側の画素が、画像領域の画素である場合、背景画素よりも上側の画素をすべて背景画素に分類する。

ステップＳ２５の判定が肯定判定の場合（ステップＳ２５／ＹＥＳ）、座標演算部２６３は、出力画素Ｆの座標（ＸＦ，ＹＦ）を補間部２６４に通知する。座標演算部２６３は、ステップＳ２４で算出した補正前画像Ｐ２上の出力画素Ｆの座標（ＸＦ，ＹＦ）のうち、ラインバッファー２６１に格納された画像データＤ１に基づいて、補間処理が可能な出力画素Ｆの座標（ＸＦ，ＹＦ）を補間部２６４に通知する（ステップＳ２６）。例えば、補間部２６４による補間処理が、４Ｔａｐフィルターによる補間処理である場合、画像データＤ１の４×４画素が必要となる。このため、座標演算部２６３は、周囲の４×４画素の画素データがラインバッファー２６１に格納されている出力画素Ｆを選択して補間部２６４に通知する。
また、座標演算部２６３は、算出した背景座標情報を背景データ生成部２８に通知する（ステップＳ２７）。

フィルターテーブル２６５には、補間部２６４が補間処理に使用する、Ｘ軸方向、Ｙ軸方向のフィルター係数が登録されている。フィルター係数は、補正後画像Ｐ３を構成する出力画素のうち、補正前画像Ｐ２の対応する１つの画素を特定できない画素について、補間処理により画素値を求めるための係数である。例えば、フィルターテーブル２６５には、縦横分離型の１次元フィルターのフィルター係数が登録されている。

補間部２６４は、座標演算部２６３から通知された出力画素Ｆ（ＸＦ，ＹＦ）の補正前画像Ｐ２上の座標における画素値を補間演算によって算出する（ステップＳ２８）。例えば、補間部２６４が補間演算に使用する補間フィルターのＴａｐ数が４である場合、補間部２６４は、出力画素Ｆ（ＸＦ，ＹＦ）の周囲の４×４画素を補間処理に使用する。また、補間部２６４は、出力画素Ｆ（ＸＦ，ＹＦ）と、この出力画素Ｆに最も近い整数画素との距離（ｄＸ，ｄＹ）に基づいて、補間フィルターのフィルター係数を選択する。補間部２６４は、選択した画素の画素値と、選択した補間フィルターのフィルター係数との畳み込み演算を行って、出力画素Ｆ（ＸＦ，ＹＦ）の画素値を算出する。補間部２６４は、画素値を算出すると、算出した出力画素Ｆ（ＸＦ，ＹＦ）の画素値を背景データ生成部２８に出力する（ステップＳ２９）。

背景データ生成部２８は、座標演算部２６３から取得した背景座標情報に基づいて、フレームメモリー２７に背景データ又は画像データを書き込む。この場合の背景データ生成部２８の処理手順は、背景データ生成部２８が参照する情報が、第１の実施形態で説明した背景マップから背景座標情報に変更されるだけであるため、説明を省略する。

以上説明したように、本発明を適用した実施形態に係るプロジェクター１は、入力画像を幾何補正して出力画像を生成する画像処理装置であって、幾何補正部２６と、背景データ生成部２８とを備える。幾何補正部２６は、入力画像の幾何補正を行う。背景データ生成部２８は、幾何補正部２６から入力画像を幾何補正した補正後画像のデータが入力された場合に、補正後画像のデータを出力画像のデータとして出力し、幾何補正部２６から補正後画像のデータが入力されない場合に、補正後画像の背景となる背景画像のデータを出力画像のデータとして出力する。従って、幾何補正に伴う画像の表示画質の低下を抑制することができる。

また、プロジェクター１は、幾何補正部２６から補正後画像のデータが出力されない、出力画像の画素位置を示す位置情報を生成する座標演算部２６３を備える。背景データ生成部２８は、位置情報に基づいて、幾何補正部２６から補正後画像のデータが入力されないタイミングを判定し、補正後画像のデータが入力されないタイミングで背景画像のデータを出力する。従って、幾何補正部２６から補正後画像のデータが入力されないタイミングを正確に判定して、背景画像のデータを出力画像として出力することができる。

また、背景マップ生成部２５１は、幾何補正部２６が入力画像の１フレームを幾何補正した際に、幾何補正部２６から入力される補正後画像のデータに基づいて、補正後画像の背景を示す背景情報を位置情報として生成する。従って、簡単な処理により位置情報を生成することができる。

なお、上述した実施形態は本発明を適用した具体的態様の例に過ぎず、本発明を限定するものではなく、上記実施形態とは異なる態様として本発明を適用することも可能である。上記実施形態では、幾何補正の一例として、台形歪み補正（キーストーン補正）を行う例を示して説明したが、本発明はこれに限定されず、樽型歪み補正（糸巻き型歪み補正）を行う場合にも適用可能であるし、より複雑な形状に画像を変形させる幾何補正にも適用可能である。

また、上記実施形態では、光源が発した光を変調する光変調装置１２として、ＲＧＢの各色に対応した３枚の透過型の液晶パネルを用いた構成を例に挙げて説明したが、本発明はこれに限定されるものではない。例えば、３枚の反射型液晶パネルを用いた構成としてもよいし、１枚の液晶パネルとカラーホイールを組み合わせた方式を用いてもよい。或いは、３枚のデジタルミラーデバイス（ＤＭＤ）を用いた方式、１枚のデジタルミラーデバイスとカラーホイールを組み合わせたＤＭＤ方式等により構成してもよい。光変調装置として１枚のみの液晶パネルまたはＤＭＤを用いる場合には、クロスダイクロイックプリズム等の合成光学系に相当する部材は不要である。また、液晶パネルおよびＤＭＤ以外にも、光源が発した光を変調可能な光変調装置であれば問題なく採用できる。

また、上記実施形態では、画像処理装置を搭載した装置として、スクリーンＳＣの前方から投射するフロントプロジェクション型のプロジェクター１を示したが、本発明はこれに限定されない。例えば、スクリーンＳＣの背面側から投射するリアプロジェクション（背面投射）型のプロジェクターを表示装置として採用できる。また、液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイ、プラズマディスプレイ、ＣＲＴ（陰極線管）ディスプレイ、ＳＥＤ（Surface-conduction Electron-emitter Display）等を表示装置として用いることができる。
また、図１、図２及び図８に示した各機能部は機能的構成を示すものであって、具体的な実装形態は特に制限されない。つまり、必ずしも各機能部に個別に対応するハードウェアが実装される必要はなく、一つのプロセッサーがプログラムを実行することで複数の機能部の機能を実現する構成とすることも勿論可能である。また、上記実施形態においてソフトウェアで実現される機能の一部をハードウェアで実現してもよく、あるいは、ハードウェアで実現される機能の一部をソフトウェアで実現してもよい。その他、プロジェクター１の他の各部の具体的な細部構成についても、本発明の趣旨を逸脱しない範囲で任意に変更可能である。

１…プロジェクター（表示装置）、３…画像供給装置、１０…表示部、１１…光源部、１２…光変調装置、１２ａ…画素領域、１３…投射光学系、２２…光源駆動部、２３…光変調装置駆動部、２５Ａ，２５Ｂ…画像処理部（画像処理装置）、２６…幾何補正部（画像変形部）、２７…フレームメモリー、２８…背景データ生成部（出力画像生成部）、２９…処理部、３０…制御部、３１…投射制御部、３２…補正制御部、５１…操作パネル、５２…リモコン受光部、５３…入力処理部、５４…記憶部、５５…無線通信部、２５１…背景マップ生成部（位置情報生成部）、２５２…背景マップ記憶部、２６１…ラインバッファー、２６２…転送先座標テーブル、２６３…座標演算部（位置情報生成部）、２６３１…第１変換部、２６３２…選択部、２６３３…第２変換部、２６４…補間部、２６５…フィルターテーブル、ＳＣ…スクリーン。

Claims (3)

1. 入力画像を変形して変形後画像を生成する画像変形部と、
   前記画像変形部が生成した前記変形後画像に背景画像を合成して出力画像を生成する出力画像生成部と、
   前記画像変形部から前記変形後画像のデータが出力されない前記出力画像の画素位置を示す背景座標情報を生成する位置情報生成部と、を備え、
   前記位置情報生成部は、
   前記入力画像上の代表点の座標を、前記変形後画像上の座標に対応づけた情報に基づき、前記入力画像上の座標を前記変形後画像上の座標に変換する変換式を求め、求めた前記変換式に基づき、前記入力画像を構成する互いに隣接した４つの画素の座標を前記変形後画像上の座標に変換し、変換した４つの前記画素の座標により囲まれた座標値が整数で表される画素を前記変形後画像となる画素として特定し、４つの前記画素の座標によりで囲まれていない座標値が整数で表される画素を前記背景画像となる画素として特定して前記背景座標情報を生成し、
   前記出力画像生成部は、前記背景座標情報に基づいて、前記画像変形部から前記変形後画像のデータが出力されないタイミングで前記背景画像のデータを出力する、ことを特徴とする画像処理装置。
2. 入力画像を変形して変形後画像を生成する画像変形部と、
   前記画像変形部が生成した前記変形後画像に背景画像を合成して出力画像を生成する出力画像生成部と、
   前記出力画像生成部が生成した前記出力画像を表示する表示部と、
   前記画像変形部から前記変形後画像のデータが出力されない前記出力画像の画素位置を示す背景座標情報を生成する位置情報生成部と、を備え、
   前記位置情報生成部は、
   前記入力画像上の代表点の座標を、前記変形後画像上の座標に対応づけた情報に基づき、前記入力画像上の座標を前記変形後画像上の座標に変換する変換式を求め、求めた前記変換式に基づき、前記入力画像を構成する互いに隣接した４つの画素の座標を前記変形後画像上の座標に変換し、変換した４つの前記画素の座標により囲まれた座標値が整数で表される画素を前記変形後画像となる画素として特定し、４つの前記画素の座標によりで囲まれていない座標値が整数で表される画素を前記背景画像となる画素として特定し前記背景座標情報を生成し、
   前記出力画像生成部は、前記背景座標情報に基づいて、前記画像変形部から前記変形後画像のデータが出力されないタイミングで前記背景画像のデータを出力する、ことを特徴とする表示装置。
3. 入力画像を変形して変形後画像を生成するステップと、
   生成された前記変形後画像に背景画像を合成して出力画像を生成するステップと、
   前記変形後画像のデータが出力されない前記出力画像の画素位置を示す背景座標情報を生成するステップと、を有し、
   前記背景座標情報を生成するステップは、
   前記入力画像上の代表点の座標を、前記変形後画像上の座標に対応づけた情報に基づき、前記入力画像上の座標を前記変形後画像上の座標に変換する変換式を求め、
   求めた前記変換式に基づき、前記入力画像を構成する互いに隣接した４つの画素の座標を前記変形後画像上の座標に変換し、
   変換した４つの前記画素の座標により囲まれた座標値が整数で表される画素を前記変形後画像となる画素として特定し、４つの前記画素の座標によりで囲まれていない座標値が整数で表される画素を前記背景画像となる画素として特定し前記背景座標情報を生成し、
   前記出力画像を生成するステップは、前記背景座標情報に基づいて、前記変形後画像を生成するステップにより前記変形後画像のデータが出力されないタイミングで前記背景画像のデータを出力する、ことを特徴とする画像処理装置の制御方法。

Images