JP5268271B2

JP5268271B2 - 画像表示装置および画像表示方法

Info

Publication number: JP5268271B2
Application number: JP2007076697A
Authority: JP
Inventors: 隆佐々木; あいら堀田; 治彦奥村
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2007-03-23
Filing date: 2007-03-23
Publication date: 2013-08-21
Anticipated expiration: 2027-03-23
Also published as: JP2008233765A

Description

本発明は，画像表示装置および画像表示方法に関する。

観察者の観察位置が変化しても，常に観察者に違和感のない画像を表示することができる画像表示装置に関する技術が開示されている（特許文献１参照）。全体画像情報を第１投影器へ出力し，この全体画像をスクリーン上に表示させる。観察者の視線位置を検出した視線位置信号を基に，観察者の観察位置に適合した解像度に変化させた局所画像情報を第２投影器へ出力し，この局所画像をスクリーン上に表示させる。
特開平０７−１３５５２号公報

しかしながら，前記技術では第１，第２投影器から異なる解像度の画像を投影していることから，２つの画像の境界（例えば，画像の周辺）で画像に歪みが生じ易い。視線位置の検出に誤差が有れば，観察者がより敏感に画像の歪みを知覚することになる。また，視点を移動した時には，その移動方向についての画像の歪みを観察者がより敏感に知覚することになる。
上記に鑑み，本発明は，観察者の視線に対応し，かつ画像の歪みを低減した画像表示装置および画像表示方法を提供することを目的とする。

本発明の一態様に係る画像表示装置は，画像を表示する表示部と，前記表示部上での観察者の視線位置を導出する導出部と，前記導出される視線位置を囲む第１の領域と，この第１の領域を囲み，この第１の領域と拡大率が異なる第２の領域と，この第１，第２の領域の間に配置され，拡大率が連続して変化する第３の領域と，に対応して，画像データを変換する変換部と，前記変換された画像データの前記表示部への表示を制御する制御部と，を具備することを特徴とする。

本発明の一態様に係る画像表示方法は，表示部上での観察者の視線位置を導出するステップと，前記導出される視線位置を囲む第１の領域と，この第１の領域を囲み，この第１の領域と拡大率が異なる第２の領域と，この第１，第２の領域の間に配置され，拡大率が連続して変化する第３の領域と，に対応して，画像データを変換するステップと，前記変換された画像データの前記表示部への表示を制御するステップと，を具備することを特徴とする。

本発明によれば，観察者の視線に対応し，かつ画像の歪みを低減した画像表示装置および画像表示方法を提供できる。

以下，図面を参照して，本発明の実施の形態を詳細に説明する。
（第１の実施の形態）
図１は，本発明の第１実施形態に係る画像表示装置１００を表すブロック図である。
画像表示装置１００は，画像蓄積部１１，広角変換処理部１２，画像メモリ１３，１４，表示部１５，切り替えスイッチ１６ａ，１６ｂ，切替制御部１７，基礎情報記憶部１８，広角変換テーブル作成部１９，眼球運動検出部２１，眼球運動測定部２２，視線位置導出部２３を備える。

画像蓄積部１１は，例えば，ハードディスク，半導体メモリ等の記憶装置であり，画像（例えば，静止画，動画）情報を蓄積，出力する。
広角変換処理部１２は，広角変換テーブルを保持し，この広角変換テーブルに基づき，画像蓄積部１１から出力される画像に広角変換を施す。広角変換処理部１２が画像メモリ１３，１４の記憶内容を書き替えることで，この広角変換がなされる。

広角変換テーブルには，後述の式（７）のように，視線位置Ｃｅ（Ｃｘ，Ｃｙ）および変換前の画素の座標Ｐ０（ｘ０，ｙ０）と，変換後の座標Ｐ１（ｘ１，ｙ１）とが対応して表される。

広角変換処理部１２は，式（７）に基づき，画像メモリ１３，１４上で画像を構成する画素の位置を変更することで，画像を広角変換する。広角変換処理部１２は，画像メモリ１３，１４からデータを読み出し，書き込む。読み出し時のアドレスと，書き込み時のアドレスを制御することで，広角変換が実行される。画像メモリ１３，１４上でのアドレスは，画素の位置に対応するからである。このように，広角変換は，一種のアドレス変換であり，比較的高速（例えば，リアルタイム）に実行できる。

変換前後の画素の対応関係は必ずしも１対１とは限らない。
画像が拡大される場合には，変換前の単一画素を変換後の複数画素に対応させることが可能となる。画像を拡大するときに，変換前後の画素が１対１だと，変換後の画素間に変換前の画素と対応しない画素が存在することになる。即ち，表示領域Ａｄ上に変換後の画素が点状に配置され（見かけ上，画素の欠落が生じ），観察上好ましくない。

画像が縮小される場合には，変換前の複数画素が変換後の単一画素に対応する可能性がある。表示領域Ａｄの解像度の関係で，画像の縮小に伴い，画素数が減少することが考えられる。但し，変換後の画素数が減少することは画像の解像度が低下することになり好ましくない。後述のように，表示領域Ａｄ上で表示可能な画素の密度（精細度）を充分大きくすることで，解像度の低下を防止できる。

画像メモリ１３，１４は，画像を記憶するための記憶装置，例えば，半導体メモリであり，変換される画像データを記憶する複数の記憶部として機能する。画像メモリ１３，１４に記憶される画像が表示部１５で表示されることから，画像メモリ１３，１４の記憶内容を広角変換処理部１２が書き替えることで，画像の広角変換がなされる。画像メモリ１３，１４は，切り替えスイッチ１６ａ，１６ｂで切り替えられ広角変換用，表示用として交互に用いられる。このため，画像メモリ１３，１４には，現在の画像と１フレーム前の画像が交互に入力される。

表示部１５は，画像を表示する表示装置である。表示部１５には，直視型の表示装置（例えば，ＣＲＴ，液晶表示装置），投影型の表示装置（例えば，プロジェクタ）の何れでも利用できる。表示部１５は，画像メモリ１３，１４に記憶された広角変換画像を表示する表示領域Ａｄを有する。なお，投影型の表示装置の場合，表示領域Ａｄはいわゆるスクリーンである。

図２は，表示部１５の表示領域Ａｄと観察者の視点Ｐｅとの関係を表す模式図である。
表示領域Ａｄは，比較的大面積で略矩形状の平面領域であり，視線位置Ｃｅ（Ｃｘ，Ｃｙ），および基準視線位置Ｃｅ０（Ｃｘ０，Ｃｙ０）が配置される。なお，後述のように，表示領域Ａｄを曲面とすることも可能である。
観察者の視点Ｐｅは，観察者の両目の中間に位置し，観察者の視野の基準となる点であり，表示領域Ａｄから距離Ｄの位置に配置される。

視線位置Ｃｅは，表示領域Ａｄ上での観察者の視線の位置（視野の中心）である。基準視線位置Ｃｅ０は，表示領域Ａｄ上での観察者の視線の位置の基準である。基準視線位置Ｃｅ０は，表示領域Ａｄと観察者の位置関係によって定まり，観察者の視点Ｐｅの正面に配置される。一方，視線位置Ｃｅは，観察者の視線の方向（眼球の動き等）によって変化する。ここでは，視線位置Ｃｅは，基準視線位置Ｃｅ０に対して，視点Ｐｅの左右方向および上下方向の角度θｘ，θｙを有する。

表示領域Ａｄは，領域Ａ０，Ａ１に区分される。領域Ａ０は，視線位置Ｃｅを囲む領域であり，導出される視線位置を囲む第１の領域として機能する。領域Ａ１は，領域Ａ０を囲む領域であり，第１の領域を囲み，この第１の領域と拡大率が異なる第２の領域，およびこの第１，第２の領域の間に配置され，拡大率が連続して変化する第３の領域として機能する。領域Ａ１を例えば，領域Ａ０の近傍とそれ以外の領域に区分することを考える。この前者，後者がそれぞれ第２，第３の領域に該当する。

領域Ａ０，Ａ１の境界は，視線位置Ｃｅと視点Ｐｅとを結ぶ線分Ｌｐに対して，角θthをなす。観察者からの視角，言い換えれば，観察者の視野中心からのズレに応じて，表示の拡大率を変化させることを考慮したためである。
領域Ａ０と視点Ｐｅは，略円錐状（直円錐形状，斜円錐形状）の空間を形成する。この結果，領域Ａ０の外形（境界）は，略円状（正確には，円錐曲線）をなす。ここでは，領域Ａ０を視線位置Ｃｅを中心とし半径Ｌthの略円状の領域として，近似することとする。

ここで，画像の拡大率は場所によって異なる。この拡大率の相違は，広角変換処理部１２での広角変換の結果である。
図３は，広角変換処理部１２での広角変換処理前後の画像Ｇ０，Ｇ１を対応して表す模式図である。
領域Ａ０に対応する画像の中央部分Ａ００，Ａ０１では拡大率が低い（例えば，拡大率が１以下）。一方，領域Ａ１に対応する画像の周辺部分Ａ１０，Ａ１１では拡大率が高い（例えば，拡大率が１より大きい）。即ち，中央部分では画像の解像度が高く，周辺部では画像が引き伸ばされている。
領域Ａ０では，画像の拡大率は一定（例えば，１．０倍）である。これに対して，領域Ａ１での画像の拡大率は，領域Ａ０との境界から遠ざかるにつれて連続的に変化する。領域Ａ０，Ａ１の境界では，領域Ａ０，Ａ１の拡大率は一致する。

このように，画像の拡大率が場所によって異なるのは，次の理由に基づく。
人間の視覚の解像度（歪の検知限）は，中心視野では高いが，周辺視野では低い。これを利用することで，簡単な画像処理で，臨場感を高めることができる。即ち，人間の視覚上重要な箇所（視野の中央部）に表示する情報を集中させる（情報の密度，即ち，解像度を高くする）ことで，高い臨場感と効率的な情報の利用とを両立できる。

以上のように画像の中央部分は縮小して表示される。このことが，表示領域Ａｄの中央部分での解像度の劣化の原因となり得る。即ち，表示領域Ａｄでの精細度の限界により，縮小された画像が鮮明に表示されない畏れがある。
ここで，表示部１５の表示領域Ａｄの中央部分での精細度の精細度を高くすることで，中央部分での解像度を良好とすることができる。

但し，表示部１５の表示領域Ａｄのハードウェア上の解像度そのものは，中央部分と周辺部分とで同一で差し支えない。例えば，画像蓄積部１１から出力される画像がＮＴＳＣ画像であり，表示部１５の表示領域Ａｄの解像度がＨＤＴＶ対応の場合，表示画像自体の解像度よりも表示領域Ａｄでの解像度が水平，垂直ともに約２倍高い。このため，中央部分を１／２に縮小しても（画素の密度を２倍にしても），表示領域Ａｄに２倍の密度の画素を表示可能である。
このように，表示画面の解像度より表示領域Ａｄの解像度が高ければ，表示領域Ａｄの中央部分を縮小すると共に，解像度を高めることができる。

切り替えスイッチ１６ａ，１６ｂは，画像メモリ１３，１４を広角変換用，表示用として切り替えるためのものであり，表示部での表示に用いる複数の記憶部を切り替える切替部として機能する。切り替えスイッチ１６ａは，画像メモリ１３，１４の何れを広角変換処理に用いるかを選択するスイッチである。切り替えスイッチ１６ａによって広角変換処理部１２に接続された画像メモリ１３，１４が広角変換処理の対象となる。切り替えスイッチ１６ｂによって表示部１５に接続された画像メモリ１３，１４が画像表示の対象となる。切り替えスイッチ１６ａ，１６ｂが動作することで，広角変換用および表示用の画像メモリ１３，１４が切り替えられる。

切替制御部１７は，フレーム切替および視線位置導出のタイミングを制御する。切替制御部１７は，第１の所定の周期（フレームタイミング）で切り替えスイッチ１６ａ，１６ｂを制御する。即ち，切替制御部１７は，変換された画像データの表示部への表示を制御する制御部として機能する。なお，この切替の間に，画像メモリ１３，１４それぞれでの広角変換処理が実行される。また，切替制御部１７は，第２の所定の周期（フレームタイミング）で眼球運動測定部２２を制御する。この結果，視線位置導出部２３が視線位置Ｃｅを導出する。即ち，切替制御部１７は，視線位置導出のタイミングを制御する。

このフレーム切替および視線位置導出は，交互，同時の何れでも差し支えない。また，第２の周期は，第１の周期と同一あるいは整数分の一の何れでも良い。視線位置導出の時間間隔をフレーム切替の時間間隔以下とすることで，より正確な視線位置に基づく広角変換が可能となる。

基礎情報記憶部１８は，観察者の位置情報（距離Ｄ），基準視線位置Ｃｅ０等の広角変換処理の基礎となる情報を記憶する。
広角変換テーブル作成部１９は，広角変換処理部１２での広角変換処理に用いられる広角変換テーブルを作成する。なお，この詳細は後述する。

眼球運動検出部２１は，観察者の眼球運動検出のためのセンサーである。眼球運動の検出には，Electro-Oculo-Graph（ＥＯＧ）法を用いることができる。ＥＯＧ法は，比較的装置構成が簡便であり，６０Ｈｚ以上と比較的高速の眼球運動の検出が可能である。

ＥＯＧ法を用いた場合，眼球運動検出部２１は，生体電極および増幅器（例えば，オペアンプ）の組み合わせにより構成できる。生体電極が観察者の眼球周辺の顔面に設けられ，眼球の帯電ポテンシャルが検出される。眼球は網膜面が負に，角膜側が正に帯電している。観察者の顔面に貼り付けた生体電極により，眼球帯電に依存した電位変化，即ち，眼球の回転状態（運動）を検出できる。増幅器は，生体電極間の電圧を増幅する。

なお，ＥＯＧ法に替えて，角膜反射法や強膜トラッカー法（強膜反射法）などを用いることもできる。角膜反射法は角膜から反射される第1プルキンエ光を計測し，眼球の回転方向を求める。強膜トラッカー法は，眼球の角膜部分（黒目）と強膜（白目）の境界からのプローブ光を計測し，黒目の回転方向を求める。

図４は，生体電極の配置の一例を表す模式図である。この例では，左眼球の眼球運動を検出している。観察者の眼球周辺の顔面に生体電極Ｅ０〜Ｅ４が配置される。生体電極Ｅ０〜Ｅ４はそれぞれ，左耳下乳状突起上，左眼窩耳側の頭蓋上，右頬骨弓耳側端上，左眼窩上耳側側頭よりの平坦部上，および眼球ほぼ直下の頬骨上に配置される。生体電極Ｅ０は，グランドであり，電位の基準となる。生体電極Ｅ１，Ｅ２間で左眼球の運動の水平成分を，生体電極Ｅ３，Ｅ４間で左眼球の運動の垂直成分を検出する。眼球回転の垂直方向と水平方向の信号成分を分離して取得し，表示領域Ａｄ上での眼球運動を追尾するためである。一般に，水平方向の眼球運動は，眼球横耳側の電極で測定可能であり，垂直方向の眼球運動は正面から見てやや眼球中心に対して逆八の字型に，耳側上方と鼻側下方に設置した電極間電位で測定すると分離が良好であるとされる。

眼球運動測定部２２は，眼球運動検出部２１からの検出結果を元に観察者の眼球運動を測定する。例えば，眼球運動検出部２１から出力される電圧差の信号に基づき，図２の角度θｘ，θｙが算出される。
視線位置導出部２３は，眼球運動測定部２２で測定された眼球運動から表示領域Ａｄ上での視線位置Ｃｅ（Ｃｘ，Ｃｙ）を導出し，広角変換処理部１２に出力する。この導出には，例えば，次の式（１）を利用できる。
Ｃｘ＝Ｃｘ０＋Ｄ＊ｔａｎ（θｘ）
Ｃｙ＝Ｃｙ０＋Ｄ＊ｔａｎ（θｙ） ……式（１）

（画像表示装置１００の動作）
画像表示装置１００の動作を説明する。
図５は，画像表示装置１００の動作手順の一例を表すフロー図である。
（１）視線位置の測定（ステップＳ１１）
眼球運動検出部２１からの信号に基づき，眼球運動測定部２２が眼球運動を測定する。例えば，眼球の角度θｘ，θｙが測定される。この測定結果に基づき（例えば，式（１）を用いて），視線位置Ｃｅ（Ｃｘ，Ｃｙ）が算出される。

（２）広角変換処理（ステップＳ１２）
画像蓄積部１１から出力される画像データが広角変換処理部１２，画像メモリ１３，１４に入力される。画像メモリ１３，１４の一方に最新の画像データが記憶され，他方に１フレーム前の画像データが記憶される。広角変換処理部１２は画像メモリ１３，１４の一方に記憶された最新の画像データを広角変換する。なお，画像メモリ１３，１４の他方に記憶された１フレーム前の画像データは広角変換済みであり，表示部１５で表示される。

広角変換処理では，視線位置Ｃｅ（Ｃｘ，Ｃｙ）に対応して，領域Ａ０が移動する。
図６，図７は，視線移動前後での広角変換処理の結果を示す模式図である。視線位置Ｃｅの移動に追随して，領域Ａ０（画像情報量の最も密なる領域）が移動し，観察者に高い臨場感を与えることができる。図６では，領域Ａ０が基準視線位置Ｃｅ０に配置されている。一方，図７では，視線の移動に対応して，領域Ａ０が基準視線位置Ｃｅ０からずれている。
本実施形態では，視線位置Ｃｅ（Ｃｘ，Ｃｙ）と領域Ａ０が対応することから，観察者の視線の移動にかかわらず，自然な視覚情報，ひいては高い臨場感画像を得ることが可能である。

（３）表示の切り替え（ステップＳ１３）
切替制御部１７が切り替えスイッチ１６ａ，１６ｂを制御することで，画像メモリ１３，１４での広角変換，表示が切り替えられる。この切り替えは，画像蓄積部１１からの新たな画像の出力と対応する。即ち，画像のフレームの更新と広角変換／表示の切り替えが連動することで，画像の連続的な広角変換および表示がなされる。

図８は，画像表示装置１００の動作タイミングの一例を表すタイミングチャートである。本図の横軸，縦軸がそれぞれ時間および視線位置を表す。既述のように，視線位置Ｃｅ（Ｃｘ，Ｃｙ）は２次元で表されるが，表現の都合上，本図では１次元で表している。

フレームタイミング（ｆ=・・,n,n+1,n+2,・・）に沿って，画像が更新される。フレームの更新タイミングの中間（１／２遅れたタイミング）で，視線位置が測定される。即ち，フレームの更新レート（画像のフレームレート（時間当たりの更新回数））と視線位置の測定レート（時間当たりの測定回数）が同等（例えば，６０Ｈｚ）となっている。

測定された視線位置Ｃｅ（Ｃｘ，Ｃｙ）が設定されることで，広角変換処理がなされる。設定された視線位置に対する広角変換処理は，フレームレートの１／２の時間でなされ，次のフレーム画像として用いられる。

（広角変換処理の詳細）
以下，広角変換処理の詳細を説明する。
図９は，広角変換処理テーブルの作成手順の一例を表すフロー図である。
（１）変換前の相対的表示位置と許容倍率の関係の決定（ステップＳ２１）
図１０は，視野角θと許容倍率Ｅの関係を表すグラフである。
許容倍率Ｅは，観察者が気にならない画像の拡大率の限界をいう。即ち，図１０のグラフは，視野角θに対して，気にならない拡大率の限界（広角歪検知限）Ｅを示す許容曲線であり，この曲線より下側であれば，歪が気にならないことを示す。グラフＴ１，Ｔ２はそれぞれ，上下方向（垂直方向）での許容曲線を表す。グラフＴ３，Ｔ４はそれぞれ，左右方向（水平方向）での許容曲線を表す。
視野角３０度までは，水平方向で１．１倍，垂直方向，特に上側では１．４倍までの拡大が許容できる。視野角３０度を過ぎると，限界拡大率が急激に増大することも判った。

このように複数の許容曲線Ｔ１〜Ｔ４を用意しておき，拡大率Ｅとして適宜に選択することが可能である。本実施形態では，水平方向の許容曲線（Ｔ３，Ｔ４）を垂直方向でも適用することとする。垂直方向の許容限界よりも小さいことから，水平方向の許容限界を水平，垂直の許容限界として共用することが可能である。これに対して，水平，垂直それぞれで異なる許容曲線を選択することも可能である。

表示領域Ａｄ上での視線位置Ｃｅ（Ｃｘ，Ｃｙ）からの距離Ｌに対する，拡大率Ｅ（Ｌ）の近似曲線は次の式（２）で表される。
Ｅ（Ｌ）＝１（Ｌ≦Ｌth）
＝ｅｘｐ（α＊（Ｌ−Ｌth））（Ｌ＞Ｌth） ……式（２）
ここで，α＝１．８３６８である。
なお，式（２）は，被験者による測定結果を最小二乗法で近似することで，求められる。

Ｌthは，拡大率が一定である範囲（歪を与えない領域（図２の領域Ａ０））の大きさを示す。即ち，Ｌthは，視線位置Ｃｅ（Ｃｘ，Ｃｙ）から領域Ａ０の限界（境界）までの距離（半径）を示す。視野角３０度までは歪が認識されないことから，Ｌthは以下の式（３）で近似的に表される。
Ｌth〜Ｄ＊ｔａｎ（θth）＝Ｄ＊ｔａｎ（３０°／２） ……式（３）

（２）変換前後での距離関係の算出（ステップＳ２２）
拡大率が場所によって異なるので，広角変換後での視線位置Ｃｅからの距離Ｌactは，距離ＬでＥ（Ｌ）を積分することで算出される。
Ｌact（Ｌ）＝∫_Ｌ＝０ ^Ｌ＝Ｌ［Ｅ（Ｌ）］ｄＬ
＝Ｌ（Ｌ≦Ｌth）
＝Ｌth＋∫_Ｌ＝Ｌth ^Ｌ＝Ｌ［Ｅ（Ｌ）］ｄＬ（Ｌ＞Ｌth）
∫_Ｌ＝Ｌth ^Ｌ＝Ｌ［Ｅ（Ｌ）］ｄＬ＝（ｅｘｐ（α＊（Ｌ−Ｌth））＋１）／α
……式（４）
この式（４）は，変換前後での画像の距離関係を表す。

（３）基礎情報（広角変換基礎情報）の入手（ステップＳ２３）
広角変換処理基礎情報を入手する。広角変換処理基礎情報を以下に示す。
・表示領域Ａｄと観察者との距離Ｄ
距離Ｄの情報は，キーボード等の入力装置により入力することができる。また，距離Ｄを検知器により検知しても良い。超音波や赤外線を出射してから，観察者に反射されて戻る時間に基づいて，距離Ｄを検出することができる。

（４）変換前後の画素の対応関係の算出（ステップＳ２４）
変換前後の画素の対応関係を算出する。即ち，水平，垂直方向での変換テーブルを生成する。
変換前の画素の座標Ｐ０（Ｘ０，Ｙ０）と変換後の画素の座標Ｐ１（Ｘ１，Ｙ１）の関係は以下の式（５）で表される。
Ｐ１−Ｃｅ＝（Ｐ０−Ｃｅ）＊Ｌact（｜Ｐ０−Ｃｅ｜）／｜Ｐ０−Ｃｅ｜
｜Ｐ０−Ｃｅ｜＝（（Ｘ０−Ｃｘ）^２＋（Ｙ０−Ｃｙ）^２）^１／２
……式（５）

この式（５）をＸ座標，Ｙ座標それぞれで分解すると次の式（６）になる。
Ｘ１−Ｃｘ＝（Ｘ０−Ｃｘ）＊Ｌact（｜Ｐ０−Ｃｅ｜）／｜Ｐ０−Ｃｅ｜
Ｙ１−Ｃｙ＝（Ｙ０−Ｃｙ）＊Ｌact（｜Ｐ０−Ｃｅ｜）／｜Ｐ０−Ｃｅ｜
……式（６）

この式（６）は，次のように式（７）で表現できる。
Ｘ１＝Ｆｘ（Ｘ０，Ｙ０，Ｃｘ，Ｃｙ）
Ｙ１＝Ｆｙ（Ｘ０，Ｙ０，Ｃｘ，Ｃｙ） ……式（７）

この式（７）が広角変換処理テーブルの実体的内容を表す。この変換テーブルに従い，画素の座標Ｐ０（Ｘ０，Ｙ０）を変換することで，変換後の画素の座標Ｐ１（Ｘ１，Ｙ１）が求められる。広角変換処理テーブルは，式そのもの，式の構成要素間の対応関係を表す表の何れでも良い。

（第２の実施の形態）
本発明の第２の実施形態に係る画像表示装置２００につき説明する。
図１１は，画像表示装置２００を表すブロック図である。
画像表示装置２００の視線位置導出部２２３は，フレームの更新タイミングに対応する視線位置を測定される視線位置から予測し，この予測値に視線位置の移動方向の距離（シフト量）を加算する。

画像表示装置２００の動作を説明する。
図１２は，画像表示装置２００の動作手順の一例を表すフロー図である。また，図１３は，画像表示装置２００の動作タイミングの一例を表すタイミングチャートである。

（１）視線位置の測定（ステップＳ３１）
ステップＳ３１は，図５のステップＳ１１と実質的に変わるところが無いので説明を省略する。

（２）視線位置の予測（ステップＳ３２）
測定された視線位置（視線位置の測定値）Ｃｅに基づき，次の表示更新時での視線位置を予測する。測定された視線位置Ｃｅからの直線補完により，視線位置を予測できる。眼球の高速運動で知られるサッケード運動は，弾道性であり，ほぼ直線状に移動するためである。具体的には，以下の式（８）に基づき視線位置を予測できる。図１３の例では，フレームの更新タイミングの中間（１／２遅れたタイミング）で，視線位置の予測値が算出される。
Ｃen（Ｃxn，Ｃyn）
＝Ｃe(n-1/2)（Ｃx(n-1/2)，Ｃy(n-1/2)）
＋（Ｋｓ＋１）＊（１／２）＊（Ｃe(n-1/2)（Ｃx(n-1/2)，Ｃy(n-1/2)）−Ｃe(n-3/2)（Ｃx(n-3/2)，Ｃy(n-3/2)）） ……式（８）
ここで，Ｋｓ：シフト量係数

シフト量係数Ｋｓは，予測された視線位置にシフト量を追加するための係数であり，フレーム間での視線移動量に対するシフト量を調節する。シフト量係数Ｋｓは，観察者の空間定位を妨げないために，５％程度（（Ｋｓ＋１）〜１．０５）とするのが好ましい。

予測された視線位置にシフト量を追加するには以下の理由に基づく。
表示領域Ａｄに表示される観察対象物が継続的に移動する（複数フレーム（タイミング）にわたり継続的に動く）場合，対象物の移動方向に視界が広がる傾向がある。このため，視線位置Ｃｅに画像処理中心を持ってきても，視線の移動方向に広がる視空間でのひずみに知覚敏感になりがちである。このため，視線位置Ｃｅと画像処理中心を完全に一致させると，結果として，ひずんだ空間を知覚して，臨場感が妨げられる。本実施形態では視線移動方向に対して，画像処理中心をずらすことにより，臨場感を維持させている。

（３）広角変換処理（ステップＳ３３）
式（８）によって算出された視線位置Ｃen（Ｃxn，Ｃyn）が設定され，広角変換処理部１２によって広角変換処理がなされる。

（４）表示の切り替え（ステップＳ３４）
切替制御部１７が切り替えスイッチ１６ａ，１６ｂを動作することで，画像メモリ１３，１４での広角変換，表示が切り替えられる。

本実施形態では，図１３に示すように，本来の予測視線位置にシフト量を追加した値が視線位置の設定値となる。即ち，予測される次の視線位置に対して，シフト量（例えば，予測されるフレーム間での視線移動量の５％）を増加させた位置に画像処理中心を配置させる。この結果，観察者の空間定位を妨げず，かつ画像処理によるひずみを知覚させない画像を，観察者に与えることが可能となる。

（第３の実施の形態）
本発明の第３の実施形態に係る画像表示装置３００につき説明する。
図１４は，画像表示装置３００を表すブロック図である。
画像表示装置３００の視線位置導出部３２３はフレームの更新タイミングでの視線位置を予測する。切替制御部３１９では，視線位置導出の時間間隔をフレーム切替の時間間隔の１／２以下とする。

図１５は，画像表示装置３００の動作タイミングの一例を表すタイミングチャートである。本実施形態では，フレームの更新時と，フレームの更新中央時の双方のタイミングで，視線位置を測定した。
第２の実施の形態では，フレームレートと同等のレートで視線位置が測定されている。設定する視線位置の精度を高めるために，視線位置の測定回数を増やすことが有用である。このとき，画像更新のタイミングを勘案すると，画像のフレームレートに同調したタイミングで視線位置を測定することが有効である。

図１５に示すように，本実施形態では，視線位置の予測値を，過去３回の視線位置測定値からの直線近似で算出している。図１５でのような視線位置の滑動的な移動には十分である。フレーム内での測定点を増やすことにより，次フレームに用いる画像処理確度を上げることが可能である。

具体的には，次の式（９）に基づき，視線位置Ｃｅの設定値を算出する。
Ｃen（Ｃxn，Ｃyn）
＝Ｃe(n-1/2)（Ｃx(n-1/2)，Ｃy(n-1/2)）
＋（Ｃe(n-1/2)（Ｃx(n-1/2)，Ｃy(n-1/2)）−Ｃe(n-1)（Ｃx(n-1)，Ｃy(n-1)））
……式（９）

（第４の実施の形態）
本発明の第４の実施形態に係る画像表示装置４００につき説明する。
図１６は，画像表示装置４００を表すブロック図である。
画像表示装置４００の視線位置導出部４２３はフレームの更新タイミングでの視線位置を予測する。切替制御部４１９は，視線位置の予測値と測定値（の差異）に基づき，表示の切り替えを追加する。

画像表示装置４００の動作を説明する。
図１７は，画像表示装置４００の動作手順の一例を表すフロー図である。また，図１８は，画像表示装置４００の動作時のタイミングの一例を表すタイミングチャートである。

（１）視線位置の測定（ステップＳ４１）
（２）視線位置の予測（ステップＳ４２）
（３）広角変換処理（ステップＳ４３）
（４）表示の切り替え（ステップＳ４４）
本実施形態では，第３の実施形態と同様に，フレームタイミングの倍で視線測定のタイミングを与えた（フレームの更新時と，フレームの更新中央時の双方のタイミングで，視線位置が測定される）。また，過去３点での視線位置の測定値からの直線近似で次の視線位置を予測した。その他の点では，ステップＳ４１〜Ｓ４３は，図１１のステップＳ３１〜Ｓ３３と実質的に変わるところが無いので説明を省略する。

（５）視線位置の測定（ステップＳ４５）
（６）視線位置の予測値と測定値の比較（ステップＳ４６）
ステップＳ４５〜Ｓ４６で，予測された視線位置に対応するタイミングでの視線位置が測定され，予測値と測定値が比較される。
図１８のフレームタイミングｆ＝ｎ，ｎ＋１／２に示すように，激しい眼球運動の場合，視線位置の予測値と測定値のずれが大きくなる場合がある。ステップＳ５３において，予測値と測定値を比較し，その差が所定値より大きいか否かを判断する。追加の表示の切り替えの要否を判断するためである。

（７）追加の広角変換処理（ステップＳ４７）
（８）追加の表示の切り替え（ステップＳ４８）
予測値と測定値の差が所定値より大きい場合，追加の広角変換処理および表示の切り替えを実行する。例えば，図１８に示すように，ｎ番目，（ｎ＋１）番目のフレームの間に，（ｎ＋１／２）番目のフレームを追加する。なお，追加されるフレームは，n番目のフレームのタイミングで測定された視線位置で広角変換処理されたものである。

このように，視線位置の予測と測定のズレが大きい場合，測定値に基づいて広角変換処理した画像をフレーム間に挟みこむことで，フレーム周波数を動的に増加し，例えば，整数倍とすることができる。これにより，視線位置の予測の大きなずれに対応可能となる。

以上のように，本実施形態では，視線位置の測定周波数をフレーム更新周波数の整数倍として（フレームの更新周期の整数分の1の周期で，視線位置が測定される），視線位置の予測値と測定値を比較する。この結果，大きく視線位置がずれた場合においても，相対的なフレームタイミングをずらすことなく処理画像を追加可能となる。

（その他の実施形態）
本発明の実施形態は上記の実施形態に限られず拡張，変更可能であり，拡張，変更した実施形態も本発明の技術的範囲に含まれる。
上記実施形態では，表示領域Ａｄは平面であるとした。これに対して，表示領域Ａｄを曲面とすることも可能である。この場合，広角変換は式（６）に準ずる式が用いられる。

第１実施形態に係る画像表示装置を表すブロック図である。表示部の表示領域と観察者の視点との関係を表す模式図である。広角変換処理部での広角変換処理前後の画像を対応して表す模式図である。生体電極の配置の一例を表す模式図である。画像表示装置の動作手順の一例を表すフロー図である。視線移動前での広角変換処理の結果を示す模式図である。視線移動後での広角変換処理の結果を示す模式図である。第１実施形態に係る画像表示装置の動作タイミングの一例を表すタイミングチャートである。広角変換処理テーブルの作成手順の一例を表すフロー図である。視野角と許容倍率の関係を表すグラフである。第２実施形態に係る画像表示装置を表すブロック図である。第２実施形態に係る画像表示装置の動作手順の一例を表すフロー図である。第２実施形態に係る画像表示装置の動作タイミングの一例を表すタイミングチャートである。第３実施形態に係る画像表示装置を表すブロック図である。第３実施形態に係る画像表示装置の動作タイミングの一例を表すタイミングチャートである。第４実施形態に係る画像表示装置を表すブロック図である。第４実施形態に係る画像表示装置の動作手順の一例を表すフロー図である。第４実施形態に係る画像表示装置の動作タイミングの一例を表すタイミングチャートである。

符号の説明

１０…表示装置，１１…画像蓄積部，１２…広角変換処理部，１３，１４…画像メモリ，１５…表示部，１６ａ，１６ｂ…切り替えスイッチ，１７…切替制御部，１８…基礎情報記憶部，１９…広角変換テーブル作成部，２０…画像表示装置，２１…眼球運動検出部，２２…眼球運動測定部，２３…視線位置導出部

Claims

画像を表示する表示部と，
前記表示部上での観察者の視線位置を導出する導出部と，
前記導出される視線位置を囲み，視野角が３０°より小さく，拡大率が一定の第１の領域と，この第１の領域を囲み，視野角が３０°より大きく，「ｅｘｐ（α＊（Ｌ−Ｌｔｈ））」に従い（Ｌ：視線位置からの距離，Ｌｔｈ：視野角３０°での視線位置からの距離，α：定数）拡大率が連続して増加する第２の領域と，に対応して，画像データを変換する変換部と，
前記変換された画像データの前記表示部への表示を制御する制御部と，
を具備することを特徴とする画像表示装置。
前記制御部が，前記変換された画像データを所定のタイミングで切り替えて，前記表示部に表示させ，
前記導出部が，前記所定のタイミングに対応する視線位置を測定される視線位置から予測する，
ことを特徴とする請求項１記載の画像表示装置。
前記導出部が，前記予測される視線位置に，前記視線位置の移動方向の距離を加算する
ことを特徴とする請求項２記載の画像表示装置。
前記制御部が，前記予測される視線位置と前記測定される視線位置の差異に基づいて，表示の切り替えを追加する，
ことを特徴とする請求項２記載の画像表示装置。
前記制御部が第１の周期で表示を切り替え，
前記導出部が前記第１の周期の１／２以下の第２の周期で視線位置を導出する，
ことを特徴とする請求項１記載の画像表示装置。
前記変換される画像データを記憶する複数の記憶部と，
前記表示部での表示に用いる前記複数の記憶部を切り替える切替部と，をさらに具備し，
前記制御部が，前記切替部の切り替えを制御する
ことを特徴とする請求項１記載の画像表示装置。
前記観察者の眼球運動を測定する運動測定部をさらに具備し，
前記導出部が，前記眼球運動の測定結果に基づき，視線位置を導出する
ことを特徴とする請求項１記載の画像表示装置。
前記第２の領域での拡大率が，前記第１の領域での拡大率より大きい，
ことを特徴とする請求項１記載の画像表示装置。
表示部上での観察者の視線位置を導出するステップと，
前記導出される視線位置を囲み，視野角が３０より小さく，拡大率が一定の第１の領域と，この第１の領域を囲み，視野角が３０°より大きく，「ｅｘｐ（α＊（Ｌ−Ｌｔｈ））」に従い（Ｌ：視線位置からの距離，Ｌｔｈ：視野角３０°での視線位置からの距離，α：定数）拡大率が連続して増加する第２の領域と，に対応して，画像データを変換するステップと，
前記変換された画像データの前記表示部への表示を制御するステップと，
を具備することを特徴とする画像表示方法。