JP2024081406A - 画像処理装置及び方法、プログラム、記憶媒体 - Google Patents

Abstract

【課題】ユーザの俯瞰視の程度に応じて適切なレンダリング処理を行うことができる画像処理装置を提供する。【解決手段】表示手段に表示する画像を処理する画像処理装置であって、表示手段を見るユーザの視線の方向を検出する視線検出手段と、検出された視線の方向に基づいて、ユーザが注視している位置の距離である第１の距離を検出する第１の距離検出手段と、被写体までの距離である第２の距離を検出する第２の距離検出手段と、第１の距離と第２の距離に基づいて、ユーザが前記被写体を俯瞰して見ている程度を示す俯瞰度を取得する取得手段と、俯瞰度に基づいて、画像をレンダリング処理する範囲、画像をレンダリング処理する画質の少なくとも一方を変更する変更手段とを備える。【選択図】 図６

Description

本発明は、ヘッドマウントディスプレイ、ヘッドアップディスプレイなどにおいて、注視箇所にレンダリング処理を行う画像処理装置に関する。

近年、ユーザの目の前の現実風景に画像を重ねて表示する技術であるＡＲ（Augmented Reality：拡張現実）や、ユーザの眼の前にある現実とは異なる現実画像を表示するＶＲ（Virtual Reality:仮想現実）に注目が集まっている。これらの技術を搭載したヘッドマウントディスプレイ（ＨＭＤ）や車両用のヘッドアップディスプレイ（ＨＵＤ）には、視線検出機能が搭載されているものがある。視線検出機能が搭載されている場合、表示面における視野内の被写体をユーザが視認しやすいように補助することができる。

例えば、没入感の更なる向上や、レンダリングコストの更なる抑制や、伝送コストの更なる抑制を目的とした、フォービエイテッドレンダリングと呼ばれる技術が知られている。

特許文献１では、視線の動きを予測して、注目箇所だけでなく、時系列的に視線が動く先にも領域を広げ、高解像度なレンダリング処理を行う技術が提案されている。

特開２０１８－００４９５０号公報

しかしながら、現実風景では、ユーザが物体やシーンを俯瞰して見ることで、全体の動きを把握するような観察方法をとる場合がある。俯瞰した状態では、ユーザは被写体の細かな形などは認識できなくても、全体の動きがわかるように被写体よりも遠くに視点を置く。このような場合、被写体に対しては、ユーザの視線が向いていない状態となる。そのため、特許文献１に記載の技術では、ユーザが風景を俯瞰している状態にある場合は、特定の注目領域を検出することが出来ない。

本発明は上述した課題に鑑みてなされたものであり、その目的は、ユーザの俯瞰視の程度に応じて適切なレンダリング処理を行うことができる画像処理装置を提供することである。

本発明に係わる画像処理装置は、表示手段に表示する画像を処理する画像処理装置であって、前記表示手段を見るユーザの視線の方向を検出する視線検出手段と、検出された視線の方向に基づいて、ユーザが注視している位置の距離である第１の距離を検出する第１の距離検出手段と、被写体までの距離である第２の距離を検出する第２の距離検出手段と、前記第１の距離と前記第２の距離に基づいて、ユーザが前記被写体を俯瞰して見ている程度を示す俯瞰度を取得する取得手段と、前記俯瞰度に基づいて、前記画像をレンダリング処理する範囲、前記画像をレンダリング処理する画質の少なくとも一方を変更する変更手段と、を備えることを特徴とする。

本発明によれば、ユーザの俯瞰視の程度に応じて適切なレンダリング処理を行うことが可能となる。

本発明の画像処理装置の第１の実施形態であるヘッドマウントディスプレイの概略構成を示す図。 ヘッドマウントディスプレイの内部構成を示すブロック図。 視線検出方法の原理説明図。 眼球用撮像素子に投影される眼球像と眼球用撮像素子の出力強度図。 視線検出動作を示すフローチャート。 輻輳角の求め方及び俯瞰度の検出方法の例を示す図。 俯瞰度によるぼかし範囲の変更動作を示すフローチャート。 俯瞰度によるぼかし範囲の変更の例を示す図。 俯瞰度によるレンダリング画質の変更動作を示すフローチャート 俯瞰度によるレンダリング画質の変更の例を示す図。 俯瞰度によるぼかし範囲とレンダリング画質の変更動作を示すフローチャート。 俯瞰度によるぼかし範囲とレンダリング画質の変更の例を示す図。 俯瞰度及び被写体動作によるぼかし範囲とレンダリング画質の変更動作を示すフローチャート。

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

（第１の実施形態）
図１Ａは、本発明の画像処理装置の第１の実施形態であるヘッドマウントディスプレイ（以下、ＨＭＤ）１００の概略構成を示す図である。また、図１Ｂは、ＨＭＤ１００のブロック構成を示す図である。

図１Ａにおいて、図の左側は、ＨＭＤ１００をユーザの頭頂部側から見た構成を示しており、右側は、視線検出装置の構成を示している。

ユーザが頭部にＨＭＤ１００を装着すると、左眼球１０１と右眼球１０２は、それぞれ透過型の左眼用ディスプレイ１０７、および右眼用ディスプレイ１０８を通して現実空間を観察することができる。この透過型のディスプレイに操作用アイコンや画像データなどの映像を表示することで、ディスプレイを通してユーザが見ている現実世界に表示映像を重畳することができる。

また、別の構成として、次のようなものも考えられる。すなわち、非透過型のディスプレイを用いて、非透過モード時には内部に保存された映像（撮影動画やゲーム映像等）を表示し、透過モード時には左眼用カメラ１０３、右眼用カメラ１０４で撮像した画像を表示するようにしてもよい。さらに、内部映像とカメラ撮像画像を融合させた映像を表示させてもよい。

ユーザがディスプレイのどこを注視しているのかは、左視線撮像部１０５、右視線撮像部１０６を用いた後述する視線検出動作により推定される。また、ＨＭＤ１００は、さらに操作部１０９を備えており、電源ボタンや機器の各種操作などの機能を割り当てることができる。

図１Ｂは、ＨＭＤ１００の内部構成を示すブロック図である。センサ部１１０は、ＨＭＤ１００の姿勢を検出する。制御部１１１は、左目用カメラ１０３、右目用カメラ１０４、左視線撮像部１０５、右視線撮像部１０６、センサ部１１０からの画像データや視線情報、姿勢情報などを取得して、ＨＭＤ１００全体を制御する。

制御情報生成部１１２は、撮像系画像処理部１１４，１１５から出力された画像とセンサ部１１０から出力されるセンサ情報に基づいて、ＨＭＤ１００の３次元空間における位置・姿勢情報を生成する。この位置・姿勢情報は、ＨＭＤ１００の３次元空間における座標、ユーザの視線方向、視線方向の軸に対するＨＭＤ１００の回転角等が含まれる。センサ部１１０は、例えばジャイロスコープを使ってＨＭＤ１００の方向や加速度などの情報を検出する。メモリ部１１３は、ＣＧ描画部１２１で現実風景に重畳させる仮想オブジェクトや制御情報を保持する。

撮像系画像処理部１１４，１１５は、左目用カメラ１０３、右目用カメラ１０４から入力された画像に対して、予め設定された画像処理を施す。ここで言う画像処理とは、ゲイン補正、画素欠陥補正、自動露光補正、歪曲収差補正等である。画像合成部１２０，１２２は、撮像系画像処理部１１４，１１５から合成対象の画像を受信すると共に、ＣＧ描画部１２１からＣＧ情報を受信する。撮像系画像処理部１１４，１１５のフレーム情報が一致した場合に、撮像画像にＣＧ描画部１２１からのＣＧ（Computer Graphics）を合成し、合成後の画像を、画像加工処理部１２５へ出力する。

左眼用視線検出部１１６と右眼用視線検出部１１７は、ＨＭＤ１００を利用しているユーザの瞳の位置を検出し、ユーザがディスプレイ１０７，１０８のどの位置を見ているかという視線情報を座標データとして画像加工処理部１２５に供給する。オブジェクト注視判定部１２３は、左眼用視線検出部１１６と右眼用視線検出部１１７からの両眼の視線情報に基づいて求めた輻輳角によって、視線ベクトルからオブジェクトを注視しているかの注視度を算出する。俯瞰度判定部１２４は、オブジェクト注視判定部１２３の判定結果である輻輳角及び注視度から、ユーザが俯瞰して映像を見ているか否かを判定する。

画像加工処理部１２５は、画像合成部１２０，１２２からの画像において、ユーザの視線方向を中心とする所定範囲内は無加工とし、その範囲外についてぼかすというレンダリング処理を行う。また、ぼかし処理は例えばフィルタ処理で実現できる。本実施形態では、ユーザの俯瞰度によってレンダリングの範囲と画質を変更する処理を行う。

左眼用画像処理部１１８と右眼用画像処理部１１９は、画像加工処理部１２５で処理された画像を左眼用ディスプレイ１０７、右眼用ディスプレイ１０８に表示するための制御を行う。例えばγ補正等を行った後、左眼用ディスプレイ１０７、右眼用ディスプレイ１０８に表示する。

＜視線検出動作の説明＞
図２は、視線検出方法の原理説明図であり、前述の左眼用視線検出部１１６と右眼用視線検出部１１７の処理を行うための光学系を示している。図２において、光源１００６ａ、１００６ｂは、ユーザが不感の赤外光を放射する発光ダイオード等の光源であり、各光源は受光レンズ１００５の光軸に対して略対称に配置され、ユーザの眼球１００１を照らしている。眼球１００１で反射した照明光の一部は受光レンズ１００５によって、眼球用撮像素子１００４に集光される。

図３（ａ）は、眼球用撮像素子１００４に投影される眼球像の概略図、図３（ｂ）は眼球用撮像素子１００４における出力強度図である。図４は視線検出の動作を示すフローチャートである。

図４において視線検出ルーチンが開始されると、ステップＳ１２０１において、制御部１１１は、光源１００６ａ，１００６ｂを点灯させて、観察者の眼球１００１に向けて赤外光を照射させる。この赤外光によって照明された観察者の眼球像は、眼球用撮像素子１００４上に受光レンズ１００５を通して結像される。

ステップＳ１２０２では、制御部１１１は、眼球用撮像素子１００４に、結像された眼球像の光電変換を行わせ、眼球の画像信号を取得する。

ステップＳ１２０３では、制御部１１１は、ステップＳ１２０２で得られた眼球画像信号から、図２に示す光源１００６ａ，１００６ｂの角膜反射像Ｐｄ，Ｐｅ及び瞳孔中心ｃに対応する点の座標を求める。

光源１００６ａ，１００６ｂから放射された赤外光は、観察者の眼球１００１の角膜１００３を照明する。このとき角膜１００３の表面で反射された赤外光の一部により形成される角膜反射像Ｐｄ，Ｐｅは、受光レンズ１００５により集光され、眼球用撮像素子１００４上に結像される（図示の点Ｐｄ’, Ｐｅ’）。同様に、瞳孔１００２の端部ａ，ｂからの光束も眼球用撮像素子１００４上に結像される。

図３（ａ）は、眼球用撮像素子１００４から得られる反射像の画像例を示している。また、図３（ｂ）は、図３（ａ）の領域αにおける、眼球用撮像素子１００４から得られる輝度情報例を示している。

図３のように、水平方向をＸ軸、垂直方向をＹ軸とする。このとき、光源１００６ａ，１００６ｂの角膜反射像からの光束が結像した像Ｐｄ’，Ｐｅ’のＸ軸方向（水平方向）の座標をＸｄ，Ｘｅとする。また、瞳孔１００２の端部ａ，ｂからの光束が結像した像ａ’，ｂ’のＸ軸方向の座標をＸａ、Ｘｂとする。

図３（ｂ）の輝度情報例において、光源１００６ａ，１００６ｂの角膜反射像からの光束が結像した像Ｐｄ’，Ｐｅ’に相当する位置Ｘｄ，Ｘｅでは、極端に強いレベルの輝度が得られている。瞳孔１００２の領域に相当する、座標ＸａからＸｂの間の領域は、上記Ｘｄ、Ｘｅの位置を除き、極端に低いレベルの輝度が得られる。これに対し、瞳孔１００２の外側の虹彩１１０１の領域に相当する、Ｘａより小さいＸ座標の値を持つ領域及びＸｂより大きいＸ座標の値を持つ領域では、上記の２種の輝度レベルの中間の値が得られる。

このＸ座標位置に対する輝度レベルの変動情報から、光源１００６ａ，１００６ｂの角膜反射像からの光束が結像した像Ｐｄ’，Ｐｅ’のＸ座標Ｘｄ，Ｘｅと、瞳孔端の像ａ’, ｂ’のＸ座標Ｘａ，Ｘｂを得ることができる。また、受光レンズ１００５の光軸に対する眼球１００１の光軸の回転角θｘが小さい場合、眼球用撮像素子１００４上に結像する瞳孔中心ｃに相当する箇所(ｃ’とする)の座標Ｘｃは、Ｘｃ≒（Ｘａ＋Ｘｂ）／２と表すことができる。これらのことから、眼球用撮像素子１００４上に結像する瞳孔中心に相当するｃ’のＸ座標、光源１００６ａ，１００６ｂの角膜反射像に対応する像Ｐｄ’，Ｐｅ’の座標を見積もることができる。

図４の説明に戻って、ステップＳ１２０４では、制御部１１１は、眼球像の結像倍率βを算出する。βは受光レンズ１００５に対する眼球１００１の位置により決まる倍率で、実質的には角膜反射像Ｐｄ’，Ｐｅ’の間隔（Ｘｄ－Ｘｅ）の関数として求めることができる。

ステップＳ１２０５では、制御部１１１は、眼球１００１の光軸の２軸方向の回転角度θｘ，θｙを算出する。角膜反射像Ｐｄ及びＰｅの中点のＸ座標と角膜１００３の曲率中心ＯのＸ座標とはほぼ一致する。そのため、角膜１００３の曲率中心Ｏと瞳孔１００２の中心ｃまでの標準的な距離をＯｃとすると、眼球１００１の光軸のＺ－Ｘ平面内の回転角θｘは、
β＊Ｏｃ＊sinθｘ≒｛（Ｘｄ＋Ｘｅ）／２｝－Ｘｃ …（１）
の関係式から求めることができる。

また、図２、図３においては、観察者の眼球がＹ軸に垂直な平面内で回転する場合の回転角θｘを算出する例を示しているが、観察者の眼球がＸ軸に垂直な平面内で回転する場合の回転角θｙの算出方法も同様である。

ステップＳ１２０６では、制御部１１１は、ステップＳ１２０５で算出されたθｘ、θｙを用いて、左眼用ディスプレイ１０７と右眼用ディスプレイ１０８上で観察者の視線の位置（注視している点の位置：以下、注視点と称する）を求める。注視点の位置を左眼用ディスプレイ１０７と右眼用ディスプレイ１０８上での瞳孔１００２の中心ｃに対応する座標（Ｈｘ，Ｈｙ）であるとして、
Ｈｘ＝ｍ×（Ａｘ×θｘ＋Ｂｘ） （２）
Ｈｙ＝ｍ×（Ａｙ×θｙ＋Ｂｙ） （３）
と算出することができる。

ここで、係数ｍは光学系の構成で定まる定数で、回転角θｘ，θｙを左眼用ディスプレイ１０７と右眼用ディスプレイ１０８上での瞳孔１００２の中心ｃに対応する位置座標に変換する変換係数である。そして、係数ｍの値は、予め決定されてメモリ部１１３に記憶されているものとする。

また、Ａｘ，Ｂｘ，Ａｙ，Ｂｙは、観察者の視線の個人差を補正する視線補正係数であり、キャリブレーション作業を行うことで取得される。そして、視線検出ルーチンが開始される前にメモリ部１１３に記憶されているものとする。

上記のように、左眼用ディスプレイ１０７と右眼用ディスプレイ１０８上での瞳孔１００２の中心ｃの座標（Ｈｘ，Ｈｙ）を算出した後、制御部１１１は、ステップＳ１２０７においてメモリ部１１３に上記の座標を記憶し、視線検出ルーチンを終える。

上記では、光源１００６ａ，１００６ｂの角膜反射像を利用した左眼用ディスプレイ１０７と右眼用ディスプレイ１０８上での注視点座標の取得手法を示した。しかし、視線の検出方法は、上記の方法に限定されるものではなく、撮像された眼球画像から眼球回転角度を取得できる手法であれば、他の方法でもよい。

＜俯瞰度算出とぼかし範囲の変更＞
図５、図６、図７を用いて、俯瞰度の算出とぼかし範囲の変更について説明する。図５は、輻輳角の検出方法及び俯瞰度の算出方法の一例を示す図である。図６は、俯瞰度によるぼかし範囲の変更の一例を示すフローチャートである。図７は、俯瞰度の判定結果に基づいて映像のレンダリング処理の範囲（ぼかし範囲）を変更する処理の一例を示す図である。

図６において、ステップＳ３０１では、制御部１１１は、両目の輻輳角を算出する。輻輳角とは図５（ａ）のθ１で表されるような、ある点Ｐ０を見た際に両目の視線がなす角であり、点Ｐ０までの距離が大きければ輻輳角θ１は小さくなり、逆に点Ｐ０までの距離が小さければ輻輳角θ１は大きくなる。両目それぞれの注視点位置方向の直線の交点を求めることで輻輳角を算出することができる。

本実施形態では、例えば図１Ｂにおける左眼用視線検出部１１６と右眼用視線検出部１１７で算出した図５（ｂ）、（ｃ）の各眼の視線ベクトル２００，２０１をオブジェクト注視判定部１２３に入力する。オブジェクト注視判定部１２３は、各眼の視線ベクトルから輻輳角を求める。

ステップＳ３０２では、制御部１１１は、ステップＳ３０１で求めた輻輳角と両目の間隔（点ＯＬ～点ＯＲ）とから、注視位置までの距離Ｄ１を算出する（第１の距離検出）。これは三角関数を用いて求めることができる。または、予め距離の異なる複数の被写体とその被写体を見た時の輻輳角との相関を測定して記憶しておき、それに基づいて輻輳角から被写体の距離を推定する方法を適用してもよい。

ステップＳ３０３では、制御部１１１は、左眼用カメラ１０３、右眼用カメラ１０４から得られる情報に基づいて被写体距離Ｄ２を算出する（第２の距離検出）。図５（ｂ）、（ｃ）の各眼の視線ベクトル２００，２０１の間にある直線２０３上に存在する被写体までの被写体距離Ｄ２は、例えば左眼用カメラ１０３と右眼用カメラ１０４から得られる深度情報を用いて行う。より具体的には、左眼用カメラ１０３と右眼用カメラ１０４のオートフォーカス機能（位相差検出機能）を用いてフォーカスレンズの合焦位置を算出し、合焦するフォーカスレンズの位置と光学系の各パラメータとから被写体距離を算出する。ただし、被写体距離Ｄ２の算出方法は、この方法に限定されるものではなく、ＬｉＤＡＲによる距離算出方法など、ＨＭＤ１００から被写体までの距離が求められるものであれば、方法は問わない。

ステップＳ３０４では、制御部１１１は、被写体を注視しているか否かを判断するための注視度を算出する。ステップＳ３０２で求めた注視距離Ｄ１とステップＳ３０３で求めた被写体距離Ｄ２の比率を求め、注視距離と被写体距離との乖離の程度を求めることで注視度を算出する。注視度は、例えば、注視距離Ｄ１と被写体距離Ｄ２の比率（Ｄ１／Ｄ２）として算出される。ただし、注視度の算出方法はこれに限定されるものではなく、注視距離Ｄ１と被写体距離Ｄ２の差分などを用いて表現してもよい。

オブジェクト注視判定部１２３は、算出した注視度から、注視距離Ｄ１と被写体距離Ｄ２の比率が１から離れるほど被写体を注視していないと判定し、１に近いほど被写体を注視していると判定する。なお、注視度（Ｄ１／Ｄ２）が１よりも大きい場合は、ユーザは被写体よりも遠くを見ているため、輻輳角θ１は小さい値となる。また、注視度（Ｄ１／Ｄ２）が１よりも小さい場合は、ユーザは被写体よりも近くを見ているため、輻輳角θ１は大きい値となる。そのどちらの場合も、ユーザは被写体を注視していないと判断される。

ステップＳ３０５では、制御部１１１は、俯瞰度判定部１２４を用いて、ステップＳ３０４で求められた被写体の注視度に基づき、ユーザが被写体を俯瞰して見ているか否かを示す俯瞰度を算出する。ステップＳ３０４で求められた注視度が１から離れるほど俯瞰度が高く、注視度が１に近いほど俯瞰度が低いと判断する。具体的には、俯瞰度＝注視度（Ｄ１／Ｄ２）－１などの式により求められ、この値の絶対値が大きいほど、俯瞰度が高いと判定する。また、俯瞰度（Ｄ１／Ｄ２）－１は、値がプラスの場合は、ユーザが被写体より遠くを見ており、値がマイナスの場合は、ユーザが被写体より近くを見ていることを表す。ただし、俯瞰度の算出方法はこれに限定されるものではなく、注視度（Ｄ１／Ｄ２）の逆数などを用いて表現してもよい。

ステップＳ３０６では、ステップＳ３０５で求めた俯瞰度から、画像のレンダリングにおけるぼかし範囲を変更する。例えば、図７（ａ）は、俯瞰度が所定の閾値よりも低いと判定された場合のぼかし範囲の設定を示す図である。俯瞰度が低い場合、各眼の視線ベクトル２００，２０１がなす輻輳角が大きくなるため、左視線撮像部１０５、右視線撮像部１０６における各眼の注視位置が近くなる。つまり、画像４００の注視位置に近い範囲をユーザが見ている状態となり、その部分を高画質とする必要がある。そのため、俯瞰度が低い場合のぼかし範囲は、図７（ａ）に示すように、例えば各眼の注視位置を中心とした一定範囲の円４０３ａ，４０４ａよりも外側の範囲（画像の周辺の領域）となる。なお、円４０３ａ，４０４ａ内の画像については、無加工とし、高画質な状態を保つ。

図７（ｂ）は、俯瞰度が所定の閾値以上と判定された場合のぼかし範囲の設定を示す図である。俯瞰度が高いと判定された場合、特にユーザが被写体よりも遠方を見ている場合、各眼の視線ベクトル２００，２０１がなす輻輳角が小さくなるため、左視線撮像部１０５、右視線撮像部１０６における各眼の注視位置が離れることになる。つまり、画像４００の注視位置の近くの比較的広い範囲をユーザが見ている状態となり、その部分を高画質とする必要がある。そのため、俯瞰度が高い場合のぼかし範囲は、図７（ｂ）に示すように、例えば各眼の注視位置を中心とした円４０３ｂ，４０４ｂよりも外側の範囲（画像の周辺の領域）となる。

なお、上記の説明では、ぼかし範囲を、注視位置を中心とした円の外側の範囲として示したが、これに限定されず、例えば、注視位置を含む矩形領域の外側の範囲としてもよい。また、ぼかし範囲の大きさは、俯瞰度に応じて段階的に変更するように説明したが、俯瞰度の変化に応じて連続的に変更するようにしてもよい。

このように、ユーザが映像を俯瞰して見ているか否かを判定し、判定した俯瞰度によってレンダリングの範囲を変更する。これにより、俯瞰度が高い（注視度が低い）場合は、画像のぼかし範囲の面積を画像の周辺の比較的狭い範囲に設定して（高画質な範囲を注視位置を含む比較的広い範囲に設定して）レンダリングすることができる。また、俯瞰度が低い（注視度が高い）場合は、ぼかし範囲の面積を画像の周辺の比較的広い範囲に設定して（高画質な範囲を注視位置を含む比較的狭い範囲に設定して）レンダリングすることが可能となる。そのため、ユーザの俯瞰度によって適切な高画質領域の範囲を設定した視聴環境を提供することができる。

（第２の実施形態）
以下、本発明の第２の実施形態について説明する。この第２の実施形態では、画像処理装置の構成は、第１の実施形態である図１Ａ、図１Ｂに示すヘッドマウントディスプレイ（以下、ＨＭＤ）１００と同様の構成であるため、説明を省略する。

本実施形態においては、俯瞰度によりレンダリング画質を変更する例について説明する。図８は、俯瞰度によるレンダリング画質の変更の例を示すフローチャートである。図８の処理は、第１の実施形態を示す図６と共通する部分が多いため、図６と同一の処理を行うステップには図６と同じステップ番号を付して、説明を省略する。

図８において、ステップＳ３０１～ステップＳ３０５までの処理は、図６のステップＳ３０１～ステップＳ３０５までの処理と同じである。

ステップＳ５０６では、制御部１１１は、ステップＳ３０５で求めた俯瞰度から、画像のレンダリングにおける画質を変更する。

図９は、俯瞰度によるレンダリング画質の変更の一例を示す図である。

例えば、図９（ａ）のように、俯瞰度が所定の閾値よりも低いと判定された場合、つまり被写体を注視している状態である場合は、画像６００におけるレンダリング範囲６０３の画質を所定より画質の高い高画質でレンダリング処理する。また、それ以外の範囲を所定以下の画質である低画質でレンダリング処理する。

ここで説明している画質とは、例えば解像度のことであり、高画質範囲においては解像度を所定より高くして詳細な画像でレンダリングを行い、低画質範囲においては解像度を所定以下に低くしてレンダリング処理を行う。

また、図９（ｂ）のように、俯瞰度が所定の閾値以上の場合、つまり特定の被写体を注視せず、情景をある程度俯瞰して見ている状態である場合は、レンダリング範囲６０３の画質を中画質でレンダリング処理する。そして、それ以外の範囲を所定以下の画質である低画質でレンダリング処理する。ここで言う中画質とは、レンダリング範囲外の画質よりは解像度が高く、レンダリングを行わない（無加工の）場合よりは解像度が低い画質である。

なお、図９（ｂ）では、俯瞰度が所定の閾値以上の場合のレンダリング範囲は、図９（ａ）の俯瞰度が所定よりも低い場合のレンダリング範囲と比較して変わらない範囲で図示している。

以上説明したように、本実施形態では、ユーザが映像を俯瞰して見ているか否かを判定し、俯瞰度が高い場合はレンダリング画質である解像度を低く設定し、俯瞰度が低い場合には解像度を高く設定する。これにより、俯瞰度に応じて、適切な画質をユーザに提供することが可能となる。

（第３の実施形態）
以下、本発明の第３の実施形態について説明する。この第３の実施形態では、画像処理装置の構成は、第１の実施形態である図１Ａ、図１Ｂに示すヘッドマウントディスプレイ（以下、ＨＭＤ）１００と同様の構成であるため、説明を省略する。

本実施形態においては、俯瞰度によりぼかし範囲とレンダリング画質を変更する例について説明する。図１０は、俯瞰度によるぼかし範囲とレンダリング画質の変更の例を示すフローチャートである。図１０の処理は、第１の実施形態を示す図６と共通する部分が多いため、図６と同一の処理を行うステップには図６と同じステップ番号を付して、説明を省略する。

図１０において、ステップＳ３０１～ステップＳ３０５までの処理は、図６のステップＳ３０１～ステップＳ３０５までの処理と同じである。

ステップＳ７０６では、制御部１１１は、ステップＳ３０５で求めた俯瞰度から、図３のステップＳ３０６と同様に、画像のレンダリングにおけるぼかし範囲を変更する。例えば、図１１（ａ）は、俯瞰度が所定の閾値よりも低いと判定された場合のぼかし範囲の設定を示す図である。俯瞰度が低い場合、各眼の視線ベクトル２００，２０１がなす輻輳角が大きくなるため、左視線撮像部１０５、右視線撮像部１０６における各眼の注視位置が近くなる。つまり、画像９００の注視位置に近い範囲をユーザが見ている状態となり、その部分を高画質とする必要がある。そのため、俯瞰度が低い場合のぼかし範囲は、図１１（ａ）に示すように、例えば各眼の注視位置を中心とした一定範囲の円９０３ａ，９０４ａよりも外側の範囲となる。

図１１（ｂ）は、俯瞰度が所定の閾値以上と判定された場合のぼかし範囲の設定を示す図である。俯瞰度が高いと判定された場合、特にユーザが被写体よりも遠方を見ている場合、各眼の視線ベクトル２００，２０１がなす輻輳角が小さくなるため、左視線撮像部１０５、右視線撮像部１０６における各眼の注視位置が離れることになる。つまり、画像９００の注視位置の近くの比較的広い範囲をユーザが見ている状態となり、その部分を高画質とする必要がある。そのため、俯瞰度が高い場合のぼかし範囲は、図１１（ｂ）に示すように、例えば各眼の注視位置を中心とした円９０３ｂ，９０４ｂよりも外側の範囲となる。なお、上記の説明では、ぼかし範囲を、注視位置を中心とした円の外側の範囲として示したが、これに限定されず、例えば、注視位置を含む矩形領域の外側の範囲としてもよい。

ステップＳ７０７では、制御部１１１は、ステップＳ３０５で求めた俯瞰度から、図８のステップＳ５０６と同様に、画像のレンダリングにおける画質を変更する。

例えば、図１１（ａ）のように、俯瞰度が所定の閾値よりも低いと判定された場合、つまり被写体を注視している状態である場合は、画像９００におけるレンダリング範囲９０３ａ，９０３ｂの画質を所定より画質の高い高画質でレンダリング処理する。また、それ以外の範囲を所定以下の画質である低画質でレンダリング処理する。

ここで説明している画質とは、例えば解像度のことであり、高画質範囲においては解像度を所定より高くして詳細な画像でレンダリングを行い、低画質範囲においては解像度を所定以下に低くしてレンダリング処理を行う。

また、図１１（ｂ）のように、俯瞰度が所定の閾値以上の場合、つまり特定の被写体を注視せず、情景をある程度俯瞰して見ている状態である場合は、レンダリング範囲９０３ｂ，９０４ｂの画質を中画質でレンダリング処理する。そして、それ以外の範囲を所定以下の画質である低画質でレンダリング処理する。ここで言う中画質とは、レンダリング範囲外の画質よりは解像度が高く、レンダリングを行わない（無加工の）場合よりは解像度が低い画質である。

以上説明したように、本実施形態では、ユーザが映像を俯瞰して見ているか否かを判定し、俯瞰度が高い場合は、画像の周辺のぼかし範囲の面積を狭く、そしてレンダリング画質である解像度（注視点近傍の解像度）を低く設定する。また、俯瞰度が低い場合は、画像の周辺のぼかし範囲の面積を広く、レンダリング画質である解像度（注視点近傍の解像度）を高く設定する。これにより、俯瞰度に応じて、適切なぼかし範囲と適切な画質をユーザに提供することが可能となる。

なお、上記の説明では、ぼかし範囲の大きさとレンダリング画質である解像度は、俯瞰度に応じて段階的に変更するように説明したが、俯瞰度の変化に応じて連続的に変更するようにしてもよい。

図１０では、ステップＳ７０６で求めたぼかし範囲、ステップＳ７０７で求めたレンダリング画質は、ユーザの俯瞰度のみから設定していた。しかし、これらを、被写体の動作を踏まえて変更するようにしてもよい。

図１２は、被写体動作を考慮したぼかし範囲及びレンダリング画質の変更の例を示すフローチャートである。

図１２においても、ステップＳ３０１～ステップＳ３０５までの処理は、図６のステップＳ３０１～ステップＳ３０５までの処理と同じである。

ステップＳ８０６では、制御部１１１は、被写体の動きを計測する。例えば、ディスプレイにおいて、被写体の像面の移動距離と、ＨＭＤ１００の動きから被写体の動きの速さを計測する。

ステップＳ８０７では、制御部１１１は、ステップＳ３０５で求めた俯瞰度及びステップＳ８０６で求めた被写体の動作から、ぼかし範囲を設定する。例えば、俯瞰度が所定以下の場合であっても、被写体の動きが所定より速い場合は、各眼の視線ベクトルを中心とした高画質なレンダリング範囲の半径を広げる。また、俯瞰度が所定より高い場合であっても、被写体の動きが所定以下の速度の場合は、各眼の視線ベクトルを中心としたレンダリング範囲の半径を狭く設定する。

ステップＳ８０８では、制御部１１１は、ステップＳ８０６で求めた被写体の動作から、解像度を設定する。例えば、ユーザの俯瞰度が所定より高い場合であっても、被写体の動きが所定よりも速い場合は、図１１（ｂ）のレンダリング範囲９０３ｂ，９０４ｂを中解像度に設定し、被写体の動きが所定以下の速度の場合は、レンダリング範囲９０３ｂ，９０４ｂを高解像度に設定する。

ステップＳ８０９では、制御部１１１は、ステップＳ８０６で求めた被写体の動作から、フレームレートを設定する。ユーザの俯瞰度が高い場合でも、被写体の動きが所定よりも速い場合は、フレームレートを所定よりも高くするように設定し、被写体の動きが所定以下の速度の場合は、フレームレートを所定以下に設定しレンダリング処理を行う。

ステップＳ８１０では、ステップＳ８０６で求めた被写体の動作からビットレートを設定する。ユーザの俯瞰度が所定よりも高い場合でも、被写体の動きが所定よりも速い場合ではビットレートを所定よりも高くするよう設定し、被写体の動きが所定以下の速度の場合は、ビットレートを所定以下に設定しレンダリング処理を行う。

俯瞰度が高い場合、被写体の細部までは認識できないため、所定のレンダリングよりも解像度を落とす。一方、動きの速い被写体が存在すれば、より滑らかで自然な動きを見せるようにして、視覚的に臨場感のある映像を見せる。

また、俯瞰度が高い場合であっても、動きが少ないシーンでは、滑らかな動きを見せる必要がない。その代わりに、解像度を高くしてきめ細かい映像を提供する。

以上説明したように、図１２では、被写体の動きによってぼかし範囲及びレンダリング画質を変更したが、被写体の動きだけではなく、撮影シーンである、場所、明るさ等からもレンダリング範囲やレンダリング画質を変更するようにしてもよい。

また、レンダリングの画質では解像度、フレームレート、ビットレートを変更したが、これに限られるものではない。例えば、暗い場所では、ダイナミックレンジを広げることで、輝度情報の帯域を広げ、明暗や色合いの再現性を高めるようにしてもよい。

本明細書の開示は、以下の画像処理装置、方法、プログラムおよび記憶媒体を含む。

（項目１）
表示手段に表示する画像を処理する画像処理装置であって、
前記表示手段を見るユーザの視線の方向を検出する視線検出手段と、
検出された視線の方向に基づいて、ユーザが注視している位置の距離である第１の距離を検出する第１の距離検出手段と、
被写体までの距離である第２の距離を検出する第２の距離検出手段と、
前記第１の距離と前記第２の距離に基づいて、ユーザが前記被写体を俯瞰して見ている程度を示す俯瞰度を取得する取得手段と、
前記俯瞰度に基づいて、前記画像をレンダリング処理する範囲、前記画像をレンダリング処理する画質の少なくとも一方を変更する変更手段と、
を備えることを特徴とする画像処理装置。

（項目２）
前記レンダリング処理とは、前記画像の周辺の領域をぼかす処理であることを特徴とする項目１に記載の画像処理装置。

（項目３）
前記変更手段は、前記俯瞰度が高くなるにつれて、ぼかす処理を行う前記画像の周辺の領域の面積を小さくすることを特徴とする項目２に記載の画像処理装置。

（項目４）
前記レンダリング処理とは、ユーザの視点の近くにおける画像の画質を前記画像の周辺の領域における画像の画質よりも高くする処理であることを特徴とする項目１に記載の画像処理装置。

（項目５）
前記変更手段は、前記俯瞰度が高くなるにつれて、前記画像の画質を高くする領域における画像の画質を下げることを特徴とする項目４に記載の画像処理装置。

（項目６）
前記画像の画質とは、画像の解像度であることを特徴とする項目４または５に記載の画像処理装置。

（項目７）
前記レンダリング処理とは、前記画像の周辺の領域をぼかすとともに、ユーザの視点の近くにおける画像の画質を高くする処理であることを特徴とする項目１に記載の画像処理装置。

（項目８）
前記変更手段は、前記俯瞰度が高くなるにつれて、画像をぼかす処理を行う前記画像の周辺の領域の面積を小さくするとともに、前記画像の画質を高くする領域における画像の画質を下げることを特徴とする項目７に記載の画像処理装置。

（項目９）
前記変更手段は、撮影シーンに基づいて、前記画像をレンダリング処理する範囲を変更することを特徴とする項目１に記載の画像処理装置。

（項目１０）
前記変更手段は、撮影シーンに基づいて、前記画像をレンダリング処理する画質を変更することを特徴とする項目１に記載の画像処理装置。

（項目１１）
前記変更手段は、撮影シーンに基づいて、前記画像のビットレート、フレームレート、ダイナミックレンジを変更することを特徴とする項目１０に記載の画像処理装置。

（項目１２）
前記取得手段は、前記第１の距離と前記第２の距離の比率に基づいて、ユーザが被写体を注視している程度を示す注視度を取得することを特徴とする項目１乃至１１のいずれか１項目に記載の画像処理装置。

（項目１３）
前記取得手段は、前記注視度に基づいて、前記俯瞰度を取得することを特徴とする項目１２に記載の画像処理装置。

（項目１４）
表示手段に表示する画像を処理する画像処理方法であって、
前記表示手段を見るユーザの視線の方向を検出する視線検出工程と、
検出された視線の方向に基づいて、ユーザが注視している位置の距離である第１の距離を検出する第１の距離検出工程と、
被写体までの距離である第２の距離を検出する第２の距離検出工程と、
前記第１の距離と前記第２の距離に基づいて、ユーザが前記被写体を俯瞰して見ている程度を示す俯瞰度を取得する取得工程と、
前記俯瞰度に基づいて、前記画像をレンダリング処理する範囲、前記画像をレンダリング処理する画質の少なくとも一方を変更する変更工程と、
を有することを特徴とする画像処理方法。

（項目１５）
項目１４に記載の画像処理方法の各工程をコンピュータに実行させるためのプログラム。

（項目１６）
項目１４に記載の画像処理方法の各工程をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

（他の実施形態）
また本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現できる。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現できる。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１００：ヘッドマウントディスプレイ（ＨＭＤ）、１０３：左眼用カメラ、１０４：右目用カメラ、１０５：左視線撮像部、１０６：右視線撮像部、１０７：左眼用ディスプレイ、１０８：右目用ディスプレイ、制御部：１１１

Claims (16)

1. 表示手段に表示する画像を処理する画像処理装置であって、
   前記表示手段を見るユーザの視線の方向を検出する視線検出手段と、
   検出された視線の方向に基づいて、ユーザが注視している位置の距離である第１の距離を検出する第１の距離検出手段と、
   被写体までの距離である第２の距離を検出する第２の距離検出手段と、
   前記第１の距離と前記第２の距離に基づいて、ユーザが前記被写体を俯瞰して見ている程度を示す俯瞰度を取得する取得手段と、
   前記俯瞰度に基づいて、前記画像をレンダリング処理する範囲、前記画像をレンダリング処理する画質の少なくとも一方を変更する変更手段と、
   を備えることを特徴とする画像処理装置。
2. 前記レンダリング処理とは、前記画像の周辺の領域をぼかす処理であることを特徴とする請求項１に記載の画像処理装置。
3. 前記変更手段は、前記俯瞰度が高くなるにつれて、ぼかす処理を行う前記画像の周辺の領域の面積を小さくすることを特徴とする請求項２に記載の画像処理装置。
4. 前記レンダリング処理とは、ユーザの視点の近くにおける画像の画質を前記画像の周辺の領域における画像の画質よりも高くする処理であることを特徴とする請求項１に記載の画像処理装置。
5. 前記変更手段は、前記俯瞰度が高くなるにつれて、前記画像の画質を高くする領域における画像の画質を下げることを特徴とする請求項４に記載の画像処理装置。
6. 前記画像の画質とは、画像の解像度であることを特徴とする請求項４に記載の画像処理装置。
7. 前記レンダリング処理とは、前記画像の周辺の領域をぼかすとともに、ユーザの視点の近くにおける画像の画質を高くする処理であることを特徴とする請求項１に記載の画像処理装置。
8. 前記変更手段は、前記俯瞰度が高くなるにつれて、画像をぼかす処理を行う前記画像の周辺の領域の面積を小さくするとともに、前記画像の画質を高くする領域における画像の画質を下げることを特徴とする請求項７に記載の画像処理装置。
9. 前記変更手段は、撮影シーンに基づいて、前記画像をレンダリング処理する範囲を変更することを特徴とする請求項１に記載の画像処理装置。
10. 前記変更手段は、撮影シーンに基づいて、前記画像をレンダリング処理する画質を変更することを特徴とする請求項１に記載の画像処理装置。
11. 前記変更手段は、撮影シーンに基づいて、前記画像のビットレート、フレームレート、ダイナミックレンジを変更することを特徴とする請求項１０に記載の画像処理装置。
12. 前記取得手段は、前記第１の距離と前記第２の距離の比率に基づいて、ユーザが被写体を注視している程度を示す注視度を取得することを特徴とする請求項１に記載の画像処理装置。
13. 前記取得手段は、前記注視度に基づいて、前記俯瞰度を取得することを特徴とする請求項１２に記載の画像処理装置。
14. 表示手段に表示する画像を処理する画像処理方法であって、
    前記表示手段を見るユーザの視線の方向を検出する視線検出工程と、
    検出された視線の方向に基づいて、ユーザが注視している位置の距離である第１の距離を検出する第１の距離検出工程と、
    被写体までの距離である第２の距離を検出する第２の距離検出工程と、
    前記第１の距離と前記第２の距離に基づいて、ユーザが前記被写体を俯瞰して見ている程度を示す俯瞰度を取得する取得工程と、
    前記俯瞰度に基づいて、前記画像をレンダリング処理する範囲、前記画像をレンダリング処理する画質の少なくとも一方を変更する変更工程と、
    を有することを特徴とする画像処理方法。
15. 請求項１４に記載の画像処理方法の各工程をコンピュータに実行させるためのプログラム。
16. 請求項１４に記載の画像処理方法の各工程をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

Images