以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
図1は、一実施形態に係る表示装置10の構成例を示す図である。表示装置10は、観視者に立体的画像を提示する。具体的には、表示装置10は、観視者の右眼で視認されるべき右眼用画像と観視者の左眼で視認されるべき左眼用画像とを生成して、生成した右眼用画像および左眼用画像を、それぞれ観視者の右眼および観視者の左眼に提示することにより、立体的画像を観視者に提示する。
ここで、表示装置10は、デジタルフォトフレーム、テレビ受像機およびパーソナルコンピュータ用のモニタ等の表示装置であってよい。また、表示装置10は、デジタルスチルカメラ、デジタルビデオカメラなどの撮像機器の表示デバイスであってよく、携帯電話機などの携帯機器の表示デバイスであってもよい。
表示装置10は、画像取得部100、画像生成部110、画像処理部120、表示部140、画像案内部150、ズレ量決定部160、画面サイズ取得部170、制御部180、および、観視者特定部190を備える。なお、表示装置10が備える構成要素のうち、画像案内部150を除く機能ブロックは、右眼用画像および左眼用画像を生成する画像生成装置として機能することができる。例えば、画像取得部100、画像生成部110、画像処理部120、表示部140、ズレ量決定部160、画面サイズ取得部170、制御部180、および、観視者特定部190を備える機能ブロックが、画像生成装置として機能することができる。
画像取得部100は、表示部140に表示されるべき表示画像の元となる入力画像を取得する。例えば、画像取得部100は、記憶媒体が記憶している1以上の画像を、入力画像として記憶媒体から取得してよい。画像取得部100は、外部インターフェイスを通じて外部から供給される画像を、入力画像として取得してもよい。また、画像取得部100が入力画像として取得する画像は、静止画であってよく、静止画が連続した動画であってもよい。画像取得部100は複数の入力画像を取得して、画像生成部110に供給する。
入力画像としては、1視点からの画像である1つの2次元画像を例示することができる。例えば、入力画像は、いわゆる2次元カメラにより1視点から撮像されて得られた1つの2次元画像であってよい。他にも、入力画像は、右眼および左眼にそれぞれ対応する2視点からの画像である2つの2次元画像であってよい。例えば、入力画像は、いわゆる複眼カメラにより2視点から撮像されて得られた2つの2次元画像であってよい。
画像生成部110は、画像取得部100から取得した入力画像を用いて、表示部140に表示されるべき表示画像に含まれる右眼用画像および左眼用画像を生成する。具体的には、画像生成部110は、対応するオブジェクトの対応点の表示画面上における左右方向の位置の差であるズレ量を、表示画面の左右方向の中央領域と周辺領域とで異ならせて右眼用画像と左眼用画像とを生成する。ここで、左右方向とは、観視者の右眼および左眼に沿う方向とする。後述するように、画像生成部110が中央領域と周辺領域とでズレ量を異ならせて右眼用画像と左眼用画像とを生成することで、観視者に大きな違和感を与えることなく立体的な像を認識可能な表示画像を提供することができる。画像生成部110は、生成した右眼用画像および左眼用画像を画像処理部120に供給する。
画像処理部120は、画像生成部110が生成した右眼用画像および左眼用画像に所定の画像処理を施して表示画像を生成して、表示部140に供給する。例えば、画像処理部120は、右眼用画像および左眼用画像の少なくとも一方にぼかし処理を施してよい。例えば、画像処理部120は、画像の部分領域毎に複数の画素値を平均化することにより、右眼用画像および左眼用画像の少なくとも一方にぼかし処理を施してよい。
鮮明な右眼用画像および左眼用画像を観視者に提示するよりも、ぼかし処理を施した場合の方が、観視者は小さな負担で立体的な像を認識することができる場合がある。具体的には、2次元の表示面に表示された擬似的な立体画像である表示画像が観視者に与える空間情報は、実際の3次元空間の物体が与える空間情報とは完全に一致しておらず、観視者は表示画像から得られた視覚的情報に多少の矛盾を感じてしまう場合がある。
観視者の脳は、右眼用画像および左眼用画像を融合して1つの立体的な像を認識しようとするが、右眼用画像および左眼用画像がどちらも鮮明であると矛盾が際立ってしまい、きちんと融合できなくなってしまう場合がある。また、表示画像をきちんと融合するのに観視者の脳に多大の負担をかけてしまい、観視者が疲れてしまう場合がある。
右眼用画像および左眼用画像がどちらも鮮明な場合と比べると、画像処理部120が左眼用画像または右眼用画像の少なくとも一方をぼかすことによって矛盾を低減することができる。画像がぼかされたとしても、ぼけた画像を他方の画像に合わせて観視者の脳が都合良く認識することができるので、比較的容易に表示画像を立体的な像として認識することができる。また、観視者の脳は、ぼけた画像を鮮明なものとして都合良く認識することもできるので、観視者が認識する像の画質も実質的に劣化しない。
画像処理部120によるぼかし処理により、観視者は小さな負担で表示画像を鮮明な立体的画像として認識することができる。このため、観視者は、表示装置10が提供する立体的画像を比較的長時間にわたって鑑賞し続けることができる。
なお、画像処理部120は、入力画像、右眼用画像、および左眼用画像の少なくともいずれかの鮮明度を算出して、鮮明度が予め定められた値より大きいことを条件として、右眼用画像および左眼用画像の少なくとも一方にぼかし処理を施してよい。例えば、画像処理部120は、右眼用画像および左眼用画像の少なくとも一方が有する空間周波数成分に基づいて、鮮明度を決定してよい。例えば、画像処理部120は、予め定められた空間周波数より高い空間周波数領域においてより高い空間周波数成分を入力画像が有している場合に、より大きい値の鮮明度を決定してよい。
また、画像処理部120は、右眼用画像および左眼用画像のそれぞれを、所定の方向において所定の幅を有する複数のストライプ画像に分割する。そして、画像処理部120は、右眼用画像のストライプ画像および左眼用画像のストライプ画像を、所定の画像配列方向に交互に配列された表示画像を生成する。
画像処理部120が生成した表示画像は、表示部140に供給される。表示部140は、画像生成部110が生成した、観視者の右眼で視認されるべき右眼用画像、および観視者の左眼で視認されるべき左眼用画像を表示する。具体的には、表示部140は、右眼用画像のストライプ画像および左眼用画像のストライプ画像が交互に配列された表示画像を表示する。以下に説明するように、表示部140に表示された右眼用画像からの各ストライプ画像(R)は、画像案内部150により観視者の右眼に指向され、表示部140に表示された左眼用画像からの各ストライプ画像(L)は、画像案内部150により観視者の左眼に指向される。
画像案内部150は、透過部および遮光部が交互に配置された、いわゆるパララックスバリアであってよい。例えば、画像案内部150は、交互に配置された透過部および遮光部を有する。透過部および遮光部は、当該延伸方向と直交するバリア配列方向に交互に配置され、表示部140が表示した右眼用画像および左眼用画像の対応するストライプ画像を異なる方向に射出させ、観視者の右眼および左眼にそれぞれ提示する。このような構成により、裸眼の観視者に立体的画像を提示することができる。
以上の説明のように、表示画像に含まれる右眼用画像と左眼用画像とにおいて、対応するオブジェクトの対応点の表示部140の表示画面上における位置の差が存在する場合に、観視者は表示画像を立体的に認識することができる。例えば、右眼用画像と左眼用画像とにおける対応するオブジェクトの対応点が観視者の瞳孔間距離に近い量だけずれていると、観視者の左眼および右眼の視線は実質的に平行状態となる。これにより、あたかも無限遠を見ているような像を観視者に認識させることができる。
本明細書において、右眼用画像と左眼用画像とにおける対応するオブジェクトの対応点の表示画面上の位置の差を、ズレ量と呼ぶ。以下に説明するように、表示装置10は、表示領域毎にズレ量を調整することによって、観視者が違和感をより感じることのない表示画像を提示することができる。具体的には、画像生成部110は、表示画面上における対応点のズレ量が、表示画面の周辺領域で中央領域より小さい右眼用画像と左眼用画像とを生成する。表示部140の中央領域の前面から観視者が観視している場合に、周辺領域のオブジェクトが観視者の両眼で見えてしまったとしても、周辺領域のズレ量を比較的に小さくしてるので、周辺領域のオブジェクトの位置ズレを観視者は顕著に感じることはない。これにより周辺領域において観視者が感じる違和感を低減することができる。一方、表示部140の表示面の中央領域については、ズレ量を比較的に大きくしているので、観視者は立体感のある像を認識することができる。
ここで、入力画像が2次元画像である場合に、画像生成部110は、入力画像を所与のズレ量だけ左右に相対的にずらすことにより、立体的な像として認識される表示画像を観視者に提示することができる。この場合に、画像生成部110は、2次元画像の中央領域を第1ズレ量だけ左右にずらし、2次元画像の周辺領域を第1ズレ量より小さい第2ズレ量だけ左右にずらすことにより、右眼用画像および左眼用画像を生成する。
入力画像が、複眼カメラによる撮像画像である場合などのように2視点からの2次元画像であり、既にズレ量を含む場合には、画像生成部110は、右方の視点からの2次元画像および左方の視点からの2次元画像を以下のようにずらすことにより、それぞれ右眼用画像および左眼用画像を生成する。すなわち、画像生成部110は、右方の視点からの2次元画像と左方の視点からの2次元画像とにおける左右のズレ量が、中央領域において第1ズレ量となり、周辺領域において第1ズレ量より小さい第2ズレ量となるよう、右方の視点からの2次元画像および左方の視点からの2次元画像を領域毎に左右にずらすことにより、右眼用画像および左眼用画像を生成する。
表示領域毎のズレ量は、例えばズレ量決定部160により決定される。具体的には、ズレ量決定部160は、表示領域毎にズレ量を異ならせるか否かを判断して、表示領域毎にズレ量を異ならせる旨を判断した場合に、表示領域毎のズレ量を決定してよい。例えば、ズレ量決定部160は、表示部140の表示画面の大きさに基づき、表示領域毎にズレ量を異ならせるか否かを判断してよい。また、ズレ量決定部160は、表示部140の表示画面の大きさに基づき、表示領域毎にズレ量を決定してよい。
具体的には、画面サイズ取得部170は、右眼用画像および左眼用画像を表示する表示画面の大きさを示す情報を取得する。より具体的には、画面サイズ取得部170は、表示部140の表示画面の大きさを示す情報を取得する。ここで、表示画面の大きさを示す情報とは、表示部140の表示画面の左右方向のサイズを指標とすることができる。なお、表示画面の大きさとは、表示部140が表示画像を実際に表示する表示領域の大きさであってよい。例えば、表示部140が表示することができる最大の表示領域より小さな領域に表示画像を表示する場合には、表示画面の大きさとは、当該最大の表示領域より小さな、表示画像が実際に表示される領域の大きさを意味するとみなすことができる。
ズレ量決定部160は、画面サイズ取得部170が取得した情報が所定サイズより小さい大きさを示す場合、表示画面の中央領域と周辺領域とで同一のズレ量を決定する。そして、画像生成部110は、画面サイズ取得部170が取得した情報が所定サイズより小さい大きさを示す場合、表示画面の中央領域と周辺領域とでズレ量が同一の右眼用画像と左眼用画像とを生成する。一方、ズレ量決定部160は、画面サイズ取得部170が取得した情報が所定サイズ以上の大きさを示す場合、表示画面の周辺領域で中央領域より小さいズレ量を決定する。そして、画像生成部110は、画面サイズ取得部170が取得した情報が所定サイズ以上の大きさを示す場合、表示画面の周辺領域で中央領域よりズレ量が小さい右眼用画像と左眼用画像とを生成する。このように、画像生成部110は、画面サイズ取得部170が取得した情報が示す大きさがより大きい場合に、表示画面の周辺領域で中央領域よりズレ量がより小さい右眼用画像と左眼用画像とを生成することができる。
表示部140の表示画面が所定サイズより小さい場合には、観視者は表示画面の全領域において比較的に容易に右眼用画像と左眼用画像とを視差融合でき、1つの立体的な像として認識することができる。表示装置10は、表示画面が所定サイズより小さい場合には、例えば全領域にわたってズレ量が同一な表示画像を提供するので、観視者は画像全体にわたって立体的な像を楽しむことができる。一方、表示部140の表示画面が所定サイズ以上である場合には、観視者は表示画面の周辺領域においては右眼用画像と左眼用画像とを視差融合しにくくなり、ズレ量が大きいほど違和感をより強く感じてしまう。しかしながら、表示画面が所定サイズ以上である場合には、画像生成部110の制御により周辺領域におけるズレ量は中央領域より小さくされるので、観視者が周辺領域において違和感を強く感じることを防ぐことができる。一方で、表示装置10は、中央領域においては比較的に大きなズレ量の表示画像を提示するので、観視者は立体的な像を楽しむことができる。
なお、入力画像が撮像された画像であったとしても、ズレ量決定部160は、当該入力画像の各領域内に撮像された複数の被写体までの実際の距離に関係なく、ズレ量を決定してよい。例えば周辺領域に撮像されている被写体が、中央領域に撮像されている被写体よりも実際には遠くに位置していたとしても、ズレ量決定部160は、中央領域におけるズレ量より大きい大きさのズレ量を周辺領域において決定してよい。
以上の説明では、表示領域におけるズレ量を相対的に異ならせる処理について説明した。ここで、ズレ量の大きさは、表示部140の表示面と観視者との位置関係によって定めることができる。例えば、観視者特定部190は、表示部140の表示面と観視者との位置関係として、表示部140の表示面に対する観視者の顔の向きを特定する。また、観視者特定部190は、表示部140の表示面と観視者との位置関係として、観視者の両眼から表示部140の表示面までの距離および観視者の眼の向きを特定してもよい。そして、ズレ量決定部160は、表示部140の表示面と観視者との位置関係に基づき、ズレ量を決定してよい。
例えば、ズレ量決定部160は、観視者特定部190が特定した向きに基づいて、ズレ量を決定してよい。具体的には、ズレ量決定部160は、観視者特定部190が特定した向きに基づき、観視者が観ている表示領域を特定して、当該表示領域におけるズレ量を決定してよい。このとき、ズレ量決定部160は、観視者特定部190が特定した向きと表示部140の表示面の法線方向とのなす角度が大きいほど、観視者が観ている表示領域のズレ量としてより大きい大きさのズレ量を決定してよい。そして、ズレ量決定部160は当該観視者が観ている表示領域の周辺領域のズレ量として、当該観視者が観ている表示領域のズレ量より小さい大きさのズレ量を決定してよい。
また、制御部180は、観視者特定部190が特定した向きまたは両眼からの表示面までの距離に基づき、画像案内部150が有する遮光部の位置およびピッチの少なくとも一方を決定してもよい。遮光部の位置とは、遮光部の左右方向の位置、および、表示部140の表示面の法線方向における遮光部の位置の少なくとも一方であってよい。また、制御部180は、決定した遮光部の位置またはピッチに対応する、各ストライプ画像の幅または配列ピッチを決定して、決定した幅のストライプ画像を画像処理部120に生成させてよい。また、制御部180は、決定したピッチでストライプ画像が配列された表示画像を画像処理部120に生成させてよい。
図2は、画像処理部120の動作例を説明する図である。上述したように画像処理部120は、左眼用画像および右眼用画像を、複数のストライプ画像(L1、L2、L3、・・・、および、R1、R2、R3、・・・)に分割する。本例の画像処理部120は、水平方向の配列方向に沿って、所定の間隔で左眼用画像および右眼用画像を分割する。
画像処理部120は、生成したストライプ画像を、右眼用画像および左眼用画像で交互に配列方向に配置して表示画像を生成する。なお、表示部140は、表示画像に含まれる右眼用画像および左眼用画像を同時に表示するので、画像処理部120は、左眼用画像および右眼用画像のそれぞれについて、ストライプ画像の配列方向における表示画素数を略半分にする。より具体的には、画像処理部120は、左眼用画像および右眼用画像のそれぞれのストライプ画像を、配列方向に1つおきに用いる。
図3は、画像案内部150を説明する図である。画像案内部150は、表示部140の観視者側に設けられたバリア部310およびバリア制御部320を有する。バリア部310は、右眼用画像と左眼用画像とを異なる方向へ案内する。
具体的には、バリア部310は、表示部140の観視者側に、所定の配列方向に沿って交互に設けられた透過部312および遮光部314を含む。透過部312は、左眼用画像の1つのストライプ画像、および、右眼用画像の1つのストライプ画像の組み合わせに対して1つずつ形成される。それぞれの透過部312は、対応する左眼用画像のストライプ画像を、観視者の左眼の方向に射出し、対応する右眼用画像のストライプ画像を、観視者の右眼の方向に射出する。なお、画像案内部150により複数視点用の画像を裸眼の観視者に提示する場合、ある観視位置において観視者の右眼でとらえられたストライプ画像が、他の観視位置では観視者の左眼でとらえられる場合がある。本実施形態において右眼用画像は、観視者の右眼でとらえられた画像であり、左眼用画像は、観視者の左眼でとらえられた画像であるとみなすことができる。具体的には、特定の透過部312から射出されたストライプ画像が実質的に観視者の右眼でとらえられた場合には、当該ストライプ画像は右眼用画像を形成するストライプ画像とみなすことができる。逆に、同じ特定の透過部312から射出されたストライプ画像が実質的に観視者の左眼でとらえられた場合には、当該ストライプ画像は左眼用画像を形成するストライプ画像とみなすことができる。つまり、画像案内部150は、複数視点用の画像を異なる方向へ案内するということができる。
バリア部310は、複数のシャッタ素子が配置されることにより形成されてよい。具体的には、バリア部310は、水平方向および垂直方向に沿ってマトリクス状に配置された複数のシャッタ素子を含んでよい。バリア制御部320は、制御部180の制御に基づき、これらのシャッタ素子のオン/オフを個別に設定することで、透過部および遮光部の延伸方向および配列方向を制御する。つまり、バリア制御部320は、透過部を形成すべき領域のシャッタ素子をオン状態とし、遮光部を形成すべき領域のシャッタ素子をオフ状態とすることで、任意の方向に透過部および遮光部を形成する。このように、バリア制御部320は、複数のシャッタ素子に光を透過させるか否かを制御することにより、光を遮光する遮光部314と光を透過する透過部312とをストライプ状に交互に形成させる。
ここで、立体的画像ではなくいわゆる2次元の画像を観視者に提示する場合には、バリア制御部320は、表示部140上の2次元画像の表示領域に対応する全シャッタ素子を実質的にオン状態にする。これにより、表示部140に表示された2次元画像は透過部により透過され、観視者の右眼および左眼により視認される。なお、遮光部314と透過部312とが交互に配列された状態でも、ズレ量のない同一の右眼用画像および左眼用画像から表示画像を生成することで、2次元の画像を観視者に提示することができる。
なお、本図で例示したパララックスバリア方式の画像案内部150の他に、レンチキュラレンズ方式の画像案内部150を例示することができる。例えば、バリア部310による画像の案内方向を制御することに替えて、レンチキュラレンズにより、画像の案内方向を異ならせることができる。具体的には、複数の右眼用ストライプ画像と複数の左眼用ストライプ画像とを異なる方向へ案内するレンズアレイにより、対応する左眼用画像のストライプ画像を観視者の左眼の方向に指向させ、対応する右眼用画像のストライプ画像を観視者の右眼の方向に指向させることができる。これにより、画像案内部150は、複数の右眼用ストライプ画像と複数の左眼用ストライプ画像とを異なる方向へ案内することができる。
図4は、画像生成部110の動作例を説明する図である。図4は、表示部140の画素配列の水平方向xおよび垂直方向yに対して座標が規定される画像データを示す。ここでは簡単のため、観視者の瞳孔間距離以下の距離であるズレ量Lの左眼用画像および右眼用画像を、2次元画像である入力画像の全体をずらすことにより生成する処理について説明する。具体的には、画像生成部110は、与えられる2次元画像を所定の軸における左にL/2シフトした画像を左眼用画像として生成するとともに、当該軸における右にL/2シフトした画像を右眼用画像として生成する。このように、画像生成部110は、2次元画像を表示画面上において左右にずらした右眼用画像および左眼用画像を生成する。
ここで、中央領域と周辺領域とでズレ量を異ならせる場合の処理を説明する。中央領域のズレ量を第1ズレ量L1とし、周辺領域のズレ量を第2ズレ量L2(<L1)とする場合には、画像生成部110は、2次元画像を左にL1/2シフトした第1左眼用画像と、2次元画像を左にL2/2シフトした第2左眼用画像とを生成する。そして、画像生成部110は、表示画面の中央領域に対応する第1左眼用画像内の部分領域と、表示画面の周辺領域に対応する第2左眼用画像内の部分領域とを組み合わせて、左眼用画像を生成する。
また、画像生成部110は、2次元画像を右にL1/2シフトした第1右眼用画像と、2次元画像を右にL2/2シフトした第2右眼用画像とを生成する。そして、画像生成部110は、表示画面の中央領域に対応する第1右眼用画像内の部分領域と、表示画面の周辺領域に対応する第2右眼用画像内の部分領域とを組み合わせて、右眼用画像を生成する。これにより、画像生成部110は、中央領域と周辺領域とでズレ量が異なる右眼用画像および左眼用画像を生成することができる。なお、画像生成部110は、同様の方法により、3以上の異なるシフト量を表示領域毎に有する左眼用画像および右眼用画像を生成することもできる。
図5は、ズレ量決定部160による処理例を示す。本図の例では、表示部140の表示画面の大きさが所定サイズより大きい場合のズレ量を、表示画面における表示領域毎に示す。ここで、ズレ量決定部160は、中央の表示領域である第1表示領域500におけるズレ量として第1ズレ量L1を決定しており、第1表示領域500の左右に位置する第2表示領域510aおよび第2表示領域510bにおけるズレ量として第2ズレ量L2(<L1)を決定しているとする。また、ズレ量決定部160は、第2表示領域510aの左に位置する第3表示領域520aと第2表示領域510bの右に位置する第3表示領域520bとにおけるズレ量として第3ズレ量L3(<L2)を決定したとする。画像生成部110は、第1表示領域500、第2表示領域510、および第3表示領域520のそれぞれにおいて、それぞれL1、L2、およびL3のズレ量を有する右眼用画像および左眼用画像を生成する。
なお、ズレ量決定部160は、画面サイズに対応するズレ量を、表示領域毎に予め記憶していてよい。例えば、ズレ量決定部160は、それぞれ画面サイズの範囲を示す複数の範囲情報に対応づけて、1以上の表示領域に対応するズレ量を予め記憶してよい。具体的には、ズレ量決定部160は、より大きい画面サイズを示す範囲情報に対応づけて、より多い数の表示領域におけるズレ量を記憶していてよい。ズレ量決定部160は、複数の表示領域のそれぞれにおけるズレ量を記憶している場合、より周辺の表示領域においてより小さいズレ量を記憶していてよい。
また、ズレ量決定部160は、より大きい画面サイズの範囲を示す範囲情報に対応づけて、中央領域から最も離れた周辺領域のズレ量として、中央領域のズレ量と比較してより小さいズレ量を記憶していてよい。例えば、ズレ量決定部160は、予め定められた閾値を超える画面サイズの範囲を示す範囲情報に対応づけて、最も離れた周辺領域において0のズレ量を記憶していてよい。
そして、ズレ量決定部160は、画面サイズ取得部170が取得した情報から表示部140の画面サイズを特定して、特定した画面サイズを含む範囲情報に対応づけて予め記憶している、1以上の表示領域におけるズレ量を読み出す。ズレ量決定部160は、読み出した1以上の表示領域におけるズレ量を、表示部140の表示画面において対応する1以上の表示領域のズレ量として決定する。
また、各観視者に適したズレ量を決定することを目的として、画像処理部120は同一の入力画像から表示領域間のズレ量の差異が異なる複数の表示画像を生成して、生成した複数の表示画像を順次に表示部140から観視者に提示してよい。そして、最も立体的に認識できた表示画像を特定する情報を観視者などから取得して、取得した表示画像における各表示領域のズレ量をズレ量決定部160が記憶してよい。このとき、観視者としての人物を識別する情報を取得して、取得した情報に対応づけて各表示領域におけるズレ量をズレ量決定部160が記憶してよい。後に、ズレ量決定部160は、表示部140を観視している人物を識別する情報に対応づけて記憶している各表示領域におけるズレ量を読み出して、読み出したズレ量を、表示部140の表示画面において対応する各表示領域のズレ量として決定することができる。
図6は、表示装置10の動作例を示すフローチャートである。S602において、ズレ量決定部160は、画面サイズ取得部170から取得した情報に基づいて画面サイズを特定する。S604において、ズレ量決定部160は、画面サイズが所定サイズを超えるか否かを判断する。画面サイズが所定サイズを超える場合(YES)、S606において、ズレ量決定部160は、画面サイズに応じて複数の表示領域のそれぞれのズレ量を決定する。画面サイズが所定サイズを超えない場合(NO)、S608において、ズレ量決定部160は、表示部140の表示画面の全表示領域において同一のズレ量を決定する。
次に、S610において、画像取得部100は、表示部140に表示させる表示画像の元となる入力画像を取得する。S612において、画像生成部110は、S606またはS608において決定したズレ量に従って入力画像を相対的にシフトさせることにより、右眼用画像および左眼用画像を生成する。S614において、画像処理部120は右眼用画像および左眼用画像から表示画像を生成して、表示部140に表示させる。S616において、画像表示を終了するか否かを判断する。例えば、所定の全入力画像について画像を提示した場合に(YES)、画像表示を終了する旨を判断してよい。提示していないものが存在する場合に(NO)、次の入力画像を選択すべくS610の処理に移行する。
図7は、ズレ量の範囲を説明する図である。ここまで、表示装置10が観視者の右眼および左眼の2視点に対して画像を提示する処理について説明した。このような1の観視者に立体的画像を提示する場合だけでなく、複数の観視者に対して立体的画像または2次元画像を提示する場合などのように、2以上の多視点に画像を提示する場合を考える。画像生成部110が入力画像をシフトさせることにより多視点用の画像を生成する場合に、ズレ量決定部160は、提示する視点数および表示部140の画素幅により、以下の説明のとおりに規定される範囲内のズレ量を決定する。
まず、ズレ量の上限値について、ズレ量は観視者の瞳孔間距離未満とすることが好ましい。例えば、ズレ量決定部160は、表示画面の中央領域におけるズレ量を、観視者の瞳孔間距離未満の値とする。例えば観視者特定部190は、観視者を撮像して得られた観視者画像から瞳孔間距離を特定して、特定した瞳孔間距離を示す情報をズレ量決定部160に供給してよい。そして、ズレ量決定部160は、供給された情報が示す瞳孔間距離未満のズレ量を決定する。
既に説明したように入力画像をシフトすることにより得られた表示画像を観視者に提示することで、観視者が生理的に遠くを見ているような状態を現出することができる。これにより、心理的作用から立体感、臨場感のある像を観視者に提示することができる。特にズレ量を瞳孔間距離により近い大きさにすることで、観視者の眼がより遠くを観ている状態となるような表示画像を提示することができ、画面のスケール感を著しく強調することができる。特に表示部140が大型ディスプレイであるほど、この効果は顕著となる。
一方で、裸眼での視差融合により立体的に見せる表示装置10においては、ズレ量が大きくなるほど多くの人にとって視差融合しにくくなる可能性がある。また、後述するように、入力画像を左右にずらして右眼用画像および左眼用画像を生成すると、表示領域の左右の両端部において左眼用画像および右眼用画像の一方が存在しない領域が現れる。ズレ量が一定であれば、表示画面の大きさに対する当該領域の大きさの割合は、表示画面が小型であるほど高くなってしまう。
ズレ量を小さくすると、観視者には表示部140の実際の表示面により近い位置にオブジェクト面が存在するように見える。表示部140が大型の表示面を有する場合にはズレ量を小さくしすぎるとあまり立体的に見えなくなる場合がある。しかしながら表示部140の表示画面が小型である場合には、ズレ量を比較的に小さくして表示部140よりわずか後方にオブジェクト面があるように見せるだけでも、観視者には十分に立体感のある像に認識され得る。したがって、特に表示部140が小型である場合には、多くの人にとってより効果的に立体視させるには、ズレ量を小さくすることが好ましい場合が多い。
ここで、ズレ量の範囲を定める下限値は、以下に説明するように、視点数および表示部140の画素幅によって定めることができる。図示されるように、表示部140は、RGBストライプ配列の表示素子を有しており、1画素幅dのディスプレイであるとする。つまり、水平方向(左右方向)に連続するR、G、Bの表示素子により、表示画像の1画素が表される。本図において各表示素子に付された1〜6の数値は、表示素子からの光が指向される視点を識別する数値であり、上述した遮光部314またはレンチキュラレンズにより、垂直インターリーブ方式でこれら6視点に向けて画像が提示されるとする。
図示されるように、各視点には、実効的に6dの間隔で配列された画素で形成された画像が提示される。この場合、ズレ量を6dより大きい値とすることが好ましい。より一般には、視点数をnとすると、ズレ量をn×dより大きい値とすることが好ましい。このようにズレ量を定めることにより、観視者は平面的ではない立体的な像を認識することができる。
図8は、ズレ量の範囲を定める下限値の他の例を説明する図である。本図においても各表示素子に付された1〜6の数値は、表示素子からの光が指向される視点を識別する数値であるとする。図示の配列では、各視点への画像の1画素を形成する表示画素は斜め方向に配置されており、遮光部314、レンチキュラレンズの配列も垂直方向ではなく、表示画素の配置方向に対応する斜め方向であるであるとする。本配置例では、1画素分の表示画素を垂直方向に3行にわたって分配することで、実効的に2列分の画素間隔の画像を各視点に提示することができる。これにより、下限値をn×dより小さい値にすることができる。具体的には、本配置例による6視点の例では、ズレ量を2dより大きい値とすることが好ましい。2視点の場合であれば、ズレ量を2d/3より大きい値とすることが好ましい。
図9は、観視者が表示面を斜め方向で観視している状態における、ズレ量の一例を示す。ここでは、表示部140の表示面の法線方向に対する観視者の顔面の左右方向の角度がαであるとする。観視者の両眼におけるズレ量Lの右眼用画像および左眼用画像を提示すべき場合には、ズレ量決定部160は、右眼用画像および左眼用画像におけるズレ量としてL/cos(α)を決定する。これにより、観視者は、観視者の眼において望ましいズレ量Lだけずれた右眼用画像および左眼用画像を視認することができる。
なお、観視者特定部190は、表示部140の表示面に対して固定された方向で観視者を撮像して得られた観視者画像を取得して、取得した観視者画像に含まれる観視者の顔の画像から、観視者画像の撮像方向に対する顔面の向きを特定してよい。当該顔面の向きは、例えば観視者の顔画像中における目、口、鼻の相対的な位置関係などに基づき特定することができる。観視者特定部190は、表示部140の表示面に対する観視者画像の撮像方向と、観視者画像の撮像方向に対する観視者の顔面の向きとに基づき、角度αを特定することができる。
また、ズレ量決定部160は、観視者の顔向きの方向の一部の表示領域900のズレ量L1として上述のL/cos(α)を決定して、表示領域900の左右の周囲の表示領域910aおよび910bにおけるズレ量として、L1より小さい値を決定してよい。観視者が観ている領域の周囲の領域においてズレ量を比較的に小さくすることができるので、観視者が感じる違和感を低減することができる。
なお、制御部180は、観視者の顔向きに応じて、バリア部310の配置を制御してよい。すなわち、制御部180は、表示部140を斜めから観ている観視者の右眼および左眼にそれぞれ右眼用画像および左眼用画像が指向されるよう遮光部314の位置を制御してよい。具体的には、バリア制御部320は、制御部180の制御に従って、上述したシャッタ素子のオン/オフを個別に設定することにより遮光部314の位置を制御する。バリア制御部320は、観視者の右眼および左眼にそれぞれ右眼用画像および左眼用画像が指向されるよう、遮光部314のピッチを制御してもよい。また、上記シャッタ素子が表示部140の表人面の法線方向に複数配列されている場合には、各列のシャッタ素子を個別にオン/オフ設定することにより、表示面の法線方向における遮光部314の位置を制御することもできる。この場合に、バリア制御部320は、観視者の右眼および左眼にそれぞれ右眼用画像および左眼用画像が指向されるよう、表示面の法線方向における遮光部314の位置を制御してよい。
図10は、左眼用画像および右眼用画像における画像端部の処理例を示す。本図の処理例では、単一色の右端画像が付加された左眼用画像の一例、および、単一色の左端画像が付加された右眼用画像の一例を示す。画像処理部120は、一例として、左眼用画像の右側に、表示領域の右端から所定の範囲内に表示される単一色の右端画像を付加する。画像処理部120は、一例として、左眼用画像の右側に、表示領域の右端から所定の範囲内に表示される黒等の暗色または白等の明色の右端画像を付加する。画像処理部120は、一例として、元の2次元画像を左方向にずらした結果できる、表示領域内における左眼用画像の右側の空白部分に、黒等の暗色または白等の明色の右端画像を付加する。
また、画像処理部120は、一例として、右眼用画像の左側に、表示領域の左端から所定の範囲内に表示される、黒等の暗色または白等の明色の左端画像を付加する。画像処理部120は、一例として、元の2次元画像を右方向にずらした結果できる、表示領域内における右眼用画像の左側の空白部分に、黒等の暗色または白等の明色の左端画像を付加する。
画像処理部120は、このような右端画像および左端画像を付加することにより、表示領域における右端部および左端部において、枠を意識させるような表示をすることができる。これにより、画像処理部120は、窓枠から外の風景を見ているような自然な立体画像を観視者に提供することができる。
また、画像処理部120は、一例として、右端画像が付加された左眼用画像における、左側および右側のそれぞれに、瞳孔間距離以上の幅の黒等の暗色または白等の明色の枠画像を更に付加する。同様に、画像処理部120は、一例として、左端画像が付加された右眼用画像における、右側および左側のそれぞれに、瞳孔間距離以上の幅の黒等の暗色または白等の明色の枠画像を更に付加する。これにより、画像処理部120は、表示画面内に明確な枠を表示することができる。
図11は、画像端部の他の処理例として、右眼用画像の一部分をコピーした右端画像が付加された左眼用画像の一例、および、左眼用画像の一部分をコピーした左端画像が付加された右眼用画像の一例を示す。画像処理部120は、一例として、左眼用画像の右側に、右眼用画像における表示領域の右端から所定の範囲内に表示される部分を右端画像として付加する。画像処理部120は、一例として、右眼用画像における表示領域の右端から、左眼用画像の右端に対応する位置までの範囲内に表示される部分をコピーして、右端画像として左眼用画像の右側に付加する。
また、画像処理部120は、一例として、右眼用画像の左側に、左眼用画像における表示領域の左端から所定の範囲内に表示される部分を左端画像として付加する。画像処理部120は、一例として、左眼用画像における表示領域の左端から、右眼用画像の左端に対応する位置までの範囲内に表示される部分をコピーして、左端画像として右眼用画像の左側に付加する。
表示領域の右端部または左端部に注目している場合において輻輳が生起されると、右眼と左眼との間で見ているものが異なる視野闘争の問題が生じる。この場合、右眼に与えられる画像と左眼に与えられる画像とがかけ離れているほど、人間に与える不自然感は大きい。しかし、本例に係る画像処理部120は、表示領域の右端部または左端部において右眼および左眼に同一の画像を与える。従って、本例に係る画像処理部120は、表示領域の右端部または左端部において輻輳が生起された場合であっても、視野闘争を軽減して、不自然に感じない画像を提供することができる。なお、表示領域の中央部においては、両目融合の条件が保たれているので、端部と比較して輻輳が生起される可能性は低い。
また、画像処理部120は、一例として、左眼用画像の右側に、右眼用画像における表示領域の右端から所定の範囲内に表示される部分をぼかした画像を右端画像として付加してもよい。また、画像処理部120は、一例として、右眼用画像の左側に、左眼用画像における表示領域の左端から所定の範囲内に表示される部分をぼかした画像を左端画像として付加してもよい。
右眼および左眼にフォーカスレベルが異なる画像が与えられた場合、人間は、与えられる画像を立体的に感じる。従って、このような画像処理部120は、表示領域の右端部または左端部において輻輳が生起された場合、視野闘争を軽減するとともに、観視者に立体感を感じさせることができる。
また、画像処理部120は、一例として、右端画像の色を、右眼用画像における、表示領域の右端から所定の範囲内に表示される部分の平均色としてもよい。さらに、これに加えてまたはこれに代えて、画像処理部120は、右端画像の輝度を、右眼用画像における、表示領域の右端から所定の範囲内に表示される部分の平均輝度としてもよい。また、画像処理部120は、一例として、左端画像の色を、左眼用画像における、表示領域の左端から所定の範囲内に表示される部分の平均色としてもよい。さらに、これに加えてまたはこれに代えて、画像処理部120は、左端画像の輝度を、左眼用画像における、表示領域の左端から所定の範囲内に表示される部分の平均輝度としてもよい。このような画像処理部120は、表示領域の右端部または左端部において輻輳が生起された場合、色合いまたは輝度の同じ画像を左眼と右眼に与えることができるので、視野闘争を軽減することができる。
図12は、画像端部の更なる他の処理例として、右方向に拡大した左眼用画像の一例、および、左方向に拡大した右眼用画像の一例を示す。画像処理部120は、一例として、左眼用画像を右に拡大して左眼用画像および右端画像を含む画像を生成する。この場合において、画像処理部120は、左眼用画像を左右の端部に近いほど大きい拡大率で右へと拡大して左眼用画像および右端画像を含む画像を生成する。更に、この場合において、画像処理部120は、左眼用画像の所定位置(例えば中央位置)から左側の画像を拡大しなくてもよい。
また、画像処理部120は、一例として、右眼用画像を左に拡大して右眼用画像および左端画像を含む画像を生成する。この場合において、画像処理部120は、右眼用画像を左右の端部に近いほど大きい拡大率で左へと拡大して右眼用画像および左端画像を含む画像を生成する。更に、この場合において、画像処理部120は、右眼用画像の所定位置(例えば中央位置)から右側の画像を拡大しなくてもよい。このような本例に係る画像処理部120は、端部において画像が連続した自然な画像を提供することができる。
また、画像処理部120および画像処理部120は、右方向および左方向への拡大率に合わせて、左眼用画像および右眼用画像を上下に拡大してもよい。この場合、画像処理部120および画像処理部120は、上下に拡大した結果、左眼用画像および右眼用画像における表示領域外となった部分を削除する。
また、画像処理部120は、一例として、左眼用画像の右側に、当該左眼用画像における表示領域の右端から所定の範囲内に表示される部分(例えば、右端から1列分または数列分の画素列)を、右方向に繰り返す画像を右端画像として付加してもよい。また、画像処理部120は、一例として、右眼用画像の左側に、当該右眼用画像における表示領域の左端から所定の範囲内に表示される部分(例えば、左端から1列分または数列分の画素列)を、左方向に繰り返す画像を左端画像として付加してもよい。このような画像処理部120は、端部において画像が連続した自然な画像を提供することができる。
図13は、画像端部の更なる他の処理例として、左端部分を削除した左眼用画像の一例、および、右端部分を削除した右眼用画像の一例を示す。画像処理部120は、一例として、左眼用画像の右側に右端画像を付加することに代えて、右眼用画像の右側の所定の範囲を削除する。また、画像処理部120は、一例として、右眼用画像の左側に左端画像を付加することに代えて、左眼用画像の左側の所定の範囲を削除する。
このような画像処理部120は、立体画像を提供することができない画像領域を無くした画像を表示することができる。ここで、表示部140は、表示領域中における画像が削除された部分から、暗色(例えば黒画像)等を出力する。従って、このような画像処理部120は、外枠を設けた場合と同様に、自然な立体画像を提供することができる。
図14は、画像端部の更なる他の処理例として、2次元画像を拡大した後に、左眼用画像および右眼用画像を生成した場合の一例を示す。画像処理部120は、一例として、次のような処理を行ってもよい。
まず、画像生成部110は、2次元画像を所定の距離分左右に拡大する。例えば、画像生成部110は、横幅が、表示領域の横幅と瞳孔間距離とを加算した距離となるように左右方向に拡大する。この場合において、画像生成部110は、2次元画像の上下方向についても、左右方向と同じ拡大率で拡大してもよい。
続いて、画像生成部110は、拡大した2次元画像を表示領域内において所定の距離分左右にずらした左眼用画像および右眼用画像を生成する。画像生成部110は、一例として、左眼用画像を左側に瞳孔間距離の1/2の距離分ずらし、右眼用画像を右側に瞳孔間距離の1/2の距離分ずらす。
続いて、画像処理部120は、左眼用画像の右側に右端画像を付加することに代えて、右眼用画像の右側の所定の距離の範囲を削除する。画像処理部120は、一例として、右眼用画像の右端から、瞳孔間距離分の範囲を削除する。
また、画像処理部120は、右眼用画像の左側に左端画像を付加することに代えて、左眼用画像の左側の所定の距離の範囲を削除する。画像処理部120は、一例として、左眼用画像の左端から、瞳孔間距離分の範囲を削除する。
このような画像処理部120は、立体画像を提供することができない画像領域を無くした画像を表示することができる。従って、このような画像処理部120は、自然な立体画像を提供することができる。なお、2次元画像を上下方向にも拡大した場合、画像処理部120は、左眼用画像および右眼用画像における、表示範囲の上下の境界を超える部分について削除してよい。
図15は、他の実施形態に係るコンピュータ800のハードウェア構成の一例を示す。コンピュータ800は、与えられるプログラムに応じて、図1から図14に関連して説明した画像取得部100、画像生成部110、画像処理部120、表示部140、ズレ量決定部160、画面サイズ取得部170、制御部180、および、観視者特定部190として機能する。また、コンピュータ800は、バリア制御部320として更に機能してもよい。
本実施形態に係るコンピュータ800は、ホスト・コントローラ2082により相互に接続されるCPU2000、RAM2020、グラフィック・コントローラ2075、及び表示装置2080を有するCPU周辺部と、入出力コントローラ2084によりホスト・コントローラ2082に接続される通信インターフェイス2030、ハードディスクドライブ2040、及びCD−ROMドライブ2060を有する入出力部と、入出力コントローラ2084に接続されるROM2010、フレキシブルディスク・ドライブ2050、及び入出力チップ2070を有するレガシー入出力部とを備える。
ホスト・コントローラ2082は、RAM2020と、高い転送レートでRAM2020をアクセスするCPU2000及びグラフィック・コントローラ2075とを接続する。CPU2000は、ROM2010及びRAM2020に格納されたプログラムに基づいて動作し、各部の制御を行う。グラフィック・コントローラ2075は、CPU2000等がRAM2020内に設けたフレーム・バッファ上に生成する画像データを取得し、表示装置2080上に表示させる。これに代えて、グラフィック・コントローラ2075は、CPU2000等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。
入出力コントローラ2084は、ホスト・コントローラ2082と、比較的高速な入出力装置である通信インターフェイス2030、ハードディスクドライブ2040、CD−ROMドライブ2060を接続する。通信インターフェイス2030は、ネットワークを介して他の装置と通信する。ハードディスクドライブ2040は、コンピュータ800内のCPU2000が使用するプログラム及びデータを格納する。CD−ROMドライブ2060は、CD−ROM2095からプログラム又はデータを読み取り、RAM2020を介してハードディスクドライブ2040に提供する。
また、入出力コントローラ2084には、ROM2010と、フレキシブルディスク・ドライブ2050、及び入出力チップ2070の比較的低速な入出力装置とが接続される。ROM2010は、コンピュータ800が起動時に実行するブート・プログラム、及び/又は、コンピュータ800のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ2050は、フレキシブルディスク2090からプログラム又はデータを読み取り、RAM2020を介してハードディスクドライブ2040に提供する。入出力チップ2070は、フレキシブルディスク・ドライブ2050を入出力コントローラ2084へと接続すると共に、例えばパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を入出力コントローラ2084へと接続する。
RAM2020を介してハードディスクドライブ2040に提供されるプログラムは、フレキシブルディスク2090、CD−ROM2095、又はICカード等の記録媒体に格納されて利用者によって提供される。プログラムは、記録媒体から読み出され、RAM2020を介してコンピュータ800内のハードディスクドライブ2040にインストールされ、CPU2000において実行される。
コンピュータ800にインストールされ、コンピュータ800により実行されるプログラムは、CPU2000等に働きかけて、コンピュータ800を、画像取得部100、画像生成部110、画像処理部120、表示部140、ズレ量決定部160、画面サイズ取得部170、制御部180、および、観視者特定部190などとして機能させる。これらのプログラムに記述された情報処理は、コンピュータ800に読込まれることにより、ソフトウェアと上述した各種のハードウェア資源とが協働した具体的手段である画像取得部100、画像生成部110、画像処理部120、表示部140、ズレ量決定部160、画面サイズ取得部170、制御部180、および、観視者特定部190などとして機能する。そして、これらの具体的手段によって、本実施形態におけるコンピュータ800の使用目的に応じた情報の演算又は加工を実現することにより、使用目的に応じた特有の画像取得部100、画像生成部110、画像処理部120、表示部140、ズレ量決定部160、画面サイズ取得部170、制御部180、および、観視者特定部190などが構築される。
一例として、コンピュータ800と外部の装置等との間で通信を行う場合には、CPU2000は、RAM2020上にロードされた通信プログラムを実行し、通信プログラムに記述された処理内容に基づいて、通信インターフェイス2030に対して通信処理を指示する。通信インターフェイス2030は、CPU2000の制御を受けて、RAM2020、ハードディスクドライブ2040、フレキシブルディスク2090、又はCD−ROM2095等の記憶装置上に設けた送信バッファ領域等に記憶された送信データを読み出してネットワークへと送信し、もしくは、ネットワークから受信した受信データを記憶装置上に設けた受信バッファ領域等へと書き込む。このように、通信インターフェイス2030は、DMA(ダイレクト・メモリ・アクセス)方式により記憶装置との間で送受信データを転送してもよく、これに代えて、CPU2000が転送元の記憶装置又は通信インターフェイス2030からデータを読み出し、転送先の通信インターフェイス2030又は記憶装置へとデータを書き込むことにより送受信データを転送してもよい。
また、CPU2000は、ハードディスクドライブ2040、CD−ROMドライブ2060(CD−ROM2095)、フレキシブルディスク・ドライブ2050(フレキシブルディスク2090)等の外部記憶装置に格納されたファイルまたはデータベース等の中から、全部または必要な部分をDMA転送等によりRAM2020へと読み込ませ、RAM2020上のデータに対して各種の処理を行う。そして、CPU2000は、処理を終えたデータを、DMA転送等により外部記憶装置へと書き戻す。このような処理において、RAM2020は、外部記憶装置の内容を一時的に保持するものとみなせるから、本実施形態においてはRAM2020および外部記憶装置等をメモリ、記憶部、または記憶装置等と総称する。本実施形態における各種のプログラム、データ、テーブル、データベース等の各種の情報は、このような記憶装置上に格納されて、情報処理の対象となる。なお、CPU2000は、RAM2020の一部をキャッシュメモリに保持し、キャッシュメモリ上で読み書きを行うこともできる。このような形態においても、キャッシュメモリはRAM2020の機能の一部を担うから、本実施形態においては、区別して示す場合を除き、キャッシュメモリもRAM2020、メモリ、及び/又は記憶装置に含まれるものとする。
また、CPU2000は、RAM2020から読み出したデータに対して、プログラムの命令列により指定された、本実施形態中に記載した各種の演算、情報の加工、条件判断、情報の検索・置換等を含む各種の処理を行い、RAM2020へと書き戻す。例えば、CPU2000は、条件判断を行う場合においては、本実施形態において示した各種の変数が、他の変数または定数と比較して、大きい、小さい、以上、以下、等しい等の条件を満たすかどうかを判断し、条件が成立した場合(又は不成立であった場合)に、異なる命令列へと分岐し、またはサブルーチンを呼び出す。
また、CPU2000は、記憶装置内のファイルまたはデータベース等に格納された情報を検索することができる。例えば、第1属性の属性値に対し第2属性の属性値がそれぞれ対応付けられた複数のエントリが記憶装置に格納されている場合において、CPU2000は、記憶装置に格納されている複数のエントリの中から第1属性の属性値が指定された条件と一致するエントリを検索し、そのエントリに格納されている第2属性の属性値を読み出すことにより、所定の条件を満たす第1属性に対応付けられた第2属性の属性値を得ることができる。
以上に示したプログラム又はモジュールは、外部の記録媒体に格納されてもよい。記録媒体としては、フレキシブルディスク2090、CD−ROM2095の他に、DVD又はCD等の光学記録媒体、MO等の光磁気記録媒体、テープ媒体、ICカード等の半導体メモリ等を用いることができる。また、専用通信ネットワーク又はインターネットに接続されたサーバシステムに設けたハードディスク又はRAM等の記憶装置を記録媒体として使用し、ネットワークを介してプログラムをコンピュータ800に提供してもよい。
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。