JP7567593B2 - Display device, display control method, and display control program - Google Patents
Display device, display control method, and display control program Download PDFInfo
- Publication number
- JP7567593B2 JP7567593B2 JP2021046022A JP2021046022A JP7567593B2 JP 7567593 B2 JP7567593 B2 JP 7567593B2 JP 2021046022 A JP2021046022 A JP 2021046022A JP 2021046022 A JP2021046022 A JP 2021046022A JP 7567593 B2 JP7567593 B2 JP 7567593B2
- Authority
- JP
- Japan
- Prior art keywords
- unit
- user
- light
- gaze
- timing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 29
- 230000003287 optical effect Effects 0.000 claims description 71
- 238000001514 detection method Methods 0.000 claims description 67
- 230000001678 irradiating effect Effects 0.000 claims description 7
- 210000001508 eye Anatomy 0.000 description 57
- 210000000695 crystalline len Anatomy 0.000 description 47
- 230000004308 accommodation Effects 0.000 description 21
- 230000008569 process Effects 0.000 description 21
- 238000010586 diagram Methods 0.000 description 20
- 230000004907 flux Effects 0.000 description 9
- 238000005286 illumination Methods 0.000 description 6
- 239000004973 liquid crystal related substance Substances 0.000 description 6
- 238000013041 optical simulation Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 210000003128 head Anatomy 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 208000003464 asthenopia Diseases 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 206010025482 malaise Diseases 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000011347 resin Substances 0.000 description 1
- 229920005989 resin Polymers 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Landscapes
- Controls And Circuits For Display Device (AREA)
Description
本発明は、表示装置、表示制御方法、及び表示制御プログラムに関する。 The present invention relates to a display device, a display control method, and a display control program.
ユーザの右眼と左眼に異なる視差の画像を視認させて、輻輳の違いを利用して立体画像を表示させる表示装置が知られている。このような表示装置としては、ユーザの頭部に搭載されるいわゆるヘッドマウントディスプレイ（ＨＭＤ）がある。例えば特許文献１には、ディスプレイと光学系との間にマイクロレンズアレイを配置するヘッドマウントディスプレイが記載されている。
There is a known display device that displays a stereoscopic image by allowing the user's right and left eyes to view images with different parallax and utilizing the difference in convergence. One such display device is a so-called head-mounted display (HMD) that is mounted on the user's head. For example,
ここで、画像を表示する表示装置においては、ユーザに適切に画像を提供することが求められている。 Here, display devices that display images are required to provide appropriate images to users.
本発明は、上記課題に鑑み、ユーザに適切に画像を提供可能な表示装置、表示制御方法、及び表示制御プログラムを提供することを目的とする。 In view of the above problems, the present invention aims to provide a display device, a display control method, and a display control program that can provide appropriate images to a user.
本発明の一態様にかかる表示装置は、ユーザに画像を提供する表示装置であって、複数の画素を含む表示パネルと、前記表示パネルに光を照射する光源部と、前記表示パネルよりも前記ユーザ側に設けられる光学素子と、前記ユーザの視線の検出結果を取得する視線情報取得部と、前記光学素子を所定の周期で移動させる駆動制御部と、前記ユーザの視線の検出結果と、前記光学素子の位置とに基づき、前記光源部の光の照射タイミングを設定するタイミング設定部と、を含む。 A display device according to one aspect of the present invention is a display device that provides an image to a user, and includes a display panel including a plurality of pixels, a light source unit that irradiates light onto the display panel, an optical element that is provided closer to the user than the display panel, a gaze information acquisition unit that acquires a detection result of the user's gaze, a drive control unit that moves the optical element at a predetermined cycle, and a timing setting unit that sets the timing of the light irradiation of the light source unit based on the detection result of the user's gaze and the position of the optical element.
本発明の一態様にかかる表示制御方法は、複数の画素を含む表示パネルに光を照射する光源ステップと、ユーザの視線の検出結果を取得する視線情報取得ステップと、前記表示パネルよりも前記ユーザ側に設けられる光学素子を所定の周期で移動させる駆動制御ステップと、前記ユーザの視線の検出結果と、前記光学素子の位置とに基づき、前記光源ステップの光の照射タイミングを設定するタイミング設定ステップと、を含む。 A display control method according to one aspect of the present invention includes a light source step of irradiating light onto a display panel including a plurality of pixels, a gaze information acquisition step of acquiring a detection result of a user's gaze, a drive control step of moving an optical element provided on the user side of the display panel at a predetermined period, and a timing setting step of setting the timing of irradiating light from the light source step based on the detection result of the user's gaze and the position of the optical element.
本発明の一態様にかかる表示制御プログラムは、複数の画素を含む表示パネルに光を照射する光源ステップと、ユーザの視線の検出結果を取得する視線情報取得ステップと、前記表示パネルよりも前記ユーザ側に設けられる光学素子を所定の周期で移動させる駆動制御ステップと、前記ユーザの視線の検出結果と、前記光学素子の位置とに基づき、前記光源ステップの光の照射タイミングを設定するタイミング設定ステップと、を、コンピュータに実行させる。 A display control program according to one aspect of the present invention causes a computer to execute a light source step of irradiating light onto a display panel including a plurality of pixels, a gaze information acquisition step of acquiring a detection result of a user's gaze, a drive control step of moving an optical element provided on the user side of the display panel at a predetermined period, and a timing setting step of setting the timing of irradiating light from the light source step based on the detection result of the user's gaze and the position of the optical element.
本発明によれば、ユーザに適切に画像を提供できる。 The present invention allows appropriate images to be provided to the user.
以下に、本発明の実施形態を図面に基づいて詳細に説明する。なお、以下に説明する実施形態により本発明が限定されるものではない。 The following describes in detail an embodiment of the present invention with reference to the drawings. Note that the present invention is not limited to the embodiment described below.
（輻輳調節矛盾）
図１は、輻輳調節矛盾を説明するための模式図である。立体画像を表示する表示装置は、ユーザの右眼と左眼に異なる視差の画像を視認させて、輻輳の違いを利用して立体画像を表示させる。立体画像を表示する場合には、実際に画像が表示される表示面がユーザの眼の焦点位置となり、左右の眼の視線が交差する位置が輻輳位置となる。しかし、図１の例に示すように、立体画像においては、立体画像の奥行き方向であるＺ方向における焦点位置ＰＯ１と輻輳位置ＰＯ２との位置がずれることがある。焦点位置ＰＯ１と輻輳位置ＰＯ２との位置がずれると、いわゆる輻輳調節矛盾が起こり、眼精疲労やいわゆる３Ｄ酔いなどの原因となる。そのため、輻輳調節矛盾を抑制することが求められている。なお、図１の（Ａ）は、焦点位置ＰＯ１が輻輳位置ＰＯ２よりもユーザの眼ＥＹ側にあり、図１の（Ｂ）は、輻輳位置ＰＯ２が焦点位置ＰＯ１よりもユーザの眼ＥＹ側にある例を示している。
(Convergence regulation conflict)
FIG. 1 is a schematic diagram for explaining the convergence accommodation conflict. A display device for displaying a stereoscopic image displays a stereoscopic image by making the right eye and the left eye of a user view images with different parallax and utilizing the difference in convergence. When displaying a stereoscopic image, the display surface on which the image is actually displayed becomes the focal position of the user's eyes, and the position where the lines of sight of the left and right eyes intersect becomes the convergence position. However, as shown in the example of FIG. 1, in a stereoscopic image, the positions of the focal position PO1 and the convergence position PO2 in the Z direction, which is the depth direction of the stereoscopic image, may shift. If the positions of the focal position PO1 and the convergence position PO2 shift, a so-called convergence accommodation conflict occurs, which causes eye fatigue and so-called 3D sickness. Therefore, it is required to suppress the convergence accommodation conflict. Note that (A) of FIG. 1 shows an example in which the focal position PO1 is closer to the user's eye EY than the convergence position PO2, and (B) of FIG. 1 shows an example in which the convergence position PO2 is closer to the user's eye EY than the focal position PO1.
（第１実施形態）
（表示装置の全体構成）
図２は、第１実施形態に係る表示装置の模式図である。第１実施形態に係る表示装置１は、立体画像を表示する表示装置である。図２に示すように、表示装置１は、ユーザＵの頭部に装着される、いわゆるＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔ Ｄｉｓｐｌａｙ）である。例えば、表示装置１は、ユーザＵの眼ＥＹに面した位置に表示部１０が装着される。そして、表示装置１は、表示部１０に画像を表示させて、ユーザＵにコンテンツを提供する。なお、図２に示した表示装置１の構成は一例である。例えば、表示装置１は、ユーザＵの耳に装着される音声出力部（スピーカ）を備えていてもよい。
First Embodiment
(Overall configuration of the display device)
FIG. 2 is a schematic diagram of a display device according to the first embodiment. The
表示装置１は、このようにユーザＵに装着されるため、ユーザＵの眼ＥＹに対する位置が固定される。表示装置１は、ユーザＵに装着されるＨＭＤであることに限られず、設備に固定された表示装置などであってもよい。このような場合でも、表示装置１は、例えばユーザＵの座席に対する位置が固定されるなど、ユーザＵの眼ＥＹに対する位置が固定されることが好ましい。
Since the
図３は、第１実施形態に係る表示装置の各構成の模式図である。図３に示すように、表示装置１は、表示部１０と、接眼レンズ２０と、駆動部３０と、視線検出部４０と、位置検出部５０と、制御装置６０とを有する。
Figure 3 is a schematic diagram of each component of the display device according to the first embodiment. As shown in Figure 3, the
（表示部）
表示部１０は、立体画像を表示する装置である。表示部１０は、表示パネル１２と光源部１４とを有する。表示パネル１２は、マトリクス状に並ぶ複数の画素を有するディスプレイである。本実施形態の例では、表示パネル１２は、マトリクス状に並ぶ複数の画素電極と、液晶素子が充填される液晶層とを有する液晶表示パネルである。表示パネル１２で画像が表示される面を表示面１２Ａとする。以下、表示面１２ＡからユーザＵの眼ＥＹへ向かう方向を、方向Ｚ１とし、方向Ｚ１と反対方向を、すなわちユーザＵの眼ＥＹから表示面１２Ａに向かう方向を、方向Ｚ２とする。方向Ｚ１、Ｚ２を区別しない場合は、方向Ｚと記載する。なお、図３では、表示パネル１２のユーザＵの眼ＥＹ側の表面を表示面１２Ａとしているが、表示面１２Ａは、ユーザＵの眼ＥＹ側の表面であることに限られず、ユーザＵの眼ＥＹ側の表面よりも内側にあってもよい。なお、表示部１０は、後述する制御装置６０から表示パネル１２を駆動させる駆動信号や光源部１４の光の照射タイミングを制御する制御信号を受信する。
(Display)
The
光源部１４は、表示パネル１２に光を照射する光源である。本実施形態では、光源部１４は、表示パネル１２の表示面１２Ａとは反対側の表面に設けられる、いわゆるバックライドである。光源部１４の設けられる位置はこれに限られず任意であり、例えば表示パネル１２の横にあるサイドライトであってもよい。本実施形態では、光源部１４は、表示パネル１２の全ての画素に対して一様に光を照射するものであり、言い換えれば、画素毎に個別に光の照射を制御するものではない。ただし、光源部１４は、表示パネル１２の全ての画素に一様に光を照射するものに限られず、例えば複数の画素毎に光の照射を調整可能な、例えば画面全体をいくつかの区画に分け区画ごとに光の強度を調整可能な、いわゆるローカルディミングの方式のものであってもよい。
The
このように、表示部１０は、表示パネル１２と光源部１４とを有する。表示部１０は、光源部１４から表示パネル１２に照射された光である画像光ＬをユーザＵの眼ＥＹに到達させることで、ユーザＵに立体画像を提供する。本実施形態の例では、光源部１４から照射された光は、表示パネル１２の各画素を透過して、画像光ＬとしてユーザＵの眼ＥＹに入射する。より詳しくは、表示パネル１２は、左眼用画像と右眼用画像とが提供されるように、例えば画素電極の電圧が制御されつつ、表示パネル１２に向けて光源部１４からの光が照射される。光源部１４からの光のうち、左眼用画像に対応する画素を透過した画像光ＬがユーザＵの左眼に入射し、右眼用画像に対応する画素を透過した画像光ＬがユーザＵの左眼に入射することで、ユーザＵに立体画像が提供される。
In this way, the
（接眼レンズ）
接眼レンズ２０は、表示部１０のＺ１方向側に設けられる。接眼レンズ２０は、光（画像光）を透過する光学素子である。さらに言えば、接眼レンズ２０は、表示装置１で最もユーザＵの眼ＥＹ側にある光学素子（レンズ）である。表示パネル１２から出射された画像光Ｌは、接眼レンズ２０を通って、ユーザＵの眼ＥＹに入射する。なお、本実施形態では、接眼レンズ２０（接眼レンズ）からユーザＵの眼ＥＹまでの画像光Ｌの光路における光軸方向が、方向Ｚともいえる。なお、本実施形態では、接眼レンズ２０は移動せず、表示装置１内での位置が固定されている。
(Eyepiece)
The
なお、図３の例では、表示部１０のＺ１方向側の光学素子として、接眼レンズ２０のみが示されているが、それに限られず、接眼レンズ２０以外の光学素子が設けられていてもよい。
In the example of FIG. 3, only the
（駆動部）
駆動部３０は、表示部１０をＺ方向に移動させる駆動機構であり、アクチュエータであるともいえる。本実施形態では、駆動部３０は、表示パネル１２及び光源部１４を含む表示部１０の全体をＺ方向に移動させるが、それに限られない。駆動部３０は、表示パネル１２を、Ｚ方向に移動させるものであってもよい。以降においても、表示部１０の移動や表示部１０の位置について説明しているが、特に断りのない限り、表示部１０全体ではなく、表示パネル１２に説明を置き換えてよい。なお、駆動部３０は、後述する制御装置６０から、駆動制御を行う信号を取得する。
(Drive unit)
The
（視線検出部）
視線検出部４０は、ユーザＵの眼ＥＹが向いている方向、すなわちユーザＵの視線を検出する。視線検出部４０は、ユーザＵの視線を検出可能な任意のセンサであってよいが、例えば、ユーザＵの眼ＥＹを撮像するカメラであってよい。視線検出部４０は、制御装置６０へ視線の検出結果を送出する。
(Gaze detection unit)
The
（位置検出部）
位置検出部５０は、表示部１０のＺ方向における位置を検出するセンサである。位置検出部５０は、表示部１０のＺ方向における位置を検出可能なセンサであれば、任意のものであってよい。なお、表示部１０の全体がＺ方向に移動せず、表示パネル１２だけがＺ方向に移動する場合には、位置検出部５０は、表示パネル１２のＺ方向の位置を検出すればよい。位置情報検出部５０は、制御装置６０へ位置の検出結果を送出する。
(Position detection unit)
The
（制御装置）
制御装置６０は、表示装置１の各部を制御する装置である。図４は、第１実施形態に係る制御装置の模式的なブロック図である。制御装置６０は、本実施形態ではコンピュータであり、記憶部６２と制御部６４とを有する。記憶部６２は、制御部６４の演算内容やプログラムなどの各種情報を記憶するメモリであり、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）のような主記憶装置と、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）などの外部記憶装置とのうち、少なくとも１つ含む。記憶部６２が記憶する制御部６４用のプログラムは、制御装置６０が読み取り可能な記録媒体に記憶されていてもよい。
(Control device)
The
制御部６４は、演算装置であり、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などの演算回路を含む。制御部６４は、画像情報取得部７０と、視線情報取得部７２と、位置情報取得部７４と、駆動制御部７６と、表示制御部７８と、タイミング設定部８０と、照射制御部８２とを含む。制御部６４は、記憶部６２からプログラム（ソフトウェア）を読み出して実行することで、画像情報取得部７０と視線情報取得部７２と位置情報取得部７４と駆動制御部７６と表示制御部７８とタイミング設定部８０と照射制御部８２とを実現して、それらの処理を実行する。なお、制御部６４は、１つのＣＰＵによってこれらの処理を実行してもよいし、複数のＣＰＵを備えて、それらの複数のＣＰＵで、処理を実行してもよい。また、画像情報取得部７０と視線情報取得部７２と位置情報取得部７４と駆動制御部７６と表示制御部７８とタイミング設定部８０と照射制御部８２との少なくとも１つを、ハードウェア回路で実現してもよい。
The control unit 64 is a calculation device and includes a calculation circuit such as a CPU (Central Processing Unit). The control unit 64 includes an image information acquisition unit 70, a line of sight information acquisition unit 72, a position information acquisition unit 74, a
（画像情報取得部）
画像情報取得部７０は、表示部１０が表示する立体画像の画像データを取得する。すなわち、画像情報取得部７０は、左眼用画像の画像データと、右眼用画像の画像データとを取得する。また、画像情報取得部７０は、立体画像の奥行き方向における位置を示す奥行き情報を取得する。立体画像の奥行き方向における位置とは、表示面１２Ａに画像を表示した際にユーザＵに視認される虚像の奥行き方向における位置を指す。奥行き方向とは、表示パネル１２の表示面１２Ａに直交する方向であるとも言え、本実施形態ではＺ方向である。奥行き情報は、画像データに関連付けられている。さらに言えば、立体画像は、１フレームに含まれる各画像について、奥行き方向における位置が設定されており、言い換えれば、表示面１２Ａ上の位置毎に、奥行き方向における位置が設定されている。そのため、画像情報取得部７０は、立体画像についての、表示面１２Ａ上の位置毎の奥行き情報を取得するといえる。なお、立体画像は、画素毎に奥行き方向における位置が設定されているが、１つの画像を構成する複数の画素に対しては、奥行き方向における位置が同じとなるように設定されていてもよい。画像情報取得部７０は、任意の方法で画像データ及び奥行き情報を取得してよく、記憶部６２に予め記憶されていた画像データ及び奥行き情報を読み出してもよいし、図示しない通信部を介して画像データ及び奥行き情報を受信してもよい。また、画像情報取得部７０は、画像データに基づき奥行き方向の位置を算出することで、奥行き情報を取得してもよい。
(Image information acquisition unit)
The image information acquisition unit 70 acquires image data of a stereoscopic image displayed by the
（視線情報取得部）
視線情報取得部７２は、視線検出部４０を制御して、視線検出部４０にユーザＵの視線を検出させ、視線検出部４０による視線の検出結果を取得する。本実施形態では、視線情報取得部７２は、視線の検出結果に基づき、ユーザＵが注視している注視位置を検出する。注視位置とは、立体画像のうちでユーザＵが注視している画像の表示面１２Ａ上での位置を指し、言い換えれば、表示面１２Ａの全域のうちでユーザＵが注視している位置を指す。本実施形態では、視線情報取得部７２は、ユーザＵの視線の検出結果からユーザＵの輻輳位置を検出し、輻輳位置と重なる位置にある虚像に対応する画像の、表示面１２Ａでの位置を、注視位置として検出する。すなわち例えばユーザＵの輻輳位置が、立体画像における車の虚像に重なっている場合には、その車の画像の表示面１２Ａでの位置が、注視位置とされる。ただし、注視位置の検出方法はそれに限られず、ユーザＵの視線の検出結果から任意の方法で検出してよい。
(Gaze information acquisition unit)
The gaze information acquisition unit 72 controls the
（位置情報取得部）
位置情報取得部７４は、位置検出部５０を制御して、位置検出部５０に表示部１０のＺ方向における位置を検出させ、表示部１０のＺ方向における位置の検出結果を取得する。なお、表示部１０の全体がＺ方向に移動せず、表示パネル１２がＺ方向に移動する場合には、位置情報取得部７４は、表示パネル１２のＺ方向の位置の検出結果を取得すればよい。
(Location information acquisition unit)
The position information acquisition unit 74 controls the
（駆動制御部）
駆動制御部７６は、駆動部３０を制御して、駆動部３０に表示部１０をＺ方向に移動させる。駆動制御部７６は、表示部１０がＺ１方向に所定距離移動した後にＺ２方向に所定距離移動するＺ方向の往復移動（振動）を繰り返し行うように、表示部１０を移動させる。駆動制御部７６は、表示部１０を、Ｚ方向に沿って所定の周期で移動させる。言い換えれば、駆動制御部７６は、表示部１０のＺ方向の往復移動を、所定の周期で行わせる。本実施形態では、Ｚ方向の往復移動の周期（表示部１０がＺ方向において元の位置に戻ってくるまでの時間）は一定であるが、一定であることに限られず、周期を変化させてもよい。なお、駆動制御部７６は、表示部１０の全体をＺ方向に移動させることに限られず、表示パネル１２をＺ方向に移動させてよい。
(Drive control unit)
The
（表示制御部）
表示制御部７８は、画像データに基づいて表示パネル１２の各画素を駆動して、表示パネル１２に立体画像を表示させる。本実施形態では、表示制御部７８は、画像データに基づいて、表示パネル１２の画素電極毎の印加電圧を制御して液晶素子を配向させる。これにより、光源部１４からの光が液晶層を透過して、立体画像用の画像光ＬとしてユーザＹの眼ＥＹに向けて出射される。
(Display control unit)
The display control unit 78 drives each pixel of the
（タイミング設定部及び照射制御部）
タイミング設定部８０は、光源部１４の光の照射タイミングを設定する。照射制御部８２は、光源部１４を制御して光源部１４に光を照射させる。照射制御部８２は、タイミング設定部８０が設定した照射タイミングで、光源部１４に光を照射させる。タイミング設定部８０は、ユーザＵの視線の検出結果と、表示部１０のＺ方向（画像光Ｌの光軸方向）における位置とに基づき、照射タイミングを設定する。さらに言えば、タイミング設定部８０は、ユーザＵの視線の検出結果と、立体画像の奥行き情報と、表示部１０のＺ方向における位置とに基づき、照射タイミングを設定する。なお、表示部１０の全体がＺ方向に移動せず、表示パネル１２だけがＺ方向に移動する場合には、タイミング設定部８０は、表示パネル１２のＺ方向の位置に基づき、照射タイミングを設定すればよい。以下、タイミング設定部８０の設定についてより具体的に説明する。
(Timing setting unit and irradiation control unit)
The
図５から図７は、照射タイミングの設定を説明するための模式図である。例えば図５に示すように、表示部１０から出射された画像光Ｌは、所定の開き角をもつ光束として、ユーザＵの眼ＥＹに入射する。この場合、ユーザＵは、この光束の開き角に合うように、眼球の水晶体の厚さを無意識に変えて、網膜に焦点が合うように調節している。輻輳調節矛盾は、左右の眼の輻輳度合い（左右の眼のより度合い）と、光束の開き角に焦点を合わせた状態とが、合致していないことを指す。それに対して、本実施形態の表示装置１は、虚像（輻輳位置）から光が出射されて眼ＥＹに入射したと仮定した場合の開き角である虚像開き角（図５の例では角度θ１Ａ）と、実際に表示部１０から画像光Ｌが出射されて眼ＥＹに入射した場合の画像光Ｌの開き角との差分が小さくなるように、画像光Ｌを出射させる。ここで、画像光Ｌの開き角は、表示部１０（表示面１２Ａ）から眼ＥＹまでのＺ方向（光軸方向）の距離に応じて決まる。本実施形態では、表示部１０を所定周期でＺ方向に移動させているため、タイミング設定部８０は、虚像開き角と画像光Ｌの開き角との差分が小さくなる位置に表示部１０が到達したタイミングを、照射タイミングとして設定する。
5 to 7 are schematic diagrams for explaining the setting of the irradiation timing. For example, as shown in FIG. 5, the image light L emitted from the
より詳しくは、タイミング設定部８０は、視線情報取得部７２が検出した注視位置における、奥行き情報を取得する。すなわち、タイミング設定部８０は、注視位置の奥行き方向（Ｚ方向）における位置の情報を取得する。言い換えれば、タイミング設定部８０は、ユーザＵが注視している虚像のＺ方向における位置の情報を取得する。そして、タイミング設定部８０は、注視位置における奥行き情報に基づき、光源部１４に光の照射を開始させる際の表示部１０の位置である照射位置を設定する。タイミング設定部８０は、注視位置での奥行き方向の位置（ユーザＵが注視している虚像の位置）から眼ＥＹに光が照射された場合の光束の開き角（注視位置からの虚像開き角）に、画像光Ｌの開き角が一致する際の、表示部１０のＺ方向における位置を、照射位置として設定する。そして、タイミング設定部８０は、表示部１０と照射位置との距離が所定距離範囲内となる位置に表示部１０が到達するタイミングを、照射タイミングとして設定する。本実施形態では、タイミング設定部８０は、位置情報取得部７４から表示部１０のＺ方向の位置の情報を逐次取得し、表示部１０のＺ方向の位置が照射位置に対して所定距離まで近づいたら、照射タイミングとなったと判断する。ここでの所定距離は任意に設定してよいが、輻輳調節矛盾を小さくするために、注視位置からの虚像開き角と画像光Ｌの開き角との差分が小さくなるような距離に、設定されることが好ましい。また、タイミング設定部８０は、奥行き方向を量子化した値を、照射位置の設定に用いる、注視位置での奥行き方向における位置として用いてよい。すなわち例えば、奥行き方向を複数の数値範囲に区分し、それぞれの数値範囲に対して、その数値範囲内にある所定値を基準位置として設定しておく。そして、タイミング設定部８０は、視線情報取得部７２が検出した注視位置での奥行き方向における位置が含まれる数値範囲を抽出し、その数値範囲に対する基準位置を、照射位置の設定に用いる、注視位置での奥行き方向における位置として扱う。
More specifically, the
タイミング設定部８０は、このようにして照射タイミングを設定する。さらに、タイミング設定部８０は、照射タイミングより後のタイミングを照射停止タイミングとして設定する。照射制御部８２は、タイミング設定部８０によって照射タイミングに到達したと判断されたら、光源部１４に光の照射を開始させる。照射制御部８２は、照射タイミングから照射停止タイミングまでの間、光源部１４に光を照射させ、照射停止タイミングに到達したら、光源部１４に光の照射を停止させる。なお、照射停止タイミングは任意に設定してよく、例えば照射タイミングから所定時間後を照射停止タイミングとして設定してもよいし、照射タイミングの直後に、表示部１０と照射位置との距離が所定距離範囲外となるタイミングを、照射停止タイミングとして設定してもよい。
The
表示装置１は、このように、照射タイミングに到達したら光源部１４に光を照射させ、照射停止タイミングに到達したら光の照射を停止させる。画像光Ｌは、照射タイミングから照射停止タイミングの間に、ユーザＵの眼ＥＹに入射する。従って、眼ＥＹに入射する画像光Ｌの光束の開き角は、注視位置（ユーザＵが注視している虚像）からの虚像開き角に近くなり、輻輳調節矛盾を小さくすることができる。なお、表示部１０は、Ｚ方向に往復運動するため、照射位置との距離が所定距離範囲内になることと所定距離範囲外になることとを繰り返す。制御装置６０は、表示部１０と照射位置との距離が所定距離範囲となる度に、すなわち照射タイミングに到達する度に、光源部１４に光を照射させる。そのため、ユーザＵには、立体画像が動画像として視認される。また、表示部１０はＺ方向に往復移動するため、往復移動の１周期で、照射位置との距離が所定距離になるタイミングが２回ある。そのため、表示部１０の往復移動の振動数は、立体画像のフレームレートの１／２倍以上にすることが望ましい。ただし、表示部１０の往復移動の振動数（周期）は任意に設定してよい。
In this way, the
以上説明した照射タイミングの設定の例を、図５から図７を用いて説明する。以下では、家の画像と車の画像とヘリコプタの画像とが立体画像として表示され、車の画像、家の画像、ヘリコプタの画像の順で、奥行き方向（Ｚ方向）の位置がユーザＵの眼ＥＹから遠くなる場合を例にする。すなわち、車の画像の虚像Ｐ２は、家の画像の虚像Ｐ１よりもＺ１方向側に位置し、ヘリコプタの画像の虚像Ｐ３は、家の画像の虚像Ｐ１よりもＺ２方向側に位置する。 An example of the above-described irradiation timing setting will be described with reference to Figures 5 to 7. In the following, an example will be taken in which an image of a house, an image of a car, and an image of a helicopter are displayed as a stereoscopic image, with the image of the car, the image of the house, and the image of the helicopter being positioned further away from the eye EY of the user U in the depth direction (Z direction) in that order. That is, the virtual image P2 of the car image is located further toward the Z1 direction than the virtual image P1 of the house image, and the virtual image P3 of the helicopter image is located further toward the Z2 direction than the virtual image P1 of the house image.
図５は、ユーザＵが家の画像の虚像Ｐ１を注視している場合の例である。図５の例では、虚像Ｐ１（注視位置の奥行き方向の位置）から眼ＥＹに光が照射された場合の光束の開き角（注視位置からの虚像開き角）を、角度θ１Ａとする。そして、表示部１０と接眼レンズ２０とのＺ方向の距離が距離Ｄ１となる表示部１０の位置において、画像光Ｌの光束の開き角が、角度θ１Ａとなるとする。この場合、接眼レンズ２０とのＺ方向の距離が距離Ｄ１となる位置が照射位置となり、タイミング設定部８０は、照射位置との距離が所定距離範囲内となる位置に表示部１０が到達するタイミングを、照射タイミングとして設定し、照射制御部８２は、照射タイミングとなったら、光源部１４に光を照射させる。これにより、家の画像の虚像Ｐ１からの虚像開き角と、実際にユーザＵの眼ＥＹに入射する画像光Ｌ（ユーザＵが注視する画像光Ｌ）の開き角とが近くなり、輻輳調節矛盾を小さくすることができる。なお、画像光Ｌは接眼レンズ２０で屈折されて眼ＥＹに入射するため、ここでの画像光Ｌの光束の開き角とは、接眼レンズ２０を透過した後の画像光Ｌの光束の開き角を指す。なお、本実施形態では、表示パネル１２の全体に光が照射されるため、車の画像の虚像Ｐ２やヘリコプタの画像の虚像Ｐ３もユーザＵに視認される。この場合、虚像Ｐ２、Ｐ３に対する虚像開き角と、実際にユーザＵの眼ＥＹに入射する画像光Ｌの開き角とが一致しないこととなるが、虚像Ｐ２、Ｐ３はユーザＵの注視している領域の範囲外であり、ユーザＵの注視している領域の範囲内である虚像Ｐ１の虚像開き角とは一致しているため、ユーザＵへの負担を小さくできる。
Figure 5 is an example of a case where the user U is gazing at a virtual image P1 of an image of a house. In the example of Figure 5, the opening angle of the light beam (the virtual image opening angle from the gaze position) when light is irradiated from the virtual image P1 (the depth direction position of the gaze position) to the eye EY is set to angle θ1A. Then, at the position of the
図６は、ユーザＵが車の画像の虚像Ｐ２を注視している場合の例である。図６の例では、虚像Ｐ２（注視位置の奥行き方向の位置）から眼ＥＹに光が照射された場合の光束の開き角（注視位置からの虚像開き角）を、角度θ２Ａとする。そして、表示部１０と接眼レンズ２０とのＺ方向の距離が距離Ｄ２となる表示部１０の位置において、画像光Ｌの光束の開き角が、角度θ２Ａとなるとする。なお、虚像Ｐ２は虚像Ｐ１よりもＺ１方向に視認されるため、角度θ２Ａは、図５の角度θ１Ａより大きく、距離Ｄ２は、図５の距離Ｄ１より短い。この場合、接眼レンズ２０とのＺ方向の距離が距離Ｄ２となる位置が照射位置となり、タイミング設定部８０は、表示部１０と照射位置との距離が所定距離範囲内となる位置に表示部１０が到達するタイミングを、照射タイミングとして設定し、照射制御部８２は、照射タイミングとなったら、光源部１４に光を照射させる。これにより、車の画像の虚像Ｐ２からの虚像開き角と、実際にユーザＵの眼ＥＹに入射する画像光Ｌの開き角とが近くなり、輻輳調節矛盾を小さくすることができる。
Figure 6 shows an example of a case where user U is gazing at virtual image P2 of a car image. In the example of Figure 6, the opening angle of the light flux (virtual image opening angle from the gaze position) when light is irradiated from virtual image P2 (depth direction position of gaze position) to eye EY is angle θ2A. Then, at the position of
図７は、ユーザＵがヘリコプタの画像の虚像Ｐ３を注視している場合の例である。図７の例では、虚像Ｐ３（注視位置の奥行き方向の位置）から眼ＥＹに光が照射された場合の光束の開き角（注視位置からの虚像開き角）を、角度θ３Ａとする。そして、表示部１０と接眼レンズ２０とのＺ方向の距離が距離Ｄ３となる表示部１０の位置において、画像光Ｌの光束の開き角が、角度θ３Ａとなるとする。なお、虚像Ｐ３は虚像Ｐ１よりもＺ２方向に視認されるため、角度θ３Ａは、図５の角度θ１Ａより小さく、距離Ｄ３は、図５の距離Ｄ１より長い。この場合、接眼レンズ２０とのＺ方向の距離が距離Ｄ３となる位置が照射位置となり、タイミング設定部８０は、表示部１０と照射位置との距離が所定距離範囲内となる位置に表示部１０が到達するタイミングを、照射タイミングとして設定し、照射制御部８２は、照射タイミングとなったら、光源部１４に光を照射させる。これにより、車の画像の虚像Ｐ２からの虚像開き角と、実際にユーザＵの眼ＥＹに入射する画像光Ｌの開き角とが近くなり、輻輳調節矛盾を小さくすることができる。
Figure 7 shows an example of a case where user U is gazing at virtual image P3 of a helicopter image. In the example of Figure 7, the opening angle of the light flux (virtual image opening angle from the gaze position) when light is irradiated from virtual image P3 (depth direction position of gaze position) to eye EY is angle θ3A. Then, at the position of
なお、以上の説明では、タイミング設定部８０は、位置検出部５０の検出結果から、表示部１０のＺ方向における位置の情報を逐次取得して、表示部１０が照射位置から所定距離に到達したかを判断していたが、それに限られない。例えば、表示部１０を所定の周期でＺ方向に往復運動させている場合には、位置検出部５０に検出させなくても、時刻毎の表示部１０のＺ方向における位置（予測位置）を把握できる。従って、タイミング設定部８０は、時刻情報から表示部１０のＺ方向における位置の情報を取得してもよい。この場合、タイミング設定部８０は、時刻毎の表示部１０の予測位置の情報と照射位置の情報とに基づき、表示部１０が照射位置から所定距離に到達する時刻を照射タイミングとして設定し、現在の時刻が照射タイミングに達したら、表示部１０が照射位置に到達したと判断して、光源部１４に光を照射させてもよい。
In the above description, the
（処理フロー）
次に、以上説明した制御装置６０の処理フローを説明する。図８は、本実施形態に係る制御装置の処理フローを説明するフローチャートである。制御装置６０は、表示制御部７８により、画像データに基づき表示パネル１２の画素を駆動しつつ、駆動制御部７６により、表示部１０を所定周期でＺ方向に往復移動させる。制御装置６０は、画素を駆動させつつ表示部１０を往復移動させながら、視線情報取得部７２により、ユーザＵの視線の検出結果を取得し（ステップＳ１０）、視線の検出結果に基づき、注視位置を検出する（ステップＳ１２）。そして、制御装置６０は、タイミング設定部８０により、注視位置の奥行き情報から、照射位置を設定する（ステップＳ１４）。制御装置６０は、位置情報取得部７４により、表示部１０のＺ方向における位置を逐次取得し、表示部１０が照射位置から所定距離内に到達したかを判断する（ステップＳ１６）。表示部１０が照射位置から所定距離内に到達したら（ステップＳ１６；Ｙｅｓ）、タイミング設定部８０は、照射タイミングに到達したと判断し、照射制御部８２は、光源部１４に光を照射させる（ステップＳ１８）。その後、照射停止タイミングで光の照射を停止させ、処理を終了しない場合は（ステップＳ２０；Ｎｏ）、ステップＳ１０に戻り処理を続ける。一方、表示部１０が照射位置から所定距離内に到達していない場合には（ステップＳ１６；Ｎｏ）、ステップＳ１６に戻り、表示部１０が照射位置から所定距離内に到達するまで光源部１４に光を照射させない。なお、表示部１０が照射位置から所定距離内に到達していない場合、すなわちステップＳ１６でＮｏの場合も、ステップＳ１０に戻ってよい。ステップＳ２０で処理を終了する場合（ステップＳ２０；Ｙｅｓ）、本処理を終了する。
(Processing flow)
Next, the process flow of the
（効果）
以上説明したように、本実施形態に係る表示装置１は、ユーザＵに立体画像を提供するものであって、表示部１０と、視線情報取得部７２と、駆動制御部７６と、タイミング設定部８０と、照射制御部８２とを含む。表示部１０は、複数の画素を含む表示パネル１２と、表示パネル１２に光を照射する光源部１４とを有し、光源部１４から表示パネル１２に照射された光である画像光ＬをユーザＵに到達させることで、ユーザＵに立体画像を提供する。視線情報取得部７２は、ユーザＵの視線の検出結果を取得する。駆動制御部７６は、表示部１０全体または表示パネル１２を、画像光Ｌの光軸方向（本実施形態ではＺ方向）に沿って所定の周期で移動させる。タイミング設定部８０は、ユーザＵの視線の検出結果と、表示部１０全体または表示パネル１２の光軸方向（本実施形態ではＺ方向）における位置とに基づき、光源部１４の光の照射タイミングを設定する。照射制御部８２は、照射タイミングで、光源部１４に光を照射させる。
(effect)
As described above, the
ここで、立体画像を表示する場合には、ユーザに適切に立体画像を提供することが求められている。それに対し、本実施形態においては、表示部１０を光軸方向に移動させておき、ユーザＵの視点と表示部１０の光軸方向の位置とに基づき、光の照射タイミングを設定する。従って、本実施形態によると、ユーザＵの視点と表示部１０の光軸方向の位置とに基づいて、適切なタイミングでユーザＵに画像光Ｌを到達させることが可能となり、ユーザＵに立体画像を適切に提供できる。さらに言えば、上述のように、立体画像を表示する際には、輻輳調節矛盾が起こる場合がある。それに対して、本実施形態においては、表示部１０を光軸方向に移動させつつ、ユーザＵの視点と表示部１０の光軸方向の位置とに基づき、光の照射タイミングを設定することで、画像光Ｌの光束の開き角を適切に調整して、輻輳調節矛盾を小さくすることができる。さらに言えば、本実施形態においては、画像光Ｌの光束の開き角が適切となる位置に表示部１０をその都度移動させずに、表示部１０は所定周期で移動させておき、画像光Ｌの光束の開き角が適切となるタイミングで光源部１４の光照射を制御している。このように光照射を制御することで、制御遅れが抑制されて、画像光Ｌの光束の開き角を適切に調整できる。
Here, when displaying a stereoscopic image, it is required to provide the user with an appropriate stereoscopic image. In contrast, in this embodiment, the
また、タイミング設定部８０は、立体画像の奥行き方向（本実施形態ではＺ方向）の位置を示す奥行き情報にも基づき、照射タイミングを設定する。本実施形態によると、奥行き情報も用いて照射タイミングを設定するため、表示される立体画像に合わせて画像光Ｌの光束の開き角を適切に調整することが可能となり、輻輳調節矛盾を小さくすることができる。
The
また、視線情報取得部７２は、視線の検出結果に基づき、立体画像のうちでユーザＵが注視している注視位置を検出する。そして、タイミング設定部８０は、注視位置の奥行き情報に基づき、光源部１４に光を照射させた場合の画像光Ｌの光束の開き角が、注視位置の奥行き方向の位置からユーザＵに向けて画像光Ｌを照射した場合の光束の開き角（注視位置からの虚像開き角）に対応するような、示部１０全体または表示パネル１２の光軸方向における位置である、照射位置の情報を取得する。タイミング設定部８０は、示部１０全体または表示パネル１２が照射位置に対して所定距離範囲内となるタイミングを、照射タイミングとして設定する。本実施形態によると、画像光Ｌの光束の開き角を、ユーザＵが注視している虚像からの虚像開き角に近づけることができるため、輻輳調節矛盾を適切に小さくすることができる。
The line-of-sight information acquisition unit 72 detects the gaze position of the user U in the stereoscopic image based on the line-of-sight detection result. Then, the
また、表示装置１は、光軸方向において表示部１０よりもユーザＵ側に、接眼レンズが設けられる。表示装置１は、接眼レンズを設けることで、ユーザＵに立体画像を適切に提供できる。
The
また、表示装置１は、ヘッドマウントディスプレイである。そのため、ヘッドマウントディスプレイにより立体画像を適切に提供できる。
The
（第２実施形態）
次に、第２実施形態について説明する。第２実施形態においては、マイクロレンズアレイを設ける点で、第１実施形態とは異なる。第２実施形態において第１実施形態と構成が共通する箇所は、説明を省略する。
Second Embodiment
Next, a second embodiment will be described. The second embodiment differs from the first embodiment in that a microlens array is provided. Descriptions of parts of the second embodiment that are common to the first embodiment will be omitted.
図９は、第２実施形態に係る表示装置の模式図である。図９に示すように、第２実施形態に係る表示装置１ａは、画像光Ｌの光軸方向において表示部１０よりもユーザＵの眼ＥＹ側に、マイクロレンズアレイ２０Ａが設けられている。マイクロレンズアレイ２０Ａは、画像光Ｌの光軸方向において、表示部１０と接眼レンズ２０との間に設けられている。マイクロレンズアレイ２０Ａは、表示面１２Ａと平行な平面に沿ってマトリクス状に複数のレンズが並ぶ光学素子である。本実施形態では、マイクロレンズアレイ２０Ａの各レンズのピッチは、すなわち隣り合うレンズの中心同士の距離は、例えば表示パネル１２の画素のピッチ（隣り合う画素電極の中心同士の距離）と同程度であり、マイクロレンズアレイ２０Ａの各レンズは、表示パネル１２の画素に対向する位置に設けられている。
FIG. 9 is a schematic diagram of a display device according to the second embodiment. As shown in FIG. 9, in the
第２実施形態においては、表示部１０からの画像光Ｌは、マイクロレンズアレイ２０Ａ及び接眼レンズ２０を通って、ユーザＵの眼ＥＹに到達する。ここで、表示部１０のＺ方向の移動量は、すなわち１周期の往復移動での最もＺ１方向側の位置と最もＺ２方向側の位置との距離は、画像光Ｌの光束の開き角が、虚像からの虚像開き角に追従できるような長さに設定される必要がある。それに対し、マイクロレンズアレイ２０Ａを設けた場合には、マイクロレンズアレイ２０Ａによって画像光Ｌの光束の開き角を広げるため、表示部１０が単位距離移動した際の画像光Ｌの光束の開き角の変化度合い（開き角の変化度合いの感度）が大きくなる。従って、第２実施形態においては、表示部１０のＺ方向の移動量を小さくして、表示部１０の移動に伴う駆動部３０や表示部１０への負荷を低減できる。
In the second embodiment, the image light L from the
このように、第２実施形態に係る表示装置１ａは、光軸方向において表示部１０よりもユーザＵ側に、マイクロレンズアレイが設けられる。表示装置１ａは、マイクロレンズアレイを設けることで、表示部１０の移動量を小さくしつつ輻輳調節矛盾を小さくすることができる。
In this way, in the
図１０は、マイクロレンズアレイを設けた場合の表示部の移動量の違いを説明するグラフである。以降では、光学シミュレーションにより、マイクロレンズアレイを設けない場合と設ける場合とで、表示部１０の必要な移動量の違いを計算した結果を説明する。この光学シミュレーションにおいては、３．５インチのディスプレイ、接眼レンズの焦点距離を４０ｍｍ、マイクロレンズアレイの各レンズの焦点距離を４．８ｍｍ、各レンズの曲率半径を２．５ｍｍとした。なお、実際のＨＭＤのレンズ光学系は、一般に接眼レンズの構成枚数の制限から、比較的大きな像面湾曲があるが、その大きさはレンズ設計によって変わるため、このシミュレーションではフォーカス量の変化だけを見るために、収差のない理想レンズを用いて計算した。ディスプレイから出た画像光の光束は、マイクロレンズアレイを通り接眼レンズでほぼ平行光になって、アイポイントに入射する。その光束をアイポイントで折り返すと、虚像上の物点に収束する構成である。本シミュレーションでは、虚像距離１００ｍ（無限遠相当）を基準として、虚像距離を５０００ｍｍから１５００ｍｍまで変化させたときの、ディスプレイの移動量をフォーカス量として算出した。図１０の線Ｎ１が、マイクロレンズアレイを設けない場合の虚像距離毎のフォーカス量を示し、線Ｎ２が、マイクロレンズアレイを設けた場合の虚像距離毎のフォーカス量を示している。線Ｎ１、Ｎ２に示すように、マイクロレンズアレイを設けた場合には、フォーカス量が少なくなり、ディスプレイの移動量を少なくできることが分かる。
Figure 10 is a graph that explains the difference in the amount of movement of the display unit when a microlens array is provided. In the following, the results of calculating the difference in the amount of movement required for the
（第３実施形態）
次に、第３実施形態について説明する。第３実施形態においては、接眼レンズ２０をＺ方向に移動させる点で、第１実施形態と異なる。第３実施形態において、第１実施形態と構成が共通する箇所は、説明を省略する。
Third Embodiment
Next, a third embodiment will be described. The third embodiment differs from the first embodiment in that the
図１１は、第３実施形態に係る表示装置の模式図である。図１１に示すように、第３実施形態に係る表示装置１ｂは、接眼レンズ２０に駆動部３０が取り付けられおり、駆動部３０が、接眼レンズ２０をＺ方向に移動させる。第３実施形態においては、表示部１０は、後述する制御装置６０から表示パネル１２を駆動させる駆動信号や光源部１４の光の照射タイミングを制御する制御信号を受信する。また、駆動部３０は、後述する制御装置６０から、駆動制御を行う信号を取得し、視線検出部４０は、制御装置６０へ視線の検出結果を送出し、位置情報検出部５０は、制御装置６０へ位置の検出結果を送出する。第３実施形態の駆動制御部７６は、接眼レンズ２０がＺ１方向に所定距離移動した後にＺ２方向に所定距離移動するＺ方向の往復移動（振動）を繰り返し行うように、接眼レンズ２０を移動させる。駆動制御部７６は、接眼レンズ２０を、Ｚ方向に沿って所定の周期で移動させる。言い換えれば、駆動制御部７６は、接眼レンズ２０のＺ方向の往復移動を、所定の周期で行わせる。本実施形態では、Ｚ方向の往復移動の周期は一定であるが、一定であることに限られず、周期を変化させてもよい。
FIG. 11 is a schematic diagram of a display device according to the third embodiment. As shown in FIG. 11, in the
また、第３実施形態の位置検出部５０は、接眼レンズ２０のＺ方向における位置を検出する。第３実施形態の位置情報取得部７４は、位置検出部５０に接眼レンズ２０のＺ方向における位置を検出させ、接眼レンズ２０のＺ方向における位置の検出結果を取得する。
The
第３実施形態においては、タイミング設定部８０は、ユーザＵの視線の検出結果と、接眼レンズ２０のＺ方向（画像光Ｌの光軸方向）における位置とに基づき、照射タイミングを設定する。さらに言えば、タイミング設定部８０は、ユーザＵの視線の検出結果と、立体画像の奥行き情報と、接眼レンズ２０のＺ方向における位置とに基づき、照射タイミングを設定する。
In the third embodiment, the
より詳しくは、第３実施形態のタイミング設定部８０は、視線情報取得部７２が検出した注視位置における、奥行き情報を取得する。すなわち、タイミング設定部８０は、注視位置の奥行き方向（Ｚ方向）における位置の情報を取得する。そして、タイミング設定部８０は、注視位置における奥行き情報に基づき、光源部１４に光の照射を開始させる際の接眼レンズ２０の位置である照射位置を設定する。タイミング設定部８０は、注視位置での奥行き方向の位置（ユーザＵが注視している虚像の位置）から眼ＥＹに光が照射された場合の光束の開き角（注視位置からの虚像開き角）に、画像光Ｌの開き角が一致する際の、接眼レンズ２０のＺ方向における位置を、照射位置として設定する。タイミング設定部８０は、照射位置との距離が所定距離範囲内となる位置に接眼レンズ２０が到達するタイミングを、照射タイミングとして設定する。本実施形態では、タイミング設定部８０は、位置情報取得部７４から接眼レンズ２０のＺ方向の位置の情報を逐次取得し、接眼レンズ２０のＺ方向の位置が照射位置に対して所定距離まで近づいたら、照射タイミングとなったと判断する。ここでの所定距離は任意に設定してよいが、輻輳調節矛盾を小さくするために、注視位置からの虚像開き角と画像光Ｌの開き角との差分が小さくなるような距離に、設定されることが好ましい。
More specifically, the
タイミング設定部８０は、このようにして照射タイミングを設定する。さらに、タイミング設定部８０は、照射タイミングより後のタイミングを照射停止タイミングとして設定する。照射制御部８２は、タイミング設定部８０によって照射タイミングに到達したと判断されたら、光源部１４に光の照射を開始させる。照射制御部８２は、照射停止タイミングから照射停止タイミングまでの間、光源部１４に光を照射させ、照射停止タイミングに到達したら、光源部１４に光の照射を停止させる。
The
なお、以上の説明では、タイミング設定部８０は、位置検出部５０の検出結果から、接眼レンズ２０のＺ方向における位置の情報を逐次取得して、接眼レンズ２０が照射位置から所定距離に到達したかを判断していたが、それに限られない。例えば、接眼レンズ２０を所定の周期でＺ方向に往復運動させている場合には、位置検出部５０に検出させなくても、時刻毎の接眼レンズ２０のＺ方向における位置（予測位置）を把握できる。従って、タイミング設定部８０は、時刻情報から接眼レンズ２０のＺ方向における位置の情報を取得してもよい。この場合、タイミング設定部８０は、時刻毎の接眼レンズ２０の予測位置の情報と照射位置の情報とに基づき、接眼レンズ２０が照射位置から所定距離に到達する時刻を照射タイミングとして設定し、現在の時刻が照射タイミングに達したら、接眼レンズ２０が照射位置に到達したと判断して、光源部１４に光を照射させてもよい。
In the above description, the
（処理フロー）
次に、以上説明した第３実施形態の制御装置６０の処理フローを説明する。図１２は、第３実施形態に係る制御装置の処理フローを説明するフローチャートである。制御装置６０は、表示制御部７８により、画像データに基づき表示パネル１２の画素を駆動しつつ、駆動制御部７６により、接眼レンズ２０を所定周期でＺ方向に往復移動させる。制御装置６０は、画素を駆動させつつ接眼レンズ２０を往復移動させながら、視線情報取得部７２により、ユーザＵの視線の検出結果を取得し（ステップＳ１０ｂ）、視線の検出結果に基づき、注視位置を検出する（ステップＳ１２ｂ）。そして、制御装置６０は、タイミング設定部８０により、注視位置の奥行き情報から、照射位置を設定する（ステップＳ１４ｂ）。制御装置６０は、位置情報取得部７４により、接眼レンズ２０のＺ方向における位置を逐次取得し、接眼レンズ２０が照射位置から所定距離内に到達したかを判断する（ステップＳ１６ｂ）。接眼レンズ２０が照射位置から所定距離内に到達したら（ステップＳ１６ｂ；Ｙｅｓ）、タイミング設定部８０は、照射タイミングに到達したと判断し、照射制御部８２は、光源部１４に光を照射させる（ステップＳ１８ｂ）。その後、照射停止タイミングで光の照射を停止させ、処理を終了しない場合は（ステップＳ２０ｂ；Ｎｏ）、ステップＳ１０ｂに戻り処理を続ける。一方、接眼レンズ２０が照射位置から所定距離内に到達していない場合には（ステップＳ１６ｂ；Ｎｏ）、ステップＳ１６ｂに戻り、接眼レンズ２０が照射位置から所定距離内に到達するまで光源部１４に光を照射させない。なお、接眼レンズ２０が照射位置から所定距離内に到達していない場合、すなわちステップＳ１６ｂでＮｏの場合も、ステップＳ１０ｂに戻ってよい。ステップＳ２０ｂで処理を終了する場合（ステップＳ２０ｂ；Ｙｅｓ）、本処理を終了する。
(Processing flow)
Next, the process flow of the
（効果）
以上説明したように、第３実施形態に係る表示装置１ｂは、ユーザＵに立体画像を提供するものであって、表示部１０と、光学素子と、視線情報取得部７２と、駆動制御部７６と、タイミング設定部８０と、照射制御部８２とを含む。表示部１０は、複数の画素を含む表示パネル１２と、表示パネル１２に光を照射する光源部１４とを有し、光源部１４から表示パネル１２に照射された光である画像光ＬをユーザＵに到達させることで、ユーザＵに立体画像を提供する。光学素子（本実施形態の例では接眼レンズ２０）は、画像光Ｌの光軸方向において表示部１０よりもユーザＵ側に設けられる。視線情報取得部７２は、ユーザＵの視線の検出結果を取得する。駆動制御部７６は、光学素子を、画像光Ｌの光軸方向（本実施形態ではＺ方向）に沿って所定の周期で移動させる。タイミング設定部８０は、ユーザＵの視線の検出結果と、光学素子の光軸方向（本実施形態ではＺ方向）における位置とに基づき、光源部１４の光の照射タイミングを設定する。照射制御部８２は、照射タイミングで、光源部１４に光を照射させる。
(effect)
As described above, the
第３実施形態の表示装置１ｂのように、光学素子を移動させた場合でも、第１実施形態と同様に、ユーザＵに立体画像を適切に提供でき、画像光Ｌの光束の開き角を適切に調整して、輻輳調節矛盾を小さくすることができる。さらに、光学素子は、例えば樹脂やガラス製のレンズであり、表示部１０と比べて構成が簡素であるため、移動させた場合の不具合のリスクを少なくできる。
Even when the optical element is moved as in the
また、視線情報取得部７２は、視線の検出結果に基づき、立体画像のうちでユーザＵが注視している注視位置を検出する。そして、タイミング設定部８０は、注視位置の奥行き情報に基づき、光源部１４に光を照射させた場合の画像光Ｌの光束の開き角が、注視位置の奥行き方向の位置からユーザＵに向けて画像光Ｌを照射した場合の光束の開き角（注視位置からの虚像開き角）に対応するような、光学素子（本実施形態の例では接眼レンズ２０）の光軸方向における位置である、照射位置の情報を取得する。タイミング設定部８０は、光学素子が照射位置に対して所定距離範囲内となるタイミングを、照射タイミングとして設定する。本実施形態によると、画像光Ｌの光束の開き角を、ユーザＵが注視している虚像からの虚像開き角に近づけることができるため、輻輳調節矛盾を適切に小さくすることができる。
The gaze information acquisition unit 72 detects the gaze position of the user U in the stereoscopic image based on the gaze detection result. Then, the
また、光学素子は、接眼レンズ２０を含み、駆動制御部７６は、接眼レンズ２０を移動させる。本実施形態によると、接眼レンズ２０を移動させることで、ユーザＵに立体画像を適切に提供でき、画像光Ｌの光束の開き角を適切に調整して、輻輳調節矛盾を小さくすることができる。
The optical element also includes an
なお、第１実施形態においては、表示部１０（または表示パネル１２）を移動させ、第３実施形態においては光学素子を移動させていた。ただし、表示部１０（または表示パネル１２）と光学素子との両方を移動させてもよい。 In the first embodiment, the display unit 10 (or the display panel 12) is moved, and in the third embodiment, the optical element is moved. However, both the display unit 10 (or the display panel 12) and the optical element may be moved.
（第４実施形態）
次に、第４実施形態について説明する。第４実施形態においては、接眼レンズ２０の替わりにマイクロレンズアレイ２０ＡをＺ方向に移動させる点で、第３実施形態と異なる。第４実施形態において、第３実施形態と構成が共通する箇所は、説明を省略する。
Fourth Embodiment
Next, a fourth embodiment will be described. The fourth embodiment differs from the third embodiment in that a
図１３は、第４実施形態に係る表示装置の模式図である。図１３に示すように、第４実施形態に係る表示装置１ｃは、画像光Ｌの光軸方向において表示部１０よりもユーザＵの眼ＥＹ側に、マイクロレンズアレイ２０Ａが設けられている。マイクロレンズアレイ２０Ａは、画像光Ｌの光軸方向において、表示部１０と接眼レンズ２０との間に設けられている。第４実施形態においては、マイクロレンズアレイ２０Ａに駆動部３０が取り付けられおり、駆動部３０が、マイクロレンズアレイ２０ＡをＺ方向に移動させる。第４実施形態においては、接眼レンズ２０の替わりにマイクロレンズアレイ２０Ａを移動させる以外は、第３実施形態と内容が共通するため、他の説明は省略する。すなわち、第４実施形態の内容は、第３実施形態での「接眼レンズ２０」を「マイクロレンズアレイ２０Ａ」に置き換えればよい。
13 is a schematic diagram of a display device according to the fourth embodiment. As shown in FIG. 13, in the display device 1c according to the fourth embodiment, a
このように、第４実施形態においては、光学素子がマイクロレンズアレイ２０Ａを含み、駆動制御部７６は、マイクロレンズアレイ２０Ａを移動させる。本実施形態によると、マイクロレンズアレイ２０Ａを移動させることで、ユーザＵに立体画像を適切に提供でき、画像光Ｌの光束の開き角を適切に調整して、輻輳調節矛盾を小さくすることができる。
Thus, in the fourth embodiment, the optical element includes a
図１４は、マイクロレンズアレイを設けた場合の表示部の移動量の違いを説明するグラフである。以降では、光学シミュレーションにより、マイクロレンズアレイを設けない場合と設ける場合とで、表示部１０の必要な移動量の違いを計算した結果を説明する。この光学シミュレーションは、マイクロレンズアレイの曲率半径を２．５ｍｍ、１ｍｍと２種類準備し、ディスプレイではなくマイクロレンズアレイを動かした点以外は、第２実施形態で説明した光学シミュレーションと同内容である。図１４の線Ｎ１が、マイクロレンズアレイを設けずディスプレイを動かした場合の虚像距離毎のフォーカス量を示し、線Ｎ３が、曲率半径が２．５ｍｍのマイクロレンズアレイを設けた場合の虚像距離毎のフォーカス量を示し、線Ｎ４が、曲率半径が１ｍｍのマイクロレンズアレイを設けた場合の虚像距離毎のフォーカス量を示している。線Ｎ１、Ｎ３、Ｎ４に示すように、マイクロレンズアレイを設けた場合には、フォーカス量が少なくなり、移動量を少なくできることが分かる。
Figure 14 is a graph that explains the difference in the amount of movement of the display unit when a microlens array is provided. Hereinafter, the results of calculating the difference in the amount of movement required for the
なお、第４実施形態のようにマイクロレンズアレイ２０Ａを設けた構成において、第３実施形態のように接眼レンズ２０を移動させてもよいし、接眼レンズ２０とマイクロレンズアレイ２０Ａの両方を移動させてもよい。また、第３実施形態では接眼レンズ２０を移動させ、第４実施形態ではマイクロレンズアレイ２０Ａを移動させていたが、移動させる光学素子は、接眼レンズ２０やマイクロレンズアレイ２０Ａに限られず、表示部１０よりも光軸方向でユーザＵ側に設けられている任意の光学素子を移動させてもよい。
In a configuration in which a
（変形例）
次に、変形例について説明する。変形例に係る表示装置１ｄは、接眼レンズ２０の替わりに凹面鏡２０Ｃでディスプレイを拡大する点で、第２実施形態とは異なる。変形例において第２実施形態と構成が共通する箇所は、説明を省略する。
(Modification)
Next, a modified example will be described. A
図１５は、変形例に係る表示装置の模式図である。図１５に示すように、変形例に係る表示装置１ｄは、接眼レンズ２０が設けられておらず、画像光Ｌの光軸方向において表示部１０よりもユーザＵの眼ＥＹ側に、ハーフミラー２０Ｂと凹面鏡２０Ｃとが設けられている。ハーフミラー２０Ｂと凹面鏡２０Ｃも、光学素子であるといえる。変形例においては、表示部１０から出射された画像光Ｌは、ハーフミラー２０Ｂで反射されて凹面鏡２０Ｃに入射する。凹面鏡２０Ｃに入射した画像光Ｌは、凹面鏡２０Ｃで若干の広がり角を持ちつつほぼ平行光になって、ハーフミラー２０Ｂを透過してユーザＵの眼ＥＹに入射する。
Figure 15 is a schematic diagram of a display device according to a modified example. As shown in Figure 15, the
変形例においては、第２実施形態と同様にマイクロレンズアレイ２０Ａを移動させる。変形例のような構成であっても、マイクロレンズアレイ２０Ａを移動させるため、第２実施形態と同様に、ユーザＵに立体画像を適切に提供でき、画像光Ｌの光束の開き角を適切に調整して、輻輳調節矛盾を小さくすることができる。
In the modified example, the
なお、変形例は、他の実施例にも適用可能である。すなわち、変形例の構成において、表示部１０を移動させてもよいし、ハーフミラー２０Ｂ以外の光学素子を移動させてもよい。また、表示装置の構成は、各実施形態や図１５で挙げた変形例以外のものであってもよい。例えば、表示部１０がＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）やいわゆるマイクロＬＥＤなど、画素毎に点灯制御が可能な自発光型のディスプレイであってよい。また、表示部１０が反射型の液晶表示装置であってもよい。
The modified example can also be applied to other examples. That is, in the configuration of the modified example, the
以上、本発明の実施形態を説明したが、これら実施形態の内容により実施形態が限定されるものではない。また、前述した構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。さらに、前述した構成要素は適宜組み合わせることが可能であり、各実施形態の構成を組み合わせることも可能である。さらに、前述した実施形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換又は変更を行うことができる。 Although the embodiments of the present invention have been described above, the contents of these embodiments do not limit the embodiments. The above-mentioned components include those that a person skilled in the art can easily imagine, those that are substantially the same, and those that are within the so-called equivalent range. Furthermore, the above-mentioned components can be combined as appropriate, and the configurations of each embodiment can also be combined. Furthermore, various omissions, substitutions, or modifications of the components can be made without departing from the spirit of the above-mentioned embodiments.
１ 表示装置
１０ 表示部
１２ 表示パネル
１４ 光源部
２０ 接眼レンズ
３０ 駆動部
４０ 視線検出部
５０ 位置検出部
６０ 制御装置
７０ 画像情報取得部
７２ 視線情報取得部
７４ 位置情報取得部
７６ 駆動制御部
７８ 表示制御部
８０ タイミング設定部
８２ 照射制御部
Ｌ 画像光
Ｕ ユーザ
REFERENCE SIGNS
Claims (7)
複数の画素を含む表示パネルと、
前記表示パネルに光を照射する光源部と、
前記表示パネルよりも前記ユーザ側に設けられる光学素子と、
前記ユーザの視線の検出結果に基づき、前記画像のうちで前記ユーザが注視している注視位置を検出する視線情報取得部と、
前記光学素子を所定の周期で移動させる駆動制御部と、
前記注視位置の奥行き情報と、前記光学素子の位置とに基づき、前記光源部の光を照射させた場合の光束の開き角を調整する照射タイミングを設定するタイミング設定部と、
を含む、
表示装置。 A display device for providing an image to a user, comprising:
a display panel including a plurality of pixels;
a light source unit that irradiates light onto the display panel;
an optical element provided on the user side of the display panel;
a gaze information acquisition unit that detects a gaze position at which the user is gazing in the image based on a detection result of the user's gaze;
A drive control unit that moves the optical element at a predetermined period;
a timing setting unit that sets an irradiation timing for adjusting an opening angle of a light beam when the light from the light source unit is irradiated based on the depth information of the gaze position and the position of the optical element;
Including,
Display device.
複数の画素を含む表示パネルと、a display panel including a plurality of pixels;
前記表示パネルに光を照射する光源部と、a light source unit that irradiates light onto the display panel;
前記表示パネルよりも前記ユーザ側に設けられる光学素子と、an optical element provided on the user side of the display panel;
前記ユーザの視線の検出結果を取得する視線情報取得部と、a gaze information acquisition unit for acquiring a detection result of the user's gaze;
前記光学素子を所定の周期で移動させる駆動制御部と、A drive control unit that moves the optical element at a predetermined period;
前記ユーザの視線の検出結果と、前記光学素子の位置とに基づき、前記光源部の光の照射タイミングを設定するタイミング設定部と、a timing setting unit that sets a timing for emitting light from the light source unit based on a detection result of the user's line of sight and a position of the optical element;
を含み、Including,
前記視線情報取得部は、前記視線の検出結果に基づき、前記画像のうちで前記ユーザが注視している注視位置を検出し、The line-of-sight information acquisition unit detects a gaze position at which the user is gazing in the image based on a result of the line-of-sight detection,
前記タイミング設定部は、The timing setting unit is
前記画像の奥行き方向の位置を示す奥行き情報にも基づき、前記照射タイミングを設定し、The irradiation timing is set based on depth information indicating a position in a depth direction of the image;
前記注視位置の奥行き情報に基づき、前記光源部に光を照射させた場合の光束の開き角が、前記注視位置での奥行き方向の位置から前記ユーザに向けて光を照射した場合の光束の開き角に対応する前記光学素子の位置である照射位置の情報を取得し、前記光学素子が前記照射位置に対して所定距離範囲内にあるタイミングを、前記照射タイミングとして設定する、Based on the depth information of the gaze position, information on an irradiation position is acquired, which is a position of the optical element corresponding to an opening angle of a light beam when the light source unit irradiates light from a position in the depth direction at the gaze position toward the user, and a timing when the optical element is within a predetermined distance range from the irradiation position is set as the irradiation timing.
表示装置。Display device.
ユーザの視線の検出結果に基づき、画像のうちで前記ユーザが注視している注視位置を検出する視線情報取得ステップと、
前記表示パネルよりも前記ユーザ側に設けられる光学素子を所定の周期で移動させる駆動制御ステップと、
前記注視位置の奥行き情報と、前記光学素子の位置とに基づき、前記光源ステップの光を照射させた場合の光束の開き角を調整する照射タイミングを設定するタイミング設定ステップと、
を含む、
表示制御方法。 a light source step of irradiating light onto a display panel including a plurality of pixels;
a gaze information acquisition step of detecting a gaze position of the user in an image based on a detection result of the user's gaze;
a drive control step of moving an optical element provided on the user side of the display panel at a predetermined period;
a timing setting step of setting an irradiation timing for adjusting an opening angle of a light beam when the light from the light source step is irradiated based on the depth information of the gaze position and the position of the optical element;
Including,
Display control method.
ユーザの視線の検出結果に基づき、画像のうちで前記ユーザが注視している注視位置を検出する視線情報取得ステップと、
前記表示パネルよりも前記ユーザ側に設けられる光学素子を所定の周期で移動させる駆動制御ステップと、
前記注視位置の奥行き情報と、前記光学素子の位置とに基づき、前記光源ステップの光を照射させた場合の光束の開き角を調整する照射タイミングを設定するタイミング設定ステップと、
を、コンピュータに実行させる、
表示制御プログラム。 a light source step of irradiating light onto a display panel including a plurality of pixels;
a gaze information acquisition step of detecting a gaze position of the user in an image based on a detection result of the user's gaze;
a drive control step of moving an optical element provided on the user side of the display panel at a predetermined period;
a timing setting step of setting an irradiation timing for adjusting an opening angle of a light beam when the light from the light source step is irradiated based on the depth information of the gaze position and the position of the optical element;
The computer executes the
Display control program.
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021046022A JP7567593B2 (en) | 2021-03-19 | 2021-03-19 | Display device, display control method, and display control program |
| PCT/JP2022/012769 WO2022196809A1 (en) | 2021-03-19 | 2022-03-18 | Display device, display control method, and display control program |
| US18/464,301 US20230421750A1 (en) | 2021-03-19 | 2023-09-11 | Display device, display control method, and computer-readable storage medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021046022A JP7567593B2 (en) | 2021-03-19 | 2021-03-19 | Display device, display control method, and display control program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2022144839A JP2022144839A (en) | 2022-10-03 |
| JP7567593B2 true JP7567593B2 (en) | 2024-10-16 |
Family
ID=83454667
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021046022A Active JP7567593B2 (en) | 2021-03-19 | 2021-03-19 | Display device, display control method, and display control program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7567593B2 (en) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003334221A (en) | 2002-05-20 | 2003-11-25 | Nikon Corp | Image display device and asthenopia elimination device |
| JP2017515162A (en) | 2014-03-05 | 2017-06-08 | アリゾナ ボード オブ リージェンツ オン ビハーフ オブ ザ ユニバーシティ オブ アリゾナ | Wearable 3D augmented reality display |
-
2021
- 2021-03-19 JP JP2021046022A patent/JP7567593B2/en active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003334221A (en) | 2002-05-20 | 2003-11-25 | Nikon Corp | Image display device and asthenopia elimination device |
| JP2017515162A (en) | 2014-03-05 | 2017-06-08 | アリゾナ ボード オブ リージェンツ オン ビハーフ オブ ザ ユニバーシティ オブ アリゾナ | Wearable 3D augmented reality display |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2022144839A (en) | 2022-10-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114868069B (en) | Predictive eye tracking system and method with foveal rendering of electronic displays | |
| US11710469B2 (en) | Depth based foveated rendering for display systems | |
| US20230251492A1 (en) | Depth based foveated rendering for display systems | |
| JP7274435B2 (en) | Current drain reduction in AR/VR display systems | |
| US10757400B2 (en) | Near eye wavefront emulating display | |
| CN105103032B (en) | Display device | |
| CN113568175B (en) | Virtual and augmented reality systems and methods | |
| US20130286053A1 (en) | Direct view augmented reality eyeglass-type display | |
| JP5496030B2 (en) | Head-mounted image display device | |
| US20180074324A1 (en) | Fresnel Lens with Dynamic Draft for Variable Gaze | |
| WO2012035677A1 (en) | Head-mounted image display device | |
| US20220317464A1 (en) | Near-eye display system | |
| US20180074319A1 (en) | Hybrid Fresnel Lens with Increased Field of View | |
| US11122256B1 (en) | Mixed reality system | |
| JP7567593B2 (en) | Display device, display control method, and display control program | |
| JP7567594B2 (en) | Display device, display control method, and display control program | |
| US11243399B2 (en) | Head mounted display device with double faceted optics | |
| JP2022144863A (en) | Display, display control method, and display control program | |
| JP2022144985A (en) | Display, display control method, and display control program | |
| WO2022196809A1 (en) | Display device, display control method, and display control program | |
| JP2022144840A (en) | Display, display control method, and display control program | |
| JP2022145159A (en) | Display device, display control method, and display control program | |
| JP2022144984A (en) | Display, display control method, and display control program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20231228 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240618 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240815 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240903 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240916 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7567593 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |