JP7547983B2 - Display device and control method thereof - Google Patents
Display device and control method thereof Download PDFInfo
- Publication number
- JP7547983B2 JP7547983B2 JP2020207545A JP2020207545A JP7547983B2 JP 7547983 B2 JP7547983 B2 JP 7547983B2 JP 2020207545 A JP2020207545 A JP 2020207545A JP 2020207545 A JP2020207545 A JP 2020207545A JP 7547983 B2 JP7547983 B2 JP 7547983B2
- Authority
- JP
- Japan
- Prior art keywords
- display
- image
- gaze
- display device
- deterioration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 27
- 230000006866 deterioration Effects 0.000 claims description 46
- 230000015556 catabolic process Effects 0.000 claims description 35
- 238000006731 degradation reaction Methods 0.000 claims description 35
- 238000012545 processing Methods 0.000 description 44
- 238000001514 detection method Methods 0.000 description 24
- 230000008569 process Effects 0.000 description 12
- 210000001508 eye Anatomy 0.000 description 10
- 238000003384 imaging method Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 238000001914 filtration Methods 0.000 description 7
- 230000002265 prevention Effects 0.000 description 7
- 230000009467 reduction Effects 0.000 description 7
- 238000005259 measurement Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 210000001747 pupil Anatomy 0.000 description 5
- 238000012935 Averaging Methods 0.000 description 4
- 239000003086 colorant Substances 0.000 description 4
- 238000005401 electroluminescence Methods 0.000 description 4
- 210000000554 iris Anatomy 0.000 description 4
- 230000015654 memory Effects 0.000 description 4
- 230000001629 suppression Effects 0.000 description 3
- 101100521334 Mus musculus Prom1 gene Proteins 0.000 description 2
- 210000005252 bulbus oculi Anatomy 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000011514 reflex Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 210000004087 cornea Anatomy 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Landscapes
- User Interface Of Digital Computer (AREA)
- Transforming Electric Information Into Light Information (AREA)
- Controls And Circuits For Display Device (AREA)
Description
本発明は、表示装置及びその制御方法に関する。 The present invention relates to a display device and a control method thereof.
有機EL(Electro Luminescence)ディスプレイのような自発光ディスプレイは、画質の良さなどの理由で様々なディスプレイに採用されている。しかしその一方で、自発光ディスプレイの焼き付きやムラといった表示品質(画質)の低下を根本的に解決する手段はなく、長寿命化は自発光ディスプレイの大きな課題となっている。 Self-luminous displays such as organic electroluminescence (EL) displays are used in a variety of displays due to their good image quality. However, there is no fundamental solution to the degradation of display quality (image quality) caused by burn-in and unevenness in self-luminous displays, and extending their lifespan is a major issue for self-luminous displays.
関連する技術として、例えば、特許文献1や2が知られている。特許文献1には、表示画面に入射する外光の明るさに応じてコントラスト比を制御する技術が開示されている。また、特許文献2には、表示する画像が動画像か静止画像かに応じて画素の輝度を制御する技術が開示されている。 Related technologies include, for example, Patent Documents 1 and 2. Patent Document 1 discloses a technology for controlling the contrast ratio depending on the brightness of external light incident on the display screen. Patent Document 2 discloses a technology for controlling pixel brightness depending on whether the image to be displayed is a moving image or a still image.
上記のように特許文献1や2では、コントラスト比や輝度を制御することで、焼き付きやムラなどの発生を抑えている。また、その他の関連する技術として、長時間同一画面を表示したときは輝度を低下させる処理や、定期的に画像の表示位置をわずかに変えることで特定の画素に劣化を集中させない処理、画素ごとの発光時間を算出して劣化の度合いを計算して輝度を補正する処理などが考えられる。しかしながら、これらの関連する技術では、長寿命化として一定の効果はあるものの、効果的に表示品質の低下を抑えて長寿命化を図ることができないという課題がある。 As described above, in Patent Documents 1 and 2, the occurrence of burn-in and unevenness is suppressed by controlling the contrast ratio and brightness. Other related technologies include a process to reduce brightness when the same screen is displayed for a long time, a process to prevent degradation from concentrating on specific pixels by periodically slightly changing the display position of the image, and a process to calculate the light emission time for each pixel, calculate the degree of degradation, and correct the brightness. However, while these related technologies have a certain effect in extending the lifespan, there is an issue that they cannot effectively suppress deterioration in display quality to extend the lifespan.
本発明は、画像を表示する表示画面と、前記表示画面における画素のブロックごとに、前記画像の表示履歴に基づいた前記画素の劣化度合いを示す劣化情報を記憶する記憶部と、前記表示画面の所定の領域において、表示品質の低下を抑止する抑止表示により前記画像を表示する表示制御部と、を備え、前記表示制御部は、前記記憶された劣化情報に基づいて、前記所定の領域におけるブロックのうち劣化度合いが所定値よりも大きいブロックの前記画素の輝度を下げる、表示装置を提供する。 The present invention provides a display device comprising a display screen for displaying an image, a storage unit for storing, for each block of pixels on the display screen, degradation information indicating the degree of degradation of the pixels based on the display history of the image, and a display control unit for displaying the image in a predetermined area of the display screen using suppressed display that suppresses degradation of display quality, and the display control unit reduces the brightness of the pixels in blocks in the predetermined area that have a degree of degradation greater than a predetermined value based on the stored degradation information.
本発明は、表示画面に画像を表示する表示装置の制御方法であって、前記表示画面における画素のブロックごとに、前記画像の表示履歴に基づいた前記画素の劣化度合いを示す劣化情報を記憶し、前記表示画面の所定の領域において、表示品質の低下を抑止する抑止表示により前記画像を表示し、前記抑止表示による表示制御において、前記記憶された劣化情報に基づいて、前記所定の領域におけるブロックのうち劣化度合いが所定値よりも大きいブロックの前記画素の輝度を下げる、表示装置の制御方法を提供する。 The present invention provides a control method for a display device that displays an image on a display screen, which stores, for each block of pixels on the display screen, degradation information indicating the degree of degradation of the pixels based on the display history of the image, displays the image in a predetermined area of the display screen using a suppressed display that suppresses degradation of display quality, and, in the display control using the suppressed display, reduces the brightness of the pixels in blocks in the predetermined area that have a degree of degradation greater than a predetermined value based on the stored degradation information.
本発明によれば、効果的に表示品質の低下を抑えて長寿命化を図ることが可能な表示装置及びその制御方法を提供することができる。 The present invention provides a display device and a control method thereof that can effectively prevent degradation of display quality and achieve a long lifespan.
以下、図面を参照して実施の形態について説明する。各図面においては、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略される。 The following describes the embodiments with reference to the drawings. In each drawing, the same elements are given the same reference numerals, and duplicate explanations will be omitted as necessary.
(実施の形態1)
まず、実施の形態1について説明する。上記のように、例えば、自発光ディスプレイは、画素の1つ1つが発光することによって画像を表示するため、表示された画像の内容によって画素ごとの発光強度や発光時間が異なることで寿命のバラツキが生じ、それによって焼き付きやムラなどの表示品質の低下が発生する。そこで、本実施の形態では、ディスプレイに視線センサを搭載することにより使用者の見ている領域を検出することで、使用者が見ている範囲のみ入力画像を通常表示し、使用者の見ていない領域は画像をフィルタリングや階調特性の低下といった画像処理をかけることで画素ごとの寿命の差を低減してディスプレイの長寿命化を図る。
(Embodiment 1)
First, a first embodiment will be described. As described above, for example, a self-luminous display displays an image by emitting light from each pixel, and therefore the light emission intensity and light emission time of each pixel differ depending on the content of the displayed image, resulting in variations in lifespan, which in turn leads to degradation of display quality such as burn-in and unevenness. Therefore, in this embodiment, a gaze sensor is mounted on the display to detect the area the user is looking at, and the input image is normally displayed only in the area the user is looking at, and image processing such as filtering the image and reducing the gradation characteristics is applied to the area the user is not looking at, thereby reducing the difference in lifespan between pixels and lengthening the lifespan of the display.
図1は、本実施の形態に係る表示装置の構成例を示している。図1に示すように、本実施の形態に係る表示装置100は、ディスプレイ部10と視線検出部20を備えている。
Figure 1 shows an example of the configuration of a display device according to this embodiment. As shown in Figure 1, the
視線検出部20は、表示装置100を使用する使用者の視線を検出する視線センサである。視線検出部20は、表示装置100の任意の位置に設置されている。視線検出部20は、ディスプレイ部10の外側に取り付けられていてもよいし、ディスプレイ部10に内蔵されていてもよい。また、視線検出部20は、使用者の視線に加えて、使用者の距離を検出する。検出する距離は、表示装置100から使用者までの距離である。なお、使用者が予め決まった位置で表示装置100を使用する場合、距離を検出せずに所定の距離を使用してもよい。この場合、視線検出部20は、使用者の視線のみを検出する。
The
視線検出部20は、例えば、赤外線発光部21、撮像部22、算出部23を備えている。なお、視線検出部20は、使用者の視線と距離を検出できれば、その他の構成でもよい。赤外線発光部21は、使用者の目に赤外線を照射(発光)する発光装置である。撮像部22は、使用者の目を撮像する撮像装置であり、例えば、使用者の眼球による反射光を得るための輝度センサである。
The
算出部23は、撮像部22の検出結果から使用者の視線及び距離を算出(検出)し、算出結果をディスプレイ部10(領域特定部11)へ出力する。算出部23は、撮像部22により得られた画像から使用者の瞳孔の中心と角膜反射の位置を検出し、その情報から使用者の視線を検出する。なお、この例では、角膜反射の位置に対する瞳孔の位置から視線を検出するが、目頭の位置に対する虹彩の位置から視線を検出するなど、その他の方法により視線を検出してもよい。さらに、算出部23は、例えば、撮像部22により得られた使用者の目の画像から表示装置100と使用者との距離を算出する。本実施の形態では、視線に基づいた表示画面上の領域を特定するため、使用者の目から後段で説明する映像表示部14までの距離を算出することが好ましい。なお、ステレオカメラにより撮像されたステレオ画像から距離を取得するなど、その他の方法により使用者の距離を検出してもよい。
The
ディスプレイ部10は、例えば、領域特定部11、映像入力部12、映像処理部13、映像表示部14を備えている。なお、ディスプレイ部10は、本実施の形態に係る方法で表示できれば、その他の構成でもよい。例えば、ディスプレイ部10の各部を1つの装置で実現してもよいし、複数の装置で実現してもよい。
The
領域特定部11は、視線検出部20が検出した使用者の視線及び距離に基づいて、映像表示部14における使用者の視点及び注視領域を特定する。使用者の視点は、使用者の視線と映像表示部14との交点として特定される。注視領域とは、映像表示部14において使用者が注視する領域であり、映像表示部14における使用者の視点を中心とした所定の領域である。本実施の形態では、注視領域は画像を通常表示する領域である。なお、注視領域の特定により、注視領域以外の非注視領域も特定されるため、領域特定部11は、注視領域とともに非注視領域を特定しているとも言える。領域特定部11は、特定した使用者の視点の座標及び取得した使用者と表示装置100の距離から、使用者の視点の座標を中心として使用者の距離に応じた大きさの所定形状の注視領域を特定する。例えば、注視領域の形状は、使用者の2つの目の距離や傾きに応じた横長の楕円形としてもよいが、円形や任意の多角形など、その他の形状でもよい。
The
映像入力部12は、映像表示部14に表示する映像を入力(取得)する入力装置である。映像入力部12は、外部から入力される映像を取得してもよいし、表示装置100の記憶部(不図示)に予め記憶された映像を取得してもよい。
The
映像処理部13は、領域特定部11が特定した使用者の注視領域に基づき、映像表示部14に表示する映像(画像)を制御する表示制御装置である。映像処理部13は、特定された大きさ及び形状の注視領域を描画し、その領域内の映像を通常表示(正常表示)し、注視領域以外の非注視領域にはフィルタリングや階調特性の低下などの画像処理をかけた映像を表示するよう制御する。なお、フィルタリングや階調特性の低下などの画像処理は、焼き付きやムラなど表示画面(映像表示部14)の表示品質の低下を抑止する品質低下抑止表示の一例である。つまり、映像処理部13は、非注視領域の映像を品質低下抑止表示するよう制御していると言える。品質低下抑止表示は、表示する画像に対し画像処理を行うことで実現してもよいし、表示画面(映像表示部14)の画素の発光(表示)を制御することで実現してもよい。非注視領域に対し、フィルタリングや階調特性の低下などの画像処理に限らず、映像(画素)の輝度を下げてもよい。例えば、非注視領域の画像処理に加えて輝度を下げることで、さらに表示装置の長寿命化が可能となる。尚、映像処理部13は注視領域を描画せずに、注視領域内の映像を通常表示(正常表示)し、注視領域以外の非注視領域にはフィルタリングや階調特性の低下などの画像処理をかけた映像を表示するよう制御しても良い。
The
映像表示部14は、映像処理部13が処理した映像を表示する。映像表示部14は、例えば、有機ELディスプレイなどの複数の画像が自発光する自発光ディスプレイである。なお、自発光ディスプレイに限らず、液晶ディスプレイなどの複数の画素を含むその他のディスプレイでもよい。例えば、映像表示部14は、フラットなパネルのディスプレイであることが好ましいが、注視領域を特定できれば、非フラットなディスプレイでもよい。
The
図2は、本実施の形態に係る表示装置の動作例(制御方法)を示している。図2に示すように、まず、表示装置100は、使用者の視線を検出する(S101)。赤外線発光部21は使用者の目に赤外線を照射し、撮像部22はその反射光を含む画像を撮像する。図3は、撮像された使用者の目のイメージを示している。図3に示すように、照射した赤外線に対して使用者の眼球から角膜反射した反射光が得られる。算出部23は、撮像された画像から、使用者の瞳孔を認識し、瞳孔の中心の座標を得る。算出部23は、得られた角膜反射の位置と瞳孔の中心から、使用者の視線を検出する。
Figure 2 shows an example of the operation (control method) of the display device according to this embodiment. As shown in Figure 2, first, the
続いて、表示装置100は、使用者の距離を測定する(S102)。算出部23は、撮像部22が撮像した使用者の目の画像から使用者の2つの虹彩を認識し、認識した虹彩の大きさと2つの虹彩の距離から映像表示部14と使用者との距離を算出する。
Next, the
続いて、表示装置100は、視線が検出されたか否か判定する(S103)。視線が検出されている場合(S103/Yes)、表示装置100は、検出された視線の数をカウントし、複数の使用者の視線が検出されたか否か判定する(S104)。複数の使用者の視線ではなく、一人の使用者のみの視線が検出されている場合(S104/No)、表示装置100は、使用者の注視領域を特定する(S105)。
Then, the
領域特定部11は、使用者の視線に基づき、映像表示部14における使用者の視点の座標を算出する。また、領域特定部11は、使用者の距離から、注視領域の大きさ及び形状を特定する。例えば、求めた視点の座標を中心とし、距離に応じた軸の大きさの楕円の領域を特定する。すなわち、領域特定部11は、使用者の距離によって表示する注視領域の大きさを変更する。例えば、使用者が映像表示部14に近いほど表示する注視領域を小さくし、使用者が映像表示部14に遠いほど表示する注視領域を大きくする。
The
続いて、表示装置100は、非注視領域に画像処理を行い、画像処理を行った映像を表示する(S106)。映像処理部13は、入力された映像における注視領域以外の非注視領域に所定の画像処理をかけ、映像表示部14は画像処理された映像を表示する。例えば、品質低下抑止表示の一例として、非注視領域の画像にフィルタリングによりぼかしをかけてもよいし、階調特性を低下させてもよい。
Next, the
図4は、画像処理のない映像表示部14の表示イメージであり、図5は、非注視領域に画像処理をかけた映像表示部14の表示イメージである。すなわち、図4のような通常表示の画像に対し、図5に示すように、使用者の視点を中心とした楕円の注視領域を描画する。なお、視点の位置を映像表示部14に表示してもよいし、非表示としてもよい。距離に応じた大きさの楕円の注視領域の内側では、画像処理することなく入力された映像をそのまま通常表示し、注視領域の外側の非注視領域では、入力された映像にぼかし等をかけて表示する。ぼかしや階調特性を低下させるレベル(度合い)は、所定のレベルでもよいし、注視領域の大きさ(使用者の距離)等に応じて変更してもよい。例えば、注視領域が小さいほど、非注視領域のぼかしのレベルを強くしてもよい。
Figure 4 is a display image of the
一方、図2において、視線が検出できない場合(S103/No)、表示装置100は、全体の領域に画像処理を行い、映像表示部14の全体に画像処理を行った映像を表示する(S107)。映像処理部13は、視線の検出ができない場合、使用者が映像表示部14を見ていないと判断し、映像全体に画像処理をかけ、画像処理した映像を映像表示部14に表示する。このときの画像処理は、視線が検出できた場合と同じぼかしや階調特性の低下でもよいし、異なるレベルのぼかしや階調特性の低下でもよい。また、輝度の低下など、異なる方法により品質低下抑止表示を行ってもよい。
On the other hand, in FIG. 2, if the line of sight cannot be detected (S103/No), the
また、複数の使用者の視線が検出された場合(S104/Yes)、表示装置100は、映像表示部14の全体に入力された映像を表示する(S108)。映像処理部13は、複数の人物の視線が検出された場合、画像処理をかける領域を特定できないため、図4に示したように、入力された映像に画像処理をかけず、映像全体をそのまま映像表示部14に通常表示する。
In addition, if the gazes of multiple users are detected (S104/Yes), the
以上のように、本実施の形態では、有機ELディスプレイや液晶ディスプレイ等の表示装置において、使用者の視線を検出するセンサを具備することで使用者の見ている注視領域を常に観測し、使用者が見ている注視領域のみ画像を通常表示し、それ以外の非注視領域にはフィルタリングや階調特性の低下といった画像処理をかけるよう制御する。これにより、画素ごとの寿命のバラツキを低減して自発光ディスプレイなどの焼き付きやムラなどの表示品質の低下を抑えることができ、表示装置の長寿命化が可能となる。また、非注視領域を非表示にしてしまうと何を表示しているのか判別できない恐れがある。このため、非表示領域に画像処理した映像などを表示し、品質低下抑止表示を行う。これにより、ディスプレイの劣化を抑えつつ、使用者が全体の映像を把握し、見たいエリアを目で追うことが可能となる。 As described above, in this embodiment, a display device such as an organic EL display or a liquid crystal display is provided with a sensor that detects the user's line of sight, so that the area the user is looking at is constantly observed, and only the area the user is looking at is normally displayed, while other areas not being looked at are controlled to undergo image processing such as filtering or reduction in gradation characteristics. This reduces the variation in the lifespan of each pixel, and suppresses deterioration of display quality such as burn-in and unevenness in self-luminous displays, making it possible to extend the lifespan of the display device. In addition, if the area not being looked at is hidden, there is a risk that it will be difficult to determine what is being displayed. For this reason, a processed image is displayed in the non-display area, and a quality degradation prevention display is performed. This makes it possible for the user to grasp the overall image and follow the area they want to see while suppressing deterioration of the display.
(実施の形態2)
次に、実施の形態2について説明する。本実施の形態は、実施の形態1の表示装置において、さらに人感センサを備える例である。図6は、本実施の形態に係る表示装置の構成例を示している。図6に示すように、本実施の形態に係る表示装置100は、実施の形態1と同様に、ディスプレイ部10と視線検出部20を備え、さらに人感センサ30を備えている。人感センサ30は、表示装置100の前の使用者を検出し、また、表示装置100と使用者との距離を測定する。人感センサに限らず、距離を高精度に測定可能な測距センサを備えてもよい。例えば、映像処理部13は、人感センサ30によって使用者を検出できない場合、映像表示部14の映像全体を非表示にしてもよい。なお、非表示に限らず、実施の形態1と同様に、品質低下抑止表示を行ってもよい。
(Embodiment 2)
Next, a second embodiment will be described. In this embodiment, the display device of the first embodiment is further provided with a human sensor. FIG. 6 shows a configuration example of a display device according to this embodiment. As shown in FIG. 6, the
本実施の形態のように、実施の形態1の表示装置において、さらに人感センサや測距センサを用いて使用者の距離を測定してもよい。これにより、使用者の距離を正確に計測することができ、通常表示を行う注視領域を精度よく特定することができる。また、人感センサによって表示装置の前の使用者を検出できないときは映像を非表示にすることにより、さらに表示装置の寿命を長くすることができる。 As in this embodiment, in the display device of embodiment 1, a human presence sensor or distance measuring sensor may be further used to measure the distance of the user. This allows the user's distance to be measured accurately, and the gaze area in which normal display is performed to be specified with high precision. In addition, when the human presence sensor cannot detect a user in front of the display device, the image can be hidden, thereby further extending the life of the display device.
(実施の形態3)
次に、実施の形態3について説明する。本実施の形態は、実施の形態1または2の表示装置において、視線の検出方法を改良する例である。表示装置の構成は実施の形態1または2と同様であるため説明を省略する。
(Embodiment 3)
Next, a description will be given of a third embodiment. This embodiment is an example in which the gaze detection method is improved in the display device of the first or second embodiment. The configuration of the display device is similar to that of the first or second embodiment, and therefore a description thereof will be omitted.
図7は、本実施の形態に係る表示装置の動作例(制御方法)を示している。図7に示すように、本実施の形態では、表示装置100は、実施の形態1と同様に使用者の視線検出(S101)と使用者の距離測定(S102)を行い、これらの処理を所定期間繰り返す(S112)。すなわち、表示装置100は、所定期間経過するまで(S112/No)、視線検出(S101)と距離測定(S102)を繰り返し、所定期間の経過後(S112/Yes)、平均化処理を行う(S113)。例えば、算出部23は、1秒間あたり数十フレーム程度で時間分解しながら積算して視線検出を行い、数フレームの間のデータの平均値から使用者の視点の位置及び、表示装置100と使用者との距離を算出するようにする。つまり、算出部23は、所定期間連続して撮像された画像から、画像ごとに視点の座標と距離を求め、求めた視点の座標と距離の平均値を検出結果(測定結果)とする。その後、実施の形態1と同様にS103以降の処理を行い、所定時間内に検出された視点及び距離を平均化した結果に基づいて、注視領域を特定し(S114)、映像表示部14に映像を表示する(S106)。これにより、使用者のまばたきなどが即座に表示画面に反映されることを防止する。
Figure 7 shows an example of the operation (control method) of the display device according to this embodiment. As shown in Figure 7, in this embodiment, the
また、視線検出(S101)と距離測定(S102)を繰り返す間、視線の移動が所定値よりも大きいか否か判定し(S111)、視線の移動が所定値以下の場合(S111/No)、視線検出と距離測定の繰り返しを継続し、視線の移動が所定値よりも大きい場合(S111/Yes)、視線検出と距離測定の繰り返しを中止する。例えば、視線(または視点)の座標が大きく変化した場合は積算した平均化処理を中止し、実施の形態1と同様にS103以降の処理を行い、現在の視点と距離に基づいて注視領域を特定し(S114)、映像表示部14に映像を表示する(S106)。これにより、現在の視点の位置を表示画面の表示位置に即座に反映する。 While repeating gaze detection (S101) and distance measurement (S102), it is determined whether the movement of the gaze is greater than a predetermined value (S111). If the movement of the gaze is equal to or less than the predetermined value (S111/No), the repeated gaze detection and distance measurement are continued. If the movement of the gaze is greater than the predetermined value (S111/Yes), the repeated gaze detection and distance measurement are stopped. For example, if the coordinates of the gaze (or viewpoint) change significantly, the accumulated averaging process is stopped, and the process from S103 onwards is performed as in embodiment 1, the gaze area is identified based on the current viewpoint and distance (S114), and the image is displayed on the image display unit 14 (S106). This allows the current viewpoint position to be immediately reflected in the display position on the display screen.
さらに、本実施の形態では、領域特定部11は、視線の移動を考慮して注視領域を特定する(S114)。例えば、領域特定部11は、視線(または視点)の移動の大きさ及び方向である移動ベクトルを常時算出しておき、所定時間における視線の移動ベクトルの大きさに応じて注視領域の大きさを制御する。例えば、視線の移動ベクトルが大きくなるにしたがって注視領域を大きくし、視線の移動ベクトルが小さくなるにしたがって注視領域を小さくする。また、視線の移動ベクトルから移動先の領域を予測して、注視領域を特定してもよい。例えば、視線の移動が継続している間、つまり、視線の移動が完了(終了)する前に、予測される移動先の領域も含めるように注視領域を特定してもよい。このとき、移動先も含めた大きさの注視領域としてもよいし、移動先の方向に延びる形状の注視領域としてもよい。
Furthermore, in this embodiment, the
以上のように、実施の形態1または2の表示装置において、所定期間内の検出結果の平均値から使用者の視点と距離を求めてもよい。これにより、使用者が短時間目を閉じる行動をした場合に、即座に追従することがない。また、視線が大きく移動した場合に平均化処理を中止することにより、視線移動が大きい場合に画面の注視領域の追従が遅れることを防止できる。 As described above, in the display device of embodiment 1 or 2, the user's viewpoint and distance may be calculated from the average value of the detection results within a predetermined period. This prevents the user from immediately following the action of closing their eyes for a short period of time. In addition, by stopping the averaging process when the line of sight moves significantly, it is possible to prevent delays in tracking the gaze area on the screen when the line of sight moves significantly.
(実施の形態4)
次に、実施の形態4について説明する。本実施の形態は、実施の形態1~3の表示装置において、画像処理などの品質低下抑止表示を行う際に、画素の劣化情報に応じて輝度を制御する例である。
(Embodiment 4)
Next, a fourth embodiment will be described. This embodiment is an example in which the luminance is controlled in accordance with pixel degradation information when performing quality degradation suppression display such as image processing in the display devices of the first to third embodiments.
図8は、本実施の形態に係る表示装置の構成例を示している。図8に示すように、本実施の形態に係る表示装置100は、実施の形態1と同様に、ディスプレイ部10と視線検出部20を備え、さらにディスプレイ部10に劣化情報記憶部15を備えている。劣化情報記憶部15は、映像表示部14の画素の劣化情報を記憶する。具体的には、映像表示部14(表示画面)を構成する画素のブロックごとに、画像の表示履歴に基づいた画素の劣化度合いを示す劣化情報を記憶する。例えば、劣化情報は、画素に表示した映像信号レベルと表示した時間を積算した情報である。映像処理部13が、表示する映像からブロックごとに劣化情報を算出し、劣化情報記憶部15に記憶してもよい。
Figure 8 shows an example of the configuration of a display device according to this embodiment. As shown in Figure 8, the
また、映像処理部13は、記憶された劣化情報に基づいて、映像表示部14のブロックごとの画素の輝度を制御する。例えば、図9に示すように、ブロックごとに劣化情報を記憶しておき、画像処理をかけている領域において、ブロックごとに劣化度合いが平衡になるように、各ブロックの画素の輝度を調整する。ディスプレイの平均的な劣化の進行度に対して劣化度合いが大きいブロックは輝度を下げ、劣化度合いが小さいブロックは輝度を上げることで、全体の劣化度合いに差が出ないようにする。例えば、画素がRGB(赤・緑・青)のサブピクセルを含み、RGBのサブピクセルごとに劣化度合いに差がある場合は、RGBの色ごとに輝度を制御しても良い。ただし、ホワイトバランスが変わる恐れがある場合は、RGBの劣化度合いが平衡になるように制御してもよい。
The
図10は、本実施の形態に係る表示装置の動作例(制御方法)を示している。図10は、実施の形態1~3において、注視領域以外の非注視領域に画像処理等した映像を表示する際(図2のS106や図7のS114)に、さらに輝度を制御する処理を示している。 Figure 10 shows an example of the operation (control method) of the display device according to this embodiment. Figure 10 shows the process of further controlling the brightness when displaying an image that has been subjected to image processing, etc., in a non-focused area other than the focus area in embodiments 1 to 3 (S106 in Figure 2 and S114 in Figure 7).
図10に示すように、映像処理部13は、劣化情報記憶部15から非注視領域のブロックの劣化情報を取得する(S201)。映像処理部13は、ブロックの劣化度合いが大きいか否か判定し(S202)、非注視領域のブロックのうち、劣化度合いが所定値よりも大きいブロックがある場合(S202/Yes)、該当するブロックの輝度を下げる(S203)。例えば、所定値よりも劣化が進んでいる度合いに応じたレベルで輝度を下げる。また、劣化度合いが所定値よりも大きいブロックがない場合(S202/No)、次の処理へ進む。次に、映像処理部13は、ブロックの劣化度合いが小さいか否か判定し(S204)、非注視領域のブロックのうち、劣化度合いが所定値よりも小さいブロックがある場合(S204/Yes)、該当するブロックの輝度を上げる(S205)。例えば、所定値よりも劣化が遅れている度合いに応じたレベルで輝度を上げる。また、劣化度合いが所定値よりも小さいブロックがない場合(S204/No)、処理を終了する。なお、S202とS205で劣化度合いの大小を判定する所定値は、予め設定された平均的な値でもよいし、全てのブロックの劣化情報から求めた平均値でもよい。また、S202の所定値とS205の所定値は、同じ値でもよいし、異なる値でもよい。例えば、両者に幅を持たせて、劣化度合いが大きいことを判定する第1の所定値よりも、劣化度合いが小さいことを判定する第2の所定値を小さくしてもよい。
As shown in FIG. 10, the
以上のように、実施の形態1~3の表示装置において、非注視領域を画像処理等して表示する際に、画像処理する領域のブロックごとの劣化情報に基づいて、劣化度合いを調整するようにブロックごとの輝度を制御する。これにより、領域全体の劣化の差を抑えることができ、長寿命化が可能となる。 As described above, in the display devices of the first to third embodiments, when non-focused areas are displayed through image processing or the like, the luminance of each block is controlled to adjust the degree of deterioration based on the deterioration information for each block of the area to be image-processed. This makes it possible to reduce the difference in deterioration across the entire area, enabling a longer lifespan.
なお、視線検出に応じて特定された非注視領域に限らず、例えば品質低下抑止表示を行う所定の領域において、本実施の形態のように劣化情報に応じて各ブロックの輝度を制御してもよい。例えば、視線の検出に限らず、人感センサにより使用者が検出されない場合や、使用者が所定期間操作を行わない場合等に、ぼかしなどの画像処理を行い、その画像処理を行う領域において、本実施の形態のように輝度を制御してもよい。 In addition to the non-focused area identified in response to gaze detection, the brightness of each block may be controlled in response to degradation information as in this embodiment, for example in a specified area where quality degradation prevention display is performed. For example, not limited to gaze detection, when a user is not detected by a human sensor or when the user does not perform an operation for a specified period of time, image processing such as blurring may be performed, and the brightness may be controlled in the area where the image processing is performed as in this embodiment.
(実施の形態5)
次に、実施の形態5について説明する。本実施の形態は、実施の形態1~4の表示装置において、画像処理などの品質低下抑止表示を行う際に、画素の表示色を制御する例である。映像表示部14(表示画面)の画素が、それぞれ異なる色を表示する複数のサブピクセルを含む場合、映像処理部13は、非注視領域(品質低下抑止表示を行う所定の領域)において、画素の複数のサブピクセルのうち、選択された任意の色のサブピクセルのみにより表示してもよい。例えば、画素が白・赤・緑・青の4色のサブピクセルによって構成されている場合、非注視領域に画像処理をかける際、白のサブピクセルのみ点灯させてモノクロ表示としても良い。これにより、赤、緑、青のサブピクセルの寿命を長くすることができる。
(Embodiment 5)
Next, a fifth embodiment will be described. This embodiment is an example of controlling the display color of a pixel when performing quality degradation suppression display such as image processing in the display device of the first to fourth embodiments. When a pixel of the image display unit 14 (display screen) includes a plurality of sub-pixels that display different colors, the
また、白に限らず、複数色の内の一部の色(例えば、1色、2色等)のみを表示(点灯)するようにしてもよい。このとき、選択して表示する色は、表示する時間またはタイミングに応じて切り替えてもよく、さらにローテーションさせてもよい。例えば、白、赤、青、緑の順に表示する色を変えてもよい。これにより、画素の劣化を抑えられるとともに、劣化度合いが偏ることを防止できる。 Also, instead of being limited to white, only some of the multiple colors (e.g., one color, two colors, etc.) may be displayed (lit up). In this case, the color selected and displayed may be switched according to the time or timing of display, and may even be rotated. For example, the colors displayed may be changed in the order of white, red, blue, and green. This makes it possible to suppress pixel degradation and prevent uneven distribution of the degree of degradation.
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。 The present invention is not limited to the above embodiment, and can be modified as appropriate without departing from the spirit and scope of the invention.
上述の実施形態における各構成は、ハードウェア又はソフトウェア、もしくはその両方によって構成され、1つのハードウェア又はソフトウェアから構成してもよいし、複数のハードウェア又はソフトウェアから構成してもよい。各装置の機能(処理)を、CPUやメモリ等を有するコンピュータにより実現してもよい。例えば、記憶装置に実施形態における方法(例えば制御方法)を行うためのプログラムを格納し、各機能を、記憶装置に格納されたプログラムをCPUで実行することにより実現してもよい。 Each component in the above-described embodiments may be configured with hardware or software, or both, and may be configured with one piece of hardware or software, or may be configured with multiple pieces of hardware or software. The functions (processing) of each device may be realized by a computer having a CPU, memory, etc. For example, a program for performing a method in the embodiment (e.g., a control method) may be stored in a storage device, and each function may be realized by executing the program stored in the storage device with a CPU.
これらのプログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば光磁気ディスク)、CD-ROM(Read Only Memory)、CD-R、CD-R/W、半導体メモリ(例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(random access memory))を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。 These programs can be stored and supplied to a computer using various types of non-transitory computer readable media. Non-transitory computer readable media include various types of tangible storage media. Examples of non-transitory computer readable media include magnetic recording media (e.g., flexible disks, magnetic tapes, hard disk drives), magneto-optical recording media (e.g., magneto-optical disks), CD-ROMs (Read Only Memory), CD-Rs, CD-R/Ws, and semiconductor memories (e.g., mask ROMs, PROMs (Programmable ROMs), EPROMs (Erasable PROMs), flash ROMs, and RAMs (random access memories)). The programs may also be supplied to a computer by various types of transitory computer readable media. Examples of transitory computer readable media include electrical signals, optical signals, and electromagnetic waves. The transitory computer readable media can supply the programs to a computer via wired communication paths such as electric wires and optical fibers, or wireless communication paths.
10 ディスプレイ部
11 領域特定部
12 映像入力部
13 映像処理部
14 映像表示部
15 劣化情報記憶部
20 視線検出部
21 赤外線発光部
22 撮像部
23 算出部
30 人感センサ
100 表示装置
REFERENCE SIGNS
Claims (4)
前記表示画面において、それぞれ異なる色を表示する複数のサブピクセルを含む画素のブロックごとに、前記画像の表示履歴に基づいた前記画素の劣化度合いを示す劣化情報を記憶する記憶部と、
前記表示画面の所定の領域において、表示品質の低下を抑止する抑止表示により前記画像を表示する表示制御部と、を備え、
前記表示制御部は、前記記憶された劣化情報に基づいて、前記所定の領域におけるブロックのうち劣化度合いが所定値よりも大きいブロックの前記画素の輝度を下げると共に、前記複数のサブピクセルのうち、選択された色のサブピクセルのみにより表示する、
表示装置。 a display screen for displaying an image;
a storage unit configured to store, for each block of pixels on the display screen, the block including a plurality of sub-pixels each displaying a different color, degradation information indicating a degree of degradation of the pixel based on a display history of the image;
a display control unit that displays the image in a suppressed display mode in a predetermined area of the display screen to suppress a deterioration in display quality;
the display control unit reduces the luminance of the pixels in a block in the predetermined region in which a degree of deterioration is greater than a predetermined value based on the stored deterioration information , and displays the block using only subpixels of a selected color among the plurality of subpixels .
Display device.
請求項1に記載の表示装置。 The display control unit adjusts the luminance of the pixels in the blocks based on the deterioration information so that the deterioration degrees of the blocks in the predetermined region are balanced.
The display device according to claim 1 .
請求項1または2に記載の表示装置。 The display control unit switches the selected color depending on a time or timing of display.
The display device according to claim 1 .
前記表示画面において、それぞれ異なる色を表示する複数のサブピクセルを含む画素のブロックごとに、前記画像の表示履歴に基づいた前記画素の劣化度合いを示す劣化情報を記憶し、
前記表示画面の所定の領域において、表示品質の低下を抑止する抑止表示により前記画像を表示し、
前記抑止表示による表示制御において、前記記憶された劣化情報に基づいて、前記所定の領域におけるブロックのうち劣化度合いが所定値よりも大きいブロックの前記画素の輝度を下げると共に、前記複数のサブピクセルのうち、選択された色のサブピクセルのみにより表示する、
表示装置の制御方法。 A method for controlling a display device that displays an image on a display screen, comprising the steps of:
storing, for each block of pixels on the display screen, the block including a plurality of sub-pixels each displaying a different color, degradation information indicating a degree of degradation of the pixel based on a display history of the image;
displaying the image in a suppressed display mode in a predetermined area of the display screen to suppress a deterioration in display quality;
In the display control by the suppressed display, the luminance of the pixels of the blocks in the predetermined region , the blocks having a degree of deterioration greater than a predetermined value, is reduced based on the stored deterioration information, and the blocks are displayed only by subpixels of a selected color among the plurality of subpixels .
A method for controlling a display device.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020207545A JP7547983B2 (en) | 2020-12-15 | 2020-12-15 | Display device and control method thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020207545A JP7547983B2 (en) | 2020-12-15 | 2020-12-15 | Display device and control method thereof |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022094586A JP2022094586A (en) | 2022-06-27 |
JP7547983B2 true JP7547983B2 (en) | 2024-09-10 |
Family
ID=82162436
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020207545A Active JP7547983B2 (en) | 2020-12-15 | 2020-12-15 | Display device and control method thereof |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7547983B2 (en) |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001013914A (en) | 1999-06-30 | 2001-01-19 | Mitsubishi Electric Corp | Image display device |
JP2002123212A (en) | 2000-10-16 | 2002-04-26 | Nec Corp | Picture display device and its driving method |
JP2002287726A (en) | 2001-03-22 | 2002-10-04 | Fujitsu Ltd | Method of displaying image, image display device, computer program and recording medium |
JP2003333175A (en) | 2002-05-17 | 2003-11-21 | Nec Corp | Mobile telephone set provided with screen saver function |
JP2005037783A (en) | 2003-07-17 | 2005-02-10 | Matsushita Electric Ind Co Ltd | Full color el display controller with monochromatic mode, full color el display loading it thereon, and method for suppressing color drift |
JP2005202050A (en) | 2004-01-14 | 2005-07-28 | Pioneer Plasma Display Corp | Display device and display method |
JP2010102022A (en) | 2008-10-22 | 2010-05-06 | Lg Display Co Ltd | Oled display |
JP2014026003A (en) | 2012-07-24 | 2014-02-06 | Sony Corp | Display device, image processor, and image processing method |
JP2017090689A (en) | 2015-11-11 | 2017-05-25 | 株式会社明電舎 | Screen image persistence preventing device, screen image persistence preventing method and screen image persistence preventing program |
WO2018110056A1 (en) | 2016-12-14 | 2018-06-21 | シャープ株式会社 | Light source control device, display device, image processing device, method for controlling light source control device, and control program |
WO2019229906A1 (en) | 2018-05-30 | 2019-12-05 | 株式会社ソニー・インタラクティブエンタテインメント | Image generation device, image display system, image generation method, and computer program |
WO2020049838A1 (en) | 2018-09-07 | 2020-03-12 | ソニー株式会社 | Information processing device, information processing method, and program |
-
2020
- 2020-12-15 JP JP2020207545A patent/JP7547983B2/en active Active
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001013914A (en) | 1999-06-30 | 2001-01-19 | Mitsubishi Electric Corp | Image display device |
JP2002123212A (en) | 2000-10-16 | 2002-04-26 | Nec Corp | Picture display device and its driving method |
JP2002287726A (en) | 2001-03-22 | 2002-10-04 | Fujitsu Ltd | Method of displaying image, image display device, computer program and recording medium |
JP2003333175A (en) | 2002-05-17 | 2003-11-21 | Nec Corp | Mobile telephone set provided with screen saver function |
JP2005037783A (en) | 2003-07-17 | 2005-02-10 | Matsushita Electric Ind Co Ltd | Full color el display controller with monochromatic mode, full color el display loading it thereon, and method for suppressing color drift |
JP2005202050A (en) | 2004-01-14 | 2005-07-28 | Pioneer Plasma Display Corp | Display device and display method |
JP2010102022A (en) | 2008-10-22 | 2010-05-06 | Lg Display Co Ltd | Oled display |
JP2014026003A (en) | 2012-07-24 | 2014-02-06 | Sony Corp | Display device, image processor, and image processing method |
JP2017090689A (en) | 2015-11-11 | 2017-05-25 | 株式会社明電舎 | Screen image persistence preventing device, screen image persistence preventing method and screen image persistence preventing program |
WO2018110056A1 (en) | 2016-12-14 | 2018-06-21 | シャープ株式会社 | Light source control device, display device, image processing device, method for controlling light source control device, and control program |
WO2019229906A1 (en) | 2018-05-30 | 2019-12-05 | 株式会社ソニー・インタラクティブエンタテインメント | Image generation device, image display system, image generation method, and computer program |
WO2020049838A1 (en) | 2018-09-07 | 2020-03-12 | ソニー株式会社 | Information processing device, information processing method, and program |
Also Published As
Publication number | Publication date |
---|---|
JP2022094586A (en) | 2022-06-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11226687B2 (en) | System and method for preventing sight deterioration caused by near work with devices with electronic screens | |
US10013952B2 (en) | Adjusting brightness of a display based on an intensity of light reflected by a user's eye | |
US9746918B2 (en) | Eye tracking | |
KR101125113B1 (en) | Display control apparatus and display control method | |
US9913349B2 (en) | Display apparatus and method for controlling region for luminance reduction | |
US9773459B2 (en) | Image display apparatus that has a light emitting unit and method of controlling same | |
KR102142624B1 (en) | Display device | |
KR20170092690A (en) | Head-mounted display apparatus, and display method | |
KR20200130810A (en) | Information processing apparatus, information processing method, and recording medium | |
JPWO2018012334A1 (en) | Visual function inspection and optical characteristic calculation system | |
JP7401013B2 (en) | Information processing device, control device, information processing method and program | |
JP7547983B2 (en) | Display device and control method thereof | |
JP2016021059A (en) | Image processing device, display device, image processing method, and image processing program | |
CN111522431B (en) | Classifying glints using an eye tracking system | |
US11670255B2 (en) | Signal light display determination device, signal light display determination method, and non-transitory computer-readable recording medium | |
US10930244B2 (en) | Data processing systems | |
JP2022094585A (en) | Display device and control method therefor | |
KR102076506B1 (en) | Apparatus and method for controlling brightness of display based on eye tracking | |
US12008977B2 (en) | Personalized display brightness based on pupil size | |
US10522110B1 (en) | Apparatuses, systems, and methods for measuring and adjusting the luminance of a head-mounted display | |
TW202226200A (en) | Amounts of wavelengths of light during periods of time | |
US20230308619A1 (en) | Control device, control method, and control program | |
US20230320582A1 (en) | Visual function examination device, spectacle lens presentation system, printed matter, visual function examination method, spectacle lens presentation method, and computer-readable medium | |
KR20240163645A (en) | Personalized display brightness based on pupil size | |
CN115617150A (en) | Micro-based energy consumption saving method and system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230929 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240510 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240521 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240719 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240730 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240812 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7547983 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |