Nothing Special   »   [go: up one dir, main page]

JP5521991B2 - Stereoscopic image display device - Google Patents

Stereoscopic image display device Download PDF

Info

Publication number
JP5521991B2
JP5521991B2 JP2010256027A JP2010256027A JP5521991B2 JP 5521991 B2 JP5521991 B2 JP 5521991B2 JP 2010256027 A JP2010256027 A JP 2010256027A JP 2010256027 A JP2010256027 A JP 2010256027A JP 5521991 B2 JP5521991 B2 JP 5521991B2
Authority
JP
Japan
Prior art keywords
parallax
image
amount
unit
observer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010256027A
Other languages
Japanese (ja)
Other versions
JP2012109727A5 (en
JP2012109727A (en
Inventor
芳知 中村
裕信 安井
宣比古 山岸
雅人 長沢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2010256027A priority Critical patent/JP5521991B2/en
Publication of JP2012109727A publication Critical patent/JP2012109727A/en
Publication of JP2012109727A5 publication Critical patent/JP2012109727A5/ja
Application granted granted Critical
Publication of JP5521991B2 publication Critical patent/JP5521991B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Stereoscopic And Panoramic Photography (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

この発明は、立体映像をなす一対の画像を入力し、前記一対の画像を補正して表示する立体画像表示装置に関する。   The present invention relates to a stereoscopic image display apparatus that inputs a pair of images forming a stereoscopic video and corrects and displays the pair of images.

近年、観察者が擬似的に立体感を得るための画像表示技術として、両眼視差を利用した立体画像表示技術が多く提案されている。これは、3次元空間を左眼で見た映像と右眼で見た映像をそれぞれ観察者の左右眼に見せることによって、擬似的に奥行き感を誘発する技術である。   In recent years, many stereoscopic image display techniques using binocular parallax have been proposed as an image display technique for an observer to obtain a stereoscopic effect in a pseudo manner. This is a technique for inducing a sense of depth in a pseudo manner by showing an image viewed with the left eye and an image viewed with the right eye to the left and right eyes of an observer, respectively.

観察者の左右眼に異なる映像を見せるための技術として、左眼用画像と右眼用画像を時間的に交互に切り替えてディスプレイに表示すると同時に、画像が切り替わるタイミングに同期して左右それぞれの視界を閉じる眼鏡を用いて左右の視界を時間的に分離する方式や、ディスプレイの前面にディスプレイに表示された画像の表示角を制限するバリアやレンズを用いることで左右眼それぞれに分離して左眼用画像と右眼用画像を見せる方式など、様々な方式が提案されている。   As a technique for showing different images to the left and right eyes of the observer, the left eye image and the right eye image are alternately switched in time and displayed on the display, and at the same time, the left and right fields of view are synchronized with the timing of the image switching. The left eye can be separated into the left and right eyes by separating the left and right fields of view temporally using glasses, or by using a barrier or lens that limits the display angle of the image displayed on the front of the display. Various schemes have been proposed, such as a scheme for displaying a commercial image and a right-eye image.

これらのような方式を用いた立体画像表示装置においては、観察者が注視している物体が飛び出した点(結像する点)に目の輻輳角を合わせながら、ディスプレイ表面にピント(眼の焦点調節)を合わせるという、輻輳と調節の不整合により、飛び出し量が大きすぎると目の疲れを誘発するという問題点がある。また、観察者とディスプレイの表示面との距離や、観察者の視力の個人差によって、観察者にとって2つの画像が1つに見える融合が得やすい好適な視差が異なる。これにより条件の違いによって融合が得にくく、眼の疲れを誘発するという問題点がある。   In a stereoscopic image display device using such a method, the focus is adjusted to the display surface while adjusting the convergence angle of the eye to the point where the object being watched by the observer jumps out (the point where the image is formed). There is a problem that eye strain is induced if the amount of protrusion is too large due to the mismatch between the convergence and the adjustment. In addition, a suitable parallax that makes it easy for the observer to obtain a fusion in which two images look like one differs depending on the distance between the observer and the display surface of the display and individual differences in the visual acuity of the observer. As a result, there is a problem that fusion is difficult to obtain due to a difference in conditions and induces eye fatigue.

このような眼の疲れを誘発する問題に対して、異なる視差に対応する複数の視点画像をもとに表示された立体画像を表示して、利用者自身が好む立体感になったときの利用者からの応答を取得し、あるいはその応答結果や利用者の年齢、車に酔いやすいかなど利用者への問診の応答結果に基づいて利用者ごとの視差量データを特定することで、利用者の視差量データに基づいて立体画像データから異なる視差に対応する複数の視点画像を取得する方法が開示されている。(例えば、特許文献1参照)。   For the problem that induces fatigue of the eyes, use when the stereoscopic image displayed based on multiple viewpoint images corresponding to different parallax is displayed and the user feels the stereoscopic effect By acquiring the response from the user, or by specifying the parallax data for each user based on the response result, the user's age, whether the car is likely to get drunk, etc. Discloses a method for acquiring a plurality of viewpoint images corresponding to different parallaxes from stereoscopic image data based on the parallax amount data. (For example, refer to Patent Document 1).

特開平2004−289527号公報(第3頁、第4―5図)Japanese Unexamined Patent Publication No. 2004-289527 (page 3, FIGS. 4-5)

しかしながら、表示する映像がシーンチェンジのように視差量が急激に変化する画像を視聴するような場合、利用者がその変化に対応して立体視を得られるかは個人によって差が生じる。このように、視差量が急激に変化する画像を含む映像を視聴するには、特許文献1に開示された方法で利用者自身が好む立体感になったときの利用者からの応答結果や、利用者の年齢、車に酔いやすいかなど問診の応答結果から特定する視差量データでは、本来その利用者にとって好適な視差に調整するには不十分であった。   However, when viewing an image in which the amount of parallax changes abruptly, such as a scene change, there is a difference depending on whether the user can obtain a stereoscopic view in response to the change. In this way, in order to view a video including an image in which the amount of parallax changes rapidly, a response result from the user when a stereoscopic effect that the user himself prefers by the method disclosed in Patent Document 1, The parallax amount data specified from the response result of the inquiry such as the age of the user and whether the car is likely to get drunk is insufficient to adjust the parallax to be suitable for the user.

この発明は、上述のような課題を解消するためになされたもので、視差量が急激に変化する画像を含む立体映像を観察者に好適な視差量に調整しうる観察者個々の視差特性データに基づいて、入力される立体映像の視差を調整する立体画像表示装置を得ることを目的とする。   The present invention has been made in order to solve the above-described problems, and individual observer parallax characteristic data that can adjust a stereoscopic image including an image in which the parallax amount changes rapidly to a parallax amount suitable for the observer. It is an object to obtain a stereoscopic image display device that adjusts the parallax of an input stereoscopic video based on the above.

この発明に係る立体画像表示装置は、視差量評価画像を用いて観察者の視差特性を計測する視差計測部と、観察者ごとの前記視差計測部の計測結果、観察者条件、及び計測している環境条件を含む視差特性データを格納する視差特性データ格納部と、前記観察者の視差特性データに基づいて視差調整量条件の設定をする視差調整量条件設定部と、入力される立体映像から画像視差量を算出する画像視差算出部と、前記画像視差算出部で算出された画像視差量に基づいてフレーム間の視差変化量を算出する視差変化量算出部と、前記視差調整量条件と前記視差変化量とから視差調整量を算出する視差調整量算出部と、前記視差調整量に基づいて入力される立体映像の視差を調整する画像生成部と、前記画像生成部で調整された映像を表示する表示部とを備え、視差計測部は、前記観察者の分離開始視差を評価する分離開始視差評価部と前記観察者の融合開始視差を評価する融合開始視差評価部を有するようにしたものである。   The stereoscopic image display device according to the present invention is configured to measure a parallax measurement unit that measures a parallax characteristic of an observer using a parallax amount evaluation image, a measurement result of the parallax measurement unit for each observer, an observer condition, and a measurement A parallax characteristic data storage unit that stores parallax characteristic data including environmental conditions, a parallax adjustment amount condition setting unit that sets a parallax adjustment amount condition based on the observer's parallax characteristic data, and an input stereoscopic video An image parallax calculation unit that calculates an image parallax amount, a parallax change amount calculation unit that calculates a parallax change amount between frames based on the image parallax amount calculated by the image parallax calculation unit, the parallax adjustment amount condition, The parallax adjustment amount calculation unit that calculates the parallax adjustment amount from the parallax change amount, the image generation unit that adjusts the parallax of the stereoscopic video input based on the parallax adjustment amount, and the video adjusted by the image generation unit Table to display And a section, the parallax measuring unit is obtained to have a fusion initiation parallax evaluation unit for evaluating the fusion start disparity of the observer and the separation start disparity evaluation unit for evaluating the separation start disparity of the observer.

この発明は、観察者ごとの視差特性、観察者条件、及び環境条件を含む視差特性データに基づいて、入力される立体映像の視差を調整することで、より観察者にとって好適な視差変化量に調整された映像を観察者に提供できるという効果を奏する。   The present invention adjusts the parallax of the input stereoscopic video based on the parallax characteristic data including the parallax characteristic for each observer, the observer condition, and the environmental condition, thereby making the parallax change amount more suitable for the observer. The adjusted image can be provided to the observer.

本発明の実施の形態1に係る立体画像表示装置を示すブロック図である。It is a block diagram which shows the three-dimensional image display apparatus which concerns on Embodiment 1 of this invention. 画面の手前に飛び出すときの画像と目の位置関係を示す図である。It is a figure which shows the positional relationship of an image and eyes when it jumps out before the screen. 画面の奥に引き込むときの画像と目の位置関係を示す図である。It is a figure which shows the positional relationship between an image and eyes when drawing in the back of a screen. 融合開始視差計測を示す図である。It is a figure which shows a fusion start parallax measurement. 融合開始視差分布と累積頻度比を示す図である。It is a figure which shows a fusion start parallax distribution and cumulative frequency ratio. 分離開始視差計測を示す図である。It is a figure which shows a separation start parallax measurement. 分離開始視差分布と累積頻度比を示す図である。It is a figure which shows a separation start parallax distribution and cumulative frequency ratio. 本発明の実施の形態1に係る融合限界評価の画像の例を示す図である。It is a figure which shows the example of the image of the fusion limit evaluation which concerns on Embodiment 1 of this invention. 本発明の実施の形態1に係る分離限界評価の画像の例を示す図である。It is a figure which shows the example of the image of the separation limit evaluation which concerns on Embodiment 1 of this invention. 本発明の実施の形態1に係る融合分離時間評価の画像の例を示す図である。It is a figure which shows the example of the image of fusion separation time evaluation which concerns on Embodiment 1 of this invention. 融合開始範囲と分離観察範囲の関係を示す図である。It is a figure which shows the relationship between a fusion start range and a separation observation range. 画像内の好適な視差範囲を示す図である。It is a figure which shows the suitable parallax range in an image. 融合開始範囲と分離観察範囲の関係を示す図である。It is a figure which shows the relationship between a fusion start range and a separation observation range. 本発明の実施の形態2に係る立体画像表示装置を示すブロック図である。It is a block diagram which shows the three-dimensional image display apparatus which concerns on Embodiment 2 of this invention.

実施の形態1
まず本発明の実施の形態1に係る立体画像表示装置について概要を説明する。図1は、本発明の実施の形態1に係る立体画像表示装置を示すブロック図である。本発明の実施の形態1に係る立体画像表示装置において、画像視差算出部1は、入力される立体映像から画像視差量を算出する。ここで、入力される立体映像は、放送や映像再生装置などから入力される映像ソースである。また、画像視差量とは立体のオブジェクトの左眼用画像及び右眼用画像の同じ点の画素のシフト量によって得ることができる。
Embodiment 1
First, the outline of the stereoscopic image display apparatus according to Embodiment 1 of the present invention will be described. FIG. 1 is a block diagram showing a stereoscopic image display apparatus according to Embodiment 1 of the present invention. In the stereoscopic image display apparatus according to Embodiment 1 of the present invention, the image parallax calculation unit 1 calculates the image parallax amount from the input stereoscopic video. Here, the input stereoscopic video is a video source input from a broadcast or a video playback device. Further, the image parallax amount can be obtained from the shift amount of the pixel at the same point in the left-eye image and the right-eye image of the three-dimensional object.

視差変化量算出部2は、フレーム間での画像視差量の変化量を算出し、視差調整量算出部3は、視差変化量算出部2の算出結果を視差調整量条件設定部4から供給される観察者の視差調整量条件に基づいて視差の調整量を算出する。画像生成部20は、入力される立体映像を視差調整量算出部3の算出された視差の調整量に基づいて画像を生成し、表示部100が画像生成部20で生成された画像を表示する。   The parallax change amount calculation unit 2 calculates the change amount of the image parallax amount between frames, and the parallax adjustment amount calculation unit 3 is supplied with the calculation result of the parallax change amount calculation unit 2 from the parallax adjustment amount condition setting unit 4. The parallax adjustment amount is calculated based on the parallax adjustment amount condition of the observer. The image generation unit 20 generates an image of the input stereoscopic video based on the parallax adjustment amount calculated by the parallax adjustment amount calculation unit 3, and the display unit 100 displays the image generated by the image generation unit 20. .

視差量評価画像格納部8には観察者の視差特性として融合開始視差及び分離開始視差を計測するときに用いる評価画像が格納されている。また、好適視差量評価画像格納部9には観察者の視差特性として融合分離時間を計測するときに用いる評価画像が格納されている。視差計測部10は、観察者の計測項目に応じて視差量評価画像格納部8及び好適視差量評価画像格納部9から評価画像を選択して表示部100を通じて観察者に表示する。ユーザー操作部14は観察者が計測のときに表示部100で表示された評価画像を観察して応答する際に用いる入力手段となる。この応答結果を受けて、視差計測部10は視差特性データ格納部5に被試験者である観察者の視差特性を格納する。   The parallax amount evaluation image storage unit 8 stores an evaluation image used when measuring the fusion start parallax and the separation start parallax as the parallax characteristics of the observer. The preferred parallax amount evaluation image storage unit 9 stores an evaluation image used when measuring the fusion separation time as the parallax characteristic of the observer. The parallax measuring unit 10 selects an evaluation image from the parallax amount evaluation image storage unit 8 and the preferred parallax amount evaluation image storage unit 9 according to the measurement item of the observer, and displays the evaluation image to the observer through the display unit 100. The user operation unit 14 serves as an input unit used when the observer observes and responds to the evaluation image displayed on the display unit 100 during measurement. In response to the response result, the parallax measurement unit 10 stores the parallax characteristics of the observer who is the person under test in the parallax characteristic data storage unit 5.

観察者条件入力部6は、ユーザー操作部14から入力される観察者の年齢、性別、乱視及び斜位などを含む視力、テレビ視聴時は矯正眼鏡を外すかなど観察者に関する情報を視差特性データ格納部5に格納する。この際、表示部100にこれらの質問内容を表示することで観察者に分かりやすく入力させることができる。また、観察者に関する情報だけでなく、視差計測の試験を行ったときの明るさや観察距離などの周辺の試験環境、視聴するときの明るさや観察距離などの周辺の試験環境についてもユーザー操作部14から入力された情報を視差特性データ格納部5に格納する。   The observer condition input unit 6 receives information about the observer such as age, sex, astigmatism and astigmatism input from the user operation unit 14, and information on the observer such as whether to remove corrective glasses when watching TV. Store in the storage unit 5. At this time, the contents of these questions can be displayed on the display unit 100 so that the observer can input the information easily. Further, not only information related to the observer, but also the peripheral test environment such as the brightness and the observation distance when performing the parallax measurement test, and the peripheral test environment such as the brightness and the observation distance when viewing the user operation unit 14 Is stored in the parallax characteristic data storage unit 5.

視差特性データ格納部5は、複数の観察者の視差特性、観察者に関する情報、試験環境、及び視聴環境を格納し、ユーザー選択部7によってこれから観察する観察者に関する視差特性データを選択して該当する観察者の視差特性データ、試験環境、及び試験環境を視差調整量条件設定部4に供給する。ここで、ユーザー選択部7は視差特性データを格納する際に、観察者に対応付ける為に予めユーザー番号やマーク記号決めたものを表示部100に表示し、観察者にユーザー操作部14を用いて入力することで対応付けた視差特性データを確定することができる。   The parallax characteristic data storage unit 5 stores the parallax characteristics of a plurality of observers, information about the observers, the test environment, and the viewing environment, and the user selection unit 7 selects the parallax characteristic data about the observers to be observed from now on. The parallax characteristic data, the test environment, and the test environment of the observer to be supplied are supplied to the parallax adjustment amount condition setting unit 4. Here, when storing the parallax characteristic data, the user selection unit 7 displays on the display unit 100 a user number or a mark symbol determined in advance so as to be associated with the observer, and uses the user operation unit 14 for the observer. By inputting, the associated parallax characteristic data can be determined.

視差調整量条件設定部4は、視差特性データ格納部5から供給されるデータに基づいて視差調整量条件を設定する。これによって観察者の特性と視聴環境に応じて設定された視差調整量条件を用いて、入力される立体映像の調整をして表示することが可能となる。   The parallax adjustment amount condition setting unit 4 sets the parallax adjustment amount condition based on the data supplied from the parallax characteristic data storage unit 5. Accordingly, it is possible to adjust and display the input stereoscopic video using the parallax adjustment amount condition set according to the characteristics of the observer and the viewing environment.

次に、立体映像を用いた立体視について説明する。図2はディスプレイに表示される左眼用画像及び右眼用画像と、ディスプレイから観察距離Z離れて観察する観察者の眼との関係を示している。図2のように左眼用画像の点から観察者の左眼の位置を結ぶ直線上と、左眼用画像の点から観察者の右眼の位置を結ぶ直線上との交点について、その角度を輻輳角αとする。また、両眼でディスプレイ面の1点を見たときの両眼の視線が交差するときの輻輳角をβとした場合、輻輳角αが輻輳角βより角度が大きい場合は、交点がディスプレイ面と観察者の間に存在し、観察者がその融合が得られたときはその表示物(以下、オブジェクト)がディスプレイから飛び出したようにみえる。このときのディスプレイ面から交点までの距離を飛び出し量といい、視差角はα−βとなる。   Next, stereoscopic viewing using stereoscopic video will be described. FIG. 2 shows the relationship between the image for the left eye and the image for the right eye displayed on the display, and the eyes of the observer observing at an observation distance Z away from the display. As shown in FIG. 2, the angle of the intersection between a straight line connecting the position of the left eye of the observer from the point of the image for the left eye and a straight line connecting the position of the right eye of the observer to the point of the image for the left eye Is the convergence angle α. Further, when the convergence angle when the eyes of both eyes intersect when viewing one point on the display surface with both eyes is β, and the convergence angle α is larger than the convergence angle β, the intersection is the display surface. When the observer obtains the fusion, the display object (hereinafter referred to as an object) appears to jump out of the display. The distance from the display surface to the intersection at this time is called the pop-out amount, and the parallax angle is α−β.

図3は、図2と同様にディスプレイに表示される左眼用画像と右眼用画像と、ディスプレイから観察距離Z離れて観察する観察者の眼との関係を示している。このように輻輳角αが輻輳角βより角度が小さい場合は、交点が観察者にとってディスプレイ面より奥に存在することとなり、観察者がその融合が得られたときはそのオブジェクトがディスプレイより引き込んだようにみえる。このときのディスプレイ面から交点までの距離を引き込み量といい、視差角はβ−αとなる。   FIG. 3 shows the relationship between the image for the left eye and the image for the right eye displayed on the display as in FIG. 2 and the eyes of the observer observing at an observation distance Z away from the display. In this way, when the convergence angle α is smaller than the convergence angle β, the intersection point exists behind the display surface for the observer, and when the observer obtains the fusion, the object is drawn from the display. Looks like. The distance from the display surface to the intersection at this time is called the pull-in amount, and the parallax angle is β-α.

このように、立体画像と立体視したときの飛び出し量は、画像視差量と観察距離と観察者の眼の間隔が大きく関係している。   Thus, the amount of pop-up when viewing a stereoscopic image and a stereoscopic view is greatly related to the amount of image parallax, the observation distance, and the distance between the eyes of the observer.

ここで、引用文献1のように観察者自身が好適な視差量を選択する場合に、試験映像もしくは画像の選択を誤ると正確に計測することが困難であることを示す試験結果を示す。図4は、輻輳角αが輻輳角βに対して充分に大きい視差角になるように画像視差量を充分に大きくした左眼用画像及び右眼用画像から、徐々に画像視差量が小さくなるように表示させて評価する評価画像の例を示す。   Here, a test result indicating that it is difficult to accurately measure a test video or an image when the observer himself selects a suitable parallax amount as in the cited document 1 is shown. FIG. 4 shows that the image parallax amount gradually decreases from the left-eye image and the right-eye image in which the image parallax amount is sufficiently increased so that the convergence angle α is sufficiently large with respect to the convergence angle β. An example of an evaluation image to be displayed and evaluated is shown.

図5は、図4のような評価画像を用いて観察者が融合したと感じて応答する評価試験について、被験者を20代から60代までの男女36名としたときの結果であり、横軸は視差角(融合時の輻輳角αと画面上の輻輳角βの差)を示し、縦軸はその視差角が融合開始ポイントとした人数を表している。なお、この計測の観察条件は、ディスプレイとして用いた立体テレビが55型の液晶立体画像表示装置であり、観察距離が画面高さの3倍(205[cm])、目の間隔は平均値の6.5[cm]としている。図5の結果では視差角が4[deg]付近が多いことを示している。   FIG. 5 shows the results of an evaluation test in which an observer feels that the observer has fused using the evaluation image as shown in FIG. 4 and the subjects are 36 men and women from their 20s to 60s. Indicates the parallax angle (the difference between the convergence angle α at the time of fusion and the convergence angle β on the screen), and the vertical axis represents the number of persons whose fusion angle is the fusion start point. The observation conditions for this measurement are: a stereoscopic television used as a display is a 55-inch liquid crystal stereoscopic image display device, the observation distance is three times the screen height (205 [cm]), and the eye interval is an average value. It is set to 6.5 [cm]. The result of FIG. 5 indicates that the parallax angle is large in the vicinity of 4 [deg].

図6は、輻輳角αが輻輳角βに対して充分に小さい視差角になるように画像視差量を小さくした左眼用画像及び右眼用画像から、徐々に画像視差量を大きくなるように表示させて評価する評価画像の例を示す。図7は、図6のような評価画像を用いて観察者が融合が分離したと感じて応答する評価試験について、図5の被試験者と同じ被試験者で行ったときの結果であり、横軸は視差角を示し、縦軸は頻度を示す。この結果から、この実験を行った観察条件では、分離する視差角は、ほとんどの被験者が11.5[deg]以上であることを示している。   FIG. 6 shows that the image parallax amount is gradually increased from the left-eye image and the right-eye image in which the image parallax amount is reduced so that the convergence angle α is sufficiently small with respect to the convergence angle β. The example of the evaluation image displayed and evaluated is shown. FIG. 7 is a result when an evaluation test in which the observer feels that the fusion has separated using the evaluation image as shown in FIG. 6 is performed by the same test subject as the test subject of FIG. The horizontal axis indicates the parallax angle, and the vertical axis indicates the frequency. From this result, it is shown that the parallax angle to be separated is 11.5 [deg] or more for most subjects under the observation conditions in which this experiment was performed.

これら図5及び図7の結果から、提示される左右画像の視差量の初期条件と変化方向によって、左右の画像が融合して立体に見える視差限界の視差量が変化することがわかる。同様に、画面の奥にて融合する画像の融合限界も、提示される左右画像の初期条件と視差の変化方向によって、融合開始、分離開始の視差量が変化する。   From these results of FIGS. 5 and 7, it can be seen that the parallax limit at the parallax limit in which the left and right images are merged and the stereoscopic image changes depending on the initial condition and change direction of the parallax amount of the presented left and right images. Similarly, the fusion limit of images to be merged at the back of the screen also changes the amount of parallax at the start of fusion and separation according to the initial conditions of the presented left and right images and the change direction of the parallax.

図8は上述の試験結果によって得られた融合開始視差によってできる融合開始ポジションと分離観察視差によってできる分離開始ポジションとの関係を示す。このように、融合開始ポジションは分離開始ポジションの内側になる。これは、視差の変化が大きい方から小さくなっていく映像については、分離開始視差の範囲であっても融合開始視差の範囲でない為に観察者は融合を得られないこととなる。   FIG. 8 shows the relationship between the fusion start position created by the fusion start parallax obtained from the above test results and the separation start position created by the separated observation parallax. Thus, the fusion start position is inside the separation start position. This is because, with respect to an image whose parallax changes from the larger one, the observer cannot obtain the fusion because it is not within the fusion start parallax range even in the separation start parallax range.

つまり、実際の映像から考えると、シーンチェンジや2次元から3次元表示に切り替えたときなどの瞬間的な3次元表示に対する限界値としては、融合開始視差が示している範囲とするのが望ましい。   In other words, from the viewpoint of actual video, it is desirable that the limit value for instantaneous 3D display, such as when changing scenes or switching from 2D to 3D display, is within the range indicated by the fusion start parallax.

また、分離開始視差は、3次元表示を見ているときに、オブジェクトが徐々に遠くへ引き込んだり近くへ飛び出したりするときの限界値であり、これを超えると時間をかけても立体視を得ることが出来なくなる最大の限界値として設定することで、観察者に立体視を提供し続けることが可能となる。   In addition, the separation start parallax is a limit value when the object gradually draws far away or jumps out near when viewing the three-dimensional display, and if it exceeds this, a stereoscopic view is obtained over time. It is possible to continue providing stereoscopic vision to the observer by setting it as the maximum limit value that cannot be achieved.

次に、一枚の立体画像内で異なる視差の表示物を用いて、観察者に好適な視差を応答させる方法について説明する。このような試験であっても、全ての表示物において観察者が立体視を得てしまったあとでは、画像が分離しにくいために、観察者にとって好適なポジションを選択することが難しくなる。   Next, a method for responding a suitable parallax to the observer using a display object with different parallax in one stereoscopic image will be described. Even in such a test, it is difficult to select a position suitable for the observer because the images are difficult to separate after the observer has obtained stereoscopic vision in all the display objects.

つまり、融合した状態から分離する方向に画像視差量を大きくする視差量評価画像を表示して被験者が立体視を得られるとした視差量は、融合開始視差よりも大きい視差量を含む場合がある為、その視差量に調整したとしても、別の違う映像では立体視が得られない視差量であることとなる。   In other words, the parallax amount that the subject can obtain stereoscopic vision by displaying the parallax amount evaluation image that increases the image parallax amount in the direction of separating from the fused state may include a larger parallax amount than the fusion start parallax. For this reason, even if the parallax amount is adjusted, the parallax amount cannot be stereoscopically obtained in another different video.

また、この場合は、画面内の複数の異なる視差の対象物から融合が得られた時間を示す融合分離時間を計測することで、画像の見易さの判断とすることが可能になる。画面内の複数点の観察ポイントを見るためにかかった時間が長い場合は、静止画像で融合が得られていても動画像では立体に見える前に画像が変わってしまうことになる。   Further, in this case, it is possible to determine the ease of viewing the image by measuring the fusion separation time indicating the time when fusion is obtained from a plurality of objects having different parallaxes in the screen. If it takes a long time to see a plurality of observation points on the screen, the image will change before it looks stereoscopic in the moving image even if the fusion is obtained in the still image.

図9は、融合分離時間評価から得られる画像内好適範囲の例を示す図であって、被験者aによる画面内好適範囲の計測結果を図9(a)、被験者bによる画面内好適範囲の計測結果を図9(b)として示す。ここで画面内好適範囲は、観察者が好適と応答した飛び出し量と引き込み量との範囲を示すものである。このように、観察者によっては画面内好適範囲が融合ポジションと分離ポジションに関係ない場合があるので、観察者にとっての画面内好適範囲を求める場合は、融合ポジションと分離ポジションに関係なく求めることが望ましい。   FIG. 9 is a diagram illustrating an example of a preferable range in the image obtained from the fusion separation time evaluation. FIG. 9A shows a measurement result of the preferable range in the screen by the subject a, and measurement of the preferable range in the screen by the subject b. A result is shown as FIG.9 (b). Here, the preferable range in the screen indicates the range of the pop-out amount and the pull-in amount that the observer responds as preferable. Thus, depending on the observer, the preferred range in the screen may not be related to the fusion position and the separation position. Therefore, when obtaining the preferred range within the screen for the observer, it may be obtained regardless of the fusion position and the separation position. desirable.

そこで、これらのことを踏まえて、本発明の実施の形態に係る視差計測部10における視差特性の計測について説明する。図10は、観察者個々の視差特性として融合開始視差を計測する融合開始視差評価部11にて使用するときの視差量評価画像格納部8に格納された評価画像の例を示す。評価画像が、図10(a)のように画像視差量が非常に大きな表示条件から、図10(b)のように所定の速さで画像視差量を小さくするように表示し、観察者がその表示された画像を観察して画像が1つに融合して見えたときにユーザー操作部14を介して画像が1つに融合して見えた旨を視差計測部10に知らせることで、融合開始視差評価部11は観察者の融合開始視差をそのときの画像視差量として視差特性データ格納部5に格納する。たとえば、リモコンにより融合したポジションにてボタン操作により入力をする。図10のような評価画像を用いてこの計測を行うことにより、観察者の融合開始の飛び出し条件を確定することができる。   Based on these facts, the measurement of the parallax characteristic in the parallax measurement unit 10 according to the embodiment of the present invention will be described. FIG. 10 shows an example of an evaluation image stored in the parallax amount evaluation image storage unit 8 when used in the fusion start parallax evaluation unit 11 that measures the fusion start parallax as individual parallax characteristics of the observer. The evaluation image is displayed so as to reduce the image parallax amount at a predetermined speed as shown in FIG. 10B from the display condition where the image parallax amount is very large as shown in FIG. When the displayed image is observed and the images are merged into one, the parallax measurement unit 10 is informed through the user operation unit 14 that the images have been merged into one. The start parallax evaluation unit 11 stores the fusion start parallax of the observer in the parallax characteristic data storage unit 5 as the image parallax amount at that time. For example, input is performed by operating a button at a position fused by a remote controller. By performing this measurement using the evaluation image as shown in FIG. 10, it is possible to determine the pop-out condition for the observer's start of fusion.

図10では、飛び出し側の融合開始視差を計測する為の評価画像を示したが、評価画像の左眼用画像と右眼用画像との位置関係を変更した引き込み用評価画像を用いることで、引き込み側の融合開始視差を計測する計測することができる。   In FIG. 10, the evaluation image for measuring the fusion start parallax on the pop-out side is shown, but by using the pull-in evaluation image in which the positional relationship between the left eye image and the right eye image of the evaluation image is changed, It is possible to measure the fusion start parallax on the drawing side.

これらの計測を行うことにより、観察者が計測を行う観察条件と、観察者の融合開始の飛び出し条件と、引き込み条件を決める。この範囲の視差量を超えると、急激な視差変化では、観察者が立体視を得るまでに時間がかかるために、みやすさ限界として設定値に用いる。具体的には、シーンチェンジや起動時などの限界値条件として用いられる。画像視差算出部で求めた最大視差量や平均視差量が、この融合開始視差を超えた場合は最大視差量を小さくしたり、これにあわせて全体の視差量を小さくする処理を行うことで、急激な視差変化の画像を視聴する場合に観察者が立体視を得られなかったり、観察者が疲労を感じるような無理な視差で表示されることを防ぐことが出来る。   By performing these measurements, the observation conditions for the observer to measure, the pop-up conditions for starting the fusion of the observer, and the pull-in conditions are determined. When the amount of parallax exceeds this range, it takes time for the observer to obtain a stereoscopic view in the case of a sudden parallax change. Specifically, it is used as a limit value condition at the time of scene change or activation. When the maximum parallax amount or the average parallax amount obtained by the image parallax calculation unit exceeds this fusion start parallax, by reducing the maximum parallax amount, or by performing processing to reduce the total parallax amount accordingly, When viewing an image with a sudden parallax change, it is possible to prevent the observer from obtaining stereoscopic vision or being displayed with an excessive parallax so that the observer feels tired.

図11は、観察者個々の視差特性として分離開始視差を計測する分離開始視差評価部12にて使用するときの視差量評価画像格納部8に格納された評価画像の例を示す。評価画像が、図11(a)のように画像視差量がない表示条件から、図11(b)のように所定の速さで画像視差量を大きくするように表示し、観察者がその表示された画像を観察して融合していた画像が分離して見えたときにユーザー操作部14を介して画像が分離して見えた旨を視差計測部10に知らせることで、分離開始視差評価部12は観察者の分離開始視差をそのときの画像視差量として視差特性データ格納部5に格納する。たとえば、リモコンにより融合したポジションにてボタン操作により入力をする。図11のような評価画像を用いてこの計測を行うことにより、観察者が立体視を得られてから、融合の限界値である飛び出しの視差量を確定することができる。   FIG. 11 shows an example of an evaluation image stored in the parallax amount evaluation image storage unit 8 when used in the separation start parallax evaluation unit 12 that measures the separation start parallax as individual parallax characteristics of the observer. The evaluation image is displayed so as to increase the image parallax amount at a predetermined speed as shown in FIG. 11B from the display condition where there is no image parallax amount as shown in FIG. The separation start parallax evaluation unit is notified by notifying the parallax measurement unit 10 that the image has been separated and viewed via the user operation unit 14 when the merged image is observed by observing the obtained image. 12 stores the separation start parallax of the observer in the parallax characteristic data storage unit 5 as the image parallax amount at that time. For example, input is performed by operating a button at a position fused by a remote controller. By performing this measurement using the evaluation image as shown in FIG. 11, the amount of pop-up parallax, which is the fusion limit value, can be determined after the observer obtains a stereoscopic view.

図11では、飛び出し側の分離開始視差を計測する為の評価画像を示したが、評価画像の左眼用画像と右眼用画像との位置関係を変更した引き込み用評価画像を用いることで、引き込み側の分離開始視差を計測する計測することができる。   In FIG. 11, the evaluation image for measuring the separation start parallax on the pop-out side is shown, but by using the pull-in evaluation image in which the positional relationship between the left-eye image and the right-eye image of the evaluation image is changed, It is possible to measure the separation start parallax on the pull-in side.

これらの計測を行うことにより、観察者が計測を行う観察条件と、観察者が立体視を得られてから、融合の限界値である最大の飛び出しと引き込みの視差量を求め、この視差量から、個人の分離限界となる最大視差量を決めることができる。画像視差算出部で求めた最大視差量がこれを超えた場合は、この視差量を超えるところは、立体視が得られないために、視差変化量を止めたり、視差量に制限を設けたり、この最大視差量にあわせて全体の視差量を小さくしたりする処理を行うことで、観察者が立体視を得ることが出来ない無理な視差で表示されることを防ぐことが出来る。   By performing these measurements, the observation conditions under which the observer performs measurements and the observer's stereoscopic vision are obtained. The maximum amount of parallax that becomes the individual separation limit can be determined. When the maximum amount of parallax obtained by the image parallax calculation unit exceeds this, since the stereoscopic view is not obtained where the parallax amount is exceeded, the amount of parallax change is stopped, the amount of parallax is limited, By performing a process of reducing the total amount of parallax in accordance with the maximum amount of parallax, it is possible to prevent the viewer from being displayed with an unreasonable parallax at which the viewer cannot obtain a stereoscopic view.

また、このとき時間と視差量の変化量の関係を求めることにより、飛び出しの時間変化量と引き込みの時間変化量に対する視差の限界値を求めることが出来る。   At this time, by obtaining the relationship between the time and the amount of change in parallax, it is possible to obtain the limit value of parallax with respect to the time change amount of pop-out and the time change amount of pull-in.

具体的には、棒が画面からすこしずつ飛び出したり、固定したカメラの向きを振るパンニングや被写体から遠ざかる引きの映像で徐々に変化したりするような、徐々に飛び出しや引き込み量が大きくなる画像に有効で、目の輻輳の限界に飛び出し量や引き込み量が大きくなりすぎることを防ぐことが出来る。このときの飛び出しの速さや引き込みの速さに応じた視差限界値も用いることが出来る。   Specifically, images with progressively larger amounts of pop-out and pull-in, such as sticks popping out of the screen little by little, or panning with a fixed camera orientation or gradually moving away from the subject. It is effective, and it is possible to prevent the pop-out amount and the pull-in amount from becoming too large at the limit of eye congestion. A parallax limit value corresponding to the speed of pop-out and the speed of pull-in at this time can also be used.

ここで視差量評価画像格納部8において、融合開始視差及び分離開始視差を計測するときに用いる評価画像を複数種類格納し、計測を行う毎に前回と違う評価画像を用いることで観察者が評価画像に対する慣れを抑えることができる。   Here, the parallax amount evaluation image storage unit 8 stores a plurality of types of evaluation images used when measuring the fusion start parallax and the separation start parallax, and the evaluation is performed by the observer by using a different evaluation image each time measurement is performed. You can reduce your familiarity with images.

図12は、観察者個々の視差特性として融合分離時間を計測する融合分離時間評価部13にて使用するときの好適視差量評価画像格納部9に格納された評価画像の例を示す。評価画像が、図12(a)のように複数のオブジェクトを表示し、画像が表示されてから複数個のオブジェクトが立体として認識できた時間を、リモコンによる操作で計測する。   FIG. 12 shows an example of an evaluation image stored in the suitable parallax amount evaluation image storage unit 9 when used in the fusion separation time evaluation unit 13 that measures the fusion separation time as the individual parallax characteristics of the observer. The evaluation image displays a plurality of objects as shown in FIG. 12A, and the time when the plurality of objects can be recognized as a three-dimensional object after the image is displayed is measured by an operation with a remote controller.

また、その画像の視差量情報(最大飛び出し量、最大引き込み量、飛び出し量と引き込み量の差など)とともに視差特性データ格納部5に格納される。具体的には、画像が提示されてから画面内の複数個所の視差の異なる画像を観察し、立体視が得られるとリモコン操作等により、得られた時間を計測する。ここで図12(a)では複数のオブジェクトが2つだが、複数あったほうが定量化しやすいため望ましい。   The parallax characteristic data storage unit 5 stores the parallax amount information (the maximum pop-out amount, the maximum pull-in amount, the difference between the pop-out amount and the pull-in amount, etc.) of the image. Specifically, after the image is presented, images with different parallax are observed at a plurality of locations in the screen, and when stereoscopic vision is obtained, the obtained time is measured by remote control operation or the like. Here, although there are two objects in FIG. 12A, it is desirable to have a plurality of objects because it is easier to quantify.

例えば、視差の範囲(視差量=飛び出し視差+引き込み視差)について、条件の異なる複数段階の視差範囲の画像を提示し、観察者がリモコン操作により、それぞれの視差範囲にて立体視が得られた時間を計測する。視差の範囲(視差量)と融合分離時間との関係は、図13に示すように視差量が大きくなれば融合分離時間は長くなる。この計測により、このグラフを求めることで、1枚の画像内の好適な範囲をもとめることが出来る。   For example, with respect to the parallax range (parallax amount = pop-out parallax + pull-in parallax), images of parallax ranges in a plurality of stages with different conditions are presented, and a stereoscopic view is obtained in each parallax range by the remote controller operation by the observer Measure time. As shown in FIG. 13, the relationship between the parallax range (parallax amount) and the fusion separation time increases as the parallax amount increases. By obtaining this graph by this measurement, a suitable range in one image can be obtained.

尚、融合分離時間を計測するための画像の提示の方法は、図12(b)に示すように、時間でフレームを切り替える画像を表示してもよい。これら画像の融合が得られた時間は、フレーム数でカウントしてもよい。   In addition, as a method of presenting an image for measuring the fusion separation time, as shown in FIG. 12B, an image for switching frames by time may be displayed. The time when the fusion of these images is obtained may be counted by the number of frames.

これにより、一枚の画像内の視差範囲の最適値を求めることが出来、最大飛び出し量と最大引き込み量の差や、平均飛び出し量と最大引き込み量、最大飛び出し量と平均引き込み量、平均飛び出し量と平均引き込み量の差、などの1組の立体画像内の視差の範囲を決めることが出来る。   This makes it possible to determine the optimum value of the parallax range within a single image, the difference between the maximum pop-up amount and the maximum pull-in amount, the average pop-out amount and the maximum pull-in amount, the maximum pop-out amount and the average pull-in amount, and the average pop-out amount. The range of parallax within a set of stereoscopic images, such as the difference in the average pull-in amount and the like, can be determined.

次に本発明の実施の形態1に係る立体画像表示装置において、入力される立体画像を観察者個々の特性に応じて調整して表示部100から表示するまでの詳細な動作を説明する。画像視差算出部1では、左右の画像から画像視差量として、最大の飛び出し量Fmax、最小の飛び出し量Fmin、平均の飛び出し量Fave、最大の引き込み量Rmax、最小の引き込み量Rmin、平均の引き込み量Rave、全体の平均視差量Paveを算出する。   Next, in the stereoscopic image display apparatus according to Embodiment 1 of the present invention, a detailed operation until the input stereoscopic image is adjusted according to the characteristics of each observer and displayed from the display unit 100 will be described. In the image parallax calculation unit 1, as the image parallax amount from the left and right images, the maximum pop-out amount Fmax, the minimum pop-out amount Fmin, the average pop-out amount Fave, the maximum pull-in amount Rmax, the minimum pull-in amount Rmin, and the average pull-in amount Rave and the overall average parallax amount Pave are calculated.

飛び出し量は右眼用画像のオブジェクトが観察者の左眼側にあり、かつ左眼用画像のオブジェクトが観察者の右眼側にある状態であって、最大の飛び出し量Fmaxは画素差が大きいもの、最小の飛び出し量Fminは画素差が一番小さいものとなる。   The pop-out amount is a state in which the object for the right eye image is on the left eye side of the observer and the object for the left eye image is on the right eye side of the observer, and the maximum pop-out amount Fmax has a large pixel difference. The minimum pop-out amount Fmin has the smallest pixel difference.

引き込み量は右眼用画像のオブジェクトが観察者の右眼側にあり、かつ左眼用画像のオブジェクトが観察者の左眼側にある状態であって、最大の引き込み量Rmaxは画素差が大きいもの、最小の引き込み量Rminは画素差が一番小さいものとなる。ただし引き込み量の最大は観察者の目の間隔にも影響する。   The pull-in amount is a state in which the object for the right eye image is on the right eye side of the observer and the object for the left eye image is on the left eye side of the observer, and the maximum pull-in amount Rmax has a large pixel difference. The minimum pull-in amount Rmin has the smallest pixel difference. However, the maximum pull-in amount also affects the distance between the eyes of the observer.

また、飛び出し量と引き込み量は、オブジェクトごとの値であっても、画面内の特定のエリアに区切った場合の値であってもよい。全体の平均は、オブジェクトごとやエリア毎の値から得られる平均値である。最小の飛び出し量Fminと飛び出し量平均Faveは、画像全体が飛び出しているときに用いられる。最小の引き込み量Rminと平均引き込み量Raveも画像全体が引き込んでいるときに用いられる。   Further, the pop-out amount and the pull-in amount may be values for each object or may be values when divided into specific areas on the screen. The overall average is an average value obtained from values for each object and each area. The minimum pop-out amount Fmin and the pop-out amount average Fave are used when the entire image is popping out. The minimum pull-in amount Rmin and average pull-in amount Rave are also used when the entire image is being pulled in.

これらの値それぞれに対して、視差変化量算出部2では、フレーム毎もしくは、数フレーム間隔、もしくは複数フレーム平均の差分を算出する。   For each of these values, the parallax change amount calculation unit 2 calculates a difference for each frame, several frame intervals, or an average of a plurality of frames.

視差調整量算出部3では、視差調整量条件設定部4で設定された視差量制限条件(飛び出し分離開始視差量Lfs、飛び出し融合開始視差量Lff、引き込み分離開始視差量Lrs、引き込み分離開始視差量Lrf、融合分離時間Tfs)に基づき視差調整量を算出する。   In the parallax adjustment amount calculation unit 3, the parallax amount restriction conditions set in the parallax adjustment amount condition setting unit 4 (pop-out separation start parallax amount Lfs, pop-out fusion start parallax amount Lff, pull-in separation start parallax amount Lrs, pull-in separation start parallax amount The amount of parallax adjustment is calculated based on Lrf, fusion separation time Tfs).

たとえば、飛び出し分離開始視差量Lfsをもとに最大の飛び出し量Fmaxに制限をかける。FmaxがLfsを超えたときは、飛び出しが止まる設定とする。また、同様に引き込み分離開始視差量Lrsをもとに引き込み量の最大値Rmaxに制限をかける。これにより、完全に融合しない範囲まで飛び出したり、引き込んだりすることを防ぐ。   For example, the maximum pop-out amount Fmax is limited based on the pop-out separation start parallax amount Lfs. When Fmax exceeds Lfs, it is set to stop popping out. Similarly, the maximum value Rmax of the pull-in amount is limited based on the pull-in separation start parallax amount Lrs. This prevents jumping out and pulling in to a range where it is not completely fused.

また、制限の方法として、平均の飛び出し量Faveが飛び出し融合開始視差量Lffより超えた場合は、飛び出し量を制限し、一律に一定割合、もしくは一定値の減算を行う制御を行うこともできる。また、平均の引き込み量Raveが引き込み分離限界視差量Lrfを超えた場合は、引き込み量に一律に一定割合、もしくは一定値の減算をおこなう。これらの制限は、全体の平均視差量Paveを制限の基準として用いてよい、たとえば、全体の平均視差量Paveが、飛び出し融合限界視差量Lffもしくは引き込み分離限界視差量Lrfよりも大きいときに制限を設けるとよい。   Further, as a limiting method, when the average pop-out amount Fave exceeds the pop-out fusion start parallax amount Lff, it is possible to control the pop-out amount and uniformly subtract a constant rate or a constant value. Further, when the average pull-in amount Rave exceeds the pull-in separation limit parallax amount Lrf, a constant ratio or a constant value is subtracted from the pull-in amount uniformly. These restrictions may use the entire average parallax amount Pave as a reference for restriction, for example, when the overall average parallax amount Pave is larger than the pop-out fusion limit parallax amount Lff or the pull-in separation limit parallax amount Lrf. It is good to provide.

これにより、平均値のみの容易な視差制限処理を設けることが出来る。   Thereby, it is possible to provide an easy parallax restriction process with only an average value.

飛び出し分離開始視差量Lfs、引き込み分離開始視差量Lrsによる制限は、主に静止画を見るときや、画面上から秒単位でゆっくりと飛び出したり、引き込んだりするときの制限値として用いられる。   The limitations based on the pop-out separation start parallax amount Lfs and the pull-in separation start parallax amount Lrs are mainly used as limit values when a still image is viewed or when the pop-up separation start parallax amount Lrs is slowly popped out or pulled in from the screen in seconds.

たとえば、飛び出し融合開始視差量Lffと引き込み融合開始視差量Lrfは、シーンチェンジなどの切り替え時の限界として用いられる。視差変化量算出部で、最大の飛び出し量Fmaxのフレーム間の変化量や、飛び出し量平均Faveのフレーム間の変化量が、飛び出し融合開始視差量Lffを超えた場合や、最大の引き込み量Rmaxや平均の引き込み量Raveのフレーム間の変化量が引き込み分離開始視差量Lrfを超えた場合に制限を設け、急激な変化量が生じないように制御する。   For example, the pop-out fusion start parallax amount Lff and the pull-in fusion start parallax amount Lrf are used as limits at the time of switching such as a scene change. In the parallax change amount calculation unit, when the change amount between frames of the maximum pop-out amount Fmax or the change amount between frames of the pop-out amount average Fave exceeds the pop-out fusion start parallax amount Lff, the maximum pull-in amount Rmax or A restriction is provided when the amount of change between frames of the average pull-in amount Rave exceeds the pull-in separation start parallax amount Lrf, and control is performed so that a sudden change amount does not occur.

また、融合分離時間Tfsは、立体動画を見るときの好適視差設定指標として用いる。前述した、立体視が得られる時間計測より、一定時間よりも速く立体視が得られる条件を選択し、その条件によりフレーム毎の最大の飛び出し量Fmax、最大の引き込み量Rmax、平均の飛び出し量Fave、平均の引き込み量Rave、全体の平均視差量Paveが一定視差量を越えないように、それぞれに制限を設ける。例えば、最大の飛び出し量Fmaxと最大の引き込み量Rmaxとの差分絶対値、若しくは最大の飛び出し量Fmaxと全体の平均視差量Paveとの差分絶対値が好適視差設定より大きくならないように制限を加える。この融合分離時間は、フレーム間の視差設定にも用いてよい。   The fusion separation time Tfs is used as a preferred parallax setting index when viewing a stereoscopic video. From the above-described time measurement for obtaining stereoscopic vision, conditions for obtaining stereoscopic vision faster than a predetermined time are selected, and the maximum pop-out amount Fmax, maximum pull-in amount Rmax, and average pop-out amount Fave for each frame are selected according to the conditions. The average pull-in amount Rave and the overall average parallax amount Pave are limited so that they do not exceed a certain amount of parallax. For example, the absolute value of the difference between the maximum pop-out amount Fmax and the maximum pull-in amount Rmax or the absolute difference value between the maximum pop-out amount Fmax and the overall average parallax amount Pave is limited so as not to be larger than the preferred parallax setting. This fusion separation time may also be used for setting the parallax between frames.

このように、観察者の分離開始視差値、融合開始視差値、融合分離時間を計測し、観察者の視差特性データを蓄えることにより、個人の好適な視差データを設定することが可能となる。   In this way, by measuring the observer's separation start parallax value, the fusion start parallax value, and the fusion separation time, and storing the observer's parallax characteristic data, it becomes possible to set suitable parallax data for the individual.

ここで、視差を計測するユーザー操作部14は、リモコンのように通常の観察位置から画面を見ながら操作するデバイスを用いる。   Here, the user operation unit 14 that measures parallax uses a device that operates while viewing the screen from a normal observation position, such as a remote controller.

視差を計測するときの観察者条件を入力するデバイスは、リモコンのように通常の観察位置から画面を見ながら操作することが望ましいが、テレビに備えられた入力キーを用いて入力してもよい。   The device for inputting the observer condition when measuring the parallax is preferably operated while viewing the screen from a normal observation position like a remote controller, but may be input using an input key provided on the television. .

観察者条件は、視差特性データ格納部5に格納され、ユーザーがリモコン操作などにより、自分の視差条件を選択することで、視差量を好適な値に設定できる。また、観察するたびに視差特性データを求めることで、慣れによる好適な視差条件の変化を格納することで、より視差量の調整条件を最適なものにすることも可能である。   The observer condition is stored in the parallax characteristic data storage unit 5, and the parallax amount can be set to a suitable value by the user selecting his / her parallax condition by remote control operation or the like. In addition, by obtaining parallax characteristic data each time observation is performed, it is possible to optimize the parallax amount adjustment condition by storing a suitable change in parallax condition due to familiarity.

実施の形態2.
実施の形態1では、係る立体画像表示装置の視差計測部によって観察者の視差特性を計測して視差特性データ格納部に格納していたが、本実施の形態に係る立体画像表示装置では、直接計測結果の情報を視差特性データ格納部に格納する立体画像表示装置である。
Embodiment 2. FIG.
In Embodiment 1, the parallax characteristic of the observer is measured by the parallax measurement unit of the stereoscopic image display apparatus and stored in the parallax characteristic data storage unit. However, in the stereoscopic image display apparatus according to the present embodiment, directly This is a stereoscopic image display device that stores information of measurement results in a parallax characteristic data storage unit.

図14は、本発明の実施の形態2に係る立体画像表示装置の構成を示すブロック図である。なお、図14において実施の形態1の図1と同一の符号のものにおいては、それぞれ実施の形態1の同一の符号のものと相当するものであるので、その説明を省略する。視差特性データ格納部50は、観察者条件入力部60を介して観察者個々の視差特性データを入力する。観察者の入力はユーザー操作部14を用いて入力する。若しくは、ユーザー操作部14から視差特性データ格納部50に直接アクセスして入力するとしても、視差特性データ格納部50に直接アクセスできるインターフェースを設けて格納してもよい。ここでのインターフェースとは例えばUSBやメモリカードスロットなどをさす。   FIG. 14 is a block diagram showing a configuration of a stereoscopic image display apparatus according to Embodiment 2 of the present invention. In FIG. 14, the same reference numerals as those in FIG. 1 of the first embodiment correspond to the same reference numerals in the first embodiment, and the description thereof is omitted. The parallax characteristic data storage unit 50 inputs the parallax characteristic data of each observer via the observer condition input unit 60. The input of the observer is input using the user operation unit 14. Alternatively, even if the user operation unit 14 directly accesses and inputs the parallax characteristic data storage unit 50, an interface that can directly access the parallax characteristic data storage unit 50 may be provided and stored. The interface here refers to, for example, a USB or a memory card slot.

ここで観察者個々の視差特性データとは、融合開始視差、分離開始視差、融合分離時間を含むものであって、例えば別途、実施の形態1に係る立体画像表示装置にて計測したときの情報そのものを入力する。別の計測機器を用いて得られた情報であっても良い。ただし計測したときの試験環境についての情報も併せて格納することで、試験の際の環境を加味して視差特性を調整できるので、観察者にとって好適な視差量の調整が可能となる。   Here, the individual parallax characteristic data of the observer includes the fusion start parallax, the separation start parallax, and the fusion separation time, and for example, information when separately measured by the stereoscopic image display device according to the first embodiment. Enter itself. Information obtained using another measuring device may be used. However, by storing information about the test environment at the time of measurement, the parallax characteristic can be adjusted in consideration of the environment at the time of the test, and thus the parallax amount suitable for the observer can be adjusted.

これにより、所期の目的を達成しうることはいうまでもない。   It goes without saying that the intended purpose can be achieved.

1 画像視差算出部
2 視差変化量算出部
3 視差調整量算出部
4 視差調整量条件設定部
5 視差特性データ格納部
6 観察者条件入力部
7 ユーザー操作部
8 視差量評価画像格納部
9 好適視差量評価画像格納部
10 視差計測部
11 融合開始視差評価部
12 分離開始視差評価部
13 融合分離時間評価部
14 ユーザー操作部
20 画像生成部
30 表示部
DESCRIPTION OF SYMBOLS 1 Image parallax calculation part 2 Parallax change amount calculation part 3 Parallax adjustment amount calculation part 4 Parallax adjustment amount condition setting part 5 Parallax characteristic data storage part 6 Observer condition input part 7 User operation part 8 Parallax amount evaluation image storage part 9 Suitable parallax Quantity evaluation image storage unit 10 Parallax measurement unit 11 Fusion start parallax evaluation unit 12 Separation start parallax evaluation unit 13 Fusion separation time evaluation unit 14 User operation unit 20 Image generation unit 30 Display unit

Claims (4)

視差量評価画像を用いて観察者の視差特性を計測する視差計測部と、
観察者ごとの前記視差計測部の計測結果、観察者条件、及び計測している環境条件を含む視差特性データを格納する視差特性データ格納部と、
前記観察者の視差特性データに基づいて視差調整量条件の設定をする視差調整量条件設定部と、
入力される立体映像から画像視差量を算出する画像視差算出部と、
前記画像視差算出部で算出された画像視差量に基づいてフレーム間の視差変化量を算出する視差変化量算出部と、
前記視差調整量条件と前記視差変化量とから視差調整量を算出する視差調整量算出部と、
前記視差調整量に基づいて入力される立体映像の視差を調整する画像生成部と、
前記画像生成部で調整された映像を表示する表示部とを備えた立体画像表示装置において、
前記視差計測部は、前記視差量評価画像として表示された画像を観察して、融合していた画像が分離して見えたときの画像視差である分離開始視差を評価する分離開始視差評価部、前記視差量評価画像として表示された画像を観察して、画像が融合して見えたときの画像視差である融合開始視差を評価する融合開始視差評価部、画像内の複数の異なる視差の対象物から融合が得られた時間を示す融合分離時間を計測する融合分離時間評価部を有することを特徴とする立体画像表示装置。
A parallax measurement unit that measures the parallax characteristics of the observer using the parallax evaluation image;
A parallax characteristic data storage unit that stores parallax characteristic data including measurement results of the parallax measurement unit for each observer, observer conditions, and environmental conditions being measured;
A parallax adjustment amount condition setting unit configured to set a parallax adjustment amount condition based on the parallax characteristic data of the observer;
An image parallax calculation unit for calculating an image parallax amount from the input stereoscopic video;
A parallax change amount calculation unit that calculates a parallax change amount between frames based on the image parallax amount calculated by the image parallax calculation unit;
A parallax adjustment amount calculation unit that calculates a parallax adjustment amount from the parallax adjustment amount condition and the parallax change amount;
An image generation unit that adjusts the parallax of a stereoscopic video input based on the parallax adjustment amount;
In a stereoscopic image display device comprising a display unit for displaying the video adjusted by the image generation unit ,
The parallax measurement unit observes an image displayed as the parallax amount evaluation image, and evaluates a separation start parallax evaluation unit that evaluates a separation start parallax that is an image parallax when the fused images are viewed separately . A fusion start parallax evaluation unit that observes an image displayed as the parallax amount evaluation image and evaluates a fusion start parallax, which is an image parallax when the images appear to be fused , a plurality of different parallax objects in the image A stereoscopic image display device comprising: a fusion separation time evaluation unit that measures a fusion separation time indicating a time when fusion is obtained from .
視差計測部は、複数の視差量評価画像を有し、計測が行われる度に前回と異なる視差量評価画像が選択されることを特長とする請求項1に記載の立体画像表示装置。 The stereoscopic image display device according to claim 1, wherein the parallax measurement unit has a plurality of parallax amount evaluation images, and a parallax amount evaluation image different from the previous one is selected each time measurement is performed. 前記視差特性データ格納部に格納される複数の視差特性データから視差調整量条件設定部に入力する視差特性データを選択するユーザー選択部を備えることを特長とする請求項1または請求項2に記載の立体画像表示装置。 The user selection part which selects the parallax characteristic data input into a parallax adjustment amount condition setting part from the several parallax characteristic data stored in the said parallax characteristic data storage part is provided, The Claim 1 or Claim 2 characterized by the above-mentioned. 3D image display device. 融合していた画像が分離して見えたときの画像視差である分離開始視差と画像が融合して見えたときの画像視差である融合開始視差、画像内の複数の異なる視差の対象物から融合が得られた時間を示す融合分離時間を含む視差特性情報、観察者条件、及び観察する環境条件を含む視差特性データを格納する第2の視差特性データ格納部と、
前記観察者の視差特性データに基づいて視差調整量条件の設定をする視差調整量条件設定部と、
入力される立体映像から画像視差量を算出する画像視差算出部と、
前記画像視差算出部の算出結果に基づいてフレーム間の視差変化量を算出する視差変化量算出部と、
前記視差調整量条件と前記視差変化量とから視差調整量を算出する視差調整量算出部と、
前記視差調整量に基づいて入力される立体映像の視差を調整する画像生成部と、
前記画像生成部で調整された映像を表示する表示部とを備える立体画像表示装置。
Fusion from the separation start parallax, which is the image parallax when the fused image looks separate, and the fusion start parallax, which is the image parallax when the image looks fused, from multiple different parallax objects in the image A second parallax characteristic data storage unit for storing parallax characteristic information including a fusion separation time indicating a time when the image data is obtained , an observer condition, and parallax characteristic data including an environmental condition to be observed;
A parallax adjustment amount condition setting unit configured to set a parallax adjustment amount condition based on the parallax characteristic data of the observer;
An image parallax calculation unit for calculating an image parallax amount from the input stereoscopic video;
A parallax change amount calculation unit that calculates a parallax change amount between frames based on a calculation result of the image parallax calculation unit;
A parallax adjustment amount calculation unit that calculates a parallax adjustment amount from the parallax adjustment amount condition and the parallax change amount;
An image generation unit that adjusts the parallax of a stereoscopic video input based on the parallax adjustment amount;
A stereoscopic image display device comprising: a display unit that displays the video adjusted by the image generation unit.
JP2010256027A 2010-11-16 2010-11-16 Stereoscopic image display device Expired - Fee Related JP5521991B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010256027A JP5521991B2 (en) 2010-11-16 2010-11-16 Stereoscopic image display device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010256027A JP5521991B2 (en) 2010-11-16 2010-11-16 Stereoscopic image display device

Publications (3)

Publication Number Publication Date
JP2012109727A JP2012109727A (en) 2012-06-07
JP2012109727A5 JP2012109727A5 (en) 2013-12-05
JP5521991B2 true JP5521991B2 (en) 2014-06-18

Family

ID=46494894

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010256027A Expired - Fee Related JP5521991B2 (en) 2010-11-16 2010-11-16 Stereoscopic image display device

Country Status (1)

Country Link
JP (1) JP5521991B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103391447B (en) * 2013-07-11 2015-05-20 上海交通大学 Safety depth guarantee and adjustment method in three-dimensional (3D) program shot switching

Also Published As

Publication number Publication date
JP2012109727A (en) 2012-06-07

Similar Documents

Publication Publication Date Title
US8094927B2 (en) Stereoscopic display system with flexible rendering of disparity map according to the stereoscopic fusing capability of the observer
JP6106586B2 (en) Method and apparatus for customizing 3D effect of 3D content
JP6380881B2 (en) Stereoscopic image display apparatus, image processing apparatus, and stereoscopic image processing method
JP5515301B2 (en) Image processing apparatus, program, image processing method, recording method, and recording medium
JP5059922B2 (en) Stereoscopic image generating apparatus, stereoscopic image display apparatus, stereoscopic image adjustment method, program for causing computer to execute stereoscopic image adjustment method, and recording medium recording the program
JP5625979B2 (en) Display device, display method, and display control device
US9754379B2 (en) Method and system for determining parameters of an off-axis virtual camera
JP2011071898A (en) Stereoscopic video display device and stereoscopic video display method
JP2012010309A (en) Stereoscopic moving image display device, and operation method of the same
US9420946B2 (en) Information provision device, information provision system, server, information provision method and program
JP2014500674A (en) Method and system for 3D display with adaptive binocular differences
TWI521941B (en) Stereoscopic image display device and method
Patterson 54.1: Invited Paper: Human Factors of Stereoscopic Displays
WO2013156333A1 (en) Method and device for correcting distortion errors due to accommodation effect in stereoscopic display
CN107172409A (en) Camber display screen bore hole 3D display methods and device
WO2012157177A1 (en) Vergence performance determination device and method therefor
JP5521991B2 (en) Stereoscopic image display device
CN103270760B (en) Method and system for disparity adjustment during stereoscopic zoom
US20120120051A1 (en) Method and system for displaying stereoscopic images
KR20130110798A (en) Building internal navication apparatus and method for controlling distance and speed of camera
JP5121081B1 (en) Stereoscopic display
Hasegawa et al. Stereoscopic vision induced by parallax images on HMD and its influence on visual functions
Hwang et al. User-friendly inter-pupillary distance calibration method using a single camera for autostereoscopic 3D displays
JP2012169822A (en) Image processing method and image processing device
JP7339278B2 (en) Stereoscopic display adjusted to the viewer

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131017

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20131017

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140228

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140311

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140324

R151 Written notification of patent or utility model registration

Ref document number: 5521991

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees