Nothing Special   »   [go: up one dir, main page]

JP6515022B2 - Observation area estimation method, observation area estimation apparatus, and program - Google Patents

Observation area estimation method, observation area estimation apparatus, and program Download PDF

Info

Publication number
JP6515022B2
JP6515022B2 JP2015235927A JP2015235927A JP6515022B2 JP 6515022 B2 JP6515022 B2 JP 6515022B2 JP 2015235927 A JP2015235927 A JP 2015235927A JP 2015235927 A JP2015235927 A JP 2015235927A JP 6515022 B2 JP6515022 B2 JP 6515022B2
Authority
JP
Japan
Prior art keywords
user
observation area
display
distance
observation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015235927A
Other languages
Japanese (ja)
Other versions
JP2017103638A (en
Inventor
宇翔 草深
宇翔 草深
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2015235927A priority Critical patent/JP6515022B2/en
Publication of JP2017103638A publication Critical patent/JP2017103638A/en
Application granted granted Critical
Publication of JP6515022B2 publication Critical patent/JP6515022B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Transforming Electric Information Into Light Information (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、ディスプレイの表示領域から、ユーザにより観察されている観察領域を推定する観察領域推定方法、観察領域推定装置、及びプログラムに関する。   The present invention relates to an observation area estimation method, an observation area estimation apparatus, and a program for estimating an observation area observed by a user from a display area of a display.

シースルーディスプレイを有したデバイスが市場へ投入され始めている。シースルーディスプレイはディスプレイの背景映像をそのままユーザへ提示可能であるため、以下の様な特徴がある。
1.ディスプレイ内とディスプレイ外の映像に視差(ズレ)が生じない。
2.ディスプレイに提示される映像は実世界における光線をそのまま提示するため、背景情報の提示におけるレイテンシがない。
Devices with see-through displays are beginning to enter the market. The see-through display can present the background image of the display to the user as it is, and therefore has the following features.
1. There is no disparity between the images inside and outside the display.
2. The image presented on the display presents the rays of the real world as it is, so there is no latency in presenting background information.

上記のような特徴があるため、例えばAR(Augumented Reality)アプリケーションとの親和性が高い。ARアプリケーションでは、例えば、ユーザが撮影した映像中の物体をトリガとして情報検索を行い、トリガとなった物体に関連する情報をユーザへ提示(表示)するといったものがある。そのため、シースルーディスプレイを通してユーザがどのような映像(物体)を観察しているかをシステムが取得する方法が必要となる。   Due to the features as described above, for example, the affinity with AR (Augumented Reality) applications is high. In the AR application, for example, information retrieval is performed using an object in video captured by the user as a trigger, and information related to the triggered object is presented (displayed) to the user. Therefore, a method is needed for the system to acquire what kind of video (object) the user is observing through the see-through display.

シースルーディスプレイを利用した情報提示方法は大きく3つに分類される。
1.ハンドヘルド、HMD(Head Mounted Display)ビデオシースルー
2.HMDシースルー
3.ハンドヘルドシースルー
上記「1.」ではカメラで撮影した映像をユーザへ直接提示するため、ユーザが観察する映像とカメラで撮影する映像は同一のものとなるため、カメラで撮影した画像をトリガとすればよい。しかし、カメラ映像をディスプレイへ提示する周りの風景の間には視差が生じるため、シースルーディスプレイの長所である風景映像提示におけるレイテンシの無さや、ディスプレイ内とディスプレイ外の映像のつなぎ目がなくシームレスであるという特徴が失われてしまう。本方式ではシースルーディスプレイを用いる必要性が薄い。
Information presentation methods using a see-through display are roughly classified into three.
1. Handheld, HMD (Head Mounted Display) video see-through 2. HMD see-through 3. Handheld see-through In the above “1.”, since the video shot by the camera is presented directly to the user, the video watched by the user and the video shot by the camera are the same. Good. However, since parallax occurs between the surrounding scenery presenting the camera image to the display, there is no latency in the scenery image presentation that is an advantage of the see-through display, and there is no seam between the image within the display and the image outside the display. The feature of being lost. In this method, the need for using a see-through display is thin.

次に、上記「2.」のようにユーザの頭部にカメラを固定するタイプでは、ユーザの頭部の向きによってトリガとなる物体の存在する方向は取得できるが、その映像中のどの領域をユーザがシースルーディスプレイを通して観察しているのかが取得できない。そこで、例えば、ハーフミラー等を使いユーザの視線を考慮してディスプレイとカメラを含めた光学系を設計する方法や、環境内に存在するマーカ等を指定することで、ディスプレイ座標系とカメラ座標系のキャリブレーションを行う方法(特許文献1)が存在する。これらによって頭部に固定したシースルーディスプレイを通したAR表示が可能となる。   Next, in the type in which the camera is fixed to the head of the user as in the above “2.”, although the direction in which the trigger object is present can be acquired depending on the orientation of the head of the user, It can not be acquired whether the user is observing through the see-through display. Therefore, for example, a method of designing an optical system including a display and a camera in consideration of the user's line of sight using a half mirror or the like, or specifying a marker or the like existing in the environment, the display coordinate system and the camera coordinate system There exists a method (patent document 1) which performs the calibration of. These enable AR display through a see-through display fixed on the head.

最後に、上記「3.」のハンドヘルド型のものでも上記「2.」と同様の、ユーザが観察している領域が取得できないという問題が生じる。加えて、上記「2.」のようにカメラやディスプレイはユーザに固定されないため、新たにディスプレイをユーザから遠ざけたり、近づけたりといった奥行き方向の自由度が生じるためこれに対応する必要がある。これに対しては、例えば特許文献2のような、手鏡型のデバイスの裏面に設置したカメラとユーザ頭部に固定したカメラを用いて、手鏡に提示する映像を、手鏡外の映像とつなぎ目がなくシームレスに提示する手法が提案されている。また、特許文献2は、ディスプレイの透明状態、非透明状態を制御することで同一のディスプレイでディスプレイ越しの風景の撮影を可能とする方法が提案されている。   Finally, even with the hand-held type of “3.”, there arises a problem that the area observed by the user can not be acquired as in the case of “2.”. In addition, since the camera and the display are not fixed to the user as in the above “2.”, there is a degree of freedom in the depth direction such as moving the display further away from or closer to the user. For this, for example, using a camera installed on the back of a hand mirror type device such as Patent Document 2 and a camera fixed to the user's head, the image presented on the hand mirror, the image outside the hand mirror and the seam are There is a proposal for a method for presenting seamlessly. Further, Patent Document 2 proposes a method of enabling photographing of a landscape through the display with the same display by controlling the transparent state and the non-transparent state of the display.

特開2009−284175号公報JP, 2009-284175, A 特許4490357号公報Patent 4490357 gazette

Takumi Yoshida, Shinobu Kuroki, Hideaki Nii, Naoki Kawakami, and Susumu Tachi. 2008. ARScope. In ACM SIGGRAPH 2008 new tech demos (SIGGRAPH '08). ACM, New York, NY, USA, , Article 4 , 1 pages.2008. ARScope. In ACM SIGGRAPH 2008 new tech demos (SIGGRAPH '08). ACM, New York, NY, USA,, Article 4, 1 pages. Takumi Yoshida, Shinobu Kuroki, Hideaki Nii, Naoki Kawakami, and Susumu Tachi.

特許文献1の手法では、上記したハンドヘルドタイプではユーザの視線を基にカメラやディスプレイが固定されないため、例えばディスプレイをユーザから遠ざけたり近づけたりといった奥行き方向にディスプレイが移動した際のユーザ観察映像の変化に対応できない。また、キャリブレーションのために環境中にマーカを設置する必要が生じる。   According to the method of Patent Document 1, the camera or display is not fixed based on the user's line of sight in the above-mentioned handheld type, so the change of the user observation image when the display moves in the depth direction, for example It can not respond to In addition, it is necessary to set markers in the environment for calibration.

また、非特許文献1では、ユーザが把持するデバイスとその周囲の環境が撮影可能な位置にカメラをユーザや環境に固定する必要がある。   Further, in Non-Patent Document 1, it is necessary to fix the camera to the user or the environment at a position where the device grasped by the user and the environment around it can be photographed.

特許文献2においても、参考文献1と同様に、ユーザが把持するデバイスとその周囲の環境を撮影するカメラを設置する必要が生じる。   Also in Patent Document 2, as in Reference 1, it is necessary to install a device held by the user and a camera for photographing the environment around it.

以上のように、ユーザがハンドヘルドなシースルーディスプレイを通して観察する映像を取得するには、環境やユーザに対してマーカやカメラ、映像提示装置を設置する必要があり、シースルーディスプレイ端末のみではユーザが観察する映像を取得することが難しい。   As mentioned above, in order to acquire the image which a user observes through a handheld see-through display, it is necessary to install a marker, a camera, and an image presentation device to environment or a user, and a user observes only with a see-through display terminal. It is difficult to get a picture.

本発明は上記事情に着目してなされたもので、その目的とするところは、ユーザと表示部との間の距離が変動しても、表示部上のユーザによる観察領域の推定を可能にする観察領域推定方法、観察領域推定装置、及びプログラムを提供するところにある。   The present invention has been made in view of the above circumstances, and its object is to enable the user to estimate the observation region on the display unit even if the distance between the user and the display unit changes. An observation area estimation method, an observation area estimation device, and a program are provided.

上記目的を達成するためにこの発明の観察領域推定方法、観察領域推定装置、及びプログラムは、以下の通りである。   In order to achieve the above object, an observation area estimation method, an observation area estimation apparatus, and a program of the present invention are as follows.

(1)この発明の観察領域推定方法は、観察領域推定装置により実行される観察領域推定方法であって、表示部から前記表示部に対向するユーザまでの距離を計測し、前記距離に基づき前記表示部における前記ユーザによる観察領域を推定する。   (1) An observation area estimation method according to the present invention is an observation area estimation method executed by an observation area estimation apparatus, which measures a distance from a display unit to a user facing the display unit, and determines the distance based on the distance. An observation area by the user in a display unit is estimated.

(2)上記(1)の観察領域推定方法は、前記表示部の表示性能に関する情報に基づき、前記表示部の表示領域の中心を基準として前記観察領域のサイズを推定する。   (2) In the observation area estimation method according to (1), the size of the observation area is estimated based on the center of the display area of the display unit based on the information on the display performance of the display unit.

(3)上記(1)又は(2)の観察領域推定方法は、前記距離の増減に対応して前記観察領域の幅を増減するパラメータに基づき前記観察領域の幅を推定する。   (3) The observation area estimation method according to (1) or (2) estimates the width of the observation area based on a parameter that increases or decreases the width of the observation area according to the increase or decrease of the distance.

(4)上記(1)乃至(3)の何れか1つの観察領域推定方法は、前記観察領域に対応する映像を検出する。   (4) The observation area estimation method according to any one of the above (1) to (3) detects an image corresponding to the observation area.

(5)上記(1)乃至(4)の何れか1つの観察領域推定方法は、キャリブレーションモードを実行して、前記表示部から前記ユーザまでのテスト距離を計測し、前記テスト距離に対応する観察領域の入力を受け付けて前記テスト距離と前記観察領域の関係を検出し、観察領域推定モードを実行して、前記表示部から前記ユーザまでの前記距離を計測し、前記距離及び前記検出された関係に基づき、前記観察領域を推定する。   (5) The observation area estimation method according to any one of the above (1) to (4) executes a calibration mode to measure a test distance from the display unit to the user, and corresponds to the test distance. The input of the observation area is received, the relationship between the test distance and the observation area is detected, the observation area estimation mode is executed, the distance from the display unit to the user is measured, and the distance and the detected The observation area is estimated based on the relationship.

(6)この発明の観察領域推定装置は、表示部と、前記表示部から前記表示部に対向するユーザまでの距離を計測する計測部と、前距離に基づき前記表示部における前記ユーザによる観察領域を推定する推定部と、を備える。   (6) An observation area estimation apparatus according to the present invention includes a display unit, a measurement unit that measures a distance from the display unit to the user facing the display unit, and an observation area by the user in the display unit based on a front distance. And an estimation unit for estimating

(7)上記(6)の観察領域推定装置は、前記表示部は透過型の表示部である請求項6の観察領域推定装置。   (7) The observation area estimation apparatus according to (6), wherein the display unit is a transmission type display unit.

(8)この発明のプログラムは、上記(1)乃至(5)の何れか一つの方法をコンピュータに実行させるための手順を備える。   (8) The program of the present invention comprises a procedure for causing a computer to execute any one of the methods (1) to (5).

本発明によれば、ユーザと表示部との間の距離が変動しても、表示部上のユーザによる観察領域の推定を可能にする観察領域推定方法、観察領域推定装置、及びプログラムを提供できる。   According to the present invention, it is possible to provide an observation area estimation method, an observation area estimation apparatus, and a program that enable estimation of an observation area by the user on the display unit even if the distance between the user and the display unit changes. .

(1)この発目の観察領域推定方法によれば、表示部からユーザまでの距離を計測し、計測された距離に基づき観察領域を推定するので、距離が変動しても、変動した距離に応じた観察領域を推定することができる。例えば、ハンドヘルド型のシースルーディスプレイにおいて、ユーザとディスプレイとの距離が変動しても、その都度、距離が測定され、測定された距離に基づき、ユーザ観察領域が推定され、ユーザ観察映像が検出される。よって、ユーザがシースルーディスプレイを通して観察する映像を検出することができる。   (1) According to this observation area estimation method, the distance from the display unit to the user is measured, and the observation area is estimated based on the measured distance. A corresponding observation area can be estimated. For example, in a hand-held see-through display, even if the distance between the user and the display changes, the distance is measured each time, the user observation area is estimated based on the measured distance, and the user observation image is detected . Therefore, the image which a user observes through a see-through display can be detected.

(2)この発明の観察領域推定方法によれば、表示部の表示性能に関する情報に基づき、表示領域の中心を基準として観察領域のサイズを推定することができる。例えば、表示領域の中心画素に相当するピクセルを中心として、観察領域のサイズを推定することができる。   (2) According to the observation area estimation method of the present invention, the size of the observation area can be estimated on the basis of the center of the display area based on the information on the display performance of the display unit. For example, the size of the observation area can be estimated centering on the pixel corresponding to the central pixel of the display area.

(3)この発明の観察領域推定方法によれば、距離の増減に対応して、推定される観察領域の幅を増減することができる。距離変化に応じた観察領域を推定することができる。   (3) According to the observation area estimation method of the present invention, the width of the estimated observation area can be increased or decreased in accordance with the increase or decrease of the distance. An observation area can be estimated according to the change in distance.

(4)この発明の観察領域推定方法によれば、推定された観察領域に対応した映像を検出することができる。これにより例えば物体の視覚的な特徴量をトリガにした検索システムをシースルーディスプレイにより利用することが可能となる。また、ユーザが観察する映像を取得可能であるため、検索結果を対象の物体上に重畳表示することが可能となる。   (4) According to the observation area estimation method of the present invention, an image corresponding to the estimated observation area can be detected. This makes it possible to use a see-through display with a search system triggered by, for example, a visual feature of an object. In addition, since the image to be observed by the user can be acquired, the search result can be superimposed and displayed on the target object.

(5)この発明の観察領域推定方法によれば、キャリブレーションモードを実行して、テスト距離と観察領域の関係(近似式)を得て、観察領域推定モードを実行して、前記関係を使って、計測された距離から観察領域を推定することができる。   (5) According to the observation area estimation method of the present invention, the calibration mode is executed to obtain the relation (approximate expression) between the test distance and the observation area, the observation area estimation mode is executed, and the relation is used The observation area can be estimated from the measured distance.

(6)この発明の観察領域推定装置によれば、上記(1)と同様の効果が得られる。   (6) According to the observation area estimation device of the present invention, the same effect as the above (1) can be obtained.

(7)この発明の観察領域推定装置によれば、透過型の表示部において、ユーザにより観察される映像を検出することができる。   (7) According to the observation area estimation apparatus of the present invention, an image observed by the user can be detected in the transmission type display unit.

(8)この発明のプログラムによれば、上記(1)〜(5)と同様の効果が得られる。   (8) According to the program of the present invention, the same effects as the above (1) to (5) can be obtained.

ハンドヘルド型のHMD(Head Mounted Display)ビデオシースルーの情報提示システムの概略構成の一例を示す図である。FIG. 1 is a diagram illustrating an example of a schematic configuration of an information presentation system of a handheld HMD (Head Mounted Display) video see-through. HMDシースルーの情報提示システムの概略構成の一例を示す図である。It is a figure which shows an example of schematic structure of the information presentation system of HMD see-through. ハンドヘルドシースルーの情報提示システムの概略構成の一例を示す図である。It is a figure which shows an example of schematic structure of the information presentation system of a handheld see-through. ユーザ端末間距離とユーザ観察画像(ユーザ観察領域)の関係を説明するための図である。It is a figure for demonstrating the relationship between the distance between user terminals and a user observation image (user observation area | region). キャリブレーションの一例を説明するための図である。It is a figure for demonstrating an example of a calibration. ユーザ観察領域推定処理及びユーザ観察映像取得処理の一例を説明するための機能ブロック図である。It is a functional block diagram for explaining an example of user observation field estimation processing and user observation picture acquisition processing. ユーザ観察領域推定処理及びユーザ観察映像取得処理の一例を説明するためのフローチャートである。It is a flowchart for demonstrating an example of a user observation area | region estimation process and a user observation imaging | video acquisition process. キャリブレーションを含むユーザ観察領域推定処理及びユーザ観察映像取得処理の一例を説明するための機能ブロック図である。FIG. 6 is a functional block diagram for explaining an example of user observation area estimation processing including calibration and user observation video acquisition processing. キャリブレーションを含むユーザ観察領域推定処理及びユーザ観察映像取得処理の一例を説明するためのフローチャートである。It is a flowchart for demonstrating an example of the user observation area | region estimation process including a calibration, and a user observation imaging | video acquisition process.

以下、各実施形態について図面を参照して説明する。   Hereinafter, each embodiment will be described with reference to the drawings.

最初に、図1〜図3を参照して、シースルーディスプレイを利用した情報提示システムの例について説明する。   First, an example of an information presentation system using a see-through display will be described with reference to FIGS. 1 to 3.

図1は、ハンドヘルド型のHMD(Head Mounted Display)ビデオシースルーの情報提示システムの概略構成の一例を示す図である。図1に示すように、情報提示システム10は、カメラ11、及びディスプレイ12を備える。カメラ11は、被写体15、16を含む画像を撮影する。ディスプレイ12(表示面12a)は、カメラ11により撮影された画像を表示する。ユーザは、ディスプレイ12に表示される画像を見ることができる。   FIG. 1 is a diagram showing an example of a schematic configuration of an information presentation system of a hand-held type HMD (Head Mounted Display) video see-through. As shown in FIG. 1, the information presentation system 10 includes a camera 11 and a display 12. The camera 11 captures an image including the subjects 15 and 16. The display 12 (display surface 12 a) displays an image captured by the camera 11. The user can view the image displayed on the display 12.

図2は、HMDシースルーの情報提示システムの概略構成の一例を示す図である。図2に示すように、情報提示システム20は、カメラ21、及びディスプレイ22、固定具23を備える。固定具23は、ユーザの頭部にカメラ21を固定する。これにより、ユーザとディスプレイ22の距離は一定に保たれる。カメラ21は、被写体25、26を含む画像を撮影する。ディスプレイ22(表示面22a)は、シースルーディスプレイ(透過型ディスプレイ)であり、ディスプレイ22を挟んで一方の側(ディスプレイ32の前面)に位置するユーザは、ディスプレイ22を透過して、ディスプレイ22の他方の側(ディスプレイ32の背面)の被写体25、26を含む景色を目視することができる。   FIG. 2 is a diagram showing an example of a schematic configuration of an HMD see-through information presentation system. As shown in FIG. 2, the information presentation system 20 includes a camera 21, a display 22, and a fixture 23. The fixture 23 fixes the camera 21 to the head of the user. Thereby, the distance between the user and the display 22 is kept constant. The camera 21 captures an image including the subjects 25 and 26. The display 22 (display surface 22 a) is a see-through display (transmission type display), and a user located on one side (front of the display 32) across the display 22 transmits the display 22 to the other of the display 22. The view including the subjects 25 and 26 on the side of the (the back of the display 32) can be viewed.

図3は、ハンドヘルドシースルーの情報提示システムの概略構成の一例を示す図である。図3に示すように、情報提示システム30は、カメラ31、及びディスプレイ32を備える。カメラ31は、被写体35、36を含む画像を撮影する。ディスプレイ32は、シースルーディスプレイ(透過型ディスプレイ)であり、ディスプレイ32を挟んで一方の側に位置するユーザは、ディスプレイ32を透過して、ディスプレイ32の他方の側(ディスプレイ32の背面)の被写体35、36を含む景色を目視することができる。   FIG. 3 is a diagram showing an example of a schematic configuration of a handheld see-through information presentation system. As shown in FIG. 3, the information presentation system 30 includes a camera 31 and a display 32. The camera 31 captures an image including the subjects 35 and 36. The display 32 is a see-through display (transmission type display), and a user located on one side of the display 32 passes through the display 32 and an object 35 on the other side of the display 32 (the back of the display 32). , 36 can be viewed.

以下、本実施形態で説明するユーザ観察領域推定処理及びユーザ観察映像取得処理を、情報提示システム30に適用するケースについて説明するが、その他の情報提示システムに適用してもよい。情報提示システム30は、情報提示システム20のように固定具23を備えないので、ユーザとディスプレイ32(表示面32a)の間の距離(ユーザ端末間距離)は変動する。ユーザがディスプレイ32の表示領域のうちのどの領域を観察しているかを推定するためには、変動するユーザ端末間距離を測定する必要がある。そして、この変動するユーザ端末間距離の測定結果に基づき、表示領域からユーザ観察領域を推定するユーザ観察領域推定処理を実行し、推定されたユーザ観察領域からユーザ観察映像を取得(検出)するユーザ観察映像取得処理を実行する。例えば、ユーザ端末間距離が短いと、ユーザ観察領域のサイズは比較的大きくなり(観察領域の幅が比較的長くなり)、逆に、ユーザ端末間距離が長いと、ユーザ観察領域のサイズは比較的小さくなり(観察領域の幅が比較的短くなり)、両者に比例関係が成立すると仮定する。なお、本実施形態では、両者に比例関係が成立するケースについて説明するが、様々な要因を考慮し、完全な比例関係でなくてもよい。   Hereinafter, although the case where the user observation area estimation processing and the user observation video acquisition processing described in the present embodiment are applied to the information presentation system 30 will be described, the present invention may be applied to other information presentation systems. Since the information presentation system 30 does not include the fixture 23 like the information presentation system 20, the distance (the distance between the user terminals) between the user and the display 32 (display surface 32a) varies. In order to estimate which area of the display area of the display 32 the user is observing, it is necessary to measure the distance between the user terminals which is fluctuating. Then, based on the measurement result of the changing inter-user-terminal distance, the user performs a user observation area estimation process of estimating the user observation area from the display area, and acquires (detects) the user observation video from the estimated user observation area Execute observation video acquisition processing. For example, if the distance between user terminals is short, the size of the user observation area becomes relatively large (the width of the observation area becomes relatively long), conversely, if the distance between user terminals is long, the sizes of the user observation areas are compared (The width of the observation area becomes relatively short), and it is assumed that a proportional relationship is established between the two. In the present embodiment, a case in which a proportional relationship is established between the two will be described. However, in consideration of various factors, the proportional relationship may not be perfect.

例えば、図4に示すように、情報提示システム30において、あるユーザ端末間距離と、その距離においてユーザがディスプレイ32を通して観察するユーザ観察領域(サイズ)との間の関係(関係式)を、キャリブレーションにより導出する。キャリブレーションは、情報提示システムの出荷前に製品担当者が実行してもよいし、出荷後にユーザが実行してもよいし、両方のタイミングで実行するようにしてもよい。   For example, as shown in FIG. 4, in the information presentation system 30, the relationship (relational expression) between a certain user terminal distance and the user observation area (size) observed by the user through the display 32 at that distance is calibrated Derived by The calibration may be performed by a product person in charge before shipping of the information presentation system, may be performed by a user after shipping, or may be performed at both timings.

例えば、図3に示すように情報提示システム30のディスプレイ32の一方の面には距離センサ33が設けられ、距離センサ33は、赤外線又は超音波を利用し、ユーザ端末間距離を取得する。例えば、図5に示すように、キャリブレーションでは、例えば、2点以上のユーザ端末間距離におけるユーザ観察領域のサイズ(例えばユーザ観察映像幅)を記録する。   For example, as shown in FIG. 3, a distance sensor 33 is provided on one surface of the display 32 of the information presentation system 30, and the distance sensor 33 acquires an inter-user-terminal distance by using infrared rays or ultrasonic waves. For example, as shown in FIG. 5, in the calibration, for example, the size of the user observation area (for example, the user observation video width) at the distance between two or more user terminals is recorded.

なお、あるユーザ端末間距離に対して、入力装置を利用してユーザ観察領域のサイズ情報(数値)を入力するようにしてもよい。また、あるユーザ端末間距離に対して、ディスプレイ32が取得した映像を表示(フィードバック)し、ディスプレイ32上でユーザ観察領域の指定を受け付けるようにしてもよい。   Note that for a certain distance between user terminals, size information (numerical values) of the user observation area may be input using an input device. Alternatively, the video acquired by the display 32 may be displayed (feedbacked) with respect to a certain distance between user terminals, and designation of the user observation area may be received on the display 32.

例えば、ユーザ端末間距離400mmにおいて、ユーザ観察領域は、カメラ取得映像におけるディスプレイ32の中心に相当するピクセルより左右に217pixel分(幅434pixel)である。また、ユーザ端末間距離600mmにおいて、ユーザ観察領域は、カメラ取得映像におけるディスプレイ中心に相当するピクセルより左右に313pixel分(626pixel)であったとする。これらを基に、比例関係にあると仮定して回帰分析を行うと、近似式、Wuser = a + b * d における定数a、bを導出することができる。上記の値を例にすると、Wuser = -9.6 *d + 1010 という直線によって近似される。この式に基づいて、あるユーザ端末間距離におけるユーザ観察領域(幅)を取得することができ、また、既知であるディスプレイ縦横幅に基づき、カメラ映像中におけるディスプレイ32の中心ピクセルを基準としてユーザ観察領域(縦横のサイズ)を推定し、このユーザ観察領域からユーザ観察映像(対象物)を検出することができる。なお、ユーザ観察領域から対象物を検出する手法は、様々な対象物検出を適用することができる。   For example, at a user terminal distance of 400 mm, the user observation area is 217 pixels (434 pixels wide) to the left and right of the pixel corresponding to the center of the display 32 in the camera acquisition video. Further, it is assumed that the user observation area is 313 pixels (626 pixels) to the left and right of the pixel corresponding to the display center in the camera acquired video at the user terminal distance of 600 mm. Based on these, if regression analysis is performed assuming that there is a proportional relationship, constants a and b in the approximate expression Wuser = a + b * d can be derived. Taking the above values as an example, it is approximated by the straight line Wuser = -9.6 * d + 1010. Based on this equation, it is possible to obtain the user observation area (width) at a certain distance between user terminals, and based on the known display width and width, the user observation with reference to the central pixel of the display 32 in the camera image. An area (vertical and horizontal size) can be estimated, and a user observation image (object) can be detected from the user observation area. In addition, various object detection can be applied to the method of detecting an object from the user observation area.

図6及び図7を参照し、ユーザ観察領域推定処理及びユーザ観察映像取得処理の一例について説明する。図6に示すように、情報提示システム30は、透過型情報表示部41、撮影機能部42、ユーザ端末間距離計測機能部43、ユーザ観察映像取得部44、及びユーザ観察映像幅推定部45を備える。透過型情報表示部41は、ディスプレイ32に対応し、撮影機能部42は、カメラ31に対応する。ユーザ端末間距離計測機能部43は、距離センサ33を含み、距離センサ33からの情報に基づきユーザ端末間距離を計測する。なお、ユーザ端末間距離計測機能部43、ユーザ観察映像取得部44、及びユーザ観察映像幅推定部45は、プロセッサー及びメモリを備えたコンピュータ等により実現することができる。   An example of the user observation area estimation process and the user observation image acquisition process will be described with reference to FIGS. 6 and 7. As shown in FIG. 6, the information presentation system 30 includes a transmissive information display unit 41, a photographing function unit 42, a distance measurement function unit 43 between user terminals, a user observation video acquisition unit 44, and a user observation video width estimation unit 45. Prepare. The transmissive information display unit 41 corresponds to the display 32, and the photographing function unit 42 corresponds to the camera 31. The inter-user-terminal distance measurement function unit 43 includes the distance sensor 33, and measures the inter-user-terminal distance based on the information from the distance sensor 33. The inter-user-terminal distance measurement function unit 43, the user observation video acquisition unit 44, and the user observation video width estimation unit 45 can be realized by a computer or the like provided with a processor and a memory.

まず、撮影機能部42が、映像を撮影する(ST11)。例えば、撮影機能部42は、静止画及び動画の何れも撮影することができる。また、ユーザ端末間距離計測機能部43は、透過型情報表示部41(表示面)の表示領域からこの表示領域に対向するユーザまでの距離を計測し、ユーザ端末間距離を取得する(ST12)。ユーザ端末間距離計測機能部43は、適切なタイミングで、距離を計測し計測結果を出力する。例えば、所定の時間間隔で距離を計測し、その都度、計測結果を出力してもよいし、所定の時間間隔で距離を計測し、距離に一定値以上の変化があった場合に、計測結果を出力するようにしてもよい。   First, the shooting function unit 42 shoots an image (ST11). For example, the shooting function unit 42 can shoot both a still image and a moving image. Further, the inter-user-terminal distance measurement function unit 43 measures the distance from the display area of the transmissive information display section 41 (display surface) to the user facing the display area, and acquires the inter-user-terminal distance (ST12) . The inter-user-terminal distance measurement function unit 43 measures the distance at an appropriate timing and outputs the measurement result. For example, the distance may be measured at a predetermined time interval, and the measurement result may be output each time, or the distance may be measured at a predetermined time interval, and the measurement result when the distance changes a certain value or more. May be output.

ユーザ観察映像幅推定部45は、ユーザ端末間距離計測機能部43から出力されるユーザ端末間距離に基づいて、透過型情報表示部41の表示領域上のユーザが観察するユーザ観察領域(ユーザ観察映像)のサイズ(幅)を推定する(ST13)。   The user observation video width estimation unit 45 observes a user observation region (user observation on the display region of the transmissive information display unit 41 based on the user terminal distance output from the user terminal distance measurement function unit 43 (user observation) The size (width) of the image) is estimated (ST13).

例えば、ユーザ観察映像取得部44は、透過型情報表示部41の表示性能に関する情報を保持する。表示性能に関する情報は、透過型情報表示部41の表示領域のサイズ(高さ、幅、高さと幅の比率)、解像度、画素数などの情報である。ユーザ観察映像取得部44は、ユーザ観察映像幅推定部45で推定されたユーザ観察領域(ユーザ観察映像)のサイズ(幅)と、透過型情報表示部41の表示性能(例えば高さと幅の比率)に関する情報とに基づいて、表示領域の中心画素に相当するピクセルを中心として、推定されたユーザ観察領域に対応する映像を検出する(ST14)。例えば、推定されたユーザ観察領域の映像をそのまま検出してもよいし、推定されたユーザ観察領域に対してオブジェクト検出を適用し、推定されたユーザ観察領域中のオブジェクトを検出するようにしてもよい。   For example, the user observation video acquisition unit 44 holds information on the display performance of the transmissive information display unit 41. The information on the display performance is information such as the size (height, width, ratio of height to width), resolution, and number of pixels of the display area of the transmissive information display unit 41. The user observation video acquisition unit 44 measures the size (width) of the user observation area (user observation video) estimated by the user observation video width estimation unit 45 and the display performance of the transmissive information display unit 41 (for example, the ratio of height to width) And the image corresponding to the estimated user observation area is detected centering on the pixel corresponding to the central pixel of the display area (ST14). For example, the image of the estimated user observation area may be detected as it is, or the object detection may be applied to the estimated user observation area to detect an object in the estimated user observation area. Good.

図8及び図9を参照し、キャリブレーションを含むユーザ観察領域推定処理及びユーザ観察映像取得処理の一例について説明する。図6に示す情報提示システム30に対して、図8に示す情報提示システム30は、さらに、パラメータ算出機能部46を備える。なお、パラメータ算出機能部46は、プロセッサー及びメモリ等を備えたコンピュータ等により実現することができる。   An example of user observation area estimation processing including calibration and user observation image acquisition processing will be described with reference to FIGS. 8 and 9. With respect to the information presentation system 30 shown in FIG. 6, the information presentation system 30 shown in FIG. 8 further includes a parameter calculation function unit 46. The parameter calculation function unit 46 can be realized by a computer or the like provided with a processor, a memory, and the like.

パラメータ算出機能部46は入力部を含み、ユーザは、入力部を介して、キャリブレーションモードの実行を指示する。パラメータ算出機能部46は、キャリブレーションモードの実行指示に対応して、キャリブレーションモードを実行する。   The parameter calculation function unit 46 includes an input unit, and the user instructs execution of the calibration mode via the input unit. The parameter calculation function unit 46 executes the calibration mode in response to the execution instruction of the calibration mode.

キャリブレーションモードの実行に対応して、撮影機能部42が、映像を撮影し、また、ユーザ端末間距離計測機能部43が、透過型情報表示部41(表示面)の表示領域からこの表示領域に対向するユーザまでの距離(テスト距離)を計測し、ユーザ端末間距離(ユーザ端末間距離d1)を取得する。パラメータ算出機能部46は、透過型情報表示部41に撮影した映像を表示させるとともに、ユーザに対してユーザ観察領域(ユーザ観察映像)のサイズ(ユーザ観察映像幅Wuser1)の指定を要求する。例えば、透過型情報表示部41の表示領域に対向してタッチパネルが配置され、ユーザはタッチパネルを介して表示映像上でユーザ観察領域(ユーザ観察映像)のサイズ(高さ及び幅)を指定する。或いは、ユーザは入力部を介してユーザ観察領域(ユーザ観察映像)のサイズ(高さ及び幅)を数値入力する。パラメータ算出機能部46は、取得したユーザ端末間距離d1に対応付けて指定又は入力されたユーザ観察映像幅Wuser1を記録する(ST21)。   In response to the execution of the calibration mode, the imaging function unit 42 captures an image, and the inter-user-terminal distance measurement function unit 43 displays this display area from the display area of the transmissive information display unit 41 (display surface). The distance (test distance) to the opposing user is measured, and the inter-user-terminal distance (inter-user-terminal distance d1) is acquired. The parameter calculation function unit 46 causes the transmission type information display unit 41 to display the captured video and requests the user to specify the size (user observation video width Wuser1) of the user observation area (user observation video). For example, a touch panel is disposed to face the display area of the transmissive information display unit 41, and the user specifies the size (height and width) of the user observation area (user observation video) on the display video via the touch panel. Alternatively, the user numerically inputs the size (height and width) of the user observation area (user observation video) through the input unit. The parameter calculation function unit 46 records the user observation video width Wuser1 designated or input in association with the acquired user terminal distance d1 (ST21).

同様に、撮影機能部42が、映像を撮影し、また、ユーザ端末間距離計測機能部43が、透過型情報表示部41(表示面)の表示領域からこの表示領域に対向するユーザまでの距離(テスト距離)を計測し、ユーザ端末間距離(ユーザ端末間距離d2)を取得する。パラメータ算出機能部46は、透過型情報表示部41に撮影した映像を表示させるとともに、ユーザに対してユーザ観察領域(ユーザ観察映像)のサイズ(ユーザ観察映像幅Wuser2)の指定を要求する。例えば、透過型情報表示部41の表示領域に対向してタッチパネルが配置され、ユーザはタッチパネルを介して表示映像上でユーザ観察領域(ユーザ観察映像)のサイズ(高さ及び幅)を指定する。或いは、ユーザは入力部を介してユーザ観察領域(ユーザ観察映像)のサイズ(高さ及び幅)を数値入力する。パラメータ算出機能部46は、取得したユーザ端末間距離d2に対応付けて指定又は入力されたユーザ観察映像幅Wuser2を記録する(ST22)。   Similarly, the shooting function unit 42 shoots an image, and the distance between user terminals measurement function unit 43 is the distance from the display area of the transmissive information display unit 41 (display surface) to the user facing the display area. (Test distance) is measured, and the inter-user-terminal distance (inter-user-terminal distance d2) is acquired. The parameter calculation function unit 46 causes the transmission type information display unit 41 to display the photographed video and requests the user to specify the size (user observation video width Wuser2) of the user observation area (user observation video). For example, a touch panel is disposed to face the display area of the transmissive information display unit 41, and the user specifies the size (height and width) of the user observation area (user observation video) on the display video via the touch panel. Alternatively, the user numerically inputs the size (height and width) of the user observation area (user observation video) through the input unit. The parameter calculation function unit 46 records the user observation video width Wuser2 designated or input in association with the acquired user terminal distance d2 (ST22).

パラメータ算出機能部46は、ユーザ端末間距離d1に対応付けられたユーザ観察映像幅Wuser1、及びユーザ端末間距離d2に対応付けられたユーザ観察映像幅Wuser2に基づき、ユーザ端末間距離とユーザ観察映像幅との関係を示す情報(近似式、パラメータ)を導出し(ST23)、ユーザ端末間距離とユーザ観察映像幅との関係を示す情報をユーザ観察映像幅推定部45へ送信する(ST24)。   Based on the user observation video width Wuser1 associated with the user terminal distance d1 and the user observation video width Wuser2 associated with the user terminal distance d2, the parameter calculation function unit 46 determines the user terminal distance and the user observation video. Information (approximate expression, parameters) indicating the relationship with the width is derived (ST23), and information indicating the relationship between the distance between user terminals and the user observation video width is transmitted to the user observation video width estimation unit 45 (ST24).

また、ユーザ観察映像幅推定部45は入力部を含み、ユーザは、入力部を介して、観察領域推定モードの実行を指示する。ユーザ観察映像幅推定部45は、観察領域推定モードの実行指示に対応して、観察領域推定モードを実行する。   In addition, the user observation video width estimation unit 45 includes an input unit, and the user instructs execution of the observation region estimation mode via the input unit. The user observation video width estimation unit 45 executes the observation area estimation mode in response to the instruction to execute the observation area estimation mode.

観察領域推定モードの実行に対応して、撮影機能部42が、映像を撮影し(ST11)、また、ユーザ端末間距離計測機能部43が、透過型情報表示部41(表示面)の表示領域からこの表示領域に対向するユーザまでの距離を計測し、ユーザ端末間距離を取得する(ST12)。   In response to the execution of the observation area estimation mode, the imaging function unit 42 captures an image (ST11), and the inter-user-terminal distance measurement function unit 43 displays the display area of the transmissive information display unit 41 (display surface). The distance from the user to the user facing this display area is measured, and the distance between user terminals is acquired (ST12).

ユーザ観察映像幅推定部45は、ユーザ端末間距離計測機能部43で取得されたユーザ端末間距離、及びユーザ端末間距離とユーザ観察映像幅との関係を示す情報に基づいて、透過型情報表示部41の表示領域上のユーザが観察するユーザ観察領域(ユーザ観察映像)のサイズ(高さ及び幅)を推定する(ST13)。   The user observation video width estimation unit 45 displays transmission type information based on information indicating the user terminal distance obtained by the user terminal distance measurement function unit 43 and the relationship between the user terminal distance and the user observation video width. The size (height and width) of the user observation area (user observation video) observed by the user on the display area of the unit 41 is estimated (ST13).

ユーザ観察映像取得部44は、ユーザ観察映像幅推定部45で推定されたユーザ観察領域(ユーザ観察映像)のサイズ(幅)と、透過型情報表示部41の表示性能に関する情報とに基づいて、表示領域の中心画素に相当するピクセルを中心として、推定されたユーザ観察領域(ユーザ観察映像)に対応する映像を検出する(ST14)。   The user observation video acquisition unit 44 is based on the size (width) of the user observation area (user observation video) estimated by the user observation video width estimation unit 45 and information on the display performance of the transmissive information display unit 41. An image corresponding to the estimated user observation area (user observation image) is detected centering on a pixel corresponding to the central pixel of the display area (ST14).

以上により、情報提示システム30において、ユーザ端末間距離とユーザ観察映像の幅との対応関係を基にキャリブレーションを行うことでユーザ端末間距離に基づいてユーザ観察映像の幅を導出可能な近似式を導出し、その近似式とシースルーディスプレイの高さと幅の比率を用いることで、ユーザがシースルーディスプレイを通して観察する映像を、カメラで取得する映像の中から切り出し取得することができる。   As described above, in the information presentation system 30, by performing calibration based on the correspondence between the distance between the user terminals and the width of the user observation video, an approximate expression that can derive the width of the user observation video based on the distance between the user terminals By using the approximate expression and the ratio of height and width of the see-through display, it is possible to cut out and obtain an image to be observed by the user through the see-through display from among the images acquired by the camera.

さらに、情報提示システム30(プロセッサー等)は、無線通信等により外部サーバへアクセスし、切り出された映像に関係する関係情報を検索し、ディスプレイ32に表示することもできる。上記説明したように、ディスプレイ32は、シースルーディスプレイであり、ディスプレイ22の一方の側のユーザは、ディスプレイ22を透過して、ディスプレイ22の他方の側(ディスプレイ32の背面)の被写体25、26を含む景色を目視することができる。例えば、ディスプレイ32に被写体25、26の関係情報が表示されることにより、ユーザは、被写体25、26を目視しながら、被写体25、26の関係情報を見ることができる。さらに、情報提示システム30(プロセッサー等)は、被写体25、26(=切り出した映像)に対応付けて関係情報を表示することもできる。例えば、切り出された映像がある商品であれば、その商品の販売及び購入に関係する関係情報(その商品を取り扱うショップ情報及びその商品の価格情報等)を表示する。   Furthermore, the information presentation system 30 (processor or the like) can access an external server by wireless communication or the like, search for related information related to the clipped image, and display it on the display 32. As described above, the display 32 is a see-through display, and the user on one side of the display 22 transmits through the display 22 to the objects 25 and 26 on the other side of the display 22 (the back of the display 32). It is possible to visually observe the landscape. For example, by displaying the relationship information of the subjects 25 and 26 on the display 32, the user can view the relationship information of the subjects 25 and 26 while viewing the subjects 25 and 26. Furthermore, the information presentation system 30 (processor or the like) can also display the related information in association with the subjects 25 and 26 (= clipped images). For example, in the case of a product having a clipped video, related information related to sales and purchase of the product (shop information handling the product, price information of the product, and the like) is displayed.

なお、上記処理の手順は全てソフトウェアによって実行することが可能である。このため、上記処理の手順を実行するプログラムを格納したコンピュータ読み取り可能な記憶媒体を通じてこのプログラムを情報提示システム30にインストールして実行するだけで、上記処理を容易に実現することができる。   Note that all the procedures of the above processing can be executed by software. Therefore, the process can be easily realized only by installing the program in the information presentation system 30 through a computer readable storage medium storing a program for executing the procedure of the process and executing the program.

例えば、情報提示システム30が制御部、記憶部、及び通信部を有し、通信部を介して、コンピュータ読み取り可能な記憶媒体から上記プログラムを読み取り、記憶部等に読み取ったプログラムを記憶し、プログラムのインストールを完了することができる。或いは、通信部を介して、上記プログラムをダウンロードし、記憶部等にダウンロードしたプログラムを記憶し、プログラムのインストールを完了することができる。これにより、情報提示システム30は、インストールされた上記プログラムに基づき、上記処理を容易に実現することができる。   For example, the information presentation system 30 includes a control unit, a storage unit, and a communication unit, reads the program from a computer-readable storage medium via the communication unit, and stores the program read into the storage unit etc. You can complete the installation of. Alternatively, the program can be downloaded via the communication unit, the downloaded program can be stored in a storage unit or the like, and installation of the program can be completed. Thereby, the information presentation system 30 can easily realize the above processing based on the installed program.

以上により、本実施形態によれば、ハンドヘルド型のシースルーディスプレイにおいて、ユーザとディスプレイとの距離が変動しても、その都度、距離が測定され、測定された距離に基づき、ユーザ観察領域が推定され、ユーザ観察映像が検出される。よって、ユーザがシースルーディスプレイを通して観察する映像を検出することができ、システムがこの検出される映像を取得することができる。これにより例えば物体の視覚的な特徴量をトリガにした検索システムをシースルーディスプレイにより利用することが可能となる。また、ユーザが観察する映像を取得可能であるため、検索結果を対象の物体上に重畳表示することが可能となる。また、ユーザが観察する映像を取得するために、ユーザや環境中にマーカやディスプレイ、カメラといった装置を設置する必要がない。   As described above, according to the present embodiment, even if the distance between the user and the display changes in the handheld see-through display, the distance is measured each time, and the user observation area is estimated based on the measured distance. , The user observation video is detected. Thus, the image that the user views through the see-through display can be detected and the system can acquire this detected image. This makes it possible to use a see-through display with a search system triggered by, for example, a visual feature of an object. In addition, since the image to be observed by the user can be acquired, the search result can be superimposed and displayed on the target object. In addition, in order to acquire an image to be observed by the user, it is not necessary to install an apparatus such as a marker, a display, or a camera in the user or the environment.

その他にも、この発明の要旨を逸脱しない範囲で種々変形して実施可能である。   In addition, various modifications can be made without departing from the scope of the present invention.

要するにこの発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。   In short, the present invention is not limited to the above embodiment as it is, and at the implementation stage, the constituent elements can be modified and embodied without departing from the scope of the invention. In addition, various inventions can be formed by appropriate combinations of a plurality of components disclosed in the above embodiments. For example, some components may be deleted from all the components shown in the embodiment. Furthermore, components in different embodiments may be combined as appropriate.

10…情報提示システム、11…カメラ、12…ディスプレイ12、15、16…被写体、20…情報提示システム、21…カメラ、22…ディスプレイ、23…固定具、25、26…被写体、30…情報提示システム、31…カメラ、32…ディスプレイ、35、36…被写体、41…透過型情報表示部、42…撮影機能部、43…ユーザ端末間距離計測機能部、44…ユーザ観察映像取得部、45…ユーザ観察映像幅推定部、46…パラメータ算出機能部 DESCRIPTION OF SYMBOLS 10 ... Information presentation system, 11 ... Camera, 12 ... Display 12, 15, 16 ... Subject, 20 ... Information presentation system, 21 ... Camera, 22 ... Display, 23 ... Fastener, 25, 26 ... Subject, 30 ... Information presentation System 31 31 camera 32 display 35, 36 subject, 41 transmission type information display unit 42 shooting function unit 43 inter-user terminal distance measurement function unit 44 user observation video acquisition unit 45 User observation video width estimation unit, 46 ... parameter calculation function unit

Claims (8)

観察領域推定装置により観察領域推定モードで実行される観察領域推定方法であって、
表示部から前記表示部に対向するユーザまでの距離を計測し、
前記距離、及びキャリブレーションモードで記録された前記表示部から前記表示部に対向するユーザまでのテスト距離と前記表示部におけるユーザによる観察領域との関係に基づき、前記距離に応じた前記観察領域を推定する観察領域推定方法。
An observation area estimation method performed by an observation area estimation apparatus in an observation area estimation mode ,
Measuring the distance from the display unit to the user facing the display unit;
Based on the distance and the relationship between a test distance from the display unit recorded in the calibration mode to the user facing the display unit and the observation region by the user on the display unit, the observation region according to the distance is selected. Observation area estimation method to estimate.
前記表示部の表示性能に関する情報に基づき、前記表示部の表示領域の中心を基準として前記観察領域のサイズを推定する請求項1の観察領域推定方法。   The observation area estimation method according to claim 1, wherein the size of the observation area is estimated on the basis of the center of the display area of the display unit based on the information on the display performance of the display unit. 前記距離の増減に対応して前記観察領域の幅を増減するパラメータに基づき前記観察領域の幅を推定する請求項1又は2の観察領域推定方法。   The observation area estimation method according to claim 1 or 2, wherein the width of the observation area is estimated based on a parameter that increases or decreases the width of the observation area according to the increase or decrease of the distance. 前記観察領域に対応する映像を検出する請求項1乃至3の何れか1つの観察領域推定方法。   The observation area estimation method according to any one of claims 1 to 3, wherein an image corresponding to the observation area is detected. 前記キャリブレーションモードを実行して、前記表示部からーザまでの前記テスト距離を計測し、前記テスト距離に対応する前記観察領域の入力を受け付けて前記テスト距離と前記観察領域の関係を検出し、
前記観察領域推定モードを実行して、前記表示部からーザまでの前記距離を計測し、前記距離及び前記検出された関係に基づき、前記観察領域を推定する請求項1乃至4の何れか1つの観察領域推定方法。
The running calibration mode, the said test distance from the display unit to User chromatography The measures, detects the relationship between the observation area and the test distance accepts an input of the observation region corresponding to the test distance And
Run the observation region estimation mode the distance from the display unit to User chromatography The measures, based on the distance and the detected relationship, any one of claims 1 to 4 for estimating the observation region One observation area estimation method.
観察領域推定モードを実行し観察領域を推定する観察領域推定装置であって、
表示部と、
前記表示部から前記表示部に対向するユーザまでの距離を計測する計測部と、
距離、及びキャリブレーションモードで記録された前記表示部から前記表示部に対向するユーザまでのテスト距離と前記表示部におけるユーザによる観察領域との関係に基づき、前記距離に応じた前記観察領域を推定する推定部と、
を備える観察領域推定装置。
An observation area estimation apparatus that executes an observation area estimation mode to estimate an observation area,
A display unit,
A measurement unit configured to measure a distance from the display unit to a user facing the display unit;
Based on prior Symbol distance, and the relationship between the observation area by the user on the display unit and the test distance to the user facing the display unit from the display unit recorded in the calibration mode, the observation area corresponding to the distance An estimation unit that estimates
An observation area estimation apparatus comprising:
前記表示部は透過型表示器である請求項6の観察領域推定装置。   The observation area estimation apparatus according to claim 6, wherein the display unit is a transmissive display. 請求項1乃至5の何れか1つの方法をコンピュータに実行させるための手順を備えるプログラム。   A program comprising a procedure for causing a computer to execute the method of any one of claims 1 to 5.
JP2015235927A 2015-12-02 2015-12-02 Observation area estimation method, observation area estimation apparatus, and program Active JP6515022B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015235927A JP6515022B2 (en) 2015-12-02 2015-12-02 Observation area estimation method, observation area estimation apparatus, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015235927A JP6515022B2 (en) 2015-12-02 2015-12-02 Observation area estimation method, observation area estimation apparatus, and program

Publications (2)

Publication Number Publication Date
JP2017103638A JP2017103638A (en) 2017-06-08
JP6515022B2 true JP6515022B2 (en) 2019-05-15

Family

ID=59015689

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015235927A Active JP6515022B2 (en) 2015-12-02 2015-12-02 Observation area estimation method, observation area estimation apparatus, and program

Country Status (1)

Country Link
JP (1) JP6515022B2 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020262738A1 (en) * 2019-06-28 2020-12-30 전자부품연구원 Ar showcase using transparent oled display
JP7452638B2 (en) 2020-05-18 2024-03-19 日本電信電話株式会社 Display information control device, display information control method, and program
TW202316179A (en) * 2021-10-08 2023-04-16 日商半導體能源研究所股份有限公司 Electronic apparatus

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5151207B2 (en) * 2007-03-28 2013-02-27 株式会社ニコン Display device
JP2010232772A (en) * 2009-03-26 2010-10-14 Nomura Research Institute Ltd Content viewer analyzer, content viewer analyzing method, and program
US9715862B2 (en) * 2014-03-28 2017-07-25 Canon Kabushiki Kaisha Image processing apparatus and control method thereof

Also Published As

Publication number Publication date
JP2017103638A (en) 2017-06-08

Similar Documents

Publication Publication Date Title
JP6659924B2 (en) Adjusting the presentation of the head-mounted display
US10007351B2 (en) Three-dimensional user interface device and three-dimensional operation processing method
TWI544447B (en) System and method for augmented reality
CN106705837B (en) Object measuring method and device based on gestures
US9875408B2 (en) Setting apparatus, output method, and non-transitory computer-readable storage medium
US10460466B2 (en) Line-of-sight measurement system, line-of-sight measurement method and program thereof
NZ744300A (en) Systems and methods for augmented reality
US20120026376A1 (en) Anamorphic projection device
JP2011227875A5 (en) Information processing system, information processing method, and program
JP2013235373A5 (en)
JP2015079444A5 (en)
US20160078685A1 (en) Display control device, display control method, and recording medium
US20190332244A1 (en) Controlling content displayed in a display
JP6515022B2 (en) Observation area estimation method, observation area estimation apparatus, and program
JP7005224B2 (en) Information processing equipment, systems, image processing methods, computer programs, and storage media
JP2020008502A (en) Depth acquisition device by polarization stereo camera, and method of the same
JP2015079433A5 (en)
KR20140079059A (en) Device of displaying 3d image using at least one of gaze direction of user or gravity direction
US20170223321A1 (en) Projection of image onto object
CN111854661A (en) Visualization apparatus and storage medium
TWI736214B (en) Display control device, display control method, program and non-temporary computer readable information recording medium
JP5805013B2 (en) Captured image display device, captured image display method, and program
US20170337707A1 (en) Method and system for transforming between physical images and virtual images
US9552059B2 (en) Information processing method and electronic device
JP2019066196A (en) Inclination measuring device and inclination measuring method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171218

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180925

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181016

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181206

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190409

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190415

R150 Certificate of patent or registration of utility model

Ref document number: 6515022

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150