JP2018092518A - Display control system and display control program - Google Patents
Display control system and display control program Download PDFInfo
- Publication number
- JP2018092518A JP2018092518A JP2016237435A JP2016237435A JP2018092518A JP 2018092518 A JP2018092518 A JP 2018092518A JP 2016237435 A JP2016237435 A JP 2016237435A JP 2016237435 A JP2016237435 A JP 2016237435A JP 2018092518 A JP2018092518 A JP 2018092518A
- Authority
- JP
- Japan
- Prior art keywords
- viewpoint
- pointer
- display
- control unit
- display control
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
本発明は、表示制御システムおよび表示制御プログラムに関する。 The present invention relates to a display control system and a display control program.
従来、ユーザインタフェースの一つとして利用者による操作が可能なポインタが知られている。また、利用者の視点を検出する技術も知られている。例えば、利用者が特許文献１においては、視線方向および手動操作の検出結果に基づいてディスプレイ画面上のポインタを表示させる技術が開示されている。 Conventionally, a pointer that can be operated by a user is known as one of user interfaces. A technique for detecting a user's viewpoint is also known. For example, Patent Document 1 discloses a technique in which a user displays a pointer on a display screen based on a line-of-sight direction and a manual operation detection result.
従来の技術のように、利用者の視点に基づいてポインタが制御される構成においては、利用者がポインタのみならず視点も把握できることが好ましい。しかし、ポインタと視点の検出位置との双方が画面上に表示されると、煩雑な画面となってしまう。
本発明は、前記課題にかんがみてなされたもので、煩雑な画面とすることなくポインタと視点との双方を把握可能にする技術を提供することを目的とする。
In a configuration in which the pointer is controlled based on the viewpoint of the user as in the conventional technique, it is preferable that the user can grasp not only the pointer but also the viewpoint. However, if both the pointer and the detection position of the viewpoint are displayed on the screen, the screen becomes complicated.
The present invention has been made in view of the above problems, and an object of the present invention is to provide a technique that makes it possible to grasp both a pointer and a viewpoint without creating a complicated screen.
上記の目的を達成するため、表示制御システムは、利用者の視点を検出する視点検出部と、ポインティングデバイスの出力に基づいて位置が変化し、視点に関する情報に基づいて表示態様が変化するポインタを表示部に表示するポインタ表示制御部と、を備える。 In order to achieve the above object, the display control system includes a viewpoint detection unit that detects the viewpoint of the user, and a pointer that changes in position based on the output of the pointing device and changes in display mode based on information about the viewpoint. A pointer display control unit for displaying on the display unit.
また、上記の目的を達成するため、表示制御プログラムは、コンピュータを、利用者の視点を検出する視点検出部、ポインティングデバイスの出力に基づいて位置が変化し、視点に関する情報に基づいて表示態様が変化するポインタを表示部に表示するポインタ表示制御部、として機能させる。 In order to achieve the above object, the display control program changes the position of the computer based on the output of the viewpoint detection unit and the pointing device that detects the viewpoint of the user, and the display mode is based on the information about the viewpoint. It is made to function as a pointer display control unit for displaying the changing pointer on the display unit.
すなわち、ポインティングデバイスによって操作可能なポインタの表示態様が、視点に関する情報に基づいて変化するように構成される。この構成によれば、視点に関する情報をポインタ以外のアイコンで表示しなくても、利用者は、ポインタと視点に関する情報を認識することができる。従って、ポインタと別のアイコンで視点に関する情報を表示する構成と比較して、煩雑な画面とすることなくポインタと視点との双方を把握できるように構成することができる。 In other words, the display mode of the pointer that can be operated by the pointing device is configured to change based on the information regarding the viewpoint. According to this configuration, the user can recognize the information regarding the pointer and the viewpoint without displaying the information regarding the viewpoint with an icon other than the pointer. Therefore, as compared with a configuration in which information related to the viewpoint is displayed using a different icon from the pointer, it is possible to configure both the pointer and the viewpoint without grasping a complicated screen.
ここでは、下記の順序に従って本発明の実施の形態について説明する。
（１）表示制御システムの構成：
（２）表示制御処理：
（３）他の実施形態：
Here, embodiments of the present invention will be described in the following order.
(1) Configuration of display control system:
(2) Display control processing:
(3) Other embodiments:
（１）表示制御システムの構成：
図１は、本発明の一実施形態である表示制御システム１０の構成を示すブロック図である。表示制御システム１０は、ＣＰＵ、ＲＡＭ、ＲＯＭ等を備える制御部２０を備えており、制御部２０は、当該ＲＯＭや記録媒体３０に記録された所望のプログラムを実行することができる。
(1) Configuration of display control system:
FIG. 1 is a block diagram showing a configuration of a
本実施形態において、制御部２０は、図示しないナビゲーションプログラムを実行することができ、ナビゲーションプログラムを実行することにより経路案内を実行することができる。すなわち、制御部２０は、ナビゲーションプログラムを実行することにより、表示部としてのディスプレイ４０に地図を表示し、図示しないＧＰＳ信号等に基づいて表示制御システム１０が搭載された車両を指定の目的地まで誘導することができる。
In the present embodiment, the
また、車両は、ディスプレイ（表示部）４０、タッチパッド４１および視線検出センサ４２を備えている。ディスプレイ４０は、図示しないインタフェースを介して制御部２０と接続されており、制御部２０は、ディスプレイ４０に対して制御信号を出力することにより、任意の座標を指定し、任意の画像をディスプレイ４０に表示させることができる。タッチパッド４１は、矩形平面の接触検出面を備えた入力デバイスであり、接触検出面に対して検出対象物が接触した位置を検出し、検出位置を示す座標を出力する。制御部２０は、当該座標に基づいて接触位置を取得することができる。
The vehicle also includes a display (display unit) 40, a
視線検出センサ４２は、赤外線出力部と少なくとも２個の赤外線カメラとを備えている。当該赤外線カメラは、運転者の顔を視野に含むように車室内の構造体（例えば、インストルメントパネルの壁面）に取り付けられている。赤外線カメラは、赤外線出力部から出力された赤外線によって撮影された利用者（運転者）の目の像に基づいて、目の位置および利用者の視線方向（ベクトル）を検出し、出力する。制御部２０は、当該出力に基づいて、予め定義された３次元空間内で目の位置および視線方向を特定することができる。視線方向は、例えば、両眼のそれぞれにおいて設定された基準点と、眼球の動きに応じて位置が変化する動点とを結ぶ方向として取得され、他にも種々の方式が採用されてよい。また、両眼のそれぞれにおいて特定された視線方向の平均値等によって利用者の視線方向を１方向に特定することができるが、視線方向の特定方法も種々の方法が採用され得る。
The line-of-
本実施形態においては、以上のようなナビゲーションプログラムで実現される機能に関するユーザインタフェースを提供するため、制御部２０は、各種の機能に応じたユーザインタフェース画面をディスプレイ４０に表示させる。ユーザインタフェース画面を描画するための画像情報（地図描画情報やアイコン描画情報等）は予め表示情報３０ａとして記録媒体３０に記録されている。制御部２０がナビゲーションプログラムを実行すると、制御部２０は表示情報３０ａを参照して地図等を含むユーザインタフェース画面を描画する。描画された情報はＲＡＭ等に記録され、制御部２０は、当該描画されたユーザインタフェース画面の情報を取得し、当該ユーザインタフェース画面を表示するための制御信号をディスプレイ４０に対して出力する。この結果、ナビゲーションプログラムにおけるユーザインタフェース画面がディスプレイ４０に表示される。
In the present embodiment, the
制御部２０は、ユーザインタフェース画面が表示されている状態において、タッチパッド４１に対する利用者の操作およびディスプレイ４０に対する視点の入力を受け付ける。すなわち、制御部２０は、利用者のタッチパッド４１に対する操作によってユーザインタフェース画面上のボタンの選択等を受け付ける。また、制御部２０は、視点によってポインタの位置を補正することが可能である。当該補正は種々の態様で実施されて良いが、本実施形態において制御部２０は、ポインタの現在位置から視点方向に向けてタッチパッド４１による操作が行われた場合に、ポインタを視点に表示する補正を行う。
The
ナビゲーションプログラムは、このようなポインタをディスプレイ４０に表示するため表示制御プログラム２１を備えている。当該表示制御プログラム２１による表示制御を実行するため、視点検出部２１ａとポインタ表示制御部２１ｂとを備えている。
The navigation program includes a
視点検出部２１ａは、利用者の視点を検出する機能を制御部２０に実現させるプログラムモジュールである。本実施形態においては、視点の検出領域となるディスプレイ４０の位置が、車室内空間の位置を規定する３次元座標系によって予め特定されている。制御部２０は、視線検出センサ４２の出力に基づいて、利用者の目の位置および視線方向を取得し、画面の位置が規定された３次元座標系内で利用者の目の位置および視線方向を特定する。そして、当該目の位置から視線方向に延びる仮想的な線と、ディスプレイ４０の表示面との交点を視点として特定する。画面上に視点が存在しない場合、例えば、視点が不定とされてもよいし、他の構造体（例えば、インストルメントパネル等）上に存在すると判定されても良い。
The
ポインタ表示制御部２１ｂは、ポインティングデバイスの出力に基づいて位置が変化し、視点に関する情報に基づいて表示態様が変化するポインタを表示部に表示する機能を制御部２０に実現させるプログラムモジュールである。本実施形態においては、タッチパッド４１がポインティングデバイスとして機能する。すなわち、制御部２０は、タッチパッド４１が出力する信号に基づいて利用者が入力した（触れた）タッチパッド４１上の座標を取得する。制御部２０は、経時的な当該座標の変化に基づいて利用者の操作（なぞる操作やタップ操作等）を特定する。制御部２０は、当該操作がタッチ位置を示す座標の変化であった場合に、当該座標の変化に応じた方向および距離だけポインタの現在位置を変化させる。
The pointer
本実施形態においてポインタの表示態様は、視点に応じて変化し得る。このため、複数の表示態様のポインタを表示するための画像情報が予め表示情報３０ａとして記録媒体３０に記録されている。具体的には、本実施形態においてポインタは、ポインタ本体の画像と視点方向マークとによって構成される。視点方向マークは、ポインタから見た視点の方向を示すマークであり、ポインタ本体の画像上に表示される。当該視点方向マークを示す画像情報は表示情報３０ａに含まれている。視点方向マークの形状は種々の形状であって良く、例えば、丸いアイコンや矢印のアイコン等が挙げられる。
In the present embodiment, the display mode of the pointer can change depending on the viewpoint. For this reason, image information for displaying pointers in a plurality of display modes is recorded in advance on the
また、本実施形態においては、ポインタと視点との距離に応じてポインタ本体の大きさが段階的に変化するように構成されており、大きさの異なる複数のポインタを示す画像情報がポインタ本体の画像情報として表示情報３０ａに含まれている。なお、ポインタと視点との距離に応じたポインタの態様の変化は種々の態様であって良く、例えば、ポインタ本体の色のグラデーション数の変化等であっても良い。さらに、本実施形態においては、視点の検出精度に応じてポインタの色が変化するように構成されており、表示すべき色が検出精度に対応づけられて表示情報３０ａに記述されている。なお、検出精度に応じたポインタの態様の変化は種々の態様であって良く、例えば、ポインタの形状変化等であっても良い。
Further, in the present embodiment, the size of the pointer main body is changed stepwise according to the distance between the pointer and the viewpoint, and image information indicating a plurality of pointers having different sizes is displayed on the pointer main body. It is included in the
制御部２０は、ポインタの現在位置と視点とに基づいてポインタから見た視点の方向と、ポインタと視点との距離を取得する。また、視点の検出精度は、視点の正確性を評価する指標であれば良く、例えば、制御部２０が視点の検出履歴に基づいて単位距離あたりの検出回数を取得して検出精度と見なす構成等を採用可能である。すなわち、単位距離あたりの検出回数が多いほど検出精度が高いと見なすことができる。
The
以上のようにして、ポインタから見た視点の方向、ポインタと視点との距離、視点の検出精度が取得されると、制御部２０は、表示情報３０ａを参照し、これらの内容に応じたポインタの画像情報を取得し、これらの内容に応じたポインタを表示するための画像情報を生成する。制御部２０は、ポインタを表示すべきタイミングにおいて、ディスプレイ４０に当該生成された情報を出力し、ポインタの現在位置に対応するディスプレイ４０上の位置にポインタを表示させる。また、制御部２０は、当該現在位置をＲＡＭに保存し、前回の表示位置におけるポインタの画像を消去させる。
As described above, when the direction of the viewpoint viewed from the pointer, the distance between the pointer and the viewpoint, and the detection accuracy of the viewpoint are acquired, the
以上の構成によれば、ポインタの表示態様が、視点に関する情報に基づいて変化する。この構成によれば、視点に関する情報をポインタ以外のアイコンで表示しなくても、利用者は、ポインタと視点に関する情報を認識することができる。従って、ポインタと別のアイコンで視点に関する情報を表示する構成と比較して、煩雑な画面とすることなくポインタと視点との双方を把握できるように構成することができる。 According to the above configuration, the display mode of the pointer changes based on the information regarding the viewpoint. According to this configuration, the user can recognize the information regarding the pointer and the viewpoint without displaying the information regarding the viewpoint with an icon other than the pointer. Therefore, as compared with a configuration in which information related to the viewpoint is displayed using a different icon from the pointer, it is possible to configure both the pointer and the viewpoint without grasping a complicated screen.
（２）表示制御処理：
次に上述の構成における表示制御処理を詳細に説明する。図２は、当該表示制御処理を示すフローチャートである。本実施形態において制御部２０は、ナビゲーションプログラムの実行下において図２に示す表示制御処理を実行する。表示制御処理が開始されると、制御部２０は、視点検出部２１ａおよびポインタ表示制御部２１ｂの処理により、視点情報を取得する（ステップＳ１００）。すなわち、制御部２０は、視点検出部２１ａの処理により、視点を検出する。検出された視点は、最新の履歴としてＲＡＭ等に記録される。また、制御部２０は、最新の履歴を含む既定回数分の履歴を参照し、単位距離あたりの検出回数を検出精度として取得する。
(2) Display control processing:
Next, the display control process in the above configuration will be described in detail. FIG. 2 is a flowchart showing the display control process. In the present embodiment, the
次に、制御部２０は、ポインタ表示制御部２１ｂの処理により、ポインタの現在位置を取得する（ステップＳ１０５）。すなわち、本実施形態において制御部２０は、タッチパッド４１による操作等に応じてポインタの現在位置を特定する処理を行っており、最新の現在位置はＲＡＭ等に記録されている。そこで、制御部２０は、当該最新の現在位置をポインタの現在位置として取得する。
Next, the
次に、制御部２０は、ポインタ表示制御部２１ｂの処理により、ポインタと視点との相対位置関係を取得する（ステップＳ１１０）。すなわち、制御部２０は、ステップＳ１０５で取得されたポインタの現在位置と、ステップＳ１００で取得された視点とに基づいて、ポインタからみた視点の方向を、例えば、ベクトル等によって特定する。また、制御部２０は、ステップＳ１０５で取得されたポインタの現在位置と、ステップＳ１００で取得された視点とに基づいて、両者の距離を取得する。
Next, the
次に、制御部２０は、ポインタ表示制御部２１ｂの処理により、ステップＳ１１０で取得された、ポインタと視点との距離が閾値以上であるか否かを判定する（ステップＳ１１５）。すなわち、本実施形態においては、ポインタと視点との距離に応じてポインタの大きさを段階的に変化させるための閾値が予め定義されており、制御部２０は、ステップＳ１１０で取得された距離と閾値とを比較する。
Next, the
ステップＳ１１５において、ポインタと視点との距離が閾値以上であると判定されない場合、制御部２０は、ポインタ表示制御部２１ｂの処理により、ポインタサイズを小に設定する（ステップＳ１２０）。一方、ステップＳ１１５において、ポインタと視点との距離が閾値以上であると判定された場合、制御部２０は、ポインタ表示制御部２１ｂの処理により、ポインタサイズを大に設定する（ステップＳ１２５）。すなわち、この例においてはポインタと視点との距離に応じてポインタ本体の大きさが２段階に変化し、制御部２０は、ポインタと視点との距離に応じてポインタ本体の大きさを設定する。設定された大きさを示す情報は、ＲＡＭ等に記録される。
If it is not determined in step S115 that the distance between the pointer and the viewpoint is equal to or greater than the threshold value, the
次に、制御部２０は、ポインタ表示制御部２１ｂの処理により、視点方向マークの表示位置を設定する（ステップＳ１３０）。すなわち、制御部２０は、ステップＳ１１０で取得された、ポインタからみた視点の方向を示すように、視点方向マークの表示位置を決定する。視点方向マークの表示位置は、当該表示位置に視点方向マークが表示されることにより、利用者がポインタからみた視点の方向を認識できるように設定できれば良く、例えば、ポインタ本体の中央と視点とを結ぶ直線上において、ポインタ本体の外周に視点方向マークが接するような位置を表示位置とすることが可能である。設定された大きさを示す表示位置は、ＲＡＭ等に記録される。
Next, the
むろん、ポインタから見た視点の方向は、上下左右など概略的に決定されても良く、この場合、視点方向マークの表示位置は、ポインタの画像の中心から見た相対位置を把握できるような位置等であれば良い。従って、上述のようなポインタの画像内の上下左右の位置であっても良いし、ポインタの画像外でポインタの外周に接する位置や外周の近傍に視点方向マークが表示されても良い。また、ポインタと視点とがほぼ一致する（距離が既定の値以下である）場合、視点方向マークによって視点の方向を示す必要性が低くなるため、視点方向マークをポインタの中央に配置するなどして、ポインタと視点とがほぼ一致することを示すように構成されていても良い。 Of course, the direction of the viewpoint viewed from the pointer may be determined roughly such as up, down, left, and right. In this case, the display position of the viewpoint direction mark is a position where the relative position viewed from the center of the pointer image can be grasped. Etc. Therefore, it may be the vertical and horizontal positions in the pointer image as described above, or the viewpoint direction mark may be displayed outside the pointer image and in contact with the outer periphery of the pointer or in the vicinity of the outer periphery. In addition, when the pointer and the viewpoint are almost the same (distance is equal to or less than the predetermined value), it is not necessary to indicate the direction of the viewpoint by the viewpoint direction mark, so the viewpoint direction mark is arranged at the center of the pointer. Thus, the pointer and the viewpoint may be configured to substantially match.
次に、制御部２０は、ポインタ表示制御部２１ｂの処理により、視点の検出精度が既定値以上であるか否かを判定する（ステップＳ１３５）。すなわち、本実施形態においては、視点の検出精度に応じてポインタの色を変化させるため、精度の良否を判定するための値が既定値として予め定義されており、制御部２０は、ステップＳ１００で取得された検出精度と既定値とを比較する。
Next, the
ステップＳ１３５において、視点の検出精度が既定値以上であると判定されない場合、制御部２０は、ポインタ表示制御部２１ｂの処理により、ポインタの色を赤に設定する（ステップＳ１４０）。一方、ステップＳ１３５において、視点の検出精度が既定値以上であると判定された場合、制御部２０は、ポインタ表示制御部２１ｂの処理により、ポインタの色を緑に設定する（ステップＳ１４５）。すなわち、制御部２０は、ポインタの検出精度が既定値よりも悪い場合には、ポインタの色を、警告の意味合いを込めた色である赤色に設定する。設定された色を示す情報は、ＲＡＭ等に記録される。
If it is not determined in step S135 that the viewpoint detection accuracy is greater than or equal to the predetermined value, the
次に、制御部２０は、ポインタ表示制御部２１ｂの処理により、ポインタを表示する（ステップＳ１５０）。すなわち、制御部２０は、ＲＡＭ等に記録されたポインタの設定を参照し、設定通りのポインタを描画するためにステップＳ１２０またはＳ１２５で設定されたポインタ本体の画像情報を表示情報３０ａから抽出する。さらに、制御部２０は、ステップＳ１３０での設定に従い、ポインタ本体の画像内における視点方向マークの表示位置に当該視点方向マークの画像を重畳する。さらに、制御部２０は、ステップＳ１４０またはＳ１４５で設定された色でポインタが発色するように画像情報を生成する。そして、制御部２０は、当該生成された情報をディスプレイ４０に出力し、ポインタの現在位置に対応するディスプレイ４０上の位置にポインタを表示させる。
Next, the
図３Ａ〜図３Ｃは、ディスプレイ４０に表示されるユーザインタフェース画面の例を簡略化して示す図である。図３Ａ〜図３Ｃに示す例においては、ディスプレイ４０にボタンＢ1，Ｂ2が表示されている。利用者がタッチパッド４１を操作するとポインタＰが表示され、操作に応じてポインタＰが移動する。図３Ａ、図３Ｃにおいては視点が位置Ｐ1であることが想定され、図３Ｂにおいては視点が位置Ｐ2であることが想定されている。
3A to 3C are diagrams showing simplified examples of user interface screens displayed on the
図３Ａにおける視点の位置Ｐ1は、図３Ｂにおける視点の位置Ｐ2よりもポインタＰから遠い。そして、図３Ａにおける視点の位置Ｐ1とポインタＰとの距離は閾値以上であり、図３Ｂにおける視点の位置Ｐ2とポインタＰとの距離は閾値より小さい。従って、図３Ａに示すポインタＰは、図３Ｂに示すポインタＰよりも大きい画像である。 The viewpoint position P 1 in FIG. 3A is farther from the pointer P than the viewpoint position P 2 in FIG. 3B. The distance between the viewpoint position P 1 and the pointer P in FIG. 3A is equal to or greater than the threshold, and the distance between the viewpoint position P 2 and the pointer P in FIG. 3B is smaller than the threshold. Therefore, the pointer P shown in FIG. 3A is an image larger than the pointer P shown in FIG. 3B.
図３Ａ〜図３Ｃに示す例において、視点方向マークはポインタＰ内に存在する黒丸である。そして、図３Ａ、図３Ｃにおける視点の位置Ｐ1はポインタＰの左側であるため、視点方向マークはポインタＰの中央よりも左側に表示されている。一方、図３Ｂにおける視点の位置Ｐ2はポインタＰの右側であるため、視点方向マークはポインタＰの中央よりも右側に表示されている。 In the example shown in FIGS. 3A to 3C, the viewpoint direction mark is a black circle existing in the pointer P. Since the viewpoint position P 1 in FIGS. 3A and 3C is on the left side of the pointer P, the viewpoint direction mark is displayed on the left side of the center of the pointer P. On the other hand, since the viewpoint position P 2 in FIG. 3B is on the right side of the pointer P, the viewpoint direction mark is displayed on the right side of the center of the pointer P.
さらに、図３Ａにおける視点の検出精度は、図３Ｃにおける視点の検出精度よりも高精度である。そして、図３Ａにおける視点の検出精度は既定値以上であり、図３Ｃにおける視点の検出精度は既定値より低い。従って、図３Ａに示すポインタＰは緑で着色され、図３Ｃに示すポインタＰは赤で着色される。図３Ａ，図３Ｃにおいては、緑に着色されたポインタＰを白抜きで模式的に示し、赤に着色されたポインタＰをハッチングで模式的に示している。 Further, the viewpoint detection accuracy in FIG. 3A is higher than the viewpoint detection accuracy in FIG. 3C. The viewpoint detection accuracy in FIG. 3A is equal to or higher than a predetermined value, and the viewpoint detection accuracy in FIG. 3C is lower than the predetermined value. Therefore, the pointer P shown in FIG. 3A is colored green, and the pointer P shown in FIG. 3C is colored red. In FIGS. 3A and 3C, the pointer P colored green is schematically shown in white, and the pointer P colored red is schematically shown by hatching.
（３）他の実施形態：
以上の実施形態は本発明を実施するための一例であり、視点に関する情報に基づいて表示態様が変化するポインタを表示部に表示する限りにおいて、他にも種々の実施形態を採用可能である。例えば、表示制御システムは、各種のシステム、汎用コンピュータシステムに適用されていても良い。また、表示制御システムは、複数の装置（例えば、クライアントとサーバ）によって実現されるシステムであっても良い。
(3) Other embodiments:
The above embodiment is an example for carrying out the present invention, and various other embodiments can be adopted as long as a pointer whose display mode changes based on information on the viewpoint is displayed on the display unit. For example, the display control system may be applied to various systems and general-purpose computer systems. Further, the display control system may be a system realized by a plurality of devices (for example, a client and a server).
さらに、表示制御システムを構成する視点検出部２１ａ、ポインタ表示制御部２１ｂの少なくとも一部が複数の装置に分かれて存在していても良い。例えば、ポインタ表示制御部２１ｂがディスプレイ４０内の制御部で実現されても良いし、ポインタ表示制御部２１ｂがタッチパッド４１内の制御部で実現されても良いし、視点検出部２１ａが視線検出センサ４２内の制御部で実現されても良い。むろん、上述の実施形態の一部の構成が省略されてもよいし、処理の順序が変動または省略されてもよい。
Furthermore, at least a part of the
視点検出部は、利用者の視点を検出することができればよく、種々の構成を採用可能である。例えば、上述の実施形態のように、利用者の目を撮影するカメラの出力に基づいて利用者の目の動作を特定することにより視線を特定し、視線と予め特定されたディスプレイ画面との交点を視点と見なす構成等を採用可能である。検出対象となる目は１個であっても良いし、２個であっても良いが、精度を高めるためには検出対象の目は２個であることが好ましい。２個の目の視線が特定された場合における視点は、各目の視線に基づいて特定された各視点から統計的に特定されても良いし、利き目によるバイアスに基づいて視点が特定されても良い。さらに、視点は、少なくとも、利用者が視認している表示領域上で特定されれば良い。 The viewpoint detection unit only needs to be able to detect the viewpoint of the user, and various configurations can be employed. For example, as in the above-described embodiment, the line of sight is specified by specifying the movement of the user's eyes based on the output of the camera that captures the user's eyes, and the intersection of the line of sight and the previously specified display screen It is possible to adopt a configuration that regards as a viewpoint. The number of eyes to be detected may be one or two, but in order to improve accuracy, it is preferable that the number of eyes to be detected is two. The viewpoint when the eyes of two eyes are specified may be statistically specified from each viewpoint specified based on the eyes of each eye, or the viewpoint is specified based on the bias by the dominant eye. Also good. Furthermore, the viewpoint may be specified at least on the display area that the user is viewing.
ポインタ表示制御部は、ポインティングデバイスの出力に基づいて位置が変化し、視点に関する情報に基づいて表示態様が変化するポインタを表示部に表示することができればよい。すなわち、ポインタの位置がポインティングデバイスによって制御され、ポインタの表示態様が視点に関する情報に基づいて制御されるように構成されていれば良い。 The pointer display control unit only needs to be able to display on the display unit a pointer whose position changes based on the output of the pointing device and whose display mode changes based on information on the viewpoint. That is, it is only necessary that the position of the pointer is controlled by the pointing device, and the display mode of the pointer is controlled based on the information regarding the viewpoint.
ポインタは指示対象を指示することができればよく、種々の表示態様のアイコン等によって構成可能である。指示対象は、ポインタで指示される対象であれば良く、ディスプレイ上の任意の画素であっても良いし、画像（アイコン等）であっても良い。 The pointer only needs to be able to indicate an instruction target, and can be constituted by icons of various display modes. The instruction target may be an object specified by a pointer, and may be an arbitrary pixel on the display or an image (such as an icon).
ポインティングデバイスは各種のデバイスを想定可能であり、少なくともポインタの位置を変化させるための入力を受け付けることが可能なデバイスであれば良い。従って、上述のようなタッチパッドの他、ボタンやジョイスティック、接触センサ等の各種のデバイスをポインティングデバイスとすることができる。ポインティングデバイスの出力は、利用者が行ったポインティングデバイスへの操作を示す出力であれば良く、当該出力によって少なくともポインタの位置を制御することができればよい。むろん、ポインタの位置は、上述の実施形態のようにポインティングデバイスの出力と視点との組み合わせによって制御されても良い。 Various devices can be assumed as the pointing device, and any device that can accept at least an input for changing the position of the pointer may be used. Therefore, in addition to the touch pad as described above, various devices such as buttons, joysticks, and contact sensors can be used as pointing devices. The output of the pointing device only needs to be an output indicating an operation to the pointing device performed by the user, and it is sufficient that at least the position of the pointer can be controlled by the output. Of course, the position of the pointer may be controlled by a combination of the output of the pointing device and the viewpoint as in the above-described embodiment.
ポインタの表示態様は、視点に関する情報によって変化すれば良い。すなわち、視点の変化に応じてポインタの表示態様が変化することで、当該ポインタを視認した利用者が視点に関する情報を認識することができればよい。このため、ポインタの表示態様は、視点に関する情報が認識できるように変化することが好ましい。例えば、視点の位置やポインタとの関係を示すように、視点に関する情報としての値の変化に応じて、数値化し得るポインタの態様（特定の部分の大きさや色の濃さ、角度等）が変化する構成等が挙げられる。 The display mode of the pointer may be changed according to information on the viewpoint. That is, it is only necessary that the display mode of the pointer changes according to the change of the viewpoint, so that the user who has viewed the pointer can recognize the information regarding the viewpoint. For this reason, it is preferable that the display mode of a pointer changes so that the information regarding a viewpoint can be recognized. For example, the pointer mode (size of specific part, color density, angle, etc.) that can be quantified changes in accordance with the change in the value as information about the viewpoint, so as to indicate the position of the viewpoint and the relationship with the pointer. And the like.
なお、ポインタの表示態様は、上述の実施形態以外にも種々の態様で変化して良い。例えば、視点においてディスプレイ画面の奥行き方向の情報が考慮され、当該情報に応じて表示態様が変化しても良い。より具体的な例としては、例えば、ディスプレイ画面上にポリゴン等の３次元モデルが表示されている場合が挙げられる。この場合において、視点（または視点を中心とした所定範囲）に表示されている３次元モデルの部位が異なれば、視点が注がれている部位の仮想的な３次元空間での奥行き方向の位置が異なり得る。そして、当該奥行き方向の位置に応じてポインタの表示態様が変化する構成が採用されてもよい。 Note that the display mode of the pointer may be changed in various modes other than the above-described embodiment. For example, information in the depth direction of the display screen may be considered at the viewpoint, and the display mode may change according to the information. As a more specific example, for example, there is a case where a three-dimensional model such as a polygon is displayed on the display screen. In this case, if the part of the three-dimensional model displayed at the viewpoint (or the predetermined range centered on the viewpoint) is different, the position in the depth direction in the virtual three-dimensional space of the part where the viewpoint is poured Can be different. And the structure from which the display mode of a pointer changes according to the position of the said depth direction may be employ | adopted.
なお、視点の検出精度は、上述のような単位距離あたりの検出回数に限定されない。例えば、単位時間あたりの検出回数であっても良いし、片目による検出が両目による検出よりも精度が低いと見なされても良い。また、サングラスや眼鏡が着用された状態での検出が、着用されない状態での検出よりも精度が低いと見なされても良い。 The viewpoint detection accuracy is not limited to the number of detections per unit distance as described above. For example, it may be the number of detections per unit time, or the detection with one eye may be considered to be less accurate than the detection with both eyes. Further, the detection in a state where sunglasses or glasses are worn may be considered to be less accurate than the detection in a state where the sunglasses or glasses are not worn.
さらに、本発明のように、視点に関する情報に基づいて表示態様が変化するポインタを表示部に表示する手法は、プログラムや方法としても適用可能である。また、以上のようなシステム、プログラム、方法は、単独の装置として実現される場合や、複数の装置によって実現される場合が想定可能であり、各種の態様を含むものである。例えば、以上のような手段を備えたナビゲーションシステムや方法、プログラムを提供することが可能である。また、一部がソフトウェアであり一部がハードウェアであったりするなど、適宜、変更可能である。さらに、システムを制御するプログラムの記録媒体としても発明は成立する。むろん、そのソフトウェアの記録媒体は、磁気記録媒体であってもよいし光磁気記録媒体であってもよいし、今後開発されるいかなる記録媒体においても全く同様に考えることができる。 Furthermore, the method of displaying a pointer whose display mode changes based on information about the viewpoint on the display unit as in the present invention can also be applied as a program or method. The system, program, and method as described above can be realized as a single device or can be realized as a plurality of devices, and include various aspects. For example, it is possible to provide a navigation system, method, and program provided with the above means. Further, some changes may be made as appropriate, such as a part of software and a part of hardware. Furthermore, the invention can be realized as a recording medium for a program for controlling the system. Of course, the software recording medium may be a magnetic recording medium, a magneto-optical recording medium, or any recording medium to be developed in the future.
１０…表示制御システム、２０…制御部、２１…表示制御プログラム、２１ａ…視点検出部、２１ｂ…ポインタ表示制御部、３０…記録媒体、３０ａ…表示情報、４０…ディスプレイ、４１…タッチパッド、４２…視線検出センサ
DESCRIPTION OF
Claims (5)
ポインティングデバイスの出力に基づいて位置が変化し、前記視点に関する情報に基づいて表示態様が変化するポインタを表示部に表示するポインタ表示制御部と、
を備える表示制御システム。 A viewpoint detection unit that detects a user's viewpoint;
A pointer display control unit that displays a pointer on the display unit, the position of which changes based on the output of the pointing device, and the display mode changes based on the information on the viewpoint;
A display control system comprising:
前記ポインタから見た前記視点の方向である、
請求項１に記載の表示制御システム。 Information about the viewpoint
The direction of the viewpoint as seen from the pointer,
The display control system according to claim 1.
前記ポインタと前記視点との距離である、
請求項１または請求項２のいずれかに記載の表示制御システム。 Information about the viewpoint
A distance between the pointer and the viewpoint,
The display control system according to claim 1.
前記視点の検出精度である、
請求項１〜請求項３のいずれかに記載の表示制御システム。 Information about the viewpoint
Detection accuracy of the viewpoint,
The display control system according to any one of claims 1 to 3.
利用者の視点を検出する視点検出部、
ポインティングデバイスの出力に基づいて位置が変化し、前記視点に関する情報に基づいて表示態様が変化するポインタを表示部に表示するポインタ表示制御部、
として機能させる表示制御プログラム。 Computer
A viewpoint detector that detects the user's viewpoint;
A pointer display control unit that displays a pointer whose position changes based on the output of the pointing device and whose display mode changes based on the information on the viewpoint on the display unit;
Display control program to function as.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016237435A JP2018092518A (en) | 2016-12-07 | 2016-12-07 | Display control system and display control program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016237435A JP2018092518A (en) | 2016-12-07 | 2016-12-07 | Display control system and display control program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2018092518A true JP2018092518A (en) | 2018-06-14 |
Family
ID=62565586
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016237435A Pending JP2018092518A (en) | 2016-12-07 | 2016-12-07 | Display control system and display control program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2018092518A (en) |
-
2016
- 2016-12-07 JP JP2016237435A patent/JP2018092518A/en active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10489981B2 (en) | Information processing device, information processing method, and program for controlling display of a virtual object | |
| JP6611501B2 (en) | Information processing apparatus, virtual object operation method, computer program, and storage medium | |
| KR101541803B1 (en) | Image Recognition Apparatus, Operation Determining Method, and Program | |
| CN102859470B (en) | Object control device, object control method and integrated circuit | |
| KR102340298B1 (en) | Method and system for augmented reality display on vehicle windscreen | |
| CN106605187B (en) | Information processing apparatus, information processing method, and program | |
| JP2017059062A (en) | Information processing device, information processing method and program | |
| KR20120045667A (en) | Apparatus and method for generating screen for transmitting call using collage | |
| CN109213363B (en) | System and method for predicting pointer touch location or determining pointing in 3D space | |
| CN113544626A (en) | Information processing apparatus, information processing method, and computer-readable recording medium | |
| WO2017169273A1 (en) | Information processing device, information processing method, and program | |
| JP6911834B2 (en) | Information processing equipment, information processing methods, and programs | |
| JP2010205223A (en) | System and device for control following gesture for virtual object | |
| JP6095830B1 (en) | Visual field information collection method and program for causing a computer to execute the visual field information collection method | |
| WO2014103217A1 (en) | Operation device and operation detection method | |
| JP4678428B2 (en) | Virtual space position pointing device | |
| CN105759955B (en) | Input device | |
| US20240281087A1 (en) | Systems and methods for dynamic shape sketching using position indicator and processing device that displays visualization data based on position of position indicator | |
| JP7293620B2 (en) | Gesture detection device and gesture detection method | |
| JP2018092518A (en) | Display control system and display control program | |
| JP2014174879A (en) | Information processor and information program | |
| JP2014174880A (en) | Information processor and information program | |
| JP2014174091A (en) | Information providing device and information providing program | |
| KR20180060403A (en) | Control apparatus for drone based on image | |
| JP2018041219A (en) | View point acquisition system and view point acquire program |