Nothing Special   »   [go: up one dir, main page]

JP7452638B2 - 表示情報制御装置、表示情報制御方法およびプログラム - Google Patents

表示情報制御装置、表示情報制御方法およびプログラム Download PDF

Info

Publication number
JP7452638B2
JP7452638B2 JP2022523766A JP2022523766A JP7452638B2 JP 7452638 B2 JP7452638 B2 JP 7452638B2 JP 2022523766 A JP2022523766 A JP 2022523766A JP 2022523766 A JP2022523766 A JP 2022523766A JP 7452638 B2 JP7452638 B2 JP 7452638B2
Authority
JP
Japan
Prior art keywords
information
display
display device
displayed
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022523766A
Other languages
English (en)
Other versions
JPWO2021234785A1 (ja
Inventor
宇翔 草深
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Publication of JPWO2021234785A1 publication Critical patent/JPWO2021234785A1/ja
Application granted granted Critical
Publication of JP7452638B2 publication Critical patent/JP7452638B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/901Indexing; Data structures therefor; Storage structures
    • G06F16/9027Trees
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、表示情報制御装置、表示情報制御方法およびプログラムに関する。
ユーザと表示部との間の距離が変動しても、表示部上のユーザによる観察領域の推定を可能にするために、撮影画角からユーザ画角を推定することで、画像認識と端末の姿勢変化により選択肢を絞るようにした技術が提案されている(特許文献1)。
日本国特開2017-103638号公報
特許文献1に記載された技術では、端末の姿勢変化により、コンテンツで表示される複数の候補から一つを選択することが可能となる。その一方で、一つの候補に紐付けられた複数の階層構造を有する候補があるような場合には、その階層の深さ方向で候補を選択することができない。
本発明は前記のような実情に鑑みてなされたもので、その目的とするところは、表示部を閲覧するユーザの変化に応じて、階層構造を有する情報を適切に選択して表示することが可能な表示情報制御装置、表示情報制御方法およびプログラムを提供することにある。
本発明の一態様は、装置筐体に配設される表示装置に表示可能である、複数の階層構造を有する情報を記憶する記憶装置から情報を読み出し可能な表示情報制御装置であって、前記装置筐体における前記表示装置が配設される面と対向する面に配設された撮像装置により撮像された情報から少なくとも1つの被写体およびその位置情報を検出して、前記検出した結果に応じて前記被写体を前記表示装置に表示し、前記装置筐体を把持して前記表示装置を閲覧可能な閲覧者と前記表示装置との最大限の距離である最大閲覧距離と、前記閲覧者と前記装置筐体との現時点での距離である閲覧距離とに基づいて、前記表示装置に表示される被写体に係る、前記記憶装置に記憶される前記複数の階層構造を有する情報から前記表示装置に表示させる情報の階層を選択して当該階層に応じた情報を前記記憶装置から読み出して、前記撮像装置により撮像された画像に重畳して前記表示装置に表示させる表示制御部を備え、前記表示制御部は、前記撮像された情報から、前記表示装置に既に表示した被写体と異なる被写体または新たな位置情報に係る被写体を新たに検出したときに、前記新たに検出した結果に応じて前記被写体を前記表示装置に表示し、前記最大閲覧距離と前記現時点の距離である前記閲覧距離とに基づいて、前記表示させる情報の階層を新たに選択して、当該階層に応じた情報を前記記憶装置から新たに読み出して、前記撮像装置により撮像された画像に重畳して前記表示装置に新たに表示させる。
本発明の一態様によれば、表示部を閲覧するユーザの変化に応じて階層構造を有する情報を適切に選択して表示することが可能となる。
図1は、本発明の一実施形態に係る表示情報制御装置の機能構成を示すブロック図である。 図2Aは、同実施形態に係るキャリブレーションDBの内容を例示する図である。 図2Bは、同実施形態に係る表示中コンテンツDBの内容を例示する図である。 図2Cは、同実施形態に係るコンテンツDBの内容を例示する図である。 図2Dは、同実施形態に係る階層数/階層切替閾値DBの内容を例示する図である。 図3は、同実施形態に係る第1のキャリブレーション動作の処理内容を示すフローチャートである。 図4は、同実施形態に係る第2のキャリブレーションと表示動作の処理内容を示すフローチャートである。 図5は、同実施形態に係るモニタ画面を例示する図である。
以下、本発明の表示情報制御装置の機能を、スマートフォンなどの携帯情報端末にアプリケーションプログラムとしてインストールして実装させる場合の一実施形態について説明する。
[構成]
図1により、本実施形態に係る表示情報制御装置としての機能構成について説明する。図1に示すように表示情報制御装置は、キャリブレーション機能部11、キャリブレーションデータベース(以下「DB」と称する)12、階層数/階層切替閾値DB13、コンテキスト検出部14、ユーザ端末間距離計測部15、表示中コンテンツDB16、コンテンツID更新部17、表示コンテンツ生成部18、表示部19、およびコンテンツDB20で構成される。
キャリブレーション機能部11は、後述するキャリブレーション処理を行なうための機能部であり、最大移動距離の計測、キャリブレーションDB12への保存、コンテンツDB20とコンテンツDB20の記憶内容に基づいた各rootコンテンツID毎の全体階層数および階層切り替え閾値の算出と各算出結果の階層数/階層切替閾値DB13への保存を行なう。
図2Aは、キャリブレーションDB12の記憶内容を例示する図である。キャリブレーションDB12は、図2Aに示すように、最大距離と最大移動距離とを記憶する。
最大距離は、この表示情報制御装置を実装したスマートフォンなどの携帯情報端末をその閲覧者(以下「ユーザ」と称する)が使用する場合の最大閲覧距離、すなわちユーザが自然な状態の範囲内で手を最大限に伸ばした状態で、把持している携帯情報端末とユーザの目の位置との距離であり、事前のキャリブレーション処理により固定的に設定される。
最大移動距離は、表示情報制御装置としてのアプリケーションプログラムの起動時毎に計測する、携帯情報端末とユーザの目の位置との距離(dmin[mm])を最大距離(dmax[mm])から減じた差(dmax-dmin[mm])である。
図2Dは、階層数/階層切替閾値DB13の記憶内容を例示する図である。階層数/階層切替閾値DB13は、rootコンテンツのID毎に、全体階層数と、各階層を切り替える基準となる閾値とを記憶する。
コンテキスト検出部14は、携帯情報端末のディスプレイ(表示部19)と同一面に配設された撮像部での撮影画像中から、顔認識技術などを用いてこの携帯情報端末のユーザの画像を背景と区分して検出するもので、その検出結果をユーザ端末間距離計測部15へ出力する。
またコンテキスト検出部14は、携帯情報端末のディスプレイ(表示部19)と対向する面に配設された別の撮像部での撮影画像中から、ユーザが見ていると思われる前方の景色中の建築物や看板などの物体を被写体として抽出し、対応する位置情報を合わせて検出する。
位置情報の検出に関して説明する。携帯情報端末の表示部19が配設された面と対向する面に配設される別の撮像部で得られるユーザ前方の景色の画像と、画像中の各点位置の合焦距離、同撮像部の撮影画角、携帯情報端末が備えるGPS(Global Positioning System:全地球測位システム)受信機能に基づく現在位置の情報、同じく携帯情報端末に備えられる磁気センサによる現時点での対向方位、同じく備えられる加速度センサによる現時点での対向方向の仰俯角等を参照することで、撮影した画像中に写り込んでいる各被写体に対応する3次元空間内の位置情報(緯度、経度、高度)を検出することができる。
ユーザ端末間距離計測部15は、画像中のコンテキスト検出部14が検出した背景部分を除く、この携帯情報端末のユーザの画像、特に顔認識技術により得られるユーザの顔画像中の目の位置の合焦距離から、ユーザと端末間の距離を計測する。ユーザ端末間距離計測部15によるユーザと端末間の距離の計測は、表示情報制御装置としてのアプリケーションプログラムの実行中、随時継続される。
図2Bは、表示中コンテンツDB16の記憶内容を例示する図である。表示中コンテンツDB16は、現在の時点で表示されているコンテンツIDを記憶する。
コンテンツID更新部17は、表示中コンテンツDB16が記憶する現在時点のコンテンツIDと、キャリブレーションDB12が記憶する最大距離および最大移動距離と、ユーザ端末間距離計測部15で計測する現在時点でのユーザと端末間の距離とに基づいて、現在選択されているコンテンツIDを必要により更新する機能部であり、表示中コンテンツDB16の記憶内容を、適宜コンテンツID更新部17が書き換える。
表示コンテンツ生成部18は、コンテンツID更新部17の更新結果と、コンテンツDB20に記憶されるコンテンツ、階層数/階層切替閾値DB13の記憶内容に基づいて、表示部19に表示するためのコンテンツを生成する。
表示部19は、携帯情報端末のディスプレイである。表示部19は、表示情報制御装置としてのアプリケーションプログラムを実行中に、携帯情報端末の筐体で当該表示部19を配設した面と対向する面に配設された撮像部により得られる画像に対して、表示コンテンツ生成部18で生成したコンテンツの画像を重畳して表示することで、AR(拡張現実)技術に基づいたコンテンツの表示を実行する。
図2Cは、コンテンツDB20の記憶内容を例示する図である。コンテンツDB20は、表示部19で表示するためのコンテンツファイルとそのペアレントIDとを記憶する。例えば、コンテンツID:1、2のコンテンツは、いずれもJPEG(Joint Photographic Experts Group:カラー静止画像のデータ圧縮伸長規格)ファイルによるイメージデータであり、共に上位のペアレントIDを持たないrootコンテンツである。
また、コンテンツID:3のコンテンツは、アプリケーションプログラムであり、ソフトコンテンツID:1のコンテンツをペアレントとするもので、コンテンツID:1、3が階層構造を有することとなる。
一つのrootコンテンツに対し、複数の下層のコンテンツを有することが可能であり、結果としてコンテンツDB20には、複数のツリー状の階層構造を有するコンテンツがその階層構造を示す情報と共に記憶される。
前述したキャリブレーション機能部11、コンテキスト検出部14、ユーザ端末間距離計測部15、コンテンツID更新部17、および表示コンテンツ生成部18により、本実施形態における表示制御部10を構成する。
[動作]
まず事前設定として、携帯情報端末を表示情報制御装置として使用する際の、ユーザ固有の最大距離を記憶する第1のキャリブレーション動作について説明する。
図3は、この第1のキャリブレーション動作の処理内容を示すフローチャートである。表示コンテンツ生成部18は第1のキャリブレーション動作時に、まずコンテンツDB20に記憶されるガイドメッセージデータを用い、表示部19でユーザに対して、手を自然な範囲で最も遠い位置に伸ばすよう指示する表示を実行する(ステップS101)。
この状態で表示情報制御装置として機能する情報携帯端末の表示部19と同一面に配設された撮像部により得られる、ユーザを含む画像と、画像中の各部の合焦距離情報に基づいて、ユーザ端末間距離計測部15によりユーザと当該端末間の最大距離(dmax)を計測し、計測結果をキャリブレーション機能部11が取得する(ステップS102)。
キャリブレーション機能部11は、取得したユーザと当該端末間の最大距離(dmax)を図2(A)で示したようにキャリブレーションDB12に保存し(ステップS103)、以上で第1のキャリブレーション処理を終了する。
次に、携帯情報端末を表示情報制御装置として使用するアプリケーションプログラムの実行時の第2のキャリブレーションの表示の動作について説明する。
図4は、第2のキャリブレーションと表示の動作の処理内容を示すフローチャートである。まず、コンテキスト検出部14により情報携帯端末の表示部19と同一面に配設された撮像部により得られる、ユーザを含む画像と、画像中の各部の合焦距離情報に基づいて画像に写っている、ユーザを含む各物体とそれらの位置情報を検出する、(ステップS201)。
ユーザ端末間距離計測部15は、コンテキスト検出部14が検出した結果に基づいて、ユーザと携帯情報端末間で基準とする距離(dmin)を計測する(ステップS202)。
ユーザ端末間距離計測部15は、キャリブレーションDB12に保存している最大距離(dmax)と、現時点での計測により得た距離(dmin)とにより、減算
「dmax-dmin」を実行し、得た差を移動可能な距離(最大移動距離)としてキャリブレーションDB12に保存する(ステップS203)。
キャリブレーション機能部11により、コンテンツDB20に記憶しているデータコンテンツの内容を基に、ペアレントIDが「null」となっているrootコンテンツを求める(ステップS204)。
なお、コンテンツDB20からrootコンテンツを求めるに当たっては、携帯情報端末の表示部19と対向する面に配設される別の撮像部で得られる、ユーザが見ていると思われる前方の景色の画像と画像中の各点位置の合焦距離、同撮像部の撮影画角、携帯情報端末に備えられるGPS機能に基づく現在位置の情報、同じく携帯情報端末に備えられる磁気センサによる現時点での対向方位、同じく備えられる加速度センサによる現時点での対向方向の仰俯角等を参照して、撮影画像中の被写体となる物体に対応すると思われるrootコンテンツが選択される。
キャリブレーション機能部11は、求めたrootコンテンツ毎にコンテンツDB20に記憶している対応するコンテンツの全体の階層数を求める(ステップS205)。
キャリブレーション機能部11は、求めたrootコンテンツ毎の全体階層数を階層数/階層切替閾値DB13に保存させる(ステップS206)。
さらにキャリブレーション機能部11は、求めたrootコンテンツ毎の全体階層数と、キャリブレーションDB12に保存している最大移動距離とにより、各rootコンテンツ毎に階層を切り替える閾値を求めて、階層数/階層切替閾値DB13に保存させる(ステップS207)。
その後にコンテンツID更新部17は、表示中コンテンツDB16が保存している表示中のコンテンツID、キャリブレーションDB12が保存している最大距離(dmax)および最大移動距離、ユーザ端末間距離計測部15が計測する現時点でのユーザと携帯情報端末間の距離に基づいて、あらためて現在rootコンテンツ毎に選択される(表示するべき)コンテンツIDを算出して、表示中コンテンツDB16に保存された表示中のコンテンツIDとの一致比較を行なう(ステップS208)。
比較の結果として、算出した表示すべきコンテンツIDと表示中のコンテンツIDとが異なるか否かにより、コンテンツIDの更新の必要があるか否かを判断する(ステップS209)。
表示するべきコンテンツIDと表示中のコンテンツIDとが一致し、コンテンツIDの更新の必要がないと判断した場合(ステップS209のNO)、コンテンツID更新部17は以後、一定時間間隔で、現時点でのユーザと携帯情報端末間の距離を取得して自余の判断を行なうために、ステップS208からの処理に戻る。
こうして表示するべきコンテンツIDと表示中のコンテンツIDとが一致し、コンテンツIDの更新の必要がないと判断している間、ステップS208、S209の処理を繰り返し実行し、表示部19でのコンテンツの表示状態を維持する。
また、ステップS208において、表示するべきコンテンツIDと表示中のコンテンツIDとが異なり、コンテンツIDの更新の必要があると判断した場合(ステップS209のYES)、コンテンツID更新部17は、算出した表示するべきコンテンツIDに基づいて、表示中コンテンツDB16の保存内容を更新設定する(ステップS210)。
表示コンテンツ生成部18は、それまで選択中であったコンテンツIDとコンテンツDB20の記憶内容に基づいて、あらためて次に表示すべきコンテンツを決定する(ステップS211)。
ユーザと端末間の距離をd、表示するコンテンツの階層構造の深さをtmax、各階層を遷移するnからの相対トリガを「(dmax-dmin)/tmax」とした場合に、ユーザと端末間の距離dにしたがって表示するコンテンツtは、次式
=[(tmax(d-dmin))/(dmax-dmin)] …(1)
で表される。
例えば、dmin=50[mm]、dmax=80[mm]、tmax=3である場合に、ユーザと端末間の距離が10[mm]変化する毎にトリガとしてあらたなコンテンツを表示させるための制御を行なうことを示す。
表示コンテンツ生成部18は、選択中のコンテンツIDと階層数/階層切替閾値DB13の保存内容とに基づいて、選択中のコンテンツ毎の残階層数、すなわち選択したコンテンツと同一のrootコンテンツで、より深い(階層の数値が大きい)階層のコンテンツの数を求める(ステップS212)。
表示コンテンツ生成部18は、選択したコンテンツ、求めた残階層数、階層数/階層切替閾値DB13から読み出すrootコンテンツ毎の全体の階層数と各コンテンツの階層数に応じて、表示するコンテンツの総合的な画像を生成する(ステップS213)。
そして、生成した総合的なコンテンツの画像を、携帯情報端末の表示部19を配設した面と対向する面に配設された撮像部で撮像された画像に重畳して、表示部19で表示させる(ステップS214)。
図5は、表示部19で撮像している画像に重畳して表示する総合的なコンテンツの内容を例示するものである。ここでは説明のため、コンテンツの階層構造を示す3つの態様が混在るものとして説明するが、実際にはいずれか1つの表示態様で統一した表示制御が実行される。
表示部19の画面端部、例えば左上端において、コンテンツDB20に記憶される階層構造のコンテンツが最大5階層であり、現時点ではそのうちの中央、第3階層に対応するコンテンツを表示していることをバースケールの表示により表現している。
表示部19の画面中のコンテンツ「A」~「C」は、実際には建物名や店舗名、それらの被写体の属するジャンルを示すシンボルマーク、現時点で提供されているクーポンの情報等に該当する。
画面中央よりやや左側のコンテンツ「A」は、3重の同心円により、現在の表示中のコンテンツと残りの階層数が合わせて3であり、結果として残るコンテンツの階層が2であることを表現した表示態様である。
画面中央よりやや右側のコンテンツ「B」は、中心側の円を他と線種(あるいは色でも良い)を異ならせた2重の同心円により、現在の表示中のコンテンツと残りの階層数が合わせて2であり、結果として残るコンテンツの階層が1であることを表現した表示態様である。
画面中央よりやや下側のコンテンツ「C」は、コンテンツを囲んだ円とは別に、丸数字を添付して、残るコンテンツの階層が2であることを表現した表示態様である。
いずれも表示するコンテンツに合わせて現在表示しているコンテンツの階層数と、残りの階層数を併記することで、ユーザが望めば、より下位階層のコンテンツを表示可能であることを簡易な表現によりユーザに認識させることができる。
このような表示を実行しながら、コンテキスト検出部14は、表示部19中に表示する画像中でそれまでとは異なる被写体や位置情報が検出されたか否かを判断する(ステップS215)。
それまでとは異なる被写体や位置情報が検出されず(ステップS215のNO)、現在選択しているコンテンツと同一のrootコンテンツに基づく表示制御を継続すると判断した場合、ステップS208からの処理に戻って、同様の制御を繰り返し実行する。
また、ステップS215において、それまでとは異なる被写体や位置情報が検出され(ステップS215のYES)、現在選択しているコンテンツとは異なるrootコンテンツに基づく表示制御を開始する必要があると判断した場合、図4に示した処理を一旦終了して、再度図4の処理をその当初から実行し直す。
具体的には、ユーザが携帯情報端末を把持している状態で、携帯情報端末の対向方向を上下または左右に変化させた場合、撮像している範囲が移動することで、画像中に写り込む被写体がそれまでとは異なる物体になると、図4の処理を再度当初から実行し直す。
また特に、上位階層のコンテンツに対して複数の下位階層のコンテンツが存在するような、ツリー状の階層構造を有する多数のコンテンツに対応して、より下位階層のコンテンツを表示させるべく、ユーザが携帯情報端末を遠ざけるような操作を行なう場合に、合わせて携帯情報端末を上下左右いずれかの方向に意図的に移動させてから戻すような短いスイング操作を行なうことで、下位階層のコンテンツが複数ある場合にユーザが任意のコンテンツを適宜選択できるようにしても良い。
この場合、携帯情報端末を前述したようにスイング操作する際の操作方向は、例えばユーザが対向している方向を撮像している撮像部から得られる画像データの内容の変位を画像処理工程で検出するものとしても良いし、あるいは加速度センサにより携帯情報端末に与えられる外力に基づく姿勢変化を検出するものとしても良い。
ただし、そのようなコンテンツの選択のための操作は、ユーザが把持している携帯情報端末を遠ざけるような操作、すなわち、より下位階層のコンテンツを表示させるような操作を行った場合に限って検出すれば良い。反対に、ユーザが把持している携帯情報端末を自身に近付けるような操作、すなわち、より上位階層のコンテンツを表示させるような操作を行った場合には、ツリー状の階層構造では共通する上位階層のコンテンツが表示されることになるため、上下左右方向の移動を検出する必要はない。
このように、ツリー状の階層構造を有するコンテンツで、より下位階層のコンテンツを表示させる場合に、感覚的に理解し易い操作によって複数のコンテンツから任意のものを選択できるようにすることで、多数のコンテンツの中からユーザが所望するコンテンツをすみやかに選択したい場合の使い勝手を向上できる。
[実施形態の効果]
以上に詳述した如く本実施形態によれば、表示部を閲覧するユーザが携帯情報端末を把持する姿勢の変化に応じて、階層構造を有する情報を適切に選択して表示することが可能となる。
また前記実施形態では、ユーザが表示部を閲覧可能な最小距離を基準とし、最大距離との差を最大移動距離として、最大移動距離の範囲内の現時点の閲覧距離から表示する情報の階層を選択するものとしたので、ユーザの実使用状態に即して適切な階層を選択して情報を表示させることができる。
さらに前記実施形態では、動作開始当初のユーザと携帯情報端末の距離を基準となる最小距離として、最大距離との差を最大移動距離として算出し、その最大移動距離内での距離の変化を検出するものとしたので、ユーザにあえて基準となる最小距離を意識させることなく、円滑に動作を開始することができる。
なお本発明の装置は、専用の表示情報制御装置として実現しても良いし、あるいは、実施形態中でも説明した如く、アプリケーションプログラムによりスマートフォンやタブレット端末などの携帯情報端末を用いて実現することも可能となる。また当該アプリケーションプログラム自体は、記録媒体に記録することも、ネットワークを通して提供することも可能となる。
その他、本願発明は、前記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、前記実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適当な組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。
10…表示制御部、
11…キャリブレーション機能部、
12…キャリブレーションDB、
13…階層数/階層切替閾値DB、
14…コンテキスト検出部、
15…ユーザ端末間距離計測部、
16…表示中コンテンツDB、
17…コンテンツID更新部、
18…表示コンテンツ生成部、
19…表示部、
20…コンテンツDB。

Claims (7)

  1. 装置筐体に配設される表示装置に表示可能である、複数の階層構造を有する情報を記憶する記憶装置から情報を読み出し可能な表示情報制御装置であって、
    前記装置筐体における前記表示装置が配設される面と対向する面に配設された撮像装置により撮像された情報から少なくとも1つの被写体およびその位置情報を検出して、前記検出した結果に応じて前記被写体を前記表示装置に表示し、前記装置筐体を把持して前記表示装置を閲覧可能な閲覧者と前記表示装置との最大限の距離である最大閲覧距離と、前記閲覧者と前記装置筐体との現時点での距離である閲覧距離とに基づいて、前記表示装置に表示される被写体に係る、前記記憶装置に記憶される前記複数の階層構造を有する情報から前記表示装置に表示させる情報の階層を選択して当該階層に応じた情報を前記記憶装置から読み出して、前記撮像装置により撮像された画像に重畳して前記表示装置に表示させる表示制御部を備え、
    前記表示制御部は、
    前記撮像された情報から、前記表示装置に既に表示した被写体と異なる被写体または新たな位置情報に係る被写体を新たに検出したときに、前記新たに検出した結果に応じて前記被写体を前記表示装置に表示し、
    前記最大閲覧距離と前記現時点の距離である前記閲覧距離とに基づいて、前記表示させる情報の階層を新たに選択して、当該階層に応じた情報を前記記憶装置から新たに読み出して、前記撮像装置により撮像された画像に重畳して前記表示装置に新たに表示させる、
    表示情報制御装置。
  2. 前記表示制御部は、前記閲覧者と前記表示装置との最小限の距離である最小閲覧距離と、前記最大閲覧距離との差を最大移動距離として、前記最大移動距離に対する現時点での閲覧距離により、前記記憶装置に記憶される前記複数の階層構造を有する情報から、前記表示装置に表示させる情報の階層を選択する、
    請求項1に記載の表示情報制御装置。
  3. 前記最小閲覧距離は、前記表示装置で情報の表示を開始する当初に取得される、前記閲覧者と前記表示装置との距離である、
    請求項2に記載の表示情報制御装置。
  4. 前記表示制御部は、前記記憶装置に記憶される、前記選択した階層に応じた情報に係る、前記複数の階層構造を有する情報の全体階層数を前記表示装置の画面端部に表示させ、前記表示装置に現在表示している情報の階層数を前記表示装置の画面端部に表示させ、前記表示装置に現在表示している情報毎のさらに移動可能な情報の階層数を前記表示装置表示させる、
    請求項1に記載の表示情報制御装置。
  5. 前記記憶装置には、下位階層側の情報が、上位階層側の情報より多いツリー状の階層構造を有する情報が記憶され、
    前記表示制御部は、前記下位階層側の情報を選択するときに、前記複数の階層構造を有する情報から一つの階層の情報の選択に係る、前記現時点での距離である閲覧距離を保った他の操作を受け付ける、
    請求項1に記載の表示情報制御装置。
  6. 装置筐体に配設される表示装置に表示可能である、複数の階層構造を有する情報を記憶する記憶装置から情報を読み出し可能な表示情報制御装置により実行される方法であって、
    前記表示情報制御装置の表示制御部により、前記装置筐体における前記表示装置が配設される面と対向する面に配設された撮像装置により撮像された情報から少なくとも1つの被写体およびその位置情報を検出して、前記検出した結果に応じて前記被写体を前記表示装置に表示し、前記装置筐体を把持して前記表示装置を閲覧可能な閲覧者と前記表示装置との最大限の距離である最大閲覧距離と、前記閲覧者と前記装置筐体との現時点での距離である閲覧距離とに基づいて、前記表示装置に表示される被写体に係る、前記記憶装置に記憶される前記複数の階層構造を有する情報から前記表示装置に表示させる情報の階層を選択して当該階層に応じた情報を前記記憶装置から読み出して、前記撮像装置により撮像された画像に重畳して前記表示装置に表示させることを有し、
    前記表示制御部は、
    前記撮像された情報から、前記表示装置に既に表示した被写体と異なる被写体または新たな位置情報に係る被写体を新たに検出したときに、前記新たに検出した結果に応じて前記被写体を前記表示装置に表示し、
    前記最大閲覧距離と前記現時点の距離である前記閲覧距離とに基づいて、前記表示させる情報の階層を新たに選択して、当該階層に応じた情報を前記記憶装置から新たに読み出して、前記撮像装置により撮像された画像に重畳して前記表示装置に新たに表示させる、
    表示情報制御方法。
  7. 請求項1乃至5のいずれか1項に記載の表示情報制御装置が備える各部の処理を、前記表示情報制御装置のプロセッサに実行させるプログラム。
JP2022523766A 2020-05-18 2020-05-18 表示情報制御装置、表示情報制御方法およびプログラム Active JP7452638B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/019661 WO2021234785A1 (ja) 2020-05-18 2020-05-18 表示情報制御装置、表示情報制御方法およびプログラム

Publications (2)

Publication Number Publication Date
JPWO2021234785A1 JPWO2021234785A1 (ja) 2021-11-25
JP7452638B2 true JP7452638B2 (ja) 2024-03-19

Family

ID=78708229

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022523766A Active JP7452638B2 (ja) 2020-05-18 2020-05-18 表示情報制御装置、表示情報制御方法およびプログラム

Country Status (3)

Country Link
US (1) US12073035B2 (ja)
JP (1) JP7452638B2 (ja)
WO (1) WO2021234785A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008090552A (ja) 2006-09-29 2008-04-17 Brother Ind Ltd 携帯端末
JP2013008193A (ja) 2011-06-24 2013-01-10 Nikon Corp 撮像装置および撮像装置の制御プログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5309531B2 (ja) 2006-11-08 2013-10-09 東洋インキScホールディングス株式会社 高輝度鏡面スクリーンインキおよび該インキを用いてなる印刷物
US8203577B2 (en) * 2007-09-25 2012-06-19 Microsoft Corporation Proximity based computer display
US8209635B2 (en) * 2007-12-20 2012-06-26 Sony Mobile Communications Ab System and method for dynamically changing a display
US8515491B2 (en) * 2011-07-28 2013-08-20 Qualcomm Innovation Center, Inc. User distance detection for enhanced interaction with a mobile device
US8754831B2 (en) * 2011-08-02 2014-06-17 Microsoft Corporation Changing between display device viewing modes
US8984445B1 (en) * 2014-01-31 2015-03-17 Google Inc. System and method for geo-locating images
US9582851B2 (en) * 2014-02-21 2017-02-28 Microsoft Technology Licensing, Llc Using proximity sensing to adjust information provided on a mobile device
JP6515022B2 (ja) 2015-12-02 2019-05-15 日本電信電話株式会社 観察領域推定方法、観察領域推定装置、及びプログラム
CN106710497B (zh) * 2017-01-20 2020-05-12 京东方科技集团股份有限公司 显示系统及显示方法
EP3612916B1 (en) * 2017-09-05 2022-10-05 Samsung Electronics Co., Ltd. Accessing data items on a computing device

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008090552A (ja) 2006-09-29 2008-04-17 Brother Ind Ltd 携帯端末
JP2013008193A (ja) 2011-06-24 2013-01-10 Nikon Corp 撮像装置および撮像装置の制御プログラム

Also Published As

Publication number Publication date
WO2021234785A1 (ja) 2021-11-25
US12073035B2 (en) 2024-08-27
US20230205331A1 (en) 2023-06-29
JPWO2021234785A1 (ja) 2021-11-25

Similar Documents

Publication Publication Date Title
US11189037B2 (en) Repositioning method and apparatus in camera pose tracking process, device, and storage medium
US11188187B2 (en) Information processing apparatus, information processing method, and recording medium
US9565364B2 (en) Image capture device having tilt and/or perspective correction
CA2792577C (en) 3d position tracking for panoramic imagery navigation
US9661214B2 (en) Depth determination using camera focus
US9204050B2 (en) Information displaying apparatus and information displaying method
JP5449894B2 (ja) 関心地点表示システム、装置及び方法
CN103002208A (zh) 电子装置和图像拾取设备
CN113692604A (zh) 用于使用增强现实来显示周围信息的方法和装置
KR102252060B1 (ko) Gps 메타데이터에 기반하여 드론 영상의 시공간 정보를 표시하기 위한 방법 및 그 장치
CN109902725A (zh) 移动目标的检测方法、装置及电子设备和存储介质
JP2009278456A (ja) 映像表示装置
JP5007631B2 (ja) 電子カメラ
CN109791432A (zh) 推迟影响图形用户界面的信息的状态改变直至不专注的情况期间
JP7452638B2 (ja) 表示情報制御装置、表示情報制御方法およびプログラム
JP2013004001A (ja) 表示制御装置、表示制御方法、およびプログラム
KR102161437B1 (ko) 증강현실의 공간맵을 이용한 콘텐츠 공유 장치 및 그 방법
JP5003358B2 (ja) 表示装置、電子カメラおよび制御プログラム
JP5088051B2 (ja) 電子カメラおよびプログラム
JP2011199358A (ja) 測位機能を有する撮像装置
JP5069986B2 (ja) 画像評価方法、画像処理装置、カメラ及びプログラム
CN116962783A (zh) 可视化元素的处理方法、装置、计算机设备及存储介质
JP2017084161A (ja) 画像処理装置、表示装置及びその制御方法
AU2014221255B2 (en) 3D Position tracking for panoramic imagery navigation
CN115811658A (zh) 用于多相机系统的相机切换控制技术

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220928

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20230104

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20230208

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230711

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230908

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231128

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240129

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240219

R150 Certificate of patent or registration of utility model

Ref document number: 7452638

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150