Nothing Special   »   [go: up one dir, main page]

JP4526940B2 - 情報処理装置 - Google Patents

情報処理装置 Download PDF

Info

Publication number
JP4526940B2
JP4526940B2 JP2004357067A JP2004357067A JP4526940B2 JP 4526940 B2 JP4526940 B2 JP 4526940B2 JP 2004357067 A JP2004357067 A JP 2004357067A JP 2004357067 A JP2004357067 A JP 2004357067A JP 4526940 B2 JP4526940 B2 JP 4526940B2
Authority
JP
Japan
Prior art keywords
icon
function
selection
input
candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004357067A
Other languages
English (en)
Other versions
JP2006164058A (ja
Inventor
政司 中臣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2004357067A priority Critical patent/JP4526940B2/ja
Publication of JP2006164058A publication Critical patent/JP2006164058A/ja
Application granted granted Critical
Publication of JP4526940B2 publication Critical patent/JP4526940B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Stored Programmes (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、ユーザが操作しやすいグラフィカル・ユーザ・インタフェースを提供する情報処理装置に関する。
従来、コンピュータにおいては、ユーザが多くの機能の中から所望の機能を直感的に選択できるようグラフィカル・ユーザ・インタフェース(Graphical User Interface、以下、単に「GUI」という。)が用いられている。このGUIにおいて、ユーザは、マウスなどのポインティングデバイスを用いて表示装置の画面上に表示された操作対象を表すアイコンを動かして、操作機能を表すアイコンの上に重ねるドラッグアンドドロップと呼ばれる操作を行うことによって、操作対象に対して操作機能を実行させる。
昨今のコンピュータやコンピュータが埋め込まれた装置は、デジタルカメラやスキャナなどの入力装置、プリンタやファクシミリなどの出力装置、および、電子メールやファイル転送などのネットワークを利用した機能などを複合的に備えている。ドラッグアンドドロップなどのGUIによって、これらの機能の操作性が増している。
しかし、ドラッグアンドドロップによる機能選択方法には、本質的にスケーラビリティの面で2つの大きな課題がある。
1つ目の課題は、空間的スケーラビリティである。すなわち、ドラッグアンドドロップによる選択方法は直感的という点で有効であるが、あらかじめデスクトップと呼ばれる表示装置の画面上に目的の機能を表すアイコンを予め表示させておくことが必要である。したがって、限られた領域のデスクトップ上に配置することができるアイコンの数は有限になってしまう。
2つ目の課題は、「数」のスケーラビリティである。これは、空間的スケーラビリティの制約がなかったと仮定しても、必要とする機能の数だけアイコンの数を増やしてしまうと、選択操作そのものが煩雑になることをいう。例えば、書類を1部印刷したい場合と2部印刷したい場合とのように、類似した機能でも、それぞれ別のアイコンをデスクトップに表示する必要があり、想定されるすべての機能に対してアイコンを表示するとアイコンの量が膨大になる可能性がある。
1つ目の課題に対処する方法としては、右クリックメニューがある。これは、ユーザが操作対象を表すアイコン上でマウスの右ボタンを押下することにより、その操作対象に対して行うことのできる機能の一覧がメニューとしてマウスカーソル位置に表示されるものである。この方法により、操作対象に適用できる機能のみが提示されるため、ユーザの負担は軽減する。しかしながら、メニューに表示する機能が増えるとユーザが目的の機能に到達することを困難にする2つ目の課題が依然として残る他、メニューが画面に入りきらない可能性もあるため、右クリックメニューは、上記課題の根本的な解決法ではない。
したがって、これら2つの課題を同時に解決するには、操作対象に対して提示する機能(以下、単に「選択候補」という。)の数を減らすことが必須である。そのために、操作対象に対する機能を絞り込んでユーザに提示することにより選択候補の数を減らすいくつかの方法が提案されている。
例えば、適応学習を使用して入力に対する代替案の選択候補を、選択される可能性が高い順に提示する方法がある(例えば、特許文献1参照)。この方法は、例えば、ユーザが特殊文字を入力する際に、その文字に似た文字を入力することによって、ユーザの入力の意図を推測し、実際にユーザが入力しようとしている可能性の高い文字を提示するものである。
しかしながら、この方法を機能の選択に適用すると、選択しようとする機能と類似した機能をユーザが提示前に指定しておく必要があるため、この類似した機能を指定する操作が煩雑になる可能性があり、本質的に選択候補の数を減らすことにはなっていないといった問題がある。
また、複数の機能を表し得るメタファ(アイコン)をユーザに選択させ、選択されたメタファに基づいてユーザの目的とする機能を判定する方法がある(例えば、特許文献2および特許文献3参照)。この方法は、ユーザの理解し得るシステムイメージと機能を表すメタファの不整合を解消する点では有効だが、メタファに複数の機能を表象させる必要があり、同じメタファで表しきれない全く異なる種類の機能が増えると、選択候補数の増加は解消できずその効果を失うといった問題がある。
また、過去の操作履歴から文書処理の手続き候補をユーザに提示する方法がある(例えば、特許文献4参照)。この方法では、操作履歴に含まれる処理前の文書状態と処理後の文書状態から手続き候補を決定するため、候補となる手続きは単独で一つの処理となる。したがって、その一つの処理作業がユーザにとって複雑である場合には、この方法は、上記課題の解決策とはならない。
特開平7−225760号公報 特開平5−20002号公報 特開平7−113881号公報 特開平8−147274号公報
以上で説明したように、従来の技術では、ユーザの機能選択の容易さを図る場合、スペース上の問題から選択できる機能の数が限られることになる。そこで、選択候補の絞込みを図ると、ユーザによる機器に対する情報の入力の必要性や機能自体が単純であるといった機能の制約が生じ、結局、選択候補の数を増やさない限り、複雑な機能に対して容易な選択動作を実現することはできない。
本発明は、このような事情を鑑みてなされたもので、困難を伴うことなくユーザに機能を選択させることができる情報処理装置を提供することを目的とする。
本発明の情報処理装置は、機能の選択が入力される入力手段と、前記入力手段によって選択された機能の履歴を記憶する操作履歴記憶手段と、前記入力手段によって機能が選択された場合に、選択された機能の次に選択される機能の候補を前記操作履歴記憶手段に記憶された履歴に基づいて提示する選択候補提示手段と、前記機能の処理対象となる対象オブジェクトに関するコンテキスト情報を取得するコンテキスト取得手段と、を備え、前記選択候補提示手段が、前記操作履歴記憶手段に記憶された履歴および前記コンテキスト取得手段によって取得されたコンテキスト情報に基づいて前記候補を抽出し、前記候補が選択される選択確率を得る動作決定媒介変数の値を前記操作履歴記憶手段に記憶された履歴に基づいて算出し、算出した動作決定媒介変数の値に基づいて、前記候補の中から前記選択確率が高い候補を提示する構成を有している。
この構成によって、ユーザに提示する機能の候補は、以前に選択された機能の履歴に基づいてユーザの意図を推定することによって数が絞られるため、困難を伴うことなくユーザに機能を選択させることができる。
前記情報処理装置は、前記入力手段によって順次選択された複数の機能の組み合わせに基づいて前記情報処理装置の動作を決定する動作決定手段を備えるように構成してもよい。
この構成によって、ユーザが目的とする機能が複雑なものであっても、一度にその機能を選択させるのではなく、いくつかの単純な要素に分け、その一つ一つを連続して選択させることによって、一度の選択操作が極めて単純なものとなり、ユーザの負担を軽減することができる。
また、前記情報処理装置は、前記操作履歴記憶手段に記憶された履歴と、前記コンテキスト取得手段によって取得されたコンテキスト情報と、前記選択候補提示手段によって得られた各候補の選択確率と、前記入力手段によって選択された機能と、前記動作決定媒介変数の値と、に基づいて、前記動作決定媒介変数の値を更新する媒介変数更新手段を備えるように構成してもよい。
また、前記情報処理装置は、前記機能を表すアイコンを画面上に表示する表示手段と、前記アイコンが選択されているか否かを認識する選択認識手段と、を備え、前記入力手段には、前記画面上の座標が入力され、前記選択認識手段が、前記画面上に表示されたアイコンの表示範囲内に前記入力手段に入力された座標が入っているか否かに基づいて前記アイコンが選択されているか否かを認識し、前記選択候補提示手段が、前記候補を表すアイコンを前記画面上に表示するように構成してもよい。
また、前記情報処理装置は、前記入力手段によって最後に選択されたアイコンの位置および該アイコンが選択される直前に選択されたアイコンの位置に基づいて、前記候補を表すアイコンの位置を決定する表示状態更新手段を備えるように構成してもよい。
また、前記情報処理装置は、前記入力手段に入力された座標の変位および前記表示手段に表示されたアイコンの表示範囲に基づいて前記入力手段によって選択される機能を予測する操作予測手段を備え、前記選択候補提示手段が、前記操作予測手段によって予測された機能の次に選択される機能の候補を提示するように構成してもよい。
また、前記情報処理装置は、前記表示状態更新手段が、前記操作予測手段によって予測された機能を表すアイコンの前記画面上の位置が前記入力手段に入力された座標に近づくように決定するように構成してもよい。
本発明の情報処理方法は、機能の選択が入力される入力ステップと、前記入力ステップで選択された機能の履歴を記憶する操作履歴記憶ステップと、前記入力ステップで機能が選択された場合に、選択された機能の次に選択される機能の候補を前記操作履歴記憶ステップで記憶された履歴に基づいて提示する選択候補提示ステップと、前記機能の処理対象となる対象オブジェクトに関するコンテキスト情報を取得するコンテキスト取得ステップと、を有し、前記選択候補提示ステップにおいて、前記操作履歴記憶ステップで記憶された履歴および前記コンテキスト取得ステップで取得されたコンテキスト情報に基づいて前記候補を抽出し、前記候補が選択される選択確率を得る動作決定媒介変数の値を前記操作履歴記憶ステップで記憶された履歴に基づいて算出し、算出した動作決定媒介変数の値に基づいて、前記候補の中から前記選択確率が高い候補を提示する
この方法によって、ユーザに提示する機能の候補は、以前に選択された機能の履歴に基づいてユーザの意図を推定することによって数が絞られるため、困難を伴うことなくユーザに機能を選択させることができる。
また、前記情報処理方法は、前記入力ステップで順次選択された複数の機能の組み合わせに基づいて装置の動作を決定する動作決定ステップを有するようにしてもよい。
この方法によって、ユーザが目的とする機能が複雑なものであっても、一度にその機能を選択させるのではなく、いくつかの単純な要素に分け、その一つ一つを連続して選択させることによって、一度の選択操作が極めて単純なものとなり、ユーザの負担を軽減することができる。
また、前記情報処理方法は、前記操作履歴記憶ステップで記憶された履歴と、前記コンテキスト取得ステップで取得されたコンテキスト情報と、前記選択候補提示ステップで得られた各候補の選択確率と、前記入力ステップで選択された機能と、前記動作決定媒介変数の値と、に基づいて、前記動作決定媒介変数の値を更新する媒介変数更新ステップを有するようにしてもよい。
また、前記情報処理方法は、前記機能を表すアイコンを画面上に表示する表示ステップと、前記アイコンが選択されているか否かを認識する選択認識ステップと、を有し、前記入力ステップにおいて、前記画面上の座標が入力され、前記選択認識ステップにおいて、前記画面上に表示されたアイコンの表示範囲内に前記入力ステップで入力された座標が入っているか否かに基づいて前記アイコンが選択されているか否かを認識し、前記選択候補提示ステップにおいて、前記候補を表すアイコンを前記画面上に表示するようにしてもよい。
また、前記情報処理方法は、前記入力ステップで最後に選択されたアイコンの位置および該アイコンが選択される直前に選択されたアイコンの位置に基づいて、前記候補を表すアイコンの位置を決定する表示状態更新ステップを有するようにしてもよい。
また、前記情報処理方法は、前記入力ステップで入力された座標の変位および前記表示ステップに表示されたアイコンの表示範囲に基づいて前記入力ステップで選択される機能を予測する操作予測ステップを有し、前記選択候補提示ステップにおいて、前記操作予測ステップで予測された機能の次に選択される機能の候補を提示するようにしてもよい。
また、前記情報処理方法は、前記表示状態更新ステップにおいて、前記操作予測ステップで予測された機能を表すアイコンの前記画面上の位置が前記入力ステップで入力された座標に近づくように決定するようにしてもよい。
なお、前記情報処理方法は、コンピュータに実行させるための情報処理プログラムによって提供してもよく、前記情報処理プログラムは、コンピュータに読み取り可能に記録された記録媒体によって提供してもよい。
本発明により、困難を伴うことなくユーザに機能を選択させることができる情報処理装置を提供することができる。
また、本発明により、ユーザの目的が複雑な機能であっても、ユーザに負担をかけることのないよう機能選択候補の絞り込みを行ってユーザに提示することができる情報処理装置を提供することができる。
以下、本発明の実施の形態について、図面を参照して説明する。
本発明は、典型的にはパーソナルコンピュータや埋め込み型コンピュータに適用されるものであり、本実施形態においては、図1に示したコンピュータシステム1に本発明に係る情報処理装置を適用した例について説明する。
コンピュータシステム1は、CPU(Central Processing Unit)2と、メモリ3と、ディスプレイアダプタ4を介して制御されるディスプレイスクリーン5と、シリアルポート6と、キーボード7と、マウスなどのポインティングデバイス8と、記憶装置9とを備え、これら各構成要素は、バス10を介して相互に接続されている。
また、コンピュータシステム1は、音声インタフェース11やネットワークインタフェース12などのような複数のデバイスを接続することができる。例えば、ネットワークインタフェース12を通して、電子メール13やFTP(File Transfer Protocol)14などのファイル転送やWWW(World Wide Web)15などのネットワークサービス16を利用したり、バス10やシリアルポート6、ネットワークインタフェース12を介してプリンタ17、スキャナ18およびファクシミリ19といった外部入出力装置20を利用したりすることができる。
図2は、本実施形態におけるディスプレイスクリーン5の表示例を示している。図2(a)に示すように、ディスプレイスクリーン5には、入力アイコン30と機能アイコン31、32が表示されているものとする。
例えば、図2(b)に示すように、ユーザは、ポインティングデバイス8を用いて入力アイコン30を移動して機能アイコン31に重ねることにより機能アイコン31を選択する。
図2(c)に示すように、機能アイコン31の選択に応じて、新たな選択候補となる機能アイコン33、34を表示することによって、ユーザに機能アイコンを連続的に選択させることができる。ここで、選択された機能アイコンが表す機能の実行開始が命令されると、入力アイコン31が表す媒体に対して、選択された機能アイコン31、33を組み合わせた動作が実行される。
図2に示した例においては、PRINTを表す機能アイコン31とA3を表す機能アイコン33が選択された状態で、ユーザが、ポインティングデバイス8を用いてSTARTボタン35を押下することにより、A3用紙への印刷が実行される。
なお、選択された機能を実行するタイミングは、ディスプレイスクリーン5およびポインティングデバイス8としてタッチパネルディスプレイを用いる場合には、タッチパネルディスプレイから指が離されたタイミングにしてもよく、ポインティングデバイス8としてマウスを用いる場合には、入力アイコン30上でダブルクリックされたタイミングにしてもよい。
図3は、本発明の一実施の形態における情報処理装置40の機能ブロック図である。
情報処理装置40は、ユーザがポインティングデバイス8を介してディスプレイスクリーン5上に表示されたアイコンを選択している否かを判断する選択認識部41と、ユーザがポインティングデバイス8を介してディスプレイスクリーン5上に表示されたどのアイコンを選択しようとしているかを選択される前に予測する操作予測部42と、ユーザによる選択に応じて次の選択候補を提示する選択候補提示部43と、コンテキスト情報を取得するコンテキスト取得部44と、選択操作および選択されたアイコンが表す情報に関するコンテキスト情報を操作履歴として保存する操作履歴更新部45と、選択候補の提示に使用する動作決定媒介変数、すなわちパラメータを操作状況に応じて変更し保存するパラメータ更新部46と、ディスプレイスクリーン5の表示を更新する表示状態更新部47と、選択された機能アイコンに基づいてコンピュータシステム1の動作を決定する動作命令部48とを備えている。
ここで、コンテキスト情報とは、ユーザおよび入力媒体などの対象オブジェクトに関する情報のことである。対象オブジェクトに関するコンテキスト情報とは、1つには対象オブジェクトから得られる情報のうち対象オブジェクトに関するもの(以下、単に「属性情報」という。)があり、もう1つには対象オブジェクトのおかれている状況に関するもの(以下、単に「状況情報」という。)がある。
コンテキスト情報の具体例として、例えば、対象オブジェクトがユーザなどの人物を表す場合には、属性情報としては、名前、年齢および職業などを表す情報が該当し、状況情報としては、人物が存在する場所およびその時刻などを表す情報が該当する。なお、以下の説明では、本例における、名前、年齢、職業、場所および時刻といったような各コンテキスト情報の種別をコンテキスト種別という。
また、対象オブジェクトが紙文書を表す場合には、属性情報としては、紙文書の枚数、表題および内容などを表す情報が該当し、状況情報としては、紙文書が作成または処理された場所および時刻などを表す情報が該当する。
また、対象オブジェクトが電子情報を表す場合には、属性情報としては、容量、電子情報の種類、内容および名称などを表す情報が該当し、状況情報としては、電子情報が作成または処理された場所および時刻などを表す情報が該当する。
情報処理装置40は、過去の操作履歴を記憶するための操作履歴記憶テーブル49と、選択候補の提示に使用するパラメータを記憶するためのパラメータ記憶テーブル50と、ディスプレイスクリーン5上の表示およびユーザの選択状況を記憶するためのアイコン記憶テーブル51とを、記憶装置9に格納するようになっている。
図4は、情報処理装置40の全体処理の流れを示すフローチャートである。また、図5乃至図11は、ファイルの内容をA3用紙に5部カラー印刷する例を示している。
まず、メディアが入力されると(S1)、入力されたメディアを表す入力アイコンがディスプレイスクリーン5上に表示される(S2)。ここで、図5においては、ポインティングデバイス8を用いて対象となるファイルを選択することにより、Fileアイコン60が表示される。
なお、入力アイコンが表示されるタイミングとしては、プリンタドライバが印刷命令を受け取ったタイミング、スキャナ上に書類がのせられたタイミング、およびCD−ROM(Compact Disc ROM)などのメディアがドライブにセットされたタイミングなどがある。
次に、入力アイコンがユーザによって選択されているか否かが選択認識部41によって認識される(S3)。ここで、図5においては、ディスプレイスクリーン5上のFileアイコン60がポインティングデバイス8を用いてユーザによって選択されているか否かが選択認識部41によって認識される。
入力アイコンがユーザによって選択されていると認識された場合には、ディスプレイスクリーン5の表示の更新が表示状態更新部47によって行われ、機能選択が行われる(S4)。ここで、機能選択とは、ユーザにより機能アイコンが選択されることであり、具体的には、ユーザによる選択の意図が操作予測部42によって予測され、ユーザによる実際の選択が選択認識部41によって認識される。また、機能アイコンの選択または選択の意図の予測に応じて、別の機能アイコンが選択候補提示部43によってディスプレイスクリーン5を通して提示される。
上述したステップS3およびS4は、選択された機能の実行がユーザによって命令されるまで繰り返し実行される(S5)。選択された機能の実行がユーザによって命令されると、パラメータ記憶テーブル50および操作履歴記憶テーブル49が更新される(S6)。
機能アイコンは、1つの処理の中で最小の単位となるものであり、図5乃至図11に示す例では、ファイルの内容をA3用紙に5部カラー印刷する機能を、印刷、A3、5部、カラーの各機能を表す機能アイコンの組み合わせによって表している。
図5に示すように、Fileアイコン60に対して、印刷、コピー、ファクシミリ、電子メール送信およびスキャナをそれぞれ表す各機能アイコン61乃至65がディスプレイスクリーン5上に表示される。
ここで、ポインティングデバイス8を介してユーザによってFileアイコン60が印刷アイコン61に重ねられることにより印刷機能が選択される。この選択操作の際には、図6に示すように、操作予測部42による選択の予測に基づいて、Fileアイコン60が印刷アイコン61に近づくに従い、印刷アイコン61もFileアイコン60に近づく。
また、印刷アイコン61がFileアイコン60に近づくときに、印刷アイコン61が選択された場合の次の選択候補、例えば、印刷枚数を示す1部、2部、5部、10部、20部をそれぞれ表す各機能アイコン66乃至70が、過去の操作履歴から選択確率が高いと判断され、ディスプレイスクリーン5上に表示される。
ここで、印刷アイコン61が選択された(図7)後、同様に5部アイコン68が選択され(図8および図9)、用紙サイズを表す各機能アイコン71乃至74の中からA3用紙アイコン71が選択され(図10)、印刷色を表す各機能アイコン75、76の中からカラーアイコン75が選択され(図11)、選択された機能の実行が命令されると、選択された機能に基づいて行うべき処理が動作命令部48によって決定され、決定された機能の実行がコンピュータシステム1に命令される。
例えば、スキャナ・パソコンA・モノクロ・A5の機能を表す機能アイコンが順次選択された場合には、動作命令部48は、文書をスキャンし、A5サイズでモノクロ出力の上、パソコンAに画像ファイルとして配信するようコンピュータシステム1に命令する。
次に、図12乃至図14を参照して記憶装置9に格納された各テーブルについて説明する。操作履歴記憶テーブル49は、図12に示すように、第1列には、対象オブジェクトの名称が格納される。対象オブジェクトの名称としては、印刷した文書ファイルのファイルパスやホームページのURL(Uniform Resource Locator)などがある。対象オブジェクトの名称は、コンピュータシステム1に対するユーザの操作、CPU2によって実行されるアプリケーションの操作、またはプリンタドライバの情報などから取得できる。
また、操作履歴記憶テーブル49の第2列には、選択したすべての機能、すなわち、第1列に格納された名称が表す対象オブジェクトに対して適用された機能を表す機能名が格納される。
また、操作履歴記憶テーブル49の第3列以降には、各列に1つのコンテキスト種別に該当する対象オブジェクトのコンテキスト情報が格納される。なお、操作履歴記憶テーブル49の各行は、ユーザによる操作が完了するごとに新たに追加される。
パラメータ記憶テーブル50は、図13に示すように、扱うコンテキスト種別の数に等しい数の行を有する。パラメータ記憶テーブル50の第2列には、各コンテキスト種別cに関する重みwcが格納される。このコンテキスト種別cに基づく選択確率をpcとするとき、全体の選択確率psは、以下のように表すことができる。
ここで、wcは、以下の式を満たす。
パラメータ記憶テーブル50の第3列には、標準偏差σが格納される。なお、標準偏差σについては、図21を参照して後述する。
アイコン記憶テーブル51は、図14に示すように、ディスプレイスクリーン5上に表示するためのアイコンの数に等しい数の行を有する。アイコン記憶テーブル51の第1列には、アイコンの種別が格納される。ここで、アイコンの種別は、入力アイコンまたは機能アイコンの何れかを表す。また、機能アイコンには、提示する段階に応じた番号が割り当てられる。例えば、1番目に提示する機能アイコンには「1」が割り当てられ、「機能1」として格納される。割り当てられた数が同じ機能アイコンは、同時に提示されたこととなる。
また、アイコン記憶テーブル51の第2列には、アイコンの名前が格納される。アイコンの名前は、アイコンが何の機能を表すかが文字列によって表現されている。アイコン記憶テーブル51の第3列には、アイコンファイルのファイルパスが格納される。例えば、アイコンを画像によって表す場合には、アイコンファイルのファイルパスは、画像ファイルのファイルパスとなる。
また、アイコン記憶テーブル51の第4列および第5列には、アイコンのXY座標がそれぞれ格納される。アイコン記憶テーブル51の第6列には、アイコンの大きさが格納される。アイコンの大きさは、例えば、正方形のアイコンの一辺の長さで表される。アイコン記憶テーブル51の第7列には、選択認識部41によって認識された入力アイコンの選択/非選択の区別、または表示状態更新部47によって更新された機能アイコンの選択/非選択の区別が格納される。
次に、選択認識部41について図15を参照して説明する。選択認識部41は、ディスプレイスクリーン5上に提示するアイコンが選択状態にあるか否かを判別するようになっている。
ここで、ポインティングデバイス8がアクティブな状態にあり、かつ、図15(a)に示すように、ポインティングデバイス8によって指示された座標が入力アイコン80の存在する座標範囲内にあるとき、入力アイコン80は選択状態にあるといい、入力アイコン80が選択状態にないときは、入力アイコン80は非選択状態にあるという。なお、ポインティングデバイス8がアクティブな状態とは、例えば、マウスのボタンが押下された状態のことをいう。また、入力アイコン80が選択状態にあるときは、入力アイコン80を「ユーザが選択している」ともいう。
図15(b)に示すように、入力アイコン80の存在する座標範囲が、ある機能アイコン81の存在する座標範囲と重なるとき、機能アイコン81または機能アイコン81が表す機能を「ユーザが選択している」という。なお、機能アイコンの選択状態および非選択状態の何れかの状態は、表示状態更新部47によって決定される。
次に、操作予測部42について図16および図17を参照して説明する。操作予測部42は、ポインティングデバイス8によって入力アイコン82がドラッグされているときに、ユーザがディスプレイスクリーン5上に表示されたどの機能アイコン83乃至85を選択しようとしているかを選択される前に予測するようになっている。
ここで、ドラッグ動作状態とは、選択認識部41がディスプレイスクリーン5上に表示されたアイコンを選択していると認識し、かつ、ポインティングデバイス8によって指示された座標が変化している状態である。
図17において、ポインティングデバイス8がドラッグ動作状態にあるとき、前回に操作予測部42による予測が行われた時点のディスプレイスクリーン5におけるポインティングデバイス8の指す座標を x0とする(S11)。また、ディスプレイスクリーン5におけるポインティングデバイス8の指す現在の座標をxとする(S12)。
ここで、ポインティングデバイス8の指す座標がある程度変化した場合、すなわち、| x - x0 | > Lとなった場合(S13)には、( x - x0 )と( fi - x0 )とのなす角の絶対値θiが最小かつ、αを下回った機能アイコンiがユーザによって選択されようとしていると判断される(S14乃至S20)。なお、機能アイコンiの座標fiは、アイコン記憶テーブル51に格納されているX座標およびY座標から得られる。また、Lおよびαは、定数である。なお、操作予測部42による予測は、入力アイコン82がL動かされるたびに行われる。
次に、選択候補提示部43について図18を参照して説明する。選択候補提示部43は、コンテキスト取得部44によって取得されたコンテキスト種別ごとのコンテキスト情報およびアイコン記憶テーブル51に格納されたアイコンの選択状態と、操作履歴記憶テーブル49に格納されたコンテキスト情報および選択機能とをそれぞれ比較することによって、ユーザに選択される可能性がある機能を抽出し、抽出した各機能がユーザに選択される選択確率をパラメータ記憶テーブル50に格納されたパラメータに基づいて計算するようになっている。
例えば、選択候補提示部43は、図18に示すように、紙文書を表す入力アイコン90に対し、その紙文書の内容、作成者、ユーザおよび現在時刻といったコンテキスト種別ごとのコンテキスト情報に基づいて、印刷機能を表す機能アイコン91が選択された場合における次の選択機能の候補を操作履歴から取得し、取得した各候補について選択確率を計算し、選択確率が高かった「A3用紙」を表す機能アイコン92および「A4用紙」を表す機能アイコン93を次の選択候補として提示する。
図19乃至図21は、選択候補提示部43による選択候補の抽出および選択確率の計算の流れを示すフローチャートである。
図19において、まず、選択候補提示部43は、各アイコンが選択状態にあるか非選択状態にあるかをアイコン記憶テーブル51から取得すると共に、コンテキスト取得部44からコンテキスト種別ごとのコンテキスト情報を取得する(S31)。
次に、選択候補提示部43は、操作履歴記憶テーブル49から、選択状態にあるアイコンが表すすべての機能が選択されたことを示す選択機能のうち、まだ選択されていない機能を抽出し、抽出した機能を選択候補とする(S32)。
次に、選択候補提示部43は、コンテキスト種別ごとに各選択候補の選択確率を計算し(S33)、コンテキスト種別ごとに計算した各選択候補の選択確率にパラメータ記憶テーブル50の第2列に格納された重みwjをそれぞれ掛け、すべてのコンテキスト種別に渡って重みwjを掛けた選択確率の総和を選択候補ごとに取ったものを各選択候補の選択確率とする(S34)。
図20は、図19におけるステップS32を詳細に説明したものであり、以下の処理を履歴の数だけ実行する(S41、S46およびS47)。
まず、選択候補提示部43は、操作履歴記憶テーブル49から履歴iにおける選択機能を第i行第2列より取得する(S42)。選択状態にあるアイコンが表すすべての機能がステップS42において取得した選択機能に含まれる場合には(S43)、選択候補提示部43は、ステップS42において取得した選択機能のうち、選択状態にあるアイコンが表す機能に含まれない機能を取得する(S44)。
ここで、複数の機能が取得できる場合には、取得する機能は、例えば、取得できる機能のうち、最も早い段階に取得したものである。次いで、選択候補提示部43は、操作履歴記憶テーブル49の第i行の第4列以降よりコンテキスト種別ごとにコンテキスト情報を取得する(S45)。
図21は、図19におけるステップS33を詳細に説明したものであり、以下の処理を履歴の数だけ実行する(S51、S57およびS58)。
まず、選択候補提示部43は、あるコンテキスト種別のコンテキスト情報を確率変数とし、各操作履歴から得られる確率変数aと現操作に関する確率変数bから、履歴iにおいて選択された機能が再び選択される確率xiをf (a,b) により求める(S52)。
ここで、f (a,b) は、aとbの値が近いときに高く、aとbの値が離れると低くなる関数であり、例えば、差の絶対値|a-b|を変数とする以下に示すガウス関数である。
また、f (a,b) は、aとbが一致するときに1、それ以外のときに0を返す階段関数を用いてもよい。ガウス関数を使用する際には、パラメータσiをパラメータ記憶テーブル50の第i行第3列より予め取得しておく。
例えば、コンテキスト種別が日付のときは、|a-b| は、履歴iが生成されてから現在までの日数となり、古い履歴ほどxiの値は低くなる。また、コンテキスト種別がユーザID のときは、f (a,b) に階段関数を用いるとユーザIDが一致するときのxiは1、ユーザIDが一致しないときのxiは0となる。
次に、選択候補提示部43は、履歴iにおいて選択された操作jについて、操作jを選択する確率pjをg(xi)だけ増やし、これを抽出した全履歴について行うことにより各操作が選択される確率を求める(S53乃至S56)。
ここで、関数g(x)は、基準化のための関数であり、例えば、以下に示すように、ステップS52において得られたxiの値の総和が1になるよう選ぶ。
図3において、コンテキスト取得部44は、ユーザおよび入力された媒体に関するコンテキスト情報をコンテキスト種別ごとに取得するようになっている。
操作履歴更新部45は、操作命令およびコンテキスト種別ごとのコンテキスト情報を記憶装置9上の操作履歴記憶テーブル49に新たな列を追加することによって格納するようになっている。
パラメータ更新部46は、選択候補ごとの選択確率を計算するためのパラメータを、機能の選択状況に応じてその値を更新し、パラメータ記憶テーブル50に格納するようになっている。
ここで、パラメータ更新部46の動作について図22を参照して説明する。
まず、パラメータ更新部46は、コンテキスト種別Cに関する重みwCを以下に示す式によって求め、パラメータ記憶テーブル50の第2列の値を更新する(S61)。
ここで、pckは、コンテキスト種別cに基づいて得られたアイコンkが選択される確率である。また、Kは実際に選択されたアイコンである。
次に、パラメータ更新部46は、各履歴h(S62、S68およびS69)の各コンテキスト種別c(S63、S66およびS67)のうち、図21のステップS52においてガウス関数を用いてf (a, b) を得た各コンテキスト種別について(S64)以下の処理を行う。
まず、パラメータ更新部46は、履歴hにおけるコンテキスト種別cに基づくアイコンkの選択確率pckhを以下の式によって更新する(S65)。
但し、pckhはkに依存せず、すべてのアイコンについて同じ値である。また、p ( k = 履歴hにおける選択アイコン) とは、履歴hにおいて選択されたアイコンがkである確率である。
次に、パラメータ更新部46は、図21のステップS52において利用した | a - b | の値から、ステップS65で計算したそのaとbに対するf (a,b) の値の更新値が、同じ形のガウス関数から計算できるよう、σの値を変更することでf (a,b) を更新する(S70)。ここで 、パラメータ更新部46は、| a - b | の値とf (a,b) の値の更新値とから、最小二乗法によりσを求め、パラメータ記憶テーブル50の第3列の値を更新する。
図3において、表示状態更新部47は、アイコン記憶テーブル51に記憶されたディスプレイスクリーン5上に表示されたアイコンの種別、大きさおよび位置と、選択候補提示部43によって得られた選択候補として提示する機能アイコンの種別と、選択認識部41によって認識されたユーザの選択状況と、操作予測部42による選択予測の結果とに基づいて、ディスプレイスクリーン5上に表示するアイコンの画像、位置および大きさを決定し、決定したアイコンの画像、位置および大きさで記憶装置9に格納されたアイコン記憶テーブル51を更新するようになっている。
ここで、表示状態更新部47の動作について図23を参照して説明する。
まず、表示状態更新部47は、アイコン記憶テーブル51にあるアイコン情報を取得する(S81)。このアイコン情報には、アイコンの種別を表す情報と、アイコンを表す画像および文字を表す情報と、アイコンの位置を表す情報と、アイコンの大きさを表す情報と、アイコンが選択状態にあるか否かを表す情報とが含まれる。
次に、表示状態更新部47は、選択認識部41によって認識されたユーザの選択状況を取得し(S82)、入力アイコンが選択され(S83)、かつ、機能アイコンが選択されている場合(S84)には、選択候補提示部43から次の選択候補を取得する(S85)。
表示状態更新部47は、次の選択候補に対応する行がアイコン記憶テーブル51に存在しない場合には、アイコン記憶テーブル51に新たな行を追加し、第1列、第2列および第3列に種別、名前およびファイルパスをそれぞれ書き込む(S86)。また、表示状態更新部47は、次の選択候補に関するアイコン情報を決定し、アイコン記憶テーブル51の第4列および第5列の座標や第6列の大きさを表す情報を更新し、第7列に「非選択」と格納する。
ここで、表示状態更新部47によるアイコンの座標の決定動作を図24を参照して説明する。
図24(a)に示す例では、表示状態更新部47は、表示する機能アイコンのうち近接する2つと選択状態にある機能アイコンのなす角βを(360°−2α) / (次の選択候補となるアイコン数+1)により算出し、選択されている機能アイコン101を中心とし、直前に選択された機能アイコン100の両側αを除いて角度βで等間隔になるよう次の選択候補を表す機能アイコン102乃至105の位置を決定する。
図24(b)に示す例では、表示状態更新部47は、図の横方向をX方向、縦方向をY方向としたとき、次の選択候補を表す機能アイコン102乃至105のX方向の位置を、選択状態にある機能アイコン101のX方向の位置に基づいて決定し、Y方向の位置を、機能アイコン102乃至105のY方向の位置間隔lが等しくなるよう決定する。
図23において、表示状態更新部47は、機能アイコンが選択状態にあるか否かを決定し、アイコン記憶テーブル51の第7列を更新する(S87)。ここでは、選択認識部41によって「選択された」と判断された機能アイコンを「選択」に変更する。また、あるアイコンが選択認識部41によって「選択された」と判断された場合、選択されたと判断されたアイコンを除き、このアイコンを提示した時点と同じあるいはそれ以降に提示したすべてのアイコンを「非選択」とする。
例えば、第1列が「機能3」となっているアイコンが「非選択」から「選択」に変わった場合には、今回「選択」に変わったアイコンを除き、第1列が「機能3」「機能4」「機能5」・・・となっているすべてのアイコンは、「非選択」になる。
表示状態更新部47は、選択状態にある機能アイコンのうち、最後に選択されたものを除くすべてのアイコンについて、アイコン記憶テーブル51の第4列および第5列に示す座標や第6列に示す大きさを更新する。例えば、大きさを小さくし、ディスプレイスクリーン5の左上にアイコン位置を移動するよう更新する(図7参照)。
表示状態更新部47は、最後に選択された機能アイコン、およびそのアイコンが選択されている場合において選択候補となっているアイコンについてアイコン情報を決定し、アイコン記憶テーブル51の第4列および第5列に示す座標や第6列に示す大きさを更新する。具体的には、大きさを小さくしたり、選択状態にあるものについてはアイコンの画像を変更したりする。
表示状態更新部47は、アイコン記憶テーブル51において、非選択状態にある機能アイコンのうち、最新の選択操作より前に選択候補として提示された機能を表すアイコンに関する行を削除する(S88)。例えば、最後に選択されたアイコンの第1列が「機能3」のときは、第1列が「機能1」または「機能2」であり、かつ、第7列が非選択のものを削除する。
ステップS84において、機能アイコンがユーザに選択されていない場合には、表示状態更新部47は、操作予測部42による選択予測の結果を取得する(S89)。次いで、操作予測部42によって予測されたアイコンが選択された場合には、表示状態更新部47は、選択候補提示部43によって得られた次の選択候補を取得する(S90)。
アイコン記憶テーブル51に次の選択候補に対応する行が存在しない場合には、表示状態更新部47は、アイコン記憶テーブル51に新たな行を追加し、第1列、第2列および第3列に種別、名前およびファイルパスをそれぞれ書き込む(S91)。
また、表示状態更新部47は、選択候補を表すアイコンに関するアイコン情報を決定し、アイコン記憶テーブル51の第4列および第5列の座標や第6列の大きさを表す情報を更新する。具体的には、図25に示すように、ユーザに選択されているアイコン110の移動ベクトルに−1または任意の負数を乗じたベクトル分、選択が予測されたアイコン111を移動させることによりポインティングデバイス8の指定する位置に近づけ、一方で、選択が予測されなかったアイコンの大きさを小さくする。
選択が予測されたアイコンが実際に選択された場合には、表示状態更新部47は、次の選択候補を表すアイコンに関するアイコン情報を決定し、アイコン記憶テーブル51の第4列および第5列の座標や第6列の大きさを表す情報を更新する。ここでの動作は、図24を参照して説明した、機能アイコンが選択状態にある場合と同様である。
最後に、表示状態更新部47は、アイコン記憶テーブル51の第4列および第5列における、入力アイコンの座標をポインティングデバイス8が指示する座標に更新する(S92)。
図3において、動作命令部48は、アイコン記憶テーブル51において選択状態にある機能アイコンの表す機能の組み合わせから、コンピュータシステム1が行うべき動作を決定して命令するようになっている。
次に、本発明の他の態様を図26乃至図28に示す。
図26は、プリンタに本発明を適用した例を示している。このプリンタ200は、スキャナ部201、タッチパネルモニタ202およびネットワーク機能を備えており、プリンタ機能のほか、コピー機能、ファクシミリ機能および電子メールの送信機能などを実行することができる。
このようなプリンタ200において、スキャナ部201に原稿がセットされると、タッチパネルモニタ202に原稿を表す入力アイコン203が表示される。また、時刻やユーザ名といったコンテキスト種別ごとのコンテキスト情報や操作履歴に基づいて選択の予測されるコピー機能やファクシミリ機能などをそれぞれ表す機能アイコン204、205がタッチパネルモニタ202上に表示される。
入力アイコン203がタッチパネルモニタ202を介して指で操作され、機能アイコンに重ねられると、選択された機能アイコンに応じて提示するコピー枚数やファクシミリの送信先などを表す機能アイコンがタッチパネルモニタ202上に表示される。
このように連続的に機能アイコンが選択され、最後にスタートボタンが押されると選択された機能が実行される。
図27は、PDA(Personal Digital Assistant)に本発明を適用した例を示している。このPDA210は、ある情報が選択されることによりその情報を表す入力アイコンおよびその情報に対する選択機能を表す機能アイコンを提示する。
例えば、ある予定がスタイラス211を介して指定されると、その予定を表す入力アイコン212が表示される。また、時刻やユーザ名といったコンテキスト種別ごとのコンテキスト情報や操作履歴に基づいて予測される予定の編集や、他の人への通知などを表す機能アイコン213、214が表示される。
入力アイコン212がスタイラス211を介して操作され、機能アイコンに重ねられると、さらに選択された機能アイコンに応じて提示する機能を表す機能アイコンが表示される。ここで、例えば、「通知」、「Aさん」をそれぞれ表す機能アイコン214、215が選択された上でスタートボタンがスタイラス211によってタッチされると、「Aさんへの予定の通知」が実行される。
図28は、大画面タッチパネル付きディスプレイに本発明を適用した例を示している。この大画面タッチパネル付きディスプレイ220は、例えば、DVD(Digital Versatile Disc)ドライブ221と接続されており、DVDドライブ221にメディア222がセットされると、メディア222の内容を表す入力アイコンが表示される。
そのうちの1つの入力アイコン223が選択されると、再生や編集などを表す機能アイコン224、225が表示され、入力アイコン223がそれらの機能アイコンに重ねられることにより各機能が選択される。本態様も他の態様と同様に、選択された機能アイコンに応じてさらに機能アイコンを提示し、詳細に機能を設定することができる。最後にタッチパネルなどからユーザの指が離れると選択された機能が実行される。
以上、説明したように本発明の一実施の形態の情報処理装置40によれば、ユーザへの選択候補の提示は、過去履歴とコンテキスト情報に基づいてユーザの意図を推定し選択候補の数を絞った上で行われるため、ユーザは困難を伴うことなく機能を選択することができる。
また、ユーザの目的が複雑な機能であっても、一度にその目的を選択するのではなく、いくつかの単純な要素に分け、その一つ一つを連続して選択するため、一度の選択操作は極めて単純なものとなり、ユーザに負担はかからない。
すなわち、複雑な機能を目的としていてもユーザは困難の伴わない選択操作により目的機能に到達することができる。
本発明の一実施の形態における情報処理装置を適用したコンピュータシステムのブロック図 図1に示したコンピュータシステムのディスプレイスクリーンの表示例 本発明の一実施の形態における情報処理装置の機能ブロック図 本発明の一実施の形態における情報処理装置の動作を示すフローチャート 本発明の一実施の形態における情報処理装置の動作を説明するための第1の概念図 本発明の一実施の形態における情報処理装置の動作を説明するための第2の概念図 本発明の一実施の形態における情報処理装置の動作を説明するための第3の概念図 本発明の一実施の形態における情報処理装置の動作を説明するための第4の概念図 本発明の一実施の形態における情報処理装置の動作を説明するための第5の概念図 本発明の一実施の形態における情報処理装置の動作を説明するための第6の概念図 本発明の一実施の形態における情報処理装置の動作を説明するための第7の概念図 本発明の一実施の形態における情報処理装置の操作履歴記憶テーブルのメモリ配置図 本発明の一実施の形態における情報処理装置のパラメータ記憶テーブルのメモリ配置図 本発明の一実施の形態における情報処理装置のアイコン記憶テーブルのメモリ配置図 本発明の一実施の形態における情報処理装置の選択認識部を説明するための概念図 本発明の一実施の形態における情報処理装置の操作予測部を説明するための概念図 本発明の一実施の形態における情報処理装置の操作予測部の動作を示すフローチャート 本発明の一実施の形態における情報処理装置の選択候補提示部を説明するための概念図 本発明の一実施の形態における情報処理装置の選択候補提示部の動作を示すフローチャート 本発明の一実施の形態における情報処理装置の選択候補提示部の動作の一部を詳細に示すフローチャート 本発明の一実施の形態における情報処理装置の選択候補提示部の動作の他の一部を詳細に示すフローチャート 本発明の一実施の形態における情報処理装置のパラメータ更新部の動作を示すフローチャート 本発明の一実施の形態における情報処理装置の表示状態更新部の動作を示すフローチャート 本発明の一実施の形態における情報処理装置の表示状態更新部によるアイコンの座標の決定動作を説明するための概念図 本発明の一実施の形態における情報処理装置の表示状態更新部による選択が予測されたアイコンの座標の決定動作を説明するための概念図 本発明の一実施の形態における情報処理装置を適用したプリンタを示す概略図 本発明の一実施の形態における情報処理装置を適用したPDAを示す概略図 本発明の一実施の形態における情報処理装置を適用した大画面タッチパネル付きディスプレイを示す概略図
符号の説明
1 コンピュータシステム
2 CPU
3 メモリ
4 ディスプレイアダプタ
5 ディスプレイスクリーン(表示手段)
6 シリアルポート
7 キーボード
8 ポインティングデバイス(入力手段)
9 記憶装置(操作履歴記憶手段)
10 バス
11 音声インタフェース
12 ネットワークインタフェース
13 電子メール
14 FTP
15 WWW
16 ネットワークサービス
17 プリンタ
18 スキャナ
19 ファクシミリ
20 外部入出力装置
40 情報処理装置
41 選択認識部(選択認識手段)
42 操作予測部(操作予測手段)
43 選択候補提示部(選択候補提示手段)
44 コンテキスト取得部(コンテキスト取得手段)
45 操作履歴更新部
46 パラメータ更新部(媒介変数更新手段)
47 表示状態更新部(表示状態更新手段)
48 動作命令部(動作決定手段)
49 操作履歴記憶テーブル
50 パラメータ記憶テーブル
51 アイコン記憶テーブル
200 プリンタ
201 スキャナ部
202 タッチパネルモニタ
210 PDA
211 スタイラス
220 大画面タッチパネル付きディスプレイ
221 DVDドライブ
222 メディア

Claims (16)

  1. 機能の選択が入力される入力手段と、
    前記入力手段によって選択された機能の履歴を記憶する操作履歴記憶手段と、
    前記入力手段によって機能が選択された場合に、選択された機能の次に選択される機能の候補を前記操作履歴記憶手段に記憶された履歴に基づいて提示する選択候補提示手段と、
    前記機能の処理対象となる対象オブジェクトに関するコンテキスト情報を取得するコンテキスト取得手段と、を備え、
    前記選択候補提示手段が、前記操作履歴記憶手段に記憶された履歴および前記コンテキスト取得手段によって取得されたコンテキスト情報に基づいて前記候補を抽出し、
    前記候補が選択される選択確率を得る動作決定媒介変数の値を前記操作履歴記憶手段に記憶された履歴に基づいて算出し、算出した動作決定媒介変数の値に基づいて、前記候補の中から前記選択確率が高い候補を提示する情報処理装置。
  2. 前記入力手段によって順次選択された複数の機能の組み合わせに基づいて前記情報処理装置の動作を決定する動作決定手段を備えたことを特徴とする請求項1に記載の情報処理装置。
  3. 前記操作履歴記憶手段に記憶された履歴と、
    前記コンテキスト取得手段によって取得されたコンテキスト情報と、
    前記選択候補提示手段によって得られた各候補の選択確率と、
    前記入力手段によって選択された機能と、
    前記動作決定媒介変数の値と、に基づいて、前記動作決定媒介変数の値を更新する媒介変数更新手段を備えたことを特徴とする請求項1または請求項2に記載の情報処理装置。
  4. 前記機能を表すアイコンを画面上に表示する表示手段と、
    前記アイコンが選択されているか否かを認識する選択認識手段と、を備え、
    前記入力手段には、前記画面上の座標が入力され、
    前記選択認識手段が、前記画面上に表示されたアイコンの表示範囲内に前記入力手段に入力された座標が入っているか否かに基づいて前記アイコンが選択されているか否かを認識し、
    前記選択候補提示手段が、前記候補を表すアイコンを前記画面上に表示することを特徴とする請求項1乃至請求項の何れかに記載の情報処理装置。
  5. 前記入力手段によって最後に選択されたアイコンの位置および該アイコンが選択される直前に選択されたアイコンの位置に基づいて、前記候補を表すアイコンの位置を決定する表示状態更新手段を備えたことを特徴とする請求項に記載の情報処理装置。
  6. 前記入力手段に入力された座標の変位および前記表示手段に表示されたアイコンの表示範囲に基づいて前記入力手段によって選択される機能を予測する操作予測手段を備え、
    前記選択候補提示手段が、前記操作予測手段によって予測された機能の次に選択される機能の候補を提示することを特徴とする請求項に記載の情報処理装置。
  7. 前記表示状態更新手段が、前記操作予測手段によって予測された機能を表すアイコンの前記画面上の位置が前記入力手段に入力された座標に近づくように決定することを特徴とする請求項に記載の情報処理装置。
  8. 機能の選択が入力される入力ステップと、
    前記入力ステップで選択された機能の履歴を記憶する操作履歴記憶ステップと、
    前記入力ステップで機能が選択された場合に、選択された機能の次に選択される機能の候補を前記操作履歴記憶ステップで記憶された履歴に基づいて提示する選択候補提示ステップと、
    前記機能の処理対象となる対象オブジェクトに関するコンテキスト情報を取得するコンテキスト取得ステップと、を有し、
    前記選択候補提示ステップにおいて、前記操作履歴記憶ステップで記憶された履歴および前記コンテキスト取得ステップで取得されたコンテキスト情報に基づいて前記候補を抽出し、
    前記候補が選択される選択確率を得る動作決定媒介変数の値を前記操作履歴記憶ステップで記憶された履歴に基づいて算出し、算出した動作決定媒介変数の値に基づいて、前記候補の中から前記選択確率が高い候補を提示する情報処理方法。
  9. 前記入力ステップで順次選択された複数の機能の組み合わせに基づいて装置の動作を決定する動作決定ステップを有することを特徴とする請求項に記載の情報処理方法。
  10. 前記操作履歴記憶ステップで記憶された履歴と、
    前記コンテキスト取得ステップで取得されたコンテキスト情報と、
    前記選択候補提示ステップで得られた各候補の選択確率と、
    前記入力ステップで選択された機能と、
    前記動作決定媒介変数の値と、に基づいて、前記動作決定媒介変数の値を更新する媒介変数更新ステップを有することを特徴とする請求項8または請求項9に記載の情報処理方法。
  11. 前記機能を表すアイコンを画面上に表示する表示ステップと、
    前記アイコンが選択されているか否かを認識する選択認識ステップと、を有し、
    前記入力ステップにおいて、前記画面上の座標が入力され、
    前記選択認識ステップにおいて、前記画面上に表示されたアイコンの表示範囲内に前記入力ステップで入力された座標が入っているか否かに基づいて前記アイコンが選択されているか否かを認識し、
    前記選択候補提示ステップにおいて、前記候補を表すアイコンを前記画面上に表示することを特徴とする請求項乃至請求項10の何れかに記載の情報処理方法。
  12. 前記入力ステップで最後に選択されたアイコンの位置および該アイコンが選択される直前に選択されたアイコンの位置に基づいて、前記候補を表すアイコンの位置を決定する表示状態更新ステップを有することを特徴とする請求項11に記載の情報処理方法。
  13. 前記入力ステップで入力された座標の変位および前記表示ステップに表示されたアイコンの表示範囲に基づいて前記入力ステップで選択される機能を予測する操作予測ステップを有し、
    前記選択候補提示ステップにおいて、前記操作予測ステップで予測された機能の次に選択される機能の候補を提示することを特徴とする請求項12に記載の情報処理方法。
  14. 前記表示状態更新ステップにおいて、前記操作予測ステップで予測された機能を表すアイコンの前記画面上の位置が前記入力ステップで入力された座標に近づくように決定することを特徴とする請求項13に記載の情報処理方法。
  15. 請求項乃至請求項14の何れかに記載の情報処理方法をコンピュータに実行させるための情報処理プログラム。
  16. 請求項15に記載の情報処理プログラムが、コンピュータに読み取り可能に記録された記録媒体。
JP2004357067A 2004-12-09 2004-12-09 情報処理装置 Expired - Fee Related JP4526940B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004357067A JP4526940B2 (ja) 2004-12-09 2004-12-09 情報処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004357067A JP4526940B2 (ja) 2004-12-09 2004-12-09 情報処理装置

Publications (2)

Publication Number Publication Date
JP2006164058A JP2006164058A (ja) 2006-06-22
JP4526940B2 true JP4526940B2 (ja) 2010-08-18

Family

ID=36665989

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004357067A Expired - Fee Related JP4526940B2 (ja) 2004-12-09 2004-12-09 情報処理装置

Country Status (1)

Country Link
JP (1) JP4526940B2 (ja)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4736984B2 (ja) * 2006-07-10 2011-07-27 富士ゼロックス株式会社 操作画面生成方法、操作画面生成装置、電子機器、プログラム
JP4768023B2 (ja) * 2006-07-20 2011-09-07 パナソニック株式会社 入力制御装置
US7945864B2 (en) 2006-11-15 2011-05-17 Panasonic Corporation Operation assisting apparatus and operation assisting method
JP2008257345A (ja) * 2007-04-02 2008-10-23 Fuji Xerox Co Ltd 情報処理装置、情報処理プログラム、及び、画像処理システム
JP5036684B2 (ja) * 2008-10-27 2012-09-26 シャープ株式会社 携帯情報端末
JP5257311B2 (ja) * 2008-12-05 2013-08-07 ソニー株式会社 情報処理装置、および情報処理方法
JP4811484B2 (ja) 2009-03-23 2011-11-09 コニカミノルタビジネステクノロジーズ株式会社 ユーザインタフェース装置
US8499243B2 (en) 2009-03-23 2013-07-30 Panasonic Corporation Information processing device, information processing method, recording medium, and integrated circuit
JP2010221632A (ja) * 2009-03-25 2010-10-07 Seiko Epson Corp テープ印刷装置、テープ印刷装置の制御方法及びプログラム
JP5348689B2 (ja) * 2009-05-22 2013-11-20 Necカシオモバイルコミュニケーションズ株式会社 携帯端末装置及びプログラム
JP5523119B2 (ja) * 2010-01-14 2014-06-18 キヤノン株式会社 表示制御装置及び表示制御方法
JP5701081B2 (ja) * 2011-01-31 2015-04-15 キヤノン株式会社 表示制御装置及びその制御方法
JP6194162B2 (ja) * 2011-10-03 2017-09-06 京セラ株式会社 装置、方法、及びプログラム
JP5894764B2 (ja) * 2011-11-01 2016-03-30 シャープ株式会社 情報処理装置
JP5263419B2 (ja) * 2012-03-08 2013-08-14 セイコーエプソン株式会社 画像供給装置、画像表示制御プログラム及び画像表示制御方法
JP5874465B2 (ja) * 2012-03-19 2016-03-02 コニカミノルタ株式会社 情報処理装置、画像形成装置、情報処理装置の制御方法、画像形成装置の制御方法、情報処理装置の制御プログラム、及び画像形成装置の制御プログラム
JP5762502B2 (ja) * 2013-10-15 2015-08-12 キヤノン株式会社 表示制御装置及び表示制御方法
JP6120907B2 (ja) * 2015-06-08 2017-04-26 キヤノン株式会社 表示制御装置及び表示制御方法
WO2017042863A1 (ja) * 2015-09-07 2017-03-16 楽天株式会社 端末装置、情報処理方法及び情報処理プログラム
JP6213581B2 (ja) * 2016-01-20 2017-10-18 コニカミノルタ株式会社 情報処理装置及び情報処理装置の制御プログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1027089A (ja) * 1996-07-11 1998-01-27 Fuji Xerox Co Ltd コンピュータ操作支援装置
JP3724270B2 (ja) * 1999-09-07 2005-12-07 日本電信電話株式会社 文書表示方法及び文書表示プログラムを格納した記憶媒体
JP2003233447A (ja) * 2002-02-06 2003-08-22 Just Syst Corp アイコン表示装置、アイコン表示方法およびその方法をコンピュータに実行させるプログラム
JP4051310B2 (ja) * 2003-03-20 2008-02-20 京セラ株式会社 携帯端末

Also Published As

Publication number Publication date
JP2006164058A (ja) 2006-06-22

Similar Documents

Publication Publication Date Title
JP4526940B2 (ja) 情報処理装置
JP4717743B2 (ja) 情報処理装置
JP6122814B2 (ja) 情報処理装置、プログラム、及びデジタル検版方法
US9843691B2 (en) Image display device, image display system, image display method, and computer-readable storage medium for computer program
US20100146435A1 (en) Method and system for navigating through parts of a document
JP6053332B2 (ja) 情報処理装置、情報処理装置の制御方法、及びプログラム
US20130187944A1 (en) Information processing apparatus that controls display of contents, method of controlling the same, and storage medium
KR20040069984A (ko) 특수화된 데이터 입력을 위한 유틸리티 오브젝트
JP6150766B2 (ja) 情報処理装置、プログラム、及び自動ページ差し替え方法
KR102198322B1 (ko) 기계 학습을 이용한 지능형 데이터 시각화 시스템
JP7434001B2 (ja) 情報処理装置、プログラム、情報処理方法
JP2011081778A (ja) ディスプレイ非依存のコンピュータによるガイダンス方法および装置
JP2013196233A (ja) オブジェクト共有システム及びオブジェクト管理プログラム
US9213507B2 (en) Apparatus, control method, and storage medium
JP5974657B2 (ja) 情報処理装置、情報処理方法および情報処理プログラム
JP5330714B2 (ja) 検索支援装置、および検索支援プログラム
JP5963451B2 (ja) 情報処理装置及びその制御方法、プログラム、並びに記憶媒体
JP2017027319A (ja) 帳票文書データの表示・編集・保存方法、装置、処理プログラム
JP3897772B2 (ja) ファイル名作成装置及びファイル名作成プログラム
JP2018018458A (ja) 入力支援装置、及び入力支援プログラム
JP5954146B2 (ja) 補正方法、システム、情報処理装置、および補正プログラム
JP3733725B2 (ja) フォームオーバレイ装置、フォームオーバレイ方法、およびオーバレイ印刷制御用プログラムを記録したコンピュータで読み取り可能な記録媒体
KR20090030224A (ko) 정보처리장치, 정보처리장치의 제어방법, 및 기억매체
JP4796448B2 (ja) マンマシン装置
JPH1115583A (ja) アイコン表示制御装置及びアイコン表示制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20071126

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100216

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100408

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100601

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100602

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130611

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees