JP6115149B2 - 情報処理システム、情報処理端末、プログラムおよび情報機器操作方法 - Google Patents

Description

本発明は、ユーザ・インタフェース技術に関する。本発明は、より詳細には、情報機器を操作するための情報処理システム、情報処理端末、プログラムおよび情報機器操作方法に関する。

従来、ＨＴＴＰ（Hypertext Transfer Protocol）通信などを利用して、パーソナル・コンピュータや携帯情報端末といった情報処理端末から情報機器に対する設定操作や情報参照を行うためのリモート操作機能がよく利用されている（例えば特開２００６−０５３９０２号公報：特許文献１）。ＨＴＴＰ通信を利用したリモート操作機能では、情報処理端末から設定項目の設定操作を行う毎に情報機器と通信し、設定操作毎に情報機器側に反映させる手法が知られている。また、複数の設定項目を含む所定単位の設定操作毎に情報機器と通信し、情報機器側に一括で反映させて結果を取得する方法も知られている。

しかしながら、設定操作毎に通信する上記従来技術の方法では、通信の状況や接続形式によってレスポンスが悪化する懸念があった。レスポンスが悪化すると、同一キーを連続して押してしまうなど、ユーザ操作の効率が低下してしまう。一方、所定単位の設定操作毎に通信する上記従来技術の方法では、複数のうち１つ目の設定項目で既にエラーが発生する場合であっても、所定単位の設定操作がなされてから通信が行われ、その応答を受信してから当該エラーが認識されることになる。このため、複合機のように、設定の取り消しおよび再設定などの変更が多い情報機器であると、ユーザは効率良く設定操作することができなかった。

設定項目について発生するエラーに対処する技術としては、特開２００７‐２１３２２６号公報（特許文献２）が知られている。特許文献２は、第一のＷｅｂページを介して複数の設定項目に対する値を設定させる情報処理装置において、ｗｅｂページの設定項目に入力誤りがあった場合の再入力作業を簡便化させることを目的とした技術を開示する。特許文献１の情報処理装置は、Ｗｅｂページにおいて入力された設定項目の値の適否を判定し、値が不正であると判定された設定項目と依存関係を有する設定項目とを抽出する。そして、値が不正であると判定された設定項目と、抽出された設定項目とに対して値を設定させる再設定ページを生成する。

上記特許文献２に開示される従来技術では、設定値入力の操作性の向上が図られている。しかしながら、上記従来技術では、再設定ページが生成されるので、ユーザはその再設定ページ上で再設定を行う必要があり、設定値を入力した時点でのレスポンスは遅く、依然として充分なものではなかった。

本発明は、上記従来技術における問題点に鑑みてなされたものであり、本発明は、情報機器に対して各種操作を適時に通知できるとともにユーザに対するレスポンスが向上された操作機能を実現する、情報処理システム、情報処理端末、プログラムおよび情報機器操作方法を提供することを目的とする。

本発明では、上記課題を解決するべく、下記特徴を有する情報処理システムを提供する。本情報処理システムは、情報機器に対する操作を行うためのシステムであって、操作を受信する操作受信手段と、該操作の実行を管理する管理手段とを含む情報機器を含む。本情報処理システムは、さらに、上記情報機器に対する操作を指示するユーザ入力を受け付ける受付手段と、上記ユーザ入力による操作を上記情報機器に送信する操作送信手段と、上記ユーザ入力による操作に基づき、上記情報機器での操作の実行結果を予測する予測手段と、上記実行結果の予測に基づき、上記ユーザ入力に対応した操作の仮の応答表示を行う応答表示手段とを含む。

上記構成によれば、情報機器に対して各種操作を適時に通知できるとともにユーザに対するレスポンスが向上された操作機能を実現することができる。

第１の実施形態による画像処理システムのネットワーク環境を示す図。 第１の実施形態による画像処理システムの全体構成を示す機能ブロック図。 第１の実施形態において、複合機および情報処理端末間で実行される複合機の操作方法を示すフローチャート。 第１の実施形態において情報処理端末が備える表示装置上に表示される設定操作画面を例示する図。 第１の実施形態において予測が一致しなかった場合の応答表示の更新を説明する図。 第１の実施形態による予測モデル格納部が格納する予測モデルのデータ構造を例示する図。 第１の実施形態による予測モデル格納部が格納する他の予測モデルのデータ構造を例示する図。 図７に示す予測モデルに基づき表示される、付加表示を含む仮の応答表示がなされた設定操作画面を例示する図。 第１の実施形態による（Ａ）適合確率テーブルおよび（Ｂ）外観対応テーブルのデータ構造を示す図。 適合確率に基づく付加表示が行われた場合の設定操作画面を例示する図。 第１の実施形態において、複合機および情報処理端末の間で実行される操作方法を示すシーケンス図。 第２の実施形態による画像処理システムの全体構成を示す機能ブロック図。 第２の実施形態による予測モデル更新部が実行する、予測モデルの更新処理を示すフローチャート。 情報処理端末のハードウェア構成図。

以下、実施形態をもって説明するが、以下に説明する実施形態に限定されるものではない。なお、以下の説明では、情報機器に対する操作を行うための情報処理システムとして、情報機器としての複合機と、上記複合機に対する操作を行うための情報処理端末とを含む画像処理システムを一例として説明する。

［第１の実施形態］
図１は、第１の実施形態による画像処理システム１００のネットワーク環境を示す図である。図１に示す画像処理システム１００は、ネットワーク１０２を介して相互に接続される、複合機１１０と、情報処理端末１５０とを含み構成される。ここで、ネットワーク１０２は、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）、インターネット、ＰＡＮ（Personal Area Network）といった、機器間の通信を可能とする種々の有線または無線のネットワークを含み得る。また、複合機１１０と、情報処理端末１５０とは、必ずしも物理的に離れたロケーションに存在することを要せず、所定のネットワークを介して相互に接続され、所定のプロトコルを介して通信するものであれば、同一ロケーションに存在することを妨げられない。また、複合機１１０と情報処理端末１５０とが独立したコンピュータ装置として構成されるとともに、情報処理端末１５０が複合機１１０に装着ないし装備されて利用されるような態様も妨げられない。

上記複合機１１０は、コピー、スキャナ、ファクシミリ、プリンタなどの各種画像処理機能を提供し、本実施形態において、外部の情報処理端末１５０による操作の対象となる情報機器である。上記情報処理端末１５０は、本実施形態において、操作対象である複合機１１０を操作するために操作者が操作する端末装置である。情報処理端末１５０は、パーソナル・コンピュータ、タブレット・コンピュータ、スマートフォン、ＰＤＡ（Personal Digital Assistant）など、ユーザ・インタフェース機器を備えた汎用端末装置、または複合機１１０を操作するために複合機１１０に装着ないし装備される操作専用端末装置として構成される。

本実施形態における情報処理端末１５０は、ユーザから複合機１１０の画像処理機能に対する設定操作を受け付け、複合機１１０に対して設定操作の内容を通知する。一方、本実施形態における複合機１１０は、情報処理端末１５０から上記画像処理機能に対する設定操作の通知を受信し、その指示された設定操作を実行し、実行結果を情報処理端末１５０へ応答する。

複合機１１０と、情報処理端末１５０との間で上記設定操作に関連して行われる通信は、所定のプロトコルに従って実行される。上記所定のプロトコルとしては、要求（リクエスト）と、該要求に対する応答（レスポンス）とを含み構成されるトランザクション単位で通信を行うことを特徴とする、ＨＴＴＰ（HyperText Transfer Protocol）プロトコルを挙げることができる。上述したようなプロトコルでは、複合機１１０および情報処理端末１５０間を結ぶネットワークの状況によって、要求に対する応答に遅延が生じる可能性がある。上記設定操作にかかる要求に対する応答が遅延すると、ユーザ操作に対するレスポンスが劣化し、これに起因して、同一キーを連続して押してしまうなどの誤操作や重複操作を招き、ユーザ操作の効率を低下させてしまう可能性がある。

そこで、本実施形態では、情報処理端末１５０は、複合機１１０へ操作の内容を通知するとともに、この通知に対する応答を待たずに、複合機１１０側でその操作が行われた場合の実行結果を予測し、仮の応答表示を行う構成を採用する。これにより、上記要求に対する応答の遅延に起因したレスポンス劣化の改善を図る。以下、図２〜図１１を参照しながら、第１の実施形態によるレスポンスの改善が図られた、ネットワークを介した複合機の操作機能の詳細について説明する。

図２は、第１の実施形態による画像処理システム１００の全体構成を示す機能ブロック図である。図２に示す機能ブロックは、複合機１１０上で実現される機能ブロックと、情報処理端末１５０上で実現される機能ブロックとを含み構成される。

複合機１１０の機能ブロックとしては、ネットワーク通信部１１２と、ネットワーク・サーバ１１４と、ジョブ設定管理部１１６と、アプリケーション・プログラミング・インタフェース（以下、ＡＰＩと参照する。）１１８と、メモリ管理部１２０と、エンジン管理部１２２と、ユーザ情報管理部１２４と、プロッタ１２６と、スキャナ１２８とが含まれる。

ネットワーク通信部１１２は、ネットワーク・インタフェース機器を含み構成され、ＴＣＰ／ＩＰ（Transmission Control Protocol / Internet Protocol）などの通信プロトコルに従った、ネットワーク１０２を介したデータの送受信を担当する。ネットワーク・サーバ１１４は、ネットワーク通信部１１２を介して送受信されるデータを解釈して、外部装置との操作に関する情報の送受信処理を実行する。ネットワーク・サーバ１１４は、特定の実施形態では、ｈｔｔｐｄ（HTTP Daemon）などのウェブ・サーバとして実装される。ネットワーク・サーバ１１４は、ＨＴＴＰプロトコルに従って、ＨＴＴＰクライアントからの要求に応答して、要求に対する処理を実行し、処理結果を応答する。

プロッタ１２６およびスキャナ１２８は、それぞれ、プリンタ・アプリケーションやスキャナ・アプリケーション（図示せず。）などから発行されたプリント指令およびスキャン指令を受けて、画像形成処理や画像読取処理を実行する。メモリ管理部１２０は、上記画像形成処理や画像読取処理において、画像メモリの取得および解放、画像データの圧縮・伸張等のメモリ制御などを行う。エンジン管理部１２２は、プロッタ１２６やスキャナ１２８などのハードウェア・リソースを管理し、画像読取動作や画像形成動作などを制御する。ユーザ情報管理部１２４は、ユーザ毎のアドレス帳、ユーザ認証情報、ユーザ権限管理情報などのユーザ固有の情報を管理する。

ＡＰＩ１１８は、プラットフォーム層のコンポーネント１２０〜１２４と、アプリケーションを含む上位層との間に介在する。プラットフォーム層のコンポーネント１２０〜１２４は、ＡＰＩ１１８に含まれる予め定義された関数により、上位のコンポーネントからの各種処理要求を受信している。

ジョブ設定管理部１１６は、プリント指令に基づくプリント・ジョブ、スキャン指令に基づくスキャン・ジョブ、コピー指令に基づくコピー・ジョブなどの各種ジョブに関する設定を管理するとともに、ジョブの実行を管理する。ここで、ジョブに関する設定としては、例えば、コピー・アプリケーションでは、用紙トレイ設定、排紙トレイ設定、集約設定、拡大縮小設定、ソーティングやステープルなどの後処理設定などの各種設定項目を含む。プリント・ジョブやスキャン・ジョブなどの他のジョブであれば、それに準じた設定項目を含むことになる。ジョブ設定管理部１１６は、ＡＰＩ１１８を介してメモリ管理部１２０、エンジン管理部１２２およびユーザ情報管理部１２４と通信し、これらのコンポーネントが管理する情報を取得し、情報処理端末１５０から通知された設定操作の成否を判定する。ジョブ設定管理部１１６は、設定操作の成否の判定結果に基づき、設定操作を実行し、その確定された実行結果を、ネットワーク通信部１１２およびネットワーク・サーバ１１４を介して情報処理端末１５０に通知する。

図２に示した実施形態において、上記ジョブ設定管理部１１６は、各種設定操作の実行を管理する管理手段を構成する。また、ネットワーク通信部１１２およびネットワーク・サーバ１１４は、情報処理端末１５０からユーザ操作を受信する操作受信手段、および、ユーザ操作の実行により確定された実行結果を操作指示元である情報処理端末１５０に送信する送信手段を構成する。

一方、情報処理端末１５０の機能ブロックとしては、ネットワーク通信部１５２と、入出力部１５４と、設定操作画面表示部１５６と、予測モデル格納部１６４とが含まれる。ネットワーク通信部１５２は、ネットワーク通信部１１２と同様に、ネットワーク・インタフェース機器を含み構成され、ＴＣＰ／ＩＰなどの通信プロトコルに従って、ネットワーク１０２を介したデータの送受信を実行する。入出力部１５４は、キーボード、タッチパネルなどの入力装置と、外部接続または内蔵されたディスプレイなどの表示装置とを含み構成され、ユーザからの入力装置への入力を受け付けるとともに、各処理結果を上記表示装置に表示する。

設定操作画面表示部１５６は、ネットワーク通信部１５２を介して送受信される操作に関する情報の送受信処理を実行するとともに、入出力部１５４と連携して、各種操作を行うためのユーザ・インタフェースを提供する。設定操作画面表示部１５６は、特定の実施形態では、複合機１１０から送信されるＨＴＭＬデータに基づき動作するウェブブラウザ、またはＨＴＴＰプロトコルに従って送受信されるデータを処理するＨＴＴＰクライアント機能を備えた専用アプリケーションとして実装される。

本実施形態における設定操作画面表示部１５６は、複合機１１０に対する各種設定操作を行うための設定操作画面のデータを複合機１１０から受信し、入出力部１５４に対し設定操作画面を表示させる。設定操作画面表示部１５６は、さらに、入出力部１５４を介した上記設定操作画面に対する設定操作にかかるユーザ入力を受け付け、ネットワーク通信部１５２を介して複合機１１０に対し設定操作を送信する。設定操作画面表示部１５６は、同時に、後述する予測モデルに従い、入出力部１５４に対し上記設定操作に対する仮の応答表示を行わせる。

予測モデル格納部１６４は、ユーザ入力による設定操作に基づき、複合機１１０側で実際に設定操作が実行された場合の実行結果を予測するための予測モデルを格納する。予測モデル格納部１６４は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、フラッシュメモリなどの補助記憶装置の記憶領域によって提供される。なお、予測モデルの詳細については後述する。

設定操作画面表示部１５６は、より詳細には、入力受付部１５８と、応答表示部１６０と、予測部１６２とを含み構成される。入力受付部１５８は、上記設定操作画面上に表示された設定項目の選択など、複合機１１０に対する設定操作を指示するユーザ入力を受け付ける。ユーザ入力が受け付けられると、設定操作の内容が、複合機１１０に送信されるとともに、予測部１６２に渡される。

予測部１６２は、予測モデル格納部１６４に格納された予測モデルを参照し、上記ユーザ入力による設定操作に基づき、複合機１１０での設定操作の実行結果を予測する。応答表示部１６０は、複合機１１０からの応答を待たずに、先行して、予測部１６２による実行結果の予測に基づき、設定操作に対する仮の応答表示を行う。一方で、複合機１１０側で設定操作が実際に実行されると、上記設定操作の確定された実行結果が複合機１１０から送信されることになる。確定された実行結果が受信されると、応答表示部１６０は、この確定された実行結果と、実行結果の前記予測との差分を判定し、差分がある場合には、受信した実行結果に応じて応答表示を更新する。上記更新により、応答表示は、予測された実行結果を、確定された正しい実行結果へ修正するように変更される。

図２に示した実施形態において、ネットワーク通信部１５２および設定操作画面表示部１５６は、複合機１１０に対しユーザ入力による操作を送信する操作送信手段、および複合機１１０からの操作に対する確定された実行結果を受信する結果受信手段を構成する。入出力部１５４および入力受付部１５８は、複合機１１０に対する操作を指示するユーザ入力を受け付ける受付手段を構成する。予測部１６２は、ユーザ入力による操作に基づき、複合機１１０での操作の実行結果を予測する、予測手段を構成する。入出力部１５４および応答表示部１６０は、ユーザ入力による操作に基づき予測された実行結果の予測に基づき、ユーザ入力に対応した操作の仮の応答表示を行う、応答表示手段を構成する。

以下、図３〜図５を参照しながら、複合機１１０および情報処理端末１５０間でネットワークを介して行われる、レスポンスの改善が図られた複合機１１０の操作方法の詳細について説明する。図３は、第１の実施形態において、複合機１１０および情報処理端末１５０間で実行される、複合機１１０の操作方法を示すフローチャートである。図３に示すフローチャートにおいては、複合機１１０側の処理（図において右側に配置された処理）と、情報処理端末１５０側の処理（図において左側に配置された処理）とが、分けて説明されていることに留意されたい。

図３に示す処理は、ステップＳ１００から開始し、ステップＳ１０１では、情報処理端末１５０は、複合機１１０に対し、設定操作画面を表示するためのデータ（以下、設定操作画面データと参照する。）の要求を行う。ステップＳ１０２では、複合機１１０は、情報処理端末１５０に対し、要求に対する応答として、設定操作画面データを送信する。ここで、設定操作画面データは、設定操作画面における各設定項目の設定値の選択肢、現在設定されている設定値、その他設定操作画面を構成する種々のデータを含むことができる。ステップＳ１０３では、情報処理端末１５０は、複合機１１０から受信した設定操作画面データに従って、入出力部１５４に設定操作画面を表示させる。

図４（Ａ）は、第１の実施形態において情報処理端末１５０が備える表示装置上に表示される設定操作画面を例示する。図４（Ａ）に示す設定操作画面２００は、コピー・ジョブに関する設定を行うための画面を例示する。図４（Ａ）に示す設定操作画面２００は、設定操作を受け付けるとともに、現在の設定状態を表す、複数のグラフィカル・ユーザ・インタフェース部品（以下、ＧＵＩ部品と参照する。）２０２ａ〜２０２ｄを含む。図４（Ａ）の例示おいては、「Ａ３」トレイ・キー２０２ｄが反転色表示されており、用紙トレイの設定項目に対し設定値「Ａ３」が選択されていることを表している。

再び図３を参照すると、ステップＳ１０４では、情報処理端末１５０は、ユーザにより設定操作画面を介した設定操作が行われたか否かを判定する。ステップＳ１０４で、設定操作が行われていないと判定された場合（ステップＳ１０４でＮＯの間）は、ステップＳ１０４をループさせ、ユーザによる設定操作を待ち受ける。一方、ステップＳ１０４で、設定操作が行われたと判定された場合（ＹＥＳ）は、ステップＳ１０５へ処理が分岐される。

ステップＳ１０５では、情報処理端末１５０は、上記設定操作により選択された設定項目に対する設定値を受け付ける。例えば、図４（Ａ）において「Ａ４」トレイ・キー２０２ｂが選択された場合は、用紙トレイの設定項目に対する設定値「Ａ４」が受け付けられる。ステップＳ１０６では、情報処理端末１５０は、複合機１１０に対し、設定操作に基づく設定項目の設定値を送信する。上記例示に従えば、用紙トレイの設定項目に対する設定値「Ａ４」が複合機１１０に送信される。

ステップＳ１０７では、情報処理端末１５０は、この設定値を選択した場合の複合機１１０からの応答を待たずに、予測モデル格納部１６４に格納された予測モデルを参照して、ユーザ入力による設定操作に対する実行結果の予測を取得する。ステップＳ１０８では、情報処理端末１５０は、上記実行結果の予測に基づき、ユーザ入力に対応した設定操作に対する仮の応答表示を行い、ステップＳ１０９へ処理を進める。

図４（Ｂ）は、第１の実施形態において情報処理端末１５０が備える表示装置上に表示される仮の応答表示がなされた設定操作画面を例示する。図４（Ｂ）に示す設定操作画面２００は、予測に基づく仮の応答表示の例として、図４（Ａ）の状態で、「Ａ４」トレイ・キー２０２ｂが押され、用紙トレイの設定項目に対する設定値「Ａ４」が選択された場合の仮の応答表示を例示する。図４（Ｂ）に示す設定操作画面２００では、「Ａ４」トレイ・キー２０２ｂの選択に応答して、用紙トレイの設定項目に対する設定値「Ａ４」の選択状態が予測され、この結果、キー２０２ｂが反転色表示されている。

なお、仮の応答表示は、図４（Ｂ）に示すように、予測される選択状態をそのまま表示する態様としてもよいが、図４（Ｃ）に示すように、応答表示部１６０は、実行結果の予測に基づき行われる応答表示について、確定された正しい実行結果を受信するまでの間、仮の応答表示が予測に基づくものであることを示すアイコン２０４などの付加表示を行ってもよい。付加表示は、上述したアイコン表示の他、太枠などの強調表示、メッセージ表示、吹き出し表示、ポップアップ表示などとすることができる。

ステップＳ１０６で、情報処理端末１５０から複合機１１０に対し、設定操作に基づく設定項目の設定値の送信が行われると、複合機１１０では、ステップＳ１１０〜ステップＳ１１３の処理が行われる。ステップＳ１１０では、複合機１１０は、情報処理端末１５０から送信された設定項目の設定値を受信する。ステップＳ１１１では、複合機１１０は、ジョブ設定管理部１１６からメモリ管理部１２０、エンジン管理部１２２、ユーザ情報管理部１２４に対し、上記設定操作に関する情報の問い合わせなどの処理を行う。

ステップＳ１１２では、複合機１１０は、設定値の設定の成否を判定し、設定を反映する。設定操作の実行結果としては、主要なものとして、設定値の設定が成功裡に完了したことを表す「成功」と、何らかのエラーにより設定値の設定が成功裡に完了しなかったことを示す「エラー」がある。例えば、指定の用紙トレイが用紙切れであるなどに起因して「Ａ４」の選択が失敗してしまうといった、複合機１１０の各種ステータスや複合機１１０が具備する拡張機能の有無によって「エラー」となってしまう場合がある。ステップＳ１１２では、このような情報処理端末１５０から要求された設定操作に対応して、実際に複合機１１０で設定操作を実行した場合の実行結果が取得される。ステップＳ１１３では、複合機１１０は、設定操作の確定された実行結果を情報処理端末１５０に対して応答する。

一方、情報処理端末１５０側では、ステップＳ１０８で一旦仮の応答表示が行われた後は、ステップＳ１０９へ処理が進められる。ステップＳ１０９では、複合機１１０からの設定操作の実行結果の応答を待ち受け、応答を受けるまでの間（ＮＯの間）、ステップＳ１０９をループさせる。ステップＳ１０９で、実行結果の応答を受信したと判定された場合（ＹＥＳ）は、ステップＳ１１４へ処理が進められる。

ステップＳ１１４では、情報処理端末１５０は、ステップＳ１０７で予測された実行結果と、ステップＳ１０９で受信した、確定された実行結果とを比較し、差分が無く予測が一致していたか否かを判定する。ステップＳ１１４の判定で、予測が一致したと判定された場合（ＹＥＳ）は、ステップＳ１１６へ直接処理を進めて、仮の応答表示をそのまま維持して、本処理を終了させる。なお、図４（Ｃ）のように仮の応答表示において付加表示が行われる場合は、仮の応答表示における付加表示を非表示とする更新が行われてもよい。

一方で、ステップＳ１１４の判定で、予測が一致しなかったと判定された場合（ＮＯ）は、ステップＳ１１５へ処理が進められる。ステップＳ１１５では、情報処理端末１５０は、ステップＳ１０８で一旦表示した仮の応答表示を更新し、確定された実行結果に基づく正しい応答表示に変更し、ステップＳ１１６で本処理を終了させる。

図５は、第１の実施形態において予測が一致しなかった場合に行われる応答表示の更新処理を説明する図である。図５（Ａ）は、仮の応答表示が行われた設定操作画面２１０を示している。図５（Ａ）に示す設定操作画面２１０は、ＧＵＩ部品２１２のうちの「ステープル」キー２１２ａが押されて、後処理の設定項目に対する設定値「ステープル」の選択が予測され、仮応答表示２１４が行われていた状態にある。

一方、図５（Ｂ）は、図５（Ａ）に示す状態において、複合機１１０から実際の設定操作の実行結果を受信して、その実行結果が予測と一致しなかった場合の設定操作画面２１０を例示する。図５（Ｂ）に示すように、予測した実行結果と複合機１１０からの正式な実行結果とが相違していた場合、情報処理端末１５０は、正式な設定値の表示状態に修正されるように応答表示を更新する。図５に示す例では、後処理の設定項目に対する設定値「ステープル」が非選択の状態に修正されている。

このとき、好適な実施形態では、上記応答表示部１６０は、確定された実行結果に応じて応答表示を更新する場合に、確定された実行結果に応じた正式な応答表示に変更された旨を明示的に示す付加表示を行うことができる。図５（Ｂ）に示す設定操作画面２１０では、設定値「ステープル」が選択状態になる予測に対して、正式な実行結果が非選択状態であった場合に、警告アイコン２１６および「正式な設定に更新されました」という内容のメッセージ表示２１８が表示されている。なお、付加表示は、上述した種々の態様で行うことができる。

以下、図２に示した予測モデル格納部１６４が格納し、図３のステップＳ１０７で参照される予測モデルについて詳細を説明する。図６は、第１の実施形態による予測モデル格納部１６４が格納する予測モデルのデータ構造を例示する図である。図６に示す予測モデルは、現在有効な設定項目の設定状態（テーブルの行）において、所定の設定操作（テーブルの列）が行われた場合の予測状態（セルの内容）を対応付ける予測テーブルとして構成されている。

複合機１１０などの情報機器では、同時に設定するできない設定値の組み合わせが存在し得る。例えば、複合機においては、「サイズ混載」が設定されている状態で「不定形原稿」を設定することはできないという排他的な関係が存在する。図６に示す例示によれば、「サイズ混載」が設定されている状態で「不定形原稿」を設定することはできないため、予測する実行結果としては、設定値「不定形原稿」の選択が「拒否」される、つまり、設定値「不定形原稿」の設定が失敗し、非選択状態ということになる。

なお、図６に示す予測テーブルは、同時設定可能または不可能な静的な組み合わせ情報をテーブル化した一例であり、現在の設定値に対してこれから設定する設定値が設定可能かどうかを検索できるように構成されたものである。予測モデルは、種々の態様で構成することができ、図６に示すようなテーブル形式としてもよいし、分岐処理を含むプログラム・コードとして構成されてもよく、その形式は、特に限定されるものではない。

また予測モデルは、上述した静的な定義の他に、定期的または不定期な複合機１１０のステータス情報の収集に基づき、動的に選択状態への遷移の拒否を定義付ける、テーブルとして構成することもできる。例えば、「Ａ４」用紙トレイのステータスを定期的に取得し、「Ａ４」用紙トレイが用紙切れではない場合には、設定値「Ａ４」の遷移を「許可」とし、紙切れとなった場合には、設定値「Ａ４」の遷移を「拒否」とするように構成してもよい。

図７は、第１の実施形態による予測モデル格納部１６４が格納する他の予測モデルのデータ構造を例示する図である。図７（Ａ）に示す予測インデックス・テーブルは、現在有効な設定項目の設定状態（テーブルの行）において、所定の設定操作（テーブルの列）が行われた場合の予測状態を、付属情報へのインデックス（セルに入力された付属情報識別子）とともに対応付けるように構成されている。図７（Ｂ）に示す付属情報テーブルは、付属情報識別子に対応付けて付属情報を保持することで、仮応答表示において、予測された実行結果に付属して表示させるメッセージ情報を提供する。

好適な実施形態では、応答表示部１６０は、設定操作が行われた場合に、図７に示す予測モデルを参照し、予測された実行結果に付属させるメッセージ情報を取得し、上記仮の応答表示で、上記付属情報に基づく付加表示を併せて行うことができる。図８は、このような付加情報に基づく付加表示を含む仮応答表示が行われた場合の設定操作画面を例示する。

図８（Ａ）は、図７に示す予測モデルに基づき、付加表示を含む仮の応答表示が行われた状態を示す。キー２２２が選択されて設定値「原稿方向読めない向き」が有効な状態で、「ステープル」キー２２４ａが押された場合は、図８（Ａ）に示すような仮応答表示が行われる。図８（Ａ）に示す設定操作画面では、「ステープル」キー２２４ａは、予測表示であることを示す強調表示がなされる一方で、予測モデルに従い「拒否」が予測され、非選択状態となっている。同時に、図７（Ａ）の対応するセルから取得された付属情報識別子に基づき、図７（Ｂ）の付属情報テーブルから付属情報が取得され、「現在の原稿方向とは同時に設定できません」という吹き出し表示２２６が行われている。

図８（Ｂ）は、図８（Ａ）に示す仮の応答表示が行われた後、複合機１１０から通知された正式な実行結果に基づき更新された設定操作画面を示す。図８に示す例では、実行結果が正しく予測されており、図８（Ｂ）に示すように、画面の上方には、「★現在の原稿方向とは同時に設定できません」という実際の実行結果に基づくメッセージ表示２２８がなされ、ステープル・キー２２４ａは、非選択状態のまま維持されている。

なお、図６および図７に示す予測モデルは、操作対象である複合機１１０の仕様に応じて、予め複合機１１０のベンダ側で作成したものを用いることができる。また、予測モデルは、インターネットを介してベンダが設置するサーバから最新の予測モデルが取得されるように構成されていてもよい。

また、操作対象の複合機１１０の仕様に応じた予測モデルを準備することができるが、複合機１１０のステータス状態が影響することから、常に正しい実行結果が予測できるとは限らない。好適な実施形態では、ユーザの操作効率をさらに向上させるために、図２に示すように、操作画面表示部１５６は、さらに、適合確率記録部１６６を備えることができる。

適合確率記録部１６６は、予測された実行結果が、複合機１１０から通知された正式な実行結果に一致していた確率（適合確率）を記録する記録手段である。適合確率記録部１６６を備える実施形態では、応答表示部１６０は、設定操作に応答して、適合確率に応じた外観で、予測される実行結果に基づく仮の応答表示を行うことができる。

図９（Ａ）は、第１の実施形態による適合確率テーブルのデータ構造を例示する図である。図９（Ａ）に示す適合確率テーブルは、所定の設定値の設定操作が行われた場合であって、設定が成功すると予測されたときに、予測が実際の実行結果に一致した適合確率（成功数／判定数で表されている）を保持している。適合確率テーブルは、予測モデル格納部１６４に格納されており、複合機１１０から正式な実行結果が通知され、一致するか否かの判定が行われる毎に更新される。

図１０は、上述のような適合確率に基づく付加表示が行われた場合の設定操作画面を例示する。図９（Ｂ）は、適合確率とアイコンとを対応付ける外観対応テーブルを示す。応答表示部１６０は、図９（Ｂ）に示すような外観対応テーブルを参照することによって、図９（Ａ）に記録された適合確率に応じた外観の付加表示を行うことができる。

図９に示す例では、「ステープル」キー２３２ａが押された場合の仮応答表示において、設定値「ステープル」の適合確率が９０％を下回ることから、記号「▲」のアイコン２３４がキー２３２ａの上方に表示されている。なお、図９に示す例示の実施形態では、アイコンの記号を変更することにより外観を変化させている。しかしながら、外観の表現方法は、特に限定されるものではなく、適合確率を表現する外観を示すものであれば、記号に限られず、数値や、適合確率を感性的に表現する修飾など、種々の表現形式とすることができる。

以下、図１１を参照しながら、複合機１１０および情報処理端末１５０間で行われる、ネットワークを介した操作方法の全体的な流れを説明する。図１１は、第１の実施形態において、複合機１１０および情報処理端末１５０間で実行される操作方法を示すシーケンス図である。

まず、ステップＳ２００で、ユーザから入出力部１５４に対し設定操作（例えば設定値「ステープル」の選択）がなされると、ステップＳ２０１では、入出力部１５４から設定操作画面表示部１５６へ操作設定の通知が行われる。そして、ステップＳ２０２〜ステップＳ２０４では、設定操作画面表示部１５６から、ネットワーク通信部１５２，１１２、ネットワーク・サーバ１１４を介して、複合機１１０のジョブ設定管理部１１６に対し、設定操作の通知が行われる。

ジョブ設定管理部１１６への通知と並行して、ステップＳ２０５では、設定操作画面表示部１５６は、予測モデル格納部１６４に対し、予測モデルの取得要求を行い、ステップＳ２０６で、予測モデルを含む応答を取得する。このとき、現在の設定情報と予測モデルとが照合され、例えば、「ステープル」キーが選択できず非選択状態となるといった、設定操作の実行結果の予測が取得される。

さらに、ステップＳ２０７では、設定操作画面表示部１５６は、予測モデル格納部１６４に対し、さらに付属情報テーブルの取得要求を行い、ステップＳ２０８では、付属情報テーブルを応答として取得する。このとき、設定項目の予測に付随する、例えば「現在の原稿方向とは同時に選択できません」というメッセージ情報が取得される。ステップＳ２０９では、設定操作画面表示部１５６は、そのメッセージ情報を入出力部１５４に通知し、予測応答表示指示を行う。ステップＳ２１０では、入出力部１５４は、例えば「現在の原稿方向とは同時に選択できません」という予測したメッセージ情報を含む、予測応答表示を行う。

一方、複合機１１０では、設定操作の通知を受けて、ステップＳ２１１で、ジョブ設定管理部１１６は、設定操作の成否を判定する。ステップＳ２１２では、ジョブ設定管理部１１６は、設定操作にかかる設定値を反映する。ここでは、ユーザ入力に基づく「ステープル」キーの選択が成功し、設定値「ステープル」が反映される。あるいは、ユーザ入力に基づく「ステープル」キーの選択が失敗し、元の設定値のまま維持される形で設定値が反映される。設定値が反映されると、ステップＳ２１３〜ステップＳ２１５では、ジョブ設定管理部１１６から、ネットワーク・サーバ１１４、ネットワーク通信部１１２，１５２を介して、設定操作画面表示部１５６に対し、正式な設定情報が通知される。

正式な設定情報の通知を受けると、ステップＳ２１６では、設定操作画面表示部１５６は、実行結果の予測と、確定された実行結果とを比較して、予測が一致したか否かの判定を行う。ステップＳ２１７では、設定操作画面表示部１５６は、予測モデル格納部１６４に保持される図９（Ａ）の適合確率テーブルを、予測の一致または不一致に応じて更新する。

ステップＳ２１８では、設定操作画面表示部１５６は、入出力部１５４に対し、正式な設定情報に基づく正式な応答表示を指示し、ステップＳ２１９では、入出力部１５４は、正式な応答表示を行う。ここでは、予測と正式な結果が不一致だった場合は、正式な設定情報に更新されたことを明示する付加表示を含む正式な応答表示が行われる。例えば、「正式な設定に更新されました」メッセージ表示とともに、「ステープル」キーを、予測された「非選択状態」から、正式な「選択状態」に修正する、応答表示の更新が行われる。一方、予測と正式な結果とが一致していた場合は、図４（Ｃ）に示したような仮応答表示であることを明示する付加表示を非表示にし、正式な応答表示が行われる。

以上説明した第１の実施形態の画像処理システム１００によれば、情報処理端末１５０から設定操作が行われる毎に、操作の内容が複合機１１０に通知されると共に、情報処理端末１５０では、応答を受ける前に、予測された設定操作の実行結果に基づき仮の応答表示が行われる。これにより、複合機１１０に適時に操作の内容が伝達されるとともに、複合機１１０からの実行結果の応答の遅延にかかわらず、ユーザが体感するレスポンスを向上させることができる。

また、仮の応答表示は、複合機１１０に適合する予測モデルに基づき行うことができるので、仮応答表示した実行結果が、正式な実行結果の通知により覆される蓋然性も低いものとなる。

さらに、仮の応答表示において、それが予測に基づくものであることを示す付加表示が行われると、ユーザは、正式な実行結果が反映される前の仮の表示であることを容易に認識できるようになる。また、仮の応答表示において、予測がはずれた場合に、正式な応答表示に変更された旨を示す付加表示が行われると、ユーザは、応答表示の変更を容易に認識できるようになる。さらに、仮の応答表示において、上記付属情報に基づく付加表示が併せて行われると、複合機１１０からの実際の実行結果の応答の受信前に、ユーザは、設定の誤りを認識することができるようになる。さらに、予測が実際の実行結果に一致する確率を集計し、仮の応答表示において、確率に応じた付加表示が行われると、ユーザは、複合機１１０からの実際の実行結果の応答受信前に、仮の応答表示が覆される蓋然性を把握することができる。ひいては、ユーザの操作の効率が向上される。

［第２の実施形態］
以下、複合機に対する操作を行うための画像処理システムの第２の実施形態について、図１２および図１３を参照しながら説明する。なお、第２の実施形態による画像処理システムは、第１の実施形態に示したものと同様の構成を備えるため、以下、相違点を中心に説明する。また、第１の実施形態と同様のはたらきをする構成要素については、同一符番を付して参照する。

図１２は、第２の実施形態による画像処理システム１００の全体構成を示す機能ブロック図である。図２に示す情報処理端末１５０上で実現される機能ブロックは、ネットワーク通信部１５２、入出力部１５４、設定操作画面表示部１５６および予測モデル格納部１６４に加えて、予測モデル更新部１６８を含み構成される。

第２の実施形態による予測モデル更新部１６８は、予測される実行結果に対する適合確率に応じて、ユーザ入力による操作に基づき複合機１１０での操作の実行結果を予測するための予測モデルを更新する手段である。特定の実施形態において、予測モデル更新部１６８は、図９を参照して説明した適合確率テーブルの適合確率によって、図６および図７を参照して説明した予測モデルを更新することができる。

図１３は、第２の実施形態による予測モデル更新部１６８が実行する、予測モデルの更新処理を示すフローチャートである。図１３に示す予測モデルの更新処理は、例え情報処理端末１５０の起動に応答して、ステップＳ３００から開始される。

ステップＳ３０１では、予測モデル更新部１６８は、更新処理のトリガ条件が成立したか否かを判定する。ここでは、ユーザからの明示的な指示があった場合、スケジュールされた更新イベントが発生した場合、事前設定された判定回数に対する閾値条件が成立した場合などには、トリガ条件が成立したものと判定される。ステップＳ３０１では、トリガ条件が成立するまでの間（ＮＯの間）、ステップＳ３０１をループさせて、トリガ条件が成立すると（ＹＥＳ）、ステップＳ３０２へ処理が進められる。

ステップＳ３０２〜ステップＳ３０６では、予測モデル更新部１６８は、存在する設定値毎に、ステップＳ３０３〜ステップＳ３０５の処理を実行する。ステップＳ３０３では、予測モデル更新部１６８は、図９（Ａ）を参照して説明した適合確率テーブルから当該設定値の適合確率を取得する。ステップＳ３０４では、予測モデル更新部１６８は、取得した適合確率に基づき、予め設定された変更条件を満たすか否かを判定する。ここで、変更条件とは、予測が一致する確率が低い場合に、異なる予測を採用して、確率の向上を図るように事前設定されたルールである。変更条件は、例えば、設定項目の判定回数に対する条件（例えば３０回以上）、適合確率に対する条件（例えば：２０％未満）、またはこれらの組み合わせなどを挙げることができる。

ステップＳ３０４で、所定の変更条件に合致したと判定された場合（ＹＥＳ）は、ステップＳ３０５へ処理が進められる。ステップＳ３０５では、予測モデル更新部１６８は、上記事前設定されたルールに基づき、予測テーブルを更新する。予測テーブルを変更するためのルールの例としては、「拒否」の予測が当たる確率が規定値未満となった場合に、図６に示す予測テーブルの値「拒否」を値「可」に修正する、といったものを挙げることができる。これとは逆に、「可」の予測が当たる確率が規定値未満となった場合に、図６に示す予測テーブルの値「可」を値「拒否」に修正する、といったものを挙げることができる。

以上説明した第２の実施形態の画像処理システム１００によれば、仮の応答表示を行う場合において、予測の的中率が低い場合に、的中率の向上をねらった方向に予測モデルを修正することができる。予測モデルの修正は、複合機１１０の実際の稼働履歴情報に基づいて行われるため、複合機１１０の仕様のみならず、複合機１１０の実際の使用環境に適合したものとなる。

以下、図１４を参照しながら、上述した実施形態による情報処理端末１５０のハードウェア構成について説明する。図１４は、上述した実施形態による情報処理端末１５０のハードウェア構成を示す図である。情報処理端末１５０は、タブレット端末といった携帯情報端末として構成されている。図１４に示す情報処理端末１５０は、シングルコアまたはマルチコアのＣＰＵ（Central Processing Unit）、ＧＰＵ、ベースバンドプロセッサおよびメモリコントローラなどがＳｏＣ（System on Chip）として統合されたモバイルプロセッサ１０と、モバイルプロセッサ１０に接続され、ＣＰＵなどの作業領域を提供するＬＰＤＤＲ（Low-Power Double DataRate）ＳＤＲＡＭといったメモリ１２と、フラッシュメモリ１４と、ＳＤカードなどの外部記録媒体スロット１６とを含む。

フラッシュメモリ１４は、情報処理端末１５０を制御するためのＯＳ、上述した機能部を実現するための制御プログラム、各種システム情報や各種設定情報を格納する。外部記録媒体スロット１６には、ユーザデータが格納された記録媒体が装着される。

モバイルプロセッサ１０には、さらに、タッチ・スクリーン・コントローラ１８およびディスプレイ・インタフェース２０を介して、タッチ・スクリーン・センサが搭載されたディスプレイ２２と接続されている。ディスプレイ２２は、上述した設定操作画面を表示する。タブレット端末１５０は、さらに、モバイルプロセッサ１０に接続されたＨＤＭＩ（High-Definition Multimedia Interface）などの映像出力インタフェース２４を備え、外部のディスプレイやプロジェクタと接続可能とされている。

情報処理端末１５０は、さらに、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）などのイメージセンサを含むカメラ２８を備える。カメラ２８は、カメラインタフェース２６を介してモバイルプロセッサ１０と接続されている。タブレット端末１５０は、さらに、音声のエンコードおよびデコード処理を行う音声コーデック３０と、ヘッドフォンやスピーカの音声を切り替える音声スイッチ３２とを備える。

モバイルプロセッサ１０には、さらに、無線ＬＡＮポート３４と、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの近距離無線ポート３６が接続されており、無線通信により外部の機器と接続可能とされている。説明する実施形態では、情報処理端末１５０は、無線ＬＡＮポート３４、近距離無線ポート３６または図示しない有線のインタフェース機器を介して、ネットワーク１０２と接続されている。情報処理端末１５０は、また、電源管理ユニット３６を備え、電源管理ユニット３６により、外部電源およびバッテリの電源管理が行われる。

本実施形態による情報処理端末１５０は、フラッシュメモリ１４から制御プログラムを読み出し、メモリ１２が提供する作業空間に展開することにより、モバイルプロセッサ１０内に統合されたＣＰＵの制御の下、上述した各機能部および各処理を実現する。

以上説明した実施形態によれば、情報機器に対して各種操作を適時に通知できるとともにユーザに対するレスポンスが向上された操作機能を実現する、情報処理システム、情報処理端末、プログラムおよび情報機器操作方法を提供することができる。

なお、上記機能部は、アセンブラ、Ｃ、Ｃ＋＋、Ｃ＃、Ｊａｖａ（登録商標）などのレガシープログラミング言語やオブジェクト指向プログラミング言語などで記述されたコンピュータ実行可能なプログラムにより実現でき、ＲＯＭ、ＥＥＰＲＯＭ、ＥＰＲＯＭ、フラッシュメモリ、フレキシブルディスク、ＣＤ−ＲＯＭ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ブルーレイディスク、ＳＤカード、ＭＯなど装置可読な記録媒体に格納して、あるいは電気通信回線を通じて頒布することができる。

また、上述した実施形態では、機能手段１５２〜１６８が情報処理端末１５０上に実装されるものとして説明した。しかしながら、実装の態様は特に限定されるものではなく、これらの機能手段１５２〜１６８は、必ずしも単一の装置上に構成することを要さず、複数のコンピュータ装置に分散実装される態様を排除するものではない。

これまで本発明の実施形態について説明してきたが、本発明の実施形態は上述した実施形態に限定されるものではなく、他の実施形態、追加、変更、削除など、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。

１００…画像処理システム、１０２…ネットワーク、１１０…複合機、１１２…ネットワーク通信部、１１４…ネットワーク・サーバ、１１６…ジョブ設定管理部、１１８…ＡＰＩ、１２０…メモリ管理部、１２２…エンジン管理部、１２４…ユーザ情報管理部、１２６…プロッタ、１２８…スキャナ、１５０…情報処理端末、１５２…ネットワーク通信部、１５４…入出力部、１５６…設定操作画面表示部、１５８…入力受付部、１６０…応答表示部、１６２…予測部、１６４…予測モデル格納部、１６６…適合確率記録部、１６８…予測モデル更新部

特開２００６−０５３９０２号公報 特開２００７−２１３２２６号公報

Claims (10)

1. 情報機器に対する操作を行うための情報処理システムであって、
   操作を受信する操作受信手段と、該操作の実行を管理する管理手段とを含む情報機器と、
   前記情報機器に対する操作を指示するユーザ入力を受け付ける受付手段と、
   前記ユーザ入力による操作を前記情報機器に送信する操作送信手段と、
   前記ユーザ入力による操作に応じた前記情報機器からの応答を予測する予測手段と、
   前記応答の予測に基づき、前記ユーザ入力に対応した操作の仮の応答表示を行う応答表示手段と、
   前記情報機器から前記操作に対する応答を受信する応答受信手段と、
   前記応答受信手段によって受信した応答に応じて、前記応答表示を更新する更新手段と
   を含む、情報処理システム。
2. 前記更新手段は、前記応答受信手段によって受信した応答と、前記応答の前記予測との差分がある場合に、前記応答表示の更新を行う、請求項１に記載の情報処理システム。
3. 前記更新手段は、前記応答表示を更新する場合に、前記応答受信手段によって受信した応答に応じた応答表示に変更された旨を示す付加表示を行うことを特徴とする、請求項２に記載の情報処理システム。
4. 前記応答表示手段は、前記応答の前記予測に基づき行われる応答表示について、該応答表示が予測に基づくものであることを示す付加表示を行うことを特徴とする、請求項１〜３のいずれか１項に記載の情報処理システム。
5. 現在の状態と、操作実行後の予測状態と、前記予測状態に関する付属情報とを対応付けて格納する予測モデル格納手段をさらに含み、前記応答表示手段は、前記応答の前記予測に基づき行われる仮の応答表示について、前記付属情報に基づく付加表示を併せて行うことを特徴とする、請求項１〜４のいずれか１項に記載の情報処理システム。
6. 予測された応答が前記応答受信手段によって受信した応答に適合した適合確率を記録する記録手段をさらに含み、前記応答表示手段は、前記適合確率に応じた外観で、予測される応答に基づく前記仮の応答表示を行うことを特徴とする、請求項１〜５のいずれか１項に記載の情報処理システム。
7. 予測される応答に対する適合確率に応じて、前記ユーザ入力による操作に応じた前記情報機器からの応答を予測するための予測モデルを更新する予測モデル更新手段をさらに含む、請求項６に記載の情報処理システム。
8. 情報機器に対する操作を行うための情報処理端末であって、
   前記情報機器に対する操作を指示するユーザ入力を受け付ける受付手段と、
   前記ユーザ入力による操作を前記情報機器に送信する操作送信手段と、
   前記ユーザ入力による操作に応じた前記情報機器からの応答を予測する予測手段と、
   前記応答の予測に基づき、前記ユーザ入力に対応した操作の仮の応答表示を行う表示手段と、
   前記情報機器から前記操作に対する応答を受信する応答受信手段と、
   前記応答受信手段によって受信した応答に応じて、前記応答表示を更新する更新手段と
   を含む、情報処理端末。
9. 情報機器に対する操作を行うための情報処理端末を実現するためのプログラムであって、コンピュータを、
   前記情報機器に対する操作を指示するユーザ入力を受け付ける受付手段、
   前記ユーザ入力による操作を前記情報機器に送信する操作送信手段、
   前記ユーザ入力による操作に応じた前記情報機器からの応答を予測する予測手段、
   前記応答の予測に基づき、前記ユーザ入力に対応した操作の仮の応答表示を行う表示手段、
   前記情報機器から前記操作に対する応答を受信する応答受信手段、および
   前記応答受信手段によって受信した応答に応じて、前記応答表示を更新する更新手段、
   として機能させる、プログラム。
10. 情報機器と、情報処理端末との間で実行される情報機器操作方法であって、
    前記情報処理端末が、前記情報機器に対する操作を指示するユーザ入力を受け付けるステップと、
    前記情報処理端末が、前記ユーザ入力による操作の情報を情報機器に送信するステップと、
    前記情報処理端末が、前記ユーザ入力による操作に応じた前記情報機器からの応答を予測するステップと、
    前記情報処理端末が、前記応答の予測に基づき、前記ユーザ入力に対応した操作の仮の応答表示を行うステップと、
    前記情報機器が、前記ユーザ入力による操作を前記情報処理端末から受信するステップと、
    前記情報機器が、前記操作を実行するステップと、
    前記情報処理端末が、前記情報機器から前記操作に対する応答を受信するステップと、
    前記情報処理端末が、前記受信するステップで受信した応答に応じて、前記応答表示を更新するステップと
    を実行する、情報機器操作方法。