JP3975480B2 - 情報処理装置および方法、記録媒体、並びにプログラム - Google Patents
情報処理装置および方法、記録媒体、並びにプログラム Download PDFInfo
- Publication number
- JP3975480B2 JP3975480B2 JP2001387920A JP2001387920A JP3975480B2 JP 3975480 B2 JP3975480 B2 JP 3975480B2 JP 2001387920 A JP2001387920 A JP 2001387920A JP 2001387920 A JP2001387920 A JP 2001387920A JP 3975480 B2 JP3975480 B2 JP 3975480B2
- Authority
- JP
- Japan
- Prior art keywords
- communication
- information
- display
- communication information
- display control
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/14—Solving problems related to the presentation of information to be displayed
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Computer Hardware Design (AREA)
- User Interface Of Digital Computer (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、情報処理装置および方法、記録媒体、並びにプログラムに関し、特に、情報処理に好適な手段を提供することができるようにした情報処理装置および方法、記録媒体、並びにプログラムに関する。
【０００２】
【従来の技術】
パーソナルコンピュータは、キーボードから入力されたテキストデータまたはマイクロフォンにより集音された音声のデータを利用して各種の処理を行うことができるが、このようにして入力されたデータを、例えばメッセージとして、ネットワークを介して他のパーソナルコンピュータに送信することができる。
【０００３】
【発明が解決しようとする課題】
ところで、パーソナルコンピュータに入力されたメッセージは、例えば、ファイルに格納されるので、ユーザは、それを送信する場合、ファイル名などから、メッセージが格納されているファイルを認識し、そこからメッセージを読み出す必要がある。また受信されたメッセージもファイルに格納されるので、ユーザは、それを見る場合、同様にファイル名などから、メッセージが格納されているファイルを認識し、そこからメッセージを読み出す必要がある。
【０００４】
すなわち、従来においては、ユーザに、パーソナルコンピュータにおいて使用されるデータ（メッセージ）を、例えば、ファイルのアイコンの表示形態などから感覚的、直感的に認識させ、一連の処理を気軽に行うことができる手段が提供されていなかった。
【０００５】
本発明はこのような状況に鑑みてなされたものであり、パーソナルコンピュータにおいて使用するデータを、感覚的、直感的に認識させ、一連の処理を気軽に行うことができる手段を提供することができるようにするものである。
【０００６】
【課題を解決するための手段】
本発明の情報処理装置は、第1の通信情報の入力を検出する第１の検出手段と、第１の検出手段により第1の通信情報の入力が検出されたとき、第 1 の通信情報に対応する第１のオブジェクトを表示画面に表示させるとともに、第 1 の通信情報のデータ量に応じて、その表示形態を段階的に変化させる第１の表示制御手段と、第１の表示制御手段により表示画面に表示された第１のオブジェクトの表示画面上の位置を、所定のタイミングからの経過時間に応じてさらに変化させる第２の表示制御手段と、第1の通信情報を第１のオブジェクトに対応付ける第１の対応付け手段と、第１のオブジェクトに対応付けられた第1の通信情報を、通信装置に送信する送信手段とを備えることを特徴とする。ここでオブジェクトとは、関連するデータを視覚できるように表現したものをいう。
第１の表示制御手段は、第１の通信情報のデータ量に応じて、第１のオブジェクトの大きさを変化させることができる。
第２の表示制御手段は、第１の表示制御手段により表示画面に表示された第１のオブジェクトを、所定のタイミングからの経過時間に応じて、表示画面上を、一定の角度を持った方向に、または移動軌跡が螺旋が描くように、移動させることができる。
第２の表示制御手段は、第１のオブジェクトが表示画面の枠を超える位置に移動したとき、第１のオブジェクトの表示を中止することができる。
【０００７】
第１の通信情報を、マイクロフォンにより集音された音声の信号、または操作部に入力されたテキストデータとすることができる。なお、第１の通信情報は、CCD等の撮像素子から得られた動画などのコンテンツであってもよい。
【０００８】
通信装置に対応する第２のオブジェクトを表示する第３の表示制御手段と、第１のオブジェクトがドラックアンドドロップされた第２のオブジェクトを検出する第２の検出手段とをさらに設け、送信手段には、第２の検出手段により検出された第２のオブジェクトに対応する通信装置に、ドラックアンドドロップされた第１のオブジェクトに対応付けられている第１の通信情報を送信させることができる。
【０００９】
第３の表示手段は、第２のオブジェクトを、通信装置に割り当てられた色を付して表示することができる。
【００１０】
通信装置の所定の状態を検出する第３の検出手段をさらに設け、第３の表示制御手段には、第２のオブジェクトを、第３の検出手段による検出結果に基づく表示形態で表示させることができる。
【００１１】
第３の検出手段は、通信装置が、情報処理装置と通信することができる状態か否かを検出することができる。
【００１２】
付加情報に対応する第３のオブジェクトを表示する第４の表示制御手段と、第１のオブジェクトがドラックアンドドロップされた第３のオブジェクトを検出するとともに、検出した第３のオブジェクトに対応する付加情報を、第３のオブジェクトにドラックアンドドロップされた第１のオブジェクトに対応付けられている第１の通信情報に付加する付加手段とをさらに設け、送信手段には、第１のオブジェクトに対応付けられている第１の通信情報と、それに付加された付加情報を、第２の検出手段により検出された第２のオブジェクトに対応する通信装置に送信させることができる。
【００１３】
通信装置から送信されてきた第２の通信情報を受信し、受信した第２の通信情報を、第２の通信情報を送信した通信装置に対応する第２のオブジェクトに対応付ける第２の対応付け手段と、通信装置に対応する第２のオブジェクトを選択する選択手段と、選択手段により選択された第２のオブジェクトに対応付けられている第２の通信情報を再生する再生手段とをさらに設けることができる。
【００１４】
第３の表示手段は、第２の対応付け手段により第２の通信情報が対応付けられたとき、第２のオブジェクトの表示形態を変化させることができる。
【００１５】
第３の表示制御手段は、第２のオブジェクトを、第２の対応付け手段により第２の通信情報が対応付けられた回数に応じた表示形態で表示することができる。
【００１６】
第３の表示制御手段は、第２のオブジェクトを、第２の対応付け手段により対応付けられた第２の通信情報のうち、再生手段により再生されていない第２の通信情報の数に応じた表示形態で表示することができる。
【００１７】
第１の通信装置と第２の通信通信との通信状態を検出する通信状態検出手段を設け、第３の表示制御手段には、第２のオブジェクトを、通信状態検出手段による検出結果に基づく表示形態で表示させることができる。
【００１８】
送信手段は、第１の通信情報を、ネットワークを介して通信装置に送信することができる。
本発明の情報処理方法は、通信情報の入力を検出する第１の検出ステップと、第１の検出ステップの処理で第 1 の通信情報の入力が検出されたとき、通信情報に対応する第１のオブジェクトを表示画面に表示させるとともに、通信情報のデータ量に応じて、その表示形態を段階的に変化させる第１の表示制御ステップと、第１の表示制御ステップの処理で表示画面に表示された第１のオブジェクトの表示画面上の位置を、所定のタイミングからの経過時間に応じてさらに変化させる第２の表示制御ステップと、通信情報を第１のオブジェクトに対応付ける対応付けステップと、第１のオブジェクトに対応付けられた通信情報を、通信装置に送信する送信ステップとを含むことを特徴とする。
【００１９】
通信装置に対応する第２のオブジェクトを表示する第３の表示制御ステップと、第１のオブジェクトがドラックアンドドロップされた第２のオブジェクトを検出する第２の検出ステップとをさらに含み、送信ステップの処理は、第２の検出ステップの処理により検出された第２のオブジェクトに対応する通信装置に、ドラックアンドドロップされた第１のオブジェクトに対応付けられている通信情報を送信することができる。
付加情報に対応する第３のオブジェクトを表示する第４の表示制御ステップと、第１のオブジェクトがドラックアンドドロップされた第３のオブジェクトを検出するとともに、検出した第３のオブジェクトに対応する付加情報を、第３のオブジェクトにドラックアンドドロップされた第１のオブジェクトに対応付けられている通信情報に付加する付加ステップとをさらに含み、送信ステップの処理は、第１のオブジェクトに対応付けられている通信情報と、それに付加された付加情報を、第２の検出ステップの処理により検出された第２のオブジェクトに対応する通信装置に送信することができる。
本発明の記録媒体のプログラムは、通信情報の入力を検出する検出ステップと、検出ステップの処理で通信情報の入力が検出されたとき、通信情報に対応するオブジェクトを表示画面に表示させるとともに、通信情報のデータ量に応じて、その表示形態を段階的に変化させる第１の表示制御ステップと、第１の表示制御ステップの処理で表示画面に表示されたオブジェクトの表示画面上の位置を、所定のタイミングからの経過時間に応じてさらに変化させる第２の表示制御ステップと、通信情報をオブジェクトに対応付ける対応付けステップと、オブジェクトに対応付けられた通信情報を、通信装置に送信する送信ステップとを含むことを特徴とする。
【００２０】
本発明のプログラムは、通信情報の入力を検出する検出ステップと、検出ステップの処理で通信情報の入力が検出されたとき、通信情報に対応するオブジェクトを表示画面に表示させるとともに、通信情報のデータ量に応じて、その表示形態を段階的に変化させる第１の表示制御ステップと、第１の表示制御ステップの処理で表示画面に表示されたオブジェクトの表示画面上の位置を、所定のタイミングからの経過時間に応じてさらに変化させる第２の表示制御ステップと、通信情報をオブジェクトに対応付ける対応付けステップと、オブジェクトに対応付けられた通信情報を、通信装置に送信する送信ステップとを含む処理をコンピュータに実行させることを特徴とする。
【００２１】
本発明の情報処理装置および方法、並びにプログラムにおいては、通信情報の入力が検出され、通信情報の入力が検出されたとき、通信情報に対応するオブジェクトが表示画面に表示されるとともに、通信情報のデータ量に応じて、その表示形態が段階的に変化し、表示画面に表示されたオブジェクトの表示画面上の位置が、所定のタイミングからの経過時間に応じてさらに変化し、通信情報がオブジェクトに対応付ける対応けられ、オブジェクトに対応付けられた通信情報が、通信装置に送信される。
【００２２】
【発明の実施の形態】
図１は、本発明を適用した端末１の利用例を示している。
【００２３】
端末１のユーザは、インターネット３を介して、端末２−１乃至２−３のユーザとメッセージのやり取りを行うが、この例の場合、通信状態をより感覚的、直感的に把握することができる操作画面（後述）が用いられる。なお、ここでは、端末１は、ユーザにより入力された音声を、メッセージとして端末２に送信するものとし、また端末１は、端末２からの音声のメッセージを受信し、それを出力するものとする。
【００２４】
図２は、端末１の構成例を示している。CPU（Central Processing Unit）１１にはバス１５を介して入出力インタフェース１６が接続されており、CPU１１は、入出力インタフェース１６を介して、ユーザから、キーボード、マウスなどよりなる操作部１７から指令が入力されると、例えば、ROM（Read Only Memory）１２、ハードディスク１４、またはドライブ２２に装着される磁気ディスク３１、光ディスク３２、光磁気ディスク３３、若しくは半導体メモリ３４などの記録媒体に格納されているプログラム（通信プログラム）を、RAM（Random Access Memory）１３にロードして実行する。さらに、CPU１１は、その処理結果を、例えば、入出力インタフェース１６を介して、LCD（Liquid Crystal Display）などよりなる表示部１９に必要に応じて出力する。
【００２５】
マイクロフォン１８は、音声を集音し、その結果得られた音声信号をCPU１１に供給する。スピーカ２０は、CPU１１からの音声信号を出力する。通信部２１は、インターネット３を介して、端末２と通信する。
【００２６】
図３は、端末１が端末２と通信する際に、端末１の表示部１９に表示される操作画面（以下、コミュニケーション画面と称する）を表している。コミュニケーション画面には、この例の場合、初期状態として、海の中を表す背景と、海中に浮遊するボールを表する通信先オブジェクト５１−１乃至５１−３（以下、個々に区別する必要がない場合、単に、通信先オブジェクト５１と称する。他の場合についても同様である）が表示される。この通信先オブジェクト５１は、端末１との通信先として登録されている端末２を表しており、通信先オブジェクト５１−１は、端末２−１を、通信先オブジェクト５１−２は、端末２−２を、そして通信先オブジェクト５１−３は、端末２−３を表している。
【００２７】
次に、通信プログラムが起動され、図３に示すようなコミュニケーション画面の初期画面を、表示部１９に表示させる場合の端末１の動作を図４のフローチャートを参照して説明する。
【００２８】
ステップＳ１において、例えば、ROM１２に記憶されている通信プログラムが起動されると、ステップＳ２において、CPU１１は、表示部１９を制御して、図３の背景部分を表示させる。
【００２９】
次に、ステップＳ３において、CPU１１は、ハードディスク１４に記憶されている登録管理テーブル（後述する）に所定の情報が設定され、通信先として登録されている端末（端末２）が存在するか否かを判定し、存在しないと判定した場合、ステップＳ４に進む。
【００３０】
ステップＳ４において、CPU１１は、表示部１９を制御して、図５に示すような、通信先の登録情報を入力するための入力画面を表示させる。
【００３１】
欄Ａには、通信先として登録する端末（この例の場合の端末２−１乃至端末２−３）のユーザのアカウント（この例の場合、メールアドレス）を入力することができる。欄Ｂには、通信先として登録する端末２に割り当てる色（青、赤、黄色など）を入力することができる。なお、以下において、ここで入力されるアドレスおよび色を、適宜、まとめて登録情報と称する。
【００３２】
ステップＳ５において、CPU１１は、図５の入力画面に登録情報が入力されたか否かを判定し、入力されたと判定した場合、ステップＳ６に進み、入力された登録情報を、ハードディスク１４の登録管理テーブルに設定して記憶する。これにより、通信先の端末２が登録される。
【００３３】
図６は、登録管理テーブルの設定例を表している。この登録管理テーブルには、それぞれ入力画面（図５）から入力された、端末２−１乃至端末２−３のアドレスおよび色が設定されている。通信先オブジェクト５１のＩＤおよびファイル名については後述する。
【００３４】
ステップＳ３で、通信先が登録されていると判定されたとき、またはステップＳ６で、通信先が登録されたとき、ステップＳ７に進み、CPU１１は、ハードディスク１４の登録管理テーブルから、通信先として登録されている端末２−１乃至２−３のアドレスを読み取り、通信部２１を介して、アクセスを試み、その端末２が端末１と通信可能か否かを確認する。
【００３５】
次に、ステップＳ８において、CPU１１は、ハードディスク１４の登録管理テーブルに設定された色、およびステップＳ７での通信状態の確認結果に基づいて、通信先として登録されている端末２に対応する通信先オブジェクト５１を生成し、表示部１９を制御して、図３に示すような表示形態で、所定の位置に表示させる。この例の場合、登録管理テーブルには、端末２−１乃至端末２−３のアドレスに対応して、青色、赤色、黄色がそれぞれ設定されているので、端末２−１に対応する通信先オブジェクト５１−１は、青色が、端末２−２に対応する通信先オブジェクト５１−２は、赤色が、そして端末２−３に対応する通信先オブジェクト５１−３は、黄色が付されて表示されている。また端末２−２は、端末１と通信できない状態にあるので、端末２−２に対応する通信先オブジェクト５１−２は、人が眠っている画像がさらに付されて表示されている。
【００３６】
なお、各通信先オブジェクト５１の表示位置は、任意に決定されるようにしてもよいし、指定することができるようにもできる。
【００３７】
これにより、ユーザは、色により、通信先オブジェクト５１がどの通信先を表しているか、また付された画像により、通信できる状態か否かを把握することができる。
【００３８】
なお、この例では、端末２が端末１と通信することができる状態か否かを検出し、通信できる状態ではない場合、それに対応する表示形態で通信先オブジェクト５１を表示するようにしたが（人が眠っている画像を付して表示するようにしたが）、例えば、通信できる状態であっても、端末２において複数のアプリケーションプログラムが立ち上がって各種の処理が行われており、いわゆる忙しい状態である場合、その状態に応じた表示形態で、通信先オブジェクト５１を表示することもできる。すなわち、これにより、ユーザは、メッセージを送信しても、返事をすぐにもらえないことを予想することができる。
【００３９】
ステップＳ９において、CPU１１は、表示部１９を制御して、各通信先オブジェクト５１を、例えば、図３に示す矢印の方向に交互に移動させ、通信先オブジェクト５１が揺らいでいるように表示させる処理を開始させる（経過時間に対応した位置に移動させる処理を開始させる）。これにより、通信先オブジェクト５１は、左右に揺れるように表示されるので、ユーザに、通信先オブジェク５１が、海中に浮いているボールであるかのように認識させることができる。なお、通信先オブジェクト５１を、あらゆる方向に小さくランダムに動かすようにすることもできる。
【００４０】
ステップＳ５で、登録情報が入力されなかったと判定されたとき、またはステップＳ９での表示処理が開始されたとき、処理は終了する。
【００４１】
このようにして、コミュニケーション画面が端末１の表示部１９に表示される。
【００４２】
次に、図７のフローチャートを参照して、メッセージとしての音声を入力する場合の端末１の動作を説明する。
【００４３】
図４のフローチャートで示した処理が行われ、図３に示すようなコミュニケーション画面が表示されると、ステップＳ２１において、端末１のCPU１１は、マイクロフォン１８により集音された、１フレーム分の音声の信号からその平均音量を算出する。なお、フレームは、図８Ａに示すように、信号の一部が重複するように形成してもよいし、図８Ｂに示すように、重複しないように形成してもよい。
【００４４】
次に、ステップＳ２２において、CPU１１は、ステップＳ２１で算出した平均音量が、所定の閾値より大きいか否かを判定し、大きくない（閾値以下である）と判定した場合、ステップＳ２１に戻る。一方、ステップＳ２２で、平均音量が閾値より大きいと判定された場合、ステップＳ２３に進み、CPU１１は、マイクロフォン１８により集音された音声の信号をハードディスク１４に記録する処理を開始する。すなわち、ステップＳ２２では、ユーザが発した音声が検出され、それが検出されると、ステップＳ２３で、その記録が開始される。
【００４５】
次に、ステップＳ２４において、CPU１１は、表示部１９を制御して、図９に示すように、所定の大きさ（所定の直径）のメッセージオブジェクトＭaを所定の位置（図９中、左下隅）に表示させる。
【００４６】
ステップＳ２５において、CPU１１は、続いて入力された１フレーム分の信号からその平均音量を算出し、ステップＳ２６で、算出した平均音量が閾値より大きいか否かを判定する。
【００４７】
ステップＳ２６で、平均音量が閾値より大きいと判定された場合、すなわち、ユーザの音声が継続して入力されているとき、ステップＳ２７に進み、CPU１１は、表示部１９を制御して、内蔵するカウンタを、所定の値Ｗだけインクリメントし、ステップＳ２８において、ステップＳ２４で表示されたメッセージオブジェクトＭaを、このときのカウンタの値に基づく大きさに変更して表示させる。その後、ステップＳ２５に戻り、ステップＳ２６で、平均音量が閾値以下であると判定されるまで、すなわち、ユーザの音声の入力が終了（中断）するまで、ステップＳ２５乃至ステップＳ２８の処理が繰り返し実行される。
【００４８】
このように、継続して入力されているユーザの音声に対して、ステップＳ２５乃至ステップＳ２８の処理が繰り返し行われるので、メッセージオブジェクトＭaの径は、その音声の長さに応じて大きくなる。
【００４９】
ステップＳ２６で、平均音量が閾値以下であると判定されたとき、すなわち、ユーザの音声の入力が終了（中断）したとき、ステップＳ２９に進み、ＣＰＵ１１は、ステップＳ２３で開始した、音声の信号の記憶を終了する。なお、このとき、コミュニケーション画面には、ステップＳ２８で最後に変更されたの径のメッセージオブジェクトＭa（例えば、図１０に示すように、図９における場合と比べて大きくなったメッセージオブジェクトＭa）が表示されることになる。
【００５０】
次に、ステップＳ３０において、CPU１１は、メッセージオブジェクトＭaにＩＤを割り当てるとともに、ステップＳ２３で記録が開始され、ステップＳ２９でそれが終了するまでに記録された信号（音声データ）を対応付ける。具体的には、例えば、メッセージオブジェクトＭaのＩＤと、対応付けられる音声データが記録されたファイル名が対応して記憶される。
【００５１】
その後、処理は終了する。なお、この音声入力処理は、所定のタイミングで繰り返し実行される。
【００５２】
図７のフローチャートで示した処理で、図１０に示したように表示されたメッセージオブジェクトＭaは、例えば、図１０の上向きの矢印で示すように、左右にゆれながら上方に移動する。これにより、ユーザに、メッセージオブジェクトＭaが、海中を移動する泡であるかのように認識させることができる。次に、このようなメッセージオブジェクトＭaを表示する（移動させる）処理を、図１１のフローチャートを参照して説明する。
【００５３】
ステップＳ４１において、端末１のCPU１１は、内蔵するタイマーｔをスタートさせる。
【００５４】
次に、ステップＳ４２において、CPU１１は、タイマーｔの時刻から、スタート時からの経過時間を算出し、表示部１９を制御して、その経過時間に対応した位置に、メッセージオブジェクトＭaを移動させる。すなわち、メッセージオブジェクトＭaは、図１０の上向きの矢印に沿った所定の位置に移動される。
【００５５】
ステップＳ４３において、CPU１１は、経過時間に対応する位置がコミュニケーション画面の上端を越える位置であるか否かを判定し、越える位置ではないと判定した場合、ステップＳ４２に戻り、それ以降の処理を繰り返し実行する。これにより、図１０の場合、メッセージオブジェクトＭaを、時間の経過とともに、左右にゆらせながら上方に移動させることができる。
【００５６】
ステップＳ４３で、経過時間に対応する位置がコミュニケーション画面の上端を越える位置であると判定した場合、ステップＳ４４に進み、ＣＰＵ１１は、表示部１９を制御して、メッセージオブジェクトＭaの表示を中止する。すなわち、メッセージオブジェクトＭaは、コミュニケーション画面に表示されなくなる。その後、処理を終了する。
【００５７】
なお、上述したこの表示処理は、上述した音声入力処理（図７）により、メッセージオブジェクトＭが生成されるごとに行われる。
【００５８】
例えば、ユーザが、断続的に、音声を端末１に入力すると、図７での音声入処理および図１１での表示処理が、音声入力に対応して適宜実行されるので、コミュニケーション画面には、図１２に示すように、複数のメッセージオブジェクトＭが、上方に移動するように表示される。図１２の例では、メッセージオブジェクトＭａより時間的に遅れて生成されたメッセージオブジェクトＭb、およびメッセージオブジェクトＭcが表示されている。このように、異なる時刻に生成されたメッセージオブジェクトＭを１つの泡として表すことにより、ユーザは、感覚的、直感的に入力したデータを認識することができる。
【００５９】
なお、図１０，１２の例では、メッセージオブジェクトＭが、時間の経過とともに、左右にゆれながら上方に移動したが、図１３に示すように、メッセージオブジェクトＭを、所定の中心に向かって螺旋を描くように移動させることもできる。またこの際、メッセージオブジェクトＭの径を、中心点に近づくにつれて小さくしたり、メッセージオブジェクトＭの輪郭の透明度を除々に上げることで、最終的に中心点に達したときに見えなくなるようにすることもできる。
【００６０】
さらに、その図示は省略するが、メッセージオブジェクトＭを、はじめにコミュニケーション画面の左端または右端に表示させ、時間の経過とともに、右端、または左端に移動させるようにしたり、図１０の例の場合とは逆に、はじめにコミュニケーション画面の上端に表示させ、時間の経過とともに、下方に移動させたりすることもできる。
【００６１】
なお、位置を移動させることなく、例えばオブジェクトの色彩の変化や形状の変化で時間の経過を表現することもできる。
【００６２】
次に、メッセージオブジェクトＭに対応付けられた音声（図７のステップＳ３０）を、所望の端末２に送信する場合の処理手順を、図１４のフローチャートを参照して説明する。
【００６３】
ステップＳ５１において、端末１のCPU１１は、操作部１７が操作されて、コミュニケーション画面に表示されている（泡のように上方に移動している）メッセージオブジェクトＭの、例えば１つが選択され、端末２に対応する通信先オブジェクト５１にドラックアンドドロップされたか否かを判定し、ドラックアンドドロップとされたと判定したとき、ステップＳ５２に進む。
【００６４】
ステップＳ５２において、CPU１１は、表示部１９を制御して、メッセージオブジェクトＭがドラックアンドドロップされた通信先オブジェクト５１を検出するとともに、その表示形態を変更して表示させる。
【００６５】
例えば、図１５に示すように、メッセージオブジェクトＭaが通信先オブジェクト５１−１にドラックアンドドロップされたとき、通信先オブジェクト５１−１は、小さい円が周りに付加されて表示される。また、通信先オブジェクト５１−１に対応する端末２−１のユーザの顔の画像データを予め記憶しておき、その画像を表示することもできる。なお、この顔の画像も、泡のように上方に移動させながら表示させ、画面の上端に達したとき見えなくなるようにすることもできる。
【００６６】
ステップＳ５３において、CPU１１は、メッセージオブジェクトＭがドラックアンドドロップされた通信先オブジェクト５１に対応する端末２のアドレスを、ハードディスク１４の登録管理テーブルから検出する。
【００６７】
次に、ステップＳ５４において、CPU１１は、ステップＳ５１で、通信先オブジェクト５１にドラックアンドドロップされるために選択されたメッセージオブジェクトＭに対応付けられた音声データを読み出す。
【００６８】
ステップＳ５５において、CPU１１は、通信部２１を制御して、ステップＳ５４で読み出した音声データを、ステップＳ５３で検出したアドレスを有する端末２に送信させる。
【００６９】
ステップＳ５１で、メッセージオブジェクトＭが通信先オブジェクト５１にドラックアンドドロップされなかったと判定された場合、またはステップＳ５５で、音声データが端末２に送信されたとき、処理は終了する。
【００７０】
なお、上述した送信処理は、所定のタイミングで繰り返し実行される。
【００７１】
ところで、メッセージを送信する回数が多い端末２（ユーザ）に対応する通信先オブジェクト５１の表示形態を、その回数が少ない端末２の通信先オブジェクト５１の表示形態と異なるようにすれば、ユーザは、より親密な通信相手を、通信先オブジェクト５１の表示形態から把握することができる。そこで、例えば、端末２−１には多くのメッセージを送信するが、端末２−２，２−３には、それほど送信しない場合、図１６に示すように、端末２−１の通信先オブジェクト５１−１を大きく表示して、端末２−２，２−３の通信先オブジェクト５１−２，５１−３を小さく表示することもできる。
【００７２】
以上においては、主に、端末１におけるメッセージの入力とその送信について説明したが、次に、図１７のフローチャートを参照して、端末２から送信されてきたメッセージを受信する場合の端末１の動作を説明する。
【００７３】
ステップＳ６１において、端末１のCPU１１は、端末２からのメッセージ（例えば、音声データ）が受信されたか否かを判定し、受信されたと判定した場合、ステップＳ６２に進む。
【００７４】
ステップＳ６２において、CPU１１は、ステップＳ６１で受信されたメッセージの送信元である端末２の通信先オブジェクト５１を検出し、ステップＳ６３において、表示部１９を制御して、その表示形態を変更させる。
【００７５】
例えば、端末２−３からのメッセージを受信した場合、図１８に示すように、端末２−３の通信先オブジェクト５１−３は、小さな泡が発生しているかのように表示される。これにより、ユーザは、端末２−３からメッセージが送信されてきことを認識することができる。なお、後述する再生処理により端末２−３からのメッセージが再生されると、通信先オブジェクト５１−３の表示形態は元に戻るものとする。
【００７６】
次に、ステップＳ６４において、CPU１１は、ステップＳ６１で受信されたメッセージを、ステップＳ６２で検出された通信先オブジェクト５１に対応付ける。具体的には、例えば、受信されたメッセージが格納されたファイル名が、通信先オブジェクト５１のＩＤに対応して、登録管理テーブル（図６）に設定される。
【００７７】
ステップＳ６１で、メッセージを受信しなかったと判定されたとき、またはステップＳ６４で、メッセージが通信先オブジェクト５１に対応付けられて記憶されたとき、処理は終了する。なお、この受信処理は、所定のタイミングで繰り返し実行される。
【００７８】
ところで、メッセージを送信してくる回数が多い端末２（ユーザ）に対応する通信先オブジェクト５１の表示形態を、その回数が少ない端末２の通信先オブジェクト５１の表示形態と異なるようにすれば、ユーザは、例えば、親密な通信相手を認識することができる。そこで、例えば、端末２−３が、端末２−１，２−２と比較してメッセージを高頻度で端末１に送信してくる場合、図１９に示すように、端末２−３の通信先オブジェクト５１−３を大きく表示し、端末２−１，２−２の通信先オブジェクト５１−１，５１−２を小さく表示することができる。
【００７９】
また、再生されないメッセージの数に応じて、通信先オブジェクト５１の表示形態を変化させることができる。例えば、図１８に示した、通信先オブジェクト５１−３の小さな泡の移動速度を速めることができる。これにより、ユーザは、読んでいないメッセージがたくさん貯まっていることを認識することができる。
【００８０】
次に、図２０のフローチャートを参照して、図１７の処理で受信されたメッセージを再生する場合の端末１の動作を説明する。
【００８１】
ステップＳ７１において、端末１のCPU１１は、操作部１７が操作され、図１７のステップＳ６４で、メッセージが対応付けられた通信先オブジェクト５１が選択されたか否かを判定し、選択されたと判定した場合、ステップＳ７２に進み、表示部１９を制御して、選択された通信先オブジェクト５１の表示形態を変化させる。
【００８２】
例えば、端末２−３に対応する通信先オブジェクト５１−３が選択されたとき、図２１に示すように、通信先オブジェクト５１−３は、輪郭が広がるように表示される。
【００８３】
次に、ステップＳ７３において、CPU１１は、ハードディスク１４の登録管理テーブルに、選択された通信先オブジェクト５１のアドレスに対応して設定されているファイル名のファイルに格納されている音声データを読み出し、それを再生してスピーカ２０から出力する。その後、処理は終了する。
【００８４】
なお、上述した再生処理は、所定のタイミングで繰り返し実行される。
【００８５】
以上においては、端末１がメッセージを送信または受信した場合について説明したが、例えば、端末２−１と端末２−３が通信し合っているとき、図２２に示すように、端末１のコミュニケーション画面の通信先オブジェクト５１−１と通信先オブジェクト５１−３を、図中矢印の方向に移動させ、それらが近づいているように表示させることができる。これにより、直接的ではないが（あいまいに）、ユーザに、端末２−１と端末２−３が通信し合っていることを認識させるができる。
【００８６】
図２３のフローチャートは、図２２に示したように、通信し合う端末２の通信状態に応じて、通信先オブジェクト５１を表示する場合の端末１の動作を示している。
【００８７】
ステップＳ８１において、端末１のCPU１１は、通信し合っている端末２が存在するか否かを判定し、存在すると判定した場合、ステップＳ８２に進み、通信し合っている端末２の通信先オブジェクト５１を検出する。
【００８８】
次に、ステップＳ８３において、端末１のCPU１１は、表示部１９を制御して、ステップＳ８２で検出した端末２の通信先オブジェクトが近づくように表示させる。
【００８９】
その後、処理は終了する。なお、上述したこの表示処理は、所定のタイミングで繰り返し実行される。
【００９０】
図２４は、コミュニケーション画面の他の表示例を表している。このコミュニケーション画面には、それぞれ所定の色が付されている４つのカラーパレット５２−１乃至５２−４がさらに設けられている。
【００９１】
図１５に示したように、メッセージを送信する場合、所定のメッセージオブジェクト（メッセージオブジェクトＭa）が、所望の通信先オブジェクト５１（通信先オブジェクト５１−１）にドラックアンドドロップされるが、メッセージオブジェクトＭaを、図２５に示すように、通信先オブジェクト５１−１にドラックアンドドロップする前に、所望のカラーパレット５２（５２−１）にドラックアンドドロップすることで、カラーパレット５２−１に対応する色情報（赤を示す色情報）を、メッセージオブジェクトＭaに対応付けられているメッセージに付加することができる。
【００９２】
そしてその後、メッセージオブジェクトＭaを通信先オブジェクト５１−１にドラックアンドドロップすることにより、色情報を付加したメッセージを端末２−１に送信することができる。
【００９３】
ところで、図２５の通信先オブジェクト５１には、ウインドウ５３が設けられているが、これには、端末２からのメッセージに付加された色情報に対応する色が付されるようになされている。
【００９４】
例えば、端末２−１において、コミュニケーション画面が表示されているものとし、端末２−１のユーザが、怒っている内容のメッセージを端末１に送信する場合、赤色の色情報を付加することで、そのメッセージを受信した端末１のコミュニケーション画面において、端末２−１の通信先オブジェクト５１−１のウインドウ５３には、赤色が表示される。
【００９５】
すなわち、端末２のユーザは、自分の感情をメッセージに付加することができ、またメッセージを送信してきたユーザの感情を把握することができる。
【００９６】
なお、図２５の例の場合、カラーパレット５２を利用してメッセージに色情報を付加するようにしたが、例えば、ユーザの音声を分析し、高い周波数をより多く含む場合は、そのメッセージに青色の色情報を付加し、低い周波数をより多く含む場合は、赤色の色情報を付加するようにすることもできる。この場合色情報は、周波数帯域毎にテーブルで保持しておき、それから得るようにするか、所定の式の演算結果から得るようにする。
【００９７】
さらに、色ではなく、模様や音声を加工するためのエフェクト情報を付加することもできる。
【００９８】
また、以上においては、送受信するメッセージを音声とする場合を例として説明したが、例えば、テキストを入力してそれをメッセージとすることもできる。この場合、図２６に示すような、ボックス６１と、ボトルの形のメッセージオブジェクトＭが、コミュニケーション画面に表示され、ボックス６１に文字を入力して、メッセージを生成することができる。メッセージオブジェクトＭは、ボックス６１に文字が１個入力されるごとに、大きくなるようになされている。
【００９９】
この場合においても、このように生成されたメッセージオブジェクトＭを、通信先オブジェクト５１にドラックアンドドロップすることで、メッセージを端末２に送信することができる。
【０１００】
ところで、以上においては、端末１が別個にコミュニケーション画面を利用して、端末２と通信する場合を例として説明したが、例えば、インターネット３上に提供されるチャットルームにログインしている端末１および端末２が、それぞれ共通してコミュニケーション画面を利用し、通信し合うこともできる。
【０１０１】
この場合、チャットルームにログインしている端末１および端末２のそれぞれには、ログインと同時に任意の色が割り当てられ、例えば、端末１のコミュニケーション画面には、その色が付された、端末２の通信先オブジェクト５１が表示される。なお、通信先オブジェクト５１にウインドウ５２が設けられている場合は、初期値の色（例えば、白色）がそこに表示される。
【０１０２】
チャット相手の端末２がログアウトした場合、その通信先オブジェクト５１は、端末１のコミュニケーション画面から消滅する。
【０１０３】
上述した一連の処理は、ハードウエアにより実行させることもできるが、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム格納媒体からインストールされる。
【０１０４】
この記録媒体は、図２に示すように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク３１、光ディスク３２、光磁気ディスク３３（MD（Mini-Disk)を含む）、若しくは半導体メモリ３４などによりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM１２やハードディスク１４などで構成される。
【０１０５】
なお、本明細書において、媒体により提供されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１０６】
【発明の効果】
本発明の情報処理装置および方法、記録媒体、並びにプログラムによれば、第１の通信情報の入力を検出し、第１の通信情報の入力が検出されたとき、第１の通信情報に対応する第１のオブジェクトを表示するとともに、第１の通信情報のデータ量に応じて、その表示形態を段階的に変化し、表示された第１のオブジェクトの表示形態を、所定のタイミングからの経過時間に応じて変化させるようにしたので、送信する第１の通信情報を感覚的に取得することができる。
【図面の簡単な説明】
【図１】本発明を提供した端末１の利用例を示す図である。
【図２】図１の端末１の構成例を示すブロック図である。
【図３】コミュニケーション画面の表示例を表す図である。
【図４】コミュニケーション画面を表示するための処理を説明するフローチャートである。
【図５】入力画面の表示例を示す図である。
【図６】登録管理テーブルの例を示す図である。
【図７】音声入力処理を説明するフローチャートである。
【図８】フレーム構成を説明する図である。
【図９】コミュニケーション画面の他の表示例を表す図である。
【図１０】コミュニケーション画面の他の表示例を表す図である。
【図１１】音声入力後のメッセージオブジェクトの表示処理を説明するフローチャートである。
【図１２】コミュニケーション画面の他の表示例を表す図である。
【図１３】メッセージオブジェクトＭの表示例を説明する図である。
【図１４】送信処理を説明するフローチャートである。
【図１５】コミュニケーション画面の他の表示例を表す図である。
【図１６】コミュニケーション画面の他の表示例を表す図である。
【図１７】受信処理を説明するフローチャートである。
【図１８】コミュニケーション画面の他の表示例を表す図である。
【図１９】コミュニケーション画面の他の表示例を表す図である。
【図２０】再生処理を説明するフローチャートである。
【図２１】コミュニケーション画面の他の表示例を表す図である。
【図２２】コミュニケーション画面の他の表示例を表す図である。
【図２３】通信状態に基づく表示処理を説明するフローチャートである。
【図２４】コミュニケーション画面の他の表示例を表す図である。
【図２５】コミュニケーション画面の他の表示例を表す図である。
【図２６】テキストが入力されるボックスを示す図である。
【符号の説明】
１ 端末， ２ 端末， ３ インターネット， ５１ 通信先オブジェクト、５２ カラーパレット， ５３ ウインドウ
【発明の属する技術分野】
本発明は、情報処理装置および方法、記録媒体、並びにプログラムに関し、特に、情報処理に好適な手段を提供することができるようにした情報処理装置および方法、記録媒体、並びにプログラムに関する。
【０００２】
【従来の技術】
パーソナルコンピュータは、キーボードから入力されたテキストデータまたはマイクロフォンにより集音された音声のデータを利用して各種の処理を行うことができるが、このようにして入力されたデータを、例えばメッセージとして、ネットワークを介して他のパーソナルコンピュータに送信することができる。
【０００３】
【発明が解決しようとする課題】
ところで、パーソナルコンピュータに入力されたメッセージは、例えば、ファイルに格納されるので、ユーザは、それを送信する場合、ファイル名などから、メッセージが格納されているファイルを認識し、そこからメッセージを読み出す必要がある。また受信されたメッセージもファイルに格納されるので、ユーザは、それを見る場合、同様にファイル名などから、メッセージが格納されているファイルを認識し、そこからメッセージを読み出す必要がある。
【０００４】
すなわち、従来においては、ユーザに、パーソナルコンピュータにおいて使用されるデータ（メッセージ）を、例えば、ファイルのアイコンの表示形態などから感覚的、直感的に認識させ、一連の処理を気軽に行うことができる手段が提供されていなかった。
【０００５】
本発明はこのような状況に鑑みてなされたものであり、パーソナルコンピュータにおいて使用するデータを、感覚的、直感的に認識させ、一連の処理を気軽に行うことができる手段を提供することができるようにするものである。
【０００６】
【課題を解決するための手段】
本発明の情報処理装置は、第1の通信情報の入力を検出する第１の検出手段と、第１の検出手段により第1の通信情報の入力が検出されたとき、第 1 の通信情報に対応する第１のオブジェクトを表示画面に表示させるとともに、第 1 の通信情報のデータ量に応じて、その表示形態を段階的に変化させる第１の表示制御手段と、第１の表示制御手段により表示画面に表示された第１のオブジェクトの表示画面上の位置を、所定のタイミングからの経過時間に応じてさらに変化させる第２の表示制御手段と、第1の通信情報を第１のオブジェクトに対応付ける第１の対応付け手段と、第１のオブジェクトに対応付けられた第1の通信情報を、通信装置に送信する送信手段とを備えることを特徴とする。ここでオブジェクトとは、関連するデータを視覚できるように表現したものをいう。
第１の表示制御手段は、第１の通信情報のデータ量に応じて、第１のオブジェクトの大きさを変化させることができる。
第２の表示制御手段は、第１の表示制御手段により表示画面に表示された第１のオブジェクトを、所定のタイミングからの経過時間に応じて、表示画面上を、一定の角度を持った方向に、または移動軌跡が螺旋が描くように、移動させることができる。
第２の表示制御手段は、第１のオブジェクトが表示画面の枠を超える位置に移動したとき、第１のオブジェクトの表示を中止することができる。
【０００７】
第１の通信情報を、マイクロフォンにより集音された音声の信号、または操作部に入力されたテキストデータとすることができる。なお、第１の通信情報は、CCD等の撮像素子から得られた動画などのコンテンツであってもよい。
【０００８】
通信装置に対応する第２のオブジェクトを表示する第３の表示制御手段と、第１のオブジェクトがドラックアンドドロップされた第２のオブジェクトを検出する第２の検出手段とをさらに設け、送信手段には、第２の検出手段により検出された第２のオブジェクトに対応する通信装置に、ドラックアンドドロップされた第１のオブジェクトに対応付けられている第１の通信情報を送信させることができる。
【０００９】
第３の表示手段は、第２のオブジェクトを、通信装置に割り当てられた色を付して表示することができる。
【００１０】
通信装置の所定の状態を検出する第３の検出手段をさらに設け、第３の表示制御手段には、第２のオブジェクトを、第３の検出手段による検出結果に基づく表示形態で表示させることができる。
【００１１】
第３の検出手段は、通信装置が、情報処理装置と通信することができる状態か否かを検出することができる。
【００１２】
付加情報に対応する第３のオブジェクトを表示する第４の表示制御手段と、第１のオブジェクトがドラックアンドドロップされた第３のオブジェクトを検出するとともに、検出した第３のオブジェクトに対応する付加情報を、第３のオブジェクトにドラックアンドドロップされた第１のオブジェクトに対応付けられている第１の通信情報に付加する付加手段とをさらに設け、送信手段には、第１のオブジェクトに対応付けられている第１の通信情報と、それに付加された付加情報を、第２の検出手段により検出された第２のオブジェクトに対応する通信装置に送信させることができる。
【００１３】
通信装置から送信されてきた第２の通信情報を受信し、受信した第２の通信情報を、第２の通信情報を送信した通信装置に対応する第２のオブジェクトに対応付ける第２の対応付け手段と、通信装置に対応する第２のオブジェクトを選択する選択手段と、選択手段により選択された第２のオブジェクトに対応付けられている第２の通信情報を再生する再生手段とをさらに設けることができる。
【００１４】
第３の表示手段は、第２の対応付け手段により第２の通信情報が対応付けられたとき、第２のオブジェクトの表示形態を変化させることができる。
【００１５】
第３の表示制御手段は、第２のオブジェクトを、第２の対応付け手段により第２の通信情報が対応付けられた回数に応じた表示形態で表示することができる。
【００１６】
第３の表示制御手段は、第２のオブジェクトを、第２の対応付け手段により対応付けられた第２の通信情報のうち、再生手段により再生されていない第２の通信情報の数に応じた表示形態で表示することができる。
【００１７】
第１の通信装置と第２の通信通信との通信状態を検出する通信状態検出手段を設け、第３の表示制御手段には、第２のオブジェクトを、通信状態検出手段による検出結果に基づく表示形態で表示させることができる。
【００１８】
送信手段は、第１の通信情報を、ネットワークを介して通信装置に送信することができる。
本発明の情報処理方法は、通信情報の入力を検出する第１の検出ステップと、第１の検出ステップの処理で第 1 の通信情報の入力が検出されたとき、通信情報に対応する第１のオブジェクトを表示画面に表示させるとともに、通信情報のデータ量に応じて、その表示形態を段階的に変化させる第１の表示制御ステップと、第１の表示制御ステップの処理で表示画面に表示された第１のオブジェクトの表示画面上の位置を、所定のタイミングからの経過時間に応じてさらに変化させる第２の表示制御ステップと、通信情報を第１のオブジェクトに対応付ける対応付けステップと、第１のオブジェクトに対応付けられた通信情報を、通信装置に送信する送信ステップとを含むことを特徴とする。
【００１９】
通信装置に対応する第２のオブジェクトを表示する第３の表示制御ステップと、第１のオブジェクトがドラックアンドドロップされた第２のオブジェクトを検出する第２の検出ステップとをさらに含み、送信ステップの処理は、第２の検出ステップの処理により検出された第２のオブジェクトに対応する通信装置に、ドラックアンドドロップされた第１のオブジェクトに対応付けられている通信情報を送信することができる。
付加情報に対応する第３のオブジェクトを表示する第４の表示制御ステップと、第１のオブジェクトがドラックアンドドロップされた第３のオブジェクトを検出するとともに、検出した第３のオブジェクトに対応する付加情報を、第３のオブジェクトにドラックアンドドロップされた第１のオブジェクトに対応付けられている通信情報に付加する付加ステップとをさらに含み、送信ステップの処理は、第１のオブジェクトに対応付けられている通信情報と、それに付加された付加情報を、第２の検出ステップの処理により検出された第２のオブジェクトに対応する通信装置に送信することができる。
本発明の記録媒体のプログラムは、通信情報の入力を検出する検出ステップと、検出ステップの処理で通信情報の入力が検出されたとき、通信情報に対応するオブジェクトを表示画面に表示させるとともに、通信情報のデータ量に応じて、その表示形態を段階的に変化させる第１の表示制御ステップと、第１の表示制御ステップの処理で表示画面に表示されたオブジェクトの表示画面上の位置を、所定のタイミングからの経過時間に応じてさらに変化させる第２の表示制御ステップと、通信情報をオブジェクトに対応付ける対応付けステップと、オブジェクトに対応付けられた通信情報を、通信装置に送信する送信ステップとを含むことを特徴とする。
【００２０】
本発明のプログラムは、通信情報の入力を検出する検出ステップと、検出ステップの処理で通信情報の入力が検出されたとき、通信情報に対応するオブジェクトを表示画面に表示させるとともに、通信情報のデータ量に応じて、その表示形態を段階的に変化させる第１の表示制御ステップと、第１の表示制御ステップの処理で表示画面に表示されたオブジェクトの表示画面上の位置を、所定のタイミングからの経過時間に応じてさらに変化させる第２の表示制御ステップと、通信情報をオブジェクトに対応付ける対応付けステップと、オブジェクトに対応付けられた通信情報を、通信装置に送信する送信ステップとを含む処理をコンピュータに実行させることを特徴とする。
【００２１】
本発明の情報処理装置および方法、並びにプログラムにおいては、通信情報の入力が検出され、通信情報の入力が検出されたとき、通信情報に対応するオブジェクトが表示画面に表示されるとともに、通信情報のデータ量に応じて、その表示形態が段階的に変化し、表示画面に表示されたオブジェクトの表示画面上の位置が、所定のタイミングからの経過時間に応じてさらに変化し、通信情報がオブジェクトに対応付ける対応けられ、オブジェクトに対応付けられた通信情報が、通信装置に送信される。
【００２２】
【発明の実施の形態】
図１は、本発明を適用した端末１の利用例を示している。
【００２３】
端末１のユーザは、インターネット３を介して、端末２−１乃至２−３のユーザとメッセージのやり取りを行うが、この例の場合、通信状態をより感覚的、直感的に把握することができる操作画面（後述）が用いられる。なお、ここでは、端末１は、ユーザにより入力された音声を、メッセージとして端末２に送信するものとし、また端末１は、端末２からの音声のメッセージを受信し、それを出力するものとする。
【００２４】
図２は、端末１の構成例を示している。CPU（Central Processing Unit）１１にはバス１５を介して入出力インタフェース１６が接続されており、CPU１１は、入出力インタフェース１６を介して、ユーザから、キーボード、マウスなどよりなる操作部１７から指令が入力されると、例えば、ROM（Read Only Memory）１２、ハードディスク１４、またはドライブ２２に装着される磁気ディスク３１、光ディスク３２、光磁気ディスク３３、若しくは半導体メモリ３４などの記録媒体に格納されているプログラム（通信プログラム）を、RAM（Random Access Memory）１３にロードして実行する。さらに、CPU１１は、その処理結果を、例えば、入出力インタフェース１６を介して、LCD（Liquid Crystal Display）などよりなる表示部１９に必要に応じて出力する。
【００２５】
マイクロフォン１８は、音声を集音し、その結果得られた音声信号をCPU１１に供給する。スピーカ２０は、CPU１１からの音声信号を出力する。通信部２１は、インターネット３を介して、端末２と通信する。
【００２６】
図３は、端末１が端末２と通信する際に、端末１の表示部１９に表示される操作画面（以下、コミュニケーション画面と称する）を表している。コミュニケーション画面には、この例の場合、初期状態として、海の中を表す背景と、海中に浮遊するボールを表する通信先オブジェクト５１−１乃至５１−３（以下、個々に区別する必要がない場合、単に、通信先オブジェクト５１と称する。他の場合についても同様である）が表示される。この通信先オブジェクト５１は、端末１との通信先として登録されている端末２を表しており、通信先オブジェクト５１−１は、端末２−１を、通信先オブジェクト５１−２は、端末２−２を、そして通信先オブジェクト５１−３は、端末２−３を表している。
【００２７】
次に、通信プログラムが起動され、図３に示すようなコミュニケーション画面の初期画面を、表示部１９に表示させる場合の端末１の動作を図４のフローチャートを参照して説明する。
【００２８】
ステップＳ１において、例えば、ROM１２に記憶されている通信プログラムが起動されると、ステップＳ２において、CPU１１は、表示部１９を制御して、図３の背景部分を表示させる。
【００２９】
次に、ステップＳ３において、CPU１１は、ハードディスク１４に記憶されている登録管理テーブル（後述する）に所定の情報が設定され、通信先として登録されている端末（端末２）が存在するか否かを判定し、存在しないと判定した場合、ステップＳ４に進む。
【００３０】
ステップＳ４において、CPU１１は、表示部１９を制御して、図５に示すような、通信先の登録情報を入力するための入力画面を表示させる。
【００３１】
欄Ａには、通信先として登録する端末（この例の場合の端末２−１乃至端末２−３）のユーザのアカウント（この例の場合、メールアドレス）を入力することができる。欄Ｂには、通信先として登録する端末２に割り当てる色（青、赤、黄色など）を入力することができる。なお、以下において、ここで入力されるアドレスおよび色を、適宜、まとめて登録情報と称する。
【００３２】
ステップＳ５において、CPU１１は、図５の入力画面に登録情報が入力されたか否かを判定し、入力されたと判定した場合、ステップＳ６に進み、入力された登録情報を、ハードディスク１４の登録管理テーブルに設定して記憶する。これにより、通信先の端末２が登録される。
【００３３】
図６は、登録管理テーブルの設定例を表している。この登録管理テーブルには、それぞれ入力画面（図５）から入力された、端末２−１乃至端末２−３のアドレスおよび色が設定されている。通信先オブジェクト５１のＩＤおよびファイル名については後述する。
【００３４】
ステップＳ３で、通信先が登録されていると判定されたとき、またはステップＳ６で、通信先が登録されたとき、ステップＳ７に進み、CPU１１は、ハードディスク１４の登録管理テーブルから、通信先として登録されている端末２−１乃至２−３のアドレスを読み取り、通信部２１を介して、アクセスを試み、その端末２が端末１と通信可能か否かを確認する。
【００３５】
次に、ステップＳ８において、CPU１１は、ハードディスク１４の登録管理テーブルに設定された色、およびステップＳ７での通信状態の確認結果に基づいて、通信先として登録されている端末２に対応する通信先オブジェクト５１を生成し、表示部１９を制御して、図３に示すような表示形態で、所定の位置に表示させる。この例の場合、登録管理テーブルには、端末２−１乃至端末２−３のアドレスに対応して、青色、赤色、黄色がそれぞれ設定されているので、端末２−１に対応する通信先オブジェクト５１−１は、青色が、端末２−２に対応する通信先オブジェクト５１−２は、赤色が、そして端末２−３に対応する通信先オブジェクト５１−３は、黄色が付されて表示されている。また端末２−２は、端末１と通信できない状態にあるので、端末２−２に対応する通信先オブジェクト５１−２は、人が眠っている画像がさらに付されて表示されている。
【００３６】
なお、各通信先オブジェクト５１の表示位置は、任意に決定されるようにしてもよいし、指定することができるようにもできる。
【００３７】
これにより、ユーザは、色により、通信先オブジェクト５１がどの通信先を表しているか、また付された画像により、通信できる状態か否かを把握することができる。
【００３８】
なお、この例では、端末２が端末１と通信することができる状態か否かを検出し、通信できる状態ではない場合、それに対応する表示形態で通信先オブジェクト５１を表示するようにしたが（人が眠っている画像を付して表示するようにしたが）、例えば、通信できる状態であっても、端末２において複数のアプリケーションプログラムが立ち上がって各種の処理が行われており、いわゆる忙しい状態である場合、その状態に応じた表示形態で、通信先オブジェクト５１を表示することもできる。すなわち、これにより、ユーザは、メッセージを送信しても、返事をすぐにもらえないことを予想することができる。
【００３９】
ステップＳ９において、CPU１１は、表示部１９を制御して、各通信先オブジェクト５１を、例えば、図３に示す矢印の方向に交互に移動させ、通信先オブジェクト５１が揺らいでいるように表示させる処理を開始させる（経過時間に対応した位置に移動させる処理を開始させる）。これにより、通信先オブジェクト５１は、左右に揺れるように表示されるので、ユーザに、通信先オブジェク５１が、海中に浮いているボールであるかのように認識させることができる。なお、通信先オブジェクト５１を、あらゆる方向に小さくランダムに動かすようにすることもできる。
【００４０】
ステップＳ５で、登録情報が入力されなかったと判定されたとき、またはステップＳ９での表示処理が開始されたとき、処理は終了する。
【００４１】
このようにして、コミュニケーション画面が端末１の表示部１９に表示される。
【００４２】
次に、図７のフローチャートを参照して、メッセージとしての音声を入力する場合の端末１の動作を説明する。
【００４３】
図４のフローチャートで示した処理が行われ、図３に示すようなコミュニケーション画面が表示されると、ステップＳ２１において、端末１のCPU１１は、マイクロフォン１８により集音された、１フレーム分の音声の信号からその平均音量を算出する。なお、フレームは、図８Ａに示すように、信号の一部が重複するように形成してもよいし、図８Ｂに示すように、重複しないように形成してもよい。
【００４４】
次に、ステップＳ２２において、CPU１１は、ステップＳ２１で算出した平均音量が、所定の閾値より大きいか否かを判定し、大きくない（閾値以下である）と判定した場合、ステップＳ２１に戻る。一方、ステップＳ２２で、平均音量が閾値より大きいと判定された場合、ステップＳ２３に進み、CPU１１は、マイクロフォン１８により集音された音声の信号をハードディスク１４に記録する処理を開始する。すなわち、ステップＳ２２では、ユーザが発した音声が検出され、それが検出されると、ステップＳ２３で、その記録が開始される。
【００４５】
次に、ステップＳ２４において、CPU１１は、表示部１９を制御して、図９に示すように、所定の大きさ（所定の直径）のメッセージオブジェクトＭaを所定の位置（図９中、左下隅）に表示させる。
【００４６】
ステップＳ２５において、CPU１１は、続いて入力された１フレーム分の信号からその平均音量を算出し、ステップＳ２６で、算出した平均音量が閾値より大きいか否かを判定する。
【００４７】
ステップＳ２６で、平均音量が閾値より大きいと判定された場合、すなわち、ユーザの音声が継続して入力されているとき、ステップＳ２７に進み、CPU１１は、表示部１９を制御して、内蔵するカウンタを、所定の値Ｗだけインクリメントし、ステップＳ２８において、ステップＳ２４で表示されたメッセージオブジェクトＭaを、このときのカウンタの値に基づく大きさに変更して表示させる。その後、ステップＳ２５に戻り、ステップＳ２６で、平均音量が閾値以下であると判定されるまで、すなわち、ユーザの音声の入力が終了（中断）するまで、ステップＳ２５乃至ステップＳ２８の処理が繰り返し実行される。
【００４８】
このように、継続して入力されているユーザの音声に対して、ステップＳ２５乃至ステップＳ２８の処理が繰り返し行われるので、メッセージオブジェクトＭaの径は、その音声の長さに応じて大きくなる。
【００４９】
ステップＳ２６で、平均音量が閾値以下であると判定されたとき、すなわち、ユーザの音声の入力が終了（中断）したとき、ステップＳ２９に進み、ＣＰＵ１１は、ステップＳ２３で開始した、音声の信号の記憶を終了する。なお、このとき、コミュニケーション画面には、ステップＳ２８で最後に変更されたの径のメッセージオブジェクトＭa（例えば、図１０に示すように、図９における場合と比べて大きくなったメッセージオブジェクトＭa）が表示されることになる。
【００５０】
次に、ステップＳ３０において、CPU１１は、メッセージオブジェクトＭaにＩＤを割り当てるとともに、ステップＳ２３で記録が開始され、ステップＳ２９でそれが終了するまでに記録された信号（音声データ）を対応付ける。具体的には、例えば、メッセージオブジェクトＭaのＩＤと、対応付けられる音声データが記録されたファイル名が対応して記憶される。
【００５１】
その後、処理は終了する。なお、この音声入力処理は、所定のタイミングで繰り返し実行される。
【００５２】
図７のフローチャートで示した処理で、図１０に示したように表示されたメッセージオブジェクトＭaは、例えば、図１０の上向きの矢印で示すように、左右にゆれながら上方に移動する。これにより、ユーザに、メッセージオブジェクトＭaが、海中を移動する泡であるかのように認識させることができる。次に、このようなメッセージオブジェクトＭaを表示する（移動させる）処理を、図１１のフローチャートを参照して説明する。
【００５３】
ステップＳ４１において、端末１のCPU１１は、内蔵するタイマーｔをスタートさせる。
【００５４】
次に、ステップＳ４２において、CPU１１は、タイマーｔの時刻から、スタート時からの経過時間を算出し、表示部１９を制御して、その経過時間に対応した位置に、メッセージオブジェクトＭaを移動させる。すなわち、メッセージオブジェクトＭaは、図１０の上向きの矢印に沿った所定の位置に移動される。
【００５５】
ステップＳ４３において、CPU１１は、経過時間に対応する位置がコミュニケーション画面の上端を越える位置であるか否かを判定し、越える位置ではないと判定した場合、ステップＳ４２に戻り、それ以降の処理を繰り返し実行する。これにより、図１０の場合、メッセージオブジェクトＭaを、時間の経過とともに、左右にゆらせながら上方に移動させることができる。
【００５６】
ステップＳ４３で、経過時間に対応する位置がコミュニケーション画面の上端を越える位置であると判定した場合、ステップＳ４４に進み、ＣＰＵ１１は、表示部１９を制御して、メッセージオブジェクトＭaの表示を中止する。すなわち、メッセージオブジェクトＭaは、コミュニケーション画面に表示されなくなる。その後、処理を終了する。
【００５７】
なお、上述したこの表示処理は、上述した音声入力処理（図７）により、メッセージオブジェクトＭが生成されるごとに行われる。
【００５８】
例えば、ユーザが、断続的に、音声を端末１に入力すると、図７での音声入処理および図１１での表示処理が、音声入力に対応して適宜実行されるので、コミュニケーション画面には、図１２に示すように、複数のメッセージオブジェクトＭが、上方に移動するように表示される。図１２の例では、メッセージオブジェクトＭａより時間的に遅れて生成されたメッセージオブジェクトＭb、およびメッセージオブジェクトＭcが表示されている。このように、異なる時刻に生成されたメッセージオブジェクトＭを１つの泡として表すことにより、ユーザは、感覚的、直感的に入力したデータを認識することができる。
【００５９】
なお、図１０，１２の例では、メッセージオブジェクトＭが、時間の経過とともに、左右にゆれながら上方に移動したが、図１３に示すように、メッセージオブジェクトＭを、所定の中心に向かって螺旋を描くように移動させることもできる。またこの際、メッセージオブジェクトＭの径を、中心点に近づくにつれて小さくしたり、メッセージオブジェクトＭの輪郭の透明度を除々に上げることで、最終的に中心点に達したときに見えなくなるようにすることもできる。
【００６０】
さらに、その図示は省略するが、メッセージオブジェクトＭを、はじめにコミュニケーション画面の左端または右端に表示させ、時間の経過とともに、右端、または左端に移動させるようにしたり、図１０の例の場合とは逆に、はじめにコミュニケーション画面の上端に表示させ、時間の経過とともに、下方に移動させたりすることもできる。
【００６１】
なお、位置を移動させることなく、例えばオブジェクトの色彩の変化や形状の変化で時間の経過を表現することもできる。
【００６２】
次に、メッセージオブジェクトＭに対応付けられた音声（図７のステップＳ３０）を、所望の端末２に送信する場合の処理手順を、図１４のフローチャートを参照して説明する。
【００６３】
ステップＳ５１において、端末１のCPU１１は、操作部１７が操作されて、コミュニケーション画面に表示されている（泡のように上方に移動している）メッセージオブジェクトＭの、例えば１つが選択され、端末２に対応する通信先オブジェクト５１にドラックアンドドロップされたか否かを判定し、ドラックアンドドロップとされたと判定したとき、ステップＳ５２に進む。
【００６４】
ステップＳ５２において、CPU１１は、表示部１９を制御して、メッセージオブジェクトＭがドラックアンドドロップされた通信先オブジェクト５１を検出するとともに、その表示形態を変更して表示させる。
【００６５】
例えば、図１５に示すように、メッセージオブジェクトＭaが通信先オブジェクト５１−１にドラックアンドドロップされたとき、通信先オブジェクト５１−１は、小さい円が周りに付加されて表示される。また、通信先オブジェクト５１−１に対応する端末２−１のユーザの顔の画像データを予め記憶しておき、その画像を表示することもできる。なお、この顔の画像も、泡のように上方に移動させながら表示させ、画面の上端に達したとき見えなくなるようにすることもできる。
【００６６】
ステップＳ５３において、CPU１１は、メッセージオブジェクトＭがドラックアンドドロップされた通信先オブジェクト５１に対応する端末２のアドレスを、ハードディスク１４の登録管理テーブルから検出する。
【００６７】
次に、ステップＳ５４において、CPU１１は、ステップＳ５１で、通信先オブジェクト５１にドラックアンドドロップされるために選択されたメッセージオブジェクトＭに対応付けられた音声データを読み出す。
【００６８】
ステップＳ５５において、CPU１１は、通信部２１を制御して、ステップＳ５４で読み出した音声データを、ステップＳ５３で検出したアドレスを有する端末２に送信させる。
【００６９】
ステップＳ５１で、メッセージオブジェクトＭが通信先オブジェクト５１にドラックアンドドロップされなかったと判定された場合、またはステップＳ５５で、音声データが端末２に送信されたとき、処理は終了する。
【００７０】
なお、上述した送信処理は、所定のタイミングで繰り返し実行される。
【００７１】
ところで、メッセージを送信する回数が多い端末２（ユーザ）に対応する通信先オブジェクト５１の表示形態を、その回数が少ない端末２の通信先オブジェクト５１の表示形態と異なるようにすれば、ユーザは、より親密な通信相手を、通信先オブジェクト５１の表示形態から把握することができる。そこで、例えば、端末２−１には多くのメッセージを送信するが、端末２−２，２−３には、それほど送信しない場合、図１６に示すように、端末２−１の通信先オブジェクト５１−１を大きく表示して、端末２−２，２−３の通信先オブジェクト５１−２，５１−３を小さく表示することもできる。
【００７２】
以上においては、主に、端末１におけるメッセージの入力とその送信について説明したが、次に、図１７のフローチャートを参照して、端末２から送信されてきたメッセージを受信する場合の端末１の動作を説明する。
【００７３】
ステップＳ６１において、端末１のCPU１１は、端末２からのメッセージ（例えば、音声データ）が受信されたか否かを判定し、受信されたと判定した場合、ステップＳ６２に進む。
【００７４】
ステップＳ６２において、CPU１１は、ステップＳ６１で受信されたメッセージの送信元である端末２の通信先オブジェクト５１を検出し、ステップＳ６３において、表示部１９を制御して、その表示形態を変更させる。
【００７５】
例えば、端末２−３からのメッセージを受信した場合、図１８に示すように、端末２−３の通信先オブジェクト５１−３は、小さな泡が発生しているかのように表示される。これにより、ユーザは、端末２−３からメッセージが送信されてきことを認識することができる。なお、後述する再生処理により端末２−３からのメッセージが再生されると、通信先オブジェクト５１−３の表示形態は元に戻るものとする。
【００７６】
次に、ステップＳ６４において、CPU１１は、ステップＳ６１で受信されたメッセージを、ステップＳ６２で検出された通信先オブジェクト５１に対応付ける。具体的には、例えば、受信されたメッセージが格納されたファイル名が、通信先オブジェクト５１のＩＤに対応して、登録管理テーブル（図６）に設定される。
【００７７】
ステップＳ６１で、メッセージを受信しなかったと判定されたとき、またはステップＳ６４で、メッセージが通信先オブジェクト５１に対応付けられて記憶されたとき、処理は終了する。なお、この受信処理は、所定のタイミングで繰り返し実行される。
【００７８】
ところで、メッセージを送信してくる回数が多い端末２（ユーザ）に対応する通信先オブジェクト５１の表示形態を、その回数が少ない端末２の通信先オブジェクト５１の表示形態と異なるようにすれば、ユーザは、例えば、親密な通信相手を認識することができる。そこで、例えば、端末２−３が、端末２−１，２−２と比較してメッセージを高頻度で端末１に送信してくる場合、図１９に示すように、端末２−３の通信先オブジェクト５１−３を大きく表示し、端末２−１，２−２の通信先オブジェクト５１−１，５１−２を小さく表示することができる。
【００７９】
また、再生されないメッセージの数に応じて、通信先オブジェクト５１の表示形態を変化させることができる。例えば、図１８に示した、通信先オブジェクト５１−３の小さな泡の移動速度を速めることができる。これにより、ユーザは、読んでいないメッセージがたくさん貯まっていることを認識することができる。
【００８０】
次に、図２０のフローチャートを参照して、図１７の処理で受信されたメッセージを再生する場合の端末１の動作を説明する。
【００８１】
ステップＳ７１において、端末１のCPU１１は、操作部１７が操作され、図１７のステップＳ６４で、メッセージが対応付けられた通信先オブジェクト５１が選択されたか否かを判定し、選択されたと判定した場合、ステップＳ７２に進み、表示部１９を制御して、選択された通信先オブジェクト５１の表示形態を変化させる。
【００８２】
例えば、端末２−３に対応する通信先オブジェクト５１−３が選択されたとき、図２１に示すように、通信先オブジェクト５１−３は、輪郭が広がるように表示される。
【００８３】
次に、ステップＳ７３において、CPU１１は、ハードディスク１４の登録管理テーブルに、選択された通信先オブジェクト５１のアドレスに対応して設定されているファイル名のファイルに格納されている音声データを読み出し、それを再生してスピーカ２０から出力する。その後、処理は終了する。
【００８４】
なお、上述した再生処理は、所定のタイミングで繰り返し実行される。
【００８５】
以上においては、端末１がメッセージを送信または受信した場合について説明したが、例えば、端末２−１と端末２−３が通信し合っているとき、図２２に示すように、端末１のコミュニケーション画面の通信先オブジェクト５１−１と通信先オブジェクト５１−３を、図中矢印の方向に移動させ、それらが近づいているように表示させることができる。これにより、直接的ではないが（あいまいに）、ユーザに、端末２−１と端末２−３が通信し合っていることを認識させるができる。
【００８６】
図２３のフローチャートは、図２２に示したように、通信し合う端末２の通信状態に応じて、通信先オブジェクト５１を表示する場合の端末１の動作を示している。
【００８７】
ステップＳ８１において、端末１のCPU１１は、通信し合っている端末２が存在するか否かを判定し、存在すると判定した場合、ステップＳ８２に進み、通信し合っている端末２の通信先オブジェクト５１を検出する。
【００８８】
次に、ステップＳ８３において、端末１のCPU１１は、表示部１９を制御して、ステップＳ８２で検出した端末２の通信先オブジェクトが近づくように表示させる。
【００８９】
その後、処理は終了する。なお、上述したこの表示処理は、所定のタイミングで繰り返し実行される。
【００９０】
図２４は、コミュニケーション画面の他の表示例を表している。このコミュニケーション画面には、それぞれ所定の色が付されている４つのカラーパレット５２−１乃至５２−４がさらに設けられている。
【００９１】
図１５に示したように、メッセージを送信する場合、所定のメッセージオブジェクト（メッセージオブジェクトＭa）が、所望の通信先オブジェクト５１（通信先オブジェクト５１−１）にドラックアンドドロップされるが、メッセージオブジェクトＭaを、図２５に示すように、通信先オブジェクト５１−１にドラックアンドドロップする前に、所望のカラーパレット５２（５２−１）にドラックアンドドロップすることで、カラーパレット５２−１に対応する色情報（赤を示す色情報）を、メッセージオブジェクトＭaに対応付けられているメッセージに付加することができる。
【００９２】
そしてその後、メッセージオブジェクトＭaを通信先オブジェクト５１−１にドラックアンドドロップすることにより、色情報を付加したメッセージを端末２−１に送信することができる。
【００９３】
ところで、図２５の通信先オブジェクト５１には、ウインドウ５３が設けられているが、これには、端末２からのメッセージに付加された色情報に対応する色が付されるようになされている。
【００９４】
例えば、端末２−１において、コミュニケーション画面が表示されているものとし、端末２−１のユーザが、怒っている内容のメッセージを端末１に送信する場合、赤色の色情報を付加することで、そのメッセージを受信した端末１のコミュニケーション画面において、端末２−１の通信先オブジェクト５１−１のウインドウ５３には、赤色が表示される。
【００９５】
すなわち、端末２のユーザは、自分の感情をメッセージに付加することができ、またメッセージを送信してきたユーザの感情を把握することができる。
【００９６】
なお、図２５の例の場合、カラーパレット５２を利用してメッセージに色情報を付加するようにしたが、例えば、ユーザの音声を分析し、高い周波数をより多く含む場合は、そのメッセージに青色の色情報を付加し、低い周波数をより多く含む場合は、赤色の色情報を付加するようにすることもできる。この場合色情報は、周波数帯域毎にテーブルで保持しておき、それから得るようにするか、所定の式の演算結果から得るようにする。
【００９７】
さらに、色ではなく、模様や音声を加工するためのエフェクト情報を付加することもできる。
【００９８】
また、以上においては、送受信するメッセージを音声とする場合を例として説明したが、例えば、テキストを入力してそれをメッセージとすることもできる。この場合、図２６に示すような、ボックス６１と、ボトルの形のメッセージオブジェクトＭが、コミュニケーション画面に表示され、ボックス６１に文字を入力して、メッセージを生成することができる。メッセージオブジェクトＭは、ボックス６１に文字が１個入力されるごとに、大きくなるようになされている。
【００９９】
この場合においても、このように生成されたメッセージオブジェクトＭを、通信先オブジェクト５１にドラックアンドドロップすることで、メッセージを端末２に送信することができる。
【０１００】
ところで、以上においては、端末１が別個にコミュニケーション画面を利用して、端末２と通信する場合を例として説明したが、例えば、インターネット３上に提供されるチャットルームにログインしている端末１および端末２が、それぞれ共通してコミュニケーション画面を利用し、通信し合うこともできる。
【０１０１】
この場合、チャットルームにログインしている端末１および端末２のそれぞれには、ログインと同時に任意の色が割り当てられ、例えば、端末１のコミュニケーション画面には、その色が付された、端末２の通信先オブジェクト５１が表示される。なお、通信先オブジェクト５１にウインドウ５２が設けられている場合は、初期値の色（例えば、白色）がそこに表示される。
【０１０２】
チャット相手の端末２がログアウトした場合、その通信先オブジェクト５１は、端末１のコミュニケーション画面から消滅する。
【０１０３】
上述した一連の処理は、ハードウエアにより実行させることもできるが、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム格納媒体からインストールされる。
【０１０４】
この記録媒体は、図２に示すように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク３１、光ディスク３２、光磁気ディスク３３（MD（Mini-Disk)を含む）、若しくは半導体メモリ３４などによりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM１２やハードディスク１４などで構成される。
【０１０５】
なお、本明細書において、媒体により提供されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１０６】
【発明の効果】
本発明の情報処理装置および方法、記録媒体、並びにプログラムによれば、第１の通信情報の入力を検出し、第１の通信情報の入力が検出されたとき、第１の通信情報に対応する第１のオブジェクトを表示するとともに、第１の通信情報のデータ量に応じて、その表示形態を段階的に変化し、表示された第１のオブジェクトの表示形態を、所定のタイミングからの経過時間に応じて変化させるようにしたので、送信する第１の通信情報を感覚的に取得することができる。
【図面の簡単な説明】
【図１】本発明を提供した端末１の利用例を示す図である。
【図２】図１の端末１の構成例を示すブロック図である。
【図３】コミュニケーション画面の表示例を表す図である。
【図４】コミュニケーション画面を表示するための処理を説明するフローチャートである。
【図５】入力画面の表示例を示す図である。
【図６】登録管理テーブルの例を示す図である。
【図７】音声入力処理を説明するフローチャートである。
【図８】フレーム構成を説明する図である。
【図９】コミュニケーション画面の他の表示例を表す図である。
【図１０】コミュニケーション画面の他の表示例を表す図である。
【図１１】音声入力後のメッセージオブジェクトの表示処理を説明するフローチャートである。
【図１２】コミュニケーション画面の他の表示例を表す図である。
【図１３】メッセージオブジェクトＭの表示例を説明する図である。
【図１４】送信処理を説明するフローチャートである。
【図１５】コミュニケーション画面の他の表示例を表す図である。
【図１６】コミュニケーション画面の他の表示例を表す図である。
【図１７】受信処理を説明するフローチャートである。
【図１８】コミュニケーション画面の他の表示例を表す図である。
【図１９】コミュニケーション画面の他の表示例を表す図である。
【図２０】再生処理を説明するフローチャートである。
【図２１】コミュニケーション画面の他の表示例を表す図である。
【図２２】コミュニケーション画面の他の表示例を表す図である。
【図２３】通信状態に基づく表示処理を説明するフローチャートである。
【図２４】コミュニケーション画面の他の表示例を表す図である。
【図２５】コミュニケーション画面の他の表示例を表す図である。
【図２６】テキストが入力されるボックスを示す図である。
【符号の説明】
１ 端末， ２ 端末， ３ インターネット， ５１ 通信先オブジェクト、５２ カラーパレット， ５３ ウインドウ
Claims (21)
- 第1の通信情報を通信装置に送信する情報処理装置において、
前記第1の通信情報の入力を検出する第１の検出手段と、
前記第１の検出手段により前記第1の通信情報の入力が検出されたとき、前記第 1 の通信情報に対応する第１のオブジェクトを表示画面に表示させるとともに、前記第 1 の通信情報のデータ量に応じて、その表示形態を段階的に変化させる第１の表示制御手段と、
前記第１の表示制御手段により前記表示画面に表示された前記第１のオブジェクトの前記表示画面上の位置を、所定のタイミングからの経過時間に応じてさらに変化させる第２の表示制御手段と、
前記第1の通信情報を前記第１のオブジェクトに対応付ける第１の対応付け手段と、
前記第１のオブジェクトに対応付けられた前記第1の通信情報を、前記通信装置に送信する送信手段と
を備えることを特徴とする情報処理装置。 - 前記第１の表示制御手段は、前記第１の通信情報のデータ量に応じて、前記第１のオブジェクトの大きさを変化させる
ことを特徴とする請求項１に記載の情報処理装置。 - 前記第２の表示制御手段は、前記第１の表示制御手段により前記表示画面に表示された前記第１のオブジェクトを、所定のタイミングからの経過時間に応じて、前記表示画面上を、一定の角度を持った方向に、または移動軌跡が螺旋が描くように、移動させる
ことを特徴とする請求項１に記載の情報処理装置。 - 前記第２の表示制御手段は、前記第１のオブジェクトが前記表示画面の枠を超える位置に移動したとき、前記第１のオブジェクトの表示を中止する
ことを特徴とする請求項１に記載の情報処理装置。 - 前記第 1 の通信情報は、マイクロフォンにより集音された音声の信号、または操作部に入力されたテキストデータである
ことを特徴とする請求項１に記載の情報処理装置。 - 前記通信装置に対応する第２のオブジェクトを表示する第３の表示制御手段と、
前記第１のオブジェクトがドラックアンドドロップされた前記第２のオブジェクトを検出する第２の検出手段と
をさらに備え、
前記送信手段は、前記第２の検出手段により検出された前記第２のオブジェクトに対応する前記通信装置に、ドラックアンドドロップされた前記第１のオブジェクトに対応付けられている前記第 1 の通信情報を送信する
ことを特徴とする請求項１に記載の情報処理装置。 - 前記第３の表示手段は、前記第２のオブジェクトを、前記通信装置に割り当てられた色を付して表示する
ことを特徴とする請求項６に記載の情報処理装置。 - 前記通信装置の所定の状態を検出する第３の検出手段をさらに備え、
前記第３の表示制御手段は、前記第２のオブジェクトを、前記第３の検出手段による検出結果に基づく表示形態で表示する
ことを特徴とする請求項６に記載の情報処理装置。 - 前記第３の検出手段は、前記通信装置が、前記情報処理装置と通信することができる状態か否かを検出する
ことを特徴とする請求項８に記載の情報処理装置。 - 付加情報に対応する第３のオブジェクトを表示する第４の表示制御手段と、
前記第１のオブジェクトがドラックアンドドロップされた前記第３のオブジェクトを検出するとともに、検出した前記第３のオブジェクトに対応する前記付加情報を、前記第３ のオブジェクトにドラックアンドドロップされた前記第１のオブジェクトに対応付けられている前記第 1 の通信情報に付加する付加手段と
をさらに備え、
前記送信手段は、前記第１のオブジェクトに対応付けられている前記第 1 の通信情報と、それに付加された前記付加情報を、前記第２の検出手段により検出された前記第２のオブジェクトに対応する前記通信装置に送信する
ことを特徴とする請求項６に記載の情報処理装置。 - 前記通信装置から送信されてきた第２の通信情報を受信し、受信した前記第２の通信情報を、前記第２の通信情報を送信した前記通信装置に対応する前記第２のオブジェクトに対応付ける第２の対応付け手段と、
前記通信装置に対応する前記第２のオブジェクトを選択する選択手段と、
前記選択手段により選択された前記第２のオブジェクトに対応付けられている前記第２の通信情報を再生する再生手段と
をさらに備えることを特徴とする請求項６に記載の情報処理装置。 - 前記第３の表示手段は、前記第２の対応付け手段により前記第２の通信情報が対応付けられたとき、前記第２のオブジェクトの表示形態を変化させる
ことを特徴とする請求項１１に記載の情報処理装置。 - 前記第３の表示制御手段は、前記第２のオブジェクトを、前記第２の対応付け手段により前記第２の通信情報が対応付けられた回数に応じた表示形態で表示する
ことを特徴とする請求項１１に記載の情報処理装置。 - 前記第３の表示制御手段は、前記第２のオブジェクトを、前記第２の対応付け手段により対応付けられた前記第２の通信情報のうち、前記再生手段により再生されていない前記第２の通信情報の数に応じた表示形態で表示する
ことを特徴とする請求項１１に記載の情報処理装置。 - 第１の前記通信装置と第２の前記通信装置との通信状態を検出する通信状態検出手段をさらに備え、
前記第３の表示制御手段は、前記第２のオブジェクトを、前記通信状態検出手段による検出結果に基づく表示形態で表示する
ことを特徴とする請求項６に記載の情報処理装置。 - 前記送信手段は、前記第１の通信情報を、ネットワークを介して前記通信装置に送信する
ことを特徴とする請求項１に記載の情報処理装置。 - 通信情報を通信装置に送信する情報処理装置の情報処理方法において、
前記通信情報の入力を検出する第１の検出ステップと、
前記第１の検出ステップの処理で前記第 1 の通信情報の入力が検出されたとき、前記通信情報に対応する第１のオブジェクトを表示画面に表示させるとともに、前記通信情報のデータ量に応じて、その表示形態を段階的に変化させる第１の表示制御ステップと、
前記第１の表示制御ステップの処理で前記表示画面に表示された前記第１のオブジェクトの前記表示画面上の位置を、所定のタイミングからの経過時間に応じてさらに変化させる第２の表示制御ステップと、
前記通信情報を前記第１のオブジェクトに対応付ける対応付けステップと、
前記第１のオブジェクトに対応付けられた前記通信情報を、前記通信装置に送信する送信ステップと
を含むことを特徴とする情報処理方法。 - 前記通信装置に対応する第２のオブジェクトを表示する第３の表示制御ステップと、
前記第１のオブジェクトがドラックアンドドロップされた前記第２のオブジェクトを検出する第２の検出ステップと
をさらに含み、
前記送信ステップの処理は、前記第２の検出ステップの処理により検出された前記第２のオブジェクトに対応する前記通信装置に、ドラックアンドドロップされた前記第１のオブジェクトに対応付けられている前記通信情報を送信する
ことを特徴とする請求項１７に記載の情報処理方法。 - 付加情報に対応する第３のオブジェクトを表示する第４の表示制御ステップと、
前記第１のオブジェクトがドラックアンドドロップされた前記第３のオブジェクトを検出するとともに、検出した前記第３のオブジェクトに対応する前記付加情報を、前記第３のオブジェクトにドラックアンドドロップされた前記第１のオブジェクトに対応付けられている前記通信情報に付加する付加ステップと
をさらに含み、
前記送信ステップの処理は、前記第１のオブジェクトに対応付けられている前記通信情報と、それに付加された前記付加情報を、前記第２の検出ステップの処理により検出された前記第２のオブジェクトに対応する前記通信装置に送信する
ことを特徴とする請求項１８に記載の情報処理方法。 - 通信情報を通信装置に送信する送信処理をコンピュータに実行させるプログラムにおいて、
前記通信情報の入力を検出する検出ステップと、
前記検出ステップの処理で前記通信情報の入力が検出されたとき、前記通信情報に対応するオブジェクトを表示画面に表示させるとともに、前記通信情報のデータ量に応じて、その表示形態を段階的に変化させる第１の表示制御ステップと、
前記第１の表示制御ステップの処理で前記表示画面に表示された前記オブジェクトの前記表示画面上の位置を、所定のタイミングからの経過時間に応じてさらに変化させる第２の表示制御ステップと、
前記通信情報を前記オブジェクトに対応付ける対応付けステップと、
前記オブジェクトに対応付けられた前記通信情報を、前記通信装置に送信する送信ステップと
を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。 - 通信情報を通信装置に送信する送信処理をコンピュータに実行させるプログラムにおいて、
前記通信情報の入力を検出する検出ステップと、
前記検出ステップの処理で前記通信情報の入力が検出されたとき、前記通信情報に対応するオブジェクトを表示画面に表示させるとともに、前記通信情報のデータ量に応じて、その表示形態を段階的に変化させる第１の表示制御ステップと、
前記第１の表示制御ステップの処理で前記表示画面に表示された前記オブジェクトの前記表示画面上の位置を、所定のタイミングからの経過時間に応じてさらに変化させる第２の表示制御ステップと、
前記通信情報を前記オブジェクトに対応付ける対応付けステップと、
前記オブジェクトに対応付けられた前記通信情報を、前記通信装置に送信する送信ステップと
を含む処理をコンピュータに実行させることを特徴とするプログラム。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001387920A JP3975480B2 (ja) | 2001-12-20 | 2001-12-20 | 情報処理装置および方法、記録媒体、並びにプログラム |
| US10/319,643 US7107541B2 (en) | 2001-12-20 | 2002-12-16 | Information processing apparatus and method, recording medium, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001387920A JP3975480B2 (ja) | 2001-12-20 | 2001-12-20 | 情報処理装置および方法、記録媒体、並びにプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003186586A JP2003186586A (ja) | 2003-07-04 |
| JP3975480B2 true JP3975480B2 (ja) | 2007-09-12 |
Family
ID=19188104
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001387920A Expired - Lifetime JP3975480B2 (ja) | 2001-12-20 | 2001-12-20 | 情報処理装置および方法、記録媒体、並びにプログラム |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US7107541B2 (ja) |
| JP (1) | JP3975480B2 (ja) |
Families Citing this family (35)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7580867B2 (en) * | 2004-05-04 | 2009-08-25 | Paul Nykamp | Methods for interactively displaying product information and for collaborative product design |
| KR101407100B1 (ko) | 2007-03-09 | 2014-06-16 | 엘지전자 주식회사 | 전자 기기 및 이를 이용한 아이템 표시 방법 |
| WO2010009145A1 (en) * | 2008-07-15 | 2010-01-21 | Immersion Corporation | Systems and methods for mapping message contents to virtual physical properties for vibrotactile messaging |
| KR101590340B1 (ko) | 2009-10-09 | 2016-02-01 | 삼성전자주식회사 | 터치 스크린을 구비한 이동통신 단말기의 메시지 송수신 장치 및 방법 |
| AU2012268312B2 (en) | 2011-06-05 | 2016-02-18 | Apple Inc. | Systems and methods for displaying notifications received from multiple applications |
| JP6145614B2 (ja) * | 2012-09-27 | 2017-06-14 | 株式会社コナミデジタルエンタテインメント | 端末装置、メッセージ表示システム、端末装置の制御方法およびプログラム |
| USD748668S1 (en) * | 2012-11-23 | 2016-02-02 | Samsung Electronics Co., Ltd. | Display screen or portion thereof with transitional graphical user interface |
| WO2014143776A2 (en) | 2013-03-15 | 2014-09-18 | Bodhi Technology Ventures Llc | Providing remote interactions with host device using a wireless device |
| US11343335B2 (en) | 2014-05-29 | 2022-05-24 | Apple Inc. | Message processing by subscriber app prior to message forwarding |
| US10482461B2 (en) | 2014-05-29 | 2019-11-19 | Apple Inc. | User interface for payments |
| US9967401B2 (en) | 2014-05-30 | 2018-05-08 | Apple Inc. | User interface for phone call routing among devices |
| US10135905B2 (en) | 2014-07-21 | 2018-11-20 | Apple Inc. | Remote user interface |
| US10339293B2 (en) | 2014-08-15 | 2019-07-02 | Apple Inc. | Authenticated device used to unlock another device |
| US10066959B2 (en) | 2014-09-02 | 2018-09-04 | Apple Inc. | User interactions for a mapping application |
| TWI600322B (zh) | 2014-09-02 | 2017-09-21 | 蘋果公司 | 用於操作具有整合式相機之電子器件之方法及相關電子器件，以及非暫時性電腦可讀取儲存媒體 |
| WO2016036603A1 (en) | 2014-09-02 | 2016-03-10 | Apple Inc. | Reduced size configuration interface |
| USD779504S1 (en) * | 2014-11-14 | 2017-02-21 | Dexcom, Inc. | Display screen or portion thereof with graphical user interface for presentation of analyte data |
| USD779505S1 (en) * | 2014-11-14 | 2017-02-21 | Dexcom, Inc. | Display screen or portion thereof with graphical user interface for analyte data presentation |
| US9574896B2 (en) | 2015-02-13 | 2017-02-21 | Apple Inc. | Navigation user interface |
| US10216351B2 (en) | 2015-03-08 | 2019-02-26 | Apple Inc. | Device configuration user interface |
| US20160358133A1 (en) | 2015-06-05 | 2016-12-08 | Apple Inc. | User interface for loyalty accounts and private label accounts for a wearable device |
| USD789384S1 (en) * | 2015-12-09 | 2017-06-13 | Facebook, Inc. | Display screen with animated graphical user interface |
| KR101695706B1 (ko) * | 2016-01-25 | 2017-01-12 | 삼성전자주식회사 | 터치 스크린을 구비한 이동통신 단말기의 메시지 송수신 장치 및 방법 |
| USD820867S1 (en) * | 2016-12-30 | 2018-06-19 | Facebook, Inc. | Display screen with animated graphical user interface |
| USD871442S1 (en) * | 2017-12-15 | 2019-12-31 | Facebook, Inc. | Display screen with animated graphical user interface |
| USD856368S1 (en) * | 2018-04-06 | 2019-08-13 | Google Llc | Display screen with animated graphical user interface |
| USD861721S1 (en) | 2018-04-09 | 2019-10-01 | Palm Ventures Group, Inc. | Display screen or portion thereof with a graphical user interface for handling swipe gesture |
| USD874495S1 (en) * | 2018-04-09 | 2020-02-04 | Palm Ventures Group, Inc. | Display screen or portion thereof with a graphical user interface for an application launcher |
| USD856369S1 (en) * | 2018-04-26 | 2019-08-13 | Google Llc | Display screen with animated graphical user interface |
| US10887193B2 (en) | 2018-06-03 | 2021-01-05 | Apple Inc. | User interfaces for updating network connection settings of external devices |
| USD894938S1 (en) * | 2018-10-12 | 2020-09-01 | Samsung Electronics Co., Ltd. | Display screen or portion thereof with graphical user interface |
| JP6921338B2 (ja) | 2019-05-06 | 2021-08-18 | アップル インコーポレイテッドＡｐｐｌｅ Ｉｎｃ． | 電子デバイスの制限された動作 |
| DK201970533A1 (en) | 2019-05-31 | 2021-02-15 | Apple Inc | Methods and user interfaces for sharing audio |
| US11481094B2 (en) | 2019-06-01 | 2022-10-25 | Apple Inc. | User interfaces for location-related communications |
| US11477609B2 (en) | 2019-06-01 | 2022-10-18 | Apple Inc. | User interfaces for location-related communications |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3335801B2 (ja) * | 1995-07-05 | 2002-10-21 | 株式会社日立製作所 | 異種ファイルへのアクセスを可能とする情報処理システム及びその制御方法 |
| US6538675B2 (en) * | 1998-04-17 | 2003-03-25 | Canon Kabushiki Kaisha | Display control apparatus and display control system for switching control of two position indication marks |
-
2001
- 2001-12-20 JP JP2001387920A patent/JP3975480B2/ja not_active Expired - Lifetime
-
2002
- 2002-12-16 US US10/319,643 patent/US7107541B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US7107541B2 (en) | 2006-09-12 |
| US20030128237A1 (en) | 2003-07-10 |
| JP2003186586A (ja) | 2003-07-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3975480B2 (ja) | 情報処理装置および方法、記録媒体、並びにプログラム | |
| KR102071576B1 (ko) | 콘텐트 재생 방법 및 이를 위한 단말 | |
| US7065711B2 (en) | Information processing device and method, and recording medium | |
| TWI308080B (en) | Apparatus for capturing image and sound during interactivity with a computer program, method for selective sound source listening during interactivity with a computer program, and game system | |
| EP1145749A2 (en) | Game system, game device, game device control method and information storage medium | |
| CN103916533B (zh) | 通信终端、通信系统、以及通信方法 | |
| JP2014523560A (ja) | ユーザ入力に応じたカスタム振動パターンの作成 | |
| EP2327235B1 (en) | Pre-determined responses for wireless devices | |
| WO2019196691A1 (zh) | 一种键盘界面显示方法和移动终端 | |
| CN103430217A (zh) | 输入支持装置、输入支持方法及记录介质 | |
| JP2003181136A5 (ja) | ||
| US20190265798A1 (en) | Information processing apparatus, information processing method, program, and information processing system | |
| WO2012063395A1 (ja) | サーバ、通信端末、およびそれらを備えた機器連携システム | |
| WO2018034077A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
| CN109473097A (zh) | 一种智能语音设备及其控制方法 | |
| JP2000020058A (ja) | 情報処理装置および方法、並びに提供媒体 | |
| WO2016157993A1 (ja) | 情報処理装置、情報処理方法およびプログラム | |
| WO2019146309A1 (ja) | 情報処理装置、情報処理方法及びプログラム | |
| CN107958038A (zh) | 音箱控制方法及装置 | |
| CN106462251A (zh) | 显示控制设备、显示控制方法以及程序 | |
| CN112700783A (zh) | 通讯的变声方法、终端设备和存储介质 | |
| JP2010154387A (ja) | 通信端末装置、通信制御方法、通信制御プログラム | |
| CN108900706B (zh) | 一种通话语音调整方法及移动终端 | |
| JP5034111B2 (ja) | データ蓄積システム、データ蓄積再生方法及びプログラム | |
| JP2001325195A (ja) | 通信システム、エンタテインメント装置、記録媒体及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060123 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060127 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060328 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060802 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061002 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070528 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070610 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100629 Year of fee payment: 3 |