JP3634391B2

JP3634391B2 - マルチメディア情報付加システム

Info

Publication number: JP3634391B2
Application number: JP24579193A
Authority: JP
Inventors: 喜之片井
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 1993-09-30
Filing date: 1993-09-30
Publication date: 2005-03-30
Anticipated expiration: 2020-03-30
Also published as: JPH07104959A; US5666542A

Description

【０００１】
【産業上の利用分野】
本発明は、文字や数字などの情報（以下、これらを総称して文字列情報という）に、静止画、動画、音声などのマルチメディア情報を付加して表示可能なマルチメディア情報付加システムに関する。
【０００２】
【従来の技術】
コンピュータシステムにおける表示画面上の表示情報としては、文字や数字などの文字列情報が基本的な表示情報として用いられている。例えば、前述したコンピュータシステムはデータベースシステムであり、目的を項目例えば検索キーを入力することにより、必要とする文字情報を出力している。
【０００３】
また、最近ではハードウエアの高性能化、低価格化などにより、文字列情報に、静止画、動画、音声、テキストなどのマルチメディア情報を付加して表示することが可能となってきており、様々な分野での利用が期待されている。
【０００４】
【発明が解決しようとする課題】
しかしながら、従来では、マルチメディア情報を扱えるのは一部のパソコンや専用端末のみであり、ホストコンピュータを利用した業務システム等への適用は、未だ導入が進んでいないのが実情である。
【０００５】
このように業務システム等への導入が進まない問題点としては、既存の業務システムは文字列情報主体に処理が展開されているため、マルチメディア化を行うには、システムそのものの大幅な改造が必要となり、また、改造に伴い通信手段などのシステム構成も変更しなければならず、また、既存の文字や数字情報主体のシステムをそのままマルチメディア化しようとすると、各メディア情報に対応してこれらのメディア情報を表示するための各メディア情報毎のプログラムが必要となり、また、各メディア情報の表示のためにオペレータ操作が必要となることから、操作性の点で問題が生じてくる。さらに、複数のメディア情報を表示する場合、表示メディア数の増加に伴い、その分だけオペレータ操作も増加するため操作性の低下を招き、また、表示位置に規則性がないため表示画面上が煩雑化する欠点があった。
【０００６】
本発明は、既存の文字列情報を表示するシステムを変更することなく、これに単に付加することによりマルチメディア情報を出力するマルチメディア情報付加システムを目的とする。より具体的には本発明は既存の文字列情報表示システムにより所定の文字列が表示されるとそれを検出して自動的にメディア情報を表示し、さらに複数のメディア情報を同時にしかもレイアウトされた状態で表示するマルチメディア情報付加システムを目的とする。
【０００７】
【課題を解決するための手段】
図１は本発明の原理ブロック図である。
本発明は文字列情報を表示装置５に表示する既存の文字表示システムを変更することなく、これに単に付加して用いることによりマルチメディア情報を出力するマルチメディア情報付加システムを提供する。
【０００８】
定義情報部２は表示装置５があらかじめ設定されている位置に予め設定された文字列を表示するかを検出するための定義画面情報とその文字列に係るメディア情報に関する情報を記憶する。例えば、前記定義情報部２が記憶するメディア情報に関する情報は、表示に使用されるレイアウト情報と、表示すべきメディアの実情報とより成る。
【０００９】
制御部３は、前記定義画面情報で指示された位置に指示された文字が表示されたことを検出し、当該表示文字列に関するメディア情報を前記表示装置５に表示する。
【００１０】
前記制御部３は、前記定義画面情報で指示された位置に指示された文字が表示されたことを検出する画面監視部６と、前記画面監視部６の検出結果が加わり、当該定義画面情報に関する情報を定義情報部２より読み出すメディア表示情報制御部８と、該メディア表示情報制御部８より読み出された前記情報を前記表示装置５に出力して表示するメディア表示制御部７とより成る。
【００１１】
【作用】
まず、文字列情報を選択的に文字表示システム４より出力して表示装置５に表示する既存のタスクが実行される。この既存のタスクと異なるタスクにより、制御部３内の画面監視部６は前記定義画面情報で指示された表示装置５の位置に指示された文字列が存在するかを検出し、メディア表示情報制御部８は前記定義画面情報に関するマルチメディア情報を前記定義情報部２より読み出し、メディア表示制御部７はその情報を表示する。
【００１２】
本発明によるマルチメディア情報付加システムによって表示されるマルチメディア情報は文字表示システム４より表示される情報に自動的に付加されるのでマルチメディア情報を表示するためのオペレータの操作を全く必要としない。さらに、既存の文字表示システムを変更することなくマルチメディア情報を表示できるので既存の文字表示システムを簡単にマルチメディア化可能である。
【００１３】
【実施例】
以下図面を用いて本発明を詳細に説明する。
図２は本発明の原理を説明する構成図であり、情報生成部１０、この情報生成部１０で生成される定義情報部２０、この定義情報部２０の定義情報を用いてメディア情報を表示制御する制御部３０を本発明の主な構成要素とし、この他に既存の文字表示システム４０、表示装置５０などが設けられている。
【００１４】
上記情報生成部１０は、画面情報生成部１１、レイアウト情報生成部１２、メディア情報生成部１３の３つのコンポーネントで構成され、メディア表示を実現するための環境設定（前準備）を行うものである。上記３つのコンポーネントは、環境設定時にオペレータ（環境設定者）により指定された情報を基に各種定義情報を生成するもので、以下に各コンポーネントの処理についてを説明する。
【００１５】
まず、画面情報生成部１１は、既存の文字表示システム４０の保有する各画面毎の文字列抽出位置を対話的に定義・生成するための処理部である。この画面情報生成部１１では、図３に示すように、画面ＩＤ（Ｉｄｅｎｔｉｆｉｒｅ）フィールド情報、文字列抽出フィールド情報が環境設定時におけるオペレータの入力情報を基に生成される。
【００１６】
上記画面ＩＤフィールド情報は、画面の切り替わりを判断するためのフィールド位置を示す情報であり、このフィールドに存在する文字列を画面ＩＤとして扱う。また、文字列抽出フィールド情報は、メディア表示を行う対象となる文字列（以下、メディア表示対象文字列という）を抽出する位置を示す情報であり、この文字列を抽出する位置を示す情報（文字列抽出位置情報）は上記画面ＩＤ毎に生成・管理するため、必要な画面数分の定義が可能となっている。
【００１７】
次に、レイアウト情報生成部１２は、表示すべきメディアの種類や表示形態などメディア表示に関する雛形を対話的に定義・生成するための処理部である。このレイアウト情報生成部１２では、図４に示すように、各レイアウト毎にそのレイアウトＩＤが定義される。
【００１８】
上記各レイアウトＩＤで指定されるレイアウト毎に、既存の文字表示のウインドウ（ｗｉｎｄｏｗ）に対するフレーム（メディア情報を表示するための枠）位置とそのサイズ、さらにこのレイアウトＩＤで指定されるレイアウトに対応したメディアの表示形態に関する情報が環境設定時におけるオペレータの入力情報を基に生成される。
【００１９】
上記メディアの表示形態に関する情報としては、上記フレーム内に表示するメディアの種類、その表示位置やサイズなどがあり、それぞれメディアＩＤを割り付けて管理する。上記メディアの種類は、静止画、動画（ディジタル動画、アナログ動画）、音声、テキストなどである。このレイアウト情報生成部１２では、メディア情報としては、上記したようにメディア情報の表示形態に関する情報、つまりメディア情報を表示するための雛形が生成されるもので、メディア情報の実情報、次に説明するメディア情報生成部１３にて生成される。なお、上記フレームは上記したようにメディア情報を表示するための枠であり、各メディア情報はこの枠内に表示される。また、このフレームの表示位置およびサイズは既存の文字表示のウインドウ位置との関係を自由に設定できる。
【００２０】
メディア情報生成部１３は、図５に示すように、メディア表示対象文字列毎に、上記レイアウト情報生成部１２にて生成された複数のレイアウトのうち、どのレイアウトを使用するかを決定する使用レイアウト情報とこの使用レイアウト内に表示するメディア実情報を対話的に定義・生成するための処理部である。
【００２１】
上記メディア実情報は、上記フレーム内に表示されるメディアの実際の情報であり、選択されたレイアウト内で使用されるメディアの種類のデータファイル名などを、上記表示すべきフレーム内で定義されているメディアＩＤに割り付けて定義されている。
【００２２】
以上が図２における情報生成部１０と各定義情報についての説明であり、次に、制御部３０について説明する。
この制御部３０は、画面監視部３１、メディア表示情報制御部３２、メディア表示制御部３３の３つのコンポーネントで構成され、上記情報生成部１０により生成された各定義情報をもとに、既存の文字表示システム４０上の文字列を抽出して、マルチメディア情報を表示する処理を行うものである。
【００２３】
上記画面監視部３１は、画面情報生成部１１により定義された定義画面情報を基に、表示画面上の画面フィールド情報と文字列抽出フィールド情報を一定間隔でチェックし続け、画面の切り替わりとメディア表示対象文字列の変化を監視する処理部である。そして、画面フィールド情報と文字列抽出フィールド情報の値に変化がない場合には、そのまま監視を続け、オペレータ入力などにより、画面が切り替わって画面フィールド情報や文字列抽出フィールド情報の値に変化が生じたときには、メディア表示対象文字列を抽出してメディア表示情報制御部３２に制御を渡す。
【００２４】
このメディア表示情報制御部３２は、上記画面監視部３１より受け渡されたメディア表示対象文字列から、メディア表示に必要な情報を取り出すための処理部である。その処理動作としては、まず、当該メディア表示対象文字列に対応するメディア情報を定義メディア情報２３から取り出したのち、この取り出したメディア情報内に定義されているレイアウト情報を、定義レイアウト情報２２の中から取り出す。そして、これらの定義情報をメディア表示制御部３３に渡す。
【００２５】
このメディア表示制御部３３は、上記メディア表示情報制御部３２から受け渡された情報を解析し、表示装置５０内にメディア情報を表示する処理を行う処理部である。また、現在の画面状態の管理も行い、旧画面内の文字列に対応するメディア情報表示が行われている場合には、一端、その旧画面内の文字列に対応するメディア情報を画面より消去した後、新しいメディア表示対象文字列に対応するメディア情報（新メディア情報）を表示する。
【００２６】
なお、図２において、表示装置５０の表示部５１はメディア表示対象文字列を示し、また、表示部５２はこのメディア表示対象文字列に対するメディア情報表示部を示している。また、同図において、データの流れを示す矢印は点線、太線、細線で描かれているが、点線で示す矢印は文字情報の流れを示し、太い実線で示す矢印はメディア表示情報の流れを示し、細い実線で示す矢印は画面制御情報の流れを示している。
【００２７】
このように本発明では、環境設定時にオペレータにより指定された情報を基に、情報生成部１０にて前記したような各種定義情報、すなわち、定義画面情報、定義レイアウト情報、定義メディア情報が生成され、この情報生成部１０で生成された各種定義情報を基に、制御部３０によって、表示装置５０上にメディア表示対象文字列に対してこの文字列に対応するマルチメディア情報を表示する。図６は主に制御部３０の処理の流れを示す図であるが、この図を用いて情報生成部１０にて定義画面情報、定義レイアウト情報、定義メディア情報が生成された後のメディア情報変換の処理動作を説明する。
【００２８】
制御部３０の画面監視部３１では表示画面のあらかじめ定義された所定の位置を一定間隔で監視し続ける。このとき、現時点においては、既存の文字表示システム４０上の表示装置５０には画面Ａが表示されているものとする。この画面Ａには文字列情報表示ｗ１がなされ、またこの場合、「ＸＸＸＸ」のメディア表示対象文字列に対応したメディア情報ＸＭが表示されている。
【００２９】
このような状態で、画面情報生成部１１にてあらかじめ定義された画面の切り替わりを判断するための画面ＩＤフィールド情報とメディア表示対象文字列の文字列抽出フィールド情報を、画面監視部３１が一定間隔で監視し続けている。上記画面ＩＤフィールド情報および文字列抽出フィールド情報を取り出す画面上の位置は、既存文字表示システムの表示画面上において画面の切り替わりおよび文字列抽出フィールド情報を適格に判断できる位置をあらかじめ設定しておく。具体的には、それぞれの位置の座標をあらかじめ設定しておき、その座標上の情報の変化を監視する。
【００３０】
そして、画面監視部３１が画面ＩＤフィールド情報の変化（画面ＩＤの変化）を検出すると、表示画面が画面Ｂに切り替わったと判断する。この場合、画面が切り替わることにより、表示すべきメディアの内容も変わるので、メディア表示対象文字列も切り替わり、メディア表示対象文字列がたとえば「ＹＹＹＹ」であったとすると、まず、新たな画面上のメディア表示対象文字列の位置情報を取得して、そのメディア表示対象文字列「ＹＹＹＹ」を抽出して、処理をメディア表示情報制御部３２に渡す。なお、画面ＩＤフィールド情報が変化なく画面が切り替わらなくても、メディア表示対象文字列のみが変化する場合、つまり、画面ＩＤは同一であってもデータの内容が変化するような場合もある。この場合は、変更有りと判断したのち、直接、新たなメディア表示対象文字列を抽出して、処理をメディア表示情報制御部３２に渡す。
【００３１】
メディア表示情報制御部３２では、上記画面監視部３１から渡されたメディア表示対象文字列（この場合は「ＹＹＹＹ」）に対応するメディア情報を、メディア情報生成部１３で生成された定義情報より検索・抽出する。すなわち、画面監視部３１によりメディア表示対象文字列「ＹＹＹＹ」を抽出すると、例えば、この文字列「ＹＹＹＹ」をメディア表示対象文字列のテーブルと比較して、このテーブルより「ＹＹＹＹ」に対応したメディア情報のアドレスへのポインタを引き出す。具体的には、メディア情報内に定義されている当該メディア表示対象文字列に対応する使用レイアウトＩＤを取り出すとともに、そのレイアウト内に表示されるメディア情報（実情報）を対応するデータファイル等から取り出す。動画などはビデオやＣＤのフレームを意識してこれから取り出す。そして、上記使用レイアウトＩＤを基にレイアウト情報生成部１２で生成された定義情報からそのレイアウトのフレーム位置、サイズやメディア情報の表示形態を取り出す。このように取り出されたメディア情報とレイアウト情報は、メディア表示制御部３３に渡される。
【００３２】
メディア表示制御部３３では、上記メディア情報とレイアウト情報を解析し、表示装置５０上に新たなメディア情報（この場合は、メディア表示対象文字列「ＹＹＹＹ」に対応するメディア情報）ＹＭを表示する。このとき、表示装置５０上において、旧メディア表示対象文字列「ＸＸＸＸ」に対応するメディア表示が行われている場合は、そのメディア表示を表示装置５０上から消去した後、新たなメディア表示対象文字列「ＹＹＹＹ」に対応するメディア情報を表示する。
【００３３】
このように本発明では、既存の文字表示システムを変更することなくマルチメディアデータを表示することができ、また、文字表示を行うとき、その文字表示の内容に対応するマルチメディアデータを自動的に表示することができ、さらに、複数のメディアを同時に、しかもレイアウトされた状態で表示することができる。
【００３４】
前述した本発明の実施例においては、既存の文字表示システム４０より出力され表示装置５０で表示される文字画像の情報を検出しているが、この検出は、例えば以下のようになされる。
【００３５】
文字表示システム４０より出力される表示装置５０に入力された文字情報とその表示位置すなわち文字コードと現在のカーソル位置を画面監視部３１が常に監視し、目的の位置に目的のコードが表示されるように加わった時、目的の文字画像が表示されたと検出する。
【００３６】
文字情報の監視の仕方としては、文字列情報Ｗ１はマルチウィンドウ機能を有するマルチウィンドウシステムにおいて、メディア表示の対象とする文字表示システムのウィンドウ５０１に表示されているので、このウィンドウ５０１をウィンドウハンドル（ウィンドウシステム内でのユニーク値、すなわち例えばデータベースの検索結果が表示されるべきウィンドウを指示する値）を基にメディア情報ＸＹが表示されるウィンドウ５０２の制御の実行により、チェックし続けることにより行う。あるいは、文字情報の監視は、文字表示システムを本発明のマルチメディア情報付加システムから例えばインターバルタイマの割り込み起動で行ってもよい。
【００３７】
なお、前述した本発明の実施例においては既存の文字表示システム４０と異なったシステムを設けて構成しているが、既存の文字表示システム４０と同一システムを用いて前述した画面監視部３１の機能を発生させるため、文字表示システム内の文字コード等を出力するソフトドライバに目的の文字コードとその位置を検出する処理を付加し、該当するコードを検出した時に他のメディアの情報を表示するプロセスを駆動するようにしてもよい。尚、情報生成部等は他の処理が実行されていない時にバッチ処理で行う。
【００３８】
図７は本発明の実施例の業務システムの構成図であり、ここでは中古車検索システムに本発明を適用した例を説明する。
同図において、ホストシステム４１に接続されたパソコンシステム４２は、端末エミュレータ４２１、ウィンドウシステム４２２、表示装置５０と本発明のマルチメディア情報付加システム４２３で構成されている。
【００３９】
このようなシステムにおいて、前述したように、環境設定時におけるオペレータ（環境設定者）の入力情報を基に、情報生成部１０が定義画面情報、定義レイアウト情報、定義メディア情報を生成して環境設定を行う。
【００４０】
以下、この環境設定動作を図８を参照しながら説明する。
まず、画面情報生成部１１が環境設定時におけるオペレータ入力により、画面ＩＤフィールド情報、メディア表示対象文字列フィールド情報の定義情報を生成する。たとえば、画面ＩＤフィールド情報は、画面上の座標（１．１）〜（１．１０）の位置であり、そのときのメディア表示対象文字列フィールド情報の抽出位置は（５．５）〜（５．１５）の位置であるというようなことが定義される。たとえば、「検索結果」という文字列が画面ＩＤの一つであるとすれば、（１．１）〜（１．１０）の位置に存在する文字列が「検索結果」となったときのメディア表示対象文字列フィールド情報の抽出位置は（５．５）〜（５．１５）の位置であるということが定義される。
【００４１】
次に、レイアウト情報生成部１２が環境設定時におけるオペレータ入力により、レイアウトに関する情報、メディアの表示形態などの定義情報を生成する。たとえば、レイアウトＩＤを「レイアウトＡ」と定義し、そのフレーム情報として、フレームの表示位置をアプリケーション画面の相対位置で（１００．１００）、フレームの表示サイズ（縦方向の長さ、横方向の長さ）を（１００．１００）などと定義するとともに、メデイア情報の表示形態を示す情報を定義する。たとえば、メディアＩＤとして、メディアＸ、メディアＹ、メディアＺを定義し、メディアＸは静止画で、その表示位置は（０．０）、表示サイズは（５０．５０）、メディアＹは静止画で、その表示位置は（０．５０）、表示サイズは（５０．５０）、メディアＺはテキストで、その表示位置は（５０．０）、表示サイズは（５０．１００）というような表示形態についての定義を行う。
【００４２】
次に、メディア情報生成部１３が環境設定時におけるオペレータ入力により、上記メディア表示対象文字列、使用レイアウトＩＤ、上記メディアＸ、メディアＹ、メディアＺを具体的な実情報の定義情報を生成する。たとえば、メディア表示対象文字列は当該中古車の型番「ｄｄｄ」、使用レイアウトＩＤは「レイアウトＡ」、また、上記メディアＸ、メディアＹ、メディアＺに対しては、メディアＸは当該中古車の外観の実情報（ファイル名としてたとえば、外観ｄｄｄ．ＴＩＦ）、メディアＹは当該中古車の車検証の実情報（ファイル名としてたとえば、車検証ｄｄｄ．ＴＩＦ）、メディアＸは当該中古車に関するメモの実情報（ファイル名としてたとえば、メモｄｄｄ．ＴＸＴ）というように定義される。
【００４３】
これらの定義は、具体的には図９のようにして行う。同図（ａ）は画面情報を定義する場合の表示画面内容の一例である。まず、表示画面を画面情報生成に設定するとそれぞれの定義内容を書き込む欄が表示される。「画面ＩＤフィールド」の欄には、上記したような座標値として、たとえば「１．１〜１．１０」を書き込み、「画面ＩＤ」の欄には「検索結果」を書き込み、「メディア表示対象文字列フィールド」の欄には、その座標値として「５．５〜５．１５」を書き込んでいく。そして、図示されてない次ボタンを押すと、画面ＩＤ、メディア表示対象文字列フィールドの新たな設定欄が表示され、上記同様の方法で次の内容を定義して行く。なお、画面ＩＤフィールドは１つの文字表示システムについて１つのみ定義される。１つの文字表示システムの画面には複数の文字列フィールドを定義可能である。そして、文字列フィールドには、オペレータが所定文字列をキー入力してもよい。
【００４４】
図９（ｂ）はレイアウト情報を定義する場合の表示画面内容の一例である。まず、表示画面をレイアウト情報生成に設定するとそれぞれの定義内容を書き込む欄が表示される。また、メディア名の欄にはメディアＸなどというようなメディア種を識別するための名称と実際のメディア種（例えば、静止画，テキスト等）を書き込み、その「表示位置」、「表示サイズ」の欄にはそれぞれの値を書き込んでメディア表示形態を定義する。さらにメディアＹ、メディアＺなどについての表示形態の書き込みを行うには、上記同様、図示しない次ボタンを押すと、レイアウト情報を定義する新たな表示画面が表示され、メディアＹ、メディアＺなどについての表示形態の書き込みを行う。
【００４５】
図９（ｃ）はメディア実情報を定義する場合の表示画面内容の一例である。まず、表示画面をメディア実情報生成に設定するとそれぞれの定義内容を書き込む欄が表示される。「メディア表示対象文字列」の欄には、たとえば型番として「ｄｄｄ」が書き込まれ、「使用レイアウト」の欄には、たとえば「レイアウトＡ」、「レイアウトＢ」、「レイアウトＣ」・・・というようにレイアウト名の一覧が格納されていて、それを読み出し操作すると、レイアウト名の一覧が表示されて、そのなかからたとえば「レイアウトＡ」を選択する。「メディアＸ」の欄には、その実情報が格納されているファイル名として、たとえば「外観ｄｄｄ．ＴＩＦ」を書き込む。さらに次のメディア情報を設定する場合は、上記同様、図示しない次ボタンを押すと、メディア実情報を定義する新たな表示画面内容が表示され、メディアＹ、メディアＺなどの実情報を上記同様の方法で書き込みを行う。
【００４６】
以上のようにして各種定義情報が生成され、前準備すなわち環境設定が終了する。
このような環境設定のあと、実際の運用時における処理を図２で示したシステム構成図、実運用時における制御部３０の処理を説明する図１０、さらにこの実施例による運用中の表示画面を示す図１１（ａ），（ｂ），（ｃ）を参照しながら説明する。
【００４７】
図１０で示す制御部３０の処理は前記図６を用いて説明した処理と基本的には同じである。
まず、マルチウィンドウシステムにおいて、既存の文字表示システム４０上の表示装置５０の第１のウィンドウ５０１には、図１１（ａ）で示すような文字列が表示されているものとする。そして、上記画面監視部３１は画面情報生成部１１で定義された画面情報を参照し、この場合、（１．１）〜（１．１０）座標で示される画面ＩＤフィールドの文字列（この例では、図１１（ａ）の「検索システム」の文字列）を監視し続ける。
【００４８】
そして今、オペレータ入力に伴い、図１１（ａ）の第１のウィンドウ５０１の表示画面が同図（ｂ）のように切り替わったとすると、上記（１．１）〜（１．１０）座標で示される画面ＩＤフィールドの文字列「検索システム」が「検索結果」となる。このため、画面監視部３１が画面ＩＤフィールド情報の変化（画面ＩＤの変化）を検出し、画面が切り替わったと判断する。この場合、画面が切り替わることにより、メディア表示対象文字列も変わるので、表示すべきメディアの内容も切り替わる。「検索結果」のメディア表示対象文字列がたとえば「ｄｄｄ」であったとすると、まず、新たな画面上のメディア表示対象文字列の位置情報を取得（この場合、（５．５）〜（５．１５）と定義されている）して、そのフィールド内のメディア表示対象文字列「ｄｄｄ」を抽出して、処理をメディア表示情報制御部３２に渡す。
【００４９】
メディア表示情報制御部３２では、上記画面監視部３１から渡されたメディア表示対象文字列（この場合は「ｄｄｄ」）に対応するメディア情報を、メディア情報生成部１３で生成された定義情報より検索・抽出する。具体的には、メディア情報内に定義されている当該メディア表示対象文字列に対応する使用レイアウト名としてレイアウトＡを取り出すとともに、メディアＸ，Ｙ，Ｚの実情報を対応するデータファイルから取り出す。このときの、メディアＸ，Ｙ，Ｚの具体的な情報としては、前記したように、メディアＸは外観ｄｄｄ．ＴＩＦ、メディアＹは車検証ｄｄｄ．ＴＩＦ、メディアＸはメモｄｄｄ．ＴＸＴというような情報が取得される。そして、上記使用レイアウトＩＤを基にレイアウト情報生成部１２で生成された定義情報からそのレイアウトのフレーム位置（１００．１００）、サイズ（１００．１００）やメディアＸ，Ｙ，Ｚの表示形態を取り出す。すなわち、この場合、前記したように、レイアウトのフレーム位置は（１００．１００）、サイズは（１００．１００）、メディアＸの表示位置は（０．０）、表示サイズは（５０．５０）、メディアＹの表示位置は（０．５０）、表示サイズは（５０．５０）、メディアＺの表示位置は（５０．０）、表示サイズは（５０．１００）というようなレイアウト情報が取得される。
【００５０】
このように取り出されたメディア情報とレイアウト情報は、メディア表示制御部３３に渡される。
メディア表示制御部３３では、上記メディア情報とレイアウト情報を解析し、図１１（ｃ）に示すように、表示装置５０上に新たなメディア情報（この場合は、メディア表示対象文字列「ｄｄｄ」に対応するメディア情報）Ｍを第１のウィンドウ５０１とは異なる第２のウィンドウ５０２に表示する。この図１１（ｃ）に示すメディア情報Ｍにおいて、表示部Ｍ１はメディアＸに対応し、当該中古車の外観、表示部Ｍ２はメディアＹに対応し、当該中古車の車検証、表示部Ｍ３はメディアＺに対応し、当該中古車に関する内容説明用のメモがメディア情報として表示されている。
【００５１】
このように、メディア表示対象文字列「ｄｄｄ」に対応するメディア情報が図９（ｂ）及び図９（ｃ）に示すように指定されたレイアウトで表示される。
以上の説明において、マルチウィンドウシステムにおける既存の文字表示システムで実行される第１のウィンドウを制御するタスクと、本発明のマルチメディア情報付加システムで実行される第１のウィンドウを監視し第２のウィンドウを制御するタスクとは別のタスクである。
【００５２】
図１１（ａ），（ｂ），（ｅ）において、文字表示システムでデータベースの検索を行ったとき、その検索結果の表示を監視してマルチメディア情報を自動的に表示することができる。
【００５３】
前述した本発明の実施例においては、メディア情報Ｍを表示する領域はメディアＸ，Ｙ，Ｚに対応して分割しているが、これに限るものではない。例えば、メディアＸ，Ｙ，Ｚのそれぞれを表示する領域を共通化し、メディア表示対象文字列「ｄｄｄ」を検出した時に第１番目のメディア例えばメディアＸを表示する。また、前述した従来の文字表示システム４０で割り当てられていない鍵を前述のメディア表示の切換に割り当て、この鍵が操作された時に順次、メディアＹ，Ｚの表示を行う。このようにすることにより、複数のメディアＸ，Ｙ，Ｚの情報を順次表示することができ、付加するメディアから得られた情報が大きくても表示装置５０で表示することができる。尚、このときには、メディア表示情報制御部３２はバッファを有し、表示すべき情報をこのバッファに一時的に格納する。
【００５４】
また、マルチメディア情報としては、動画や音声を出力するようにしてもよいことは勿論である。
【００５５】
【発明の効果】
本発明によれば、環境設定時におけるオペレータ入力を基に、画面情報、レイアウト情報、メディア情報のそれぞれの定義情報を生成し、実運用時には、画面監視部が画面上のあらかじめ決められた位置の情報の変化を監視し、その情報の変化を検出すると、上記定義情報の内容に従ってメディア表示対象文字列を抽出して、その文字列に対応するメディア情報、つまり使用レイアウト名とメディアの実情報を取得し、その使用レイアウト名から決まるフレーム位置、サイズ、メディアの表示形態を取得した後、メディア表示対象文字列に対応するメディア情報を表示するようにしたので、従来の文字を主体とした表示システムそのものに改造を加えることなく、簡単にマルチディア化が実現でき、また、画面推移に従ってマルチメディア情報の表示および消去が自動的に実施されるため、オペレータはメディア表示操作および消去操作を何ら意識する必要がなく、操作性に何ら影響を与えることなくマルチメディア表示が行える。また、本発明を検索結果を表示する帳票システムに適用した場合には、同一帳票面であっても、帳票内の文字（たとえば人物名など）の変化に伴って、それに対応したメディアデータを表示することができる。さらに本発明では、静止画、動画、音声、テキストといったさまざまなメディアを用い、自由なレイアウトでメディア再生が可能なため、用途に応じて最適な形でメディア表示を行うことができるなど種々の効果が得られる。
【図面の簡単な説明】
【図１】本発明の原理ブロック図である。
【図２】本発明の実施例のシステム構成図である。
【図３】本発明の画面情報生成部の処理を説明する図である。
【図４】本発明のレイアウト情報生成部の処理を説明する図である。
【図５】本発明のメディア情報生成部の処理を説明する図である。
【図６】本発明の制御部の処理を説明する図である。
【図７】本発明の実施例のシステム構成図である。
【図８】実施例における環境設定処理を説明する図である。
【図９】環境設定時における表示画面の一例を説明する図である。
【図１０】実施例における実運用時の処理を説明する図である。
【図１１】実施例における実運用時の表示画面の推移を説明する図である。
【符号の説明】
１情報生成部
２定義情報
３制御部
４既存の文字表示システム
５表示画面
１１画面情報生成部
１２レイアウト情報生成部
１３メディア情報生成部
３１画面監視部
３２メディア表示情報制御部
３３メディア表示制御部

Claims

文字列に対応付けてマルチメディア情報を表示するマルチメディア情報付加システムにおいて、
文字表示システムによりその表示装置上に表示される第１のウィンドウの画面の切り替わりを判断するための画面フィールド情報および該第１のウィンドウ内に表示されるメディア表示対象文字列の抽出位置情報を、環境設定時におけるオペレータ入力情報を基に定義画面情報として生成する画面情報生成部と、
メディア情報を表示するためのフレーム位置とサイズおよびこのフレーム内に表示するメディア情報の表示形態を、環境設定時におけるオペレータ入力情報を基に定義レイアウト情報として生成するレイアウト情報生成部と、
上記メディア表示対象文字列の抽出位置情報を基に、使用レイアウト名および表示すべきメディアの実情報を、環境設定時におけるオペレータ入力情報を基に定義メディア情報として生成するメディア情報生成部と、
前記文字表示システムによって表示される前記第１のウィンドウを監視し、該第１のウィンドウにおいて上記画面フィールド情報又はメディア表示対象文字列の抽出位置情報の少なくとも一方に対応する情報変化を検出すると、あらかじめ定義された内容に従って該第１のウィンドウ内に表示されているメディア表示対象文字列を抽出する画面監視部と、
この画面監視部によって抽出されたメディア表示対象文字列からその文字列に対応するレイアウトおよびメディアに関する情報を、上記定義レイアウト情報および定義メディア情報から取り出すメディア表示情報制御部と、
このメディア表示情報制御部からの情報を解析し、前記表示装置上の第２のウィンドウに前記画面監視部によって抽出されたメディア表示対象文字列に対応するメディア情報を表示するメディア表示制御部と、
を有し、前記文字表示システムに付加可能とすることを特徴とするマルチメディア情報付加システム。
前記画面情報生成部は、前記第１のウィンドウ内における第１、第２の所定範囲の座標を設定させ、該第１、第２の所定範囲の座標で示される各フィールド内をそれぞれ画面フィールド位置、前記メディア表示対象文字列の抽出位置とすることを特徴とする請求項１記載のマルチメディア情報付加システム。
前記画面監視部は、前記第１のウィンドウ内における前記第１の所定範囲の座標で示されるフィールド内の文字列を監視して、その文字列の変化から画面の切り替わりを判断して前記メディア表示対象文字列の抽出を行うことを特徴とする請求項２記載のマルチメディア情報付加システム。
上記メディア表示対象文字列の抽出は、前記第１のウィンドウ内における前記第２の所定範囲の座標で示されるフィールド内の文字列を抽出することにより行うことを特徴とする請求項２記載のマルチメディア情報付加システム。
前記レイアウト情報生成部は、各使用レイアウト毎に、フレームの表示位置とフレームサイズを設定させ、このフレーム内に表示されるメディア種毎のメディア情報表示形態を設定させることを特徴とする請求項１記載のマルチメディア情報付加システム。
前記メディア情報生成部は、前記メディア表示対象文字列毎に、使用するレイアウトを設定させ、このレイアウトで決まるフレーム内に表示すべき各メディア種毎の実データが格納されているファイル名を設定させることを特徴とする請求項１記載のマルチメディア情報付加システム。
上記メディア表示情報制御部は、前記画面監視部からメディア表示対象文字列情報を受けると、その文字列情報に対応して定義された使用レイアウトを検索し、この使用レイアウトで決まるフレーム情報を取り出すとともに、このフレーム内に表示されるメディア種毎のメディア実情報を取り出し、さらにそのフレームの表示位置とサイズ、フレーム内に表示されるメディアの表示形態を示す情報を取り出してこれらの情報を上記メディア表示制御部に出力することを特徴とする請求項１記載のマルチメディア情報付加システム。
マルチウィンドウシステムにおいて、前記文字表示システムが実行する既存のタスクと異なるタスクを実行することを特徴とする請求項１記載のマルチメディア情報付加システム。