JP3634391B2 - マルチメディア情報付加システム - Google Patents
マルチメディア情報付加システム Download PDFInfo
- Publication number
- JP3634391B2 JP3634391B2 JP24579193A JP24579193A JP3634391B2 JP 3634391 B2 JP3634391 B2 JP 3634391B2 JP 24579193 A JP24579193 A JP 24579193A JP 24579193 A JP24579193 A JP 24579193A JP 3634391 B2 JP3634391 B2 JP 3634391B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- media
- display
- screen
- character string
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- User Interface Of Digital Computer (AREA)
- Digital Computer Display Output (AREA)
- Controls And Circuits For Display Device (AREA)
Description
【産業上の利用分野】
本発明は、文字や数字などの情報(以下、これらを総称して文字列情報という)に、静止画、動画、音声などのマルチメディア情報を付加して表示可能なマルチメディア情報付加システムに関する。
【0002】
【従来の技術】
コンピュータシステムにおける表示画面上の表示情報としては、文字や数字などの文字列情報が基本的な表示情報として用いられている。例えば、前述したコンピュータシステムはデータベースシステムであり、目的を項目例えば検索キーを入力することにより、必要とする文字情報を出力している。
【0003】
また、最近ではハードウエアの高性能化、低価格化などにより、文字列情報に、静止画、動画、音声、テキストなどのマルチメディア情報を付加して表示することが可能となってきており、様々な分野での利用が期待されている。
【0004】
【発明が解決しようとする課題】
しかしながら、従来では、マルチメディア情報を扱えるのは一部のパソコンや専用端末のみであり、ホストコンピュータを利用した業務システム等への適用は、未だ導入が進んでいないのが実情である。
【0005】
このように業務システム等への導入が進まない問題点としては、既存の業務システムは文字列情報主体に処理が展開されているため、マルチメディア化を行うには、システムそのものの大幅な改造が必要となり、また、改造に伴い通信手段などのシステム構成も変更しなければならず、また、既存の文字や数字情報主体のシステムをそのままマルチメディア化しようとすると、各メディア情報に対応してこれらのメディア情報を表示するための各メディア情報毎のプログラムが必要となり、また、各メディア情報の表示のためにオペレータ操作が必要となることから、操作性の点で問題が生じてくる。さらに、複数のメディア情報を表示する場合、表示メディア数の増加に伴い、その分だけオペレータ操作も増加するため操作性の低下を招き、また、表示位置に規則性がないため表示画面上が煩雑化する欠点があった。
【0006】
本発明は、既存の文字列情報を表示するシステムを変更することなく、これに単に付加することによりマルチメディア情報を出力するマルチメディア情報付加システムを目的とする。より具体的には本発明は既存の文字列情報表示システムにより所定の文字列が表示されるとそれを検出して自動的にメディア情報を表示し、さらに複数のメディア情報を同時にしかもレイアウトされた状態で表示するマルチメディア情報付加システムを目的とする。
【0007】
【課題を解決するための手段】
図1は本発明の原理ブロック図である。
本発明は文字列情報を表示装置5に表示する既存の文字表示システムを変更することなく、これに単に付加して用いることによりマルチメディア情報を出力するマルチメディア情報付加システムを提供する。
【0008】
定義情報部2は表示装置5があらかじめ設定されている位置に予め設定された文字列を表示するかを検出するための定義画面情報とその文字列に係るメディア情報に関する情報を記憶する。例えば、前記定義情報部2が記憶するメディア情報に関する情報は、表示に使用されるレイアウト情報と、表示すべきメディアの実情報とより成る。
【0009】
制御部3は、前記定義画面情報で指示された位置に指示された文字が表示されたことを検出し、当該表示文字列に関するメディア情報を前記表示装置5に表示する。
【0010】
前記制御部3は、前記定義画面情報で指示された位置に指示された文字が表示されたことを検出する画面監視部6と、前記画面監視部6の検出結果が加わり、当該定義画面情報に関する情報を定義情報部2より読み出すメディア表示情報制御部8と、該メディア表示情報制御部8より読み出された前記情報を前記表示装置5に出力して表示するメディア表示制御部7とより成る。
【0011】
【作用】
まず、文字列情報を選択的に文字表示システム4より出力して表示装置5に表示する既存のタスクが実行される。この既存のタスクと異なるタスクにより、制御部3内の画面監視部6は前記定義画面情報で指示された表示装置5の位置に指示された文字列が存在するかを検出し、メディア表示情報制御部8は前記定義画面情報に関するマルチメディア情報を前記定義情報部2より読み出し、メディア表示制御部7はその情報を表示する。
【0012】
本発明によるマルチメディア情報付加システムによって表示されるマルチメディア情報は文字表示システム4より表示される情報に自動的に付加されるのでマルチメディア情報を表示するためのオペレータの操作を全く必要としない。さらに、既存の文字表示システムを変更することなくマルチメディア情報を表示できるので既存の文字表示システムを簡単にマルチメディア化可能である。
【0013】
【実施例】
以下図面を用いて本発明を詳細に説明する。
図2は本発明の原理を説明する構成図であり、情報生成部10、この情報生成部10で生成される定義情報部20、この定義情報部20の定義情報を用いてメディア情報を表示制御する制御部30を本発明の主な構成要素とし、この他に既存の文字表示システム40、表示装置50などが設けられている。
【0014】
上記情報生成部10は、画面情報生成部11、レイアウト情報生成部12、メディア情報生成部13の3つのコンポーネントで構成され、メディア表示を実現するための環境設定(前準備)を行うものである。上記3つのコンポーネントは、環境設定時にオペレータ(環境設定者)により指定された情報を基に各種定義情報を生成するもので、以下に各コンポーネントの処理についてを説明する。
【0015】
まず、画面情報生成部11は、既存の文字表示システム40の保有する各画面毎の文字列抽出位置を対話的に定義・生成するための処理部である。この画面情報生成部11では、図3に示すように、画面ID(Identifire) フィールド情報、文字列抽出フィールド情報が環境設定時におけるオペレータの入力情報を基に生成される。
【0016】
上記画面IDフィールド情報は、画面の切り替わりを判断するためのフィールド位置を示す情報であり、このフィールドに存在する文字列を画面IDとして扱う。また、文字列抽出フィールド情報は、メディア表示を行う対象となる文字列(以下、メディア表示対象文字列という)を抽出する位置を示す情報であり、この文字列を抽出する位置を示す情報(文字列抽出位置情報)は上記画面ID毎に生成・管理するため、必要な画面数分の定義が可能となっている。
【0017】
次に、レイアウト情報生成部12は、表示すべきメディアの種類や表示形態などメディア表示に関する雛形を対話的に定義・生成するための処理部である。このレイアウト情報生成部12では、図4に示すように、各レイアウト毎にそのレイアウトIDが定義される。
【0018】
上記各レイアウトIDで指定されるレイアウト毎に、既存の文字表示のウインドウ(window) に対するフレーム(メディア情報を表示するための枠)位置とそのサイズ、さらにこのレイアウトIDで指定されるレイアウトに対応したメディアの表示形態に関する情報が環境設定時におけるオペレータの入力情報を基に生成される。
【0019】
上記メディアの表示形態に関する情報としては、上記フレーム内に表示するメディアの種類、その表示位置やサイズなどがあり、それぞれメディアIDを割り付けて管理する。上記メディアの種類は、静止画、動画(ディジタル動画、アナログ動画)、音声、テキストなどである。このレイアウト情報生成部12では、メディア情報としては、上記したようにメディア情報の表示形態に関する情報、つまりメディア情報を表示するための雛形が生成されるもので、メディア情報の実情報、次に説明するメディア情報生成部13にて生成される。なお、上記フレームは上記したようにメディア情報を表示するための枠であり、各メディア情報はこの枠内に表示される。また、このフレームの表示位置およびサイズは既存の文字表示のウインドウ位置との関係を自由に設定できる。
【0020】
メディア情報生成部13は、図5に示すように、メディア表示対象文字列毎に、上記レイアウト情報生成部12にて生成された複数のレイアウトのうち、どのレイアウトを使用するかを決定する使用レイアウト情報とこの使用レイアウト内に表示するメディア実情報を対話的に定義・生成するための処理部である。
【0021】
上記メディア実情報は、上記フレーム内に表示されるメディアの実際の情報であり、選択されたレイアウト内で使用されるメディアの種類のデータファイル名などを、上記表示すべきフレーム内で定義されているメディアIDに割り付けて定義されている。
【0022】
以上が図2における情報生成部10と各定義情報についての説明であり、次に、制御部30について説明する。
この制御部30は、画面監視部31、メディア表示情報制御部32、メディア表示制御部33の3つのコンポーネントで構成され、上記情報生成部10により生成された各定義情報をもとに、既存の文字表示システム40上の文字列を抽出して、マルチメディア情報を表示する処理を行うものである。
【0023】
上記画面監視部31は、画面情報生成部11により定義された定義画面情報を基に、表示画面上の画面フィールド情報と文字列抽出フィールド情報を一定間隔でチェックし続け、画面の切り替わりとメディア表示対象文字列の変化を監視する処理部である。そして、画面フィールド情報と文字列抽出フィールド情報の値に変化がない場合には、そのまま監視を続け、オペレータ入力などにより、画面が切り替わって画面フィールド情報や文字列抽出フィールド情報の値に変化が生じたときには、メディア表示対象文字列を抽出してメディア表示情報制御部32に制御を渡す。
【0024】
このメディア表示情報制御部32は、上記画面監視部31より受け渡されたメディア表示対象文字列から、メディア表示に必要な情報を取り出すための処理部である。その処理動作としては、まず、当該メディア表示対象文字列に対応するメディア情報を定義メディア情報23から取り出したのち、この取り出したメディア情報内に定義されているレイアウト情報を、定義レイアウト情報22の中から取り出す。そして、これらの定義情報をメディア表示制御部33に渡す。
【0025】
このメディア表示制御部33は、上記メディア表示情報制御部32から受け渡された情報を解析し、表示装置50内にメディア情報を表示する処理を行う処理部である。また、現在の画面状態の管理も行い、旧画面内の文字列に対応するメディア情報表示が行われている場合には、一端、その旧画面内の文字列に対応するメディア情報を画面より消去した後、新しいメディア表示対象文字列に対応するメディア情報(新メディア情報)を表示する。
【0026】
なお、図2において、表示装置50の表示部51はメディア表示対象文字列を示し、また、表示部52はこのメディア表示対象文字列に対するメディア情報表示部を示している。また、同図において、データの流れを示す矢印は点線、太線、細線で描かれているが、点線で示す矢印は文字情報の流れを示し、太い実線で示す矢印はメディア表示情報の流れを示し、細い実線で示す矢印は画面制御情報の流れを示している。
【0027】
このように本発明では、環境設定時にオペレータにより指定された情報を基に、情報生成部10にて前記したような各種定義情報、すなわち、定義画面情報、定義レイアウト情報、定義メディア情報が生成され、この情報生成部10で生成された各種定義情報を基に、制御部30によって、表示装置50上にメディア表示対象文字列に対してこの文字列に対応するマルチメディア情報を表示する。図6は主に制御部30の処理の流れを示す図であるが、この図を用いて情報生成部10にて定義画面情報、定義レイアウト情報、定義メディア情報が生成された後のメディア情報変換の処理動作を説明する。
【0028】
制御部30の画面監視部31では表示画面のあらかじめ定義された所定の位置を一定間隔で監視し続ける。このとき、現時点においては、既存の文字表示システム40上の表示装置50には画面Aが表示されているものとする。この画面Aには文字列情報表示w1がなされ、またこの場合、「XXXX」のメディア表示対象文字列に対応したメディア情報XMが表示されている。
【0029】
このような状態で、画面情報生成部11にてあらかじめ定義された画面の切り替わりを判断するための画面IDフィールド情報とメディア表示対象文字列の文字列抽出フィールド情報を、画面監視部31が一定間隔で監視し続けている。上記画面IDフィールド情報および文字列抽出フィールド情報を取り出す画面上の位置は、既存文字表示システムの表示画面上において画面の切り替わりおよび文字列抽出フィールド情報を適格に判断できる位置をあらかじめ設定しておく。具体的には、それぞれの位置の座標をあらかじめ設定しておき、その座標上の情報の変化を監視する。
【0030】
そして、画面監視部31が画面IDフィールド情報の変化(画面IDの変化)を検出すると、表示画面が画面Bに切り替わったと判断する。この場合、画面が切り替わることにより、表示すべきメディアの内容も変わるので、メディア表示対象文字列も切り替わり、メディア表示対象文字列がたとえば「YYYY」であったとすると、まず、新たな画面上のメディア表示対象文字列の位置情報を取得して、そのメディア表示対象文字列「YYYY」を抽出して、処理をメディア表示情報制御部32に渡す。なお、画面IDフィールド情報が変化なく画面が切り替わらなくても、メディア表示対象文字列のみが変化する場合、つまり、画面IDは同一であってもデータの内容が変化するような場合もある。この場合は、変更有りと判断したのち、直接、新たなメディア表示対象文字列を抽出して、処理をメディア表示情報制御部32に渡す。
【0031】
メディア表示情報制御部32では、上記画面監視部31から渡されたメディア表示対象文字列(この場合は「YYYY」)に対応するメディア情報を、メディア情報生成部13で生成された定義情報より検索・抽出する。すなわち、画面監視部31によりメディア表示対象文字列「YYYY」を抽出すると、例えば、この文字列「YYYY」をメディア表示対象文字列のテーブルと比較して、このテーブルより「YYYY」に対応したメディア情報のアドレスへのポインタを引き出す。具体的には、メディア情報内に定義されている当該メディア表示対象文字列に対応する使用レイアウトIDを取り出すとともに、そのレイアウト内に表示されるメディア情報(実情報)を対応するデータファイル等から取り出す。動画などはビデオやCDのフレームを意識してこれから取り出す。そして、上記使用レイアウトIDを基にレイアウト情報生成部12で生成された定義情報からそのレイアウトのフレーム位置、サイズやメディア情報の表示形態を取り出す。このように取り出されたメディア情報とレイアウト情報は、メディア表示制御部33に渡される。
【0032】
メディア表示制御部33では、上記メディア情報とレイアウト情報を解析し、表示装置50上に新たなメディア情報(この場合は、メディア表示対象文字列「YYYY」に対応するメディア情報)YMを表示する。このとき、表示装置50上において、旧メディア表示対象文字列「XXXX」に対応するメディア表示が行われている場合は、そのメディア表示を表示装置50上から消去した後、新たなメディア表示対象文字列「YYYY」に対応するメディア情報を表示する。
【0033】
このように本発明では、既存の文字表示システムを変更することなくマルチメディアデータを表示することができ、また、文字表示を行うとき、その文字表示の内容に対応するマルチメディアデータを自動的に表示することができ、さらに、複数のメディアを同時に、しかもレイアウトされた状態で表示することができる。
【0034】
前述した本発明の実施例においては、既存の文字表示システム40より出力され表示装置50で表示される文字画像の情報を検出しているが、この検出は、例えば以下のようになされる。
【0035】
文字表示システム40より出力される表示装置50に入力された文字情報とその表示位置すなわち文字コードと現在のカーソル位置を画面監視部31が常に監視し、目的の位置に目的のコードが表示されるように加わった時、目的の文字画像が表示されたと検出する。
【0036】
文字情報の監視の仕方としては、文字列情報W1はマルチウィンドウ機能を有するマルチウィンドウシステムにおいて、メディア表示の対象とする文字表示システムのウィンドウ501に表示されているので、このウィンドウ501をウィンドウハンドル(ウィンドウシステム内でのユニーク値、すなわち例えばデータベースの検索結果が表示されるべきウィンドウを指示する値)を基にメディア情報XYが表示されるウィンドウ502の制御の実行により、チェックし続けることにより行う。あるいは、文字情報の監視は、文字表示システムを本発明のマルチメディア情報付加システムから例えばインターバルタイマの割り込み起動で行ってもよい。
【0037】
なお、前述した本発明の実施例においては既存の文字表示システム40と異なったシステムを設けて構成しているが、既存の文字表示システム40と同一システムを用いて前述した画面監視部31の機能を発生させるため、文字表示システム内の文字コード等を出力するソフトドライバに目的の文字コードとその位置を検出する処理を付加し、該当するコードを検出した時に他のメディアの情報を表示するプロセスを駆動するようにしてもよい。尚、情報生成部等は他の処理が実行されていない時にバッチ処理で行う。
【0038】
図7は本発明の実施例の業務システムの構成図であり、ここでは中古車検索システムに本発明を適用した例を説明する。
同図において、ホストシステム41に接続されたパソコンシステム42は、端末エミュレータ421、ウィンドウシステム422、表示装置50と本発明のマルチメディア情報付加システム423で構成されている。
【0039】
このようなシステムにおいて、前述したように、環境設定時におけるオペレータ(環境設定者)の入力情報を基に、情報生成部10が定義画面情報、定義レイアウト情報、定義メディア情報を生成して環境設定を行う。
【0040】
以下、この環境設定動作を図8を参照しながら説明する。
まず、画面情報生成部11が環境設定時におけるオペレータ入力により、画面IDフィールド情報、メディア表示対象文字列フィールド情報の定義情報を生成する。たとえば、画面IDフィールド情報は、画面上の座標(1.1)〜(1.10)の位置であり、そのときのメディア表示対象文字列フィールド情報の抽出位置は(5.5)〜(5.15)の位置であるというようなことが定義される。たとえば、「検索結果」という文字列が画面IDの一つであるとすれば、(1.1)〜(1.10)の位置に存在する文字列が「検索結果」となったときのメディア表示対象文字列フィールド情報の抽出位置は(5.5)〜(5.15)の位置であるということが定義される。
【0041】
次に、レイアウト情報生成部12が環境設定時におけるオペレータ入力により、レイアウトに関する情報、メディアの表示形態などの定義情報を生成する。たとえば、レイアウトIDを「レイアウトA」と定義し、そのフレーム情報として、フレームの表示位置をアプリケーション画面の相対位置で(100.100)、フレームの表示サイズ(縦方向の長さ、横方向の長さ)を(100.100)などと定義するとともに、メデイア情報の表示形態を示す情報を定義する。たとえば、メディアIDとして、メディアX、メディアY、メディアZを定義し、メディアXは静止画で、その表示位置は(0.0)、表示サイズは(50.50)、メディアYは静止画で、その表示位置は(0.50)、表示サイズは(50.50)、メディアZはテキストで、その表示位置は(50.0)、表示サイズは(50.100)というような表示形態についての定義を行う。
【0042】
次に、メディア情報生成部13が環境設定時におけるオペレータ入力により、上記メディア表示対象文字列、使用レイアウトID、上記メディアX、メディアY、メディアZを具体的な実情報の定義情報を生成する。たとえば、メディア表示対象文字列は当該中古車の型番「ddd」、使用レイアウトIDは「レイアウトA」、また、上記メディアX、メディアY、メディアZに対しては、メディアXは当該中古車の外観の実情報(ファイル名としてたとえば、外観ddd.TIF)、メディアYは当該中古車の車検証の実情報(ファイル名としてたとえば、車検証ddd.TIF)、メディアXは当該中古車に関するメモの実情報(ファイル名としてたとえば、メモddd.TXT)というように定義される。
【0043】
これらの定義は、具体的には図9のようにして行う。同図(a) は画面情報を定義する場合の表示画面内容の一例である。まず、表示画面を画面情報生成に設定するとそれぞれの定義内容を書き込む欄が表示される。「画面IDフィールド」の欄には、上記したような座標値として、たとえば「1.1〜1.10」を書き込み、「画面ID」の欄には「検索結果」を書き込み、「メディア表示対象文字列フィールド」の欄には、その座標値として「5.5〜5.15」を書き込んでいく。そして、図示されてない次ボタンを押すと、画面ID、メディア表示対象文字列フィールドの新たな設定欄が表示され、上記同様の方法で次の内容を定義して行く。なお、画面IDフィールドは1つの文字表示システムについて1つのみ定義される。1つの文字表示システムの画面には複数の文字列フィールドを定義可能である。そして、文字列フィールドには、オペレータが所定文字列をキー入力してもよい。
【0044】
図9(b) はレイアウト情報を定義する場合の表示画面内容の一例である。まず、表示画面をレイアウト情報生成に設定するとそれぞれの定義内容を書き込む欄が表示される。また、メディア名の欄にはメディアXなどというようなメディア種を識別するための名称と実際のメディア種(例えば、静止画,テキスト等)を書き込み、その「表示位置」、「表示サイズ」の欄にはそれぞれの値を書き込んでメディア表示形態を定義する。さらにメディアY、メディアZなどについての表示形態の書き込みを行うには、上記同様、図示しない次ボタンを押すと、レイアウト情報を定義する新たな表示画面が表示され、メディアY、メディアZなどについての表示形態の書き込みを行う。
【0045】
図9(c) はメディア実情報を定義する場合の表示画面内容の一例である。まず、表示画面をメディア実情報生成に設定するとそれぞれの定義内容を書き込む欄が表示される。「メディア表示対象文字列」の欄には、たとえば型番として「ddd」が書き込まれ、「使用レイアウト」の欄には、たとえば「レイアウトA」、「レイアウトB」、「レイアウトC」・・・というようにレイアウト名の一覧が格納されていて、それを読み出し操作すると、レイアウト名の一覧が表示されて、そのなかからたとえば「レイアウトA」を選択する。「メディアX」の欄には、その実情報が格納されているファイル名として、たとえば「外観ddd.TIF」を書き込む。さらに次のメディア情報を設定する場合は、上記同様、図示しない次ボタンを押すと、メディア実情報を定義する新たな表示画面内容が表示され、メディアY、メディアZなどの実情報を上記同様の方法で書き込みを行う。
【0046】
以上のようにして各種定義情報が生成され、前準備すなわち環境設定が終了する。
このような環境設定のあと、実際の運用時における処理を図2で示したシステム構成図、実運用時における制御部30の処理を説明する図10、さらにこの実施例による運用中の表示画面を示す図11(a),(b),(c) を参照しながら説明する。
【0047】
図10で示す制御部30の処理は前記図6を用いて説明した処理と基本的には同じである。
まず、マルチウィンドウシステムにおいて、既存の文字表示システム40上の表示装置50の第1のウィンドウ501には、図11(a) で示すような文字列が表示されているものとする。そして、上記画面監視部31は画面情報生成部11で定義された画面情報を参照し、この場合、(1.1)〜(1.10)座標で示される画面IDフィールドの文字列(この例では、図11(a) の「検索システム」の文字列)を監視し続ける。
【0048】
そして今、オペレータ入力に伴い、図11(a) の第1のウィンドウ501の表示画面が同図(b) のように切り替わったとすると、上記(1.1)〜(1.10)座標で示される画面IDフィールドの文字列「検索システム」が「検索結果」となる。このため、画面監視部31が画面IDフィールド情報の変化(画面IDの変化)を検出し、画面が切り替わったと判断する。この場合、画面が切り替わることにより、メディア表示対象文字列も変わるので、表示すべきメディアの内容も切り替わる。「検索結果」のメディア表示対象文字列がたとえば「ddd」であったとすると、まず、新たな画面上のメディア表示対象文字列の位置情報を取得(この場合、(5.5)〜(5.15)と定義されている)して、そのフィールド内のメディア表示対象文字列「ddd」を抽出して、処理をメディア表示情報制御部32に渡す。
【0049】
メディア表示情報制御部32では、上記画面監視部31から渡されたメディア表示対象文字列(この場合は「ddd」)に対応するメディア情報を、メディア情報生成部13で生成された定義情報より検索・抽出する。具体的には、メディア情報内に定義されている当該メディア表示対象文字列に対応する使用レイアウト名としてレイアウトAを取り出すとともに、メディアX,Y,Zの実情報を対応するデータファイルから取り出す。このときの、メディアX,Y,Zの具体的な情報としては、前記したように、メディアXは外観ddd.TIF、メディアYは車検証ddd.TIF、メディアXはメモddd.TXTというような情報が取得される。そして、上記使用レイアウトIDを基にレイアウト情報生成部12で生成された定義情報からそのレイアウトのフレーム位置(100.100)、サイズ(100.100)やメディアX,Y,Zの表示形態を取り出す。すなわち、この場合、前記したように、レイアウトのフレーム位置は(100.100)、サイズは(100.100)、メディアXの表示位置は(0.0)、表示サイズは(50.50)、メディアYの表示位置は(0.50)、表示サイズは(50.50)、メディアZの表示位置は(50.0)、表示サイズは(50.100)というようなレイアウト情報が取得される。
【0050】
このように取り出されたメディア情報とレイアウト情報は、メディア表示制御部33に渡される。
メディア表示制御部33では、上記メディア情報とレイアウト情報を解析し、図11(c) に示すように、表示装置50上に新たなメディア情報(この場合は、メディア表示対象文字列「ddd」に対応するメディア情報)Mを第1のウィンドウ501とは異なる第2のウィンドウ502に表示する。この図11(c) に示すメディア情報Mにおいて、表示部M1はメディアXに対応し、当該中古車の外観、表示部M2はメディアYに対応し、当該中古車の車検証、表示部M3はメディアZに対応し、当該中古車に関する内容説明用のメモがメディア情報として表示されている。
【0051】
このように、メディア表示対象文字列「ddd」に対応するメディア情報が図9(b) 及び図9(c) に示すように指定されたレイアウトで表示される。
以上の説明において、マルチウィンドウシステムにおける既存の文字表示システムで実行される第1のウィンドウを制御するタスクと、本発明のマルチメディア情報付加システムで実行される第1のウィンドウを監視し第2のウィンドウを制御するタスクとは別のタスクである。
【0052】
図11(a) ,(b) ,(e) において、文字表示システムでデータベースの検索を行ったとき、その検索結果の表示を監視してマルチメディア情報を自動的に表示することができる。
【0053】
前述した本発明の実施例においては、メディア情報Mを表示する領域はメディアX,Y,Zに対応して分割しているが、これに限るものではない。例えば、メディアX,Y,Zのそれぞれを表示する領域を共通化し、メディア表示対象文字列「ddd」を検出した時に第1番目のメディア例えばメディアXを表示する。また、前述した従来の文字表示システム40で割り当てられていない鍵を前述のメディア表示の切換に割り当て、この鍵が操作された時に順次、メディアY,Zの表示を行う。このようにすることにより、複数のメディアX,Y,Zの情報を順次表示することができ、付加するメディアから得られた情報が大きくても表示装置50で表示することができる。尚、このときには、メディア表示情報制御部32はバッファを有し、表示すべき情報をこのバッファに一時的に格納する。
【0054】
また、マルチメディア情報としては、動画や音声を出力するようにしてもよいことは勿論である。
【0055】
【発明の効果】
本発明によれば、環境設定時におけるオペレータ入力を基に、画面情報、レイアウト情報、メディア情報のそれぞれの定義情報を生成し、実運用時には、画面監視部が画面上のあらかじめ決められた位置の情報の変化を監視し、その情報の変化を検出すると、上記定義情報の内容に従ってメディア表示対象文字列を抽出して、その文字列に対応するメディア情報、つまり使用レイアウト名とメディアの実情報を取得し、その使用レイアウト名から決まるフレーム位置、サイズ、メディアの表示形態を取得した後、メディア表示対象文字列に対応するメディア情報を表示するようにしたので、従来の文字を主体とした表示システムそのものに改造を加えることなく、簡単にマルチディア化が実現でき、また、画面推移に従ってマルチメディア情報の表示および消去が自動的に実施されるため、オペレータはメディア表示操作および消去操作を何ら意識する必要がなく、操作性に何ら影響を与えることなくマルチメディア表示が行える。また、本発明を検索結果を表示する帳票システムに適用した場合には、同一帳票面であっても、帳票内の文字(たとえば人物名など)の変化に伴って、それに対応したメディアデータを表示することができる。さらに本発明では、静止画、動画、音声、テキストといったさまざまなメディアを用い、自由なレイアウトでメディア再生が可能なため、用途に応じて最適な形でメディア表示を行うことができるなど種々の効果が得られる。
【図面の簡単な説明】
【図1】本発明の原理ブロック図である。
【図2】本発明の実施例のシステム構成図である。
【図3】本発明の画面情報生成部の処理を説明する図である。
【図4】本発明のレイアウト情報生成部の処理を説明する図である。
【図5】本発明のメディア情報生成部の処理を説明する図である。
【図6】本発明の制御部の処理を説明する図である。
【図7】本発明の実施例のシステム構成図である。
【図8】実施例における環境設定処理を説明する図である。
【図9】環境設定時における表示画面の一例を説明する図である。
【図10】実施例における実運用時の処理を説明する図である。
【図11】実施例における実運用時の表示画面の推移を説明する図である。
【符号の説明】
1 情報生成部
2 定義情報
3 制御部
4 既存の文字表示システム
5 表示画面
11 画面情報生成部
12 レイアウト情報生成部
13 メディア情報生成部
31 画面監視部
32 メディア表示情報制御部
33 メディア表示制御部
Claims (8)
- 文字列に対応付けてマルチメディア情報を表示するマルチメディア情報付加システムにおいて、
文字表示システムによりその表示装置上に表示される第1のウィンドウの画面の切り替わりを判断するための画面フィールド情報および該第1のウィンドウ内に表示されるメディア表示対象文字列の抽出位置情報を、環境設定時におけるオペレータ入力情報を基に定義画面情報として生成する画面情報生成部と、
メディア情報を表示するためのフレーム位置とサイズおよびこのフレーム内に表示するメディア情報の表示形態を、環境設定時におけるオペレータ入力情報を基に定義レイアウト情報として生成するレイアウト情報生成部と、
上記メディア表示対象文字列の抽出位置情報を基に、使用レイアウト名および表示すべきメディアの実情報を、環境設定時におけるオペレータ入力情報を基に定義メディア情報として生成するメディア情報生成部と、
前記文字表示システムによって表示される前記第1のウィンドウを監視し、該第1のウィンドウにおいて上記画面フィールド情報又はメディア表示対象文字列の抽出位置情報の少なくとも一方に対応する情報変化を検出すると、あらかじめ定義された内容に従って該第1のウィンドウ内に表示されているメディア表示対象文字列を抽出する画面監視部と、
この画面監視部によって抽出されたメディア表示対象文字列からその文字列に対応するレイアウトおよびメディアに関する情報を、上記定義レイアウト情報および定義メディア情報から取り出すメディア表示情報制御部と、
このメディア表示情報制御部からの情報を解析し、前記表示装置上の第2のウィンドウに前記画面監視部によって抽出されたメディア表示対象文字列に対応するメディア情報を表示するメディア表示制御部と、
を有し、前記文字表示システムに付加可能とすることを特徴とするマルチメディア情報付加システム。 - 前記画面情報生成部は、前記第1のウィンドウ内における第1、第2の所定範囲の座標を設定させ、該第1、第2の所定範囲の座標で示される各フィールド内をそれぞれ画面フィールド位置、前記メディア表示対象文字列の抽出位置とすることを特徴とする請求項1記載のマルチメディア情報付加システム。
- 前記画面監視部は、前記第1のウィンドウ内における前記第1の所定範囲の座標で示されるフィールド内の文字列を監視して、その文字列の変化から画面の切り替わりを判断して前記メディア表示対象文字列の抽出を行うことを特徴とする請求項2記載のマルチメディア情報付加システム。
- 上記メディア表示対象文字列の抽出は、前記第1のウィンドウ内における前記第2の所定範囲の座標で示されるフィールド内の文字列を抽出することにより行うことを特徴とする請求項2記載のマルチメディア情報付加システム。
- 前記レイアウト情報生成部は、各使用レイアウト毎に、フレームの表示位置とフレームサイズを設定させ、このフレーム内に表示されるメディア種毎のメディア情報表示形態を設定させることを特徴とする請求項1記載のマルチメディア情報付加システム。
- 前記メディア情報生成部は、前記メディア表示対象文字列毎に、使用するレイアウトを設定させ、このレイアウトで決まるフレーム内に表示すべき各メディア種毎の実データが格納されているファイル名を設定させることを特徴とする請求項1記載のマルチメディア情報付加システム。
- 上記メディア表示情報制御部は、前記画面監視部からメディア表示対象文字列情報を受けると、その文字列情報に対応して定義された使用レイアウトを検索し、この使用レイアウトで決まるフレーム情報を取り出すとともに、このフレーム内に表示されるメディア種毎のメディア実情報を取り出し、さらにそのフレームの表示位置とサイズ、フレーム内に表示されるメディアの表示形態を示す情報を取り出してこれらの情報を上記メディア表示制御部に出力することを特徴とする請求項1記載のマルチメディア情報付加システム。
- マルチウィンドウシステムにおいて、前記文字表示システムが実行する既存のタスクと異なるタスクを実行することを特徴とする請求項1記載のマルチメディア情報付加システム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP24579193A JP3634391B2 (ja) | 1993-09-30 | 1993-09-30 | マルチメディア情報付加システム |
US08/216,964 US5666542A (en) | 1993-09-30 | 1994-03-24 | Multimedia information add-on system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP24579193A JP3634391B2 (ja) | 1993-09-30 | 1993-09-30 | マルチメディア情報付加システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH07104959A JPH07104959A (ja) | 1995-04-21 |
JP3634391B2 true JP3634391B2 (ja) | 2005-03-30 |
Family
ID=17138892
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP24579193A Expired - Fee Related JP3634391B2 (ja) | 1993-09-30 | 1993-09-30 | マルチメディア情報付加システム |
Country Status (2)
Country | Link |
---|---|
US (1) | US5666542A (ja) |
JP (1) | JP3634391B2 (ja) |
Families Citing this family (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AU693371B2 (en) * | 1995-07-11 | 1998-06-25 | Matsushita Electric Industrial Co., Ltd. | Multimedia playing apparatus utilizing synchronization of scenario-defined processing time points with playing of finite-time monomedia item |
US6199082B1 (en) * | 1995-07-17 | 2001-03-06 | Microsoft Corporation | Method for delivering separate design and content in a multimedia publishing system |
JP2861878B2 (ja) * | 1995-08-23 | 1999-02-24 | 日本電気株式会社 | 拡張性のある監視方式 |
US5898429A (en) * | 1996-04-19 | 1999-04-27 | Engineering Animation Inc. | System and method for labeling elements in animated movies using matte data |
JP3422897B2 (ja) * | 1996-05-17 | 2003-06-30 | 株式会社テクノクラフト | 文字列抽出システム及び文字列抽出方法 |
US5908467A (en) * | 1996-05-31 | 1999-06-01 | International Business Machines Corporation | System and method for displaying file parameters |
US6199080B1 (en) * | 1996-08-30 | 2001-03-06 | Sun Microsystems, Inc. | Method and apparatus for displaying information on a computer controlled display device |
US6584498B2 (en) | 1996-09-13 | 2003-06-24 | Planet Web, Inc. | Dynamic preloading of web pages |
US6377978B1 (en) | 1996-09-13 | 2002-04-23 | Planetweb, Inc. | Dynamic downloading of hypertext electronic mail messages |
US6061054A (en) * | 1997-01-31 | 2000-05-09 | Hewlett-Packard Company | Method for multimedia presentation development based on importing appearance, function, navigation, and content multimedia characteristics from external files |
US6542923B2 (en) | 1997-08-21 | 2003-04-01 | Planet Web, Inc. | Active electronic mail |
US7325077B1 (en) * | 1997-08-21 | 2008-01-29 | Beryl Technical Assays Llc | Miniclient for internet appliance |
US6564250B1 (en) | 1997-08-21 | 2003-05-13 | Planetweb, Inc. | Miniclient for internet appliance |
US6032150A (en) * | 1997-08-25 | 2000-02-29 | Planetweb, Inc. | Secure graphical objects in web documents with a program applet placed to present further information upon selected conditions |
US6684211B1 (en) * | 1998-04-01 | 2004-01-27 | Planetweb, Inc. | Multimedia communication and presentation |
JP4135251B2 (ja) * | 1999-03-19 | 2008-08-20 | ソニー株式会社 | 情報処理装置 |
WO2002005065A2 (en) * | 2000-07-11 | 2002-01-17 | Juice Software, Inc. | A method and system for integrating network-based functionality into productivity applications and documents |
US20090044118A1 (en) * | 2007-08-06 | 2009-02-12 | Apple Inc | User interface that conveys the predicted quality of a multimedia device prior to its creation |
BE1025127B1 (de) * | 2017-04-10 | 2018-11-16 | Phoenix Contact Gmbh & Co | Kommunikationssystem zur seriellen Kommunikation zwischen Kommunikationsgeräten |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5142662A (en) * | 1986-03-03 | 1992-08-25 | Bell & Howell Company | Electronic publishing system |
US4899292A (en) * | 1988-03-02 | 1990-02-06 | Image Storage/Retrieval Systems, Inc. | System for storing and retrieving text and associated graphics |
US5208745A (en) * | 1988-07-25 | 1993-05-04 | Electric Power Research Institute | Multimedia interface and method for computer system |
US5278946A (en) * | 1989-12-04 | 1994-01-11 | Hitachi, Ltd. | Method of presenting multimedia data in a desired form by comparing and replacing a user template model with analogous portions of a system |
US5367619A (en) * | 1990-04-27 | 1994-11-22 | Eaton Corporation | Electronic data entry system employing an expert system to facilitate generation of electronic data forms with complex interrelationships between fields and subforms |
US5412774A (en) * | 1990-08-29 | 1995-05-02 | At&T Corp. | Apparatus for and method of displaying a data item of a database using the display function of a selected data item |
US5297249A (en) * | 1990-10-31 | 1994-03-22 | International Business Machines Corporation | Hypermedia link marker abstract and search services |
US5432904A (en) * | 1991-02-19 | 1995-07-11 | Ccc Information Services Inc. | Auto repair estimate, text and graphic system |
US5367621A (en) * | 1991-09-06 | 1994-11-22 | International Business Machines Corporation | Data processing method to provide a generalized link from a reference point in an on-line book to an arbitrary multimedia object which can be dynamically updated |
JPH05250119A (ja) * | 1992-03-10 | 1993-09-28 | Hitachi Ltd | 動画ヘルプガイダンス方法 |
US5539869A (en) * | 1992-09-28 | 1996-07-23 | Ford Motor Company | Method and system for processing and presenting on-line, multimedia information in a tree structure |
-
1993
- 1993-09-30 JP JP24579193A patent/JP3634391B2/ja not_active Expired - Fee Related
-
1994
- 1994-03-24 US US08/216,964 patent/US5666542A/en not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JPH07104959A (ja) | 1995-04-21 |
US5666542A (en) | 1997-09-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3634391B2 (ja) | マルチメディア情報付加システム | |
JP3486459B2 (ja) | 電子情報機器及びその制御方法 | |
JP2013239147A (ja) | 表示制御装置 | |
JP5442214B2 (ja) | 複数の表示画面領域に同時にマウスポインターを表示する方法及び装置、マウスシミュレーションプログラム | |
JP6206202B2 (ja) | 情報処理装置及び情報処理プログラム | |
JP2001060134A (ja) | マルチウィンドウ制御システム | |
JP5599223B2 (ja) | マルチモニタ切替装置及びマルチモニタ切替方法 | |
JPH05250129A (ja) | 表示制御装置 | |
JP3119960B2 (ja) | 論理シミュレーションシステム | |
JP2763453B2 (ja) | 回路図作成装置および回路図作成方法 | |
JPH10214152A (ja) | 情報機器及び情報機器における軌跡情報処理方法 | |
JPH11306369A (ja) | 画像データ編集装置 | |
JP4963633B2 (ja) | 情報処理装置及び情報処理方法 | |
JPH10312260A (ja) | リンク先情報提示装置とその動作を実行するためのプログラムを記録した記録媒体 | |
JP2002278874A (ja) | 電子伝言板システムおよび伝言板プログラム | |
KR101065658B1 (ko) | 터치 디스플레이에 정보를 표시하는 시스템 및 이의 제어 방법 | |
JPH03286264A (ja) | 動画形式によるガイダンス表示方式 | |
JP2002229974A (ja) | 表示フォント切換装置、表示フォント切換方法、印刷フォント切換装置、印刷フォント切換方法、これらのためのプログラムおよび記録媒体 | |
JP2010061337A (ja) | 情報処理装置、情報処理システム、情報処理方法、プログラム、および記録媒体 | |
CN113918069A (zh) | 信息交互方法、装置、电子设备及存储介质 | |
JPS62265691A (ja) | マルチウインドウ表示装置 | |
JP3918921B2 (ja) | ポインタ移動方法、プログラム、記録媒体 | |
JPH11242470A (ja) | Cadシステムにおける形状データの表示方法およびその方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
JPH0816800A (ja) | 情報処理装置 | |
JPH04302023A (ja) | アイコンの表示方式 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20040120 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040319 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20040324 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20041221 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20041224 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080107 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090107 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100107 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110107 Year of fee payment: 6 |
|
LAPS | Cancellation because of no payment of annual fees |