JP2010109965A - オーケストラメディアサービスシステム及び方法 - Google Patents

Abstract

【課題】複数のオーディオ／ビデオを含むメディアを有無線ネットワークを介して複数の能動型デバイス及び受動型デバイスと同期を合せてプレイできるオーケストラメディアサービスシステム及び方法を提供する。
【解決手段】メディア提供業者から伝送された複数のオーディオ／ビデオトラック及びネオデータを有するオーケストラメディアデータを連結された複数のデバイスと共有して再現する。前記オーケストラメディアデータをパーシングしてオーディオ／ビデオデータとネオデータとに分離後、複数のオーディオ／ビデオからのメインオーディオ／ビデオをＴＶのような出力デバイス上でレンダリングし、前記結合された映像が再生される時間を中心に連結されたデバイスとの同期を合せ、前記ネオデータを連結された受動デバイスを活性化するための制御命令にマッピングし、それぞれの連結方式を備えたデバイスと連結し、当該受動デバイスに前記制御命令を伝送する。
【選択図】図１

Description

本発明はメディア再現技術に関し、特に、複数のオーディオ／ビデオを含むメディアを有無線ネットワークを介して複数の能動型デバイス及び受動型デバイスと同期を合せてプレイを行うのに適したオーケストラメディアサービスシステム及び方法に関する。

一般に、デジタルホームは実感、知能型ユビキタスホームに進化すると見られ、実感、知能型ユビキタスホームでは家庭内に存在するデジタルデバイスが次第に有無線ネットワークにより互いに連結されると予想される。家庭内のメディア装置は、アクチュエータを用いてメディア再現を担ってきた。アクチュエータは例えば、家庭内でホームサーバ、デジタルテレビなどによって具現されることができ、移動中にはスマートホン、ＰＤＡ(ＰｅｒｓｏｎａｌＤｉｇｉｔａｌＡｓｓｉｓｔａｎｔｓ、ＰＭＰ(ＰｏｒｔａｂｌｅＭｅｄｉａＰｌａｙｅｒ)などによって具現され得る。例えば、メディアは家庭内でテレビのような再現装置を用いて再現されてきた。今後のメディア再現方式はユーザに更に多くの効果を伝達するために、１つのアクチュエータであらゆるメディア再現を処理される形よりは再現装置同士で有機的に協力し、再現装置自らがユーザのホームに合うように進化する方向に発展され得ると見られ、これについての複数の装置を共に使用する様々なメディア再生方案が議論されている。

即ち、家庭内に存在する再現デバイスの数が次第に増えており、各再現デバイスが自らメディアを再現できる機能を内蔵しているが、これらを全て統合して再現できる方法がないため、家庭内に存在するデバイスを十分に活用できずにいる。

韓国公開特許第10-2002-0064888号明細書

前述したように動作する従来技術によるメディア再現システムにおいては、１つのオーディオ／ビデオを１つの再現デバイスでのみプレイするので、家庭内にメディアを再現できる複数台のデバイスが存在する場合にもこのようなデバイスは複数のオーディオ／ビデオ再現を支援しなかったため、１つのメディアを再現するために１つのデバイスだけ使用し得た１つのメディアに複数のオーディオ／ビデオ及び特定場面に係わる効果データが存在すれば、メディアの効果を最大化するためにこのようなメディアを再現するに全てのデバイスを使用するのが良い。

そこで、本発明は上記事情に鑑みてなされたものであって、その目的は、複数のオーディオ／ビデオを含むメディアを有無線ネットワークを介して複数の能動型デバイス例えば、ＰＣ、ＰＤＡ(ＰｅｒｓｏｎａｌＤｉｇｉｔａｌＡｓｓｉｓｔａｎｔｓ、ＵＭＰＣ(ＵｌｔｒａＭｏｂｉｌｅＰＣ)、ＰＭＰ(ＰｌａｙｓｔａｔｉｏｎＰｏｒｔａｂｌｅ)など、及び受動型デバイス例えば、暖房装置、照光装置、明暗装置、温度及び湿度制御器を有無線ネットワークと同期を合せてプレイできるオーケストラメディアサービスシステム及び方法を提供することにある。

本発明の他の目的は、複数のトラックを有しているメディアファイルを有無線ネットワークを介して複数の能動型デバイスに伝達し、メディアファイルの内部にある互いに異なるオーディオ／ビデオを複数の能動型デバイスでプレイし、非視覚、非聴覚的効果、例えば、匂、煙、光、振動などをアクチュエータで再現されるメインオーディオ／ビデオと同期を合せるために受動型デバイスを制御できるオーケストラメディアサービスシステム及び方法を提供することにある。

前記目的を達成するために、本発明の一観点によれば、メディア提供業者から伝送された複数のオーディオ／ビデオトラック及びネオデータを有するオーケストラメディアデータの伝達を受けてこれを連結された複数のデバイスと共有して再現するオーケストラメディアサービスシステムであって、前記オーケストラメディアデータをパーシングしてオーディオ／ビデオデータとネオデータとに分離した後、複数のオーディオ／ビデオからのメインオーディオ／ビデオをＴＶのような出力デバイス上でレンダリングし、前記結合された映像が再生される時間を中心に連結されたデバイスとの同期を合せ、前記ネオデータを分析して連結された受動デバイスを活性化するための制御命令にマッピングするクライアントエンジン部と、それぞれの連結方式を備えたデバイスと連結を行い、連結された受動デバイスに前記制御命令を伝送する通信インターフェースとを含む。

本発明の他の観点によれば、能動型及び受動型デバイスと連結を行って連結されたデバイスと持続的な同期化を行うアクチュエータ内において、メディア提供業者から伝送されたオーケストラメディアデータの再現のために全体時間を制御する過程と、前記オーケストラメディアをパーシングしてオーディオ／ビデオデータとネオデータとに分離する過程と、前記ネオデータを分析して連結されたそれぞれのデバイスに伝送するための制御命令にマッピングする過程と、前記マッピングされた制御命令を受動型デバイスに伝送し、メインオーディオ／ビデオを除いた各オーディオ／ビデオを能動型デバイスに伝送する過程とを含む。

本発明によれば、動画、オーディオ及びテキストからなる既存のメディアに実感サービスなどの応用のためにデバイス制御及び同期化情報を追加した新たなメディアを家庭内のデバイスと同期を合せて再現する時、同期及び制御を更に正確に行えるという効果を奏する。

そして、１つのメディアを１つのデバイスで再現する方式とは別にマルチのオーディオ／ビデオを複数の能動型デバイスを用いて再現してマルチの受動型デバイスを活性化することで、メディアの活用度を高めることができ、用いられるオーディオ／ビデオトラックと能動型デバイスの個数が多くなり、これを再現する方法を調節すれば、ドーム状(３６０度視野)の円形劇場で小さなメディア出力を連続して付けて３Ｄメディア(例えば、自動車広告のために１つのオーケストラメディア内に３個のオーディオ／ビデオトラックがあり、その中の１つ目のトラックは自動車の前姿、２つ目は自動車の左姿、３つ目は自動車の右姿を含んでいる場合、このトラックは共にプレイされユーザに３Ｄ効果を提供し得る)によって一度に再現できる円形のメディア再現などにも使用され得る。

また、ユーザが所有している多様なモバイル装置を融合して複数のモバイル装置で教育放送や映画を再現でき、これを通じてメディア再現のための差別化されたサービスを提供できるという効果がある。

本発明の好適な実施形態によるオーケストラメディアサービスシステムの構造を示す図である。 本発明の好適な実施形態による受動型デバイスの駆動過程を示す図である。 本発明の好適な実施形態による能動型デバイスの駆動過程を示す図である。 図１のオーケストラメディアサービスシステムのクライアントエンジン部を示すブロック図である。 図４のメイン制御部の構造を示すブロック図である。 図４のオーディオ／ビデオプレーヤモジュールの構造を示すブロック図である。 それぞれ図４のパーサモジュールの構造を示すブロック図。ネオデータの資料構造。本発明の好適な実施形態によるネオデータを再現するためのデータ構造である。 図４の同期化モジュールの構造を示すブロック図である。 図４の能動型デバイスの構造を示すブロック図である。 図４の受動型デバイスの構造を示すブロック図である。 本発明の好適な実施形態によるオーケストラメディアサービスシステムの動作手順を示すフローチャートである。

以下、添付する図面を参照して本発明の１つの実施例を詳細に説明する。

図１は、本発明の好適な実施形態によるオーケストラメディアサービスシステムの構造を示す図である。

図１を参照すれば、オーケストラメディアサービスシステムは、オーケストラメディアＳＰ（Ｓｅｒｖｉｃｅ Ｐｒｏｖｉｄｅｒ）１００からオーケストラメディアの伝送を受け、伝送されたオーケストラメディアはアクチュエータ１０２に伝達される。

そして、ホームサーバ１０２のクライアントエンジン１０４では伝達されたオーケストラメディアを分析して、複数のオーディオ／ビデオ各能動型デバイスで再現可能にし、対応するメディアとオーケストラメディアから分離されたネオデータを通信インターフェースＡＰＩ（Ａｐｐｌｉｃａｔｉｏｎ Ｐｒｏｇｒａｍ Ｉｎｔｅｒｆａｃｅ）１０６を経てそれぞれインターフェース１０８（Ｓｅｒｉａｌｐｏｒｔ、ＵＳＢｐｏｒｔ、ＬＡＮ／ＷＬＡＮｐｏｒｔ、Ａｕｄｉｏ Ｏｕｔｐｏｒｔ、Ｖｉｄｅｏ Ｏｕｔｐｏｒｔ）に連結された受動型デバイス周囲のユーザに伝送する。

実際に、受動型デバイスには複数のオーディオ／ビデオトラックの伝達を受けるためにＷＬＡＮ／ＬＡＮインターフェースが使用され、受動型デバイスにはシリアルポート、ＵＳＢポート、オーディオ出力ポート、ビデオ出力ポートなどが使用される。

具体的に、制御インターフェース例えば、シリアルポート１１０を介して伝送される制御データは、ジグビー（ＺｉｇＢｅｅ）無線ネットワーク１２０を介してジグビー制御器１２２に伝達され、ジグビー制御器１２２はヒータ１２４、ファン１２６、香り発生器１２８などにメディアデータを伝達するようになる。

また、シリアルポート１１０は、制御インターフェース例えば、ＲＳ-４８５直列通信インターフェースによって連結された調光装置（Ｄｉｍｍｅｒ）、照明（ｌｉｇｈｔ）、カラー照明などの照明装置１３０と、制御インターフェース例えば、ＲＳ-２３２直列通信インターフェースによって連結されたブラインド、カーテン装置１３２などに制御データを伝送するに使用される。ＵＳＢポート１１２は制御インターフェース例えば、ＵＳＢ通信インターフェースに連結されたフラッシュ１３４に制御データを伝送し、ＬＡＮ／ＷＡＮポート１１４はＬＡＮ／ＷＡＮ通信方式で連動されたコンピュータ、携帯電話、ＵＭＰＣ（Ｕｌｔｒａ Ｍｏｂｉｌｅ ＰＣ）、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）などのような適切な能動型デバイス１３６に各オーディオ／ビデオを伝送する。

更に、振動椅子１３８などのような電動機器は制御インターフェース例えば、オーディオ出力ポート１１６にオーディオケーブルを通じて連結され、デジタルテレビ１４０は制御インターフェース例えば、ビデオ出力ポート１１８にＨＤＭＩ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）ケーブルを通じてと連結され、各デバイスに該当するメディアデータを伝送するようになる。

オーケストラメディアサービスシステムで用いられる能動型及び受動型デバイスは、ホームネットワークで一般に用いられる家電機器であってもよく、特化された効果の再現のために別途の装置（例えば、スモッグマシン、シャボン玉生成器など）が使用されてもよい。

図２は、本発明の好適な実施形態による受動型デバイスの駆動手続きを示す図である。

図２を参照すれば、２００段階ではアクチュエータ１０２でプレイするメディアを分析するパーシング過程を行う。パーシング過程では効果データと、オーディオ／ビデオトラックとネオデータ間の同期化情報を有する複数のオーディオ／ビデオトラック及びネオデータが抽出され、２０２段階でまずバッファに格納された後、２０４段階で各能動型デバイスと受動型デバイスに位置したそれぞれの複数のオーディオ／ビデオプレーヤを同時に再生するために同期化過程が行われユーザに別の効果、例えば、風効果、お香効果を提供するようになり、２０６段階で抽出されたオーディオ／ビデオ、ネオデータ及び同期化情報はバッファに格納される。

その後、２０８段階で複数のオーディオ／ビデオトラックに選択されたメインオーディオ及びビデオはレンダリング過程に伝達され、アクチュエータ１０２内のオーディオ／ビデオプレーヤで再現され、制御データの伝達を受けた受動型デバイスは２１０段階で同時に活性化される。

図３は、本発明の好適な実施形態による能動型デバイスの駆動手続きを示す図である。

図３を参照すれば、能動型デバイスの例として、コンピュータ、デジタルテレビ、携帯電話は自体に運営体制が積載されており、自ら動作でき、別途に伝達されたオーディオとビデオをプレイできるソフトウェアを内蔵している。

複数のトラックで構成されたメディアはアクチュエータ１０２に伝達され、パーシング過程を経てそれぞれの能動型デバイス）に伝送されるが、この過程で各能動型デバイスとアクチュエータ１０２は持続的に相互間の同期化を行う。そして、時間が同期化されたという仮定の下で共通のイベントチャネル３００を共有するようになり、このようなイベントチャネル３００に制御命令が発生すれば、その制御命令はイベントキュー３０２に登録され、登録されたイベントキュー３０２のイベント制御命令はイベントディスパッチャ３０４により該当する能動型デバイス３０６、３０８に伝達され、能動型デバイス３０６、３０８ではパーシングされたメディアデータを実行するようになる。

図４は、図１のオーケストラメディアサービスシステムの構造を示すブロック図である。

図４を参照すれば、オーケストラメディアサービスシステムは、伝送エンジン４０２、メイン制御部４０４、オーディオ／ビデオプレーヤモジュール４０６、パーサモジュール４０８、同期化モジュール４１０、デバイス制御部４１２、を含み、このとき、オーケストラメディアは既存のオーディオ、ビデオ、テキストだけでなく、メディアの再現効果を最大化するための効果情報、デバイス同期化情報、デバイス連動情報(例えば、ウェブブラウザーＵＲＬ)などの追加の情報を有する
具体的に、オーケストラメディアデータ供給業者１００から伝達されたオーケストラメディアは、伝送エンジン４０２を介してクライアントエンジン１０４のメイン制御部４０４に伝達されるものであって、メイン制御部４０４ではメディア再現のための全体時間を管理し、オーケストラメディアのパーシングを行って、各オーディオ／ビデオトラック及びネオデータに分離し、パーシングされたデータをオーディオ／ビデオプレーヤモジュール４０６及びパーサモジュール４０８に伝達する。オーディオ／ビデオプレーヤモジュール４０６は、メイン制御部４０４から伝達されたオーディオ及びビデオファイルを同期化して再生し、パーサモジュール４０８は、メイン制御部４０４から伝達されたデータであるネオデータに対する分析を行って各受動型デバイスに伝達するためにネオデータの制御命令としてのマッピングを行う。

そして、同期化モジュール４１０は、パーサモジュール４０８から制御命令及び同期化情報の伝達を受け、制御命令が伝達された能動型及び受動型デバイスと同期を合せるようになる。その後、同期が合わせられた状態で同期化モジュール４１０はデバイス制御部４１２にマッピングされた制御命令を伝達し、デバイス制御部４１２では通信ＡＰＩ１０６を用いて連結された受動型デバイス４１８を確認した後、伝達を受けたマッピングされた制御命令に基づいて効果を実現できる受動型デバイスを判断して選択し、選択した受動型デバイスに各デバイスで実現され得る制御命令を伝送するようになる。

また、Ａ／Ｖプレーヤパート４０６のマルチトラックセンダ６０８はオーケストラメディアから分離された各オーディオ／ビデオをメインオーディオ／ビデオを除いて図６で説明する能動型デバイスの周辺のユーザに伝達する。

以下、下記の図面を通じて各ブロックについて具体的に説明する。

図５は、図４のメイン制御部の構造を示すブロック図である。

図５を参照すれば、メイン制御部４０４は、メインクロック管理部（Ｍａｉｎ Ｃｌｏｃｋ Ｍａｎａｇｅｒ）５００と、メディアパーサ（Ｍｅｄｉａ Ｐａｒｓｅｒ）５０２と、Ａ／Ｖ制御部（Ａ／Ｖ Ｃｏｎｔｒｏｌｌｅｒ）５０４とを含む。メインクロック管理部５００は、アクチュエータ１０２及び複数のデバイス全体に影響を与える時間を管理する。メインクロック管理部５００は、アクチュエータ１０２に連結された出力デバイス上でプレイされるメインオーディオ／ビデオの時間を中心に時間を管理し、コンピュータに内蔵されているクロック時間を基準として増加又は減少する。メディアパーサ５０２は、伝送されたオーケストラメディアにパーシングを行って複数のオーディオ／ビデオトラックとネオデータトラックとに分離する役割を行い、このとき、ネオデータは時間帯別又は場面別の効果同期化情報を含む。Ａ／Ｖ制御部５０４は、メディアパーサ５０２で分離されたメインオーディオ／ビデオトラックをＡ／Ｖプレーヤモジュール４０６に伝達する役割を行う。

図６は、図４のＡ／Ｖプレーヤモジュールの構造を示すブロック図である。

図６を参照すれば、Ａ／Ｖプレーヤパート４０６は、アクチュエータ１０２上でメインオーディオ／ビデオをプレイする機能と周辺の複数のユーザにメインオーディオ／ビデオを除いたオーディオ／ビデオを伝送する機能を担い、Ａ／Ｖバッファ６００、Ａ／Ｖシンカ６０２、Ａ／Ｖレンダラ６０４、Ｈ／Ｗデコーダ６０６、そしてマルチトラックセンダ６０８を含む。

Ａ／Ｖバッファ６００は、メイン制御部４０４のメディアパーサ５０２により分析されたオーディオビデオが格納され、Ａ／Ｖシンカ６０２はバッファに格納されているオーディオとビデオの同期を合せる役割を行う。Ａ／Ｖレンダラ６０４は、同期が合わせられたオーディオ／ビデオを１つの映像に結合するのに用いられ、Ｈ／Ｗデコーダ６０６は、レンダリングされた映像をＨ／Ｗに出力できるようにデコーディングを行う。そして、マルチトラックセンダ６０８は、アクチュエータ１０２と有無線インターフェースを通じて連結されている能動型デバイスであって、互いに異なるトラックのオーディオ／ビデオを伝送する役割を担う。

図７Aは、図４のパーサモジュールの構造を示すブロック図である。

図７Aを参照すれば、パーサパート４０８は、メイン制御部４０４のメディアパーサ５０２が分析したネオデータを分析するものであって、パーシングテーブル７００と、ネオデータ（Ｎｅｏｄａｔａ）分析器７０２と、ネオデータマッパ７０４とを含む。パーシングテーブル７００は、メイン制御部４０４のメディアパーサ５０２で分析されたネオデータが格納されるバッファである。ネオデータがストリーム形態で伝送される場合、ＥＰＧ(ＥｌｅｃｔｒｏｎｉｃＰｒｏｇｒａｍＧｕｉｄｅ)のように複数にわたって伝送され得る意味であるので臨時バッファはネオデータを格納して分析すべきである。しかしながら、このようなネオデータは一定の量（例えば、時間帯別、場面別など）のネオデータさえ伝送されればよいため、パーサテーブル７００はこれを臨時格納するために用いられる。

パーシングテーブル７００に格納されているネオデータは、共に伝送されたオーディオ／ビデオに関する効果情報のみを含んでいるため、ネオデータ分析器７０２がパーシングテーブル７００に格納されている効果データを制御命令に変換する過程が必要である。そのため、ネオデータ分析器７０２ではネオデータに含まれている効果情報を分析して効果情報に含まれている資料の構造を確認し、それにより、効果情報が分析されたネオデータは実際にアクチュエータ１０２に連結されているデバイスと連結するためにネオデータマッパ７０４で効果情報が各デバイスで実行され得るように該当デバイスに適した資料の構造を変換するマッピング過程を経る。

図７Bと図７Cはネオデータの資料構造と本発明の実施例によるネオデータを再生するための資料構造をそれぞれ表す。

ネオデータのマッピングの例は、以下の通りである。例えば、風が吹く場面でネオデータは図７Bの７０６の資料構造のように、効果タイプ、開始時間、効果実行時間、効果値などで表すことができるので、＜ＷｉｎｄＥｆｆｅｃｔ、１０.０s、３.５s、１ｍｓ＞という環境情報を有するようになる。ＷｉｎｄＥｆｆｅｃｔは風効果を表し、１０.０ｓはメインメディアで風効果が開始されなければならない時間を表し、３.５ｓは３.５秒間効果が持続しなければならず、１ｍｓは秒速１ｍの風効果を意味する。

これを家庭内のデバイスで再現するためには、図７Cの参照番号７０８の資料構造のように、デバイスタイプ、デバイスＩＤ、連結インターフェース、実行時間、制御タイプ、制御値などで表すことができるので、ネオデータマッパ７０４ではこれを＜Ｅｌｅｃｔｒｏｎｉｃ Ｆａｎ、１００５、ＩＲ、９ｓ、３段に対する制御コード、ＯＮ＞という制御情報に変換した後、同期化モジュール４１０に伝達する。これはＥｌｅｃｔｒｏｎｉｃ Ｆａｎは電気ファンを表し、１００５は電気ファンの固有ＩＤを表し、ＩＲは無線赤外線通信を表し、９ｓは実行時間であり、３段に対する制御コードは制御タイプを表し、ＯＮは電源オン状態の効果を意味する。

図８は、図４の同期化モジュールの構造を示すブロック図である。

図８を参照すれば、同期化パート４１０は、同期テーブル８００、同期タイマーチェッカ８０２、同期テーブルアップデータ８０４、デバイス制御インターフェース８０６を含む。同期テーブル８００は、ネオデータマッパ７０４でマッピングされたデータを格納するバッファであり、マッピングされたネオデータはマッピングされる順に同期テーブル８００に格納される。

同期タイムチェッカ８０２は、メインクロック管理部５００の時間によって連結されているデバイス（例えば、能動型デバイス）と同期化の要否を持続的にチェックし、もし、同期化されない能動型デバイスがある場合に能動型デバイスに同期設定命令を伝送する。同期テーブルアップデータ８０４は、実際にマッピングされたデバイスが実際に行われる時間（Ｅｘｅｃｕｔｉｏｎ Ｔｉｍｅ）を考慮して事前にデバイスが実行され得るように制御情報を修正する役割を担う。同期テーブルアップデータ８０４で実際の実行時間を計算するためには、下記の＜式１＞が用いられる。各デバイスの実際の実行時間Ｅ_iは各デバイスの開始時間Ｔ_iから実行時間Δｔ（ｄ_i）とネットワークディレーΔｔ（ｎ_i）を引いた値で計算される。

このとき、受動型デバイスの場合にはハードウェアを用いるため、ある程度の誤差範囲（例えば、４０μs 以下）を有することができるが、コンピュータ及びＰＤＡのような能動型デバイスは自体にＣＰＵを有して内部スケジューリングを行うため、各プロセスが行われる時間が不規則的である。従って、アクチュエータ１０２から制御命令が直接伝達されても実行される時間に誤差が発生せざるを得ない。また、現在の有無線通信インターフェースがリアルタイム性を保障するプロトコルではないので、これに対するディレーも考慮しなければならない。従って、同期テーブルアップデータ８０４では実際にデバイスが行われる時間を計算する時、能動型デバイスであるか、受動型デバイスであるかを区分する。各能動型及び受動型デバイスの実行時間Δt（ｄ_i）は下記の＜式２＞を用いて求めることができる。

ここで、ＳＰＤ（Ｓｅｎｄｅｒ Ｐｒｏｃｅｓｓｉｎｇ Ｄｅｌａｙ）は、アクチュエータ１０２側で命令を処理するために発生するディレー時間を意味し、ＳＭＡＤ（Ｓｅｎｄｅｒ Ｍｅｄｉａ Ａｃｃｅｓｓ Ｄｅｌａｙ）は、アクチュエータ１０２側でメディアを読み込むのにかかる時間を意味する。ＲＰＤ（Ｒｅｃｅｉｖｅｒ Ｐｒｏｃｅｓｓｉｎｇ Ｄｅｌａｙ）は、オーディオ／ビデオを受け取る能動型デバイスにおけるプロセシングディレー時間であり、ＲＭＡＤ（Ｒｅｃｅｉｖｅｒ Ｍｅｄｉａ Ａｃｃｅｓｓ Ｄｅｌａｙ）は、能動型デバイスで受け取ったオーディオ／ビデオをプレイするために用いられる時間である。

ネットワークディレーΔｔ（ｎ_i）値は、受動型デバイスの場合にハードウェアを用いるので、ネットワークディレーは０に設定し、能動型デバイスの場合には有無線で伝送する時に発生するディレー値をネットワークディレー値として求める。

デバイス制御インターフェース８０６は、図４のデバイス制御部４１２と連結されているので、デバイス制御部４１２は制御命令を連結された受動型デバイス４１８に伝送し、通信ＡＰＩ１０６を通じて各制御命令に対する受信確認メッセージなどを各デバイスから伝達を受けるようになる。

図９は、図４の能動型デバイスの構造を示すブロック図である。

図９を参照すれば、能動型デバイス４１６は、ホームサーバ１０２との連結を維持するためのセッション管理部９００、同期を合せるために時間を管理するクロック管理部９０２、ホームサーバ１０２とメディア再現時に同期を合せ、補正を行うためのメディアシンカ９０４、そして能動型デバイスに伝送されたオーディオ／ビデオを再現するメディアプレーヤ９０６を含む。

図１０は、図４の受動型デバイスの構造を示すブロック図である。

図１０を参照すれば、受動型デバイス４１８は、ホームサーバ１０２との連結を維持するためのセッション管理部１０００、アクチュエータ１０２と同期を合せるための時間管理を行うクロック管理部１００２、そして実際に受動型デバイスを制御するデバイス制御部１００４を含む。

図１１は、本発明の好適な実施形態によるオーケストラメディアサービスシステムの動作手順を示すフローチャートである。

図１１は参照すれば、１１００段階の能動型及び受動型デバイスと連結を行って連結されたデバイスと持続的な同期化を行うアクチュエータ上にメディア提供業者からオーケストラメディアデータが入力された場合、メイン制御部４０４のメインクロック管理部５００で１１０２段階を通じてオーケストラメディアデータの再現のために全体時間を制御するようになり、このとき、制御の中心となる時間はＡ／Ｖプレーヤモジュール４０６においてメインオーディオ／ビデオを再生する時間になり得る。

そして、１１０４段階ではメディアパーサ５０２を通じてオーケストラメディアデータのパーシングを行ってオーディオ／ビデオとネオデータとに分離するようになる。これにより、パーシングされたビデオ／オーディオは、Ａ／Ｖプレーヤモジュール４０６に伝達されてＡ／Ｖプレーヤモジュール４０６では１１０６段階でオーディオ／ビデオの同期化をした後、レンダリング作業及びデコーディング作業を通じてレンダリングをし、１つのオーケストラメディアに複数のトラック別映像が存在する場合にはパーサ部はこれを各部分に分割し、マルチトラックセンダは分離されたトラックを能動型デバイスに伝送する。

能動型デバイスを決定するため、アクチュエータは能動型デバイスの容積を知るべきである。能動型デバイスは分離されたオーディオ／ビデオの伝達を受け、能動型デバイスは同期化された方式にメインオーディオ／ビデオと共にオーディオ／ビデオを再生する。

そして、パーシングされたネオデータはパーサパート４０８に伝達して１１０８段階でネオデータに対する分析を行い、これを該当デバイスで実行され得る制御命令へ変換するマッピングを行う。その後、１１１０段階でデバイス制御部４１２はマッピングされた制御命令をパーサモジュール４０８から伝達を受け、効果装置を活性化するために制御命令を受動デバイスに伝送し、Ａ／Ｖプレーヤモジュール４０６はメインオーディオ／ビデオをテレビのような出力デバイス上でプレイし、オーケストラメディアから分離された別のオーディオ／ビデオをメインオーディオ／ビデオと同期化してプレイするために対応する能動型デバイスに伝送する。この段階以後、メインオーディオ／ビデオ、別のオーディオ／ビデオ及び効果データは同期化課程の助けで別々のデバイスでプレイし、各デバイスは調和をとれる。即ち、これらは別個に離れてプレイすることで、同期化し得る。

以上説明した通り、本発明は複数のオーディオ／ビデオを含むメディアを有無線ネットワークを介して複数の能動型デバイス及び受動型デバイスと同期を合せてプレイできるように実現するものであって、複数のトラックを有しているメディアファイルを有無線ネットワークを介して複数の能動型デバイスに伝達し、アクチュエータで再現されるメインメディアと同期を合せてメディアファイルの内部にある互いに異なるオーディオ／ビデオを複数の能動型デバイス及び受動型デバイスでプレイする。

一方、本発明の詳細な説明では具体的な実施形態について説明したが、本発明の範囲から逸脱しない範囲内で様々な変形が可能であるのはもちろんである。従って、本発明の範囲は説明された実施形態に限定されず、後述する特許請求の範囲だけでなく、この特許請求の範囲と均等なものにより定まるべきである。

４００ オーケストラメディア
４０２ オーケストラメディア伝送エンジン
４０４ メイン制御部
４０６ Ａ／Ｖプレーヤパート
４０８ パーサモジュール
４１０ 同期化モジュール
４１２ デバイス制御部
１０６ 通信ＡＰＩ
４１６ 能動型デバイス
４１８ 受動型デバイス

Claims (20)

1. メディア提供業者から伝送された複数のオーディオ／ビデオトラック及びネオデータを有するオーケストラメディアデータの伝達を受けてこれを連結された複数のデバイスと共有して再現するオーケストラメディアサービスシステムであって、
   前記オーケストラメディアデータをパーシングしてオーディオ／ビデオデータとネオデータとに分離した後、複数のオーディオ／ビデオからのメインオーディオ／ビデオをテレビのような出力デバイス上でレンダリングし、前記結合された映像が再生される時間を中心に連結されたデバイスとの同期を合せ、前記ネオデータを分析して連結された受動デバイスを活性化するための制御命令にマッピングする、クライアントエンジン部と、
   それぞれの連結方式を備えたデバイスと連結を行い、連結された受動デバイスに前記制御命令を伝送する通信インターフェースと
   を含むオーケストラメディアサービスシステム。
2. 前記クライアントエンジン部は、
   前記オーケストラメディアデータの再現のために現在の同期化時間を管理し、前記オーケストラメディアデータをパーシングしてビデオ／オーディオデータとネオデータとに分離するメイン制御部と、
   前記メイン制御部から伝達されたメインオーディオ／ビデオを再生するオーディオ／ビデオプレーヤモジュールと、
   前記メイン制御部から伝達を受けたネオデータを分析して前記ネオデータ内の効果を制御命令にマッピングして連結された受動デバイスを活性化するパーサモジュールと、
   オーディオ／ビデオプレーヤモジュールからのメインオーディオ／ビデオの再現時間、実行時間及び前記パーサモジュールから受動デバイスのための制御命令の伝達を受け、前記メインオーディオ／ビデオを除いた各オーディオ／ビデオトラックの伝達を受ける能動型デバイスと、前記制御命令が伝送される受動デバイスと同期化を行う同期化モジュールと、
   前記能動及び受動デバイスと連結を行い、連結された能動及び受動デバイスに前記制御命令を伝送するデバイス制御部と
   を含むことを特徴とする請求項１に記載のオーケストラメディアサービスシステム。
3. 前記メイン制御部は、
   前記オーディオ／ビデオプレーヤモジュールを通じて再生されるメインオーディオ／ビデオの時間を中心に連結された全体デバイスの時間を管理するメインクロック管理部と、
   前記オーケストラメディアにパーシングを行って複数のオーディオ/ビデオトラックと時間帯別、場面別の効果情報を含むネオデータトラックに分離するメディアパーサ部と、
   前記分離されたオーディオ及びビデオトラックを前記プレーヤパートに伝達するオーディオ/ビデオ制御部と
   を含むことを特徴とする請求項２に記載のオーケストラメディアサービスシステム。
4. 前記プレーヤモジュールは、
   前記メイン制御部から伝達されたオーディオ/ビデオデータを格納するバッファと、
   前記バッファに格納されたオーディオ/ビデオデータの同期を合せるシンカと、
   前記同期が合わせられたオーディオ/ビデオデータが１つの映像になるようにレンダリングするレンダラと、
   前記レンダリングされた映像をデコードして出力するデコーダと、
   前記デコードされた映像を連結されたデバイスに互いに異なるトラックのオーディオ及びビデオを伝送するマルチトラックセンダと
   を含むことを特徴とする請求項２に記載のオーケストラメディアサービスシステム。
5. 前記パーサモジュールは、
   前記メイン制御部から伝達を受けた前記ネオデータを格納してバッファリングを行うパーシングテーブルと、
   前記ネオデータに含まれている効果情報を分析して資料構造を確認するためのネオデータ分析器と、
   前記分析された制御命令を各デバイスに適した制御命令に変換してマッピングするネオデータマッパと
   を含むことを特徴とする請求項２に記載のオーケストラメディアサービスシステム。
6. 前記ネオデータの資料構造は、
   効果タイプ、開始時間、効果実行時間、効果値のうち少なくともいずれか１つを含むことを特徴とする請求項５に記載のオーケストラメディアサービスシステム。
7. 前記同期化モジュールは、
   前記パーサモジュールを介して伝達を受けたマッピングされたデータに対するバッファリングを行う同期テーブルと、
   連結された受動デバイス間の同期化を持続的にチェックする同期タイムチェッカと、
   前記連結されたデバイスが実際に行われる時間を考慮して制御情報を修正する同期テーブルアップデータと、
   前記デバイス制御部と連結して制御命令を送信し、フィードバックを受信するデバイス制御インターフェースと
   を含むことを特徴とする請求項２に記載のオーケストラメディアサービスシステム。
8. 前記デバイスの実際の実行時間は、
   デバイス開始時間から装置の活性化時間と、ネットワークディレーを引いた値で算出することを特徴とする請求項７に記載のオーケストラメディアサービスシステム。
9. 前記実行される時間は、
   前記デバイスが能動型デバイスである場合、
   ホームサーバで命令を処理するために発生するディレー時間と、アクチュエータ部でメディアを読み込むのにかかる時間と、オーディオ／ビデオを受け取る能動型デバイスにおけるプロセシングディレー時間と、オーディオ／ビデオデータをプレイするために用いられる時間の和であることを特徴とする請求項８に記載のオーケストラメディアサービスシステム。
10. 前記パーサモジュールを通じてマッピングされた制御命令は、
    デバイスタイプ、デバイスＩＤ、連結インターフェース、実行時間、制御タイプ、制御値のうち少なくともいずれか１つを含むことを特徴とする請求項２に記載のオーケストラメディアサービスシステム。
11. 前記デバイス制御部は、
    通信アプリケーション・プログラム・インターフェースを通じて前記能動型又は受動型デバイスとの連結を行い、
    連結された前記能動型又は受動型デバイスに制御命令を送受信し、フィードバックを受信することを特徴とする請求項２に記載のオーケストラメディアサービスシステム。
12. 能動型及び受動型デバイスと連結を行って連結されたデバイスと持続的な同期化を行うアクチュエータ内において、メディア提供業者から伝送されたオーケストラメディアデータの再現のために全体時間を制御する過程と、
    前記オーケストラメディアをパーシングしてオーディオ／ビデオとデータとネオデータとに分離する過程と、
    前記オーディオ／ビデオデータの伝達を受けてこれに対する同期を行って再生する過程と、
    前記ネオデータを分析して連結されたそれぞれのデバイスに伝送するための制御命令にマッピングする過程と、
    前記マッピングされた制御命令を受動型デバイスに伝送し、メインオーディオ／ビデオを除いた各オーディオ／ビデオを能動型デバイスに伝送する過程と
    を含むオーケストラメディアサービス方法。
13. 前記再生する過程は、
    各オーディオ/オーディオデータに対して互いの同期を合せる過程と、
    前記同期が合わせられたオーディオ/ビデオデータを１つの映像に結合させる過程と、
    前記結合された映像をデコードする過程と、
    前記デコードされた映像を連結された該当デバイスに伝送する過程と
    を含むことを特徴とする請求項１２に記載のオーケストラメディアサービス方法。
14. 前記制御命令にマッピングする過程は、
    前記ネオデータを格納してバッファリングを行う過程と、
    前記ネオデータの資料構造に対する分析を行って前記ネオデータに含まれている効果情報を実現するための制御命令を確認する過程と、
    前記確認された制御命令を各デバイスに適した制御命令に変換してマッピングする過程と
    を含むことを特徴とする請求項１２に記載のオーケストラメディアサービス方法。
15. 前記ネオデータの資料構造は、
    効果タイプ、開始時間、効果実行時間、効果値のうち少なくともいずれか１つを含むことを特徴とする請求項１４に記載のオーケストラメディアサービス方法。
16. 前記アクチュエータ内で持続的な同期化のために、前記マッピングされた制御命令に対するバッファリングを行う過程と、
    前記連結されたデバイスが実際に行われる時間を考慮して制御情報の修正及び同期化時間の制御を行う過程と
    を含むことを特徴とする請求項１２に記載のオーケストラメディアサービス方法。
17. 前記デバイスが実際に行われる時間は、
    デバイス開始時間からデバイスの実行される時間と、ネットワークディレー時間を引いた値で算出することを特徴とする請求項１６に記載のオーケストラメディアサービス方法。
18. 前記実行される時間は、
    前記デバイスが能動型デバイスである場合、アクチュエータ部で命令を処理するために発生するディレー時間と、メディアを読み込むのにかかる時間と、オーディオ／ビデオデータを受け取る能動型デバイスにおけるプロセシングディレー時間と、オーディオ／ビデオデータをプレイするために用いられる時間の和であることを特徴とする請求項１７に記載のオーケストラメディアサービス方法。
19. 前記マッピングされた制御命令は、
    デバイスタイプ、デバイスＩＤ、連結インターフェース、実行時間、制御タイプ、制御値のうち少なくともいずれか１つを含むことを特徴とする請求項１２に記載のオーケストラメディアサービス方法。
20. 前記マッピングされた制御命令を前記能動型及び受動型デバイスに伝送する過程は、
    通信アプリケーション・プログラム・インターフェースを通じて前記能動型又は受動型デバイスとの連結を行った後、連結された前記能動型又は受動型デバイスと制御命令及びデータを送受信することを特徴とする請求項１２に記載のオーケストラメディアサービス方法。

Images