JP2007025073A - データ伝送方法、データ送信装置及びデータ受信装置、並びにプログラム - Google Patents

Abstract

【課題】画面更新要求から画像が表示するまでの応答時間を短縮し画像損失の少ない高精細画像を送信する。
【解決手段】ＰＣ２とプロジェクタ３を通信路４で接続したシステムでＰＣ２はデータ送信装置１０を有し、データ送信装置１０は画面表示の画像データを取得する画面データ取得回路２１と１フレーム分画素データを記憶するメモリ２２及びメモリ２３と、画像データを比較し差分領域を検出する差分検出回路２４と、検出した差分情報を記憶する差分情報メモリ２５と、複数の圧縮方式でデータ圧縮するデータ圧縮回路２６と、圧縮後のデータ容量を見積る見積り判定回路２７と、データ圧縮回路２６へ画像データを切換るスイッチ２８と、圧縮データを送信する送信回路２９を備え、圧縮方式による圧縮後データの容量見積り、非可逆圧縮で圧縮した画像データを送信して画面更新の応答時間を短縮し、続いて可逆圧縮で圧縮した画像データを再度送信し補間する。
【選択図】図５

Description

本発明は、例えば、静止画像データをプロジェクタ又はＰＤＰ等の大型映像表示装置に伝送するデータ伝送方法、また画像データを伝送するデータ送信装置、画像データを受信するデータ受信装置に関する。

現在、コンピュータで扱う画像データは、精細度が上がる一方で、表示素子の解像度も着実に上がってきている。これらの技術の傾向から、近年、コンピュータの画像信号を液晶プロジェクタに入力し、これを投射しプレゼンテーションを行うことが盛んになってきている。しかしながら、コンピュータの画像信号をプロジェクタに入力するためのケーブルは、一般的にはＲＧＢの３本の画像信号用線、水平同期及び垂直同期の２本の同期信号用線の計５本の線が束になったものが用いられ、またその信号の帯域幅からケーブルが太くて短いものが用いられている。このため、コンピュータ及びプロジェクタの配置位置が制限され、プレゼンテーションの自由度を下げている。また、複数のプレゼンテータが交代でプレゼンテーションを行う場合には、次のプレゼンテータに交代するときに、発表に使用するコンピュータにケーブルを繋ぎ換えるか、プレゼンテーション用のデータを予めプロジェクタに接続されたコンピュータに保存しておくかしなければならなかった。これを解決するため、画像信号を無線で伝送する画像伝送システムが提案されている（例えば、特許文献１参照）。

この画像伝送システムでは、送信側のフレームメモリに入力画像データを記憶させ、このデータをシリアルで読み出し、赤外線若しくは無線により伝送し、受信側でシリアル信号からパラレル信号に戻し、このパラレル信号を受信側のフレームメモリに記憶し、このメモリを読み出すことによりＲＧＢの画像データ信号を復元している。

ところで、プレゼンテーション等で汎用な画像信号としてＸＧＡと呼ばれる映像信号形式がある。ＸＧＡは、画像サイズが水平方向１０２４画素×垂直方向７６８画素、フレーム周波数が６０Ｈｚのものはクロック周波数が６５ＭＨｚであり、これらがＲＧＢ各８ビット必要であることから、シリアル信号で伝送するときの伝送レートは、約１．６ＧＨｚとなる。一例として、帯域幅が約１００ＭＨｚの赤外線通信で空間伝送する場合、上述の画像伝送システムでは、複数のフレーム期間を用いて伝送することが可能であるが、伝送レートから勘案すると１６フレームに１枚の画像しか伝送できず、発表者（プレゼンタ）がマウスを動かしても画面上のカーソルの動きがぎこちなく不自然になる等の問題があった。

一般的な画像伝送システムには、ＭＰＥＧ（Moving Picture Experts Group)、ＪＰＥＧ（Joint Photographic Expert Group) 等の画像圧縮符号化方式が使われるが、このとき問題となるのが画品位である。ＭＰＥＧ及びＪＰＥＧは、主として自然画像（ビデオデータ）を符号化するのに適した画像圧縮符号化方式であり、コンピュータ出力（特に高精細なテキスト画面など）には不向きである。更に、ＭＰＥＧエンコードには画像データから動きベクトルを求める動き検出、離散コサイン変換（ＤＣＴ:Discrete Cosine Transform）演算が必要になり、回路規模が大きくなる。その結果、規模が大きく高コストのシステムになってしまう。

また、コンピュータからの出力の場合、表示画像のファイルそのものをＬＡＮ（Local Area Network)経由で伝送することも可能である。最近、２．４ＧＨｚ帯の無線ＬＡＮの商品も出てきているが、この場合、画品位はオリジナルのままであるが、次のような問題が発生する。例えば、送信側をコンピュータ、受信側をディスプレイ（モニタ、プロジェクタ）とした場合、送信側にとって問題はないが、受信側であるディスプレイがＬＡＮ機能をもたせることが必要になる。ディスプレイにＬＡＮ機能がない場合、受信側にコンピュータを用意することが必要になり、結果としてコストアップになる。また、ＬＡＮ接続は、コンピュータとディスプレイとをＶＧＡケーブルで接続するだけでは使用できず、設定方法が煩雑である。

そこで、煩雑な設定作業を必要とせず、配置位置又は伝送レートに関わらず、確実に画像データを再生する手法として、入力されている画像データが前のフレームの画像データに比べて変化があったか否かを判別し、判別結果に応じて伝送する画像データの領域を設定し、変化に相当する画像データの差分を示すデータを付加し伝送する信号伝送システムが提案されている（例えば、特許文献２参照）。特許文献２の技術では、通信手段の伝送帯域に対して差分画像の信号量が大きい、つまり画面内で変化した領域が大きい場合は全画面を１／１６の小画面に分割し、フレーム毎に異なる小画面に相当する画像データを伝送し、１６フレーム期間かけて全ての画像データを更新している。

特開平１１−００４４６１号公報 特開２００１−１０３４９１号公報

ところが、特許文献２のような技術では、このため画面の変化量が大きい場合はその更新に遅延が生じるという問題がある。入力される元の画像データの大部分が変化する場合、又はページチェンジのように表示画像データの変化量が大きくなる場合には、伝送データ量が増え、画像データを伝送し始めてから画像が表示されるまでに、やはりタイムラグが生じることになる。また、１６フレーム期間かけて更新している間に新たな画面変化が起きたときには、この新たな差分画像が送信されるのは、先の１６分割された小画面の送信が終わった後である。近年では、プレゼンテーションで、アニメーション効果を用いた動きのある画像がしばしば用いられるため、このような伝送遅延が発生するとプレゼンテータの意図した映像が表示できないという問題が発生する。

このように、従来の画像データ伝送方法では、画像データによって画像表示までの応答時間に差が生じ、プレゼンテーション画像が表示待ち状態になると、説明のタイミングに合った適切な表示がされないことがあり、円滑なプレゼンテーションの妨げになっていた。

そこで本発明は、上述した従来の実情に鑑みてなされたものであり、画面の更新要求があってから画像が表示されるまでの応答時間を短縮し、画像損失の少ない高精細の画像を送信する間に発生した新たな画面更新に対する応答性を向上することができる信号伝送方法、この信号伝送方法を適用したデータ送信装置及びデータ受信装置を提供することを目的とする。また、コンピュータにより画像データの送信及び／又は受信が制御されている装置に対して、画面の更新要求があってから画像が表示されるまでの応答時間を短縮するとともに、画像損失の少ない高精細の画像を送信する間に発生した新たな画面更新に対する応答性を向上する信号伝送方法を実現するプログラムを提供することを目的とする。

上述した課題を解決するために、本発明に係るデータ伝送方法は、データ送信装置から通信路を介してデータ受信装置に対して画像データを送信するときに、データ送信装置に表示された画像データと現在の画面データである現画像データとを比較して差分情報を検出し、検出された差分情報から両画像データの差分を含む差分領域を検出し、差分領域に対応する画像データを第１の圧縮方式又は圧縮後のデータを復号したとき該第１の圧縮方式よりも原画像により近いデータが得られる第２の圧縮方式により圧縮し、差分領域に対応する画像データを第１の圧縮方式又は第２の圧縮方式で圧縮したときの圧縮後のデータ量を見積もるデータ見積り、見積もられたデータ量が相対的に小となる圧縮方式で圧縮された画像データと、使用した圧縮方式と、差分領域を特定する情報とをデータ受信装置に送信し、送信した第１の圧縮方式の圧縮後のデータ量が相対的に小となる場合に、データ送信工程の後に第１の圧縮方式で圧縮した差分領域の画像データを第２の圧縮方式で圧縮して再度送信する。

また、本発明に係るデータ伝送方法は、圧縮後のデータ量が相対的に大となる圧縮方式で圧縮された差分領域の画像データの送信中に新たな差分情報が検出されたとき、新たな差分領域に対応する画像データを圧縮後のデータ量が相対的に小となる圧縮方式により圧縮して送信する。そして、差分検出の際には、１画面を所定サイズの処理ブロックに分割し、ブロック毎に画像データと現在の画面データである現画像データとを比較して差分情報を検出する。

本発明によれば、画面の更新要求があってから画像が表示されるまでの応答時間を短縮することができ、高精細の画像を表示することが可能になる。更に、画像損失の少ない高精細の画像を送信する間に発生した新たな画面更新に対する応答性が向上する。

以下、本発明を適用したデータ送信装置及びデータ受信装置について、図面を参照して詳細に説明する。

本発明の実施の形態として示す本発明の信号伝送方法を適用したデータ伝送システムは、ＰＣ（パーソナルコンピュータ）等の情報処理端末に着脱可能に装着されて或いは組み込まれて使用されるデータ送信装置と、通信路を介して接続されるデータ受信装置としての画像投影装置（以下、プロジェクタという）とを備え、データ送信装置からプロジェクタに対して、ＰＣのモニタに表示される画像データを送信してスクリーン等に投影できるようにしたものである。したがって、本具体例で扱う画像データとは、主として、ＰＣのソフトウェアで作成及び加工が可能な図表によって構成された画面、更にはこれらにテキストデータが組み込まれた画面等のようなコンピュータ画面の静止画像であり、写真又は映像の一部を切り出した画像データも含まれるが、主として写真又は映像の一部を切り出したこれらの画像データよりも抽象的な静止画像を表している。

このようにＰＣとプロジェクタとをネットワーク接続したシステムでは、１フレーム分の画像データのサイズ、ネットワーク帯域、伝送レート等を考慮すると、画像更新が要求されたとき、更新された画像データのデータサイズによっては、画像データが伝送され表示されるまでにタイムラグが生じることがある。そこで、本発明の実施の形態として示すデータ送信装置では、複数の圧縮方式による圧縮後のデータ容量を見積り、圧縮後のデータ容量がより小さい圧縮方式によって圧縮した画像データをまず送信することによって画像が表示されるまでの応答時間を短縮するとともに、続いて、圧縮後のデータ画質が原画像のデータ容量により近い圧縮方式を用いて圧縮した画像データを送信することによってプロジェクタ３によって投影される画像品質も保持することを可能とした。

図１では、データ伝送システム１は、ＰＣ２と、データ受信装置としてのプロジェクタ３とが通信路４ａにより直接接続された例を示している。通信路４ａとしては、イーサネット（Ethernet：登録商標）のクロスケーブルによる接続や、ＩＥＥＥ８０２．１１ｇのアドホック（ad-hoc）接続を利用することができる。本発明の実施の形態として示すデータ送受信装置１０は、上述した通信路４ａに対する接続インターフェイスとして提供されており、例えば、ＵＳＢ（Universal Serial Bus）でＰＣ２と接続されている。また、いわゆるＰＣカードタイプになっていてもよい。

図２は、図１の具体的な使用状況を模式的に示したものである。この例では、ＰＣ２にデータ送信装置１０が接続されており、ＰＣ２のモニタ５に表示される画像６が通信路４ａを介してプロジェクタ３に送られ、スクリーン７にも投影することができることを示している。図２では、ＰＣ２のモニタ５上の画像６がプロジェクタ３によってスクリーン７上に画像８として表示されている。

また、ＰＣ２とプロジェクタ３の接続の別の例として、図３のように、ＰＣ２とプロジェクタ３とを、いわゆるインターネット、イントラネット等のＴＣＰ／ＩＰを実装できるコンピュータネットワークである通信路４ｂを介して相互に通信可能に接続したデータ伝送システム１ａとすることもできる。この場合、図示しないが、データ送信装置１０は、通信路４ｂに対する接続インターフェイスとして提供される。通信路４ｂとしては、例えば、イーサネット（登録商標）準拠の有線ネットワーク、ＩＥＥＥ８０２．１１ｂ、ＩＥＥＥ８０２．１１ｇ等に準拠した無線ネットワークを使用できる。図３の場合、プロジェクタ３は、通信路４ｂに接続されたＰＣ２と、他のネットワーク端末１００とで共有されており、通信路４ｂに接続されたＰＣ２と同等に機能する他のネットワーク端末１００からもプロジェクタ３を利用することができる。

次に、図４及び図５を用いて、ＰＣ２とデータ送信装置１０の基本的なハードウェア構成について説明する。

ＰＣ２は、ＣＰＵ１５で実行するためのソフトウェア及び各種処理に用いられるデータ等が格納されるメインメモリ１１と、画像データを処理するユーザインタフェイス用のディスプレイ１２が接続されたビデオカード１３とを備え、これらがシステムバス１４で接続されて、ＣＰＵ１５によって統括して制御されている。また、システムバス１４には、通信路４ａに接続するためのネットワークアダプタ１６が接続されている。

ビデオカード１３は、図４に図示しないビデオメモリを更に有しており、このビデオメモリには、ディスプレイ１２（図２のモニタ５に対応する）に画像として表示する画像データが格納される。ＰＣ２は、ＣＰＵ１５に制御されてビデオメモリ又はメインメモリ１１上に用意されたビデオデータ専用の領域に格納された画像データをディスプレイ１２に表示することができる。なお、ビデオメモリは、メインメモリ１１上に用意されてもよい。ディスプレイ１２は、一例として解像度が水平方向１０２４画素×垂直方向７６８画素のＸＧＡと呼ばれる規格を使用する。

ネットワークアダプタ１６は、イーサネット（登録商標）に準拠したものであり、コンピュータネットワークに接続可能である。本実施の形態では、このネットワークアダプタ１６がデータ送信装置１０に相当する。

図５にデータ送信装置１０の基本構成を示す。データ送信装置１０は、画面に表示される画像データを取得し、各メモリに割り振る画面データ取得回路２１と、取得した１フレーム分の画面の画像データを一時的に記憶するメモリ２２及びメモリ２３と、メモリ２２及びメモリ２３の画像データを比較し差分のある領域を検出する差分検出回路２４と、差分検出回路２４で検出された差分に関する情報を記憶する差分情報メモリ２５と、複数の圧縮方式によりデータを圧縮するデータ圧縮回路２６と、同一のデータを複数の圧縮方式により圧縮したときの圧縮後のデータ容量を見積もるとともに比較する見積り判定回路２７と、データ圧縮回路２６に供給する画像データの供給元を切り換えるスイッチ２８と、圧縮されたデータを送信する送信回路２９とを備える。上述した各構成要素は、制御部３０及びＰＣ２からの同期信号に基づいた制御信号等によって統括制御されている。

次に、データ送信装置１０の各構成と動作を、ＰＣ２の画面データの伝送方法と合わせて具体的に説明する。

画面データ取得回路２１は、メインメモリ１１又はビデオカード１３上に用意されたビデオメモリからシステムバス１４を介して供給された画像データを入力するとともに、供給された画像データを制御部３０の制御により、入力した画像データをメモリ２２又はメモリ２３に適宜配分する。画面データ取得回路２１は、１フレーム分の画面データの記憶先をメモリ２２かメモリ２３の何れかに切り換える。また、差分情報に応じて、スイッチ２８を制御して後段のデータ圧縮回路２６に送る画像データを切り換える。そのため、画面データ取得回路２１は、メモリ２２及びメモリ２３の何れに最新の画面データが記録されているか管理し、ビデオメモリへの内容をコピーする際には、最新の画面データが記録されていない方のメモリにコピーする。管理する方法としては、１バイトのメモリ状態変数を用意し、例えば、メモリ２２に最新の画面データがコピーされた場合にはメモリ状態変数を１とし、メモリ２３に最新の画面データがコピーされた場合にはメモリ状態変数０とする。画面データ取得回路２１は、画像データの取得を定期的に実行することもできるが、ビデオメモリの内容に変化があったときに起動する。

メモリ２２及びメモリ２３は、少なくともＸＧＡの１画面分の表示に必要なデータ容量を満たす記憶領域を有し、画面データ取得回路２１から供給される画像データを一時的に記憶する。メモリ２２及びメモリ２３は、１つのメモリを２つの領域に区分した物理的に１つのメモリであってもよい。

差分検出回路２４は、画面データ取得回路２１がメモリ２２又はメモリ２３に画面データを取得すると、制御部３０からの指示に基づいて、２つのメモリに記憶されたフレームのデータを比較し、差分のある領域を検出する。本具体例では、上述したようにディスプレイの解像度は、データ量が多い高精細画像データであるＸＧＡを想定しているので、差分検出回路２４は、差分検出の効率をあげるために画面データを所定サイズの処理ブロック単位に分割し、処理ブロック単位毎に差分の検出を行う。後の画像データの圧縮における効率を考慮しても、処理ブロック単位毎に圧縮処理を行うことが効率的である。この場合のブロックのサイズは、後段で説明する画像データの圧縮方式や、ＣＰＵの処理速度、性能に応じて決定すればよい。例えば、画像データの圧縮方式の１つとしてＪＰＥＧを用いる場合には、ＪＰＥＧでは８×８ピクセルのブロックを基本単位として処理を行っているため、処理ブロック単位を８×８ピクセルの整数倍にすると都合がよい。

差分検出の例を、図６を用いて説明する。図６（ａ）は、メモリ２２に記憶された画面データを示し、図６（ｂ）は、メモリ２３に記憶された画面データを示す。この場合、図６（ａ）は、前の画面データであり、図６（ｂ）は、現在の画面データであることを示している。図６（ａ）、（ｂ）は、１つ前のフレームのＡ１に表示されたオブジェクト６１とＢ１に表示されたオブジェクト６２が、現在のフレームにおいてＡ２、Ｂ２に移動したことを示す例である。なお、図６（ａ）、（ｂ）では説明を簡潔にするため、両図のフレームが連続したフレームであるとしている。しかし実際には、後段にて説明するが、画面データ取得回路２１は、連続して送られるフレームを常に同じタイミングでメモリ２２とメモリ２３とに振り分けているのではなく、制御部３０によって取得が指示されたときのフレームをメモリ２２，２３のうち時間的により古いフレームのデータを記録しているメモリに取り込む。また、画面サイズは、ＸＧＡ規格である。

本具体例では、１画面を垂直方向に６、水平方向に８に分割し、分割してできたブロックを処理ブロック単位として扱う。各処理ブロック単位のブロックサイズは、ＸＧＡでは、８×８ピクセルの整数倍である１２８×１２８ピクセルとなり、１フレーム分の画面データの総ブロック数は４８個となる。各処理ブロック単位に差分が含まれるか否かの判別は、ブロック内のピクセル値を単純に比較する。画素値が異なるピクセルが１つでも存在すれば、このブロックは差分を有するとみなす。そして、差分検出回路２４は、差分を有する処理ブロック単位（以下、差分ブロックという）が隣接する場合には、隣接する差分ブロックを矩形状の１領域にまとめ、この差分ブロックが連続してなる１集合を差分領域として扱う。

隣接する差分ブロックをまとめる方法は、例えば、画面データにおいて左上の処理ブロック単位から差分ブロックを検索し、一番初めに検出された差分ブロックから右隣のブロックが差分ブロックかどうかを判別し、差分のないブロックが検出されるか一番右端のブロックに達するまで探索し、隣接していたブロックを一時的にまとめる。そして、この一時的にまとめられた領域のブロックに関して垂直方向に差分ブロックであるか判別し、検出された差分ブロックをまとめて１つの差分領域とする。

続いて、差分検出回路２４が時間的に前後する２つの画像データから差分を検出する処理について図７〜図８を用いて説明する。

差分検出回路２４は、左上のブロックから差分検出を開始する。ステップＳ１において、メモリ２２に記憶された１つ前の画面データとメモリ２３に記憶された現在の画面データについて、処理ブロック単位内の１ピクセル（画素）毎に画素値を比較する。画素値が異なるピクセルが存在する場合、ステップＳ２において、差分ブロックであることを示すブロック差分フラグを１にする。差分がなければ、ステップＳ３において、ブロック差分フラグを０にする。差分検出回路２４は、上述のように処理ブロック単位に分割された１画面に対して、左上のブロックを先頭とする行について水平方向にステップＳ１〜Ｓ３を行って、右端のブロックまで到達すると、次に一段下の行について同様に差分検出処理を行う。１画面の全処理ブロック単位に対して、一連の処理が終わると、各処理ブロック単位に対して、図８に示すような差分フラグが作成される。差分検出回路２４は、差分ブロックを検出後、後のデータ処理の効率を考慮して、検出した差分ブロックが隣接して存在する場合には、ステップＳ４において図８に示す差分フラグに基づいて隣接した差分ブロックを結合して矩形状にまとめる。

次に、ステップＳ４における差分フラグの結合処理を図９に示す。ステップＳ１１において、差分検出回路２４は、図８に示す差分フラグについて差分ブロックが０個かどうか判別する。ステップＳ１１において、図８の差分フラグに差分ブロックが０個であった場合、ステップＳ１２において、差分領域はないものとして終了する。差分フラグに差分ブロックがある場合、ステップＳ１３において、全ての処理ブロック単位に差分があるか否か判別する。ステップＳ１３において、全ての処理ブロック単位に差分がある場合には、ステップＳ１４において、差分領域が全画面であるとする。画面データ全体を使って、後述する圧縮方式の見積りをする。

一方、ステップＳ１３において、処理ブロック単位の全てに差分があるわけではない場合には、各行について上から順番に、そして行内は左上のブロックから順番に１画面の処理ブロック単位の各々に対して差分フラグを検出する。差分検出回路２４は、左上の処理ブロック単位について、ステップＳ１５において、差分フラグが１であるか否か判別する。ステップＳ１５において、差分フラグが１であれば、差分検出回路２４は、ステップＳ１６において、隣接する差分ブロックを結合して矩形状の１領域とし、この差分ブロックが連続してできる１領域を差分領域として扱う。

ステップＳ１６における差分ブロックから差分領域を決定する処理について図１０を用いて詳細に説明する。図１１は、検出される差分領域を説明している。

ステップＳ１６−１において、隣接する処理ブロック単位の差分フラグが０か否か判別する。差分フラグが０でなければ、すなわち隣接する処理ブロック単位が差分ブロックであれば、更にその右隣の処理ブロック単位について差分フラグが０か判別する。この差分フラグの検出は、ステップＳ１５において差分フラグか検出された処理ブロックから同じ行の右端のブロックまでブロック毎に行う。差分検出回路２４は、隣接する処理ブロック単位が差分フラグ０の場合、ステップＳ１６−２において、図８に示すように、差分フラグ１を有する隣接する処理ブロック単位の右端に位置する差分ブロックの水平位置をＸ_{ｒｉｇｈｔ}とし、左端に位置する差分ブロックの水平位置をＸ_ｌｅｆｔとして差分情報メモリ２５に記憶する。図１１では、Ｘ_{ｒｉｇｈｔ}＝１２７、Ｘ_ｌｅｆｔ＝６３９である。

次に、差分検出回路２４は、ステップＳ１６−３において、水平方向Ｘ_ｌｅｆｔ〜Ｘ_{ｒｉｇｈｔ}まで連続した差分ブロック集合に対して、更に垂直方向に差分ブロックの連続性を検出する。すなわち、水平方向Ｘ_ｌｅｆｔ〜Ｘ_{ｒｉｇｈｔ}まで連続した差分ブロック集合の垂直方向隣のブロックが差分ブロックであるか否か判別する。この処理は、最初に差分ブロックとして検出されたブロックのｘ座標Ｘ_ｌｅｆｔ（図１１における（１２７，０））を左端とするブロックから垂直方向に向かって隣接ブロック毎に繰り返し行う。水平方向Ｘ_ｌｅｆｔ〜Ｘ_{ｒｉｇｈｔ}まで連続した差分ブロック集合の垂直方向隣の処理ブロック単位の差分フラグが１である場合には、更に垂直方向隣の処理ブロックの差分フラグが１であるか判別する。差分フラグ０のブロックに達した場合、差分検出回路２４は、ステップＳ１６−４において、最初に検出された差分ブロックの左上座標Ｘ_ｌｅｆｔ、すなわち図１１における座標（１２７，０）を差分領域の左上の座標として差分情報メモリ２５に記憶する。

また、差分検出回路２４は、ステップＳ１６−５において、差分領域の幅に相当する右端の座標Ｘ_{ｒｉｇｈｔ}と、ステップＳ１６−３で垂直方向の差分フラグ０と検出されたブロックのＹ座標、すなわち図１１における座標（６３９，２５５）を差分領域の右下の座標として差分情報メモリ２５に記憶する。そして、差分検出回路２４は、ステップＳ１６−６において、差分ブロックを結合してできた、座標（１２７，０）と（６３９，２５５）で指定される領域を１つの差分領域とし、この差分領域内の差分フラグを０に戻す。このように、差分領域として検出されたブロックは、差分フラグを０にすることで、次回の探索対象から除外されるため処理負荷が軽減でき、より単純な処理で差分領域を計算することができる。

以上説明した処理により、１画面分の処理ブロック単位の各々に対して水平方向にステップＳ１５及びステップＳ１６を行い、次に一段下の行について同様に差分検出処理を行うことにより、差分検出回路２４は、メモリ２３に記憶された現在の画面データと、メモリ２２に記憶された１つ前のフレームの画面データとを比較した結果を矩形状の差分領域として検出することができる。図１１は、差分領域として検出される矩形状の領域を説明する図である。図６（ａ）に示したメモリ２２に記憶された１つ前の画面データにおいてＡ１に位置していたオブジェクト６１がメモリ２３に記憶された現在の画面データにおいてＡ２に位置していたとき、（１２７，０）と（６３９，２５５）とで表現できる差分領域Ｓ１が検出される。また同様に、（３８３，６３９）と（７６７，７６７）とで表現できるオブジェクト６２に由来する差分領域Ｓ２が検出できる。

差分検出回路２４は、差分領域Ｓ１を表す（１２７，０）と（６３９，２５５）と、差分領域Ｓ２を表す（３８３，６３９）と（７６７，７６７）とを差分情報として、差分情報メモリ２５に供給する。差分情報メモリ２５は、これらを差分情報として記録する。差分領域に対して、これらの差分領域の数を減少させるように矩形形状を決定すると、座標データの情報量が減るため、圧縮効率をあげることができ、またプロジェクタ３での復号処理の効率をあげることができるという利点がある。

なお、差分検出回路２４において検出された差分ブロックを隣接した差分ブロック同士でまとめて１差分領域とするアルゴリズムは、種々考えられる。より複雑なアルゴリズムを用いれば、後の圧縮処理における圧縮率の向上させることが可能である。例えば、上述した例では、最初の差分ブロックから水平方向に差分ブロックを検索してブロックを結合するアルゴリズムを用いたが、最初の差分ブロックから垂直方向に差分ブロックを検索してブロックを結合していくことも可能である。また、差分ブロックを結合してなる差分領域の数を最適にするために、両アルゴリズムを用いて差分領域を作成し、より最適な数になるアルゴリズムを選択するという方法をとれば、後の圧縮処理における圧縮の回数を削減することにもなり、処理全体の効率が向上する。

次に、データ圧縮回路２６について説明する。データ圧縮回路２６は、圧縮後のデータ量がより小さくなる第１の圧縮方式と、復号後のデータが圧縮前のデータと完全に一致するような第２の圧縮方式により画像データを圧縮する。第１の圧縮方式としては、圧縮効率が高い、すなわち圧縮後のデータ容量をできるだけ小さくできる非可逆圧縮を用いる。例えば、ＪＰＥＧ（Joint Photographic Experts Group）を適用することができる。一方、第２の圧縮方式としては、一般的にデータの圧縮効率は非可逆圧縮に劣るが復号後のデータ容量が圧縮前のデータと完全に一致する可逆圧縮を用いる。可逆圧縮の例としては、ランレングス符号化、ハフマン符号化、ＬＺＷ（Lampel Ziv Welch）アルゴリズム、ＬＺ（Lampel Ziv）７８、ＬＺ７７が適用できる。

データ圧縮回路２６は、制御部３０からの指示に基づいて、上述した差分検出回路２４において検出された差分領域に関する差分情報を差分情報メモリ２５から取得するとともに、メモリ２２又はメモリ２３のうち最新の画面データ（現在の画面データ）が記録されている方のメモリから差分領域に対応する画像データを取得する。ここで、大抵の画像データについては非可逆圧縮の方が可逆圧縮よりも圧縮効率が高いが、画像データの性質によっては可逆圧縮を用いて非可逆圧縮よりも圧縮データをより小さくできることがある。そこでデータ圧縮回路２６は、取得した矩形状の差分領域のデータに対して、どちらの圧縮方式がよりデータ容量が小さくなるかを算出する。そして、圧縮後のデータ容量が最小になる圧縮方式を用いて各差分領域データを圧縮する。データ圧縮処理回路２６における圧縮処理は、画面データ取得回路３１及び送信回路２９の動作とは非同期に制御されている。

また、データ圧縮回路２６は、画面内において、非可逆圧縮で圧縮し送信した領域であるか、可逆圧縮で圧縮し送信した領域であるかといった画面状態を差分領域毎にフラグ等を付けて内蔵のメモリ等で管理している。データ圧縮回路２６は、非可逆圧縮で圧縮し送信した領域のデータは、所定のタイミングで可逆圧縮して再度送信している。

データ圧縮回路２６において、まず非可逆圧縮で圧縮するのは、プロジェクタ３に送信するデータ量を削減するためであり、プロジェクタ３による表示画像の応答時間を短縮することを目的としている。しかし、最終的には損失のない高精細の画像データを送信することが要求される。そこで、データ圧縮回路２６は、非可逆圧縮を用いて圧縮した差分領域の画像データを２つの画面メモリ２２又は２３から差分が検出されないときに送信することにより、最終的にＰＣ２のディスプレイ６に表示される画像と同一の画像がプロジェクタ３から投影されるように制御している。したがって、データ圧縮回路２６は、プロジェクタ３に送信された画像において、非可逆圧縮で圧縮した領域と可逆圧縮で圧縮した領域とを記録している。

見積り判定回路２７は、制御部３０に制御されて、データ圧縮回路２６において差分領域を圧縮したとき、何れの圧縮方式を用いた場合に最もデータ容量が小さくできるかを見積もる。そして、圧縮後のデータ容量が最小になると見積もられた圧縮方式を選択するようにデータ圧縮回路２６を制御している。見積り判定回路２７における圧縮後のデータの見積り方法の一例としては、例えば、平均的な画像データに対して非可逆圧縮であるＪＰＥＧを実行したときに、または可逆圧縮であるランレングス符号化、ハフマン符号化、ＬＺＷ（Lampel Ziv Welch）アルゴリズム、ＬＺ（Lampel Ziv）７８、ＬＺ７７等を実行したときに圧縮前のデータ量の何割程度になるかという概算の圧縮率を、予め統計的或いは経験的に算出しておく。見積り判定回路２７は、これを評価値として、差分領域のデータ容量に応じて、この式により算出される概算値を比較して圧縮後のデータ容量を見積もることができる。見積り判定回路２７は、通信路帯域、伝送速度、ＣＰＵにおける処理能力により差分領域の圧縮を試行する時間的余裕がとれる場合には、差分領域に対して両方の圧縮方式を実際に試行し、結果に応じて選択してもよい。

次に、図１２〜図１４を用いて、データ圧縮回路２６及び見積り判定回路２７の動作について説明する。

図１２にデータ圧縮回路２６の動作を示す。データ圧縮回路２６は、制御部３０によってタイマ等により定期的に起動されるか、差分検出回路２４からの差分検出通知を受けて起動する。データ圧縮回路２６は、ステップＳ２１において、差分検出回路２４によって新たな差分が検出されたかを確認する。新たな差分が検出されたとき、差分検出回路２４は、ステップＳ２２において、新たに検出された差分領域の画像データを圧縮する。新たな差分が検出されなければ、データ圧縮回路２６は、ステップＳ２３において、先に非可逆圧縮して送信した領域で、まだ可逆圧縮データが送信されていない領域の画像データを可逆圧縮して送信回路２９に供給する。非可逆圧縮データで送信された差分領域の画像データを補間するための、この差分領域に対する可逆圧縮データが再度送信される。データ圧縮回路２６は、ステップＳ２４において、ステップＳ２２又はステップＳ２３で圧縮した領域の座標情報と、圧縮方式を画面状態メモリに記録する。

ここで、ステップＳ２２の差分領域データの圧縮処理について図１３を用いて詳細に説明する。画像データ取得回路２１は、スイッチ２８を切り換えて、データ圧縮回路２６に供給される差分領域のデータを制御する。データ圧縮回路２６は、ステップＳ２２−１において、最新の画面データが記録されている方のメモリから画像データを取得する。続いてステップＳ２２−２において、見積り判定回路２７は、データ圧縮回路２６から通知された領域の画像データに対して非可逆圧縮方式による圧縮後のデータ量を見積もる。続いてステップＳ２２−３において、可逆圧縮方式による圧縮後のデータ量を見積もる。上述したように、圧縮後のデータ量の見積りでは、例えばＪＰＥＧを用いる場合、圧縮する差分領域の面積と圧縮後の画像データの品質等を考慮してデータ量を概算する。可逆圧縮方式の場合、予め調査した統計的又は経験的な圧縮率と差分領域の面積から概算する。また、単純なランレングス法を実行して実際に大まかなデータ圧縮を実行することでデータ量を算出してもよい。見積もったデータ量は見積り判定回路２７へ入力される。

次に、ステップＳ２２−４において、見積り判定回路２７は、各圧縮方式での見積りデータ量を比較して最もデータ量が小さい圧縮方式をデータ圧縮回路２６に通知する。具体的に、見積り判定回路２７は、非可逆圧縮方式による圧縮後のデータ量が可逆圧縮方式による圧縮後のデータ量の方が相対的に小となることを見積もると、差分領域の画像データを非可逆圧縮方式により圧縮した後、可逆圧縮方式により圧縮するようデータ圧縮回路２６に通知する。一方、見積り判定回路２７は、非可逆圧縮方式による圧縮後のデータ量よりも可逆圧縮方式による圧縮後のデータ量の方が相対的に小となることを見積もった場合、非可逆圧縮方式の圧縮を行わず、可逆圧縮方式の圧縮を行うよう通知する。

データ圧縮回路２６は、通知された圧縮方式により差分領域のデータを圧縮処理する。圧縮後のデータは、送信回路２９に内蔵されたメモリ又はメインメモリ１１上に用意された送信データ用メモリへ差分領域の矩形を示す座標データとともに記録する。

図１１に示すように、１つの画面データにおいて同時に複数の差分領域が検出されている場合、圧縮後のデータの見積り比較を各差分領域に対して実行する。したがって、各差分領域における画像データの特性によっては、ある差分領域の画像データは可逆圧縮され、別の差分領域の画像データは非可逆圧縮されることもありうる。

またここで、ステップＳ２３において、既に非可逆圧縮で圧縮され送信された差分領域を可逆圧縮データで補間する処理について図１４を用いて詳細に説明する。データ圧縮回路２６は、ステップＳ２１において、新たな差分領域が検出されなかったとき、ステップＳ２３−１において、非可逆圧縮されたデータのみが送信され、未だに可逆圧縮データで補間されていない領域があるか否か判別する。可逆圧縮データで補間されていない領域がある場合、ステップＳ２３−２において、その領域の情報を画面状態メモリから取得し、ステップＳ２３−３において、取得した領域の画像データを可逆圧縮する。

可逆圧縮で圧縮された画像データは、データ量が大きいため、非可逆圧縮データしか送られていない領域が多数存在しているとき、単に、これら領域のデータを全て可逆圧縮して送信するのでは送信中に新たな画面更新があった場合に、画面更新によってできる差分領域に相当するデータを即座に送信できないという問題が発生する。そこで、本発明の実施の形態では、非可逆圧縮データしか送られていない領域を一括して可逆圧縮して送信するのではなく、差分領域内の処理ブロック単位毎に可逆圧縮を行うことができるようにしている。

しかし、ブロックのデータ特性によっては、可逆圧縮でも非常に小さなデータにできるケースがある。例えば、ブロック内の画像が単一色の場合などでは、単純なランレングス符号化でも数バイト程度にまで圧縮できる。このような場合、１ブロックずつ圧縮して送信していると、可逆圧縮データによる補間が完了するまでに多くの時間を要することにもなる。このような問題を避けるために、本発明の実施の形態では、補間のための可逆圧縮データを送信する際、１度に送信できるデータ量の最大値を予め設定しておき、その最大値を超えない範囲で処理ブロック単位を可逆圧縮している。補間のための可逆圧縮データのデータ量の最大値は、利用する通信路４の通信帯域と、実現したい応答時間から計算すればよい。

データ圧縮回路２６は、ステップＳ２３−４において、圧縮後のデータ量が１度に送信可能なデータ量の最大値（閾値）を越えたか否か判別し、最大値を越えていない場合には、ステップＳ２３−１から繰り返し、送信可能なデータ量の最大値に達するまで処理ブロック単位の可逆圧縮を行う。圧縮後のデータは、送信データメモリへ記録し、通信路４のデータ伝送許容量に合わせて送信する。こうすることにより、補間のための可逆圧縮データの送信を効率化しつつ、その間に画面更新が発生した場合には、更新箇所の差分領域のデータを圧縮して優先的に送信することができる。

以上説明したように、データ圧縮回路２６及び見積り判定回路２７によれば、新たな差分が検出されている場合、可逆圧縮したデータを送信してデータを補間するよりも画面更新による差分領域のデータ送信を優先することで、プロジェクタ３への画面更新の応答を早くすることができる。画面更新の際、更新部分の伝送にかかる遅延時間は、最大で非可逆圧縮を用いて全画面を圧縮して送信したときの時間となる。そのため、データ伝送システム１では、通信路４の通信帯域に合わせて非可逆圧縮の圧縮率を変更すれば、最大遅延時間をより短縮することもできる。例えば、ＩＥＥＥ８０２．１１ｂの１１メガビット／秒の帯域で１５フレーム／秒を実現する場合、１フレーム当たりに利用できる帯域は、約０．７３メガビット（９１．６キロバイト）になるため、全画面を非可逆圧縮したときのデータサイズが最大でも９１．６キロバイト以下になるように圧縮率を調整すればよい。

次に、上述したデータ圧縮回路２６における画面状態の管理について図１５を用いて説明する。データ圧縮回路２６は、画面状態を管理するための指標として予め処理ブロック単位毎に１つのフラグ変数をもっている。したがって、本実施の形態では、画面を分割した処理ブロック単位に対応する４８個の変数を用意する。フラグ変数は、オフ（又は０）のときに、この処理ブロックが非可逆圧縮されたデータのみが送信された、すなわち損失のある画像のみが送信されたブロックであることを意味する。また、オン（又は１）のときに、可逆圧縮されたデータが送信されたブロックであることを意味する。これらフラグ変数は、画面状態メモリに記録されている。

図１５は、処理ブロック単位と差分検出回路２４によって検出された差分領域に対して与えられる画面状態を示すフラグを示している。領域Ｓ’１、差分領域Ｓ’２、差分領域Ｓ’３、差分領域Ｓ’４は、差分検出回路２４で検出された差分領域であって、非可逆圧縮データが送信されてないことを示している。なお、図１５が図１１に示した差分領域と異なるのは、図１１で検出された全差分領域に対して可逆圧縮したデータが再度送信される前に、画面が更新され、新たな差分領域が検出され、この差分領域に対する非可逆圧縮データが送信されたことを示す。

データ圧縮回路２６は、圧縮した領域の座標データと圧縮方式に応じて処理ブロック単位のフラグ変数を変更する。非可逆圧縮であればオフにし、可逆圧縮であればオンにする。データ圧縮回路２６は、圧縮処理を行う毎に画面状態を更新することによって、現在送信されている画面に関して、損失のない画像部分（可逆圧縮データ）と、損失のある画像部分（非可逆圧縮データ）であるかを管理することができる。

次に、図５に示す送信回路２９について説明する。送信回路２９は、ＩＥＥＥ８０２．１１ｇに準拠した無線通信パケットを生成し、データ圧縮回路２６から供給される画像データをプロジェクタ３に送信する。送信回路２９は、データ圧縮回路２６がデータ圧縮処理を終えると起動され、送信データ用メモリに記録された圧縮後のデータを通信路４に順次送信する。１度に送信するデータは、１回の差分検出で検出された差分領域のデータ全てである。図１１の例では、２つの差分領域が検出されたので、この場合は２つの差分領域の圧縮データと画面内においてそれぞれの差分領域を特定するための座標情報を１つのパケットデータにまとめて送信する。また、送信回路２９は、ネットワークの通信プロトコルとして、ＴＣＰ／ＩＰを用い、データ送信の順序が保たれ、データ損失がないことを保障している。

図１６に送信回路２９が生成するパケットデータの一例を示す。図１６に示すパケットデータは、パケットＰ１、Ｐ２から構成され、パケットＰ１は、パケットヘッダＨ１とデータＤ１からなる。また、パケットＰ２は、パケットヘッダＨ２とデータＤ２からなる。先頭パケットＰ１のパケットヘッダＨ１には、この一連のパケットデータに含まれる差分領域である矩形データの数が記述されている。差分領域の数に続いて、画面内で差分領域を特定するための座標データが記述されている。座標データには、差分領域の左上座標と右下座標である。続いて、差分領域の圧縮データのデータサイズが記述されている。データサイズに続いて圧縮方式が、更に圧縮後の実データが格納されている。

差分領域の数は、図６に示したように画面を４８個の処理ブロックに分割した場合には、差分ブロックが隣接していると結合されることを考慮すると最大で２４個になる。そのため、差分領域の数は、２バイト用意すれば表現可能である。また、座標データは、伝送する画像データの最大データサイズによるが、通常、２バイト×４＝８バイトあれば表現することができる。圧縮後のデータサイズは、ＲＧＢの場合、ＸＧＡであれば最大で、１０２４×７６８×３バイト(ＲＧＢの場合)＋各圧縮方式のヘッダサイズが表現できるバイト数を割り当てればよいことになる。通常、４バイト〜８バイトあれば表現することができる。上述したように生成されたパケットデータを順次送信することによって、プロジェクタ３は、画像データが復号して投影することができる。

制御部３０は、データ送信装置１０におけるデータ圧縮とデータの取得及び送信の制御を行うとともに、送信データ用メモリ及び送信回路２９を監視して、画面データ取得回路２１によって装置内に画像データを取り込むタイミングを指示している。したがって、データ伝送システム１では、画面データ取得回路２１が連続して送られるフレームを常に同じタイミングでメモリ２２とメモリ２３とに振り分けているのではなく、制御部３０によって取得が指示されたときのフレームがメモリ２２，２３のうち時間的により古いフレームのデータを記録しているメモリに取り込まれる。

本実施例では無線通信を用いているため、無線通信状態が悪くなると、その間だけデータ送信に通常よりも時間がかかる場合がある。このようなとき、データ伝送システム１では、例えば、送信回路２９がデータ送信を完了しないうちに、データ圧縮回路２６がメモリ２２又は２３から新しい画面データを取得すると、送信データ用メモリに未送信データが溜まる一方であり、通信路４に送出されたデータがネットワーク帯域を上回れば伝送システムが破綻する虞がある。そのため、本実施の形態では、データ伝送システム１の各構成は、上述した制御部３０を用いて画面データ取得回路３１及び送信回路２９を排他的に動作させることで伝送システムの破綻を防ぐことを可能とした。

また、このように画面データ取得回路３１及び送信回路２９を排他的に動作させることで伝送システムの破綻を防ぐとともに、無線通信状態が悪くなっても常に最新の画像データが表示されることになり、伝送上の特別な制御を行わなくても、プレゼンテーション等で必要とされるリアルタイムな情報（データ）表示が可能となる。

図１７（ａ）、（ｂ）は、データ送信装置１０においてデータ圧縮とデータの取得及び送信を独立して制御する処理を示す。データ送信装置１０の制御部３０は、ステップＳ３１において、送信データ用メモリに圧縮されたデータが存在するか否か判別する。送信データ用メモリに圧縮データが存在しなければ、制御部３０は、ステップＳ３２において、画面データ取得回路２１に指示してメモリ２２又は２３に画面データを取得させる。そして制御部３０は、ステップＳ３３において、差分検出回路２４に指示してメモリ２２の画面データとメモリ２３の画面データとの差分を差分領域として検出する処理を行わせる。送信データ用メモリに圧縮データが存在する場合、制御部３０は、ステップＳ３４において、送信回路２９に指示して送信データ用メモリのデータをプロジェクタ３に送信させる。

上述した画面データ取得、画面差分検出、データ送信の各処理に対して、データ圧縮回路２６におけるデータ圧縮処理は、独立して実行される。図１７（ｂ）に示すように、制御部３０は、ステップＳ３５において、データ圧縮回路２６に対して、差分検出回路２４で検出された差分領域に対する圧縮後のデータ量の見積りとデータ圧縮とを指示する。

以上説明したように、制御部３０は、画面データ取得回路２１、差分検出回路２４及び送信回路２９とデータ圧縮回路２６とを独立して制御することにより、データ送信中は画面データを取得しないという制御が自動的に行え、なんらかの理由でネットワーク通信に一時的な障害が起き、送信回路がデータ送信できない状態のときには無駄な画面データ取得、データ圧縮を行わない。よって送信データ用メモリに未送信データが溜まり続けることはなく伝送システムの破綻を防ぐことが可能となる。

続いて、データ受信装置であるプロジェクタ３について図面を用いて詳細に説明する。プロジェクタ３は、図１６に示したパケットデータを順次受信し、パケットヘッダの情報に基づいて復号するだけで、画面データの更新に対する応答を早くするとともに高精細の画像データを表示するという特有のデータ伝送に対応できる。以下では、データ受信装置であるプロジェクタ３の基本構成を図１８に、また動作を図１９に示す。

プロジェクタ３は、データ送信装置１０から通信路４ａ又は４ｂを介して伝送された画像データを受信するデータ受信回路３１と、受信したデータを一時的に記憶する受信データメモリ３２と、受信データメモリ３２から画像データを読み出して復号するデータ復号回路３３と、復号後のデータを記憶する画面データメモリ３４と、画面データをスクリーンに投影するための映像出力回路３５とを備える。

データ受信回路３１は、ＩＥＥＥ８０２．１１ｂに準拠した無線通信パケットを受信することができる。データ受信回路３１は、通信路４を介して受信したパケットデータから画像データを得て、受信データメモリ３２に供給する。ここで受信するパケットデータの一例は、図１６に示したものである。データ受信回路３１は、ネットワークの通信プロトコルとしてＴＣＰ／ＩＰを用い、データ送信の順序が保たれ、データ損失がないことを保障している。

データ復号回路３３は、データ圧縮回路２６で用いた第１の圧縮方式と、第２の圧縮方式に対応した復号回路であり、第１の圧縮方式に対応する復号処理としてＪＰＥＧに対応している。一方、第２の圧縮方式に対応する復号処理として、ランレングス符号化、ハフマン符号化、ＬＺＷ（Lampel Ziv Welch）アルゴリズム、ＬＺ（Lampel Ziv）７８、ＬＺ７７に対応している。データ復号回路３３は、受信データメモリ３２に記憶した画像データを、上述したパケットデータに記述された差分領域の数、座標データ、圧縮データサイズ、圧縮方式等の情報に基づいて復号し、画面データメモリ３４に供給する。

次に、データ復号回路３３における画像データの復号処理について、図１９を用いて説明する。データ復号回路３３は、ステップＳ４１において、図１６に示したパケットデータ構造のパケットヘッダに記述された差分領域の圧縮方式を読み取り、パケット化されて伝送された画像データが可逆圧縮データか非可逆圧縮データかを判別する。非可逆圧縮データの場合、ステップＳ４２において、対応する復号処理を施す。また、可逆圧縮データである場合、ステップＳ４３において、対応する復号処理を施す。続いて、データ復号回路３３は、ステップＳ４４において、パケットヘッダに記述された座標データに基づいて、ステップＳ４２又はステップＳ４３で復号された画像データを画面データメモリ３４の対応領域に書き込む。そして、データ復号回路３３は、ステップＳ４５において、差分領域のデータが他にもあれば、差分領域データの数だけステップＳ４１から繰り返す。

画面データメモリ３４に書き込まれていた復号後のデータは、映像出力回路３５に供給され、内蔵するビデオメモリ等に複製され、図示しない映写投影部からスクリーン７に投影される。

このようにデータ復号回路３３は、受信したパケットデータに記述された圧縮方式、圧縮データサイズ、圧縮された画像データの画面に対応する位置を示した座標データに基づいて圧縮データを順次復号して表示するという非常に簡単な処理を実行するだけで、前の画面データと現在の画面データとを比較したときの差分領域の圧縮データを先に受信し、後に差分領域の可逆圧縮データを再度受信することにより画面更新に対する応答を早くするとともに、高精細の画像データを表示するという特有のデータ伝送が実現できる。また、非可逆データが送られた領域の補間のための可逆圧縮データの受信中に新たな画面更新が発生した場合には、可逆圧縮データに優先して更新箇所の圧縮データが送信されるので、これを受信して復号し表示することで、ＰＣ２の画面更新に対する応答がよくなる。

以上説明したように、本発明の実施の形態によれば、画面更新が発生してからデータ受信装置での画面の表示にかかるまでの応答時間を短縮することができる。また、可逆圧縮データのデータサイズを通信帯域に応じて変更することにより、損失のない画像を表示するまでにかかる応答時間を短縮することができる。また、本発明の実施の形態によれば、損失のない画像を表示するための可逆圧縮データを送信している間に発生した新たな画面更新に優先的に応答することができ、その応答時間を短縮することができる。

また、本発明の実施の形態によれば、可逆圧縮データであってもデータ量を十分に削減できる場合には、はじめから可逆圧縮データで送信することにより、非可逆圧縮した後で可逆圧縮データを再度送信することによるデータ送信量の無駄を削減することができ、削減が達成された分だけより多くの画面更新を伝達することが可能になる。このように、本発明の実施の形態によれば、無駄なデータ圧縮処理、データ復号処理、データ送信量の無駄等が削減されるため、処理装置と伝送の効率をあげることができ、簡略化や省電力化を図ることができる。

なお、図５を用いて説明したデータ送信装置１０における画面データ取得回路２１と、差分検出回路２４と、データ圧縮回路２６と、見積り判定回路２７は、ＰＣ２のＣＰＵによって実行されるソフトウェアモジュールとして提供することもできる。図７、図９、図１０、図１２〜１４を用いて説明した一連の画像データ送信処理を実行するプログラムによって、デバイス制御、マルチタスク動作環境、タイマ等の機能をもった一般的なマルチタスクＯＳ上で各モジュールを動作させることもできる。この場合、メモリ２２及びメモリ２３、差分情報メモリ２５、送信データ用メモリ等は、ＰＣ２における作業用メモリ、或いはＨＤＤ等の記録領域を使用する。

また、非可逆圧縮、可逆圧縮ともに圧縮方式は、それぞれ１種類である必要はなく、複数種類の圧縮方式を用意し、このなかから最適な圧縮方式が適宜選択されてもよい。この場合、当然のことながら、プロジェクタ３（データ受信装置）は、対応する復号回路を備えるものとする。復号にかかる処理時間と、データ送信装置１０における圧縮後のデータ量の見積りにかかる処理時間、及び圧縮処理そのものの時間等が、データの送信にかかる時間に対して相対的に小さくなる系であれば、より最適な圧縮方法を用いて送信データ量を少なくすることによりデータ伝送システム全体としての効率が上がる。

また、本発明の実施の形態では、第１の圧縮方式として非可逆圧縮と用い、第２の圧縮方式として可逆圧縮を用いて、圧縮後のデータ量を見積もってデータ伝送の効率化を図った例について説明したが、本発明はこれに限定されない。すなわち、見積りの結果、第１の圧縮方式よりも原画像により近いデータが得られる第２の圧縮方式との間で、原画像により近いデータが得られる圧縮方式の方が圧縮後のデータ量が大となる場合、逆に、原画像により近いデータが得られる第２の圧縮方式の方が圧縮後のデータ量が小となる場合が生じうるような圧縮方式であれば、非可逆可逆に限定されず、第１の圧縮方式と第２の圧縮方法がともに非可逆圧縮であってもよいし、ともに可逆圧縮であってもよい。

また、上述した実施の形態の変形例として、データ送信装置１０とプロジェクタ３の双方が互いにデータ送受信可能であって、双方がＧＵＩを備えたコンピュータとすることができる。このとき、主に画像データを受信するプロジェクタ３から、ＰＣ２のユーザインタフェイスとして使用されているキーボードやマウス等の操作情報を送信し、データ送信装置１０において、プロジェクタ３から送信されたユーザインタフェイスのための情報を利用して、ＰＣ２の各種操作を実現することも可能である。ＰＣ２とプロジェクタ３との間において、制限された通信路帯域のなかで伝送できるデータ量が制限されている場合、このような相互操作のアプリケーションに応用しても、より応答性の良い遠隔操作システムを構築できる。

本発明の実施の形態として示すデータ送信装置とデータ受信装置の接続例を説明する概略図である。 上記データ送信装置とデータ受信装置の具体的な使用状況を説明する模式図である。 データ送信装置とデータ受信装置の別の接続例を説明する概略図である。 ＰＣの基本的なハードウェアの一例を説明する構成図である。 データ送信装置の基本的なハードウェアの一例を説明する構成図である。 （ａ）は、一方のメモリに記憶された画面データの一例を説明する模式図であり、（ｂ）は、他方のメモリに記憶された画面データの一例を説明する模式図である。 差分検出回路が時間的に前後する２つの画像データから差分を検出する処理を説明するフローチャートである。 差分検出回路によって検出される差分フラグを説明する模式図である。 図７のステップＳ４における差分フラグの結合処理を説明するフローチャートである。 図９のステップＳ１６における差分ブロックから差分領域を決定する処理を説明するフローチャートである。 差分検出回路によって検出される差分領域を説明する模式図である。 データ圧縮回路の動作を説明するフローチャートである。 図１２のステップＳ２２における差分領域データの圧縮処理を説明するフローチャートである。 図１２のステップＳ２３で、既に非可逆圧縮で圧縮され送信された差分領域を可逆圧縮データで補間する処理を説明するフローチャートである。 データ圧縮回路における画面状態の管理について説明する模式図である。 送信回路が生成するパケットデータの一例を示す模式図である。 （ａ）、（ｂ）は、データ送信装置においてデータ圧縮とデータの取得及び送信が独立して制御されることを示すフローチャートである。 データ受信装置であるプロジェクタの基本構成を説明する構成図である。 上記プロジェクタの動作を説明するフローチャートである。

符号の説明

１，１ａ データ伝送システム、 ２ ＰＣ、 ３ データ受信装置（プロジェクタ）、 ４ａ，４ｂ 通信路、 ５ スクリーン、 ６，７ 画像、 １０ データ送信装置、 １１ メインメモリ、 １２ ディスプレイ、 １３ ビデオカード、 １４ システムバス、 １５ ＣＰＵ、 １６ ネットワークアダプタ、 ２１ 画像データ取得回路、 ２２，２３ メモリ、 ２４ 差分検出回路、 ２５ 差分情報メモリ、 ２６ データ圧縮回路、 ２７ 見積り判定回路、 ２８ スイッチ、 ２９ 送信回路、 ３１ データ受信回路、 ３２ 受信データメモリ、 ３３ データ復号回路、 ３４ 画面データメモリ、 ３５ 映像出力回路

Claims (13)

1. データ送信装置から通信路を介してデータ受信装置に対して画像データを送信するデータ伝送方法において、
   上記データ送信装置に表示された画像データと現在の画面データである現画像データとを比較して差分情報を検出する差分検出工程と、
   上記差分検出工程において検出された差分情報から両画像データの差分を含む差分領域を検出する工程と、
   上記差分領域に対応する画像データを第１の圧縮方式又は圧縮後のデータを復号したとき該第１の圧縮方式よりも原画像により近いデータが得られる第２の圧縮方式により圧縮するデータ圧縮工程と、
   上記データ圧縮工程で差分領域に対応する画像データを上記第１の圧縮方式又は第２の圧縮方式で圧縮したときの圧縮後のデータ量を見積もるデータ見積り工程と、
   上記データ圧縮工程において上記データ見積り工程で見積もられたデータ量が相対的に小となる圧縮方式により圧縮された画像データと、使用した圧縮方式と、上記差分領域を特定する情報とを上記データ受信装置に送信するデータ送信工程と、
   上記送信した第１の圧縮方式の圧縮後のデータ量が相対的に小となる場合に、上記データ送信工程の後、上記第１の圧縮方式により圧縮した差分領域の画像データを上記第２の圧縮方式により圧縮して再度送信する再送信工程と
   を有することを特徴とするデータ伝送方法。
2. 上記再送信工程で圧縮後のデータ量が相対的に大となる圧縮方式で圧縮された差分領域の画像データの送信中に、上記差分検出工程で新たな差分情報が検出されたとき、上記新たな差分領域に対応する画像データを圧縮後のデータ量が相対的に小の圧縮方式により圧縮して送信することを特徴とする請求項１記載のデータ伝送方法。
3. 上記差分検出工程では、１画面を所定サイズの処理ブロックに分割し、ブロック毎に上記画像データと現在の画面データである現画像データとを比較して差分情報を検出することを特徴とする請求項１記載のデータ伝送方法。
4. 上記第１の圧縮方式は非可逆圧縮であり、上記第２の圧縮方式は可逆圧縮であり、上記再送信工程では、上記データ送信工程の後、上記非可逆圧縮で圧縮された差分領域の画像データを上記可逆圧縮で圧縮して再度送信することを特徴とする請求項１記載のデータ伝送方法。
5. 上記通信路は、ＩＥＥＥ８０２．１１ｇに準拠する無線通信ネットワークであることを特徴とする請求項１記載のデータ伝送方法。
6. 表示手段を有し該表示手段に表示された画像データを通信路を介してデータ受信装置に送信するデータ送信装置において、
   上記表示手段に表示された画像データと現在の画面データである現画像データとを比較して差分情報を検出し、検出した差分情報から両画像データの差分を含む差分領域を検出する差分検出手段と、
   上記差分領域に対応する画像データを第１の圧縮方式又は圧縮後のデータを復号したとき該第１の圧縮方式よりも原画像により近いデータが得られる第２の圧縮方式で圧縮するデータ圧縮手段と、
   上記データ圧縮手段で上記差分領域に対応する画像データを第１の圧縮方式又は第２の圧縮方式でそれぞれ圧縮したときの圧縮後のデータ量を見積もるデータ見積り手段と、
   上記データ圧縮手段において上記データ見積り手段に見積もられたデータ量が相対的に小となる圧縮方式により圧縮された画像データと、使用した圧縮方式と、上記差分領域を特定する情報とを上記データ受信装置に送信するデータ送信手段と、
   上記送信した第１の圧縮方式の圧縮後のデータ量が相対的に小となる場合に、上記データ送信手段によりデータを送信した後、上記第１の圧縮方式により圧縮した差分領域の画像データを上記第２の圧縮方式により圧縮して再度送信することを特徴とするデータ送信装置。
7. 上記差分検出手段で検出した差分情報から両画像データの差分を含む差分領域を特定して記憶する記憶手段と、上記何れの圧縮方式を用いたかを上記差分領域を特定する情報とともに記憶する記憶手段とを有することを特徴とする請求項６記載のデータ送信装置。
8. 上記差分領域の画像データを圧縮後のデータ量が相対的に大となる圧縮方式で圧縮して再度送信している最中に上記差分検出手段で新たな差分情報が検出されたとき、上記新たな差分領域に対応する画像データを圧縮後のデータ量が相対的に小となる圧縮方式により圧縮して送信することを特徴とする請求項６記載のデータ送信装置。
9. 上記差分検出主手段は、１画面を所定サイズの処理ブロックに分割し、ブロック毎に上記画像データと現在の画面データである現画像データとを比較して差分情報を検出することを特徴とする請求項６記載のデータ送信装置。
10. 上記第１の圧縮方式は非可逆圧縮であり、上記第２の圧縮方式は可逆圧縮であり、上記データ送信手段は、上記非可逆圧縮で圧縮された差分領域の画像データを上記可逆圧縮で圧縮して再度送信することを特徴とする請求項６記載のデータ送信装置。
11. 上記通信路は、ＩＥＥＥ８０２．１１ｇに準拠する無線通信ネットワークであることを特徴とする請求項６記載のデータ送信装置。
12. 通信路を介してデータ送信装置から送信された画像データを受信し表示するデータ受信装置において、
    上記通信路の伝送形式に対応して生成された伝送データを受信する受信手段と、
    少なくとも第１の圧縮方式と圧縮後のデータを復号したとき該第１の圧縮方式よりも原画像により近いデータが得られる第２の圧縮方式に対応する復号を行う復号手段と、
    上記復号手段によって復号した画像データを提示する提示手段と、
    上記画像データから上記提示手段によって提示する画面を作成する画面作成手段と
    を備え、
    上記伝送データには、上記データ送信手段の表示手段に表示された画像データと現在の画面データである現画像データとを比較して得られた差分領域を示す情報と、該差分領域の画像データを圧縮するのに使用した圧縮方式と、圧縮された画像データとが記述され、
    上記受信手段は、上記第１の圧縮方式及び第２の圧縮方式のうち圧縮後のデータ量が相対的に小となる圧縮方式で圧縮された差分領域の画像データが記述された伝送データを受信し、受信した上記第１の圧縮方式の圧縮後のデータ量が相対的に小となる場合に、続けて上記第１の圧縮方式により圧縮された差分領域の画像データであって上記第２の圧縮方式により圧縮された伝送データを受信し、上記復号手段は、上記差分領域を示す情報と、該差分領域の画像データを圧縮するのに使用した圧縮方式に基づいて圧縮された画像データを復号し、上記画面作成手段は、上記復号手段で復号された画像データを上記差分領域を示す情報に基づいて上記提示される画面における対応位置に当て嵌めることを特徴とするデータ受信装置。
13. コンピュータにより制御されるデータ送信装置に、データ送信先であるデータ受信装置に対して画像データを送信するデータ伝送処理を実行させるコンピュータプログラムにおいて、
    上記データ送信装置に表示された画像データと現在の画面データである現画像データとを比較して差分情報を検出する差分検出工程と、
    上記差分検出工程において検出された差分情報から両画像データの差分を含む差分領域を特定してメモリに記憶する工程と、
    上記差分領域に対応する画像データを第１の圧縮方式及び圧縮後のデータを復号したとき該第１の圧縮方式よりも原画像により近いデータが得られる第２の圧縮方式とでそれぞれ圧縮したときの圧縮後のデータ量を見積もるデータ見積り工程と、
    上記データ見積り工程で見積もられたデータ量が相対的に小となる圧縮方式により上記差分領域の画像データを圧縮するとともに何れの圧縮方式を用いたかを上記差分領域を特定する情報とともにメモリに記憶する工程と、
    上記圧縮後のデータ量が相対的に小となる圧縮方式により圧縮された画像データを、上記差分領域を特定する情報とともに上記データ受信装置に送信するデータ送信工程と、
    上記送信した第１の圧縮方式の圧縮後のデータ量が相対的に小となる場合に、上記データ送信工程の後、上記第１の圧縮方式により圧縮した差分領域の画像データを第２の圧縮方式により圧縮して再度送信する再送信工程と
    を有するデータ伝送処理を上記データ送信装置に対して実行させるコンピュータプログラム。

Images