JP2009182754A - 画像処理装置 - Google Patents

Abstract

【課題】複数の監視カメラからの映像信号を同期させてマルチ表示させること。
【解決手段】ＰＣ６から出力された同期信号に基づいて、バッファ４８ａ〜４８ｃのレンダリング処理のタイミングを制御することによって、監視カメラ２ａ〜２ｃからＰＣ６への圧縮画像データ転送における遅延およびＰＣ６内でのＭＰＥＧデコーダ４６ａ〜４６ｃにおける復号化処理における遅延に関係なく、監視カメラ２ａ〜２ｃの映像信号を同期させたマルチ画像を表示することができる。
【選択図】図１３

Description

本発明は、複数の撮像装置において夫々符号化された画像データを入力し、夫々復号化した１画面上に同期させて表示するための表示画像を生成する画像処理装置に関する。

ネットワークに接続された複数のカメラと１台のコンピュータにおいて、該コンピュータ上で複数のカメラからの映像を１画面上にリアルタイムで表示させることがある。この場合、同時刻に撮像された各カメラからの映像を遅延なく表示させることが望まれる。
特開２０００−３２２０３９号公報 [Ｇ０９Ｇ ５／００]

特許文献１に記載された従来技術１の表示装置においては、複数のカメラからの映像信号を複数の表示装置に同期させて表示させる際に、各カメラからの同一の時刻を示す時刻情報が付加された映像信号を受信した際、その時刻情報を初期値として計時を行い、該計時が所定量を超えたら、各カメラからの映像信号が一時保存されているフレームバッファに出力制御することによって各カメラの映像信号を同期表示させている。

しかしながら、従来技術１の表示装置では、時刻情報が付加された映像信号を受信したときを基準としているため、映像信号の圧縮率に基づく伸張処理に係る時間などの受信時以後に発生する遅延を考慮した同期表示について、何ら開示していない。

本発明は、上記の問題点を解決するもので、画像処理装置内部などに起因する映像信号の表示の遅延がなく、複数の撮像装置から出力される映像信号を同期表示させることができる画像処理装置を提供するものである。

請求項１の画像処理装置は、互いに異なる被写体を夫々撮像し、得られた撮像信号に符号化処理を施した符号化データに同一の同期タイミング情報を関連付けて複数の撮像装置から出力される画像データを入力する入力手段と、画像データから同期タイミング情報と符号化データとを分離する分離手段と、符号化データに対し復号化処理を施して復号化データを生成する復号化手段と、復号化データに同期タイミング情報に基づく同期情報を関連付けて復号化データを保持する保持手段と、保持手段に保持されている複数の撮像装置に基づく復号化データから表示手段に出力するための表示画像データを生成する表示画像生成手段と、保持手段に保持されている複数の撮像装置に基づく復号化データに関連付けられた夫々の同期情報が所定条件を満たすときに、所定条件を満たす同期情報と関連付けられた複数の撮像装置にそれぞれ対応する復号化データから表示手段に出力するため表示画像を生成するように表示画像生成手段を制御する制御手段を備えることを特徴とする。

請求項２の画像処理装置は、請求項１記載の画像処理装置に従属し、同期タイミング情報を前記複数の撮像装置に対して断続的に出力する同期タイミング出力手段をさらに備えることを特徴とする。

請求項３の画像処理装置は、請求項１乃至２記載のいずれかの画像処理装置に従属し、所定条件は夫々の同期信号の状態がすべて同一の同期タイミング情報に基づくものであることを特徴とする。

請求項４の画像処理装置は、請求項１乃至３記載のいずれかの画像処理装置に従属し、画像データには撮像装置から得られる時刻情報がさらに付加されており、表示画像生成手段において、保持手段に保持されている複数の撮像装置に基づく復号化データから時刻情報に基づく時系列に従って表示画像データを生成することを特徴とする。

請求項５の画像処理装置は、請求項２乃至３記載のいずれかの画像処理装置に従属し、同期タイミング情報出力手段において同期タイミング情報を出力した後から所定条件を満たすまでの期間は、表示画像生成手段における表示画像データの生成を禁止する禁止手段をさらに備えることを特徴とする。

請求項６記載の画像処理システムは、互いに異なる被写体を夫々撮像し、得られた撮像信号に符号化処理を施した符号化データに同一の同期タイミング情報を関連付けて画像データとして出力する複数の撮像装置と、画像データを入力する画像処理装置を備える画像処理システムであって、画像処理装置は、画像データから同期タイミング情報と符号化データとを分離する分離手段と、符号化データに対し復号化処理を施して復号化データを生成する復号化手段と、復号化データに同期タイミング情報に基づく同期情報を関連付けて復号化データを保持する保持手段と、保持手段に保持されている複数の撮像装置に基づく復号化データから表示手段に出力するための表示画像データを生成する表示画像生成手段と、保持手段に保持されている複数の撮像装置に基づく復号化データに関連付けられた夫々の同期情報が所定条件を満たすときに、所定条件を満たす同期情報と関連付けられた複数の撮像装置にそれぞれ対応する復号化データから表示手段に出力するための表示画像データを生成するように前記表示画像生成手段を制御する制御手段を備えることを特徴とする。

請求項７記載の画像処理方法は、互いに異なる被写体を夫々撮像し、得られた撮像信号に符号化処理を施した符号化データに同一の同期タイミング情報を関連付けて画像データとして出力する複数の撮像装置と、画像データを入力する画像処理装置における画像処理方法であって、画像データから同期タイミング情報と符号化データとを分離するステップと、符号化データに対し復号化処理を施して復号化データを生成するステップと、復号化データに同期タイミング情報に基づく同期情報を関連付けて復号化データを保持手段に保持するステップと、保持手段に保持されている複数の撮像装置に基づく復号化データから表示手段に出力するための表示画像データを生成するステップと、保持手段に保持されている複数の撮像装置に基づく復号化データに関連付けられた夫々の同期情報が所定条件を満たすときに、所定条件を満たす同期情報と関連付けられた複数の撮像装置にそれぞれ対応する復号化データから前記表示手段に出力するための表示画像データを生成するように制御するステップから成ることを特徴とする。

請求項８記載のプログラムは、コンピュータに、互いに異なる被写体を夫々撮像し、得られた撮像信号に符号化処理を施した符号化データに同一の同期タイミング情報を関連付けて複数の撮像装置から出力される画像データを入力する入力手段、画像データから前記同期タイミング情報と符号化データとを分離する分離手段、符号化データに対し復号化処理を施して復号化データを生成する復号化手段、復号化データに同期タイミング情報に基づく同期情報を関連付けて復号化データを保持する保持手段、保持手段に保持されている複数の撮像装置に基づく復号化データから表示手段に出力するための表示画像データを生成する表示画像生成手段、保持手段に保持されている複数の撮像装置に基づく復号化データに関連付けられた夫々の同期情報が所定条件を満たすときに、所定条件を満たす同期情報と関連付けられた複数の撮像装置にそれぞれ対応する復号化データから表示手段に出力するための表示画像データを生成するように表示画像生成手段を制御する制御手段を機能させることを特徴とする。

本発明の画像処理装置によれば、画像処理装置内部などに起因する映像信号の表示の遅延がなく、複数の撮像装置から出力される映像信号を同期表示させることができる。

以下、本発明の画像処理装置の一実施例として、パーソナルコンピュータ（ＰＣ）６に実施した形態につき、図面に沿って具体的に説明する。図１は複数の監視カメラ２ａ〜２ｃと本実施例のＰＣ６がネットワーク４に接続されている状態を示している。監視カメラ２ａ、２ｂ、２ｃはチャネル１ＣＨ、２ＣＨ、３ＣＨが夫々割り当てられており、監視カメラ２ａ〜２ｃで撮像されデジタル化およびＭＰＥＧ形式で圧縮処理が施された圧縮画像データがネットワーク４を介してＰＣ６へ転送される。ＰＣ６は、後述する表示器５４を備えており、圧縮画像データを復号化して１ＣＨ〜３ＣＨの映像信号をモニタにマルチ表示させる。また、ＰＣ６はネットワーク４を介して監視カメラ２ａ〜２ｃへ制御信号を送信し、該制御信号に基づいて監視カメラ２ａ〜２ｃは動作する。

図２は監視カメラ２ａのブロック図を示している。監視カメラ２ａは光学レンズ１２および絞り１４を含み、被写体の光学像はＣＰＵ２５による指示によりモータ駆動部１６に制御された光学レンズ１２および絞り１４を通してＣＣＤイメージャ１８に取り込まれる。そして、ＣＰＵ２５に接続されたシグナルジェネレータ（ＳＧ）２０によって与えられる取り込みパルスに従ってＣＣＤイメージャ１８から１フレーム分のアナログ撮像信号が出力される。出力されたアナログ撮像信号はカメラ処理回路２４へ入力され、相関２重サンプリング処理、ゲイン調整、クランプ処理、Ａ／Ｄ変換処理および色分離処理が施され、Ｙ、Ｕ、Ｖ信号に変換される。そして、デジタル画像信号としてバス３０を介してＳＤＲＡＭ２６へ格納される。

次に、ＳＤＲＡＭ２６に格納されたデジタル画像信号は、ＣＰＵ２５の制御によりＭＰＥＧエンコーダ２８へ入力され、ＭＰＥＧ−２ＰＳ形式で圧縮（符号化）されパケット単位の圧縮画像データとして再びＳＤＲＡＭ２６へ格納される。本実施例では説明の便宜を図るため、１ＧＯＰを５フレームで形成することとし、１フレーム目をＩピクチャ、２〜４フレーム目をＢピクチャ、５フレーム目をＰピクチャと規定する。従って、ＳＤＲＡＭ２６上には、１フレーム目、５フレーム目、２〜４フレーム目というフレーム順にパケット単位で格納される。そしてＣＰＵ２５の制御によって、通信インタフェース３２を介し、上述したフレーム格納順に従ってパケット単位でネットワーク４へ出力される。

通信インタフェース３２はネットワーク４と接続されており、ネットワーク４から監視カメラ２ａを制御するための制御信号が入力される。そして、制御信号は通信インタフェース３２を介してＣＰＵ２５の図示しないメモリに格納され、ＣＰＵ２５は該制御信号に基づいて動作する。

ＰＣ６は制御信号として、例えばＣＣＤイメージャ１８から出力されるアナログ撮像信号の撮像フレームレート、通信インタフェース３２を介してネットワーク４へ出力される圧縮画像データの出力フレームレート、光学レンズ１２の移動、絞り１４の調整、ＣＣＤイメージャ１８の電子シャッタスピードやカメラ処理回路２４におけるゲイン調整などの処理を実行させるための信号など送信する。

本実施例のＰＣ６は、監視カメラ２ａ〜２ｃから得られる同時刻に圧縮処理が施された圧縮画像データに基づくマルチ画像を表示させる同期処理を行う。ＰＣ６からは、該同期処理のための同期信号Ｃが出力されており、通信インタフェース３２を介してＣＰＵ２５へ取り込まれる。

図４は監視カメラ装置２ａ〜２ｃからネットワーク４へ出力される圧縮画像データのデータ構造を示している。１パケット分のデータは、ＣＰＵ２５内のタイマＩ２５ａが保持する時刻に基づくタイムスタンプと１フレーム分のデジタル画像信号が符号化されたＶＩＤＥＯデータで構成され、任意のデータ（ユーザデータ）を付加されている。本実施例では、ユーザデータとしてＰＣ６から出力された同期信号Ｃが付加される。付加されるタイミングは、監視カメラ２ａがＰＣ６からの同期信号Ｃを受け取ったタイミングである。また、便宜上１フレーム分のデータは１パケット内のＶＩＤＥＯデータに含まれているとして説明を行う。そして、監視カメラ２ｂおよび２ｃは上述した監視カメラ２ａと同様の構成であるため説明を省略する。

図３はＰＣ６のブロック図を示している。ネットワーク４から図示しない通信インタフェースを経由して監視カメラ２ａ〜２ｃの圧縮画像データがパケット単位でデマルチプレクサ４２ａ〜４２ｃに夫々入力される。デマルチプレクサ４２ａ〜２４ｃでは、夫々入力されたパケット単位の圧縮画像データをタイムスタンプ、ユーザデータおよびＶＩＤＥＯデータに分離する。各ＶＩＤＥＯデータは、ＭＰＥＧデコーダ４６ａ〜４６ｃに夫々出力され、フレーム単位のデジタル映像信号にデコードされる。デコードされた各デジタル映像信号はバッファ４８ａ〜４８ｃに夫々格納される。

制御部４０は、デマルチプレクサ４２ａ〜４２ｃで夫々分離された各タイムスタンプおよびユーザデータである同期信号Ｃを検出し、該タイムスタンプおよび同期信号Ｃに基づいて、バッファ４８ａ〜４８ｃに格納されている各デジタル映像信号を同期させてマルチ画像生成部４４へ転送させる。マルチ画像生成部４４では、転送されたデジタル映像信号を表示器５４にマルチ表示させるためのマルチ画像信号を生成する。以後、この処理をレンダリング処理と称す。マルチ画像信号は所定の変換式によりＲＧＢ信号に変換されて表示器５４へ出力される。

次に、本実施例における監視カメラ２ａ〜２ｃがネットワーク４を介して転送される圧縮画像信号をＰＣ６でレンダリング処理をする際の同期処理について図５〜図９を参照して説明する。

図５は、ネットワーク４からのパケット単位の圧縮画像データがデマルチプレクサ４２ａ〜４２ｃに入力される入力タイミングを示した図である。詳細には、（ａ）は監視カメラ２ａからの圧縮画像データがデマルチプレクサ４２ａへ入力されるタイミングを示しており、（ｂ）は監視カメラ２ｂからの圧縮画像データがデマルチプレクサ４２ｂへ入力されるタイミングを示しており、（ｃ）は監視カメラ２ｃからの圧縮画像データがデマルチプレクサ４２ｃへ入力されるタイミングを示している。

さて、監視カメラ２ａにタイマＩ２５ａが備えられているように、監視カメラ２ｂおよび２ｃにも夫々タイマが備えられている。各タイマは独立して動作し、監視カメラ２ａ〜２ｃが持つタイマに従って夫々時刻をカウントしているために、微小なズレが生じている。具体的に、図９を参照して説明すると、監視カメラ２ａ〜２ｃの各ＭＰＥＧエンコーダ２８の符号化処理時において、監視カメラ２ａでは１フレーム目のタイムスタンプが“１”であるのに対し、監視カメラ２ｂではタイムスタンプが“５”、監視カメラ２ｃでは“３”となっている。例えば監視カメラ２ａにおいて、符号化処理時のフレームデータに対応するタイムスタンプは昇順（１〜５）であるのに対し、符号化処理後の符号化フレームデータに対応するタイムスタンプは１、５、２〜４という順に圧縮画像データ（パケットＰ１ａ〜Ｐ１ｅ）としてＳＤＲＡＭ２６へ出力されている。上述したように、本実施例では１ＧＯＰを５フレームで形成し、符号化処理後は１フレーム目の次に５フレーム目に対応する圧縮画像データがＳＤＲＡＭ２６に格納され、ＰＣ６に送られる。つまり、符号化処理後の圧縮画像データは各々が所持するタイムスタンプの昇順には格納されない。また、同期信号Ｃは１０秒間に１回、ＰＣ６から監視カメラ２ａ〜２ｃにマルチキャストで送信される。

また、符号化処理時の１フレーム目に各監視カメラ２ａ〜２ｃでは同期信号Ｃを受け取っているため、符号化処理後の圧縮画像データには、夫々のＶＩＤＥＯデータにタイムスタンプおよび同期信号Ｃが付加されている。また、監視カメラ２ａ〜２ｃからＰＣ６へ転送されるフレームレートが約３０ｆｐｓに設定されており、パケット単位でＰＣ６へ転送される。

説明を図５に戻し、圧縮画像データは、監視カメラ２ａ〜２ｃに夫々符号化されＳＤＲＡＭ２６に格納された順で、順次デマルチプレクサ４２ａ〜４２ｃへ入力される。ここで、制御部４０が監視カメラ２ａ〜２ｃの中で同期信号Ｃが付加された圧縮画像データを最初に受け取ったタイミングをｔとする。例えば、図５（ａ）に示すようにパケットＰ１ａは時刻ｔにデマルチプレクサ４２ａに入力され、図５（ｂ）に示すようにパケットＰ１ｂは時刻ｔ＋１にデマルチプレクサ４２ｂへ入力され、図５（ｃ）に示すようにパケットＰ１ｃは時刻ｔ＋１に入力される。ここで、時刻の単位はｍｓ（ミリ秒）とする。このように、各監視カメラ２ａ〜２ｃから出力される圧縮画像データのデマルチプレクサ４２ａ〜４２ｃへの入力タイミングは、ネットワーク４による遅延などの影響により同時刻に入力されない場合がある。

図６は、圧縮画像データが入力された各デマルチプレクサ４２ａ〜４２ｃにおいて分離されたＶＩＤＥＯデータを各ＭＰＥＧデコーダ４６ａ〜４６ｃで復号化処理を行い、バッファ４８ａ〜４８ｃへデジタル映像信号として出力する出力タイミングを示している。時刻ｔは、図５においてした説明と同様に、制御部４０が監視カメラ２ａからの同期信号Ｃが付加されたパケットを最初に受け取ったタイミングであり、時刻ｔ＋１４はＭＰＥＧデコーダ４６ａに１ＧＯＰ分のＶＩＤＥＯデータの入力が完了したタイミングとなる。

図６（ａ）では、ＭＰＥＧデコーダ４６ａで復号化されたデジタル映像信号がバッファ４８ａへ出力されるタイミングを示している。ＭＰＥＧデコーダ４６ａでは、１ＧＯＰ分、つまりパケットＰ１ａ〜Ｐ５ａから分離されたＶＩＤＥＯデータから各フレームＦ１ａ〜Ｆ５ａのデジタル映像信号を生成し、パケットＰ１ａ〜Ｐ５ａに夫々付加されていたタイムスタンプ（１〜５）を再びデジタル映像信号に付加し、時刻ｔ＋１１４のタイミングでフレームＦ１ａから順にバッファ４８ａに出力する。ここで、デマルチプレクサ４２ａにおいて１ＧＯＰ分の最終ＶＩＤＥＯデータを時刻ｔ＋１４にＭＰＥＧデコーダ４６ａへ出力し、ＭＰＥＧデコーダ４６ａからバッファ４８ａへ１ＧＯＰ分の最終デジタル映像データを出力していることから、ＭＰＥＧデコーダ４６ａは１ＧＯＰ分、つまり５フレーム分の復号化処理および出力に時間として１１０ｍｓかかっていることとなる。

同様に、図６（ｂ）では、ＭＰＥＧデコーダ４６ｂで復号化されたデジタル映像信号がバッファ４８ｂへ出力されるタイミングを示しており、ＭＰＥＧデコーダ４６ｂにおいて、ＭＰＥＧデコーダ４６ａと同様の処理を行い、パケットＰ１ｂ〜Ｐ５ｂから分離されたＶＩＤＥＯデータから各フレームＦ１ｂ〜Ｆ５ｂのデジタル映像信号を生成し、パケットＰ１ｂ〜Ｐ５ｂに付加されていたタイムスタンプ（５〜９）を再びデジタル映像信号に付加し、時刻ｔ＋１３７のタイミングでフレームＦ１ｂから順に出力する。ここで、ＭＰＥＧデコーダ４６ｂは１ＧＯＰ分、つまり５フレーム分の復号化処理および出力に時間として１３０ｍｓかかっていることとなる。

同様に、図６（ｃ）では、ＭＰＥＧデコーダ４６ｃで復号化したデジタル映像信号がバッファ４８ｃへ出力されるタイミングを示しており、ＭＰＥＧデコーダ４６ｃにおいてＭＰＥＧデコーダ４６ｃと同様の処理を行い、パケットＰ１ｃ〜Ｐ５ｃから分離されたＶＩＤＥＯデータから各フレームＦ１ｃ〜Ｆ５ｃのデジタル映像信号を生成し、パケットＰ１ｃ〜Ｐ５ｃに付加されていたタイムスタンプ（３〜７）を再びデジタル映像信号に付加し、時刻ｔ＋１５２のタイミングでフレームＦ１ｃから順に出力する。ここで、ＭＰＥＧでコーダ４６ｃは１ＧＯＰ分、つまり５フレーム分の復号化処理および出力に時間として１４０ｍｓかかっていることとなる。

このように、ＭＰＥＧデコーダ４６ａ〜４６ｃにおいて、復号化処理に掛かる時間がそれぞれ異なる場合がある。また、付加されたタイムスタンプは、デジタル映像信号である各フレームのヘッダに格納される。

制御部４０では、デマルチプレクサ４２ａ〜４２ｃにおいて同一の同期信号Ｃを受け取ると、制御部４０内の図示しないメモリに保存される同期フレームテーブルに同期信号Ｃが格納されていたパケットのＶＩＤＥＯデータから生成されたフレームに付加されたタイムスタンプを監視カメラ２ａ〜２ｃ毎に記録する。同期フレームテーブルには、制御部４０が監視カメラ２ａ〜２ｃすべてから同一の同期信号Ｃを検出し、ＭＰＥＧデコーダ４６ａ〜４６ｃにおいて監視カメラ２ａ〜２ｃすべてのＶＩＤＥＯデータが復号化されたときに記録される。そして、次の同一の同期信号Ｃを監視カメラ２ａ〜２ｃすべてから検出し、ＭＰＥＧデコーダ４６ａ〜４６ｃにおいて監視カメラ２ａ〜２ｃすべてのＶＩＤＥＯデータが復号化されると、タイムスタンプを記録すべく同期フレームテーブルを更新する。

この同期フレームテーブルは、バッファ４８ａ〜４８ｃに格納されているデジタル映像信号から、制御部４０が同期信号Ｃを受け取ったときの各監視カメラ２ａ〜２ｃのデジタル映像信号を同期させてマルチ表示させるために参照される。

また、制御部４０は、デマルチプレクサ４２ａ〜４２ｃの中から最新の同期信号Ｃを受け取ると、該同期信号Ｃを制御部４０内の図示しないメモリに格納し、同期処理を行うためにバッファ４８ａ〜４８ｃに格納されているデジタル映像信号のレンダリング処理を停止する。そして、同一の同期信号Ｃを所定時間内に監視カメラ２ａ〜２ｃすべてから取得し、ＭＰＥＧデコーダ４６ａ〜４６ｃにおいて復号化が完了し、同一の同期信号Ｃが付されたＶＩＤＥＯデータからのデジタル映像信号をバッファ４８ａ〜４８ｃへ出力すると、制御部４０に格納されているレジスタ４０ｃのフラグＦを立てる（Ｆ＝１）。

制御部４０は、レンダリング処理を行う際に、フラグＦが立っているか否かを判別し、フラグＦが立っている場合には、同期フレームテーブルに基づいて、各監視カメラ２ａ〜２ｃからのデジタル映像信号を同期させてレンダリング処理を行う。該レンダリング処理が終了すると、フラグＦをリセットする（Ｆ＝０）。そして、フラグＦが立っていない場合は、制御部４０は各バッファ４６ａ〜４６ｃにフレームのヘッダに格納されているタイムスタンプを参照して、今回レンダリング処理を行っているデジタル映像信号に対応するフレームのタイムスタンプに基づく昇順に対応するフレームから順次レンダリング処理を行う。また、バッファ４６ａ〜４６ｃはリングバッファであり、レンダリング処理が為されたフレームデータは他のデータが上書き可能になるように処理される。

図７は、上述した監視カメラ２ａ〜２ｃ夫々における同期対象となるフレームに付与されたタイムスタンプを示した同期フレームテーブルである。本実施例では、図９を参照して説明したように、各カメラ２ａ〜２ｃにおける符号化処理時に、それぞれ１フレーム目に同期信号Ｃを受け取っているため、同期信号Ｃに対応する監視カメラ２ａからの出力に基づくフレームのタイムスタンプは１であり、監視カメラ２ｂからの出力に基づくフレームのタイムスタンプは５であり、監視カメラ２ｃからの出力に基づくフレームのタイムスタンプは３であることを示している。

さて、図６に示すように、レジスタ４０ｃのフラグＦは時刻ｔ＋１５４の時点で立つ。従って、時刻ｔ＋１５４において、同期処理が実行される。

図８（ａ）〜（ｃ）は、同期レンダリング処理時、つまり時刻ｔ＋１５４におけるバッファ４８ａ〜４８ｃに格納されているフレーム単位のデジタル映像信号の読み出しおよび書き込み状態を示している。

図８（ａ）を参照して説明すると、バッファ４８ａには、時刻ｔの時点で読み出し済みのフレームＦｎ−２ａ（タイムスタンプ：ｎ−２）、Ｆｎ−１ａ（タイムスタンプ：ｎ−１）と、読み出し中止となったフレームＦｎａ（タイムスタンプ：ｎ）と時刻ｔ＋１５４の時点で未だ読み出されていないフレームＦ１ａ（タイムスタンプ１）〜Ｆ８ａ（タイムスタンプ：８）が格納されており、フレームＦ９ａ（タイムスタンプ：９）は書き込み中である。図８（ｂ）を参照すると、時刻ｔの時点で読み出し済みのフレームＦｎ−４ｂ（タイムスタンプ：ｎ）、Ｆｎ−３ｂ（タイムスタンプ：１）と、読み出し中止となったフレームＦｎ−２ｂ（タイムスタンプ：２）と時刻ｔ＋１５４の時点で未だ読み出されていないフレームＦｎ−１ｂ（タイムスタンプ３：）〜Ｆ５ｂ（タイムスタンプ：９）が格納されている。図８（ｃ）を参照すると、時刻ｔの時点で読み出し済みのフレームＦｎ−５ｃ（タイムスタンプ：ｎ−３）と、読み出し中止となったフレームＦｎ−４ｃ（タイムスタンプ：ｎ−２）と、時刻ｔ＋１５４の時点で未だ読み出されていないフレームＦｎ−３ｃ（タイムスタンプ：ｎ−１）〜Ｆ１ｃ（タイムスタンプ：３ｃ）が格納されている。読み出し済みのフレームは、上書き対象となるため上書き可能な処理が施される。

そして、時刻ｔ＋１５４に制御部４０は同期フレームテーブルを参照して、テーブルに格納されたタイムスタンプ（１、５、３）に対応するフレーム（Ｆ１ａ、Ｆ１ｂ、Ｆ１ｃ）を確定し、読み出しを開始する。そして、該フレームを読み出した後は、今回読み出しているフレームのタイムスタンプから昇順に対応するフレームから順次読み出しを行う。そして、今回読み出しているフレームのタイムスタンプよりも古いフレームもまた上書き対象となり、上書き可能な処理が施される。

上述した一連の同期処理について図１０〜図１３を参照して説明する。

図１０は制御部４０における同期信号Ｃの出力処理の手続を示すフローチャートである。まずステップＳ１において、制御部４０内のカウンタＣの値を１にセットする。このカウンタＣの値は、同期信号を識別するための値と規定する。

次にステップＳ３へ進み、同期信号Ｃを監視カメラ２ａ〜２ｃへマルチキャストする。そしてステップＳ５へ進み、制御部４０内のタイマＭ４０ｂをリセット＆スタートさせ、ステップＳ７へ進む。このタイマＭ４０ｂはスタートしてから１０秒経過するとタイムアップする。

ステップＳ７では、すべての監視カメラ２ａ〜２ｃから同期信号Ｃが存在するパケットを受信したか否かを判別する。ステップＳ７においてＹＥＳと判断するとステップＳ９へ進み、最も早く到達した同期信号Ｃのパケット受信時刻から最も遅く到達した同期信号Ｃのパケット受信時刻の差の絶対値Ｄを算出する。また、ステップＳ７においてＮＯと判別するとステップＳ１３へ進む。

ステップＳ９の次はステップＳ１１へ進み、ステップＳ９において算出された絶対値Ｄと閾値Ｔｈを比較し、Ｄが閾値Ｔｈ以上であるか否かを判別する。ステップＳ１１においてＹＥＳと判別するとステップＳ１５へ進み、カウンタＣを１インクリメントさせて、ステップＳ３へ戻る。

ステップＳ１３では、タイマＭ４０ｂがタイムアップしたか否かを判断する。ここで、ＮＯと判別するとステップＳ７へ戻り、ＹＥＳと判別するとステップＳ１５へ進み、カウンタＣを１インクリメントさせて、ステップＳ３へ戻る。

次に、図１１、図１２のフローチャートを参照して制御部４０、デマルチプレクサ４２ａおよびＭＰＥＧデコーダ４６ａの復号化処理からバッファ４８ａへ出力する一連の手続を説明する。なお、デマルチプレクサ４２ｂ、ＭＰＥＧデコーダ４６ｂ、バッファ４８ｂによる一連の手続および、デマルチプレクサ４２ｃ、ＭＰＥＧデコーダ４６ｃ、バッファ４８ｃによる一連の手続は、同様にして並行して行われるが、ここでは説明を省略する。

まず、ステップＳ１７では、デマルチプレクサ４２ａに１パケット分のデータが入力されたか否かを判別し、ＹＥＳと判別するとステップＳ１９へ進む。ステップＳ１９では、デマルチプレクサ４２ａが、入力された１パケット分の圧縮画像データからユーザデータとＶＩＤＥＯデータを分離させ、ＶＩＤＥＯデータをＭＰＥＧデコーダ４６ａへ出力させる。また、分離されたユーザデータは制御部４０へ入力される。

次にステップＳ２１へ進み、ＭＰＥＧデコーダ４６ａは入力されるＶＩＤＥＯデータに復号化処理を施してデジタル映像データを生成する。そしてステップＳ１７へ戻る。

次に図１２のフローチャートを参照して復号化処理からバッファ４８ａへ出力する手続を説明すると、ステップＳ２３において制御部４０は１フレーム分のデジタル映像データが有るか否かを判別する。そしてステップＳ２３においてＹＥＳと判別するとステップＳ２５へ進み、制御部４０はステップＳ２３において分離されたユーザデータの対になるＶＩＤＥＯデータがステップＳ２７において復号化された１フレーム分のデジタル映像信号に、該ユーザデータに含まれるタイムスタンプを付加してバッファ４８ａに出力する。そしてステップＳ２３へ戻る。

ここで、ＶＩＤＥＯデータの復号化処理について、ＭＰＥＧデコーダ４６ａに入力されるＶＩＤＥＯデータの順序は、図９に示す符号化処理後のピクチャの順序のように、Ｉピクチャ、Ｐピクチャ、Ｂピクチャ・・・といった順序である。ただし、ステップＳ２５からバッファ４８ａへ出力される順序は符号化処理時のピクチャの順序にように、Ｉピクチャ、Ｂピクチャ、Ｂピクチャ・・・といった順序であり、各ピクチャに対応するフレームのデジタル映像信号が、タイムスタンプが付加されてバッファ４８ａに出力される。

次に図１３を参照して、制御部４０におけるレンダリング処理の一連の制御の手続について説明する。

ステップＳ３１で、制御部４０は、監視カメラ２ａ〜２ｃから同期信号Ｃが入力された否かを判別する。ステップＳ３１においてＮＯと判別するとステップＳ３３へ進み各バッファ４８ａ〜４８ｃに格納されているデジタル映像信号に対しタイムスタンプに基づく１フレーム分のデジタル映像信号のレンダリング処理を行う。そしてステップＳ３５へ進み、レンダリング処理の対象となった１フレーム分のデジタル映像信号を上書き可能に処理する。

ステップＳ３１においてＹＥＳと判別すると、ステップＳ３７へ進み、ステップＳ３１において入力された同期信号が、制御部４０内の図示しないメモリに保持している同期信号Ｃと同一であるか否かを判別する。ステップＳ３７においてＮＯと判別するとステップＳ３９へ進み、バッファ４８ａ〜４８ｃに対し現在行っているレンダリング処理を中止し、ＹＥＳと判別するとステップＳ４１へ進む。ステップＳ４１では、フラグＦが立っているか否かを判別し、ＹＥＳと判別されるまでステップＳ３７とステップＳ４１の分岐を繰り返す。

そして、ステップＳ４１においてＹＥＳと判別すると、ステップＳ４３へ進み同期フレームテーブルに基づいて、バッファ４８ａ〜４８ｃに格納されているデジタル映像信号からレンダリング処理を開始する。そして、ステップＳ４５へ進み、ステップＳ４３においてレンダリング処理の対象となるデジタル映像信号に付加されたタイムスタンプよりも以前のタイムスタンプが付加されているデジタル映像信号に対して、以後上書き可能になる処理を施し、ステップＳ４７へ進む。ステップＳ４７では、フラグＦをリセット（Ｆ＝０）し、ステップＳ３１へ戻る。

このように、本実施例によれば、ＰＣ６において監視カメラ２ａ〜２ｃの映像信号をマルチ表示させる際に、ＰＣ６から出力された同期信号に基づいて、バッファ４８ａ〜４８ｃのレンダリング処理のタイミングを制御することによって、監視カメラ２ａ〜２ｃからＰＣ６への圧縮画像データ転送における遅延およびＰＣ６内でのＭＰＥＧデコーダ４６ａ〜４６ｃにおける復号化処理における遅延に関係なく、監視カメラ２ａ〜２ｃの映像信号を同期させたマルチ画像を表示することができる。

なお、本実施例では、ＭＰＥＧエンコーダ２８ａ〜２８ｃにおいてＭＰＥＧ−２ＰＳ形式で圧縮処理および伸張処理を行っているが、これの形式に限るものではなく、ＭＰＥＧ−２ＴＳ、ＭＰ４、ＤｉｖＸなどの形式で圧縮処理および伸張処理を行っても良い。また、可逆圧縮であるＰＮＧ形式の画像ファイルを伸張させて連続して表示させてもよい。

また、本実施例では、監視カメラ２ａ〜２ｃにおいて１フレーム分のデジタル画像データを圧縮した圧縮画像信号をＰＣ６へ転送する際に、１パケット分に相当させて説明したが、これに限るものではなく、２パケット分に相当させても良い。

また、本実施例では、同期処理においてレンダリング処理を開始させる対象のフレームデータのタイムスタンプよりも古いフレームデータを上書き可能処理させているが、消去しても良い。

本実施例に係るネットワーク接続されたＰＣと監視カメラのシステムを示すブロック図である。 本実施例に係る監視カメラを示すブロック図である。 本実施例に係るＰＣを示すブロック図である。 本実施例に係る圧縮画像データの構成の一部を示す図解図である。 本実施例に係るＰＣにおけるデータの流れのタイミングチャートの一部を示す図解図である。 本実施例に係るＰＣにおけるデータの流れのタイミングチャートの他の一部を示す図解図である。 本実施例に係る制御部が保持するテーブルの一部を示す図解図である。 本実施例に係るＰＣのバッファ内部の一部を示す図解図である。 本実施例に係る監視カメラの符号化処理におけるデータストリームの一部を示す図解図である。 本実施例に係るＰＣにおける同期信号出力処理の手続の一部を示すフローチャートである。 本実施例に係るＰＣにおける復号化処理の手続の一部を示すフローチャートである。 本実施例に係るＰＣにおける復号化処理の手続の他の一部を示すフローチャートである。 本実施例に係るＰＣにおけるレンダリング制御処理の手続きの一部を示すフローチャートである。

符号の説明

２ａ〜２ｃ・・・ 監視カメラ
４ ・・・ ネットワーク
６ ・・・ ＰＣ
１２ ・・・ 光学レンズ
１４ ・・・ 絞り
１６ ・・・ モータ駆動部
１８ ・・・ ＣＣＤイメージャ
２０ ・・・ シグナルジェネレータ（ＳＧ）
２４ ・・・ カメラ処理回路
２５ ・・・ ＣＰＵ
２５ａ ・・・ タイマＩ
２６ ・・・ ＳＤＲＡＭ
２８ ・・・ ＭＰＥＧエンコーダ
３２ ・・・ 通信インタフェース
４０ ・・・ 制御部
４０ｂ ・・・ タイマＭ
４０ｃ ・・・ フラグＦ
４０ｄ ・・・ カウンタＣ
４２ａ〜４２ｃ・・・デマルチプレクサ
４４ ・・・ マルチ画像生成部
４６ａ〜４６ｃ・・・ＭＰＥＧデコーダ
４８ａ〜４８ｃ・・・バッファ
５４ ・・・ 表示器

Claims (8)

1. 互いに異なる被写体を夫々撮像し、得られた撮像信号に符号化処理を施した符号化データに同一の同期タイミング情報を関連付けて複数の撮像装置から出力される画像データを入力する入力手段と、
   前記画像データから前記同期タイミング情報と前記符号化データとを分離する分離手段と、
   前記符号化データに対し復号化処理を施して復号化データを生成する復号化手段と、
   前記復号化データに前記同期タイミング情報に基づく同期情報を関連付けて前記復号化データを保持する保持手段と、
   前記保持手段に保持されている前記複数の撮像装置に基づく復号化データから表示手段に出力するための表示画像データを生成する表示画像生成手段と、
   前記保持手段に保持されている前記複数の撮像装置に基づく復号化データに関連付けられた夫々の同期情報が所定条件を満たすときに、該所定条件を満たす同期情報と関連付けられた複数の撮像装置にそれぞれ対応する復号化データから前記表示手段に出力するための表示画像データを生成するように前記表示画像生成手段を制御する制御手段を備える画像処理装置。
2. 前記同期タイミング情報を前記複数の撮像装置に対して断続的に出力する同期タイミング出力手段をさらに備えることを特徴とする、請求項１記載の画像処理装置。
3. 前記所定条件は前記夫々の同期信号の状態がすべて前記同一の同期タイミング情報に基づくものであることを特徴とする、請求項１乃至２記載のいずれかの画像処理装置。
4. 前記画像データには前記撮像装置から得られる時刻情報がさらに付加されており、
   前記表示画像生成手段において、前記保持手段に保持されている前記複数の撮像装置に基づく復号化データから前記時刻情報に基づく時系列に従って表示画像データを生成することを特徴とする、請求項１乃至３記載のいずれかの画像処理装置。
5. 前記同期タイミング情報出力手段において前記同期タイミング情報を出力した後から前記所定条件を満たすまでの期間は、前記表示画像生成手段における表示画像データの生成を禁止する禁止手段をさらに備える、請求項２乃至４記載のいずれかの画像処理装置。
6. 互いに異なる被写体を夫々撮像し、得られた撮像信号に符号化処理を施した符号化データに同一の同期タイミング情報を関連付けて画像データとして出力する複数の撮像装置と、該画像データを入力する画像処理装置を備える画像処理システムであって、
   前記画像処理装置は、
   前記画像データから前記同期タイミング情報と前記符号化データとを分離する分離手段と、
   前記符号化データに対し復号化処理を施して復号化データを生成する復号化手段と、
   前記復号化データに前記同期タイミング情報に基づく同期情報を関連付けて前記復号化データを保持する保持手段と、
   前記保持手段に保持されている前記複数の撮像装置に基づく復号化データから表示手段に出力するための表示画像データを生成する表示画像生成手段と、
   前記保持手段に保持されている前記複数の撮像装置に基づく復号化データに関連付けられた夫々の同期情報が所定条件を満たすときに、該所定条件を満たす同期情報と関連付けられた複数の撮像装置にそれぞれ対応する復号化データから前記表示手段に出力するため表示画像データを生成するように前記表示画像生成手段を制御する制御手段を備えることを特徴とする、画像処理システム。
7. 互いに異なる被写体を夫々撮像し、得られた撮像信号に符号化処理を施した符号化データに同一の同期タイミング情報を関連付けて画像データとして出力する複数の撮像装置と、該画像データを入力する画像処理装置における画像処理方法であって、
   前記画像データから前記同期タイミング情報と前記符号化データとを分離するステップと、
   前記符号化データに対し復号化処理を施して復号化データを生成するステップと、
   前記復号化データに前記同期タイミング情報に基づく同期情報を関連付けて前記復号化データを保持手段に保持するステップと、
   前記保持手段に保持されている前記複数の撮像装置に基づく復号化データから表示手段に出力するための表示画像データを生成するステップと、
   前記保持手段に保持されている前記複数の撮像装置に基づく復号化データに関連付けられた夫々の同期情報が所定条件を満たすときに、該所定条件を満たす同期情報と関連付けられた複数の撮像装置にそれぞれ対応する復号化データから前記表示手段に出力するため表示画像データを生成するように制御するステップから成る画像処理方法。
8. コンピュータに、
   互いに異なる被写体を夫々撮像し、得られた撮像信号に符号化処理を施した符号化データに同一の同期タイミング情報を関連付けて複数の撮像装置から出力される画像データを入力する入力手段、
   前記画像データから前記同期タイミング情報と前記符号化データとを分離する分離手段、
   前記符号化データに対し復号化処理を施して復号化データを生成する復号化手段、
   前記復号化データに前記同期タイミング情報に基づく同期情報を関連付けて前記復号化データを保持する保持手段、
   前記保持手段に保持されている前記複数の撮像装置に基づく復号化データから表示手段に出力するため表示画像データを生成する表示画像生成手段、
   前記保持手段に保持されている前記複数の撮像装置に基づく復号化データに関連付けられた夫々の同期情報が所定条件を満たすときに、該所定条件を満たす同期情報と関連付けられた複数の撮像装置にそれぞれ対応する復号化データから前記表示手段に出力するための表示画像データを生成するように前記表示画像生成手段を制御する制御手段を機能させるためのプログラム。