本実施の形態では、スポーツのコーチングシステムに利用される撮像システム、撮像装置、通信端末、及びそれらの制御方法について説明するが、撮像システム、撮像装置、通信端末、及びそれらの制御方法の用途は、スポーツのコーチングシステムに限定されるものではない。
以下、図面を参照して本発明の実施の形態について説明する。本実施の形態に係る撮像システムについて、図1を用いて説明する。図1は、撮像システム10の全体構成を示す図である。撮像システム10は、撮像装置1と通信端末5を備えている。撮像装置1は動画像及び静止画像を撮像することができるデジタルカメラを有している。さらに、撮像装置1は外部メモリカード等を取り付けるためのスロットを有しており、外部メモリカード等に撮像した動画等を記録する。撮像装置1は、通信端末5と無線通信可能であり、撮像した動画を構成する撮像データを通信端末5に対して送信する。
通信端末5は、撮像装置1と通信可能な通信端末である。より具体的には、通信端末5は、例えば、タブレットPC、スマートフォン、スマートTV等であり、撮像装置1のモニタよりも大きいモニタを有している。通信端末5は、操作部、及び表示部となるタッチパネル付き液晶ディスプレイを有している。通信端末5と撮像装置1とは、例えば、WiFi Directなどの通信方式によって、データの送受信を行う。通信端末5には、操作部と表示部と通信部が設けられていればよい。例えば、通信端末5は、通話やインターネット接続等の他の機能を備えるスマートフォン等の携帯電話であってもよく、通話機能を有していない通信端末であってもよい。ここでは、3つの通信端末5が設けられているが、通信端末5の数は特に限定されるものではない。
本実施の形態では、撮像装置1が撮像データを取得中に、ユーザが通信端末5からデータ取得要求を行う。撮像装置1がデータ取得要求を受信すると、撮像装置1が通信端末5に対して撮像データを送信する。したがって、ユーザが通信端末5によって動画を表示することができる。そして、ユーザが通信端末5に表示されている動画に基づいて、フォームやフォーメーションを確認することができる。これにより、コーチと選手とが同じ通信端末5の表示画面を確認しながら、コーチングを行うことができるようになる。
<撮像装置1の構成>
次に、撮像装置1の構成について説明する。図2は、本実施の形態に係る撮像装置1の構成例を示すブロック図である。撮像装置1は動画及び静止画を撮像することができる。
撮像装置1は、ズームレンズ101、フォーカスレンズ102、絞り103、及び撮像素子104で構成される撮像部100を有する。ズームレンズ101は図示しないズームアクチュエータによって光軸LAに沿って移動する。同様に、フォーカスレンズ102は、図示しないフォーカスアクチュエータによって光軸LAに沿って移動する。絞り103は、図示しない絞りアクチュエータに駆動されて動作する。撮像素子104は、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等で構成される。
撮像装置1を用いた撮像は以下の手順で行われる。撮像素子104は、ズームレンズ101、フォーカスレンズ102、及び絞り103を通過した光を光電変換して、被写体のアナログ画像信号を生成する。アナログ画像信号処理部105が、このアナログ画像信号を増幅した後、画像A/D変換部106が、その増幅された信号をデジタル画像データに変換する。画像入力コントローラ107は、画像A/D変換部106から出力されたデジタル画像データを撮像データとして取り込んで、バス200を介してメインメモリ206に格納する。
デジタル信号処理部108は、バス200を介して中央制御部400からの指令に基づき、メインメモリ206に格納された撮像データを取り込み、所定の信号処理を施して輝度信号と色差信号とからなるデータを生成する。デジタル信号処理部108はまた、オフセット処理、ホワイトバランス調整処理、ガンマ補正処理、RGB補完処理、ノイズ低減処理、輪郭補正処理、色調補正処理、光源種別判定処理等の各種デジタル補正を行う。
マイク109は撮像時の周囲の音声を収音し、アナログ音声信号を生成する。アナログ音声信号処理部110がそのアナログ音声信号を増幅した後、音声A/D変換部111が、その増幅された信号をデジタル音声データに変換する。音声入力コントローラ112は、音声A/D変換部111から出力されたデジタル音声データを撮像データと併せてメインメモリ206に格納する。
多重化部113は、メインメモリ206に格納された撮像データ及びデジタル音声データを多重化しストリームデータを生成する。
圧縮・伸長処理部201は、バス200を介して中央制御部400からの指示に従い、メインメモリ206に格納されたストリームデータに所定の圧縮処理を施し、圧縮データを生成する。また、中央制御部400からの指令に従い、カード型記録媒体302等に格納された圧縮データに所定形式の伸張処理を施し、非圧縮データを生成する。なお、本実施の形態の撮像装置1では、静止画像に対してはJPEG規格に準拠した圧縮方式が、動画像に対してはMPEG2規格やAVC/H.264規格に準拠した圧縮方式が採用される。
例えば、圧縮・伸長処理部201は、第1のエンコーダ/デコーダ201aと、第2のエンコーダ/デコーダ201bと、第3のエンコーダ/デコーダ201cと、を備えている。第1のエンコーダ/デコーダ201aは、H.264/MPEG−4 AVC方式で撮像データを符号化(エンコード)、復号化(デコード)している。第1のエンコーダ/デコーダ201aは、撮像データをエンコードして、ハイビジョン映像のAVCHDファイルを生成する。AVCHDファイルは、例えば、1920×1200の画素数の撮像データであり、17Mbpsのビットレートを有している。以下、第1のエンコーダ/デコーダ201aが符号化して生成する撮像データを第1の符号化データとする。
第2のエンコーダ/デコーダ201bは、例えば、MPEG−4方式で撮像データを符号化、復号化している。したがって、第2のエンコーダ/デコーダ201bは、撮像データをエンコードして、mp4ファイルを生成する。mp4ファイルは、例えば、640×360の画素数の撮像データであり、1Mbpsのビットレートを有している。以下、第2のエンコーダ/デコーダ201bが符号化して生成する撮像データを第2の符号化データとする。さらに、第2のエンコーダ/デコーダ201bは、第1のエンコーダ/デコーダ201aが生成した第1の符号化データを第2の符号化データにトランスコードすることもできる。
第3のエンコーダ/デコーダ201cは、例えば、JPEG方式で、撮像データを符号化、復号化している。例えば、第3のエンコーダ/デコーダ201cは、撮像データを構成するフレーム画像を符号化して、JPEGファイルを生成する。第3のエンコーダ/デコーダ201cは、JPEGファイルを連続して生成することで、Motion JPEGデータを生成する。以下、第3のエンコーダ/デコーダ201cで符号化して生成するデータを第3の符号化データとする。第3の符号化データは、第1の符号化データ、及び第2の符号化データよりもビットレートの遅いデータである。
このように第1のエンコーダ/デコーダ201aは、高レート用のエンコーダ/デコーダとなっている。第3のエンコーダ/デコーダ201cは、低レート用のエンコーダ/デコーダとなっている。第2のエンコーダ/デコーダ201bは、中レート用のエンコーダ/デコーダとなっている。なお、符号化形式は、上記した第1〜第3の符号化形式に限定されるものではない。すなわち、圧縮・伸長処理部201は、ビットレートの異なる3つの形式で符号化、復号化できるものであればよい。もちろん、各エンコーダ/デコーダは、物理的に単一のプロセッサなどで構成されていてもよい。
音声・画像処理部202は、バス200を介して中央制御部400の指示に従い、メインメモリ206から読み出したデジタルデータに所定の画像処理を施す。例えばメニュー画像やOSD画像等、各種処理のための画像データを生成し、その画像データをメインメモリ206から読み出されたオリジナルの撮像データに重畳させて液晶モニタ304に出力する。この出力によって、液晶モニタ304に表示される画像は各種画像データが合成されたものとなる。なお、液晶モニタ304の代わりに有機EL(Electro-Luminescence)モニタ等の他のモニタを用いることも可能である。
ROM203はバス200を介して中央制御部400に接続されており、中央制御部400が実行する制御プログラム及び制御に必要な各種データ等を格納している。フラッシュROM204は、ユーザの設定情報等、撮像装置1の動作に関する各種設定情報を格納している。撮像装置1は、様々な撮像のシチュエーションに応じて、いくつかの撮像モードと、各モードにあわせた撮像条件の設定を予めフラッシュROM204に記憶している。そして、ユーザは撮像を開始する前に、各モードの中から最適なモードを選択することにより、最適な撮像条件で撮像を実施することができる。例えば、特定の人物の撮像に適した「ポートレートモード」、運動会等の撮像に適した「スポーツモード」、又は夜景等の暗い場所の撮像に適した「夜景モード」等である。VRAM205は、表示用の撮像データの一時記憶領域として使用される。
メインメモリ206は、撮像データ(動画像及び静止画)の一時記憶領域として使用されるとともに、中央制御部400の演算作業領域としても使用される。
メディア制御部207は、中央制御部400の指令に従い、カードI/F301を通じてカード型記録媒体302へのデータの書き込みやデータの読み出しを制御する。カード型記録媒体302はSDカードやコンパクトフラッシュ(登録商標)等の外部メモリであり、撮像装置1に対して脱着可能に設けられている。メディア制御部207は、圧縮・伸長処理部201で符号化された撮像データを動画ファイルとして、カード型記録媒体302に記憶する。
ジャイロセンサ208は、3軸の加速度及び角速度の変化を検出する。そして、ジャイロセンサ208の検出結果に応じて、液晶モニタ304の表示向きを変える。時計208は、撮像画像データの取得日時の情報等を示す入力時刻情報を生成する。
液晶モニタ304、スピーカ305、操作部306及び入出力端子307は入出力I/F303に接続されている。液晶モニタ304は、例えばVRAM205やメインメモリ206に一時記録された撮像データや各種メニュー画像データ等、各種画像データから生成された画像を表示する。スピーカ305は、例えばメインメモリ206に一時記録された音声を出力する。操作部306は、上記のように、リレーズ・スイッチや電源スイッチを含む操作キー、十字キー、ジョイスティック、又は液晶モニタ304上に重畳されたタッチパネル等から構成されており、ユーザの撮像装置1への操作入力を受け付ける。入出 力端子307は、図示しないテレビモニタやPC(Personal Computer)等に接続される。
無線モジュール309(第1の通信手段)は、バス200及び無線I/F308を介して、通信端末5との間で信号の送受信を行う。具体的には、無線モジュール309は、Wi−Fi等の無線LAN規格に準拠した通信処理を行う。これにより、通信端末5との通信が可能になる。無線モジュール309は、通信端末5と通信を行うための第1の通信手段となる。
中央制御部400はCPU、各種プログラムが格納されたROM、及びワークエリアとしてのRAM等を含む半導体集積回路により構成され、撮像、各種画像の表示、及び連携撮影に関する情報の送受信等の撮像装置1全体の処理を統括的に制御する。
中央制御部400は、デコーダ制御部401、及び通信制御部402を有している。デコーダ制御部401は、第1のエンコーダ/デコーダ201a、第2のエンコーダ/デコーダ201b、及び第3のエンコーダ/デコーダ201cを制御する。例えば、ユーザが高精細の撮像データを取得したい場合は、撮像データの保存形式としてAVCHDファイルを指定する。この場合、デコーダ制御部401は、第1のエンコーダ/デコーダ201aを動作させる。すなわち、第2のエンコーダ/デコーダ201b、及び第3のエンコーダ/デコーダ201cの動作を停止させる。これにより、撮像装置1が取得した撮像データが、第1の符号化方式で符号化され、第1の符号化データが生成される。そして、撮像データがAVCHDファイルとしてカード型記録媒体302、又は内蔵型記録媒体(不図示)に格納される。
一方、ユーザがデータ量の小さい撮像データを取得したい場合は、mp4ファイルを撮像データの保存形式としてmp4ファイルを指定する。この場合、デコーダ制御部401は、第2のエンコーダ/デコーダ201bを動作させる。すなわち、第2のエンコーダ/デコーダ201b、及び第3のエンコーダ/デコーダ201cの動作を停止させる。これにより、撮像装置1が取得した撮像データが、第2の符号化方式で符号化され、第2の符号化データが生成される。そして、撮像データがmp4ファイルとしてカード型記録媒体302に格納される。
また、撮像データのサムネイル画像などを生成する場合、デコーダ制御部401が第3のエンコーダ/デコーダ201cを動作させる。第3のエンコーダ/デコーダ201cが撮像データの先頭フレームを抽出して、エンコードする。これにより、撮像データのサムネイル画像がJPEGファイルとして生成される。そして、サムネイル画像を、カード型記録媒体302等に格納された撮像データに対応付けて記憶する。
通信制御部402は、通信端末5との通信を制御する。例えば、通信制御部402は、ユーザなどからの入力に基づいて、通信端末5に送信する通信データを生成する。あるいは、通信制御部402は、通信端末5から受信した通信データに基づいて、デコーダ制御部402や等を制御する。
<通信端末5の構成>
次に、通信端末5の制御系について説明する。通信端末5は、ズームレンズ501、フォーカスレンズ502、絞り503、及び撮像素子504で構成される撮像部500を有する。ズームレンズ501は図示しないズームアクチュエータによって光軸LAに沿って移動する。同様に、フォーカスレンズ502は、図示しないフォーカスアクチュエータによって光軸LAに沿って移動する。絞り503は、図示しない絞りアクチュエータに駆動されて動作する。撮像素子504は、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等で構成される。
撮像部500を用いた撮像は以下の手順で行われる。撮像素子504はズームレンズ501、フォーカスレンズ502、及び絞り503を通過した光を光電変換して、被写体のアナログ画像信号を生成する。
アナログ画像信号処理部505が、このアナログ画像信号を増幅した後、画像A/D変換部506が、その増幅された信号をデジタル画像データに変換する。画像入力コントローラ507は、画像A/D変換部506から出力されたデジタル画像データを撮像データとして取り込んで、バス600を介してメインメモリ606に格納する。
デジタル信号処理部508は、バス600を介して中央制御部900からの指令に基づき、メインメモリ606に格納された撮像データを取り込み、所定の信号処理を施して輝度信号と色差信号とからなるデータを生成する。デジタル信号処理部508はまた、オフセット処理、ホワイトバランス調整処理、ガンマ補正処理、RGB補完処理、ノイズ低減処理、輪郭補正処理、色調補正処理、光源種別判定処理等の各種デジタル補正を行う。
マイク509は撮像時の周囲の音声を周音し、アナログ音声信号を生成する。アナログ音声信号処理部510がそのアナログ音声信号を増幅した後、音声A/D変換部511が、その増幅された信号をデジタル音声データに変換する。音声入力コントローラ512は、音声A/D変換部511から出力されたデジタル音声データを撮像データと併せてメインメモリ606に格納する。
多重化部513は、メインメモリ606に格納された撮像データ及びデジタル音声データを多重化しストリームデータを生成する。
圧縮・伸長処理部601は、バス600を介して中央制御部900からの指示に従い、メインメモリ606に格納されたストリームデータに所定の圧縮処理を施し、圧縮データを生成する。また、中央制御部900からの指令に従い、メインメモリ606等に格納された圧縮データに所定形式の伸張処理を施し、非圧縮データを生成する。
なお、本実施の形態の通信端末5では、静止画像に対してはJPEG規格に準拠した圧縮方式が、動画像に対してはMPEG2規格やAVC/H.264規格に準拠した圧縮方式が採用される。
例えば、圧縮・伸長処理部601は第4のエンコーダ/デコーダ601bと、第5のエンコーダ/デコーダ601cを備えている。第4のエンコーダ/デコーダ601bは、第2のエンコーダ/デコーダ201bと同様に、符号化、復号化を行う。すなわち、第4のエンコーダ/デコーダ601bは、第2のエンコーダ/デコーダ201bでエンコードした撮像データを復号化する。第5のエンコーダ/デコーダ601cは、第3のエンコーダ/デコーダ201cと同様に、符号化、復号化を行う。すなわち、第5のエンコーダ/デコーダ601cは、第3のエンコーダ/デコーダ201cでエンコードした撮像データを復号化する。
このように、第5のエンコーダ/デコーダ601cは、低レート用のエンコーダ/デコーダとなっている。第4のエンコーダ/デコーダ601bは、中レート用のエンコーダ/デコーダとなっている。
音声・画像処理部602は、バス600を介して中央制御部900の指示に従い、メインメモリ606から読み出したデジタルデータに所定の画像処理を施す。例えばメニュー画像やOSD画像等、各種処理のための画像データを生成し、その画像データをメインメモリ606から読み出されたオリジナルの撮像データに重畳させて液晶モニタ704に出力する。この出力によって、液晶モニタ704に表示される画像は各種画像データが合成されたものとなる。なお、液晶モニタ704の代わりに有機EL(Electro - Luminescence)モニタ等の他のモニタを用いることも可能である。
ROM603はバス600を介して中央制御部900に接続されており、中央制御部400が実行する制御プログラム及び制御に必要な各種データ等を格納している。フラッシュROM604は、ユーザの設定情報等、通信端末5の動作に関する各種設定情報を格納している。
VRAM605は、表示用の画像データの一時記憶領域として使用される。メインメモリ606は、各種画像データの一時記憶領域として使用されるとともに、中央制御部900の演算作業領域としても使用される。
ジャイロセンサ608は、3軸の加速度及び角速度の変化を検出する。そして、ジャイロセンサ608の検出結果に応じて、液晶モニタ704の表示向きを変える。時計609は、後述するデータ取得要求時刻を生成する。時計609は、時計209と時間合わせされていてもよい。
液晶モニタ704、スピーカ705、操作部706及び入出力端子707は入出力I/F703に接続されている。液晶モニタ704は、例えばVRAM605やメインメモリ606に一時記録された撮像データや各種メニュー画像データ等、各種画像データから生成された画像を表示する。スピーカ705は、例えばメインメモリ606に一時記録された音声を出力する。操作部706は、操作ボタン、又は液晶モニタ304上に重畳されたタッチパネル等から構成されており、ユーザの通信端末5への操作入力を受け付ける。入出力端子707は、図示しないテレビモニタやPC(Personal Computer)等に接続される。
無線モジュール709は、バス600及び無線I/F708を介して、後述する撮像データを撮像装置1との間で送受信する。また、無線モジュール709は、通信端末5を撮像装置1と通信する際の、各種情報の送受信を行う。この通信処理については後述する。各種情報及び撮像データ等の無線通信はIEEE802.11規格に準拠した方式で行われる。より具体的には、無線モジュール709は、Wi−Fi等の無線LAN規格に準拠した通信処理を行う。これにより、撮像装置1との通信が可能になる。無線モジュール709は、第2の通信手段となる。
中央制御部900は、デコーダ制御部901と通信制御部902とを備えている。デコーダ制御部901は、圧縮・伸長処理部601を制御する。デコーダ制御部901は、第4のエンコーダ/デコーダ601b、及び第5のエンコーダ/デコーダ601cを制御する。撮像装置1から送信された撮像データを適切にデコードする。エンコーダ/デコーダ601b、及び第5のエンコーダ/デコーダ601cでデコードされた撮像データは、液晶モニタ704に表示される。
通信制御部902は、撮像装置1との通信を制御する。例えば、通信制御部902は、撮像装置1に送信する通信データを生成する。また、通信制御部902は、撮像装置1から送信された通信データに基づいて、デコーダ制御部901等を制御する。通信制御部902はユーザからの入力に応じて、データ取得要求信号を生成する。また、通信制御部902は、撮像装置1から送信された撮像データをメインメモリ606等に記憶するための制御を行う。
通信モジュール711は、バス600及び通信I/F710を介して、他の通信端末5の通話、メールの送受信、インターネット接続などを行う。これらの無線通信は、例えば、W−CDMAやCDMA2000等の通信規格に準拠した方式で行われる。これにより、基地局との通信が可能になる。もちろん、通信モジュール711での通信による通信規格は特に限定されるものではない。通信モジュール711は、無線モジュール709と異なる通信方式で無線通信を行う。通信モジュール711が音声データを送受信することで、他の通信端末5との通話が可能となる。なお、通信端末5がスマートTVやタブレットPC等の携帯電話機能を有していない端末である場合、通信モジュール711、及び通信I/Fを備えていなくてもよい。
メインメモリ606、又はROM603には、アプリケーションプログラム等が格納されている。アプリケーションプログラムには、データ取得やコーチングに用いられるアプリケーションプログラム(以下、アプリとする)が含まれている。
<撮像データの転送処理>
以下、撮像装置1から通信端末5に撮像データを転送する処理について、図4〜図6を用いて説明する。図4は、撮像システム10の動作を示すフローチャートである。図5は、撮像装置1の液晶モニタ304の表示画面を示す図である。図6は、通信端末5の液晶モニタ704の表示画面を示す図である。なお、以下の説明において、撮像装置1の操作部306、及び通信端末5の操作部706が、液晶モニタ304、及び液晶モニタ704に設けられたタッチパネルであるとして説明を行う。
まず、撮像装置1と通信端末5との無線接続を確立する(ステップS101)。そのため、ユーザが撮像装置1を操作して、接続開始要求を入力する。例えば、図5のC1に示すように、ユーザが、動画を表示中の撮像装置1のメニューボタンをタッチする。すると、図5のC2に示すメニュー画面が現れる。ユーザが接続スタートのボタンをタッチすると、接続する機器を指定する画面となる(図5のC3)。ここで、ユーザが接続相手となる通信端末5のIDとパスワードを入力する。すると、通信端末5の通信制御部402が、送信されたID及びパスワードを認証する。これにより、図5のC4に示すように、撮像装置1と通信端末5との無線接続が確立する。なお、撮像装置1と接続可能な通信端末5を予め登録しておき、液晶モニタ304にリストとして表示するようにしてもよい。この場合、リスト中から、ユーザが通信する通信端末5を選択する。このようにして、ユーザが接続開始要求を入力すると、無線接続が確立する。なお、接続開始要求は、通信端末5で入力してもよい。
撮像装置1と通信端末5との無線接続が開始すると、撮像装置1が通信端末5に動画をリアルタイム伝送する(ステップS102)。ここでは、第3のエンコーダ/デコーダ601cが撮像データを符号化して、第3の符号化データを生成する。撮像装置1が第3の符号化データを通信端末5に送信する。撮像装置1が最新の撮像データを順番に通信端末5に送信する。
そして、通信端末5が、遅延した動画を表示する(ステップS103)。通信端末5のデコーダ制御部901が第5のエンコーダ/デコーダ601cを動作させて、第3の符号化データをデコードする。通信端末5は、デコードされた撮像データに基づいて、液晶モニタ704に動画を表示させる。このように、通信端末5は、第3の符号化データに基づいて、動画を表示する。
通信端末5の通信制御部902には、ある一定の遅延時間が設定されている。そして、撮像装置1が撮像した時間よりも遅延時間だけ遅延するように、動画を表示する。例えば、10秒の遅延時間が設定されている場合、撮像データを取得した時間から10秒だけ遅延して動画が表示される。これにより、図6のT1に示すように、撮像装置1において一定時間前に取得された撮像データが、通信端末5の液晶モニタ704に表示される。すなわち、撮像装置1に表示されている動画よりも遅れて、液晶モニタ704が動画を表示する。遅延時間は、撮像装置1と通信端末5との通信遅延を考慮して、通信遅延よりも長い時間とすることが好ましい。これにより、通信端末5の表示において通信遅延の影響を抑制することができ、動画がスムーズに表示される。
次に、他の通信端末5からの接続要求がないかを撮像装置1が確認する(ステップS104)。撮像装置1は、他の通信端末5からの接続要求がある場合(ステップS104のYES)、接続を切り替え(ステップS111)、ステップS102に戻る。例えば、ユーザが他の通信端末5を操作して、接続要求を行ったとする。この場合、接続要求が適切なものであるか否かを撮像装置1の通信制御部402が判定する。そして、接続要求が適切な通信端末5から送信されているのであれば、通信制御部402は、接続要求を送信した他の通信端末5に動画の撮像データをリアルタイム伝送する(ステップS102)。すなわち、通信制御部902は、第3の符号化データを他の通信端末5に送信する。
他の端末からの接続要求がない場合(ステップS104のNO)、ユーザが撮像装置1を操作して、動画記録を開始する(ステップS105)。すなわち、ユーザ1が操作部306の録画ボタン等をタッチすることで、録画が開始する。撮像装置1がカード型記録媒体302に撮像データを記録する(ステップS106)。すなわち、カード型記録媒体302へのデータの書き込みが開始する。なお、上記の説明では、撮像装置1と通信端末5との接続が確立した後に、撮像装置1が動画の記録を開始しているが、無線接続が確立する前に、動画の記録を開始してもよい。すなわち、動画の記録中に、撮像装置1と通信端末5とが無線接続を確立してもよい。
ここで、カード型記録媒体302に書き込まれる撮像データは、第1の符号化方式でエンコードされている。すなわち、カード型記録媒体302には、第1のエンコーダ/デコーダ201aによってデコードされた第1の符号化データが記録される。撮像装置1は、第3のエンコーダ/デコーダ201cでデコードした撮像データを通信端末5に送信している。すなわち、デコーダ制御部401が、第3のエンコーダ/デコーダ201cと、第1のエンコーダ/デコーダ201aとを制御して、並列のエンコードを実行させる。さらに、撮像装置1は、第3の符号化データの送信と、第1のエンコーダ/デコーダ201aのエンコードを並列して行っている。
次に、撮像装置1が、通信端末5からのデータ取得要求があったか否かを判定する(ステップS107)。例えば、ユーザが端末装置5の操作部706を操作して、データの取得要求を行う。より具体的には、図6のT2に示すように、液晶モニタ704に表示されたカメラ使用ボタンをタッチする。これにより、通信制御部902でデータ取得要求時間を記憶する。このとき、第5のエンコーダ/デコーダ601cによるデコードを停止するため、通信端末5が第3の符号化データに基づく動画表示を中止する。
さらに、図6のT3に示すように、ユーザが撮像データの再生時間を指定して、再生開始ボタンをタッチする。これにより、通信制御部902が、データ取得要求信号を生成して、無線モジュール709を介して、撮像装置1に送信する。データ取得要求信号には、データ取得要求時刻と再生時間が含まれている。例えば、ユーザがカメラ使用ボタンをタッチした時間がデータ取得要求時間となる。このように、ユーザが通信端末5に表示されている動画を見ながらデータ取得要求を行うことができる。適切なタイミングでの撮像データを所得することができる。通信端末5からのデータ取得要求がない場合(ステップS107のNO)、ステップS106に戻って、撮像データの記録を継続する。
通信端末5からのデータ取得要求があった場合(ステップS107のYES)、次のステップS109に移行する。例えば、無線モジュール309がデータ取得要求信号を受信したら、撮像装置1が、動画記録が継続中であるか否かを判定する(ステップS108)。動画の記録が継続していない場合(ステップS108のNO)、ステップS105に戻る。例えば、ユーザが通信端末5からデータ取得を要求する前に、他のユーザが撮像装置1のREC停止ボタンをタッチして、動画の記録を停止していたとする。この場合、カード型記録媒体302に撮像データが格納されていないことなり、要求された撮像データを送信できない。したがって、ステップS105からの処理を繰り返す。すなわち、ユーザが、ユーザが動画を記録するまで待機する。そして、ユーザが操作部306を操作して、再び動画記録が開始したら、ステップS106に進む。
動画記録が継続中である場合(ステップS107のYES)、データ転送処理を行う(ステップS109)。すると、撮像装置1が、第3のエンコーダ/デコーダ201cによるエンコードを停止して、第2のエンコーダ/デコーダ201cによるエンコードを開始する。そして、第2のエンコーダ/デコーダ201cによってエンコードされた撮像データを転送用の撮像データとして生成する。
データ取得要求時刻から前の撮像データを通信端末5に送信する。なお、撮像装置1が、再生時間分の撮像データを通信端末5に送信する。すなわち、再生時間が10秒の場合、データ取得要求時刻の10秒前からデータ取得要求時刻までに撮像された撮像データを、撮像装置1が送信する。これにより、図6のT4に示すように、撮像装置1が撮像した動画を表示することができるようになる。なお、データ転送処理の詳細については後述する。データ転送処理が完了した後、ユーザが記録を停止させると(ステップS110)、処理を終了する。
そして、撮像装置1から送信された撮像データを、通信端末5が受信する。通信端末5のデコーダ制御部901は、第4のエンコーダ/デコーダ601bを動作させて、撮像データをデコードする。液晶モニタ704がデコードされた撮像データに基づいて、動画を表示する。すなわち、液晶モニタ704は、第2の符号化データに基づいて、動画を表示する。
このようにすることで、ユーザが通信端末5から撮像装置1に対してデータ取得要求を行うことができる。これにより、試合中又は練習中に撮像装置1で取得した動画を、即座に確認することが可能になる。特に通信端末5が撮像装置1よりも大きい表示画面を有する場合、より動画が確認しやすくなり、利便性を向上することができる。さらに、タブレットPCやTVのモニタを用いることで、多人数で同時に動画を確認することができるため、より利便性が向上する。さらに、コートやグランド上の特定の位置で撮像装置1が固定されている場合でも、通信端末5からのデータ取得要求に応じて、撮像装置1が撮像データを通信端末5にする。よって、撮像装置1を移動させなくても、ユーザが任意の場所で撮像データを確認することができる。よって、撮像装置1が引き続き同じ位置での撮像を速やかに行うことができる。例えば、三脚などによって、撮像装置1が固定されている場合に、より利便性を向上することができる。
ユーザが通信端末5で動画を確認しながら、データ転送を要求することができる。よそして、データ取得要求時刻から前の撮像データが通信端末5に転送される。よって、ユーザが所望のタイミングの撮像データを通信端末5に表示することができる。また、ユーザが転送タイミングを適切に指定することができるため、より利便性を向上することができる。
次に、ステップS109のデータ転送処理について、図7を用いて説明する。図7は、ステップS109のデータ転送処理の詳細を示すフローチャートである。本実施の形態では、撮像装置1側の処理能力などの問題から、第1のエンコーダ/デコーダ201aと第2のエンコーダ/デコーダ201bとが並列にデコード処理をできない場合などを想定している。したがって、第2のエンコーダ/デコーダ201bが転送用の撮像データをデコードする時に、第1のエンコーダ/デコーダ201aがデコードを停止している。
まず、通信端末5から送信されたデータ取得要求を、撮像装置1が受信すると、撮像装置1が録画を停止する(ステップS201)。すなわち、デコーダ制御部401が第1のエンコーダ/デコーダ201aのデコードを停止させて、カード型記録媒体302への記録を停止する。これにより、撮像装置1の動画記録が停止する。そして、撮像装置1が録画モードから再生モードにモード変更する(ステップS202)。
次に、撮像装置1のカメラステータスが再生モードになっていることを通信端末5が確認する(ステップS203)。例えば、撮像装置1が接続中の通信端末5に再生モードになったことを示すモード信号を出力する。そして、通信端末5が、撮像装置1にインデックス総数の取得を要求する(ステップS204)。撮像装置1に記録された動画ファイルに含まれるフレーム総数がインデックス総数となる。したがって、撮像装置1は、カード型記録媒体302に格納した動画ファイルのインデックス総数を通信端末5に送信する。通信端末5が最新のインデックス番号を取得する(ステップS205)。すなわち、通信端末5が動画ファイルの最後のフレーム番号を取得する。
この後、通信端末5が、撮像装置1に動画の転送を要求する(ステップS206)。すなわち、通信端末5が転送信号を撮像装置1に送信する。転送信号には、インデックス番号、動画の開始時間、終了時間などが含まれている。例えば、図5のT2におけるデータ取得要求時刻、及び図5のT3で指定した再生時間から、通信制御部902が動画の開始時間、終了時間、インデックス番号を抽出する。具体的には、ユーザが通信端末5によってデータ取得要求を行った時刻に、通信端末5における表示の遅延時間を考慮した時間が、開始時間となる。さらに、開始時間から再生時間経過した時間が、終了時間となる。
そして、撮像装置1は、撮像データの転送の転送要求にしたがって、動画転送の準備を行う(ステップS207)。ここでは、カード型記録媒体302に記録された動画ファイルから、一部の時間を切り出して、転送用の撮像データを作成する。例えば、第1のエンコーダ/デコーダ201aが撮像データをデコードする。そして、第2のエンコーダ/デコーダ201bが開始時間から終了時間までの撮像データを符号化する。これにより、第2の符号化形式で符号化された撮像データが生成される。
例えば、データ取得要求時刻を10時45分20秒とし、通信端末5の表示での遅延時間を10秒とし、再生時間を10秒とする。この場合、10時45分10秒を開始時間とし、10時45分30秒を終了時間とする撮像データが生成される。このように、データ取得要求では、転送される撮像データの再生時間が指定される。そして、第2のエンコーダ/デコーダ201bが、データ取得要求時刻よりも前の再生時間分の撮像データをエンコードする。これにより、指定された再生時間分の動画となる第2の符号化データが生成される。
なお、第2のエンコーダ/デコーダ201bが動画ファイルの撮像データをトランスコードして、第2の符号化データを生成してもよい。このように、カード型記録媒体302に格納された動画ファイルの一部の撮像データを抽出して、第2のエンコーダ/デコーダ201bが、トランスコードするようにしてもよい。このようにすることで、処理を高速化することができる。
そして、通信端末5の通信制御部402が、第2の符号化形式で符号化された撮像データを撮像装置1に転送する(ステップS208)。データ転送が完了したら、撮像装置1を撮影モードに変更する。そして、カメラステータスが撮影モードに変更したことを確認して(ステップS210)、録画を開始する(ステップS211)。すなわち、データ転送が完了した段階で、撮像装置1による録画が再開される。このようにすることで、撮像装置1による録画が停止される期間を、テータ転送の期間のみとすることができる。転送終了後に自動的に録画を再開することができるため、録画が停止する期間をより短くすることができる。よって、重要なシーンの録画を逃すことがなくなり、利便性を向上することができる。また、ユーザが要求するタイミングで、撮像データが通信端末5に転送されるため、利便性を向上することができる。
さらに、第2の符号化形式では、第1の符号化形式よりもビットレートが低く、かつ第3の符号化方式よりもビットレートが高くなっている。よって、適切なデータサイズの撮像データを転送することができ、十分に速やかな動画を表示することができるとともに、速やかな処理を行うことができる。よって、利便性を向上することができる。また、データ取得要求に応じて、第3のエンコーダ/デコーダ201cがエンコードを停止し、第5のエンコーダ/デコーダがデコード処理を停止している。これにより、速やかに転送処理を行うことができる。
実施の形態2.
本実施の形態2では、第1のエンコーダ/デコーダ201aと第1のエンコーダ/デコーダ201aとが並列にデコード処理を行っている。すなわち、実施の形態1では、転送用の撮像データをエンコード中では、撮像装置1による録画を停止していたが、本実施の形態では、データ転送用の動画用データのエンコード中でも撮像装置1において録画している。
図8を用いて、本実施の形態に係る撮像システム10の制御方法について説明する。図8は、本実施の形態にかかる撮像システム10の制御方法の一部を示すフローチャートである。具体的には、図8は、図4で示したステップS109のデータ転送処理を示すフローチャートである。ステップS109の前後の処理は、実施の形態1と同様である。また、撮像システム10の基本的構成及びデータ処理は、実施の形態1と同様であるため、説明を省略する。
まず、通信端末5が撮像装置1に対いて撮像データの転送要求を行う(ステップS301)。ここでは、データ取得要求時刻、及び再生時間を含むデータ取得要求信号を通信端末5が送信する。このとき、第3のエンコーダ/デコーダ201cのエンコードが停止する。
すると、撮像装置1が、転送する撮像データのエンコードを開始する(ステップS302)。ここでは、第1のエンコーダ/デコーダ201aと第2のエンコーダ/デコーダ201bとが並列して、エンコード処理を行う。すなわち、第1のエンコーダ/デコーダ201aが撮像データの記録のために第1の符号化方式でエンコードをしている間に、転送データを生成するために第2のエンコーダ/デコーダ201bが第2の符号化方式でエンコードを行う。デコーダ制御部401が第1のエンコーダ/デコーダ201aと第2のエンコーダ/デコーダ201bとを同時に動作させる。第2のエンコーダ/デコーダ201bは、カード型記録媒体302に格納された動画ファイルをトランスコードして、第2の符号化データを生成してもよい。データ取得要求時刻に、通信端末5における表示の遅延時間を考慮した時間が、開始時間となる。
そして、第2の符号化方式における撮像データのエンコードが終了したら、撮像装置1の通信制御部402が撮像データを転送する(ステップS303)。これにより、通信端末5が撮像データを取得する。そして、第4のエンコーダ/デコーダ601bが撮像データをエンコードして、液晶モニタ704が動画を表示する。すなわち、第2の符号化データに基づいて、液晶モニタ704が動画を表示する。なお、第2のエンコーダ/デコーダ201bのエンコードとデータ転送を同時に行ってもよい。
このようにすることで、実施の形態1と同様の効果を得ることができる。さらに、第2のエンコーダ/デコーダ201bがエンコードしている期間、及び撮像装置1が撮像データを転送している期間においても、撮像装置1による撮像が中断されない。すなわち、第2のエンコーダ/デコーダ201bに動作に関わらず、第1のエンコーダ/デコーダ201aが、エンコードしている。これにより、データ転送中に記録された撮像データを含む動画ファイルがカード型記録媒体302に記録される。よって、データの転送中であっても、ビットレートの高い撮像データを記録することができ、より利便性を向上することができる。また、第2のエンコーダ/デコーダ201bが第1の符号化データを第2の符号化データにトランスコードしてもよい。こうすることで、より処理を高速化できる。
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。また、上記の制御方法の処理は、メインプロセッサのROM等に格納されたコンピュータプログラムによって実行可能である。上述の例において、各処理をコンピュータ(プロセッサ)に行わせるための命令群を含むプログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば光磁気ディスク)、CD−ROM(Read Only Memory)、CD−R、CD−R/W、半導体メモリ(例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(Random Access Memory))を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信
号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。