JP6920578B2 - 映像ストリーミング装置、映像編集装置および映像配信システム - Google Patents

Description

本開示は、映像をネットワーク上に送信する映像ストリーミング装置、映像をネットワークから受信する映像編集装置および映像配信システムに関する。

特許文献１では、被写体の画像データ及びこの画像データに対応する識別データを転送するデータ通信部と、撮影コマ格納用記憶手段と、転送画像データ用記憶手段とを備えたカメラが提示されている。これにより、ユーザーは撮影した画像データを写真店等の提供するオンラインサービスにアップロードすることができるため、記録媒体を現像所に引き渡す必要がなくなり、プリント等の注文に手間と時間がかからなくなる。このように、写真や映像をインターネット上のサーバーに転送することによって得られるユーザーの利便性は非常に高い。

特許文献２では、ビデオカメラを接続した映像配信システムが高解像度と低解像度の映像データを同時に生成し、低解像度の映像データを、ネットワークを介して受信端末に転送することに加え、受信端末からの再送要求に応じて、再送要求があった時点よりも所定時間前の映像からの高解像度の映像データを配信するシステムについて提示されている。これにより、ユーザーは遠隔地のカメラから送信される映像データを全てチェックでき、そのチェックにより判明した必要な部分に限って高解像度の映像データを、ネットワークを介して改めて取得することができる。

特開２００５−１６８０５６号公報 特開２００８−１９９６７７号公報

低解像度の映像データをストリーミング配信する映像ストリーミング装置において、ストリーミング配信を受信する映像編集装置のユーザーが、受信した低解像度の映像データに対応する高解像度の映像データが映像ストリーミング装置などに記録されているかを容易に確認できない。

本開示にかかる映像ストリーミング装置は、映像データの記録および送信を行う映像ストリーミング装置である。映像ストリーミング装置は、映像生成部と、送信するストリーミング処理部と、記録処理部と、を備える。映像生成部は、第１映像データと、第２映像データと、を生成する。第１映像データは、ビットレートの高い映像データである。第２映像データは、第１映像データと同一の映像に基づく映像データであって、第１映像データよりもビットレートの低い映像データである。ストリーミング処理部は、第２映像データを分割して送信パケットを生成し、送信パケットを送信する。記録処理部は、ユーザーによる操作指示に応じて、第１映像データを記録媒体に映像ファイルとして記録するよう制御する。ストリーミング処理部は、記録処理部が映像ファイルに第１映像データを記録しているか否かを示す情報を、送信する。

本開示にかかる映像編集装置は、受信した映像データを基にして映像を編集する。映像編集装置は、付加情報解釈手段と、範囲指定手段と、を備える。付加情報解釈手段は、映像データに関連付けられた付加情報を解釈する。範囲指定手段は、映像の中からユーザーが時間範囲を選択するための指定手段である。付加情報解釈手段は、付加情報から編集対象となっている映像データである編集映像データを送信した映像ストリーミング装置が、編集映像データに対応する第１映像データを保持しているか否かを判断する。範囲指定手段は、付加情報解釈手段の判断に基づき、映像ストリーミング装置が第１映像データを保持している時間範囲をユーザーに通知する。

本開示にかかる映像編集装置は、受信した映像データを基にして映像を編集する映像編集装置であって、映像データに関連付けられた付加情報を解釈する付加情報解釈手段と、ユーザーが映像の中から必要な時間的範囲を選択するための範囲指定手段と、を備える。付加情報解釈手段は、付加情報から編集対象となっている映像データを送出した映像ストリーミング装置が映像データ送出時に映像ファイルを記録していたか否かを判断する。範囲指定手段は、付加情報解釈手段の判断に基づき、映像ストリーミング装置が映像ファイルを記録していた時間的範囲をユーザーに通知する。

本開示にかかる映像配信システムは、映像データの記録および送信を行う映像ストリーミング装置と、受信した映像データを基にして映像を編集する映像編集装置とを含む。映像ストリーミング装置は、映像生成部と、ストリーミング処理部と、記録処理部と、を備える。映像生成部は、第１映像データと、第２映像データと、を生成する。第１映像データは、ビットレートの高い映像データである。第２映像データは、第１映像データと同一の映像に基づく映像データであって、第１映像データよりもビットレートの低い映像データである。ストリーミング処理部は、第２映像データを分割して送信パケットを生成し、送信パケットを送信する。記録処理部は、ユーザーによる操作指示に応じて、第１映像データを記録媒体に映像ファイルとして記録するよう制御する。ストリーミング処理部は、記録処理部が映像ファイルに第１映像データを記録しているか否かを示す情報を付加情報として送信する。映像編集装置は、付加情報解釈手段と、範囲指定手段と、を備える。付加情報解釈手段は、受信した映像データに関連付けられた付加情報を解釈する。範囲指定手段は、映像の中からユーザーが時間範囲を選択するための指定手段である。付加情報解釈手段は、付加情報から編集対象となっている映像データである編集映像データを送信した映像ストリーミング装置が、その編集映像データに対応する第１映像データを保持しているか否かを判断する。範囲指定手段は、付加情報解釈手段の判断に基づき、映像ストリーミング装置が編集映像データに対応する第１映像データを保持している時間範囲をユーザーに通知する。

本開示の映像ストリーミング装置によれば、低解像度の映像データをストリーミング配信する映像ストリーミング装置において、ストリーミング配信を受信する映像編集装置のユーザーが、受信した低解像度の映像データに対応する高解像度の映像データが映像ストリーミング装置などに記録されているかを容易に確認できる。

実施の形態における映像ストリーミング装置の構成を示すブロック図 実施の形態における映像編集装置の構成を示すブロック図 実施の形態における映像編集装置のＧＵＩ画面の一例を示す図 実施の形態における映像編集装置のＧＵＩ画面に表示される警告表示の一例を示す図 実施の形態におけるパケット欠落時の記録開始点推測の概要を示す図 実施の形態におけるアプリケーション定義ＲＴＣＰパケットの構成を示す図 実施の形態におけるＲＴＰ固定ヘッダの構成を示す図 実施の形態におけるＰａｙｌｏａｄ部に含まれるｔｙｐｅの例を示す図 実施の形態における高解像度映像転送命令の例を示す図 実施の形態における範囲指定の制限方法の例を示す図 実施の形態における記録媒体内でのファイル構成例を示す図 実施の形態におけるメタデータファイルの内容の例を示す図 実施の形態における映像配信システムを用いた映像編集のフローを示す図

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために、提供されるものであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。

（実施の形態）
近年、ＷｉＭＡＸや４Ｇ／ＬＴＥの普及に代表されるように、市街における高速無線通信が可能となってきている。これにより、デジタルカメラやデジタルビデオカメラで撮影した写真や映像等のデジタルデータを、無線通信を介してクラウドサーバー等のオンラインサービスにアップロードすることが現実的になっている。

例えば、撮影した映像データを、ネットワークを通じて映像編集装置へ送信する映像配信システムが考えられる。映像ストリーミング装置は、撮影した高解像度の映像データを記録装置に記録する。ただし、記録装置は、撮影された映像のすべてを記録しているとは限らない。映像ストリーミング装置は、さらに、低解像度の映像データを生成し、低解像度の映像データをストリーミング配信する。映像編集装置は、低解像度の映像データを受信する。映像編集装置のユーザーは、低解像度の映像データを確認し、高解像度の映像データが必要な部分を選択することにより、高解像度な映像データを取得できる。

しかしながら、映像編集装置のユーザーが低解像度の映像データに基づき選択した部分について、高解像度の映像データが記録されていない可能性がある。

本開示の映像ストリーミング装置、映像編集装置、および、映像配信システムによれば、映像編集装置のユーザーは、高解像度の映像データが記録されているかを容易に確認できる。

〔１．システム構成〕
本実施の形態にかかる映像配信システムは、映像ストリーミング装置と映像編集装置を備える。映像ストリーミング装置は、撮影された映像を、高解像度の映像データとして記録する。映像ストリーミング装置は、さらに、低解像度の映像データを生成し、ネットワークを通じてストリーミングする。映像編集装置のユーザーは、映像編集装置が受信した低解像度の映像データを見ながら、高解像度の映像データが必要な部分の範囲を指定する。映像編集装置は、ユーザーが指定した範囲を、映像ストリーミング装置に送信する。映像ストリーミング装置は、指定された範囲の高解像度映像データのみを切り出し、映像編集装置へ送信する。

図１３を用いて、本開示に係る映像ストリーミング装置１００と映像編集装置２００とを用いた映像配信システムについて説明する。図１３は、映像配信システムを用いた映像編集のフローを示した図である。映像ストリーミング装置１００は、低解像度の映像データを映像編集装置２００へストリーミング送信する。映像ストリーミング装置１００は、高解像度の映像を記録する状態である記録状態においては、高解像度の映像データを記録媒体１１０に記録する。映像編集装置２００のユーザー２１８は、低解像度の映像ストリーミングを閲覧し、高解像度の映像を取得したい時間範囲を指定する。次に、映像編集装置２００は、指定された時間範囲を示す情報を映像ストリーミング装置１００に送信する。映像ストリーミング装置１００は、受信した時間範囲に基づき、記録媒体１１０に記録された高解像度の映像データから所望の映像データを切り出す。映像ストリーミング装置１００は、切り出した高解像度の映像データを映像編集装置２００へ送信する。ユーザー２１８は、取得した高解像度の映像データを用いて、放送用の高品位な映像を作成する。

本実施の形態にかかる映像ストリーミング装置の構成について説明する。図１は本実施の形態における映像ストリーミング装置の構成を示すブロック図である。

映像ストリーミング装置１００は、映像生成部１０１と記録処理部１０２とストリーミング処理部１０３と高解像度映像要求処理部１０４とを備える。映像ストリーミング装置１００の具体的な例としては、ネットワークへの接続手段を備え、ネットワークへのストリーミングと、内蔵する記録媒体への映像ファイル記録とが同時にできるビデオカメラが挙げられる。

映像ストリーミング装置１００は、撮像手段１０５を備える。撮像手段１０５とは光学的な情報を電子的な情報に変換するためのハードウェアおよびそれを制御するためのソフトウェアである。例えば、ＣＣＤイメージセンサやＣＭＯＳイメージセンサといった撮像素子とそれを制御するドライバソフトウェアにより撮像手段１０５を実現できる。

撮像手段１０５によって撮影された映像は、記録開始・終了指示手段１１９に従い、高解像度圧縮手段１０７およびメタデータ生成手段１０６へと入力される。記録開始・終了指示手段１１９は、ビデオカメラのユーザーによって押下されるビデオカメラの記録開始・終了ボタンを用いて実現される。記録開始・終了指示手段１１９の状態は、記録開始・終了ボタンを押下する度に切り替わる。記録開始・終了指示手段１１９が記録状態のとき、撮像手段１０５は、撮像された映像を高解像度圧縮手段１０７等へ出力する。記録開始・終了指示手段１１９が停止状態のとき、撮像手段１０５は、撮像された映像を高解像度圧縮手段１０７等へ出力することを停止する。

撮像手段１０５は、撮像された映像を低解像度圧縮手段１０８へも出力する。なお、記録開始・終了指示手段１１９の状態が停止状態であっても、撮像された映像は低解像度圧縮手段１０８へ入力される。撮像された映像を低解像度圧縮手段１０８により圧縮した低解像度の映像データは、高解像度圧縮手段１０７により圧縮した高解像度の映像データよりも、データ量が少ない。低解像度の映像データは、ネットワークを通して送信され、遠隔地で視聴される。なお、撮像手段１０５が撮像中に、低解像度の映像データをストリーミング配信することにより、遠隔地においてもリアルタイムで視聴できる。また、記録開始・終了指示手段１１９の状態によらず、低解像度の映像データはストリーミング配信されている。これにより、映像ストリーミング装置１００のユーザーによる記録開始・終了指示手段１１９の操作があっても、遠隔地で映像を視聴しているユーザーは、途切れずに映像を視聴することができる。

高解像度圧縮手段１０７と低解像度圧縮手段１０８は、入力された映像を圧縮して出力するソフトウェアまたはハードウェアである。入力された映像の動画像部分は、例えばＨ．２６４を用いて圧縮される。入力された映像の音声は、例えばＡＡＣ（Ａｄｖａｎｃｅｄ Ａｕｄｉｏ Ｃｏｄｉｎｇ）を用いて圧縮される。高解像度圧縮手段１０７の出力する映像データのビットレートは、低解像度圧縮手段１０８の出力する映像データのビットレートに比べて高くなるように設定されている。

高解像度圧縮手段１０７が出力した高解像度の映像データは、記録処理部１０２に入力される。記録処理部１０２は、記録媒体書き出し手段１０９と記録媒体１１０を有する。

記録媒体１１０は、ＳＤカード、ハードディスク、光ディスク等である。

記録媒体書き出し手段１０９は、高解像度圧縮手段１０７が出力した高解像度の映像データを、映像ファイルとして記録媒体１１０に書き込む。ここで、記録媒体書き出し手段１０９とは記録媒体１１０に対してデータをファイルとして書き込むためのソフトウェアまたはハードウェアである。例えば、記録媒体書き出し手段１０９は、Ｗｉｎｄｏｗｓ（登録商標、以下同様）やＬｉｎｕｘ（登録商標、以下同様）といったオペレーションシステムのファイルシステムモジュールである。

メタデータ生成手段１０６は、映像ストリーミング装置１００が録画した映像ファイルに関する付加情報（メタデータ）を生成するソフトウェアである。記録媒体書き出し手段１０９は、メタデータ生成手段１０６が出力したメタデータを、メタデータファイルとして記録媒体１１０に書き込む。書き込まれる付加情報の具体的な内容については後述する。

低解像度圧縮手段１０８は、低解像度の映像データをストリーミング処理部１０３へ出力する。ストリーミング処理部１０３は、ＲＴＰ送信パケット生成手段１１１と、タイムスタンプ生成手段１１２と、カメラレコーダー状態記憶手段１１３と、ＲＴＣＰ送信パケット生成手段１１４とを備える。

低解像度圧縮手段１０８が出力した低解像度の映像データは、ＲＴＰ送信パケット生成手段１１１へと入力される。ＲＴＰ送信パケット生成手段１１１は、低解像度の映像データを、Ｒｅａｌ Ｔｉｍｅ Ｐｒｏｔｏｃｏｌ（ＲＴＰ）で配信するための通信用パケットにエンコードするソフトウェアである。ＲＴＰはＲＦＣ３５５０として規格化された映像ストリーミング方式である。ＲＴＰの通信用パケット（ＲＴＰパケット）は、ＲＴＰ固定ヘッダ、および、ペイロードを含む。映像データは、ペイロードに含まれる。図７に、ＲＴＰ固定ヘッダ（ＲＦＣ３５５０の５．１章を参照）を示す。ＲＴＰ固定ヘッダには、タイムスタンプを記述するフィールドが存在する。タイムスタンプは、そのＲＴＰパケットのペイロードに含まれる映像データのタイミングを表す数値である。一般的に、タイムスタンプの値は、映像が撮像された時刻に対して単調かつ線形に増加する。タイムスタンプは、ストリーミングの受信端末側でペイロードに含まれる映像データを再生するときに用いられる。映像データの再生において、映像や音声の出力タイミングは、タイムスタンプにより制御される。これにより、映像と音声の同期をとることができる。

タイムスタンプ生成手段１１２は、タイムスタンプの値を生成する。映像のコーデックがＨ．２６４である場合、タイムスタンプは９０ｋＨｚで単調増加する（ＲＦＣ３９８４の５．１章を参照）。

タイムスタンプ生成手段１１２によって生成されたタイムスタンプは、ＲＴＰパケットに付加される。無線通信手段１１５は、ＲＴＰパケットをネットワークを通じて配信する。

ここで無線通信手段１１５とは、無線ネットワークを通じて電子データを転送するために用いるハードウェアであり、例えば、無線ＬＡＮモジュールや４Ｇ／ＬＴＥ接続アダプター等があげられる。

なお、一般的にＲＴＰ方式のストリーミングは、ＲＴＰ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ（ＲＴＣＰ）に基づき制御される。ＲＴＣＰは、ＲＴＰと同様に、ＲＦＣ３５５０において規格化されている。ＲＴＰは、映像や音声などのコンテンツ本体を送信するために用いられる。ＲＴＣＰは、送信バイト数、送信パケット数、ロスパケット数、ジッター、フィードバック情報、ラウンドトリップタイムといった統計情報をストリーミングの送信端末と受信端末の間でやりとりするのに用いられる。ＲＴＣＰ送信パケット生成手段１１４は、このプロトコルに関するパケットを生成するソフトウェアである。ＲＴＣＰ送信パケット生成手段１１４が生成したＲＴＣＰパケットは、無線通信手段１１５により、ネットワークを通じてストリーミングで受信端末へ送信される。

本実施の形態では、このＲＴＣＰパケットに映像ストリーミング装置１００の状態を示す情報が付加される。カメラレコーダー状態記憶手段１１３は、映像ストリーミング装置１００の状態を取得して、映像ストリーミング装置１００の状態を示す情報を保存する。カメラレコーダー状態記憶手段１１３は、さらに、その情報をＲＴＣＰ送信パケット生成手段１１４に出力する。ＲＴＣＰ送信パケット生成手段１１４は、ＲＴＣＰパケットに映像ストリーミング装置１００の状態を示す情報を付加情報として付加する。これにより、映像ストリーミング装置１００の状態を示す情報がストリーミングの受信端末へ送付される。ＲＴＣＰパケットに含まれる具体的な付加情報の内容については後述する。

本実施の形態にかかる映像ストリーミング装置１００は、ネットワークを通じて受信した命令に基づいて、記録媒体１１０に記録された高解像度の映像データを、ネットワークを通じて送信する。

高解像度映像要求処理部１０４は、命令受け取り手段１２０と映像切り出し手段１１６と転送要求解釈手段１１７とファイル転送プロトコル制御手段１１８を備える。高解像度映像要求処理部１０４は、記録媒体１１０にファイルとして記録された高解像度の映像データから一部を切り出す。さらに、高解像度映像要求処理部１０４は、切り出した高解像度の映像データを、ネットワークを通じて送信する。

命令受け取り手段１２０は、外部の端末から無線通信手段１１５を通じて送信された高解像度映像転送要求を受信する。高解像度映像転送要求は、記録された高解像度の映像データの転送先を示す情報を含んでいる。高解像度映像転送要求の具体的な命令の例については後述する。なお、命令受け取り手段１２０は、ネットワークを通じて外部端末から情報を受け取るソフトウェアである。命令受け取り手段１２０は、例えば、ウェブサーバー等により提供されるウェブＡＰＩ（Ａｐｐｌｉｃａｔｉｏｎ Ｐｒｏｇｒａｍｍｉｎｇ Ｉｎｔｅｒｆａｃｅ）を用いて実現される。

命令受け取り手段１２０は、ネットワークを通じて受信した命令を、転送要求解釈手段１１７に通知する。転送要求解釈手段１１７は、ネットワークから受信したパケットの内容を解釈するソフトウェアである。転送要求解釈手段１１７は、受信したパケットが示す高解像度映像転送要求に基づき、映像切り出し手段１１６に、どのファイルのどの範囲を切り出せばいいのかを通知する。映像切り出し手段１１６は、映像ファイルの特定の時間範囲を抽出して新しい映像ファイルを作成する機能を持つソフトウェアである。これにより、映像切り出し手段１１６は、高解像度映像転送要求で指定された時間範囲の高解像度の映像を、ネットワークを通じて送信できる。なお、映像切り出し手段１１６は、抽出した映像データを記録媒体１１０にファイルとして書き込んでもよい。あるいは、映像切り出し手段１１６は、抽出した映像データの送信が完了するまでの間、抽出した映像データを揮発性の内蔵メモリに記憶してもよい。

ファイル転送プロトコル制御手段１１８は、映像切り出し手段１１６により抽出された高解像度の映像データを指定されたサーバーへとネットワークを通じて送信する。高解像度映像転送要求に転送先となるサーバーが指定されている場合は、指定されたサーバーへ抽出された高解像度の映像データを送信する。高解像度映像転送要求に転送先となるサーバーが指定されていない場合は、映像ストリーミング装置１００自体に設定されている、デフォルトの転送先のサーバーへ抽出された高解像度の映像データを送信する。ここで、ファイル転送プロトコル制御手段１１８とは、ファイルを、ネットワークを通じて転送するためのソフトウェアであり、具体的な例としてはＦＴＰクライアント（Ｆｉｌｅ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ クライアント）などが挙げられる。

続いて、本実施の形態にかかる映像編集装置の構成について説明する。図２は、本実施の形態における映像編集装置の構成を示すブロック図である。

映像編集装置２００は、低解像度ストリーミング記録部２０１と映像編集部２０２と高解像度映像記録部２０３を主な構成要素とする。映像編集装置２００は、例えば、汎用的なコンピューターを用いたウェブサーバーや、映像編集ソフトが搭載されたパーソナルコンピューターなどが挙げられる。本実施の形態では、映像編集装置２００がウェブサーバーである場合を例として説明をする。

映像編集装置２００は、ネットワーク接続手段２０４を備える。ネットワーク接続手段２０４は、インターネットなどを通じて電子データを送受信するために用いるハードウェアおよびソフトウェアである。ネットワーク接続手段２０４は、例えば、有線ＬＡＮアダプターおよびそのドライバソフトウェアなどにより構成される。

映像編集装置２００は、ネットワーク接続手段２０４を用いて、映像ストリーミング装置１００から送信された低解像度映像ストリーミングを受信する。受信した低解像度映像ストリーミングは、低解像度ストリーミング記録部２０１へと入力される。低解像度ストリーミング記録部２０１は、ストリーミング受信手段２０５と記録媒体書き出し手段２０６と記録媒体２０７を備える。

ストリーミング受信手段２０５は、ネットワーク接続手段２０４を通して映像ストリーミング装置１００とセッションを確立する。これにより、ストリーミング受信手段２０５は、映像ストリーミング装置１００から送信された低解像度映像のストリーミングを受信する。ストリーミング受信手段２０５は、例えば、ＲＴＰおよびＲＴＣＰによる通信を受信できるストリーミング受信ソフトウェアである。ストリーミング受信手段２０５は、受信したストリーミングのデータを記録媒体書き出し手段２０６へ出力する。記録媒体書き出し手段２０６は、ストリーミングのデータを、記録媒体２０７にファイルとして記録する。記録媒体書き出し手段２０６は、記録媒体２０７に対してデータをファイルとして書き込むためのソフトウェアまたはハードウェアである。記録媒体２０７がハードディスク等の不揮発性の記録媒体である場合、記録媒体書き出し手段２０６は、ＷｉｎｄｏｗｓやＬｉｎｕｘといったオペレーションシステムのファイルシステムモジュールに相当する。記録媒体２０７がＤＲＡＭ等の揮発性のメモリである場合、記録媒体書き出し手段２０６は、オペレーションシステムのメモリアロケーション制御モジュールに相当する。なお、ここでいうストリーミングのデータには、低解像度の映像データだけでなく、付加情報も含まれる。すなわち、ストリーミングのデータは、ＲＴＰパケットとして受信された映像と音声のデータと、ＲＴＣＰパケットして受信された付加情報とを含む。

本実施の形態における映像編集装置２００のユーザー２１８は、ネットワークを通して映像編集装置２００の映像編集部２０２にアクセスできる。ユーザー２１８は、映像編集部２０２を用いて記録媒体２０７に記録された映像の編集をおこなう。映像編集部２０２は、プレイリスト作成手段２０８とプレイリスト解釈手段２１３と高解像度映像転送要求手段２１４を備える。

本実施の形態において、プレイリスト作成手段２０８は、ウェブサーバー上で実現されたウェブアプリケーションである。ユーザー２１８は、ユーザー２１８のパソコンにインストールされたウェブブラウザなどを使ってプレイリスト作成手段２０８にアクセスする。ユーザー２１８は、記録媒体２０７に記録されたストリーミングのデータをプレイリスト作成手段２０８において閲覧することができる。

プレイリスト作成手段２０８は、記録媒体読み出し手段２１２と範囲指定手段２０９と付加情報解釈手段２１０と映像抽出手段２１１を備える。

記録媒体読み出し手段２１２は、ユーザー２１８が編集対象とする映像データを記録媒体２０７から読み出すソフトウェアまたはハードウェアである。記録媒体読み出し手段２１２は、読み出した映像データを付加情報解釈手段２１０と映像抽出手段２１１に出力する。

映像ストリーミング装置１００から受信したストリーミングのデータには、前述のように映像ストリーミング装置１００の状態が付加情報として付加されている。付加情報解釈手段２１０は、この付加情報をストリーミングのデータから抽出し、その内容を解釈するソフトウェアである。映像抽出手段２１１は、ストリーミングのデータの中から映像と音声に関する部分を抽出するソフトウェアである。

付加情報解釈手段２１０と映像抽出手段２１１は、処理した結果を範囲指定手段２０９に出力する。範囲指定手段２０９は、ユーザー２１８に対して編集対象となる映像と音声のデータを提供するソフトウェアである。ユーザー２１８は、範囲指定手段２０９を用いて、高解像度の映像データが欲しい範囲を指定する。範囲指定手段２０９は、例えば、ユーザー２１８が映像と音声を再生しながら必要な部分を指定するＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を提供するためのウェブアプリケーションである。具体的なＧＵＩの例については後述する。

なお、本実施の形態では範囲指定手段２０９をウェブアプリケーションで提供するＧＵＩとして説明するが、範囲指定手段２０９はユーザー２１８が視覚的に認識できるインターフェイスに限られない。範囲指定手段２０９は、ユーザー２１８が編集対象とする映像と音声のデータ、およびその付加情報に基づき、指定する時間範囲をプレイリスト作成手段２０８に指示できる機能があればよい。範囲指定手段２０９は、例えば、いわゆるウェブＡＰＩとして提供されてもよい。

範囲指定手段２０９は、ユーザー２１８が指定した範囲に関する情報を、プレイリスト解釈手段２１３へ出力する。プレイリスト解釈手段２１３は、ユーザー２１８が指定した範囲に関する情報に基づき、高解像度映像転送要求を生成するソフトウェアである。プレイリスト解釈手段２１３は、生成された高解像度映像転送要求を高解像度映像転送要求手段２１４へ出力する。高解像度映像転送要求手段２１４は、高解像度映像転送要求をネットワークを通じて映像ストリーミング装置１００に送信する。なお、高解像度映像転送要求手段２１４は、映像ストリーミング装置１００が備える命令受け取り手段１２０に対して情報を送信するソフトウェアである。命令受け取り手段１２０がウェブＡＰＩである場合、高解像度映像転送要求手段２１４は、ユーザーが作成した範囲指定に関する情報をＰＯＳＴ命令として発行するウェブクライアントとして構成される。

前述のように、映像ストリーミング装置１００は、高解像度映像転送要求を受信すると、記録媒体１１０に記録された高解像度の映像データから指定された範囲を切り出して、ネットワークを通じて映像編集装置２００に送信する。本実施の形態の映像編集装置２００における高解像度映像記録部２０３は、映像ストリーミング装置１００から送信された高解像度の映像データを記録するためのソフトウェアおよびハードウェアである。高解像度映像記録部２０３は、高解像度映像受信手段２１５と記録媒体書き出し手段２１６と記録媒体２１７を備える。

高解像度映像受信手段２１５は、映像ストリーミング装置１００から送信されてきたデータを受信するためのソフトウェアである。例えば、映像ストリーミング装置１００が備えるファイル転送プロトコル制御手段１１８がＦＴＰクライアントである場合、高解像度映像受信手段２１５はＦＴＰサーバーである。

高解像度映像受信手段２１５は、受信した高解像度の映像データを、記録媒体書き出し手段２１６を通じて、記録媒体２１７に記録する。ここで、記録媒体書き出し手段２１６は、記録媒体２１７に映像データをファイルとして書き込むためのソフトウェアまたはハードウェアである。記録媒体２１７は、例えば、ハードディスクなどである。

なお、映像編集装置２００を構成する低解像度ストリーミング記録部２０１と映像編集部２０２と高解像度映像記録部２０３の各部は、必ずしも同一のコンピューター上に実現されている必要はない。各部の機能は別個のコンピューター上で実現され、それらのコンピューターがネットワークを介して連携することで、全体として映像編集装置２００としての機能を実現する形態であっても構わない。

〔２．動作〕
以下に、具体的な内容を持ったデータの例を示しながら、映像ストリーミング装置１００と映像編集装置２００の動作について説明する。

映像ストリーミング装置１００と映像編集装置２００は、インターネット（ネットワーク）を介して接続されている。

映像ストリーミング装置１００によって撮影された低解像度映像は、ＲＴＰおよびＲＴＳＰのプロトコルを使って映像編集装置２００に転送される。ＲＴＰパケットは、タイムスタンプとペイロードを含む。ＲＴＰパケットのペイロードには、そのＲＴＰパケットのタイムスタンプが示すタイミングの映像や音声が含まれている。

ＲＴＣＰ送信パケット生成手段１１４は、カメラレコーダー状態記憶手段１１３によって把握されている映像ストリーミング装置１００の状態を、付加情報としてＲＴＣＰパケットに付加する。付加情報が付加されたＲＴＣＰパケットは、映像ストリーミング装置１００から映像編集装置２００へ転送される。なお、ＲＴＣＰパケットに付加される付加情報にはタイムスタンプが含まれており、ＲＴＰパケットのタイムスタンプと対応している。

以下に、カメラレコーダーの状態をＲＴＣＰパケットに付加する具体的な方法を説明する。

ＲＦＣ３５５０では、ＲＴＣＰパケットとして「Ｒｅｃｅｉｖｅｒ Ｒｅｐｏｒｔ（ＲＲ）」「Ｓｅｎｄｅｒ Ｒｅｐｏｒｔ（ＳＲ）」「Ｓｏｕｒｃｅ Ｄｅｓｃｒｉｐｔｉｏｎ（ＳＤＥＳ）」「ＢＹＥ」「Ａｐｐｌｉｃａｔｉｏｎ−Ｄｅｆｉｎｅｄ（ＡＰＰ）」の５種類が定義されている（ＲＦＣ３５５０の６章を参照）。ＲＲとＳＲは、送受信間で通信の品質を確認するために使用される。また、ＳＤＥＳはストリーミングへの参加者の識別情報などを伝達するのに使用される。ＢＹＥは、ストリーミングの終了を通知するためのパケットである。

ＡＰＰは、アプリケーションが独自拡張を行えるように用意されているＲＴＣＰパケットである。本実施の形態では、この種類のパケットを利用し、映像ストリーミング装置１００の状態をストリーミングのデータに付与する。

本実施の形態におけるＡｐｐｌｉｃａｔｉｏｎ−Ｄｅｆｉｎｅｄ ＲＴＣＰパケットの基本的な構成を図６に示す。図６は、ＲＴＣＰパケットの先頭から、各ビットにどのような情報が格納されるかを示している。

０バイト目から７バイト目（領域６００）までは、Ａｐｐｌｉｃａｔｉｏｎ−Ｄｅｆｉｎｅｄ ＲＴＣＰパケットの構造として規格化されている部分である（ＲＦＣ３５５０の６．７章を参照）。ｎａｍｅの領域（領域６０１）はアプリケーション名を格納するスペースであるが、本実施の形態では「ＳＳＲＳ」（Ｓｃａｌａｂｌｅ Ｓｔｒｅａｍｉｎｇ Ｒｅｃｏｒｄｅｒ Ｓｙｓｔｅｍの略）という文字列を用いることにしている。

８バイト目以降（領域６０２〜領域６０６）は、本実施の形態特有のデータ構造である。これらのデータは「ｔｙｐｅ」、「ｌｅｎｇｔｈ」、「ｐａｙｌｏａｄ」の３つの情報の繰り返しによって構成されている。「ｐａｙｌｏａｄ」は、映像データなどを格納するためのペイロードに相当する領域である。「ｔｙｐｅ」は１バイトの領域であり、ペイロードに格納されるデータの種類をあらわしている。「ｔｙｐｅ」の値とペイロードの内容の対応を図８に示す。

「ｌｅｎｇｔｈ」は２バイトの領域であり、ペイロード部分のバイト数をあらわしている。

８バイト目から１４バイト目（領域６０２）は、この付加情報が関連付けられるタイムスタンプが記載されている。前述のようにタイムスタンプとは、ＲＴＰパケットのペイロードに含まれる映像データのタイミングを表す数値である。これにより、ＲＴＰパケットによって配信されている映像および音声データの特定のタイミングと、そのタイミングに対応するＲＴＣＰパケットに記載された付加情報と、を関連付けることができる。

本実施の形態では、ＲＴＣＰ送信パケット生成手段１１４は、ＲＴＰで配信している低解像度のストリーミング映像のフレーム一つに対して、付加情報を付加したＡｐｐｌｉｃａｔｉｏｎ−Ｄｅｆｉｎｅｄ ＲＴＣＰパケットを一つ生成する。前述のようにＡｐｐｌｉｃａｔｉｏｎ−Ｄｅｆｉｎｅｄ ＲＴＣＰパケットは、８バイト目から１４バイト目（領域６０２）に記載されたタイムスタンプによって、ＲＴＰパケットに含まれる映像の特定のタイミングに関連付けられる。すなわち、このＲＴＣＰパケットに含まれる付加情報は、そのタイミングに対応した映像フレームに関連付けられている。つまり、本実施の形態では、配信している低解像度の映像のすべてのフレームに付加情報が関連付けられている。これにより、映像編集装置２００が受信するストリーミングの映像データのすべてのフレームについて、低解像度の映像が含まれる。

１５バイト目から１９バイト目（領域６０３）は、このＲＴＣＰパケットのタイムスタンプが示すタイミングにおける映像ストリーミング装置１００の状態が記載されている（以降、「機器状態情報」と呼ぶ）。機器状態情報には、高解像度の映像データが記録媒体１１０に保持されているか否かを表す情報を含む。具体的には、高解像度圧縮手段１０７によって生成された高解像度の映像データを記録媒体１１０に記録している状態（記録動作をしている状態）か、記録していない状態（記録動作をしていない状態）か、を表す情報が含まれる。本実施の形態では、機器状態情報のペイロード（Ｓｔａｔｕｓ Ｆｌａｇｓ）に格納されたビット列の最下位ビットが０であれば記録動作をしていないことを表し、１であれば記録動作をしていることを表す。記録動作をしているとき、記録媒体１１０には、そのタイミングを含む高解像度の映像データが映像ファイルとして記録されていることが期待される。すなわち、機器状態情報のペイロードに格納されたビット列の最下位ビットが１であれば、そのＲＴＣＰパケットのタイムスタンプに対応するタイミングについては、対応する高解像度の映像データが記録媒体１１０に保持されていることが期待される。

２０バイト目から２６バイト目（領域６０４）は、このＲＴＣＰパケットが関連付けられたタイムスタンプが示すタイミングにおいて、高解像度の映像データの記録状態が継続している長さが記載されている（以降、「状態継続時間情報」と呼ぶ）。すなわち、ＲＴＣＰパケットの機器状態情報におけるペイロードの最下位ビットが１である場合、領域６０４のペイロードには、直近の高解像度映像の記録動作開始以降に記録が完了したフレーム数が格納される。一方で、ＲＴＣＰパケットの機器状態情報におけるペイロードの最下位ビットが０である場合、領域６０４のペイロードには、直近の高解像映像の記録停止状態に入って以降の経過時間に相当するフレーム数が格納される。なお、本実施の形態ではペイロードに格納する値の単位をフレーム数としているが、動作状態が遷移した以降に経過したフレーム数がわかる値であれば単位はなにであってもよい。ペイロードに格納される値の単位は、例えば、ミリ秒などの時間であってもよい。

２７バイト目から６１バイト目（領域６０５）は、このＲＴＣＰパケットのタイムスタンプが示すタイミングにおいて、対応する高解像度の映像データが保存されている映像ファイルを一意に特定するためのＩＤ（以降、「クリップＩＤ情報」と呼ぶ）が格納される。領域６０５は、このＲＴＣＰパケットの機器状態情報におけるｐａｙｌｏａｄで最下位ビットが１である場合のみに設けられる。高解像度映像ファイルを一意に特定するためのＩＤの生成方法の具体的な例としては、放送業界の標準的な素材識別子として用いられているＵＭＩＤ（Ｕｎｉｑｕｅ Ｍａｔｅｒｉａｌ Ｉｄｅｎｔｉｆｉｅｒ：ＳＭＰＴＥ ３３０Ｍ）が挙げられる。ＩＤとしてＢＡＳＩＣ ＵＭＩＤを用いる場合、ＩＤの長さは３２バイトとなる。ＩＤとしてＵＭＩＤを用いることにより、映像ファイルを一意に特定することができる。なお、必ずしも領域６０５に格納された値のみを用いて映像ファイルを特定する必要はない。例えば、メディアを特定するためのＩＤと組み合わせることで映像ファイルを特定できる値であっても構わない。例えば、領域６０５に格納する値は、映像ファイルのファイル名であってもよい。

６２バイト目から８０バイト目（領域６０６）には、ＲＴＣＰパケットに対応した映像ファイルを記録している記録媒体１１０を一意に特定するためのＩＤ（以降、「メディアＩＤ情報」と呼ぶ）が格納される。領域６０６は、このＲＴＣＰパケットの機器状態情報におけるペイロードで最下位ビットが１である場合のみに設けられる。メディアＩＤ情報には、記録媒体１１０としてＳＤメモリーカードを用いている場合、そのＣＩＤレジスタ（Ｃａｒｄ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ Ｒｅｇｉｓｔｅｒ）の値を用いてもよい。ＳＤメモリーカードのＣＩＤレジスタは、生産者やシリアル番号といった情報を含む１６バイトの値を保持している。

映像ファイルを一意に特定するためのＩＤや、記録媒体１１０を一意に特定するためのＩＤは、メタデータ生成手段１０６から取得される。

メタデータ生成手段１０６は、クリップＩＤ情報およびメディアＩＤ情報を記録媒体１１０へ記録する。すなわち、映像ストリーミング装置１００が高解像度の映像データを映像ファイルとして記録する場合、映像ファイルと、メタデータ生成手段１０６が生成したメタデータファイルの２つのファイルを記録媒体１１０へ保持する。一度の記録によって生成されたそれらのファイルは、互いに関連付けられて記録媒体１１０内に保存される。図１１は、記録媒体１１０内での映像ファイルのフォルダ構成の例を示す。記録媒体１１０内のファイルシステムにはＣＯＮＴＥＮＴＳフォルダが存在する。映像ストリーミング装置１００によって記録媒体１１０に記録されるファイルは、すべてＣＯＮＴＥＮＴＳフォルダの下に保存される。ＣＯＮＴＥＮＴＳフォルダの下にはＶＩＤＥＯフォルダとＣＬＩＰフォルダがある。高解像度の映像データを保存する映像ファイルはＶＩＤＥＯフォルダの中に保存される。メタデータファイルはＣＬＩＰフォルダの中に保存される。対応する映像ファイルとメタデータファイルには、拡張子を除いて同じ名前が付与される。図１１で示した例では、ＶＩＤＥＯフォルダの下に置かれた「００１．ｍｘｆ」という高解像度の映像ファイルは、ＣＬＩＰフォルダの下に置かれた「００１．ｘｍｌ」というメタデータファイルと対応する。このファイル名を用いた関連付けにより、人間にもコンピューターにも映像ファイルとメタデータファイルの関連性が容易に判断できる。

映像ファイル１１０１は、ＭＸＦ（Ｍａｔｅｒｉａｌ ｅＸｃｈａｎｇｅ Ｆｏｒｍａｔ：ＳＭＰＴＥ３７７Ｍ）形式というファイル形式で記録されている。これらは業務用の映像機器で広く用いられているファイル形式である。これに対し、メタデータファイル１１０２はＸＭＬ（ｅＸｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）形式というファイル形式で保存されている。ＸＭＬ形式は、記述内容の自由度が非常に高いマークアップ言語であるため、様々な付加情報を収録する必要のある業務用の映像機器に適している。

具体的なメタデータファイルの中身の例を図１２に示す。すべての付加情報は「Ｐ２Ｍａｉｎ」タグの下に記述されている。さらに、動画や音声のフォーマットといった技術的なパラメーター類は「ＣｌｉｐＣｏｎｔｅｎｔ」タグの下に記述されている。作成日時、撮影した機材およびメモといった付加情報は「ＣｌｉｐＭｅｔａｄａｔａ」タグの下に記述されている。

図１２に示されている付加情報には、「ＧｌｏｂａｌＣｌｉｐＩＤ」が含まれている。「ＧｌｏｂａｌＣｌｉｐＩＤ」は、このメタデータファイルと関連付けられた映像ファイルを一意に特定するためのＩＤ情報である。このＩＤは充分な長さをもった英数字の文字列とし、その生成に一定のアルゴリズムを割り当てることによって、異なる映像ファイルには必ず異なるＩＤ情報が割り振られるようにしている。このＧｌｏｂａｌＣｌｉｐＩＤの生成アルゴリズムの一例が、ＵＭＩＤの生成アルゴリズムである。

本実施の形態においては、ＵＭＩＤのようなＩＤ情報を生成し、メタデータファイルに保存している。ファイル名の変更が必要な場合、映像ファイルのファイル名とメタデータファイルのファイル名とを同時に変更することにより、映像ファイルとメタデータファイルの関連付けを維持できる。これにより、クリップＩＤ情報と映像データとの関連付けを保つことができる。

ここで、映像ファイルを特定するためのＩＤ（クリップＩＤ情報）として、映像ファイルのファイル名のみを用いた場合の問題点について述べる。本実施の形態においては、記録媒体１１０が一つだけの場合について述べているが、これに限られない。例えば、複数の記録媒体１１０に記録された映像ファイルを一つの記録媒体１１０に集約する場合などにおいては、ファイル名が同一の映像ファイルのうち一方について、ファイル名を変更する必要がある。そのため、映像データに関連付けられているクリップＩＤ情報と、映像データに対応する映像ファイルのファイル名が一致しなくなる恐れがある。映像ファイルをクラウドサーバーに移動させて管理する場合にも、同様の問題が起こりうる。特に、ＳＤメモリーカード等で用いられているＭＳ−ＤＯＳファイルシステムにおいては、より問題となりやすい。ＭＳ−ＤＯＳファイルシステムにおいては、ファイル名として８文字以上の英数字を使うことができない。このことから、世界中で撮影されたあらゆる映像ファイルに一意の名前をつけるのは難しい。

「ＭｅｄｉａＩＤ」には、記録媒体１１０を一意に特定するための情報も記述されている。

これらの、クリップＩＤ情報を含むメタデータを映像ファイルと関連付けて記録媒体１１０に記録しておくことにより、高解像度映像転送要求の対象となる映像ファイルと指定範囲を容易に特定できる。

以上で説明したＲＴＣＰパケットを含むストリーミングデータを受信する映像編集装置２００の動作について以下に説明する。

映像編集装置２００が受信したストリーミングデータは、記録媒体２０７に保存される。ストリーミングデータには映像・音声のデータ以外に付加情報も含まれており、その付加情報の中には前述のＲＴＣＰパケットに含まれた映像ストリーミング装置１００の状態に関する情報（機器状態情報）も含まれる。

映像編集装置２００は、映像編集部２０２を備える。映像編集部２０２は、映像編集装置２００のユーザー２１８に範囲指定手段２０９を提供する。映像編集装置２００のユーザー２１８は、範囲指定手段２０９を用いて、高解像度映像転送要求の時間範囲を指定する。本実施の形態では、範囲指定手段２０９はウェブアプリケーションによって提供される映像編集画面のＧＵＩである。ユーザー２１８は、その映像編集画面を使って、高解像度映像データが必要な部分を指定することができる。範囲指定手段２０９を実現する映像編集画面の例を図３に示す。

本実施の形態においては、映像編集画面は、ウェブアプリケーションである。映像編集画面は、ユーザー２１８のパソコンにインストールされたウェブブラウザの画面上に表示される。

映像編集画面３００は、プレイヤー部３０１とプレイリスト部３０２を有する。プレイヤー部３０１は、ユーザー２１８がストリーミング受信した低解像度の映像データを閲覧しながら高解像度の映像データが必要な部分を選択するための画面である。プレイリスト部３０２は、ユーザー２１８によって指定された時間範囲を、エントリとして列挙して表示する画面である。なお、映像編集画面３００において編集の対象となっている映像データを、編集映像データとも表記する。

ユーザー２１８が再生・一時停止ボタン３１０を操作することにより、ストリーミング再生画面３０３上で映像の再生または一時停止が行われる。ユーザー２１８は、ストリーミング再生画面３０３に表示される映像を閲覧し、高解像度映像が必要な部分の先頭（以降、「ＩＮ点」と呼ぶ）が表示されているときにＩＮ点指定ボタン３０８をクリックする。高解像度映像が必要な部分の末尾（以降、「ＯＵＴ点」と呼ぶ）が表示されているときにＯＵＴ点指定ボタン３０９をクリックする。これにより、ユーザー２１８は、ＩＮ点からＯＵＴ点までを高解像度映像転送要求の時間範囲として指定できる。

ユーザー２１８が閲覧している映像の時間的位置は、シークバー３０４上の再生位置ポインタ３０５で示される。シークバー３０４の左端はストリーミングが開始された時間的位置を示す。シークバー３０４の右端はストリーミングとして届いた最新の時間的位置を示す。映像ストリーミング装置１００からのストリーミングが継続中の場合は、シークバー３０４の右端が示す時間的位置が時々刻々と更新される。

ユーザー２１８が指定したＩＮ点およびＯＵＴ点の時間的位置は、ＩＮ点ポインタおよびＯＵＴ点ポインタ（３０６）でシークバー３０４上に示される。ＩＮ点とＯＵＴ点を決めた状態でユーザー２１８がプレイリストエントリ追加ボタン３１１をクリックすると、ＩＮ点とＯＵＴ点に挟まれた時間範囲がプレイリストのエントリ３１３としてプレイリストに追加される。

映像ストリーミング装置１００側が高解像度の映像データを記録しているか否かにかかわらず、映像ストリーミング装置１００からの低解像度の映像データのストリーミングは行われている。そのため、プレイヤー部３０１で閲覧できる低解像度の映像データには、映像ストリーミング装置１００の記録媒体１１０に高解像度の映像データが存在する時間範囲と存在しない時間範囲の両方が含まれうる。ユーザー２１８が映像編集画面３００において指定した時間範囲のうち、実際に高解像度の映像データが取得できるのは、高解像度の映像データが存在する時間範囲に含まれる部分だけである。

有効範囲表示バー３０７は、「高解像度の映像データが存在する時間範囲」を示す。これにより、ユーザー２１８は、高解像度の映像データが存在する時間範囲を視覚的に認識することができる。有効範囲表示バー３０７は、シークバー３０４の左端から右端が表す時間範囲のうち、映像ストリーミング装置１００が高解像度の映像データが存在する時間範囲を、決まった色で塗りつぶすことでユーザーに示す。図３では、有効範囲表示バー３０７のうち黒く塗りつぶした部分が高解像度の映像データが存在する時間範囲に相当する。また、有効範囲表示バー３０７のうち白い部分が高解像度の映像データが存在しない時間範囲に相当する。

付加情報解釈手段２１０は、高解像度の映像データが存在する時間範囲を特定する。有効範囲表示バー３０７は、特定された高解像度の映像データが存在する時間範囲を示す。付加情報解釈手段２１０の動作を以下に説明する。

映像ストリーミング装置１００が送信するＲＴＣＰパケットには、付加情報として、タイムスタンプと、そのタイムスタンプが示すタイミングにおける映像ストリーミング装置１００の状態を示す情報とが含まれる。また、低解像度映像データの一つのフレームにつき、これらの付加情報を含むＲＴＣＰパケットが一つ送信される。付加情報解釈手段２１０は、付加情報を含むＲＴＣＰパケットの領域６０２に含まれるタイムスタンプと、機器状態情報の最下位ビットの値とに基づき、高解像度の映像データが存在する時間範囲を特定できる。なお、映像ストリーミング装置１００側で高解像度の映像データが存在するとき、付加情報解釈手段２１０は、ＲＴＣＰパケットに含まれるクリップＩＤ情報とメディアＩＤ情報に記載された情報により、そのフレームを含む高解像度の映像データが記録されている映像ファイルを特定することもできる。

しかし、ＲＴＣＰパケットは、ネットワーク上で失われる可能性がある。そのため、映像編集装置２００は、ＲＴＣＰパケットをすべて受信できるとは限らない。

ＲＴＣＰのプロトコルを用いた通信はリアルタイム性が重視されるため、一般的にＵＤＰ（Ｕｓｅｒ Ｄｉａｇｒａｍ Ｐｒｏｔｏｃｏｌ）を使って行われる。ＵＤＰによる通信においては、受信側で受け取ったパケットに欠落があっても、そのパケットを再送しない。つまり、本実施の形態においては、付加情報が格納されたＲＴＣＰパケットがいくつか欠落した状態で映像編集装置２００に届くことが発生しえる。

本実施の形態における映像配信システムでは、低解像度の映像ストリーミングのフレームごとに「そのフレームに対応する高解像度の映像データが映像ストリーミング装置１００側の記録媒体１１０に存在するか否か」を映像編集装置２００側で判定する。そのために、ＲＴＣＰパケットの一部が届いていない場合でも、高解像度の映像データが存在する時間範囲を特定する必要がある。

また、映像編集装置２００側で、低解像度の映像ストリーミングのうち、高解像度の映像データが存在する時間範囲の開始時点を特定できるようにしてもよい。これにより、映像編集装置２００が映像ストリーミング装置１００から高解像度映像データを取得する処理が容易になる。具体的には、映像編集装置２００は、直前の記録開始タイミングから、映像編集装置２００で指定した時間範囲のＩＮ点およびＯＵＴ点までの経過時間を、映像ファイルにおける経過時間に一致させることができる。以上のように、高解像度の映像データが存在する時間範囲の開始時点を特定できていれば、ＩＮ点およびＯＵＴ点に対応する値から、切り出す対象の映像ファイルにおける時間範囲を容易に特定できる。

付加情報解釈手段２１０は、一部のＲＴＣＰパケットが欠落していても高解像度の映像データが存在する時間範囲の開始時点を正確に特定できるように構成されている。図５は、ＲＴＣＰパケットがタイムスタンプのｔ０からｔ１の間、欠落している場合を例として、記録継続フレーム数を用いて高解像度の映像データが存在する時間範囲の開始時点を特定する方法を示している。

付加情報解釈手段２１０は、タイムスタンプがｔ０以前のＲＴＣＰパケットに格納された機器状態情報から、映像ストリーミング装置１００が高解像度の映像データを映像ファイルとして記録していないと判断できる。また、タイムスタンプがｔ１以降のＲＴＣＰパケットに格納された機器状態情報によって、映像ストリーミング装置１００が高解像度の映像データを映像ファイルとして記録していたと判断できる。しかし、映像編集装置２００は、タイムスタンプがｔ０からｔ１までの間のＲＴＣＰパケットは失われており、映像ストリーミング装置１００が停止状態から記録状態に切り替わったタイミングに対応するＲＴＣＰパケットは受信されていない。そのため、ＲＴＣＰパケットの機器状態情報だけでは高解像度の映像データが存在する時間範囲の開始時点を特定することができない。

本実施の形態によれば、図５のような場合であっても、ＲＴＣＰパケットに格納されている状態継続時間情報を用いて、高解像度の映像データが存在する時間範囲の開始時点を特定できる。ここで、図５に示すように、タイムスタンプがｔ１のＲＴＣＰパケットに記録された状態継続時間情報に「ｎフレーム」が格納されていたとする。すなわち、ｔ１のタイミングに対応するフレームが、映像ストリーミング装置１００が記録状態に切り替わってからｎフレーム目のフレームであるとする。この場合、高解像度の映像データが存在する時間範囲の開始時点は、ｔ１からｎフレーム分遡ったタイミングに相当する。このように、付加情報解釈手段２１０は、一部のＲＴＣＰパケットが欠落していても、欠落しているＲＴＣＰパケットより後のＲＴＣＰパケットの記録継続フレーム数を用いて補正する。このような付加情報解釈手段２１０は、高解像度の映像データが存在する時間範囲の開始時点を特定するのに有用である。

以上のように、付加情報解釈手段２１０は、付加情報解釈手段２１０は、高解像度の映像データが存在する時間範囲を特定し、有効範囲表示バー３０７上に色分けして表示する。これにより、ユーザー２１８は、高解像度の映像データが存在する時間範囲を容易に確認できる。

なお、本実施の形態では有効範囲表示バー３０７上で色分けして表示することによって、高解像度の映像データが存在する時間範囲をユーザー２１８に提示したが、高解像度の映像データが存在する時間範囲をユーザー２１８が把握できる手段であればよい。例えば、高解像度の映像データが存在する時間範囲を記述した文字情報をダウンロードできるウェブＡＰＩを提供する形態であってもよい。

本実施の形態の範囲指定手段２０９を用いることにより、ユーザー２１８は、高解像度の映像データが取得可能な時間範囲から、所望の時間範囲を選択することができるようになる。

なお、範囲指定手段２０９の操作において、高解像度の映像データが取得可能な時間範囲のみをユーザー２１８に選択させるための方法として、下記の２種類の方法が有効である。

第１の方法は、ユーザー２１８が範囲指定手段２０９を用いて選択できる時間範囲を限定する方法である。具体的には、ＩＮ点とＯＵＴ点の間に高解像度の映像データが取得できない時間範囲を含む場合に、その時間範囲を指定不可とすることにより、選択できる時間範囲を限定する。例えば、図１０のＩで示す時間的位置にＩＮ点の位置を決定した場合、ＯＵＴ点はＡで示す区間のみで指定可能とし、Ｂで示す区間には設定できないようにする。具体的には、ＩＮ点が区間Ａにあるとき、ＯＵＴ点を指定する操作を区間Ａ以外で無効化すればよい。

第２の方法は、高解像度の映像データが取得できない時間範囲を含むように指定しようとした場合に、ユーザー２１８にその旨を通知する方法である。つまり、ユーザー２１８がＩＮ点とＯＵＴ点を確定した段階でその間に高解像度の映像データが存在しない時間範囲が含まれていた場合、ユーザー２１８に警告を表示する。具体的には、図４のように、高解像度の映像データが存在しない時間範囲が含まれる旨を説明する警告ダイアログ４０１を、ユーザー２１８が用いるＧＵＩ上に表示する方法がある。なお、この警告ダイアログを表示した後の動作として、指定した時間範囲のうち、高解像度の映像データが取得できない部分を除いた範囲について、複数のエントリとしてプレイリストに自動的に追加するようにしてもよい。また、ユーザー２１８が指定する時間範囲を変更し、高解像度の映像データが取得できない部分が含まれなくなるまで警告ダイアログ４０１を表示し続けてもよい。なお、警告ダイアログ４０１は、ダイアログボックスとして表示する形態に限られない。例えば、単に警告テキストが表示されるようにしてもよい。

以上のようにして、ユーザー２１８は高解像度の映像データが必要な部分を、プレイリスト作成手段２０８を使って指定することができる。この範囲指定の操作を繰り返し、すべての必要な部分をプレイリストに入れ終わると、ユーザー２１８はエクスポートボタン３１２をクリックする。エクスポートボタン３１２がクリックされると、ユーザー２１８によって作成されたプレイリストはプレイリスト解釈手段２１３に通知され、高解像度の映像データを要求する高解像度映像転送要求へと変換される。本実施の形態における転送要求の例を図９に示す。

高解像度映像転送要求は、ＸＭＬ（Ｅｘｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）を使って記述される。ユーザー２１８がプレイリスト作成手段２０８によって作成したプレイリストのひとつひとつのエントリは、＜Ｅｖｅｎｔ＞タグを使って表現される。図９の例の場合は、２つのエントリが含まれている。

＜Ｄｕｒａｔｉｏｎ＞は、そのエントリで指定されている範囲の長さ（単位はフレーム数）である。

＜Ｓｏｕｒｃｅ＞は、そのエントリがどの映像ファイルから切り出されるべきかをあらわしている。例えば図９のひとつめの＜Ｅｖｅｎｔ＞においては、このエントリに係る映像データは、ＭｅｄｉａＩＤが「ＡＡ００９Ｄ０９６６００１１２２３３４４５５６６７７８８９９００」である記録媒体１１０に記録されていることが示されている。さらに、このエントリは、ＣｌｉｐＩＤが「０６０Ａ２Ｂ３４０１０１０１０５０１０１０Ｄ４３１３０００００００１３８１３６７１０３４０５ＦＦ００００００００００００００００」である映像ファイルにおいて、先頭から数えて５４０フレーム目を先頭フレームとして高解像度の映像データを切り出すように指定している。映像編集装置２００は、ＲＴＣＰパケットに含まれる付加情報（６０５と６０６）として受信しているため、ＭｅｄｉａＩＤとＣｌｉｐＩＤを用い高解像度映像転送要求を指定することが可能となる。

こうして作成された高解像度映像転送要求は、映像ストリーミング装置１００へとネットワークを介して送信される。高解像度映像転送要求は映像ストリーミング装置１００が備える転送要求解釈手段１１７によって解釈される。その解釈をもとにして映像切り出し手段１１６は高解像度映像転送要求に基づき、指定された映像ファイルから、指定された時間範囲を切り出す。切り出された高解像度の映像データは、ファイル転送プロトコル制御手段１１８を使って映像編集装置２００へと転送される。

以上で説明した実施の形態にかかる映像ストリーミング装置１００と映像編集装置２００によれば、映像編集装置２００のユーザー２１８は、高解像度の映像データを、映像ストリーミング装置１００が撮影する映像データをネットワークを通じて取得できる。ユーザー２１８は、低解像度の映像データのストリーミングを閲覧し、高解像度の映像データが必要な時間範囲のみを指定して映像ストリーミング装置１００から転送させることができる。さらに、ユーザー２１８は、時間範囲の指定において、高解像度の映像データが取得できない時間範囲を、高解像度映像転送要求を送信する前に確認することができる。これにより、ネットワークの通信速度が十分でない場合でも、高解像度の映像データを効率よく取得できる。

図１３を用いて、本開示に係る映像ストリーミング装置１００と映像編集装置２００とを用いた映像配信システムについて説明する。図１３は、映像配信システムを用いた映像編集のフローを示した図である。映像ストリーミング装置１００は、低解像度の映像データを映像編集装置２００へストリーミング送信する。映像ストリーミング装置１００は、高解像度の映像を記録する状態である記録状態においては、高解像度の映像データを記録媒体１１０に記録する。映像編集装置２００のユーザー２１８は、低解像度の映像ストリーミングを閲覧し、高解像度の映像を取得したい時間範囲を指定する。次に、映像編集装置２００は、指定された時間範囲を示す情報を映像ストリーミング装置１００に送信する。映像ストリーミング装置１００は、受信した時間範囲に基づき、記録媒体１１０に記録された高解像度の映像データから所望の映像データを切り出す。映像ストリーミング装置１００は、切り出した高解像度の映像データを映像編集装置２００へ送信する。ユーザー２１８は、取得した高解像度の映像データを用いて、放送用の高品位な映像を作成する。

以上のように、本出願において開示する技術の例示として、実施の形態を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施の形態にも適用できる。また、上記実施の形態で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。

本開示の映像ストリーミング装置と映像編集装置により、ユーザーは、高解像度映像データを、ネットワークを通して効率よく取得できるようになる。例えば、遠隔地でニュースの取材をしているカメラマンの帰社を待つことなく、放送局にいるスタッフが、高画質かつ最新の映像を入手できる。映像を利用する産業において、システムの運用の高速化や省コスト化が期待できる。

１００ 映像ストリーミング装置
１０１ 映像生成部
１０２ 記録処理部
１０３ ストリーミング処理部
１０４ 高解像度映像要求処理部
１０５ 撮像手段
１０６ メタデータ生成手段
１０７ 高解像度圧縮手段
１０８ 低解像度圧縮手段
１０９，２０６，２１６ 記録媒体書き出し手段
１１０，２０７，２１７ 記録媒体
１１１ ＲＴＰ送信パケット生成手段
１１２ タイムスタンプ生成手段
１１３ カメラレコーダー状態記憶手段
１１４ ＲＴＣＰ送信パケット生成手段
１１５ 無線通信手段
１１６ 映像切り出し手段
１１７ 転送要求解釈手段
１１８ ファイル転送プロトコル制御手段
１１９ 記録開始・終了指示手段
１２０ 命令受け取り手段
２００ 映像編集装置
２０１ 低解像度ストリーミング記録部
２０２ 映像編集部
２０３ 高解像度映像記録部
２０４ ネットワーク接続手段
２０５ ストリーミング受信手段
２０８ プレイリスト作成手段
２０９ 範囲指定手段
２１０ 付加情報解釈手段
２１１ 映像抽出手段
２１２ 記録媒体読み出し手段
２１３ プレイリスト解釈手段
２１４ 高解像度映像転送要求手段
２１５ 高解像度映像受信手段
２１８ ユーザー
３００ 映像編集画面
３０１ プレイヤー部
３０２ プレイリスト部
３０３ ストリーミング再生画面
３０４ シークバー
３０５ 再生位置ポインタ
３０６ ＩＮ点・ＯＵＴ点ポインタ
３０７ 有効範囲表示バー
３０８ ＩＮ点指定ボタン
３０９ ＯＵＴ点指定ボタン
３１０ 再生・一時停止ボタン
３１１ プレイリストエントリ追加ボタン
３１２ エクスポートボタン
３１３ エントリ
４０１ 警告ダイアログ
１１０１ 高解像度映像ファイル
１１０２ メタデータファイル

Claims (10)

1. 映像データの記録および送信を行う映像ストリーミング装置であって、
   同一の映像に基づき、第１映像データと、前記第１映像データよりもビットレートの低い映像データである第２映像データと、を生成する映像生成部と、
   前記第２映像データを分割して送信パケットを生成し、送信するストリーミング処理部と、
   操作指示に応じて、前記第１映像データを記録媒体に映像ファイルとして記録する記録処理部と、を備え、
   前記ストリーミング処理部は、前記記録処理部が前記映像ファイルに前記第１映像データを記録しているか否かを示す情報を、送信する、
   映像ストリーミング装置。
2. 前記ストリーミング処理部は、前記映像ファイルに前記第１映像データを記録しているか否かの情報を、前記第２映像データのフレームごとに付加して送信する、
   請求項１に記載の映像ストリーミング装置。
3. 前記ストリーミング処理部は、前記記録処理部が前記第１映像データの記録を継続している時間を示す情報を送信する、
   請求項１または２に記載の映像ストリーミング装置。
4. 前記ストリーミング処理部は、前記記録処理部が記録を開始して以降に記録された第１映像データのフレーム数を送信する、
   請求項１または２に記載の映像ストリーミング装置。
5. 前記ストリーミング処理部は、前記第１映像データに対応する前記映像ファイルを一意に特定するための識別情報を付加して送信する、
   請求項１から４のいずれかに記載の映像ストリーミング装置。
6. 前記ストリーミング処理部は、前記映像ファイルに第１映像データが記録されているか否かの情報を送信する、
   請求項１から５のいずれかに記載の映像ストリーミング装置。
7. 受信した映像データを基にして映像を編集する映像編集装置であって、
   前記映像データに関連付けられた付加情報を解釈する付加情報解釈手段と、
   前記映像の中からユーザーが時間範囲を選択するための範囲指定手段と、を備え、
   前記付加情報解釈手段は、前記付加情報から編集対象となっている前記映像データである編集映像データを送信した映像ストリーミング装置が、前記編集映像データに対応する第１映像データを保持しているか否かを判断し、
   前記範囲指定手段は、前記付加情報解釈手段の判断に基づき、前記映像ストリーミング装置が前記第１映像データを保持している時間範囲をユーザーに通知する、
   映像編集装置。
8. 受信した映像データを基にして映像を編集する映像編集装置であって、
   前記映像データに関連付けられた付加情報を解釈する付加情報解釈手段と、
   前記映像の中からユーザーが時間範囲を選択するための範囲指定手段と、を備え、
   前記付加情報解釈手段は、前記付加情報から編集対象となっている前記映像データである編集映像データを送信した映像ストリーミング装置が、前記編集映像データに対応する第１映像データを保持しているか否かを判断し、
   前記範囲指定手段は、前記付加情報解釈手段の判断に基づき、前記映像ストリーミング装置が前記第１映像データを保持している時間範囲のみを、ユーザーが選択可能な時間範囲とする、
   映像編集装置。
9. 受信した映像データを基にして映像を編集する映像編集装置であって、
   前記映像データに関連付けられた付加情報を解釈する付加情報解釈手段と、
   前記映像の中からユーザーが時間範囲を選択するための範囲指定手段と、を備え、
   前記付加情報解釈手段は、前記付加情報から編集対象となっている前記映像データである編集映像データを送信した映像ストリーミング装置が前記編集映像データに対応する第１映像データを保持しているか否かを判断し、
   前記範囲指定手段は、前記付加情報解釈手段の判断に基づき、ユーザーが指定した時間範囲に、前記映像ストリーミング装置が前記第１映像データを保持していない時間範囲が含まれていると判定した場合に、ユーザーにその旨を通知する、
   映像編集装置。
10. 映像データの記録および送信を行う映像ストリーミング装置と、受信した前記映像データを基にして映像を編集する映像編集装置とを含む映像配信システムであって、
    前記映像ストリーミング装置は、
    同一の映像に基づき、第１映像データと、前記第１映像データよりもビットレートの低い映像データである第２映像データと、を生成する映像生成部と、
    前記第２映像データを分割して送信パケットを生成し、送信するストリーミング処理部と、
    操作指示に応じて、前記第１映像データを記録媒体に映像ファイルとして記録するよう制御する記録処理部と、を備え、
    前記ストリーミング処理部は、前記記録処理部が前記映像ファイルに前記第１映像データを記録しているか否かを示す情報を付加情報として送信し、
    前記映像編集装置は、
    受信した前記第２映像データに関連付けられた前記付加情報を解釈する付加情報解釈手段と、
    前記映像の中からユーザーが時間範囲を選択するための範囲指定手段と、を備え、
    前記付加情報解釈手段は、前記付加情報から編集対象となっている映像データである編集映像データを送信した前記映像ストリーミング装置が、前記編集映像データに対応する前記第１映像データを保持しているか否かを判断し、
    前記範囲指定手段は、前記付加情報解釈手段の判断に基づき、前記映像ストリーミング装置が前記編集映像データに対応する前記第１映像データを保持している時間範囲をユーザーに通知する、
    映像配信システム。

Images