JP4950988B2 - データ送信装置、データ送信方法、視聴環境制御装置、視聴環境制御システム、及び視聴環境制御方法 - Google Patents

Description

【技術分野】
【０００１】
本発明は、映像表示装置に映像を表示する際に、その映像の撮影シーンの雰囲気や場面設定に適応させて、映像表示装置の周囲の照明光を制御することが可能なデータ送信装置、データ送信方法、視聴環境制御装置、視聴環境制御システム、及び視聴環境制御方法に関するものである。
【背景技術】
【０００２】
例えば、テレビジョン受像機のような映像表示装置により映像表示を行う場合や、プロジェクタ装置を用いて映像を投影表示させるような場合に、その周囲の照明光を表示映像に合わせて調整することにより臨場感を高めるなどの視聴演出効果を付与するようにした技術が知られている。
【０００３】
例えば、特開平２−１５８０９４号公報には、カラーテレビの表示映像の色信号（ＲＧＢ）と輝度信号（Ｙ）とから、フレーム毎に光源の三原色の混光照度比を算出し、映像と連動させて調光制御を行うようにした光色可変形照明装置が開示されている。この光色可変形照明装置は、カラーテレビの表示映像から色信号（ＲＧＢ）と輝度信号（Ｙ）とを取り出し、その色信号と輝度信号とから、光源に使用する三色光（赤色光，緑色光，青色光）の適正調光照度比を算出し、その照度比に従って三色光の照度を設定し、三色光を混光して照明光として出力している。
【０００４】
また、例えば、特開平２−２５３５０３号公報には、テレビの映像を複数に分割し、対応する分割部の平均的な色相を検出することによって、分割部の周囲の照明制御を行う映像演出照明装置が開示されている。この映像演出照明装置は、カラーテレビの設置場所の周囲を照明する照明手段を備えていて、カラーテレビに表示される映像を複数に分割し、照明手段によって照明される部分に対応する映像の分割部の平均的な色相を検出し、その検出した色相に基づいて照明手段を制御している。
【０００５】
さらに、例えば、特開平３−１８４２０３号公報には、単に画像表示装置の画面全体の平均色度及び平均輝度を求めるのではなく、画像表示装置の画面に映し出された画像から人の顔などの肌色部分の画素を取り除いた残りの部分を背景部と考え、その背景部の各画素のＲＧＢ信号及び輝度信号だけを取り出して平均色度及び平均輝度を求めて、画像表示装置の背面の壁面の色度及び輝度が、画面全体、或いは人の肌色を除く背景部の平均色度及び平均輝度と同一になるように、照明を制御する方法が開示されている。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
通常、映像のシーンは例えば映像制作者（脚本家や演出家など）の意図により、一連の場面設定に基づく一区切りの映像として、適切に設定された照明状況の下で撮影されて作成される。従って、映像視聴時の臨場感や雰囲気を増大させるには、表示映像のシーン撮影時における照明状況に応じた照明光を視聴空間に照射することが望ましい。
【０００７】
しかしながら、上述した従来の視聴環境制御装置では、表示すべき映像信号における１フレーム（画面）毎の特徴量（色信号及び輝度信号）を検出し、照明光を制御しているため、表示映像内容によっては該映像のシーン状況に即した照明光を生成することが困難である。例えば、映像信号に含まれる被写体人物の服装や被写体の背景にある人工物などの影響を受けて、不適切な色の照明光を周囲に照射してしまうと、シーン毎の雰囲気を再現したり、シーン毎の臨場感を維持することができない。すなわち、各シーンの撮影時に用いられた照明状況から大きく逸脱した視聴環境照明は却って臨場感を損なうことになる。
【０００８】
また、上記従来の技術においては、映像信号の輝度や色相のフレーム毎の変化に応じて照明光の状態が変化してしまい、特にフレーム間における輝度や色相の変化の度合いが大きい場合などでは照明光が煩雑に変化し、視聴者がフリッカーによる違和感を感じるという問題が生じる。さらに、撮影時の照明状況に変化のない１つのシーンの表示中に、フレーム毎の輝度や色相の変化に応じて照明光が変動することは、シーン毎の雰囲気を逆に阻害して好ましくない。
【０００９】
図１は、上記従来の技術による照明制御の問題点の一例を説明するための図であり、連続する動画像の一部を示すものである。図１の（Ａ）に示す例では、晴天の日中の屋外という場面設定で撮影された映像のシーンが作成されている。このシーンは、カメラが切り替わることなく一連のカメラワークにより撮影によって得られた映像からなる。この例では、カメラの上方からカメラ近傍に向かってスキーヤーが滑降してくる映像が撮影されている。スキーヤーは赤い服を着ており、空は晴天である。
【００１０】
すなわち、この映像シーンは、図１の（Ｂ）に示すように、冬の日中晴天時の太陽光（自然光）の下で撮影されており、この太陽光がキーライトであり、このキーライトの照明光源の性質はスポットライト（点光源）、水平方向の照明光の入射方向は順光、垂直方向の照明光の入射方向がトップライト、照明強度は強く、照明色温度は約6000Kという照明状況で撮影されたものである。
【００１１】
そして、このシーンの映像は、その初期のフレームでは背景の青空の領域が大きく、スキーヤーが滑り降りてカメラに近づくに従ってスキーヤーの赤い服の領域が徐々に大きくなってくる。つまりシーン内の映像の進行に伴って、各フレームを構成する色の比率が変化してくる。
【００１２】
このような場合、各フレーム毎の色度や輝度を使用して照明光を制御すると、青色が強い照明光から赤い照明光に変化していくことになる。すなわち、上述した照明状況の下で撮影された映像であるにもかかわらず、この撮影時の照明状況が考慮されない照明光が生成・照射されるため、却ってそのシーンの雰囲気を阻害して視聴者に違和感を与えることになる。また、一つの場面設定（雰囲気）が連続する一区切りのシーン内で照明光の色味が変化すると、やはりそのシーンの雰囲気を阻害して視聴者に違和感を与えることになる。
【００１３】
図２は、上記従来の技術による照明制御の問題点の他の例を説明するための図である。図２の（Ａ）に示す例では、月夜の屋外という場面設定で撮影された映像のシーンが作成されている。このシーンは、カメラワークが異なる３つのショット（１，２，３）により構成されている。ショット１では、対象である亡霊をカメラがロングショットで撮影している。そしてショット２に切り替わると、その亡霊がアップショットで撮影されている。ショット３では、再度ショット１のカメラ位置に戻っている。これらのショットは、カメラワークは異なっていても、一つの雰囲気が連続する一区切りのシーンとして意図されて構成されている。
［００１４］
このシーンの撮影においては、図２の（Ｂ）に示すように、照明光源の性質がフラッドライト（面光源）、水平方向の照明光の入射方向が順光、垂直方向の照明光の入射方向がトップライト、照明強度が普通、照明色温度が約７０００Ｋであるキーライト（上段）と、照明光源の性質がフラッドライト（面光源）、水平方向の光の入射方向がレンブラントライト（左）、垂直方向の光の入射方向があおり、照明強度が弱く、照明色温度が約７０００Ｋであるフィルライト（中段）と、照明光源の性質がスポットライト（点光源）、水平方向の光の入射方向が側光（右）、垂直方向の光の入射方向が順光、照明強度がやや弱く、照明色温度が約５０００Ｋであるタッチライト（下段）とが用いられている。
［００１５］
このような場合、ショット１では、月夜の比較的暗い映像が連続しているので、これらの映像の各フレームの輝度や色度に従って照明光を制御すると比較的暗い照明光となる。そしてショット１がショット２に切り替わると、アップショットで撮影された亡霊は比較的明るい映像となる。このときに上記従来の技術によりフレーム毎に照明光を制御すると、ショットの切替時に照明光の制御が大きく切り替わって明るい照明光となる。そしてまたショット３に切り替わると、ショット１と同様の暗い照明光に戻る。
［００１６］
すなわち、上述した照明状況の下で撮影された一連の映像であるにもかかわらず、この撮影時の照明状況が考慮されない照明光が生成・照射されるため、却ってそのシーンの雰囲気を阻害して視聴者に違和感を与えることになる。また、一つの場面設定（雰囲気）が連続する一区切りのシーン内で照明光が暗くなったり明るくなったりすると、やはりそのシーンの雰囲気を阻害して視聴者に違和感を与えることになる。
［００１７］
本発明は、上記課題に鑑みてなされたものであり、表示映像の撮影時照明に応じた、最適な視聴環境の照明制御を実現することが可能なデータ送信装置、データ送信方法、視聴環境制御装置、視聴環境制御システム及び視聴環境制御方法を提供することを目的とする。
課題を解決するための手段
【００１８】
本願の第１の発明は、１以上のシーンから構成される映像データを送信するデータ送信装置において、各前記シーンの撮影時に用いられた１以上の照明装置それぞれの撮影照明データを、前記映像データに付加するデータ多重化部と、前記データ多重化部からの出力データを送信する送信部とを備えたデータ送信装置を特徴とする。
［００１９］
本願の第２の発明は、前記撮影照明データが、前記映像データのシーン単位で付加されることを特徴とする。
［００２０］
本願の第３の発明は、前記撮影照明データが、前記映像データのショット単位で付加されることを特徴とする。
［００２１］
本願の第４の発明は、前記撮影照明データが、前記映像データのフレーム単位で付加されることを特徴とする。
［００２２］
本願の第５の発明は、前記撮影照明データが、少なくとも各シーンの撮影に用いられた照明のライティング種別を表わす情報を含むことを特徴とする。
［００２３］
本願の第６の発明は、前記撮影照明データが、少なくとも各シーンの撮影に用いられた照明の性質を表わす情報を含むことを特徴とする。
［００２４］
本願の第７の発明は、前記撮影照明データが、少なくとも各シーンの撮影に用いられた照明の光の方向を表わす情報を含むことを特徴とする。
［００２５］
本願の第８の発明は、前記撮影照明データが、少なくとも各シーンの撮影に用いられた照明の光の強度を表わす情報を含むことを特徴とする。
［００２６］
本願の第９の発明は、前記撮影照明データが、少なくとも各シーンの撮影に用いられた照明の光の色度を表わす情報を含むことを特徴とする。
【００２７】
本願の第１０の発明は、映像データを構成する各シーンの撮影時に用いられた１以上の照明装置それぞれの撮影照明データを格納するデータ格納部と、前記撮影照明データの送信要求を外部から受ける受信部と、前記受信部が前記送信要求を受信すると、前記撮影照明データを各シーンの開始タイミングとともに送信する送信部とを備えたことを特徴とする。
［００２８］
本願の第１１の発明は、前記撮影照明データが、少なくとも各シーンの撮影に用いられた照明のライティング種別を表わす情報を含むことを特徴とする。
［００２９］
本願の第１２の発明は、前記撮影照明データが、少なくとも各シーンの撮影に用いられた照明の性質を表わす情報を含むことを特徴とする。
［００３０］
本願の第１３の発明は、前記撮影照明データが、少なくとも各シーンの撮影に用いられた照明の光の方向を表わす情報を含むことを特徴とする。
［００３１］
本願の第１４の発明は、前記撮影照明データが、少なくとも各シーンの撮影に用いられた照明の光の強度を表わす情報を含むことを特徴とする。
［００３２］
本願の第１５の発明は、前記撮影照明データが、少なくとも各シーンの撮影に用いられた照明の光の色度を表わす情報を含むことを特徴とする。
［００３３］
本願の第１６の発明は、表示装置に表示すべき映像データと、該映像データを構成する各シーンの撮影時に用いられた１以上の照明装置それぞれの撮影照明データとを受信する受信手段と、前記撮影照明データに基づいて、前記表示装置の周辺に設置された照明装置の照明光を制御する制御手段とを備えたことを特徴とする。
［００３４］
本願の第１７の発明は、前記制御手段が、前記照明装置の照明光を前記映像データのシーン単位で切替制御することを特徴とする。
［００３５］
本願の第１８の発明は、前記制御手段が、前記撮影照明データに加え、前記映像データの特徴量も用いて、前記照明装置の照明光を制御することを特徴とする。
［００３６］
本願の第１９の発明は、前記撮影照明データが、少なくとも各シーンの撮影に用いられた照明のライティング種別を表わす情報を含むことを特徴とする。
［００３７］
本願の第２０の発明は、前記撮影照明データが、少なくとも各シーンの撮影に用いられた照明の性質を表わす情報を含むことを特徴とする。
［００３８］
本願の第２１の発明は、前記撮影照明データが、少なくとも各シーンの撮影に用いられた照明の光の方向を表わす情報を含むことを特徴とする。
［００３９］
本願の第２２の発明は、前記撮影照明データが、少なくとも各シーンの撮影に用いられた照明の光の強度を表わす情報を含むことを特徴とする。
［００４０］
本願の第２３の発明は、前記撮影照明データが、少なくとも各シーンの撮影に用いられた照明の光の色度を表わす情報を含むことを特徴とする。
［００４１］
本願の第２４の発明は、前記視聴環境制御装置と、該視聴環境制御装置によって視聴環境照明光を制御される照明装置とを備えた視聴環境制御システムであることを特徴とする。
【００４２】
本願の第２５の発明は、１以上のシーンから構成される映像データを送信するデータ送信方法において、各前記シーンの撮影時に用いられた１以上の照明装置それぞれの撮影照明データを、前記映像データに付加して送信することを特徴とする。
【００４３】
本願の第２６の発明は、外部からの要求を受けて、映像データを構成する各シーンの撮影時に用いられた１以上の照明装置それぞれの撮影照明データを送信するデータ送信方法であって、前記撮影照明データを前記各シーンの開始タイミングとともに送信することを特徴とする。
［００４４］
本願の第２７の発明は、表示装置に表示すべき映像データと、該映像データを構成する各シーンの撮影時に用いられた１以上の照明装置それぞれの撮影照明データとを受信し、前記撮影照明データに基づいて、前記表示装置の周辺に設置された照明装置の照明光を制御することを特徴とする。
発明の効果
［００４５］
本発明によれば、映像の撮影時における照明状況に応じた最適な視聴環境を実現することが可能となる。
【図面の簡単な説明】
［００４６］
［図１］従来技術による照明変動の問題点の一例を説明するための図である。
［図２］従来技術による照明変動の問題点の他の例を説明するための図である。
［図３］本発明の第１実施形態に係る視聴環境制御システムにおける映像送信装置の要部概略構成を示すブロック図である。
［図４］本発明の第１実施形態に係る視聴環境制御システムにおける映像送信装置の出力ビットストリームの例を示す説明図である。
［図５］本発明の第１実施形態に係る視聴環境制御システムにおける撮影照明データの一例を示す説明図である。
［図６］撮影照明光の水平方向及び垂直方向の区分を説明するための説明図である。
［図７］映像の構成要素を説明するための説明図である。
［図８］本発明の第１実施形態に係る視聴環境制御システムにおける映像受信装置の要部概略構成を示すブロック図である。
［図９］本発明の第１実施形態に係る視聴環境制御システムにおける視聴環境空間例を示す説明図である。
［図１０］本発明の第１実施形態に係る視聴環境制御システムにおける制御データの一例を示す説明図である。
［図１１］本発明の第１実施形態に係る視聴環境制御システムにおける照明光の色再現範囲を表わす説明図である。
【図１２】本発明の第１実施形態に係る視聴環境制御システムにおける照明光方向情報と対応する照明装置ＩＤとの関係例を示す説明図である。
【図１３】図１に示した映像シーンに対応した撮影照明データを示す説明図である。
【図１４】本発明の第１実施形態に係る視聴環境制御システムにおいて、図１１に示した撮影照明データに基づいて生成される照明制御データを示す説明図である。
【図１５】本発明の第１実施形態に係る視聴環境制御システムにおいて、図１４に示した照明制御データに基づいて実現される視聴環境空間を示す説明図である。
【図１６】図２に示した映像シーンに対応した撮影照明データを示す説明図である。
【図１７】本発明の第１実施形態に係る視聴環境制御システムにおいて、図１６に示した撮影照明データに基づいて生成される照明制御データを示す説明図である。
【図１８】本発明の第１実施形態に係る視聴環境制御システムにおいて、図１７に示した照明制御データに基づいて実現される視聴環境空間を示す説明図である。
【図１９】本発明の第２実施形態に係る視聴環境制御システムにおける映像受信装置の要部概略構成を示すブロック図である。
【図２０】図１９における照明制御データ生成部を示すブロック図である。
【図２１】本発明の第２実施形態に係る視聴環境制御システムにおける照明光の色再現範囲を表わす説明図である。
【図２２】本発明の第３実施形態に係る視聴環境制御システムにおける外部サーバ装置の要部概略構成を示すブロック図である。
【図２３】本発明の第３実施形態に係る視聴環境制御システムにおける撮影照明データ格納テーブルの一例を示す説明図である。
【図２４】本発明の第３実施形態に係る視聴環境制御システムにおける撮影照明データ格納テーブルの一例を示す説明図である。
【図２５】本発明の第３実施形態に係る視聴環境制御システムにおける撮影照明データ格納テーブルの一例を示す説明図である。
【図２６】本発明の第３実施形態に係る視聴環境制御システムにおける撮影照明データ格納テーブルの一例を示す説明図である。
【図２７】本発明の第３実施形態に係る視聴環境制御システムにおける映像受信装置の要部概略構成を示すブロック図である。
【図２８】本発明の第４実施形態に係る視聴環境制御システムにおける映像受信装置の要部概略構成を示すブロック図である。
【図２９】図２８における照明制御データ生成部を示すブロック図である。
【発明を実施するための最良の形態】
【００４７】
図３は、本発明の第１の実施形態に係る視聴環境制御システムを説明するための映像送信装置（データ送信装置）の要部概略構成を示すブロック図で、本実施形態における映像送信装置は、図３に示すように、映像データ、音声データ、付加情報として供給された撮影照明データのそれぞれをトランスポートストリームパケット（Transport Stream packet；ＴＳＰ）形式に分割して多重するデータ多重部１と、データ多重部１の出力データに対して誤り訂正符号を付加する等した上で変調を施し、放送データとして伝送路に送出する送信部２とを備えている。
【００４８】
図４は、ＭＰＥＧ２（Moving Picture Experts Group 2）−Systemsで規定されたトランスポートストリームパケット（ＴＳＰ）の構成の概略を示す説明図であり、１１はＴＳＰのデータ内容その他のＭＰＥＧ２−Systemsで規定された情報が記述されたヘッダ、１２は拡張ヘッダ（アダプテーション・フィールド）であって送信者が決めた情報を記述できる部分、１３は映像、音声などのデータから構成されるペイロードである。本実施形態では、例えば、映像データ及び音声データをペイロード１３で伝送し、付加的な情報である撮影照明データなどを拡張ヘッダ（アダプテーション・フィールド）１２で伝送することが可能に構成されている。なお、映像データ、音声データ、撮影照明データのそれぞれの異なるデータストリームを多重して伝送するようにしてもよい。
【００４９】
ここで、図５を参照して、映像データの各シーンの撮影時における照明状況を示す撮影照明データについて詳細に説明する。本実施形態では、撮影照明データとして、各シーンの撮影に用いられた照明のライティング種別を表わすライティング種別情報、各シーンの撮影に用いられた照明光源の性質を表わす照明性質情報、各シーンの撮影に用いられた照明の光の入射方向（水平方向）を表わす照明光方向（水平方向）情報、各シーンの撮影に用いられた照明の光の入射方向（垂直方向）を表わす照明光方向（垂直方向）情報、各シーンの撮影に用いられた照明の光の強度を表わす照明強度情報、各シーンの撮影に用いられた照明の光の色度を表わす照明色温度情報を有している。これらの情報はいずれも、各シーンの撮影時における照明環境を推定し、各シーンの雰囲気や臨場感を照明光によって演出するために有用な情報である。以下、それぞれの情報について説明する。
【００５０】
まず、一般的によく用いられる撮影照明のライティング種別として、キーライト、フィルライト（おさえ）、タッチライト、ベースライトが知られている。キーライトは、主光源によるものであって、その場面の設定上の光、中心となる光であり、例えば昼間の室外のロケーションでは普通太陽光線に相当する。フィルライト（おさえ）は、補助光源によるものであって、影などを消し、被写体を明るくしたりツヤをつけたりする光であり、例えば昼間の室外のロケーションでレフ板により太陽光を反射し、暗い所に当てているのがこの光である。
【００５１】
また、タッチライトは、被写体を背景と分離したり、立体感を与えたりするための光であり、また、暗さを表現するために斜め後ろから照射して有効な光である。ベースライトは、全体を平均的に明るくしたり、強いコントラストを和らげるために用いる光である。
【００５２】
通常は、１以上のライティングを組み合わせて用いた撮影が行われるため、各ライティング種別毎の照明状況に適応して、後述する視聴環境照明を制御することにより、表示映像シーンの臨場感を向上させることができる。従って、本実施形態では、ライティング種別情報として、各映像シーンの撮影時における照明光が、キーライト／フィルライト（おさえ）／タッチライト／ベースライトのいずれに属するかを示す２ビットの記述を、撮影照明データの中に含有している。
【００５３】
また、各ライティング種別毎に用いられる照明光源の性質が決められる。一般的な撮影時の照明光源の性質として、スポットライト（点光源）と、フラッドライト（面光源）とが挙げられる。スポットライト（点光源）は、光の方向性がはっきりしている照明であり、影がくっきりと出る照明である。一方、フラッドライト（面光源）は、空間全体にわたって均一な明るさを得るために用いる照明であり、影がぼやけて濃淡が強く出ない照明である。
【００５４】
通常は、各ライティング種別毎に照明光源の性質が決められるため、この照明光源の性質に適応して、後述する視聴環境照明を制御することにより、表示映像シーンの臨場感を向上させることができる。例えば、スポットライト（点光源）による照明光を再現する場合は、視聴環境照明装置による照明範囲を狭くし、フラッドライト（面光源）による照明光を再現する場合は、視聴環境照明装置による照明範囲を広くするようなことが可能となる。
【００５５】
従って、本実施形態では、照明性質情報として、各映像シーンの撮影時に用いられた照明光源の性質が、スポットライト（点光源）／フラッドライト（面光源）のいずれに属するかを示す１ビットの記述を、撮影照明データの中に含有している。
【００５６】
さらに、各ライティング種別毎に照明光の方向が決められるため、この照明光の方向に適応して、後述する視聴環境照明を制御することにより、表示映像シーンの臨場感を向上させることができる。すなわち、映像表示装置の上下左右に配置された複数の照明装置を独立制御することにより、映像撮影時における撮影照明環境をきめ細かく再現することが可能となる。
【００５７】
図６において、Ｏは被写体、Ｃはカメラを示す。ここで、照明光の水平方向の区分としては、図６の（Ａ）に示すように、順光、側光（左、右）、逆光、リムライト（左、右）、レンブラントライト（左、右）に分けられる。順光は、最も効率的に明るさが得られる正面からの光である。側光は、立体感を強調することができるが、陰影が強く現れ、強いコントラストで強烈な印象が得られる光である。逆光は、輪郭を浮かび上がらすシルエット効果をつくることができ、幻想的効果をもたらす後方からの光である。リムライトは、立体感の強調や髪の毛のディテイルを出すために用いられる半逆光的な方向の光である。レンブラントライトは、顔の特徴を最も良く表現し美しく見せることができる４５度方向の光である。
【００５８】
また、照明光の垂直方向の区分としては、図６の（Ｂ）に示すように、順光、逆光、トップライト、あおり、レンブラントライトに分けられる。順光は、最も効率的に明るさが得られる正面からの光である。逆光は、輪郭を浮かび上がらすシルエット効果をつくることができ、幻想的効果をもたらす後方からの光である。トップライトは、人物を綺麗に見せるというより、特徴的な映像表現などのために用いられる被写体のほぼ真上からの光である。あおりは、特殊な効果の目的として用いられる被写体の前方下からの光である。レンブラントライトは、顔の特徴を最も良く表現し美しく見せることができる４５度方向の光である。
【００５９】
従って、本実施形態では、照明光方向（水平方向）情報として、各映像シーンの撮影時における照明の光の入射方向（水平方向）が、順光／側光（左）／側光（右）／逆光／リムライト（左）／リムライト（右）／レンブラントライト（左）／レンブラントライト（右）のいずれに属するかを示す３ビットの記述を、撮影照明データの中に含有している。また、照明光方向（垂直方向）情報として、各映像シーンの撮影時における照明の光の入射方向（垂直方向）が、順光／逆光／トップライト／あおり／レンブラントライトのいずれに属するかを示す３ビットの記述を、撮影照明データの中に含有している。
【００６０】
また、各ライティング種別毎に照明光の強度及び色度が決められるため、この照明光の強度及び色度に適応して、後述する視聴環境照明を制御することにより、表示映像シーンの臨場感を向上させることができる。ここでは、照明強度情報として、各映像シーンの撮影時における照明の光の強度が、非常に弱い／弱い／やや弱い／普通／やや強い／強い／非常に強いのいずれに属するかを示す３ビットの記述を、撮影照明データの中に含有している。また、照明色温度情報として、各映像シーンの撮影時における照明の光の色温度（Ｋ）が、1000／2000／3000／4000／5000／6000／7000／8000／9000／10000／11000／12000／13000／14000／15000／25000のいずれに属するかを示す４ビットの記述を、撮影照明データの中に含有している。
【００６１】
なお、撮影照明データに含まれる各種情報は上述したものに限定されないことは明らかである。例えば、撮影照明光の色温度を直接表わす照明色温度情報の代わりに、照明器具種別（ナトリウム灯／水銀灯／ＬＥＤ／蛍光灯／蝋燭／・・・／メタルハライドランプなど）情報や色変換フィルター（コンバージョンフィルター）種別情報などを記述しておき、これから撮影時における照明光の色温度を求めるようにしても良い。また、撮影照明光の色温度に限らず、色度を直接表わす情報を記述するようにしてもよいことは言うまでもない。
【００６２】
また、上述した撮影照明データは、台本（シナリオもしくは脚本とも呼ぶ）に基づいて作成され、映像撮影現場で用いられるライティングプランなどを利用して生成することができ、この場合、新たに撮影照明データを作成する作業を省くことが可能となる。
【００６３】
図７は映像の構成要素を説明するための図で、以下に図７を参照して、シーンやショットを含む映像の構成について説明する。連続する動画像を構成する映像データは、図７に示すように、３層（レイヤ）構成に分けて考えることができる。映像(Ｖｉｄｅｏ)を構成する第１レイヤ（＃１）は、フレーム（Ｆｒａｍｅ）である。フレームは物理的なレイヤであり、単一の２次元画像を指す。フレームは、通常、毎秒３０フレームのレートで得られる。第２レイヤ（＃２）はショット（Ｓｈｏｔ）である。ショットは単一のカメラにより撮影されたフレーム列である。そして、第３レイヤ（＃３）がシーン（Ｓｃｅｎｅ）である。シーンはストーリー的なつながりを有するショット列である。
【００６４】
ここでは、映像データのフレーム単位やショット単位、或いはシーン単位で、上述した撮影照明データを付加することができる。最低限、シーン単位で撮影照明データを付加すれば、後述する視聴環境照明の制御を効率良く実現することが可能となるが、フレーム単位で撮影照明データを付加した場合、より細やかな視聴環境照明の制御を行うことができる。例えば、映像制作者（脚本家や演出家など）の意図に応じて、特定のフレーム（シーン切替フレームなど）に対してのみ撮影照明データが付加されるようにしてもよい。
【００６５】
また、各ショット単位で撮影照明データを付加することにより、例えば、同一シーン内であっても屋内と屋外のショットが含まれるような場合にも、適切な視聴環境照明の制御を実現することが可能となる。その他にも、映像データのランダムアクセスの単位となるＧＯＰ（Group of Picture）単位等で撮影照明データを付加するように構成してもよい。
【００６６】
次に、上記映像送信装置より送出された放送データを受信して、映像・音声を表示・再生するとともに、そのときの視聴環境照明を制御する映像受信装置（データ受信装置）について説明する。
【００６７】
図８は、本発明の第１実施形態に係る視聴環境制御システムにおける映像受信装置の要部概略構成を示すブロック図で、本実施形態における映像受信装置は、図８に示すように、伝送路より入力された放送データを受信して復調するとともに、誤り訂正を行う受信部２１と、受信部２１の出力データから、映像表示装置２５に出力する映像データ、音声再生装置２６に出力する音声データ、及び、付加情報としての撮影照明データのそれぞれを分離・抽出するデータ分離部２２と、データ分離部２２で分離された撮影照明データを受けて、前記映像データを構成する各シーンの場面設定（雰囲気）に適応した照明に関する制御データを出力するＣＰＵ２３と、ＣＰＵ２３からの出力制御データに応じた照明制御データ（ＲＧＢデータ）を、視聴環境空間を照明する照明装置２７に出力する照明制御データ生成部２４とを備えている。
【００６８】
ここで、照明装置２７は、映像表示装置２５の周囲に設置されて、所定の色相をもった例えばＲＧＢの三原色の光を発光するＬＥＤにより構成することができる。ただし、照明装置２７は、映像表示装置２５の周囲環境の照明色及び明るさを制御できるような構成であればよく、上記のような所定色を発光するＬＥＤの組み合わせに限ることなく、白色ＬＥＤと色フィルタとによって構成してもよく、あるいは白色電球や蛍光管とカラーフィルタとの組み合わせやカラーランプ等を適用することもできる。また、照明装置２７は１個以上設置されていればよい。
【００６９】
本実施形態では、図９に示すように、映像表示装置２５が設置された視聴環境空間に、それぞれが独立制御可能な６２個（ＩＤ１〜ＩＤ６２）の照明装置２７が設けられているものとする。それぞれの照明装置にはＩＤが付与されており、ここでは、ＩＤ１〜ＩＤ８の照明装置は映像表示装置２５の左側壁を上方より照射するもの、ＩＤ９〜ＩＤ１８の照明装置は映像表示装置２５の後背壁を上方より照射するもの、ＩＤ１９〜ＩＤ２６の照明装置は映像表示装置２５の右側壁を上方より照射するもの、ＩＤ２７〜ＩＤ３４の照明装置は映像表示装置２５の左側壁を下方より照射するもの、ＩＤ３５〜ＩＤ４４の照明装置は映像表示装置２５の後背壁を下方より照射するもの、ＩＤ４５〜ＩＤ５２の照明装置は映像表示装置２５の右側壁を下方より照射するもの、ＩＤ５３〜ＩＤ６２の照明装置は映像表示装置２５の天井壁を照射するものとして、６２個の照明装置が配設されている。
【００７０】
ＣＰＵ２３は、図５とともに説明した撮影照明データから、各シーンの撮影時における照明環境を、照明装置２７による視聴環境照明によって再現すべく、各照明装置のＩＤ毎に照明光の強度及び色温度（黒体軌跡上の一点）を決定し、これを制御データとして照明制御データ生成部２４へ出力する。本実施形態においては、撮影照明データに含まれる各種情報に基づいて、例えば、図１０の（Ａ）に示すように、照明強度を７段階で示すとともに、図１０の（Ｂ）に示すように、照明色温度を１６段階で示す制御データを各照明装置のＩＤ毎に生成する。なお、ＣＰＵ２３は、各ライティング種別毎の照明状況に関する情報を足し合わせて、撮影時における照明環境を再現すべく、各照明装置のＩＤ毎の制御データを生成する。
【００７１】
ここで、黒体はエネルギーを完全に吸収する理想的な物体をさしており、温度が上昇すると発する光の色が赤→黄→白と変化する。このときの絶対温度を色温度という。この色温度と色の軌跡(黒体軌跡)をｘｙ色度図上で表すと、図１１のようになる。光源の色が黒体軌跡上にない場合、完全に一致しないが最も近似の黒体の温度を「相関色温度」という。一般的に相関色温度は黒体軌跡からの偏差(Δｕｖ)と共に表される。
【００７２】
照明制御データ生成部２４は、図１０の（Ｃ）に示すように、ＣＰＵ２３からの制御データ（強度、色温度）に応じたＲＧＢデータを生成して、照明装置２７に出力する。すなわち、各照明装置ＩＤ毎のＲＧＢデータが、対応するＩＤの照明装置に出力されることにより、表示映像の撮影時における照明状況に応じた、最適な視聴環境の照明制御を実現することが可能となる。すなわち、ＣＰＵ２３には、各照明装置の設置位置（映像表示装置の表示画面に対する相対位置）に関する情報が予め登録されており、この位置情報と撮影照明データとを用いて、撮影時における照明環境を再現すべく、各照明装置に対する制御データを生成する。
【００７３】
例えば、照明性質情報がスポットライト（点光源）である場合は、その照明光の入射方向に位置するＩＤの照明装置を中心としたＮ個の照明装置によって、所定の強度及び色温度の照明光を照射する。また、照明性質情報がフラッドライト（面光源）である場合は、その照明光の入射方向に位置するＩＤの照明装置を含む広範囲のＭ（Ｍ≫Ｎ）個の照明装置によって、所定の強度及び色温度の照明光を照射する。
【００７４】
また、撮影照明光の入射方向と対応する照明装置ＩＤとの関係例は、例えば、図１２に示すようになる。すなわち、図１２の（Ａ）において、水平方向の照明光の方向が順光であり、垂直方向の照明光の方向があおり以外の場合、この照明光を再現するには、ＩＤ９〜ＩＤ１８の照明装置を用いる。また、水平方向の照明光の方向が側光（左）であり、垂直方向の照明光の方向があおり以外の場合、この照明光を再現するには、ＩＤ１〜ＩＤ８の照明装置を、水平方向の照明光の方向が側光（右）であり、垂直方向の照明光の方向があおり以外の場合、この照明光を再現するには、ＩＤ１９〜ＩＤ２６の照明装置を用いる。
【００７５】
さらに、水平方向の照明光の方向が逆光であり、垂直方向の照明光の方向があおり以外の場合、この照明光を再現するには、ＩＤ５〜ＩＤ２２の照明装置を、水平方向の照明光の方向がリムライト（左）であり、垂直方向の照明光の方向があおり以外の場合、この照明光を再現するには、ＩＤ９〜ＩＤ１３の照明装置を、水平方向の照明光の方向がリムライト（右）であり、垂直方向の照明光の方向があおり以外の場合、この照明光を再現するには、ＩＤ１４〜ＩＤ１８の照明装置を用いる。
【００７６】
そしてまた、水平方向の照明光の方向がレンブラントライト（左）であり、垂直方向の照明光の方向があおり以外の場合、この照明光を再現するには、ＩＤ５〜ＩＤ１１の照明装置を、水平方向の照明光の方向がレンブラントライト（右）であり、垂直方向の照明光の方向があおり以外の場合、この照明光を再現するには、ＩＤ１６〜ＩＤ２２の照明装置を用いる。
【００７７】
また、水平方向の照明光の方向が順光であり、垂直方向の照明光の方向があおりの場合、この照明光を再現するには、図１２の（Ｂ）に示すように、ＩＤ３５〜ＩＤ４４の照明装置を、水平方向の照明光の方向が側光（左）であり、垂直方向の照明光の方向があおりの場合、この照明光を再現するには、ＩＤ２７〜ＩＤ３４の照明装置を、水平方向の照明光の方向が側光（右）であり、垂直方向の照明光の方向があおりの場合、この照明光を再現するには、ＩＤ４５〜ＩＤ５２の照明装置を用いる。
【００７８】
さらに、水平方向の照明光の方向が逆光であり、垂直方向の照明光の方向があおりの場合、この照明光を再現するには、ＩＤ３１〜ＩＤ４８の照明装置を、水平方向の照明光の方向がリムライト（左）であり、垂直方向の照明光の方向があおりの場合、この照明光を再現するには、ＩＤ３５〜ＩＤ３９の照明装置を、水平方向の照明光の方向がリムライト（右）であり、垂直方向の照明光の方向があおりの場合、この照明光を再現するには、ＩＤ４０〜ＩＤ４４の照明装置を用いる。
【００７９】
そしてまた、水平方向の照明光の方向がレンブラントライト（左）であり、垂直方向の照明光の方向があおりの場合、この照明光を再現するには、ＩＤ３１〜ＩＤ３７の照明装置を、水平方向の照明光の方向がレンブラントライト（右）であり、垂直方向の照明光の方向があおりの場合、この照明光を再現するには、ＩＤ４２〜ＩＤ４８の照明装置を用いる。
【００８０】
また、水平方向の照明光の方向に関わらず、垂直方向の照明光の方向がトップライトの場合、図１２の（Ｃ）に示すように、この照明光を再現するには、ＩＤ５３〜ＩＤ６２の照明装置を用いる。このように、映像表示装置２５の上下左右に配置された複数の照明装置を、撮影照明データに基づいて独立制御することにより、撮影現場の照明状況をきめ細かく再現して、映像視聴時の臨場感を増大させることが可能となる。
【００８１】
次に、図１３を参照して、撮影照明データに応じた具体的な照明制御例について説明する。図１３は、図１とともに説明した映像シーンに対応した撮影照明データであり、この映像シーンは、照明光源の性質がスポットライト（点光源）、水平方向の照明光の入射方向が順光、垂直方向の照明光の入射方向がトップライト、照明強度は強く、照明色温度は約6000Kのキーライト（太陽光）のみの照明状況下で撮影されたことを示している。
【００８２】
ＣＰＵ２３は、この撮影照明データに基づいて、映像表示装置２５の後背壁を上方より照射するＩＤ９〜ＩＤ１８の照明装置と、映像表示装置２５の天井壁を照射するＩＤ５３〜ＩＤ６２の照明装置とによって、照明強度が強く、照明色温度が約6000K（図１１のｘｙ色度図上、（ｂ）点で示す）の照明光を照射するように照明装置２７を制御する制御データを生成する。
【００８３】
照明制御データ生成部２４は、ＣＰＵ２３からの制御データを受けて、図１４に示すような照明制御データ（ＲＧＢデータ）を出力する。これによって、図１５に示すように、照明装置のＩＤ９〜ＩＤ１８及びＩＤ５３〜ＩＤ６２から光が照射され、映像表示装置２５の後背壁及び天井を適切な照明光により照射して、上述した表示映像シーンの撮影時における照明環境を視聴空間に再現することが可能となり、映像視聴時の臨場感を増大させることができる。
【００８４】
また、図１６は図２とともに説明した映像シーンに対応した撮影照明データであり、この映像シーンは、照明光源の性質がフラッドライト（面光源）、水平方向の照明光の入射方向が順光、垂直方向の照明光の入射方向がトップライト、照明強度が普通、照明色温度が約7000Kであるキーライト（上段）と、照明光源の性質がフラッドライト（面光源）、水平方向の光の入射方向がレンブラントライト（左）、垂直方向の光の入射方向があおり、照明強度が弱く、照明色温度が約7000Kであるフィルライト（中段）と、照明光源の性質がスポットライト（点光源）、水平方向の光の入射方向が側光（右）、垂直方向の光の入射方向が順光、照明強度がやや弱く、照明色温度が約5000Kであるタッチライト（下段）とによる照明状況下で撮影されたことを示している。
【００８５】
ＣＰＵ２３は、この撮影照明データに基づいて、映像表示装置２５の後背壁を上方より照射するＩＤ９〜ＩＤ１８の照明装置と、映像表示装置２５の天井壁を照射するＩＤ５３〜ＩＤ６２の照明装置とによって、照明強度が普通、照明色温度が約7000K（図１１のｘｙ色度図上、（ｃ）点で示す）の照明光を照射し、映像表示装置２５の右側壁を上方から照射するＩＤ１９〜ＩＤ２６の照明装置によって、照明強度が弱く、照明色温度が約7000K（図１１のｘｙ色度図上、（ｃ）点で示す）の照明光を照射するとともに、映像表示装置２５の左側壁を下方から照射するＩＤ３１〜ＩＤ３７の照明装置によって、照明強度がやや弱く、照明色温度が約5000K（図１１のｘｙ色度図上、（ａ）点で示す）の照明光を照射するように照明装置２７を制御する制御データを生成する。
【００８６】
照明制御データ生成部２４は、ＣＰＵ２３からの制御データを受けて、図１７に示すような照明制御データ（ＲＧＢデータ）を出力する。これによって、図１８に示すように、映像表示装置２５の天井、後背壁及び左右の側壁を適切な照明光により照射して、上述した表示映像シーンの撮影時における照明環境を視聴空間に再現することが可能となり、映像視聴時の臨場感を増大させることができる。
【００８７】
上記のように、本実施形態においては、映像データとともに撮影照明データとして入力された各種情報内容から、各シーンの撮影時における照明状況（雰囲気）を適切に再現すべく照明制御データを求め、照明装置２７の照明光を制御することが可能である。従って、映像内容の影響を受けることなく、自然で違和感のない視聴環境照明を実現することができ、映像視聴時の臨場感を増大させることが可能となる。
【００８８】
なお、本実施形態においては、各シーンの撮影時照明状況に関する撮影照明データを送受信するようにしているので、多様な視聴環境空間に適応した視聴環境照明制御を行うことが可能である。すなわち、照明装置の数や配置状況などの視聴空間／照明装置に関する情報を予めＣＰＵ２３に入力しておくことにより、受信した撮影照明データから個々の映像視聴空間に応じた適切な制御データを生成することができる。
【００８９】
また、照明装置が１個のみの場合や、複数の照明装置の独立制御が不可能な場合は、例えば、キーライトに関する情報のみを用いて、視聴環境照明の制御を行うようすればよい。このように、受信した撮影照明データを視聴空間／照明装置に応じて適宜選択／加工し、視聴環境照明を制御することにより、最適な映像視聴空間を実現することができる。この場合、撮影照明データは、キーライト、フィルライト、タッチライト、ベースライトのそれぞれに関する照明状況情報を、階層構造を持ったデータ構成として送受信するようにすれば、必要な情報を容易に選択／加工することが可能である。
【００９０】
さらに、上記本発明の第１の実施形態においては、放送データに含まれる撮影照明データのみを用いて、視聴環境照明を制御するものについて説明したが、より適切な視聴環境照明の制御を実現するために、撮影照明データに加えて、映像データ及び／又は音声データも用いて、視聴環境照明を制御する構成としてもよい。これについて、本発明の第２の実施形態として、以下に説明する。
【００９１】
以下、本発明の視聴環境制御システムの第２実施形態について、図１９乃至図２１とともに詳細に説明するが、上記第１の実施形態と同一部分には同一符号を付し、その説明は省略する。ここで、図１９は本実施形態の視聴環境制御システムにおける映像受信装置の要部概略構成を示すブロック図、図２０は図１９における照明制御データ生成部を示すブロック図、図２１は本実施形態の視聴環境制御システムにおける照明光の色再現範囲を表わす説明図である。
【００９２】
本実施形態における映像送信装置（データ送信装置）は、図３とともに説明した第１実施形態のものと同様であり、ここではその説明を省略する。
【００９３】
本実施形態における映像受信装置（データ受信装置）は、図１９に示すように、伝送路より入力された放送データを受信して復調するとともに、誤り訂正を行う受信部２１と、受信部２１の出力データから、映像表示装置２５に出力する映像データとＴＣ（タイムコード）、音声再生装置２６に出力する音声データとＴＣ（タイムコード）、付加情報としての撮影照明データのそれぞれを分離・抽出するデータ分離部２２と、データ分離部２２で分離された撮影照明データを受けて、前記映像データを構成する各シーンの撮影時における照明状況に適応した制御データを出力するＣＰＵ３３と、ＣＰＵ３３からの制御データに応じた照明制御データ（ＲＧＢデータ）を、視聴環境空間を照明する照明装置２７に出力する照明制御データ生成部３４と、照明制御データ生成部３４における処理時間分だけ映像データ、音声データ、制御データを遅延して出力するディレイ発生部３５，３６，３７とを備えている。
【００９４】
ここで、本実施形態のＣＰＵ３３は、撮影照明データに基づいて、各照明装置ＩＤ毎に照明光の強度及び色温度（黒体軌跡上の一点）を求め、該色温度を含む所定の色範囲を示す情報（図２１のｘｙ色度図上、一点鎖線で示す範囲を表わす関数）を決定し、これらを制御データとして出力する。そして、照明制御データ生成部３４では、映像データ、音声データに基づいて求めた場（雰囲気）推定結果が、撮影照明データに基づいて求められた色範囲内に収まるように補正し、照明制御データ（ＲＧＢデータ）を出力する。
【００９５】
なお、タイムコード（ＴＣ）は、映像データ、音声データそれぞれの再生時間情報を示すために付加された情報であり、例えば、映像データの時間（ｈ）：分（ｍ）：秒（ｓ）：フレーム（ｆ）を示す情報により構成されている。
【００９６】
本実施形態の照明制御データ生成部３４は、図２０に示すように、撮影照明データに基づいて、シーン区間の開始点ＴＣ、終了点ＴＣを検出するシーン区間検出部４１と、シーン区間の開始点ＴＣから所定時間分の映像データ及び音声データに基づいて、撮影現場の照明状態や場面設定（雰囲気）を推定する場（雰囲気）推定部４２と、場（雰囲気）推定部４２による推定結果とＣＰＵ３３より出力された制御データとから、照明装置２７を制御する照明制御データを出力する照明制御部４３とを備えている。
【００９７】
場（雰囲気）推定部４２による撮影時の周囲光の状態の推定方法は、公知のものをはじめとする各種の技術を用いることができる。なお、ここでは、各シーンの場（雰囲気）の推定のために映像データの特徴量に加えて、音声データの特徴量も用いているが、これは場（雰囲気）の推定精度をより向上させるためであり、映像データの特徴量のみから撮影シーンの場（雰囲気）を推定するようにしてもよい。
【００９８】
また、映像データの特徴量としては、例えば、上述した従来例のように、画面の所定領域における色信号、輝度信号をそのまま用いることもできるし、これらから映像撮影時における周囲光の色温度を求めて用いてもよい。さらに、これらを映像データの特徴量として切替出力可能に構成してもよい。また、音声データの特徴量としては、音量、音声周波数などを用いることができる。
【００９９】
この場（雰囲気）推定部４２は、映像データ、音声データの特徴量に基づいて、撮影時の周囲光の色、明るさを推定するものであるが、ここで推定された周囲光の色が、撮影照明データより求められた所定の色範囲外にある場合は、照明制御部４３により補正されて、各シーンの撮影時における照明状況に適した照明制御データを得ることが可能となっている。
【０１００】
例えば、場（雰囲気）推定部４２による周囲光の色の推定結果が、図２１のｘｙ色度図上の（Ａ）点であり、ＣＰＵ３３より出力される制御データが示す照明色温度が図２１のｘｙ色度図上の（ａ）点を示している場合、照明制御部４３は、ｘｙ色度図上の（Ａ）点と（ａ）点とを結ぶ直線と、（ａ）点を中心とした色範囲を示す関数（図２１のｘｙ色度図上、一点鎖線で示した楕円形を表わす関数）との交点（Ａ’）を求め、これを視聴環境照明光の色とする。
【０１０１】
同様に、場（雰囲気）推定部４２による周囲光の色の推定結果が、図２１のｘｙ色度図上の（Ｂ）点であり、ＣＰＵ３３より出力される制御データが示す照明色温度が図２１のｘｙ色度図上の（ｃ）点を示している場合、照明制御部４３は、ｘｙ色度図上の（Ｂ）点と（ｃ）点とを結ぶ直線と、（ｃ）点を中心とした色範囲を示す関数（図２１のｘｙ色度図上、一点鎖線で示した楕円形を表わす関数）との交点（Ｂ’）を求め、これを視聴環境照明光の色とする。
【０１０２】
また、場（雰囲気）推定部４２による周囲光の明るさの推定結果についても、ＣＰＵ３３より出力される制御データが示す照明強度に応じて適切に補正される。なお、場（雰囲気）推定部４２による周囲光の推定結果が、撮影照明データより求められた所定の照明範囲内にある場合は、場（雰囲気）推定部４２による周囲光の推定結果を、そのまま照明制御データとして照明装置２７に出力する。
【０１０３】
また、ここでは、ｘｙ色度図上で、場（雰囲気）推定部４２による推定結果とＣＰＵ３３より出力される制御データが示す照明色温度とを結ぶ直線と、ＣＰＵ３３より出力される制御データが示す色範囲を表わす関数との交点から、照明装置２７に出力する照明制御データを求めるようにしているが、これに限られないことは明らかである。例えば、ｘｙ色度図上で、場（雰囲気）推定部４２による推定結果までの距離が最小となる所定の色範囲内の点や、場（雰囲気）推定部４２による推定結果との色差ΔＥが最小となる所定の色範囲内の点から、照明制御データを求めるようにしてもよい。
【０１０４】
また、単に場（雰囲気）推定部４２による推定結果とＣＰＵ３３より出力される制御データが示す照明色温度及び照明強度との平均値や加重平均値を、照明装置２７に出力する照明制御データとするようにしてもよい。なお、上述の照明制御データが照明装置のＩＤ毎に生成されることは、言うまでもない。
【０１０５】
以上のように、本実施形態においては、撮影照明データと映像データ及び／又は音声データとを用いて、視聴環境照明を制御する構成としているので、撮影照明データからだけでは推定することが困難な照明環境に対しても、映像データ及び／又は音声データの特徴量に基づいた場（雰囲気）の推定結果を用いることで、より正確な照明環境を推定することができ、より適切な照明制御を行うことが可能になるとともに、映像データ及び／又は音声データの特徴量に基づいた場（雰囲気）の推定誤りによって、臨場感や雰囲気を阻害するような照明制御がなされることを抑制し、常に最適な視聴環境を実現することが可能となる。
【０１０６】
また、本実施形態によれば、撮影照明データに基づいてシーン区間を検出するシーン区間検出部４１を設け、シーン単位で照明制御データを切替制御する構成としているので、同じシーン内で視聴環境照明が激しく変化して臨場感を損なってしまうことを防止することができる。
【０１０７】
また、本実施形態においては、撮影照明データに基づいて、照明光の色温度を含む所定の色範囲を示す情報（図２１のｘｙ色度図上、一点鎖線で示す範囲を表す関数）を決定しているが、この所定の色範囲の大きさは、ユーザが任意に可変設定できるようにしてもよい。すなわち、所定の色範囲を大きく設定すれば、より画面の広がりを再現する効果が得られ、所定の色範囲を小さく設定すれば、より撮影時における照明環境を再現する効果が得られるため、ユーザがいずれの照明効果を重視するかによって、撮影照明データより求められる色範囲の大きさを可変設定すればよい。
【０１０８】
さらに、画面の広がりを再現する効果と撮影時における照明環境を再現する効果とのいずれが望ましいかは、映像表示装置２５で表示する映像コンテンツによっても異なるため、この映像コンテンツの種別（例えばジャンル）の判別結果に応じて、撮影照明データより求められる所定の色範囲の大きさを可変設定できるようにしてもよい。
【０１０９】
なお、上記本発明の第１、第２の実施形態においては、撮影照明データが放送データに多重付加されて送信される場合について説明したが、放送データに撮影照明データが付加されていない場合、表示する映像データに対応する撮影照明データを外部サーバ装置等より送受信することによって、映像の撮影時照明状況に応じた最適な視聴環境を実現することが可能となる。これについて、以下に説明する。
【０１１０】
以下、本発明の視聴環境制御システムの第３実施形態について、図２２乃至図２７とともに詳細に説明するが、上記第１の実施形態と同一部分には同一符号を付し、その説明は省略する。ここで、図２２は本実施形態の視聴環境制御システムにおける外部サーバ装置の要部概略構成を示すブロック図、図２３乃至図２６は本実施形態の視聴環境制御システムにおける撮影照明データ格納テーブルの一例を示す説明図、図２７は本実施形態の視聴環境制御システムにおける映像受信装置の要部概略構成を示すブロック図である。
【０１１１】
本実施形態における外部サーバ装置（データ送信装置）は、図２２に示すように、映像受信装置（データ受信装置）側から特定の映像データ（コンテンツ）に関する撮影照明データの送信要求を受信する受信部５１と、映像データ（コンテンツ）毎の撮影照明データを格納しているデータ格納部５２と、送信要求を受けた撮影照明データを要求元の映像受信装置（データ受信装置）へ送信する送信部５３とを備えている。
【０１１２】
ここで、本実施形態のデータ格納部５２に格納されている撮影照明データは、図２３乃至図２６に示すように、各映像シーンのシーン番号、シーン開始タイムコードに対応付けてテーブル形式に記述されており、送信要求を受けた映像データ（番組コンテンツ）に対応する撮影照明データを、当該映像データを構成する各シーンのシーン番号、シーン開始ＴＣ（タイムコード）とともに、送信部５３より要求元の映像受信装置へ送信する。
【０１１３】
なお、ここでは、多様な視聴環境空間に対応するため、図２３に示すようなキーライトに関する情報のみを記述したデータテーブルと、図２４に示すようなキーライト及びフィルライトに関する情報を記述したデータテーブルと、図２５に示すようなキーライト、フィルライト及びタッチライトに関する情報を記述したデータテーブルと、図２６に示すようなキーライト、フィルライト、タッチライト及びベースライトに関する情報を記述したデータテーブルとの４種類の撮影照明データテーブルを用意しておき、映像受信装置からの送信要求に応じて、これらのいずれかを映像受信装置に送信するようにしている。
【０１１４】
ただし、図２６に示すようなキーライト、フィルライト、タッチライト及びベースライトに関する情報を記述したデータテーブルのみを用意しておき、映像受信装置からの送信要求に応じて、必要なデータのみを選択／加工して映像受信装置に送信するようにしてもよい。
【０１１５】
次に、上記外部サーバ装置より送出された撮影照明データを受けて、視聴環境照明を制御する映像受信装置（データ受信装置）について説明する。本実施形態における映像受信装置は、図２７に示すように、伝送路より入力された放送データを受信して復調するとともに、誤り訂正を行う受信部６１と、受信部６１の出力データから、映像表示装置２５に出力する映像データ、音声再生装置２６に出力する音声データのそれぞれを分離・抽出するデータ分離部６２と、表示する映像データ（コンテンツ）に対応した撮影照明データの送信要求を、通信ネットワークを介して外部サーバ装置（データ送信装置）に送出する送信部６５と、前記送信要求した撮影照明データを、通信ネットワークを介して外部サーバ装置より受信する受信部６６とを備えている。
【０１１６】
また、前記受信部６６で受信した撮影照明データを記憶し、映像データの各シーンの表示タイミングに同期して、当該映像シーンの撮影照明データから求められた各照明装置ＩＤ毎の照明強度及び色温度に関する制御データを出力するＣＰＵ６３と、ＣＰＵ６３からの出力制御データに応じた照明制御データ（ＲＧＢデータ）を、視聴環境空間を照明する照明装置２７に出力する照明制御データ生成部２４とを備えている。
【０１１７】
すなわち、ＣＰＵ６３は、外部サーバ装置より受信して内部に記憶している撮影照明データ格納テーブルの各シーンの開始タイムコードと、映像表示装置２５に表示される映像データのタイムコードとを比較し、これらが一致した時に対応する撮影照明データを読み出し、この撮影照明データから表示映像シーンの場面設定（雰囲気）に適応した制御データを出力することができる。
【０１１８】
これによって、放送データに撮影照明データが付加されていない場合であっても、表示映像データ（番組コンテンツ）に対応する撮影照明データを外部サーバ装置より入手し、この撮影照明データに基づいて照明制御データを生成することでき、しかも簡単な構成で映像シーンの表示切替わりタイミングと視聴環境照明の切替えタイミングとを同期させることができるので、映像の撮影時照明状況に応じた最適な視聴環境を実現することが可能となる。
【０１１９】
なお、上記本発明の第３の実施形態においては、外部サーバ装置より受信した撮影照明データのみを用いて、視聴環境照明を制御するものについて説明したが、より適切な視聴環境照明の制御を実現するために、撮影照明データに加えて、映像データ及び／又は音声データも用いて、視聴環境照明を制御する構成としてもよい。これについて、本発明の第４の実施形態として、以下に説明する。
【０１２０】
以下、本発明の視聴環境制御システムの第４実施形態について、図２８及び図２９とともに詳細に説明するが、上記第２、第３の実施形態と同一部分には同一符号を付し、その説明は省略する。ここで、図２８は本実施形態の視聴環境制御システムにおける映像受信装置の要部概略構成を示すブロック図、図２９は図２８における照明制御データ生成部を示すブロック図である。
【０１２１】
本実施形態における外部サーバ装置（データ送信装置）は、図２２とともに上述した第３実施形態のものと同様であり、ここではその説明を省略する。
【０１２２】
本実施形態における映像受信装置（データ受信装置）は、図２８に示すように、伝送路より入力された放送データを受信して復調するとともに、受信部６１と、受信部６１の出力データから、映像表示装置２５に出力する映像データ、音声再生装置２６に出力する音声データのそれぞれを分離・抽出するデータ分離部６２と、表示する映像データ（コンテンツ）に対応した撮影照明データの送信要求を、通信ネットワークを介して外部サーバ装置（データ送信装置）に送出する送信部６５と、前記送信要求した撮影照明データを、通信ネットワークを介して外部サーバ装置より受信する受信部６６とを備えている。
【０１２３】
また、前記受信部６６で受信した撮影照明データを記憶し、映像データの各シーンの出力タイミングに同期して、当該映像シーンの撮影照明データから求められた各照明装置ＩＤ毎の照明強度及び色温度、色範囲に関する制御データ、及びシーン開始点タイムコードを出力するＣＰＵ７３と、ＣＰＵ７３からの出力制御データに応じた照明制御データ（ＲＧＢデータ）を、視聴環境空間を照明する照明装置２７に出力する照明制御データ生成部７４と、照明制御データ生成部７４における処理時間分だけ映像データ、音声データ、制御データを遅延して出力するディレイ発生部３５，３６，３７とを備えている。
【０１２４】
ここで、本実施形態のＣＰＵ７３は、撮影照明データに基づいて、各照明装置ＩＤ毎に照明光の強度及び色温度（黒体軌跡上の一点）を求め、該色温度を含む所定の色範囲を示す情報（図２１のｘｙ色度図上、一点鎖線で示す範囲を表わす関数）を決定し、これらを制御データとして出力する。そして、照明制御データ生成部７４では、映像データ、音声データに基づいて求めた場（雰囲気）推定結果が、撮影照明データに基づいて求められた色範囲内に収まるように補正し、照明制御データ（ＲＧＢデータ）を出力する。
【０１２５】
本実施形態の照明制御データ生成部７４は、図２９に示すように、ＣＰＵ７３からのシーン開始点ＴＣから所定時間分の映像データ及び音声データに基づいて、撮影現場の照明状態や場面設定（雰囲気）を推定する場（雰囲気）推定部８２と、場（雰囲気）推定部８２による推定結果とＣＰＵ７３より出力された制御データとから、照明装置２７を制御する照明制御データを出力する照明制御部４３とを備えている。
【０１２６】
この場（雰囲気）推定部８２は、映像データ、音声データの特徴量に基づいて、撮影時の周囲光の色、明るさを推定するものであるが、ここで推定された周囲光の色が、撮影照明データより求められた所定の色範囲外にある場合は、照明制御部４３により補正されて、各シーンの撮影時における照明状況に適した照明制御データを得ることが可能となっている。
【０１２７】
以上のように、本実施形態においては、放送データに撮影照明データが付加されていない場合であっても、表示映像データ（番組コンテンツ）に対応する撮影照明データを外部サーバ装置より入手し、この撮影照明データと映像データ及び／又は音声データとを用いて、視聴環境照明を制御する構成としているので、撮影照明データに加えて映像データ及び／又は音声データの特徴量に基づいた場（雰囲気）の推定結果を考慮した照明制御を行うことが可能になるとともに、映像データ及び／又は音声データの特徴量に基づいた場（雰囲気）の推定誤りによって、臨場感や雰囲気を阻害するような照明制御がなされることを抑制し、常に最適な視聴環境を実現することが可能である。
【０１２８】
また、本実施形態によれば、撮影照明データ格納テーブルのシーン開始タイムコードに基づいて、シーン単位で照明制御データを切替制御する構成としているので、同じシーン内で視聴環境照明が激しく変化して臨場感を損なってしまうことを防止することができる。
【０１２９】
また、本実施形態においては、撮影照明データに基づいて、照明光の色温度を含む所定の色範囲を示す情報（図２１のｘｙ色度図上、一点鎖線で示す範囲を表す関数）を決定しているが、この所定の色範囲の大きさは、ユーザが任意に可変設定できるようにしてもよい。すなわち、所定の色範囲を大きく設定すれば、より画面の広がりを再現する効果が得られ、所定の色範囲を小さく設定すれば、より撮影時における照明環境を再現する効果が得られるため、ユーザがいずれの照明効果を重視するかによって、撮影照明データより求められる色範囲の大きさを可変設定すればよい。
【０１３０】
さらに、画面の広がりを再現する効果と撮影時における照明環境を再現する効果とのいずれが望ましいかは、映像表示装置２５で表示する映像コンテンツによっても異なるため、この映像コンテンツの種別（例えばジャンル）の判別結果に応じて、撮影照明データより求められる所定の色範囲の大きさを可変設定できるようにしてもよい。
【０１３１】
なお、本発明の視聴環境制御装置、方法、及び視聴環境制御システムは、上述した本発明の主旨を逸脱しない範囲で、様々な実施形態により実現することが可能である。例えば、視聴環境制御装置は映像表示装置内に設けられてもよく、入力映像データに含まれる種々の情報に基づいて、外部の照明機器を制御することができるような構成としてもよいことは言うまでもない。
【０１３２】
また、上述した撮影照明データは、放送データから分離・取得する場合や、外部サーバ装置から取得する場合に限られず、例えば、外部機器（ＤＶＤ再生機やブルーレイディスク再生機など）で再生された映像情報を表示する場合、メディア媒体内に付加された撮影照明データを読み出して、これを用いるようにしてもよい。

Claims (27)

1. １以上のシーンから構成される映像データを送信するデータ送信装置において、
   各前記シーンの撮影時に用いられた１以上の照明装置それぞれの撮影照明データを、前記映像データに付加するデータ多重化部と、
   前記データ多重化部からの出力データを送信する送信部と
   を備えたことを特徴とするデータ送信装置。
2. 前記撮影照明データは、前記映像データのシーン単位で付加されることを特徴とする前記請求項１に記載のデータ送信装置。
3. 前記撮影照明データは、前記映像データのショット単位で付加されることを特徴とする前記請求項１に記載のデータ送信装置。
4. 前記撮影照明データは、前記映像データのフレーム単位で付加されることを特徴とする前記請求項１に記載のデータ送信装置。
5. 前記請求項１乃至４のいずれかに記載のデータ送信装置において、
   前記撮影照明データは、少なくとも各シーンの撮影に用いられた照明のライティング種別を表わす情報を含むことを特徴とするデータ送信装置。
6. 前記請求項１乃至５のいずれかに記載のデータ送信装置において、
   前記撮影照明データは、少なくとも各シーンの撮影に用いられた照明の性質を表わす情報を含むことを特徴とするデータ送信装置。
7. 前記請求項１乃至６のいずれかに記載のデータ送信装置において、
   前記撮影照明データは、少なくとも各シーンの撮影に用いられた照明の光の方向を表わす情報を含むことを特徴とするデータ送信装置。
8. 前記請求項１乃至７のいずれかに記載のデータ送信装置において、
   前記撮影照明データは、少なくとも各シーンの撮影に用いられた照明の光の強度を表わす情報を含むことを特徴とするデータ送信装置。
9. 前記請求項１乃至８のいずれかに記載のデータ送信装置において、
   前記撮影照明データは、少なくとも各シーンの撮影に用いられた照明の光の色度を表わす情報を含むことを特徴とするデータ送信装置。
10. 映像データを構成する各シーンの撮影時に用いられた１以上の照明装置それぞれの撮影照明データを格納するデータ格納部と、
    前記撮影照明データの送信要求を外部から受ける受信部と、
    前記受信部が前記送信要求を受信すると、前記撮影照明データを各シーンの開始タイミングとともに送信する送信部と
    を備えたことを特徴とするデータ送信装置。
11. 前記請求項１０に記載のデータ送信装置において、
    前記撮影照明データは、少なくとも各シーンの撮影に用いられた照明のライティング種別を表わす情報を含むことを特徴とするデータ送信装置。
12. 前記請求項１０又は１１に記載のデータ送信装置において、
    前記撮影照明データは、少なくとも各シーンの撮影に用いられた照明の性質を表わす情報を含むことを特徴とするデータ送信装置。
13. 前記請求項１０乃至１２のいずれかに記載のデータ送信装置において、
    前記撮影照明データは、少なくとも各シーンの撮影に用いられた照明の光の方向を表わす情報を含むことを特徴とするデータ送信装置。
14. 前記請求項１０乃至１３のいずれかに記載のデータ送信装置において、
    前記撮影照明データは、少なくとも各シーンの撮影に用いられた照明の光の強度を表わす情報を含むことを特徴とするデータ送信装置。
15. 前記請求項１０乃至１４のいずれかに記載のデータ送信装置において、
    前記撮影照明データは、少なくとも各シーンの撮影に用いられた照明の光の色度を表わす情報を含むことを特徴とするデータ送信装置。
16. 表示装置に表示すべき映像データと、該映像データを構成する各シーンの撮影時に用いられた１以上の照明装置それぞれの撮影照明データとを受信する受信手段と、
    前記撮影照明データに基づいて、前記表示装置の周辺に設置された照明装置の照明光を制御する制御手段と、を備えたことを特徴とする視聴環境制御装置。
17. 前記請求項１６に記載の視聴環境制御装置において、
    前記制御手段は、前記照明装置の照明光を前記映像データのシーン単位で切替制御することを特徴とする視聴環境制御装置。
18. 前記請求項１６又は１７に記載の視聴環境制御装置において、
    前記制御手段は、前記撮影照明データに加え、前記映像データの特徴量も用いて、前記照明装置の照明光を制御することを特徴とする視聴環境制御装置。
19. 前記請求項１６乃至１８のいずれかに記載の視聴環境制御装置において、
    前記撮影照明データは、少なくとも各シーンの撮影に用いられた照明のライティング種別を表わす情報を含むことを特徴とする視聴環境制御装置。
20. 前記請求項１６乃至１９のいずれかに記載の視聴環境制御装置において、
    前記撮影照明データは、少なくとも各シーンの撮影に用いられた照明の性質を表わす情報を含むことを特徴とする視聴環境制御装置。
21. 前記請求項１６乃至２０に記載の視聴環境制御装置において、
    前記撮影照明データは、少なくとも各シーンの撮影に用いられた照明の光の方向を表わす情報を含むことを特徴とする視聴環境制御装置。
22. 前記請求項１６乃至２１のいずれかに記載の視聴環境制御装置において、
    前記撮影照明データは、少なくとも各シーンの撮影に用いられた照明の光の強度を表わす情報を含むことを特徴とする視聴環境制御装置。
23. 前記請求項１６乃至２２のいずれかに記載の視聴環境制御装置において、
    前記撮影照明データは、少なくとも各シーンの撮影に用いられた照明の光の色度を表わす情報を含むことを特徴とする視聴環境制御装置。
24. 前記請求項１６乃至２３のいずれかに記載の視聴環境制御装置と、該視聴環境制御装置によって視聴環境照明光を制御される照明装置とを備えることを特徴とする視聴環境制御システム。
25. １以上のシーンから構成される映像データを送信するデータ送信方法において、
    各前記シーンの撮影時に用いられた１以上の照明装置それぞれの撮影照明データを、前記映像データに付加して送信することを特徴とするデータ送信方法。
26. 外部からの要求を受けて、映像データを構成する各シーンの撮影時に用いられた１以上の照明装置それぞれの撮影照明データを送信するデータ送信方法であって、
    前記撮影照明データを前記各シーンの開始タイミングとともに送信することを特徴とするデータ送信方法。
27. 表示装置に表示すべき映像データと、該映像データを構成する各シーンの撮影時に用いられた１以上の照明装置それぞれの撮影照明データとを受信し、
    前記撮影照明データに基づいて、前記表示装置の周辺に設置された照明装置の照明光を制御することを特徴とする視聴環境制御方法。

Images