Nothing Special   »   [go: up one dir, main page]

WO2007123008A1 - データ送信装置、データ送信方法、視聴環境制御装置、視聴環境制御システム、及び視聴環境制御方法 - Google Patents

データ送信装置、データ送信方法、視聴環境制御装置、視聴環境制御システム、及び視聴環境制御方法 Download PDF

Info

Publication number
WO2007123008A1
WO2007123008A1 PCT/JP2007/057760 JP2007057760W WO2007123008A1 WO 2007123008 A1 WO2007123008 A1 WO 2007123008A1 JP 2007057760 W JP2007057760 W JP 2007057760W WO 2007123008 A1 WO2007123008 A1 WO 2007123008A1
Authority
WO
WIPO (PCT)
Prior art keywords
illumination
data
photographing
scene
video
Prior art date
Application number
PCT/JP2007/057760
Other languages
English (en)
French (fr)
Inventor
Takuya Iwanami
Kenichiroh Yamamoto
Yasuhiro Yoshida
Takashi Yoshii
Original Assignee
Sharp Kabushiki Kaisha
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Kabushiki Kaisha filed Critical Sharp Kabushiki Kaisha
Priority to EP07741196A priority Critical patent/EP2018062A4/en
Priority to US12/297,552 priority patent/US20090109340A1/en
Priority to JP2008512063A priority patent/JP4950988B2/ja
Publication of WO2007123008A1 publication Critical patent/WO2007123008A1/ja

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4131—Peripherals receiving signals from specially adapted client devices home appliance, e.g. lighting, air conditioning system, metering devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43074—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of additional data with content streams on the same device, e.g. of EPG data or interactive icon with a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8126—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • H04N21/8133—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts specifically related to the content, e.g. biography of the actors in a movie, detailed information about an article seen in a video program
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10—Controlling the light source
    • H05B47/155—Coordinated control of two or more light sources

Definitions

  • Data transmission device data transmission method, viewing environment control device, viewing environment control system, and viewing environment control method
  • the present invention can control illumination light around a video display device when the video is displayed on the video display device in accordance with the atmosphere and scene setting of the shooting scene of the video.
  • the present invention relates to a data transmission device, a data transmission method, a viewing environment control device, a viewing environment control system, and a viewing environment control method.
  • the surrounding illumination light is adjusted to the display image. It is known to have a technology that provides viewing effects such as enhancing the sense of reality by adjusting the
  • a mixed light intensity ratio of three primary colors of a light source is calculated for each frame from a color signal (RG B) and a luminance signal (Y) of a display image of a color television,
  • RG B color signal
  • Y luminance signal
  • a light color variable illumination device that performs dimming control in conjunction with an image.
  • This variable light color illumination device extracts color signals (RGB) and luminance signals (Y) from display images on color televisions, and uses the color signals and luminance signals to generate three-color light (red light, green)
  • the appropriate dimming illuminance ratio (light, blue light) is calculated, the illuminance of the three-color light is set according to the illuminance ratio, and the three-color light is mixed and output as illumination light.
  • a television image is divided into a plurality of parts, and an average hue of the corresponding dividing unit is detected to control illumination around the dividing unit.
  • a video effect lighting apparatus to perform is disclosed.
  • This video effect lighting device includes illumination means for illuminating the surroundings of the installation location of the color television, divides the image displayed on the color television into a plurality of images, and displays an image corresponding to the portion illuminated by the illumination means. The average hue of the division part is detected, and the illumination means is controlled based on the detected hue.
  • Japanese Patent Laid-Open No. 3-184203 simply discloses the entire screen of the image display device.
  • the remaining part of the image displayed on the screen of the image display device without the average chromaticity and average brightness of the image is considered to be the background part, and the remaining part of the background part is considered as the background part.
  • the average chromaticity and brightness of the back wall of the image display device are calculated by taking out only the RGB signal and luminance signal of the pixel, and the chromaticity and brightness of the back wall of the image display device are the average chromaticity of the whole screen or background excluding human skin color. And a method for controlling the lighting so as to be equal to the average luminance.
  • a video scene is shot under a properly set lighting condition as a segmented video based on a series of scene settings, for example, by the intention of a video producer (screenwriter, director, etc.). Created. Therefore, it is desirable to irradiate the viewing space with illumination light according to the lighting conditions at the time of scene shooting of the displayed video in order to increase the presence and atmosphere when viewing the video.
  • the feature amount (color signal and luminance signal) for each frame (screen) in the video signal to be displayed is detected and the illumination light is controlled. Therefore, it is difficult to generate illumination light according to the scene condition of the video depending on the content of the displayed video. For example, if an inappropriate color illumination light is irradiated to the surroundings due to the influence of the clothes of the subject person included in the video signal or artifacts in the background of the subject, the atmosphere of each scene is reproduced. Or the realism of each scene cannot be maintained. In other words, the lighting environment power used when shooting each scene greatly detracts from the viewing environment lighting, which impairs the sense of reality.
  • the state of the illumination light changes according to the change of the luminance and hue of the video signal for each frame, and particularly when the degree of change of the luminance and hue between frames is large.
  • the illumination light changes in a complicated manner, causing the problem that the viewer feels uncomfortable with the flicker.
  • FIG. 1 is a diagram for explaining an example of a problem of illumination control according to the above conventional technique. That is, a part of a continuous moving image is shown.
  • a scene of an image taken with the scene setting is created in the outdoors and on a clear day.
  • This scene consists of images obtained by taking a series of camera work without switching the camera.
  • an image is taken of a skier sliding down from the top of the camera toward the vicinity of the camera. Skiers are dressed in red and the sky is clear.
  • this video scene is shot under sunlight (natural light) during sunny daytime in winter, and this sunlight is a key light.
  • the illumination of this key light is characterized by a spotlight (point light source), the incident direction of the horizontal illumination light is forward light, the incident direction of the vertical illumination light is top light, the illumination intensity is strong, and the illumination color temperature is about The picture was taken at 6000K under the lighting condition.
  • FIG. 2 is a diagram for explaining another example of the problem of the illumination control according to the conventional technique.
  • a scene of a video shot with the scene setting of moonlight night is created.
  • This scene consists of three shots (1, 2, 3) with different camerawork.
  • shot 1 the camera takes a long shot of the target ghost.
  • shot 2 the ghost was shot in an up shot.
  • shot 3 the camera returns to the shot 1 camera position again.
  • the illumination light source has a flood light (surface light source) property
  • the horizontal illumination light incident direction is forward light
  • the vertical illumination light The incident direction of the top light, the illumination intensity is normal
  • the nature of the illumination light source is a flood light (surface light source)
  • the horizontal light incident direction is a rembrandt light ( Left)
  • weak illumination intensity and illumination color temperature of about 7000K illumination light source property spotlight (point light source)
  • the incident light direction is side light (right)
  • the vertical light incidence direction is forward light
  • the illumination intensity is slightly weak
  • the touch light (lower stage) is about 5000K.
  • illumination light that does not take into account the lighting conditions at the time of shooting is generated and irradiated. This will disturb the viewer and make them uncomfortable. Also, if the illumination light becomes darker or brighter in a single segment of scenes where a single scene setting (atmosphere) is continuous, the atmosphere of that scene will still be disturbed and the viewer will feel uncomfortable.
  • the present invention has been made in view of the above-described problems, and is a data transmission device and a data transmission method capable of realizing optimal viewing environment illumination control in accordance with illumination during shooting of a display image. It is an object of the present invention to provide a viewing environment control device, a viewing environment control system, and a viewing environment control method.
  • the first invention of the present application is a data transmission device for transmitting video data comprising one or more scene forces.
  • the video illumination data indicating the lighting status at the time of shooting each scene of the video data is used as the video. It is characterized by being added to data and transmitted.
  • a second invention of the present application is characterized in that the photographing illumination data is attached in units of scenes of the video data.
  • a third invention of the present application is characterized in that the photographing illumination data is attached in units of shots of the video data.
  • a fourth invention of the present application is characterized in that the photographing illumination data is added in units of frames of the video data.
  • the fifth invention of the present application is characterized in that the photographing illumination data includes at least information indicating a lighting type of the illumination used for photographing each scene.
  • the sixth invention of the present application is characterized in that the photographic illumination data includes at least information indicating the nature of the illumination used for photographing each scene.
  • the seventh invention of the present application is characterized in that the photographing illumination data includes at least information indicating the direction of the illumination light used for photographing each scene.
  • the eighth invention of the present application is characterized in that the photographing illumination data includes at least information indicating the intensity of the illumination light used for photographing each scene.
  • the ninth invention of the present application is characterized in that the photographic illumination data includes at least information representing the chromaticity of the illumination light used for photographing each scene.
  • a tenth invention of the present application is a data transmission device that receives photographing requests and transmits photographing lighting data indicating a lighting state at the time of photographing each scene constituting the video data, and the photographing lighting is provided.
  • the data is transmitted together with the start timing of each scene constituting the video data.
  • the eleventh invention of the present application is characterized in that the photographing illumination data includes at least information indicating a lighting type of the illumination used for photographing each scene.
  • the photographic illumination data includes at least information indicating the nature of the illumination used for photographing each scene.
  • the thirteenth invention of the present application is characterized in that the photographing illumination data includes at least information indicating the direction of light of the illumination used for photographing each scene.
  • the fourteenth invention of the present application is characterized in that the photographing illumination data includes at least information indicating the intensity of illumination light used for photographing each scene.
  • the photographic illumination data includes at least information indicating the chromaticity of the illumination light used for photographing each scene.
  • a sixteenth aspect of the present invention is a receiving means for receiving video data to be displayed on a display device, and shooting illumination data indicating a lighting state at the time of shooting each scene constituting the video data, Control means for controlling illumination light of an illumination device installed around the display device based on the photographing illumination data.
  • the seventeenth invention of the present application is characterized in that the control means switches and controls the illumination light of the illumination device for each scene of the video data.
  • the eighteenth invention of the present application is characterized in that the control means controls illumination light of the illumination device using a feature amount of the video data in addition to the photographing illumination data.
  • the nineteenth invention of the present application is characterized in that the photographing illumination data includes at least information indicating a lighting type of illumination used for photographing each scene.
  • the twentieth invention of the present application is characterized in that the photographing illumination data includes at least information indicating a property of illumination used for photographing each scene.
  • the twenty-first invention of the present application is characterized in that the photographic illumination data includes at least information indicating a direction of illumination light used for photographing each scene.
  • a twenty-second invention of the present application is characterized in that the photographing illumination data includes at least information indicating the intensity of illumination light used for photographing each scene.
  • the twenty-third invention of the present application is characterized in that the photographic illumination data includes at least information indicating the chromaticity of the illumination light used for photographing each scene.
  • a twenty-fourth invention of the present application is a viewing environment control system including the viewing environment control device and a lighting device whose viewing environment illumination light is controlled by the viewing environment control device.
  • a twenty-fifth aspect of the present invention in a data transmission method for transmitting video data composed of one or more scenes, photographing illumination data indicating a lighting state at the time of photographing each scene of the video data is obtained.
  • the video data is transmitted after being added.
  • a twenty-sixth invention of the present application is a data transmission method for transmitting photographing illumination data indicating a lighting state at the time of photographing each scene constituting the video data in response to an external request.
  • the photographing illumination data is transmitted together with the start timing of each scene constituting the video data.
  • the twenty-seventh invention of the present application receives video data to be displayed on a display device, and shooting illumination data indicating a lighting state at the time of shooting of each scene constituting the video data, and the shooting illumination data Based on the above, the illumination light of the illumination device installed around the display device is controlled.
  • FIG. 1 is a diagram for explaining an example of a problem of illumination variation according to the prior art.
  • FIG. 2 is a diagram for explaining another example of the problem of illumination variation according to the prior art.
  • FIG. 3 is a block diagram showing a schematic configuration of a main part of the video transmission device in the viewing environment control system according to the first embodiment of the present invention.
  • FIG. 4 is an explanatory diagram showing an example of an output bit stream of the video transmitting apparatus in the viewing environment control system according to the first embodiment of the present invention.
  • FIG. 5 is an explanatory diagram showing an example of photographing illumination data in the viewing environment control system according to the first embodiment of the present invention.
  • FIG. 6 is an explanatory diagram for explaining horizontal and vertical divisions of photographing illumination light.
  • FIG. 7 is an explanatory diagram for explaining the components of a video.
  • FIG. 8 is a block diagram showing a schematic configuration of a main part of the video reception device in the viewing environment control system according to the first embodiment of the present invention.
  • FIG. 9 is an explanatory diagram showing an example viewing environment space in the viewing environment control system according to the first embodiment of the present invention.
  • FIG. 10 is an explanatory diagram showing an example of control data in the viewing environment control system according to the first embodiment of the present invention.
  • FIG. 11 is an explanatory diagram showing a color reproduction range of illumination light in the viewing environment control system according to the first embodiment of the present invention.
  • FIG. 12 is an explanatory diagram showing an example of the relationship between the illumination light direction information and the corresponding illumination device ID in the viewing environment control system according to the first embodiment of the present invention.
  • FIG. 13 is an explanatory diagram showing photographing illumination data corresponding to the video scene shown in FIG.
  • FIG. 14 is an explanatory diagram showing illumination control data generated based on the photographic illumination data shown in FIG. 11 in the viewing environment control system according to the first embodiment of the present invention.
  • FIG. 15 An explanatory diagram showing a viewing environment space realized based on the illumination control data shown in FIG. 14 in the viewing environment control system according to the first embodiment of the present invention.
  • FIG. 17 is an explanatory diagram showing illumination control data generated based on the photographing illumination data shown in FIG. 16 in the viewing environment control system according to the first embodiment of the present invention.
  • FIG. 18 is an explanatory diagram showing a viewing environment space realized based on the illumination control data shown in FIG. 17 in the viewing environment control system according to the first embodiment of the present invention.
  • FIG. 19 is a block diagram showing a schematic configuration of a main part of a video reception device in a viewing environment control system according to a second embodiment of the present invention.
  • FIG. 20 is a block diagram showing an illumination control data generation unit in FIG.
  • FIG. 21 An explanatory diagram showing the color reproduction range of illumination light in the viewing environment control system according to the second embodiment of the present invention.
  • FIG. 22 is a block diagram showing a schematic configuration of a main part of the external server device in the viewing environment control system according to the third embodiment of the present invention.
  • FIG. 23 is an explanatory diagram showing an example of a shooting illumination data storage table in the viewing environment control system according to the third embodiment of the present invention.
  • FIG. 24 is an explanatory diagram showing an example of a photographing illumination data storage table in the viewing environment control system according to the third embodiment of the present invention.
  • FIG. 25 is an explanatory diagram showing an example of a photographic illumination data storage table in the viewing environment control system according to the third embodiment of the present invention.
  • FIG. 26 is an explanatory diagram showing an example of a photographic illumination data storage table in the viewing environment control system according to the third embodiment of the present invention.
  • FIG. 27 is a video receiver in the viewing environment control system according to the third embodiment of the present invention. It is a block diagram which shows the principal part schematic structure of these.
  • FIG. 28 is a block diagram showing a schematic configuration of a main part of a video reception device in a viewing environment control system according to a fourth embodiment of the present invention.
  • FIG. 29 is a block diagram showing a lighting control data generation unit in FIG. 28.
  • FIG. 3 is a block diagram showing a schematic configuration of a main part of a video transmission device (data transmission device) for explaining the viewing environment control system according to the first embodiment of the present invention.
  • the transmission device divides and multiplexes each of video data, audio data, and photographing illumination data supplied as additional information into a transport stream packet (TSP) format.
  • TSP transport stream packet
  • a data multiplexing unit 1 and a transmission unit 2 that performs modulation after adding an error correction code to the output data of the data multiplexing unit 1 and sends it to the transmission line as broadcast data are provided.
  • Fig. 4 is an explanatory diagram showing an outline of the structure of Transport Stream Packet (TSP) defined by MPEG2 (Moving Picture Experts Group 2)-Systems.
  • TSP Transport Stream Packet
  • 11 is the data content of TSP and other MPEG2 —
  • 12 is an extension header (advancement 'field), which can describe information determined by the sender
  • 13 is a payload composed of data such as video and audio. It is.
  • video data and audio data are transmitted in the payload 13
  • photographing illumination data that is supplementary information can be transmitted in the extension header (advancement field) 12.
  • different data streams of video data, audio data, and photographing illumination data may be multiplexed and transmitted.
  • the photographing illumination data indicating the illumination state at the time of photographing each scene of the video data
  • shooting illumination data lighting type information indicating the lighting type of the illumination used for shooting each scene
  • lighting property information indicating the characteristics of the illumination light source used for shooting each scene
  • each scene Illumination light direction (horizontal direction) information that represents the incident direction (horizontal direction) of the illumination light used for shooting
  • illumination that represents the incident direction (vertical direction) of the illumination light used for each scene.
  • each information is demonstrated.
  • keylights, filllights, touch lights, and base lights are known as commonly used lighting types of photographing illumination.
  • the key light is the main light source, and is the central light for setting the scene. For example, in the outdoor location during the daytime, it corresponds to ordinary sunlight.
  • Fill light is an auxiliary light source that eliminates shadows and brightens or glosses the subject. For example, it reflects sunlight by a reflector at outdoor locations in the daytime. And this light is in the dark.
  • the touch light is light for separating the subject from the background or giving a three-dimensional effect, and is effective light that is irradiated obliquely from behind to express the harshness.
  • Base light is light that is used to brighten the whole image on average or relieve strong contrast.
  • the lighting type information a 2-bit description indicating whether the illumination light at the time of shooting each video scene belongs to the key light / fill light (holding) / touch light / base light level or deviation. The description is included in the photographing illumination data.
  • the properties of the illumination light source used for each lighting type are determined.
  • Typical properties of illumination light sources during shooting include spotlights (point light sources) and floodlights (surface light sources).
  • Spotlights (point light sources) are illuminations that have a clear direction of light, and that produce a clear shadow.
  • flood light surface light source is illumination used to obtain uniform brightness over the entire space, and it is an illumination in which shadows are blurred and shading does not appear strongly.
  • this illumination light source Normally, since the nature of the illumination light source is determined for each lighting type, this illumination light source The realism of the displayed video scene can be improved by controlling the viewing environment illumination, which will be described later, in accordance with the nature of the display. For example, when reproducing the illumination light from a spotlight (point light source), the illumination range from the viewing environment illumination device is narrowed. When reproducing the illumination light from a floodlight (surface light source), illumination from the viewing environment illumination device is performed. It is possible to widen the range.
  • a spotlight point light source
  • a floodlight surface light source
  • the illumination property information whether the property of the illumination light source used at the time of shooting each video scene belongs to either a spotlight (point light source) or a flood light (surface light source).
  • the 1-bit description shown is included in the photographic lighting data.
  • the direction of the illumination light is determined for each lighting type, the realism of the display video scene is improved by controlling the viewing environment illumination described later in accordance with the direction of the illumination light. be able to. That is, by independently controlling a plurality of lighting devices arranged on the top, bottom, left, and right of the video display device, it is possible to reproduce the shooting lighting environment at the time of video shooting with great detail.
  • ⁇ indicates a subject
  • C indicates a camera.
  • the horizontal division of the illumination light includes forward light, side light (left, right), backlight, rim light (left, right), rebrandt light ( Left, right).
  • Forward light is light from the front that provides the most efficient brightness.
  • Sidelight is a light that can enhance the three-dimensional effect, but has a strong shadow and gives a strong impression with a strong contrast.
  • Backlight is light from the back that can create a sino-ret effect that raises the outline and produces a fantastic effect.
  • Rimlight is a semi-backlit light that is used to enhance the sense of body and bring out the details of the hair.
  • Rembrandt light is a 45-degree light that best expresses facial features and makes them look beautiful.
  • the illumination light is divided into a normal light, a backlight, a backlight, a tilt, and a Rembrandt light.
  • Forward light is light from the front that provides the most efficient brightness.
  • Backlight is light from the back that can create a sino-ret effect that raises the outline and produces a fantastic effect.
  • the top light is light from almost right above the subject used for characteristic image expression rather than showing people clearly.
  • Aori is the light from the lower front of the subject that is used for special effects. is there.
  • Rembrandt light is a 45-degree light that best expresses facial features and makes them look beautiful.
  • the incident direction (horizontal direction) of the illumination light at the time of shooting each video scene is the following light / side light (left) / side Light (Right) / Backlight / Rim Light (Left) / Rim Light (Right) / Rembrandt Light (Left) Z Rembrandt Light (Right
  • the illumination light direction (vertical direction) information indicates whether the incident direction (vertical direction) of the illumination light at the time of shooting each video scene belongs to the following light / backlight / top light / tilt / rembrandt light
  • a 3-bit description is included in the photographic lighting data.
  • the viewing environment illumination described later is controlled in accordance with the intensity and chromaticity of the illumination light, so that the display video scene is displayed.
  • the presence can be improved.
  • the illumination intensity information the intensity of the illumination light at the time of shooting each video scene is very weak / weak / somewhat weak / normal / somewhat strong, / strong, / very strong, A 3-bit description indicating whether the image belongs to the deviation is included in the photographic lighting data.
  • the illumination color temperature information the color temperature (K) of the illumination light at the time of shooting each video scene is 1000/2000/3000/4000/5000/6000, and a 4-bit description indicating the power belonging to the deviation. Is included in the photographic lighting data.
  • FIG. 7 is a diagram for explaining the components of the video, and will be described below with reference to FIG. 7 according to the configuration of the video including the scene yacht.
  • the first layer (# 1) constituting the video is a frame.
  • a frame is a physical layer and refers to a single two-dimensional image. Frames are usually obtained at a rate of 30 frames per second.
  • the second layer (# 2) is a shot.
  • a shot is a sequence of frames taken by a single camera.
  • the third layer (# 3) is a scene.
  • a scene is a sequence of shots that have a stream of connections.
  • the above-described photographing illumination data can be added in units of frames, shots, or scenes of video data. If shooting illumination data is added at least in units of scenes, it will be possible to efficiently control the viewing environment lighting described later, but if shooting lighting data is added in units of frames, more detailed viewing environment lighting will be provided. Can be controlled. For example, shooting illumination data may be added only to a specific frame (scene switching frame, etc.) according to the intention of the video producer (screenwriter, director, etc.).
  • the photographing illumination data may be added in GOP (Group of Picture) units, which are units of random access of video data.
  • a video reception device (data reception device) that receives broadcast data transmitted from the video transmission device, displays and reproduces video's audio, and controls the viewing environment illumination at that time will be described. To do.
  • FIG. 8 is a block diagram showing a schematic configuration of a main part of the video reception device in the viewing environment control system according to the first embodiment of the present invention.
  • the video reception device in this embodiment is as shown in FIG.
  • the broadcast data input from the transmission path is received and demodulated, and error correction is performed, and the output data of the receiver 21 and the output data of the receiver 21 are output to the video display device 25.
  • the image data, the audio data output to the audio reproduction device 26, and the photographic illumination data as additional information are separated and extracted, and the photographic illumination data separated by the data separation unit 22 are received.
  • the CPU 23 outputs the control data related to the lighting adapted to the scene setting (atmosphere) of each scene constituting the video data, and the lighting control data (RGB data) corresponding to the output control data from the CPU 23 is viewed.
  • an illumination control data generation unit 24 that outputs to the illumination device 27 that illuminates the environment space.
  • the lighting device 27 can be configured by an LED that is installed around the video display device 25 and emits light of, for example, three primary colors of RGB having a predetermined hue.
  • the illumination device 27 is not limited to the combination of LEDs that emit a predetermined color as described above as long as the illumination color and brightness of the surrounding environment of the video display device 25 can be controlled. It may be constituted by an LED and a color filter, or a combination of a white light bulb, a fluorescent tube and a color filter, or a color lamp can be applied. Also, one or more lighting devices 27 should be installed.
  • 62 (ID1 to ID62) illumination devices 27 that can be independently controlled are provided in the viewing environment space where the video display device 25 is installed. Shall. An ID is assigned to each lighting device.
  • the lighting devices ID1 to ID8 illuminate the left side wall of the video display device 25 from above
  • the lighting devices ID9 to ID18 are those of the video display device 25.
  • the illumination devices ID19 to ID26 illuminate the right side wall of the image display device 25
  • the illumination devices ID27 to ID34 illuminate the left side wall of the image display device 25 from below.
  • ID35 to ID44 lighting device irradiates the rear wall of the image display device 25 from below
  • ID45 to ID52 lighting device irradiates the right side wall of the image display device 25 from below
  • ID53 to ID62 lighting device 62 illuminates the ceiling wall of the image display device 25, and 62 lighting devices are arranged.
  • the CPU 23 reproduces the illumination environment at the time of photographing each scene with the illumination light intensity and ID for each illumination device that should be reproduced by the viewing environment illumination by the illumination device 27.
  • the color temperature (one point on the black body locus) is determined, and this is output as control data to the illumination control data generator 24.
  • the illumination intensity is based on various information included in the photographic illumination data.
  • control data indicating the illumination color temperature in 16 steps is generated for each ID of each lighting device.
  • the CPU 23 adds information on the lighting status for each lighting type, and generates control data for each ID of each lighting device that reproduces the lighting environment at the time of shooting.
  • the black body is an ideal object that completely absorbs energy, and when the temperature rises, the color of the emitted light changes from red to yellow to white.
  • the absolute temperature at this time is called the color temperature.
  • this color temperature and color locus black body locus
  • the temperature of the closest black body that does not match completely is called the “correlated color temperature”.
  • the correlated color temperature is expressed along with the deviation ( ⁇ ⁇ ) from the blackbody locus.
  • the illumination control data generation unit 24 generates RGB data corresponding to the control data (intensity, color temperature) from the CPU 23 and outputs the RGB data to the illumination device 27, as shown in (C) of FIG. .
  • the RGB data power for each lighting device ID is output to the lighting device with the corresponding ID, realizing optimal lighting control in the viewing environment according to the lighting conditions at the time of shooting the display video.
  • the ability to do S is possible.
  • the CPU 23 has registered in advance information related to the installation position of each lighting device (relative position with respect to the display screen of the video display device). Using this position information and shooting illumination data, the illumination at the time of shooting is recorded. Generate control data for each lighting device that reproduces the environment.
  • the illumination property information is a spotlight (point light source)
  • a predetermined intensity and color temperature are obtained by N illumination devices centered on an illumination device with an ID located in the incident direction of the illumination light. Irradiate the illumination light.
  • the illumination property information is a flood light (surface light source)
  • M illumination devices including ID illumination devices located in the incident direction of the illumination light are used to obtain a predetermined intensity.
  • illumination light of color temperature is obtained by N illumination devices centered on an illumination device with an ID located in the incident direction of the illumination light.
  • FIG. 12 an example of the relationship between the incident direction of the photographic illumination light and the corresponding illumination device ID is as shown in FIG. 12, for example. That is, in (A) of FIG. 12, when the direction of the illumination light in the horizontal direction is the forward light and the direction of the illumination light in the vertical direction is other than the direction, the illumination light of ID9 to ID18 is used to reproduce this illumination light. Use the device.
  • the direction of the illumination light in the horizontal direction is side light (left), and the direction of the illumination light in the vertical direction is other than the vertical direction, in order to reproduce this illumination light, the illumination device of ID1 to ID8, the horizontal direction The direction of the illumination light is side light (right), vertical direction If the direction of the illumination light is other than tilt, the illumination devices of ID19 to ID26 are used to reproduce this illumination light.
  • the illumination devices of ID5 to ID22 are installed in the horizontal direction.
  • Directional force of the illumination light S rim light (left) and when the direction of the illumination light in the vertical direction is other than the tilt, to reproduce this illumination light, the illumination device of ID9 ⁇ ID13, If the direction is the rim light (right) and the direction of the illumination light in the vertical direction is other than the vertical direction, the illumination device of ID14 to ID18 is used to reproduce this illumination light.
  • the illumination light of ID5 to ID11 is used to reproduce this illumination light.
  • the illumination device of ID16 to ID22 is used to reproduce this illumination light.
  • the illumination devices of ID31 to ID48 are connected in the horizontal direction. If the direction of the illumination light is the rim light (left) and the direction of the illumination light in the vertical direction is tilted, in order to reproduce this illumination light, the illumination device of ID35 to ID39 is used, and the direction of the illumination light in the horizontal direction is the rim light. (Right) If the direction of illumination light in the vertical direction is tilted, use the illumination devices ID40 to ID44 to reproduce this illumination light.
  • Fig. 13 shows the shooting illumination data corresponding to the video scene described with Fig. 1.
  • This video scene has the characteristic power of the illumination light source S spotlight (point light source), the incident direction of the illumination light in the horizontal direction is the following light, The incident direction of the illumination light in the vertical direction is the top light, and the illumination intensity is high.
  • S spotlight point light source
  • the incident direction of the illumination light in the horizontal direction is the following light
  • the incident direction of the illumination light in the vertical direction is the top light
  • the illumination intensity is high.
  • the CPU 23 illuminates the rear wall of the video display device 25 from above based on the photographing illumination data, and the illumination devices ID9 to ID18 that irradiate the ceiling wall of the video display device 25.
  • Control data for controlling the illumination device 27 to emit illumination light with an illumination intensity of about 6000K (indicated by point (b) on the xy chromaticity diagram in Fig. 11). Is generated.
  • the illumination control data generation unit 24 receives the control data from the CPU 23 and outputs illumination control data (RGB data) as shown in FIG. As a result, as shown in FIG. 15, light is emitted from ID9 to ID18 and ID53 to ID62 of the illumination device, and the back wall and ceiling of the image display device 25 are illuminated with appropriate illumination light, and the above-mentioned It is possible to reproduce the lighting environment in the viewing space when shooting the displayed video scene, and to increase the sense of reality when viewing the video.
  • illumination control data RGB data
  • FIG. 16 shows shooting illumination data corresponding to the video scene described with reference to FIG. 2.
  • the illumination light source has a flood light (surface light source) property, and the incident direction of the horizontal illumination light. Is the front light, the incident direction of the vertical illumination light is the top light, the illumination intensity is normal, the key color with the illumination color temperature of about 7000K (upper), and the nature of the illumination light source is the flood light ( Surface light source), horizontal light incident direction is Rembrandt light (left), vertical light incident direction is low, illumination intensity is weak and illumination color temperature is about 7000K (middle stage), and illumination light source Spotlight (point light source), horizontal light incident direction is side light (right), vertical light incident direction is forward light, illumination intensity is slightly weaker, illumination color temperature is about 5000K (Lower part) shows that the picture was taken under lighting conditions.
  • a flood light surface light source
  • the CPU 23 illuminates the rear wall of the video display device 25 from above based on the photographing illumination data, and the illumination devices ID9 to ID18 that irradiate the ceiling wall of the video display device 25.
  • the illumination intensity is normal and the illumination color temperature is about 7000K (indicated by point (c) on the xy chromaticity diagram in Fig. 11).
  • the illumination device with ID19 to ID26 emits illumination light with a weak illumination intensity and an illumination color temperature of approximately 700,000K (shown as (c) on the xy chromaticity diagram in Fig. 11) and displays the image. Illuminate the left side wall of device 25 from below.
  • ID3 Illumination device with ID37: Illumination color temperature is slightly weakened with illumination intensity of about 5000K (shown as point (a) on the xy chromaticity diagram in Fig. 11)
  • the control data for controlling the illumination device 27 to generate the illumination light is generated.
  • the illumination control data generation unit 24 receives the control data from the CPU 23 and outputs illumination control data (RGB data) as shown in FIG. As a result, as shown in FIG. 18, the ceiling, the back wall, and the left and right side walls of the image display device 25 are illuminated with appropriate illumination light to view the illumination environment at the time of shooting the display video scene described above. This makes it possible to reproduce in space and increase the sense of presence when viewing images.
  • illumination control data RGB data
  • the illumination control data is used to appropriately reproduce the lighting state (atmosphere) at the time of shooting each scene from various information contents input as shooting lighting data together with video data.
  • the illumination light of the illumination device 27 can be controlled. Therefore, it is possible to realize a natural and uncomfortable viewing environment illumination that is not affected by the video content, and to increase the sense of presence when viewing the video.
  • shooting illumination data relating to the lighting conditions during shooting of each scene is transmitted and received, so that viewing environment illumination control adapted to various viewing environment spaces can be performed.
  • viewing environment illumination control adapted to various viewing environment spaces can be performed.
  • the received shooting is performed.
  • Appropriate control data corresponding to each video viewing space can be generated from the lighting data.
  • the viewing environment lighting may be controlled using only information relating to the keylight. Good.
  • the necessary information can be easily selected for shooting lighting data by sending and receiving the lighting status information for each of the keylight, filllight, touchlight, and baselight as a data structure with a hierarchical structure. / Can be processed.
  • the viewing environment illumination may be controlled using video data and / or audio data in addition to the shooting illumination data. This will be described below as a second embodiment of the present invention.
  • FIG. 19 is a block diagram showing a schematic configuration of the main part of the video reception device in the viewing environment control system of the present embodiment
  • FIG. 20 is a block diagram showing the illumination control data generation unit in FIG. 19, and FIG. It is explanatory drawing showing the color reproduction range of the illumination light in the viewing-and-listening environment control system of embodiment.
  • the video transmission device (data transmission device) in the present embodiment is the same as that of the first embodiment described with reference to FIG. 3, and the description thereof is omitted here.
  • the video receiving device receives and demodulates broadcast data input from a transmission line, and receives a receiving unit 21 that performs error correction, and a receiving unit.
  • Video data and TC time code
  • Video data and TC time code
  • Audio data and TC time code
  • photographic lighting data as additional information
  • Data separation unit 22 for separating and extracting data
  • data separation The CPU 33 outputs the control data adapted to the lighting conditions at the time of shooting of each scene constituting the video data after receiving the shooting lighting data separated by the unit 22, and the lighting control data corresponding to the control data from the CPU 33 ( RGB data) is output to the lighting device 27 that illuminates the viewing environment space, and the video data, audio data, and control data are delayed and output by the processing time in the lighting control data generation unit 34 and the lighting control data generation unit 34.
  • Delay generators 35, 36, and 37 are provided.
  • the CPU 33 of the present embodiment obtains the intensity and color temperature (one point on the black body locus) of the illumination light for each illumination device ID based on the photographing illumination data, and a predetermined value including the color temperature is obtained.
  • the information indicating the color range (function representing the range indicated by the alternate long and short dash line on the xy chromaticity diagram in FIG. 21) is determined and output as control data.
  • the lighting control data generation unit 34 corrects the field (atmosphere) estimation result obtained based on the video data and audio data so as to be within the color range obtained based on the photographing illumination data, and performs illumination control.
  • Outputs data RGB data).
  • the time code (TC) is information added to indicate playback time information of each of the video data and audio data. For example, time (h): minute (m): second ( s): Consists of information indicating the frame (f).
  • the illumination control data generation unit 34 of the present embodiment includes a scene segment detection unit 41 that detects the start point TC and end point TC of the scene segment based on the captured illumination data, and a scene Section (atmosphere) estimation unit 42 and field (atmosphere) estimation unit 42 that estimate lighting conditions and scene settings (atmosphere) at the shooting site based on video data and audio data for a predetermined time from the start point TC of the section.
  • a lighting control unit 43 that outputs lighting control data for controlling the lighting device 27 from the estimation result and the control data output from the CPU 33 is provided.
  • the method of estimating the ambient light state at the time of shooting by the field (atmosphere) estimation unit 42 various techniques including known ones can be used. Note that here, in addition to the feature values of the video data, the feature values of the audio data are also used to estimate the scene (atmosphere) of each scene. This is to improve the situation, so it is possible to estimate the scene (atmosphere) of the shooting scene from only the features of the video data.
  • the feature amount of the video data for example, the location of the screen as in the above-described conventional example.
  • the color signal and luminance signal in the fixed area can be used as they are, or the color temperature of the ambient light at the time of video recording can be obtained from these. Furthermore, these may be configured to be switchable and output as feature amounts of video data.
  • the feature amount of audio data volume, audio frequency, etc. can be used.
  • This field (atmosphere) estimation unit 42 uses the force S to estimate the color and brightness of ambient light at the time of shooting based on the feature values of video data and audio data, If the color of light is outside the predetermined color range obtained from the shooting lighting data, it is corrected by the lighting control unit 43 to obtain lighting control data suitable for the lighting conditions at the time of shooting each scene. It is possible.
  • the result of estimating the ambient light color by the field (atmosphere) estimation unit 42 is point (A) in the xy chromaticity diagram of Fig. 21, and the illumination color temperature indicated by the control data output from the CPU 33 is
  • the lighting control unit 43 determines that the straight line connecting the point (A) and the point (a) on the xy chromaticity diagram, and (a) Find the intersection ( ⁇ ') with the function that shows the color range centered on the point (the function that represents the ellipse shown by the alternate long and short dashed line on the xy chromaticity diagram in Fig. 21).
  • the result of the ambient light color estimation by the field (atmosphere) estimation unit 42 is point (B) on the xy chromaticity diagram of Fig. 21, and the illumination color indicated by the control data output from the CPU 33
  • the lighting control unit 43 has a straight line connecting the points (B) and (c) on the xy chromaticity diagram ( c) Find the intersection ( ⁇ ') with the function that indicates the color range centered on the point (the function that represents the ellipse indicated by the alternate long and short dash line on the xy chromaticity diagram in Fig. 21), and calculate this as the ambient illumination light
  • the estimation result of the brightness of the ambient light by the field (atmosphere) estimation unit 42 is also appropriately corrected according to the illumination intensity indicated by the control data output from the CPU 33. If the ambient light estimation result by the field (atmosphere) estimation unit 42 is within the predetermined illumination range obtained from the captured illumination data, the ambient light estimation result by the field (atmosphere) estimation unit 42 is The illumination control data is output to the illumination device 27 as it is.
  • the force for obtaining the illumination control data to be output to the illumination device 27 from the intersection with the function representing the color range indicated by the control data is not limited to this.
  • the color difference ⁇ from the point in the predetermined color range where the distance to the estimation result by the field (atmosphere) estimation unit 42 is the minimum or the estimation result by the field (atmosphere) estimation unit 42 The illumination control data may be obtained from a point within a predetermined color range where the wrinkle is minimized.
  • an average value or a weighted average value of the estimation result by the field (atmosphere) estimation unit 42 and the illumination color temperature and illumination intensity indicated by the control data output from the CPU 33 is output to the illumination device 27.
  • the illumination control data may be used. Needless to say, the above-described illumination control data is generated for each ID of the illumination device.
  • the configuration is such that the viewing environment illumination is controlled using the photographic illumination data, the video data, and the Z or audio data. Even for lighting environments that are difficult to perform, it is possible to estimate the lighting environment more accurately by using the estimation results of the scene (atmosphere) based on the feature values of video data and / or audio data. It is possible to perform more appropriate lighting control, and to prevent the presence or the atmosphere from being disturbed by an error in the estimation of the place (atmosphere) based on the feature amount of video data and / or audio data. It is possible to suppress the control and always realize the optimal viewing environment.
  • the scene section detection unit 41 that detects the scene section based on the captured illumination data is provided, and the illumination control data is switched and controlled on a scene basis. It can prevent the viewing environment lighting from changing drastically in the scene and impairing the sense of reality.
  • information indicating a predetermined color range including the color temperature of illumination light (representing a range indicated by a one-dot chain line in the xy chromaticity diagram of FIG. 21) based on the photographic illumination data. Function), but the size of the predetermined color range may be arbitrarily variable by the user. In other words, if the predetermined color range is set to a large value, the effect of reproducing the spread of the screen can be obtained.If the predetermined color range is set to a small value, the effect of reproducing the illumination environment at the time of shooting can be obtained.
  • the size of the color range obtained from the photographic illumination data may be variably set depending on which lighting effect is emphasized by the user.
  • the difference between the effect of reproducing the spread of the screen and the effect of reproducing the lighting environment at the time of shooting is desirable depending on the video content displayed on the video display device 25.
  • the size of the predetermined color range obtained from the photographic illumination data may be variably set according to the determination result of the type (for example, genre) of the video content.
  • shooting illumination data is multiplexed and added to broadcast data.
  • shooting illumination data is added to broadcast data. If not, it is possible to realize an optimal viewing environment according to the lighting conditions at the time of video shooting by transmitting / receiving shooting lighting data corresponding to the video data to be displayed from an external server device or the like. This will be described below.
  • FIG. 22 is a block diagram showing a schematic configuration of the main part of the external server device in the viewing environment control system of the present embodiment
  • FIGS. 23 to 26 show the photographing illumination data storage table in the viewing environment control system of the present embodiment
  • FIG. 27 is an explanatory diagram showing an example
  • FIG. 27 is a block diagram showing a schematic configuration of a main part of a video reception device in the viewing environment control system of the present embodiment.
  • the external server device (data transmission device) in this embodiment makes a transmission request for photographing illumination data related to specific video data (content) from the video reception device (data reception device) side.
  • the receiving unit 51 that receives the data, the data storage unit 52 that stores the photographic lighting data for each video data (content), and the photographic lighting data that has received the transmission request is transmitted to the requesting video receiving device (data receiving device).
  • a transmission unit 53 a transmission unit 53.
  • the shooting illumination data stored in the data storage unit 52 of the present embodiment is associated with the scene number and scene start time code of each video scene, as shown in FIGS. It is described in a table format, and the shooting illumination data corresponding to the video data (program content) for which a transmission request has been received, along with the scene number and scene start TC (time code) of each scene constituting the video data. Transmit from the transmitter 53 to the requesting video receiver.
  • the keyline as shown in FIG. Data table describing only the information about the key light, data table describing the information about the key light and fill light as shown in FIG. 24, and data describing the information about the key light, fill light and touch light as shown in FIG.
  • the video receiving apparatus in the present embodiment receives and demodulates broadcast data input from the transmission path, and performs error correction, and from the output data of the receiving unit 61.
  • the data separation unit 62 separates and extracts each of the video data output to the video display device 25 and the audio data output to the audio playback device 26, and a request for transmission of the photographic illumination data corresponding to the video data (content) to be displayed.
  • the photographing illumination data received by the receiving unit 66 is stored, and the illumination for each illumination device ID obtained from the photographing illumination data of the video scene is synchronized with the display timing of each scene of the video data.
  • the CPU 63 outputs control data related to intensity and color temperature, and the lighting control data generator 24 outputs the lighting control data (RGB data) corresponding to the output control data from the CPU 63 to the lighting device 27 that illuminates the viewing environment space.
  • RGB data RGB data
  • the CPU 63 receives the start time code of each scene in the photographic illumination data storage table received from the external server device and stored therein, and the time code of the video data displayed on the video display device 25. Compare them, and when they match, the corresponding lighting
  • the control data suitable for the scene setting (atmosphere) of the displayed video scene can be output from this photographic lighting data.
  • shooting light data corresponding to the display video data is obtained from the external server device, and this shooting light data is obtained.
  • the lighting control data can be generated based on the video, and the display switching timing of the video scene and the switching timing of the viewing environment lighting can be synchronized with a simple configuration. It is possible to realize an optimal viewing environment.
  • the viewing environment illumination may be controlled using video data and / or audio data in addition to the photographing illumination data. This will be described below as a fourth embodiment of the present invention.
  • FIG. 28 is a block diagram showing a schematic configuration of the main part of the video reception device in the viewing environment control system of the present embodiment
  • FIG. 29 is a block diagram showing the illumination control data generation unit in FIG.
  • the external server device (data transmission device) in the present embodiment is the same as that of the third embodiment described above with reference to FIG.
  • the video reception device receives and demodulates broadcast data input from the transmission line, and also receives the reception unit 61 and the output of the reception unit 61.
  • the data separation unit 62 separates and extracts each of the video data output to the video display device 25 and the audio data output to the audio playback device 26 from the data, and the shooting illumination data corresponding to the video data (content) to be displayed.
  • a transmission unit 65 that transmits a transmission request to an external server device (data transmission device) via a communication network, and a reception unit 66 that receives the photographing illumination data requested for transmission from the external server device via the communication network. I have.
  • the photographing illumination data received by the receiving unit 66 is stored, and the illumination for each illumination device ID obtained from the photographing illumination data of the video scene is synchronized with the output timing of each scene of the video data.
  • Lighting device that illuminates the viewing environment space with CPU73 that outputs control data related to intensity, color temperature, color range, and scene start point time code, and lighting control data (RGB data) corresponding to the output control data from CPU73 Illumination control data generation unit 74 that outputs to 27, and delay generation units 35, 36, and 37 that output video data, audio data, and control data with a delay by the processing time in illumination control data generation unit 74.
  • the CPU 73 of the present embodiment obtains the intensity and color temperature (one point on the black body locus) of the illumination light for each illumination device ID based on the photographing illumination data, and a predetermined value including the color temperature is obtained.
  • the information indicating the color range (function representing the range indicated by the alternate long and short dash line on the xy chromaticity diagram in FIG. 21) is determined and output as control data.
  • the lighting control data generation unit 74 corrects the field (atmosphere) estimation result obtained based on the video data and audio data so that it falls within the color range obtained based on the shooting illumination data, and performs illumination control.
  • Outputs data RGB data).
  • the illumination control data generation unit 74 of the present embodiment is based on video data and audio data for a predetermined time from the scene start point TC from the CPU 73.
  • Lighting control data for controlling the lighting device 27 is obtained from the field (atmosphere) estimation unit 82 for estimating the state and scene setting (atmosphere), the estimation result by the field (atmosphere) estimation unit 82 and the control data output from the CPU 73.
  • an illumination control unit 43 for outputting.
  • This field (atmosphere) estimation unit 82 uses force S to estimate the color and brightness of ambient light at the time of shooting based on the feature values of video data and audio data, If the color of light is outside the predetermined color range obtained from the shooting lighting data, it is corrected by the lighting control unit 43 to obtain lighting control data suitable for the lighting conditions at the time of shooting each scene. It is possible.
  • the shooting illumination data corresponding to the display video data is stored in the external server device. Obtained from this shooting lighting data and video data and Z or sound Because it is configured to control viewing environment lighting using voice data, lighting that takes into account the estimation results of the place (atmosphere) based on the feature values of video data and / or audio data in addition to shooting lighting data It is possible to perform control, and lighting control that impairs the sense of presence and atmosphere due to errors in estimation of the place (atmosphere) based on the feature amount of video data and / or audio data It is possible to achieve an optimal viewing environment at all times.
  • the lighting control data is switched and controlled on a scene-by-scene basis based on the scene start time code in the photographic lighting data storage table. This can prevent the viewing environment lighting from changing drastically and impairing the sense of reality.
  • information indicating a predetermined color range including the color temperature of the illumination light (representing the range indicated by the alternate long and short dash line in the xy chromaticity diagram of FIG. 21) based on the photographing illumination data.
  • the power that determines the function The size of this predetermined color range may be arbitrarily variable by the user. In other words, if the predetermined color range is set to a large value, the effect of reproducing the spread of the screen can be obtained. If the predetermined color range is set to a small value, the effect of reproducing the illumination environment at the time of shooting can be obtained.
  • the size of the color range obtained from the photographic illumination data may be variably set depending on which lighting effect is emphasized by the user.
  • the difference between the effect of reproducing the spread of the screen and the effect of reproducing the lighting environment at the time of shooting is desirable depending on the video content displayed on the video display device 25.
  • the size of the predetermined color range obtained from the photographic illumination data may be variably set according to the determination result of the type (for example, genre) of the video content.
  • the viewing environment control apparatus, method, and viewing environment control system of the present invention can be realized by various embodiments without departing from the gist of the present invention described above.
  • the viewing environment control device may be configured to control an external lighting device based on various information included in input video data that may be provided in the video display device. Les.
  • the above-described shooting illumination data is not limited to the case where it is separated from broadcast data or acquired from an external server device.
  • an external device a DVD player or a blue

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Automation & Control Theory (AREA)
  • Circuit Arrangement For Electric Light Sources In General (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

　表示映像の撮影時における照明状況に応じた、最適な視聴環境の照明制御を実現することが可能な視聴環境制御システムを提供する。データ送信装置は、映像データの各シーンの撮影時における照明状況を示す撮影照明データを前記映像データに多重するデータ多重部と、撮影照明データが多重された映像データを変調して送出する送信部とを設けて構成される。受信したデータ受信装置は、映像データから撮影照明データを分離するデータ分離部２２と、該撮影照明データに基づいて、照明装置２７の照明光を制御するＣＰＵ２３、照明制御データ生成部２４とを設けて構成される。

Description

明 細 書
データ送信装置、データ送信方法、視聴環境制御装置、視聴環境制御 システム、及び視聴環境制御方法
技術分野
[0001] 本発明は、映像表示装置に映像を表示する際に、その映像の撮影シーンの雰囲 気や場面設定に適応させて、映像表示装置の周囲の照明光を制御することが可能 なデータ送信装置、データ送信方法、視聴環境制御装置、視聴環境制御システム、 及び視聴環境制御方法に関するものである。
背景技術
[0002] 例えば、テレビジョン受像機のような映像表示装置により映像表示を行う場合や、プ ロジェクタ装置を用いて映像を投影表示させるような場合に、その周囲の照明光を表 示映像に合わせて調整することにより臨場感を高めるなどの視聴演出効果を付与す るようにした技術が知られてレ、る。
[0003] 例えば、特開平 2— 158094号公報には、カラーテレビの表示映像の色信号 (RG B)と輝度信号 (Y)とから、フレーム毎に光源の三原色の混光照度比を算出し、映像 と連動させて調光制御を行うようにした光色可変形照明装置が開示されている。この 光色可変形照明装置は、カラーテレビの表示映像から色信号 (RGB)と輝度信号 (Y )とを取り出し、その色信号と輝度信号とから、光源に使用する三色光 (赤色光，緑色 光，青色光）の適正調光照度比を算出し、その照度比に従って三色光の照度を設定 し、三色光を混光して照明光として出力している。
[0004] また、例えば、特開平 2— 253503号公報には、テレビの映像を複数に分割し、対 応する分割部の平均的な色相を検出することによって、分割部の周囲の照明制御を 行う映像演出照明装置が開示されている。この映像演出照明装置は、カラーテレビ の設置場所の周囲を照明する照明手段を備えていて、カラーテレビに表示される映 像を複数に分割し、照明手段によって照明される部分に対応する映像の分割部の平 均的な色相を検出し、その検出した色相に基づいて照明手段を制御している。
[0005] さらに、例えば、特開平 3— 184203号公報には、単に画像表示装置の画面全体 の平均色度及び平均輝度を求めるのではなぐ画像表示装置の画面に映し出された 画像から人の顔などの肌色部分の画素を取り除いた残りの部分を背景部と考え、そ の背景部の各画素の RGB信号及び輝度信号だけを取り出して平均色度及び平均 輝度を求めて、画像表示装置の背面の壁面の色度及び輝度が、画面全体、或いは 人の肌色を除く背景部の平均色度及び平均輝度と同一になるように、照明を制御す る方法が開示されている。
発明の開示
発明が解決しょうとする課題
[0006] 通常、映像のシーンは例えば映像制作者 (脚本家や演出家など）の意図により、一 連の場面設定に基づく一区切りの映像として、適切に設定された照明状況の下で撮 影されて作成される。従って、映像視聴時の臨場感や雰囲気を増大させるには、表 示映像のシーン撮影時における照明状況に応じた照明光を視聴空間に照射するこ とが望ましい。
[0007] しかしながら、上述した従来の視聴環境制御装置では、表示すべき映像信号にお ける 1フレーム (画面)毎の特徴量 (色信号及び輝度信号)を検出し、照明光を制御し ているため、表示映像内容によっては該映像のシーン状況に即した照明光を生成す ることが困難である。例えば、映像信号に含まれる被写体人物の服装や被写体の背 景にある人工物などの影響を受けて、不適切な色の照明光を周囲に照射してしまうと 、シーン毎の雰囲気を再現したり、シーン毎の臨場感を維持することができない。す なわち、各シーンの撮影時に用いられた照明状況力 大きく逸脱した視聴環境照明 は却って臨場感を損なうことになる。
[0008] また、上記従来の技術においては、映像信号の輝度や色相のフレーム毎の変化に 応じて照明光の状態が変化してしまい、特にフレーム間における輝度や色相の変化 の度合いが大きい場合などでは照明光が煩雑に変化し、視聴者がフリッカーによる 違和感を感じるという問題が生じる。さらに、撮影時の照明状況に変化のない 1つの シーンの表示中に、フレーム毎の輝度や色相の変化に応じて照明光が変動すること は、シーン毎の雰囲気を逆に阻害して好ましくない。
[0009] 図 1は、上記従来の技術による照明制御の問題点の一例を説明するための図であ り、連続する動画像の一部を示すものである。図 1の (A)に示す例では、晴天の日中 の屋外とレ、う場面設定で撮影された映像のシーンが作成されてレ、る。このシーンは、 カメラが切り替わることなく一連のカメラワークにより撮影によって得られた映像からな る。この例では、カメラの上方からカメラ近傍に向かってスキーヤーが滑降してくる映 像が撮影されている。スキーヤーは赤い服を着ており、空は晴天である。
[0010] すなわち、この映像シーンは、図 1の（B)に示すように、冬の日中晴天時の太陽光（ 自然光）の下で撮影されており、この太陽光がキーライトであり、このキーライトの照明 光源の性質はスポットライト（点光源）、水平方向の照明光の入射方向は順光、垂直 方向の照明光の入射方向がトップライト、照明強度は強ぐ照明色温度は約 6000Kと レ、う照明状況で撮影されたものである。
[0011] そして、このシーンの映像は、その初期のフレームでは背景の青空の領域が大きく 、スキーヤーが滑り降りてカメラに近づくに従ってスキーヤーの赤い服の領域が徐々 に大きくなつてくる。つまりシーン内の映像の進行に伴って、各フレームを構成する色 の比率が変化してくる。
[0012] このような場合、各フレーム毎の色度や輝度を使用して照明光を制御すると、青色 が強い照明光から赤い照明光に変化していくことになる。すなわち、上述した照明状 況の下で撮影された映像であるにもかかわらず、この撮影時の照明状況が考慮され ない照明光が生成 '照射されるため、却ってそのシーンの雰囲気を阻害して視聴者 に違和感を与えることになる。また、一つの場面設定 (雰囲気）が連続する一区切りの シーン内で照明光の色味が変化すると、やはりそのシーンの雰囲気を阻害して視聴 者に違和感を与えることになる。
[0013] 図 2は、上記従来の技術による照明制御の問題点の他の例を説明するための図で ある。図 2の (A)に示す例では、月夜の屋外という場面設定で撮影された映像のシー ンが作成されている。このシーンは、カメラワークが異なる 3つのショット（1 , 2, 3)によ り構成されている。ショット 1では、対象である亡霊をカメラがロングショットで撮影して いる。そしてショット 2に切り替わると、その亡霊がアップショットで撮影されている。ショ ット 3では、再度ショット 1のカメラ位置に戻っている。これらのショットは、カメラワーク は異なっていても、一つの雰囲気が連続する一区切りのシーンとして意図されて構 成されている。
[0014] このシーンの撮影においては、図 2の（B)に示すように、照明光源の性質がフラッド ライト（面光源）、水平方向の照明光の入射方向が順光、垂直方向の照明光の入射 方向がトップライト、照明強度が普通、照明色温度が約 7000Kであるキーライト（上段) と、照明光源の性質がフラッドライト（面光源）、水平方向の光の入射方向がレンブラ ントライト (左）、垂直方向の光の入射方向があおり、照明強度が弱ぐ照明色温度が 約 7000Kであるフィルライト（中段）と、照明光源の性質力スポットライト（点光源）、水 平方向の光の入射方向が側光 (右）、垂直方向の光の入射方向が順光、照明強度 がやや弱ぐ照明色温度が約 5000Kであるタツチライト（下段）とが用いられている。
[0015] このような場合、ショット 1では、月夜の比較的喑ぃ映像が連続しているので、これら の映像の各フレームの輝度や色度に従って照明光を制御すると比較的暗い照明光 となる。そしてショット 1がショット 2に切り替わると、アップショットで撮影された亡霊は 比較的明るい映像となる。このときに上記従来の技術によりフレーム毎に照明光を制 御すると、ショットの切替時に照明光の制御が大きく切り替わって明るい照明光となる 。そしてまたショット 3に切り替わると、ショット 1と同様の暗い照明光に戻る。
[0016] すなわち、上述した照明状況の下で撮影された一連の映像であるにもかかわらず、 この撮影時の照明状況が考慮されない照明光が生成 '照射されるため、却ってその シーンの雰囲気を阻害して視聴者に違和感を与えることになる。また、一つの場面設 定 (雰囲気）が連続する一区切りのシーン内で照明光が暗くなつたり明るくなつたりす ると、やはりそのシーンの雰囲気を阻害して視聴者に違和感を与えることになる。
[0017] 本発明は、上記課題に鑑みてなされたものであり、表示映像の撮影時照明に応じ た、最適な視聴環境の照明制御を実現することが可能なデータ送信装置、データ送 信方法、視聴環境制御装置、視聴環境制御システム及び視聴環境制御方法を提供 することを目的とする。
課題を解決するための手段
[0018] 本願の第 1の発明は、 1以上のシーン力 構成される映像データを送信するデータ 送信装置において、前記映像データの各シーンの撮影時における照明状況を示す 撮影照明データを、前記映像データに付加して送信することを特徴とする。 [0019] 本願の第 2の発明は、前記撮影照明データが、前記映像データのシーン単位で付 カロされることを特徴とする。
[0020] 本願の第 3の発明は、前記撮影照明データが、前記映像データのショット単位で付 カロされることを特徴とする。
[0021] 本願の第 4の発明は、前記撮影照明データが、前記映像データのフレーム単位で 付加されることを特徴とする。
[0022] 本願の第 5の発明は、前記撮影照明データが、少なくとも各シーンの撮影に用いら れた照明のライティング種別を表わす情報を含むことを特徴とする。
[0023] 本願の第 6の発明は、前記撮影照明データが、少なくとも各シーンの撮影に用いら れた照明の性質を表わす情報を含むことを特徴とする。
[0024] 本願の第 7の発明は、前記撮影照明データが、少なくとも各シーンの撮影に用いら れた照明の光の方向を表わす情報を含むことを特徴とする。
[0025] 本願の第 8の発明は、前記撮影照明データが、少なくとも各シーンの撮影に用いら れた照明の光の強度を表わす情報を含むことを特徴とする。
[0026] 本願の第 9の発明は、前記撮影照明データが、少なくとも各シーンの撮影に用いら れた照明の光の色度を表わす情報を含むことを特徴とする。
[0027] 本願の第 10の発明は、外部からの要求を受けて、映像データを構成する各シーン の撮影時における照明状況を示す撮影照明データを送信するデータ送信装置であ つて、前記撮影照明データを、前記映像データを構成する各シーンの開始タイミング とともに送信することを特徴とする。
[0028] 本願の第 11の発明は、前記撮影照明データが、少なくとも各シーンの撮影に用い られた照明のライティング種別を表わす情報を含むことを特徴とする。
[0029] 本願の第 12の発明は、前記撮影照明データが、少なくとも各シーンの撮影に用い られた照明の性質を表わす情報を含むことを特徴とする。
[0030] 本願の第 13の発明は、前記撮影照明データが、少なくとも各シーンの撮影に用い られた照明の光の方向を表わす情報を含むことを特徴とする。
[0031] 本願の第 14の発明は、前記撮影照明データが、少なくとも各シーンの撮影に用い られた照明の光の強度を表わす情報を含むことを特徴とする。 [0032] 本願の第 15の発明は、前記撮影照明データが、少なくとも各シーンの撮影に用い られた照明の光の色度を表わす情報を含むことを特徴とする。
[0033] 本願の第 16の発明は、表示装置に表示すべき映像データと、該映像データを構 成する各シーンの撮影時における照明状況を示す撮影照明データとを受信する受 信手段と、前記撮影照明データに基づいて、前記表示装置の周辺に設置された照 明装置の照明光を制御する制御手段とを備えたことを特徴とする。
[0034] 本願の第 17の発明は、前記制御手段が、前記照明装置の照明光を前記映像デー タのシーン単位で切替制御することを特徴とする。
[0035] 本願の第 18の発明は、前記制御手段が、前記撮影照明データに加え、前記映像 データの特徴量も用いて、前記照明装置の照明光を制御することを特徴とする。
[0036] 本願の第 19の発明は、前記撮影照明データが、少なくとも各シーンの撮影に用い られた照明のライティング種別を表わす情報を含むことを特徴とする。
[0037] 本願の第 20の発明は、前記撮影照明データが、少なくとも各シーンの撮影に用い られた照明の性質を表わす情報を含むことを特徴とする。
[0038] 本願の第 21の発明は、前記撮影照明データが、少なくとも各シーンの撮影に用い られた照明の光の方向を表わす情報を含むことを特徴とする。
[0039] 本願の第 22の発明は、前記撮影照明データが、少なくとも各シーンの撮影に用い られた照明の光の強度を表わす情報を含むことを特徴とする。
[0040] 本願の第 23の発明は、前記撮影照明データが、少なくとも各シーンの撮影に用い られた照明の光の色度を表わす情報を含むことを特徴とする。
[0041] 本願の第 24の発明は、前記視聴環境制御装置と、該視聴環境制御装置によって 視聴環境照明光を制御される照明装置とを備えた視聴環境制御システムであること を特徴とする。
[0042] 本願の第 25の発明は、 1以上のシーンから構成される映像データを送信するデー タ送信方法において、前記映像データの各シーンの撮影時における照明状況を示 す撮影照明データを、前記映像データに付加して送信することを特徴とする。
[0043] 本願の第 26の発明は、外部からの要求を受けて、映像データを構成する各シーン の撮影時における照明状況を示す撮影照明データを送信するデータ送信方法であ つて、前記撮影照明データを、前記映像データを構成する各シーンの開始タイミング とともに送信することを特徴とする。
[0044] 本願の第 27の発明は、表示装置に表示すべき映像データと、該映像データを構 成する各シーンの撮影時における照明状況を示す撮影照明データとを受信し、前記 撮影照明データに基づいて、前記表示装置の周辺に設置された照明装置の照明光 を制御することを特徴とする。
発明の効果
[0045] 本発明によれば、映像の撮影時における照明状況に応じた最適な視聴環境を実 現することが可能となる。
図面の簡単な説明
[0046] [図 1]従来技術による照明変動の問題点の一例を説明するための図である。
[図 2]従来技術による照明変動の問題点の他の例を説明するための図である。
[図 3]本発明の第 1実施形態に係る視聴環境制御システムにおける映像送信装置の 要部概略構成を示すブロック図である。
[図 4]本発明の第 1実施形態に係る視聴環境制御システムにおける映像送信装置の 出力ビットストリームの例を示す説明図である。
[図 5]本発明の第 1実施形態に係る視聴環境制御システムにおける撮影照明データ の一例を示す説明図である。
[図 6]撮影照明光の水平方向及び垂直方向の区分を説明するための説明図である。
[図 7]映像の構成要素を説明するための説明図である。
[図 8]本発明の第 1実施形態に係る視聴環境制御システムにおける映像受信装置の 要部概略構成を示すブロック図である。
[図 9]本発明の第 1実施形態に係る視聴環境制御システムにおける視聴環境空間例 を示す説明図である。
[図 10]本発明の第 1実施形態に係る視聴環境制御システムにおける制御データの一 例を示す説明図である。
[図 11]本発明の第 1実施形態に係る視聴環境制御システムにおける照明光の色再 現範囲を表わす説明図である。 園 12]本発明の第 1実施形態に係る視聴環境制御システムにおける照明光方向情 報と対応する照明装置 IDとの関係例を示す説明図である。
園 13]図 1に示した映像シーンに対応した撮影照明データを示す説明図である。 園 14]本発明の第 1実施形態に係る視聴環境制御システムにおレ、て、図 11に示した 撮影照明データに基づいて生成される照明制御データを示す説明図である。
園 15]本発明の第 1実施形態に係る視聴環境制御システムにおレ、て、図 14に示した 照明制御データに基づいて実現される視聴環境空間を示す説明図である。
園 16]図 2に示した映像シーンに対応した撮影照明データを示す説明図である。 園 17]本発明の第 1実施形態に係る視聴環境制御システムにおレ、て、図 16に示した 撮影照明データに基づいて生成される照明制御データを示す説明図である。
園 18]本発明の第 1実施形態に係る視聴環境制御システムにおレ、て、図 17に示した 照明制御データに基づいて実現される視聴環境空間を示す説明図である。
園 19]本発明の第 2実施形態に係る視聴環境制御システムにおける映像受信装置 の要部概略構成を示すブロック図である。
[図 20]図 19における照明制御データ生成部を示すブロック図である。
園 21]本発明の第 2実施形態に係る視聴環境制御システムにおける照明光の色再 現範囲を表わす説明図である。
園 22]本発明の第 3実施形態に係る視聴環境制御システムにおける外部サーバ装 置の要部概略構成を示すブロック図である。
園 23]本発明の第 3実施形態に係る視聴環境制御システムにおける撮影照明データ 格納テーブルの一例を示す説明図である。
園 24]本発明の第 3実施形態に係る視聴環境制御システムにおける撮影照明データ 格納テーブルの一例を示す説明図である。
[図 25]本発明の第 3実施形態に係る視聴環境制御システムにおける撮影照明データ 格納テーブルの一例を示す説明図である。
[図 26]本発明の第 3実施形態に係る視聴環境制御システムにおける撮影照明データ 格納テーブルの一例を示す説明図である。
[図 27]本発明の第 3実施形態に係る視聴環境制御システムにおける映像受信装置 の要部概略構成を示すブロック図である。
[図 28]本発明の第 4実施形態に係る視聴環境制御システムにおける映像受信装置 の要部概略構成を示すブロック図である。
[図 29]図 28における照明制御データ生成部を示すブロック図である。
発明を実施するための最良の形態
[0047] 図 3は、本発明の第 1の実施形態に係る視聴環境制御システムを説明するための 映像送信装置 (データ送信装置)の要部概略構成を示すブロック図で、本実施形態 における映像送信装置は、図 3に示すように、映像データ、音声データ、付加情報と して供給された撮影照明データのそれぞれをトランスポートストリームパケット (Transp ort Stream packet ;TSP)形式に分割して多重するデータ多重部 1と、データ多重部 1の出力データに対して誤り訂正符号を付加する等した上で変調を施し、放送デー タとして伝送路に送出する送信部 2とを備えている。
[0048] 図 4は、 MPEG2 (Moving Picture Experts Group 2)— Systemsで規定されたトラン スポートストリームパケット（TSP)の構成の概略を示す説明図であり、 11は TSPのデ ータ内容その他の MPEG2— Systemsで規定された情報が記述されたヘッダ、 12は 拡張ヘッダ（ァダブテーシヨン'フィールド）であって送信者が決めた情報を記述でき る部分、 13は映像、音声などのデータから構成されるペイロードである。本実施形態 では、例えば、映像データ及び音声データをペイロード 13で伝送し、付カ卩的な情報 である撮影照明データなどを拡張ヘッダ（ァダブテーシヨン'フィールド） 12で伝送す ることが可能に構成されている。なお、映像データ、音声データ、撮影照明データの それぞれの異なるデータストリームを多重して伝送するようにしてもよい。
[0049] ここで、図 5を参照して、映像データの各シーンの撮影時における照明状況を示す 撮影照明データについて詳細に説明する。本実施形態では、撮影照明データとして 、各シーンの撮影に用いられた照明のライティング種別を表わすライティング種別情 報、各シーンの撮影に用いられた照明光源の性質を表わす照明性質情報、各シー ンの撮影に用いられた照明の光の入射方向（水平方向）を表わす照明光方向（水平 方向）情報、各シーンの撮影に用いられた照明の光の入射方向（垂直方向）を表わ す照明光方向（垂直方向）情報、各シーンの撮影に用いられた照明の光の強度を表 わす照明強度情報、各シーンの撮影に用いられた照明の光の色度を表わす照明色 温度情報を有している。これらの情報はいずれも、各シーンの撮影時における照明 環境を推定し、各シーンの雰囲気や臨場感を照明光によって演出するために有用な 情報である。以下、それぞれの情報について説明する。
[0050] まず、一般的によく用いられる撮影照明のライティング種別として、キーライト、フィ ルライト（おさえ）、タツチライト、ベースライトが知られている。キーライトは、主光源に よるものであって、その場面の設定上の光、中心となる光であり、例えば昼間の室外 のロケーションでは普通太陽光線に相当する。フィルライト（おさえ）は、補助光源によ るものであって、影などを消し、被写体を明るくしたりツヤをつけたりする光であり、例 えば昼間の室外のロケーションでレフ板により太陽光を反射し、暗い所に当てている のがこの光である。
[0051] また、タツチライトは、被写体を背景と分離したり、立体感を与えたりするための光で あり、また、喑さを表現するために斜め後ろから照射して有効な光である。ベースライ トは、全体を平均的に明るくしたり、強いコントラストを和らげるために用いる光である
[0052] 通常は、 1以上のライティングを組み合わせて用いた撮影が行われるため、各ライテ イング種別毎の照明状況に適応して、後述する視聴環境照明を制御することにより、 表示映像シーンの臨場感を向上させることができる。従って、本実施形態では、ライ ティング種別情報として、各映像シーンの撮影時における照明光が、キーライト/フィ ルライト（おさえ) /タツチライト/ベースライトのレ、ずれに属するかを示す 2ビットの記 述を、撮影照明データの中に含有している。
[0053] また、各ライティング種別毎に用いられる照明光源の性質が決められる。一般的な 撮影時の照明光源の性質として、スポットライト（点光源）と、フラッドライト（面光源）と が挙げられる。スポットライト（点光源）は、光の方向性がはっきりしている照明であり、 影がくっきりと出る照明である。一方、フラッドライト（面光源）は、空間全体にわたって 均一な明るさを得るために用いる照明であり、影がぼやけて濃淡が強く出ない照明で ある。
[0054] 通常は、各ライティング種別毎に照明光源の性質が決められるため、この照明光源 の性質に適応して、後述する視聴環境照明を制御することにより、表示映像シーンの 臨場感を向上させることができる。例えば、スポットライト（点光源）による照明光を再 現する場合は、視聴環境照明装置による照明範囲を狭くし、フラッドライト (面光源） による照明光を再現する場合は、視聴環境照明装置による照明範囲を広くするような ことが可能となる。
[0055] 従って、本実施形態では、照明性質情報として、各映像シーンの撮影時に用いら れた照明光源の性質が、スポットライト（点光源) /フラッドライト（面光源）のいずれに 属するかを示す 1ビットの記述を、撮影照明データの中に含有している。
[0056] さらに、各ライティング種別毎に照明光の方向が決められるため、この照明光の方 向に適応して、後述する視聴環境照明を制御することにより、表示映像シーンの臨場 感を向上させることができる。すなわち、映像表示装置の上下左右に配置された複数 の照明装置を独立制御することにより、映像撮影時における撮影照明環境をきめ細 力べ再現することが可能となる。
[0057] 図 6において、〇は被写体、 Cはカメラを示す。ここで、照明光の水平方向の区分と しては、図 6の (A)に示すように、順光、側光 (左、右）、逆光、リムライト (左、右）、レン ブラントライト (左、右）に分けられる。順光は、最も効率的に明るさが得られる正面か らの光である。側光は、立体感を強調することができるが、陰影が強く現れ、強いコン トラストで強烈な印象が得られる光である。逆光は、輪郭を浮かび上がらすシノレエツト 効果をつくることができ、幻想的効果をもたらす後方からの光である。リムライトは、立 体感の強調や髪の毛のディティルを出すために用いられる半逆光的な方向の光で ある。レンブラントライトは、顔の特徴を最も良く表現し美しく見せることができる 45度 方向の光である。
[0058] また、照明光の垂直方向の区分としては、図 6の（B)に示すように、順光、逆光、トツ ブライト、あおり、レンブラントライトに分けられる。順光は、最も効率的に明るさが得ら れる正面からの光である。逆光は、輪郭を浮かび上がらすシノレエツト効果をつくること ができ、幻想的効果をもたらす後方からの光である。トップライトは、人物を綺麗に見 せるというより、特徴的な映像表現などのために用いられる被写体のほぼ真上からの 光である。あおりは、特殊な効果の目的として用いられる被写体の前方下からの光で ある。レンブラントライトは、顔の特徴を最も良く表現し美しく見せることができる 45度 方向の光である。
[0059] 従って、本実施形態では、照明光方向（水平方向）情報として、各映像シーンの撮 影時における照明の光の入射方向（水平方向）が、順光/側光 (左) /側光 (右) / 逆光/リムライト (左) /リムライト (右) /レンブラントライト (左) Zレンブラントライト (右
)のいずれに属するかを示す 3ビットの記述を、撮影照明データの中に含有している 。また、照明光方向（垂直方向）情報として、各映像シーンの撮影時における照明の 光の入射方向 (垂直方向）が、順光/逆光/トップライト/あおり/レンブラントライト のいずれに属するかを示す 3ビットの記述を、撮影照明データの中に含有している。
[0060] また、各ライティング種別毎に照明光の強度及び色度が決められるため、この照明 光の強度及び色度に適応して、後述する視聴環境照明を制御することにより、表示 映像シーンの臨場感を向上させることができる。ここでは、照明強度情報として、各映 像シーンの撮影時における照明の光の強度が、非常に弱い/弱い/やや弱い/普 通/やや強レ、/強レ、/非常に強いのレ、ずれに属するかを示す 3ビットの記述を、撮 影照明データの中に含有している。また、照明色温度情報として、各映像シーンの撮 影時における照明の光の色温度（K)が、 1000/2000/3000/4000/5000/6000 レ、ずれに属する力を示す 4ビットの記述を、撮影照明データの中に含有してレ、る。
[0061] なお、撮影照明データに含まれる各種情報は上述したものに限定されないことは明 らかである。例えば、撮影照明光の色温度を直接表わす照明色温度情報の代わりに 、照明器具種別 (ナトリウム灯/水銀灯/ LED/蛍光灯/蠟燭 /· · ·/メタルハライ ドランプなど）情報や色変換フィルター（コンバージョンフィルター）種別情報などを記 述しておき、これから撮影時における照明光の色温度を求めるようにしても良レ、。また 、撮影照明光の色温度に限らず、色度を直接表わす情報を記述するようにしてもよ レ、ことは言うまでもなレ、。
[0062] また、上述した撮影照明データは、台本 (シナリオもしくは脚本とも呼ぶ）に基づい て作成され、映像撮影現場で用いられるライティングプランなどを利用して生成する ことができ、この場合、新たに撮影照明データを作成する作業を省くことが可能となる [0063] 図 7は映像の構成要素を説明するための図で、以下に図 7を参照して、シーンゃシ ヨットを含む映像の構成にっレ、て説明する。連続する動画像を構成する映像データ は、図 7に示すように、 3層（レイヤ)構成に分けて考えることができる。映像 (Video)を 構成する第 1レイヤ（# 1 )は、フレーム（Frame)である。フレームは物理的なレイヤで あり、単一の 2次元画像を指す。フレームは、通常、毎秒 30フレームのレートで得られ る。第 2レイヤ（# 2)はショット（Shot)である。ショットは単一のカメラにより撮影された フレーム列である。そして、第 3レイヤ（# 3)がシーン（Scene)である。シーンはスト一 リー的なつながりを有するショット列である。
[0064] ここでは、映像データのフレーム単位やショット単位、或いはシーン単位で、上述し た撮影照明データを付加することができる。最低限、シーン単位で撮影照明データを 付加すれば、後述する視聴環境照明の制御を効率良く実現することが可能となるが 、フレーム単位で撮影照明データを付加した場合、より細やかな視聴環境照明の制 御を行うことができる。例えば、映像制作者 (脚本家や演出家など）の意図に応じて、 特定のフレーム（シーン切替フレームなど）に対してのみ撮影照明データが付加され るようにしてもよい。
[0065] また、各ショット単位で撮影照明データを付加することにより、例えば、同一シーン 内であっても屋内と屋外のショットが含まれるような場合にも、適切な視聴環境照明の 制御を実現することが可能となる。その他にも、映像データのランダムアクセスの単位 となる GOP (Group of Picture)単位等で撮影照明データを付加するように構成しても よい。
[0066] 次に、上記映像送信装置より送出された放送データを受信して、映像'音声を表示 •再生するとともに、そのときの視聴環境照明を制御する映像受信装置 (データ受信 装置）について説明する。
[0067] 図 8は、本発明の第 1実施形態に係る視聴環境制御システムにおける映像受信装 置の要部概略構成を示すブロック図で、本実施形態における映像受信装置は、図 8 に示すように、伝送路より入力された放送データを受信して復調するとともに、誤り訂 正を行う受信部 21と、受信部 21の出力データから、映像表示装置 25に出力する映 像データ、音声再生装置 26に出力する音声データ、及び、付加情報としての撮影照 明データのそれぞれを分離 ·抽出するデータ分離部 22と、データ分離部 22で分離さ れた撮影照明データを受けて、前記映像データを構成する各シーンの場面設定 (雰 囲気）に適応した照明に関する制御データを出力する CPU23と、 CPU23からの出 力制御データに応じた照明制御データ (RGBデータ）を、視聴環境空間を照明する 照明装置 27に出力する照明制御データ生成部 24とを備えている。
[0068] ここで、照明装置 27は、映像表示装置 25の周囲に設置されて、所定の色相をもつ た例えば RGBの三原色の光を発光する LEDにより構成することができる。ただし、照 明装置 27は、映像表示装置 25の周囲環境の照明色及び明るさを制御できるような 構成であればよぐ上記のような所定色を発光する LEDの組み合わせに限ることなく 、白色 LEDと色フィルタとによって構成してもよぐあるいは白色電球や蛍光管とカラ 一フィルタとの組み合わせやカラーランプ等を適用することもできる。また、照明装置 27は 1個以上設置されてレ、ればよレ、。
[0069] 本実施形態では、図 9に示すように、映像表示装置 25が設置された視聴環境空間 に、それぞれが独立制御可能な 62個（ID1〜ID62)の照明装置 27が設けられてい るものとする。それぞれの照明装置には IDが付与されており、ここでは、 ID1〜ID8 の照明装置は映像表示装置 25の左側壁を上方より照射するもの、 ID9〜ID18の照 明装置は映像表示装置 25の後背壁を上方より照射するもの、 ID19〜ID26の照明 装置は映像表示装置 25の右側壁を上方より照射するもの、 ID27〜ID34の照明装 置は映像表示装置 25の左側壁を下方より照射するもの、 ID35〜ID44の照明装置 は映像表示装置 25の後背壁を下方より照射するもの、 ID45〜ID52の照明装置は 映像表示装置 25の右側壁を下方より照射するもの、 ID53〜ID62の照明装置は映 像表示装置 25の天井壁を照射するものとして、 62個の照明装置が配設されている。
[0070] CPU23は、図 5とともに説明した撮影照明データから、各シーンの撮影時における 照明環境を、照明装置 27による視聴環境照明によって再現すベぐ各照明装置の I D毎に照明光の強度及び色温度（黒体軌跡上の一点）を決定し、これを制御データ として照明制御データ生成部 24へ出力する。本実施形態においては、撮影照明デ ータに含まれる各種情報に基づいて、例えば、図 10の (A)に示すように、照明強度 を 7段階で示すとともに、図 10の（B)に示すように、照明色温度を 16段階で示す制 御データを各照明装置の ID毎に生成する。なお、 CPU23は、各ライティング種別毎 の照明状況に関する情報を足し合わせて、撮影時における照明環境を再現すベぐ 各照明装置の ID毎の制御データを生成する。
[0071] ここで、黒体はエネルギーを完全に吸収する理想的な物体をさしており、温度が上 昇すると発する光の色が赤→黄→白と変化する。このときの絶対温度を色温度という 。この色温度と色の軌跡 (黒体軌跡)を xy色度図上で表すと、図 11のようになる。光源 の色が黒体軌跡上にない場合、完全に一致しないが最も近似の黒体の温度を「相関 色温度」という。一般的に相関色温度は黒体軌跡からの偏差 ( Δ ιν)と共に表される。
[0072] 照明制御データ生成部 24は、図 10の（C)に示すように、 CPU23からの制御デー タ（強度、色温度）に応じた RGBデータを生成して、照明装置 27に出力する。すなわ ち、各照明装置 ID毎の RGBデータ力 対応する IDの照明装置に出力されることによ り、表示映像の撮影時における照明状況に応じた、最適な視聴環境の照明制御を実 現すること力 S可能となる。すなわち、 CPU23には、各照明装置の設置位置（映像表 示装置の表示画面に対する相対位置）に関する情報が予め登録されており、この位 置情報と撮影照明データとを用いて、撮影時における照明環境を再現すベぐ各照 明装置に対する制御データを生成する。
[0073] 例えば、照明性質情報がスポットライト（点光源)である場合は、その照明光の入射 方向に位置する IDの照明装置を中心とした N個の照明装置によって、所定の強度 及び色温度の照明光を照射する。また、照明性質情報がフラッドライト（面光源)であ る場合は、その照明光の入射方向に位置する IDの照明装置を含む広範囲の M (M 》N)個の照明装置によって、所定の強度及び色温度の照明光を照射する。
[0074] また、撮影照明光の入射方向と対応する照明装置 IDとの関係例は、例えば、図 12 に示すようになる。すなわち、図 12の (A)において、水平方向の照明光の方向が順 光であり、垂直方向の照明光の方向があおり以外の場合、この照明光を再現するに は、 ID9〜ID18の照明装置を用いる。また、水平方向の照明光の方向が側光（左） であり、垂直方向の照明光の方向があおり以外の場合、この照明光を再現するには 、 ID1〜ID8の照明装置を、水平方向の照明光の方向が側光（右）であり、垂直方向 の照明光の方向があおり以外の場合、この照明光を再現するには、 ID19〜ID26の 照明装置を用いる。
[0075] さらに、水平方向の照明光の方向が逆光であり、垂直方向の照明光の方向があお り以外の場合、この照明光を再現するには、 ID5〜ID22の照明装置を、水平方向の 照明光の方向力 Sリムライト (左）であり、垂直方向の照明光の方向があおり以外の場合 、この照明光を再現するには、 ID9〜ID13の照明装置を、水平方向の照明光の方 向がリムライト (右）であり、垂直方向の照明光の方向があおり以外の場合、この照明 光を再現するには、 ID14〜ID18の照明装置を用いる。
[0076] そしてまた、水平方向の照明光の方向がレンブラントライト (左）であり、垂直方向の 照明光の方向があおり以外の場合、この照明光を再現するには、 ID5〜ID11の照 明装置を、水平方向の照明光の方向がレンブラントライト (右）であり、垂直方向の照 明光の方向があおり以外の場合、この照明光を再現するには、 ID16〜ID22の照明 装置を用いる。
[0077] また、水平方向の照明光の方向が順光であり、垂直方向の照明光の方向があおり の場合、この照明光を再現するには、図 12の（B)に示すように、 ID35〜ID44の照 明装置を、水平方向の照明光の方向が側光 (左）であり、垂直方向の照明光の方向 があおりの場合、この照明光を再現するには、 ID27〜ID34の照明装置を、水平方 向の照明光の方向が側光（右）であり、垂直方向の照明光の方向があおりの場合、こ の照明光を再現するには、 ID45〜ID52の照明装置を用いる。
[0078] さらに、水平方向の照明光の方向が逆光であり、垂直方向の照明光の方向があお りの場合、この照明光を再現するには、 ID31〜ID48の照明装置を、水平方向の照 明光の方向がリムライト (左）であり、垂直方向の照明光の方向があおりの場合、この 照明光を再現するには、 ID35〜ID39の照明装置を、水平方向の照明光の方向が リムライト（右）であり、垂直方向の照明光の方向があおりの場合、この照明光を再現 するには、 ID40〜ID44の照明装置を用いる。
[0079] そしてまた、水平方向の照明光の方向がレンブラントライト (左）であり、垂直方向の 照明光の方向があおりの場合、この照明光を再現するには、 ID3：!〜 ID37の照明装 置を、水平方向の照明光の方向がレンブラントライト (右）であり、垂直方向の照明光 の方向があおりの場合、この照明光を再現するには、 ID42〜ID48の照明装置を用 いる。
[0080] また、水平方向の照明光の方向に関わらず、垂直方向の照明光の方向がトップライ トの場合、図 12の（C)に示すように、この照明光を再現するには、 ID53〜ID62の照 明装置を用いる。このように、映像表示装置 25の上下左右に配置された複数の照明 装置を、撮影照明データに基づいて独立制御することにより、撮影現場の照明状況 をきめ細力べ再現して、映像視聴時の臨場感を増大させることが可能となる。
[0081] 次に、図 13を参照して、撮影照明データに応じた具体的な照明制御例について説 明する。図 13は、図 1とともに説明した映像シーンに対応した撮影照明データであり 、この映像シーンは、照明光源の性質力 Sスポットライト（点光源）、水平方向の照明光 の入射方向が順光、垂直方向の照明光の入射方向がトップライト、照明強度は強ぐ 照明色温度は約 6000Kのキーライト（太陽光）のみの照明状況下で撮影されたことを 示している。
[0082] CPU23は、この撮影照明データに基づいて、映像表示装置 25の後背壁を上方よ り照射する ID9〜ID18の照明装置と、映像表示装置 25の天井壁を照射する ID53 〜ID62の照明装置とによって、照明強度が強ぐ照明色温度が約 6000K (図 11の xy 色度図上、（b)点で示す)の照明光を照射するように照明装置 27を制御する制御デ ータを生成する。
[0083] 照明制御データ生成部 24は、 CPU23からの制御データを受けて、図 14に示すよ うな照明制御データ (RGBデータ）を出力する。これによつて、図 15に示すように、照 明装置の ID9〜ID18及び ID53〜ID62から光が照射され、映像表示装置 25の後 背壁及び天井を適切な照明光により照射して、上述した表示映像シーンの撮影時に おける照明環境を視聴空間に再現することが可能となり、映像視聴時の臨場感を増 大させることができる。
[0084] また、図 16は図 2とともに説明した映像シーンに対応した撮影照明データであり、こ の映像シーンは、照明光源の性質がフラッドライト（面光源）、水平方向の照明光の 入射方向が順光、垂直方向の照明光の入射方向がトップライト、照明強度が普通、 照明色温度が約 7000Kであるキーライト（上段）と、照明光源の性質がフラッドライト（ 面光源）、水平方向の光の入射方向がレンブラントライト (左）、垂直方向の光の入射 方向があおり、照明強度が弱ぐ照明色温度が約 7000Kであるフィルライト（中段）と、 照明光源の性質力スポットライト（点光源）、水平方向の光の入射方向が側光 (右）、 垂直方向の光の入射方向が順光、照明強度がやや弱ぐ照明色温度が約 5000Kで あるタツチライト（下段）とによる照明状況下で撮影されたことを示している。
[0085] CPU23は、この撮影照明データに基づいて、映像表示装置 25の後背壁を上方よ り照射する ID9〜ID18の照明装置と、映像表示装置 25の天井壁を照射する ID53 〜ID62の照明装置とによって、照明強度が普通、照明色温度が約 7000K (図 11の X y色度図上、（c)点で示す）の照明光を照射し、映像表示装置 25の右側壁を上方か ら照射する ID19〜ID26の照明装置によって、照明強度が弱ぐ照明色温度が約 70 00K (図 11の xy色度図上、 （c)点で示す）の照明光を照射するとともに、映像表示装 置 25の左側壁を下方から照射する ID3：!〜 ID37の照明装置によって、照明強度が やや弱ぐ照明色温度が約 5000K (図 11の xy色度図上、（a)点で示す）の照明光を 照射するように照明装置 27を制御する制御データを生成する。
[0086] 照明制御データ生成部 24は、 CPU23からの制御データを受けて、図 17に示すよ うな照明制御データ (RGBデータ）を出力する。これによつて、図 18に示すように、映 像表示装置 25の天井、後背壁及び左右の側壁を適切な照明光により照射して、上 述した表示映像シーンの撮影時における照明環境を視聴空間に再現することが可 能となり、映像視聴時の臨場感を増大させることができる。
[0087] 上記のように、本実施形態においては、映像データとともに撮影照明データとして 入力された各種情報内容から、各シーンの撮影時における照明状況（雰囲気）を適 切に再現すべく照明制御データを求め、照明装置 27の照明光を制御することが可 能である。従って、映像内容の影響を受けることなぐ 自然で違和感のない視聴環境 照明を実現することができ、映像視聴時の臨場感を増大させることが可能となる。
[0088] なお、本実施形態においては、各シーンの撮影時照明状況に関する撮影照明デ ータを送受信するようにしているので、多様な視聴環境空間に適応した視聴環境照 明制御を行うことが可能である。すなわち、照明装置の数や配置状況などの視聴空 間/照明装置に関する情報を予め CPU23に入力しておくことにより、受信した撮影 照明データから個々の映像視聴空間に応じた適切な制御データを生成することがで きる。
[0089] また、照明装置が 1個のみの場合や、複数の照明装置の独立制御が不可能な場合 は、例えば、キーライトに関する情報のみを用いて、視聴環境照明の制御を行うよう すればよい。このように、受信した撮影照明データを視聴空間/照明装置に応じて 適宜選択/加工し、視聴環境照明を制御することにより、最適な映像視聴空間を実 現すること力 Sできる。この場合、撮影照明データは、キーライト、フィルライト、タツチラ イト、ベースライトのそれぞれに関する照明状況情報を、階層構造を持ったデータ構 成として送受信するようにすれば、必要な情報を容易に選択/加工することが可能 である。
[0090] さらに、上記本発明の第 1の実施形態においては、放送データに含まれる撮影照 明データのみを用いて、視聴環境照明を制御するものについて説明した力 より適 切な視聴環境照明の制御を実現するために、撮影照明データに加えて、映像データ 及び/又は音声データも用いて、視聴環境照明を制御する構成としてもよい。これに ついて、本発明の第 2の実施形態として、以下に説明する。
[0091] 以下、本発明の視聴環境制御システムの第 2実施形態について、図 19乃至図 21 とともに詳細に説明するが、上記第 1の実施形態と同一部分には同一符号を付し、そ の説明は省略する。ここで、図 19は本実施形態の視聴環境制御システムにおける映 像受信装置の要部概略構成を示すブロック図、図 20は図 19における照明制御デー タ生成部を示すブロック図、図 21は本実施形態の視聴環境制御システムにおける照 明光の色再現範囲を表わす説明図である。
[0092] 本実施形態における映像送信装置 (データ送信装置）は、図 3とともに説明した第 1 実施形態のものと同様であり、ここではその説明を省略する。
[0093] 本実施形態における映像受信装置 (データ受信装置）は、図 19に示すように、伝送 路より入力された放送データを受信して復調するとともに、誤り訂正を行う受信部 21 と、受信部 21の出力データから、映像表示装置 25に出力する映像データと TC (タイ ムコード）、音声再生装置 26に出力する音声データと TC (タイムコード）、付加情報と しての撮影照明データのそれぞれを分離'抽出するデータ分離部 22と、データ分離 部 22で分離された撮影照明データを受けて、前記映像データを構成する各シーン の撮影時における照明状況に適応した制御データを出力する CPU33と、 CPU33 からの制御データに応じた照明制御データ (RGBデータ）を、視聴環境空間を照明 する照明装置 27に出力する照明制御データ生成部 34と、照明制御データ生成部 3 4における処理時間分だけ映像データ、音声データ、制御データを遅延して出力す るディレイ発生部 35， 36， 37とを備えている。
[0094] ここで、本実施形態の CPU33は、撮影照明データに基づいて、各照明装置 ID毎 に照明光の強度及び色温度（黒体軌跡上の一点）を求め、該色温度を含む所定の 色範囲を示す情報（図 21の xy色度図上、一点鎖線で示す範囲を表わす関数）を決 定し、これらを制御データとして出力する。そして、照明制御データ生成部 34では、 映像データ、音声データに基づいて求めた場 (雰囲気)推定結果が、撮影照明デー タに基づいて求められた色範囲内に収まるように補正し、照明制御データ (RGBデ ータ）を出力する。
[0095] なお、タイムコード (TC)は、映像データ、音声データそれぞれの再生時間情報を 示すために付加された情報であり、例えば、映像データの時間（h)：分 (m)：秒（s)： フレーム（f)を示す情報により構成されてレ、る。
[0096] 本実施形態の照明制御データ生成部 34は、図 20に示すように、撮影照明データ に基づいて、シーン区間の開始点 TC、終了点 TCを検出するシーン区間検出部 41 と、シーン区間の開始点 TCから所定時間分の映像データ及び音声データに基づい て、撮影現場の照明状態や場面設定 (雰囲気)を推定する場 (雰囲気)推定部 42と、 場 (雰囲気)推定部 42による推定結果と CPU33より出力された制御データとから、照 明装置 27を制御する照明制御データを出力する照明制御部 43とを備えている。
[0097] 場 (雰囲気)推定部 42による撮影時の周囲光の状態の推定方法は、公知のものを はじめとする各種の技術を用いることができる。なお、ここでは、各シーンの場 (雰囲 気）の推定のために映像データの特徴量に加えて、音声データの特徴量も用いてい るが、これは場 (雰囲気）の推定精度をより向上させるためであり、映像データの特徴 量のみから撮影シーンの場 (雰囲気）を推定するようにしてもょレ、。
[0098] また、映像データの特徴量としては、例えば、上述した従来例のように、画面の所 定領域における色信号、輝度信号をそのまま用いることもできるし、これらから映像撮 影時における周囲光の色温度を求めて用いてもよい。さらに、これらを映像データの 特徴量として切替出力可能に構成してもよい。また、音声データの特徴量としては、 音量、音声周波数などを用いることができる。
[0099] この場 (雰囲気)推定部 42は、映像データ、音声データの特徴量に基づいて、撮影 時の周囲光の色、明るさを推定するものである力 S、ここで推定された周囲光の色が、 撮影照明データより求められた所定の色範囲外にある場合は、照明制御部 43により 補正されて、各シーンの撮影時における照明状況に適した照明制御データを得るこ とが可能となっている。
[0100] 例えば、場 (雰囲気)推定部 42による周囲光の色の推定結果力 図 21の xy色度図 上の (A)点であり、 CPU33より出力される制御データが示す照明色温度が図 21の X y色度図上の（a)点を示している場合、照明制御部 43は、 xy色度図上の (A)点と（a )点とを結ぶ直線と、（a)点を中心とした色範囲を示す関数（図 21の xy色度図上、一 点鎖線で示した楕円形を表わす関数)との交点 (Α' )を求め、これを視聴環境照明光 の色とする。
[0101] 同様に、場 (雰囲気)推定部 42による周囲光の色の推定結果が、図 21の xy色度図 上の（B)点であり、 CPU33より出力される制御データが示す照明色温度が図 21の X y色度図上の（c)点を示している場合、照明制御部 43は、 xy色度図上の（B)点と（c) 点とを結ぶ直線と、（c)点を中心とした色範囲を示す関数（図 21の xy色度図上、一 点鎖線で示した楕円形を表わす関数)との交点 (Β' )を求め、これを視聴環境照明光 の色とする。
[0102] また、場 (雰囲気)推定部 42による周囲光の明るさの推定結果についても、 CPU3 3より出力される制御データが示す照明強度に応じて適切に補正される。なお、場（ 雰囲気)推定部 42による周囲光の推定結果が、撮影照明データより求められた所定 の照明範囲内にある場合は、場 (雰囲気)推定部 42による周囲光の推定結果を、そ のまま照明制御データとして照明装置 27に出力する。
[0103] また、ここでは、 xy色度図上で、場 (雰囲気)推定部 42による推定結果と CPU33よ り出力される制御データが示す照明色温度とを結ぶ直線と、 CPU33より出力される 制御データが示す色範囲を表わす関数との交点から、照明装置 27に出力する照明 制御データを求めるようにしている力 これに限られないことは明らかである。例えば 、 xy色度図上で、場 (雰囲気)推定部 42による推定結果までの距離が最小となる所 定の色範囲内の点や、場 (雰囲気)推定部 42による推定結果との色差 Δ Εが最小と なる所定の色範囲内の点から、照明制御データを求めるようにしてもよい。
[0104] また、単に場 (雰囲気)推定部 42による推定結果と CPU33より出力される制御デ ータが示す照明色温度及び照明強度との平均値や加重平均値を、照明装置 27に 出力する照明制御データとするようにしてもよい。なお、上述の照明制御データが照 明装置の ID毎に生成されることは、言うまでもない。
[0105] 以上のように、本実施形態においては、撮影照明データと映像データ及び Z又は 音声データとを用いて、視聴環境照明を制御する構成としているので、撮影照明デ ータからだけでは推定することが困難な照明環境に対しても、映像データ及び/又 は音声データの特徴量に基づレ、た場 (雰囲気）の推定結果を用いることで、より正確 な照明環境を推定することができ、より適切な照明制御を行うことが可能になるととも に、映像データ及び/又は音声データの特徴量に基づいた場 (雰囲気）の推定誤り によって、臨場感や雰囲気を阻害するような照明制御がなされることを抑制し、常に 最適な視聴環境を実現することが可能となる。
[0106] また、本実施形態によれば、撮影照明データに基づいてシーン区間を検出するシ ーン区間検出部 41を設け、シーン単位で照明制御データを切替制御する構成とし ているので、同じシーン内で視聴環境照明が激しく変化して臨場感を損なってしまう ことを防止することができる。
[0107] また、本実施形態においては、撮影照明データに基づいて、照明光の色温度を含 む所定の色範囲を示す情報（図 21の xy色度図上、一点鎖線で示す範囲を表す関 数）を決定しているが、この所定の色範囲の大きさは、ユーザが任意に可変設定でき るようにしてもよレ、。すなわち、所定の色範囲を大きく設定すれば、より画面の広がり を再現する効果が得られ、所定の色範囲を小さく設定すれば、より撮影時における照 明環境を再現する効果が得られるため、ユーザがいずれの照明効果を重視するかに よって、撮影照明データより求められる色範囲の大きさを可変設定すればよい。 [0108] さらに、画面の広がりを再現する効果と撮影時における照明環境を再現する効果と のレ、ずれが望ましレ、かは、映像表示装置 25で表示する映像コンテンツによっても異 なるため、この映像コンテンツの種別（例えばジャンル）の判別結果に応じて、撮影照 明データより求められる所定の色範囲の大きさを可変設定できるようにしてもよい。
[0109] なお、上記本発明の第 1、第 2の実施形態においては、撮影照明データが放送デ ータに多重付加されて送信される場合について説明したが、放送データに撮影照明 データが付加されていない場合、表示する映像データに対応する撮影照明データを 外部サーバ装置等より送受信することによって、映像の撮影時照明状況に応じた最 適な視聴環境を実現することが可能となる。これについて、以下に説明する。
[0110] 以下、本発明の視聴環境制御システムの第 3実施形態について、図 22乃至図 27 とともに詳細に説明するが、上記第 1の実施形態と同一部分には同一符号を付し、そ の説明は省略する。ここで、図 22は本実施形態の視聴環境制御システムにおける外 部サーバ装置の要部概略構成を示すブロック図、図 23乃至図 26は本実施形態の 視聴環境制御システムにおける撮影照明データ格納テーブルの一例を示す説明図 、図 27は本実施形態の視聴環境制御システムにおける映像受信装置の要部概略構 成を示すブロック図である。
[0111] 本実施形態における外部サーバ装置 (データ送信装置）は、図 22に示すように、映 像受信装置 (データ受信装置)側から特定の映像データ (コンテンツ）に関する撮影 照明データの送信要求を受信する受信部 51と、映像データ (コンテンツ)毎の撮影 照明データを格納しているデータ格納部 52と、送信要求を受けた撮影照明データを 要求元の映像受信装置 (データ受信装置)へ送信する送信部 53とを備えている。
[0112] ここで、本実施形態のデータ格納部 52に格納されている撮影照明データは、図 23 乃至図 26に示すように、各映像シーンのシーン番号、シーン開始タイムコードに対 応付けてテーブル形式に記述されており、送信要求を受けた映像データ (番組コン テンッ）に対応する撮影照明データを、当該映像データを構成する各シーンのシー ン番号、シーン開始 TC (タイムコード）とともに、送信部 53より要求元の映像受信装 置へ送信する。
[0113] なお、ここでは、多様な視聴環境空間に対応するため、図 23に示すようなキーライ トに関する情報のみを記述したデータテーブルと、図 24に示すようなキーライト及び フィルライトに関する情報を記述したデータテーブルと、図 25に示すようなキーライト 、フィルライト及びタツチライトに関する情報を記述したデータテーブルと、図 26に示 すようなキーライト、フィルライト、タツチライト及びベースライトに関する情報を記述し たデータテーブルとの 4種類の撮影照明データテーブルを用意しておき、映像受信 装置からの送信要求に応じて、これらのいずれかを映像受信装置に送信するように している。
[0114] ただし、図 26に示すようなキーライト、フィルライト、タツチライト及びベースライトに関 する情報を記述したデータテーブルのみを用意しておき、映像受信装置からの送信 要求に応じて、必要なデータのみを選択/加工して映像受信装置に送信するように してもよい。
[0115] 次に、上記外部サーバ装置より送出された撮影照明データを受けて、視聴環境照 明を制御する映像受信装置 (データ受信装置）について説明する。本実施形態にお ける映像受信装置は、図 27に示すように、伝送路より入力された放送データを受信 して復調するとともに、誤り訂正を行う受信部 61と、受信部 61の出力データから、映 像表示装置 25に出力する映像データ、音声再生装置 26に出力する音声データの それぞれを分離'抽出するデータ分離部 62と、表示する映像データ（コンテンツ）に 対応した撮影照明データの送信要求を、通信ネットワークを介して外部サーバ装置（ データ送信装置）に送出する送信部 65と、前記送信要求した撮影照明データを、通 信ネットワークを介して外部サーバ装置より受信する受信部 66とを備えている。
[0116] また、前記受信部 66で受信した撮影照明データを記憶し、映像データの各シーン の表示タイミングに同期して、当該映像シーンの撮影照明データから求められた各 照明装置 ID毎の照明強度及び色温度に関する制御データを出力する CPU63と、 C PU63からの出力制御データに応じた照明制御データ (RGBデータ）を、視聴環境 空間を照明する照明装置 27に出力する照明制御データ生成部 24とを備えている。
[0117] すなわち、 CPU63は、外部サーバ装置より受信して内部に記憶している撮影照明 データ格納テーブルの各シーンの開始タイムコードと、映像表示装置 25に表示され る映像データのタイムコードとを比較し、これらが一致した時に対応する撮影照明デ ータを読み出し、この撮影照明データから表示映像シーンの場面設定 (雰囲気）に適 応した制御データを出力することができる。
[0118] これによつて、放送データに撮影照明データが付加されていない場合であっても、 表示映像データ (番組コンテンツ）に対応する撮影照明データを外部サーバ装置より 入手し、この撮影照明データに基づいて照明制御データを生成することでき、し力も 簡単な構成で映像シーンの表示切替わりタイミングと視聴環境照明の切替えタイミン グとを同期させることができるので、映像の撮影時照明状況に応じた最適な視聴環境 を実現することが可能となる。
[0119] なお、上記本発明の第 3の実施形態においては、外部サーバ装置より受信した撮 影照明データのみを用いて、視聴環境照明を制御するものについて説明したが、よ り適切な視聴環境照明の制御を実現するために、撮影照明データに加えて、映像デ ータ及び/又は音声データも用いて、視聴環境照明を制御する構成としてもよい。こ れについて、本発明の第 4の実施形態として、以下に説明する。
[0120] 以下、本発明の視聴環境制御システムの第 4実施形態について、図 28及び図 29 とともに詳細に説明するが、上記第 2、第 3の実施形態と同一部分には同一符号を付 し、その説明は省略する。ここで、図 28は本実施形態の視聴環境制御システムにお ける映像受信装置の要部概略構成を示すブロック図、図 29は図 28における照明制 御データ生成部を示すブロック図である。
[0121] 本実施形態における外部サーバ装置 (データ送信装置）は、図 22とともに上述した 第 3実施形態のものと同様であり、ここではその説明を省略する。
[0122] 本実施形態における映像受信装置 (データ受信装置）は、図 28に示すように、伝送 路より入力された放送データを受信して復調するとともに、受信部 61と、受信部 61の 出力データから、映像表示装置 25に出力する映像データ、音声再生装置 26に出力 する音声データのそれぞれを分離'抽出するデータ分離部 62と、表示する映像デー タ（コンテンツ）に対応した撮影照明データの送信要求を、通信ネットワークを介して 外部サーバ装置 (データ送信装置）に送出する送信部 65と、前記送信要求した撮影 照明データを、通信ネットワークを介して外部サーバ装置より受信する受信部 66とを 備えている。 [0123] また、前記受信部 66で受信した撮影照明データを記憶し、映像データの各シーン の出力タイミングに同期して、当該映像シーンの撮影照明データから求められた各 照明装置 ID毎の照明強度及び色温度、色範囲に関する制御データ、及びシーン開 始点タイムコードを出力する CPU73と、 CPU73からの出力制御データに応じた照 明制御データ (RGBデータ）を、視聴環境空間を照明する照明装置 27に出力する照 明制御データ生成部 74と、照明制御データ生成部 74における処理時間分だけ映像 データ、音声データ、制御データを遅延して出力するディレイ発生部 35, 36， 37とを 備えている。
[0124] ここで、本実施形態の CPU73は、撮影照明データに基づいて、各照明装置 ID毎 に照明光の強度及び色温度（黒体軌跡上の一点）を求め、該色温度を含む所定の 色範囲を示す情報（図 21の xy色度図上、一点鎖線で示す範囲を表わす関数）を決 定し、これらを制御データとして出力する。そして、照明制御データ生成部 74では、 映像データ、音声データに基づいて求めた場 (雰囲気)推定結果が、撮影照明デー タに基づいて求められた色範囲内に収まるように補正し、照明制御データ (RGBデ ータ）を出力する。
[0125] 本実施形態の照明制御データ生成部 74は、図 29に示すように、 CPU73からのシ ーン開始点 TCから所定時間分の映像データ及び音声データに基づいて、撮影現 場の照明状態や場面設定 (雰囲気)を推定する場 (雰囲気)推定部 82と、場 (雰囲気 )推定部 82による推定結果と CPU73より出力された制御データとから、照明装置 27 を制御する照明制御データを出力する照明制御部 43とを備えている。
[0126] この場 (雰囲気)推定部 82は、映像データ、音声データの特徴量に基づいて、撮影 時の周囲光の色、明るさを推定するものである力 S、ここで推定された周囲光の色が、 撮影照明データより求められた所定の色範囲外にある場合は、照明制御部 43により 補正されて、各シーンの撮影時における照明状況に適した照明制御データを得るこ とが可能となっている。
[0127] 以上のように、本実施形態においては、放送データに撮影照明データが付加され ていない場合であっても、表示映像データ (番組コンテンツ）に対応する撮影照明デ ータを外部サーバ装置より入手し、この撮影照明データと映像データ及び Z又は音 声データとを用いて、視聴環境照明を制御する構成としているので、撮影照明デー タに加えて映像データ及び/又は音声データの特徴量に基づいた場 (雰囲気）の推 定結果を考慮した照明制御を行うことが可能になるとともに、映像データ及び/又は 音声データの特徴量に基づレ、た場 (雰囲気)の推定誤りによって、臨場感や雰囲気 を阻害するような照明制御がなされることを抑制し、常に最適な視聴環境を実現する ことが可能である。
[0128] また、本実施形態によれば、撮影照明データ格納テーブルのシーン開始タイムコ ードに基づレ、て、シーン単位で照明制御データを切替制御する構成としてレ、るので 、同じシーン内で視聴環境照明が激しく変化して臨場感を損なってしまうことを防止 すること力 Sできる。
[0129] また、本実施形態においては、撮影照明データに基づいて、照明光の色温度を含 む所定の色範囲を示す情報（図 21の xy色度図上、一点鎖線で示す範囲を表す関 数）を決定している力 この所定の色範囲の大きさは、ユーザが任意に可変設定でき るようにしてもよレ、。すなわち、所定の色範囲を大きく設定すれば、より画面の広がり を再現する効果が得られ、所定の色範囲を小さく設定すれば、より撮影時における照 明環境を再現する効果が得られるため、ユーザがいずれの照明効果を重視するかに よって、撮影照明データより求められる色範囲の大きさを可変設定すればよい。
[0130] さらに、画面の広がりを再現する効果と撮影時における照明環境を再現する効果と のレ、ずれが望ましレ、かは、映像表示装置 25で表示する映像コンテンツによっても異 なるため、この映像コンテンツの種別（例えばジャンル）の判別結果に応じて、撮影照 明データより求められる所定の色範囲の大きさを可変設定できるようにしてもよい。
[0131] なお、本発明の視聴環境制御装置、方法、及び視聴環境制御システムは、上述し た本発明の主旨を逸脱しない範囲で、様々な実施形態により実現することが可能で ある。例えば、視聴環境制御装置は映像表示装置内に設けられてもよぐ入力映像 データに含まれる種々の情報に基づいて、外部の照明機器を制御することができる ような構成としてもよいことは言うまでもなレ、。
[0132] また、上述した撮影照明データは、放送データから分離'取得する場合や、外部サ ーバ装置から取得する場合に限られず、例えば、外部機器 (DVD再生機やブルー レイディスク再生機など)で再生された映像情報を表示する場合、メディア媒体内に 付加された撮影照明データを読み出して、これを用いるようにしてもよい。

Claims

請求の範囲
[1] 1以上のシーン力 構成される映像データを送信するデータ送信装置において、 前記映像データの各シーンの撮影時における照明状況を示す撮影照明データを、 前記映像データに付加して送信することを特徴とするデータ送信装置。
[2] 前記撮影照明データは、前記映像データのシーン単位で付加されることを特徴と する前記請求項 1に記載のデータ送信装置。
[3] 前記撮影照明データは、前記映像データのショット単位で付加されることを特徴と する前記請求項 1に記載のデータ送信装置。
[4] 前記撮影照明データは、前記映像データのフレーム単位で付加されることを特徴と する前記請求項 1に記載のデータ送信装置。
[5] 前記請求項 1乃至 4のいずれかに記載のデータ送信装置において、
前記撮影照明データは、少なくとも各シーンの撮影に用いられた照明のライティン グ種別を表わす情報を含むことを特徴とするデータ送信装置。
[6] 前記請求項 1乃至 5のいずれかに記載のデータ送信装置において、
前記撮影照明データは、少なくとも各シーンの撮影に用いられた照明の性質を表 わす情報を含むことを特徴とするデータ送信装置。
[7] 前記請求項 1乃至 6のいずれかに記載のデータ送信装置において、
前記撮影照明データは、少なくとも各シーンの撮影に用いられた照明の光の方向 を表わす情報を含むことを特徴とするデータ送信装置。
[8] 前記請求項 1乃至 7のいずれかに記載のデータ送信装置において、
前記撮影照明データは、少なくとも各シーンの撮影に用いられた照明の光の強度 を表わす情報を含むことを特徴とするデータ送信装置。
[9] 前記請求項 1乃至 8のいずれかに記載のデータ送信装置において、
前記撮影照明データは、少なくとも各シーンの撮影に用いられた照明の光の色度 を表わす情報を含むことを特徴とするデータ送信装置。
[10] 外部からの要求を受けて、映像データを構成する各シーンの撮影時における照明 状況を示す撮影照明データを送信するデータ送信装置であって、
前記撮影照明データを、前記映像データを構成する各シーンの開始タイミングとと もに送信することを特徴とするデータ送信装置。
[11] 前記請求項 10に記載のデータ送信装置において、
前記撮影照明データは、少なくとも各シーンの撮影に用いられた照明のライティン グ種別を表わす情報を含むことを特徴とするデータ送信装置。
[12] 前記請求項 10又は 11に記載のデータ送信装置において、
前記撮影照明データは、少なくとも各シーンの撮影に用レ、られた照明の性質を表 わす情報を含むことを特徴とするデータ送信装置。
[13] 前記請求項 10乃至 12のいずれかに記載のデータ送信装置において、
前記撮影照明データは、少なくとも各シーンの撮影に用いられた照明の光の方向 を表わす情報を含むことを特徴とするデータ送信装置。
[14] 前記請求項 10乃至 13のいずれかに記載のデータ送信装置において、
前記撮影照明データは、少なくとも各シーンの撮影に用いられた照明の光の強度 を表わす情報を含むことを特徴とするデータ送信装置。
[15] 前記請求項 10乃至 14のいずれかに記載のデータ送信装置において、
前記撮影照明データは、少なくとも各シーンの撮影に用いられた照明の光の色度 を表わす情報を含むことを特徴とするデータ送信装置。
[16] 表示装置に表示すべき映像データと、該映像データを構成する各シーンの撮影時 における照明状況を示す撮影照明データとを受信する受信手段と、
前記撮影照明データに基づいて、前記表示装置の周辺に設置された照明装置の 照明光を制御する制御手段とを備えたことを特徴とする視聴環境制御装置。
[17] 前記請求項 16に記載の視聴環境制御装置において、
前記制御手段は、前記照明装置の照明光を前記映像データのシーン単位で切替 制御することを特徴とする視聴環境制御装置。
[18] 前記請求項 16又は 17に記載の視聴環境制御装置において、
前記制御手段は、前記撮影照明データに加え、前記映像データの特徴量も用いて 、前記照明装置の照明光を制御することを特徴とする視聴環境制御装置。
[19] 前記請求項 16乃至 18のいずれかに記載の視聴環境制御装置において、
前記撮影照明データは、少なくとも各シーンの撮影に用レ、られた照明のライティン グ種別を表わす情報を含むことを特徴とする視聴環境制御装置。
[20] 前記請求項 16乃至 19のいずれかに記載の視聴環境制御装置において、
前記撮影照明データは、少なくとも各シーンの撮影に用いられた照明の性質を表 わす情報を含むことを特徴とする視聴環境制御装置。
[21] 前記請求項 16乃至 20に記載の視聴環境制御装置において、
前記撮影照明データは、少なくとも各シーンの撮影に用いられた照明の光の方向 を表わす情報を含むことを特徴とする視聴環境制御装置。
[22] 前記請求項 16乃至 21のいずれかに記載の視聴環境制御装置において、
前記撮影照明データは、少なくとも各シーンの撮影に用いられた照明の光の強度 を表わす情報を含むことを特徴とする視聴環境制御装置。
[23] 前記請求項 16乃至 22のいずれかに記載の視聴環境制御装置において、
前記撮影照明データは、少なくとも各シーンの撮影に用いられた照明の光の色度 を表わす情報を含むことを特徴とする視聴環境制御装置。
[24] 前記請求項 16乃至 23のいずれかに記載の視聴環境制御装置と、該視聴環境制 御装置によって視聴環境照明光を制御される照明装置とを備えることを特徴とする視 聴環境制御システム。
[25] 1以上のシーン力 構成される映像データを送信するデータ送信方法において、 前記映像データの各シーンの撮影時における照明状況を示す撮影照明データを、 前記映像データに付加して送信することを特徴とするデータ送信方法。
[26] 外部からの要求を受けて、映像データを構成する各シーンの撮影時における照明 状況を示す撮影照明データを送信するデータ送信方法であって、
前記撮影照明データを、前記映像データを構成する各シーンの開始タイミングとと もに送信することを特徴とするデータ送信方法。
[27] 表示装置に表示すべき映像データと、該映像データを構成する各シーンの撮影時 における照明状況を示す撮影照明データとを受信し、
前記撮影照明データに基づいて、前記表示装置の周辺に設置された照明装置の 照明光を制御することを特徴とする視聴環境制御方法。
PCT/JP2007/057760 2006-04-21 2007-04-06 データ送信装置、データ送信方法、視聴環境制御装置、視聴環境制御システム、及び視聴環境制御方法 WO2007123008A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP07741196A EP2018062A4 (en) 2006-04-21 2007-04-06 DATA TRANSMISSION METHOD AND DEVICE, AND AUDIOVISUAL ENVIRONMENT MANAGEMENT DEVICE, SYSTEM AND METHOD
US12/297,552 US20090109340A1 (en) 2006-04-21 2007-04-06 Data Transmission Device, Data Transmission Method, Audio-Visual Environment Control Device, Audio-Visual Environment Control System, And Audio-Visual Environment Control Method
JP2008512063A JP4950988B2 (ja) 2006-04-21 2007-04-06 データ送信装置、データ送信方法、視聴環境制御装置、視聴環境制御システム、及び視聴環境制御方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2006117346 2006-04-21
JP2006-117346 2006-04-21

Publications (1)

Publication Number Publication Date
WO2007123008A1 true WO2007123008A1 (ja) 2007-11-01

Family

ID=38624914

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2007/057760 WO2007123008A1 (ja) 2006-04-21 2007-04-06 データ送信装置、データ送信方法、視聴環境制御装置、視聴環境制御システム、及び視聴環境制御方法

Country Status (5)

Country Link
US (1) US20090109340A1 (ja)
EP (1) EP2018062A4 (ja)
JP (1) JP4950988B2 (ja)
CN (1) CN101427578A (ja)
WO (1) WO2007123008A1 (ja)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009253846A (ja) * 2008-04-09 2009-10-29 Canon Inc 放送受信装置、放送受信方法
WO2010087155A1 (ja) * 2009-01-27 2010-08-05 シャープ株式会社 データ送信装置、データ送信方法、視聴環境制御装置、視聴環境制御方法および視聴環境制御システム
WO2010087153A1 (ja) * 2009-01-27 2010-08-05 シャープ株式会社 感覚効果情報のデータ構造、感覚効果情報出力装置、感覚効果情報出力方法、感覚効果情報生成装置、制御装置、システム、プログラムおよび記録媒体
EP2315441A1 (en) * 2008-07-15 2011-04-27 Sharp Kabushiki Kaisha Data transmission device, data reception device, method for transmitting data, method for receiving data, and method for controlling audio-visual environment
JP2012511837A (ja) * 2008-07-14 2012-05-24 エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュート 感覚再生装置に係るメタデータを用いるマルチメディアアプリケーションシステム及びその方法
JP2012524442A (ja) * 2009-04-15 2012-10-11 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ユーザ環境を適応させるための方法及びシステム
JP5092015B2 (ja) * 2008-07-15 2012-12-05 シャープ株式会社 データ送信装置、データ送信方法、視聴環境制御装置、視聴環境制御システム、及び視聴環境制御方法
JP2015171038A (ja) * 2014-03-07 2015-09-28 キヤノン株式会社 画像処理装置およびその方法
JPWO2021250861A1 (ja) * 2020-06-11 2021-12-16
JP2022500837A (ja) * 2018-11-01 2022-01-04 シグニファイ ホールディング ビー ヴィSignify Holding B.V. ビデオ及びオーディオの重みに依存したビデオ及びオーディオ情報に基づく光効果の決定
CN118088963A (zh) * 2024-03-07 2024-05-28 广东艾罗智能光电股份有限公司 一种可自动追光的智能照明控制方法及装置

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101548551B (zh) 2006-12-08 2011-08-31 皇家飞利浦电子股份有限公司 环境照明
JP4948548B2 (ja) * 2006-12-28 2012-06-06 シャープ株式会社 送信装置、視聴環境制御装置、及び視聴環境制御システム
WO2011073877A1 (en) * 2009-12-17 2011-06-23 Koninklijke Philips Electronics N.V. Ambience cinema lighting system
WO2012001566A1 (en) * 2010-06-30 2012-01-05 Koninklijke Philips Electronics N.V. Methods and apparatus for capturing ambience
US20140104497A1 (en) * 2012-10-17 2014-04-17 Adam Li Video files including ambient light effects
US8928811B2 (en) * 2012-10-17 2015-01-06 Sony Corporation Methods and systems for generating ambient light effects based on video content
US8928812B2 (en) 2012-10-17 2015-01-06 Sony Corporation Ambient light effects based on video via home automation
JP6334552B2 (ja) * 2012-11-27 2018-05-30 フィリップス ライティング ホールディング ビー ヴィ ステージパフォーマンスから導かれるデータに基づきアンビエントライティング効果を生成する方法
EP3062519A1 (en) * 2015-02-27 2016-08-31 Novabase Digital TV Technologies GmbH Ambient surround information system for a media presentation
US10368105B2 (en) 2015-06-09 2019-07-30 Microsoft Technology Licensing, Llc Metadata describing nominal lighting conditions of a reference viewing environment for video playback
US10453173B2 (en) * 2015-07-24 2019-10-22 Robert Bosch Gmbh Panel transform
EP3331325A1 (en) 2016-11-30 2018-06-06 Thomson Licensing Method and apparatus for creating, distributing and dynamically reproducing room illumination effects
US10568175B2 (en) * 2017-05-26 2020-02-18 Cooler Master Technology Inc. Light control system based on display device and light control method thereof
CN108184286A (zh) * 2017-12-27 2018-06-19 深圳迈睿智能科技有限公司 灯具的控制方法和控制系统以及电子设备
FR3111724B1 (fr) * 2020-06-18 2022-11-04 Cgr Cinemas Méthodes pour la production d’effets d’immersion visuelle pour un contenu audiovisuel
CN113050915B (zh) * 2021-03-31 2023-12-26 联想(北京)有限公司 一种电子设备及处理方法
US11553577B2 (en) * 2021-04-30 2023-01-10 Shenzhen Linklite Smart Lighting Co., Ltd System and method for achieving synchronized audio and image control of lighting
CN113347754B (zh) * 2021-08-05 2021-11-02 杭州米芯微电子有限公司 一种用户可编程的led灯光控制方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02158094A (ja) 1988-12-12 1990-06-18 Matsushita Electric Ind Co Ltd 光色可変形照明装置
JPH02253503A (ja) 1989-03-28 1990-10-12 Matsushita Electric Works Ltd 映像演出照明装置
JPH03184203A (ja) 1989-12-14 1991-08-12 Matsushita Electric Ind Co Ltd 光色可変形照明装置
JP2005229153A (ja) * 2004-02-10 2005-08-25 Sony Corp 調光システムおよび調光方法、配信装置および配信方法、受信装置および受信方法、記録装置および記録方法、ならびに、再生装置および再生方法
JP2005531909A (ja) * 2002-07-04 2005-10-20 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ 周辺光および照明ユニットを制御する方法およびシステム
JP2005310630A (ja) * 2004-04-23 2005-11-04 Sharp Corp 高臨場感再生装置及び方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1999053728A1 (fr) * 1998-04-13 1999-10-21 Matsushita Electric Industrial Co., Ltd. Procede de regulation d'un eclairage et dispositif d'eclairage
US20050174473A1 (en) * 1999-11-18 2005-08-11 Color Kinetics, Inc. Photography methods and systems
WO2002068777A1 (en) * 2001-02-26 2002-09-06 Worldstage, Llc Integrated, adaptable theater, club and multiplex
GB0111431D0 (en) * 2001-05-11 2001-07-04 Koninkl Philips Electronics Nv A real-world representation system and language
EP1499406A1 (en) * 2002-04-22 2005-01-26 Intellocity USA, Inc. Method and apparatus for data receiver and controller
MXPA05000559A (es) * 2002-07-15 2005-04-19 Nokia Corp Metodo para ocultamiento de errores en secuencias de video.
US8243004B2 (en) * 2003-03-10 2012-08-14 Fergason Patent Properties, Llc Apparatus and method for preparing, storing, transmitting and displaying images
CN100596208C (zh) * 2004-01-06 2010-03-24 皇家飞利浦电子股份有限公司 环境光脚本命令编码和动态控制环境光源的方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02158094A (ja) 1988-12-12 1990-06-18 Matsushita Electric Ind Co Ltd 光色可変形照明装置
JPH02253503A (ja) 1989-03-28 1990-10-12 Matsushita Electric Works Ltd 映像演出照明装置
JPH03184203A (ja) 1989-12-14 1991-08-12 Matsushita Electric Ind Co Ltd 光色可変形照明装置
JP2005531909A (ja) * 2002-07-04 2005-10-20 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ 周辺光および照明ユニットを制御する方法およびシステム
JP2005229153A (ja) * 2004-02-10 2005-08-25 Sony Corp 調光システムおよび調光方法、配信装置および配信方法、受信装置および受信方法、記録装置および記録方法、ならびに、再生装置および再生方法
JP2005310630A (ja) * 2004-04-23 2005-11-04 Sharp Corp 高臨場感再生装置及び方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2018062A4

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009253846A (ja) * 2008-04-09 2009-10-29 Canon Inc 放送受信装置、放送受信方法
JP2012511837A (ja) * 2008-07-14 2012-05-24 エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュート 感覚再生装置に係るメタデータを用いるマルチメディアアプリケーションシステム及びその方法
EP2315441A4 (en) * 2008-07-15 2014-07-16 Sharp Kk DATA TRANSMISSION DEVICE, DATA RECEIVING DEVICE, DATA TRANSMISSION METHOD, DATA RECEIVING METHOD AND METHOD FOR CONTROLLING THE AUDIOVISUAL ENVIRONMENT
EP2315441A1 (en) * 2008-07-15 2011-04-27 Sharp Kabushiki Kaisha Data transmission device, data reception device, method for transmitting data, method for receiving data, and method for controlling audio-visual environment
JP5092015B2 (ja) * 2008-07-15 2012-12-05 シャープ株式会社 データ送信装置、データ送信方法、視聴環境制御装置、視聴環境制御システム、及び視聴環境制御方法
JP5442643B2 (ja) * 2009-01-27 2014-03-12 シャープ株式会社 データ送信装置、データ送信方法、視聴環境制御装置、視聴環境制御方法および視聴環境制御システム
CN102292725A (zh) * 2009-01-27 2011-12-21 夏普株式会社 感官效果信息的数据结构、感官效果信息输出装置、感官效果信息输出方法、感官效果信息生成装置、控制装置、系统、程序以及记录介质
WO2010087153A1 (ja) * 2009-01-27 2010-08-05 シャープ株式会社 感覚効果情報のデータ構造、感覚効果情報出力装置、感覚効果情報出力方法、感覚効果情報生成装置、制御装置、システム、プログラムおよび記録媒体
WO2010087155A1 (ja) * 2009-01-27 2010-08-05 シャープ株式会社 データ送信装置、データ送信方法、視聴環境制御装置、視聴環境制御方法および視聴環境制御システム
JP2012524442A (ja) * 2009-04-15 2012-10-11 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ユーザ環境を適応させるための方法及びシステム
JP2015171038A (ja) * 2014-03-07 2015-09-28 キヤノン株式会社 画像処理装置およびその方法
JP2022500837A (ja) * 2018-11-01 2022-01-04 シグニファイ ホールディング ビー ヴィSignify Holding B.V. ビデオ及びオーディオの重みに依存したビデオ及びオーディオ情報に基づく光効果の決定
JP7080399B2 (ja) 2018-11-01 2022-06-03 シグニファイ ホールディング ビー ヴィ ビデオ及びオーディオの重みに依存したビデオ及びオーディオ情報に基づく光効果の決定
US11510300B2 (en) 2018-11-01 2022-11-22 Signify Holding B.V. Determinning light effects based on video and audio information in dependence on video and audio weights
JPWO2021250861A1 (ja) * 2020-06-11 2021-12-16
WO2021250861A1 (ja) * 2020-06-11 2021-12-16 日本電信電話株式会社 同期制御装置、同期制御方法、および、同期制御プログラム
JP7406169B2 (ja) 2020-06-11 2023-12-27 日本電信電話株式会社 同期制御装置、同期制御方法、および、同期制御プログラム
CN118088963A (zh) * 2024-03-07 2024-05-28 广东艾罗智能光电股份有限公司 一种可自动追光的智能照明控制方法及装置

Also Published As

Publication number Publication date
JP4950988B2 (ja) 2012-06-13
CN101427578A (zh) 2009-05-06
JPWO2007123008A1 (ja) 2009-09-03
EP2018062A1 (en) 2009-01-21
EP2018062A4 (en) 2010-08-04
US20090109340A1 (en) 2009-04-30

Similar Documents

Publication Publication Date Title
JP4950988B2 (ja) データ送信装置、データ送信方法、視聴環境制御装置、視聴環境制御システム、及び視聴環境制御方法
JP5058157B2 (ja) データ送信装置、データ送信方法、視聴環境制御装置、視聴環境制御システム、及び視聴環境制御方法
JP4950990B2 (ja) 映像送信装置及び方法、視聴環境制御装置及び方法
US10735668B2 (en) Synchronized lighting and video active lighting tracks (VALT) with synchronized camera to enable multi-scheme motion picture capture
JP4606420B2 (ja) 補助ビジュアル表示システム
WO2007052395A1 (ja) 視聴環境制御システム
US7180529B2 (en) Immersive image viewing system and method
JP5442643B2 (ja) データ送信装置、データ送信方法、視聴環境制御装置、視聴環境制御方法および視聴環境制御システム
EP1379082B1 (en) Display apparatus
US20030016236A1 (en) Immersive augmentation for display systems
WO2007119277A1 (ja) 視聴環境制御装置、視聴環境制御システム、及び視聴環境制御方法
JP2009081822A (ja) データ送信装置、データ送信方法、視聴環境制御装置、視聴環境制御システム、及び視聴環境制御方法
JP5074864B2 (ja) データ送信装置、データ送信方法、視聴環境制御装置、視聴環境制御システム、及び視聴環境制御方法
JP5166794B2 (ja) 視聴環境制御装置および視聴環境制御方法
JP4789592B2 (ja) 視聴環境制御装置及び視聴環境制御方法
JP2009081482A (ja) データ送信装置、データ送信方法、視聴環境制御装置、視聴環境制御システム、及び視聴環境制御方法
JP2009060541A (ja) データ送信装置、データ送信方法、視聴環境制御装置、及び視聴環境制御方法
US11393372B2 (en) Video lighting apparatus with full spectrum white color
JP4709897B2 (ja) 視聴環境制御システム、視聴環境制御装置、視聴環境照明制御システム、及び視聴環境制御方法
Jaksic et al. Analysis of the Effects of Front and Back Lights in Chroma Key Effects During Implementation in Virtual TV Studio
JP2009060542A (ja) データ送信装置、データ送信方法、視聴環境制御装置、視聴環境制御システム、及び視聴環境制御方法
WO2012029011A2 (en) System and method for controlling ambient lighting

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 07741196

Country of ref document: EP

Kind code of ref document: A1

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
WWE Wipo information: entry into national phase

Ref document number: 2008512063

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 12297552

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 200780014264.0

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2007741196

Country of ref document: EP

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)