JP6665543B2

JP6665543B2 - Projector and method of correcting captured image

Info

Publication number: JP6665543B2
Application number: JP2016008536A
Authority: JP
Inventors: 匠大池; 隆史豊岡
Original assignee: Seiko Epson Corp
Current assignee: Seiko Epson Corp
Priority date: 2016-01-20
Filing date: 2016-01-20
Publication date: 2020-03-13
Anticipated expiration: 2036-01-20
Also published as: JP2017130779A

Description

本発明は、プロジェクター、及び、撮像画像の補正方法に関する。 The present invention is a projector,及 Beauty relates captured image correcting process.

従来、投射部により投射される投射画像を撮像装置で撮像し、撮像された撮像画像を用いて投射画像を補正する技術が知られている（例えば、特許文献１参照）。特許文献１に開示の画像処理システムは、表示手段に表示されたキャリブレーション画像を撮像手段で撮像し、撮像された撮像情報に基づいて画像の色むらを、表示手段の分割された領域ごとに補正する。 2. Description of the Related Art Conventionally, there has been known a technique in which a projection image projected by a projection unit is captured by an imaging device, and the projection image is corrected using the captured image (for example, see Patent Literature 1). The image processing system disclosed in Patent Literature 1 captures a calibration image displayed on a display unit by an imaging unit, and performs color unevenness of the image based on the captured imaging information for each divided area of the display unit. to correct.

投射画像の撮像に使用される撮像装置は、レンズ収差等の影響により、撮像装置の撮像素子が出力する画素値が、撮像素子の位置によって異なるという現象（以下、感度分布という）が生じる。このため撮像装置が撮像した撮像画像データに基づいて、投射対象に投射される画像を補正する場合に、投射された画像の輝度や色度の差を正確に測定することができず、誤差が生じる場合がある。
このような問題に対し、特許文献２の撮像手段の出力値補正方法は、所定光量の入力値に対する出力値を露光時間ごとに算出し、入力値と出力値との差分を撮像手段における感度特性として予め設定しておき、対象を撮像した出力輝度値を感度特性に基づいて補正する。
また、特許文献３のカラー表示装置の測色装置は、スクリーン上の計測対象領域に表示されたパターン内の任意点の色情報を測定する色情報測定手段と、スクリーン上の計測対象領域を撮像する撮像手段と、色情報測定手段により得られたパターンの色情報値と、撮像手段による同パターンの撮像結果との関係から撮像手段の特性補正を行う特性補正値算出手段とを備える。 In an imaging device used for imaging a projection image, a phenomenon (hereinafter, referred to as sensitivity distribution) occurs that a pixel value output by an imaging device of the imaging device differs depending on a position of the imaging device due to an influence of a lens aberration or the like. For this reason, when correcting the image projected on the projection target based on the image data captured by the image capturing apparatus, the difference in luminance and chromaticity of the projected image cannot be accurately measured, and an error occurs. May occur.
To cope with such a problem, the output value correction method of the imaging unit of Patent Document 2 calculates an output value for an input value of a predetermined light amount for each exposure time, and calculates a difference between the input value and the output value in the sensitivity characteristic of the imaging unit. Is set in advance, and the output luminance value obtained by imaging the target is corrected based on the sensitivity characteristics.
Further, the color measurement device of the color display device disclosed in Patent Document 3 includes a color information measurement unit that measures color information of an arbitrary point in a pattern displayed in a measurement target area on a screen, and an image of the measurement target area on the screen. And a characteristic correction value calculating unit for performing characteristic correction of the imaging unit based on a relationship between a color information value of the pattern obtained by the color information measuring unit and an imaging result of the same pattern by the imaging unit.

特開２００４−２２８９４８号公報JP 2004-228948 A 特開２００８−１０２８１８号公報JP 2008-102818 A 特開２００２−２６７５７４号公報JP-A-2002-267574

ところで、撮像装置の感度分布は、レンズ表面にコーティングされた紫外線や、赤外線のカットフィルターの影響を受け、撮像装置が撮像する画像の色によっても異なる。従って、撮像装置の感度分布を補正する補正値は、撮像画像を構成する複数の原色ごとに算出する必要があるため、補正値はできるだけ簡易に算出できるのが望ましい。
本発明は上記事情に鑑みてなされたものであり、撮像装置の感度分布を補正する補正値を簡易に算出し、撮像装置を用いた補正の精度を維持することを目的とする。 By the way, the sensitivity distribution of the imaging device is affected by the ultraviolet or infrared cut filter coated on the lens surface, and varies depending on the color of the image captured by the imaging device. Therefore, since a correction value for correcting the sensitivity distribution of the imaging device needs to be calculated for each of a plurality of primary colors constituting the captured image, it is desirable that the correction value can be calculated as simply as possible.
The present invention has been made in view of the above circumstances, and has as its object to easily calculate a correction value for correcting the sensitivity distribution of an imaging device and maintain the accuracy of correction using the imaging device.

上記目的を達成するために本発明のプロジェクターは、撮像部と、前記撮像部により校正用の被写体を撮像した第１の撮像画像に基づいて、前記撮像部の撮像画像を補正する補正値を算出する補正値算出部と、画像を投射する投射部と、前記投射部が投射する投射画像を前記撮像部で撮像した第２の撮像画像を、前記補正値算出部が算出した前記補正値を用いて補正する補正部と、を備え、前記補正値算出部は、前記第１の撮像画像において選択される基準画素の画素値と、前記第１の撮像画像における前記基準画素とは異なる他の画素の画素値とに基づいて前記補正値を算出することを特徴とする。
本発明によれば、補正値算出部が算出する補正値が、第１の撮像画像において選択された基準画素の画素値と、基準画素とは異なる他の画素の画素値とに基づいて算出される。従って、撮像装置の感度分布を補正する補正値を、簡易に算出することができる。また、補正値を用いて撮像装置の感度分布を補正することで、撮像装置により撮像される撮像画像を用いた補正の精度を維持することができる。 To achieve the above object, a projector according to the present invention calculates a correction value for correcting an image captured by the image capturing unit based on an image capturing unit and a first captured image obtained by capturing an object for calibration by the image capturing unit. A correction value calculation unit, a projection unit that projects an image, and a second captured image of the projection image projected by the projection unit captured by the imaging unit using the correction value calculated by the correction value calculation unit. A correction unit that corrects the pixel value of the reference pixel selected in the first captured image and another pixel different from the reference pixel in the first captured image. The correction value is calculated based on the pixel values of the above.
According to the present invention, the correction value calculated by the correction value calculation unit is calculated based on the pixel value of the reference pixel selected in the first captured image and the pixel value of another pixel different from the reference pixel. You. Therefore, a correction value for correcting the sensitivity distribution of the imaging device can be easily calculated. In addition, by correcting the sensitivity distribution of the imaging device using the correction value, it is possible to maintain the accuracy of the correction using the captured image captured by the imaging device.

また、本発明は、上記プロジェクターにおいて、前記補正値算出部は、前記基準画素の画素値と、前記他の画素の画素値との比に基づいて前記補正値を算出することを特徴とする。
本発明によれば、基準画素の画素値と、他の画素の画素値との比に基づいて補正値が算出される。従って、撮像装置の感度分布を補正する補正値を、簡易に算出することができる。 Further, according to the invention, in the projector, the correction value calculation unit calculates the correction value based on a ratio between a pixel value of the reference pixel and a pixel value of the another pixel.
According to the present invention, the correction value is calculated based on the ratio between the pixel value of the reference pixel and the pixel values of the other pixels. Therefore, a correction value for correcting the sensitivity distribution of the imaging device can be easily calculated.

また、本発明は、上記プロジェクターにおいて、前記補正値算出部は、前記基準画素及び前記他の画素の画素値と、前記基準画素と前記他の画素との撮像画像における画素位置とに基づいて、前記他の画素の画素値の前記基準画素の画素値からの低下率を算出し、算出した低下率を用いて前記補正値を算出することを特徴とする。
本発明によれば、他の画素の画素値の基準画素の画素値からの低下率に基づいて補正値を算出することができる。従って、撮像装置の感度分布を補正する補正値を、簡易に算出することができ、補正値のデータ量を削減することができる。 Further, in the projector according to the above projector, the correction value calculation unit may be configured to determine a pixel value of the reference pixel and the other pixel, and a pixel position in a captured image of the reference pixel and the other pixel. A reduction rate of a pixel value of the other pixel from a pixel value of the reference pixel is calculated, and the correction value is calculated using the calculated reduction rate.
According to the present invention, it is possible to calculate the correction value based on the rate of decrease in the pixel value of another pixel from the pixel value of the reference pixel. Therefore, a correction value for correcting the sensitivity distribution of the imaging device can be easily calculated, and the data amount of the correction value can be reduced.

また、本発明は、上記プロジェクターにおいて、前記撮像部は、均一光源から射出される均一光が投射された投射対象を、前記校正用の被写体として撮像して前記第１の撮像画像を生成し、前記補正値算出部は、前記第１の撮像画像に基づいて前記補正値を算出することを特徴とする。
本発明によれば、均一光を撮像して第１の撮像画像が生成される。従って、撮像装置が撮像する撮像画像データが、撮像装置の感度分布を反映した画像データとなり、撮像装置の感度分布を補正する補正値の補正精度を高めることができる。 Further, according to the invention, in the projector, the imaging unit generates a first captured image by capturing an image of a projection target on which uniform light emitted from a uniform light source is projected as the calibration subject, The correction value calculation unit may calculate the correction value based on the first captured image.
According to the present invention, a first captured image is generated by capturing uniform light. Therefore, the captured image data captured by the imaging device becomes image data reflecting the sensitivity distribution of the imaging device, and the correction accuracy of the correction value for correcting the sensitivity distribution of the imaging device can be improved.

また、本発明は、上記プロジェクターにおいて、前記撮像部は、複数の原色で構成される撮像画像を生成し、前記投射部は、複数の色光を変調して生成される画像光を投射し、前記撮像部によって、前記投射部の複数の色光のそれぞれに対応する色の前記均一光が投射された前記投射対象を撮像して、前記複数の色光に対応する複数の前記第１の撮像画像が生成され、前記補正値算出部は、前記複数の色光に対応する複数の前記第１の撮像画像に基づいて、前記撮像部の前記撮像画像を構成する複数の原色の各々に対応した前記補正値を算出することを特徴とする。
本発明によれ、複数の色光に対応する複数の第１の撮像画像に基づいて、撮像部の撮像画像を構成する複数の原色の各々に対応した補正値が算出される。従って、補正値を用いた第２の撮像画像の補正精度を高めることができる。 Further, in the projector according to the aspect of the invention, in the projector, the imaging unit may generate a captured image including a plurality of primary colors, and the projection unit may project image light generated by modulating a plurality of color lights. The imaging unit captures the projection target on which the uniform light of the color corresponding to each of the plurality of color lights of the projection unit is projected, and generates the plurality of first captured images corresponding to the plurality of color lights. The correction value calculation unit, based on the plurality of first captured images corresponding to the plurality of color lights, the correction value corresponding to each of a plurality of primary colors constituting the captured image of the imaging unit It is characterized in that it is calculated.
According to the present invention, a correction value corresponding to each of a plurality of primary colors forming an image captured by an imaging unit is calculated based on a plurality of first captured images corresponding to a plurality of color lights. Therefore, the correction accuracy of the second captured image using the correction value can be improved.

本発明の撮像装置は、撮像部と、前記撮像部の撮像画像を補正する補正値であって、校正用の被写体を前記撮像部により撮像した第１の撮像画像に基づいて算出された前記補正値を記憶する記憶部と、前記撮像部が撮像した第２の撮像画像を、前記記憶部が記憶する前記補正値を用いて補正する補正部と、を備え、前記補正値は、前記第１の撮像画像において選択される基準画素の画素値と、前記第１の撮像画像における前記基準画素とは異なる他の画素の画素値とに基づいて算出されることを特徴とする。
本発明によれば、補正値算出部が算出する補正値が、第１の撮像画像において選択された基準画素の画素値と、基準画素とは異なる他の画素の画素値とに基づいて算出される。従って、撮像装置の感度分布を補正する補正値を、簡易に算出することができる。また、補正値を用いて撮像装置の感度分布を補正することで、撮像装置により撮像される撮像画像を用いた補正の精度を維持することができる。 The image pickup apparatus according to the present invention includes an image pickup section and a correction value for correcting a picked-up image of the image pickup section, the correction value being calculated based on a first picked-up image picked up by the image pickup section of a calibration subject. A storage unit that stores a value, and a correction unit that corrects a second captured image captured by the imaging unit using the correction value stored in the storage unit. Is calculated based on the pixel value of the reference pixel selected in the captured image and the pixel value of another pixel different from the reference pixel in the first captured image.
According to the present invention, the correction value calculated by the correction value calculation unit is calculated based on the pixel value of the reference pixel selected in the first captured image and the pixel value of another pixel different from the reference pixel. You. Therefore, a correction value for correcting the sensitivity distribution of the imaging device can be easily calculated. In addition, by correcting the sensitivity distribution of the imaging device using the correction value, it is possible to maintain the accuracy of the correction using the captured image captured by the imaging device.

本発明の撮像画像の補正方法は、校正用の被写体を撮像部により撮像した第１の撮像画像に基づいて、前記撮像部により撮像される撮像画像を補正する補正値を算出するステップと、投射された投射画像を前記撮像部により撮像した第２の撮像画像を、前記補正値を用いて補正するステップと、を有し、前記補正値を算出するステップは、前記第１の撮像画像において選択される基準画素の画素値と、前記第１の撮像画像における前記基準画素とは異なる他の画素の画素値とに基づいて前記補正値を算出することを特徴とする。
本発明によれば、補正値算出部が算出する補正値が、第１の撮像画像において選択された基準画素の画素値と、基準画素とは異なる他の画素の画素値とに基づいて算出される。従って、撮像装置の感度分布を補正する補正値を、簡易に算出することができる。また、補正値を用いて撮像装置の感度分布を補正することで、撮像装置により撮像される撮像画像を用いた補正の精度を維持することができる。 In the method for correcting a captured image according to the present invention, a correction value for correcting a captured image captured by the imaging unit is calculated based on a first captured image of a calibration subject captured by the imaging unit; Correcting the second captured image obtained by capturing the projected image obtained by the imaging unit using the correction value. The step of calculating the correction value includes selecting the correction value in the first captured image. The correction value is calculated based on a pixel value of the reference pixel to be calculated and a pixel value of another pixel different from the reference pixel in the first captured image.
According to the present invention, the correction value calculated by the correction value calculation unit is calculated based on the pixel value of the reference pixel selected in the first captured image and the pixel value of another pixel different from the reference pixel. You. Therefore, a correction value for correcting the sensitivity distribution of the imaging device can be easily calculated. In addition, by correcting the sensitivity distribution of the imaging device using the correction value, it is possible to maintain the accuracy of the correction using the captured image captured by the imaging device.

プロジェクターの構成図。FIG. 1 is a configuration diagram of a projector. プロジェクターの動作を示すフローチャート。5 is a flowchart showing the operation of the projector. 撮像画像データの画素値の分布を示す図。The figure which shows the distribution of the pixel value of captured image data.

［第１実施形態］
以下、図面を参照して本発明の実施形態について説明する。
図１は、プロジェクター１００の構成を示す構成図である。
プロジェクター１００は、パーソナルコンピューターや各種映像プレーヤー等の外部の画像供給装置２００に接続され、画像供給装置２００から供給される画像信号に基づく画像を投射対象に投射する装置である。
画像供給装置２００には、ビデオ再生装置、ＤＶＤ（Digital Versatile Disk）再生装置、テレビチューナー装置、ＣＡＴＶ（Cable television）のセットトップボックス、ビデオゲーム装置等の映像出力装置、パーソナルコンピューター等を用いることができる。
また、投射対象は、建物や物体など、一様に平らではない物体であってもよいし、スクリーンＳＣや、建物の壁面等の平らな投射面を有するものであってもよい。本実施形態では平面のスクリーンＳＣに投射する場合を例示する。 [First Embodiment]
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
FIG. 1 is a configuration diagram illustrating a configuration of the projector 100.
The projector 100 is a device that is connected to an external image supply device 200 such as a personal computer or various video players, and projects an image based on an image signal supplied from the image supply device 200 onto a projection target.
As the image supply device 200, a video playback device, a DVD (Digital Versatile Disk) playback device, a TV tuner device, a CATV (Cable television) set top box, a video output device such as a video game device, a personal computer, or the like can be used. it can.
The projection target may be an object that is not uniformly flat, such as a building or an object, or may have a flat projection surface such as a screen SC or a wall surface of a building. In the present embodiment, a case where the light is projected on a flat screen SC will be exemplified.

プロジェクター１００は、画像入力インターフェース部（以下、画像入力Ｉ／Ｆ部と略記する）１５１を備える。画像入力Ｉ／Ｆ部１５１は、ケーブルを接続するコネクター及びインターフェース回路（いずれも図示略）を備え、ケーブルを介して接続された画像供給装置２００から供給される画像信号を入力する。画像入力Ｉ／Ｆ部１５１は、入力された画像信号を画像データに変換して画像処理部１５３に出力する。
画像入力Ｉ／Ｆ部１５１が備えるインターフェースは、例えば、Ｅｔｈｅｒｎｅｔ（登録商標）、ＩＥＥＥ１３９４、ＵＳＢ等のデータ通信用のインターフェースであってもよい。また、画像入力Ｉ／Ｆ部１５１のインターフェースは、ＭＨＬ（登録商標）、ＨＤＭＩ（登録商標）、ＤｉｓｐｌａｙＰｏｒｔ等の画像データ用のインターフェースであってもよい。
また、画像入力Ｉ／Ｆ部１５１は、コネクターとして、アナログ映像信号が入力されるＶＧＡ端子や、デジタル映像データが入力されるＤＶＩ（Digital Visual Interface）端子を備える構成であってもよい。さらに、画像入力Ｉ／Ｆ部１５１は、Ａ／Ｄ変換回路を備え、ＶＧＡ端子を介してアナログ映像信号が入力された場合、Ａ／Ｄ変換回路によりアナログ映像信号を画像データに変換し、画像処理部１５３に出力する。 The projector 100 includes an image input interface unit (hereinafter, simply referred to as an image input I / F unit) 151. The image input I / F unit 151 includes a connector for connecting a cable and an interface circuit (both not shown), and inputs an image signal supplied from the image supply device 200 connected via the cable. The image input I / F unit 151 converts the input image signal into image data and outputs the image data to the image processing unit 153.
The interface provided in the image input I / F unit 151 may be, for example, an interface for data communication such as Ethernet (registered trademark), IEEE1394, or USB. In addition, the interface of the image input I / F unit 151 may be an interface for image data such as MHL (registered trademark), HDMI (registered trademark), and DisplayPort.
Further, the image input I / F unit 151 may be configured to include, as connectors, a VGA terminal to which an analog video signal is input and a DVI (Digital Visual Interface) terminal to which digital video data is input. Further, the image input I / F unit 151 includes an A / D conversion circuit. When an analog video signal is input via a VGA terminal, the analog input / output conversion circuit converts the analog video signal into image data by the A / D conversion circuit. Output to the processing unit 153.

プロジェクター１００は、光学的な画像の形成を行い、スクリーンＳＣに画像を投射（表示）する表示部１１０を備える。表示部１１０は、光源部１１１、光変調装置１１２及び投射光学系１１３を備える。表示部１１０は、本発明の「投射部」に相当する。 The projector 100 includes a display unit 110 that forms an optical image and projects (displays) the image on a screen SC. The display unit 110 includes a light source unit 111, a light modulator 112, and a projection optical system 113. The display unit 110 corresponds to the “projection unit” of the present invention.

光源部１１１は、キセノンランプ、超高圧水銀ランプ、ＬＥＤ（Light Emitting Diode）又はレーザー光源等の光源を備える。また、光源部１１１は、光源が発した光を光変調装置１１２に導くリフレクター及び補助リフレクターを備えていてもよい。さらに、光源部１１１は、投射光の光学特性を高めるためのレンズ群、偏光板、又は光源が発した光の光量を光変調装置１１２に至る経路上で低減させる調光素子等（いずれも図示略）を備えていてもよい。 The light source unit 111 includes a light source such as a xenon lamp, an ultra-high pressure mercury lamp, an LED (Light Emitting Diode), or a laser light source. Further, the light source unit 111 may include a reflector and an auxiliary reflector that guide light emitted from the light source to the light modulation device 112. Further, the light source unit 111 includes a lens group for improving the optical characteristics of the projection light, a polarizing plate, a dimming element for reducing the amount of light emitted from the light source on the path to the light modulation device 112, etc. (Abbreviation).

光源部１１１は、光源駆動部１２１により駆動される。光源駆動部１２１は、内部バス１８０に接続される。光源駆動部１２１は、制御部１７０の制御に従って、光源部１１１の光源を点灯及び消灯させる。 The light source unit 111 is driven by the light source driving unit 121. The light source driving unit 121 is connected to the internal bus 180. The light source driving unit 121 turns on and off the light source of the light source unit 111 according to the control of the control unit 170.

光変調装置１１２は、例えば赤色（Ｒ）、緑色（Ｇ）及び青色（Ｂ）の三原色に対応した３枚の液晶パネルを備える。光源部１１１が発する光はＲＧＢの３色の色光に分離され、対応する液晶パネルに入射される。３枚の液晶パネルは、透過型の液晶パネルであり、透過する光を変調して画像光を生成する。各液晶パネルを通過して変調された画像光は、クロスダイクロイックプリズム等の合成光学系によって合成され、投射光学系１１３に射出される。 The light modulation device 112 includes, for example, three liquid crystal panels corresponding to the three primary colors of red (R), green (G), and blue (B). The light emitted from the light source unit 111 is separated into three color lights of RGB and is incident on the corresponding liquid crystal panel. The three liquid crystal panels are transmissive liquid crystal panels, and modulate transmitted light to generate image light. The image light modulated by passing through each liquid crystal panel is synthesized by a synthesizing optical system such as a cross dichroic prism and emitted to the projection optical system 113.

光変調装置１１２には、光変調装置駆動部１２２が接続される。光変調装置駆動部１２２は、内部バス１８０に接続される。
光変調装置駆動部１２２は、画像処理部１５３から入力される表示画像信号（後述する）に基づいてＲ，Ｇ，Ｂの画像信号を生成する。光変調装置駆動部１２２は、生成したＲ，Ｇ，Ｂの画像信号に基づいて、光変調装置１１２の対応する液晶パネルを駆動し、各液晶パネルに画像光を描画する。 The light modulation device driving section 122 is connected to the light modulation device 112. The light modulator driving unit 122 is connected to the internal bus 180.
The light modulator driving unit 122 generates R, G, and B image signals based on a display image signal (described later) input from the image processing unit 153. The light modulator driving section 122 drives the corresponding liquid crystal panel of the light modulator 112 based on the generated R, G, B image signals, and draws image light on each liquid crystal panel.

投射光学系１１３は、光変調装置１１２により変調された画像光をスクリーンＳＣに投射して、スクリーンＳＣ上に結像させるレンズ群を備える。また、投射光学系１１３は、スクリーンＳＣの投射画像の拡大・縮小及び焦点の調整を行うズーム機構、フォーカスの調整を行うフォーカス調整機構を備えていてもよい。 The projection optical system 113 includes a lens group that projects the image light modulated by the light modulator 112 onto the screen SC and forms an image on the screen SC. Further, the projection optical system 113 may include a zoom mechanism for enlarging / reducing a projected image on the screen SC and adjusting a focus, and a focus adjusting mechanism for adjusting a focus.

プロジェクター１００は、操作パネル１３１及び入力処理部１３３を備える。入力処理部１３３は、内部バス１８０に接続される。
ユーザーインターフェースとして機能する操作パネル１３１には、各種の操作キーや、液晶パネルにて構成された表示画面が表示される。入力処理部１３３は、操作パネル１３１に表示された操作キーが操作されると、操作されたキーに対応したデータを制御部１７０に出力する。また、入力処理部１３３は、制御部１７０の制御に従って、操作パネル１３１に各種画面を表示させる。
また、操作パネル１３１には、操作パネル１３１への接触を検出するタッチセンサーが重ね合わされて一体形成される。入力処理部１３３は、ユーザーの指等が接触した操作パネル１３１の位置を入力位置として検出し、検出した入力位置に対応したデータを制御部１７０に出力する。 The projector 100 includes an operation panel 131 and an input processing unit 133. The input processing unit 133 is connected to the internal bus 180.
On the operation panel 131 functioning as a user interface, various operation keys and a display screen including a liquid crystal panel are displayed. When an operation key displayed on the operation panel 131 is operated, the input processing unit 133 outputs data corresponding to the operated key to the control unit 170. Further, the input processing unit 133 causes the operation panel 131 to display various screens under the control of the control unit 170.
In addition, a touch sensor for detecting contact with the operation panel 131 is overlaid on the operation panel 131 to be integrally formed. The input processing unit 133 detects, as an input position, the position of the operation panel 131 with which the user's finger or the like has touched, and outputs data corresponding to the detected input position to the control unit 170.

また、プロジェクター１００は、ユーザーが使用するリモコン５から送信される赤外線信号を受光するリモコン受光部１３２を備える。リモコン受光部１３２は、入力処理部１３３に接続される。
リモコン受光部１３２は、リモコン５から送信される赤外線信号を受光する。入力処理部１３３は、リモコン受光部１３２が受光した赤外線信号をデコードして、リモコン５における操作内容を示すデータを生成し、制御部１７０に出力する。 Further, the projector 100 includes a remote control light receiving unit 132 that receives an infrared signal transmitted from the remote control 5 used by the user. The remote control light receiving unit 132 is connected to the input processing unit 133.
Remote control light receiving section 132 receives an infrared signal transmitted from remote control 5. The input processing unit 133 decodes the infrared signal received by the remote control light receiving unit 132, generates data indicating the operation content of the remote control 5, and outputs the data to the control unit 170.

プロジェクター１００は、撮像部１４０を備える。
撮像部１４０は、撮像光学系、撮像素子及びインターフェース回路等を有するカメラを備え、制御部１７０の制御に従って投射光学系１１３の投射方向を撮像し、撮像画像データを生成する。
撮像部１４０の撮像範囲、すなわち画角は、スクリーンＳＣとその周辺部とを含む範囲である。撮像部１４０は、生成した撮像画像データを制御部１７０に出力する。 The projector 100 includes an imaging unit 140.
The imaging unit 140 includes a camera having an imaging optical system, an imaging element, an interface circuit, and the like. The imaging unit 140 captures an image of the projection direction of the projection optical system 113 under the control of the control unit 170, and generates captured image data.
The imaging range of the imaging unit 140, that is, the angle of view, is a range including the screen SC and its peripheral portion. The imaging unit 140 outputs the generated captured image data to the control unit 170.

プロジェクター１００は、無線通信部１４５を備える。無線通信部１４５は、内部バス１８０に接続される。無線通信部１４５は、図示しないアンテナやＲＦ（Radio Frequency）回路等を備え、制御部１７０の制御の下、外部の装置との間で無線通信を実行する。無線通信部１４５の無線通信方式は、例えば無線ＬＡＮ（Local Area Network）、Bluetooth（登録商標）、ＵＷＢ（Ultra Wide Band）、赤外線通信等の近距離無線通信方式、又は携帯電話回線を利用した無線通信方式を採用できる。 The projector 100 includes a wireless communication unit 145. The wireless communication unit 145 is connected to the internal bus 180. The wireless communication unit 145 includes an antenna (not shown), an RF (Radio Frequency) circuit, and the like, and executes wireless communication with an external device under the control of the control unit 170. The wireless communication system of the wireless communication unit 145 is, for example, a short-distance wireless communication system such as a wireless LAN (Local Area Network), Bluetooth (registered trademark), UWB (Ultra Wide Band), infrared communication, or wireless communication using a mobile phone line. Communication method can be adopted.

プロジェクター１００は、画像処理系を備える。画像処理系は、プロジェクター１００の全体を統括的に制御する制御部１７０を中心に構成され、この他に、画像処理部１５３、フレームメモリー１５５及び記憶部１６０を備える。制御部１７０、画像処理部１５３及び記憶部１６０は、内部バス１８０に接続される。 The projector 100 includes an image processing system. The image processing system mainly includes a control unit 170 that controls the whole of the projector 100. The image processing system further includes an image processing unit 153, a frame memory 155, and a storage unit 160. The control unit 170, the image processing unit 153, and the storage unit 160 are connected to the internal bus 180.

画像処理部１５３は、制御部１７０の制御に従って、画像入力Ｉ／Ｆ部１５１から入力される画像データをフレームメモリー１５５に展開し、展開した画像データに対して画像処理を実行する。画像処理部１５３が実行する画像処理には、例えば、解像度変換（スケーリング）処理、フレームレート変換処理、形状補正処理、ズーム処理、色調補正処理、輝度補正処理等が含まれる。また、これらのうち複数の処理を組み合わせて実行することも勿論可能である。 The image processing unit 153 expands the image data input from the image input I / F unit 151 into the frame memory 155 under the control of the control unit 170, and performs image processing on the expanded image data. The image processing performed by the image processing unit 153 includes, for example, resolution conversion (scaling) processing, frame rate conversion processing, shape correction processing, zoom processing, color tone correction processing, luminance correction processing, and the like. Of course, it is also possible to execute a plurality of processes in combination.

解像度変換処理は、画像処理部１５３が、画像データの解像度を、制御部１７０により指定された解像度、例えば光変調装置１１２の液晶パネルの表示解像度に合わせて変換する処理である。
フレームレート変換処理は、画像処理部１５３が、画像データのフレームレートを、制御部１７０により指定されたフレームレートに変換する処理である。
形状補正処理は、画像処理部１５３が、制御部１７０から入力される補正パラメーターに従って画像データを変換して、スクリーンＳＣに投射する画像の形状を補正する処理である。
ズーム処理は、リモコン５や操作パネル１３１の操作によりズームが指示された場合に、画像処理部１５３が、画像を拡大／縮小する処理である。
色調補正処理は、画像データの色調を変換する処理であり、画像処理部１５３は、制御部１７０により指定された色調に合わせて画像データに含まれる各画素のデータを変更する。この処理において、プロジェクター１００は、映画鑑賞に適した色調、スクリーンＳＣが明るい環境に設置された場合に適した色調、黒板などの非白色のスクリーンＳＣに投射する場合に適した色調等を実現できる。色調補正処理に加え、コントラスト調整等を行ってもよい。
輝度補正処理は、画像処理部１５３が、画像データの輝度を補正する処理である。輝度補正処理により、画像データの輝度が、光源部１１１の発光状態やプロジェクター１００が設置された環境の明るさ等に対応した輝度に補正される。
画像処理部１５３が実行する上記の処理の内容、パラメーター、及び処理の開始、終了のタイミングは制御部１７０により制御される。
画像処理部１５３は、処理後の画像データをフレームメモリー１５５から読み出し、表示画像信号として光変調装置駆動部１２２に出力する。 The resolution conversion process is a process in which the image processing unit 153 converts the resolution of the image data according to the resolution specified by the control unit 170, for example, the display resolution of the liquid crystal panel of the light modulation device 112.
The frame rate conversion process is a process in which the image processing unit 153 converts the frame rate of the image data into the frame rate specified by the control unit 170.
The shape correction process is a process in which the image processing unit 153 converts the image data according to the correction parameters input from the control unit 170, and corrects the shape of the image projected on the screen SC.
The zoom process is a process in which the image processing unit 153 enlarges / reduces an image when zoom is instructed by operating the remote controller 5 or the operation panel 131.
The color tone correction process is a process of converting the color tone of the image data, and the image processing unit 153 changes the data of each pixel included in the image data according to the color tone specified by the control unit 170. In this process, the projector 100 can realize a color tone suitable for watching a movie, a color tone suitable for a case where the screen SC is installed in a bright environment, a color tone suitable for a case where the screen SC is projected on a non-white screen SC such as a blackboard, and the like. . In addition to the color tone correction processing, contrast adjustment and the like may be performed.
The brightness correction process is a process in which the image processing unit 153 corrects the brightness of the image data. By the brightness correction processing, the brightness of the image data is corrected to a brightness corresponding to the light emitting state of the light source unit 111, the brightness of the environment in which the projector 100 is installed, and the like.
The content and parameters of the above-described processing executed by the image processing unit 153 and the start and end timings of the processing are controlled by the control unit 170.
The image processing unit 153 reads out the processed image data from the frame memory 155 and outputs the read image data to the light modulation device driving unit 122 as a display image signal.

記憶部１６０は、フラッシュメモリー、ＥＥＰＲＯＭ等の不揮発性のメモリーにより構成される。記憶部１６０は、制御部１７０が処理するデータや制御部１７０が実行する制御プログラムを不揮発的に記憶する。また、記憶部１６０は、画像処理部１５３が実行する各種処理の設定値や、制御部１７０が参照するテーブルを記憶する。
また、記憶部１６０は、制御部１７０により生成された補正値を記憶する。この補正値は、撮像部１４０により撮像された撮像画像データを補正する補正値である。補正値の詳細については後述する。
さらに、記憶部１６０は、補正値の算出の際にスクリーンＳＣ等の投射対象に投射されるキャリブレーション画像データを記憶する。キャリブレーション画像データには、例えば、Ｒ，Ｇ，Ｂ単色のラスター画像データを用いることができる。 The storage unit 160 is configured by a nonvolatile memory such as a flash memory and an EEPROM. The storage unit 160 stores data processed by the control unit 170 and a control program executed by the control unit 170 in a nonvolatile manner. Further, the storage unit 160 stores setting values of various processes executed by the image processing unit 153 and a table referred to by the control unit 170.
The storage unit 160 stores the correction value generated by the control unit 170. This correction value is a correction value for correcting the captured image data captured by the imaging unit 140. Details of the correction value will be described later.
Further, the storage unit 160 stores calibration image data projected on a projection target such as the screen SC when calculating the correction value. For example, R, G, and B monochromatic raster image data can be used as the calibration image data.

制御部１７０は、ＣＰＵ、ＲＯＭ及びＲＡＭ（いずれも図示略）等のハードウェアを備える。ＲＯＭは、フラッシュＲＯＭ等の不揮発性の記憶装置であり、制御プログラムやデータを格納する。ＲＡＭは、ＣＰＵのワークエリアを構成する。ＣＰＵは、ＲＯＭや記憶部１６０から読み出した制御プログラムをＲＡＭに展開し、ＲＡＭに展開された制御プログラムを実行してプロジェクター１００の各部を制御する。 The control unit 170 includes hardware such as a CPU, a ROM, and a RAM (all not shown). The ROM is a nonvolatile storage device such as a flash ROM, and stores a control program and data. The RAM constitutes a work area of the CPU. The CPU expands the control program read from the ROM or the storage unit 160 in the RAM, and executes the control program expanded in the RAM to control each unit of the projector 100.

また、制御部１７０は、機能ブロックとして、投射制御部１７１と、撮像制御部１７２と、補正値算出部１７３とを備える。これらの機能ブロックは、ＲＯＭや記憶部１６０に記憶された制御プログラムをＣＰＵが実行することで実現される。 Further, the control unit 170 includes, as functional blocks, a projection control unit 171, an imaging control unit 172, and a correction value calculation unit 173. These functional blocks are realized by the CPU executing a control program stored in the ROM or the storage unit 160.

投射制御部１７１は、表示部１１０における画像の表示態様を調整し、スクリーンＳＣへの画像の投射を実行する。
具体的には、投射制御部１７１は、画像処理部１５３を制御して、画像入力Ｉ／Ｆ部１５１により変換された画像データに対する画像処理を実施させる。この際、投射制御部１７１は、画像処理部１５３が処理に必要なパラメーターを記憶部１６０から読み出して、画像処理部１５３に出力してもよい。
また、投射制御部１７１は、光源駆動部１２１を制御して光源部１１１の光源を点灯させ、光源の輝度を調整させる。これにより、光源が発光し、光変調装置１１２が変調する画像光が投射光学系１１３によりスクリーンＳＣに投射される。 The projection control unit 171 adjusts the display mode of the image on the display unit 110, and executes projection of the image on the screen SC.
Specifically, the projection control unit 171 controls the image processing unit 153 to perform image processing on the image data converted by the image input I / F unit 151. At this time, the projection control unit 171 may read parameters necessary for the image processing unit 153 to perform processing from the storage unit 160 and output the parameters to the image processing unit 153.
Further, the projection control unit 171 controls the light source driving unit 121 to turn on the light source of the light source unit 111 and adjust the brightness of the light source. As a result, the light source emits light, and the image light modulated by the light modulator 112 is projected on the screen SC by the projection optical system 113.

撮像制御部１７２は、撮像部１４０に撮像を実行させ、撮像部１４０が生成した撮像画像データを取得する。撮像制御部１７２は、取得した撮像画像データを補正値算出部１７３に出力する。 The imaging control unit 172 causes the imaging unit 140 to execute imaging, and acquires the captured image data generated by the imaging unit 140. The imaging control unit 172 outputs the acquired captured image data to the correction value calculation unit 173.

補正値算出部１７３は、撮像部１４０により撮像される撮像画像データを補正する補正値を生成する。
補正値算出部１７３が生成する補正値は、撮像部１４０の感度分布の補正に用いられる。撮像部１４０は、レンズ収差等の影響により、撮像部１４０の撮像素子が出力する画素値が、撮像素子の位置によって異なるという感度分布が生じる。この感度分布は、特に、撮像画素の中心部よりも周辺部において、撮像画素から出力される画素値が低下する。このため、撮像部１４０が撮像した撮像画像データに基づいて投射対象に投射される画像を補正する場合に、投射された画像の輝度や色度の差を正確に測定することができず、誤差が生じる場合がある。また、撮像部１４０の感度分布は、レンズ表面にコーティングされた紫外線や、赤外線のカットフィルターの影響を受け、撮像部１４０が撮像する画像の色によっても異なる。従って、撮像部１４０の感度分布を補正する補正値は、撮像画像データを構成する複数の原色ごとに算出する必要がある。
そこで、本実施形態では、補正値算出部１７３が、投射制御部１７１及び撮像制御部１７２を制御してキャリブレーションを実行し、撮像部１４０が生成する撮像画像データの画素値を補正する補正値を生成する。 The correction value calculation unit 173 generates a correction value for correcting captured image data captured by the image capturing unit 140.
The correction value generated by the correction value calculation unit 173 is used for correcting the sensitivity distribution of the imaging unit 140. The imaging unit 140 has a sensitivity distribution in which pixel values output by the imaging device of the imaging unit 140 vary depending on the position of the imaging device due to the influence of lens aberration and the like. In the sensitivity distribution, the pixel value output from the imaging pixel is lower particularly in the peripheral portion than in the central portion of the imaging pixel. For this reason, when correcting the image projected on the projection target based on the captured image data captured by the imaging unit 140, differences in luminance and chromaticity of the projected image cannot be accurately measured, and an error may occur. May occur. Further, the sensitivity distribution of the imaging unit 140 is affected by the ultraviolet or infrared cut filter coated on the lens surface, and varies depending on the color of the image captured by the imaging unit 140. Therefore, it is necessary to calculate a correction value for correcting the sensitivity distribution of the imaging unit 140 for each of a plurality of primary colors constituting the captured image data.
Therefore, in the present embodiment, the correction value calculation unit 173 controls the projection control unit 171 and the imaging control unit 172 to execute calibration, and corrects the pixel value of the captured image data generated by the imaging unit 140. Generate

キャリブレーションが開始されると、補正値算出部１７３は、投射制御部１７１を制御して、スクリーンＳＣ等の投射対象にキャリブレーション画像（校正用の被写体）を投射させる。このキャリブレーション画像は、記憶部１６０に記憶されたキャリブレーション画像データに基づく画像であり、Ｒ，Ｇ，Ｂの単色のラスター画像である。 When the calibration is started, the correction value calculation unit 173 controls the projection control unit 171 to project a calibration image (calibration subject) on a projection target such as the screen SC. The calibration image is an image based on the calibration image data stored in the storage unit 160, and is a monochromatic raster image of R, G, and B.

補正値算出部１７３は、キャリブレーション画像がスクリーンＳＣに投射されると、撮像制御部１７２に撮像を実行させ、キャリブレーション画像を撮像した撮像画像データ（第１の撮像画像）を生成する。補正値算出部１７３は、生成された撮像画像データに基づいて、撮像部１４０の撮像画像データを補正する補正値を生成する。補正値算出部１７３は、生成した補正値を記憶部１６０に記憶させる。 When the calibration image is projected on the screen SC, the correction value calculation unit 173 causes the imaging control unit 172 to execute imaging, and generates captured image data (first captured image) obtained by capturing the calibration image. The correction value calculation unit 173 generates a correction value for correcting the captured image data of the imaging unit 140 based on the generated captured image data. The correction value calculation unit 173 causes the storage unit 160 to store the generated correction value.

補正処理部１７４は、撮像制御部１７２により生成された撮像画像データを、補正値算出部１７３により生成された補正値を用いて補正する。補正処理部１７４は、本発明の「補正部」に相当する。 The correction processing unit 174 corrects the captured image data generated by the imaging control unit 172 using the correction value generated by the correction value calculation unit 173. The correction processing unit 174 corresponds to the “correction unit” of the present invention.

撮像部１４０、記憶部１６０及び制御部１７０は、撮像装置３００を構成する。また、撮像装置３００として撮像部１４０、記憶部１６０及び制御部１７０以外の他の構成を備えていてもよい。 The imaging unit 140, the storage unit 160, and the control unit 170 configure the imaging device 300. Further, the imaging device 300 may have a configuration other than the imaging unit 140, the storage unit 160, and the control unit 170.

図２は、制御部１７０の動作を示すフローチャートである。
制御部１７０は、入力処理部１３３からの入力を監視し、キャリブレーションの実行指示が入力されたか否かを判定する（ステップＳ１）。入力処理部１３３は、操作パネル１３１又はリモコン５に設けられたスイッチやボタンが押下されると、押下されたスイッチ又はボタンに対応した操作信号を制御部１７０に出力する。
制御部１７０は、入力処理部１３３から入力される操作信号に基づいて、キャリブレーションの実行指示が入力されたか否かを判定する。 FIG. 2 is a flowchart showing the operation of the control unit 170.
The control unit 170 monitors the input from the input processing unit 133 and determines whether a calibration execution instruction has been input (step S1). When a switch or button provided on the operation panel 131 or the remote controller 5 is pressed, the input processing unit 133 outputs an operation signal corresponding to the pressed switch or button to the control unit 170.
The control unit 170 determines whether a calibration execution instruction has been input based on the operation signal input from the input processing unit 133.

制御部１７０は、キャリブレーションの実行指示が入力されていないと判定した場合（ステップＳ１／ＮＯ）、入力処理部１３３から入力された操作信号に対応した処理を実行して、ステップＳ１の判定に戻る。
また、キャリブレーションの実行指示が入力された場合（ステップＳ１／ＹＥＳ）、補正値算出部１７３が、投射制御部１７１にキャリブレーション画像のスクリーンＳＣへの投射を指示する。 When determining that the calibration execution instruction has not been input (step S1 / NO), the control unit 170 executes a process corresponding to the operation signal input from the input processing unit 133, and returns to the determination of step S1. Return.
When a calibration execution instruction is input (step S1 / YES), the correction value calculation unit 173 instructs the projection control unit 171 to project the calibration image on the screen SC.

投射制御部１７１は、スクリーンＳＣに投射するキャリブレーション画像の色を選択する。次に、投射制御部１７１は、選択した色のキャリブレーション画像データを記憶部１６０から読み出し、画像処理部１５３に出力する。画像処理部１５３は、入力されるキャリブレーション画像データをフレームメモリー１５５に展開し、展開したキャリブレーション画像に基づいて表示画像信号を生成する。画像処理部１５３は、生成した表示画像信号を表示部１１０に出力する。 The projection control unit 171 selects the color of the calibration image projected on the screen SC. Next, the projection control unit 171 reads the calibration image data of the selected color from the storage unit 160 and outputs it to the image processing unit 153. The image processing unit 153 expands the input calibration image data in the frame memory 155, and generates a display image signal based on the expanded calibration image. The image processing unit 153 outputs the generated display image signal to the display unit 110.

表示部１１０は、画像処理部１５３から入力される表示画像信号に基づく画像光を生成する。表示部１１０により生成された画像光は、投射光学系１１３により投射され、プロジェクター１００の前面に配置された積分球（図示略）に入射される。積分球は、本発明の「均一光源」に相当する。
積分球は、内面に拡散反射面が形成され、入射された投射光を拡散反射面で繰り返し拡散反射して、輝度及び色度が均一化された投射光を生成する（ステップＳ２）。積分球により輝度及び色度が均一化された投射光は、積分球から出射され、投射対象であるスクリーンＳＣに投射される（ステップＳ２）。 The display unit 110 generates image light based on the display image signal input from the image processing unit 153. The image light generated by the display unit 110 is projected by the projection optical system 113 and is incident on an integrating sphere (not shown) arranged on the front of the projector 100. The integrating sphere corresponds to the “uniform light source” of the present invention.
The integrating sphere has a diffuse reflection surface formed on the inner surface, and repeatedly diffuses and reflects the incident projection light on the diffusion reflection surface to generate projection light with uniform luminance and chromaticity (step S2). The projection light whose luminance and chromaticity have been made uniform by the integrating sphere is emitted from the integrating sphere and projected on the screen SC to be projected (step S2).

次に、補正値算出部１７３は、撮像制御部１７２に撮像画像データの生成を指示する。撮像制御部１７２は、撮像部１４０を制御して、投射対象に投射された投射画像を撮像し、撮像画像データを生成する（ステップＳ３）。撮像制御部１７２は、生成した撮像画像データを記憶部１６０に記憶させる。 Next, the correction value calculation unit 173 instructs the imaging control unit 172 to generate captured image data. The imaging control unit 172 controls the imaging unit 140 to capture the projection image projected on the projection target, and generates captured image data (Step S3). The imaging control unit 172 causes the storage unit 160 to store the generated captured image data.

次に、補正値算出部１７３は、Ｒ，Ｇ，Ｂの各色に対応した撮像画像データを生成したか否かを判定する（ステップＳ４）。すなわち、補正値算出部１７３は、Ｒ，Ｇ，Ｂの各色に対応したキャリブレーション画像をスクリーンＳＣに投射し、撮像部１４０で撮像して撮像画像データを生成したか否かを判定する。
Ｒ，Ｇ，Ｂの各色に対応した撮像画像データを生成していないと判定した場合（ステップＳ４／ＮＯ）、補正値算出部１７３は、ステップＳ２及びＳ３の処理を繰り返し行って撮像画像データを生成する。Ｒ，Ｇ，Ｂの各色に対応した撮像画像データを生成したと判定した場合（ステップＳ４／ＹＥＳ）、補正値算出部１７３は、撮像画像データに基づいて補正値を算出する（ステップＳ５）。 Next, the correction value calculation unit 173 determines whether or not captured image data corresponding to each of the R, G, and B colors has been generated (step S4). That is, the correction value calculation unit 173 determines whether or not the calibration image corresponding to each of the R, G, and B colors is projected on the screen SC, captured by the imaging unit 140, and generated captured image data.
If it is determined that the captured image data corresponding to each of the colors R, G, and B has not been generated (step S4 / NO), the correction value calculation unit 173 repeats the processing of steps S2 and S3 to convert the captured image data. Generate. When it is determined that the captured image data corresponding to each of the colors R, G, and B has been generated (step S4 / YES), the correction value calculation unit 173 calculates a correction value based on the captured image data (step S5).

まず、補正値算出部１７３は、Ｒ，Ｇ，Ｂの撮像画像データからいずれか１つを選択し、選択した撮像画像データを読み出す。以下では、Ｒのキャリブレーション画像を撮像した撮像画像データを撮像画像データ（Ｒ）と表記し、Ｇのキャリブレーション画像を撮像した撮像画像データを撮像画像データ（Ｇ）と表記する。また、Ｂのキャリブレーション画像を撮像した撮像画像データを撮像画像データ（Ｂ）と表記する。以下では、撮像画像データ（Ｒ）が選択された場合について説明する。 First, the correction value calculation unit 173 selects one of the R, G, and B captured image data, and reads out the selected captured image data. Hereinafter, captured image data obtained by capturing the R calibration image is referred to as captured image data (R), and captured image data obtained by capturing the G calibration image is referred to as captured image data (G). The captured image data obtained by capturing the calibration image of B is referred to as captured image data (B). Hereinafter, the case where the captured image data (R) is selected will be described.

補正値算出部１７３は、まず、選択した撮像画像データ（Ｒ）の中心に位置する画素（以下、中心画素という）を基準画素として選択する。補正値算出部１７３は、選択した中心画素のＲ，Ｇ，Ｂの色ごとの画素値を取得する。画素値は、画素のＲ，Ｇ，Ｂの色ごとの輝度を示す値である。また、以下では、Ｒの画素値をＲ値、Ｇの画素値をＧ値、Ｂの画素値をＢ値と表記する。次に、補正値算出部１７３は、撮像画像データ（Ｒ）を構成する画素から処理の対象となる画素（以下、処理画素という）を選択し、選択した処理画素のＲ，Ｇ，Ｂの色ごとの画素値を取得する。処理画素は、基準画素として選択した中心画素とは異なる画素である。
処理画素の画素値を取得すると、補正値算出部１７３は、中心画素の画素値と、処理画素の画素値とに基づいて補正値を算出する。具体的には、補正値算出部１７３は、中心画素の画素値と、処理画素の画素値とのＲ，Ｇ，Ｂの色ごとの比を求める。
補正値算出部１７３は、撮像画像データ（Ｒ）を構成し、中心画素以外のすべての画素を処理画素として選択し、中心画素と処理画素との画素値の比をＲ，Ｇ，Ｂの色ごとの比を求める。 First, the correction value calculation unit 173 selects a pixel located at the center of the selected captured image data (R) (hereinafter, referred to as a center pixel) as a reference pixel. The correction value calculation unit 173 acquires a pixel value for each of the R, G, and B colors of the selected central pixel. The pixel value is a value indicating the luminance of each of the R, G, and B colors of the pixel. Hereinafter, the pixel value of R is referred to as an R value, the pixel value of G is referred to as a G value, and the pixel value of B is referred to as a B value. Next, the correction value calculation unit 173 selects a pixel to be processed (hereinafter, referred to as a processing pixel) from the pixels constituting the captured image data (R), and selects the R, G, and B colors of the selected processing pixel. Get the pixel value for each. The processing pixel is a pixel different from the center pixel selected as the reference pixel.
Upon acquiring the pixel value of the processing pixel, the correction value calculation unit 173 calculates a correction value based on the pixel value of the central pixel and the pixel value of the processing pixel. Specifically, the correction value calculation unit 173 calculates the ratio of the pixel value of the center pixel to the pixel value of the processing pixel for each of the R, G, and B colors.
The correction value calculation unit 173 configures the captured image data (R), selects all pixels other than the center pixel as processing pixels, and determines the ratio of the pixel values of the center pixel and the processing pixel to the R, G, and B colors. Find the ratio of each.

図３は、撮像画像データの画素値の分布を示す図である。より詳細には、撮像画像データのＹ軸方向の中心（Ｙｃ）を通り、Ｘ軸に平行する方向での画素値の分布を示す。撮像画像データの水平方向をＸ軸方向といい、撮像画像データの垂直方向をＹ軸方向という。
図３には、中心画素のＲ，Ｇ，Ｂ値と、処理画素のＲ，Ｇ，Ｂ値とを示す。中心画素のＲ，Ｇ，Ｂ値をそれぞれＲｒ（Ｘｃ，Ｙｃ）、Ｇｒ（Ｘｃ，Ｙｃ）、Ｂｒ（Ｘｃ，Ｙｃ）と表記する。また、図３において、処理画素の座標を（Ｘ１，Ｙｃ）と表記し、処理画素のＲ，Ｇ，Ｂ値をそれぞれＲｒ（Ｘ１，Ｙｃ）、Ｇｒ（Ｘ１，Ｙｃ）、Ｂｒ（Ｘ１，Ｙｃ）と表記する。 FIG. 3 is a diagram illustrating a distribution of pixel values of captured image data. More specifically, the distribution of pixel values in a direction passing through the center (Yc) of the captured image data in the Y-axis direction and parallel to the X-axis is shown. The horizontal direction of the captured image data is called an X-axis direction, and the vertical direction of the captured image data is called a Y-axis direction.
FIG. 3 shows the R, G, B values of the center pixel and the R, G, B values of the processing pixel. The R, G, and B values of the central pixel are denoted by Rr (Xc, Yc), Gr (Xc, Yc), and Br (Xc, Yc), respectively. In FIG. 3, the coordinates of the processing pixel are represented by (X1, Yc), and the R, G, and B values of the processing pixel are Rr (X1, Yc), Gr (X1, Yc), and Br (X1, Yc), respectively. ).

投射対象には、積分球により輝度及び色度が均一化された画像光が投射され、撮像部１４０は、輝度及び色度が均一化された画像光を撮像する。従って、撮像部１４０が撮像する画像光の光量及び波長は、投射対象の領域によらず一定となる。従って、撮像部１４０が撮像する撮像画像データの画素値は、撮像部１４０の感度分布を反映させた値となる。
補正値算出部１７３は、基準画素として選択した中心画素と、処理対象として選択した処理画素との画素値の比をＲ，Ｇ，Ｂの色成分ごとに算出して、算出した画素値の比を処理画素における補正値とする。 Image light whose luminance and chromaticity are uniformed by the integrating sphere is projected onto the projection target, and the imaging unit 140 images the image light whose luminance and chromaticity are uniformed. Therefore, the light amount and wavelength of the image light captured by the image capturing unit 140 are constant regardless of the region to be projected. Therefore, the pixel value of the captured image data captured by the imaging unit 140 is a value reflecting the sensitivity distribution of the imaging unit 140.
The correction value calculation unit 173 calculates, for each of the R, G, and B color components, the ratio of the pixel value between the center pixel selected as the reference pixel and the processing pixel selected as the processing target, and calculates the ratio of the calculated pixel values. Is a correction value for the processing pixel.

撮像画像データ（Ｒ）から選択した処理画素のＲ，Ｇ，Ｂ値をＲｒ（Ｘ，Ｙ）、Ｇｒ（Ｘ，Ｙ）、Ｂｒ（Ｘ，Ｙ）と表記し、中心画素のＲ値と、処理画素のＲ値との比をＫｒ（Ｒ）と表記する。
中心画素のＲ値と、処理画素のＲ値との比Ｋｒ（Ｒ）は、以下の式（１）により表される。
Ｋｒ（Ｒ）＝Ｒｒ（Ｘｃ，Ｙｃ）／Ｒｒ（Ｘ，Ｙ）・・・（１） The R, G, and B values of the processing pixel selected from the captured image data (R) are denoted as Rr (X, Y), Gr (X, Y), and Br (X, Y). The ratio of the processing pixel to the R value is denoted as Kr (R).
The ratio Kr (R) between the R value of the central pixel and the R value of the processing pixel is represented by the following equation (1).
Kr (R) = Rr (Xc, Yc) / Rr (X, Y) (1)

同様に中心画素のＧ値と、処理画素のＧ値との比をＫｒ（Ｇ）と表記し、中心画素のＢ値と、処理画素のＢ値との比をＫｒ（Ｂ）と表記すると、Ｋｒ（Ｇ）及びＫｒ（Ｂ）は、以下の式（２）及び（３）により表される。
Ｋｒ（Ｇ）＝Ｇｒ（Ｘｃ，Ｙｃ）／Ｇｒ（Ｘ，Ｙ）・・・（２）
Ｋｒ（Ｂ）＝Ｂｒ（Ｘｃ，Ｙｃ）／Ｂｒ（Ｘ，Ｙ）・・・（３） Similarly, when the ratio between the G value of the center pixel and the G value of the processing pixel is expressed as Kr (G), and the ratio between the B value of the center pixel and the B value of the processing pixel is expressed as Kr (B), Kr (G) and Kr (B) are represented by the following equations (2) and (3).
Kr (G) = Gr (Xc, Yc) / Gr (X, Y) (2)
Kr (B) = Br (Xc, Yc) / Br (X, Y) (3)

補正値算出部１７３は、選択していない他の撮像画像データ（Ｇ）、撮像画像データ（Ｂ）についても同様に補正値を算出する。撮像画像データ（Ｇ）から算出される補正値を以下の式（４）〜（６）に示し、撮像画像データ（ｂ）から算出される補正値を以下の式（７）〜（９）に示す。
Ｋｇ（Ｒ）＝Ｒｇ（Ｘｃ，Ｙｃ）／Ｒｇ（Ｘ，Ｙ）・・・（４）
Ｋｇ（Ｇ）＝Ｇｇ（Ｘｃ，Ｙｃ）／Ｇｇ（Ｘ，Ｙ）・・・（５）
Ｋｇ（Ｂ）＝Ｂｇ（Ｘｃ，Ｙｃ）／Ｂｇ（Ｘ，Ｙ）・・・（６）
Ｋｂ（Ｒ）＝Ｒｂ（Ｘｃ，Ｙｃ）／Ｒｂ（Ｘ，Ｙ）・・・（７）
Ｋｂ（Ｇ）＝Ｇｂ（Ｘｃ，Ｙｃ）／Ｇｂ（Ｘ，Ｙ）・・・（８）
Ｋｂ（Ｂ）＝Ｂｂ（Ｘｃ，Ｙｃ）／Ｂｂ（Ｘ，Ｙ）・・・（９） The correction value calculation unit 173 similarly calculates a correction value for the other unselected captured image data (G) and captured image data (B). The correction values calculated from the captured image data (G) are shown in the following equations (4) to (6), and the correction values calculated from the captured image data (b) are shown in the following equations (7) to (9). Show.
Kg (R) = Rg (Xc, Yc) / Rg (X, Y) (4)
Kg (G) = Gg (Xc, Yc) / Gg (X, Y) (5)
Kg (B) = Bg (Xc, Yc) / Bg (X, Y) (6)
Kb (R) = Rb (Xc, Yc) / Rb (X, Y) (7)
Kb (G) = Gb (Xc, Yc) / Gb (X, Y) (8)
Kb (B) = Bb (Xc, Yc) / Bb (X, Y) (9)

補正値算出部１７３は、すべての撮像画像データ（Ｒ），（Ｇ），（Ｂ）で補正値を算出すると、算出した補正値を記憶部１６０に記憶させる（ステップＳ６）。 After calculating the correction values for all the captured image data (R), (G), and (B), the correction value calculation unit 173 causes the storage unit 160 to store the calculated correction values (step S6).

上述の説明では、撮像画像データを構成するすべての画素で補正値を算出する場合を説明したが、撮像画像データを構成するすべての画素で補正値を算出しなくもてよい。
例えば、撮像画像データを構成する画素から、処理画素を所定画素の間隔で選択して補正値を算出してもよい。補正値を算出していない画素については、隣接する画素の補正値に基づく線形補間により、補正値を算出してもよい。
例えば、撮像部１４０が生成する撮像画像データの解像度がフルＨＤ（１９２０×１０８０）であった場合、撮像画像データの１画素につき９個（３×３）の補正値を持つことになるが、所定画素ごとに補正値を算出することで、キャリブレーション値として記憶部１６０に記憶させるデータ量を削減することができる。
また、上述した説明では、基準画素として撮像画像データの中心に位置する中心画素を選択したが、基準画素は中心画素に限定されるものではない。また、例えば、基準画素として複数の画素を選択してもよい。例えば、撮像画像データを複数の領域に分割し、分割した各領域の中心画素を基準画素として選択してもよい。 In the above description, the case where the correction values are calculated for all the pixels constituting the captured image data has been described, but the correction values need not be calculated for all the pixels constituting the captured image data.
For example, a correction value may be calculated by selecting processing pixels at predetermined pixel intervals from the pixels constituting the captured image data. For pixels for which a correction value has not been calculated, the correction value may be calculated by linear interpolation based on the correction values of adjacent pixels.
For example, when the resolution of the captured image data generated by the imaging unit 140 is full HD (1920 × 1080), one pixel of the captured image data has nine (3 × 3) correction values. By calculating a correction value for each predetermined pixel, the amount of data stored in the storage unit 160 as a calibration value can be reduced.
In the above description, the center pixel located at the center of the captured image data is selected as the reference pixel, but the reference pixel is not limited to the center pixel. Further, for example, a plurality of pixels may be selected as reference pixels. For example, the captured image data may be divided into a plurality of regions, and a central pixel of each divided region may be selected as a reference pixel.

補正処理部１７４は、リモコン５又は操作パネル１３１が操作され、スクリーンＳＣに投射された投射画像の画質を補正する画質補正の指示が入力されると、撮像制御部１７２に、撮像画像データの生成を指示する。撮像制御部１７２は、撮像部１４０を制御して、スクリーンＳＣに投射された投射画像を撮像し、撮像画像データ（第２の撮像画像）を生成する。撮像制御部１７２は、生成した撮像画像データを補正処理部１７４に出力する。 When the remote controller 5 or the operation panel 131 is operated and an image quality correction instruction for correcting the image quality of the projected image projected on the screen SC is input, the correction processing unit 174 causes the imaging control unit 172 to generate captured image data. Instruct. The imaging control unit 172 controls the imaging unit 140 to capture the projection image projected on the screen SC, and generates captured image data (second captured image). The imaging control unit 172 outputs the generated captured image data to the correction processing unit 174.

補正処理部１７４は、撮像制御部１７２から撮像画像データが入力されると、記憶部１６０から補正値を読み出して、入力された撮像画像データを構成する各画素の画素値を補正する。
補正処理部１７４は、撮像画像データを構成する画素のＲ値を、上述した式（１）に示すＫｒ（Ｒ）と、式（４）に示すＫｇ（Ｒ）と、式（７）に示すＫｂ（Ｒ）とを用いて補正する。同様に、補正処理部１７４は、撮像画像データを構成する画素のＧ値を、上述した式（２）に示すＫｒ（Ｇ）と、式（５）に示すＫｇ（Ｇ）と、式（８）に示すＫｂ（Ｇ）とを用いて補正する。また、補正処理部１７４は、撮像画像データを構成する画素のＢ値を、上述した式（３）に示すＫｒ（Ｂ）と、式（６）に示すＫｇ（Ｂ）と、式（９）に示すＫｂ（Ｂ）とを用いて補正する。 When the captured image data is input from the imaging control unit 172, the correction processing unit 174 reads a correction value from the storage unit 160 and corrects the pixel value of each pixel included in the input captured image data.
The correction processing unit 174 calculates the R values of the pixels constituting the captured image data as Kr (R) shown in the above equation (1), Kg (R) shown in the above equation (4), and equation (7). Correction is performed using Kb (R). Similarly, the correction processing unit 174 calculates the G value of the pixel constituting the captured image data as Kr (G) shown in the above equation (2), Kg (G) shown in the above equation (5), and equation (8). ) Is corrected using Kb (G). Further, the correction processing unit 174 calculates the B value of the pixel constituting the captured image data as Kr (B) shown in Expression (3), Kg (B) shown in Expression (6), and Expression (9). And Kb (B) shown in FIG.

補正処理部１７４により補正された撮像画像データは、制御部１７０の他の機能ブロック（図示略）に入力され、撮像画像データの輝度や色度が画素単位、又は所定サイズの領域ごとに算出される。そして制御部１７０は、算出した撮像画像データの輝度や色度に基づいて、画像処理部１５３が補正に使用するパラメーターを選択し、画像処理部１５３に出力する。 The captured image data corrected by the correction processing unit 174 is input to another functional block (not shown) of the control unit 170, and the brightness and chromaticity of the captured image data are calculated for each pixel or for each area of a predetermined size. You. Then, the control unit 170 selects a parameter used by the image processing unit 153 for correction based on the calculated luminance and chromaticity of the captured image data, and outputs the parameter to the image processing unit 153.

以上説明したように本発明のプロジェクター及び撮像画像の補正方法を適用した第１実施形態は、補正値算出部１７３が、撮像部１４０により校正用の被写体としてのキャリブレーション画像を撮像した撮像画像データに基づいて、撮像部１４０の撮像画像データを補正する補正値を算出する。また、補正値算出部１７３は、キャリブレーション画像を撮像した撮像画像データにおいて選択される基準画素の画素値と、撮像画像データにおける基準画素とは異なる他の処理画素の画素値とに基づいて補正値を算出する。従って、撮像部１４０の感度分布を補正する補正値を、簡易に算出することができる。
プロジェクター１００は、表示部１１０が投射する投射画像を撮像部１４０で撮像した撮像画像データを、補正値算出部１７３が算出した補正値を用いて補正する補正処理部１７４を備える。撮像部１４０により撮像される撮像画像を用いた補正の精度を維持することができる。 As described above, in the first embodiment to which the projector and the captured image correction method of the present invention are applied, the correction value calculation unit 173 uses the image capturing unit 140 to capture captured image data obtained by capturing a calibration image as a calibration subject. , A correction value for correcting the captured image data of the imaging unit 140 is calculated. Further, the correction value calculation unit 173 performs correction based on the pixel value of the reference pixel selected in the captured image data obtained by capturing the calibration image and the pixel value of another processing pixel different from the reference pixel in the captured image data. Calculate the value. Therefore, a correction value for correcting the sensitivity distribution of the imaging unit 140 can be easily calculated.
The projector 100 includes a correction processing unit 174 that corrects captured image data obtained by capturing the projection image projected by the display unit 110 with the imaging unit 140 using the correction value calculated by the correction value calculation unit 173. Accuracy of correction using a captured image captured by the imaging unit 140 can be maintained.

また、補正値算出部１７３は、基準画素の画素値と、処理画素の画素値との比に基づいて補正値を算出する。従って、撮像部１４０の感度分布を補正する補正値を、簡易に算出することができる。 Further, the correction value calculation unit 173 calculates a correction value based on the ratio between the pixel value of the reference pixel and the pixel value of the processing pixel. Therefore, a correction value for correcting the sensitivity distribution of the imaging unit 140 can be easily calculated.

また、撮像部１４０は、均一光源としての積分球から射出される均一光が投射された投射対象を撮像して撮像画像データを生成する。補正値算出部１７３は、撮像された撮像画像データに基づいて補正値を算出する。従って、撮像部１４０が撮像する撮像画像データが、撮像部１４０の感度分布を反映した画像データとなり、撮像部１４０の感度分布を補正する補正値の補正精度を高めることができる。 Further, the imaging unit 140 captures a projection target onto which the uniform light emitted from the integrating sphere serving as the uniform light source is projected, and generates captured image data. The correction value calculation unit 173 calculates a correction value based on the captured image data. Therefore, the captured image data captured by the imaging unit 140 becomes image data reflecting the sensitivity distribution of the imaging unit 140, and the correction accuracy of the correction value for correcting the sensitivity distribution of the imaging unit 140 can be improved.

また、投射対象に投射されたＲ，Ｇ，Ｂそれぞれの色光を撮像部１４０で撮像して撮像画像データ（Ｒ）、（Ｇ）及び（Ｂ）をそれぞれに生成する。生成した撮像画像データ（Ｒ）、（Ｇ）及び（Ｂ）のそれぞれから、撮像画像データを構成するＲ，Ｇ，Ｂの各々に対応する補正値を算出する。従って、撮像部により撮像される撮像画像データの補正精度を高めることができる。 Further, the R, G, and B color lights projected on the projection target are captured by the imaging unit 140, and the captured image data (R), (G), and (B) are generated respectively. From each of the generated captured image data (R), (G), and (B), a correction value corresponding to each of R, G, and B constituting the captured image data is calculated. Therefore, the correction accuracy of the image data captured by the image capturing unit can be improved.

［第２実施形態］
第２実施形態の構成は、上述した第１実施形態の構成と同一であるため、構成の説明は省略する。
上述した第１実施形態では、撮像画像データから基準画素を選択し、選択した基準画素の画素値と、撮像画像データを構成する各画素の画素値との比を補正値として算出した。
第２実施形態の補正値算出部１７３は、Ｒ，Ｇ，Ｂの色ごとに撮像画像データを生成すると、基準画素と、撮像画像データを構成する処理画素との画素値に基づいて、画素値の低下率（以下、低下率をαと表記する）を算出する。なお、第２実施形態においても、撮像画像データの中心画素を基準画素として選択する場合について説明する。 [Second embodiment]
The configuration of the second embodiment is the same as the configuration of the above-described first embodiment, and a description of the configuration will be omitted.
In the first embodiment described above, the reference pixel is selected from the captured image data, and the ratio between the pixel value of the selected reference pixel and the pixel value of each pixel constituting the captured image data is calculated as the correction value.
When generating the captured image data for each of the R, G, and B colors, the correction value calculation unit 173 of the second embodiment determines the pixel value based on the pixel values of the reference pixel and the processing pixels that form the captured image data. Is calculated (hereinafter, the reduction rate is referred to as α). Note that, also in the second embodiment, a case will be described in which the center pixel of the captured image data is selected as the reference pixel.

補正値算出部１７３は、例えば、中心画素のＲ，Ｇ，Ｂ値と、処理画素として選択した各画素のＲ，Ｇ，Ｂ値との比をそれぞれに算出して、Ｒ，Ｇ，Ｂの色ごとに画素値の低下率αを算出する。低下率αは、例えば、処理画素の画素値を、中心画素の画素値で除算した値である。 The correction value calculation unit 173 calculates the ratio between the R, G, and B values of the center pixel and the R, G, and B values of each pixel selected as a processing pixel, for example, and calculates the R, G, and B The pixel value reduction rate α is calculated for each color. The decrease rate α is, for example, a value obtained by dividing the pixel value of the processing pixel by the pixel value of the central pixel.

次に、補正値算出部１７３は、算出した低下率αと、中心画素と処理画素との距離（以下、ｒと表記する）とに基づいて、低下係数（以下、Ｌと表記する）を算出する。低下係数Ｌの算出式を以下の式（１０）に示す。補正値算出部１７３は、Ｒ，Ｇ，Ｂの色ごとに低下係数Ｌを算出する。また、距離ｒは、撮像画像データにおける中心画素及び処理画素の座標に基づいて算出される。
Ｌ＝α／ｒ^２・・・（１０） Next, the correction value calculation unit 173 calculates a reduction coefficient (hereinafter, described as L) based on the calculated reduction rate α and the distance between the center pixel and the processing pixel (hereinafter, described as r). I do. The equation for calculating the reduction coefficient L is shown in the following equation (10). The correction value calculation unit 173 calculates a reduction coefficient L for each of R, G, and B colors. The distance r is calculated based on the coordinates of the center pixel and the processing pixel in the captured image data.
L = α / r ² (10)

補正値算出部１７３は、上述した第１実施形態と同様に、撮像画像データ（Ｒ）からＲ，Ｇ，Ｂの色ごとに低下係数Ｌを算出する。また、補正値算出部１７３は、他の撮像画像データ（Ｇ）及（Ｂ）についてもＲ，Ｇ，Ｂの色ごとに低下係数Ｌを算出する。すなわち、補正値算出部１７３は、投射画像の原色数と、撮像画像データの原色数との積である９個の低下係数Ｌを算出する。
補正値算出部１７３は、この低下係数Ｌを撮像画像データの画素ごとに算出してもよいし、所定画素ごとに算出してもよい。補正値算出部１７３は、算出した低下係数Ｌを、撮像画像データにおける各画素の座標に対応付けて記憶部１６０に記憶させる。 The correction value calculation unit 173 calculates the reduction coefficient L for each of R, G, and B colors from the captured image data (R), as in the first embodiment. The correction value calculation unit 173 also calculates a reduction coefficient L for each of the R, G, and B colors for the other captured image data (G) and (B). That is, the correction value calculation unit 173 calculates nine reduction coefficients L, which are products of the number of primary colors of the projected image and the number of primary colors of the captured image data.
The correction value calculation unit 173 may calculate the reduction coefficient L for each pixel of the captured image data, or may calculate the reduction coefficient L for each predetermined pixel. The correction value calculation unit 173 causes the storage unit 160 to store the calculated reduction coefficient L in association with the coordinates of each pixel in the captured image data.

補正処理部１７４は、リモコン５又は操作パネル１３１が操作され、スクリーンＳＣに投射された投射画像の画質を補正する画質補正の指示が入力されると、撮像制御部１７２に、撮像画像データの生成を指示する。撮像制御部１７２は、撮像部１４０を制御して、スクリーンＳＣに投射された投射画像を撮像し、撮像画像データを生成する。撮像制御部１７２は、生成した撮像画像データを補正処理部１７４に出力する。 When the remote controller 5 or the operation panel 131 is operated and an image quality correction instruction for correcting the image quality of the projected image projected on the screen SC is input, the correction processing unit 174 causes the imaging control unit 172 to generate captured image data. Instruct. The imaging control unit 172 controls the imaging unit 140 to capture the projection image projected on the screen SC, and generates captured image data. The imaging control unit 172 outputs the generated captured image data to the correction processing unit 174.

補正処理部１７４は、撮像制御部１７２から撮像画像データが入力されると、入力された撮像画像データを構成する各画素の画素値を補正する補正値を算出する。
まず、補正処理部１７４は、撮像画像データを構成する画素の中から処理対象となる画素を選択する。選択された画素を選択画素という。
補正処理部１７４は、撮像画像データにおける中心画素と選択画素との座標に基づいて、中心画素と選択画素との距離ｒを算出する。補正値算出部１７３は、上述した式（１０）に、算出した距離ｒと、記憶部１６０から読み出した選択画素の低下係数Ｌとを代入し、選択画素における低下率αを算出する。補正値算出部１７３は、算出した低下率αの逆数（１／α）を、補正値として算出する。 When the captured image data is input from the imaging control unit 172, the correction processing unit 174 calculates a correction value for correcting the pixel value of each pixel included in the input captured image data.
First, the correction processing unit 174 selects a pixel to be processed from the pixels constituting the captured image data. The selected pixel is called a selected pixel.
The correction processing unit 174 calculates a distance r between the center pixel and the selected pixel based on the coordinates of the center pixel and the selected pixel in the captured image data. The correction value calculation unit 173 substitutes the calculated distance r and the reduction coefficient L of the selected pixel read from the storage unit 160 into the above-described equation (10), and calculates the reduction rate α of the selected pixel. The correction value calculation unit 173 calculates the reciprocal (1 / α) of the calculated reduction rate α as a correction value.

以上説明したように第２実施形態の補正値算出部１７３は、中心画素及び処理画素の画素値と、中心画素と処理画素との撮像画像における画素位置とに基づいて、処理画素の画素値の中心画素の画素値からの低下率αを算出する。補正値算出部１７３は、算出した低下率αを用いて補正値を算出する。従って、撮像部１４０の感度分布を補正する補正値を、簡易に算出することができ、補正値のデータ量を削減することができる。 As described above, the correction value calculation unit 173 of the second embodiment calculates the pixel value of the processing pixel based on the pixel values of the central pixel and the processing pixel and the pixel position of the central pixel and the processing pixel in the captured image. The reduction rate α from the pixel value of the central pixel is calculated. The correction value calculation unit 173 calculates a correction value using the calculated reduction rate α. Therefore, a correction value for correcting the sensitivity distribution of the imaging unit 140 can be easily calculated, and the data amount of the correction value can be reduced.

上述した第１及び第２実施形態は、本発明の好適な実施の形態である。ただし、上述した第１及び第２実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形実施が可能である。
例えば、上述した第１及び第２実施形態では、撮像装置３００として、プロジェクター１００内に搭載された撮像装置を例に説明したが、撮像装置３００は、プロジェクター１００に搭載されている必要はなく、プロジェクター１００とは別個の装置として構成することもできる。 The first and second embodiments described above are preferred embodiments of the present invention. However, the present invention is not limited to the above-described first and second embodiments, and various modifications can be made without departing from the gist of the present invention.
For example, in the first and second embodiments described above, the imaging device 300 is described as an example of an imaging device mounted in the projector 100. However, the imaging device 300 does not need to be mounted on the projector 100. The projector 100 can be configured as a separate device.

また、上述した第１及び第２実施形態は、校正用の被写体として、表示部１１０が投射対象に投射したキャリブレーション画像を例に説明したが、校正用の被写体は、キャリブレーション画像に限定されない。例えば、スクリーンＳＣや部屋の壁を校正用の被写体として撮像し、撮像画像データを生成してもよい。 In the above-described first and second embodiments, the calibration image projected on the projection target by the display unit 110 has been described as an example of the calibration subject, but the calibration subject is not limited to the calibration image. . For example, the screen SC or the wall of the room may be imaged as a calibration subject, and the captured image data may be generated.

また、上述した第１及び第２実施形態では、１台のプロジェクター１００によりキャリブレーション画像の投射と、撮像画像データの生成とを行ったが、キャリブレーション画像の投射を別のプロジェクター１００により行ってもよい。
この場合、キャリブレーション画像を投射するプロジェクター１００が備える光源を、撮像画像データを生成するプロジェクター１００が備える光源に一致させる必要がある。すなわち、光源から射出される光のスペクトルを、撮像画像データを生成するプロジェクター１００が備える光源と同一にする必要がある。光源から射出される光のスペクトルが同一でないと、投射光学系１１３のレンズによるレンズ収差によって生じる誤差が一致しないからである。また、キャリブレーション画像を投射するプロジェクター１００が備える投射レンズを、撮像画像データを生成するプロジェクター１００が備える投射レンズに一致させる必要がある。投射光学系１１３のレンズによるレンズ収差を一致させるためである。 In the first and second embodiments described above, the projection of the calibration image and the generation of the captured image data are performed by one projector 100, but the projection of the calibration image is performed by another projector 100. Is also good.
In this case, it is necessary to match the light source of the projector 100 that projects the calibration image with the light source of the projector 100 that generates the captured image data. That is, it is necessary to make the spectrum of the light emitted from the light source the same as the light source of the projector 100 that generates the captured image data. This is because if the spectra of the light emitted from the light sources are not the same, errors caused by lens aberrations caused by the lenses of the projection optical system 113 do not match. In addition, it is necessary to match the projection lens of the projector 100 that projects the calibration image with the projection lens of the projector 100 that generates the captured image data. This is to make the lens aberration of the projection optical system 113 match.

また、上述した第１及び第２実施形態では、光源が発した光を変調する光変調装置１１２として、ＲＧＢの各色に対応した３枚の透過型の液晶パネルを用いた構成を例に挙げて説明したが、本発明はこれに限定されるものではない。例えば、３枚の反射型液晶パネルを用いた構成としてもよいし、１枚の液晶パネルとカラーホイールを組み合わせた方式を用いてもよい。或いは、３枚のデジタルミラーデバイス（ＤＭＤ）を用いた方式、１枚のデジタルミラーデバイスとカラーホイールを組み合わせたＤＭＤ方式等により構成してもよい。光変調装置として１枚のみの液晶パネルまたはＤＭＤを用いる場合には、クロスダイクロイックプリズム等の合成光学系に相当する部材は不要である。また、液晶パネルおよびＤＭＤ以外にも、光源が発した光を変調可能な光変調装置であれば問題なく採用できる。 In the first and second embodiments described above, a configuration using three transmissive liquid crystal panels corresponding to each color of RGB as the light modulator 112 that modulates the light emitted from the light source is described as an example. Although described, the invention is not so limited. For example, a configuration using three reflective liquid crystal panels may be used, or a system combining one liquid crystal panel and a color wheel may be used. Alternatively, a system using three digital mirror devices (DMD), a DMD system combining one digital mirror device and a color wheel, or the like may be used. When only one liquid crystal panel or DMD is used as the light modulation device, a member corresponding to a synthetic optical system such as a cross dichroic prism is unnecessary. Further, in addition to the liquid crystal panel and the DMD, any light modulator that can modulate the light emitted from the light source can be employed without any problem.

また、上述した第１及び第２実施形態では、プロジェクター１００として、スクリーンＳＣの前方から投射するフロントプロジェクション型のプロジェクター１００を示したが、本発明はこれに限定されない。
また、図１に示した各機能部は機能的構成を示すものであって、具体的な実装形態は特に制限されない。つまり、必ずしも各機能部に個別に対応するハードウェアが実装される必要はなく、一つのプロセッサーがプログラムを実行することで複数の機能部の機能を実現する構成とすることも勿論可能である。また、上記実施形態においてソフトウェアで実現される機能の一部をハードウェアで実現してもよく、あるいは、ハードウェアで実現される機能の一部をソフトウェアで実現してもよい。その他、プロジェクター１００の他の各部の具体的な細部構成についても、本発明の趣旨を逸脱しない範囲で任意に変更可能である。 In the first and second embodiments described above, the front projection type projector 100 that projects from the front of the screen SC is described as the projector 100, but the present invention is not limited to this.
Each functional unit shown in FIG. 1 shows a functional configuration, and a specific mounting form is not particularly limited. That is, it is not always necessary to implement hardware corresponding to each functional unit individually, and it is of course possible to adopt a configuration in which one processor executes a program to realize the functions of a plurality of functional units. In the above-described embodiment, some of the functions realized by software may be realized by hardware, or some of the functions realized by hardware may be realized by software. In addition, the specific detailed configuration of other parts of the projector 100 can be arbitrarily changed without departing from the spirit of the present invention.

５…リモコン、１００…プロジェクター、１１０…表示部、１１１…光源部、１１２…光変調装置、１１３…投射光学系、１２１…光源駆動部、１２２…光変調装置駆動、１３１…操作パネル、１３２…リモコン受光部、１３３…入力処理部、１４０…撮像部、１４５…無線通信部、１５１…画像入力Ｉ／Ｆ部、１５３…画像処理部、１５５…フレームメモリー、１６０…記憶部、１７０…制御部、１７１…投射制御部、１７２…撮像制御部、１７３…補正値算出部、１７４…補正処理部（補正部）、１８０…内部バス、２００…画像供給装置、３００…撮像装置、ＳＣ…スクリーン。
5 remote controller, 100 projector, 110 display unit, 111 light source unit, 112 light modulation device, 113 projection optical system, 121 light source drive unit, 122 light drive device drive, 131 operation panel, 132 Remote control light receiving unit, 133: input processing unit, 140: imaging unit, 145: wireless communication unit, 151: image input I / F unit, 153: image processing unit, 155: frame memory, 160: storage unit, 170: control unit , 171: projection control unit, 172: imaging control unit, 173: correction value calculation unit, 174: correction processing unit (correction unit), 180: internal bus, 200: image supply device, 300: imaging device, SC: screen.

Claims

A projection unit for projecting the primary color light ;
An imaging unit configured to generate a first captured image by capturing color light output by the projection unit and having uniform luminance and chromaticity by an integrating sphere ;
Before SL based on the first captured image, and the correction value calculation unit for calculating a correction value for correcting a captured image of the imaging unit,
A correction unit that corrects a second captured image obtained by capturing the image light projected by the projection unit with the imaging unit using the correction value calculated by the correction value calculation unit,
The correction value calculation unit selects a primary color of color light to be projected on the projection unit, projects the selected primary color light on the projection unit, and generates the first captured image for each of a plurality of primary colors. ,
For each of the first captured images, the correction value is calculated for each primary color based on a ratio between a central pixel located at the center of the first captured image and a pixel value of a selected pixel different from the central pixel. Calculate,
The correction unit is not selected as the selected pixel, for the pixel for which the correction value has not been calculated, calculated the correction value by interpolation based on the correction value of the selected pixel adjacent to the pixel, calculated A projector , wherein a pixel value of a corresponding pixel of the second captured image is corrected by the correction value .

Projecting the primary color light by the projection unit;
Generating a first captured image by capturing, by an imaging unit, color light output by the projection unit and having uniform luminance and chromaticity by an integrating sphere;
Before SL based on the first captured image, and calculating a correction value for correcting a captured image of the imaging unit,
Correcting a second captured image obtained by capturing the image light projected by the projection unit with the imaging unit using the correction value calculated in the step of calculating the correction value,
The step of calculating the correction value includes selecting a primary color of color light to be projected on the projection unit, projecting the selected color light of the primary color on the projection unit, and converting the first captured image into a plurality of primary colors. Generate
For each of the first captured images, the correction value is calculated for each primary color based on a ratio between a central pixel located at the center of the first captured image and a pixel value of a selected pixel different from the central pixel. Calculate each,
The step of correcting, for a pixel that is not selected as the selected pixel and for which the correction value has not been calculated, calculates the correction value by interpolation based on the correction value of the selected pixel adjacent to the pixel, and calculates And correcting a pixel value of a corresponding pixel of the second captured image using the corrected value .