JP2000020691A - Image processing device and method, image-pickup device, control method, and storage medium therefor - Google Patents
Image processing device and method, image-pickup device, control method, and storage medium thereforInfo
- Publication number
- JP2000020691A JP2000020691A JP10186584A JP18658498A JP2000020691A JP 2000020691 A JP2000020691 A JP 2000020691A JP 10186584 A JP10186584 A JP 10186584A JP 18658498 A JP18658498 A JP 18658498A JP 2000020691 A JP2000020691 A JP 2000020691A
- Authority
- JP
- Japan
- Prior art keywords
- image
- deterioration
- conversion
- processing
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Landscapes
- Facsimile Image Signal Circuits (AREA)
- Image Input (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、画像処理装置及び
その方法、撮像装置及びその制御方法並びにメモリ媒体
に係り、特に、劣化画像を復元する画像処理装置及びそ
の方法、該画像処理装置との組合せに好適な撮像装置及
びその制御方法、並びに、これらの方法の実行を制御す
るためのメモリ媒体に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image processing apparatus and its method, an imaging apparatus and its control method, and a memory medium. The present invention relates to an imaging apparatus suitable for combination and a control method thereof, and a memory medium for controlling execution of these methods.
【０００２】[0002]
【従来の技術】劣化画像（例えば、ブレ画像、ボケ画
像）を復元して、劣化の少ない画像（理想画像）を生成
する手法として、例えば、ウィーナーフィルタ、一般逆
フィルタ、射影フィルタ等を適用して手法がある。これ
らの手法を適用するためには、まず、劣化関数を決定す
る必要がある。この劣化関数を決定する方法としては、
撮影条件等の物理的要因から解析的に求めたり、撮影装
置に備えられた測定装置（例えば、加速度センサ）の出
力に基づいて推定する方法が理想的である。2. Description of the Related Art As a method of restoring a deteriorated image (eg, blurred image or blurred image) to generate an image (ideal image) with little deterioration, for example, a Wiener filter, a general inverse filter, a projection filter, or the like is applied. There is a technique. In order to apply these methods, it is first necessary to determine a deterioration function. As a method of determining this deterioration function,
An ideal method is to analytically obtain from physical factors such as imaging conditions or to estimate based on the output of a measuring device (for example, an acceleration sensor) provided in the imaging device.
【０００３】以下に、劣化関数について説明する。ま
ず、ｆ（ｘ，ｙ）を理想画像、ｇ（ｘ、ｙ）を劣化画
像、ｈ（ｘ、ｙ、ｘ’、ｙ’）を劣化関数、ν（ｘ、
ｙ）を出力画像におけるランダム雑音とすると、（１）
式の関係があるものと仮定する。Hereinafter, the deterioration function will be described. First, f (x, y) is an ideal image, g (x, y) is a deteriorated image, h (x, y, x ′, y ′) is a deterioration function, ν (x,
If y) is the random noise in the output image, (1)
Assume that there is an equation relationship.
【０００４】[0004]
【数１】 ・・・（１）(Equation 1) ... (1)
【０００５】平行移動を除いて、点が劣化した像が該点
の位置に存在しない場合、点広がり関数（ＰＳＦ：Poin
t Spread Function）は、ｈ（ｘ−ｘ’，ｙ−ｙ’）で
表現され、（１）式は、（２）式のように書き換えられ
る。[0005] Except for the translation, when the image whose point has deteriorated does not exist at the position of the point, a point spread function (PSF: Poin
t Spread Function) is represented by h (xx ′, yy ′), and the expression (1) is rewritten as the expression (2).
【０００６】[0006]
【数２】 ・・・（２）(Equation 2) ... (2)
【０００７】雑音がない場合は、（２）式の両辺をフー
リエ変換し、畳み込み定理を適用すると、（３）式が得
られる。ここで、Ｇ（ｕ，ｖ），Ｆ（ｕ，ｖ），Ｈ
（ｕ，ｖ）は、夫々ｇ（ｘ，ｙ），ｆ（ｘ，ｙ），ｈ
（ｘ，ｙ）のフーリエ変換である。If there is no noise, the two sides of equation (2) are subjected to Fourier transform and the convolution theorem is applied to obtain equation (3). Here, G (u, v), F (u, v), H
(U, v) is g (x, y), f (x, y), h
This is the Fourier transform of (x, y).
【０００８】[0008]
【数３】 ・・・（３）(Equation 3) ... (3)
【０００９】Ｈ（ｕ，ｖ）は、理想画像ｆ（ｘ，ｙ）を
劣化画像ｇ（ｘ，ｙ）に変換するシステムの伝達関数で
ある。H (u, v) is a transfer function of the system for converting the ideal image f (x, y) into the deteriorated image g (x, y).
【００１０】以下に、一例として、カメラと風景（被写
体）との間の相対的な運動による劣化（ブレ）における
劣化モデルについて説明する。ここでは、この相対的な
運動を除いて、カメラの撮像素子上における画像は時間
的に不変であると仮定する。仮に、相対的な運動が平面
内における撮像素子の運動によるものと近似的に等しい
ならば、撮像素子上の一点における露光量の総計は、瞬
時的な露光量を露光時間で積分することにより求められ
る。ここで、シャッタの開閉に要する時間は無視できる
ものと仮定する。α（ｔ），β（ｔ）を夫々変位のｘ，
ｙ成分であるとすると、（４）式が成り立つ。ここで、
Ｔは露光時間であり、積分範囲を便宜的にｔ＝−Ｔ／２
からｔ＝Ｔ／２までとしている。Hereinafter, as an example, a deterioration model in deterioration (blurring) due to relative movement between a camera and a landscape (subject) will be described. Here, it is assumed that, except for this relative movement, the image on the image sensor of the camera is time-invariant. If the relative motion is approximately equal to the motion of the image sensor in the plane, the total exposure at one point on the image sensor is determined by integrating the instantaneous exposure with the exposure time. Can be Here, it is assumed that the time required for opening and closing the shutter is negligible. α (t) and β (t) are x,
If the component is the y component, equation (4) holds. here,
T is the exposure time, and the integration range is t = -T / 2 for convenience.
To t = T / 2.
【００１１】[0011]
【数４】 ・・・（４）(Equation 4) ... (4)
【００１２】（４）式の両辺をフーリエ変換すると、
（５）式が得られる。When both sides of the equation (4) are Fourier transformed,
Equation (5) is obtained.
【００１３】[0013]
【数５】 ・・・（５）(Equation 5) ... (5)
【００１４】ここで、ｘ−α（ｔ）＝ξ，ｙ−β（ｔ）
＝ηとおくと、（５）式は、（６）式のようになる。Here, x-α (t) = ξ, y-β (t)
= Η, Equation (5) becomes Equation (6).
【００１５】[0015]
【数６】 ・・・（６）(Equation 6) ... (6)
【００１６】（６）式より、劣化は、（３）式、又は、
これと等価な（２）式でモデル化されることが判る。こ
の劣化の伝達関数Ｈ（ｕ，ｖ）は、（７）式で与えられ
る。From the equation (6), the deterioration is expressed by the equation (3) or
It can be seen that the model is obtained by the equivalent equation (2). The transfer function H (u, v) of this deterioration is given by equation (7).
【００１７】[0017]
【数７】 ・・・（７）(Equation 7) ... (7)
【００１８】この場合、ｘ軸に対して角度θの方向に一
定の速度Ｖで時間Ｔの間、ブレが発生した場合の点応答
関数は、（８）式で与えられる。In this case, a point response function in the case where a blur occurs for a time T at a constant speed V in the direction of the angle θ with respect to the x axis is given by the following equation (8).
【００１９】[0019]
【数８】 ・・・（８）(Equation 8) ... (8)
【００２０】ここで、ωは、（９）式で与えられる。Here, ω is given by equation (9).
【００２１】[0021]
【数９】 ・・・（９）(Equation 9) ... (9)
【００２２】また、ｕ0，ｖ0は、画像の中心座標であ
る。なお、ωが微小な時は、Ｈ（ｕ，ｖ）＝Ｔと近似さ
れる。U 0 and v 0 are the center coordinates of the image. When ω is minute, H (u, v) = T is approximated.
【００２３】同様に、ボケによる劣化の劣化モデルにつ
いても関数によって表現することができる。例えば、ボ
ケ現象が正規分布法則（ガウシアン）に沿うものとした
場合、中心画素からの距離をｒ、正規分布法則の任意の
パラメータをσ2とすると、劣化関数ｈ（ｒ）は、（１
０）式で与えられる。Similarly, a deterioration model of deterioration due to blur can be expressed by a function. For example, assuming that the blur phenomenon follows the normal distribution law (Gaussian), assuming that the distance from the center pixel is r and an arbitrary parameter of the normal distribution law is σ 2 , the deterioration function h (r) is (1)
0).
【００２４】[0024]
【数１０】 ・・・（１０）(Equation 10) ... (10)
【００２５】次に、逆フィルタによる劣化画像の復元に
ついて説明する。まず、劣化画像ｇ（ｘ，ｙ）と理想画
像ｆ（ｘ，ｙ）が（２）式に示すモデルに従うものと仮
定する。この時、雑音がないものとすると、ｇ（ｘ，
ｙ），ｆ（ｘ，ｙ），ＰＳＦ及びｈ（ｘ，ｙ）のフーリ
エ変換は、（３）式を満たす。ここで、（３）式は、
（１１）式のように変形される。Next, restoration of a deteriorated image by an inverse filter will be described. First, it is assumed that the degraded image g (x, y) and the ideal image f (x, y) follow the model shown in Expression (2). At this time, if there is no noise, g (x,
The Fourier transform of y), f (x, y), PSF and h (x, y) satisfies equation (3). Here, equation (3) is
It is transformed as in equation (11).
【００２６】[0026]
【数１１】 ・・・（１１）[Equation 11] ... (11)
【００２７】（１１）式より、Ｈ（ｕ，ｖ）が既知であ
れば、劣化画像のフーリエ変換Ｇ（ｕ，ｖ）に１／Ｈ
（ｕ，ｖ）を乗じて、これを逆フーリエ変換することに
よって、理想画像ｆ（ｘ，ｙ）を復元することができる
ことが判る。換言すると、フィルタの伝達関数は、１／
Ｈ（ｕ，ｖ）である。From equation (11), if H (u, v) is known, the Fourier transform G (u, v) of the degraded image is 1 / H
It can be seen that the ideal image f (x, y) can be restored by multiplying by (u, v) and performing an inverse Fourier transform on this. In other words, the transfer function of the filter is 1 /
H (u, v).
【００２８】実際に、（３）式を適用する場合は、様々
な問題がある。例えば、雑音を考慮した場合、（２）式
は、（１２）式のように書き換えられる。ここで、Ｎ
（ｕ，ｖ）は、ν（ｘ，ｙ）のフーリエ変換である。Actually, there are various problems when applying equation (3). For example, when noise is considered, equation (2) can be rewritten as equation (12). Where N
(U, v) is the Fourier transform of v (x, y).
【００２９】[0029]
【数１２】 ・・・（１２）(Equation 12) ... (12)
【００３０】（１２）式で示されると。劣化画像のフー
リエ変換に対してフィルタ（１／Ｈ（ｕ，ｖ））を作用
させると、（１３）式に示すようになる。If expressed by equation (12). When the filter (1 / H (u, v)) acts on the Fourier transform of the deteriorated image, the result is as shown in Expression (13).
【００３１】[0031]
【数１３】 ・・・（１３）(Equation 13) ... (13)
【００３２】[0032]
【発明が解決しようとする課題】ここで、デジタルカメ
ラによって記録された劣化画像をＴＷＡＩＮドライバ等
により制御される画像取込部によって情報処理装置に取
り込み、その劣化画像を復元して理想画像を生成するシ
ステムを考える。この場合、劣化画像の生成の過程をモ
デル化した劣化関数を決定し、ウィーナーフィルタ等の
一般にデコンボリューションと呼ばれる画像復元アルゴ
リズムによって、劣化画像を復元する手法が最も復元効
果が高いと考えられている。Here, a degraded image recorded by a digital camera is taken into an information processing apparatus by an image capture unit controlled by a TWAIN driver or the like, and the degraded image is restored to generate an ideal image. Consider a system that does In this case, it is considered that a method of determining a deterioration function that models a process of generating a deteriorated image and restoring the deteriorated image by an image restoration algorithm generally called a deconvolution such as a Wiener filter has the highest restoration effect. .
【００３３】しかしながら、従来は、劣化関数の決定に
必要な劣化パラメータ（例えば、ブレによる劣化であれ
ば、ブレの方向やブレの速度等）や撮像条件（露光時
間、露光量等）等を考慮していなかったために、劣化画
像の復元効果が十分ではなかった。However, conventionally, a deterioration parameter (for example, in the case of deterioration due to blur, the direction of blur, speed of blur, etc.) necessary for determining the deterioration function, imaging conditions (exposure time, exposure amount, etc.) are considered. Therefore, the effect of restoring the deteriorated image was not sufficient.
【００３４】また、一般に、デジタルカメラを含むシス
テムでは、ＴＷＡＩＮドライバ等により制御される画像
取込部によって画像を情報処理装置に取り込んで、画像
出力装置（例えば、プリンタ、ディスプレイ等）に出力
する。ここで、ＴＷＡＩＮドライバ等により制御される
画像処理には、ガンマ補正や色変換等の処理が含まれる
のが一般的である。しかしながら、ガンマ補正や色変換
等は、非線形のシステムに属し、前述の画像復元アルゴ
リズムにおける前提であるＬＴＩ（線形、時間的に不
変）システムに反する。すなわち、ガンマ補正や色変換
がなされた劣化画像を復元すると、復元画像に非常に大
きな雑音を重畳することになる。In general, in a system including a digital camera, an image is taken into an information processing device by an image taking unit controlled by a TWAIN driver or the like, and output to an image output device (for example, a printer or a display). Here, image processing controlled by a TWAIN driver or the like generally includes processes such as gamma correction and color conversion. However, gamma correction, color conversion, and the like belong to a non-linear system and go against the LTI (linear, time-invariant) system which is a premise in the above-described image restoration algorithm. That is, when a degraded image subjected to gamma correction or color conversion is restored, very large noise is superimposed on the restored image.
【００３５】本発明は、上記の背景に鑑みてなされたも
のであり、劣化画像から高品位の復元画像を得ることを
目的とする。The present invention has been made in view of the above background, and has as its object to obtain a high-quality restored image from a deteriorated image.
【００３６】[0036]
【課題を解決するための手段】本発明の１つの側面に係
る画像処理装置は、劣化画像を復元する画像処理装置で
あって、撮像装置によって記録媒体に記録された劣化画
像を画像取込手段が取り込んで所定の変換処理を施した
画像を入力する入力手段と、前記画像取込手段による変
換処理の内容を考慮して、入力画像を処理して復元対象
画像を生成する処理手段と、前記復元対象画像を復元し
て劣化の少ない画像を生成する復元手段とを備えること
を特徴とする。An image processing apparatus according to one aspect of the present invention is an image processing apparatus for restoring a degraded image, wherein the degraded image recorded on a recording medium by an imaging device is captured by image capturing means. Input means for inputting an image captured and subjected to predetermined conversion processing, processing means for processing an input image to generate a restoration target image in consideration of the content of the conversion processing by the image capturing means, Restoring means for restoring the restoration target image to generate an image with little deterioration.
【００３７】上記の画像処理装置において、例えば、前
記画像取込手段による変換処理の内容を示す変換情報を
前記画像取込手段から取得する取得手段を更に備えるこ
とが好ましい。[0037] In the above-mentioned image processing apparatus, it is preferable that the image processing apparatus further comprises, for example, an obtaining means for obtaining conversion information indicating the contents of the conversion processing by the image capturing means from the image capturing means.
【００３８】上記の画像処理装置において、前記処理手
段は、例えば、前記画像取込手段による変換処理の他、
前記撮像装置による撮像の際の画像の劣化に関連する劣
化関連情報を考慮して、入力画像を処理して復元対象画
像を生成することが好ましい。In the above image processing apparatus, the processing means may be, for example, a conversion processing by the image capturing means,
It is preferable that an input image is processed to generate a restoration target image in consideration of deterioration-related information related to deterioration of an image at the time of imaging by the imaging device.
【００３９】上記の画像処理装置において、例えば、前
記画像取込手段による変換処理の内容を示す変換情報及
び前記劣化関連情報を前記画像取込手段から取得する取
得手段を更に備えることが好ましい。In the above-described image processing apparatus, it is preferable that the image processing apparatus further includes, for example, an acquisition unit that acquires the conversion information indicating the content of the conversion processing by the image acquisition unit and the deterioration-related information from the image acquisition unit.
【００４０】上記の画像処理装置において、前記復元手
段は、例えば、前記撮像装置による撮像の際の画像の劣
化に関連する劣化関連情報に基づいて前記復元対象画像
を復元する方法を決定することが好ましい。In the above image processing apparatus, the restoring means may determine a method of restoring the restoration target image based on, for example, deterioration-related information relating to image deterioration at the time of imaging by the imaging device. preferable.
【００４１】上記の画像処理装置において、前記復元手
段は、例えば、前記変換情報及び前記撮像装置による撮
像の際の画像の劣化に関連する劣化関連情報に基づい
て、前記復元画像を復元する方法を決定することが好ま
しい。In the above-described image processing apparatus, the restoration means may execute a method of restoring the restored image based on, for example, the conversion information and deterioration-related information relating to the deterioration of the image at the time of imaging by the imaging device. It is preferable to determine.
【００４２】上記の画像処理装置において、前記劣化関
連情報は、例えば、前記撮像装置により劣化画像と併せ
て前記記録媒体に記録され、前記画像取込手段により読
み取られることが好ましい。In the above image processing apparatus, it is preferable that the deterioration-related information is recorded on the recording medium together with the deteriorated image by the imaging device, and is read by the image capturing means.
【００４３】上記の画像処理装置において、前記劣化関
連情報は、例えば、前記撮像装置の特性情報を含むこと
が好ましい。In the above image processing apparatus, it is preferable that the deterioration-related information includes, for example, characteristic information of the imaging device.
【００４４】上記の画像処理装置において、前記劣化関
連情報は、例えば、画像の劣化の要因となる事象の物理
量を示す劣化パラメータを含むことが好ましい。In the above image processing apparatus, it is preferable that the deterioration related information includes, for example, a deterioration parameter indicating a physical quantity of an event which causes image deterioration.
【００４５】上記の画像処理装置において、前記劣化関
連情報は、例えば、撮像条件を特定する情報を含むこと
が好ましい。In the above image processing apparatus, it is preferable that the deterioration-related information includes, for example, information for specifying an imaging condition.
【００４６】上記の画像処理装置において、前記処理手
段は、例えば、露光量と画素値との関係が線形になるよ
うに、入力画像を処理する手段を含むことが好ましい。In the above image processing apparatus, the processing means preferably includes, for example, means for processing the input image so that the relationship between the exposure amount and the pixel value becomes linear.
【００４７】上記の画像処理装置において、前記処理手
段は、例えば、前記画像取込手段による変換処理の逆変
換に相当する変換処理を実行する手段を含むことが好ま
しい。In the above image processing apparatus, it is preferable that the processing means includes, for example, means for executing a conversion process corresponding to an inverse conversion of the conversion process by the image capturing device.
【００４８】上記の画像処理装置において、前記画像取
込手段は、例えば、互いに異なる変換処理を実行する複
数の変換手段を有し、前記記録媒体から取り込んだ劣化
画像に対して前記複数の変換手段のいずれかにより変換
処理を施すことが好ましい。[0048] In the above image processing apparatus, the image capturing means has, for example, a plurality of converting means for executing different converting processes, and the plurality of converting means for the degraded image captured from the recording medium. It is preferable to perform the conversion process by any one of the above.
【００４９】上記の画像処理装置において、例えば、前
記画像読込手段が有する複数の変換手段のうち変換処理
に供する変換手段を選択する選択手段を更に備えること
が好ましい。[0049] In the above-mentioned image processing apparatus, it is preferable that the image processing apparatus further comprises, for example, a selection means for selecting a conversion means to be used for conversion processing among a plurality of conversion means of the image reading means.
【００５０】上記の画像処理装置において、前記処理手
段は、例えば、前記画像読込手段が有する複数の変換手
段のうち変換処理に供する変換手段による変換処理の内
容を考慮して、入力画像を処理することが好ましい。In the above image processing apparatus, the processing means processes the input image in consideration of, for example, the contents of the conversion processing by the conversion means provided for the conversion processing among the plurality of conversion means of the image reading means. Is preferred.
【００５１】上記の画像処理装置において、例えば、前
記復元手段により復元された画像に対して、前記画像取
込手段による変換処理の内容を考慮した画像処理を施す
画像処理手段を更に備えることが好ましい。In the above-described image processing apparatus, it is preferable that the image processing apparatus further includes, for example, image processing means for performing image processing on the image restored by the restoration means in consideration of the contents of the conversion processing by the image capturing means. .
【００５２】上記の画像処理装置において、例えば、前
記復元手段により復元された画像に対して、前記画像取
込手段による変換処理の内容及び前記撮像装置による撮
像の際の画像の劣化に関連する劣化関連情報を考慮した
画像処理を施す画像処理手段を更に備えることが好まし
い。In the above-mentioned image processing apparatus, for example, for the image restored by the restoring means, the content of the conversion process by the image capturing means and the degradation related to the degradation of the image at the time of imaging by the imaging device. It is preferable to further include an image processing unit that performs image processing in consideration of the related information.
【００５３】本発明の第２の側面に係る画像処理装置
は、劣化画像を復元する画像処理装置であって、撮像装
置によって記録媒体に記録された劣化画像を取り込んで
所定の変換処理を施す画像取込手段と、前記画像取込手
段による変換処理の内容を考慮して、前記画像取込手段
により変換処理された画像を処理して復元対象画像を生
成する処理手段と、前記復元対象画像を復元して劣化の
少ない画像を生成する復元手段とを備えることを特徴と
する。An image processing apparatus according to a second aspect of the present invention is an image processing apparatus for restoring a degraded image. The image processing apparatus captures a degraded image recorded on a recording medium by an imaging device and performs a predetermined conversion process on the degraded image. Capturing means, processing means for processing an image converted by the image capturing means to generate a restoration target image in consideration of the content of the conversion processing by the image capturing means, and Restoring means for restoring to generate an image with little deterioration.
【００５４】本発明の第3の側面に係る画像処理装置
は、劣化画像を復元する画像処理装置であって、撮像装
置によって撮像された劣化画像を入力する入力手段と、
前記撮像装置による撮像の際の画像の劣化に関連する劣
化関連情報を考慮して、劣化画像を復元して劣化の少な
い画像を生成する復元手段とを備えることを特徴とす
る。An image processing apparatus according to a third aspect of the present invention is an image processing apparatus for restoring a degraded image, comprising input means for inputting a degraded image picked up by an imaging device,
A restoration unit configured to restore the deteriorated image and generate an image with little deterioration in consideration of deterioration-related information related to the deterioration of the image at the time of imaging by the imaging device.
【００５５】本発明の第４の側面に係る撮像装置は、撮
像した画像を記録媒体に記録する画像記録手段と、撮像
の際の画像の劣化に関連する劣化関連情報を前記記録媒
体に記録する情報記録手段とを備えることを特徴とす
る。An image pickup apparatus according to a fourth aspect of the present invention comprises an image recording means for recording a picked-up image on a recording medium, and records deterioration-related information relating to image deterioration at the time of image pickup on the recording medium. Information recording means.
【００５６】[0056]
【発明の実施の形態】以下、本発明の好適な実施の形態
を説明する。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Preferred embodiments of the present invention will be described below.
【００５７】［第1の実施の形態］図１は、本発明の第1
の実施の形態に係る画像処理システムの概略構成を示す
図である。撮像装置１００は、例えばデジタルカメラで
あり、撮像部１１０と記録媒体１２０とを備える。[First Embodiment] FIG. 1 shows a first embodiment of the present invention.
1 is a diagram illustrating a schematic configuration of an image processing system according to an embodiment. The imaging device 100 is, for example, a digital camera, and includes an imaging unit 110 and a recording medium 120.
【００５８】撮像部１１０は、例えば、レンズ等の光学
系、ＣＣＤセンサ等の撮像素子等で構成され、撮像した
画像に係る画像情報を記録媒体１２０に記録する。記録
媒体１２０は、例えば、ハードディスクやフラッシュメ
モリ等で構成される。The image pickup section 110 is composed of, for example, an optical system such as a lens, an image pickup element such as a CCD sensor, etc., and records image information on a picked-up image on a recording medium 120. The recording medium 120 is composed of, for example, a hard disk or a flash memory.
【００５９】画像取込部２１０は、例えば、ＴＷＡＩＮ
ドライバ等のドライバによって制御され、記録媒体１２
０から画像情報を読み出して、その画像情報に係る画像
に所定の画像処理を施して情報処理装置２００に供給す
る。The image capturing unit 210 is, for example, a TWAIN
The recording medium 12 is controlled by a driver such as a driver.
The image information is read from 0, the image related to the image information is subjected to predetermined image processing, and supplied to the information processing apparatus 200.
【００６０】一般には、画像取込部２１０における画像
処理には、例えば、撮像装置１００が単板のデジタルカ
メラであるとすると、色補間や光学的な補正等の処理も
含まれる。しかしながら、ここでは、説明を簡略化する
ために、画像取込部２１０における画像処理として、ガ
ンマ補正や色変換等の階調変換に関してのみ説明する。In general, the image processing in the image capturing section 210 includes, for example, processing such as color interpolation and optical correction when the imaging apparatus 100 is a single-chip digital camera. However, here, for simplicity of description, as the image processing in the image capturing unit 210, only the gradation conversion such as gamma correction and color conversion will be described.
【００６１】情報処理装置２００は、例えば、キーボー
ドやマウス等で構成される入力部２２０を介してユーザ
から与えられる指示に従って、画像取込部２１０から供
給される画像情報に係る画像（劣化画像）を復元して、
劣化の少ない画像を生成する。復元画像は、例えば、記
録部２３０に保存されたり、出力部２４０に出力された
りする。出力部２４０としては、例えば、ディスプレイ
やプリンタが好適である。The information processing apparatus 200 receives an image (degraded image) related to image information supplied from the image capturing unit 210 in accordance with an instruction given by the user via the input unit 220 including, for example, a keyboard and a mouse. And restore
Generate an image with little deterioration. The restored image is stored in the recording unit 230 or output to the output unit 240, for example. As the output unit 240, for example, a display or a printer is suitable.
【００６２】図２は、画像取込部２１０の動作の流れを
示すフローチャートである。なお、このフローチャート
に示す処理は、例えば、不図示のメモリ媒体に格納され
たプログラムに基づいて、不図示のＣＰＵにより実行さ
れる。まず、ステップＳ２０１では、画像取込部２１０
は、記録媒体１２０から画像情報を読み出す。この画像
情報は、撮像の際に劣化した劣化画像の画像情報であ
る。ステップＳ２０２では、画像取込部２１０は、画像
情報に対して変換処理を施す。この変換処理には、例え
ば、ガンマ補正や色変換等の処理が含まれる。ステップ
Ｓ２０３では、画像取込部２１０は、変換した画像情報
を情報処理装置２００に転送する。FIG. 2 is a flowchart showing the flow of the operation of the image capturing section 210. The processing shown in this flowchart is executed by, for example, a CPU (not shown) based on a program stored in a memory medium (not shown). First, in step S201, the image capturing unit 210
Reads image information from the recording medium 120. This image information is image information of a deteriorated image that has deteriorated during imaging. In step S202, the image capturing section 210 performs a conversion process on the image information. This conversion processing includes, for example, processing such as gamma correction and color conversion. In step S203, the image capturing unit 210 transfers the converted image information to the information processing device 200.
【００６３】図３は、情報処理装置２００の動作の流れ
を示すフローチャートである。なお、このフローチャー
トに示す処理は、不図示のメモリ媒体に格納されたプロ
グラムに基づいて不図示のＣＰＵにより実行される。FIG. 3 is a flowchart showing the flow of the operation of the information processing apparatus 200. The processing shown in this flowchart is executed by a CPU (not shown) based on a program stored in a memory medium (not shown).
【００６４】先ず、ステップＳ３０１では、情報処理装
置２００は、撮像装置１００の特性を示す特性情報を取
得する。この特性情報は、例えば、複数の機種の撮像装
置について予め情報処理装置２００内のメモリに格納さ
れた特性情報の中から、例えば、入力部２２０を介して
与えられる機種の情報に基づいて、該当する撮像装置の
特性情報を選択することにより取得することができる。First, in step S301, the information processing device 200 acquires characteristic information indicating characteristics of the imaging device 100. The characteristic information is, for example, based on information of a model given via the input unit 220 from among characteristic information stored in advance in a memory in the information processing apparatus 200 for a plurality of types of imaging devices. It can be obtained by selecting the characteristic information of the imaging device to be performed.
【００６５】ステップＳ３０２では、情報処理装置２０
０は、画像取込部２１０における変換処理の内容を示す
変換情報を取得する。この変換情報は、例えば、画像取
込部２１０と情報処理装置２１０とを接続するためのド
ライバを情報処理装置２００にインストールする際に情
報処理装置２００内のメモリに格納される。In step S302, the information processing device 20
0 acquires the conversion information indicating the content of the conversion processing in the image capturing unit 210. This conversion information is stored in a memory in the information processing device 200 when a driver for connecting the image capturing unit 210 and the information processing device 210 is installed in the information processing device 200, for example.
【００６６】ステップＳ３０３では、情報処理装置２０
０は、画像取込部２１０から供給される画像情報を変換
する際の変換方法を決定する。具体的には、情報処理装
置２００は、ステップＳ３０２で取得した変換情報（必
要に応じて、該変換情報の他、ステップＳ３０１で取得
した特性情報）に基づいて変換方法を決定する。ここで
決定される変換方法は、前述の画像の復元処理のアルゴ
リズムの前提条件である線形性を確保するために、露光
量と画素値とが比例関係になるように画像情報を変換す
る方法である。In step S303, the information processing device 20
0 determines the conversion method when converting the image information supplied from the image capturing unit 210. Specifically, the information processing apparatus 200 determines a conversion method based on the conversion information obtained in step S302 (and, if necessary, the characteristic information obtained in step S301 in addition to the conversion information). The conversion method determined here is a method of converting image information so that the exposure amount and the pixel value are in a proportional relationship in order to secure linearity, which is a prerequisite for the algorithm of the above-described image restoration process. is there.
【００６７】ここで、撮像装置の機種、画像取込部の機
種、変換方法を対応させたテーブルを情報処理装置２０
０に備えておき、撮像装置の機種及び画像取込部の機種
を特定することにより、適切な変換方法を選択してもよ
い。なお、この変換方法は、ユーザによる指定に基づい
て決定してもよい。Here, a table corresponding to the model of the imaging apparatus, the model of the image capturing unit, and the conversion method is stored in the information processing apparatus 20.
0, and an appropriate conversion method may be selected by specifying the model of the imaging device and the model of the image capturing unit. Note that this conversion method may be determined based on the designation by the user.
【００６８】具体例として、画像取込部２１０側でガン
マ補正を実行する場合における情報処理装置２００側で
の変換処理の内容（変換方法）を説明する。撮像装置１
００の撮像部１１０から出力される画像（劣化画像）を
ｇ（ｘ，ｙ）、画像取込部２１０によるガンマ補正後の
画像をｇｇ（ｘ，ｙ）とすると、画像ｇｇ（ｘ，ｙ）
は、（１３）式で表現される。As a specific example, the contents of the conversion processing (conversion method) on the information processing apparatus 200 side when the image capturing section 210 performs gamma correction will be described. Imaging device 1
Assuming that the image (degraded image) output from the imaging unit 110 of 00 is g (x, y) and the image after gamma correction by the image capturing unit 210 is gg (x, y), the image gg (x, y)
Is expressed by equation (13).
【００６９】[0069]
【数１４】 ・・・（１４） 即ち、線形性を有する画像を得るためには、（１４）式
で示す処理の逆変換を実行すればよい。この逆変換によ
り画像ｇｇ（ｘ，ｙ）より画像ｇ（ｘ，ｙ）を再生する
ことができる。[Equation 14] (14) That is, in order to obtain an image having linearity, the inverse transformation of the processing represented by the expression (14) may be performed. By this inverse transformation, the image g (x, y) can be reproduced from the image gg (x, y).
【００７０】また、画像取込部２１０側で色補正を実行
する場合においては、情報処理装置２００側では、該色
補正による変換の逆変換を実行することにより、線形性
を有する画像を得ることができる。当然のことながら、
画像取込部２１０側でγ補正及び色補正の双方を実行す
る場合には、画像取込部２００側では、該γ補正による
変換の逆変換及び該色補正による変換の逆変換を実行す
ればよい。なお、色補間等の階調変換以外の処理に関し
ては、考慮しなくてもよい。When color correction is performed on the image capturing section 210, the information processing apparatus 200 obtains an image having linearity by performing inverse conversion of the conversion based on the color correction. Can be. As a matter of course,
When both the γ correction and the color correction are performed on the image capturing unit 210 side, the image capturing unit 200 performs the inverse conversion of the conversion by the γ correction and the inverse conversion of the conversion by the color correction. Good. Note that processing other than tone conversion such as color interpolation need not be considered.
【００７１】以上のように、ステップＳ３０３では、例
えば、画像取込部２１０による変換処理の逆変換に相当
する変換方法を決定する。As described above, in step S303, for example, a conversion method corresponding to the inverse conversion of the conversion processing by the image capturing unit 210 is determined.
【００７２】ステップＳ３０４では、情報処理装置２０
０は、画像取込部２１０より画像情報を受信する。ステ
ップＳ３０５では、ステップＳ３０３で決定した変換方
法に従って、受信に係る画像情報を変換する。In step S304, the information processing device 20
0 receives image information from the image capturing unit 210. In step S305, image information relating to reception is converted according to the conversion method determined in step S303.
【００７３】ステップＳ３０６では、ステップＳ３０１
で取得した撮像装置１００の特性情報に基づいて、劣化
関数Ｈ（ｕ，ｖ）を生成する。なお、劣化関数に関して
は、従来の技術の欄において説明されている。In step S306, step S301
A deterioration function H (u, v) is generated based on the characteristic information of the imaging device 100 acquired in step (1). The deterioration function has been described in the section of the related art.
【００７４】ステップＳ３０７では、ステップＳ３０５
で変換された画像情報（画像ｇ（ｘ，ｙ））より、ステ
ップＳ３０６で生成した劣化関数Ｈ（ｕ，ｖ）に基づい
て、劣化のない画像ｆ（ｘ，ｙ）を再生する。具体的に
は、画像ｇ（ｘ，ｙ）のフーリエ変換Ｇ（ｕ，ｖ）に１
／Ｈ（ｕ，ｖ）を乗じて画像ｆ（ｘ，ｙ）のフーリエ変
換Ｆ（ｕ，ｖ）を求め、Ｆ（ｕ，ｖ）をフーリエ逆変換
することにより、劣化の少ない画像ｆ（ｘ，ｙ）を復元
することができる。In step S307, step S305
Based on the deterioration function H (u, v) generated in step S306, an image f (x, y) without deterioration is reproduced from the image information (image g (x, y)) converted in step S306. Specifically, the Fourier transform G (u, v) of the image g (x, y) is 1
/ H (u, v) to obtain a Fourier transform F (u, v) of the image f (x, y), and perform an inverse Fourier transform on the F (u, v) to obtain an image f (x , Y) can be restored.
【００７５】［第２の実施の形態］図４は、本発明の第
２の実施の形態に係る画像処理システムの概略構成を示
す図である。なお、第1の実施の形態に係る画像処理装
置の構成要素と同一の構成要素には同一の符号を付し、
説明を省略する。[Second Embodiment] FIG. 4 is a diagram showing a schematic configuration of an image processing system according to a second embodiment of the present invention. Note that the same components as those of the image processing apparatus according to the first embodiment are denoted by the same reference numerals,
Description is omitted.
【００７６】この実施の形態に係る画像取込部２１０
は、複数の変換部として、第1変換部２１１と第２変換
部２１２とを備え、記録媒体１２０から読み出した画像
情報を変換する際に使用する変換部を切り換えることが
できる。この切り換えは、例えば、画像取込部２１０に
備えられた操作部を介してユーザから与えられる指示に
従って行ってもよいし、情報処理装置２００からの指示
に従って行ってもよい。Image capturing section 210 according to this embodiment
Includes a first conversion unit 211 and a second conversion unit 212 as a plurality of conversion units, and can switch a conversion unit used when converting image information read from the recording medium 120. This switching may be performed, for example, according to an instruction given from the user via an operation unit provided in the image capturing unit 210, or may be performed according to an instruction from the information processing device 200.
【００７７】ここでは、第1変換部２１１は、非線形処
理（例えば、γ補正や色補正）を含む変換処理を行い、
第2変換部２１２は、線形処理による変換処理を行うも
のとする。Here, the first conversion unit 211 performs conversion processing including non-linear processing (for example, γ correction and color correction).
The second conversion unit 212 performs conversion processing by linear processing.
【００７８】図５は、図４に示す画像取込部２１０の動
作の流れを示すフローチャートである。なお、このフロ
ーチャートに示す処理は、例えば、不図示のメモリ媒体
に格納されたプログラムに基づいて、不図示のＣＰＵに
より実行される。まず、ステップＳ５０１では、画像取
込部２１０は、記録媒体１２０から画像情報を読出す。FIG. 5 is a flowchart showing a flow of the operation of the image capturing section 210 shown in FIG. The processing shown in this flowchart is executed by, for example, a CPU (not shown) based on a program stored in a memory medium (not shown). First, in step S501, the image capturing unit 210 reads out image information from the recording medium 120.
【００７９】ステップＳ５０２では、画像取込部２１０
は、例えば、該装置に備えられた不図示の操作部を介し
てユーザから与えれる指示又は情報処理装置２００から
与えられる指示に基づいて、変換モードを選択する。ス
テップＳ５０３では、選択された変換モードに従って処
理を分岐し、変換モードが第1モードであればステップ
Ｓ５０４に進み、第2モードであればステップＳ５０５
に進む。In step S502, the image capturing unit 210
Selects the conversion mode based on, for example, an instruction given from a user via an operation unit (not shown) provided in the device or an instruction given from the information processing device 200. In step S503, the process branches according to the selected conversion mode. If the conversion mode is the first mode, the process proceeds to step S504; if the conversion mode is the second mode, the process proceeds to step S505.
Proceed to.
【００８０】ステップＳ５０４では、第1変換部２１１
により、記録媒体１２０から読み出した画像情報を変換
し、一方、ステップＳ５０５では、第２変換部２１２に
より該画像情報を変換する。In step S504, the first conversion unit 211
, The image information read from the recording medium 120 is converted. On the other hand, in step S505, the second conversion unit 212 converts the image information.
【００８１】ステップＳ５０６では、変換された画像情
報を情報処理装置２００に転送する。In step S506, the converted image information is transferred to information processing device 200.
【００８２】図６は、図４に示す情報処理装置２００の
動作の流れを示すフローチャートである。なお、このフ
ローチャートに示す処理は、例えば、不図示のメモリ媒
体に格納されたプログラムに基づいて、不図示のＣＰＵ
により実行される。FIG. 6 is a flowchart showing a flow of the operation of the information processing apparatus 200 shown in FIG. The processing shown in this flowchart is performed based on, for example, a program stored in a memory medium (not shown) based on a CPU (not shown).
Is executed by
【００８３】先ず、ステップＳ６０１では、情報処理装
置２００は、撮像装置１００の特性を示す特性情報を取
得する。この特性情報は、例えば、複数の機種の撮像装
置について予め情報処理装置２００内のメモリに格納さ
れた複数の特性情報の中から、例えば、入力部２２０を
介して与えられる機種の情報に基づいて、該当する撮像
装置の特性情報を選択することにより取得することがで
きる。First, in step S 601, the information processing device 200 acquires characteristic information indicating characteristics of the imaging device 100. The characteristic information is based on, for example, information on a model given via the input unit 220 from among a plurality of pieces of characteristic information stored in advance in a memory in the information processing apparatus 200 for a plurality of types of imaging devices. , By selecting the characteristic information of the corresponding imaging device.
【００８４】ステップＳ６０２では、情報処理装置２０
０は、画像取込部２１０における変換処理（画像処理）
の内容を示す変換情報を取得する。この変換情報は、例
えば、画像取込部２１０と情報処理装置２１０とを接続
するためのドライバを情報処理装置２００にインストー
ルする際に情報処理装置２００内のメモリに格納され
る。In step S602, the information processing device 20
0 indicates conversion processing (image processing) in the image capturing unit 210
Get conversion information indicating the contents of This conversion information is stored in a memory in the information processing device 200 when a driver for connecting the image capturing unit 210 and the information processing device 210 is installed in the information processing device 200, for example.
【００８５】ステップＳ６０３では、情報処理装置２０
０は、画像取込部２１０より画像情報を受信する。In step S603, the information processing device 20
0 receives image information from the image capturing unit 210.
【００８６】ステップＳ６０４では、画像取込部２１０
による変換処理の変換モードが第1モードであるか、第
２モードであるかを判断し、第1モードであればステッ
プＳ６０５に進み、第2モードであればステップＳ６０
７に進む。する。なお、この変換モード２１０を画像取
込部２１０側で決定する場合には、その決定に係る変換
モードを示す情報を画像取込部２１０から取得すること
が望ましい。ただし、入力部２２０を介して該情報をユ
ーザから得てもよい。At step S 604, image capturing section 210
It is determined whether the conversion mode of the conversion process is the first mode or the second mode. If the conversion mode is the first mode, the process proceeds to step S605. If the conversion mode is the second mode, the process proceeds to step S60.
Go to 7. I do. When the conversion mode 210 is determined on the image capturing unit 210 side, it is desirable to acquire information indicating the conversion mode related to the determination from the image capturing unit 210. However, the information may be obtained from the user via the input unit 220.
【００８７】ステップＳ６０５では、情報処理装置２０
０は、画像取込部２１０から供給される画像情報を変換
する際の変換方法を決定する。具体的には、情報処理装
置２００は、ステップＳ６０２で取得した変換情報（必
要に応じて、該変換情報の他、ステップＳ６０１で取得
した特性情報）に基づいて変換方法を決定する。ここで
決定される変換方法は、前述の画像の復元処理のアルゴ
リズムの前提条件である線形性を確保するために、露光
量と画素値とが比例関係になるように、画像情報を変換
する方法である。具体例は、第1の実施の形態と同様で
ある。In step S605, the information processing device 20
0 determines the conversion method when converting the image information supplied from the image capturing unit 210. Specifically, the information processing apparatus 200 determines a conversion method based on the conversion information acquired in step S602 (as necessary, in addition to the conversion information, the characteristic information acquired in step S601). The conversion method determined here is a method of converting image information so that the exposure amount and the pixel value are in a proportional relationship in order to secure linearity, which is a prerequisite for the algorithm of the above-described image restoration process. It is. A specific example is the same as in the first embodiment.
【００８８】ステップＳ６０６では、ステップＳ６０５
で決定した変換方法に従って、受信に係る画像情報を変
換する。In step S606, step S605
In accordance with the conversion method determined in the above, the image information relating to the reception is converted.
【００８９】ステップＳ６０７では、ステップＳ３０１
で取得した撮像装置１００の特性情報に基づいて、劣化
関数Ｈ（ｕ，ｖ）を生成する。なお、劣化関数に関して
は、従来の技術の欄において説明されている。In step S607, step S301
A deterioration function H (u, v) is generated based on the characteristic information of the imaging device 100 acquired in step (1). The deterioration function has been described in the section of the related art.
【００９０】ステップＳ６０８では、変換モードが第1
モードである場合には、第1モードステップＳ６０６で
変換された画像情報（画像ｇ（ｘ，ｙ））より、変換モ
ードが第2モードである場合には、ステップＳ６０３で
受信した画像情報（画像ｇ（ｘ，ｙ））より、ステップ
Ｓ６０７で生成した劣化関数Ｈ（ｕ，ｖ）に基づいて、
劣化の少ない画像ｆ（ｘ，ｙ）を再生する。具体的に
は、第1の実施の形態と同様である。In step S608, the conversion mode is set to the first
If the conversion mode is the second mode, the image information (image g (x, y)) converted in the first mode step S606 is used in the case of the mode. g (x, y)), based on the deterioration function H (u, v) generated in step S607,
An image f (x, y) with little deterioration is reproduced. Specifically, it is the same as the first embodiment.
【００９１】以上のように、画像取込部２１０において
画像情報を変換する際の変換モードを選択し、第1モー
ドで変換処理（非線形を含む変換処理）を実行した場合
には、情報処理装置２００では、第1の実施の形態と同
様の処理を実行し、第2モードで変換処理（線形の変換
処理）を実行した場合には、情報処理装置２００では、
画像取込部２１０から受信した画像情報そのものを復元
処理の対象とする。As described above, when the conversion mode for converting the image information in the image capturing section 210 is selected and the conversion processing (conversion processing including nonlinearity) is performed in the first mode, the information processing apparatus At 200, the same processing as that of the first embodiment is executed, and when the conversion processing (linear conversion processing) is executed in the second mode, the information processing apparatus 200
The image information itself received from the image capturing unit 210 is a target of the restoration processing.
【００９２】［第3の実施の形態］図７は、本発明の第3
の実施の形態に係る画像処理システムの概略構成を示す
図である。なお、第1の実施の形態に係る画像処理装置
の構成要素と同一の構成要素には同一の符号を付し、説
明を省略する。[Third Embodiment] FIG. 7 shows a third embodiment of the present invention.
1 is a diagram illustrating a schematic configuration of an image processing system according to an embodiment. Note that the same components as those of the image processing apparatus according to the first embodiment are denoted by the same reference numerals, and description thereof will be omitted.
【００９３】この実施の形態に係る撮像装置１００は、
例えば、画像の劣化の要因となる事象の物理量を示す劣
化パラメータ（例えば、ブレの方向、ブレの速度等）、
撮像条件（例えば、露光時間、露光量、被写体までの距
離、レンズの焦点距離等）、撮像装置の特性情報（例え
ば、レンズの光学的特性、撮像装置の識別情報等）等
の、画像の劣化に関連する情報（以下、劣化関連情報情
報）を取得して記録媒体１２０に書き込む撮像情報記録
部１３０を備える。ここで、劣化パラメータは、例え
ば、加速度センサ等により検出される。The imaging device 100 according to this embodiment
For example, a deterioration parameter (for example, the direction of the blur, the speed of the blur, etc.) indicating the physical quantity of the event that causes the degradation of the image,
Image degradation such as imaging conditions (eg, exposure time, exposure amount, distance to subject, focal length of lens, etc.), and characteristic information of the imaging device (eg, optical characteristics of lens, identification information of imaging device, etc.). And an imaging information recording unit 130 that acquires information related to the information (hereinafter, deterioration-related information) and writes the information to the recording medium 120. Here, the deterioration parameter is detected by, for example, an acceleration sensor or the like.
【００９４】画像取込部２１０は、この撮像情報を記録
媒体１２０から読出して、例えば画像情報の付加情報と
して、情報処理装置２００に転送する。また、画像取込
部２１０は、画像情報を変換する際の処理を特定する変
換情報を保持するメモリ２１３を備え、例えば画像情報
の付加情報として、この変換情報を情報処理装置２００
に転送する。[0094] The image capturing section 210 reads out the imaging information from the recording medium 120 and transfers it to the information processing apparatus 200 as, for example, additional information of the image information. Further, the image capturing unit 210 includes a memory 213 that stores conversion information for specifying processing when converting image information. For example, the conversion information is added to the information processing apparatus 200 as additional information of the image information.
Transfer to
【００９５】すなわち、この実施の形態では、情報処理
装置２００は、画像取込部２１０より劣化関連情報及び
変換情報を取得することができる。That is, in this embodiment, the information processing apparatus 200 can acquire the deterioration-related information and the conversion information from the image capturing section 210.
【００９６】図８は、図７に示す画像取込部２１０の動
作を示すフローチャートである。なお、このフローチャ
ートに示す処理は、例えば、不図示のメモリ媒体に格納
されたプログラムに基づいて、不図示のＣＰＵにより実
行される。FIG. 8 is a flowchart showing the operation of the image capturing section 210 shown in FIG. The processing shown in this flowchart is executed by, for example, a CPU (not shown) based on a program stored in a memory medium (not shown).
【００９７】まず、ステップＳ８０１では、画像取込部
２１０は、記録媒体１２０から画像情報を読み出す。ス
テップＳ８０２では、画像取込部２１０は、画像情報に
対して変換処理を施す。この変換処理には、例えば、ガ
ンマ補正や色変換等の処理（非線形の変換処理）が含ま
れる。ここで、第２の実施の形態のように、画像取込部
２１０による変換処理を選択可能にしてもよい。First, in step S801, the image capturing section 210 reads out image information from the recording medium 120. In step S802, the image capturing unit 210 performs a conversion process on the image information. This conversion processing includes, for example, processing such as gamma correction and color conversion (non-linear conversion processing). Here, as in the second embodiment, the conversion process by the image capture unit 210 may be selectable.
【００９８】ステップＳ８０３では、画像取込部２１０
は、記録媒体１２０から劣化関連情報を読み出す。ステ
ップＳ８０４では、画像取込部２１０は、メモリ２１３
に保持された変換情報を読み出す。ここで、前述のよう
に、画像取込部２１０による変換処理を選択可能にする
場合は、選択された変換処理に対応する情報をメモリ２
１３から読み出す。In step S 803, image capturing section 210
Reads the deterioration-related information from the recording medium 120. In step S804, the image capturing unit 210
Read the conversion information stored in. Here, as described above, when the conversion process by the image capturing unit 210 can be selected, information corresponding to the selected conversion process is stored in the memory 2.
13 is read.
【００９９】ステップＳ８０５では、劣化関連情報及び
変換情報を付加情報として画像情報に付加する。具体例
を挙げると、一般に、画像取込部は、記録媒体から読み
出した画像情報をＴＩＦＦ形式やＪＰＥＧ形式等の汎用
フォーマットに変換して情報処理装置に転送する。この
ような汎用フォーマットには、画像情報以外の付加情報
を記録することができるヘッダ部を有するものが多い。
そこで、このヘッダ部に撮像情報や変換情報を記録する
ことができる。In step S805, the deterioration-related information and the conversion information are added to the image information as additional information. As a specific example, generally, the image capturing unit converts image information read from a recording medium into a general-purpose format such as a TIFF format or a JPEG format and transfers the general-purpose format to an information processing apparatus. Many of such general-purpose formats have a header portion capable of recording additional information other than image information.
Therefore, imaging information and conversion information can be recorded in this header portion.
【０１００】ステップＳ８０６では、劣化関連情報及び
変換情報を付加した画像情報を情報処理装置２００に転
送する。なお、劣化関連情報及び変換情報は、画像情報
の付加情報としてではなく、別個に情報処理装置２００
に転送してもよい。In step S806, the image information to which the deterioration-related information and the conversion information are added is transferred to the information processing device 200. Note that the deterioration-related information and the conversion information are not separately provided as the additional information of the image information, but are separately stored in the information processing apparatus 200.
May be forwarded to
【０１０１】図９は、図７に示す情報処理装置２００の
動作の流れを示すフローチャートである。なお、このフ
ローチャートに示す処理は、不図示のメモリ媒体に格納
されたプログラムに基づいて不図示のＣＰＵにより実行
される。FIG. 9 is a flowchart showing the flow of the operation of the information processing apparatus 200 shown in FIG. The processing shown in this flowchart is executed by a CPU (not shown) based on a program stored in a memory medium (not shown).
【０１０２】先ず、ステップＳ９０１では、情報処理装
置２００は、画像取込部２１０から付加情報付の画像情
報を受信する。ステップＳ９０２では、情報処理装置２
００は、画像情報より劣化関連情報を抽出し、ステップ
Ｓ９０３では、情報処理装置２００は、画像情報より変
換情報を抽出する。First, in step S 901, the information processing device 200 receives image information with additional information from the image capturing unit 210. In step S902, the information processing device 2
00 extracts deterioration-related information from the image information, and in step S903, the information processing apparatus 200 extracts conversion information from the image information.
【０１０３】ステップＳ９０３では、情報処理装置２０
０は、画像取込部２１０から供給される画像情報を変換
する際の変換方法を決定する。具体的には、情報処理装
置２００は、ステップＳ９０３で取得した変換情報（必
要に応じて、該変換情報の他、ステップＳ９０２で取得
した撮像情報）に基づいて変換方法を決定する。ここで
決定される変換方法は、前述の画像の復元処理のアルゴ
リズムの前提条件である線形性を確保するために、露光
量と画素値とが比例関係になるように、画像情報を変換
する方法である。具体例は、第1の実施の形態と同様で
ある。In step S903, the information processing device 20
0 determines the conversion method when converting the image information supplied from the image capturing unit 210. Specifically, the information processing apparatus 200 determines a conversion method based on the conversion information obtained in step S903 (and, if necessary, the imaging information obtained in step S902 in addition to the conversion information). The conversion method determined here is a method of converting image information so that the exposure amount and the pixel value are in a proportional relationship in order to secure linearity, which is a prerequisite for the algorithm of the above-described image restoration process. It is. A specific example is the same as in the first embodiment.
【０１０４】ステップＳ９０５では、ステップＳ９０４
で決定した変換方法に従って、受信に係る画像情報を変
換する。In step S905, step S904
In accordance with the conversion method determined in the above, the image information relating to the reception is converted.
【０１０５】ステップＳ９０６では、ステップＳ９０２
で取得した撮像装置１００の特性情報に基づいて、劣化
関数Ｈ（ｕ，ｖ）を生成する。なお、劣化関数に関して
は、従来の技術の欄において説明されている。In step S906, step S902
A deterioration function H (u, v) is generated based on the characteristic information of the imaging device 100 acquired in step (1). The deterioration function has been described in the section of the related art.
【０１０６】ステップＳ９０７では、ステップＳ９０５
で変換された画像情報（画像ｇ（ｘ，ｙ））より、ステ
ップＳ９０６で生成した劣化関数Ｈ（ｕ，ｖ）に基づい
て、劣化のない画像ｆ（ｘ，ｙ）を再生する。具体的に
は、画像ｇ（ｘ，ｙ）のフーリエ変換Ｇ（ｕ，ｖ）に１
／Ｈ（ｕ，ｖ）を乗じて画像ｆ（ｘ，ｙ）のフーリエ変
換Ｆ（ｕ，ｖ）を求め、Ｆ（ｕ，ｖ）をフーリエ逆変換
することにより、劣化の少ない画像ｆ（ｘ，ｙ）を復元
することができる。In step S907, step S905
Based on the deterioration function H (u, v) generated in step S906, an image f (x, y) without deterioration is reproduced from the image information (image g (x, y)) converted in step S906. Specifically, the Fourier transform G (u, v) of the image g (x, y) is 1
/ H (u, v) to obtain a Fourier transform F (u, v) of the image f (x, y), and perform an inverse Fourier transform on the F (u, v) to obtain an image f (x , Y) can be restored.
【０１０７】この実施の形態によれば、情報処理装置２
００は、画像取込部２１０を介して撮像装置１００が生
成した撮像情報を取得し、この撮像情報に基づいて劣化
関数を生成するため、より理想画像に近い復元画像を得
ることができる。また、情報処理装置２００は、画像取
込部２１０から変換情報を取得するため、画像取込部２
１０の更新、変更等に柔軟に対応することができる。According to this embodiment, the information processing device 2
00 acquires the imaging information generated by the imaging device 100 via the image capturing unit 210, and generates a deterioration function based on the imaging information, so that a restored image closer to an ideal image can be obtained. In addition, the information processing apparatus 200 acquires the conversion information from the image capturing unit 210, so that the image capturing unit 2
It is possible to flexibly respond to updates, changes, and the like of ten.
【０１０８】［第４の実施の形態］この実施の形態は、
第1乃至第3の実施の形態における情報処理装置２００の
処理を変更するものである。具体的には、図３、図６又
は図９の復元処理ステップＳ３０７、Ｓ６０８又はＳ９
０７の後に、他の画像処理を追加する。この追加する画
像処理（以下、後処理という）としては、γ補正や色補
正等が好適である。以下に、この理由を説明する。[Fourth Embodiment] In this embodiment,
The processing of the information processing apparatus 200 according to the first to third embodiments is changed. Specifically, the restoration processing step S307, S608, or S9 in FIG. 3, FIG. 6, or FIG.
After 07, other image processing is added. As the additional image processing (hereinafter, referred to as post-processing), γ correction, color correction, and the like are preferable. The reason will be described below.
【０１０９】第1乃至第３の実施の形態では、情報処理
装置２００は、受信した画像情報を線形の画像情報に変
換する。この変換によって、前述のように、復元効果を
高めることができる。しかし、一方で、この変換によっ
て、画像取込部２１０による変換処理によって適正化さ
れた画像が、撮像装置１００において撮像した状態の画
像に近い状態に戻る。すなわち、情報処理装置２００に
おいて変換された画像情報は、γ補正や色補正がなされ
ていない状態の画像と等価である。そのため、この画像
情報に係る画像は、全体として、非常に暗い印象を与え
る。また、この画像情報に係る画像は、撮像装置１００
の特性を補正していない状態の画像であるため、色調や
輝度分布等が適正化されていない。In the first to third embodiments, the information processing device 200 converts the received image information into linear image information. This conversion can enhance the restoration effect as described above. However, on the other hand, by this conversion, the image optimized by the conversion processing by the image capturing unit 210 returns to a state close to the image captured by the imaging device 100. That is, the image information converted in the information processing apparatus 200 is equivalent to an image in a state where the γ correction and the color correction have not been performed. Therefore, the image related to this image information gives a very dark impression as a whole. The image related to the image information is stored in the imaging device 100.
Since the image has not been corrected, the color tone, the luminance distribution and the like are not optimized.
【０１１０】そこで、復元処理の後に、後処理を実行す
ることにより、この問題を解決することが好ましい。こ
の後処理は、画像取込部２１０における処理と同様の処
理とすること、換言すると、情報処理装置２００におけ
る変換処理（ステップＳ３０５、Ｓ６０６、Ｓ９０５）
の逆変換に相当する処理とすることが好ましい。また、
この後処理は、劣化関連情報（特に、撮影条件）を取得
し、この撮像情報に基づいて最適化することが好まし
い。また、この後処理は、出力部２４０の特性情報をも
考慮して最適化することが好ましい。Therefore, it is preferable to solve this problem by executing post-processing after restoration processing. This post-processing is the same as the processing in the image capturing unit 210, in other words, the conversion processing in the information processing apparatus 200 (steps S305, S606, and S905).
Preferably, the processing corresponds to the inverse transformation of Also,
In this post-processing, it is preferable that deterioration-related information (especially, imaging conditions) be acquired and optimization be performed based on the imaging information. In addition, it is preferable that this post-processing be optimized in consideration of the characteristic information of the output unit 240.
【０１１１】更に、この後処理の内容は、劣化関連情報
（特に、劣化パラメータ）に基づいて劣化の度合や種類
（例えば、ブレやボケ）を推定して、これらに応じて適
応的に変更することが好ましい。例えば、劣化関連情報
に基づいて、劣化の度合が大きいと判断される場合に
は、重畳される雑音が大きい可能性が高いため、例え
ば、バンドパスフィルタによる雑音除去処理を後処理と
して付加することなどが好適である。一方、劣化の度合
が小さいと判断される場合は、重畳される雑音が小さい
可能性が高いため、エッジ強調処理等を後処理として付
加し、一層の高画質化を図ることなどが好ましい。Further, the contents of the post-processing are estimated based on the deterioration-related information (particularly, deterioration parameters), and the degree and type of deterioration (for example, blurring or blurring) are estimated, and adaptively changed according to these. Is preferred. For example, if it is determined that the degree of deterioration is large based on the deterioration-related information, the noise to be superimposed is likely to be large. For example, noise removal processing using a band-pass filter should be added as post-processing. And the like are preferred. On the other hand, when it is determined that the degree of deterioration is small, it is highly possible that the noise to be superimposed is small. Therefore, it is preferable to add edge enhancement processing or the like as post-processing to achieve higher image quality.
【０１１２】［他の実施の形態］なお、本発明は、複数
の機器から構成されるシステムに適用しても、一つの機
器からなる装置に適用してもよい。[Other Embodiments] The present invention may be applied to a system constituted by a plurality of devices or to an apparatus constituted by a single device.
【０１１３】また、上記の実施の形態に係る装置又は方
法を構成する構成要素の全体のうち一部の構成要素で構
成される装置又は方法も、本件出願に係る発明者が意図
した発明である。Further, an apparatus or a method constituted by some of the components constituting the apparatus or the method according to the above embodiment is also an invention intended by the inventor of the present application. .
【０１１４】また、上記の実施の形態に係る装置の機能
は、プログラムコードを記録した記憶媒体をシステム或
いは装置に固定的又は一時的に組み込み、そのシステム
或いは装置のコンピュータ（又はＣＰＵ若しくはＭＰ
Ｕ）が該記憶媒体に格納されたプログラムコードを読み
出して実行することによっても達成される。ここで、該
記憶媒体から読み出されたプログラムコード自体或いは
該記憶媒体自体が法上の発明を構成する。The function of the apparatus according to the above-described embodiment is as follows. A storage medium storing the program code is fixedly or temporarily incorporated in a system or apparatus, and the computer (or CPU or MP) of the system or apparatus is used.
U) is also achieved by reading and executing the program code stored in the storage medium. Here, the program code itself read from the storage medium or the storage medium itself constitutes a legal invention.
【０１１５】プログラムコードを供給するための記憶媒
体としては、例えば、フロッピディスク、ハードディス
ク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ
−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等
が好適であるが、他のデバイスを採用することもでき
る。As a storage medium for supplying the program code, for example, a floppy disk, hard disk, optical disk, magneto-optical disk, CD-ROM, CD
-R, a magnetic tape, a non-volatile memory card, a ROM and the like are suitable, but other devices can be adopted.
【０１１６】また、コンピュータが記憶媒体から読み出
したプログラムコードを実行することにより本発明の特
有の機能が実現される場合のみならず、そのプログラム
コードによる指示に基づいて、コンピュータ上で稼働し
ているＯＳ（オペレーティングシステム）等が実際の処
理の一部又は全部を負担する実施の態様も本発明の技術
的範囲に属する。In addition to the case where the specific functions of the present invention are realized by executing the program code read from the storage medium by the computer, the computer operates on the computer based on the instructions by the program code. An embodiment in which an OS (operating system) or the like bears part or all of actual processing also belongs to the technical scope of the present invention.
【０１１７】さらに、記憶媒体から読み出されたプログ
ラムコードが、コンピュータに挿入された機能拡張ボー
ドやコンピュータに接続された機能拡張ユニットに備え
られたメモリに書込まれた後に、そのプログラムコード
の指示に基づいて、その機能拡張ボードや機能拡張ユニ
ットに備えられたＣＰＵ等が実際の処理の一部又は全部
を負担する実施の態様も本発明の技術的範囲に属する。Further, after the program code read from the storage medium is written into a memory provided in a function expansion board inserted into the computer or a function expansion unit connected to the computer, the program code is read. Based on the above, an embodiment in which the CPU or the like provided in the function expansion board or the function expansion unit bears a part or all of the actual processing also belongs to the technical scope of the present invention.
【０１１８】[0118]
【発明の効果】本発明によれば、劣化画像から高品位の
復元画像を得ることができる。According to the present invention, a high-quality restored image can be obtained from a deteriorated image.
【０１１９】[0119]
【図１】本発明の第１の実施の形態に係る画像処理シス
テムの概略構成を示す図である。FIG. 1 is a diagram illustrating a schematic configuration of an image processing system according to a first embodiment of the present invention.
【図２】図１に示す画像取込部の動作の流れを示すフロ
ーチャートである。FIG. 2 is a flowchart showing a flow of an operation of the image capturing unit shown in FIG.
【図３】図１に示す情報処理装置の動作の流れを示すフ
ローチャートである。FIG. 3 is a flowchart illustrating a flow of an operation of the information processing apparatus illustrated in FIG. 1;
【図４】本発明の第２の実施の形態に係る画像処理シス
テムの概略構成を示す図である。FIG. 4 is a diagram illustrating a schematic configuration of an image processing system according to a second embodiment of the present invention.
【図５】図４に示す画像取込部の動作の流れを示すフロ
ーチャートである。FIG. 5 is a flowchart showing a flow of an operation of the image capturing unit shown in FIG.
【図６】図４に示す情報処理装置の動作の流れを示すフ
ローチャートである。6 is a flowchart showing a flow of an operation of the information processing apparatus shown in FIG.
【図７】本発明の第３の実施の形態に係る画像処理シス
テムの概略構成を示す図である。FIG. 7 is a diagram illustrating a schematic configuration of an image processing system according to a third embodiment of the present invention.
【図８】図７に示す画像取込部の動作を示すフローチャ
ートである。8 is a flowchart showing the operation of the image capturing unit shown in FIG.
【図９】図７に示す情報処理装置の動作の流れを示すフ
ローチャートである。FIG. 9 is a flowchart showing a flow of an operation of the information processing apparatus shown in FIG. 7;
Claims (33)
て、 撮像装置によって記録媒体に記録された劣化画像を画像
取込手段が取り込んで所定の変換処理を施した画像を入
力する入力手段と、 前記画像取込手段による変換処理の内容を考慮して、入
力画像を処理して復元対象画像を生成する処理手段と、 前記復元対象画像を復元して劣化の少ない画像を生成す
る復元手段と、 を備えることを特徴とする画像処理装置。1. An image processing apparatus for restoring a deteriorated image, comprising: an input means for inputting an image obtained by taking in a deteriorated image recorded on a recording medium by an imaging device and subjecting the deteriorated image to a predetermined conversion process; Processing means for processing an input image to generate a restoration target image in consideration of the content of the conversion processing by the image capturing means, and restoration means for restoring the restoration target image to generate an image with little deterioration. An image processing apparatus, comprising:
を示す変換情報を前記画像取込手段から取得する取得手
段を更に備えることを特徴とする請求項１に記載の画像
処理装置。2. The image processing apparatus according to claim 1, further comprising an acquisition unit configured to acquire conversion information indicating a content of a conversion process performed by the image capturing unit from the image capturing unit.
る変換処理の他、前記撮像装置による撮像の際の画像の
劣化に関連する劣化関連情報を考慮して、入力画像を処
理して復元対象画像を生成することを特徴とする請求項
１に記載の画像処理装置。3. The processing unit restores the input image by processing the input image in consideration of deterioration-related information related to image deterioration at the time of imaging by the imaging device, in addition to the conversion processing by the image capturing unit. The image processing device according to claim 1, wherein the target image is generated.
を示す変換情報及び前記劣化関連情報を前記画像取込手
段から取得する取得手段を更に備えることを特徴とする
請求項３に記載の画像処理装置。4. The image according to claim 3, further comprising an acquisition unit that acquires the conversion information indicating the content of the conversion process by the image acquisition unit and the deterioration-related information from the image acquisition unit. Processing equipment.
像の際の画像の劣化に関連する劣化関連情報に基づいて
前記復元対象画像を復元する方法を決定することを特徴
とする請求項１乃至請求項４のいずれか１項に記載の画
像処理装置。5. The image processing apparatus according to claim 1, wherein the restoration unit determines a method for restoring the restoration target image based on deterioration-related information related to deterioration of an image when the image is captured by the imaging device. The image processing device according to claim 4.
撮像装置による撮像の際の画像の劣化に関連する劣化関
連情報に基づいて、前記復元画像を復元する方法を決定
することを特徴とする請求項１乃至請求項４のいずれか
１項に記載の画像処理装置。6. The method according to claim 1, wherein the restoration unit determines a method of restoring the restored image based on the conversion information and deterioration-related information related to image deterioration when the image is taken by the imaging device. The image processing device according to claim 1.
り劣化画像と併せて前記記録媒体に記録され、前記画像
取込手段により読み取られることを特徴とする請求項３
乃至請求項６のいずれか１項に記載の画像処理装置。7. The image processing apparatus according to claim 3, wherein the deterioration-related information is recorded on the recording medium together with the deteriorated image by the imaging device, and is read by the image capturing unit.
The image processing apparatus according to claim 6.
性情報を含むことを特徴とする請求項３乃至請求項７の
いずれか１項に記載の画像処理装置。8. The image processing apparatus according to claim 3, wherein the deterioration-related information includes characteristic information of the imaging device.
となる事象の物理量を示す劣化パラメータを含むことを
特徴とする請求項３乃至請求項７のいずれか１項に記載
の画像処理装置。9. The image processing apparatus according to claim 3, wherein the deterioration-related information includes a deterioration parameter indicating a physical quantity of an event that causes image deterioration. .
する情報を含むことを特徴とする請求項３乃至請求項７
のいずれか１項に記載の画像処理装置。10. The degradation-related information includes information for specifying an imaging condition.
The image processing device according to any one of claims 1 to 4.
関係が線形になるように、入力画像を処理する手段を含
むことを特徴とする請求項１乃至請求項１０のいずれか
１項に記載の画像処理装置。11. The apparatus according to claim 1, wherein said processing means includes means for processing an input image such that a relationship between an exposure amount and a pixel value is linear. An image processing apparatus according to claim 1.
よる変換処理の逆変換に相当する変換処理を実行する手
段を含むことを特徴とする請求項１乃至請求項１０のい
ずれか１項に記載の画像処理装置。12. The image processing apparatus according to claim 1, wherein the processing unit includes a unit that executes a conversion process corresponding to an inverse conversion of the conversion process performed by the image capturing unit. The image processing apparatus according to any one of the preceding claims.
換処理を実行する複数の変換手段を有し、前記記録媒体
から取り込んだ劣化画像に対して前記複数の変換手段の
いずれかにより変換処理を施すことを特徴とする請求項
１乃至請求項１２のいずれか１項に記載の画像処理装
置。13. The image capturing means has a plurality of conversion means for executing different conversion processing from each other, and performs the conversion processing on the deteriorated image captured from the recording medium by any of the plurality of conversion means. The image processing apparatus according to claim 1, wherein the image processing is performed.
手段のうち変換処理に供する変換手段を選択する選択手
段を更に備えることを特徴とする請求項１３に記載の画
像処理装置。14. The image processing apparatus according to claim 13, further comprising a selection unit that selects a conversion unit to be used for conversion processing among a plurality of conversion units of the image reading unit.
有する複数の変換手段のうち変換処理に供する変換手段
による変換処理の内容を考慮して、入力画像を処理する
ことを特徴とする請求項１４に記載の画像処理装置。15. The image processing apparatus according to claim 15, wherein the processing unit processes the input image in consideration of a content of a conversion process performed by a conversion unit provided for the conversion process among the plurality of conversion units included in the image reading unit. 15. The image processing device according to 14.
対して、前記画像取込手段による変換処理の内容を考慮
した画像処理を施す画像処理手段を更に備えることを特
徴とする請求項１に記載の画像処理装置。16. The image processing apparatus according to claim 1, further comprising an image processing unit that performs image processing on the image restored by the restoration unit in consideration of the content of the conversion process by the image acquisition unit. Image processing device.
対して、前記画像取込手段による変換処理の内容及び前
記撮像装置による撮像の際の画像の劣化に関連する劣化
関連情報を考慮した画像処理を施す画像処理手段を更に
備えることを特徴とする請求項１に記載の画像処理装
置。17. An image processing method for an image restored by the restoration means, taking into account the content of a conversion process by the image capturing means and deterioration-related information related to image deterioration at the time of imaging by the imaging device. The image processing apparatus according to claim 1, further comprising an image processing unit that performs the processing.
って、 撮像装置によって記録媒体に記録された劣化画像を取り
込んで所定の変換処理を施す画像取込手段と、 前記画像取込手段による変換処理の内容を考慮して、前
記画像取込手段により変換処理された画像を処理して復
元対象画像を生成する処理手段と、 前記復元対象画像を復元して劣化の少ない画像を生成す
る復元手段と、を備えることを特徴とする画像処理装
置。18. An image processing apparatus for restoring a deteriorated image, comprising: an image capturing unit that captures a deteriorated image recorded on a recording medium by an imaging device and performs a predetermined conversion process; Processing means for generating an image to be restored by processing the image converted by the image capturing means in consideration of the content of the processing; restoration means for generating an image with little deterioration by restoring the image to be restored An image processing apparatus comprising:
って、 撮像装置によって撮像された劣化画像を入力する入力手
段と、 前記撮像装置による撮像の際の画像の劣化に関連する劣
化関連情報を考慮して、劣化画像を復元して劣化の少な
い画像を生成する復元手段と、 を備えることを特徴とする画像処理装置。19. An image processing apparatus for restoring a degraded image, comprising: input means for inputting a degraded image captured by an imaging device; and degradation-related information relating to image degradation at the time of imaging by the imaging device. And a restoring means for restoring the deteriorated image to generate an image with little deterioration in consideration of the deterioration.
より劣化画像と併せて記録媒体に記録され、前記入力手
段により入力されることを特徴とする請求項１９に記載
の画像処理装置。20. The image processing apparatus according to claim 19, wherein the deterioration-related information is recorded on a recording medium together with the deteriorated image by the imaging device, and is input by the input unit.
特性情報を含むことを特徴とする請求項１９又は請求項
２０に記載の画像処理装置。21. The image processing apparatus according to claim 19, wherein the deterioration-related information includes characteristic information of the imaging device.
因となる事象の物理量を示す劣化パラメータを含むこと
を特徴とする請求項１９乃至請求項２１のいずれか１項
に記載の画像処理装置。22. The image processing apparatus according to claim 19, wherein the deterioration-related information includes a deterioration parameter indicating a physical quantity of an event that causes image deterioration. .
する情報を含むことを特徴とする請求項１９乃至請求項
２２のいずれか１項に記載の画像処理装置。23. The image processing apparatus according to claim 19, wherein the deterioration-related information includes information for specifying an imaging condition.
像記録手段と、 撮像の際の画像の劣化に関連する劣化関連情報を前記記
録媒体に記録する情報記録手段と、 を備えることを特徴とする撮像装置。24. An image recording means for recording a captured image on a recording medium, and information recording means for recording deterioration-related information relating to image deterioration at the time of imaging on the recording medium. Imaging device.
特性情報を含むことを特徴とする請求項２４に記載の撮
像装置。25. The imaging device according to claim 24, wherein the deterioration-related information includes characteristic information of the imaging device.
因となる事象の物理量を示す劣化パラメータを含むこと
を特徴とする請求項２４又は請求項２５に記載の撮像装
置。26. The imaging apparatus according to claim 24, wherein the deterioration-related information includes a deterioration parameter indicating a physical quantity of an event that causes image deterioration.
する情報を含むことを特徴とする請求項２４乃至請求項
２６のいずれか１項に記載の撮像装置。27. The imaging apparatus according to claim 24, wherein the deterioration-related information includes information for specifying an imaging condition.
って、 撮像装置によって記録媒体に記録された劣化画像を画像
取込手段が取り込んで所定の変換処理を施した画像を入
力する入力工程と、 前記画像取込手段による変換処理の内容を考慮して、入
力画像を処理して復元対象画像を生成する処理工程と、 前記復元対象画像を復元して劣化の少ない画像を生成す
る復元工程と、 を含むことを特徴とする画像処理方法。28. An image processing method for restoring a degraded image, comprising: an input step of inputting an image obtained by taking in a degraded image recorded on a recording medium by an imaging device and subjecting the degraded image to a predetermined conversion process. A processing step of processing an input image to generate a restoration target image in consideration of the content of the conversion processing by the image capturing unit; and a restoration step of restoring the restoration target image to generate an image with little deterioration. An image processing method, comprising:
って、 撮像装置によって撮像された劣化画像を入力する入力工
程と、 前記撮像装置による撮像の際の画像の劣化に関連する劣
化関連情報を考慮して、劣化画像を復元して劣化の少な
い画像を生成する復元工程と、 を含むことを特徴とする画像処理方法。29. An image processing method for restoring a degraded image, comprising: an inputting step of inputting a degraded image picked up by an imaging device; A restoring step of restoring the degraded image to generate an image with little deterioration in consideration of the above.
録媒体に記録する情報記録工程と、 を含むことを特徴とする撮像装置の制御方法。30. A method for controlling an imaging apparatus, comprising: an image recording step of recording a captured image on a recording medium; and an information recording step of recording degradation-related information related to image degradation at the time of imaging on the recording medium. A method for controlling an imaging device, comprising:
ムを格納したメモリ媒体であって、該画像処理プログラ
ムが、 撮像装置によって記録媒体に記録された劣化画像を画像
取込手段が取り込んで所定の変換処理を施した画像を入
力する入力工程と、 前記画像取込手段による変換処理の内容を考慮して、入
力画像を処理して復元対象画像を生成する処理工程と、 前記復元対象画像を復元して劣化の少ない画像を生成す
る復元工程と、 を含むことを特徴とするメモリ媒体。31. A memory medium storing an image processing program for restoring a degraded image, wherein the image processing program fetches the degraded image recorded on the recording medium by the image pickup device by image capturing means and performs a predetermined conversion. An input step of inputting the processed image; a processing step of processing the input image to generate a restoration target image in consideration of the content of the conversion processing by the image capturing unit; and restoring the restoration target image. And a restoring step of generating an image with little deterioration.
ムを格納したメモリ媒体であって、該画像処理プログラ
ムが、 撮像装置によって撮像された劣化画像を入力する入力工
程と、 前記撮像装置による撮像の際の画像の劣化に関連する劣
化関連情報を考慮して、劣化画像を復元して劣化の少な
い画像を生成する復元工程と、 を含むことを特徴とするメモリ媒体。32. A memory medium storing an image processing program for restoring a degraded image, the image processing program comprising: an inputting step of inputting a degraded image picked up by an imaging device; A restoring step of restoring the deteriorated image to generate an image with less deterioration in consideration of deterioration-related information related to the deterioration of the image.
したメモリ媒体であって、該プログラムが、 撮像した画像を記録媒体に記録する画像記録工程と、 撮像の際の画像の劣化に関連する劣化関連情報を前記記
録媒体に記録する情報記録工程と、 を含むことを特徴とするメモリ媒体。33. A memory medium storing a program for controlling an imaging device, the program comprising: an image recording step of recording a captured image on a recording medium; and a deterioration-related image related to the deterioration of the image at the time of imaging. An information recording step of recording information on the recording medium.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10186584A JP2000020691A (en) | 1998-07-01 | 1998-07-01 | Image processing device and method, image-pickup device, control method, and storage medium therefor |
| US09/342,393 US6822758B1 (en) | 1998-07-01 | 1999-06-29 | Image processing method, system and computer program to improve an image sensed by an image sensing apparatus and processed according to a conversion process |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10186584A JP2000020691A (en) | 1998-07-01 | 1998-07-01 | Image processing device and method, image-pickup device, control method, and storage medium therefor |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2000020691A true JP2000020691A (en) | 2000-01-21 |
Family
ID=16191112
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP10186584A Withdrawn JP2000020691A (en) | 1998-07-01 | 1998-07-01 | Image processing device and method, image-pickup device, control method, and storage medium therefor |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2000020691A (en) |
Cited By (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002314724A (en) * | 2001-01-17 | 2002-10-25 | Seiko Epson Corp | Generation of image file in response to preference of user |
| KR100589654B1 (en) | 2004-12-23 | 2006-06-14 | 삼성전자주식회사 | A camcorder capable of restoring odm data and a restoration method of odm data |
| JP2006221347A (en) * | 2005-02-09 | 2006-08-24 | Tokyo Institute Of Technology | Blurring information detection method |
| US7190395B2 (en) | 2001-03-30 | 2007-03-13 | Minolta Co., Ltd. | Apparatus, method, program and recording medium for image restoration |
| US7532754B2 (en) | 2004-12-24 | 2009-05-12 | Seiko Epson Corporation | Image processing apparatus and print control apparatus |
| US7825962B2 (en) | 2001-02-09 | 2010-11-02 | Seiko Epson Corporation | Image generation with integrating control data |
| WO2010131561A1 (en) * | 2009-05-12 | 2010-11-18 | Canon Kabushiki Kaisha | Image pickup apparatus |
| US7853097B2 (en) | 2002-12-27 | 2010-12-14 | Nikon Corporation | Image processing apparatus and image processing program |
| JP2010283527A (en) * | 2009-06-03 | 2010-12-16 | Canon Inc | Image processor and method of the same |
| CN101959013A (en) * | 2009-07-13 | 2011-01-26 | 佳能株式会社 | Image processing apparatus and image processing method |
| EP2288140A2 (en) | 2009-08-20 | 2011-02-23 | Canon Kabushiki Kaisha | Image capture apparatus and method |
| US7990438B2 (en) | 2007-01-09 | 2011-08-02 | Olympus Imaging Corp. | Imaging apparatus adapted to implement electrical image restoration processing |
| JP2011159178A (en) * | 2010-02-02 | 2011-08-18 | Univ Of Electro-Communications | Optical information reading device, optical information reading method and method of preparing digital filter |
| JP2012069099A (en) * | 2010-08-27 | 2012-04-05 | Canon Inc | Image processing method, image processing apparatus, and image processing program |
| EP2450848A1 (en) | 2010-11-04 | 2012-05-09 | Canon Kabushiki Kaisha | Image processing apparatus and image processing method |
| US8531582B2 (en) | 2009-10-22 | 2013-09-10 | Canon Kabushiki Kaisha | Imaging apparatus and method for controlling imaging apparatus |
| US8593509B2 (en) | 2010-03-24 | 2013-11-26 | Fujifilm Corporation | Three-dimensional imaging device and viewpoint image restoration method |
| US8730371B2 (en) | 2008-12-10 | 2014-05-20 | Canon Kabushiki Kaisha | Image processing apparatus and image processing method, and data processing apparatus and data processing method |
| US9083879B2 (en) | 2012-04-10 | 2015-07-14 | Canon Kabushiki Kaisha | Focus detection apparatus, control method thereof, and image pickup apparatus |
| US9106900B2 (en) | 2010-09-10 | 2015-08-11 | Fujifilm Corporation | Stereoscopic imaging device and stereoscopic imaging method |
| US9282316B2 (en) | 2010-09-10 | 2016-03-08 | Fujifilm Corporation | Stereoscopic imaging device and stereoscopic imaging method |
| JP2016052121A (en) * | 2014-08-29 | 2016-04-11 | コニカ ミノルタ ラボラトリー ユー．エス．エー．，インコーポレイテッド | Pseudo-skeleton based image enhancement for document image reproduction |
| US9369693B2 (en) | 2010-09-22 | 2016-06-14 | Fujifilm Corporation | Stereoscopic imaging device and shading correction method |
| US9456118B2 (en) | 2011-08-19 | 2016-09-27 | Canon Kabushiki Kaisha | Image capturing apparatus, image processing apparatus, and image processing method for generating auxiliary information for captured image |
| CN106664370A (en) * | 2014-09-30 | 2017-05-10 | 富士胶片株式会社 | Image processing device, filter acquisition device, image processing method, filter acquisition method, program, and recording medium |
| WO2018003938A1 (en) * | 2016-06-30 | 2018-01-04 | アイキューブド研究所株式会社 | Video signal processing device, video signal processing method, and program |
-
1998
- 1998-07-01 JP JP10186584A patent/JP2000020691A/en not_active Withdrawn
Cited By (42)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4696411B2 (en) * | 2001-01-17 | 2011-06-08 | セイコーエプソン株式会社 | Image file generation device, image file generation method, computer program, and recording medium |
| JP2002314724A (en) * | 2001-01-17 | 2002-10-25 | Seiko Epson Corp | Generation of image file in response to preference of user |
| US7825962B2 (en) | 2001-02-09 | 2010-11-02 | Seiko Epson Corporation | Image generation with integrating control data |
| US7190395B2 (en) | 2001-03-30 | 2007-03-13 | Minolta Co., Ltd. | Apparatus, method, program and recording medium for image restoration |
| US7853097B2 (en) | 2002-12-27 | 2010-12-14 | Nikon Corporation | Image processing apparatus and image processing program |
| US8369651B2 (en) | 2002-12-27 | 2013-02-05 | Nikon Corporation | Image processing apparatus and image processing program |
| US8031968B2 (en) | 2002-12-27 | 2011-10-04 | Nikon Corporation | Image processing apparatus and image processing program |
| KR100589654B1 (en) | 2004-12-23 | 2006-06-14 | 삼성전자주식회사 | A camcorder capable of restoring odm data and a restoration method of odm data |
| US7532754B2 (en) | 2004-12-24 | 2009-05-12 | Seiko Epson Corporation | Image processing apparatus and print control apparatus |
| JP2006221347A (en) * | 2005-02-09 | 2006-08-24 | Tokyo Institute Of Technology | Blurring information detection method |
| US7990438B2 (en) | 2007-01-09 | 2011-08-02 | Olympus Imaging Corp. | Imaging apparatus adapted to implement electrical image restoration processing |
| US8730371B2 (en) | 2008-12-10 | 2014-05-20 | Canon Kabushiki Kaisha | Image processing apparatus and image processing method, and data processing apparatus and data processing method |
| EP3110135A1 (en) | 2009-05-12 | 2016-12-28 | Canon Kabushiki Kaisha | Image pickup apparatus |
| US9591246B2 (en) | 2009-05-12 | 2017-03-07 | Canon Kabushiki Kaisha | Image pickup apparatus with blur correcting function |
| US9201288B2 (en) | 2009-05-12 | 2015-12-01 | Canon Kabushiki Kaisha | Image processing apparatus with blur correcting function |
| JP2010268052A (en) * | 2009-05-12 | 2010-11-25 | Canon Inc | Imaging device |
| CN102422630A (en) * | 2009-05-12 | 2012-04-18 | 佳能株式会社 | Image pickup apparatus |
| WO2010131561A1 (en) * | 2009-05-12 | 2010-11-18 | Canon Kabushiki Kaisha | Image pickup apparatus |
| JP2010283527A (en) * | 2009-06-03 | 2010-12-16 | Canon Inc | Image processor and method of the same |
| US8350954B2 (en) | 2009-07-13 | 2013-01-08 | Canon Kabushiki Kaisha | Image processing apparatus and image processing method with deconvolution processing for image blur correction |
| CN101959013A (en) * | 2009-07-13 | 2011-01-26 | 佳能株式会社 | Image processing apparatus and image processing method |
| EP2288140A2 (en) | 2009-08-20 | 2011-02-23 | Canon Kabushiki Kaisha | Image capture apparatus and method |
| US8315514B2 (en) | 2009-08-20 | 2012-11-20 | Canon Kabushiki Kaisha | Image capture apparatus and method |
| US8531582B2 (en) | 2009-10-22 | 2013-09-10 | Canon Kabushiki Kaisha | Imaging apparatus and method for controlling imaging apparatus |
| JP2011159178A (en) * | 2010-02-02 | 2011-08-18 | Univ Of Electro-Communications | Optical information reading device, optical information reading method and method of preparing digital filter |
| US8593509B2 (en) | 2010-03-24 | 2013-11-26 | Fujifilm Corporation | Three-dimensional imaging device and viewpoint image restoration method |
| JP2012069099A (en) * | 2010-08-27 | 2012-04-05 | Canon Inc | Image processing method, image processing apparatus, and image processing program |
| US8537239B2 (en) | 2010-08-27 | 2013-09-17 | Canon Kabushiki Kaisha | Image processing method, image processing apparatus and image processing program |
| US9049356B2 (en) | 2010-08-27 | 2015-06-02 | Canon Kabushiki Kaisha | Image processing method, image processing apparatus and image processing program |
| US9106900B2 (en) | 2010-09-10 | 2015-08-11 | Fujifilm Corporation | Stereoscopic imaging device and stereoscopic imaging method |
| US9282316B2 (en) | 2010-09-10 | 2016-03-08 | Fujifilm Corporation | Stereoscopic imaging device and stereoscopic imaging method |
| US9369693B2 (en) | 2010-09-22 | 2016-06-14 | Fujifilm Corporation | Stereoscopic imaging device and shading correction method |
| EP3285229A1 (en) | 2010-11-04 | 2018-02-21 | Canon Kabushiki Kaisha | Image processing apparatus and image processing method |
| EP2450848A1 (en) | 2010-11-04 | 2012-05-09 | Canon Kabushiki Kaisha | Image processing apparatus and image processing method |
| US9456118B2 (en) | 2011-08-19 | 2016-09-27 | Canon Kabushiki Kaisha | Image capturing apparatus, image processing apparatus, and image processing method for generating auxiliary information for captured image |
| US9083879B2 (en) | 2012-04-10 | 2015-07-14 | Canon Kabushiki Kaisha | Focus detection apparatus, control method thereof, and image pickup apparatus |
| JP2016052121A (en) * | 2014-08-29 | 2016-04-11 | コニカ ミノルタ ラボラトリー ユー．エス．エー．，インコーポレイテッド | Pseudo-skeleton based image enhancement for document image reproduction |
| CN106664370A (en) * | 2014-09-30 | 2017-05-10 | 富士胶片株式会社 | Image processing device, filter acquisition device, image processing method, filter acquisition method, program, and recording medium |
| CN106664370B (en) * | 2014-09-30 | 2018-06-08 | 富士胶片株式会社 | Image processing apparatus, image processing method and recording medium |
| WO2018003938A1 (en) * | 2016-06-30 | 2018-01-04 | アイキューブド研究所株式会社 | Video signal processing device, video signal processing method, and program |
| JPWO2018003938A1 (en) * | 2016-06-30 | 2019-06-27 | アイキューブド研究所株式会社 | Video signal processing apparatus, video signal processing method, and program |
| US10764632B2 (en) | 2016-06-30 | 2020-09-01 | I-Cubed Research Center Inc. | Video signal processing apparatus, video signal processing method, and program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2000020691A (en) | Image processing device and method, image-pickup device, control method, and storage medium therefor | |
| Faraji et al. | CCD noise removal in digital images | |
| CN100433785C (en) | A system and process for generating high dynamic range images from multiple exposures of a moving scene | |
| JP4186699B2 (en) | Imaging apparatus and image processing apparatus | |
| EP1679660B1 (en) | History adding device for generating history-added image file, electronic camera, and image processing program for processing history-added image file | |
| JP4454657B2 (en) | Blur correction apparatus and method, and imaging apparatus | |
| JP2004214756A (en) | Image noise reduction | |
| JP4345940B2 (en) | Camera shake image correction method, recording medium, and imaging apparatus | |
| JP2000115539A (en) | Method and device for processing image and recording medium | |
| JP2009194896A (en) | Image processing device and method, and imaging apparatus | |
| JP2002300459A (en) | Image restoring device through iteration method, image restoring method and its program, and recording medium | |
| JP4958806B2 (en) | Blur detection device, blur correction device, and imaging device | |
| JP5054981B2 (en) | Imaging apparatus and imaging processing method | |
| JP2011059813A (en) | Image processing apparatus, photographing device and program | |
| JPH11242737A (en) | Method for processing picture and device therefor and information recording medium | |
| JP2009088935A (en) | Image recording apparatus, image correcting apparatus, and image pickup apparatus | |
| JPH11134481A (en) | Image restoration device and image restoration method | |
| JP4468598B2 (en) | Image processing apparatus and recording medium storing image processing program | |
| JP4438363B2 (en) | Image processing apparatus and image processing program | |
| JP2009049575A (en) | Image processing device, image processing method, and program | |
| JP5497420B2 (en) | Image processing apparatus and imaging apparatus | |
| JP4811401B2 (en) | Image processing method and image processing apparatus | |
| JP5561389B2 (en) | Image processing program, image processing apparatus, electronic camera, and image processing method | |
| JP5282533B2 (en) | Image processing apparatus, imaging apparatus, and program | |
| JP2009121870A (en) | Stereo image processing device, stereo image processing method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20050906 |