Nothing Special   »   [go: up one dir, main page]

WO2011142282A1 - 撮像装置および画像処理装置 - Google Patents

撮像装置および画像処理装置 Download PDF

Info

Publication number
WO2011142282A1
WO2011142282A1 PCT/JP2011/060467 JP2011060467W WO2011142282A1 WO 2011142282 A1 WO2011142282 A1 WO 2011142282A1 JP 2011060467 W JP2011060467 W JP 2011060467W WO 2011142282 A1 WO2011142282 A1 WO 2011142282A1
Authority
WO
WIPO (PCT)
Prior art keywords
imaging
correction coefficient
unit
deblurring
data
Prior art date
Application number
PCT/JP2011/060467
Other languages
English (en)
French (fr)
Inventor
良仁 東堤
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US13/695,946 priority Critical patent/US8937680B2/en
Priority to EP11780539A priority patent/EP2571247A1/en
Priority to CN2011800323248A priority patent/CN103039067A/zh
Priority to KR1020127028746A priority patent/KR20130069612A/ko
Publication of WO2011142282A1 publication Critical patent/WO2011142282A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H04N25/611—Correction of chromatic aberration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G06T2207/30208—Marker matrix
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"

Definitions

  • the present invention relates to an imaging apparatus and an image processing apparatus that are suitably mounted on, for example, a portable electronic device.
  • an autofocus lens a lens whose focus can be switched in two steps, or the like is used as an imaging optical system.
  • the present invention has been made in view of such problems, and an object of the present invention is to provide an imaging apparatus and an image processing apparatus capable of realizing remote shooting and close-up shooting with a low-cost and simple configuration. .
  • An imaging apparatus includes an imaging lens, an imaging element that acquires imaging data based on light rays passing through the imaging lens, and an image processing unit that performs image processing on a captured image based on the imaging data. .
  • the image processing unit selects a deblurring unit that performs blur correction on the captured image, and a plurality of blur correction coefficients that are set in accordance with the object distance from the imaging lens to the subject.
  • a correction coefficient selection unit for outputting to the processing unit.
  • An image processing apparatus includes a deblurring processing unit that performs blur correction on a captured image acquired by an imaging element and based on a passing ray of an imaging lens, and each is set according to an object distance from the imaging lens to a subject.
  • a correction coefficient selection unit that selects one of the plurality of blur correction coefficients and outputs the selected one to the deblurring processing unit.
  • the correction coefficient selection unit selects one of a plurality of blur correction coefficients set according to the object distance, and the deblurring processing unit selects the selected correction coefficient. Is used to correct the blur of the imaging data.
  • the correction coefficient selection unit selects one of a plurality of correction coefficients (for example, correction coefficients for a near object or a far object), for each of imaging data having different object distances (for example, imaging data for a far object and a near object).
  • object distances for example, imaging data for a far object and a near object.
  • blur correction is performed using one selected from a plurality of blur correction coefficients set according to the object distance.
  • Appropriate blur correction can be performed for each of the imaging data having different object distances. Accordingly, it is possible to focus on the far point and the near point without using a special imaging optical system such as an autofocus lens or a focus switching lens. Therefore, it is possible to realize far-distance shooting and close-up shooting with a low-cost and simple configuration.
  • FIG. 1 is a functional block diagram illustrating a schematic configuration of an imaging apparatus according to an embodiment of the present invention. It is a circuit diagram which shows an example of the unit pixel in the image pick-up element shown in FIG. It is a schematic diagram which shows an example of the color arrangement
  • FIG. 2 is a functional block diagram illustrating a detailed configuration of an image processing unit illustrated in FIG. 1.
  • (A) is a state of light ray acquisition at the time of far shooting
  • (B) is a far point PSF function
  • (C) is a kernel size of a far point correction filter.
  • A) shows the state of light ray acquisition during close-up photography
  • (B) shows the near point PSF function
  • (C) shows the kernel size of the near point correction filter.
  • FIG. 1 is a functional block diagram illustrating a schematic configuration of an imaging apparatus according to an embodiment of the present invention. It is a circuit diagram which shows an example of the unit pixel in the image pick-up element shown in FIG
  • FIG. 6 is a schematic diagram for explaining a part of a deblurring operation in the image processing unit illustrated in FIG. 1. It shows an example of a captured QR code, where (A) shows before deblurring and (B) shows after deblurring.
  • FIG. 10 is a schematic diagram for explaining a deblurring operation according to Modification Example 1.
  • FIG. 10 is a schematic diagram for explaining a difference in image forming position for each color light according to Modification 2.
  • 10 is a schematic diagram for explaining a deblurring operation according to Modification 2.
  • FIG. 10 is a schematic diagram for explaining a deblurring operation according to Modification 2.
  • Embodiment an example of an imaging device that performs deblurring processing by switching correction filters for far points and near points
  • Modification 1 Example in which deblurring processing is performed on imaging data acquired by thinning lines
  • Modification 2 Example in which deblurring processing is applied to specific color components (G, B)) 4).
  • FIG. 1 is a functional block diagram of an imaging apparatus (imaging apparatus 1) according to an embodiment of the present invention.
  • the imaging device 1 includes an imaging lens 10, an imaging element 11, an image processing unit 12, an imaging element driving unit 13, an information detection unit 14, and a control unit 15.
  • the imaging apparatus 1 is mounted on, for example, a camera-equipped mobile phone, and has a mode in which a two-dimensional barcode such as a QR code is photographed in close proximity (macro photography mode) and a mode in which an object at a distant location is photographed. (Normal shooting mode) can be switched. In the present embodiment, in the normal shooting mode, it is assumed that far shooting is performed when the subject is far away. On the other hand, in the macro shooting mode, close-up shooting with a subject close to the camera is assumed.
  • a two-dimensional barcode such as a QR code
  • the imaging lens 10 is a main lens for imaging an object (subject), and is, for example, a general fixed focus lens used in a video camera, a still camera, or the like.
  • An aperture stop and a shutter (not shown) are disposed in the vicinity of the pupil plane of the imaging lens 10.
  • the imaging element 11 is a photoelectric conversion element that stores electricity based on the received light rays, acquires imaging data (imaging data D0 described later) based on the passing rays of the imaging lens 10, and sends the imaging data to the image processing unit 12. It is designed to output.
  • the image sensor 11 is composed of a solid-state image sensor such as a CMOS (Complementary Metal Oxide Semiconductor) or a CCD (Charge Coupled Device), and a plurality of unit pixels are arranged in an array on the image sensor 11.
  • CMOS Complementary Metal Oxide Semiconductor
  • CCD Charge Coupled Device
  • FIG. 2 shows a circuit configuration of a unit pixel in the image sensor 11.
  • the unit pixel 110 includes, for example, a photodiode 111, a transfer transistor 112, an amplification transistor 113, a select transistor 114, a reset transistor 115, and a floating node ND116.
  • the photodiode 111 photoelectrically converts incident light into signal charges (for example, electric insulators) having a charge amount corresponding to the amount of light, and accumulates the signal light.
  • the transfer transistor 112 has a source and a drain connected to the cathode of the photodiode 111 and the floating node ND116, respectively, and a gate connected to the transfer selection line TRFL.
  • the transfer transistor 112 has a function of transferring signal charges accumulated in the photodiode 111 to the floating node ND116 by being turned on.
  • the amplification transistor 113 and the select transistor 114 are connected in series between the power supply potential VDD and the signal line SGNL.
  • the amplification transistor 113 has a gate connected to the floating node ND116, amplifies the potential of the floating node ND116, and outputs the amplified potential to the signal line SGNL via the select transistor 114.
  • the gate of the select transistor 114 is connected to the select line SELL.
  • the reset transistor 115 has a source connected to the floating node ND116, a drain connected to a predetermined potential line, a gate connected to the reset line RSTL, and a function of resetting the potential of the floating node ND116.
  • FIG. 3 illustrates a Bayer color filter as an example.
  • a Bayer array using two of the three primary colors (G: Green), one of red (R: Red), and one of blue (B: Blue) is used.
  • This Bayer array is an array in which luminance resolution is more important than color.
  • a pre-processing unit may be provided at the output stage of the image sensor 11.
  • the pre-processing unit performs sampling processing and quantization processing on the analog signal read from the image sensor 11, converts the analog signal into a digital signal (A / D conversion), and performs image processing. Output to.
  • the function of the pre-processing unit can be provided to the image sensor 11 itself.
  • the image processing unit 12 performs predetermined image processing including blur correction processing (deblurring processing) on the imaging data (imaging data D0) supplied from the imaging device 11.
  • image processing unit 12 performs predetermined image processing including blur correction processing (deblurring processing) on the imaging data (imaging data D0) supplied from the imaging device 11.
  • blur correction processing deblurring processing
  • the image sensor driving unit 13 performs drive control such as light receiving and reading operations of the image sensor 11.
  • the information detection unit 14 detects a shooting mode setting signal (mode setting signal) in the imaging apparatus 1.
  • This mode setting signal is input by a user, for example, through operation of buttons, keys, switches, etc. in a cellular phone or the like.
  • the user selects (switches) either a normal shooting mode for distant shooting or a macro shooting mode for close-up shooting as the shooting mode.
  • the information detection unit 14 outputs the detection result to the control unit 15 as a mode setting signal Dm, and the control unit 15 controls the image processing operation of the image processing unit 12 according to the selected shooting mode.
  • the image processing unit 12 can select (switch) an appropriate correction coefficient according to the object distance by the control described above.
  • the control unit 15 drives and controls the image sensor driving unit 13, the image processing unit 12, and the information detection unit 14, and is, for example, a microcomputer.
  • FIG. 4 shows an example of the image processing unit 12.
  • the image processing unit 12 includes, for example, a preprocessing unit 120, a storage unit 121, a deblurring processing unit 122, a correction coefficient selection unit 123, and a holding unit 124.
  • the image processing unit 12 corresponds to a specific example of the image processing apparatus of the present invention.
  • the preprocessing unit 120 performs various types of image processing such as defect correction processing, noise removal processing, white balance adjustment processing, shading correction processing, Y / C separation processing, and the like on the imaging data D0.
  • Image data D1 is output to the storage unit 121.
  • the storage unit 121 is a memory for temporarily storing the image data D1 output from the preprocessing unit 120 for the subsequent deblurring process.
  • the storage means in the storage unit 121 may be a fixed disk or a removable disk, and various types such as a magnetic disk, an optical disk, a magneto-optical disk, and a semiconductor memory are used.
  • the image data held in the storage unit 121 is output to the deblurring unit 122 as image data D 2 under the control of the correction coefficient selection unit 123.
  • the storage unit 121 includes a plurality of line memories 121a, and image data based on the imaging data D0 is stored for a predetermined number of lines in the plurality of line memories 121a. .
  • the number (number of lines) of the line memory 121a is set according to the size of the correction coefficient used in the deblurring processor 122.
  • the correction coefficient is an inverse function of PSF, its size (two-dimensional expansion) differs depending on the object distance (imaging mode). That is, for each correction coefficient, the filter size at the time of deblurring processing described later differs, and the number of lines in the line memory 121a is set to a number corresponding to the filter size at the time of the deblurring processing.
  • the deblurring processing unit 122 performs processing for correcting blur (deblurring processing) on the imaging data supplied from the storage unit 121. Specifically, the deblurring unit 122 performs the deblurring process by filtering using the correction coefficient (correction coefficient k1 or correction coefficient k2) supplied from the correction coefficient selecting unit 123, and the image data Dout after the deblurring process is obtained. Output.
  • the correction coefficient selection unit 123 selects one of a plurality of correction coefficients for blur correction based on the control of the control unit 15, and outputs the selected correction coefficient to the deblurring unit 122.
  • the plurality of correction coefficients are prepared for each of a plurality of different shooting modes, and differ depending on the object distance.
  • a correction coefficient two correction coefficients, that is, a correction coefficient k1 for the normal shooting mode and a correction coefficient k2 for the macro shooting mode are used.
  • the correction coefficient k1 is a correction coefficient for performing an appropriate deblurring process on image data of a distant object
  • the correction coefficient k2 is a correction coefficient for performing an appropriate deblurring process on image data of a close object. is there.
  • Each of these correction coefficients k1 and k2 is, for example, an inverse function of a point spread function (PSF: Point spread function).
  • the PSF function is a function given by the following equation (1).
  • h (x, y) the correction coefficients k1 and k2 are functions given by the following equation (2).
  • f (x, y) ⁇ h (x, y) g (x, y) (1) 1 / h (x, y) (2)
  • the holding unit 124 is a memory that holds the correction coefficients k1 and k2 as described above, and a storage unit similar to the storage unit 121 is used.
  • the correction coefficients k1 and k2 may be stored in advance in the memory in the circuit as described above, but may be input from the outside via the information detection unit 14.
  • FIG. 5A schematically shows a state of light acquisition in the normal photographing mode.
  • the imaging apparatus 1 for example, in the normal shooting mode, the light beam L ⁇ b> 1 from the object (subject) passes through the imaging lens 10 and then reaches the imaging element 11.
  • the received light signal is read out line-sequentially under the control of the image pickup device driving unit 13, thereby acquiring image pickup data D 0 (distant object image pickup data).
  • the acquired imaging data D0 is supplied to the image processing unit 12, and the image processing unit 12 performs predetermined image processing on the imaging data D0 and outputs it as image data Dout.
  • the image processing unit 12 performs the following deblurring processing on the imaging data D0 based on the mode setting signal Dm input via the information detection unit 14.
  • the preprocessing unit 120 performs various image processing such as defect correction processing, noise removal processing, white balance adjustment processing, shading correction processing, and Y / C separation processing.
  • the defect correction process is a process for correcting a defect included in the imaging data D0 (a defect caused by an abnormality in the element of the imaging element 11).
  • the noise removal process is a process for removing noise included in the image data (for example, noise generated when an image is taken in a dark place or a place where sensitivity is insufficient).
  • the white balance adjustment process is a process of adjusting a color balance that has been lost due to individual differences in devices such as the pass characteristics of the color filter and the spectral sensitivity of the image sensor 11 and illumination conditions.
  • the shading correction process is a process for correcting unevenness of the luminance level in the captured image plane.
  • the Y / C separation process is a process of separating the luminance signal (Y) and the chroma signal (C).
  • color interpolation processing such as processing for setting the black level of each pixel data (clamp processing) and demosaic processing may be performed.
  • the processed image data is output to the storage unit 121 as image data D1.
  • the storage unit 121 stores the image data D1 input from the preprocessing unit 120 in the line memory 121a having a predetermined number of lines corresponding to the filter size at the time of deblurring using the subsequent correction coefficients k1 and k2. Hold temporarily.
  • the number of lines in the line memory 121a provided in the storage unit 121 is, for example, as follows so as to be compatible with deblurring processing using any correction coefficient depending on the size of the correction coefficients k1 and k2 to be used.
  • the filter size is relatively small (for example, the 3 ⁇ 3 kernel shown in FIG. 5C). In other words, in the normal shooting mode, since the degree of “blur” in the captured image is relatively small, the filter size may be small.
  • FIG. 6A schematically shows the state of light beam acquisition in the macro photography mode.
  • the imaging point f n of the object is separated from the light receiving surface S1 of the image sensor 11,
  • the two-dimensional spread is larger than that of the far-point PSF (FIG. 6B).
  • the filter size becomes relatively large (for example, the 5 ⁇ 5 kernel shown in FIG. 6C).
  • the degree of “blur” in the captured image is relatively large, and thus the filter size is increased accordingly. Therefore, here, five line memories 121a are provided in consideration of the deblurring process (the deblurring process using the correction coefficient k2) in the macro shooting mode.
  • the correction coefficient selection unit 123 determines the object distance from the correction coefficients k1 and k2 held in the holding unit 124 in accordance with the control of the control unit 15 based on the mode setting signal Dm. An appropriate correction coefficient corresponding to the above is selected and output to the deblurring processor 122. Specifically, when the mode setting signal Dm selects the normal shooting mode, the correction coefficient k1 for the far object is selected. On the other hand, when the mode setting signal Dm selects the macro shooting mode, the correction coefficient k2 for the proximity object is selected.
  • the correction coefficient k1 is switched to the correction coefficient k2.
  • the correction coefficient k2 is switched to the correction coefficient k1.
  • the selected correction coefficient k1 (or correction coefficient k2) is output to the deblurring processor 122.
  • the correction coefficient selection unit 123 outputs the image data D2 having the number of lines corresponding to the correction coefficient to be selected (according to the filter size at the time of the deblurring process) to the deblurring processing unit 122.
  • the storage unit 121 is controlled. Specifically, as shown in FIG. 7A, in the normal shooting mode, pixel data D2a for three lines (a1 to a3) corresponding to the 3 ⁇ 3 filter size is converted into image data D2. As shown in FIG. On the other hand, as shown in FIG. 7B, in the macro shooting mode, pixel data D2b for 5 lines (b1 to b5) corresponding to a 5 ⁇ 5 filter size is used as image data D2. Output to the deblurring unit 122.
  • the deblurring unit 122 performs a deblurring process on the image data D2 for a predetermined line supplied from the storage unit 121 using the correction coefficient supplied from the correction coefficient selecting unit 123. Specifically, in the normal shooting mode, blur correction is performed by multiplying the image data D2 for three lines by the correction coefficient k1. On the other hand, in the macro shooting mode, blur correction is performed by multiplying the image data D2 for five lines by the correction coefficient k2. By such a deblurring process, the blur in the captured image corresponding to the image data D2 is satisfactorily improved, and the image data Dout focused on the subject is output.
  • the correction coefficient k1 for the far object and the correction coefficient k2 for the near object are selected for the imaging data D0 based on the mode setting signal Dm. Either one is selected, and the deblurring process is performed based on the selected correction coefficient.
  • the correction coefficients k1 and k2 as the correction coefficient used in the deblurring process, appropriate blur correction can be performed on each of the imaging data of both the far object and the close object. Can be applied. Accordingly, it is possible to focus on the far point and the near point without using a special imaging optical system such as an autofocus lens or a focus switching lens. Therefore, it is possible to realize far-distance shooting and close-up shooting with a low-cost and simple configuration.
  • FIG. 8A shows an example of a captured image of a QR code before deblurring processing
  • FIG. 8B shows an example of a captured image of a QR code after deblurring processing.
  • modified examples modified examples 1 and 2 of the above embodiment will be described.
  • the same components as those in the above embodiment are denoted by the same reference numerals, and description thereof will be omitted as appropriate.
  • FIG. 9 is a schematic diagram for explaining the deblurring operation according to the first modification.
  • the number of lines in the line memory is set according to the filter size corresponding to the correction coefficient. That is, the number of lines is five in accordance with the correction coefficient k2 that requires a large filter size so that it can be applied to deblurring processing using either of the correction coefficients k1 and k2, but the number of lines in the line memory is reduced.
  • the filter size may be reduced.
  • the number of lines in the line memory may be three in accordance with the filter size (3 ⁇ 3) in the normal photographing mode (when the correction coefficient k1 is used).
  • the filter size 3 ⁇ 3 in the normal photographing mode (when the correction coefficient k1 is used).
  • 5 lines are originally required as described above, but by thinning out 2 lines, it is possible to correspond to a line memory of 3 lines.
  • a predetermined line (b2, b4) is thinned out of the pixel data for five lines (b1 to b5) (writing to the line memory is performed every other line).
  • the pixel data for three lines (b1, b3, b5) is set as the deblurring processing target.
  • the deblurring process can be performed with a 3 ⁇ 5 filter size.
  • the number of lines in the line memory in the storage unit 121 is not necessarily matched with the macro shooting mode having a large filter size. Since the macro shooting mode is a shooting mode mainly used for data recognition such as reading of a QR code, it is sufficient that a resolution that can recognize such data is secured in a captured image. is there. For this reason, as in this modification, a predetermined line may be thinned out and held in the line memory of the storage unit 121. Even with such a configuration, it is possible to obtain the same effect as that of the above-described embodiment, and it is possible to reduce the filter size during the deblurring process as compared with the above-described embodiment.
  • the number of lines in the line memory in the storage unit 121 is not limited to “5” or “3” described above, and may be other numbers of lines. It can be set as appropriate according to the size of the PSF of the correction coefficient to be used.
  • the number of lines in the line memory can be reduced by, for example, mixing pixel data in the image sensor 11 or pixel data in digital processing. It can also be realized by adding.
  • ⁇ Modification 2> since the color filter formed by arranging filters of the three primary colors R, G, and B is provided on the light receiving surface of the image sensor 11, pixel data of all three colors are subject to deblurring processing. However, as described below, only a specific color component may be the target of the deblurring process. For example, when the color arrangement of the color filter is a Bayer arrangement, only the green component having a resolution may be the target of the deblurring process. In this case, for example, as shown in FIG. 10, among the pixel data arranged according to the color arrangement of the color filter, rearrangement is performed so that only the G data is arranged, thereby reducing the number of lines. (Halved).
  • the blue light L B, the green light L G, the imaging position for each color light of the red light L R (f B, f G , f R) is a difference occurs most focus easily fit in the blue light L B of these. For this reason, only the blue component of the imaging data D0 may be the target of the deblurring process. In this case, as in the case of using only the green component, the number of lines can be reduced by rearranging the data array of only B data.
  • these blue and green components may be subject to deblurring.
  • the two shooting modes can be switched between the normal shooting mode and the macro shooting mode as the shooting mode, and the two correction coefficients can be switched according to each shooting mode.
  • the number of correction coefficients to be performed may be three or more.
  • the deblurring process is performed by thinning a predetermined line in the imaging data D0, or only specific color components of the R, G, and B pixel data are targeted for the deblurring process.
  • the luminance signal after Y / C separation may be the deblurring target.
  • the Y / C separation process is performed in the preprocessing unit 120 in the image processing unit 12 to separate the luminance signal (Y) and the color signal (C)
  • only the luminance component is stored in the line of the storage unit 121.
  • a predetermined number of lines may be stored in the memory.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Color Television Image Signal Generators (AREA)
  • Image Processing (AREA)
  • Automatic Focus Adjustment (AREA)

Abstract

　低コストかつ簡易な構成で、遠方撮影および近接撮影を実現することが可能な撮像装置および画像処理装置を提供する。画像処理部１２では、ユーザによって入力されるモード設定信号に応じて、補正係数選択部１２３が、遠方物体用の補正係数ｋ１と近接物体用の補正係数ｋ２との中から１つを選択し、デブラー処理部１２２へ出力する。デブラー処理部１２２は、選択された補正係数を用いて撮像データＤ０に基づく画像データＤ２のぼけ補正を行う。遠方物体および近接物体の撮像データの各々に対して、適切なぼけ補正を施すことが可能となる。

Description

撮像装置および画像処理装置
　本発明は、例えば携帯電子機器に好適に搭載される撮像装置および画像処理装置に関するものである。
　近年、ＱＲ（Quick response）コード等の２次元バーコードや、名刺用のＯＣＲ（Optical Character Recognition）等、近接撮影を利用してデータ認識やデータ入力を行うカメラは、カメラ付き携帯電話機の普及によって、需要が高まっている。
　このようなカメラでは、データ認識の際、物体距離（被写体までの距離）を近づけて撮影（近接撮影）が行われる必要がある。そのため、通常撮影（遠方にある物体を撮影）と、近接撮影との両方を行うためには、撮像光学系としてオートフォーカスレンズや、２段階に焦点を切り替え可能なレンズ等が使用される。
　しかしながら、上記のようなオートフォーカスレンズや焦点切り替えレンズを用いた場合、アクチュエータや合焦判定回路等が別途必要となり、部品点数が増え、またコストも高くなる。尚、この他にも、被写界深度を拡張する技術（ＥＤＯＦ：Extended depth of field）もあるが、このＥＤＯＦによる手法では、バーコードの読み取りやＯＣＲによる認識可能な程度にまで、近点にフォーカスすることは難しい。従って、通常撮影（遠点へのフォーカス）だけでなく、バーコード読み取りやＯＣＲ認識を行うための近接撮影（近点へのフォーカス）を、低コストかつ簡易な構成で実現することが望まれている。
　本発明はかかる問題点に鑑みてなされたもので、その目的は、低コストかつ簡易な構成で、遠方撮影および近接撮影を実現することが可能な撮像装置および画像処理装置を提供することにある。
　本発明の撮像装置は、撮像レンズと、撮像レンズの通過光線に基づく撮像データを取得する撮像素子と、撮像データに基づく撮像画像に対して画像処理を施す画像処理部とを備えたものである。画像処理部は、撮像画像に対してぼけ補正を施すデブラー処理部と、各々が撮像レンズから被写体までの物体距離に応じて設定された複数のぼけ補正係数の中から１つを選択し、デブラー処理部へ出力する補正係数選択部とを有している。
　本発明の画像処理装置は、撮像素子によって取得され、撮像レンズの通過光線に基づく撮像画像に対し、ぼけ補正を施すデブラー処理部と、各々が撮像レンズから被写体までの物体距離に応じて設定された複数のぼけ補正係数の中から１つを選択し、デブラー処理部へ出力する補正係数選択部とを備えたものである。
　本発明の撮像装置および画像処理装置では、補正係数選択部が、物体距離に応じて設定された複数のぼけ補正係数の中から１つを選択し、デブラー処理部が、その選択された補正係数を用いて撮像データのぼけ補正を行う。複数の補正係数（例えば近接物体や遠方物体の補正係数）の中から１つを選択可能とすることで、物体距離の異なる撮像データ（例えば遠方物体および近接物体の撮像データ）の各々に対して、適切なぼけ補正を施すことが可能となる。
　本発明の撮像装置および画像処理装置によれば、物体距離に応じて設定された複数のぼけ補正係数の中から選択された１つを用いてぼけ補正がなされるので、例えば近接物体や遠方物体等の物体距離の異なる撮像データに対してそれぞれ、適切なぼけ補正を行うことができる。これにより、オートフォーカスレンズや焦点切り替えレンズ等の特殊な撮像光学系を用いることなく、遠点および近点へのフォーカスが可能となる。よって、低コストかつ簡易な構成で、遠方撮影および近接撮影を実現することができる。
本発明の一実施の形態に係る撮像装置の概略構成を表す機能ブロック図である。 図１に示した撮像素子における単位画素の一例を示す回路図である。 カラーフィルタにおける色配列の一例を示す模式図である。 図１に示した画像処理部の詳細構成を表す機能ブロック図である。 （Ａ）は遠方撮影時における光線取得の様子、（Ｂ）は遠点ＰＳＦ関数、（Ｃ）は遠点用補正フィルタのカーネルサイズを表すものである。 （Ａ）は近接撮影時における光線取得の様子、（Ｂ）は近点ＰＳＦ関数、（Ｃ）は近点用補正フィルタのカーネルサイズを表すものである。 図１に示した画像処理部におけるデブラー処理動作の一部を説明するための模式図である。 撮影したＱＲコードの一例を表すものであり、（Ａ）はデブラー処理前、（Ｂ）はデブラー処理後を示す。 変形例１に係るデブラー処理動作を説明するための模式図である。 変形例２に係り、色光毎の結像位置の違いを説明するための模式図である。 変形例２に係るデブラー処理動作を説明するための模式図である。
　以下、本発明の実施の形態を図面に関連付けて説明する。尚、説明は以下の順序で行う。

１．実施の形態（遠点用と近点用の補正フィルタを切り替えてデブラー処理を行う撮像装置の例）
２．変形例１（ラインを間引いて取得した撮像データにデブラー処理を施す例）
３．変形例２（特定の色成分（Ｇ，Ｂ）にデブラー処理を施す例）
４．その他の変形例
＜実施の形態＞
［撮像装置１の全体構成］
　図１は、本発明の一実施の形態に係る撮像装置（撮像装置１）の機能ブロック図である。撮像装置１は、撮像レンズ１０、撮像素子１１、画像処理部１２、撮像素子駆動部１３、情報検出部１４および制御部１５を備えたものである。この撮像装置１は、例えばカメラ付き携帯電話機等に搭載されるものであり、ＱＲコード等の２次元バーコードを近接して撮影するモード（マクロ撮影モード）と、遠方にある物体を撮影するモード（通常撮影モード）とを切り替え可能となっている。本実施の形態において、通常撮影モードでは、被写体が遠方にある場合の遠方撮影を想定している。他方、マクロ撮影モードでは、被写体が近接している状態での近接撮影を想定している。
　撮像レンズ１０は、物体（被写体）を撮像するためのメインレンズであり、例えば、ビデオカメラやスチルカメラ等で使用される一般的な固定焦点レンズである。この撮像レンズ１０の瞳面近傍には、図示しない開口絞りやシャッターが配設されている。
　撮像素子１１は、受光光線に基づいて蓄電を行う光電変換素子であり、撮像レンズ１０の通過光線に基づいて撮像データ（後述の撮像データＤ０）を取得し、この撮像データを画像処理部１２へ出力するようになっている。この撮像素子１１は、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge Coupled Device）等の固体撮像素子からなり、この撮像素子１１には、複数の単位画素がアレイ状に配列されている。尚、以下では、撮像素子１１が、ライン順次で読み出しが行われるＣＭＯＳセンサである場合を例に挙げて説明する。
　この撮像装置１１では、画素配列の各行（ロウ）に転送選択線、リセット線、セレクト線が配線され、画素配列の各列（カラム）に信号線が配線されている。図２に、この撮像素子１１における単位画素の回路構成を示す。単位画素１１０は、例えば、フォトダイオード１１１、転送トランジスタ１１２、増幅トランジスタ１１３、セレクトトランジスタ１１４、リセットトランジスタ１１５、およびフローティングノードＮＤ１１６を有している。
　フォトダイオード１１１は、入射光をその光量に応じた電荷量の信号電荷（例えば電 子）に光電変換して蓄積する。転送トランジスタ１１２は、ソース，ドレインがフォトダイオード１１１のカソードとフローティングノードＮＤ１１６とにそれぞれ接続され、ゲートが転送選択線ＴＲＦＬに接続されている。転送トランジスタ１１２は、導通（オン）することにより、フォトダイオード１１１に蓄積されている信号電荷をフローティングノードＮＤ１１６に転送する機能を有している。増幅トランジスタ１１３とセレクトトランジスタ１１４は電源電位ＶＤＤと信号線ＳＧＮＬとの間に直列に接続されている。増幅トランジスタ１１３は、ゲートがフローティングノードＮＤ１１６に接続され、フローティングノードＮＤ１１６の電位を増幅しセレクトトランジスタ１１４を介して信号線ＳＧＮＬに出力する。セレクトトランジスタ１１４のゲートはセレクト線ＳＥＬＬに接続されている。リセットトランジスタ１１５は、ソースがフローティングノードＮＤ１１６に接続され、ドレインが所定電位線に接続され、ゲートがリセット線ＲＳＴＬに接続され、フローティングノードＮＤ１１６の電位をリセットする機能を有している。
　上記のような撮像素子１１の受光面側には、所定の色配列を有するカラーフィルタが配設されている。図３に、その一例としてベイヤー（Bayer）配列のカラーフィルタを示す。このように、本実施の形態では、３原色のうち緑（Ｇ：Green）を２つ、赤（Ｒ：Red）、青（Ｂ：Blue）を一つずつ用いたベイヤー配列が用いられる。このベイヤー配列は、色よりも輝度の解像度を重視した配列である。
　尚、撮像素子１１の出力段には、図示しないプリ処理部が設けられていてもよい。この場合、プリ処理部は、撮像素子１１から読み出されたアナログ信号に対して標本化処理、量子化処理を行い、アナログ信号からデジタル信号に変換（Ａ／Ｄ変換）して画像処理部１２へ出力する。このプリ処理部の機能は、撮像素子１１自体に持たせることも可能である。
　画像処理部１２は、撮像素子１１から供給された撮像データ（撮像データＤ０）に対し、ぼけ補正処理（デブラー処理）を含む所定の画像処理を施すものである。この画像処理部１２の具体的な構成については後述する。
　撮像素子駆動部１３は、撮像素子１１の受光および読み出し動作等の駆動制御を行うものである。
　情報検出部１４は、撮像装置１における撮影モードの設定信号（モード設定信号）を検出するものである。このモード設定信号は、例えば、携帯電話機等におけるボタン、キー、スイッチ等の操作を介して、例えばユーザによって入力されるようになっている。本実施の形態では、撮影モードとして、遠方撮影のための通常撮影モードと、近接撮影のためのマクロ撮影モードとのどちらかが、ユーザにより選択される（切り替えられる）。情報検出部１４は、その検出結果をモード設定信号Ｄｍとして制御部１５に出力し、制御部１５が選択された撮影モードに応じて画像処理部１２の画像処理動作を制御するようになっている。撮影モードによって撮像レンズから被写体までの物体距離が異なるが、上記のような制御により、画像処理部１２では物体距離に応じた適切な補正係数の選択（切り替え）が可能となる。
　制御部１５は、撮像素子駆動部１３、画像処理部１２および情報検出部１４をそれぞれ駆動制御するものであり、例えばマイクロコンピュータ等である。
（画像処理部１２の構成）
　図４に、この画像処理部１２の一例について示す。画像処理部１２は、例えば、前処理部１２０、記憶部１２１、デブラー処理部１２２、補正係数選択部１２３および保持部１２４を備えている。尚、この画像処理部１２が、本発明の画像処理装置の一具体例に相当する。
　前処理部１２０は、撮像データＤ０に対し、例えば欠陥補正処理、ノイズ除去処理、ホワイトバランス調整処理、シェーディング補正処理、Ｙ／Ｃ分離処理等の各種画像処理を施し、それらの処理後の撮像データ（画像データＤ１）を記憶部１２１へ出力するものである。
　記憶部１２１は、前処理部１２０から出力された画像データＤ１を、後段のデブラー処理のために、一時的に保持しておくためのメモリである。この記憶部１２１における記憶手段としては、固定ディスクでもリムーバブルディスクでもよく、また、その種類としても、磁気ディスクや光ディスク、光磁気ディスク、半導体メモリ等の種々のものが用いられる。記憶部１２１に保持されている画像データは、補正係数選択部１２３の制御に応じて、画像データＤ２として、デブラー処理部１２２へ出力されるようになっている。
　本実施の形態では、この記憶部１２１が、複数のラインメモリ１２１ａを有し、これら複数のラインメモリ１２１ａに、撮像データＤ０に基づく画像データが所定のライン分、格納されるようになっている。ラインメモリ１２１ａの個数（ライン数）は、デブラー処理部１２２において用いられる補正係数のサイズに応じて設定されている。詳細は後述するが、補正係数は、ＰＳＦの逆関数であるため、物体距離（撮影モード）に応じてそのサイズ（２次元的な拡がり）が異なる。即ち、補正係数毎に、後述のデブラー処理時のフィルタサイズが異なるものとなり、ラインメモリ１２１ａのライン数は、そのデブラー処理時のフィルタサイズに応じた個数に設定される。
　デブラー処理部１２２は、記憶部１２１から供給された撮像データに対し、ぼけを補正する処理（デブラー処理）を施すものである。具体的には、デブラー処理部１２２は、補正係数選択部１２３から供給された補正係数（補正係数ｋ１または補正係数ｋ２）を用いたフィルタリングにより、デブラー処理を行い、デブラー処理後の画像データＤoutを出力するものである。
　補正係数選択部１２３は、制御部１５の制御に基づいて、複数のぼけ補正用の補正係数の中から１つを選択し、選択した補正係数を、デブラー処理部１２２へ出力するものである。これら複数の補正係数は、互いに異なる複数の撮影モード毎に用意されており、物体距離に応じて異なるものである。本実施の形態では、このような補正係数として、通常撮影モード用の補正係数ｋ１と、マクロ撮影モード用の補正係数ｋ２との２つの補正係数が用いられる。補正係数ｋ１は、遠方物体の撮像データに対して適切なデブラー処理を施すための補正係数であり、補正係数ｋ２は、近接物体の撮像データに対して適切なデブラー処理を施すための補正係数である。これらの補正係数ｋ１，ｋ２はそれぞれ、例えば点像分布関数（ＰＳＦ： Point spread function）の逆関数である。
　ここで、撮像素子１１の受光面上のフォーカス位置をｆ（ｘ，ｙ）、実際の結像位置をｇ（ｘ，ｙ）とした場合、ＰＳＦ関数は以下の式（１）によって与えられる関数ｈ（ｘ，ｙ）である。即ち、補正係数ｋ１，ｋ２は、以下の式（２）によって与えられる関数である。
　ｆ（ｘ，ｙ）×ｈ（ｘ，ｙ）＝ｇ（ｘ，ｙ）　　　　………（１）
　１／ｈ（ｘ，ｙ）　　　　　　　　　　　　　　　　………（２）
　保持部１２４は、上記のような補正係数ｋ１，ｋ２を保持するメモリであり、記憶手段としては記憶部１２１と同様のものが用いられる。尚、補正係数ｋ１，ｋ２は、そのように回路内のメモリに予め保持されていてもよいが、情報検出部１４を介して、外部から入力されるようになっていてもよい。
［撮像装置１の作用、効果］
　図５（Ａ）は、通常撮影モードにおける光線取得の様子を模式的に表したものである。このように、撮像装置１では、例えば通常撮影モードにおいて、物体（被写体）からの光線Ｌ１は、撮像レンズ１０を通過した後、撮像素子１１へ到達する。撮像素子１１では、撮像素子駆動部１３の制御により、受光信号がライン順次に読み出されることにより、撮像データＤ０（遠方物体の撮像データ）を取得する。取得された撮像データＤ０は、画像処理部１２に供給され、画像処理部１２が、その撮像データＤ０に対し、所定の画像処理を施し、画像データＤoutとして出力する。
　ここで、本実施の形態では、画像処理部１２が、情報検出部１４を介して入力されたモード設定信号Ｄｍに基づいて、撮像データＤ０に対して以下のようなデブラー処理を行う。
（１．前処理）
　具体的には、まず、デブラー処理の前処理として、前処理部１２０が、例えば欠陥補正処理、ノイズ除去処理、ホワイトバランス調整処理、シェーディング補正処理、Ｙ／Ｃ分離処理等の各種画像処理を施す。具体的には、欠陥補正処理は、撮像データＤ０に含まれる欠陥（撮像素子１１の素子自体の異常に起因した欠陥）を補正する処理である。ノイズ除去処理は、撮像データに含まれるノイズ（例えば、暗い場所や感度の足りない場所で撮像したときに発生するノイズ）を除去する処理である。ホワイトバランス調整処理は、カラーフィルタの通過特性や撮像素子１１の分光感度等のデバイスの個体差や照明条件に起因して崩れた色バランスを調整する処理である。シェーディング補正処理は、撮像画像面内における輝度レベルのむらを補正する処理である。Ｙ／Ｃ分離処理は、輝度信号（Ｙ）とクロマ信号（Ｃ）とを分離する処理である。尚、この他にも、各画素データの黒レベルを設定する処理（クランプ処理）や、デモザイク処理等のカラー補間処理を施すようにしてもよい。これらの処理後の撮像データは、画像データＤ１として記憶部１２１へ出力される。
（２．ラインメモリの設定）
　記憶部１２１は、前処理部１２０から入力された画像データＤ１を、後段の補正係数ｋ１，ｋ２を用いたデブラー処理時のフィルタサイズに対応して、所定ライン数のラインメモリ１２１ａに格納して一時的に保持する。
　このとき、記憶部１２１に設けるラインメモリ１２１ａのライン数は、使用する補正係数ｋ１，ｋ２のサイズに応じて、いずれの補正係数を用いたデブラー処理にも対応できるように、例えば次のように設定する。即ち、図５（Ａ）に示したように、通常撮影モードでは、物体の結像点ｆfが撮像素子１１の受光面Ｓ１の近傍に位置するため、そのＰＳＦ関数（遠点ＰＳＦ）では２次元的な拡がりが小さくなる（図５（Ｂ））。このため、その逆関数である補正係数ｋ１を用いたデブラー処理では、フィルタサイズは比較的小さくなる（例えば図５（Ｃ）に示した３×３のカーネル）。換言すると、通常撮影モードでは、撮像画像における“ぼけ”の度合いが比較的小さいため、フィルタサイズも小さくて済む。
　一方、図６（Ａ）は、マクロ撮影モードにおける光線取得の様子を模式的に表したものあるが、この場合、物体の結像点ｆnが撮像素子１１の受光面Ｓ１から離れるため、そのＰＳＦ関数（近点ＰＳＦ）では、２次元的な拡がりが遠点ＰＳＦに比べて大きくなる（図６（Ｂ））。このため、その逆関数である補正係数ｋ２を用いたデブラー処理では、フィルタサイズが比較的大きくなる（例えば図６（Ｃ）に示した５×５のカーネル）。換言すると、マクロ撮影モードでは、撮像画像における“ぼけ”の度合いが比較的大きいため、フィルタサイズはその分大きくなる。従って、ここでは、マクロ撮影モードにおけるデブラー処理（補正係数ｋ２を用いたデブラー処理）を考慮した５本のラインメモリ１２１ａを設けておく。
（３．補正係数の選択（切り替え））
　本実施の形態では、補正係数選択部１２３が、上述のモード設定信号Ｄｍに基づく制御部１５の制御に応じて、保持部１２４に保持されている補正係数ｋ１，ｋ２の中から、その物体距離に応じた適切な補正係数を選択し、デブラー処理部１２２へ出力する。具体的には、モード設定信号Ｄｍが通常撮影モードを選択するものである場合には、遠方物体用の補正係数ｋ１を選択する。一方、モード設定信号Ｄｍがマクロ撮影モードを選択するものである場合には、近接物体用の補正係数ｋ２を選択する。これにより、例えば、通常撮影モードにおいて、マクロ撮影モードを設定する旨のモード設定信号が検出された場合には、補正係数ｋ１が補正係数ｋ２へ切り替えられる。同様に、マクロ撮影モードにおいて、通常撮影モードを設定する旨のモード設定信号が検出された場合には、補正係数ｋ２が補正係数ｋ１へ切り替えられる。選択された補正係数ｋ１（または補正係数ｋ２）は、デブラー処理部１２２へ出力される。
　この一方で、補正係数選択部１２３は、選択対象となっている補正係数に応じた（デブラー処理時のフィルタサイズに応じた）ライン数の画像データＤ２を、デブラー処理部１２２へ出力するように記憶部１２１を制御する。具体的には、図７（Ａ）に示したように、通常撮影モードの場合は、３×３のフィルタサイズに対応して、３ライン（ａ１～ａ３）分の画素データＤ２ａを画像データＤ２として、デブラー処理部１２２へ出力させる。他方、図７（Ｂ）に示したように、マクロ撮影モードの場合には、５×５のフィルタサイズに対応して、５ライン（ｂ１～ｂ５）分の画素データＤ２ｂを画像データＤ２として、デブラー処理部１２２へ出力させる。
（４．補正係数を用いたデブラー処理）
　デブラー処理部１２２は、補正係数選択部１２３により供給された補正係数を用いて、記憶部１２１から供給された所定のライン分の画像データＤ２に対し、デブラー処理を施す。具体的には、通常撮影モードの場合には、３ライン分の画像データＤ２に対して、補正係数ｋ１を乗じることにより、ぼけ補正を行う。他方、マクロ撮影モードの場合には、５ライン分の画像データＤ２に対し、補正係数ｋ２を乗じることにより、ぼけ補正を行う。　このようなデブラー処理により、画像データＤ２に対応する撮像画像においてぼけが良好に改善され、被写体にフォーカスした（ピントの合った）画像データＤoutが出力される。
　以上のように、本実施の形態では、画像処理部１２において、撮像データＤ０に対し、モード設定信号Ｄｍに基づいて、遠方物体用の補正係数ｋ１と近接物体用の補正係数ｋ２とのうちのいずれかが選択され、選択された補正係数に基づいてデブラー処理がなされる。このように、デブラー処理で用いる補正係数として、補正係数ｋ１，ｋ２のいずれかを選択する（切り替える）だけで、遠方物体および近接物体の両方の撮像データのそれぞれに対して、適切なぼけ補正を施すことが可能となる。従って、例えばオートフォーカスレンズや焦点切り替えレンズ等の特殊な撮像光学系を用いることなく、遠点および近点へのフォーカスが可能となる。よって、低コストかつ簡易な構成で、遠方撮影および近接撮影を実現することができる。
　例えば、撮像装置１が搭載される電子機器において、ユーザによって通常撮影モードが設定された場合には、例えば風景等が撮影され、補正係数ｋ１を用いたデブラー処理が行われる。一方、マクロ撮影モードが設定された場合には、ＱＲコード等の２次元バーコードが撮影され、補正係数ｋ２を用いたデブラー処理が行われる。図８（Ａ）に、デブラー処理前のＱＲコードの撮像画像、図８（Ｂ）に、デブラー処理後のＱＲコードの撮像画像の一例を示す。このように、デブラー処理によって、ぼけが良好に補正され、近点にフォーカスされた画像を得ることができる。
　次に、上記実施の形態の変形例（変形例１，２）について説明する。以下では、上記実施の形態と同様の構成要素については、同一の符号を付し適宜説明を省略する。
＜変形例１＞
　図９は、変形例１に係るデブラー処理動作を説明するための模式図である。上記実施の形態では、ラインメモリのライン数を、補正係数に応じたフィルタサイズに合わせて設定した。即ち、補正係数ｋ１，ｋ２のどちらを用いたデブラー処理にも適用できるように、大きなフィルタサイズを必要とする補正係数ｋ２に合わせてライン数を５つとしたが、ラインメモリのライン数を少なくして、フィルタサイズが小さくなるようにしてもよい。
　例えば、ラインメモリのライン数を、通常撮影モード（補正係数ｋ１を用いた場合）のフィルタサイズ（３×３）に合わせて、３つとなるようにしてもよい。この場合、マクロ撮影モードでは、本来ならば、上述のように５ライン分必要になるが、そのうち２ライン分を間引くことで、３ラインのラインメモリに対応させることができる。具体的には、図９に示したように、５ライン（ｂ１～ｂ５）分の画素データのうち所定のライン（ｂ２，ｂ４）を間引く（１ラインおきにラインメモリへの書き込みを行う）ことにより、３ライン（ｂ１，ｂ３，ｂ５）分の画素データを、デブラー処理対象とする。これにより、垂直方向が２ライン分間引かれる（水平方向（ライン方向）の画素は間引かれない）ため、３×５のフィルタサイズでデブラー処理を行うことができる。
　このように、記憶部１２１におけるラインメモリのライン数は、必ずしもフィルタサイズの大きなマクロ撮影モードに合わせる必要はない。マクロ撮影モードは、主にＱＲコードの読み込み等のデータ認識のために使用される撮影モードであるため、撮像画像においてはそのようなデータを認識し得る程度の解像度が確保されていれば十分である。このため、本変形例のように、所定のラインを間引いて記憶部１２１のラインメモリに保持するようにしてもよい。このような構成によっても、上記実施の形態と同等の効果を得ることができると共に、デブラー処理時のフィルタサイズを上記実施の形態と比べて縮小することが可能である。
　尚、記憶部１２１におけるラインメモリのライン数は、上述した“５つ”や“３つ”に限定されるものではなく、他のライン数であってもよい。使用する補正係数のＰＳＦのサイズ等に応じて、適宜設定することが可能である。
　また、ラインメモリのライン数の削減（フィルタサイズの縮小）は、上記のような画素データを間引く手法の他にも、例えば撮像素子１１において画素データ同士を混合したり、デジタル処理において画素データ同士を加算したりすることによっても実現できる。
＜変形例２＞
　また、上記実施の形態では、撮像素子１１の受光面にＲ，Ｇ，Ｂの３原色のフィルタが配列してなるカラーフィルタを設けているため、３色全ての画素データがデブラー処理の対象となるが、以下のように、特定の色成分のみをデブラー処理の対象としてもよい。例えば、カラーフィルタの色配列がベイヤー配列の場合には、解像度の取れる緑色成分のみをデブラー処理の対象としてもよい。この場合、例えば、図１０に示したように、カラーフィルタの色配列に応じて配列する画素データのうち、Ｇデータのみのデータ配列となるように並べ替えを行うことで、ライン数を少なくする（１／２にする）ことができる。
　あるいは、図１１に示したように、近接撮影の場合、青色光ＬB，緑色光ＬG，赤色光ＬRの色光毎に結像位置（ｆB，ｆG，ｆR）に差が生じ、これらのうち青色光ＬBにおいて最も焦点が合い易くなる。このため、撮像データＤ０のうち青色成分のみをデブラー処理の対象としてもよい。尚、この場合も、上記緑色成分のみを用いる場合と同様、Ｂデータのみのデータ配列に並べ替えを行うことで、ライン数を少なくすることができる。
　また、これらの青色成分と緑色成分をデブラー処理対象としてもよい。この場合、ベイヤー配列のカラーフィルタでは、データ配列が「Ｒ，Ｇ，Ｒ，Ｇ，…」となるラインと、データ配列が「Ｇ，Ｂ，Ｇ，Ｂ，…」となるラインとのうち、後者のラインのみを選択的にラインメモリに格納すればよい。
＜その他の変形例＞
　以上実施の形態および変形例を挙げて本発明を説明したが、本発明は上記実施の形態等に限定されるものではなく、種々変形が可能である。例えば、上記実施の形態等では、撮影モードとして、通常撮影モードとマクロ撮影モードの２つのモード切り替えを行い、各撮影モードに応じた２つの補正係数を切り替え可能としたが、撮影モードおよびそれに対応する補正係数の数は、３つ以上であってもよい。
　また、上記変形例１，２では、撮像データＤ０のうち、所定のラインを間引いてデブラー処理を行う場合や、Ｒ，Ｇ，Ｂの画素データのうち特定の色成分のみをデブラー処理対象とする場合について説明したが、この他にも、Ｙ／Ｃ分離後の輝度信号をデブラー処理対象としてもよい。この場合、例えば、画像処理部１２における前処理部１２０においてＹ／Ｃ分離処理を行って輝度信号（Ｙ）と色信号（Ｃ）とを分離した後、その輝度成分のみを記憶部１２１のラインメモリに所定のライン数で格納すればよい。

Claims (10)

  1. 　撮像レンズと、
    　前記撮像レンズの通過光線に基づく撮像データを取得する撮像素子と、
    　前記撮像データに基づく撮像画像に対して画像処理を施す画像処理部とを備え、
    　前記画像処理部は、
    　前記撮像画像に対してぼけ補正を施すデブラー処理部と、
    　各々が前記撮像レンズから被写体までの物体距離に応じて設定された複数のぼけ補正係数の中から１つを選択し、選択したぼけ補正係数を前記デブラー処理部へ出力する補正係数選択部と
    　を有する撮像装置。
  2. 　前記複数の補正係数は、近接物体用の第１の補正係数と、遠方物体用の第２の補正係数とを少なくとも含む
    　請求項１に記載の撮像装置。
  3. 　前記複数の補正係数はそれぞれ、点像分布関数（ＰＳＦ： Point spread function）の逆関数である
    　請求項１に記載の撮像装置。
  4. 　複数のラインメモリを有し、前記複数のラインメモリに前記撮像データを格納させて保持する記憶部を更に備え、
    　前記記憶部は、前記複数のラインメモリに、前記撮像データのうち前記補正係数の２次元サイズに対応したライン数の画素データを格納する
    　請求項１に記載の撮像装置。
  5. 　複数のラインメモリを有し、前記複数のラインメモリに前記撮像データを格納させて保持する記憶部を更に備え、
    　前記記憶部は、前記複数のラインメモリに、前記撮像データのうち所定のラインの画素データを間引いて格納する
    　請求項１に記載の撮像装置。
  6. 　前記撮像データが赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３つの色信号を含み、
    　前記デブラー処理部は、前記撮像データのうちの特定の色信号のみに対してぼけ補正を施す
    　請求項１に記載の撮像装置。
  7. 　前記特定の色信号は、青色信号および緑色信号の一方または両方である
    　請求項６に記載の撮像装置。
  8. 　前記撮像データが輝度信号および色信号に分離され、
    　前記デブラー処理部は、分離後の輝度信号のみに対してぼけ補正を施す
    　請求項１に記載の撮像装置。
  9. 　前記補正係数選択部は、外部から入力されるモード設定信号に基づき、前記１つの補正係数を選択する
    　請求項１に記載の撮像装置。
  10. 　撮像素子によって取得され、撮像レンズの通過光線に基づく撮像画像に対し、ぼけ補正を施すデブラー処理部と、
    　各々が前記撮像レンズから被写体までの物体距離に応じて設定された複数のぼけ補正係数の中から１つを選択し、前記デブラー処理部へ出力する補正係数選択部と
    　を備えた画像処理装置。
PCT/JP2011/060467 2010-05-12 2011-04-28 撮像装置および画像処理装置 WO2011142282A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US13/695,946 US8937680B2 (en) 2010-05-12 2011-04-28 Image pickup unit and image processing unit for image blur correction
EP11780539A EP2571247A1 (en) 2010-05-12 2011-04-28 Imaging device and image processing device
CN2011800323248A CN103039067A (zh) 2010-05-12 2011-04-28 图像拾取单元和图像处理单元
KR1020127028746A KR20130069612A (ko) 2010-05-12 2011-04-28 촬상 장치 및 화상 처리 장치

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010-110368 2010-05-12
JP2010110368A JP5454348B2 (ja) 2010-05-12 2010-05-12 撮像装置および画像処理装置

Publications (1)

Publication Number Publication Date
WO2011142282A1 true WO2011142282A1 (ja) 2011-11-17

Family

ID=44914338

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/060467 WO2011142282A1 (ja) 2010-05-12 2011-04-28 撮像装置および画像処理装置

Country Status (7)

Country Link
US (1) US8937680B2 (ja)
EP (1) EP2571247A1 (ja)
JP (1) JP5454348B2 (ja)
KR (1) KR20130069612A (ja)
CN (1) CN103039067A (ja)
TW (1) TWI458342B (ja)
WO (1) WO2011142282A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112013004760B4 (de) * 2012-09-27 2017-10-19 Fujifilm Corporation Bilderfassungsvorrichtung und Bildverarbeitungsverfahren
EP3826338A1 (en) * 2014-11-24 2021-05-26 Samsung Electronics Co., Ltd. Selecting a service contract option for a wearable electronic device
KR102390980B1 (ko) * 2015-07-24 2022-04-26 엘지디스플레이 주식회사 영상 처리 방법, 영상 처리 회로와, 그를 이용한 표시 장치
US11165932B2 (en) 2015-12-22 2021-11-02 Kyocera Corporation Imaging apparatus, imaging system, vehicle and foreign matter determination method
US10244180B2 (en) * 2016-03-29 2019-03-26 Symbol Technologies, Llc Imaging module and reader for, and method of, expeditiously setting imaging parameters of imagers for imaging targets to be read over a range of working distances
CN108076267A (zh) * 2016-11-11 2018-05-25 株式会社东芝 摄像装置、摄像系统以及距离信息获取方法
CN107302632A (zh) * 2017-06-28 2017-10-27 努比亚技术有限公司 一种移动终端拍摄方法、移动终端及计算机可读存储介质
CN115699012A (zh) 2020-06-02 2023-02-03 索尼集团公司 信息处理装置、信息处理方法及程序

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003287505A (ja) * 2002-03-27 2003-10-10 Toshiba Corp 欠陥検査装置
WO2006022373A1 (ja) * 2004-08-26 2006-03-02 Kyocera Corporation 撮像装置および撮像方法
JP2007206738A (ja) * 2006-01-30 2007-08-16 Kyocera Corp 撮像装置およびその方法
JP2008042874A (ja) * 2006-07-14 2008-02-21 Eastman Kodak Co 画像処理装置、画像復元方法およびプログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3630169B2 (ja) * 1993-10-25 2005-03-16 コニカミノルタホールディングス株式会社 画像処理装置
US20010013895A1 (en) * 2000-02-04 2001-08-16 Kiyoharu Aizawa Arbitrarily focused image synthesizing apparatus and multi-image simultaneous capturing camera for use therein
JP2005286536A (ja) * 2004-03-29 2005-10-13 Fujinon Corp 撮像装置
US8036481B2 (en) * 2006-07-14 2011-10-11 Eastman Kodak Company Image processing apparatus and image restoration method and program
JP4453734B2 (ja) * 2007-09-21 2010-04-21 ソニー株式会社 画像処理装置、画像処理方法、及び画像処理プログラム、並びに撮像装置
JP5235642B2 (ja) * 2008-12-15 2013-07-10 キヤノン株式会社 画像処理装置およびその方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003287505A (ja) * 2002-03-27 2003-10-10 Toshiba Corp 欠陥検査装置
WO2006022373A1 (ja) * 2004-08-26 2006-03-02 Kyocera Corporation 撮像装置および撮像方法
JP2007206738A (ja) * 2006-01-30 2007-08-16 Kyocera Corp 撮像装置およびその方法
JP2008042874A (ja) * 2006-07-14 2008-02-21 Eastman Kodak Co 画像処理装置、画像復元方法およびプログラム

Also Published As

Publication number Publication date
TWI458342B (zh) 2014-10-21
CN103039067A (zh) 2013-04-10
TW201204020A (en) 2012-01-16
KR20130069612A (ko) 2013-06-26
EP2571247A1 (en) 2013-03-20
JP5454348B2 (ja) 2014-03-26
US8937680B2 (en) 2015-01-20
US20130050543A1 (en) 2013-02-28
JP2011239292A (ja) 2011-11-24

Similar Documents

Publication Publication Date Title
JP5026951B2 (ja) 撮像素子の駆動装置、撮像素子の駆動方法、撮像装置、及び撮像素子
JP5454348B2 (ja) 撮像装置および画像処理装置
US7978240B2 (en) Enhancing image quality imaging unit and image sensor
JP4691930B2 (ja) 物理情報取得方法および物理情報取得装置、並びに物理量分布検知の半導体装置、プログラム、および撮像モジュール
US12107098B2 (en) Image sensor, focus adjustment device, and imaging device
US20240089629A1 (en) Image sensor and imaging device
JP6442362B2 (ja) 撮像装置及び撮像素子の制御方法
WO2014041845A1 (ja) 撮像装置及び信号処理方法
JP4609092B2 (ja) 物理情報取得方法および物理情報取得装置
US7349015B2 (en) Image capture apparatus for correcting noise components contained in image signals output from pixels
TWI390972B (zh) The autofocus method in the high noise environment and its application of the digital acquisition device of the method
JP5452269B2 (ja) 撮像装置
JP6594048B2 (ja) 撮像装置及びその制御方法
JP6992877B2 (ja) 撮像素子および撮像装置
CN112770069A (zh) 图像装置
JP5311927B2 (ja) 撮像装置、撮像方法
JP2013197612A (ja) 撮像装置、画像処理装置およびプログラム
JP5629568B2 (ja) 撮像装置及びその画素加算方法
WO2021192176A1 (ja) 撮像装置
JP2007143067A (ja) 撮像装置及び撮像システム
JP2024160294A (ja) 撮像素子、および撮像装置
JP2016225848A (ja) 撮像装置及び撮像素子の制御方法
JP5637326B2 (ja) 撮像装置
JP2010251855A (ja) 撮像装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201180032324.8

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11780539

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20127028746

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2011780539

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 13695946

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE