KR101679293B1

KR101679293B1 - Photo detecting device and image pickup device

Info

Publication number: KR101679293B1
Application number: KR1020100004475A
Authority: KR
Inventors: 토시유키 다나카
Original assignee: 삼성전자 주식회사
Priority date: 2009-05-01
Filing date: 2010-01-18
Publication date: 2016-11-24
Also published as: JP5394814B2; KR20100119712A; JP2010263353A

Abstract

마이크로 렌즈군으로 이루어지는 렌즈 어레이를 구비하는 광학계라도 해당 렌즈 어레이를 구비함에 따른 효과를 손상시키지 않고 컬러 화상을 얻을 수 있는 광 검출 소자를 제공한다.
단일 평면상에 설치되는 복수의 렌즈가 규칙적으로 배열된 렌즈 어레이와, 렌즈 어레이의 각각의 렌즈의 투과광의 조사 범위에 대응하여 단일 평면상에 설치되는 복수의 화소로 이루어지는 광전 변환 영역을 복수 구비하는 광전 변환부를 구비하고, 각각의 광전 변환 소자는 렌즈의 광축을 중심으로 한 제1 영역과, 제1 영역의 주변의 제2 영역에 다른 분광 감도 특성을 갖는 것을 특징으로 하는 광 검출 소자가 제공된다. There is provided a photodetecting device capable of obtaining a color image without damaging the effect of having the lens array even in an optical system having a lens array composed of a group of microlenses.
A plurality of photoelectric conversion regions each including a plurality of pixels arranged on a single plane corresponding to the irradiation range of transmitted light of each lens of each lens of the lens array; And each of the photoelectric conversion elements has spectral sensitivity characteristics different from each other in a first region around the optical axis of the lens and a second region around the first region, .

Description

Field of the Invention [0001] The present invention relates to a photo detecting device and an image pickup device,

본 발명은 광 검출 소자 및 촬상 장치에 관한 것이다. The present invention relates to a photodetecting device and an imaging device.

종래의 일반적인 디지털 스틸 카메라는 초점 렌즈에 집광한 광을 CCD 이미지 센서나 CMOS 이미지 센서 외의 촬상 소자에 조사함으로써 컬러 화상 신호를 생성하고 있다. 그러나 최근에는 렌즈와 촬상 소자 사이에 단일 평면상에 배열된 마이크로 렌즈 군으로 이루어지는 렌즈 어레이를 구비하는 광학계를 갖는 촬상 장치가 제안되고 있다. 이러한 촬상 장치를 플레놉틱(Plenoptic) 타입의 촬상 장치라 한다. A conventional general digital still camera generates a color image signal by irradiating light condensed on a focus lens to an image pickup element other than a CCD image sensor or a CMOS image sensor. Recently, however, an imaging apparatus having an optical system including a lens array composed of a group of microlenses arranged on a single plane between a lens and an imaging element has been proposed. Such an image pickup apparatus is referred to as a plenoptic type image pickup apparatus.

종래의 플레놉틱 타입의 촬상 장치는 렌즈 어레이를 구비하는 광학계에 의해 얻어진 화상을 재구성함으로써 피사계 심도를 가능하게 결정하거나, 시차를 이용한 거리측정이나, 3D 화상에 대한 응용, 해상도 향상이 개시되어 있다.Conventional plenoptic type imaging apparatuses have been proposed to determine the depth of field as possible by reconstructing an image obtained by an optical system having a lens array, to measure a distance using a parallax, to apply to a 3D image, and to improve resolution.

이러한 마이크로 렌즈 군으로 이루어지는 렌즈 어레이를 구비하는 광학계를 구비하는 디지털 스틸 카메라는 마이크로 렌즈마다 분리된 복수의 광속 정보를 입수할 수 있으므로, 피사계 심도의 콘트롤, 해상도의 향상, 시차를 이용한 거리 측정 등에 이용할 수 있을 것으로 기대되고 있다. 한편, 디지털 스틸 카메라에 이러한 마이크로 렌즈 군으로 이루어지는 렌즈 어레이를 구비하는 광학계를 구비한 경우에는 화상 데이터의 색채화가 필수이다. A digital still camera having an optical system including a lens array of such a microlens group can acquire a plurality of separated beam information for each microlens, and thus can be used for control of depth of field, improvement of resolution, and distance measurement using parallax It is expected to be possible. On the other hand, when a digital still camera is provided with an optical system having a lens array made up of such a group of microlenses, coloring of image data is essential.

일반적인 촬상 장치는 단판의 2차원 촬상 소자로부터 컬러 화상을 생성하는 경우에는, 베이어 배열로 대표되도록, 위치마다 다른 분광특성을 줌으로써 색정보를 입수한 후, 보간 처리에 의해 화소마다 색을 결정함으로써 풀 컬러 화상 데이터를 생성하고 있다. In the case of generating a color image from a two-dimensional image pickup device of a single plate, a general image pickup apparatus obtains color information by giving different spectral characteristics to each position so as to be represented by a Bayer arrangement and then determines color for each pixel by interpolation processing, Thereby generating color image data.

그러나 플레놉틱형 촬상 장치에서는 마이크로 렌즈마다 분리된 복수의 광속 정보에 대하여 베이어화 하면, 광속 정보의 누락으로 연결된다는 문제가 있었다. 또한, 베이어 배열에 의해 분리된 광속 정보를 늘리려고 하면, 마이크로 렌즈의 미세화가 요구되고, 마이크로 렌즈의 미세화 요구에 따라 마이크로 렌즈 가공의 미세화나 촬상 소자의 미세화가 필요하게 되어 기술적 곤란성이나 제조 비용의 증가가 수반되는 문제도 있었다. However, in the planar-type image pickup apparatus, there is a problem that if the beam is divided into a plurality of beam information for each microlens, it is connected to omission of the beam information. Further, if it is attempted to increase the light flux information separated by the Bayer arrangement, micronization of the microlens is required. In accordance with the micronization requirement of the microlens, it is necessary to miniaturize microlens processing and miniaturize the image pickup element, There is a problem that accompanies an increase.

본 발명은 상기 문제를 감안하여 이루어진 것으로, 본 발명의 목적은 마이크로 렌즈 군으로 이루어지는 렌즈 어레이를 구비하는 광학계라도, 해당 렌즈 어레이를 구비함에 따른 효과를 손상하지 않고서 컬러 화상을 얻을 수 있는 광 검출 소자 및 촬상 장치를 제공함에 있다.SUMMARY OF THE INVENTION The present invention has been made in view of the above problems, and it is an object of the present invention to provide a photodetector device capable of obtaining a color image without deteriorating the effect of having a lens array, And an image pickup apparatus.

상기 과제를 해결하기 위해, 본 발명의 일 실시 예에 따른 광 검출 소자는 단일 평면상에 설치되는 복수의 렌즈가 규칙적으로 배열된 렌즈 어레이와, 상기 렌즈 어레이의 각 렌즈의 투과 광의 조사 범위에 대응하여 단일 평면상에 설치되는 복수의 광전 변환 소자를 구비하는 광전 변환부를 구비하고, 상기 복수의 광전 변환 소자 각각은 상기 렌즈의 광축을 중심으로 설치되는 제1 영역과, 상기 제1 영역의 주변에 설치되는 제2 영역에서 서로 다른 분광 감도 특성을 갖는 것을 특징으로 하는 광 검출 소자가 제공된다. 따라서, 화상의 재구성 처리에서 이용하는 제1 영역에 주신호 성분을 수광시켜 분리 광속의 결손분이 원화상으로부터 제거되는 것을 미연에 방지함과 동시에 나머지 제2 영역에 종신호 성분을 수광시켜 다채널화를 실현할 수 있다. According to an aspect of the present invention, there is provided a photodetecting device comprising: a lens array having a plurality of lenses arranged on a single plane regularly arranged; And a plurality of photoelectric conversion elements provided on a single plane, wherein each of the plurality of photoelectric conversion elements includes a first region provided around the optical axis of the lens, and a second region provided around the first region, And the second region having different spectral sensitivity characteristics. Therefore, it is possible to prevent the defective component of the separated light beam from being removed from the original image by receiving the main signal component in the first area used in the image reconstruction process, and to receive the signal component in the remaining second area, Can be realized.

상기 제1 영역은 휘도 신호에 해당하는 분광 감도 특성을 가지며, 상기 제2 영역은 색 신호에 해당하는 분광 감도 특성을 가지는 것을 특징으로 한다. 따라서, 화상의 재구성 처리에 이용하는 제1 영역에 휘도 성분을 수광시켜 분리 광속의 결손분이 원화상으로부터 제거되는 것을 미연에 방지함과 동시에 나머지 제2 영역에 색 성분을 수광시켜 색채화를 실현할 수 있다. The first region has a spectral sensitivity characteristic corresponding to a luminance signal, and the second region has spectral sensitivity characteristics corresponding to a color signal. Therefore, it is possible to prevent the missing component of the separated light beam from being removed from the original image by receiving the luminance component in the first area used for the image reconstruction process, and at the same time, the color component can be received by receiving the color component in the remaining second area .

상기 광전 변환 영역 각각은 상기 화소의 분광 특성의 배열 패턴이 모두 동일한 것을 특징으로 한다. 따라서, 마이크로 렌즈의 미세화시 설계 및 가공, 배열 패턴이 불규칙적인 경우와 비교하여 현격하게 용이하게 할 수 있다. And each of the photoelectric conversion regions has the same arrangement pattern of the spectral characteristics of the pixels. Therefore, it is possible to remarkably facilitate the designing, machining, and arrangement patterns of the microlenses when compared with the case where the microlenses are irregular.

상기 제2 영역은 상기 렌즈 어레이의 각 렌즈로부터의 투과 광의 조사 범위에 포함되도록 설치되는 것을 특징으로 한다. 따라서, 각각의 렌즈마다 분리된 광속 정보에 누락이 생기는 것을 회피할 수 있다. And the second region is provided so as to be included in an irradiation range of the transmitted light from each lens of the lens array. Therefore, it is possible to avoid missing of the separated light flux information for each lens.

이상 설명한 바와 같이 본 발명의 일 실시 예에 의하면, 마이크로 렌즈 군으로 이루어지는 렌즈 어레이를 구비하는 광학계라도, 해당 렌즈 어레이를 구비함에 따른 효과를 손상시키지 않고 컬러 화상을 얻을 수 있다.As described above, according to the embodiment of the present invention, even an optical system having a lens array composed of a group of microlenses can obtain a color image without impairing the effect of having the lens array.

도 1은 마이크로 렌즈군으로 이루어지는 렌즈 어레이를 구비하는 광학계에 대해 설명하는 설명도이다.
도 2는 마이크로 렌즈군으로 이루어지는 렌즈 어레이를 구비하는 광학계에 대해 설명하는 설명도이다.
도 3은 렌즈 어레이를 구비하는 광학계에 촬상한 화상을 색채화하는 경우에 대해 나타내는 설명도이다.
도 4는 렌즈 어레이를 구비하는 광학계에 촬상한 화상을 색채화하는 경우에 대해 나타내는 설명도이다.
도 5는 본 발명의 일 실시 예에 따른 촬상 장치(100)의 구성에 대해 나타내는 설명도이다.
도 6은 본 발명의 일 실시 예에 따른 촬상 장치(100)에 사용되는 촬상 센서(106)의 구성에 대해 나타내는 설명도이다.
도 7은 도 6에 나타낸 촬상 센서(106)를 확대한 것을 나타내는 설명도이다.
도 8은 색의 삼원색인 R, G, B 각색의 파장과 스펙트럼 강도의 관계를 나타내는 설명도이다.
도 9는 시안, 마젠타, 옐로우 각색의 파장과 스펙트럼 강도의 관계를 나타내는 설명도이다.
도 10은 휘도 신호의 파장과 스펙트럼 강도의 관계를 나타내는 설명도이다.
도 11은 본 발명의 일 실시 예에 따른 촬상 장치(100)를 이용한 촬상 방법에 대해 나타내는 흐름도이다.
도 12는 본 발명의 일 실시 예에 따른 촬상 장치(100)에서의 컬러 화상의 생성 방법에 대해 나타내는 흐름도이다.
도 13은 촬상 센서(106)의 구성 변형 예를 나타내는 설명도이다.
도 14는 마이크로 렌즈 어레이(104)의 구성을 나타내는 설명도이다.
도 15는 적, 녹, 청의 정보를 얻기 위한 원색 필터가 첨부된 촬상 센서의 구성예에 대해 나타내는 설명도이다.
도 16은 적, 녹, 청의 정보를 얻기 위한 원색 필터가 첨부된 촬상 센서의 구성예에 대해 나타내는 설명도이다.
도 17은 마이크로 렌즈 어레이(104)의 구성을 나타내는 설명도이다.BRIEF DESCRIPTION OF THE DRAWINGS Fig. 1 is an explanatory view for explaining an optical system having a lens array made up of a group of microlenses; Fig.
Fig. 2 is an explanatory view for explaining an optical system having a lens array made up of a group of microlenses. Fig.
Fig. 3 is an explanatory diagram showing a case of coloring an image picked up by an optical system having a lens array. Fig.
Fig. 4 is an explanatory view showing a case of coloring an image picked up by an optical system having a lens array. Fig.
Fig. 5 is an explanatory view showing a configuration of an image pickup apparatus 100 according to an embodiment of the present invention.
Fig. 6 is an explanatory view showing the configuration of the image sensor 106 used in the image pickup apparatus 100 according to the embodiment of the present invention.
Fig. 7 is an explanatory diagram showing an enlargement of the image sensor 106 shown in Fig.
8 is an explanatory diagram showing the relationship between the wavelengths of R, G and B colors and the spectral intensity, which are the three primary colors of the colors.
Fig. 9 is an explanatory diagram showing the relationship between the wavelengths of cyan, magenta and yellow colors and the spectral intensity.
10 is an explanatory view showing the relationship between the wavelength of the luminance signal and the spectrum intensity.
11 is a flowchart showing an imaging method using the imaging apparatus 100 according to an embodiment of the present invention.
12 is a flowchart showing a method of generating a color image in the imaging apparatus 100 according to an embodiment of the present invention.
13 is an explanatory view showing a modification of the configuration of the image sensor 106. Fig.
14 is an explanatory diagram showing a configuration of the microlens array 104. Fig.
Fig. 15 is an explanatory diagram showing an example of the configuration of an image sensor attached with a primary color filter for obtaining information of red, green, and blue.
16 is an explanatory diagram showing an example of the configuration of an image sensor to which a primary color filter for obtaining information of red, green and blue is attached.
17 is an explanatory diagram showing a configuration of the microlens array 104. Fig.

이하, 첨부한 도면들을 참조하여 본 발명의 바람직한 실시 예들을 상세히 설명한다. 하기의 설명에서는 본 발명에 따른 동작을 이해하는데 필요한 부분만이 설명되며 그 이외 부분의 설명은 본 발명의 요지를 흩트리지 않도록 생략될 수 있다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the following description, only parts necessary for understanding the operation according to the present invention will be described, and descriptions of other parts may be omitted so as not to disturb the gist of the present invention.

또한, 이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 본 발명을 가장 적절하게 표현할 수 있도록 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 한다. In addition, terms and words used in the following description and claims should not be construed to be limited to ordinary or dictionary meanings, but are to be construed in a manner consistent with the technical idea of the present invention As well as the concept.

우선, 본 발명의 일 실시 예에 대해 설명하기 전에, 종래의 마이크로 렌즈 군으로 이루어지는 렌즈 어레이를 구비하는 광학계에 대해 설명하고, 이어, 이러한 광학계를 이용한 경우의 색채 화의 문제점에 대해 설명하기로 한다. First, before explaining an embodiment of the present invention, an optical system having a lens array composed of a conventional microlens group will be described, and then a problem of colorization when such an optical system is used will be described .

도 1 및 도 2는 마이크로 렌즈 군으로 이루어지는 렌즈 어레이를 구비하는 광학계에 대해 설명하는 설명도이다. 도 1은 피사체로부터의 광을 집광하는 렌즈와 촬상 소자 사이에 렌즈 어레이를 구비한 것을 측면 방향에서 본 경우에 대해 나타내는 설명도이고, 도 2는 렌즈 어레이의 배치 상태를 개념적으로 나타내는 설명도이다. Figs. 1 and 2 are explanatory views for explaining an optical system having a lens array composed of a group of microlenses. Fig. Fig. 1 is an explanatory view showing a case in which a lens array is provided between a lens for condensing light from a subject and an image pickup element in a lateral direction, and Fig. 2 is an explanatory diagram conceptually showing the arrangement state of the lens array.

도 1에 나타낸 바와 같이, 마이크로 렌즈 군으로 이루어지는 렌즈 어레이를 구비하는 광학계에 있어서는, 주 렌즈(11)를 통과한 피사체로부터의 광이 렌즈 어레이(12)의 각 마이크로 렌즈(12a)에 포커싱되도록 투영된다. 그리고 촬상 센서(13)에는 마이크로 렌즈(12a)를 투과한 광이 조사된다. 1, in an optical system having a lens array composed of a group of microlenses, the light from the subject passing through the main lens 11 is projected so as to be focused on each microlens 12a of the lens array 12, do. The image sensor 13 is irradiated with light transmitted through the microlens 12a.

촬상 센서(13)에는 인접하는 마이크로 렌즈(12a)로부터의 광이 중첩되지 않도록 주 렌즈(11)의 조리개(14)를 설정한다. 도 1에 나타낸 바와 같은 광학계에서 얻어진 화상을 재구성함으로써, 피사계 심도를 자유롭게 결정한다. 따라서, 이러한 마이크로 렌즈 군으로 이루어지는 렌즈 어레이를 구비하는 광학계는 시차를 이용한 거리측정이나 삼차원 화상에 대한 응용, 해상도의 향상 처리가 가능하다. The iris 14 of the main lens 11 is set so that the light from the adjacent microlens 12a is not superimposed on the image sensor 13. By reconstructing the image obtained in the optical system as shown in Fig. 1, the depth of field is freely determined. Therefore, an optical system including a lens array composed of such a microlens group can perform distance measurement using a time difference, application to a three-dimensional image, and resolution enhancement processing.

이러한 광학계를 범용적인 디지털 스틸 카메라에 이용하는 경우에는, 촬영 화상의 색채화를 어떻게 행할지가 문제가 된다. 다이크로익 미러(dichroic mirror) 등을 이용하여 분광하고, 복수의 촬상 센서를 이용하여 색채화하는 수법을 생각할 수 있는데, 이는 촬상 센서의 설치 공간이나 제조 비용면에서 불리하기 때문에, 단판의 촬상 센서를 이용하여 색채화하는 방법이 일반적이다. 그리고 단판의 촬상 센서를 이용하여 색채화할 때에는 분광 필터를 수광 소자의 전면에 특정 패턴 배열로 첨부하여 촬상하고, 이어서 보간 처리에 의해 모든 화소마다 색정보를 구비하는 방법이 알려져 있다. 그러나 해당 수법을 마이크로 렌즈 군으로 이루어진 렌즈 어레이를 구비하는 광학계에 그대로 적용하면 문제가 발생한다. When such an optical system is used in a general-purpose digital still camera, how to colorize the photographed image becomes a problem. It is possible to consider a method of spectroscopically using a dichroic mirror or the like and coloring it by using a plurality of image sensors. This is disadvantageous from the viewpoints of installation space and manufacturing cost of the image sensor, A coloring method is generally used. When coloring using an imaging sensor of a single plate, a method is known in which a spectral filter is attached to a front surface of a light receiving element in a specific pattern arrangement and then color information is provided for every pixel by interpolation processing. However, if the technique is applied directly to an optical system having a lens array made up of a group of microlenses, a problem arises.

도 3은 디지털 스틸 카메라에 널리 이용되고 있는 베이어 배열을 갖는 분광 필터에 의해 렌즈 어레이를 구비하는 광학계로 촬상한 화상을 색채화하는 경우에 대해 나타내는 설명도이다. 도 3에서는 8×8화소의 블록을 하나의 마이크로 렌즈에 대응시킨 경우에 대해 나타내고 있고, 도 3에 나타낸 각각의 원은 하나의 마이크로 렌즈의 투영 범위를 나타내고 있다. 3 is an explanatory view showing a case of coloring an image picked up by an optical system having a lens array by a spectral filter having a Bayer arrangement widely used in a digital still camera. 3 shows a case in which blocks of 8 × 8 pixels are associated with one microlens. Each circle shown in FIG. 3 shows a projection range of one microlens.

소정의 광학 경로를 통해 촬상되는 데이터는 특정의 색정보로서 얻게 되므로, 재구성 처리시에 동색끼리 행하는 것이 적당하다. 그러나 도 3에 나타낸 분광 필터의 패턴은 가장 많은 녹색(G) 성분이라도 바둑판 모양의 패턴으로 밖에 정보를 가질 수 없기 때문에 결손 상태가 된다. Since data to be picked up through a predetermined optical path is obtained as specific color information, it is appropriate to perform the same color in the reconstruction processing. However, even if the pattern of the spectral filter shown in Fig. 3 has the largest number of green (G) components, it can not have information only in a checkerboard pattern, and therefore, it becomes a defective state.

정보를 늘리기 위해, 마이크로 렌즈 단위로 분광 특성을 바꾸어 화상의 색채화를 시험해 보는 방법도 생각할 수 있다. 도 4는 마이크로 렌즈 단위로 특성이 다른 분광 필터에 의해 렌즈 어레이를 구비하는 광학계로 촬상한 화상을 색채화하는 경우에 대해 나타내는 설명도이다. 도 4에서는, 도 3과 같이, 8×8화소의 블록을 하나의 마이크로 렌즈에 대응시킨 경우에 대해 나타내고 있고, 도 4에 나타낸 각각의 원은 하나의 마이크로 렌즈의 투영 범위를 나타내고 있다. In order to increase the information, a method of changing the spectral characteristics in units of microlenses to try to colorize the image can be considered. Fig. 4 is an explanatory view showing a case of coloring an image picked up by an optical system having a lens array by a spectral filter having different characteristics in units of microlenses. Fig. Fig. 4 shows a case where blocks of 8 x 8 pixels are associated with one microlens as shown in Fig. 3, and circles shown in Fig. 4 represent the projection range of one microlens.

도 4에 나타낸 바와 같은 마이크로 렌즈 단위로 분광 특성이 다른 분광 필터를 사용한 경우에는, 주목하는 마이크로 렌즈 단위로 생각하면, 촬영 화상에 대한 재구성 처리는, 도 3에 나타낸 바와 같은 베이어 배열을 갖는 분광 필터를 사용한 경우보다 유리하다. 그러나 렌즈 어레이를 구비한 광학계는 1화소의 정보를 더 분할하여 촬상하기 때문에, 재구성 후의 화소 수는 마이크로 렌즈의 수로 감소한다. 또한, 이 감소한 화소로부터 보간 처리를 실행하게 되기 때문에, 렌즈 어레이를 구비하는 디지털 스틸 카메라는 동일한 촬상 센서를 이용한 통상의 광학계를 갖는 디지털 스틸 카메라에 비해 적은 화소 수가 되게 된다. 도 4에 나타낸 바와 같은 분광 필터를 이용하는 경우에는, 하나의 마이크로 렌즈당 64개의 화소가 할당되어 있다. 따라서, 기록 화소 수는 촬상 센서의 화소 수의 1/64가 된다. 보간 처리는 기록되지 않은 고주파 성분을 예측한 작성이나, 색정보의 위상 변이로 인한 경계부의 착색 등의 과제도 있어 적은 화소 수로 실시하는 경우 화질의 열화가 두드러지게 된다. In the case of using a spectral filter having different spectral characteristics in units of microlenses as shown in Fig. 4, the reconstruction processing for the photographed image is performed by a spectral filter having a Bayer arrangement as shown in Fig. 3 Is advantageous. However, since an optical system having a lens array further divides and captures information of one pixel, the number of pixels after reconstruction decreases to the number of microlenses. Further, since the interpolation processing is performed from the reduced pixels, the digital still camera having the lens array has a smaller number of pixels than the digital still camera having the ordinary optical system using the same imaging sensor. In the case of using a spectral filter as shown in Fig. 4, 64 pixels are allocated per microlens. Therefore, the number of recording pixels becomes 1/64 of the number of pixels of the image sensor. The interpolation process has problems such as creation of prediction of high frequency components that are not recorded, coloring of a boundary due to phase shift of color information, and deterioration of image quality is prominent when performing with a small number of pixels.

따라서, 이하에 설명하는 본 발명의 일 실시 예에서는 각 마이크로 렌즈가 조사하는 범위에서, 화상의 재구성에서 이용하는 영역에서 촬상되는 화소는 휘도 신호를 수광하고, 그 이외의 영역에서는 보색 필터를 부착하여 컬러 신호를 얻는 촬상 센서를 구성한다. 여기서, 화상의 재구성에 이용하는 영역은 각 마이크로 렌즈의 광축을 중심으로 한 소정의 영역임을 특징으로 하고 있다. Therefore, in one embodiment of the present invention described below, in the range irradiated by each microlens, a pixel picked up in an area used for image reconstruction receives a luminance signal, and in the other areas, An imaging sensor for obtaining a signal is constructed. Here, the area used for image reconstruction is a predetermined area around the optical axis of each microlens.

도 5는 본 발명의 일 실시 예에 따른 촬상 장치(100)의 구성에 대해 나타내는 설명도이다. 이하, 도 5를 이용하여 본 발명의 일 실시 예에 따른 촬상 장치(100)의 구성에 대해 설명하기로 한다. Fig. 5 is an explanatory view showing a configuration of an image pickup apparatus 100 according to an embodiment of the present invention. Hereinafter, the configuration of the image sensing apparatus 100 according to the embodiment of the present invention will be described with reference to FIG.

도 5에 나타낸 바와 같이, 본 발명의 일 실시 예에 따른 촬상 장치(100)는 주 렌즈(102), 마이크로 렌즈 어레이(104), 촬상 센서(106), CPU(108), 메모리(110), 아날로그 프론트 엔드(AFE)부 및 A/D 변환부(112), 화상 입력부(114), 컬러 화소 생성부(116), 화상 재구성부(118), 디지털 백 엔드(DBE)부(120), 화상 압축부(122), 메모리 카드 드라이버(124), 표시 화상 생성부(126), 표시 드라이버(128), 타이밍 발생부(TG)(130), 모터 드라이버(132), 및 초점 렌즈 모터(134)를 포함하여 구성된다. 5, an imaging apparatus 100 according to an embodiment of the present invention includes a main lens 102, a micro lens array 104, an image sensor 106, a CPU 108, a memory 110, An analog front end (AFE) unit and an A / D conversion unit 112, an image input unit 114, a color pixel generation unit 116, an image reconstruction unit 118, a digital back end (DBE) A memory card driver 124, a display image generation unit 126, a display driver 128, a timing generator (TG) 130, a motor driver 132, and a focus lens motor 134, .

주 렌즈(102)는 피사체에 초점을 맞추기 위한 렌즈인 초점 렌즈, 초점거리를 변화시키는 줌렌즈 등을 포함하여 구성된다. 초점 렌즈 모터(134)의 구동에 의해 주 렌즈(102)에 포함되는 초점 렌즈의 위치를 이동시킴으로써 촬상 장치(100)는 피사체에 초점을 맞출 수 있다. The main lens 102 includes a focus lens, which is a lens for focusing on a subject, a zoom lens for changing a focal distance, and the like. By moving the position of the focus lens included in the main lens 102 by driving the focus lens motor 134, the imaging apparatus 100 can focus on the subject.

마이크로 렌즈 어레이(104)는 복수의 마이크로 렌즈 군으로 구성되는 렌즈 어레이다. 마이크로 렌즈 어레이(104)는 마이크로 렌즈(104a)가 단일 평면상에 규칙적으로 배열됨으로써 구성된다. 주 렌즈(102)를 통과한 광은 마이크로 렌즈 어레이(104)의 각 마이크로 렌즈를 통과하여 촬상 센서(106)에 조사된다. The microlens array 104 is a lens array composed of a plurality of microlenses. The microlens array 104 is constituted by regularly arranging the microlenses 104a on a single plane. The light having passed through the main lens 102 passes through each microlens of the microlens array 104 and is irradiated to the image sensor 106. [

촬상 센서(106)는 마이크로 렌즈 어레이(104)를 구성하는 각 마이크로 렌즈(104a)를 통과한 광으로부터 화상 신호를 생성하는 것이다. 촬상 센서(106)는 각 마이크로 렌즈(104a)에 대응된 소정의 수광 패턴을 가지고 있고, 상술한 바와 같이, 각 마이크로 렌즈(104a)가 조사하는 범위에서, 화상의 재구성에 이용하는 영역에서 촬상되는 화소는 휘도 신호를 수광하고, 그 이외의 영역에서는 보색 필터가 첨부되어 있고, 컬러 신호를 얻도록 구성되어 있다. 촬상 센서(106)의 구성에 대해서는 후술하기로 한다. The image sensor 106 generates an image signal from light passing through each microlens 104a constituting the microlens array 104. [ The imaging sensor 106 has a predetermined light receiving pattern corresponding to each microlens 104a and, as described above, in the range irradiated by each microlens 104a, And a complementary color filter is attached to the other areas to obtain a color signal. The configuration of the image sensor 106 will be described later.

CPU(108)는 촬상 장치(100)의 각 부의 동작을 제어하는 것이다. CPU(108)는 촬상 장치(100)의 내부에 저장된 컴퓨터 프로그램을 순차적으로 실행함으로써, 촬상 장치(100)의 각 부의 동작을 제어할 수 있다. 또 메모리(110)에는 촬상 장치(100)의 동작시에 필요한 정보나 데이터가 저장된다. The CPU 108 controls the operations of the respective units of the image capturing apparatus 100. The CPU 108 can control the operation of each section of the image capturing apparatus 100 by sequentially executing the computer programs stored in the image capturing apparatus 100. [ The memory 110 also stores information and data necessary for operation of the image capturing apparatus 100.

아날로그 프론트 엔드부 및 A/D 변환부(112)는 촬상 센서(106)에서 광전 변환된 아날로그 신호를 받아 디지털 신호로 변환 출력하는 것이다. 아날로그 프론트 엔드부 및 A/D 변환부(112)에서 디지털 신호로 변환된 신호는 화상 입력부(114)로 보내진다. The analog front end unit and the A / D conversion unit 112 receive the analog signal converted by the image sensor 106 and convert it into a digital signal. A signal converted into a digital signal by the analog front end unit and the A / D conversion unit 112 is sent to the image input unit 114.

화상 입력부(114)는 아날로그 프론트 엔드부 및 A/D 변환부(112)에서 생성된 디지털 신호를 받아 메모리(110)에 저장한다. 아날로그 프론트 엔드부 및 A/D 변환부(112)에서 생성된 디지털 신호가 메모리(110)에 저장됨으로써 촬상 장치(100)는 디지털 신호에 대한 각종 신호 처리를 실행할 수 있다. The image input unit 114 receives the digital signal generated by the analog front end unit and the A / D conversion unit 112 and stores the digital signal in the memory 110. By storing the digital signals generated by the analog front end unit and the A / D conversion unit 112 in the memory 110, the imaging apparatus 100 can perform various signal processing on the digital signals.

컬러 화소 생성부(116)는 촬상 센서(106)가 수광한 광으로부터 생성된 화상 신호에 대해 색 데이터를 생성하는 신호 처리를 실행한다. 구체적으로는, 컬러 화소 생성부(116)는 촬상 센서(106)에서 생성된 화상 신호 중 색 정보가 존재하지 않는 화소에 대해 색 데이터를 생성한다. 컬러 화소 생성부(116)에서의 색 데이터 생성 처리에 대해서는 후술하기로 한다. The color pixel generation unit 116 executes signal processing for generating color data for the image signal generated from the light received by the image sensor 106. [ More specifically, the color pixel generation unit 116 generates color data for pixels for which color information does not exist in the image signals generated by the image sensor 106. [ The color data generation processing in the color pixel generation unit 116 will be described later.

화상 재구성부(118)는 마이크로 렌즈 어레이(104)를 통해 촬상된 화상을 재구성하는 것이다. 예를 들면 마이크로 렌즈 어레이(104)를 통해 촬상된 화상의 재구성에 의해 피사계 심도를 변경하여 포커싱하는 피사체를 변화시킬 수 있다. 또한, 화상 재구성부(118)는 노이즈의 제거나 색의 보정 등에 의한 해상도 향상 처리를 실행할 수 있다. The image reconstruction unit 118 reconstructs the image captured through the microlens array 104. [ For example, by changing the depth of field by reconstructing an image picked up through the microlens array 104, the subject to be focused can be changed. Further, the image reconstruction unit 118 can perform resolution enhancement processing by eliminating noise, correcting color, and the like.

디지털 백 엔드부(120)는 마이크로 렌즈 어레이(104)를 통해 촬상되고 컬러 화소 생성부(116)에서 색채화된 화상에 대한 화상 처리를 실행하는 것으로, 예를 들면 채도를 강조하는 처리를 실행하거나, 화상 사이즈를 변환하는 처리를 실행한다. The digital back end unit 120 performs image processing on a color image picked up by the microlens array 104 and color pixel generation unit 116. The digital back end unit 120 performs processing for enhancing saturation, , And executes a process of converting the image size.

화상 압축부(122)는 화상 데이터를 적절한 형식으로 압축한다. 화상의 압축 형식은 가역 형식이어도 되고 비가역 형식이어도 된다. 적절한 형식의 예로서, JPEG(Joint Photo graphic Experts Group)형식이나 JPEG 2000형식으로 변환해도 된다. 메모리 카드 드라이버(124)는 화상 압축부(122)에서 압축된 후의 화상 데이터의 메모리 카드(미도시)에 대한 기록, 및 메모리 카드에 기록된 화상 데이터의 메모리 카드로부터의 독출을 실행한다. The image compressing section 122 compresses the image data in a proper format. The compression format of the image may be a reversible format or a non-reversible format. As an example of a proper format, it may be converted to JPEG (Joint Photographic Experts Group) format or JPEG 2000 format. The memory card driver 124 performs recording of image data after being compressed by the image compression unit 122 to a memory card (not shown), and reading of image data recorded in the memory card from the memory card.

표시 화상 생성부(126)는 촬영 화상이나, 촬상 장치(100)의 각종 설정 화면을 표시하는 표시부(미도시)에 표시하는 화상(표시 화상)을 생성하는 것이다. 예를 들면, 촬영 화상을 표시부에 표시하는 경우에 표시 화상 생성부(126)는 표시부의 해상도나 화면 사이즈에 맞추어 화상 데이터를 압축하고, 표시 화상을 생성한다. 표시 드라이버(128)는 표시 화상 생성부(126)가 생성한 표시 화상을 표시부(미도시)에 표시하는 처리를 실행한다. The display image generation unit 126 generates an image (display image) to be displayed on a display unit (not shown) for displaying a captured image and various setting screens of the image capturing apparatus 100. [ For example, when a photographed image is displayed on the display unit, the display image generation unit 126 compresses the image data in accordance with the resolution and screen size of the display unit, and generates a display image. The display driver 128 performs a process of displaying the display image generated by the display image generation unit 126 on a display unit (not shown).

타이밍 발생부(130)는 촬상 센서(106)에 타이밍 신호를 입력한다. 타이밍 발생부(130)로부터의 타이밍 신호에 의해 셔터 속도가 결정된다. 즉, 타이밍 발생부(130)로부터의 타이밍 신호에 의해 촬상 센서(106)의 구동이 제어되고, 촬상 센서(106)가 구동하는 시간 내에 피사체로부터의 영상 광을 입사함으로써 화상 데이터의 기초가 되는 전기 신호가 생성된다. The timing generating unit 130 inputs a timing signal to the image sensor 106. [ The shutter speed is determined by the timing signal from the timing generator 130. [ That is, the driving of the image sensor 106 is controlled by the timing signal from the timing generator 130, and the image light from the subject is incident within the time that the image sensor 106 is driven, A signal is generated.

모터 드라이버(132)는 CPU(108)의 제어에 따라 초점 렌즈 모터(134)를 구동시키는 것이다. 초점 렌즈 모터(134)는 모터에 의해 주 렌즈(102)의 위치를 제어하는 것이다. 모 터 드라이버(132) 및 초점 렌즈 모터(134)를 통해 주 렌즈(102)의 위치를 제어함으로써 피사체의 핀트를 조절할 수 있다. The motor driver 132 drives the focus lens motor 134 under the control of the CPU 108. [ The focus lens motor 134 controls the position of the main lens 102 by a motor. The focus of the subject can be adjusted by controlling the position of the main lens 102 through the motor driver 132 and the focus lens motor 134. [

도 5에는 도시하지 않았지만, 촬상 장치(100)에는 조리개, 그 조리개를 조절하기 위한 모터 및 그 모터를 구동시키기 위한 모터 드라이버를 구비할 수 있다. 또한, 촬상 장치(100)에는 촬영 동작을 개시하기 위한 셔터 버튼, 조리개나 셔터 속도, 감도 등의 촬영 정보를 설정하기 위한 조작 버튼 등을 더 구비할 수 있다. Although not shown in FIG. 5, the imaging apparatus 100 may include a diaphragm, a motor for adjusting the diaphragm, and a motor driver for driving the motor. The imaging apparatus 100 may further include an operation button for setting shooting information such as a shutter button, an iris, a shutter speed, and a sensitivity for starting a photographing operation.

이상, 본 발명의 일 실시 예에 따른 촬상 장치(100)의 구성에 대해 설명하였다. 이어, 본 발명의 일 실시 예에 따른 촬상 장치(100)에 사용되는 촬상 센서(106)의 구성에 대해서 설명한다. The configuration of the image sensing apparatus 100 according to the embodiment of the present invention has been described above. Next, the configuration of the image sensor 106 used in the image pickup apparatus 100 according to the embodiment of the present invention will be described.

도 6은 본 발명의 일 실시 예에 따른 촬상 장치(100)에 사용되는 촬상 센서(106)의 구성에 대해 나타내는 설명도이고, 도 7은 도 6에 나타낸 촬상 센서(106)를 확대한 것을 나타내는 설명도이다. 6 is an explanatory view showing the configuration of the image sensor 106 used in the image pickup apparatus 100 according to the embodiment of the present invention and Fig. 7 is a diagram showing an enlargement of the image sensor 106 shown in Fig. 6 Fig.

도 6에 나타낸 원은 도 3에 나타낸 원과 같이 마이크로 렌즈 어레이(104)를 구성하는 하나의 마이크로 렌즈(104a)를 투과하는 광이 조사되는 범위를 나타낸 것이다. 도 6에 나타낸 바와 같이, 촬상 센서(106)에는 하나의 마이크로 렌즈(104a)를 투과하는 광이 조사되는 범위에 대응하여 복수의 화소가 할당되어 있다. 도 6 및 도 7에 나타낸 예에서는 하나의 마이크로 렌즈(104a)에 대해 세로 8화소, 가로 8화소의 합계 64화소가 할당되어 있고, 하나의 마이크로 렌즈(104a)를 투과한 광은 해당 64개의 화소에 의해 광전 변환이 행해진다. The circle shown in Fig. 6 shows the range irradiated with light passing through one microlens 104a constituting the microlens array 104 as shown in the circle in Fig. As shown in Fig. 6, a plurality of pixels are assigned to the image sensor 106 in correspondence with the range in which light transmitted through one micro lens 104a is irradiated. In the example shown in Figs. 6 and 7, a total of 64 pixels of 8 pixels in length and 8 pixels in width are assigned to one microlens 104a, and the light transmitted through one microlens 104a is divided into 64 pixels The photoelectric conversion is performed.

도 6 및 도 7에 나타낸 촬상 센서(106)에 있어서, 하나의 마이크로 렌즈(104a)에 대해 할당되는 64개의 화소는 휘도 신호를 얻는 화소가 포함되는 영역과, 보색 신호를 얻는 화소가 포함되는 영역으로 나뉜다. 그리고 화상 재구성부(118)에서의 재구성 처리에 이용하는 영역, 즉 각 마이크로 렌즈의 광축 부근에서 촬상되는 화소가 포함되는 영역은 휘도 신호를 얻는 영역으로 하고, 그 주위의 화소가 포함되는 영역은 보색 신호를 얻는 영역으로 한다. 도 6에 나타낸 촬상 센서(106)에서는, Y에 나타낸 화소로 이루어지는 영역이 휘도 신호를 얻는 영역이고, Cy, Mg, Ye에 나타낸 화소로 이루어지는 영역이 보색 신호를 얻는 영역이 된다. Cy, Mg, Ye에 나타낸 화소는 각각 시안, 마젠타, 옐로우의 정보를 얻는 화소이다. In the image sensor 106 shown in Figs. 6 and 7, 64 pixels allocated to one microlens 104a are divided into a region including a pixel for obtaining a luminance signal and a region including a pixel for obtaining a complementary signal . The area used for the reconstruction processing in the image reconstruction unit 118, that is, the area including the pixels picked up in the vicinity of the optical axis of each microlens is a region for obtaining the luminance signal, and the area including the surrounding pixels is the complementary color signal Is obtained. In the image sensor 106 shown in Fig. 6, the area consisting of the pixels shown at Y is the area for obtaining the luminance signal, and the area consisting of the pixels shown at Cy, Mg, Ye is the area for obtaining the complementary color signal. The pixels shown in Cy, Mg, and Ye are pixels for obtaining information of cyan, magenta, and yellow, respectively.

도 7은 하나의 마이크로 렌즈(104a)에 대해 할당되어 있는 64개의 화소에 대해 확대하여 나타낸 설명도이다. 도 7을 이용하여 보다 상세하게 촬상 센서(106)의 구성을 설명하기로 한다. FIG. 7 is an explanatory view showing an enlarged view of 64 pixels assigned to one microlens 104a. The configuration of the image sensor 106 will be described in more detail with reference to FIG.

화상의 재구성에 이용되는 영역은 도 7에 나타낸 화소 중 Y0~Y51로 나타낸 화소로 이루어지는 영역에 해당된다. 기타 영역의 화소에는 각각 보색 필터가 첨부되고, 시안, 마젠타, 옐로우의 정보가 얻어지도록 구성되어 있다. 시안의 정보를 얻는 화소는, 도 7의 Cy0∼Cy3으로 나타낸 화소이고, 마젠타의 정보를 얻는 화소는 도 7의 Mg0∼Mg3으로 나타낸 화소이며, 옐로우의 정보를 얻는 화소는 도 7의 Ye0∼Ye3으로 나타낸 화소이다. Y0~Y51의 화소에 광을 조사하여 얻는 휘도 신호로부터는 시안, 마젠타, 옐로우의 정보를 참조함으로써 RGB 신호를 얻을 수 있다. The area used for the reconstruction of the image corresponds to the area consisting of the pixels Y0 to Y51 in the pixels shown in Fig. The pixels in the other area are each provided with a complementary color filter, and information of cyan, magenta, and yellow is obtained. The pixel for obtaining cyan information is a pixel represented by Cy0 to Cy3 in Fig. 7, the pixel for obtaining magenta information is a pixel represented by Mg0 to Mg3 in Fig. 7, and the pixel for obtaining yellow information is Ye0 to Ye3 . The RGB signals can be obtained by referring to the information of cyan, magenta, and yellow from the luminance signal obtained by irradiating the pixels of Y0 to Y51 with light.

보색 신호를 수광한 화소에서는 휘도 신호를 수광하는 영역과는 다른 광속의 정보가 되는데, 보색 신호는 휘도 신호에 비해 사람의 감도가 낮은 것으로 알려져 있다. 따라서 본 실시 예에서는, 촬상 센서(106)의 휘도 신호가 수광한 위치와, 복수의 보색 신호의 각 수광 위치와의 거리 차에 따라 가중하여 산출함으로써 휘도 신호를 수광한 위치에서의 RGB 신호를 생성한다. In a pixel receiving a complementary color signal, information of a luminous flux different from a region receiving the luminance signal is obtained. It is known that a complementary color signal is lower in human sensitivity than a luminance signal. Therefore, in this embodiment, the RGB signal at the position where the luminance signal is received is generated by weighting in accordance with the difference in distance between the position where the luminance signal of the image sensor 106 is received and the respective light receiving positions of the plurality of complementary color signals do.

도 8은 색의 삼원색인 R, G, B 각색의 파장과 스펙트럼 강도의 관계를 나타내는 설명도이고, 도 9는 시안, 마젠타, 옐로우의 각색의 파장과 스펙트럼 강도와의 관계를 나타내는 설명도이며, 도 10은 휘도 신호의 파장과 스펙트럼 강도와의 관계를 나타내는 설명도이다. 도 8 내지 도 10에 나타낸 바와 같이, 휘도 신호의 파장과 스펙트럼 강도와의 관계는, 도 9에 나타낸 시안, 마젠타, 옐로우의 각색의 파장과 스펙트럼 강도와의 관계를 포함하는 특성을 가지고 있다. 따라서, 복수의 보색 신호의 각 수광 위치와의 거리 차에 따라 가중하여 산출함으로써 휘도 신호를 수광한 위치에서의 RGB 신호를 생성할 수 있다. FIG. 8 is an explanatory diagram showing the relationship between the wavelengths of R, G and B colors and the spectral intensity, which are the three primary colors, and FIG. 9 is an explanatory diagram showing the relationship between spectral intensities and wavelengths of cyan, magenta, 10 is an explanatory diagram showing the relationship between the wavelength of the luminance signal and the spectrum intensity. As shown in Figs. 8 to 10, the relationship between the wavelength of the luminance signal and the spectral intensity has a characteristic including the relationship between the spectral intensity and the wavelength of each color of cyan, magenta, and yellow shown in Fig. Therefore, it is possible to generate the RGB signal at the position where the luminance signal is received, by weighting and calculating according to the difference in distance between each of the plurality of complementary color signals and the respective light receiving positions.

이상, 촬상 장치(100)에 이용되는 촬상 센서(106)의 구성에 대해 설명하였다. 이어, 본 발명의 일 실시 예에 따른 촬상 장치(100)를 이용한 촬상 방법 및 컬러 화상의 생성 방법에 대해 설명하기로 한다. The configuration of the image sensor 106 used in the image sensing apparatus 100 has been described above. Next, a description will be given of an imaging method using the imaging device 100 and a method of generating a color image according to an embodiment of the present invention.

도 11은 본 발명의 일 실시 예에 따른 촬상 장치(100)를 이용한 촬상 방법에 대해 나타내는 흐름도이고, 도 12는 본 발명의 일 실시 예에 따른 촬상 장치(100)에서의 컬러 화상의 생성 방법에 대해 나타내는 흐름도이다. 이하, 도 11 및 도 12를 사용하여 본 발명의 일 실시 예에 따른 촬상 장치(100)를 이용한 촬상 방법 및 컬러 화상의 생성 방법에 대해서 설명하기로 한다. Fig. 11 is a flowchart showing an image pickup method using the image pickup apparatus 100 according to an embodiment of the present invention. Fig. 12 is a flowchart showing a method of generating a color image in the image pickup apparatus 100 according to an embodiment of the present invention Fig. Hereinafter, an imaging method and a color image generation method using the imaging apparatus 100 according to an embodiment of the present invention will be described with reference to FIGS. 11 and 12. FIG.

본 발명의 일 실시 예에 따른 촬상 장치(100)를 사용하여 피사체를 촬영할 때는, 우선 피사체의 측광 결과를 이용하여 자동으로, 또는 촬영자의 손에 의해 최적의 조리개값이 설정되며(S101), 계속해서, 피사체의 측광 결과를 이용하여 자동으로, 또는 촬영자의 손에 의해 피사체의 촬영으로 최적의 셔터 속도가 설정되고, 또한 화상 촬영시의 게인이 결정된다(S102). 그리고 모터 드라이버(132) 및 초점 렌즈 모터(134)가 초점 렌즈의 위치를 이동시킴으로써 마이크로 렌즈 어레이(104)에 주피사체가 포커싱된다(S103).When photographing a subject using the imaging apparatus 100 according to the embodiment of the present invention, first, the optimum aperture value is set automatically or automatically by the photographer's hand using the photometry result of the subject (S101) Thus, the optimal shutter speed is set automatically or automatically by the photographer's hand using the photometry result of the subject, and the gain at the time of photographing is determined (S102). The main subject is focused on the microlens array 104 by moving the position of the focus lens to the motor driver 132 and the focus lens motor 134 (S103).

마이크로 렌즈 어레이(104)에 주피사체가 포커싱되면, 셔터 버튼을 누름으로써 촬상 장치(100)에서의 촬영 처리가 실행된다(S104). 촬상 장치(100)에서의 촬영 처리는 피사체로부터의 영상 광을 촬상 센서(106)에 조사함으로써 실행된다. 그리고 촬상 센서(106)에 대한 광의 조사는 상기 S102에서 설정한 셔터 속도의 기간 동안만 조사되도록 타이밍 발생부(130)에 의해 제어된다. When the main subject is focused on the microlens array 104, the photographing process in the image capturing apparatus 100 is executed by pressing the shutter button (S104). The imaging processing in the imaging apparatus 100 is executed by irradiating the imaging sensor 106 with video light from a subject. The irradiation of light to the image sensor 106 is controlled by the timing generator 130 so that it is irradiated only during the period of the shutter speed set in S102.

피사체로부터의 영상 광이 주 렌즈(102), 마이크로 렌즈 어레이(104)를 투과하여 촬상 센서(106)에 조사되면, 촬상 센서(106)에서 광전 변환되어 전기 신호가 생성된다. 촬상 센서(106)에서 생성된 전기 신호는 아날로그 프론트 엔드부 및 A/D 변환부(112)에 의해 디지털 신호로 변환되고, 변환된 디지털 신호는 화상 입력부(114)에 의해 화상 데이터로서 메모리(110)에 저장된다(S105). When the image light from the subject passes through the main lens 102 and the microlens array 104 and is irradiated onto the image sensor 106, the image sensor 106 converts the photoelectrons into electric signals. The electric signal generated by the image sensor 106 is converted into a digital signal by the analog front end unit and the A / D conversion unit 112, and the converted digital signal is converted into image data by the image input unit 114 (S105).

화상 데이터가 메모리(110)에 저장되면, 컬러 화소 생성부(116)는 메모리(110)에 저장된 화상 데이터를 독출하고, 마이크로 렌즈(104a)에서 구분된 영역마다 RGB 화상을 생성한다(S106). 이 스텝 S106에서의 컬러 화소 생성부(116)에 의한 RGB 화상의 생성 처리에 대해서는 후술하기로 한다. When the image data is stored in the memory 110, the color pixel generation unit 116 reads the image data stored in the memory 110 and generates an RGB image for each of the regions separated by the microlens 104a (S106). The RGB image generation process by the color pixel generation unit 116 in step S106 will be described later.

상기 S106에서의 컬러 화소 생성부(116)에 의한 RGB 화상의 생성 처리가 완료되면, 계속해서 화상 재구성부(118)가 화상의 재구성 처리에 이용하는 재구성용 파라미터를 취득한다(S107). 화상의 재구성 처리에 이용하는 재구성용 파라미터에는, 예를 들면 촬상 장치(100)에서 피사체까지의 거리 정보, 마이크로 렌즈 어레이(104)를 구성하는 마이크로 렌즈(104a)의 렌즈 간의 피치 등의 정보가 포함될 수 있다. When the RGB image generation processing by the color pixel generation unit 116 in S106 is completed, the image reconstruction unit 118 subsequently acquires the reconstruction parameters used for the image reconstruction processing (S107). The reconstruction parameters used in the image reconstruction process may include information such as distance information from the imaging device 100 to the subject and pitch between the lenses of the microlens 104a constituting the microlens array 104 have.

상기 S107에서의 화상 재구성부(118)에 의한 재구성용 파라미터의 취득이 완료되면, 계속해서 그 취득한 파라미터를 사용하여 화상 재구성부(118)에 화상 데이터의 재구성 처리를 실행한다(S108). 화상 재구성부(118)에서 화상 데이터를 재구성함으로써 촬영시와는 다른 피사체에 포커싱된 화상을 생성할 수 있다. 또한, 화상 데이터의 재구성 처리에 대해서는, 공지된 기술이므로 상세한 설명은 생략하기로 한다. When acquisition of the reconstruction parameters by the image reconstruction unit 118 in S107 is completed, the image reconstruction unit 118 executes the reconstruction processing of the image data using the acquired parameters (S108). The image reconstructing unit 118 reconstructs the image data so as to generate an image focused on a subject different from that at the time of photographing. The reconstruction processing of the image data is a well-known technique, and a detailed description thereof will be omitted.

상기 S108에서의, 화상 재구성부(118)에 의한 화상 데이터의 재구성 처리가 완료되면, 계속해서 재구성 후의 화상 데이터에 대해, 디지털 백 엔드부(120)가 각종 화상 처리를 실행한다(S109). 여기서 각종 화상 처리란, 예를 들면 노이즈 제거 처리, 채도 강조 처리, 화상 사이즈 변환 처리 등이 포함될 수 있다. 화상 처리가 행해진 화상 데이터는 메모리(110)에 저장된다. After the image reconstruction processing by the image reconstruction unit 118 is completed in S108, the digital back end unit 120 performs various image processing on the image data after the reconstruction (S109). The various types of image processing may include, for example, noise removal processing, saturation enhancement processing, image size conversion processing, and the like. The image data subjected to the image processing is stored in the memory 110.

상기 S109에서의 디지털 백 엔드부(120)에 의한 각종 화상 처리가 완료되면, 계속해서 화상 처리가 행해진 화상 데이터에 대한 압축 처리를 화상 압축부(122)가 실행한다(S110). 화상 데이터에 대한 압축 처리가 완료되면, 메모리 카드 드라이버(124)는 압축 후의 화상 데이터를 기록 매체에 보존한다(S111). When various image processes by the digital back end unit 120 in step S109 are completed, the image compressing unit 122 executes the compression process on the image data that has been subjected to the image process (S110). When the compression process on the image data is completed, the memory card driver 124 saves the compressed image data on the recording medium (S111).

이상, 본 발명의 일 실시 예에 따른 촬상 장치(100)를 이용한 촬상 방법에 대해 설명하였다. 이어, 도 11의 S106에서 나타낸 컬러 화소 생성부(116)에 의한 RGB 화상의 생성 처리에 대해 상세히 설명하기로 한다. The imaging method using the imaging apparatus 100 according to the embodiment of the present invention has been described above. Next, the RGB image generation process by the color pixel generation unit 116 shown in S106 of FIG. 11 will be described in detail.

도 12는 도 11의 스텝 S106에서 나타낸 컬러 화소 생성부(116)에 의한 RGB 화상의 생성 처리에 대해 설명하는 흐름도이다. 여기서는 도 6 및 도 7에 나타낸 바와 같이, 하나의 마이크로 렌즈(104a)에 대응하는 것이 8×8화소의 합계 64화소의 영역인 경우를 예로 설명한다. 12 is a flowchart for explaining an RGB image generation process by the color pixel generation unit 116 shown in step S106 of FIG. Here, as shown in Fig. 6 and Fig. 7, a case in which the one microlens 104a corresponds to a total of 64 pixels of 8x8 pixels will be described as an example.

우선, 컬러 화소 생성부(116)는 마이크로 렌즈 어레이(104)를 구성하는 마이크로 렌즈(104a)의 수를 나타내는 작업용 변수 k를 0으로 설정한다(S121). S121에서 변수 k를 0으로 설정하면, 계속해서 컬러 화소 생성부(116)는 상술한 8×8 화소의 합계 64화소의 영역을 8×8의 행렬로 치환한 경우의 행의 요소를 표현하는 변수 n을 0으로 설정하고(S122), 계속해서 해당 행렬의 열의 요소를 표현하는 변수 m을 0으로 설정한다(S123). First, the color pixel generation unit 116 sets a working variable k indicating the number of microlenses 104a constituting the microlens array 104 to 0 (S121). If the variable k is set to 0 in S121, then the color pixel generation unit 116 sets the variable representing the element of the row in the case of replacing the area of 64 pixels, which is the total of 8x8 pixels, n is set to 0 (S122), and the variable m representing the element of the column of the matrix is set to 0 (S123).

각 변수를 0으로 설정하면, 계속해서 컬러 화소 생성부(116)는 상술한 64화소의 영역에서 구분된 영역 내의 시안(Cy[n][m]), 마젠타(Mg[n][m]), 옐로우(Ye[n][m])의 값을 산출한다(S124). 여기서, Cy[n][m], Mg[n][m], Ye[n][m]은, 각각 64화소의 영역의 네 귀퉁이의 화소로부터의 거리에 따른 가중 평균으로 산출된다. 우선 산출 대상의 화소와, 네 귀퉁이의 각각의 화소의 거리를 산출한다. 네 귀퉁이의 화소로부터 산출 대상 화소까지의 거리(d0, d1, d2, d3)는 각각 하기의 수식 1 내지 수식 4로 표현할 수 있다. 또한, 도 7에 나타낸 바와 같이, 네 귀퉁이의 Cy, Mg, Ye의 각 화소의 위치는 다르므로, 네 귀퉁이의 시안, 마젠타, 옐로우의 각 화소의 위치에서 산출 대상의 화소까지의 거리(d0, d1, d2, d3)는 시안, 마젠타, 옐로우에서 각각 달라진다. 따라서, 하기의 수식 1 내지 수식 4는 시안, 마젠타, 옐로우에서 각각 다른 식으로 나타내는 것이 적절하지만, 여기서는 개념을 나타내는 데 그치며, 이하에서는 설명의 간략화를 위해 시안, 마젠타, 옐로우의 각 화소에 대한 d0, d1, d2, d3의 구별은 생략하기로 한다. The color pixel generating unit 116 generates cyan (Cy [n] [m]) and magenta (Mg [n] [m]) in the region divided in the above- , And yellow (Ye [n] [m]) are calculated (S124). Here, Cy [n] [m], Mg [n] [m], and Ye [n] [m] are calculated as weighted averages according to the distances from the pixels at the four corners of the 64 pixel area. First, the distance between the pixel to be calculated and the pixel of each of the four corners is calculated. The distances d0, d1, d2, and d3 from the pixels at the four corners to the calculation target pixel can be expressed by the following equations (1) to (4), respectively. 7, since the positions of the four pixels Cy, Mg, and Ye in the four corners are different, the distances d0, d3 from the positions of the respective pixels of cyan, magenta, and yellow in the four corners to the pixel to be calculated, d1, d2, and d3 are different in cyan, magenta, and yellow. Therefore, it is appropriate that the following expressions (1) to (4) are expressed in different formulas for cyan, magenta, and yellow, respectively. Hereinafter, for the sake of simplicity of description, , d1, d2, and d3 will be omitted.

컬러 화소 생성부(116)가 네 귀퉁이의 화소로부터 산출 대상 화소까지의 거리(d0, d1, d2, d3)를 산출하면, 계속해서 컬러 화소 생성부(116)는 상기 수식 1 내지 수식 4로 구한 네 귀퉁이의 화소로부터 산출 대상 화소까지의 거리(d0, d1, d2, d3)의 합(d)을 하기의 수식 5에서 구한다. When the color pixel generation unit 116 calculates the distances d0, d1, d2 and d3 from the four-corner pixel to the calculation target pixel, the color pixel generation unit 116 calculates the distance The sum (d) of the distances (d0, d1, d2, d3) from the pixels at the four corners to the calculation target pixel is obtained from the following Expression (5).

네 귀퉁이의 화소로부터 산출 대상 화소까지의 거리의 합을 산출하면, 해당 화소에서의 Cy[n][m], Mg[n][m], Ye[n][m]을 구할 수 있다. 여기서 Cy[n][m], Mg[n][m], Ye[n][m]은 상기 수식 5에서 구한 네 귀퉁이의 화소로부터 산출 대상 화소까지의 거리(d0, d1, d2, d3)의 합(d)을 이용하여 하기의 수식 6내지 수식 8로 구할 수 있다. 또한, 하기의 수식 6 내지 8에서 Cy0, Cy1, Cy2, Cy3은 도 7에 나타낸 Cy0, Cy1, Cy2, Cy3의 화소에서의 시안의 값이고, Mg0, Mg1, Mg2, Mg3은 도 7에 나타낸 Mg0, Mg1, Mg2, Mg3의 화소에서의 마젠타의 값이고, Ye0, Ye1, Ye2, Ye3은 도 7에 나타낸 Ye0, Ye1, Ye2, Ye3의 화소에서의 옐로우의 값이다. , Cy [n] [m], Mg [n] [m], and Ye [n] [m] in the pixel can be obtained by calculating the sum of the distances from the pixels at the four corners to the calculation target pixel. Here, Cy [n] [m], Mg [n] [m] and Ye [n] [m] are the distances d0, d1, d2, d3 from the four- (D) of Equation (6) to Equation (8). Cy0, Cy1, Cy2 and Cy3 in the following numerical formulas 6 to 8 are cyan values in the pixels Cy0, Cy1, Cy2 and Cy3 shown in Fig. 7, and Mg0, Mg1, Mg2, , The values of magenta in the pixels of Mg1, Mg2 and Mg3, and Ye0, Ye1, Ye2 and Ye3 are the values of yellow in the pixels of Ye0, Ye1, Ye2 and Ye3 shown in Fig.

이와 같이 시안(Cy[n][m]), 마젠타(Mg[n][m]), 옐로우(Ye[n][m])를 산출하면, 계속해서 컬러 화소 생성부(116)는 상술한 64화소의 영역에서 구분된 영역내의 휘도 신호 Y[k][n][m]을 이용하여, 이 구분된 영역의 화소에서의 R[n][m], G[n][m], B[n][m]의 값을 구한다(S125). R, G, B는 Cy, Mg, Ye의 보색 관계이므로, 각 화소의 휘도 신호 Y(Y[n][m])에서 감산함으로써 해당 화소의 R, G, B의 값을 도출할 수 있다. R[n][m], G[n][m], B[n][m]은 하기의 수식 9 내지수식 11로 구할 수 있다. When the cyan (Cy [n] [m]), the magenta (Mg [n] [m]) and the yellow N] [m], G [n] [m], and B [n] [m] in the pixels of the divided region are calculated using the luminance signal Y [ [n] [m] is obtained (S125). Since R, G, and B are complementary colors of Cy, Mg, and Ye, the R, G, and B values of the pixel can be derived by subtracting the luminance signal Y (Y [n] [m]) of each pixel. R [n] [m], G [n] [m], and B [n] [m] can be obtained by the following expressions (9) to (11).

상기 S125에서 R[n][m], G[n][m], B[n][m]을 산출하면, 컬러 화소 생성부(116)는 계속해서 m의 값을 하나 증가시킨다(S126). m의 값을 하나 증가시키면, 컬러 화소 생성부(116)는 계속해서 m의 값이 8미만인지 여부를 판정한다( S127). m의 값이 8미만이면 상기 S124에 되돌아온다. 한편, m의 값이 8이상이면, 컬러 화소 생성부(116)는 계속해서 n의 값을 하나 증가시킨다(S128). n의 값을 하나 증가시키면, 컬러 화소 생성부(116)은 계속해서 n의 값이 8미만인지 여부를 판정한다(S129). n의 값이 8미만이면 상기 S123으로 되돌아와 m의 값을 리셋한다. 한편, n의 값이 8이상이면, 이는 하나의 마이크로 렌즈(104a)에 할당된 64화소의 전부에 대해 R, G, B값의 산출이 완료되었음을 의미하기 때문에, 컬러 화소 생성부(116)는 계속해서 k의 값을 하나 증가시킨다(S130). k의 값을 하나 증가시키면, 컬러 화소 생성부(116)는 계속해서 k의 값이 마이크로 렌즈 어레이(104)를 구성하는 마이크로 렌즈(104a)의 수 미만인지 여부를 판정한다(S131). k의 값이 마이크로 렌즈(104a)의 수 미만이면 상기 스텝 S122로 돌아와 n의 값을 리셋한다. 한편, k의 값이 마이크로 렌즈(104a)의 수 이상이면, 이는 모든 마이크로 렌즈(104a)에 대한 R, G, B값의 산출이 완료되었음을 의미하기 때문에 일련의 처리를 종료한다. When calculating S [n] [m], G [n] [m], and B [n] [m] in S125, the color pixel generating unit 116 continues to increment the value of m by one (S126) . When the value of m is increased by one, the color pixel generation unit 116 continues to determine whether the value of m is less than 8 (S127). If the value of m is less than 8, the process returns to step S124. On the other hand, if the value of m is 8 or more, the color pixel generation unit 116 continues to increment the value of n by one (S128). When the value of n is increased by one, the color pixel generation unit 116 continues to determine whether the value of n is less than 8 (S129). If the value of n is less than 8, the process returns to S123 and the value of m is reset. On the other hand, if the value of n is 8 or more, this means that the calculation of R, G, and B values has been completed for all 64 pixels allocated to one micro lens 104a, Subsequently, the value of k is incremented by one (S130). When the value of k is increased by one, the color pixel generation unit 116 continues to determine whether the value of k is less than the number of the microlenses 104a constituting the microlens array 104 (S131). If the value of k is less than the number of the microlenses 104a, the process returns to step S122 and the value of n is reset. On the other hand, if the value of k is equal to or greater than the number of the microlenses 104a, it means that the calculation of the R, G, and B values for all the microlenses 104a is completed.

또한, 상기 수식 6 내지 수식 8에서는 Cy[n][m], Mg[n][m], Ye[n][m]은 단순하게 네 귀퉁이에서의 거리에 따른 가중 평균에 의해 산출하였지만, 본 발명은 이러한 예에 한정되지 않는다. 도 6 및 도 7에 나타낸 예에서는, 시안, 마젠타, 옐로우의 정보를 취득하는 보색부는 원의 외측에 위치하고 있으므로, 마이크로 렌즈(104a)를 통과한 광이 이러한 보색부에 충분히 조사되지 않는 경우를 생각할 수 있다. 따라서, 보색부의 광량이 부족할 때는, 상기 수식 6 내지 수식 8에서는 평균화되어 있는 우변 부분을 실광량에 의거하여 변경해도 된다. 예를 들면, 하기의 수식 12 내지 수식 14에 나타낸 바와 같이 소정의 계수α를 이용하여 Cy[n][m], Mg[n][m], Ye[n][m]을 산출해도 된다. Although Cy [n] [m], Mg [n] [m], and Ye [n] [m] are simply calculated by weighted averaging according to the distances in the four corners in Equations 6 to 8, The invention is not limited to these examples. In the example shown in Figs. 6 and 7, since the complementary color portion for acquiring the information of cyan, magenta, and yellow is located outside the circle, it is considered that the light passing through the microlens 104a is not sufficiently irradiated to the complementary color portion . Therefore, when the light amount of the complementary color portion is insufficient, the right side portion that has been averaged in Expressions (6) to (8) may be changed based on the actual light amount. For example, Cy [n] [m], Mg [n] [m], and Ye [n] [m] may be calculated using a predetermined coefficient α as shown in the following equations 12 to 14.

또한, 이 수식 12 내지 14에서는 Cy[n][m], Mg[n][m], Ye[n][m]에 대해 전부 동일한 계수α를 사용하고 있는데, 본 발명이 이러한 예에 한정되지 않음은 물론이다. 시안, 마젠타, 옐로우에 각각 계수를 이용해도 되고, 시안, 마젠타, 옐로우 중 어느 2개는 다른 하나와 다른 계수를 사용해도 된다. In Equations 12 to 14, the same coefficient? Is used for Cy [n] [m], Mg [n] [m], and Ye [n] [m] Of course not. The coefficients may be used for cyan, magenta, and yellow, and two of cyan, magenta, and yellow may be different from each other.

또한 보색부의 광량 부족을 보충하기 위하여, 예를 들면 도 13에 나타낸 바와 같이, 마이크로 렌즈(104a)를 투과한 광이 조사되는 영역의 내측에 보색부가 위치 하도록 촬상 센서(106)를 구성해도 된다. 도 13에 나타낸 예에서는, 시안의 정보를 얻는 화소는 Cy0∼Cy3으로 나타낸 화소이고, 마젠타의 정보를 얻는 화소는 Mg0∼Mg3으로 나타낸 화소이며, 옐로우의 정보를 얻는 화소는 Ye0∼Ye3으로 나타낸 화소이다. 또한 도 13의 Y0~Y39의 화소로 이루어지는 영역에 마이크로 렌즈(104a)를 투과한 광이 조사됨으로써 얻어지는 휘도 신호로부터는, 화소Cy0∼Cy3, Mg0∼Mg3, Ye0∼Ye3에 마이크로 렌즈(104a)를 투과한 광이 조사됨으로써 얻어지는 시안, 마젠타, 옐로우의 정보를 참조함으로써 RGB 신호를 얻을 수 있다. In order to compensate for the insufficient amount of light in the complementary color portion, for example, as shown in Fig. 13, the image sensor 106 may be configured so that the complementary color portion is located inside the region irradiated with the light transmitted through the microlenses 104a. In the example shown in Fig. 13, pixels for obtaining cyan information are pixels represented by Cy0 to Cy3, pixels for obtaining magenta information are pixels represented by Mg0 to Mg3, pixels for obtaining yellow information are pixels represented by Ye0 to Ye3 to be. Further, from the luminance signal obtained by irradiating the light that has passed through the microlenses 104a to the area consisting of the pixels Y0 to Y39 in Fig. 13, microlenses 104a are provided for the pixels Cy0 to Ky3, Mg0 to Mg3, Ye0 to Ye3 The RGB signals can be obtained by referring to information of cyan, magenta, and yellow obtained by irradiating transmitted light.

또한 보색부의 광량 부족을 보충하기 위해 마이크로 렌즈 어레이(104)로 바꾸고, 예를 들면 도 14에 나타낸 바와 같은 직사각형의 마이크로 렌즈(104a'가 규칙적으로 배열된 마이크로 렌즈 어레이(104')를 이용해도 된다. 직사각형의 마이크로 렌즈(104a')를 이용함으로써 투과광의 조사 범위가 넓어져 보색부의 광량 부족을 보충할 수 있다. Further, in order to compensate for the insufficient amount of light in the complementary color portion, the microlens array 104 may be replaced with a microlens array 104 'in which rectangular microlenses 104a' are regularly arranged as shown in FIG. 14 . By using the rectangular microlenses 104a ', the irradiation range of the transmitted light is widened, so that the insufficient amount of light of the complementary color portion can be supplemented.

이상, 컬러 화소 생성부(116)에 의한 RGB 화상의 생성 처리에 대해 설명하였다. The RGB image generation processing by the color pixel generation unit 116 has been described above.

또한, 여기까지는 시안, 마젠타, 옐로우의 정보를 얻기 위한 보색 필터가 첨부된 촬상 센서(106)를 이용한 경우에 대해 설명하였지만, 본 발명은 이러한 예에 한정되지 않는다. 본 발명은 적, 녹, 청의 정보를 얻기 위한 원색 필터가 첨부된 촬상 센서를 적용해도 된다. 도 15 및 도 16은, 적, 녹, 청의 정보를 얻기 위한 원색 필터가 첨부된 촬상 센서의 구성예에 대해 나타내는 설명도이다. 도 15에 나타낸 예는 도 7에 나타낸 보색 필터가 첨부된 촬상 센서와 같은 구성을 갖는 경우이다. 화상의 재구성에 이용되는 화소는, 도 15에 나타낸 화소 중 Y0~Y51로 나타낸 것에 해당된다. 기타 영역의 화소에는 각각 원색 필터가 첨부되고, 적, 녹, 청의 정보를 얻도록 구성되어 있다. 도 15에서의 각 화소의 R[n][m], G[n][m], B[n][m]의 값은 각각 하기의 수식 15 내지 수식 20으로 산출할 수 있다. 또한, 네 귀퉁이의 화소로부터 산출 대상 화소까지의 거리 d0, d1, d2, d3 및 d0, d1, d2, d3의 합(d)의 산출식은 상기 수식 1 내지 수식 5와 동일한 것을 이용한다. In the above description, the case where the image sensor 106 is attached with a complementary color filter for obtaining information of cyan, magenta, and yellow has been described, but the present invention is not limited to this example. The present invention may be applied to an image sensor having a primary color filter for obtaining information of red, green and blue. 15 and 16 are explanatory diagrams showing an example of the configuration of an image sensor attached with a primary color filter for obtaining information of red, green, and blue. The example shown in Fig. 15 has the same configuration as that of the image sensor attached with the complementary color filter shown in Fig. Pixels used for image reconstruction correspond to those indicated by Y0 to Y51 in the pixels shown in Fig. The pixels of the other regions are each provided with a primary color filter to obtain information of red, green, and blue. The values of R [n] [m], G [n] [m], and B [n] [m] of each pixel in FIG. 15 can be calculated by the following Expressions 15 to 20, respectively. The calculation expressions of the distances d0, d1, d2, d3 and the sum (d) of d0, d1, d2 and d3 from the pixels at the four corners to the calculation target pixel are the same as those in the expressions (1) to (5).

한편, 도 16은, 도 13에 나타낸 마이크로 렌즈(104a)를 투과한 광이 조사되는 영역의 내측에 보색부가 위치하도록 구성된 촬상 센서(106)과 같은 구성을 갖는 것이다. 도 16에 나타낸 바와 같이, 마이크로 렌즈(104a)를 투과한 광이 조사되는 영역의 내측에 적, 녹, 청의 정보를 취득하는 원색부가 위치하도록 촬상 센서(106)를 구성해도 된다. On the other hand, Fig. 16 has the same configuration as that of the image sensor 106 configured to locate the complementary color portion inside the region irradiated with the light transmitted through the microlens 104a shown in Fig. As shown in Fig. 16, the image sensor 106 may be configured so that a primary color portion for acquiring red, green, and blue information is located inside the region irradiated with the light transmitted through the microlenses 104a.

이상 설명한 바와 같이 본 발명의 일 실시 예에 의하면, 마이크로 렌즈 어레이(104)의 투과광으로부터 컬러 화상 신호를 생성하는 경우에 있어서, 하나의 마이크로 렌즈(104a)에 대해 촬상 센서(106)의 복수의 화소가 할당된 영역을 설치한다. 해당 영역은, 마이크로 렌즈(104a)의 광축을 중심으로 한 영역은 휘도 신호를 얻고, 해당 영역의 주변 영역은 보색 신호 또는 원색 신호를 각각 얻는 구성으로 한다. 그리고, 컬러 화상 신호를 생성할 때는 해당 영역의 네 귀퉁이의 화소로부터의 거리에 따른 가중 평균에 의해 영역내의 각 화소의 보색 데이터 또는 원색 데이터를 산출하고, 산출된 각 화소의 보색 데이터 또는 원색 데이터, 및 해당 화소의 휘도 데이터를 사용하여 각 화소의 색정보를 산출한다. As described above, according to the embodiment of the present invention, in the case of generating a color image signal from the transmitted light of the microlens array 104, a plurality of pixels (not shown) of the image sensor 106 Lt; / RTI > The region has a configuration in which a luminance signal is obtained in a region centered on the optical axis of the microlens 104a and a complementary color signal or a primary color signal is obtained in a peripheral region of the region. When a color image signal is generated, complementary color data or primary color data of each pixel in the region is calculated by a weighted average according to the distance from the pixels at four corners of the region, and the complementary color data or primary color data, And the color information of each pixel using the luminance data of the pixel.

그 결과, 본 발명의 일 실시 예에 의하면, 주변의 화소를 이용하여 휘도 보간 처리를 하지 않으므로, 해상도의 저하나 주변부에 부자연스러운 에러 패턴이 발생하지 않고, 넓은 범위로부터 가중 평균화 처리값을 참조하기 때문에, 종래의 디지털 스틸 카메라에 이용되고 있는 베이어 보간을 이용한 경우에 비해, 위상 변이에 의한 색상 잡음(false color)의 발생을 저감시킬 수 있다. As a result, according to the embodiment of the present invention, since the luminance interpolation process is not performed using surrounding pixels, an unnatural error pattern does not occur in the low resolution or the peripheral portion, and the weighted averaging process value is referred to Therefore, it is possible to reduce the occurrence of false color due to the phase shift, as compared with the case of using the Bayer interpolation used in the conventional digital still camera.

이상, 첨부 도면을 참조하면서 본 발명의 바람직한 실시 예에 대해 상세히 설명하였지만, 본 발명은 이러한 예에 한정되지 않는다. 본 발명이 속하는 기술 분야에서의 통상의 지식을 갖는 자라면, 특허 청구의 범위에 기재된 기술적 사상의 범위 내에서 각종 변경예 또는 수정예를 생각해 낼 수 있음은 명백하고, 이에 대해서도, 당연히 본 발명의 기술적 범위에 속하는 것으로 이해된다. Although the preferred embodiments of the present invention have been described in detail with reference to the accompanying drawings, the present invention is not limited to these examples. It will be understood by those skilled in the art that various changes and modifications may be made without departing from the spirit and scope of the invention as defined in the appended claims. Are understood to fall within the technical scope.

예를 들면, 상기 실시 예에서 촬상 센서(106)는 마이크로 렌즈(104a)의 광축을 중심으로 한 영역은 휘도 신호를 얻고, 해당 영역의 주변 영역은 보색 신호 또는 원색 신호를 각각 얻는 구성으로 하였지만, 본 발명은 이러한 예에 한정되지 않는다. 촬상 센서는 상기 실시 예와는 반대로, 예를 들면 마이크로 렌즈(104a)의 광축을 중심으로 한 영역은 보색 신호 또는 원색 신호를 얻고, 해당 영역의 주변 영역은 휘도 신호를 각각 얻는 구성으로 해도 된다. For example, in the above-described embodiment, the imaging sensor 106 is configured so as to obtain the luminance signal in the area centered on the optical axis of the microlens 104a, and to obtain the complementary color signal or the primary color signal in the peripheral area of the area, The present invention is not limited to this example. The image pickup sensor may be configured to obtain a complementary color signal or a primary color signal in an area centered on the optical axis of the microlens 104a and to obtain a luminance signal in the peripheral area of the area, as opposed to the above embodiment.

또한 예를 들면, 상기 실시 예에서 마이크로 렌즈 어레이(104)는 마이크로 렌즈(104a)가 격자 모양으로 배열된 구성을 가지고 있지만, 본 발명은 이러한 예에 한정되지 않는다. 마이크로 렌즈 어레이를 구성하는 마이크로 렌즈는 격자 모양 이외에, 예를 들면 허니콤상으로 배열되어도 된다. 도 17은 마이크로 렌즈(104a")가 허니콤상으로 규칙적으로 배열된 마이크로 렌즈 어레이(104")에 대해 나타내는 설명도이다. 또한, 도 17에서는 허니콤 구조를 갖는 마이크로 렌즈 어레이(104")를 구성하는 하나의 마이크로 렌즈(104a")의 형상은 원형이지만, 본 발명에서 허니콤 구조를 갖는 마이크로 렌즈 어레이를 구성하는 하나의 마이크로 렌즈의 형상은 이러한 예에 한정되지 않는다. For example, in the above embodiment, the microlens array 104 has a structure in which the microlenses 104a are arranged in a lattice pattern, but the present invention is not limited to this example. The microlenses constituting the microlens array may be arranged in, for example, a honeycomb shape in addition to the lattice shape. Fig. 17 is an explanatory view showing a microlens array 104 "in which microlenses 104a" are regularly arranged in a honeycomb shape. In Fig. 17, the shape of one microlens 104a " constituting the microlens array 104 "having a honeycomb structure is circular. However, in the present invention, one microlens array 104" The shape of the microlenses is not limited to this example.

이제까지 본 발명에 대하여 바람직한 실시 예를 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명을 구현할 수 있음을 이해할 것이다. 그러므로 상기 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 한다.The present invention has been described above with reference to preferred embodiments. It will be understood by those skilled in the art that the present invention may be embodied in various other forms without departing from the spirit or essential characteristics thereof. Therefore, the above-described embodiments should be considered in an illustrative rather than a restrictive sense. The scope of the present invention is indicated by the appended claims rather than by the foregoing description, and all differences within the scope of equivalents thereof should be construed as being included in the present invention.

100 촬상 장치
102 주렌즈
104, 104', 104" 마이크로 렌즈 어레이
104a, 104a' 104a" 마이크로 렌즈
106 촬상 센서
108 CPU
110 메모리
112 아날로그 프론트 엔드부 및 A/D 변환부
114 화상 입력부
116 컬러 화소 생성부
118 화상 재구성부
120 디지털 백 엔드부
122 화상 압축부
124 메모리 카드 드라이버
126 표시 화상 생성부
128 표시 드라이버
130 타이밍 발생부
132 모터 드라이버
134 초점 렌즈 모터100 imaging device
102 main lens
104, 104 ', 104 "microlens array
104a, 104a ' 104a "
106 Image sensor
108 CPU
110 memory
112 analog front end unit and A / D conversion unit
114 image input section
116 color pixel generation unit
118 Image reconstruction unit
120 digital back end unit
122 image compression section
124 Memory card driver
126 display image generation section
128 display driver
130 timing generator
132 motor driver
134 Focus Lens Motor

Claims

A lens array in which a plurality of lenses provided on a single plane are regularly arranged,
And a photoelectric conversion section having a plurality of photoelectric conversion regions formed of a plurality of pixels provided on a single plane in correspondence with an irradiation range of transmitted light from each lens of the lens array,
Wherein each of the plurality of photoelectric conversion regions comprises:
Wherein the first and second regions have spectral sensitivity characteristics different from each other in a first region provided around the optical axis of the lens and a second region provided in the periphery of the first region.

The method according to claim 1,
Wherein the first region has a spectral sensitivity characteristic corresponding to a luminance signal,
Wherein the second region has a spectral sensitivity characteristic corresponding to a color signal.

3. The method according to claim 1 or 2,
Wherein each of the plurality of photoelectric conversion regions comprises:
And the arrangement patterns of the spectral characteristics of the pixels are all the same.

3. The method according to claim 1 or 2,
Wherein the second region comprises:
And is included in an irradiation range of transmitted light from each lens of the lens array.