Nothing Special   »   [go: up one dir, main page]

WO2012017600A1 - 撮像素子および撮像装置 - Google Patents

撮像素子および撮像装置 Download PDF

Info

Publication number
WO2012017600A1
WO2012017600A1 PCT/JP2011/003933 JP2011003933W WO2012017600A1 WO 2012017600 A1 WO2012017600 A1 WO 2012017600A1 JP 2011003933 W JP2011003933 W JP 2011003933W WO 2012017600 A1 WO2012017600 A1 WO 2012017600A1
Authority
WO
WIPO (PCT)
Prior art keywords
polarizer
array
imaging
photosensitive cell
polarizer array
Prior art date
Application number
PCT/JP2011/003933
Other languages
English (en)
French (fr)
Inventor
シング ビラハム パル
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to JP2011551359A priority Critical patent/JP4932978B2/ja
Publication of WO2012017600A1 publication Critical patent/WO2012017600A1/ja
Priority to US13/415,941 priority patent/US20120169910A1/en

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00Optical devices or arrangements for the control of light using movable or deformable optical elements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/28Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for polarising
    • G02B27/286Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for polarising for controlling or changing the state of polarisation, e.g. transforming one polarisation state into another
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/48Increasing resolution by shifting the sensor relative to the scene

Definitions

  • the present invention relates to an imaging device that can acquire polarization information and an imaging device including the imaging device.
  • Patent Document 1 discloses an image sensor in which fine polarizers are arranged at a pitch of about 100 ⁇ m, for example.
  • Patent Document 2 discloses an imaging apparatus having a mechanism for rotating a polarizing plate.
  • Patent Document 3 discloses an endoscope that acquires a polarization image by alternately using two polarizing plates having a polarization transmission axis orthogonal to each other.
  • Patent Document 2 there is a problem of pixel misalignment due to the rotating polarizing plate, and the resolution and SN ratio decrease. Moreover, it is difficult to reduce the size of an apparatus for rotating the polarizing plate.
  • the present invention has been made in order to solve the above-described problems, and has as its main purpose an imaging that does not require a device for rotating or greatly moving a polarizing plate and can acquire polarization information from each pixel. It is to provide an element.
  • Another object of the present invention is to provide an imaging device such as a camera that includes the imaging device described above and can output polarization information.
  • the imaging device of the present invention includes a photosensitive cell array in which a plurality of photosensitive cells are arranged along the imaging surface, and a plurality of N (N is an integer of 2 or more) polarizers each having a different polarization transmission axis direction.
  • N is an integer of 2 or more
  • the shift device when imaging is performed, shifts the polarizer array by a distance not exceeding the size of the unit structure.
  • the shift device shifts the polarizer array in units of pixels in synchronization with a timing at which an accumulated charge signal is read from the entire photosensitive cell array, and polarization of light incident on each photosensitive cell. Change direction.
  • the light passing through one of the N polarizers is incident on each of the plurality of photosensitive cells, and the polarizer array is shifted pixel by pixel, Performing light incident on the other one of the N polarizers.
  • the actuator includes a first actuator portion that shifts the polarizer array in a first direction in units of pixels, and the polarizer array in a second direction that is perpendicular to the first direction in units of pixels.
  • a second actuator portion to be shifted, and the polarizer array is moved periodically and two-dimensionally along the imaging surface.
  • N is 3 or greater.
  • the shift device moves the polarizer array periodically and linearly along the imaging surface.
  • the arrangement pitch of the polarizers in the polarizer array coincides with the arrangement pitch of the photosensitive cells in the photosensitive cell array.
  • each of the plurality of unit structures in the polarizer array includes four polarizers having different polarization transmission axis directions by 45 °.
  • each of the plurality of unit structures in the polarizer array includes three polarizers having different polarization transmission axis directions by 60 °.
  • An imaging apparatus includes a photosensitive cell array in which a plurality of photosensitive cells are arranged along an imaging surface, and a plurality of N (N is an integer of 2 or more) polarizers each having a different polarization transmission axis direction. Are arranged two-dimensionally, and a polarizer array configured so that light transmitted through one polarizer is incident on each photosensitive cell, and the position of the polarizer array with respect to the photosensitive cell array
  • An image pickup device including a shift device that shifts in a direction parallel to the image pickup surface, a drive circuit that drives the shift device, and a photographing lens for forming an image on the image pickup device.
  • the shift device shifts the polarizer array on a pixel-by-pixel basis in synchronization with a timing at which an accumulated charge signal is read from the entire photosensitive cell array, whereby light incident on each photosensitive cell.
  • the polarization direction of the light is changed, and the brightness value of the light having a different polarization direction incident on each light-sensitive cell is obtained.
  • the shift device that shifts the polarizer array in the direction parallel to the imaging surface by the distance of the pixel arrangement pitch is provided, a large device for rotating or changing the polarizing plate is not necessary. It is.
  • light having a different polarization main axis can be incident on each pixel, it is possible to obtain a polarized image with high resolution.
  • FIG. 1 is a figure which shows schematic structure of the imaging part in 1st Embodiment of the imaging device by this invention.
  • A is a figure which shows typically the plane structure of the polarizer array 14 in 1st Embodiment
  • (b) is a figure which shows the structure of the photosensitive cell array 12 typically. It is a figure which shows the arrangement
  • FIG. It is a figure which shows the arrangement
  • FIG. It is a figure which shows the photosensitive cell array 12 provided with the photosensitive cell smaller than the polarizer of the polarizer array 14.
  • FIG. It is a figure which shows having assigned code
  • FIG. 10 is a graph showing an example of voltage waveforms applied to the piezoelectric transducer 160a, the piezoelectric transducer 160b, the piezoelectric transducer 160c, and the piezoelectric transducer 160d when the series of shift operations shown in FIG. 9 are executed.
  • These are top views which show the movable polarizer unit 1000 with which the shift apparatus 16 and the polarizer array 14 were integrated.
  • (A), (b), (c) is a top view of the base 1002, the polarizer array 14, and the linear actuator 1004a, respectively
  • (d) is a diagram showing the X-direction moving stage 1010,
  • (e ) Is a sectional view taken along line EE ′ of the X-direction moving stage 1010 shown in FIG.
  • FIG. 10 It is a figure which shows the X direction movement stage 1010, the base 1001, and the linear actuator 1004a. It is a top view which shows the other structural example of the movable polarizer unit 1000 with which the shift apparatus 16 and the polarizer array 14 were integrated. It is a block diagram which shows schematic structure of the imaging device in this embodiment. It is a block diagram which shows an example of the main components of the signal processing part 200 in this embodiment.
  • a graph showing light intensities (pixel values or luminances) I 1 to I 4 transmitted through four types of polarizers having polarization transmission axes ( ⁇ i 0 °, 45 °, 90 °, 135 °) having different directions. is there.
  • FIG. 19 It is a graph which shows the amplitude, phase, and average value of the fluctuation curve of polarization luminance. It is a top view which shows the structure of the polarizer array in 2nd Embodiment by this invention.
  • (A) is a figure which shows a part of polarizer array of FIG. 19,
  • (b) is a figure which shows the other example of the arrangement pattern of a polarizer. It is a figure which shows typically the plane structure of the polarizer array 14 in the 2nd Embodiment of this invention.
  • (A) And (b) is a figure which shows the shift of the 1 pixel unit of the polarization array 14 by which four types of polarizer 14A, 14B, 14C, 14D was arranged in each row.
  • (A) And (b) is a figure which shows the shift of the 1 pixel unit of the polarization array 14 by which four types of polarizer 14A, 14B, 14C, 14D was arranged in each row.
  • 24 is a graph showing an example of a change in voltage applied to the actuator when the series of operations shown in FIGS. 22 and 23 is executed. It is a figure which shows the example which shifts within an XY plane using the polarizer array 14 in which three types of polarizers 14A, 14B, and 14C are arranged.
  • FIG. 27 is a graph showing a waveform example of a voltage applied to an actuator when performing the operation of FIG. 26.
  • FIG. It is a figure which shows an example of the circuit structure of the photosensitive cell array 12 shown by FIG.2 (b). 3 is a diagram schematically showing a charge accumulation period in the photosensitive cell array 12.
  • FIG. 1 is a diagram showing a schematic configuration of an imaging unit in the first embodiment of the imaging apparatus according to the present invention.
  • the imaging unit 100 includes an imaging element (image sensor) 10 and a photographing lens 20 for forming an image on the imaging surface of the imaging element 10.
  • the imaging element 10 includes a photosensitive cell array 12 in which a plurality of photosensitive cells (photoelectric conversion elements) are arranged along the imaging surface, a polarizer array (polarization mosaic array plate) 14, and a polarizer array for the photosensitive cell array 12. And a shift device 16 for shifting the position 14 in a direction parallel to the imaging surface.
  • the photosensitive cell array 12 may be referred to as a pixel array 12.
  • the polarizer array 14 includes a plurality of unit structures each including N polarizers (N is an integer of 2 or more) each having a different polarization transmission axis direction. The light transmitted through the child is configured to enter the corresponding photosensitive cell.
  • the photographic lens 20 is schematically described as a single lens in FIG. 1, but is usually an optical system in which a plurality of lenses are combined, and has a known configuration.
  • the imaging unit 100 includes an actuator drive circuit 40 that drives an actuator included in the shift device 16.
  • the actuator drive circuit 40 may be incorporated in the image sensor 10 or may be mounted as another component.
  • FIG. 2A schematically shows a planar configuration of the polarizer array 14, and FIG. 2B schematically shows a configuration of the photosensitive cell array 12.
  • the polarizer array 14 of FIG. 2A four unit structures each including four polarizers 14A, 14B, 14C, and 14D having different polarization transmission axis directions are two-dimensionally arranged. In the actual polarizer array 14, a larger number of unit structures are arranged, but in FIG. 2A, four unit structures are shown for simplicity.
  • On the polarizers 14A, 14B, 14C, and 14D in FIG. 2A four types of arrows having different directions are described. This arrow indicates the direction (main axis direction) of the polarization transmission axis of the polarizer.
  • the light transmitted through the polarizer is linearly polarized light that is polarized in the direction of the polarization transmission axis of the polarizer.
  • 3 rows ⁇ 3 columns 9 photosensitive cells 12a, 12b,..., 12i are shown for simplicity, but in an actual photosensitive cell array 12, for example, 1 million More than the number of photosensitive cells are arranged.
  • the arrangement pitch of the photosensitive cells in the photosensitive cell array 12 matches the arrangement pitch of the polarizers in the polarizer array 14. These arrangement pitches are sometimes referred to as “pixel pitches”.
  • the actual photosensitive cell array 12 is arranged at a position to receive the light transmitted through each polarizer of the polarizer array 14 as described above.
  • the photosensitive cell array 12 includes photosensitive cells arranged in rows and columns.
  • FIG. 28 is a diagram showing an example of the circuit configuration of the photosensitive cell array 12 shown in FIG. FIG. 28 shows 3 ⁇ 3 photosensitive cells 12a to 12i, control signal lines 122 and 124, output signal lines 132 and the like connected to these photosensitive cells 12a to 12i.
  • the actual photosensitive cell array 12 includes a number of photosensitive cells not shown.
  • a vertical scanning circuit 120 and a horizontal scanning circuit 130 are provided outside the region where the photosensitive cells 12a to 12i are arranged.
  • a first control signal line 122 and a second control signal line 124 are connected to the vertical scanning circuit 120. From the vertical scanning circuit 120, a control signal 1000a that defines the timing for starting charge accumulation is output to the first control signal line 122, and a control signal 1000b that defines the timing for reading the accumulated charge signal is output to the second control signal line 124. Is done.
  • the control signal 1000a output from the vertical scanning circuit 120 to the first control signal line 122 is given to reset elements (not shown) of the respective photosensitive cells 12a to 12i.
  • the control signal 1000a is supplied to the reset element, the charge accumulated in the photosensitive cell associated with the reset element is cleared, and the charge accumulation state of the photosensitive cell is reset.
  • the charge accumulation period is started by the reset.
  • control signal 1000b output from the vertical scanning circuit 120 to the control signal line 124 is applied to the gate of the readout transistor of each of the photosensitive cells 12a to 12i, and controls conduction / non-conduction of this transistor.
  • the control signal 1000b is applied to the gate of the transistor, the transistor is turned on, and an electrical signal corresponding to the amount of charge accumulated in the photosensitive cells 12a to 12i is applied to the output signal line 132.
  • the electric signal on the output signal line 132 is sequentially read out for each pixel by the control signal 1000c from the horizontal scanning circuit 130.
  • the photosensitive cells belonging to a specific row for example, the photosensitive cells 12a, 12b, and 12c belonging to the first row in FIG. 28 is read
  • the photosensitive cells belonging to the next row for example, .
  • control signal 1000a is given to the photosensitive cells belonging to the same row substantially simultaneously, and the resetting of the photosensitive cells is executed.
  • the control signal 1000b is given to the photosensitive cells belonging to the row almost simultaneously.
  • an accumulated charge signal is applied to the signal line 132 from the photosensitive cell belonging to the row.
  • the accumulated charge signals from the photosensitive cells belonging to this row are sequentially read out by the control signal 1000c.
  • the readout operation described above is sequentially performed, so that an accumulated charge signal can be obtained from all the photosensitive cells in the photosensitive cell array 12.
  • the period from the application of the control signal (reset signal) 1000a to the application of the control signal (read signal) 1000b may be made equal in each row.
  • FIG. 29 is a diagram schematically showing the charge accumulation period for representative rows from the first row to the last row of the photosensitive cell array 12.
  • a period from the application of the control signal 1000a to the application of the control signal 1000b corresponds to a charge accumulation period. Since the application timing of the control signal 1000b is different for each row, the signal read from the photosensitive cell of each row is not batting on the output signal line.
  • 29 shows the entire charge accumulation period of the photosensitive cell array 12 in which the charge accumulation periods of all the rows are overlapped.
  • two-dimensional movement of the polarizer array 14 is executed in synchronization with the timing at which the accumulated charge signal is read from the entire photosensitive cell array 12. That is, typically, after the accumulated charge signal is read from the entire photosensitive cell array 12 and before the next charge accumulation period starts in the photosensitive cell array 12, the two-dimensional structure of the polarizer array 14 is obtained. Movement is performed. Strictly speaking, in any photosensitive cell, it is sufficient that the polarizer array 14 does not move during the charge accumulation period, and the polarizer array 14 is not charged in the photosensitive cell array 12. Just move.
  • the polarizer array 14 is shifted by the shift device 16 in a direction parallel to the plane of FIG. 2, that is, a direction parallel to a plane formed by the X-axis direction and the Y-axis direction of the XY coordinates.
  • the shift device 16 positions the polarizer array 14 so that light transmitted through each polarizer of the polarizer array 14 enters the corresponding photosensitive cell.
  • the shift device 16 is located only on the right side of the polarizer array 14, but the actual shift device 16 is not limited to this example. The configuration and operation of the shift device 16 will be described in detail later.
  • FIG. 3A shows an arrangement relationship between one unit structure included in the polarizer array 14 at the initial position and the photosensitive cell array 12.
  • the light transmitted through the four polarizers 14A, 14B, 14C, and 14D is incident on the photosensitive cells 12e, 12f, 12i, and 12h, respectively.
  • light having different polarization directions is simultaneously incident on the photosensitive cells 12e, 12f, 12i, and 12h.
  • the polarizer array 14 While the polarizer array 14 is in the initial position, in the photosensitive cells 12e, 12f, 12i, and 12h, charges corresponding to the amount of incident light are generated and accumulated by photoelectric conversion.
  • the charges accumulated in each of the photosensitive cells 12e, 12f, 12i, and 12h are read out as pixel signals (accumulated charge signals). This signal indicates the luminance value of light polarized in a specific direction.
  • the charge accumulation period is defined by the reciprocal of the signal reading frame rate (fps: frame per second).
  • FIG. 3B shows an arrangement relationship between one unit structure included in the polarizer array 14 at the next position and the photosensitive cell array 12.
  • the light transmitted through the four polarizers 14A, 14B, 14C, and 14D is incident on the photosensitive cells 12d, 12e, 12h, and 12g, respectively.
  • the polarizer array 14 in FIG. 3B has moved in the negative direction of the X axis by one pixel from the initial position (FIG. 3A) by the action of the shift device 16 shown in FIG.
  • the shift of the polarizer array 14 (translation of one pixel) is performed in synchronization with the timing at which the pixel signal (accumulated charge signal) is read from the entire photosensitive cell array 12, the light incident on each photosensitive cell.
  • the polarization direction does not change during the charge accumulation period. As a result, it is possible to obtain polarization information of light incident on the photosensitive cell based on the read pixel signal. Acquisition of polarization information in pixel units will be described in detail later.
  • FIG. 3C shows an arrangement relationship between one unit structure included in the polarizer array 14 in the next position and the photosensitive cell array 12.
  • the light transmitted through the four polarizers 14A, 14B, 14C, and 14D is incident on the photosensitive cells 12a, 12b, 12e, and 12d, respectively.
  • the polarizer array 14 in FIG. 3C has moved in the positive direction of the Y axis by one pixel from the position in FIG. 3B by the action of the shift device 16 shown in FIG.
  • FIG. 3D shows an arrangement relationship between one unit structure included in the polarizer array 14 at the next position and the photosensitive cell array 12.
  • the light transmitted through the four polarizers 14A, 14B, 14C, and 14D is incident on the photosensitive cells 12b, 12c, 12f, and 12e, respectively.
  • the polarizer array 14 in FIG. 3D has moved by one pixel from the position in FIG. 3C by the action of the shift device 16 shown in FIG.
  • FIG. 3E shows an arrangement relationship between one unit structure included in the polarizer array 14 at the next position and the photosensitive cell array 12. This position is the same as the arrangement shown in FIG. 3A, and the operation described with reference to FIG. 3A is repeated.
  • the polarizer array 14 returns from the position of FIG. 3A to the position of FIG. 3E (position of FIG. 3A) through the position of FIG. 3B, the position of FIG. 3C, and the position of FIG. .
  • this periodic operation is repeated, light transmitted through four polarizers having different polarization transmission axes is sequentially incident on each photosensitive cell during one period. Since pixel signals are read out in synchronization with the two-dimensional movement of the polarizer array 14, polarization information can be acquired.
  • planar shapes of the polarizer and the photosensitive cell shown in FIGS. 3A to 3E are both circular.
  • the planar shape of the polarizer and the photosensitive cell (light receiving region) is not limited to a circle.
  • the planar shape and size of the polarizer and the photosensitive cell are such that light transmitted through the polarizer efficiently enters each photosensitive cell, and light that does not transmit through the corresponding polarizer does not enter each photosensitive cell. Designed as such.
  • the size of the photosensitive cell is shown smaller than the size of the polarizer.
  • the size of the photosensitive cell is preferably designed to be smaller than the size of the polarizer.
  • the planar shape of the photosensitive cell is not necessarily circular, and may be an ellipse or a polygon.
  • the planar shape of the polarizer is not necessarily circular, and may be an ellipse or a polygon.
  • the planar shape of each polarizer may be a square or an octagon.
  • the planar shape of the polarizer has a symmetric shape with a rotation of (360 / N) degrees around the central axis.
  • the photosensitive cell may be covered with a microlens.
  • the photosensitive cell array 14 may be realized by a backside illuminated image sensor.
  • the photosensitive cell array 14 is realized by a normal surface irradiation type image sensor, there is a wiring (not shown) between the photosensitive cells shown in FIG.
  • symbols “A”, “B”, “C”, and “D” are assigned to each polarizer according to the direction of the polarization transmission axis of the polarizer. Using such a symbol, the polarizer array 14 shown on the left in FIG. 6 is simply illustrated as shown on the right.
  • FIG. 7 shows a large number of polarizers included in one polarizer array 14.
  • the number of polarizers included in the actual polarizer array 14 is much greater than the number of polarizers shown.
  • a thick rectangle represents the photosensitive cell array 12
  • a broken rectangle represents the polarizer array 14.
  • the polarizer array 14 With respect to the photosensitive cell array 12, the polarizer array 14 periodically moves between four different positions. Individual photosensitive cells are covered by the polarizer wherever the polarizer array 14 is located.
  • the size of the polarizer array 14 is wider than the imaging area, and the number of polarizers included in the polarizer array 14 is larger than the number of photosensitive cells included in the photosensitive cell array 12.
  • the size of the polarizer array 14 does not necessarily need to be set larger than the size of the imaging area. If the size of the polarizer array 14 is equal to or smaller than the size of the imaging area, there will be photosensitive cells not covered by the polarizer array 14. Polarization information cannot be obtained from such photosensitive cells. However, there are cases where polarization information is not required from the entire area of the subject. In such a case, a part of the photosensitive cell array 12 may be covered with a relatively small polarizer array 14. Accordingly, it may be acceptable that the size of the polarizer array 14 is smaller than the size of the photosensitive cell array 12.
  • FIG. 8 shows an example of the image sensor 10 in which such a structure is integrated with the silicon substrate of the photosensitive cell array 12.
  • 8A is a top view thereof
  • FIG. 8B is a cross-sectional view taken along the line B-B ′ of the image sensor 10 shown in FIG.
  • the 8 includes piezoelectric conversion elements 160a and 160c that push the polarizer array 14 in the Y-axis direction, and piezoelectric conversion elements 160b and 160d that push the polarizer array 14 in the X-axis direction.
  • the pair of piezoelectric transducers 160a and 160c pushed out in the Y-axis direction can move the polarizer array 14 in units of one pixel in both the positive and negative directions of the Y-axis.
  • the polarizer array 14 can be moved in units of one pixel in both the positive and negative directions of the X axis by the pair of piezoelectric conversion elements 160b and 160d that push the polarizer array 14 in the X axis direction.
  • Piezoelectric transducers 160a, 160b, 160c, and 160d may be formed of a piezoelectric material such as lead zirconate titanate (PZT).
  • PZT lead zirconate titanate
  • the position of the polarizer array 14 can be periodically changed in the XY plane.
  • the piezoelectric conversion elements 160a, 160b, 160c, and 160d form the shift device 16 as a whole.
  • FIG. 9 (a) When voltages are applied to the piezoelectric transducers 160a, 160b, 160c, and 160d as shown in the timing chart of FIG. 10, the order of FIG. 9 (a) ⁇ FIG. 9 (b) ⁇ FIG. 9 (c) ⁇ FIG. As shown, the position of the polarizer 14 can be controlled for each pixel in the X-axis and Y-axis directions.
  • the axial size of the piezoelectric body to be used and the applied voltage may be adjusted.
  • the axial size of PZT may be set to about 5 mm, for example.
  • the size of the negative sound diode therein can be set to a diameter of about 5 ⁇ m, for example.
  • the size of the corresponding polarizer is preferably set larger than that of the photodiode.
  • the arrangement pitch of the polarizers is set equal to the arrangement pitch of the pixels in the photosensitive cell array regardless of the size of each polarizer.
  • FIG. 10 is a graph showing an example of voltage waveforms applied to the piezoelectric conversion element 160a, the piezoelectric conversion element 160b, the piezoelectric conversion element 160c, and the piezoelectric conversion element 160d when the series of operations described above are executed.
  • FIG. 10 also schematically shows the entire charge accumulation period in the photosensitive cell array 12 described with reference to FIG. The two-dimensional movement of the polarizer array 14 by the piezoelectric conversion elements 160a to 160d is performed within a period other than the charge accumulation period.
  • the voltages applied to the piezoelectric transducer 160b and the piezoelectric transducer 160c are both 0V, but the voltages applied to the piezoelectric transducer 160a and the piezoelectric transducer 160d are both For example, it is several hundred V (time T0).
  • time T1 When shifting by one pixel in the X-axis direction (time T1), the voltage applied to the piezoelectric transducer 160c and the piezoelectric transducer 160d is 0V, and a high voltage (eg, 100V) is applied to the piezoelectric transducer 160a and the piezoelectric transducer 160b. Is applied.
  • time T2 the voltage applied to the piezoelectric transducer 160a and the piezoelectric transducer 160d is 0V, and a high voltage (for example, 100V) is also applied to the piezoelectric transducer 160b and the piezoelectric transducer 160c.
  • a high voltage for example, 100V
  • the voltage applied to the piezoelectric conversion element 160a and the piezoelectric conversion element 160b is 0V, and the voltage applied to the piezoelectric conversion element 160c and the piezoelectric conversion element 160d changes to several hundred V (time T3).
  • time T4 the voltage applied to the piezoelectric transducers 160a, 160b, 160c, and 160d is returned to the same level as at the time T0, thereby returning to the initial state after one cycle.
  • the piezoelectric conversion element generally has hysteresis, there is a case where it does not return to the original state even when the applied voltage is returned to zero volts when it is stretched. Therefore, in order to accurately return to the original position, it is necessary to apply a voltage having a magnitude that is corrected in consideration of hysteresis.
  • FIG. 11 is a top view showing the movable polarizer unit 1000 in which the shift device 16 and the polarizer array 14 are integrated.
  • the movable polarizer unit 1000 includes a base 1002 provided with a linear actuator 1004a that moves the polarizer array 14 in the X-axis direction, and a base 1001 provided with a linear actuator 1004b that moves the base 1002 in the Y-axis direction. It has.
  • the linear actuator 1004a is connected to the high voltage source 1006a via the switch 1005a.
  • the linear actuator 1004b is connected to the high voltage source 1006b via the switch 1005b.
  • FIGS. 12 (a), 12 (b), and 12 (c) are top views of the base 1002, the polarizer array 14, and the linear actuator 1004a, respectively.
  • the base 1002 has a recess 1002a and an opening 1002b.
  • the base 1002 is preferably obtained by processing a silicon substrate.
  • the recess 1002a has a shape and size that accommodates the polarizer array 14 and is movable in the X direction.
  • the opening 1002b has a size of about 25 mm ⁇ about 25 mm, for example.
  • FIG. 12E is a cross-sectional view taken along line E-E ′ of the X-direction moving stage 1010 shown in FIG.
  • the individual polarizers of the polarizer array 14 can be formed using, for example, a photonic crystal or a nanowire grid.
  • the shift device 16 is realized by combining the X-direction moving stage 1010 with the base 1001 and the linear actuator 1004a shown in FIG.
  • the base 1001 has a recess 1001a and an opening 1001b.
  • the recess 1001a has a shape and size that accommodates the X-direction moving stage 1010 and is movable in the Y direction.
  • the base 1001 is also preferably obtained by processing a silicon substrate.
  • the opening 1001b of the base 1001 and the opening 1002b of the base 1002 are for allowing light transmitted through the polarizer array 14 to enter the photosensitive cell array 21 (not shown). In order to allow only light transmitted through the polarizer corresponding to each photosensitive cell to enter, it is preferable to set the interval between the photosensitive cell array 12 and the polarizer array 14 to 1 mm or less.
  • FIG. 14 is a top view showing still another configuration example of the shift device 16.
  • the shift device 16 is different from the shift device 16 shown in FIG. 11 in that comb-shaped MEMS (Micro-Electro-Mechanical Systems) actuators 4004a and 4004b are used instead of the linear actuators 1004a and 1004b.
  • the comb MEMS actuators 4004a and 4004b can move the polarizer array 14 by electrostatic force by applying a voltage to a pair of opposing comb electrodes.
  • the mechanism for moving the polarizer array in a plane parallel to the imaging area is not limited to the above example, and the mechanism can be based on another principle as long as the polarizer array can be accurately moved in units of pixels. May be.
  • the “positioning accuracy” of an actuator that can be used to realize a movement distance of about the size of a pixel can be about 5% or less of the movement distance.
  • the size of the photosensitive cell is set so that the entire photosensitive cell is covered by the polarizer.
  • the shape of the “unit structure” in the polarizer array is not limited to a square. Further, the number of polarizers included in the “unit structure” is not limited to three or four, and may be two or five or more.
  • FIG. 15 is a block diagram illustrating a schematic configuration of the imaging apparatus according to the present embodiment.
  • the imaging apparatus of the present embodiment includes an imaging unit 100, a signal processing unit 200 that performs various signal processing, an imaging display unit 300 that displays an image acquired by imaging, a recording unit 400 that records image data, and each unit And a system control unit 500 for controlling the system.
  • the imaging unit 100 includes an imaging element (image sensor) 10 having a polarizer array 14 and a shift device 16, and a photographing lens 20 for forming an image on the imaging surface of the imaging element 10.
  • the photographic lens 20 in the present embodiment has a known configuration, and is actually a lens unit that includes a plurality of lenses.
  • the photographing lens 20 is driven by a mechanism (not shown), and necessary operations for optical zooming, automatic exposure (AE) and automatic focus (AF) are performed as necessary.
  • the imaging unit 100 includes an imaging element driving unit 30 and an actuator driving unit 40 that drive the imaging element 10.
  • the image sensor driving unit 30 is composed of, for example, a driver LSI.
  • the image sensor drive unit 30 drives the image sensor 10 to read an analog signal from the image sensor 10 and convert it into a digital signal.
  • the actuator driving unit 40 drives the shift device 16 described above to periodically shift the position of the polarizer array 14 within a plane parallel to the imaging area.
  • the signal processing unit 200 in the present embodiment includes an image processing unit (image processor) 220, a memory 240, and an interface (IF) unit 260.
  • the signal processing unit 200 is connected to a display unit 300 such as a liquid crystal display panel and a recording medium 400 such as a memory card.
  • the image processing unit 220 performs various signal processes necessary for operations such as color correction, resolution change, automatic exposure, automatic focus, and data compression, and executes polarization information acquisition processing according to the present invention.
  • the image processing unit 220 is preferably realized by a combination of hardware such as a known digital signal processor (DSP) and software that executes image processing including polarization information processing according to the present invention.
  • DSP digital signal processor
  • the memory 240 is configured by a DRAM or the like. The memory 240 records the image data obtained from the imaging unit 100 and temporarily records the image data subjected to various image processing by the image processing unit 220. These image data are converted into analog signals and then displayed on the display unit 300 or recorded on the recording medium 400 via the interface unit 260 as digital signals.
  • a system control unit 500 including a central processing unit (CPU) (not shown) and a flash memory.
  • CPU central processing unit
  • the imaging apparatus of the present embodiment may include known components such as a viewfinder, a power source (battery), and a flashlight, but a description thereof is omitted because it is not particularly necessary for understanding the present invention.
  • FIG. 16 is a block diagram illustrating an example of main components of the signal processing unit 200 in the present embodiment.
  • polarization image information can be acquired from a subject and output as two types of polarization images (polarization degree image ⁇ and polarization phase image ⁇ ).
  • the signal output from the imaging unit 100 is sent to the image processing unit 220, processed by the image processing unit 220, and then stored in the polarization degree image frame memory 222 and the polarization phase image frame memory 224.
  • Polarization degree image frame memory 222 outputs polarization degree image ( ⁇ ) data
  • polarization phase image frame memory 224 outputs polarization phase image ( ⁇ ) data.
  • I i is the luminance observed when the rotation angle ⁇ of the polarization transmission axis is ⁇ i .
  • FIG. 17 shows luminances I 1 to I 4 corresponding to four samples ( ⁇ i , I i ) obtained from one pixel.
  • the observed luminance with respect to the angle ⁇ of the polarization main axis of the polarizer unit is expressed by the following equation.
  • A, B, and C are unknown constants, and represent the amplitude, phase, and average value of the polarization luminance fluctuation curve, respectively.
  • polarization information in this specification means amplitude modulation degree ⁇ and phase information ⁇ in a sine function curve indicating the dependence of luminance on the polarization principal axis angle.
  • a polarization degree image indicating the polarization degree ⁇ in each pixel and a polarization phase image indicating the polarization phase ⁇ in each pixel are obtained.
  • the degree of polarization ⁇ represents the degree to which the light of the corresponding pixel is polarized
  • the polarization phase ⁇ represents the angular position that takes the maximum value of the sine function.
  • the angle of the polarization main axis is the same between 0 ° and 180 ° ( ⁇ ).
  • the values ⁇ and ⁇ (0 ⁇ ⁇ ⁇ ⁇ ) are calculated by the following (formula 2) and (formula 3), respectively.
  • polarization information can be acquired from all pixels based on the pixel values read while moving the polarizer array 14.
  • the image sensor of the present embodiment is different from the image sensor of the first embodiment in the arrangement pattern of the polarizers in the polarizer array and the way the polarizer array moves.
  • the description of the configuration and operation common to the first embodiment will not be repeated here.
  • FIG. 19 is a top view showing the configuration of the polarizer array in the present embodiment.
  • this polarizer array four types of polarizers having different directions of polarization transmission axes are arranged linearly.
  • FIG. 20A is a diagram illustrating a part of the polarizer array of FIG. 19, and
  • FIG. 20B is a diagram illustrating another example of the arrangement pattern of the polarizers. Any of the arrangement patterns shown in FIG. 20A and FIG. 20B may be used. Here, the operation of the arrangement pattern shown in FIG. 20A will be described.
  • a polarization array 14 in which four types of polarizers 14A, 14B, 14C, and 14D are arranged in each row can be shifted in units of one pixel by a shift device 16.
  • the shift device 16 shifts the polarizer array in the X-axis direction, and moves the polarizer array 14 to the position shown in FIG.
  • the polarizer array 14 is further shifted in the X-axis direction by the shift device 16, and the polarizer array 14 is moved to the position shown in FIG. Thereafter, the shift device 16 further shifts the polarizer array 14 in the X-axis direction, and moves the polarizer array 14 to the position shown in FIG.
  • the polarizer array 14 is shifted by 3 pixels in the reverse direction, and returns to the position shown in FIG. By repeating such a periodic operation, polarization information can be acquired.
  • the polarizer array 14 since the polarizer array 14 needs to be moved only in one direction within the XY plane, the configuration of the shift device 16 is simplified.
  • the polarizer array 14 is moved in the X-axis direction, but may be moved in the Y-axis direction. Also, the same effect can be obtained by linearly moving in an oblique direction with respect to both the X axis and the Y axis.
  • FIG. 24 is a graph showing an example of a voltage waveform applied to the actuator when the above series of operations is executed.
  • the voltage initially applied to the actuator is 0V, but when shifting by one pixel in the X-axis direction (time T1), the voltage V1 (for example, 100V) is applied to the actuator. Is done.
  • a voltage V2 for example, 200 V
  • a voltage V3 for example, 300 V
  • time T4 the actuator can be returned to the initial state by returning the voltage applied to the actuator to 0V.
  • FIG. 25 shows the movement on the polarizer array 14 in which three types of polarizers 14A, 14B, and 14C having different polarization transmission axis directions by 60 ° are arranged.
  • this polarizer array there is a region where no polarizer is provided, but the movement pattern is the same as the movement pattern shown in FIG. As a result, light passing through a region where no polarizer is provided also enters each pixel. When light passing through a region where no polarizer is provided is incident, a luminance signal relating to light having no polarization is obtained from the pixel.
  • FIG. 26A to FIG. 26C show an example in which a shift along only the X-axis direction is performed using a polarizer array 14 in which three types of polarizers 14A, 14B, and 14C are arranged. .
  • the polarizer array 14 used in this case there is no pixel area where no polarizer is provided. For this reason, light passing through the polarizer is incident on each pixel.
  • the stroke of one cycle of pixel shift can be shortened, so that there is an advantage that the actuator can be easily miniaturized.
  • FIG. 27 shows an example of a waveform of a voltage applied to the actuator when the operation shown in FIG. 26 (a) to FIG. 26 (c) is executed.
  • polarizers having three or four polarization transmission axes oriented in different directions are sequentially arranged on each photosensitive cell, and a pixel signal (sample value) is obtained.
  • a pixel signal sample value
  • the present invention is not limited to such an example.
  • the effect of the present invention can also be obtained, for example, by adopting a configuration in which light transmitted through two types of polarizers having polarization transmission axes having two different directions is incident on each photosensitive cell. In this case, it is not possible to specify three parameters for determining a luminance variation curve as shown in FIG. However, for example, orthogonal polarization components can be detected, which is also useful in technical fields such as endoscopes.
  • the imaging device and imaging apparatus of the present invention can be applied to various fields of polarization imaging technology.
  • the imaging device and imaging apparatus of the present invention are useful as key devices for security, medical care, communication, and analysis.
  • Image sensor image sensor
  • Photosensitive cell array 12
  • Photosensitive cell 12
  • Polarizer array polarization mosaic array plate
  • Shift device 20
  • Imaging lens 30
  • Image sensor driving unit 40
  • Drive circuit 100
  • Image capturing unit 120
  • Vertical scanning circuit 130 Horizontal scanning circuit 160a to 160d Piezoelectric transducer 200
  • Signal processing unit 220
  • Image processing unit (image processor) 222
  • Polarization image frame memory 224
  • Polarization phase image frame memory 226
  • Luminance image frame memory 240
  • Memory 260 Interface (IF) unit
  • Imaging display unit 400
  • System control unit 1000
  • Movable polarizer unit 1000a Control signal (reset signal) 1000b
  • Control signal charge read signal
  • Base 1001a Recess 1001b Opening 1002
  • Linear actuator 1005a Switch 1005b
  • Switch 1006a High voltage source 1006b
  • High voltage source 1010

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Polarising Elements (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

 本発明の撮像装置は、複数の光感知セルが撮像面に沿って配列された光感知セルアレイ12と、各々が偏光透過軸方向の異なるN個(Nは2以上の整数)の偏光子を含む複数の単位構造が2次元的に配列され、各光感知セルに1つの偏光子を透過した光が入射するように構成された偏光子アレイ14と、光感知セルアレイ12から画素信号を読み出す回路と、光感知セルアレイ12に対する偏光子アレイ14の位置を撮像面に平行な方向にシフトさせるシフト装置16とを備える撮像素子10と、シフト装置16を駆動する駆動回路40と、撮像素子10上に像を形成するための撮影レンズ20とを備える。

Description

撮像素子および撮像装置
 本発明は、偏光情報を取得することができる撮像素子、および当該撮像素子を備える撮像装置に関する。
 輝度画像だけでは得られない情報を取得できる偏光イメージングが注目されている。偏光イメージングを行うには、撮像素子の撮像面の前に偏光子または偏光板を配置する必要がある。特許文献1は、微細な偏光子をたとえば100μm程度のピッチで配列した撮像素子を開示している。特許文献2は、偏光板を回転させる機構を備えた撮像装置を開示している。特許文献3は、偏光透過軸が直交する関係にある2枚の偏光板を交互に用いることにより、偏光画像を取得する内視鏡を開示している。
特開2007-86720号公報 米国特許出願公開第2009-79982号公報 特開2003-47588号公報
 特許文献1に記載の従来技術によれば、偏光子が固定されており、画素ズレの問題が生じず、偏光板を回転させるための機構も不要である。しかし、個々の画素からは一定方向の偏光透過軸を透過した光しか入射しないため、偏光度や偏光位相角度などの偏光情報を獲得するには、複数の画素から信号を用いる必要があり、解像度が低下する。
 特許文献2に記載の従来技術によれば、回転偏光板による画素ズレの問題があり、解像度やSN比が低下する。また、偏光板を回転させるための装置は小型化が困難である。
 特許文献3に記載の従来技術によれば、偏光板の移動距離が大きく、偏光板の位置を変えるための装置の小型化が困難である。
 本発明は、上記課題を解決するためになされたものであり、その主な目的は、偏光板を回転または大きく移動させるための装置が不要であり、かつ、各画素から偏光情報を取得できる撮像素子を提供することにある。
 本発明の他の目的は、上記の撮像素子を備え、偏光情報を出力することができるカメラなどの撮像装置を提供することにある。
 本発明の撮像素子は、複数の光感知セルが撮像面に沿って配列された光感知セルアレイと、各々が偏光透過軸方向の異なるN個(Nは2以上の整数)の偏光子を含む複数の単位構造が2次元的に配列され、各光感知セルに1つの偏光子を透過した光が入射するように構成された偏光子アレイと、前記光感知セルアレイから画素信号を読み出す回路と、前記光感知セルアレイに対する前記偏光子アレイの位置を前記撮像面に平行な方向にシフトさせるシフト装置とを備える。
 ある実施形態において、撮像を行うとき、前記シフト装置は、前記単位構造のサイズを超えない距離だけ前記偏光子アレイをシフトさせる。
 ある実施形態において、前記シフト装置は、前記光感知セルアレイの全体から蓄積電荷信号が読み出されるタイミングと同期して、前記偏光子アレイを画素単位でシフトさせ、各光感知セルに入射する光の偏光方向を変化させる。
 ある実施形態において、前記複数の光感知セルの各々に対して、前記N個の偏光子の1つを透過する光を入射させるステップと、前記偏光子アレイを画素単位でシフトさせた後、前記N個の偏光子の他の1つを透過する光を入射させるステップとを実行する。
 ある実施形態において、前記アクチュエータは、第1の方向に前記偏光子アレイを画素単位でシフトさせる第1アクチュエータ部分と、前記第1の方向に垂直な第2方向に前記偏光子アレイを画素単位でシフトさせる第2アクチュエータ部分とを含んでおり、前記撮像面に沿って前記偏光子アレイを周期的および2次元的に移動させる。
 ある実施形態において、Nは3以上である。
 ある実施形態において、前記シフト装置は、前記撮像面に沿って前記偏光子アレイを周期的および直線的に移動させる。
 ある実施形態において、前記偏光子アレイにおける偏光子の配列ピッチは、前記光感知セルアレイにおける光感知セルの配列ピッチに一致している。
 ある実施形態において、前記偏光子アレイにおける前記複数の単位構造の各々は、前記偏光透過軸方向が45°ずつ異なる4つの偏光子を含んでいる。
 ある実施形態において、前記偏光子アレイにおける前記複数の単位構造の各々は、前記偏光透過軸方向が60°ずつ異なる3つの偏光子を含んでいる。
 本発明の撮像装置は、複数の光感知セルが撮像面に沿って配列された光感知セルアレイと、各々が偏光透過軸方向の異なるN個(Nは2以上の整数)の偏光子を含む複数の単位構造が2次元的に配列され、各光感知セルに1つの偏光子を透過した光が入射するように構成された偏光子アレイと、前記光感知セルアレイに対する前記偏光子アレイの位置を前記撮像面に平行な方向にシフトさせるシフト装置とを備える撮像素子と、前記シフト装置を駆動する駆動回路と、前記撮像素子上に像を形成するための撮影レンズとを備える。
 ある実施形態において、前記シフト装置は、前記光感知セルアレイの全体から蓄積電荷信号が読み出されるタイミングと同期して、前記偏光子アレイを画素単位でシフトさせ、それによって各光感知セルに入射する光の偏光方向を変化させ、個々の光感知セルに入射した偏光方向が異なる光の輝度値を得る。
 本発明によれば、偏光子アレイを画素の配列ピッチの距離だけ撮像面に平行な方向にシフトさせるシフト装置を備えているため、偏光板を回転させたり、交替させるための大型の装置が不要である。そして、各画素に偏光主軸の異なる光を入射させることができるため、高い解像度の偏光画像を取得することが可能になる。
本発明による撮像装置の第1の実施形態における撮像部の概略構成を示す図である。 (a)は、第1の実施形態における偏光子アレイ14の平面構成を模式的に示す図、(b)は、光感知セルアレイ12の構成を模式的に示す図である。 最初の位置にある偏光子アレイ14に含まれる1つの単位構造と、光感知セルアレイ12との配置関係を示す図である。 2番目の位置にある偏光子アレイ14に含まれる1つの単位構造と、光感知セルアレイ12との配置関係を示す図である。 3番目の位置にある偏光子アレイ14に含まれる1つの単位構造と、光感知セルアレイ12との配置関係を示す図である。 4番目の位置にある偏光子アレイ14に含まれる1つの単位構造と、光感知セルアレイ12との配置関係を示す図である。 最初の位置に戻った偏光子アレイ14に含まれる1つの単位構造と、光感知セルアレイ12との配置関係を示す図である。 偏光子アレイ14の偏光子よりも小さな光感知セルを備える光感知セルアレイ12を示す図である。 偏光子の偏光透過軸の方向に応じて各偏光子に符号「A」、「B」、「C」、「D」を割り当てたことを示す図である。 偏光子アレイ14と、符号「A」、「B」、「C」、「D」の配列との対応関係を示す図である。 偏光子アレイ14の移動パターンの一例を示す図である。 (a)は、シフト装置16が組み込まれた撮像素子10の一例を示す上面図であり、(b)は(a)に示す撮像素子10のB-B’線断面図である。 (a)から(d)は、図8におけるシフト装置16の動作を説明するための図である。 図9に示される一連のシフト動作が実行されるときに、圧電変換素子160aおよび圧電変換素子160bおよび圧電変換素子160cおよび圧電変換素子160dに印加される電圧波形の一例を示すグラフである。 は、シフト装置16と偏光子アレイ14とが一体化された可動偏光子ユニット1000を示す上面図である。 (a)、(b)、(c)は、それぞれ、ベース1002、偏光子アレイ14、およびリニアアクチュエータ1004aの上面図であり、(d)はX方向移動ステージ1010を示す図であり、(e)は、(d)に示すX方向移動ステージ1010のE-E’線断面図である。 X方向移動ステージ1010、ベース1001およびリニアアクチュエータ1004aを示す図である。 シフト装置16と偏光子アレイ14とが一体化された可動偏光子ユニット1000の他の構成例を示す上面図である。 本実施形態における撮像装置の概略構成を示すブロック図である。 本実施形態における信号処理部200の主要な構成要素の一例を示すブロック図である。 方向が異なる偏光透過軸(Ψi=0°、45°、90°、135°)を有する4種類の偏光子を透過した光の強さ(画素値または輝度)I1~I4を示すグラフである。 偏光輝度の変動カーブの振幅、位相、平均値を示すグラフである。 本発明による第2の実施形態における偏光子アレイの構成を示す上面図である。 (a)は、図19の偏光子アレイの一部を示す図であり、(b)は、偏光子の配列パターンの他の例を示す図である。 本発明の第2の実施形態における偏光子アレイ14の平面構成を模式的に示す図である。 (a)および(b)は、各行に4種類の偏光子14A、14B、14C、14Dが配列された偏光アレイ14の1画素単位のシフトを示す図である。 (a)および(b)は、各行に4種類の偏光子14A、14B、14C、14Dが配列された偏光アレイ14の1画素単位のシフトを示す図である。 図22および図23に示す一連の動作を実行するときに、アクチュエータに印加される電圧の変化の一例を示すグラフである。 3種類の偏光子14A、14B、14Cが配列された偏光子アレイ14を用いて、XY面内でシフトを行う例を示す図である。 (a)から(c)は、3種類の偏光子14A、14B、14Cが配列された偏光子アレイ14を用いて、X軸方向のみに沿ったシフトを行う例を示す図である。 図26の動作を行うときにアクチュエータに印加させる電圧の波形例を示すグラフである。 図2(b)に示される光感知セルアレイ12の回路構成の一例を示す図である。 光感知セルアレイ12における電荷蓄積期間を模式的に示す図である。
 (実施形態1)
 まず、図1を参照する。図1は、本発明による撮像装置の第1の実施形態における撮像部の概略構成を示す図である。
 この撮像部100は、撮像素子(イメージセンサ)10と、撮像素子10の撮像面に像を形成するための撮影レンズ20とを有している。撮像素子10は、複数の光感知セル(光電変換素子)が撮像面に沿って配列された光感知セルアレイ12と、偏光子アレイ(偏光モザイクアレイ板)14と、光感知セルアレイ12に対する偏光子アレイ14の位置を撮像面に平行な方向にシフトさせるシフト装置16とを備えている。
 個々の光感知セルは、画素に相当するため、光感知セルアレイ12は画素アレイ12と称しても良い。偏光子アレイ14は、後に詳しく説明するように、各々が偏光透過軸方向の異なるN個(Nは2以上の整数)の偏光子を含む複数の単位構造が2次元的に配列され、各偏光子を透過した光が、対応する光感知セルに入射するように構成されている。撮影レンズ20は、図1において単一レンズとして模式的に記載されているが、通常は、複数のレンズが組み合わせられた光学系であり、公知の構成を備えている。
 この撮像部100は、シフト装置16が有するアクチュエータを駆動するアクチュエータ駆動回路40を備えている。アクチュエータ駆動回路40は、撮像素子10に組み込まれていても良いし、他の部品として搭載されていてもよい。
 次に、図2を参照する。
 図2(a)は、偏光子アレイ14の平面構成を模式的に示し、図2(b)は、光感知セルアレイ12の構成を模式的に示している。
 図2(a)の偏光子アレイ14においては、各々が偏光透過軸方向の異なる4個の偏光子14A、14B、14C、14Dを含む4個の単位構造が2次元的に配列されている。実際の偏光子アレイ14では、より多数の単位構造が配列されているが、図2(a)では、簡単のため、4個の単位構造が示されている。図2(a)の各偏光子14A、14B、14C、14D上には、方向が異なる4種類の矢印が記載されている。この矢印は、偏光子の偏光透過軸の方向(主軸方向)を示している。偏光子に入射した光のうち、電場ベクトルの振動方向が偏光透過軸に一致する光は、その偏光子を透過することができる。偏光子を透過した光は、その偏光子が有する偏光透過軸の方向に偏光した直線偏光である。
 図2(b)では、簡単のため、3行×3列=9個の光感知セル12a、12b、・・・、12iが図示されているが、現実の光感知セルアレイ12では、たとえば100万を超える数の光感知セルが配列される。光感知セルアレイ12における光感知セルの配列ピッチは、偏光子アレイ14における偏光子の配列ピッチと一致している。これらの配列ピッチを「画素ピッチ」と称する場合がある。実際の光感知セルアレイ12は、上述したように偏光子アレイ14の各偏光子を透過した光を受ける位置に配置される。光感知セルアレイ12は、行および列状に配列された光感知セルから構成されている。
 図28は、図2(b)に示される光感知セルアレイ12の回路構成の一例を示す図である。図28には、3×3個の光感知セル12a~12iと、これらの光感知セル12a~12iに接続された制御信号線122、124および出力信号線132などが図示されている。前述したように、現実の光感知セルアレイ12は、図示されていない多数の光感知セルを含んでいる。
 光感知セル12a~12iが配列されている領域の外側には、垂直走査回路120および水平走査回路130(光感知セルアレイ12から信号を読み出す回路)が設けられている。垂直走査回路120には、第1制御信号線122および第2制御信号線124が接続されている。垂直走査回路120からは、電荷蓄積開始のタイミングを規定する制御信号1000aが第1制御信号線122に出力され、蓄積電荷信号を読み出すタイミングを規定する制御信号1000bが第2制御信号線124に出力される。
 垂直走査回路120から第1制御信号線122に出力された制御信号1000aは、各光感知セル12a~12iのリセット素子(不図示)に与えられる。制御信号1000aがリセット素子に与えられると、そのリセット素子に関連づけられた光感知セルに蓄積されていた電荷がクリアされ、光感知セルの電荷蓄積状態がリセットされる。リセットにより、電荷蓄積期間が開始する。
 一方、垂直走査回路120から制御信号線124に出力された制御信号1000bは、各光感知セル12a~12iの読み出しトランジスタのゲートに与えられ、このトランジスタの導通/非導通を制御する。制御信号1000bがトランジスタのゲートに与えられると、そのトランジスタは導通し、光感知セル12a~12iに蓄積されていた電荷の量に応じた電気信号が出力信号線132に与えられる。出力信号線132上の電気信号は、水平走査回路130からの制御信号1000cにより、順次、画素ごとに読み出される。
 特定の行に属する光感知セル、例えば、図28における第1行目に属する光感知セル12a、12b、12cに蓄積された電荷の読み出しが行われ後、次の行に属する光感知セル、例えば、図28における第2行目に属する光感知セル12d、12e、12fに蓄積された電荷の読み出しが行われる。
 ある実施形態では、同一の行に属する各光感知セルに対して略同時に制御信号1000aが与えられ、それらの光感知セルのリセットが実行される。リセット後、所定の電荷蓄積期間が経過したとき、その行に属する各光感知セルに対して略同時に制御信号1000bが与えられる。その結果、その行に属する光感知セルから蓄積電荷信号が信号線132上に与えられる。その後、この行に属する光感知セルからの蓄積電荷信号が制御信号1000cによって順次読み出される。
 各行について、上述の読み出し動作が順次行われることにより、光感知セルアレイ12内のすべての光感知セルから蓄積電荷信号を得ることができる。全ての光感知セルの電荷蓄積期間を略等しくするには、制御信号(リセット信号)1000aの印加から制御信号(読み出し信号)1000bの印加までの期間を各行で等しくすればよい。
 図29は、光感知セルアレイ12の第1行~最終行の代表的な行について、電荷蓄積期間を模式的に示す図である。各々の行において、制御信号1000aの印加時から制御信号1000bの印加時までの期間が電荷蓄積期間に相当する。行ごとに制御信号1000bの印加タイミングが異なるため、各行の光感知セルから読み出された信号が出力信号線上でバッティングすることはない。
 図29の最下部には、全ての行の電荷蓄積期間を重ね合わせた、光感知セルアレイ12の全体の電荷蓄積期間が示されている。後述するように、光感知セルアレイ12の全体から蓄積電荷信号が読み出されるタイミングに同期して、偏光子アレイ14の2次元的な移動が実行される。すなわち、典型的には、光感知セルアレイ12の全体から蓄積電荷信号が読み出された後、光感知セルアレイ12で次の電荷蓄積期間が開始するまでの間に、偏光子アレイ14の2次元的な移動が実行される。厳密に言えば、いずれの光感知セルについても、その電荷蓄積期間の途中で偏光子アレイ14が移動しなければ良く、偏光子アレイ14は光感知セルアレイ12で電荷蓄積が行われてないときに移動すればよい。
 再び図2(a)を参照する。偏光子アレイ14は、シフト装置16により、図2の紙面に平行な方向、すなわち、XY座標のX軸方向およびY軸方向が形成する平面に平行な方向にシフトする。シフト装置16は、偏光子アレイ14の各偏光子を透過した光が、対応する光感知セルに入射するように偏光子アレイ14の位置決めを行う。図2(a)では、簡単のため、シフト装置16は、偏光子アレイ14の右側のみに位置しているが、現実のシフト装置16は、この例に限定されない。シフト装置16の構成および動作は、後に詳しく説明する。
 次に、図3Aから図3Eを参照しながら、光感知セルアレイ12に対する偏光子アレイ14の位置変化を説明する。
 まず、図3Aを参照する。
 図3Aは、最初の位置にある偏光子アレイ14に含まれる1つの単位構造と、光感知セルアレイ12との配置関係を示している。最初の位置では、4個の偏光子14A、14B、14C、14Dを透過した光が、それぞれ、光感知セル12e、12f、12i、12h、に入射する。こうして、光感知セル12e、12f、12i、12hには、それぞれ、偏光方向の異なる光が同時に入射する。
 偏光子アレイ14が最初の位置にある間に、光感知セル12e、12f、12i、12hでは、光電変換により、入射光量に応じた電荷が生成され、蓄積される。所定の電荷蓄積期間が経過したとき、光感知セル12e、12f、12i、12hの各々で蓄積された電荷が画素信号(蓄積電荷信号)として読み出される。この信号は、ある特定方向に偏光した光の輝度値を示している。電荷の読み出しが完了した後、蓄積電荷はリセットされる。一般に、電荷蓄積期間は、信号読み出しのフレームレート(fps:フレーム毎秒)の逆数によって規定される。
 次に、図3Bを参照する。
 図3Bは、次の位置にある偏光子アレイ14に含まれる1つの単位構造と、光感知セルアレイ12との配置関係を示している。この位置では、4個の偏光子14A、14B、14C、14Dを透過した光が、それぞれ、光感知セル12d、12e、12h、12gに入射する。図3Bにおける偏光子アレイ14は、図2(a)に示すシフト装置16の働きにより、最初の位置(図3A)から1画素分だけX軸の負方向に移動してきた。
 偏光子アレイ14が、図3Bの位置にある間に、光感知セル12d、12e、12h、12gでは、光電変換により、入射光量に応じた電荷が生成され、蓄積される。所定の電荷蓄積期間が経過したとき、光感知セル12d、12e、12h、12gの各々で蓄積された電荷が画素信号として読み出される。電荷の読み出しが完了した後、蓄積電荷はリセットされる。
 ここで、光感知セル12hに着目すると、偏光子アレイ14が図3Aに示す位置にあるときは、偏光子14Dを透過した光が光感知セル12hに入射していた。そして、偏光子アレイ14が図3Bに示す位置にあるときは、偏光子14Cを透過した光が光感知セル12hに入射することになる。
 偏光子アレイ14のシフト(1画素の平行移動)は、光感知セルアレイ12の全体から画素信号(蓄積電荷信号)が読み出されるタイミングに同期して行われるため、各々の光感知セルに入射する光の偏光方向は、電荷蓄積期間の途中では変化しない。その結果、読み出される画素信号に基づいて、その光感知セルに入射する光の偏光情報を得ることが可能になる。画素単位での偏光情報の取得については、後に詳しく説明する。
 次に、図3Cを参照する。
 図3Cは、更に次の位置にある偏光子アレイ14に含まれる1つの単位構造と、光感知セルアレイ12との配置関係を示している。この位置では、4個の偏光子14A、14B、14C、14Dを透過した光が、それぞれ、光感知セル12a、12b、12e、12dに入射する。図3Cにおける偏光子アレイ14は、図2に示すシフト装置16の働きにより、図3Bの位置から1画素分だけY軸の正方向に移動してきた。
 偏光子アレイ14が、図3Cの位置にある間に、光感知セル12a、12b、12e、12dでは、光電変換により、入射光量に応じた電荷が生成され、蓄積される。所定の電荷蓄積期間が経過したとき、光感知セル12a、12b、12e、12dの各々で蓄積された電荷が画素信号として読み出される。電荷の読み出しが完了した後、蓄積電荷はリセットされる。
 次に、図3Dを参照する。
 図3Dは、更に次の位置にある偏光子アレイ14に含まれる1つの単位構造と、光感知セルアレイ12との配置関係を示している。この位置では、4個の偏光子14A、14B、14C、14Dを透過した光が、それぞれ、光感知セル12b、12c、12f、12eに入射する。図3Dにおける偏光子アレイ14は、図2に示すシフト装置16の働きにより、図3Cの位置から1画素分だけ移動してきた。
 偏光子アレイ14が、図3Dの位置にある間に、光感知セル12b、12c、12f、12eでは、光電変換により、入射光量に応じた電荷が生成され、蓄積される。所定の電荷蓄積期間が経過したとき、光感知セル12b、12c、12f、12eの各々で蓄積された電荷が画素信号として読み出される。電荷の読み出しが完了した後、蓄積電荷はリセットされる。
 次に、図3Eを参照する。
 図3Eは、更に次の位置にある偏光子アレイ14に含まれる1つの単位構造と、光感知セルアレイ12との配置関係を示している。この位置は、図3Aに示す配置と同一であり、図3Aを参照しながら説明した動作が繰り返される。
 このように本実施形態では、偏光子アレイ14が、図3Aの位置から、図3Bの位置、図3Cの位置、および図3Dの位置を経て、図3Eの位置(図3Aの位置)に戻る。この周期的な動作が繰り返されるとき、各光感知セルには、1周期の間において、偏光透過軸が異なる4つの偏光子を透過してきた光が順次入射することになる。画素信号の読み出しが、偏光子アレイ14の2次元的な運動と同期して行われるため、偏光情報を取得することが可能になる。
 なお、図3Aから図3Eに示す偏光子および光感知セルの平面形状は、いずれも円形である。偏光子および光感知セル(受光領域)の平面形状は、円形に限定されない。偏光子および光感知セルの平面形状およびサイズは、偏光子を透過した光が効率よく各光感知セルに入射し、かつ、対応する偏光子を透過していない光が各光感知セルに入射しないように設計される。
 図4では、光感知セルのサイズが偏光子のサイズよりも小さく記載されている。偏光子アレイ14の位置合わせズレの大きさを考慮して、光感知セルのサイズは、偏光子のサイズよりも小さく設計されることが好ましい。光感知セルの全体が偏光子によって覆われる限り、光感知セルの平面形状は円形である必要はなく、楕円や多角形であっても良い。また、偏光子の平面形状も円形である必要はなく、楕円や多角形であっても良い。たとえば、偏光透過軸の方向が直交する2種類の偏光子を配列する場合は、各偏光子の平面形状は正方形や8角形であってもよい。一般に、偏光透過軸がN個の異なる方向を向くとき、偏光子の平面形状は、中心軸の回りに(360/N)度の回転で対称な形状を有することが好ましい。
 光感知セルは、マイクロレンズによって覆われていても良い。光感知セルアレイ14は、裏面照射型のイメージセンサによって実現されていても良い。光感知セルアレイ14が通常の表面照射型のイメージセンサによって実現されている場合、図4に示す光感知セルの間には不図示の配線が存在する。
 次に、図5を参照する。図5に示すように、偏光子の偏光透過軸の方向に応じて各偏光子に符号「A」、「B」、「C」、「D」を割り当てることにする。このような符号を用いると、図6の左に示す偏光子アレイ14は、その右側に示すように簡略的に図示される。
 以下、図7を参照しながら、偏光子アレイ14の移動パターンを説明する。図3Aから図3Eには、1つの単位構造に含まれる4つの偏光子だけを記載していたが、図7では、1つの偏光子アレイ14に含まれる多数の偏光子を記載している。もちろん、現実の偏光子アレイ14に含まれる偏光子の数は、図示されている偏光子の数よりも遥かに多い。
 図7の例では、線の太い長方形が、光感知セルアレイ12を示し、破線の長方形が偏光子アレイ14を示している。光感知セルアレイ12に対して、偏光子アレイ14が4つの異なる位置の間を周期的に移動する。個々の光感知セルは、偏光子アレイ14がどの位置にあるときも、偏光子によってカバーされている。
 図7の例では、偏光子アレイ14のサイズは撮像エリアよりも広く、偏光子アレイ14に含まれる偏光子の個数は光感知セルアレイ12に含まれる光感知セルの個数よりも多い。なお、偏光子アレイ14のサイズは、必ずも撮像エリアのサイズより大きく設定される必要はない。偏光子アレイ14のサイズが撮像エリアのサイズよりに等しいか、または小さい場合、偏光子アレイ14によって覆われていない光感知セルが存在することになる。そのような光感知セルからは偏光情報を得ることができない。しかし、被写体の全ての領域から偏光情報を必要としない場合もある。そのような場合は、光感知セルアレイ12の一部の領域を相対的な小さな偏光子アレイ14で覆うようにしてもよい。したがって、偏光子アレイ14のサイズが光感知セルアレイ12のサイズより小さいことも許容され得る。
 次に、シフト装置16を説明する。
 偏光子アレイ14を図7に示すように平行移動させるには、シフト装置16は、X軸方向およびY軸方向の2軸に沿って作用点を移動させる構造を備える必要がある。図8は、このような構造が、光感知セルアレイ12のシリコン基板と一体化された撮像素子10の一例を示している。図8(a)は、その上面図であり、図8(b)は、図8(a)に示す撮像素子10のB-B’線断面図である。
 図8の撮像素子10は、偏光子アレイ14をY軸方向に押し出す圧電変換素子160a、160cと、偏光子アレイ14をX軸方向に押し出す圧電変換素子160b、160dとを有している。Y軸方向に押し出す一対の圧電変換素子160a、160cにより、Y軸の正方向および負方向のいずれにも1画素単位で偏光子アレイ14を移動させることができる。同様に、偏光子アレイ14をX軸方向に押し出す一対の圧電変換素子160b、160dにより、X軸の正方向および負方向のいずれにも1画素単位で偏光子アレイ14を移動させることができる。圧電変換素子160a、160b、160c、160dは、たとえばチタン酸ジルコン酸鉛(PZT:Piezoelectric Zirconate Titanate)などの圧電体から形成され得る。圧電変換素子160a、160b、160c、160dの各々に印加する電圧を調整することにより、たとえば図7に示すように偏光子アレイ14の位置をXY面内で周期的に変化させることができる。圧電変換素子160a、160b、160c、160dが、全体として、シフト装置16を形成している。
 次に、図9(a)から図9(d)を参照しながら、この例におけるシフト装置16の動作を説明する。
 最初に偏光子アレイ14は図9(a)に示す位置にあったとする。このとき、圧電変換素子160a、160dには電圧を印加するが160b、160cに電圧は印加されていない。
 次に図9(b)のとき、圧電変換素子160a、160bには電圧を印加するが、圧電変換素子160c、160dに電圧は印加されていない。
 次に図9(c)のとき、圧電変換素子160b、160cには電圧を印加するが、圧電変換素子160a、160dに電圧は印加されていない。
 次に図9(d)のとき、圧電変換素子160c、160dには電圧を印加するが、圧電変換素子160a、160bに電圧は印加されていない。
 圧電変換素子160a、160b、160c、160dに図10のタイミングチャートのように電圧を印加すると、それぞれ図9(a)→図9(b)→図9(c)→図9(d)の順に示すように偏光子14の位置がX軸及びY軸方向に画素毎に制御することができる。
 1画素分の移動を実現するには、使用する圧電体の軸方向サイズおよび印加電圧を調整すればよい。たとえば、1画素のサイズが25μm×25μmの場合、X方向およびY方向の画素ピッチは、それぞれ、25μmおよび25μmである。この場合において、PZTを用いて1画素分(25μm)のシフトを実現するには、PZTの軸方向サイズをたとえば5mm程度に設定すればよい。なお、1画素のサイズが25μm×25μmの場合、その中の負音ダイオードのサイズは、たとえば直径5μm程度に設定され得る。このとき、対応する偏光子のサイズは、フォトダイオードよりも大きく設定されることが好ましい。なお、偏光子の配列ピッチは、個々の偏光子のサイズによらず、光感知セルアレイにおける画素の配列ピッチに等しく設定される。
 図10は、上記の一連の動作を実行するときに、圧電変換素子160aおよび圧電変換素子160bおよび圧電変換素子160cおよび圧電変換素子160dに印加される電圧波形の一例を示すグラフである。図10には、図28を参照しながら説明した、光感知セルアレイ12における全体の電荷蓄積期間も模式的に示されている。圧電変換素子160a~160dによる偏光子アレイ14の2次元的移動は、電荷蓄積期間以外の期間内に行われる。
 図10に示すように、最初、圧電変換素子160bおよび圧電変換素子160cに印加される電圧は、いずれも、0Vであるが、圧電変換素子160aおよび圧電変換素子160dに印加され電圧は、いずれも、例えば数百Vである(時刻T0)。1画素だけX軸方向にシフトさせるとき(時刻T1)、圧電変換素子160cおよび圧電変換素子160dに印加される電圧は0Vであり、圧電変換素子160aおよび圧電変換素子160bに高電圧(例えば100V)が印加される。その後(時刻T2)、圧電変換素子160aおよび圧電変換素子160dに印加される電圧は0Vであり、圧電変換素子160bおよび圧電変換素子160cにも高電圧(例えば100V)が印加される。次に、圧電変換素子160aおよび圧電変換素子160bに印加される電圧は0Vであり、圧電変換素子160cおよび圧電変換素子160dに印加される電圧が数百Vに変化する(時刻T3)。この後(時刻T4)、圧電変換素子160a、160b、160c、160dに印加される電圧をT0の時と同じレベルに復帰させることにより、1周期後の最初の状態に戻る。
 なお、圧電変換素子は、一般にヒステリシスを有するため、伸びるときに印加した電圧をゼロボルトに戻しても、もとの状態に復帰しない場合がある。したがって、もとの位置に正確に戻すためには、ヒステリシスを考慮して補正され大きさの電圧を付与する必要がある。
 図11は、シフト装置16と偏光子アレイ14とが一体化された可動偏光子ユニット1000を示す上面図である。
 この可動偏光子ユニット1000は、偏光子アレイ14をX軸方向に移動させるリニアアクチュエータ1004aが設けられたベース1002と、このベース1002をY軸方向に移動させるリニアアクチュエータ1004bが設けられたベース1001とを備えている。リニアアクチュエータ1004aは、スイッチ1005aを介して高電圧源1006aに接続される。一方、リニアアクチュエータ1004bは、スイッチ1005bを介して高電圧源1006bに接続される。スイッチ1005a、1005bの開閉により、リニアアクチュエータ1004a、1004bに印加する電圧を制御し、偏光子アレイ14の位置をXY面内でシフトさせることができる。
 図12(a)、図12(b)、および図12(c)は、それぞれ、ベース1002、偏光子アレイ14、およびリニアアクチュエータ1004aの上面図である。ベース1002は、凹部1002aおよび開口部1002bを有している。ベース1002は、好適にはシリコン基板を加工することによって得られる。凹部1002aは、偏光子アレイ14を収容し、かつ、X方向に移動可能にする形状および大きさを備えている。開口部1002bは、たとえば約25mm×約25mmのサイズを有する。これらを組み合わせることにより、図12(d)に示すX方向移動ステージ1010が得られる。図12(e)は、図12(d)に示すX方向移動ステージ1010のE-E’線断面図である。偏光子アレイ14の個々の偏光子は、たとえばフォトニック結晶またはナノワイヤグリッドを用いて形成することができる。
 上記のX方向移動ステージ1010を図13に示すベース1001およびリニアアクチュエータ1004aと組み合わせることにより、シフト装置16が実現する。ベース1001は、凹部1001aおよび開口部1001bを有している。この凹部1001aは、X方向移動ステージ1010を収容し、かつ、Y方向に移動可能にする形状および大きさを備えている。ベース1001も、好適にはシリコン基板を加工することによって得られる。ベース1001の開口部1001bおよびベース1002の開口部1002bは、偏光子アレイ14を透過した光を不図示の光感知セルアレイ21に入射させるためのものである。個々の光感知セルに対応する偏光子を透過した光のみを入射させるためには、光感知セルアレイ12と偏光子アレイ14との間隔を1mm以下に設定することが好ましい。
 図14は、シフト装置16の更に他の構成例を示す上面図である。このシフト装置16が図11に示すシフト装置16と異なる点は、リニアアクチュエータ1004a、1004bの代わりに、櫛形MEMS(Micro-Electro-Mechanical-Systems)アクチュエータ4004a、4004bが用いられていることにある。櫛形MEMSアクチュエータ4004a、4004bは、一対の対向する櫛形電極に電圧を与えることにより、静電力によって偏光子アレイ14を移動させることができる。
 偏光子アレイを撮像エリアに平行な面内で移動させるための機構は、上述の例に限定されず、画素単位で偏光子アレイを正確に移動させることができれば、他の原理に基づく機構であってもよい。
 画素のサイズ程度の移動距離を実現するために使用され得るアクチュエータの「位置決め精度」は、その移動距離の5%程度以下にすることができる。このような位置決め精度を考慮して、光感知セルの全体が偏光子にカバーされるように光感知セルのサイズが設定される。
 偏光子アレイにおける「単位構造」の形状は、正方形に限定されない。また、「単位構造」に含まれる偏光子の個数も、3個または4個に限定されず、2個であってもよいし、5個以上であってもよい。
 <撮像装置>
 以下、本実施形態における撮像装置の構成を説明する。
 図15は、本実施形態における撮像装置の概略構成を示すブロック図である。
 本実施形態の撮像装置は、撮像部100と、各種信号処理を行う信号処理部200と、撮像によって取得した画像を表示する撮像表示部300と、画像のデータを記録する記録部400と、各部を制御するシステム制御部500とを備える。
 本実施形態における撮像部100は、偏光子アレイ14およびシフト装置16を有する撮像素子(イメージセンサ)10と、撮像素子10の撮像面上に像を形成するため撮影レンズ20とを有している。本実施形態における撮影レンズ20は、公知の構成を有しており、現実には複数のレンズから構成されたレンズユニットである。撮影レンズ20は、不図示の機構によって駆動され、必要に応じて、光学ズーミング、自動露光(AE:Auto Exposure),自動焦点(AF:Auto Focus)に必要な動作が実行される。
 更に、撮像部100は、撮像素子10を駆動する撮像素子駆動部30およびアクチュエータ駆動部40を備えている。撮像素子駆動部30は、たとえばドライバLSIから構成されている。撮像素子駆動部30は、撮像素子10を駆動することにより、撮像素子10からアナログ信号を読み出してデジタル信号に変換する。アクチュエータ駆動部40は、前述のシフト装置16を駆動することにより、偏光子アレイ14の位置を撮像エリアに平行な面内で周期的にシフトさせる。
 本実施形態における信号処理部200は、画像処理部(イメージプロセッサ)220、メモリ240、インターフェース(IF)部260を備えている。信号処理部200は、液晶表示パネルなどの表示部300、および、メモリカードなどの記録媒体400に接続されている。
 画像処理部220は、色調補正、解像度変更、自動露光,自動焦点、データ圧縮などの動作に必要な各種信号処理を行うほか、本発明による偏光情報の取得処理を実行する。画像処理部220は、公知のデジタル信号処理プロセッサ(DSP)などハードウェアと、本発明に係る偏光情報処理を含む画像処理を実行するソフトウェアとの組合せによって好適に実現される。メモリ240は、DRAMなどによって構成される。このメモリ240は、撮像部100から得られた画像データを記録するとともに、画像処理部220によって各種の画像処理を受けた画像データを一時的に記録する。これらの画像データは、アナログ信号に変換された後、表示部300によって表示されたり、デジタル信号のままインターフェース部260を介して記録媒体400に記録される。
 上記の構成要素は、不図示の中央演算処理ユニット(CPU)およびフラッシュメモリを含むシステム制御部500によって制御される。なお、本実施形態の撮像装置は、ビューファインダ、電源(電池)、フラッシュライトなどの公知の構成要素を備え得るが、それらの説明は本発明の理解に特に必要でないため省略する。
 図16は、本実施形態における信号処理部200の主要な構成要素の一例を示すブロック図である。本実施形態では、被写体から偏光画像情報を取得し、2種類の偏光画像(偏光度画像ρおよび偏光位相画像φ)として出力することができる。
 撮像部100から出力された信号は、画像処理部220に送られ、画像処理部220で処理された後、偏光度画像フレームメモリ222および偏光位相画像フレームメモリ224に格納される。偏光度画像フレームメモリ222からは偏光度画像(ρ)のデータが出力され、偏光位相画像フレームメモリ224から偏光位相画像(φ)のデータが出力される。
 <偏光情報>
 図17は、方向が異なる偏光透過軸(Ψi=0°、45°、90°、135°)を有する4種類の偏光子を透過した光の強さ(画素値または輝度)I1~I4を示している。ここで、偏光透過軸の回転角ψがψiのときに観測される輝度をIiとする。ただし、「i」は、1以上N以下の整数、「N」はサンプル数とする。本実施形態では、N=4であるため、i=1、2、3、4となる。図17には、1つの画素から得られる4個のサンプル(ψi、Ii)に対応する輝度I1~I4が示されている。偏光透過軸の角度Ψiと輝度Iiとの関係は、周期=π(180°)の正弦関数によって表現される。周期が固定された正弦関数が有する未知数は、振幅、位相、および平均値の3種しかなく、異なる角度Ψにおける少なくとも3つの輝度Iiの観測により、1本の正弦関数カーブが完全に決定される。
 偏光子単位の偏光主軸の角ψに対する観測輝度は、以下の式で表される。
Figure JPOXMLDOC01-appb-M000001
ここで図18に示すようにA、B、Cは未知定数であり、それぞれ、偏光輝度の変動カーブの振幅、位相、平均値を表現している。
 なお、本明細書における「偏光情報」とは、輝度の偏光主軸角度に対する依存性を示す正弦関数カーブにおける振幅変調度ρおよび位相情報φを意味する。以上の処理により、画素ごとに正弦関数のA、B、Cの3パラメータが確定すると、各画素における偏光度ρを示す偏光度画像と各画素における偏光位相φを示す偏光位相画像が求められる。偏光度ρは、該当画素の光が偏光している程度を表し、偏光位相φは、正弦関数の最大値をとる角度位置を表す。なお、偏光主軸の角度は、0°と180°(π)は同一である。
 値ρ、φ(0≦φ≦π)は、それぞれ、以下の(式2)および(式3)によって算出される。
Figure JPOXMLDOC01-appb-M000002

Figure JPOXMLDOC01-appb-M000003
 こうして、本実施形態では、偏光子アレイ14を移動させながら読み出される画素値に基づいて、すべての画素から偏光情報を取得することができる。
 (実施形態2)
 次に、本発明による撮像素子の第2の実施形態を説明する。
 本実施形態の撮像素子が実施形態1における撮像素子と異なる点は、偏光子アレイにおける偏光子の配列パターンと、偏光子アレイの移動の仕方とにある。以下、この異なる点のみを詳述し、実施形態1と共通する構成および動作については説明をここでは繰り返さない。
 図19は、本実施形態における偏光子アレイの構成を示す上面図である。この偏光子アレイでは、偏光透過軸の向きが異なる4種類の偏光子が直線状に配列されている。図20(a)は、図19の偏光子アレイの一部を示す図であり、図20(b)は、偏光子の配列パターンの他の例を示す図である。図20(a)および図20(b)のいずれの配列パターンであってもよいが、ここでは、図20(a)の配列パターンを有する場合について、その動作を説明する。
 本実施形態では、図21に示すように、各行に4種類の偏光子14A、14B、14C、14Dが配列された偏光アレイ14をシフト装置16によって1画素単位でシフトすることができる。
 まず、この偏光子アレイ14が、図22(a)に示す位置にあったとする。次に、シフト装置16により、偏光子アレイをX軸方向にシフトし、図22(b)に示す位置に偏光子アレイ14を移動させる。
 次に、シフト装置16により、偏光子アレイ14を更にX軸方向にシフトし、図23(a)に示す位置に偏光子アレイ14を移動させる。この後、シフト装置16により、偏光子アレイ14を更にX軸方向にシフトし、図23(b)に示す位置に偏光子アレイ14を移動させる。
 続いて、偏光子アレイ14は、逆方向に3画素分だけシフトさせられ、再び、図22(a)に示す位置に復帰する。このような周期的動作を繰り返すことにより、偏光情報を取得することが可能になる。
 本実施形態によれば、偏光子アレイ14をXY面内の一方向のみに移動させればよいため、シフト装置16の構成が簡略化される。上記の例では、偏光子アレイ14をX軸方向に移動したが、Y軸方向に移動してもよい。また、X軸およびY軸の両方に対して斜めになる方向に直線的に移動させても、同様の効果を得ることが可能である。
 図24は、上記の一連の動作を実行するときに、アクチュエータに印加される電圧波形の一例を示すグラフである。図24に示すように、最初、アクチュエータに印加される電圧は、いずれも、0Vであるが、1画素だけX軸方向にシフトさせるとき(時刻T1)、アクチュエータに電圧V1(例えば100V)が印加される。初期位置から2画素だけX軸方向にシフトさせるとき(時刻T2)、アクチュエータに電圧V2(例えば200V)が印加される。次に、初期位置から3画素だけX軸方向にシフトさせるとき(時刻T3)は、アクチュエータに電圧V3(例えば300V)が印加される。その後(時刻T4)、アクチュエータに印加する電圧を0Vに戻すことにより、アクチュエータを初期状態に復帰することができる。
 上記の各実施形態では、1つの偏光子アレイ14に偏光透過軸が異なる4方向を向くように4種類の偏光子14A、14B、14C、14Dを配列しているが、本発明は、このような例に限定されない。図17を参照して説明したように、偏光情報を規定する正弦波を得るためには、偏光透過軸を少なくとも3つの異なる角度に設定すればよい。図25は、偏光透過軸方向が60°ずつ異なる3種類の偏光子14A、14B、14Cが配列された偏光子アレイ14上の移動を示している。この偏光子アレイには、偏光子が設けられてない領域か存在するが、移動のパターンは、図7に示される移動のパターンと同様である。その結果、各画素には、偏光子が設けられていない領域を透過する光も入射する。偏光子が設けられてない領域を透過する光が入射するとき、その画素からは偏光の無い光に関する輝度信号が得られる。
 図26(a)から図26(c)は、3種類の偏光子14A、14B、14Cが配列された偏光子アレイ14を用いて、X軸方向のみに沿ったシフトを行う例を示している。この場合に使用する偏光子アレイ14には、偏光子が設けられていない画素領域は存在しない。このため、各画素には、偏光子を透過する光が入射することになる。このような偏光アレイを用いる場合、画素シフトの1周期のストロークを短くすることができるため、アクチュエータを小型しやすい利点がある。
 図26(a)から図26(c)に示す動作を実行するとき、アクチュエータに印加させる電圧の波形例は図27に示すとおりである。
 上記の各実施形態では、各画素から偏光情報を得るため、偏光透過軸が3つまたは4つの異なる方向を向いた偏光子を各光感知セル上に順次配置し、画素信号(サンプル値)を読み出しているが、本発明は、このような例に限定されない。本発明の効果は、たとえば、偏光透過軸が2つの異なる方向を有する2種類の偏光子を透過した光を各光感知セルに入射する構成を採用しても得ることが可能である。この場合、図18に示すような輝度の変動カーブを決定する3つのパラメータを特定することはできない。しかし、たとえば、直交する偏光成分を検出することが可能であり、これも内視鏡などの技術分野で有益である。
 本発明の撮像素子、撮像装置は、偏光イメージング技術の種々の分野に応用され得る。たとえば、本発明の撮像素子および撮像装置は、セキュリティ、医療、通信、分析のためのキーデバイスとして有用である。
  10  撮像素子(イメージセンサ)
  12  光感知セルアレイ
  12a~12i  光感知セル
  14  偏光子アレイ(偏光モザイクアレイ板)
  14A~14D  偏光子
  16  シフト装置
  20  撮影レンズ
  30  撮像素子駆動部
  40  駆動回路
 100  撮像部
 120  垂直走査回路
 130  水平走査回路
 160a~160d  圧電変換素子
 200  信号処理部
 220  画像処理部(イメージプロセッサ)
 222  偏光度画像フレームメモリ
 224  偏光位相画像フレームメモリ
 226  輝度画像フレームメモリ
 240  メモリ
 260  インターフェース(IF)部
 300  撮像表示部
 400  記録部
 500  システム制御部
1000  可動偏光子ユニット
1000a 制御信号(リセット信号)
1000b 制御信号(電荷読み出し信号)
1001  ベース
1001a 凹部
1001b 開口部
1002  ベース
1002a 凹部
1002b 開口部
1004a リニアアクチュエータ
1004b リニアアクチュエータ
1005a スイッチ
1005b スイッチ
1006a 高電圧源
1006b 高電圧源
1010  ベース
4004a 櫛形MEMSリニアアクチュエータ
4004b 櫛形MEMSリニアアクチュエータ

Claims (12)

  1.  複数の光感知セルが撮像面に沿って配列された光感知セルアレイと、
     各々が偏光透過軸方向の異なるN個(Nは2以上の整数)の偏光子を含む複数の単位構造が2次元的に配列され、各光感知セルに1つの偏光子を透過した光が入射するように構成された偏光子アレイと、
     前記光感知セルアレイから画素信号を読み出す回路と、
     前記光感知セルアレイに対する前記偏光子アレイの位置を前記撮像面に平行な方向にシフトさせるシフト装置と、
    を備える撮像素子。
  2.  撮像を行うとき、前記シフト装置は、前記単位構造のサイズを超えない距離だけ前記偏光子アレイをシフトさせる請求項1に記載の撮像素子。
  3.  前記シフト装置は、前記光感知セルアレイの全体から蓄積電荷信号が読み出されるタイミングと同期して、前記偏光子アレイを画素単位でシフトさせ、各光感知セルに入射する光の偏光方向を変化させる、請求項1または2に記載の撮像素子。
  4.  前記複数の光感知セルの各々に対して、
     前記N個の偏光子の1つを透過する光を入射させるステップと、
     前記偏光子アレイを画素単位でシフトさせた後、前記N個の偏光子の他の1つを透過する光を入射させるステップと、
    を実行する、請求項1から3のいずれかに記載の撮像素子。
  5.  前記アクチュエータは、第1の方向に前記偏光子アレイを画素単位でシフトさせる第1アクチュエータ部分と、前記第1の方向に垂直な第2方向に前記偏光子アレイを画素単位でシフトさせる第2アクチュエータ部分とを含んでおり、
     前記撮像面に沿って前記偏光子アレイを周期的および2次元的に移動させる、請求項1から4のいずれかに記載の撮像素子。
  6.  Nは3以上である、請求項1から5のいずれかに記載の撮像素子。
  7.  前記シフト装置は、前記撮像面に沿って前記偏光子アレイを周期的および直線的に移動させる、請求項1から4のいずれかに記載の撮像素子。
  8.  前記偏光子アレイにおける偏光子の配列ピッチは、前記光感知セルアレイにおける光感知セルの配列ピッチに一致している、請求項1から7のいずれかに記載の撮像素子。
  9.  前記偏光子アレイにおける前記複数の単位構造の各々は、前記偏光透過軸方向が45°ずつ異なる4つの偏光子を含んでいる、請求項1から8のいずれかに記載の撮像素子。
  10.  前記偏光子アレイにおける前記複数の単位構造の各々は、前記偏光透過軸方向が60°ずつ異なる3つの偏光子を含んでいる、請求項1から8のいずれかに記載の撮像素子。
  11.  複数の光感知セルが撮像面に沿って配列された光感知セルアレイと、各々が偏光透過軸方向の異なるN個(Nは2以上の整数)の偏光子を含む複数の単位構造が2次元的に配列され、各光感知セルに1つの偏光子を透過した光が入射するように構成された偏光子アレイと、前記光感知セルアレイに対する前記偏光子アレイの位置を前記撮像面に平行な方向にシフトさせるシフト装置とを備える撮像素子と、
     前記シフト装置を駆動する駆動回路と、
     前記撮像素子上に像を形成するための撮影レンズと、
    を備える撮像装置。
  12.  前記シフト装置は、前記光感知セルアレイの全体から蓄積電荷信号が読み出されるタイミングと同期して、前記偏光子アレイを画素単位でシフトさせ、各光感知セルに入射する光の偏光方向を変化させ、個々の光感知セルに入射した偏光方向が異なる光の輝度値を得る、請求項11に記載の撮像装置。
PCT/JP2011/003933 2010-08-04 2011-07-08 撮像素子および撮像装置 WO2012017600A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2011551359A JP4932978B2 (ja) 2010-08-04 2011-07-08 撮像素子および撮像装置
US13/415,941 US20120169910A1 (en) 2010-08-04 2012-03-09 Image sensor and image capture device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010175542 2010-08-04
JP2010-175542 2010-08-04

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US13/415,941 Continuation US20120169910A1 (en) 2010-08-04 2012-03-09 Image sensor and image capture device

Publications (1)

Publication Number Publication Date
WO2012017600A1 true WO2012017600A1 (ja) 2012-02-09

Family

ID=45559126

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/003933 WO2012017600A1 (ja) 2010-08-04 2011-07-08 撮像素子および撮像装置

Country Status (3)

Country Link
US (1) US20120169910A1 (ja)
JP (1) JP4932978B2 (ja)
WO (1) WO2012017600A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2014020791A1 (ja) * 2012-08-02 2016-07-21 パナソニックIpマネジメント株式会社 偏光カラー撮像装置
WO2018034210A1 (en) 2016-08-18 2018-02-22 Sony Corporation Imaging device for obtaining polarized and non-polarized images
WO2020054152A1 (ja) * 2018-09-12 2020-03-19 ソニー株式会社 画像処理装置と画像処理方法およびプログラム
CN111131724A (zh) * 2019-12-31 2020-05-08 浙江大华技术股份有限公司 一种车窗彩纹消除系统、方法、装置、控制器及存储介质

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8842216B2 (en) 2012-08-30 2014-09-23 Raytheon Company Movable pixelated filter array
KR20160140698A (ko) * 2014-04-04 2016-12-07 멤스 스타트 엘엘씨 광전자 소자를 이동시키기 위한 액추에이터
KR102682122B1 (ko) * 2016-02-17 2024-07-08 삼성전자주식회사 전자식 편광필터, 이를 포함하는 전자장치 및 그 동작방법
JP6697681B2 (ja) 2016-08-17 2020-05-27 ソニー株式会社 検査装置、検査方法、およびプログラム
JP6697680B2 (ja) 2016-08-17 2020-05-27 ソニー株式会社 信号処理装置、信号処理方法、およびプログラム
CN108009995B (zh) * 2017-11-03 2021-11-19 合肥工业大学 一种基于图像的迟滞模型校正afm扫描图像迟滞的方法
US11403475B2 (en) * 2018-12-21 2022-08-02 Datalogic Ip Tech S.R.L. DPM barcode reader having a partially polarized window coupled to diffusive, polarized and bright fields opportunely tuned to particular wavelengths
CN112394548B (zh) * 2019-08-19 2024-02-09 中强光电股份有限公司 视角控制器及显示装置
US20210144483A1 (en) * 2019-11-07 2021-05-13 Innovative Interface Laboratory Corp. Single-axis actuator, acoustic wave generator and its array
WO2021105271A1 (en) * 2019-11-27 2021-06-03 Sony Corporation Polarization imaging device and method for polarization imaging
CN113055575B (zh) * 2021-03-30 2023-02-07 Oppo广东移动通信有限公司 图像传感器、摄像头模组及电子设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008099589A1 (ja) * 2007-02-13 2008-08-21 Panasonic Corporation 画像処理システム、方法、装置、及び画像フォーマット
JP2008209162A (ja) * 2007-02-23 2008-09-11 Matsushita Electric Works Ltd 距離画像センサ

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008099589A1 (ja) * 2007-02-13 2008-08-21 Panasonic Corporation 画像処理システム、方法、装置、及び画像フォーマット
JP2008209162A (ja) * 2007-02-23 2008-09-11 Matsushita Electric Works Ltd 距離画像センサ

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2014020791A1 (ja) * 2012-08-02 2016-07-21 パナソニックIpマネジメント株式会社 偏光カラー撮像装置
WO2018034210A1 (en) 2016-08-18 2018-02-22 Sony Corporation Imaging device for obtaining polarized and non-polarized images
US10877288B2 (en) 2016-08-18 2020-12-29 Sony Corporation Imaging device and imaging method
WO2020054152A1 (ja) * 2018-09-12 2020-03-19 ソニー株式会社 画像処理装置と画像処理方法およびプログラム
CN112655219A (zh) * 2018-09-12 2021-04-13 索尼公司 图像处理装置、图像处理方法和程序
JPWO2020054152A1 (ja) * 2018-09-12 2021-08-30 ソニーグループ株式会社 画像処理装置と画像処理方法およびプログラム
JP7276346B2 (ja) 2018-09-12 2023-05-18 ソニーグループ株式会社 画像処理装置と画像処理方法およびプログラム
US11930160B2 (en) 2018-09-12 2024-03-12 Sony Corporation Image processing apparatus, image processing method, and program
CN112655219B (zh) * 2018-09-12 2024-05-10 索尼公司 图像处理装置、图像处理方法和记录介质
CN111131724A (zh) * 2019-12-31 2020-05-08 浙江大华技术股份有限公司 一种车窗彩纹消除系统、方法、装置、控制器及存储介质
CN111131724B (zh) * 2019-12-31 2022-02-18 浙江大华技术股份有限公司 一种车窗彩纹消除系统、方法、装置、控制器及存储介质

Also Published As

Publication number Publication date
JP4932978B2 (ja) 2012-05-16
JPWO2012017600A1 (ja) 2013-09-19
US20120169910A1 (en) 2012-07-05

Similar Documents

Publication Publication Date Title
JP4932978B2 (ja) 撮像素子および撮像装置
US8305429B2 (en) Image pickup apparatus and image pickup method
CN104363380B (zh) 图像采集控制方法和装置
EP0645659B1 (en) Three dimensional imaging apparatus, camera, and microscope.
CN101335492B (zh) 抖动校正装置
US20060279638A1 (en) Photographing apparatus
KR101537949B1 (ko) 촬상 장치
WO2016129408A1 (ja) イメージセンサ、読み出し制御方法、および電子機器
US9083880B2 (en) Imaging device, semiconductor integrated circuit, and imaging method
US9781311B2 (en) Liquid crystal optical device, solid state imaging device, portable information terminal, and display device
CN101310522A (zh) 摄像装置
JP2023549924A (ja) カメラモジュール、結像方法、電子機器、可読記憶媒体及びチップ
JP2009210921A (ja) 像ぶれ補正装置、レンズ鏡筒装置及びカメラ装置
CN101373940B (zh) 驱动装置
WO2012039087A1 (ja) 撮像素子および撮像装置
US20130215285A1 (en) Image pickup apparatus
JP2931809B1 (ja) 撮像装置
US9148558B2 (en) Camera module having first and second imaging optical system controlled in relation to imaging modes and imaging method
JP2006343698A (ja) 塵埃除去装置及び撮像装置
TWM456509U (zh) 共用影像感測元件之影像擷取裝置
JPH04115786A (ja) イメージシフト型撮像装置
JP2007336368A (ja) 撮像素子、表示素子
JP2013052180A (ja) 撮像装置
JPS61270973A (ja) 固体撮像素子を用いた画像入力装置
JP2575619B2 (ja) 撮像装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2011551359

Country of ref document: JP

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11814240

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 5669/CHENP/2012

Country of ref document: IN

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11814240

Country of ref document: EP

Kind code of ref document: A1