Nothing Special   »   [go: up one dir, main page]

WO2021193646A1 - イメージング装置および車両用灯具、車両 - Google Patents

イメージング装置および車両用灯具、車両 Download PDF

Info

Publication number
WO2021193646A1
WO2021193646A1 PCT/JP2021/012021 JP2021012021W WO2021193646A1 WO 2021193646 A1 WO2021193646 A1 WO 2021193646A1 JP 2021012021 W JP2021012021 W JP 2021012021W WO 2021193646 A1 WO2021193646 A1 WO 2021193646A1
Authority
WO
WIPO (PCT)
Prior art keywords
light emitting
light
emitting pixel
pixels
imaging device
Prior art date
Application number
PCT/JP2021/012021
Other languages
English (en)
French (fr)
Inventor
祐太 春瀬
真太郎 杉本
輝明 鳥居
健人 新田
Original Assignee
株式会社小糸製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社小糸製作所 filed Critical 株式会社小糸製作所
Priority to CN202180024159.5A priority Critical patent/CN115335726A/zh
Priority to JP2022510554A priority patent/JPWO2021193646A1/ja
Publication of WO2021193646A1 publication Critical patent/WO2021193646A1/ja
Priority to US17/934,777 priority patent/US12108164B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/0017—Devices integrating an element dedicated to another function
    • B60Q1/0023—Devices integrating an element dedicated to another function the element being a sensor, e.g. distance sensor, camera
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4814—Constructional features, e.g. arrangements of optical elements of transmitters alone
    • G01S7/4815—Constructional features, e.g. arrangements of optical elements of transmitters alone using multiple transmitters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/02—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
    • B60Q1/04—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/02—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
    • B60Q1/24—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments for lighting other areas than only the way ahead
    • B60Q1/249—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments for lighting other areas than only the way ahead for illuminating the field of view of a sensor or camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle

Definitions

  • This disclosure relates to an imaging device.
  • An object identification system that senses the position and type of objects existing around the vehicle is used for automatic driving and automatic control of the light distribution of headlamps.
  • the object identification system includes a sensor and an arithmetic processing unit that analyzes the output of the sensor.
  • the sensor is selected from cameras, LiDAR (Light Detection and Ranging, Laser Imaging Detection and Ranging), millimeter-wave radar, ultrasonic sonar, etc. in consideration of application, required accuracy, and cost.
  • the imaging devices As one of the imaging devices (sensors), one that uses the principle of ghost imaging is known.
  • ghost imaging an object is irradiated while randomly switching the intensity distribution (pattern) of the reference light, and the light detection intensity of the reflected light is measured for each pattern.
  • the photodetection intensity is an integral value of energy or intensity over a plane, not an intensity distribution. Then, the restored image of the object is reconstructed by correlating the corresponding pattern with the light detection intensity.
  • the present inventors examined the area division method described below as a comparative technique. This comparative technique must not be recognized as a known technique.
  • FIGS. 1A and 1B are diagrams for explaining the area division method.
  • the lighting device includes a plurality of light emitting pixels that can be individually turned on and off.
  • the plurality of light emitting pixels are divided into a plurality of compartments (areas) A1 to A4.
  • reference light is irradiated to each of the compartments A1 to A4 while randomly changing the intensity distribution. Then, for each of the plurality of compartments A1 to A4, the restored image of the portion of the object included in the compartment is reconstructed by correlating the output of the photodetector and the intensity distribution of the reference light.
  • the total amount of calculation can be reduced as compared with the non-division method in which all pixels are used to randomly irradiate without dividing into sections.
  • FIG. 2A is a photograph of the target used for verification, showing an elephant figurine.
  • FIG. 2B is a diagram showing a restored image obtained by the non-division method, and
  • FIG. 2C is a diagram showing a restored image obtained by the area division method.
  • the algorithm of ghost imaging GI and the algorithm of differential ghost imaging DGI were used. The number of pixels is 64 ⁇ 64 pixels, and each area is composed of 32 ⁇ 32 pixels.
  • the pixel values of the remaining sections A2 to A4 are smaller than the restored image of the upper left section A1, and the boundaries of the sections are clearly visible. In terms of image quality, it is inferior to the non-divided method.
  • the present disclosure has been made in such a situation, and one of the exemplary purposes of the embodiment is to provide an imaging apparatus that suppresses deterioration of image quality while reducing the amount of calculation.
  • the imaging device includes a plurality of light emitting pixels that can be individually controlled on and off, and irradiates a reference light having a random intensity distribution, a photodetector that measures reflected light from an object, and a photodetector. It is provided with an arithmetic processing device for reconstructing an image of an object by calculating the correlation between the detection intensity and the intensity distribution of the reference light based on the output of.
  • the plurality of light emitting pixels are divided into m (m ⁇ 2) regions including n (n ⁇ 2) light emitting pixels adjacent to each other, and one light emitting pixel is selected from each of the m regions without duplication. By doing so, n light emitting pixel groups are defined. Then, for each light emitting pixel group, the light emitting pixels included in the light emitting pixel group are switched on and off to change the intensity distribution of the reference light.
  • the restored image of the object is restored for each light emitting pixel group.
  • deterioration of image quality can be suppressed while reducing the amount of calculation.
  • FIG. 1A and 1B are diagrams for explaining the area division method.
  • FIG. 2A is a photograph of the target used for verification
  • FIG. 2B is a diagram showing a restored image obtained by the non-division method
  • FIG. 2C is a diagram obtained by the area division method. It is a figure which shows the restored image to be done. It is a figure which shows the imaging apparatus which concerns on embodiment.
  • 4 (a) and 4 (b) are diagrams for explaining the generation of the reference light S1 according to the embodiment. It is a figure explaining the pattern control of the reference light which concerns on embodiment.
  • FIG. 6A is a diagram showing an image obtained by the raster scan method
  • FIG. 6B is a diagram showing an image obtained by the area division method.
  • FIG. It is a block diagram of an object identification system. It is a figure which shows the automobile equipped with the object identification system. It is a block diagram which shows the lamp for a vehicle provided with the object detection system.
  • the imaging device includes a plurality of light emitting pixels whose on and off can be individually controlled, a lighting device that irradiates reference light having a random intensity distribution, and a photodetector that measures reflected light from an object. It also includes an arithmetic processing device that reconstructs an image of an object by calculating the correlation between the detection intensity based on the output of the photodetector and the intensity distribution of the reference light.
  • the plurality of light emitting pixels are partitioned into m (m ⁇ 2) regions including n adjacent (n ⁇ 2) light emitting pixels. By selecting one light emitting pixel from each of the m regions without duplication, n light emitting pixel groups are defined.
  • the imaging device performs sensing for each light emitting pixel group.
  • the arithmetic processing is performed as compared with the case where the sensing is performed using all the pixels and the correlation calculation is performed collectively. The amount can be reduced. Further, since the light emitting pixels included in each light emitting pixel group are distributed over the entire sensing range, the plurality of light detection intensities obtained for the n light emitting pixel groups are made uniform. Therefore, the brightness of the restored image obtained for each light emitting pixel group can be made uniform, and deterioration of the image quality of the restored image can be suppressed.
  • each light emitting pixel group may include light emitting pixels at the same position (coordinates) in m regions.
  • the switching process of the light emitting pixel group can be simplified.
  • the calculation process can be simplified.
  • each light emitting pixel group may include light emitting pixels at different positions in m regions.
  • the plurality of light detection intensities obtained for the n light emitting pixel groups can be made uniform, and the image quality may be improved.
  • the arithmetic processing unit may synthesize n images obtained for n light emitting pixel groups to generate one image. As a result, it is possible to obtain a restored image having the same resolution as when sensing is performed using all the pixels at the same time.
  • FIG. 3 is a diagram showing an imaging device 100 according to an embodiment.
  • the imaging device 100 is a correlation function image sensor using the principle of ghost imaging, and includes a lighting device 110, a photodetector 120, and an arithmetic processing device 130.
  • the imaging device 100 is also referred to as a quantum radar camera.
  • the lighting device 110 is a pseudo-heat light source, generates reference light S1 having an intensity distribution I that can be regarded as substantially random, and irradiates the object OBJ.
  • the lighting device 110 includes a plurality of (k) light emitting pixels PIX.
  • the light emitting pixel is an on / off (lighting / extinguishing) control unit.
  • One light emitting pixel PIX may include a plurality of sub-pixels that are collectively set to be on and off.
  • the lighting device 110 generates the reference light S1 that is spatially patterned (modulated) according to the combination of turning on and off the light emitting pixel PIX.
  • the plurality of light emitting pixels PIX are divided into m (m ⁇ 2) regions including n adjacent (n ⁇ 2) light emitting pixels.
  • the number m of regions is k / n. There will be 16 pieces.
  • the plurality of light emitting pixels PIX are classified into n light emitting pixel groups PG1 to PGn (PG1 to PG4).
  • Each light emitting pixel group PG1 to PG4 is formed by selecting one light emitting pixel PIX from each of m regions without duplication.
  • One light emitting pixel group includes m light emitting pixels PIX.
  • the position here is a relative position (coordinates) in each area. That is, the light emitting pixel group PG1 includes the upper left light emitting pixel PIX of each of the m regions, the light emitting pixel group PG2 includes the upper right light emitting pixel PIX of each of the m regions, and the light emitting pixel group PG3 includes m.
  • the lower left light emitting pixel PIX of each of the regions is included, and the light emitting pixel group PG4 includes the lower right light emitting pixel PIX of each of the m regions.
  • the imaging device 100 performs sensing for each of the light emitting pixel groups PG1 to PGn.
  • FIG. 5 is a diagram illustrating pattern control of the reference light according to the embodiment.
  • the j-th intensity distribution of the i-th light emitting pixel group PGi is expressed as I i, j.
  • the reference light of the intensity distribution of I i, 1 to I i, max is irradiated.
  • I i and j among the m light emitting pixels constituting the i-th light emitting pixel group PGi, some are on (on) and some are off (off), and the distribution of the on pixels is substantially. It changes randomly.
  • the total number of irradiations, that is, the number of patterns is n ⁇ max.
  • the irradiation method described in FIG. 5 is called a raster scan method.
  • the photodetector 120 measures the reflected light from the object OBJ and outputs the detection signal D.
  • the detection signals D i and j are spatially integrated values of the light energy (or intensity) incident on the photodetector 120 when the object OBJ is irradiated with the reference light S1 having the intensity distributions I i and j. Therefore, the photodetector 120 can use a single pixel photodetector (photodetector).
  • the order of irradiation of the reference light S1 is not particularly limited.
  • I 1,1 to I 1, max , I 2,1 to I 2, max , I 3,1 to I 3, max , In , 1 to In , max may be irradiated in this order.
  • I 1,1 ⁇ I n, 1 , I 1,2 ⁇ I n, 2, ... I 1, max ⁇ I n may be irradiated in the order of max.
  • the lighting device 110 may include, for example, a light source 112 that generates light S0 having a uniform intensity distribution, and a patterning device 114 that can spatially modulate the intensity distribution of the light S0.
  • a light source 112 that generates light S0 having a uniform intensity distribution
  • a patterning device 114 that can spatially modulate the intensity distribution of the light S0.
  • the light source 112 a laser, a light emitting diode, or the like may be used.
  • the wavelength and spectrum of the reference light S1 are not particularly limited, and may be white light having a plurality of or continuous spectra, or monochromatic light including a predetermined wavelength (for example, near infrared or infrared). ..
  • the patterning device 114 As the patterning device 114, a DMD (Digital Micromirror Device) or a liquid crystal device can be used. In the present embodiment, the patterning device 114 covers the entire measurement range 600 and has the ability to simultaneously irradiate the entire measurement range 600.
  • DMD Digital Micromirror Device
  • liquid crystal device As the patterning device 114, a DMD (Digital Micromirror Device) or a liquid crystal device can be used. In the present embodiment, the patterning device 114 covers the entire measurement range 600 and has the ability to simultaneously irradiate the entire measurement range 600.
  • the patterning device 114 is given pattern signals PTN i, j (image data) for designating the intensity distributions I i, j from the arithmetic processing unit 130. Therefore, the arithmetic processing unit 130 knows the current position of the irradiation section and the intensity distributions Ii and j of the reference light S1.
  • the arithmetic processing unit 130 includes a pattern generator 132 and a reconstruction processing unit 134.
  • the pattern generator 132 may randomly generate the intensity distributions I i and j of the reference light S1 each time.
  • the pattern generator 132 can include a pseudo-random signal generator.
  • the set I 1 to I max of the intensity distribution of the common pattern may be used for the plurality of light emitting pixel groups PG1 to PGn.
  • I 1 to I max may be generated by shifting several pixels horizontally and / or vertically.
  • the arithmetic processing unit 130 can be implemented by combining a processor (hardware) such as a CPU (Central Processing Unit), an MPU (Micro Processing Unit), or a microcomputer, and a software program executed by the processor (hardware).
  • a processor such as a CPU (Central Processing Unit), an MPU (Micro Processing Unit), or a microcomputer
  • the arithmetic processing unit 130 may be a combination of a plurality of processors. Alternatively, the arithmetic processing unit 130 may be configured only by hardware.
  • the reconstruction processing unit 134 has a plurality of detection intensities bi , 1 to bi , max and intensity distributions I i, 1 of the reference light S1 i, 1 to S1 i, max for one PGi of the light emitting pixel groups PG1 to PGn.
  • ⁇ I i by correlating the max, to reconstruct an image G i of the object OBJ.
  • Resolution of the image G i becomes 1 / n times the lighting device 110 resolution.
  • the detection intensities bi , 1 to bi , max are based on the detection signals Di, 1 to Di, max .
  • the relationship between the detection intensities bi and j and the detection signals Di and j may be determined in consideration of the type and method of the photodetector 120.
  • the reference light S1 of a certain intensity distribution Ii, j is irradiated over a certain irradiation period.
  • the detection signals D i and j represent the amount of light received at a certain time (or a minute time), that is, an instantaneous value.
  • the detection signals Di and j may be sampled a plurality of times during the irradiation period, and the detection intensities bi and j may be the integrated value, the average value or the maximum value of all the sampling values of the detection signals Di and j.
  • some of the total sampling values may be selected, and the integrated value, average value, or maximum value of the selected sampling values may be used.
  • the xth to yth ranks may be extracted counting from the maximum value, sampling values lower than an arbitrary threshold value may be excluded, and the magnitude of signal fluctuation may be excluded. Sampling values in a small range may be extracted.
  • the outputs Di and j of the photodetector 120 can be used as they are as the detection intensities bi and j .
  • the conversion of the detection signals D i and j to the detection intensities bi and j may be performed by the arithmetic processing unit 130 or may be performed outside the arithmetic processing unit 130.
  • Processor 130 may generate a single image by combining a plurality of images G 1 ⁇ G n obtained for a plurality of light emitting pixel groups PG1 ⁇ PGn.
  • One image has the same high resolution as the resolution of the illuminating device 110.
  • the decrease in the number of calculations means that the calculation time can be shortened when a calculation processing device having the same speed is used.
  • a slower (and therefore cheaper) arithmetic processing unit can be employed to complete the processing in the same amount of time.
  • FIG. 6A is a diagram showing an image obtained by the raster scan method
  • FIG. 6B is a diagram showing an image obtained by the area division method.
  • the verification is performed under the same conditions as in FIGS. 2A and 2B, and in the area division method, each area includes 32 ⁇ 32 pixels.
  • n 4
  • each light emitting pixel group PG1 to PG4 includes 32 ⁇ 32 pixels.
  • the maximum number of irradiations for each area or each light emitting pixel group is 10,000.
  • the entire state of the object cannot be known unless the images of the entire area are reconstructed.
  • the state of the entire object can be detected with a coarse resolution for each sensing of the light emitting pixel group.
  • the brightness of the image obtained is different for each area, and therefore, the boundary of the area appears in the combined image, and the image quality is deteriorated.
  • This is the brightness of the image is due to be affected by ⁇ b i> in the formula (1).
  • the ⁇ b i> in the upper left area, among the 32 ⁇ 32 pixels, only the lower part corresponding to the elephant's head, the object is present and thus the ratio of the object occupying the number of pixels is low, the ⁇ b i> It becomes smaller.
  • the proportion of the 32 ⁇ 32 pixels corresponding to the elephant's body and feet is large, and the proportion of objects indicated by the number of pixels is high, ⁇ b. i > becomes large. This is the reason why the brightness differs from area to area.
  • the proportion of the light emitting pixel groups PG1 to PG4 by the object indicated by the number of pixels is made uniform.
  • a light-emitting pixel groups PG1 ⁇ PG4 can be made close to ⁇ b i>.
  • uniform brightness of G 1 ⁇ G 4 in the image after the synthesis like the boundary of the area without causing can improve the image quality.
  • each of the light emitting pixel groups PGi is, when containing a light-emitting pixel of the same position, also the advantage of simplifying the calculation process in the synthesis of n images G 1 ⁇ G n one image be.
  • FIG. 7 is a diagram illustrating a light emitting pixel group according to the first modification.
  • the n light emitting pixel groups PG1 to PGn are configured to include light emitting pixels at different positions in m regions. At this time, it is preferable to select so that the distribution of the light emitting pixels included in each light emitting pixel group PGi is as random as possible. Thereby, the bias of the existence of the object with respect to the light emitting pixel groups PG1 to PGn can be further eliminated.
  • Modification 2 The image reconstruction algorithm to which the present invention can be applied is not limited to GI, and can be applied to sensing devices of other algorithms such as DGI.
  • the lighting device 110 is composed of a combination of the light source 112 and the patterning device 114, but the present invention is not limited to this.
  • the lighting device 110 is composed of an array of a plurality of semiconductor light sources (LED (light emitting diode) and LD (laser diode)) arranged in a matrix, and can control on / off (or brightness) of each semiconductor light source. It may be configured.
  • LED light emitting diode
  • LD laser diode
  • FIG. 8 is a block diagram of the object identification system 10.
  • This object identification system 10 is mounted on a vehicle such as an automobile or a motorcycle, and determines the type (category) of the object OBJ existing around the vehicle.
  • the object identification system 10 includes an imaging device 100 and an arithmetic processing unit 40. As described above, the imaging device 100 irradiates the object OBJ with the reference light S1 and measures the reflected light S2 to generate a restored image G of the object OBJ.
  • the arithmetic processing unit 40 processes the output image G of the imaging device 100 and determines the position and type (category) of the object OBJ.
  • the classifier 42 of the arithmetic processing unit 40 receives the image G as an input and determines the position and type of the object OBJ included in the image G.
  • the classifier 42 is implemented based on the model generated by machine learning.
  • the algorithm of the classifier 42 is not particularly limited, but YOLO (You Only Look Once), SSD (Single Shot MultiBox Detector), R-CNN (Region-based Convolutional Neural Network), SPPnet (Spatial Pyramid Pooling), Faster R-CNN. , DSSD (Deconvolution-SSD), Mask R-CNN, etc. can be adopted, or algorithms developed in the future can be adopted.
  • the noise immunity is significantly improved. For example, when it is raining, snowing, or traveling in fog, it is difficult to recognize the object OBJ with the naked eye, but by using the imaging device 100, the object OBJ is not affected by rain, snow, or fog.
  • the restored image G can be obtained.
  • the amount of calculation can be reduced by performing sensing for each light emitting pixel group PG. This makes it possible to increase the frame rate or select an inexpensive processor as an arithmetic processing unit.
  • the number n of the light emitting pixel group PG may be adaptively changed according to the traveling environment.
  • FIG. 9 is a diagram showing an automobile equipped with the object identification system 10.
  • the automobile 300 includes headlights 302L and 302R.
  • the imaging device 100 is built in at least one of the headlights 302L and 302R.
  • the headlight 302 is located at the most tip of the vehicle body, and is the most advantageous as an installation location of the imaging device 100 in detecting surrounding objects.
  • FIG. 10 is a block diagram showing a vehicle lamp 200 including an object detection system 210.
  • the vehicle lamp 200 constitutes the lamp system 310 together with the vehicle side ECU 304.
  • the vehicle lamp 200 includes a light source 202, a lighting circuit 204, and an optical system 206. Further, the vehicle lamp 200 is provided with an object detection system 210.
  • the object detection system 210 corresponds to the above-mentioned object identification system 10, and includes an imaging device 100 and an arithmetic processing unit 40.
  • the information about the object OBJ detected by the arithmetic processing unit 40 may be used for the light distribution control of the vehicle lamp 200.
  • the lamp side ECU 208 generates an appropriate light distribution pattern based on the information regarding the type of the object OBJ generated by the arithmetic processing unit 40 and its position.
  • the lighting circuit 204 and the optical system 206 operate so as to obtain the light distribution pattern generated by the lamp side ECU 208.
  • the information about the object OBJ detected by the arithmetic processing unit 40 may be transmitted to the vehicle side ECU 304.
  • the vehicle-side ECU may perform automatic driving based on this information.
  • the present invention relates to an imaging device.
  • OBJ Object 10 Object Identification System 40 Arithmetic Processing Device 42 Classifier 100 Imaging Device 110 Lighting Device 112 Light Source 114 Patterning Device 120 Light Detector 130 Computational Processing Device 132 Pattern Generator 134 Reconstruction Processing Unit 200 Vehicle Lighting Equipment 202 Light Source 204 Lighting Circuit 206 Optical system 300 Automobile 302 Headlight 310 Lighting system 304 Vehicle side ECU 600 measurement range 602 compartments

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

照明装置１１０は、オン、オフが個別に制御可能な複数の発光画素を含み、強度分布がランダムな参照光Ｓ１を照射する。光検出器１２０は、物体ＯＢＪからの反射光を測定する。演算処理装置１３０は、光検出器１２０の出力にもとづく検出強度ｂと参照光Ｓ１の強度分布Ｉの相関計算により、物体ＯＢＪの画像を再構成する。複数の発光画素は、それぞれが隣接するｎ個（ｎ≧２）の発光画素を含むｍ個（ｍ≧２）の領域に区画される。ｍ個の領域それぞれから重複なく１個の発光画素を選択することにより、ｎ個の発光画素群が定められる。イメージング装置１００は、発光画素群ごとにセンシングを行う。

Description

イメージング装置および車両用灯具、車両
　本開示は、イメージング装置に関する。
　自動運転やヘッドランプの配光の自動制御のために、車両の周囲に存在する物体の位置および種類をセンシングする物体識別システムが利用される。物体識別システムは、センサと、センサの出力を解析する演算処理装置を含む。センサは、カメラ、ＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）、ミリ波レーダ、超音波ソナーなどの中から、用途、要求精度やコストを考慮して選択される。
　イメージング装置（センサ）のひとつとして、ゴーストイメージングの原理を利用したものが知られている。ゴーストイメージングは、参照光の強度分布（パターン）をランダムに切り替えながら物体に照射し、パターンごとに反射光の光検出強度を測定する。光検出強度はある平面にわたるエネルギーあるいは強度の積分値であり、強度分布ではない。そして、対応するパターンと光検出強度との相関をとることにより、物体の復元画像を再構成（reconstruct）する。
特許第６４１２６７３号公報
F. Ferri, D. Magatti, L. A. Lugiato, and A. Gatti, "Differential gohst imaging", Phys. Rev. Lett. 104, 253603 (2010)
　本発明者らは、比較技術として、以下で説明するエリア分割方式について検討した。なおこの比較技術を公知技術と認定してはならない。
　図１（ａ）、（ｂ）は、エリア分割方式を説明する図である。図１（ａ）に示すように、照明装置は、個別にオン、オフが可能な複数の発光画素を含む。そして複数の発光画素は、複数の区画（エリア）Ａ１～Ａ４に分割されている。
　比較技術では、図１（ｂ）に示すように、区画Ａ１～Ａ４それぞれについて、強度分布がランダムに変化させながら参照光を照射する。そして複数の区画Ａ１～Ａ４それぞれについて、光検出器の出力と参照光の強度分布の相関をとることにより物体の当該区画に含まれる部分の復元画像を再構成する。
　この比較技術によれば、区画に区分せずに、全画素を利用してランダムに照射する非分割方式に比べてトータルの演算量を減らすことができる。
　本発明者らは、非分割方式とエリア分割方式について検証実験を行った。この検証では、照射エリアを４個の区画に分割している。図２（ａ）は、検証に使用したターゲットの写真であり、象の置物が写っている。図２（ｂ）は、非分割方式において得られる復元画像を示す図であり、図２（ｃ）は、エリア分割方式において得られる復元画像を示す図である。検証には、ゴーストイメージングＧＩのアルゴリズムと、差分ゴーストイメージングＤＧＩのアルゴリズムを用いた。画素数は、６４×６４画素であり、各エリアは３２×３２画素で構成される。
　エリア分割方式では、図２（ｃ）に示すように、左上の区画Ａ１の復元画像に比べて残りの区画Ａ２～Ａ４の画素値が小さくなっており、区画の境界が明瞭に現れており、画質の点で、非分割方式に劣っている。
　本開示は係る状況においてなされたものであり、そのある態様の例示的な目的のひとつは、演算量を低減しつつ、画質の劣化を抑制したイメージング装置の提供にある。
　本開示のある態様は、イメージング装置に関する。イメージング装置は、オン、オフが個別に制御可能な複数の発光画素を含み、強度分布がランダムな参照光を照射する照明装置と、物体からの反射光を測定する光検出器と、光検出器の出力にもとづく検出強度と参照光の強度分布の相関計算により、物体の画像を再構成する演算処理装置と、を備える。複数の発光画素は、それぞれが隣接するｎ個（ｎ≧２）の発光画素を含むｍ個（ｍ≧２）の領域に区画され、ｍ個の領域それぞれから重複なく１個の発光画素を選択することにより、ｎ個の発光画素群が定められる。そして、発光画素群ごとに、それに含まれる発光画素のオン、オフを切り替えて参照光の強度分布を変化させる。物体の復元画像は、発光画素群ごとに復元される。
　本開示によれば、演算量を低減しつつ、画質の劣化を抑制できる。
図１（ａ）、（ｂ）は、エリア分割方式を説明する図である。 図２（ａ）は、検証に使用したターゲットの写真であり、図２（ｂ）は、非分割方式において得られる復元画像を示す図であり、図２（ｃ）は、エリア分割方式において得られる復元画像を示す図である。 実施形態に係るイメージング装置を示す図である。 図４（ａ）、（ｂ）は、実施形態に係る参照光Ｓ１の生成を説明する図である。 実施形態に係る参照光のパターン制御を説明する図である。 図６（ａ）は、ラスタースキャン方式により得られる画像を示す図であり、図６（ｂ）は、エリア分割方式により得られる画像を示す図である。 変形例１に係る発光画素群を説明する図である。 物体識別システムのブロック図である。 物体識別システムを備える自動車を示す図である。 物体検出システムを備える車両用灯具を示すブロック図である。
（実施形態の概要）
　本開示のいくつかの例示的な実施形態の概要を説明する。この概要は、後述する詳細な説明の前置きとして、実施形態の基本的な理解を目的として、１つまたは複数の実施形態のいくつかの概念を簡略化して説明するものであり、発明あるいは開示の広さを限定するものではない。またこの概要は、考えられるすべての実施形態の包括的な概要ではなく、実施形態の欠くべからざる構成要素を限定するものではない。便宜上、「一実施形態」は、本明細書に開示するひとつの実施形態（実施例や変形例）または複数の実施形態（実施例や変形例）を指すものとして用いる場合がある。
　この概要は、考えられるすべての実施形態の広範な概要ではなく、すべての実施形態の重要な要素または重要な要素を特定することも、一部またはすべての態様の範囲を線引きすることも意図していない。その唯一の目的は、後で提示するより詳細な説明の前置きとして、１つまたは複数の実施形態のいくつかの概念を簡略化した形で提示することである。
　一実施形態に係るイメージング装置は、オン、オフが個別に制御可能な複数の発光画素を含み、強度分布がランダムな参照光を照射する照明装置と、物体からの反射光を測定する光検出器と、光検出器の出力にもとづく検出強度と参照光の強度分布の相関計算により、物体の画像を再構成する演算処理装置と、を備える。複数の発光画素は、それぞれが隣接するｎ個（ｎ≧２）の発光画素を含むｍ個（ｍ≧２）の領域に区画される。ｍ個の領域それぞれから重複なく１個の発光画素を選択することにより、ｎ個の発光画素群が定められる。イメージング装置は、発光画素群ごとにセンシングを行う。
　この実施形態によれば、１つの発光画素群ごとに画像を再構成するための相関計算を行うため、全画素を利用してセンシングを行い、まとめて相関計算を行う場合に比べて、演算処理量を減らすことができる。また、各発光画素群に含まれる発光画素は、センシング範囲全体にわたって分布するため、ｎ個の発光画素群について得られる複数の光検出強度は均一化される。そのため、発光画素群ごとに得られる復元画像の明るさを揃えることができ、復元画像の画質の劣化を抑制できる。
　一実施形態において、各発光画素群は、ｍ個の領域の同じ位置（座標）の発光画素を含んでもよい。この場合、発光画素群の切り替え処理を簡素化できる。また、ｎ個の発光画素群について得られるｎ枚の画像を合成して１枚の画像を生成する際には、その演算処理を簡素化できる。
　一実施形態において、各発光画素群は、ｍ個の領域の異なる位置の発光画素を含んでもよい。これにより、ｎ個の発光画素群について得られる複数の光検出強度は均一化することができ、画質が改善できる場合がある。
　一実施形態において、演算処理装置は、ｎ個の発光画素群について得られるｎ枚の画像を合成し、１枚の画像を生成してもよい。これにより、全画素を同時に使用してセンシングを行った場合と同等の解像度の復元画像を得ることができる。
（実施形態）
　以下、本発明を好適な実施形態をもとに図面を参照しながら説明する。各図面に示される同一または同等の構成要素、部材、処理には、同一の符号を付するものとし、適宜重複した説明は省略する。また、実施形態は、発明を限定するものではなく例示であって、実施形態に記述されるすべての特徴やその組み合わせは、必ずしも発明の本質的なものであるとは限らない。
　本明細書における「強度分布がランダム」とは、完全なランダムであることを意味するものではなく、ゴーストイメージングにおいて画像を再構築できる程度に、ランダムであればよい。したがって本明細書における「ランダム」は、その中にある程度の規則性を内包することができる。また「ランダム」は、完全に予測不能であることを要求するものではなく、予想可能、再生可能であってもよい。
　図３は、実施形態に係るイメージング装置１００を示す図である。イメージング装置１００はゴーストイメージングの原理を用いた相関関数イメージセンサであり、照明装置１１０、光検出器１２０、演算処理装置１３０を備える。イメージング装置１００を、量子レーダカメラとも称する。
　照明装置１１０は疑似熱光源であり、実質的にランダムとみなしうる強度分布Ｉを有する参照光Ｓ１を生成し、物体ＯＢＪに照射する。
　図４（ａ）、（ｂ）は、実施形態に係る参照光Ｓ１の生成を説明する図である。図４（ａ）に示すように、照明装置１１０は、複数（ｋ個）の発光画素ＰＩＸを含む。発光画素は、オン・オフ（点灯、消灯）の制御単位である。１つの発光画素ＰＩＸは、まとめてオン、オフが設定される複数のサブピクセルを含んでもよい。照明装置１１０は、発光画素ＰＩＸのオン、オフの組み合わせに応じて空間的にパターニング（変調）された参照光Ｓ１を生成する。
　複数の発光画素ＰＩＸは、それぞれが隣接するｎ個（ｎ≧２）の発光画素を含むｍ個（ｍ≧２）の領域に区画される。
　この例では、照明装置１１０はｋ＝８×８＝６４個の発光画素ＰＩＸを含み、隣接する縦横２個すなわちｎ＝４個の発光画素ＰＩＸが、ひとつの区画を形成している。領域の個数ｍは、ｋ／ｎとなる。
１６個となる。
　複数の発光画素ＰＩＸは、ｎ個の発光画素群ＰＧ１～ＰＧｎ（ＰＧ１～ＰＧ４）に分類される。各発光画素群ＰＧ１～ＰＧ４は、ｍ個の領域それぞれから重複なく１個の発光画素ＰＩＸを選択して形成される。１個の発光画素群は、ｍ個の発光画素ＰＩＸを含むこととなる。
　この例では、各発光画素群ＰＧｉ（ｉ＝１～ｎ）は、ｍ個の領域の同じ位置の発光画素を含む。ここでの位置は、各領域内での相対的な位置（座標）である。すなわち、発光画素群ＰＧ１は、ｍ個の領域それぞれの左上の発光画素ＰＩＸを含み、発光画素群ＰＧ２は、ｍ個の領域それぞれの右上の発光画素ＰＩＸを含み、発光画素群ＰＧ３は、ｍ個の領域それぞれの左下の発光画素ＰＩＸを含み、発光画素群ＰＧ４は、ｍ個の領域それぞれの右下の発光画素ＰＩＸを含む。
　本実施の形態において、イメージング装置１００は、発光画素群ＰＧ１～ＰＧｎごとに、センシングを行う。
　図５は、実施形態に係る参照光のパターン制御を説明する図である。各発光画素群ＰＧｉ（ｉ＝１～ｎ）について、それぞれ、強度分布を変化させながら、ｍａｘ回の照射を行う。ｉ番目の発光画素群ＰＧｉのｊ回目の強度分布を、Ｉｉ，ｊのように表記する。
　発光画素群ＰＧｉに関して、Ｉｉ，１～Ｉｉ，ｍａｘの強度分布の参照光が照射される。Ｉｉ，ｊは、ｉ番目の発光画素群ＰＧｉを構成するｍ個の発光画素のうち、いくつかがオン（点灯）、いくつかがオフ（消灯）となっており、オン画素の分布が実質的にランダムに変化する。トータルの照射回数、すなわちパターン数は、ｎ×ｍａｘとなる。なお、図５で説明する照射方式を、ラスタースキャン方式という。
　図３に戻る。光検出器１２０は、物体ＯＢＪからの反射光を測定し検出信号Ｄを出力する。検出信号Ｄｉ，ｊは、強度分布Ｉｉ，ｊを有する参照光Ｓ１を物体ＯＢＪに照射したときに、光検出器１２０に入射する光エネルギー（あるいは強度）の空間的な積分値である。したがって光検出器１２０は、シングルピクセルの光検出器（フォトディテクタ）を用いることができる。
　ｎ×ｍａｘ通りの強度分布Ｉ１，１～Ｉ１，ｍａｘ、Ｉ２，１～Ｉ２，ｍａｘ、…Ｉｎ，１～Ｉｎ，ｍａｘを有する参照光Ｓ１ｉ，ｊ（ｉ∈１～ｎ，ｊ∈１～ｍａｘ）を照射すると、光検出器１２０からは、ｎ×ｍａｘ個の検出信号Ｄｉ，ｊ（ｉ∈１～ｎ，ｊ∈１～ｍａｘ）が出力される。
　参照光Ｓ１の照射の順序は特に限定されない。たとえば、Ｉ１，１～Ｉ１，ｍａｘ、Ｉ２，１～Ｉ２，ｍａｘ、Ｉ３，１～Ｉ３，ｍａｘ、Ｉｎ，１～Ｉｎ，ｍａｘの順に照射してもよい。あるいは、Ｉ１，１～Ｉｎ，１、Ｉ１，２～Ｉｎ，２、…Ｉ１，ｍａｘ～Ｉｎ，ｍａｘの順に照射してもよい。
　照明装置１１０は、たとえば均一な強度分布を有する光Ｓ０を生成する光源１１２と、この光Ｓ０の強度分布を空間的に変調可能なパターニングデバイス１１４を含みうる。光源１１２は、レーザや発光ダイオードなどを用いてもよい。参照光Ｓ１の波長やスペクトルは特に限定されず、複数のあるいは連続スペクトルを有する白色光であってもよいし、所定の波長（たとえば近赤外あるいは赤外）を含む単色光であってもよい。
　パターニングデバイス１１４としては、ＤＭＤ（Digital Micromirror Device）や液晶デバイスを用いることができる。本実施形態において、パターニングデバイス１１４は、測定範囲６００全体をカバーしており、測定範囲６００全体を同時照射可能な能力を有する。
　パターニングデバイス１１４には、演算処理装置１３０から、強度分布Ｉｉ，ｊを指定するパターン信号ＰＴＮｉ，ｊ（画像データ）が与えられている。したがって演算処理装置１３０は、現在の照射区画の位置と参照光Ｓ１の強度分布Ｉｉ，ｊを知っている。
　演算処理装置１３０は、パターン発生器１３２および再構成処理部１３４を含む。
　パターン発生器１３２は、参照光Ｓ１の強度分布Ｉｉ，ｊを、その都度、ランダムに生成してもよい。この場合、パターン発生器１３２は、擬似ランダム信号発生器を含むことができる。
　あるいは、複数の発光画素群ＰＧ１～ＰＧｎに関して、共通のパターンの強度分布のセットＩ１～Ｉｍａｘを利用してもよい。たとえばひとつの発光画素群ＰＧ１のパターンのセットＩ１，１～Ｉ１，ｍａｘについては、Ｉ１～Ｉｍａｘをそのまま用い、その他の発光画素群ＰＧ２～ＰＧｎの強度分布については、Ｉ１～Ｉｍａｘを、水平方向および／または垂直方向に、何画素かシフトさせることにより生成してもよい。
　演算処理装置１３０は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）、マイコンなどのプロセッサ（ハードウェア）と、プロセッサ（ハードウェア）が実行するソフトウェアプログラムの組み合わせで実装することができる。演算処理装置１３０は、複数のプロセッサの組み合わせであってもよい。あるいは演算処理装置１３０はハードウェアのみで構成してもよい。
　再構成処理部１３４は、発光画素群ＰＧ１～ＰＧｎのひとつＰＧｉについて、複数の検出強度ｂｉ，１～ｂｉ，ｍａｘと参照光Ｓ１ｉ，１～Ｓ１ｉ，ｍａｘの強度分布Ｉｉ，１～Ｉｉ，ｍａｘの相関をとることにより、物体ＯＢＪの画像Ｇｉを再構成する。この画像Ｇｉの解像度は、照明装置１１０の解像度の１／ｎ倍となる。
　検出強度ｂｉ，１～ｂｉ，ｍａｘは、検出信号Ｄｉ，１～Ｄｉ，ｍａｘにもとづいている。検出強度ｂｉ，ｊと検出信号Ｄｉ，ｊの関係は、光検出器１２０の種類や方式などを考慮して定めればよい。
　ある強度分布Ｉｉ，ｊの参照光Ｓ１を、ある照射期間にわたり照射するとする。また検出信号Ｄｉ，ｊは、ある時刻（あるいは微小時間）の受光量、すなわち瞬時値を表すとする。この場合、照射期間において検出信号Ｄｉ，ｊを複数回サンプリングし、検出強度ｂｉ，ｊを、検出信号Ｄｉ，ｊの全サンプリング値の積分値、平均値あるいは最大値としてもよい。あるいは、全サンプリング値のうちのいくつかを選別し、選別したサンプリング値の積分値や平均値、最大値を用いてもよい。複数のサンプリング値の選別は、たとえば最大値から数えて序列ｘ番目からｙ番目を抽出してもよいし、任意のしきい値より低いサンプリング値を除外してもよいし、信号変動の大きさが小さい範囲のサンプリング値を抽出してもよい。
　光検出器１２０として、カメラのように露光時間が設定可能なデバイスを用いる場合には、光検出器１２０の出力Ｄｉ，ｊをそのまま、検出強度ｂｉ，ｊとすることができる。
　検出信号Ｄｉ，ｊから検出強度ｂｉ，ｊへの変換は、演算処理装置１３０が実行してもよいし、演算処理装置１３０の外部で行ってもよい。
　ｉ番目（１≦ｉ≦ｎ）の発光画素群ＰＧｉに関する画像Ｇｉの復元には、式（１）の相関関数が用いられる。Ｉｉ，ｊは、ｊ番目（１≦ｊ≦Ｍ）の強度分布であり、ｂｉ，ｊはｊ番目の検出強度の値である。
Figure JPOXMLDOC01-appb-M000001
　演算処理装置１３０は、複数の発光画素群ＰＧ１～ＰＧｎについて得られた複数の画像Ｇ１～Ｇｎを結合することにより１枚の画像を生成してもよい。１枚の画像は、照明装置１１０の解像度と同じ高解像度を有する。
　以上がイメージング装置１００の構成である。続いてその利点を説明する。
　このイメージング装置１００における演算回数は以下の通りである。
　測定範囲全体の画素数をＸ×Ｙとし、各発光画素群の水平および垂直方向の画素数をｘ，ｙとする。ただし、Ｘ×Ｙ＝（ｘ×ｙ）×ｎである。
　１画素の復元に１回のパターン照射が必要と仮定するとき、ｘ×ｙ画素の復元に必要な照射回数ｍａｘ’は、
　ｍａｘ’＝（ｘ×ｙ）
となる。なお、実際の照射回数は、ｍａｘ’より多いあるいは少ない場合があるが、おおよそ（ｘ×ｙ）に比例することに留意されたい。したがって１区画あたりの計算回数は、（ｘ×ｙ）２となる。ｎ個すべての発光画素群ＰＧ１～ＰＧｎに対するトータルの演算回数Ｏ’は、
　Ｏ’＝ｎ×（ｘ×ｙ）２
となる。
　従来の測定範囲全体を照射する手法の計算回数Ｏは、
　Ｏ＝（Ｘ×Ｙ）２
であった。Ｘ×Ｙ＝（ｘ×ｙ）×ｎの関係が成り立つから、本実施形態によれば従来に比べて、計算回数をＯ’／Ｏ＝１／ｎ倍に減らすことができる。
　たとえば、Ｘ＝Ｙ＝１０２４のケースを考える。この場合、ｎ＝１６、発光画素群ＰＧの画素数をｘ＝ｙ＝２５６とすると、計算回数は１／１６倍に減らすことができる。
　計算回数の減少は、同じ速度の演算処理装置を用いた場合、演算時間を短縮できることを意味する。あるいは、同じ時間で処理を終了するために、より遅い（したがって安価な）演算処理装置を採用することができる。
　続いてイメージング装置１００のさらなる利点を説明する。図６（ａ）は、ラスタースキャン方式により得られる画像を示す図であり、図６（ｂ）は、エリア分割方式により得られる画像を示す図である。検証は、図２（ａ）、（ｂ）と同じ条件で行っており、エリア分割方式では、各エリアは３２×３２画素を含む。ラスタースキャン方式では、ｎ＝４とし、各発光画素群ＰＧ１～ＰＧ４は、３２×３２画素を含む。エリア毎、あるいは発光画素群ごとの照射回数ｍａｘは１００００回である。
　エリア分割方式では、図６（ｂ）に示すように，全エリアの画像を再構成しないと、物体の全体の様子を知ることができない。これに対してラスタースキャン方式では、図６（ａ）に示すように、１回の発光画素群のセンシングごとに、物体全体の様子を粗い解像度で検出することができる。
　さらに、エリア分割方式では、エリア毎に得られる画像の明るさが異なっており、したがって合成後の画像には、エリアの境界が現れており、画質が劣化している。これは、画像の明るさが、式（１）における＜ｂｉ＞の影響を受けることに起因している。具体的には、左上のエリアでは、３２×３２画素のうち、象の頭部に対応する下の部分のみ、物体が存在し、したがって画素数に占める物体の割合が低く、＜ｂｉ＞が小さくなる。これに対して、左下あるいは右下のエリアでは、３２×３２画素のうち、象の体および足に対応する部分が占める割合が多くなっており、画素数に示す物体の割合が高く、＜ｂｉ＞が大きくなる。これが、エリア毎に明るさが異なる原因である。
　これに対して、ラスタースキャン方式では、発光画素群ＰＧ１～ＰＧ４について、画素数に示す物体が占める割合が均一化されている。これにより、発光画素群ＰＧ１～ＰＧ４について、＜ｂｉ＞を近づけることができる。その結果、Ｇ１～Ｇ４の明るさを均一化でき、合成後の画像において、エリアの境界のようなものは発生せずに、画質を改善できる。
　図４のように、各発光画素群ＰＧｉが、同じ位置の発光画素を含む場合、ｎ枚の画像Ｇ１～Ｇｎを１枚の画像を合成する際の演算処理を簡素化できるという利点もある。
　実施形態は例示であり、それらの各構成要素や各処理プロセスの組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。以下、こうした変形例について説明する。
（変形例１）
　図４では、複数の発光画素群ＰＧ１～ＰＧ４が、ｍ個の領域の同じ位置の発光画素を含んだが、その限りでない。図７は、変形例１に係る発光画素群を説明する図である。変形例１において、ｎ個の発光画素群ＰＧ１～ＰＧｎは、ｍ個の領域の異なる位置の発光画素を含んで構成される。この際、各発光画素群ＰＧｉが含む発光画素の分布がなるべくランダムになるように選ぶとよい。これにより、発光画素群ＰＧ１～ＰＧｎに対する物体の存在の偏りをさらに無くすことができる。
（変形例２）
　本発明が適用可能な画像再構成のアルゴリズムはＧＩに限定されず、ＤＧＩなど他のアルゴリズムのセンシング装置にも適用可能である。
（変形例３）
　実施形態では、照明装置１１０を、光源１１２とパターニングデバイス１１４の組み合わせで構成したがその限りでない。照明装置１１０は、マトリクス状に配置される複数の半導体光源（ＬＥＤ（発光ダイオード）やＬＤ（レーザダイオード））のアレイで構成し、個々の半導体光源のオン、オフ（あるいは輝度）を制御可能に構成してもよい。
（用途）
　続いてイメージング装置１００の用途を説明する。
　図８は、物体識別システム１０のブロック図である。この物体識別システム１０は、自動車やバイクなどの車両に搭載され、車両の周囲に存在する物体ＯＢＪの種類（カテゴリ）を判定する。
　物体識別システム１０は、イメージング装置１００と、演算処理装置４０を備える。イメージング装置１００は、上述のように、物体ＯＢＪに参照光Ｓ１を照射し、反射光Ｓ２を測定することにより、物体ＯＢＪの復元画像Ｇを生成する。
　演算処理装置４０は、イメージング装置１００の出力画像Ｇを処理し、物体ＯＢＪの位置および種類（カテゴリ）を判定する。
　演算処理装置４０の分類器４２は、画像Ｇを入力として受け、それに含まれる物体ＯＢＪの位置および種類を判定する。分類器４２は、機械学習によって生成されたモデルにもとづいて実装される。分類器４２のアルゴリズムは特に限定されないが、ＹＯＬＯ（You Only Look Once）とＳＳＤ（Single Shot MultiBox Detector）、R-CNN（Region-based Convolutional Neural Network）、SPPnet（Spatial Pyramid Pooling）、Faster R-CNN、DSSD（Deconvolution -SSD）、Mask R-CNNなどを採用することができ、あるいは、将来開発されるアルゴリズムを採用できる。
　以上が物体識別システム１０の構成である。物体識別システム１０のセンサとして、イメージング装置１００を用いることで、以下の利点を得ることができる。
　第１に、イメージング装置１００すなわち量子レーダカメラを用いることで、ノイズ耐性が格段に高まる。たとえば、降雨時、降雪時、あるいは霧の中を走行する場合、肉眼では物体ＯＢＪを認識しにくいが、イメージング装置１００を用いることで、雨、雪、霧の影響を受けずに、物体ＯＢＪの復元画像Ｇを得ることができる。
　第２に、発光画素群ＰＧごとにセンシングを行うことで、演算量を減らすことができる。これによりフレームレートを高め、あるいは演算処理装置として安価なプロセッサを選択できるようになる。
　なお、イメージング装置１００において、発光画素群ＰＧの個数ｎを、走行環境に応じて適応的に変化させてもよい。
　図９は、物体識別システム１０を備える自動車を示す図である。自動車３００は、前照灯３０２Ｌ，３０２Ｒを備える。イメージング装置１００は、前照灯３０２Ｌ，３０２Ｒの少なくとも一方に内蔵される。前照灯３０２は、車体の最も先端に位置しており、周囲の物体を検出する上で、イメージング装置１００の設置箇所として最も有利である。
　図１０は、物体検出システム２１０を備える車両用灯具２００を示すブロック図である。車両用灯具２００は、車両側ＥＣＵ３０４とともに灯具システム３１０を構成する。車両用灯具２００は、光源２０２、点灯回路２０４、光学系２０６を備える。さらに車両用灯具２００には、物体検出システム２１０が設けられる。物体検出システム２１０は、上述の物体識別システム１０に対応しており、イメージング装置１００および演算処理装置４０を含む。
　演算処理装置４０が検出した物体ＯＢＪに関する情報は、車両用灯具２００の配光制御に利用してもよい。具体的には、灯具側ＥＣＵ２０８は、演算処理装置４０が生成する物体ＯＢＪの種類とその位置に関する情報にもとづいて、適切な配光パターンを生成する。点灯回路２０４および光学系２０６は、灯具側ＥＣＵ２０８が生成した配光パターンが得られるように動作する。
　また演算処理装置４０が検出した物体ＯＢＪに関する情報は、車両側ＥＣＵ３０４に送信してもよい。車両側ＥＣＵは、この情報にもとづいて、自動運転を行ってもよい。
　実施形態は、本発明の原理、応用の一側面を示しているにすぎず、実施形態には、請求の範囲に規定された本発明の思想を逸脱しない範囲において、多くの変形例や配置の変更が認められる。
　本発明は、イメージング装置に関する。
　ＯＢＪ　物体
　１０　物体識別システム
　４０　演算処理装置
　４２　分類器
　１００　イメージング装置
　１１０　照明装置
　１１２　光源
　１１４　パターニングデバイス
　１２０　光検出器
　１３０　演算処理装置
　１３２　パターン発生器
　１３４　再構成処理部
　２００　車両用灯具
　２０２　光源
　２０４　点灯回路
　２０６　光学系
　３００　自動車
　３０２　前照灯
　３１０　灯具システム
　３０４　車両側ＥＣＵ
　６００　測定範囲
　６０２　区画

Claims (6)

  1. 　オン、オフが個別に制御可能な複数の発光画素を含み、強度分布がランダムな参照光を照射する照明装置と、
    　物体からの反射光を測定する光検出器と、
    　前記光検出器の出力にもとづく検出強度と前記参照光の強度分布の相関計算により、前記物体の画像を再構成する演算処理装置と、
    　を備え、
    　前記複数の発光画素を、それぞれが隣接するｎ個（ｎ≧２）の発光画素を含むｍ個（ｍ≧２）の領域に区画したときに、ｍ個の領域それぞれから重複なく１個の発光画素を選択することによりｎ個の発光画素群が定められ、
    　前記発光画素群ごとにセンシングを行うことを特徴とするイメージング装置。
  2. 　前記ｎ個の発光画素群は、前記ｍ個の領域の同じ位置の発光画素を含むことを特徴とする請求項１に記載のイメージング装置。
  3. 　前記ｎ個の発光画素群は、前記ｍ個の領域の異なる位置の発光画素を含むことを特徴とする請求項１に記載のイメージング装置。
  4. 　前記演算処理装置は、前記ｎ個の発光画素群について得られるｎ個の画像を合成し、１枚の画像を生成することを特徴とする請求項１から３のいずれかに記載のイメージング装置。
  5. 　請求項１から４のいずれかに記載のイメージング装置を備えることを特徴とする車両用灯具。
  6. 　請求項１から４のいずれかに記載のイメージング装置を備えることを特徴とする車両。
PCT/JP2021/012021 2020-03-26 2021-03-23 イメージング装置および車両用灯具、車両 WO2021193646A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202180024159.5A CN115335726A (zh) 2020-03-26 2021-03-23 成像装置以及车辆用灯具、车辆
JP2022510554A JPWO2021193646A1 (ja) 2020-03-26 2021-03-23
US17/934,777 US12108164B2 (en) 2020-03-26 2022-09-23 Imaging apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020056626 2020-03-26
JP2020-056626 2020-03-26

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/934,777 Continuation US12108164B2 (en) 2020-03-26 2022-09-23 Imaging apparatus

Publications (1)

Publication Number Publication Date
WO2021193646A1 true WO2021193646A1 (ja) 2021-09-30

Family

ID=77892201

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/012021 WO2021193646A1 (ja) 2020-03-26 2021-03-23 イメージング装置および車両用灯具、車両

Country Status (4)

Country Link
US (1) US12108164B2 (ja)
JP (1) JPWO2021193646A1 (ja)
CN (1) CN115335726A (ja)
WO (1) WO2021193646A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023184212A1 (en) * 2022-03-30 2023-10-05 Huawei Technologies Co., Ltd. Imaging device, method and computer program

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180309941A1 (en) * 2017-04-19 2018-10-25 Drs Network & Imaging Systems, Llc Active hyperspectral imager
JP2019023640A (ja) * 2017-07-21 2019-02-14 学校法人玉川学園 画像処理装置及び方法、並びに、プログラム
WO2020137908A1 (ja) * 2018-12-27 2020-07-02 株式会社小糸製作所 車両用灯具および車両

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017125280A1 (en) * 2016-01-20 2017-07-27 Koninklijke Philips N.V. Driver for an adaptive light source
JP6508125B2 (ja) * 2016-05-18 2019-05-08 株式会社デンソー ヘッドアップディスプレイ装置及び画像投射ユニット
US10298813B2 (en) * 2017-03-03 2019-05-21 University Of Maryland Baltimore County High resolution turbulence free imaging
JP6412673B1 (ja) 2017-07-21 2018-10-24 学校法人玉川学園 画像処理装置及び方法、並びに、プログラム
JP2020031120A (ja) * 2018-08-22 2020-02-27 ソニーセミコンダクタソリューションズ株式会社 光源装置、温度検出方法、センシングモジュール
CN113366340B (zh) * 2019-01-17 2024-10-18 株式会社小糸制作所 车载用成像装置、车辆用灯具、汽车
WO2020255824A1 (ja) * 2019-06-17 2020-12-24 株式会社小糸製作所 車載赤外線照明装置
US20220397675A1 (en) * 2019-07-09 2022-12-15 Sony Semiconductor Solutions Corporation Imaging systems, devices and methods

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180309941A1 (en) * 2017-04-19 2018-10-25 Drs Network & Imaging Systems, Llc Active hyperspectral imager
JP2019023640A (ja) * 2017-07-21 2019-02-14 学校法人玉川学園 画像処理装置及び方法、並びに、プログラム
WO2020137908A1 (ja) * 2018-12-27 2020-07-02 株式会社小糸製作所 車両用灯具および車両

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
TETSUNO SHOTA, SHIBUYA KYUKI, IWATA TETSUO: "Subpixel-shift cyclic-Hadamard microscopic imaging using a pseudo-inverse-matrix procedure", OPTICS EXPRESS, vol. 25, no. 4, 20 February 2017 (2017-02-20), pages 3420, XP055861404, DOI: 10.1364/OE.25.003420 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023184212A1 (en) * 2022-03-30 2023-10-05 Huawei Technologies Co., Ltd. Imaging device, method and computer program

Also Published As

Publication number Publication date
US20230009034A1 (en) 2023-01-12
JPWO2021193646A1 (ja) 2021-09-30
CN115335726A (zh) 2022-11-11
US12108164B2 (en) 2024-10-01

Similar Documents

Publication Publication Date Title
CN113227838B (zh) 车辆用灯具及车辆
US12047667B2 (en) Imaging device
JP7463297B2 (ja) 車載用イメージング装置、車両用灯具、自動車
CN113767304B (zh) 成像装置、车辆用灯具、汽车、成像方法
WO2021193646A1 (ja) イメージング装置および車両用灯具、車両
JP7252755B2 (ja) アクティブセンサ、物体識別システム、車両、車両用灯具
WO2021201269A1 (ja) ゲーティングカメラ、車両用センシングシステム、車両用灯具
WO2021079810A1 (ja) イメージング装置、車両用灯具、車両、イメージング方法
WO2022091972A1 (ja) イメージング装置および車両用灯具、車両
WO2023085328A1 (ja) イメージング装置およびイメージング方法、車両用灯具、車両
WO2022044961A1 (ja) イメージング装置、イメージング方法および車両用灯具、車両
WO2023074759A1 (ja) イメージング装置、車両用灯具、車両
WO2022270476A1 (ja) イメージング装置および車両用灯具、車両
WO2021079811A1 (ja) イメージング装置、車両用灯具、車両、イメージング方法
WO2023013777A1 (ja) ゲーティングカメラ、車両用センシングシステム、車両用灯具
JP7395511B2 (ja) イメージング装置、その演算処理装置、車両用灯具、車両、センシング方法
WO2022102775A1 (ja) センシング装置、車両用灯具、車両
WO2023013776A1 (ja) ゲーティングカメラ、車両用センシングシステム、車両用灯具
WO2022163721A1 (ja) ゲーティングカメラ、車両用センシングシステム、車両用灯具
CN116235108A (zh) 门控照相机、车辆用感测系统、车辆用灯具
CN117222917A (zh) 门控摄像头、感测系统、车辆用灯具
CN116457700A (zh) 感测装置、车辆用灯具、车辆

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21774938

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022510554

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21774938

Country of ref document: EP

Kind code of ref document: A1