Nothing Special   »   [go: up one dir, main page]

WO2017212929A1 - 撮像制御装置および方法、並びに車両 - Google Patents

撮像制御装置および方法、並びに車両 Download PDF

Info

Publication number
WO2017212929A1
WO2017212929A1 PCT/JP2017/019492 JP2017019492W WO2017212929A1 WO 2017212929 A1 WO2017212929 A1 WO 2017212929A1 JP 2017019492 W JP2017019492 W JP 2017019492W WO 2017212929 A1 WO2017212929 A1 WO 2017212929A1
Authority
WO
WIPO (PCT)
Prior art keywords
distance
unit
vehicle
detection
image
Prior art date
Application number
PCT/JP2017/019492
Other languages
English (en)
French (fr)
Inventor
綱島 宣浩
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to CN201780033997.2A priority Critical patent/CN109313018B/zh
Priority to US16/303,947 priority patent/US11158076B2/en
Priority to EP17810109.3A priority patent/EP3470776A1/en
Priority to JP2018522410A priority patent/JP6819681B2/ja
Publication of WO2017212929A1 publication Critical patent/WO2017212929A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04Interpretation of pictures
    • G01C11/06Interpretation of pictures by comparison of two or more pictures of the same area
    • G01C11/12Interpretation of pictures by comparison of two or more pictures of the same area the pictures being supported in the same relative position as when they were taken
    • G01C11/14Interpretation of pictures by comparison of two or more pictures of the same area the pictures being supported in the same relative position as when they were taken with optical projection
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/12Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88Sonar systems specially adapted for specific applications
    • G01S15/93Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9323Alternative operation using light waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9324Alternative operation using ultrasonic waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327Sensor installation details
    • G01S2013/93271Sensor installation details in the front of the vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327Sensor installation details
    • G01S2013/93272Sensor installation details in the back of the vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327Sensor installation details
    • G01S2013/93274Sensor installation details on the side of the vehicles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Definitions

  • the present technology relates to an imaging control apparatus and method, and a vehicle, and more particularly, to an imaging control apparatus and method that can improve distance measurement accuracy, and a vehicle.
  • Patent Document 2 a technique for calibrating a stereo camera system by superimposing monitoring areas of a plurality of stereo cameras has been proposed.
  • JP 2007-195061 A Japanese Unexamined Patent Publication No. 2014-215039
  • This technology has been made in view of such a situation, and is intended to improve distance measurement accuracy.
  • One aspect of the present technology provides a detection unit that detects a distance of an observation point in a detection range, and the observation point detected based on an overlap of the observation points in a plurality of the detection ranges corresponding to the plurality of detection units. And a correction unit that corrects the distance.
  • the correction unit can detect an overlap of the error range of the detected observation points as an overlap of the observation points.
  • the distance can be detected based on images taken by at least one set of cameras constituting the stereo camera system.
  • the plurality of detection units may be a plurality of the stereo camera systems that are directed in different directions.
  • the correction unit can perform the correction based on the overlapping of the observation points in two detection ranges in four directions around the vehicle.
  • the correction unit can correct the distance of the detected observation point based on an overlap close to a vehicle or an overlap close to the observation point when a plurality of overlaps in the error range are detected.
  • At least one set of the cameras can be arranged in the vertical direction so that at least one optical axis is directed obliquely downward.
  • the camera constituting the stereo camera system can be further provided.
  • the observation point may be a point obtained by observing an object around the vehicle.
  • It may further include a recognition processing unit that recognizes the object based on an image captured by at least one camera mounted on the vehicle.
  • the image processing apparatus may further include another detection unit including at least one of an ultrasonic sensor, an infrared sensor, a millimeter wave sensor, and a radar, and the correction unit may perform the correction using a detection result of the other detection unit. it can.
  • One aspect of the present technology is a detection step of detecting a distance of an observation point in a detection range; a correction step of correcting the distance of the detected observation point based on an overlap of the observation points in a plurality of the detection ranges; Is an imaging control method including
  • One aspect of the present technology provides a camera constituting a stereo camera system that captures a detection range for detecting a distance to an observation point, a detection unit that detects the distance of the observation point in the detection range, and a plurality of the detections And a correction unit that corrects the distance of the detected observation points based on the overlap of the observation points in the plurality of detection ranges corresponding to the unit.
  • the distance of the observation point in the detection range is detected by the detection unit, and the distance of the detected observation point is calculated based on the overlap of the observation points in the plurality of detection ranges corresponding to the plurality of detection units. It is corrected by the correction unit.
  • the distance measurement accuracy can be improved. Note that the effects described in this specification are merely examples, and are not limited, and may have additional effects.
  • Imaging Control System (FIGS. 1 to 14) (1) Imaging control system (Figs. 1 to 3) (2) Configuration of imaging control device (FIGS. 4 to 6) (3) Operation of distance measuring unit (FIG. 7) (4) Operation of the distance accuracy improving unit (FIGS. 8 to 13) (5) Error (6) Integration processing (Fig. 14) (7) Modification (FIGS. 15 and 16) 2.
  • FIG. 1 is a diagram illustrating a configuration of an imaging control system according to the first embodiment of the present technology.
  • the imaging control system 1 of the present technology as shown in FIG. 1, four sets of stereo camera systems 21 ⁇ / b> A to 21 ⁇ / b> D are attached in four directions of the vehicle 11.
  • the side surface of the vehicle 11 is attached to door mirrors (side mirrors) 12 and 13, and the front and rear surfaces are attached to bumpers.
  • pillars front pillars, center pillars, rear pillars, etc.
  • doors, roof rails, etc. other than the door mirrors 12 and 13.
  • the stereo camera system 21A is installed on the left side of the vehicle 11 and measures the distance to the object in the detection range 22A on the left side of the vehicle 11.
  • the stereo camera system 21 ⁇ / b> B is installed on the right side of the vehicle 11 and measures the distance to the object in the detection range 22 ⁇ / b> B on the right side of the vehicle 11.
  • the stereo camera system 21 ⁇ / b> C is installed in front of the vehicle 11 and measures the distance to the object in the detection range 22 ⁇ / b> C in front of the vehicle 11.
  • the stereo camera system 21 ⁇ / b> D is installed behind the vehicle 11 and measures the distance to the object in the detection range 22 ⁇ / b> D behind the vehicle 11.
  • FIG. 1 shows an example in which the viewing angle is 180 degrees as the detection range 22A to the detection range 22D (in addition, in order to actually secure a viewing angle of 180 degrees, for example, 190 or more. Need a lens with a viewing angle of degrees).
  • the detection ranges 22A to 22D in FIG. 1 indicate the detection ranges in the angular direction, and the distance direction, that is, the diameter of the semicircle is actually larger. This also applies to FIG. 3 described later.
  • the detection ranges 22A to 22D are areas where the imaging ranges of the cameras 41 and 42 in FIG. 2 described later overlap, but are indicated by a semicircle with a single radius for convenience.
  • stereo camera system 21 when it is not necessary to distinguish the stereo camera system 21A to the stereo camera system 21D individually, the stereo camera system 21 will be simply described below.
  • the four sets of stereo camera systems 21 that are the same for the other components monitor the entire periphery of the vehicle 11.
  • One set of stereo camera system 21 is composed of two or more cameras.
  • FIG. 2 is a diagram illustrating a coordinate system of the stereo camera system according to the first embodiment of the present technology.
  • the coordinate system of the stereo camera system 21 is defined as shown in FIG.
  • the center point of one camera 41 of the stereo camera system 21 composed of two cameras 41 and 42 is Oa
  • the center point of the other camera 42 is Ob
  • the center point between the center point Oa and the center point Ob that is, the stereo camera.
  • O the center point of the system 21.
  • P the target point for imaging
  • L the distance (baseline length) between the center point Oa and the center point Ob.
  • the angle between minutes.
  • the angle ⁇ is an angle formed between the shooting target point P and the stereo camera system 21.
  • the target point represents an object to be photographed, that is, monitored, for example, a person around the vehicle 11, an obstacle, another vehicle, and the like are schematically represented as points.
  • the distance between the center point O and the target point P is ⁇
  • the distance between the target point P and the center point Oa is ⁇ a
  • the distance between the target point P and the center point Ob is ⁇ b.
  • Equation (3) is obtained from Equation (1) and Equation (2).
  • sin ( ⁇ a ⁇ b) L / ⁇ ⁇ sin ⁇ a ⁇ sin ⁇ b / sin ⁇ (3)
  • the distance (base line length) L between the center point Oa and the center point Ob is about several centimeters to several tens of centimeters, whereas the distance ⁇ from the center point O to the target point P is about several meters.
  • ⁇ a and ⁇ b hold.
  • ⁇ b ⁇ ⁇ a always holds. From these conditions, the following approximate expression (4) holds.
  • the difference ⁇ a ⁇ b is the angle difference of the incident light.
  • the distance to the object is determined by ⁇ a ⁇ b.
  • the baseline length L is a constant, it can be seen from equation (5) that ⁇ a ⁇ b is inversely proportional to the distance ⁇ to the object. Therefore, if the distance between the object and the stereo camera system 21 increases, the distance measurement accuracy decreases.
  • One of the major reasons for distance measurement in the stereo camera system 21 mounted on the vehicle 11 is to detect obstacles around the vehicle 11 and prevent contact between the vehicle 11 and the obstacles. Therefore, it is reasonable that the distance measurement accuracy increases as the distance between the vehicle 11 and the obstacle is shorter.
  • FIG. 3 is a diagram illustrating a range where the distance measurement accuracy is low according to the first embodiment of the present technology.
  • the area 61AC where the detection range 22A of the stereo camera system 21A and the detection range 22C of the stereo camera system 21C overlap is far from either the stereo camera system 21A or the stereo camera system 21C.
  • a region 61BC where the detection range 22B of the stereo camera system 21B and the detection range 22C of the stereo camera system 21C overlap is far from both the stereo camera system 21B and the stereo camera system 21C.
  • a region 61BD where the detection range 22B of the stereo camera system 21B and the detection range 22D of the stereo camera system 21D overlap is far from both the stereo camera system 21B and the stereo camera system 21D.
  • the region 61AD where the detection range 22A of the stereo camera system 21A and the detection range 22D of the stereo camera system 21D overlap is far from both the stereo camera system 21A and the stereo camera system 21D.
  • the distance measurement accuracy in these regions 61AC, 61BC, 61BD, and 61AD is low despite being relatively close to the vehicle 11.
  • the monitoring areas of the two stereo camera systems 21 overlap. Therefore, in the present technology, the measurement accuracy is improved from the distance measurement results of the two stereo camera systems 21.
  • FIG. 4 is a block diagram illustrating a configuration of the imaging control system 1 according to the first embodiment of the present technology.
  • the imaging control system 1 includes a camera system 20 and an imaging control unit 81.
  • the camera system 20 includes a stereo camera system 21A to a stereo camera system 21D.
  • the stereo camera system 21A includes an imaging unit 101A and an imaging unit 102A.
  • the imaging unit 101A has a camera 41A
  • the imaging unit 102A has a camera 42A.
  • the stereo camera system 21B includes an imaging unit 101B and an imaging unit 102B, the imaging unit 101B includes a camera 41B, and the imaging unit 102B includes a camera 42B.
  • the stereo camera system 21C includes an imaging unit 101C and an imaging unit 102C, the imaging unit 101C includes a camera 41C, and the imaging unit 102C includes a camera 42C.
  • the stereo camera system 21D includes an imaging unit 101D and an imaging unit 102D, the imaging unit 101D includes a camera 41D, and the imaging unit 102D includes a camera 42D.
  • Images captured by the imaging units 101A and 102A are supplied to the stereo distance measuring unit 91A, and images captured by the imaging units 101B and 102B are supplied to the stereo distance measuring unit 91B. Images taken by the imaging units 101C and 102C are supplied to the stereo distance measuring unit 91C, and images taken by the imaging units 101D and 102D are supplied to the stereo distance measuring unit 91D.
  • the imaging control unit 81 includes a stereo distance measuring unit 91A to a stereo distance measuring unit 91D, a distance accuracy improving unit 92AC, a distance accuracy improving unit 92BC, a distance accuracy improving unit 92AD, and a distance accuracy improving unit 92BD. Furthermore, the imaging control unit 81 has an integration unit 93.
  • Stereo distance measurement unit 91 ⁇ / b> A measures the distance in detection range 22 ⁇ / b> A on the left side of vehicle 11.
  • the stereo distance measuring unit 91 ⁇ / b> B measures the distance in the detection range 22 ⁇ / b> B on the right side of the vehicle 11.
  • the stereo distance measuring unit 91 ⁇ / b> C measures the distance in the detection range 22 ⁇ / b> C ahead of the vehicle 11.
  • the stereo distance measuring unit 91 ⁇ / b> D measures the distance in the detection range 22 ⁇ / b> D behind the vehicle 11.
  • the distance accuracy improving unit 92 acquires the measurement result from the stereo distance measuring unit 91 that measures the distance in the corresponding overlapping region 61, and improves the distance accuracy. That is, the distance accuracy improvement unit 92AC acquires the measurement results of the stereo distance measurement unit 91A that measures the distance in the detection range 22A and the stereo distance measurement unit 91C that measures the distance in the detection range 22C, and improves the distance accuracy.
  • the distance accuracy improving unit 92BC acquires the measurement results of the stereo distance measuring unit 91B that measures the distance in the detection range 22B and the stereo distance measuring unit 91C that measures the distance in the detection range 22C, and improves the distance accuracy.
  • the distance accuracy improvement unit 92AD increases the distance accuracy by using the stereo distance measurement unit 91A that measures the distance in the detection range 22A and the stereo distance measurement unit 91D that measures the distance in the detection range 22D.
  • the distance accuracy improving unit 92BD improves the distance accuracy by performing the measurement results of the stereo distance measuring unit 91B that measures the distance in the detection range 22B and the stereo distance measuring unit 91D that measures the distance in the detection range 22D.
  • the integrating unit 93 acquires and integrates the outputs of the distance accuracy improving unit 92AC, the distance accuracy improving unit 92BC, the distance accuracy improving unit 92AD, and the distance accuracy improving unit 92BD, and grasps and outputs the state of the entire periphery of the vehicle 11.
  • FIG. 5 is a block diagram illustrating a configuration of the stereo distance measuring unit according to the first embodiment of the present technology.
  • the stereo distance measuring unit 91 is configured as shown in FIG.
  • the stereo distance measuring unit 91 includes image correcting units 111 and 112 and a stereo image processing unit 113.
  • the outputs of the imaging unit 101 (having the camera 41) and the imaging unit 102 (having the camera 42) of the stereo camera system 21 are supplied to the image correction unit 111 and the image correction unit 112, respectively, and lens aberration and the like are preprocessed. It is corrected. That is, since the cameras 41 and 42 have wide-angle lenses and are capable of shooting with a wider viewing angle than a normal camera, the shot images are distorted. In order to calculate the distance, this distortion is corrected, and an image is projected onto a plane to obtain a plane image.
  • the stereo image processing unit 113 detects the distance to the object from the outputs of the image correction unit 111 and the image correction unit 112. That is, an object shown in one image of the cameras 41 and 42 is detected from the other image, and the distance is calculated from the displacement of the position.
  • a wide-angle camera is a camera provided with a lens of 35 mm or less, particularly a lens of 28 mm or less in terms of 35 mm. Or it is a camera which can image
  • the viewing angle can be 180 degrees or more.
  • a wide-angle lens or camera with a wide viewing angle may be referred to as a fish-eye lens (f ⁇ lens) or fish-eye camera, or a super-wide-angle lens or super-wide-angle camera.
  • the distance accuracy improving unit 92 in FIG. 4 is configured as shown in FIG.
  • FIG. 6 is a block diagram illustrating a configuration of the distance accuracy improving unit according to the first embodiment of the present technology.
  • the distance accuracy improvement unit 92 includes acquisition units 141 and 142, an intersection detection unit 143, a distance correction unit 144, and an output unit 145.
  • the acquisition units 141 and 142 acquire measurement information from the corresponding stereo distance measurement unit 91.
  • the acquisition unit 141 acquires measurement information of the stereo distance measurement unit 91A
  • the acquisition unit 142 acquires measurement information of the stereo distance measurement unit 91C.
  • the intersection detection unit 143 detects the intersection from the measurement information acquired by the acquisition units 141 and 142. That is, overlapping of observation points is detected.
  • the distance correction unit 144 calculates the distance of the intersection detected by the intersection detection unit 143. That is, the distance measured by the stereo distance measuring unit 91 is corrected.
  • the output unit 145 outputs the result calculated by the distance correction unit 144 to the integration unit 93.
  • FIG. 7 is a flowchart for explaining the distance measurement processing according to the first embodiment of the present technology.
  • step S11 the imaging unit 101 (having the camera 41) and the imaging unit 102 (having the camera 42) in FIG. 5 capture the observation point.
  • step S12 the image correction unit 111 corrects lens aberration, camera image distortion, and the like for the image captured by the imaging unit 101.
  • the image correction unit 112 corrects lens aberration, camera image distortion, and the like for the image captured by the imaging unit 102. That is, image distortion is corrected for distance calculation, and the image is projected onto a virtual plane to obtain a plane image.
  • the stereo image processing unit 113 calculates the distance to the observation point. That is, the camera 41 of the image capturing unit 101 and the camera 42 of the image capturing unit 102 are disposed at positions separated by a distance L. Therefore, the image photographed by the camera 41 and the image photographed by the camera 42 have a phase difference, and the distance to the observation point can be calculated based on the phase difference. That is, an object corresponding to the object shown in one of the images of the melas 41 and 42 is detected from the other image, and the distance is calculated from the displacement of the position of the object in the two images. The measurement information obtained as a result of the calculation is output to the corresponding distance accuracy improving unit 92.
  • step S14 the stereo image processing unit 113 determines whether to end the process. If the user has not yet instructed the end of the process, the process returns to step S11, and the subsequent processes are repeated. If the end of the process is instructed, the process ends.
  • the above processing is performed in the detection range 22A to the detection range 22D by the stereo distance measurement unit 91A to the stereo distance measurement unit 91D, respectively.
  • Measurement information obtained as a result of measurement in the detection range 22A to detection range 22D is output to the corresponding distance accuracy improvement unit 92A to distance accuracy improvement unit 92D.
  • the measurement information of the stereo distance measuring unit 91A that measures the distance in the detection range 22A and the stereo distance measuring unit 91C that measures the distance in the detection range 22C is supplied to the distance accuracy improving unit 92AC.
  • Measurement information of the stereo distance measuring unit 91B that measures the distance in the detection range 22B and the stereo distance measuring unit 91C that measures the distance in the detection range 22C is supplied to the distance accuracy improving unit 92BC.
  • the measurement information of the stereo distance measuring unit 91A that measures the distance in the detection range 22A and the stereo distance measuring unit 91D that measures the distance in the detection range 22D is supplied to the distance accuracy improving unit 92AD.
  • Measurement information of the stereo distance measuring unit 91B that measures the distance in the detection range 22B and the stereo distance measuring unit 91D that measures the distance in the detection range 22D is supplied to the distance accuracy improving unit 92BD.
  • one virtual plane can be projected by the correction process.
  • FIG. 8 is a flowchart for describing the accuracy improvement processing according to the first embodiment of the present technology.
  • step S51 the acquisition units 141 and 142 in FIG. 6 acquire measurement information from the stereo image processing unit 113 of the corresponding stereo distance measurement unit 91.
  • the acquisition unit 141 acquires measurement information from the stereo image processing unit 113A of the stereo distance measurement unit 91A, and the acquisition unit 142 measures from the stereo image processing unit 113C of the stereo distance measurement unit 91C. Get information.
  • step S52 the intersection detection unit 143 determines whether the observation point is in the overlapping range. That is, it is determined whether the coordinates of the observation point included in the measurement information acquired by the acquisition units 141 and 142 in step S51 are the coordinates in the region 61. For example, in the case of the distance accuracy improving unit 92AC, since the coordinates of the observation point of the detection range 22A and the observation point of the detection range 22C are input, the coordinates are coordinates included in the range 61AC where the detection range 22A and the detection range 22C overlap. It is determined whether there is any.
  • the intersection detection unit 143 determines whether an intersection exists in step S53. Here, the intersection will be described with reference to FIG.
  • FIG. 9 is a diagram illustrating the accuracy improvement processing according to the first embodiment of the present technology.
  • the vehicle 11 is represented typically. This also applies to FIGS. 10 to 13 described later.
  • an observation point P A1 is observed in the direction of the line-of-sight direction 201 A1 from the image of the stereo camera system 21A acquired by the acquisition unit 141.
  • the coordinates of the observation point P A1 have a distance measurement error D A1 . That is, when there is an object (that is, a shooting target point P in FIG. 2) on a predetermined line of sight and the object is observed as an observation point, the actual shooting target point position is somewhere within the error range.
  • An observation point is a point corresponding to an object obtained by observing a predetermined object as an object to be monitored, such as a person around the vehicle 11, an obstacle, or another vehicle.
  • an observation point is an image of an object obtained through the observation system, that is, a point based on observation information (for example, an observed distance in the observed direction).
  • the actual observation point P A1 is, the error range of the coordinates D A1E after the observation point P A1 than the previous coordinate D A1F the observation point P A1 It can be considered that it is located within the range of D A1 .
  • the error D A1 is shown by a thick line. Details of the error will be described later.
  • the observation point P C1 is observed in the direction of the line-of-sight direction 201 C1 from the image of the stereo camera system 21C acquired by the acquisition unit 142.
  • the coordinates of the observation point P C1 has a distance measurement error D C1 . That is, since the coordinates of the observation point P C1 contains an error, the actual observation point P C1 to the error range of the coordinates D C1E after the previous coordinate D C1F the observation point P C1 from the observation point P C1 It can be considered that it is located within the range of D C1 .
  • the error D A1 and the error D C1 each have a predetermined range (width).
  • the observation point P ---- A1 and the observation point P C1 are substantially the same observation point.
  • the intersection P 1 can be considered as an actual observation point.
  • step S53 if such intersection point P 1 is present or not. That is, the distance (that is, the position) of the observed observation points has a width (that is, a predetermined range), and an overlap of the observation points having the width is detected. That is, the overlap of the error range of the measured observation point distance is detected as the overlap of the observation points.
  • the distance correction unit 144 corrects the distance acquired in step S51 in step S54. Specifically, the distance acquired in step S51 is corrected to the distance of the intersection detected in step S53. That is, in the example of FIG. 9, the coordinates of the intersection point P 1 are newly calculated.
  • step S55 the intersection detection unit 143 determines whether there are a plurality of intersections. This state will be described with reference to FIG. FIG. 10 is a diagram for describing the accuracy improvement processing according to the first embodiment of the present technology.
  • the observation point P A2 is observed in the direction of the line-of-sight direction 201 A2 from the image of the stereo camera system 21A acquired by the acquisition unit 141.
  • the coordinates of the observation point P A2 have a distance measurement error D A2 .
  • An observation point P C2 is observed in the direction of the line-of-sight direction 201 C2 from the image of the stereo camera system 21C acquired by the acquisition unit 142.
  • the coordinates of the observation point P C2 has a distance measurement error D C2 .
  • an observation point P C3 is observed in the direction of the line of sight 201 C3 from the image of the stereo camera system 21C acquired by the acquisition unit 142.
  • the coordinates of the observation point P C3 has a distance measurement error D C3 .
  • the error D A2 and the error D C2 have an intersection point P 2
  • the error D A2 and the error D C3 have an intersection point P 3 . That is, in this example, the intersection point P 3 is detected in addition to the intersection point P 2 , and there are a plurality of intersection points.
  • the distance correction unit 144 selects an intersection in step S56.
  • either the intersection point P 2 or the intersection point P 3 is selected based on a predetermined criterion. For example, an intersection point close to the vehicle 11 can be selected, or an intersection point close to the observation point can be selected. In the example of FIG. 10, the intersection point P 2 is selected regardless of which criterion is adopted.
  • the separation calculation unit 144 sets the distance of the selected intersection as the detection distance. In the case of the example in FIG. 10, the distance of the intersection P 2 is used as the detection distance instead of the distance of the observation point P A2 measured by the stereo distance measuring unit 91A.
  • step S58 the distance correction unit 144 sets the distance of the intersections as the detection distance. That is, the distance of the intersection calculated in step S54 is directly used as the detection distance. In the example of FIG. 9, since there is only one intersection point, the process proceeds from step S55 to step S58, and the distance of the intersection point P 1 is set as the detection distance instead of the observation point P A1 .
  • step S61 the distance correction unit 144 sets the distance to the observation point as the detection distance. This state will be described with reference to FIG. FIG. 11 is a diagram illustrating the accuracy improvement process according to the first embodiment of the present technology.
  • the observation point P A3 is observed in the direction of the line-of-sight direction 201 A3 from the image of the stereo camera system 21A acquired by the acquisition unit 141.
  • the coordinates of the observation point P A3 have a distance measurement error D A3 .
  • An observation point P C4 is observed in the direction of the line of sight 201 C4 from the image of the stereo camera system 21C acquired by the acquisition unit 142.
  • the coordinates of the observation point P C4 has a distance measurement error D C4 .
  • the line-of-sight direction 201 A3 and the line-of-sight direction 201 C4 intersect, but the error D A3 and the error D C4 do not intersect.
  • the observation point P A3 and the observation point P C4 are observed in the overlapping range (determined as YES in step S52), but there is no intersection (determined as NO in step S53).
  • the distance correction unit 144 sets the distance to the observation point as the detection distance. That is, the distance between the observation point P A3 and the observation point P C4 is set as the detection distance as it is. In other words, in this case, different observation points (objects) are observed.
  • FIG. 12 is a diagram illustrating the accuracy improvement process according to the first embodiment of the present technology.
  • the observation point P A4 is observed in the direction of the line-of-sight direction 201 A4 from the image of the stereo camera system 21A acquired by the acquisition unit 141.
  • the coordinates of the observation point P A4 have a distance measurement error D A4 .
  • the acquisition unit 142 has not detected an observation point from the image of the stereo camera system 21C.
  • the observation point P A4 is observed in the overlapping range (determined as YES in step S52), but there is no intersection (determined as NO in step S53). Therefore, also in this case, in step S61, the distance correction unit 144 sets the distance to the observation point as the detection distance. That is, the distance of the observation point P A4 is directly used as the detection distance.
  • step S53 the distance to the observation point is directly used as the detection distance.
  • step S52 the observation point is observed in the overlapping range (determined as YES in step S52), but there is no intersection (determined as NO in step S53), that is, in the example of FIG. In such a case, processing can be performed as shown by a dotted line in FIG.
  • step S53 when it is determined in step S53 that no intersection exists, the intersection detection unit 143 determines in step S60 whether another observation point exists in the vicinity. If another observation point exists in the vicinity, in step S61, the distance correction unit 144 sets the distance to the observation point as the detection distance.
  • step S60 If it is determined in step S60 that there are no other observation points in the vicinity, the distance correction unit 144 performs error processing in step S62. That is, in the processing of this case, in the case shown in the example of FIG. 12, to the observation point P A4 is supposed also detected from the stereo camera system 21C, because they are not detected, the detection of the observation point P A4 Is determined to be an error, and the observation point P A4 is deleted.
  • step S61 the distance correction unit 144 sets the distance to the observation point as the detection distance. That is, the distance of the observation point is directly used as the detection distance. This example will be described with reference to FIG.
  • FIG. 13 is a diagram illustrating the accuracy improvement process according to the first embodiment of the present technology.
  • the observation point P A5 is observed in the direction of the line-of-sight direction 201 A5 from the image of the stereo camera system 21A acquired by the acquisition unit 141.
  • the coordinates of the observation point P A5 has a distance measurement error D A5 .
  • This observation point P A5 is observed in the detection range 22A, but not in the region 61 AC .
  • the detection range 22C no observation point is detected.
  • the distance of the observation point P A5 is directly used as the detection distance. That is, the distance of the observation point that is not located in the region 61 in the detection range 22 is directly used as the detection distance.
  • the output unit 145 outputs the obtained measurement information to the integration unit 93 in step S57. That is, the measurement information of the intersection selected in step S56, the measurement information of the intersection obtained in step S58, or the measurement information up to the observation point obtained in step S61 is supplied to the integration unit 93.
  • step S57 and step S62 the distance correction unit 144 determines whether to end the process in step S59. If the user has not instructed the end of the process, the process returns to step S51 and the same process is repeated. If termination is instructed, the process is terminated.
  • the above processing is performed in the distance accuracy improving unit 92AC, the distance accuracy improving unit 92BC, the distance accuracy improving unit 92AD, and the distance accuracy improving unit 92BD, respectively.
  • equation (6) can be further transformed into the following equation (7).
  • the expression (7) can be expressed as the following expression (8). It is assumed that d is an integer and changes according to ⁇ , and E is a real fixed value determined from the resolution of the camera. The range of ⁇ is 0 ⁇ ⁇ (3.14), but d can be larger than 3.14 by dividing by a sufficiently large fixed value E. ⁇ ⁇ L ⁇ E ⁇ (sin ⁇ ) / d (8)
  • the error of d is ⁇ 1, that is, the error on the side where the distance ⁇ becomes larger (distant) is 100% with respect to the distance ⁇ to the shooting target point P.
  • the error of d is +1, that is, the error on the side where the distance ⁇ becomes smaller (closer) is 33% with respect to the distance ⁇ to the shooting target point P.
  • This is the maximum error and the normal error is much smaller.
  • the error ⁇ m 11% of the distance ⁇
  • the error ⁇ p is 9% of the distance ⁇ .
  • errors D A , D C, etc. can be determined by appropriately determining the value of d to ⁇ 1, ⁇ 2, etc. during system design.
  • the correspondence of the stereo camera system 21 may be checked first by ⁇ 1, and may be adjusted by changing to ⁇ 2, ⁇ 3, or the like.
  • FIG. 14 is a flowchart for describing integration processing according to the first embodiment of this technology.
  • step S91 the integration unit 93 in FIG. 4 executes integration processing. That is, the measurement information measured by the distance accuracy improvement unit 92AC, the distance accuracy improvement unit 92BC, the distance accuracy improvement unit 92AD, and the distance accuracy improvement unit 92BD is measured around the vehicle 11, that is, the left side, the right side, the front side, and the rear side. Information.
  • the integration unit 93 integrates these pieces of measurement information, and displays them on a monitor (not shown) as measurement information in all directions of the vehicle 11 or stores it in the storage unit.
  • the integration unit 93 provides various types of support. For example, parking assistance such as back parking, parallel parking, etc., providing information on obstacle recognition such as structures, bicycles, pedestrians, etc. diagonally behind when stopping at intersections and turning left and right, and following vehicles in the adjacent lane when changing lanes Can be monitored.
  • parking assistance such as back parking, parallel parking, etc.
  • obstacle recognition such as structures, bicycles, pedestrians, etc. diagonally behind when stopping at intersections and turning left and right, and following vehicles in the adjacent lane when changing lanes Can be monitored.
  • monitoring is performed during normal driving, alerts should not be issued, and when an obstacle is detected at a distance below the reference, an alert is issued, or the vehicle travels in the opposite direction (for example, the right or right turn when turning left) Especially on the left side of the hour).
  • monitoring in directions that are not necessary for example, the right side when turning left and the left side when turning right
  • the detection accuracy of the four directions may be the same, but the detection accuracy of one (for example, the side surface) can be made higher than that of the other (for example, the front surface or the rear surface).
  • step S92 the integration unit 93 determines whether to end the process. If the user has not instructed the end of the process, the process returns to step S91 and the same process is repeated. If termination is instructed, the process is terminated.
  • a lens with a wide angle of view may be attached to the camera.
  • a very wide angle lens such as a fisheye lens can be used to cover the entire side of the vehicle with a single camera or a set of stereo camera systems. Can be monitored.
  • a very wide-angle lens is used, the spatial resolution of the captured image decreases, so the size of the object that has moved to the image becomes small, and when the captured image is analyzed for image recognition, etc. The accuracy of analysis is reduced. The distance measurement accuracy by stereo image processing is also reduced.
  • This technology can also be applied to distance measurement using a camera with a normal viewing angle.
  • the cameras 41 and 42 of the stereo camera system 21 can be arranged in the horizontal direction, but can also be arranged shifted in the vertical (vertical direction) as will be described later with reference to FIGS. 17 to 22. . In addition, it may be arranged such that the optical axis is directed below the direction parallel to the reference plane.
  • the stereo camera system 21 four directions are monitored by the stereo camera system 21, but at least one of the directions can be monitored by an ultrasonic wave, a radar, a laser sensor, an infrared sensor, or the like. . Furthermore, in addition to the obstacle recognition and monitoring by the stereo camera system 21, a viewing system can be used in combination.
  • FIG. 15 is a block diagram illustrating a configuration of the distance accuracy improving unit according to the first embodiment of the present technology.
  • a detection system 85 is provided in addition to the camera system 20.
  • the detection system 85 has a detection unit 149.
  • the detection unit 149 is provided corresponding to each detection range 22A to 22D.
  • the detection unit 149 includes, for example, at least one of an ultrasonic sensor, an infrared sensor, a millimeter wave sensor, and a radar.
  • the detection unit 149 as another detection unit detects the distance of the observation point in each of the detection ranges 22A to 22D using an ultrasonic sensor, an infrared sensor, a millimeter wave sensor, a radar, or the like.
  • the detection result is supplied to the corresponding distance correction unit 144.
  • the distance correction unit 144 executes the accuracy improvement process using not only the output from the intersection detection unit 143 but also the detection result of the detection unit 149. Thereby, more accurate accuracy improvement processing can be realized.
  • FIG. 16 is a block diagram illustrating a configuration of the imaging control system according to the first embodiment of the present technology.
  • the captured image of at least one of the imaging units 101A and 102A of the stereo camera system 21A (imaging unit 101A in this embodiment) is supplied to the recognition processing unit 83.
  • the captured images of the imaging unit 101B of the stereo camera system 21B, the imaging unit 101C of the stereo camera system 21C, and the imaging unit 101D of the stereo camera system 21D are supplied to the recognition processing unit 83, respectively.
  • the recognition processing unit 83 recognizes what the object observed in each of the detection ranges 22A to 22D is from the input captured image. The recognition result is presented to the user.
  • FIGS. 17-22 are diagrams illustrating a configuration of an imaging control system according to the second embodiment of the present technology.
  • a stereo camera system 521 including two cameras 541 and 542 as a set is vertically arranged on the side surface of the vehicle 511. (Ie, in the vertical direction). That is, the cameras 541 and 542 are arranged in a plane perpendicular to the reference plane (road surface 551) so that the parallax appears in the height direction.
  • the cameras 541 and 542, the stereo camera system 521, and the vehicle 511 correspond to the cameras 41 and 42, the stereo camera system 21, and the vehicle 11 of the first embodiment, respectively.
  • the mounting positions of the cameras 541 and 542 are preferably near the center of the side surface of the vehicle 511. However, since there are cases where it is difficult to mount near the center, for example, there is a door, in the examples of FIGS. An example is shown.
  • the reason for mounting near the door mirrors 512 and 513 is also to mount the stereo camera system 521 obliquely downward as shown in FIG. If the door mirrors 512 and 513 are used, the stereo camera system 521 can be attached obliquely downward without adding a special jig. As the cameras 541 and 542 constituting the stereo camera system 521, wide-angle cameras are used here.
  • the stereo camera system 521 is installed only on the left side of the vehicle 511, but it is actually installed on the right side.
  • the stereo camera system 521 can be attached to pillars (front pillars, center pillars, rear pillars, etc.), doors, roof rails, etc. other than the door mirrors 512 and 513. Any side of the vehicle 511 may be attached.
  • the coordinate system of the cameras 541 and 542 and the shooting target point P is the same as that shown in FIG. 2 of the first embodiment. Therefore, although explanation thereof is omitted, in the second embodiment, it should be understood that the cameras 41 and 42 in FIG. 2 are replaced with the cameras 541 and 542.
  • ⁇ a ⁇ b sin ( ⁇ a ⁇ b)
  • ⁇ a ⁇ b sin ( ⁇ a ⁇ b)
  • ⁇ a ⁇ b sin ( ⁇ a ⁇ b)
  • the object and the stereo camera system It can be seen that it is proportional to the angle ⁇ formed with 521. It can be said that the larger ⁇ a ⁇ b (sin ( ⁇ a ⁇ b)) is more resistant to the influence of errors, and the distance measurement accuracy is higher. Accordingly, when the angle ⁇ between the stereo camera system 521 and the object approaches 0 or 180 degrees, sin ( ⁇ a ⁇ b) decreases, and the distance measurement accuracy decreases.
  • the two cameras 541 and 542 of the stereo turtle system 521 are mounted side by side on the side of the vehicle 511 (that is, at the same height parallel to the road surface 551), the distance from the side of the vehicle 511 to the front or rear It becomes difficult to measure. Therefore, when the stereo camera system 521 is installed on the side surface of the vehicle 511, it is better to arrange the two cameras 541 and 542 vertically (that is, by changing the height perpendicular to the road surface 551). By doing so, not only the substantially central portion of the side surface of the vehicle 511 but also the distance of the front side (vehicle traveling direction) or the rear side (direction opposite to the vehicle traveling direction) of the side surface can be accurately measured.
  • the stereo camera system 521 is arranged so that the optical axis is directed obliquely downward (direction of the road surface 551) while being vertically arranged.
  • FIG. 19 is a diagram illustrating a coordinate system of a stereo camera system according to the second embodiment of the present technology.
  • be the angle formed by the stereo camera system 521 and the road surface 551 on which the vehicle 511 travels. That is, the straight line 552 passing through the camera 541 and the camera 542 intersects the road surface 551 at the point R.
  • An angle formed by the straight line 552 and the road surface 551 is ⁇ .
  • the optical axis 541oa of the camera 541 and the optical axis 542oa of the camera 542 are oriented in a direction perpendicular to the straight line 552 passing through the camera 541 and the camera 542.
  • a straight line 553 that is a perpendicular to the road surface 551 passing through the center point O of the stereo camera system 521 intersects the point T on the road surface 551. That is, the point T is a point on the road surface 551 directly below the stereo camera system 521 (that is, directly below the vehicle 511).
  • the optical axes 541oa and 542oa are directed in the direction of an angle ⁇ with respect to a straight line 553 passing through the center point O and the point T of the stereo camera system 521. That is, the angle ⁇ represents an attachment angle of the stereo camera system 521 and also represents an orientation direction of the optical axes 541oa and 542oa of the cameras 541 and 542.
  • Equation (12) can be derived from Equation (11).
  • the distance L and the mounting height H between the two cameras 541 and the camera 542 of the stereo camera system 521 are considered as constants. Then, the distance measurement accuracy with respect to the road surface 551 around the vehicle 511 depends on the mounting angle ⁇ of the stereo camera system 521.
  • FIG. 20 shows a change with respect to the angle ⁇ of the equation (13) when several mounting angles ⁇ of the stereo camera system 521 are changed.
  • FIG. 20 is a diagram illustrating distance accuracy characteristics according to the second embodiment of the present technology.
  • the vertical axis represents the distance measurement accuracy magnification
  • the horizontal axis represents the angle ⁇ (the unit is radians).
  • the angle ⁇ > 0 in the case of the curves 632 to 636
  • the distance measurement accuracy is improved when the angle ⁇ is larger than ⁇ / 2 ⁇ . Once it gets bigger, it gets smaller.
  • the angle ⁇ > ⁇ / 2 the distance measurement accuracy decreases. That is, in Equation (13), the range of ⁇ / 2 ⁇ ⁇ ⁇ / 2 is a range suitable for distance measurement with high distance measurement accuracy.
  • the angle ⁇ is increased (closer to ⁇ / 2).
  • the attachment angle ⁇ of the stereo camera system 521 may be brought close to the road surface 551 perpendicularly (the optical axes 541oa and 542oa of the cameras 541 and 542 may be made parallel to the road surface 551).
  • the angle ⁇ is decreased (approached to 0).
  • the mounting angle of the stereo camera system 521 should be close to the road surface 551 in parallel (that is, horizontally in this example) (so that the optical axes 541oa and 542oa of the cameras 541 and 542 approach perpendicular to the road surface 551). do it).
  • the optical axes 541oa and 542oa of the cameras 541 and 542 intersect the road surface 551 at points M and N.
  • distance measurement processing can be performed by attaching the cameras 541 and 542 so that the optical axes 541oa and 542oa intersect the road surface 551.
  • FIG. 20 shows the relationship between the mounting angle ⁇ of the stereo camera system 521 and the angle ⁇ of the shooting target point Q with respect to the stereo camera system 521.
  • the distance between the point T and the shooting target point Q is W
  • FIG. 20 is the distance measurement accuracy and the distance W. It is transformed so as to express the relationship with.
  • the distance W is expressed by the following equation (15). Since the value of ⁇ + ⁇ is larger than ⁇ / 2, the value of tan ( ⁇ + ⁇ ) is negative and the value of the distance W is positive.
  • FIG. 21 shows a modification of FIG. 20 using equation (15).
  • FIG. 21 is a diagram illustrating distance accuracy characteristics according to the second embodiment of the present technology.
  • the vertical axis represents the distance measurement accuracy magnification
  • the horizontal axis represents the distance W (unit is meter).
  • a curve 641 is a magnification when the angle ⁇ is 0,
  • a curve 642 is a magnification when the angle ⁇ is ⁇ / 6
  • a curve 643 is a magnification when the angle ⁇ is ⁇ / 4
  • a curve 644 is an angle ⁇ .
  • the magnification in the case of ⁇ / 3 is shown respectively.
  • a curve 645 represents a magnification when the angle ⁇ is 5 ⁇ / 12
  • a curve 646 represents a magnification when the angle ⁇ is ⁇ / 2.
  • the angle ⁇ when the angle ⁇ is small, the distance measurement accuracy at a short distance is high, but the distance measurement accuracy at a long distance is low. On the contrary, when the angle ⁇ is increased, the distance measurement accuracy at a short distance is lowered, but it is possible to prevent a significant decrease in the distance measurement accuracy at a long distance. Therefore, by setting the angle ⁇ in the range of ⁇ / 6 to 5 ⁇ / 12 (the range indicated by the curves 642 to 645), it is possible to balance the two. That is, this range is a range having high utility value that enables practical ranging from a short distance to a long distance.
  • the stereo camera system 521 when the stereo camera system 521 is attached to the side surface of the vehicle 511, it is desired to measure the distance of the entire adjacent lane.
  • the angle ⁇ can be set to a smaller value so that the accuracy is improved when the distance W is small.
  • FIG. 22 is a diagram illustrating a configuration of an imaging control system according to the second embodiment of the present technology.
  • FIG. 17 shows a case where the vehicle 511 is disposed on a horizontal road surface 551.
  • FIG. 22 shows a case where the vehicle 511 is disposed on an inclined road surface 551.
  • the road surface 551 is inclined by an angle ⁇ with respect to a horizontal plane 561 that is perpendicular to the vertical direction 562 that is the direction of gravity. That is, FIG. 22 shows a state where the vehicle 511 is climbing the uphill road surface 551.
  • the stereo camera system 521 monitors an identification display on the road surface such as a white line on the road surface 551 on which the vehicle 511 travels, an end of the road surface, a curb, a groove, or a guardrail. Accordingly, the road surface 551 on which the vehicle 511 travels is used as a reference plane, and the stereo camera system 521 is attached to the reference plane at an angle ⁇ . Also in FIG. 22, the coordinate system of FIG. 19 can be applied regardless of the value of the angle ⁇ of the road surface 551.
  • the camera 541.542 of the stereo camera system 521 is arranged in the vertical direction (vertical direction) within a plane 563 that is perpendicular to the road surface 551 as a reference plane and includes the optical axes 541oa and 542oa.
  • the surface 563 is also a surface perpendicular to the traveling direction of the vehicle 511 in the examples of FIGS. 17, 18, and 22.
  • the camera 541 is disposed below and the camera 542 is disposed above in the surface 563.
  • the stereo camera system 521 is tilted in the plane 563 so that the angle with the reference plane (road surface 551) becomes ⁇ .
  • the cameras 541 and 542 of the stereo camera system 521 are arranged so that their optical axes 541oa and 542oa are directed below a direction parallel to the reference plane (road surface 551), in other words, intersecting the reference plane. Is done.
  • the optical axes 541oa and 542oa are arranged so as to be directed obliquely downward with respect to the vehicle 511. That is, with reference to FIG. 19, the camera 541 is configured such that the angle ⁇ formed between the optical axis 541oa and the direction from there toward the vehicle 511 is in the range of ⁇ / 6 to 5 ⁇ / 12. Has been placed. The same applies to the camera 542.
  • At least one of the optical axes 541oa and 542oa is directed obliquely downward in the monitoring direction (the right direction of the cameras 541 and 542 in FIG. 18 and the left direction of the cameras 541 and 542 in FIG. 19).
  • the angles ⁇ in FIG. 19 are arranged such that 0 ⁇ ⁇ / 2.
  • the cameras 541 and 542 not a wide-angle camera but a camera with a normal viewing angle can be used.
  • FIG. 23 is a block diagram illustrating a configuration of an imaging control system according to the second embodiment of the present technology.
  • the imaging control system 501 in FIG. 23 includes a stereo camera system 521 and an imaging control unit 581. Note that the imaging control unit 581 may be integrated with the stereo camera system 521 or may be configured independently of it.
  • the stereo camera system 521 disposed on the left side of the vehicle 511 includes an imaging unit 701 having a camera 541 and an imaging unit 702 having a camera 542.
  • the camera 541 and the camera 542 are arranged on the side surface of the vehicle 511 so that the upper and lower sides and the optical axes 541oa and 542oa are directed downward from a direction parallel to the reference plane (road surface 551).
  • the imaging unit 701 outputs an image captured by the camera 541, and the imaging unit 702 outputs an image captured by the camera 542.
  • the imaging control unit 581 includes image correction units 711 and 712, a stereo image processing unit 713, and an analysis unit 714. Outputs of the imaging unit 701 and the imaging unit 702 of the stereo camera system 521 are supplied to an image correction unit 711 and an image correction unit 712, respectively, and lens aberrations and the like are corrected as preprocessing.
  • a stereo image processing unit 713 that performs distance measurement processing calculates the distance to the object from the outputs of the image correction unit 711 and the image correction unit 712.
  • the analysis unit 714 analyzes the distance measurement result and outputs it to the subsequent apparatus.
  • FIG. 24 is a flowchart for describing distance measurement processing according to the second embodiment of the present technology.
  • step S111 the imaging control unit 581 controls the imaging operation of the stereo camera system 521. This process is continuously executed thereafter. This process can also be controlled from the outside.
  • step S112 the imaging unit 701 (having the camera 541) and the imaging unit 702 (having the camera 542) in FIG. 23 capture the observation point.
  • step S ⁇ b> 113 the image correcting unit 711 corrects lens aberration, camera image distortion, and the like for the image captured by the imaging unit 701.
  • the image correction unit 712 corrects lens aberration, camera image distortion, and the like for the image captured by the imaging unit 702. That is, image distortion is corrected for distance calculation, and the image is projected onto a virtual plane to obtain a plane image.
  • step S114 the stereo image processing unit 713 as the monitoring processing unit that performs the monitoring processing calculates the distance to the observation point. That is, the camera 541 of the image capturing unit 701 and the camera 542 of the image capturing unit 702 are arranged at positions separated by a distance L. Therefore, the image photographed by the camera 541 and the image photographed by the camera 542 have a phase difference, and the distance to the observation point can be calculated based on the phase difference. That is, an object corresponding to the object shown in one of the images of the mellas 541 and 542 is detected from the other image, and the distance is calculated from the displacement of the position of the object in the two images. The calculation result is output to the analysis unit 714.
  • step S115 the analysis unit 714 analyzes the distance calculated by the stereo image processing unit 713 and outputs the analysis result. For example, a white line or the like (displayed on the road surface 551) having the same height as the road surface 551 is left as it is, and an object at a position higher than the road surface 551 is recognized as an obstacle. Alternatively, processing is performed such that information corresponding to the position with respect to the vehicle 511 can be collectively displayed, and a warning is issued when the measured distance is smaller than a predetermined reference value.
  • step S116 the stereo image processing unit 713 determines whether to end the process. If the user has not yet instructed the end of the process, the process returns to step S111, and the subsequent processes are repeated. If the end of the process is instructed, the process ends.
  • the above processing is also executed by the stereo camera system 521 having the cameras 541 and 542 arranged on the right side of the vehicle 511 and the corresponding imaging control unit 581.
  • both sides of the vehicle 511 are monitored and the driving is supported.
  • the cameras 541 and 542 are arranged above and below, and are arranged so that their optical axes are directed downward from a direction parallel to the reference plane. Therefore, it is possible not only to accurately measure the front or rear distance of the side surface of the vehicle 511, but also to accurately measure particularly the vicinity of the substantially central portion on the side.
  • measurement processing is mainly described as monitoring processing.
  • monitoring processing is also performed for white line recognition, curb recognition, road surface state detection, detection of vehicles including overtaking vehicles and oncoming vehicles, and detection of pedestrians. Can be targeted.
  • FIG. 25 is a diagram illustrating a configuration of an imaging control system according to the second embodiment of the present technology.
  • FIG. 26 is a block diagram illustrating a configuration of an imaging control system according to the second embodiment of the present technology.
  • stereo camera systems 521A and 521B are arranged on the door mirrors 512 and 513 on the left and right side surfaces of the vehicle 511.
  • a stereo camera system 521C is disposed on the front side of the vehicle 511
  • a stereo camera system 521D is disposed on the rear side thereof.
  • the stereo camera system 521A performs measurement in the detection range 522A on the left side of the vehicle 511, and the stereo camera system 521B performs measurement in the detection range 522B on the right side of the vehicle 511.
  • the stereo camera system 521C performs measurement in the detection range 522C in front of the vehicle 511 (that is, the direction in which the vehicle 511 moves forward).
  • Stereo camera system 521D performs measurement in detection range 522D behind vehicle 511 (that is, the direction in which vehicle 511 moves backward).
  • FIG. 25 shows an example of the detection range 522A to detection range 522D in the case where the viewing angle is 180 degrees (in addition, in order to actually secure the viewing angle of 180 degrees, for example, 190 or more. Need a lens with a viewing angle of degrees).
  • the detection range 522 in FIG. 25 indicates the range in the angular direction, and the distance direction, that is, the diameter of the semicircle, is actually larger.
  • the stereo camera system 521 and the imaging control unit 581 shown in FIG. 23 are provided corresponding to the four surfaces of the vehicle 511. That is, a stereo camera system 521A and an imaging control unit 581A, a stereo camera system 521B and an imaging control unit 581B, a stereo camera system 521C and an imaging control unit 581C, and a stereo camera system 521D and an imaging control unit 581D are provided.
  • the stereo camera system 521A includes an imaging unit 701A and an imaging unit 702A that captures the detection range 522A.
  • the imaging control unit 581A includes image correction units 711A and 712A that correct the outputs of the imaging units 701A and 702A, and a stereo image processing unit 713A that calculates the distance of the detection range 522A from the outputs of the image correction units 711A and 712A. Yes.
  • the stereo camera system 521B includes an imaging unit 701B and an imaging unit 702B that captures the detection range 522B.
  • the imaging control unit 581B includes image correction units 711B and 712B that correct the outputs of the imaging units 701B and 702B, and a stereo image processing unit 713B that calculates the distance of the detection range 522B from the outputs of the image correction units 711B and 712B. Yes.
  • the stereo camera system 521C includes an imaging unit 701C and an imaging unit 702C that captures the detection range 522C.
  • the imaging control unit 581C includes image correction units 711C and 712C that correct the outputs of the imaging units 701C and 702C, and a stereo image processing unit 713C that calculates the distance of the detection range 522C from the outputs of the image correction units 711C and 712C. Yes.
  • the stereo camera system 521D includes an imaging unit 701D and an imaging unit 702D that capture an image of the detection range 522D.
  • the imaging control unit 581D includes image correction units 711D and 712D that correct the outputs of the imaging units 701D and 702D, and a stereo image processing unit 713D that calculates the distance of the detection range 522D from the outputs of the image correction units 711D and 712D. Yes.
  • the analysis unit 714 is provided in common to the detection ranges 522A to 522D and analyzes the outputs of the stereo image processing units 713A to 713D.
  • the operation of the imaging control system 501 in FIG. 26 is the same as the operation shown in the flowchart in FIG. Therefore, the operation of the imaging control system 501 in FIG. 26 will be described with reference to FIG.
  • step S112 the imaging unit 701A (having the camera 541A) and the imaging unit 702A (having the camera 542A) in FIG. 26 capture the observation point.
  • the image correction unit 711A corrects lens aberration, camera image distortion, and the like for the image captured by the imaging unit 701A.
  • the image correction unit 712A corrects lens aberration, camera image distortion, and the like for the image captured by the imaging unit 702A. That is, image distortion is corrected for distance calculation, and the image is projected onto a virtual plane to obtain a plane image.
  • the stereo image processing unit 713A calculates the distance to the observation point. That is, the camera 541A of the imaging unit 701A and the camera 542A of the imaging unit 702A are arranged at positions separated by a distance L. Therefore, the image photographed by the camera 541A and the image photographed by the camera 542A have a phase difference, and the distance to the observation point can be calculated based on the phase difference. That is, an object corresponding to the object shown in one of the images of the mellars 541A and 542A is detected from the other image, and the distance is calculated from the displacement of the position of the object in the two images. The calculation result is output to the analysis unit 714A.
  • steps S112 to S114 are similarly performed in the stereo camera system 521B to stereo camera system 521D and the imaging control unit 581B to imaging control unit 581D.
  • step S115 the analysis unit 714 analyzes the distance calculated by the stereo image processing unit 713A to the teleo image processing unit 713D. For example, when the measured distance is smaller than a predetermined reference value, processing such as issuing a warning is performed.
  • step S116 the stereo image processing unit 713A to the teleo image processing unit 713D determine whether to end the process. If the user has not yet instructed the end of the process, the process returns to step S111, and the subsequent processes are repeated. If the end of the process is instructed, the process ends.
  • the center of the detection range 522A to 522D of the vehicle 511 is not limited to the center. It is also possible to accurately measure the distance in the left direction and the right direction from the unit.
  • the front side stereo camera system 521C and the rear side stereo camera system 521D of the vehicle 511 shown in FIG. 25 are in a plane parallel to the road surface 551 for distance measurement, as compared to the stereo camera systems 521A and 521B on both sides.
  • the measurement range may be narrow. Therefore, the distance measurement processing in the detection ranges 522C and 522D before and after the vehicle 511 is performed by an ultrasonic wave, radar, laser sensor, infrared sensor, or the like as another monitoring processing unit, or a combination thereof with the stereo camera system 521. It is also possible to carry out this method.
  • FIG. 27 is a block diagram illustrating a configuration of an imaging control system according to the second embodiment of the present technology.
  • the imaging control system 501 in FIG. 27 includes a stereo camera system 521A to stereo camera system 521D and an imaging control unit 581A to imaging control unit 581D, similarly to the imaging control system 501 in FIG.
  • the imaging control unit 581A includes image correction units 711A and 712A and a stereo image processing unit 713A.
  • the imaging control unit 581B includes image correction units 711B and 712B and a stereo image processing unit 713B.
  • the imaging control unit 581C includes image correction units 711C and 712C and a stereo image processing unit 713C.
  • the imaging control unit 581D includes image correction units 711D and 712D and a stereo image processing unit 713D.
  • the imaging control units 581A to 581D also include an analysis unit 714 common to them.
  • the above configuration is the same as that of the imaging control system 501 in FIG.
  • the imaging control unit 581A in FIG. 27 is an image conversion unit 811A
  • the imaging control unit 581B is an image conversion unit 811B
  • the imaging control unit 581C is an image conversion unit 811C
  • the imaging control unit 581D is an image conversion unit 811D.
  • the imaging control units 581A to 581D also include an integration unit 812 that is common to them.
  • the image conversion unit 811A converts the viewpoint of the image output from the imaging unit 701A using an image conversion method such as projective conversion. As a result, an image such as an image for the around monitor system in which the user views the surroundings of the vehicle 511 is obtained.
  • the image conversion unit 811B converts the viewpoint of the image output from the imaging unit 701B using an image conversion method such as projective conversion
  • the image conversion unit 811C performs the image conversion method such as projective conversion of the image output from the imaging unit 701C. Change the viewpoint using.
  • the image conversion unit 811D also converts the viewpoint of the image output from the imaging unit 701D using an image conversion method such as projective conversion.
  • the image conversion units 811A to 811D as other monitoring processing units that perform the monitoring process perform projective conversion of images output from the imaging units 701A to 701D.
  • the images output from the imaging units 702A to 702D can be projectively transformed.
  • the integration unit 812 integrates the outputs of the image conversion unit 811A, the image conversion unit 811B, the image conversion unit 811C, and the image conversion unit 811D.
  • the processing related to the imaging units 701 and 702, the image correction units 711 and 712, the stereo image processing unit 713 as a monitoring processing unit that performs monitoring processing, and the analysis unit 714 are as follows. This is the same as the operation of the imaging control system 501 in FIG. That is, the operation is the same as that shown in the flowchart of FIG. Therefore, since it becomes a repetition, the description is abbreviate
  • FIG. 28 is a flowchart for describing integration processing according to the second embodiment of the present technology.
  • step S151 the imaging unit 701A (that is, the camera 541A) in FIG. 27 captures an observation point.
  • the imaging unit 701B that is, the camera 541B
  • the imaging unit 701C that is, the camera 541C
  • the imaging unit 701D that is, the camera 541D
  • the imaging unit 702A (that is, the camera 542A) to the imaging unit 702D (that is, the camera 542D) also captures the observation point in the same manner, but the description is omitted because it is not used in the integration process that is being described.
  • step S152 the image conversion unit 811A executes image conversion processing. That is, the viewpoint of the image captured by the imaging unit 701A (that is, the camera 541A) is converted by an image conversion method such as projective conversion. As a result, an image for the around monitor system is generated. Similar image conversion processing is executed by the image conversion units 811B, 811C, and 811D.
  • step S153 the integration unit 812 executes integration processing. That is, since the images in the detection ranges 522A to 522D around the vehicle 511 are obtained by the image conversion units 811A to 811D, these are integrated and an around monitor for viewing the surroundings of the vehicle 511 from a bird's-eye view. An image of the system is generated and output. This image is displayed on a subsequent monitor or the like.
  • step S154 the image conversion unit 811A to the image conversion unit 811D determine whether to end the process. If the user has not yet instructed the end of the process, the process returns to step S151, and the subsequent processes are repeated. If the end of the process is instructed, the process ends.
  • FIG. 30 is a diagram in which the positional relationship between the real camera image and the virtual camera image shown in FIG. 29 is developed on the YZ plane viewed from the side and the XZ plane viewed from above.
  • an image Pr captured by an actual camera installed at a point Cr (Xr, Yr, Zr) at an arbitrary position in the three-dimensional space is converted into a point Cv (Xv, Yv,
  • Xv, Yv An example of converting to a video Pv of a virtual camera installed in Zv) will be described.
  • the two cameras are assumed to be pinhole cameras that capture an image at one point.
  • the images Pr and Pv can be set at arbitrary positions according to the size of the image as long as they are at least perpendicular to the vectors Lr and Lv indicating the direction of the camera. When the image is large, it is desirable to set it further backward, and when the image is small, it is desirable to set it further forward.
  • a point Iv is set at an arbitrary position on the video Pv, and a point Iz where a straight line connecting the point Iv and the point Cv intersects the XZ plane is obtained.
  • the pixel color of the point Iv is set to a predetermined color to indicate that the point Iv is outside the imaging range of the real camera. .
  • a point Ir where a straight line connecting the point Iz and the point Cr intersects the plane of the image Pr is obtained, and the color of the pixel at the point Ir is made the same as the color of the pixel at the point Iv. If the straight line connecting the point Iz and the point Cr does not intersect the plane of the image Pr, the color of the pixel at the point Ir is set to a predetermined color to indicate that the point Ir is outside the imaging range of the real camera. To do. The above-described processing is repeated until the colors of the pixels at all points on the image Pr are determined.
  • a point Zctr at which the center line of the point Cr at the actual camera position shown in FIG. 30 intersects the Z axis is expressed by the following equation (16).
  • Zctr Yr ⁇ tan ( ⁇ r) (16)
  • ⁇ r is an inclination angle of the real camera with respect to the XZ plane.
  • the straight line Qrxy passing through the YZ plane cross section of the real camera image Pr is orthogonal to the center line of the real camera (straight line 1 / tan ( ⁇ r) passing through the point Cr and the point Zctr) and Since it passes through the coordinate points (Yps, Zps), it is expressed by the following equation (17).
  • Y -tan ( ⁇ r) ⁇ Z + tan ( ⁇ r) ⁇ Zps + Yps (17)
  • a point Iz where a straight line passing through the point Iv on the virtual camera image Pv and the point Cv at the virtual camera position intersects the Z axis is obtained, and then a straight line passing through the point Iz and the point Cr at the actual camera position is expressed by the equation (17).
  • the XZ coordinate of the point Ir is obtained in the same manner as the YZ plane.
  • the color of the pixel at the point Iv on the virtual camera video Pv is set to the same color as the pixel at the point Iv on the real camera video Pr, and the above processing is performed on all the points on the virtual camera video Pv.
  • the imaging control system 501 of FIG. 27 in addition to driving assistance such as warning accompanying distance measurement to the object and automatic brake control, for example, parking assistance such as back parking, parallel parking, etc., when stopping at an intersection
  • parking assistance such as back parking, parallel parking, etc.
  • the analysis result of the analysis unit 714 can be supplied to the integration unit 812 so that the position of an obstacle based on the distance measurement result can be displayed on a visual screen.
  • the image captured by the imaging unit 701 constituting the stereo camera system 521 is processed by the image conversion unit 811.
  • a dedicated camera may be provided separately.
  • one image can be used for both visual monitoring and monitoring by distance measurement. As a result, cost can be reduced. If a visual monitoring system already exists, monitoring by ranging can be performed by adding only one camera constituting the stereo camera system 521.
  • FIG. 31 is a block diagram illustrating a configuration of an imaging control system according to the second embodiment of the present technology.
  • the imaging control system 501 in FIG. 31 includes a stereo camera system 521 and an imaging control unit 581 in the same manner as the imaging control system 501 in FIG.
  • the imaging control unit 581 controls the imaging operation of the stereo camera system 521.
  • the stereo camera system 521 includes an imaging unit 701 having a camera 541 and an imaging unit 702 having a camera 542. As described above, the camera 541 and the camera 542 are arranged on the side surface of the vehicle 511 so as to be directed vertically and below the direction in which the optical axis is parallel to the reference plane.
  • the imaging unit 701 outputs an image captured by the camera 541, and the imaging unit 702 outputs an image captured by the camera 542.
  • the imaging control unit 581 includes image correction units 711 and 712, a stereo image processing unit 713, and an analysis unit 714. Outputs of the imaging unit 701 and the imaging unit 702 of the stereo camera system 521 are supplied to an image correction unit 711 and an image correction unit 712, respectively, and lens aberrations and the like are corrected as preprocessing.
  • a stereo image processing unit 713 serving as a monitoring processing unit that performs monitoring processing calculates a distance to an object from outputs of the imaging unit 701 and the imaging unit 702.
  • the analysis unit 714 analyzes the distance measurement result and outputs it to the subsequent apparatus.
  • the imaging control unit 581 in FIG. 31 further includes an edge angle detection unit 851 and a motion stereo processing unit 852.
  • the edge angle detection unit 851 detects, from the image corrected by the image correction unit 711, a portion where a change in brightness or color occurs in the image, detects an angle that is the direction of the change, and analyzes the detection result. Output to the unit 714.
  • the motion stereo processing unit 852 as another monitoring processing unit that performs the monitoring process performs distance measurement from the image corrected by the image correction unit 711 by motion stereo processing. That is, when the position of a stationary object in an image changes in the camera field of view as the camera moves, distance measurement can be performed based on the same principle as stereo image processing in a stereo camera system using a plurality of cameras.
  • the measurement information is output to the analysis unit 714.
  • FIG. 32 is a flowchart for describing distance measurement processing according to the second embodiment of the present technology.
  • step S211 the imaging control unit 581 controls the imaging operation of the stereo camera system 521. This process is continuously executed thereafter. This process can also be controlled from the outside.
  • step S212 the imaging unit 701 (having the camera 541) and the imaging unit 702 (having the camera 542) in FIG. 31 capture the observation point.
  • step S213 the image correction unit 711 corrects lens aberration, camera image distortion, and the like for the image captured by the imaging unit 701.
  • the image correction unit 712 corrects lens aberration, camera image distortion, and the like for the image captured by the imaging unit 702. That is, image distortion is corrected for distance calculation, and the image is projected onto a virtual plane to obtain a plane image.
  • the stereo image processing unit 713 calculates the distance to the observation point. That is, the camera 541 of the image capturing unit 701 and the camera 542 of the image capturing unit 702 are arranged at positions separated by a distance L. Therefore, the image photographed by the camera 541 and the image photographed by the camera 542 have a phase difference, and the distance to the observation point can be calculated based on the phase difference. That is, an object corresponding to the object shown in one of the images of the mellas 541 and 542 is detected from the other image, and the distance is calculated from the displacement of the position of the object in the two images. The calculation result is output to the analysis unit 714.
  • step S215 the edge angle detection unit 851 detects the edge angle from the corrected image output from the image correction unit 711. That is, a portion where a change in brightness or color occurs in the image is detected, and an angle which is the direction of the change is detected.
  • a difference (differentiation) method for calculating the degree of change in brightness can be employed.
  • Prewitt edge detectors and Sobel edge detectors are known, and an edge can be detected by performing processing by each edge detection operator. Further, it is possible to employ a zero-crossing method that detects a position where the brightness changes most rapidly. Of course, various other methods can be employed.
  • step S216 the motion stereo processing unit 852 calculates the distance to the observation point using motion stereo.
  • the calculation result is supplied to the analysis unit 714.
  • motion stereo will be described.
  • FIG. 33 is a diagram for explaining an image of a current frame
  • FIG. 34 is a diagram for explaining an image of a past frame.
  • the optical flow is a vector indicating the amount of movement of each corresponding point in an image that moves back and forth in time series.
  • the point that exists in the image A is the image. It begins by searching where it moved from B.
  • the V-axis is taken upward in the image and the U-axis is taken in the right direction of the image.
  • the center of the image is the origin of the U axis and V axis.
  • point P moves from image B to image A as shown in FIG.
  • the position of the point P in the image B is (u ⁇ u, v ⁇ v)
  • the position of the point P in the image A is (u, v).
  • the difference between the position of the point P in the image A and the position of the point P in the image B ( ⁇ u, ⁇ v) is an optical flow at the point (u, v) of the image A. That is, the point (u, v) of the image A is the end point of the optical flow, and the point (u ⁇ u, v ⁇ v) on the image A corresponding to the point (u ⁇ u, v ⁇ v) of the image B is It can be said that the starting point of the optical flow.
  • FIG. 35 is a diagram illustrating a relationship between a monocular camera and coordinate axes.
  • FIG. 36 is a diagram illustrating the relationship between the camera and the imaging surface.
  • FIG. 37 is a diagram for explaining the optical flow from the center of the image.
  • the amount of camera movement (hereinafter referred to as camera motion parameter) is estimated from the optical flow between images A and B, and the distance to an object existing in the image is estimated. Therefore, in order to implement monocular motion stereo, the relationship between the optical flow between the images A and B, the camera motion parameters, and the distance to the object is required.
  • the camera motion parameter corresponds to the moving amount of the photographing unit.
  • a model as shown in FIG. 36 is used as the camera and the imaging surface.
  • the X and Y axes of the camera coordinates and the U and V axes in the captured image are parallel to each other, and the center of the captured image is the position (0, 0, f) in the camera coordinates. (See FIG. 36).
  • f is the focal length of the camera.
  • PL is a virtual imaging plane on which a captured image is assumed to be located in the camera coordinate system.
  • the camera motion parameter has 6 degrees of freedom as shown in FIG. That is, there are three degrees of freedom for the rotational movement amount ( ⁇ x, ⁇ y, ⁇ z) and three degrees of freedom for the translational movement amount (tx, ty, tz).
  • the rotational movement amount is the change amount of the angle within the unit time
  • the translational movement amount is the change amount of the distance within the unit time.
  • ⁇ u ⁇ y ⁇ f ⁇ tx ⁇ f / z + tz / z ⁇ u + ⁇ z ⁇ v + ⁇ x / f ⁇ uv ⁇ y / f ⁇ u 2 (18)
  • ⁇ v + ⁇ x ⁇ f ⁇ ty ⁇ f / z + tz / z ⁇ v ⁇ z ⁇ u - ⁇ y / f ⁇ uv + ⁇ x / f ⁇ v 2 (19)
  • the camera motion parameter is estimated from the optical flow using Equation (18) and Equation (19).
  • Equation (25) means that the distance z can be estimated by using the optical flow ⁇ w (see FIG. 37) extending in the radial direction from the center of the image and the vehicle speed tz (translational movement amount in the Z-axis direction). It is theoretically explained that the distance z can be estimated by calculating as described above.
  • FIG. 37 is an image in which the start point of the optical flow in the image B is also displayed on the image A.
  • FIG. 37 can also be said to be an image of an optical flow vector set.
  • the point at which these optical flows ⁇ w converge to the starting point is the vanishing point.
  • the vanishing point can be said to be a point where straight lines extending from the optical flows ⁇ w to the start point intersect.
  • the vanishing point Po coincides with the center of the image.
  • step S217 the analysis unit 714 calculates the distance by integrating the information supplied from the stereo image processing unit 713, the edge angle detection unit 851, and the motion stereo processing unit 852. That is, the distance is recalculated based on the detection result by the edge angle detection unit 851, the distance measurement processing result by the stereo image processing unit 713, and the distance measurement processing result by the motion stereo processing unit 852.
  • the identification display on the road surface such as the white line of the road surface 551, the edge of the road surface, the curbstone, the groove, the guardrail, etc.
  • the stereo camera system 521 in which the cameras 541 and 542 are arranged in the vertical direction is advantageous.
  • a rod-shaped object such as a utility pole in the camera field often has a vertical line (vertical line).
  • the analysis unit 714 determines the distance measured by the stereo image processing unit 713 for a horizontal line or a line close to the horizontal line based on the edge direction detected by the edge angle detection unit 851. Is preferentially adopted. For example, the calculation of the distance for an object that extends substantially along the road (that is, substantially parallel to the road), such as an identification display on the road surface such as a road surface, a white line, an end of the road surface, a curb, a groove, or a guardrail, This is executed by the stereo image processing unit 713. On the other hand, the measurement result of the motion stereo processing unit 852 is prioritized for a vertical line or a line close to the vertical line.
  • the motion stereo processing unit 852 performs the calculation of the distance to an object perpendicular to the road, such as a traffic signal or a traffic sign or a power pole.
  • Which measurement result is adopted may be determined by a reliability map created based on experiments or the like in advance.
  • step S2108 the stereo image processing unit 713, the edge angle detection unit 851, and the motion stereo processing unit 852 determine whether to end the processing. If the user has not yet instructed the end of the process, the process returns to step S211 and the subsequent processes are repeated. If the end of the process is instructed, the process ends.
  • the distance measurement method is made to correspond to the edge angle.
  • road surfaces such as road surfaces, white lines, etc., road surface edges, curbs, grooves, guardrails, etc.
  • the stereo image processing unit 713 is configured as a detection unit that specifically detects an object extending substantially in parallel with a road
  • the motion stereo processing unit 852 is a detection that specifically detects an object that is not necessarily parallel to the road. You may comprise as a part.
  • the edge angle detection unit 851 can be omitted.
  • a detection unit that detects an oncoming vehicle by a curve or the like can be provided.
  • the distance is measured by a method according to the feature of the object, so that accurate measurement is possible.
  • the imaging control system 501 of FIG. 31 is arrange
  • FIGS. 38 to 40 are diagrams illustrating the arrangement of the cameras of the stereo camera system according to the second embodiment of the present technology.
  • the cameras 541 and 542 are arranged on the side surface of the vehicle 511 (specifically, the door mirrors 512 and 513) as shown in FIG. That is, when viewed from the front of the vehicle 511 (in the diagram on the left side of FIG. 38), the camera 542 is disposed above and the camera 541 is disposed below.
  • the camera 542 is disposed at a position farther from the vehicle 511 than the camera 541 (near the vehicle 511), and the camera 541 is disposed at a position closer to the vehicle 511 than the camera 542 (near the vehicle 511).
  • the line 552 connecting the centers of the cameras 541 and 542 is inclined so as to jump out from the vehicle body in the monitoring direction (so as to jump out from the side of the vehicle 511). Or it inclines so that it may protrude from the attachment surface (side surface) of the vehicle body of the vehicle 511.
  • the stereo camera system 521 is not parallel to the vehicle body and is not perpendicular to the road surface 551.
  • the cameras 541 and 542 are all directed obliquely downward of the vehicle 511. That is, the cameras 541 and 542 are tilted in a plane including the optical axes 541oa and 542oa so that the optical axes 541oa and 542oa are directed below the direction parallel to the reference plane (road surface 551) and intersect the reference plane. Is done. That is, the cameras 541 and 542 are inclined so that a line 552 connecting the centers thereof is at an angle ⁇ with respect to the reference plane. In other words, the cameras 541 and 542 are tilted so that the optical axes 541oa and 542oa have an angle ⁇ with respect to the line 553 perpendicular to the reference plane.
  • the optical axes 541oa and 542oa of the cameras 541 and 542 are perpendicular to the traveling direction of the vehicle 511 (downward in the drawing), that is, the vehicle 511. Oriented in the direction perpendicular to the side of the.
  • the camera 542 is disposed above and the camera 541 is disposed below as viewed from the front of the vehicle 511 (in the left side view of FIG. 39A). .
  • the camera 541 and the camera 542 are disposed at the same distance from the vehicle 511. That is, the cameras 541 and 542 are arranged so that a line 552 connecting the centers thereof is parallel to the vehicle body (perpendicular to the road surface 551 which is a reference plane).
  • the cameras 541 and 542 are tilted in a plane including the optical axes 541oa and 542oa so that the optical axes 541oa and 542oa are directed below the direction parallel to the reference plane and intersect the reference plane.
  • the optical axes 541oa and 542oa of the cameras 541 and 542 are both directions perpendicular to the traveling direction of the vehicle 511 (downward in the figure) when viewed from the upper surface of the vehicle 511 (in the right side of FIG. 39A), That is, the direction is perpendicular to the side surface of the vehicle 511.
  • the configuration in the right diagram of FIG. 39B is different from the configuration in the right diagram of FIG.
  • the optical axes 541oa and 542oa of the cameras 541 and 542 are not slightly perpendicular to the traveling direction of the vehicle 511 (downward in the figure) as viewed from the upper surface of the vehicle 511, but slightly in the traveling direction. Oriented.
  • a distance measuring operation is performed in cooperation with a stereo camera system that measures the range in the direction of travel (for example, the stereo camera system 521C that measures the range of detection 522C in FIG. 25). Is advantageous.
  • the configuration in the right diagram of FIG. 39C is different from the configuration in the right diagram of FIG. That is, in this example, the optical axis 542oa of the camera 542 is a direction perpendicular to the traveling direction of the vehicle 511 (downward in the figure) when viewed from the upper surface of the vehicle 511 (in the right side view of FIG. 39C). That is, the direction is perpendicular to the side surface of the vehicle 511. That is, the camera 542 is the same as in FIG.
  • the optical axis 541oa is directed slightly in the traveling direction, not in the direction perpendicular to the traveling direction of the vehicle 511 (downward in the figure). That is, the camera 541 is the same as that in FIG. Accordingly, a relatively narrow range shown with hatching in the figure is a range in which distance measurement is possible as a stereo camera system. When it is necessary to widen the range that can be measured, a camera having an angle of view of 180 degrees or more can be used.
  • the camera 542 is disposed above and the camera 541 is disposed below when viewed from the front of the vehicle 511 (in the left side of FIG. 40A).
  • the camera 541 and the camera 542 are disposed at the same distance from the vehicle 511. That is, the lines 552 connecting the centers of the cameras 541 and 542 are arranged so as to be parallel to the vehicle body (perpendicular to the road surface 551 which is the reference plane).
  • the camera 541 is directed obliquely downward of the vehicle 511 when viewed from the front of the vehicle 511 (in the left side of FIG. 38). That is, the camera 541 is tilted in a plane including the optical axis 541oa so that the optical axis 541oa is directed below the direction parallel to the reference plane and intersects the reference plane.
  • the camera 541 is tilted such that its optical axis 541oa has an angle ⁇ with respect to a line 553 perpendicular to the reference plane. That is, the camera 541 is the same as in FIG.
  • the camera 542 is arranged so that its optical axis 542oa is oriented in a direction parallel to the reference plane. That is, only one of the cameras 541 and 542 (the camera 541 disposed below) is directed so that its optical axis 541oa is directed below the direction parallel to the reference road surface 551 and intersects the road surface 551. Is arranged.
  • the other (the camera 542 disposed above) is disposed such that its optical axis 542oa is parallel to the reference plane. Even if the cameras 541 and 542 are attached in this manner, the range in the vicinity of the vehicle 511, which is shown with hatching in the figure, is a range that can be measured by the stereo camera system.
  • the range is a relatively narrow range, but when it is necessary to widen the range that can be measured, a camera having an angle of view of 180 degrees or more can be used.
  • the configuration seen from the top surface of the vehicle 511 in the example shown in FIG. 40A is the same as that shown in the diagram on the right side of FIG. That is, the optical axes 541oa and 542oa of the cameras 541 and 542 are directed in a direction perpendicular to the traveling direction of the vehicle 511 (downward direction in the figure), that is, in a direction perpendicular to the side surface of the vehicle 511.
  • the camera 542 is disposed above and the camera 541 is disposed below when viewed from the front of the vehicle 511 (in the left side of FIG. 40B).
  • the camera 542 is disposed at a position farther from the vehicle 511 than the camera 541, and the camera 541 is disposed at a position closer to the vehicle 511 than the camera 542.
  • the line 552 connecting the centers of the cameras 541 and 542 is inclined so as to jump out from the vehicle body in the monitoring direction (so as to jump out from the side of the vehicle 511). That is, the cameras 541 and 542 are inclined so that a line 552 connecting the centers thereof is at an angle ⁇ with respect to the reference plane.
  • the camera 541 is tilted in a plane including the optical axis 541oa so that the optical axis 541oa is directed below the direction parallel to the reference plane and intersects the reference plane. That is, the camera 541 is tilted such that a line 552 connecting the center of the camera 541 and the center of the camera 542 is at an angle ⁇ with respect to the reference plane. In other words, the camera 541 is inclined so that the optical axis 541oa has an angle ⁇ with respect to the line 553 perpendicular to the reference plane.
  • the camera 542 is arranged so that its optical axis 542oa is oriented in a direction parallel to the reference plane. That is, only one of the cameras 541 and 542 (the camera 541 disposed below) is directed so that its optical axis 541oa is directed below the direction parallel to the reference road surface 551 and intersects the road surface 551. Is arranged.
  • the other (the camera 542 disposed above) is disposed such that its optical axis 542oa is parallel to the reference plane. Even if the cameras 541 and 542 are attached in this manner, the range in the vicinity of the vehicle 511, which is shown with hatching in the figure, is a range that can be measured by the stereo camera system.
  • the range is a relatively narrow range, but when it is necessary to widen the range that can be measured, a camera having an angle of view of 180 degrees or more can be used.
  • the configuration seen from the top surface of the vehicle 511 in the example shown in FIG. 40B is the same as that shown in the right side view of FIG. That is, the optical axes 541oa and 542oa of the cameras 541 and 542 are directed in a direction perpendicular to the traveling direction of the vehicle 511 (downward direction in the figure), that is, in a direction perpendicular to the side surface of the vehicle 511.
  • the angle of view of each camera constituting the stereo camera system is the same (for example, 180 degrees), but the angle of view (focal length) may be different. If the angle of view is widened, it is possible to recognize a wider range, and if the angle of view is narrowed, it is possible to recognize farther with high definition. As a stereo camera system, distance measurement can be performed in a range where the angles of view overlap.
  • the technology according to the present disclosure can be applied to various products.
  • the technology according to the present disclosure may be realized as an apparatus mounted on any type of vehicle such as an automobile, an electric vehicle, a hybrid electric vehicle, and a motorcycle.
  • FIG. 41 is a block diagram illustrating an example of a schematic configuration of a vehicle control system 2000 to which the technology according to the present disclosure can be applied.
  • the vehicle control system 2000 includes a plurality of electronic control units connected via a communication network 2010.
  • the vehicle control system 2000 includes a drive system control unit 2100, a body system control unit 2200, a battery control unit 2300, a vehicle exterior information detection device 2400, a vehicle interior information detection device 2500, and an integrated control unit 2600.
  • the communication network 2010 that connects these multiple control units conforms to any standard such as CAN (Controller Area Network), LIN (Local Interconnect Network), LAN (Local Area Network), or FlexRay (registered trademark). It may be an in-vehicle communication network.
  • Each control unit includes a microcomputer that performs arithmetic processing according to various programs, a storage unit that stores a program executed by the microcomputer or parameters used for various calculations, and a drive circuit that drives various devices to be controlled.
  • Each control unit includes a network I / F for performing communication with other control units via the communication network 2010, and wired or wireless communication with devices or sensors inside and outside the vehicle. A communication I / F for performing communication is provided. In FIG.
  • control unit 41 as a functional configuration of the integrated control unit 2600, a microcomputer 2610, a general-purpose communication I / F 2620, a dedicated communication I / F 2630, a positioning unit 2640, a beacon receiving unit 2650, an in-vehicle device I / F 2660, an audio image output unit 2670, An in-vehicle network I / F 2680 and a storage unit 2690 are illustrated.
  • other control units include a microcomputer, a communication I / F, a storage unit, and the like.
  • the drive system control unit 2100 controls the operation of the device related to the drive system of the vehicle according to various programs.
  • the drive system control unit 2100 includes a driving force generator for generating a driving force of a vehicle such as an internal combustion engine or a driving motor, a driving force transmission mechanism for transmitting the driving force to wheels, and a steering angle of the vehicle. It functions as a control device such as a steering mechanism that adjusts and a braking device that generates a braking force of the vehicle.
  • the drive system control unit 2100 may have a function as a control device such as ABS (Antilock Brake System) or ESC (Electronic Stability Control).
  • a vehicle state detection unit 2110 is connected to the drive system control unit 2100.
  • the vehicle state detection unit 2110 includes, for example, a gyro sensor that detects the angular velocity of the axial rotation of the vehicle body, an acceleration sensor that detects the acceleration of the vehicle, or an operation amount of an accelerator pedal, an operation amount of a brake pedal, and steering of a steering wheel. At least one of sensors for detecting an angle, an engine speed, a rotational speed of a wheel, or the like is included.
  • the drive system control unit 2100 performs arithmetic processing using a signal input from the vehicle state detection unit 2110, and controls an internal combustion engine, a drive motor, an electric power steering device, a brake device, or the like.
  • the body system control unit 2200 controls the operation of various devices mounted on the vehicle body according to various programs.
  • the body system control unit 2200 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as a headlamp, a back lamp, a brake lamp, a blinker, or a fog lamp.
  • the body control unit 2200 can be input with radio waves transmitted from a portable device that substitutes for a key or signals of various switches.
  • the body system control unit 2200 receives the input of these radio waves or signals, and controls the vehicle door lock device, power window device, lamp, and the like.
  • the battery control unit 2300 controls the secondary battery 2310 that is a power supply source of the drive motor according to various programs. For example, information such as battery temperature, battery output voltage, or remaining battery capacity is input to the battery control unit 2300 from a battery device including the secondary battery 2310. The battery control unit 2300 performs arithmetic processing using these signals, and controls the temperature adjustment control of the secondary battery 2310 or the cooling device provided in the battery device.
  • the vehicle outside information detection device 2400 detects information outside the vehicle on which the vehicle control system 2000 is mounted.
  • the image pickup unit 2410 and the vehicle outside information detection unit 2420 is connected to the vehicle outside information detection device 2400.
  • the imaging unit 2410 includes at least one of a ToF (Time Of Flight) camera, a stereo camera, a monocular camera, an infrared camera, and other cameras.
  • the outside information detection unit 2420 detects, for example, current weather or an environmental sensor for detecting weather, or other vehicles, obstacles, pedestrians, etc. around the vehicle on which the vehicle control system 2000 is mounted. A surrounding information detection sensor is included.
  • the environmental sensor may be, for example, at least one of a raindrop sensor that detects rainy weather, a fog sensor that detects fog, a sunshine sensor that detects sunlight intensity, and a snow sensor that detects snowfall.
  • the ambient information detection sensor may be at least one of an ultrasonic sensor, a radar device, and a LIDAR (Light Detection and Ranging, Laser Imaging Detection and Ranging) device.
  • the imaging unit 2410 and the outside information detection unit 2420 may be provided as independent sensors or devices, or may be provided as a device in which a plurality of sensors or devices are integrated.
  • FIG. 42 shows an example of installation positions of the imaging unit 2410 and the vehicle exterior information detection unit 2420.
  • the imaging units 2910, 2912, 2914, 2916, and 2918 are provided at, for example, at least one position among a front nose, a side mirror, a rear bumper, a back door, and an upper portion of a windshield in the vehicle interior of the vehicle 2900.
  • An imaging unit 2910 provided in the front nose and an imaging unit 2918 provided in the upper part of the windshield in the vehicle interior mainly acquire an image in front of the vehicle 2900.
  • the imaging units 2912 and 2914 provided in the side mirror mainly acquire an image on the side of the vehicle 2900.
  • An imaging unit 2916 provided in the rear bumper or the back door mainly acquires an image behind the vehicle 2900.
  • An imaging unit 2918 provided on the upper part of the windshield in the passenger compartment is mainly used for detecting a preceding vehicle or a pedestrian, an obstacle, a traffic light, a traffic sign, a lane, or the like.
  • FIG. 42 shows an example of shooting ranges of the respective imaging units 2910, 2912, 2914, and 2916.
  • the imaging range a indicates the imaging range of the imaging unit 2910 provided in the front nose
  • the imaging ranges b and c indicate the imaging ranges of the imaging units 2912 and 2914 provided in the side mirrors, respectively
  • the imaging range d The imaging range of the imaging unit 2916 provided in the rear bumper or the back door is shown. For example, by superimposing the image data captured by the imaging units 2910, 2912, 2914, and 2916, an overhead image when the vehicle 2900 is viewed from above is obtained.
  • the vehicle outside information detection units 2920, 2922, 2924, 2926, 2928, 2930 provided on the front, rear, side, corner, and upper windshield of the vehicle 2900 may be, for example, an ultrasonic sensor or a radar device.
  • the vehicle outside information detection units 2920, 2926, and 2930 provided on the front nose, the rear bumper, the back door, and the windshield in the vehicle interior of the vehicle 2900 may be, for example, LIDAR devices.
  • These vehicle outside information detection units 2920 to 2930 are mainly used for detecting a preceding vehicle, a pedestrian, an obstacle, and the like.
  • the vehicle outside information detection apparatus 2400 causes the imaging unit 2410 to capture an image outside the vehicle and receives the captured image data. Further, the vehicle exterior information detection device 2400 receives detection information from the vehicle exterior information detection unit 2420 connected thereto. When the vehicle exterior information detection unit 2420 is an ultrasonic sensor, a radar device, or a LIDAR device, the vehicle exterior information detection device 2400 transmits ultrasonic waves, electromagnetic waves, or the like, and receives received reflected wave information.
  • the vehicle outside information detection apparatus 2400 may perform an object detection process or a distance detection process such as a person, a car, an obstacle, a sign, or a character on a road surface based on the received information.
  • the vehicle outside information detection apparatus 2400 may perform an environment recognition process for recognizing rainfall, fog, road surface conditions, or the like based on the received information.
  • the vehicle outside information detection device 2400 may calculate a distance to an object outside the vehicle based on the received information.
  • the vehicle outside information detection device 2400 may perform image recognition processing or distance detection processing for recognizing a person, a vehicle, an obstacle, a sign, a character on a road surface, or the like based on the received image data.
  • the outside information detection apparatus 2400 performs processing such as distortion correction or alignment on the received image data, and combines the image data captured by the different imaging units 2410 to generate an overhead image or a panoramic image. Also good.
  • the vehicle exterior information detection apparatus 2400 may perform the viewpoint conversion process using image data captured by different imaging units 2410.
  • the in-vehicle information detection device 2500 detects in-vehicle information.
  • a driver state detection unit 2510 that detects a driver's state is connected to the in-vehicle information detection device 2500.
  • the driver state detection unit 2510 may include a camera that captures an image of the driver, a biological sensor that detects biological information of the driver, a microphone that collects sound in the passenger compartment, and the like.
  • the biometric sensor is provided, for example, on a seat surface or a steering wheel, and detects biometric information of an occupant sitting on the seat or a driver holding the steering wheel.
  • the in-vehicle information detection device 2500 may calculate the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 2510, and determines whether the driver is asleep. May be.
  • the in-vehicle information detection device 2500 may perform a process such as a noise canceling process on the collected audio signal.
  • the integrated control unit 2600 controls the overall operation in the vehicle control system 2000 according to various programs.
  • An input unit 2800 is connected to the integrated control unit 2600.
  • the input unit 2800 is realized by a device that can be input by a passenger, such as a touch panel, a button, a microphone, a switch, or a lever.
  • the input unit 2800 may be, for example, a remote control device using infrared rays or other radio waves, or may be an external connection device such as a mobile phone or a PDA (Personal Digital Assistant) that supports the operation of the vehicle control system 2000. May be.
  • the input unit 2800 may be, for example, a camera. In this case, the passenger can input information using a gesture.
  • the input unit 2800 may include, for example, an input control circuit that generates an input signal based on information input by a passenger or the like using the input unit 2800 and outputs the input signal to the integrated control unit 2600.
  • a passenger or the like operates the input unit 2800 to input various data or instruct a processing operation to the vehicle control system 2000.
  • the storage unit 2690 may include a RAM (Random Access Memory) that stores various programs executed by the microcomputer, and a ROM (Read Only Memory) that stores various parameters, calculation results, sensor values, and the like.
  • the storage unit 2690 may be realized by a magnetic storage device such as an HDD (Hard Disc Drive), a semiconductor storage device, an optical storage device, a magneto-optical storage device, or the like.
  • General-purpose communication I / F 2620 is a general-purpose communication I / F that mediates communication with various devices existing in the external environment 2750.
  • the general-purpose communication I / F 2620 is a cellular communication protocol such as GSM (registered trademark) (Global System of Mobile communications), WiMAX, LTE (Long Term Evolution) or LTE-A (LTE-Advanced), or a wireless LAN (Wi-Fi). (Also referred to as (registered trademark)) may be implemented.
  • the general-purpose communication I / F 2620 is connected to a device (for example, an application server or a control server) existing on an external network (for example, the Internet, a cloud network, or an operator-specific network) via, for example, a base station or an access point. May be. Further, the general-purpose communication I / F 2620 is connected to a terminal (for example, a pedestrian or a store terminal, or an MTC (Machine Type Communication) terminal) that exists in the vicinity of the vehicle using, for example, P2P (Peer To Peer) technology. May be.
  • a terminal for example, a pedestrian or a store terminal, or an MTC (Machine Type Communication) terminal
  • P2P Peer To Peer
  • the dedicated communication I / F 2630 is a communication I / F that supports a communication protocol formulated for use in a vehicle.
  • the dedicated communication I / F 2630 may implement a standard protocol such as WAVE (Wireless Access in Vehicle Environment) or DSRC (Dedicated Short Range Communications) which is a combination of the lower layer IEEE 802.11p and the upper layer IEEE 1609. .
  • the dedicated communication I / F 2630 is typically a V2X concept that includes one or more of vehicle-to-vehicle communication, vehicle-to-infrastructure communication, and vehicle-to-pedestrian communication. Perform communication.
  • the positioning unit 2640 receives, for example, a GNSS signal from a GNSS (Global Navigation Satellite System) satellite (for example, a GPS signal from a GPS (Global Positioning System) satellite), performs positioning, and performs latitude, longitude, and altitude of the vehicle.
  • the position information including is generated.
  • the positioning unit 2640 may specify the current position by exchanging signals with the wireless access point, or may acquire position information from a terminal such as a mobile phone, PHS, or smartphone having a positioning function.
  • the beacon receiving unit 2650 receives, for example, radio waves or electromagnetic waves transmitted from radio stations installed on the road, and acquires information such as the current position, traffic jams, closed roads, or required time. Note that the function of the beacon receiving unit 2650 may be included in the dedicated communication I / F 2630 described above.
  • the in-vehicle device I / F 2660 is a communication interface that mediates connections between the microcomputer 2610 and various devices existing in the vehicle.
  • the in-vehicle device I / F 2660 may establish a wireless connection using a wireless communication protocol such as a wireless LAN, Bluetooth (registered trademark), NFC (Near Field Communication), or WUSB (Wireless USB).
  • the in-vehicle device I / F 2660 may establish a wired connection via a connection terminal (and a cable if necessary).
  • the in-vehicle device I / F 2660 exchanges a control signal or a data signal with, for example, a mobile device or wearable device that a passenger has, or an information device that is carried in or attached to the vehicle.
  • the in-vehicle network I / F 2680 is an interface that mediates communication between the microcomputer 2610 and the communication network 2010.
  • the in-vehicle network I / F 2680 transmits and receives signals and the like in accordance with a predetermined protocol supported by the communication network 2010.
  • the microcomputer 2610 of the integrated control unit 2600 is connected via at least one of a general-purpose communication I / F 2620, a dedicated communication I / F 2630, a positioning unit 2640, a beacon receiving unit 2650, an in-vehicle device I / F 2660, and an in-vehicle network I / F 2680.
  • the vehicle control system 2000 is controlled according to various programs.
  • the microcomputer 2610 calculates a control target value of the driving force generation device, the steering mechanism, or the braking device based on the acquired information inside and outside the vehicle, and outputs a control command to the drive system control unit 2100. Also good.
  • the microcomputer 2610 may perform cooperative control for the purpose of avoiding or reducing the collision of a vehicle, following traveling based on the inter-vehicle distance, traveling at a vehicle speed, automatic driving, and the like.
  • the microcomputer 2610 is information acquired via at least one of the general-purpose communication I / F 2620, the dedicated communication I / F 2630, the positioning unit 2640, the beacon receiving unit 2650, the in-vehicle device I / F 2660, and the in-vehicle network I / F 2680. Based on the above, local map information including peripheral information on the current position of the vehicle may be created. Further, the microcomputer 2610 may generate a warning signal by predicting a danger such as collision of a vehicle, approach of a pedestrian or the like or approach to a closed road based on the acquired information. The warning signal may be, for example, a signal for generating a warning sound or lighting a warning lamp.
  • the sound image output unit 2670 transmits an output signal of at least one of sound and image to an output device capable of visually or audibly notifying information to a vehicle occupant or outside the vehicle.
  • an audio speaker 2710, a display unit 2720, and an instrument panel 2730 are illustrated as output devices.
  • the display unit 2720 may include at least one of an on-board display and a head-up display, for example.
  • the display unit 2720 may have an AR (Augmented Reality) display function.
  • the output device may be another device such as a headphone, a projector, or a lamp other than these devices.
  • the display device can display the results obtained by various processes performed by the microcomputer 2610 or information received from other control units in various formats such as text, images, tables, and graphs. Display visually. Further, when the output device is an audio output device, the audio output device converts an audio signal made up of reproduced audio data or acoustic data into an analog signal and outputs it aurally.
  • At least two control units connected via the communication network 2010 may be integrated as one control unit.
  • each control unit may be configured by a plurality of control units.
  • the vehicle control system 2000 may include another control unit not shown.
  • some or all of the functions of any of the control units may be given to other control units.
  • the predetermined arithmetic processing may be performed by any one of the control units.
  • a sensor or device connected to one of the control units may be connected to another control unit, and a plurality of control units may transmit / receive detection information to / from each other via the communication network 2010. .
  • the imaging control unit 81 and the imaging control unit 581 according to the present embodiment described with reference to FIGS. 4, 23, 26, 27, and 31 are illustrated in FIG.
  • the present invention can be applied to the integrated control unit 2600 of the application example.
  • the imaging control unit 81 and the imaging control unit 581 described with reference to FIGS. 4, 23, 26, 27, and 31 are for the integrated control unit 2600 shown in FIG. 41. It may be realized in a module (for example, an integrated circuit module constituted by one die). Alternatively, the imaging control unit 81 and the imaging control unit 581 described with reference to FIGS. 4, 23, 26, 27, and 31 are realized by a plurality of control units of the vehicle control system 2000 illustrated in FIG. Also good.
  • the computer program for realizing the functions of the imaging control unit 81 and the imaging control unit 581 described with reference to FIGS. 4, 23, 26, 27, and 31 is installed in any control unit or the like. can do. It is also possible to provide a computer-readable recording medium in which such a computer program is stored.
  • the recording medium is, for example, a magnetic disk, an optical disk, a magneto-optical disk, a flash memory, or the like. Further, the above computer program may be distributed via a network, for example, without using a recording medium.
  • the present technology can be configured as follows.
  • An imaging control apparatus comprising: a correction unit that corrects the distance of the detected observation points based on overlapping of the observation points in the plurality of detection ranges corresponding to the plurality of detection units.
  • the correction unit detects an overlap of an error range of the detected observation points as an overlap of the observation points.
  • the imaging control device according to (1) or (2), wherein the distance is detected based on an image photographed by at least one pair of cameras constituting a stereo camera system.
  • the imaging control device according to (1), (2), or (3), wherein the plurality of detection units are the plurality of stereo camera systems that are directed in different directions.
  • the imaging control device performs the correction based on an overlap of the observation points in two detection ranges in four directions around a vehicle.
  • the correction unit corrects the distance of the detected observation point based on an overlap close to a vehicle or an overlap close to the observation point when a plurality of overlaps in the error range are detected.
  • the imaging control device according to any one of (5).
  • the imaging control device according to any one of (1) to (6), wherein at least one set of the cameras is arranged in a vertical direction and at least one of the optical axes is directed obliquely downward. .
  • the imaging control apparatus according to any one of (1) to (7), further including the camera configuring the stereo camera system.
  • the imaging control device according to any one of (1) to (8), wherein the observation point is a point obtained by observing an object around a vehicle.
  • the imaging control device according to any one of (1) to (9), further including a recognition processing unit that recognizes the object based on an image captured by at least one camera mounted on a vehicle.
  • the imaging control apparatus according to any one of (1) to (10), wherein the correction unit performs the correction using a detection result of the other detection unit.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Signal Processing (AREA)
  • Measurement Of Optical Distance (AREA)
  • Length Measuring Devices With Unspecified Measuring Means (AREA)
  • Studio Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本技術は、距離計測精度を向上させることができるようにする撮像制御装置および方法、並びに車両に関する。 検出部により、検出範囲における観測点の距離が検出される。補正部により、複数の検出部に対応する複数の検出範囲における観測点の重なりに基づいて、検出された観測点の距離が補正される。例えば車両の側面の検出範囲で検出された観測点と、車両の前面の検出範囲で検出された観測点の重なりが検出され、検出された観測点の重なりに基づいて、検出された距離が補正される。本技術は、車両の運転支援に適用することができる。

Description

撮像制御装置および方法、並びに車両
 本技術は、撮像制御装置および方法、並びに車両に関し、特に距離計測精度を向上させることができるようにした撮像制御装置および方法、並びに車両に関する。
 自動車などの車両や物体にカメラを取り付け、その映像を目視で監視したり、コンピュータによって処理することで自動監視したりすることがある。これは車両の周囲の状況を把握することで事故などの損害を防止したり、自動運転を行ったりするためである。しかしながら、1台のカメラでは、車両の周囲の一部しか撮影できないため、複数台のカメラを取り付けて、車両の全周囲を監視することが提案されている(例えば特許文献1)。
 また、複数のステレオカメラの監視領域を重ねることで、ステレオカメラシステムのキャリブレーションを行う技術も提案されている(特許文献2)。
特開2007-195061号公報 特開2014-215039号公報
 特許文献1の提案では、車両の4方向にカメラを取り付け、全周囲を監視すると共に、各カメラの視野が重なる領域においては、ステレオカメラの原理を用いて距離計測を行っている。しかしながら、この特許文献1の提案では、視野が重なっていない領域については、距離計測を行うことができない。
 特許文献2の提案では、キャリブレーションによってステレオカメラシステムの計測精度を維持させている。しかし距離計測精度そのものを向上させることはできない。
 本技術はこのような状況に鑑みてなされたものであり、距離計測精度を向上させることができるようにするものである。
 本技術の一側面は、検出範囲における観測点の距離を検出する検出部と、複数の前記検出部に対応する複数の前記検出範囲における前記観測点の重なりに基づいて、検出された前記観測点の距離を補正する補正部とを備える撮像制御装置である。
 前記補正部は、前記観測点の重なりとして、検出された前記観測点の前記距離の誤差の範囲の重なりを検出することができる。
 前記距離は、ステレオカメラシステムを構成する少なくとも1組のカメラにより撮影された画像に基づき検出されることができる。
 複数の前記検出部は、互いに異なる方向を指向する複数の前記ステレオカメラシステムであることができる。
 前記補正部は、車両の周囲の4つの方向のうちの2つの前記検出範囲における前記観測点の重なりに基づき前記補正を行うことができる。
 前記補正部は、前記誤差の範囲の重なりが複数検出された場合、車両に近い重なりまたは前記観測点に近い重なりに基づいて、検出された前記観測点の前記距離を補正することができる。
 前記カメラのうちの少なくとも1組は、縦方向に、かつ少なくとも一方の光軸が斜め下方向を指向するように配置されていることができる。
 前記ステレオカメラシステムを構成する前記カメラをさらに備えることができる。
 前記観測点は、車両の周囲の対象物を観測して得られる点であることができる。
 車両に搭載された少なくとも1つのカメラにより撮像された画像に基づき、前記対象物の認識を行う認識処理部をさらに備えることができる。
 超音波センサ、赤外線センサ、ミリ波センサ、またはレーダの少なくともいずれか1つからなる他の検出部をさらに備え、前記補正部は前記他の検出部の検出結果も用いて前記補正を行うことができる。
 本技術の一側面は、検出範囲における観測点の距離を検出する検出ステップと、複数の前記検出範囲における前記観測点の重なりに基づいて、検出された前記観測点の距離を補正する補正ステップとを含む撮像制御方法である。
 本技術の一側面は、観測点までの距離を検出する検出範囲を撮影するステレオカメラシステムを構成するカメラと、前記検出範囲における前記観測点の前記距離を検出する検出部と、複数の前記検出部に対応する複数の前記検出範囲における前記観測点の重なりに基づいて、検出された前記観測点の距離を補正する補正部とを備える車両である。
 本技術の一側面においては、検出範囲における観測点の距離が検出部により検出され、複数の検出部に対応する複数の検出範囲における観測点の重なりに基づいて、検出された観測点の距離が補正部により補正される。
 以上のように、本技術の一側面によれば、距離計測精度を向上させることができる。
 なお、本明細書に記載された効果はあくまで例示であって、限定されるものではなく、また付加的な効果があってもよい。
本技術の第1の実施の形態の撮像制御システムの構成を示す図である。 本技術の第1の実施の形態のステレオカメラシステムの座標系を示す図である。 本技術の第1の実施の形態の距離計測精度が低い範囲を説明する図である。 本技術の第1の実施の形態の撮像制御システムの構成を示すブロック図である。 本技術の第1の実施の形態のステレオ距離計測部の構成を示すブロック図である。 本技術の第1の実施の形態の距離精度向上部の構成を示すブロック図である。 本技術の第1の実施の形態の距離計測処理を説明するフローチャートである。 本技術の第1の実施の形態の精度向上処理を説明するフローチャートである。 本技術の第1の実施の形態の精度向上処理を説明する図である。 本技術の第1の実施の形態の精度向上処理を説明する図である。 本技術の第1の実施の形態の精度向上処理を説明する図である。 本技術の第1の実施の形態の精度向上処理を説明する図である。 本技術の第1の実施の形態の精度向上処理を説明する図である。 本技術の第1の実施の形態の統合処理を説明するフローチャートである。 本技術の第1の実施の形態の距離精度向上部の構成を示すブロック図である。 本技術の第1の実施の形態の撮像制御システムの構成を示すブロック図である。 本技術の第2の実施の形態の撮像制御システムの構成を示す図である。 本技術の第2の実施の形態の撮像制御システムの構成を示す図である。 本技術の第2の実施の形態のステレオカメラシステムの座標系を示す図である。 本技術の第2の実施の形態の距離精度特性を示す図である。 本技術の第2の実施の形態の距離精度特性を示す図である。 本技術の第2の実施の形態の撮像制御システムの構成を示す図である。 本技術の第2の実施の形態の撮像制御システムの構成を示すブロック図である。 本技術の第2の実施の形態の距離計測処理を説明するフローチャートである。 本技術の第2の実施の形態の撮像制御システムの構成を示す図である。 本技術の第2の実施の形態の撮像制御システムの構成を示すブロック図である。 本技術の第2の実施の形態の撮像制御システムの構成を示すブロック図である。 本技術の第2の実施の形態の統合処理を説明するフローチャートである。 視点変換処理を説明する図である。 視点変換処理を説明する図である。 本技術の第2の実施の形態の撮像制御システムの構成を示すブロック図である。 本技術の第2の実施の形態の距離計測処理を説明するフローチャートである。 現在のフレームの画像を説明する図である。 過去のフレームの画像を説明する図である。 単眼カメラと座標軸との関係を示す図である。 カメラと撮像面との関係を示す図である。 画像の中心からのオプティカルフローを説明する図である。 本技術の第2の実施の形態のステレオカメラシステムのカメラの配置を示す図である。 本技術の第2の実施の形態のステレオカメラシステムのカメラの配置を示す図である。 本技術の第2の実施の形態のステレオカメラシステムのカメラの配置を示す図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部および撮像部の設置位置の一例を示す説明図である。
 以下、本技術を実施するための実施の形態について説明する。なお、説明は以下の順序で行う。
 1.第1の実施の形態:撮像制御システム(図1~図14)
 (1)撮像制御システム(図1~図3)
 (2)撮像制御装置の構成(図4~図6)
 (3)距離計測部の動作(図7)
 (4)距離精度向上部の動作(図8~図13)
 (5)誤差
 (6)統合処理(図14)
 (7)変形例(図15、図16)
 2.第2の実施の形態:撮像制御システム(図17~図40)
 (1)カメラの配置(図17~図22)
 (2)撮像制御システム構成例1(図23、図24)
 (3)撮像制御システム構成例2(図25、図26)
 (4)撮像制御システム構成例3(図27乃至図30)
 (5)撮像制御システム構成例4(図31乃至図37)
 (6)変形例(図38~図40)
 3.応用例(図41、図42)
 4.その他
 <第1の実施の形態>
 (1)撮像制御システム(図1~図3)
 図1は、本技術の第1の実施の形態の撮像制御システムの構成を示す図である。本技術の撮像制御システム1においては、図1に示されるように、4組のステレオカメラシステム21A乃至21Dが車両11の4方向に取り付けられる。車両11の側面においては、ドアミラー(サイドミラー)12,13に取り付けられており、前面と後面においては、バンパーに取り付けられている。側面に取り付ける場合、ドアミラー12,13以外の、ピラー(フロントピラー、センタピラー、リアピラー等)、ドア、ルーフレール等に取り付けることができる。
 ステレオカメラシステム21Aは、車両11の左側に設置され、車両11の左側の検出範囲22Aの対象物までの距離を計測する。ステレオカメラシステム21Bは、車両11の右側に設置され、車両11の右側の検出範囲22Bの対象物までの距離を計測する。ステレオカメラシステム21Cは、車両11の前方に設置され、車両11の前方の検出範囲22Cの対象物までの距離を計測する。ステレオカメラシステム21Dは、車両11の後方に設置され、車両11の後方の検出範囲22Dの対象物までの距離を計測する。
 ステレオカメラシステム21A乃至ステレオカメラシステム21Dのカメラ(後述する図2のカメラ41,42)は、視野角が広いレンズを用いて距離計測のための撮影を行う。図1には、検出範囲22A乃至検出範囲22Dとして、視野角が180度である場合の例が示されている(なお、実際に180度の視野角を確保するには、それ以上の例えば190度の視野角のレンズが必要になる)。また、図1の検出範囲22A乃至22Dは、角度方向の検出範囲を示すものであり、距離方向、すなわち半円の径の大きさは、実際にはもっと大きくなる。このことは、後述する図3においても同様である。
 なお、正確には、検出範囲22A乃至22Dは、後述する図2のカメラ41,42の撮像範囲が重なる領域であるが、便宜上1つの半径の半円で示されている。
 なお、ステレオカメラシステム21A乃至ステレオカメラシステム21Dを個々に区別する必要が無い場合、以下、単にステレオカメラシステム21と記述する。他の構成要素についても同様とする4組のステレオカメラシステム21は、車両11の全周囲を監視する。1組のステレオカメラシステム21は2台以上のカメラで構成されている。
 図2は、本技術の第1の実施の形態のステレオカメラシステムの座標系を示す図である。ステレオカメラシステム21の座標系は図2に示されるように定義される。
 2台のカメラ41,42から構成されるステレオカメラシステム21の一方のカメラ41の中心点をOa、他方のカメラ42の中心点をOb、中心点Oaと中心点Obの中間点(すなわちステレオカメラシステム21の中心点)をOとする。撮影の対象点をP、中心点Oaと中心点Obの間の距離(基線長)をLとする。対象点Pと中心点Oを結ぶ直線46と、中心点Oaと中心点Obを通る直線45のなす角度のうち、図中左側の角度(直線46と、直線45の中心点Oより左側の線分のなす角度)をθとする。すなわち角度θは、撮影の対象点Pとステレオカメラシステム21とのなす角度である。なお対象点は撮影すなわち監視する対象物を表し、例えば車両11の周囲の人、障害物、他の車両等を模式的に点として表したものである。
 直線45と、対象点Pと中心点Oaを結ぶ直線47のなす角度のうち、図中左側の角度(直線47と、直線45の中心点Oaより図中左側の線分とのなす角度)をθaとする。直線45と、対象点Pと中心点Obを結ぶ直線48のなす角度のうち、図中左側の角度(直線48と、直線45の中心点Obより図中左側の線分とのなす角度)をθbとする。直線47と直線48のなす角度をαとする。また、中心点Oと対象点Pとの距離をρ、対象点Pと中心点Oaの距離をρa、対象点Pと中心点Obの距離をρbとする。このとき、正弦定理から次の式(1)が得られる。
  ρa/sinθb=L/sinα=L/sin(θa-θb)      (1)
  ただし、α=θa-θbである。
 また、中心点Oと対象点Pとの距離ρは次式(2)のように書くことができる。
   ρ・sinθ=ρa・sin(π-θa)=ρa・sinθa    (2)
 式(1)と式(2)より式(3)が得られる。
   sin(θa-θb)=L/ρ・sinθa・sinθb/sinθ    (3)
 一般に、中心点Oaと中心点Obの間の距離(基線長)Lは、数cmから数十cm程度であるのに対し、中心点Oから対象点Pまでの距離ρは数m程度など十分に大きいことが多く、この場合、θ≒θaθ≒θbが成り立つ。さらにθb<θ<θaが常に成り立つ。これらの条件から次の近似式(4)が成り立つ。
   sinθa・sinθb≒sin2θ               (4)
 式(3)と式(4)より、次の式(5)が得られる。
   sin(θa-θb)≒L/ρ・sinθ           (5)
 角度θa,θbは2台のカメラ41,42の物体光の角度なので、その差であるθa-θbは、入射光の角度差であり、ステレオ画像処理ではθa-θbによって対象物までの距離が算出される。基線長Lは定数なので、式(5)よりθa-θbは、対象物までの距離ρに反比例することが判る。そのため、対象物とステレオカメラシステム21の距離が離れると距離計測精度が低下する。
 車両11に搭載したステレオカメラシステム21において距離計測を行う大きな理由の1つは、車両11の周辺の障害物を検知して、車両11と障害物との接触を防ぐことである。そのため、車両11と障害物の距離が近いほど距離計測精度が上がっているのは理にかなっている。
 しかしながら、車両11の近くでありながら距離計測精度が低い箇所がある。具体的には図3に示すように、車両11の4隅付近の距離計測精度が低くなる。図3は、本技術の第1の実施の形態の距離計測精度が低い範囲を説明する図である。
 図3に示されるように、ステレオカメラシステム21Aの検出範囲22Aとステレオカメラシステム21Cの検出範囲22Cが重なる領域61ACは、ステレオカメラシステム21Aとステレオカメラシステム21Cのいずれからも距離が遠くなる。ステレオカメラシステム21Bの検出範囲22Bとステレオカメラシステム21Cの検出範囲22Cが重なる領域61BCは、ステレオカメラシステム21Bとステレオカメラシステム21Cのいずれからも距離が遠くなる。
 同様に、ステレオカメラシステム21Bの検出範囲22Bとステレオカメラシステム21Dの検出範囲22Dが重なる領域61BDは、ステレオカメラシステム21Bとステレオカメラシステム21Dのいずれからも距離が遠くなる。ステレオカメラシステム21Aの検出範囲22Aとステレオカメラシステム21Dの検出範囲22Dが重なる領域61ADは、ステレオカメラシステム21Aとステレオカメラシステム21Dのいずれからも距離が遠くなる。
 従って、車両11の比較的近傍であるにも拘わらず、これらの領域61AC,61BC,61BD,61ADにおける距離計測精度は低くなる。この4隅の領域61AC,61BC,61BD,61ADは、2つのステレオカメラシステム21の監視領域が重なっている。そこで本技術においては、2つのステレオカメラシステム21の距離計測結果から計測精度を向上させる。
 (2)撮像制御装置の構成(図4~図6)
 図4は、本技術の第1の実施の形態の撮像制御システム1の構成を示すブロック図である。撮像制御システム1は、カメラシステム20と撮像制御部81により構成されている。
 カメラシステム20は、ステレオカメラシステム21A乃至ステレオカメラシステム21Dを有している。ステレオカメラシステム21Aは、撮像部101Aと撮像部102Aを有する。撮像部101Aはカメラ41Aを有し、撮像部102Aはカメラ42Aを有する。
 同様に、ステレオカメラシステム21Bは、撮像部101Bと撮像部102Bを有し、撮像部101Bはカメラ41Bを有し、撮像部102Bはカメラ42Bを有する。ステレオカメラシステム21Cは、撮像部101Cと撮像部102Cを有し、撮像部101Cはカメラ41Cを有し、撮像部102Cはカメラ42Cを有する。ステレオカメラシステム21Dは、撮像部101Dと撮像部102Dを有し、撮像部101Dはカメラ41Dを有し、撮像部102Dはカメラ42Dを有する。
 撮像部101A,102Aにより撮影された画像は、ステレオ距離計測部91Aに供給され、撮像部101B,102Bにより撮影された画像は、ステレオ距離計測部91Bに供給される。撮像部101C,102Cにより撮影された画像は、ステレオ距離計測部91Cに供給され、撮像部101D,102Dより撮影された画像は、ステレオ距離計測部91Dに供給される。
 撮像制御部81は、ステレオ距離計測部91A乃至ステレオ距離計測部91D、並びに距離精度向上部92AC、距離精度向上部92BC、距離精度向上部92ADおよび距離精度向上部92BDにより構成されている。さらに撮像制御部81は、統合部93を有している。
 ステレオ距離計測部91Aは車両11の左側の検出範囲22Aにおける距離を計測する。ステレオ距離計測部91Bは車両11の右側の検出範囲22Bにおける距離を計測する。ステレオ距離計測部91Cは車両11の前方の検出範囲22Cにおける距離を計測する。ステレオ距離計測部91Dは車両11の後方の検出範囲22Dにおける距離を計測する。
 距離精度向上部92は、対応する重なる領域61における距離を計測するステレオ距離計測部91からの計測結果を取得し、距離精度を向上させる。すなわち、距離精度向上部92ACは、検出範囲22Aにおける距離を計測するステレオ距離計測部91Aと、検出範囲22Cにおける距離を計測するステレオ距離計測部91Cの計測結果を取得し、距離精度を向上させる。距離精度向上部92BCは、検出範囲22Bにおける距離を計測するステレオ距離計測部91Bと、検出範囲22Cにおける距離を計測するステレオ距離計測部91Cの計測結果を取得し、距離精度を向上させる。
 同様に、距離精度向上部92ADは、検出範囲22Aにおける距離を計測するステレオ距離計測部91Aと、検出範囲22Dにおける距離を計測するステレオ距離計測部91Dの計測結果をし、距離精度を向上させる。距離精度向上部92BDは、検出範囲22Bにおける距離を計測するステレオ距離計測部91Bと、検出範囲22Dにおける距離を計測するステレオ距離計測部91Dの計測結果をし、距離精度を向上させる。
 統合部93は、距離精度向上部92AC、距離精度向上部92BC、距離精度向上部92ADおよび距離精度向上部92BDの出力を取得、統合し、車両11の周囲全体の状態を把握し、出力する。
 図5は、本技術の第1の実施の形態のステレオ距離計測部の構成を示すブロック図である。ステレオ距離計測部91は図5に示されるように構成されている。
 ステレオ距離計測部91は、画像補正部111,112と、ステレオ画像処理部113を有している。ステレオカメラシステム21の撮像部101(カメラ41を有する)と撮像部102(カメラ42を有する)の出力は、それぞれ画像補正部111と画像補正部112に供給され、前処理としてレンズの収差等が補正される。すなわちカメラ41,42は広角レンズを有し、通常のカメラよりも視野角が広い撮影が可能なカメラであるため、撮影された画像は歪んでいる。距離算出のためこの歪を補正し、画像を平面に投影して平面画像とする処理が行われる。ステレオ画像処理部113は、画像補正部111と画像補正部112の出力から、対象物までの距離を検出する。すなわちカメラ41,42の一方の画像に映っている物体を、他方の画像から検出し、その位置のずれから距離が算出される。
 なお、広角カメラは、35ミリ換算で、35ミリ以下のレンズ、特に28ミリ以下のレンズを備えるカメラである。あるいは、視野角が60度以上、特に120度以上、あるいは150度以上の撮影が可能なカメラである。視野角は180度以上にすることもできる。特に視野角が広い広角のレンズ若しくはカメラは、魚眼レンズ(fθレンズ)若しくは魚眼カメラ、あるいは超広角レンズ若しくは超広角カメラといわれることがある。
 図4の距離精度向上部92は、図6に示されるように構成されている。図6は、本技術の第1の実施の形態の距離精度向上部の構成を示すブロック図である。図6に示されるように、距離精度向上部92は、取得部141,142、交点検出部143、距離補正部144および出力部145を有している。
 取得部141,142は、対応するステレオ距離計測部91から計測情報を取得する。例えば距離精度向上部92ACの場合、取得部141はステレオ距離計測部91Aの計測情報を取得し、取得部142はステレオ距離計測部91Cの計測情報を取得する。交点検出部143は、取得部141,142が取得した計測情報から交点を検出する。すなわち、観測点の重なりが検出される。距離補正部144は、交点検出部143により検出された交点の距離を演算する。すなわち、ステレオ距離計測部91により計測された距離が補正される。出力部145は、距離補正部144により演算された結果を、統合部93に出力する。
 (3)距離計測部の動作(図7)
 次に図7を参照して、ステレオ距離計測部91の動作について説明する。図7は、本技術の第1の実施の形態の距離計測処理を説明するフローチャートである。
 ステップS11において、図5の撮像部101(カメラ41を有する)と撮像部102(カメラ42を有する)は観測点を撮影する。ステップS12において画像補正部111は、撮像部101により撮像された画像について、レンズ収差、カメラ画像の歪みなどを補正する。同様に、画像補正部112は、撮像部102により撮像された画像について、レンズ収差、カメラ画像の歪みなどを補正する。すなわち、距離算出のため画像の歪が補正され、画像が仮想平面に投影されて平面画像とされる。
 ステップS13においてステレオ画像処理部113は、観測点までの距離を演算する。すなわち、撮像部101のカメラ41と撮像部102のカメラ42は、距離Lだけ離れた位置に配置されている。従って、カメラ41により撮影された画像とカメラ42により撮影された画像は位相差を有しており、その位相差に基づいて観測点までの距離を演算することができる。すなわちメラ41,42の一方の画像に映っている物体に対応する物体が他方の画像から検出され、2つの画像における物体の位置のずれから距離が算出される。算出の結果得られた計測情報は対応する距離精度向上部92に出力される。
 ステップS14においてステレオ画像処理部113は処理を終了するかを判定する。使用者からまだ処理の終了が指示されていない場合、処理はステップS11に戻り、それ以降の処理が繰り返される。処理の終了が指示されている場合、処理は終了される。
 以上の処理は、ステレオ距離計測部91A乃至ステレオ距離計測部91Dのそれぞれにより検出範囲22A乃至検出範囲22Dにおいて行われる。検出範囲22A乃至検出範囲22Dにおいて計測の結果得られた計測情報が、対応する距離精度向上部92A乃至距離精度向上部92Dに出力される。
 すなわち、検出範囲22Aにおける距離を計測したステレオ距離計測部91Aと、検出範囲22Cにおける距離を計測したステレオ距離計測部91Cの計測情報は、距離精度向上部92ACに供給される。検出範囲22Bにおける距離を計測したステレオ距離計測部91Bと、検出範囲22Cにおける距離を計測したステレオ距離計測部91Cの計測情報は、距離精度向上部92BCに供給される。
 同様に、検出範囲22Aにおける距離を計測したステレオ距離計測部91Aと、検出範囲22Dにおける距離を計測したステレオ距離計測部91Dの計測情報は、距離精度向上部92ADに供給される。検出範囲22Bにおける距離を計測したステレオ距離計測部91Bと、検出範囲22Dにおける距離を計測したステレオ距離計測部91Dの計測情報は、距離精度向上部92BDに供給される。
 なお、補正処理により投影される仮想平面は1枚とすることができる。しかし、複数枚(例えば3枚)の仮想平面を用意し、広角レンズで撮影された画像を3分割し、1/3ずつに分割された画像を各仮想平面に投影するようにすることもできる。
 (4)距離精度向上部の動作(図8~図13)
 次に図8を参照して、距離精度向上部92の動作について説明する。図8は,本技術の第1の実施の形態の精度向上処理を説明するフローチャートである。
 ステップS51において図6の取得部141,142は、対応するステレオ距離計測部91のステレオ画像処理部113から計測情報を取得する。例えば距離精度向上部92ACの場合、取得部141は、ステレオ距離計測部91Aのステレオ画像処理部113Aから計測情報を取得し、取得部142は、ステレオ距離計測部91Cのステレオ画像処理部113Cから計測情報を取得する。
 ステップS52において交点検出部143は、重複範囲の観測点であるかを判定する。すなわち、ステップS51で取得部141,142により取得された計測情報に含まれる観測点の座標が領域61内の座標であるかが判定される。例えば距離精度向上部92ACの場合、検出範囲22Aの観測点と検出範囲22Cの観測点の座標が入力されるので、その座標が検出範囲22Aと検出範囲22Cが重なる範囲61AC内に含まれる座標であるかが判定される。
 重複範囲の観測点が観測された場合、ステップS53において交点検出部143は、交点が存在するかを判定する。ここで図9を参照して交点について説明する。
 図9は、本技術の第1の実施の形態の精度向上処理を説明する図である。なお、図9においては、車両11が模式的に表されている。このことは、後述する図10乃至図13においても同様である。
 図9に示されるように、いま、取得部141が取得したステレオカメラシステム21Aの画像から視線方向201A1の方向に観測点PA1が観測されたとする。この観測点PA1の座標は距離計測誤差DA1を有している。すなわち、所定の視線上に物体(すなわち図2にける撮影の対象点P)があり、その物体が観測点として観測された場合、実際の撮影の対象点の位置は、誤差の範囲のどこかに存在する。車両11の周囲の人、障害物、他の車両等の監視する対象物としての所定の物体を観測して得られる、その対象物に対応する点が観測点である。換言すれば、観測系を介して得られる対象物の像、すなわち観測情報(例えば観測された方向の観測された距離)に基づく点が観測点である。従って、観測点PA1の座標は誤差を含んでいるため、実際には観測点PA1は、観測点PA1より先の座標DA1Fと観測点PA1より後の座標DA1Eの範囲の誤差DA1の範囲内に位置していると考えることができる。図9において誤差DA1は太い線で示されている。なお、誤差の詳細は後述する。
 同様に、取得部142が取得したステレオカメラシステム21Cの画像から視線方向201C1の方向に観測点PC1が観測されたとする。この観測点PC1の座標は距離計測誤差DC1を有している。つまり、観測点PC1の座標は誤差を含んでいるため、実際には観測点PC1は、観測点PC1より先の座標DC1Fと観測点PC1より後の座標DC1Eの範囲の誤差DC1の範囲内に位置していると考えることができる。
 このように誤差DA1と誤差DC1は、それぞれ所定の範囲(幅)を有しており、例えば観測点P----A1と観測点PC1が実質的に同一の観測点である場合、その交点P1が実際の観測点であると考えることができる。ステップS53では、このような交点P1が存在するかが判定される。つまり、計測された観測点の距離(すなわち位置)は幅(すなわち所定の範囲)を有しており、その幅を有する観測点の重なりが検出される。すなわち、計測された観測点の距離の誤差の範囲の重なりが観測点の重なりとして検出される。
 そこで、ステップS53において交点が存在すると判定された場合、ステップS54において距離補正部144は、ステップS51で取得された距離を補正する。具体的には、ステップS51で取得された距離が、ステップS53で検出された交点の距離に補正される。すなわち、図9の例では、交点P1の座標が新たに演算される。
 ステップS55において交点検出部143は、複数の交点が存在するかを判定する。この状態を図10を参照して説明する。図10は、本技術の第1の実施の形態の精度向上処理を説明する図である。
 図10の例においては、取得部141が取得したステレオカメラシステム21Aの画像から視線方向201A2の方向に観測点PA2が観測されている。この観測点PA2の座標は距離計測誤差DA2を有している。また取得部142が取得したステレオカメラシステム21Cの画像から視線方向201C2の方向に観測点PC2が観測されている。この観測点PC2の座標は距離計測誤差DC2を有している。さらに取得部142が取得したステレオカメラシステム21Cの画像から視線方向201C3の方向に観測点PC3が観測されている。この観測点PC3の座標は距離計測誤差DC3を有している。
 誤差DA2と誤差DC2は交点P2を有し、誤差DA2と誤差DC3は交点P3を有している。つまりこの例の場合、交点P2以外に、交点P3が検出されており、交点が複数存在することになる。
 ステップS55で交点が複数存在すると判定された場合、ステップS56において距離補正部144は、交点を選択する。図10の例では、交点P2と交点P3のいずれかが所定の基準で選択される。例えば車両11に近い交点を選択したり、観測点に近い交点を選択することができる。図10の例の場合、いずれの基準を採用しても交点P2が選択されることになる。離演算部144は選択した交点の距離を検出距離とする。図10の例の場合、ステレオ距離計測部91Aで計測された観測点PA2の距離に代えて、交点P2の距離が検出距離とされる。
 ステップS55で複数の交点が存在しないと判定された場合、ステップS58において距離補正部144は、交点の距離を検出距離とする。すなわち、ステップS54で演算された交点の距離がそのまま検出距離とされる。図9の例の場合、交点は1つしかないので、処理はステップS55からステップS58に進み、観測点PA1に代えて、交点P1の距離が検出距離とされる。
 ステップS53で交点が存在しないと判定された場合、ステップS61において距離補正部144は、観測点までの距離を検出距離とする。この状態を、図11を参照して説明する。図11は、本技術の第1の実施の形態の精度向上処理を説明する図である。
 図11の例においては、取得部141が取得したステレオカメラシステム21Aの画像から視線方向201A3の方向に観測点PA3が観測されている。この観測点PA3の座標は距離計測誤差DA3を有している。また取得部142が取得したステレオカメラシステム21Cの画像から視線方向201C4の方向に観測点PC4が観測されている。この観測点PC4の座標は距離計測誤差DC4を有している。視線方向201A3と視線方向201C4は交差しているが、誤差DA3と誤差DC4は交差していない。
 図11の例は、観測点PA3と観測点PC4が観測されたのは重複範囲であるが(ステップS52でYESと判定されるが)、交点は存在しない(ステップS53でNOと判定される)例である。この場合には、ステップS61において、距離補正部144は、観測点までの距離を検出距離とする。すなわち、それぞれ観測点PA3と観測点PC4の距離が、そのまま検出距離とされる。つまりこの場合は、それぞれ別の観測点(対象物)が観測された場合である。
 図12は、本技術の第1の実施の形態の精度向上処理を説明する図である。図12の例においては、取得部141が取得したステレオカメラシステム21Aの画像から視線方向201A4の方向に観測点PA4が観測されている。この観測点PA4の座標は距離計測誤差DA4を有している。また取得部142はステレオカメラシステム21Cの画像から観測点を検出していない。この例も、観測点PA4が観測されたのは重複範囲であるが(ステップS52でYESと判定されるが)、交点は存在しない(ステップS53でNOと判定される)例である。そこでこの場合にも、ステップS61において、距離補正部144は、観測点までの距離を検出距離とする。すなわち、観測点PA4の距離が、そのまま検出距離とされる。
 なお、観測点と誤差に交点が存在するのではなく、観測点の座標そのものが一致した場合、すなわち、ステレオカメラシステム21Aとステレオカメラシステム21Cが同じ座標の観測点を検出した場合、ステップS53で交点は存在しないと判定される。そしてステップS61において、観測点までの距離がそのまま検出距離とされる。
 ただし、観測点が観測されたのは重複範囲であるが(ステップS52でYESと判定されるが)、交点は存在しない(ステップS53でNOと判定される)場合、すなわち図12の例に示されるような場合、図8に点線で示すように処理することもできる。
 すなわち、ステップS53で交点が存在しないと判定された場合、ステップS60において交点検出部143は近傍に他の観測点が存在するかを判定する。他の観測点が近傍に存在する場合にはステップS61において距離補正部144は、観測点までの距離を検出距離とする。
 ステップS60において近傍に他の観測点が存在しないと判定された場合、ステップS62において距離補正部144はエラー処理を実行する。すなわち、この場合の処理では、図12の例に示されるような場合には、観測点PA4はステレオカメラシステム21Cからも検出されるはずなのに、検出されていないので、観測点PA4の検出はエラーと判断され、観測点PA4は消去される。
 ステップS52において観測点は重複範囲に位置していないと判定された場合、ステップS61において距離補正部144は、観測点までの距離を検出距離とする。すなわち、観測点の距離が、そのまま検出距離とされる。この例を図13を参照して説明する。
 図13は、本技術の第1の実施の形態の精度向上処理を説明する図である。図13の例においては取得部141が取得したステレオカメラシステム21Aの画像から視線方向201A5の方向に観測点PA5が観測されている。この観測点PA5の座標は距離計測誤差DA5を有している。この観測点PA5が観測されたのは、検出範囲22Aではあるが、領域61ACではない。また検出範囲22Cでは観測点が検出されていない。このような状態の場合、観測点PA5の距離がそのまま検出距離とされる。つまり、検出範囲22のうち領域61内に位置しない観測点の距離は、そのまま検出距離とされる。
 ステップS56,S58,S61の処理の後、ステップS57において出力部145は、得られた計測情報を統合部93に出力する。すなわち、ステップS56で選択された交点の計測情報、ステップS58で得られた交点の計測情報、またはステップS61で得られた観測点までの計測情報が統合部93に供給される。
 ステップS57およびステップS62の処理の後、ステップS59において距離補正部144は処理を終了するかを判定する。使用者から処理の終了が指示されていない場合には、処理はステップS51に戻り、同様の処理が繰り返される。終了が指示されている場合には、処理は終了される。
 以上の処理は、距離精度向上部92AC、距離精度向上部92BC、距離精度向上部92AD、および距離精度向上部92BDにおいてそれぞれ行われる。
 (5)誤差
 次に、ステレオカメラシステム21の誤差についてさらに説明する。上述した式(5)をステレオカメラシステム21から撮影の対象点Pまでの距離ρを算出する式に変形すると式(6)のようになる。
  ρ≒L・sinθ/sin(θa-θb)=L・sinθ/sinα     (6)
  ただし、α=θa-θbである。
 また、αが十分に小さいとすると、sinα≒αと近似できるので、式(6)はさらに次の式(7)のように変形することができる。
   ρ≒L・(sinθ)/α                 (7)
 ステレオカメラシステム21で観測されるのは角度θaと角度θbなので、距離Lと角度θを定数とすると、距離ρの誤差は、角度α(=θa-θb)の逆数比から計算することができる。一般的にステレオカメラシステム21から求められる角度θa,θbは離散的な値なので、角度αも離散的である。
 ここでα=d/Eと表現すると、式(7)は次の式(8)のように表すことができる。dは整数でαに応じで変化し、Eはカメラの解像度などから決定される実数の固定値であるとする。αの値域は0<α<π(3.14)であるが、dは十分に大きな固定値Eで割ることで、3.14よりも大きな値を取ることができる。
   ρ≒L・E・(sinθ)/d               (8)
 dの誤差が±1であるとする。その場合、dの誤差が-1の場合の距離ρの誤差Δρmと、dの誤差が+1の場合の距離ρの誤差Δρpは次のように異なる。
   Δρm=L・E・(sinθ)/(d-1)-L・E・(sinθ)/d
      =L・E・(sinθ)/(d・(d-1))=ρ/(d-1)
       (但しd>1)                          (9)
   Δρp=L・E・(sinθ)/d-L・E・(sinθ)/(d+1)
      =L・E・(sinθ)/(d・(d+1))=ρ/(d+1)  (10)
 距離ρの誤差Δが最大となるのはd=2の場合であり、この場合、式(9)よりΔρm=ρとなり、式(10)よりΔρp=ρ/3となる。dの誤差が-1、すなわち、距離ρが大きくなる(遠くなる)側の誤差は、撮影の対象点Pまでの距離ρに対して100%である。また、dの誤差がが+1すなわち、距離ρが小さくなる(近くなる)側の誤差は、撮影の対象点Pまでの距離ρに対して33%となる。これは最大誤差であり通常の誤差はもっと小さい。例えは、d=10の場合、誤差Δρmは距離ρの11%、誤差Δρpは距離ρの9%となる。また、これはdの誤差が±1の場合であり、dの誤差がもっと大きくなると距離ρの誤差ももっと大きくなる。
 以上のようにして、システム設計時に、dの値を±1、±2等に適宜決めることで、誤差DA,DC等を決定することができる。例えばまず±1でステレオカメラシステム21の対応をチェックし、±2、±3等と変化させて調整してもよい。
 (6)統合処理(図14)
 次に図14を参照して、統合処理について説明する。図14は、本技術の第1の実施の形態の統合処理を説明するフローチャートである。
 ステップS91において図4の統合部93は統合処理を実行する。すなわち、距離精度向上部92AC、距離精度向上部92BC、距離精度向上部92AD、および距離精度向上部92BDにより計測された計測情報は、車両11の周囲、つまり、左側、右側、前方および後方の計測情報である。統合部93はこれらの計測情報を統合し、車両11の全方向の計測情報として図示せぬモニタに表示させたり、記憶部に記憶させる。
 統合部93は、各種の支援を行う。例えばバック駐車、縦列駐車等の駐車支援、交差点停車時や右左折時の斜め後方の構造物、自転車、歩行者等の障害物認識情報を提供したり、車線変更時の隣のレーンの後続車を監視したりすることができる。
 また、通常走行時は監視はするものの、アラートは出さないようにし、基準以下の距離に障害物が検出されときアラートを出したり、車両の進行方向と逆側(例えば、左折時の右側、右折時の左側)を特に監視することができる。また逆に、必要がない方向(例えば、左折時の右側、右折時の左側)の監視は省略することもできる。さらに4つの方向の検出精度は同じでもよいが、一方(例えば側面)の検出精度を他方(例えば前面または後面)より高くすることもできる。
 ステップS92において統合部93は処理を終了するかを判定する。使用者から処理の終了が指示されていない場合には、処理はステップS91に戻り、同様の処理が繰り返される。終了が指示されている場合には、処理は終了される。
 一般的に、監視範囲を広げるには、カメラに画角の広いレンズを取り付ければよい。特に、車両の側面のような広い範囲の監視が必要な場合、魚眼レンズのような非常に広角のレンズを使用することで、1台のカメラ、あるいは、1組のステレオカメラシステムで車両側面全体を監視することができる。しかしながら、非常に広角のレンズを使用した場合、撮影した画像の空間分解能が低下するために、画像に移っている物体のサイズが小さくなり、撮影した画像を解析して画像認識などを行う場合に解析の精度が低下してしまう。ステレオ画像処理による距離計測精度も低下してしまう。
 しかし、本技術によれば、計測範囲が重なる複数の観測点の重なりを検出し、観測点の重なりに基づいて新たな距離を演算するようにしたので、距離計測精度の低下を抑制することができる。
 なお本技術は、通常の視野角のカメラ用いて測距する場合にも適用することができる。
 なお、ステレオカメラシステム21のカメラ41,42は、横方向に配置することもできるが、図17乃至図22を参照して後述するように、上下(縦方向)にずらして配置することもできる。加えて、光軸が基準面と平行な方向より下を指向するように配置するようにしてもよい。
 また、以上においては、4つの方向をステレオカメラシステム21で監視するようにしたが、そのうちの少なくとも1つの方向は、超音波、レーダ、レーザセンサ、赤外線センサ等により監視するようにすることもできる。さらに、ステレオカメラシステム21による障害物の認識、監視に加えて、ビューイングシステムを組み合わせて用いることができる。
 (7)変形例(図15、図16)
 なお、距離補正部144により距離を補正するために、さらに構成を付加することができる。図15は、本技術の第1の実施の形態の距離精度向上部の構成を示すブロック図である。
 図15の構成例においては、カメラシステム20以外に、検知システム85が設けられている。検知システム85は、検知部149を有している。この検知部149は、各検出範囲22A乃至22Dに対応して設けられている。検知部149は、例えば超音波センサ、赤外線センサ、ミリ波センサ、レーダの少なくともいずれか1つで構成される。他の検出部としての検知部149は、超音波センサ、赤外線センサ、ミリ波センサ、レーダ等により各検出範囲22A乃至22Dにおいて観測点の距離を検出する。検出結果は対応する距離補正部144に供給される。距離補正部144は、交点検出部143からの出力だけでなく、検知部149の検出結果も利用して精度向上処理を実行する。これにより、より正確な精度向上処理が実現できる。
 さらに、他の機能を付加することができる。図16は、本技術の第1の実施の形態の撮像制御システムの構成を示すブロック図である。
 図16の構成例においては、ステレオカメラシステム21Aの撮像部101A,102Aのうちの少なくとも一方(この実施の形態の場合撮像部101A)の撮像画像が認識処理部83に供給されている。同様に、ステレオカメラシステム21Bの撮像部101B、ステレオカメラシステム21Cの撮像部101C、ステレオカメラシステム21Dの撮像部101Dの撮像画像が、それぞれ認識処理部83に供給されている。認識処理部83は、入力された撮像画像から、各検出範囲22A乃至22Dにおいて観測された対象物が何であるのかを認識する。認識結果は使用者に提示される。
 <第2の実施の形態>
 (1)カメラの配置(図17~図22)
 次に第2の実施の形態について説明する。図17と図18は、本技術の第2の実施の形態の撮像制御システムの構成を示す図である。
 図17と図18に示されるように、第2の実施の形態の撮像制御システム501においては、2台のカメラ541,542を1組としたステレオカメラシステム521が、車両511の側面に上下方向(すなわち縦方向)に配置される。すなわちカメラ541,542は、その視差が高さ方向にでるように、基準面(路面551)と垂直な面内に配置される。なおカメラ541,542、ステレオカメラシステム521、および車両511は、それぞれ第1の実施の形態のカメラ41,42、ステレオカメラシステム21、および車両11に対応する。カメラ541,542の取り付け位置は車両511の側面の中央付近が望ましいが、中央付近はドアがあるなど取り付けが難しい場合あるので、図17と図18の例では、ドアミラー512,513付近に取り付けられている例が示されている。
 また、ドアミラー512,513付近に取り付ける理由は、図18に示されるように、ステレオカメラシステム521を斜め下方向に向けて取り付けるためでもある。ドアミラー512,513であれば、特別な治具を追加することなくステレオカメラシステム521を斜め下方向に取り付けることができる。なお、ステレオカメラシステム521を構成するカメラ541,542は、ここでは広角カメラが使用されている。
 なお、図17と図18においては、車両511の左側にのみステレオカメラシステム521が設置されているが、実際には右側にも設置される。
 もちろん、ステレオカメラシステム521は、ドアミラー512,513以外の、ピラー(フロントピラー、センタピラー、リアピラー等)、ドア、ルーフレール等に取り付けることができる。車両511の側面であればどこに取り付けても良い。
 以下、図17と図18に示されるようにカメラ541.542を配置にする理由について説明するが、その前に、ステレオカメラシステム521の座標系について説明する。
 カメラ541,542と撮影の対象点Pの座標系は、第1の実施の形態の図2に示される場合と同様である。従ってその説明は省略するが、第2の実施の形態においては、図2におけるカメラ41,42は、カメラ541,542に置き換えて理解すべきである。
 図2の座標系が適用されるので、式(1)乃至式(5)が第2の実施の形態においても適用される。
 式(5)から、θa-θb(sin(θa-θb))は、ステレオカメラシステム521の中心点Oから物体(撮影の対象点P)までの距離ρに反比例するとともに、物体とステレオカメラシステム521とのなす角度θに比例することが判る。θa-θb(sin(θa-θb))が大きい方が誤差の影響に強く、距離計測精度が高いと言える。従って、ステレオカメラシステム521と物体の角度θが0もしくは180度に近づくと、sin(θa-θb)が小さくなるので、距離計測精度が低下する。
 以上の理由により、ステレオカメシステム521の2台のカメラ541,542を車両511の側面に横並びに(すなわち路面551と平行に同じ高さに)取り付けると、車両511の側面から前方または後方を距離計測することが困難になる。そのため、車両511の側面にステレオカメラシステム521を設置する場合には、2台のカメラ541,542を縦並びに(すなわち路面551と垂直に高さを変えて)配置した方がよい。そうすることで、車両511の側面のほぼ中央部分はもとより、側面の前方(車両進行方向)または後方(車両進行方向と反対方向)の距離を正確に計測することができる。
 しかしながら、ステレオカメラシステム521の2台のカメラ541,542を縦並びに配置すると、今度はステレオカメラシステム521の真下と真上の距離計測の精度が低下する。ステレオカメラシステム521の真上については、通常は空なので、障害物の検知などのための測距処理を行う必要性は低いが、ステレオカメラシステム521の真下は路面551であるから測距処理を行う必要がある。そこで、図18に示されるように、ステレオカメラシステム521を縦並びのまま光軸が斜め下方向(路面551の方向)を指向するように配置することを考える。
 ここで、さらに図19に示される座標系を定義する。図19は、本技術の第2の実施の形態のステレオカメラシステムの座標系を示す図である。ステレオカメラシステム521と車両511が走行する路面551のなす角度をβとする。すなわち、カメラ541とカメラ542を通る直線552は、点Rにおいて路面551と交差する。この直線552が路面551となす角度をβとする。
 カメラ541の光軸541oaとカメラ542の光軸542oaは、カメラ541とカメラ542を通る直線552と垂直な方向を指向している。ステレオカメラシステム521の中心点Oを通る路面551に対する垂線である直線553は、路面551上の点Tと交差する。すなわち、点Tは、ステレオカメラシステム521の真下(すなわち車両511の真下)の路面551上の点である。光軸541oa,542oaは、ステレオカメラシステム521の中心点Oと点Tを通る直線553に対して角度βの方向を指向する。つまり、角度βは、ステレオカメラシステム521の取り付け角度を表すとともに、カメラ541,542の光軸541oa,542oaの指向方向を表す角度でもある。
 また、ステレオカメラシステム521の中心点Oの路面551からの高さ(直線553の長さ)をH、路面551上の撮影の対象点をQとすると、中心点Oと撮影の対象点Qの距離(中心点Oと撮影の対象点Qを結ぶ直線554の長さ)ρは、式(12)で表すことができる。式(12)は、式(11)から導き出すことができる。
 H/ρ=sin(π-(θ+β))=sin(θ+β)    (11)
 ρ=H/sin(θ+β)               (12)
 ここで、式(5)と式(12)より次式(13)が得られる。
 sin(θa-θb)≒L/H・sinθ・sin(θ+β)    (13)
 式(13)で、ステレオカメラシステム521の2台のカメラ541とカメラ542の間の距離Lと取り付け高さHを定数と考える。すると、車両511の周辺の路面551に対する距離計測精度は、ステレオカメラシステム521の取り付け角度βに依存する。
 角度β=π/2の場合、すなわちステレオカメラシステム521の2台のカメラ541とカメラ542が路面551に対して垂直に取り付けられた場合、ステレオカメラシステム521の真下の点Tを撮影するとき、角度θ=0となる。その結果、式(13)より距離計測精度が最も低下することが判る。
 逆に、角度β=0の場合、すなわち、ステレオカメラシステム521の2台のカメラ541,542を真下に向けて路面551と平行に取り付けた場合、真下の点Tを撮影するとき、角度θ=π/2となり、式(13)より距離計測精度が最も高くなることが判る。
 0<β<π/2の場合、真下の点Tを撮影するとき、角度θ=π/2-βとなる。このとき式(13)は次の式(14)のようになる。
 sin(θa-θb)≒L/H・sin(π/2-β)・sin(π/2-β+β)
         =L/H・cosβ          (14)
 ステレオカメラシステム521の取り付け角度βをいくつか変えた場合における式(13)の角度θに対する変化が図20に示されている。図20は、本技術の第2の実施の形態の距離精度特性を示す図である。図20において、縦軸は距離計測精度の倍率を表し、横軸は角度θを表している(単位はラジアンである)。
 距離計測精度の倍率について説明する。距離計測精度は、ステレオカメラシステム521を路面551と平行(角度β=0)に取り付けた場合、真下(角度θ=π/2)を撮影するとき最も大きくなる。ステレオカメラシステム521を取り付ける高さH=1.0m、ステレオカメラシステム521を構成する2台のカメラ541とカメラ542の間の距離L=1.0mと仮定し、その距離計測精度を基準(倍率1倍)とする。ここでL=1.0mとしたが、これは式(14)の定数項(L/H)を1にすることで、距離計測精度の基準を倍率1倍にするためである。実際のステレオカメラシステム521を構成する2台のカメラ541,542間の距離は、数cm~数十cm程度である。
 図20において、曲線631は角度β=0の場合、曲線632は角度β=π/6の場合、曲線633は角度β=π/4の場合、曲線634は角度β=π/3の場合、曲線635は角度β=5π/12の場合、曲線636は角度β=π/2の場合、をそれぞれ表している。
 図20の曲線の左側が途中で途切れていることについて説明する。角度θ=π/2-βの場合、撮影の対象点Qはステレオカメラシステム521の真下の路面551上の点Tと一致する。θ+β<π/2の場合、撮影の対象点Qは点Tよりも図19において右側、すなわちステレオカメラシステム521を取り付けている車両511の内側になってしまい、路面551を撮影することができない。また、θ+β>πの場合、撮影の対象点Qが無限遠になってしまうので計測できない。そこで、図20では、π/2<θ+β<πとなる区間(ステレオカメラシステム521の取り付け角度βは定数なので、角度θの値域がπ/2-β<θ<π-βとなる区間)のみが示されている。
 図20を見ると、角度β=0の場合(曲線631の場合)は、距離計測精度が角度θ=π/2で最大値1をとり、角度θがπ/2より大きくなると単調減少する。また、角度β>0の場合(曲線632乃至曲線636の場合)、角度θ=π/2-βで値L/H・cosβとなり、角度θがπ/2-βより大きくなると距離計測精度が一度大きくなった後、小さくなる。そして、角度θ=π/2のとき、同じ値L/H・cosβとなり、真下の点Tの解像度と等しくなる。それ以降、角度θ>π/2になると、距離計測精度は小さくなっていく。つまり、式(13)において、π/2-β<θ<π/2の範囲が、距離計測精度が高く、距離計測に向いている範囲といえる。
 角度βを大きくすると(ただしβ≦π/2)、距離計測に向いている範囲が広くなるが、式(14)の値が小さくなる。すなわち、そもそもの距離計測精度が低い状態になる。一方で、角度βを小さくすると、距離計測に向いている範囲は狭くなるが、式(14)の値が大きくなり、距離計測精度が高くなる。このように式(13)から、距離計測精度と距離計測範囲はトレードオフの状態になっているということができる。
 従って、広い距離計測範囲が必要であれば、角度βを大きくする(π/2に近づける)。すなわち、ステレオカメラシステム521の取り付け角度βを路面551に垂直に近づければよい(カメラ541,542の光軸541oa,542oaが路面551に対して平行に近づくようにすればよい)。一方、近距離での距離計測精度が必要であれば、角度βを小さくする(0に近づける)。すなわち、ステレオカメラシステム521の取り付け角度を路面551と平行に(すなわちこの例の場合水平に)近づければよい(カメラ541,542の光軸541oa,542oaが路面551に対して垂直に近づくようにすればよい)。
 角度βを0<β<π/2の範囲に設定することで、カメラ541,542の光軸541oa,542oaが路面551と点M,Nで交差する。つまり、カメラ541,542を、その光軸541oa,542oaが路面551と交差するように取り付けることで、測距処理が可能となる。
 図20は、ステレオカメラシステム521の取り付け角度βとステレオカメラシステム521に対する撮影の対象点Qの角度θの関係を表す。車両511と撮影の対象点Qとの関係を分かり易くするために、図19に示されるように、点Tと撮影の対象点Qとの距離をWとし、図20を距離計測精度と距離Wとの関係を表すように変形させる。まず、距離Wは次式(15)で表される。なお、θ+βの値はπ/2より大きいので、tan(θ+β)の値が負となり、距離Wの値は正となる。
  W=H/tan(π-(θ+β))=-H/tan(θ+β)   (15)
 式(15)を用いて図20を変形させたものが図21に示されている。図21は、本技術の第2の実施の形態の距離精度特性を示す図である。図21において、縦軸は距離計測精度の倍率を表し、横軸は距離Wを表している(単位はメートルである)。図21において、曲線641は角度βが0の場合の倍率、曲線642は角度βがπ/6の場合の倍率、曲線643は角度βがπ/4の場合の倍率、曲線644は角度βがπ/3の場合の倍率、をそれぞれ表している。曲線645は角度βが5π/12の場合の倍率、曲線646は角度βがπ/2の場合の倍率、をそれぞれ表している。
 図21に示されるように、角度β=0の場合(曲線641の場合)、すなわち、ステレオカメラシステム521を路面551と平行に取り付けた場合、ステレオカメラシステム521の真下の点T(W=0.0m)での距離計測精度の倍率が1と最も高くなる。しかし、距離Wが大きくなると距離計測精度が大きく低下する(すなわち、低下の割合が大きく、角度βが0より大きい場合より低下する)。角度β=π/2の場合(すなわち曲線646の場合)、点Tでの距離計測精度は大きく低下するが、距離Wが大きくなったとき、すなわち撮影の対象点Qが車両511から遠ざかったときの距離計測精度の低下の割合が小さい(角度βが0である場合より精度はよくなる)。
 つまり、角度βが小さいと、近距離での距離計測精度は高いが、遠距離での距離計測精度が低くなる。逆に、角度βを大きくすると、近距離での距離計測精度は低下するが、遠距離での距離計測精度の大幅な低下を防ぐことができる。そこで角度βをπ/6乃至5π/12の範囲(曲線642乃至曲線645に示される範囲)に設定することで、両者のバランスをとることができる。つまりこの範囲が、実用的に近距離から遠距離まで測距可能となる利用価値が高い範囲である。
 例えば、車両511の側面にステレオカメラシステム521を取り付けた場合に、隣の車線全体の距離計測を行いたいとする。車線幅は、幅の広い高速道路だと3.5m程度であるが、自車両の車線内の走行位置を加味すると、4m程度の距離計測が必要と考えられる。図21より、角度β=π/3の場合(曲線644の場合)またはπ/2の場合(曲線646の場合)での距離計測精度が高い。角度β=π/2の場合(曲線646の場合)、点T(W=0.0m)付近での距離計測精度が極端に低いので、近距離の距離精度も鑑みると、角度β=π/2の場合(曲線646の場合)よりも角度β=π/3の場合(曲線644の場合)の方が望ましいと言える。
 つまり、車両511の側面の隣の1車線の距離計測精度を高めたければ、角度β=π/3の場合(曲線644の場合)、すなわち、60度前後の角度でステレオカメラシステム521を車両511の側面に取り付けるとよい。
 ただし、トラック等の大型車の場合、高さHが大きくなるので、運転者は車両511の近傍が確認し辛くなる。そこでこのような場合には、距離Wが小さいときにより精度が向上するように、角度βをより小さい値に設定することができる。
 ステレオカメラシステム521の取り付け角度βについて、図22を参照してさらに説明する。図22は、本技術の第2の実施の形態の撮像制御システムの構成を示す図である。図17は、車両511が水平な路面551に配置されている場合を示している。これに対して図22は、車両511が傾斜した路面551に配置されている場合を示している。
 すなわち、図22においては、路面551は、重力の方向である鉛直方向562に対して垂直である水平面561に対して、角度γだけ傾斜している。つまり図22においては、車両511が上り坂の路面551を登っている状態が示されている。ステレオカメラシステム521が監視するのは、車両511が走行する路面551上の白線等の路面上の識別表示、路面の端部、縁石、溝、またはガードレール等である。従って車両511が走行する路面551が基準面とされ、この基準面に対してステレオカメラシステム521が角度βで取り付けられる。図22においても、図19の座標系は、路面551の角度γの値に拘わらず適用することができる。
 つまり、ステレオカメラシステム521のカメラ541.542は、基準面としての路面551に対して垂直であり、かつ光軸541oa,542oaを含む面563内で、上下方向(縦方向)に配置される。面563は、図17,図18および図22の例では車両511の進行方向に対して垂直な面でもある。図17,図18および図22の例においては、面563内で、カメラ541が下に、カメラ542が上に、それぞれ配置されている。そして、ステレオカメラシステム521は、その面563内において、基準面(路面551)との角度がβになるように傾けられる。
 すなわち、ステレオカメラシステム521のカメラ541,542は、その光軸541oa,542oaが基準面(路面551)と平行な方向より下を指向するように、換言すれば、基準面と交差するように配置される。あるいは、光軸541oa,542oaが車両511に対して斜め下を指向するように配置される。つまり、図19を参照して説明すれば、カメラ541は、光軸541oaと、そこから車両511の真下に向かう方向とのなす角度βが、π/6乃至5π/12の範囲となるように配置されている。カメラ542についても同様である。監視方向(図18においてカメラ541,542の右側方向、図19においてカメラ541,542の左側方向)に向かって光軸541oa,542oaの少なくとも一方(後述する図40参照)が斜め下方向を指向するように配置される。具体的には、図19における角度βが0<β<π/2となるように配置される。これにより車両511の比較的近傍の広い範囲で精度よく測距することができる。従って広い範囲の監視が必要な、走行する車両511の側面を監視するのに好適である。
 なお、カメラ541,542としては、広角カメラではなく、通常の視野角のカメラを用いることもできる。
 (2)撮像制御システム構成例1(図23、図24)
 次に、以上のように、光軸541oa,542oaが基準面(路面551)と平行な方向より下を指向するように、ステレオカメラシステム521が配置された撮像制御システム501について図23を参照して説明する。図23は、本技術の第2の実施の形態の撮像制御システムの構成を示すブロック図である。
 図23の撮像制御システム501は、ステレオカメラシステム521と撮像制御部581により構成されている。なお、撮像制御部581は、ステレオカメラシステム521と一体化してもよいし、それとは独立した構成にすることもできる。
 例えば車両511の左側に配置されているステレオカメラシステム521は、カメラ541を有する撮像部701とカメラ542を有する撮像部702により構成されている。カメラ541とカメラ542は、上述したように、車両511の側面に、上下、かつ、光軸541oa,542oaが基準面(路面551)と平行な方向より下を指向するように配置されている。撮像部701はカメラ541により撮影された画像を出力し、撮像部702はカメラ542により撮影された画像を出力する。
 撮像制御部581は、画像補正部711,712、ステレオ画像処理部713および解析部714を有している。ステレオカメラシステム521の撮像部701と撮像部702の出力は、それぞれ画像補正部711と画像補正部712に供給され、前処理としてレンズの収差等が補正される。測距処理を行うステレオ画像処理部713は、画像補正部711と画像補正部712の出力から、対象物までの距離を演算する。解析部714は、距離計測の結果を解析し、後段の装置に出力する。
 次に図24を参照して、撮像制御システム501の動作について説明する。図24は、本技術の第2の実施の形態の距離計測処理を説明するフローチャートである。
 ステップS111において撮像制御部581は、ステレオカメラシステム521の撮像動作を制御する。なおこの処理は以後、継続的に実行される。またこの処理は、外部から制御することもできる。ステップS112において、図23の撮像部701(カメラ541を有する)と撮像部702(カメラ542を有する)は観測点を撮影する。ステップS113において画像補正部711は、撮像部701により撮影された画像について、レンズ収差、カメラ画像の歪みなどを補正する。同様に、画像補正部712は、撮像部702により撮影された画像について、レンズ収差、カメラ画像の歪みなどを補正する。すなわち、距離算出のため画像の歪が補正され、画像が仮想平面に投影されて平面画像とされる。
 ステップS114において、監視処理を行う監視処理部としてのステレオ画像処理部713は、観測点までの距離を演算する。すなわち、撮像部701のカメラ541と撮像部702のカメラ542は、距離Lだけ離れた位置に配置されている。従って、カメラ541により撮影された画像とカメラ542により撮影された画像は位相差を有しており、その位相差に基づいて観測点までの距離を演算することができる。すなわちメラ541,542の一方の画像に映っている物体に対応する物体が他方の画像から検出され、2つの画像における物体の位置のずれから距離が算出される。演算結果は解析部714に出力される。
 ステップS115において解析部714は、ステレオ画像処理部713により演算された距離を解析し、解析結果を出力する。例えば路面551と同じ高さの(路面551に表示されている)白線等はそのままとし、路面551より高い位置にある物体については障害物と認識したりする。あるいは、車両511に対する位置に応じた情報にしてまとめて表示できるようにしたり、測定された距離が所定の基準値より小さい場合には警告を発する等の処理が行われる。
 ステップS116においてステレオ画像処理部713は処理を終了するかを判定する。使用者からまだ処理の終了が指示されていない場合、処理はステップS111に戻り、それ以降の処理が繰り返される。処理の終了が指示されている場合、処理は終了される。
 以上の処理は、図示は省略されているが、車両511の右側に配置されているカメラ541,542を有するステレオカメラシステム521と、対応する撮像制御部581においても実行される。
 以上のようにして、車両511の両側の監視が行われ、その運転が支援される。カメラ541,542が上下に配置されるとともに、その光軸が基準面と平行な方向より下を指向するように配置されている。従って、車両511の側面の前方または後方の距離を正確に計測することができるだけでなく、側方のほぼ中央部分の特に近傍も正確に測距することができる。
 また、以上においては、監視処理として主に計測処理について説明したが、白線認識、縁石認識、路面状態の検出、追い越し車両や対向車を含む車両の検出、歩行者の検出等についても監視処理の対象とすることができる。
 (3)撮像制御システム構成例2(図25、図26)
 次に、他の撮像制御システムについて、図25と図26を参照して説明する。図25は、本技術の第2の実施の形態の撮像制御システムの構成を示す図である。図26は、本技術の第2の実施の形態の撮像制御システムの構成を示すブロック図である。
 図25の撮像制御システム501においては、車両511の左右の側面のドアミラー512,513にステレオカメラシステム521A,521Bが配置されている。さらに撮像制御システム501においては、車両511の前側にステレオカメラシステム521Cが、その後側にステレオカメラシステム521Dが、それぞれ配置されている。
 ステレオカメラシステム521Aは車両511の左側の検出範囲522Aで計測を行い、ステレオカメラシステム521Bは車両511の右側の検出範囲522Bで計測を行う。同様に、ステレオカメラシステム521Cは車両511の前方(すなわち車両511が前進する方向)の検出範囲522Cで計測を行う。ステレオカメラシステム521Dは車両511の後方(すなわち車両511が後退する方向)の検出範囲522Dで計測を行う。
 図25には、検出範囲522A乃至検出範囲522Dとして、視野角が180度である場合の例が示されている(なお、実際に180度の視野角を確保するには、それ以上の例えば190度の視野角のレンズが必要になる)。
 なお、図25の検出範囲522は、角度方向の範囲を示すものであり、距離方向、すなわち半円の径の大きさは、実際にはもっと大きくなる。
 図26に示されるように、図26の撮像制御システム501においては、図23に示されるステレオカメラシステム521と撮像制御部581が、車両511の4つの面に対応して設けられている。すなわち、ステレオカメラシステム521Aと撮像制御部581A、ステレオカメラシステム521Bと撮像制御部581B、ステレオカメラシステム521Cと撮像制御部581C、およびステレオカメラシステム521Dと撮像制御部581Dが設けられている。
 ステレオカメラシステム521Aは、検出範囲522Aを撮影する撮像部701Aと撮像部702Aを有する。撮像制御部581Aは、撮像部701A,702Aの出力を補正する画像補正部711A,712A、および画像補正部711A,712Aの出力から検出範囲522Aの距離を演算するステレオ画像処理部713Aを有している。
 ステレオカメラシステム521Bは、検出範囲522Bを撮影する撮像部701Bと撮像部702Bを有する。撮像制御部581Bは、撮像部701B,702Bの出力を補正する画像補正部711B,712B、および画像補正部711B,712Bの出力から検出範囲522Bの距離を演算するステレオ画像処理部713Bを有している。
 ステレオカメラシステム521Cは、検出範囲522Cを撮影する撮像部701Cと撮像部702Cを有する。撮像制御部581Cは、撮像部701C,702Cの出力を補正する画像補正部711C,712C、および画像補正部711C,712Cの出力から検出範囲522Cの距離を演算するステレオ画像処理部713Cを有している。
 ステレオカメラシステム521Dは、検出範囲522Dを撮影する撮像部701Dと撮像部702Dを有する。撮像制御部581Dは、撮像部701D,702Dの出力を補正する画像補正部711D,712D、および画像補正部711D,712Dの出力から検出範囲522Dの距離を演算するステレオ画像処理部713Dを有している。
 解析部714は、検出範囲522A乃至検出範囲522Dに共通に設けられ、ステレオ画像処理部713A乃至ステレオ画像処理部713Dの出力を解析する。
 図26の撮像制御システム501の動作は、図24のフローチャートに示される動作と同様となる。そこで、図24を参照して、図26の撮像制御システム501の動作について説明する。
 ステップS112において、図26の撮像部701A(カメラ541Aを有する)と撮像部702A(カメラ542Aを有する)は観測点を撮影する。ステップS113において画像補正部711Aは、撮像部701Aにより撮影された画像について、レンズ収差、カメラ画像の歪みなどを補正する。同様に、画像補正部712Aは、撮像部702Aにより撮影された画像について、レンズ収差、カメラ画像の歪みなどを補正する。すなわち、距離算出のため画像の歪が補正され、画像が仮想平面に投影されて平面画像とされる。
 ステップS114においてステレオ画像処理部713Aは、観測点までの距離を演算する。すなわち、撮像部701Aのカメラ541Aと撮像部702Aのカメラ542Aは、距離Lだけ離れた位置に配置されている。従って、カメラ541Aにより撮影された画像とカメラ542Aにより撮影された画像は位相差を有しており、その位相差に基づいて観測点までの距離を演算することができる。すなわちメラ541A,542Aの一方の画像に映っている物体に対応する物体が他方の画像から検出され、2つの画像における物体の位置のずれから距離が算出される。演算結果は解析部714Aに出力される。
 以上のステップS112乃至ステップS114の処理は、ステレオカメラシステム521B乃至ステレオカメラシステム521D、並びに撮像制御部581B乃至撮像制御部581Dにおいても同様に行われる。
 ステップS115において解析部714は、ステレオ画像処理部713A乃至テレオ画像処理部713Dにより演算された距離を解析する。例えば測定された距離が所定の基準値より小さい場合には警告を発する等の処理が行われる。
 ステップS116においてステレオ画像処理部713A乃至テレオ画像処理部713Dは処理を終了するかを判定する。使用者からまだ処理の終了が指示されていない場合、処理はステップS111に戻り、それ以降の処理が繰り返される。処理の終了が指示されている場合、処理は終了される。
 以上のようにして、車両511の両側だけでなく、前方と後方についても監視が行われ、その運転が支援される。カメラ541,542が上下に配置されるとともに、光軸が基準面と平行な方向より下を指向するように配置されているので、車両511の検出範囲522A乃至522Dのほぼ中央部分はもとより、中央部より左方向および右方向の距離も正確に計測することができる。
 また、図25に示した車両511の前側のステレオカメラシステム521Cと後側のステレオカメラシステム521Dは、両側面のステレオカメラシステム521A,521Bに較べて、距離計測の路面551と平行な面内の計測範囲が狭くてもよい。そこで、車両511の前後の検出範囲522C,522Dにおける測距処理は、他の監視処理部としての超音波、レーダ、レーザセンサ、赤外線センサ等により行うか、あるいはそれらとステレオカメラシステム521とを組み合わせた方式により行うようにすることもできる。
 (4)撮像制御システム構成例3(図27乃至図30)
 次に、他の撮像制御システムについて、図27を参照して説明する。図27は、本技術の第2の実施の形態の撮像制御システムの構成を示すブロック図である。
 図27の撮像制御システム501は、図26の撮像制御システム501と同様に、ステレオカメラシステム521A乃至ステレオカメラシステム521D、並びに撮像制御部581A乃至撮像制御部581Dを有している。撮像制御部581Aは、画像補正部711A,712A、ステレオ画像処理部713Aを有している。撮像制御部581Bは、画像補正部711B,712B、ステレオ画像処理部713Bを有している。撮像制御部581Cは、画像補正部711C,712C、ステレオ画像処理部713Cを有している。撮像制御部581Dは、画像補正部711D,712D、ステレオ画像処理部713Dを有している。また、撮像制御部581A乃至581Dには、それらに共通の解析部714も含まれている。以上の構成は、図26の撮像制御システム501と同様の構成である。
 この他、図27の撮像制御部581Aは画像変換部811Aを、撮像制御部581Bは画像変換部811Bを、撮像制御部581Cは画像変換部811Cを、撮像制御部581Dは画像変換部811Dを、それぞれ有している。さらに撮像制御部581A乃至581Dには、それらに共通の統合部812も含まれている。
 画像変換部811Aは撮像部701Aが出力する画像を射影変換などの画像変換方法を用いて視点変換する。これにより、アラウンドモニタシステムのための画像等、使用者が車両511の周囲を目視する画像が得られる。同様に、画像変換部811Bは撮像部701Bが出力する画像を射影変換などの画像変換方法を用いて視点変換し、画像変換部811Cは撮像部701Cが出力する画像を射影変換などの画像変換方法を用いて視点変換する。画像変換部811Dも撮像部701Dが出力する画像を射影変換などの画像変換方法を用いて視点変換する。
 なお、監視処理を行う他の監視処理部としての画像変換部811A乃至画像変換部811Dは、撮像部701A乃至撮像部701Dの出力する画像を射影変換するようにした。しかし、撮像部702A乃至撮像部702Dの出力する画像を射影変換するようにすることもできる。
 統合部812は、画像変換部811A、画像変換部811B、画像変換部811Cおよび画像変換部811Dの出力を統合する。
 次に、図28を参照して、図27の撮像制御システム501の動作について説明する。なお、図27の撮像制御システム501の動作のうち、撮像部701,702、画像補正部711,712、監視処理を行う監視処理部としてのステレオ画像処理部713、および解析部714に関する処理は、図26の撮像制御システム501の動作と同様である。すなわち、図24のフローチャートに示される動作と同様の動作となる。従って繰り返しになるのでその説明は省略する。
 そこで、図27の撮像制御システム501のうち、主に画像変換部811と統合部812の構成の動作について説明する。図28は、本技術の第2の実施の形態の統合処理を説明するフローチャートである。
 ステップS151において、図27の撮像部701A(すなわちカメラ541A)は観測点を撮影する。同様に、撮像部701B(すなわちカメラ541B)、撮像部701C(すなわちカメラ541C)、および撮像部701D(すなわカメラ541D)も観測点を撮影する。
 撮像部702A(すなわちカメラ542A)乃至撮像部702D(すなわちカメラ542D)も同様に観測点を撮影するが、いま説明している統合処理には用いられないので、その説明は省略する。
 ステップS152において画像変換部811Aは、画像変換処理を実行する。つまり、撮像部701A(すなわちカメラ541A)により撮影された画像を射影変換などの画像変換方法により視点変換する。これによりアラウンドモニタシステム用の画像が生成される。同様の画像変換処理が、画像変換部811B,811C,811Dにより実行される。
 ステップS153において統合部812は、統合処理を実行する。すなわち、画像変換部811A乃至画像変換部811Dにより、車両511の周囲の検出範囲522A乃至検出範囲522Dにおける画像が得られるので、これが統合され、車両511の周囲を俯瞰的に目視するためのアラウンドモニタシステムの画像が生成され、出力される。この画像が後段のモニタ等に表示される。
 ステップS154において画像変換部811A乃至画像変換部811Dは処理を終了するかを判定する。使用者からまだ処理の終了が指示されていない場合、処理はステップS151に戻り、それ以降の処理が繰り返される。処理の終了が指示されている場合、処理は終了される。
 ここで視点変換処理について説明する。図29と図30は視点変換処理を説明する図である。図30は、図29に示す実カメラ映像と仮想カメラ映像との位置関係を、横から見たY-Z平面と、上から見たX-Z平面に展開した図である。
 図29に示されるように、3次元空間上の任意の位置の点Cr(Xr,Yr,Zr)に設置した実際のカメラにより撮像した映像Prを、任意の位置の点Cv(Xv,Yv,Zv)に設置した仮想カメラの映像Pvに変換する例を説明する。ここで、2台のカメラは1点で映像を取り込むピンホールカメラとする。また、映像Pr、Pvは少なくともカメラの向きを示すベクトルLr、Lvと垂直であれば、画像の大きさに応じて任意の位置に設定することができる。画像が大きい場合はより後方に設定し、画像が小さい場合はより前方に設定するのが望ましい。
 撮像した映像Prを仮想カメラの映像Pvに変換する手順を説明する。まず、映像Pv上の任意の位置に点Ivを設定し、点Ivと点Cvとを結ぶ直線がX-Z平面と交差する点Izを求める。なお、点Ivと点Cvとを結ぶ直線がX-Z平面と交差しない場合は、点Ivが実カメラの撮像範囲外にあることを示すために点Ivの画素の色を所定の色とする。
 次に、点Izと点Crとを結ぶ直線が映像Prの面と交差する点Irを求め、点Irの画素の色を点Ivの画素の色と同一色とする。なお、点Izと点Crとを結ぶ直線が映像Prの面と交差しない場合には、点Irが実カメラの撮像範囲外にあることを示すために点Irの画素の色を所定の色とする。映像Pr上のすべての点の画素の色を決定するまで上述した処理を繰り返す。
 図30に示される実カメラ位置の点Crの中心線がZ軸と交差する点Zctrは、次式(16)で示される。
   Zctr=Yr・tan(θr)               (16)
 ここで、θrは実カメラのX-Z平面に対する傾き角である。実カメラの映像PrのY-Z平面による断面を通る直線Qrxyは、実カメラの中心線(点Crと点Zctrを通る傾き1/tan(θr)の直線)と直交し、映像Prの下端の座標点(Yps,Zps)を通ることから、次式(17)で表される。
   Y=-tan(θr)・Z+tan(θr)・Zps+Yps   (17)
 仮想カメラの映像Pv上の点Ivと仮想カメラ位置の点Cvとを通る直線がZ軸と交わる点Izを求め、次にこの点Izと実カメラ位置の点Crとを通る直線が式(17)で表される直線Qrxyと交差する点IrのY-Z座標を求める。X-Z平面についてもY-Z平面と同様に点IrのX-Z座標を求める。そして、仮想カメラの映像Pv上の点Ivの画素の色を実カメラ映像Pr上の点Ivの画素を色と同一色とし、仮想カメラ映像Pv上のすべての点に対して上記処理を行う。
 このようにして図27の撮像制御システム501によれば、対象物までの測距に伴う警告やブレーキの自動制御等の運転支援の他、例えばバック駐車、縦列駐車等の駐車支援、交差点停車時の斜め後方の自転車、歩行者等の認識情報を提供したり、車線変更時の隣のレーンの後続車を監視したり、目視による使用者の運転も支援することができる。例えば解析部714の解析結果を統合部812に供給し、測距結果に基づく障害物の位置等を目視画面で目視できるように表示させることもできる。
 なお、図27の撮像制御システム501においては、ステレオカメラシステム521を構成する撮像部701により撮影した画像を、画像変換部811において処理するようにしたが、専用のカメラを別途設けることもできる。テレオカメラシステム521を構成する撮像部701の画像を利用する場合には、1つの画像を目視による監視と、測距による監視の両方に利用することができる。その結果、コストを低減することができる。目視による監視のシステムが既に存在する場合には、ステレオカメラシステム521を構成するカメラを1個追加するだけで、測距による監視も行うことができる。
 (5)撮像制御システム構成例4(図31乃至図37)
 次に、他の撮像制御システムについて、図31を参照して説明する。図31は、本技術の第2の実施の形態の撮像制御システムの構成を示すブロック図である。
 図31の撮像制御システム501は、図23の撮像制御システム501と同様に、ステレオカメラシステム521と撮像制御部581により構成されている。撮像制御部581は、ステレオカメラシステム521の撮像動作を制御する。
 ステレオカメラシステム521は、カメラ541を有する撮像部701とカメラ542を有する撮像部702により構成されている。カメラ541とカメラ542は、上述したように、車両511の側面に、上下、かつ、光軸が基準面と平行な方向より下を指向するように配置されている。撮像部701はカメラ541により撮影された画像を出力し、撮像部702はカメラ542により撮影された画像を出力する。
 撮像制御部581は、画像補正部711,712、ステレオ画像処理部713および解析部714を有している。ステレオカメラシステム521の撮像部701と撮像部702の出力は、それぞれ画像補正部711と画像補正部712に供給され、前処理としてレンズの収差等が補正される。監視処理を行う監視処理部としてのステレオ画像処理部713は、撮像部701と撮像部702の出力から、対象物までの距離を演算する。解析部714は、距離計測の結果を解析し、後段の装置に出力する。
 図31の撮像制御部581は、さらにエッジ角度検出部851とモーションステレオ処理部852を有している。エッジ角度検出部851は、画像補正部711により補正された画像から、画像内で明るさや色の変化が生じている部分の検出と、その変化の方向である角度を検出し、検出結果を解析部714に出力する。
 監視処理を行う他の監視処理部としてのモーションステレオ処理部852は、画像補正部711により補正された画像から、モーションステレオ処理により距離計測を行う。すなわち、画像内の静止物体がカメラの移動と共にカメラ視野内で位置変化すると、複数のカメラを用いたステレオカメラシステムにおけるステレオ画像処理と同様の原理で距離計測を行うことができる。計測情報は解析部714に出力される。
 次に図32を参照して図31の撮像制御システム501の動作について説明する。図32は、本技術の第2の実施の形態の距離計測処理を説明するフローチャートである。
 ステップS211において撮像制御部581は、ステレオカメラシステム521の撮像動作を制御する。なおこの処理は以後、継続的に実行される。またこの処理は、外部から制御することもできる。ステップS212において、図31の撮像部701(カメラ541を有する)と撮像部702(カメラ542を有する)は観測点を撮影する。ステップS213において画像補正部711は、撮像部701により撮影された画像について、レンズ収差、カメラ画像の歪みなどを補正する。同様に、画像補正部712は、撮像部702により撮影された画像について、レンズ収差、カメラ画像の歪みなどを補正する。すなわち、距離算出のため画像の歪が補正され、画像が仮想平面に投影されて平面画像とされる。
 ステップS214においてステレオ画像処理部713は、観測点までの距離を演算する。すなわち、撮像部701のカメラ541と撮像部702のカメラ542は、距離Lだけ離れた位置に配置されている。従って、カメラ541により撮影された画像とカメラ542により撮影された画像は位相差を有しており、その位相差に基づいて観測点までの距離を演算することができる。すなわちメラ541,542の一方の画像に映っている物体に対応する物体が他方の画像から検出され、2つの画像における物体の位置のずれから距離が算出される。演算結果は解析部714に出力される。
 ステップS215においてエッジ角度検出部851は、画像補正部711が出力する補正された画像からエッジ角度を検出する。すなわち、画像内で明るさや色の変化が生じている部分が検出されるとともに、その変化の方向である角度が検出される。
 エッジの検出には、明るさが変化する度合いを計算する差分(微分)法を採用することができる。例えば、Prewittエッジ検出器やSobelエッジ検出器が知られており、それぞれのエッジ検出オペレータによる処理を行うことでエッジを検出することができる。また、明るさの変化が最も急な位置を検出する零交差法を採用することができる。もちろんその他の各種の方法を採用することもできる。
 ステップS216においてモーションステレオ処理部852は、モーションステレオにより観測点までの距離を演算する。演算結果は解析部714に供給される。ここでモーションステレオについて説明する。
 まず、オプティカルフローについて図33および図34を用いて説明する。図33は、現在のフレームの画像を説明する図であり、図34は過去フレームの画像を説明する図である。オプティカルフローとは、時系列的に前後する画像中の対応する各点の移動量を示すベクトルである。例えば、現在フレームの画像A(図33参照)と画像Aよりも過去に取得された過去フレームの画像B(図34参照)とからオプティカルフローを求める処理は、画像A中に存在する点が画像B中のどこから移動したかを探索することから始まる。なお、画像の上方向にV軸をとり、画像の右方向にU軸をとる。また、画像の中心をU軸およびV軸の原点とする。
 画像Bから画像Aにかけて点Pが、図33に示すように移動したとする。画像Bでの点Pの位置が(u-Δu,v-Δv)であり、画像Aでは点Pの位置が(u,v)である。この画像Aにおける点Pの位置と画像Bにおける点Pの位置の差である(Δu,Δv)が画像Aの点(u,v)におけるオプティカルフローとなる。すなわち、画像Aの点(u,v)はオプティカルフローの終点であり、画像Bの点(u-Δu,v-Δv)に対応する画像A上の点(u-Δu,v-Δv)はオプティカルフローの始点ともいえる。
 次に図35乃至図37を参照して、単眼モーションステレオについて説明する。図35は、単眼カメラと座標軸との関係を示す図である。図36は、カメラと撮像面との関係を示す図である。図37は、画像の中心からのオプティカルフローを説明する図である。
 単眼モーションステレオでは、画像Aおよび画像B間のオプティカルフローからカメラの移動量(以下、カメラ運動パラメータと称す)が推定され、画像中に存在する物体までの距離が推定される。従って、単眼モーションステレオを実施するには、画像Aおよび画像B間のオプティカルフローと、カメラ運動パラメータと、物体までの距離との関係が必要となる。カメラ運動パラメータは撮影部移動量に相当する。
 ここで、カメラが撮影した物体は静止しているものと仮定する。図35に示されるような一般的なピンホールカメラのモデルでは、カメラと撮像面として図36のようなモデルが使われる。カメラ座標のX軸、Y軸と、撮影された画像におけるU軸、V軸とは、それぞれ平行であり、撮影された画像の中心はカメラ座標での(0,0,f)の位置であるとする(図36参照)。ここでfはカメラの焦点距離である。PLは撮影された画像がカメラ座標系において位置すると想定される仮想撮像平面である。
 カメラ運動パラメータは、図35に示すように6自由度ある。すなわち、回転移動量(ωx,ωy,ωz)についての3自由度と、並進移動量(tx,ty,tz)についての3自由度である。回転移動量は単位時間内の角度の変化量であり、並進移動量は単位時間内の距離の変化量である。これらのカメラ運動パラメータ(ωx,ωy,ωz)、(tx,ty,tz)、カメラで撮影された物体までの距離z、画像中のある点(u,v)、およびその点におけるオプティカルフロー(Δu,Δv)の間には、次の関係があることが知られている。
  Δu=-ωy・f-tx・f/z+tz/z・u+ωz・v
     +ωx/f・uv-ωy/f・u2          (18)
  Δv=+ωx・f-ty・f/z+tz/z・v-ωz・u
     -ωy/f・uv+ωx/f・v2          (19)
 式(18)と式(19)を用いてオプティカルフローからカメラ運動パラメータを推定する。なお、車両511が直進運動する場合は、カメラ運動パラメータをより簡単にすることができる。カメラ541が単眼であるので、直進の場合のカメラ運動パラメータは以下の式となる。
  (ωx,ωy,ωz)=(0,0,0)         (20)
  (tx,ty,tz)=(0,0,tz)        (21)
 式(20)および式(21)を用いると、式(18)および式(19)が以下のようになる。
  Δu=tz/z・u                  (22)
  Δv=tz/z・v                  (23)
 式(22)および式(23)の両辺を二乗して足し合わせると次式となる。
 (Δu)2+(Δv)2=tz2/z2・(u2+v2)    (24)
 ここで、画像の中心からの距離wは、w2=u2+v2であるので、式(24)は式(22)と式(23)を用いることで次式となる。
   Δw=tz/z・w                 (25)
 式(25)は、画像の中心から放射状に伸びる方向のオプティカルフローΔw(図37参照)と車速tz(Z軸方向における並進移動量)を用いれば、距離zが推定できることを意味している。以上のように演算することで、距離zが推定できることが理論的に説明される。図37は、画像A上に、画像Bにおけるオプティカルフローの始点も表示した画像である。図37は、オプティカルフローのベクトル集合の画像ともいえる。これらのオプティカルフローΔwが始点側に収束する点が消失点である。すなわち、消失点は、各オプティカルフローΔwを始点側に延長した直線が交差する点ともいえる。図37においては、消失点Poと画像の中心とが一致している。
 図32の説明に戻って、ステップS217において解析部714は、ステレオ画像処理部713、エッジ角度検出部851およびモーションステレオ処理部852より供給された情報を統合して距離を計算する。つまりエッジ角度検出部851による検出結果、ステレオ画像処理部713による測距処理結果、およびモーションステレオ処理部852による測距処理結果に基づいて、距離が再計算される。
 図17乃至図24を参照して説明したように、ステレオカメラシステム521の2台のカメラ541,542を縦方向(基準面と垂直な方向)に配置すると、画像内の横方向(基準面と平行な方向)の距離計測は良好に行うことができる。これは、2台のカメラ541,542が縦に配置されているので、横方向に対して画像内の撮像位置の変化が起き易く、式(13)のθa-θbが大きくなり易いためである。
 例えば、車両511の側面にカメラ541,542を設置した場合、路面551の白線等の路面上の識別表示、路面の端部、縁石、溝、またはガードレール等は、画像内で横方向の線に近い状態で撮影されることが多い。従って、カメラ541,542を縦方向に配置したステレオカメラシステム521による距離計測は有利である。逆に、画像内の垂直線(縦方向の線)の距離計測には不利となる。これは、カメラ541,542を縦方向に配置した場合、縦方向の撮像位置のずれで起きる縦線の位置ずれが検知し難いためである。例えば、カメラ視野内の電柱など棒状の物体が垂直線(縦方向の線)を持つことが多い。
 車両511の側面にカメラ541,542を配置して撮影した状態で、車両511が動いた場合、カメラ視野内の物体は横方向に流れる。このように、画像内の物体が時間に対して位置ずれを起こした場合、モーションステレオの処理が適用し易い。モーションステレオでは、画面内の静止物体の位置が、カメラの移動と共にカメラ視野内で変化すると、複数台のカメラを用いたステレオカメラシステムにおけるステレオ画像処理と同じ原理で距離計測ができる。画像内の垂直線(縦方向の線)が横に移動した場合、位置ずれが検知し易く、モーションステレオが適用しやすい。逆に横方向の線はモーションステレオを適用し難い。
 そこで、解析部714は、エッジ角度検出部851により検出されたエッジの方向に基づいて、横方向の線もしくは横方向の線に近い線に対しては、ステレオ画像処理部713により計測された距離を優先的に採用する。例えば、路面、白線等の路面上の識別表示、路面の端部、縁石、溝、またはガードレール等、ほぼ道路に沿って(つまり道路とほぼ平行に)延在する対象物に対する距離の演算は、ステレオ画像処理部713により実行される。これに対して、垂直線または垂直線に近い線は、モーションステレオ処理部852の計測結果が優先される。例えば、交通信号や交通標識等の支柱、電柱等、道路に垂直な対象物に対する距離の演算は、モーションステレオ処理部852により実行される。いずれの計測結果を採用するかは、予め実験等に基づき作成された信頼度マップにより決定するようにしてもよい。
 このように物体の線の方向に応じて異なる距離計測の方法が採用される。もちろん単純に一方の方法を採用するのではなく、エッジの方向に応じて重み付けを行う等して、2つの方法を統合するようにしてもよい。
 ステップS218においてステレオ画像処理部713、エッジ角度検出部851およびモーションステレオ処理部852は、処理を終了するかを判定する。使用者からまだ処理の終了が指示されていない場合、処理はステップS211に戻り、それ以降の処理が繰り返される。処理の終了が指示されている場合、処理は終了される。
 なお、以上においては、測距方法をエッジ角度に対応させるようにしたが、例えば道路上の路面、白線等の路面上の識別表示、路面の端部、縁石、溝、またはガードレール等、ほぼ道路に沿って(つまり道路とほぼ平行に)延在する対象を特化して検出する検出部と、必ずしも道路に沿っていない(つまり道路とほぼ平行ではない)対象物を特化して検出する検出部とを分けて設けるようにすることもできる。例えばステレオ画像処理部713を道路とほぼ並行に延在する対象物を特化して検出する検出部として構成し、モーションステレオ処理部852を必ずしも道路と並行ではない対象物を特化して検出する検出部として構成してもよい。この場合、エッジ角度検出部851は省略することができる。また、カーブ等で対向車を検出する検出部を設けることもできる。
 以上のように、図31の撮像制御システム501によれば、対象物の特徴に応じた方法で距離を計測するようにしたので、正確な計測が可能となる。
 なお、図31の撮像制御システム501は、車両511の左右の側面に配置されるが、側面以外に、前後にも配置することができる。また前後と左右の撮像制御システム501に協働して測距動作を行わせることもできる。
 (6)変形例(図38~図40)
 次に、図38乃至図40を参照して、カメラ541,542の配置の変形例について説明する。図38乃至図40は、いずれも本技術の第2の実施の形態のステレオカメラシステムのカメラの配置を示す図である。
 図17乃至図19の例では、カメラ541,542は、図38に示されるように車両511の車体の側面(具体的にはドアミラー512,513)に配置されていた。すなわち、車両511の正面から見て(図38の左側の図において)、上方にカメラ542が配置され、下方にカメラ541が配置されている。
 そしてカメラ542はカメラ541より車両511から離れた位置(車両511の外側寄り)に配置され、カメラ541はカメラ542より車両511に近い位置(車両511の内側寄り)に配置されている。カメラ541,542の中心を結ぶ線552が車体から監視する方向に飛び出すように(車両511の側方から飛び出すように)傾斜している。あるいは、車両511の車体の取り付け面(側面)から飛び出すように傾斜している。ステレオカメラシステム521は車体とは平行にはならないし、路面551と垂直にもならない。
 車両511の正面から見て(図38の左側の図において)、カメラ541,542は、いずれも車両511の斜め下方向を指向している。すなわち、カメラ541,542は、その光軸541oa,542oaが基準面(路面551)と平行な方向より下を指向し、基準面と交差するように、光軸541oa,542oaを含む面内において傾斜される。つまり、カメラ541,542は、その中心を結ぶ線552が基準面に対して角度βとなるように傾斜される。換言すれば、カメラ541,542は、その光軸541oa,542oaが、基準面に垂直な線553に対して角度がβとなるように傾斜される。
 また、車両511の上面から見て(図38の右側の図において)、カメラ541,542の光軸541oa,542oaは、車両511の進行方向(図中下方向)と垂直な方向、すなわち車両511の側面と垂直な方向を指向している。
 これに対して図39のAに示される例では、車両511の正面から見て(図39のAの左側の図において)、上方にカメラ542が配置され、下方にカメラ541が配置されている。そしてカメラ541とカメラ542は、車両511から同じ距離に配置されている。すなわち、カメラ541,542は、その中心を結ぶ線552が車体と平行になるように(基準面である路面551に対して垂直になるように)配置されている。
 しかし、カメラ541,542は、その光軸541oa,542oaが基準面と平行な方向より下を指向し、基準面と交差するように、光軸541oa,542oaを含む面内において傾斜される。
 また、カメラ541,542の光軸541oa,542oaはいずれも車両511の上面から見て(図39のAの右側の図において)、車両511の進行方向(図中下方向)と垂直な方向、すなわち車両511の側面と垂直な方向を指向している。
 図39のBに示される例の車両511の正面から見た(図39のBの左側の図における)構成は、図38の左側の図に示された場合と同様である。繰り返しになるので、その説明は省略する。
 図39のBの右側の図における構成は、図38の右側の図における構成と異なっている。すなわち、この例においては、カメラ541,542の光軸541oa,542oaはいずれも車両511の上面から見て、車両511の進行方向(図中下方向)と垂直な方向ではなく、若干進行方向を指向している。このように若干進行方向に指向させると、進行方向の範囲を測距するステレオカメラシステム(例えば図25の検出範囲522Cを測距するステレオカメラシステム521C)と協働して測距動作を行うのに有利となる。
 図39のCに示される例の車両511の正面から見た(図39のCの左側の図における)構成は、図38の左側の図に示された場合と同様である。繰り返しになるので、その説明は省略する。
 図39のCの右側の図における構成は、図38の右側の図における構成と異なっている。すなわち、この例においては、カメラ542の光軸542oaは、車両511の上面から見て(図39のCの右側の図において)、車両511の進行方向(図中下方向)と垂直な方向、すなわち車両511の側面と垂直な方向を指向している。つまり、カメラ542に関しては、図38における場合と同様である。
 これに対してカメラ541については、その光軸541oaは、車両511の進行方向(図中下方向)と垂直な方向ではなく、若干進行方向を指向している。つまり、カメラ541に関しては、図39のBにおける場合と同様である。従って、図中ハッチングを付して示されている比較的狭い範囲が、ステレオカメラシステムとして測距が可能な範囲となる。測距可能な範囲を広げる必要がある場合には、画角が180度以上のカメラを用いることができる。
 図40のAに示される例では、車両511の正面から見て(図40のAの左側の図において)、上方にカメラ542が配置され、下方にカメラ541が配置されている。そしてカメラ541とカメラ542は、車両511から同じ距離に配置されている。すなわち、カメラ541,542の中心を結ぶ線552が車体と平行になるように(基準面である路面551に対して垂直になるように)配置されている。
 そして、カメラ541は、車両511の正面から見て(図38の左側の図において)、車両511の斜め下方向を指向している。すなわち、カメラ541は、その光軸541oaが基準面と平行な方向より下を指向し、基準面と交差するように、光軸541oaを含む面内において傾斜される。カメラ541は、その光軸541oaが、基準面に垂直な線553に対して角度がβとなるように傾斜される。つまり、カメラ541に関しては、図38における場合と同様である。
 しかし、カメラ542は、その光軸542oaが基準面と平行な方向を指向するように配置されている。つまり、カメラ541,542のうち、一方(下方に配置されているカメラ541)のみが、その光軸541oaが基準面である路面551と平行な方向より下を指向し、路面551と交差するように配置されている。そして他方(上方に配置されているカメラ542)は、その光軸542oaが基準面と平行になるように配置されている。カメラ541,542をこのように取り付けても、図中ハッチングを付して示されている、車両511の近傍の範囲が、ステレオカメラシステムとして測距が可能な範囲となる。その範囲は、比較的狭い範囲となるが、測距可能な範囲を広げる必要がある場合には、画角が180度以上のカメラを用いることができる。
 図40のAに示される例の車両511の上面から見た(図40のAの右側の図における)構成は、図38の右側の図に示された場合と同様である。すなわち、カメラ541,542の光軸541oa,542oaは、車両511の進行方向(図中下方向)と垂直な方向、すなわち車両511の側面と垂直な方向を指向している。
 図40のBに示される例では、車両511の正面から見て(図40のBの左側の図において)、上方にカメラ542が配置され、下方にカメラ541が配置されている。そしてカメラ542はカメラ541より車両511から離れた位置に配置され、カメラ541はカメラ542より車両511に近い位置に配置されている。カメラ541,542の中心を結ぶ線552が車体から監視する方向に飛び出すように(車両511の側方から飛び出すように)傾斜している。つまり、カメラ541,542は、その中心を結ぶ線552が基準面に対して角度βとなるように傾斜される。
 そして、カメラ541は、その光軸541oaが基準面と平行な方向より下を指向し、基準面と交差するように、光軸541oaを含む面内において傾斜される。つまり、カメラ541は、その中心とカメラ542の中心を結ぶ線552が基準面に対して角度βとなるように傾斜される。換言すれば、カメラ541は、その光軸541oaが、基準面に垂直な線553に対して角度がβとなるように傾斜される。
 しかし、カメラ542は、その光軸542oaが基準面と平行な方向を指向するように配置される。つまり、カメラ541,542のうち、一方(下方に配置されているカメラ541)のみが、その光軸541oaが基準面である路面551と平行な方向より下を指向し、路面551と交差するように配置されている。そして他方(上方に配置されているカメラ542)は、その光軸542oaが基準面と平行になるように配置されている。カメラ541,542をこのように取り付けても、図中ハッチングを付して示されている、車両511の近傍の範囲が、ステレオカメラシステムとして測距が可能な範囲となる。その範囲は、比較的狭い範囲となるが、測距可能な範囲を広げる必要がある場合には、画角が180度以上のカメラを用いることができる。
 図40のBに示される例の車両511の上面から見た(図40のBの右側の図における)構成は、図38の右側の図に示された場合と同様である。すなわち、カメラ541,542の光軸541oa,542oaは、車両511の進行方向(図中下方向)と垂直な方向、すなわち車両511の側面と垂直な方向を指向している。
 以上においては、ステレオカメラシステムを構成する各カメラの画角を同じ(例えば180度)としたが、それぞれの画角(焦点距離)が異なっていてもよい。画角を広くすれば、より広い範囲の認識が可能となり、画角を狭くすれば、より遠くを高精細に認識することが可能となる。ステレオカメラシステムとしては、画角が重複する範囲での測距が可能となる。
 なお本技術は、その本質を逸脱しない範囲において、種々の変形例が存在しうる。
 <応用例>
 本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車などのいずれかの種類の車両に搭載される装置として実現されてもよい。
 図41は、本開示に係る技術が適用され得る車両制御システム2000の概略的な構成の一例を示すブロック図である。車両制御システム2000は、通信ネットワーク2010を介して接続された複数の電子制御ユニットを備える。図41に示した例では、車両制御システム2000は、駆動系制御ユニット2100、ボディ系制御ユニット2200、バッテリ制御ユニット2300、車外情報検出装置2400、車内情報検出装置2500、及び統合制御ユニット2600を備える。これらの複数の制御ユニットを接続する通信ネットワーク2010は、例えば、CAN(Controller Area Network)、LIN(Local Interconnect Network)、LAN(Local Area Network)又はFlexRay(登録商標)等の任意の規格に準拠した車載通信ネットワークであってよい。
 各制御ユニットは、各種プログラムに従って演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク2010を介して他の制御ユニットとの間で通信を行うためのネットワークI/Fを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信I/Fを備える。図41では、統合制御ユニット2600の機能構成として、マイクロコンピュータ2610、汎用通信I/F2620、専用通信I/F2630、測位部2640、ビーコン受信部2650、車内機器I/F2660、音声画像出力部2670、車載ネットワークI/F2680及び記憶部2690が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信I/F及び記憶部等を備える。
 駆動系制御ユニット2100は、各種プログラムに従って車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット2100は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット2100は、ABS(Antilock Brake System)又はESC(Electronic Stability Control)等の制御装置としての機能を有してもよい。
 駆動系制御ユニット2100には、車両状態検出部2110が接続される。車両状態検出部2110には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット2100は、車両状態検出部2110から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。
 ボディ系制御ユニット2200は、各種プログラムに従って車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット2200は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット2200には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット2200は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
 バッテリ制御ユニット2300は、各種プログラムに従って駆動用モータの電力供給源である二次電池2310を制御する。例えば、バッテリ制御ユニット2300には、二次電池2310を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット2300は、これらの信号を用いて演算処理を行い、二次電池2310の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。
 車外情報検出装置2400は、車両制御システム2000を搭載した車両の外部の情報を検出する。例えば、車外情報検出装置2400には、撮像部2410及び車外情報検出部2420のうちの少なくとも一方が接続される。撮像部2410には、ToF(Time Of Flight)カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部2420には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム2000を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサが含まれる。
 環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びLIDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)装置のうちの少なくとも一つであってよい。これらの撮像部2410及び車外情報検出部2420は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。
 ここで、図42は、撮像部2410および車外情報検出部2420の設置位置の例を示す。撮像部2910,2912,2914,2916,2918は、例えば、車両2900のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部2910及び車室内のフロントガラスの上部に備えられる撮像部2918は、主として車両2900の前方の画像を取得する。サイドミラーに備えられる撮像部2912,2914は、主として車両2900の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部2916は、主として車両2900の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部2918は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
 なお、図42には、それぞれの撮像部2910,2912,2914,2916の撮影範囲の一例が示されている。撮像範囲aは、フロントノーズに設けられた撮像部2910の撮像範囲を示し、撮像範囲b,cは、それぞれサイドミラーに設けられた撮像部2912,2914の撮像範囲を示し、撮像範囲dは、リアバンパ又はバックドアに設けられた撮像部2916の撮像範囲を示す。例えば、撮像部2910,2912,2914,2916で撮像された画像データが重ね合わせられることにより、車両2900を上方から見た俯瞰画像が得られる。
 車両2900のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部2920,2922,2924,2926,2928,2930は、例えば超音波センサ又はレーダ装置であってよい。車両2900のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部2920,2926,2930は、例えばLIDAR装置であってよい。これらの車外情報検出部2920~2930は、主として先行車両、歩行者又は障害物等の検出に用いられる。
 図41に戻って説明を続ける。車外情報検出装置2400は、撮像部2410に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出装置2400は、接続されている車外情報検出部2420から検出情報を受信する。車外情報検出部2420が超音波センサ、レーダ装置又はLIDAR装置である場合には、車外情報検出装置2400は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出装置2400は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出装置2400は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出装置2400は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。
 また、車外情報検出装置2400は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出装置2400は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部2410により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出装置2400は、異なる撮像部2410により撮像された画像データを用いて、視点変換処理を行ってもよい。
 車内情報検出装置2500は、車内の情報を検出する。車内情報検出装置2500には、例えば、運転者の状態を検出する運転者状態検出部2510が接続される。運転者状態検出部2510は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出装置2500は、運転者状態検出部2510から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出装置2500は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。
 統合制御ユニット2600は、各種プログラムに従って車両制御システム2000内の動作全般を制御する。統合制御ユニット2600には、入力部2800が接続されている。入力部2800は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。入力部2800は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム2000の操作に対応した携帯電話又はPDA(Personal Digital Assistant)等の外部接続機器であってもよい。入力部2800は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。さらに、入力部2800は、例えば、上記の入力部2800を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット2600に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部2800を操作することにより、車両制御システム2000に対して各種のデータを入力したり処理動作を指示したりする。
 記憶部2690は、マイクロコンピュータにより実行される各種プログラムを記憶するRAM(Random Access Memory)、及び各種パラメータ、演算結果又はセンサ値等を記憶するROM(Read Only Memory)を含んでいてもよい。また、記憶部2690は、HDD(Hard Disc Drive)等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。
 汎用通信I/F2620は、外部環境2750に存在する様々な機器との間の通信を仲介する汎用的な通信I/Fである。汎用通信I/F2620は、GSM(登録商標)(Global System of Mobile communications)、WiMAX、LTE(Long Term Evolution)若しくはLTE-A(LTE-Advanced)などのセルラー通信プロトコル、又は無線LAN(Wi-Fi(登録商標)ともいう)などのその他の無線通信プロトコルを実装してよい。汎用通信I/F2620は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク(例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク)上に存在する機器(例えば、アプリケーションサーバ又は制御サーバ)へ接続してもよい。また、汎用通信I/F2620は、例えばP2P(Peer To Peer)技術を用いて、車両の近傍に存在する端末(例えば、歩行者若しくは店舗の端末、又はMTC(Machine Type Communication)端末)と接続してもよい。
 専用通信I/F2630は、車両における使用を目的として策定された通信プロトコルをサポートする通信I/Fである。専用通信I/F2630は、例えば、下位レイヤのIEEE802.11pと上位レイヤのIEEE1609との組合せであるWAVE(Wireless Access in Vehicle Environment)、又はDSRC(Dedicated Short Range Communications)といった標準プロトコルを実装してよい。専用通信I/F2630は、典型的には、車車間(Vehicle to Vehicle)通信、路車間(Vehicle to Infrastructure)通信及び歩車間(Vehicle to Pedestrian)通信のうちの1つ以上を含む概念であるV2X通信を遂行する。
 測位部2640は、例えば、GNSS(Global Navigation Satellite System)衛星からのGNSS信号(例えば、GPS(Global Positioning System)衛星からのGPS信号)を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部2640は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、PHS若しくはスマートフォンといった端末から位置情報を取得してもよい。
 ビーコン受信部2650は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部2650の機能は、上述した専用通信I/F2630に含まれてもよい。
 車内機器I/F2660は、マイクロコンピュータ2610と車内に存在する様々な機器との間の接続を仲介する通信インタフェースである。車内機器I/F2660は、無線LAN、Bluetooth(登録商標)、NFC(Near Field Communication)又はWUSB(Wireless USB)といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器I/F2660は、図示しない接続端子(及び、必要であればケーブル)を介して有線接続を確立してもよい。車内機器I/F2660は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器との間で、制御信号又はデータ信号を交換する。
 車載ネットワークI/F2680は、マイクロコンピュータ2610と通信ネットワーク2010との間の通信を仲介するインタフェースである。車載ネットワークI/F2680は、通信ネットワーク2010によりサポートされる所定のプロトコルに則して、信号等を送受信する。
 統合制御ユニット2600のマイクロコンピュータ2610は、汎用通信I/F2620、専用通信I/F2630、測位部2640、ビーコン受信部2650、車内機器I/F2660及び車載ネットワークI/F2680のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムに従って、車両制御システム2000を制御する。例えば、マイクロコンピュータ2610は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット2100に対して制御指令を出力してもよい。例えば、マイクロコンピュータ2610は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、自動運転等を目的とした協調制御を行ってもよい。
 マイクロコンピュータ2610は、汎用通信I/F2620、専用通信I/F2630、測位部2640、ビーコン受信部2650、車内機器I/F2660及び車載ネットワークI/F2680のうちの少なくとも一つを介して取得される情報に基づき、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ2610は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。
 音声画像出力部2670は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図41の例では、出力装置として、オーディオスピーカ2710、表示部2720及びインストルメントパネル2730が例示されている。表示部2720は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部2720は、AR(Augmented Reality)表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ2610が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。
 なお、図41に示した例において、通信ネットワーク2010を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム2000が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク2010を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク2010を介して相互に検出情報を送受信してもよい。
 以上説明した車両制御システム2000において、図4、図23、図26、図27、図31を用いて説明した本実施の形態に係る撮像制御部81と撮像制御部581は、図41に示した応用例の統合制御ユニット2600に適用することができる。
 また図4、図23、図26、図27、図31を用いて説明した撮像制御部81と撮像制御部581の少なくとも一部の構成要素は、図41に示した統合制御ユニット2600のためのモジュール(例えば、一つのダイで構成される集積回路モジュール)において実現されてもよい。あるいは、図4、図23、図26、図27、図31を用いて説明した撮像制御部81と撮像制御部581が、図41に示した車両制御システム2000の複数の制御ユニットによって実現されてもよい。
 なお、図4、図23、図26、図27、図31を用いて説明した撮像制御部81と撮像制御部581の各機能を実現するためのコンピュータプログラムを、いずれかの制御ユニット等に実装することができる。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体を提供することもできる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
 また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
 <その他>
 本技術は、以下のような構成もとることができる。
(1)
 検出範囲における観測点の距離を検出する検出部と、
 複数の前記検出部に対応する複数の前記検出範囲における前記観測点の重なりに基づいて、検出された前記観測点の距離を補正する補正部と
 を備える撮像制御装置。
(2)
 前記補正部は、前記観測点の重なりとして、検出された前記観測点の前記距離の誤差の範囲の重なりを検出する
 前記(1)に記載の撮像制御装置。
(3)
 前記距離は、ステレオカメラシステムを構成する少なくとも1組のカメラにより撮影された画像に基づき検出される
 前記(1)または(2)に記載の撮像制御装置。
(4)
 複数の前記検出部は、互いに異なる方向を指向する複数の前記ステレオカメラシステムである
 前記(1)、(2)または(3)に記載の撮像制御装置。
(5)
 前記補正部は、車両の周囲の4つの方向のうちの2つの前記検出範囲における前記観測点の重なりに基づき前記補正を行う
 前記(1)乃至(4)のいずれかに記載の撮像制御装置。
(6)
 前記補正部は、前記誤差の範囲の重なりが複数検出された場合、車両に近い重なりまたは前記観測点に近い重なりに基づいて、検出された前記観測点の前記距離を補正する
 前記(1)乃至(5)のいずれかに記載の撮像制御装置。
(7)
 前記カメラのうちの少なくとも1組は、縦方向に、かつ少なくとも一方の光軸が斜め下方向を指向するように配置されている
 前記(1)乃至(6)のいずれかに記載の撮像制御装置。
(8)
 前記ステレオカメラシステムを構成する前記カメラをさらに備える
 前記(1)乃至(7)のいずれかに記載の撮像制御装置。
(9)
 前記観測点は、車両の周囲の対象物を観測して得られる点である
 前記(1)乃至(8)のいずれかに記載の撮像制御装置。
(10)
 車両に搭載された少なくとも1つのカメラにより撮像された画像に基づき、前記対象物の認識を行う認識処理部をさらに備える
 前記(1)乃至(9)のいずれかに記載の撮像制御装置。
(11)
 超音波センサ、赤外線センサ、ミリ波センサ、またはレーダの少なくともいずれか1つからなる他の検出部をさらに備え、
 前記補正部は前記他の検出部の検出結果も用いて前記補正を行う
 前記(1)乃至(10)のいずれかに記載の撮影制御装置。
(12)
 検出範囲における観測点の距離を検出する検出ステップと、
 複数の前記検出範囲における前記観測点の重なりに基づいて、検出された前記観測点の距離を補正する補正ステップと
 を含む撮像制御方法。
(13)
 観測点までの距離を検出する検出範囲を撮影するステレオカメラシステムを構成するカメラと、
 前記検出範囲における前記観測点の前記距離を検出する検出部と、
 複数の前記検出部に対応する複数の前記検出範囲における前記観測点の重なりに基づいて、検出された前記観測点の距離を補正する補正部と
 を備える車両。
 1 撮像制御システム, 11 車両, 21A乃至21D ステレオカメラシステム, 22A乃至22D 検出範囲, 91A乃至91D ステレオ距離計測部, 92A乃至92D 距離精度向上部, 93 統合部, 101A乃至101D,102A乃至102D 撮像部

Claims (13)

  1.  検出範囲における観測点の距離を検出する検出部と、
     複数の前記検出部に対応する複数の前記検出範囲における前記観測点の重なりに基づいて、検出された前記観測点の距離を補正する補正部と
     を備える撮像制御装置。
  2.  前記補正部は、前記観測点の重なりとして、検出された前記観測点の前記距離の誤差の範囲の重なりを検出する
     請求項1に記載の撮像制御装置。
  3.  前記距離は、ステレオカメラシステムを構成する少なくとも1組のカメラにより撮影された画像に基づき検出される
     請求項1に記載の撮像制御装置。
  4.  複数の前記検出部は、互いに異なる方向を指向する複数の前記ステレオカメラシステムである
     請求項3に記載の撮像制御装置。
  5.  前記補正部は、車両の周囲の4つの方向のうちの2つの前記検出範囲における前記観測点の重なりに基づき前記補正を行う
     請求項3に記載の撮像制御装置。
  6.  前記補正部は、前記誤差の範囲の重なりが複数検出された場合、車両に近い重なりまたは前記観測点に近い重なりに基づいて、検出された前記観測点の前記距離を補正する
     請求項2に記載の撮像制御装置。
  7.  前記カメラのうちの少なくとも1組は、縦方向に、かつ少なくとも一方の光軸が斜め下方向を指向するように配置されている
     請求項4に記載の撮像制御装置。
  8.  前記ステレオカメラシステムを構成する前記カメラをさらに備える
     請求項4に記載の撮像制御装置。
  9.  前記観測点は、車両の周囲の対象物を観測して得られる点である
     請求項1に記載の撮像制御装置。
  10.  車両に搭載された少なくとも1つのカメラにより撮像された画像に基づき、前記対象物の認識を行う認識処理部をさらに備える
     請求項1に記載の撮像制御装置。
  11.  超音波センサ、赤外線センサ、ミリ波センサ、またはレーダの少なくともいずれか1つからなる他の検出部をさらに備え、
     前記補正部は前記他の検出部の検出結果も用いて前記補正を行う
     請求項1に記載の撮影制御装置。
  12.  検出範囲における観測点の距離を検出する検出ステップと、
     複数の前記検出範囲における前記観測点の重なりに基づいて、検出された前記観測点の距離を補正する補正ステップと
     を含む撮像制御方法。
  13.  観測点までの距離を検出する検出範囲を撮影するステレオカメラシステムを構成するカメラと、
     前記検出範囲における前記観測点の前記距離を検出する検出部と、
     複数の前記検出部に対応する複数の前記検出範囲における前記観測点の重なりに基づいて、検出された前記観測点の距離を補正する補正部と
     を備える車両。
PCT/JP2017/019492 2016-06-08 2017-05-25 撮像制御装置および方法、並びに車両 WO2017212929A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201780033997.2A CN109313018B (zh) 2016-06-08 2017-05-25 成像控制装置和方法、以及车辆
US16/303,947 US11158076B2 (en) 2016-06-08 2017-05-25 Imaging control device and method, and vehicle
EP17810109.3A EP3470776A1 (en) 2016-06-08 2017-05-25 Imaging control device and method, and vehicle
JP2018522410A JP6819681B2 (ja) 2016-06-08 2017-05-25 撮像制御装置および方法、並びに車両

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-114388 2016-06-08
JP2016114388 2016-06-08

Publications (1)

Publication Number Publication Date
WO2017212929A1 true WO2017212929A1 (ja) 2017-12-14

Family

ID=60578596

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/019492 WO2017212929A1 (ja) 2016-06-08 2017-05-25 撮像制御装置および方法、並びに車両

Country Status (5)

Country Link
US (1) US11158076B2 (ja)
EP (1) EP3470776A1 (ja)
JP (1) JP6819681B2 (ja)
CN (1) CN109313018B (ja)
WO (1) WO2017212929A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020013298A1 (ja) * 2018-07-12 2020-01-16 Groove X株式会社 発信元方向推定装置、発信元方向推定システム、赤外線発光装置、ロボット、発信元方向推定方法およびプログラム、対象物存在方向推定システム
WO2020170462A1 (ja) * 2019-02-22 2020-08-27 公立大学法人会津大学 動画像距離算出装置および動画像距離算出用プログラムを記録したコンピュータ読み取り可能な記録媒体
JP2020139934A (ja) * 2019-02-22 2020-09-03 公立大学法人会津大学 動画像距離算出装置および動画像距離算出用プログラム
JP2021148668A (ja) * 2020-03-19 2021-09-27 株式会社リコー ステレオカメラ装置
JP2021148746A (ja) * 2020-03-23 2021-09-27 株式会社リコー 測距装置及び測距方法
KR20230074885A (ko) * 2021-11-22 2023-05-31 (주)베라시스 거리보정방법을 이용한 영상기반 전방충돌 경고방법

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109313018B (zh) 2016-06-08 2021-12-10 索尼公司 成像控制装置和方法、以及车辆
DE102016220075A1 (de) * 2016-10-14 2018-04-19 Audi Ag Kraftfahrzeug und Verfahren zur 360°-Umfelderfassung
KR102551099B1 (ko) * 2017-01-13 2023-07-05 엘지이노텍 주식회사 어라운드뷰 제공장치, 제공방법 및 이를 구비한 차량
US11521395B2 (en) * 2017-05-30 2022-12-06 Sony Semiconductor Solutions Corporation Image processing device, image processing method, and program
JP2019012915A (ja) * 2017-06-30 2019-01-24 クラリオン株式会社 画像処理装置、画像変換方法
WO2020082363A1 (zh) * 2018-10-26 2020-04-30 深圳市大疆创新科技有限公司 一种环境感知系统及移动平台
CN110880184B (zh) * 2019-10-03 2023-07-21 上海淡竹体育科技有限公司 一种基于光流场进行摄像头自动巡检的方法及装置
CN111427331B (zh) * 2020-03-24 2022-03-04 新石器慧通(北京)科技有限公司 无人驾驶车辆的感知信息展示方法、装置和电子设备
US12055632B2 (en) * 2020-10-13 2024-08-06 Waymo Llc LIDAR based stereo camera correction
KR102514748B1 (ko) * 2021-05-31 2023-03-30 주식회사 케이 엠 티 감지기의 감지영역을 설정하기 위한 방법, 장치 및 컴퓨터 프로그램
KR102615479B1 (ko) * 2021-11-24 2023-12-19 현대모비스 주식회사 램프 및 그것의 동작 방법, 차량

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002359838A (ja) * 2001-03-28 2002-12-13 Matsushita Electric Ind Co Ltd 運転支援装置
JP2005077130A (ja) * 2003-08-28 2005-03-24 Olympus Corp 物体認識装置
WO2007069721A1 (ja) * 2005-12-16 2007-06-21 Ihi Corporation 三次元形状データの記憶・表示方法と装置および三次元形状の計測方法と装置
JP2009202610A (ja) * 2008-02-26 2009-09-10 Hitachi Ltd 駐車支援装置
JP2014224410A (ja) * 2013-05-16 2014-12-04 住友建機株式会社 作業機械用周辺監視装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4574483A (en) * 1985-04-19 1986-03-11 Dainippon Screen Mfg. Co. Measurement of degree of offset of attachment position of drafting pen in coordinate plotter
JP4402772B2 (ja) * 1999-08-18 2010-01-20 東芝医用システムエンジニアリング株式会社 生体内組織形態の計測方法および医用画像装置
CA2864537C (en) 2001-11-13 2016-11-29 The Trustees Of The University Of Pennsylvania A method of detecting and/or identifying adeno-associated virus (aav) sequences and isolating novel sequences identified thereby
CN101251382B (zh) * 2002-08-28 2013-04-17 索尼株式会社 电子仪器装置、信号补偿装置和信号补偿方法
JP4696925B2 (ja) 2006-01-20 2011-06-08 トヨタ自動車株式会社 画像処理装置
JP4999386B2 (ja) * 2006-07-24 2012-08-15 株式会社イレブンインターナショナル 後方カメラ付車両
KR101604564B1 (ko) 2006-09-01 2016-03-17 가부시키가이샤 니콘 이동체 구동 방법 및 이동체 구동 시스템, 패턴 형성 방법 및 장치, 노광 방법 및 장치, 그리고 디바이스 제조 방법
JP5235798B2 (ja) 2009-06-22 2013-07-10 富士フイルム株式会社 撮影装置及びその制御方法
DE102009036200A1 (de) * 2009-08-05 2010-05-06 Daimler Ag Verfahren zur Überwachung einer Umgebung eines Fahrzeugs
CN104251993B (zh) * 2010-03-17 2017-04-12 本田技研工业株式会社 车辆周围监测装置
EP2385339A1 (en) * 2010-05-05 2011-11-09 Leica Geosystems AG Surface sensing device with optical monitoring system
EP2777780B1 (en) * 2011-11-08 2021-08-25 Sony Group Corporation Sensor device, analyzer, and storage medium
DE102012111008B4 (de) 2012-11-15 2014-05-22 Precitec Optronik Gmbh Optisches Messverfahren und optische Messvorrichtung zum Erfassen einer Oberflächentopographie
JP6364702B2 (ja) 2013-03-29 2018-08-01 アイシン精機株式会社 画像表示制御装置、画像表示システム、および表示ユニット
JP6091977B2 (ja) 2013-04-22 2017-03-08 日立建機株式会社 建設機械
CN109313018B (zh) 2016-06-08 2021-12-10 索尼公司 成像控制装置和方法、以及车辆

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002359838A (ja) * 2001-03-28 2002-12-13 Matsushita Electric Ind Co Ltd 運転支援装置
JP2005077130A (ja) * 2003-08-28 2005-03-24 Olympus Corp 物体認識装置
WO2007069721A1 (ja) * 2005-12-16 2007-06-21 Ihi Corporation 三次元形状データの記憶・表示方法と装置および三次元形状の計測方法と装置
JP2009202610A (ja) * 2008-02-26 2009-09-10 Hitachi Ltd 駐車支援装置
JP2014224410A (ja) * 2013-05-16 2014-12-04 住友建機株式会社 作業機械用周辺監視装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3470776A4 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020013298A1 (ja) * 2018-07-12 2020-01-16 Groove X株式会社 発信元方向推定装置、発信元方向推定システム、赤外線発光装置、ロボット、発信元方向推定方法およびプログラム、対象物存在方向推定システム
JPWO2020013298A1 (ja) * 2018-07-12 2021-08-05 Groove X株式会社 発信元方向推定装置、発信元方向推定システム、赤外線発光装置、ロボット、発信元方向推定方法およびプログラム、対象物存在方向推定システム
JP7473202B2 (ja) 2018-07-12 2024-04-23 Groove X株式会社 発信元方向推定装置、発信元方向推定システム、赤外線発光装置、ロボット、発信元方向推定方法およびプログラム、対象物存在方向推定システム
WO2020170462A1 (ja) * 2019-02-22 2020-08-27 公立大学法人会津大学 動画像距離算出装置および動画像距離算出用プログラムを記録したコンピュータ読み取り可能な記録媒体
JP2020139934A (ja) * 2019-02-22 2020-09-03 公立大学法人会津大学 動画像距離算出装置および動画像距離算出用プログラム
JP7157449B2 (ja) 2019-02-22 2022-10-20 公立大学法人会津大学 動画像距離算出装置および動画像距離算出用プログラム
JP2021148668A (ja) * 2020-03-19 2021-09-27 株式会社リコー ステレオカメラ装置
JP2021148746A (ja) * 2020-03-23 2021-09-27 株式会社リコー 測距装置及び測距方法
KR20230074885A (ko) * 2021-11-22 2023-05-31 (주)베라시스 거리보정방법을 이용한 영상기반 전방충돌 경고방법
KR102649308B1 (ko) * 2021-11-22 2024-03-19 주식회사 디에이치오토아이 거리보정방법을 이용한 영상기반 전방충돌 경고방법

Also Published As

Publication number Publication date
JPWO2017212929A1 (ja) 2019-04-11
CN109313018A (zh) 2019-02-05
CN109313018B (zh) 2021-12-10
US20200320728A1 (en) 2020-10-08
US11158076B2 (en) 2021-10-26
JP6819681B2 (ja) 2021-01-27
EP3470776A4 (en) 2019-04-17
EP3470776A1 (en) 2019-04-17

Similar Documents

Publication Publication Date Title
JP6819681B2 (ja) 撮像制御装置および方法、並びに車両
JP6819680B2 (ja) 撮像制御装置および方法、並びに車両
JP6780661B2 (ja) 画像処理装置および方法、プログラム、並びに画像処理システム
CN107272168B (zh) 车辆用照相机
CN107272300B (zh) 车辆驾驶辅助装置
JP7196063B2 (ja) 撮像制御装置、および撮像制御装置の制御方法、並びに移動体
US11076141B2 (en) Image processing device, image processing method, and vehicle
JP6834964B2 (ja) 画像処理装置、画像処理方法、およびプログラム
KR102012776B1 (ko) 차량용 어라운드 뷰 제공 장치 및 차량
CN108139211B (zh) 用于测量的装置和方法以及程序
CN112119282A (zh) 信息处理装置、移动装置、方法和程序
WO2017057057A1 (ja) 画像処理装置、画像処理方法、およびプログラム
KR102077575B1 (ko) 차량 운전 보조 장치 및 차량
WO2020036044A1 (ja) 画像処理装置と画像処理方法およびプログラム
KR20170011881A (ko) 차량용 레이더, 및 이를 구비하는 차량
KR20160092403A (ko) 차량 운전 보조 장치 및 차량 운전 보조 장치의 제어 방법
US20240221218A1 (en) Video camera calibration refinement for autonomous driving vehicles
WO2022196316A1 (ja) 情報処理装置、情報処理方法及びプログラム

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2018522410

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17810109

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2017810109

Country of ref document: EP

Effective date: 20190108