Nothing Special   »   [go: up one dir, main page]

WO2018180579A1 - 撮像制御装置、および撮像制御装置の制御方法、並びに移動体 - Google Patents

撮像制御装置、および撮像制御装置の制御方法、並びに移動体 Download PDF

Info

Publication number
WO2018180579A1
WO2018180579A1 PCT/JP2018/010397 JP2018010397W WO2018180579A1 WO 2018180579 A1 WO2018180579 A1 WO 2018180579A1 JP 2018010397 W JP2018010397 W JP 2018010397W WO 2018180579 A1 WO2018180579 A1 WO 2018180579A1
Authority
WO
WIPO (PCT)
Prior art keywords
cameras
vehicle
moving body
vertical direction
imaging control
Prior art date
Application number
PCT/JP2018/010397
Other languages
English (en)
French (fr)
Inventor
弘和 橋本
秀明 今井
柴山　憲文
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Priority to US16/496,647 priority Critical patent/US10864855B2/en
Priority to JP2019509275A priority patent/JP7196063B2/ja
Priority to CN201880020151.XA priority patent/CN110574357B/zh
Priority to EP18777554.9A priority patent/EP3606063A1/en
Publication of WO2018180579A1 publication Critical patent/WO2018180579A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/31—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing stereoscopic vision
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/107—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using stereoscopic cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/301—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present disclosure relates to an imaging control device, a control method for the imaging control device, and a moving body, and in particular, an imaging control device capable of realizing distance measurement with a set of cameras arranged in a vertical direction with high accuracy,
  • the present invention also relates to a control method for an imaging control apparatus, and a moving object.
  • a stereo camera system configured by arranging a set of cameras in a horizontal direction on the left and right in a vehicle is mounted, and the difference between the same subject in a set of images caused by parallax between the cameras is used to A technique for measuring a distance has been proposed (see Patent Document 1).
  • the stereo camera system of Patent Document 1 is configured to monitor a front side by arranging a set of cameras in the horizontal direction at the front end of the vehicle, but monitors a side by arranging a set of cameras in the vertical direction.
  • the side monitoring from the front end of the vehicle can be advantageously configured.
  • the readout timing of the pixel signal is shifted in units of rows, so that the subject that should exist at the same position in the horizontal direction is shifted, so-called focal plane. Distortion occurs.
  • the present disclosure has been made in view of such a situation, and in particular, achieves distance measurement with a pair of cameras arranged in the vertical direction with high accuracy.
  • An imaging control device is mounted on a moving body, and a distance between observation points in a detection range based on a pair of cameras constituting a stereo camera system and images captured by the pair of cameras.
  • the pair of cameras are arranged on the side surface of the moving body and arranged in a direction perpendicular to the road surface, and pixel signals to be imaged are arranged in an array. It is an imaging control device that sequentially reads out in the vertical direction in units.
  • the one set of cameras can be made to read out pixel signals in order from the column of pixels on the front side of the moving body, and in each column in the vertical direction.
  • pixel signals are sequentially read out from the pixel columns on the front side of the moving body, and in each column sequentially from the bottom to the top in the vertical direction or from the top to the bottom. Can be made.
  • the pair of cameras may be arranged on each of the left and right side surfaces of the moving body and arranged side by side in a direction perpendicular to the road surface.
  • the pair of cameras may be configured to sequentially read out pixel signals in order from the pixel row on the front side of the moving body, and for each row in the vertical direction from bottom to top or from top to bottom. it can.
  • the one set of cameras can be arranged on each of the left and right side surfaces of the moving body and arranged side by side in a direction perpendicular to the road surface.
  • a set of cameras sequentially reads out pixel signals from the bottom in the vertical direction to the top in the vertical direction for each column from the front pixel row of the moving body. It is possible to sequentially read out pixel signals in the vertical direction from the top to the bottom for each row in order from the row of pixels on the front side of the moving body.
  • the set of cameras is provided on at least one of the left and right side surfaces in front of the moving body, the left and right side surfaces in the center of the moving body, and the left and right side surfaces in the rear of the moving body, respectively. It can be arranged side by side so that parallax occurs in a direction perpendicular to the road surface.
  • each of the cameras is a camera having a wider angle than a predetermined angle. can do.
  • the camera pixels can be arranged in an array so that the horizontal width is longer than the vertical width.
  • the camera pixels may be arranged in an array so that the ratio of the horizontal width to the vertical width is approximately 16: 9 or 4: 3. .
  • the control information of the imaging control device is detected by detecting a distance of an observation point in a detection range based on an image captured by a pair of cameras that are mounted on a moving body and configure a stereo camera system.
  • a moving object is configured to determine a distance between observation points in a detection range based on a set of cameras constituting a stereo camera system mounted on the moving object and images captured by the one set of cameras.
  • a pair of cameras arranged on the side surface of the moving body and arranged in a direction perpendicular to the road surface, and the pixel signals to be imaged are arranged in an array. It is a moving body provided with an imaging control device that sequentially reads out pixels in a vertical direction.
  • the distance between observation points in a detection range is detected based on an image captured by a set of cameras constituting a stereo camera system mounted on a moving body, and the set of cameras is The pixel signals arranged on the side surface of the moving body and arranged in the vertical direction with respect to the road surface are sequentially read out in the vertical direction in units of pixels arranged in an array.
  • FIG. 1 is a block diagram illustrating an embodiment of an in-vehicle system to which the present technology is applied.
  • the in-vehicle system 1 is a system that is mounted on a vehicle and provides driving support.
  • the in-vehicle system 1 monitors the periphery of the vehicle and performs a process for preventing a collision or contact with a surrounding vehicle, bicycle, person or the like. More specifically, the in-vehicle system 1 performs notification of the danger of collision or contact, and control of a braking device such as a brake system for avoiding the collision or contact.
  • the vehicle on which the in-vehicle system 1 is mounted is not particularly limited and includes, for example, a three-wheel truck, a small truck, a small passenger car, a large passenger car, a large bus, a large truck, a large special vehicle, a small special vehicle, and the like.
  • a vehicle in which the in-vehicle system 1 is mounted is also referred to as a host vehicle, and a vehicle other than the host vehicle is also referred to as another vehicle.
  • the in-vehicle system 1 includes a camera system 10, an imaging control unit 11, a vehicle information sensor 12, an information processing unit 13, a display unit 14, a braking control unit 15, and a braking device 16.
  • the camera system 10 is a stereo camera composed of a pair of cameras arranged on the left and right side surfaces in front of the vehicle body in a direction perpendicular to the road surface, and captures an image obtained by imaging the side portion of the vehicle. 11 is output. Details of the camera system 10 will be described later with reference to FIG.
  • peripheral image data an image captured by the camera system 10 is referred to as a peripheral image
  • peripheral image data data indicating the peripheral image
  • the imaging control unit 11 measures the distance to the subject (object) in the peripheral image as distance data based on the peripheral image captured by the camera system 10 and outputs the distance data together with the peripheral image data to the information processing unit 13.
  • the vehicle information sensor 12 includes various sensors used for detecting the movement of the host vehicle.
  • the vehicle information sensor 12 includes a speed sensor, a steering angle sensor, a GPS (global positioning system) receiver, and the like.
  • the vehicle information sensor 12 supplies data indicating the detection result (hereinafter referred to as vehicle sensor data) to the motion prediction unit 32.
  • the information processing unit 13 is configured by, for example, an ECU (Electronic Control Unit).
  • the information processing unit 13 includes a surrounding situation detection unit 31, a motion prediction unit 32, a collision prediction unit 33, and an HMI (Human (Machine Interface) control unit 34.
  • ECU Electronic Control Unit
  • HMI Human (Machine Interface) control unit 34.
  • the surrounding situation detection unit 31 detects the surrounding situation of the host vehicle based on the surrounding image data and the distance data.
  • the surrounding situation detection unit 31 includes a space generation unit 41 and a moving object detection unit 42.
  • the space generation unit 41 generates a three-dimensional space map indicating the shape, position, and the like of objects around the host vehicle based on the surrounding image data and the distance data.
  • the space generation unit 41 supplies the three-dimensional space map to the motion prediction unit 32 and the HMI control unit 34.
  • the space generation unit 41 supplies the peripheral image data to the HMI control unit 34.
  • the moving object detection unit 42 detects moving objects around the host vehicle based on the surrounding image data and the three-dimensional space map.
  • the moving object detection unit 42 supplies the detection result of the moving object to the motion prediction unit 32 and the HMI control unit 34.
  • the motion prediction unit 32 performs motion prediction of the host vehicle based on the vehicle sensor data. In addition, the motion prediction unit 32 performs motion prediction of a moving object around the host vehicle based on the three-dimensional space map and the detection result of the moving object. The motion prediction unit 32 supplies the prediction result of the motion of the host vehicle and the moving objects around the host vehicle to the collision prediction unit 33 and the HMI control unit 34.
  • the collision prediction unit 33 performs collision prediction of the moving body around the host vehicle based on the prediction result of the movement of the host vehicle and the moving body around the host vehicle.
  • the collision prediction unit 33 supplies the result of the collision prediction to the HMI control unit 34 and the braking control unit 15.
  • the HMI control unit 34 controls the HMI of the host vehicle. For example, the HMI control unit 34 determines the situation around the own vehicle based on the three-dimensional space map, the detection result of the moving object around the own vehicle, and the motion prediction and the collision prediction result around the own vehicle. Peripheral monitoring image data for displaying the peripheral monitoring image shown is generated. The HMI control unit 34 supplies the periphery monitoring image data to the display unit 14 to display the periphery monitoring image. In this case, the HMI control unit 34 functions as an image processing unit.
  • the display unit 14 includes, for example, various displays.
  • the display unit 14 displays various images such as a peripheral monitoring image under the control of the HMI control unit 34.
  • the braking control unit 15 is configured by, for example, an ECU (Electronic Control Unit).
  • the braking control unit 15 controls the braking device 16 based on the collision prediction result by the collision prediction unit 33, and performs an emergency stop or the like of the host vehicle.
  • the braking device 16 is constituted by, for example, a brake system of the own vehicle.
  • FIG. 2 shows an arrangement example of a stereo camera system constituting the camera system 10.
  • Stereo camera system 111A is arranged, for example, on the front left side of the front bumper of vehicle 100.
  • the stereo camera system 111A captures an image of a detection range 112A on the left side of the vehicle 100 including an area that is a driver's blind spot, and performs imaging control of image data indicating an image obtained as a result of the imaging (hereinafter referred to as a left image).
  • a left image an image obtained as a result of the imaging
  • the stereo camera system 111B is disposed, for example, on the front right side of the front bumper of the vehicle 100.
  • the stereo camera system 111B images the detection range 112B in the right direction of the vehicle 100 including the area that becomes the driver's blind spot, and performs imaging control of image data indicating an image obtained as a result of imaging (hereinafter referred to as a right image).
  • a right image an image obtained as a result of imaging
  • stereo camera systems 111A and 111B when it is not necessary to particularly distinguish the stereo camera systems 111A and 111B, they are simply referred to as the stereo camera system 111, and other configurations are also referred to.
  • the stereo camera system 111 ⁇ / b> A has a configuration in which two cameras 131 ⁇ / b> A and 132 ⁇ / b> A are set as one set, and is arranged side by side in the vertical direction (that is, the vertical direction) on the front left side of the vehicle 100. That is, the cameras 131A and 132A are arranged in a plane perpendicular to the reference plane (road surface 101) so that the parallax is generated in the height (vertical) direction.
  • the stereo camera system 111A is installed only on the left side of the vehicle 100, but in reality, the stereo camera system 111B including the cameras 131B and 132B is also installed on the right side.
  • the optical axis of the camera 131A and the optical axis of the camera 132A are directed in a direction (front side of the page) perpendicular to the dotted line in FIG. 3 that passes through the camera 131A and the camera 132A.
  • a dotted line in FIG. 3 that is a perpendicular to the road surface 101 passing through the center point of the stereo camera system 111 intersects with a point T on the road surface 101. That is, the point T is a point on the road surface 101 immediately below the stereo camera system 111A (that is, directly below the vehicle 100).
  • the camera system 10 includes stereo camera systems 111A and 111B.
  • the stereo camera system 111A includes a camera 131A and a camera 132A.
  • the stereo camera system 111B includes cameras 131B and 132B.
  • Image data of images captured by the cameras 131A and 132A is supplied to the stereo distance measuring unit 151A, and image data of images captured by the imaging units 131B and 132B is supplied to the stereo distance measuring unit 151B.
  • the imaging control unit 11 includes stereo distance measurement units 151A and 151B and an integration unit 152.
  • Stereo distance measuring section 151 ⁇ / b> A measures the distance to the subject (object) in detection range 112 ⁇ / b> A (FIG. 2) on the left side of vehicle 100 and outputs the distance to integration section 152.
  • Stereo distance measuring section 151 ⁇ / b> B measures the distance to the subject (object) in detection range 112 ⁇ / b> B on the right side of vehicle 100 and outputs the distance to integration section 152.
  • the integration unit 152 acquires and integrates the outputs of the stereo distance measurement units 151A and 151B, grasps the state of the entire periphery of the vehicle 100, and outputs it to the surrounding state detection unit 31 as surrounding image data and distance data.
  • the stereo distance measuring unit 151 includes image correcting units 171 and 172 and a stereo image processing unit 173.
  • the outputs of the cameras 131 and 132 of the stereo camera system 111 are supplied to an image correction unit 171 and an image correction unit 172, respectively, and lens aberrations and the like are corrected as preprocessing.
  • the captured images include distortion.
  • the image correction units 171 and 172 perform processing for correcting this distortion and projecting the image onto a plane to obtain a plane image for distance calculation.
  • the stereo image processing unit 173 detects the distance to the object from the outputs of the image correction unit 171 and the image correction unit 172. That is, the object shown in one image of the cameras 131 and 132 is detected from the other image, and the distance is calculated from the displacement of the position.
  • the wide-angle camera is, for example, a camera provided with a lens of 35 mm or less, particularly a lens of 28 mm or less in terms of 35 mm.
  • the wide-angle camera may be a camera that can capture an image with a viewing angle of 60 degrees or more, particularly 120 degrees or more, or 150 degrees or more.
  • the viewing angle can be 180 degrees or more.
  • the wide-angle lens having a wide viewing angle or the camera may be a fish-eye lens (f ⁇ lens) or a fish-eye camera, or a camera called a super-wide-angle lens or a super-wide-angle camera.
  • Stereo Camera System Coordinate System Next, the coordinate system of the stereo camera system 111 will be described with reference to FIG.
  • the coordinate system of the stereo camera system 111 is defined as shown in FIG.
  • the center point of one camera 131 is Oa
  • the center point of the other camera 132 is Ob
  • the center point Oa and the center point Ob are Let O be the midpoint (ie, the center point of the stereo camera system 111).
  • the target point of imaging is P
  • the distance (baseline length) between the center point Oa and the center point Ob is L.
  • the lower angle in the figure the lower side from the central point O of the straight line 141 and the straight line 144)
  • the angle formed by the line segment is defined as ⁇ .
  • the angle ⁇ is an angle formed between the imaging target point P and the stereo camera system 111.
  • the target point represents an object (subject) to be imaged, that is, monitored.
  • a person around the vehicle 100, an obstacle, another vehicle, and the like are schematically represented as points.
  • the lower angle in the figure (the angle between the straight line 142 and the lower line segment in the figure from the central point Oa of the straight line 144) ) Is ⁇ a.
  • the lower angle in the figure (the angle between the straight line 143 and the lower line segment in the figure from the central point Ob of the straight line 144) ) Is ⁇ b.
  • An angle formed by the straight line 142 and the straight line 143 is ⁇ .
  • the distance between the center point O and the target point P is ⁇
  • the distance between the target point P and the center point Oa is ⁇ a
  • the distance between the target point P and the center point Ob is ⁇ b.
  • Equation (3) is obtained from Equation (1) and Equation (2).
  • the distance (base line length) L between the center point Oa and the center point Ob is about several centimeters to several tens of centimeters, whereas the distance ⁇ from the center point O to the target point P is about several meters.
  • ⁇ a and ⁇ b hold.
  • ⁇ b ⁇ ⁇ a always holds. From these conditions, the following approximate expression (4) holds.
  • the difference ⁇ a ⁇ b is the angle difference of the incident light.
  • the distance to the object is determined by ⁇ a ⁇ b.
  • the baseline length L is a constant, it can be seen from equation (5) that ⁇ a ⁇ b is inversely proportional to the distance ⁇ to the object. Therefore, if the distance between the object and the stereo camera system 111 increases, the distance measurement accuracy decreases.
  • One of the main reasons for distance measurement in the stereo camera system 111 mounted on the vehicle 100 is to detect obstacles around the vehicle 100 and prevent contact between the vehicle 100 and the obstacles. Therefore, it is reasonable that the distance measurement accuracy increases as the distance between the vehicle 100 and the obstacle is shorter.
  • the subject H visually recognizes the subject H with each of the left and right eyes 221 and 222 as shown in Example Ex1.
  • the left eye 221 visually recognizes the subject H in the visual field L in the figure
  • the right eye 222 in the visual field R in the figure.
  • the subject H is visually recognized.
  • a human recognizes the shift of the subject H in the visual fields L and R as parallax, and spatially recognizes the subject according to the parallax.
  • the visual fields L and R have different distances from the eyes 221 and 222, but are different for convenience of explanation. In reality, it is assumed that they are the same distance.
  • a stereo camera system When a stereo camera system is configured by arranging cameras in the horizontal direction so as to correspond to the eyes 221 and 222 based on the same principle, images 231 and 232 are captured as shown in Example Ex2 in each camera.
  • Example Ex2 the subject H is captured as the subjects H1 and H2, respectively. Note that the images 231 and 232 in the example Ex2 correspond to the visual fields L and R of the example Ex1, respectively.
  • the horizontal displacement of the subjects H1 and H2 in the images 231 and 232 is caused by the parallax of the camera that captures each image, and is caused by the parallax corresponding to the displacement in the respective images 231 and 232 of the subjects H1 and H2.
  • the distance to the subject can be measured.
  • the camera sequentially reads out from the top to the bottom in units of rows, and in each row, pixel signals are sequentially read from pixels adjacent in the horizontal direction from left to right. Therefore, in order to recognize the subjects H1 and H2 that are the same subject H, the pixel signals of the pixels in the same row are compared.
  • the horizontal right arrow across the images 231 and 232 represents that pixels in the same row are compared.
  • the stereo camera system 111 of the present disclosure since the cameras 131 and 132 are arranged in the vertical direction, the image captured by each of them is a case where the subject H is stationary, for example, Images are captured as images 233 and 234 as indicated by Ex3.
  • the pixels belonging to the subjects H1 and H2 and having the same horizontal direction are If they belong to the same subject, the pixels shifted in the vertical direction by the amount corresponding to the parallax become the same pixel signal, so that the subject H can be recognized.
  • the horizontal coordinate X of the images 233 and 234 is positive in the right direction in the figure
  • the vertical coordinate Y is positive in the downward direction in the figure
  • the pixel signal in each camera is, for example, in row units
  • the pixel signals belonging to the subjects H1 and H2 are shifted to the right in the horizontal direction by a distance corresponding to the moving speed of the subject H as the readout row advances downward.
  • the lower the row in the image the larger the displacement to the right side of the pixel belonging to H is, the focal plane distortion occurs. Therefore, the left of the subjects H1 and H2 as indicated by the subjects H1 ′ and H2 ′. Inclined distortion occurs.
  • Example Ex4 the pixel belonging to the subject H2 'in the image 234 belongs to the upper row in the image than the pixel belonging to the subject H1' in the image 233. Accordingly, the pixel signal of the pixel belonging to the subject H2 'in the image 234 is read out earlier than the pixel signal of the pixel belonging to the subject H1' in the image 233.
  • the subject H2 'in the image 234 is closer to the left side in the image than the subject H1' in the image 233.
  • the pixel signals are sequentially read out in the vertical direction in units of rows, and for each row When reading in the horizontal direction, the same common subject cannot be recognized in an image captured by a pair of cameras, and distance measurement itself may not be possible.
  • the horizontal direction is sequentially performed in units of columns.
  • the pixel signals are generated so as to be sequentially read in the vertical direction, for example, from the top to the bottom.
  • the deviation in the readout timing of the pixel signals in the same column is only the number of pixels corresponding to the parallax, so that the influence of the focal plane distortion can be reduced.
  • the shift of the subjects H1 and H2 can also be reduced.
  • the subjects H1 and H2 are the same subject H by comparing pixel signals at the same position.
  • a general camera sequentially reads out pixel signals from top to bottom in units of rows and from left to right in each row, so that, for example, as shown in Example Ex12 in FIG.
  • the correct images 233 and 234 are read out. Therefore, as shown by an example Ex13 in FIG. 8, it may be realized by rotating a general camera by 90 degrees (rotating rightward in the drawing).
  • an image captured by the cameras 131 and 132 constituting the stereo camera system 111 of the present disclosure has a ratio A: B between the length in the horizontal direction and the length in the vertical direction, for example, 4: 3 or 16: 9, that is, the horizontal direction is wider, and pixel signals are sequentially read out in units of columns in the horizontal direction, and in each column, in units of pixels in the vertical direction. Then, the pixel signals are sequentially read out.
  • the stereo camera system 111 of the present disclosure suppresses the horizontal shift of the subject due to the shift in the readout timing while ensuring the horizontal viewing angle, and performs the distance measurement with high accuracy. Make it happen.
  • the pixel signal of the pixel in the column SC1 on the front side of the vehicle 100 is the uppermost stage in the figure.
  • the pixel signal of the lowermost pixel 251 is read out sequentially from the first pixel
  • the pixel signal of the lowermost pixel 251 is read out sequentially from the uppermost pixel of the adjacent column SC2.
  • pixel signals of pixels adjacent in the downward direction are sequentially read out from the pixel signal of the uppermost pixel for each column.
  • the left part in the figure is the front (front) of the vehicle 100
  • the upper part in the figure is the upper part (up) of the vehicle 100
  • the lower part in the figure is the lower part of the vehicle 100 ( down).
  • the pixel signal of the pixel in the column SC1 ′ on the front side of the vehicle 100 is the uppermost pixel in the drawing.
  • the pixel signal of the lowermost pixel 251 is read out sequentially from the lowermost pixel, the uppermost pixel in the adjacent column SC2 ′ is sequentially read downward.
  • the pixel signals of the uppermost pixel are read out for each column, and the pixel signals of the pixels adjacent in the downward direction are sequentially read out.
  • the right part in the figure is the front (front) of the vehicle 100
  • the upper part in the figure is the upper part (up) of the vehicle 100
  • the lower part in the figure is the lower part of the vehicle 100 ( down).
  • pixel signals of each column are described as an example in which pixel signals of pixels adjacent in the downward direction are sequentially read from the uppermost pixel. You may make it read a pixel signal sequentially upward from the pixel of the lowest stage.
  • the camera 131 may be reversed and provided on the left side part.
  • the display unit 14 equipment provided in advance in the host vehicle may be used, or a dedicated display or the like may be provided.
  • the display 271 of the car navigation system of the own vehicle or the instrument panel 272 can be used as the display unit 14.
  • the display unit 14 can be configured by a transmissive display that is provided so as to overlap the area P1 in front of the driver's seat of the windshield 273 of the host vehicle.
  • step S1 the information processing unit 13 controls the imaging control unit 11 to execute the peripheral image data and distance data acquisition process of the vehicle 100, and acquires the peripheral image data and the distance data.
  • the surrounding state detection unit 31 controls the imaging control unit 11 to acquire the surrounding image data and distance data of the vehicle 100 based on the image captured by the camera system 10.
  • the imaging control unit 11 controls the camera system 10 to execute the peripheral image data and distance data acquisition process, and acquires the peripheral image data of the vehicle 100 and the distance data that is the stereo distance measurement result.
  • the motion prediction unit 32 acquires vehicle sensor data from each sensor of the vehicle information sensor 12. Details of the peripheral image data and distance data acquisition processing will be described later with reference to the flowchart of FIG.
  • step S2 the space generation unit 41 performs a space generation process. That is, the space generation unit 41 generates (or updates) a three-dimensional space map indicating the shape, position, and the like of objects around the host vehicle based on the surrounding image data and the distance data. Note that the objects in the vicinity of the host vehicle include not only moving objects but also stationary objects (for example, buildings, road surfaces, etc.). The space generation unit 41 supplies the generated three-dimensional space map to the motion prediction unit 32 and the HMI control unit 34.
  • any method can be used as a method of generating the three-dimensional space map.
  • a technique such as SLAM (Simultaneous Localization and Mapping) is used.
  • the moving object detection unit 42 performs moving object detection. Specifically, the moving object detection unit 42 detects moving objects around the host vehicle based on the surrounding sensor data and the three-dimensional space map. For example, the moving object detection unit 42 detects the presence or absence of a moving object around the host vehicle, the type, size, shape, position, and the like of the moving object. The moving object detection unit 42 supplies the detection result of the moving object to the motion prediction unit 32 and the HMI control unit 34.
  • the moving object to be detected includes not only a moving object that is actually moving, but also a moving object that is temporarily stationary such as a stopped vehicle, a bicycle, or a stopped pedestrian.
  • the moving object detection unit 42 can also detect a moving object around the host vehicle based only on the surrounding sensor data without using a three-dimensional space map, for example. In this case, the processes of step S2 and step S3 can be interchanged.
  • step S4 the moving object detection unit 42 determines whether there is a moving object in the vicinity based on the result of the process in step S3. If it is determined that there are no moving objects in the vicinity, the process returns to step S1.
  • step S1 to step S4 is repeatedly executed until it is determined in step S4 that a moving object exists in the vicinity.
  • step S4 if it is determined in step S4 that a moving object is present in the vicinity, the process proceeds to step S5.
  • step S5 the motion prediction unit 32 performs motion prediction. Specifically, the motion prediction unit 32 predicts the moving speed and the moving direction of the host vehicle based on the vehicle sensor data. In addition, the motion prediction unit 32 predicts the moving speed and moving direction of moving objects around the host vehicle based on the three-dimensional space map and the detection results of moving objects around the host vehicle. The motion prediction unit 32 supplies the prediction result to the collision prediction unit 33 and the HMI control unit 34.
  • the collision prediction unit 33 performs collision prediction. Specifically, the collision prediction unit 33 determines whether or not there is a possibility that the moving body around the own vehicle collides with or comes into contact with the own vehicle based on the prediction result of the movement of the own vehicle and the surrounding moving body. In addition, the time required for collision or contact of a moving object that may possibly collide or come into contact (hereinafter referred to as a collision prediction time) is predicted.
  • the collision prediction unit 33 predicts the risk of each moving object colliding with or coming into contact with the host vehicle, and sets the rank based on a predetermined definition. For example, a moving object that is stationary and a moving object that is moving in a direction away from the host vehicle is set to a risk level 1. Among moving objects that are moving in the direction approaching the host vehicle, moving objects that have a predicted collision time exceeding T1 seconds (for example, 5 seconds) are set to a risk level 2. Of the moving objects that are moving in the direction approaching the host vehicle, the moving object that has a predicted collision time within T1 seconds and exceeds T2 seconds (for example, 1 second) is set to a degree of risk 3. Of the moving objects that are moving in the direction approaching the host vehicle, a moving object that has a predicted collision time of T2 seconds or less is set to a degree of risk 4.
  • T1 seconds for example, 5 seconds
  • T2 seconds for example, 1 second
  • a stationary moving body and a moving body moving away from the host vehicle may also be set to any one of the risk levels 2 to 4 based on the collision prediction time.
  • the collision prediction unit 33 supplies the result of the collision prediction to the HMI control unit 34 and the braking control unit 15.
  • step S7 the collision prediction unit 33 determines whether there is a risk of collision or contact. For example, the collision prediction unit 33 determines that there is no risk of collision and contact when there is no moving object having a risk level of 3 or more in the vicinity of the host vehicle, and the process returns to step S1.
  • steps S1 to S7 are repeatedly executed until it is determined in step S7 that there is a risk of collision or contact.
  • step S7 for example, the collision prediction unit 33 determines that there is a risk of collision or contact when there is a moving body having a risk level of 3 or more around the host vehicle, and the process proceeds to step S8.
  • step S8 the HMI control unit 34 sets the moving object type.
  • the HMI control unit 34 classifies the moving objects detected by the moving object detection unit 42 into a vehicle, a motorbike, a bicycle, a pedestrian, and other five types.
  • a motorbike is also a kind of vehicle, but here, a motorbike is distinguished from other vehicles.
  • the HMI control unit 34 calculates the display position of the superimposed image.
  • the superimposed image includes, for example, a frame indicating the position of each moving object (hereinafter referred to as a moving object frame) and a bar indicating a predicted motion of each moving object (hereinafter referred to as a motion prediction bar).
  • the HMI control unit 34 determines the three-dimensional of the moving object frame corresponding to each moving object based on the position of each moving object in the three-dimensional space map and the height and width of each moving object as viewed from the traveling direction of each moving object.
  • the display position in the space map is calculated.
  • the HMI control unit 34 calculates the position of each moving object after x seconds (for example, after one second) in the three-dimensional space map based on the result of motion prediction of each moving object. Next, the HMI control unit 34 calculates the display position of the motion prediction bar corresponding to each moving object on the three-dimensional space map based on the current position of each moving object on the three-dimensional space map and the position after x seconds. To do. For example, the HMI control unit 34 calculates the length and direction of the motion prediction bar by using the current moving object's leading end in the moving direction as the starting point and the moving object's moving direction's leading end x seconds later as the ending point. .
  • step S10 the in-vehicle system 10 presents the surrounding situation.
  • the HMI control unit 34 converts the display position of the superimposed image (moving object frame, motion prediction bar, etc.) in the three-dimensional space map into the display position in the peripheral image presented to the driver. Further, the HMI control unit 34 converts the position of the road surface in the three-dimensional space map into the display position in the peripheral image, and calculates the display position of the grid indicating the position of the road surface in the peripheral image. Then, the HMI control unit 34 generates surrounding monitoring image data indicating the surrounding monitoring image, supplies it to the display unit 14, and displays the surrounding monitoring image.
  • step S11 the braking control unit 15 determines whether or not an emergency stop is necessary. For example, the brake control unit 15 determines that there is no need for an emergency stop when there is no moving object of the risk level 4 in moving objects around the host vehicle, and the process returns to step S1.
  • step S11 Thereafter, the processing from step S1 to step S11 is repeatedly executed until it is determined in step S11 that an emergency stop is necessary.
  • step S11 for example, the braking control unit 15 determines that an emergency stop is necessary when there is a moving body of risk 4 in the moving body around the host vehicle, and the process proceeds to step S12.
  • step S12 the braking control unit 15 controls the braking device 16 to urgently stop the host vehicle. Thereby, the collision or contact with the moving body around the host vehicle is prevented.
  • the danger of collision or contact with moving objects around the host vehicle can be notified in an easy-to-understand manner, and the driver can reliably recognize the danger of collision or contact.
  • an emergency stop is performed, so that an accident is prevented.
  • peripheral image data and distance data acquisition processing will be described with reference to the flowchart of FIG.
  • step S31 the camera 131 and the camera 132 constituting the stereo camera system 111 capture an observation point.
  • step S32 the image correction unit 171 corrects lens aberration, camera image distortion, and the like for the image captured by the camera 131.
  • the image correction unit 172 corrects lens aberration, camera image distortion, and the like for the image captured by the camera 132. That is, image distortion is corrected for distance calculation, and the image is projected onto a virtual plane to obtain a plane image.
  • step S33 the stereo image processing unit 173 calculates the distance to the observation point, and outputs a captured image including a planar image together with the distance data to the integration unit 152 as peripheral image data. That is, the camera 131 and the camera 132 are arranged at positions separated by a distance L in the vertical direction. Accordingly, the image captured by the camera 131 and the image captured by the camera 132 have a phase difference, and the distance to the observation point can be calculated based on the phase difference. That is, an object corresponding to an object shown in one of the images of the cameras 131 and 132 is detected from the other image, and the distance is calculated from the displacement of the position of the object in the two images.
  • the above process is executed by each of the stereo camera systems 111A and 111B provided on the left and right front side surfaces of the vehicle 100.
  • step S ⁇ b> 34 the integration unit 93 integrates the respective measurement data of the stereo camera systems 111 ⁇ / b> A and 111 ⁇ / b> B and the peripheral image data, and outputs the data to the imaging control unit 11 together with the peripheral image data as distance data in all directions of the vehicle 100. .
  • step S35 the stereo image processing unit 173 determines whether to end the process. If the user has not yet instructed the end of the process, the process returns to step S31, and the subsequent processes are repeated. If the end of the process is instructed, the process ends.
  • the distance data as the distance measurement results in the detection ranges 112A and 112B by the stereo distance measuring units 151A and 151B are output to the integrating unit 152 together with the peripheral image data, and are sequentially and repeatedly output to the imaging control unit 11. Is done.
  • step S31 when the cameras 131 and 132 image the detection range, as described above, in the order from the front pixel row of the vehicle 100 to the rear pixel row adjacent in the horizontal direction, and In each pixel column, pixel signals of pixels adjacent in the downward direction are sequentially read from the uppermost pixel, or pixel signals of pixels adjacent in the upward direction are sequentially read from the lowermost pixel.
  • the focal plane distortion of the subject in the images picked up by the cameras 131 and 132, and the displacement of the subject in the horizontal direction due to the deviation of the readout timing, can be obtained. Occurrence can be suppressed, and the subjects in the respective images can be recognized as the same subject, so that it is possible to realize distance measurement by deviation based on parallax with high accuracy.
  • the imaging control unit 11 measures the distance to the subject (target object) in the peripheral image as distance data.
  • the measurement of the distance data itself is another configuration.
  • the space generation unit 41 may simultaneously generate distance data and a three-dimensional space map.
  • the detection process of the type of moving object has been described with respect to the example implemented by the moving object detection unit 42, but other configurations may be implemented. For example, you may make it the imaging control part 11 implement.
  • the stereo camera system 111 has been described with respect to an example in which the cameras 131 and 132 are arranged side by side so that parallax is generated in the vertical direction on the front side surface of the vehicle 100.
  • the stereo camera system 111 may be arranged so that the parallax of the cameras 131 and 132 is generated in the vertical direction.
  • the stereo camera system 111 may be provided at a position in the vicinity of the central side surface portion of the vehicle 100 so that the cameras 131 and 132 image the side surface direction so that parallax occurs in the vertical direction.
  • the stereo camera system 111 is attached to the door mirror 301 side by side in the vertical direction so that the parallax of the cameras 131 and 132 is generated in the vertical direction. May be.
  • the stereo camera system 111 may be at a position other than the door mirror 301 as long as it is in the vicinity of the central side surface of the vehicle 100.
  • the stereo camera system 111 may be attached to a pillar (front pillar, center pillar, rear pillar, etc.), door, roof rail, etc. Also good.
  • the stereo camera system 111 may be configured such that the cameras 131 and 132 are attached to the rear side surface portion of the vehicle 100 so that parallax occurs in the vertical direction.
  • the stereo camera system 111 when the cameras 131 and 132 are attached to the rear side surface portion of the vehicle 100 so as to generate a parallax in the vertical direction, the stereo camera system 111 is used when moving backward. Since the number of uses increases, the pixel signal in the detection range on the rear side of the side surface may be read out at higher speed.
  • pixel signals of pixels adjacent in the downward direction are sequentially read out from the pixel signal of the uppermost pixel for each pixel column from the pixel columns on the rear side of the pixel array of the cameras 131 and 132, or
  • the pixel signals of pixels adjacent in the upward direction may be sequentially read out from the pixel signals of the pixels.
  • the pixel signal of the pixel in the column SC8 on the rear side of the vehicle 100 is When the pixel signal of the lowermost pixel 251 is read out sequentially from the lower pixel, the uppermost pixel of the adjacent column SC7 is sequentially read downward. Similarly, pixel signals of pixels adjacent in the downward direction are sequentially read out from the pixel signal of the uppermost pixel in each column in the order of columns SC6 to SC1.
  • the right part in the figure is the rear (Rear) of the vehicle 100
  • the upper part in the figure is the upper part (up) of the vehicle 100
  • the lower part in the figure is the lower part of the vehicle 100 ( down).
  • the pixel signal of the pixel in the column SC8 ′ on the rear side of the vehicle 100 is the uppermost pixel in the drawing.
  • the pixel signal of the lowermost pixel 251 is read out sequentially from the bottom, the uppermost pixel in the adjacent column SC7 ′ is sequentially read downward.
  • the pixel signals of the uppermost pixel are read out, and the pixel signals of the pixels adjacent in the downward direction are sequentially read out.
  • the left part in the figure is the rear (Rear) of the vehicle 100
  • the upper part in the figure is the upper part (up) of the vehicle 100
  • the lower part in the figure is the lower part of the vehicle 100 ( down).
  • the pixel signal of each column is described as an example in which pixel signals of pixels adjacent in the downward direction are sequentially read from the uppermost pixel. You may make it read a pixel signal sequentially upward from the pixel of the lowest stage.
  • the camera 131 in the upper left part of FIG. 15 is installed upside down while maintaining the front-rear direction with respect to the vehicle 100 so that it is provided on the rear left side part as shown in the lower right part of FIG. Also good.
  • the camera 131 it is not necessary to separately configure the camera 131 to be provided on the rear right side portion and the camera 131 to be provided on the left side portion, and to be provided on both the left and right side portions with the same configuration. It becomes possible to make it.
  • the stereo camera system 111 is a side part of the vehicle 100, it may be installed in any of the front, the center, and the back, and may be installed in combination of at least one of them.
  • the stereo camera system 111 when the stereo camera system 111 is installed on the front side surface portion and the rear side surface portion of the vehicle 100, cameras that can capture a distant place with a narrow angle with a slightly narrow viewing angle are adopted as the cameras 131 and 132. You may do it. That is, when the stereo camera system 111 is installed on the front side surface portion and the rear side surface portion of the vehicle 100, it is possible to realize a quicker situation in the intersection by adopting a narrow-angle camera. .
  • the stereo camera system 111 when the stereo camera system 111 is installed on the central side surface portion of the vehicle 100, a camera that can take a wide angle with a slightly wider viewing angle and can capture the vicinity well is adopted as the cameras 131 and 132. Good. That is, when the stereo camera system 111 is installed on the central side surface of the vehicle 100, it is possible to realize the situation in a wide range including the front and rear by adopting a wide-angle camera. Become.
  • the technology according to the present disclosure can be applied to various products.
  • the technology according to the present disclosure may be any type of movement such as an automobile, an electric vehicle, a hybrid electric vehicle, a motorcycle, a bicycle, personal mobility, an airplane, a drone, a ship, a robot, a construction machine, and an agricultural machine (tractor). You may implement
  • FIG. 16 is a block diagram illustrating a schematic configuration example of a vehicle control system 7000 that is an example of a mobile control system to which the technology according to the present disclosure can be applied.
  • the vehicle control system 7000 includes a plurality of electronic control units connected via a communication network 7010.
  • the vehicle control system 7000 includes a drive system control unit 7100, a body system control unit 7200, a battery control unit 7300, a vehicle exterior information detection unit 7400, a vehicle interior information detection unit 7500, and an integrated control unit 7600. .
  • the communication network 7010 for connecting the plurality of control units conforms to an arbitrary standard such as CAN (Controller Area Network), LIN (Local Interconnect Network), LAN (Local Area Network), or FlexRay (registered trademark). It may be an in-vehicle communication network.
  • Each control unit includes a microcomputer that performs arithmetic processing according to various programs, a storage unit that stores programs executed by the microcomputer or parameters used for various calculations, and a drive circuit that drives various devices to be controlled. Is provided.
  • Each control unit includes a network I / F for communicating with other control units via a communication network 7010, and is connected to devices or sensors inside and outside the vehicle by wired communication or wireless communication. A communication I / F for performing communication is provided. In FIG.
  • a microcomputer 7610 As a functional configuration of the integrated control unit 7600, a microcomputer 7610, a general-purpose communication I / F 7620, a dedicated communication I / F 7630, a positioning unit 7640, a beacon receiving unit 7650, an in-vehicle device I / F 7660, an audio image output unit 7670, An in-vehicle network I / F 7680 and a storage unit 7690 are illustrated.
  • other control units include a microcomputer, a communication I / F, a storage unit, and the like.
  • the drive system control unit 7100 controls the operation of the device related to the drive system of the vehicle according to various programs.
  • the drive system control unit 7100 includes a driving force generator for generating a driving force of a vehicle such as an internal combustion engine or a driving motor, a driving force transmission mechanism for transmitting the driving force to wheels, and a steering angle of the vehicle. It functions as a control device such as a steering mechanism that adjusts and a braking device that generates a braking force of the vehicle.
  • the drive system control unit 7100 may have a function as a control device such as ABS (Antilock Brake System) or ESC (Electronic Stability Control).
  • a vehicle state detection unit 7110 is connected to the drive system control unit 7100.
  • the vehicle state detection unit 7110 includes, for example, a gyro sensor that detects the angular velocity of the rotational movement of the vehicle body, an acceleration sensor that detects the acceleration of the vehicle, an operation amount of an accelerator pedal, an operation amount of a brake pedal, and steering of a steering wheel. At least one of sensors for detecting an angle, an engine speed, a rotational speed of a wheel, or the like is included.
  • the drive system control unit 7100 performs arithmetic processing using a signal input from the vehicle state detection unit 7110, and controls an internal combustion engine, a drive motor, an electric power steering device, a brake device, or the like.
  • the body system control unit 7200 controls the operation of various devices mounted on the vehicle body according to various programs.
  • the body system control unit 7200 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as a headlamp, a back lamp, a brake lamp, a blinker, or a fog lamp.
  • the body control unit 7200 can be input with radio waves or various switch signals transmitted from a portable device that substitutes for a key.
  • the body system control unit 7200 receives input of these radio waves or signals, and controls a door lock device, a power window device, a lamp, and the like of the vehicle.
  • the battery control unit 7300 controls the secondary battery 7310 that is a power supply source of the drive motor according to various programs. For example, information such as battery temperature, battery output voltage, or remaining battery capacity is input to the battery control unit 7300 from a battery device including the secondary battery 7310. The battery control unit 7300 performs arithmetic processing using these signals, and controls the temperature adjustment of the secondary battery 7310 or the cooling device provided in the battery device.
  • the outside information detection unit 7400 detects information outside the vehicle on which the vehicle control system 7000 is mounted.
  • the outside information detection unit 7400 is connected to at least one of the imaging unit 7410 and the outside information detection unit 7420.
  • the imaging unit 7410 includes at least one of a ToF (Time Of Flight) camera, a stereo camera, a monocular camera, an infrared camera, and other cameras.
  • the outside information detection unit 7420 detects, for example, current weather or an environmental sensor for detecting weather, or other vehicles, obstacles, pedestrians, etc. around the vehicle equipped with the vehicle control system 7000. At least one of the surrounding information detection sensors.
  • the environmental sensor may be, for example, at least one of a raindrop sensor that detects rainy weather, a fog sensor that detects fog, a sunshine sensor that detects sunlight intensity, and a snow sensor that detects snowfall.
  • the ambient information detection sensor may be at least one of an ultrasonic sensor, a radar device, and a LIDAR (Light Detection and Ranging, Laser Imaging Detection and Ranging) device.
  • the imaging unit 7410 and the outside information detection unit 7420 may be provided as independent sensors or devices, or may be provided as a device in which a plurality of sensors or devices are integrated.
  • FIG. 17 shows an example of installation positions of the imaging unit 7410 and the vehicle outside information detection unit 7420.
  • the imaging units 7910, 7912, 7914, 7916, and 7918 are provided at, for example, at least one of the front nose, the side mirror, the rear bumper, the back door, and the upper part of the windshield in the vehicle interior of the vehicle 7900.
  • An imaging unit 7910 provided in the front nose and an imaging unit 7918 provided in the upper part of the windshield in the vehicle interior mainly acquire an image in front of the vehicle 7900.
  • Imaging units 7912 and 7914 provided in the side mirror mainly acquire an image of the side of the vehicle 7900.
  • An imaging unit 7916 provided in the rear bumper or the back door mainly acquires an image behind the vehicle 7900.
  • the imaging unit 7918 provided on the upper part of the windshield in the passenger compartment is mainly used for detecting a preceding vehicle or a pedestrian, an obstacle, a traffic light, a traffic sign, a lane, or
  • FIG. 17 shows an example of shooting ranges of the respective imaging units 7910, 7912, 7914, and 7916.
  • the imaging range a indicates the imaging range of the imaging unit 7910 provided in the front nose
  • the imaging ranges b and c indicate the imaging ranges of the imaging units 7912 and 7914 provided in the side mirrors, respectively
  • the imaging range d The imaging range of the imaging part 7916 provided in the rear bumper or the back door is shown. For example, by superimposing the image data captured by the imaging units 7910, 7912, 7914, and 7916, an overhead image when the vehicle 7900 is viewed from above is obtained.
  • the vehicle outside information detection units 7920, 7922, 7924, 7926, 7928, and 7930 provided on the front, rear, sides, corners of the vehicle 7900 and the upper part of the windshield in the vehicle interior may be, for example, an ultrasonic sensor or a radar device.
  • the vehicle outside information detection units 7920, 7926, and 7930 provided on the front nose, the rear bumper, the back door, and the windshield in the vehicle interior of the vehicle 7900 may be, for example, LIDAR devices.
  • These outside information detection units 7920 to 7930 are mainly used for detecting a preceding vehicle, a pedestrian, an obstacle, and the like.
  • the vehicle exterior information detection unit 7400 causes the imaging unit 7410 to capture an image outside the vehicle and receives the captured image data. Further, the vehicle exterior information detection unit 7400 receives detection information from the vehicle exterior information detection unit 7420 connected thereto.
  • the vehicle exterior information detection unit 7420 is an ultrasonic sensor, a radar device, or a LIDAR device
  • the vehicle exterior information detection unit 7400 transmits ultrasonic waves, electromagnetic waves, or the like, and receives received reflected wave information.
  • the outside information detection unit 7400 may perform an object detection process or a distance detection process such as a person, a car, an obstacle, a sign, or a character on a road surface based on the received information.
  • the vehicle exterior information detection unit 7400 may perform environment recognition processing for recognizing rainfall, fog, road surface conditions, or the like based on the received information.
  • the vehicle outside information detection unit 7400 may calculate a distance to an object outside the vehicle based on the received information.
  • the outside information detection unit 7400 may perform image recognition processing or distance detection processing for recognizing a person, a car, an obstacle, a sign, a character on a road surface, or the like based on the received image data.
  • the vehicle exterior information detection unit 7400 performs processing such as distortion correction or alignment on the received image data, and combines the image data captured by the different imaging units 7410 to generate an overhead image or a panoramic image. Also good.
  • the vehicle exterior information detection unit 7400 may perform viewpoint conversion processing using image data captured by different imaging units 7410.
  • the vehicle interior information detection unit 7500 detects vehicle interior information.
  • a driver state detection unit 7510 that detects the driver's state is connected to the in-vehicle information detection unit 7500.
  • Driver state detection unit 7510 may include a camera that captures an image of the driver, a biosensor that detects biometric information of the driver, a microphone that collects sound in the passenger compartment, and the like.
  • the biometric sensor is provided, for example, on a seat surface or a steering wheel, and detects biometric information of an occupant sitting on the seat or a driver holding the steering wheel.
  • the vehicle interior information detection unit 7500 may calculate the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 7510, and determines whether the driver is asleep. May be.
  • the vehicle interior information detection unit 7500 may perform a process such as a noise canceling process on the collected audio signal.
  • the integrated control unit 7600 controls the overall operation in the vehicle control system 7000 according to various programs.
  • An input unit 7800 is connected to the integrated control unit 7600.
  • the input unit 7800 is realized by a device that can be input by a passenger, such as a touch panel, a button, a microphone, a switch, or a lever.
  • the integrated control unit 7600 may be input with data obtained by recognizing voice input through a microphone.
  • the input unit 7800 may be, for example, a remote control device using infrared rays or other radio waves, or may be an external connection device such as a mobile phone or a PDA (Personal Digital Assistant) that supports the operation of the vehicle control system 7000. May be.
  • the input unit 7800 may be, for example, a camera.
  • the passenger can input information using a gesture.
  • data obtained by detecting the movement of the wearable device worn by the passenger may be input.
  • the input unit 7800 may include, for example, an input control circuit that generates an input signal based on information input by a passenger or the like using the input unit 7800 and outputs the input signal to the integrated control unit 7600.
  • a passenger or the like operates the input unit 7800 to input various data or instruct a processing operation to the vehicle control system 7000.
  • the storage unit 7690 may include a ROM (Read Only Memory) that stores various programs executed by the microcomputer, and a RAM (Random Access Memory) that stores various parameters, calculation results, sensor values, and the like.
  • the storage unit 7690 may be realized by a magnetic storage device such as an HDD (Hard Disc Drive), a semiconductor storage device, an optical storage device, a magneto-optical storage device, or the like.
  • General-purpose communication I / F 7620 is a general-purpose communication I / F that mediates communication with various devices existing in the external environment 7750.
  • General-purpose communication I / F7620 is a cellular communication protocol such as GSM (Global System of Mobile communications), WiMAX, LTE (Long Term Evolution) or LTE-A (LTE-Advanced), or wireless LAN (Wi-Fi (registered trademark)). Other wireless communication protocols such as Bluetooth (registered trademark) may also be implemented.
  • the general-purpose communication I / F 7620 is connected to a device (for example, an application server or a control server) existing on an external network (for example, the Internet, a cloud network, or an operator-specific network) via, for example, a base station or an access point.
  • the general-purpose communication I / F 7620 is a terminal (for example, a driver, a pedestrian or a store terminal, or an MTC (Machine Type Communication) terminal) that exists in the vicinity of the vehicle using, for example, P2P (Peer To Peer) technology. You may connect with.
  • a terminal for example, a driver, a pedestrian or a store terminal, or an MTC (Machine Type Communication) terminal
  • P2P Peer To Peer
  • the dedicated communication I / F 7630 is a communication I / F that supports a communication protocol formulated for use in vehicles.
  • the dedicated communication I / F 7630 is a standard protocol such as WAVE (Wireless Access in Vehicle Environment), DSRC (Dedicated Short Range Communications), or cellular communication protocol, which is a combination of the lower layer IEEE 802.11p and the upper layer IEEE 1609. May be implemented.
  • the dedicated communication I / F 7630 typically includes vehicle-to-vehicle communication, vehicle-to-infrastructure communication, vehicle-to-home communication, and vehicle-to-pedestrian communication. ) Perform V2X communication, which is a concept that includes one or more of the communications.
  • the positioning unit 7640 receives, for example, a GNSS signal from a GNSS (Global Navigation Satellite System) satellite (for example, a GPS signal from a GPS (Global Positioning System) satellite), performs positioning, and performs latitude, longitude, and altitude of the vehicle.
  • the position information including is generated.
  • the positioning unit 7640 may specify the current position by exchanging signals with the wireless access point, or may acquire position information from a terminal such as a mobile phone, PHS, or smartphone having a positioning function.
  • the beacon receiving unit 7650 receives, for example, radio waves or electromagnetic waves transmitted from a radio station installed on the road, and acquires information such as the current position, traffic jam, closed road, or required time. Note that the function of the beacon receiving unit 7650 may be included in the dedicated communication I / F 7630 described above.
  • the in-vehicle device I / F 7660 is a communication interface that mediates the connection between the microcomputer 7610 and various in-vehicle devices 7760 present in the vehicle.
  • the in-vehicle device I / F 7660 may establish a wireless connection using a wireless communication protocol such as a wireless LAN, Bluetooth (registered trademark), NFC (Near Field Communication), or WUSB (Wireless USB).
  • the in-vehicle device I / F 7660 is connected to a USB (Universal Serial Bus), HDMI (High-Definition Multimedia Interface), or MHL (Mobile High-definition Link) via a connection terminal (and a cable if necessary). ) Etc. may be established.
  • the in-vehicle device 7760 may include, for example, at least one of a mobile device or a wearable device that a passenger has, or an information device that is carried into or attached to the vehicle.
  • In-vehicle device 7760 may include a navigation device that searches for a route to an arbitrary destination.
  • In-vehicle device I / F 7660 exchanges control signals or data signals with these in-vehicle devices 7760.
  • the in-vehicle network I / F 7680 is an interface that mediates communication between the microcomputer 7610 and the communication network 7010.
  • the in-vehicle network I / F 7680 transmits and receives signals and the like in accordance with a predetermined protocol supported by the communication network 7010.
  • the microcomputer 7610 of the integrated control unit 7600 is connected via at least one of a general-purpose communication I / F 7620, a dedicated communication I / F 7630, a positioning unit 7640, a beacon receiving unit 7650, an in-vehicle device I / F 7660, and an in-vehicle network I / F 7680.
  • the vehicle control system 7000 is controlled according to various programs based on the acquired information. For example, the microcomputer 7610 calculates a control target value of the driving force generation device, the steering mechanism, or the braking device based on the acquired information inside and outside the vehicle, and outputs a control command to the drive system control unit 7100. Also good.
  • the microcomputer 7610 realizes ADAS (Advanced Driver Assistance System) functions including vehicle collision avoidance or impact mitigation, following traveling based on inter-vehicle distance, vehicle speed maintaining traveling, vehicle collision warning, or vehicle lane departure warning. You may perform the cooperative control for the purpose. Further, the microcomputer 7610 controls the driving force generator, the steering mechanism, the braking device, or the like based on the acquired information on the surroundings of the vehicle, so that the microcomputer 7610 automatically travels independently of the driver's operation. You may perform the cooperative control for the purpose of driving.
  • ADAS Advanced Driver Assistance System
  • the microcomputer 7610 is information acquired via at least one of the general-purpose communication I / F 7620, the dedicated communication I / F 7630, the positioning unit 7640, the beacon receiving unit 7650, the in-vehicle device I / F 7660, and the in-vehicle network I / F 7680.
  • the three-dimensional distance information between the vehicle and the surrounding structure or an object such as a person may be generated based on the above and local map information including the peripheral information of the current position of the vehicle may be created.
  • the microcomputer 7610 may generate a warning signal by predicting a danger such as a collision of a vehicle, approach of a pedestrian or the like or an approach to a closed road based on the acquired information.
  • the warning signal may be, for example, a signal for generating a warning sound or lighting a warning lamp.
  • the audio image output unit 7670 transmits an output signal of at least one of audio and image to an output device capable of visually or audibly notifying information to a vehicle occupant or the outside of the vehicle.
  • an audio speaker 7710, a display unit 7720, and an instrument panel 7730 are illustrated as output devices.
  • Display unit 7720 may include at least one of an on-board display and a head-up display, for example.
  • the display portion 7720 may have an AR (Augmented Reality) display function.
  • the output device may be other devices such as headphones, wearable devices such as glasses-type displays worn by passengers, projectors, and lamps.
  • the display device can display the results obtained by various processes performed by the microcomputer 7610 or information received from other control units in various formats such as text, images, tables, and graphs. Display visually. Further, when the output device is an audio output device, the audio output device converts an audio signal made up of reproduced audio data or acoustic data into an analog signal and outputs it aurally.
  • At least two control units connected via the communication network 7010 may be integrated as one control unit.
  • each control unit may be configured by a plurality of control units.
  • the vehicle control system 7000 may include another control unit not shown.
  • some or all of the functions of any of the control units may be given to other control units. That is, as long as information is transmitted and received via the communication network 7010, the predetermined arithmetic processing may be performed by any one of the control units.
  • a sensor or device connected to one of the control units may be connected to another control unit, and a plurality of control units may transmit / receive detection information to / from each other via the communication network 7010. .
  • a computer program for realizing the functions of the imaging control unit 11 and the information processing unit 13 according to the present embodiment described with reference to FIG. 1 can be installed in any control unit or the like. It is also possible to provide a computer-readable recording medium in which such a computer program is stored.
  • the recording medium is, for example, a magnetic disk, an optical disk, a magneto-optical disk, a flash memory, or the like. Further, the above computer program may be distributed via a network, for example, without using a recording medium.
  • the imaging control unit 11 and the information processing unit 13 according to the present embodiment described using FIG. 1 can be applied to the integrated control unit 7600 of the application example illustrated in FIG. .
  • the stereo distance measuring units 151 ⁇ / b> A and 151 ⁇ / b> B and the integration unit 152 of the imaging control unit 11 correspond to the microcomputer 7610 of the integration control unit 7600.
  • the integrated control unit 7600 performs distance data and peripheral image data acquisition processing based on an image captured by the camera system 10 to acquire distance data and peripheral image data with a peripheral object. it can.
  • the imaging control unit 11 and the information processing unit 13 described with reference to FIG. 1 are configured with a module (for example, one die) for the integrated control unit 7600 shown in FIG. Integrated circuit module).
  • the imaging control unit 11 and the information processing unit 13 described with reference to FIG. 1 may be realized by a plurality of control units of the vehicle control system 7000 illustrated in FIG.
  • this indication can also take the following structures.
  • a set of cameras mounted on a moving body and constituting a stereo camera system;
  • a detection unit that detects a distance of an observation point in a detection range based on an image captured by the set of cameras;
  • the one set of cameras is arranged on the side surface of the moving body and arranged in the vertical direction with respect to the road surface, and sequentially reads out pixel signals to be picked up in the vertical direction in units of pixels arranged in an array.
  • Control device ⁇ 2> The imaging control device according to ⁇ 1>, wherein each of the one set of cameras reads out pixel signals in order from a column of pixels on the front side of the moving body, and in each column in the vertical direction.
  • the one set of cameras sequentially reads out pixel signals in order from the column of pixels on the front side of the moving body, and sequentially from bottom to top in the vertical direction or from top to bottom in each column.
  • the imaging control apparatus according to ⁇ 2>.
  • ⁇ 4> The one set of cameras is arranged on each of the left and right side surfaces of the moving body and arranged in a direction perpendicular to the road surface, and the one set of cameras on the left and right of the moving body
  • the imaging control device according to ⁇ 3>, in which pixel signals are sequentially read from a pixel row on the front side of the moving body in order, and for each row in a vertical direction from bottom to top or from top to bottom.
  • the one set of cameras is arranged on each of the left and right side surfaces of the movable body and arranged side by side in a direction perpendicular to the road surface.
  • the pixel signals are sequentially read out from the pixel columns on the front side of the moving body in order from the bottom to the top in the vertical direction, and the other set of left and right cameras is connected to the front of the moving body.
  • the imaging control apparatus according to ⁇ 3> in which pixel signals are sequentially read from the top side in the vertical direction and from the top in the vertical direction to the down direction in each column.
  • the set of cameras includes at least one of left and right side surfaces in front of the moving body, left and right side surfaces in the center of the moving body, and left and right side surfaces in the rear of the moving body.
  • the imaging control device according to any one of ⁇ 1> to ⁇ 5>, wherein the imaging control devices are arranged side by side so as to generate parallax in a direction perpendicular to the road surface.
  • ⁇ 7> When the one set of cameras is arranged in a vertical direction with respect to the road surface on each of the left and right side surfaces in front of the moving body or the left and right side surfaces behind the moving body.
  • each of the cameras has a wider angle than a predetermined angle.
  • the imaging control device according to any one of ⁇ 6>.
  • ⁇ 9> The imaging control device according to any one of ⁇ 1> to ⁇ 8>, wherein the pixels of the camera are arranged in an array so that a horizontal width is longer than a vertical width. . ⁇ 10> The pixels of the camera are arranged in an array so that the ratio of the horizontal width to the vertical width is approximately 16: 9 or 4: 3. ⁇ 9>
  • a control method for an imaging control apparatus including a detection unit that detects a distance of an observation point in a detection range based on an image captured by a pair of cameras that are mounted on a moving body and constitute a stereo camera system. And The set of cameras is arranged on the side surface of the moving body and arranged side by side in the vertical direction with respect to the road surface, and sequentially reads out pixel signals to be imaged in the vertical direction in units of pixels arranged in an array.
  • a method for controlling an imaging control apparatus including: ⁇ 12> a set of cameras constituting a stereo camera system mounted on a moving body; A detection unit that detects a distance of an observation point in a detection range based on an image captured by the set of cameras; The one set of cameras is arranged on the side surface of the moving body and arranged in the vertical direction with respect to the road surface, and sequentially reads out the imaged pixel signals in the vertical direction in units of pixels arranged in an array.
  • 1 in-vehicle system 10 camera system, 11 imaging control unit, 12 vehicle information sensor, 13 information processing unit, 14 display unit, 15 braking control unit, 16 braking device, 31 peripheral situation detection unit, 32 motion prediction unit, 33 collision prediction Unit, 34 HMI control unit, 100 vehicle, 111, 111A, 111B stereo camera system, 131, 131A, 131B, 132, 132A, 132B camera, 151, 151A, 151B stereo distance measurement unit, 152 integration unit, 171, 172 images Correction unit, 173 Stereo image processing unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Electromagnetism (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本開示は、車両に搭載されるステレオカメラの距離計測精度を向上させることができるようにする撮像制御装置、および撮像制御装置の制御方法、並びに移動体に関する。 ステレオカメラシステムを構成する１組のカメラが、車両本体の側面で、かつ、路面に対して垂直方向に並べて配設されるようにし、さらに、撮像される画素信号が、アレイ状に配置された画素列の前方側から順に、各画素列に画素単位で垂直方向に順次読み出されるようにする。本開示は、車載システムに適用することができる。

Description

撮像制御装置、および撮像制御装置の制御方法、並びに移動体
　本開示は、撮像制御装置、および撮像制御装置の制御方法、並びに移動体に関し、特に、垂直方向に並べられた１組のカメラによる距離計測を、高精度に実現できるようにした撮像制御装置、および撮像制御装置の制御方法、並びに移動体に関する。
　近年、車両の周囲を撮像し、撮像した画像を用いて、自動運転や運転支援に利用する技術が注目されている。
　例えば、車両に１組のカメラを左右の水平方向に並べることにより構成されるステレオカメラシステムを搭載し、カメラ間の視差により生じる１組の画像内の同一被写体のずれを利用して被写体までの距離を計測する技術が提案されている（特許文献１参照）。
特開２０１３－０７０１７７号公報
　ところで、特許文献１のステレオカメラシステムは、車両の先端部に、１組のカメラを水平方向に並べて前方を監視する構成とされているが、１組のカメラを垂直方向に並べて側方を監視するステレオカメラシステムを実現することにより、車両の先端部からの側方の監視を有利な構成にすることが考えられる。
　ところが、特許文献１に係るステレオカメラシステムを構成するカメラにおいては、アレイ状に配置された画素の画素信号が、行単位で垂直方向に順次読み出され、かつ、各行について水平方向に順次読み出される構成とされている。
　このため、カメラの視野内において、被写体が水平方向に移動すると、行単位で画素信号の読み出しタイミングがずれてしまうため、水平方向に同一位置に存在するべき被写体がずれてしまう、いわゆる、フォーカルプレーン歪みが発生する。
　さらに、垂直方向に並べられた１組のカメラは、垂直方向に視差が生じるため、撮像される２枚の画像においては、被写体の位置が垂直方向にずれて撮像されるので、画素信号の読み出しタイミングが異なり、水平方向の同一位置に存在すべき被写体がずれてしまう。
　結果として、垂直方向に並べられた１組のカメラにより撮像される２枚の画像内において、同一の被写体を、水平方向に同一の位置の被写体として認識することができず、距離計測ができない恐れがあった。
　そこで、フォーカルプレーン歪みや、１組のカメラにより撮像される画像間の被写体の水平方向のずれを補正する構成を加えて、距離計測を実現することが考えらえるが、補正に必要な構成を加えるようにすると、装置構成が煩雑になり、かつ、高コストとなる。
　本開示は、このような状況に鑑みてなされたものであり、特に、垂直方向に並べられた１組のカメラによる距離計測を、高精度に実現させるものである。
　本開示の一側面の撮像制御装置は、移動体に搭載され、ステレオカメラシステムを構成する１組のカメラと、前記１組のカメラにより撮像された画像に基づいて、検出範囲における観測点の距離を検出する検出部を含み、前記１組のカメラは、前記移動体の側面で、かつ、路面に対して垂直方向に並べて配設され、撮像される画素信号を、アレイ状に配置された画素単位で垂直方向に順次読み出す撮像制御装置である。
　前記１組のカメラには、それぞれ前記移動体の前方側の画素の列から順に、かつ、各列について、垂直方向に順に画素信号を読み出すようにさせることができる。
　前記１組のカメラには、それぞれ前記移動体の前方側の画素の列から順に、かつ、各列について、垂直方向に下から上方向、または、上から下方向に順次画素信号を読み出すようにさせることができる。
　前記１組のカメラは、前記移動体の左右の側面のそれぞれに、かつ、前記路面に対して垂直方向に並べて配設されるようにすることができ、前記移動体の左右のそれぞれの前記１組のカメラには、前記移動体の前方側の画素の列から順に、かつ、各列について、垂直方向に下から上方向、または、上から下方向に順次画素信号を読み出すようにさせることができる。
　前記１組のカメラは、前記移動体の左右の側面のそれぞれに、かつ、前記路面に対して垂直方向に並べて配設されるようにすることができ、前記移動体の左右の一方の前記１組のカメラが、前記移動体の前方側の画素の列から順に、かつ、各列について、垂直方向に下から上方向に順次画素信号を読み出し、左右の他方の前記１組のカメラには、前記移動体の前方側の画素の列から順に、かつ、各列について、垂直方向に上から下方向に順次画素信号を読み出すようにさせることができる。
　前記１組のカメラは、前記移動体の前方の左右のそれぞれの側面、前記移動体の中央の左右のそれぞれの側面、および前記移動体の後方の左右のそれぞれの側面の少なくともいずれかに、それぞれ前記路面に対して垂直方向に視差が生じるように並べて配設されるようにすることができる。
　前記１組のカメラが、前記移動体の前方の左右のそれぞれ側面、または、前記移動体の後方の左右のそれぞれの側面に、前記路面に対して垂直方向に並べて配設される場合、前記カメラは、それぞれ所定の角度よりも狭角度のカメラとすることができる。
　前記１組のカメラが、前記移動体の中央の左右のそれぞれの側面に、前記路面に対して垂直方向に並べて配設される場合、前記カメラは、それぞれ所定の角度よりも広角度のカメラとすることができる。
　前記カメラの画素の配置は、水平方向の幅が、垂直方向の幅よりも長くなるように、アレイ状に配置されるようにすることができる。
　前記カメラの画素の配置は、前記水平方向の幅と、前記垂直方向の幅との比が、略１６：９または略４：３となるようにアレイ状に配置されるようにすることができる。
　本開示の一側面の撮像制御装置の制御情報は、移動体に搭載され、ステレオカメラシステムを構成する１組のカメラにより撮像された画像に基づいて、検出範囲における観測点の距離を検出する検出部を含む撮像制御装置の制御方法であって、前記１組のカメラが、前記移動体の側面で、かつ、路面に対して垂直方向に並べて配設され、撮像される画素信号を、アレイ状に配置された画素単位で垂直方向に順次読み出すステップを含む撮像制御装置の制御方法である。
　本開示の一側面の移動体は、移動体に搭載されたステレオカメラシステムを構成する１組のカメラと、前記１組のカメラにより撮像された画像に基づいて、検出範囲における観測点の距離を検出する検出部とを有し、前記１組のカメラは、前記移動体の側面で、かつ、路面に対して垂直方向に並べて配設され、撮像される画素信号を、アレイ状に配置された画素単位で垂直方向に順次読み出す撮像制御装置を備えた移動体である。
　本開示の一側面においては、移動体に搭載されたステレオカメラシステムを構成する１組のカメラにより撮像された画像に基づいて、検出範囲における観測点の距離が検出され、前記１組のカメラは、前記移動体の側面で、かつ、路面に対して垂直方向に並べて配設され、撮像される画素信号が、アレイ状に配置された画素単位で垂直方向に順次読み出される。
　本開示の一側面によれば、特に、垂直方向に並べられた１組のカメラによる距離計測を、高精度に実現させることが可能となる。
本技術を適用した車載システムの一実施の形態を示すブロック図である。 カメラの設置位置の例を示す図である。 ステレオカメラシステムの外観構成例を示す図である。 撮像制御部の構成例を示すブロック図である。 ステレオ距離計測部の構成を示すブロック図である。 ステレオカメラシステムによる距離計測の原理を説明する図である。 ステレオカメラシステムのカメラによるフォーカルプレーン歪みを説明する図である。 本開示のステレオカメラシステムのカメラによる画素信号の読み出し順序例を説明する図である。 本開示のステレオカメラシステムのカメラによる画素信号の読み出し順序例を説明する図である。 表示部の設置位置の例を示す図である。 周辺監視処理を説明するためのフローチャートである。 センサ情報取得処理を説明するフローチャートである。 ステレオカメラシステムの外観構成の変形例を示す図である。 ステレオカメラシステムの外観構成の変形例を示す図である。 本開示のステレオカメラシステムのカメラによる画素信号の読み出し順序のその他の例を説明する図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
　１．実施の形態
　２．変形例
　３．応用例
　＜＜１．実施の形態＞＞
　＜１－１．車載システムの構成例＞
　図１は、本技術を適用した車載システムの一実施の形態を示すブロック図である。
　車載システム１は、車両に搭載され、運転支援を行うシステムである。例えば、車載システム１は、車両の周辺を監視し、周辺の車両、自転車、人等との衝突又は接触を防止するための処理を行う。より具体的には、車載システム１は、衝突又は接触の危険性の通知、及び、衝突又は接触を回避するためのブレーキシステム等の制動装置の制御等を行う。
　なお、車載システム１が搭載される車両は、特に限定されるものではなく、例えば、三輪トラック、小型トラック、小型乗用車、大型乗用車、大型バス、大型トラック、大型特殊車、小型特殊車等を含む。また、以下、車載システム１が搭載されている車両を自車両とも称し、自車両以外の車両を他車両とも称する。
　車載システム１は、カメラシステム１０、撮像制御部１１、車両情報センサ１２、情報処理部１３、表示部１４、制動制御部１５、及び、制動装置１６を備える。
　カメラシステム１０は、車両の本体前方の左右の側面部に、路面に対して垂直方向に並べられた１組のカメラよりなるステレオカメラであり、車両の側方部を撮像した画像を撮像制御部１１に出力する。尚、カメラシステム１０の詳細については、図４を参照して、詳細を後述する。
　なお、以下、カメラシステム１０により撮像された画像を周辺画像と称し、周辺画像を示すデータを周辺画像データと称する。
　撮像制御部１１は、カメラシステム１０により撮像された周辺画像に基づいて、周辺画像における被写体（対象物）までの距離を距離データとして計測し、周辺画像データと共に情報処理部１３に出力する。
　車両情報センサ１２は、自車両の動きの検出に用いる各種のセンサを備える。例えば、車両情報センサ１２は、速度センサ、操舵角センサ、ＧＰＳ（global positioning system）受信機等を備える。車両情報センサ１２は、それぞれ検出結果を示すデータ（以下、車両センサデータと称する）を動き予測部３２に供給する。
　情報処理部１３は、例えば、ＥＣＵ（Electronic Control Unit）等により構成される。情報処理部１３は、周辺状況検出部３１、動き予測部３２、衝突予測部３３、及び、ＨＭＩ（Human Machine Interface）制御部３４を備える。
　周辺状況検出部３１は、周辺画像データと距離データに基づいて、自車両の周辺の状況の検出を行う。周辺状況検出部３１は、空間生成部４１及び動体検出部４２を備える。
　空間生成部４１は、周辺画像データと距離データに基づいて、自車両の周辺の物体の形状や位置等を示す３次元空間マップを生成する。空間生成部４１は、３次元空間マップを動き予測部３２及びＨＭＩ制御部３４に供給する。また、空間生成部４１は、周辺画像データをＨＭＩ制御部３４に供給する。
　動体検出部４２は、周辺画像データ及び３次元空間マップに基づいて、自車両の周辺の動体の検出を行う。動体検出部４２は、動体の検出結果を動き予測部３２及びＨＭＩ制御部３４に供給する。
　動き予測部３２は、車両センサデータに基づいて、自車両の動き予測を行う。また、動き予測部３２は、３次元空間マップ及び動体の検出結果に基づいて、自車両の周辺の動体の動き予測を行う。動き予測部３２は、自車両及び自車両の周辺の動体の動きの予測結果を衝突予測部３３及びＨＭＩ制御部３４に供給する。
　衝突予測部３３は、自車両及び自車両の周辺の動体の動きの予測結果に基づいて、自車両の周辺の動体の衝突予測を行う。衝突予測部３３は、衝突予測の結果をＨＭＩ制御部３４及び制動制御部１５に供給する。
　ＨＭＩ制御部３４は、自車両のＨＭＩの制御を行う。例えば、ＨＭＩ制御部３４は、３次元空間マップ、自車両の周辺の動体の検出結果、並びに、自車両の周辺の動体の動き予測及び衝突予測の結果に基づいて、自車両の周辺の状況を示す周辺監視画像を表示するための周辺監視画像データを生成する。ＨＭＩ制御部３４は、周辺監視画像データを表示部１４に供給し、周辺監視画像を表示させる。この場合、ＨＭＩ制御部３４は、画像処理部として機能する。
　表示部１４は、例えば、各種のディスプレイ等により構成される。表示部１４は、ＨＭＩ制御部３４の制御の下に、周辺監視画像等の各種の画像を表示する。
　制動制御部１５は、例えば、ＥＣＵ（Electronic Control Unit）等により構成される。制動制御部１５は、衝突予測部３３による衝突予測結果に基づいて、制動装置１６を制御して、自車両の緊急停止等を行う。
　制動装置１６は、例えば、自車両のブレーキシステム等により構成される。
　＜１－２．カメラの配置例＞
　図２は、カメラシステム１０を構成するステレオカメラシステムの配置例を示している。
　ステレオカメラシステム１１１Ａは、例えば車両１００のフロントバンパーの前方左側面部に配置される。ステレオカメラシステム１１１Ａは、運転者の死角となる領域を含む車両１００の左側方の検出範囲１１２Ａを撮像し、撮像の結果得られた画像（以下、左画像と称する）を示す画像データを撮像制御部１１に供給する。
　ステレオカメラシステム１１１Ｂは、例えば車両１００のフロントバンパーの前方右側面部に配置される。ステレオカメラシステム１１１Ｂは、運転者の死角となる領域を含む車両１００の右方向の検出範囲１１２Ｂを撮像し、撮像の結果得られた画像（以下、右画像と称する）を示す画像データを撮像制御部１１に供給する。
　尚、以降において、ステレオカメラシステム１１１Ａ，１１１Ｂを特に区別する必要がない場合、単に、ステレオカメラシステム１１１とも称し、その他の構成も同様に称する。
　＜１－３．カメラの詳細な外観構成例＞
　ステレオカメラシステム１１１Ａは、図３に示されるように、２台のカメラ１３１Ａ，１３２Ａを１組とした構成であり、車両１００の前方左側面に垂直方向（すなわち縦方向）に並べて配置される。すなわち、カメラ１３１Ａ，１３２Ａは、その視差が高さ（垂直）方向に生じるように、基準面（路面１０１）と垂直な面内に配置される。
　なお、図３においては、車両１００の左側にのみステレオカメラシステム１１１Ａが設置されているが、実際には右側にも同様に、カメラ１３１Ｂ，１３２Ｂからなるステレオカメラシステム１１１Ｂが設置される。
　カメラ１３１Ａの光軸とカメラ１３２Ａの光軸は、カメラ１３１Ａとカメラ１３２Ａを通る図３中の点線と垂直な方向（紙面手前方向）を指向している。ステレオカメラシステム１１１の中心点を通る路面１０１に対する垂線である図３中の点線は、路面１０１上の点Ｔと交差する。すなわち、点Ｔは、ステレオカメラシステム１１１Ａの真下（すなわち車両１００の真下）の路面１０１上の点である。
　＜１－４．撮像制御部の構成＞
　次に、図４のブロック図を参照して、撮像制御部１１の詳細な構成について説明する。
　カメラシステム１０は、ステレオカメラシステム１１１Ａ，１１１Ｂを備えている。ステレオカメラシステム１１１Ａは、カメラ１３１Ａとカメラ１３２Ａを備えている。
　同様に、ステレオカメラシステム１１１Ｂは、カメラ１３１Ｂ，１３２Ｂを備えている。
　カメラ１３１Ａ，１３２Ａにより撮像された画像の画像データは、ステレオ距離計測部１５１Ａに供給され、撮像部１３１Ｂ，１３２Ｂにより撮像された画像の画像データは、ステレオ距離計測部１５１Ｂに供給される。
　撮像制御部１１は、ステレオ距離計測部１５１Ａ，１５１Ｂ、および統合部１５２を備えている。
　ステレオ距離計測部１５１Ａは車両１００の左側方の検出範囲１１２Ａ（図２）における被写体（対象物）までの距離を計測し、統合部１５２に出力する。ステレオ距離計測部１５１Ｂは車両１００の右側方の検出範囲１１２Ｂにおける被写体（対象物）までの距離を計測し、統合部１５２に出力する。
　統合部１５２は、ステレオ距離計測部１５１Ａ，１５１Ｂの出力を取得、統合し、車両１００の周囲全体の状態を把握し、周辺画像データおよび距離データとして周辺状況検出部３１に出力する。
　＜１－５．ステレオ距離計測部の構成＞
　次に、図５のブロック図を参照して、図４のステレオ距離計測部１５１の構成例について説明する。
　ステレオ距離計測部１５１は、画像補正部１７１，１７２と、ステレオ画像処理部１７３を備えている。ステレオカメラシステム１１１のカメラ１３１，１３２の出力は、それぞれ画像補正部１７１と画像補正部１７２に供給され、前処理としてレンズの収差等が補正される。例えば、カメラ１３１，１３２は広角レンズを有した、通常のカメラよりも視野角が広い検出範囲を撮像することが可能なカメラとした場合、撮像された画像は歪みを含んでいる。画像補正部１７１，１７２は、距離算出のため、この歪を補正し、画像を平面に投影して平面画像とする処理を実行する。ステレオ画像処理部１７３は、画像補正部１７１と画像補正部１７２の出力から、対象物までの距離を検出する。すなわち、カメラ１３１，１３２の一方の画像に映っている対象物を、他方の画像から検出し、その位置のずれから距離が算出される。
　なお、広角カメラは、例えば、３５ミリ換算で、３５ミリ以下のレンズ、特に２８ミリ以下のレンズを備えるカメラなどである。または、広角カメラは、例えば、視野角が６０度以上、特に１２０度以上、あるいは１５０度以上の撮像が可能なカメラでもよい。視野角は１８０度以上にすることもできる。特に、視野角が広い広角のレンズ、または、カメラは、魚眼レンズ（ｆθレンズ）若しくは魚眼カメラ、或は超広角レンズ若しくは超広角カメラといわれるカメラなどでもよい。
　＜１－６．ステレオカメラシステムの座標系＞
　次に、図６を参照して、ステレオカメラシステム１１１の座標系について説明する。ステレオカメラシステム１１１の座標系は図６に示されるように定義される。
　垂直方向に並べられた２台のカメラ１３１，１３２から構成されるステレオカメラシステム１１１の一方のカメラ１３１の中心点をＯａ、他方のカメラ１３２の中心点をＯｂ、中心点Ｏａと中心点Ｏｂの中間点（すなわちステレオカメラシステム１１１の中心点）をＯとする。撮像の対象点をＰ、中心点Ｏａと中心点Ｏｂの間の距離（基線長）をＬとする。対象点Ｐと中心点Ｏを結ぶ直線１４１と、中心点Ｏａと中心点Ｏｂを通る直線１４４のなす角度のうち、図中下側の角度（直線１４１と、直線１４４の中心点Ｏより下側の線分のなす角度）をθとする。すなわち、角度θは、撮像の対象点Ｐとステレオカメラシステム１１１とのなす角度である。なお対象点は撮像、すなわち監視する対象物（被写体）を表し、例えば車両１００の周囲の人、障害物、他の車両等を模式的に点として表したものである。
　直線１４４と、対象点Ｐと中心点Ｏａを結ぶ直線１４２のなす角度のうち、図中下側の角度（直線１４２と、直線１４４の中心点Ｏａより図中下側の線分とのなす角度）をθａとする。直線１４４と、対象点Ｐと中心点Ｏｂを結ぶ直線１４３のなす角度のうち、図中下側の角度（直線１４３と、直線１４４の中心点Ｏｂより図中下側の線分とのなす角度）をθｂとする。直線１４２と直線１４３のなす角度をαとする。また、中心点Ｏと対象点Ｐとの距離をρ、対象点Ｐと中心点Ｏａの距離をρａ、対象点Ｐと中心点Ｏｂの距離をρｂとする。このとき、正弦定理から次の式（１）が得られる。
　　ρａ/sinθｂ＝Ｌ/sinα＝Ｌ/sin（θａ－θｂ）
　ただし、α＝θａ－θｂである。
　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（１）
　また、中心点Ｏと対象点Ｐとの距離ρは次式（２）のように書くことができる。
　　ρ・sinθ＝ρａ・sin（π－θａ）＝ρａ・sinθａ
　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（２）
　式（１）と式（２）より式（３）が得られる。
　　sin（θａ－θｂ）＝Ｌ/ρ・sinθａ・sinθｂ/sinθ
　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（３）
　一般に、中心点Ｏａと中心点Ｏｂの間の距離（基線長）Ｌは、数ｃｍから数十ｃｍ程度であるのに対し、中心点Ｏから対象点Ｐまでの距離ρは数ｍ程度など十分に大きいことが多く、この場合、θ≒θａ、θ≒θｂが成り立つ。さらにθｂ<θ<θａが常に成り立つ。これらの条件から次の近似式（４）が成り立つ。
　　sinθａ・sinθｂ≒sin2θ
　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（４）
　式（３）と式（４）より、次の式（５）が得られる。
　　sin（θａ－θｂ）≒Ｌ/ρ・sinθ
　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（５）
　角度θａ，θｂは２台のカメラ１３１，１３２の物体光の角度なので、その差であるθａ－θｂは、入射光の角度差であり、ステレオ画像処理ではθａ－θｂによって対象物までの距離が算出される。基線長Ｌは定数なので、式（５）よりθａ－θｂは、対象物までの距離ρに反比例することが判る。そのため、対象物とステレオカメラシステム１１１の距離が離れると距離計測精度が低下する。
　車両１００に搭載したステレオカメラシステム１１１において距離計測を行う大きな理由の１つは、車両１００の周辺の障害物を検知して、車両１００と障害物との接触を防ぐことである。そのため、車両１００と障害物の距離が近いほど距離計測精度が上がっているのは理にかなっている。
　＜１－７．行単位で垂直方向に、かつ、各行において水平方向に画素信号を読み出すカメラを用いたステレオカメラシステム＞
　次に、本開示のステレオカメラシステム１１１の画素信号の読み出し方法について説明するにあたって、行単位で順次垂直方向に、かつ、各行において水平方向に画素信号を読み出すカメラを用いたステレオカメラシステムについて説明する。
　図７で示されるように、人間は被写体Ｈを視認する場合、例Ｅｘ１で示されるように、左右の目２２１，２２２のそれぞれで被写体Ｈを視認する。より詳細には、左右それぞれの目２２１，２２２においては、例えば、左目である目２２１は、図中の視野Ｌ内において被写体Ｈを視認し、右目である目２２２は、図中の視野Ｒ内において、被写体Ｈを視認する。人間は、この視野Ｌ，Ｒ内における被写体Ｈのずれを視差として認識し、視差に応じて被写体を空間認識する。尚、図７中において、視野Ｌ，Ｒは、目２２１，２２２からの距離が異なるが、説明の便宜上異なるのであって、現実には、同一距離であることを前提とする。
　同様の原理で、目２２１，２２２と対応するように水平方向にカメラを並べてステレオカメラシステムが構成されるとき、それぞれのカメラにおいては、例Ｅｘ２で示されるように、画像２３１，２３２が撮像される。
　例Ｅｘ２で示される画像２３１，２３２は、それぞれ被写体Ｈが、被写体Ｈ１，Ｈ２として撮像される。尚、例Ｅｘ２における画像２３１，２３２は、それぞれ例Ｅｘ１の視野Ｌ，Ｒに対応する。
　画像２３１，２３２における被写体Ｈ１，Ｈ２の水平方向のずれは、それぞれの画像を撮像するカメラの視差により生じるものであり、被写体Ｈ１，Ｈ２のそれぞれの画像２３１，２３２内におけるずれに対応する視差により被写体までの距離を測定することができる。
　ところで、画像２３１，２３２により被写体Ｈまでの距離を測距するにあたっては、それぞれの画像内における被写体Ｈ１，Ｈ２を同一の被写体Ｈであると認識する必要がある。
　一般に、カメラは、行単位で上から下方向に順次読み出され、かつ、各行において、水平方向に左から右方向に隣接する画素から順次画素信号が読み出される。このため、同一の被写体Ｈである被写体Ｈ１，Ｈ２を認識するために、同一行の画素同士の画素信号を比較する。
　尚、例Ｅｘ２における画像２３１，２３２を跨いた水平右方向の矢印は、同一行の画素が比較されることを表現している。
　これに対して、本開示のステレオカメラシステム１１１は、カメラ１３１，１３２が、垂直方向に並べられているため、それぞれにより撮像される画像は、被写体Ｈが静止した状態である場合、例えば、例Ｅｘ３で示されるような画像２３３，２３４として撮像されることになる。
　例Ｅｘ３の画像２３３，２３４の場合、画像２３３，２３４のそれぞれについて被写体Ｈ１，Ｈ２に垂直方向に対して視差が生じていても、被写体Ｈ１，Ｈ２に属する、水平方向が同一位置の画素は、同一の被写体に属していれば、視差分だけ垂直方向にずれた画素同士は同一の画素信号となるため、被写体Ｈであることを認識することができる。
　しかしながら、被写体Ｈが静止しておらず水平方向に動いているような場合、画像２３３，２３４においては、被写体Ｈの移動に伴って、いわゆる、フォーカルプレーン歪みが生じて、例えば、Ｅｘ４で示されるように、被写体Ｈ１，Ｈ２に歪が生じた被写体Ｈ１’，Ｈ２’として撮像される。
　例えば、画像２３３，２３４の水平方向の座標Ｘが図中の右方向に正であり、垂直方向の座標Ｙが図中の下方向に正であり、各カメラにおける画素信号が、例えば、行単位で、上から下方向に、かつ、各行において、左から右方向に読み出されるものとし、垂直方向に長い１列分の画素列からなる直線状の被写体が存在するものと仮定する。
　ここで、直線状の被写体が１列分の画素列から構成される縦に長い移動していないものである場合、図７の例Ｅｘ３で示されるように、所定の行Ｙ＝ｙの、水平方向の列Ｘ＝ｘで読み出された画素（ｘ，ｙ）が直線上の被写体に属する画素であるとすれば、その１行下の画素（ｘ，ｙ＋１）も、直線状の被写体に属する画素であることになる。
　しかしながら、例えば、直線状の被写体が水平右方向に移動している場合、所定の行Ｙ＝ｙの、水平方向の列Ｘ＝ｘで読み出された画素（ｘ，ｙ）が直線状の被写体に属する画素であるとすれば、その１行下の画素（ｘ，ｙ＋１）が読み出されるまでに、直線状の被写体が右方向に移動してしまうので、直線上の被写体に属する画素は、座標ｘよりも、直線上の被写体の移動速度に応じて距離αだけ右側にずれた画素（ｘ＋α，ｙ＋１）となる。
　画像２３３，２３４についていえば、被写体Ｈ１，Ｈ２に属する各画素信号は、読み出し行が下方向に進むにつれて、被写体Ｈの移動速度に応じた距離だけ水平右方向にずれていくため、全体として被写体Ｈに属する画素は、画像内において下の行であるほど、右側へのずれが大きなフォーカルプレーン歪みとなるので、被写体Ｈ１，Ｈ２に対して被写体Ｈ１’，Ｈ２’で示されるような、左へ傾いたような歪みが生じる。
　さらに、画像２３３，２３４においては、視差が垂直方向に生じるため、被写体Ｈ１，Ｈ２との垂直方向に大きな視差が生じるほど、画素信号の読み出しタイミングにずれが生じるため、単純に水平方向に対して同一の座標となる画素信号同士を比較しても同一被写体Ｈに属する画素であるか否かを判定することができなくなる恐れがある。
　すなわち、例Ｅｘ４においては、画像２３４内における被写体Ｈ２’に属する画素は、画像２３３内における被写体Ｈ１’に属する画素よりも、画像内において上部の行に属している。したがって、画像２３４内における被写体Ｈ２’に属する画素の画素信号は、画像２３３内における被写体Ｈ１’に属する画素の画素信号よりも、早く読み出される。
　このため、画像２３４内における被写体Ｈ２’は、画像２３３内における被写体Ｈ１’よりも画像内において、左側に寄った画像とされる。
　結果として、画像２３３，２３４の水平方向に対して同一座標の画素の画素信号を比較しても、被写体Ｈに共通する画素として認識することができず、画像２３３，２３４内における被写体Ｈ１’，Ｈ２’との比較による距離の計測そのものができなくなる恐れがある。
　すなわち、ステレオカメラシステム１１１を構成するにあたって、垂直方向に対して視差が生じるように１組のカメラを配置する場合、画素信号を、行単位で垂直方向に対して順次読み出し、かつ、各行に対して水平方向に読み出すようにしたとき、１組のカメラで撮像される画像内において、共通の同一の被写体を認識することができず、距離計測そのものができなくなる恐れがある。
　＜１－８．本開示のステレオカメラシステムを構成するカメラの画素信号の読み出し方法＞
　そこで、本開示のステレオカメラシステム１１１に属するカメラ１３１，１３２は、列単位で水平方向に順次読み出し、かつ、各列に対して垂直方向に画素信号を読み出す。
　すなわち、図８における例Ｅｘ１１の画像２４１，２４２で示されるように、垂直方向に視差が生じるように設けられたカメラ１３１，１３２により撮像される画像については、列単位で、順次水平方向に、かつ、各列について、垂直方向に、例えば、上から下方向に順次画素信号が読み出されるようにして生成されるようにする。
　このようにすることで、例えば、同一列の画素信号の読み出しタイミングのずれは、視差に相当する画素数分のみとなるため、フォーカルプレーン歪による影響を低減させることが可能となる。
　また、カメラ１３１，１３２の視差により垂直方向に生じる画素信号の読み出しタイミングのずれも視差に相当する画素数分のみとなるので、被写体Ｈ１，Ｈ２のずれも低減させることができるので、水平方向に対して同一位置の画素信号を比較することで、被写体Ｈ１，Ｈ２が同一の被写体Ｈであることを認識することが可能となる。
　さらに、上述したように、一般的なカメラは、行単位で上から下方向に、かつ、各行において左から右方向に順次画素信号が読み出されるので、例えば、図８の例Ｅｘ１２で示されるような画像２３３，２３４が読み出される。そこで、図８の例Ｅｘ１３で示されるように、一般的なカメラを９０度回転（図中では右方向に回転）させることで実現することも考えられる。
　しかしながら、画像２３３，２３４の水平方向の長さ対垂直方向の長さの比をＡ：Ｂで表現するとき、Ａ＞Ｂであり、水平方向の長さの方が、垂直方向の長さよりも長い構成が一般的である。
　例Ｅｘ１３で示されるように、カメラを９０度に回転させる場合、水平方向の長さの方が小さいため、水平方向の視野角が狭くなる。
　そこで、本開示のステレオカメラシステム１１１を構成するカメラ１３１，１３２により撮像される画像は、例Ｅｘ１４で示されるように、水平方向の長さと垂直方向の長さとの比Ａ：Ｂが、例えば、４：３や１６：９となるように、すなわち、水平方向の方が広くなるようにして、さらに、水平方向に列単位で順次画素信号を読み出し、かつ、各列において、垂直方向に画素単位で順次画素信号が読み出されるようにする。このような構成とすることで、本開示のステレオカメラシステム１１１は、水平方向の視野角を確保しつつ、読み出しタイミングのずれに起因する被写体の水平方向のずれを抑制し、距離測定を高精度に実現させる。
　＜１－９．具体的なカメラの画素信号の読み出し方法＞
　次に、図９を参照して、カメラ１３１，１３２の画素信号の具体的な読み出し方法について説明する。尚、図９においては、カメラ１３１における画素信号の読み出し方法を説明するものとするが、カメラ１３２においても同様である。また、カメラ１３１を構成する画素アレイは、水平方向×垂直方向が８個×６個の画素２５１により構成されるものとするが、これ以外の画素数で構成されていてもよい。
　すなわち、カメラ１３１が、前方左側面部に設けられる場合、例えば、図９の左上部で示されるように、最初に、車両１００の前方側の列ＳＣ１の画素の画素信号が、図中の最上段の画素から下方向に順次読み出され、最下段の画素２５１の画素信号が読み出されると、隣の列ＳＣ２の最上段の画素から下方向に順次読み出される。以下、同様に、列ＳＣ３乃至ＳＣ８の順序で、各列について、最上段の画素の画素信号から、下方向に隣接する画素の画素信号が順次読み出される。このような読み出し順序により、前進状態において、特に検出範囲の前方側の画素列の画素信号をより高速に読み出すことが可能となり、進行方向の状況を、より迅速に把握させることで、進行方向における状況に対応した処理を、より迅速に実現することが可能となる。
　尚、図９の左上部においては、図中左部が車両１００の前方（Front）であり、図中の上部が車両１００の上方（up）であり、図中の下部が車両１００の下方（down）である。
　また、カメラ１３１が、前方右側面部に設けられる場合、例えば、図９の右上部で示されるように、車両１００の前方側の列ＳＣ１’の画素の画素信号が、図中の最上段の画素から下方向に順次読み出され、最下段の画素２５１の画素信号が読み出されると、隣の列ＳＣ２’の最上段の画素から下方向に順次読み出される。以下、同様に、列ＳＣ３’乃至ＳＣ８’の順序で、各列について、最上段の画素の画素信号から読み出されて、下方向に隣接する画素の画素信号が順次読み出される。
　尚、図９の右上部においては、図中右部が車両１００の前方（Front）であり、図中の上部が車両１００の上方（up）であり、図中の下部が車両１００の下方（down）である。
　また、図９の左上部および右上部のカメラ１３１においては、各列の画素信号は、最上段の画素から、下方向に隣接する画素の画素信号が順次読み出される例について説明しているが、最下段の画素から、上方向に画素信号が順次読み出されるようにしてもよい。
　さらに、図９の左上部におけるカメラ１３１の車両１００に対する前後方向を維持したまま、上下を反転させて設置することで、図９の右下部で示されるように、前方左側面部に設けるようにしてもよい。
　すなわち、この場合、前方右側面部に設けるためのカメラ１３１と左側面部に設けるためのカメラ１３１とをそれぞれ別体として構成する必要がなく、同一の構成で左右のどちらの側面部にも設けるようにさせることが可能となる。
　尚、図９の右上部のカメラ１３１の前後方向を維持させたまま、上下を反転させて、左側面部に設けるようにしてもよい。
　＜１－１０．表示部の配置例＞
　次に、図１０を参照して、表示部１４の配置例について説明する。
　表示部１４については、自車両に予め備えられている装備を利用してもよいし、専用のディスプレイ等を設けてもよい。例えば、自車両のカーナビゲーションシステムのディスプレイ２７１や、インストルメントパネル２７２を表示部１４として用いることが可能である。また、例えば、表示部１４を自車両のウインドシールド２７３の運転席の前方の領域Ｐ１に重畳して設けられる透過型ディスプレイにより構成することが可能である。
　＜１－１１．周辺監視処理＞
　次に、図１１のフローチャートを参照して、車載システム１０により実行される周辺監視処理について説明する。この処理は、例えば、自車両を起動し、運転を開始するための操作が行われたとき、例えば、自車両のイグニッションスイッチ、パワースイッチ、又は、スタートスイッチ等がオンされたとき開始される。また、この処理は、例えば、運転を終了するための操作が行われたとき、例えば、自車両のイグニッションスイッチ、パワースイッチ、又は、スタートスイッチ等がオフされたとき終了する。
　ステップＳ１において、情報処理部１３は、撮像制御部１１を制御して、車両１００の周辺画像データおよび距離データ取得処理を実行させ、周辺画像データおよび距離データを取得する。具体的には、周辺状況検出部３１は、撮像制御部１１を制御して、カメラシステム１０により撮像された画像に基づいた車両１００の周辺画像データおよび距離データを取得する。このとき、撮像制御部１１は、カメラシステム１０を制御して、周辺画像データおよび距離データ取得処理を実行させて、車両１００の周辺画像データとステレオ距離計測結果である距離データを取得させる。動き予測部３２は、車両情報センサ１２の各センサから車両センサデータを取得する。尚、周辺画像データおよび距離データ取得処理については、図１２のフローチャートを参照して、詳細を後述する。
　ステップＳ２において、空間生成部４１は、空間生成処理を行う。すなわち、空間生成部４１は、周辺画像データおよび距離データに基づいて、自車両の周辺の物体の形状や位置等を示す３次元空間マップを生成する（或いは、更新する）。なお、自車両の周辺の物体には、動体だけでなく、静止物（例えば、建物、路面等）も含まれる。空間生成部４１は、生成した３次元空間マップを動き予測部３２及びＨＭＩ制御部３４に供給する。
　なお、３次元空間マップの生成方法には、任意の方法を用いることが可能である。例えば、ＳＬＡＭ（Simultaneous Localization and Mapping）等の技術が用いられる。
　ステップＳ３において、動体検出部４２は、動体検出を行う。具体的には、動体検出部４２は、周辺センサデータ及び３次元空間マップに基づいて、自車両の周辺の動体の検出を行う。例えば、動体検出部４２は、自車両の周辺の動体の有無、動体の種類、大きさ、形状、位置等の検出を行う。動体検出部４２は、動体の検出結果を動き予測部３２及びＨＭＩ制御部３４に供給する。
　なお、動体の検出方法には、任意の方法を用いることが可能である。また、検出対象となる動体には、実際に動いている動体だけでなく、停車中の車両や自転車、停止中の歩行者等の一時的に静止している動体も含まれる。
　さらに、動体検出部４２は、例えば、３次元空間マップを用いずに、周辺センサデータのみに基づいて、自車両の周辺の動体の検出を行うことも可能である。この場合、ステップＳ２とステップＳ３の処理を入れ替えることが可能である。
　ステップＳ４において、動体検出部４２は、ステップＳ３の処理の結果に基づいて、周辺に動体が存在するか否かを判定する。周辺に動体が存在しないと判定された場合、処理はステップＳ１に戻る。
　その後、ステップＳ４において、周辺に動体が存在すると判定されるまで、ステップＳ１乃至ステップＳ４の処理が繰り返し実行される。
　一方、ステップＳ４において、周辺に動体が存在すると判定された場合、処理はステップＳ５に進む。
　ステップＳ５において、動き予測部３２は、動き予測を行う。具体的には、動き予測部３２は、車両センサデータに基づいて、自車両の移動速度及び移動方向等の予測を行う。また、動き予測部３２は、３次元空間マップ、及び、自車両の周辺の動体の検出結果に基づいて、自車両の周辺の動体の移動速度及び移動方向等の予測を行う。動き予測部３２は、予測結果を衝突予測部３３及びＨＭＩ制御部３４に供給する。
　なお、動き予測の方法には、任意の方法を用いることが可能である。
　ステップＳ６において、衝突予測部３３は、衝突予測を行う。具体的には、衝突予測部３３は、自車両及び自車両の周辺の動体の動きの予測結果に基づいて、自車両の周辺の動体が自車両に衝突又は接触する可能性があるか否か、並びに、衝突又は接触する可能性のある動体の衝突又は接触するまでの所要時間（以下、衝突予測時間と称する）を予測する。
　また、衝突予測部３３は、各動体が自車両に衝突又は接触する危険度を予測し、あらかじめ決められた定義に基づきランクを設定する。例えば、静止中の動体、及び、自車両から離れる方向に移動中の動体は、危険度１に設定される。自車両に接近する方向に移動中の動体のうち、衝突予測時間がＴ１秒（例えば、５秒）を超える動体は、危険度２に設定される。自車両に接近する方向に移動中の動体のうち、衝突予測時間がＴ１秒以内、かつ、Ｔ２秒（例えば１秒）を超える動体は、危険度３に設定される。自車両に接近する方向に移動中の動体のうち、衝突予測時間がＴ２秒以内である動体は、危険度４に設定される。
　なお、静止中の動体、及び、自車両から離れる方向に移動中の動体についても、衝突予測時間に基づいて、危険度２乃至４のいずれかに設定するようにしてもよい。
　衝突予測部３３は、衝突予測の結果をＨＭＩ制御部３４及び制動制御部１５に供給する。
　ステップＳ７において、衝突予測部３３は、衝突又は接触の危険性があるか否かを判定する。例えば、衝突予測部３３は、自車両の周辺に危険度３以上の動体が存在しない場合、衝突及び接触の危険性がないと判定し、処理はステップＳ１に戻る。
　その後、ステップＳ７において、衝突又は接触の危険性があると判定されるまで、ステップＳ１乃至ステップＳ７の処理が繰り返し実行される。
　一方、ステップＳ７において、例えば、衝突予測部３３は、自車両の周辺に危険度３以上の動体が存在する場合、衝突又は接触の危険性があると判定し、処理はステップＳ８に進む。
　ステップＳ８において、ＨＭＩ制御部３４は、動体種別を設定する。例えば、ＨＭＩ制御部３４は、動体検出部４２により検出された動体を、車両、モータバイク、自転車、歩行者、及び、その他の５種類に分類する。なお、モータバイクも車両の一種であるが、ここでは、モータバイクと、それ以外の車両とが区別されている。
　ステップＳ９において、ＨＭＩ制御部３４は、重畳画像の表示位置を算出する。重畳画像は、例えば、各動体の位置を示すフレーム（以下、動体フレームと称する）、及び、各動体の予測される動きを示すバー（以下、動き予測バーと称する）を含む。
　そこで、ＨＭＩ制御部３４は、３次元空間マップにおける各動体の位置、並びに、各動体の進行方向から見た各動体の高さ及び幅等に基づいて、各動体に対応する動体フレームの３次元空間マップにおける表示位置を算出する。
　また、ＨＭＩ制御部３４は、各動体の動き予測の結果に基づいて、３次元空間マップにおける各動体のｘ秒後（例えば、１秒後）の位置を算出する。次に、ＨＭＩ制御部３４は、３次元空間マップ上の各動体の現在位置とｘ秒後の位置とに基づいて、各動体に対応する動き予測バーの３次元空間マップ上の表示位置を算出する。例えば、ＨＭＩ制御部３４は、現在の各動体の進行方向の先端を始点とし、ｘ秒後の各動体の進行方向の先端を終点とすることにより、動き予測バーの長さ及び方向を算出する。
　ステップＳ１０において、車載システム１０は、周辺の状況を提示する。具体的には、ＨＭＩ制御部３４は、３次元空間マップにおける重畳画像（動体フレーム及び動き予測バー等）の表示位置を、運転者に提示する周辺画像における表示位置に変換する。また、ＨＭＩ制御部３４は、３次元空間マップにおける路面の位置を周辺画像における表示位置に変換し、周辺画像における路面の位置を示すグリッドの表示位置を算出する。そして、ＨＭＩ制御部３４は、周辺監視画像を示す周辺監視画像データを生成し、表示部１４に供給し、周辺監視画像を表示させる。
　ステップＳ１１において、制動制御部１５は、緊急停止が必要であるか否かを判定する。例えば、制動制御部１５は、自車両の周辺の動体の中に危険度４の動体が存在しない場合、緊急停止の必要がないと判定し、処理はステップＳ１に戻る。
　その後、ステップＳ１１において、緊急停止が必要であると判定されるまで、ステップＳ１乃至ステップＳ１１の処理が繰り返し実行される。
　一方、ステップＳ１１において、例えば、制動制御部１５は、自車両の周辺の動体の中に危険度４の動体が存在する場合、緊急停止の必要があると判定し、処理はステップＳ１２に進む。
　ステップＳ１２において、制動制御部１５は、制動装置１６を制御して、自車両を緊急停止させる。これにより、自車両の周辺の動体との衝突又は接触が防止される。
　その後、周辺監視処理は終了する。
　以上のようにして、自車両の周辺の動体との衝突又は接触の危険性を分かりやすく通知することができ、運転者が衝突又は接触の危険性を確実に認識することができる。また、危険度４の動体が存在する場合、緊急停止が行われるため、事故の発生が防止される。
　＜１－１２．周辺画像データおよび距離データ取得処理＞
　次に、図１２のフローチャートを参照して、周辺画像データおよび距離データ取得処理について説明する。
　ステップＳ３１において、ステレオカメラシステム１１１を構成するカメラ１３１とカメラ１３２は観測点を撮像する。
　ステップＳ３２において、画像補正部１７１は、カメラ１３１により撮像された画像について、レンズ収差、カメラ画像の歪みなどを補正する。同様に、画像補正部１７２は、カメラ１３２により撮像された画像について、レンズ収差、カメラ画像の歪みなどを補正する。すなわち、距離算出のため画像の歪が補正され、画像が仮想平面に投影されて平面画像とされる。
　ステップＳ３３において、ステレオ画像処理部１７３は、観測点までの距離を演算し、距離データと共に、平面画像からなる撮像画像を周辺画像データとして統合部１５２に出力する。すなわち、カメラ１３１とカメラ１３２は、距離Ｌだけ垂直方向に離れた位置に配置されている。従って、カメラ１３１により撮像された画像とカメラ１３２により撮像された画像は位相差を有しており、その位相差に基づいて観測点までの距離を演算することができる。すなわち、カメラ１３１，１３２の一方の画像に映っている物体に対応する物体が他方の画像から検出され、２つの画像における物体の位置のずれから距離が算出される。尚、以上の処理は、車両１００の左右の前方側面に設けられたステレオカメラシステム１１１Ａ，１１１Ｂのそれぞれで実行される。
　ステップＳ３４において、統合部９３は、ステレオカメラシステム１１１Ａ，１１１Ｂのそれぞれの計測データと周辺画像データとを統合し、車両１００の全方向の距離データとして、周辺画像データと共に撮像制御部１１に出力する。
　ステップＳ３５において、ステレオ画像処理部１７３は処理を終了するかを判定する。使用者からまだ処理の終了が指示されていない場合、処理はステップＳ３１に戻り、それ以降の処理が繰り返される。処理の終了が指示されている場合、処理は終了される。
　以上の処理により、ステレオ距離計測部１５１Ａ，１５１Ｂのそれぞれにより検出範囲１１２Ａ，１１２Ｂにおける距離計測結果である距離データが、周辺画像データと共に統合部１５２に出力されて、撮像制御部１１に順次繰り返し出力される。
　また、ステップＳ３１において、カメラ１３１，１３２が検出範囲を撮像する際には、上述したように、車両１００の前方側の画素列から水平方向に隣接する後方の画素列に向かう順序で、かつ、各画素列において、最上段の画素から下方向に隣接する画素の画素信号が順次読み出される、または、最下段の画素から上方向に隣接する画素の画素信号が順次読み出される。
　このように画素信号が読み出されることにより、上述したように、カメラ１３１，１３２のそれぞれで撮像された画像内における被写体のフォーカルプレーン歪みや、読み出しタイミングのずれに伴った水平方向の被写体のずれの発生を抑制することができ、それぞれの画像内の被写体を同一の被写体として認識することができるので、高精度に視差に基づいたずれによる距離計測を実現することが可能となる。
　尚、以上の構成例においては、撮像制御部１１が、周辺画像における被写体（対象物）までの距離を距離データとして計測する例について説明しているが、距離データの計測そのものは、他の構成で実現するようにしてもよく、例えば、空間生成部４１が、距離データの生成と３次元空間マップの生成とを同時に実現するようにしてもよい。
　また、以上においては、動体の種類（例えば、歩行者、自動車などの種類）の検出処理は、動体検出部４２が実施する例について説明してきたが、それ以外の構成が実施するようにしてもよく、例えば、撮像制御部１１が実施するようにしてもよい。
　＜＜２．変形例＞＞
　以上においては、ステレオカメラシステム１１１が、車両１００の前方側面部にカメラ１３１，１３２が垂直方向に視差が生じるように並べて配置される例について説明してきたが、車両１００の車体の前方以外の位置に、カメラ１３１，１３２の視差が垂直方向に生じるようにステレオカメラシステム１１１が配置されてもよい。
　例えば、ステレオカメラシステム１１１は、車両１００の中央側面部近傍の位置に、カメラ１３１，１３２が垂直方向に視差が生じるように側面方向を撮像するように設けられるようにしてもよい。
　より具体的には、ステレオカメラシステム１１１は、例えば、図１３で示されるように、ドアミラー３０１に、カメラ１３１，１３２の視差が垂直方向に生じるように、垂直方向に並べて取り付けられているようにしてもよい。
　尚、車両１００の中央側面部近傍であれば、ステレオカメラシステム１１１は、ドアミラー３０１以外の位置でもよく、例えば、ピラー（フロントピラー、センタピラー、リアピラー等）、ドア、ルーフレール等に取り付けるようにしてもよい。
　また、図１４で示されるように、ステレオカメラシステム１１１は、車両１００の後方側面部に、カメラ１３１，１３２が垂直方向に視差が生じるように取り付けられているようにしてもよい。
　さらに、図１４で示されるように、車両１００の後方側面部に、カメラ１３１，１３２が垂直方向に視差が生じるように取り付けられる場合、ステレオカメラシステム１１１は、後方に後退する際に使用される用途が多くなるので、側面後方側の検出範囲の画素信号をより高速に読み出すようにしてもよい。
　例えば、カメラ１３１，１３２の画素アレイの後方側の画素列から、各画素列について、最上段の画素の画素信号から、下方向に隣接する画素の画素信号が順次読み出される、または、最下段の画素の画素信号から、上方向に隣接する画素の画素信号が順次読み出されるようにしてもよい。
　すなわち、カメラ１３１が、後方左側面部に設けられる場合、例えば、図１５の左上部で示されるように、最初に、車両１００の後方側の列ＳＣ８の画素の画素信号が、図中の最上段の画素から下方向に順次読み出され、最下段の画素２５１の画素信号が読み出されると、隣の列ＳＣ７の最上段の画素から下方向に順次読み出される。以下、同様に、列ＳＣ６乃至ＳＣ１の順序で、各列について、最上段の画素の画素信号から、下方向に隣接する画素の画素信号が順次読み出される。
　尚、図１５の左上部においては、図中右部が車両１００の後方（Rear）であり、図中の上部が車両１００の上方（up）であり、図中の下部が車両１００の下方（down）である。
　また、カメラ１３１が、後方右側面部に設けられる場合、例えば、図１５の右上部で示されるように、車両１００の後方側の列ＳＣ８’の画素の画素信号が、図中の最上段の画素から下方向に順次読み出され、最下段の画素２５１の画素信号が読み出されると、隣の列ＳＣ７’の最上段の画素から下方向に順次読み出される。以下、同様に、列ＳＣ６’乃至ＳＣ１’の順序で、各列について、最上段の画素の画素信号から読み出されて、下方向に隣接する画素の画素信号が順次読み出される。
　尚、図１５の右上部においては、図中左部が車両１００の後方（Rear）であり、図中の上部が車両１００の上方（up）であり、図中の下部が車両１００の下方（down）である。
　また、図１５の左上部および右上部のカメラ１３１においては、各列の画素信号は、最上段の画素から、下方向に隣接する画素の画素信号が順次読み出される例について説明しているが、最下段の画素から、上方向に画素信号が順次読み出されるようにしてもよい。
　さらに、図１５の左上部におけるカメラ１３１の車両１００に対する前後方向を維持したまま、上下を反転させて設置することで、図１５の右下部で示されるように、後方左側面部に設けるようにしてもよい。
　すなわち、この場合、後方右側面部に設けるためのカメラ１３１と左側面部に設けるためのカメラ１３１とをそれぞれ別体として構成する必要がなく、同一の構成で左右のどちらの側面部にも設けるようにさせることが可能となる。
　尚、図１５の右上部のカメラ１３１の前後方向を維持させたまま、上下を反転させて、左側面部に設けるようにしてもよい。
　このような読み出し順序により、後進状態において、特に検出範囲の後方側の画素列の画素信号をより高速に読み出すことが可能となり、進行方向の状況を、より迅速に把握させることで、進行方向における状況に対応した処理を、より迅速に実現することが可能となる。
　すなわち、ステレオカメラシステム１１１は、車両１００の側面部であれば、前方、中央、後方のいずれに設置されてもよいし、それらの少なくともいずれかを組み合わせて設置されるようにしてもよい。
　また、車両１００の前方側面部、および後方側面部にステレオカメラシステム１１１が設置される場合、カメラ１３１，１３２として、視野角をやや狭くした狭角度で、かつ、遠方を撮像できるカメラを採用するようにしてもよい。すなわち、車両１００の前方側面部、および後方側面部にステレオカメラシステム１１１が設置される場合、狭角度のカメラを採用することにより、より迅速な交差点内の状況把握を実現することが可能となる。
　さらに、車両１００の中央側面部にステレオカメラシステム１１１が設置される場合、カメラ１３１，１３２として、視野角をやや広くした広角度で、かつ、近傍をよく撮像できるカメラを採用するようにしてもよい。すなわち、車両１００の中央側面部にステレオカメラシステム１１１が設置される場合、広角度のカメラを採用することにより、前方および後方を含めた広い範囲の側方における状況把握を実現することが可能となる。
　＜＜３．応用例＞＞
　本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械（トラクター）などのいずれかの種類の移動体に搭載される装置として実現されてもよい。
　図１６は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム７０００の概略的な構成例を示すブロック図である。車両制御システム７０００は、通信ネットワーク７０１０を介して接続された複数の電子制御ユニットを備える。図１６に示した例では、車両制御システム７０００は、駆動系制御ユニット７１００、ボディ系制御ユニット７２００、バッテリ制御ユニット７３００、車外情報検出ユニット７４００、車内情報検出ユニット７５００、及び統合制御ユニット７６００を備える。これらの複数の制御ユニットを接続する通信ネットワーク７０１０は、例えば、ＣＡＮ（Controller　Area　Network）、ＬＩＮ（Local　Interconnect　Network）、ＬＡＮ（Local　Area　Network）又はＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークであってよい。
　各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク７０１０を介して他の制御ユニットとの間で通信を行うためのネットワークＩ／Ｆを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信Ｉ／Ｆを備える。図１６では、統合制御ユニット７６００の機能構成として、マイクロコンピュータ７６１０、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０、音声画像出力部７６７０、車載ネットワークＩ／Ｆ７６８０及び記憶部７６９０が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信Ｉ／Ｆ及び記憶部等を備える。
　駆動系制御ユニット７１００は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット７１００は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット７１００は、ＡＢＳ（Antilock　Brake　System）又はＥＳＣ（Electronic　Stability　Control）等の制御装置としての機能を有してもよい。
　駆動系制御ユニット７１００には、車両状態検出部７１１０が接続される。車両状態検出部７１１０には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット７１００は、車両状態検出部７１１０から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。
　ボディ系制御ユニット７２００は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット７２００は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット７２００には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット７２００は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
　バッテリ制御ユニット７３００は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池７３１０を制御する。例えば、バッテリ制御ユニット７３００には、二次電池７３１０を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット７３００は、これらの信号を用いて演算処理を行い、二次電池７３１０の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。
　車外情報検出ユニット７４００は、車両制御システム７０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット７４００には、撮像部７４１０及び車外情報検出部７４２０のうちの少なくとも一方が接続される。撮像部７４１０には、ＴｏＦ（Time　Of　Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部７４２０には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム７０００を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。
　環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びＬＩＤＡＲ（Light　Detection　and　Ranging、Laser　Imaging　Detection　and　Ranging）装置のうちの少なくとも一つであってよい。これらの撮像部７４１０及び車外情報検出部７４２０は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。
　ここで、図１７は、撮像部７４１０及び車外情報検出部７４２０の設置位置の例を示す。撮像部７９１０，７９１２，７９１４，７９１６，７９１８は、例えば、車両７９００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部７９１０及び車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として車両７９００の前方の画像を取得する。サイドミラーに備えられる撮像部７９１２，７９１４は、主として車両７９００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部７９１６は、主として車両７９００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
　なお、図１７には、それぞれの撮像部７９１０，７９１２，７９１４，７９１６の撮影範囲の一例が示されている。撮像範囲ａは、フロントノーズに設けられた撮像部７９１０の撮像範囲を示し、撮像範囲ｂ，ｃは、それぞれサイドミラーに設けられた撮像部７９１２，７９１４の撮像範囲を示し、撮像範囲ｄは、リアバンパ又はバックドアに設けられた撮像部７９１６の撮像範囲を示す。例えば、撮像部７９１０，７９１２，７９１４，７９１６で撮像された画像データが重ね合わせられることにより、車両７９００を上方から見た俯瞰画像が得られる。
　車両７９００のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２２，７９２４，７９２６，７９２８，７９３０は、例えば超音波センサ又はレーダ装置であってよい。車両７９００のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２６，７９３０は、例えばＬＩＤＡＲ装置であってよい。これらの車外情報検出部７９２０～７９３０は、主として先行車両、歩行者又は障害物等の検出に用いられる。
　図１６に戻って説明を続ける。車外情報検出ユニット７４００は、撮像部７４１０に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット７４００は、接続されている車外情報検出部７４２０から検出情報を受信する。車外情報検出部７４２０が超音波センサ、レーダ装置又はＬＩＤＡＲ装置である場合には、車外情報検出ユニット７４００は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット７４００は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。
　また、車外情報検出ユニット７４００は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部７４１０により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット７４００は、異なる撮像部７４１０により撮像された画像データを用いて、視点変換処理を行ってもよい。
　車内情報検出ユニット７５００は、車内の情報を検出する。車内情報検出ユニット７５００には、例えば、運転者の状態を検出する運転者状態検出部７５１０が接続される。運転者状態検出部７５１０は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット７５００は、運転者状態検出部７５１０から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット７５００は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。
　統合制御ユニット７６００は、各種プログラムにしたがって車両制御システム７０００内の動作全般を制御する。統合制御ユニット７６００には、入力部７８００が接続されている。入力部７８００は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット７６００には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部７８００は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム７０００の操作に対応した携帯電話又はＰＤＡ（Personal　Digital　Assistant）等の外部接続機器であってもよい。入力部７８００は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部７８００は、例えば、上記の入力部７８００を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット７６００に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部７８００を操作することにより、車両制御システム７０００に対して各種のデータを入力したり処理動作を指示したりする。
　記憶部７６９０は、マイクロコンピュータにより実行される各種プログラムを記憶するＲＯＭ（Read　Only　Memory）、及び各種パラメータ、演算結果又はセンサ値等を記憶するＲＡＭ（Random　Access　Memory）を含んでいてもよい。また、記憶部７６９０は、ＨＤＤ（Hard　Disc　Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。
　汎用通信Ｉ／Ｆ７６２０は、外部環境７７５０に存在する様々な機器との間の通信を仲介する汎用的な通信Ｉ／Ｆである。汎用通信Ｉ／Ｆ７６２０は、ＧＳＭ（Global　System　of　Mobile　communications）、ＷｉＭＡＸ、ＬＴＥ（Long　Term　Evolution）若しくはＬＴＥ－Ａ（LTE－Advanced）などのセルラー通信プロトコル、又は無線ＬＡＮ（Ｗｉ－Ｆｉ（登録商標）ともいう）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などのその他の無線通信プロトコルを実装してよい。汎用通信Ｉ／Ｆ７６２０は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）へ接続してもよい。また、汎用通信Ｉ／Ｆ７６２０は、例えばＰ２Ｐ（Peer　To　Peer）技術を用いて、車両の近傍に存在する端末（例えば、運転者、歩行者若しくは店舗の端末、又はＭＴＣ（Machine　Type　Communication）端末）と接続してもよい。
　専用通信Ｉ／Ｆ７６３０は、車両における使用を目的として策定された通信プロトコルをサポートする通信Ｉ／Ｆである。専用通信Ｉ／Ｆ７６３０は、例えば、下位レイヤのＩＥＥＥ８０２．１１ｐと上位レイヤのＩＥＥＥ１６０９との組合せであるＷＡＶＥ（Wireless　Access　in　Vehicle　Environment）、ＤＳＲＣ（Dedicated　Short　Range　Communications）、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信Ｉ／Ｆ７６３０は、典型的には、車車間（Vehicle　to　Vehicle）通信、路車間（Vehicle　to　Infrastructure）通信、車両と家との間（Vehicle　to　Home）の通信及び歩車間（Vehicle　to　Pedestrian）通信のうちの１つ以上を含む概念であるＶ２Ｘ通信を遂行する。
　測位部７６４０は、例えば、ＧＮＳＳ（Global　Navigation　Satellite　System）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Global　Positioning　System）衛星からのＧＰＳ信号）を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部７６４０は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、ＰＨＳ若しくはスマートフォンといった端末から位置情報を取得してもよい。
　ビーコン受信部７６５０は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部７６５０の機能は、上述した専用通信Ｉ／Ｆ７６３０に含まれてもよい。
　車内機器Ｉ／Ｆ７６６０は、マイクロコンピュータ７６１０と車内に存在する様々な車内機器７７６０との間の接続を仲介する通信インタフェースである。車内機器Ｉ／Ｆ７６６０は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near　Field　Communication）又はＷＵＳＢ（Wireless　USB）といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器Ｉ／Ｆ７６６０は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal　Serial　Bus）、ＨＤＭＩ（High-Definition　Multimedia　Interface）、又はＭＨＬ（Mobile　High-definition　Link）等の有線接続を確立してもよい。車内機器７７６０は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも１つを含んでいてもよい。また、車内機器７７６０は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器Ｉ／Ｆ７６６０は、これらの車内機器７７６０との間で、制御信号又はデータ信号を交換する。
　車載ネットワークＩ／Ｆ７６８０は、マイクロコンピュータ７６１０と通信ネットワーク７０１０との間の通信を仲介するインタフェースである。車載ネットワークＩ／Ｆ７６８０は、通信ネットワーク７０１０によりサポートされる所定のプロトコルに則して、信号等を送受信する。
　統合制御ユニット７６００のマイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム７０００を制御する。例えば、マイクロコンピュータ７６１０は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット７１００に対して制御指令を出力してもよい。例えば、マイクロコンピュータ７６１０は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced　Driver　Assistance　System）の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ７６１０は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。
　マイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の３次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ７６１０は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。
　音声画像出力部７６７０は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図１６の例では、出力装置として、オーディオスピーカ７７１０、表示部７７２０及びインストルメントパネル７７３０が例示されている。表示部７７２０は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部７７２０は、ＡＲ（Augmented　Reality）表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ７６１０が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。
　なお、図１６に示した例において、通信ネットワーク７０１０を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム７０００が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク７０１０を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク７０１０を介して相互に検出情報を送受信してもよい。
　なお、図１を用いて説明した本実施形態に係る撮像制御部１１および情報処理部１３の各機能を実現するためのコンピュータプログラムを、いずれかの制御ユニット等に実装することができる。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体を提供することもできる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
　以上説明した車両制御システム７０００において、図１を用いて説明した本実施形態に係る撮像制御部１１および情報処理部１３は、図１６に示した応用例の統合制御ユニット７６００に適用することができる。例えば、撮像制御部１１のステレオ距離計測部１５１Ａ，１５１Ｂ、統合部１５２は、統合制御ユニット７６００のマイクロコンピュータ７６１０に相当する。例えば、統合制御ユニット７６００がカメラシステム１０により撮像された画像に基づいて、距離データおよび周辺画像データ取得処理を実行することにより、周辺の対象物との距離データおよび周辺画像データを取得することができる。
　また、図１を用いて説明した撮像制御部１１および情報処理部１３の少なくとも一部の構成要素は、図１６に示した統合制御ユニット７６００のためのモジュール（例えば、一つのダイで構成される集積回路モジュール）において実現されてもよい。あるいは、図１を用いて説明した撮像制御部１１および情報処理部１３が、図１６に示した車両制御システム７０００の複数の制御ユニットによって実現されてもよい。
　尚、本開示は、以下のような構成も取ることができる。
＜１＞　移動体に搭載され、ステレオカメラシステムを構成する１組のカメラと、
　前記１組のカメラにより撮像された画像に基づいて、検出範囲における観測点の距離を検出する検出部を含み、
　前記１組のカメラは、前記移動体の側面で、かつ、路面に対して垂直方向に並べて配設され、撮像される画素信号を、アレイ状に配置された画素単位で垂直方向に順次読み出す
　撮像制御装置。
＜２＞　前記１組のカメラは、それぞれ前記移動体の前方側の画素の列から順に、かつ、各列について、垂直方向に順に画素信号を読み出す
　＜１＞に記載の撮像制御装置。
＜３＞　前記１組のカメラは、それぞれ前記移動体の前方側の画素の列から順に、かつ、各列について、垂直方向に下から上方向、または、上から下方向に順次画素信号を読み出す
　＜２＞に記載の撮像制御装置。
＜４＞　前記１組のカメラは、前記移動体の左右の側面のそれぞれに、かつ、前記路面に対して垂直方向に並べて配設され、前記移動体の左右のそれぞれの前記１組のカメラが、前記移動体の前方側の画素の列から順に、かつ、各列について、垂直方向に下から上方向、または、上から下方向に順次画素信号を読み出す
　＜３＞に記載の撮像制御装置。
＜５＞　前記１組のカメラは、前記移動体の左右の側面のそれぞれに、かつ、前記路面に対して垂直方向に並べて配設され、前記移動体の左右の一方の前記１組のカメラが、前記移動体の前方側の画素の列から順に、かつ、各列について、垂直方向に下から上方向に順次画素信号を読み出し、左右の他方の前記１組のカメラが、前記移動体の前方側の画素の列から順に、かつ、各列について、垂直方向に上から下方向に順次画素信号を読み出す
　＜３＞に記載の撮像制御装置。
＜６＞　前記１組のカメラは、前記移動体の前方の左右のそれぞれの側面、前記移動体の中央の左右のそれぞれの側面、および前記移動体の後方の左右のそれぞれの側面の少なくともいずれかに、それぞれ前記路面に対して垂直方向に視差が生じるように並べて配設される
　＜１＞乃至＜５＞のいずれかに記載の撮像制御装置。
＜７＞　前記１組のカメラが、前記移動体の前方の左右のそれぞれ側面、または、前記移動体の後方の左右のそれぞれの側面に、前記路面に対して垂直方向に並べて配設される場合、前記カメラは、それぞれ所定の角度よりも狭角度のカメラである
　＜６＞に記載の撮像制御装置。
＜８＞　前記１組のカメラが、前記移動体の中央の左右のそれぞれの側面に、前記路面に対して垂直方向に並べて配設される場合、前記カメラは、それぞれ所定の角度よりも広角度のカメラである
　＜６＞のいずれかに記載の撮像制御装置。
＜９＞　前記カメラの画素の配置は、水平方向の幅が、垂直方向の幅よりも長くなるように、アレイ状に配置される
　＜１＞乃至＜８＞のいずれかに記載の撮像制御装置。
＜１０＞　前記カメラの画素の配置は、前記水平方向の幅と、前記垂直方向の幅との比が、略１６：９または略４：３となるようにアレイ状に配置される
　＜９＞に記載の撮像制御装置。
＜１１＞　移動体に搭載され、ステレオカメラシステムを構成する１組のカメラにより撮像された画像に基づいて、検出範囲における観測点の距離を検出する検出部を含む撮像制御装置の制御方法であって、
　前記１組のカメラが、前記移動体の側面で、かつ、路面に対して垂直方向に並べて配設され、撮像される画素信号を、アレイ状に配置された画素単位で垂直方向に順次読み出す
　ステップを含む撮像制御装置の制御方法。
＜１２＞　移動体に搭載されたステレオカメラシステムを構成する１組のカメラと、
　前記１組のカメラにより撮像された画像に基づいて、検出範囲における観測点の距離を検出する検出部とを有し、
　前記１組のカメラは、前記移動体の側面で、かつ、路面に対して垂直方向に並べて配設され、撮像される画素信号を、アレイ状に配置された画素単位で垂直方向に順次読み出す撮像制御装置
　を備えた移動体。
　１　車載システム，　１０　カメラシステム，　１１　撮像制御部，　１２　車両情報センサ，　１３　情報処理部，　１４　表示部，　１５　制動制御部，　１６　制動装置，　３１　周辺状況検出部，　３２　動き予測部，　３３　衝突予測部，　３４　ＨＭＩ制御部，　１００　車両，　１１１，１１１Ａ，１１１Ｂ　ステレオカメラシステム，　１３１，１３１Ａ，１３１Ｂ，１３２，１３２Ａ，１３２Ｂ　カメラ，　１５１，１５１Ａ，１５１Ｂ　ステレオ距離計測部，　１５２　統合部，　１７１，１７２　画像補正部，　１７３　ステレオ画像処理部

Claims (12)

  1. 　移動体に搭載され、ステレオカメラシステムを構成する１組のカメラと、
    　前記１組のカメラにより撮像された画像に基づいて、検出範囲における観測点の距離を検出する検出部を含み、
    　前記１組のカメラは、前記移動体の側面で、かつ、路面に対して垂直方向に並べて配設され、撮像される画素信号を、アレイ状に配置された画素単位で垂直方向に順次読み出す
    　撮像制御装置。
  2. 　前記１組のカメラは、それぞれ前記移動体の前方側の画素の列から順に、かつ、各列について、垂直方向に順に画素信号を読み出す
    　請求項１に記載の撮像制御装置。
  3. 　前記１組のカメラは、それぞれ前記移動体の前方側の画素の列から順に、かつ、各列について、垂直方向に下から上方向、または、上から下方向に順次画素信号を読み出す
    　請求項２に記載の撮像制御装置。
  4. 　前記１組のカメラは、前記移動体の左右の側面のそれぞれに、かつ、前記路面に対して垂直方向に並べて配設され、前記移動体の左右のそれぞれの前記１組のカメラが、前記移動体の前方側の画素の列から順に、かつ、各列について、垂直方向に下から上方向、または、上から下方向に順次画素信号を読み出す
    　請求項３に記載の撮像制御装置。
  5. 　前記１組のカメラは、前記移動体の左右の側面のそれぞれに、かつ、前記路面に対して垂直方向に並べて配設され、前記移動体の左右の一方の前記１組のカメラが、前記移動体の前方側の画素の列から順に、かつ、各列について、垂直方向に下から上方向に順次画素信号を読み出し、左右の他方の前記１組のカメラが、前記移動体の前方側の画素の列から順に、かつ、各列について、垂直方向に上から下方向に順次画素信号を読み出す
    　請求項３に記載の撮像制御装置。
  6. 　前記１組のカメラは、前記移動体の前方の左右のそれぞれの側面、前記移動体の中央の左右のそれぞれの側面、および前記移動体の後方の左右のそれぞれの側面の少なくともいずれかに、それぞれ前記路面に対して垂直方向に視差が生じるように並べて配設される
    　請求項１に記載の撮像制御装置。
  7. 　前記１組のカメラが、前記移動体の前方の左右のそれぞれ側面、または、前記移動体の後方の左右のそれぞれの側面に、前記路面に対して垂直方向に並べて配設される場合、前記カメラは、それぞれ所定の角度よりも狭角度のカメラである
    　請求項６に記載の撮像制御装置。
  8. 　前記１組のカメラが、前記移動体の中央の左右のそれぞれの側面に、前記路面に対して垂直方向に並べて配設される場合、前記カメラは、それぞれ所定の角度よりも広角度のカメラである
    　請求項６に記載の撮像制御装置。
  9. 　前記カメラの画素の配置は、水平方向の幅が、垂直方向の幅よりも長くなるように、アレイ状に配置される
    　請求項１に記載の撮像制御装置。
  10. 　前記カメラの画素の配置は、前記水平方向の幅と、前記垂直方向の幅との比が、略１６：９または略４：３となるようにアレイ状に配置される
    　請求項９に記載の撮像制御装置。
  11. 　移動体に搭載され、ステレオカメラシステムを構成する１組のカメラにより撮像された画像に基づいて、検出範囲における観測点の距離を検出する検出部を含む撮像制御装置の制御方法であって、
    　前記１組のカメラが、前記移動体の側面で、かつ、路面に対して垂直方向に並べて配設され、撮像される画素信号を、アレイ状に配置された画素単位で垂直方向に順次読み出す
    　ステップを含む撮像制御装置の制御方法。
  12. 　移動体に搭載されたステレオカメラシステムを構成する１組のカメラと、
    　前記１組のカメラにより撮像された画像に基づいて、検出範囲における観測点の距離を検出する検出部とを有し、
    　前記１組のカメラは、前記移動体の側面で、かつ、路面に対して垂直方向に並べて配設され、撮像される画素信号を、アレイ状に配置された画素単位で垂直方向に順次読み出す撮像制御装置
    　を備えた移動体。
PCT/JP2018/010397 2017-03-31 2018-03-16 撮像制御装置、および撮像制御装置の制御方法、並びに移動体 WO2018180579A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US16/496,647 US10864855B2 (en) 2017-03-31 2018-03-16 Imaging control apparatus, method for controlling imaging control apparatus, and mobile body
JP2019509275A JP7196063B2 (ja) 2017-03-31 2018-03-16 撮像制御装置、および撮像制御装置の制御方法、並びに移動体
CN201880020151.XA CN110574357B (zh) 2017-03-31 2018-03-16 成像控制设备、用于控制成像控制设备的方法以及移动体
EP18777554.9A EP3606063A1 (en) 2017-03-31 2018-03-16 Imaging control device, control method for imaging control device, and mobile object

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017070079 2017-03-31
JP2017-070079 2017-03-31

Publications (1)

Publication Number Publication Date
WO2018180579A1 true WO2018180579A1 (ja) 2018-10-04

Family

ID=63676954

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/010397 WO2018180579A1 (ja) 2017-03-31 2018-03-16 撮像制御装置、および撮像制御装置の制御方法、並びに移動体

Country Status (5)

Country Link
US (1) US10864855B2 (ja)
EP (1) EP3606063A1 (ja)
JP (1) JP7196063B2 (ja)
CN (1) CN110574357B (ja)
WO (1) WO2018180579A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200401819A1 (en) * 2019-06-22 2020-12-24 Erik Volkerink Image based locationing
WO2022163307A1 (ja) * 2021-01-29 2022-08-04 ソニーセミコンダクタソリューションズ株式会社 情報処理システム、情報処理方法、および情報処理装置
DE102020214591B4 (de) 2019-11-27 2024-07-18 Mitsubishi Electric Corporation Fahrzeugnetzwerksystem
DE112022005080T5 (de) 2021-10-18 2024-09-05 Hitachi Astemo, Ltd. Fahrzeugmontiertes bildgebungssystem

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11025848B2 (en) * 2018-08-31 2021-06-01 Canon Kabushiki Kaisha Photoelectric conversion device, imaging system, moving body, and stackable semiconductor device
JP2020051942A (ja) * 2018-09-27 2020-04-02 株式会社Ｓｕｂａｒｕ 車両の走行環境検出装置及び走行制御システム
US11910092B2 (en) * 2020-10-01 2024-02-20 Black Sesame Technologies Inc. Panoramic look-around view generation method, in-vehicle device and in-vehicle system
US12055632B2 (en) 2020-10-13 2024-08-06 Waymo Llc LIDAR based stereo camera correction
JP7554105B2 (ja) * 2020-12-02 2024-09-19 ヤマハ発動機株式会社 距離認識システムおよびその制御方法、船舶
CN113689552A (zh) * 2021-08-27 2021-11-23 北京百度网讯科技有限公司 车载环视模型的调整方法、装置、电子设备和存储介质
CN114440821B (zh) * 2022-02-08 2023-12-12 三一智矿科技有限公司 基于单目相机的测距方法及装置、介质、设备
JP2024125077A (ja) * 2023-03-03 2024-09-13 キヤノン株式会社 測距装置、撮像装置、移動体、測距方法およびプログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS59201114A (ja) * 1983-04-28 1984-11-14 Nippon Denso Co Ltd 車両用自動走行装置
JP2008009906A (ja) * 2006-06-30 2008-01-17 Matsushita Electric Ind Co Ltd 固体撮像装置及び撮像システム
JP2011205215A (ja) * 2010-03-24 2011-10-13 Fujifilm Corp 撮像装置およびその制御方法
JP2013053962A (ja) * 2011-09-05 2013-03-21 Sharp Corp カメラシステム、衝突予測システム、駐車ガイドシステム
JP2013070177A (ja) 2011-09-21 2013-04-18 Toshiba Alpine Automotive Technology Corp 車載用カメラ
JP2016217944A (ja) * 2015-05-22 2016-12-22 シャープ株式会社 計測装置、および計測方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4299036B2 (ja) * 2003-03-31 2009-07-22 シャープ株式会社 車両用監視装置
US8199975B2 (en) * 2006-12-12 2012-06-12 Cognex Corporation System and method for side vision detection of obstacles for vehicles
US9225965B2 (en) * 2008-11-07 2015-12-29 Telecom Italia S.P.A. Method and system for producing multi-view 3D visual contents
WO2012103193A1 (en) * 2011-01-26 2012-08-02 Magna Electronics Inc. Rear vision system with trailer angle detection
EP2523163B1 (en) 2011-05-10 2019-10-16 Harman Becker Automotive Systems GmbH Method and program for calibrating a multicamera system
ITTO20110414A1 (it) * 2011-05-11 2012-11-12 St Microelectronics Pvt Ltd Procedimento ed apparecchiatura per elaborare segnali video, prodotto informatico e segnale codificato relativi
US20160232415A1 (en) * 2011-08-16 2016-08-11 Israel L'Heureux Detection detection of cell phone or mobile device use in motor vehicle
CN102490673A (zh) * 2011-12-13 2012-06-13 中科院微电子研究所昆山分所 基于车联网的汽车主动安全控制系统及其控制方法
US9446713B2 (en) * 2012-09-26 2016-09-20 Magna Electronics Inc. Trailer angle detection system
DE102016110903A1 (de) * 2015-06-14 2016-12-15 Facense Ltd. Head-Mounted-Devices zur Messung physiologischer Reaktionen
US20180283851A1 (en) * 2015-09-01 2018-10-04 The University Of Tokyo Motion detection device and three-dimensional shape measurement device using same
US20170150176A1 (en) * 2015-11-25 2017-05-25 Qualcomm Incorporated Linear-model prediction with non-square prediction units in video coding

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS59201114A (ja) * 1983-04-28 1984-11-14 Nippon Denso Co Ltd 車両用自動走行装置
JP2008009906A (ja) * 2006-06-30 2008-01-17 Matsushita Electric Ind Co Ltd 固体撮像装置及び撮像システム
JP2011205215A (ja) * 2010-03-24 2011-10-13 Fujifilm Corp 撮像装置およびその制御方法
JP2013053962A (ja) * 2011-09-05 2013-03-21 Sharp Corp カメラシステム、衝突予測システム、駐車ガイドシステム
JP2013070177A (ja) 2011-09-21 2013-04-18 Toshiba Alpine Automotive Technology Corp 車載用カメラ
JP2016217944A (ja) * 2015-05-22 2016-12-22 シャープ株式会社 計測装置、および計測方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3606063A4

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200401819A1 (en) * 2019-06-22 2020-12-24 Erik Volkerink Image based locationing
US11620832B2 (en) * 2019-06-22 2023-04-04 Hendrik J. Volkerink Image based locationing
DE102020214591B4 (de) 2019-11-27 2024-07-18 Mitsubishi Electric Corporation Fahrzeugnetzwerksystem
WO2022163307A1 (ja) * 2021-01-29 2022-08-04 ソニーセミコンダクタソリューションズ株式会社 情報処理システム、情報処理方法、および情報処理装置
DE112022005080T5 (de) 2021-10-18 2024-09-05 Hitachi Astemo, Ltd. Fahrzeugmontiertes bildgebungssystem

Also Published As

Publication number Publication date
EP3606063A4 (en) 2020-02-05
CN110574357A (zh) 2019-12-13
EP3606063A1 (en) 2020-02-05
US20200108774A1 (en) 2020-04-09
JP7196063B2 (ja) 2022-12-26
JPWO2018180579A1 (ja) 2020-02-13
US10864855B2 (en) 2020-12-15
CN110574357B (zh) 2021-10-22

Similar Documents

Publication Publication Date Title
JP7196063B2 (ja) 撮像制御装置、および撮像制御装置の制御方法、並びに移動体
US11076141B2 (en) Image processing device, image processing method, and vehicle
JP6819681B2 (ja) 撮像制御装置および方法、並びに車両
JP6819680B2 (ja) 撮像制御装置および方法、並びに車両
JP6834964B2 (ja) 画像処理装置、画像処理方法、およびプログラム
WO2017057044A1 (ja) 情報処理装置及び情報処理方法
JP6764573B2 (ja) 画像処理装置、画像処理方法、およびプログラム
US11585898B2 (en) Signal processing device, signal processing method, and program
WO2019163315A1 (ja) 情報処理装置、撮像装置、及び撮像システム
US20200349367A1 (en) Image processing device, image processing method, and program
JP6922169B2 (ja) 情報処理装置および方法、車両、並びに情報処理システム
WO2019035391A1 (en) SERVER, METHOD, NON-TRANSIENT COMPUTER-READABLE MEDIUM, AND SYSTEM
US20230186651A1 (en) Control device, projection system, control method, and program
WO2022097470A1 (ja) 信号処理装置、撮像装置及び信号処理方法
WO2020255589A1 (ja) 情報処理装置、情報処理方法及びプログラム
WO2020116204A1 (ja) 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体
WO2020195969A1 (ja) 情報処理装置、情報処理方法及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18777554

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019509275

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2018777554

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2018777554

Country of ref document: EP

Effective date: 20191031