Nothing Special   »   [go: up one dir, main page]

WO2018086348A1 - 双目立体视觉系统及深度测量方法 - Google Patents

双目立体视觉系统及深度测量方法 Download PDF

Info

Publication number
WO2018086348A1
WO2018086348A1 PCT/CN2017/088492 CN2017088492W WO2018086348A1 WO 2018086348 A1 WO2018086348 A1 WO 2018086348A1 CN 2017088492 W CN2017088492 W CN 2017088492W WO 2018086348 A1 WO2018086348 A1 WO 2018086348A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
dual port
port ram
image
coordinate
Prior art date
Application number
PCT/CN2017/088492
Other languages
English (en)
French (fr)
Inventor
窦仁银
叶平
李嘉俊
Original Assignee
人加智能机器人技术（北京）有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 人加智能机器人技术（北京）有限公司 filed Critical 人加智能机器人技术（北京）有限公司
Publication of WO2018086348A1 publication Critical patent/WO2018086348A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
    • G01C11/08—Interpretation of pictures by comparison of two or more pictures of the same area the pictures not being supported in the same relative position as when they were taken

Definitions

  • the invention relates to the technical field of 3D sensing measurement, in particular to a binocular stereo vision system and a depth measuring method.
  • Binocular stereo vision is an important branch of computer vision, that is, two or one camera (CCD/CMOS) at different positions are moved or rotated to shoot the same scene, and the parallax of the two points in the two images is calculated.
  • the three-dimensional coordinate value of the point is calculated.
  • the measurement methods are currently mainly divided into active 3D measurement and passive 3D measurement.
  • the main principle of active 3D measurement is to generate structured coded light through the optical system, to obtain three-dimensional structure through decoding through imaging, and another TOF (Time offlight), which is a time-of-flight 3D imaging technology, mainly by measuring the transmitted beam and returning. The phase difference between the beams is measured for distance.
  • the main application scenarios for active 3D measurement are indoor somatosensory interaction or indoor robots. Outdoors, because of the sunlight, cause a lot of infrared light in the ambient light, which makes it impossible to produce effective measurements. Therefore, the passive binocular stereo system is a suitable choice and can also be extended to indoor use.
  • the current common scheme of binocular stereo vision system is divided into two types: one is binocular + high performance PC mode; the other is binocular + high performance GPU mode.
  • the main reason for adopting the above scheme is that the algorithm involved in passive binocular stereo vision is very complex, so a very powerful arithmetic unit is required.
  • the selection of the above computing system has the following disadvantages: high cost, difficulty in miniaturization, dynamic load of the computing unit makes real-time performance limited, and it is difficult to ensure consistent real-time performance.
  • the binocular stereo vision system and the depth measuring method provided by the invention
  • the method is implemented by FPGA platform, with high integration and fast processing speed, meeting the requirements of real-time, and bringing binocular stereo vision technology to a commercial level.
  • a depth measurement method for a binocular stereo vision system includes: generating a synchronization trigger signal, and transmitting the synchronization trigger signal to a left image acquisition unit and a right image acquisition unit;
  • the pixel points output by the left image acquisition unit and the right image acquisition unit are sequentially input to the first dual port RAM and the second dual port RAM, respectively; and the pixel points in the first dual port RAM are read for distortion and stereo correction Processing, the pixel value of the first corrected coordinate is input into the third dual port RAM, and at the same time, the pixel in the second dual port RAM is read for distortion and stereo correction processing, and the pixel value of the second corrected coordinate is input to the fourth.
  • a dual port RAM reading a pixel in the third dual port RAM and the fourth dual port RAM for stereo matching, obtaining a disparity of a pixel corresponding to the matching between the left image and the right image; and obtaining a pixel according to the parallax Corresponding real physical depth.
  • the depth measurement method for the binocular stereo vision system provided by the invention is implemented by using an FPGA platform, and the image acquisition preprocessing, correction and processing core output are integrated, and the concurrency and pipeline design of the FPGA are used to improve the whole processing.
  • the rate of the process meets the requirements of real-time.
  • the current frame rate is 720p@30fps, 480p@120fps, and higher performance parameters can be achieved while improving FPGA resources.
  • the solution of this embodiment achieves the level of consumption level available in both performance and cost.
  • the reading the pixel points in the first dual port RAM for distortion and stereo correction processing, and obtaining the pixel values of the first corrected coordinates into the third dual port RAM including: according to pre-calibrated internal parameters and distortion Parameter calculating a first original coordinate of the first correction coordinate in the left figure; reading a pixel value of a pixel adjacent to the coordinate of the first original image from the first dual port RAM; Converting a pixel value and a decimal point component of the first original image coordinate to obtain a pixel value of the first corrected coordinate, and inputting a third dual port RAM; and reading the second dual port RAM
  • the pixel is subjected to distortion and stereo correction processing, and the pixel value of the second corrected coordinate is input into the fourth dual port RAM, including: calculating the second corrected coordinate according to the pre-calibrated internal parameter and the distortion parameter, and corresponding to the second original in the right image Graph coordinates; reading pixel values of pixel points adjacent to the second original image coordinates from the second dual port RAM; performing double based on the read
  • performing bilinear interpolation according to the read pixel value and the decimal point component of the first original image coordinate to obtain the pixel value of the first corrected coordinate including: according to the read pixel value and the a decimal point component of the first original image coordinate is calculated by a fixed point calculation to obtain a bilinear difference value, and a pixel value of the first corrected coordinate is obtained; and the decimal point component is performed according to the read pixel value and the second original image coordinate Bilinear interpolation, obtaining the pixel value of the second correction coordinate, comprising: performing a bilinear difference value by using a fixed point calculation according to the read pixel value and the decimal point component of the second original image coordinate, to obtain the The pixel value of the two corrected coordinates.
  • the reading the pixel points in the third dual port RAM and the fourth dual port RAM for stereo matching, and obtaining the parallax of the pixel corresponding to the matching between the left image and the right image including: reading the The pixel in the third dual port RAM is convoluted to the left image by using the set convolution kernel to obtain the gradient information of the pixel in the left image, and at the same time, the pixel in the fourth dual port RAM is read.
  • the convolution operation is performed on the image of the right image by using the set convolution kernel to obtain the gradient information of the pixel points in the right image; according to the gradient information of the pixel points on the left image and the gradient information of the pixel points on the right image, it is found in the right image and left.
  • the pixels matched by the pixel points are used as the first matching cost result, and the left picture disparity is obtained according to the first matching cost result of the left picture pixel point and the right picture; meanwhile, according to the gradient information of the left picture pixel point and the gradient of the right picture pixel point Information, in the left picture, find the pixel point matching the pixel of the right picture as the second matching cost result, and obtain the right picture disparity according to the second matching cost result of the right picture pixel and the left picture; select the left picture disparity and the FIG output as parallax disparity.
  • the convolution kernel is a sobel gradient operator.
  • the pixel point matching the pixel point of the left figure is found as the first matching cost result in the right picture, including: calculating the left picture pixel point
  • the degree information is compared with the SAD value of the gradient information of all the pixels in the aggregate window in the right figure, and the pixel with the smallest SAD value is selected as the first matching cost result;
  • the gradient information of the pixel according to the left picture and the pixel of the right picture Gradient information, in the left picture, find the pixel point matching the pixel of the right picture as the second matching cost result, including: calculating the gradient information of the pixel of the right picture and the SAD value of the gradient information of all the pixels in the aggregate window in the left figure.
  • the pixel with the smallest SAD value is selected as the second matching cost result.
  • the obtaining the real physical depth corresponding to the pixel point according to the parallax comprises: performing floating point operation using DSP resources in the FPGA according to the focal length and the baseline in the calibration parameter and the parallax, and obtaining the true corresponding to the pixel point Physical depth.
  • the present invention provides a binocular stereo vision system, including: a left image acquisition unit, a right image acquisition unit, a processing unit, and a data output interface; the left image acquisition unit, the right image acquisition unit, and the data output interface are respectively connected to the processing unit; the left image acquisition unit includes a first lens and a first image sensor; the right image acquisition unit includes a second lens and a second image sensor; the processing unit includes: a binocular synchronization module, a data acquisition module, a distortion and stereo correction module, a stereo matching module, a depth calculation module, and An output interface module; the binocular synchronization module is configured to generate a synchronization trigger signal, and send the synchronization trigger signal to a left image acquisition unit and a right image acquisition unit; the data acquisition module is configured to acquire the left image acquisition unit And the pixel points output by the right image acquisition unit are sequentially input to the first dual port RAM and the second dual port RAM, respectively; the distortion and stereo correction module is configured to read pixel points in the
  • the binocular stereo vision system provided by the invention uses FPGA as an actual operation processing unit, integrates image transmission, correction and output interfaces, so that the binocular stereo vision system can be highly integrated, making miniaturization possible, using customized circuits.
  • the parallel acceleration and pipeline method ensure the minimum delay of the system and obtain high real-time performance.
  • the real-time performance is guaranteed because of the exclusiveness of computing resources.
  • a light filling unit is further included, the light filling unit is connected to the processing unit, and the light filling unit is configured to emit a fill light according to the control of the processing unit.
  • Fill light units can be used in low light or dark environments to achieve better image quality.
  • the light source of the light-filling unit is an infrared light source or a visible light source.
  • the method further includes a light brightness sensor, wherein the light brightness sensor is connected to the light filling unit, wherein the light brightness sensor is configured to detect ambient light brightness, and control the light filling unit to perform light filling according to the detection result.
  • a light brightness sensor is connected to the light filling unit, wherein the light brightness sensor is configured to detect ambient light brightness, and control the light filling unit to perform light filling according to the detection result.
  • a texture enhancement unit is further included, the texture enhancement unit being coupled to the processing unit, the texture enhancement unit for transmitting structured light in accordance with control of the processing unit.
  • the light source of the texture enhancement unit is an infrared light source or a visible light source.
  • an IR filter is installed between the first lens and the first image sensor, between the second lens and the second image sensor.
  • FIG. 1 is a flow chart of a depth measurement method for a binocular stereo vision system provided by the embodiment
  • 2 is a binocular synchronization module in a binocular stereo vision system provided by the embodiment
  • Figure 3 is a flow chart of the generation of a synchronous trigger signal
  • Figure 5 is a coordinate relationship between distortion and stereo correction processing
  • 6 is a distortion and stereo correction processing module in the binocular stereo vision system provided by the embodiment.
  • FIG. 8 is a stereo matching module in a binocular stereo vision system according to an embodiment
  • FIG. 9 is a depth calculation module in a binocular stereo vision system provided by the embodiment.
  • FIG. 10 is a structural block diagram of a binocular stereo vision system provided by the embodiment.
  • 11 is an output structure module in a binocular stereo vision system provided by the embodiment.
  • FIG. 12 is an imaging schematic diagram of a binocular stereo vision system
  • FIG. 13 is a schematic diagram of an application scenario of a binocular stereo vision system integrated in a human body wearable device according to the embodiment.
  • FIG. 14 is a schematic diagram of an application scenario of a binocular stereo vision system integrated on a drone according to the embodiment
  • FIG. 15 is a schematic diagram of an application scenario of a binocular stereo vision system integrated in a mobile robot according to an embodiment of the present invention.
  • a depth measurement method for a binocular stereo vision system includes:
  • step S1 a synchronization trigger signal is generated, and the synchronization trigger signal is sent to the left image acquisition unit and the right image acquisition unit.
  • the left image acquisition unit and the right image acquisition unit together form a binocular imaging system.
  • Step S2 Acquire pixel points output by the left image acquisition unit and the right image acquisition unit, and sequentially input the first dual port RAM and the second dual port RAM, respectively.
  • Step S3 reading pixel points in the first dual port RAM for distortion and stereo correction processing, obtaining pixel values of the first corrected coordinates, inputting the third dual port RAM, and simultaneously reading pixel points in the second dual port RAM. Distortion and stereo correction processing, the pixel value of the second corrected coordinate is input to the fourth dual port RAM.
  • step S4 the pixels in the third dual port RAM and the fourth dual port RAM are read for stereo matching, and the parallax of the pixel corresponding to the matching between the left image and the right image is obtained.
  • step S5 the real physical depth corresponding to the pixel point is obtained according to the parallax.
  • the depth measurement method for the binocular stereo vision system provided by the embodiment is implemented by using an FPGA platform, and the image acquisition preprocessing, correction, and processing core output are integrated, and the concurrency and pipeline design of the FPGA are used to improve the whole.
  • the processing rate meets the requirements of real-time performance.
  • the current frame rate is 720p@30fps, 480p@120fps, and higher performance parameters can be achieved while improving FPGA resources.
  • the solution of this embodiment achieves the level of consumption level available in both performance and cost.
  • step S1 is to generate a synchronization trigger signal for the left image acquisition unit and the right image acquisition unit, so that the CMOS sensors in the left image acquisition unit and the right image acquisition unit can start exposure simultaneously, and step S1 is implemented by using an FPGA hardware circuit.
  • the synchronization trigger signal is generated accurately and periodically according to the frame rate of the CMOS sensor.
  • the implementation of step S1 is as shown in FIG. 2, and a synchronous trigger signal is generated by a counter, and a high-frequency base clock is used as an input. When the enable signal is valid, counting starts, and when the upper limit is reached, a synchronous trigger signal is generated.
  • Synchronous trigger The specific flow generated by the number is shown in Figure 3. First, the counter is initialized to clear; then, the enable signal is detected. If the enable signal is 1, the counting starts; when the count value reaches the set upper limit T, the output synchronous trigger The signal, while the counter is cleared, enters the next round of counting.
  • step S2 is to obtain image data output by the CMOS sensor in the left image acquisition unit and the right image acquisition unit.
  • the specific implementation in the FPGA is as shown in FIG. 4, and each of CMOS1 and CMOS2 has its own pixel clock. Different clocks respectively input data into the respective FIFOs, and then sequentially output to the first dual port RAM and the second dual port RAM pixel by pixel under the same clock to achieve synchronization of the pixels of the CMOS1 and CMOS2 acquisition outputs.
  • the data collection method used in this embodiment is different from the traditional software-side frame buffer collection mechanism. The method used in this embodiment does not perform excessive image buffering (the traditional method needs to save one or more frames of images and then perform subsequent processing). The received pixel output is processed in the next step in time.
  • FIG. 12 is an imaging principle diagram of a binocular stereo vision system.
  • a point P(x, y, z) in space, the imaging coordinates in the left image acquisition unit and the right image acquisition unit are respectively P1 (x1, y1, z1).
  • P2 x2, y2, z2). Since the binocular imaging system is distorted during the imaging process, and the left image acquisition unit and the right image acquisition unit are difficult to parallelize the optical axis, the left and right images of the output are difficult to achieve planar alignment, so it is necessary to perform the stereo matching.
  • the distortion of step S3 and the stereo correction process are performed to ensure that the image is undistorted and satisfies the polar line constraint.
  • the distortion parameters and the external parameters of the binocular imaging system are obtained by double target calibration, and the following parameters are obtained after calibration:
  • f is the focal length
  • k is the radial distortion
  • p is the tangential distortion
  • x is the image lateral coordinate
  • y is the image longitudinal coordinate
  • ⁇ , ⁇ , and ⁇ are rotation amounts corresponding to the x, y, and z axes, respectively.
  • mapping relationship between the corrected image coordinates (u, v) and the pre-correction image (u", v") can be obtained.
  • the specific calculation steps are as follows:
  • Step2 rotate the image plane
  • x" x'(1+k 1 r 2 +k 2 r 2 +k 3 r 6 )+2plx'y'+p 2 (r 2 +2x' 2 )
  • (u, v) is an integer
  • (u", v") is a floating point number, as shown in Fig. 5
  • ⁇ , ⁇ are the fractional parts of u" and v", respectively, which can be corrected by bilinear interpolation.
  • the pixel value d at the image position (u, v) is calculated as:
  • A, B, C, and D are (u", v") coordinate positions corresponding to pixel values at four coordinate points of the neighbor.
  • the distortion correction and stereo correction processing of the left and right images are finally converted into coordinate mapping and bilinear interpolation operation, and the simultaneous and stereo correction processing of the left and right images greatly improves the processing efficiency.
  • the processing mode of the left figure as an example, the preferred mode of step S3 is:
  • Step S31 calculating the first correction coordinate according to the pre-calibrated internal parameter and the distortion parameter in the left figure Corresponding first original image coordinates;
  • Step S32 reading pixel values of pixel points adjacent to the coordinates of the first original image from the first dual port RAM;
  • Step S33 performing bilinear interpolation according to the read pixel value and the decimal point component in the first original image coordinate, obtaining the pixel value of the first corrected coordinate, and inputting the third dual port RAM.
  • the image buffer write logic module continuously writes the pixel points received by the front end to the dual port RAM, and when the image coordinate incrementing module receives the start signal, starts to trigger the real-time coordinate mapping calculation module to work, and calculates the first corrected coordinates of the corrected image one by one (or The second correction coordinate corresponds to the first original image coordinate (or the second original image coordinate) in the left image (or the right image), and simultaneously inputs the first original image coordinate into the coordinate address mapping module and the pixel value reading module, and further Reading the pixel value of the pixel adjacent to the coordinate of the first original image in the dual port RAM, and then the bilinear interpolation module is based on the obtained plurality of pixel values and the first original image coordinate (or the second original image coordinate) The decimal point component is interpolated to obtain the pixel value of the first corrected coordinate (or the second corrected coordinate), and so on, the pixel value corresponding to the next coordinate of the corrected image is calculated.
  • the speed of the image incrementing unit is limited by the writing speed of the front-end dual-
  • appropriate pixel points may be selected among adjacent points according to various algorithms, and generally 2 ⁇ 2 forms are used to take adjacent four pixel points. You can also use 3 ⁇ 3 forms. Using 2 ⁇ 2 form interpolation can generally ensure that the image is not excessively smooth after interpolation.
  • Figure 7 shows the FPGA circuit design of the entire real-time coordinate mapping calculation module.
  • the basic addition, subtraction, multiplication and division of the basic unit is used for calculation, which greatly increases the calculation rate.
  • the floating point calculation is converted into fixed point calculation, and the 6-bit fixed point is used to convert the floating point operation into an integer operation and a shift operation.
  • the specific calculation method is:
  • Tmp1 (A-B)*a+(B ⁇ 6)
  • the main function of the step S4 is to receive the corrected data of the front end for stereo matching, which specifically includes:
  • Step S41 reading a pixel point in the third dual port RAM, performing convolution operation on the image by using the set convolution kernel, obtaining gradient information of the pixel point in the left figure, and reading the pixel in the fourth dual port RAM.
  • Point use the set convolution kernel to convolute the image to obtain the gradient information of the pixel in the right image.
  • the left image and the right image are simultaneously convoluted, which greatly improves the processing efficiency.
  • the convolution kernel is preferably a sobel gradient operator.
  • the advantage of using the sobel gradient operator is that it is insensitive to absolute brightness according to its established feature description, so that the left and right cameras can still establish a good match in the case of different imaging brightness.
  • Step S42 according to the gradient information of the pixel point of the left picture and the gradient information of the pixel of the right picture, find the pixel point matching the pixel point of the left picture as the first matching cost result in the right picture, according to the left picture pixel point and the right picture
  • the first matching cost result obtains the left image disparity; meanwhile, according to the gradient information of the left pixel and the gradient information of the right pixel, the pixel matching the pixel of the right image is found in the left image as the second matching cost.
  • the right picture disparity is obtained from the second matching cost result of the right picture pixel and the left picture.
  • step S43 one of the left image disparity and the right image disparity is selected as the parallax output.
  • the overall design framework of the above stereo matching method is shown in FIG. 8.
  • the stereo matching algorithm requires a large storage space.
  • the stereo matching algorithm is designed for the FPGA, which greatly reduces the storage requirements.
  • the processing flow is:
  • the sobel gradient calculation is performed separately to obtain the gradient information of the pixel points in the left and right images.
  • the left-picture disparity is obtained according to the coordinate distance between the pixel point of the left picture and the first matching cost result of the right picture, and the right picture disparity is obtained by the same method.
  • one of the left-picture disparity and the right-picture disparity is selected as the parallax output, and the output is median-filtered.
  • the size and shape of the polymerization window can be selected according to actual needs.
  • the relative size relationship of the image is used instead of the absolute size in the feature point selection in the stereo matching process, so the applicability to the environment is stronger.
  • step S5 uses the DSP resources in the FPGA to perform floating-point operations, and is calculated as pipeline processing, so the resource consumption is only one multiplier and one divider.
  • the embodiment further provides a binocular stereo vision system, as shown in FIG. 10, including: a left image acquisition unit, a right image acquisition unit, a processing unit, and a data output interface;
  • the image acquisition unit, the right image acquisition unit, and the data output interface are respectively connected to the processing unit.
  • the left image acquisition unit includes a first lens and a first image sensor; the right image acquisition unit includes a second lens and a second image sensor.
  • the left image acquisition unit and the right image acquisition unit form a binocular imaging unit.
  • the first image sensor and the second image sensor may be selected from CMOS or CCD.
  • the processing unit includes: a binocular synchronization module, a data acquisition module, a distortion and stereo correction module, a stereo matching module, a depth calculation module, and an output interface module.
  • the binocular synchronization module is configured to generate a synchronization trigger signal and send the synchronization trigger signal to the left image acquisition unit and the right image acquisition unit.
  • the data acquisition module is configured to acquire pixel points output by the left image acquisition unit and the right image acquisition unit, and sequentially input the first dual port RAM and the second dual port RAM, respectively.
  • the distortion and stereo correction module is configured to read pixel points in the first dual port RAM for distortion and stereo correction processing, obtain pixel values of the first corrected coordinates, input the third dual port RAM, and simultaneously read the second dual port RAM. Distortion and stereo correction processing of the pixel points to obtain the second corrected coordinates The pixel value is entered in the fourth dual port RAM.
  • the stereo matching module is configured to read the pixel points in the third dual port RAM and the fourth dual port RAM for stereo matching, and obtain the parallax of the pixel corresponding to the matching between the left image and the right image.
  • the depth calculation module is configured to obtain a real physical depth corresponding to the pixel point according to the parallax.
  • the output interface module is used to select the output data, and configure different interfaces according to the protocol corresponding to the data output interface. As shown in Figure 11, the output interface module can select various original images, intermediate processed images, and final result output as needed, and can also customize different output interfaces to adapt to different data output interfaces, such as LVDS. , USB, etc.
  • the binocular stereo vision system provided by the embodiment uses an FPGA as an actual operation processing unit, and integrates an image transmission, correction, and output interface, so that the binocular stereo vision system can be highly integrated, making miniaturization possible, using customized The circuit performs calculations. On the one hand, it guarantees the minimum delay of the system through parallel acceleration and pipeline, and obtains high real-time performance. On the other hand, the real-time performance is guaranteed because of the exclusiveness of computing resources.
  • the binocular stereo vision system provided in this embodiment further includes a fill-in unit, the fill-light unit is connected to the processing unit, and the processing unit can control the fill-in unit to have insufficient external illumination. Illuminate to get better image quality.
  • the light source of the fill light unit may be in the near infrared band or in the visible light band.
  • the binocular stereo vision system provided by the embodiment further includes a texture enhancement unit, and the texture enhancement unit is connected with the processing unit, and the texture enhancement unit integrates the structure light projection module, and can be opened in the weak texture region, considering the weak texture region in the environment.
  • the structured light projection module emits structured light, such as stripes or random spots, which enhances the ambient light texture and improves the accuracy of the measurement.
  • an IR filter is installed between the first lens and the first image sensor and between the second lens and the second image sensor, and the IR filter functions to filter out the infrared light.
  • the first lens and the second lens are camera-specific lenses, and the near-infrared filtering film is not attached to the lens, so that the near-infrared can be transmitted; the IR filter can be used when the infrared filling unit and the infrared texture enhancing unit are not used.
  • the switch is turned on, turning off the IR filter switch when you need to use the near-infrared band to fill or replenish the texture.
  • the binocular stereo vision system provided by the embodiment has small volume and high real-time data processing, it can be integrated in various human body wearable devices.
  • FIG. 13 a schematic diagram of an application scenario in which a binocular stereo vision system of the present embodiment is integrated in a human body wearable device is provided.
  • the binocular stereo vision system is integrated in the glasses worn by the user, and is synchronized by two front cameras.
  • Shooting a rangefinder image of the ranging target The depth measurement method integrated in the binocular stereo vision system processes the ranging images of the two front camera synchronously shooting ranging targets, and obtains the distance between the ranging target and the imaging planes of the two front cameras. Combined with the focal length of the front camera and other parameters, the linear distance between the distance measuring target and the user is obtained, and the distance of each target in the human eye field is displayed in real time through the display on the glasses.
  • the binocular stereo vision system provided by the present example is small in size and high in real-time data processing, it can be integrated on the drone to add a three-dimensional visual perception function to the drone.
  • FIG. 14 a schematic diagram of an application scenario in which the binocular stereo vision system 100 of the present embodiment is integrated on a drone is provided, and the binoculars are placed in the flight direction of the drone to provide a flight direction obstacle perception for the drone.
  • Function, as shown in Fig. 14 in the front end of the UAV A binocular stereo vision system 100 the distance from the drone B can be obtained, and the binocular original image can be used as the front end of the visual odometer to provide mileage information for the flight.
  • the binocular stereo vision system 100 is placed in the downward viewing direction of the drone, and the functions of the drone height setting and topographic mapping can be completed based on the depth map.
  • binocular is one of the important sensors as the SLAM (Simultaneous Localization and Mapping).
  • the binocular stereo vision system provided in this example can be used as the front sensor of SLAM.
  • the depth map outputted in real time can be used as the basic data of the obstacle avoidance navigation and path planning of the robot 200.
  • the robot 200 obtains the depth map by the front-end binocular stereo vision system to obtain the obstacles around, and finally obtains the destination. Path 201 of 202.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

属于3D传感测量技术领域的一种双目立体视觉系统及深度测量方法。用于双目立体视觉系统的深度测量方法包括：产生同步触发信号，发送给左图像采集单元和右图像采集单元(S1)；采用FPGA的流水和并行设计，对左图像采集单元和右图像采集单元输出的像素点进行畸变与立体矫正处理(S3)、立体匹配后得到左图与右图匹配对应的像素点的视差(S4)，最后根据视差得到像素点对应的真实物理深度(S5)。双目立体视觉系统及深度测量方法，选用了FPGA平台实现，集成度高、处理速度快，满足了实时性的要求，将双目立体视觉技术带到可商用的级别。

Description

双目立体视觉系统及深度测量方法 技术领域
本发明涉及3D传感测量技术领域，具体涉及一种双目立体视觉系统及深度测量方法。
背景技术
双目立体视觉是计算机视觉的一个重要分支，即由不同位置的两台或者一台摄像机(CCD/CMOS)经过移动或旋转拍摄同一幅场景，通过计算空间点在两幅图像中的视差，获得该点的三维坐标值。测量方式目前主要分为主动3D测量和被动3D测量。
目前主动3D测量主要原理为通过光学系统打出有结构编码的光，通过成像通过解码获取三维结构，另外一种TOF(Time offlight)，即飞行时间法3D成像技术，主要通过测量发送的光束与返回光束之间的相位差进行距离测量。主动式的3D测量主要应用场景为室内的体感交互或是室内机器人。在室外因为阳光导致环境光中含有大量红外光，导致无法产生有效的测量。因此被动式的双目立体系统是比较合适的选择，并且也可以扩展到室内使用。
关于双目立体视觉的研究已经很多年了，学术界提出了很多种算法，也取得了不错的结果，但目前存在的最大的问题是：还没有很好的平台能承载算法的实时性运算需求，通常能取得比较好效果的算法运算量更加大。
目前的双目立体视觉系统的常见方案分为两种：其一为双目+高性能PC方式；其二为双目+高性能GPU方式。采用上述方案的主要原因在于被动式双目立体视觉涉及到的算法复杂度很高，因此需要很强劲的运算单元。选用以上的运算系统有以下几个缺点：成本高，难以小型化，运算单元的动态负载使得实时性有限，很难保证一致的实时性。
发明内容
针对现有技术中的缺陷，本发明提供的双目立体视觉系统及深度测量方 法，选用了FPGA平台实现，集成度高、处理速度快，满足了实时性的要求，将双目立体视觉技术带到可商用的级别。
第一方面，本发明提供的一种用于双目立体视觉系统的深度测量方法，包括：产生同步触发信号，并将所述同步触发信号发送给左图像采集单元和右图像采集单元；获取所述左图像采集单元和所述右图像采集单元输出的像素点，分别顺序输入第一双端口RAM和第二双端口RAM；读取所述第一双端口RAM中的像素点进行畸变与立体矫正处理，得到第一校正坐标的像素值输入第三双端口RAM，同时，读取所述第二双端口RAM中的像素点进行畸变与立体矫正处理，得到第二校正坐标的像素值输入第四双端口RAM；读取所述第三双端口RAM和所述第四双端口RAM中的像素点进行立体匹配，得到左图与右图匹配对应的像素点的视差；根据所述视差得到像素点对应的真实物理深度。
本发明提供的用于双目立体视觉系统的深度测量方法，选用了FPGA平台实现，将图像采集预处理、矫正以及处理核输出均集成进去，使用FPGA的并发性以及流水线设计，提高了整个处理流程的速率，满足了实时性的要求，目前已达到的帧率为720p@30fps，480p@120fps，并在提升FPGA资源的情况下能达到更高的性能参数。相比采用专用的GPU芯片的实现方式，本实施例的方案在性能和成本上均达到消费级可用的级别。
优选地，所述读取所述第一双端口RAM中的像素点进行畸变与立体矫正处理，得到第一校正坐标的像素值输入第三双端口RAM，包括：根据预先标定的内参数和畸变参数计算第一校正坐标在左图中对应的第一原图坐标；从所述第一双端口RAM中读取与所述第一原图坐标相邻的像素点的像素值；根据读取的像素值和所述第一原图坐标的小数点分量进行双线性插值，得到所述第一校正坐标的像素值，并输入第三双端口RAM；所述读取所述第二双端口RAM中的像素点进行畸变与立体矫正处理，得到第二校正坐标的像素值输入第四双端口RAM，包括：根据预先标定的内参数和畸变参数计算第二校正坐标在右图中对应的第二原图坐标；从所述第二双端口RAM中读取与所述第二原图坐标相邻的像素点的像素值；根据读取的像素值和所述第二原图坐标的小数点分量进行双线性插值，得到所述第二校正坐标的像素值，并输入第四双端口RAM。
优选地，所述根据读取的像素值和所述第一原图坐标的小数点分量进行双线性插值，得到所述第一校正坐标的像素值，包括：根据读取的像素值和所述第一原图坐标的小数点分量，采用定点计算完成双线性差值，得到所述第一校正坐标的像素值；所述根据读取的像素值和所述第二原图坐标的小数点分量进行双线性插值，得到所述第二校正坐标的像素值，包括：根据读取的像素值和所述第二原图坐标的小数点分量，采用定点计算完成双线性差值，得到所述第二校正坐标的像素值。
优选地，所述读取所述第三双端口RAM和所述第四双端口RAM中的像素点进行立体匹配，得到左图与右图匹配对应的像素点的视差，包括：读取所述第三双端口RAM中的像素点，使用设定的卷积核对左图图像进行卷积运算，得到左图中像素点的梯度信息，同时，读取所述第四双端口RAM中的像素点，使用设定的卷积核对右图图像进行卷积运算，得到右图中像素点的梯度信息；根据左图像素点的梯度信息和右图像素点的梯度信息，在右图中找到与左图像素点匹配的像素点作为第一匹配代价结果，根据左图像素点和右图的第一匹配代价结果得到左图视差；同时，根据左图像素点的梯度信息和右图像素点的梯度信息，在左图中找到与右图像素点匹配的像素点作为第二匹配代价结果，根据右图像素和左图的第二匹配代价结果得到右图视差；选择所述左图视差和所述右图视差中的一个作为视差输出。
优选地，所述卷积核为sobel梯度算子。
优选地，所述根据左图像素点的梯度信息和右图像素点的梯度信息，在右图中找到与左图像素点匹配的像素点作为第一匹配代价结果，包括：计算左图像素点的度信息与右图中聚合窗内所有像素点的梯度信息的SAD值，选取SAD值最小的像素点作为第一匹配代价结果；所述根据左图像素点的梯度信息和右图像素点的梯度信息，在左图中找到与右图像素点匹配的像素点作为第二匹配代价结果，包括：计算右图像素点的梯度信息与左图中聚合窗内所有像素点的梯度信息的SAD值，选取SAD值最小的像素点作为第二匹配代价结果。
优选地，所述根据所述视差得到像素点对应的真实物理深度，包括：根据标定参数中的焦距和基线以及所述视差，使用FPGA中的DSP资源进行浮点运算，得到像素点对应的真实物理深度。
第二方面，本发明提供的一种双目立体视觉系统，包括：左图像采集单元、 右图像采集单元、处理单元、数据输出接口；所述左图像采集单元、所述右图像采集单元、所述数据输出接口分别与所述处理单元连接；所述左图采集单元包括第一镜头和第一图像传感器；所述右图采集单元包括第二镜头和第二图像传感器；所述处理单元包括：双目同步模块、数据采集模块、畸变与立体矫正模块、立体匹配模块、深度计算模块和输出接口模块；所述双目同步模块用于产生同步触发信号，并将所述同步触发信号发送给左图像采集单元和右图像采集单元；所述数据采集模块用于获取所述左图像采集单元和所述右图像采集单元输出的像素点，分别顺序输入第一双端口RAM和第二双端口RAM；所述畸变与立体矫正模块用于读取所述第一双端口RAM中的像素点进行畸变与立体矫正处理，得到第一校正坐标的像素值输入第三双端口RAM，同时，读取所述第二双端口RAM中的像素点进行畸变与立体矫正处理，得到第二校正坐标的像素值输入第四双端口RAM；所述立体匹配模块用于读取所述第三双端口RAM和所述第四双端口RAM中的像素点进行立体匹配，得到左图与右图匹配对应的像素点的视差；所述深度计算模块用于根据所述视差得到像素点对应的真实物理深度；所述输出接口模块用于选择输出的数据，同时根据所述数据输出接口对应的协议配置不同的接口。
本发明提供的双目立体视觉系统，使用FPGA作为实际运算处理单元，集成了图像传输、矫正、输出接口，使得双目立体视觉系统可以做到高度集成，使得小型化成为可能，使用定制的电路进行运算，一方面通过并行加速和流水线方式保证了系统的最小延时，获得较高的实时性，另一方面因为运算资源的独占性，使得实时性得到保障。
优选地，还包括补光单元，所述补光单元与所述处理单元连接，所述补光单元用于根据所述处理单元的控制发射补光。可在低光或黑暗环境中使用补光单元，以获得比较好的成像质量。
优选地，所述补光单元的光源为红外光源或可见光光源。
优选地，还包括光亮度传感器，所述光亮度传感器与所述补光单元连接，所述光亮度传感器用于检测周围的光亮度，根据检测结果控制补光单元进行补光。
优选地，还包括纹理增强单元，所述纹理增强单元与所述处理单元连接，所述纹理增强单元用于根据所述处理单元的控制发射结构光。
优选地，所述纹理增强单元的光源为红外光源或可见光光源。
优选地，所述第一镜头和所述第一图像传感器之间、所述第二镜头和所述第二图像传感器之间装有IR滤镜。
附图说明
图1为本实施例所提供的用于双目立体视觉系统的深度测量方法的流程图；
图2为本实施例所提供的双目立体视觉系统中的双目同步模块；
图3为同步触发信号产生的流程图；
图4为本实施例所提供的双目立体视觉系统中的数据采集模块；
图5为畸变与立体矫正处理前后的坐标关系；
图6为本实施例所提供的双目立体视觉系统中的畸变与立体矫正处理模块；
图7为实时坐标映射计算模块的FPGA电路设计；
图8为本实施例所提供的双目立体视觉系统中的立体匹配模块；
图9为本实施例所提供的双目立体视觉系统中的深度计算模块；
图10为本实施例所提供的双目立体视觉系统的结构框图；
图11为本实施例所提供的双目立体视觉系统中的输出结构模块；
图12为双目立体视觉系统的成像原理图；
图13为本实施例的双目立体视觉系统集成在人体可穿戴设备中的应用场景示意图；
图14为本实施例的双目立体视觉系统集成在无人机上的应用场景示意图；
图15为本实施例的双目立体视觉系统集成在移动机器人中的应用场景示意图。
具体实施方式
下面将结合附图对本发明技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的技术方案，因此只是作为示例，而不能以此来限制本发明的保护范围。
需要注意的是，除非另有说明，本申请使用的技术术语或者科学术语应当为本发明所属领域技术人员所理解的通常意义。
如图1所示，本发明实施例提供的用于双目立体视觉系统的深度测量方法，包括：
步骤S1，产生同步触发信号，并将同步触发信号发送给左图像采集单元和右图像采集单元。
其中，左图像采集单元和右图像采集单元共同组成双目成像系统。
步骤S2，获取左图像采集单元和右图像采集单元输出的像素点，分别顺序输入第一双端口RAM和第二双端口RAM。
步骤S3，读取第一双端口RAM中的像素点进行畸变与立体矫正处理，得到第一校正坐标的像素值输入第三双端口RAM，同时，读取第二双端口RAM中的像素点进行畸变与立体矫正处理，得到第二校正坐标的像素值输入第四双端口RAM。
步骤S4，读取第三双端口RAM和第四双端口RAM中的像素点进行立体匹配，得到左图与右图匹配对应的像素点的视差。
步骤S5，根据视差得到像素点对应的真实物理深度。
本实施例提供的用于双目立体视觉系统的深度测量方法，选用了FPGA平台实现，将图像采集预处理、矫正以及处理核输出均集成进去，使用FPGA的并发性以及流水线设计，提高了整个处理流程的速率，满足了实时性的要求，目前已达到的帧率为720p@30fps，480p@120fps，并在提升FPGA资源的情况下能达到更高的性能参数。相比采用专用的GPU芯片的实现方式，本实施例的方案在性能和成本上均达到消费级可用的级别。
其中，步骤S1的目的是为左图像采集单元和右图像采集单元产生同步触发信号，使得左图像采集单元和右图像采集单元中的CMOS传感器能同步开始曝光，步骤S1使用FPGA硬件电路实现，能根据CMOS传感器的帧率精确周期性地产生同步触发信号。步骤S1的实现方式如图2所示，通过一个计数器实现同步触发信号的生成，使用一个高频基数时钟作为输入，到使能信号有效时，开始计数，达到计数上限时产生同步触发信号。左图像采集单元和右图像采集单元采集图像的帧率相同，比如时钟频率为F(单位：Mhz)，要想达到帧率为m(单位：帧每秒)时，需要的计数上限T为T＝F/m。同步触发信 号产生的具体流程如图3所示，首先，计数器初始化清零；然后，检测使能信号，若使能信号为1，则开始计数；当计数值达到设置的计数上限T时，输出同步触发信号，同时计数器清零，进入下一轮计数。
其中，步骤S2的目的是为了获取左图像采集单元和右图像采集单元中的CMOS传感器输出的图像数据，在FPGA中的具体实现如图4所示，CMOS1和CMOS2各自拥有自己的像素时钟，以不同的时钟分别向各自的FIFO中输入数据，然后在同一个时钟下逐个像素依次输出至第一双端口RAM和第二双端口RAM，以达到同步CMOS1和CMOS2采集输出的像素点。本实施例采用的数据采集方法与传统的软件端采集frame buffer机制不同，本实施例采用的方法不做过多的图像缓存(传统的方式需保存一帧或多帧图像后再进行后续处理)，及时将接收到的像素点输出进行下一步处理。
图12为双目立体视觉系统的成像原理图，空间中的一点P(x,y,z)，在左图像采集单元和右图像采集单元中的成像坐标分别为P1(x1,y1,z1)和P2(x2,y2,z2)。由于双目成像系统在成像过程中会有畸变，且左图像采集单元和右图像采集单元很难做到光轴平行，输出的左、右图像很难实现平面对齐，因此在立体匹配之前需要进行步骤S3的畸变与立体矫正处理，以保证图像无畸变且满足极线约束。畸变参数及双目成像系统的外参数通过双目标定获取，标定后获取以下参数：
(1)左、右成像系统的内参数和畸变参数，左、右成像系统分别有自己的内参数和畸变参数：
内参数：
Figure PCTCN2017088492-appb-000001
畸变参数：
(k1,k2,p1,p2,k3)
其中，f为的焦距，k为径向畸变，p为切向畸变，x为图像横向坐标，y为图像纵向坐标。
(2)外部参数：基线b
(3)立体矫正后的内参(左、右成像系统一致)：
Figure PCTCN2017088492-appb-000002
(4)左、右成像系统的旋转矩阵R(3×3)，立体矫正后图像平面相对于立体矫正前的图像平面包含一个旋转，这个旋转通过旋转矩阵R表示。
R＝Rz*Ry*Rz
Figure PCTCN2017088492-appb-000003
其中，φ、θ与ψ分别为x、y、z轴对应的旋转量。
根据上述标定的参数，可以得到矫正后图像坐标(u,v)到矫正前图像(u”,v”)的映射关系，具体计算步骤如下：
Step1，归一化：
Figure PCTCN2017088492-appb-000004
Step2，旋转图像平面，
Figure PCTCN2017088492-appb-000005
Step3，加入畸变，
y”＝y'(1+k1r2+k2r2+k3r6)+pl(r2+2y'2)+2p2x'y'
x”＝x'(1+k1r2+k2r2+k3r6)+2plx'y'+p2(r2+2x'2)
Step4，计入焦距，
u”＝x”fx+cx
v”＝y”fy+cy
其中，(u,v)为整数，(u”,v”)为浮点数，如图5所示，α,β分别为u”和v”的小数部分，通过双线性插值可以得到矫正后的图像位置(u,v)处的像素值d，具体计算方式为：
d＝A(1-α)(1-β)+Bα(1-β)+C(1-α)β+Dαβ
其中，A、B、C、D为(u”,v”)坐标位置对应近邻的四个坐标点下的像素值。
基于上述畸变与立体矫正处理方法，左右两幅图的畸变矫正和立体矫正处理最终转换为坐标映射以及双线性插值运算，左图与右图同时进行变与立体矫正处理大大提高了处理效率。以左图的处理方式为例，步骤S3的优选方式为：
步骤S31，根据预先标定的内参数和畸变参数计算第一校正坐标在左图中 对应的第一原图坐标；
步骤S32，从第一双端口RAM中读取与第一原图坐标相邻的像素点的像素值；
步骤S33，根据读取的像素值和第一原图坐标中的小数点分量进行双线性插值，得到第一校正坐标的像素值，并输入第三双端口RAM。
上述步骤为针对左图的进行畸变与立体矫正处理的方法，针对右图的处理方法与上述方法相同，在此不再赘述。
如图6所示，是上述畸变与立体矫正处理方法对应的FPGA算法设计。结合图6，整个畸变与立体矫正处理的工作流程如下：
图像缓存写逻辑模块不断将前端接收的像素点写入双端口RAM，当图像坐标递增模块接收到开始信号，开始触发实时坐标映射计算模块工作，逐个计算出校正图像的第一校正坐标(或第二校正坐标)对应在左图(或右图)中的第一原图坐标(或第二原图坐标)，同时将第一原图坐标输入坐标地址映射模块和像素值读取模块，进而从双端口RAM中读取与第一原图坐标相邻的像素点的像素值，然后双线性插值模块根据获取到的多个像素值和第一原图坐标(或第二原图坐标)的小数点分量插值得到第一校正坐标(或第二校正坐标)的像素值，依此类推，计算校正图像的下一个坐标对应的像素值。图像递增单元的速度受限于前端的双端口RAM的写入速度，原因在于校正图像从映射后的原始图像获取像素值时需保证图像缓存中存在映射的像素点。
其中，在原图中选取与第一原图坐标相邻的像素点时，可以根据各种算法在相邻点中选取合适的像素点，一般使用2×2窗体取相邻的四个像素点，也可以使用3×3窗体，使用2×2窗体插值一般能在一定程度上保证插值后图像的不至于过分平滑。
其中，实时坐标映射值计算的具体公式为：
Figure PCTCN2017088492-appb-000006
图7为整个实时坐标映射计算模块的FPGA电路设计，使用基本的加减乘除基本单元进行计算，大大提高了运算速率。
在最终双线性插值计算环节，根据FPGA资源和计算特性，将浮点计算转换为定点计算，使用了6位定点，将浮点运算转换为整数运算和移位运算，具体计算方式为：
a＝64*α
b＝64*β
a＝64-a
b＝64-b
d＝abA+(64-a)bB+a(64-b)C+(64-a)(64-b)D
d＝d＞＞12
tmp1＝(A-B)*a+(B＜＜6)
tmp2＝(C-D)*a+(D＜＜6)
d＝(tmp1-tmp2)*b+(tmp2＜＜6)
d＝d＞＞12
步骤S4的主要作用是接收前端校正后的数据进行立体匹配，具体包括：
步骤S41，读取第三双端口RAM中的像素点，使用设定的卷积核对图像进行卷积运算，得到左图中像素点的梯度信息，同时，读取第四双端口RAM中的像素点，使用设定的卷积核对图像进行卷积运算，得到右图中像素点的梯度信息。
其中，左图与右图同时进行卷积运算，大大提高了处理效率。其中，卷积核优选采用sobel梯度算子，使用sobel梯度算子的优势在于依据其建立的特征描述对绝对亮度不敏感，使得左右相机在成像亮度有差异的情况下依然能建立良好的匹配。
步骤S42，根据左图像素点的梯度信息和右图像素点的梯度信息，在右图中找到与左图的像素点匹配的像素点作为第一匹配代价结果，根据左图像素点和右图的第一匹配代价结果得到左图视差；同时，根据左图像素点的梯度信息和右图像素点的梯度信息，在左图中找到与右图的像素点匹配的像素点作为第二匹配代价结果，根据右图像素和左图的第二匹配代价结果得到右图视差。
步骤S43，选择左图视差和右图视差中的一个作为视差输出。
上述立体匹配方法的整体设计框架如图8所示，通常立体匹配算法需要很大的存储空间，本实施对立体匹配算法进行了针对于FPGA的设计，大大减少了对存储的要求，结合图8其处理流程为：
分别从第三双端口RAM和第四双端口RAM中提取左图和右图的像素点， 分别进行sobel梯度计算，得到左图和右图中的像素点的梯度信息。计算左图的像素点的梯度信息与右图中聚合窗内所有像素点的梯度信息的SAD(Sum of Absolute Differences，差的绝对值的和)值，选取SAD值最小的像素点作为第一匹配代价结果，根据左图的像素点和右图的第一匹配代价结果之间的坐标距离得到左图视差，同时用相同的方法得到右图视差。然后，选择左图视差和右图视差中的一个作为视差输出，并对输出做中值滤波。其中，聚合窗的尺寸和形状可根据实际需求进行选择。本实施例在立体匹配过程中的特征点选取上使用的是图像局部的相对大小关系而不是绝对大小，因此对于环境的适用性更强。
其中，步骤S5的主要作用是根据步骤S4得到的视差恢复出视差图中某一像素点对应的物理真实深度，主要使用标定参数中的焦距f以及基线b，计算公式为z＝f*b/D，其中D为步骤S4得到的视差，z为当前处理的像素点对应的物理真实深度。如图9所示，步骤S5使用FPGA中的DSP资源进行浮点运算，计算为流水处理，因此对资源的消耗仅为一个乘法器与一个除法器。
基于与上述深度测量方法相同的构思，本实施例还提供了一种双目立体视觉系统，如图10所示，包括：左图像采集单元、右图像采集单元、处理单元、数据输出接口；左图像采集单元、右图像采集单元、数据输出接口分别与处理单元连接。
左图采集单元包括第一镜头和第一图像传感器；右图采集单元包括第二镜头和第二图像传感器。左图采集单元和右图像采集单元组成双目成像单元。其中，第一图像传感器和第二图像传感器可以选用CMOS或CCD。
处理单元包括：双目同步模块、数据采集模块、畸变与立体矫正模块、立体匹配模块、深度计算模块和输出接口模块。
双目同步模块用于产生同步触发信号，并将同步触发信号发送给左图像采集单元和右图像采集单元。
数据采集模块用于获取左图像采集单元和右图像采集单元输出的像素点，分别顺序输入第一双端口RAM和第二双端口RAM。
畸变与立体矫正模块用于读取第一双端口RAM中的像素点进行畸变与立体矫正处理，得到第一校正坐标的像素值输入第三双端口RAM，同时，读取第二双端口RAM中的像素点进行畸变与立体矫正处理，得到第二校正坐标的 像素值输入第四双端口RAM。
立体匹配模块用于读取第三双端口RAM和第四双端口RAM中的像素点进行立体匹配，得到左图与右图匹配对应的像素点的视差。
深度计算模块用于根据视差得到像素点对应的真实物理深度。
输出接口模块用于选择输出的数据，同时根据数据输出接口对应的协议配置不同的接口。如图11所示，输出接口模块可以根据需要选择各种原始图像、中间处理图像和最终结果输出，还可以FPGA的硬件可编程特性定制不同的输出接口，以适应不同的数据输出接口，如LVDS、USB等。
本实施例提供的双目立体视觉系统，使用FPGA作为实际运算处理单元，集成了图像传输、矫正、输出接口，使得双目立体视觉系统可以做到高度集成，使得小型化成为可能，使用定制的电路进行运算，一方面通过并行加速和流水线方式保证了系统的最小延时，获得较高的实时性，另一方面因为运算资源的独占性，使得实时性得到保障。
为了使系统能适应低光或黑暗的环境，本实施例提供的双目立体视觉系统还包括补光单元，补光单元与处理单元连接，处理单元可以控制补光单元在外部光照不够的情况下发光，以获得比较好的成像质量。补光单元的光源可以为近红外波段也可以为可见光波段。
考虑到环境中的弱纹理区域，本实施例提供的双目立体视觉系统还包括纹理增强单元，纹理增强单元与处理单元连接，纹理增强单元集成了结构光投射模组，在弱纹理区域可打开结构光投射模组，发出结构光，如条纹或是随机斑点等，增强了环境光纹理，提高了测量的准确度。
为了提高系统的环境适应性，第一镜头和第一图像传感器之间、第二镜头和第二图像传感器之间装有IR滤镜，IR滤镜的作用为滤除红外光。其中，第一镜头和第二镜头均为相机专用镜头，镜头上不加近红外滤出膜，使得近红外能透过；在不使用红外补光单元和红外纹理增强单元时可将IR滤镜开关打开，在需要使用近红外波段进行补光或是补充纹理时关闭红外滤镜开关。
由于本实施例提供的双目立体视觉系统体积小、数据处理实时性高，因此可集成在各种人体可穿戴设备中。如图13所示，给出了本实施例的双目立体视觉系统集成在人体可穿戴设备中的应用场景示意图，双目立体视觉系统集成在用户佩戴的眼镜中，通过两个前置摄像头同步拍摄测距目标的测距图像，通 过集成在双目立体视觉系统中的深度测量方法对这两个前置摄像头同步拍摄测距目标的测距图像进行处理，得到该测距目标与这两个前置摄像头的成像平面的距离，并结合前置摄像头的焦距等参数，获得该测距目标与用户的直线距离，并通过眼镜上的显示器实时显示人眼视场中各个目标的距离。
由于本实例提供的双目立体视觉系统体积小、数据处理实时性高，因此可集成于无人机之上，为无人机添加三维视觉感知的功能。如图14所示，给出了本实施例的双目立体视觉系统100集成在无人机上的应用场景示意图，将双目放置于无人机飞行方向即能为无人机提供飞行方向障碍感知功能，如图14中在无人机A前端设置了双目立体视觉系统100，可以得到距无人机B的距离，同时双目原始图像可作为视觉里程计的前端，为飞行提供里程信息。另外，将双目立体视觉系统100放置于无人机的下视方向，基于深度图可完成无人机定高、地形测绘等功能。
在移动机器人技术领域，双目是作为机器人SLAM(Simultaneous LocalizationAnd Mapping，即时定位与地图构建)的重要传感器之一，如图15所示，本实例提供的双目立体视觉系统可作为SLAM的前端传感器，同时实时输出的深度图可作为机器人200避障导航及路径规划的基础数据，如图15所示，机器人200以前端双目立体视觉系统获得深度图获知周围的障碍物，最终得到到达目的地202的路径201。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。

Claims (10)

  1. 一种用于双目立体视觉系统的深度测量方法，其特征在于，包括：
    产生同步触发信号，并将所述同步触发信号发送给左图像采集单元和右图像采集单元；
    获取所述左图像采集单元和所述右图像采集单元输出的像素点，分别顺序输入第一双端口RAM和第二双端口RAM；
    读取所述第一双端口RAM中的像素点进行畸变与立体矫正处理，得到第一校正坐标的像素值输入第三双端口RAM，同时，读取所述第二双端口RAM中的像素点进行畸变与立体矫正处理，得到第二校正坐标的像素值输入第四双端口RAM；
    读取所述第三双端口RAM和所述第四双端口RAM中的像素点进行立体匹配，得到左图与右图匹配对应的像素点的视差；
    根据所述视差得到像素点对应的真实物理深度。
  2. 根据权利要求1所述的方法，其特征在于，
    所述读取所述第一双端口RAM中的像素点进行畸变与立体矫正处理，得到第一校正坐标的像素值输入第三双端口RAM，包括：
    根据预先标定的内参数和畸变参数计算第一校正坐标在左图中对应的第一原图坐标；
    从所述第一双端口RAM中读取与所述第一原图坐标相邻的像素点的像素值；
    根据读取的像素值和所述第一原图坐标的小数点分量进行双线性插值，得到所述第一校正坐标的像素值，并输入第三双端口RAM；
    所述读取所述第二双端口RAM中的像素点进行畸变与立体矫正处理，得到第二校正坐标的像素值输入第四双端口RAM，包括：
    根据预先标定的内参数和畸变参数计算第二校正坐标在右图中对应的第二原图坐标；
    从所述第二双端口RAM中读取与所述第二原图坐标相邻的像素点的像素值；
    根据读取的像素值和所述第二原图坐标的小数点分量进行双线性插值，得到所述第二校正坐标的像素值，并输入第四双端口RAM。
  3. 根据权利要求2所述的方法，其特征在于，
    所述根据读取的像素值和所述第一原图坐标的小数点分量进行双线性插值，得到所述第一校正坐标的像素值，包括：根据读取的像素值和所述第一原图坐标的小数点分量，采用定点计算完成双线性差值，得到所述第一校正坐标的像素值；
    所述根据读取的像素值和所述第二原图坐标的小数点分量进行双线性插值，得到所述第二校正坐标的像素值，包括：根据读取的像素值和所述第二原图坐标的小数点分量，采用定点计算完成双线性差值，得到所述第二校正坐标的像素值。
  4. 根据权利要求1所述的方法，其特征在于，所述读取所述第三双端口RAM和所述第四双端口RAM中的像素点进行立体匹配，得到左图与右图匹配对应的像素点的视差，包括：
    读取所述第三双端口RAM中的像素点，使用设定的卷积核对左图图像进行卷积运算，得到左图中像素点的梯度信息，同时，读取所述第四双端口RAM中的像素点，使用设定的卷积核对右图图像进行卷积运算，得到右图中像素点的梯度信息；
    根据左图像素点的梯度信息和右图像素点的梯度信息，在右图中找到与左图像素点匹配的像素点作为第一匹配代价结果，根据左图像素点和右图的第一匹配代价结果得到左图视差；同时，根据左图像素点的梯度信息和右图像素点的梯度信息，在左图中找到与右图像素点匹配的像素点作为第二匹配代价结果，根据右图像素和左图的第二匹配代价结果得到右图视差；
    选择所述左图视差和所述右图视差中的一个作为视差输出。
  5. 根据权利要求4所述的方法，其特征在于，所述卷积核为sobel梯度算子。
  6. 根据权利要求4所述的方法，其特征在于，
    所述根据左图像素点的梯度信息和右图像素点的梯度信息，在右图中找到与左图像素点匹配的像素点作为第一匹配代价结果，包括：计算左图像素点的度信息与右图中聚合窗内所有像素点的梯度信息的SAD值，选取SAD值最小的像素点作为第一匹配代价结果；
    所述根据左图像素点的梯度信息和右图像素点的梯度信息，在左图中找到与右图像素点匹配的像素点作为第二匹配代价结果，包括：计算右图像素点的梯度信息与左图中聚合窗内所有像素点的梯度信息的SAD值，选取SAD值最小的像素点作为第二匹配代价结果。
  7. 根据权利要求1所述的方法，其特征在于，所述根据所述视差得到像素点对应的真实物理深度，包括：根据标定参数中的焦距和基线以及所述视差，使用FPGA中的DSP资源进行浮点运算，得到像素点对应的真实物理深度。
  8. 一种双目立体视觉系统，其特征在于，包括：左图像采集单元、右图像采集单元、处理单元、数据输出接口；所述左图像采集单元、所述右图像采集单元、所述数据输出接口分别与所述处理单元连接；
    所述左图采集单元包括第一镜头和第一图像传感器；
    所述右图采集单元包括第二镜头和第二图像传感器；
    所述处理单元包括：双目同步模块、数据采集模块、畸变与立体矫正模块、立体匹配模块、深度计算模块和输出接口模块；
    所述双目同步模块用于产生同步触发信号，并将所述同步触发信号发送给左图像采集单元和右图像采集单元；
    所述数据采集模块用于获取所述左图像采集单元和所述右图像采集单元输出的像素点，分别顺序输入第一双端口RAM和第二双端口RAM；
    所述畸变与立体矫正模块用于读取所述第一双端口RAM中的像素点进行 畸变与立体矫正处理，得到第一校正坐标的像素值输入第三双端口RAM，同时，读取所述第二双端口RAM中的像素点进行畸变与立体矫正处理，得到第二校正坐标的像素值输入第四双端口RAM；
    所述立体匹配模块用于读取所述第三双端口RAM和所述第四双端口RAM中的像素点进行立体匹配，得到左图与右图匹配对应的像素点的视差；
    所述深度计算模块用于根据所述视差得到像素点对应的真实物理深度；
    所述输出接口模块用于选择输出的数据，同时根据所述数据输出接口对应的协议配置不同的接口。
  9. 根据权利要求8所述的系统，其特征在于，还包括补光单元，所述补光单元与所述处理单元连接，所述补光单元用于根据所述处理单元的控制发射补光。
  10. 根据权利要求8所述的系统，其特征在于，还包括纹理增强单元，所述纹理增强单元与所述处理单元连接，所述纹理增强单元用于根据所述处理单元的控制发射结构光。
PCT/CN2017/088492 2016-11-09 2017-06-15 双目立体视觉系统及深度测量方法 WO2018086348A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201610987447.1 2016-11-09
CN201610987447.1A CN106525004A (zh) 2016-11-09 2016-11-09 双目立体视觉系统及深度测量方法

Publications (1)

Publication Number Publication Date
WO2018086348A1 true WO2018086348A1 (zh) 2018-05-17

Family

ID=58350551

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2017/088492 WO2018086348A1 (zh) 2016-11-09 2017-06-15 双目立体视觉系统及深度测量方法

Country Status (2)

Country Link
CN (1) CN106525004A (zh)
WO (1) WO2018086348A1 (zh)

Cited By (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109087247A (zh) * 2018-08-17 2018-12-25 复旦大学 一种对立体图像进行超分的方法
CN109341527A (zh) * 2018-10-22 2019-02-15 广东工业大学 一种自动阴影补偿的结构光投影三维测量系统及方法
CN109711279A (zh) * 2018-12-08 2019-05-03 南京赫曼机器人自动化有限公司 一种用于农业环境的障碍物检测方法
CN110136186A (zh) * 2019-05-10 2019-08-16 安徽工程大学 一种用于移动机器人目标测距的检测目标匹配方法
CN110434516A (zh) * 2019-08-28 2019-11-12 浙江大学城市学院 一种智能焊接机器人系统及焊接方法
CN110443787A (zh) * 2019-07-30 2019-11-12 云谷（固安）科技有限公司 矫正装置和矫正方法
CN110533710A (zh) * 2019-08-22 2019-12-03 桂林电子科技大学 一种基于gpu的双目匹配算法的方法及处理装置
CN110570453A (zh) * 2019-07-10 2019-12-13 哈尔滨工程大学 一种基于双目视觉的闭环式跟踪特征的视觉里程计方法
TWI685671B (zh) * 2018-12-28 2020-02-21 中強光電股份有限公司 無人機避障系統及其控制方法
CN110969158A (zh) * 2019-11-06 2020-04-07 中国科学院自动化研究所 基于水下作业机器人视觉的目标检测方法、系统、装置
CN111047709A (zh) * 2019-11-29 2020-04-21 暨南大学 一种双目视觉裸眼3d图像生成方法
CN111080710A (zh) * 2019-11-22 2020-04-28 深圳晨芯时代科技有限公司 一种ar双目摄像头标定方法
CN111145271A (zh) * 2019-12-30 2020-05-12 广东博智林机器人有限公司 相机参数的精确度的确定方法、装置、存储介质及终端
CN111239684A (zh) * 2020-01-17 2020-06-05 中航华东光电（上海）有限公司 一种基于YoloV3深度学习的双目快速距离测量方法
CN111382607A (zh) * 2018-12-28 2020-07-07 北京三星通信技术研究有限公司 活体检测方法、装置及人脸认证系统
CN111429571A (zh) * 2020-04-15 2020-07-17 四川大学 一种基于时空图像信息联合相关的快速立体匹配方法
CN111709985A (zh) * 2020-06-10 2020-09-25 大连海事大学 一种基于双目视觉的水下目标测距方法
CN111754542A (zh) * 2019-03-27 2020-10-09 顺丰科技有限公司 目标对象确定方法、跟踪方法、装置、设备及其存储介质
CN111798444A (zh) * 2020-07-17 2020-10-20 太原理工大学 基于图像畸变矫正分色处理的无人车间钢管长度测量方法
CN111899282A (zh) * 2020-07-30 2020-11-06 平安科技（深圳）有限公司 基于双目摄像机标定的行人轨迹跟踪方法及装置
CN111932602A (zh) * 2020-07-20 2020-11-13 华东交通大学 一种基于变焦双目立体视觉的三维重建方法
CN111951193A (zh) * 2020-08-21 2020-11-17 安谋科技（中国）有限公司 图像的水平畸变矫正方法及水平畸变矫正装置
CN111968170A (zh) * 2020-08-26 2020-11-20 广东工业大学 一种基于互相关时延估计的在线双目视觉测距方法
CN112053781A (zh) * 2020-09-16 2020-12-08 四川大学华西医院 动静态立体视测试方法及终端
CN112053404A (zh) * 2020-08-07 2020-12-08 北京中科慧眼科技有限公司 一种双目相机装车后立体校正方法和系统
CN112116640A (zh) * 2020-09-11 2020-12-22 南京理工大学智能计算成像研究院有限公司 一种基于OpenCL的双目立体匹配方法
CN112116645A (zh) * 2020-09-14 2020-12-22 广东新时空科技股份有限公司 一种基于立体视觉的提取图像深度信息的方法
CN112435282A (zh) * 2020-10-28 2021-03-02 西安交通大学 一种基于自适应候选视差预测网络的实时双目立体匹配方法
CN112505065A (zh) * 2020-12-28 2021-03-16 上海工程技术大学 一种实现室内无人机对大部件表面缺陷进行检测的方法
CN112529795A (zh) * 2020-12-04 2021-03-19 北京中科慧眼科技有限公司 基于fpga的双目相机畸变校正系统、方法和终端设备
CN112581542A (zh) * 2020-12-24 2021-03-30 北京百度网讯科技有限公司 自动驾驶单目标定算法的评估方法、装置及设备
CN112634374A (zh) * 2020-12-18 2021-04-09 杭州海康威视数字技术股份有限公司 双目相机的立体标定方法、装置、系统及双目相机
CN112700486A (zh) * 2019-10-23 2021-04-23 阿里巴巴集团控股有限公司 对图像中路面车道线的深度进行估计的方法及装置
CN112801975A (zh) * 2021-01-28 2021-05-14 中科(湖南)先进轨道交通研究院有限公司 一种基于双目视觉的轨道道砟检验系统及其工作方法
CN113344945A (zh) * 2021-05-31 2021-09-03 沈阳工业大学 一种基于双目视觉的岩体爆破块度自动分析装置及方法
CN113362462A (zh) * 2021-02-01 2021-09-07 中国计量大学 一种基于自监督学习的双目立体视觉视差滤波方法和装置
CN113554714A (zh) * 2021-07-22 2021-10-26 元橡科技(苏州)有限公司 车载双目立体相机自校正方法及其系统、fpga芯片
CN113592953A (zh) * 2021-07-20 2021-11-02 中国科学院西安光学精密机械研究所 一种基于特征点集的双目非合作目标位姿测量方法
CN113763346A (zh) * 2021-08-31 2021-12-07 哈尔滨工业大学（威海） 基于双目视觉的立面作业效果与表面缺陷检测方法
CN113947625A (zh) * 2021-10-15 2022-01-18 中国矿业大学 一种视差面精细建模的双目图像视差计算优化方法
CN113963107A (zh) * 2021-09-22 2022-01-21 西安交通大学 一种基于双目视觉的大型目标三维重建方法及系统
CN113963052A (zh) * 2021-09-22 2022-01-21 西安交通大学 一种基于双目视觉的大型浮空器体积实时监测方法
CN114119718A (zh) * 2021-11-29 2022-03-01 福州大学 融合颜色特征和边缘特征的双目视觉绿色植被匹配定位方法
CN114119777A (zh) * 2022-01-27 2022-03-01 北京中科慧眼科技有限公司 基于深度学习的立体匹配方法和系统
CN114255319A (zh) * 2021-12-09 2022-03-29 苏州大学 一种不同帧率的立体相机的三维重建方法、系统及其应用
CN114332188A (zh) * 2021-11-19 2022-04-12 山东信通电子股份有限公司 一种用于双目视觉设备的视差图像生成方法、设备及介质
CN114445473A (zh) * 2022-04-07 2022-05-06 北京中科慧眼科技有限公司 基于深度学习算子的立体匹配方法和系统
CN114972450A (zh) * 2021-02-24 2022-08-30 嘉楠明芯(北京)科技有限公司 图像的立体匹配方法以及装置
CN115131422A (zh) * 2022-05-28 2022-09-30 上海图灵智算量子科技有限公司 基于模拟分岔的立体匹配方法
EP3985446B1 (fr) 2020-10-14 2023-05-24 The Swatch Group Research and Development Ltd Dispositif de determination de position d'afficheur d'horlogerie
CN116721109A (zh) * 2023-08-11 2023-09-08 合肥图迅电子科技有限公司 一种双目视觉图像半全局匹配方法
CN117055618A (zh) * 2023-09-01 2023-11-14 黑龙江惠达科技股份有限公司 无人机及其控制方法
CN118072148A (zh) * 2024-04-25 2024-05-24 深圳市威远精密技术有限公司 一种精密滚珠丝杠副检测系统及其方法
CN118864350A (zh) * 2024-06-07 2024-10-29 无锡学院 一种应用于输电线路检修的螺栓定位算法

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106525004A (zh) * 2016-11-09 2017-03-22 人加智能机器人技术（北京）有限公司 双目立体视觉系统及深度测量方法
CN107358638B (zh) * 2017-07-19 2020-11-27 智车优行科技（北京）有限公司 视差图计算方法和装置、电子设备、计算机存储介质
CN107507245A (zh) * 2017-08-18 2017-12-22 南京阿尔特交通科技有限公司 一种车辆跟驰轨迹的动态采集方法及系统
CN109672876A (zh) * 2017-10-17 2019-04-23 福州瑞芯微电子股份有限公司 深度图处理装置及深度图处理单元
CN108171744A (zh) * 2017-12-26 2018-06-15 努比亚技术有限公司 一种双目虚化中视差图的确定方法、移动终端及存储介质
CN110033426B (zh) * 2018-01-12 2021-07-09 杭州海康威视数字技术股份有限公司 一种用于对视差估计图像进行处理的装置
CN110533701A (zh) * 2018-05-25 2019-12-03 杭州海康威视数字技术股份有限公司 一种图像视差确定方法、装置及设备
CN109598687A (zh) * 2018-12-04 2019-04-09 深慧视(深圳)科技有限公司 双目立体视觉系统及图像校正方法
CN111325674A (zh) * 2018-12-17 2020-06-23 北京京东尚科信息技术有限公司 图像处理方法、装置及设备
CN109741385A (zh) * 2018-12-24 2019-05-10 浙江大华技术股份有限公司 一种图像处理系统、方法、装置、电子设备及存储介质
CN109883400B (zh) * 2018-12-27 2021-12-10 南京国图信息产业有限公司 基于yolo-sitcol的固定站自动目标检测与空间定位方法
CN109509218B (zh) * 2019-01-31 2019-10-22 深兰人工智能芯片研究院（江苏）有限公司 基于fpga获取视差图的方法、装置
CN109887022A (zh) * 2019-02-25 2019-06-14 北京超维度计算科技有限公司 一种双目深度相机的特征点匹配方法
CN110738608B (zh) * 2019-05-27 2022-02-25 首都师范大学 一种平面图像校正方法及系统
CN110191330A (zh) * 2019-06-13 2019-08-30 内蒙古大学 基于双目视觉绿色作物视频流的深度图fpga实现方法与系统
CN110517307A (zh) * 2019-06-20 2019-11-29 福州瑞芯微电子股份有限公司 利用卷积实现基于激光散斑图的立体匹配方法
CN110596720A (zh) * 2019-08-19 2019-12-20 深圳奥锐达科技有限公司 距离测量系统
CN110533708A (zh) * 2019-08-28 2019-12-03 维沃移动通信有限公司 一种电子设备及深度信息获取方法
CN111462212B (zh) * 2020-03-26 2023-02-10 华南理工大学 一种针对双目测距的立体匹配成本体积构造的方法
CN111681275B (zh) * 2020-06-16 2023-04-18 南京莱斯电子设备有限公司 一种双特征融合的半全局立体匹配方法
CN113505626B (zh) * 2021-03-15 2024-07-12 南京理工大学 一种快速三维指纹采集方法与系统
CN112967332B (zh) * 2021-03-16 2023-06-16 清华大学 基于门控成像的双目深度估计方法、装置及计算机设备
CN113284128B (zh) * 2021-06-11 2023-05-16 中国南方电网有限责任公司超高压输电公司天生桥局 基于电力设备的图像融合显示方法、装置和计算机设备
CN114018214A (zh) * 2021-10-18 2022-02-08 武汉理工大学 一种基于硬件加速系统的标志物双目亚像素测距方法
CN116485904A (zh) * 2023-03-26 2023-07-25 重庆大学 基于图像梯度阈值计算的改进移动机器人EDLines线段检测方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104616304A (zh) * 2015-02-11 2015-05-13 南京理工大学 一种基于fpga的自适应支撑权重的立体匹配方法
CN105222760A (zh) * 2015-10-22 2016-01-06 一飞智控(天津)科技有限公司 一种基于双目视觉的无人机自主障碍物检测系统及方法
CN105787447A (zh) * 2016-02-26 2016-07-20 深圳市道通智能航空技术有限公司 一种无人机基于双目视觉的全方位避障的方法及系统
WO2016118313A1 (en) * 2015-01-20 2016-07-28 Qualcomm Incorporated Method and apparatus for multiple technology depth map acquisition and fusion
CN106525004A (zh) * 2016-11-09 2017-03-22 人加智能机器人技术（北京）有限公司 双目立体视觉系统及深度测量方法
CN206177294U (zh) * 2016-11-09 2017-05-17 人加智能机器人技术（北京）有限公司 双目立体视觉系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101819638B (zh) * 2010-04-12 2012-07-11 中国科学院计算技术研究所 色情检测模型建立方法和色情检测方法
CN103488356B (zh) * 2013-10-18 2016-02-24 武汉拓宝科技股份有限公司 一种基于红外摄像头三维成像的触摸识别方法
CN103778632A (zh) * 2014-01-18 2014-05-07 南京理工大学 一种基于fpga的立体匹配方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016118313A1 (en) * 2015-01-20 2016-07-28 Qualcomm Incorporated Method and apparatus for multiple technology depth map acquisition and fusion
CN104616304A (zh) * 2015-02-11 2015-05-13 南京理工大学 一种基于fpga的自适应支撑权重的立体匹配方法
CN105222760A (zh) * 2015-10-22 2016-01-06 一飞智控(天津)科技有限公司 一种基于双目视觉的无人机自主障碍物检测系统及方法
CN105787447A (zh) * 2016-02-26 2016-07-20 深圳市道通智能航空技术有限公司 一种无人机基于双目视觉的全方位避障的方法及系统
CN106525004A (zh) * 2016-11-09 2017-03-22 人加智能机器人技术（北京）有限公司 双目立体视觉系统及深度测量方法
CN206177294U (zh) * 2016-11-09 2017-05-17 人加智能机器人技术（北京）有限公司 双目立体视觉系统

Cited By (86)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109087247A (zh) * 2018-08-17 2018-12-25 复旦大学 一种对立体图像进行超分的方法
CN109087247B (zh) * 2018-08-17 2022-12-20 复旦大学 一种对立体图像进行超分的方法
CN109341527A (zh) * 2018-10-22 2019-02-15 广东工业大学 一种自动阴影补偿的结构光投影三维测量系统及方法
CN109711279A (zh) * 2018-12-08 2019-05-03 南京赫曼机器人自动化有限公司 一种用于农业环境的障碍物检测方法
CN109711279B (zh) * 2018-12-08 2023-06-20 南京赫曼机器人自动化有限公司 一种用于农业环境的障碍物检测方法
TWI685671B (zh) * 2018-12-28 2020-02-21 中強光電股份有限公司 無人機避障系統及其控制方法
CN111382607A (zh) * 2018-12-28 2020-07-07 北京三星通信技术研究有限公司 活体检测方法、装置及人脸认证系统
CN111754542A (zh) * 2019-03-27 2020-10-09 顺丰科技有限公司 目标对象确定方法、跟踪方法、装置、设备及其存储介质
CN110136186A (zh) * 2019-05-10 2019-08-16 安徽工程大学 一种用于移动机器人目标测距的检测目标匹配方法
CN110136186B (zh) * 2019-05-10 2022-09-16 安徽工程大学 一种用于移动机器人目标测距的检测目标匹配方法
CN110570453A (zh) * 2019-07-10 2019-12-13 哈尔滨工程大学 一种基于双目视觉的闭环式跟踪特征的视觉里程计方法
CN110443787A (zh) * 2019-07-30 2019-11-12 云谷（固安）科技有限公司 矫正装置和矫正方法
CN110443787B (zh) * 2019-07-30 2023-05-26 云谷（固安）科技有限公司 矫正装置和矫正方法
CN110533710A (zh) * 2019-08-22 2019-12-03 桂林电子科技大学 一种基于gpu的双目匹配算法的方法及处理装置
CN110533710B (zh) * 2019-08-22 2023-07-14 桂林电子科技大学 一种基于gpu的双目匹配算法的方法及处理装置
CN110434516A (zh) * 2019-08-28 2019-11-12 浙江大学城市学院 一种智能焊接机器人系统及焊接方法
CN112700486A (zh) * 2019-10-23 2021-04-23 阿里巴巴集团控股有限公司 对图像中路面车道线的深度进行估计的方法及装置
CN112700486B (zh) * 2019-10-23 2024-05-07 浙江菜鸟供应链管理有限公司 对图像中路面车道线的深度进行估计的方法及装置
CN110969158B (zh) * 2019-11-06 2023-07-25 中国科学院自动化研究所 基于水下作业机器人视觉的目标检测方法、系统、装置
CN110969158A (zh) * 2019-11-06 2020-04-07 中国科学院自动化研究所 基于水下作业机器人视觉的目标检测方法、系统、装置
CN111080710A (zh) * 2019-11-22 2020-04-28 深圳晨芯时代科技有限公司 一种ar双目摄像头标定方法
CN111047709B (zh) * 2019-11-29 2023-05-05 暨南大学 一种双目视觉裸眼3d图像生成方法
CN111047709A (zh) * 2019-11-29 2020-04-21 暨南大学 一种双目视觉裸眼3d图像生成方法
CN111145271B (zh) * 2019-12-30 2023-04-28 广东博智林机器人有限公司 相机参数的精确度的确定方法、装置、存储介质及终端
CN111145271A (zh) * 2019-12-30 2020-05-12 广东博智林机器人有限公司 相机参数的精确度的确定方法、装置、存储介质及终端
CN111239684A (zh) * 2020-01-17 2020-06-05 中航华东光电（上海）有限公司 一种基于YoloV3深度学习的双目快速距离测量方法
CN111429571A (zh) * 2020-04-15 2020-07-17 四川大学 一种基于时空图像信息联合相关的快速立体匹配方法
CN111429571B (zh) * 2020-04-15 2023-04-07 四川大学 一种基于时空图像信息联合相关的快速立体匹配方法
CN111709985B (zh) * 2020-06-10 2023-07-07 大连海事大学 一种基于双目视觉的水下目标测距方法
CN111709985A (zh) * 2020-06-10 2020-09-25 大连海事大学 一种基于双目视觉的水下目标测距方法
CN111798444B (zh) * 2020-07-17 2023-06-27 太原理工大学 基于图像畸变矫正分色处理的无人车间钢管长度测量方法
CN111798444A (zh) * 2020-07-17 2020-10-20 太原理工大学 基于图像畸变矫正分色处理的无人车间钢管长度测量方法
CN111932602B (zh) * 2020-07-20 2024-04-05 华东交通大学 一种基于变焦双目立体视觉的三维重建方法
CN111932602A (zh) * 2020-07-20 2020-11-13 华东交通大学 一种基于变焦双目立体视觉的三维重建方法
CN111899282A (zh) * 2020-07-30 2020-11-06 平安科技（深圳）有限公司 基于双目摄像机标定的行人轨迹跟踪方法及装置
CN111899282B (zh) * 2020-07-30 2024-05-14 平安科技（深圳）有限公司 基于双目摄像机标定的行人轨迹跟踪方法及装置
CN112053404B (zh) * 2020-08-07 2024-04-16 北京中科慧眼科技有限公司 一种双目相机装车后立体校正方法和系统
CN112053404A (zh) * 2020-08-07 2020-12-08 北京中科慧眼科技有限公司 一种双目相机装车后立体校正方法和系统
CN111951193A (zh) * 2020-08-21 2020-11-17 安谋科技（中国）有限公司 图像的水平畸变矫正方法及水平畸变矫正装置
CN111951193B (zh) * 2020-08-21 2024-02-02 安谋科技（中国）有限公司 图像的水平畸变矫正方法及水平畸变矫正装置
CN111968170A (zh) * 2020-08-26 2020-11-20 广东工业大学 一种基于互相关时延估计的在线双目视觉测距方法
CN112116640A (zh) * 2020-09-11 2020-12-22 南京理工大学智能计算成像研究院有限公司 一种基于OpenCL的双目立体匹配方法
CN112116640B (zh) * 2020-09-11 2024-02-23 南京理工大学智能计算成像研究院有限公司 一种基于OpenCL的双目立体匹配方法
CN112116645A (zh) * 2020-09-14 2020-12-22 广东新时空科技股份有限公司 一种基于立体视觉的提取图像深度信息的方法
CN112053781A (zh) * 2020-09-16 2020-12-08 四川大学华西医院 动静态立体视测试方法及终端
CN112053781B (zh) * 2020-09-16 2023-04-28 四川大学华西医院 动静态立体视测试方法及终端
EP3985446B1 (fr) 2020-10-14 2023-05-24 The Swatch Group Research and Development Ltd Dispositif de determination de position d'afficheur d'horlogerie
CN112435282B (zh) * 2020-10-28 2023-09-12 西安交通大学 一种基于自适应候选视差预测网络的实时双目立体匹配方法
CN112435282A (zh) * 2020-10-28 2021-03-02 西安交通大学 一种基于自适应候选视差预测网络的实时双目立体匹配方法
CN112529795A (zh) * 2020-12-04 2021-03-19 北京中科慧眼科技有限公司 基于fpga的双目相机畸变校正系统、方法和终端设备
CN112529795B (zh) * 2020-12-04 2024-01-16 北京中科慧眼科技有限公司 基于fpga的双目相机畸变校正系统、方法和终端设备
WO2022127918A1 (zh) * 2020-12-18 2022-06-23 杭州海康威视数字技术股份有限公司 双目相机的立体标定方法、装置、系统及双目相机
CN112634374A (zh) * 2020-12-18 2021-04-09 杭州海康威视数字技术股份有限公司 双目相机的立体标定方法、装置、系统及双目相机
CN112634374B (zh) * 2020-12-18 2023-07-14 杭州海康威视数字技术股份有限公司 双目相机的立体标定方法、装置、系统及双目相机
CN112581542A (zh) * 2020-12-24 2021-03-30 北京百度网讯科技有限公司 自动驾驶单目标定算法的评估方法、装置及设备
CN112505065A (zh) * 2020-12-28 2021-03-16 上海工程技术大学 一种实现室内无人机对大部件表面缺陷进行检测的方法
CN112801975B (zh) * 2021-01-28 2023-12-22 中科(湖南)先进轨道交通研究院有限公司 一种基于双目视觉的轨道道砟检验系统及其工作方法
CN112801975A (zh) * 2021-01-28 2021-05-14 中科(湖南)先进轨道交通研究院有限公司 一种基于双目视觉的轨道道砟检验系统及其工作方法
CN113362462A (zh) * 2021-02-01 2021-09-07 中国计量大学 一种基于自监督学习的双目立体视觉视差滤波方法和装置
CN113362462B (zh) * 2021-02-01 2024-04-05 中国计量大学 一种基于自监督学习的双目立体视觉视差滤波方法和装置
CN114972450A (zh) * 2021-02-24 2022-08-30 嘉楠明芯(北京)科技有限公司 图像的立体匹配方法以及装置
CN113344945B (zh) * 2021-05-31 2024-04-09 沈阳工业大学 一种基于双目视觉的岩体爆破块度自动分析装置及方法
CN113344945A (zh) * 2021-05-31 2021-09-03 沈阳工业大学 一种基于双目视觉的岩体爆破块度自动分析装置及方法
CN113592953A (zh) * 2021-07-20 2021-11-02 中国科学院西安光学精密机械研究所 一种基于特征点集的双目非合作目标位姿测量方法
CN113554714A (zh) * 2021-07-22 2021-10-26 元橡科技(苏州)有限公司 车载双目立体相机自校正方法及其系统、fpga芯片
CN113763346B (zh) * 2021-08-31 2023-12-01 哈尔滨工业大学（威海） 基于双目视觉的立面作业效果与表面缺陷检测方法
CN113763346A (zh) * 2021-08-31 2021-12-07 哈尔滨工业大学（威海） 基于双目视觉的立面作业效果与表面缺陷检测方法
CN113963107B (zh) * 2021-09-22 2024-04-02 西安交通大学 一种基于双目视觉的大型目标三维重建方法及系统
CN113963052B (zh) * 2021-09-22 2023-08-18 西安交通大学 一种基于双目视觉的大型浮空器体积实时监测方法
CN113963107A (zh) * 2021-09-22 2022-01-21 西安交通大学 一种基于双目视觉的大型目标三维重建方法及系统
CN113963052A (zh) * 2021-09-22 2022-01-21 西安交通大学 一种基于双目视觉的大型浮空器体积实时监测方法
CN113947625A (zh) * 2021-10-15 2022-01-18 中国矿业大学 一种视差面精细建模的双目图像视差计算优化方法
CN114332188A (zh) * 2021-11-19 2022-04-12 山东信通电子股份有限公司 一种用于双目视觉设备的视差图像生成方法、设备及介质
CN114119718B (zh) * 2021-11-29 2024-11-08 福州大学 融合颜色特征和边缘特征的双目视觉绿色植被匹配定位方法
CN114119718A (zh) * 2021-11-29 2022-03-01 福州大学 融合颜色特征和边缘特征的双目视觉绿色植被匹配定位方法
CN114255319B (zh) * 2021-12-09 2022-11-25 苏州大学 一种不同帧率的立体相机的三维重建方法、系统及其应用
CN114255319A (zh) * 2021-12-09 2022-03-29 苏州大学 一种不同帧率的立体相机的三维重建方法、系统及其应用
CN114119777A (zh) * 2022-01-27 2022-03-01 北京中科慧眼科技有限公司 基于深度学习的立体匹配方法和系统
CN114445473A (zh) * 2022-04-07 2022-05-06 北京中科慧眼科技有限公司 基于深度学习算子的立体匹配方法和系统
CN114445473B (zh) * 2022-04-07 2022-07-26 北京中科慧眼科技有限公司 基于深度学习算子的立体匹配方法和系统
CN115131422A (zh) * 2022-05-28 2022-09-30 上海图灵智算量子科技有限公司 基于模拟分岔的立体匹配方法
CN116721109B (zh) * 2023-08-11 2023-11-03 合肥图迅电子科技有限公司 一种双目视觉图像半全局匹配方法
CN116721109A (zh) * 2023-08-11 2023-09-08 合肥图迅电子科技有限公司 一种双目视觉图像半全局匹配方法
CN117055618A (zh) * 2023-09-01 2023-11-14 黑龙江惠达科技股份有限公司 无人机及其控制方法
CN118072148A (zh) * 2024-04-25 2024-05-24 深圳市威远精密技术有限公司 一种精密滚珠丝杠副检测系统及其方法
CN118864350A (zh) * 2024-06-07 2024-10-29 无锡学院 一种应用于输电线路检修的螺栓定位算法

Also Published As

Publication number Publication date
CN106525004A (zh) 2017-03-22

Similar Documents

Publication Publication Date Title
WO2018086348A1 (zh) 双目立体视觉系统及深度测量方法
JP6552729B2 (ja) 異なる分解能を有するセンサーの出力を融合するシステム及び方法
US11830222B2 (en) Bi-level optimization-based infrared and visible light fusion method
CN108307675B (zh) 用于vr/ar应用中的深度增强的多基线相机阵列系统架构
US10194135B2 (en) Three-dimensional depth perception apparatus and method
US10089750B2 (en) Method and system of automatic object dimension measurement by using image processing
CN107635129B (zh) 一种三维三目摄像装置及深度融合方法
Kolb et al. Time‐of‐flight cameras in computer graphics
US20110249117A1 (en) Imaging device, distance measuring method, and non-transitory computer-readable recording medium storing a program
TWI534755B (zh) 三維立體模型之建立方法和裝置
WO2017173735A1 (zh) 一种基于视频透视的智能眼镜系统及其透视方法
EP3135033B1 (en) Structured stereo
WO2022156755A1 (zh) 一种室内定位方法、装置、设备和计算机可读存储介质
CN106997579B (zh) 图像拼接的方法和装置
WO2019184185A1 (zh) 目标图像获取系统与方法
KR20150120066A (ko) 패턴 프로젝션을 이용한 왜곡 보정 및 정렬 시스템, 이를 이용한 방법
CN103337094A (zh) 一种应用双目摄像机实现运动三维重建的方法
US20120050494A1 (en) Method and system for creating a view-angle dependent 2d and/or 3d image/video utilizing a monoscopic video camera array
CN113888639B (zh) 基于事件相机与深度相机的视觉里程计定位方法及系统
Mattoccia Stereo vision algorithms for fpgas
US9628777B2 (en) Method of 3D reconstruction of a scene calling upon asynchronous sensors
US11042984B2 (en) Systems and methods for providing image depth information
WO2020119467A1 (zh) 高精度稠密深度图像的生成方法和装置
CN115714855A (zh) 一种基于立体视觉与tof融合的三维视觉感知方法及系统
CN105513074B (zh) 一种羽毛球机器人相机以及车身到世界坐标系的标定方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17870583

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17870583

Country of ref document: EP

Kind code of ref document: A1