RU2679923C1 - Method for obtaining spatial model of environment in real time on basis of laser location and device for implementation thereof - Google Patents
Method for obtaining spatial model of environment in real time on basis of laser location and device for implementation thereof Download PDFInfo
- Publication number
- RU2679923C1 RU2679923C1 RU2017135511A RU2017135511A RU2679923C1 RU 2679923 C1 RU2679923 C1 RU 2679923C1 RU 2017135511 A RU2017135511 A RU 2017135511A RU 2017135511 A RU2017135511 A RU 2017135511A RU 2679923 C1 RU2679923 C1 RU 2679923C1
- Authority
- RU
- Russia
- Prior art keywords
- spatial
- laser
- scanning
- unit
- sector
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 230000003287 optical effect Effects 0.000 claims abstract description 29
- 230000005855 radiation Effects 0.000 claims abstract description 10
- 238000012545 processing Methods 0.000 claims abstract description 7
- 230000008859 change Effects 0.000 claims abstract description 6
- 238000005259 measurement Methods 0.000 claims description 30
- 238000004458 analytical method Methods 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 4
- 230000003595 spectral effect Effects 0.000 claims description 3
- 238000013461 design Methods 0.000 abstract description 2
- 230000000694 effects Effects 0.000 abstract 1
- 239000000126 substance Substances 0.000 abstract 1
- 239000011159 matrix material Substances 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000005286 illumination Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000002366 time-of-flight method Methods 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 101150047356 dec-1 gene Proteins 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003891 environmental analysis Methods 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000005293 physical law Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 239000000523 sample Substances 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Electromagnetism (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Traffic Control Systems (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
Description
Область техники, к которой относится изобретениеFIELD OF THE INVENTION
Заявляемая группа изобретений относится к способам и устройствам определения местоположения объектов, их форм и нанесения их на карту, точнее к способам лазерной локации, и представляет интерес для лазерной локации подвижных и неподвижных объектов с подвижного носителя, в особенности с целью создания карты дорожной обстановки для обеспечения управления транспортным средством без водителя. В частности, заявляемая группа изобретений относится к способу получения пространственной модели окружающей обстановки на основе данных лазерной локации в режиме реального времени и устройству для его осуществления.The claimed group of inventions relates to methods and devices for determining the location of objects, their forms and applying them to a map, more specifically to methods of laser location, and is of interest for laser location of moving and stationary objects from a moving medium, in particular with the aim of creating a map of the road situation to ensure driving without a driver. In particular, the claimed group of inventions relates to a method for obtaining a spatial model of the environment based on real-time laser location data and a device for its implementation.
Уровень техникиState of the art
1. Получение пространственных данных посредством лазерного зондирования1. Obtaining spatial data through laser sensing
Получение данных о положении, габаритах, скорости объектов в пространстве, в том числе для построения мгновенной модели дорожной обстановки с использованием лазерной техники, основано, как правило, на времяпролетном методе измерения дальности до объектов. Излучаемый лазерный импульс и отраженный от объекта свет распространяются в атмосфере с определенной скоростью. Измеряя интервал времени между моментами выхода импульса из устройства и регистрацией отраженного сигнала, можно рассчитать расстояние до объекта.Obtaining data on the position, dimensions, speed of objects in space, including for constructing an instant model of the road situation using laser technology, is based, as a rule, on the time-of-flight method of measuring the distance to objects. The emitted laser pulse and the light reflected from the object propagate in the atmosphere at a certain speed. By measuring the time interval between the moments of the pulse output from the device and the registration of the reflected signal, you can calculate the distance to the object.
Для построения пространственной модели дорожной обстановки производятся измерения в пределах заданного сектора измерений (телесного угла). Степень детализации пространственной модели, а именно угловое разрешение, зависит от количества проведенных измерений в этом секторе. Получение и обработка данных с высоким угловым разрешением в широком секторе обзора в режиме реального времени имеет как фундаментальные, определяемые физическими законами, так и технические ограничения.To build a spatial model of the road situation, measurements are made within a given measurement sector (solid angle). The degree of detail of the spatial model, namely the angular resolution, depends on the number of measurements taken in this sector. Obtaining and processing high-resolution angular resolution data in a wide real-time field of view has both fundamental, defined by physical laws, and technical limitations.
Фундаментальным ограничением для получения пространственной модели дорожной обстановки с высоким разрешением в широком секторе наблюдения в режиме реального времени является конечная скорость распространения света в пространстве. При измерениях расстояния до объекта максимальная частота лазерных импульсов ограничена временем полета импульса до наиболее удаленной цели и обратно, поскольку следующее измерение может проводиться только после того, как зафиксирован отраженный или рассеянный объектом импульс предшествующего измерения. В ином случае возникает неоднозначность результатов измерений. Указанное ограничение обработки сигнала определяет максимальную частоту следования лазерных импульсов на уровне fmax=c/2L,The fundamental limitation for obtaining a spatial model of high-resolution traffic conditions in a wide real-time observation sector is the finite speed of light propagation in space. When measuring the distance to the object, the maximum frequency of laser pulses is limited by the flight time of the pulse to the most distant target and vice versa, since the next measurement can only be carried out after the reflected or scattered by the object pulse of the previous measurement is recorded. Otherwise, the ambiguity of the measurement results. The specified signal processing restriction determines the maximum laser pulse repetition rate at the level f max = c / 2L,
где fmax – максимальная частота следования лазерных импульсов, where fmax- maximum laser pulse repetition rate,
с – скорость света, c is the speed of light
L - максимальная ожидаемая дистанция нахождения объектов. L is the maximum expected distance of finding objects.
Угловое разрешение лазерного сканирования определяется количеством проведенных измерений в заданном секторе сканирования за заданный промежуток времени и не может превышать некоторого максимально возможного значения, определяемого максимальной ожидаемой дистанцией нахождения объектов. The angular resolution of laser scanning is determined by the number of measurements taken in a given scanning sector for a given period of time and cannot exceed a certain maximum possible value determined by the maximum expected distance of finding objects.
Такое ограничение производительности лазерного сканера приводит к тому, что при широком секторе сканирования, необходимом для обнаружения объекта, невозможно одновременно построить его детализированную пространственную модель в течение ограниченного промежутка времени. This limitation of the performance of the laser scanner leads to the fact that with a wide scanning sector necessary for detecting an object, it is impossible to simultaneously construct its detailed spatial model for a limited period of time.
Известен способ использования спектрального мультиплексирования сигнала (патент RU 2587100 C2), при котором излучаемые импульсы и, соответственно, принимаемый сигнал отличаются по длине волны и не препятствуют получению достоверных данных. Использование многоволнового источника позволяет спектрально разделить отраженный сигнал на разные фотодетекторы и пропорционально увеличить угловое разрешение за счет увеличения числа измерений в заданном секторе.There is a method of using spectral signal multiplexing (patent RU 2587100 C2), in which the emitted pulses and, accordingly, the received signal differ in wavelength and do not interfere with obtaining reliable data. Using a multi-wavelength source allows you to spectrally divide the reflected signal into different photodetectors and proportionally increase the angular resolution by increasing the number of measurements in a given sector.
Известен способ кодирования посылаемого лазерного импульса, при котором вместо одиночного импульса лазерный источник излучает последовательность импульсов с двоичным кодом. При этом измерения могут производиться последовательно с высокой частотой импульсов, поскольку каждое следующее измерение может быть начато до завершения приема сигнала предыдущего измерения (Optics Express 24(21): 23810-23828 (2016) DOI: 10.1364/OE.24.023810). A known method of encoding a transmitted laser pulse, in which instead of a single pulse, the laser source emits a sequence of pulses with a binary code. In this case, measurements can be made sequentially with a high pulse frequency, since each subsequent measurement can be started before the signal is received from the previous measurement (Optics Express 24 (21): 23810-23828 (2016) DOI: 10.1364 / OE.24.023810).
Техническим ограничением для получения подробной пространственной модели дорожной обстановки указанным способом в режиме реального времени является недостаточная угловая скорость отклонения лазерного луча при использовании оптомеханической развертки. Для построения пространственной модели дорожной обстановки в режиме реального времени требуется отклонение лазерного луча по двум координатам. Угловое разрешение получаемых данных определяется угловой скоростью перемещения лазерного луча в пределах заданного сектора.The technical limitation for obtaining a detailed spatial model of the traffic situation in this way in real time is the insufficient angular velocity of the deflection of the laser beam when using an optomechanical scan. To build a spatial model of the traffic situation in real time, the deviation of the laser beam in two coordinates is required. The angular resolution of the obtained data is determined by the angular velocity of the laser beam within a given sector.
Известен способ, описанный в патентах компании Velodyne US7969558, US8675181, в котором используется принцип получения пространственных данных, основанный на «веерном» сканировании пространства с использованием нескольких (16, 32 или 64) импульсных лазерных источников и соответствующего количества фотоприемников, размещенных на общем вращающемся основании, установленных под разными углами к оси вращения. There is a method described in Velodyne patents US7969558, US8675181, which uses the principle of obtaining spatial data based on a "fan" scanning of space using several (16, 32 or 64) pulsed laser sources and the corresponding number of photodetectors placed on a common rotating base mounted at different angles to the axis of rotation.
Этот способ позволяет снизить ограничение, связанное с конечной скоростью распространения света за счет одновременного проведения измерений по разным направлениям с использованием независимых каналов измерения. Однако увеличение пространственного разрешения при этом достигается только по одной координате, так как угловое разрешение по другой координате неизменно и определяется количеством каналов измерения. Недостатком такого способа является большая стоимость сканера из-за большого количества отдельных элементов.This method allows to reduce the limitation associated with the final speed of light propagation due to simultaneous measurements in different directions using independent measurement channels. However, the increase in spatial resolution in this case is achieved only in one coordinate, since the angular resolution in the other coordinate is invariable and is determined by the number of measurement channels. The disadvantage of this method is the high cost of the scanner due to the large number of individual elements.
Известен способ получения пространственных данных с использованием так называемых времяпролетных матричных фотодетекторов, каждый элемент которых (пиксель матрицы) позволяет измерить зависимость интенсивности светового потока от времени и тем самым определить расстояние до объектов с использованием времяпролетного метода. При этом необходимо использование импульсной подсветки расходящимся в широком секторе лазерным лучом. Этот способ носит название флэш-лидар (flash-LIDAR). В различных системах используются как линейные фотоприемники (одномерный массив фотоприемных пикселей), так и матричные (двумерный массив фотоприемных пикселей). Например, в патенте US 20170090032 A1 (WO2015189025 (A1)) дано описание лидарной системы на основе лазерного источника и сканирующего зеркала. В системе используется матричный фотоприемник (детектор изображения), представляющий собой массив фотоэлементов, каждый элемент которого позволяет измерить зависимость интенсивности принимаемого света от времени. A known method of obtaining spatial data using the so-called time-of-flight matrix photodetectors, each element of which (matrix pixel) allows you to measure the dependence of the intensity of the light flux on time and thereby determine the distance to objects using the time-of-flight method. In this case, it is necessary to use pulsed illumination by a laser beam diverging in a wide sector. This method is called flash lidar (flash-LIDAR). Different systems use both linear photodetectors (one-dimensional array of photodetector pixels) and matrix (two-dimensional array of photodetector pixels). For example, US Pat. No. 20170090032 A1 (WO2015189025 (A1)) describes a lidar system based on a laser source and a scanning mirror. The system uses a matrix photodetector (image detector), which is an array of photocells, each element of which allows you to measure the dependence of the received light intensity on time.
Недостатками способа использования времяпролетных матричных фотодетекторов является зависимость углового разрешения лазерного радара от числа пикселей фотоприемной матрицы, а также ограничения, связанные с необходимостью использования лазерного источника достаточно высокой мощности для единовременной подсветки широкого сектора на больших расстояниях. The disadvantages of the method of using time-of-flight matrix photodetectors are the dependence of the angular resolution of the laser radar on the number of pixels of the photodetector matrix, as well as the limitations associated with the need to use a laser source of high enough power for simultaneous illumination of a wide sector at large distances.
Основным недостатком известных способов получения пространственных данных посредством лазерного радара является то, что угловое разрешение сканера не изменяется вне зависимости от наличия или отсутствия в секторе сканирования объектов детектирования и визуализации. Под угловым разрешением сканирования понимается минимальный угол, при котором можно различить два отдельных объекта, находящихся на одинаковом удалении от сканера. The main disadvantage of the known methods for obtaining spatial data by means of a laser radar is that the angular resolution of the scanner does not change regardless of the presence or absence of detection and visualization objects in the scanning sector. By scanning angular resolution is meant the minimum angle at which you can distinguish two separate objects located at the same distance from the scanner.
Однако для построения модели окружающей обстановки в режиме реального времени с целью, например, управления автономным транспортным средством, необходимо получение пространственных данных об объектах дорожной обстановки с повышенной детализацией потенциально опасных объектов, в том числе пешеходов, повреждений дорожного покрытия или случайных предметов на пути следования. However, in order to build a real-time model of the environment for the purpose of, for example, driving an autonomous vehicle, it is necessary to obtain spatial data on road objects with increased detail of potentially dangerous objects, including pedestrians, damage to the road surface or random objects along the route.
2. Построение пространственной модели дорожной обстановки с использованием данных, получаемых от нескольких сенсоров.2. Construction of a spatial model of the road situation using data obtained from several sensors.
В патенте компании Baidu CN106405555 рассматривается использование сенсоров различных типов, в том числе радара и лазерного радара. На основе предварительной информации, полученной одним из сенсоров, производится калибровка данных, которые получают с использованием другого сенсора. В патенте не рассматривается вариант изменения параметров детализации получаемых данных на основе имеющейся предварительной информации, получаемой другим сенсором.Baidu's patent CN106405555 teaches the use of various types of sensors, including radar and laser radar. On the basis of preliminary information received by one of the sensors, the data that are obtained using another sensor is calibrated. The patent does not consider the option of changing the details of the received data based on the available preliminary information received by another sensor.
В US5475494 рассмотрен вариант использования предварительной информации о наличии объекта (препятствия) на дороге с использованием радарного сенсора, и получения изображения посредством фото (видео) камеры в секторе, в котором обнаружено препятствие. При этом ограничение размера сектора, в котором регистрируется изображение, производится с целью уменьшения объема информации, подлежащей анализу и, соответственно, уменьшения времени обработки информации. В патенте не рассматривается изменение углового разрешения сенсора в зависимости от наличия предварительной информации о нахождении объекта в исследуемом секторе.US5475494 considers the option of using preliminary information about the presence of an object (obstacle) on the road using a radar sensor, and acquiring an image using a photo (video) camera in the sector in which the obstacle is detected. At the same time, the size of the sector in which the image is recorded is limited in order to reduce the amount of information to be analyzed and, accordingly, reduce the processing time of the information. The patent does not consider the change in the angular resolution of the sensor depending on the availability of preliminary information about the location of the object in the sector under study.
Известен способ, при котором данные для построения пространственной модели дорожной обстановки для автомобиля без водителя собираются с различным угловым разрешением в зависимости от направления измерений, выбранный в качестве прототипа. В патенте US20170176597 (A1) GOOGLE INC [US] (2016) представлен способ, при котором данные для модели дорожной обстановки собираются посредством двух и более лидаров (лазерных радаров), обладающих различным угловым разрешением. При этом производится построение единой модели дорожной обстановки со степенью детализации, различающейся по разным направлениям. Например, может быть использован лидар с малым угловым разрешением (первый лидар) и широким (360 градусов в горизонтальной плоскости) сектором обзора и лидар с высоким угловым разрешением (второй лидар) с узким сектором обзора. Данные лидара с малым угловым разрешением, порядка нескольких градусов, могут быть использованы для измерения расстояния и направления на объект. Данные лидара с высоким угловым разрешением (десятые и сотые доли градуса) могут быть использованы для идентификации объекта.There is a method in which data for constructing a spatial model of the road situation for a car without a driver is collected with different angular resolution depending on the direction of measurement, selected as a prototype. US20170176597 (A1) GOOGLE INC [US] (2016) discloses a method in which data for a traffic model is collected by two or more lidars (laser radars) having different angular resolutions. At the same time, a single model of the road situation is built with a degree of detail that differs in different directions. For example, a lidar with a small angular resolution (first lidar) and a wide (360 degrees in the horizontal plane) viewing sector and a high angular resolution lidar (second lidar) with a narrow viewing sector can be used. Lidar data with a small angular resolution, of the order of several degrees, can be used to measure the distance and direction to the object. High-resolution lidar data (tenths and hundredths of a degree) can be used to identify an object.
Согласно одному из утверждений US2017176597 (A1), сектор обзора второго лидара может быть изменяемым, при этом с помощью контроллера производится анализ данных, получаемых первым лидаром, в том числе определяется положение объектов, и на основе этого анализа производится управление сектором обзора второго лидара. Недостатком предлагаемого решения является то, что улучшение параметров системы производится экстенсивно, то есть за счет увеличения количества отдельных сенсоров, а не за счет улучшения качества данных, получаемых одним сенсором. Такое техническое решение приводит к пропорциональному росту габаритных размеров, числа соединений, сложности изделия.According to one of the statements of US2017176597 (A1), the field of view of the second lidar can be changed, while using the controller, the data received by the first lidar is analyzed, including the position of objects, and based on this analysis, the field of view of the second lidar is controlled. The disadvantage of the proposed solution is that the improvement of the system parameters is carried out extensively, that is, by increasing the number of individual sensors, and not by improving the quality of the data received by one sensor. Such a technical solution leads to a proportional increase in overall dimensions, the number of connections, the complexity of the product.
Известны оптические сканирующие системы, которые могут быть использованы для сканирования пространства с целью получения пространственной модели окружающей обстановки, описаны, например, в публикациях [Enhanced scanning agility using a double pair of Risley prisms. Appl Opt. 2015 Dec 1; 54(34):10213-26. doi: 10.1364/AO.54.010213.; Frame frequency prediction for Risley-prism-based imaging laser radar Applied Optics 53(16):3556-3564 June 2014 DOI: 10.1364/AO.53.003556]. Known optical scanning systems that can be used to scan space in order to obtain a spatial model of the environment are described, for example, in [Enhanced scanning agility using a double pair of Risley prisms. Appl Opt. 2015 Dec 1; 54 (34): 10213-26. doi: 10.1364 / AO.54.010213 .; Frame frequency prediction for Risley-prism-based imaging laser radar Applied Optics 53 (16): 3556-3564 June 2014 DOI: 10.1364 / AO.53.003556].
Задачей изобретения является создание способа получения пространственной модели окружающей обстановки на основе данных, полученных методом лазерной локации, который обеспечивает получение в режиме реального времени пространственных изображений объектов с большой степенью детализации, обнаруживаемых в широком секторе сканирования, а также устройства для его осуществления, обладающего более простой по сравнению с известными аналогами конструкцией и уменьшенными габаритами. The objective of the invention is to provide a method for obtaining a spatial model of the environment based on data obtained by the laser location method, which provides real-time spatial images of objects with a high degree of detail found in a wide scanning sector, as well as a device for its implementation, which has a simpler in comparison with the known analogues in design and reduced dimensions.
Раскрытие изобретенияDisclosure of invention
Для решения поставленной задачи предложен способ получения пространственной модели окружающей обстановки в режиме реального времени с использованием лазерной локации, в котором производят сканирование пространства последовательностью лазерных импульсов в пространственном секторе, производят регистрацию оптического сигнала рассеяния и/или отражения лазерных импульсов по меньшей мере одним обнаруженным объектом окружающей обстановки. Способ отличается от аналогичных тем, что в поле зрения лазерного радара выделяют по меньшей мере один пространственный сектор, в котором находится по меньшей мере один обнаруженный объект, производят детальное сканирование по меньшей мере одного выделенного пространственного сектора, на основе полученных данных детального сканирования в режиме реального времени по меньшей мере в одном выделенном пространственном секторе производят построение пространственной модели окружающей обстановки с увеличенным пространственным разрешением. To solve this problem, a method is proposed for obtaining a spatial model of the environment in real time using a laser location, in which the space is scanned by a sequence of laser pulses in the spatial sector, the optical signal of scattering and / or reflection of laser pulses is recorded by at least one detected object of the surrounding the setting. The method differs from similar ones in that at least one spatial sector in which at least one detected object is located in the field of view of the laser radar is selected, a detailed scan of at least one selected spatial sector is made, based on the obtained real-time detailed scan data of time in at least one selected spatial sector, a spatial model of the environment is constructed with increased spatial resolution m
В предпочтительном варианте осуществление сканирование производят с использованием спектрального мультиплексирования каналов детектирования.In a preferred embodiment, the scan is performed using spectral multiplexing of the detection channels.
Предпочтительно пространственное разрешение получаемой пространственной модели изменяют в зависимости от расстояния до предмета и числа проведенных единичных измерений в выделенном пространственном секторе, при этом увеличение пространственного разрешения достигается за счет статистической обработки получаемых данных для указанного пространственного сектора.Preferably, the spatial resolution of the resulting spatial model is changed depending on the distance to the object and the number of individual measurements in the selected spatial sector, while the increase in spatial resolution is achieved by statistical processing of the obtained data for the specified spatial sector.
На всех этапах способа предпочтительно получают данные геопозиционирования в режиме реального времени.В одном из вариантов осуществления перед этапом сканирования пространства последовательностью лазерных импульсов формируют и/или получают массив данных, содержащих предварительную информацию об окружающей обстановке, включая угловое положение и расстояние до по меньшей мере одного обнаруженного объекта, и/или положение, направление движения и скорость объекта в заданной системе координат.At all stages of the method, it is preferable to obtain geolocation data in real time. In one embodiment, before the step of scanning the space, a sequence of laser pulses generates and / or receives an array of data containing preliminary information about the surrounding environment, including the angular position and the distance to at least detected object, and / or position, direction of movement and speed of the object in a given coordinate system.
Предварительную информацию об окружающей обстановке можно получать в результате измерений, произведенных методом радиолокации и/или лазерной локации. Preliminary information about the environment can be obtained as a result of measurements made by the method of radar and / or laser location.
Предварительную информацию об окружающей обстановке можно получать на основе анализа изображений и/или видеопотока. Preliminary information about the environment can be obtained on the basis of image analysis and / or video stream.
Предпочтительно количество единичных измерений расстояний до поверхности объекта в выделенном пространственном секторе и траекторию сканирования определяют в зависимости от предварительной информации. Preferably, the number of unit measurements of the distances to the surface of the object in the selected spatial sector and the scanning path are determined depending on preliminary information.
Предпочтительно на основе предварительной информации получают пространственную модель окружающего пространства и сохраняют ее в блоке памяти. Preferably, on the basis of preliminary information, a spatial model of the surrounding space is obtained and stored in a memory unit.
В предпочтительном варианте осуществляют сравнение полученной пространственной модели с сохраненной пространственной моделью, полученной на основе предварительной информации с использованием данных геопозиционирования. In a preferred embodiment, the obtained spatial model is compared with the stored spatial model obtained on the basis of preliminary information using the data of the map.
В другом аспекте изобретения предложено устройство для получения пространственной модели окружающей обстановки в режиме реального времени с использованием лазерной локации, содержащее лазерный радар, включающий в себя источник лазерного излучения, фотоприемный блок и сканирующий узел, блок управления, процессорный блок и блок памяти. Отличием заявленного устройства является то, что сканирующий узел лазерного радара содержит сканирующий оптический блок, а также направляющий оптический блок, выполненный с возможностью осуществления управления пространственным сектором по меньшей мере по одной сферической координате. In another aspect of the invention, there is provided a device for obtaining a spatial model of the environment in real time using a laser location, comprising a laser radar including a laser radiation source, a photodetector unit and a scanning unit, a control unit, a processor unit and a memory unit. The difference of the claimed device is that the scanning node of the laser radar contains a scanning optical unit, as well as a directing optical unit, configured to control the spatial sector of at least one spherical coordinate.
Сканирующий узел предпочтительно содержит оптический блок с по меньшей мере одним подвижным сканирующим оптическим элементом.The scanning unit preferably comprises an optical unit with at least one movable scanning optical element.
Подвижный сканирующий оптический элемент может представлять собой вращающуюся прозрачную призму, поворотное, вращающееся или качающееся зеркало.The movable scanning optical element may be a rotating transparent prism, a rotating, rotating or swinging mirror.
Направляющий оптический блок может содержать пару вращающихся прозрачных призм, зеркало с двумя степенями свободы или пару зеркал, каждое из которых имеет одну степень свободы.The guide optical unit may contain a pair of rotating transparent prisms, a mirror with two degrees of freedom, or a pair of mirrors, each of which has one degree of freedom.
Устройство может дополнительно содержать видеоблок, включающий в себя по меньшей мере одну видеокамеру.The device may further comprise a video unit including at least one video camera.
Устройство может дополнительно содержать содержит радар.The device may further comprise a radar.
Устройство может дополнительно содержать тепловизор. The device may further comprise a thermal imager.
Устройство может дополнительно содержать систему геопозиционирования.The device may further comprise a geolocation system.
Источник лазерного излучения предпочтительно является источником с несколькими длинами волн, фотоприемный блок содержит каналы, количество которых соответствует числу длин волн источника лазерного излучения, при этом оптическая схема включает в себя подвижный или неподвижный диспергирующий элемент, установленный с возможностью направления лазерного излучения с разными длинами волн по нескольким различающимся направлениям.The laser radiation source is preferably a source with several wavelengths, the photodetector unit contains channels, the number of which corresponds to the number of wavelengths of the laser radiation source, while the optical circuit includes a movable or stationary dispersing element, installed with the possibility of directing laser radiation with different wavelengths several different directions.
Диспергирующий элемент предпочтительно выбран из группы, включающей дифракционную решетку, объемную дифракционную решетку и призму.The dispersing element is preferably selected from the group consisting of a diffraction grating, a bulk diffraction grating, and a prism.
Техническим результатом, достигаемым настоящей группой изобретений, является обеспечение возможности получения в режиме реального времени детализированных пространственных изображений объектов, обнаруживаемых в широком секторе сканирования при уменьшении габаритов устройства и его сложности. The technical result achieved by this group of inventions is the ability to obtain real-time detailed spatial images of objects detected in a wide scanning sector while reducing the size of the device and its complexity.
В отличие от известного способа согласно прототипу, предлагаемый способ получения пространственных данных о дорожной обстановке в режиме реального времени использует только один лидар с изменяемыми сектором обзора и угловым разрешением. При этом сектор получения данных с повышенным угловым разрешением производится на основе данных предварительного сканирования самим (этим же) лидаром в широком секторе, а также с использованием данных, получаемых посредством иных сенсоров, в том числе радара, видеокамер и других сенсоров. Такой режим сканирования характеризуется как «режим концентрации внимания на объекте». In contrast to the known method according to the prototype, the proposed method for obtaining spatial data on the road situation in real time uses only one lidar with variable viewing sector and angular resolution. At the same time, the sector of obtaining data with a higher angular resolution is based on the data of preliminary scanning by the same lidar in a wide sector, as well as using data obtained through other sensors, including radar, video cameras and other sensors. Such a scanning mode is characterized as a “mode of concentration of attention on an object”.
В отличие от прототипа в предлагаемом способе изменяемое угловое разрешение системы достигается не за счет использования дополнительного (второго, третьего и т.д.) лидара с высоким фиксированным угловым разрешением, а за счет изменяемого углового разрешения сканера.Unlike the prototype, in the proposed method, the variable angular resolution of the system is achieved not by using an additional (second, third, etc.) lidar with a high fixed angular resolution, but by the variable angular resolution of the scanner.
Изменяемое угловое разрешение системы может быть достигнуто, например, за счет использования сложной траектории поворота луча, неоднородной в пределах сектора обзора. Например, в сканере могут быть использованы два и более отклоняющих элемента, в том числе вращающиеся призмы, поворачивающиеся или вращающиеся зеркала, многоугольные вращающиеся зеркала или другие элементы и различные комбинации этих элементов. Variable angular resolution of the system can be achieved, for example, through the use of a complex path of rotation of the beam, inhomogeneous within the field of view. For example, two or more deflecting elements can be used in a scanner, including rotating prisms, rotating or rotating mirrors, polygonal rotating mirrors or other elements, and various combinations of these elements.
В одном из вариантов возможно использование вращающихся прозрачных призм (клиньев), при этом мгновенное направление луча лазера определяется текущим положением всех призм. Траектория сканирования при этом зависит от соотношения скоростей вращения элементов. Плотность линий траектории сканирования и, соответственно, число измерений в единичном телесном угле зависят от соотношения скоростей вращения оптических элементов. Угловые скорости перемещения подвижных отклоняющих элементов могут быть подобраны, например, таким образом, чтобы максимальное угловое разрешение достигалось в центре области сканирования. In one embodiment, it is possible to use rotating transparent prisms (wedges), while the instantaneous direction of the laser beam is determined by the current position of all prisms. The scan path in this case depends on the ratio of the rotational speeds of the elements. The density of the lines of the scanning path and, accordingly, the number of measurements in a unit solid angle depend on the ratio of the rotation speeds of the optical elements. The angular velocities of the moving deflecting elements can be selected, for example, so that the maximum angular resolution is achieved in the center of the scanning area.
Проекция луча на плоскость при использовании вращающихся призм представляет собой гипоциклоиду, описываемую в простейшем случае вращения двух одинаковых призм формулой: The projection of the beam onto a plane when using rotating prisms is a hypocycloid, described in the simplest case of rotation of two identical prisms by the formula:
r=a*sin(kϕ) r = a * sin (kϕ)
где Where
r - расстояние между точками кривой и ее центром симметрии,r is the distance between the points of the curve and its center of symmetry,
ϕ - угловая переменная, отсчитываемая от начального направления луча.ϕ is an angular variable counted from the initial direction of the beam.
a – константа, определяющая размах гипоциклоиды, a is a constant that determines the magnitude of the hypocycloid,
k – константа, определяющая период изменения функции при изменении угла, иначе говоря плотность «лепестков» гипоциклоиды. k is a constant that determines the period of change of function when the angle changes, in other words, the density of the "petals" of the hypocycloid.
Угловое разрешение лазерного сканера для каждого сектора сканирования определяется расходимостью луча лазера, а также количеством измерений, проведенных в пределах этого сектора (предполагается, что при каждом измерении направление лазерного луча изменяется). При фиксированной частоте зондирующих импульсов угловое разрешение лазерного сканера пропорционально промежутку времени, в течение которого проводятся измерения в заданном секторе, поскольку накопление числа измерений позволяет повысить разрешение за счет статистической обработки сигнала. The angular resolution of the laser scanner for each scanning sector is determined by the divergence of the laser beam, as well as the number of measurements taken within this sector (it is assumed that the direction of the laser beam changes with each measurement). At a fixed frequency of the probe pulses, the angular resolution of the laser scanner is proportional to the period of time during which measurements are taken in a given sector, since the accumulation of the number of measurements allows increasing the resolution due to statistical signal processing.
Соотношение угловых скоростей перемещения отклоняющих элементов может иметь иррациональное численное значение. В этом случае траектория сканирования получается незамкнутая, и число «лепестков» кривой бесконечно много. В результате может быть достигнуто сколь угодно высокое пространственное разрешение при достаточной длительности проведения измерений. The ratio of the angular velocities of the movement of the deflecting elements can have an irrational numerical value. In this case, the scanning path turns out to be open, and the number of “petals” of the curve is infinitely many. As a result, an arbitrarily high spatial resolution can be achieved with a sufficient measurement duration.
Указанный режим сканирования лазерным радаром «режим концентрации внимания на объекте» может быть получен за счет того, что угловая траектория сканирования изменяема, и может быть определена для каждого следующего промежутка времени на основе предварительной информации о секторах сканирования, представляющих наибольший интерес. Предварительная информация о секторах подробного сканирования может быть получена на основе автоматизированного анализа результатов измерений, проведенных самим лазерным радаром анализа в широком секторе. The indicated scanning mode with a laser radar “attention mode on the object” can be obtained due to the fact that the angular trajectory of the scan is variable, and can be determined for each subsequent time interval based on preliminary information about the scanning sectors of greatest interest. Preliminary information on the sectors of detailed scanning can be obtained on the basis of an automated analysis of the measurement results carried out by the laser analysis radar in a wide sector.
Предварительная информация о секторах подробного сканирования может быть получена на основе прогнозирования места появления объекта, недоступного для наблюдения в данный момент времени, с учетом информации о его координатах, скорости и направлении движения с учетом его возможной траектории. Например, такая ситуация типична при движении потока машин, когда более близкорасположенные транспортные средства препятствуют наблюдению за другими ТС или пешеходами. Preliminary information on the sectors of detailed scanning can be obtained on the basis of predicting the place of occurrence of an object inaccessible for observation at a given time, taking into account information about its coordinates, speed and direction of movement, taking into account its possible trajectory. For example, such a situation is typical when traffic flows, when more closely located vehicles prevent the observation of other vehicles or pedestrians.
Краткое описание чертежейBrief Description of the Drawings
На Фиг. 1 показана функциональная схема устройства.In FIG. 1 shows a functional diagram of the device.
На Фиг. 2 схематически показана оптическая система устройства.In FIG. 2 schematically shows the optical system of the device.
На Фиг.3 показана блок-схема способа.Figure 3 shows a block diagram of a method.
На Фиг. 4 показана схема, поясняющая осуществление способа.In FIG. 4 is a diagram for explaining the implementation of the method.
Осуществление изобретенияThe implementation of the invention
Устройство 1 для получения пространственной модели окружающей обстановки в режиме реального времени с использованием лазерной локации, представленное на Фиг. 1, содержит лазерный радар 2, включающий в себя источник 3 лазерного излучения, фотоприемный блок 4 и сканирующий узел 5, блок 6 управления, процессорный блок 7 и блок 8 памяти с базой данных окружающей обстановки. Сканирующий узел 5 лазерного радара 2 содержит сканирующий оптический блок 9 и направляющий оптический блок 10, выполненный с возможностью осуществления управления пространственным сектором по меньшей мере по одной сферической координате. Кроме того, устройство содержит радар 11, видеоблок 12, включающий в себя по меньшей мере одну видеокамеру, тепловизор 13 и систему 14 геопозиционирования. A
Оптическая схема устройства, представленная на Фиг.2, содержит первую призменную пару 15, вторую призменную пару 16, пространственный сектор 17, выделенный пространственный сектор 18. The optical diagram of the device shown in FIG. 2 comprises a first
На Фиг. 3 представлена блок-схема, поясняющая осуществление способа получения пространственной модели окружающей обстановки на основе данных, полученных методом лазерной локации, в режиме реального времени. После инициализации (включения системы сбора пространственной информации) производится построение грубой пространственной модели (корневого уровня) на основе имеющихся исходных данных, находящихся в памяти устройства. При отсутствии исходных данных в памяти этот этап может быть пропущен. In FIG. 3 is a flowchart illustrating the implementation of a method for obtaining a spatial model of the environment based on data obtained by the laser location method in real time. After initialization (turning on the spatial information collection system), a rough spatial model (root level) is built based on the available source data in the device’s memory. In the absence of source data in memory, this step may be skipped.
Следующим этапом является получение пространственных данных о текущей конфигурации дорожной обстановки с малой детализацией. Для этого проводятся измерения с использованием всех сенсоров, включенных в состав устройства. На этом этапе лазерный радар производит обзорное сканирование с малым угловым разрешением, но в широком пространственном угле (см. Фиг.4).The next step is to obtain spatial data about the current configuration of the road situation with low detail. To do this, measurements are made using all the sensors included in the device. At this stage, the laser radar produces an overview scan with a small angular resolution, but in a wide spatial angle (see Figure 4).
На основе данных, полученных всеми сенсорами, строится (уточняется) мгновенная пространственная модель, и определяются координаты либо угловые координаты объектов. Делается прогноз углового перемещения объектов.Based on the data obtained by all sensors, an instantaneous spatial model is built (specified) and the coordinates or angular coordinates of the objects are determined. A forecast is made of the angular displacement of objects.
По окончании этапа получения пространственных данных с малой детализацией данные передаются для анализа в процессорный блок дорожной обстановки, которая принимает решение о необходимости проведения подробного лазерного сканирования в каком-либо одном или нескольких пространственных секторах. Расставляются приоритеты секторов подробного сканирования с учетом потенциальной важности информации об объектах для системы управления. At the end of the stage of obtaining spatial data with low detail, the data are transmitted for analysis to the processor unit of the traffic situation, which makes the decision on the need for a detailed laser scan in any one or more spatial sectors. Priorities for detailed scanning sectors are prioritized taking into account the potential importance of object information for the control system.
Производится центрирование лазерного сканера на объекте, согласно приоритету. Проводится цикл сканирования, и по его результатам делается корректировка пространственной модели, заключающаяся в основном в повышении детализации изображения объекта и уточнении его координат и скорости. The laser scanner is centered on the object, according to priority. A scanning cycle is carried out, and according to its results, the spatial model is adjusted, which consists mainly in increasing the detail of the image of the object and refining its coordinates and speed.
Полученная информация передается в процессорный блок устройства для получения пространственной модели окружающей обстановки, который принимает решение о повторении цикла сканирования выделенного объекта или о переходе к следующим действиям.The received information is transmitted to the processor unit of the device to obtain a spatial model of the environment, which decides to repeat the scan cycle of the selected object or to move on to the next steps.
На фиг.4 показана схема, поясняющая осуществление способа. Устройство 1 для получения пространственной модели окружающей обстановки в режиме реального времени с использованием лазерной локации, установленное на средстве перемещения 19, например, на автомобиле, имеет пространственный сектор сканирования 17 (номер был обозначен ранее), содержащий интересующие объекты 20,21,22,23 сканирования, при этом объект 20 сканирования повышенного внимания попадает в выделенный пространственный сектор 18 номер был обозначен ранее, кроме того объект 24, не представляющий интереса , находится за областью пространственного сектора 17.Figure 4 shows a diagram explaining the implementation of the method. A
Принцип работы устройства 1 для получения пространственной модели окружающей обстановки в режиме реального времени с использованием лазерной локации основан на сканировании лазерным радаром 2 окружающей обстановки последовательностью лазерных импульсов, генерируемых источником 3 лазерного излучения. Сканирование пространства осуществляется сканирующим узлом 5, при этом сканирующий 9 и направляющий 10 оптические блоки управляются с помощью блока управления 6, задающим направление и параметры сканирования окружающей обстановки. В процессе сканирования регистрируют рассеянный и/или отраженный лазерный импульс в фотоприемном блоке 4 и передают данные для вычисления результатов в процессорный блок 7. В предпочтительном варианте осуществления изобретения перед сканированием окружающей обстановки радаром 2 формируют предварительные данные, полученные с помощью блока 8 памяти с базой данных окружающей обстановки, радара 11, видеоблока 12, тепловизора 13, системы 14 геопозиционирования, использующихся последовательно, одновременно или в любых комбинациях. The principle of operation of the
Анализ результатов предварительных измерений проводится в режиме реального времени со скоростью, необходимой для решения задач анализа окружающей обстановки, например, контроля дорожной обстановки на магистралях общего пользования. Analysis of the results of preliminary measurements is carried out in real time at the speed necessary to solve the problems of environmental analysis, for example, control of traffic conditions on public highways.
Предложенный алгоритм сканирования оптимизирован для решения задачи обнаружения и распознавания удаленных объектов посредством лазерного сканирования и дает возможность получать детальную информацию об объектах с целью их распознавания и прогноза перемещений.The proposed scanning algorithm is optimized for solving the problem of detection and recognition of distant objects by means of laser scanning and makes it possible to obtain detailed information about objects with the aim of recognizing and predicting movements.
Claims (29)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2017135511A RU2679923C1 (en) | 2017-10-05 | 2017-10-05 | Method for obtaining spatial model of environment in real time on basis of laser location and device for implementation thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2017135511A RU2679923C1 (en) | 2017-10-05 | 2017-10-05 | Method for obtaining spatial model of environment in real time on basis of laser location and device for implementation thereof |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| RU2679923C1 true RU2679923C1 (en) | 2019-02-14 |
Family
ID=65442862
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2017135511A RU2679923C1 (en) | 2017-10-05 | 2017-10-05 | Method for obtaining spatial model of environment in real time on basis of laser location and device for implementation thereof |
Country Status (1)
| Country | Link |
|---|---|
| RU (1) | RU2679923C1 (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110794423A (en) * | 2019-09-27 | 2020-02-14 | 重庆大学 | Rigid-flexible hybrid connection self-adaptive device for vehicle-mounted laser radar |
| CN110824456A (en) * | 2019-11-05 | 2020-02-21 | 广西大学 | Self-adaptive resolution three-dimensional laser scanning method |
| RU2767949C2 (en) * | 2019-12-30 | 2022-03-22 | Общество с ограниченной ответственностью "Яндекс Беспилотные Технологии" | Method (options) and system for calibrating several lidar sensors |
| RU2792951C2 (en) * | 2020-10-09 | 2023-03-28 | Общество с ограниченной ответственностью «Яндекс Беспилотные Технологии» | Lidar systems and methods with selective scanning |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012085151A1 (en) * | 2010-12-23 | 2012-06-28 | Borowski Andre | 2d/3d real-time imager and corresponding imaging methods |
| RU2587100C2 (en) * | 2014-05-19 | 2016-06-10 | Российская Федерация, в лице Министерства промышленности и торговли Российской Федерации (Минпромторг России) | Method of increasing information value and efficiency of laser radar |
| US20160223663A1 (en) * | 2015-01-30 | 2016-08-04 | Toyota Motor Engineering & Manufacturing North America, Inc. | Combined radar sensor and lidar sensor processing |
-
2017
- 2017-10-05 RU RU2017135511A patent/RU2679923C1/en active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012085151A1 (en) * | 2010-12-23 | 2012-06-28 | Borowski Andre | 2d/3d real-time imager and corresponding imaging methods |
| RU2587100C2 (en) * | 2014-05-19 | 2016-06-10 | Российская Федерация, в лице Министерства промышленности и торговли Российской Федерации (Минпромторг России) | Method of increasing information value and efficiency of laser radar |
| US20160223663A1 (en) * | 2015-01-30 | 2016-08-04 | Toyota Motor Engineering & Manufacturing North America, Inc. | Combined radar sensor and lidar sensor processing |
Non-Patent Citations (2)
| Title |
|---|
| А.В. Комиссаров "Теория и технология лазерного сканирования для пространственного моделирования территорий", Авто диссертации на соискание ученой степени доктора технических наук, "Сибирский государственный университет геосистем и технологий", Новосибирск, 2016. * |
| А.В. Комиссаров "Теория и технология лазерного сканирования для пространственного моделирования территорий", Автореферат диссертации на соискание ученой степени доктора технических наук, "Сибирский государственный университет геосистем и технологий", Новосибирск, 2016. * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110794423A (en) * | 2019-09-27 | 2020-02-14 | 重庆大学 | Rigid-flexible hybrid connection self-adaptive device for vehicle-mounted laser radar |
| CN110824456A (en) * | 2019-11-05 | 2020-02-21 | 广西大学 | Self-adaptive resolution three-dimensional laser scanning method |
| RU2767949C2 (en) * | 2019-12-30 | 2022-03-22 | Общество с ограниченной ответственностью "Яндекс Беспилотные Технологии" | Method (options) and system for calibrating several lidar sensors |
| RU2808058C1 (en) * | 2020-01-31 | 2023-11-22 | Ниссан Мотор Ко., Лтд. | Object recognition method and object recognition device |
| RU2792951C2 (en) * | 2020-10-09 | 2023-03-28 | Общество с ограниченной ответственностью «Яндекс Беспилотные Технологии» | Lidar systems and methods with selective scanning |
| RU2794869C1 (en) * | 2022-12-09 | 2023-04-25 | Акционерное общество "Научно-исследовательский институт "Полюс" им. М.Ф. Стельмаха" | Method for scanning space with a laser beam and determining the coordinates of detected objects |
| RU2794869C9 (en) * | 2022-12-09 | 2023-06-26 | Акционерное общество "Научно-исследовательский институт "Полюс" им. М.Ф. Стельмаха" | Method for scanning space with a laser beam and determining the coordinates of detected objects |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7465312B2 (en) | High resolution lidar using high frequency pulse emission. | |
| JP7203217B2 (en) | Time-of-flight sensor with structured light illumination | |
| KR101964971B1 (en) | A lidar device | |
| US20200319317A1 (en) | Methods and apparatus for object detection and identification in a multiple detector lidar array | |
| CA2901100C (en) | System and method for scanning a surface and computer program implementing the method | |
| CA2650235C (en) | Distance measuring method and distance measuring element for detecting the spatial dimension of a target | |
| CN112534303B (en) | Hybrid time-of-flight and imager module | |
| US20150204977A1 (en) | Object detection device and sensing apparatus | |
| KR102020037B1 (en) | Hybrid LiDAR scanner | |
| CA3012691A1 (en) | Lidar based 3-d imaging with far-field illumination overlap | |
| EP2824418A1 (en) | Surround sensing system | |
| RU2679923C1 (en) | Method for obtaining spatial model of environment in real time on basis of laser location and device for implementation thereof | |
| CN111712828A (en) | Object detection method, electronic device and movable platform | |
| KR20220003588A (en) | Temporal jitter in LIDAR systems | |
| JP6186863B2 (en) | Ranging device and program | |
| KR20220082849A (en) | Method and device for determining distances to a scene | |
| English et al. | The complementary nature of triangulation and ladar technologies | |
| JP7568585B2 (en) | Distance measuring device, moving body, and distance measuring method | |
| US20230161040A1 (en) | Electromagnetic wave detection apparatus and range finder | |
| US20240094392A1 (en) | Optical sensing system, optical sensing device, and optical sensing method | |
| JP2024040916A (en) | Scanning device, scanning method, and program | |
| CN118541725A (en) | Method for generating a depth map |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PD4A | Correction of name of patent owner | ||
| QB4A | Licence on use of patent |
Free format text: PLEDGE FORMERLY AGREED ON 20200313 Effective date: 20200313 |
|
| TK4A | Correction to the publication in the bulletin (patent) |
Free format text: CORRECTION TO CHAPTER -QB4A- IN JOURNAL 8-2020 |
|
| QC41 | Official registration of the termination of the licence agreement or other agreements on the disposal of an exclusive right |
Free format text: PLEDGE FORMERLY AGREED ON 20200313 Effective date: 20211026 |