RU2602729C2 - Способ определения расстояния до объекта при помощи камеры (варианты) - Google Patents
Способ определения расстояния до объекта при помощи камеры (варианты) Download PDFInfo
- Publication number
- RU2602729C2 RU2602729C2 RU2014137990/28A RU2014137990A RU2602729C2 RU 2602729 C2 RU2602729 C2 RU 2602729C2 RU 2014137990/28 A RU2014137990/28 A RU 2014137990/28A RU 2014137990 A RU2014137990 A RU 2014137990A RU 2602729 C2 RU2602729 C2 RU 2602729C2
- Authority
- RU
- Russia
- Prior art keywords
- camera
- distance
- calibration characteristics
- focal length
- calibration
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/564—Depth or shape recovery from multiple images from contours
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
- G01C3/02—Details
- G01C3/06—Use of electric means to obtain final indication
- G01C3/08—Use of electric radiation detectors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- Multimedia (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Electromagnetism (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Studio Devices (AREA)
- Measurement Of Optical Distance (AREA)
Abstract
Способ определения расстояния при помощи камеры основан на том, что получают один видеокадр, получают калибровочные характеристики камеры, выделяют на кадре объект, до которого измеряют расстояние. Расстояние определяют на основании метрических и угловых размеров объекта. Если объект не имеет постоянной формы, например дым, то создают модель движения объекта по нескольким кадрам и определяют расстояние до него на основании углового и метрического смещения объекта. Техническим результатом данного изобретения является обеспечение универсального способа определения расстояния с помощью видеокамеры до удаленных объектов за счет исключения необходимости предварительной настройки камеры относительно зоны ее установки. 2 н. и 27 з.п. ф-лы, 2 ил.
Description
ОБЛАСТЬ ТЕХНИКИ
Данное изобретение относится к системам и способам измерения расстояния до удаленных объектов при помощи видеосенсора (камеры).
УРОВЕНЬ ТЕХНИКИ
Известны способы и системы определения расстояния до удаленного объекта.
Известна группа систем и способов, использующие для определения расстояния до объекта т.н. лидары. Лидар (транслитерация LIDAR англ. Light Detection and Ranging - световое обнаружение и определение дальности) - технология получения и обработки информации об удаленных объектах с помощью активных оптических систем, использующих явления отражения света и его рассеяния в прозрачных и полупрозрачных средах. Недостатками данных решений является необходимость использовать дополнительное оборудование, что удорожает конструкцию и не всегда возможно в условиях уже смонтированных систем видеонаблюдения.
Из уровня техники известен способ определения расстояния до объекта при помощи оптического прибора (например, бинокля) или «на глаз», «Снайпер. Методологическая подготовка», А.Ф. Домненко. - Ростов н/Д.: Феникс, 2006. - 176 с.: ил. Недостатком данного способа является невозможность его применения в существующих системах видеонаблюдения и видеомониторинга.
Известно техническое решение патент РФ 2470376, «Способ определения расстояния от видеокамеры измерителя скорости до транспортного средства (варианты)», заявитель ООО «Технологии Распознавания», опубл. 20.12.2012. Группа изобретений относится к контрольно-измерительной технике и может применяться для определения расстояния до движущегося транспортного средства (ТС). На пути движения ТС размещают видеокамеру, при появлении ТС в зоне контроля фиксируют видеокадр с изображением пластины с государственным регистрационным знаком (ГРЗ) на ТС. Производят распознавание символов ГРЗ, по которым определяют тип пластины ГРЗ. Измеряют координаты точек (вершин) углов изображения пластины ГРЗ в системе координат видеокадра, определяют геометрические размеры изображения пластины ГРЗ на видеокадре в пикселях. В заявленной группе изобретений измеряется расстояние до определенной точки ТС, а именно до центра пластины ГРЗ, независимо от высоты установки видеокамеры над автодорогой. Кроме того, обеспечивается определение высоты подвеса пластины ГРЗ над дорогой. Применение группы изобретений позволяет повысить вероятность идентификации ТС при обнаружении нарушения скоростного режима.
Недостатком данного технического решения является необходимость точной привязки камеры к ее местоположению и получаемому с нее изображению, а также предварительного измерения параметров взаимного расположения видеокамеры и ее зоны контроля в плоскости дороги: высоту подвеса камеры над дорогой, расстояние от точки проекции видеокамеры на дорогу до начала зоны контроля и т.д., что трудно реализуемо при большой удаленности объектов.
СУЩНОСТЬ ИЗОБРЕТЕНИЯ
Данное изобретение направлено на устранение недостатков, присущих известным техническим решениям.
Техническим результатом данного изобретения является обеспечение универсального способа определения расстояния с помощью видеокамеры до удаленных объектов за счет исключения необходимости предварительной настройки камеры относительно зоны ее установки.
Согласно первому варианту, способ определения расстояния при помощи камеры, включает следующие шаги: получают по крайней мере один видеокадр и калибровочные характеристики камеры, далее выделяют и вводят размеры по крайней мере одного объекта, расстояние до которого необходимо измерить, затем определяют расстояние до по крайней мере одного выделенного объекта на основании калибровочных характеристик камеры.
В некоторых вариантах реализации, калибровочные характеристики камеры могут включать:
- Фокусное расстояние
- Коэффициенты дисторсии
- Размер и соотношение сторон пикселя
- Положение сенсора камеры относительно оптической оси
- Данные о разрешении изображения.
В некоторых вариантах реализации, калибровочные характеристики камеры могут включать:
- обзор камеры по вертикали,
- соотношение сторон,
- разрешение.
В некоторых вариантах реализации, калибровочные характеристики вводятся пользователем.
В некоторых вариантах реализации, калибровочные характеристики получают с камеры.
В некоторых вариантах реализации, калибровочные характеристики получают из специального справочника на основании информации о камере.
В некоторых вариантах реализации, калибровочные характеристики измеряют с помощью специализированных тестов.
В некоторых вариантах реализации, для повышения точности определения расстояния, используют несколько кадров с последующим усреднением и статистическим анализом информации.
В некоторых вариантах реализации, выделение объекта происходит автоматически, при помощи видеоаналитики.
В некоторых вариантах реализации, выделение объекта осуществляется вручную пользователем.
В некоторых вариантах реализации, размеры объекта определяются автоматически, на основании базы данных объектов и их размеров.
В некоторых вариантах реализации, размеры объекта задаются вручную.
В некоторых вариантах реализации, выделение объекта задается с помощью пользовательского инструмента путем выделения начальной и конечной точки координат по оси х объекта с указанием размера объекта по данной оси.
В некоторых вариантах реализации, выделение объекта задается с помощью пользовательского инструмента путем выделения начальной и конечной точки координат х, у объекта с указанием размеров объекта по указанным осям.
В некоторых вариантах реализации, для увеличения точности, определяются три размера объекта - по осям х, у, z в декартовой системе координат.
В некоторых вариантах реализации, выделение объекта задается с помощью прямоугольника с заданием метрических размеров объекта.
Согласно второму варианту, способ определения расстояния при помощи камеры, включает следующие шаги: получают по крайней мере, два видеокадра с задержкой и алибровочные характеристики камеры, выделяют по крайней мере один объект, расстояние, до которого необходимо измерить, и формируют его модель движения, затем определяют расстояние до объекта, на основании модели движения объекта и ориентации камеры, фокусного расстояния и дополнительных калибровочных характеристик камеры.
В некоторых вариантах реализации, калибровочные характеристики камеры могут включать:
- Коэффициенты дисторсии
- Размер и соотношение сторон пикселя
- Положение сенсора камеры относительно оптической оси
- Данные о разрешении изображения.
В некоторых вариантах реализации, калибровочные характеристики камеры могут включать:
- Обзор камеры по вертикали
- Соотношение сторон кадра
- Разрешение матрицы в пикселях.
В некоторых вариантах реализации, калибровочные характеристики вводятся пользователем.
В некоторых вариантах реализации, фокусное расстояние и дополнительные калибровочные характеристики вводятся пользователем.
В некоторых вариантах реализации, фокусное расстояние и дополнительные калибровочные характеристики получают с камеры.
В некоторых вариантах реализации, фокусное расстояние и дополнительные калибровочные характеристики получают из справочника калибровочных характеристик, на основании информации о камере.
В некоторых вариантах реализации, фокусное расстояние и дополнительные калибровочные характеристики измеряют с помощью калибровочных тестов.
В некоторых вариантах реализации, задержка задается предварительно, на этапе настройки.
В некоторых вариантах реализации, задержка определяется динамически, по факту пиксельного смещения объекта на видеокадре.
В некоторых вариантах реализации, выделение объекта происходит автоматически, при помощи видеоаналитики.
В некоторых вариантах реализации, выделение объекта осуществляется вручную пользователем.
В некоторых вариантах реализации, для объектов, не имеющих постоянную форму, видеоаналитика определяет векторы направления движения различных частей объекта.
В некоторых вариантах реализации, модель движения объекта включает метеорологические сведения.
В некоторых вариантах реализации, модель движения объекта выбирается из базы моделей и уточняется на основании данных о движении объекта и/или внешних условий.
В некоторых вариантах реализации, векторы направления движения различных частей объекта сопоставляются с предустановленными моделями движения, в зависимости от внешних условий и уточняется на основании текущих данных.
В одном из вариантов реализации, способ согласно первому варианту может быть реализован в виде системы определения расстояния, включающей:
Устройство фото и/или видеофиксации, одно или более устройство обработки команд, одно или более устройство хранения данных, одну или более программ, где одна или более программ хранятся на одном или более устройстве хранения данных и исполняются на одном и более устройстве обработки команд, причем одна или более программ включает инструкции для реализации способа согласно первому и/или второму варианту.
В качестве устройства фото и/или видеофиксации может быть фотокамера, выполненная с возможностью съемки видео и/или последовательности фотоснимков, или видеокамера.
ПОДРОБНОЕ ОПИСАНИЕ ИЗОБРЕТЕНИЯ
Здесь и далее будут описаны термины, используемые в заявке.
Камера - фото/видеокамера или любой другой фото-видеофиксирующий элемент, с оптической системой.
Фокусное расстояние/фокальное расстояние (англ. focal length) - физическая характеристика оптической системы. Для центрированной оптической системы, состоящей из сферических поверхностей, описывает способность собирать лучи в одну точку при условии, что эти лучи идут из бесконечности параллельным пучком параллельно оптической оси /1/.
Фокусное расстояние объектива - это расстояние от его оптического центра до матрицы фотоаппарата или видеокамеры /1/.
Дисторсия (от лат. distorsio, distortio - искривление) - аберрация оптических систем, при которой линейное увеличение изменяется по полю зрения. При этом нарушается подобие между объектом и его изображением /1/.
Искажения, вызванные дисторсией линз, определяются /2/:
где (Δxr, Δyr) - отклонение пиксела изображения от ее истинного положения - положения, которое занимала бы точка при отсутствии дисторсии, k1..n - коэффициенты дисторсии, постоянные для фиксированной конфигурации оптической системы фотоаппарата, r=(x2+y2)1/2 - расстояние от центра кадра до точки с координатами (х, у).
Разрешение камеры - количество элементов (пикселей) в матрице камеры, обычно по двум осям.
Размер матрицы - физический размер матрицы видеокамеры, обычно измеряется в дюймах и задается диагональю и соотношением сторон.
Калибровка камеры - это задача получения внутренних и внешних параметров камеры (т.н. калибровочных параметров) по отснятым ей фотографиям или видео. Угловой размер - это угол между линиями, соединяющими диаметрально противоположные точки измеряемого объекта и глаз наблюдателя, или точку расположения камеры. Для объекта - это угол, под которым наблюдаются объект из определенной точки (2 крайние точки объекта), в случае сложного объекта, сложной формы, объект может быть описан несколькими угловыми размерами (высота, ширина, длина и т.д.).
Объект - искомый наблюдаемый объект, в случае сложного объекта объектом может быть принята его часть
Угловое смещение (размер углового смещения или угловой размер смещения объекта) - угол между двумя точками нахождения объекта (например, его центра или фронта) в разные моменты времени.
Метрический размер - для объекта расстояние между крайними точками объекта в системе измерения длины (расстояния), в случае сложного объекта может быть описан несколькими размерами (высота, длина и т.д.).
Метрическое смещение (размер метрического смещения или метрический размер смещения) - расстояние между точками нахождения объекта (центра, фронта и др.) в различные моменты времени.
Данное изобретение в различных своих вариантах осуществления может быть выполнено в виде способа, в т.ч. реализуемого на компьютере, в виде системы или машиночитаемого носителя, содержащего инструкции для выполнения вышеупомянутого способа.
В данном изобретении под системой подразумевается компьютерная система, ЭВМ (электронно-вычислительная машина), ЧПУ (числовое программное управление), ПЛК (программируемый логический контроллер), компьютеризированные системы управления и любые другие устройства, способные выполнять заданную, четко определенную последовательность операций (действий, инструкций).
Под устройством обработки команд подразумевается электронный блок либо интегральная схема (микропроцессор), исполняющая машинные инструкции (программы). Устройство обработки команд считывает и выполняет машинные инструкции (программы) с одного или более устройства хранения данных. В роли устройства хранения данных могут выступать, но, не ограничиваясь, жесткие диски (HDD), флеш-память, ПЗУ (постоянное запоминающее устройство), твердотельные накопители (SSD), оптические приводы.
Программа - последовательность инструкций, предназначенных для исполнения устройством управления вычислительной машины или устройством обработки команд.
Согласно первому варианту, способ определения расстояния до объекта с помощью камеры включает следующие шаги:
Получают по крайней мере один видеокадр и дополнительные калибровочные характеристики камеры. В качестве кадра будем понимать по крайней мере один видео- или фотокадр (изображение) полученный с фото- или видеокамеры. В некоторых вариантах реализации, для повышения точности определения расстояния, используют несколько кадров с последующим усреднением и статистическим анализом информации.
Калибровочные характеристики камеры, в зависимости от производителя и необходимого уровня точности результатов, могут включать, но не ограничиваясь:
- Коэффициенты дисторсии
- Размер и соотношение сторон пикселя
- Положение сенсора камеры относительно оптической оси
- Данные о разрешении изображения
Также калибровочные характеристики могут быть выражены в виде комбинации нескольких вышеупомянутых параметров.
В одном из вариантов реализации, калибровочная характеристика камеры может включать обзор камеры по вертикали (например, 3 градуса), соотношение сторон (например, 4/3) и разрешение (например, 800×600). В этом случае можно определить угол, пользуясь простым приближением (если обзор по вертикали 3 градуса, а количество пикселей 800, то получаем,что в одном пикселе 3/800=0,00375 градуса и по вертикали и по горизонтали).
Калибровочные характеристики, в различных вариантах реализации, могут вводиться пользователем, получаться с камеры или справочника калибровочных характеристик, на основании информации о камере, а также измеряться с помощью калибровочных тестов.
Выделяют и вводят размеры по крайней мере одного объекта, расстояние до которого необходимо измерить.
Выделение объекта (определение его размеров в пикселях или пиксельных размеров) может происходить автоматически, при помощи видеоаналитики (системы компьютерного зрения) или вручную пользователем.
Размеры объекта могут определяться автоматически, на основании базы данных объектов и их размеров, с учетом распознавания объекта, произведенного видеоаналитикой /1/ или задаваться пользователем вручную. Размер объекта задается, предпочтительно, в метрической или иной системе измерения.
В одном из вариантов реализации, выделение объекта задается с помощью специализированного инструмента пользователя (например,«линейка») путем выделения начальной и конечной точки координат по оси х объекта с указанием размера объекта по данной оси.
Инструмент пользователя представляет собой графический способ выделения объекта, при котором, с помощью устройств ввода, поверх объекта накладывается (рисуется) линия, соединяющая начальную и конечную точкикоординат по одной из осей х, у.
В одном из вариантов реализации, выделение объекта задается с помощью инструмента пользователя путем выделения начальной и конечной точки координат х, у объекта с указанием размеров объекта по указанным осям.
В одном из вариантов реализации, необходимый объект выделяется с помощью прямоугольника с заданием метрических размеров объекта (ширины, высоты).
В некоторых вариантах реализации, для увеличения точности определяются три размера объекта - по осям х, у, z в декартовой системе координат.
Определяют угловые размеры объекта
Угловые размеры объекта получают на основе пиксельных размеров заданных пользователем или определенных автоматически.
Пусть задан объект с 2-мя точками с координатами образа на изображении (x1p, y1p) и (x2p, y2p) соответственно. Проводим процедуру нормализации каждой точки:
где сх, су - координаты центра оптической оси в пикселях, f - фокусное расстояние в пикселях, s - соотношение сторон пикселя, k - вектор коэффициентов дисторсии.
Процедура Normalize /3/ переводит координаты изображения в систему координат фокальной плоскости с учетом искажений, вносимых дисторсией, положением сенсора камеры и соотношением сторон пикселя
где U - процедура компенсации дисторсии, которая по точке находит ее местоположение при отсутствии дисторсии. Получаем (x1n, y1n) и (x2n, y2n) соответственно.
Получаем угловые размеры объекта по формуле 
Как видно, калибровочная характеристика камеры позволяет определить для заданного размера, указанного на изображении, угловой размер объекта.
Определяют расстояние до по крайней мере одного вышеуказанного выделенного объекта на основании его метрических и угловых размеров.
На основе данных о разрешении изображения, угле обзора камеры, полученных пиксельных размерах объекта, рассчитывают дальность.
Зная угловой и метрический размер объекта (который задан пользователем или получен из базы), можно посчитать расстояние до объекта. В некоторых вариантах реализации, расстояние до объекта определяется следующим образом: 
, где r - искомое расстояние до объекта, М - заданный метрический размер объекта, а - определенный из калибровочной характеристики (которая связывает угол прихода луча изображения и пиксель на изображении) и выделенного на изображении отрезка в пикселях угловой размер видимого объекта.
Согласно второму варианту, способ определения расстояния до объекта с помощью камеры включает следующие шаги.
Получают по крайней мере два видеокадра с задержкой, фокусное расстояние и дополнительные калибровочные характеристики камеры.
Дополнительные калибровочные характеристики камеры, в зависимости от производителя и необходимого уровня точности результатов, могут включать, но не ограничиваясь:
- Коэффициенты дисторсии
- Размер и соотношение сторон пикселя
- Положение сенсора камеры относительно оптической оси
- Данные о разрешении изображения.
Также калибровочные характеристики могут быть выражены в виде комбинации нескольких вышеупомянутых параметров.
В одном из вариантов реализации, калибровочная характеристика камеры может включать обзор камеры по вертикали (например, 3 Градуса), соотношение сторон кадра (например, 4/3) и разрешение матрицы в пикселях (например, 800×600). В этом случае можно определить угол, пользуясь простым приближением (если обзор по вертикали 3 градуса, а количество пикселей 800, то получаем, что в одном пикселе 3/800=0,00375 градуса и по вертикали и по горизонтали).
Калибровочные характеристики, в различных вариантах реализации, могут вводиться пользователем, получаться с камеры или справочника калибровочных характеристик на основании информации о камере, а также измеряться с помощью калибровочных тестов.
В общем случае, с камеры постоянно получают видеопоток, при этом на первом видеокадре определяют объект, до которого хотят измерить расстояние, классифицируют объект, далее в зависимости от типа объекта выбирают время задержки, затем выбирают второй кадр с учетом задержки, на котором также выделяют этот объект.
В некоторых вариантах реализации задержка определяется динамически, по факту пиксельного смещения объекта на видеокадре.
В некоторых вариантах реализации, задержка задается предварительно при настройке системы.
В некоторых вариантах реализации, получают по крайней мере два видеокадра, отличающихся расположением объекта.
Выделяют, по крайней мере, один объект, расстояние до которого необходимо измерить, и формируют модель его движения.
На видеокадрах выделяют объект, расстояние до которого необходимо измерить, и на основании информации об изменении местоположения и/или размеров объекта, а также с учетом типа объекта и внешних погодных и других условий, формируют модель движения объекта, описывающую его поведение во времени.
В некоторых вариантах реализации, под моделью движения объекта будем понимать характеристики движения объекта. В самом простом случае - это линейное движение.
Например, для объекта человек может быть выбрана модель, описывающая скорость его движения, равную 5 км/ч.
Выделение объекта может происходить автоматически, при помощи видеоаналитики (системы компьютерного зрения) или вручную пользователем.
При ручном выделении пользователь выделяет объект на по крайней мере двух видеокадрах, полученных с задержкой.
У сложных объектов, не имеющих постоянной формы (например, дым, облако газа и т.д.), разные части объекта могут иметь различный характер движения (например, некоторая часть дыма может некоторое время двигаться против ветра из-за различных турбулентностей), что также учитывается при построении модели движения.
В случае сложных объектов, в ручном режиме (например, при определении расстояния до объекта «дым») пользователь на нескольких (по крайней мере двух) соседних кадрах указывает направление смещения общего фронта дыма, который связан со скоростью ветра и направлением ветра относительно наблюдения.
В автоматическом режиме для объектов, не имеющих постоянной формы, видеоаналитика определяет т.н. «облако» движения, причем для разных частей движения определяется вектор направления (здесь и далее под «облаком» будем подразумевать множество частей (точек) объекта, меняющих свое положение во времени, для которых определяются вектора движения, рис. 2).
В различных вариантах реализации, определенное на видеокадрах «облако» движения сопоставляется с предустановленными моделями движения, в зависимости от внешних условий (например, ветра) и уточняется на основании текущих данных.
Так, например, для дыма, может выбираться модель движения, наиболее вероятная для текущих погодных условий. Также для дыма можно рассмотреть общую ситуацию, когда в автоматическом режиме, в дыме обнаруживаются отдельные элементы, далее определяется движение каждого элемента между видеокадрами и получается облако движения, причем у каждого элемента этого облака будет свой вектор. В модель (также может быть база предустановленных моделей) могут быть заложены различные облака движения (для разных типов объекта - дым, облако газа и т.д.) для разной скорости ветра и размера пожара (в случае дыма), т.к. чем больше пожар, тем больше будет скорость по вертикальной компоненте; чем больше ветер, тем больше скорость по горизонтальной компоненте.
В некоторых вариантах реализации, модель движения объекта включает метеорологические сведения.
Определяют расстояние до объекта на основании модели движения объекта, ориентации камеры, фокусного расстояния и дополнительных калибровочных характеристик камеры.
Пусть точка А - расположение камеры (рис. 1), В - точка расположения объекта, до которого определяется расстояние. Вектор v характеризует реальное (видимое наблюдателем) направление движения объекта В, вектор r - имеет длину, равную расстоянию от точки наблюдения А до объекта В, и направление из точки расположения объекта в точку наблюдателя (для достаточно удаленных объектов и небольших углов обзора, направление этого вектора совпадет с направлением обзора камеры), 1 - плоскость расположения матрицы (т.е. плоскость проекции, на которой формируется изображение). Тогда метрическое смещение положения объекта можно выразить формулой
m=t·v·cos b,
где m - искомое метрическое смещение, t - задержка между кадрами (время движения), v - модуль скорости движения объекта, например, в метрах в секунду, b - угол между вектором движения и плоскостью проекции изображения.
Найденное метрическое смещение используется как метрический размер, с помощью которого можно найти расстояние до подвижного объекта.
Далее необходимо получить угловое движение, смещение из угловых координат.
Пусть объект на разных изображениях находится в координатах (x1p,y1p) и (х2р,у2р) соответственно. Проводим процедуру нормализации каждой точки:
(xn,yn)=Normalize(xn,yn,cx,cy,f,s,k),
где cx, су - координаты центра оптической оси в пикселях, f - фокусное расстояние в пикселях, s - соотношение сторон пикселя, k - вектор коэффициентов дисторсии. Процедура Normalize переводит координаты изображения в систему координат фокальной плоскости с учетом искажений, вносимых дисторсией, положением сенсора камеры и соотношением сторон пикселя:
где U - процедура компенсации дисторсии, которая по точке находит ее местоположение при отсутствии дисторсии. Получаем (x1n,y1n) и (x2n,y2n) соответственно.
Получаем угловое смещение объекта по формуле
Зная угловое и метрическое смещение объекта, можно посчитать расстояние до объекта. В некоторых вариантах реализации расстояние до объекта определяется следующим образом: 
где r - искомое расстояние до объекта, М - рассчитанное метрическое смещение объекта на плоскости расположения матрицы объектива, а - определенный из калибровочной характеристики (которая связывает угол прихода луча изображения и пиксель на изображении) и выделенного на изображении отрезка видимого движения объекта.
ВАРИАНТЫ РЕАЛИЗАЦИИ
Ниже будет описан вариант реализации согласно первому способу с использованием видеоаналитики.
Получают по крайней мере один видеокадр и калибровочные характеристики камеры;
Предположим, что даны следующие калибровочные характеристики камеры:
Положение сенсора камеры относительно оптической оси задано точкой прохождения оптической оси через матрицу (сенсор): сх=960 рх, су=540 рх.
Фокусное расстояние: f=26575 рх (задано в пикселях).
Соотношение сторон пикселя s=1.05, (вертикального к горизонтальному).
Коэффициент дисторсии k1 = -0.122, коэффициенты при более высоких степенях считаем равными нулю.
Выделяют и вводят размеры, по крайней мере, одного объекта, расстояние до которого необходимо измерить.
Видеоаналитика определяет появление объекта, до которого необходимо определить расстояние. Допустим, на кадре появился объект автомобиль. Видеоаналитика распознает на кадре автомобиль, далее в базе данных объектов производится поиск размера указанного объекта. Определяется, что средняя длина автомобиля составляет 4 м на изображении, при этом направление наблюдения автомобиля перпендикулярно машине (длина отображается без проекционных искажений).
Определяют расстояние до по крайней мере одного выделенного объекта на основании калибровочных характеристик камеры.
Определяют угловые размеры объекта.
Пусть отмечены 2 точки на изображении: x1=100, y1=700, х2=100, у2=705.
После процедуры Normalize:
xn1=-860,11; yn1=168,02; xn2=-860,11, yn2=173,27.
Находим угловой размер объекта а=0.01°.
Определив угловые размеры объекта и используя данные о его метрических размерах, вычисляют расстояние по формуле 
и получают 22918 м, что и является искомым расстоянием до объекта.
Ниже будет описан вариант реализации согласно второму варианту.
Получают по крайней мере два видеокадра с предустановленной задержкой и калибровочные характеристики камеры
Предположим, что даны следующие калибровочные характеристики камеры:
Положение сенсора камеры относительно оптической оси задано точкой прохождения оптической оси через матрицу (сенсор): сх=960 рх, су=540 рх.
Фокусное расстояние: f=26575 рх (задано в пикселях).
Соотношение сторон пикселя s=1.05 (вертикального к горизонтальному).
Коэффициент дисторсии k1 = -0.122, коэффициенты при более высоких степенях считаем равными нулю.
Время задержки между кадрами равно 0,1 секундам.
Выделяют по крайней мере один объект, расстояние до которого необходимо измерить и формируют его модель;
Обнаруживают на 2-х изображениях движущийся объект и отмечают его местоположение на обоих изображения.
Пусть скорость движения объекта равна 4 м/с, угол между вектором скорости движения и плоскостью проекции изображения равен 45 градусов, тогда метрическое смещение любой точки (при достаточно малом движении) будет равна m=0,1·4·∗cos 45°, и составит 0,28 м, что является метрическим размером, который используется для определения расстояния до объекта.
Определяют расстояние до объекта, на основании модели объекта и ориентации камеры.
Пусть отмечены 2 точки на изображении: x1=100, y1=700, х2=105, у2=708.
После процедуры Normalize:
xn1=-860,11; yn1=168,02; xn2=-855,11, yn2=176,42.
Вычисляем угловое движение, соответствующее точкам на изображении.
Находим угол смещения объекта а=0,02°, определяя угловой размер, по смещению
объекта на кадрах.
Получив угловое смещение (0,02°) объекта и определив его метрическое смещение (0,28 м), определяем расстояние до объекта на основании формулы 
, получаем расстояние 658 м.
ЛИТЕРАТУРА
1. «Компьютерное зрение. Современный подход». Дэвид А. Форсайт, Джин Понс, Издательство: Вильяме, 2004 г., 928 с.: с ил.
2. Duane С. Brown "Decentering distortion of lenses", 1966, Photogrammetric Engineering, volume 32, number 3, pages 444-462.
3. OpenCV - Open Source Computer Vision online documentation http://docs.opencv.org/index.html.
Claims (29)
1. Компьютерно-реализуемый способ определения расстояния при помощи камеры, содержащий этапы, на которых:
- с помощью камеры получают по крайней мере один видеокадр и калибровочные характеристики камеры;
- с помощью вычислительного средства, связанного с камерой;
- выделяют и вводят метрические размеры по крайней мере одного объекта, расстояние до которого необходимо измерить;
- определяют угловые размеры объекта;
- определяют расстояние до по крайней мере одного вышеуказанного выделенного объекта на основании его метрических и угловых размеров.
- с помощью камеры получают по крайней мере один видеокадр и калибровочные характеристики камеры;
- с помощью вычислительного средства, связанного с камерой;
- выделяют и вводят метрические размеры по крайней мере одного объекта, расстояние до которого необходимо измерить;
- определяют угловые размеры объекта;
- определяют расстояние до по крайней мере одного вышеуказанного выделенного объекта на основании его метрических и угловых размеров.
2. Способ по п. 1, в котором калибровочные характеристики камеры могут включать:
- коэффициенты дисторсии,
- размер и соотношение сторон пикселя,
- положение сенсора камеры относительно оптической оси,
- данные о разрешении изображения,
- фокусное расстояние.
- коэффициенты дисторсии,
- размер и соотношение сторон пикселя,
- положение сенсора камеры относительно оптической оси,
- данные о разрешении изображения,
- фокусное расстояние.
3. Способ по п. 1, в котором дополнительно калибровочные характеристики камеры могут включать:
- обзор камеры по вертикали,
- соотношение сторон кадра,
- разрешение матрицы в пикселях.
- обзор камеры по вертикали,
- соотношение сторон кадра,
- разрешение матрицы в пикселях.
4. Способ по п. 2, в котором фокусное расстояние камеры и калибровочные характеристики вводятся пользователем.
5. Способ по п. 2, в котором фокусное расстояние камеры и калибровочные характеристики получают с камеры.
6. Способ по п. 2, в котором фокусное расстояние камеры и дополнительные калибровочные характеристики получают на основании информации о камере.
7. Способ по п. 2, в котором калибровочные фокусное расстояние камеры и калибровочные характеристики измеряют с помощью калибровочных тестов.
8. Способ по п. 1, в котором используют несколько кадров с последующим усреднением и статистическим анализом информации.
9. Способ по п. 1, в котором выделение объекта происходит автоматически, при помощи видеоаналитики.
10. Способ по п. 1, в котором выделение объекта происходит вручную.
11. Способ по п. 9, в котором размеры объекта определяются автоматически, на основании базы данных объектов и их размеров.
12. Способ по п. 1, в котором размеры объекта задаются вручную.
13. Способ по п. 1, в котором выделение объекта задается с помощью пользовательского инструмента путем выделения начальной и конечной точки координат по оси х объекта с указанием размера объекта по данной оси.
14. Способ по п. 1, в котором выделение объекта задается с помощью пользовательского инструмента путем выделения начальной и конечной точки координат х, y объекта с указанием размеров объекта по указанным осям.
15. Компьютерно-реализуемый способ определения расстояния при помощи камеры, содержащий этапы, на которых:
- с помощью камеры получают по крайней мере два видеокадра с задержкой и калибровочные характеристики камеры;
- с помощью вычислительного средства, связанного с камерой;
- выделяют по крайней мере один объект, расстояние до которого необходимо измерить и формируют модель его движения;
- на основе модели движения определяют метрическое смещение объекта и его угловые смещения;
- определяют расстояние до объекта на основании углового и метрического смещения объекта.
- с помощью камеры получают по крайней мере два видеокадра с задержкой и калибровочные характеристики камеры;
- с помощью вычислительного средства, связанного с камерой;
- выделяют по крайней мере один объект, расстояние до которого необходимо измерить и формируют модель его движения;
- на основе модели движения определяют метрическое смещение объекта и его угловые смещения;
- определяют расстояние до объекта на основании углового и метрического смещения объекта.
16. Способ по п. 15, в котором калибровочные характеристики камеры могут включать:
- фокусное расстояние,
- размер пикселя,
- положение сенсора камеры относительно оптической оси,
- данные о разрешении изображения.
- фокусное расстояние,
- размер пикселя,
- положение сенсора камеры относительно оптической оси,
- данные о разрешении изображения.
17. Способ по п. 15, в котором дополнительно калибровочные характеристики камеры могут включать:
- обзор камеры по вертикали,
- соотношение сторон кадра,
- разрешение матрицы в пикселях.
- обзор камеры по вертикали,
- соотношение сторон кадра,
- разрешение матрицы в пикселях.
18. Способ по п. 16, в котором калибровочные характеристики вводятся пользователем.
19. Способ по п. 16, в котором фокусное расстояние камеры и калибровочные характеристики получают с камеры.
20. Способ по п. 16, в котором фокусное расстояние камеры и калибровочные характеристики получают из справочника калибровочных характеристик на основании информации о камере.
21. Способ по п. 16, в котором фокусное расстояние камеры и калибровочные характеристики измеряют с помощью калибровочных тестов.
22. Способ по п. 15, в котором задержка задается предварительно, на этапе настройки.
23. Способ по п. 15, в котором задержка определяется динамически, по факту пиксельного смещения объекта на видеокадре.
24. Способ по п. 15, в котором выделение объекта происходит автоматически, при помощи видеоаналитики.
25. Способ по п. 15, в котором выделение объекта происходит вручную.
26. Способ по п. 15, в котором для объектов, не имеющих постоянную форму, видеоаналитика определяет векторы направления движения различных частей объекта.
27. Способ по п. 15, в котором модель объекта включает метеорологические сведения.
28. Способ по п. 15, в котором модель объекта выбирается из базы моделей и уточняется на основании данных о движении объекта и/или внешних условий.
29. Способ по п. 26, в котором векторы направления движения различных частей объекта сопоставляются с предустановленными моделями движения, в зависимости от внешних условий и уточняется на основании текущих данных.
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2014137990/28A RU2602729C2 (ru) | 2014-09-22 | 2014-09-22 | Способ определения расстояния до объекта при помощи камеры (варианты) |
| US14/895,216 US20180040138A1 (en) | 2014-09-22 | 2015-08-26 | Camera-based method for measuring distance to object (options) |
| EA201700118A EA201700118A1 (ru) | 2014-09-22 | 2015-08-26 | Способ определения расстояния до объекта при помощи камеры (варианты) |
| PCT/RU2015/000543 WO2016048193A1 (ru) | 2014-09-22 | 2015-08-26 | Способ определения расстояния до объекта при помощи камеры (варианты) |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2014137990/28A RU2602729C2 (ru) | 2014-09-22 | 2014-09-22 | Способ определения расстояния до объекта при помощи камеры (варианты) |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| RU2014137990A RU2014137990A (ru) | 2016-04-10 |
| RU2602729C2 true RU2602729C2 (ru) | 2016-11-20 |
Family
ID=55581557
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2014137990/28A RU2602729C2 (ru) | 2014-09-22 | 2014-09-22 | Способ определения расстояния до объекта при помощи камеры (варианты) |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US20180040138A1 (ru) |
| EA (1) | EA201700118A1 (ru) |
| RU (1) | RU2602729C2 (ru) |
| WO (1) | WO2016048193A1 (ru) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2729512C1 (ru) * | 2019-12-09 | 2020-08-07 | Федеральное государственное бюджетное образовательное учреждение высшего образования "Рязанский государственный радиотехнический университет имени В.Ф. Уткина" | Способ косвенного измерения дальности от маневрового тепловоза до вагона на прямолинейном участке железнодорожного пути |
| RU2750364C1 (ru) * | 2020-11-10 | 2021-06-28 | Федеральное государственное бюджетное образовательное учреждение высшего образования "Рязанский государственный радиотехнический университет имени В.Ф. Уткина" | Способ измерения дальности от маневрового тепловоза до вагона на прямолинейном участке железнодорожного пути |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2656987C1 (ru) * | 2016-12-09 | 2018-06-07 | Общество с ограниченной ответственностью "РобоСиВи" | Способ и система определения местоположения складских паллет на основе изображений трехмерных датчиков |
| US10447394B2 (en) * | 2017-09-15 | 2019-10-15 | Qualcomm Incorporated | Connection with remote internet of things (IoT) device based on field of view of camera |
| CN114459423B (zh) * | 2022-01-24 | 2023-06-13 | 长江大学 | 一种单目测算航行船舶的距离的方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5148209A (en) * | 1990-07-12 | 1992-09-15 | The Research Foundation Of State University Of New York | Passive ranging and rapid autofocusing |
| JPH1096626A (ja) * | 1996-09-20 | 1998-04-14 | Oki Electric Ind Co Ltd | 車間距離検知装置 |
| US20010046310A1 (en) * | 2000-05-29 | 2001-11-29 | Toru Shima | Optical monitoring apparatus with image-based distance accommodation |
| JP2009075124A (ja) * | 2008-11-06 | 2009-04-09 | Honda Motor Co Ltd | 距離検出装置 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5872621A (en) * | 1995-09-18 | 1999-02-16 | Utah State University | Holographic transmission beam director |
| US6533674B1 (en) * | 1998-09-18 | 2003-03-18 | Acushnet Company | Multishutter camera system |
| WO2006137825A2 (en) * | 2004-07-21 | 2006-12-28 | University Of South Florida | Method and apparatus for a velocity detection system using optical growth rate |
| US20100157135A1 (en) * | 2008-12-18 | 2010-06-24 | Nokia Corporation | Passive distance estimation for imaging algorithms |
| US8896686B2 (en) * | 2009-06-23 | 2014-11-25 | Here Global B.V. | Determining a geometric parameter from a single image |
| US9053562B1 (en) * | 2010-06-24 | 2015-06-09 | Gregory S. Rabin | Two dimensional to three dimensional moving image converter |
| JP6214867B2 (ja) * | 2012-11-14 | 2017-10-18 | 株式会社東芝 | 計測装置、方法及びプログラム |
| US20140210646A1 (en) * | 2012-12-28 | 2014-07-31 | Balu Subramanya | Advanced parking and intersection management system |
| US20150042789A1 (en) * | 2013-08-07 | 2015-02-12 | Blackberry Limited | Determining the distance of an object to an electronic device |
-
2014
- 2014-09-22 RU RU2014137990/28A patent/RU2602729C2/ru active
-
2015
- 2015-08-26 WO PCT/RU2015/000543 patent/WO2016048193A1/ru active Application Filing
- 2015-08-26 US US14/895,216 patent/US20180040138A1/en not_active Abandoned
- 2015-08-26 EA EA201700118A patent/EA201700118A1/ru unknown
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5148209A (en) * | 1990-07-12 | 1992-09-15 | The Research Foundation Of State University Of New York | Passive ranging and rapid autofocusing |
| JPH1096626A (ja) * | 1996-09-20 | 1998-04-14 | Oki Electric Ind Co Ltd | 車間距離検知装置 |
| US20010046310A1 (en) * | 2000-05-29 | 2001-11-29 | Toru Shima | Optical monitoring apparatus with image-based distance accommodation |
| JP2009075124A (ja) * | 2008-11-06 | 2009-04-09 | Honda Motor Co Ltd | 距離検出装置 |
Non-Patent Citations (1)
| Title |
|---|
| реферат. * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2729512C1 (ru) * | 2019-12-09 | 2020-08-07 | Федеральное государственное бюджетное образовательное учреждение высшего образования "Рязанский государственный радиотехнический университет имени В.Ф. Уткина" | Способ косвенного измерения дальности от маневрового тепловоза до вагона на прямолинейном участке железнодорожного пути |
| RU2750364C1 (ru) * | 2020-11-10 | 2021-06-28 | Федеральное государственное бюджетное образовательное учреждение высшего образования "Рязанский государственный радиотехнический университет имени В.Ф. Уткина" | Способ измерения дальности от маневрового тепловоза до вагона на прямолинейном участке железнодорожного пути |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2016048193A1 (ru) | 2016-03-31 |
| US20180040138A1 (en) | 2018-02-08 |
| EA201700118A1 (ru) | 2017-08-31 |
| RU2014137990A (ru) | 2016-04-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109489620B (zh) | 一种单目视觉测距方法 | |
| RU2602729C2 (ru) | Способ определения расстояния до объекта при помощи камеры (варианты) | |
| WO2021185218A1 (zh) | 一种在运动过程中获取物体3d坐标及尺寸的方法 | |
| US10970915B2 (en) | Virtual viewpoint setting apparatus that sets a virtual viewpoint according to a determined common image capturing area of a plurality of image capturing apparatuses, and related setting method and storage medium | |
| US20170132806A1 (en) | System and method for augmented reality and virtual reality applications | |
| CN102509261B (zh) | 一种鱼眼镜头的畸变校正方法 | |
| WO2018133727A1 (zh) | 一种正射影像图的生成方法及装置 | |
| CN105627932A (zh) | 一种基于双目视觉的测距方法及装置 | |
| CN108848374B (zh) | 显示参数测量方法及其装置、存储介质和测量系统 | |
| JP5987541B2 (ja) | 部材設置判定システム | |
| JP2004163292A (ja) | 測量装置と電子的記憶媒体 | |
| JP6515650B2 (ja) | 校正装置、距離計測装置及び校正方法 | |
| KR101482645B1 (ko) | Ｆｏｖ왜곡 보정 모델에 2ｄ패턴을 적용한 왜곡중심 보정 방법 | |
| CN113256740A (zh) | 一种雷达与相机的标定方法、电子设备及存储介质 | |
| RU2652535C2 (ru) | Способ и система измерения расстояния до удаленных объектов | |
| EP4250245A1 (en) | System and method for determining a viewpoint of a traffic camera | |
| CN112036359B (zh) | 一种车道线的拓扑信息获得方法、电子设备及存储介质 | |
| US20230300290A1 (en) | Information display system, information display method, and non-transitory recording medium | |
| RU2592711C1 (ru) | Способ и система калибровки комплекса измерения скорости транспортных средств | |
| CN105468881A (zh) | 基于航拍图像的实景距离计算方法及装置 | |
| CN109945840B (zh) | 三维影像摄取方法及系统 | |
| Singh et al. | A Review: Techniques of vehicle detection in Fog | |
| CN116203976A (zh) | 变电站室内巡检方法、装置、无人机和存储介质 | |
| CN115731304A (zh) | 一种道路数据生成方法、装置及设备 | |
| CN105333818A (zh) | 基于单目摄像机的3d空间测量方法 |