Nothing Special   »   [go: up one dir, main page]

KR102492290B1 - 교통량 측정을 위한 딥러닝 기반의 드론 영상 분석 시스템 - Google Patents

교통량 측정을 위한 딥러닝 기반의 드론 영상 분석 시스템 Download PDF

Info

Publication number
KR102492290B1
KR102492290B1 KR1020210024020A KR20210024020A KR102492290B1 KR 102492290 B1 KR102492290 B1 KR 102492290B1 KR 1020210024020 A KR1020210024020 A KR 1020210024020A KR 20210024020 A KR20210024020 A KR 20210024020A KR 102492290 B1 KR102492290 B1 KR 102492290B1
Authority
KR
South Korea
Prior art keywords
image
vehicle
road
deep learning
vehicles
Prior art date
Application number
KR1020210024020A
Other languages
English (en)
Other versions
KR20220120211A (ko
Inventor
최상일
변성우
Original Assignee
단국대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 단국대학교 산학협력단 filed Critical 단국대학교 산학협력단
Priority to KR1020210024020A priority Critical patent/KR102492290B1/ko
Publication of KR20220120211A publication Critical patent/KR20220120211A/ko
Application granted granted Critical
Publication of KR102492290B1 publication Critical patent/KR102492290B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • B64D47/08—Arrangements of cameras
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/006—Apparatus mounted on flying objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/12—Bounding box
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 교통량 측정을 위한 딥러닝 기반의 드론 영상 분석 시스템에 관한 것으로, 보다 상세하게는 인공지능을 기반으로 한 도로 상황의 객체 검출을 통해 도로 차량 흐름 상황을 자동으로 분석하기 위한 교통량 측정을 위한 딥러닝 기반의 드론 영상 분석 시스템에 관한 것으로, 드론에 부착된 카메라를 통해 도로 영상을 실시간으로 촬영하는 영상촬영부;와 딥러닝을 기반으로 하여 상기 수신된 도로 영상에서 상기 도로 상의 차량들을 자동으로 검출하는 차량검출부;와 상기 검출된 차량들의 이동거리를 픽셀 단위로 계산하는 거리계산부;와 상기 차량검출부와 동시에 상기 영상 내 도로의 차선을 기준으로 영상의 축척 정보를 계산하는 축척계산부; 및 상기 계산된 픽셀 단위의 차량의 이동거리 및 상기 영상의 축척 정보를 기반으로 상기 영상 내 도로의 차량들의 실제 이동속도를 계산하는 차량속도계산부;를 포함한다.

Description

교통량 측정을 위한 딥러닝 기반의 드론 영상 분석 시스템{Drone image analysis system based on deep learning for traffic measurement}
본 발명은 교통량 측정을 위한 딥러닝 기반의 드론 영상 분석 시스템에 관한 것으로, 보다 상세하게는 인공지능을 기반으로 한 도로 상황의 객체 검출을 통해 도로 차량 흐름 상황을 자동으로 분석하기 위한 교통량 측정을 위한 딥러닝 기반의 드론 영상 분석 시스템에 관한 것이다.
도시를 중심으로 인구가 밀집되면서 도심 지역과 도심을 드나드는 자동차 전용도로의 교통량이 크게 증가 하였다. 도로별로 교통의 흐름을 실시간으로 파악하는 것은 시간대별로 특정 도로에 차량이 집중되는 것을 막고 운전자에게 다양한 효과적인 경로를 제공함으로써 도심 지역 전체의 효율적인 교통 흐름 전략을 세우는데 중요한 정보를 제공한다.
현재 교통 정보를 취득하는 방법으로 CCTV를 이용한 교통 정보를 제공하기 위해 드론(drone)을 이용한 영상 수집 방법이 활용되고 있다. 드론은 CCTV와 달리 특정 위치에 국한되지 않고 유동적으로 광범위한 도로 구간을 관찰할 수 있는 장점이 있다. 특히 교통사고와 같은 돌발적인 상황으로 인한 교통 흐름의 변화를 즉각 관찰할 수 있으며, 상공에서 수직으로 도로를 촬영하기 때문에 모든 차선을 동일한 각도에서 관찰할 수 있는 장점이 있다.
한편, 효과적인 교통의 흐름을 관리하기 위해서는 도로 영상의 취득뿐만 아니라, 촬영된 영상의 분석 기술이 필요하다. 현재 운용 중인 대부분의 CCTV 영상이나 드론 영상은 사람이 일일이 모니터링하고 있다. 그러나 설치된 CCTV의 대수가 늘어날수록 더 많은 인력이 필요하게 되고 관찰자의 피로도가 증가할 뿐만 아니라 사람에 의한 관측은 주로 직관적으로 교통 상황을 파악하기 때문에 차량 흐름을 정량적으로 분석하는 데에 한계가 있다.
또한, 고정된 높이에서 촬영된 CCTV 영상과 달리, 드론 영상은 촬영 시점과 위치에 따라 드론의 고도가 다르며, 심지어 영상 촬영 중에도 고도가 변하기도 한다. 실제 도로의 크기 대비 촬영된 영상의 비율(축적)이 영상마다 다르면 영상 내에서 차량의 위치가 단위 시간동안 동일한 픽셀 수만큼 이동하였더라도 실제 차량이 도로에서 이동한 거리는 다르기 때문에 차량 추적 결과를 바탕으로 정확한 교통의 흐름을 파악하기 위해서는 영상의 축적을 계산하는 것이 선행되어야 한다. 드론 영상의 축적 정보를 얻기 위해, 영상의 첫 프레임(Frame)에서 실제 도로의 크기 정보를 사전에 취득하고 촬영된 도로 영상의 전체 픽셀 수와 비교하여 영상의 축척을 구했다.
그러나 이미 정보를 갖고 있는 첫 프레임에 해당하는 위치가 고정되어 있기 때문에 드론의 촬영 반경이 제한되며, 새로운 곳을 촬영할 때마다 사전에 해당 도로 정보를 새롭게 취득해야 하는 단점이 있다. 도로 대신 차량들의 실제 크기의 평균을 사전에 계산하고, 영상에서 검출한 차량 영역의 픽셀 수와 비교하여 영상의 축척을 계산하였다. 이 방법들은 촬영 지역의 제약은 해결할 수 있지만, 차량의 크기가 경차에서부터 승합차, 버스, 화물 트럭에 이르기까지 다양하고 차량을 바운딩 박스 형태로 검출하기 때문에 차량의 평균 크기만으로 정확한 축적을 계산하는 것에는 한계가 있다.
한국등록번호 제10-1800767호(2017.11.17.) 한국등록번호 제10-2169910호(2020.10.20.)
본 발명은 이와 같은 문제점을 감안한 것으로서, 본 발명은 딥러닝 기술을 이용하여 드론 영상으로부터 차선 등의 도로 자체의 정보를 추출하여 축적을 자동으로 계산하고 도로 상의 차량을 검출함으로써 교통의 흐름 상황을 정량적으로 측정하는 교통량 측정을 위한 딥러닝 기반의 드론 영상 분석 시스템을 제공하는 것이다.
본 발명의 실시예들에 따른 교통량 측정을 위한 딥러닝 기반의 드론 영상 분석 시스템은 드론에 부착된 카메라를 통해 도로 영상을 실시간으로 촬영하는 영상촬영부;와 딥러닝을 기반으로 하여 상기 수신된 도로 영상에서 상기 도로 상의 차량들을 자동으로 검출하는 차량검출부;와 상기 검출된 차량들의 이동거리를 픽셀 단위로 계산하는 거리계산부;와 상기 차량검출부와 동시에 상기 영상 내 도로의 차선을 기준으로 영상의 축척 정보를 계산하는 축척계산부; 및 상기 계산된 픽셀 단위의 차량의 이동거리 및 상기 영상의 축척 정보를 기반으로 상기 영상 내 도로의 차량들의 실제 이동속도를 계산하는 차량속도계산부;를 포함한다.
본 발명의 실시 예들에 있어서, 상기 영상촬영부는, 상기 드론의 카메라를 통해서 상기 도로 상황과, 상기 도로의 위치, 도로의 방향, 도로위의 차선, 상기 도로 위의 차량 및 객체들을 실시간으로 촬영한다.
본 발명의 실시 예들에 있어서, 상기 차량검출부는 상기 드론으로부터 수신된 도로 영상을 실시간으로 입력으로 하여 딥러닝한 인공지능을 통해 상기 도로 상의 객체들과 차량들을 분리 인식하며, 상기 딥러닝 차량 검출 알고리즘을 기반으로 하여, 상기 도로 영상의 매 프레임에서 상기 도로 상의 차량 및 차량의 수를 자동으로 검출한다.
본 발명의 실시 예들에 있어서, 상기 차량검출부는 상기 영상 내 차량들에 각각의 바운딩 박스 이미지 처리로 하이라이트(강조)하는 차량강조부;와 상기 영상 프레임 당, 상기 하이라이트(강조)된 상기 차량들의 각각의 움직임을 추적하는 차량추적부;를 포함한다.
본 발명의 실시 예들에 있어서, 상기 바운딩 박스 이미지 처리는 상기 검출된 상기 영상 내 차량의 가로 방향과 세로 방향의 중심 좌표와, 상기 바운딩 박스 이미지의 가로길이(Width)와 세로길이(height) 및 신뢰도(Confidience score)로 구성되며, 상기 신뢰도는 검출하려는 객체가 상기 바운딩 박스 이미지 내에 위치할 확률을 나타내낸다.
본 발명의 실시 예들에 있어서, 상기 차량추적부는, t 시점의 상기 영상 프레임과 t+1 시점의 상기 영상 프레임에서의 검출된 상기 차량을 이미지를 이용해, 상기 바운딩 박스 이미지가 일정 영역만큼 겹쳐지게 되면, 동일한 상기 차량으로 간주함으로써 상기 차량의 움직임을 추적한다.
본 발명의 실시 예들에 있어서, 상기 거리계산부는, 영상 프레임 및 프레임 간 시간을 통해서, 상기 추적된 상기 차량들의 이동거리를 계산하여 픽셀 단위로 전처리(변환) 한다.
본 발명의 실시 예들에 있어서, 상기 거리계산부는, 상기 영상의 프레임레이트(FPS) 정보와 상기 차량 추적 결과를 기반으로 하여, 두 개의 상기 프레임에서의 상기 동일 차량의 위치와 상기 두 프레임이 촬영된 시간 간격을 이용하여 계산하며, 상기 이동거리
Figure 112021021704258-pat00001
는 수학식1을 통해, 수학식1 :
Figure 112021021704258-pat00002
계산한다. (여기서,
Figure 112021021704258-pat00003
번째 프레임
Figure 112021021704258-pat00004
과
Figure 112021021704258-pat00005
번째 프레임
Figure 112021021704258-pat00006
에서
Figure 112021021704258-pat00007
번째 차량
Figure 112021021704258-pat00008
,
Figure 112021021704258-pat00009
프레임에서
Figure 112021021704258-pat00010
번째 차량의 x축의 중심점을 의미한다.)
본 발명의 실시 예들에 있어서, 상기 축척계산부는, 상기 차량검출부에서 상기 영상 내 자동으로 차량을 검출하는 것과 동시에, 상기 드론 영상 내에서 차선들을 검출하는 차선검출부;와 상기 차선검출부로부터 검출된 상기 차선들의 영역을 블랙박스에서 검출되는 차선들과 같은 형태로 전처리(변환)하는 차선형태변환부; 상기 차선형태변환부로부터 전처리(변환)된 차선들의 가로 방향 좌표값을 이용하여 상기 차선들 사이의 간격들의 평균으로 상기 차선들의 폭을 도출하며, 상기 차선의 폭을 기준으로 하여 상기 영상의 축척을 계산하는 연산부;를 포함한다.
본 발명의 실시 예들에 있어서, 상기 축척계산부는, 상기 매 프레임마다 축척 비율을 동일하게 유지할 수 있도록 m초 간격 주기로, 주기적으로 상기 영상의 축척 비율을 갱신하는 축척비율갱신부;를 더 포함한다.
본 발명의 실시 예들에 있어서, 상기 차량속도계산부는, 상기 차량검출부와 상기 축척계산부의 병렬 진행 결과로 얻은, 상기 검출된 차량 정보 및 축척 정보를 기반으로 상기 차량의 실제속도를 계산한다.
본 발명의 실시 예들에 있어서, 상기 차량속도계산부는 상기 영상 내 i번째 차량의 실제 속도와 상기 차량이 이동한 거리 단위의 픽셀 수 및 축척 비율을 기반으로 하여 상기 차량의 실제속도를 계산한다.
본 발명의 실시 예들에 있어서, 상기 차량속도계산부는, 상기 계산된 차량의 실제 속도와 상기 차량검출부로부터 검출된 차량의 수를 기반으로 상기 도로의 교통량을 예측하는 교통량판단부;를 더 포함한다.
이상에서 설명한 바와 같은 딥러닝 기반의 드론 영상 분석 시스템 및 방법에 따르면 다음과 같은 효과가 있다.
첫째, 드론에서 수신된 영상 프레임마다 축척 비율을 주기적으로 갱신함으로써 영상 축적 비율을 조절 및 규격화 할 수 있다.
둘째, 드론으로부터 수신된 영상을 입력으로 한 딥러닝을 기반으로, 차량 검출과 도로 영상 축척의 추정의 정확도, 도로 위 차량들의 평균 속도 측정의 정확도를 높일 수 있다.
셋째, 드론 영상으로부터 도로 정보를 추출하여 축적을 자동으로 계산하고, 도로 상의 차량을 검출함으로써 교통의 흐름 상황을 정량적으로 측정할 수 있다.
도 1은 본 발명의 구성도이다.
도 2는 본 발명의 구성하는 알고리즘을 나타낸 모식도이다.
도 3은 본 발명의 일실시 예에 따른 차량검출부이다.
도 4와 도 5는 본 발명의 일실시 예에 따른 차량 검출 모식도이다.
도6은 본 발명의 일실시 예에 따른, 축척계산부 및 차량속도계산부의 구성도이다.
첨부한 도면을 참조하여 본 발명의 실시 예들에 따른 딥러닝 기반의 드론 영상 분석 시스템에 대하여 상세히 설명한다. 본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다. 첨부된 도면에 있어서, 구조물들의 치수는 본 발명의 명확성을 기하기 위하여 실제보다 확대하거나, 개략적인 구성을 이해하기 위하여 실제보다 축소하여 도시한 것이다.
또한, 제1 및 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 한편, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
도 1은 본 발명의 구성도이며, 도 2는 본 발명의 구성하는 알고리즘을 나타낸 모식도이다.
도 1을 참고하면, 교통량 측정을 위한 딥러닝 기반의 드론 영상 분석 시스템은 드론에 부착된 카메라를 통해 도로 영상을 실시간으로 촬영하는 영상촬영부(100);와 딥러닝을 기반으로 하여 상기 수신된 도로 영상에서 상기 도로 상의 차량들을 자동으로 검출하는 차량검출부(200);와 상기 검출된 차량들의 이동거리를 픽셀 단위로 계산하는 거리계산부(300);와 상기 차량검출부(100)와 동시에 상기 영상 내 도로의 차선을 기준으로 영상의 축척 정보를 계산하는 축척계산부(400); 및 상기 계산된 픽셀 단위의 차량의 이동거리 및 상기 영상의 축척 정보를 기반으로 상기 영상 내 도로의 차량들의 실제 이동속도를 계산하는 차량속도계산부(500);를 포함한다. 또한, 차량 검출부(100)에서 차량을 검출하고, 상기 차량 추적한 후, 픽셀 단위의 속도 측정함과 동시에 축척계산부(400)에서 상기 영상 내 도로 영역 검출하고, 상기 도로 영역 내 차선 검출하며, 상기 영상의 스케일 측정하는 일이 병렬로 진행된다. 그리고 차량속도계산부(500)에서 상기 두 흐름의 결과를 병합하여 실제 상기 차량의 속도를 계산한다.
도 2를 참고하면, 여기서, 영상수신부(100)에서 상기 드론의 카메라를 통해서 상기 도로 상황과, 상기 도로의 위치, 도로의 방향, 도로위의 차선, 상기 도로 위의 차량 및 객체들을 실시간으로 촬영된 영상 데이터를 수신 받으면, 차량검출부(200)에서 딥러닝 기술을 이용하여 도로 상의 차량들을 검출(Object Detection)하고, 추적(tracker)기법을 이용하여 영상 내 차량의 움직임을 추적한다. 거리계산부(300)에서는 상기 차량의 이동거리를 픽셀 단위로 계산한다. 이와 함께, 축척계산부(400)에서는 영상 내 도로의 위치, 도로의 방향, 차선 검출 등 도로 정보 및 영상의 축척을 계산한다. 그런 다음, 차량속도계산부(500)에서 픽셀 단위의 차량의 이동거리와 영상의 축적 정보를 바탕으로 실제 차량의 이동속도를 계산한다.
도 3은 본 발명의 일실시 예에 따른 차량검출부이다.
도3을 참고하면, 차량검출부(200)는 상기 드론으로부터 수신된 도로 영상을 실시간으로 입력으로 하여 딥러닝한 인공지능을 통해 상기 도로 상의 객체들과 차량들을 분리 인식하며, 상기 딥러닝 차량 검출 알고리즘을 기반으로 하여, 상기 도로 영상의 매 프레임에서 상기 도로 상의 차량 및 차량의 수를 검출한다. 따라서 차량검출부(200)는 차량강조부(205)와 차량추적부(210)로 구성되어 있으며, 차량강조부(205)는 상기 영상 내 차량들에 각각의 바운딩 박스 이미지 처리로 하이라이트(강조)하며, 차량추적부(210)는 상기 영상 프레임 당, 상기 하이라이트(강조)된 상기 차량들의 각각의 움직임을 추적한다.
도 4와 도 5는 본 발명의 일실시 예에 따른 차량 검출 모식도이다.
도 4를 참고하면, 파란색 박스는 오검출된 결과(차량이 아닌데 차량으로 판단)를 보여준다. 이러한 오검출 결과는 이후 수행되는 추적기를 통한 차량의 이동거리 측정 과정에서 거의 대부분 제거된다. 빨간색 상기 바운딩 박스의 경우, 상기 도로 영상 내 차량을 검출한 것으로, 상기 바운딩 박스는 상기 검출된 상기 영상 내 차량의 가로 방향과 세로 방향의 중심 좌표와, 상기 바운딩 박스 이미지의 가로길이(Width)와 세로길이(height) 및 신뢰도(Confidience score)로 구성된다. 여기서, 상기 신뢰도는 검출하려는 객체가 상기 바운딩 박스 이미지 내에 위치할 확률을 의미한다. 도 5를 참고하면, 차량추적부(200)는 상기 바운딩 박스 이미치 처리가 된 차량 영상을 기반으로 t 시점의 상기 영상 프레임과 t+1 시점의 상기 영상 프레임에서의 검출된 상기 차량을 이미지를 이용해, 상기 바운딩 박스 이미지가 일정 영역만큼 겹쳐지게 되면, 동일한 상기 차량으로 간주함으로써 상기 차량의 움직임을 추적한다. 따라서 상기 바운딩 박스 이미지가 일정 영역만큼 겹쳐지게 되면, 동일한 상기 차량으로 간주함으로써 동일 차량으로 인식된 것은 같은 색으로 표시된다. 이를 기반으로 거리계산부(300)는 영상 프레임 및 프레임 간 시간을 통해서, 상기 추적된 상기 차량들의 이동거리를 계산하여 픽셀 단위로 전처리(변환)한다. 여기서 상기 영상의 프레임레이트(FPS) 정보와 상기 차량 추적 결과를 기반으로 하여, 두 개의 상기 프레임에서의 상기 동일 차량의 위치와 상기 두 프레임이 촬영된 시간 간격을 이용하여 계산하며, 상기 이동거리
Figure 112021021704258-pat00011
는 수학식1을 통해,
수학식1 :
Figure 112021021704258-pat00012
계산되며, 여기서
Figure 112021021704258-pat00013
번째 프레임
Figure 112021021704258-pat00014
과
Figure 112021021704258-pat00015
번째 프레임
Figure 112021021704258-pat00016
에서
Figure 112021021704258-pat00017
번째 차량
Figure 112021021704258-pat00018
,
Figure 112021021704258-pat00019
프레임에서
Figure 112021021704258-pat00020
번째 차량의 x축의 중심점을 의미한다.
도6은 본 발명의 일실시 예에 따른, 축척계산부 및 차량속도계산부의 구성도이다.
드론 영상은 촬영 고도에 따라 영상의 축적이 다르기 때문에 드론 영상에서 차량이 이동한 픽셀 단위의 이동거리를 실제 이동거리로 환산하기 위해서는 먼저 영상의 축척을 추정해야 한다. 이를 위해서는 영상 내에서 규격화된 크기의 특징이 있어야 하는데, 대부분의 국가에서는 도로의 종류에 따른 차선의 폭이 도로의 구조·시설 기준에 관한 규정으로 규격화 되어 있어, 상기 차선의 폭을 기준으로 축척의 폭을 계산한다.
도 6을 참고하면, 축척계산부(400)는 차선검출부(405)와 차선형태변환부(410)와 연산부(415) 및 축척비율갱신부(420)로 구성되어 있다. 차량검출부(100)에서 상기 영상 내 자동으로 차량을 검출하는 것과 동시에, 차선검출부(405)는 상기 드론 영상 내에서 차선들을 검출하며, 차선형태변환부(410)는 차선검출부(405)로부터 검출된 상기 차선들의 영역을 블랙박스에서 검출되는 차선들과 같은 형태로 전처리(변환)한다. 차선형태변환부(410)로부터 전처리(변환)된 차선들의 가로 방향 좌표값을 이용하여 상기 차선들 사이의 간격들의 평균으로 상기 차선들의 폭을 도출하며, 연산부(415)는 상기 차선의 폭을 기준으로 하여 상기 영상의 축척을 계산한다. 여기서, 축척계산부(400)는 상기 매 프레임마다 축척 비율을 동일하게 유지할 수 있도록 m초 간격 주기로, 주기적으로 상기 영상의 축척 비율을 갱신하는 축척비율갱신부(420);를 더 포함한다.
좀 더 상세하게 설명하자면 드론은 촬영 중 바람 등 공기 환경의 변화에 따라 고도가 변할 수 있기 때문에 같은 비디오 안에서도 프레임마다 축척 비율이 바뀔 수 있다. 이런 특성을 반영하여 제안한 방법에서는 축척비율갱신부(420)에서 약 20초 간격으로 영상의 축적 비율을 갱신하였으며, 차량에 의해 차선이 가려지는 문제를 피하기 위해 20초 간격의 영상 프레임을 기준으로 인접한 영상 프레임들 중에서 영상 내 검출된 차량의 수가 가장 적은 프레임을 축척 갱신을 위한 프레임으로 사용하였다.
차량속도계산부(500)의 경우, 차량검출부(100)와 상기 축척계산부(400)의 병렬 진행 결과로 얻은, 상기 검출된 차량 정보 및 축척 정보를 기반으로 상기 차량의 실제속도를 계산하며, 상기 영상 내 i번째 차량의 실제 속도와 상기 차량이 이동한 거리 단위의 픽셀 수 및 축척 비율을 기반으로 하여 상기 차량의 실제속도를 계산하며, 상기 계산된 차량의 실제 속도와 차량검출부(100)로부터 검출된 차량의 수를 기반으로 상기 도로의 교통량을 예측하는 교통량판단부(505);를 더 포함한다.
이상에서 설명한 바와 같은 딥러닝 기반의 드론 영상 분석 시스템 및 방법에 따르면 다음과 같은 효과가 있다. 첫째, 드론에서 수신된 영상 프레임마다 축척 비율을 주기적으로 갱신함으로써 영상 축적 비율을 조절 및 규격화 할 수 있다. 둘째, 드론으로부터 수신된 영상을 입력으로 한 딥러닝을 기반으로, 차량 검출과 도로 영상 축척의 추정의 정확도, 도로 위 차량들의 평균 속도 측정의 정확도를 높일 수 있다. 셋째, 드론 영상으로부터 도로 정보를 추출하여 축적을 자동으로 계산하고, 도로 상의 차량을 검출함으로써 교통의 흐름 상황을 정량적으로 측정할 수 있다. 또한, 딥러닝 기술을 교통량 측정을 위한 드론 시스템에 적용하여, 드론 영상 자체의 정보 이외의 (기지국 정보, 검지기 정보 등) 추가적인 장비가 필요하지 않다.
앞서 설명한 본 발명의 상세한 설명에서는 본 발명의 바람직한 실시 예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자 또는 해당 기술 분야에 통상의 지식을 갖는 자라면 후술될 특허 청구범위에 기재된 본 발명의 사상 및 기술 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
100: 영상수신부 200: 차량검출부
205: 차량강조부 210: 차량추적부
300: 거리계산부 400: 축척계산부
405: 차선검출부 410: 차선형태변환부
415: 연산부 420: 축척비율갱신부
500: 차량속도계산부 505: 교통량판단부

Claims (13)

  1. 드론에 부착된 카메라를 통해 도로 영상을 실시간으로 촬영하는 영상촬영부;와
    딥러닝을 기반으로 하여 상기 영상촬영부에서 수신된 도로 영상에서 상기 도로 상의 차량들을 자동으로 검출하는 차량검출부;와
    상기 검출된 차량들의 이동거리를 픽셀 단위로 계산하는 거리계산부;와
    상기 차량검출부와 동시에 상기 도로 영상 내 도로의 차선을 기준으로 영상의 축척 정보를 계산하는 축척계산부; 및
    상기 계산된 픽셀 단위의 차량의 이동거리 및 상기 영상의 축척 정보를 기반으로 상기 영상 내 도로의 차량들의 실제 이동속도를 계산하는 차량속도계산부;를 포함하며,
    상기 축척계산부는, 차량에 의해 차선이 가려지는 문제를 피하기 위해 m초 간격의 도로 영상 프레임을 기준으로, 인접한 도로 영상 프레임들 중에서 도로 영상 프레임 내 검출된 차량의 수가 가장 적은 도로 영상 프레임을 축척 갱신을 위한 도로 영상 프레임으로 사용하여, 상기 도로 영상의 매 프레임마다 축척 비율을 동일하게 유지할 수 있도록 m초 간격 주기로, 주기적으로 상기 도로 영상의 축척 비율을 갱신하는 축척비율갱신부;를 더 포함하는 것을 특징으로 하는 교통량 측정을 위한 딥러닝 기반의 드론 영상 분석 시스템.
  2. 제1항에 있어서,
    상기 영상촬영부는,
    상기 드론의 카메라를 통해서 상기 도로 상황과,
    상기 도로의 위치, 도로의 방향, 도로위의 차선, 상기 도로 위의 차량 및 객체들을 실시간으로 촬영하는 것을 특징으로 하는 교통량 측정을 위한 딥러닝 기반의 드론 영상 분석 시스템.
  3. 제1항에 있어서,
    상기 차량검출부는,
    상기 드론으로부터 수신된 도로 영상을 실시간으로 입력으로 하여 딥러닝한 인공지능을 통해 상기 도로 상의 객체들과 차량들을 분리 인식하며,
    딥러닝 차량 검출 알고리즘을 기반으로 하여,
    상기 도로 영상의 매 프레임에서 상기 도로 상의 차량 및 차량의 수를 자동으로 검출하는 것을 특징으로 하는 교통량 측정을 위한 딥러닝 기반의 드론 영상 분석 시스템.
  4. 제3항에 있어서,
    상기 차량검출부는,
    상기 도로 영상 내 차량들에 각각의 바운딩 박스 이미지 처리로 하이라이트(강조)하는 차량강조부;와
    상기 도로 영상 프레임 당, 상기 하이라이트(강조)된 상기 차량들의 각각의 움직임을 추적하는 차량추적부;를 포함하는 것을 특징으로 하는 교통량 측정을 위한 딥러닝 기반의 드론 영상 분석 시스템.
  5. 제4항에 있어서,
    상기 바운딩 박스 이미지 처리는,
    상기 검출된 상기 영상 내 차량의 가로 방향과 세로 방향의 중심 좌표와,
    상기 바운딩 박스 이미지의 가로길이(Width)와 세로길이(height) 및 신뢰도(Confidience score)로 구성되며,
    상기 신뢰도는 검출하려는 객체가 상기 바운딩 박스 이미지 내에 위치할 확률을 나타내는 것을 특징으로 하는 교통량 측정을 위한 딥러닝 기반의 드론 영상 분석 시스템.
  6. 제4항에 있어서,
    상기 차량추적부는,
    t 시점의 상기 영상 프레임과 t+1 시점의 상기 영상 프레임에서의 검출된 상기 차량을 이미지를 이용해,
    상기 바운딩 박스 이미지가 일정 영역만큼 겹쳐지게 되면,
    동일한 상기 차량으로 간주함으로써 상기 차량의 움직임을 추적하는 것을 특징으로 하는 교통량 측정을 위한 딥러닝 기반의 드론 영상 분석 시스템.
  7. 제4항에 있어서,
    상기 거리계산부는,
    영상 프레임 및 프레임 간 시간을 통해서,
    상기 차량추적부로부터 추적된 차량들의 이동거리를 계산하여 픽셀 단위로 전처리(변환) 하는 것을 특징으로 하는 교통량 측정을 위한 딥러닝 기반의 드론 영상 분석 시스템.
  8. 제6항에 있어서,
    상기 거리계산부는,
    상기 차량추적부에서 도출된 영상의 프레임레이트(FPS) 정보와 상기 차량 추적 결과를 기반으로 하여,
    상기 t 시점의 상기 영상 프레임과 t+1 시점의 상기 영상 프레임에서의 두 개의 프레임에서 검출된 동일 차량의 위치와,
    상기 두 개의 프레임이 촬영된 시간 간격을 이용하여 계산하며,
    상기 이동거리
    Figure 112022090605895-pat00021
    는 수학식1을 통해,
    수학식1 :
    Figure 112022090605895-pat00022
    계산되는 것을 특징으로 하는 교통량 측정을 위한 딥러닝 기반의 드론 영상 분석 시스템.
    (여기서,
    Figure 112022090605895-pat00023
    번째 프레임
    Figure 112022090605895-pat00024
    과
    Figure 112022090605895-pat00025
    번째 프레임
    Figure 112022090605895-pat00026
    에서
    Figure 112022090605895-pat00027
    번째 차량
    Figure 112022090605895-pat00028
    ,
    Figure 112022090605895-pat00029
    프레임에서
    Figure 112022090605895-pat00030
    번째 차량의 x축의 중심점을 의미한다.)
  9. 제1항에 있어서,
    상기 축척계산부는,
    상기 차량검출부에서 상기 도로 영상 내 자동으로 차량을 검출하는 것과 동시에,
    상기 드론 영상 내에서 차선들을 검출하는 차선검출부;와
    상기 차선검출부로부터 검출된 상기 차선들의 영역을 블랙박스에서 검출되는 차선들과 같이 사각형 모양으로 전처리(변환)하는 차선형태변환부;
    상기 차선형태변환부로부터 전처리(변환)된 차선들의 가로 방향 좌표값을 이용하여 상기 차선들 사이의 간격들의 평균으로 상기 차선들의 폭을 도출하며,
    상기 차선의 폭을 기준으로 하여 상기 영상의 축척을 계산하는 연산부;를 포함하는 것을 특징으로 하는 교통량 측정을 위한 딥러닝 기반의 드론 영상 분석 시스템.
  10. 삭제
  11. 삭제
  12. 제1항에 있어서,
    상기 차량속도계산부는,
    상기 도로 영상 내 i번째 차량의 실제 속도와 상기 차량이 이동한 거리 단위의 픽셀 수 및 축척 비율을 기반으로 하여 상기 차량의 실제속도를 계산하는 것을 특징으로 하는 교통량 측정을 위한 딥러닝 기반의 드론 영상 분석 시스템.
  13. 제12항에 있어서,
    상기 차량속도계산부는,
    상기 계산된 차량의 실제 속도와 상기 차량검출부로부터 검출된 차량의 수를 기반으로 상기 도로의 교통량을 예측하는 교통량판단부;를 더 포함하는 것을 특징으로 하는 교통량 측정을 위한 딥러닝 기반의 드론 영상 분석 시스템.





KR1020210024020A 2021-02-23 2021-02-23 교통량 측정을 위한 딥러닝 기반의 드론 영상 분석 시스템 KR102492290B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210024020A KR102492290B1 (ko) 2021-02-23 2021-02-23 교통량 측정을 위한 딥러닝 기반의 드론 영상 분석 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210024020A KR102492290B1 (ko) 2021-02-23 2021-02-23 교통량 측정을 위한 딥러닝 기반의 드론 영상 분석 시스템

Publications (2)

Publication Number Publication Date
KR20220120211A KR20220120211A (ko) 2022-08-30
KR102492290B1 true KR102492290B1 (ko) 2023-01-26

Family

ID=83114445

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210024020A KR102492290B1 (ko) 2021-02-23 2021-02-23 교통량 측정을 위한 딥러닝 기반의 드론 영상 분석 시스템

Country Status (1)

Country Link
KR (1) KR102492290B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102616571B1 (ko) * 2022-12-15 2023-12-21 한국건설기술연구원 인공지능을 이용한 영상 분석 기반의 도로 교통정보 제공 방법 및 그를 위한 시스템

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140031129A (ko) * 2012-08-30 2014-03-12 (주)지에스엠솔루션 사용자 인터렉션에 기반한 전방위 영상의 가상면 생성 방법
KR20160100788A (ko) * 2015-02-16 2016-08-24 한국전자통신연구원 이동체의 이동속도 측정장치 및 그 방법
KR101800767B1 (ko) 2016-06-08 2017-11-24 주식회사 렌쥴리에듀테인먼트 드론을 이용한 이동통신 기지국 기반의 실시간 도로 교통 정보 분석 시스템
KR102039723B1 (ko) * 2017-11-30 2019-11-26 부경대학교 산학협력단 공중촬영 영상을 이용한 차량 행태 분석 시스템 및 이를 이용한 분석 방법
KR102169910B1 (ko) 2018-11-13 2020-10-26 한국도로공사 무인비행장치 영상을 이용한 차량 주행행태 분석시스템
KR102197946B1 (ko) * 2018-11-30 2021-01-04 (주)케이아이오티 딥러닝 인공지능 기술을 이용한 객체인식 및 카운팅 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
박홍련외 1. UAV를 활용한 실시간 교통량 분석을 위한 딥러닝 기법의 적용. 한국측량학회지, 제38권제4호, 2020년도, pp.353-361. 1부.*

Also Published As

Publication number Publication date
KR20220120211A (ko) 2022-08-30

Similar Documents

Publication Publication Date Title
KR101647370B1 (ko) 카메라 및 레이더를 이용한 교통정보 관리시스템
KR100377067B1 (ko) 이미지 시퀀스내의 객체의 움직임을 검출하기 위한 방법 및장치
Zheng et al. A novel vehicle detection method with high resolution highway aerial image
KR100459476B1 (ko) 차량의 대기 길이 측정 장치 및 방법
KR100630088B1 (ko) 옵티컬 플로우를 이용한 차량 감시 장치 및 방법
EP0567059A1 (en) Object recognition system and abnormality detection system using image processing
CN104282020A (zh) 一种基于目标运动轨迹的车辆速度检测方法
JP2015090679A (ja) 車両軌跡抽出方法、車両領域抽出方法、車両速度推定方法、車両軌跡抽出プログラム、車両領域抽出プログラム、車両速度推定プログラム、車両軌跡抽出システム、車両領域抽出システム、及び、車両速度推定システム
KR102711127B1 (ko) 카메라 보정 없는 속도 추정 시스템들 및 방법들
CN110255318B (zh) 基于图像语义分割的电梯轿厢闲置物品检测的方法
KR102492290B1 (ko) 교통량 측정을 위한 딥러닝 기반의 드론 영상 분석 시스템
Yuliandoko et al. Automatic vehicle counting using Raspberry pi and background subtractions method in the sidoarjo toll road
Nielsen et al. Taking the temperature of pedestrian movement in public spaces
KR20190134303A (ko) 영상 인식 장치 및 그 방법
CN110316630B (zh) 电梯摄像头安装角度的偏离预警方法及系统
Ao et al. Detecting tiny moving vehicles in satellite videos
KR20040061223A (ko) 카메라 캘리브레이션을 이용한 교통정보 추출 방법 및 장치
KR102418344B1 (ko) 교통정보 분석장치 및 방법
JP4697761B2 (ja) 待ち行列検出方法及び待ち行列検出装置
JP4744789B2 (ja) 物体識別方法及び物体識別装置
KR100751096B1 (ko) 광흐름을 이용한 속도 측정 장치 및 그 방법
Long et al. Automatic Vehicle Speed Estimation Method for Unmanned Aerial Vehicle Images.
JP4333683B2 (ja) フロントガラスの範囲検出装置、方法及びプログラム
KR101448696B1 (ko) 프레임 변화량을 이용하여 연속 차량을 감지하는 방법 및 차량 인식 시스템
JP4055785B2 (ja) 移動物体の高さ検出方法及び装置並びに物体形状判定方法及び装置

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant