Nothing Special   »   [go: up one dir, main page]

KR102025113B1 - LiDAR를 이용한 이미지 생성 방법 및 이를 위한 장치 - Google Patents

LiDAR를 이용한 이미지 생성 방법 및 이를 위한 장치 Download PDF

Info

Publication number
KR102025113B1
KR102025113B1 KR1020180100639A KR20180100639A KR102025113B1 KR 102025113 B1 KR102025113 B1 KR 102025113B1 KR 1020180100639 A KR1020180100639 A KR 1020180100639A KR 20180100639 A KR20180100639 A KR 20180100639A KR 102025113 B1 KR102025113 B1 KR 102025113B1
Authority
KR
South Korea
Prior art keywords
image
deep learning
learning network
color image
color
Prior art date
Application number
KR1020180100639A
Other languages
English (en)
Inventor
김현구
정호열
유국열
박주현
Original Assignee
영남대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 영남대학교 산학협력단 filed Critical 영남대학교 산학협력단
Priority to KR1020180100639A priority Critical patent/KR102025113B1/ko
Priority to US16/324,956 priority patent/US11609332B2/en
Priority to PCT/KR2019/000017 priority patent/WO2020045767A1/ko
Application granted granted Critical
Publication of KR102025113B1 publication Critical patent/KR102025113B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/15—Processing image signals for colour aspects of image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Theoretical Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

라이다를 이용한 이미지 생성 방법 및 이를 위한 장치를 개시한다.
본 실시예의 일 측면에 의하면, 라이다를 이용해 이미지를 생성하는 방법은, 라이다를 이용해 물체까지의 거리 및 반사량을 측정하는 과정, 상기 측정한 거리와 반사량을 이용해 3차원 반사량 데이터를 생성하는 과정, 상기 생성된 3차원 반사량 데이터를 2차원 반사량 이미지로 투영하는 과정, 및 상기 투영된 2차원 반사량 이미지를 딥 러닝 네트워크에 적용해 컬러 이미지를 생성하는 과정을 포함한다.

Description

LiDAR를 이용한 이미지 생성 방법 및 이를 위한 장치{METHOD FOR GENERATING AN IMAGE USING A LIDAR AND DEVICE FOR THE SAME}
본 발명은 LiDAR를 이용해 이미지를 생성하는 방법 및 그 장치에 관한 것이다.
이 부분에 기술된 내용은 단순히 본 발명에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.
LiDAR(Light Detection And Ranging, 이하 '라이다')는 물체와의 거리 및 상기 물체에서 반사된 정보를 측정하는데 이용된다. 즉, 물체에 빛을 쏘아 다시 수신하는데 걸린 시간을 이용해 상기 물체와의 거리를 측정하고, 이때 반사되어 돌아온 빛의 양도 측정한다. 카메라를 이용하는 경우 빛이나 그림자 등에 영향을 받아 이미지가 불명확할 수 있으나, 라이다를 이용하면 빛에 영향을 받지 않기 때문에 날씨 및 조도에 상관없이 일정한 성능의 데이터를 획득할 수 있다. 일예로 밤에 카메라를 이용해 획득한 이미지는 물체의 유무나 형상을 확인하기 어려우나, 라이다를 이용해 획득한 데이터는 물체의 유무 및 형상을 확인할 수 있다.
이러한 라이다는 3차원 GIS(Geographic Information System) 정보 구축에 이용되고 있으며, 라이다를 이용해 측정한 정보를 가시화하는 형태로 발전시켜 건설, 항공, 국방 등의 분야에도 응용되고 있다. 더 나아가 최근에는 자율주행자동차 및 이동로봇 등에 라이다를 적용하기 위해 개발 중에 있다.
그러나, 라이다를 이용해 획득한 이미지는 스파스(sparse)하기 때문에 물체를 식별하거나 검출하기에는 어려움이 있다. 이에 라이다는 카메라와 함께 물체를 식별하거나 검출하는데 이용되고 있다.
본 실시예는, 라이다를 이용해 이미지를 생성하는 방법 및 장치를 제공하는 데 주된 목적이 있다.
본 실시예의 일 측면에 의하면, 라이다를 이용해 이미지를 생성하는 방법은, 라이다를 이용해 물체까지의 거리 및 반사량을 측정하는 과정, 상기 측정한 거리와 반사량을 이용해 3차원 반사량 데이터를 생성하는 과정, 상기 생성된 3차원 반사량 데이터를 2차원 반사량 이미지로 투영하는 과정, 및 상기 투영된 2차원 반사량 이미지를 딥 러닝 네트워크에 적용해 컬러 이미지를 생성하는 과정을 포함한다.
본 실시예의 다른 측면에 의하면, 라이다를 이용해 이미지를 생성하는 장치는, 상기 라이다를 이용해 물체까지의 거리 및 반사량을 측정하는 라이다 데이터 획득부, 상기 측정한 거리와 반사량을 이용해 3차원 반사량 데이터를 2차원 반사량 이미지로 투영하는 라이다 투영 이미지 생성부, 및 상기 투영된 2차원 반사량 이미지를 딥 러닝 네트워크에 적용해 컬러 이미지를 생성하는 딥 러닝 네트워크를 이용한 이미지 생성부를 포함한다.
이상에서 설명한 바와 같이 본 실시예에 의하면, 밤에도 낮과 같은 이미지를 획득할 수 있으며, 또한 흐린 날에도 맑은 날과 같은 이미지를 획득할 수 있다. 본 발명을 자율주행자동차에 적용하는 경우 카메라를 이용하는 경우보다 주변 환경에 영향을 덜 받을 수 있다. 본 발명을 방범에 적용하는 경우 밤이나 흐린 날에도 선명한 이미지를 획득할 수 있다.
도 1은 본 개시에 따라 라이다를 이용해 이미지를 생성하는 장치의 구성도를 나타낸 도면,
도 2는 일예로 본 개시에 따라 생성되는 이미지를 순차적으로 나타낸 도면,
도 3은 본 개시의 일 실시예에 따라 딥 러닝 네트워크를 이용한 이미지 생성부에서 수행되는 학습과 추론 과정을 나타낸 도면,
도 4는 본 개시의 일 실시예에 따른 딥 러닝 네트워크의 구조를 나타낸 도면,
도 5는 본 개시에 따라 라이다를 이용해 이미지를 생성하는 방법의 순서도를 나타낸 도면이다.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 명세서 전체에서, 어떤 부분이 어떤 구성요소를 '포함', '구비'한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 '…부', '모듈' 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
도 1은 본 개시에 따라 라이다를 이용해 이미지를 생성하는 장치의 구성도를 나타낸 도면이다.
본 개시에 따른 라이다를 이용해 이미지를 생성하는 장치는 라이다 데이터 획득부(110), 라이다 투영 이미지 생성부(120), 및 딥 러닝 네트워크를 이용한 이미지 생성부(130)로 구성될 수 있다.
도 1에서는 다수의 구성으로 나누어 설명하나 여러 개의 구성이 하나의 구성으로 통합되어 구현될 수 있으며 또는 하나의 구성이 여러 개의 구성으로 나누어 구현될 수도 있다.
라이다 데이터 획득부(110)는 라이다를 이용해 물체와의 거리 및 상기 물체로부터 반사되는 빛의 반사량을 측정한다. 이때 물체의 유무 및 물체와의 거리 때문에 라이다 데이터는 일반적으로 일정하지 못 할 뿐 아니라 조밀하지 못하다. 도 2의 (a)는 라이다 데이터 획득부(110)에 의해 획득된 데이터를 가시화한 일예를 나타낸 것이다.
라이다 투영 이미지 생성부(120)는 라이다 데이터 획득부(110)에 의해 획득된 3차원 좌표를 가진 반사량 데이터를 2차원 좌표로 투영한다. 상기 3차원 좌표를 가진 반사량 데이터는 점구름(point cloud)의 형태를 가질 수 있다. 이때 투영할 이미지의 시야각, 해상도, 틸트 각도, 높이 등이 고려될 수 있다. 3차원 좌표를 2차원 좌표로 투영하기 위해 투영 행렬을 이용할 수 있다. 일예로 아래의 [수학식 1]은 투영 행렬을 이용해 3차원 좌표를 2차원 좌표로 변환하는 수학식을 나타낸 것이다. 여기서, X, Y, Z는 변환할 3차원 좌표를 나타내며, u, v는 변환된 2차원 좌표를 나타낸다.
Figure 112018084956140-pat00001
그 외에, s는 스케일 인자(scale factor), cu, cv는 카메라의 주점(principal point), fu, fv는 초점 거리(focal length),
Figure 112018084956140-pat00002
∈R3x3과
Figure 112018084956140-pat00003
∈R1x3는 라이다를 카메라의 위치로 변환하기 위한 회전 행렬과 변환 행렬을 의미한다. 도 2의 (b)는 라이다 데이터 획득부(110)에 의해 획득된 3차원 좌표를 가진 반사량 데이터를 2차원 좌표로 투영한 일예를 나타낸 것이다.
딥 러닝 네트워크를 이용한 이미지 생성부(130)는 라이다 투영 이미지 생성부(120)로부터 생성된 데이터를 학습된 딥 러닝 네트워크에 적용해 이미지를 생성한다. 상기 딥 러닝 네트워크를 이용해 생성하는 이미지는 흑백 또는 컬러 이미지일 수도 있다. 딥 러닝 네트워크를 이용한 이미지 생성부(130)는 이하에서 자세히 설명한다.
본 발명의 라이다를 이용한 이미지 생성 장치(도 1)에 포함된 각 구성들은 본 발명의 이해를 돕기 위해 기능별로 각 구성을 구분한 것이고, 실제로는 CPU, MPU,　GPU　또는 ECU와 같은 하나의 처리 장치 또는 여러 장치를 통해 구현될 수 있다. 　특히, 도 1의 딥 러닝 네트워크를 이용한 이미지 생성부(130)는 GPU를 사용하여 이루어질 수 있다. 즉, 컬러 이미지 생성은 다른 처리 장치로도 구현이 가능하나, 보다 고속으로의 처리를 위해　GPU를 이용하는 것이 바람직하다. 따라서, 도 1의 라이다 투영 이미지 생성부(120)와 딥러닝 네트워크를 이용한 이미지 생성부(130)는 라이다 데이터 획득부(110)와 일체로 구성될 수 있다.
도 3은 본 개시의 일 실시예에 따라 딥 러닝 네트워크를 이용한 이미지 생성부에서 수행되는 학습 및 추론 과정을 나타낸 도면이다.
구체적으로, 도 3은 컬러 이미지를 생성하기 위한 학습 및 추론 과정을 나타낸 도면이다.
먼저, 학습 과정에서 라이다 투영 이미지 생성부(120)에 의해 생성된 반사량 이미지(310)는 딥 러닝 네트워크(320)에 입력되어 컬러 성분(330)이 출력된다. 선택적으로 3차원 좌표(또는 물체까지의 거리)도 함께 딥 러닝 네트워크(320)에 입력될 수 있다. 딥 러닝 네트워크(320)에 의해 출력되는 컬러 성분(330)은 원본 컬러 이미지(340)의 컬러 성분과 일치하도록 딥 러닝 네트워크(320)의 계수가 학습된다. 학습 과정에 이용되는 원본의 컬러 이미지(340)는 카메라에 의해 획득된 이미지일 수 있다. 또한, 원본의 컬러 이미지(340)는 상기 카메라에 의해 획득된 이미지에서 그림자가 삭제된 이미지일 수 있다. 딥 러닝 네트워크(320)에서 활성 함수(activation function)로 tanh 함수를 사용하는 경우 출력되는 값은 -1에서 1 사이의 값을 갖게 된다. 이 경우 원본의 컬러 이미지(340)에서 추출된 컬러 성분은 딥 러닝 네트워크(320)에서 출력되는 컬러 성분(330)과 유효 범위가 일치하지 않기 때문에 원본의 컬러 이미지(340)에서 추출된 컬러 성분의 범위를 변환해야 한다(350). 또는 딥 러닝 네트워크(320)에서 출력되는 컬러 성분(330)을 원본의 컬러 이미지(340)에서 추출된 컬러 성분의 유효 범위 내에 포함되도록 변환해야 한다. 이하에서는 원본의 컬러 이미지(340)에서 추출된 컬러 성분의 범위를 변환하는 예로 설명한다. 컬러 성분은 R, G, B로 나타낼 수 있으며 일반적으로 이미지에서는 그 범위가 0에서 255사이의 값을 갖는다. 컬러 성분은 반드시 RGB로 변환되는 것은 아니며 다양한 컬러 성분인 Gray, YUV, YCbYr, CIE Lab 등으로도 변환될 수 있다. 그러나, 딥 러닝 네트워크(320)에 의해 출력된 컬러 성분(330)은 활성 함수에 의해 -1에서 1사이의 값을 갖기 때문에 원본의 컬러 이미지(340)에서 컬러 성분의 범위를 -1에서 1사이의 값을 갖도록 변환한다(350). 즉, 딥 러닝 네트워크의 활성 함수에 따라 변환되는 데이터의 범위도 변경되어야 한다.
이후 추론 과정에서는 라이다 투영 이미지 생성부(120)에 의해 생성된 2차원 좌표로 투영된 반사량 이미지가 딥 러닝 네트워크(320)에 입력되어 컬러 성분(330)이 출력된다. 학습 과정에서와 마찬가지로 선택적으로 3차원 좌표(또는 물체까지의 거리)도 함께 딥 러닝 네트워크(320)에 입력될 수 있다. 딥 러닝 네트워크(320)에서 출력된 컬러 성분(330)의 값은 -1에서 1 사이의 값을 갖기 때문에 0에서 255 사이의 값을 갖도록 변환된다(370). 상기 변환된 값을 이용해 컬러 이미지(360)를 생성한다.
도 4는 본 개시의 일 실시예에 따른 딥 러닝 네트워크의 구조를 나타낸 도면이다.
구체적으로, 도 4는 592 x 112 크기의 이미지를 일 예로 설명하고 있다. 따라서 이미지의 크기가 바뀌는 경우 컨볼루션 그룹의 개수나 샘플링의 횟수 등이 변경될 수 있다.
딥 러닝 네트워크의 입력은 2차원 좌표로 투영된 반사량 이미지가 될 수 있다. 이 때 반사량만을 입력으로 하는 경우에는 1 채널이 되고, 3차원 좌표(또는 물체까지의 거리)도 함께 입력되는 경우에는 2 채널이 될 수 있다. 딥 러닝 네트워크의 출력은 컬러 이미지의 성분을 나타내는 R, G, B로 3채널이 될 수 있다.
본 개시에 따른 딥 러닝 네트워크는 인코더부(410)와 디코더부(420)로 구성될 수 있다. 상기 딥 러닝 네트워크의 인코더부(410)와 디코더부(420)는 비대칭적으로 구성된 FCN(Fully Convolutional Network)이 될 수 있다.
인코더부(410)는 적어도 하나 이상의 컨볼루션 그룹과 서브 샘플링(sub-sampling)부로 구성될 수 있으며, 디코더부(420)도 적어도 하나 이상의 컨볼루션 그룹과 업 샘플링(up-sampling)부로 구성될 수 있다. 상기 컨볼루션 그룹은 적어도 하나 이상의 컨볼루션 블록으로 구성될 수 있다. 상기 컨볼루션 블록(convolution-K block)은 K개의 3x3 필터를 포함하는 컨볼루션 레이어, 배치 정규화(batch normalization) 레이어, 및 활성 함수 순으로 구성될 수 있다. 또한, 컨볼루션 레이어는 stride가 1, padding은 모두 동일하게 설정될 수 있으며, 디코딩부(420)의 마지막 컨볼루션 블록은 활성 함수로 tanh가 이용될 수 있다. 그 외의 모든 컨볼루션 블록의 활성 함수는 ReLU(Rectified Linear Unit)가 이용될 수 있다([수학식 2] 참조).
Figure 112018084956140-pat00004
Figure 112018084956140-pat00005
도 4에서는 인코더부(410)의 i 번째 컨볼루션 그룹을 구성하는 컨볼루션 블록의 반복 횟수는
Figure 112018084956140-pat00006
, 디코더부(420)의 j 번째 컨볼루션 그룹을 구성하는 컨볼루션 블록의 반복 횟수는
Figure 112018084956140-pat00007
로 나타내고 있으며, 상기 반복 횟수는 가변이 가능하다.
인코더부(410)의 컨볼루션 그룹을 구성하는 컨볼루션 블록의 총 개수
Figure 112018084956140-pat00008
와 디코더부(420)의 컨볼루션 그룹을 구성하는 컨볼루션 블록의 총 개수는
Figure 112018084956140-pat00009
로 디코더부(420)의 컨볼루션 블록의 총 개수가 인코더부(420)의 컨볼루션 블록의 총 개수보다 많게 설계(
Figure 112018084956140-pat00010
)됨으로 인해 FCN의 인코더부(410)와 디코더부(420)는 비대칭적인 구조를 가질 수 있다.
인코더부(410)의 서브 샘플링 횟수는 2의 인수(factor)로 max-pooling이 적용될 수 있다. 디코더부(420)의 업 샘플링 횟수는 2의 인수(factor)로 un-pooling이 적용될 수 있다.
도 5는 본 개시에 따라 라이다를 이용해 이미지를 생성하는 방법의 순서도를 나타낸 도면이다.
라이다를 이용해 물체까지의 거리 및 반사량을 측정한다(510). 일예로 상기 물체까지의 거리는 X, Y, Z 좌표 상의 거리가 각각 측정되어 3차원의 좌표로 표현될 수 있다.
상기 측정한 거리와 반사량을 이용해 3차원 반사량 데이터를 생성한다(520).
상기 생성된 3차원 반사량 데이터를 2차원 반사량 이미지로 투영한다(530). 일예로 투영 행렬을 이용하여 상기 생성된 3차원 반사량 데이터를 2차원 반사량 이미지로 변환할 수 있다.
상기 투영된 2차원 반사량 이미지를 딥 러닝 네트워크에 적용해 흑백 또는 컬러 이미지를 생성한다(540). 상기 딥 러닝 네트워크는 FCN이 될 수 있다. 이때 상기 투영된 2차원 반사량 이미지 외에 상기 측정한 거리 또는 3차원 좌표가 상기 FCN에 더 입력될 수 있다. 상기 FCN은 인코딩부와 디코딩부로 구성될 수 있으며, 상기 인코딩부와 상기 디코딩부는 비대칭적으로 구성될 수 있다. 상기 FCN은 그림자가 없는 이미지를 원본 이미지로 하여 학습될 수 있다.
도 5에서는 과정 510 내지 과정 540을 순차적으로 실행하는 것으로 기재하고 있으나, 이는 본 발명의 일 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것이다. 다시 말해, 본 발명의 일 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 일 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 도 5에 기재된 순서를 변경하여 실행하거나 과정 510 내지 과정 540 중 하나 이상의 과정을 병렬적으로 실행하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이므로, 도 5는 시계열적인 순서로 한정되는 것은 아니다.
한편, 도 5에 도시된 과정들은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 즉, 컴퓨터가 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등) 및 캐리어 웨이브(예를 들면, 인터넷을 통한 전송)와 같은 저장매체를 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (12)

  1. 라이다를 이용해 컬러 이미지를 생성하는 방법에 있어서,
    상기 라이다를 이용해 측정된 3차원 반사량 데이터를 카메라 좌표에 상응하는 2차원 좌표로 투영하는 과정,
    상기 투영된 데이터를 반사량 이미지로 재구성하는 과정, 및
    상기 투영된 2차원 반사량 이미지를 딥 러닝(Deep Learning) 네트워크에 적용해 컬러 이미지를 생성하는 과정을 포함하고,
    상기 딥 러닝 네트워크의 계수들은 상기 딥 러닝 네트워크에 의해 생성된 컬러 이미지와 실제 카메라로 촬영된 원본 컬러 이미지 간의 비교에 기초하여 학습되고,
    상기 딥 러닝 네트워크는 상기 2차원 반사량 이미지를 입력받는 인코더부와 상기 인코더부의 출력으로부터 각 픽셀 별 컬러 성분을 생성하는 디코더부를 포함하고,
    상기 컬러 이미지를 생성하는 과정은,
    상기 투영된 2차원 반사량 이미지를 상기 인코더부에 입력하는 과정, 및 상기 디코더부에 사용된 활성 함수에 의해 제한된 범위를 가지는 상기 디코더부가 생성한 각 픽셀의 컬러 성분을 상기 컬러 이미지의 컬러 성분의 표현 범위로 변환하는 과정을 포함하는 것을 특징으로 하는 컬러 이미지 생성 방법.
  2. 제1항에 있어서,
    상기 딥 러닝 네트워크는 FCN(Fully Convolutional Network)임을 특징으로 하는 컬러 이미지 생성 방법.
  3. 제2항에 있어서,
    상기 인코더부와 상기 디코더부는 서로 비대칭으로 구성됨을 특징으로 하는 컬러 이미지 생성 방법.
  4. 제1항에 있어서,
    상기 딥 러닝 네트워크에 의해 생성된 컬러 이미지와 비교되는 실제 카메라로 촬영된 원본 컬러 이미지는 그림자가 없는 이미지인 것을 특징으로 하는 컬러 이미지 생성 방법.
  5. 제1항에 있어서,
    상기 인코더부의 입력은 상기 2차원 반사량 이미지를 입력받기 위한 제1채널과 물체까지의 거리를 입력받기 위한 제2채널로 구성된 것을 특징으로 하는 컬러 이미지 생성 방법.
  6. 제1항에 있어서,
    상기 투영된 2차원 반사량 이미지는 0 에서 1, 또는 -1 에서 1사이의 값으로 표현되고,
    상기 컬러 이미지는 0에서 255 사이의 값으로 표현됨을 특징으로 하는 컬러 이미지 생성 방법.
  7. 라이다를 이용해 컬러 이미지를 생성하는 장치에 있어서,
    상기 라이다를 이용해 측정된 3차원 반사량 데이터를 카메라 좌표에 상응하는 2차원 좌표로 투영하고, 상기 투영된 데이터를 반사량 이미지로 재구성하는 라이다 투영 이미지 생성부,및
    상기 투영된 2차원 반사량 이미지를 딥 러닝(Deep Learning) 네트워크에 적용해 컬러 이미지를 생성하는 딥 러닝 네트워크를 이용한 이미지 생성부를 포함하고,
    상기 딥 러닝 네트워크의 계수들은 상기 딥 러닝 네트워크에 의해 생성된 컬러 이미지와 실제 카메라로 촬영된 원본 컬러 이미지 간의 비교에 기초하여 학습되고,
    상기 딥 러닝 네트워크는 상기 2차원 반사량 이미지를 입력받는 인코더부와 상기 인코더부의 출력으로부터 각 픽셀 별 컬러 성분을 생성하는 디코더부를 포함하며,
    상기 딥 러닝 네트워크를 이용한 이미지 생성부는,
    상기 투영된 2차원 반사량 이미지를 상기 인코더부에 입력하고, 상기 디코더부에 사용된 활성 함수에 의해 제한된 범위를 가지는 상기 디코더부가 생성한 각 픽셀의 컬러 성분을 상기 컬러 이미지의 컬러 성분의 표현 범위로 변환하는 것을 특징으로는 것을 하는 컬러 이미지 생성 장치.
  8. 제7항에 있어서,
    상기 딥 러닝 네트워크는 FCN(Fully Convolutional Network)임을 특징으로 하는 컬러 이미지 생성 장치.
  9. 제8항에 있어서,
    상기 인코더부와 상기 디코더부는 서로 비대칭적으로 구성됨을 특징으로 하는 컬러 이미지 생성 장치.
  10. 제7항에 있어서,
    상기 딥 러닝 네트워크에 의해 생성된 컬러 이미지와 비교되는 실제 카메라로 촬영된 원본 컬러 이미지는 그림자가 없는 이미지인 것을 특징으로 하는 컬러 이미지 생성 장치.
  11. 제7항에 있어서,
    상기 인코더부의 입력은 상기 2차원 반사량 이미지를 입력받기 위한 제1채널과 물체까지의 거리를 입력받기 위한 제2채널로 구성된 것을 특징으로 하는 컬러 이미지 생성 장치.
  12. 제7항에 있어서,
    상기 투영된 2차원 반사량 이미지는 0에서 1, 또는 -1에서 1 사이의 값으로 표현되고,
    상기 컬러 이미지는 0에서 255 사이의 값으로 표현됨을 특징으로 하는 컬러 이미지 생성 장치.
KR1020180100639A 2018-08-27 2018-08-27 LiDAR를 이용한 이미지 생성 방법 및 이를 위한 장치 KR102025113B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020180100639A KR102025113B1 (ko) 2018-08-27 2018-08-27 LiDAR를 이용한 이미지 생성 방법 및 이를 위한 장치
US16/324,956 US11609332B2 (en) 2018-08-27 2019-01-02 Method and apparatus for generating image using LiDAR
PCT/KR2019/000017 WO2020045767A1 (ko) 2018-08-27 2019-01-02 Lidar를 이용한 이미지 생성 방법 및 이를 위한 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180100639A KR102025113B1 (ko) 2018-08-27 2018-08-27 LiDAR를 이용한 이미지 생성 방법 및 이를 위한 장치

Publications (1)

Publication Number Publication Date
KR102025113B1 true KR102025113B1 (ko) 2019-09-25

Family

ID=68068277

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180100639A KR102025113B1 (ko) 2018-08-27 2018-08-27 LiDAR를 이용한 이미지 생성 방법 및 이를 위한 장치

Country Status (3)

Country Link
US (1) US11609332B2 (ko)
KR (1) KR102025113B1 (ko)
WO (1) WO2020045767A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210153918A (ko) * 2020-06-11 2021-12-20 한양대학교 산학협력단 하이퍼 탄젠트 손실 함수를 이용한 강인한 거리 추정 방법 및 장치
KR20220028564A (ko) 2020-08-28 2022-03-08 한국로봇융합연구원 해상 환경에서 복수의 레이더 및 라이더를 이용하여 목표 대상물과 장치 간 상대 정보를 추정하기 위한 방법
KR20220130512A (ko) * 2021-03-18 2022-09-27 충북대학교 산학협력단 CycleGAN을 이용한 라이다 데이터의 렌더링 방법 및 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101097182B1 (ko) * 2010-07-12 2011-12-21 국방과학연구소 3차원 거리정보에서 고도지도와의 정합에 유리한 정보를 추출하는 방법
US8675181B2 (en) * 2009-06-02 2014-03-18 Velodyne Acoustics, Inc. Color LiDAR scanner
KR20170113251A (ko) * 2016-03-24 2017-10-12 재단법인 아산사회복지재단 딥러닝을 이용한 혈관내 초음파 영상에서의 혈관내외경 자동 분할 방법 및 장치
JP2018515825A (ja) * 2015-02-24 2018-06-14 ハイプヴイアール Ｌｉｄａｒステレオ融合実写３ｄモデルバーチャルリアリティビデオ
EP3340106A1 (en) * 2016-12-23 2018-06-27 Hexagon Technology Center GmbH Method for assigning particular classes of interest within measurement data

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9188676B2 (en) * 2012-08-15 2015-11-17 Digital Signal Corporation System and method for detecting a face contour using a three-dimensional measurement system
KR102441100B1 (ko) * 2015-11-30 2022-09-06 현대오토에버 주식회사 Las 데이터를 이용한 도로 지문 데이터 구축 시스템 및 그 방법
US10353053B2 (en) * 2016-04-22 2019-07-16 Huawei Technologies Co., Ltd. Object detection using radar and machine learning
EP3619681A4 (en) * 2017-05-02 2020-12-16 HRL Laboratories, LLC MOBILE OBSTACLE DETECTION SYSTEM AND METHOD BASED ON SENSORY PREDICTION FROM EGO MOVEMENT
US20190035113A1 (en) * 2017-07-27 2019-01-31 Nvidia Corporation Temporally stable data reconstruction with an external recurrent neural network

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8675181B2 (en) * 2009-06-02 2014-03-18 Velodyne Acoustics, Inc. Color LiDAR scanner
KR101097182B1 (ko) * 2010-07-12 2011-12-21 국방과학연구소 3차원 거리정보에서 고도지도와의 정합에 유리한 정보를 추출하는 방법
JP2018515825A (ja) * 2015-02-24 2018-06-14 ハイプヴイアール Ｌｉｄａｒステレオ融合実写３ｄモデルバーチャルリアリティビデオ
KR20170113251A (ko) * 2016-03-24 2017-10-12 재단법인 아산사회복지재단 딥러닝을 이용한 혈관내 초음파 영상에서의 혈관내외경 자동 분할 방법 및 장치
EP3340106A1 (en) * 2016-12-23 2018-06-27 Hexagon Technology Center GmbH Method for assigning particular classes of interest within measurement data

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210153918A (ko) * 2020-06-11 2021-12-20 한양대학교 산학협력단 하이퍼 탄젠트 손실 함수를 이용한 강인한 거리 추정 방법 및 장치
KR102347001B1 (ko) 2020-06-11 2022-01-04 한양대학교 산학협력단 하이퍼 탄젠트 손실 함수를 이용한 강인한 거리 추정 방법 및 장치
KR20220028564A (ko) 2020-08-28 2022-03-08 한국로봇융합연구원 해상 환경에서 복수의 레이더 및 라이더를 이용하여 목표 대상물과 장치 간 상대 정보를 추정하기 위한 방법
KR102407174B1 (ko) 2020-08-28 2022-06-10 한국로봇융합연구원 해상 환경에서 복수의 레이더 및 라이더를 이용하여 목표 대상물과 장치 간 상대 정보를 추정하기 위한 방법
KR20220130512A (ko) * 2021-03-18 2022-09-27 충북대학교 산학협력단 CycleGAN을 이용한 라이다 데이터의 렌더링 방법 및 장치
KR102602147B1 (ko) * 2021-03-18 2023-11-13 충북대학교 산학협력단 CycleGAN을 이용한 라이다 데이터의 렌더링 방법 및 장치

Also Published As

Publication number Publication date
US20210333400A1 (en) 2021-10-28
WO2020045767A1 (ko) 2020-03-05
US11609332B2 (en) 2023-03-21

Similar Documents

Publication Publication Date Title
CN113643378B (zh) 多相机环境中主动式刚体的位姿定位方法及相关设备
CN108345831A (zh) 基于点云数据的道路图像分割的方法、装置以及电子设备
KR102025113B1 (ko) LiDAR를 이용한 이미지 생성 방법 및 이를 위한 장치
WO2019065536A1 (ja) 再構成方法および再構成装置
US11756308B2 (en) Neural network device and method using a neural network for sensor fusion
JP7060157B2 (ja) データ圧縮装置、データ圧縮方法、及びプログラム
CN113111513B (zh) 传感器配置方案确定方法、装置、计算机设备及存储介质
CN115565154A (zh) 可行域预测方法、装置、系统和存储介质
Guiotte et al. Semantic segmentation of lidar points clouds: rasterization beyond digital elevation models
CN114140758A (zh) 一种目标检测方法、装置及计算机设备
CN116468768B (zh) 基于条件变分自编码器和几何引导的场景深度补全方法
KR102229861B1 (ko) 저채널 라이다와 스테레오 카메라를 이용한 깊이 추정 장치 및 방법
US11348261B2 (en) Method for processing three-dimensional point cloud data
Wang et al. An ensemble multi-scale residual attention network (EMRA-net) for image Dehazing
US8818124B1 (en) Methods, apparatus, and systems for super resolution of LIDAR data sets
Jia et al. Depth measurement based on a convolutional neural network and structured light
JP7034746B2 (ja) 特徴表現装置、それを含む認識システム、及び特徴表現プログラム
KR102433632B1 (ko) 라이다 깊이 이미지 채움 장치 및 방법
Alaba et al. Multi-sensor fusion 3D object detection for autonomous driving
US20240126073A1 (en) Method and system for passive range imaging
Martell et al. Benchmarking structure from motion algorithms of urban environments with applications to reconnaissance in search and rescue scenarios
CN117423102A (zh) 点云数据处理方法以及相关设备
Ren et al. T-UNet: A novel TC-based point cloud super-resolution model for mechanical lidar
KR102694069B1 (ko) 자율주행 차량에서 패치 gan 기반 깊이 완성 방법 및 장치
CN118823332B (zh) 一种多模态模型预训练方法、装置、设备以及存储介质

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20180827

PA0201 Request for examination
PA0302 Request for accelerated examination

Patent event date: 20180829

Patent event code: PA03022R01D

Comment text: Request for Accelerated Examination

Patent event date: 20180827

Patent event code: PA03021R01I

Comment text: Patent Application

PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20181029

Patent event code: PE09021S01D

AMND Amendment
PE0601 Decision on rejection of patent

Patent event date: 20190321

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20181029

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I

AMND Amendment
PX0901 Re-examination

Patent event code: PX09011S01I

Patent event date: 20190321

Comment text: Decision to Refuse Application

Patent event code: PX09012R01I

Patent event date: 20181214

Comment text: Amendment to Specification, etc.

PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20190514

Patent event code: PE09021S01D

AMND Amendment
PX0701 Decision of registration after re-examination

Patent event date: 20190916

Comment text: Decision to Grant Registration

Patent event code: PX07013S01D

Patent event date: 20190624

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

Patent event date: 20190415

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

Patent event date: 20190321

Comment text: Decision to Refuse Application

Patent event code: PX07011S01I

Patent event date: 20181214

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

X701 Decision to grant (after re-examination)
GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20190919

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20190919

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20220624

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20230627

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20240624

Start annual number: 6

End annual number: 6