KR102373456B1

KR102373456B1 - 자동 주차 시스템을 제공하기 위해 결정 지점 간의 관계 및 결정 지점에 대한 리그레션 결과를 이용하여 주차 공간을 검출하는 학습 방법 및 학습 장치, 그리고 이를 이용한 테스팅 방법 및 테스팅 장치

Info

Publication number: KR102373456B1
Application number: KR1020200004512A
Authority: KR
Inventors: 김용중; 김인수; 김학경; 남운현; 부석훈; 성명철; 유우주; 정경중; 제홍모; 조호진
Original assignee: 주식회사 스트라드비젼
Priority date: 2019-01-30
Filing date: 2020-01-13
Publication date: 2022-03-14
Also published as: JP2020123343A; EP3690717C0; US10628688B1; CN111507460B; CN111507460A; JP6923960B2; EP3690717A1; KR20200094652A; EP3690717B1

Abstract

본 발명은, 주차 가능 공간의 결정 지점에 대한 확률 분포와, 상기 결정 지점 간의 관계에 대한 관계 선형 세그먼트 정보(Relational Linear Segment Information)를 이용하여 상기 주차 가능 공간을 검출하는 학습 방법에 있어서, (a) 학습 장치가, (i) 제1 CNN(Convolutional Neural Network)으로 하여금, 주차 상황 이미지에 제1 CNN 리그레션(Regression) 연산을 적용하여, 상기 결정 지점 각각에 관한 하나 이상의 예측 확률 분포 각각을 계산하도록 하는 프로세스, 및 (ii) 제2 CNN으로 하여금, 상기 주차 상황 이미지에 제2 CNN 리그레션 연산을 적용하여, 예측 관계 선형 세그먼트 정보를 생성하도록 하는 프로세스를 수행하는 단계; 및 (b) 상기 학습 장치가, 로스 레이어로 하여금, (i) 제1 로스를 사용하여 백프로퍼게이션(backpropagation)을 수행함으로써 상기 제1 CNN의 파라미터를 학습하는 프로세스 및 (ii) 제2 로스를 사용하여 백프로퍼게이션을 수행함으로써 상기 제2 CNN의 파라미터를 학습하는 프로세스를 수행하도록 하는 단계;를 포함하는 것을 특징으로 하는 방법이 제공된다.

Description

자동 주차 시스템을 제공하기 위해 결정 지점 간의 관계 및 결정 지점에 대한 리그레션 결과를 이용하여 주차 공간을 검출하는 학습 방법 및 학습 장치, 그리고 이를 이용한 테스팅 방법 및 테스팅 장치{LEARNING METHOD AND LEARNING DEVICE, AND TESTING METHOD AND TESTING DEVICE FOR DETECTING PARKING SPACES BY USING POINT REGRESSION RESULTS AND RELATIONSHIP BETWEEN POINTS TO THEREBY PROVIDE AN AUTO-PARKING SYSTEM}

본 발명은 자율 주행 차량에 이용되기 위한 학습 방법과 학습 장치에 관한 것으로; 보다 상세하게는, 주차 공간을 검출하여 자율 주차 시스템을 제공하는 상기 학습 방법 및 상기 학습 장치, 그리고 이를 이용한 테스트 방법 및 테스트 장치에 관한 것이다.

딥 컨벌루션 뉴럴 네트워크(Deep Convolution Neural Network, Deep CNN)는 딥 러닝 분야에서 일어난 눈부신 발전의 핵심이다. CNN은 글자 식별 문제를 해결하기 위해 90년대에도 사용되었지만, 근래에 들어서야 기계 학습(Machine Learning) 분야에서 널리 쓰이게 되었다. 예를 들어, CNN은 2012년 ImageNet 이미지 분류 시합에서 다른 경쟁자들을 이기고 우승을 차지했다. 그 후, CNN은 기계 학습 분야에서 매우 유용한 툴로 쓰이게 되었다.

CNN은 최근 자율 주행 분야에서 널리 사용되고 있다. CNN이 자율 주행 분야에서 사용될 때, 입력 이미지의 처리를 통해 객체 검출, 시맨틱(semantic) 세그먼테이션 및 여유 공간 검출을 수행할 수 있다.

이와 같이 CNN이 자율 주행 분야에서 중요한 역할을 담당하고 있으나, 자율 주행 분야에서, CNN이 많이 연구되지 않은 세부 분야가 있다. 이 중 하나는 자율 주차 분야이다. 자율 주차 분야가 중요한 이유는, 주차 시, 생명을 위협하는 위험한 사고가 자주 발생하지는 않지만 차주에게 금전적인 손해를 끼치는 사고는 자주 발생하기 때문이다. CNN이 상기 자율 주차 분야에 활용되면, 센서를 이용하여 주차 공간을 검출하는 선행 기술보다 훨씬 경제적이겠지만, 아직 자율 주행 분야에 CNN을 적용하는 기술 연구는 많이 진행되지 않았다.

본 발명은 상술한 문제점을 해결하는 것을 목적으로 한다.

본 발명은 결정 지점 간의 관계 정보 및 결정 지점에 대한 리그레션(regression) 결과를 이용해 주차 공간을 검출하는 방법을 제공함으로써 운전자가 쉽고 간편하게 주차할 수 있도록 하는 자동 주차 시스템을 제공하는 것을 다른 목적으로 한다.

또한, 본 발명은 결정 지점에 대한 리그레션을 수행할 수 있는 CNN(Convolutional Neural Network)을 구축하는 방법을 제공하는 것을 또 다른 목적으로 한다.

또한, 본 발명은 결정 지점 간의 관계 정보를 검출할 수 있는 CNN을 구축하는 방법을 제공하는 것을 또 다른 목적으로 한다.

또한, 본 발명은 상기 결정 지점 간의 관계 정보와 상기 결정 지점에 대한 리그레션 결과를 통합하는 방법을 제공하는 것을 또 다른 목적으로 한다.

상기한 바와 같은 본 발명의 목적을 달성하고, 후술하는 본 발명의 특징적인 효과를 실현하기 위한 본 발명의 특징적인 구성은 하기와 같다.

본 발명의 일 태양에 따르면, 하나 이상의 주차 가능 공간의 하나 이상의 결정 지점에 대한 하나 이상의 확률 분포와, 상기 결정 지점 간의 관계에 대한 관계 선형 세그먼트 정보(Relational Linear Segment Information)를 이용하여 상기 주차 가능 공간을 검출하는 학습 방법에 있어서, (a) 학습 장치가, 적어도 하나의 카메라를 통해, 상기 주차 가능 공간에 대한 정보를 포함하는 적어도 하나의 주차 상황 이미지를 획득하면, (i) 제1 CNN(Convolutional Neural Network)으로 하여금, 상기 주차 상황 이미지에 적어도 하나의 제1 CNN 리그레션(Regression) 연산을 적용하여, 상기 결정 지점 각각에 관한 하나 이상의 예측 확률 분포 각각을 계산하도록 하는 프로세스, 및 (ii) 제2 CNN으로 하여금, 상기 주차 상황 이미지에 적어도 하나의 제2 CNN 리그레션 연산을 적용하여, 상기 결정 지점 중 적어도 일부 간 관계에 관한 예측 관계 선형 세그먼트 정보를 생성하도록 하는 프로세스를 수행하는 단계; 및 (b) 상기 학습 장치가, 로스 레이어로 하여금, (i) 상기 예측 확률 분포 및 이에 대응하는 GT(Ground-Truth) 확률 분포를 참조로 하여 제1 로스를 생성한 후, 상기 제1 로스를 사용하여 백프로퍼게이션(backpropagation)을 수행함으로써 상기 제1 CNN의 파라미터 중 적어도 일부를 학습하는 프로세스 및 (ii) 상기 예측 관계 선형 세그먼트 정보 및 이에 대응하는 GT 관계 선형 세그먼트 정보를 참조로 하여 제2 로스를 생성한 후, 상기 제2 로스를 사용하여 백프로퍼게이션을 수행함으로써 상기 제2 CNN의 파라미터 중 적어도 일부를 학습하는 프로세스를 수행하도록 하는 단계;를 포함하는 것을 특징으로 하는 방법이 개시된다.

일 실시예에서, 상기 (a) 단계 이전에, (a0) 상기 학습 장치가, 최적화 CNN으로 하여금,

의 사이즈를 가지는 상기 주차 상황 이미지에 적어도 하나의 최적화 CNN 연산을 적용하여

의 사이즈를 가지는 적어도 하나의 조정된 주차 상황 이미지를 생성하도록 하는 단계;를 더 포함하되,

및

는 각각

및

보다 작고,

는

보다 큰 것을 특징으로 하고, 상기 (a) 단계에서, 상기 학습 장치가, (i) 상기 제1 CNN으로 하여금, 상기 조정된 주차 상황 이미지에 상기 제1 CNN 리그레션 연산을 적용하여 상기 예측 확률 분포를 계산하도록 하는 프로세스 및 (ii) 상기 제2 CNN으로 하여금, 상기 조정된 주차 상황 이미지에 상기 제2 CNN 리그레션 연산을 적용하여 상기 예측 관계 선형 세그먼트 정보를 생성하도록 하는 프로세스를 수행하는 것을 특징으로 한다.

일 실시예에서, 상기 (a) 단계에서, 상기 학습 장치가, 상기 주차 상황 이미지에 상기 제1 CNN 리그레션 연산을 적용하기 위해, (i) 상기 제1 CNN의 적어도 하나의 제1 컨벌루션 레이어에 포함된 하나 이상의 제1 컨벌루션 뉴런 각각으로 하여금, 이의 파라미터를 이용해 적어도 하나의 제1 컨벌루션 연산을 입력된 값에 적용한 후, 출력된 값을 다음 제1 컨벌루션 뉴런에 전달하는 프로세스를 반복하도록 함으로써 제1 특징 맵을 생성하도록 한 후, (ii) 상기 제1 CNN의 적어도 하나의 제1 출력 레이어로 하여금, 상기 제1 특징 맵에 적어도 하나의 제1 출력 연산을 적용하여, 상기 예측 확률 분포를 생성하도록 하는 것을 특징으로 한다.

일 실시예에서, 상기 학습 장치가, 상기 제1 출력 레이어로 하여금, 상기 제1 특징 맵에 적어도 하나의 FC(Fully connected) 네트워크 연산인 상기 제1 출력 연산을 적용하여, 하나 이상의 제i 결정 지점 - i는 1 이상 4 이하의 정수임 - 에 대한 하나 이상의 제i 예측 확률 분포를 제i 채널 내에 포함하는 적어도 하나의 예측 결정 지점 이미지를 생성하도록 함으로써, 상기 예측 확률 분포를 생성하도록 하는 것을 특징으로 한다.

일 실시예에서, 각각의 상기 제i 결정 지점은 각각의 상기 주차 가능 공간의 꼭짓점 중에서 선택되고, 상기 제i 결정 지점으로 선택된 하나 이상의 특정 꼭짓점은 자율적으로 주차될 대상 차량과 관련한 적어도 하나의 제i 위치 특성을 가지는 것을 특징으로 한다.

일 실시예에서, 상기 (a) 단계에서, 상기 학습 장치가, 상기 주차 상황 이미지에 상기 제2 CNN 리그레션 연산을 적용하기 위해, (i) 상기 제2 CNN의 적어도 하나의 제2 컨벌루션 레이어에 포함된 하나 이상의 제2 컨벌루션 뉴런 각각으로 하여금, 이의 파라미터를 이용해 적어도 하나의 제2 컨벌루션 연산을 입력된 값에 적용한 후, 출력된 값을 다음 제2 컨벌루션 뉴런에 전달하는 프로세스를 반복하도록 함으로써 제2 특징 맵을 생성하도록 한 후, (ii) 상기 제2 CNN의 적어도 하나의 제2 출력 레이어로 하여금, 상기 제2 특징 맵에 적어도 하나의 제2 출력 연산을 적용하여, 상기 예측 관계 선형 세그먼트 정보를 생성하도록 하는 것을 특징으로 한다.

일 실시예에서, 상기 학습 장치가, 상기 제2 출력 레이어로 하여금, 상기 제2 특징 맵에 적어도 하나의 FC(Fully connected) 네트워크 연산인 상기 제2 출력 연산을 적용하여, 상기 결정 지점 중 적어도 일부의 하나 이상의 제i 페어(pair) - i는 1 이상 4 이하의 정수임 - 에 대한 제i 예측 관계 선형 세그먼트 정보를 제i 채널 내에 포함하는 적어도 하나의 예측 관계 선형 세그먼트 이미지를 생성하도록 하는 것을 특징으로 한다.

일 실시예에서, 상기 제i 페어는 상기 주차 가능 공간의 특정 선형 세그먼트에 포함된 꼭짓점 페어 중에서 선택되고, 상기 특정 선형 세그먼트는 자율적으로 주차될 대상 차량과 관련한 적어도 하나의 제i 위치 특성을 가지는 것을 특징으로 한다.

일 실시예에서, 상기 (a) 단계 이전에, (a1) 상기 학습 장치와 연동하는 적어도 하나의 라벨러(labeler)가, (i) 상기 주차 상황 이미지에 포함된 각각의 상기 결정 지점을 중심으로 하는 각각의 가우시안(Gaussian) 확률 분포를 생성함으로써 상기 GT 확률 분포를 생성하는 프로세스 및 (ii) 상기 결정 지점 중 적어도 일부의 페어 중 적어도 일부에 대응하는 선형 세그먼트에 대한 정보를 이용하여 상기 GT 관계 선형 세그먼트 정보를 생성하는 프로세스를 수행하는 단계;를 더 포함하는 것을 특징으로 한다.

본 발명의 다른 태양에 따르면, 하나 이상의 테스트용 주차 가능 공간의 하나 이상의 테스트용 결정 지점에 대한 하나 이상의 테스트용 확률 분포와, 상기 테스트용 결정 지점 간의 관계에 대한 관계 선형 세그먼트 정보(Relational Linear Segment Information)를 이용하여 상기 테스트용 주차 가능 공간을 검출하는 테스팅 방법에 있어서, (a) (1) 학습 장치가, 적어도 하나의 학습용 카메라를 통해, 하나 이상의 학습용 주차 가능 공간에 대한 정보를 포함하는 적어도 하나의 학습용 주차 상황 이미지를 획득하면, (i) 제1 CNN(Convolutional Neural Network)으로 하여금, 상기 학습용 주차 상황 이미지에 적어도 하나의 제1 CNN 리그레션(Regression) 연산을 적용하여, 학습용 결정 지점 각각에 관한 하나 이상의 학습용 예측 확률 분포 각각을 계산하도록 하는 프로세스, 및 (ii) 제2 CNN으로 하여금, 상기 학습용 주차 상황 이미지에 적어도 하나의 제2 CNN 리그레션 연산을 적용하여, 상기 학습용 결정 지점 중 적어도 일부 간 관계에 관한 학습용 예측 관계 선형 세그먼트 정보를 생성하도록 하는 프로세스를 수행하고, (2) 상기 학습 장치가, 로스 레이어로 하여금, (i) 상기 학습용 예측 확률 분포 및 이에 대응하는 GT(Ground-Truth) 확률 분포를 참조로 하여 제1 로스를 생성한 후, 상기 제1 로스를 사용하여 백프로퍼게이션을 수행함으로써 상기 제1 CNN의 파라미터 중 적어도 일부를 학습하는 프로세스 및 (ii) 상기 학습용 예측 관계 선형 세그먼트 정보 및 이에 대응하는 GT 관계 선형 세그먼트 정보를 참조로 하여 제2 로스를 생성한 후, 상기 제2 로스를 사용하여 백프로퍼게이션을 수행함으로써 상기 제2 CNN의 파라미터 중 적어도 일부를 학습하는 프로세스를 수행한 상태에서, 테스팅 장치가, (i) 상기 제1 CNN으로 하여금, 테스트용 주차 상황 이미지에 상기 제1 CNN 리그레션 연산을 적용하여, 상기 테스트용 결정 지점 각각에 관한 하나 이상의 테스트용 예측 확률 분포 각각을 계산하도록 하는 프로세스, 및 (ii) 상기 제2 CNN으로 하여금, 상기 테스트용 주차 상황 이미지에 상기 제2 CNN 리그레션 연산을 적용하여, 상기 테스트용 결정 지점 중 적어도 일부 간 관계에 관한 테스트용 예측 관계 선형 세그먼트 정보를 생성하도록 하는 프로세스를 수행하는 단계; (b) 상기 테스팅 장치가 (i) 제1 선택 레이어로 하여금, 상기 테스트용 예측 확률 분포를 참조로 하여, 상기 테스트용 결정 지점 중 적어도 일부에 대한 테스트용 예측 결정 지점 위치 정보를 생성하도록 하는 프로세스, 및 (ii) 제2 선택 레이어로 하여금, 상기 테스트용 예측 관계 선형 세그먼트 정보를 참조로 하여, 상기 테스트용 결정 지점 중 적어도 일부의 테스트용 페어 중 적어도 일부에 대한 테스트용 예측 선형 세그먼트 위치 정보를 생성하도록 하는 프로세스를 수행하는 단계; 및 (c) 상기 테스팅 장치가, 페어링(pairing) 레이어로 하여금, 상기 테스트용 예측 결정 지점 위치 정보 및 상기 테스트용 예측 선형 세그먼트 위치 정보를 참조로 하여, 상기 테스트용 주차 가능 공간을 검출하도록 하는 단계;를 포함하는 것을 특징으로 하는 방법이 개시된다.

일 실시예에서, 상기 (b) 단계에서, 상기 테스팅 장치가, 상기 제1 선택 레이어로 하여금, 상기 테스트용 결정 지점 중 하나에 포함될 확률이 주변 픽셀보다 큰 로컬 최대치 픽셀 중, 임계치보다 큰 상기 확률을 가지는 각각의 특정 로컬 최대치 픽셀을 선택하도록 함으로써, 상기 테스트용 예측 결정 지점 위치 정보를 생성하도록 하는 것을 특징으로 한다.

일 실시예에서, 상기 (b) 단계에서, 상기 테스팅 장치가, 상기 제2 선택 레이어로 하여금, 상기 테스트용 관계 선형 세그먼트 정보를 참조로 하여, 상기 테스트용 페어 중, 테스트용 예측 관계 점수가 임계치 이상인 하나 이상의 테스트용 특정 페어를 선택함으로써, 상기 테스트용 예측 선형 세그먼트 위치 정보를 생성하도록 하는 것을 특징으로 한다.

일 실시예에서, 상기 (c) 단계에서, 상기 테스팅 장치가, 상기 페어링 레이어로 하여금, (i) 상기 테스트용 예측 결정 지점 위치 정보를 참조로 하여, 상기 테스트용 결정 지점의 상기 테스트용 페어 중 적어도 일부에 대응하는 하나 이상의 선형 세그먼트를 가상으로 생성하고, (ii) 상기 선형 세그먼트 중, 상기 테스트용 예측 선형 세그먼트 위치 정보와 관련한 테스트용 관계 정보가 특정 상태에 있는 특정 선형 세그먼트를 선택하며, (iii) 상기 특정 선형 세그먼트에 대응하는 하나 이상의 사각형 공간을 상기 테스트용 주차 가능 공간으로 결정하도록 하는 것을 특징으로 한다.

일 실시예에서, 상기 (a) 단계 이전에, (a0) 상기 테스팅 장치가, 최적화 CNN으로 하여금,

의 사이즈를 가지는 상기 테스트용 주차 상황 이미지에 적어도 하나의 최적화 CNN 연산을 적용하여,

의 사이즈를 가지는 적어도 하나의 테스트용 조정된 주차 상황 이미지를 생성하도록 하는 단계;를 더 포함하되,

및

는 각각

및

보다 작고,

는

보다 큰 것을 특징으로 하고, 상기 (a) 단계에서, 상기 테스팅 장치가, (i) 상기 제1 CNN으로 하여금, 상기 테스트용 조정된 주차 상황 이미지에 상기 제1 CNN 리그레션 연산을 적용하여 상기 테스트용 예측 확률 분포를 계산하도록 하는 프로세스 및 (ii) 상기 제2 CNN으로 하여금, 상기 테스트용 조정된 주차 상황 이미지에 상기 제2 CNN 리그레션 연산을 적용하여 상기 테스트용 예측 관계 선형 세그먼트 정보를 생성하도록 하는 프로세스를 수행하는 것을 특징으로 한다.

일 실시예에서, (d) 상기 테스팅 장치가, 상기 테스트용 주차 가능 공간에 관한 정보를 자율 주차 모듈에 전송함으로써, 테스트용 대상 차량이 자율적으로 주차될 수 있도록 지원하는 단계;를 더 포함하는 것을 특징으로 한다.

본 발명의 다른 태양에 따르면, 하나 이상의 주차 가능 공간의 하나 이상의 결정 지점에 대한 하나 이상의 확률 분포와, 상기 결정 지점 간의 관계에 대한 관계 선형 세그먼트 정보(Relational Linear Segment Information)를 이용하여 상기 주차 가능 공간을 검출하는 학습 장치에 있어서, 인스트럭션들을 저장하는 적어도 하나의 메모리; 및 (I) 적어도 하나의 카메라를 통해, 상기 주차 가능 공간에 대한 정보를 포함하는 적어도 하나의 주차 상황 이미지를 획득하면, (i) 제1 CNN(Convolutional Neural Network)으로 하여금, 상기 주차 상황 이미지에 적어도 하나의 제1 CNN 리그레션(Regression) 연산을 적용하여, 상기 결정 지점 각각에 관한 하나 이상의 예측 확률 분포 각각을 계산하도록 하고, (ii) 제2 CNN으로 하여금, 상기 주차 상황 이미지에 적어도 하나의 제2 CNN 리그레션 연산을 적용하여, 상기 결정 지점 중 적어도 일부 간 관계에 관한 예측 관계 선형 세그먼트 정보를 생성하도록 하는 프로세스, 및 (II) 로스 레이어로 하여금, (i) 상기 예측 확률 분포 및 이에 대응하는 GT(Ground-Truth) 확률 분포를 참조로 하여 제1 로스를 생성한 후, 상기 제1 로스를 사용하여 백프로퍼게이션을 수행함으로써 상기 제1 CNN의 파라미터 중 적어도 일부를 학습하도록 하고, (ii) 상기 예측 관계 선형 세그먼트 정보 및 이에 대응하는 GT 관계 선형 세그먼트 정보를 참조로 하여 제2 로스를 생성한 후, 상기 제2 로스를 사용하여 백프로퍼게이션을 수행함으로써 상기 제2 CNN의 파라미터 중 적어도 일부를 학습하도록 하는 프로세스를 수행하기 위한 상기 인스트럭션들을 실행하도록 구성된 적어도 하나의 프로세서;를 포함하는 것을 특징으로 하는 학습 장치가 개시된다.

일 실시예에서, 상기 (I) 프로세스 이전에, 상기 프로세서가, (I-0) 최적화 CNN으로 하여금,

의 사이즈를 가지는 적어도 하나의 조정된 주차 상황 이미지를 생성하도록 하는 프로세스를 더 수행하되,

및

는 각각

및

보다 작고,

는

보다 큰 것을 특징으로 하고, 상기 (I) 프로세스에서, 상기 프로세서가, (i) 상기 제1 CNN으로 하여금, 상기 조정된 주차 상황 이미지에 상기 제1 CNN 리그레션 연산을 적용하여 상기 예측 확률 분포를 계산하도록 하는 프로세스 및 (ii) 상기 제2 CNN으로 하여금, 상기 조정된 주차 상황 이미지에 상기 제2 CNN 리그레션 연산을 적용하여 상기 예측 관계 선형 세그먼트 정보를 생성하도록 하는 프로세스를 수행하는 것을 특징으로 한다.

일 실시예에서, 상기 (I) 프로세스에서, 상기 프로세서가, 상기 주차 상황 이미지에 상기 제1 CNN 리그레션 연산을 적용하기 위해, (i) 상기 제1 CNN의 적어도 하나의 제1 컨벌루션 레이어에 포함된 하나 이상의 제1 컨벌루션 뉴런 각각으로 하여금, 이의 파라미터를 이용해 적어도 하나의 제1 컨벌루션 연산을 입력된 값에 적용한 후, 출력된 값을 다음 제1 컨벌루션 뉴런에 전달하는 프로세스를 반복하도록 함으로써 제1 특징 맵을 생성하도록 한 후, (ii) 상기 제1 CNN의 적어도 하나의 제1 출력 레이어로 하여금, 상기 제1 특징 맵에 적어도 하나의 제1 출력 연산을 적용하여, 상기 예측 확률 분포를 생성하도록 하는 것을 특징으로 한다.

일 실시예에서, 상기 프로세서가, 상기 제1 출력 레이어로 하여금, 상기 제1 특징 맵에 적어도 하나의 FC(Fully connected) 네트워크 연산인 상기 제1 출력 연산을 적용하여, 하나 이상의 제i 결정 지점 - i는 1 이상 4 이하의 정수임 - 에 대한 하나 이상의 제i 예측 확률 분포를 제i 채널 내에 포함하는 적어도 하나의 예측 결정 지점 이미지를 생성하도록 함으로써, 상기 예측 확률 분포를 생성하도록 하는 것을 특징으로 한다.

일 실시예에서, 상기 (I) 프로세스에서, 상기 프로세서가, 상기 주차 상황 이미지에 상기 제2 CNN 리그레션 연산을 적용하기 위해, (i) 상기 제2 CNN의 적어도 하나의 제2 컨벌루션 레이어에 포함된 하나 이상의 제2 컨벌루션 뉴런 각각으로 하여금, 이의 파라미터를 이용해 적어도 하나의 제2 컨벌루션 연산을 입력된 값에 적용한 후, 출력된 값을 다음 제2 컨벌루션 뉴런에 전달하는 프로세스를 반복하도록 함으로써 제2 특징 맵을 생성하도록 한 후, (ii) 상기 제2 CNN의 적어도 하나의 제2 출력 레이어로 하여금, 상기 제2 특징 맵에 적어도 하나의 제2 출력 연산을 적용하여, 상기 예측 관계 선형 세그먼트 정보를 생성하도록 하는 것을 특징으로 한다.

일 실시예에서, 상기 프로세서가, 상기 제2 출력 레이어로 하여금, 상기 제2 특징 맵에 적어도 하나의 FC(Fully connected) 네트워크 연산인 상기 제2 출력 연산을 적용하여, 상기 결정 지점 중 적어도 일부의 하나 이상의 제i 페어 - i는 1 이상 4 이하의 정수임 - 에 대한 제i 예측 관계 선형 세그먼트 정보를 제i 채널 내에 포함하는 적어도 하나의 예측 관계 선형 세그먼트 이미지를 생성하도록 하는 것을 특징으로 한다.

일 실시예에서, 상기 (I) 프로세스 이전에, (I-1) 상기 학습 장치와 연동하는 적어도 하나의 라벨러(labeler)가, (i) 상기 주차 상황 이미지에 포함된 각각의 상기 결정 지점을 중심으로 하는 각각의 가우시안(Gaussian) 확률 분포를 생성함으로써 상기 GT 확률 분포를 생성하고 (ii) 상기 결정 지점 중 적어도 일부의 페어 중 적어도 일부에 대응하는 선형 세그먼트에 대한 정보를 이용하여 상기 GT 관계 선형 세그먼트 정보를 생성하는 프로세스;를 더 수행하는 것을 특징으로 한다.

본 발명의 다른 태양에 따르면, 하나 이상의 테스트용 주차 가능 공간의 하나 이상의 테스트용 결정 지점에 대한 하나 이상의 테스트용 확률 분포와, 상기 테스트용 결정 지점 간의 관계에 대한 관계 선형 세그먼트 정보(Relational Linear Segment Information)를 이용하여 상기 테스트용 주차 가능 공간을 검출하는 테스팅 장치에 있어서, 인스트럭션들을 저장하는 적어도 하나의 메모리; 및 (I) (1) 학습 장치가, 적어도 하나의 학습용 카메라를 통해, 하나 이상의 학습용 주차 가능 공간에 대한 정보를 포함하는 적어도 하나의 학습용 주차 상황 이미지를 획득하면, (i) 제1 CNN(Convolutional Neural Network)으로 하여금, 상기 학습용 주차 상황 이미지에 적어도 하나의 제1 CNN 리그레션(Regression) 연산을 적용하여, 학습용 결정 지점 각각에 관한 하나 이상의 학습용 예측 확률 분포 각각을 계산하도록 하는 프로세스, 및 (ii) 제2 CNN으로 하여금, 상기 학습용 주차 상황 이미지에 적어도 하나의 제2 CNN 리그레션 연산을 적용하여, 상기 학습용 결정 지점 중 적어도 일부 간 관계에 관한 학습용 예측 관계 선형 세그먼트 정보를 생성하도록 하는 프로세스를 수행하고, (2) 상기 학습 장치가, 로스 레이어로 하여금, (i) 상기 학습용 예측 확률 분포 및 이에 대응하는 GT(Ground-Truth) 확률 분포를 참조로 하여 제1 로스를 생성한 후, 상기 제1 로스를 사용하여 백프로퍼게이션을 수행함으로써 상기 제1 CNN의 파라미터 중 적어도 일부를 학습하는 프로세스 및 (ii) 상기 학습용 예측 관계 선형 세그먼트 정보 및 이에 대응하는 GT 관계 선형 세그먼트 정보를 참조로 하여 제2 로스를 생성한 후, 상기 제2 로스를 사용하여 백프로퍼게이션을 수행함으로써 상기 제2 CNN의 파라미터 중 적어도 일부를 학습하는 프로세스를 수행한 상태에서, (i) 상기 제1 CNN으로 하여금, 테스트용 주차 상황 이미지에 상기 제1 CNN 리그레션 연산을 적용하여, 상기 테스트용 결정 지점 각각에 관한 하나 이상의 테스트용 예측 확률 분포 각각을 계산하도록 하고, 및 (ii) 상기 제2 CNN으로 하여금, 상기 테스트용 주차 상황 이미지에 상기 제2 CNN 리그레션 연산을 적용하여, 상기 테스트용 결정 지점 중 적어도 일부 간 관계에 관한 테스트용 예측 관계 선형 세그먼트 정보를 생성하도록 하는 프로세스, (II) (i) 제1 선택 레이어로 하여금, 상기 테스트용 예측 확률 분포를 참조로 하여, 상기 테스트용 결정 지점 중 적어도 일부에 대한 테스트용 예측 결정 지점 위치 정보를 생성하도록 하고, 및 (ii) 제2 선택 레이어로 하여금, 상기 테스트용 예측 관계 선형 세그먼트 정보를 참조로 하여, 상기 테스트용 결정 지점 중 적어도 일부의 테스트용 페어 중 적어도 일부에 대한 테스트용 예측 선형 세그먼트 위치 정보를 생성하도록 하는 프로세스, 및 (III) 페어링 레이어로 하여금, 상기 테스트용 예측 결정 지점 위치 정보 및 상기 테스트용 예측 선형 세그먼트 위치 정보를 참조로 하여, 상기 테스트용 주차 가능 공간을 검출하도록 하는 프로세스를 수행하기 위한 상기 인스트럭션들을 실행하도록 구성된 적어도 하나의 프로세서;를 포함하는 것을 특징으로 하는 학습 장치가 개시된다.

일 실시예에서, 상기 (II) 프로세스에서, 상기 프로세서가, 상기 제1 선택 레이어로 하여금, 상기 테스트용 결정 지점 중 하나에 포함될 확률이 주변 픽셀보다 큰 로컬 최대치 픽셀 중, 임계치보다 큰 상기 확률을 가지는 각각의 특정 로컬 최대치 픽셀을 선택하도록 함으로써, 상기 테스트용 예측 결정 지점 위치 정보를 생성하도록 하는 것을 특징으로 한다.

일 실시예에서, 상기 (II) 프로세스에서, 상기 프로세서가, 상기 제2 선택 레이어로 하여금, 상기 테스트용 관계 선형 세그먼트 정보를 참조로 하여, 상기 테스트용 페어 중, 테스트용 예측 관계 점수가 임계치 이상인 하나 이상의 테스트용 특정 페어를 선택함으로써, 상기 테스트용 예측 선형 세그먼트 위치 정보를 생성하도록 하는 것을 특징으로 한다.

일 실시예에서, 상기 (III) 프로세스에서, 상기 프로세서가, 상기 페어링 레이어로 하여금, (i) 상기 테스트용 예측 결정 지점 위치 정보를 참조로 하여, 상기 테스트용 결정 지점의 상기 테스트용 페어 중 적어도 일부에 대응하는 하나 이상의 선형 세그먼트를 가상으로 생성하고, (ii) 상기 선형 세그먼트 중, 상기 테스트용 예측 선형 세그먼트 위치 정보와 관련한 테스트용 관계 정보가 특정 상태에 있는 특정 선형 세그먼트를 선택하며, (iii) 상기 특정 선형 세그먼트에 대응하는 하나 이상의 사각형 공간을 상기 테스트용 주차 가능 공간으로 결정하도록 하는 것을 특징으로 한다.

의 사이즈를 가지는 적어도 하나의 테스트용 조정된 주차 상황 이미지를 생성하도록 하는 프로세스;를 더 수행하되,

및

는 각각

및

보다 작고,

는

보다 큰 것을 특징으로 하고, 상기 (I) 프로세스에서, 상기 프로세서가, (i) 상기 제1 CNN으로 하여금, 상기 테스트용 조정된 주차 상황 이미지에 상기 제1 CNN 리그레션 연산을 적용하여 상기 테스트용 예측 확률 분포를 계산하도록 하는 프로세스 및 (ii) 상기 제2 CNN으로 하여금, 상기 테스트용 조정된 주차 상황 이미지에 상기 제2 CNN 리그레션 연산을 적용하여 상기 테스트용 예측 관계 선형 세그먼트 정보를 생성하도록 하는 프로세스를 수행하는 것을 특징으로 한다.

일 실시예에서, 상기 프로세서가, (IV) 상기 테스트용 주차 가능 공간에 관한 정보를 자율 주차 모듈에 전송함으로써, 테스트용 대상 차량이 자율적으로 주차될 수 있도록 지원하는 프로세스;를 더 수행하는 것을 특징으로 한다.

이 외에도, 본 발명의 방법을 실행하기 위한 컴퓨터 프로그램을 기록하기 위한 컴퓨터 판독 가능한 기록 매체가 더 제공된다.

본 발명은 결정 지점 간의 관계 정보 및 결정 지점에 대한 리그레션(regression) 결과를 이용해 주차 공간을 검출하는 방법을 제공함으로써 운전자가 쉽고 간편하게 주차할 수 있도록 하는 자동 주차 시스템을 제공할 수 있는 효과가 있다.

또한, 본 발명은 결정 지점 리그레션을 수행할 수 있는 CNN(Convolutional Neural Network)을 구축하는 방법을 제공할 수 있는 효과가 있다.

또한, 본 발명은 결정 지점 간의 관계 정보를 검출할 수 있는 CNN을 구축하는 방법을 제공할 수 있는 효과가 있다.

또한, 본 발명은 상기 결정 지점 간의 관계 정보와 상기 결정 지점에 대한 리그레션 결과를 통합하는 방법을 제공할 수 있는 효과가 있다.

본 발명의 실시예의 설명에 이용되기 위하여 첨부된 아래 도면들은 본 발명의 실시예들 중 단지 일부일 뿐이며, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자(이하 "통상의 기술자")에게 있어서는 발명적 작업이 이루어짐 없이 이 도면들에 기초하여 다른 도면들이 얻어질 수 있다.
도 1은 본 발명의 일 실시예에 따라 결정 지점 간의 관계 정보 및 결정 지점에 대한 리그레션(regression) 결과를 이용해 주차 공간을 검출함으로써 자동 주차 시스템을 제공하는 학습 방법을 수행하는 학습 장치의 구성을 개략적으로 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따라 상기 결정 지점 간의 관계 정보 및 상기 결정 지점에 대한 리그레션 결과를 이용해 상기 주차 공간을 검출함으로써 상기 자동 주차 시스템을 제공하는 상기 학습 방법을 개략적으로 나타낸 흐름도이다.
도 3은 본 발명의 일 실시예에 따라 상기 결정 지점 간의 관계 정보 및 상기 결정 지점에 대한 리그레션 결과를 이용해 상기 주차 공간을 검출함으로써 상기 자동 주차 시스템을 제공하는 상기 학습 방법을 수행하기 위해 이용될, 각각의 예측 확률 분포, 각각의 예측 관계 선형 세그먼트 정보 및 이에 대응하는 주차 상황 이미지를 개략적으로 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따라 본 발명의 일 실시예에 따라 상기 결정 지점 간의 관계 정보 및 상기 결정 지점에 대한 리그레션 결과를 이용해 상기 주차 공간을 검출함으로써 상기 자동 주차 시스템을 제공하는 테스팅 방법을 수행하기 위해 사용되는 페어링(pairing) 레이어의 동작 원리를 개략적으로 나타낸 도면이다.

후술하는 본 발명에 대한 상세한 설명은, 본 발명의 목적들, 기술적 해법들 및 장점들을 분명하게 하기 위하여 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 통상의 기술자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다.

또한, 본 발명의 상세한 설명 및 청구항들에 걸쳐, "포함하다"라는 단어 및 그것의 변형은 다른 기술적 특징들, 부가물들, 구성요소들 또는 단계들을 제외하는 것으로 의도된 것이 아니다. 통상의 기술자에게 본 발명의 다른 목적들, 장점들 및 특성들이 일부는 본 설명서로부터, 그리고 일부는 본 발명의 실시로부터 드러날 것이다. 아래의 예시 및 도면은 실례로서 제공되며, 본 발명을 한정하는 것으로 의도된 것이 아니다.

더욱이 본 발명은 본 명세서에 표시된 실시예들의 모든 가능한 조합들을 망라한다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.

본 발명에서 언급하는 각종 이미지는 포장 또는 비포장 도로 관련 이미지를 포함할 수 있으며, 이 경우 도로 환경에서 등장할 수 있는 물체(가령, 자동차, 사람, 동물, 식물, 물건, 건물, 비행기나 드론과 같은 비행체, 기타 장애물)를 상정할 수 있을 것이나, 반드시 이에 한정되는 것은 아니며, 본 발명에서 언급하는 각종 이미지는 도로와 상관 없는 이미지(가령, 비포장도로, 골목길, 공터, 바다, 호수, 강, 산, 숲, 사막, 하늘, 실내와 관련된 이미지)일 수도 있으며, 이 경우, 비포장도로, 골목길, 공터, 바다, 호수, 강, 산, 숲, 사막, 하늘, 실내 환경에서 등장할 수 있는 물체(가령, 자동차, 사람, 동물, 식물, 물건, 건물, 비행기나 드론과 같은 비행체, 기타 장애물)를 상정할 수 있을 것이나, 반드시 이에 한정되는 것은 아니다.

이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 바람직한 실시예들에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.

도 1은 본 발명의 일 실시예에 따라 결정 지점 간의 관계 정보 및 결정 지점에 대한 리그레션(regression) 결과를 이용해 주차 공간을 검출함으로써 자동 주차 시스템을 제공하는 학습 방법을 수행하는 학습 장치의 구성을 개략적으로 나타낸 도면이다.

도 1을 참조하면, 상기 학습 장치(100)는, 추후 자세히 설명할, 최적화 CNN(Convolutional Neural Network)(130), 제1 CNN(140), 제2 CNN(150) 및 로스 레이어(160)를 포함할 수 있다. 상기 최적화 CNN(130), 상기 제1 CNN(140), 상기 제2 CNN(150) 및 상기 로스 레이어(160)의 입출력 및 연산 과정은 각각 적어도 하나의 통신부(110) 및 적어도 하나의 프로세서(120)에 의해 수행될 수 있다. 다만, 도 1에서는 상기 통신부(110) 및 상기 프로세서(120)의 구체적인 연결 관계를 생략하였다. 이 때, 메모리(115)는 후술할 여러 가지 인스트럭션들을 저장한 상태일 수 있고, 상기 프로세서(120)는 상기 메모리(115)에 저장된 상기 인스트럭션들을 수행하도록 설정될 수 있으며, 상기 프로세서(120)는 추후 설명할 상기 인스트럭션들을 수행함으로써 본 발명의 프로세스를 수행할 수 있다. 이와 같이 상기 학습 장치(100)가 묘사되었다고 하여, 프로세서, 메모리, 매체, 또는 다른 컴퓨팅 요소가 통합된 형태인 통합 프로세서를 포함하는 경우를 배제하는 것은 아니다.

이상 본 발명의 일 실시예에 따라 상기 결정 지점 간의 관계 정보 및 상기 결정 지점에 대한 리그레션(regression) 결과를 이용해 상기 주차 공간을 검출함으로써 상기 자동 주차 시스템을 제공하는 상기 학습 방법을 수행하는 상기 학습 장치(100)의 구성에 대해 설명한 바, 상기 학습 장치(100)에 의해 수행되는 상기 학습 방법에 대해 도 2를 참조로 하여 설명하도록 한다.

도 2는 본 발명의 일 실시예에 따라 상기 결정 지점 간의 관계 정보 및 상기 결정 지점에 대한 리그레션 결과를 이용해 상기 주차 공간을 검출함으로써 상기 자동 주차 시스템을 제공하는 상기 학습 방법을 개략적으로 나타낸 흐름도이다.

도 2를 참조하면, 상기 학습 장치(100)는, 적어도 하나의 주차 상황 이미지를 획득하면, 상기 최적화 CNN(130)으로 하여금, 상기 주차 상황 이미지에 적어도 하나의 최적화 CNN 연산을 적용하여 적어도 하나의 조정된 주차 상황 이미지를 생성 하도록 할 수 있다(S01). 추후 설명하겠지만, 이러한 과정이 필수적인 것은 아니다. 이후, 상기 학습 장치(100)는, 상기 제1 CNN(140)으로 하여금, 상기 조정된 주차 상황 이미지에 적어도 하나의 제1 CNN 리그레션 연산을 적용하여, 추후 설명할 결정 지점(decision points)에 관한 하나 이상의 예측 확률 분포 각각을 계산하도록 할 수 있다(S02-1). 또한, 이와 병렬적으로, 상기 학습 장치(100)는, 상기 제2 CNN(150)으로 하여금, 상기 조정된 주차 상황 이미지에 적어도 하나의 제2 CNN 리그레션 연산을 적용하여, 추후 설명할 상기 결정 지점 간의 관계에 관한 예측 관계 선형 세그먼트 정보를 생성하도록 할 수 있다(S02-2). 그리고 상기 학습 장치(100)는, 상기 로스 레이어(160)로 하여금, 상기 예측 확률 분포 및 이에 대응하는 GT(Ground-Truth) 확률 분포를 참조로 하여 제1 로스를 생성한 후, 상기 제1 로스를 이용하여 백프로퍼게이션(backpropagation)을 수행함으로써 상기 제1 CNN(140)의 파라미터 중 적어도 일부를 학습하도록 할 수 있다(S03-1). 이와 병렬적으로, 상기 학습 장치(100)는, 상기 로스 레이어(160)로 하여금, 상기 예측 관계 선형 세그먼트 정보 및 이에 대응하는 GT 관계 선형 세그먼트 정보를 참조로 하여 제2 로스를 생성한 후, 상기 제2 로스를 이용하여 백프로퍼게이션을 수행함으로써 상기 제2 CNN(150)의 파라미터 중 적어도 일부를 학습하도록 할 수 있다(S03-2).

상기 대략적으로 설명한, 본 발명의 상기 학습 방법에 대해 이하 더욱 구체적으로 설명하도록 한다.

먼저, 상기 학습 장치(100)는, 적어도 하나의 카메라를 통해, 하나 이상의 주차 가능 공간에 대한 정보를 포함하는 상기 주차 상황 이미지를 획득할 수 있다. 이때, 일 예로, 상기 카메라는, 상기 학습 장치(100)와 연동하는 대상 차량에 탑재된, 전면 카메라, 측면 카메라 또는 후방 카메라 중 적어도 하나일 수 있다. 다른 예로, 상기 학습 장치(100)와 연동하는, 주차장 내 감시 카메라 중 하나일 수 있다. 이 경우, 상기 학습 장치(100)가 상기 대상 차량에 탑재되었다면, 상기 학습 장치(100)는 V2X 통신을 통해 상기 주차 상황 이미지를 획득할 수 있다.

이후, 상기 학습 장치(100)는 상기 주차 상황 이미지를 상기 제1 CNN(140) 및 상기 제2 CNN(150)에 직접 입력하거나, 상기 최적화 CNN(130)을 이용하여 상기 주차 상황 이미지를 조정한 후 이를 상기 제1 CNN(140) 및 상기 제2 CNN(150)에 입력할 수 있다. 이하 상기 최적화 CNN(130)의 연산 과정에 대해 설명하도록 한다.

즉, 상기 학습 장치(100)는, 상기 최적화 CNN(130)으로 하여금,

의 사이즈를 가지는 상기 주차 상황 이미지에 상기 최적화 CNN 연산을 적용하여

의 사이즈를 가지는 적어도 하나의 조정된 주차 상황 이미지를 생성하도록 할 수 있다. 이때,

및

는 각각

및

보다 작고,

는

보다 클 수 있다. 쉽게 말하면, 상기 최적화 CNN(130)은 상기 주차 상황 이미지에 대응하는 특징 맵, 즉 상기 조정된 주차 상황 이미지를 생성한 후, 이를 상기 제1 CNN(140) 및 상기 제2 CNN(150)에 입력할 수 있다. 상기 최적화 CNN(130)은, 특징 맵을 생성할 수 있는 종래의 방식, 예를 들어 VGG16, VGG19. SVNet(Single-view Network), 또는 ResNet(Residual Network) 등을 사용하여 구성될 수 있다. 또한, 이러한 최적화 CNN(130)은 사전 학습된 상태일 수 있다. 상기 최적화 CNN(130)을 통해 상기 주차 상황 이미지를 처리함으로써, 보다 충분한 정보 및 보다 작은 사이즈를 갖는 상기 조정된 주차 상황 이미지가 상기 제1 CNN(140) 및 상기 제2 CNN(150)에 입력될 수 있다.

이후, 상기 제1 CNN(140) 및 상기 제2 CNN(150) 각각은, 상기 주차 상황 이미지 또는 이에 대응하는 조정된 주차 상황 이미지에 각각 상기 제1 CNN 리그레션 연산과 상기 제2 CNN 리그레션 연산을 적용할 수 있다. 상기 제1 CNN 리그레션 연산 및 상기 제2 CNN 리그레션 연산에 대해 이하 설명하도록 한다.

먼저, 상기 학습 장치(100)는, 상기 주차 상황 이미지에 상기 제1 CNN 리그레션 연산을 적용하기 위해, 상기 제1 CNN(140)의 적어도 하나의 제1 컨벌루션 레이어에 포함된 하나 이상의 제1 컨벌루션 뉴런 각각으로 하여금, 이의 파라미터를 이용한 적어도 하나의 제1 컨벌루션 연산을 입력된 값에 적용한 후, 출력된 값을 다음 제1 컨벌루션 뉴런에 전달하는 프로세스를 반복하도록 함으로써 제1 특징 맵을 생성하도록 할 수 있다. 이와 같은 과정은 딥러닝 분야에 널리 사용되는 피드포워드(Feedforward) 네트워크의 동작 과정과 유사하므로 통상의 기술자가 용이하게 이해할 수 있을 것이다. 이후, 상기 학습 장치(100)는, 상기 제1 CNN(140)의 적어도 하나의 제1 출력 레이어로 하여금, 상기 제1 특징 맵에 적어도 하나의 제1 출력 연산을 적용하도록 하여, 상기 예측 확률 분포를 생성하도록 할 수 있다.

일 예로, 상기 제1 출력 레이어는 FC(Fully-Connected) 네트워크로 구성될 수 있으며, 이 경우 상기 제1 출력 연산은 FC 네트워크 연산의 일종일 수 있다. 여기서, 상기 제1 출력 레이어가 상기 예측 확률 분포를 생성할 때, 하나 이상의 제i 결정 지점에 대한 하나 이상의 제i 예측 확률 분포를 제i 채널 내에 포함하는 적어도 하나의 예측 결정 지점 이미지를 생성할 수 있다.

구체적으로 설명하면, 상기 주차 가능 공간이 사각형이라는 가정 하에 상기 결정 지점은, 상기 주차 가능 공간의 꼭짓점일 수 있으며, 제1 결정 지점 군, 제2 결정 지점 군, 제3 결정 지점 군, 및 제4 결정 지점 군으로 분류될 수 있다. 이때, 상기 제i 결정 지점은, 상기 대상 차량과 관계되는 위치 특성이 제i 위치 특성인 꼭짓점을 의미할 수 있다. 일 예로, 제1 위치 특성은, 상기 대상 차량으로부터 가장 가까운 각 선형 세그먼트(lineal segment)의 각 좌측 꼭짓점에서의 관계 위치(즉, 상대적 위치)를 나타낼 수 있고, 제2 위치 특성은, 상기 대상 차량으로부터 가장 가까운 각 선형 세그먼트의 각 우측 꼭짓점에서의 관계 위치를 나타낼 수 있다. 제3 및 제4 위치 특성 역시 이와 유사하게 정의될 수 있을 것이다. 예를 들어, 상기 제3 위치 특성은, 상기 대상 차량으로부터 가장 먼 각 선형 세그먼트의 각 좌측 꼭짓점에서의 관계 위치를 나타낼 수 있고, 상기 제4 위치 특성은, 상기 대상 차량으로부터 가장 먼 각 선형 세그먼트의 각 우측 꼭짓점에서의 관계 위치를 나타낼 수 있다.

각각의 상기 결정 지점이 그의 카테고리 별로 검출되어야 하는 것은, 각각의 상기 결정 지점에 대한 각 정보가 각각의 카테고리에 대응하는 채널 각각에 저장되어, 상기 결정 지점을 검출하는데 있어 높은 성능을 도모하기 위함이다. 즉, 딥러닝 네트워크는 출력하고자 하는 정보의 특징이 타 정보와 비교했을 때 특징이 확연히 다르고, 그 특징이 서로 공통될수록 성능이 더 좋아진다. 따라서, 상기 결정 지점은 카테고리, 즉 상기 제1 결정 지점 군 내지 상기 제4 결정 지점 군에 따라 다른 특징이 있으므로 상기 결정 지점이 동일한 방식으로 검출된다면 성능이 떨어질 수 있다. 이에 따라 상기 결정 지점은 상기 카테고리 별로 다르게 취급되어야 한다.

이상 상기 제1 CNN 리그레션 연산에 대해 살펴 보았다. 이하 상기 제2 CNN 리그레션 연산에 대해 자세히 설명하도록 한다.

즉, 상기 학습 장치(100)는, 상기 주차 상황 이미지에 상기 제2 CNN 리그레션 연산을 적용하기 위해, 상기 제2 CNN(150)의 적어도 하나의 제2 컨벌루션 레이어에 포함된 하나 이상의 제2 컨벌루션 뉴런 각각으로 하여금, 이의 파라미터를 이용해 적어도 하나의 제2 컨벌루션 연산을 입력된 값에 적용한 후, 출력된 값을 다음 제2 컨벌루션 뉴런에 전달하는 프로세스를 반복하도록 함으로써 제2 특징 맵을 생성하도록 할 수 있다. 이후, 상기 학습 장치(100)는 상기 제2 CNN(150)의 적어도 하나의 제2 출력 레이어로 하여금, 상기 제2 특징 맵에 적어도 하나의 제2 출력 연산을 적용하여, 상기 예측 관계 선형 세그먼트 정보를 생성하도록 할 수 있다.

이때, 상기 예측 관계 선형 세그먼트 정보는, 상기 사각형 주차 가능 공간의 선형 세그먼트에 대한 정보를 포함하고, 상기 결정 지점의 각 페어(pair)에 속하는 두 개의 꼭짓점을 연결하는 선형 세그먼트가 각각 존재하는지 여부를 나타내는 각각의 예측 관계 점수를 포함할 수 있다. 이러한 예측 관계 선형 세그먼트 정보를 생성하기 위해, 상기 제2 출력 레이어는 상기 FC 네트워크와 유사하게 구성될 수 있고, 상기 제2 출력 연산은 상기 FC 네트워크 연산과 유사할 수 있다. 또한, 상기 예측 관계 선형 세그먼트 정보를 생성할 때, 상기 제2 출력 레이어는, 상기 결정 지점 중 적어도 일부의 하나 이상의 제i 페어에 대한 제i 예측 관계 선형 세그먼트 정보를 제i 채널 내에 포함하는 적어도 하나의 예측 관계 선형 세그먼트 이미지를 생성할 수 있다. 각각의 상기 예측 관계 선형 세그먼트 정보는, 상기 결정 지점이 분류된 것과 유사하게 제1, 제2, 제3, 및 제4 예측 관계 선형 세그먼트 정보로 분류될 수 있다. 즉, 상기 제i 예측 관계 선형 세그먼트 정보에 대응하는 상기 제i 페어는, 상기 대상 차량과 관련한 적어도 하나의 제i 위치 특성을 가지는 특정 선형 세그먼트에 대응할 수 있다. 예를 들어, 상기 제1 페어는 상기 대상 차량으로부터 가장 가까운 제1 선형 세그먼트에 대응할 수 있고, 상기 제2 페어는 상기 제1 선형 세그먼트의 반대편에 위치한 제2 선형 세그먼트에 대응할 수 있다. 이러한 분류 과정은 상기 결정 지점의 분류 과정과 유사하므로, 상세한 설명은 생략하도록 한다.

상기 예측 확률 분포 및 상기 예측 관계 선형 세그먼트 정보를 그림으로 예시를 들어 설명하고자 도 3을 참조하도록 한다.

도 3은 본 발명의 일 실시예에 따라 상기 결정 지점 간의 관계 정보 및 상기 결정 지점에 대한 리그레션 결과를 이용해 상기 주차 공간을 검출함으로써 상기 자동 주차 시스템을 제공하는 상기 학습 방법을 수행하기 위해 이용될, 각각의 예측 확률 분포, 각각의 예측 관계 선형 세그먼트 정보 및 이에 대응하는 주차 상황 이미지를 개략적으로 나타낸 도면이다.

도 3을 참조하면, 상기 주차 상황 이미지(200), 상기 예측 결정 지점 이미지의 각 채널(210, 220, 230 및 240), 그리고 상기 예측 관계 선형 세그먼트 이미지의 각 채널(250, 260, 270 및 280)을 확인할 수 있다. 상기 예측 결정 지점 이미지의 제1 채널(210)에서는, 상기 제1 결정 지점(211, 212 및 213)의 제1 예측 확률 분포를 볼 수 있다. 이들은 상기 대상 차량으로부터 가까운 선형 세그먼트의 좌측 꼭짓점에 위치한다. 또한, 상기 예측 관계 선형 세그먼트 이미지의 제1 채널(250)에서는, 상기 제1 페어에 대한 상기 제1 예측 관계 선형 세그먼트 정보(251, 252 및 253)를 확인할 수 있다. 이들은 상기 대상 차량으로부터 가장 가깝게 위치한다. 이때, 상기 예측 확률 분포는, 단순한 점으로 보일 수 있지만, 실제로는 동심원으로 그려져 가우시안(Gaussian) 분포의 모양을 나타내는 것이다.

상기 예측 확률 분포 및 상기 예측 관계 선형 세그먼트 정보가 생성되면, 이들과 이들에 각각 대응하는 GT 확률 분포 및 상기 GT 관계 선형 세그먼트 정보를 이용하여, 상기 제1 CNN(140) 및 상기 제2 CNN(150)의 파라미터 중 적어도 일부를 학습할 수 있다. 구체적으로는, 상기 학습 장치(100)가, 상기 로스 레이어(160)로 하여금, (i) 상기 예측 확률 분포 및 이에 대응하는 GT 확률 분포를 참조로 하여 상기 제1 로스를 생성한 후, 상기 제1 로스를 사용하여 백프로퍼게이션을 수행함으로써 상기 제1 CNN(140)의 파라미터 중 적어도 일부를 학습하는 프로세스 및 (ii) 상기 예측 관계 선형 세그먼트 정보 및 이에 대응하는 GT 관계 선형 세그먼트 정보를 참조로 하여 상기 제2 로스를 생성한 후, 상기 제2 로스를 사용하여 백프로퍼게이션을 수행함으로써 상기 제2 CNN(150)의 파라미터 중 적어도 일부를 학습하는 프로세스를 수행하도록 할 수 있다.

여기서, 상기 GT 확률 분포 및 상기 GT 관계 선형 세그먼트 정보가 획득되는 과정에 대해 설명하도록 한다. 즉, 상기 학습 장치(100)와 연동하는 적어도 하나의 라벨러(labeler)가, (i) 상기 주차 상황 이미지에 포함된 각각의 상기 결정 지점을 중심으로 하는 각각의 가우시안 확률 분포를 생성함으로써 상기 GT 확률 분포를 생성하는 프로세스 및 (ii) 상기 결정 지점 중 적어도 일부의 페어 중 적어도 일부에 대응하는 선형 세그먼트에 대한 정보를 이용하여 상기 GT 관계 선형 세그먼트 정보를 생성하는 프로세스를 수행할 수 있다. 구체적으로, 상기 라벨러는, 상기 결정 지점을 상기 제1 내지 상기 제4 결정 지점 군으로 분류할 수 있고, 상기 제1 내지 제4 결정 지점 각각에 대응하는 상기 GT 확률 분포 각각을 각 대응 채널에 설정함으로써 GT 결정 지점 이미지를 생성할 수 있다. 또한, 상기 라벨러는 상기 주차 상황 이미지에 포함된 각각의 상기 주차 가능 공간의 각 선형 세그먼트를 찾아, 상기 선형 세그먼트에 포함된 제1 특정 픽셀의 제1 GT 관계 점수를 1로, 상기 선형 세그먼트에 포함되지 않은 제2 특정 픽셀의 제2 GT 관계 점수는 0으로 설정하고, 이들을 GT 관계 선형 세그먼트 이미지의 대응 채널 각각에 포함시킬 수 있다. 이와 같은 과정은 컴퓨터에 의해 수행될 수도 있고, 또는 컴퓨터를 조력 장치로서 함께 사용하는 소정 관리자에 의해 수행될 수 있으나, 이에 한정될 것은 아니다.

이상의 과정을 통해 학습된 상기 학습 장치(100)가 테스트되는 과정은 이하에서 살필 것이다.

즉, (1) 상기 학습 장치(100)가, 적어도 하나의 학습용 카메라를 통해, 하나 이상의 학습용 주차 가능 공간에 대한 정보를 포함하는 적어도 하나의 학습용 주차 상황 이미지를 획득하면, (i) 상기 제1 CNN(140)으로 하여금, 상기 학습용 주차 상황 이미지에 상기 제1 CNN 리그레션 연산을 적용하여, 학습용 결정 지점 각각에 관한 하나 이상의 학습용 예측 확률 분포 각각을 계산하도록 하는 프로세스, 및 (ii) 상기 제2 CNN으로 하여금, 상기 학습용 주차 상황 이미지에 상기 제2 CNN 리그레션 연산을 적용하여, 상기 학습용 결정 지점 중 적어도 일부 간 관계에 관한 학습용 예측 관계 선형 세그먼트 정보를 생성하도록 하는 프로세스를 수행하고, (2) 상기 학습 장치(100)가, 상기 로스 레이어(160)로 하여금, (i) 상기 학습용 예측 확률 분포 및 이에 대응하는 GT 확률 분포를 참조로 하여 제1 로스를 생성한 후, 상기 제1 로스를 사용하여 백프로퍼게이션을 수행함으로써 상기 제1 CNN의 파라미터 중 적어도 일부를 학습하는 프로세스 및 (ii) 상기 학습용 예측 관계 선형 세그먼트 정보 및 이에 대응하는 GT 관계 선형 세그먼트 정보를 참조로 하여 제2 로스를 생성한 후, 상기 제2 로스를 사용하여 백프로퍼게이션을 수행함으로써 상기 제2 CNN(150)의 파라미터 중 적어도 일부를 학습하는 프로세스를 수행한 상태에서, 테스팅 장치가, (i) 상기 제1 CNN(140)으로 하여금, 테스트용 주차 상황 이미지에 상기 제1 CNN 리그레션 연산을 적용하여, 상기 테스트용 결정 지점 각각에 관한 하나 이상의 테스트용 예측 확률 분포 각각을 계산하도록 하는 프로세스, 및 (ii) 상기 제2 CNN(150)으로 하여금, 상기 테스트용 주차 상황 이미지에 상기 제2 CNN 리그레션 연산을 적용하여, 상기 테스트용 결정 지점 중 적어도 일부 간 관계에 관한 테스트용 예측 관계 선형 세그먼트 정보를 생성하도록 하는 프로세스를 수행할 수 있다.

이후, 상기 테스팅 장치가 (i) 제1 선택 레이어로 하여금, 상기 테스트용 예측 확률 분포를 참조로 하여, 상기 테스트용 결정 지점 중 적어도 일부에 대한 테스트용 예측 결정 지점 위치 정보를 생성하도록 하는 프로세스, 및 (ii) 제2 선택 레이어로 하여금, 상기 테스트용 예측 관계 선형 세그먼트 정보를 참조로 하여, 상기 테스트용 결정 지점 중 적어도 일부의 테스트용 페어 중 적어도 일부에 대한 테스트용 예측 선형 세그먼트 위치 정보를 생성하도록 하는 프로세스를 수행할 수 있다.

그리고, 상기 테스팅 장치가, 페어링(pairing) 레이어로 하여금, 상기 테스트용 예측 결정 지점 위치 정보 및 상기 테스트용 예측 선형 세그먼트 위치 정보를 참조로 하여, 상기 테스트용 주차 가능 공간을 검출하도록 할 수 있다.

이하, 상기 제1 선택 레이어 및 상기 제2 선택 레이어의 프로세스에 대해 자세히 설명하도록 한다.

먼저, 상기 테스팅 장치는 상기 제1 선택 레이어로 하여금 상기 테스트용 예측 결정 지점 위치 정보를 생성하도록 할 수 있다. 이때, 구체적으로, 상기 테스팅 장치가 상기 제1 선택 레이어로 하여금, (i) 상기 테스트용 예측 확률 분포를 참조로 하여, 각 픽셀이 상기 테스트용 결정 지점에 포함될 각 확률에 관한 정보를 획득하도록 하고, (ii) 상기 테스트용 결정 지점 중 하나에 포함될 확률이 주변 픽셀보다 큰 로컬 최대치 픽셀 중, 임계치보다 큰 상기 확률을 가지는 각각의 특정 로컬 최대치 픽셀을 선택하도록 할 수 있다. 상기 주변 픽셀은, 이에 대응하는 대상 픽셀로부터 임계치보다 가깝게 위치하는 픽셀일 수 있다. 이때, 상기 테스트용 예측 확률 분포는 상기 테스트용 결정 지점이 위치하는 바로 그 지점을 나타내지 않으므로, 이와 같은 포스트 프로세싱(post-processing) 과정이 필요하다.

상기 제2 선택 레이어도 이와 유사하게 포스트 프로세싱을 수행할 수 있다. 즉, 상기 테스팅 장치는 상기 제2 선택 레이어로 하여금, 상기 테스트용 관계 선형 세그먼트 정보를 참조로 하여, 상기 테스트용 페어 중, 임계치 이상의 테스트용 예측 관계 점수를 가지는 하나 이상의 테스트용 특정 페어를 선택함으로써, 상기 테스트용 예측 선형 세그먼트 위치 정보를 생성하도록 한다. 즉, 테스트용 예측 관계 점수가 상대적으로 낮아, 연결될 것으로 예상되지 않는 테스트용 페어를 배제한 후, 상기 제2 선택 레이어는 상기 테스트용 특정 페어의 위치를 찾을 수 있다.

상기 테스트용 예측 결정 지점 위치 정보 및 상기 테스트용 예측 선형 세그먼트 위치 정보가 획득되면, 상기 테스팅 장치는 상기 페어링 레이어로 하여금, 이들을 이용하여 상기 테스트용 주차 가능 공간을 검출하도록 할 수 있다. 구체적으로, 상기 페어링 레이어는, (i) 상기 테스트용 예측 결정 지점 위치 정보를 참조로 하여, 상기 테스트용 페어 중 적어도 일부에 대응하는 하나 이상의 선형 세그먼트를 가상으로 생성하고, (ii) 상기 선형 세그먼트 중, 상기 테스트용 예측 선형 세그먼트 위치 정보와 관련한 테스트용 관계 정보가 특정 상태에 있는 특정 선형 세그먼트를 선택하며, (iii) 상기 특정 선형 세그먼트에 대응하는 하나 이상의 사각형 공간을 상기 테스트용 주차 가능 공간으로 결정하도록 할 수 있다. 이때, 상기 특정 상태란, 상기 테스트용 예측 선형 세그먼트 위치 정보 중 적어도 하나와 대상 선형 세그먼트 간 일치율이 임계치 이상인 상태를 말한다. 상기 특정 상태에 대해 구체적으로 설명하기 위해 도 4를 참조하도록 한다.

도 4는 본 발명의 일 실시예에 따라 본 발명의 일 실시예에 따라 상기 결정 지점 간의 관계 정보 및 상기 결정 지점에 대한 리그레션 결과를 이용해 상기 주차 공간을 검출함으로써 상기 자동 주차 시스템을 제공하는 테스팅 방법을 수행하기 위해 사용되는 페어링 레이어의 동작 원리를 개략적으로 나타낸 도면이다.

도 4를 참조로 하면, 상기 페어링 레이어가 테스트용 제1 결정 지점(301)과 테스트용 제2 결정 지점(302)을 연결하는 제1 선형 세그먼트를 가상으로 생성하였는데, 이의 일치율은 낮은 것을 확인할 수 있다. 이 경우에는 상기 제1 선형 세그먼트는 제외되게 된다. 이와 달리, 상기 테스트용 제1 결정 지점(301)과 테스트용 제3 결정 지점(303)을 연결하는 제2 선형 세그먼트는 일치율이 높으므로 제외되지 않게 된다. 이 경우, 상기 제2 선형 세그먼트는 상기 테스트용 주차 가능 공간에 포함되는 선형 세그먼트로서 판단된다.

본 발명에 따른 상기 방법의 차별되는 특징이 이하 설명될 것이다.

종래 기술에서는, 이미지 처리 기법을 이용하여 상기 테스트용 주차 가능 공간을 검출하는 방법이 많이 제공되었다. 하지만, 종래 기술의 상기 방법에 대한 정확성은 보장되지 않았는데, 이는 상기 이미지 처리 기법을 이용하여 상기 테스트용 주차 가능 공간의 경계선이 직접적으로 검출되기 때문이다. 이와 달리, 본 발명의 경우, 상기 이미지 처리를 이용하여 상대적으로 높은 정확도로 검출할 수 있는 상기 테스트용 결정 지점을 먼저 검출한 후, 상기 테스트용 결정 지점 중 일부를 연결하는, 상기 가상으로 생성된 선형 세그먼트 중 일부를 상기 테스트용 주차 가능 공간의 경계선으로서 판단할 수 있다. 본 발명의 프로세스를 단계적으로 수행함으로써, 상기 테스트용 주차 가능 공간이 높은 정확도로 검출될 수 있다.

상기 테스트용 주차 가능 공간이 상술한 바와 같이 검출되면, 상기 테스팅 장치는 상기 주차 가능 공간에 관한 정보를 테스트용 대상 차량과 연동된 자율 주차 모듈에 전송함으로써, 상기 테스트용 대상 차량이 자율적으로 주차될 수 있도록 지원할 수 있다.

이상 설명된 본 발명에 따른 실시예들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.

따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.

Claims

하나 이상의 주차 가능 공간의 하나 이상의 결정 지점에 대한 하나 이상의 확률 분포와, 상기 결정 지점 간의 관계에 대한 관계 선형 세그먼트 정보(Relational Linear Segment Information)를 이용하여 상기 주차 가능 공간을 검출하는 학습 방법에 있어서,
(a) 학습 장치가, 적어도 하나의 카메라를 통해, 상기 주차 가능 공간에 대한 정보를 포함하는 적어도 하나의 주차 상황 이미지를 획득하면, (i) 제1 CNN(Convolutional Neural Network)으로 하여금, 상기 주차 상황 이미지에 적어도 하나의 제1 CNN 리그레션(Regression) 연산을 적용하여, 상기 결정 지점 각각에 관한 하나 이상의 예측 확률 분포 각각을 계산하도록 하는 프로세스, 및 (ii) 제2 CNN으로 하여금, 상기 주차 상황 이미지에 적어도 하나의 제2 CNN 리그레션 연산을 적용하여, 상기 결정 지점 중 적어도 일부 간 관계에 관한 예측 관계 선형 세그먼트 정보를 생성하도록 하는 프로세스를 수행하는 단계; 및
(b) 상기 학습 장치가, 로스 레이어로 하여금, (i) 상기 예측 확률 분포 및 이에 대응하는 GT(Ground-Truth) 확률 분포를 참조로 하여 제1 로스를 생성한 후, 상기 제1 로스를 사용하여 백프로퍼게이션(backpropagation)을 수행함으로써 상기 제1 CNN의 파라미터 중 적어도 일부를 학습하는 프로세스 및 (ii) 상기 예측 관계 선형 세그먼트 정보 및 이에 대응하는 GT 관계 선형 세그먼트 정보를 참조로 하여 제2 로스를 생성한 후, 상기 제2 로스를 사용하여 백프로퍼게이션을 수행함으로써 상기 제2 CNN의 파라미터 중 적어도 일부를 학습하는 프로세스를 수행하도록 하는 단계;
를 포함하는 것을 특징으로 하는 방법.
제 1항에 있어서,
상기 (a) 단계 이전에,
(a0) 상기 학습 장치가, 최적화 CNN으로 하여금,
의 사이즈를 가지는 상기 주차 상황 이미지에 적어도 하나의 최적화 CNN 연산을 적용하여
의 사이즈를 가지는 적어도 하나의 조정된 주차 상황 이미지를 생성하도록 하는 단계;를 더 포함하되,

및
는 각각
및
보다 작고,
는
보다 큰 것을 특징으로 하고,
상기 (a) 단계에서,
상기 학습 장치가, (i) 상기 제1 CNN으로 하여금, 상기 조정된 주차 상황 이미지에 상기 제1 CNN 리그레션 연산을 적용하여 상기 예측 확률 분포를 계산하도록 하는 프로세스 및 (ii) 상기 제2 CNN으로 하여금, 상기 조정된 주차 상황 이미지에 상기 제2 CNN 리그레션 연산을 적용하여 상기 예측 관계 선형 세그먼트 정보를 생성하도록 하는 프로세스를 수행하는 것을 특징으로 하는 방법.
제 1항에 있어서,
상기 (a) 단계에서,
상기 학습 장치가, 상기 주차 상황 이미지에 상기 제1 CNN 리그레션 연산을 적용하기 위해, (i) 상기 제1 CNN의 적어도 하나의 제1 컨벌루션 레이어에 포함된 하나 이상의 제1 컨벌루션 뉴런 각각으로 하여금, 이의 파라미터를 이용해 적어도 하나의 제1 컨벌루션 연산을 입력된 값에 적용한 후, 출력된 값을 다음 제1 컨벌루션 뉴런에 전달하는 프로세스를 반복하도록 함으로써 제1 특징 맵을 생성하도록 한 후, (ii) 상기 제1 CNN의 적어도 하나의 제1 출력 레이어로 하여금, 상기 제1 특징 맵에 적어도 하나의 제1 출력 연산을 적용하여, 상기 예측 확률 분포를 생성하도록 하는 것을 특징으로 하는 방법.
제 3항에 있어서,
상기 학습 장치가, 상기 제1 출력 레이어로 하여금, 상기 제1 특징 맵에 적어도 하나의 FC(Fully connected) 네트워크 연산인 상기 제1 출력 연산을 적용하여, 하나 이상의 제i 결정 지점 - i는 1 이상 4 이하의 정수임 - 에 대한 하나 이상의 제i 예측 확률 분포를 제i 채널 내에 포함하는 적어도 하나의 예측 결정 지점 이미지를 생성하도록 함으로써, 상기 예측 확률 분포를 생성하도록 하는 것을 특징으로 하는 방법.
제 4항에 있어서,
각각의 상기 제i 결정 지점은 각각의 상기 주차 가능 공간의 꼭짓점 중에서 선택되고, 상기 제i 결정 지점으로 선택된 하나 이상의 특정 꼭짓점은 자율적으로 주차될 대상 차량과 관련한 적어도 하나의 제i 위치 특성을 가지는 것을 특징으로 하는 방법.
제 1항에 있어서,
상기 (a) 단계에서,
상기 학습 장치가, 상기 주차 상황 이미지에 상기 제2 CNN 리그레션 연산을 적용하기 위해, (i) 상기 제2 CNN의 적어도 하나의 제2 컨벌루션 레이어에 포함된 하나 이상의 제2 컨벌루션 뉴런 각각으로 하여금, 이의 파라미터를 이용해 적어도 하나의 제2 컨벌루션 연산을 입력된 값에 적용한 후, 출력된 값을 다음 제2 컨벌루션 뉴런에 전달하는 프로세스를 반복하도록 함으로써 제2 특징 맵을 생성하도록 한 후, (ii) 상기 제2 CNN의 적어도 하나의 제2 출력 레이어로 하여금, 상기 제2 특징 맵에 적어도 하나의 제2 출력 연산을 적용하여, 상기 예측 관계 선형 세그먼트 정보를 생성하도록 하는 것을 특징으로 하는 방법.
제 6항에 있어서,
상기 학습 장치가, 상기 제2 출력 레이어로 하여금, 상기 제2 특징 맵에 적어도 하나의 FC(Fully connected) 네트워크 연산인 상기 제2 출력 연산을 적용하여, 상기 결정 지점 중 적어도 일부의 하나 이상의 제i 페어(pair) - i는 1 이상 4 이하의 정수임 - 에 대한 제i 예측 관계 선형 세그먼트 정보를 제i 채널 내에 포함하는 적어도 하나의 예측 관계 선형 세그먼트 이미지를 생성하도록 하는 것을 특징으로 하는 방법.
제 7항에 있어서,
상기 제i 페어는 상기 주차 가능 공간의 특정 선형 세그먼트에 포함된 꼭짓점 페어 중에서 선택되고, 상기 특정 선형 세그먼트는 자율적으로 주차될 대상 차량과 관련한 적어도 하나의 제i 위치 특성을 가지는 것을 특징으로 하는 방법.
제 1항에 있어서,
상기 (a) 단계 이전에,
(a1) 상기 학습 장치와 연동하는 적어도 하나의 라벨러(labeler)가, (i) 상기 주차 상황 이미지에 포함된 각각의 상기 결정 지점을 중심으로 하는 각각의 가우시안(Gaussian) 확률 분포를 생성함으로써 상기 GT 확률 분포를 생성하는 프로세스 및 (ii) 상기 결정 지점 중 적어도 일부의 페어 중 적어도 일부에 대응하는 선형 세그먼트에 대한 정보를 이용하여 상기 GT 관계 선형 세그먼트 정보를 생성하는 프로세스를 수행하는 단계;
를 더 포함하는 것을 특징으로 하는 방법.
하나 이상의 테스트용 주차 가능 공간의 하나 이상의 테스트용 결정 지점에 대한 하나 이상의 테스트용 확률 분포와, 상기 테스트용 결정 지점 간의 관계에 대한 관계 선형 세그먼트 정보(Relational Linear Segment Information)를 이용하여 상기 테스트용 주차 가능 공간을 검출하는 테스팅 방법에 있어서,
(a) (1) 학습 장치가, 적어도 하나의 학습용 카메라를 통해, 하나 이상의 학습용 주차 가능 공간에 대한 정보를 포함하는 적어도 하나의 학습용 주차 상황 이미지를 획득하면, (i) 제1 CNN(Convolutional Neural Network)으로 하여금, 상기 학습용 주차 상황 이미지에 적어도 하나의 제1 CNN 리그레션(Regression) 연산을 적용하여, 학습용 결정 지점 각각에 관한 하나 이상의 학습용 예측 확률 분포 각각을 계산하도록 하는 프로세스, 및 (ii) 제2 CNN으로 하여금, 상기 학습용 주차 상황 이미지에 적어도 하나의 제2 CNN 리그레션 연산을 적용하여, 상기 학습용 결정 지점 중 적어도 일부 간 관계에 관한 학습용 예측 관계 선형 세그먼트 정보를 생성하도록 하는 프로세스를 수행하고, (2) 상기 학습 장치가, 로스 레이어로 하여금, (i) 상기 학습용 예측 확률 분포 및 이에 대응하는 GT(Ground-Truth) 확률 분포를 참조로 하여 제1 로스를 생성한 후, 상기 제1 로스를 사용하여 백프로퍼게이션을 수행함으로써 상기 제1 CNN의 파라미터 중 적어도 일부를 학습하는 프로세스 및 (ii) 상기 학습용 예측 관계 선형 세그먼트 정보 및 이에 대응하는 GT 관계 선형 세그먼트 정보를 참조로 하여 제2 로스를 생성한 후, 상기 제2 로스를 사용하여 백프로퍼게이션을 수행함으로써 상기 제2 CNN의 파라미터 중 적어도 일부를 학습하는 프로세스를 수행한 상태에서, 테스팅 장치가, (i) 상기 제1 CNN으로 하여금, 테스트용 주차 상황 이미지에 상기 제1 CNN 리그레션 연산을 적용하여, 상기 테스트용 결정 지점 각각에 관한 하나 이상의 테스트용 예측 확률 분포 각각을 계산하도록 하는 프로세스, 및 (ii) 상기 제2 CNN으로 하여금, 상기 테스트용 주차 상황 이미지에 상기 제2 CNN 리그레션 연산을 적용하여, 상기 테스트용 결정 지점 중 적어도 일부 간 관계에 관한 테스트용 예측 관계 선형 세그먼트 정보를 생성하도록 하는 프로세스를 수행하는 단계;
(b) 상기 테스팅 장치가 (i) 제1 선택 레이어로 하여금, 상기 테스트용 예측 확률 분포를 참조로 하여, 상기 테스트용 결정 지점 중 적어도 일부에 대한 테스트용 예측 결정 지점 위치 정보를 생성하도록 하는 프로세스, 및 (ii) 제2 선택 레이어로 하여금, 상기 테스트용 예측 관계 선형 세그먼트 정보를 참조로 하여, 상기 테스트용 결정 지점 중 적어도 일부의 테스트용 페어 중 적어도 일부에 대한 테스트용 예측 선형 세그먼트 위치 정보를 생성하도록 하는 프로세스를 수행하는 단계; 및
(c) 상기 테스팅 장치가, 페어링(pairing) 레이어로 하여금, 상기 테스트용 예측 결정 지점 위치 정보 및 상기 테스트용 예측 선형 세그먼트 위치 정보를 참조로 하여, 상기 테스트용 주차 가능 공간을 검출하도록 하는 단계;
를 포함하는 것을 특징으로 하는 방법.
제 10항에 있어서,
상기 (b) 단계에서,
상기 테스팅 장치가, 상기 제1 선택 레이어로 하여금, 상기 테스트용 결정 지점 중 하나에 포함될 확률이 주변 픽셀보다 큰 로컬 최대치 픽셀 중, 임계치보다 큰 상기 확률을 가지는 각각의 특정 로컬 최대치 픽셀을 선택하도록 함으로써, 상기 테스트용 예측 결정 지점 위치 정보를 생성하도록 하는 것을 특징으로 하는 방법.
제 10항에 있어서,
상기 (b) 단계에서,
상기 테스팅 장치가, 상기 제2 선택 레이어로 하여금, 상기 테스트용 예측 관계 선형 세그먼트 정보를 참조로 하여, 상기 테스트용 페어 중, 테스트용 예측 관계 점수가 임계치 이상인 하나 이상의 테스트용 특정 페어를 선택함으로써, 상기 테스트용 예측 선형 세그먼트 위치 정보를 생성하도록 하는 것을 특징으로 하는 방법.
제 10항에 있어서,
상기 (c) 단계에서,
상기 테스팅 장치가, 상기 페어링 레이어로 하여금, (i) 상기 테스트용 예측 결정 지점 위치 정보를 참조로 하여, 상기 테스트용 결정 지점의 상기 테스트용 페어 중 적어도 일부에 대응하는 하나 이상의 선형 세그먼트를 가상으로 생성하고, (ii) 상기 선형 세그먼트 중, 상기 테스트용 예측 선형 세그먼트 위치 정보와 관련한 테스트용 관계 정보가 특정 상태에 있는 특정 선형 세그먼트를 선택하며, (iii) 상기 특정 선형 세그먼트에 대응하는 하나 이상의 사각형 공간을 상기 테스트용 주차 가능 공간으로 결정하도록 하는 것을 특징으로 하는 방법.
제 10항에 있어서,
상기 (a) 단계 이전에,
(a0) 상기 테스팅 장치가, 최적화 CNN으로 하여금,
의 사이즈를 가지는 상기 테스트용 주차 상황 이미지에 적어도 하나의 최적화 CNN 연산을 적용하여,
의 사이즈를 가지는 적어도 하나의 테스트용 조정된 주차 상황 이미지를 생성하도록 하는 단계;를 더 포함하되,

및
는 각각
및
보다 작고,
는
보다 큰 것을 특징으로 하고,
상기 (a) 단계에서,
상기 테스팅 장치가, (i) 상기 제1 CNN으로 하여금, 상기 테스트용 조정된 주차 상황 이미지에 상기 제1 CNN 리그레션 연산을 적용하여 상기 테스트용 예측 확률 분포를 계산하도록 하는 프로세스 및 (ii) 상기 제2 CNN으로 하여금, 상기 테스트용 조정된 주차 상황 이미지에 상기 제2 CNN 리그레션 연산을 적용하여 상기 테스트용 예측 관계 선형 세그먼트 정보를 생성하도록 하는 프로세스를 수행하는 것을 특징으로 하는 방법.
제 10항에 있어서,
(d) 상기 테스팅 장치가, 상기 테스트용 주차 가능 공간에 관한 정보를 자율 주차 모듈에 전송함으로써, 테스트용 대상 차량이 자율적으로 주차될 수 있도록 지원하는 단계;
를 더 포함하는 것을 특징으로 하는 방법.
하나 이상의 주차 가능 공간의 하나 이상의 결정 지점에 대한 하나 이상의 확률 분포와, 상기 결정 지점 간의 관계에 대한 관계 선형 세그먼트 정보(Relational Linear Segment Information)를 이용하여 상기 주차 가능 공간을 검출하는 학습 장치에 있어서,
인스트럭션들을 저장하는 적어도 하나의 메모리; 및
(I) 적어도 하나의 카메라를 통해, 상기 주차 가능 공간에 대한 정보를 포함하는 적어도 하나의 주차 상황 이미지를 획득하면, (i) 제1 CNN(Convolutional Neural Network)으로 하여금, 상기 주차 상황 이미지에 적어도 하나의 제1 CNN 리그레션(Regression) 연산을 적용하여, 상기 결정 지점 각각에 관한 하나 이상의 예측 확률 분포 각각을 계산하도록 하고, (ii) 제2 CNN으로 하여금, 상기 주차 상황 이미지에 적어도 하나의 제2 CNN 리그레션 연산을 적용하여, 상기 결정 지점 중 적어도 일부 간 관계에 관한 예측 관계 선형 세그먼트 정보를 생성하도록 하는 프로세스, 및 (II) 로스 레이어로 하여금, (i) 상기 예측 확률 분포 및 이에 대응하는 GT(Ground-Truth) 확률 분포를 참조로 하여 제1 로스를 생성한 후, 상기 제1 로스를 사용하여 백프로퍼게이션을 수행함으로써 상기 제1 CNN의 파라미터 중 적어도 일부를 학습하도록 하고, (ii) 상기 예측 관계 선형 세그먼트 정보 및 이에 대응하는 GT 관계 선형 세그먼트 정보를 참조로 하여 제2 로스를 생성한 후, 상기 제2 로스를 사용하여 백프로퍼게이션을 수행함으로써 상기 제2 CNN의 파라미터 중 적어도 일부를 학습하도록 하는 프로세스를 수행하기 위한 상기 인스트럭션들을 실행하도록 구성된 적어도 하나의 프로세서;
를 포함하는 것을 특징으로 하는 학습 장치.
제 16항에 있어서,
상기 (I) 프로세스 이전에,
상기 프로세서가, (I-0) 최적화 CNN으로 하여금,
의 사이즈를 가지는 상기 주차 상황 이미지에 적어도 하나의 최적화 CNN 연산을 적용하여
의 사이즈를 가지는 적어도 하나의 조정된 주차 상황 이미지를 생성하도록 하는 프로세스를 더 수행하되,

및
는 각각
및
보다 작고,
는
보다 큰 것을 특징으로 하고,
상기 (I) 프로세스에서,
상기 프로세서가, (i) 상기 제1 CNN으로 하여금, 상기 조정된 주차 상황 이미지에 상기 제1 CNN 리그레션 연산을 적용하여 상기 예측 확률 분포를 계산하도록 하는 프로세스 및 (ii) 상기 제2 CNN으로 하여금, 상기 조정된 주차 상황 이미지에 상기 제2 CNN 리그레션 연산을 적용하여 상기 예측 관계 선형 세그먼트 정보를 생성하도록 하는 프로세스를 수행하는 것을 특징으로 하는 학습 장치.
제 16항에 있어서,
상기 (I) 프로세스에서,
상기 프로세서가, 상기 주차 상황 이미지에 상기 제1 CNN 리그레션 연산을 적용하기 위해, (i) 상기 제1 CNN의 적어도 하나의 제1 컨벌루션 레이어에 포함된 하나 이상의 제1 컨벌루션 뉴런 각각으로 하여금, 이의 파라미터를 이용해 적어도 하나의 제1 컨벌루션 연산을 입력된 값에 적용한 후, 출력된 값을 다음 제1 컨벌루션 뉴런에 전달하는 프로세스를 반복하도록 함으로써 제1 특징 맵을 생성하도록 한 후, (ii) 상기 제1 CNN의 적어도 하나의 제1 출력 레이어로 하여금, 상기 제1 특징 맵에 적어도 하나의 제1 출력 연산을 적용하여, 상기 예측 확률 분포를 생성하도록 하는 것을 특징으로 하는 학습 장치.
제 18항에 있어서,
상기 프로세서가, 상기 제1 출력 레이어로 하여금, 상기 제1 특징 맵에 적어도 하나의 FC(Fully connected) 네트워크 연산인 상기 제1 출력 연산을 적용하여, 하나 이상의 제i 결정 지점 - i는 1 이상 4 이하의 정수임 - 에 대한 하나 이상의 제i 예측 확률 분포를 제i 채널 내에 포함하는 적어도 하나의 예측 결정 지점 이미지를 생성하도록 함으로써, 상기 예측 확률 분포를 생성하도록 하는 것을 특징으로 하는 학습 장치.
제 19항에 있어서,
각각의 상기 제i 결정 지점은 각각의 상기 주차 가능 공간의 꼭짓점 중에서 선택되고, 상기 제i 결정 지점으로 선택된 하나 이상의 특정 꼭짓점은 자율적으로 주차될 대상 차량과 관련한 적어도 하나의 제I 위치 특성을 가지는 것을 특징으로 하는 학습 장치.
제 16항에 있어서,
상기 (I) 프로세스에서,
상기 프로세서가, 상기 주차 상황 이미지에 상기 제2 CNN 리그레션 연산을 적용하기 위해, (i) 상기 제2 CNN의 적어도 하나의 제2 컨벌루션 레이어에 포함된 하나 이상의 제2 컨벌루션 뉴런 각각으로 하여금, 이의 파라미터를 이용해 적어도 하나의 제2 컨벌루션 연산을 입력된 값에 적용한 후, 출력된 값을 다음 제2 컨벌루션 뉴런에 전달하는 프로세스를 반복하도록 함으로써 제2 특징 맵을 생성하도록 한 후, (ii) 상기 제2 CNN의 적어도 하나의 제2 출력 레이어로 하여금, 상기 제2 특징 맵에 적어도 하나의 제2 출력 연산을 적용하여, 상기 예측 관계 선형 세그먼트 정보를 생성하도록 하는 것을 특징으로 하는 학습 장치.
제 21항에 있어서,
상기 프로세서가, 상기 제2 출력 레이어로 하여금, 상기 제2 특징 맵에 적어도 하나의 FC(Fully connected) 네트워크 연산인 상기 제2 출력 연산을 적용하여, 상기 결정 지점 중 적어도 일부의 하나 이상의 제i 페어 - i는 1 이상 4 이하의 정수임 - 에 대한 제i 예측 관계 선형 세그먼트 정보를 제i 채널 내에 포함하는 적어도 하나의 예측 관계 선형 세그먼트 이미지를 생성하도록 하는 것을 특징으로 하는 학습 장치.
제 22항에 있어서,
상기 제i 페어는 상기 주차 가능 공간의 특정 선형 세그먼트에 포함된 꼭짓점 페어 중에서 선택되고, 상기 특정 선형 세그먼트는 자율적으로 주차될 대상 차량과 관련한 적어도 하나의 제i 위치 특성을 가지는 것을 특징으로 하는 학습 장치.
제 16항에 있어서,
상기 (I) 프로세스 이전에,
(I-1) 상기 학습 장치와 연동하는 적어도 하나의 라벨러(labeler)가, (i) 상기 주차 상황 이미지에 포함된 각각의 상기 결정 지점을 중심으로 하는 각각의 가우시안(Gaussian) 확률 분포를 생성함으로써 상기 GT 확률 분포를 생성하고 (ii) 상기 결정 지점 중 적어도 일부의 페어 중 적어도 일부에 대응하는 선형 세그먼트에 대한 정보를 이용하여 상기 GT 관계 선형 세그먼트 정보를 생성하는 프로세스;
를 더 수행하는 것을 특징으로 하는 학습 장치.
하나 이상의 테스트용 주차 가능 공간의 하나 이상의 테스트용 결정 지점에 대한 하나 이상의 테스트용 확률 분포와, 상기 테스트용 결정 지점 간의 관계에 대한 관계 선형 세그먼트 정보(Relational Linear Segment Information)를 이용하여 상기 테스트용 주차 가능 공간을 검출하는 테스팅 장치에 있어서,
인스트럭션들을 저장하는 적어도 하나의 메모리; 및
(I) (1) 학습 장치가, 적어도 하나의 학습용 카메라를 통해, 하나 이상의 학습용 주차 가능 공간에 대한 정보를 포함하는 적어도 하나의 학습용 주차 상황 이미지를 획득하면, (i) 제1 CNN(Convolutional Neural Network)으로 하여금, 상기 학습용 주차 상황 이미지에 적어도 하나의 제1 CNN 리그레션(Regression) 연산을 적용하여, 학습용 결정 지점 각각에 관한 하나 이상의 학습용 예측 확률 분포 각각을 계산하도록 하는 프로세스, 및 (ii) 제2 CNN으로 하여금, 상기 학습용 주차 상황 이미지에 적어도 하나의 제2 CNN 리그레션 연산을 적용하여, 상기 학습용 결정 지점 중 적어도 일부 간 관계에 관한 학습용 예측 관계 선형 세그먼트 정보를 생성하도록 하는 프로세스를 수행하고, (2) 상기 학습 장치가, 로스 레이어로 하여금, (i) 상기 학습용 예측 확률 분포 및 이에 대응하는 GT(Ground-Truth) 확률 분포를 참조로 하여 제1 로스를 생성한 후, 상기 제1 로스를 사용하여 백프로퍼게이션을 수행함으로써 상기 제1 CNN의 파라미터 중 적어도 일부를 학습하는 프로세스 및 (ii) 상기 학습용 예측 관계 선형 세그먼트 정보 및 이에 대응하는 GT 관계 선형 세그먼트 정보를 참조로 하여 제2 로스를 생성한 후, 상기 제2 로스를 사용하여 백프로퍼게이션을 수행함으로써 상기 제2 CNN의 파라미터 중 적어도 일부를 학습하는 프로세스를 수행한 상태에서, (i) 상기 제1 CNN으로 하여금, 테스트용 주차 상황 이미지에 상기 제1 CNN 리그레션 연산을 적용하여, 상기 테스트용 결정 지점 각각에 관한 하나 이상의 테스트용 예측 확률 분포 각각을 계산하도록 하고, 및 (ii) 상기 제2 CNN으로 하여금, 상기 테스트용 주차 상황 이미지에 상기 제2 CNN 리그레션 연산을 적용하여, 상기 테스트용 결정 지점 중 적어도 일부 간 관계에 관한 테스트용 예측 관계 선형 세그먼트 정보를 생성하도록 하는 프로세스, (II) (i) 제1 선택 레이어로 하여금, 상기 테스트용 예측 확률 분포를 참조로 하여, 상기 테스트용 결정 지점 중 적어도 일부에 대한 테스트용 예측 결정 지점 위치 정보를 생성하도록 하고, 및 (ii) 제2 선택 레이어로 하여금, 상기 테스트용 예측 관계 선형 세그먼트 정보를 참조로 하여, 상기 테스트용 결정 지점 중 적어도 일부의 테스트용 페어 중 적어도 일부에 대한 테스트용 예측 선형 세그먼트 위치 정보를 생성하도록 하는 프로세스, 및 (III) 페어링 레이어로 하여금, 상기 테스트용 예측 결정 지점 위치 정보 및 상기 테스트용 예측 선형 세그먼트 위치 정보를 참조로 하여, 상기 테스트용 주차 가능 공간을 검출하도록 하는 프로세스를 수행하기 위한 상기 인스트럭션들을 실행하도록 구성된 적어도 하나의 프로세서;
를 포함하는 것을 특징으로 하는 테스팅 장치.
제 25항에 있어서,
상기 (II) 프로세스에서,
상기 프로세서가, 상기 제1 선택 레이어로 하여금, 상기 테스트용 결정 지점 중 하나에 포함될 확률이 주변 픽셀보다 큰 로컬 최대치 픽셀 중, 임계치보다 큰 상기 확률을 가지는 각각의 특정 로컬 최대치 픽셀을 선택하도록 함으로써, 상기 테스트용 예측 결정 지점 위치 정보를 생성하도록 하는 것을 특징으로 하는 테스팅 장치.
제 25항에 있어서,
상기 (II) 프로세스에서,
상기 프로세서가, 상기 제2 선택 레이어로 하여금, 상기 테스트용 예측 관계 선형 세그먼트 정보를 참조로 하여, 상기 테스트용 페어 중, 테스트용 예측 관계 점수가 임계치 이상인 하나 이상의 테스트용 특정 페어를 선택함으로써, 상기 테스트용 예측 선형 세그먼트 위치 정보를 생성하도록 하는 것을 특징으로 하는 테스팅 장치.
제 25항에 있어서,
상기 (III) 프로세스에서,
상기 프로세서가, 상기 페어링 레이어로 하여금, (i) 상기 테스트용 예측 결정 지점 위치 정보를 참조로 하여, 상기 테스트용 결정 지점의 상기 테스트용 페어 중 적어도 일부에 대응하는 하나 이상의 선형 세그먼트를 가상으로 생성하고, (ii) 상기 선형 세그먼트 중, 상기 테스트용 예측 선형 세그먼트 위치 정보와 관련한 테스트용 관계 정보가 특정 상태에 있는 특정 선형 세그먼트를 선택하며, (iii) 상기 특정 선형 세그먼트에 대응하는 하나 이상의 사각형 공간을 상기 테스트용 주차 가능 공간으로 결정하도록 하는 것을 특징으로 하는 테스팅 장치.
제 25항에 있어서,
상기 (I) 프로세스 이전에,
상기 프로세서가, (I-0) 최적화 CNN으로 하여금,
의 사이즈를 가지는 상기 테스트용 주차 상황 이미지에 적어도 하나의 최적화 CNN 연산을 적용하여,
의 사이즈를 가지는 적어도 하나의 테스트용 조정된 주차 상황 이미지를 생성하도록 하는 프로세스;를 더 수행하되,

및
는 각각
및
보다 작고,
는
보다 큰 것을 특징으로 하고,
상기 (I) 프로세스에서,
상기 프로세서가, (i) 상기 제1 CNN으로 하여금, 상기 테스트용 조정된 주차 상황 이미지에 상기 제1 CNN 리그레션 연산을 적용하여 상기 테스트용 예측 확률 분포를 계산하도록 하는 프로세스 및 (ii) 상기 제2 CNN으로 하여금, 상기 테스트용 조정된 주차 상황 이미지에 상기 제2 CNN 리그레션 연산을 적용하여 상기 테스트용 예측 관계 선형 세그먼트 정보를 생성하도록 하는 프로세스를 수행하는 것을 특징으로 하는 테스팅 장치.
제 25항에 있어서,
상기 프로세서가, (IV) 상기 테스트용 주차 가능 공간에 관한 정보를 자율 주차 모듈에 전송함으로써, 테스트용 대상 차량이 자율적으로 주차될 수 있도록 지원하는 프로세스;를 더 수행하는 것을 특징으로 하는 테스팅 장치.