KR100816377B1 - 호프 변환을 이용한 주차구획 인식 방법, 장치 및 그를이용한 주차 보조 시스템 - Google Patents

Abstract

본 발명은 호프 변환(Hough Transformation)을 이용한 주차구획 인식 방법, 장치 및 그를 이용한 주차 보조 시스템에 관한 것이다.

본 발명은 카메라로부터 입력 영상을 전달받으면, 입력영상을 조감도 모서리 이미지로 변환하고, 조감도 모서리 이미지를 호프(Hough) 변환하여 호프 공간 이미지를 생성한 후, 호프 공간 이미지 상에서 일정한 거리만큼 떨어져서 동일한 방향을 갖는 피크쌍(Peak Pair)을 검출함으로써 조감도 모서리 이미지 상에서 다수 개의 주차구획표시선을 인식하고, 다수 개의 주차구획표시선에서 다수 개의 주차구획표시선분을 인식하며, 다수 개의 주차구획표시선분에서 가이드라인을 인식한 후, 가이드라인을 이용하여 다수 개의 구분표시선분을 인식함으로써 가이드라인 및 다수 개의 구분표시선분을 주차구획으로서 인식하는 주차구획 인식부를 포함하는 것을 특징으로 하는 호프 변환을 이용한 주차구획 인식 장치를 제공한다.

본 발명에 의하면, 차량에서 카메라의 영상을 이용하여 주차구획을 인식함으로써, 운전자가 주차하고자 하는 목표위치를 정확하고 편리하게 설정할 수 있다.

차량, 주차, 구획, 인식, 표시, 선분, 구분, 호프, 피크, 가이드라인, Hough

Description

호프 변환을 이용한 주차구획 인식 방법, 장치 및 그를 이용한 주차 보조 시스템{Method and Apparatus for Recognizing Parking Slot Marking by Using Hough Transformation and Parking Assist System Using Same}

도 1은 본 발명의 바람직한 실시예에 따른 호프 변환을 이용한 주차보조 시스템을 간략하게 나타낸 블록 구성도,

도 2는 본 발명의 바람직한 실시예에 따른 호프 변환을 이용한 주차구획 인식 방법을 설명하기 위한 순서도,

도 3은 3 가지 좌표계를 설명하기 위한 예시도,

도 4는 D 좌표계 및 U 좌표계의 관계를 설명하기 위한 예시도,

도 5는 U 좌표계와 B 좌표계의 변환 과정을 설명하기 위한 예시도,

도 6은 픽셀 좌표계를 영상 인덱스 좌표계로 변환하는 과정을 설명하기 위한 예시도,

도 7은 월드 좌표계에서 조감도 인덱스 좌표계로 변환하는 과정을 설명하기 위한 예시도,

도 8은 조감도 및 조감도 모서리 이미지로의 변환을 설명하기 위한 예시도,

도 9는 조감도 모서리 이미지 상의 한 점을 호프 공간 이미지 상으로 변환되는 것을 설명하기 위한 예시도,

도 10은 조감도 모서리 이미지 상의 한 직선을 호프 공간 이미지 상의 다수 개의 곡선으로 나타낸 예시도,

도 11은 조감도 모서리 이미지 상의 두 개의 평형한 직선을 호프 공간 이미지 상에서 나타낸 예시도,

도 12는 주차장 조감도의 여러 개의 평행한 직선을 호프 공간 이미지 상에서 나타낸 예시도,

도 13은 본 발명의 바람직한 실시예에 따른 피크쌍 검출 과정을 설명하기 위한 예시도,

도 14는 클러스터의 검출로 주차구획표시선을 추출하는 과정을 설명하기 위한 예시도,

도 15는 조감도 모서리 이미지에서 주차구획표시선의 끝점을 구하는 과정을 설명하기 위한 예시도,

도 16은 주차구획표시선분을 인식하는 과정을 설명하기 위한 순서도,

도 17은 조감도 상에서 주차구획표시선분의 인식 결과를 나타낸 예시도,

도 18은 가이드라인을 인식하기 위한 벡터를 나타낸 예시도,

도 19는 표시선분의 끝점의 검출위치와 관계없이 가이드라인을 안정적으로 검출하는 과정을 설명하기 위한 예시도,

도 20은 본 발명의 바람직한 실시예에 따라 가이드라인을 인식한 결과를 나타낸 예시도,

도 21는 본 발명의 바람직한 실시예에 따르 구분표시선분을 인식하는 과정을 설명하기 위한 예시도,

도 22은 조감도의 가이드라인 연장선과 I_ON과 I_OFF를 나타낸 예시도,

도 23은 L_dividing(s)와 임계치를 나타낸 예시도,

도 24는 구분표시선분의 인식결과를 나타낸 예시도,

도 25는 본 발명의 바람직한 실시예에 따른 주차구획 인식 방법에 따라 주차구획을 인식한 결과를 나타낸 예시도,

도 26은 역광에서의 구분표시선분을 인식하는 과정을 나타낸 예시도,

도 27은 빛이 반사하는 경우의 구분표시선분을 인식하는 과정을 나타낸 예시도이다.

< 도면의 주요 부분에 대한 부호의 설명 >

100: 주차 보조 시스템 110: 목표 주차 위치 설정부

112: 카메라 114: 주차구획 인식부

116: 사용자 인터페이스부 120: 감지부

130: 주차 보조 제어부 132: 경로 계획 생성부

134: 경로 추적 제업 136: 위치 추정부

140: 능동 조향부

본 발명은 호프 변환(Hough Transformation)을 이용한 주차구획 인식 방법, 장치 및 그를 이용한 주차 보조 시스템에 관한 것이다. 더욱 상세하게는, 차량에서 주차 공간을 촬영하여 주차구획을 인식하는 데 있어서, 호프 변환을 이용하여 호프 공간 상에서 일정한 거리만큼 떨어져서 동일한 방향을 갖는 피크쌍을 검출함으로써 주차구획표시선을 인식하고, 주차구획표시선을 따라 중심부와 경계부에서의 모서리 픽셀의 유무를 검사하여 주차구획표시선분을 인식하며, 주차구획표시선분들 중에서 카메라와 더욱 가깝고 카메라의 시선 방향과 더욱 수직인 주차구획표시선분을 가이드라인으로서 인식하며, 가이드라인을 따라 명암 대조를 수행하여 구분표시선분을 인식함으로써 주차구획을 더욱 정확하고 빠르게 인식하기 위한 방법, 장치 및 그를 이용한 주차 보조 시스템에 관한 것이다.

통상적으로 여성, 노약자와 같은 운전에 미숙한 운전자들은 주차장에 주차된 차량들 사이를 후진하여 주차하는 데 많은 어려움을 느낀다. 이를 위해, 미숙한 운전자들이 주차된 차량, 사람, 배치물 등 많은 방해물을 회피할 수 있도록 대다수의 차량들은 정지거리를 운전자에게 경고하는 초음파 주차 보조 시스템을 채용하고 있다.

예들 들어, 특정 차량들은 후방 카메라의 이미지로 예견되는 운전 경로를 조사하여 운전자의 주차를 돕기 위한 후방 안내 모니터를 탑재한다. 또한, 최근의 차량들은 운전자에게 더욱 좋은 후방 시각을 제공하기 위해 주차 보조 시스템에 환경 인식 기능을 구비하기도 한다. 이러한 주차 보조 시스템을 구비한 차량들은 최적의 뷰 포인트(view point)로부터 가상의 이미지를 만들기 위해 휠 스피드 센서(Wheel Speed Sensor)와 인터미디에이트 뷰 리컨스트럭션(IVR: Intermediate View Reconstruction) 등의 기술을 사용한다.

한편, 이러한 주차 보조 시스템을 더욱 개조하여 자동 주차 시스템이 개발되고 있다. 자동 주차 시스템은 자동 조향 제어와 자동 제동 제어로 주차를 위한 운전을 자동화 한다. 이러한 자동 주차 시스템은 목표 위치의 위치를 측정하는 경로 생성 장치, 예측된 경로로 차량을 운전하기 위한 자동 조향/제동 시스템, 운전자의 입력을 받아 차량의 진행에 대한 시각 정보를 제공하는 사용자 인터페이스 등을 구비한다.

차량에서 자동 주차 시스템을 이용하여 자동 주차 또는 반자동 주차를 수행하기 위해서는 목표 위치를 정확하게 인식하는 것이 필수적이다. 목표 위치를 인식하는 방법으로서는 운전자에 의한 수동 지시에 의한 방법, 위성항법장치(GPS: Global Positioning System)를 이용한 방법, 카메라 등을 이용한 비전 기반의 주차구획의 인식 방법 등이 이용된다.

여기서, 운전자에 의한 수동 지시에 의한 방법은 운전자가 매번 주차구획을 설정하여 인식시켜야 하고 그 절차가 복잡하고 번거로운 단점이 있고, 위성항법장치를 이용한 방법은 위성항법장치를 구매해야 하는 비용이 증가하고 작은 공간에서 주차가 이루어지는 점을 감안할 때, 그 활용성이 떨어지는 단점이 있어, 카메라 등을 이용한 비전(Vision) 기반의 주차구획의 인식 방법이 자주 활용된다.

따라서, 비전 기반의 주차구획 인식 방법을 활용하는 데 있어서, 주차구획을 더욱 정밀하고 빠르며 간편하게 인식할 수 있는 방안이 요구된다.

이러한 요구에 부응하기 위해 본 발명은, 차량에서 주차 공간을 촬영하여 주차구획을 인식하는 데 있어서, 호프 변환을 이용하여 호프 공간 상에서 일정한 거리만큼 떨어져서 동일한 방향을 갖는 피크쌍을 검출함으로써 주차구획표시선을 인식하고, 주차구획표시선을 따라 중심부와 경계부에서의 모서리 픽셀의 유무를 검사하여 주차구획표시선분을 인식하며, 주차구획표시선분들 중에서 카메라와 더욱 가깝고 카메라의 시선 방향과 더욱 수직인 주차구획표시선분을 가이드라인으로서 인식하며, 가이드라인을 따라 명암 대조를 수행하여 구분표시선분을 인식함으로써 주차구획을 더욱 정확하고 빠르게 인식하기 위한 방법, 장치 및 그를 이용한 주차 보조 시스템을 제공하는 데 그 목적이 있다.

이러한 목적을 달성하기 위해 본 발명은, 차량에서 주차 공간을 촬영하여 입력 영상을 생성한 후 전달하는 카메라와 운전자로부터 주차 공간 중 주차하고자 하는 기준점을 입력받아 전달하는 사용자 인터페이스부를 구비하여 주차구획을 인식하는 장치에 있어서, 카메라로부터 입력 영상을 전달받으면, 입력영상을 조감도 모서리 이미지로 변환하고, 조감도 모서리 이미지를 호프(Hough) 변환하여 호프 공간 이미지를 생성한 후, 호프 공간 이미지 상에서 일정한 거리만큼 떨어져서 동일한 방향을 갖는 피크쌍(Peak Pair)을 검출함으로써 조감도 모서리 이미지 상에서 다수 개의 주차구획표시선을 인식하고, 다수 개의 주차구획표시선에서 다수 개의 주차구획표시선분을 인식하며, 다수 개의 주차구획표시선분에서 가이드라인을 인식한 후, 가이드라인을 이용하여 다수 개의 구분표시선분을 인식함으로써 가이드라인 및 다수 개의 구분표시선분을 주차구획으로서 인식하는 주차구획 인식부를 포함하는 것을 특징으로 하는 호프 변환을 이용한 주차구획 인식 장치를 제공한다.

또한, 본 발명의 다른 목적에 의하면, 차량에서 주차 공간을 촬영하여 입력 영상을 생성한 후 전달하는 카메라 및 운전자로부터 주차 공간 중 주차하고자 하는 기준점을 입력받아 전달하는 사용자 인터페이스부와 연결되어 주차구획을 인식하는 주차구획 인식부에서, 주차구획을 인식하는 방법에 있어서, (a) 입력 영상을 전달받아 조감도 모서리 이미지를 생성하고, 조감도 모서리 이미지를 호프 변환하여 호프 공간 이미지를 생성하는 단계; (b) 호프 공간 이미지 상에서 일정한 거리만큼 떨어져서 동일한 방향을 갖는 다수 개의 피크쌍(Peak Pair)을 검출하는 단계; (c) 호프 공간 이미지를 조감도 모서리 이미지로 변환하여 다수 개의 피크쌍을 다수 개의 주차구획표시선으로서 인식하는 단계; (d) 다수 개의 주차구획표시선으로부터 다수 개의 주차구획표시선분을 인식하는 단계; (e) 다수 개의 주차구획표시선분으로부터 가이드라인을 인식하는 단계; 및 (f) 가이드라인을 이용하여 다수 개의 구분표시선분을 인식하는 단계를 포함하는 것을 특징으로 하는 호프 변환을 이용한 주차구획 인식 방법을 제공한다.

또한, 본 발명의 또 다른 목적에 의하면, 주차구획을 인식하여 차량의 주차를 보조하는 주차 보조 시스템에 있어서, 카메라로부터 입력 영상을 전달받으면, 입력영상을 조감도 모서리 이미지로 변환하고, 조감도 모서리 이미지를 호프(Hough) 변환하여 호프 공간 이미지를 생성한 후, 호프 공간 이미지 상에서 일정 한 거리만큼 떨어져서 동일한 방향을 갖는 피크쌍(Peak Pair)을 검출함으로써 조감도 모서리 이미지상에서 다수 개의 주차구획표시선을 인식하고, 다수 개의 주차구획표시선에서 가이드라인 및 다수 개의 구분표시선분을 추출하여 주차구획으로서 인식하며, 조감도 모서리 이미지를 출력 영상으로 변환하여 출력한 후 운전자로부터 기준점을 입력받으면 기준점을 가이드라인에 사영(Projection)하여 목표주차구획을 설정하여 전달하는 목표 주차 위치 설정부; 차량의 운전상황을 인식하기 위한 다수 개의 센서를 구비하여 차량의 운전상황정보를 생성하여 전달하는 감지부; 감지부로부터 운전상황에 대한 정보를 수신하여 차량의 위치를 추정하며, 목표주차구획을 전달받아 주차구획으로 주차하기 위한 경로 계획을 생성하고 위치를 고려하여 주차구획으로 주차하기 위한 제어 신호를 생성하여 전달하는 주차 보조 제어부; 및 제어 신호를 수신하면 제어 신호에 따라 차량을 운전하는 능동 조향부를 포함하는 것을 특징으로 하는 호프 변환을 이용한 주차보조 시스템을 제공한다.

이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.

도 1은 본 발명의 바람직한 실시예에 따른 호프 변환을 이용한 주차보조 시스템을 간략하게 나타낸 블록 구성도이다.

본 발명의 바람직한 실시예에 따른 호프 변환을 이용한 주차보조 시스템(100)은 목표 주차 위치 설정부(110), 감지부(120), 주차 보조 제어부(130) 및 능동 조향부(140)를 포함한다.

목표 주차 위치 설정부(110)는 카메라(112), 주차구획 인식부(114) 및 사용자 인터페이스부(116)를 포함하여, 카메라(112)에서 주차 공간을 촬영한 입력 영상으로부터 주차구획을 인식하여 운전자가 주차하고자 하는 주차 위치를 설정하는 수단이다.

본 발명의 바람직한 실시예에 따른 카메라(112)는 주차 공간을 촬영하여 입력 영상을 생성한 후 전달한다.

본 발명의 바람직한 실시예에 따른 주차구획 인식부(114)는 입력 영상을 조감도 모서리 이미지로 변환하고, 조감도 모서리 이미지를 호프 변환하여 호프 공간 이미지를 생성하며, 호프 공간 이미지 상에서 일정한 거리만큼 떨어져서 동일한 방향을 갖는 피크쌍(Peak Pair)을 검출함으로써 조감도 모서리 이미지상에서 다수 개의 주차구획표시선을 인식하며, 다수 개의 주차구획표시선에서 다수 개의 주차구획표시선분을 인식하며, 다수 개의 구분표시선분에서 가이드라인을 인식하며, 가이드라인을 이용하여 구분표시선분을 인식하여 가이드라인과 구분표시선분을 주차구획으로서 인식하며, 조감도 모서리 이미지를 출력 영상으로 변환하여 사용자 인터페이스부(116)로 전달한 후, 사용자 인터페이스부(116)로부터 기준점이 전달되면 기준점을 가이드라인에 사영(Projection)하여 목표주차구획을 설정하고 주차 보조 제어부(130)로 전달한다.

이를 위해, 본 발명의 바람직한 실시예에 따른 주차구획 인식부(114)는 주차 구획을 인식하기 위한 알고리즘의 소프트웨어 및 데이터를 저장하는 메모리와 메모리에 저장된 프로그램을 실행하여 주차 구획을 인식하는 마이크로프로세서 등을 구비한다.

본 발명의 바람직한 실시예에 따른 사용자 인터페이스(116)는 출력 영상이 전달되면 화면에 출력하고 출력된 화면에서 주차하고자 하는 주차 위치의 기준점을 입력받아 전달한다. 이를 위해 본 발명의 바람직한 실시예에 따른 사용자 인터페이스(116)는 액정화면(LCD: Liquid Crystal Display), 터치패드(Touch Pad), 키보드 등을 구비한다.

감지부(120)는 다수 개의 센서 즉, 차륜속 센서, 조향각 센서, 요레이트(Yaw Rate) 센서, 가속도 센서 등을 구비하여 차량의 운전 상황을 감지하고 그에 따른 전기적인 신호인 감지 신호를 주차 보조 제어부(130)의 위치 추정부(138)로 전달한다.

주차보조 제어부(130)는 경로 계획 생성부(132), 경로 추적 제어부(134), 위치 추정부(136)를 포함하여, 목표 주차 위치 설정부(110)로부터 전달된 목표주차구획을 이용하여 주차하기 위한 경로 계획을 설정하고, 차량의 위치와 운전 상황을 고려하고 설정한 경로 계획을 추적하여 차량을 목표주차구획에 주차하도록 제어하기 위한 제어 신호를 생성한 후 능동 조향부(140)로 전달한다.

능동 조향부(140)는 운전자의 조향 입력에 대해 각종 센서와 제어 장치를 이용하여 조향의 안전성을 획득할 수 있도록 조향을 유도하는 조향 보조 장치로서, 주차보조 제어부(130)로부터 전달된 제어 신호에 따라 차량을 제어한다.

여기서, 감지부(120), 주차보조 제어부(130) 및 능동 조향부(140)는 통상적인 자동 주차 시스템 또는 반자동 주차 시스템의 역할 및 기능과 동일 또는 유사하므로, 그에 대한 상세한 설명은 생략한다.

도 2는 본 발명의 바람직한 실시예에 따른 호프 변환을 이용한 주차구획 인식 방법을 설명하기 위한 순서도이다.

카메라(112)에서 주차 공간을 촬영하여 입력 영상을 생성한 후, 주차구획 인식부(114)로 전달하면, 주차구획 인식부(114)는 입력 영상을 조감도 모서리 이미지로 변환한다(S210).

주차구획 인식부(114)는 조감도 모서리 이미지를 호프 변환하여 호프 공간 이미지를 생성하고(S220), 호프 공간 이미지 상에서 일정한 거리만큼 떨어져서 동일한 방향을 갖는 다수 개의 피크쌍을 검출함으로써 조감도 모서리 이미지 상에서 다수 개의 주차구획표시선을 인식한다(S230).

다수 개의 주차구획표시선을 인식한 주차구획 인식부(114)는 조감도 모서리 이미지 상에서 다수 개의 주차구획표시선의 중심부와 경계에서 모서리 픽셀이 존재하는지 여부를 검사하여 다수 개의 주차구획표시선분을 인식한다(S240).

다수 개의 주차구획표시선분을 인식한 주차구획 인식부(114)는 조감도 모서리 이미지 상에서 다수 개의 주차구획표시선분 중에 카메라(112)와 더욱 가깝고 카메라(112)의 시선 방향으로부터 더욱 수직한 주차구획표시선분을 선택함으로써 가이드라인을 인식한다(S250).

가이드라인을 인식한 주차구획 인식부(114)는 가이드라인을 따라 주차구획표시선분의 위쪽 명암과 바깥쪽 명암의 차이를 대조하여 명암의 차이가 우월하게 작아지는 부분을 구분표시선분으로서 인식한다(S260).

구분표시선분을 인식한 주차구획 인식부(114)는 가이드라인과 구분표시선분을 주차구획으로서 인식한다(S270).

이하에서는 본 발명의 바람직한 실시예에 따른 목표 주차 위치 설정부(110) 특히, 주차 구획 인식부(114)에서 입력 영상으로부터 목표주차구획을 인식하는 과정에 대해 상세히 설명한다.

1. 3가지 좌표계

도 3은 3 가지 좌표계를 설명하기 위한 예시도이다.

카메라(112)에 어안렌즈(Fish Eye Lens)를 장착하고, 어안렌즈를 이용하여 고정 높이/고정 틸트(Tilt) 각으로 촬영한 영상을 해석하기 위해서는 3A와 같은 입력 영상의 D(Distorted) 좌표계(이하 'D 좌표계'라 칭함), 3B와 같은 왜곡 보정 영상의 U(Undistorted) 좌표계(이하 'U 좌표계'라 칭함), 3C와 같은 조감도 B(Bird's Eye View) 좌표계(이하 'B 좌표계'라 칭함) 등 3가지 좌표계를 정의하여야 한다.

2. 어안렌즈 (Fish Eye Lens) 모델

도 4는 D 좌표계 및 U 좌표계의 관계를 설명하기 위한 예시도이다.

4A 및 4B와 같이, D 좌표계 상의 점 Pd(Xd, Yd)와 영상중심 Od(Oxd, Oyd) 사이의 거리를 rd라 하고, U 좌표계 상의 점 Pu(Xu, Yu)와 영상중심 Ou(Oxu, Oyu) 사이의 거리를 ru라고 하면, rd는 ru의 5차 다항식으로 표현될 수 있다. 이의 역함수 도 5차 다항식으로 표현될 수 있다. 즉, ru도 rd의 5차 다항식으로 표현될 수 있다. Pd, Pu사이의 접선 왜곡(Tangential Distortion)을 무시하면, 위에서 모델링 한 반경 왜곡(Radial Distortion)에 의하여 일대일 대응이 성립한다.

3. 호모그래피(Homography)

도 5는 U 좌표계와 B 좌표계의 변환 과정을 설명하기 위한 예시도이다.

U 좌표계 상의 점 Pu와 B 좌표계 상의 점 Pb는 호모그래피에 의해 일대일로 대응한다. 따라서, 조감도 트랜스폼(Bird's Eye View Transform) T_B는 도 5와 같이 이미지 플랜(Image Plane)을 평면(Ground) 상에 사영하여 수학식 1과 같이 정의된다.

도 6은 픽셀 좌표계를 영상 인덱스 좌표계로 변환하는 과정을 설명하기 위한 예시도이다.

도 6과 같은 이미지 플랜(Image Plane) 상의 픽셀(Pixel) 좌표계인 (x,y)좌 표계에서 영상 인덱스(Index) 좌표계인 (j,j)좌표계로의 변환 K_j를 정의하면, 수학식 2와 같이 정의된다.

도 7은 월드 좌표계에서 조감도 인덱스 좌표계로 변환하는 과정을 설명하기 위한 예시도이다.

도 7과 같은 월드(World) 좌표계 (x_w,z_w) 좌표계에서 조감도 인덱스(Bird's Eye View Index) 좌표계 (j_B,i_B)좌표계로의 변환 K_B를 정의하면 수학식 3과 같이 정의된다.

영상 인덱스 좌표계인 (j,i)좌표계에서 조감도 인덱스 좌표계인 (j_B,i_B)좌표계로의 호모그래피 H를 K_I, T_B, K_B로 정의하면, 수학식 5와 같다.

따라서, Pu에 대응하는 Pb는 H를 곱하여 구할 수 있고, Pb에 대응하는 Pu는 H^-1을 곱하여 구할 수 있다.

4. 조감도의 모서리 이미지(Edge Image)

소벨 모서리 감지기(Sobel Edge Detector)를 이용하여 조감도(Bird's Eye View)의 모서리 이미지를 만든다.

표 1은 소벨 수평방향 마스크를 나타낸 것이고, 표 2는 소벨 수직방향 마스크를 나타낸 것이다.

모서리 이미지의 각 픽셀은 소벨 수평방향 마스크(Sobel Horizontal Mask)의 적용 결과와 소벨 수직방향 마스크(Sobel Vertical Mask)의 적용 결과의 절대치 합으로 수학식 5와 같이 계산된다.

여기서, E는 모서리 이미지의 픽셀 값이고, B는 조감도의 픽셀 값이며, 최종 모서리 이미지는 E 값에 대하여 스레시홀드(Threshold)를 적용하여 이진화한 결과이다.

도 8은 조감도 및 조감도 모서리 이미지로의 변환을 설명하기 위한 예시도이다.

전술한 과정을 통해 D 좌표계의 입력 영상을 B 좌표계의 조감도 모서리 이미 지로 변환하면 8A에 도시한 조감도 및 8B에 도시한 조감도 모서리 이미지로 나타난다.

5. 조감도 모서리 이미지의 호프 변환

주차구획표시(Parking Lot Marking)는 표시선분(Marking Line-Segment)들로 구성되며, 각 표시선분은 모서리에서 일정한 거리만큼 떨어져 평행한 두 선분 (Line-Segment)으로 나타난다. 일정한 거리만큼 떨어져 평행한 두 선분은 호프 공간 이미지 상에서 독특한 패턴(Pattern)을 형성한다. 즉, 기울기(θ)축 상에서 같은 좌표를 갖고, 거리(d)축에서 표시선분의 폭만큼 떨어진 비슷한 높이의 피크쌍을 형성한다.

호프 변환(Hough Transform)은 이진 영상에서 직선을 찾기 위해 사용하는 가장 통상적인 방법이다. 이진 영상 상의 한 점(x,y)은 이 점을 지나는 모든 직선의 파라미터(Parameter)인 (θ,d)로 변환된다. 이진 영상 상의 모든 점들을 이와 같은 방법으로 변환하고 직선 파라미터들을 축으로 하는 호프 공간에 누적하면, 이진 영상 상의 한 직선은 호프 공간 상에 하나의 피크를 형성한다. 따라서, 호프 공간 상에서 피크 검출(Peak Detection)을 수행함으로써, 이진 영상 상의 직선을 인식할 수 있다.

통상적인 호프 변환은 직선의 기울기 각도 θ와 ρ를 축으로 사용하여 cosθ·x+sinθ·y=ρ라는 수학식을 사용하지만, 본 발명에서는 일정한 거리만큼 떨어져 평행한 두 선분의 특성이 잘 나타나도록 θ와 d를 축으로 사용한다. 여기서, d는 절편 부호(Sign of Intersection)가 곱해진 원점에서 직선까지의 거리를 말한다. 이를 이용하여 직선의 방정식을 나타내면 수학식 6과 같이 정의할 수 있다.

도 9는 조감도 모서리 이미지 상의 한 점을 호프 공간 이미지 상으로 변환되는 것을 설명하기 위한 예시도이다.

이러한 직선의 방정식을 이용하여 9A와 같은 조감도 모서리 이미지 상의 한 점을 호프 공간 이미지 상의 곡선으로 표현하면 9B와 같이 나타낼 수 있다. 9A는 모서리 이미지 상의 한 점을 x축과 y축으로 나타낸 것이고, 9B는 호프 공간 상의 곡선을 θ축과 d축으로 나타낸 것이다.

조감도 모서리 이미지 상에 다수 개의 선분이 존재하면, 호프 공간 이미지 상에 선분에 해당하는 피크(Peak)들이 나타난다. 호프 공간 이미지 상에서 피크의 높이는 해당 선분의 길이에 의존하기 때문에, 일정한 임계치를 이용하여 유효한 피크만을 선택하는 것은 불가능하다. 또, 한 직선에 의해 생긴 호프 공간 이미지 상의 곡선은 다른 직선에 의해 생긴 곡선과 합쳐지기 때문에, 상호 간의 간섭과 방해를 피할 수 없다.

이러한, 문제점을 해결하기 위한 다양한 연구들이 진행되어 왔는데, 그 중에서 호프 공간 이미지 상의 피크 주변의 분포가 나비 모양(Butterfly Pattern)임을 이용하는 방법들이 많이 제안되었다. 나비 모양을 이용하여 좀 더 튼튼한(Robust) 피크를 감지하기도 하고, 선분의 시점, 끝점, 두께 등을 찾기도 한다. 하지만, 호프 공간 이미지 상의 모든 점들에 대하여 주변 분포를 분석하기 위해서는 많은 계산량과 시간을 소비해야 하기 때문에, 실시간 응용에는 적합하지 않다.

도 10은 조감도 모서리 이미지 상의 한 직선을 호프 공간 이미지 상의 다수 개의 곡선으로 나타낸 예시도이다.

10A는 조감도 모서리 이미지 상의 직선을 나타낸 것이고, 10B는 조감도 모서리 이미지 상의 직선이 호프 공간 이미지 상의 곡선으로 나타난 것이며, 10C는 호프 공간 이미지 상의 곡선을 나비 모양의 3차원으로 나타내 것이다. 여기서, θ축은 0.2˚의 해상도로 나타낸 것이고, 그 범위는 -90˚내지 90˚이며, 숫자는 인덱스를 나타낸 것이다. 또한, d축은 1 픽셀의 해상도로 나타낸 것이고, 그 범위는 -1000 내지 1000이며, 숫자는 인덱스를 나타낸 것이다.

본 발명에서는 주차 구획 표시의 표시선분의 폭이 거의 일정하다고 가정하고, 모서리 이미지 상에서 일정한 거리만큼 떨어져 평행한 두 선분을 찾음으로써 표시선분을 찾는다.

도 11은 조감도 모서리 이미지 상의 두 개의 평형한 직선을 호프 공간 이미지 상에서 나타낸 예시도이다.

11A는 조감도 모서리 이미지 상의 두 개의 평행한 직선을 나타낸 것이고, 11B는 두 개의 평행한 직선이 호프 공간 이미지 상의 다수 개의 곡선으로 나타난 것이며, 11C는 호프 공간 이미지 상의 일부를 확대한 것이며, 11D는 호프 공간 이 미지 상의 다수 개의 곡선을 나비 모양의 3차원으로 나타내 것이다. 여기서, θ축은 0.2˚의 해상도로 나타낸 것이고, 그 범위는 -90˚내지 90˚이며, 숫자는 인덱스를 나타낸 것이다. 또한, d축은 1 픽셀의 해상도로 나타낸 것이고, 그 범위는 -1000 내지 1000이며, 숫자는 인덱스를 나타낸 것이다.

도 11에서 도시한 바와 같이, 일정한 거리 W만큼 떨어져 평행한 두 선분에 대한 호프 변환 결과를 보면, 호프 공간 이미지 상에서 특징적인 피크쌍을 형성함을 알 수 있다. 각 선분에 해당하는 두 개의 피크는 같은 θ값을 갖고, d축 상에서 W만큼 떨어져 있다. 또, 두 개의 피크의 크기는 거의 같으며, 두 피크 사이에는 깊은 골이 생긴다. 이와 같은 특징을 주차장의 조감도에 적용하면, 도 12와 같이 나타날 수 있다.

도 12는 주차장 조감도의 여러 개의 평행한 직선을 호프 공간 이미지 상에서 나타낸 예시도이다.

도 8의 8B와 같은 주차장의 조감도의 이진 모서리 이미지에 대한 호프 변환 결과를 표시하면 도 12와 같이 나타낼 수 있다. 즉, 12A와 같은 주차장의 표시선분마다 전술한 특징을 갖는 피크쌍이 존재하는 것을 확인할 수 있다. 이 경우, 찾고자 하는 특징인 주차구획표시선분이 호프 공간 이미지 상에서 매우 특징적인 패턴을 나타내므로, 이진 모서리 이미지에서 통상적인 호프 변환으로 직선을 인식하는 것보다 피크쌍을 직접 인식하는 것이 효과적이며 속도면에서도 효율적임을 알 수 있다. 이진 모서리 이미지의 호프 공간을 3차원적으로 관찰하면, 각각의 피크를 찾는 것이 얼마나 어려운 작업이 될지를 예상할 수 있다.

6. 호프 공간 이미지 상의 피크쌍 검출

호프 공간 상에서 같은 θ값을 가지면서 d축에서 일정거리 W만큼 떨어져 있는 호프 공간 상의 피크쌍은 일차원 필터링(Filtering)과 클러스터링(Clustering)에 의하여 찾을 수 있다. 피크 주변의 분산을 의미하는 나비 모양(Butterfly Pattern)의 날개 폭과 시작 지점은 선분의 길이와 위치에 의존하기 때문에, 찾고자 하는 피크쌍에 대한 θ축 방향의 일반적인 규칙은 발견하지 못한다.

따라서, 호프 공간 상에서 피크쌍에 대해 d축 방향으로 1차원 필터링을 수행함으로써 피크쌍의 후보 점들을 검출하고, 형태학상 확장(Morphological Dilation)과 연결 요소(Connected Component) 탐색을 통하여 클러스터(Cluster)를 검출한다. 이를 통해, 클러스터의 무게 중심이 피크쌍에 해당하는 주차 구획 표시의 표시선(Marking Line)의 훌륭한 추정치 임을 알 수 있다.

도 13은 본 발명의 바람직한 실시예에 따른 피크쌍 검출 과정을 설명하기 위한 예시도이다.

도 13을 참조하면 호프 공간 이미지 상의 피크쌍을 검출하는 방정식을 수학식 7과 같이 도출할 수 있다.

도 14는 본 발명의 바람직한 실시예에 따라 호프 공간 이미지 상에서 피크쌍을 검출하는 방법을 설명하기 위한 예시도이다.

여기서, HS(θ,d)는 호프 공간 요소(Element)의 값으로 주어진 θ와 d를 파라미터로 하는 직선에 대한 모서리 이미지 상의 픽셀들의 컨트리뷰션(Contribution)의 합이다. 호프 공간 상의 검사 대상 좌표가 (θ,d)일 때, HS(θ,d), HS(θ,d-W), HS(θ,d+W)는 골(Valley)이고, HS(θ,d-W/2), HS(θ,d+W/2)가 피크일 때, (θ,d)가 표시선임을 알 수 있다. 피크 검사 위치의 HS(θ,d) 값을 각각 P_A, P_B라 할 때, 검사 대상 좌표와 피크 사이 변위가 표시선분의 폭에 의존하는 점을 고려하여 일정 범위 내에서 최대값을 구함으로써 검출의 강인성(Robustness)을 확보하였다.

S(θ,d)는 d축 방향 1차원 필터링을 적용한 값이고, S(θ,d)가 양수일 때만 유사한 L(θ,d)가 0 내지 1 사이 값으로 정의된다. 골의 값이 모두 0일 때 S(θ,d)는 P_A+P_B로 최대값을 갖기 때문에, S(θ,d)를 P_A+P_B로 나누는 것은 0 내지 1 사이로 일반화 하기 위함이다. 여기에, P_A+P_B의 최소값과 최대값의 비율을 곱하는 것은 두개의 피크가 서로 같은 크기를 가지는 경우에 가중치를 두어 평가하기 위함이다. 이렇게 구해진 L(θ,d)가 임계치 θ_{dual peak}보다 클 경우, 호프 공간 상의 한 점(θ,d)은 표시선의 후보가 된다.

전술한 바와 같이 예측한 표시선 후보들은 호프 공간 이미지 상에서 클러스터를 이루지만, 모서리 선분의 두께, 길이 등에 따라 클러스터에 연결되지 못한 후보들도 생긴다. 이와 같은 이진화의 단점을 보완하기 위하여, 5x5 사각형 모양의 커널(Kernel)을 이용한 확장(Dilation)을 수행하여 클러스터를 검출하면, 클러스터의 무게 중심이 표시선의 파라미터임을 확인할 수 있다.

도 14는 클러스터의 검출로 주차구획표시선을 추출하는 과정을 설명하기 위한 예시도이다.

14A는 호프 공간 이미지 상에서 검출된 클러스터 후보들을 나타낸 것이고, 14B는 호프 공간 이미지 상에서 클러스터 후보들의 무게 중심을 나타낸 것이며, 14C는 클러스터 후보들의 무게 중심으로 추정한 조감도 모서리 이미지 상의 주차구획표시선을 나타낸 것이며, 14D는 호프 공간 이미지 상에서 추정한 주차구획표시선을 D 좌표계로 표현한 것이다.

7. 주차구획표시선분(Marking Line-Segment) 인식

검출된 주차구획표시선 상에서 표시선분의 조건을 만족하는 구간을 검출하여, 주차구획표시선분을 인식한다. 이때, 표시선분의 조건은 호프 공간 상에서 피 크쌍을 찾을 때 사용한 사전 지식(Prior Knowledge)과 같다. 즉, 표시선분은 일정한 거리 W만큼 떨어져서 평행한 두 모서리 선분으로 구성된다.

도 15는 조감도 모서리 이미지에서 주차구획표시선의 끝점을 구하는 과정을 설명하기 위한 예시도이다.

주차구획표시선의 조감도 모서리 이미지의 범위 내의 두 끝점을 구하기 위해, 15A에 도시한 바와 같이, 차량의 카메라에서 더욱 가까운 점을 P₀(x₀,y₀)라고 하고 더욱 먼 점을 P₁ (x₁,y₁)이라고 하면, P₀에서 P₁ 방향으로 진행하면서 표시선분의 조건을 만족하는지를 검사한다.

15B에 도시한 바와 같이, 주차구획표시선의 중심부에는 모서리 픽셀이 없고 표시선 경계에는 모서리 픽셀이 있는지를 검사하여, P₀에서 s만큼 떨어진 선분 P₀P₁ 상의 점 P(s)의 우도(Likelihood) L(s)를 0 내지 1 범위의 값으로 평가한다. P₀P₁ 방향의 단위 벡터(Unit Vector) d는 직선의 방정식으로부터 수학식 8과 같이 구할 수 있다. d에 수직인 단위 벡터 n은 d를 90˚만큼 회전시켜 구할 수 있다. P₀에서 s만큼 떨어진 선분 P₀P₁ 상의 점 P(s)는 P₀에 d와 거리 s의 곱을 더하여 구할 수 있고, 여기에 n과 수직 거리 w의 곱을 더하여 표시선 경계점 B(s,w)를 구할 수 있다. 중심부와 표시선 경계에서 모서리 픽셀이 있는지를 검사할 때, 잡음 강인성을 높이기 위하여 수직방향으로 여러 개의 픽셀을 검사한다.

도 16은 주차구획표시선분을 인식하는 과정을 설명하기 위한 순서도이다.

표시선분의 시점 P_start과 종점 P_stop을 결정하기 위해서 L(s)에 대하여 임계치를 적용함에 있어 히스테리시스(Hysteresis)를 사용함으로써, 잡음 강인성을 개선할 수 있었다. 시점을 결정할 때는 L(s)가 W/2 동안 계속적으로 임계치 θ_{start check}보다 커야 하고, 종점을 결정할 때는 L(s)가 W/2 동안 계속적으로 임계치 θ_{stop check}보다 작도록 한다. 이를 통해, L(s)의 짧은 구간 동안의 변화가 시점과 종점을 잘못 인식하게 하는 것을 방지할 수 있다. 이때, 카메라에서 가까운 점 P₀에서 P₁방향으로 검색하기 때문에, P_start가 P_stop보다 카메라로부터 더 가깝게 설정된다.

도 17은 조감도 상에서 주차구획표시선분의 인식 결과를 나타낸 예시도이다.

도 16과 같이 조감도 모서리 이미지 상에서 주차구획표시선분을 인식한 결과가 도 17에 도시한 바와 같이 조감도에서 나타난다. 여기서, 빨간 점은 시점을 나타내고, 파란 점은 종점을 나타낸다.

8. 가이드라인(Guideline) 인식

전술한 바와 같이, 인식된 주차구획표시선분들 중에서 카메라(112)로부터의 거리가 더욱 가깝고 시선 방향에 더욱 수직한 선분을 선택함으로써 가이드라인을 인식할 수 있다. 가이드라인이란 주차구획표시를 이루는 표시선분 들 중에서 주차장과 도로의 경계를 나타내는 표시선분으로서, 주차구획 인식의 기준이 되는 가장 중요한 선분이다.

점에서 선분까지의 거리는 수선의 발(Foot of Perpendicular)의 위치에 따라 점에서 선까지의 거리나 점에서 양 끝점까지의 거리의 최소값 중 하나를 선택한다. 즉, 수선의 발이 선분 안에 있으면 점에서 선분까지의 거리는 점에서 수선의 발까지의 거리이고, 수선의 발이 선분 밖에 있으면 점에서 양 끝점까지의 거리 중 작은 값을 선택한다. 수선의 발 P_C(X_C,Y_C)는 점 P(X_P,Y_P)를 지나면서 선분 S에 수직인 직선과 선분의 연장선(y=ax+b)과의 교점으로 정의된다. 선분의 양 끝점을 E₁, E₂라고 할 때, 수선의 발 P_C가 양 끝점 사이에 있는지는 벡터 P_CE₁과 P_CE₂의 내적의 부호로 판단할 수 있다. 즉 내적의 부호가 음수이면 수선의 발이 양 끝점 사이에 있고, 내적의 부호가 양수이면 수선의 발이 양 끝점 밖에 있다. 이를 수학식과 도면으로 나타내면, 수학식 9와 도 18과 같이 나타낼 수 있다.

도 18은 가이드라인을 인식하기 위한 벡터를 나타낸 예시도이다. 18A는 수선 의 발이 선분 안에 있는 경우를 나타낸 것이고, 18B는 수선의 발이 선분 밖에 있는 경우를 나타낸 것이다.

주차구획표시선분의 경우, 카메라에서 가까운 끝점을 P_Stsrt로 먼 끝점을 P_Stop으로 정의하였기 때문에, 수학식 9를 수학식 10과 같이 단순화 시킬 수 있다.

도 19는 표시선분의 끝점의 검출위치와 관계없이 가이드라인을 안정적으로 검출하는 과정을 설명하기 위한 예시도이다.

가이드라인은 카메라 시선 방향에 수직일 가능성이 높다는 점을 이용하여 표시선분까지의 거리를 보정함으로써, 표시선분 끝점의 검출위치에 무관하게 가이드라인을 안정적으로 검출할 수 있다. 표시선분이 시선방향에 대하여 수직인 정도는 카메라에서 선분 시점 P_start으로 향하는 단위벡터 u(P,P_start)와 선분의 시점 P_start에서 종점 P_stop으로 향하는 단위벡터 u(P_start,P_stop)의 내적으로 평가한다. 이 내적은 선분이 시선 방향에 수직일수록 작아지기 때문에, 카메라에서 표시선분까지의 거리와 이 내적의 곱이 작을수록 가이드라인일 가능성이 크다고 할 수 있다. 점 P에서 선분 S까지의 수정된 거리 D(P,S)는 다음과 같이 정의되고, 가이드라인은 수정된 거리가 최소인 표시선분으로 결정한다. 위 그림에서 구획선분 S₂의 시점이 가이드라인 S₁의 시점보다 가깝게 존재해도 시선방향과 비슷한 방향을 갖기 때문에 가이드라 인에 비하여 큰 수정 거리를 갖는다.

도 20은 본 발명의 바람직한 실시예에 따라 가이드라인을 인식한 결과를 나타낸 예시도이다.

전술한 바와 같은 것을 수학식으로 나타내면 수학식 11과 같이 정의되고, 가이드라인을 인식한 결과는 도 20과 같이 나타난다.

9. 구분표시선분(Dividing Marking Line-Segment) 인식

가이드라인을 따라 주차구획표시선분의 위의 명암(Intensity)과 바깥쪽 명암의 차를 이용하여, 주차구획표시의 구분표시선분을 인식할 수 있다. 주차구획표시는 주차구획과 도로를 구분 짓는 가이드라인과 이에 수직한 구분표시선분으로 구성된다. 주차구획표시선분의 위의 명암과 바깥쪽 명암이 주변에 비하여 월등히 작아지는 부분을 검출함으로써, 가이드라인과 구분표시선분의 'T'자형 결합(Junction)을 성공적으로 인식할 수 있다. 특히, 가이드라인의 주차구획표시선분뿐만 아니라 가이드라인의 연장선 전체를 검출함으로써, 호프 공간 이미지 상에서 피크쌍으로 인식할 수 없었던 카메라(112)로부터 먼 곳의 불명확한(Blur) 구분표시선도 인식할 수 있다. 가이드라인의 연장선이 조감도 경계와 카메라(112) 반대쪽에서 만나는 시점에서 가이드라인 방향의 단위 벡터 d방향으로 s만큼 떨어진 점의 주차구획표시선분의 위의 명암 I_ON(s)과 바깥 명암 I_OFF(s)은 수학식 12와 같이 정의된다.

이때, n은 d에 수직하면서 카메라(112)에서 멀어지는 방향의 단위 벡터이고, W는 주차구획표시선분의 폭을 나타낸다. B(P)는 조감도 상의 점 P(x,y)의 명암을 의미한다.

도 21는 본 발명의 바람직한 실시예에 따르 구분표시선분을 인식하는 과정을 설명하기 위한 예시도이다.

전술한 바와 같이, 가이드라인의 주차구획표시선분의 위쪽 명암과 바깥쪽 명암의 차이를 이용하여 도 21에 도시한 바와 같이 구분표시선분을 인식할 수 있다.

수학식 12와 같은 수식을 그래프로 나타내면 도 22과 같이 도시할 수 있다.

도 22은 조감도의 가이드라인 연장선과 I_ON과 I_OFF를 나타낸 예시도이다.

I_ON(s)과 I_OFF(s) 사이 차의 I_ON(s)에 대한 비율을 L_dividing(s)라 하고, L_dividing(s)가 임계치 θ_dividing보다 작은 구간이 W/2보다 길 때, 구분표시선분으로 인식한다. 수학식 13은 I_ON(s)과 I_OFF(s)를 _ividing(s)로 일반화한 수학식을 나타낸 것이다.

일반적으로, 조명 밝기가 일정하지 않아서 I_ON과 I_OFF가 그 값이 크게 변화하지만, 특정 s에서 I_ON(s)과 I_OFF(s)가 비슷한 정도로 변화함을 알 수 있다. 따라서, 두 값의 차이를 I_ON(s)로 나눔으로써, 0 내지 1 사이 값으로 일반화(Normalization) 함과 동시에 조명 밝기의 영향을 제거할 수 있다.

도 23은 L_dividing(s)와 임계치를 나타낸 예시도이고, 도 24는 구분표시선분의 인식결과를 나타낸 예시도이다.

10. Occlusion 영향 분석

본 발명에 바람직한 실시예에 따른 주차구획 인식 방법은 빈 주차구획 옆에 자동차들이 주차되어 있는 상황에서도 성공적으로 수행될 수 있다.

도 25는 본 발명의 바람직한 실시예에 따른 주차구획 인식 방법에 따라 주차구획을 인식한 결과를 나타낸 예시도이다.

차양을 포함한 장애물은 도 25에 도시한 바와 같이, 조감도에서 방사형의 심각한 왜곡(severe distortion in a radial manner)을 발생시킨다. 25A는 왜곡 보정 영상 상에서 장애물이 존재하는 모습을 나타낸 것이다. 25B는 조감도 상에서 장애물에 의한 왜곡이 발생한 모습을 나타낸 것이다. 25C는 조감도 모서리 이미지 상에서 피크쌍을 검출하여 제거된 왜곡을 나타낸 것이다. 25D는 조감도 상에서 잘못 인식된 주차구획표시선분에도 불구하고 성공적으로 인식된 가이드라인을 나타낸 것이다. 25E는 L_dividing의 계산 결과를 나타낸 것이다. 25F는 조감도 상에서 추가로 구분 표시선분을 인식한 결과를 나타낸 것이다.

조감도는 평면 표면 억제(Plane Surface Constraints)를 전제하여 만들어 지는데, 장애물은 이러한 전제 조건을 만족하지 않기 때문에 발생한다. 즉, 바닥면에 속하지 않는 장애물은 먼 바닥에 늘어져 그려진 것과 같이 사영된다. 특히, 어두운 바탕에 밝은 색 물체는 길게 늘어지면서 주차구획표시선분과 혼돈 될 수 있는 왜곡을 만들어 낸다. 본 발명의 바람직한 실시예에 따른 주차구획 인식방법에서는 2단계에 걸쳐 이러한 왜곡을 제거하고 있다.

1) 조감도 모서리 이미지 상에서 주차구획표시선분은 일정한 거리만큼 떨어져 평행한 두개의 모서리로 나타난다. 따라서, 이를 만족하지 않는 왜곡들은 호프 공간 이미지 상에서 피크쌍의 인식 과정과 주차구획표시선분 인식 과정에서 제거된다.

2) 빈 주차구획 옆에 자동차가 정상적으로 주차되어 있다면, 이러한 차량이 조감도에서 발생시킨 왜곡은 가이드라인보다 시선 방향으로 더욱 멀리 존재한다. 따라서, 본 발명의 바람직한 실시예에 따른 주차구획 인식 방법은 자동차의 왜곡에도 불구하고 성공적으로 가이드라인을 인식할 수 있다. 일단, 가이드라인이 성공적으로 인식되면, 가이드라인에 'T' 자로 연결된 구분표시선분을 인식함으로써 기타 잡음을 제거할 수 있다.

특히, 조명이 어두워서 주차구획표시선의 많은 부분에서 모서리가 검출되지 않아도 가이드라인은 길고 확연한 모서리로 나타나는 경향이 있기 때문에, 가이드라인을 성공적으로 인식할 수 있다. 일단 가이드라인이 인식되면, 주차구획표시선 분을 인식하는 데에서 발견되지 못했던 구분표시선분까지 인식하여 주차구획표시를 성공적으로 인식할 수 있다.

도 26는 역광에서의 구분표시선분을 인식하는 과정을 나타낸 예시도이다.

26A는 왜곡 보정 영상에서 역광을 촬영한 모습을 나타낸 것이다. 26B는 조감도 모서리 이미지 상에서 주차표시의 일부에서만 모서리가 검출된 경우를 나타낸 것이다. 26C는 조감도 상에서 가이드라인 인식한 결과를 나타낸 것이다. 26D는 조감도 상에서 주차구획의 인식결과 추가로 구분표시선분을 인식한 것을 나타낸 것이다.

도 27은 빛이 반사하는 경우의 구분표시선분을 인식하는 과정을 나타낸 예시도이다.

27A는 왜곡 보정 영상에서 빛이 바닥에 반사되어 반짝거리는 모습을 나타낸 것이다. 27B는 조감도 모서리 이미지 상에서 빛의 반사와 옆차로 인해 잘못된 피크쌍을 많이 찾은 경우, 피크쌍 검출로 제거하는 모습을 나타낸 것이다. 27C는 조감도 상에서 주차구획표시선분 인식으로 잘못된 인식을 제거하는 모습을 나타낸 것이다. 27D는 조감도 상에서 가이드라인과 구분표시선분의 인식으로 잘못된 인식을 제거하는 모습을 나타낸 것이다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아 니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

이상에서 설명한 바와 같이 본 발명에 의하면, 차량에서 카메라의 영상을 이용하여 주차구획을 인식함으로써, 운전자가 주차하고자 하는 목표위치를 정확하고 편리하게 설정할 수 있다.

또한, 주차 공간에 표시된 주차구획이 일정한 폭을 갖는 점을 활용하여 일정한 거리만큼 떨어져서 동일한 기울기를 갖는 호프 공간 상의 피크쌍을 검출함으로써, 주차구획표시선을 정확하게 인식할 수 있다.

또한, 주차구획표시선들 중에서 카메라와 더욱 가깝고 카메라의 시선 방향에 더욱 수직인 주차구획표시선을 가이드라인으로 인식함으로써, 주차구획 인식에 큰 영향을 미치는 가이드라인을 인식할 수 있다.

또한, 가이드라인을 따라서 가이드라인의 위쪽 명암과 바깥쪽 명암을 대조하여 구분표시선분을 인식함으로써 주차구획을 정확하게 인식할 수 있다.

또한, 가이드라인뿐만 아니라 그 연장선까지 명암을 대조하여 구분표시선분을 인식함으로써, 먼 곳의 카메라 영상에서 흐릿한 부분의 구분표시선분도 정확하게 인식할 수 있다.

또한, 주차 공간에 장애물이 존재하는 경우에도 호프 공간 이미지 상의 피크 쌍 검출과 구분표시선분을 인식하는 과정을 통해 장애물에 의한 왜곡을 최소화할 수 있다.

또한, 역광, 빛의 반사 등으로 인해 주차구획이 어려운 경우에도, 피크쌍 검출 방법, 가이드라인 인식 방법, 구분표시선분 인식 방법 등에 의해 잘못된 인식을 제거하여 주차구획을 정확하게 인식할 수 있다.

Claims (16)

1. 차량에서 주차 공간을 촬영하여 입력 영상을 생성한 후 전달하는 카메라와 운전자로부터 상기 주차공간 중 주차하고자 하는 기준점을 입력받아 전달하는 사용자 인터페이스부를 구비하여 주차구획을 인식하는 장치에 있어서,

   상기 카메라로부터 상기 입력 영상을 전달받으면, 상기 입력영상을 조감도 모서리 이미지로 변환하고, 상기 조감도 모서리 이미지를 호프(Hough) 변환하여 호프 공간 이미지를 생성한 후, 상기 호프 공간 이미지 상에서 일정한 거리만큼 떨어져서 동일한 방향을 갖는 피크쌍(Peak Pair)을 검출함으로써 상기 조감도 모서리 이미지 상에서 다수 개의 주차구획표시선을 인식하고, 상기 다수 개의 주차구획표시선에서 다수 개의 주차구획표시선분을 인식하며, 상기 다수 개의 주차구획표시선분에서 가이드라인을 인식한 후, 상기 가이드라인을 이용하여 다수 개의 구분표시선분을 인식함으로써 상기 가이드라인 및 상기 다수 개의 구분표시선분을 상기 주차구획으로서 인식하는 주차구획 인식부

   를 포함하는 것을 특징으로 하는 호프 변환을 이용한 주차구획 인식 장치.
2. 제 1 항에 있어서, 상기 주차구획 인식부는,

   상기 피크쌍은 상기 호프 공간 이미지상에서 거리축으로 일차원 필터링하여 상기 일정한 거리만큼 떨어져 있는 다수 개의 피크쌍 후보를 검출하고, 상기 다수 개의 피크쌍 후보에서 형태학상 확장(Morphological Dilation)과 연결 요소(Connected Component) 탐색을 통하여 클러스터(Cluster)를 검출한 후, 상기 클러스터의 무게 중심을 상기 피크쌍으로서 인식하는 것을 특징으로 하는 호프 변환을 이용한 주차구획 인식 장치.
3. 제 2 항에 있어서, 주차구획 인식부는,

   상기 호프 공간 이미지의 검사대상 좌표를 중심으로 일정한 범위 내에서 최대값을 구함으로써 상기 다수 개의 피크쌍 후보를 검출하는 것을 특징으로 하는 호프 변환을 이용한 주차구획 인식 장치.
4. 제 3 항에 있어서, 상기 주차구획 인식부는,

   서로 같은 크기의 최대값을 갖는 두 개의 피크에 가중치를 부여함으로써 상기 다수 개의 피크쌍 후보를 검출하는 것을 특징으로 하는 호프 변환을 이용한 주차구획 인식 장치.
5. 제 2 항에 있어서, 상기 주차구획 인식부는,

   일정한 크기의 사각형 모양의 커널(Kernel)을 이용하여 확장(Dilation)을 수행함으로써 상기 클러스터를 검출하는 것을 특징으로 하는 호프 변환을 이용한 주차구획 인식 장치.
6. 제 1 항에 있어서, 상기 주차구획 인식부는,

   상기 조감도 모서리 이미지 내에서 상기 주차구획표시선의 두 개의 끝점을 구한 후, 상기 두 개의 끝점 중 상기 카메라에 더욱 가까운 점으로부터 나머지 끝점으로 진행하면서, 일정한 거리만큼 떨어져서 평행한 두 개의 모서리 선분이 존재하는지 여부를 검사함으로써, 상기 주차구획표시선분을 인식하는 것을 특징으로 하는 호프 변환을 이용한 주차구획 인식 장치.
7. 제 6 항에 있어서, 상기 주차구획 인식부는,

   상기 주차구획표시선 간의 중심부에 모서리 픽셀이 없고, 상기 주차구획표시선의 경계에 모서리 픽셀이 있는지 여부를 검사함으로써 상기 두 개의 모서리 선분이 존재하는지 여부를 검사하는 것을 특징으로 하는 호프 변환을 이용한 주차구획 인식 장치.
8. 제 1 항에 있어서, 상기 주차구획 인식부는,

   상기 다수 개의 주차구획표시선분 중에서 상기 카메라와 떨어진 거리가 가장 가까운 주차구획표시선분을 상기 가이드라인으로서 인식하는 것을 특징으로 하는 호프 변환을 이용한 주차구획 인식 장치.
9. 제 1 항에 있어서, 상기 주차구획 인식부는,

   상기 카메라로부터 상기 다수 개의 주차구획표시선분의 시점으로 향하는 단위 벡터(Unit Vector)와 상기 다수 개의 주차구획표시선분의 시점에서 종점으로 향하는 단위 벡터의 내적의 곱이 가장 작은 주차구획표시선분을 상기 가이드라인으로서 인식하는 것을 특징으로 하는 호프 변환을 이용한 주차구획 인식 장치.
10. 제 1 항에 있어서, 상기 주차구획 인식부는,

    상기 가이드라인을 따라 상기 가이드라인 위쪽의 명암(Intensity)과 상기 가이드라인의 바깥쪽의 명암을 대비하여 명암의 차이가 임계치 이상 작아지는 부분을 상기 구분표시선분으로서 인식하는 것을 특징으로 하는 호프 변환을 이용한 주차구획 인식 장치.
11. 삭제
12. 제 10 항에 있어서, 상기 주차구획 인식부는,

    상기 가이드라인 위쪽의 명암의 값과 상기 가이드라인의 바깥쪽의 명암의 값의 차이를 상기 가이드라인의 위쪽의 명암의 값으로 나눈 값이 임계치보다 작은 부분의 길이가 상기 가이드라인의 폭의 절반보다 크면 상기 부분을 상기 구분표시선분으로 인식하는 것을 특징으로 하는 호프 변환을 이용한 주차구획 인식 장치.
13. 차량에서 주차 공간을 촬영하여 입력 영상을 생성한 후 전달하는 카메라 및 운전자로부터 상기 주차 공간 중 주차하고자 하는 기준점을 입력받아 전달하는 사용자 인터페이스부와 연결되어 주차구획을 인식하는 주차구획 인식부에서, 상기 주차구획을 인식하는 방법에 있어서,

    (a) 상기 입력 영상을 전달받아 조감도 모서리 이미지를 생성하고, 상기 조감도 모서리 이미지를 호프 변환하여 호프 공간 이미지를 생성하는 단계;

    (b) 상기 호프 공간 이미지 상에서 일정한 거리만큼 떨어져서 동일한 방향을 갖는 다수 개의 피크쌍(Peak Pair)을 검출하는 단계;

    (c) 상기 호프 공간 이미지를 상기 조감도 모서리 이미지로 변환하여 상기 다수 개의 피크쌍을 다수 개의 주차구획표시선으로서 인식하는 단계;

    (d) 상기 다수 개의 주차구획표시선으로부터 다수 개의 주차구획표시선분을 인식하는 단계;

    (e) 상기 다수 개의 주차구획표시선분으로부터 가이드라인을 인식하는 단계; 및

    (f) 상기 가이드라인을 이용하여 다수 개의 구분표시선분을 인식하는 단계

    를 포함하는 것을 특징으로 하는 호프 변환을 이용한 주차구획 인식 방법.
14. 제 13 항에 있어서, 상기 주차구획 인식 방법은,

    상기 단계 (f) 이후에,

    (g) 상기 가이드라인 및 상기 다수 개의 구분표시선분을 상기 주차구획으로 서 인식하는 단계; 및

    (h) 상기 기준점을 전달받아 상기 기준점을 상기 가이드라인에 사영(Projection)하여 목표주차구획을 설정하는 단계

    를 추가로 포함하는 것을 특징으로 하는 호프 변환을 이용한 주차구획 인식 방법.
15. 제 13 항에 있어서, 상기 단계 (b)는,

    (b1) 상기 호프 공간 이미지상에서 거리축방향으로 상기 거리만큼 떨어져 있는 피크쌍을 검출하는 1 차원으로 필터링(Filtering)을 통해 다수 개의 피크쌍 후보를 검출하는 단계;

    (b2) 상기 다수 개의 피크쌍 후보에 형태학상 확장(Morphological Dilation)과 연결 요소(Connected Component) 탐색을 수행함으로써 클러스터(Cluster)를 검출하고, 상기 클러스터의 무게 중심을 상기 다수 개의 피크쌍으로 검출하는 단계

    를 포함하는 것을 특징으로 하는 호프 변환을 이용한 주차구획 인식 방법.
16. 주차구획을 인식하여 차량의 주차를 보조하는 주차 보조 시스템에 있어서,

    카메라로부터 입력 영상을 전달받으면, 상기 입력영상을 조감도 모서리 이미지로 변환하고, 상기 조감도 모서리 이미지를 호프(Hough) 변환하여 호프 공간 이미지를 생성한 후, 상기 호프 공간 이미지 상에서 일정한 거리만큼 떨어져서 동일한 방향을 갖는 피크쌍(Peak Pair)을 검출함으로써 상기 조감도 모서리 이미지상에 서 다수 개의 주차구획표시선을 인식하고, 상기 다수 개의 주차구획표시선에서 가이드라인 및 다수 개의 구분표시선분을 추출하여 상기 주차구획으로서 인식하며, 상기 조감도 모서리 이미지를 출력 영상으로 변환하여 출력한 후 운전자로부터 기준점을 입력받으면 상기 기준점을 상기 가이드라인에 사영(Projection)하여 목표주차구획을 설정하여 전달하는 목표 주차 위치 설정부;

    상기 차량의 운전상황을 인식하기 위한 다수 개의 센서를 구비하여 상기 차량의 운전상황정보를 생성하여 전달하는 감지부;

    상기 감지부로부터 상기 운전상황에 대한 정보를 수신하여 상기 차량의 위치를 추정하며, 상기 목표주차구획을 전달받아 상기 주차구획으로 주차하기 위한 경로 계획을 생성하고 상기 위치를 고려하여 상기 주차구획으로 주차하기 위한 제어 신호를 생성하여 전달하는 주차 보조 제어부; 및

    상기 제어 신호를 수신하면 상기 제어 신호에 따라 상기 차량을 운전하는 능동 조향부

    를 포함하는 것을 특징으로 하는 호프 변환을 이용한 주차보조 시스템.

Images