KR20080024776A - Method and apparatus for recognizing parking slot marking by using hough transformation and parking assist system using same - Google Patents
Method and apparatus for recognizing parking slot marking by using hough transformation and parking assist system using same Download PDFInfo
- Publication number
- KR20080024776A KR20080024776A KR1020060089340A KR20060089340A KR20080024776A KR 20080024776 A KR20080024776 A KR 20080024776A KR 1020060089340 A KR1020060089340 A KR 1020060089340A KR 20060089340 A KR20060089340 A KR 20060089340A KR 20080024776 A KR20080024776 A KR 20080024776A
- Authority
- KR
- South Korea
- Prior art keywords
- parking
- image
- hop
- recognizing
- segment
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/14—Traffic control systems for road vehicles indicating individual free spaces in parking areas
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/168—Segmentation; Edge detection involving transform domain methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/507—Depth or shape recovery from shading
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/168—Driving aids for parking, e.g. acoustic or visual feedback on parking space
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20061—Hough transform
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
- Image Processing (AREA)
Abstract
Description
도 1은 본 발명의 바람직한 실시예에 따른 호프 변환을 이용한 주차보조 시스템을 간략하게 나타낸 블록 구성도,1 is a block diagram schematically showing a parking assist system using a hop transform according to an embodiment of the present invention;
도 2는 본 발명의 바람직한 실시예에 따른 호프 변환을 이용한 주차구획 인식 방법을 설명하기 위한 순서도,2 is a flowchart illustrating a parking block recognition method using a hop transform according to an embodiment of the present invention;
도 3은 3 가지 좌표계를 설명하기 위한 예시도,3 is an exemplary diagram for explaining three coordinate systems;
도 4는 D 좌표계 및 U 좌표계의 관계를 설명하기 위한 예시도,4 is an exemplary diagram for explaining a relationship between a D coordinate system and a U coordinate system;
도 5는 U 좌표계와 B 좌표계의 변환 과정을 설명하기 위한 예시도,5 is an exemplary diagram for explaining a conversion process between a U coordinate system and a B coordinate system;
도 6은 픽셀 좌표계를 영상 인덱스 좌표계로 변환하는 과정을 설명하기 위한 예시도,6 is an exemplary diagram for explaining a process of converting a pixel coordinate system into an image index coordinate system;
도 7은 월드 좌표계에서 조감도 인덱스 좌표계로 변환하는 과정을 설명하기 위한 예시도,7 is an exemplary view for explaining a process of converting from a world coordinate system to a bird's eye view index coordinate system;
도 8은 조감도 및 조감도 모서리 이미지로의 변환을 설명하기 위한 예시도,8 is an exemplary view for explaining a view into a bird's eye view and a bird's eye view corner image;
도 9는 조감도 모서리 이미지 상의 한 점을 호프 공간 이미지 상으로 변환되는 것을 설명하기 위한 예시도,9 is an exemplary diagram for explaining that a point on a bird's eye view corner image is converted into a hop space image;
도 10은 조감도 모서리 이미지 상의 한 직선을 호프 공간 이미지 상의 다수 개의 곡선으로 나타낸 예시도,10 is an exemplary diagram showing a straight line on a bird's eye view corner image as a plurality of curves on a hop space image;
도 11은 조감도 모서리 이미지 상의 두 개의 평형한 직선을 호프 공간 이미지 상에서 나타낸 예시도,11 is an exemplary view showing two parallel straight lines on a bird's eye view corner image on a hop space image;
도 12는 주차장 조감도의 여러 개의 평행한 직선을 호프 공간 이미지 상에서 나타낸 예시도,12 is an exemplary view showing several parallel straight lines of a parking lot bird's eye view on a hop space image;
도 13은 본 발명의 바람직한 실시예에 따른 피크쌍 검출 과정을 설명하기 위한 예시도,13 is an exemplary view for explaining a peak pair detection process according to a preferred embodiment of the present invention;
도 14는 클러스터의 검출로 주차구획표시선을 추출하는 과정을 설명하기 위한 예시도,14 is an exemplary view for explaining a process of extracting a parking section display line by detecting a cluster;
도 15는 조감도 모서리 이미지에서 주차구획표시선의 끝점을 구하는 과정을 설명하기 위한 예시도,15 is an exemplary view for explaining a process of obtaining an end point of a parking segment display line in a bird's eye view corner image;
도 16은 주차구획표시선분을 인식하는 과정을 설명하기 위한 순서도,16 is a flowchart for explaining a process of recognizing parking segment display line segments;
도 17은 조감도 상에서 주차구획표시선분의 인식 결과를 나타낸 예시도,17 is an exemplary view showing a recognition result of a parking segment display line on a bird's eye view;
도 18은 가이드라인을 인식하기 위한 벡터를 나타낸 예시도,18 is an exemplary diagram illustrating a vector for recognizing a guideline;
도 19는 표시선분의 끝점의 검출위치와 관계없이 가이드라인을 안정적으로 검출하는 과정을 설명하기 위한 예시도,19 is an exemplary diagram for explaining a process of stably detecting a guideline regardless of a detection position of an end point of a display line segment;
도 20은 본 발명의 바람직한 실시예에 따라 가이드라인을 인식한 결과를 나타낸 예시도,20 is an exemplary view illustrating a result of recognizing a guideline according to a preferred embodiment of the present invention;
도 21는 본 발명의 바람직한 실시예에 따르 구분표시선분을 인식하는 과정을 설명하기 위한 예시도,21 is an exemplary view for explaining a process of recognizing a segment display line segment according to a preferred embodiment of the present invention;
도 22은 조감도의 가이드라인 연장선과 ION과 IOFF를 나타낸 예시도,22 is an exemplary view showing a guideline extension line and I ON and I OFF of a bird's eye view;
도 23은 Ldividing(s)와 임계치를 나타낸 예시도,23 is an exemplary diagram showing L dividing (s) and a threshold;
도 24는 구분표시선분의 인식결과를 나타낸 예시도,24 is an exemplary view showing a result of recognizing division display lines;
도 25는 본 발명의 바람직한 실시예에 따른 주차구획 인식 방법에 따라 주차구획을 인식한 결과를 나타낸 예시도,25 is an exemplary view illustrating a result of recognizing a parking compartment according to a parking compartment recognition method according to a preferred embodiment of the present invention;
도 26은 역광에서의 구분표시선분을 인식하는 과정을 나타낸 예시도,FIG. 26 is an exemplary diagram illustrating a process of recognizing segment display line segments in backlight; FIG.
도 27은 빛이 반사하는 경우의 구분표시선분을 인식하는 과정을 나타낸 예시도이다.27 is an exemplary diagram illustrating a process of recognizing a segment display line segment when light is reflected.
< 도면의 주요 부분에 대한 부호의 설명 ><Description of Symbols for Main Parts of Drawings>
100: 주차 보조 시스템 110: 목표 주차 위치 설정부100: parking assistance system 110: target parking position setting unit
112: 카메라 114: 주차구획 인식부112: camera 114: parking compartment recognition unit
116: 사용자 인터페이스부 120: 감지부116: user interface unit 120: detection unit
130: 주차 보조 제어부 132: 경로 계획 생성부130: parking assistance control unit 132: route plan generation unit
134: 경로 추적 제업 136: 위치 추정부134: route tracking industry 136: position estimation unit
140: 능동 조향부140: active steering
본 발명은 호프 변환(Hough Transformation)을 이용한 주차구획 인식 방법, 장치 및 그를 이용한 주차 보조 시스템에 관한 것이다. 더욱 상세하게는, 차량에서 주차 공간을 촬영하여 주차구획을 인식하는 데 있어서, 호프 변환을 이용하여 호프 공간 상에서 일정한 거리만큼 떨어져서 동일한 방향을 갖는 피크쌍을 검출함으로써 주차구획표시선을 인식하고, 주차구획표시선을 따라 중심부와 경계부에서의 모서리 픽셀의 유무를 검사하여 주차구획표시선분을 인식하며, 주차구획표시선분들 중에서 카메라와 더욱 가깝고 카메라의 시선 방향과 더욱 수직인 주차구획표시선분을 가이드라인으로서 인식하며, 가이드라인을 따라 명암 대조를 수행하여 구분표시선분을 인식함으로써 주차구획을 더욱 정확하고 빠르게 인식하기 위한 방법, 장치 및 그를 이용한 주차 보조 시스템에 관한 것이다.The present invention relates to a parking compartment recognition method using Hough Transformation, a device and a parking assistance system using the same. More specifically, in recognizing a parking section by photographing a parking space in a vehicle, a parking section display line is recognized by detecting a peak pair having the same direction at a predetermined distance away from the hop space by using a hop transform. The parking segment indicator is recognized by inspecting the presence or absence of corner pixels at the center and boundary along the display line, and the parking segment indicator segment closer to the camera and more perpendicular to the camera's line of sight as a guideline among the parking segment indicator segments. In addition, the present invention relates to a method, apparatus, and a parking assistance system using the same to recognize parking segment more accurately and quickly by performing contrast contrast according to guidelines.
통상적으로 여성, 노약자와 같은 운전에 미숙한 운전자들은 주차장에 주차된 차량들 사이를 후진하여 주차하는 데 많은 어려움을 느낀다. 이를 위해, 미숙한 운전자들이 주차된 차량, 사람, 배치물 등 많은 방해물을 회피할 수 있도록 대다수의 차량들은 정지거리를 운전자에게 경고하는 초음파 주차 보조 시스템을 채용하고 있다.Typically, drivers who are inexperienced in driving such as women and the elderly have a lot of difficulties in parking backwards between the vehicles parked in the parking lot. To this end, most vehicles employ ultrasonic parking assistance systems to alert drivers of stopping distances so that inexperienced drivers can avoid many obstacles, such as parked vehicles, people and arrangements.
예들 들어, 특정 차량들은 후방 카메라의 이미지로 예견되는 운전 경로를 조사하여 운전자의 주차를 돕기 위한 후방 안내 모니터를 탑재한다. 또한, 최근의 차량들은 운전자에게 더욱 좋은 후방 시각을 제공하기 위해 주차 보조 시스템에 환경 인식 기능을 구비하기도 한다. 이러한 주차 보조 시스템을 구비한 차량들은 최적의 뷰 포인트(view point)로부터 가상의 이미지를 만들기 위해 휠 스피드 센서(Wheel Speed Sensor)와 인터미디에이트 뷰 리컨스트럭션(IVR: Intermediate View Reconstruction) 등의 기술을 사용한다.For example, certain vehicles are equipped with a rear guide monitor to assist the driver's parking by examining a driving route predicted by the image of the rear camera. Recent vehicles also have environmental awareness in parking assistance systems to provide drivers with better rear vision. Vehicles equipped with these parking assistance systems use techniques such as Wheel Speed Sensor and Intermediate View Reconstruction (IVR) to create virtual images from the optimal view point. use.
한편, 이러한 주차 보조 시스템을 더욱 개조하여 자동 주차 시스템이 개발되고 있다. 자동 주차 시스템은 자동 조향 제어와 자동 제동 제어로 주차를 위한 운전을 자동화 한다. 이러한 자동 주차 시스템은 목표 위치의 위치를 측정하는 경로 생성 장치, 예측된 경로로 차량을 운전하기 위한 자동 조향/제동 시스템, 운전자의 입력을 받아 차량의 진행에 대한 시각 정보를 제공하는 사용자 인터페이스 등을 구비한다.Meanwhile, an automatic parking system is being developed by further modifying the parking assistance system. Automatic parking systems automate driving for parking with automatic steering control and automatic braking control. The automatic parking system includes a path generation device for measuring the position of the target location, an automatic steering / braking system for driving the vehicle in a predicted path, a user interface for receiving visual information about the vehicle's progress based on a driver's input, and the like. Equipped.
차량에서 자동 주차 시스템을 이용하여 자동 주차 또는 반자동 주차를 수행하기 위해서는 목표 위치를 정확하게 인식하는 것이 필수적이다. 목표 위치를 인식하는 방법으로서는 운전자에 의한 수동 지시에 의한 방법, 위성항법장치(GPS: Global Positioning System)를 이용한 방법, 카메라 등을 이용한 비전 기반의 주차구획의 인식 방법 등이 이용된다.In order to perform automatic parking or semi-automatic parking using the automatic parking system in the vehicle, it is essential to accurately recognize the target position. As a method of recognizing the target position, a method by manual instruction by a driver, a method using a global positioning system (GPS), a method of recognizing a vision-based parking compartment using a camera, and the like are used.
여기서, 운전자에 의한 수동 지시에 의한 방법은 운전자가 매번 주차구획을 설정하여 인식시켜야 하고 그 절차가 복잡하고 번거로운 단점이 있고, 위성항법장치를 이용한 방법은 위성항법장치를 구매해야 하는 비용이 증가하고 작은 공간에서 주차가 이루어지는 점을 감안할 때, 그 활용성이 떨어지는 단점이 있어, 카메라 등을 이용한 비전(Vision) 기반의 주차구획의 인식 방법이 자주 활용된다.Here, the manual instruction by the driver requires the driver to set up and recognize the parking section every time, and the procedure is complicated and cumbersome. The method using the satellite navigation system increases the cost of purchasing the satellite navigation device. Considering that parking is performed in a small space, there is a disadvantage in that the utilization is inferior, and a vision based parking compartment recognition method using a camera is often used.
따라서, 비전 기반의 주차구획 인식 방법을 활용하는 데 있어서, 주차구획을 더욱 정밀하고 빠르며 간편하게 인식할 수 있는 방안이 요구된다.Therefore, in utilizing the vision-based parking compartment recognition method, a method for recognizing the parking compartment more precisely, quickly and simply is required.
이러한 요구에 부응하기 위해 본 발명은, 차량에서 주차 공간을 촬영하여 주차구획을 인식하는 데 있어서, 호프 변환을 이용하여 호프 공간 상에서 일정한 거리만큼 떨어져서 동일한 방향을 갖는 피크쌍을 검출함으로써 주차구획표시선을 인식하고, 주차구획표시선을 따라 중심부와 경계부에서의 모서리 픽셀의 유무를 검사하여 주차구획표시선분을 인식하며, 주차구획표시선분들 중에서 카메라와 더욱 가깝고 카메라의 시선 방향과 더욱 수직인 주차구획표시선분을 가이드라인으로서 인식하며, 가이드라인을 따라 명암 대조를 수행하여 구분표시선분을 인식함으로써 주차구획을 더욱 정확하고 빠르게 인식하기 위한 방법, 장치 및 그를 이용한 주차 보조 시스템을 제공하는 데 그 목적이 있다.In order to meet this demand, the present invention uses a hop transform to detect a parking section by capturing a parking space in a vehicle and detecting peak pairs having the same direction at a predetermined distance away from the hop space. Recognize the parking segment by checking the presence or absence of corner pixels at the center and boundary along the parking segment indicator line, and identify the segment of parking segment that is closer to the camera and more perpendicular to the direction of the camera. The object of the present invention is to provide a method, apparatus, and a parking assistance system using the same, which are recognized as a guideline, by performing contrast contrast according to the guideline, and recognizing the segmentation line segment, to more accurately and quickly recognize the parking compartment.
이러한 목적을 달성하기 위해 본 발명은, 차량에서 주차 공간을 촬영하여 입력 영상을 생성한 후 전달하는 카메라와 운전자로부터 주차 공간 중 주차하고자 하는 기준점을 입력받아 전달하는 사용자 인터페이스부를 구비하여 주차구획을 인식하는 장치에 있어서, 카메라로부터 입력 영상을 전달받으면, 입력영상을 조감도 모서리 이미지로 변환하고, 조감도 모서리 이미지를 호프(Hough) 변환하여 호프 공간 이미지를 생성한 후, 호프 공간 이미지 상에서 일정한 거리만큼 떨어져서 동일한 방향을 갖는 피크쌍(Peak Pair)을 검출함으로써 조감도 모서리 이미지 상에서 다수 개의 주차구획표시선을 인식하고, 다수 개의 주차구획표시선에서 다수 개의 주차구획표시선분을 인식하며, 다수 개의 주차구획표시선분에서 가이드라인을 인식한 후, 가이드라인을 이용하여 다수 개의 구분표시선분을 인식함으로써 가이드라인 및 다수 개의 구분표시선분을 주차구획으로서 인식하는 주차구획 인식부를 포함하는 것을 특징으로 하는 호프 변환을 이용한 주차구획 인식 장치를 제공한다.In order to achieve the above object, the present invention, the parking space in the vehicle to generate an input image after the camera and the driver receives a reference point of the parking space from the driver to receive and deliver the parking section to recognize the parking compartment In the device, when the input image is received from the camera, the input image is converted into a bird's eye view corner image, Hough transforms the bird's eye view corner image to generate a hop space image, and then separated by a predetermined distance on the hop space image. By detecting peak pairs with directions, the parking lot indicator lines are recognized on the bird's eye view corner image, the parking lot indicator lines are recognized by the parking lot indicator lines, and the guideline is used by the parking lot indicator lines. After recognizing the It provides a parking compartment recognition apparatus using a hop transform characterized in that it comprises a parking section recognition unit for recognizing a plurality of division display line segments using a guide line and a plurality of division display line segments.
또한, 본 발명의 다른 목적에 의하면, 차량에서 주차 공간을 촬영하여 입력 영상을 생성한 후 전달하는 카메라 및 운전자로부터 주차 공간 중 주차하고자 하는 기준점을 입력받아 전달하는 사용자 인터페이스부와 연결되어 주차구획을 인식하는 주차구획 인식부에서, 주차구획을 인식하는 방법에 있어서, (a) 입력 영상을 전달받아 조감도 모서리 이미지를 생성하고, 조감도 모서리 이미지를 호프 변환하여 호프 공간 이미지를 생성하는 단계; (b) 호프 공간 이미지 상에서 일정한 거리만큼 떨어져서 동일한 방향을 갖는 다수 개의 피크쌍(Peak Pair)을 검출하는 단계; (c) 호프 공간 이미지를 조감도 모서리 이미지로 변환하여 다수 개의 피크쌍을 다수 개의 주차구획표시선으로서 인식하는 단계; (d) 다수 개의 주차구획표시선으로부터 다수 개의 주차구획표시선분을 인식하는 단계; (e) 다수 개의 주차구획표시선분으로부터 가이드라인을 인식하는 단계; 및 (f) 가이드라인을 이용하여 다수 개의 구분표시선분을 인식하는 단계를 포함하는 것을 특징으로 하는 호프 변환을 이용한 주차구획 인식 방법을 제공한다.In addition, according to another object of the present invention, the parking compartment is connected to the user interface to receive and transmit a reference point to be parked in the parking space from the camera and the driver to shoot the parking space in the vehicle to generate an input image and then transfer A method for recognizing a parking compartment in a parking compartment recognizing unit, the method comprising: (a) generating a bird's eye view corner image by receiving an input image, and hop-converting the bird's eye view corner image to generate a hop space image; (b) detecting a plurality of peak pairs having the same direction at a predetermined distance apart from the hop spatial image; (c) converting the hop spatial image into a bird's eye view corner image to recognize the plurality of peak pairs as a plurality of parking section indicator lines; (d) recognizing a plurality of parking section display lines from the plurality of parking section display lines; (e) recognizing a guideline from the plurality of parking compartment marking segments; And (f) recognizing a plurality of segment display line segments using the guideline.
또한, 본 발명의 또 다른 목적에 의하면, 주차구획을 인식하여 차량의 주차를 보조하는 주차 보조 시스템에 있어서, 카메라로부터 입력 영상을 전달받으면, 입력영상을 조감도 모서리 이미지로 변환하고, 조감도 모서리 이미지를 호프(Hough) 변환하여 호프 공간 이미지를 생성한 후, 호프 공간 이미지 상에서 일정 한 거리만큼 떨어져서 동일한 방향을 갖는 피크쌍(Peak Pair)을 검출함으로써 조감도 모서리 이미지상에서 다수 개의 주차구획표시선을 인식하고, 다수 개의 주차구획표시선에서 가이드라인 및 다수 개의 구분표시선분을 추출하여 주차구획으로서 인식하며, 조감도 모서리 이미지를 출력 영상으로 변환하여 출력한 후 운전자로부터 기준점을 입력받으면 기준점을 가이드라인에 사영(Projection)하여 목표주차구획을 설정하여 전달하는 목표 주차 위치 설정부; 차량의 운전상황을 인식하기 위한 다수 개의 센서를 구비하여 차량의 운전상황정보를 생성하여 전달하는 감지부; 감지부로부터 운전상황에 대한 정보를 수신하여 차량의 위치를 추정하며, 목표주차구획을 전달받아 주차구획으로 주차하기 위한 경로 계획을 생성하고 위치를 고려하여 주차구획으로 주차하기 위한 제어 신호를 생성하여 전달하는 주차 보조 제어부; 및 제어 신호를 수신하면 제어 신호에 따라 차량을 운전하는 능동 조향부를 포함하는 것을 특징으로 하는 호프 변환을 이용한 주차보조 시스템을 제공한다.In addition, according to another object of the present invention, in the parking assistance system for assisting the parking of the vehicle by recognizing the parking compartment, when the input image is received from the camera, the input image is converted into a bird's eye view corner image, the bird's eye view corner image After Hough transforming to generate a hop space image, a plurality of parking zone indicator lines are recognized on the bird's eye view corner image by detecting peak pairs having the same direction at a predetermined distance from the hop space image. After extracting the guideline and the number of division mark segments from the parking lot indicator lines, it recognizes them as parking compartments, converts the bird's eye view corner image into the output image, and outputs it. After receiving the reference point from the driver, the reference point is projected to the guideline. Target parking by setting and passing the target parking compartment Value setting unit; A sensing unit having a plurality of sensors for recognizing a driving state of the vehicle to generate and transmit driving state information of the vehicle; Receives information on the driving situation from the sensor to estimate the location of the vehicle, receives the target parking block, generates a route plan for parking in the parking compartment, and generates a control signal for parking in the parking compartment in consideration of the location. A parking auxiliary control unit for transmitting; And an active steering unit for driving the vehicle in response to the control signal when receiving the control signal.
이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings. First of all, in adding reference numerals to the components of each drawing, it should be noted that the same reference numerals are used as much as possible even if displayed on different drawings. In addition, in describing the present invention, when it is determined that the detailed description of the related well-known configuration or function may obscure the gist of the present invention, the detailed description thereof will be omitted.
도 1은 본 발명의 바람직한 실시예에 따른 호프 변환을 이용한 주차보조 시스템을 간략하게 나타낸 블록 구성도이다.1 is a block diagram schematically showing a parking assist system using a hop transform according to a preferred embodiment of the present invention.
본 발명의 바람직한 실시예에 따른 호프 변환을 이용한 주차보조 시스템(100)은 목표 주차 위치 설정부(110), 감지부(120), 주차 보조 제어부(130) 및 능동 조향부(140)를 포함한다.The
목표 주차 위치 설정부(110)는 카메라(112), 주차구획 인식부(114) 및 사용자 인터페이스부(116)를 포함하여, 카메라(112)에서 주차 공간을 촬영한 입력 영상으로부터 주차구획을 인식하여 운전자가 주차하고자 하는 주차 위치를 설정하는 수단이다.The target parking
본 발명의 바람직한 실시예에 따른 카메라(112)는 주차 공간을 촬영하여 입력 영상을 생성한 후 전달한다.The
본 발명의 바람직한 실시예에 따른 주차구획 인식부(114)는 입력 영상을 조감도 모서리 이미지로 변환하고, 조감도 모서리 이미지를 호프 변환하여 호프 공간 이미지를 생성하며, 호프 공간 이미지 상에서 일정한 거리만큼 떨어져서 동일한 방향을 갖는 피크쌍(Peak Pair)을 검출함으로써 조감도 모서리 이미지상에서 다수 개의 주차구획표시선을 인식하며, 다수 개의 주차구획표시선에서 다수 개의 주차구획표시선분을 인식하며, 다수 개의 구분표시선분에서 가이드라인을 인식하며, 가이드라인을 이용하여 구분표시선분을 인식하여 가이드라인과 구분표시선분을 주차구획으로서 인식하며, 조감도 모서리 이미지를 출력 영상으로 변환하여 사용자 인터페이스부(116)로 전달한 후, 사용자 인터페이스부(116)로부터 기준점이 전달되면 기준점을 가이드라인에 사영(Projection)하여 목표주차구획을 설정하고 주차 보조 제어부(130)로 전달한다.The parking
이를 위해, 본 발명의 바람직한 실시예에 따른 주차구획 인식부(114)는 주차 구획을 인식하기 위한 알고리즘의 소프트웨어 및 데이터를 저장하는 메모리와 메모리에 저장된 프로그램을 실행하여 주차 구획을 인식하는 마이크로프로세서 등을 구비한다.To this end, the parking
본 발명의 바람직한 실시예에 따른 사용자 인터페이스(116)는 출력 영상이 전달되면 화면에 출력하고 출력된 화면에서 주차하고자 하는 주차 위치의 기준점을 입력받아 전달한다. 이를 위해 본 발명의 바람직한 실시예에 따른 사용자 인터페이스(116)는 액정화면(LCD: Liquid Crystal Display), 터치패드(Touch Pad), 키보드 등을 구비한다.When the output image is transmitted, the
감지부(120)는 다수 개의 센서 즉, 차륜속 센서, 조향각 센서, 요레이트(Yaw Rate) 센서, 가속도 센서 등을 구비하여 차량의 운전 상황을 감지하고 그에 따른 전기적인 신호인 감지 신호를 주차 보조 제어부(130)의 위치 추정부(138)로 전달한다.The
주차보조 제어부(130)는 경로 계획 생성부(132), 경로 추적 제어부(134), 위치 추정부(136)를 포함하여, 목표 주차 위치 설정부(110)로부터 전달된 목표주차구획을 이용하여 주차하기 위한 경로 계획을 설정하고, 차량의 위치와 운전 상황을 고려하고 설정한 경로 계획을 추적하여 차량을 목표주차구획에 주차하도록 제어하기 위한 제어 신호를 생성한 후 능동 조향부(140)로 전달한다.The
능동 조향부(140)는 운전자의 조향 입력에 대해 각종 센서와 제어 장치를 이용하여 조향의 안전성을 획득할 수 있도록 조향을 유도하는 조향 보조 장치로서, 주차보조 제어부(130)로부터 전달된 제어 신호에 따라 차량을 제어한다.The
여기서, 감지부(120), 주차보조 제어부(130) 및 능동 조향부(140)는 통상적인 자동 주차 시스템 또는 반자동 주차 시스템의 역할 및 기능과 동일 또는 유사하므로, 그에 대한 상세한 설명은 생략한다.Here, the
도 2는 본 발명의 바람직한 실시예에 따른 호프 변환을 이용한 주차구획 인식 방법을 설명하기 위한 순서도이다.2 is a flowchart illustrating a parking block recognition method using hop transform according to a preferred embodiment of the present invention.
카메라(112)에서 주차 공간을 촬영하여 입력 영상을 생성한 후, 주차구획 인식부(114)로 전달하면, 주차구획 인식부(114)는 입력 영상을 조감도 모서리 이미지로 변환한다(S210).After photographing the parking space in the
주차구획 인식부(114)는 조감도 모서리 이미지를 호프 변환하여 호프 공간 이미지를 생성하고(S220), 호프 공간 이미지 상에서 일정한 거리만큼 떨어져서 동일한 방향을 갖는 다수 개의 피크쌍을 검출함으로써 조감도 모서리 이미지 상에서 다수 개의 주차구획표시선을 인식한다(S230).The parking
다수 개의 주차구획표시선을 인식한 주차구획 인식부(114)는 조감도 모서리 이미지 상에서 다수 개의 주차구획표시선의 중심부와 경계에서 모서리 픽셀이 존재하는지 여부를 검사하여 다수 개의 주차구획표시선분을 인식한다(S240).The parking
다수 개의 주차구획표시선분을 인식한 주차구획 인식부(114)는 조감도 모서리 이미지 상에서 다수 개의 주차구획표시선분 중에 카메라(112)와 더욱 가깝고 카메라(112)의 시선 방향으로부터 더욱 수직한 주차구획표시선분을 선택함으로써 가이드라인을 인식한다(S250).The parking
가이드라인을 인식한 주차구획 인식부(114)는 가이드라인을 따라 주차구획표시선분의 위쪽 명암과 바깥쪽 명암의 차이를 대조하여 명암의 차이가 우월하게 작아지는 부분을 구분표시선분으로서 인식한다(S260).The parking
구분표시선분을 인식한 주차구획 인식부(114)는 가이드라인과 구분표시선분을 주차구획으로서 인식한다(S270).The parking
이하에서는 본 발명의 바람직한 실시예에 따른 목표 주차 위치 설정부(110) 특히, 주차 구획 인식부(114)에서 입력 영상으로부터 목표주차구획을 인식하는 과정에 대해 상세히 설명한다.Hereinafter, a process of recognizing a target parking section from an input image in the target parking
1. 3가지 좌표계1. Three coordinate systems
도 3은 3 가지 좌표계를 설명하기 위한 예시도이다.3 is an exemplary diagram for explaining three coordinate systems.
카메라(112)에 어안렌즈(Fish Eye Lens)를 장착하고, 어안렌즈를 이용하여 고정 높이/고정 틸트(Tilt) 각으로 촬영한 영상을 해석하기 위해서는 3A와 같은 입력 영상의 D(Distorted) 좌표계(이하 'D 좌표계'라 칭함), 3B와 같은 왜곡 보정 영상의 U(Undistorted) 좌표계(이하 'U 좌표계'라 칭함), 3C와 같은 조감도 B(Bird's Eye View) 좌표계(이하 'B 좌표계'라 칭함) 등 3가지 좌표계를 정의하여야 한다.A fish eye lens is mounted on the
2. 어안렌즈 (Fish Eye Lens) 모델2. Fish Eye Lens Model
도 4는 D 좌표계 및 U 좌표계의 관계를 설명하기 위한 예시도이다.4 is an exemplary diagram for explaining a relationship between a D coordinate system and a U coordinate system.
4A 및 4B와 같이, D 좌표계 상의 점 Pd(Xd, Yd)와 영상중심 Od(Oxd, Oyd) 사이의 거리를 rd라 하고, U 좌표계 상의 점 Pu(Xu, Yu)와 영상중심 Ou(Oxu, Oyu) 사이의 거리를 ru라고 하면, rd는 ru의 5차 다항식으로 표현될 수 있다. 이의 역함수 도 5차 다항식으로 표현될 수 있다. 즉, ru도 rd의 5차 다항식으로 표현될 수 있다. Pd, Pu사이의 접선 왜곡(Tangential Distortion)을 무시하면, 위에서 모델링 한 반경 왜곡(Radial Distortion)에 의하여 일대일 대응이 성립한다.Like 4A and 4B, the distance between the point Pd (Xd, Yd) on the D coordinate system and the image center Od (Oxd, Oyd) is called rd, and the point Pu (Xu, Yu) on the U coordinate system and the image center Ou (Oxu, If the distance between Oyu) is ru, rd can be expressed as ru's fifth order polynomial. Its inverse function can also be expressed as a fifth order polynomial. That is, ru may also be expressed as a fifth order polynomial of rd. Ignoring the tangential distortion between Pd and Pu, the one-to-one correspondence is established by the radial distortion modeled above.
3. 호모그래피(Homography)3. Homography
도 5는 U 좌표계와 B 좌표계의 변환 과정을 설명하기 위한 예시도이다.5 is an exemplary diagram for describing a conversion process between a U coordinate system and a B coordinate system.
U 좌표계 상의 점 Pu와 B 좌표계 상의 점 Pb는 호모그래피에 의해 일대일로 대응한다. 따라서, 조감도 트랜스폼(Bird's Eye View Transform) TB는 도 5와 같이 이미지 플랜(Image Plane)을 평면(Ground) 상에 사영하여 수학식 1과 같이 정의된다.The point Pu on the U coordinate system and the point Pb on the B coordinate system correspond one-to-one by homography. Therefore, Bird's Eye View Transform T B is defined as shown in
도 6은 픽셀 좌표계를 영상 인덱스 좌표계로 변환하는 과정을 설명하기 위한 예시도이다.6 is an exemplary diagram for describing a process of converting a pixel coordinate system into an image index coordinate system.
도 6과 같은 이미지 플랜(Image Plane) 상의 픽셀(Pixel) 좌표계인 (x,y)좌 표계에서 영상 인덱스(Index) 좌표계인 (j,j)좌표계로의 변환 Kj를 정의하면, 수학식 2와 같이 정의된다.When the conversion K j from the (x, y) coordinate system, which is the pixel coordinate system on the image plane as shown in FIG. 6, to the (j, j) coordinate system, which is the image index coordinate system, is defined in
도 7은 월드 좌표계에서 조감도 인덱스 좌표계로 변환하는 과정을 설명하기 위한 예시도이다.7 is an exemplary diagram for describing a process of converting a world coordinate system to a bird's eye view index coordinate system.
도 7과 같은 월드(World) 좌표계 (xw,zw) 좌표계에서 조감도 인덱스(Bird's Eye View Index) 좌표계 (jB,iB)좌표계로의 변환 KB를 정의하면 수학식 3과 같이 정의된다.A transformation K B from a world coordinate system (x w , z w ) coordinate system as shown in FIG. 7 to a bird's eye view index coordinate system (j B , i B ) is defined as shown in Equation 3 below. .
영상 인덱스 좌표계인 (j,i)좌표계에서 조감도 인덱스 좌표계인 (jB,iB)좌표계로의 호모그래피 H를 KI, TB, KB로 정의하면, 수학식 5와 같다.If the homography H from the (j, i) coordinate system, which is the image index coordinate system, to the (j B , i B ) coordinate system, which is the bird's-eye view index coordinate system, is defined as K I , T B , K B , Equation (5).
따라서, Pu에 대응하는 Pb는 H를 곱하여 구할 수 있고, Pb에 대응하는 Pu는 H-1을 곱하여 구할 수 있다.Therefore, Pb corresponding to Pu can be obtained by multiplying H, and Pu corresponding to Pb can be obtained by multiplying H −1 .
4. 조감도의 모서리 이미지(Edge Image)4. Edge Image of Bird's Eye View
소벨 모서리 감지기(Sobel Edge Detector)를 이용하여 조감도(Bird's Eye View)의 모서리 이미지를 만든다.An image of the corners of Bird's Eye View is created using the Sobel Edge Detector.
표 1은 소벨 수평방향 마스크를 나타낸 것이고, 표 2는 소벨 수직방향 마스크를 나타낸 것이다.Table 1 shows the Sobel horizontal mask, and Table 2 shows the Sobel vertical mask.
모서리 이미지의 각 픽셀은 소벨 수평방향 마스크(Sobel Horizontal Mask)의 적용 결과와 소벨 수직방향 마스크(Sobel Vertical Mask)의 적용 결과의 절대치 합으로 수학식 5와 같이 계산된다.Each pixel of the corner image is calculated as Equation 5 as the sum of the results of applying the Sobel Horizontal Mask and the result of applying the Sobel Vertical Mask.
여기서, E는 모서리 이미지의 픽셀 값이고, B는 조감도의 픽셀 값이며, 최종 모서리 이미지는 E 값에 대하여 스레시홀드(Threshold)를 적용하여 이진화한 결과이다.Here, E is a pixel value of the corner image, B is a pixel value of the bird's eye view, and the final corner image is a result of binarization by applying a threshold to the E value.
도 8은 조감도 및 조감도 모서리 이미지로의 변환을 설명하기 위한 예시도이다.8 is an exemplary view for explaining a view of a bird's eye view and a bird's eye view corner image.
전술한 과정을 통해 D 좌표계의 입력 영상을 B 좌표계의 조감도 모서리 이미 지로 변환하면 8A에 도시한 조감도 및 8B에 도시한 조감도 모서리 이미지로 나타난다.When the input image of the D coordinate system is converted into the bird's-eye view corner image of the B coordinate system through the above-described process, it appears as the bird's-eye view shown in 8A and the bird's-eye view edge image shown in 8B.
5. 조감도 모서리 이미지의 호프 변환5. Hope transform of bird's eye view corner image
주차구획표시(Parking Lot Marking)는 표시선분(Marking Line-Segment)들로 구성되며, 각 표시선분은 모서리에서 일정한 거리만큼 떨어져 평행한 두 선분 (Line-Segment)으로 나타난다. 일정한 거리만큼 떨어져 평행한 두 선분은 호프 공간 이미지 상에서 독특한 패턴(Pattern)을 형성한다. 즉, 기울기(θ)축 상에서 같은 좌표를 갖고, 거리(d)축에서 표시선분의 폭만큼 떨어진 비슷한 높이의 피크쌍을 형성한다.Parking Lot Marking consists of Marking Line-Segments, each of which is represented by two parallel Line-Segments separated by a certain distance from the corner. The two parallel segments separated by a certain distance form a unique pattern on the hop space image. That is, a pair of peaks of similar height are formed having the same coordinates on the tilt (θ) axis and separated by the width of the display line segment on the distance (d) axis.
호프 변환(Hough Transform)은 이진 영상에서 직선을 찾기 위해 사용하는 가장 통상적인 방법이다. 이진 영상 상의 한 점(x,y)은 이 점을 지나는 모든 직선의 파라미터(Parameter)인 (θ,d)로 변환된다. 이진 영상 상의 모든 점들을 이와 같은 방법으로 변환하고 직선 파라미터들을 축으로 하는 호프 공간에 누적하면, 이진 영상 상의 한 직선은 호프 공간 상에 하나의 피크를 형성한다. 따라서, 호프 공간 상에서 피크 검출(Peak Detection)을 수행함으로써, 이진 영상 상의 직선을 인식할 수 있다.Hough Transform is the most common method used to find straight lines in binary images. One point (x, y) on the binary image is converted into (θ, d) which is a parameter of all the straight lines passing through this point. If all points on the binary image are transformed in this way and accumulated in the hop space with the linear parameters as axes, one straight line on the binary image forms one peak in the hop space. Accordingly, by performing peak detection on the hop space, a straight line on the binary image may be recognized.
통상적인 호프 변환은 직선의 기울기 각도 θ와 ρ를 축으로 사용하여 cosθ·x+sinθ·y=ρ라는 수학식을 사용하지만, 본 발명에서는 일정한 거리만큼 떨어져 평행한 두 선분의 특성이 잘 나타나도록 θ와 d를 축으로 사용한다. 여기서, d는 절편 부호(Sign of Intersection)가 곱해진 원점에서 직선까지의 거리를 말한다. 이를 이용하여 직선의 방정식을 나타내면 수학식 6과 같이 정의할 수 있다.Conventional hop transform uses the equation of cosθ · x + sinθ · y = ρ by using the inclination angles θ and ρ of the straight line as axes, but in the present invention, the characteristics of two parallel line segments are well represented by being separated by a certain distance. Use θ and d as axes. Here, d is the distance from the origin to the straight line multiplied by the sign of the intersection (Sign of Intersection). By using this to represent the equation of the straight line it can be defined as in Equation 6.
도 9는 조감도 모서리 이미지 상의 한 점을 호프 공간 이미지 상으로 변환되는 것을 설명하기 위한 예시도이다.FIG. 9 is an exemplary diagram for describing converting a point on a bird's eye view corner image onto a hop space image.
이러한 직선의 방정식을 이용하여 9A와 같은 조감도 모서리 이미지 상의 한 점을 호프 공간 이미지 상의 곡선으로 표현하면 9B와 같이 나타낼 수 있다. 9A는 모서리 이미지 상의 한 점을 x축과 y축으로 나타낸 것이고, 9B는 호프 공간 상의 곡선을 θ축과 d축으로 나타낸 것이다.Using a straight line equation, a point on the bird's eye view corner image such as 9A may be expressed as a curve on the hop space image as shown in 9B. 9A shows the point on the edge image on the x and y axes, and 9B shows the curve on the hop space on the θ and d axes.
조감도 모서리 이미지 상에 다수 개의 선분이 존재하면, 호프 공간 이미지 상에 선분에 해당하는 피크(Peak)들이 나타난다. 호프 공간 이미지 상에서 피크의 높이는 해당 선분의 길이에 의존하기 때문에, 일정한 임계치를 이용하여 유효한 피크만을 선택하는 것은 불가능하다. 또, 한 직선에 의해 생긴 호프 공간 이미지 상의 곡선은 다른 직선에 의해 생긴 곡선과 합쳐지기 때문에, 상호 간의 간섭과 방해를 피할 수 없다.If there are a plurality of segments on the aerial image, peaks corresponding to the segments appear on the hop space image. Since the height of the peak on the hop spatial image depends on the length of the line segment, it is impossible to select only valid peaks using a constant threshold. In addition, since the curve on the hop space image generated by one straight line merges with the curve produced by the other straight line, mutual interference and interference cannot be avoided.
이러한, 문제점을 해결하기 위한 다양한 연구들이 진행되어 왔는데, 그 중에서 호프 공간 이미지 상의 피크 주변의 분포가 나비 모양(Butterfly Pattern)임을 이용하는 방법들이 많이 제안되었다. 나비 모양을 이용하여 좀 더 튼튼한(Robust) 피크를 감지하기도 하고, 선분의 시점, 끝점, 두께 등을 찾기도 한다. 하지만, 호프 공간 이미지 상의 모든 점들에 대하여 주변 분포를 분석하기 위해서는 많은 계산량과 시간을 소비해야 하기 때문에, 실시간 응용에는 적합하지 않다.Various studies have been conducted to solve this problem, and among them, many methods have been proposed in which a distribution around a peak on a hop space image is a butterfly pattern. It uses the shape of a butterfly to detect more robust peaks, and finds the start point, endpoint, and thickness of a line segment. However, it is not suitable for real-time applications because it requires a large amount of computation and time to analyze the surrounding distribution for all points on the hop space image.
도 10은 조감도 모서리 이미지 상의 한 직선을 호프 공간 이미지 상의 다수 개의 곡선으로 나타낸 예시도이다.10 is an exemplary diagram showing a straight line on the bird's eye view corner image as a plurality of curves on the hop space image.
10A는 조감도 모서리 이미지 상의 직선을 나타낸 것이고, 10B는 조감도 모서리 이미지 상의 직선이 호프 공간 이미지 상의 곡선으로 나타난 것이며, 10C는 호프 공간 이미지 상의 곡선을 나비 모양의 3차원으로 나타내 것이다. 여기서, θ축은 0.2˚의 해상도로 나타낸 것이고, 그 범위는 -90˚내지 90˚이며, 숫자는 인덱스를 나타낸 것이다. 또한, d축은 1 픽셀의 해상도로 나타낸 것이고, 그 범위는 -1000 내지 1000이며, 숫자는 인덱스를 나타낸 것이다.10A shows a straight line on the bird's eye view corner image, 10B shows a straight line on the bird's eye view corner image as a curve on the hop space image, and 10C shows a three-dimensional butterfly shape curve on the hop space image. Here, the θ axis is represented by a resolution of 0.2 °, the range is -90 ° to 90 °, the number represents the index. In addition, the d-axis is represented by the resolution of 1 pixel, the range is -1000 to 1000, the number represents the index.
본 발명에서는 주차 구획 표시의 표시선분의 폭이 거의 일정하다고 가정하고, 모서리 이미지 상에서 일정한 거리만큼 떨어져 평행한 두 선분을 찾음으로써 표시선분을 찾는다.In the present invention, it is assumed that the width of the display line segment of the parking partition display is substantially constant, and the display line segment is found by finding two parallel line segments separated by a predetermined distance on the corner image.
도 11은 조감도 모서리 이미지 상의 두 개의 평형한 직선을 호프 공간 이미지 상에서 나타낸 예시도이다.11 is an exemplary diagram showing two parallel straight lines on a bird's eye view corner image on a hop space image.
11A는 조감도 모서리 이미지 상의 두 개의 평행한 직선을 나타낸 것이고, 11B는 두 개의 평행한 직선이 호프 공간 이미지 상의 다수 개의 곡선으로 나타난 것이며, 11C는 호프 공간 이미지 상의 일부를 확대한 것이며, 11D는 호프 공간 이 미지 상의 다수 개의 곡선을 나비 모양의 3차원으로 나타내 것이다. 여기서, θ축은 0.2˚의 해상도로 나타낸 것이고, 그 범위는 -90˚내지 90˚이며, 숫자는 인덱스를 나타낸 것이다. 또한, d축은 1 픽셀의 해상도로 나타낸 것이고, 그 범위는 -1000 내지 1000이며, 숫자는 인덱스를 나타낸 것이다.11A shows two parallel straight lines on the bird's eye view corner image, 11B shows two parallel straight lines as multiple curves on the hop space image, 11C shows an enlarged part of the hop space image, and 11D shows a hop space. Multiple curves on the image will be presented in three dimensions of a butterfly shape. Here, the θ axis is represented by a resolution of 0.2 °, the range is -90 ° to 90 °, the number represents the index. In addition, the d-axis is represented by the resolution of 1 pixel, the range is -1000 to 1000, the number represents the index.
도 11에서 도시한 바와 같이, 일정한 거리 W만큼 떨어져 평행한 두 선분에 대한 호프 변환 결과를 보면, 호프 공간 이미지 상에서 특징적인 피크쌍을 형성함을 알 수 있다. 각 선분에 해당하는 두 개의 피크는 같은 θ값을 갖고, d축 상에서 W만큼 떨어져 있다. 또, 두 개의 피크의 크기는 거의 같으며, 두 피크 사이에는 깊은 골이 생긴다. 이와 같은 특징을 주차장의 조감도에 적용하면, 도 12와 같이 나타날 수 있다.As shown in FIG. 11, the hop transform results of two parallel line segments separated by a certain distance W form a characteristic peak pair on the hop space image. The two peaks corresponding to each line segment have the same θ value and are separated by W on the d-axis. In addition, the two peaks are about the same size, and a deep valley is formed between the two peaks. When such a feature is applied to the bird's eye view of the parking lot, it may appear as shown in FIG. 12.
도 12는 주차장 조감도의 여러 개의 평행한 직선을 호프 공간 이미지 상에서 나타낸 예시도이다.12 is an exemplary view showing several parallel straight lines of the parking lot bird's eye view on the hop space image.
도 8의 8B와 같은 주차장의 조감도의 이진 모서리 이미지에 대한 호프 변환 결과를 표시하면 도 12와 같이 나타낼 수 있다. 즉, 12A와 같은 주차장의 표시선분마다 전술한 특징을 갖는 피크쌍이 존재하는 것을 확인할 수 있다. 이 경우, 찾고자 하는 특징인 주차구획표시선분이 호프 공간 이미지 상에서 매우 특징적인 패턴을 나타내므로, 이진 모서리 이미지에서 통상적인 호프 변환으로 직선을 인식하는 것보다 피크쌍을 직접 인식하는 것이 효과적이며 속도면에서도 효율적임을 알 수 있다. 이진 모서리 이미지의 호프 공간을 3차원적으로 관찰하면, 각각의 피크를 찾는 것이 얼마나 어려운 작업이 될지를 예상할 수 있다.When the hop transform result of the binary edge image of the bird's eye view of the parking lot as shown in 8B of FIG. 8 is displayed, it may be represented as shown in FIG. 12. That is, it can be confirmed that there is a peak pair having the above-described feature for every display line of the parking lot such as 12A. In this case, since the parking segment display segment, which is the characteristic to be searched, shows a very characteristic pattern on the hop space image, it is more effective to recognize the peak pair directly than to recognize the straight line in the binary edge image by the conventional hop transform. It can be seen that even in the efficient. By looking at the hop space of a binary edge image in three dimensions, one can predict how difficult it will be to find each peak.
6. 호프 공간 이미지 상의 피크쌍 검출6. Peak Pair Detection on Hope Spatial Image
호프 공간 상에서 같은 θ값을 가지면서 d축에서 일정거리 W만큼 떨어져 있는 호프 공간 상의 피크쌍은 일차원 필터링(Filtering)과 클러스터링(Clustering)에 의하여 찾을 수 있다. 피크 주변의 분산을 의미하는 나비 모양(Butterfly Pattern)의 날개 폭과 시작 지점은 선분의 길이와 위치에 의존하기 때문에, 찾고자 하는 피크쌍에 대한 θ축 방향의 일반적인 규칙은 발견하지 못한다.The peak pairs on the hop space having the same θ value on the hop space and separated by a predetermined distance W from the d axis can be found by one-dimensional filtering and clustering. Since the wing width and the starting point of the butterfly pattern, which means the dispersion around the peak, depend on the length and position of the line segment, the general rule of the θ-axis direction for the peak pair to find is not found.
따라서, 호프 공간 상에서 피크쌍에 대해 d축 방향으로 1차원 필터링을 수행함으로써 피크쌍의 후보 점들을 검출하고, 형태학상 확장(Morphological Dilation)과 연결 요소(Connected Component) 탐색을 통하여 클러스터(Cluster)를 검출한다. 이를 통해, 클러스터의 무게 중심이 피크쌍에 해당하는 주차 구획 표시의 표시선(Marking Line)의 훌륭한 추정치 임을 알 수 있다.Therefore, candidate points of the peak pair are detected by performing one-dimensional filtering on the peak pair in the hop space in the d-axis direction, and clusters are searched through morphological dilation and connected component search. Detect. Through this, it can be seen that the center of gravity of the cluster is an excellent estimate of the marking line of the parking section marking corresponding to the peak pair.
도 13은 본 발명의 바람직한 실시예에 따른 피크쌍 검출 과정을 설명하기 위한 예시도이다.13 is an exemplary view for explaining a peak pair detection process according to a preferred embodiment of the present invention.
도 13을 참조하면 호프 공간 이미지 상의 피크쌍을 검출하는 방정식을 수학식 7과 같이 도출할 수 있다.Referring to FIG. 13, an equation for detecting peak pairs on a hop spatial image may be derived as shown in Equation 7 below.
도 14는 본 발명의 바람직한 실시예에 따라 호프 공간 이미지 상에서 피크쌍을 검출하는 방법을 설명하기 위한 예시도이다.14 is an exemplary diagram for describing a method of detecting peak pairs on a hop spatial image according to a preferred embodiment of the present invention.
여기서, HS(θ,d)는 호프 공간 요소(Element)의 값으로 주어진 θ와 d를 파라미터로 하는 직선에 대한 모서리 이미지 상의 픽셀들의 컨트리뷰션(Contribution)의 합이다. 호프 공간 상의 검사 대상 좌표가 (θ,d)일 때, HS(θ,d), HS(θ,d-W), HS(θ,d+W)는 골(Valley)이고, HS(θ,d-W/2), HS(θ,d+W/2)가 피크일 때, (θ,d)가 표시선임을 알 수 있다. 피크 검사 위치의 HS(θ,d) 값을 각각 PA, PB라 할 때, 검사 대상 좌표와 피크 사이 변위가 표시선분의 폭에 의존하는 점을 고려하여 일정 범위 내에서 최대값을 구함으로써 검출의 강인성(Robustness)을 확보하였다.Here, HS (θ, d) is the sum of the contributions of the pixels on the corner image with respect to a straight line with θ and d as parameters of the hop space element. When the inspection target coordinate in the hop space is (θ, d), HS (θ, d), HS (θ, dW), and HS (θ, d + W) are valleys and HS (θ, dW / 2) It can be seen that (θ, d) is the display line when HS (θ, d + W / 2) is the peak. When the HS (θ, d) values of the peak inspection positions are P A and P B , respectively, the maximum value is determined within a predetermined range by considering that the displacement between the inspection target coordinate and the peak depends on the width of the display line segment. Robustness of the detection was ensured.
S(θ,d)는 d축 방향 1차원 필터링을 적용한 값이고, S(θ,d)가 양수일 때만 유사한 L(θ,d)가 0 내지 1 사이 값으로 정의된다. 골의 값이 모두 0일 때 S(θ,d)는 PA+PB로 최대값을 갖기 때문에, S(θ,d)를 PA+PB로 나누는 것은 0 내지 1 사이로 일반화 하기 위함이다. 여기에, PA+PB의 최소값과 최대값의 비율을 곱하는 것은 두개의 피크가 서로 같은 크기를 가지는 경우에 가중치를 두어 평가하기 위함이다. 이렇게 구해진 L(θ,d)가 임계치 θdual peak보다 클 경우, 호프 공간 상의 한 점(θ,d)은 표시선의 후보가 된다.S (θ, d) is a value obtained by applying one-dimensional filtering in the d-axis direction, and similar L (θ, d) is defined as a value between 0 and 1 only when S (θ, d) is positive. Since S (θ, d) has a maximum value of P A + P B when the valleys are all zero, dividing S (θ, d) by P A + P B is intended to generalize between 0 and 1. . Here, multiplying the ratio of the minimum and maximum values of P A + P B is to evaluate the weighted values when the two peaks have the same size. When L (θ, d) thus obtained is larger than the threshold θ dual peak , one point θ, d on the hop space becomes a candidate for the display line.
전술한 바와 같이 예측한 표시선 후보들은 호프 공간 이미지 상에서 클러스터를 이루지만, 모서리 선분의 두께, 길이 등에 따라 클러스터에 연결되지 못한 후보들도 생긴다. 이와 같은 이진화의 단점을 보완하기 위하여, 5x5 사각형 모양의 커널(Kernel)을 이용한 확장(Dilation)을 수행하여 클러스터를 검출하면, 클러스터의 무게 중심이 표시선의 파라미터임을 확인할 수 있다.As described above, the predicted display line candidates form a cluster on the hop space image, but some candidates may not be connected to the cluster according to the thickness and length of the edge segment. In order to compensate for such a disadvantage of binarization, when a cluster is detected by performing a dilation using a 5 × 5 square kernel, the cluster's center of gravity is a parameter of the display line.
도 14는 클러스터의 검출로 주차구획표시선을 추출하는 과정을 설명하기 위한 예시도이다.14 is an exemplary view for explaining a process of extracting a parking section display line by detecting a cluster.
14A는 호프 공간 이미지 상에서 검출된 클러스터 후보들을 나타낸 것이고, 14B는 호프 공간 이미지 상에서 클러스터 후보들의 무게 중심을 나타낸 것이며, 14C는 클러스터 후보들의 무게 중심으로 추정한 조감도 모서리 이미지 상의 주차구획표시선을 나타낸 것이며, 14D는 호프 공간 이미지 상에서 추정한 주차구획표시선을 D 좌표계로 표현한 것이다.14A shows the cluster candidates detected on the hop space image, 14B shows the center of gravity of the cluster candidates on the hop space image, 14C shows the parking block line on the bird's eye view corner image estimated by the center of gravity of the cluster candidates, 14D expresses the parking segment display line estimated on the hop space image in D coordinate system.
7. 주차구획표시선분(Marking Line-Segment) 인식7. Recognition of Marking Line-Segment
검출된 주차구획표시선 상에서 표시선분의 조건을 만족하는 구간을 검출하여, 주차구획표시선분을 인식한다. 이때, 표시선분의 조건은 호프 공간 상에서 피 크쌍을 찾을 때 사용한 사전 지식(Prior Knowledge)과 같다. 즉, 표시선분은 일정한 거리 W만큼 떨어져서 평행한 두 모서리 선분으로 구성된다.A section that satisfies the condition of the display line segment is detected on the detected parking section display line, and the parking section display line segment is recognized. In this case, the condition of the display line segment is the same as prior knowledge used to find the peak pair in the hop space. That is, the display line segment is composed of two edge segments parallel to each other by a predetermined distance W.
도 15는 조감도 모서리 이미지에서 주차구획표시선의 끝점을 구하는 과정을 설명하기 위한 예시도이다.FIG. 15 is an exemplary diagram for describing a process of obtaining an end point of a parking segment display line from a bird's eye view corner image.
주차구획표시선의 조감도 모서리 이미지의 범위 내의 두 끝점을 구하기 위해, 15A에 도시한 바와 같이, 차량의 카메라에서 더욱 가까운 점을 P0(x0,y0)라고 하고 더욱 먼 점을 P1 (x1,y1)이라고 하면, P0에서 P1 방향으로 진행하면서 표시선분의 조건을 만족하는지를 검사한다.To find the two endpoints within the range of the bird's eye view corner image, as shown in 15A, the point closer to the vehicle's camera is called P 0 (x 0 , y 0 ) and the farther point is P 1 (x 1 , y 1 ), it is checked from the P 0 to P 1 direction to see if the condition of the display line is satisfied.
15B에 도시한 바와 같이, 주차구획표시선의 중심부에는 모서리 픽셀이 없고 표시선 경계에는 모서리 픽셀이 있는지를 검사하여, P0에서 s만큼 떨어진 선분 P0P1 상의 점 P(s)의 우도(Likelihood) L(s)를 0 내지 1 범위의 값으로 평가한다. P0P1 방향의 단위 벡터(Unit Vector) d는 직선의 방정식으로부터 수학식 8과 같이 구할 수 있다. d에 수직인 단위 벡터 n은 d를 90˚만큼 회전시켜 구할 수 있다. P0에서 s만큼 떨어진 선분 P0P1 상의 점 P(s)는 P0에 d와 거리 s의 곱을 더하여 구할 수 있고, 여기에 n과 수직 거리 w의 곱을 더하여 표시선 경계점 B(s,w)를 구할 수 있다. 중심부와 표시선 경계에서 모서리 픽셀이 있는지를 검사할 때, 잡음 강인성을 높이기 위하여 수직방향으로 여러 개의 픽셀을 검사한다.As shown in 15B, the likelihood of the point P (s) on the line segment P 0 P 1 separated by P 0 by s is examined by checking whether there is no corner pixel at the center of the parking zone indicator line and corner pixel at the boundary of the display line. Evaluate L (s) with values ranging from 0 to 1. The unit vector d in the P 0 P 1 direction can be obtained as shown in
도 16은 주차구획표시선분을 인식하는 과정을 설명하기 위한 순서도이다.16 is a flowchart for explaining a process of recognizing parking segment display line segments.
표시선분의 시점 Pstart과 종점 Pstop을 결정하기 위해서 L(s)에 대하여 임계치를 적용함에 있어 히스테리시스(Hysteresis)를 사용함으로써, 잡음 강인성을 개선할 수 있었다. 시점을 결정할 때는 L(s)가 W/2 동안 계속적으로 임계치 θstart check보다 커야 하고, 종점을 결정할 때는 L(s)가 W/2 동안 계속적으로 임계치 θstop check보다 작도록 한다. 이를 통해, L(s)의 짧은 구간 동안의 변화가 시점과 종점을 잘못 인식하게 하는 것을 방지할 수 있다. 이때, 카메라에서 가까운 점 P0에서 P1방향으로 검색하기 때문에, Pstart가 Pstop보다 카메라로부터 더 가깝게 설정된다.By using hysteresis in applying a threshold value to L (s) to determine the start point P start and the end point P stop of the display line segment, the noise robustness can be improved. When determining the start point, L (s) must be continuously greater than the threshold θ start check for W / 2, and when determining the end point, L (s) is continuously smaller than the threshold θ stop check for W / 2. Through this, it is possible to prevent the change during the short interval of L (s) to be mistaken for the starting point and the end point. At this time, since the camera searches in the direction of P 1 from the point P 0 close to the camera, P start is set closer to the camera than P stop .
도 17은 조감도 상에서 주차구획표시선분의 인식 결과를 나타낸 예시도이다.17 is an exemplary view illustrating a recognition result of a parking section display line segment on a bird's eye view.
도 16과 같이 조감도 모서리 이미지 상에서 주차구획표시선분을 인식한 결과가 도 17에 도시한 바와 같이 조감도에서 나타난다. 여기서, 빨간 점은 시점을 나타내고, 파란 점은 종점을 나타낸다.As shown in FIG. 17, the result of recognizing the parking segment display segment on the bird's eye view corner image as shown in FIG. 16 is shown in the bird's eye view. Here, the red dot represents the start point and the blue dot represents the end point.
8. 가이드라인(Guideline) 인식8. Guidelines Recognition
전술한 바와 같이, 인식된 주차구획표시선분들 중에서 카메라(112)로부터의 거리가 더욱 가깝고 시선 방향에 더욱 수직한 선분을 선택함으로써 가이드라인을 인식할 수 있다. 가이드라인이란 주차구획표시를 이루는 표시선분 들 중에서 주차장과 도로의 경계를 나타내는 표시선분으로서, 주차구획 인식의 기준이 되는 가장 중요한 선분이다.As described above, the guideline may be recognized by selecting a line segment closer to the distance from the
점에서 선분까지의 거리는 수선의 발(Foot of Perpendicular)의 위치에 따라 점에서 선까지의 거리나 점에서 양 끝점까지의 거리의 최소값 중 하나를 선택한다. 즉, 수선의 발이 선분 안에 있으면 점에서 선분까지의 거리는 점에서 수선의 발까지의 거리이고, 수선의 발이 선분 밖에 있으면 점에서 양 끝점까지의 거리 중 작은 값을 선택한다. 수선의 발 PC(XC,YC)는 점 P(XP,YP)를 지나면서 선분 S에 수직인 직선과 선분의 연장선(y=ax+b)과의 교점으로 정의된다. 선분의 양 끝점을 E1, E2라고 할 때, 수선의 발 PC가 양 끝점 사이에 있는지는 벡터 PCE1과 PCE2의 내적의 부호로 판단할 수 있다. 즉 내적의 부호가 음수이면 수선의 발이 양 끝점 사이에 있고, 내적의 부호가 양수이면 수선의 발이 양 끝점 밖에 있다. 이를 수학식과 도면으로 나타내면, 수학식 9와 도 18과 같이 나타낼 수 있다.The distance from the point to the line segment is either the minimum value of the distance from the point to the line or the distance from the point to the end point, depending on the location of the foot of perpendicular. That is, if the foot of the repair line is within the line segment, the distance from the point to the line is the distance from the point to the repair line. If the foot of the repair line is outside the line segment, the smaller value is selected from the distance from the point to both end points. The repair foot P C (X C , Y C ) is defined as the intersection of the straight line perpendicular to the line segment S and the extension line (y = ax + b) passing through the point P (X P , Y P ). When the end points of the line segments are E 1 and E 2 , it can be determined by the sign of the dot product of the vectors P C E 1 and P C E 2 whether the feet P C of the repair line are between the two ends. In other words, if the sign of the dot product is negative, the foot of the waterline is between both ends, and if the sign of the dot product is positive, the foot of the waterline is outside both ends. This may be represented by Equations 9 and 18 as shown in Equations and drawings.
도 18은 가이드라인을 인식하기 위한 벡터를 나타낸 예시도이다. 18A는 수선 의 발이 선분 안에 있는 경우를 나타낸 것이고, 18B는 수선의 발이 선분 밖에 있는 경우를 나타낸 것이다.18 is an exemplary diagram illustrating a vector for recognizing a guideline. 18A shows the case where the foot of the repair is within the line segment, and 18B shows the case where the foot of the repair is outside the line segment.
주차구획표시선분의 경우, 카메라에서 가까운 끝점을 PStsrt로 먼 끝점을 PStop으로 정의하였기 때문에, 수학식 9를 수학식 10과 같이 단순화 시킬 수 있다.In the case of the parking segment display segment, since the end point close to the camera is defined as P Stsrt and the far end point is defined as P Stop , Equation 9 can be simplified as shown in Equation 10.
도 19는 표시선분의 끝점의 검출위치와 관계없이 가이드라인을 안정적으로 검출하는 과정을 설명하기 위한 예시도이다.19 is an exemplary diagram for describing a process of stably detecting a guideline regardless of a detection position of an end point of a display line segment.
가이드라인은 카메라 시선 방향에 수직일 가능성이 높다는 점을 이용하여 표시선분까지의 거리를 보정함으로써, 표시선분 끝점의 검출위치에 무관하게 가이드라인을 안정적으로 검출할 수 있다. 표시선분이 시선방향에 대하여 수직인 정도는 카메라에서 선분 시점 Pstart으로 향하는 단위벡터 u(P,Pstart)와 선분의 시점 Pstart에서 종점 Pstop으로 향하는 단위벡터 u(Pstart,Pstop)의 내적으로 평가한다. 이 내적은 선분이 시선 방향에 수직일수록 작아지기 때문에, 카메라에서 표시선분까지의 거리와 이 내적의 곱이 작을수록 가이드라인일 가능성이 크다고 할 수 있다. 점 P에서 선분 S까지의 수정된 거리 D(P,S)는 다음과 같이 정의되고, 가이드라인은 수정된 거리가 최소인 표시선분으로 결정한다. 위 그림에서 구획선분 S2의 시점이 가이드라인 S1의 시점보다 가깝게 존재해도 시선방향과 비슷한 방향을 갖기 때문에 가이드라 인에 비하여 큰 수정 거리를 갖는다. The guideline can be stably detected regardless of the detection position of the end point of the display line by correcting the distance to the display line using the fact that the guide line is likely to be perpendicular to the direction of the camera line of sight. Display segments The extent directed from the camera to the line segment point P start unit vectors u (P, P start) and a unit vector directed to the end point P stop at a time point P start of the segment u (P start, P stop) perpendicular with respect to the viewing direction Evaluate internally. Since the dot product becomes smaller as the line segment is perpendicular to the line of sight, the smaller the product of the dot product with the distance from the camera to the display line segment, the more likely it is to be a guideline. The modified distance D (P, S) from the point P to the line segment S is defined as follows, and the guideline is determined as the display line segment with the smallest modified distance. In the above figure, even though the viewpoint of the partition line segment S 2 is closer than the viewpoint of the guideline S 1 , it has a direction similar to the visual direction, and thus has a larger correction distance than the guideline.
도 20은 본 발명의 바람직한 실시예에 따라 가이드라인을 인식한 결과를 나타낸 예시도이다.20 is an exemplary view illustrating a result of recognizing a guideline according to a preferred embodiment of the present invention.
전술한 바와 같은 것을 수학식으로 나타내면 수학식 11과 같이 정의되고, 가이드라인을 인식한 결과는 도 20과 같이 나타난다.As described above, the equation is defined as in Equation 11, and the result of recognizing the guideline is shown in FIG.
9. 구분표시선분(Dividing Marking Line-Segment) 인식9. Recognition of Dividing Marking Line-Segment
가이드라인을 따라 주차구획표시선분의 위의 명암(Intensity)과 바깥쪽 명암의 차를 이용하여, 주차구획표시의 구분표시선분을 인식할 수 있다. 주차구획표시는 주차구획과 도로를 구분 짓는 가이드라인과 이에 수직한 구분표시선분으로 구성된다. 주차구획표시선분의 위의 명암과 바깥쪽 명암이 주변에 비하여 월등히 작아지는 부분을 검출함으로써, 가이드라인과 구분표시선분의 'T'자형 결합(Junction)을 성공적으로 인식할 수 있다. 특히, 가이드라인의 주차구획표시선분뿐만 아니라 가이드라인의 연장선 전체를 검출함으로써, 호프 공간 이미지 상에서 피크쌍으로 인식할 수 없었던 카메라(112)로부터 먼 곳의 불명확한(Blur) 구분표시선도 인식할 수 있다. 가이드라인의 연장선이 조감도 경계와 카메라(112) 반대쪽에서 만나는 시점에서 가이드라인 방향의 단위 벡터 d방향으로 s만큼 떨어진 점의 주차구획표시선분의 위의 명암 ION(s)과 바깥 명암 IOFF(s)은 수학식 12와 같이 정의된다.According to the guideline, the difference between the intensity above the parking compartment marking line and the intensity of the outside light can be used to recognize the segmentation line segment of the parking compartment mark. Parking zone markings consist of guidelines that separate parking zones and roads, and vertical segmentation lines. By detecting a portion where the contrast and the outer contrast of the parking compartment mark segment are significantly smaller than the surroundings, the 'T'-Junction of the guideline and the segment mark segment can be successfully recognized. In particular, by detecting not only the parking division mark line of the guideline but also the entire extension line of the guideline, it is possible to recognize an unclear (Blur) dividing line far from the
이때, n은 d에 수직하면서 카메라(112)에서 멀어지는 방향의 단위 벡터이고, W는 주차구획표시선분의 폭을 나타낸다. B(P)는 조감도 상의 점 P(x,y)의 명암을 의미한다. In this case, n is a unit vector in a direction away from the
도 21는 본 발명의 바람직한 실시예에 따르 구분표시선분을 인식하는 과정을 설명하기 위한 예시도이다.21 is an exemplary diagram for describing a process of recognizing a segment display line segment according to an exemplary embodiment of the present invention.
전술한 바와 같이, 가이드라인의 주차구획표시선분의 위쪽 명암과 바깥쪽 명암의 차이를 이용하여 도 21에 도시한 바와 같이 구분표시선분을 인식할 수 있다.As described above, the division display line segment can be recognized as shown in FIG. 21 by using the difference between the upper contrast and the outer contrast of the parking compartment display segment of the guideline.
수학식 12와 같은 수식을 그래프로 나타내면 도 22과 같이 도시할 수 있다.If the equation shown in
도 22은 조감도의 가이드라인 연장선과 ION과 IOFF를 나타낸 예시도이다.22 is an exemplary view showing guidelines extension lines and I ON and I OFF of a bird's eye view.
ION(s)과 IOFF(s) 사이 차의 ION(s)에 대한 비율을 Ldividing(s)라 하고, Ldividing(s)가 임계치 θdividing보다 작은 구간이 W/2보다 길 때, 구분표시선분으로 인식한다. 수학식 13은 ION(s)과 IOFF(s)를 ividing(s)로 일반화한 수학식을 나타낸 것이다. The ratio of the difference between I ON (s) and I OFF (s) for I ON (s) is called L dividing (s), and when L dividing (s) is less than the threshold θ dividing longer than W / 2 It is recognized as a segmentation line segment. Equation 13 shows the generalization of I ON (s) and I OFF (s) by ividing (s).
일반적으로, 조명 밝기가 일정하지 않아서 ION과 IOFF가 그 값이 크게 변화하지만, 특정 s에서 ION(s)과 IOFF(s)가 비슷한 정도로 변화함을 알 수 있다. 따라서, 두 값의 차이를 ION(s)로 나눔으로써, 0 내지 1 사이 값으로 일반화(Normalization) 함과 동시에 조명 밝기의 영향을 제거할 수 있다.In general, the lighting brightness is not constant, so the values of I ON and I OFF vary greatly, but it can be seen that I ON (s) and I OFF (s) change in a similar degree at a specific s. Therefore, by dividing the difference between the two values by I ON (s), it is possible to normalize to a value between 0 and 1, and at the same time remove the influence of the illumination brightness.
도 23은 Ldividing(s)와 임계치를 나타낸 예시도이고, 도 24는 구분표시선분의 인식결과를 나타낸 예시도이다.FIG. 23 is an exemplary diagram showing L dividing (s) and a threshold value, and FIG. 24 is an exemplary diagram showing a recognition result of segmented display lines.
10. Occlusion 영향 분석10. Occlusion Impact Analysis
본 발명에 바람직한 실시예에 따른 주차구획 인식 방법은 빈 주차구획 옆에 자동차들이 주차되어 있는 상황에서도 성공적으로 수행될 수 있다.The parking compartment recognition method according to an exemplary embodiment of the present invention can be successfully performed even in a situation in which cars are parked next to an empty parking compartment.
도 25는 본 발명의 바람직한 실시예에 따른 주차구획 인식 방법에 따라 주차구획을 인식한 결과를 나타낸 예시도이다.25 is an exemplary view illustrating a result of recognizing a parking compartment according to a parking compartment recognition method according to a preferred embodiment of the present invention.
차양을 포함한 장애물은 도 25에 도시한 바와 같이, 조감도에서 방사형의 심각한 왜곡(severe distortion in a radial manner)을 발생시킨다. 25A는 왜곡 보정 영상 상에서 장애물이 존재하는 모습을 나타낸 것이다. 25B는 조감도 상에서 장애물에 의한 왜곡이 발생한 모습을 나타낸 것이다. 25C는 조감도 모서리 이미지 상에서 피크쌍을 검출하여 제거된 왜곡을 나타낸 것이다. 25D는 조감도 상에서 잘못 인식된 주차구획표시선분에도 불구하고 성공적으로 인식된 가이드라인을 나타낸 것이다. 25E는 Ldividing의 계산 결과를 나타낸 것이다. 25F는 조감도 상에서 추가로 구분 표시선분을 인식한 결과를 나타낸 것이다.Obstacles including sunshade cause a severe distortion in a radial manner in the bird's eye view, as shown in FIG. 25. 25A shows an obstacle on the distortion corrected image. 25B shows distortion caused by obstacles on the bird's eye view. 25C shows the distortion removed by detecting peak pairs on the aerial view edge image. The 25D shows guidelines that were successfully recognized despite the parking segment markers that were incorrectly recognized in the bird's eye view. 25E shows the result of the calculation of L dividing . 25F shows the result of recognizing the additional segmentation segment on the bird's eye view.
조감도는 평면 표면 억제(Plane Surface Constraints)를 전제하여 만들어 지는데, 장애물은 이러한 전제 조건을 만족하지 않기 때문에 발생한다. 즉, 바닥면에 속하지 않는 장애물은 먼 바닥에 늘어져 그려진 것과 같이 사영된다. 특히, 어두운 바탕에 밝은 색 물체는 길게 늘어지면서 주차구획표시선분과 혼돈 될 수 있는 왜곡을 만들어 낸다. 본 발명의 바람직한 실시예에 따른 주차구획 인식방법에서는 2단계에 걸쳐 이러한 왜곡을 제거하고 있다.The bird's eye view is created on the premise of Plane Surface Constraints, because the obstacles do not meet these prerequisites. That is, obstacles which do not belong to the floor surface are projected as drawn on the distant floor. In particular, the light objects on the dark background elongate, creating a distortion that can be confused with the parking segment marking line. In the parking lot recognition method according to the preferred embodiment of the present invention, such distortion is eliminated in two steps.
1) 조감도 모서리 이미지 상에서 주차구획표시선분은 일정한 거리만큼 떨어져 평행한 두개의 모서리로 나타난다. 따라서, 이를 만족하지 않는 왜곡들은 호프 공간 이미지 상에서 피크쌍의 인식 과정과 주차구획표시선분 인식 과정에서 제거된다.1) On the bird's eye view corner image, the parking segment indicator segments appear as two parallel edges separated by a certain distance. Therefore, the distortions that do not satisfy this are removed in the peak pair recognition process and the parking segment display segment recognition process on the hop space image.
2) 빈 주차구획 옆에 자동차가 정상적으로 주차되어 있다면, 이러한 차량이 조감도에서 발생시킨 왜곡은 가이드라인보다 시선 방향으로 더욱 멀리 존재한다. 따라서, 본 발명의 바람직한 실시예에 따른 주차구획 인식 방법은 자동차의 왜곡에도 불구하고 성공적으로 가이드라인을 인식할 수 있다. 일단, 가이드라인이 성공적으로 인식되면, 가이드라인에 'T' 자로 연결된 구분표시선분을 인식함으로써 기타 잡음을 제거할 수 있다.2) If a car is normally parked next to an empty parking section, the distortion caused by the vehicle's bird's eye view is farther away than the guideline. Therefore, the parking compartment recognition method according to the preferred embodiment of the present invention can successfully recognize the guidelines despite the distortion of the vehicle. Once the guideline has been successfully recognized, other noise can be removed by recognizing the segmentation line connected by the letter 'T' in the guideline.
특히, 조명이 어두워서 주차구획표시선의 많은 부분에서 모서리가 검출되지 않아도 가이드라인은 길고 확연한 모서리로 나타나는 경향이 있기 때문에, 가이드라인을 성공적으로 인식할 수 있다. 일단 가이드라인이 인식되면, 주차구획표시선 분을 인식하는 데에서 발견되지 못했던 구분표시선분까지 인식하여 주차구획표시를 성공적으로 인식할 수 있다.In particular, since the guideline tends to appear as long and sharp edges even when the lighting is dark and many corners of the parking lot indicator line are not detected, the guideline can be recognized successfully. Once the guideline is recognized, it is possible to recognize the parking compartment mark successfully by recognizing the segmentation line segment not found in the recognition of the parking compartment mark line.
도 26는 역광에서의 구분표시선분을 인식하는 과정을 나타낸 예시도이다.FIG. 26 is an exemplary view illustrating a process of recognizing segment display line segments in backlight. FIG.
26A는 왜곡 보정 영상에서 역광을 촬영한 모습을 나타낸 것이다. 26B는 조감도 모서리 이미지 상에서 주차표시의 일부에서만 모서리가 검출된 경우를 나타낸 것이다. 26C는 조감도 상에서 가이드라인 인식한 결과를 나타낸 것이다. 26D는 조감도 상에서 주차구획의 인식결과 추가로 구분표시선분을 인식한 것을 나타낸 것이다.26A shows the back light in the distortion correction image. 26B shows a case where an edge is detected only in a part of the parking mark on the bird's eye view corner image. 26C shows the result of the guideline recognition on the bird's eye view. 26D shows the recognition of the segmented line segment in addition to the recognition result of the parking section on the bird's eye view.
도 27은 빛이 반사하는 경우의 구분표시선분을 인식하는 과정을 나타낸 예시도이다.27 is an exemplary diagram illustrating a process of recognizing a segment display line segment when light is reflected.
27A는 왜곡 보정 영상에서 빛이 바닥에 반사되어 반짝거리는 모습을 나타낸 것이다. 27B는 조감도 모서리 이미지 상에서 빛의 반사와 옆차로 인해 잘못된 피크쌍을 많이 찾은 경우, 피크쌍 검출로 제거하는 모습을 나타낸 것이다. 27C는 조감도 상에서 주차구획표시선분 인식으로 잘못된 인식을 제거하는 모습을 나타낸 것이다. 27D는 조감도 상에서 가이드라인과 구분표시선분의 인식으로 잘못된 인식을 제거하는 모습을 나타낸 것이다.27A shows the reflection of light on the floor in the distortion correction image. 27B shows the detection of peak pairs when a large number of false peak pairs are found due to light reflection and side difference on the bird's eye view. The 27C shows the removal of the false recognition by recognizing the parking compartment segment on the bird's eye view. In the bird's eye view, the 27D removes false recognition by recognizing the guideline and the separator line.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아 니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The above description is merely illustrative of the technical idea of the present invention, and those skilled in the art to which the present invention pertains may make various modifications and changes without departing from the essential characteristics of the present invention. Accordingly, the embodiments disclosed in the present invention are not intended to limit the technical spirit of the present invention but to describe the present invention, and the scope of the technical spirit of the present invention is not limited by these embodiments. The protection scope of the present invention should be interpreted by the following claims, and all technical ideas within the equivalent scope should be interpreted as being included in the scope of the present invention.
이상에서 설명한 바와 같이 본 발명에 의하면, 차량에서 카메라의 영상을 이용하여 주차구획을 인식함으로써, 운전자가 주차하고자 하는 목표위치를 정확하고 편리하게 설정할 수 있다.As described above, according to the present invention, by recognizing the parking section using the image of the camera in the vehicle, it is possible to accurately and conveniently set the target position to be parked by the driver.
또한, 주차 공간에 표시된 주차구획이 일정한 폭을 갖는 점을 활용하여 일정한 거리만큼 떨어져서 동일한 기울기를 갖는 호프 공간 상의 피크쌍을 검출함으로써, 주차구획표시선을 정확하게 인식할 수 있다.In addition, the parking compartment display line can be accurately recognized by detecting the peak pairs on the hop space having the same inclination by being separated by a certain distance by utilizing the point where the parking compartment displayed in the parking space has a constant width.
또한, 주차구획표시선들 중에서 카메라와 더욱 가깝고 카메라의 시선 방향에 더욱 수직인 주차구획표시선을 가이드라인으로 인식함으로써, 주차구획 인식에 큰 영향을 미치는 가이드라인을 인식할 수 있다.In addition, the parking section display lines closer to the camera and more perpendicular to the direction of the camera's line of sight as the guide lines may be recognized as guide lines, thereby recognizing the guidelines having a great influence on the parking section recognition.
또한, 가이드라인을 따라서 가이드라인의 위쪽 명암과 바깥쪽 명암을 대조하여 구분표시선분을 인식함으로써 주차구획을 정확하게 인식할 수 있다.In addition, the parking compartment can be accurately recognized by recognizing the segmentation line segment by contrasting the upper and the outer contrast of the guideline along the guideline.
또한, 가이드라인뿐만 아니라 그 연장선까지 명암을 대조하여 구분표시선분을 인식함으로써, 먼 곳의 카메라 영상에서 흐릿한 부분의 구분표시선분도 정확하게 인식할 수 있다.In addition, by distinguishing the contrast line not only the guide line but also the contrast line, the segment display line segment of the blurry part of the camera image from a remote location can be accurately recognized.
또한, 주차 공간에 장애물이 존재하는 경우에도 호프 공간 이미지 상의 피크 쌍 검출과 구분표시선분을 인식하는 과정을 통해 장애물에 의한 왜곡을 최소화할 수 있다.In addition, even when an obstacle is present in the parking space, distortion due to the obstacle may be minimized through the process of detecting the peak pair on the hop space image and recognizing the division display segment.
또한, 역광, 빛의 반사 등으로 인해 주차구획이 어려운 경우에도, 피크쌍 검출 방법, 가이드라인 인식 방법, 구분표시선분 인식 방법 등에 의해 잘못된 인식을 제거하여 주차구획을 정확하게 인식할 수 있다.In addition, even when parking compartment is difficult due to backlight, light reflection, etc., incorrect recognition may be eliminated by a peak pair detection method, a guideline recognition method, a division mark line recognition method, and the like, thereby accurately recognizing the parking compartment.
Claims (16)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020060089340A KR100816377B1 (en) | 2006-09-14 | 2006-09-14 | Method and Apparatus for Recognizing Parking Slot Marking by Using Hough Transformation and Parking Assist System Using Same |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020060089340A KR100816377B1 (en) | 2006-09-14 | 2006-09-14 | Method and Apparatus for Recognizing Parking Slot Marking by Using Hough Transformation and Parking Assist System Using Same |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20080024776A true KR20080024776A (en) | 2008-03-19 |
KR100816377B1 KR100816377B1 (en) | 2008-03-25 |
Family
ID=39412964
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020060089340A KR100816377B1 (en) | 2006-09-14 | 2006-09-14 | Method and Apparatus for Recognizing Parking Slot Marking by Using Hough Transformation and Parking Assist System Using Same |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR100816377B1 (en) |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103198705A (en) * | 2013-03-21 | 2013-07-10 | 电子科技大学 | Parking place state automatic detection method |
KR101428373B1 (en) * | 2013-03-19 | 2014-08-07 | 현대자동차주식회사 | Apparatus and method for determining available parking space |
US9117122B2 (en) | 2013-06-04 | 2015-08-25 | Hyundai Motor Company | Apparatus and method for matching parking-lot outline |
KR20160079511A (en) * | 2014-12-26 | 2016-07-06 | 현대자동차주식회사 | Device and method for recognizing parking stall |
US9467645B2 (en) | 2012-04-10 | 2016-10-11 | Hyundai Motor Company | System and method for recognizing parking space line markings for vehicle |
KR20160146231A (en) * | 2015-06-12 | 2016-12-21 | 현대모비스 주식회사 | Apparatus and method for preprocessing of image recognition |
KR101893391B1 (en) * | 2017-02-28 | 2018-08-30 | 주식회사 에스더블유엠 | Method and apparatus for providing adaptive parking guideline |
DE102019102561A1 (en) | 2019-02-01 | 2020-08-06 | Connaught Electronics Ltd. | Process for recognizing a plaster marking |
KR102260556B1 (en) * | 2020-03-26 | 2021-06-03 | 세종대학교산학협력단 | Deep learning-based parking slot detection method and apparatus integrating global and local information |
CN113313968A (en) * | 2021-05-18 | 2021-08-27 | 武汉光庭信息技术股份有限公司 | Parking space detection method and storage medium |
CN113566807A (en) * | 2020-04-28 | 2021-10-29 | 富华科精密工业(深圳)有限公司 | Automatic navigation method, navigation device and storage medium |
CN113657333A (en) * | 2021-08-23 | 2021-11-16 | 深圳科卫机器人科技有限公司 | Alert line identification method and device, computer equipment and storage medium |
CN113792601A (en) * | 2021-08-10 | 2021-12-14 | 武汉光庭信息技术股份有限公司 | Hoff straight line detection result-based parking space line fitting method and system |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101850794B1 (en) * | 2015-12-04 | 2018-04-20 | 엘지전자 주식회사 | Parking assist appratus and method for assisting parking |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20060134719A (en) * | 2005-06-23 | 2006-12-28 | 주식회사 만도 | Method for recognizing parking site of vehicle |
KR101072225B1 (en) * | 2005-06-23 | 2011-10-11 | 주식회사 만도 | Three-dimension recognition system of parking zone and its control method |
-
2006
- 2006-09-14 KR KR1020060089340A patent/KR100816377B1/en active IP Right Grant
Cited By (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9467645B2 (en) | 2012-04-10 | 2016-10-11 | Hyundai Motor Company | System and method for recognizing parking space line markings for vehicle |
CN104064052B (en) * | 2013-03-19 | 2017-12-19 | 现代自动车株式会社 | For determining the devices and methods therefor on available parking stall |
KR101428373B1 (en) * | 2013-03-19 | 2014-08-07 | 현대자동차주식회사 | Apparatus and method for determining available parking space |
CN104064052A (en) * | 2013-03-19 | 2014-09-24 | 现代自动车株式会社 | Apparatus For Determining Available Parking Space, And Method Thereof |
US9183748B2 (en) | 2013-03-19 | 2015-11-10 | Hyundai Motor Company | Apparatus for determining available parking space and method thereof |
CN103198705B (en) * | 2013-03-21 | 2015-05-27 | 电子科技大学 | Parking place state automatic detection method |
CN103198705A (en) * | 2013-03-21 | 2013-07-10 | 电子科技大学 | Parking place state automatic detection method |
US9117122B2 (en) | 2013-06-04 | 2015-08-25 | Hyundai Motor Company | Apparatus and method for matching parking-lot outline |
KR20160079511A (en) * | 2014-12-26 | 2016-07-06 | 현대자동차주식회사 | Device and method for recognizing parking stall |
KR20160146231A (en) * | 2015-06-12 | 2016-12-21 | 현대모비스 주식회사 | Apparatus and method for preprocessing of image recognition |
KR101893391B1 (en) * | 2017-02-28 | 2018-08-30 | 주식회사 에스더블유엠 | Method and apparatus for providing adaptive parking guideline |
DE102019102561A1 (en) | 2019-02-01 | 2020-08-06 | Connaught Electronics Ltd. | Process for recognizing a plaster marking |
KR102260556B1 (en) * | 2020-03-26 | 2021-06-03 | 세종대학교산학협력단 | Deep learning-based parking slot detection method and apparatus integrating global and local information |
CN113566807A (en) * | 2020-04-28 | 2021-10-29 | 富华科精密工业(深圳)有限公司 | Automatic navigation method, navigation device and storage medium |
CN113313968A (en) * | 2021-05-18 | 2021-08-27 | 武汉光庭信息技术股份有限公司 | Parking space detection method and storage medium |
CN113792601A (en) * | 2021-08-10 | 2021-12-14 | 武汉光庭信息技术股份有限公司 | Hoff straight line detection result-based parking space line fitting method and system |
CN113792601B (en) * | 2021-08-10 | 2024-01-12 | 武汉光庭信息技术股份有限公司 | Parking space line fitting method and system based on Hough straight line detection result |
CN113657333A (en) * | 2021-08-23 | 2021-11-16 | 深圳科卫机器人科技有限公司 | Alert line identification method and device, computer equipment and storage medium |
CN113657333B (en) * | 2021-08-23 | 2024-01-12 | 深圳科卫机器人科技有限公司 | Guard line identification method, guard line identification device, computer equipment and storage medium |
Also Published As
Publication number | Publication date |
---|---|
KR100816377B1 (en) | 2008-03-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100816377B1 (en) | Method and Apparatus for Recognizing Parking Slot Marking by Using Hough Transformation and Parking Assist System Using Same | |
KR101143176B1 (en) | Method and Apparatus for Recognizing Parking Slot Marking by Using Bird's Eye View and Parking Assist System Using Same | |
JP5867273B2 (en) | Approaching object detection device, approaching object detection method, and computer program for approaching object detection | |
CN104916163B (en) | Parking space detection method | |
JP3822515B2 (en) | Obstacle detection device and method | |
JP5787024B2 (en) | Three-dimensional object detection device | |
JP5900623B2 (en) | Three-dimensional object detection apparatus and three-dimensional object detection method | |
KR101517181B1 (en) | System and method for warning lane departure | |
JP6246014B2 (en) | Exterior recognition system, vehicle, and camera dirt detection method | |
JP2002197444A (en) | Run lane recognition device for vehicle | |
US10509971B2 (en) | Landmark recognition device and landmark recognition method using a database storing landmark extraction information | |
JP5754470B2 (en) | Road surface shape estimation device | |
CN110909705B (en) | Road side parking space sensing method and system based on vehicle-mounted camera | |
JP2008168811A (en) | Traffic lane recognition device, vehicle, traffic lane recognition method, and traffic lane recognition program | |
CN111091038A (en) | Training method, computer readable medium, and method and apparatus for detecting vanishing points | |
JP2007310706A (en) | Vehicle periphery monitoring device | |
CN109635737A (en) | Automobile navigation localization method is assisted based on pavement marker line visual identity | |
KR20140056790A (en) | Apparatus for image recognition and method thereof | |
JP2009245042A (en) | Traffic flow measurement device and program | |
CN108021849B (en) | Pedestrian early warning method and device | |
WO2011039977A1 (en) | Pedestrian-crossing marking detecting method and pedestrian-crossing marking detecting device | |
JP2021033510A (en) | Driving assistance device | |
JP2004355139A (en) | Vehicle recognition system | |
KR20120065558A (en) | Detection method vehicle in road using region of interest | |
JP4813304B2 (en) | Vehicle periphery monitoring device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20130121 Year of fee payment: 6 |
|
FPAY | Annual fee payment |
Payment date: 20131223 Year of fee payment: 7 |
|
FPAY | Annual fee payment |
Payment date: 20141222 Year of fee payment: 8 |
|
FPAY | Annual fee payment |
Payment date: 20151222 Year of fee payment: 9 |
|
FPAY | Annual fee payment |
Payment date: 20161222 Year of fee payment: 10 |
|
FPAY | Annual fee payment |
Payment date: 20171222 Year of fee payment: 11 |
|
FPAY | Annual fee payment |
Payment date: 20181226 Year of fee payment: 12 |
|
FPAY | Annual fee payment |
Payment date: 20191219 Year of fee payment: 13 |