KR20220151572A

KR20220151572A - IPM 이미지와 정밀도로지도(HD Map) 피팅을 통해 노면객체의 변화를 자동으로 판단하고 갱신하는 정밀도로지도 자동갱신 방법 및 시스템

Info

Publication number: KR20220151572A
Application number: KR1020220056145A
Authority: KR
Inventors: 최인구; 서승완; 박철현; 김기창; 김덕중
Original assignee: 한국도로공사; 주식회사유원지리정보시스템
Priority date: 2021-05-06
Filing date: 2022-05-06
Publication date: 2022-11-15

Abstract

본 발명은 자율주행 분야에서 지도 자동갱신 방법을 개시한다. 보다 상세하게는, 본 발명은 IPM으로 차량의 전면 카메라 이미지에서 원근 효과를 제거하고 2D 도메인으로 다시 매핑하여 정밀도로지도 영역과 피팅함으로써, 매우 낮은 계산 비용과 저가의 카메라 및 GPS/IMU 센서만으로도 높은 정확도의 갱신 결과를 얻을 수 있는 IPM 이미지와 정밀도로지도 피팅을 통해 노면객체의 변화를 자동으로 판단하고 갱신하는 정밀도로지도 자동갱신 방법 및 시스템에 관한 것이다.
본 발명의 실시예에 따르면, IPM 변환 이미지를 정밀도로지도와 매칭하는 방법으로 신속하게 도로시설물 객체의 갱신 여부를 판단하고, 객체의 공간좌표를 계산하는 것으로, IPM으로 Top-View 이미지 변환은 완전한 정사영상이 아니므로 정밀도로지도와 매칭 할 때 IMU 센서의 yaw 오차와 GPS의 위도, 오차를 보정함으로써 정확한 4DoF (X, Y, Z, Yaw에 대한)를 얻을 수 있는 효과가 있다.

Description

IPM 이미지와 정밀도로지도(HD Map) 피팅을 통해 노면객체의 변화를 자동으로 판단하고 갱신하는 정밀도로지도 자동갱신 방법 및 시스템{Method and System for change detection and automatic updating of road marking in HD map through IPM image and HD map fitting}

본 발명은 자율주행 분야에서 지도 자동 갱신 방법에 관한 것으로, 특히 IPM으로 차량의 전면 카메라 이미지에서 원근 효과를 제거하고 2D 도메인으로 다시 매핑하여 정밀도로지도 영역과 피팅함으로써, 매우 낮은 계산 비용과 저가의 카메라 및 GPS/IMU 센서만으로도 높은 정확도의 갱신 결과를 얻을 수 있는 IPM 이미지와 정밀도로지도 피팅을 통해 노면객체의 변화를 자동으로 판단하고 갱신하는 정밀도로지도 자동갱신 방법 및 시스템에 관한 것이다.

자율 주행, 운전자 지원 시스템 및 내비게이션과 관련된 거의 모든 최신 애플리케이션에서 도로 표시는 도로에서 스스로 위치를 파악할 수 있도록 하므로 중요하다(M. Schreiber, C. Knoppel, and U. Franke, “Laneloc: Lane marking based localization using highly accurate maps,” IEEE Intelligent Vehicles Symposium, 2013.).

자율 주행에 대한 많은 접근법(예; J. Ziegler, P. Bender, T. Dang, and C. Stiller, "Trajectory planning for bertha local, continuous method," IEEE Intelligent Vehicles Symposium, 2014.)은, 예를 들어 교통 차선과 정지선을 포함하는 고정밀지도를 사용하여 기동을 계획하고 다양한 교통 상황을 인식한다. 갱신 대상인 객체는 고속도로에서 도시 환경에 이르기까지 교통 밀도, 시야, 장애물 유형 (차량, 트럭, 자전거, 보행자 등), 도로 차선 수, 도로 서설물과 같은 많은 요인이 다양하다.

도로 및 차선 표시 감지는 카메라 기반 운전자 지원 시스템에서 중요한 주제이고 그 역사는 1990 년대 초반으로 거슬러 올라간다(E. Dickmanns, B. Mysliwetz, and T. Christians, "An intergrated spatio-temporal approach to automatic visual guidance of autonomous vehicles," IEEE Transactions on Systems, Man and Cybernetics, 1990.).

이 주제에 대한 접근 방식의 수가 매우 많다. 초기 작업의 대부분은 특히 고속도로(예 : P. Charbonnier, F. Diebolt, Y. Guillard, and F. Peyret, "Road markings recognition using image processing," IEEE Conference on Intelligent Transportatoin Systems, 1997., K. Kluge and S. Lakshamanan, "A deformable-template approach to lane detection," IEEE Intelligent Vehicles Symposium, 2005. 및, J. C. McCall and M. M. Trivedi, "An integrated robust approach to lane marking detection and lane tracking," IEEE Intelligent Vehicles Symposium, 2004.)에서 차선 표시 감지에 중점을 두었다.

보다 최근의 접근 방식은 도시 지역에서 도로 형상의 추적을 향하고 있다. 예를 들어, S. Vacec, C. Schimmel, and R. Dillman, "Road-marking analysis for antonomous vehicle guidance," European Conference on Mobile Robots, 2007.에서는 입자 필터를 활용하는 방법으로 노면 표시를 추적하는데 사용되었다. 이러한 접근 방식은 고정밀지도를 얻는데 필요한 객체 감지 또는 장면 이해가 아닌 대부분 추적 용도로 설계되었다. 도로 표시의 객체 기반 감지에 대한 한 가지 초기 접근 방식은 J. Rebut, A. Bensrhair, and G. Toulminet, "Image segmentation and pattern recognition for road marking analysis," IEEE International Symposium on Industrial Electronics, 2004.에서와 같이 특징 추출을 위한 주파수 변환과 분류를 위한 K-Nearest Neighbour 방법을 사용하는 화살표 분류를 다루었다. 또 다른 제안인 W. Nan, L. Wei, Z. Chunmin, Y. Huai, and J. Jiren, "The detection and recognition of arrow markings recognition based on monocular vision," IEEE International Symposium on Industrial Electronics, 2004.은 화살표 분류를 위해 Haar Wavelet을 사용한다. P. Foucher, Y. Sebsadji, J.-P. Tarel, P. Charbonnier, and P. Nicolle, "Detection and recognition of urban road markings using images," IEEE International conference on Intelligent Transportation Systems, 2011.에서 화살표는 중앙값 필터링을 통해 분할 된 다음 템플릿 매칭을 사용하여 분류했다. Zebra 교차점과 같이 기하학적 제약 조건을 충족하는 세그먼트를 클러스터링하여 분류 할 수도 있다. 다른 유형의 표시를 감지하는 알고리즘도 제안되었으며, 정지선 감지에 초점이 맞춰진 T. Marita, M. Negru, R. Danescu, and S. Nedevschi, "stop-line detection and localization method for intersection scenarios," IEEE International Conference on Intelligent Computer Communication and Processing, 2010.과 Y.-W. Seo and R. Rajkumar, "A vision system for detecting and tracking of stop-lines," IEEE International Conference on Intelligent Transportation Systems, 2014.에서도 제안되었다.

차량 감지에 대한 철저한 최근 리뷰가 제시된 S. Sun et al., "On-road vehicle detection: a review", IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 28, no 5, may 2006, pp. 694-711.에서는 거리 측정기(Laser 또는 Lidar)와 결합 된 방법을 제외한 모든 방법이 컴퓨터 비전 기반으로 되어있다.

카메라를 사용하는 방법은 객체의 특징점(T. Rabie et al., "Active-Vision based traffic surveillance and control", Vision Interface Annual Conference (VI’01), Toronto, Canada, June 2001.) 또는 가장자리 선(R. Okada and K. Onoguchi, "Obstacle Detection Using Projective Invariant and Vanishing Lines", 9th IEEE International Conference on Computer Vision (ICCV’03), Nice, France, Oct. 2003.)을 추적하는 방법을 사용한다. 일반적으로 카메라 이미지의 특징 요소의 세분화는 광학 흐름G.P. Stein and A. Shashua, "A robust method for computing vehicle ego-motion", IEEE Intelligent Vehicle Symposium (IV'00), Piscataway, NJ, USA, Oct. 2000., 조밀한 추정과 색상, 텍스처 제약B. Heisele, "Motion-based object detection and tracking in color images sequences", Fourth Asian Conference on Computer Vision (ACCV'00), Taipei, China, Jan. 2000, pp 1028-1033. 또는 정적 지도의 매개 변수화C. Braillon et al., "Real-time moving obstacle detection using optical flow models", IEEE Intelligent Vehicle Symposium (IV’00), Tokyo, Japan, June 2006, pp 466-471.를 도입하여 수행 할 수 있다.

스테레오 비전을 사용하면 스테레오 장비가 보정 된 경우, 한 쌍의 이미지에서 일치하는 픽셀의 깊이를 삼각 측량으로 추정 할 수 있다. SchreiberSchreiber, D.; Alefs, B.; Clabian, M. "Single Camera Lane Detection and Tracking", In Proceedings of IEEE Conference on Intelligent Transportation Systems, Vienna, Austria, 13-16 September 2005; pp. 302-307.는 전방을 향한 단일 카메라를 사용하여 차선 표시를 감지하고 추적하여 도로 경계를 구분하는 강력한 계획을 제안했다. McCall과 Trivedi McCall, J.C.; Trivedi, M.M. "Video-Based Lane Estimation and Tracking for Driver Assistance: Survey, System, and Evaluation", IEEE Trans. Intell. Transport. Syst. 2006, 7, 20-37.는 도로의 차선 표시를 추정하고, 추적하기 위한 비디오 기반 운전자 보조 시스템을 설계했다. Liu Liu, Y.-C.; Lin, K.-Y.; Chen, Y.-S. "Bird’s-Eye View Vision System for Vehicle Surrounding Monitoring.", In Proceedings of RobVis 2008, Auckland, New Zealand, 18-20 February 2008; pp. 207-218.는 차량에 6개의 카메라를 설치하고 6개의 카메라에서 뷰를 스티칭 한 차량 주변 모니터링을 위한 조감도 비전 시스템을 제안했다.

일반적으로 제안된 IPM(Inverse Perspective Mapping) 방법은 서로 다른 변환 메커니즘을 사용한다. 동종 좌표의 선형 매핑을 기반으로 Muad Mallot, H.A.; Bulthoff, H.H.; Little, J.J.; Bohrer, S. "Inverse Perspective Mapping Simplifies Optical Flow Computation and Obstacle Detection.", Biol. Cybern. 1991, 64, 177-185.는 IPM의 수학적 이론을 다루었다. 다른 연구에서 Tan, Dale, Anderson 및 Johnston Tan, S.; Dale, J.; Anderson, A.; Johnston, A. "Inverse Perspective Mapping and Optic Flow: A Calibration Method and a Quantitative Analysis." Image Vision Comput. 2006, 24, 153-165.은 IPM을 위한 기본 기하학적 변환 구조와 공식을 제공한다.

Bertozzi Bertozzi, M.; Broggi, A.; Fascioli, A. "Stereo Inverse Perspective Mapping: Theory and Applications." Image Vision Comput. 1998, 16, 585-590.는 homologous 점을 찾기 위한 휴리스틱 검색 방법을 제안했다. 일부 연구자들은 IPM모델을 계산하기 위해 소실점 현상을 사용하기도 했다.

Nieto, M.; Salgado, L.; Jaureguizar, F.; Cabrera, J. "Stabilization of Inverse Perspective Mapping Images Based on Robust Vanishing Point Estimation." In Proceedings of IEEE Conference on Intelligent Vehicles Symposium, Istanbul, Turkey, 13-15 June 2007; pp. 315-320., Muad, A.M.; Hussain, A.; Samad, S.A.; Mustaffa, M.M.; Majlis, B.Y. "Implementation of Inverse Perspective Mapping Algorithm for the Development of an Automatic Lane Tracking System." In Proceedings of IEEE Region 10 Conference TENCON, Chiang Mai, Thailand, 21-24 November 2004; pp. 207-210.

IPM은 카메라의 위치와 도로 방향의 정보를 사용하여 원근 효과가 제거된 조감도 이미지를 생성한다. 원근 보정을 통해 훨씬 더 효율적이고 강력한 도로 감지, 차선 표시 추적 또는 패턴 인식 알고리즘을 구현할 수 있다. 실제로 IPM은 도로에 대한 차량의 위치를 감지하기 위한 목적뿐만 아니라 장애물 감지(V. Kastrinaki, M. Zervakis, K. Kalaitzakis, "A survey of video processing techniques for traffic applications", Image Vision Comput. 21 (4) (2003) 359-381., N. Simond, M. Parent, "Obstacle detection from ipm and super-homography", in: IROS, IEEE, 2007, pp. 4283-4288.), 여유 공간 추정(P. Cerri, P. Grisleri, "Free space detection on highways using time correlation between stabilized sub-pixel precision IPM images", in: Proceedings of the IEEE International Conference on Robotics and Automation, Barcelona, Spain, 2005, pp. 2223-2228.), 감지(M. Guanglin, P. Su-Birm, S. Miiller-Schneiders, A. Ioffe, A. Kummert, "Vision based pedestrian detection-reliable pedestrian candidate detection by combining IPM and a 1D profile", in: Proceedings of the IEEE Intelligent Transportation Systems Conference, 또는 자아 움직임 추정 C. Lundquist, T.B. Sch_n, "Joint ego-motion and road geometry estimation, Inform". Fusion 12 (4) (2011) 253-263.), 보행자와 같은 다른 많은 ADAS 관련 애플리케이션에서도 사용되었다.

따라서 IPM은 지능형 차량이 처리해야 하는 수많은 자동화 작업에서 가장 중요하다. IPM은 세 가지 핵심 가정하에 작동한다. 도로는 평평한 표면이어야 하고, 카메라에서 도로로 강체 변형이 있어야 하며, 도로에는 장애물이 없어야 한다. 이것은 도로가 다른 차량, 보호벽, 보행자 등으로 채워지는 경우가 매우 많아서 현실적으로 최소한의 가정이다. 문헌에서 도로 감지를 지원하는 몇 가지 예가 있다(예 : J. McCall, M. Trivedi, "evaluation of a vision based lane tracker designed for driver assistance systems" 153-158., A. Muad, A. Hussain, S. Samad, M. Mustaffa, B. Majlis, "Implementation of inverse perspective mapping algorithm for the development of an automatic lane tracking system," in: Proceedings of the IEEE International Conference TENCON, vol. A, Chiang Mai, Tailandia, 2004, pp. 207-210., F. Dornaika, J. Alvarez, A. Sappa, A. Lopez, "A new framework for stereo sensor pose through road segmentation and registration", IEEE Trans. Intell. Transp. Syst. 12 (4) (2011) 954-966.,).

다른 저자들은 또한 차선 표시 감지를 위해 조정 가능한 필터를 사용하고 IPM 이미지에서 필터링을 유지하여 전체 관심 영역에 걸쳐 단일 커널 크기를 사용할 수 있도록 했다(J. McCall, M. Trivedi, "Performance evaluation of a vision based lane tracker designed for driver assistance systems", in: Proceedings of the IEEE Intelligent Vehicles Symposium, Las Vegas, NV, USA, 2005, pp. 153-158.). 또한, 이미지가 새로운 참조 시스템에 매핑되기 때문에 여러 카메라를 사용하여 단일 IPM 이미지 모자이크를 생성할 수 있다(C. Guo, S. Mita, D. McAllester, "Stereovision-based road boundary detection for intelligent vehicles in challenging scenarios", in: Proceedings of the IEEE International Conference on Intelligent Robots and Systems, St. Louis, MO, USA, 2009, pp. 1723-1728., M. Bertozzi, A. Broggi, "GOLD: a parallel real-time stereo vision system for generic obstacle and lane detection", IEEE Trans. Image Proc. 7 (1) (1998) 62-81.).

또한, IPM 이미지를 계산하기 위해 개발중인 전용 하드웨어 시스템도 있다 (L. Luo, I. Koh, S. Park, R. Ahn, J. Chong, "A software-hardware cooperative implementation of bird's-eye view system for camera-on-vehicle", in: Proceedings of the IEEE International Conference on Network Infrastructure and Digital Content, Beijing, China). 피치 변화는 브레이크 또는 가속 조작이 요구되는 동안 발생하는 반면, 롤 변화는 심한 회전 중에 나타날 것으로 예상된다. 이 문제는 P. Coulombeau, C. Laurgeau, "Vehicle yaw, pitch, roll and 3D lane shape recovery by vision", in: Proceedings of the IEEE Intelligent Vehicles Symposium, Versailles, France, 2002, pp. 619-625. R. Labayrade, D. Aubert, "A single framework for vehicle roll, pitch, yaw estimation and obstacles detection by stereovision", in: Proceedings of the IEEE Intelligent Vehicles Symposium, Columbus, OH, USA, 2003, pp. 31-36. F. Dornaika, J. Alvarez, A. Sappa, A. Lopez, "A new framework for stereo sensor pose through road segmentation and registration", IEEE Trans. Intell. Transp. Syst. 12 (4) (2011) 954-966., M. Nieto, L. Salgado, F. Jaureguizar, J. Cabrera, "Stabilization of inverse perspective mapping images based on robust vanishing point estimation", in: Proceedings of the IEEE Intelligent Vehicles Symposium, Istanbul, Turkey, 2007, pp. 315-320.에서 확인되었다.

실제로 일부 저자는 차량의 롤/피치 추정에 작은 오류가 있어도 엄청난 지형 분류 오류가 발생한다고 주장한다. S. Thrun, M. Montemerlo, A. Aron, Probabilistic terrain analysis for high-speed desert driving, in: Proceedings of the Robotics Science and Systems Conference, University of Pennsylvania, Philadelphia, PA, 2006, pp. 21-28.. A. Broggi, S. Cattani, P.P. Porta, P. Zani, A laserscanner-vision fusion system implemented on the terramax autonomous vehicle, in: Proceedings of the IEEE/RSJ International Conference on Intelligent Robots and Systems, Beijing, China, 2006, pp. 111-116.에서는 비전과 레이저 데이터를 융합하는 알고리즘이 제안되었다.

자율주행차 연구에 대한 관심 증가에도 불구하고 복잡한 도시 환경에서의 인식 기반 측위는 여전히 문제를 해결해야 할 것이 많다. 널리 사용되는 GPS는 고층 건물로 인한 다중 경로 문제로 인해 제한되는 경우가 있다. 이러한 한계를 극복하기 위해 Light Detection and Ranging(LiDAR) 센서 카메라와 같은 감지 센서가 솔루션으로 강조되었다. LiDAR SLAM(동시 위치 파악 및 매핑) J. Zhang and S. Singh, "LOAM: Lidar odometry and mapping in realtime." in Proc. Robot.: Sci. Sys. Conf., 2014, vol. 2, no. 9. 및 Visual SLAM R. Mur-Artal, J. M. M. Montiel, and J. D. Tardos, "ORB-SLAM: A versatile and accurate monocular SLAM system," IEEE Trans. Robot., vol. 31, no. 5, pp. 1147-1163, Oct. 2015.을 포함하는 여러 방법은 환경에 대한 사전 지식 없이도 놀라운 성능을 보고했다. 그러나 사전 지식(사용 가능한 사전 맵)을 사용하면 이러한 SLAM 문제를 해결 할 수 있다.

LiDAR에서 사전 맵을 구성 할 수도 있다. Barsan et al. I.A. Barsan, S.Wang, A. Pokrovsky, and R.Urtasun, "Learning to localize using a LiDAR intensity map." in Proc. Conf. Robot Learn., 2018, pp. 605-616.는 차량 자세를 추정하기 위해 딥 러닝 기법을 사용하여 포인트 클라우드 맵의 Intensity 정보를 사용했다. Wolcott과 Eustice R. W. Wolcott and R. M. Eustice, "Visual localization within lidar maps for automated urban driving," in Proc. IEEE/RSJ Intl. Conf. Intell. Robots Sys., 2014, pp. 176-183.는 합성 뷰에서 3D 포인트 클라우드의 렌더링 된 이미지와 실제 카메라 이미지 간의 NMI(Normalized Mutual Information)를 계산하여 차량의 포즈를 추정했다. Kim et al.는 스테레오 카메라 이미지를 사용하여 3D지도에서 위치 파악을 수행했다. 포인트 클라우드지도에 대한 시각적 위치 파악을 향상시키기 위해 특정 연구에서는 관련 시각적 특징을 지도에 삽입하는 방법을 보고했다(H. Kim, T. Oh, D. Lee, and H. Myung, "Image-based localization using prior map database and monte carlo localization," in Proc. Intl. Conf. Ubiquitous Robots Ambient Intell., 2014, pp. 308-310., N. Labs.NAVER LABS HDMap Dataset. 2019, [Online].Available: https: //hdmap.naverlabs.com/.).

포인트 클라우드의 기하학적 정보는 조명 분산의 영향을 덜 받기 때문에 환경의 시각적 변화에 대응이 가능하다. HD 맵에는 고정밀 MMS(Mobile Mapping System) 또는 고해상도 항공/위성 이미지에서 얻은 포인트 클라우드에서 구성된 압축 3D 벡터 형태의 의미 정보가 포함된다. HD 지도는 벡터 형태의 의미 정보와 전역 좌표를 가지고 있기 때문에 지도는 작은 용량으로 큰 영역을 나타낼 수 있다.

예를 들어, N. Labs.NAVER LABS HDMap Dataset. 2019, [Online].Available: https: //hdmap.naverlabs.com/에서 제공하는 HD 맵은 17MB 이내 의 11 × 11km 영역을 캡슐화 하였다. 이는 복잡한 도시 데이터 셋(J. Jeong, Y. Cho, Y.-S. Shin, H. Roh, and A. Kim, "Complex urban dataset with multi-level sensors from highly diverse urban environments," Intl. J. Robot. Res., vol. 38, no. 6, pp. 642-657, 2019.)에서 동일한 영역의 포인트 클라우드 맵 데이터 크기가 약 500MB라는 점을 고려하면 30배 더 효율적이다.

Ma et al. W.-C. Ma et al., "Exploiting sparse semantic HD maps for self-driving vehicle localization," 2019, arXiv:1908.03274. 차선 및 교통 표지 정보로 구성된 HD 맵을 사용했다. Welte et al. A.Welte, P. Xu, P. Bonnifait, and C. Zinoune, "Estimating the reliability of georeferenced lane markings for map-aided localization," in Proc. IEEE Intell. Vehicle Symp., 2019, pp. 1225-1231.은 칼만 smoothing process를 통해 지도에 저장된 표시를 사용하여 차량 위치를 추정했다. Poggenhans et al. F. Poggenhans, N. O. Salscheider, and C. Stiller, "Precise localization in high-definition roadmaps for urban regions," in Proc. IEEE/RSJ Intl. Conf. Intell. Robots Sys., 2018, pp. 2167-2174.은 도로 표시와 도로 경계 정보가 포함 된 HD지도를 사용했다. 각 감지기는 스테레오 이미지 입력에서 특징을 추출하고 무향 칼만 필터 (UKF)를 사용하여 지형지물을 지도와 일치시켜 위치를 추정했다. Vivacqua et al.은 카메라로 추정한 차선 표시 점과 HD 맵의 차선 정보를 매칭하여 위치를 추정했다.

등록특허공보 제10-1454153호(공고일자: 2014.11.03.)

본 발명은 전술한 배경적 지식을 통해 본 발명은, HD 맵에 포함된 라벨 정보와 CNN(Convolutional Neural Network)를 통해 이미지에서 추정된 의미 정보의 연관성을 계산하여 객체 단위의 맵 갱신 여부를 판단하고, 서브 미터 수준의 정확도를 갖는 갱신 객체의 글로벌 위치 결정을 위한 시스템을 방법을 제공하는데 과제가 있다.

전술한 과제를 해결하기 위해, 본 발명의 실시예에 따른 IPM 이미지와 정밀도로지도 피팅을 통해 노면객체의 변화를 자동으로 판단하고 갱신하는 정밀도로지도 자동갱신 방법은, 주행중인 차량에 탑재된 하나 이상의 센서로부터 차량의 전방 뷰 이미지를 포함하는 차량정보를 수집하는 단계, 상기 전방 뷰 이미지 내에 존재하는 카메라에 의한 왜곡을 보정하여 보정 이미지를 생성하는 단계, 상기 보정 이미지를 역 관점 매핑을 통해 IPM 이미지로 변환하는 단계, 상기 차량정보에 포함되는 차량 GPS 측위 좌표를 이용하여 사전 지도 정보로부터 HD 맵을 획득하고, 사전 지도 정보에 포함되는 HD 맵 상에서 IPM 영역을 추출하여 IPM 이미지에 대응하는 베이스 맵을 생성하는 단계, 상기 IPM 이미지에 대한 다방향 보정을 통해 IPM 이미지의 포즈를 보정하여 IPM 이미지와 베이스 맵을 피팅하는 단계 및, 상기 베이스 맵의 기존 노면객체에 대하여 IPM 이미지와의 비교를 통해 갱신여부를 판단하는 단계를 포함할 수 있다.

또한, 전술한 과제를 해결하기 위해, 본 발명의 실시예에 따른 IPM 이미지와 정밀도로지도 피팅을 통해 노면객체의 변화를 자동으로 판단하고 갱신하는 정밀도로지도 자동갱신 시스템은, 주행중인 차량에 탑재된 하나 이상의 센서로부터 차량의 전방 뷰 이미지를 포함하는 차량정보를 수집하는 차량정보 수집부, 상기 전방 뷰 이미지 내에 존재하는 카메라에 의한 왜곡을 보정하여 보정 이미지를 생성하는 이미지 보정부, 상기 보정 이미지를 역 관점 매핑을 통해 IPM 이미지로 변환하는 이미지 변환부, 상기 차량정보에 포함되는 차량 GPS 측위 좌표를 이용하여 사전 지도 정보로부터 HD 맵을 획득하고, 상기 HD 맵 상에서 IPM 영역을 추출하여 IPM 이미지에 대응하는 베이스 맵을 생성하는 맵 생성부, 상기 IPM 이미지에 대한 다방향 보정을 통해 IPM 이미지의 포즈를 보정하여 IPM 이미지와 베이스 맵을 피팅하는 맵 피팅부 및, 상기 베이스 맵의 기존 노면객체에 대하여 IPM 이미지와의 비교를 통해 갱신여부를 판단하는 판단부를 포함할 수 있다.

본 발명의 실시예에 따르면, IPM 변환 이미지를 정밀도로지도와 매칭하는 방법으로 신속하게 도로시설물 객체의 갱신 여부를 판단하고, 객체의 공간좌표를 계산하는 것으로, IPM으로 Top-View 이미지 변환은 완전한 정사영상이 아니므로 정밀도로지도와 매칭 할 때 IMU 센서의 yaw 오차와 GPS의 위도, 오차를 보정함으로써 정확한 4DoF (X, Y, Z, Yaw에 대한)를 얻을 수 있는 효과가 있다.

또한, 본 발명의 실시예에 따르면, 정밀도로지도 갱신의 자원을 매우 효과적으로 줄일 수 있으며, 신속하게 자동 갱신을 가능하게 하고, 또한, 비교적 저렴한 모노카메라 및, 저가 GPS/IMU 등으로 정확한 측위 정보를 얻을 수 있으므로 자율주행에 자차 측위 솔루션으로의 활용 등 광범위한 응용이 가능하도록 하는 효과가 있다.

도 1은 본 발명의 실시예에 따른 IPM 이미지와 정밀도로지도 피팅을 통해 노면객체의 변화를 자동으로 판단하고 갱신하는 정밀도로지도 자동갱신 방법을 나타낸 도면이다.
도 2는 본 발명의 실시예에 따른 IPM 이미지와 정밀도로지도 피팅을 통해 노면객체의 변화를 자동으로 판단하고 갱신하는 정밀도로지도 자동갱신 방법에서 적용된 이진화 방법을 설명하기 위한 도면이다.
도 3은 본 발명의 실시예에 따른 IPM 이미지와 정밀도로지도 피팅을 통해 노면객체의 변화를 자동으로 판단하고 갱신하는 정밀도로지도 자동갱신 방법에 따른 이진화 결과를 예시한 도면이다.
도 4는 본 발명의 실시예에 따른 IPM 이미지와 정밀도로지도 피팅을 통해 노면객체의 변화를 자동으로 판단하고 갱신하는 정밀도로지도 자동갱신 방법에서 적용된 횡방향 보정 방법을 설명하기 위한 도면이다.
도 5는 본 발명의 실시예에 따른 IPM 이미지와 정밀도로지도 피팅을 통해 노면객체의 변화를 자동으로 판단하고 갱신하는 정밀도로지도 자동갱신 방법에 따른 Yaw 보정결과를 예시한 도면이다.
도 6 및 도 7은 본 발명의 실시예에 따른 IPM 이미지와 정밀도로지도 피팅을 통해 노면객체의 변화를 자동으로 판단하고 갱신하는 정밀도로지도 자동갱신 방법에 따른 종방향 보정 방법을 설명하기 위한 도면이다.
도 8은 본 발명의 실시예에 따른 IPM 이미지와 정밀도로지도 피팅을 통해 노면객체의 변화를 자동으로 판단하고 갱신하는 정밀도로지도 자동갱신 방법에 따른 노면객체의 탐지를 위한 공간좌표 데이터를 예시한 도면이다.
도 9는 본 발명의 실시예에 따른 IPM 이미지와 정밀도로지도 피팅을 통해 노면객체의 변화를 자동으로 판단하고 갱신하는 정밀도로지도 자동갱신 방법에 따른 노면객체의 갱신방법을 설명하기 위한 도면이다.
도 10은 본 발명의 실시예에 따른 IPM 이미지와 정밀도로지도 피팅을 통해 노면객체의 변화를 자동으로 판단하고 갱신하는 정밀도로지도 자동갱신 방법에 따른 노면객체의 갱신결과를 예시한 도면이다.
도 11은 본 발명의 실시예에 따른 IPM 이미지와 정밀도로지도 피팅을 통해 노면객체의 변화를 자동으로 판단하고 갱신하는 정밀도로지도 자동갱신 시스템을 나타낸 도면이다.

상기한 바와 같은 본 발명을 첨부된 도면들과 실시예들을 통해 상세히 설명하도록 한다.

본 발명에서 사용되는 기술적 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 발명에서 사용되는 기술적 용어는 본 발명에서 특별히 다른 의미로 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 발명에서 사용되는 기술적인 용어가 본 발명의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는, 당업자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다. 또한, 본 발명에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라, 또는 전후 문맥상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다.

또한, 본 발명에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함한다. 본 발명에서, "구성된다" 또는 "포함한다" 등의 용어는 발명에 기재된 여러 구성 요소들, 또는 여러 단계를 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.

또한, 본 발명에서 사용되는 제1, 제2 등과 같이 서수를 포함하는 용어는 구성 요소들을 설명하는데 사용될 수 있지만, 구성 요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성 요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 명명될 수 있다.

이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.

또한, 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 발명의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 발명의 사상이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다.

본 발명은, HD 맵에 포함된 라벨정보 및 CNN(Convolutional Neural Network)를 통해 이미지에서 추정된 의미 정보의 연관성을 계산하여 객체 단위의 맵 갱신 여부를 판단하고, 서브 미터 수준의 정확도를 갖는 갱신 객체의 글로벌 위치 결정 방법을 제공할 수 있다.

상세하게는, 본 발명의 실시예에 따르면 차량 내 탑재된 카메라로부터 수집한 이미지에 대하여 IPM(Inverse Perspective Mapping)을 통해 월드 좌표계에 배치하여 HD 맵의 동일 위치에 피팅함으로써 카메라에서 인식된 노면 도로 시설물 객체 - 이하, '노면객체'라 함 -의 갱신을 판단한다. 여기서, 노면객체는 도로 상의 차선, 횡단보도 등을 가리키며, 차량은 삭제된다.

또한, 본 발명의 실시예에 따르면, 노면에 그림자의 영향으로 이진화를 실패하는 것을 방지하기 위한 알고리즘을 사용하고 객체의 외곽선을 추출하는 영상 분할(Segmentation)결과를 이용하여 그림자에 영향을 제거한 IPM 결과를 획득한다.

그리고, HD 맵의 공간좌표를 활용하여 IPM 상의 객체 공간좌표를 추출하는 방법으로 맵의 객체를 갱신한다.

이하, 도면을 참조하여 본 발명의 실시예에 따른 IPM 이미지와 정밀도로지도(HD Map) 피팅을 통해 노면객체의 변화를 자동으로 판단하고 갱신하는 정밀도로지도 자동갱신 방법 및 시스템을 설명한다. 이때 노면객체의 변화를 자동으로 판단하고 갱신하는 과정은 실시간으로 이뤄질 수 있음은 물론이다.

도 1은 본 발명의 실시예에 따른 IPM 이미지와 정밀도로지도 피팅을 통해 노면객체의 변화를 자동으로 판단하고 갱신하는 정밀도로지도 자동갱신 방법을 나타낸 도면이다.

도 1을 참조하면, 본 발명의 실시예에 따른 IPM 이미지와 정밀도로지도 피팅을 통해 노면객체의 변화를 자동으로 판단하고 갱신하는 정밀도로지도 자동갱신 방법은, 주행중인 차량에 탑재된 하나 이상의 센서로부터 차량의 전방 뷰 이미지를 포함하는 차량정보를 수집하는 단계(S100), 전방 뷰 이미지 내에 존재하는 카메라에 의한 왜곡을 보정하여 보정 이미지를 생성하는 단계(S110), 보정 이미지를 역 관점 매핑을 통해 IPM 이미지로 변환하는 단계(S120), 차량정보에 포함되는 차량 GPS 측위 좌표를 이용하여 사전 지도 정보로부터 HD 맵을 획득하고, HD 맵 상에서 IPM 영역을 추출하여 IPM 이미지에 대응하는 베이스 맵을 생성하는 단계(S130), IPM 이미지에 대한 다방향 보정을 통해 IPM 이미지의 포즈를 보정하여 IPM 이미지와 베이스 맵을 피팅하는 단계(S140) 및, 베이스 맵의 기존 노면객체에 대하여 IPM 이미지와의 비교를 통해 갱신여부를 판단하는 단계(S150)를 포함할 수 있다.

주행중인 차량에 탑재된 하나 이상의 센서로부터 차량의 전방 뷰 이미지를 포함하는 차량정보를 수집하는 단계(S100)는, 차량 내 탑재되는 하나 이상의 센서 또는 모듈, 일례로서 차량의 전방 뷰 이미지를 획득하는 전방 카메라, GPS 좌표를 생성하는 GNSS 및, 차량의 속도, 방향, 중력 및 가속도를 측정하는 관성 측정장치(Inertial Measurement Unit; IMU) 등으로부터 주행중인 차량의 전방에 대한 전방 뷰 이미지를 포함하는 차량정보를 수집하는 단계이다. 본 단계에서는 차량 카메라가 촬영한 전방 뷰 이미지를 녹화하는 동시에, 이와 동기하여 차량의 GPS 좌표, IMU 값을 함께 저장할 수 있다.

다음으로, 전방 뷰 이미지 내에 존재하는 카메라에 의한 왜곡을 보정하여 보정 이미지를 생성하는 단계(S110)는, 카메라의 고유의 특성, 일례로서 접선왜곡 또는 방사왜곡 등에 의한 이미지의 왜곡 현상을 보정한다. 본 단계에서는 카메라와 관련된 내, 외부 파라미터를 추출하고, 이를 이용하여 전방 뷰 이미지에 대한 왜곡을 보정하게 된다.

다음으로, 보정 이미지를 역 관점 매핑을 통해 IPM 이미지로 변환하는 단계(S120)에서는 역 관점 매핑 기법을 통해 보정된 전방 뷰 이미지를 원근감이 제거된 도로 평면상에 투영하게 된다.

먼저, 카메라와 관련된 왜곡이 보정된 이미지에 대하여, 이진화 과정을 통해 노면객체를 정확하게 식별할 수 있도록 한다.

이를 위한 절차로서, S110 단계는 전방 뷰 이미지에 도로 시설물에 대해 학습된 딥러닝 인식 알고리즘, 예를 들어 mask R-CNN이나 YOLO 등의 알고리즘을 적용하여 분할된 노면객체를 인식하는 단계를 포함할 수 있고, 이러한 노면객체 인식 단계는, 전방 뷰 이미지에 대한 평균값 적용 알고리즘 또는 가우시안 분포 알고리즘을 이용한 적응형 이진화 절차를 통해 이진화를 수행하는 단계 및, 분할된 노면객체를 재구성하여 보정 이미지를 생성하는 단계로 세분화될 수 있다.

도 2는 본 발명의 실시예에 따른 IPM 이미지와 정밀도로지도 피팅을 통해 노면객체의 변화를 자동으로 판단하고 갱신하는 정밀도로지도 자동갱신 방법에서 적용된 이진화 방법을 설명하기 위한 도면이다.

이와 관련하여, 노면에 대한 IPM 이미지는 이진화 처리를 통해 노면객체의 에지 및 꼭지점을 식별할 수 있음에 따라, 필수적으로 이진화 처리가 요구된다. 이진화 처리에서 가장 큰 문제점은 그림자의 영향에 의한 이진화 오류 문제이다. 도로 주변 건물에 의해 노면에 그림자가 존재하는 경우, 이러한 이미지의 히스토그램 영역은 사람의 눈에는 서로 다른 명도를 보이지만 실제로는 같거나 비슷한 명도를 가짐에 따라, 양지의 노면바닥의 명도와 음지의 노면표시가 거의 유사한 명도임에 따라 이진화시 동일하게 음영처리가 되어 이진화를 위한 임계값을 결정하기 어렵게 된다.

따라서, 이미지 전체에서 양지와 음영지역의 임계값으로 이진화 하는 전역이진화(Global Threshold)는 불가능하다.

한편, 대표적인 이진화 알고리즘으로 알려진 오츠 이진화 알고리즘(Otsu's Method)은 임계값을 임의로 정해 픽셀을 두 부류로 나누고 두 부류의 명암 분포를 구하는 작업을 반복하는 것으로, 모든 경우의 수 중에서 두 부류의 명암 분포가 가장 균일할 때의 임계값을 선택하여 이진화 한다. 이러한 오츠 이진화 알고리즘은 장점은 전체 이미지에서 최적의 임계값을 자동으로 찾아준다는 점이다. 반면, 전체 이미지 픽셀에 대해 계산 하여야 하므로 속도가 빠르지 않고, 원본 이미지(a)의 명암 분포가 그림자 등에 의해 불균일한 경우에는 올바른 결과물을 얻기 힘들다는 단점이 있다(도 2의 (b)).

반면, 적응형 이진화(Adaptive Threshold) 알고리즘은 전역 이진화 방식의 이러한 단점을 보완하는 것으로, 원본 이미지 도 3의 (a)에서 조명이 일정하지 않거나 배경색이 다수인 경우, 또는 하나의 임계값으로 선명한 이진화 이미지를 만들어 내기 힘든 경우에 더 좋은 결과를 얻을 수 있다. 이는 이미지를 여러 영역으로 나눈 뒤, 그 주변 픽셀 값만 활용하여 임계값을 구한다. 적응형 이진화 알고리즘으로는, 계산 방식에 따라 가우시안 분포보다 선명하나 노이즈가 존재하는 평균값(Adapted-Mean) 알고리즘이 있고, 평균값 알고리즘 보다는 선명도는 떨어지나 노이즈가 비교적 적은 가우시안 분포 알고리즘(Adapted-Gaussian)이 있다.

적응형 이진화 알고리즘의 적용하는 방법은, 먼저 대상 이미지를 N개의 부분으로 블록을 설정하여 각각의 블록 별로 임계값을 정한다. 이때, 임계값은 평균값일 때 이웃한 픽셀의 평균값을 임계값으로 정하며, 가우시안 분포일때는 가우시안 분포에 따른 가중치의 합으로 임계값을 정하게 된다. 그리고, 임계값이 정해지면 정해진 임계값을 바탕으로 각 블럭별로 이진화를 진행한다. 따라서 전역을 대상으로 이진화를 적용한 것보다 더 선명하고 부드러운 결과를 얻을 수 있다. 대부분의 이미지는 그림자가 있거나 조명 차이가 있음에 따라, 본 발명의 실시예에 따른 지도 자동갱신 방법에서는 전역 이진화보다 적응형 이진화를 적용하는 것이 바람직하다.

도 2의 (b)는 오츠 이진화 방법을 적용한 예로서, 최적의 임계값은 96으로 설정한 결과이다. 도 2의 (c)는 적응형 이진화 방법 중, 평균값을 적용한 결과이며 노이즈가 가우시안 보다 많지만 선명한 결과를 얻을 수 있다는 특징이 있다. 또한, 도 2의 (d)는 적응형 이진화 방법 중, 가우시안 분포를 적용한 결과이며 평균값 방법보다는 노이즈가 적으나 결과가 덜 선명하다는 것을 알 수 있다.

또한, 실제 도로의 노면은 배수로 경사와, 날씨, 도로 주변 건물의 영향 등의 여러 도로 상황으로 인하여 빛의 반사와 그림자 차이가 다수 존재할 수 있다. 이에 따라, 이미지 히스토그램에 기반한 임계값을 이용한 이진화 방법과, 오츠 알고리즘에 기반한 전역 이진화 방법(Global binarization method)에 의해서는 의도한 결과를 얻기 어려움에 따라 적응형 이진화 알고리즘 사용이 적합하다고 할 수 있다.

도 3는 본 발명의 실시예에 따른 IPM 이미지와 정밀도로지도 피팅을 통해 노면객체의 변화를 자동으로 판단하고 갱신하는 정밀도로지도 자동갱신 방법에 따른 이진화 결과를 예시한 도면으로서, 도 3의 (a), (b)의 좌측상단은 IPM 이미지, 우측상단은 IPM 이미지에 대한 히스토그램, 좌측 하단은 객체 추적된 IPM 이미지 및, 좌측하단은 적응형 이진화 이미지를 나타내고 있다.

도시된 바와 같이, 적응형 이진화를 적용하면 도 3의 (a), (b)의 우측하단 이미지와 같이 그림자 경계면에 얼룩 무늬가 나타나게 된다. 이러한 얼룩 무늬는 부분 블록에 대한 이진화를 적용하더라도 명암 분포의 불균일 문제에 의해 발생하는 것이므로, 이러한 문제를 해결하기 위해, 본 발명의 실시예에 따르면 마스크 방식의 컨벌루션 신경망 네트워크(CNN)를 사용하여 노면 표지의 영상분할(image segmentation) 처리로 필터링하여 얼룩을 제거하게 된다.

도 3의 (c)는 원본인 2번 이미지에 대한 전술한 적응형 이진화 이후 필터링을 수행한 적용한 1번 이미지 및, 전술한 일반적인 이진화를 수행한 3번 이미지를 예시하고 있다.

다음으로, 적응형 이진화 과정을 통해 이진화된 이미지에서 등장하는 노면객체들의 분할된 조각을 이용하여 원래 크기의 이미지로 재구성함으로써 IPM 이미지를 도출한다.

상세하게는, IPM 이미지는 전방 뷰 이미지를 취득하는 차량의 흔들림이나 노면 상태 등 많은 요소에 의해 pitch, roll, yaw가 달라짐에 따라, 최초의 roll은 지표면과 평행하다고 가정하고, yaw는 IMU센서의 출력값을 사용하여 산출한다.

또한, Pitch는 노면의 상태, 예를 들어 오르막 또는 내리막길, 과속 방지턱 등에 따라 달라지는데 이와 관련된 피치각도(θ_p)는 이하의 수학식 1에 의해 도출해 낼 수 있다.

피치각도(θ_p)를 반영한 X, Y좌표 계산식은 상기의 수학식 1과 같다. 그러나, 차량을 통해 θp와 X, Y를 측정하는 것을 부정확하고 어려움에 따라, 본 발명의 실시예에서는 HD 맵과 동일한 IPM 이미지를 얻기 위해 후술하는 횡방향 매칭과 종방향 피팅 방법을 적용할 수 있다.

다음으로, 차량정보에 포함되는 차량 GPS 측위 좌표를 이용하여 사전 지도 정보로부터 HD 맵을 획득하고, HD 맵 상에서 IPM 영역을 추출하여 IPM 이미지에 대응하는 베이스 맵을 생성하는 단계(S130)에서는, 원근효과가 제거된 IPM 이미지가 실제 HD 맵과 동일한 영역에 위치하기 위한 보정 절차를 수행하기 위해, 사전 지도 정보로부터 HD 맵을 획득하고, HD 맵 상에서 IPM에 대응하는 영역을 추출하여 피팅을 위한 베이스 맵(base map)을 생성하게 된다.

다음으로, IPM 이미지에 대한 다방향 보정을 통해 IPM 이미지의 포즈를 보정하여 IPM 이미지와 베이스 맵을 피팅하는 단계(S140)는, S130 단계에서 생성된 베이스 맵과 IPM 이미지간의 피팅(fitting)을 통해 IPM 이미지를 사전 지도와 일치시키는 단계이다.

도 4는 본 발명의 실시예에 따른 IPM 이미지와 정밀도로지도 피팅을 통해 노면객체의 변화를 자동으로 판단하고 갱신하는 정밀도로지도 자동갱신 방법에서 적용된 횡방향 보정 방법을 설명하기 위한 도면으로서, 횡방향 피팅 단계에서는, 먼저 IMU로부터 획득한 부정확한 Yaw값을 보정하기 위해 보정값을 산출한다. 이러한 횡방향 피팅은 평면상의 좌/우측에 대한 이동으로 볼 수 있다.

상세하게는, Yaw의 보정값은 다음의 과정을 거쳐 산출할 수 있다. 이는 HD 맵의 양쪽 끝 차선 선분의 각도(θ₁, θ₂)를 이용하여 산출할 수 있으며, 먼저 HD 맵의 차선의 각도(θ_a, θ_b) 및, IPM 이미지 차선의 각도(θ_c, θ_d)를 구하고(도 4의 (a)), 각 차선의 각도 차를 통해 선분의 각도(θ₁, θ₂)를 산출할 수 있다(도 4의 (b)), 여기서, 선분의 각도(θ₁, θ₂)의 평균값(θ_y)은 IMU의 오차 값으로 볼 수 있으므로, 차선을 평균값(θ_y)만큼 회전하여 yaw 보정을 수행할 수 있다(도 4의 (c)).

도 5는 본 발명의 실시예에 따른 IPM 이미지와 정밀도로지도 피팅을 통해 노면객체의 변화를 자동으로 판단하고 갱신하는 정밀도로지도 자동갱신 방법에 따른 Yaw 보정결과를 예시한 도면으로서, case #1(a) 및 case #2(b)에 나타난 바와 같이, 보정 전 IPM의 차선이 보정 후 HD 맵 차선과 일정수준 이상 일치하도록 보정된 것을 확인할 수 있다.

한편, 전술한 바와 같이 pitch의 각을 산출하기는 어려움에 따라, 전방 뷰 이미지의 차선 각도와, IPM을 수행하기 위한 ROI 영역의 각도를 조정하여 베이스 맵과 일치시킨다. 또한, 차선과의 간격도 베이스 맵과 동일하게 횡방향 스케일을 조정해서 횡방향으로 일치하는 이미지를 생성하게 된다.

다음으로, 종방향 보정 단계를 수행할 수 있다. 도 6 및 도 7은 본 발명의 실시예에 따른 IPM 이미지와 정밀도로지도 피팅을 통해 노면객체의 변화를 자동으로 판단하고 갱신하는 정밀도로지도 자동갱신 방법에 따른 종방향 보정 방법을 설명하기 위한 도면으로서, 종방향에서의 IPM 이미지와 베이스 맵과의 피팅 방법을 나타내고 있다. 종방향 보정은 평면상에서 상하측 이동으로 볼 수 있다.

먼저, 종방향에 대한 피팅의 경우, IPM 이미지 및 베이스 맵의 차선을 수직방향으로 회전했을 때, 노면객체의 윗부분의 차이(n_min)는 도 6의 (a), (b)에 나타난 바와 같이, IPM 이미지 및 베이스 맵의 차선간 차이를 통해 산출할 수 있으며, 이를 수학식으로 나타내면 이하의 수학식 2와 같다.

여기서, n_min은 음수값이 된다.

또한, IPM 이미지 및 베이스 맵의 차선의 수직방향 회전시, 노면객체의 아랫부분의 차이(m_min)는 도 7의 (a), (b)에 나타난 바와 같이, IPM 이미지 및 베이스 맵의 차선간 차이를 통해 산출할 수 있으며, 이를 수학식으로 나타내면 이하의 수학식 3와 같다.

그리고, 피팅시 윗부분의 차이(n_min) 및 아랫부분의 차이(m_min)의 평균값(l_min)은 아래의 수학식 4로 산출할 수 있다.

이에 따라, 평균값(l_min)이 음수일 경우에는 IPM 이미지를 상단으로 이동하고, 양수일 경우에는 하단으로 이동하여 종방향 피팅을 수행할 수 있다.

이후, 본 발명의 실시예에 따른 IPM 이미지와 정밀도로지도 피팅을 통해 노면객체의 변화를 자동으로 판단하고 갱신하는 정밀도로지도 자동갱신 방법에서는 피팅된 IPM 이미지에 대한 이진화 처리를 통해 노면객체의 에지(edge) 및 꼭지점을 찾을 수 있다.

다음으로, 베이스 맵의 기존 노면객체에 대하여 IPM 이미지와의 비교를 통해 갱신여부를 판단하는 단계(S150)로서, 시스템은 IPM 이미지에서 노면객체를 식별하고, 사전지도를 활용하여 해당 도로의 갱신 여부를 판단하게 된다.

본 발명의 실시예에 따르면, 사전 지도 정보를 통해 카메라의 GPS 측위 좌표를 이용하여 지도로부터 카메라 주변의 객체를 획득할 수 있고, IPM 이미지에서 검출(detecting)된 객체와의 비교를 통해 매칭이 가능함에 따라 갱신 여부를 판단하게 된다. 이러한 단계는 객체 탐지 과정과 HD 맵 객체 비교 판단 과정으로 이루어질 수 있다.

먼저, 객체 탐지(detecting) 과정으로서, 카메라 이미지로부터 객체를 인식하여 탐지하는 모듈에서 전달된 객체 정보 중, IPM 이미지 영역에 포함되는 객체를 사전 지도 정보에서 추출하여 비교 대상 객체로 선출할 수 있다.

도 8은 본 발명의 실시예에 따른 IPM 이미지와 정밀도로지도 피팅을 통해 노면객체의 변화를 자동으로 판단하고 갱신하는 정밀도로지도 자동갱신 방법에 따른 노면객체의 탐지를 위한 공간좌표 데이터를 예시한 도면으로서, 프로브 차량에서 IPM 되는 ROI 영역은 사전 계측을 통해 차량의 GPS 원점과 떨어진 거리와 위치로 실측된다. 이후, IPM 이미지에서 탐지된 각 객체 위치는 GPS 수신 좌표와 IMU의 헤딩정보를 통해서 비례 위치(도 8의 (a))가 계산되고, 사전 지도 정보의 HD 맵 객체 공간좌표(도 8의 (b))를 통해 탐지된 객체의 위치와 GPS 오차 범위에 있는 모든 객체가 비교대상 객체가 된다.

그리고, HD 맵 객체 비교 판단 과정으로서, 전술한 객체 탐지 과정에서 GPS 오차 범위와 IMU 센서의 헤딩정보를 통해 베이스 맵을 생성할 수 있고, 베이스 맵에 해당되는 데이터베이스 객체와 IPM 이미지 영역 내의 탐지된 객체 간 비교가 가능하게 된다.

도 9는 본 발명의 실시예에 따른 IPM 이미지와 정밀도로지도 피팅을 통해 노면객체의 변화를 자동으로 판단하고 갱신하는 정밀도로지도 자동갱신 방법을 설명하기 위한 도면으로서, 검출객체와 지도정보 제공 시스템의 데이터 베이스의 객체간의 비교를 통해 객체의 변화없음, 삭제, 변경 및 생성 등을 판단할 수 있다.

이때, RTK 방식의 GPS에 의한 오차 범위 내에서 두 비교 객체 간 거리가 일정거리 이내일 경우에는 동일 객체로 판단할 수 있고, 객체간 거리로 동일 객체인 것으로 판단된 경우에도 차선, 화살표 등의 객체의 종류를 비교하여 해당 객체의 변경 여부를 판단할 수 있다. 또한, 데이터 베이스의 객체 중심점의 일정거리 이내에 검출(detecting)된 객체가 존재하지 않으면 해당 데이터베이스 객체는 삭제된 것으로 판단할 수 있다.

반대로, 검출 객체의 중심점의 일정거리 이내에 매칭되는 데이터베이스의 객체가 존재하지 않으면 해당 검출 객체는 신규(생성)로 판단할 수 있다.

도 10은 본 발명의 실시예에 따른 IPM 이미지와 정밀도로지도 피팅을 통해 노면객체의 변화를 자동으로 판단하고 갱신하는 정밀도로지도 자동갱신 방법에 따른 노면객체의 갱신결과를 예시한 도면으로서, 도 10의 (a), (b)에서 검출된 중앙의 화살표는 (c)의 베이스 맵에서 존재하지 않는 객체일 수 있고, 이러한 경우 신규 객체로 판단할 수 있다. 신규로 판단된 객체의 공간좌표는 주변 객체의 공간좌표나 이미지좌표와의 공간좌표 관계로부터 계산될 수 있다. 즉, 신규 판단 객체의 공간좌표는 그 주변에 있는 주변 객체의 공간좌표나 이미지좌표를 활용하여 상호간 좌표 거리에 대한 비례식으로부터 계산되어 획득될 수 있다.

이하, 도면을 참조하여 본 발명의 실시예에 따른 IPM 이미지와 정밀도로지도 피팅을 통해 노면객체의 변화를 자동으로 판단하고 갱신하는 정밀도로지도 자동갱신 시스템의 구조를 상세히 설명한다.

도 11은 본 발명의 실시예에 따른 IPM 이미지와 정밀도로지도 피팅을 통해 노면객체의 변화를 자동으로 판단하고 갱신하는 정밀도로지도 자동갱신 시스템을 나타낸 도면이다.

도 11을 참조하면, 본 발명의 실시예에 따른 IPM 이미지와 정밀도로지도 피팅을 통해 노면객체의 변화를 자동으로 판단하고 갱신하는 정밀도로지도 자동갱신시스템은, 주행중인 차량에 탑재된 하나 이상의 센서로부터 차량의 전방 뷰 이미지를 포함하는 차량정보를 수집하는 차량정보 수집부(110), 전방 뷰 이미지 내에 존재하는 카메라에 의한 왜곡을 보정하여 보정 이미지를 생성하는 이미지 보정부(120), 보정 이미지를 역 관점 매핑을 통해 IPM 이미지로 변환하는 이미지 변환부(130), 차량정보에 포함되는 차량 GPS 측위 좌표를 이용하여 사전 지도 정보로부터 HD 맵을 획득하고, HD 맵 상에서 IPM 영역을 추출하여 IPM 이미지에 대응하는 베이스 맵을 생성하는 맵 생성부(140), IPM 이미지에 대한 다방향 보정을 통해 IPM 이미지의 포즈를 보정하여 IPM 이미지와 베이스 맵을 피팅하는 맵 피팅부(150) 및, 베이스 맵의 기존 노면객체에 대하여 IPM 이미지와의 비교를 통해 갱신여부를 판단하는 판단부(160)를 포함할 수 있다.

차량정보 수집부(110)는 차량에 탑재되어 전방 뷰 카메라 및 GNSS 등에 연결되고, 주행 중에 도로를 촬영하여 도로에 대한 정보를 획득함으로써, 지도정보 제공 시스템(200) 등에서 제공하는 정밀도로지도의 변경 사항을 자동으로 확인하여 갱신할 수 있도록 하는 것으로서, 주행중인 차량의 카메라, GNSS 및 IMU로부터 각종 차량정보를 수집할 수 있다.

이미지 보정부(120)는 차량정보에 포함되는 전방 뷰 이미지에 대한 보정, 특히 카메라의 특성에 따라 이미지에 발생하는 방사 또는 접선 왜곡과 같은 왜곡에 대한 보정을 수행할 수 있고, 이와 관련된 내, 외부 파라미터를 추출하여 보정에 이용할 수 있다.

이미지 변환부(130)는 적응형 이진화 과정을 통해 보정된 이미지를 이진화하고 평면상에 투영하는 IPM 절차를 수행하여 IPM 이미지로 전환할 수 있다.

맵 생성부(140)는 IPM 이미지에 대응하는 영역에 대한 베이스 맵을 생성할 수 있다. 수집된 차량정보에는 GNSS로부터 제공되는 차량 GPS 측위 좌표를 포함하고 있고, 맵 생성부(140)는 사전 지도 정보로부터 HD 맵을 획득하여 IPM 이미지에 해당하는 영역을 추출하고, IPM과 유사하게 투영한 베이스 맵을 생성할 수 있다.

맵 피팅부(150)는 IPM 이미지를 베이스 맵에 대비하여 Yaw, 횡방향, 종방향 등으로의 회전을 통해 이미지 포즈를 보정할 수 있다. 이때, Yaw는 IMU로부터 취득하여 횡방향 피팅을 통해 보정하며, IPM 이미지와 베이스 맵의 차선간 차이를 기준으로 IPM 이미지를 회전하여 종방향 피팅을 수행할 수 있다.

판단부(160)는 IPM 이미지와 베이스 맵을 비교하여 오차 범위 내에 존재하는 노면객체에 대하여, 두 비교 객체 간 거리가 일정거리 이내 일 경우 동일 객체로 판단하고, 객체의 종류 및 존재 여부에 따라 변경, 삭제 또는 생성을 판단할 수 있다.

또한, 본 발명의 일 실시예에 따른 지도 자동갱신 시스템(100)은, 판단부(160)에 의해 상기 베이스 맵의 기존 노면객체에 대하여 IPM 이미지와의 비교에 따라, 새로운 노면객체가 존재하는 경우 그 주변에 있는 주변 노면객체들과의 공간좌표 관계로부터 새로운 노면객체의 공간좌표를 획득하여 새로운 노면객체를 사전 지도 정보에 추가하는 맵 갱신부를 더 포함할 수 있다.

이러한 맵 갱신부는, 노면객체 식별에 따라 지도정보 제공 시스템(200) 등에 구축된 데이터 베이스에 구축된 지도정보를 신속하게 자동갱신할 수 있도록 한다.

특히, 본 발명의 실시예에 따른 시스템이 다수의 차량에 탑재되는 경우, 다수의 시스템으로부터 동일 공간좌표의 노면객체에 대한 정보를 수집 및 갱신함에 따라 지도 자동갱신에 대한 신뢰성을 높일 수 있다.

상기한 설명에 많은 사항이 구체적으로 기재되어 있으나 이것은 발명의 범위를 한정하는 것이라기보다 바람직한 실시예의 예시로서 해석되어야 한다. 따라서, 발명은 설명된 실시예에 의하여 정할 것이 아니고 특허청구범위와 특허청구범위에 균등한 것에 의하여 정하여져야 한다.

100 : 지도 자동갱신 시스템
110 : 차량정보 수집부
120 : 이미지 보정부
130 : 이미지 변환부
140 : 맵 생성부
150 : 맵 피팅부
160 : 판단부
200 : 지도정보 제공 시스템

Claims

지도 자동갱신 시스템에 의한 지도 자동갱신 방법으로서,
주행중인 차량에 탑재된 하나 이상의 센서로부터 차량의 전방 뷰 이미지를 포함하는 차량정보를 수집하는 단계;
상기 전방 뷰 이미지 내에 존재하는 카메라에 의한 왜곡을 보정하여 보정 이미지를 생성하는 단계;
상기 보정 이미지를 역 관점 매핑을 통해 IPM 이미지로 변환하는 단계;
상기 차량정보에 포함되는 차량 GPS 측위 좌표를 이용하여 사전 지도 정보로부터 HD 맵을 획득하고, 사전 지도 정보에 포함되는 HD 맵 상에서 IPM 영역을 추출하여 IPM 이미지에 대응하는 베이스 맵을 생성하는 단계;
상기 IPM 이미지에 대한 다방향 보정을 통해 IPM 이미지의 포즈를 보정하여 IPM 이미지와 베이스 맵을 피팅하는 단계; 및
상기 베이스 맵의 기존 노면객체에 대하여 IPM 이미지와의 비교를 통해 갱신여부를 판단하는 단계를 포함하는, IPM 이미지와 정밀도로지도 피팅을 통해 노면객체의 변화를 자동으로 판단하고 갱신하는 정밀도로지도 자동갱신 방법.
제 1 항에 있어서,
상기 보정 이미지를 역 관점 매핑을 통해 IPM 이미지로 변환하는 단계는,
상기 전방 뷰 이미지에 도로 시설물에 대해 학습된 딥러닝 인식 알고리즘을 적용하여 분할된 노면객체를 인식하는 단계를 포함하는, IPM 이미지와 정밀도로지도 피팅을 통해 노면객체의 변화를 자동으로 판단하고 갱신하는 정밀도로지도 자동갱신 시스템.
제 2 항에 있어서,
상기 전방 뷰 이미지에 도로 시설물에 대해 학습된 딥러닝 인식 알고리즘을 적용하여 분할된 노면객체를 인식하는 단계는,
상기 전방 뷰 이미지에 대한 평균값 적용 알고리즘 또는 가우시안 분포 알고리즘을 이용한 적응형 이진화 절차를 통해 이진화를 수행하는 단계; 및
분할된 노면객체를 외곽선 추출된 객체 영역만 필터링하여 재구성하는 상기 IPM 이미지를 생성하는 단계를 포함하는, IPM 이미지와 정밀도로지도 피팅을 통해 노면객체의 변화를 자동으로 판단하고 갱신하는 정밀도로지도 자동갱신 시스템.
제 1 항에 있어서,
상기 IPM 이미지에 대한 다방향 보정을 통해 IPM 이미지의 포즈를 보정하여 IPM 이미지를 베이스 맵에 피팅하는 단계는,
상기 IPM 이미지에 대응하는 IMU 센서의 출력값을 이용하여 Yaw를 계산하는 단계;
상기 HD 맵의 양측 차선 선분의 제1 각도(
₁,
₂)를 산출하는 단계;
상기 제1 각도(
₁,
₂)의 평균값(
_y)을 산출하는 단계;
상기 IPM 이미지를 평균값(
_y) 만큼 회전하여 Yaw를 보정하는 단계; 및
Yaw이 보정된 IPM 이미지에 등장하는 차선의 각도 및 간격을 횡방향 스케일로 조정하여 횡방향 피팅을 수행하는 단계를 포함하는, IPM 이미지와 정밀도로지도 피팅을 통해 노면객체의 변화를 자동으로 판단하고 갱신하는 정밀도로지도 자동갱신 시스템.
제 4 항에 있어서,
상기 Yaw이 보정된 IPM 이미지에 등장하는 차선의 각도 및 간격을 횡방향 스케일로 조정하여 횡방향 피팅을 수행하는 단계 이후,
상기 IPM 이미지 및 베이스 맵의 차선을 수직방향으로 회전했을 때, 노면객체의 윗부분의 차이(n_min)및 아랫부분의 차이(m_min)를 산출하는 단계; 및
산출된 윗부분의 차이(n_min)및 아랫부분의 차이(m_min)를 이용하여 종방향 피팅을 수행하는 단계를 포함하는, IPM 이미지와 정밀도로지도 피팅을 통해 노면객체의 변화를 자동으로 판단하고 갱신하는 정밀도로지도 자동갱신 시스템.
제 5 항에 있어서,
상기 노면객체의 윗부분의 차이(n_min) 및 상기 노면객체의 아래부분의 차이(m_min)는, 각각 이하의 수학식,

으로 산출되고(단, n은 음수), 상기 종방향 피팅을 수행하기 위한 이동거리(
)는, 이하의 수학식,

으로 산출되는, IPM 이미지와 정밀도로지도 피팅을 통해 노면객체의 변화를 자동으로 판단하고 갱신하는 정밀도로지도 자동갱신 시스템.
제 1 항에 있어서,
상기 베이스 맵의 기존 노면객체에 대하여 IPM 이미지와의 비교를 통해 갱신여부를 판단하는 단계 이후,
새로운 노면객체가 존재하는 경우, 주변 노면객체와의 공간좌표 관계로부터 새로운 노면객체의 공간좌표를 획득하여 상기 사전 지도 정보에 추가하는 단계를 포함하는, IPM 이미지와 정밀도로지도 피팅을 통해 노면객체의 변화를 자동으로 판단하고 갱신하는 정밀도로지도 자동갱신 시스템.
주행중인 차량에 탑재된 하나 이상의 센서로부터 차량의 전방 뷰 이미지를 포함하는 차량정보를 수집하는 차량정보 수집부;
상기 전방 뷰 이미지 내에 존재하는 카메라에 의한 왜곡을 보정하여 보정 이미지를 생성하는 이미지 보정부;
상기 보정 이미지를 역 관점 매핑을 통해 IPM 이미지로 변환하는 이미지 변환부;
상기 차량정보에 포함되는 차량 GPS 측위 좌표를 이용하여 사전 지도 정보로부터 HD 맵을 획득하고, 상기 HD 맵 상에서 IPM 영역을 추출하여 IPM 이미지에 대응하는 베이스 맵을 생성하는 맵 생성부;
상기 IPM 이미지에 대한 다방향 보정을 통해 IPM 이미지의 포즈를 보정하여 IPM 이미지와 베이스 맵을 피팅하는 맵 피팅부; 및
상기 베이스 맵의 기존 노면객체에 대하여 IPM 이미지와의 비교를 통해 갱신여부를 판단하는 판단부를 포함하는, IPM 이미지와 정밀도로지도 피팅을 통해 노면객체의 변화를 자동으로 판단하고 갱신하는 정밀도로지도 자동갱신 시스템.
제 8 항에 있어서,
상기 판단부에 의해 상기 베이스 맵의 기존 노면객체에 대하여 IPM 이미지와의 비교에 따라, 새로운 노면객체가 존재하는 경우 주변 노면객체와의 공간좌표 관계로부터 새로운 노면객체의 공간좌표를 획득하여 상기 사전 지도 정보에 추가하는 맵 갱신부를 더 포함하는, IPM 이미지와 정밀도로지도 피팅을 통해 노면객체의 변화를 자동으로 판단하고 갱신하는 정밀도로지도 자동갱신 시스템.