KR20230052326A - LiDAR, Camera 센서와 AR HUD를 통한 주행 중 위험 상황 알림 및 전방 주시 보조 솔루션 - Google Patents

Abstract

LiDAR, Camera 센서와 AR HUD를 통한 주행 중 위험 상황 알림 및 전방 주시 보조 솔루션이 개시된다. 일 실시예에 따른 주행 중 위험 상황 알림 및 전방 주시 보조 솔루션을 위한 주행 보조 시스템에 의해 수행되는 주행 보조 방법은, 라이다와 외부 카메라를 통해 인식된 객체 정보에 기초하여 주행 중인 차량과 객체와의 충돌 가능성을 판단함에 따라 주행 중인 차량의 위험 상황을 인식하는 단계; 전자 기기의 연동을 통해 상기 인식된 주행 중인 차량의 위험 상황과 관련된 내비게이션 정보 및 알림 정보를 획득하는 단계; 상기 주행 중인 차량의 내부 카메라로부터 인식된 차량 외부 환경에 기초하여 차선 정보가 판단됨에 따라 상기 인식된 주행 중인 차량의 위험 상황과 상기 획득된 내비게이션 정보 및 알림 정보로부터 3차원 이미지를 구축하는 단계; 및 상기 주행 중인 차량의 내부 카메라를 이용한 운전자의 아이트래킹을 통해 추적된 운전자의 시선 위치 또는 눈 위치에 기초하여 상기 구축된 3차원 이미지를 2차원 이미지로 투영하여 헤드업 디스플레이에서 증강현실 기반의 내비게이션 정보를 제공하도록 제어하는 단계를 포함하고, 상기 주행 보조 방법은, 상기 주행 보조 시스템을 구성하는 구성 요소들이 모듈화되고, 차량과의 OBD를 통한 연결없이 헤드업 디스플레이가 사용 가능한 것일 수 있다.

Description

LiDAR, Camera 센서와 AR HUD를 통한 주행 중 위험 상황 알림 및 전방 주시 보조 솔루션{DANGEROUS SITUATION NOTIFICATION AND FORWARD GAZE ASSISTANCE SOLUTION WHILE DRIVING THROUGH LIDAR, CAMERA SENSOR AND AR HUD}

아래의 설명은 차량에서 사용 가능하고 운전자의 시인성을 높이기 위한 HUD(Head-up Display) 기술에 관한 것이다.

한국교통안전공단에 따르면, 2019년을 기준으로 최근 3년간 국내 고속도로에서 교통사고로 숨진 사람 중 10명 중 7명은 전방 주시 태만이나 졸음운전이 주요 원인인 것으로 드러났다. 또한, 고속도로 사고 사망자의 51%는 화물(대형차)에 의한 것이며, 운전자 10명 중 4명이 운전 중 스마트 기기를 사용하는 것으로 조사되었다.

FCWS(전방추돌경보장치)를 장착 후, 교통사고가 절반 이상 감소한 것으로 분석되었으며, UN과 유럽 연구에 따르면 AEBS(자동비상제동장치)와 LDWS(차로이탈경고장치)는 각각 교통사고 사망자 18%와 15% 감소 효과가 있는 것으로 분석되었다.

이에, 주행 중 전방의 위험 요소를 사전에 감지하고 이를 운전자에게 경고하여 교통사고를 예방할 수 있는 기술이 요구된다.

종래에는 애프터 마켓에서 증강현실 기술이 적용한 헤드업 디스플레이(HUD)가 없었으며, 애프터 마켓 차량용 헤드업 디스플레이는 OBD를 통한 차량과의 연결이 필요하였다. 또한, 라이다 센서, 카메라 센서를 통해 전방의 위험 상황을 감지하지 못해 위험 상황을 알려주지 못했다.

본 발명은 LiDAR와 카메라가 융합된 증강현실 헤드업 디스플레이를 이용하여 운전자가 미처 인지하지 못하거나 사각지대의 위험요소를 사전 분석, 감지 및 경고함으로써 안전 운전을 보조하는 것을 목표로 한다.

주행 중 위험 상황 알림 및 전방 주시 보조 솔루션을 위한 주행 보조 시스템에 의해 수행되는 주행 보조 방법은, 라이다와 외부 카메라를 통해 인식된 객체 정보에 기초하여 주행 중인 차량과 객체와의 충돌 가능성을 판단함에 따라 주행 중인 차량의 위험 상황을 인식하는 단계; 전자 기기의 연동을 통해 상기 인식된 주행 중인 차량의 위험 상황과 관련된 내비게이션 정보 및 알림 정보를 획득하는 단계; 상기 주행 중인 차량의 내부 카메라로부터 인식된 차량 외부 환경에 기초하여 차선 정보가 판단됨에 따라 상기 인식된 주행 중인 차량의 위험 상황과 상기 획득된 내비게이션 정보 및 알림 정보로부터 3차원 이미지를 구축하는 단계; 및 상기 주행 중인 차량의 내부 카메라를 이용한 운전자의 아이트래킹을 통해 추적된 운전자의 시선 위치 또는 눈 위치에 기초하여 상기 구축된 3차원 이미지를 2차원 이미지로 투영하여 헤드업 디스플레이에서 증강현실 기반의 내비게이션 정보를 제공하도록 제어하는 단계를 포함하고, 상기 주행 보조 방법은, 상기 주행 보조 시스템을 구성하는 구성 요소들이 모듈화되고, 차량과의 OBD를 통한 연결없이 헤드업 디스플레이가 사용 가능한 것일 수 있다.

상기 주행 중인 차량의 위험 상황을 인식하는 단계는, 상기 라이다 센서가 측정한 포인트 클라우드의 연산량 감소를 위한 ROI 설정, 이상치(Outlier) 제거, 지면 제거 및 다운샘플링을 수행하고, Pass Through 필터를 통해 ROI에 속하지 않는 포인트 클라우드들을 제거해 연산량을 감소시키고, 이상치 제거 필터를 통해 이상치를 제거하고, SANSAC(Random Sample Consensus)을 통해 포인트 클라우드의 지면을 제거하고, 복셀화(Voxelization)를 통해 포인트 클라우드를 복셀로 변환하고, 상기 외부 카메라의 이미지 좌표계의 내부 파라미터를 통해 이미지 왜곡을 보정하고, 상기 라이다의 좌표계와 상기 외부 카메라의 이미지 좌표계를 원점을 평행이동 시키고, 좌표 축을 회전시켜 퓨전(fusion)하되, 상기 외부 카메라의 초점과 주점을 포함하는 내부 파라미터와 변환 행렬과 변위 행렬을 포함하는 외부 파라미터를 이용하여 좌표계 퓨전을 위한 수학식을 통해 상기 라이다의 좌표계를 상기 외부 카메라의 이미지 좌표계로 변환하는 단계를 포함할 수 있다.

상기 3차원 이미지를 구축하는 단계는, 증강현실 기반의 내비게이션 정보를 표시하기 위한 그랙픽 엔진을 구현하고, 운전자의 시야를 인식하고 있는 내부 카메라에서 촬영된 이미지의 왜곡을 보정하고, 외부 카메라를 이용하여 주행 중인 차량의 차선 정보를 인식하며, 원근 변환 매트릭스(perpective transform matrix)를 통해 차선 정보가 포함된 이미지를 탑뷰(top-view)이미지로 변환하고, 상기 변환된 탑뷰 이미지에 대한 컬러 필터링 또는 소벨 필터링(Sobel Filtering)의 연산을 통해 차선 영역을 정의하고, 상기 정의된 차선 영역에서 ROI 영역을 탐색하는 단계를 포함할 수 있다.

상기 제어하는 단계는, 상기 주행 중인 차량의 운전자의 얼굴 위치를 계산하기 위한 원근 변환을 적용하는 캘리브레이션 과정을 수행하여 운전자의 얼굴 위치 변화 기준 영역을 정의하고, 내부 카메라를 통해 운전자의 얼굴이 포함된 이미지의 크기를 축소하여 운전자의 얼굴을 인식하고, 상기 인식된 운전자의 얼굴의 특징점을 추출하고, 상기 추출된 얼굴의 특징점에 기초하여 운전자의 눈의 시작점과 끝점을 통해 운전자의 눈의 중심을 계산하고, 상기 계산된 눈의 중심을 기준으로 픽셀의 변화를 계산하여 움직임 거리를 판단하고, 상기 판단된 움직임 거리를 통해 운전자에게 표시될 증강현실 그래픽의 위치를 계산하는 단계를 포함할 수 있다.

운전 중, 휴대전화 사용이 빈번해지고 이에 대한 사고 발생도 늘어나고 있다. 기존의 3rd party 헤드업 디스플레이는 단순한 내비게이션 정보 및 휴대폰 알림을 보여주는 것에 그쳤지만, 본 발명은 헤드업 디스플레이를 통한 위험 상황 알림, 증강현실 내비게이션, 휴대전화 알림 확인 및 음성 답장(또는 음성 반응)을 지원한다. 이를 통해 기존의 3rd party 헤드업 디스플레이보다 높은 수준으로 운전자의 전방 주시를 도울 수 있다.

또한, 위험 상황에 대한 알림을 통해 운전자가 파악하기 힘든 주행 중 위험 상황 발생에 대한 대응이 가능하도록 한다.

추가적으로, 증강현실 내비게이션을 통해 운전자에게 정확한 정보를 전달하고, 지속적인 전방 주시와 위험 상황 알림을 통해 운전 중 사고 예방을 기대한다.

도 1은 일 실시예에 따른 주행 보조 시스템의 개괄적인 동작을 설명하기 위한 도면이다.
도 2는 일 실시예에 있어서, 위험 상황을 알리는 동작을 설명하기 위한 도면이다.
도 3은 일 실시예에 있어서, 내비게이션 정보를 나타내는 동작을 설명하기 위한 도면이다.
도 4는 일 실시예에 있어서, 화물차에 주행 보조 시스템이 설치되었을 때의 구상도이다.
도 5는 일 실시예에 따른 주행 보조 시스템의 구성을 설명하기 위한 블록도이다.
도 6은 일 실시예에 따른 주행 보조 시스템에서 주행 보조 방법을 설명하기 위한 흐름도이다.
도 7은 일 실시예에 있어서, 센서 퓨전 모듈을 설명하기 위한 도면이다.
도 8은 일 실시예에 있어서, 증강현실 기반의 헤드업 디스플레이를 설명하기 위한 도면이다.
도 9는 일 실시예에 있어서, 센서 퓨전 모듈의 동작을 설명하기 위한 도면이다.
도 10 내지 도 14는 일 실시예에 있어서, 포인트 클라우드 필터를 설명하기 위한 도면이다.
도 15 및 도 16은 일 실시예에 있어서, 광각 카메라의 이미지 왜곡을 보정하는 동작을 설명하기 위한 도면이다.
도 17 내지 도 22는 일 실시예에 있어서, 라이다와 카메라의 좌표 변환 및 캘리브레이션 동작을 설명하기 위한 도면이다.
도 23 내지 도 27은 일 실시예에 있어서, 증강현실 이미지를 표시하기 위해 그래픽 엔진의 동작을 설명하기 위한 도면이다.
도 28 내지 도 30은 일 실시예에 있어서, 영상 처리 동작을 설명하기 위한 도면이다.
도 31 내지 도 41은 일 실시예에 있어서, 차선 인식 동작을 설명하기 위한 도면이다.
도 42 내지 도 48은 일 실시예에 있어서, 아이트래킹 동작을 설명하기 위한 도면이다.
도 49는 일 실시예에 있어서, 내비게이션 동작을 설명하기 위한 흐름도이다.
도 50 내지 도 57은 일 실시예에 있어서, 애플리케이션의 화면 구성 및 기능을 설명하기 위한 도면이다.

이하, 실시예를 첨부한 도면을 참조하여 상세히 설명한다.

도 1은 일 실시예에 따른 주행 보조 시스템의 개괄적인 동작을 설명하기 위한 도면이다.

주행 보조 시스템은 라이다(LiDAR), 카메라 센서와 증강현실 기반의 헤드업 디스플레이를 통해 주행 중인 차량의 운전자에게 주행 중 위험 상황 알림 및 전방 주시 보조 솔루션을 제공할 수 있다. 주행 보조 시스템은 라이다와 카메라 센서를 이용하여 외부 위험 상황을 감지한 후, 알림을 통보하고 헤드업 디스플레이를 통해 필요한 정보를 선택적으로 띄워주어 운전자의 전방 주시를 보조할 수 있다. 예를 들면, 모든 운전자와 신차 또는 중고차 구매를 계획하고 있는 사용자, 현재 차량을 보유 중이며 전방 주시 보조 기능을 필요로 하는 사람, 현재 차량을 보유 중이며 급제동이 어려워 전방 주시 유지와 위험 상황에 대한 알림을 필요로 하는 대형차 운전자에게 주행 보조 시스템이 적용될 수 있다.

주행 보조 시스템은 라이다, 카메라, 애플리케이션이 시스템의 입력, 알림 및 증강현실 기반의 헤드업 디스플레이 정보를 출력할 수 있다. 이에 따른, 청각 데이터와 시각 데이터가 운전자에게 제공될 수 있다.

주행 보조 시스템은 현재 주행 중에 차량의 위험 상황을 감지할 수 있다. 주행 보조 시스템은 라이다와 카메라 센서를 통해 인식된 객체의 속도 및 객체의 경로를 예측하여 위험 상황을 인지 후 운전자에게 경고할 수 있다. 예를 들면, 주행 보조 시스템은 라이다와 카메라를 이용하여 앞 차량의 급정거를 알림으로써 속도 기반 안전거리를 확보할 수 있도록 한다. 주행 보조 시스템은 라이다와 카메라를 이용한 끼어드는 차량에 대한 경고, 카메라를 이용한 차선 이탈 경고, 카메라를 이용한 졸음운전 경고 등을 통해 운전자의 사고 발생을 예방할 수 있다.

주행 보조 시스템은 블루투스를 통해 전자 기기(예를 들면, 스마트 폰)와 연동하여 내비게이션, 전화/문자의 내용을 헤드업 디스플레이에 표시할 수 있다. 주행 보조 시스템은 운전자의 아이트래킹 및 외부 환경 인식을 통해 운전자 시야에 정확한 증강현실 기반의 내비게이션 정보를 출력할 수 있다.

주행 보조 시스템은 센서 퓨전 모듈, 증강현실 헤드업 디스플레이 및 애플리케이션을 포함할 수 있다. 도 7을 참고하면, 센서 퓨전 모듈을 나타낸 것으로, 객체 거리 정보 추출을 위한 라이다, 객체 인식을 위한 카메라를 포함하고 Nvidia Jetson AGX Xavier가 사용되어 개발될 수 있다. 센서 퓨전 모듈은 라이다 센서가 측정한 포인트 클라우드 연산량 감소를 위한 ROI 및 필터링, 광각 카메라 센서의 이미지 왜곡 보정, 라이다와 카메라 사이의 캘리브레이션(Calibration), 이미지 센서로부터 2D 객체 인식(Yolo, Faster R-CNN 등 활용), 칼만 필터를 이용한 객체 속도 추출, 자차 속도 및 주변 객체 속도 등을 이용한 위험 상황 판단 알고리즘, 증강현실 헤드업 디스플레이에 필요한 정보 전달 기능을 수행할 수 있다.

도 8을 참고하면, 증강현실 기반의 헤드업 디스플레이를 나타낸 것으로, 운전자 아이트래킹을 위한 카메라, 증강현실을 위한 외부 환경 인식을 수행하는 카메라, 위험 상황 경보음을 발생시키기 위한 스피커 프로젝터, 반사 필름을 포함하고, Nvidia Jetson AGX Xavier가 사용되어 개발될 수 있다. 증강현실 기반의 헤드업 디스플레이는 OpenCV를 이용한 전방 차선 인식, 카메라 내부 파라미터를 이용한 원근(perpective) 변환을 통해 3D 평면에서의 차선 위치 지정 및 AR 오브젝트 위치 지정, Vulkan API를 이용한 3D 그래픽 생성, OpenCV를 이용한 운전자의 아이트래킹 추적, 추적된 아이트래킹 결과를 토대로 3D 그래픽에서 카메라의 위치를 조정, 3차원 정보로부터 2차원 헤드업 디스플레이를 위한 그래픽을 생성하여 프로젝터로 투사하는 기능을 수행할 수 있다.

또한, 애플리케이션은 자바(Java) 기반의 안드로이드 애플리케이션이 개발될 수 있으며, 블루투스 통신을 위한 소프트웨어 모듈을 포함할 수 있다. 예를 들면, 애플리케이션은 Adobe XD가 사용하여 UI/UX 설계, Android Studio와 자바를 사용하여 개발될 수 있으며, T map API를 통해 내비게이션 경로 획득, Mapbox Navigation API를 통해 내비게이션 기능 구현, GPS 및 가속도 센서를 사용하여 속도 계산, 헤드업 디스플레이와 블루투스 통신으로 데이터 교환 기능을 수행할 수 있다.

도 2는 일 실시예에 있어서, 위험 상황을 알리는 동작을 설명하기 위한 도면이다. 도 2를 참고하면, 운전자가 바라보는 전방의 모습을 제3자의 시점으로 나타낸 것이다. 예를 들면, 위험 상황이 헤드업 디스플레이에 표시되며, 전자 기기(예를 들면, 스마트 폰)을 통해 위험 상황이 알림으로 발생될 수 있다.

도 3은 일 실시예에 있어서, 내비게이션 정보를 나타내는 동작을 설명하기 위한 도면이다. 도 3을 참고하면, 운전자가 바라보는 전방의 모습을 운전자 시점에서 나타낸 것이다.

도 4는 일 실시예에 있어서, 화물차에 주행 보조 시스템이 설치되었을 때의 구상도이다. 도 4를 참고하면, 차량은 승용차, 화물차, 버스 등을 포함할 수 있으며, 실시예에서는 화물차를 예를 들어 설명하기로 한다. 화물차의 외부에는 라이다, 카메라 센서가 설치되고, 화물차의 내부에는 카메라, 헤드업 디스플레이가 설치될 수 있다.

실시예에 따른 주행 보조 시스템은 운전자의 전방 주시를 보조하고 위험 상황에서 시각 및 청각 알림을 통해 운전 편의와 안전성을 높일 수 있다. 신형 차량에만 존재하는 위험 상황 알림 등을 구형 혹은 저사양의 차량 운전자들도 제공받을 수 있다. 증강현실 기술이 적용되어 보다 정보를 운전 중에 직관적으로 이해하기 쉽다.

실시예에 따른 주행 보조 시스템은 첨단 사양 적용에서 외면되었던 상용차 시장에 애프터 마켓 형태로 선행 진임함으로써 브랜드 경쟁력을 확보할 수 있다. 주행 보조 시스템은 상용차 시장 선행 진출을 통한 시장 선점 및 시장 지배력 확보를 통한 후발 업체 견제가 가능하다.

도 5는 일 실시예에 따른 주행 보조 시스템의 구성을 설명하기 위한 블록도이다.

주행 보조 시스템(100)은 주행 중 위험 상황 알림 및 전방 주시 보조 솔루션을 제공하기 위한 것으로, 라이다(LiDAR)와 카메라 센서의 퓨전을 통해 주변 차량들의 속도와 경로를 운전자보다 먼저 인지하고, 인지된 정보들을 기반으로 발생할 수 있는 위험 상황을 헤드업 디스플레이를 통해 직관적인 알림을 발생시키고, 전자 기기와 연동하여 내비게이션, 전화 및 문자 등의 간단한 알림을 헤드업 디스플레이를 통해 표시함으로써 운전자가 전방을 주시할 수 있도록 한다. 주행 보조 시스템(100)은 메모리(510) 및 프로세서(520)를 포함할 수 있다.

메모리(510)는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함하여 구성될 수 있으며, 주행 보조 시스템(100)의 적어도 하나의 다른 구성요소에 관계된 명령어 또는 데이터를 저장한다.

프로세서(520)는 중앙처리장치, 애플리케이션 프로세서, 또는 커뮤니케이션 프로세서 중 하나 또는 그 이상을 포함할 수 있다. 예를 들면, 프로세서(520)는 주행 보조 시스템(100)의 적어도 하나의 다른 구성요소들의 제어 및/또는 통신에 관한 연산이나 데이터 처리를 실행할 수 있다.

도 6은 일 실시예에 따른 주행 보조 시스템에서 주행 보조 방법을 설명하기 위한 흐름도이다.

단계(610)에서 주행 보조 시스템은 라이다와 외부 카메라를 통해 인식된 객체 정보에 기초하여 주행 중인 차량과 객체와의 충돌 가능성을 판단함에 따라 주행 중인 차량의 위험 상황을 인식할 수 있다. 주행 보조 시스템은 라이다 센서가 측정한 포인트 클라우드의 연산량 감소를 위한 ROI 설정, 이상치(Outlier) 제거, 지면 제거 및 다운샘플링을 수행하고, Pass Through 필터를 통해 ROI에 속하지 않는 포인트 클라우드들을 제거해 연산량을 감소시키고, 이상치 제거 필터를 통해 이상치를 제거하고, SANSAC(Random Sample Consensus)을 통해 포인트 클라우드의 지면을 제거하고, 복셀화(Voxelization)를 통해 포인트 클라우드를 복셀로 변환하고, 외부 카메라의 이미지 좌표계의 내부 파라미터를 통해 이미지 왜곡을 보정하고, 라이다의 좌표계와 외부 카메라의 이미지 좌표계를 원점을 평행이동 시키고, 좌표 축을 회전시켜 퓨전(fusion)하되, 외부 카메라의 초점과 주점을 포함하는 내부 파라미터와 변환 행렬과 변위 행렬을 포함하는 외부 파라미터를 이용하여 좌표계 퓨전을 위한 수학식을 통해 라이다의 좌표계를 외부 카메라의 이미지 좌표계로 변환할 수 있다.

단계(620)에서 주행 보조 시스템은 전자 기기의 연동을 통해 인식된 주행 중인 차량의 위험 상황과 관련된 내비게이션 정보 및 알림 정보를 획득할 수 있다.

단계(630)에서 주행 보조 시스템은 주행 중인 차량의 내부 카메라로부터 인식된 차량 외부 환경에 기초하여 차선 정보가 판단됨에 따라 인식된 주행 중인 차량의 위험 상황과 획득된 내비게이션 정보 및 알림 정보로부터 3차원 이미지를 구축할 수 있다. 주행 보조 시스템은 증강현실 기반의 내비게이션 정보를 표시하기 위한 그랙픽 엔진을 구현하고, 운전자의 시야를 인식하고 있는 내부 카메라에서 촬영된 이미지의 왜곡을 보정하고, 외부 카메라를 이용하여 주행 중인 차량의 차선 정보를 인식하며, 원근 변환 매트릭스(perpective transform matrix)를 통해 차선 정보가 포함된 이미지를 탑뷰(top-view) 이미지로 변환하고, 변환된 탑뷰 이미지에 대한 컬러 필터링 또는 소벨 필터링(Sobel Filtering)의 연산을 통해 차선 영역을 정의하고, 정의된 차선 영역에서 ROI 영역을 탐색할 수 있다.

단계(640)에서 주행 보조 시스템은 주행 중인 차량의 내부 카메라를 이용한 운전자의 아이트래킹을 통해 추적된 운전자의 시선 위치 또는 눈 위치에 기초하여 구축된 3차원 이미지를 2차원 이미지로 투영하여 헤드업 디스플레이에서 증강현실 기반의 내비게이션 정보를 제공하도록 제어할 수 있다. 주행 보조 시스템은 주행 중인 차량의 운전자의 얼굴 위치를 계산하기 위한 원근 변환을 적용하는 캘리브레이션 과정을 수행하여 운전자의 얼굴 위치 변화 기준 영역을 정의하고, 내부 카메라를 통해 운전자의 얼굴이 포함된 이미지의 크기를 축소하여 운전자의 얼굴을 인식하고, 인식된 운전자의 얼굴의 특징점을 추출하고, 추출된 얼굴의 특징점에 기초하여 운전자의 눈의 시작점과 끝점을 통해 운전자의 눈의 중심을 계산하고, 계산된 눈의 중심을 기준으로 픽셀의 변화를 계산하여 움직임 거리를 판단하고, 판단된 움직임 거리를 통해 운전자에게 표시될 증강현실 그래픽의 위치를 계산할 수 있다.

도 9는 일 실시예에 있어서, 센서 퓨전 모듈의 동작을 설명하기 위한 도면이다.

센서 퓨전 모듈의 포인트 클라우드(Point Cloud) 필터 설계 및 개발, 광각 카메라의 이미지 보정, 라이다와 카메라 Coordinate Transform &Calibration 동작에 대하여 설명하기로 한다. 일례로, 라이다 센서는 Velodyne Puck(VLP 16), 카메라 센서는 oCam-1CGN-U(Global Shutter, FOV(H) > 90), 컴퓨터는 NVIDIA Jetson AGX Xavier(Test on XPS 17 9700), 운영체제는 Ubuntu 18.04, ROS는 melodic인 개발 환경이 구축될 수 있다.

포인트 클라우드는 Pass Through 필터, (Statistical or Radius) 이상치 제거 필터, RANSAC, 복셀화(Voxelization) 필터를 통과시킬 수 있다. 필터의 사용 목적은 연산량 감소 및 성능 개선이며 각각의 필터는 ROI(Region Of Interest) 설정, 이상치(Outlier) 제거, 바닥면 제거, 다운샘플링(Downsampling)의 목적을 갖는다.

도 10 및 도 11을 참고하면, Pass Through 필터를 설명하기 위한 도면이다. Pass Through 필터는 ROI(Region Of Interest) 설정하여 ROI에 포함되지 않는 포인트들을 제거해 연산량을 줄이는 목적으로 사용한다. 도 13을 참고하면, 라이다 센서의 Raw 데이터와 도 14를 참고하면, 0m<x<100m 조건을 가진 Pass Through 필터를 통과한 후의 모습을 동시에 시각화한 후 캡처한 이미지이다. 원점의 빨간색 기둥이 x 축의 양의 방향인데, x<0m 영역은 전부 제거된 것을 확인할 수 있다.

도 12를 참고하면, 이상치 제거 필터를 설명하기 위한 도면이다. Statistical or Radius 이상치 제거 필터는 이상치를 제거할 수 있다. 두 필터의 차이는 통계적인 방법을 기준으로, 유클리디안 거리를 기준으로 이상치를 제거하는지 여부이다. 도 12를 참고하면, LiDAR의 Raw 데이터, ROR(Radius Outlier Removal), SOR(Statistical Outlier Removal)를 동시에 시각화한 모습을 캡처한 사진이며, 각각 도 12에서 왼쪽 위, 왼쪽 아래, 오른쪽 중간에 위치한다.

불필요한 포인트 클라우드 중 지면이 있다. 지면을 제거하게 되면 각각의 오브젝트끼리 서로 연결되지 않고 떨어지기 때문에 구분이 쉬워진다. 추가로 불필요한 영역을 제거하여 연산 부하 감소를 기대할 수 있다. 이를 위해 RANSAC(Random Sample Consensus)은 포인트 클라우드 안에 평면 모델이 있다는 가정하에 모델의 파라미터를 추정하고 포인트들을 무작위(Random)로 골라(Sample) 일치(Consensus) 하는지 테스트할 수 있다.

도 13 및 도 14을 참고하면, 복셀화를 설명하기 위한 도면이다. 복셀화(Voxelization)는 포인트 클라우드를 복셀로 변환하는 작업을 수행할 수 있다. 다운샘플링의 방법 중 하나로 일반적인 다운 샘플링과 같이 [성능]과 [시간, 메모리] 사이의 트레이드-오프(Trade-off) 관계를 갖는다. 복셀화를 하게 되면, 메모리와 연산 시간은 줄겠지만 물체 표현력이 떨어져 성능은 떨어진다. 이에, 적절한 leaf 사이즈를 찾는 것이 관건이다. 도 13을 참고하면, 라이다 센서의 Raw 데이터이고, 도 14를 참고하면, 복셀화를 수행한 후의 모습을 동시에 시각화한 후 캡처한 이미지이다. 도 14의 leaf 사이즈는 전, 후 비교를 보기 쉽게 하기 위해 기 설정된 사이즈(예를 들면, 100cm, 1cm 등)로 설정될 수 있다.

상기 언급한 필터들을 통해 연산량이 감소될 수 있다. ROI를 설정하는 Pass Through 필터를 통해 약 50%의 포인트가 감소될 수 있고, 이상치를 제거하는 (Statistical or Radius) 이상치 제거 필터를 통해 약 0.5%의 포인트가 감소될 수 있고, 바닥면을 제거하는 RANSAC을 통해 약 80%의 포인트가 감소될 수 있고, 다운샘플링을 수행하는 복셀화를 통해 약 10%의 포인트가 감소될 수 있다.

도 15 및 도 16을 참고하면, 광각 카메라의 이미지 왜곡을 보정하는 동작을 설명하기 위한 도면이다. 주행 보조 시스템은 카메라의 이미지 왜곡을 보정할 수 있다. 이미지 좌표계의 내부 파라미터를 도출하기 위해서 ROS에서 OpenCV camera_calibration package가 사용될 수 있다. 도 15를 참고하면, 카메라 캘리브레이션 과정 중 일부를 나타낸 것으로, 미리 인쇄한 체커보드를 가지고 실험하는 과정의 일부를 캡처한 이미지이고, 이 작업을 마치면 camera.yaml 파일에 Distortion 파라미터, Intrinsic camera matrix, Rectification matrix, Projection/Camera matrix 등의 카메라 센서 파라미터들이 생성될 수 있다. 이때, 해당 파일에 대한 경로를 설정하고 코드 내에서 파일을 불러와 사용할 수 있다. 도 16을 참고하면, 카메라 캘리브레이션 전, 후 비교를 위한 것으로, 최종적으로 이미지 왜곡 보정 전, 후를 비교한 데모를 캡처한 이미지이다. 왼쪽 위의 이미지 출력과 오른쪽 아래의 이미지 출력은 각각 보정 전, 후를 실시간으로 보여준다. 두 개의 체커보드를 비교해 보면 정상적으로 왜곡이 보정된 것을 육안으로도 확인할 수 있다.

도 17 내지 도 22는 일 실시예에 있어서, 라이다와 카메라의 좌표 변환 및 캘리브레이션 동작을 설명하기 위한 도면이다. 라이다, 카메라 센서를 퓨전 하기 위해서는 먼저 서로 다른 좌표계를 하나의 좌표계로 맞춰야 한다. 도 17에서 두 좌표계를 맞추기 위해서는 두 가지 작업이 필요하다. 첫 번째는 원점을 평행이동 시켜야 하고, 두 번째는 좌표 축을 회전시켜야 한다. 라이다의 포인트 클라우드를 이미지 좌표계로 변환하는 식은 도 19와 같이 표현될 수 있다. 카메라의 초점(f)와 주점(u) 등의 '내부 파라미터'와 변환 행렬(R)과 변위 행렬(t)의 '외부 파라미터'를 구한 후 도 19의 식을 통해 계산된 u, v는 하나의 포인트(point)가 이미지 좌표계 상의 위치할 좌표를 의미한다. 카메라의 내부 파라미터는 광각 카메라의 이미지 왜곡 보정을 통해 생성된 파일이 사용될 수 있다.

먼저 외부 파라미터(R, t)를 고정시켜 주기 위하여 도 18과 같이 테이프로 카메라와 라이다 센서를 서로 고정시키고 실험이 진행될 수 있다. 도 18과 도 19는 카메라와 라이다 사이의 외부 파라미터(R, t)를 도출하는 과정을 설명하기 위한 도면이다. 도 20을 참고하면, 축을 설명하기 위한 것으로, 라이다와 카메라의 각 좌표계를 그린 것이다. 먼저 회전을 통해 라이다 좌표계를 카메라 좌표계로 맞추기 위해서는 Roll, Pitch, Yaw 각각 -90, 0, -90(도)만큼 회전하면 된다. 변위 값은 실험을 통해 y=0.25, z=0.15라는 것이 탐색될 수 있다. 도 21과 도 22를 참고하면, 라이다와 카메라 좌표 변환 및 캘리브레이션 데모를 캡처한 이미지이다. 카메라 센서의 이미지 위에 라이다 포인트가 올바르게 투영된 것을 확인할 수 있다. 예를 들면, 도 18과 같이 테이프로 고정하여 회전 행렬(R)과 변위 행렬(t)가 일시적으로 고정된 상태로 테스트가 진행될 수 있고, 또는, 하우징을 통해서 영구적으로 고정될 수도 있다. 도 18과 같이 카메라와 라이다 센서를 임시로 고정하고, 내부 파라미터와 외부 파라미터를 도출한 뒤 라이다와 카메라 사이의 캘리브레이션을 한 최종 데모를 도 21과 도 22에서 확인할 수 있다.

도 23 내지 도 27은 일 실시예에 있어서, 주행 보조 시스템은 증강현실 이미지를 표시하기 위해 그래픽 엔진의 동작을 설명하기 위한 도면이다. 도 23을 참고하면, 주행 보조 시스템은 Vulkan API를 이용한 그래픽 엔진을 구현할 수 있다. VulkanObject 클래스를 상속받는 클래스들을 생성하여 Object들을 관리할 수 있도록 한다. 애플리케이션에서 VulkanObject 객체를 사용하는 Object 클래스를 추가하여 관리할 수 있도록 하고 아이트래킹을 통해 카메라의 위치를 변환할 수 있도록 한다. 또한, 3차원 이미지를 렌더링 하는 경우 위치position, width, normal 변수 설정을 통해 객체의 위치를 특정할 수 있도록 한다. 2차원 이미지를 렌더링 하는 경우 좌측 하단에 (0,0) 좌표를 가지며 position의 z 좌표를 통해 객체의 depth를 설정할 수 있다. 도 24는 이미지에 3차원 렌더링을 수행한 예시이고, 도 25는 텍스트를 3차원 렌더링에 추가한 예시이고, 도 26은 2차원 렌더링 추가 이미지의 예시이다. 도 27을 참고하면, 그래픽 엔진을 이용한 속도 및 알림 표시 그래픽을 구현한 예시 이미지를 나타낸 것이다.

도 28은 일 실시예에 있어서, 촬영 영상 처리 동작을 설명하기 위한 도면이다. 주행 보조 시스템은 헤드업 디스플레이에서 증강현실 기반의 내비게이션 정보를 표현하고자 할 때 증강현실 이미지를 정확한 위치에 표현하기 위하여 운전자의 시야를 인식하고 있는 내부 카메라에 촬영된 이미지의 왜곡 보정을 수행할 수 있다. 또한, 주행 보조 시스템은 차선 인식을 통해 그려주고자 하는 증강현실 이미지의 정확한 위치를 특정할 수 있다.

도 29는 캘리브레이션 전, 도 30은 캘리브레인 후의 체스보드를 나타낸 예이다. 주행 보조 시스템은 카메라 매트릭스(camera matrix)와 왜곡 계수(distortion coefficients)를 이용하여 캘리브레이션(Calibration)을 수행할 수 있다. 미리 촬영한 체스보드 이미지 파일들의 경로와 체스보드 사이즈를 이용하여 캘리브레이션 파라미터가 계산될 수 있다. 카메라의 캘리브레이션 파라미터를 사용하는 방법에 대한 코드로 undistortMat 변수는 이미지의 왜곡 현상을 보정하면서 생기는 유효하지 않은 영역에 대한 ROI를 저장해두는 역할을 한다. undistortMap1, undistortMap2에 x축과 y축에 대한 매핑을 저장해두고 remap 함수를 이용해 이미지 왜곡을 보정할 수 있다.

도 41을 참고하면, 차선 인식 플로우 차트 이미지를 나타낸 도면이다. 주행 보조 시스템은 외부 카메라를 이용하여 주행 중인 차선을 인식할 수 있다. 도 31는 탑 뷰 이미지(top view image)를 나타낸 것이고, 도 32는 원근 변환 전/후의 이미지를 나타낸 것이다. 주행 보조 시스템은 미리 구한 원근 변환 매트릭스(perspective transform matrix)를 통해 이미지를 탑뷰로 변환할 수 있다. 원근 변환 매트릭스는 카메라를 고정시킨 후 체스 보드 이미지를 지면과 평행하게 두어 카메라 이미지 상의 변환을 구해 사용한다. 이를 통해 이미지에서의 픽셀과 실제 거리에 대한 관계를 알 수 있어 검출된 차선의 정확한 길이를 알 수 있다.

주행 보조 시스템은 컬러 필터링을 수행할 수 있다. 도 31을 참고하면, 먼 위치로 갈수록 이미지의 채도가 떨어지는 것처럼 보이는데, 실제로 채도 값을 확인해본 결과 멀어질수록 이미지의 채도가 떨어지는 것을 확인할 수 있다. 도33을 참고하면, 주행 보조 시스템은 차선 인식의 정확도를 높이기 위해 sturation 속성을 clahe 를 통해 보정할 수 있다. 여기서 clahe는 contrast-limit adaptive histogram equalize를 의미하며 이미 전체가 아닌 지역에 대한 histogram equalize를 시행하면서 동시에 대비(contrast)를 제한하여 노이즈를 감소시킨다. 도 34를 참고하면, 노란색 차선 이미지를 나타낸 것이고, 도 35를 참고하면, 흰색 차선 이미지를 나타낸 것이다. 이와 같이, 주행 보조 시스템은 컬러 필터링을 통해 노란색과 흰색 영역을 구분할 수 있다.

주행 보조 시스템은 소벨 필터링(Sobel Filtering)을 수행할 수 있다. dx는 x축 방향으로의 값 변화, 즉 세로방향 선을 의미하고 dy는 가로방향 선을 의미한다. 탑뷰 이미지로부터 도출된 차선의 특성으로 차선은 90도 부근의 이미지일 것이기 때문에 tan-1(dx/dy)의 각도가 85~95 degree를 가지고 dx의 값이 40보다 큰 값들을 통해 필터링될 수 있다. 주행 보조 시스템은 소벨 필터와 컬러 필터의 [OR] 연산을 통하여 차선 영역을 정의하고, morphologycal transform을 통해 가로 방향의 노이즈를 제거할 수 있다.

주행 보조 시스템은 차선 ROI 영역을 탐색할 수 있다. 도 36 및 도 37을 참고하면, ROI를 탐색하는 과정들을 나타낸 것이다. 주행 보조 시스템은 차선이 포함된 이미지에서 모든 포인트들의 중간값을 기준으로 왼쪽 차선과 오른쪽 차선이 있는 영역을 구분할 수 있다(1). 주행 보조 시스템은 yMargin만큼의 y축 영역을 가지도록 이미지를 크롭할 수 있다(2). 주행 보조 시스템은 y 축 영역이 포함된 크롭된 이미지에서 (1)에서 도출된 중간값을 기준으로 왼쪽 포인트들의 중간값과 오른쪽 포인트들의 중간값을 도출할 수 있다(3). 주행 보조 시스템은 (3)에서 도출된 중간값들로 다음 y위치에서의 middleX 위치를 도출할 수 있다(4). 주행 보조 시스템은 (3)에서 도출된 왼쪽 차선과 오른쪽 차선의 중간값을 기준으로 ±xMargin만큼의 영역을 ROI 영역으로 설정할 수 있다(5). 주행 보조 시스템은 왼쪽 차선 영역의 ROI 영역 안의 포인트들을 lPoints에 저장하고, 오른쪽 차선 영역의 ROI 영역 안의 포인트들을 rPoints에 저장할 수 있다(6). 주행 보조 시스템은 yMargin만큼 크롭하는 위치를 위로 올려가며 (2)~(5) 과정을 반복할 수 있다(7).

주행 보조 시스템은 다항식 피팅(Polynomial fitting)을 수행할 수 있다. 주행 보조 시스템은 Least Square 방식으로 2차 방정식에 ROI 영역에서 구한 lPoints와 rPoitns를 값을 피팅하여 직선뿐만 아니라 곡선 차선을 인식할 수 있다. 도 38을 참고하면, ROI 영역을 나타낸 것이고, 도 39를 참고하면, ROI 영역을 피팅한 차선을 나타낸 것이고, 도 40을 참고하면, 곡선 차선 인식 이미지를 나타낸 예이다.

도 42은 아이트래킹 동작을 설명하기 위한 도면이다. 주행 보조 시스템은 아이트래킹을 통해 증강현실 그래픽의 위치를 보정할 수 있다. 아이트래킹은 운전자의 눈 위치가 위아래로 많이 움직이는 화물차 에어 서스펜션 시트의 특성을 고려하여, 운전자의 눈 위치 변화를 감지하고, 감지된 눈 위치 변화를 통해 증강현실 이미지의 위치를 보정하기 위해 사용될 수 있다.

주행 보조 시스템은 원근 변환(Perspective Transform)을 적용할 수 있다. 도 43을 참고하면, 원본 이미지, 도 44를 참고하면, 빨간색으로 모서리가 지정된 이미지, 도454를 참고하면, 원근 변환이 적용된 결과를 나타낸 이미지이다. 주행 보조 시스템은 운전자 얼굴의 정확한 위치를 계산하기 위해 카메라의 시점을 변환시켜줄 수 있다. 원근 변환을 적용하여 카메라의 시점을 z축에 수직하게 변환하여 얼굴 위치 변화 기준 영역을 정확하게 정의한다. 이러한 캘리브레이션 과정은 카메라를 부착한 뒤, 운전석을 기준으로 한 번만 해주면 된다. 캘리브레이션에 사용되는 판의 정확한 크기를 알기 때문에, 한 픽셀당 실제 크기를 구할 수 있다.

도 46을 참고하면, 얼굴을 감싸는 흰 사각형은 얼굴을 인식한 것이고, 얼굴의 파란 점은 얼굴의 특징점을 나타낸 것이고, 오른쪽 눈의 빨간 점은 눈의 중심을 인식한 것을 나타낸 도면이다. 주행 보조 시스템은 운전자의 눈을 파악하기 위하여 얼굴을 인식할 수 있다. 주행 보조 시스템은 빠른 속도를 위해 원본 이미지를 1/10 크기로 축소하여 얼굴을 인식할 수 있다. 이때, 예를 들면, 얼굴 인식은 OpenCV에서 제공하는 머신 러닝 기반의 오브젝트 검출 알고리즘 'HaarCascade'가 사용될 수 있다. 주행 보조 시스템은 얼굴 인식을 하여 얼굴 영역을 구한 뒤, 얼굴의 특징점을 추출할 수 있다. 일반적으로 68개의 특징점 추출을 많이 사용하지만, 실시예에서는 눈의 위치 파악과 실시간성이 중요하여, 5개의 특징점(각 눈의 시작점과 끝점, 코밑)만을 추출하는 것을 예를 들어 설명하기로 한다. 이를 통해 약 8~10% 처리 속도를 높일 수 있다. 특징점 추출에는 이미지 처리 및 얼굴인식 등을 지원하는 dlib이 사용되어 진행될 수 있다. 주행 보조 시스템은 눈의 시작점과 끝점을 연결한 선의 중앙을 눈의 중심으로 인식할 수 있다.

도 47을 참고하면, 눈의 위치가 y축 약 30cm, 도 48을 참고하면, 눈의 위치가 y축 약 40cm인 것을 나타낸 도면이다. 사람 뒤 종이의 점선은 10cm 기준으로 그어지고, 도 47에서 y값이 30cm이고, 도 48에서 y 값이 40cm인 것을 보았을 때, 이동거리가 정확히 계산되었음을 확인할 수 있다. 주행 보조 시스템은 눈의 중심을 기준으로 픽셀의 변화를 계산하면, 실제 움직인 거리를 판단할 수 있다. 주행 보조 시스템은 판단된 실제 움직인 거리를 통해 운전자에게 보일 증강현실 이미지의 정확한 위치를 계산할 수 있다.

주행 보조 시스템은 아이트래킹을 통해 실시간성을 보장할 수 있다. 현재 얼굴 인식에서 사용된 영상의 크기를 1/10으로 축소시키고, 얼굴의 특징점을 5개만 찾는 방식으로 1초에 평균 29~30 프레임이 나오게 된다.

도 49는 일 실시예에 있어서, 내비게이션 동작을 설명하기 위한 흐름도이다. 사용자로부터 전자 기기를 통해 목적지가 검색됨에 따라 추천 검색어가 제공될 수 있다. 검색어를 확정했다면, T map API를 이용한 POI(Point of Interest) 검색을 하여 목적지에 대한 정보(이름, 주소, 업종)가 제공될 수 있다. 그 후, 운전자의 화물차 정보와 경로 옵션(무료 우선, 고속도로 우선 등)에 기반한 경로가 검색되고, 검색된 경로가 NAVER Maps API를 통해 지도에 표시될 수 있다. 길 안내가 시작되면, Mapbox Navigation SDK를 통해 위치 변화에 따른 회전 이벤트(좌회전, 유턴 등)와 차량 속도가 도출되고, 도출된 위치 변화에 따른 회전 이벤트와 차량 속도가 블루투스 통신을 통해 헤드업 디스플레이에 전송될 수 있다.

도 50 내지 도 57은 일 실시예에 있어서 애플리케이션의 화면 구성 및 기능을 설명하기 위한 도면이다. 도 50을 참고하면, 메인 페이지를 나타낸 것으로, 사용자의 현재 위치를 표시하고, 상단 검색창이 선택됨에 따라 검색 페이지로 이동될 수 있다. 도 51을 참고하면, 검색 페이지를 나타낸 것으로, 운전자(사용자)로부터 입력된 검색어를 통해 검색어를 추천해줄 수 있다. 이때, 자음 검색이 가능하다. 도 52를 참고하면, 검색 결과 페이지를 나타낸 것으로, 검색어에 대응되는 POI((Point of interest) 정보가 표시될 수 있다. 예를 들면, 지도상의 위치, 이름, 업종, 도로명 주소 등이 표시될 수 있다. 도 53을 참고하면, 경로 추천 페이지를 나타낸 것으로, 현재 위치부터 목적지까지의 경로가 지도에 표시될 수 있다. 복수 개(예를 들면, 7개)의 검색 우선(무료 우선, 고속도로 우선)을 제공하여 운전자가 원하는 경로를 찾아줄 수 있다. 운전자의 화물차 정보를 기반으로 경로가 탐색됨으로써 대형차 운전에 어려움이 없는 경로로 안내할 수 있다. 도 54 및 도 55를 참고하면, 화물차 정보를 설정하는 동작을 설명하기 위한 도면으로, 내 차 정보를 설정하는 페이지를 나타낸 것이다. 운전자가 화물차 정보를 입력할 수 있고, 입력된 화물차 정보는 내비게이션 경로 검색에 사용될 수 있다. 범위 안의 알맞은 정보가 입력됨에 따라 파란색 바깥 선으로 변경되어 직관적으로 내 차 정보를 확인할 수 있다. 모든 항목이 정상적으로 입력되면 자동으로 저장되어 화물차의 화물이 변경되었을 때, 화물 중량만 변경하면 된다. 도 56 및 도 57을 참고하면, 헤드업 디스플레이 연결 상태 확인 및 표시 옵션 설정 화면에 관한 것이다. 도 56을 참고하면, 헤드업 디스플레이 디바이스 연결 상태 확인 페이지를 나타낸 것으로, 헤드업 디스플레이와의 연결 상태를 확인할 수 있다. 도 57을 참고하면, 헤드업 디스플레이에 표시된 정보를 선택할 수 있고, 운전자로부터 헤드업 디스플레이에 표시되길 원하는 항목이 선택되도록 하여 전방 주시를 최대화할 수 있다.

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (4)

1. 주행 중 위험 상황 알림 및 전방 주시 보조 솔루션을 위한 주행 보조 시스템에 의해 수행되는 주행 보조 방법에 있어서,
   라이다와 외부 카메라를 통해 인식된 객체 정보에 기초하여 주행 중인 차량과 객체와의 충돌 가능성을 판단함에 따라 주행 중인 차량의 위험 상황을 인식하는 단계;
   전자 기기의 연동을 통해 상기 인식된 주행 중인 차량의 위험 상황과 관련된 내비게이션 정보 및 알림 정보를 획득하는 단계;
   상기 주행 중인 차량의 내부 카메라로부터 인식된 차량 외부 환경에 기초하여 차선 정보가 판단됨에 따라 상기 인식된 주행 중인 차량의 위험 상황과 상기 획득된 내비게이션 정보 및 알림 정보로부터 3차원 이미지를 구축하는 단계; 및
   상기 주행 중인 차량의 내부 카메라를 이용한 운전자의 아이트래킹을 통해 추적된 운전자의 시선 위치 또는 눈 위치에 기초하여 상기 구축된 3차원 이미지를 2차원 이미지로 투영하여 헤드업 디스플레이에서 증강현실 기반의 내비게이션 정보를 제공하도록 제어하는 단계
   를 포함하고,
   상기 주행 보조 방법은, 상기 주행 보조 시스템을 구성하는 구성 요소들이 모듈화되고, 차량과의 OBD를 통한 연결없이 헤드업 디스플레이가 사용 가능한 것을 특징으로 하는 주행 보조 방법.
2. 제1항에 있어서,
   상기 주행 중인 차량의 위험 상황을 인식하는 단계는,
   상기 라이다 센서가 측정한 포인트 클라우드의 연산량 감소를 위한 ROI 설정, 이상치(Outlier) 제거, 지면 제거 및 다운샘플링을 수행하고, Pass Through 필터를 통해 ROI에 속하지 않는 포인트 클라우드들을 제거해 연산량을 감소시키고, (Statistical or Radius) Outlier Removal 필터를 통해 이상치를 제거하고, SANSAC(Random Sample Consensus)을 통해 포인트 클라우드의 지면을 제거하고, 복셀화(Voxelization)를 통해 포인트 클라우드를 복셀로 변환하고,
   상기 외부 카메라의 이미지 좌표계의 내부 파라미터를 통해 이미지 왜곡을 보정하고, 상기 라이다의 좌표계와 상기 외부 카메라의 이미지 좌표계를 원점을 평행이동 시키고, 좌표 축을 회전시켜 퓨전(fusion)하되, 상기 외부 카메라의 초점과 주점을 포함하는 내부 파라미터와 변환 행렬과 변위 행렬을 포함하는 외부 파라미터를 이용하여 좌표계 퓨전을 위한 수학식을 통해 상기 라이다의 좌표계를 상기 외부 카메라의 이미지 좌표계로 변환하는 단계
   를 포함하는 주행 보조 방법.
3. 제1항에 있어서,
   상기 3차원 이미지를 구축하는 단계는,
   증강현실 기반의 내비게이션 정보를 표시하기 위한 그랙픽 엔진을 구현하고, 운전자의 시야를 인식하고 있는 내부 카메라에서 촬영된 이미지의 왜곡을 보정하고, 외부 카메라를 이용하여 주행 중인 차량의 차선 정보를 인식하며, 원근 변환 매트릭스(perpective transform matrix)를 통해 차선 정보가 포함된 이미지를 탑뷰(top-view)이미지로 변환하고, 상기 변환된 탑뷰 이미지에 대한 컬러 필터링 또는 소벨 필터링(Sobel Filtering)의 연산을 통해 차선 영역을 정의하고, 상기 정의된 차선 영역에서 ROI 영역을 탐색하는 단계
   를 포함하는 주행 보조 방법.
4. 제1항에 있어서,
   상기 제어하는 단계는,
   상기 주행 중인 차량의 운전자의 얼굴 위치를 계산하기 위한 원근 변환을 적용하는 캘리브레이션 과정을 수행하여 운전자의 얼굴 위치 변화 기준 영역을 정의하고, 내부 카메라를 통해 운전자의 얼굴이 포함된 이미지의 크기를 축소하여 운전자의 얼굴을 인식하고, 상기 인식된 운전자의 얼굴의 특징점을 추출하고, 상기 추출된 얼굴의 특징점에 기초하여 운전자의 눈의 시작점과 끝점을 통해 운전자의 눈의 중심을 계산하고, 상기 계산된 눈의 중심을 기준으로 픽셀의 변화를 계산하여 움직임 거리를 판단하고, 상기 판단된 움직임 거리를 통해 운전자에게 표시될 증강현실 그래픽의 위치를 계산하는 단계
   를 포함하는 주행 보조 방법.
   

Images