Nothing Special   »   [go: up one dir, main page]

KR102704452B1 - 자율주행 차량의 현재 위치기반 인프라 정보 송수신 시스템 및 방법 - Google Patents

자율주행 차량의 현재 위치기반 인프라 정보 송수신 시스템 및 방법 Download PDF

Info

Publication number
KR102704452B1
KR102704452B1 KR1020230109652A KR20230109652A KR102704452B1 KR 102704452 B1 KR102704452 B1 KR 102704452B1 KR 1020230109652 A KR1020230109652 A KR 1020230109652A KR 20230109652 A KR20230109652 A KR 20230109652A KR 102704452 B1 KR102704452 B1 KR 102704452B1
Authority
KR
South Korea
Prior art keywords
vehicle
information
data
autonomous
driving
Prior art date
Application number
KR1020230109652A
Other languages
English (en)
Other versions
KR20240106932A (ko
Inventor
박대혁
서정구
이지현
현영진
Original Assignee
(주)에스유엠
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)에스유엠 filed Critical (주)에스유엠
Publication of KR20240106932A publication Critical patent/KR20240106932A/ko
Application granted granted Critical
Publication of KR102704452B1 publication Critical patent/KR102704452B1/ko

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/04Traffic conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30Services specially adapted for particular environments, situations or purposes
    • H04W4/40Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00Input parameters relating to data
    • B60W2556/45External transmission of data to or from the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2756/00Output or target parameters relating to data
    • B60W2756/10Involving external transmission of data to or from the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)

Abstract

자율주행 차량의 현재 위치기반 인프라 정보 송수신 방법은 자율주행 동적 데이터, 헤딩정보, 주행 경로 조건에 따른 데이터를 서버로 전송하여, 보다 안전하고 효율적으로 자율 주행 차량의 주행 경로를 생성할 수 있도록 한다. 또한, 실시예에서는 차량 주변의 객체 탐지 결과 및 주행 경로 조건에 따라 서버와 송수신하는 데이터를 선별하여 통신함으로써, 데이터로 인한 제어 지연 및 판단 지연을 방지한다. 또한, 자율주행 시 신호등, 보행자 등 주변 객체와 인프라 정보에 따라 자율주행 차량의 제어 정보를 보정하여 자율주행 차량을 보다 정밀하고 안전하게 제어할 수 있도록 한다.

Description

자율주행 차량의 현재 위치기반 인프라 정보 송수신 시스템 및 방법{SYSTEM AND METHOD FOR TRANSMITTING AND RECEIVING CURRENT LOCATION-BASED INFRASTRUCTURE INFORMATION OF AUTONOMOUS VEHICLE}
본 개시는 자율주행 차량의 현재 위치기반 인프라 정보 송수신 시스템 및 방법에 관한 것으로 구체적으로, 차량 위치, 헤딩정보를 주기적으로 전송하고, 신호등 포함과 같은 주행경로 조건에 따라 자율 주행 차량을 제어하는 자율주행 차량의 현재 위치기반 인프라 정보 송수신 시스템 및 방법에 관한 것이다.
본 명세서에서 달리 표시되지 않는 한, 이 섹션에 설명되는 내용들은 이 출원의 청구항들에 대한 종래 기술이 아니며, 이 섹션에 포함된다고 하여 종래 기술이라고 인정되는 것은 아니다.
자율 주행이란, 인간의 개입 없이 자동차나 기타 운송 수단이 스스로 주행을 제어하는 기술이다. 자율주행 기술은 센서, 카메라, 레이더, 리더기 등의 장비를 통해 주변 환경을 파악하고, 이를 기반으로 운행을 제어한다. 자율주행은 운전자의 개입 없이도 안전하고 효율적인 운행을 가능하게 하고, 교통 체증 해소 및 사고 예방 등의 장점을 제공한다.
자율주행의 개념은 1960년대에 벤츠를 중심으로 제안되었고, 1970년대 중후반부터 초보적인 수준의 연구가 시작되었다. 초기에는 아무런 장애 요소가 없는 시험 주행장에서 중앙선이나 차선을 넘지 않는 수준이었으나, 1990년대 들어 컴퓨터의 판단 기술 분야가 크게 발전하면서 장애물이 개입되는 자율주행 분야가 본격적으로 연구되기 시작했다.
2010년대에는 딥러닝을 이용한 자율주행 기술 연구가 급진전되어 상용차에 제한적으로 탑재되고 있다. 2012년 발표된 IEEE의 보고서에 의하면, 2040년에는 전 세계 차량의 약 75%가 자율주행 자동차로 전환될 것으로 예상된다.
1. 한국 특허공개 제10-2022-0052381호(2022.04.28) 2. 한국 특허등록 제10-2219843호 (2021.02.18)
실시예에 따른 자율주행 차량의 현재 위치기반 인프라 정보 송수신 시스템 및 방법은 현재 위치 GPS, RTK(Real Time Kinematic), IMU(Inertial Measurement Unit)를 포함하는 동적 데이터 및 차량 정보를 이용해 현재 위치를 산출하고, 차량의 이동 위치를 예측한다.
또한, 실시예에서는 V2X 단말 통신 방법을 통해 차량 주변 객체와 통신하며 자율주행을 진행한다.
또한, 실시예에서는 차량 주변 객체 및 신호등 포함여부 등의 주행경로 조건에 따라 차량에서 서버로 송수신하는 데이터의 포맷과 데이터 종류를 결정한다.
또한, 실시예에서는 차량의 위치를 포함하는 동적 데이터와 헤딩 정보를 주기적으로 전송하고, 차량 진행 방향으로 신호등이 존재할 경우 SPAT(Signal Phase and Timing)포맷 형태로 신호등 정보를 전송한다. 또한, 실시예에서는 SPAT와 함께 교차로 구성정보를 포함하는 맵 데이터를 전송한다.
실시예에서는 서버에서 맵 데이터를 수신하면, 맵 데이터를 기반으로 참조해야 할 신호등 그룹 ID를 검출한 후 SPAT 데이터 중 해당 그룹 ID를 참조하여 자율주행 경로를 생성하고, 자율주행 차량 제어 신호를 생성한다.
실시예에 따른 자율주행 차량의 현재 위치기반 인프라 정보 송수신 시스템은 GPS, RTK(Real Time Kinematic), IMU(Inertial Measurement Unit)를 포함하는 동적 데이터 및 헤딩 정보, 휠 각도, 주변 객체 정보를 포함하는 차량 정보를 서버로 전송하고, 상기 동적 데이터와 차량 정보를 기반으로 현재 위치를 산출하는 자율주행 차량; 동적 데이터, 헤딩정보, 차량 정보 및 현재 위치를 자율 주행 차량으로부터 수집하여 자율 주행 경로 및 차량 제어 신호를 생성하는 서버; 를 포함하고, 자율주행 차량; 은 주행 경로에 신호등이 포함되어 있는 경우, 신호등 위치 정보를 서버로 전송하고, 서버; 는 수신한 신호등 위치 정보에 따라 상기 신호등의 SPAT(Signal Phase and Timing)데이터를 추출하고, 추출된 SPAT 데이터를 기반으로 자율주행 차량 제어신호를 생성한다.
실시예에서 자율주행 차량; 은 동적 데이터, 차량 정보, 주변 객체 정보 및 딥러닝 모델의 트레이닝 데이터 셋을 수집하는 수집부; 동적데이터와 차량정보, 주변 객체 정보를 통해 현재 위치 및 주행 예정 위치를 산출하고, 현재 위치, 목적지 정보를 이용하여 자율 주행 경로를 생성하는 생성부; 자율 주행 경로와 주변 객체 탐지 결과에 기반하여 차량을 제어하는 제어부; 를 포함한다.
이상에서와 같은 자율주행 차량의 현재 위치기반 인프라 정보 송수신 방법은 자율주행 동적 데이터, 헤딩정보, 주행 경로 조건에 따른 데이터를 서버로 전송하여, 보다 안전하고 효율적으로 자율 주행 차량의 주행 경로를 생성할 수 있도록 한다.
또한, 실시예에서는 차량 주변의 객체 탐지 결과 및 주행 경로 조건에 따라 서버와 송수신하는 데이터를 선별하여 통신함으로써, 데이터로 인한 제어 지연 및 판단 지연을 방지한다.
또한, 자율주행 시 신호등, 보행자 등 주변 객체와 인프라 정보에 따라 자율주행 차량의 제어 정보를 보정하여 자율주행 차량을 보다 정밀하고 안전하게 제어할 수 있도록 한다.
본 발명의 효과는 상기한 효과로 한정되는 것은 아니며, 본 발명의 상세한 설명 또는 특허청구범위에 기재된 발명의 구성으로부터 추론 가능한 모든 효과를 포함하는 것으로 이해되어야 한다.
도 1은 자율주행 차량의 현재 위치기반 인프라 정보 송수신 시스템 구성을 나타낸 도면
도 2는 실시예에 따른 자율주행 차량의 데이터 처리 구성을 나타낸 도면
도 3은 실시예에 따른 서버의 데이터 처리 구성을 나타낸 도면
도 4는 실시예에 따른 자율주행 차량의 현재 위치기반 인프라 정보 송수신 시스템의 신호 흐름도
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 도면부호는 동일 구성 요소를 지칭한다.
본 발명의 실시 예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시 예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 자율주행 차량의 현재 위치기반 인프라 정보 송수신 시스템 구성을 나타낸 도면이다.
도 1을 참조하면, 실시예에 따른 자율주행 차량의 현재 위치기반 인프라 정보 송수신 시스템은 자율주행 차량(100), 서버(200) 및 V2x 객체(300)를 포함할 수 있다.
자율주행 차량(100)는 차량의 동적 데이터와 차량 정보를 수집한다. 실시예에서 동적 데이터는 GPS, RTK(Real Time Kinematic), IMU(Inertial Measurement Unit) 데이터를 포함할 수 있고, 차량정보는 헤딩 정보, 휠 각도, 센서에서 탐지된 주변 객체 정보 및 차량 제어정보를 포함할 수 있다. 실시예에서 자율주행 차량(100)은 동적 데이터와 차량 정보를 기반으로 현재 위치와 주행 예정 위치를 산출한다.
서버(200)는 자율주행 차량(100)으로부터 동적 데이터, 헤딩정보, 차량 정보 및 현재 위치를 자율 주행 차량으로부터 수집하여 자율 주행 경로 및 차량 제어 신호를 생성한다.
실시예에서 자율주행 차량(100)은 주행 경로에 신호등이 포함되어 있거나, 주변 객체로 신호등이 인식되는 경우, 신호등 위치 정보를 서버(200)로 전송한다.
서버(200)는 수신한 신호등 위치 정보에 따라 신호등의 SPAT 데이터를 검출하고, 검출된 SPAT 데이터를 기반으로 자율주행 차량 제어신호를 생성한다.
V2x 객체(300)는 자율주행 차량 주변의 인프라로서, 신호등, 주변 환경, 주변 보행자의 스마트 단말 등을 포함할 수 있다.
실시예에서는 V2X 단말 통신 방법을 통해 차량 주변 객체와 통신하며 자율주행을 진행한다 또한, 실시예에 따른 자율주행 차량의 현재 위치기반 인프라 정보 송수신 시스템 및 방법은 현재 위치 GPS, RTK(Real Time Kinematic), IMU(Inertial Measurement Unit)를 포함하는 동적 데이터 및 차량 정보를 이용해 현재 위치를 산출하고, 차량의 이동 위치를 예측한다.
또한, 실시예에서는 차량 주변 객체 및 신호등 포함여부 등의 주행경로 조건에 따라 차량에서 서버와 통신하는 데이터의 포맷과 데이터 종류를 결정한다.
또한, 실시예에서는 차량의 위치를 포함하는 동적 데이터와 헤딩 정보를 주기적으로 전송하고, 차량 진행 방향으로 신호등이 존재할 경우 SPAT(Signal Phase and Timing)포맷 형태로 신호등 정보를 전송한다. 또한, 실시예에서는 SPAT 데이터와 함께 교차로 구성정보를 포함하는 맵 데이터를 전송한다.
실시예에서는 서버에서 맵 데이터를 수신하면, 맵 데이터를 기반으로 참조해야 할 신호등 그룹 ID를 검출한 후 SPAT 데이터 중 해당 그룹 ID를 참조하여 자율주행 경로를 생성하고, 자율주행 차량 제어신호를 생성한다.
도 2는 실시예에 따른 자율주행 차량의 데이터 처리 구성을 나타낸 도면이다.
도 2를 참조하면, 실시예에 따른 자율주행 차량은 수집부(110), 전처리부(120), 딥러닝부(130), 생성부(140), 제어부(150) 및 피드백부(160)를 포함하여 구성될 수 있다. 본 명세서에서 사용되는 '부' 라는 용어는 용어가 사용된 문맥에 따라서, 소프트웨어, 하드웨어 또는 그 조합을 포함할 수 있는 것으로 해석되어야 한다. 예를 들어, 소프트웨어는 기계어, 펌웨어(firmware), 임베디드코드(embedded code), 및 애플리케이션 소프트웨어일 수 있다. 또 다른 예로, 하드웨어는 회로, 프로세서, 컴퓨터, 집적 회로, 집적 회로 코어, 센서, 멤스(MEMS; Micro-Electro-Mechanical System), 수동 디바이스, 또는 그 조합일 수 있다.
수집부(110)는 동적 데이터, 차량 정보, 주변 객체 정보 및 딥러닝 모델의 트레이닝 데이터 셋을 수집한다. 실시예에서 동적 데이터는 RTK(Real Time Kinematic), IMU(Inertial Measurement Unit)를 포함하고, 차량의 예상 위치 산출에 이용된다. 차량정보는 차량의 속도, 주행상태, 휠각도, 헤딩방향을 포함하는 차량 상태 및 차량 주행 상태 정보를 포함한다. 실시예에서 딥러닝 모델은 주행 경로 생성 모델 및 자율주행 차량 제어모델을 포함한다. 실시예에서 주행경로 생성모델의 트레이닝 데이터 셋은 주행 경로 생성 모델의 학습 정보로서, 자율주행 차량의 카메라 이미지, 라이다 센서 데이터, GPS 정보, 차량의 속도, 방향 등이 포함될 수 있다. 또한, 드라이버의 운전 데이터셋을 포함할 수 있다. 드라이버의 운전 데이터 셋은 인간 드라이버가 실제로 주행한 데이터를 포함하고, 드라이버의 운전 데이터 셋은 자율주행 차량이 모방학습을 수행하도록 구성된다. 예컨대, 수집부(110)는 드라이버의 운전 데이터셋으로 운전자가 실제로 주행하는 도로 상황에서 운전자의 조향, 가속, 제동 등의 운전 습관을 수집하여, 자율주행 차량이 인간 드라이버의 주행 습관을 학습하도록 한다.
실시예에서 자율주행 차량 제어모델의 트레이닝 데이터 셋은 자율주행 차량이 실제 도로에서 주행하는 주행 데이터 셋을 포함할 수 있다. 주행 데이터셋은 자율주행 차량이 카메라, 라이다, 레이더 등의 센서를 사용하여 수집한 데이터를 기반으로 구성된다. 주행 데이터셋은 자율주행 차량이 도로 환경에서 실제로 경험한 상황을 포함한다. 또한, 자율주행 차량 제어 모델의 트레이닝 데이터 셋은 시뮬레이션을 사용하여 생성된 데이터 셋을 포함한다. 시뮬레이션 데이터셋은 실제 도로 상황을 모사하는 시뮬레이션 환경에서 생성된다. 시뮬레이션 데이터셋은 자율주행 차량이 다양한 상황에서 제어 알고리즘을 테스트하고 검증하는 데 사용하고, 시뮬레이션 데이터셋을 사용하여 다양한 상황에서 제어 알고리즘을 학습하고 최적화하는 데 사용할 수 있다.
전처리부(120)는 수집된 트레이닝 데이터 셋 중 편향성이나 차별성을 가진 데이터를 제거하기 위해, 수집된 데이터를 전처리한다. 실시예에서 전처리부(120)는 수집된 데이터를 전처리하여 인공지능 모델 학습에 적합한 형태로 가공한다. 예컨대, 전처리부(120)는 노이즈 제거, 이상치 제거, 결측치 처리 등의 과정을 수행할 수 있다. 또한, 전처리부(120)는 데이터 전처리를 통해 데이터를 정규화하거나, 이상치를 제거하거나, 데이터의 배율 조정 등을 수행하여 모델이 불필요한 패턴을 학습하는 것을 방지할 수 있다.
딥러닝부(130)는 딥러닝 뉴럴 네트워크를 트레이닝 데이터 셋으로 학습시켜 주행경로 생성 모델 및 자율주행 차량 제어 모델을 구현한다. 실시예에서 주행 경로 생성 모델은 자율주행차량의 위치정보, 동적데이터, 상태정보, V2X 정보, 출발지와 목적지 정보를 기반으로 자율주행차량의 주행 경로를 생성하는 딥러닝 모델이다. 주행 경로 생성 모델은 자율주행 차량이 도로 환경에서 안전하고 효율적인 주행 경로를 생성하기 위해 사용되는 딥러닝 모델이다. 이 모델은 카메라, 라이다, 레이더 등 다양한 센서 데이터를 입력으로 받아 도로 상황을 분석하고, 주행 경로를 생성한다. 또한, 주행경로 생성 모델은 딥 러닝 알고리즘을 기반으로 대규모 데이터셋을 사용하여 학습된다. 실시예에서 주행 경로 생성 모델은 도로의 모양, 차선의 개수, 신호등, 교차로 등의 정보를 활용하여 주행 경로를 생성하고, 주변 차량, 보행자, 동물 등의 정보도 활용하여 주행 경로를 생성할 수 있다.
실시예에서 자율주행 차량 제어 모델은 자율주행 차량이 주어진 상황에서 안전하고 효율적인 운전을 수행하기 위해 사용되는 모델이다. 자율주행 차량 제어 모델은 차량의 속도, 가속도, 조향각 등의 변수를 조절하여 주행을 제어한다. 실시예에서 자율주행 차량 제어 모델은 대부분 딥 러닝 알고리즘을 기반으로 하며, 이를 위해 대량의 학습 데이터를 학습한다.
실시예에서 딥러닝 뉴럴 네트워크를 DNN(Deep Neural Network), CNN(Convolutional Neural Network) RNN(Recurrent Neural Network) 및 BRDNN(Bidirectional Recurrent Deep Neural Network) 중 적어도 하나를 포함하고, 이에 한정하지 않는다.
생성부(140)는 동적데이터와 차량정보, 주변 객체 정보를 통해 현재 위치를 산출하고, 현재 위치와 목적지 정보를 이용하여 자율 주행 경로를 생성한다. 실시예에서 생성부(140)는 주행 경로 생성 모델을 통해, 자율 주행 경로를 생성할 수 있다.
실시예에서 생성부(140)는 GPS, IMU, 차량용 카메라 등의 센서를 사용하여 현재 위치를 산출하고, 차량의 속도, 가속도, 자이로스코프 등의 정보를 이용하여 위치를 보정한다. 또한, 생성부(140)는 레이더, 라이다, 카메라 등의 센서를 사용하여 주변 환경에서의 도로 상황을 인식하고, 통해 주변에 위치한 차량, 보행자, 신호등, 표지판 등의 객체 정보를 수집한다.
이후, 생성부(140)는 수집된 동적 데이터와 주변 객체 정보를 기반으로, 자율주행 차량은 현재 상황을 분석한다. 이때 차량의 위치, 속도, 주행 방향 등을 고려하여 다음 동작을 결정한다. 이후, 생성부(140)는 현재 위치와 목적지 정보를 이용하여, 자율주행 차량은 최적의 주행 경로를 생성한다. 이때 경로 생성 알고리즘은 다양한 방법으로 구현될 수 있으며, 목적지까지 최단거리, 최소비용 등 다양한 요소를 고려하여 경로를 생성한다.
제어부(150)는 자율 주행 차량의 제어 명령 생성하고, 제어명령을 기반으로 자율주행 차량을 제어한다. 예컨대, 제어부(150)는 자율 주행 경로와 주변 객체 탐지 결과에 기반하여 차량을 제어한다. 실시예에서 제어 명령은 차량의 가속도, 속도, 조향각 등을 결정한다. 제어 명령은 자율주행 차량의 제어 시스템에 전달되어 차량의 주행을 제어한다.
또한, 제어부(150)는 서버(200)로부터 수신한 차량 제어신호로 차량 제어를 보정하여 자율 주행 차량을 제어한다. 실시예에서 서버(200)는 신호등의 SPAT 데이터를 반영하여 차량 제어신호를 생성하고, 제어부(150)는 신호등의 SPAT 데이터에 따라 차량 제어 신호를 보정할 수 있다. 예컨대, 제어부(150)는 SPAT 데이터에 따라 차량 대기시간을 조정하거나, 속도를 줄이는 시점 및 출발 시점을 보정할 수 있다.
이를 위해 제어부(150)는 교차로 주변에서 수신한 SPAT 데이터를 분석하여 각 신호등의 상태와 타이밍 정보를 파악한다. 타이밍 정보는 신호등의 녹색, 빨간색 및 노란색 상태를 포함하며, 제어부(150)는 신호등 상태와 타이밍 정보를 기반으로 자율 주행 차량의 다음 제어 동작을 계획한다. 또한, 제어부(150)는 주변 차량 위치 및 속도 추적한다. 실시예에서 제어부(150)는 차량들의 위치와 속도 정보를 수집하고 분석하여 교차로에 접근하거나 통과하는 차량들의 움직임을 이해한다. 이를 통해 각 차량의 도착 및 출발 시점을 파악할 수 있도록 한다. 이후, 제어부(150)는 수집한 SPAT 데이터와 차량의 위치 및 속도 정보를 기반으로 자율 주행 차량을 제어한다. 또한, 제어부(150)는 현재의 신호 타이밍과 주변 차량 정보를 신호 제어 시스템으로 전송하고 신호 제어 시점을 동적으로 보정하여 교통 흐름을 최적화할 수 있도록 한다. 예를 들어, 교차로 주변의 차량 밀도가 높을 경우 녹색 신호 시간을 늘려 혼잡을 완화하거나, 비어 있는 도로에서는 신호 시간을 줄여 빠른 이동을 유도할 수 있도록 한다. 또한, 실시예에서는 차량은 V2X(Vehicle-to-Everything) 통신을 지원하는 차량 및 신호 제어 시스템과 통신하여, 차량은 SPAT 데이터를 직접 수신하여 최적의 속도 및 도착 시간을 계산하고 조정할 수 있도록 한다.
또한, 실시예에서 제어부(150)는 보정 알고리즘을 적용하여 차량 제어신호를 보정할 수 있다. 이때 보정 알고리즘은 SPAT 데이터를 기반으로, 실제 교통 상황과 일치하도록 차량 제어 신호를 보정한다. 이후, 제어부(150)는 보정 알고리즘이 적용된 차량 제어 신호를 차량 제어 시스템에 반영한다. 이때 제어 신호는 차량의 가속, 감속, 정지 등의 동작을 제어한다. 또한, 감속 시점, 가속 시점, 정지 시점, 출발 시점을 보정된 차량 제어신호에 따라 조정할 수 있다. 실시예에서 보정 알고리즘은 실시간 경로 보정 알고리즘, 머신러닝 기반 보정 알고리즘 및 맵 기반 보정 알고리즘 등을 포함할 수 있다.
제어부(150)는 V2X 통신을 통해 주변 객체와 통신하며 차량 제어를 보정한다. 실시예에서 자율주행 차량은 V2X(Vehicle-to-Everything) 통신을 이용하여 주변 객체와 통신할 수 있다. V2X 통신은 차량 간 통신(V2V), 차량-인프라 간 통신(V2I), 차량-보행자 간 통신(V2P) 등을 포함한다.
실시예에서 제어부(150)는 V2X 통신을 이용하여 자율주행 차량의 주변 객체의 위치, 속도, 가속도 등을 포함하는 주변 객체 정보를 수집하고, 수집된 주변 객체 정보를 이용하여 주변 객체의 움직임을 예측하고, 차량 제어 신호를 보정할 수 있다. 예컨대, 앞 차량이 급정거를 한다면 V2X 통신을 이용하여 앞 차량의 속도, 가속도 등의 정보를 수집하고, 수집된 정보를 바탕으로 자율주행 차량은 적절한 제동을 가한다. 또한, V2X 통신을 이용하여 주변 신호등 정보를 수집하고, 신호등 정보를 기반으로 차량 제어 신호를 보정하여 안전한 주행을 할 수 있도록 한다.
또한, 제어부(150)는 위험경고(Road side alert), 여행자 정보 메시지(traveler information message), SPAT 메시지(signal phase and timing message), 지도 데이터 메시지(map data message) 및 정밀 측위 보정 메시지(RTCM correction)를 포함하는 정밀 제어 메시지를 수집하고, 수집한 메시지를 기반으로 차량 제어를 보정한다.
실시예에서 기본 안전 메시지는 차량 간 주고받는 안전 메시지이고 도로 위험 경고는 가까운 위험에 대한 경고 메시지이다. 여행자 경보 메시지는 교통정보와 도로표지판 정보를 포함하고, 임시 건설현장과 사보 현장 위치 정보를 포함한다. SPAT 메시지는 신호의 현상태와 주기 정보를 포함하고, 맵 데이터는 지형적 도로 정보로서, 교차로 속성, 위치 관련 데이터를 포함한다. 정밀 위치측위 보정 메시지는 GPS 및 다른 무선항법 신호를 보정하기 위한 메시지이다.
실시예에서 제어부(150)는 정밀제어메시지를 통해 차량 제어를 보정하는 과정은 V2X(Vehicle-to-Everything) 통신을 이용하여 수행된다. 실시예에서 제어부(150)는 V2X 통신을 이용하여 수집한 메시지 분석하고, 분석 결과에 따라 차량 제어를 보정함으로써 안전하고 정확한 주행이 가능하도록 한다.
실시예에서 제어부(150)는 V2V 통신을 통해 앞 차량으로부터 앞 차량의 전방 동영상을 수집할 수 있다. 전방 동영상을 그대로 전송하는 경우에는 많은 데이터 전송이 필요하기 때문에, 앞 차량의 제어부(150)은 카메라를 통해 수집한 전방 동영상에 대해 객체를 인식하여 각 객체에 대한 앞 차량 기반으로 하는 좌표계에서의 좌표값과 객체에 대한 라벨링만을 포함함으로써 데이터 전송량을 줄일 수 있을 것이다. 객체 인식을 통해 그 객체가 사람인지, 자동차인지, 오토바이인지를 인식하는 것은 각 객체에 대한 이미지의 데이터셋을 이용하여 딥러닝부(130)에서 학습을 통해 특징점을 분석하여 인식하고, 해당 객체에 대한 라벨링을 지정할 수 있을 것이다. 그리고 객체가 차량인 경우에는 후술할 서버(200)에서 어느 차량이 자율 주행 차량이고, 어느 차량이 수동 운전하는 차량인지에 대한 정보를 전송받을 수 있다. 수동 운전하는 차량이고, 자율 주행 기능이 없는 차량이 포함되어 있는 경우에는 그 차량의 속도, 가속도 및 방향에 대한 정보를 수집할 수 없고 또한 이상 행동을 할 가능성이 있으므로 앞 차량의 급 정거에 대비하여 앞 차량과의 간격을 늘리는 것으로 제어부(150)에서 제어할 수 있을 것이다. 앞 차량으로부터 수집하는 전방 동영상에 사람, 오토바이 등이 포함되어 있을 경우에도 마찬가지이다. 이렇게 함으로써 앞 차량의 전방에 있는 객체의 이상 행동으로 인한 사고를 예방할 수 있는 이점이 있다.
도 3은 실시예에 따른 서버의 데이터 처리 구성을 나타낸 도면이다.
도 3을 참조하면, 실시예에 따른 서버(200)는 수집부(210), 전처리부(220), 딥러닝부(230), 검출부(240), 생성부(250), 통신부(260) 및 피드백부(270)를 포함하여 구성될 수 있다.
수집부(210)는 자율주행 차량으로부터 동적 데이터, 차량 정보, 주변 객체 정보, 현재 위치 정보, 주행정보 및 자율주행 차량 제어 모델을 포함하는 딥러닝 모델의 트레이닝 데이터 셋을 수집한다. 실시예에서 자율주행 차량 제어모델의 트레이닝 데이터 셋은 자율주행 차량이 실제 도로에서 주행하는 주행 데이터 셋을 포함할 수 있다. 주행 데이터셋은 자율주행 차량이 카메라, 라이다, 레이더 등의 센서를 사용하여 수집한 데이터를 기반으로 구성된다. 주행 데이터셋은 자율주행 차량이 도로 환경에서 실제로 경험한 상황을 포함한다. 또한, 자율주행 차량 제어 모델의 트레이닝 데이터 셋은 시뮬레이션을 사용하여 생성된 데이터 셋을 포함한다. 시뮬레이션 데이터셋은 실제 도로 상황을 모사하는 시뮬레이션 환경에서 생성된다. 시뮬레이션 데이터셋은 자율주행 차량이 다양한 상황에서 제어 알고리즘을 테스트하고 검증하는 데 사용하고, 시뮬레이션 데이터셋을 사용하여 다양한 상황에서 제어 알고리즘을 학습하고 최적화하는 데 사용할 수 있다.
전처리부(220)는 수집된 트레이닝 데이터 셋 중 편향성이나 차별성을 가진 데이터를 제거하기 위해, 수집된 데이터를 전처리한다. 실시예에서 전처리부(220)는 수집된 데이터를 전처리하여 인공지능 모델 학습에 적합한 형태로 가공한다. 예컨대, 전처리부(120)는 노이즈 제거, 이상치 제거, 결측치 처리 등의 과정을 수행할 수 있다. 또한, 전처리부(120)는 데이터 전처리를 통해 데이터를 정규화하거나, 이상치를 제거하거나, 데이터의 배율 조정 등을 수행하여 모델이 불필요한 패턴을 학습하는 것을 방지할 수 있다.
딥러닝부(230)는 딥러닝 뉴럴 네트워크를 트레이닝 데이터 셋으로 학습시켜 자율주행 차량 제어 모델을 구현한다. 주행 경로 생성 모델은 자율주행 차량이 도로 환경에서 안전하고 효율적인 주행 경로를 생성하기 위해 사용되는 딥러닝 모델이다. 이 모델은 카메라, 라이다, 레이더 등 다양한 센서 데이터를 입력으로 받아 도로 상황을 분석하고, 주행 경로를 생성한다. 또한, 주행경로 생성 모델은 딥 러닝 알고리즘을 기반으로 대규모 데이터셋을 사용하여 학습된다. 실시예에서 주행 경로 생성 모델은 도로의 모양, 차선의 개수, 신호등, 교차로 등의 정보를 활용하여 주행 경로를 생성하고, 주변 차량, 보행자, 동물 등의 정보도 활용하여 주행 경로를 생성할 수 있다.
실시예에서 자율주행 차량 제어 모델은 자율주행 차량이 주어진 상황에서 안전하고 효율적인 운전을 수행하기 위해 사용되는 모델이다. 자율주행 차량 제어 모델은 차량의 속도, 가속도, 조향각 등의 변수를 조절하여 주행을 제어한다. 실시예에서 자율주행 차량 제어 모델은 대부분 딥 러닝 알고리즘을 기반으로 하며, 이를 위해 대량의 학습 데이터를 학습한다.
검출부(240)는 자율주행 차량의 주행경로에 신호등이 포함되어 있거나, 주변 객체로 신호등이 탐지된 경우, 신호등의 위치 정보를 이용하여 신호등 ID를 추출한다. 실시예에서 검출부(240)는 자율주행 차량으로부터 수신한 맵 데이터에서 신호등을 추출하고, 추출된 신호등의 위치를 기반으로 신호등의 ID를 추출할 수 있다.
실시예에서 검출부(240)는 운전 중인 자율주행 차량으로부터 맵 데이터를 수집하고 맵 데이터를 전처리 한다. 실시예에서 맵 데이터는 전처리 과정을 거쳐 자율주행 차량이 활용할 수 있는 형식으로 변환된다. 이때 맵 데이터는 신호등의 위치 정보를 포함한다. 또한, 검출부(240)는 자율주행 차량으로부터 도로 상황 인식 정보를 수집하고, 수집한 도로 상황 인식정보에서, 신호등 객체를 인식하고 추출한다. 실시예에서 검출부(240)는 인식된 신호등 객체의 위치 정보를 이용하여, 해당 신호등이 속한 도로 구간을 추출한다. 이때 신호등 객체의 위치 정보는 맵 데이터에 기반하여 추출된다. 이후, 검출부(240)는 추출된 도로 구간 정보를 이용하여, 해당 구간에 속한 모든 신호등의 ID를 검출할 수 있다.
생성부(250)는 검출된 신호등 ID를 통해, 신호등의 SPAT 데이터를 추출하고, 추출된 SPAT 데이터를 반영한 차량 제어 신호를 생성한다.
SPAT(Signal Phase and Timing)데이터는 교차로의 신호 제어 정보를 나타내는 데이터로서, SPAT 데이터는 자율주행 차량이 교차로에서 안전하고 효율적으로 운행하기 위해 필요한 정보이다. SPAT 데이터는 교차로의 신호 주기, 초록, 빨강 신호, 신호가 변경되는 시간 등 교차로의 신호 정보를 포함한다. 이 정보는 교차로에서 자동차와 보행자의 이동을 조절하고 교통 체증을 예방하기 위해 사용된다.
실시예에서 생성부(250)는 신호등 위치 정보를 기반으로, 해당 신호등과 관련된 SPAT 데이터를 추출한다. 실시예에서 SPAT 데이터는 교통 신호등이 현재 어떤 상태인지를 나타내는 정보를 포함할 수 있다. 이후, 생성부(250)는 추출된 SPAT 데이터를 기반으로, 차량 제어 신호를 생성한다. 예컨대, 생성부(250)는 SPAT 데이터를 반영하여 교통 신호등에 따라 정지, 주행, 감속 등의 제어 명령을 생성하고, 정지, 주행 감속 제어 시점을 조정할 수 있다. 예컨대, 생성부(250)는 교차로 주변의 신호등 및 횡단보도의 상태와 타이밍을 나타내는 SPAT 데이터를 수신하고 분석한다. SPAT 데이터는 각 신호등의 녹색, 빨간색, 노란색 상태와 각 신호 상태의 지속 시간을 포함한다. 이후, 생성부(250)는 자율주행 차량의 위치, 속도, 가속도, 주행 경로 현재 상태를 모니터링한다.
이후, 생성부(250)는 신호 제어 계획 수립: 수신한 SPAT 데이터와 차량 위치 정보를 기반으로 자율주행 차량의 제어 계획을 수립한다. 이 계획은 자율주행 차량 경로 중 속도, 정지 시간, 가속량 등을 포함한다. 또한, 생성부(250)는 자율주행 차량을 제어하기 위한 제어 명령을 생성한다. 실시예에서 제어 명령은 차량의 현재 상태, SPAT 데이터 및 신호 상황을 고려하여 정지, 주행, 감속 등의 동작을 결정하는 신호이다. 이후, 생성부(250)는 생성된 제어 명령에 따라 차량의 속도와 가속도를 조절한다. 예를 들어, 빨간색 신호로 인해 정지해야 할 경우 속도를 줄이고 정지한다. 녹색 신호로 바뀔 때는 주행 속도를 조절하거나 가속한다. 또한, 생성부(250)는 제어 명령을 생성할 때 차량의 주행 경로를 조정한다. 예를 들어, 빨간색 신호로 인해 정지해야 할 경우 주행 경로를 변경하여 다른 차량과 충돌하지 않도록 합니다.
실시예에서 생성부(250)는 V2X 통신을 활용하는 경우, 차량 간 또는 차량과 인프라 간의 실시간 통신을 통해 신호 변경 시점 및 주변 교통 정보 등을 추가적으로 수신한다. 이를 통해 자율주행 차량의 제어 명령을 더욱 정확하게 조정할 수 있다.
통신부(260)는 차량 제어 신호와 SPAT 데이터를 자율주행 차량으로 전송한다.
이하, 자율주행 차량의 피드백부(160)와 서버의 피드백부(260)에 대해 설명한다.
피드백부는 학습된 인공신경망 모델 및 딥러닝 모델을 평가한다. 실시예에서 피드백부는 정확도(Accuracy), 정밀도 (Precision) 및 재현율 (Recall) 중 적어도 하나를 통해, 인공신경망 모델을 평가할 수 있다. 정확도는 인공 신경망 모델이 예측한 결과가 실제 결과와 얼마나 일치하는지를 측정하는 지표이다. 정밀도는 양성으로 예측한 결과 중 실제 양성인 비율을 측정하는 지표이다. 재현율은 실제 양성 중에서 모델이 양성으로 예측한 비율을 측정하는 지표이다. 실시예에서 피드백부는 인공신경망 모델의 정확도, 정밀도 및 재현율을 산출하고, 산출된 지표 중 적어도 하나를 기반으로 인공신경망 모델을 평가할 수 있다.
실시예에서 피드백부는 인공신경망 모델의 정확도를 평가 데이터셋을 사용하여 측정할 수 있다. 평가 데이터셋은 모델이 학습에 사용하지 않은 데이터로 구성되어 있으며, 모델의 성능을 객관적으로 평가하는 데 사용된다. 실시예에서 피드백부는 평가 데이터셋을 사용하여 인공신경망 모델을 실행하고, 각 입력 데이터에 대한 인공신경망 모델의 예측 값과 해당 데이터의 실제 정답 값을 비교한다. 이후, 비교 결과를 통해, 모델이 얼마나 정확하게 예측하는지를 측정할 수 있다. 예컨대, 피드백부에서 정확도는 전체 데이터 중에서 모델이 맞게 예측한 데이터의 비율로 계산될 수 있다.
또한, 피드백부는 정밀도와 재현율의 조화 평균으로 계산되는 지표인 정밀도와 재현율의 균형을 나타내는 지표인 F1 스코어(F1 Score)를 산출하고, 산출된 F1 스코어를 기반으로 인공신경망 모델을 평가하고, 분류 모델의 성능을 그래프로 시각화한 지표인 AUC-ROC 곡선을 생성하고, 생성된 AUC-ROC 곡선을 기반으로 인공신경망 모델을 평가할 수 있다. 실시예에서 피드백부는 ROC 곡선 아래 면적 (AUC)이 1에 가까울수록 모델의 성능이 좋은 것으로 평가할 수 있다.
또한, 피드백부는 인공신경망 모델의 해석 가능성을 평가할 수 있다. 실시예에서 피드백부는 SHAP (SHapley Additive exPlanations), LIME (Local Interpretable Model-agnostic Explanations) 방법을 통해, 인공신경망 모델의 해석 가능성을 평가한다. SHAP (SHapley Additive exPlanations)는 모델이 예측한 결과에 대한 해석을 제공하는 라이브러리로서, 피드백부는 라이브러리에서 SHAP 값을 추출한다. 실시예에서 피드백부는 SHAP값 추출을 통해, 모델에 입력된 특성정보가 모델 예측에 얼마나 영향을 미쳤는지를 예측할 수 있다.
LIME (Local Interpretable Model-agnostic Explanations) 방법은 개별 샘플에 대한 모델의 예측을 설명하는 방법이다. 실시예에서 피드백부는 LIME 방법을 통해, 샘플을 해석 가능한 모델로 근사하여 각 특성정보의 중요도를 계산한다. 또한, 피드백부는 모델의 내부 가중치와 편향 값을 분석하여 각 특성 변수의 영향력을 추정할 수 있다.
피드백부는 인공신경망 모델의 공정성이 낮거나 차별성을 보이는 경우, 개선 작업을 수행한다. 실시예에서 피드백부는 특정 집단의 데이터가 일정수준 이상 부족한 경우 상기 특정 집단을 대표하는 데이터를 추가로 수집하고, 데이터 전처리 과정을 수행한다. 실시예에서 피드백부는 데이터 정규화, 이상치 제거, 데이터의 배율 조정을 포함하는 데이터 전처리 과정을 수행하여 모델이 불필요한 패턴을 학습하는 것을 방지한다. 또한, 실시예에서 피드백부는 모델 학습 알고리즘에 특정 조건을 추가하여 차별성을 방지하거나, 공정성을 보장할 수 있다.
실시예에서 피드백부는 공정성 보장을 위해, 혼돈행렬(Confusion Matrix) 분석을 통해, 모델의 예측 결과를 실제 결과와 비교하여 모델의 성능을 평가한다. 혼돈 행렬(confusion matrix)은 지도 학습에서 모델의 분류 성능을 평가하는 행렬이다. 혼돈 행렬은 모델이 예측한 결과와 실제 결과를 비교하여 분류 결과를 표시한다. 실시예에서 피드백부는 혼돈행렬 분석을 통해, 각각의 클래스에 대한 정확도와 오분류율을 계산하여 모델의 성능을 평가할 수 있다.
또한, 실시예에서 피드백부는 학습데이터에 대한 시각화 분석을 통해 데이터의 분포를 확인할 수 있도록 한다. 예를 들어, 이미지 데이터의 경우 각 클래스에 대한 이미지 샘플을 시각화 하여 데이터의 다양성과 공정성을 평가할 수 있다.
또한, 피드백부는 인공신경망 모델의 편향(Bias) 검증을 수행한다. 실시예에서 피드백부는 학습정보에 대한 편향(Bias) 검증을 통해, 모델이 특정 클래스나 속성에 대해 편향되어 있는지 여부를 확인한다. 이를 위해 피드백부는 각 클래스에 대한 샘플의 수를 비교하거나, 각 클래스에 대한 분류 성능을 평가한다.
또한, 피드백부는 공정성(Fairness) 검증 및 평가 지표 계산을 통해, 학습데이터의 공정성과 다양항을 검증하고 인공신경망 모델을 개선할 수 있도록 한다. 실시예에서 공정성 검증은 학습정보에 대해 인공신경망 모델이 성별, 인종, 연령 등의 특정속성에 대해 차별성을 보이는지 여부를 확인하는 것이다. 실시예에서 피드백부는 각 속성에 대한 샘플의 수를 비교하거나, 각 속성에 대한 분류 성능을 평가하여, 특정 속성에 대한 차별성 여부를 확인할 수 있다.
또한, 피드백부는 인공신경망 모델의 성능을 평가하기 위한 다양한 지표를 계산한다. 예를 들어, 정확도, 정밀도, 재현율, F1-score 등의 지표를 계산하여 모델의 성능을 평가할 수 있다. 이때, 각 클래스에 대한 지표를 계산하여 모델의 공정성과 다양성을 평가할 수 있다.
또한, 피드백부는 인공신경망 모델이 실제 환경에서 사용되면서 발생하는 문제점에 대한 피드백을 수집하고, 수집된 피드백을 인공신경망 모델에 반영하여 인공신경망 모델을 지속적으로 개선한다.
이하에서는 자율주행 차량의 현재 위치기반 인프라 정보 송수신 방법에 대해서 차례로 설명한다. 실시예에 따른 자율주행 차량의 현재 위치기반 인프라 정보 송수신 방법의 작용(기능)은 자율주행 차량의 현재 위치기반 인프라 정보 송수신 시스템의 기능과 본질적으로 같은 것이므로 도 1 내지 도 3과 중복되는 설명은 생략하도록 한다.
도 4는 실시예에 따른 자율주행 차량의 현재 위치기반 인프라 정보 송수신 시스템의 신호 흐름도이다.
도 4를 참조하면, 도 4를 참조하면, S100 단계에서는 자율주행 차량에서 GPS, RTK(Real Time Kinematic), IMU(Inertial Measurement Unit)를 포함하는 동적 데이터 및 헤딩 정보, 휠 각도, 주변 객체 정보를 포함하는 차량 정보를 서버로 전송하고, S200 단계에서는 동적 데이터와 차량 정보를 기반으로 현재 위치를 산출한다.
S300 단계에서는 서버에서 상기 동적 데이터, 헤딩정보, 차량 정보 및 현재 위치를 자율 주행 차량으로부터 수집하여 자율 주행 경로 및 차량 제어 신호를 생성한다. S400 단계에서는 자율주행 차량에서 주행 경로에 신호등이 포함되어 있는 경우, 신호등 위치 정보를 서버로 전송한다. S500 단계에서는 서버에서 수신한 신호등 위치 정보에 따라 상기 신호등의 SPAT(Signal Phase and Timing)데이터를 추출하고, 추출된 SPAT 데이터를 기반으로 자율주행 차량 제어신호를 생성한다.
이상에서와 같은 자율주행 차량의 현재 위치기반 인프라 정보 송수신 방법은 자율주행 동적 데이터, 헤딩정보, 주행 경로 조건에 따른 데이터를 서버로 전송하여, 보다 안전하고 효율적으로 자율 주행 차량의 주행 경로를 생성할 수 있도록 한다.
또한, 실시예에서는 차량 주변의 객체 탐지 결과 및 주행 경로 조건에 따라 서버와 송수신하는 데이터를 선별하여 통신함으로써, 데이터로 인한 제어 지연 및 판단 지연을 방지한다.
또한, 자율주행 시 신호등, 보행자 등 주변 객체와 인프라 정보에 따라 자율주행 차량의 제어 정보를 보정하여 자율주행 차량을 보다 정밀하고 안전하게 제어할 수 있도록 한다.
개시된 내용은 예시에 불과하며, 특허청구범위에서 청구하는 청구의 요지를 벗어나지 않고 당해 기술분야에서 통상의 지식을 가진 자에 의하여 다양하게 변경 실시될 수 있으므로, 개시된 내용의 보호범위는 상술한 특정의 실시예에 한정되지 않는다.

Claims (5)

  1. 자율주행 차량의 현재 위치기반 인프라 정보 송수신 시스템에 있어서,
    GPS, RTK(Real Time Kinematic), IMU(Inertial Measurement Unit)를 포함하는 동적 데이터 및 헤딩 정보, 휠 각도, 주변 객체 정보를 포함하는 차량 정보를 서버로 전송하고, 상기 동적 데이터와 차량 정보를 기반으로 현재 위치를 산출하는 자율주행 차량;
    상기 동적 데이터, 헤딩정보, 차량 정보 및 현재 위치를 자율 주행 차량으로부터 수집하여 자율 주행 경로 및 차량 제어 신호를 생성하는 서버; 를 포함하고,
    상기 자율주행 차량; 은
    주행 경로에 신호등이 포함되어 있는 경우, 신호등 위치 정보를 서버로 전송하고,
    상기 서버; 는
    수신한 신호등 위치 정보에 따라 상기 신호등의 SPAT(Signal Phase and Timing)데이터를 추출하고, 추출된 SPAT 데이터를 기반으로 자율주행 차량 제어신호를 생성하고
    상기 자율주행 차량; 은
    동적 데이터, 차량 정보, 주변 객체 정보 및 딥러닝 모델의 트레이닝 데이터 셋을 수집하는 수집부;
    상기 동적데이터와 차량정보, 주변 객체 정보를 통해 현재 위치 및 주행 예정 위치를 산출하고, 현재 위치, 목적지 정보를 이용하여 자율 주행 경로를 생성하는 생성부;
    상기 자율 주행 경로와 주변 객체 탐지 결과에 기반하여 차량을 제어하는 제어부;
    DNN(Deep Neural Network), CNN(Convolutional Neural Network) RNN(Recurrent Neural Network) 및 BRDNN(Bidirectional Recurrent Deep Neural Network) 중 적어도 하나를 포함하는 딥러닝 뉴럴 네트워크를 트레이닝 데이터 셋으로 학습시켜 경로 생성 모델 및 자율주행 차량 제어 모델을 구현하는 딥러닝부; 를 포함하고,
    상기 서버; 는
    자율주행 차량으로부터 동적 데이터, 차량 정보, 주변 객체 정보, 현재 위치 정보, 주행정보 및 딥러닝 모델의 트레이닝 데이터 셋을 수집하는 수집부;
    상기 자율주행 차량의 주행경로에 신호등이 포함되어 있거나, 주변 객체로 신호등이 탐지된 경우, 신호등의 위치 정보를 이용하여 신호등 ID를 검출하는 검출부;
    검출된 신호등 ID를 통해, 신호등의 SPAT 데이터를 추출하고, 추출된 SPAT 데이터를 반영한 차량 제어 신호를 생성하는 생성부; 및
    상기 차량 제어 신호와 SPAT 데이터를 자율주행 차량으로 전송하는 통신부; 를 포함하고,
    상기 제어부; 는
    서버로부터 수신한 차량 제어신호로 차량 제어를 보정(calibration)하여 자율 주행 차량을 제어하고,
    V2X 통신을 통해 주변 객체와 통신하며 차량 제어를 보정하고, 기본 안전 메시지, 도로 위험경고, 여행자 정보 메시지, SPAT 메시지, 지도 데이터 메시지 및 정밀 측위 보정 메시지를 포함하는 정밀 제어 메시지를 수집하고, 수집한 메시지를 기반으로 차량 제어를 보정하고,
    상기 수집부에 의해 수집되는
    상기 동적 데이터는 RTK(Real Time Kinematic), IMU(Inertial Measurement Unit)를 포함하고, 차량의 예상 위치 산출에 이용되고 차량정보는 차량의 속도, 주행상태, 휠각도, 헤딩방향을 포함하는 차량 상태 및 차량 주행 상태 정보를 포함하고,
    상기 딥러닝 모델은 주행 경로 생성 모델 및 자율주행 차량 제어모델을 포함하고,
    상기 주행경로 생성모델의 트레이닝 데이터 셋은 주행 경로 생성 모델의 학습 정보로서, 자율주행 차량의 카메라 이미지, 라이다 센서 데이터, GPS 정보, 차량의 속도, 방향 및 드라이버의 운전 데이터셋을 포함하고,
    상기 드라이버의 운전 데이터 셋은 인간 드라이버가 실제로 주행한 데이터를 포함하고, 드라이버의 운전 데이터 셋은 자율주행 차량이 모방학습을 수행하도록 구성되고
    상기 수집부는 드라이버의 운전 데이터셋으로 운전자가 실제로 주행하는 도로 상황에서 운전자의 조향, 가속, 제동의 운전 습관을 수집하여, 자율주행 차량이 인간 드라이버의 주행 습관을 학습하도록 하고,
    상기 생성부는
    GPS, IMU 및 차량용 카메라를 포함하는 센서를 사용하여 현재 위치를 산출하고, 차량의 속도, 가속도, 자이로스코프 등의 정보를 이용하여 위치를 보정하고, 레이더, 라이다, 카메라의 센서를 사용하여 주변 환경에서의 도로 상황을 인식하고, 통해 주변에 위치한 차량, 보행자, 신호등 및 표지판을 포함하는 객체 정보를 수집하고,
    수집된 동적 데이터와 주변 객체 정보를 기반으로, 자율주행 차량은 현재 상황을 분석하고, 분석 결과에 따라 차량의 위치, 속도, 주행 방향을 고려하여 다음 동작을 결정하고 현재 위치와 목적지 정보를 이용하여, 자율주행 차량의 최적의 주행 경로를 생성하고,
    상기 제어부는
    교차로 주변에서 수신한 SPAT 데이터를 분석하여 각 신호등의 상태와 타이밍 정보를 파악하고,
    상기 타이밍 정보는 신호등의 녹색, 빨간색 및 노란색 상태를 포함하고,
    상기 제어부는
    신호등 상태와 타이밍 정보를 기반으로 자율 주행 차량의 다음 제어 동작을 계획하고, 주변 차량 위치 및 속도 추적하고, 차량들의 위치와 속도 정보를 수집하고 분석하여 교차로에 접근하거나 통과하는 차량들의 움직임을 파악하여 각 차량의 도착 및 출발 시점을 파악하고,
    상기 제어부는
    수집한 SPAT 데이터와 차량의 위치 및 속도 정보를 기반으로 자율 주행 차량을 제어하고, 현재의 신호 타이밍과 주변 차량 정보를 신호 제어 시스템으로 전송하는, 자율주행 차량의 현재 위치기반 인프라 정보 송수신 시스템.

  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
KR1020230109652A 2022-12-29 2023-08-22 자율주행 차량의 현재 위치기반 인프라 정보 송수신 시스템 및 방법 KR102704452B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20220188746 2022-12-29
KR1020220188746 2022-12-29

Publications (2)

Publication Number Publication Date
KR20240106932A KR20240106932A (ko) 2024-07-08
KR102704452B1 true KR102704452B1 (ko) 2024-09-09

Family

ID=91945368

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020230109652A KR102704452B1 (ko) 2022-12-29 2023-08-22 자율주행 차량의 현재 위치기반 인프라 정보 송수신 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR102704452B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220139222A1 (en) * 2019-02-13 2022-05-05 Beijing Baidu Netcom Science And Technology Co., Ltd. Driving control method and apparatus, device, medium, and system

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220052381A (ko) 2020-10-19 2022-04-28 한국자동차연구원 자율주행 차량의 위치 추정 장치 및 방법
KR102219843B1 (ko) 2020-11-10 2021-02-25 (주)뉴빌리티 자율주행을 위한 위치 추정 장치 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220139222A1 (en) * 2019-02-13 2022-05-05 Beijing Baidu Netcom Science And Technology Co., Ltd. Driving control method and apparatus, device, medium, and system

Also Published As

Publication number Publication date
KR20240106932A (ko) 2024-07-08

Similar Documents

Publication Publication Date Title
US11714413B2 (en) Planning autonomous motion
JP7444874B2 (ja) 方法、非一時的コンピュータ可読媒体、および、車両
US10981567B2 (en) Feature-based prediction
US11027751B2 (en) Reinforcement and model learning for vehicle operation
CN105151043B (zh) 一种无人驾驶汽车紧急避让的方法
US11351996B2 (en) Trajectory prediction of surrounding vehicles using predefined routes
CN112977473B (zh) 用于预测移动障碍物驶出十字路口的方法及系统
WO2019106789A1 (ja) 処理装置及び処理方法
US11531349B2 (en) Corner case detection and collection for a path planning system
EP4020113A1 (en) Dynamic model evaluation package for autonomous driving vehicles
WO2023076343A1 (en) Autonomous vehicle trajectory determination based on state transition model
CN113361317B (zh) 用于车道检测不确定性的端到端预测的系统和方法
KR102704452B1 (ko) 자율주행 차량의 현재 위치기반 인프라 정보 송수신 시스템 및 방법
CN117818659A (zh) 车辆安全决策方法、装置、电子设备、存储介质及车辆
EP3454269A1 (en) Planning autonomous motion
CN116736855A (zh) 评估自主驾驶规划和控制的方法和系统
CN113415278A (zh) 用于使用周围车辆运动流跟随最近在径车辆的系统和过程
US20240028035A1 (en) Planning autonomous motion
US12139173B2 (en) Dynamic model evaluation package for autonomous driving vehicles
CN116643565A (zh) 计算机执行的方法、电子设备和存储介质
CN117930727A (zh) 一种基于远程驾驶的车辆编队安全监控系统
Peng et al. A Multi-Sensory Approach for Comprehensive Detection and Warning of Vehicle Collision Risk

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant