Nothing Special   »   [go: up one dir, main page]

KR20180058606A - 객체 인식 장치, 이를 포함하는 자율 주행 시스템, 및 객체 인식 장치를 이용한 객체 인식 방법 - Google Patents

객체 인식 장치, 이를 포함하는 자율 주행 시스템, 및 객체 인식 장치를 이용한 객체 인식 방법 Download PDF

Info

Publication number
KR20180058606A
KR20180058606A KR1020170056538A KR20170056538A KR20180058606A KR 20180058606 A KR20180058606 A KR 20180058606A KR 1020170056538 A KR1020170056538 A KR 1020170056538A KR 20170056538 A KR20170056538 A KR 20170056538A KR 20180058606 A KR20180058606 A KR 20180058606A
Authority
KR
South Korea
Prior art keywords
information
frame
operation mode
complexity
priority
Prior art date
Application number
KR1020170056538A
Other languages
English (en)
Other versions
KR102267040B1 (ko
Inventor
석정희
김이경
여준기
전영득
조민형
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to US15/804,992 priority Critical patent/US10663974B2/en
Publication of KR20180058606A publication Critical patent/KR20180058606A/ko
Application granted granted Critical
Publication of KR102267040B1 publication Critical patent/KR102267040B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B6/00—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
    • G02B6/24—Coupling light guides
    • G02B6/26—Optical coupling means
    • G02B6/35—Optical coupling means having switching means
    • G02B6/3502—Optical coupling means having switching means involving direct waveguide displacement, e.g. cantilever type waveguide displacement involving waveguide bending, or displacing an interposed waveguide between stationary waveguides
    • G02B6/3506—Translating the waveguides along the beam path, e.g. by varying the distance between opposed waveguide ends, or by translation of the waveguide ends
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B6/00—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
    • G02B6/24—Coupling light guides
    • G02B6/36—Mechanical coupling means
    • G02B6/3628—Mechanical coupling means for mounting fibres to supporting carriers
    • G02B6/3648—Supporting carriers of a microbench type, i.e. with micromachined additional mechanical structures
    • G02B6/3656—Supporting carriers of a microbench type, i.e. with micromachined additional mechanical structures the additional structures being micropositioning, with microactuating elements for fine adjustment, or restricting movement, into two dimensions, e.g. cantilevers, beams, tongues or bridges with associated MEMs
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B6/00—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
    • G02B6/24—Coupling light guides
    • G02B6/42—Coupling light guides with opto-electronic elements
    • G02B6/4201—Packages, e.g. shape, construction, internal or external details
    • G02B6/4256—Details of housings
    • G02B6/4262—Details of housings characterised by the shape of the housing
    • G02B6/4263—Details of housings characterised by the shape of the housing of the transisitor outline [TO] can type
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L25/00—Assemblies consisting of a plurality of individual semiconductor or other solid state devices ; Multistep manufacturing processes thereof
    • H01L25/16—Assemblies consisting of a plurality of individual semiconductor or other solid state devices ; Multistep manufacturing processes thereof the devices being of types provided for in two or more different main groups of groups H01L27/00 - H01L33/00, or in a single subclass of H10K, H10N, e.g. forming hybrid circuits
    • H01L25/167—Assemblies consisting of a plurality of individual semiconductor or other solid state devices ; Multistep manufacturing processes thereof the devices being of types provided for in two or more different main groups of groups H01L27/00 - H01L33/00, or in a single subclass of H10K, H10N, e.g. forming hybrid circuits comprising optoelectronic devices, e.g. LED, photodiodes

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computer Hardware Design (AREA)
  • Power Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 객체 인식 장치, 이를 포함하는 자율 주행 시스템, 및 객체 인식 장치를 이용한 객체 인식 방법에 관한 것이다. 본 발명의 실시예에 따른 객체 인식 장치는 객체 프레임 정보 생성부, 프레임 분석부, 객체 우선순위 연산기, 프레임 복잡도 연산기, 및 모드 제어부를 포함한다. 객체 프레임 정보 생성부는 모드 제어 신호에 근거하여 객체 프레임 정보를 생성한다. 프레임 분석부는 객체 프레임 정보에 근거하여 객체 추적 정보를 생성한다. 객체 우선순위 연산기는 객체 추적 정보에 근거하여 우선순위 정보를 생성한다. 프레임 복잡도 연산기는 객체 추적 정보에 근거하여 프레임 복잡도를 산출한다. 모드 제어부는 우선순위 정보, 프레임 복잡도, 및 리소스 점유 상태에 근거하여 객체 인식 범위 및 객체 프레임 정보 생성부의 연산량을 조정하는 모드 제어 신호를 생성한다. 본 발명에 따르면, 과부하에 의한 자율 주행의 불안정성이 개선될 수 있다.

Description

객체 인식 장치, 이를 포함하는 자율 주행 시스템, 및 객체 인식 장치를 이용한 객체 인식 방법{OBJECTION RECOGNITION DEVICE, AUTONOMOUS TRAVEL SYSTEM INCLUDING THE SAME, AND OBJECTION RECOGNIZING METHOD USING THE OBJECTION RECOGNITION DEVICE}
본 발명은 객체 인식을 위한 신호 처리에 관한 것으로, 좀 더 상세하게는 객체 인식 장치, 이를 포함하는 자율 주행 시스템, 및 객체 인식 장치를 이용한 객체 인식 방법에 관한 것이다.
차량을 이용하는 사용자의 편의성을 확보하기 위하여 다양한 전자 장치들이 차량에 구비되고 있다. 특히, 주변부의 객체들을 인지하고, 객체들과의 충돌을 방지하면서 목적지에 도달할 수 있는 자율 주행 기술이 대두되고 있다. 자율 주행의 안정성을 확보하기 위하여, 다른 차량 또는 보행자 등의 객체들을 정확하게 인지하는 것이 중요하다. 뿐만 아니라, 객체들과의 일정 간격을 유지하고, 최적화된 주행 경로를 선택하는 것이 요구된다. 최적화된 주행 경로를 선택하기 위하여 다양한 방식으로 인지된 객체 정보들이 처리된다.
자율 주행 중인 차량은 다양한 객체들을 접할 수 있다. 특히, 출퇴근 시간의 주행, 교차로의 주행, 또는 골목길의 주행 등은 객체들의 개수 또는 주행 경로의 복잡성에 근거하여 차량의 정교한 제어가 요구된다. 이와 같이 복잡한 주변 상황에서, 자율 주행 시스템은 과부하 상태에 직면할 수 있다.
자율 주행 시스템은 과부하 상태에서 시스템 정지 또는 오류를 초래할 수 있다. 갑작스러운 시스템의 정지 또는 오류는 도로 정체를 야기할 수 있고, 나아가 교통 사고를 초래할 수 있다. 따라서, 복잡한 주변 상황에서 자율 주행 시스템의 안정성을 확보할 수 있는 방법론이 요구된다. 또한, 인지된 객체 정보들의 처리 속도를 개선하여 신속하게 주변 상황에 대응할 수 있는 자율 주행 시스템에 대한 요구가 제기되고 있다.
본 발명은 과부하 상태에서 자율 주행의 불안정성을 개선할 수 있는 객체 인식 장치, 이를 포함하는 자율 주행 시스템, 및 객체 인식 장치를 이용한 객체 인식 방법을 제공할 수 있다.
본 발명의 실시예에 따른 객체 인식 장치는 객체 프레임 정보 생성부, 프레임 분석부, 주행 경로 분석부, 객체 우선순위 연산기, 프레임 복잡도 연산기, 리소스 검출기, 연산 모드 지시자 연산기, 및 모드 제어부를 포함한다.
객체 프레임 정보 생성부는 모드 제어 신호에 근거하여 적어도 하나의 객체를 인식하여 객체 프레임 정보를 생성한다. 프레임 분석부는 객체 프레임 정보를 수신한다. 프레임 분석부는 다음 프레임에 대한 객체의 예상 위치 또는 예상 속도를 산출하여 객체 추적 정보를 생성한다. 주행 경로 분석부는 객체 추적 정보에 근거하여 다음 프레임에 대한 주행 경로 정보를 생성한다.
객체 우선순위 연산기는 객체 추적 정보 및 주행 경로 정보에 근거하여 객체와 객체 인식 장치 사이의 충돌 가능성을 연산한다. 객체 우선순위 연산기는 충돌 가능성에 근거하여 객체에 대한 우선순위 정보를 생성한다.
프레임 복잡도 연산기는 객체 추적 정보에 근거하여 객체 복잡도를 산출한다. 프레임 복잡도 연산기는 주행 경로 정보에 근거하여 경로 복잡도를 산출한다. 프레임 복잡도 연산기는 객체 복잡도 및 경로 복잡도에 근거하여 프레임 복잡도를 산출한다. 프레임 복잡도 연산기는 객체의 개수 및 분포에 근거하여 프레임 복잡도를 산출한다.
연산 모드 지시자 연산기는 프레임 복잡도 및 리소스 점유 상태에 근거하여 연산 모드 지시자를 생성한다. 연산 모드 지시자 연산기는 프레임 복잡도에 근거하여 연산 모드 지시자의 절대값을 결정하고, 리소스 점유 상태에 근거하여 연산 모드 지시자의 극성을 결정한다.
모드 제어부는 우선순위 정보, 프레임 복잡도, 및 리소스 점유 상태에 근거하여 객체 인식 범위 및 객체 프레임 정보 생성부의 연산량을 조정하는 모드 제어 신호를 생성한다. 모드 제어부는 연산 모드 지시자에 근거하여 고연산 모드 제어 신호, 저연산 모드 제어 신호, 또는 스킵 모드 제어 신호를 객체 프레임 정보 생성부에 제공한다.
본 발명의 실시예에 따른 자율 주행 시스템은 센서부, 객체 인식 장치, 차량 제어 장치, 프로세서, 및 메모리를 포함한다. 센서부는 주변부를 감지하여 센싱 정보를 생성한다. 객체 인식 장치는 객체 프레임 정보 생성부, 프레임 분석부, 주행 경로 분석부, 객체 우선순위 연산기, 프레임 복잡도 연산기, 리소스 검출기, 연산 모드 지시자 연산기, 및 모드 제어부를 포함할 수 있다. 객체 인식 장치는 프로세서 또는 메모리의 리소스 점유 상태, 및 프레임 복잡도에 근거하여 객체 인식 범위 및 객체 프레임 정보 생성부의 연산량을 조정한다. 차량 제어 장치는 주행 경로 정보에 근거하여 차량의 조향각 및 속도를 제어한다.
본 발명의 실시예에 따른 객체 인식 방법은 객체 프레임 정보를 생성하는 단계, 객체 추적 정보를 생성하는 단계, 주행 경로 정보를 생성하는 단계, 우선순위 정보를 생성하는 단계, 프레임 복잡도를 산출하는 단계, 리소스 점유 상태를 검출하는 단계, 및 객체 프레임 정보의 연산을 제어하여 객체 인식 범위를 변경하는 단계를 포함한다.
일례로, 객체 인식 범위를 변경하는 단계에서, 리소스 점유 상태가 Full 상태인 경우, 이전 프레임에서 고연산 모드로 객체 프레임 정보가 생성된 객체 중 가장 후 순위의 우선순위 정보를 갖는 객체 프레임 정보가 저연산 모드로 생성된다. 또한, 상기 프레임 복잡도에 근거하여 상기 저연산 모드로 생성하는 객체 프레임 정보의 개수가 조정된다.
일례로, 객체 인식 범위를 변경하는 단계에서, 리소스 점유 상태가 Full 상태이고 이전 프레임에서 복수의 객체 추적 정보가 모두 저연산 모드로 생성된 경우, 가장 후 순위의 우선순위 정보를 갖는 객체 프레임 정보의 생성이 차단된다. 또한, 프레임 복잡도에 근거하여 객체 프레임 정보의 생성이 차단되는 개수가 조정된다.
일례로, 객체 인식 범위를 변경하는 단계에서, 리소스 점유 상태가 Not Full 상태인 경우, 이전 프레임에서 스킵 모드로 객체 프레임 정보의 생성이 차단된 객체 중 가장 선 순위의 우선순위 정보를 갖는 객체 프레임 정보가 저연산 모드로 생성된다. 또한, 프레임 복잡도에 근거하여 저연산 모드로 생성하는 객체 프레임 정보의 개수가 조정된다.
일례로, 객체 인식 범위를 변경하는 단계에서, 리소스 점유 상태가 Not Full 상태인 경우, 이전 프레임에서 저연산 모드로 객체 프레임 정보가 생성된 객체 중 우선순위 정보를 갖는 객체 프레임 정보가 고연산 모드로 생성된다. 또한, 프레임 복잡도에 근거하여 고연산 모드로 생성하는 객체 프레임 정보의 개수가 조정된다.
본 발명의 실시예에 따른 객체 인식 장치, 이를 포함하는 자율 주행 시스템, 및 객체 인식 장치를 이용한 객체 인식 방법은 리소스 상태 및 주변부의 상태에 따라 적응적으로 신호 처리에 요구되는 연산을 조정하여 시스템의 정지 또는 오류를 방지할 수 있고, 신호 처리 속도를 개선할 수 있다.
도 1은 본 발명의 실시예에 따른 객체 인식 장치의 블록도이다.
도 2는 본 발명의 실시예에 따른 객체 프레임 정보 생성부의 블록도이다.
도 3 및 도 4는 본 발명의 실시예에 다른 자율 주행 시스템의 블록도이다.
도 5는 본 발명의 실시예에 따른 센서부의 블록도이다.
도 6 내지 도 8은 본 발명의 실시예에 따른 객체들의 우선순위 정보를 생성하는 과정을 설명하기 위한 도면이다.
도 9 내지 도 12는 본 발명의 실시예에 따른 객체 인식 범위 및 연산 모드의 변화를 설명하기 위한 도면이다.
도 13은 본 발명의 실시예에 따른 객체 인식 방법의 순서도이다.
도 14는 본 발명의 실시예에 따른 객체 프레임 정보의 연산을 제어하는 방법의 순서도이다.
아래에서는, 본 발명의 기술 분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있을 정도로, 본 발명의 실시 예들이 명확하고 상세하게 기재된다.
도 1은 본 발명의 실시예에 따른 객체 인식 장치의 블록도이다. 도 1을 참조하면, 객체 인식 장치(100)는 객체 프레임 정보 생성부(110), 프레임 분석부(120), 주행 경로 분석부(130), 객체 우선순위 연산기(140), 프레임 복잡도 연산기(150), 리소스 검출기(160), 연산 모드 지시자 연산기(170), 및 모드 제어부(180)를 포함한다. 도 1의 객체 인식 장치(100)는 설명의 편의상 구성요소들을 기능별로 분류하였으나, 이에 제한되지 않고 하나의 칩 또는 집적 회로에 구성요소들이 구현될 수 있다.
객체 프레임 정보 생성부(110)는 후술될 센서부로부터 센싱 정보(Si)를 수신한다. 센싱 정보(Si)는 객체 프레임 정보 생성부(110)는 센싱 정보(Si)에 근거하여 주변부의 객체를 인식한다. 객체 프레임 정보 생성부(110)는 객체의 특징 벡터를 추출하여 객체의 종류, 형상, 거리, 또는 색상 등을 인식할 수 있다. 객체 프레임 정보 생성부(110)는 인식된 객체에 근거하여 객체 프레임 정보(Oi)를 생성한다.
객체 프레임 정보 생성부(110)는 머신 러닝 알고리즘을 이용하여 객체 프레임 정보(Oi)를 생성할 수 있다. 객체 프레임 정보 생성부(110)는 머신 러닝 알고리즘으로 학습된 파라미터를 이용하여 객체들의 특징 벡터를 추출할 수 있다. 예를 들어, 객체 프레임 정보 생성부(110)는 차량, 보행자, 가드 레일과 같은 객체들을 인식하도록 학습된 파라미터를 이용하여 특징 벡터를 추출할 수 있다. 또한, 객체 프레임 정보 생성부(110)는 빗물과 같은 객체들을 인식하지 않도록 학습된 파라미터를 이용할 수 있다.
객체 프레임 정보(Oi)는 객체의 특징과 연관된 다양한 정보를 포함할 수 있다. 예를 들어, 객체 프레임 정보(Oi)는 객체 ID 정보, 객체 종류 정보, 객체 위치 정보, 객체 크기 정보, 또는 객체 색상 정보 중 적어도 하나를 포함할 수 있다. 객체 프레임 정보 생성부(110)는 프레임 단위로 객체 프레임 정보(Oi)를 생성한다. 객체 프레임 정보 생성부(110)는 객체의 이동 또는 사용자 차량의 이동에 따라, 이전 프레임에 대한 객체 프레임 정보와 다른 객체 프레임 정보(Oi)를 생성한다.
프레임 분석부(120)는 객체 프레임 정보(Oi)를 수신한다. 프레임 분석부(120)는 객체 프레임 정보(Oi)에 근거하여 객체 추적 정보(Ti)를 생성한다. 프레임 분석부(120)는 다음 프레임에 대한 객체의 위치를 예측하여 객체 추적 정보(Ti)를 생성한다. 예를 들어, 프레임 분석부(120)는 현재 프레임에 대한 객체 프레임 정보(Oi)를 수신하고, 이전 프레임에 대한 객체 추적 정보(Ti)와 객체 프레임 정보(Oi)를 비교 및 분석할 수 있다.
프레임 분석부(120)는 이전 프레임에 대한 객체 추적 정보(Ti)와 객체 프레임 정보(Oi)의 차이에 근거하여 객체의 예상 위치 또는 예상 속도를 예측할 수 있다. 프레임 분석부(120)는 객체의 예상 위치 또는 예상 속도에 근거하여 객체 추적 정보(Ti)를 생성할 수 있다. 또는, 프레임 분석부(120)는 이전 프레임에 대한 객체 프레임 정보(Oi)와 현재 프레임에 대한 객체 프레임 정보(Oi)를 이용하여 객체 추적 정보(Ti)를 생성할 수 있다. 프레임 분석부(120)는 프레임 단위로 객체 추적 정보(Ti)를 생성한다.
객체 추적 정보(Ti)는 객체의 특징과 연관된 다양한 정보를 포함할 수 있다. 예를 들어, 객체 추적 정보(Ti)는 객체 ID 정보, 객체 종류 정보, 객체 위치 정보, 객체 속도 정보, 객체 생성 정보, 객체 소멸 정보, 객체 크기 정보, 또는 객체 색상 정보 중 적어도 하나를 포함할 수 있다. 객체 위치 정보는 다음 프레임에 대한 객체의 예상 위치 정보일 수 있다. 객체 속도 정보는 다음 프레임에 대한 객체의 예상 속도 정보일 수 있다. 객체 생성 정보는 새로운 객체가 인지되는 경우 제공될 수 있다. 또는, 객체 생성 정보는 후술될 스킵 모드에서 저연산 모드로 변경될 경우, 객체를 추적 대상에 포함하기 위하여 제공될 수 있다. 객체 소멸 정보는 인지되었던 객체가 더 이상 인지되지 않는 경우 제공될 수 있다. 또는, 객체 소멸 정보는 후술될 스킵 모드에 의하여 객체가 추적 대상에서 제외되는 경우 제공될 수 있다.
주행 경로 분석부(130)는 객체 추적 정보(Ti)를 수신한다. 주행 경로 분석부(130)는 객체 추적 정보(Ti)에 근거하여 주행 경로 정보(Di)를 생성한다. 주행 경로 분석부(130)는 다음 프레임에 대한 차량의 주행 경로를 판단하여 주행 경로 정보(Di)를 생성한다. 주행 경로 분석부(130)는 최적화된 주행 경로를 결정하기 위하여 외부의 메모리 또는 스토리지로부터 주행 맵 정보 및 목적지 정보를 수신할 수 있다. 주행 경로 분석부(130)는 주행 맵 정보 및 목적지 정보에 근거하여 목적지까지의 최적화 경로를 판단할 수 있다.
주행 경로 분석부(130)는 주행 경로 정보(Di)를 후술될 차량 제어 장치에 제공한다. 차량 제어 장치는 주행 경로 정보(Di)를 수신하여 다음 프레임에 이동할 주행 경로를 인식할 수 있다. 차량 제어 장치는 주행 경로 정보(Di)에 근거하여 차량을 제어한다. 주행 경로 분석부(130)는 프레임 단위로 주행 경로 정보(Di)를 생성한다.
객체 우선순위 연산기(140)는 프레임 분석부(120)로부터 객체 추적 정보(Ti)를 수신한다. 객체 우선순위 연산기(140)는 주행 경로 분석부(130)로부터 주행 경로 정보(Di)를 수신한다. 객체 우선순위 연산기(140)는 객체 추적 정보(Ti) 및 주행 경로 정보(Di)에 근거하여 우선순위 정보(Pri)를 생성한다. 복수의 객체가 인지되는 경우, 우선순위는 자율 주행시 우선적으로 고려될 필요성 또는 중요도에 근거한다.
우선순위 정보(Pri)는 객체 ID 정보, 객체 위치 정보, 및 객체 우선순위 정보를 포함할 수 있다. 예를 들어, 객체 우선순위 정보는 인지된 객체들 중 차량의 주행에 영향을 미칠 가능성에 대한 순위와 연관된 정보일 수 있다. 우선순위 정보(Pri)는 차량과 객체 사이의 충돌 가능성에 근거하여 생성될 수 있다. 즉, 차량과의 충돌 가능성이 높은 객체는 선순위에 해당하는 우선순위 정보(Pri)를 가질 수 있다.
객체 우선순위 연산기(140)는 객체 추적 정보(Ti) 및 주행 경로 정보(Di)를 이용하여 객체들과 차량 사이의 충돌 가능성을 연산할 수 있다. 객체 우선순위 연산기(140)는 객체 추적 정보(Ti)를 이용하여 객체들의 위치, 속도, 및 이동 방향을 검출할 수 있다. 객체 우선순위 연산기(140)는 주행 경로 정보(Di)를 이용하여 차량의 위치, 속도, 및 이동 방향을 검출할 수 있다. 객체 우선순위 연산기(140)는 검출된 정보들을 이용하여 객체들과 차량 사이의 거리 차이, 속도 차이, 및 주행 방향 차이를 검출할 수 있다. 객체 우선순위 연산기(140)는 연산된 객체들과 차량 사이의 관계에 근거하여 객체들 각각에 대한 충돌 가능성을 연산한다. 객체 우선순위 연산기(140)는 충돌 가능성이 높은 객체 ID에 선순위의 우선순위를 부여한다.
프레임 복잡도 연산기(150)는 프레임 분석부(120)로부터 객체 추적 정보(Ti)를 수신한다. 프레임 복잡도 연산기(150)는 주행 경로 분석부(130)로부터 주행 경로 정보(Di)를 수신한다. 프레임 복잡도 연산기(150)는 객체 추적 정보(Ti) 및 주행 경로 정보(Di)에 근거하여 프레임 복잡도를 산출한다. 프레임 복잡도 연산기(150)는 산출된 프레임 복잡도에 근거하여 프레임 복잡도 정보(FCi)를 생성한다. 프레임 복잡도 연산기(150)는 주행 경로를 프레임 복잡도에 반영하기 위하여 외부의 메모리 또는 스토리지로부터 주행 맵 정보를 수신할 수 있다.
프레임 복잡도는 객체 복잡도와 경로 복잡도로 구분될 수 있다. 객체 복잡도는 객체의 개수와 객체들의 분포에 근거하여 산출될 수 있다. 프레임 복잡도 연산기(150)는 객체 추적 정보(Ti)에 근거하여 객체의 개수와 객체들의 분포를 산출할 수 있다. 예를 들어, 프레임 복잡도 연산기(150)는 객체 추적 정보(Ti)에 포함된 객체 ID 정보들의 개수에 근거하여 객체의 개수를 산출할 수 있다. 프레임 복잡도 연산기(150)는 객체 추적 정보(Ti)에 포함된 객체 위치 정보들을 추출하여 객체들의 분포에 따른 분산을 계산할 수 있다. 객체의 개수가 증가할수록 객체 복잡도는 증가하고, 객체들의 분포에 따른 분산이 증가할수록 객체 복잡도는 감소한다. 프레임 복잡도 연산기(150)는 객체의 개수를 분산으로 나눈 후 가중치 계수를 곱셈 연산하여 객체 복잡도를 산출할 수 있다.
경로 복잡도는 주행 경로의 상태에 근거하여 산출될 수 있다. 프레임 복잡도 연산기(150)는 주행 경로 정보(Di) 또는 주행 맵 정보에 근거하여 경로 복잡도를 산출할 수 있다. 예를 들어, 프레임 복잡도 연산기(150)는 주행 경로 정보(Di) 또는 주행 맵 정보로부터 주행 경로의 차선의 개수, 객체 분포에 따른 분산, 교차로의 개수, 및 교통 신호의 개수 등을 산출할 수 있다. 프레임 복잡도 연산기(150)는 차선의 개수, 객체 분포에 따른 분산, 교차로의 개수, 및 교통 신호의 개수 각각에 대한 가중치 계수를 곱셈 연산할 수 있다. 프레임 복잡도 연산기(150)는 가중치가 반영된 차선의 개수, 객체 분포에 따른 분산, 교차로의 개수, 및 교통 신호의 개수를 합산하여 경로 복잡도를 산출할 수 있다. 프레임 복잡도는 객체 복잡도 및 경로 복잡도의 합으로 산출될 수 있다.
리소스 검출기(160)는 리소스 점유 상태를 검출한다. 리소스 점유 상태는 후술될 프로세서 또는 메모리의 점유 상태에 대응된다. 리소스 검출기(160)는 프로세서 또는 메모리의 점유율을 감지한다. 리소스 검출기(160)는 프로세서 또는 메모리의 점유율에 근거하여 리소스 정보(Resi)를 생성한다.
객체 인식 장치(100)는 프로세서의 제어에 따라 객체 프레임 정보(Oi), 객체 추적 정보(Ti), 주행 경로 정보(Di), 우선순위 정보(Pri), 및 프레임 복잡도 정보(FCi)를 생성할 수 있다. 객체 인식 장치(100)는 객체 프레임 정보(Oi), 객체 추적 정보(Ti), 주행 경로 정보(Di), 우선순위 정보(Pri), 및 프레임 복잡도 정보(FCi)를 메모리에 저장할 수 있다. 객체들이 인지되는 개수가 많을수록, 프로세서의 연산량이 증가하고, 프로세서의 과부하가 예상된다. 객체들이 인지되는 개수가 많을수록, 메모리에 저장되는 데이터량이 증가하고, 메모리의 과부하가 예상된다. 즉, 객체들이 인지되는 개수가 많을수록, 프로세서 또는 메모리의 점유율이 증가한다.
연산 모드 지시자 연산기(170)는 프레임 복잡도 연산기(150)로부터 프레임 복잡도 정보(FCi)를 수신한다. 연산 모드 지시자 연산기(170)는 리소스 검출기(160)로부터 리소스 정보(Resi)를 수신한다. 연산 모드 지시자 연산기(170)는 프레임 복잡도 정보(FCi) 및 리소스 정보(Resi)에 근거하여 연산 모드 지시자(Ki)를 생성한다. 연산 모드 지시자(Ki)는 프레임 복잡도 및 리소스 점유 상태에 근거하여 생성된다.
연산 모드 지시자(Ki)는 프레임 복잡도의 증가, 감소, 또는 유지여부에 의하여 결정될 수 있다. 연산 모드 지시자(Ki)는 리소스 점유 상태가 Full 상태인지 Full 상태가 아닌지에 의하여 결정될 수 있다. 예를 들어, 연산 모드 지시자(Ki)는 표 1과 같이, 프레임 복잡도 및 리소스 점유 상태에 근거하여 결정될 수 있다.
프레임 복잡도 리소스 점유 상태 연산 모드 지시자(Ki)
증가 Full -2
감소 또는 유지 Full -1
증가 Not Full 1
감소 또는 유지 Not Full 2
표 1을 참조하면, 연산 모드 지시자 연산기(170)는 리소스 점유 상태에 근거하여 연산 모드 지시자(Ki)의 극성을 결정할 수 있다. 연산 모드 지시자 연산기(170)는 프레임 복잡도에 근거하여 연산 모드 지시자(Ki)의 절대값을 결정할 수 있다. 표 1의 연산 모드 지시자(Ki) 생성은 4개의 지시자로 구분되는 것으로 설명하였으나, 이에 제한되지 않는다. 예를 들어, 프레임 복잡도 또는 리소스 점유 상태의 구분 기준을 달리하여, 연산 모드 지시자(Ki)는 4개보다 많거나 4개 보다 적은 개수로 구분될 수 있다.
프레임 복잡도가 이전 프레임보다 증가하고, 리소스 점유 상태가 Full 상태인 경우, 연산 모드 지시자(Ki)는 -2를 나타낸다. 프레임 복잡도가 이전 프레임보다 감소하거나 동일하고, 리소스 점유 상태가 Full 상태인 경우, 연산 모드 지시자(Ki)는 -1을 나타낸다. 프레임 복잡도가 이전 프레임보다 증가하고, 리소스 점유 상태가 Not Full 상태인 경우, 연산 모드 지시자(Ki)는 1을 나타낸다. 프레임 복잡도가 이전 프레임보다 감소하거나 동일하고, 리소스 점유 상태가 Not Full 상태인 경우, 연산 모드 지시자(Ki)는 2를 나타낸다. 즉, 연산 모드 지시자 연산기(170)는 리소스 점유 상태에 여유가 있고, 프레임 복잡도가 낮을수록, 높은 값을 갖는 연산 모드 지시자(Ki)를 생성할 수 있다.
모드 제어부(180)는 연산 모드 지시자 연산기(170)로부터 연산 모드 지시자(Ki)를 수신한다. 모드 제어부(180)는 객체 우선순위 연산기(140)로부터 우선순위 정보(Pri)를 수신한다. 모드 제어부(180)는 연산 모드 지시자(Ki) 및 우선순위 정보(Pri)에 근거하여 모드 제어 신호(Mi)를 생성한다. 모드 제어부(180)는 우선순위 정보(Pri)에 근거하여 객체들의 연산 처리의 변환 순위를 결정할 수 있다. 모드 제어부(180)는 연산 모드 지시자(Ki)에 근거하여 객체들의 연산 처리에 대한 변환 여부를 결정할 수 있다.
모드 제어부(180)는 고연산 모드 제어 신호, 저연산 모드 제어 신호, 및 스킵 모드 제어 신호 중 적어도 하나를 모드 제어 신호(Mi)로 선택할 수 있다. 고연산 모드 제어 신호는 객체 인식 장치(100)가 고연산 모드로 동작하도록 제어한다. 저연산 모드 제어 신호는 객체 인식 장치(100)가 저연산 모드로 동작하도록 제어한다. 스킵 모드 제어 신호는 객체 인식 장치(100)가 스킵 모드로 동작하도록 제어한다. 고연산 모드에서 객체 인식 장치(100)는 객체 프레임 정보(Oi) 또는 객체 추적 정보(Ti)를 생성할 때, 정확성을 확보하기 위하여 연산량을 높게 설정한다. 저연산 모드에서 객체 인식 장치(100)는 객체 프레임 정보(Oi) 또는 객체 추적 정보(Ti)를 생성할 때, 프로세서 또는 메모리의 과부하를 방지하기 위하여 연산량을 고연산 모드보다 낮게 설정한다. 스킵 모드에서 객체 인식 장치(100)는 객체 프레임 정보(Oi) 또는 객체 추적 정보(Ti)의 생성을 차단한다.
모드 제어부(180)는 객체 단위로 고연산 모드 제어 신호, 저연산 모드 제어 신호, 또는 스킵 모드 제어 신호를 생성할 수 있다. 모드 제어부(180)는 고연산 모드에 의하여 연산되는 객체들의 영역, 저연산 모드에 의하여 연산되는 객체들의 영역, 및 스킵 모드에 의하여 연산이 제한되는 객체들의 영역을 결정할 수 있다. 모드 제어 신호(Mi)는 연산 모드 정보 및 영역 정보를 포함할 수 있다. 연산 모드 정보는 객체 인식 장치(100)의 동작 모드를 결정하는 정보일 수 있다. 영역 정보는 고연산 모드, 저연산 모드, 또는 스킵 모드로 동작하는 객체 인식 범위에 대한 정보일 수 있다. 객체 인식 장치(100)는 영역 정보에 근거하여 해당 영역에 속하는 객체들의 동작 모드를 결정할 수 있다.
모드 제어부(180)는 모드 제어 신호(Mi)를 객체 프레임 정보 생성부(110)에 제공한다. 객체 프레임 정보 생성부(110)는 모드 제어 신호(Mi)에 근거하여 객체 인식을 위한 연산량을 결정한다. 객체 프레임 정보 생성부(110)는 모드 제어 신호(Mi)에 따라, 객체 인식을 위한 연산량을 증가시킬지, 감소시킬지, 또는 연산을 하지 않을지 결정한다. 모드 제어부(180)는 모드 제어 신호(Mi)를 프레임 분석부(120)에 제공한다. 프레임 분석부(120)는 모드 제어 신호(Mi) 중 스킵 모드 제어 신호에 대응하여 추적 대상에서 제외될 객체를 결정할 수 잇다. 프레임 분석부(120)는 스킵 모드에 대응하는 객체에 대한 연산을 하지 않는다. 따라서, 다음 프레임에 대한 객체 추적 정보(Ti)를 생성하기 위한 연산량 및 연산 시간을 줄일 수 있다.
모드 제어부(180)는 표 1의 기준에 따른 연산 모드 지시자(Ki)를 수신할 수 있다. 연산 모드 지시자(Ki)가 음수인 경우, 이전 프레임에서 고연산 모드로 연산한 객체들 중 가장 후 순위의 우선순위 정보(Pri)를 갖는 객체를 저연산 모드로 연산한다. 연산 모드 지시자(Ki)가 음수인 경우, 이전 프레임에서 저연산 모드로 연산한 객체들 중 가장 후 순위의 우선순위 정보(Pri)를 갖는 객체를 연산하지 않는다. 연산 모드 지시자(Ki)가 -2인 경우, 고연산 모드에서 저연산 모드로 변환하거나 저연산 모드에서 스킵 모드로 변환하는 객체들의 개수가 2개로 설정될 수 있다. 연산 모드 지시자(Ki)가 -1인 경우, 고연산 모드에서 저연산 모드로 변환하거나 저연산 모드에서 스킵 모드로 변환하는 객체들의 개수가 1개로 설정될 수 있다.
연산 모드 지시자(Ki)가 양수인 경우, 이전 프레임에서 스킵 모드로 동작하여 연산하지 않은 객체들 중 가장 선 순위의 우선순위 정보(Pri)를 갖는 객체를 저연산 모드로 연산한다. 연산 모드 지시자(Ki)가 양수인 경우, 이전 프레임에서 저연산 모드로 연산한 객체들 중 가장 선 순위의 우선순위 정보(Pri)를 갖는 객체를 고연산 모드로 연산한다. 연산 모드 지시자(Ki)가 2인 경우 스킵 모드에서 저연산 모드로 변환하거나 저연산 모드에서 고연산 모드로 변환하는 객체들의 개수가 2개로 설정될 수 있다. 연산 모드 지시자(Ki)가 1인 경우 스킵 모드에서 저연산 모드로 변환하거나 저연산 모드에서 고연산 모드로 변환하는 객체들의 개수가 1개로 설정될 수 있다.
객체 인식 장치(100)는 프레임 복잡도 및 리소스 점유 상태에 근거하여 적응적으로 연산량을 조정할 수 있다. 객체 인식 장치(100)는 리소스 점유 상태가 Full 상태인 경우, 연산량을 점차적으로 감소시키고, 후순위의 객체들을 인식하지 않을 수 있다. 따라서, 객체 인식 장치(100)는 자율 주행 시스템의 과부하에 따른 처리속도 저하 또는 오류를 개선할 수 있다. 객체 인식 장치(100)는 프레임 복잡도가 복잡한 경우, 연산량의 증가 정도를 낮추거나, 연산량의 감소 정도를 높일 수 있다. 따라서, 객체 인식 장치(100)는 복잡한 주변부 상황에서, 연산 처리에 따른 과부하를 방지할 수 있다.
도 2는 본 발명의 실시예에 따른 객체 프레임 정보 생성부의 블록도이다. 객체 프레임 정보 생성부(110)는 도 1의 객체 프레임 정보 생성부(110)에 대응된다. 도 2를 참조하면, 객체 프레임 정보 생성부(110)는 객체 연산 제어기(111) 및 객체 연산기(112)를 포함한다. 객체 연산기(112)는 복수의 멀티플렉서들(MUX), 제1 내지 제n 특징 추출 고연산기들(H1~Hn), 제1 내지 제n 특징 추출 저연산기들(L1~Ln), 및 완전 접속망(Fully Connected Network) 연산기(FCN)를 포함한다.
객체 연산 제어기(111)는 도 1의 모드 제어부(180)로부터 모드 제어 신호(Mi)를 수신한다. 객체 연산 제어기(111)는 모드 제어 신호(Mi)에 근거하여 복수의 객체 연산기 제어 신호(C0~Cn+1)를 생성한다. 객체 연산 제어기(111)는 복수의 객체 연산기 제어 신호(C0~Cn+1)를 이용하여 객체 연산기(112)를 제어한다. 복수의 객체 연산기 제어 신호(C0~Cn+1)는 모드 제어 신호(Mi)의 종류에 따라 다른 값을 가질 수 있다. 즉, 고연산 모드 제어 신호에 의한 복수의 객체 연산기 제어 신호(C0~Cn+1), 저연산 모드 제어 신호에 의한 복수의 객체 연산기 제어 신호(C0~Cn+1), 및 스킵 모드 제어 신호에 의한 복수의 객체 연산기 제어 신호(C0~Cn+1)는 서로 다른 값을 가질 수 있다.
객체 연산기(112)는 복수의 객체 연산기 제어 신호(C0~Cn+1)를 수신한다. 객체 연산기(111)는 센싱 정보(Si)를 수신한다. 복수의 객체 연산기 제어 신호(C0~Cn+1)는 복수의 멀티플렉서(MUX1~MUXn+1)에 인가된다. 복수의 멀티플렉서(MUX1~MUXn+1)는 복수의 객체 연산기 제어 신호(C0~Cn+1)에 근거하여 입력되는 정보의 출력 경로를 결정한다. 객체 연산기(112)는 객체에 대한 다양한 특징을 추출하기 위하여 다층 구조로 배치된 복수의 멀티플렉서(MUX1~MUXn+1), 제1 내지 제n 특징 추출 고연산기들(H1~Hn), 및 제1 내지 제n 특징 추출 저연산기들(L1~Ln)을 포함한다.
제0 멀티플렉서(MUX0)는 제0 객체 연산기 제어 신호(C0)에 근거하여 센싱 정보(Si)의 전달 경로를 결정한다. 제0 객체 연산기 제어 신호(C0)가 고연산 모드 제어 신호에 근거하여 생성된 경우, 제0 멀티 플렉서(MUX0)는 센싱 정보(Si)를 제1 특징 추출 고연산기(H1)로 출력한다. 제0 객체 연산기 제어 신호(C0)가 저연산 모드 제어 신호에 근거하여 생성된 경우, 제0 멀티 플렉서(MUX0)는 센싱 정보(Si)를 제1 특징 추출 저연산기(L1)로 출력한다. 제1 내지 제n-1 멀티 플렉서들(MUX1~MUXn-1)은 제1 내지 제n-1 객체 연산기 제어 신호들(C1~Cn-1)에 근거하여 입력 정보를 제2 내지 제n 특징 추출 고연산기(H2~Hn) 또는 제2 내지 제n 특징 추출 저연산기(L2~Ln)로 출력한다.
제1 내지 제n 특징 추출 고연산기들(H1~Hn) 및 제1 내지 제n 특징 추출 저연산기들(L1~Ln)은 감지된 센싱 정보(Si)에서 특정한 특징을 추출하기 위한 연산기이다. 특정한 특징은 객체의 크기, 색상, 종류, 또는 위치를 포함할 수 있다. 예를 들어, 제1 내지 제n 특징 추출 고연산기들(H1~Hn) 및 제1 내지 제n 특징 추출 저연산기들(L1~Ln)은 입력된 정보를 컨벌루션(convolution) 연산 및 서브샘플링(Sub-sampling)을 수행할 수 있다. 객체 연산기(112)의 컨벌루션 연산 및 서브샘플링은 특징이 추출되는 영역을 한정하는 컨벌루션 신경망(Convolution Neural Networks) 방식에 대응될 수 있다. 정보들이 제1 내지 제n 특징 추출 고연산기들(H1~Hn) 및 제1 내지 제n 특징 추출 저연산기들(L1~Ln)을 통과하면서, 특징이 추출되는 영역은 점점 줄어들고, 특징에 대응되는 정보만 추출될 수 있다.
제1 내지 제n 특징 추출 고연산기들(H1~Hn)은 제1 내지 제n 특징 추출 저연산기들(L1~Ln)에 비하여 많은 연산량을 갖는다. 다만, 제1 내지 제n 특징 추출 고연산기들(H1~Hn)은 제1 내지 제n 특징 추출 저연산기들(L1~Ln)에 비하여 정확하게 특징을 추출하고, 객체를 인식할 수 있다. 고연산 모드에서 객체 프레임 정보 생성부(110)는 객체 인식의 정확성을 확보하기 위하여 제1 내지 제n 특징 추출 고연산기들(H1~Hn)을 이용할 수 있다. 저연산 모드에서 객체 프레임 정보 생성부(110)는 자율 주행 시스템의 과부하로 인한 오류 또는 처리 시간 지연을 방지하기 위하여 제1 내지 제n 특징 추출 저연산기들(L1~Ln)을 이용할 수 있다.
완전 접속망 연산기(FCN)는 수많은 경로에 의하여 처리된 정보들을 수신한다. 완전 접속망 연산기(FCN)는 복수의 영역들로 분류된 정보들을 매핑한다. 완전 접속망 연산기(FCN)는 복수의 영역들로 분류된 정보들을 수집하여 객체 프레임 정보(Oi)를 생성한다. 완전 접속망 연산기(FCN)는 일차원 행렬인 객체 프레임 정보(Oi)를 생성할 수 있다. 객체 연산기(112)는 상술한 CNN 방식에 의한 딥 러닝 기술 이외에도 다양한 방식을 이용하여 객체를 인식할 수 있다. 예를 들어, 객체 연산기(112)는 haar-like 특징 벡터 또는 HoG(Histogram of Gradients) 특징 벡터를 이용하여 객체를 인식할 수 있다. 또는, 객체 연산기(112)는 Adaboost, SVM과 같은 분류기를 이용하여 객체를 인식할 수 있다.
도 3은 자율 주행 시스템의 블록도이다. 도 3을 참조하면, 자율 주행 시스템(200)은 센서부(210), 객체 인식 장치(220), 차량 제어 장치(230), 프로세서(240), 메모리(250), 스토리지(260), 디스플레이(270), 및 버스(BUS, 280)를 포함한다. 자율 주행 시스템(200)은 이외에도 자율 주행의 목적을 달성하기 위한 다양한 구성 요소들을 더 포함할 수 있다. 예를 들어, 자율 주행 시스템(200)은 목적지까지의 경로 정보 등을 수신하기 위한 내비게이션(navigation) 장치, 외부의 전자 장치와의 통신을 위한 통신 모듈 장치, 또는 사용자가 차량 주행에 관여하기 위한 사용자 인터페이스 등을 더 포함할 수 있다.
센서부(210)는 주변부로부터 신호를 수신한다. 센서부(210)는 주위의 사물들로부터 제공되는 신호를 감지할 수 있다. 또는, 센서부(210)는 주위의 사물들에 신호를 제공하고, 사물들로부터 반사된 신호를 감지할 수 있다. 센서부(210)는 모든 방향의 객체들을 감지하기 위하여 복수의 감지 센서들을 포함할 수 있다. 예를 들어, 자율 주행 시스템(200)이 차량에 구비되는 경우, 센서부(210)는 차량의 전방, 후방, 및 측방에 구비될 수 있다. 센서부(210)는 객체들을 정확하게 감지하기 위하여 다양한 종류의 감지 센서들을 포함할 수 있다.
객체 인식 장치(220)는 도 1의 객체 인식 장치(100)일 수 있다. 객체 인식 장치(220)는 센서부(210)가 감지한 신호에 근거하여 주위의 객체들을 인식한다. 객체들은 차량, 보행자, 동물, 가드 레일, 장애물 등을 포함할 수 있다. 객체 인식 장치(220)는 객체들의 특징을 추출하고 분류한다. 예를 들어, 객체 인식 장치(220)는 주변부의 영상 정보를 수신하고, 영상 정보를 분석하여 객체들의 특징 벡터를 추출할 수 있다. 객체 인식 장치(220)는 특징 벡터에 근거하여 배경과 객체를 구분할 수 있다. 객체 인식 장치(220)는 프레임 단위로 객체들을 인식할 수 있다. 따라서, 객체 인식 장치(220)는 객체의 정적인 위치뿐만 아니라, 객체의 동적인 움직임을 인식할 수 있다.
차량 제어 장치(230)는 차량의 속도 및 조향각을 제어한다. 이외에도, 차량 제어 장치(230)는 전조등과 같은 차량에 구비되는 다양한 장치들을 제어할 수 있다. 차량 제어 장치(230)는 객체 인식 장치(220)로부터 인식한 객체들에 의존하여 차량을 제어한다. 즉, 자율 주행 시스템(200)을 구비한 차량은 다른 객체와의 충돌을 방지하고 최적화된 주행 경로를 제공하기 위하여 주위의 객체들의 존재, 위치, 이동을 감지한다. 차량 제어 장치(230)는 객체 인식 장치(120)에서 인식한 객체 정보들에 기초하여 차량의 움직임을 제어한다.
프로세서(240)는 자율 주행 시스템(200)의 중앙 제어 장치의 기능을 수행할 수 있다. 프로세서(240)는 자율 주행 시스템(200)을 구현하기 위하여 요구되는 제어 동작 및 연산 동작을 수행할 수 있다. 예를 들어, 객체 인식 장치(220)는 프로세서(240)의 제어에 따라 센서부(210)로부터 신호를 수신하고, 객체들을 인식할 수 있다. 차량 제어 장치(230)는 프로세서(240)의 제어에 따라 객체 인식 장치(220)로부터 객체들에 대한 정보를 수신하고, 차량의 움직임을 제어할 수 있다. 프로세서(240)는 메모리(250)의 연산 공간을 활용하여 동작할 수 있다. 프로세서(240)는 스토리지(260)에서 운영체제를 구동하기 위한 파일들 및 어플리케이션의 실행 파일들을 읽을 수 있다. 프로세서(240)는 운영 체제 및 다양한 어플리케이션들을 실행할 수 있다.
메모리(250)는 프로세서(240)에 의하여 처리되거나 처리될 예정인 데이터 및 프로세스 코드들을 저장할 수 있다. 예를 들어, 메모리(250)는 센서부(210)에서 감지한 정보들, 객체 인식 장치(220)에서 객체를 인식하기 위한 정보들, 객체 인식 장치(220)에서 인식된 객체에 대한 정보들을 저장할 수 있다. 메모리(250)는 자율 주행 시스템(200)의 주기억 장치로 이용될 수 있다. 메모리(250)는 DRAM (Dynamic RAM), SRAM (Static RAM), PRAM (Phase-change RAM), MRAM (Magnetic RAM), FeRAM (Ferroelectric RAM), RRAM (Resistive RAM) 등을 포함할 수 있다.
스토리지(260)는 운영 체제 또는 어플리케이션들에 의해 장기적인 저장을 목적으로 생성되는 데이터, 운영 체제를 구동하기 위한 파일, 또는 어플리케이션들의 실행 파일 등을 저장할 수 있다. 예를 들어, 스토리지(260)는 센서부(210), 객체 인식 장치(220), 및 차량 제어 장치(230)의 실행을 위한 파일들을 저장할 수 있다. 스토리지(260)는 자율 주행 시스템(200)의 보조 기억 장치로 이용될 수 있다. 스토리지(260)는 플래시 메모리, PRAM (Phase-change RAM), MRAM (Magnetic RAM), FeRAM (Ferroelectric RAM), RRAM (Resistive RAM) 등을 포함할 수 있다.
디스플레이(270)는 센서부(210), 객체 인식 장치(220), 또는 차량 제어 장치(230)에 의하여 생성된 데이터를 수신하여 표시할 수 있다. 디스플레이(270)는 메모리(250) 또는 스토리지(260)에 저장된 데이터를 수신하여 표시할 수 있다. 디스플레이(270)는 LCD (Liquid Crystal Display), OLED (Organic Light Emitting Diode), AMOLED (Active Matrix OLED), 플렉서블 디스플레이, 전자잉크 등을 포함할 수 있다.
버스(280)는 자율 주행 시스템(200)의 구성 요소들 사이에서 통신 경로를 제공할 수 있다. 센서부(210), 객체 인식 장치(220), 차량 제어 장치(230), 프로세서(240), 메모리(250), 스토리지(260), 및 디스플레이(270)는 버스(280)를 통해 서로 데이터를 교환할 수 있다. 버스(280)는 자율 주행 시스템(200)에서 이용되는 다양한 유형의 통신 포맷을 지원하도록 구성될 수 있다.
도 4는 자율 주행 시스템의 블록도이다. 도 4를 참조하면, 자율 주행 시스템(300)은 센서부(310), 객체 인식 장치(320), 및 차량 제어 장치(330)를 포함한다. 도 4의 자율 주행 시스템(300)은 각 구성요소들 사이의 정보 송수신 관계를 구체적으로 설명하기 위한 블록도로 이해될 것이다.
센서부(310)는 주변부를 감지하여 센싱 정보(Si)를 생성한다. 센서부(310)는 주변부를 감지하여 생성된 아날로그 신호를 디지털 신호인 센싱 정보(Si)로 변환할 수 있다. 센서부(310)는 아날로그 신호를 디지털 신호로 변환하기 위한 아날로그-디지털 컨버터를 포함할 수 있다. 센서부(310)는 프레임 단위로 주변부를 감지하여 프레임 단위의 센싱 정보(Si)를 생성할 수 있다.
객체 인식 장치(320)는 도 1의 객체 인식 장치(100)일 수 있다. 객체 인식 장치(320)는 센서부(310)로부터 센싱 정보(Si)를 수신한다. 객체 인식 장치(320)는 센싱 정보(Si)를 분석하여 객체들을 인식한다. 객체 인식 장치(320)는 프레임 단위로 센싱 정보(Si)를 수신한다. 따라서, 객체 인식 장치(320)는 시간의 흐름에 따른 객체의 움직임 또는 변화를 인식할 수 있다. 객체 인식 장치(320)는 센서부(310)의 주변부의 감지 범위에 근거하여 인식 가능한 객체들의 개수를 프레임 단위로 결정할 수 있다. 예를 들어, 객체 인식 장치(320)는 특정 반경의 범위에 존재하는 객체들을 인지할 수 있다.
객체 인식 장치(320)는 인지할 객체들을 프레임 단위로 추가하거나 삭제할 수 있다. 또는 객체 인식 장치(320)는 객체들을 인지하기 위한 연산량을 조정할 수 있다. 예를 들어, 객체 인식 장치(320)는 이전 프레임에서 인지된 객체의 위치 또는 속도에 근거하여 자율 주행의 안정성에 영향을 미칠 가능성이 낮은 객체를 인지하지 않거나, 연산량을 낮출 수 있다. 객체 인식 장치(320)는 이전 프레임에서 인지되지 않은 새로운 객체를 인지할 수 있다. 새로운 객체가 자율 주행의 안정성에 영향을 미칠 가능성이 있는 경우, 객체 인식 장치(320)는 새로운 객체를 인지하거나, 기존의 객체를 인식하기 위한 연산량을 높일 수 있다. 객체들의 추가, 삭제 또는 연산량 변경의 기준은 객체의 우선순위, 프레임 복잡도, 및 리소스 점유 상태에 근거하여 설정될 수 있다.
객체 인식 장치(320)는 인지된 객체들에 근거하여 주행 경로 정보(Di)를 생성한다. 주행 경로 정보(Di)는 다음 프레임에 대한 차량의 주행 경로에 대한 정보를 포함한다. 객체 인식 장치(320)는 객체들의 위치 및 속도에 근거하여 주행 경로 정보(Di)를 생성할 수 있다. 객체 인식 장치(320)는 도 3의 메모리(250) 또는 스토리지(260)에 저장된 목적지 정보 또는 맵 정보를 추가적으로 수신할 수 있다. 객체 인식 장치(320)는 센싱 정보(Si)에 근거하여 객체들과 차량 사이의 관계를 분석하고, 목적지 정보 또는 맵 정보에 근거하여 최적화된 경로를 분석한 후, 주행 경로 정보(Di)를 생성할 수 있다.
차량 제어 장치(330)는 객체 인식 장치(320)로부터 주행 경로 정보(Di)를 수신한다. 다만, 이에 제한되지 않고, 차량 제어 장치(330)는 객체 인식 장치(320)로부터 객체들에 대한 정보를 수신하고, 주행 경로 정보(Di)를 직접 생성할 수 있다. 이 경우, 차량 제어 장치(330)는 도 3의 메모리(250) 또는 스토리지(260)로부터 목적지 정보 또는 맵 정보를 수신할 수 있다.
차량 제어 장치(330)는 주행 경로 정보(Di)에 근거하여 차량 제어 신호를 생성한다. 차량 제어 신호는 차량이 주행 경로로 이동하기 위한 조향각 또는 속도를 제어하기 위한 신호일 수 있다. 차량 제어 장치(330)는 차량 제어 신호를 차량의 주행을 위한 차량 구동 장치에 제공한다. 차량 구동 장치는 차량 제어 신호에 근거하여 사용자의 관여 없이 차량을 주행 경로로 이동시킨다. 차량 구동 장치는 차량의 이동 속도 및 조향각을 결정하기 위한 장치를 포함할 수 있다.
도 5는 도 4의 센서부의 블록도이다. 도 5을 참조하면, 센서부(310)는 카메라 센서(311), 레이다 센서(312), 및 라이다 센서(313)를 포함한다. 도 3의 센서부(310)는 복수의 신호를 감지하기 위한 일 실시예로 이해될 것이다. 센서부(310)는 주변부를 감지하기 위한 다양한 센서들을 더 포함할 수 있다. 예를 들어, 센서부(310)는 소리를 감지하는 마이크로폰을 더 포함할 수 있다.
카메라 센서(311)는 주변부의 영상을 감지한다. 카메라 센서(311)는 감지된 영상에 근거하여 영상 프레임 정보(Ci)를 생성한다. 카메라 센서(311)는 감지된 아날로그 신호를 디지털 신호인 영상 프레임 정보(Ci)로 변환하기 위한 아날로그-디지털 컨버터를 포함할 수 있다. 카메라 센서(311)는 복수의 카메라를 포함할 수 있다. 복수의 카메라는 차량의 전방, 측방, 및 후방에 배치될 수 있다. 복수의 카메라는 서로 다른 방향의 영상을 촬영할 수 있다. 즉, 카메라 센서(311)는 자율 주행 시스템(300)의 안정성을 확보하기 위하여 주변부 전체의 영상을 감지하기 위한 복수의 카메라를 구비할 수 있다.
레이다(Radar) 센서(312)는 주변부에 전자파를 방사하고, 반사된 전자파를 감지한다. 레이다 센서(312)는 마이크로파를 방사할 수 있다. 레이다 센서(312)는 반사된 마이크로파에 근거하여 레이다 프레임 정보(Ri)를 생성한다. 레이다 센서(312)는 감지된 아날로그 신호를 디지털 신호인 레이다 프레임 정보(Ri)로 변환하기 위한 아날로그-디지털 컨버터를 포함할 수 있다. 레이다 센서(312)는 반사된 전자파의 시간에 근거하여 객체의 거리 및 방향을 측정할 수 있다. 레이다 센서(312)는 주변부의 전 방향에 전자파를 방사하여 감지 범위 내의 모든 방향에 존재하는 객체를 감지할 수 있다.
라이다(Lidar) 센서(313)는 주변부에 전자파를 방사하고, 반사된 전자파를 감지한다. 라이다 센서(313)는 마이크로파보다 짧은 파장을 갖는 레이저를 방사할 수 있다. 라이다 센서(313)는 반사된 레이저에 근거하여 라이다 프레임 정보(Li)를 생성한다. 라이다 센서(313)는 감지된 아날로그 신호를 디지털 신호인 라이다 프레임 정보(Li)로 변환하기 위한 아날로그-디지털 컨버터를 포함할 수 있다. 라이다 센서(313)는 반사된 전자파의 시간에 근거하여 객체의 거리 및 방향을 측정할 수 있다. 라이다 센서(313)는 레이다 센서(312)에 비하여 짧은 파장의 전자파를 이용하므로, 거리 측정의 정밀도, 분해능, 및 신호 대 잡음 비 등을 개선할 수 있다. 다만, 라이다 센서(313)는 레이다 센서(312)에 비하여 작은 감지 범위를 갖는다.
영상 프레임 정보(Ci), 레이다 프레임 정보(Ri), 및 라이다 프레임 정보(Li)는 객체 인식 장치(320)에 제공된다. 센서부(310)는 프레임 단위로 영상 프레임 정보(Ci), 레이다 프레임 정보(Ri), 및 라이다 프레임 정보(Li)를 생성한다. 객체 인식 장치(320)는 영상 프레임 정보(Ci), 레이다 프레임 정보(Ri), 및 라이다 프레임 정보(Li)에 근거하여 프레임 단위로 객체를 인식한다. 프레임 단위의 객체 인식을 위하여, 센서부(310)는 영상 프레임 정보(Ci), 레이다 프레임 정보(Ri), 및 라이다 프레임 정보(Li)의 동기화를 위한 센서 동기화부를 더 포함할 수 있다.
센서부(310)는 주변부의 객체 인식의 정확성, 안정성, 신뢰성을 확보하기 위하여 다양한 종류의 센서들을 포함할 수 있다. 예를 들어, 카메라 센서(311)에 의한 영상 프레임 정보(Ci)를 이용하여 객체의 형상 및 종류 등이 인식될 수 있다. 레이다 센서(312) 및 라이다 센서(313)를 이용하여 객체의 위치 및 속도가 정교하고 다각적으로 인식될 수 있다.
도 6 내지 도 8은 본 발명의 실시예에 따른 객체들의 우선순위 정보를 생성하는 과정을 설명하기 위한 도면이다. 도 6 및 도 7은 3차선 도로를 주행하는 차량들을 도시한 평면도이다. 도 8은 3차선 도로 및 교차로를 주행하는 차량들을 도시한 평면도이다. 도 5 내지 도 7을 참조하면, 본 발명의 객체 인식 장치(100, 220, 320) 또는 자율 주행 시스템(200, 300)이 탑재된 사용자의 차량은 V0으로 정의된다. 도 6 및 도 7에서 차량(V0)은 제1 내지 제5 객체들(V1~V5)을 인지한다. 도 8에서 차량(V0)은 제1 내지 제6 객체들(V1~V6)을 인지한다.
도 6 내지 도 8에 제1 내지 제6 객체들(V1~V6)에 대한 우선순위 정보(Pri)가 표시된다. 도 6 및 도 7은 제1 내지 제5 우선순위 정보(Pr1~Pr5)가 표시되고, 도 8은 제1 내지 제6 우선순위 정보(Pr1~Pr6)가 표시된다. 제1 우선순위 정보(Pr1)는 가장 선 순위 정보로 이해될 것이고, 제5 우선순위 정보(Pr5) 또는 제6 우선순위 정보(Pr6)로 진행할수록 후 순위 정보로 이해될 것이다. 도 6 내지 도 8에서의 화살표는 차량 또는 객체들 각각의 이동 속도 및 방향을 나타내는 것으로 이해될 것이다. 이러한 우선순위 정보는 도 1의 객체 우선순위 연산기(140)에서 생성될 수 있다.
도 6을 참조하면, 차량(V0)의 전방에 제1 내지 제5 객체들(V1~V5)이 이동한다. 제1 객체(V1) 및 제4 객체(V4)는 차량(V0)과 동일 차선에서 주행하고 있다. 제3 객체(V3)는 차량(V0)의 왼쪽 차선에서 주행하고 있다. 제2 객체(V2) 및 제5 객체(V5)는 오른쪽 차선에서 주행하고 있다. 제1 객체(V1)는 제1 우선순위 정보(Pr1)에 대응한다. 제2 객체(V2)는 제2 우선순위 정보(Pr2)에 대응한다. 제3 객체(V3)는 제3 우선순위 정보(Pr3)에 대응한다. 제4 객체(V4)는 제4 우선순위 정보(Pr4)에 대응한다. 제5 객체(V5)는 제5 우선순위 정보(Pr5)에 대응한다.
제1 객체(V1)는 제1 내지 제5 객체들(V1~V5) 중 차량(V0)과 가장 가까운 거리를 갖는다. 따라서, 제1 객체(V1)는 차량(V0)과 가장 높은 충돌 가능성을 갖고, 제1 우선순위 정보(Pr1)가 제1 객체(V1)에 부여된다. 제2 객체(V2) 및 제3 객체(V3)는 제1 객체(V1) 다음으로 가장 가까운 거리를 갖는다. 다만, 제3 객체(V3)는 제2 객체(V2)보다 높은 이동 속도를 갖는다. 즉, 다음 프레임에서 제3 객체(V3)는 제2 객체(V2)보다 차량(V0)으로부터 멀리 떨어지게 된다. 그 결과, 제2 객체(V2)와 차량(V0)의 충돌 가능성은 제3 객체(V3)와 차량(V0)의 충돌 가능성보다 높다. 따라서, 제2 객체(V2)에 제2 우선순위 정보(Pr2)가 부여되고, 제3 객체(V3)에 제3 우선순위 정보(Pr3)가 부여된다. 충돌 가능성의 관점에서, 제4 객체(V4)에 제4 우선순위 정보(Pr4)가 부여되고, 제5 객체(V5)에 제5 우선순위 정보(Pr5)가 부여된다.
도 7을 참조하면, 차량(V0)은 가운데 차선에서 왼쪽 차선으로 진입하고 있다. 왼쪽 차선으로의 진입은 도 1의 주행 경로 분석부(130)에 의하여 생성된 주행 경로 정보(Di)에 근거하여 차량 제어 장치(230, 330)가 차량(V0)을 제어한 결과일 수 있다. 차량(V0)의 주행 경로 변경에 따라, 제1 내지 제5 객체(V1~V5)의 충돌 가능성은 변화한다. 차량(V0)은 제3 객체(V3)가 주행하는 차선으로 이동하므로, 제3 객체(V3)은 차량(V0)과 가장 높은 충돌 가능성을 갖는다. 따라서, 제3 객체(V3)에 제1 우선순위 정보(Pr1)가 부여된다. 그 다음 높은 충돌 가능성을 갖는 제1 객체(V1)에 제2 우선순위 정보(Pr2)가 부여된다. 순차적으로, 제2 객체(V2)에 제3 우선순위 정보(Pr3)가 부여되고, 제4 객체(V4)에 제4 우선순위 정보(Pr4)가 부여되고, 제5 객체(V5)에 제5 우선순위 정보(Pr5)가 부여된다.
도 8을 참조하면, 차량(V0)은 가운데 차선에서 오른쪽 차선으로 진입하고 있다. 오른쪽 차선으로의 진입은 도 1의 주행 경로 분석부(130)에 의하여 생성된 주행 경로 정보(Di)에 근거하여 차량 제어 장치(230, 330)가 차량(V0)를 제어한 결과일 수 있다. 차량(V0)은 제2 객체(V2)가 주행하는 차선으로 이동하므로, 제2 객체(V2)는 차량(V0)과 가장 높은 충돌 가능성을 갖는다. 따라서, 제2 객체(V2)에 제1 우선순위 정보(Pr1)가 부여된다. 그 다음 높은 충돌 가능성을 갖는 제1 객체(V1)에 제2 우선순위 정보(Pr2)가 부여된다.
도 8의 도로는 교차로를 포함한다. 교차로는 오른쪽 차선과 연결된다. 제6 객체(V6)는 교차로를 주행하고 오른쪽 차선에 진입한다. 차량(V0)은 객체 인식 범위 내에 새로 진입한 제6 객체(V6)를 인식한다. 센서부(110, 210)는 제6 객체(V6)를 감지하고, 객체 인식 장치(120, 220)는 제6 객체(V6)를 고려하여 객체 프레임 정보(Oi) 및 객체 추적 정보(Ti)를 생성한다. 제6 객체(V6)과 차량(V0)은 동일한 차선에서의 주행이 예상된다. 제6 객체(V6)는 제1 객체(V1) 및 제2 객체(V2) 다음으로 차량(V0)과 높은 충돌 가능성을 가질 수 있다. 따라서, 제6 객체(V6)는 제3 우선순위 정보(Pr3)가 부여된다. 그 외에, 객체와 차량(V0) 사이의 거리 차이 및 속도 차이에 근거하여 제3 내지 제5 객체(V3~V5)에 우선순위 정보가 부여될 수 있다.
도 9 내지 도 12는 본 발명의 실시예에 따른 객체 인식 범위 및 연산 모드의 변화를 설명하기 위한 도면이다. 도 9 내지 도 12의 객체들의 위치 및 차량(V0)의 이동은 도 7과 동일하다. 즉, 제1 내지 제5 객체들(V1~V5)에 도 7과 동일한 우선순위 정보가 부여된다. 제3 객체(V3)에 가장 선 순위의 우선순위 정보인 제1 우선순위 정보(Pr1)가 부여된다. 제5 객체(V5)에 가장 후 순위의 우선순위 정보인 제5 우선순위 정보(Pr5)가 부여된다. 제1 내지 제5 우선순위 정보들(Pr1~Pr5)은 도 4의 객체 우선순위 연산기(224)에서 생성될 수 있다.
도 9 내지 도 12를 참조하면, 객체 인식 범위는 제1 영역(AR1), 제2 영역(AR2), 및 제3 영역(AR3)으로 구분된다. 제1 영역(AR1)은 고연산 모드로 동작하는 객체 인식 범위로 정의된다. 제2 영역(AR2)은 저연산 모드로 동작하는 객체 인식 범위로 정의된다. 제3 영역(AR3)은 스킵 모드로 동작하는 객체 인식 범위로 정의된다. 설명의 편의상, 제1 영역(AR1)에 속하는 객체들은 실선으로 표시된다. 제2 영역(AR2)에 속하는 객체들은 점선으로 표시된다. 제3 영역(AR3)은 빗금으로 표시된다.
객체 인식 범위는 제1 영역(AR1), 제2 영역(AR2), 또는 제3 영역(AR3)이 혼재되어 제공될 수 있다. 제1 영역(AR1)에 대응되는 정보들은 도 2의 제1 내지 제n 특징 추출 고연산기들(H1~Hn)에 의하여 처리될 수 있다. 제2 영역(AR2)에 대응되는 정보들은 도 2의 제1 내지 제n 특징 추출 저연산기들(L1~Ln)에 의하여 처리될 수 있다. 제3 영역(AR3)에 대응되는 정보들은 제1 내지 제n 특징 추출 고연산기들(H1~Hn) 또는 제1 내지 제n 특징 추출 저연산기들(L1~Ln)에 의한 연산 처리 없이 통과될 수 있다.
도 9 내지 도 12에서, 객체 인식 범위의 변경은 표 1의 기준에 따른 연산 모드 지시자(Ki)에 근거한다. 연산 모드 지시자(Ki)는 도 1의 연산 모드 지시자 연산기(170)에서 생성될 수 있다. 도 9 내지 도 12의 객체 인식 범위는 도 1의 모드 제어부(180)의 제어에 따라 조정되는 객체 프레임 정보 생성부(110)의 연산량에 의존한다. 즉, 차량(V0)은 동일한 객체 인식 범위에 속하는 객체들을 동일한 연산 모드에 따라 인식한다.
도 9를 참조하면, 제1 내지 제4 객체들(V1~V4)은 제1 영역(AR1)에 속하고, 제5 객체(V5)는 제2 영역(AR2)에 속한다. 예를 들어, 이전 프레임에서 제1 내지 제5 객체들(V1~V5)은 모두 고연산 모드로 인식될 수 있다. 이 경우, 이전 프레임에서 제1 내지 제5 객체들(V1~V5)은 모두 제1 영역(AR1)에 속한다. 도 9는 연산 모드 지시자(Ki)가 -1인 경우일 수 있다. 즉, 리소스 점유 상태는 Full이고, 프레임 복잡도가 이전 프레임에 비하여 감소하거나, 유지될 수 있다.
객체 인식 장치(100, 220, 320)는 이전 프레임에서 고연산 모드로 객체 프레임 정보(Oi)가 생성된 객체 중 가장 후 순위의 우선순위 정보를 갖는 객체에 대하여 저연산 모드로 연산한다. 가장 후 순위의 우선순위 정보가 부여된 객체는 제5 우선순위 정보(Pr5)가 부여된 제5 객체(V5)이다. 제5 객체(V5)는 인식된 다른 객체들보다 작은 충돌 가능성을 갖는다. 모드 제어부(228)는 제5 객체(V5)에 대응되는 모드 제어 신호(Mi)를 저연산 모드 제어 신호로 변경한다. 객체 인식 장치(100, 220, 320)는 저연산 모드로 객체를 인식하는 제2 영역(AR2)을 생성한다.
도 10을 참조하면, 제1 내지 제3 객체들(V1~V3)은 제1 영역(AR1)에 속하고, 제4 및 제5 객체들(V4~V5)은 제2 영역(AR2)에 속한다. 제1 내지 제3 객체들(V1~V3)은 제4 및 제5 객체들(V4~V5)에 비하여 높은 연산량에 의하여 인식된다. 이전 프레임이 도 9에 대응되는 경우, 도 10은 연산 모드 지시자(Ki)가 -1인 경우일 수 있다. 즉, 리소스 점유 상태는 Full이고, 프레임 복잡도가 이전 프레임에 비하여 감소하거나, 유지될 수 있다.
이전 프레임에서 고연산 모드로 객체 프레임 정보(Oi)가 생성된 객체는 제1 내지 제4 객체들(V1~V4)이다. 그 중 가장 후 순위의 우선순위 정보가 부여된 객체는 제4 우선순위 정보(Pr4)가 부여된 제4 객체(V4)이다. 모드 제어부(228)는 제4 객체(V4)에 대응되는 모드 제어 신호(Mi)를 저연산 모드 제어 신호로 변경한다. 객체 인식 장치(100, 220, 320)는 제4 객체(V4)를 포함하도록 제2 영역(AR2)을 확장한다. 리소스 점유 상태가 Full이므로, 객체 인식 장치(100, 220, 320)는 저연산 모드로 객체를 인식하는 범위를 확장한다.
도 11을 참조하면, 제1 우선순위 정보(Pr1)가 부여된 제3 객체(V3)는 제1 영역(AR1)에 속한다. 제1 객체(V1), 제2 객체(V2), 제4 객체(V4), 및 제5 객체(V5)는 제2 영역(AR2)에 속한다. 이전 프레임이 도 10에 대응되는 경우, 도 11은 연산 모드 지시자(Ki)가 -2인 경우일 수 있다. 즉, 리소스 점유 상태는 Full이고, 프레임 복잡도가 이전 프레임에 비하여 증가할 수 있다. 리소스 점유 상태가 Full이므로, 신속한 연산 처리가 어렵다. 추가적으로, 프레임 복잡도가 증가하므로, 이전 프레임에 비하여 연산량이 증가될 수 있다. 따라서, 연산 모드 지시자(Ki)가 -1인 경우에 비하여 연산량을 크게 낮출 필요성이 제기된다.
이전 프레임에서 고연산 모드로 객체 프레임 정보(Oi)가 생성된 객체는 제1 내지 제3 객체들(V1~V3)이다. 그 중 가장 후 순위의 우선순위 정보가 부여된 객체는 제3 우선순위 정보(Pr3)가 부여된 제2 객체(V2)이다. 그 다음 순위의 우선순위 정보가 부여된 객체는 제2 우선순위 정보(Pr2)가 부여된 제1 객체(V1)이다. 모드 제어부(180)는 제1 객체(V1) 및 제2 객체(V2)에 대응되는 모드 제어 신호(Mi)를 저연산 모드 제어 신호로 변경한다. 객체 인식 장치(100, 220, 320)는 제1 객체(V1) 및 제2 객체(V2)를 포함하도록 제2 영역(AR2)을 확장한다. 프레임 복잡도가 증가하므로, 저연산 모드로 변경되는 객체들의 개수가 증가한다.
도 12를 참조하면, 제1 영역(AR1)에 속하는 객체는 존재하지 않는다. 제1 내지 제4 객체들(V1~V4)은 제2 영역(AR2)에 속한다. 제5 객체(V5)는 제3 영역(AR3)에 속한다. 이전 프레임이 도 10에 대응되는 경우, 도 12는 연산 모드 지시자(Ki)가 -2인 경우일 수 있다. 즉, 리소스 점유 상태는 Full이고, 프레임 복잡도가 이전 프레임에 비하여 증가할 수 있다. 연산 모드 지시자(Ki)가 -2인 경우, 2개의 객체에 대한 연산 모드의 변경이 진행될 수 있다.
이전 프레임에서 고연산 모드로 객체 프레임 정보(Oi)가 생성된 객체는 제3 객체(V3)로 유일하다. 모드 제어부(180)는 제3 객체(V3)에 대응되는 모드 제어 신호(Mi)를 저연산 모드 제어 신호로 변경한다. 객체 인식 장치(100, 220, 320)는 제3 객체(V3)를 포함하도록 제2 영역(AR2)을 확장한다. 인식되는 모든 객체들이 저연산 모드로 동작하고, 리소스 점유 상태가 Full인 경우, 후 순위의 우선순위 정보가 부여된 객체는 스킵 모드로 동작하고, 객체 인식을 위한 연산을 수행하지 않는다.
저연산 모드로 객체 프레임 정보(Oi)가 생성된 객체들 중 가장 후 순위의 우선순위 정보가 부여된 객체는 제5 객체(V5)이다. 모드 제어부(180)는 제5 객체(V5)에 대응되는 모드 제어 신호(Mi)를 스킵 모드 제어 신호로 변경한다. 즉, 객체 프레임 정보 생성부(110)는 제5 객체(V5)에 대한 객체 프레임 정보(Oi)를 생성하지 않는다. 프레임 분석부(120)는 제5 객체(V5)에 대한 객체 추적 정보(Ti)를 생성하지 않는다. 객체 인식 장치(100, 220, 320)는 스킵 모드로 객체를 인식하는 제3 영역(AR3)을 생성한다.
도 13은 본 발명의 실시예에 따른 객체 인식 방법의 순서도이다. 도 13의 객체 인식 방법은 도 1의 객체 인식 장치(100), 도 3의 객체 인식 장치(220), 또는 도 4의 객체 인식 장치(320)에서 수행된다. 설명의 편의상, 도 13의 객체 인식 방법은 도 1의 객체 인식 장치(100)에서 수행되는 것으로 후술한다.
S100 단계에서, 객체 인식 장치(100)는 객체 프레임 정보(Oi)를 생성한다. S100 단계는 객체 프레임 정보 생성부(110)에서 수행될 수 있다. 객체 인식 장치(100)는 센싱 정보(Si)를 수신한다. 객체 인식 장치(100) 센싱 정보(Si)에 근거하여 복수의 객체를 인식할 수 있다. 객체 인식 장치(100)는 복수의 객체 각각에 대응되는 객체 프레임 정보(Oi)를 생성할 수 있다. 객체 인식 장치(100)는 고연산 모드 또는 저연산 모드로 복수의 객체를 인식하여 객체 프레임 정보(Oi)를 생성할 수 있다.
S200 단계에서, 객체 인식 장치(100)는 객체 추적 정보(Ti)를 생성한다. S200 단계는 프레임 분석부(120)에서 수행될 수 있다. 객체 인식 장치(100)는 객체 프레임 정보(Oi)에 근거하여 다음 프레임에 대한 복수의 객체의 예상 위치 또는 예상 속도를 산출한다. 객체 인식 장치(100)는 산출된 복수의 객체의 예상 위치 또는 예상 속도에 근거하여 객체 추적 정보(Ti)를 생성한다. S300 단계에서, 객체 인식 장치(100)는 주행 경로 정보(Di)를 생성한다. S300 단계는 주행 경로 분석부(130)에서 수행될 수 있다. 객체 인식 장치(100)는 객체 추적 정보(Ti)에 근거하여 다음 프레임에 대한 주행 경로 정보(Di)를 생성한다.
S400 단계에서, 객체 인식 장치(100)는 객체에 대한 우선순위 정보(Pri)를 생성한다. S400 단계는 객체 우선순위 연산기(140)에서 수행될 수 있다. 객체 인식 장치(100)는 객체 추적 정보(Ti) 및 주행 경로 정보(Di)에 근거하여 객체와 차량의 충돌 가능성을 연산할 수 있다. 객체 인식 장치(100)가 복수의 객체를 인지한 경우, 각각의 객체와 차량 사이의 충돌 가능성에 근거하여 객체 우선순위 연산기(140)는 우선순위 정보(Pri)를 생성할 수 있다. 충돌 가능성이 높은 객체는 선순위의 우선순위 정보가 부여되고, 충돌 가능성이 낮은 객체는 후순위의 우선순위 정보가 부여될 수 있다.
S500 단계에서, 객체 인식 장치(100)는 프레임 복잡도를 산출한다. S500 단계는 프레임 복잡도 연산기(150)에서 수행될 수 있다. 객체 인식 장치(100)는 객체 추적 정보(Ti) 및 주행 경로 정보(Di)에 근거하여 프레임 복잡도를 생성할 수 있다. 예를 들어, 객체 인식 장치(100)는 객체 추적 정보(Ti)에 근거하여 객체 복잡도를 산출할 수 있다. 객체 인식 장치(100)는 주행 경로 정보(Di)에 근거하여 경로 복잡도를 산출할 수 있다. 객체 인식 장치(100)는 객체 복잡도 및 경로 복잡도를 합산하여 프레임 복잡도를 산출할 수 있다. 객체 인식 장치(100)는 프레임 복잡도에 근거하여 프레임 복잡도 정보(FCi)를 생성할 수 있다.
S600 단계에서, 객체 인식 장치(100)는 리소스 점유 상태를 검출한다. S600 단계는 리소스 검출기(160)에서 수행될 수 있다. 객체 인식 장치(100)는 도 3의 프로세서(240) 또는 메모리(250)의 점유율을 감지한다. 객체 인식 장치(100)는 프로세서(240) 또는 메모리(250)의 점유율에 근거하여 리소스 정보(Resi)를 생성할 수 있다.
S700 단계에서, 객체 인식 장치(100)는 객체 프레임 정보의 연산을 제어하고, 객체 인식 범위를 변경한다. 객체 프레임 정보의 연산 제어는 모드 제어부(180)에서 수행될 수 있다. 객체 인식 범위의 변경은 객체 프레임 정보 생성부(110)에서 수행될 수 있다. 객체 인식 장치(100)는 우선순위 정보(Pri), 프레임 복잡도 정보(FCi), 및 리소스 정보(Resi)에 근거하여 객체 프레임 정보(Oi)의 생성을 위한 연산량을 제어한다. S700 단계에서 객체 프레임 정보(Oi)의 연산을 제어하기 위하여, 객체 인식 장치(100)는 연산 모드 지시자(Ki)를 생성할 수 있다. 연산 모드 지시자(Ki)는 프레임 복잡도 및 리소스 점유 상태에 근거하여 결정될 수 있다. 객체 인식 장치(100)는 연산 모드 지시자(Ki)에 근거하여 객체 프레임 정보 생성부(110)의 연산량을 증가시키거나 감소시킬 수 있다. 객체 인식 장치(100)는 연산 모드 지시자(Ki)에 근거하여 객체 프레임 정보 생성부(110)의 객체 인식 범위를 증가시키거나 감소시킬 수 있다. 객체 인식 장치(100)는 고연산 모드로 인식되는 객체 인식 범위 또는 저연산 모드로 인식되는 객체 인식 범위를 증가 또는 감소시킬 수 있다.
S700 단계에서 객체 프레임 정보(Oi)의 연산량은 객체 별로 다르게 결정될 수 있다. 예를 들어, 객체 인식 장치(100)는 선순위의 우선순위 정보(Pri)를 갖는 객체의 연산량을 증가시킬 수 있다. 객체 인식 장치(100)는 후순위의 우선순위 정보(Pri)를 갖는 객체의 연산량을 감소시킬 수 있다. 객체 인식 장치(100)는 객체 별로 고연산 모드, 저연산 모드, 또는 스킵 모드로 동작할 수 있다. 객체 인식 장치(100)는 리소스 점유 상태가 Full 상태인 경우, 연산량을 감소시킬 수 있다. 객체 인식 장치(100)는 리소스 점유 상태가 Not Full 상태인 경우, 연산량을 증가시킬 수 있다.
S800 단계에서, 객체 인식 장치(100)는 객체 인식을 종료하거나, 다음 프레임에 대한 객체 인식을 수행할 수 있다. 객체 인식 장치(100)는 도 3의 프로세서(240)의 제어에 근거하여 객체 인식 종료 여부를 결정할 수 있다. 객체 인식을 종료하는 경우, 객체 인식 장치(100)는 다음 프레임에 대한 객체 프레임 정보(Oi)를 생성하지 않는다. 객체 인식 장치(100)는 구동을 종료할 수 있다. 객체 인식을 종료하지 않는 경우, 객체 인식 장치(100)는 S100 단계를 다시 수행한다. 즉, 객체 인식 장치(100)는 다음 프레임에 대한 객체 프레임 정보(Oi)를 생성한다. 이 경우, 객체 인식 장치(100)는 객체 인식을 종료할 때까지 S100 단계 내지 S700 단계를 프레임마다 반복 수행할 수 있다.
S800 단계는 자율 주행 시스템(200, 300)의 자율 주행의 종료를 판단하는 단계로 볼 수 있다. 예를 들어, 자율 주행을 종료하는 경우, 자율 주행 시스템(200, 300)은 다음 프레임에 대한 객체 프레임 정보(Oi)를 생성하지 않는다. 자율 주행을 유지하는 경우, 자율 주행 시스템(200, 300)은 S100 단계를 다시 수행한다. 즉, 자율 주행 시스템(200, 300)은 다음 프레임에 대한 객체 프레임 정보(Oi)를 생성한다. 이 경우, 자율 주행 시스템에 포함되는 객체 인식 장치는 자율 주행을 종료할 때까지 S100 단계 내지 S700 단계를 프레임마다 반복 수행할 수 있다.
도 14는 본 발명의 실시예에 따른 객체 프레임 정보의 연산을 제어하는 방법의 순서도이다. 도 14는 도 13에서 S700 단계를 구체화한 순서도이다. 도 14를 참조하면, 객체 프레임 정보의 연산을 제어하는 방법은 도 1의 모드 제어부(180)에서 수행될 수 있다. 또한, 객체 프레임 정보의 연산을 제어하기 위하여, 도 1의 연산 모드 지시자 연산기(170)를 이용할 수 있다.
S710 단계에서, 객체 인식 장치(100)는 리소스 점유 상태가 Full 상태인지 판단한다. 리소스 점유 상태가 Full 상태인 경우, 프로세서 또는 메모리가 과부하 상태이므로, 객체 인식 장치(100)는 이전 프레임에서의 객체 프레임 정보(Oi) 생성을 위한 연산량을 유지하기 어려운 것으로 판단한다. 즉, 리소스 점유 상태가 Full 상태인 경우, 객체 인식 장치(100)는 연산량을 감소시키도록 객체 프레임 정보 생성부(110)를 제어한다. 리소스 점유 상태가 Full 상태가 아닌 경우, 객체 인식 장치(100)는 연산량을 증가시키도록 객체 프레임 정보 생성부(110)를 제어한다. 리소스 점유 상태는 연산 모드 지시자(Ki)에 근거하여 판단될 수 있다. 예를 들어, 연산 모드 지시자(Ki)가 음수인 경우, 리소스 점유 상태가 Full 상태인 것으로 인지될 수 있다. 리소스 점유 상태가 Full 상태인 경우, S720 단계가 진행된다. 리소스 점유 상태가 Full 상태가 아닌 경우, S750 단계가 진행된다.
S720 단계에서, 객체 인식 장치(100)는 이전 프레임에서 고연산 모드로 생성된 객체 프레임 정보가 존재하는지 판단한다. 고연산 모드로 생성된 객체 프레임 정보가 존재하는 경우, 고연산 모드에서 저연산 모드로 변경하기 위한 S730 단계가 수행된다. 고연산 모드로 생성된 객체 프레임 정보가 존재하지 않는 경우, 저연산 모드에서 스킵 모드로 변경하기 위한 S740 단계가 수행된다.
S730 단계에서, 객체 인식 장치(100)는 이전 프레임에서 고연산 모드로 생성된 객체 프레임 정보 중 후순위의 우선순위 정보를 갖는 객체 프레임 정보를 저연산 모드로 생성하도록 제어한다. 객체 인식 장치(100)는 프레임 복잡도에 근거하여 저연산 모드로 생성하는 객체 프레임 정보의 개수를 결정할 수 있다. 예를 들어, 프레임 복잡도가 증가하는 경우에 저연산 모드로 변경하는 객체 프레임 정보의 개수는 프레임 복잡도가 감소하는 경우에 저연산 모드로 변경하는 객체 프레임 정보의 개수보다 많을 수 있다.
S740 단계에서, 객체 인식 장치(100)는 이전 프레임에서 저연산 모드로 생성된 객체 프레임 정보 중 후순위의 우선순위 정보를 갖는 객체 프레임 정보의 생성을 차단한다. 객체 인식 장치(100)는 프레임 복잡도에 근거하여 생성되지 않는 객체 프레임 정보의 개수를 결정할 수 있다. 예를 들어, 프레임 복잡도가 증가하는 경우에 스킵 모드로 변경하는 객체 프레임 정보의 개수는 프레임 복잡도가 감소하는 경우에 스킵 모드로 변경하는 객체 프레임 정보의 개수보다 많을 수 있다.
S750 단계에서, 객체 인식 장치(100)는 이전 프레임에서 스킵 모드로 동작하여 생성되지 않은 객체 프레임 정보가 존재하는지 판단한다. 생성이 차단된 객체 프레임 정보가 존재하는 경우, 스킵 모드에서 저연산 모드로 변경하기 위한 S760 단계가 수행된다. 생성이 차단된 객체 프레임 정보가 존재하지 않는 경우, 저연산 모드에서 고연산 모드로 변경하기 위한 S770 단계가 수행된다.
S760 단계에서, 객체 인식 장치(100)는 이전 프레임에서 생성이 차단된 객체 프레임 정보 중 선순위의 우선순위 정보를 갖는 객체 프레임 정보를 저연산 모드로 생성하도록 제어한다. 객체 인식 장치(100)는 프레임 복잡도에 근거하여 저연산 모드로 생성하는 객체 프레임 정보의 개수를 결정할 수 있다. 예를 들어, 프레임 복잡도가 증가하는 경우에 저연산 모드로 변경하는 객체 프레임 정보의 개수는 프레임 복잡도가 감소하는 경우에 저연산 모드로 변경하는 객체 프레임 정보의 개수보다 적을 수 있다.
S770 단계에서, 객체 인식 장치(100)는 이전 프레임에서 저연산 모드로 생성된 객체 프레임 정보 중 선순위의 우선순위 정보를 갖는 객체 프레임 정보를 고연산 모드로 생성하도록 제어한다. 객체 인식 장치(100)는 프레임 복잡도에 근거하여 고연산 모드로 생성하는 객체 프레임 정보의 개수를 결정할 수 있다. 예를 들어, 프레임 복잡도가 증가하는 경우에 고연산 모드로 변경하는 객체 프레임 정보의 개수는 프레임 복잡도가 감소하는 경우에 고연산 모드로 변경하는 객체 프레임 정보의 개수보다 적을 수 있다.
위에서 설명한 내용은 본 발명을 실시하기 위한 구체적인 예들이다. 본 발명에는 위에서 설명한 실시 예들뿐만 아니라, 단순하게 설계 변경하거나 용이하게 변경할 수 있는 실시 예들도 포함될 것이다. 또한, 본 발명에는 상술한 실시 예들을 이용하여 앞으로 용이하게 변형하여 실시할 수 있는 기술들도 포함될 것이다.
100, 220, 320: 객체 인식 장치 110: 객체 프레임 정보 생성부
120: 프레임 분석부 130: 주행 경로 분석부
140: 객체 우선순위 연산기 150: 프레임 복잡도 연산기
160: 리소스 검출기 170: 연산 모드 지시자 연산기
180: 모드 제어부 200, 300: 자율 주행 시스템
210, 310: 센서부 230, 330: 차량 제어 장치

Claims (20)

  1. 모드 제어 신호에 근거하여 적어도 하나의 객체를 인식하여 객체 프레임 정보를 생성하는 객체 프레임 정보 생성부;
    상기 객체 프레임 정보를 수신하고, 다음 프레임에 대한 상기 객체의 예상 위치 또는 예상 속도를 산출하여 객체 추적 정보를 생성하는 프레임 분석부;
    상기 객체 추적 정보를 수신하고, 상기 객체의 거리 및 속도에 근거하여 상기 객체에 대한 우선순위 정보를 생성하는 객체 우선순위 연산기;
    상기 객체 추적 정보를 수신하고, 상기 객체의 개수 및 분포에 근거하여 프레임 복잡도를 산출하는 프레임 복잡도 연산기; 및
    상기 우선순위 정보, 상기 프레임 복잡도, 및 리소스 점유 상태에 근거하여 객체 인식 범위 및 상기 객체 프레임 정보 생성부의 연산량을 조정하는 상기 모드 제어 신호를 생성하는 모드 제어부를 포함하는 객체 인식 장치.
  2. 제1 항에 있어서,
    상기 객체 추적 정보에 근거하여 상기 다음 프레임에 대한 주행 경로 정보를 생성하는 주행 경로 분석부를 더 포함하는 객체 인식 장치.
  3. 제2 항에 있어서,
    상기 객체 우선순위 연산기는,
    상기 객체 추적 정보 및 상기 주행 경로 정보에 근거하여 상기 객체와 상기 객체 인식 장치 사이의 충돌 가능성을 연산하고, 상기 충돌 가능성에 근거하여 상기 객체에 대한 우선순위 정보를 생성하는 객체 인식 장치.
  4. 제2 항에 있어서,
    상기 프레임 복잡도 연산기는,
    상기 객체 추적 정보에 근거하여 객체 복잡도를 산출하고, 상기 주행 경로 정보에 근거하여 경로 복잡도를 산출하고, 상기 객체 복잡도 및 상기 경로 복잡도에 근거하여 상기 프레임 복잡도를 산출하는 객체 인식 장치.
  5. 제1 항에 있어서,
    상기 프레임 복잡도 및 상기 리소스 점유 상태에 근거하여 연산 모드 지시자를 생성하고, 상기 모드 제어부에 상기 연산 모드 지시자를 제공하는 연산 모드 지시자 연산기를 더 포함하는 객체 인식 장치.
  6. 제5 항에 있어서,
    상기 모드 제어부는,
    상기 연산 모드 지시자에 근거하여 고연산 모드로 동작하기 위한 고연산 모드 제어 신호, 저연산 모드로 동작하기 위한 저연산 모드 제어 신호, 또는 스킵 모드로 동작하기 위한 스킵 모드 제어 신호를 상기 객체 프레임 정보 생성부에 제공하는 객체 인식 장치.
  7. 제6 항에 있어서,
    상기 연산 모드 지시자 연산기는,
    상기 프레임 복잡도에 근거하여 상기 연산 모드 지시자의 절대값을 결정하고, 상기 리소스 점유 상태에 근거하여 상기 연산 모드 지시자의 극성을 결정하고,
    상기 객체 프레임 정보 생성부는,
    상기 연산 모드 지시자의 극성에 근거하여 상기 객체의 연산 모드를 변경하고, 상기 연산 모드 지시자의 절대값에 근거하여 상기 연산 모드를 변경하는 객체의 개수를 결정하는 객체 인식 장치.
  8. 제6 항에 있어서,
    상기 객체 프레임 정보 생성부는,
    상기 모드 제어 신호에 근거하여 객체 연산 제어 신호를 생성하는 객체 연산 제어기; 및
    상기 객체 연산 제어 신호 및 주변부를 감지하여 생성되는 센싱 정보에 근거하여 객체 프레임 정보를 생성하는 객체 연산기를 포함하는 객체 인식 장치.
  9. 제8 항에 있어서,
    상기 객체 연산기는,
    상기 고연산 모드에서 상기 센싱 정보에 근거하여 생성되는 입력 정보를 수신하는 특징 추출 고연산기;
    상기 저연산 모드에서 상기 입력 정보를 수신하고, 상기 특징 추출 고연산기보다 낮은 연산량을 갖는 특징 추출 저연산기; 및
    상기 객체 연산 제어 신호에 근거하여 상기 입력 정보를 특징 추출 고연산기 또는 특징 추출 저연산기 중 어느 하나에 출력하거나, 상기 특징 추출 고연산기 및 상기 특징 추출 저연산기로의 출력을 차단하는 멀티플렉서를 포함하는 객체 인식 장치.
  10. 제1 항에 있어서,
    상기 리소스 점유 상태를 검출하는 리소스 검출기를 더 포함하는 객체 인식 장치.
  11. 주변부를 감지하여 센싱 정보를 생성하는 센서부;
    상기 센싱 정보를 수신하고, 적어도 하나의 객체를 인식하여 객체 프레임 정보를 생성하는 객체 프레임 정보 생성부;
    인식된 상기 객체에 근거하여 차량의 조향각 및 속도를 제어하는 차량 제어 장치;
    상기 센서부, 상기 객체 프레임 정보 생성부, 및 상기 차량 제어 장치를 제어하는 프로세서;
    상기 센싱 정보 또는 상기 객체 프레임 정보를 저장하는 메모리;
    상기 객체 프레임 정보에 근거하여 프레임 복잡도를 연산하는 프레임 복잡도 연산기; 및
    상기 프로세서 또는 상기 메모리의 리소스 점유 상태, 및 상기 프레임 복잡도에 근거하여 객체 인식 범위 및 상기 객체 프레임 정보 생성부의 연산량을 조정하는 모드 제어부를 포함하는 자율 주행 시스템.
  12. 제11 항에 있어서,
    상기 객체 프레임 정보를 수신하고, 다음 프레임에 대한 상기 객체의 예상 위치 또는 예상 속도를 산출하여 객체 추적 정보를 생성하는 프레임 분석부를 더 포함하는 자율 주행 시스템.
  13. 제12 항에 있어서,
    상기 객체 추적 정보에 근거하여, 상기 다음 프레임에 대한 상기 차량의 주행 경로 정보를 생성하고, 상기 주행 경로 정보를 상기 차량 제어 장치에 제공하는 주행 경로 분석부를 더 포함하는 자율 주행 시스템.
  14. 제13 항에 있어서,
    상기 객체 추적 정보 및 상기 주행 경로 정보를 수신하여 상기 객체와 상기 차량의 충돌 가능성을 연산하고, 상기 충돌 가능성에 근거하여 우선순위 정보를 생성하는 객체 우선순위 연산기를 더 포함하는 자율 주행 시스템.
  15. 제14 항에 있어서,
    상기 모드 제어부는,
    상기 우선순위 정보, 프레임 복잡도, 및 상기 리소스 점유 상태에 근거하여 상기 객체 인식 범위 및 상기 객체 프레임 정보 생성부의 연산량을 결정하는 모드 제어 신호를 생성하고,
    상기 객체 프레임 정보 생성부는,
    상기 모드 제어 신호에 근거하여 고연산 모드, 상기 고연산 모드보다 낮은 연산량을 갖는 저연산 모드, 및 스킵 모드 중 어느 하나로 동작하는 자율 주행 시스템.
  16. 객체 인식 장치가 고연산 모드 또는 상기 고연산 모드보다 낮은 연산량을 갖는 저연산 모드로 복수의 객체를 인식하여 객체 프레임 정보를 생성하는 단계;
    상기 객체 인식 장치가 인식된 상기 복수의 객체와의 충돌 가능성에 근거하여 상기 복수의 객체에 대한 우선순위 정보를 생성하는 단계;
    상기 객체 인식 장치가 상기 객체 프레임 정보에 근거하여 프레임 복잡도를 산출하는 단계;
    상기 객체 인식 장치가 메모리 또는 프로세서의 리소스 점유 상태를 검출하는 단계; 및
    상기 객체 인식 장치가 상기 우선순위 정보, 상기 리소스 점유 상태, 및 상기 프레임 복잡도에 근거하여 상기 고연산 모드로 인식되는 객체 인식 범위 또는 상기 저연산 모드로 인식되는 객체 인식 범위를 변경하는 단계를 포함하는 객체 인식 방법.
  17. 제16 항에 있어서,
    상기 객체 인식 범위를 변경하는 단계는,
    상기 리소스 점유 상태가 Full 상태인 경우, 이전 프레임에서 상기 고연산 모드로 객체 프레임 정보가 생성된 객체 중 가장 후 순위의 우선순위 정보를 갖는 객체를 상기 저연산 모드로 인식하고, 상기 프레임 복잡도에 근거하여 상기 저연산 모드로 생성하는 객체 프레임 정보의 개수를 조정하는 객체 인식 방법.
  18. 제16 항에 있어서,
    상기 객체 인식 범위를 변경하는 단계는,
    상기 리소스 점유 상태가 Full 상태이고 이전 프레임에서 상기 복수의 객체가 모두 상기 저연산 모드로 객체 프레임 정보가 생성된 경우, 가장 후 순위의 우선순위 정보를 갖는 객체 프레임 정보의 생성을 차단하고, 상기 프레임 복잡도에 근거하여 객체 프레임 정보의 생성이 차단되는 개수를 조정하는 객체 인식 방법.
  19. 제16 항에 있어서,
    상기 객체 인식 범위를 변경하는 단계는,
    상기 리소스 점유 상태가 Not Full 상태인 경우, 이전 프레임에서 스킵 모드로 객체 프레임 정보의 생성이 차단된 객체 중 가장 선 순위의 우선순위 정보를 갖는 객체 프레임 정보를 상기 저연산 모드로 생성하고, 상기 프레임 복잡도에 근거하여 상기 저연산 모드로 생성하는 객체 프레임 정보의 개수를 조정하는 객체 인식 방법.
  20. 제16 항에 있어서,
    상기 객체 인식 범위를 변경하는 단계는,
    상기 리소스 점유 상태가 Not Full 상태인 경우, 이전 프레임에서 상기 저연산 모드로 객체 프레임 정보가 생성된 객체 중 우선순위 정보를 갖는 객체 프레임 정보를 상기 고연산 모드로 생성하고, 상기 프레임 복잡도에 근거하여 상기 고연산 모드로 생성하는 객체 프레임 정보의 개수를 조정하는 객체 인식 방법.
KR1020170056538A 2016-11-23 2017-05-02 객체 인식 장치, 이를 포함하는 자율 주행 시스템, 및 객체 인식 장치를 이용한 객체 인식 방법 KR102267040B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/804,992 US10663974B2 (en) 2016-11-23 2017-11-06 Object recognition device, autonomous driving system including the same, and object recognition method using the object recognition device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020160156767 2016-11-23
KR20160156767 2016-11-23

Publications (2)

Publication Number Publication Date
KR20180058606A true KR20180058606A (ko) 2018-06-01
KR102267040B1 KR102267040B1 (ko) 2021-06-21

Family

ID=62635005

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170056538A KR102267040B1 (ko) 2016-11-23 2017-05-02 객체 인식 장치, 이를 포함하는 자율 주행 시스템, 및 객체 인식 장치를 이용한 객체 인식 방법

Country Status (1)

Country Link
KR (1) KR102267040B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210041304A (ko) * 2019-10-07 2021-04-15 현대엠엔소프트 주식회사 도로 경계 추출 장치 및 방법
KR20210084313A (ko) * 2019-12-27 2021-07-07 모셔널 에이디 엘엘씨 자율 주행 차량 운행을 지원하는 장기 대상체 추적
KR20210157827A (ko) * 2020-06-22 2021-12-29 한양대학교 산학협력단 이미지 근사화 및 가중치 양자화를 이용한 객체 검출 가속화 방법 및 이를 이용하는 뉴럴 가속기
US12050468B2 (en) 2021-12-17 2024-07-30 Motional Ad Llc Methods and systems for agent prioritization

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100798815B1 (ko) * 2007-04-20 2008-01-28 (주)지오매틱코리아 자동주행을 위한 통합차량거동 시스템의 적용거리 실용화방법
KR20090021724A (ko) * 2007-08-28 2009-03-04 주식회사 만도 카메라와 레이저 스캐너를 이용한 차량 전방 물체 판별장치
KR101173853B1 (ko) * 2012-04-18 2012-08-14 (주)한국알파시스템 다중 객체 인식장치 및 방법
JP2013539854A (ja) * 2010-09-13 2013-10-28 オランジュ 物体を検出するための方法、デバイス、及びシステム
KR20140065520A (ko) * 2012-11-15 2014-05-30 현대자동차주식회사 레이더를 이용한 객체 인식방법 및 시스템
JP2016085039A (ja) * 2014-10-22 2016-05-19 株式会社デンソー 超音波式物体検知装置
KR20160118633A (ko) * 2015-04-02 2016-10-12 현대자동차주식회사 차량 주변의 객체 판별 시스템 및 방법

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100798815B1 (ko) * 2007-04-20 2008-01-28 (주)지오매틱코리아 자동주행을 위한 통합차량거동 시스템의 적용거리 실용화방법
KR20090021724A (ko) * 2007-08-28 2009-03-04 주식회사 만도 카메라와 레이저 스캐너를 이용한 차량 전방 물체 판별장치
JP2013539854A (ja) * 2010-09-13 2013-10-28 オランジュ 物体を検出するための方法、デバイス、及びシステム
KR101173853B1 (ko) * 2012-04-18 2012-08-14 (주)한국알파시스템 다중 객체 인식장치 및 방법
KR20140065520A (ko) * 2012-11-15 2014-05-30 현대자동차주식회사 레이더를 이용한 객체 인식방법 및 시스템
JP2016085039A (ja) * 2014-10-22 2016-05-19 株式会社デンソー 超音波式物体検知装置
KR20160118633A (ko) * 2015-04-02 2016-10-12 현대자동차주식회사 차량 주변의 객체 판별 시스템 및 방법

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210041304A (ko) * 2019-10-07 2021-04-15 현대엠엔소프트 주식회사 도로 경계 추출 장치 및 방법
KR20210084313A (ko) * 2019-12-27 2021-07-07 모셔널 에이디 엘엘씨 자율 주행 차량 운행을 지원하는 장기 대상체 추적
KR20210157827A (ko) * 2020-06-22 2021-12-29 한양대학교 산학협력단 이미지 근사화 및 가중치 양자화를 이용한 객체 검출 가속화 방법 및 이를 이용하는 뉴럴 가속기
US12050468B2 (en) 2021-12-17 2024-07-30 Motional Ad Llc Methods and systems for agent prioritization

Also Published As

Publication number Publication date
KR102267040B1 (ko) 2021-06-21

Similar Documents

Publication Publication Date Title
US10663974B2 (en) Object recognition device, autonomous driving system including the same, and object recognition method using the object recognition device
US11928866B2 (en) Neural networks for object detection and characterization
US11645916B2 (en) Moving body behavior prediction device and moving body behavior prediction method
US11661068B2 (en) Vehicle system for recognizing objects
US20210347383A1 (en) Trajectories with intent
KR20190073038A (ko) 차량의 경로 생성 시스템 및 방법
WO2020112649A1 (en) Probabilistic risk assessment for trajectory evaluation
JP2022502306A (ja) レーダ空間推定
JP6223607B1 (ja) 周辺認知装置、周辺認知方法及び周辺認知プログラム
US20220185267A1 (en) Object determination in an occluded region
KR20180058606A (ko) 객체 인식 장치, 이를 포함하는 자율 주행 시스템, 및 객체 인식 장치를 이용한 객체 인식 방법
CN105628951A (zh) 用于测量对象的速度的方法和装置
US11912268B2 (en) Velocity regression safety system
EP4405224A1 (en) Optimization based planning system
Kim et al. Multi-sensor-based detection and tracking of moving objects for relative position estimation in autonomous driving conditions
Arunpriyan et al. Real-time speed bump detection using image segmentation for autonomous vehicles
KR20190005595A (ko) 주변 차량의 이동 경로 예측 방법 및 이동 경로 예측을 위한 학습 방법
US12065140B1 (en) Object trajectory determination
KR102305673B1 (ko) 카메라와 v2v를 이용한 주변차량 차선변경 의도 및 경로 예측 방법
Dong et al. An enhanced motion planning approach by integrating driving heterogeneity and long-term trajectory prediction for automated driving systems: A highway merging case study
US11953590B1 (en) Radar multipath detection based on changing virtual arrays
US11618460B1 (en) Predictive planning
CN114670851A (zh) 基于寻优跟踪算法的辅助驾驶系统、方法、终端及介质
KR20230014008A (ko) 인공신경망을 이용한 주행 차량의 충돌 가능성 판단 방법 및 장치
EP4146510A1 (en) Trajectory classification

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant