Nothing Special   »   [go: up one dir, main page]

KR20200086754A - 자율-주행 차량의 이미지 캡처 디바이스가 마주치는 광의 정도를 제어하기 위한 방법들 및 시스템들 - Google Patents

자율-주행 차량의 이미지 캡처 디바이스가 마주치는 광의 정도를 제어하기 위한 방법들 및 시스템들 Download PDF

Info

Publication number
KR20200086754A
KR20200086754A KR1020207019962A KR20207019962A KR20200086754A KR 20200086754 A KR20200086754 A KR 20200086754A KR 1020207019962 A KR1020207019962 A KR 1020207019962A KR 20207019962 A KR20207019962 A KR 20207019962A KR 20200086754 A KR20200086754 A KR 20200086754A
Authority
KR
South Korea
Prior art keywords
capture device
image capture
vehicle
light
image
Prior art date
Application number
KR1020207019962A
Other languages
English (en)
Other versions
KR102366659B1 (ko
Inventor
브렌단 헤르마린
안드레아스 웬델
제레미 디트머
Original Assignee
웨이모 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 웨이모 엘엘씨 filed Critical 웨이모 엘엘씨
Publication of KR20200086754A publication Critical patent/KR20200086754A/ko
Application granted granted Critical
Publication of KR102366659B1 publication Critical patent/KR102366659B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60S—SERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S1/00—Cleaning of vehicles
    • B60S1/02—Cleaning windscreens, windows or optical devices
    • B60S1/04—Wipers or the like, e.g. scrapers
    • B60S1/06—Wipers or the like, e.g. scrapers characterised by the drive
    • B60S1/08—Wipers or the like, e.g. scrapers characterised by the drive electrically driven
    • B60S1/0818—Wipers or the like, e.g. scrapers characterised by the drive electrically driven including control systems responsive to external conditions, e.g. by detection of moisture, dirt or the like
    • B60S1/0822—Wipers or the like, e.g. scrapers characterised by the drive electrically driven including control systems responsive to external conditions, e.g. by detection of moisture, dirt or the like characterized by the arrangement or type of detection means
    • B60S1/0862—Wipers or the like, e.g. scrapers characterised by the drive electrically driven including control systems responsive to external conditions, e.g. by detection of moisture, dirt or the like characterized by the arrangement or type of detection means including additional sensors
    • B60S1/087—Wipers or the like, e.g. scrapers characterised by the drive electrically driven including control systems responsive to external conditions, e.g. by detection of moisture, dirt or the like characterized by the arrangement or type of detection means including additional sensors including an ambient light sensor
    • G06K9/32—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/993—Evaluation of the quality of the acquired pattern
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/102—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using 360 degree surveillance camera system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/42—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/60—Traffic rules, e.g. speed limits or right of way
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Studio Devices (AREA)
  • Image Input (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

예시적인 구현들은 자율-주행 차량의 이미지 캡처 디바이스가 마주치는 광의 정도를 제어하기 위해 광-제어 피처를 사용하는 것에 관한 것일 수 있다. 특히, 차량의 컴퓨팅 시스템은 이미지 캡처 디바이스에 의해 생성된 이미지 데이터의 품질이 이미지 캡처 디바이스가 마주치거나 또는 마주칠 것으로 예상되는 외부 광으로 인해 임계 품질보다 낮거나 또는 낮을 것으로 예상된다고 결정을 내릴 수 있다. 결정에 응답하여, 컴퓨팅 시스템은 이미지 캡처 디바이스가 마주치거나 또는 마주칠 것으로 예상되는 외부 광의 정도를 제어하기 위해 광-제어 피처에 조정을 행할 수 있다. 이 조정은 궁극적으로 이미지 캡처 디바이스에 의해 생성된 이미지 데이터의 품질을 향상시키는 데 도움을 줄 수 있다. 따라서, 컴퓨팅 시스템은 적어도 이미지 캡처 디바이스에 의해 생성된 이미지 데이터에 기초하여 차량을 동작시킬 수 있다.

Description

자율-주행 차량의 이미지 캡처 디바이스가 마주치는 광의 정도를 제어하기 위한 방법들 및 시스템들
<관련 출원에 대한 상호 참조>
본 출원은 2017년 12월 14일자로 출원되고 발명의 명칭이 "Methods and Systems for Controlling Extent of Light Encountered by an Image Capture Device of a Self-Driving Vehicle"인 미국 특허 출원 번호 제15/842,182호의 우선권을 주장하며, 이는 본 명세서에 전체적으로 참조로 포함된다.
차량은 임의의 휠이 달린 전력 공급형 차량일 수 있으며, 자동차, 트럭, 오토바이, 버스 등을 포함할 수 있다. 차량들은 사람 및 물품의 운송뿐만 아니라 많은 다른 용도들과 같은 다양한 태스크들에 활용될 수 있다.
일부 차량들은 부분적으로 또는 완전히 자율적일 수 있다. 예를 들어, 차량이 자율-주행 모드(autonomous mode)에 있을 때, 차량 동작의 주행 양태들 중 일부 또는 전부는 자율-주행 차량 시스템(즉, 자율-주행 차량의 제어를 용이하게 하기 위해 개별적으로 또는 집합적으로 기능하는 임의의 하나 이상의 컴퓨터 시스템)에 의해 핸들링될 수 있다. 이러한 경우, 온보드 및/또는 서버 네트워크에 위치된 컴퓨팅 디바이스들은 주행 루트 계획, 차량의 양태들 감지, 차량의 환경 감지, 및 스티어링, 스로틀 및 브레이크와 같은 주행 컴포넌트들 제어와 같은 기능들을 수행하도록 동작 가능할 수 있다. 따라서, 자율-주행 차량들은 차량 동작의 다양한 양태들에서 인간 상호 작용의 필요성을 감소시키거나 또는 제거할 수 있다.
일 양태에서는, 방법이 개시된다. 방법은, 컴퓨팅 시스템에 의해, 이미지 캡처 디바이스에 의해 생성된 이미지 데이터의 품질이 이미지 캡처 디바이스가 마주치거나 또는 마주칠 것으로 예상되는 외부 광으로 인해 임계 품질보다 낮거나 또는 낮을 것으로 예상된다고 결정을 내리는 단계 - 이미지 캡처 디바이스는 차량에 커플링되고, 차량은 이미지 캡처 디바이스가 마주치는 외부 광의 정도를 제어하도록 조정 가능한 광-제어 피처를 포함함 - 를 포함한다. 방법은 또한, 결정에 응답하여, 컴퓨팅 시스템에 의해, 이미지 캡처 디바이스가 마주치거나 또는 마주칠 것으로 예상되는 외부 광의 정도를 제어하기 위해 광-제어 피처에 조정을 행하는 단계를 포함한다. 방법은 적어도 이미지 캡처 디바이스에 의해 생성된 이미지 데이터에 기초하여 차량을 동작시키는 단계를 추가로 포함한다.
다른 양태에서는, 다른 방법이 개시된다. 방법은, 컴퓨팅 시스템에 의해, 이미지 캡처 디바이스의 관점에서 광원이 이미지 캡처 디바이스의 시야 내의 객체에 근접하다고 결정을 내리는 단계 - 이미지 캡처 디바이스는 차량에 커플링되고, 차량은 이미지 캡처 디바이스가 마주치는 외부 광의 정도를 제어하도록 조정 가능한 광-제어 피처를 포함함 - 를 포함한다. 방법은 또한, 결정에 응답하여, 컴퓨팅 시스템에 의해, 이미지 캡처 디바이스의 시야에서 광원의 적어도 일부를 차단하도록 광-제어 피처에 조정을 행하는 단계를 포함한다.
또 다른 양태에서는, 차량이 개시된다. 차량은 차량 주위의 환경을 나타내는 이미지 데이터를 생성하도록 구성되는 이미지 캡처 디바이스, 이미지 캡처 디바이스의 시야에 대해 이동 가능한 기계적 디바이스, 및 컴퓨팅 시스템을 포함한다. 컴퓨팅 시스템은 이미지 캡처 디바이스의 관점에서 광원이 이미지 캡처 디바이스의 시야 내의 객체에 근접하다고 결정을 내리도록 구성될 수 있다. 컴퓨팅 시스템은 또한, 결정에 응답하여, 기계적 디바이스의 이동이 이미지 캡처 디바이스의 시야에서 광원으로부터의 광의 적어도 일부를 차단하게 하도록 구성될 수 있다. 컴퓨팅 시스템은 이미지 캡처 디바이스에 의해 생성된 이미지 데이터에 기초하여 차량을 동작시키도록 추가로 구성될 수 있다.
또 다른 양태에서는, 시스템이 개시된다. 시스템은 이미지 캡처 디바이스에 의해 생성된 이미지 데이터의 품질이 이미지 캡처 디바이스가 마주치거나 또는 마주칠 것으로 예상되는 외부 광으로 인해 임계 품질보다 낮거나 또는 낮을 것으로 예상된다고 결정을 내리기 위한 수단 - 이미지 캡처 디바이스는 차량에 커플링되고, 차량은 이미지 캡처 디바이스가 마주치는 외부 광의 정도를 제어하도록 조정 가능한 광-제어 피처를 포함함 - 을 포함할 수 있다. 시스템은 또한, 결정에 응답하여, 컴퓨팅 시스템에 의해, 이미지 캡처 디바이스가 마주치거나 또는 마주칠 것으로 예상되는 외부 광의 정도를 제어하기 위해 광-제어 피처에 조정을 행하기 위한 수단을 포함할 수 있다. 시스템은 적어도 이미지 캡처 디바이스에 의해 생성된 이미지 데이터에 기초하여 차량을 동작시키기 위한 수단을 추가로 포함할 수 있다.
또 다른 양태에서는, 다른 시스템이 개시된다. 시스템은 이미지 캡처 디바이스의 관점에서 광원이 이미지 캡처 디바이스의 시야 내의 객체에 근접하다고 결정을 내리기 위한 수단 - 이미지 캡처 디바이스는 차량에 커플링되고, 차량은 이미지 캡처 디바이스가 마주치는 외부 광의 정도를 제어하도록 조정 가능한 광-제어 피처를 포함함 - 을 포함할 수 있다. 시스템은 또한, 결정에 응답하여, 이미지 캡처 디바이스의 시야에서 광원의 적어도 일부를 차단하도록 광-제어 피처에 조정을 행하기 위한 수단을 포함할 수 있다.
또 다른 양태에서는, 또 다른 시스템이 개시된다. 시스템은 이미지 캡처 디바이스의 관점에서 광원이 이미지 캡처 디바이스의 시야 내의 객체에 근접하다고 결정을 내리기 위한 수단을 포함할 수 있다. 시스템은 또한, 결정에 응답하여, 기계적 디바이스의 이동이 이미지 캡처 디바이스의 시야에서 광원으로부터의 광의 적어도 일부를 차단하게 하기 위한 수단을 포함할 수 있다. 시스템은 이미지 캡처 디바이스에 의해 생성된 이미지 데이터에 기초하여 차량을 동작시키기 위한 수단을 추가로 포함할 수 있다.
이들 및 다른 양태들, 이점들 및 대안들은, 적절한 경우, 첨부 도면들을 참조하여 다음의 상세한 설명을 읽음으로써 본 기술분야의 통상의 기술자에게 명백해질 것이다. 또한, 본 요약 섹션 및 본 문헌의 다른 곳에서 제공되는 설명은 청구 대상을 제한하기 위한 것이 아니라 예로서 예시하기 위해 의도된다는 것이 이해되어야 한다.
도 1은 예시적인 구현에 따른 차량을 예시하는 기능 블록도이다.
도 2는 예시적인 구현에 따른 차량의 물리적 구성의 개념도이다.
도 3은 예시적인 구현에 따른 자율-주행 차량과 관련된 다양한 컴퓨팅 시스템들 간의 무선 통신의 개념도이다.
도 4a는 예시적인 카메라 시스템의 예시적인 컴포넌트들을 도시하는 간략화된 블록도이다.
도 4b는 예시적인 구현에 따른 카메라 및 와이퍼의 배열을 예시한다.
도 4c는 예시적인 구현에 따른 카메라 및 일렉트로크로믹 윈도우(electrochromic window)의 배열을 예시한다.
도 5a는 교통 신호등 근처의 자율-주행 차량을 예시한다.
도 5b는 자율-주행 차량의 이미지 캡처 디바이스의 관점에서 교통 신호등의 세부 사항들을 모호하게 하는 태양광 글레어를 예시한다.
도 6a 및 도 6b는 예시적인 구현에 따른 자율-주행 차량의 이미지 캡처 디바이스가 마주치는 태양광의 정도를 제어하기 위한 와이퍼의 사용을 예시한다.
도 7은 예시적인 구현에 따른 자율-주행 차량의 이미지 캡처 디바이스가 마주치는 태양광의 정도를 제어하기 위한 일렉트로크로믹 디바이스의 사용을 예시한다.
도 8은 예시적인 구현에 따른 방법의 흐름도이다.
도 9는 예시적인 구현에 따른 다른 방법의 흐름도이다.
도 10은 예시적인 구현에 따른 또 다른 방법의 흐름도이다.
도 11은 예시적인 구현에 따른 컴퓨터 프로그램 제품의 개략도이다.
예시적인 방법들 및 시스템들이 본 명세서에서 설명된다. "예시적인"이라는 단어는 본 명세서에서 "예, 사례 또는 예시로서 역할하는"을 의미하는 것으로 사용된다는 것이 이해되어야 한다. 본 명세서에서 "예시적인" 또는 "예시적"으로 설명되는 임의의 구현 또는 피처가 반드시 다른 구현들 또는 피처들보다 바람직하거나 유리한 것으로 해석될 필요는 없다. 도면들에서, 문맥상 달리 지시하지 않는 한, 유사한 심볼들은 통상적으로 유사한 컴포넌트들을 식별한다. 본 명세서에서 설명되는 예시적인 구현들은 제한적인 것으로 의도되지 않는다. 본 명세서에서 일반적으로 설명되고 도면들에 예시된 바와 같은 본 개시내용의 양태들은 매우 다양한 상이한 구성들로 배열, 대체, 결합, 분리 및 설계될 수 있으며, 이들 모두 본 명세서에서 고려된다는 것이 쉽게 이해될 것이다.
I. 개요
차량은 운전자로부터의 입력이 거의 없는 또는 전혀 없는 환경을 통해 차량이 내비게이션하는 자율-주행 모드에서 동작하도록 구성될 수 있다. 이러한 자율-주행 차량은 차량이 동작하는 환경에 관한 정보를 제공하는 이미지 데이터를 생성하도록 구성되는 이미지 캡처 디바이스(예를 들어, 하나 이상의 카메라)를 포함할 수 있다. 차량의 컴퓨팅 시스템은 차량을 자율-주행 모드에서 동작시키기 위한 기초로서 이미지 캡처 디바이스에 의해 생성된 이미지 데이터를 사용할 수 있다.
그러나, 일부 상황들에서, 이미지 캡처 디바이스에 의해 생성된 이미지 데이터의 품질은 이미지 캡처 디바이스가 마주치는 외부 광으로 인해 어떤 방식으로 저하될 수 있다. 예를 들어, 자율-주행 차량이 교통 신호등을 갖는 교차로에서 정지될 때, 이미지 캡처 디바이스는 다른 가능성들 중에서도 과다 노출을 야기하고, 블루밍(blooming)을 야기하고/하거나, 이미지 캡처 디바이스에 의해 캡처되는 이미지들의 해상도를 저하시키기에 충분한 강도의 태양광을 마주칠 수 있다. 결과적으로, 컴퓨팅 시스템은 교통 신호등의 컬러 또는 상태를 결정하기 위해 이러한 이미지들을 사용하는 것이 불가능할 수 있다. 이러한 불가능은 차례로 후속 자율-주행 동작들에 악영향을 미칠 수 있다.
위에서 언급된 문제들을 극복하는 데 도움을 주기 위해 자율-주행 차량의 이미지 캡처 디바이스가 마주치거나 또는 마주칠 것으로 예상되는 외부 광의 정도를 제어하기 위한 방법들 및 시스템들이 본 명세서에 개시된다. 본 개시내용에 따르면, 차량은 이미지 캡처 디바이스가 마주치는 광의 정도를 프로액티브하게 또는 리액티브하게 제어하기 위해 컴퓨팅 시스템에 의해 조정 가능한 광-제어 피처를 포함할 수 있다. 결과적으로, 광-제어 피처는 이미지 캡처 디바이스에 의해 생성된 이미지 데이터의 품질을 향상시키기 위해 효과적으로 사용될 수 있다.
일부 예들에서, 컴퓨팅 시스템은 이미지 캡처 디바이스에 의해 생성된 이미지 데이터의 품질이 이미지 캡처 디바이스가 마주치거나 또는 마주칠 것으로 예상되는 외부 광으로 인해 임계 품질보다 낮거나 또는 낮을 것으로 예상된다고 결정을 내릴 수 있다. 컴퓨팅 시스템은 다양한 방식들로 이러한 결정을 내릴 수 있다. 일례에서, 컴퓨팅 시스템은 이미지 캡처 디바이스에 의해 최근에 캡처된 이미지 데이터를 평가할 수 있고, 그 품질이 외부 광으로 인해 임계값보다 낮다고 결정할 수 있다. 예를 들어, 컴퓨팅 시스템은 이미지 또는 이미지의 일부의 밝기가 임계값보다 높다고 결정할 수 있다. 다른 예에서, 컴퓨팅 시스템은, 차량이 장래의 시간에 주어진 위치에 도착할 때, 이미지 캡처 디바이스의 시야에 대한 태양의 포지션을 추정하기 위해 궤도력 데이터(ephemeris data)를 사용할 수 있다. 이 추정된 태양의 포지션에 기초하여, 컴퓨팅 시스템은 이미지 캡처 디바이스의 관점에서 태양이 이미지 캡처 디바이스의 시야에 위치 결정되어, 종종 이미지 품질을 감소시킬 것으로 예상된다고 예측할 수 있고, 이에 따라 이미지 품질이 장래의 시간에 저하될 것으로 예상된다고 결정할 수 있다.
컴퓨팅 시스템이 상기 언급된 결정을 내리고 나면, 컴퓨팅 시스템은 이에 응답하여 이미지 캡처 디바이스가 마주치거나 또는 마주칠 것으로 예상되는 외부 광의 정도를 제어하기 위해 광-제어 피처에 조정을 행할 수 있다. 일반적으로, 이 조정은 이미지 캡처 디바이스에 의해 생성된 이미지 데이터의 품질이 임계 품질보다 높은 레벨 등으로 증가하게 하는 방식으로 수행될 수 있다. 예를 들어, 이미지 캡처 디바이스에 의해 생성된 이미지 데이터의 품질이 이미 임계 품질보다 낮은 것으로 결정되는 경우, 조정은 이미지 데이터의 품질을 임계 품질보다 낮은 것으로부터 임계 품질보다 높은 것으로 효과적으로 증가시킬 수 있다. 이미지 캡처 디바이스에 의해 생성된 이미지 데이터의 품질이 현재에는 임계값보다 높지만, 장래의 시간에는 임계 품질 아래로 떨어질 것으로 예상되는 경우, 조정은 품질이 임계값 아래로 떨어지는 것을 방지하는 데 도움을 줄 수 있다.
본 개시내용의 양태들을 용이하게 하는 데 도움을 주기 위해, 임의의 실현 가능한 광-제어 피처가 사용될 수 있다. 예를 들어, 광-제어 피처는 이미지 캡처 디바이스를 포함하는 공간의 외부 상에 위치 결정된 와이퍼 블레이드와 같은 와이퍼 블레이드일 수 있다. 특정 예에서, 와이퍼 블레이드는 이미지 캡처 디바이스가 배치되는 반투명 하우징의 외부 부분에 커플링될 수 있다. 그리고, 또 다른 예에서, 이미지 캡처 디바이스는 차량의 내부 부분에(예를 들어, 백미러 뒤 및 차량의 앞 윈드실드에 근접하게) 위치 결정될 수 있고, 와이퍼 블레이드는 차량의 외부 부분 상의 앞 윈드실드에 커플링될 수 있다. 추가적으로 또는 대안적으로, 광-제어 피처는 조정 가능한 광 투과 특성들을 갖는 광-제어 디바이스(예를 들어, 일렉트로크로믹 디바이스)일 수 있고, 이미지 캡처 디바이스는 해당 광-제어 디바이스를 통해(예를 들어, 일렉트로크로믹 윈도우를 통해) 환경의 이미지들을 획득할 수 있다.
따라서, 광-제어 피처가 와이퍼인 경우, 컴퓨팅 시스템은 이미지 캡처 디바이스가 마주치는 외부 광의 정도를 제어하기 위해 이미지 캡처 디바이스 및 외부 광을 발생시키는 광원에 대한 와이퍼의 포지션을 조정할 수 있다. 예를 들어, 컴퓨팅 시스템은 와이퍼가 이미지 캡처 디바이스가 마주치는 태양광의 적어도 일부를 차단할 때까지 이미지 캡처 디바이스의 시야를 가로 질러 와이퍼를 증분적으로 이동시킬 수 있어, 글레어를 감소시키고, 생성되는 이미지 데이터의 품질을 향상시킬 수 있다. 그리고, 광-제어 피처가 광-제어 디바이스인 경우, 컴퓨팅 시스템은 이미지 캡처 디바이스가 마주치는 외부 광의 정도를 제어하기 위해 광-제어 디바이스의 광 투과 특성들을 조정할 수 있다. 예를 들어, 컴퓨팅 시스템은 이미지 캡처 디바이스가 마주치는 광의 정도를 감소시키기 위해 일렉트로크로믹 윈도우의 투과율을 감소시킬 수 있고, 이에 의해 글레어 또한 감소시키고, 생성되는 이미지 데이터의 품질을 향상시킬 수 있다. 다른 예들도 가능하다.
II. 예시적인 차량 시스템들 및 동작들
본 개시내용의 범위 내에 있는 예시적인 시스템들이 이제 보다 상세하게 설명될 것이다. 예시적인 시스템은 자동차에서 구현될 수도 있고 또는 그 형태를 취할 수도 있다. 그러나, 예시적인 시스템은 또한 자동차들, 트럭들, 오토바이들, 버스들, 보트들, 비행기들, 헬리콥터들, 잔디 깎는 기계들, 토공 기계들, 보트들, 스노우 모바일들, 항공기, 레저용 차량들, 놀이 공원 차량들, 농기구, 건설 장비, 트램들, 골프 카트들, 기차들, 트롤리들 및 로봇 디바이스들과 같은 다른 차량들에서 구현될 수도 있고, 또는 그 형태를 취할 수도 있다. 다른 차량들도 가능하다.
이제 도면들을 참조하면, 도 1은 자율-주행 모드에서 전체적으로 또는 부분적으로 동작하도록 구성될 수 있는 예시적인 차량(100)을 예시하는 기능 블록도이다. 보다 구체적으로, 차량(100)은 컴퓨팅 시스템으로부터 제어 지시들을 수신하는 것을 통해 인간 상호 작용 없이 자율-주행 모드에서 동작할 수 있다. 자율-주행 모드에서 동작하는 것의 일부로서, 차량(100)은 안전한 내비게이션을 가능하게 하도록 주변 환경의 객체들을 검출하고 가능하게는 식별하기 위해 센서들을 사용할 수 있다. 일부 구현들에서, 차량(100)은 또한 운전자가 차량(100)의 동작들을 제어할 수 있게 하는 서브시스템들을 포함할 수 있다.
도 1에 도시된 바와 같이, 차량(100)은 추진 시스템(102), 센서 시스템(104), 제어 시스템(106), 하나 이상의 주변 장치(108), 전원(110), 컴퓨터 시스템(112)(컴퓨팅 시스템이라고도 지칭될 수 있음), 데이터 스토리지(114) 및 사용자 인터페이스(116)와 같은 다양한 서브시스템들을 포함할 수 있다. 다른 예들에서, 차량(100)은 각각 다수의 엘리먼트들을 포함할 수 있는 더 많거나 더 적은 서브시스템들을 포함할 수 있다. 차량(100)의 서브시스템들 및 컴포넌트들은 다양한 방식들로 상호 연결될 수 있다. 또한, 본 명세서에서 설명되는 차량(100)의 기능들은 추가적인 기능적 또는 물리적 컴포넌트들로 분할될 수도 있고, 또는 구현들 내에서 더 적은 기능적 또는 물리적 컴포넌트들로 결합될 수도 있다. 예를 들어, 제어 시스템(106) 및 컴퓨터 시스템(112)은 다양한 동작들에 따라 차량(100)을 동작시키는 단일 시스템으로 결합될 수 있다.
추진 시스템(102)은 차량(100)에 전력 모션을 제공하도록 동작 가능한 하나 이상의 컴포넌트를 포함할 수 있고, 다른 가능한 컴포넌트들 중에서도 엔진/모터(118), 에너지 소스(119), 변속기(120) 및 휠들/타이어들(121)을 포함할 수 있다. 예를 들어, 엔진/모터(118)는 에너지 소스(119)를 기계적 에너지로 변환하도록 구성될 수 있고, 다른 가능한 옵션들 중에서도 내연 엔진, 전기 모터, 증기 엔진 또는 스털링 엔진 중 하나 또는 이들의 조합에 대응할 수 있다. 예를 들어, 일부 구현들에서, 추진 시스템(102)은 가솔린 엔진 및 전기 모터와 같은 다수의 타입들의 엔진들 및/또는 모터들을 포함할 수 있다.
에너지 소스(119)는 차량(100)의 하나 이상의 시스템(예를 들어, 엔진/모터(118))에 전체적으로 또는 부분적으로 전력을 공급할 수 있는 에너지 소스를 나타낸다. 예를 들어, 에너지 소스(119)는 가솔린, 디젤, 기타 석유계 연료들, 프로판, 기타 압축 가스계 연료, 에탄올, 태양 전지판들, 배터리들 및/또는 다른 전력 소스들에 대응할 수 있다. 일부 구현들에서, 에너지 소스(119)는 연료 탱크들, 배터리들, 캐패시터들 및/또는 플라이휠들의 조합을 포함할 수 있다.
변속기(120)는 엔진/모터(118)로부터 휠들/타이어들(121) 및/또는 차량(100)의 다른 가능한 시스템들로 기계적 동력을 전달할 수 있다. 이와 같이, 변속기(120)는 다른 가능한 컴포넌트들 중에서도 기어박스, 클러치, 차동 장치 및 구동 샤프트를 포함할 수 있다. 구동 샤프트는 하나 이상의 휠/타이어(121)에 연결되는 차축들을 포함할 수 있다.
차량(100)의 휠들/타이어들(121)은 예시적인 구현들 내에서 다양한 구성들을 가질 수 있다. 예를 들어, 차량(100)은 다른 가능한 구성들 중에서도 외발 자전거, 자전거/오토바이, 삼륜차 또는 자동차/트럭의 4륜 포맷으로 존재할 수 있다. 이와 같이, 휠들/타이어들(121)은 다양한 방식들로 차량(100)에 연결될 수 있고, 금속 및 고무와 같은 상이한 재료들로 존재할 수 있다.
센서 시스템(104)은 다른 가능한 센서들 중에서도 글로벌 위치결정 시스템(Global Positioning System)(GPS)(122), 관성 측정 유닛(inertial measurement unit)(IMU)(124), 레이더(126), 레이저 거리 측정기/LIDAR(128), 카메라(130), 스티어링 센서(123) 및 스로틀/브레이크 센서(125)와 같은 다양한 타입들의 센서들을 포함할 수 있다. 일부 구현들에서, 센서 시스템(104)은 또한 차량(100)의 내부 시스템들(예를 들어, O2 모니터, 연료 게이지, 엔진 오일 온도, 브레이크 마모)을 모니터링하도록 구성되는 센서들을 포함할 수 있다.
GPS(122)는 지구에 대한 차량(100)의 포지션에 관한 정보를 제공하도록 동작 가능한 송수신기를 포함할 수 있다. IMU(124)는 하나 이상의 가속도계 및/또는 자이로스코프를 사용하는 구성을 가질 수 있고, 관성 가속도에 기초하여 차량(100)의 포지션 및 방위 변화들을 감지할 수 있다. 예를 들어, IMU(124)는 차량(100)이 정지되거나 움직이고 있는 동안 차량(100)의 피치 및 요(yaw)를 검출할 수 있다.
레이더(126)는 차량(100)의 로컬 환경 내에서 객체들의 스피드 및 가는 방향을 포함하여 객체들을 감지하기 위해 라디오 신호들을 사용하도록 구성되는 하나 이상의 시스템을 나타낼 수 있다. 따라서, 레이더(126)는 라디오 신호들을 송신 및 수신하도록 구성되는 안테나들을 포함할 수 있다. 일부 구현들에서, 레이더(126)는 차량(100)의 주변 환경의 측정치들을 획득하도록 구성되는 마운팅 가능형 레이더 시스템에 대응할 수 있다.
레이저 거리 측정기/LIDAR(128)는 다른 시스템 컴포넌트들 중에서도 하나 이상의 레이저 소스, 레이저 스캐너 및 하나 이상의 검출기를 포함할 수 있고, 코히어런트 모드(예를 들어, 헤테로다인 검출 사용) 또는 비코히어런트 검출 모드에서 동작할 수 있다. 카메라(130)는 차량(100)의 환경의 이미지들을 캡처하도록 구성되는 하나 이상의 디바이스(예를 들어, 스틸 카메라 또는 비디오 카메라)를 포함할 수 있다.
스티어링 센서(123)는 차량(100)의 스티어링 각도를 감지할 수 있고, 이는 스티어링 휠의 각도를 측정하거나 또는 스티어링 휠의 각도를 나타내는 전기 신호를 측정하는 것을 포함할 수 있다. 일부 구현들에서, 스티어링 센서(123)는 차량(100)의 전방 축에 대한 휠들의 각도를 검출하는 것과 같이 차량(100)의 휠들의 각도를 측정할 수 있다. 스티어링 센서(123)는 또한 스티어링 휠의 각도, 스티어링 휠의 각도를 나타내는 전기 신호, 및 차량(100)의 휠들의 각도의 조합(또는 서브세트)을 측정하도록 구성될 수 있다.
스로틀/브레이크 센서(125)는 차량(100)의 스로틀 포지션 또는 브레이크 포지션 중 어느 것의 포지션을 검출할 수 있다. 예를 들어, 스로틀/브레이크 센서(125)는 가스 페달(스로틀) 및 브레이크 페달 모두의 각도를 측정할 수도 있고, 또는, 예를 들어, 가스 페달(스로틀)의 각도 및/또는 브레이크 페달의 각도를 나타낼 수 있는 전기 신호를 측정할 수도 있다. 스로틀/브레이크 센서(125)는 또한 차량(100)의 스로틀 본체의 각도를 측정할 수도 있고, 이는 엔진/모터(118)(예를 들어, 버터 플라이 밸브 또는 기화기)에 에너지 소스(119)의 변조를 제공하는 물리적 메커니즘의 일부를 포함할 수 있다. 또한, 스로틀/브레이크 센서(125)는 차량(100)의 로우터에 대한 하나 이상의 브레이크 패드의 압력 또는 가스 페달(스로틀) 및 브레이크 페달의 각도의 조합(또는 서브세트), 가스 페달(스로틀) 및 브레이크 페달의 각도를 나타내는 전기 신호, 스로틀 본체의 각도, 및 적어도 하나의 브레이크 패드가 차량(100)의 로우터에 인가하고 있는 압력을 측정할 수 있다. 다른 구현들에서, 스로틀/브레이크 센서(125)는 스로틀 또는 브레이크 페달과 같은 차량의 페달에 인가되는 압력을 측정하도록 구성될 수 있다.
제어 시스템(106)은 스티어링 유닛(132), 스로틀(134), 브레이크 유닛(136), 센서 융합 알고리즘(138), 컴퓨터 비전 시스템(140), 내비게이션/경로 시스템(142), 및 장애물 회피 시스템(144)과 같이 차량(100)의 내비게이션에 도움을 주도록 구성되는 컴포넌트들을 포함할 수 있다. 보다 구체적으로, 스티어링 유닛(132)은 차량(100)의 가는 방향을 조정하도록 동작 가능할 수 있고, 스로틀(134)은 차량(100)의 가속도를 제어하기 위해 엔진/모터(118)의 동작 스피드를 제어할 수 있다. 브레이크 유닛(136)은 차량(100)을 감속시킬 수 있고, 이는 휠들/타이어들(121)을 감속시키기 위해 마찰을 사용하는 것을 포함할 수 있다. 일부 구현들에서, 브레이크 유닛(136)은 차량(100)의 시스템 또는 시스템들에 의한 후속 사용을 위해 휠들/타이어들(121)의 운동 에너지를 전류로 변환할 수 있다.
센서 융합 알고리즘(138)은 칼만 필터(Kalman filter), 베이지안 네트워크(Bayesian network), 또는 센서 시스템(104)으로부터의 데이터를 프로세싱할 수 있는 다른 알고리즘들을 포함할 수 있다. 일부 구현들에서, 센서 융합 알고리즘(138)은 개별 객체들 및/또는 피처들의 평가들, 특정 상황의 평가들, 및/또는 주어진 상황 내에서의 잠재적인 영향들의 평가들과 같이 입력 센서 데이터에 기초한 평가들을 제공할 수 있다.
컴퓨터 비전 시스템(140)은 객체들, 환경 객체들(예를 들어, 정지등들, 도로 경계들 등) 및 장애물들을 결정하기 위한 노력으로 이미지들을 프로세싱 및 분석하도록 동작 가능한 하드웨어 및 소프트웨어를 포함할 수 있다. 따라서, 컴퓨터 비전 시스템(140)은, 예를 들어, 객체들을 인식하고, 환경을 매핑하고, 객체들을 추적하고, 객체들의 스피드를 추정하는 등을 위해 객체 인식, SFM(Structure From Motion), 비디오 추적, 및 컴퓨터 비전에서 사용되는 다른 알고리즘들을 사용할 수 있다.
내비게이션/경로 시스템(142)은 차량(100)에 대한 주행 경로를 결정할 수 있고, 이는 동작 동안 내비게이션을 동적으로 조정하는 것을 포함할 수 있다. 이와 같이, 내비게이션/경로 시스템(142)은 차량(100)을 내비게이션하기 위해 다른 소스들 중에서도 센서 융합 알고리즘(138), GPS(122) 및 맵들로부터의 데이터를 사용할 수 있다. 장애물 회피 시스템(144)은 센서 데이터에 기초하여 잠재적 장애물들을 평가하고, 차량(100)의 시스템들로 하여금 잠재적 장애물들을 피하거나 또는 다른 방식으로 빠져나가게 할 수 있다.
도 1에 도시된 바와 같이, 차량(100)은 또한 무선 통신 시스템(146), 터치 스크린(148), 마이크로폰(150) 및/또는 스피커(152)와 같은 주변 장치(108)들을 포함할 수 있다. 주변 장치들(108)은 사용자가 사용자 인터페이스(116)와 상호 작용하기 위한 컨트롤들 또는 다른 엘리먼트들을 제공할 수 있다. 예를 들어, 터치 스크린(148)은 차량(100)의 사용자들에게 정보를 제공할 수 있다. 사용자 인터페이스(116)는 또한 터치 스크린(148)을 통해 사용자로부터의 입력을 수용할 수 있다. 주변 장치들(108)은 또한 차량(100)이 다른 차량 디바이스들과 같은 디바이스들과 통신할 수 있게 할 수 있다.
무선 통신 시스템(146)은 직접적으로 또는 통신 네트워크를 통해 하나 이상의 디바이스와 무선으로 통신할 수 있다. 예를 들어, 무선 통신 시스템(146)은 CDMA, EVDO, GSM/GPRS, 또는 WiMAX 또는 LTE와 같은 4G 셀룰러 통신과 같은 3G 셀룰러 통신을 사용할 수 있다. 대안적으로, 무선 통신 시스템(146)은 WiFi 또는 다른 가능한 연결들을 사용하여 무선 근거리 네트워크(wireless local area network)(WLAN)와 통신할 수 있다. 무선 통신 시스템(146)은 또한, 예를 들어, 적외선 링크, 블루투스 또는 지그비를 사용하여 디바이스와 직접 통신할 수 있다. 다양한 차량 통신 시스템들과 같은 다른 무선 프로토콜들도 본 개시내용의 맥락 내에서 가능하다. 예를 들어, 무선 통신 시스템(146)은 차량들 및/또는 도로변 통신 기기(roadside station)들 사이의 공공 및/또는 개인 데이터 통신을 포함할 수 있는 하나 이상의 전용 단거리 통신(dedicated short-range communications)(DSRC) 디바이스를 포함할 수 있다.
차량(100)은 컴포넌트들에 전력을 공급하기 위한 전원(110)을 포함할 수 있다. 전원(110)은 일부 구현들에서 재충전 가능한 리튬-이온 또는 납-산 배터리를 포함할 수 있다. 예를 들어, 전원(110)은 전력을 제공하도록 구성되는 하나 이상의 배터리를 포함할 수 있다. 차량(100)은 또한 다른 타입들의 전원들을 사용할 수 있다. 예시적인 구현에서, 전원(110) 및 에너지 소스(119)는 단일 에너지 소스로 통합될 수 있다.
차량(100)은 또한 본 명세서에서 설명되는 동작들과 같은 동작들을 수행하기 위한 컴퓨터 시스템(112)을 포함할 수 있다. 따라서, 컴퓨터 시스템(112)은 데이터 스토리지(114)와 같은 비-일시적 컴퓨터 판독 가능 매체에 저장된 명령어들(115)을 실행하도록 동작 가능한 적어도 하나의 프로세서(113)(이는 적어도 하나의 마이크로프로세서를 포함할 수 있음)를 포함할 수 있다. 일부 구현들에서, 컴퓨터 시스템(112)은 분산 방식으로 차량(100)의 개별 컴포넌트들 또는 서브시스템들을 제어하는 역할을 할 수 있는 복수의 컴퓨팅 디바이스들을 나타낼 수 있다.
일부 구현들에서, 데이터 스토리지(114)는 도 1과 관련하여 위에서 설명된 것들을 포함하여 차량(100)의 다양한 기능들을 실행하기 위해 프로세서(113)에 의해 실행 가능한 명령어들(115)(예를 들어, 프로그램 로직)을 포함할 수 있다. 데이터 스토리지(114)는 추진 시스템(102), 센서 시스템(104), 제어 시스템(106) 및 주변 장치들(108) 중 하나 이상으로 데이터를 송신하고, 이들로부터 데이터를 수신하고, 이들과 상호 작용하고/하거나 이들을 제어하기 위한 명령어들뿐만 아니라 추가 명령어들도 포함할 수 있다.
명령어들(115)에 더하여, 데이터 스토리지(114)는 다른 정보 중에서도 도로 맵들, 경로 정보와 같은 데이터를 저장할 수 있다. 이러한 정보는 자율-주행, 반자율-주행 및/또는 수동-주행 모드들에서의 차량(100)의 동작 동안 차량(100) 및 컴퓨터 시스템(112)에 의해 사용될 수 있다.
차량(100)은 차량(100)의 사용자에게 정보를 제공하거나 또는 이로부터 입력을 수신하기 위한 사용자 인터페이스(116)를 포함할 수 있다. 사용자 인터페이스(116)는 터치 스크린(148) 상에 디스플레이될 수 있는 상호 작용형 이미지들의 컨텐츠 및/또는 레이아웃을 제어하거나 또는 이들의 제어를 가능하게 할 수 있다. 또한, 사용자 인터페이스(116)는 무선 통신 시스템(146), 터치 스크린(148), 마이크로폰(150) 및 스피커(152)와 같은 주변 장치들(108)의 세트 내에 하나 이상의 입력/출력 디바이스를 포함할 수 있다.
컴퓨터 시스템(112)은 다양한 서브시스템들(예를 들어, 추진 시스템(102), 센서 시스템(104) 및 제어 시스템(106))뿐만 아니라 사용자 인터페이스(116)로부터 수신된 입력들에 기초하여 차량(100)의 기능을 제어할 수 있다. 예를 들어, 컴퓨터 시스템(112)은 추진 시스템(102) 및 제어 시스템(106)에 의해 생성된 출력을 추정하기 위해 센서 시스템(104)으로부터의 입력을 활용할 수 있다. 구현에 따라, 컴퓨터 시스템(112)은 차량(100) 및 그 서브시스템들의 많은 양태들을 모니터링하도록 동작 가능할 수 있다. 일부 구현들에서, 컴퓨터 시스템(112)은 센서 시스템(104)으로부터 수신된 신호들에 기초하여 차량(100)의 일부 또는 모든 기능들을 디스에이블할 수 있다.
차량(100)의 컴포넌트들은 그들 각각의 시스템들 내부 또는 외부의 다른 컴포넌트들과 상호 연결된 방식으로 동작하도록 구성될 수 있다. 예를 들어, 예시적인 구현에서, 카메라(130)는 자율-주행 모드에서 동작하는 차량(100)의 환경의 상태에 관한 정보를 나타낼 수 있는 복수의 이미지들을 캡처할 수 있다. 환경의 상태는 차량이 동작하고 있는 도로의 파라미터들을 포함할 수 있다. 예를 들어, 컴퓨터 비전 시스템(140)은 도로의 복수의 이미지들에 기초하여 경사(등급) 또는 다른 피처들을 인식 가능할 수 있다. 또한, GPS(122)와 컴퓨터 비전 시스템(140)에 의해 인식된 피처들의 조합이 특정 도로 파라미터들을 결정하기 위해 데이터 스토리지(114)에 저장된 맵 데이터와 함께 사용될 수 있다. 또한, 레이더 유닛(126)은 차량의 주변에 관한 정보를 제공할 수도 있다.
다시 말해서, 다양한 센서들(입력-표시 및 출력-표시 센서들로 명명될 수 있음)과 컴퓨터 시스템(112)의 조합은 차량을 제어하기 위해 제공된 입력의 표시 또는 차량 주변의 표시를 제공하기 위해 상호 작용할 수 있다.
일부 구현들에서, 컴퓨터 시스템(112)은 라디오 시스템 이외의 시스템들에 의해 제공되는 데이터에 기초하여 다양한 객체들에 관한 결정을 내릴 수 있다. 예를 들어, 차량(100)은 차량의 시야 내의 객체들을 감지하도록 구성되는 레이저 또는 다른 광학 센서들을 가질 수 있다. 컴퓨터 시스템(112)은 차량의 시야 내의 객체들에 관한 정보를 결정하기 위해 다양한 센서들로부터의 출력들을 사용할 수 있고, 다양한 객체들에 대한 거리 및 방향 정보를 결정할 수 있다. 컴퓨터 시스템(112)은 또한 다양한 센서들로부터의 출력들에 기초하여 객체들이 바람직한지 또는 바람직하지 않은지를 결정할 수 있다.
도 1은 차량(100)의 다양한 컴포넌트들, 즉, 무선 통신 시스템(146), 컴퓨터 시스템(112), 데이터 스토리지(114) 및 사용자 인터페이스(116)를 차량(100)에 통합되어 있는 것으로 도시하지만, 이들 컴포넌트들 중 하나 이상은 차량(100)과 별개로 마운팅되거나 연관될 수 있다. 예를 들어, 데이터 스토리지(114)는 부분적으로 또는 전체적으로 차량(100)과 별개로 존재할 수 있다. 따라서, 차량(100)은 별개로 또는 함께 위치될 수 있는 디바이스 엘리먼트들의 형태로 제공될 수 있다. 차량(100)을 구성하는 디바이스 엘리먼트들은 유선 및/또는 무선 방식으로 통신 가능하게 함께 커플링될 수 있다.
도 2는 도 1을 참조하여 설명된 차량(100)의 하나의 가능한 물리적 구성을 나타낼 수 있는 차량(200)의 예시적인 물리적 구성을 도시한다. 구현에 따르면, 차량(200)은 다른 가능한 컴포넌트들 중에서도 센서 유닛(202), 무선 통신 시스템(204), 라디오 유닛(206), 디플렉터들(208) 및 카메라(210)를 포함할 수 있다. 예를 들어, 차량(200)은 도 1에서 설명된 컴포넌트들의 엘리먼트들 중 일부 또는 전부를 포함할 수 있다. 차량(200)은 도 2에 자동차로서 도시되어 있지만, 차량(200)은 다른 가능한 예들 중에서도 트럭, 밴, 세미-트레일러 트럭, 오토바이, 골프 카트, 오프-로드 차량 또는 농장 차량과 같이 예들 내의 다른 구성들을 가질 수 있다.
센서 유닛(202)은 차량(200)의 주변 환경의 정보를 캡처하도록 구성되는 하나 이상의 센서를 포함할 수 있다. 예를 들어, 센서 유닛(202)은 다른 가능한 타입들의 센서들 중에서도 카메라들, 레이더들, LIDAR들, 거리 측정기들, 라디오 디바이스들(예를 들어, 블루투스 및/또는 802.11) 및 음향 센서들의 임의의 조합을 포함할 수 있다. 일부 구현들에서, 센서 유닛(202)은 센서 유닛(202)에서의 센서들의 방위를 조정하도록 동작 가능한 하나 이상의 이동식 마운트를 포함할 수 있다. 예를 들어, 이동식 마운트는 차량(200) 주위의 각각의 방향으로부터 정보를 획득하기 위해 센서들을 스캔할 수 있는 회전 플랫폼을 포함할 수 있다. 센서 유닛(202)의 이동식 마운트는 또한 특정 범위의 각도들 및/또는 방위각들 내에서 스캐닝 방식으로 이동 가능할 수 있다.
일부 구현들에서, 센서 유닛(202)은 센서 유닛(202)이 자동차의 지붕 상부에 마운팅될 수 있게 하는 기계적 구조물들을 포함할 수 있다. 또한, 다른 마운팅 위치들도 예들 내에서 가능하다.
무선 통신 시스템(204)은 도 2에 도시된 바와 같이 차량(200)에 대한 위치를 가질 수 있지만, 구현들 내에서 상이한 위치들을 가질 수도 있다. 무선 통신 시스템(200)은 다른 외부 또는 내부 디바이스들과 통신할 수 있는 하나 이상의 무선 송신기 및 하나 이상의 수신기를 포함할 수 있다. 예를 들어, 무선 통신 시스템(204)은 다른 가능한 엔티티들 중에서도 사용자의 디바이스, 다른 차량들 및 도로 엘리먼트들(예를 들어, 표지판들, 교통 신호등들)과 통신하기 위한 하나 이상의 송수신기를 포함할 수 있다. 이와 같이, 차량(200)은 전용 단거리 통신(DSRC), 라디오 주파수 식별(radio frequency identification)(RFID), 및 지능형 전송 시스템들을 향해 지향되는 다른 제안된 통신 표준들과 같이 통신을 용이하게 하기 위한 하나 이상의 차량 통신 시스템을 포함할 수 있다.
카메라(210)는 차량(200)의 앞 윈드실드 상의 위치와 같은 차량(200)에 대한 다양한 포지션들을 가질 수 있다. 따라서, 카메라(210)는 차량(200)의 환경의 이미지들을 캡처할 수 있다. 도 2에 예시된 바와 같이, 카메라(210)는 차량(200)에 대한 전방-관측(정면-주시) 뷰로부터 이미지들을 캡처할 수 있지만, 카메라(210)의 다른 마운팅 위치들(이동식 마운트들 포함) 및 시야각들도 구현들 내에서 가능하다. 예를 들어, 카메라(210)는 카메라가 차량(200)의 윈드실드를 통해 차량(200)의 환경의 이미지들을 캡처하도록 차량 내에 위치 결정될 수 있다.
일부 예들에서, 카메라(210)는 하나 이상의 가시광 카메라에 대응할 수 있다. 대안적으로 또는 추가적으로, 카메라(210)는 적외선 감지 능력들을 포함할 수 있다. 카메라(210)는 또한 조정 가능한 시야를 제공할 수 있는 광학기들을 포함할 수 있다. 다른 예들도 가능하다.
도 3은 예시적인 구현에 따른 자율-주행 차량과 관련된 다양한 컴퓨팅 시스템들 간의 무선 통신의 개념도이다. 특히, 무선 통신은 네트워크(304)를 통해 원격 컴퓨팅 시스템(302)과 차량(200) 사이에서 발생할 수 있다. 무선 통신은 또한 서버 컴퓨팅 시스템(306)과 원격 컴퓨팅 시스템(302) 사이, 및 서버 컴퓨팅 시스템(306)과 차량(200) 사이에서 발생할 수 있다.
차량(200)은 위치들 사이에서 승객들 또는 객체들을 운송할 수 있는 다양한 타입들의 차량들에 대응할 수 있고, 위에서 논의된 차량들 중 임의의 하나 이상의 것의 형태를 취할 수 있다. 일부 예들에서, 차량(200)은 제어 시스템이 센서 측정치들을 사용하여 목적지들 사이에서 차량(200)을 안전하게 내비게이션할 수 있게 하는 자율-주행 모드에서 동작할 수 있다. 자율-주행 모드에서 동작할 때, 차량(200)은 승객들의 유무에 관계없이 내비게이션할 수 있다. 결과적으로, 차량(200)은 원하는 목적지들 사이에서 승객들을 픽업 및 드롭할 수 있다.
원격 컴퓨팅 시스템(302)은 본 명세서에서 설명된 것들을 포함하되, 이에 제한되지 않는 원격 지원 기술들과 관련된 임의의 타입의 디바이스를 나타낼 수 있다. 예들 내에서, 원격 컴퓨팅 시스템(302)은 (i) 차량(200)과 관련된 정보를 수신하고, (ii) 인간 오퍼레이터가 차례로 정보를 인식하고 정보와 관련된 응답을 입력할 수 있는 인터페이스를 제공하고, (iii) 차량(200) 또는 다른 디바이스들에 응답을 송신하도록 구성되는 임의의 타입의 디바이스를 나타낼 수 있다. 원격 컴퓨팅 시스템(302)은 워크 스테이션, 데스크탑 컴퓨터, 랩탑, 태블릿, 모바일폰(예를 들어, 스마트폰) 및/또는 서버와 같은 다양한 형태들을 취할 수 있다. 일부 예들에서, 원격 컴퓨팅 시스템(302)은 네트워크 구성에서 함께 동작하는 다수의 컴퓨팅 디바이스들을 포함할 수 있다.
원격 컴퓨팅 시스템(302)은 차량(200)의 서브시스템들 및 컴포넌트들과 유사하거나 동일한 하나 이상의 서브시스템 및 컴포넌트를 포함할 수 있다. 최소한, 원격 컴퓨팅 시스템(302)은 본 명세서에서 설명되는 다양한 동작들을 수행하도록 구성되는 프로세서를 포함할 수 있다. 일부 구현들에서, 원격 컴퓨팅 시스템(302)은 또한 터치 스크린 및 스피커와 같은 입력/출력 디바이스들을 포함하는 사용자 인터페이스를 포함할 수 있다. 다른 예들도 가능하다.
네트워크(304)는 원격 컴퓨팅 시스템(302)과 차량(200) 사이의 무선 통신을 가능하게 하는 인프라스트럭처를 나타낸다. 네트워크(304)는 또한 서버 컴퓨팅 시스템(306)과 원격 컴퓨팅 시스템(302) 사이, 및 서버 컴퓨팅 시스템(306)과 차량(200) 사이의 무선 통신을 가능하게 한다.
원격 컴퓨팅 시스템(302)의 포지션은 예들 내에서 변할 수 있다. 예를 들어, 원격 컴퓨팅 시스템(302)은 네트워크(304)를 통한 무선 통신을 갖는 차량(200)으로부터의 원격 포지션을 가질 수 있다. 다른 예에서, 원격 컴퓨팅 시스템(302)은 차량(200)과는 별개이지만, 이에 의해 인간 오퍼레이터가 차량(200)의 승객 또는 운전자와 상호 작용할 수 있는 차량(200) 내의 컴퓨팅 디바이스에 대응할 수 있다. 일부 예들에서, 원격 컴퓨팅 시스템(302)은 차량(200)의 승객에 의해 동작 가능한 터치 스크린을 갖는 컴퓨팅 디바이스일 수 있다.
일부 구현들에서, 원격 컴퓨팅 시스템(302)에 의해 수행되는 본 명세서에서 설명되는 동작들은 차량(200)에 의해(즉, 차량(200)의 임의의 시스템(들) 또는 서브시스템(들)에 의해) 추가적으로 또는 대안적으로 수행될 수 있다. 다시 말해서, 차량(200)은 차량의 운전자 또는 승객이 상호 작용할 수 있는 원격 지원 메커니즘을 제공하도록 구성될 수 있다.
서버 컴퓨팅 시스템(306)은 네트워크(304)를 통해 원격 컴퓨팅 시스템(302) 및 차량(200)과 무선으로 (또는 아마도 원격 컴퓨팅 시스템(302) 및/또는 차량(200)과 직접적으로) 통신하도록 구성될 수 있다. 서버 컴퓨팅 시스템(306)은 차량(200) 및 그 원격 지원에 관한 정보를 수신, 저장, 결정 및/또는 전송하도록 구성되는 임의의 컴퓨팅 디바이스를 나타낼 수 있다. 따라서, 서버 컴퓨팅 시스템(306)은 원격 컴퓨팅 시스템(302) 및/또는 차량(200)에 의해 수행되는 것으로 본 명세서에서 설명되는 임의의 동작(들) 또는 이러한 동작(들)의 일부들을 수행하도록 구성될 수 있다. 원격 지원과 관련된 무선 통신의 일부 구현들은 서버 컴퓨팅 시스템(306)을 활용할 수 있지만, 다른 것들은 그렇지 않을 수 있다.
서버 컴퓨팅 시스템(306)은 본 명세서에서 설명되는 다양한 동작들을 수행하도록 구성되는 프로세서, 및 원격 컴퓨팅 시스템(302) 및 차량(200)으로부터 정보를 수신하고 이에 정보를 제공하기 위한 무선 통신 인터페이스와 같이, 원격 컴퓨팅 시스템(302) 및/또는 차량(200)의 서브시스템들 및 컴포넌트들과 유사하거나 동일한 하나 이상의 서브시스템 및 컴포넌트를 포함할 수 있다.
위에서 설명된 다양한 시스템들은 다양한 동작들을 수행할 수 있다. 이러한 동작들 및 관련 피처들이 이제 설명될 것이다.
상기 논의에 따라, 컴퓨팅 시스템(예를 들어, 원격 컴퓨팅 시스템(302), 또는 아마도 서버 컴퓨팅 시스템(306), 또는 차량(200)에 로컬인 컴퓨팅 시스템)은 자율-주행 차량의 환경의 이미지들을 캡처하기 위해 카메라를 사용하도록 동작할 수 있다. 일반적으로, 적어도 하나의 컴퓨팅 시스템은 이미지들을 분석하고, 가능하게는 자율-주행 차량을 제어할 수 있을 것이다.
일부 구현들에서, 자율-주행 동작을 용이하게 하기 위해, 차량(예를 들어, 차량(200))은 차량이 동작하는 환경 내의 객체들을 나타내는 데이터(본 명세서에서는, "환경 데이터"로도 지칭됨)를 다양한 방식들로 수신할 수 있다. 차량 상의 센서 시스템은 환경의 객체들을 나타내는 환경 데이터를 제공할 수 있다. 예를 들어, 차량은 카메라, 레이더 유닛, 레이저 거리 측정기, 마이크로폰, 라디오 유닛 및 기타 센서들을 포함하는 다양한 센서들을 가질 수 있다. 이들 센서들 각각은 각각의 개별 센서가 수신하는 정보에 관해 환경 데이터를 차량의 프로세서로 통신할 수 있다.
일례에서, 카메라는 정지 이미지들 및/또는 비디오를 캡처하도록 구성될 수 있다. 일부 구현들에서, 차량은 상이한 방위들로 위치 결정된 2개 이상의 카메라를 가질 수 있다. 또한, 일부 구현들에서, 카메라는 상이한 방향들에서 이미지들 및/또는 비디오를 캡처하도록 이동 가능할 수 있다. 카메라는 차량의 프로세싱 시스템에 의한 추후 프로세싱을 위해 캡처된 이미지들 및 비디오를 메모리에 저장하도록 구성될 수 있다. 캡처된 이미지들 및/또는 비디오는 환경 데이터일 수 있다. 또한, 카메라는 본 명세서에서 설명된 이미지 센서를 포함할 수 있다.
다른 예에서, 레이더 유닛은 차량 근처의 다양한 객체들에 의해 반사될 전자기 신호를 송신한 다음, 객체들에서 반사되는 전자기 신호들을 캡처하도록 구성될 수 있다. 캡처된 반사된 전자기 신호들은 레이더 시스템(또는 프로세싱 시스템)이 전자기 신호를 반사한 객체들에 관한 다양한 결정들을 내리게 할 수 있다. 예를 들어, 다양한 반사 객체들까지의 거리 및 포지션이 결정될 수 있다. 일부 구현들에서, 차량은 상이한 방위들에서 2개 이상의 레이더를 가질 수 있다. 레이더 시스템은 차량의 프로세싱 시스템에 의한 추후 프로세싱을 위해 캡처된 정보를 메모리에 저장하도록 구성될 수 있다. 레이더 시스템에 의해 캡처된 정보는 환경 데이터일 수 있다.
다른 예에서, 레이저 거리 측정기는 차량 근처의 타겟 객체들에 의해 반사될 전자기 신호(예를 들어, 가스 또는 다이오드 레이저 또는 다른 가능한 광원으로부터의 것과 같은 광)를 송신하도록 구성될 수 있다. 레이저 거리 측정기는 반사된 전자기(예를 들어, 레이저) 신호들을 캡처 가능할 수 있다. 캡처된 반사된 전자기 신호들은 거리-측정 시스템(또는 프로세싱 시스템)이 다양한 객체들에 대한 거리를 결정할 수 있게 한다. 거리-측정 시스템은 또한 타겟 객체들의 속도 또는 스피드를 결정하고, 이를 환경 데이터로서 저장 가능할 수 있다.
또한, 예에서, 마이크로폰은 차량을 둘러싼 환경의 오디오를 캡처하도록 구성될 수 있다. 마이크로폰에 의해 캡처된 사운드들은 긴급 차량 사이렌들 및 다른 차량들의 사운드들을 포함할 수 있다. 예를 들어, 마이크로폰은 긴급 차량의 사이렌의 사운드를 캡처할 수 있다. 프로세싱 시스템은 캡처된 오디오 신호가 긴급 차량을 나타내는 것을 식별할 수 있다. 다른 예에서, 마이크로폰은 오토바이로부터의 것과 같은 다른 차량의 배기가스 사운드를 캡처할 수 있다. 프로세싱 시스템은 캡처된 오디오 신호가 오토바이를 나타내는 것을 식별할 수 있다. 마이크로폰에 의해 캡처된 데이터는 환경 데이터의 일부를 형성할 수 있다.
또 다른 예에서, 라디오 유닛은 블루투스 신호, 802.11 신호 및/또는 다른 라디오 기술 신호의 형태를 취할 수 있는 전자기 신호를 송신하도록 구성될 수 있다. 제1 전자기 방사선 신호는 라디오 유닛 내에 위치된 하나 이상의 안테나를 통해 송신될 수 있다. 또한, 제1 전자기 방사선 신호는 많은 상이한 라디오-시그널링 모드들 중 하나로 송신될 수 있다. 그러나, 일부 구현들에서는, 자율-주행 차량 근처에 위치된 디바이스들로부터 응답을 요청하는 시그널링 모드로 제1 전자기 방사선 신호를 송신하는 것이 바람직하다. 프로세싱 시스템은 라디오 유닛으로 다시 통신된 응답들에 기초하여 근처의 디바이스들을 검출하고, 이 통신된 정보를 환경 데이터의 일부로서 사용 가능할 수 있다.
일부 구현들에서, 프로세싱 시스템은 차량의 환경에 대해 추가로 결정을 내리기 위해 다양한 센서들로부터의 정보를 결합할 수 있다. 예를 들어, 프로세싱 시스템은 다른 차량 또는 보행자가 자율-주행 차량 앞에 있는지 여부를 결정하기 위해 레이더 정보 및 캡처된 이미지 둘 다로부터의 데이터를 결합할 수 있다. 다른 구현들에서는, 센서 데이터의 다른 결합들이 환경에 관한 결정들을 내리기 위해 프로세싱 시스템에 의해 사용될 수 있다.
차량은 자율-주행 모드에서 동작하는 동안, 인간의 입력이 거의 없거나 전혀 없는 상태에서 그 동작을 제어할 수 있다. 예를 들어, 인간 오퍼레이터는 차량에 주소를 입력할 수 있고, 차량은 인간으로부터의 추가 입력 없이(예를 들어, 인간이 브레이크/가스 페달들을 스티어링하거나 터치할 필요가 없음) 특정 목적지까지 주행할 수 있다. 또한, 차량이 자율적으로 동작하고 있는 동안, 센서 시스템은 환경 데이터를 수신하고 있을 수 있다. 차량의 프로세싱 시스템은 다양한 센서들로부터 수신된 환경 데이터에 기초하여 차량의 제어를 변경할 수 있다. 일부 예들에서, 차량은 다양한 센서들로부터의 환경 데이터에 응답하여 차량의 속도를 변경할 수 있다. 차량은 장애물들을 피하고 교통 법규들을 준수하는 등을 위해 속도를 변경할 수 있다. 차량의 프로세싱 시스템이 차량 근처의 객체들을 식별할 때, 차량은 속도를 변경할 수도 있고, 또는 다른 방식으로 이동을 변경할 수도 있다.
차량이 객체를 검출하지만 객체의 검출에 대해 높은 확신이 없는 경우, 차량은 인간 오퍼레이터(또는 더 강력한 컴퓨터)가 (i) 객체가 실제로 환경에 존재하는지 여부(예를 들어, 실제로 정지 표지판이 있는지 여부 또는 실제로 정지 표지판이 존재하지 않는지 여부)에 대한 컨펌, (ii) 객체의 차량 식별이 올바른지 여부에 대한 컨펌, (iii) 식별이 부정확한 경우, 식별에 대한 정정, 및/또는 (iv) 자율-주행 차량을 위한 보완 지시 제공(또는 현재 지시 수정)과 같은 하나 이상의 원격 지원 태스크를 수행하도록 요청할 수 있다. 원격 지원 태스크들은 또한 인간 오퍼레이터가 차량의 동작을 제어하기 위한 지시를 제공하는 것(예를 들어, 인간 오퍼레이터가 객체가 정지 표지판이라고 결정하는 경우, 차량이 정지 표지판에서 정지하도록 지시하는 것)을 포함할 수 있지만, 일부 시나리오들에서는, 차량 자체적으로 객체의 식별에 관한 인간 오퍼레이터의 피드백에 기초하여 그 자신의 동작을 제어할 수 있다.
이를 용이하게 하기 위해, 차량은 환경의 객체들을 나타내는 환경 데이터를 분석하여 임계값 아래의 검출 신뢰도를 갖는 적어도 하나의 객체를 결정할 수 있다. 차량의 프로세서는 다양한 센서들로부터의 환경 데이터에 기초하여 환경의 다양한 객체들을 검출하도록 구성될 수 있다. 예를 들어, 일 구현에서, 프로세서는 차량이 인식하는 데 중요할 수 있는 객체들을 검출하도록 구성될 수 있다. 이러한 객체들은 보행자들, 도로 표지판들, 다른 차량들, 다른 차량들의 지시 신호들, 및 캡처된 환경 데이터에서 검출된 다른 다양한 객체들을 포함할 수 있다.
검출 신뢰도는 결정된 객체가 환경에서 정확하게 식별되거나, 또는 환경에 존재할 가능성을 나타낼 수 있다. 예를 들어, 프로세서는 수신된 환경 데이터에서 이미지 데이터 내의 객체들의 객체 검출을 수행하고, 임계값보다 높은 검출 신뢰도를 갖는 객체를 식별할 수 없는 것에 기초하여 적어도 하나의 객체가 임계값보다 낮은 검출 신뢰도를 갖는다고 결정할 수 있다. 객체의 객체 검출 또는 객체 인식 결과가 결정적이지 않은 경우, 검출 신뢰도는 낮거나 또는 설정된 임계값 아래일 수 있다.
차량은 환경 데이터의 소스에 따라 다양한 방식으로 환경의 객체들을 검출할 수 있다. 일부 구현들에서, 환경 데이터는 카메라로부터 오고, 이미지 또는 비디오 데이터일 수 있다. 다른 구현들에서, 환경 데이터는 LIDAR 유닛으로부터 올 수 있다. 차량은 캡처된 이미지 또는 비디오 데이터를 분석하여 이미지 또는 비디오 데이터 내의 객체들을 식별할 수 있다. 방법들 및 장치들은 환경의 객체들의 존재에 대한 이미지 및/또는 비디오 데이터를 모니터링하도록 구성될 수 있다. 다른 구현들에서, 환경 데이터는 레이더, 오디오 또는 다른 데이터일 수 있다. 차량은 레이더, 오디오 또는 다른 데이터에 기초하여 환경의 객체들을 식별하도록 구성될 수 있다.
일부 구현들에서, 차량이 객체들을 검출하기 위해 사용하는 기술들은 공지된 데이터의 세트에 기초할 수 있다. 예를 들어, 환경 객체들과 관련된 데이터는 차량에 위치된 메모리에 저장될 수 있다. 차량은 객체들을 결정하기 위해 수신된 데이터를 저장된 데이터와 비교할 수 있다. 다른 구현들에서, 차량은 데이터의 컨텍스트에 기초하여 객체들을 결정하도록 구성될 수 있다. 예를 들어, 건설과 관련된 도로 표지판들은 일반적으로 오렌지색 컬러를 가질 수 있다. 따라서, 차량은 오렌지색이면서 도로들의 측면 근처에 건설-관련 도로 표지판들로서 위치되는 객체들을 검출하도록 구성될 수 있다. 또한, 차량의 프로세싱 시스템이 캡처된 데이터에서 객체들을 검출할 때, 각각의 객체에 대한 신뢰도를 계산할 수도 있다.
또한, 차량은 또한 신뢰도 임계값을 가질 수 있다. 신뢰도 임계값은 검출되는 객체의 타입에 따라 달라질 수 있다. 예를 들어, 다른 차량의 브레이크등들과 같이 차량으로부터의 빠른 응답 액션을 요구할 수 있는 객체에 대해서는 신뢰도 임계값이 더 낮을 수 있다. 그러나, 다른 구현들에서는, 신뢰도 임계값이 모든 검출된 객체들에 대해 동일할 수 있다. 검출된 객체와 연관된 신뢰도가 신뢰도 임계값보다 클 때, 차량은 객체가 정확하게 인식되었다고 가정하고, 이에 응답하여 해당 가정에 기초하여 차량의 제어를 조정할 수 있다.
검출된 객체와 연관된 신뢰도가 신뢰도 임계값보다 작을 때, 차량이 취하는 액션들은 달라질 수 있다. 일부 구현들에서, 차량은 낮은 신뢰도 레벨에도 불구하고 검출된 객체가 존재하는 것처럼 반응할 수 있다. 다른 구현들에서, 차량은 검출된 객체가 존재하지 않는 것처럼 반응할 수 있다.
차량이 환경의 객체를 검출할 때, 이것은 특정 검출된 객체와 연관된 신뢰도를 계산할 수도 있다. 신뢰도는 구현에 따라 다양한 방식들로 계산될 수 있다. 일례에서, 차량은 환경의 객체들을 검출할 때, 환경 데이터를 공지된 객체들과 관련된 미리 결정된 데이터와 비교할 수 있다. 환경 데이터와 미리 결정된 데이터 간의 매치가 가까울수록, 신뢰도는 높아진다. 다른 구현들에서, 차량은 객체들과 연관된 신뢰도를 결정하기 위해 환경 데이터의 수학적 분석을 사용할 수 있다.
객체가 임계값보다 낮은 검출 신뢰도를 갖는다는 결정에 응답하여, 차량은 객체의 식별에 대한 원격 지원 요청을 원격 컴퓨팅 시스템으로 송신할 수 있다. 위에서 논의된 바와 같이, 원격 컴퓨팅 시스템은 다양한 형태들을 취할 수 있다. 예를 들어, 원격 컴퓨팅 시스템은 차량과 별개이지만, 원격 지원 정보를 디스플레이하기 위한 터치스크린 인터페이스와 같이 인간 오퍼레이터가 차량의 승객 또는 운전자와 상호 작용할 수 있는 차량 내의 컴퓨팅 디바이스일 수 있다. 추가적으로 또는 대안적으로, 다른 예로서, 원격 컴퓨팅 시스템은 차량 근처에 있지 않은 위치에 위치되는 원격 컴퓨터 단말기 또는 다른 디바이스일 수 있다.
원격 지원 요청은 이미지 데이터, 오디오 데이터 등과 같은 객체를 포함하는 환경 데이터를 포함할 수 있다. 차량은 네트워크(예를 들어, 네트워크(304))를 통해, 일부 구현들에서는, 서버(예를 들어, 서버 컴퓨팅 시스템(306))를 통해 원격 컴퓨팅 시스템에 환경 데이터를 송신할 수 있다. 원격 컴퓨팅 시스템의 인간 오퍼레이터는 차례로 환경 데이터를 요청에 응답하기 위한 기초로서 사용할 수 있다.
일부 구현들에서, 객체가 신뢰도 임계값보다 낮은 신뢰도를 갖는 것으로 검출될 때, 객체에는 예비 식별이 제공될 수 있고, 차량은 예비 식별에 응답하여 차량의 동작을 조정하도록 구성될 수 있다. 이러한 동작 조정은 다른 가능한 조정들 중에서도 차량 정지, 차량을 인간-제어 모드로 전환, 차량 속도(예를 들어, 스피드 및/또는 방향) 변경의 형태를 취할 수 있다.
다른 구현들에서, 차량이 임계값을 충족하거나 또는 이를 초과하는 신뢰도를 갖는 객체를 검출하더라도, 차량은 검출된 객체에 따라 동작할 수도 있고(예를 들어, 객체가 정지 표지판으로서 높은 신뢰도를 갖고 식별되는 경우, 정지하게 될 수 있고), 차량이 검출된 객체에 따라 동작할 때와 동일한 시간에(또는 그로부터 나중에) 원격 지원을 요청하도록 구성될 수도 있다.
III. 예시적인 카메라 시스템들 및 동작들
도 4a는 예시적인 카메라 시스템(400)의 예시적인 컴포넌트들을 도시하는 간략화된 블록도를 도시한다. 이 예시적인 카메라 시스템(400)은 카메라(130)에 대응할 수 있다. 또한, 카메라 시스템(400)의 다양한 컴포넌트들이 분산형 컴포넌트들로서 도시되어 있지만, 이러한 컴포넌트들 중 임의의 것이 컴퓨팅 시스템의 원하는 구성에 따라 물리적으로 통합 및/또는 분산될 수 있다는 것이 이해되어야 한다.
카메라 시스템(400)은 적어도 하나의 프로세서(402) 및 시스템 메모리(404)를 포함할 수 있다. 예시적인 실시예에서, 카메라 시스템(400)은 프로세서(402) 및 시스템 메모리(404)를 통신 가능하게 연결하는 시스템 버스(408)뿐만 아니라, 카메라 시스템(400)의 다른 컴포넌트들도 포함할 수 있다. 원하는 구성에 따라, 프로세서(402)는 마이크로프로세서(μP), 마이크로제어기(μC), 디지털 신호 프로세서(digital signal processor)(DSP) 또는 이들의 임의의 조합을 포함하되, 이에 제한되지 않는 임의의 타입의 프로세서일 수 있다. 또한, 시스템 메모리(404)는 (RAM과 같은) 휘발성 메모리, (ROM, 플래시 메모리 등과 같은) 비-휘발성 메모리 또는 이들의 임의의 조합을 포함하되, 이에 제한되지 않는 현재 공지되거나 또는 나중에 개발될 임의의 타입의 메모리일 수 있다. 일부 예들에서, 시스템 메모리(404)는 이미지 데이터를 일시적으로 저장하기 위한 메모리 캐시일 수 있다.
예시적인 카메라 시스템(400)은 다양한 다른 컴포넌트들 또한 포함할 수 있다. 예를 들어, 카메라 시스템(400)은 이미지 센서(406)를 포함한다. 이미지 센서(406)는 본 명세서에 설명된 바와 같은 이미지 센서일 수 있다. 예를 들어, 이미지 센서(406)는 롤링 셔터를 포함할 수 있고, 프로세서(402)에 의해 선택적으로인에이블 또는 디스에이블되는 부분들을 갖도록 구성될 수 있다. 또한, 카메라 시스템(400)은 본 명세서에서 설명되는 다양한 기능들을 용이하게 하기 위해 시스템 메모리(404)(및/또는 가능하게는 다른 데이터-저장 매체)에 저장되고 프로세서(402)에 의해 실행 가능한 프로그램 명령어들(410)을 포함할 수 있다.
또한, 카메라 시스템(400)은 외부 컴퓨팅 시스템에 커플링될 수 있다. 외부 컴퓨팅 시스템(412)은 자율-주행 차량의 상이한 부분에 위치되고/되거나 원격 컴퓨터 서버에 위치된 컴퓨팅 시스템일 수 있다. 예를 들어, 외부 컴퓨팅 시스템(412)은 컴퓨팅 시스템(112)일 수 있다. 임의의 경우, 컴퓨팅 시스템(412)은 다른 옵션들 중에서도 카메라 시스템(400)의 다양한 동작들을 제어할 수 있다.
예시적인 실시예들에 따르면, 카메라 시스템(400)은 또한 카메라 시스템(400)이 (예를 들어, 이미지 센서(406)가) 마주치는 외부 광의 정도를 제어하도록 조정 가능한 광-제어 피처(414)를 포함할 수 있다. 본 명세서에서 추가로 설명되는 바와 같이, 광-제어 피처(414)는, 예를 들어, 와이퍼와 같은 기계적 디바이스일 수 있다. 추가적으로 또는 대안적으로, 광-제어 피처(414)는 일렉트로크로믹 디바이스(예를 들어, 일렉트로크로믹 윈도우) 또는 가변 액정 디스플레이(liquid-crystal display)(LCD)와 같이 조정 가능한 광 투과 특성들을 갖는 광-제어 디바이스일 수 있다. 또한, 광-제어 피처(414)는, 예를 들어, 컴퓨팅 시스템(412)과 같은 컴퓨팅 시스템에 의해 제어될 수 있다. 다른 배열들도 가능하다.
다음으로, 도 4b 및 도 4c는 카메라 및 광-제어 피처의 예시적인 구성을 예시한다.
초기 문제로서, 도 4b 및 도 4c는 각각 광학 시스템(416)(예를 들어, 렌즈) 및 이미지 센서(418)를 포함하는 장치의 이미징 동작을 예시한다. 이미지 센서(418)는 도 4a에 도시된 카메라 시스템(400)과 같은 카메라에 있을 수 있다. 광학 시스템(416)은 이미지 센서(418)에 전체 시야(420)를 제공한다. 전체 시야(420)는 수직 시야(422) 및 수평 시야(424)를 포함한다. 전체 시야(420)는 이미지 센서(418)가 광학 시스템(416)을 통해 이미징할 수 있는 가장 큰 각도 범위에 대응한다.
또한, 도 4b 및 도 4c는 각각 광학 시스템(416) 및 이미지 센서(418)가 하우징(426) 내에 배치될 수 있음을 각각 예시한다. 하우징(426)은 애퍼처(428)(예를 들어, 투명 애퍼처)를 포함하고, 이를 통해 이미지 센서(418)가 차량의 환경의 이미지들을 캡처할 수 있는 것으로 도시되어 있다. 또한, 하우징(426)은 축(432)을 중심으로 회전할 수 있는 회전 플랫폼(430)에 커플링될 수 있으며, 이에 따라 하우징(426), 광학 시스템(416) 및 이미지 센서(418)의 회전을 야기할 수 있다. 이러한 방식으로, 이미지 센서(418)는 차량의 환경의 다양한 부분들의 이미지들을 캡처한다.
그러나, 다른 구현에서, 광학 시스템(416), 이미지 센서(418) 및 하우징(426) 중 임의의 하나는 (예를 들어, 차량의 일부에) 실질적으로 고정될 수 있고, 따라서 축을 중심으로 회전할 필요는 없을 수 있다. 예를 들어, 이미지 센서(418)는 차량 환경의 특정 부분(들)의 이미지들을 획득하기 위해 차량에 고정될 수 있다. 다른 구현들도 가능하다.
본 개시내용에 따라, 도 4b 및 도 4c는 또한 광-제어 피처들을 예시한다. 예를 들어, 도 4b는 하우징(426)의 외부 부분, 특히 애퍼처(428) 근처에 커플링되는 와이퍼(434)를 예시한다. 이러한 배열에 의하면, 컴퓨팅 시스템은 이미지 센서(418) 및/또는 광학 시스템(416)이 마주치는 외부 광의 정도를 제어하기 위해 이미지 센서(418)에 대한 와이퍼(434)의 포지션을 조정할 수 있다(예를 들어, 시야(420)에 대한 와이퍼(434)의 포지션을 조정할 수 있다). 다른 예에서, 도 4c는 애퍼처(428) 내에 통합되는 일렉트로크로믹 윈도우(436)를 예시하며, 이는 이미지 센서(418)로 하여금 일렉트로크로믹 윈도우(436)를 통해 환경의 이미지들을 캡처하게 한다. 그리고, 본 명세서에서 추가로 논의되는 바와 같이, 일렉트로크로믹 윈도우(436)는 조정 가능한 광 투과 특성들을 가질 수 있다. 이러한 배열에 의하면, 컴퓨팅 시스템은 이미지 센서(418)가 마주치는 외부 광의 정도를 제어하기 위해 일렉트로크로믹 윈도우(436)의 광 투과 특성들을 조정할 수 있다. 다른 예시들도 가능하다.
IV. 차량의 이미지 캡처 디바이스가 마주치는 광의 정도 제어
상기 논의에 따르면, 이미지 캡처 디바이스는, 예를 들어, 차량(예를 들어, 차량(100)) 주위 환경과 같은 환경을 나타내는 이미지 데이터(예를 들어, 환경의 캡처 이미지(들))를 생성할 수 있는 임의의 디바이스일 수 있다. 일반적으로, 이미지 캡처 디바이스는 다른 옵션들 중에서도 카메라(예를 들어, 카메라(130)), 카메라 시스템(예를 들어, 카메라 시스템(400)) 및/또는 이미지 센서(예를 들어, 이미지 센서(406))일 수도 있고, 또는 다른 방식으로 이와 같이 지칭될 수도 있다. 또한, 이미지 캡처 디바이스는 다른 것들 중에서도 본 명세서에서 설명되는 배열들을 사용하는 것과 같은 임의의 실현 가능한 방식으로 차량에 커플링될 수 있다.
일부 상황들에서, 언급된 바와 같이, 이미지 캡처 디바이스에 의해 캡처된 이미지들의 품질은 이미지 캡처 디바이스가 마주치는 외부 광으로 인해 저하될 수 있으며, 이는 이미지 캡처 디바이스가 차량의 자율-주행 동작을 위한 기초로서 사용되기에 충분한 품질의 이미지 데이터를 생성하는 것을 방해할 수 있다. 일반적으로, 이 외부 광은 임의의 실현 가능한 외부 광원 또는 광 반사기로부터 발생되거나 또는 다른 방식으로 도달할 수 있다. 예를 들어, 외부 광은 다른 가능성들 중에서도 태양으로부터의 태양광, 램프(예를 들어, 가로등)로부터의 인공광, 다른 차량의 LIDAR 시스템에 의해 생성된 레이저 광, 및/또는 다른 차량에서(예를 들어, 다른 차량의 미러에서) 반사된 광일 수 있다. 더욱이, 외부 광은 전자기 스펙트럼에서의 임의의 파장을 가질 수 있고, 따라서 가시광 또는 비-가시광일 수 있다. 임의의 경우, 외부 광은 다양한 방식들로 이미지(들)의 품질을 저하시킬 수 있다.
예를 들어, 이미지 캡처 디바이스는 블루밍(blooming)에 직면할 수 있는데, 이는 과도한 광으로 인해 이미지에 밝은 패치들을 야기할 수 있는 현상이다(예를 들어, 주어진 픽셀에서의 상당한 전하로 인해 광원으로부터 나온 광 줄무늬(streak)들이 이미지에 캡처됨). 다른 예에서, 이미지 캡처 디바이스는 설계에서 의도되지 않은 방식으로 이미지 캡처 디바이스의 광학 시스템을 통해 이동하는 광인 미광(stray light)에 직면할 수 있다(예를 들어, 잘못된 광은 일부 파장들에서 측정되는 신호를 증가시킬 수 있다). 또 다른 예에서, 이미지 캡처 디바이스는 글레어(glare)에 직면할 수 있는데, 이는 일반적으로 고강도 광이 이미지의 피처들의 가시성을 손상시키는 현상이다. 또 다른 예에서, 이미지 캡처 디바이스는 렌즈 플레어(lens flare)에 직면할 수 있는데, 이는 이미지 캡처 디바이스의 광학 시스템에서 광이 산란되거나 플레어되어, 이에 따라 이미지에 바람직하지 않은 영향들을 생성하는 현상이다. 또 다른 예들에서, 이미지 캡처 디바이스는 다른 가능성들 중에서도 과포화(oversaturation), 과다 노출, 노출 부족(예를 들어, 태양광에 의해 트리거되는 자동 노출 설정들로 인해 이미지에서 관심 있는 영역에 대한 노출 부족) 및/또는 이미지 해상도의 저하에 직면할 수 있다.
도 5a 및 도 5b는 외부 광이 자율-주행 차량의 이미지 캡처 디바이스가 차량의 자율-주행 동작을 위한 기초로서 사용되기에 충분한 품질의 이미지들을 캡처하는 것을 방해할 수 있는 상황의 예를 예시한다.
도 5a는 차량(200)이 교통 신호등(502)을 갖는 교차로(500)에 도착하는 상황을 도시한다. 이 상황에서, 차량(200)의 컴퓨팅 시스템은 교차로(500)의 이미지(들)를 캡처하기 위해 센서 유닛(202)의 정면-주시 카메라와 같은 이미지 캡처 디바이스를 동작시킬 수 있다. 이미지(들)가 캡처되고 나면, 컴퓨팅 시스템은 교통 신호등(502)의 컬러 또는 상태를 결정하기 위한 기초로서, 및 이에 따라 차량이 교차로(500)에서 수행해야 하는 후속 자율-주행 동작들을 결정하기 위한 기초로서, 캡처된 이미지(들)를 사용하려고 시도할 수 있다. 예를 들어, 도 5a에 도시된 바와 같이, 교통 신호등(502)의 상부 광(예를 들어, 적색 광)은 광을 방출하지만, 교통 신호등(502)의 중간 및 하부 광들은 광을 방출하지 않으므로, 이는 교차로(500)의 해당 부분에서 차량(들)이 정지해야 한다는 표시로서 역할한다. 따라서, 컴퓨팅 시스템은 캡처된 이미지(들)를 교통 신호등(502)의 상부 광이 광을 방출하고 있는지 여부, 및 이에 따라 컴퓨팅 시스템이 교차로(500)에서 차량(200)이 정지하도록 동작시켜야하는지 여부를 결정하기 위한 기초로서 사용하려고 시도할 수 있다.
그러나, 불행하게도, 차량의 이미지 캡처 디바이스의 관점에서 태양(504)의 포지션은 이미지 캡처 디바이스가 교통 신호등(502)의 컬러 또는 상태를 결정하기 위한 기초로서 사용되기에 충분한 품질의 교통 신호등(502)의 이미지를 캡처하는 것을 방해할 수 있다. 특히, 도시된 바와 같이, 태양(504)은 이미지 캡처 디바이스의 관점에서(예를 들어, 센서 유닛(202)의 정면-주시 카메라의 시야에서) 교통 신호등(502)에 실질적으로 근접하거나 그 뒤에 위치 결정된다. 이러한 상황은 다른 옵션들 중에서도 이미지 캡처 디바이스가 충분한 강도의 태양광과 마주치게 해서 블루밍을 야기하게 하고/하거나 이미지 해상도를 저하시키게 할 수 있다. 결과적으로, 이미지 캡처 디바이스는 교통 신호등(502)의 컬러 또는 상태를 결정하기 위한 기초로서 사용되기에 충분한 품질의 교통 신호등(502)의 이미지(들)를 캡처할 수 없을 수 있다.
예를 들어, 도 5b는 상기 설명된 상황 동안 차량의 이미지 캡처 디바이스에 의해 캡처된 이미지(506)의 예를 예시한다. 도시된 바와 같이, 교통 신호등(502)은 이미지 아티팩트(508)로 인해 이미지(506)에서 전체적으로 보이지는 않는데, 이는 태양(504)이 이미지 캡처 디바이스의 시야 내에 위치 결정되고 이미지 캡처 디바이스의 관점에서 교통 신호등(502) 뒤에 또는 이에 실질적으로 근접하게 위치 결정됨으로써 야기된다. 따라서, 컴퓨팅 시스템이 교통 신호등(502)의 컬러 또는 상태를 결정하기 위한 기초로서 캡처된 이미지(506)를 사용하려고 시도하는 경우, 컴퓨팅 시스템은 교통 신호등(502)의 상부 광이 광을 방출하고 있다고 결정하기 위한 기초로서 이미지(506)를 사용할 수 없을 수 있다. 결과적으로, 컴퓨팅 시스템은 차량(200)이 교차로(500)에서 정지해야 한다고 결정하지 않을 수도 있고, 또는 차량(200)이 교차로(500)에서 정지해야 한다고 결정하는 데 지연을 겪을 수도 있고, 또는 충분한 신뢰를 갖고 교통 신호등 상태를 결정할 수 없는 경우에는 차량이 디폴트로서 정지해야 한다고 결정할 수도 있는데, 이는 컴퓨팅 시스템이 다른 원치않는 결과들 중에서도 차량(200)이 정지하도록 또는 다르게는 교차로(500)에서 예상되는 대로 적시에 동작하는 것을 방해할 수 있다.
일반적으로, 자율-주행 차량은 외부 광이 이미지 캡처 디바이스가 차량의 자율-주행 동작을 위한 기초로서 사용되기에 충분한 품질의 이미지들을 캡처하는 것을 방해하는 다양한 다른 시나리오들(도시 생략)을 추가적으로 또는 대안적으로 직면할 수 있다. 예를 들어, 차량의 이미지 캡처 디바이스의 관점에서 태양의 포지션은 이미지 캡처 디바이스가 교통 신호등의 하부 등(예를 들어, 녹색 등)이 광을 방출하고 있다고 결정하기 위한 기초로서 사용되기에 충분한 품질의 교통 신호등의 이미지를 캡처하는 것을 방해할 수 있다. 이를 감안할 때, 컴퓨팅 시스템은 차량이 교차로를 통해 이동할 수 있다고 결정하지 않을 수 있고, 대신에 차량으로 하여금 예방적 조치로서 교차로에서 정지하게 할 수 있으며, 이는 다른 효과들 중에서도 이동 지연들로 이어질 수 있다. 또 다른 예에서, 차량의 이미지 캡처 디바이스의 관점에서 태양의 포지션은 이미지 캡처 디바이스가 특정 방향 지시등이 광을 방출하고 있다고 결정하기 위한 기초로서 사용되기에 충분한 품질의 교통 신호등의 이미지를 캡처하는 것을 방해할 수 있다. 이를 감안할 때, 컴퓨팅 시스템은 차량이 특정 방향 지시등에 대응하는 방향으로 교차로에서 회전할 수 있다고 결정하지 않을 수 있고, 대신에 차량으로 하여금 불필요하게 회전을 지연시키게 하거나 또는 상이하면서 아마도 더 긴 루트를 따라 계속 이동하게 할 수 있다. 다른 예들도 가능하다.
자율-주행 차량의 이미지 캡처 디바이스가 마주치는 광의 정도를 프로액티브하게 및/또는 리액티브하게 제어하기 위한 방법들 및 시스템들이 본 명세서에 개시되어 있으며, 이는 이미지 캡처 디바이스가 충분한 품질의 이미지들을 캡처하게 할 수 있다. 결과적으로, 이 이미지 데이터는 차량을 자율적으로 동작시키기 위한 기초로서 사용될 수 있다.
본 개시내용에 따르면, 차량에는 이미지 캡처 디바이스가 마주치는 광의 정도를 프로액티브하게 또는 리액티브하게 제어하기 위해 컴퓨팅 시스템에 의해 조정 가능한 광-제어 피처가 장착될 수 있다. 특정 광-제어 피처들이 본 명세서에서 예로서 설명되었지만, 본 개시내용의 범위를 벗어나지 않고 다른 광-제어 피처들도 가능하다.
하나의 경우에, 광-제어 피처는 다른 가능성들 중에서도 이미지 캡처 디바이스에 대해, 예를 들어, 이미지 캡처 디바이스의 시야에 대해 이동 가능한 기계적 디바이스일 수 있다. 예를 들어, 본 명세서에서 추가로 논의되는 바와 같이, 기계적 디바이스는 이미지 캡처 디바이스의 관점에서 외부 광원(예를 들어, 태양)을 차단하기 위해 이미지 캡처 디바이스의 시야 내에 위치 결정될 수 있어, 이미지 캡처 디바이스가 마주치는 외부 광의 정도를 감소시킬 수 있다. 일반적으로, 임의의 실현 가능한 기계적 디바이스가 사용될 수 있고, 해당 기계적 디바이스는 임의의 실현 가능한 방식으로 차량에 커플링될 수 있다.
예로서, 이슈가 되는 기계적 디바이스는 (예를 들어, 차량의) 윈드 스크린 또는 윈드실드로부터 비, 눈, 얼음 및/또는 파편을 제거하기 위해 통상적으로 사용되는 와이퍼 디바이스와 같은 와이퍼일 수 있다. 예를 들어, 와이퍼는 일단에서 피봇하는 아암(예를 들어, 금속 아암)을 포함할 수 있고, 아암에 부착된 와이퍼 블레이드(예를 들어, 고무 블레이드)를 포함할 수도 있다. 아암은 아암을 이동시키기 위해 차량의 컴퓨팅 시스템에 의해 동작 가능할 수 있는 모터(예를 들어, 전기 모터)에 의해 전력을 공급받을 수 있다. 이러한 배열에 의하면, 컴퓨팅 시스템은, 예를 들어, 와이퍼를 윈드실드의 유리 위에서 특정 스피드로 앞뒤로 이동시키는 등에 의해 임의의 실현 가능한 방식 및 임의의 실현 가능한 스피드로 와이퍼를 이동시키도록 동작할 수 있다. 이러한 예에서, 와이퍼는 다양한 방식들로 차량에 커플링될 수 있다.
하나의 배열에서, 와이퍼는 차량의 앞 또는 뒤 윈드실드에 근접한 것과 같이 차량의 윈드실드에 근접하게 위치 결정될 수 있고, 임의적으로 해당 윈드실드로부터 비, 눈, 얼음 및/또는 파편을 제거하는 데에도 사용될 수 있다. 이러한 배열에서, 이미지 캡처 디바이스는 이미지 캡처 디바이스가 윈드실드를 통해 차량(200)의 환경의 이미지들을 캡처할 수 있도록 차량 내에 위치 결정될 수 있다. 결과적으로, 컴퓨팅 시스템은 와이퍼가 이미지 캡처 디바이스에 대해 이동하고, 구체적으로는 이미지 캡처 디바이스의 시야에 대해 이동하도록 와이퍼를 동작시킬 수 있다.
다른 구성에서, 이미지 캡처 디바이스는 차량에 커플링되는 하우징 내에 배치될 수 있고, 와이퍼는 해당 하우징에 커플링되거나 또는 다른 방식으로 이에 근접하게 위치 결정될 수 있다. 예를 들어, 이슈가 되는 하우징은 이미지 캡처 디바이스가 위치 결정되는 센서 유닛(예를 들어, 센서 유닛(202))의 반투명 하우징일 수 있다. 따라서, 이미지 캡처 디바이스는 하우징의 반투명 재료를 통해 차량(200)의 환경의 이미지들을 캡처할 수 있다. 그럼에도 불구하고, 이러한 배열에서, 와이퍼는 구체적으로는 이미지 캡처 디바이스의 시야에 대해 와이퍼를 이동시키기 위해, 컴퓨팅 시스템이 이미지 캡처 디바이스에 대한 와이퍼의 이동을 야기할 수 있게 하는 방식으로 하우징에 커플링되거나 또는 다른 방식으로 하우징 근처에 위치 결정될 수 있다. 다른 배열들도 가능하다.
다른 경우에, 광-제어 피처는 조정 가능한 광 투과 특성들을 갖는 광-제어 디바이스일 수 있고, 컴퓨팅 시스템은 광-제어 디바이스를 동작시킬 수 있다. 구체적으로, 광-제어 디바이스는 이미지 캡처 디바이스의 시야 내에 위치 결정되어, 이미지 캡처 디바이스가 광-제어 디바이스를 통해 차량의 환경의 이미지들을 캡처할 수 있게 한다. 이러한 배열에 의하면, 컴퓨팅 시스템은 광-제어 디바이스의 광 투과 특성들을 조정할 수 있고, 따라서 광-제어 디바이스를 통과하는 광량을 제어할 수 있다. 그리고, 컴퓨팅 시스템은 광-제어 디바이스를 통과하는 광량을 제어함으로써, 이미지 캡처 디바이스가 마주치는 광의 정도를 효과적으로 제어할 수 있다. 또한, 일부 구현들에서, 컴퓨팅 시스템은 광-제어 디바이스의 특정 부분들의 광 투과 특성들을 선택적으로 조정할 수 있으며, 이는 컴퓨팅 시스템이 이미지 캡처 디바이스의 시야 내의 선택 영역들로부터 도달하는 외부 광의 정도를 효과적으로 제어할 수 있게 한다.
이 경우, 다양한 광-제어 디바이스들 중 하나 이상이 사용될 수 있다. 예를 들어, 광-제어 디바이스는 전압, 광 및/또는 열이 인가될 때 광 투과 특성들이 변경될 수 있는 "스마트" 유리일 수 있다. 스마트 유리는 다른 것들 중에서도 일렉트로크로믹 디바이스, 포토크로믹 디바이스(photochromic device) 및/또는 써모크로믹 디바이스(thermochromic device)일 수 있다. 일렉트로크로믹 디바이스의 경우, 예를 들어, 컴퓨팅 시스템은 전기 신호를 인가함으로써 일렉트로크로믹 디바이스로 하여금 광 투과 특성들을 변경하게 할 수 있고, 이에 의해 통과하는 광량을 제어할 수 있다. 실제로, 일렉트로크로믹 디바이스의 광 투과 특성들을 변경하는 것은 일렉트로크로믹 디바이스의 불투명도를 투명 상태와 착색(반투명) 상태 사이에서 변경하는 것을 포함할 수 있다. 다른 예들도 가능하다.
또한, 광-제어 디바이스는 임의의 실현 가능한 방식으로 차량에 커플링될 수 있다. 예를 들어, 상기 언급된 스마트 유리는 차량의 윈드실드 내에 통합되거나 또는 다른 방식으로 이를 대체할 수 있고, 이미지 캡처 디바이스는 이미지 캡처 디바이스가 스마트 유리를 통해 차량(200)의 환경의 이미지지들을 캡처할 수 있도록 차량 내에 위치 결정될 수 있다. 다른 예에서, 스마트 유리는 하우징의 재료 내에 통합되거나 또는 다른 방식으로 이를 대체할 수 있고, 이미지 캡처 디바이스는 이미지 캡처 디바이스가 하우징의 스마트 유리를 통해 차량의 환경의 이미지들을 캡처할 수 있도록 하우징 내에 배치될 수 있다. 다른 예들도 가능하다.
위에 설명된 바와 같이 배열된 시스템에서, 컴퓨팅 시스템은 광-제어 피처에 조정을 행하기 위한 트리거를 검출할 수 있다. 일반적으로, 트리거를 검출하는 것은 이미지 캡처 디바이스에 의해 생성된 이미지 데이터의 품질이 이미지 캡처 디바이스가 마주치거나 또는 마주칠 것으로 예상되는 외부 광으로 인해 임계 품질보다 낮거나 또는 낮을 것으로 예상된다고 결정을 내리는 것을 포함할 수 있다. 컴퓨팅 시스템은 다양한 방식들로 이러한 결정을 내릴 수 있다.
하나의 경우에, 컴퓨팅 시스템은 캡처된 이미지(예를 들어, 최근에 캡처된 이미지)의 특성들을 평가하기 위해 이미지 분석 기술들을 사용함으로써 상기 언급된 결정을 내릴 수 있으며, 이에 따라 해당 이미지의 품질을 효과적으로 평가할 수 있다. 이미지 분석 기술은 다른 것들 중에서도 머신 학습 분류기(machine learned classifier)들, 심층 신경망(deep neural network)들, 이미지 통계 평가 및/또는 핸드크래프트형 피처 평가의 사용을 포함할 수 있다.
예를 들어, 컴퓨팅 시스템은, 예를 들어, 이미지가 밝은 열의 픽셀 형태를 취하는 광 줄무늬를 포함한다고 결정하는 등에 의해, 캡처된 이미지가 블루밍의 특성들을 나타낸다고 결정함으로써 결정을 내릴 수 있다. 다른 예에서, 컴퓨팅 시스템은 캡처된 이미지에서 포화를 결정함으로써 결정을 내릴 수 있다. 다른 예에서, 컴퓨팅 시스템은 캡처된 이미지에서의 노출 레벨이 제1 임계 노출 레벨보다 높다고 결정함으로써, 또는 캡처된 이미지에서의 노출 레벨이 제2 임계 노출 레벨(예를 들어, 제1 임계 노출 레벨과 동일할 수도 있고 또는 이와 상이할 수도 있음)보다 낮다고 결정함으로써 결정을 내릴 수 있다. 또 다른 예에서, 컴퓨팅 시스템은 캡처된 이미지의 이미지 해상도 레벨이 임계 해상도 레벨보다 낮다고 결정함으로써 결정을 내릴 수 있다. 다른 예들도 가능하다.
다른 경우에, 컴퓨팅 시스템은 캡처된 이미지가 객체의 검출 및/또는 식별에 이용 가능하지 않다고 결정함으로써 상기 언급된 결정을 내릴 수 있다. 예를 들어, 이미지 캡처 디바이스는 차량의 환경의 이미지를 캡처할 수 있고, 컴퓨팅 시스템은 해당 이미지를 나타내는 이미지 데이터가 컴퓨팅 시스템이 환경 내의 객체를 검출 및/또는 식별하기 위한 기초로서 사용할 수 있는 정보를 제공하지 않는다는 특정 결정을 내릴 수 있다. 이와 같이, 이러한 특정 결정은 이미지 캡처 디바이스에 의해 생성된 이미지 데이터의 품질이 가능하게는 이미지 캡처 디바이스가 마주치는 외부 광으로 인해 임계 품질보다 낮다는 상기 언급된 결정에 대응할 수 있다.
또 다른 경우에, 컴퓨팅 시스템은 이미지 캡처 디바이스 이외의 하나 이상의 센서로부터 수신된 센서 데이터를 평가함으로써 상기 언급된 결정을 내릴 수 있다. 예를 들어, 차량에는 외부 광의 강도 및 도달 방향에 관한 정보를 제공하는 광 센서가 장착될 수 있고, 해당 광 센서는 이미지 캡처 디바이스에 실질적으로 근접하게 위치 결정될 수 있다. 이러한 배열에 의하면, 컴퓨팅 시스템은 광 센서로부터의 데이터가 이미지 캡처 디바이스로 하여금 불충분한 품질의 이미지 데이터를 생성하게 하는 것이 예상되거나 또는 다른 방식으로 이것이 알려지는 광 강도/방향을 나타낸다는 특정 결정을 내릴 수 있다. 따라서, 이 특정 결정은 이미지 캡처 디바이스에 의해 생성된 이미지 데이터의 품질이 이미지 캡처 디바이스가 마주치는 외부 광으로 인해 임계 품질보다 낮다는 상기 언급된 결정에 대응할 수 있다.
또 다른 경우에, 컴퓨팅 시스템은 차량이 이미지 캡처 디바이스가 충분한 품질의 이미지 데이터를 생성할 수 없거나 또는 생성할 가능성이 없는 상황에 직면했다고 결정함으로써 상기 언급된 결정을 내릴 수 있다. 예를 들어, 컴퓨팅 시스템은 광원이 이미지 캡처 디바이스의 시야 내에 있거나 또는 있을 것으로 예상되고, 가능하게는 광원이 이미지 캡처 디바이스의 관점에서 객체에 근접하거나 또는 근접할 것으로 예상된다고 결정함으로써 결정을 내릴 수 있다. 컴퓨팅 시스템은 다양한 방식들로 그와 같이 할 수 있다.
예를 들어, 컴퓨팅 시스템은 주어진 시간에 주어진 위치 위의 하늘에서의 태양의 포지션을 결정하기 위해 궤도력 데이터를 수신 및 사용할 수 있다. 주어진 시간에 주어진 위치 위의 태양의 포지션이 주어지면, 차량이 주어진 시간에 지리적 영역 내의 주어진 위치에서 이동 중이거나 또는 이동할 것으로 예상되는 경우, 컴퓨팅 시스템은 이미지 캡처 디바이스의 시야에 대한 태양의 포지션을 결정 또는 예측할 수 있다. 따라서, 컴퓨팅 시스템은 이러한 접근법을 사용하여 태양이 이미지 캡처 디바이스의 시야 내에 있거나 또는 있을 것으로 예상된다고 결정 또는 예측할 수 있다. 또한, 주어진 위치에서의 객체(예를 들어, 교통 신호등)의 공지된 위치에 기초하여, 컴퓨팅 시스템은 이미지 캡처 디바이스의 관점에서 태양이 이슈가 되는 객체에 근접하거나 또는 근접할 가능성이 있다고 추가로 결정할 수 있다. 다른 예들도 가능하다.
또 다른 경우에, 컴퓨팅 시스템은 차량의 위치가 이미지 캡처 디바이스가 충분한 품질의 이미지 데이터를 생성하는 것이 특히 중요한 위치라고 결정함으로써 상기 언급된 결정을 내릴 수 있다. 이를 용이하게 하기 위해, 예를 들어, 컴퓨팅 시스템은 각각 "중요한 위치"로서 지정된 위치들의 리스트(예를 들어, 교차로들의 리스트)를 가질 수 있고, 컴퓨팅 시스템은 이 리스트를 참조하여 차량이 광-제어 피처가 조정되어야 하는 위치에 있다고 결정할 수 있다. 따라서, 차량의 결정된 위치는 효과적으로 광-제어 피처에 조정을 행하기 위한 트리거일 수 있다. 다른 경우들도 가능하다.
컴퓨팅 시스템이 광-제어 피처에 조정을 행하기 위한 트리거를 검출하고 나면, 컴퓨팅 시스템은 이에 응답하여 광-제어 피처에 조정을 행할 수 있다. 일반적으로, 컴퓨팅 시스템은 이미지 캡처 디바이스가 마주치거나 또는 마주칠 것으로 예상되는 외부 광의 정도를 제어하기 위해 이러한 조정을 행할 수 있다. 예를 들어, 조정을 행하는 것은 이미지 캡처 디바이스가 마주치거나 또는 마주칠 것으로 예상되는 외부 광의 정도를 감소시키기 위해 수행될 수 있다. 이것은, 예를 들어, 이미지 캡처 디바이스가 상대적으로 높은 정도의 외부 광을 마주치거나 또는 마주칠 것으로 예상되는 상황에서 유용할 수 있다. 다른 예에서, 조정을 행하는 것은 이미지 캡처 디바이스가 마주치거나 또는 마주칠 것으로 예상되는 외부 광의 정도를 증가시키기 위해 수행될 수 있다. 이것은, 예를 들어, 이미지 캡처 디바이스가 상대적으로 낮은 정도의 외부 광을 마주치거나 또는 마주칠 것으로 예상되는 상황에서 유용할 수 있다. 그럼에도 불구하고, 조정은 다양한 방식들로 수행될 수 있다.
일 구현에서, 광-제어 피처에 대한 조정은 미리 결정된 조정일 수 있다. 예를 들어, 컴퓨팅 시스템은 미리 결정된 광 투과 특성들을 나타내도록 광-제어 디바이스를 조정할 수 있고/있거나, 기계적 디바이스로 하여금 이미지 캡처 디바이스에 대해(예를 들어, 이미지 캡처 디바이스의 시야에 대해) 미리 결정된 포지션(들)으로 이동하게 할 수 있다. 이 구현에서, 미리 결정된 조정은 마주친 외부 광의 정도가 충분한 이미지 품질로 이어지게 도울 수 있는 특성들(예를 들어, 강도)을 나타내게 하도록 배열될 수 있다. 예를 들어, 광-제어 피처는 다른 옵션들 중에서도 블루밍 및/또는 포화를 방지하는 데 도움을 주는 것으로 발견된 미리 결정된 설정들로 조정될 수 있다. 다른 예들도 가능하다.
다른 구현에서, 광-제어 피처에 대한 조정은 하나 이상의 팩터에 기초할 수 있다. 예를 들어, 컴퓨팅 시스템은 하나 이상의 팩터에 기초하여 광-제어 디바이스의 광 투과 특성들을 조정할 수 있고/있거나, 기계적 디바이스로 하여금 하나 이상의 팩터에 기초하여 선택되는 포지션(들)으로 이동하게 할 수 있다. 일반적으로, 다양한 팩터(들)가 조정을 위한 기초로서 사용될 수 있다.
하나의 경우에, 광-제어 피처에 대한 조정은 이미지 캡처 디바이스의 관점에서 외부 광원의 포지션에 기초할 수 있다. 특히, 컴퓨팅 시스템은 다른 옵션들 중에서도, 예를 들어, 광 센서로부터의 데이터를 평가함으로써, 최근에 캡처된 이미지들을 평가함으로써, 및/또는 궤도력 데이터를 평가함으로써(외부 광원이 태양이라고 가정함), 이미지 캡처 디바이스의 관점에서 외부 광원의 포지션을 결정 또는 추정할 수 있다. 그리고, 컴퓨팅 시스템은 외부 광원의 결정된 포지션에 기초하여 광-제어 피처를 조정할 수 있다.
예를 들어, 컴퓨팅 시스템은 기계적 디바이스로 하여금 이미지 캡처 디바이스의 관점에서 외부 광원의 결정된 포지션과 적어도 부분적으로 중첩되는 포지션으로 이동하게 함으로써, 기계적 디바이스가 이미지 캡처 디바이스의 관점에서 외부 광원을 적어도 부분적으로 차단하게 할 수 있다. 다른 예에서, 컴퓨팅 시스템은 이미지 캡처 디바이스의 관점에서 외부 광원의 결정된 포지션과 적어도 부분적으로 중첩되는 광-제어 디바이스의 일부를 선택할 수 있고, 그 후 선택된 일부의 광 투과 특성들을 조정함으로써(예를 들어, 선택된 일부의 불투명도를 착색 상태로 변경함으로써), 이미지 캡처 디바이스의 관점에서 외부 광원을 적어도 부분적으로 차단할 수 있다. 다른 예들도 가능하다.
다른 경우에, 광-제어 피처에 대한 조정은 이미지 캡처 디바이스에 의해 생성된 이미지 데이터의 품질이 임계 품질보다 높아지도록 하는 것에 기초할 수 있다. 특히, 컴퓨팅 시스템은 마주친 외부 광의 정도가 특정 타겟 결과들로 이어지는 특성들(예를 들어, 강도)을 나타내게 하도록 광-제어 피처를 조정할 수 있다. 일반적으로, 이러한 결과는 다음을 포함할 수 있다: (i) 캡처된 이미지(들)가 블루밍 특성들을 나타내는 것을 방지하는 것, (ii) 캡처된 이미지(들)가 포화 특성들을 나타내는 것을 방지하는 것, (iii) 캡처된 이미지(들)에서의 노출 레벨이 상기 언급된 제1 임계 노출 레벨보다 낮은 레벨 등으로 감소하게 하는 것, (iv) 캡처된 이미지(들)에서의 노출 레벨이 상기 언급된 제2 임계 노출 레벨보다 높은 레벨 등으로 증가하게 하는 것, 및/또는 (v) 캡처된 이미지(들)에서의 이미지 해상도가 상기 언급된 임계 해상도 레벨보다 높은 레벨 등으로 증가하게 하는 것.
예를 들어, 컴퓨팅 시스템은 이미지(들)에서의 노출 레벨이, 예를 들어, 제1 임계 노출 레벨보다 낮은 레벨 등으로 감소해야 한다고 결정할 수 있다. 컴퓨팅 시스템은 최근에 캡처된 이미지(들)를 평가하고, 최근에 캡처된 이미지(들)에서의 노출 레벨이 제1 임계 노출 레벨보다 높다고 결정하는 등에 의한 다양한 방식들로 이 타겟 결과를 결정할 수 있다. 그럼에도 불구하고, 이 예에서, 이미지 데이터의 품질이 임계 품질보다 높아지게 하는 것은 캡처될 이미지(들)에서의 노출 레벨을 아마도 제1 임계 노출 레벨보다 낮은 레벨로 감소시키는 타겟 결과에 대응한다. 따라서, 컴퓨팅 시스템은 캡처된 이미지(들)에서의 노출 레벨을 감소시키는 설정으로, 아마도 노출 레벨이 제1 임계 노출 레벨보다 낮아지게 하는 설정으로 광-제어 피처를 구체적으로 조정할 수 있다. 예를 들어, 컴퓨팅 시스템은 노출 레벨을 감소시키기 위해 광-제어 디바이스의 불투명도를 변경시킬 수 있고, 아마도 노출 레벨이 제1 임계 노출 레벨보다 낮아지게 하는 정도로 불투명도를 변경시킬 수 있다. 다른 예들도 가능하다.
어느 구현에서든, 컴퓨팅 시스템은 차량의 자율-주행 동작을 위한 기초로서 사용되기에 충분한 품질의 적어도 하나의 이미지를 이상적으로 획득하기 위해 조정 동안 이미지 데이터를 생성하도록 이미지 캡처 디바이스를 동작시킬 수 있다. 특히, 컴퓨팅 시스템은 조정 동안 복수의 이미지들을 캡처하도록 이미지 캡처 디바이스를 동작시킬 수 있다. 그리고, 복수의 이미지들이 캡처된다고 하면, 해당 이미지들 중 적어도 하나가 충분한 품질의 것일 가능성이 증가될 수 있다. 예를 들어, 본 명세서에서 논의되는 다른 고려 사항들 중에서도, 이미지가 블루밍의 특성들을 나타내지 않는 경우 및/또는 중요한 객체(들)가 이미지에서 보이는 경우, 이미지는 충분한 품질의 것으로 간주될 수 있다. 그럼에도 불구하고, 캡처된 이미지들 중 적어도 하나가 충분한 품질의 것이 된다고 가정하면, 컴퓨팅 시스템은 차량을 동작시키기 위한 기초로서 적어도 해당 이미지에 대응하는 이미지 데이터를 사용할 수 있다.
특정 예에서, 컴퓨팅 시스템은 와이퍼로 하여금 이미지 캡처 디바이스의 시야를 가로 질러 증분적으로 이동하게 할 수 있는 한편, 컴퓨팅 시스템은 복수의 이미지들을 캡처하도록 이미지 캡처 디바이스를 동작시킬 수 있다. 결과적으로, 이는 각각이 이미지 캡처 디바이스의 시야 내의 상이한 포지션에서의 와이퍼를 나타내는 복수의 이미지들을 생성할 수 있다. 이 예에서, 복수의 이미지들 중 적어도 하나의 특정 이미지는 와이퍼가 이미지 캡처 디바이스의 시야에서 외부 광원(예를 들어, 태양)의 적어도 일부를 차단하는 이미지일 수 있다. 이상적으로, 해당 특정 이미지는 객체(들)(예를 들어, 교통 신호등(들))가 보이는 이미지일 수도 있다. 예를 들어, 특정 이미지는 중요한 객체가 (i) 특정 이미지의 관점에서 와이퍼에 의해 차단되지 않고, (ii) 컴퓨팅 시스템에 의한 특정 이미지의 평가를 통해 검출 가능하고/하거나 식별 가능한 이미지일 수 있다. 따라서, 컴퓨팅 시스템은 차량을 동작시키기 위한 기초로서 적어도 특정 이미지를 사용할 수 있다. 다른 예들도 가능하다.
도 6a, 도 6b 및 도 7은 도 5a 및 도 5b와 연관되어 위에서 설명된 상황을 극복하는 데 도움을 주기 위해 자율-주행 차량(200)의 이미지 캡처 디바이스가 마주치는 태양광의 정도를 제어하기 위한 광-제어 피처(들)의 사용을 예시한다.
도 6a는 자율-주행 차량(200)의 이미지 캡처 디바이스가 마주치는 태양광의 정도를 제어하기 위한 와이퍼(602)의 사용을 예시한다. 그리고, 도 6b는 와이퍼(602)의 사용에 의해 충분한 품질을 갖게 된 캡처된 이미지(600)를 예시한다.
도시된 바와 같이, 컴퓨팅 시스템은 와이퍼(602)로 하여금 이미지 캡처 디바이스의 시야 내에 위치 결정되도록 하여, 이미지의 관점에서, 와이퍼(602)가 태양(504)은 적어도 부분적으로 차단하고 교통 신호등(502)은 차단하지 않게 한다. 결과적으로, 이미지 캡처 디바이스의 관점에서 태양(504)이 이미지 캡처 디바이스의 시야에 위치 결정되고 교통 신호등(502)에 실질적으로 근접하게 위치 결정됨에도 불구하고, 해당 포지션으로의 와이퍼(602)의 이동은 이미지 아티팩트를 방지하는 데 도움을 줌으로써, 캡처된 이미지(600)에서의 교통 신호등(502)의 충분한 가시성으로 이어질 수 있다. 따라서, 컴퓨팅 시스템은 교통 신호등(502)의 상부 광이 광을 방출하고 있는지 여부, 및 이에 따라 컴퓨팅 시스템이 차량(200)이 교차로(500)에서 정지하도록 동작시켜야 하는지 여부를 결정하기 위한 기초로서 이미지(600)를 사용할 수 있다.
유사하게, 도 7은 자율-주행 차량(200)의 이미지 캡처 디바이스가 마주치는 태양광의 정도를 제어하기 위한 일렉트로크로믹 디바이스(도시 생략)의 사용을 예시한다. 구체적으로, 도 7은 일렉트로크로믹 디바이스의 사용으로 인해 충분한 품질을 갖게 된 캡처된 이미지(700)를 예시한다. 즉, 컴퓨팅 시스템은 일렉트로크로믹 디바이스의 불투명도를 착색 상태로 변경하여, 일렉트로크로믹 디바이스를 통과하는 광량을 감소시키고, 이에 따라 이미지 캡처 디바이스가 마주치는 광의 정도를 감소시킬 수 있다. 결과적으로, 이미지 캡처 디바이스의 관점에서 태양(504)이 이미지 캡처 디바이스의 시야에 위치 결정되고 교통 신호등(502)에 실질적으로 근접하게 위치 결정됨에도 불구하고, 일렉트로크로믹 디바이스에 대한 이러한 조정은 블루밍을 방지하는 데 도움을 줌으로써, 캡처된 이미지(600)에서의 교통 신호등(502)의 충분한 가시성으로 이어질 수 있다. 따라서, 컴퓨팅 시스템은 교통 신호등(502)의 상부 광이 광을 방출하고 있는지 여부, 및 이에 따라 컴퓨팅 시스템이 교차로(500)에서 차량(200)이 정지하도록 동작시켜야 하는지 여부를 결정하기 위한 기초로서 이미지(600)를 사용할 수 있다. 다른 예시들도 가능하다.
추가적인 양태에서는, 캡처된 이미지의 품질에 영향을 미치게 되는 다른 상황들이 발생할 수 있고, 해당 다른 상황들을 극복하는 데에도 광-제어 피처가 도움을 줄 수 있다.
예를 들어, 이미지 캡처 디바이스는 다른 것들 중에서도 하우징의 윈드실드 또는 유리와 같은 표면을 통해 환경의 이미지들을 캡처하도록 구성될 수 있다. 그러나 불행하게도, 표면은 표면을 오염시킬 수 있는 환경의 양태들(예를 들어, 먼지 또는 기타 파편들의 축적물)에 노출될 수 있다. 일부 경우들에서는, 이러한 상황으로 인해 이미지 캡처 디바이스가 마주치는 외부 광의 정도를 크게 감소시킬 수 있어, 캡처된 이미지들의 품질을 크게 감소시킬 수 있다. 반면, 다른 경우들에서는, 이러한 상황으로 인해 이미지 캡처 디바이스가 마주치는 외부 광의 정도를 크게 증가시킬 수 있어, 캡처된 이미지들의 품질을 크게 감소시킬 수 있다. 임의의 경우, 컴퓨팅 시스템은 이러한 오염의 징후들을 검출하기 위해(예를 들어, 표면 상의 먼지 축적물을 식별하기 위해) 캡처된 이미지들을 평가할 수 있다. 그리고, 컴퓨팅 시스템이 오염의 징후들을 검출하는 경우, 컴퓨팅 시스템은 이에 응답하여 오염을 제거하기 위한 시도로 와이퍼가 이동하도록 동작시킬 수 있고, 이에 따라 이미지 캡처 디바이스가 마주치는 광의 정도를 제어하는 다른 방식을 제공할 수 있다.
다른 예에서, 이미지 캡처 디바이스는 다른 것들 중에서도 하우징의 윈드실드 또는 유리와 같은 표면을 통해 환경의 이미지들을 캡처하도록 배열될 수 있다. 그러나, 불행하게도, 표면이 손상되어버릴 수 있다(예를 들어, 유리가 긁히거나 갈라질 수 있다). 실제로, 손상은 표면을 통과하는 광량을 감소시키는 등에 의해 이미지 캡처 디바이스가 마주치는 외부 광의 정도를 크게 감소시킬 수 있고, 이는 캡처된 이미지들의 품질을 크게 감소시킬 수 있다. 그러나, 다른 경우들에서, 손상은 이미지 센서에 도달하는 미광의 양을 증가시키는 등에 의해 이미지 캡처 디바이스가 마주치는 외부 광의 정도를 크게 증가시킬 수 있고, 이 또한 캡처된 이미지들의 품질을 크게 감소시킬 수 있다. 임의의 경우, 컴퓨팅 시스템은 이러한 손상의 징후들을 검출하기 위해(예를 들어, 이미지 캡처 디바이스의 시야 밖으로부터 도달하는 미광을 검출하기 위해) 캡처된 이미지들을 평가할 수 있다. 그리고, 컴퓨팅 시스템이 손상의 징후들을 검출하는 경우, 컴퓨팅 시스템은 이에 응답하여 손상을 완화시키기 위한 시도로 와이퍼를 동작시킬 수 있다. 예를 들어, 컴퓨팅 시스템은 이에 응답하여 광이 이슈가 되는 표면의 손상된 부분을 통과하는 것을 차단하는 포지션으로, 예를 들어, 이미지 캡처 디바이스의 시야 외부의 포지션 등으로 와이퍼를 이동시킬 수 있고, 이에 따라 이미지 캡처 디바이스가 마주치는 광의 정도를 제어하기 위한 다른 방식을 제공할 수 있다. 다른 예들도 가능하다.
V. 예시적인 방법들
도 8은 예시적인 구현에 따른 방법(800)을 예시하는 흐름도이다. 도 8에 도시된 방법(800)(및 본 명세서에 개시된 다른 프로세스들 및 방법들)은 다른 가능한 시스템들 중에서, 예를 들어, 도 1 내지 도 7에 도시된 시스템들 중 임의의 것을 포함하는(또는 보다 구체적으로는, 프로세서, 및 디바이스가 본 명세서에 설명된 기능들을 수행하게 하도록 실행 가능한 명령어들을 갖는 비-일시적 컴퓨터 판독 가능 매체와 같은 그 하나 이상의 컴포넌트 또는 서브시스템에 의한) 배열 내에서 구현될 수 있는 방법을 제시한다.
본 명세서에 개시된 방법(800) 및 다른 프로세스들 및 방법들은, 예를 들어, 블록들(802-806) 중 하나 이상에 의해 예시된 바와 같은 하나 이상의 동작, 기능 또는 액션을 포함할 수 있다. 블록들이 순차적인 순서로 예시되어 있지만, 이러한 블록들은 병렬로 및/또는 본 명세서에서 설명된 것들과 상이한 순서로 수행될 수 있다. 또한, 다양한 블록들은 더 적은 수의 블록들로 결합되고, 추가 블록들로 분할되고/되거나, 원하는 구현에 기초하여 제거될 수 있다.
또한, 본 명세서에 개시된 방법(800) 및 다른 프로세스들 및 방법들에 대해, 흐름도는 본 개시내용의 하나의 가능한 구현의 기능 및 동작을 도시한다. 이와 관련하여, 각각의 블록은 프로세스의 특정 논리 기능들 또는 단계들을 구현하기 위해 프로세서에 의해 실행 가능한 하나 이상의 명령어를 포함하는 프로그램 코드의 모듈, 세그먼트 또는 그 일부를 나타낼 수 있다. 프로그램 코드는, 예를 들어, 디스크 또는 하드 드라이브를 포함하는 저장 디바이스와 같은 임의의 타입의 컴퓨터 판독 가능 매체 상에 저장될 수 있다. 컴퓨터 판독 가능 매체는, 예를 들어, 레지스터 메모리, 프로세서 캐시 및 랜덤 액세스 메모리(Random Access Memory)(RAM)와 같이 단기 동안 데이터를 저장하는 컴퓨터 판독 가능 매체와 같은 비-일시적 컴퓨터 판독 가능 매체를 포함할 수 있다. 컴퓨터 판독 가능 매체는 또한, 예를 들어, 판독 전용 메모리(read only memory)(ROM), 광학 또는 자기 디스크들, 콤팩트-디스크 판독 전용 메모리(compact-disc read only memory)(CD-ROM)와 같은 2차 또는 영구 장기 스토리지와 같은 비-일시적 매체를 포함할 수 있다. 컴퓨터 판독 가능 매체는 또한 임의의 다른 휘발성 또는 비-휘발성 저장 시스템들일 수 있다. 컴퓨터 판독 가능 매체는, 예를 들어, 컴퓨터 판독 가능 저장 매체 또는 유형의 저장 디바이스로 간주될 수 있다. 또한, 본 명세서에 개시된 방법(800) 및 다른 프로세스들 및 방법들에 대해, 도 8의 각각의 블록은 프로세스에서 특정 논리 기능들을 수행하도록 배선되는 회로를 나타낼 수 있다.
블록(802)에서, 방법(800)은 컴퓨팅 시스템이 이미지 캡처 디바이스에 의해 생성된 이미지 데이터의 품질이 이미지 캡처 디바이스가 마주치거나 또는 마주칠 것으로 예상되는 외부 광으로 인해 임계 품질보다 낮거나 또는 낮을 것으로 예상된다고 결정을 내리는 단계를 포함할 수 있다. 일반적으로, 이미지 캡처 디바이스는 차량에 커플링될 수 있고, 차량은 이미지 캡처 디바이스가 마주치는 외부 광의 정도를 제어하도록 조정 가능한 광-제어 피처를 포함할 수 있다. 또한, 블록(804)에서, 방법(800)은, 결정에 응답하여, 컴퓨팅 시스템이 이미지 캡처 디바이스가 마주치거나 또는 마주칠 것으로 예상되는 외부 광의 정도를 제어하기 위해 광-제어 피처에 대한 조정을 행하는 단계를 포함할 수 있다. 또한, 블록(806)에서, 방법(800)은 적어도 이미지 캡처 디바이스에 의해 생성된 이미지 데이터에 기초하여 차량을 동작시키는 단계를 포함할 수 있다.
도 9는 예시적인 구현에 따른 다른 방법(900)을 예시하는 흐름도이다. 블록(902)에서, 방법(900)은 컴퓨팅 시스템이 이미지 캡처 디바이스의 관점에서 광원이 이미지 캡처 디바이스의 시야 내의 객체에 근접하다고 결정을 내리는 단계를 포함할 수 있다. 여기서 다시, 이미지 캡처 디바이스는 차량에 커플링될 수 있고, 차량은 이미지 캡처 디바이스가 마주치는 외부 광의 정도를 제어하도록 조정 가능한 광-제어 피처를 포함할 수 있다. 또한, 블록(904)에서, 방법(900)은, 결정에 응답하여, 컴퓨팅 시스템이 이미지 캡처 디바이스의 시야에서 광원의 적어도 일부를 차단하도록 광-제어 피처에 조정을 행하는 단계를 포함할 수 있다.
도 10은 예시적인 구현에 따른 또 다른 방법(1000)을 예시하는 흐름도이다. 블록(1002)에서, 방법(1000)은 컴퓨팅 시스템이 이미지 캡처 디바이스의 관점에서 광원이 이미지 캡처 디바이스의 시야 내의 객체에 근접하다고 결정을 내리는 단계를 포함할 수 있다. 일반적으로, 이미지 캡처 디바이스는 차량의 일부일 수 있고, 차량은 또한 이미지 캡처 디바이스의 시야에 대해 이동 가능한 기계적 디바이스를 포함할 수 있다. 또한, 블록(1004)에서, 방법(1000)은, 결정에 응답하여, 컴퓨팅 시스템이 기계적 디바이스의 이동이 이미지 캡처 디바이스의 시야에서 광원으로부터의 광의 적어도 일부를 차단하게 하는 단계를 포함할 수 있다. 또한, 블록(1006)에서, 방법(1000)은 컴퓨팅 시스템이 이미지 캡처 디바이스에 의해 생성된 이미지 데이터에 기초하여 차량을 동작시키는 단계를 포함할 수 있다.
VI. 예시적인 컴퓨터 프로그램 제품
도 11은 예시적인 구현에 따른 컴퓨터 프로그램의 개략도이다. 일부 구현들에서, 개시된 방법들은 머신 판독 가능 포맷의 비-일시적 컴퓨터 판독 가능 저장 매체, 또는 다른 비-일시적 매체 또는 제조물 상에 인코딩된 컴퓨터 프로그램 명령어들로서 구현될 수 있다.
예시적인 구현에서, 컴퓨터 프로그램 제품(1100)은 신호 베어링 매체(1102)를 사용하여 제공되며, 이는, 하나 이상의 프로세서에 의해 실행될 때, 도 1 내지 도 10에 대해 위에서 설명된 기능 또는 기능 중 일부들을 제공할 수 있는 하나 이상의 프로그래밍 명령어(1104)를 포함할 수 있다. 일부 예들에서, 신호 베어링 매체(1102)는 하드 디스크 드라이브, CD, DVD, 디지털 테이프, 메모리, (예를 들어, 클라우드 상에) 원격으로 저장하기 위한 컴포넌트들 등과 같되, 이에 제한되지 않는 비-일시적 컴퓨터 판독 가능 매체(1106)를 포함할 수 있다. 일부 구현들에서, 신호 베어링 매체(1102)는 메모리, 판독/기입(R/W) CD들, R/W DVD들 등과 같되, 이에 제한되지 않는 컴퓨터 기록 가능 매체(1108)를 포함할 수 있다. 일부 구현들에서, 신호 베어링 매체(1102)는 디지털 및/또는 아날로그 통신 매체(예를 들어, 광섬유 케이블, 도파관, 유선 통신 링크, 무선 통신 링크 등)와 같되, 이에 제한되지 않는 통신 매체(1110)를 포함할 수 있다. 유사하게, 신호 베어링 매체(1102)는 원격 스토리지(예를 들어, 클라우드)에 대응할 수 있다. 컴퓨팅 시스템은 정보의 전송 또는 수신을 포함하여 클라우드와 정보를 공유할 수 있다. 예를 들어, 컴퓨팅 시스템은 센서들 또는 다른 엔티티로부터 획득된 정보를 증강시키기 위해 클라우드로부터 추가 정보를 수신할 수 있다. 따라서, 예를 들어, 신호 베어링 매체(1102)는 무선 형태의 통신 매체(1110)에 의해 운반될 수 있다.
하나 이상의 프로그래밍 명령어(1104)는, 예를 들어, 컴퓨터 실행 가능 및/또는 로직 구현 명령어들일 수 있다. 일부 예들에서, 도 1의 컴퓨터 시스템(112) 또는 도 3의 원격 컴퓨팅 시스템(302) 및 아마도 서버 컴퓨팅 시스템(306) 또는 도 4a의 프로세서 중 하나와 같은 컴퓨팅 디바이스는 컴퓨터 판독 가능 매체(1106), 컴퓨터 기록 가능 매체(1108) 및/또는 통신 매체(1110) 중 하나 이상에 의해 컴퓨터 시스템(112)에 운반되는 프로그래밍 명령어들(1104)에 응답하여 다양한 동작들, 기능들 또는 액션들을 제공하도록 구성될 수 있다.
비-일시적 컴퓨터 판독 가능 매체는 또한 서로 원격으로 위치될 수 있는 다수의 데이터 저장 엘리먼트들 및/또는 클라우드 간에 (예를 들어, 원격으로) 분산될 수도 있다. 저장된 명령어들 중 일부 또는 전부를 실행하는 컴퓨팅 디바이스는 도 2에 예시된 차량(200)과 같은 차량일 수 있다. 대안적으로, 저장된 명령어들 중 일부 또는 전부를 실행하는 컴퓨팅 디바이스는 서버와 같은 다른 컴퓨팅 디바이스일 수 있다.
상기 상세한 설명은 첨부 도면들을 참조하여 개시된 시스템들, 디바이스들 및 방법들의 다양한 피처들 및 동작들을 설명한다. 다양한 양태들 및 실시예들이 본 명세서에서 개시되었지만, 다른 양태들 및 실시예들도 명백할 것이다. 본 명세서에 개시된 다양한 양태들 및 실시예들은 예시를 위한 것으로서, 제한적인 것으로 의도되지 않으며, 진정한 범위는 다음의 청구 범위에 의해 나타내어진다.
VII. 결론
도면들에 도시된 특정 배열들은 제한적인 것으로 간주되어서는 안된다. 다른 구현들은 주어진 도면에 도시된 각각의 엘리먼트를 다소 포함할 수 있다는 것이 이해되어야 한다. 또한, 예시된 엘리먼트들 중 일부는 결합되거나 생략될 수 있다. 또한, 예시적인 구현은 도면들에 예시되지 않은 엘리먼트들을 포함할 수 있다.
추가적으로, 다양한 양태들 및 구현들이 본 명세서에 개시되었지만, 다른 양태들 및 구현들도 본 기술분야의 통상의 기술자에게 명백할 것이다. 본 명세서에 개시된 다양한 양태들 및 구현들은 예시의 목적을 위한 것으로서, 제한적인 것으로 의도되지 않으며, 진정한 범위 및 사상은 다음의 청구 범위에 의해 나타내어진다. 본 명세서에 제시된 대상의 사상 또는 범위를 벗어나지 않고, 다른 구현들이 활용될 수 있고, 다른 변경들도 이루어질 수 있다. 본 명세서에서 일반적으로 설명되고 도면들에 예시된 바와 같이, 본 개시내용의 양태들은 매우 다양한 상이한 구성들로 배열, 대체, 조합, 분리 및 설계될 수 있으며, 이들 모두 본 명세서에서 고려된다는 것이 쉽게 이해될 것이다.

Claims (20)

  1. 방법으로서,
    컴퓨팅 시스템에 의해, 이미지 캡처 디바이스에 의해 생성된 이미지 데이터의 품질이 상기 이미지 캡처 디바이스가 마주치거나 또는 마주칠 것으로 예상되는 외부 광으로 인해 임계 품질보다 낮거나 또는 낮을 것으로 예상된다고 결정을 내리는 단계 - 상기 이미지 캡처 디바이스는 차량에 커플링되고, 상기 차량은 상기 이미지 캡처 디바이스가 마주치는 외부 광의 정도를 제어하도록 조정 가능한 광-제어 피처를 포함함 -;
    상기 결정에 응답하여, 상기 컴퓨팅 시스템에 의해, 상기 이미지 캡처 디바이스가 마주치거나 또는 마주칠 것으로 예상되는 외부 광의 정도를 제어하기 위해 상기 광-제어 피처에 조정을 행하는 단계; 및
    적어도 상기 이미지 캡처 디바이스에 의해 생성된 이미지 데이터에 기초하여 상기 차량을 동작시키는 단계
    를 포함하는 방법.
  2. 제1항에 있어서, 상기 결정을 내리는 단계는 상기 이미지 캡처 디바이스의 관점에서 광원이 상기 이미지 캡처 디바이스의 시야 내의 객체에 근접하거나 또는 근접할 것으로 예상된다고 결정하는 단계를 포함하는 방법.
  3. 제1항에 있어서, 상기 결정을 내리는 단계는 상기 이미지 캡처 디바이스가 (i) 블루밍, (ii) 과포화, (iii) 외부 광에 대한 임계 고노출, (iv) 외부 광에 대한 임계 저노출, (v) 임계 저해상도를 갖는 이미지 데이터의 생성, 및 (vi) 객체의 검출 또는 식별에 사용할 수 없는 이미지 데이터의 생성 중 하나 이상에 직면하거나 또는 직면할 것으로 예상된다고 결정하는 단계를 포함하는 방법.
  4. 제1항에 있어서, 상기 광-제어 피처는 와이퍼를 포함하고, 상기 조정을 행하는 단계는 상기 이미지 캡처 디바이스가 마주치거나 또는 마주칠 것으로 예상되는 외부 광의 정도를 제어하기 위해 상기 와이퍼의 포지션을 조정하는 단계를 포함하는 방법.
  5. 제4항에 있어서, 상기 와이퍼의 포지션을 조정하는 단계는 상기 이미지 캡처 디바이스에 대한 그리고 외부 광을 생성하는 광원에 대한 상기 와이퍼의 포지션을 조정하는 단계를 포함하는 방법.
  6. 제4항에 있어서, 상기 이미지 캡처 디바이스는 상기 차량에 커플링되는 하우징 내에 배치되고, 상기 와이퍼는 상기 하우징에 커플링되는 방법.
  7. 제1항에 있어서, 상기 광-제어 피처는 조정 가능한 광 투과 특성들을 갖는 광-제어 디바이스를 포함하고, 상기 조정을 행하는 단계는 상기 이미지 캡처 디바이스가 마주치거나 또는 마주칠 것으로 예상되는 외부 광의 정도를 제어하기 위해 상기 광-제어 디바이스의 광 투과 특성들을 조정하는 단계를 포함하는 방법.
  8. 제7항에 있어서, 상기 광-제어 디바이스는 일렉트로크로믹 디바이스(electrochromic device)인 방법.
  9. 제1항에 있어서, 상기 조정은 상기 이미지 캡처 디바이스에 의해 생성된 이미지 데이터의 품질이 상기 임계 품질보다 높아지게 하는 것에 기초하는 방법.
  10. 제1항에 있어서, 상기 조정을 행하는 단계는 상기 이미지 캡처 디바이스가 마주치거나 또는 마주칠 것으로 예상되는 외부 광의 정도를 감소시키기 위해 상기 광-제어 피처에 조정을 행하는 단계를 포함하는 방법.
  11. 제1항에 있어서, 상기 조정을 행하는 단계는 상기 이미지 캡처 디바이스가 마주치거나 또는 마주칠 것으로 예상되는 외부 광의 정도를 증가시키기 위해 상기 광-제어 피처에 조정을 행하는 단계를 포함하는 방법.
  12. 방법으로서,
    컴퓨팅 시스템에 의해, 이미지 캡처 디바이스의 관점에서 광원이 상기 이미지 캡처 디바이스의 시야 내의 객체에 근접하다고 결정을 내리는 단계 - 상기 이미지 캡처 디바이스는 차량에 커플링되고, 상기 차량은 상기 이미지 캡처 디바이스가 마주치는 외부 광의 정도를 제어하도록 조정 가능한 광-제어 피처를 포함함 -; 및
    상기 결정에 응답하여, 상기 컴퓨팅 시스템에 의해, 상기 이미지 캡처 디바이스의 시야에서 상기 광원의 적어도 일부를 차단하도록 상기 광-제어 피처에 조정을 행하는 단계
    를 포함하는 방법.
  13. 제12항에 있어서, 상기 광원은 태양인 방법.
  14. 제12항에 있어서, 상기 객체는 교통 신호등인 방법.
  15. 제12항에 있어서,
    상기 컴퓨팅 시스템에 의해, 상기 광-제어 피처에 대한 조정 동안 이미지 데이터를 생성하기 위해 상기 이미지 캡처 디바이스를 동작시키는 단계 - 상기 이미지 데이터는 복수의 이미지들을 포함함 -; 및
    상기 컴퓨팅 시스템에 의해, 적어도 상기 이미지 캡처 디바이스에 의해 생성된 이미지 데이터에 기초하여 상기 차량을 동작시키는 단계
    를 추가로 포함하고,
    적어도 상기 이미지 캡처 디바이스에 의해 생성된 이미지 데이터에 기초하여 상기 차량을 동작시키는 단계는 상기 복수의 이미지들 중 적어도 특정 이미지에 기초하여 상기 차량을 동작시키는 단계를 포함하고, 상기 광-제어 피처는 상기 이미지 캡처 디바이스의 시야에서 상기 광원의 적어도 일부를 차단하는 방법.
  16. 제15항에 있어서, 상기 광-제어 피처에 대한 조정은 상기 이미지 캡처 디바이스의 상기 시야를 가로 질러 상기 광-제어 피처를 증분적으로 이동시키는 방법.
  17. 차량으로서,
    상기 차량 주위의 환경을 나타내는 이미지 데이터를 생성하도록 구성되는 이미지 캡처 디바이스;
    상기 이미지 캡처 디바이스의 시야에 대해 이동 가능한 기계적 디바이스; 및
    컴퓨팅 시스템
    을 포함하고,
    상기 컴퓨팅 시스템은,
    상기 이미지 캡처 디바이스의 관점에서 광원이 상기 이미지 캡처 디바이스의 시야 내의 객체에 근접하다고 결정을 내리고,
    상기 결정에 응답하여, 상기 기계적 디바이스의 이동이 상기 이미지 캡처 디바이스의 시야에서 상기 광원으로부터의 광의 적어도 일부를 차단하게 하고,
    상기 이미지 캡처 디바이스에 의해 생성된 이미지 데이터에 기초하여 상기 차량을 동작시키도록
    구성되는 차량.
  18. 제17항에 있어서, 상기 기계적 디바이스의 이동이 상기 이미지 캡처 디바이스의 시야에서 상기 광원의 적어도 일부를 차단하게 하는 것은 상기 이미지 캡처 디바이스가 마주치는 외부 광의 정도를 변경하는 증분적 이동들을 발생시키는 것을 포함하는 차량.
  19. 제17항에 있어서,
    상기 컴퓨팅 시스템은 상기 기계적 디바이스의 이동 동안 이미지 데이터를 생성하기 위해 상기 이미지 캡처 디바이스를 동작시키도록 추가로 구성되고, 상기 이미지 데이터는 복수의 이미지들을 포함하고,
    상기 이미지 캡처 디바이스에 의해 생성된 이미지 데이터에 기초하여 상기 차량을 동작시키는 것은 상기 복수의 이미지들 중 적어도 특정 이미지에 기초하여 상기 차량을 동작시키는 것을 포함하고, 상기 기계적 디바이스는 상기 이미지 캡처 디바이스의 시야에서 상기 광원의 적어도 일부를 차단하는 차량.
  20. 제19항에 있어서, 상기 특정 이미지는 또한 상기 객체가 보이는 이미지인 차량.
KR1020207019962A 2017-12-14 2018-12-03 자율-주행 차량의 이미지 캡처 디바이스가 마주치는 광의 정도를 제어하기 위한 방법들 및 시스템들 KR102366659B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/842,182 2017-12-14
US15/842,182 US10558873B2 (en) 2017-12-14 2017-12-14 Methods and systems for controlling extent of light encountered by an image capture device of a self-driving vehicle
PCT/US2018/063639 WO2019118219A1 (en) 2017-12-14 2018-12-03 Methods and systems for controlling extent of light encountered by an image capture device of a self-driving vehicle

Publications (2)

Publication Number Publication Date
KR20200086754A true KR20200086754A (ko) 2020-07-17
KR102366659B1 KR102366659B1 (ko) 2022-02-23

Family

ID=66814588

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207019962A KR102366659B1 (ko) 2017-12-14 2018-12-03 자율-주행 차량의 이미지 캡처 디바이스가 마주치는 광의 정도를 제어하기 위한 방법들 및 시스템들

Country Status (7)

Country Link
US (2) US10558873B2 (ko)
EP (1) EP3713804B1 (ko)
JP (1) JP7069318B2 (ko)
KR (1) KR102366659B1 (ko)
CN (1) CN111527016B (ko)
IL (1) IL275171B2 (ko)
WO (1) WO2019118219A1 (ko)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019186699A (ja) * 2018-04-06 2019-10-24 キヤノン株式会社 撮像装置
US10962770B2 (en) * 2018-11-02 2021-03-30 Pony Ai Inc. Method for controlling camera exposure to augment a wiper system of a sensor enclosure
US11635326B2 (en) * 2019-04-02 2023-04-25 Waymo Llc Stray-light testing station
US10791324B1 (en) * 2019-04-17 2020-09-29 Waymo Llc On-car stray-light testing cart
US11180117B2 (en) * 2019-08-31 2021-11-23 Light Labs Inc. Methods and apparatus for capturing and using images in a system including wipers
US11343435B2 (en) * 2019-12-26 2022-05-24 Waymo Llc Microlensing for real-time sensing of stray light
CN112466124A (zh) * 2020-11-30 2021-03-09 重庆长安汽车股份有限公司 前视摄像头使用场景优化方法、系统、车辆及存储介质
JP2022172945A (ja) * 2021-05-07 2022-11-17 ウーブン・プラネット・ホールディングス株式会社 遠隔支援システム及び遠隔支援方法
CN113232677A (zh) * 2021-05-10 2021-08-10 前海七剑科技(深圳)有限公司 车辆驾驶辅助控制方法、控制系统、电子设备及存储介质
JP7548191B2 (ja) * 2021-11-01 2024-09-10 トヨタ自動車株式会社 距離推定装置
US20230171503A1 (en) 2021-11-29 2023-06-01 Waymo Llc Control Window Camera Direction to Avoid Saturation from Strong Background Light and Actively Adjust the Frame Time on the Spinning Camera to Achieve Directional Control
US12046050B2 (en) 2022-04-15 2024-07-23 Toyota Research Institute, Inc. Systems and methods for detecting traffic lights using hierarchical modeling
US12080161B2 (en) 2022-04-28 2024-09-03 Toyota Research Institute, Inc. Traffic signal understandings and representation for prediction, planning, and control
US11924527B2 (en) * 2022-05-10 2024-03-05 GM Global Technology Operations LLC Optical sensor activation and fusion
DE102022130890A1 (de) 2022-11-22 2024-05-23 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Erfassen einer Lichtsignalanlage und/oder eines Wechselverkehrszeichens in einer Umgebung eines Fahrzeugs unter Berücksichtigung der Sonneneinstrahlung, Recheneinrichtung sowie System

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140045744A (ko) * 2012-10-09 2014-04-17 현대자동차주식회사 선바이저 구동 제어장치 및 방법
US20170177000A1 (en) * 2015-12-22 2017-06-22 Uber Technologies, Inc. Intelligent lens masking system for an autonomous vehicle
US20170302838A1 (en) * 2015-06-08 2017-10-19 SZ DJI Technology Co., Ltd Methods and apparatus for image processing
JP2017207340A (ja) * 2016-05-17 2017-11-24 株式会社デンソー 走行計画作成装置及びセンタ

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7339149B1 (en) * 1993-02-26 2008-03-04 Donnelly Corporation Vehicle headlight control using imaging sensor
US6009355A (en) * 1997-01-28 1999-12-28 American Calcar Inc. Multimedia information and control system for automobiles
US6049171A (en) * 1998-09-18 2000-04-11 Gentex Corporation Continuously variable headlamp control
CA2320153A1 (en) 1997-12-31 1999-07-08 Gentex Corporation Vehicle vision system
US6426492B1 (en) 1999-05-24 2002-07-30 Donnelly Corporation Electro-optic aperture for vehicular imaging system
US6666493B1 (en) 2002-12-19 2003-12-23 General Motors Corporation Automatic sun visor and solar shade system for vehicles
DE10337357A1 (de) * 2003-08-14 2005-03-10 Adc Automotive Dist Control Verfahren und Vorrichtung zur Beleuchtungssteuerung für eine Kamera
JP2006135770A (ja) 2004-11-08 2006-05-25 Denso Corp 撮像装置及び監視装置
US20060140502A1 (en) 2004-12-25 2006-06-29 Allan Tseng Active visor system for eliminating glare in field-of-vision from mobile and transient light sources and reflective surfaces
US7568751B2 (en) * 2006-03-07 2009-08-04 Asmo Co., Ltd. Automatic sun visor device
EP2351351B1 (en) 2008-10-01 2015-09-16 Connaught Electronics Limited A method and a system for detecting the presence of an impediment on a lens of an image capture device to light passing through the lens of an image capture device
US8392074B2 (en) 2009-10-23 2013-03-05 GM Global Technology Operations LLC Automatic controller for powered retractable sun visor
JP5287838B2 (ja) 2010-03-16 2013-09-11 株式会社デンソー 表示位置設定装置
JP5892876B2 (ja) 2011-07-28 2016-03-23 クラリオン株式会社 車載用環境認識装置
US10338385B2 (en) * 2011-12-14 2019-07-02 Christopher V. Beckman Shifted reality display device and environmental scanning system
JP6028382B2 (ja) 2012-04-27 2016-11-16 株式会社デンソー 前方監視カメラ
JP6120395B2 (ja) 2012-07-03 2017-04-26 クラリオン株式会社 車載装置
JP2014044196A (ja) * 2012-07-30 2014-03-13 Ricoh Co Ltd 付着物検出装置、移動装置用機器制御システム及び移動装置
US9367065B2 (en) 2013-01-25 2016-06-14 Google Inc. Modifying behavior of autonomous vehicles based on sensor blind spots and limitations
US9154697B2 (en) * 2013-12-06 2015-10-06 Google Inc. Camera selection based on occlusion of field of view
IL236114A (en) * 2014-12-07 2016-04-21 Yoav Grauer Improved object recognition in the reimbursement-based imaging unit
US10507807B2 (en) * 2015-04-28 2019-12-17 Mobileye Vision Technologies Ltd. Systems and methods for causing a vehicle response based on traffic light detection
EP3292024A4 (en) * 2015-05-06 2018-06-20 Magna Mirrors of America, Inc. Vehicle vision system with blind zone display and alert system
JP6519355B2 (ja) 2015-06-30 2019-05-29 株式会社デンソー カメラ装置及び車載システム
WO2017053040A1 (en) * 2015-09-21 2017-03-30 Proteq Technologies Llc Active glare suppression system
US9720415B2 (en) 2015-11-04 2017-08-01 Zoox, Inc. Sensor-based object-detection optimization for autonomous vehicles
US9965696B2 (en) 2015-12-31 2018-05-08 James Alves Digital camera control system
US10086956B2 (en) * 2016-01-27 2018-10-02 Amazon Technologies, Inc. Light adjustment control for cameras of an aerial vehicle
US20170219374A1 (en) 2016-01-28 2017-08-03 Toyota Motor Engineering & Manufacturing North America, Inc. Navigation system and method for determining a vehicle route optimized for maximum solar energy reception
US9702183B1 (en) * 2016-02-26 2017-07-11 Toyota Motor Engineering & Manufacturing North America, Inc. Smart sunshade for a vehicle window
WO2017153979A1 (en) * 2016-03-06 2017-09-14 Foresight Automotive Ltd. Running vehicle alerting system and method
US10356335B2 (en) * 2016-09-23 2019-07-16 Apple Inc. Camera shades
US10921142B2 (en) * 2017-12-14 2021-02-16 Waymo Llc Methods and systems for sun-aware vehicle routing

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140045744A (ko) * 2012-10-09 2014-04-17 현대자동차주식회사 선바이저 구동 제어장치 및 방법
US20170302838A1 (en) * 2015-06-08 2017-10-19 SZ DJI Technology Co., Ltd Methods and apparatus for image processing
US20170177000A1 (en) * 2015-12-22 2017-06-22 Uber Technologies, Inc. Intelligent lens masking system for an autonomous vehicle
JP2017207340A (ja) * 2016-05-17 2017-11-24 株式会社デンソー 走行計画作成装置及びセンタ

Also Published As

Publication number Publication date
IL275171B2 (en) 2024-05-01
CN111527016B (zh) 2023-06-09
US10558873B2 (en) 2020-02-11
JP2021508960A (ja) 2021-03-11
US20190188502A1 (en) 2019-06-20
KR102366659B1 (ko) 2022-02-23
US20200151468A1 (en) 2020-05-14
EP3713804B1 (en) 2025-02-12
EP3713804A1 (en) 2020-09-30
EP3713804A4 (en) 2021-07-21
JP7069318B2 (ja) 2022-05-17
IL275171B1 (en) 2024-01-01
WO2019118219A1 (en) 2019-06-20
CN111527016A (zh) 2020-08-11
IL275171A (en) 2020-07-30

Similar Documents

Publication Publication Date Title
KR102366659B1 (ko) 자율-주행 차량의 이미지 캡처 디바이스가 마주치는 광의 정도를 제어하기 위한 방법들 및 시스템들
KR102454748B1 (ko) 태양-인식 차량 라우팅을 위한 방법들 및 시스템들
CN113261278B (zh) 基于杂散光的范围识别光学检测器系统中的缺陷
US9387854B1 (en) Use of environmental information to aid image processing for autonomous vehicles
JP6270064B2 (ja) 交通信号とそれらに関連した状態を検出するためのロバスト法
US9063548B1 (en) Use of previous detections for lane marker detection
CA3085319C (en) Adjustable vertical field of view
US20240106987A1 (en) Multi-Sensor Assembly with Improved Backward View of a Vehicle
US20240373142A1 (en) Reducing Auto-Exposure Latency
US20240085693A1 (en) Replaceable, Heated, and Wipeable Apertures for Optical Systems
US20240085343A1 (en) Temporally Modulated Light Emission for Defect Detection in Light Detection and Ranging (Lidar) Devices and Cameras
US20230171503A1 (en) Control Window Camera Direction to Avoid Saturation from Strong Background Light and Actively Adjust the Frame Time on the Spinning Camera to Achieve Directional Control

Legal Events

Date Code Title Description
PA0105 International application

Patent event date: 20200709

Patent event code: PA01051R01D

Comment text: International Patent Application

PA0201 Request for examination
PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20210429

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20211210

PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20220218

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20220221

End annual number: 3

Start annual number: 1

PG1601 Publication of registration