KR101969856B1 - 주변 광의 검출 방법 및 시스템 - Google Patents

Abstract

본 발명은 주변 광을 검출하는 방법 및 시스템을 개시한다. 상기 방법은, 이미지 캡처 장치에 의해 1 이상의 눈에 보이는 이미지들을 캡처하는 단계와, 상기 캡처 된 각각의 이미지를 그레이 컬러로 변환하는 단계와, 상기 그레이 컬러로 캡처 된 이미지 각각의 히스토그램을 결정하는 단계와, 상기 결정된 히스토그램의 평균 빈도 평균값 및 데이터 평균값을 계산하는 단계와, 그리고 주변 광을 검출하기 위하여, 평균 빈도 평균값(FM)을 미리 결정된 FM 임계치와 비교하는 것과 데이터 평균값(DM)을 미리 결정된 DM 임계치와 비교하는 것 중의 적어도 하나의 비교하는 단계를 포함한다.

Description

주변 광의 검출 방법 및 시스템

본 발명은 주변 광의 검출에 관한 것으로서, 더 상세하게는, 차량을 위한 주변 광의 검출에 관한 것이다.

기존의 차량은 주변 광, 위치, 거리, 속도 등을 검출하기 위한 것과 같은, 여러 가지의 기능을 위한 다수의 센서들을 활용한다. 이러한 다수의 센서들은 해결 수단의 복잡성과 구조를 증가시키는 것은 차치하고, 주변 광 검출을 위한 시스템의 전반적인 비용을 가중시킨다.

주변 광의 감지(sensing)는 주변 광이 감지될 필요가 있는 다양한 응용분야에서 필요하다. 예를 들어, 자동차 응용분야에 대해서는, 고급 사양의 자동차에서 계기판의 백라이트 세기, 또는 GPS 장치 또는 DVD 스크린의 LCD 백라이트를 조절하기 위해 주변 광의 감지 센서가 사용된다. 또한, 주변 광은, 예컨대, 차량이 터널, 교량 하부, 수목의 수관(캐노피) 하부와 같은 곳에 진입할 때, 여러 가지의 상황에서 검출될 필요가 있다. 부가적으로, 감지된 주변 광에 입각하여 카메라 모드를 주간에서 야간으로 자동으로 조절하기 위해서도 주변 광의 감지가 필요하다.

주변 광의 검출을 위한 기존 시스템들은 포토다이오드(photo-diode) 또는 포토트랜지스터(photo-transistor)와 같은 전형적으로 광 검출용으로 사용되는 광학/포토 센서들을 활용한다. 터널 검출을 위한 기존 방법은 전형적으로 두 개의 주변 센서들을 이용한다. 제1센서는 광각의 시계를 갖는 반면, 다른 센서는 협각의 시계를 갖는다. 이것은 차량 전방의 주변 광 조건을 감지한다. 상기 센서는 빛의 급격한 변화에 빠르게 반응한다. 상기한 두 가지의 센서들의 조합은 주변환경에서 광 레벨의 양을 검출하여 차량의 전조등을 자동으로 작동 및/또는 차단한다.

현재, 주변 광 검출용 센서들은 고급 사양의 차량 모델에 장착된다. 이들 센서들은 기본적으로는 광학 센서(optical sensor)이며, 대체로 차량 내부의 윈드 스크린에 장착된다. 상기 센서들은 주위 환경에서의 다양한 광 레벨들을 추적하고 차량 전조등을 자동으로 작동 및/또는 차단한다.

그러나 기존의 시스템은 주변 광을 검출하기 위해 많은 수의 센서들을 요구한다. 이것은 비용과 시스템의 복잡성을 증가시킨다. 따라서, 주변 광을 검출하는 데에 필요한 센서들의 수를 줄이고 비용 효과적이며 단순한 해결책을 제공할 필요성이 있다.

본 발명의 여러 가지 실시예들은 주변 광을 검출하기 위한 방법과 시스템을 개시한다. 상기 방법은, 1 이상의 눈에 보이는 이미지들을 캡처(capture)하는 단계, 상기 캡처 된 이미지를 그레이 컬러(grey color) 이미지로 변환하는 단계, 상기 그레이 컬러 이미지 각각의 히스토그램(histogram)을 결정하는 단계, 상기 결정된 히스토그램의 평균 빈도 평균값(average frequency mean value: FM) 및 데이터 평균값(data mean value: DM)을 계산하는 단계; 및 하기의 단계들, 즉, a) 상기 FM을 미리 결정된 FM 임계치와 비교하고, 그리고 상기 비교된 FM이 상기 미리 결정된 FM 임계치보다 더 클 때 그 주변 광을 최적 광으로 검출하는 단계, b) 상기 FM을 미리 결정된 FM 임계치와 비교하고, 상기 DM을 미리 결정된 DM 임계치와 비교하고, 그리고 상기 비교된 FM이 상기 미리 결정된 FM 임계치보다 더 작고 상기 비교된 DM은 상기 미리 결정된 DM 임계치보다 더 클 때 그 주변 광을 최적 광으로 검출하는 단계, c) 상기 FM을 미리 결정된 FM 임계치와 비교하고, 또한 상기 DM을 미리 결정된 DM 임계치와 비교하고, 그리고 만일 상기 FM이 상기 미리 결정된 FM 임계치보다 더 작고 상기 DM은 상기 미리 결정된 DM 임계치보다 더 작다면, 식별된 관심 영역(ROI)의 FM을 소정의 미리 결정된 FM 임계치와 비교하고, 그리고 ROI의 상기 비교된 FM이 상기 미리 결정된 FM 임계치보다 더 작을 때, 주변 광을 상기 최적 광보다 더 작은 것으로 검출하는 단계 중의 어느 하나를 수행하는 단계를 포함한다.

여기에서의 일 실시예에 따르면, 상기 방법은, 상기 식별된 관심 영역(ROI)의 FM을 결정하는 단계, 상기 캡처 된 이미지에서 관심 영역을 식별하는 단계, 및 상기 FM이 상기 미리 결정된 FM 임계치보다 더 작고, 또한 상기 DM이 상기 미리 결정된 DM 임계치보다 더 작을 때, 상기 식별된 관심 영역(ROI)의 FM을 결정하는 단계를 더 포함한다.

여기에서의 일 실시예에 따르면, 상기 결정된 히스토그램의 FM을 계산하는 단계는, 미리 정의된 수의 프레임들에 대해 상기 결정된 히스토그램의 빈도 평균값을 결정하는 단계와, 그리고 상기 미리 정의된 수의 프레임들에 대해 상기 FM을 결정하는 단계를 포함한다.

여기에서의 일 실시예에 따르면, 상기 방법은 상기 검출된 주변 광이 최적 광보다 더 클 때 주간을 검출하는 단계를 더 포함하고, 그리고 상기 검출된 주변 광이 상기 최적 광보다 더 작을 때, 터널 내로의 진입 및 그로부터의 진출 가능성을 검출하는 단계를 더 포함한다.

여기에서의 일 실시예에 따르면, 상기 방법은 상기 주변 광의 1 이상의 상태의 검출에 기초하여 미리 정의된 제어 기능을 수행하는 단계를 더 포함한다.

본 발명의 또 다른 실시예에 따르면, 주변 광을 검출하는 시스템이 개시되는바, 상기 시스템은, 1 이상의 이미지를 캡처하도록 구성되는 이미지 캡처 장치와, 그리고 상기 이미지 캡처 장치에 연결되어, 하기의 과정들을 수행하도록 구성되는 프로세싱 장치를 포함하고, 상기 시스템은, 상기 캡처 된 각각의 이미지를 그레이 컬러 이미지로 변환하는 과정, 상기 그레이 컬러로 캡처 된 이미지 각각의 히스토그램을 결정하는 과정, 상기 결정된 히스토그램의 평균 빈도 평균값(FM) 및 데이터 평균값(DM)을 계산하는 과정, 및 하기의 단계들, 즉, a) 상기 FM을 미리 결정된 FM 임계치와 비교하고, 그리고 상기 비교된 FM이 상기 미리 결정된 FM 임계치보다 더 클 때 그 주변 광을 최적 광으로 검출하는 단계, b) 상기 FM을 미리 결정된 FM 임계치와 비교하고, 상기 DM을 미리 결정된 DM 임계치와 비교하고, 그리고 상기 비교된 FM이 상기 미리 결정된 FM 임계치보다 더 작고 상기 비교된 DM은 상기 미리 결정된 DM 임계치보다 더 클 때 그 주변 광을 최적 광으로 검출하는 단계, c) 상기 FM을 미리 결정된 FM 임계치와 비교하고, 상기 DM을 미리 결정된 DM 임계치와 비교하고, 그리고 만일 상기 FM이 상기 미리 결정된 FM 임계치보다 더 작고 상기 DM은 상기 미리 결정된 DM 임계치보다 더 작을 경우, 식별된 관심 영역(ROI)의 FM을 소정의 미리 결정된 FM 임계치와 비교하고, 그리고 ROI의 상기 비교된 FM이 상기 미리 결정된 FM 임계치보다 더 작을 때 주변 광을 상기 최적 광보다 더 작은 것으로 검출하는 단계 중의 어느 하나를 수행하는 과정을 포함한다.

본 발명의 전술한 측면들과 기타 특징들은 첨부한 도면과 결부하여 후술하는 설명에서 기술될 것이다.
도 1은 본 발명의 일 실시예에 따른 주변 광을 검출하기 위한 시스템의 블록도를 예시한다.
도 2는 본 발명의 일 실시예에 따른 입력 이미지 및 해당하는 히스토그램(histogram)을 예시하는 개략적인 도면이다.
도 3은 본 발명의 일 실시예에 따른 주변 광 조건들을 검출하기 위한 방법을 예시하는 흐름도이다.
도 4는 본 발명의 일 실시예에 따른 상이한 주변 광 조건들 및 해당하는 히스토그램들을 예시하는 개략적 도면이다.
도 5a 및 5b는 본 발명의 일 실시예에 따른, 낮은 대비 이미지(low contrast image) 및 양호한 대비 이미지를 갖는 주간(day time) 조건을 예시하는 개략적 도면이다.
도 6a 및 6b는 본 발명의 일 실시예에 따른, 평균 빈도 평균값(FM)이 낮지만 데이터 평균값(DM)은 높은 경우의 주간 조건을 예시하는 개략적 도면이다.
도 7a 및 7b는 본 발명의 일 실시예에 따른, 터널 가능성 조건을 예시하는 개략적 도면이다.
도 8a는 본 발명의 일 실시예에 따른 터널 진입(entering tunnel)을 예시하는 개략적인 도면이다.
도 8b는 본 발명의 일 실시예에 따른 터널내(in tunnel) 조건을 예시하는 개략적인 도면이다.
도 9a는 본 발명의 일 실시예에 따른 터널 진출(exiting tunnel) 조건을 예시하는 개략적인 도면이다.
도 9b는 본 발명의 일 실시예에 따른 터널 최종 진출(final exit tunnel) 조건을 예시하는 개략적인 도면이다.

이하, 본 발명의 실시예들이 첨부한 도면들을 참조하여 상세히 설명될 것이다. 그러나 본 발명은 상기 실시예들에만 한정되는 것은 아니다. 본 발명은 다양한 형태로 변형될 수도 있을 것이다. 따라서, 본 발명의 실시예들은 단지 본 발명의 기술분야의 전문가들에게 해당 발명을 더욱 명료하게 설명하기 위해서만 단지 제공되는 것이다. 첨부된 도면들에서, 같은 참조기호들은 같은 구성요소들을 나타내기 위해 사용된다.

본 명세서는 여러 군데에서 “일”, “하나의”, 또는 “어떤” 실시예(들)을 지칭할 수도 있다. 이것은 그러한 각각의 언급이 동일한 실시예(들)에 대한 것이라는 것, 또는 그 특징이 단지 하나의 실시예에만 적용된다는 것을 필연적으로 의미하지는 않는다. 상이한 실시예들의 단일한 특징들이 다른 실시예들을 제공하기 위해 조합될 수도 있다.

여기서 사용되는 바와 같이, 단수 형태의 표현들(“a”, “an” 및 “the”)은, 명시적으로 달리 표현되지 않는 한, 복수 형태도 또한 포함하는 것으로 의도된다. 또한, 본 명세서에서 사용될 때 “포함한다(includes/comprises)” 및/또는, “포함하는(including/comprising)”이라는 표현들은 기술된 특징들, 개체들, 과정들, 단계들, 구성요소들 및/또는 부품들의 존재를 명시하지만, 1 이상의 다른 특징들, 개체들, 과정들, 단계들, 구성요소들, 부품들 및/또는 그들의 그룹들의 존재 또는 부가를 배제하지 않는다. 여기서 사용되는 것과 같은, “및/또는(and/or)”이라는 용어는 1 이상의 상기 연관되고 열거된 항목들의 임의의 그리고 모든 조합들 및 배열들을 망라하는 것으로 의도된다.

달리 정의되지 않는다면, 여기서 사용된 모든 용어들(기술적 및 과학적 용어들을 포함하여)은 본 개시가 속하는 기술분야에서의 통상의 지식을 갖는 자에 의해 보통으로 이해되는 것과 같은 의미를 갖는다. 보통으로 사용되는 사전에 정의되는 것들과 같은 용어들은 관련 기술의 맥락에서 그것들의 의미와 일치하는 의미를 갖는 것으로 해석되어야 할 것이며, 여기에서 명시적으로 그렇게 정의되지 않는다면, 이상적이거나 과도하게 형식적인 의미로 해석되지 않을 것이라는 것을 또한 이해하여야 할 것이다. 일 실시예에서, 평균 빈도 평균값(average frequency mean value)은 FM 및 FM_avg 로서 서로 교환 가능하게 지칭된다.

본 발명은 어떤 환경에서 변화하는 주변 광 조건을 검출하기 위한 방법 및 시스템을 기술하고 있다.

도 1은 본 발명의 일 실시예에 따른 주변 광을 검출하기 위한 시스템의 블록도를 예시한다. 상기 시스템은 이미지 캡처(image capturing: 영상 포착) 장치(101), 프로세싱 장치(102), 및 디스플레이 장치(103)를 포함한다. 상기 이미지 컵처 장치(101)는 1 이상의 영상들을 캡처(capture)하도록 구성된다. 상기 프로세싱 장치(102)는 상기 캡처 장치(101)에 연결되어 캡처 된 영상을 처리한다. 상기 프로세싱 장치(102)는, 상기 캡처 된 영상 각각의 컬러를 그레이 컬러(grey color)로 변환하는 단계, 상기 변환된 그레이(grey) 컬러 영상 각각의 히스토그램을 결정하는 단계, 상기 결정된 히스토그램의 데이터 평균값(DM) 및 평균 빈도 평균값(FM)을 계산하는 단계, 주변 광을 검출하기 위하여 상기 평균 빈도 평균값을 소정의 FM 임계치와 비교하는 단계를 포함하는 과정들을 수행하도록 구성된다. 부가적으로, 상기 프로세싱 장치(102)는 주변 광을 검출하기 위하여 상기 평균 빈도 평균값이 상기 미리 결정된 FM 임계치보다 작을 때 상기 데이터 평균값을 소정의 미리 결정된 DM 임계치와 비교한다. 주변 광이 최적 광보다 작은 것으로 검출될 경우, 상기 시스템은 사용자에게 경보를 송출한다. 일 실시예에서, 시각적인 경보가 디스플레이 장치(103)에 표시된다.

일 실시예에 있어서, 상기 방법 및 시스템은 차량의 카메라(101)와 같은 탑재된 전방을 향하는 이미지 캡처 장치(101)를 이용하여 주변 광을 검출하기 위해 사용된다. 상기한 차량의 전방을 향하는 카메라는 운전자 지원 시스템(driver assistance system)의 기존의 카메라일 수도 있으며, 아니면 개장될 수도 있다.

이러한 실시예에서, 본 발명의 방법은 하기의 것들을 포함하는(그러나 그것들에 한정되지는 않는) 여러 가지의 도로 상황에서 주변 광을 검출한다:

* 정상적인 주간 광

* 터널 내부로의 진입/진출

* 터널 내부/주차장/차고/폐쇄 영역 등에 진입할 경우

* 다리 밑/수목의 캐노피로 인해 그늘진 곳 등.

차량이 운행할 때, 차량의 전방을 향하는 카메라(101)가 그 차량 전방의 주변의 이미지를 캡처(capture)한다. 이어서, 상기 캡처 된 이미지는 프로세싱 장치(102)에 의해 처리되고, 여기서 그 주변 광과 도로 광경의 조건들이 상기 프로세싱 장치의 제어 로직에 의해 검출된다. 일단 주변 광이 최적 광보다 작은 것으로 검출되면, 상기 프로세싱 장치는 사용자에게 경보를 송출한다. 일 실시예에 있어서, 경보는 디스플레이 장치(103)에 표시되는 일종의 메시지의 형태로 되어 있다. 또 다른 실시예에 있어서는, 전자제어 장치(Electronic Control Unit: ECU)(104)가 상기 검출된 주변 광에 기초해 미리 정의된 제어 기능을 수행한다. 상기 프로세싱 장치는 전조등(105)과 같은 1 이상의 차량 기능들을 차례로 제어하는 광 전자제어 장치(ECU)(104)에 신호를 전송한다. 상기 미리 정의된 제어 기능들에는 도로 조건에 따라 자동으로 전조등, 계기판의 광량, 광의 지향을 조절하는 것 등이 포함되지만, 반드시 그것들에만 한정되는 것은 아니다.

도 2는 본 발명의 일 실시예에 따른 입력 이미지 및 해당하는 히스토그램을 예시하는 개략적인 도면이다. 차량의 전방을 향하는 카메라(101)에 의해 캡처 된 이미지는 도 2(a)에 도시된 바와 같이 컬러 이미지로서, 상기 프로세싱 장치(102)는 그 캡처 된 컬러 이미지를 그레이 이미지(grey image)로 변환하고, 후속해서 상기 이미지의 히스토그램이 도 2(b)에 도시된 것과 같이 결정된다.

도 3은 본 발명의 일 실시예에 따른 주변 광 조건을 검출하기 위한 방법을 예시하는 흐름도이다. 과정 301에서, 차량 전방에 있는 주위 상황의 컬러 이미지는 전방을 향하는 카메라(101)에 의해 캡처 된다. 과정 302에서, 상기 캡처 된 컬러 이미지는 프로세싱 장치(102)에 의해 처리되어 그레이 이미지로 변환된다. 과정 303에서, 상기 처리된 이미지의 히스토그램이 결정된다. 과정 304에서, 상기 이미지의 결정된 히스토그램으로부터, 그 이미지의 평균 밝기를 제공하는 데이터의 평균(Data Mean/DM) 및 상기 히스토그램의 빈도 값들의 평균이 계산된다. 과정 305에서는, 상기 계산된 FM 값이 상기한 미리 결정된 FM 임계치와 비교된다. 과정 306에서, 상기 FM 값이 상기한 미리 결정된 FM 임계치보다 작으면 상기 계산된 DM 값은 미리 결정된 DM 임계치와 비교가 이루어진다. 과정 307에서는 상기한 비교에 기초하여, 주변 광 조건들이 확인되고, 그것을 이용하여 플래그들과 임계치들이 정의된다. 과정 308에서, 적절한 경보/경고가 상기 미리 정의된 임계치들에 관하여 DM 및 FM의 변화하는 값들에 기초하여 제공/디스플레이 된다.

본 발명의 일 실시예에 따라서, 주변 광을 검출하기 위한 시스템이 주간(day time)/충분한 주변 광 중에서 현재 부팅 되고 있다고 간주한다. 평균 빈도 평균값(average frequency mean value: FM)이 현재의 현장 광경(scene)에 대해 계산되고, 그 계산된 FM이 상기한 미리 결정된 FM 임계치와 비교된다. 만일 FM이 상기 미리 결정된 FM 임계치보다 더 크다면, 그 현장은 주간인 것으로 확인되고, 주변 광은 최적 광으로서 검출된다. 만일 FM이 상기 미리 결정된 FM 임계치보다 더 작다면, 데이터 평균값(DM)이 현재의 현장에 대해 계산되고, 그리고 만일 DM이 상기 미리 결정된 DM 임계치보다 더 크다면, 그 현장은 주간인 것으로 식별되고, 그 주변 광은 최적 광으로서 검출된다. 또한, 만일 FM이 상기 미리 결정된 FM 임계치보다 더 작고, 또한 DM도 상기 미리 결정된 DM 임계치보다 더 작다면, 이미지의 중심에서의 작은 영역(관심 영역: Region of Interest(ROI))이 선택되고, 상기 선택된 ROI에 대한 FM이 계산된다. 상기 비교된 ROI의 FM이 미리 결정된 FM 임계치보다 작을 때, 그 주변 광은 최적 광보다 작은 것으로서 검출된다.

본 발명의 또 다른 실시예에 따라서, 주변 광을 검출하기 위한 시스템이 야간(night time)/어두운 지역/주변 광이 더 작은 지역 중에서 현재 부팅 되고 있다고 간주하여 설명한다. 평균 빈도 평균값(FM) 및 데이터 평균값(DM)이 현재의 현장 광경에 대해 계산된다. 상기 FM 및 DM은 상기한 미리 결정된 임계치들과 비교된다. 만일 FM이 상기 미리 결정된 FM 임계치보다 더 크고, 또한 DM도 상기 미리 결정된 DM 임계치보다 크다면, 그 현장은 주간으로서 식별되고 그 주변 광은 최적 광으로서 검출된다. 만일 FM이 상기 미리 결정된 FM 임계치보다 더 작고, 또한 DM은 상기 미리 결정된 DM 임계치보다 크다면, 그 현장은 주간으로 식별되고 그 주변 광은 최적 광으로서 검출된다. 한편, 만일 FM이 상기 미리 결정된 FM 임계치보다 더 작고, DM도 상기 미리 결정된 DM 임계치보다 작다면, 이미지의 중심부의 작은 영역(관심 영역: ROI)이 선택되고, 이어서 상기 선택된 ROI에 대한 FM이 계산된다. 상기 비교된 ROI의 FM이 미리 결정된 FM 임계치보다 작을 때, 그 주변 광은 최적 광보다 작은 것으로서 검출된다.

여기서, “최적 광(optimal light)”이라는 용어는 미리 정의된 임계치를 초과하는 광, 밝은 광 조건, 및 주간(day time) 조건을 포함하는 의미이다(이것들에만 한정되지는 않음). 상기한 "최적 광보다 더 작은(less than optimal light)”이라는 표현은 미리 정의된 임계치 아래의 광, 낮은 광 조건, 야간(night time) 조건, 터널, 주차장, 차고, 다리 밑, 수목의 캐노피 아래 등에서의 광을 포함하지만, 이것들에만 한정되는 것은 아니다. 최적 미만의 광 조건이 검출될 때, 상기 시스템은 운전자에게 적절한 경고를 표시해주고, ECU는 적합한 차량 기능을 제어한다.

예를 들어, 상기한 실시예들 중의 하나에서, 본 발명에 따른 방법은 가능한 터널 조건- 즉, 터널 진입(entering tunnel), 터널내(in-tunnel), 및 터널 진출(exiting tunnel) 상태를 검출한다. 가능한 터널 조건의 검출을 위한 방법은 후술하는 설명에서 상세히 기술된다. 만일 상기 선택된 이미지의 ROI의 FM이 미리 결정된 FM 임계치보다 작다면, 시스템은 전방 영역에 터널이 존재할 수 있다는 것을 경고하고, 소정의 경고 메시지(예컨대, “터널 가능성 있음(possible tunnel)”)가 차량의 표시장치에 발신된다. 만일 이러한 조건이 소정 수의 프레임들('n') 동안, 예컨대, 10프레임 동안 계속되면, 경고 메시지는 “터널 진입”으로 변경되고, 이어서 “터널내(In_Tunnel)”라는 플래그가 설정될 것이다. 일단 “터널내” 플래그가 세트 되고 나면, 그 차량은 터널 지역에 있는 것으로 간주 되고, “터널 내부”라는 경고 메시지가 표시된다. FM은 터널 내 상황에 대해 모니터가 수행되고, 만일 그것이 상기 미리 결정된 FM 임계치보다 훨씬 아래로 떨어지면, 시스템은 터널 진출 조건인 것으로 경고한다. 따라서, “터널 진출” 경고 메시지가 제공되고, 또한 “터널 진출(Exit_Tunnel)” 플래그가 세트 될 것이다. 상기한 '터널 진출' 경고는 예를 들면, 15프레임 동안 표시된다. 최종 이탈은, FM이 상기 미리 결정된 FM 임계치보다 크게 될 때까지, 진출 조건의 15프레임 후에 모니터 된다. 일단 FM이 상기 미리 결정된 FM 임계치보다 더 크게 되면, 그것은 최적 광 및 주간 조건을 나타내고, 따라서 모든 플래그들은 리셋된다.

본 발명의 일 실시예에 따르면, 가능한 상황들(시나리오)을 식별하기 위해 사용되는 알고리즘은 다음과 같은 것들을 포함할 것이다:

a. 히스토그램 계산(Histogram Computation)(Total bins =256)

i. 히스토그램의 bin 값들을 계산함

ii. 256 bins 중의 최대값을 계산함

iii. Bin 값들을 최대값으로 스케일링함

b. 빈도 평균 및 데이터 평균(Frequency Mean and Data Mean)

i. 스케일링 된 bin 값들의 평균을 계산함(빈도 평균)

ii. bin 값들로부터 데이터 평균을 계산함(데이터 평균)

c. 도로 광경 식별(Road Scene Identification) - 임계치들의 설정

i. 지난 5프레임들에 대해 빈도 평균값의 평균을 계산함(FM)

ii. FM 및 DM에 대한 임계치들을 설정함(FM_THR, DM_THR, EXIT_THR)

d. 도로 광경 식별(Road Scene Identification) - 방법

i. 주간

1. If FM > FM_THR

2. Else if FM < FM_THR but DM > DM_THR

3. Else if FM < FM_THR && DM < DM_THR but FM_ROI > FM_THR

a. Counter 1= Counter 1-1;

ii. 터널 가능성(Possible Tunnel)

1. If FM < FM_THR, DM < DM_THR && FM_ROI < FM_THR

2. Counter 1 = Counter1+1;

iii. 터널 진입(Entering tunnel)

1. If Counter 1>5, in_tunnel_flag =0

2. Counter 2 =Counter 2+1;

3. Counter 2=10일 때까지 '터널 진입' 디스플레이를 반복함

4. In_tunnel_flag =1

iv. In_tunnel

1. If Counter 2 > 10 && In_tunnel_flag =1 && FM > FM_THR

v. 진출(Exit)

1. If in_tunnel_flag =1, Counter 2>10 but FM < EXIT_THR

2. Exit_flag=1

3. Counter 3 = Counter 3 + 1

vi. 최종 진출(Final Exit)

1. If Counter 3==15

2. If FM < EXIT_THR, '진출' 표기를 디스플레이

3. Else if FM > FM_THR, '주간' 표기를 디스플레이

주변 광, 즉 주간, 터널 가능성, 터널 진입, 터널내, 터널 진출 및 최종 진출 조건을 검출하기 위한 과정들이 아래에 상세하게 설명된다:

a. 히스토그램 계산(Histogram Computation)

범위의 강도(n)를 갖는 크기

의 소정의 그레이 레벨 이미지(

)에 대해, 히스토그램은 다음과 같이 계산된다:

과정 1: 히스토그램 bin 값들을 계산한다.

'p'가 이미지의 히스토그램 bin을 나타내고, 'I'가 bin인덱스를 나타내는 것으로 하면,

p_i = 강도 n_i 를 갖는 픽셀들의 총수이다.

여기서,

[식 1]

과정 2: 최대 빈도 값을 계산한다.

상기 계산된 히스토그램 bin 값들의 최대치를 계산한다. 이 값은 최대 빈도 값을 제공한다.

Max_p = max (pi) (

[식 2]

과정 3: 최대 빈도 값으로 bin 데이터를 스케일링한다.

=

[식 3]

최대 빈도 값으로 bin 데이터를 스케일링하는 것은 매 히스토그램에 대해 다른 빈도 평균값을 제공하며, 따라서 분포에 대한 정보를 제공하게 된다. 아래에서 세부 사항이 설명된다.

b. 빈도 평균 및 데이터 평균(Frequency Mean & Data Mean)

히스토그램은 빈도의 분포 또는 밝기 값들(brightness values)의 분포를 제공한다.

도 4는 본 발명의 일 실시예에 따른 상이한 주변 광 조건(상황)들 및 해당하는 히스토그램들을 예시하는 개략적 도면이다. 주간, 터널 진입, 터널내, 터널 진출 및 최종 진출(터널 외부)와 같은 여러 가지의 도로 상황들에 대한 빈도의 분포가 개시되어 있다. 상기 히스토그램들은 상이한 주변 광 조건들에 대해 생성되는 것으로서 각각의 도로 조건에 대해 상이하다. 비-정규화 히스토그램(non-normalized histogram)의 경우, 예컨대, 히스토그램 bin의 빈도들의 합은 이미지의 크기와 같고, 그리고 정규화 히스토그램(normalized histogram)의 경우에 그것은 1과 같다.

빈도의 분포에 대한 정보를 제공할 수도 있는 특이치(singular value)를 획득하기 위하여, 빈도분포의 최대 빈도 값이 계산되고, 그 히스토그램 값이 스케일링 된다.

[식 4]

상기 스케일링 된 bin 값으로부터의 빈도 평균값은 다음과 같이 계산된다:

[식 5]

여기서,

터널 진입 또는 터널 진출 조건에 대하여, 히스토그램은 각각 0 또는 255에 근사한 최고치에 이를 수 있기 때문에, 최대 빈도 값은 유사하게 유지될 것이며, 빈도 평균값도 또한 동일 범위에 존재할 것이다. 잘못된 판단을 피하기 위하여, 빈도 평균값도 또한 동일 범위에 존재할 것이기 때문에, 그 이미지의 데이터/밝기 (brightness) 평균값이 또한 비교된다.

그 이미지의 데이터 평균 또는 밝기 값은 히스토그램으로부터 계산된다. 수식 1에서 획득되는 히스토그램 값은 다음과 같이 정규화된다:

[식 6]

p_i의 범위는 0과 1 사이에 존재한다.

[식 7]

c. 현장 식별: 임계치 설정

상기 시스템은 주변 광 조건을 식별하기 위해 주간 조건 중에 켜지는(turn ON) 것으로 간주 된다. 다양한 주변 광 조건들에 대해 빈도 평균 및 데이터 평균 값들의 전형적인 범위는 다음과 같이 기술된다:

빈도 평균 및 데이터 평균값들에 대한 임계치를 계산하기 위한 2 영상들의 비교 결과

Scenario	Video1		Video2		조건
	DM	FM	DM	FM
주간	101.23	27.55	120.87	39.95	DM>80 FM<30
	113.67	74.5	68.64	29.02
	99.60	48.99	128.5	48.7
진입	40.33	24.58	78.4	24.75	DM<80 FM>30
	31.9	7.37	66.25	21.9
	19.8	11.92	49.41	21.21
터널 내부	69.5	32.86	81.06	29.96	In-tunnel flag set
	56.0	31.43	110.32	36
	69.83	36.49	111	46.2
진출	108.37	17.14	103	19.61	FM<20 DM>80 Exit flag set
	151.4	5.64	135.3	5.67
	182.2	2.31	168.27	2.69

표 1에 보이는 것과 같이, 주간 중의 밝기값의 범위는 90 내지 150 사이에서 변하는 반면, FM은 30을 초과한다. 주간과 낮은 주변 광 상황들 간에 명료하게 분간을 하기 위하여, 상기한 미리 결정된 DM 임계치는 80 (DM_THR)으로 설정된다. 차량이 다리 밑 또는 수목이 밀집한 수관의 아래를 통과할 때 특히 빈도 평균값에 있어 변동이 존재하는 것으로 관찰된다. 오류 검출을 피하기 위해, 빈도 평균의 평균값이 계산된다. 이전의 몇 개의 프레임들의 평균이 저장되고 현재의 프레임에 대해 추산된다. 상기 FM은 다음과 같이 업데이트가 이루어진다.

초기에, 첫 번째 K 프레임들의 빈도 평균값들이 일렬로 저장되고, 이어서 현재의 프레임에 대해, 이전의 K 프레임들의 평균이 다음과 같이 계산된다:

[식 8]

(현재 이미지의 FM)

FM에 대해 설정된 임계치는 30 (FM_THR)이다. 표 1에 보이는 것과 같이, 진출 조건 중, 빈도 평균값에 있어 갑작스러운 하강이 존재한다. 진출 조건과 주간 조건 간의 구별을 위하여, FM에 대한 진출 임계치는 20 (EXIT_THR)에서 설정된다.

본 시스템에 대해 정의된 임계치들

FM_THR	30
DM_THR	80
EXIT_THR	20

d. 도로 상황들을 구별하는 방법(Method to distinguish road scenes)

다음과 같은 주변 광 조건들/상황들이 본 시스템을 활용하여 식별된다: 주간(day time), 터널 가능성(possible tunnel), 터널 진입(entering tunnel), 터널 내(in tunnel), 터널 진출(exiting tunnel) 및 최종 진출(final exit).

도 5a 및 5b는 본 발명의 일 실시예에 따른, 낮은 대비 이미지(low contrast image) 및 양호한 대비 이미지를 갖는 주간 조건들을 예시하는 개략적 도면들이다. 도 5a에 도시된 바와 같이, 예컨대, FM 값은 54.2이고, DM 값은 101.2이며, FM과 DM 모두 다 그의 임계치들인 30 및 80을 각각 넘어선다. 또한, 도 5b에서도 마찬가지로, FM 값은 48.7이고, DM 값은 128.05이며, 여기서 FM과 DM 모두 다 그의 임계치들인 30 및 80을 각각 넘어선다. 그러므로 만일 FM이 상기한 미리 결정된 FM 임계치(FM_THR)보다 더 크면, 현재의 프레임은 '주간(Day Time)'으로 표기된다. 이전 프레임들의 평균이 취해지고, 따라서 만일 주변 광의 급격한 감소가 존재한다면, 그 도로 조건에 대하여 오류성 결정을 피할 수 있을 것이다.

도 6a 및 6b는 본 발명의 일 실시예에 따른, 평균 빈도 평균값(FM)이 더 낮지만, 데이터 평균값(DM)은 높은 경우의 주간 조건들을 예시하는 개략적 도면이다. 도 6b에 도시된 바와 같이, FM 값은 7.28이고, DM 값은 87.5이다. 여기서 FM은 상기 미리 결정된 FM 임계치(FM_THR) 30보다는 더 작지만, 현재 이미지의 DM은 상기 미리 결정된 DM 임계치(DM_THR) 80보다 더 크고, 따라서 현재의 프레임은 '주간'으로 표시(라벨)된다.

게다가, 도 6a에 도시된 바와 같이, FM 값은 29.02이고, DM 값은 68.64이다. 여기서, FM과 DM은 둘 다 그의 각각의 임계치 30 및 80보다 더 작으므로, 고정된 폭과 높이의 이미지 중심부에서의 관심 영역(ROI)의 추출이 이루어진다. 현재의 ROI의 FM은 상기한 미리 결정된 FM 임계치(FM_THR)와 비교되고, 만일 더 큰 것으로 발견되면, 현재의 프레임은 '주간'으로 표시된다.

7a 및 7b는 본 발명의 일 실시예에 따른, 가능한 터널 조건들을 예시하는 개략적인 도면이다. 도 6에 도시된 것과 같은 마지막 경우에서, 만일 현재의 ROI의 FM이 상기한 미리 결정된 FM 임계치(FM_THR)보다 낮으면, 현재의 프레임은 '터널 가능성'이라고 표시된다. 이러한 조건은 다섯 개의 프레임들에 이를 때까지 카운터 값(counter_1)을 증가시킴으로써 모니터링 된다.

8a및 8b는 본 발명의 일 실시예에 따른 터널 진입(entering tunnel) 및 터널내(in tunnel) 조건들을 예시하는 개략적인 도면들이다. 만일 상기한 카운터 값(counter_1)이 5보다 크면, 현재의 프레임 라벨링은 도 8a에 도시된 것과 같은 '터널 진입'으로 전환된다. 상기 카운터 값(counter_1)은 주간 상황을 만날 경우 감소된다. 다섯 프레임 후에, 터널 진입 조건은 다음의 연속적인 10 프레임들에 대해 유지되고((counter_2), 그 후에 상기한 '터널 내' 플래그가 도 8b에 도시되는 것과 같이 세트 된다. FM이 진출 임계치 (EXIT_THR) 아래로 떨어질 때까지 현재의 프레임은 '터널 내'로 표시된다.

도 9a는 본 발명의 일 실시예에 따른 터널 진출(exiting tunnel) 조건을 예시하는 개략적인 도면이다. 상기 터널 플래그가 세트 되어 있을 경우에만 상기한 터널 진출 조건들이 모니터 된다. 만일 FM이 진출 임계치(EXIT_THR) 아래로 떨어진다면, 현재의 프레임은 '터널 진출'로 표시(라벨)되고 또한 진출 카운터(counter_3)는 증가한다. 또한, 진출 중에는 밝기값이 대폭 증가하는 것이 관찰된다. 이러한 조건이 진출 조건의 오류 검출을 피하기 위해 또한 모니터 된다. 상기한 진출 조건은 약 15 프레임 동안(counter_3) 디스플레이된다. 이후에, 터널 진출 플래그가 세트 되고, 최종 진출 조건이 모니터 된다.

도 9b는 본 발명의 일 실시예에 따른 터널 최종 진출을 예시하는 개략적 도면이다. 만일 FM이 진출 임계치(EXIT_THR) 미만이면, 현재의 프레임은 '터널 진출'이라고 표시되고, 그렇지 않으면, 현재의 프레임은 '주간'으로 표시된다. 상기한 플래그들과 카운터들은 또 다른 터널 같은 조건들을 검출하기 위해 리셋된다.

상기한 3 카운터들은 하나의 상황(scene)에서 다른 상황으로 전환(switching over)하는 단계가 갑작스럽게 이루어지지 않도록 설정된다. 제1 카운터(counter_1)는 5 프레임 동안 가능한 터널 조건을 모니터한다. 상기 제1 카운터는 만일 상기한 '주간' 조건을 만난다면 감소한다. 제2 카운터(counter_2)는 터널 진입 조건을 모니터하고, 다음번 연속하는 10프레임 동안 '터널 진입' 조건을 유지한다. 제3 카운터(counter_3)는 약 15프레임 동안 터널 진출 조건을 유지한다.

두 개의 추가적인 플래그들(터널내 및 진출 플래그)은, 터널내 조건에서 주간 조건으로 그리고 진출 조건에서 주간 조건으로의 전환이 무작위적 방식으로 일어나지 않도록 하는 것을 보장한다. 일단 터널 진입이 검출되면, 터널내 플래그가 세트 되고, 이것은 진출 조건에 도달할 때까지는 다음 조건이 터널 내인 것을 보장한다. 단지 진출 플래그가 세트 된 후에만 주간 조건이 모니터 되고, 그렇지 않으면, 그것은 터널 진출로 표시된다.

본 발명의 방법 및 시스템은 단순하고 정확한 주변 광 검출 시스템이다. 본 발명의 검출 방법은 터널과 같은 조건들, 주차장, 다리 밑, 수목의 수관 등과 같은 (이들에만 한정되는 것은 아님) 다양한 낮은 광 조건들을 구별하는 데에 도움된다. 본 발명은 '터널 가능성' 및 '터널 진입'과 같은 적절한 경고를 적절하게 제공한다. 더욱이, ECU는 검출된 주변 광의 광량에 기초하여 미리 정의되어 있는 제어 기능을 수행한다. ECU는 검출된 주변 광에 기초하여 1 이상의 차량의 기능들을 제어한다. 상기한 미리 정의된 제어 기능은 전조등 조절, 계기판 조명, 도로 상태에 따른 자동적인 광 방향의 조절 등을 포함하지만, 이들에만 한정되는 것은 아니다. 본 발명에서 기술된 바와 같이, 도로 현장의 조건들과 주변 광 검출의 전체적인 분류가 단지 두 개의 파라미터들, 즉 평균 빈도 평균값(FM) 및 데이터 평균값(DM)을 이용하여 수행된다.

본 출원에서 기술되고 도면에 예시된 것들에 대하여 모든 균등한 관계들은 본 발명에 의해 모두 망라되는 것으로 의도된다. 본 발명의 실시예들을 예시하기 위해 사용된 예들은 어떤 방식으로든, 본 발명을 그것들에 적용하는 것을 제한하지 않는다. 당해 기술분야에서의 통상의 지식을 갖는 자들이라면, 세부 사항들에 대해 다양한 변형과 취사선택이 본 발명의 범위로부터 이탈하지 않고도 본 개시의 전반적인 교시의 관점에서 개발될 수도 있다는 것을 이해할 것이라는 것을 유념하여야 할 것이다.

Claims (8)

1. 주변 광을 검출하는 방법에 있어서,
   1 이상의 눈에 보이는 이미지들을 캡처(capture)하는 단계;
   상기 캡처 된 이미지를 그레이(grey) 컬러 이미지로 변환하는 단계;
   상기 그레이 컬러 이미지 각각의 히스토그램(histogram)을 결정하는 단계;
   상기 결정된 히스토그램의 평균 빈도 평균값(FM) 및 데이터 평균값(DM)을 계산하는 단계; 및
   FM 및 DM에 대한 소정의 임계치를 설정하는 단계; 및
   하기의 단계들:
   a) 상기 FM을 소정의 FM 임계치와 비교하고, 상기 비교된 FM이 상기 소정의 FM 임계치보다 더 클 때 그 주변 광을 최적 광으로 검출하는 단계;
   b) 상기 FM을 소정의 FM 임계치와 비교하고, 상기 DM을 소정의 DM 임계치와 비교하고, 그리고 상기 비교된 FM이 상기 소정의 FM 임계치보다 더 작고 상기 비교된 DM은 상기 소정의 DM 임계치보다 더 클 때 그 주변 광을 최적 광으로 검출하는 단계; 및
   c) 상기 FM을 소정의 FM 임계치와 비교하고, 또한 상기 DM을 소정의 DM 임계치와 비교하고;
   만일 상기 FM이 상기 소정의 FM 임계치보다 더 작고 상기 DM은 상기 소정의 DM 임계치보다 더 작다면,
   식별된 관심 영역(ROI)의 FM을 소정의 FM 임계치와 비교하고; 그리고
   ROI의 상기 비교된 FM이 상기 소정의 FM 임계치보다 더 작을 때 주변 광을 상기 최적 광보다 더 작은 것으로 검출하는 단계;
   중의 어느 하나를 수행하는 단계를 포함하는 방법.
   
2. 제1항에 있어서,
   상기 식별된 관심 영역(ROI)의 FM을 결정하는 단계;
   상기 캡처 된 이미지에서 관심 영역을 식별하는 단계; 및
   상기 FM이 상기 소정의 FM 임계치보다 더 작고, 또한 상기 DM이 상기 소정의 DM 임계치보다 더 작을 때, 상기 식별된 관심 영역(ROI)의 FM을 결정하는 단계를 더 포함하는 방법.
   
3. 제1항에 있어서, 상기 결정된 히스토그램의 FM을 계산하는 단계는:
   2 이상의 값으로 설정된 소정의 프레임 수에 대해 상기 결정된 히스토그램의 빈도 평균값을 결정하는 단계; 및
   상기 소정의 프레임 수에 대해 상기 FM을 결정하는 단계를 포함하는 것인 방법.
   
4. 제1항에 있어서, 상기 검출된 주변 광이 상기 최적 광보다 더 클 때, 주간(day time)을 검출하는 단계를 더 포함하는 방법.
   
5. 제1항에 있어서, 상기 검출된 주변 광이 상기 최적 광보다 더 작을 때, 터널 내로의 진입 및 그로부터의 진출 가능성을 검출하는 단계를 더 포함하는 방법.
   
6. 제1항에 있어서, 상기 주변 광의 1 이상의 상태들의 검출에 기초하여 도로 조건에 따라 자동으로 전조등, 계기판의 광량, 광의 지향을 조절하는 기능 등을 포함하는 제어 기능을 수행하는 단계를 더 포함하는 방법.
   
7. 1 이상의 이미지들을 캡처하도록 구성되는 이미지 캡처 장치;
   상기 이미지 캡처 장치에 연결되어 하기의 과정들을 수행하도록 구성되는 프로세싱 장치를 포함하는, 주변 광을 검출하는 시스템에 있어서,
   상기 캡처 된 각각의 이미지의 컬러를 그레이 컬러 이미지로 변환하는 과정;
   상기 그레이 컬러의 캡처 된 이미지 각각의 히스토그램을 결정하는 과정;
   상기 결정된 히스토그램의 평균 빈도 평균값(FM) 및 데이터 평균값(DM)을 계산하는 과정; 및
   하기의 단계들:
   a) 상기 FM을 소정의 FM 임계치와 비교하고, 상기 비교된 FM이 상기 소정의 FM 임계치보다 더 클 때 그 주변 광을 최적 광으로 검출하는 단계;
   b) 상기 FM을 소정의 FM 임계치와 비교하고, 상기 DM을 소정의 DM 임계치와 비교하고, 그리고 상기 비교된 FM이 상기 소정의 FM 임계치보다 더 작고 상기 비교된 DM은 상기 소정의 DM 임계치보다 더 클 때 그 주변 광을 최적 광으로 검출하는 단계;
   c) 상기 FM을 소정의 FM 임계치와 비교하고;
   상기 DM을 소정의 DM 임계치와 비교하고;
   만일 상기 FM이 상기 소정의 FM 임계치보다 더 작고 상기 DM은 상기 소정의 DM 임계치보다 더 작을 때,
   식별된 관심 영역(ROI)의 FM을 소정의 FM 임계치와 비교하고; 그리고
   ROI의 상기 비교된 FM이 상기 소정의 FM 임계치보다 더 작을 때 그 주변 광을 상기 최적 광보다 더 작은 것으로 검출하는 단계;
   중의 어느 하나를 수행하는 과정을 포함하는 시스템.
   
8. 제7항에 있어서,
   상기 프로세싱 장치는 또한, 상기 식별된 관심 영역(ROI)의 FM을 결정하기 위한 과정들로서,
   상기 캡처 된 이미지에서 관심 영역을 식별하는 단계; 및
   상기 FM이 상기 소정의 FM 임계치보다 더 작고, 또한 상기 DM이 상기 소정의 DM 임계치보다 더 작을 때, 상기 식별된 관심 영역(ROI)의 FM을 결정하는 단계들을 수행하도록 더 구성되는 것인 시스템.

Images