KR20020002220A - 얼굴 부위의 이미지 감지 시스템을 사용하는 에어백 전개 시스템 및 에어백 전개 여부 결정 방법 - Google Patents

Abstract

차량 점유자 에어백 전개 시스템(50)은, 차량(12)의 조수석(18)에 있는 사람(16)을 검출하고, 식별하고, 추적하며, 충돌 사고시 사람(16)의 위치에 따라 에어백(20)을 팽창시키지 않고, 부드럽게 팽창시키거나 격렬히 팽창시키기 위한 신호를 제공한다. 에어백 전개 시스템(50)은, 차량(12)의 조수석(18)을 향해 적외선 신호를 방출하는 적외선 이미터(30), 및 상기 조수석(18)에 있는 물체로부터 반사된 방사를 수신하는 적외선 검출기(34)를 사용한다. 얼굴 인식 소프트웨어를 포함하는 처리 회로(52)는, 사람(16)에 대한 필요한 검출 및 추적을 제공하기 위해 인간의 얼굴 부위를 검출하는데 사용된다. 이러한 방식으로, 시스템(50)은, 사람(16)이 조수석(18)에 없는 경우 에어백(20)이 팽창되지 않게 하고, 사람(16)이 검출되지만 에어백(20)에 너무 가까이 있는 경우 에어백(20)이 팽창되지 않게 하며, 사람(16)이 검출되지만 에어백(20)의 부드러운 팽창 범위 내에 있는 경우 부드러운 팽창을 제공한다.

Description

에어백 전개를 위해 얼굴 부위의 이미지 감지 시스템을 사용하는 인간의 존재 검출, 식별 및 추적{HUMAN PRESENCE DETECTION, IDENTIFICATION AND TRACKING USING A FACIAL FEATURE IMAGE SENSING SYSTEM FOR AIRBAG DEPLOYMENT}

본 발명은 일반적으로 에어백(airbag)을 전개하기 위한 감지 시스템에 관한 것으로, 더 구체적으로는, 반사되고, 눈에 보이지 않는 근 적외선(near-infrared) 방사(radiation)를 사용하여, 사람의 얼굴 부위(facial features)를 검출하고, 적절한 에어백 전개를 위해 에어백에 대한 사람의 위치를 결정하는 감지 시스템에 관한 것이다.

미연방 도로 교통 안전국(National Highway Traffic Safety Administration)은 1998년 이후에 제조된 모든 승용차에 탑승자 측의 에어백을 요구한다. 에어백은 수 천명의 인명을 구할 수 있지만, 더 안전한 에어백 전개 시스템은 그 이상의 인명을 구할 수 있다. 더 안전하고 더 효과적인 개선된 에어백을 요구하는 제안이 미연방 도로 교통 안전국에 의해 제출되었다. 따라서, 차량의 조수석(passenger seat)에서 사람을 검출하고, 식별하며 추적함에 따라 에어백 전개를 결정하는 개선된 에어백 전개 시스템이 그 기술 분야에서 필요하다.

미래의 에어백 전개 시스템은 차량의 조수석에서 사람을 식별하고 추적할 수 있을 것이다. 이러한 정보에 기초하여, 상기 시스템은, 사람이 조수석에 착석했는지와, 에어백 전개 도어(airbag deployment door)에 대한 사람의 체형 및 사람의 위치에 따라, 충돌 사고시 에어백을 팽창(fire)시키고, 저속으로 에어백을 팽창시키거나 정상의 고속으로 에어백을 팽창시키는지의 여부에 대한 신호를 제공할 것이다. 일예로, 조수석에서 사람이 검출되고, 에어백 도어로부터 다소 좁은 거리(예를 들어, 3인치 이내)에 있으면, 충돌 사고시 에어백은 팽창하지 않는다. 조수석에서 사람이 검출되고, 에어백 도어와 가까이(예를 들어, 3인치와 8인치 사이) 있으면, 충돌 사고시 에어백은 더 낮은 속도로 팽창한다. 조수석에서 사람이 검출되고, 에어백 도어로부터 충분히 멀리 떨어져(예를 들어, 8인치를 초과) 있으면, 충돌 사고시 에어백은 정상적으로 고속으로 팽창한다.

현재의 탑승자 감지 시스템은 일반적으로 에어백 전개를 위해 탑승자를 검출하도록 초음파 센서, 질량 센서, 적외선 센서 및/또는 전자기 센서를 포함한다. 초음파 감지 시스템은, 조수석 영역 내에 있는 물체의 움직임을 감지하고, 그 물체가 센서의 위치로부터 더 가깝거나 더 멀리 이동하는 지를 결정한다. 그러나, 초음파 센서는 그 물체의 성질을 식별하지 못하므로, 그 물체가 사람이거나 식료품 가방과 같은 다른 물체인지를 알 수 없다. 초음파 센서와 유사하게, 능동 도플러 레이더 시스템(active doppler radar systems)에 사용되는 극초단파 센서는 물체들을 추적할 수 있지만, 인간의 존재를 식별할 수 없다. 질량 센서는 가해진 압력에 기초하여 조수석에 있는 물체들을 식별하지만, 에어백에 대한 탑승자의 위치를 고려하지 않는다. 수동 IR 센서는 조수석의 열적 이미지를 포착하지만, 이러한 시스템은 매우 비싸다. 현재의 능동 IR 센서는 에어백에 대한 탑승자의 상대적인 위치를 감지하지만, 사람의 존재를 식별할 수 없다. 전자기 시스템은, 그 존재를 검출하여 물체를 식별하는데 신체 정전 용량(body capacitance)이 사용되는 LC 공진 회로를 포함하지만, 이러한 시스템은 그 물체를 추적할 수 없다.

1998년, 11월 10일에 브리드(Breed) 등에 허여된 미국 특허(제 5,835,613호)는, 차량의 탑승자 구역에 있는 사람을 식별하고, 위치를 정하고(locate), 감시하는 것을 청구하는 차량 내부 감시 시스템을 개시한다. 상기 감시 시스템은 차량 내부를 조명하는 적외선 이미터와, 그 방사를 검출하는 전하 결합 소자(CCD: Charge Couple Device) 어레이를 사용한다. CCD 어레이로부터의 출력은 연산 장치에 의해 분석되는데, 상기 연산 장치는, 조수석에 있는 내용물(content) 또는 물체를 분류하고, 식별하거나 위치를 정하기 위해 패턴 인식 알고리즘(pattern recognition algorithms)을 사용한다. 상기 미국 특허(제 5,835,613호)에 개시된 차량 점유자를 결정하기 위한 패턴 인식 시스템은, 다양한 조건 하에서 모든 종류의 조명 상황에서의 사람의 형태를 알아야 하는 복잡한 소프트웨어를 사용한다. 더욱이, 이러한 방식으로 패턴 인식을 사용하는 것은, 사람이 조수석을 돌아다님에 따라 사람을 추적할 수 있는 능력에 한계가 있다. 더욱이, 일반적인 패턴 인식에 의해 인간을 식별하고 추적할 수 있는 능력은 미심쩍은 정도로 신뢰할 수 없다. 패턴 인식은 사람 자체를 식별할 수 없고, 단지 물체의 형태만을 검출한다.

차량의 조수석에 있는 사람을 효과적으로 식별하고 추적할 수 있는 개선된 에어백 전개 센서 및 시스템이 필요하다. 그러므로, 본 발명의 목적은 차량 탑승자의 에어백 전개를 위해 그러한 감지 시스템을 제공하는 것이다.

도 1은, 본 발명의 일실시예에 따라 에어백 전개를 위한 이미지 감지 시스템에 관한 차량의 조수석에 있는 사람에 대한, 부분이 잘려진 측면도.

도 2는, 본 발명의 에어백 전개 시스템에 사용되는 비디오 카메라 및 LED 조명기의 개략도.

도 3은, 햇빛에 대한 휘도 곡선을 보여주는, 수평축 상의 파장 및 수직축 상의 발광(luminous) 에너지에 대한 그래프.

도 4는, 에어백 도어의 중심 및 법선(normal)에 대한 카메라 방위 및 위치 파라미터를 도시한 도면.

도 5는 본 발명의 에어백 전개 시스템의 블록도.

도 6은, 본 발명의 에어백 전개 시스템에 사용되는 프레임 구별 기술을 도시한 개략도.

도 7은, 본 발명의 프레임 구별 기술에 대한 시간 다이어그램.

<도면 주요 부분에 대한 부호의 설명>

12: 차량 16: 사람

18: 조수석 20: 에어백

30: 적외선 이미터 34: 적외선 검출기(카메라)

50: 에어백 전개 시스템 52: 처리 회로

본 발명의 가르침에 따라, 차량 점유자의 에어백 전개 시스템이 개시되는데, 상기 시스템은, 차량의 조수석에 있는 물체의 존재를 검출하고, 그것이 사람인지를 확인하고, 사람의 위치를 추적하여, 충돌 사고시 사람의 위치 및/또는 체형에 따라 에어백을 팽창시키지 않고, 부드럽게(soft) 팽창시키거나, 격렬히(hard) 팽창시키기 위한 신호를 제공한다. 에어백 전개 시스템은, 적외선 신호를 차량의 조수석으로 방출하는 단파장 적외선 이미터와, 조수석에 있는 물체로부터 반사된 적외선 조명(illumination)을 수신하는, 비디오 신호 어레이로 사용되는 CMOS 센서와 같은 적외선 검출기를 사용한다. 얼굴 인식 소프트웨어를 포함하는 처리 회로는, 필요한 신뢰성있는 사람의 검출, 식별, 및 추적을 제공하기 위해 사람의 얼굴을 검출하는데 사용된다. 이러한 방식으로, 상기 시스템은, 사람이 조수석에 없는 경우, 에어백을 팽창시키지 않고, 사람이 검출되지만 에어백과 너무 가까이 있는 경우, 에어백을 팽창시키지 않고, 사람이 검출되지만 에어백의 부드러운 팽창 범위 내에 있는 경우, 부드러운 팽창을 제공한다. 또한, 사람이 어린이 또는 소녀인 경우, 시스템은 에어백을 팽창 못하게 할 수 있다.

본 발명의 추가 목적, 장점 및 특성은 첨부 도면과 관련하여 취해지는 이후의 설명 및 첨부된 청구항에서 명백해질 것이다.

사람의 얼굴 부위 인식을 사용하는 에어백 전개 시스템에 대한 바람직한 실시예의 이후의 논의는 사실상 단지 예시적이고, 본 발명 또는 본 발명의 응용 또는용법을 조금도 한정하지 않는다.

본 발명의 일실시예에 따라, 차량의 조수석에 있는 사람을 검출하고, 식별하고, 추적하기 위한 기술이 개시된다. 전술한 바와 같이, 사람이 차량의 조수석에 있는 지의 여부와 사람이 에어백 도어에 인접해있는 지의 여부와 사람의 체형에 따라, 충돌 사고시 차량의 탑승자 측의 에어백을 저속으로 전개하거나, 에어백을 전개하지 않는 것이 때때로 바람직하다. 본 발명에 따라, 사람의 식별 및 추적은, 얼굴 인식 소프트웨어, 특히, 사람의 안구 및 다른 얼굴 부위를 인식하고 추적하는 소프트웨어에 의해 결정된다. 추적은 여러 가지 머리 각도 및 자세에서 그러한 방식을 발생시킬 수 있다. 상기 소프트웨어 알고리즘은 범위를 추정하기 위해 교정된(calibrated) 얼굴 및 생김새의 거리(feature separation)를 사용한다. 인간의 얼굴상의 국한된 영역의 추적은, 초당 더 많은 이미지 프레임이 획득될 수 있도록 하여, 더 빈번한 사람의 추적을 허용한다. 얼굴 부위를 더 빈번히 추적하는 것은 흐릿한 이미지의 획득을 예방하는데, 그 이유는 상기 이미지가 더 자주 갱신되기 때문이다.

분석되는 물체로부터 수신되는 비디오 데이터 패턴으로부터의 데이터를 처리하고, 물체가 얼굴을 갖는지의 여부를 결정하는 다양한 소프트웨어가 종래 기술에 알려져 있다. 예를 들어, 그러한 소프트웨어는 당업자에게 잘 알려진 Visionics Face-It 소프트웨어를 포함한다. 본 발명이, 임의의 특정한 얼굴 부위 매핑(mapping) 기능에 한정되지 않지만, 2차원 또는 3차원이든지 간에 얼굴 부위를 인식하기 위해 본 명세서에 설명된 목적에 적합하고, 게다가 기능의 범위를 정하는데 또한 사용될 수 있는, 임의의 알려진 알고리즘을 포함할 수 있다는 것이 강조된다. 더욱이, 본 발명에 따라, 알고리즘의 범위를 정하는 것은 알려진 얼굴 인식 소프트웨어와 함께 사용된다.

이후에 구체적으로 논의되는 바와 같이, 본 발명은, 차량의 탑승자 구역 중 탑승자 측에 있는 물체로부터 반사되며, 전자 비디오 카메라에 의해 수신되는 적외선 방사를 사용한다. 비디오 카메라는, 사람의 존재의 식별 및 추적을 결정하기 위해 얼굴 인식 소프트웨어에 의해 사용되는 전자 신호 및 이미지를 생성한다.

도 1은 차량(12)의 탑승자 측의 구역(10)에 대한, 부분이 절단된 측면도이다. 이 도면에서, 사람(16)은 조수석(18)에 있는 것으로 도시되는데, 여기서 사람(16)은 충돌 사고시 앞으로 이동한다. 에어백 쿠션(pillow)(20)은, 충돌시 계기판(22)에 수용된 에어백 도어(24)를 통해 전개되는 것으로 도시된다.

비디오 카메라 및 IR LED 조명기 유닛(26)은, 본 명세서에 설명된 목적에 적합한 위치에 있는 계기판(22) 상에 장착된다. 도 2는 차량(12)에서 분리되는 유닛(26)의 개략도이다. 유닛(26)은 IR LED(30)의 클러스터(cluster)(28)를 포함한다. 복수의 LED(30)는 낮 동안의 동작을 위해 필요한 세기를 생성하는데 제공된다. 클러스터(28)는 IR 방사 빔을 사람(16)을 향해 방출하는데, 상기 빔은 사람으로부터 유닛(26)으로 다시 반사된다. 비디오 카메라(34)는 유닛(26)에 제공되어, 사람(16)으로부터 반사된 방사를 수신한다. 본 명세서에 설명된 목적에 적합한 적외선 방사를 검출하는 임의의 검출기가 사용될 수 있다는 점에서, 비디오 카메라(34)는 한정되지 않은 예를 통해 사용된다.

필터(36)는, 원하는 적외선 범위 내에 없는 방사를 제거(filter out)하기 위해 카메라(34) 상에 제공된다. 필터(36)는, TiO₂필터 또는 편광 필터와 같은 본 명세서에 설명된 목적에 적합한 임의의 필터일 수 있다. IR 이미지는 검출기에 전달하지만, 그 검출기로부터 나오는 시각적 이미지는 반사하도록, 필터의 층 및 두께가 선택될 수 있다. 편광 필터는, IR 파장을 통과시키지만, 비-IR 파장을 강하게 감쇠시키는 전기-광학(electro-optical) 편광을 사용하여 검출기에 대한 가시광선을 감소시키는데 사용될 수 있다. 도 3은 햇빛에 대한 휘도 곡선을 도시하는데, 여기서 필터(36)는 40nm의 대역폭의 윈도우에서 적외선 방사를 통과시킨다. 필터(36)는, 에어백 전개 시스템의 동작, 및 사람(16)의 얼굴에 대한 인식에 영향을 줄 수 있는 햇빛에 대해 약간의 보호를 제공한다.

본 발명의 이러한 실시예에서, 하나의 카메라는, 사람(16)의 범위를 포착하고 감시하는데 사용된다. 이러한 기능을 수행하는데 사용되는 소프트웨어는, 그 범위를 정하는 것을 제공하기 위해 탑승자의 얼굴상의 2개로 분리된 위치를 이용한다. 바람직한 실시예에서, 사람의 안구는, 범위를 정하는 목적을 위해 삼각 분할(triangulation)을 제공하도록 검출된다. 그러나, 당업자에 의해 인지되는 바와 같이, 사람의 귀 등과 같은 사람(16)의 다른 얼굴 부위가 또한 사용될 수 있다. 또한, 소프트웨어 알고리즘은 사람의 머리 크기가 결정되도록 하여, 사람이 포착된 후에는 사람을 추적하기 위해 양쪽 안구를 조사할 필요가 없다. 더욱이, 얼굴 부위 또는 머리 크기의 검출과 관련하여, 사람의 몸통(torso)과 같은 사람의 신체의 다른 부분을 조사하는데 상기 소프트웨어가 사용될 수 있다.

인간의 얼굴 부위는 고유하기 때문에, 데이터베이스는 사람에 대해 안구와 안구 사이의 분리 간격(eye-to-eye separation)과 같은 특정한 정보를 저장하는데 사용될 수 있으므로, 소프트웨어는 특히 그러한 사람을 식별할 수 있다. 일예로 이것은 중요한데, 그 이유는, 정부 위임 규제에 의해 요구된 바와 같이, 시스템이 아이들 및 20%의 여성을 식별할 수 있고, 이러한 사람들에게 에어백을 팽창 못하게 할 수 있기 때문이다. 또한, 특히 사람을 식별할 수 있는 것은 시스템의 범위를 정하는 정확성을 향상시키는데, 그 이유는, 시스템이 그 사람의 안구의 분리 간격 또는 다른 특정한 얼굴 부위를 인식하기 때문이다.

포착 및 추적 소프트웨어는 특정한 좌석 위치, 에어백 위치, 차량 구조 등에 대해 교정할 필요가 있다. 도 4는 에어백 도어(24)의 중심 및 법선에 대한 카메라 방위 및 위치 파라미터에 대한 도면이다. 카메라 및 Visionics Face-It 소프트웨어가 교정한 후에 본 발명에 따라 범위를 정하기 위해 차량에서 추정되어야 하는 3개의 파라미터는 2개의 위치 오프셋(offsets) 및 하나의 각도 오프셋을 포함한다. 2개의 위치 오프셋은, 에어백 도어(24)의 중심에서 법선 벡터와 측면 및 수직으로 측정되는, 에어백의 중심에 대해 카메라(34)의 측면 오프셋(), 및 에어백 도어(24)의 중심에서 법선과 평행한 축을 따라 측정되는, 에어백 도어(24)의 중심에 대한 카메라(34)의 전방 또는 후방 오프셋()이다. 각도 파라미터는, 카메라(34)의 광축과 에어백(20)의 중심에서 나오는 법선 벡터 사이의 방위각 오프셋()이다. 3개의 파라미터 중 단지 2개, 즉및는 변경된 단안(monocular) 거리 수학식에 사용된다.

아래에 설명되는 교정 절차는,및를 결정하는데 사용될 수 있다. 다수의 교정 지점을 측정하는 것과, 상기 다수의 교정 지점 사이에서 선형적으로 보간(interpolating)하는 것 사이, 또는 소수의 교정 지점을 측정하는 것과, 상기 소수의 교정 지점 사이에서 비선형적으로 보간하는 것은 각기 일장일단(trade off)이 있다. 이론적으로, 다수의 지점으로 교정하는 것은 본 명세서에 설명되는 추정용 모델을 요구하지 않는다. 주먹구구식(brute force)의 교정에 필요한 다수의 측정을 하는데 드는 비용, 및 카메라(34) 또는 소프트웨어의 동작이 범위를 벗어나서 주먹구구식의 교정에 대해 무시되는 것으로 발생할 가능성은 그러한 접근법을 사용하기 전에 고려되어야 한다. 본 명세서에 사용되는 접근법은 보간용 모델을 형성하기 위해 소수의 교정 시험을 사용한다.

도 4로부터, 다음 수학식은, 카메라 렌즈 기준 프레임(xyz)에서 이루어지는 측정과 에어백 도어 기준 프레임(xyz)에서 이루어지는 측정을 관련시키기 위해 쓰여질 수 있다. 에어백 도어의 전방의 단지 얼굴의 위치(x>0)는 다음 수학식에서 고려된다. 카메라의 원통 좌표계에서 정의되는 ρ, θ(피치 또는 앙각) 및(편요각 또는 방위각)에 대해, 에어백 좌표계에서의 변위(x 및 y)에 대한 수학식은 다음과 같다:

이것은가 교정할 동안 고정되는 것으로 간주한다. 수학식 1 및 수학식 2를 다시 정리하면 다음 식을 산출한다:

고정된에서 안구의 좌표 판독 측정을 하고 난 후, y의 변화에 대해 탄젠트의 기울기를 취하면, 다음을 산출한다:

x, 및 수학식 4의 우측의 결과를 앎으로써,가 결정될 수 있다.를 앎으로써, 수학식 3 및 그 측정된 데이터는를 결정하는데 사용될 수 있다. 그 다음에,,, 수학식 3 및 그 데이터를 사용함으로써가 결정될 수 있다. 수학식 3, 및 다음의 수학식 5를 사용함으로써,

변경된 단안 수학식은 물체 파라미터(x), 또는 에어백과 눈과의 거리를 정의하기 위해 수학식 6에 따른다.

교정 테이블은, 카메라의 좌표계에서 볼 수 있듯이, 연관된 선 기울기(ray slope)에 링크(linked)된 픽셀 값으로서 SDK 결정된 안구의 좌표의 룩업 테이블로 구성된다. 수학식 6은 선 기울기(단일 각의 탄젠트)에 관해 간소화될 수 있으므로, 교정 테이블은 단안 동작으로부터 안구와 에어백간의 거리를 결정하는데 직접 사용될 수 있다. 아래의 수학식 7에서 탄젠트의 삼각 항등식을 사용하고,

이 항등식을 수학식 6에 적용하면, 교정 룩업 테이블로부터 탄젠트/기울기를 직접 구함으로써 사용될 수 있는 형태로 변경된 단안 수학식을 얻을 수 있다. 이 수학식은 아래의 수학식 8로 주어진다.

도 5는 디지털 신호 프로세서(DSP)(52)를 포함하는 본 발명의 이미지 시스템(50)의 블록도이다. DSP(52)는 카메라(34)에 의해 생성된 이미지 상에서 분석을 수행하는 얼굴 인식 소프트웨어 및 범위를 정하는 기능을 포함한다. 클록 생성기(60)는 시스템(50)에 있는 여러 가지 디지털 장치에 타이밍(timing)을 제공하고, 전력 관리 시스템(62)은 전력을 제공한다. DSP(52)는, 카메라(34)와 같은 IR 검출기를 나타내는 픽셀 어레이(72)를 포함하는 CMOS 칩(70)에 연결된다. 이 예에서, 픽셀 어레이(72)는 원하는 레벨의 해상도를 제공하기 위해 256×256 픽셀을 포함한다. CMOS 칩(70)은, 타이밍 및 제어의 목적을 위해 상태 매칭 논리 회로(74), 클록/타이밍 회로(76), 아날로그 조절(conditioning) 회로(78), 레지스터/버퍼(80), 온-칩(on-chip)의 프로그래밍가능한 논리 회로(82), 등을 포함하는 여러 가지 소자를 또한 포함한다. 더욱이, 아날로그/디지털 변환기(84)는 픽셀 어레이(72)로부터의 아날로그 신호를 전형적인 디지털 신호로 변환하도록 또한 제공된다. 저장 목적을 위해 온-칩의 SRAM 메모리(86)가 도시되지만, 또한 오프-칩일 수 있다. 본 명세서에 설명된 시스템의 이러한 장치의 동작은 당업자에게 명백하다.

일실시예에서, 적외선 LED(30)는 카메라(34)에 의해 수신되는 반사된 방사를 제공하기 위해 계속해서 온(on)된다. 그러나, 일반적으로 몇몇 종류의 필터링(filtering) 또는 신호 처리는, 필터(36)를 통해 바로 들어오는 햇빛에 의하여 카메라(34) 상에 야기되는 문제를 정정하기 위해 이루어져야 한다. 특히, 시스템(50)은, 햇빛에 의해 야기되는 그림자와 점유자(16)의 생김새에 대한 실제 에지(edges) 사이를 구별할 수 있는 것이 필요하다. 본 발명에 따라, 프레임 구별(differencing) 기술이 사용되는데, 이 기술은, LED(30)를 미리 결정된 시간기간 및 미리 결정된 수의 비디오 데이터 프레임에 대해서는 동기적으로 펄스 온하고, 그 다음에 동일한 수의 비디오 데이터 프레임에 걸친 미리 결정된 시간 기간에 대해서는 펄스 오프한다. 그 다음에, 데이터의 프레임은 서로 감산되어, IR 조명이 없는 프레임은 IR 조명을 갖는 프레임으로부터 감산될 수 있고, 그 배경(background)은 제거될 수 있다. 검출기는 노출 제어를 제공하기 위해 그 펄스와 동기적으로 전기적으로 차단(shuttered)된다. 본 명세서에 설명되는 프레임 구별 기술은 원하는 결과를 달성하기 위해 적외선 펄싱과 관련하여 사용된다. 달리 말하면, 프레임 구별은 적외선 펄스와 동기화된다.

프레임 구별의 개념은, 자연 조명만을 사용하고, 또한 자연 조명과 추가된 적외선 조명과 함께 사용하는 이미지의 시간-애퍼쳐(time-aperture), 픽셀-레벨 저장이다. 프레임 구별은, 강한 가시적 조명의 영향을 경감시키기 위해 이러한 이미지를 감산시킨다. 셋업(set-up)은, 아날로그/디지털 변환기 입력을 극대화하기 위해 최악의 경우의 배경에 더하여 IR 조명을 설정하는 중간 밀도 필터(neutral density filter)를 포함한다. 얼굴 인식은, 구별된 이미지에 대한 최악의 경우의 아날로그/디지털 범위가 5 내지 6비트인 것을 필요로 한다. 가시 광선은 아날로그/디지털 변환기에 의해 허용되는 나머지 범위 내에 적합하다. 이미지 구별은, 두개의 픽셀 레벨 커패시터가 각 조명 레벨로서 충전되는 아날로그 영역에서, 또는 디지털화된 픽셀 출력의 RAM 메모리가 각 조명에서 취해지는 디지털 영역에서 수행된다. 프레임 구별은, 가시 조명의 조명 효과를 감산하고, 그 이미지 콘트라스트(contrast)를 증가시키도록 동작한다. 프레임 구별 기능은 포착/높은 대역폭 생성 모드에서, 또는 펄스된 LED 조명을 사용하는 협대역폭 추적 모드에서 수행될 수 있다. 펄스된 IR 광원으로부터의 전자의 수는 주위의 조명의 광자 잡음보다 10배 더 커야 한다. 여기서, 주위의 조명의 잡음은 햇빛의 세기 내의인데, 그 이유는, 2개의 이미지 프레임이 수용된 하나의 IR 이미지마다 포착되기 때문이다.

도 6은 본 발명의 일실시예에 따라, 프레임 구별이 카메라(34)에서 어떻게 수행되는지에 대한 도면이다. 도 7은 본 발명의 프레임 구별 기술의 동작을 보여주는 신호 타이밍 라인이다. 카메라(34)의 픽셀 어레이(90)는 LED(30)로부터의 IR의 펄스 기간 동안 미리 결정된 시간 기간(10㎲)에 신(scene)으로부터 방사를 수신한다. 이 때에, 픽셀 어레이(90)는 주위의 광 및 적외선 광을 수신한다. 그 다음에, 어레이(90)에 있는 각 픽셀 즉 포토다이오드(92)에 의해 저장된 전하는, 각 픽셀(92)마다 하나의 커패시터(96)가 있는 복수의 커패시터로 이루어진 전하 저장 사이트(94)로 전달된다. 클러스터(28)로부터의 펄스의 종단에서 약 10㎲ 후에, 픽셀 어레이(90)는 동일한 시간 기간 동안 단지 주위의 광만을 검출한다. 이러한 시간 기간에 픽셀 어레이(90)에 의해 수용되는 전하는 커패시터(100)를 갖는 커패시터 저장 사이트(98)에 저장된다. 전자 셔터(shutter)는, 본 명세서에 설명된 동작을 위해 적절한 시간에 IR 방사의 펄스와 동기적으로 개폐하기 위해 검출기에 사용된다.

2개의 저장 사이트(94 및 98)는 합산 증폭기(summation amplifier)(102)에서 합산된다. 그 다음에, 2개의 저장 사이트(94 및 98) 사이의 차이는, 아날로그/디지털 변환기(104)에 의해 디지털화되고, 주위의 광이 제거된 데이터의 프레임을 나타낸다. 데이터 판독은 약 10ms가 걸리고, 그 다음에, 다음 시간 기간에서, 클러스터(28)로부터의 다음 펄스가 발생한다. 완전한 프레임 구별 과정은, 픽셀 어레이(90) 및 저장 사이트(94 및 98)가 함께 존재하는 CMOS의 단일 칩 상에서 수행될 수 있다. 대안적인 실시예에서, 프레임 구별은 오프-칩 사이트에서 상이한 시간 기간에서 수행되는데, 여기서 저장 사이트(94 및 98)는 RAM이다.

본 발명의 프레임 구별 기술은 이후의 방식으로 설명될 수 있다. 변수는, 주위의 조명{I(x,y)}, 직접적인 주위의 조명{T(x,y)}, 신 반사율{R(x,y)}, 및 온일 때 L이고, 오프일 때 0으로 변조되는 소스로 한정된다. 카메라(34)의 응답은 반사율과 조명의 곱과 비례한다.

S(x,y,OFF)=k^*{I(x,y)^*R(x,y)}

S^*(x,y,ON)=k^*{(L+I(x,y)}^*R(x,y)}+T(x,y)

D(x,y)=S(x,y,ON)-S(x,y,OFF)=KL^*R(x,y)

이러한 차이의 신은 간단한 이미지{S(x,y,OFF)}보다 훨씬 더 적은 동적 범위를 갖는다. 동일한 이익은, LED하에서 프레임을 판독하고 나서, LED가 없이 프레임을 판독하고, 카메라(34)의 외부에서 프레임을 감산함으로써 유도될 수 있다. 불리한 점은, 포화(saturation)를 피하는데 요구되는 증가된 동적 범위이다.

L은 I 상의 광자 잡음보다 훨씬 더 커야 한다. 따라서, I는, 주파수에서 L에 정렬되는 협대역 필터를 사용함으로써 가능한 한 적게 이루어진다. 로우(raw) 샘플링 속도는 물체 추적에 의해 설정된 필요 조건의 2배이어야 하는데, 그 이유는, 얼굴 인식 소프트웨어에 공급하기 위한 하나의 프레임을 얻기 위해, 2개의 프레임이 구별되기 때문이다. LED(30)는 훨씬 더 빨라야 한다. IR 방사 소스는, 모든 방출이 모든 검출기가 활성화될 때의 시간 동안 이루어지도록, 변조되어야 한다. 검출기의 모든 픽셀에 대한 집적 시간(integration time)이 정렬되지 않는다면, 온될 소스가 온될 수 있는 가능한 시간은 최악의 경우의 오정렬(misalignment)에 의해 감소된다.

전술한 논의는 본 발명의 단지 예시적인 실시예를 개시하고 설명한다. 예를 들어, 펄스된 레이저 다이오드는 LED 대신 사용될 수 있다. 당업자는 그러한 논의로부터 및 첨부 도면으로부터 쉽게 인식할 것이고, 청구항, 그러한 다양한 변화, 변형 및 변경이 이후의 청구항에 한정된 바와 같이 본 발명의 사상 및 범주에서 벗어나지 않고도 이루어질 수 있다.

상술한 바와 같이, 본 발명은 일반적으로 에어백을 전개하기 위한 감지 시스템 등에 이용된다.

Claims (26)

1. 탑승자를 억누르기 위해 차량의 탑승자 측의 에어백을 전개(deploying)하기 위한 시스템으로서, 상기 에어백은 조수석(passenger seat) 전방에 있는 상기 차량의 계기판에 장착되는, 에어백 전개 시스템으로서,

   상기 조수석으로 향하게 되는 적외선 빔을 생성하는 적외선 소스와,

   상기 조수석에 있는 물체로부터 반사되는 적외선 방사에 반응하는 적외선 검출기로서, 상기 검출기는 상기 반사된 적외선 방사에 기초하여 상기 조수석에 있는 물체의 이미지를 나타내는 신호를 생성하는, 적외선 검출기와,

   상기 검출기로부터의 상기 이미지에 반응하는 프로세서로서, 상기 프로세서는, 상기 탑승자의 얼굴 부위(facial features)를 식별하고, 포착하고 추적하는 얼굴 인식 소프트웨어를 포함하고, 상기 프로세서는, 상기 탑승자가 상기 조수석에서 검출되고, 상기 계기판에서 미리 결정된 거리로 떨어져 있는 경우에 충돌 사고시 상기 에어백을 전개시키는, 프로세서를

   포함하는, 에어백 전개 시스템.
2. 제 1항에 있어서, 상기 적외선 소스는 적외선 발광 다이오드의 클러스터(cluster)인, 에어백 전개 시스템.
3. 제 2항에 있어서, 상기 적외선 검출기는 전자 비디오 카메라인, 에어백 전개시스템.
4. 제 3항에 있어서, LED의 상기 클러스터 및 상기 전자 카메라는 상기 조수석의 전방에 있는 계기판에 장착된 단일 유닛으로서 제공되는, 에어백 전개 시스템.
5. 제 1항에 있어서, 상기 프로세서는 상기 탑승자의 안구를 추적하는, 에어백 전개 시스템.
6. 제 5항에 있어서, 상기 프로세서는, 상기 탑승자의 눈의 분리 간격 거리에 의해 상기 탑승자가 계기판에서 떨어진 거리를 결정하는, 에어백 전개 시스템.
7. 제 1항에 있어서, 상기 프로세서는, 상기 탑승자의 얼굴 상의 2개의 위치 사이의 거리에 의해 상기 탑승자가 계기판에서 떨어진 거리를 결정하는, 에어백 전개 시스템.
8. 제 1항에 있어서, 상기 검출기 전방에 위치한 적외선 필터를 더 포함하는, 에어백 전개 시스템.
9. 제 1항에 있어서, 상기 적외선 검출기는 포토다이오드의 픽셀 어레이를 포함하는, 에어백 전개 시스템.
10. 제 1항에 있어서, 상기 적외선 소스는 미리 결정된 간격에서 미리 결정된 시간 동안 펄스 온되는(pulsed on), 에어백 전개 시스템.
11. 제 10항에 있어서, 상기 펄스된 소스 및 상기 검출기는 동기화되어, 연속적인 프레임의 차이는 주위의 광 변동에 영향을 받지 않는 이미지를 나타내는, 에어백 전개 시스템.
12. 제 11항에 있어서, 상기 연속적인 프레임의 차이는 상기 검출기에 의해 직접 수행되는, 에어백 전개 시스템.
13. 제 1항에 있어서, 데이터의 프레임은, 가시 광선을 감산하기 위해 상기 소스가 온되고, 오프될 때 상기 검출기에 저장되는, 에어백 전개 시스템.
14. 제 1항에 있어서, 상기 프로세서는 특정한 사람에 대한 정보를 저장하는 데이터베이스를 포함하고, 상기 프로세서는 상기 탑승자를 식별하기 위해 상기 데이터베이스를 사용하는, 에어백 전개 시스템.
15. 탑승객을 억누르기 위해 차량의 탑승자 측의 에어백을 전개하기 위한 시스템으로서, 상기 에어백은 조수석 전방에 있는 상기 차량의 계기판에 장착되는, 에어백 전개 시스템으로서,

    상기 조수석으로 향하게 되는 적외선 빔을 생성하는 적외선 소스와,

    상기 조수석에 있는 물체로부터 반사되는 적외선 방사에 반응하는 적외선 검출기로서, 상기 검출기는 상기 반사된 적외선 방사에 기초하여 상기 조수석에 있는 물체의 이미지를 나타내는 신호를 생성하고, 상기 소스 및 검출기는 상기 계기판에 장착된 단일 유닛의 부분인, 적외선 검출기와,

    상기 검출기로부터의 상기 이미지에 반응하는 프로세서로서, 상기 프로세서는, 상기 탑승자의 얼굴 부위를 식별하고, 포착하고 추적하는 얼굴 인식 소프트웨어를 포함하고, 상기 프로세서는, 상기 탑승자가 상기 조수석에서 검출되고, 상기 계기판에서 미리 결정된 거리로 떨어져 있는 경우에 충돌 사고시 상기 에어백을 전개시키며, 여기서 상기 프로세서는 상기 탑승자의 안구를 추적하고, 상기 탑승자의 안구의 분리 간격 거리에 의해 상기 탑승자가 상기 계기판에서 떨어진 거리를 결정하는, 프로세서를

    포함하는, 에어백 전개 시스템.
16. 제 15항에 있어서, 상기 검출기의 전방에 위치한 적외선 필터를 더 포함하는, 에어백 전개 시스템.
17. 제 15항에 있어서, 상기 적외선 소스는 미리 결정된 간격에서 미리 결정된 시간 동안 펄스 온되는, 에어백 전개 시스템.
18. 제 17항에 있어서, 상기 펄스된 소스 및 상기 검출기는 동기화되어, 연속적인 프레임의 차이는 주위의 광 변동에 영향을 받지 않는 이미지를 나타내는, 에어백 전개 시스템.
19. 제 18항에 있어서, 상기 연속적인 프레임의 차이는 상기 검출기에 의해 직접 수행되는, 에어백 전개 시스템.
20. 제 15항에 있어서, 데이터 프레임은, 가시 광을 감산하기 위해 상기 소스가 온되고 오프될 때 저장되는, 에어백 전개 시스템.
21. 제 15항에 있어서, 상기 검출기는 포토다이오드의 픽셀 어레이를 포함하는, 에어백 전개 시스템.
22. 차량에 있는 탑승자 측의 에어백을 전개할지의 여부를 결정하는 방법으로서,

    적외선 방사 빔을 상기 차량의 조수석으로 향하게 하는 단계와,

    상기 조수석에 있는 물체로부터 반사된 적외선 방사를 검출하는 단계와,

    사람이 상기 조수석에 있는지의 여부를 결정하기 위해 얼굴 인식 처리를 사용하는 단계와,

    얼굴이 검출되는지의 여부 및 상기 에어백에 관한 상기 사람의 범위에 의해상기 에어백을 팽창시킬지의 여부를 결정하는 단계를

    포함하는, 탑승자 측의 에어백을 전개할지의 여부를 결정하는 방법.
23. 제 22항에 있어서, 얼굴 인식 처리의 사용 단계는 안구에 의해 사람의 얼굴을 인식하고 결정하는 단계를 포함하는, 탑승자 측의 에어백을 전개할지의 여부를 결정하는 방법.
24. 제 22항에 있어서, 상기 에어백을 팽창시킬지의 여부를 결정하는 단계는, 상기 검출기로부터의 상기 사람의 거리 및/또는 상기 사람의 체형에 의해 상기 에어백을 부드럽게 팽창시키거나 격렬히 팽창시킬지의 여부를 결정하는 단계를 포함하는, 탑승자 측의 에어백을 전개할지의 여부를 결정하는 방법.
25. 제 22항에 있어서, 상기 방사 빔을 향하게 하는 단계는 상기 방사 빔을 펄스하는 단계를 포함하는, 탑승자 측의 에어백을 전개할지의 여부를 결정하는 방법.
26. 제 25항에 있어서, 검출된 이미지로부터 주위의 방사를 감산하기 위해 프레임 구별 기술(frame differencing technique)을 사용하는 단계를 더 포함하는, 탑승자 측의 에어백을 전개할지의 여부를 결정하는 방법.