KR20100097166A

KR20100097166A - 파워 절약 투과형 디스플레이

Info

Publication number: KR20100097166A
Application number: KR1020107013342A
Authority: KR
Inventors: 마르크 예. 베. 메르텐스
Original assignee: 코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date: 2007-11-20
Filing date: 2008-11-13
Publication date: 2010-09-02
Also published as: US8648844B2; JP2014064321A; WO2009066210A1; CN101868817B; JP2011505721A; CN101868817A; EP2212880A1; US20100245330A1; RU2010125153A; KR101572813B1; JP5823480B2; RU2501095C2; EP2212880B1; JP5438021B2

Abstract

감소된 파워 낭비를 위해서, 투과형 디스플레이(100)는 백라이트(106) 및 백라이트로부터 광을 변조하여 이미지를 생성하기 위한 밸브(110)를 포함하고, 이 투과형 디스플레이는 연결된 뷰어 비헤이비어 검출 수단((150, 152, 165), 160)과의 연결을 위한 커넥터(198), 및 뷰어 비헤이비어 검출 수단으로부터 비헤이비어 측정 신호(I_usr)를 수신하기 위해 뷰어 비헤이비어 검출 수단으로의 입력 연결부(C_i)를 갖고, 비헤이비어 측정 신호(I_usr)에 따라 최적 구동 값(D_Lb)을 백라이트(106)에 전송하기 위한 출력부(O_BL)를 갖는, 파워 최적기(120)를 추가로 포함한다.

Description

파워 절약 투과형 디스플레이{POWER SAVING TRANSMISSIVE DISPLAY}

본 발명은 새로운 유형의 파워 절약 투과형 디스플레이 및 이를 구동하는 방법에 관한 것이다.

지구에 사람 수가 늘어나고 이들 사람들에 생태학적으로 해로울 가능성의 자각이 늘어남에 따라, 시장에 늘 전기 장치들(예를 들면, 수동 칫솔 대신 전기 칫솔; 친환경 전구로부터 한 시간의 광의 전력만큼의 비용이 드는 단일 인터넷 질의)이 들어오고 있기 때문에 환경친화적 전기 장치들을 만드는 것이 중요하다. 이들 장치들을 가능한 한 적어도 에너지 친화적이 되게 하는 계속될 중요한 경향이 있다.

텔레비전들에 있어서 이것은 텔레비전이 어떤 기준(예를 들면, 시간의 경과)에 따라, 자동적으로(이것은 이것이 어떤 이용자 비헤이비어에 따른 것이었다면, 일종의 진보된 이용자 인터페이스/원격 제어/온-오프 버튼으로서 볼 수도 있을 것이다), 스위치 오프(switch off)될 수도 있다는 생각에 이르게 하였다.

그러나, 제안할 수 있을 어떤 상호작용적 스위치이든 간에, 일부 또는 많은 사람들이 - 비용에 상관없이 - 텔레비전을 스위치 오프 하기를 원하지 않을 수도 있다는 사실이 남아 있다. 발명자는 "이들 사람들이 책을 읽고 있고, 텔레비전이 작동한 채로 있음을 알고 있다고 해도, 이들 사람들이 반 시간이 지나도 일어나 텔레비전을 끄지않을 만큼 실제적으로 게으른지 아니면 예를 들면, 한 사람이 편안한 분위기를 갖기 위해서 이들이 고의로 텔레비전을 켜 두기로 한 것인가" 라는 의문을 제기하였다.

따라서 이러한 자동 스위치-오프 장치는 이의 (잠재적) 소유자의 요망에 따른 것이 아닐 것이며, 따라서 시장에는 가외로 다른 어떤 것의 필요성이 있을 것이다.

본 발명의 목적은 새로운 유형의 파워 절약 투과형 디스플레이 및 이를 구동하는 방법을 제공하는 것이다.

이러한 생각을 염두에 두고, 본 발명된 기술들의 요소들은 특히, 다음을 포함할 수 있다:

백라이트(106) 및 백라이트로부터 광을 변조하여 이미지를 생성하기 위한 밸브(110)를 포함하는 투과형 디스플레이(100)에 있어서, 투과형 디스플레이는:

- 연결된 뷰어 비헤이비어 검출 수단((150, 152, 165), 160)과의 연결을 위한 커넥터(198), 및

- 뷰어 비헤이비어 검출 수단으로부터 비헤이비어 측정 신호(I_usr)를 수신하기 위해 뷰어 비헤이비어 검출 수단으로의 입력 연결부(C_i)를 갖고, 비헤이비어 측정 신호(I_usr)에 따라 최적 구동 값(D_Lb)을 백라이트(106)에 전송하기 위한 출력부(O_BL)를 갖는 파워 최적기(120)를 포함하는 것을 특징으로 한다.

이 디스플레이 상에서, 뷰어는 여전히 적합한 품질의 화상을 볼 수 있고 - 예를 들면, 동시에 책을 읽거나, 누군가와 대화하거나, 설거지를 하면서 매 5분마다 현재 진행되는 것을 체크하기 위해 화상을 본다면 -, 그러면서도 이용되는 파워가 상당히 절약될 수 있다. 이 신규의 시스템은 다음 두 요소들을 필요로 한다.

먼저, 이용자가 무엇을 하고 있는지를 식별할 수 있게 하는 검출 수단 또는 시스템(검출기들 및 검출기들로부터 데이터를 분석하고 이들을 파워 최적화 전략에 의해 이용할 수 있는 수학적 모델로 변환하기 위한 분석 프로세서를 포함한다). 예를 들면, 카메라(160)인 특정의 검출기 실시예에 기초하여, 분석 프로세서는 사람이 디스플레이를 보고 있는지, 얼마나 자주 보는지를(즉, 연속적으로 보고 있는지, 또는 대부분의 시간 동안 다른 액티비티들(activities)을 하고 가끔 보는지) 체크할 수 있다. 검출기들은 전형적으로 디스플레이에 물리적으로 부착될 것이지만, 커넥터(198)는 방의 구석에 사전에 고정된 카메라, 예를 들면 보안 카메라(이 경우 눈 방위 추정 - 이하 참조 - 은 변경된 시각을 고려해야 한다)로의 무선 링크일 수도 있다. 분석 프로세서는 전형적으로, 디스플레이에서의 중앙 프로세서일 것이지만(예를 들면, 파워 최적기가 이미 포함된 것), 그러나 이것은 또한 지능형 센서(예를 들면, 랩탑에 연결되어 방에서 이용자 이동들의 분석을 행하고, 이에 대한 수학적 모델 코드들을 커넥터(198)를 통해 디스플레이에 전송하는 카메라)에 속할 수도 있다.

수학적 모델은 2진 표시자("프로그램 시청 = 1"; "시청하지 않음 = 0")만큼 간단할 수 있거나, 상이한 유형들의 비헤이비어에 대해 더 복잡한 공칭(클래스들), 서수, 또는 비 숫자 코드일 수 있는데, 예를 들면: ("이용자가 연속적으로 시청 = 1"; "이용자가 시간의 50%를 시청 = 2"; "이용자가 간혹 시청 = 2") 또는 ("이용자가 텔레비전 바로 앞의 의자에 앉아 있는 것[10cm 내지 최대 2.5 m의 거리] = 1"; "방안에서 이용자가 더 활동적임 [2.5 미터 내지 최대 6 미터의 거리 = 2"; "또 다른 방에서의 이용자 [방에서 나갔음] = 3"), 등일 수 있다.

두 번째로, 이와 같이 이용자의 비헤이비어가 그가 무엇을 하는지를 반영하는 물리적 파라미터들을 측정하는 검출기들을 통해 분류될 때, 디스플레이(즉, 백라이트, 및 일부 실시예들에서 또한 밸브들에 대한 구동 값들도)를 최적으로 제어하여, 여전히 적합하게 가시성있는 화상이 보여지게(최대로 도달될 수 있는 품질이 아닐지라도), 그러나 감소된 파워로 보여지게 수학적 코드가 이용된다.

대부분을 이용된 파워에 중점을 둔 후에 가시도를 최적화하거나(낮아질 수 있지만 그러나 여전히 이용가능한), 또는 최대로 달성가능한 파워 감소를 획득하기 위해 최소로 요구되는 가시도를 제약함으로써(이것은 노인에게, 또는 당장의 작업이 배경에 유쾌한 동영상만을 갖게 하는 것이 아니라, 더 중대한 작업, 예를 들면 어린이의 방을 감시하는 것이라면 유용할 수 있으며; 이용자는 자신이 원하는 어떤 파워 절약 모드로[예를 들면, "배경 분위기 == 1"; 요구되는 화상/텍스트의 즉시 인식 == 2";...], 가시도의 대가로 얼마나 많이 파워가 감소될 수 있는가를, 이용자 인터페이스(170), 예를 들면 원격 제어기 상의 전용 버튼을 통해 입력함으로써 구성할 수도 있다), 또는 이들 둘을 동시에 최적화함으로써, 파워 대 가시도의 균형을 맞추는 몇 가지 옵션들이 있다.

일반적으로, 백라이트를 어둡게 할 수 있는 범위, 밸브의 동적 범위, 주변 장면의 색들 및 실내 조명, 디스플레이 전방에서 반사량, 디스플레이된 이미지에서의 구조물들의 크기 - 또는 이미지의 보다 일반적인 오브젝트의 콘텐트 -, 뷰어의 거리, 뷰어의 액티비티, 뷰어의 관심 레벨, 하루의 시간, 현재 보여지는 콘텐트의 유형(스포츠 비디오 또는 텍스트 페이지), 등과 같은 팩터들을 고려하는(시스템 비용이 허락하는 한) 보다 복잡한 최적화 전략이 요망될지라도, 시청/시청하지 않음 시나리오에 있어서, 파워 제어는 백라이트에 대한 구동 값(D_Lb)을 반분하는 것(화상의 콘텐트 및 실내 조명이 여전히 시청가능한 이미지를 준다면)만큼이나 (디스플레이에서 미리 설정된 전략에 따라) 간단할 수 있다.

마지막으로, 백라이트/비디오 파라미터들을 변경하는 프로세스의 속도에 대한(이용자가 얼마나 자주 시청하는가에 따라, 또는 어떻게 시청하고 있는지를 결정하기 위해 이용되는 특별한 알고리즘에 따라) 몇 가지 시나리오들이 있을 수 있음을 언급해야 할 것이다. 예를 들면, 친구들과 액티비티를 갖는 것으로서 분류되었지만 이용자가 디스플레이를 더 주의 깊게 예를 들면, 3분간 보고 있음을(무엇인가가 이용자의 관심을 잡고 있을 수 있는) 무시하는 저속 모드를 가질 수도 있을 것이며, 이는 디스플레이의 출력 휘도 및 백라이트 파워가 낮음을 의미하거나, 고속 모드에서 디스플레이는 예를 들면, 뷰어들 중 한 명의 뷰어가 15 초 이상 보고 있다면 디스플레이의 백라이트 휘도를 "즉시" 높게 재설정할 수도 있을 것이다. 이들 모드들은 이용자 인터페이스(170)를 통해 설정될 수 있거나, 디스플레이에 미리-포함된 알고리즘에 의해 추정될 수도 있다.

일부 실시예들에서처럼, 파워 최적기가 밸브들에 대해 더 최적의 구동 값들(I_out)을 계산하여 백라이트만을 변경하고, 입력 이미지를 밸브들에 제공하는 것보다 더 가시성있는 디스플레이된 출력 이미지를 생성하는 것이, 어떤 량만큼 백라이트 파워를 절약한다면, 유용하다(예를 들면, 화상이 콘텐트에서 다소 어둡다면, 백라이트를 낮추고, 밸브들을 이들의 최대 범위로 구동함으로써 이를 재생할 수 있다). 이것은 입력 이미지(im)에 대한 이미지 인핸스먼트 동작(image enhancement operation)(T)에 대응한다. 단순 모델들에서 I_out은 신호를 전송받는 밸브에 무관하게 단일 범위(예를 들면, [0,255])이지만(예를 들면, 화소 밸브 (0,10) 및 (10,10) 둘 모두가 이 범위에서의 신호(240)를 갖는다면, 이들 둘 모두는 동일한 량의 광을 투과시킨다), 그러나 더 복잡한 장면/분할-의존성 변형들에서, I_out은 하나의 화상으로서 보아야 한다. 즉 I_out(x,y)은 각 밸브의 화소(x, y)마다 하나의 특별한 값을 갖는다. 즉, 예를 들면 디스플레이된 이미지의 중심을 입력 화상에 비해 다소 더 밝게 할 수도 있을 것이다.

본 발명의 이들 및 다른 양태들 또는 본 발명에 관련된 이들 및 다른 양태들은 도면을 참조로 더 명료해질 것이며 도면을 참조로 기술될 것이다.

도 1은 두 개의 결합된 대안적인 뷰어 비헤이비어 검출 수단을 갖는 특별한 LCD 투과형 디스플레이의 일 예시적인 실시예의 개략도.
도 2는 파워 최적기의 일 예시적인 변환(T)이 입력 이미지의 그레이 값들을 어떻게 밸브들에 대한 구동 값들(I_out)에 매핑하여 더 가시성있는 디스플레이되는 이미지를 주는가를 도시한 개략도.
도 3은 디스플레이 가능한 화상의 가시도를 측정하는 일 예시적인 방식의 개략도.
도 4는 일 예시적인 응시 방향 추정 유닛(전형적으로, 소프트웨어 구성요소들로 구성되나 반드시 그런 것은 아님)을 도시한 도면.

도 1은 백라이트 모듈(106)(이의 TL 튜브(107)가 도시되었으나 이것은 예를 들면, LED일 수도 있을 것이다) 상에 분해조립도 형태로 나타낸 LCD-기반 텔레비전을 도시한 것으로, 모듈 전방에는 LCD 밸브(110)와, 화소들(111, 112,...)이 있고 이들은 이들 트랜지스터에 드라이버들(도시되지 않음)을 통해 적합한 전압의 제어 하에 해당 위치에서 몇 퍼센트의 백라이트 광을 투과하여 도시된 예처럼 이미지를 형성한다.

당업자는 투과형 디스플레이(100)는 이러한 유형의 디스플레이로 국한되지 않으며(하드웨어 구조든, 크기나 애플리케이션 도메인(application domain)), 예를 들면 이것은 회의실용으로 어둡게 할 수 있는 조명을 갖는 전방 프로젝터, 상용 디스플레이 부스, 또는 랩탑 pc 디스플레이(이용자가 기차에서 자신 옆에 사람과 동시에 토의하면서 인터넷을 열람하기 위해 그 앞에 테이블 상에 갖고 있는)일 수도 있음을 알 것이다.

당업자는 "밸브"라는 단어는 입사되는 백라이트로부터 신호-제어가능한 광량을 국부적으로 통과시킬 수 있게 하는(예를 들면, 구동 신호 = 0을 공급하는 것은 차단하게 할 것이며, 즉 거의 광을 투과시키지 않을 것이며, 구동 값 255는 거의 완전히 (100%) 투과하게 한다) 일반적으로 임의의 물리적 구조를 의미함을 알 것이다. 대중적인 이러한 수단은 액정이며, 이는 전압의 제어 하에 이의 내부 구조를 변화시켜 광과 간섭하여 특정 방향으로 광이 더 또는 덜 나가게 하지만, 이외의 디스플레이 유형들로서 예를 들면, 제어된 량의 흡수 안료를 릴리스(release)하는 버블들(bubbles)이 존재한다.

또한, 다수의 가능한 뷰어 비헤이비어 검출 수단이 도시되어 있는데, 본 발명의 시스템을 작동하게 하기 위해(시스템에서 디스플레이에 연결가능하게 하기 위해) 이 중 단지 하나만이 있으면 된다.

예를 들면, 이용자가 있는지, 및 바람직하게는 바른 위치에(의자에) 있는지의 여부를 검출하기 위해서 열(약 10 마이크론) 적외 검출기(165)가 제공될 수 있다. 이것은 단지 이용자 유무만을 검출하며 아직은 머리/눈/응시방향을 검출하지 못하나 어떤 애플리케이션들에 작동할 것이다. 예를 들면, 시스템은 뷰어가 없이, 및 이어서 의자에 앉아 있는 뷰어의 열로 방을 검출하기 위해 미리 캘리브레이트(calibrate)될 수 있다. 열 이미징을 형성할 수 있는 더 진보된 검출기는 뷰어의 크기 등도 볼 수 있다.

예를 들면, 주변 필드(전기적, 광학적, 초음파,...)의 교란에 따라, 디스플레이 주위에서 뷰어 위치 및 움직임을 체크하는 몇 개의 더 복잡한 시스템들이 포함될 수도 있다. 도시된 예는 적어도 하나의 초음파 방출기(150) 및 적어도 하나의(그러나 선택적으로 몇 개의 구성된 것들이 있을 수 있다) 수신기(152)를 갖는다. 반사된 펄스들은 전방의 구조가 적합하게 변경되었는지의 여부의 표시를 준다. 예를 들면, 비행 시간 분석에서, 이용자는 의자 뒤보다 더 가까이 앉을 것이며 이의 이동이 또한 검출될 수도 있다.

그러나, 다음에서는 부착된 카메라(160)(예를 들면, 디스플레이의 상부 중앙에)을 이용하는 비교적 저렴하고 간단하면서 강력한 시스템을 기술할 것이다. 보통의 카메라도 되지만(RGB, 및 아마도 얼굴 검출에서 도움을 줄 수 있는 제 4 근 자외 센서도 갖는), 스테레오 카메라가 도시되어 있다(이것은 예를 들면, 거리 추정에 관해 더 많은 다용성을 가능하게 한다).

이하 도 4를 참조하여, 응시 방향 추정에 매우 유용한 실시예를 위해 이러한 카메라가 어떻게 이용될 수 있는지가 기술될 것이지만, 우리는 "이용자 있음(텔레비전 전방의 의자에 앉아 있는)" 또는 "이용자가 디스플레이된 이미지들의 방향으로 보고 있음, 즉 시청하고 있음"과 같은 표시가 있다고 가정하고, 파워 절약이 어떻게 작동하는지를 먼저 기술한다. 설명을 간단하게 하기 위해서, 우리는 대부분 비교적 간단한 구현 방법을 기술하고 간략히 보다 복잡한 가능성들에 관해 상술하도록 하겠다.

도 2는 입력 이미지 신호(im)로부터 얻어진 도 1에 디스플레이된 "집" 화상의 히스토그램(200)을 도시한 것이며(예를 들면, 어두운 포화된 색들에 이들이 더 밝게 보이도록 다소 더 큰 휘도를 주기 위해서, 이하 매핑은 색을 고려할 수 있을지라도, 간단하게 하기 위해서 그레이 값들-색이 무시되었으며; 이하에서 우리는 그레이 값 및 색을 상호교환적으로 이용할 것이며, 당업자는 이것이 대개 언제 유색 화소의 휘도인지 아니면 그레이 값에 관한 것인지를 안다), 입력 이미지는 0과 255 사이의 값들을 갖는 디스플레이하는(즉, 본 발명이 적용되지 않는다면 밸브들을 제어하기 위한) 그레이 값들(I_in)을 포함하며, 이미지에서의 화소들의 량의 카운트(n)는 특정 값을 갖는다. 밸브는 곱셈의 물리적 특성이 있기 때문에, 국부적 백라이트 유닛이 Lb 루멘(lumen)을 발생하고 국부적 화소가 구동 값 I_out(예를 들면, I_in과 동일한)(240)으로 제어된다면, 디스플레이 화소로부터 국부적으로 나오는 광은 Lo = (244/255)*Lb이 된다.

입력 화상은 총 범위 [0,255]보다 좁은 범위의 그레이 값들을 포함할 수 있거나 255인 값들을 종종 포함하기도 하는데 흔히 이는 너무 큰 다이나믹 범위의 장면이 캡처(capture)되었음을 나타낸다(예를 들면, 태양(183)이 클립될 수도 있고; 따라서 이것은 어쨋든 실제의 색은 아니며, 이를 재할당함에 있어 더 많은 프리덤(freedom)을 갖는데, 예를 들면, 동일한 방법으로 255에 가깝게 모든 색들을 취급할 수 있고 이들을 255에 할당하고 다시 클립되는 다른 오브젝트 색들(object colors)을 최적으로 분포시키기 위해 나머지 [0 내지 254]를 이용한다).

예에서, 제 1 히스토그램 로브(histogram lobe)(201)는, - 로브(203)에 대응하는 것으로서 하늘 화소들에 대해 제 2 모드/범프(bump)를 갖는, 밝은 창문들(181)을 제외하고 -, 집(180)의 색들을 포함하며, 식물들(풀 및 나무들)은 중간 범위의 로브(202)에 속한다.

제 1의 관심있는 측정은 입력 이미지의 최대값(m)(예를 들면, 235과 같음)이다. 정확하게 동일 디스플레이된 출력 이미지가 보이게 보존하면서(즉, 디스플레이된 화상의 가시도를 변경함이 없이), 미리 비 235/255로 백라이트를 축소하고 이와 동시에 I_in 값들에 역 비를 곱할 수 있다(즉, 최대 구동 값은 255가 된다). 그러나, 범위(들)를(을) 살펴보면, 백라이트를 더 어둡게 할 수 있음을 안다. 먼저, 히스토그램(200)의 3개의 로브들을 255/235로 곱하여 수정된 구동 값(I_out)을 획득한다면, 로브(201)의 하한(예를 들면, 10% 백분위수 경계(LP)에 따라 백라이트를 더 어둡게, 즉 출력 휘도 L = LP * Lb(Lb는 어두어진 백라이트 레벨)가 전형적인 실내 전방 판(plate) 반사와 거의 동일해질 때까지 할 수 있다(주변 광 센서가 시스템에 포함될 수도 있고, 이 값을 수정하기 위해 또 다른 고려사항들로서 예를 들면, LP 미만의 값들이 발생하는 오브젝트들의 량 또는 크기 등이 이용될 수도 있다).

그러나, 두 번째로, 감소된 범위, 및 전형적인 히스토그램 로브들 사이의 거리들은 가시도에 관련하여 훨씬 더 나은 수정을 행할 기회들을 만들어내고, 로브간 거리가 불충분한 경우, 파워 최적기는 입력 이미지를 변경함으로써 거리를 증가시킬 수 있다.

더 나은 질의 알고리즘들은 유사한 색들의 공간적 속성들도 살펴 기하학적 이미지 분할을 행할지라도, 파워 최적기의 단순 알고리즘들은 히스토그램 분석을 하여 히스토그램들에서 전형적인 로브들(이하 간이화한 설명에서 이용되는)을 찾는다. 예를 들면, 로브(203)는 하늘과 2개의 창문들 둘 모두의 화소들로 구성되는데, 이를 알 때, 개별 창문(도 3에 로브(204)로 개략적으로 나타낸)의 분리된 영역을 찾기가 쉽다. 히스토그램 분해를 위한 종래 기술에서 발견되는 몇 개의 방법들이 있는데, 예를 들면 먼저 최대값들을 찾고, 이어서 기울기들이 어느 하나의 측에서 얼마나 깊은지를 볼 수 있다(예를 들면, 가우시안(Gaussian) 같은, 평활, 단순 함수와의 상관을 살펴볼 수 있다). 흔히, 이러한 코스 레벨(coarse level)에 적용될 때, 이와 같이 하여 획득된 로브들은 이미 이미지 구성을 잘 설명하여 주는데(예를 들면, 하늘은 전형적으로 지면보다 훨씬 더 밝다), 그러나, 목적은 가시도를 개선하는 것이므로, 유의한 오브젝트 분할은 절대적으로 필요하지 않다(특히, 나무들이 하나의 오브젝트로 풀과 합체된 경우, 이들이 유사한 색들을 갖고 있다면 파워 최적기는 이들에 유사한 변환을 적용할 것이며, 이는 디스플레이의 주변들 및/또는 화상에서의 다른 색들에 비해, 이들을 더 가시성있게 렌더링(rendering)하기 때문에 수락될 수 있다)(먼저, 우리는 주변들이 덜 관계가 있고 가시도가 이미지 (im) 콘텐트 단독으로 결정될 수 있는 - 예를 들면, 텔레비전은 전형적으로 주변보다 훨씬 더 밝다 - 상황을 기술할 것이지만, 앰비라이트(ambilight)가 온(on) 하여 있을 때, 더 신뢰성 있는 가시도 모델들은 파워 이용에 대해 최적화되어야 하는 이미지의 가시도를 추정할 때 조명된 주변들로의 뷰어 적응성을 고려해야 한다).

분해 알고리즘으로부터 다수의 히스토그램 로브들을 획득하였으며, 파워 최적기의 목적은(이것이 백라이트 레벨을 변경시키지 않는다면(D_lb=f(P,V)) 계산된 출력 파워 - 대부분 백라이트 구동 값에 의존한다 - 및 추정된 가시도의 함수는 그러나, 개선된 가시도 및/또는 더 낮아진 파워 이용을 위해 최적화된 밸브 구동 신호들을 생성하기 위해 추가된 프리덤의 이미지 인핸스먼트 I_out=T(I_in)을 이용하기를 원한다) 이들 모드들을 최적으로 재배치하는 것이다. 예를 들면, 파워 최적기는 로브(203)에 모든 값들을 단일(또는 몇 개) 값(들)으로(로) 포스터라이즈(posterize)하여 수정된 히스토그램 로브(253)을 획득할 수도 있을 것이다. 이러한 극단적 측정(최적화된 거리들(D1, D2))은 매우 심한 상황들 하에서만 필요로 된다. 일반적으로, 로브 내에 여전히 식별할 수 있는 몇 개의 상이한 휘도들이 있을 것이며, 따라서 로브를 다른 로브들로부터 멀리 이동시켜 안쪽 로브 형태로 두는 것이 더 나은 것처럼 보일 것이다.

그러나, 이것은 범위(301)(타원으로 표시한) 내의 색들은 범위(302)의 색들과 너무 비슷한데, 즉 이들은 이용자가 앉아 있는 곳으로부터, 또는 기껏해야 이용자가 실제로 주의깊게 보고 있다면(이것은 어떤 작업들에 대해선 바람직하지 않을 수 있는데 예를 들면, 이용자가 어떤 색이 있는 그래픽 텍스트를 판독하고 있고[텍스트는 쉽게 검출될 수 있고 텍스트 검출기로 분할될 수 있다] 텍스트 및 배경의 색들이 이들 범위 내에 속해 있고, 백라이팅이 실제로 낮다면, 로브들(251, 253)로의 바이너리 포스터라이제이션(posterization)이 바람직할 것이다) 현 백라이트 상태들 등에서는 식별될 수 없는 상황에 이를 수도 있을 것이다. 이 상황은 예를 들면, 사과 같은 둥근 오브젝트에 그림자가 있을 경우, 일 측에 사과가 밝아 어두운 배경으로부터 쉽게 식별될 수 있지만 다른 측에서는 사과의 끝을 볼 수 없을 때, 자주 일어난다.

따라서, 파워 최적기가 더 나은 가시도/파워 균형을 실행하기 위한 간단한 알고리즘은 다음과 같다.

이웃한 로브들에 대한 구분 경계들은 파워 최적기에 의해 결정되는데(도 3 참조), 예를 들면 로브(202)의 5%의 모든 화소들은 하한(L_L1) 밑에 포함되고 5%는 상한(L_U1) 이상에 포함된다(이 5%는 오류량으로서 공장에서의 알고리즘에 사전에 설정될 수도 있고, 그러나, 최악의 경우 이웃 오브젝트들로부터 잘 보이지 않고 및/또는 식별할 수 없게 될 수 있는 색들에 대해서, 오브젝트 분할 및 분석으로부터 이익을 얻는 더 복잡한 알고리즘들은 이미지마다 이러한 기준을 결정할 수 있는데, 예를 들면, 5% 상측에 화소들이 가정된/분할된 오브젝트의 근처에 있다면 경계는 0%로 더 잘 설정되고(즉, 로브의 상측 끝), 반면 이들이 오브젝트의 중심에 작은 패치라면 - 아마도 조명 반사 하이라이트 - 이들은 사실 최적화에서 폐기될 수도 있다).

제 1 로브(202)의 상한(L_U1)과 제 2 로브(203)의 하한(L_L2) 사이의 거리(D_v)는 가시도 추정에서의 파라미터가 될 것이다(가시도 추정 유닛(133)은 전형적으로 디스플레이 하드웨어 제약들이 주어진 사람 비전의 심리를 인코딩하는 또 다른 소프트웨어이며 파워 최적기(120)가 전형적으로 실제 파워 최적화를 행하는, 구동 값 계산 유닛(134)에 입력을 주거나, 이에 의해 수회 호출되고 있을 프로세서 상에서 구동되는데, 제시된 신규 교시들이 주어진 당업자는 이를 상이한 소프트웨어 또는 하드웨어 구성들로서 실현하기 위해 단순한 프로그래밍 또는 IC 설계를 넘어서는 문제들을 발견하지 못할 것이며, 실제 상황에서 기술된 바를 인식할 것이다). 파워 최적기가 이미지 분할 유닛(135)으로 이미지들을 분할할 수 있는 경우, 더 많은 거리들(D_v2) 및 합리적으로 최적화할 또한 더 많은 프리덤이 있을 것이다.

이들은 파워 최적기가 가변 로브간 거리들(I_D)을 초래하는 로브들을 시프트(shift) 예를 들면, 로브 형상을 압축하는 것으로서 로브 형상을 수정하여 추가된 거리들(SQ)이 되게 할 수 있기 때문에 파워 최적기가 튜닝(tuning)될 수 있는 가변 파라미터들이다(알고리즘에 의해 변경할 수 있는 로브 형상의 량들은 더 간단한 "블라인드" 버전들에서 전형적으로 로브에서의 그레이 값들의 범위, 및 로브에서의 화소량과 같은 팩터들에 따를 것이고(중요도 상관: 예를 들면 작은 창은 단일 값으로 쉽게 포스터라이즈될 수 있다), 반면 더 진보된 이미지 분석 방법들은 예를 들면 중앙 오브젝트들이 많을수록 다른 로브들보다 로브 형상들을 덜 수정해야 함을 또한 고려할 수 있다). 후자는 단순 실시예들에서 맹목적으로 행해져, 오브젝트 화소들의 어떤 변색에 이르게 할 것이지만, 이들을 주변과는 더 다르게 하여 이들의 콘트라스트를 증가시킬 것이다. 그러나, 오브젝트 분할이 행해진다면, 알고리즘은 예를 들면, 근처의 오브젝트 경계 새도우 기울기들을 분리시키고, 이들을 로브의 극단으로 식별하여, 로브 형상의 그 부분만을 - 예를 들면, 301 - 파라미터적으로 수정할 수 있다(즉, 예를 들면 기울기를 덜 대조되게 하면, 사과를 더 플레인(plain)하게 되게 하는 단지 2개의 허용가능한 그레이 값들은 덜 3D로 보이게 하나, 이의 주변에 대해 더 대조가 되게 한다. 즉 가시적으로 더 낫게 한다).

가시도의 단순 모델(더 복잡한 모델들이 주변 색 패치들의 구조, 분할된 오브젝트들의 크기, 등을 이용할 수 있을지라도)은 모든 색들을 (비교적 큰) 패치 색들로서 취급한다. 사이코비쥬얼 연구에 따르면 L_U1 이하의 그레이 값들은 적어도 하나의 "단지 분명한 거리"(JND) 휘도 차이가 있을 경우, L_L2 이상의 것들로부터 식별될 수 있음을 보였다. 이 JND는 디스플레이 및 이미지 오브젝트의 크기, 총 휘도, 뷰어 적응성, 등과 같은 몇 가지 팩터들에 의해 좌우되는데, 단순 근사화로서 이것은 낮은 휘도(L_U1)의 2%라고 할 수 있다.

어떤 가시도를 여전히 유지하면서도 최소로 달성가능한 파워량에 초점을 맞추는 최적화들에서, 파워 최적기는 로브들의 범위들이 적어도 공장에서 JND들의 미리 설정된 량 예를 들면, 3 JND들 떨어져 있게 이들 로브들을 재계산할 수도 있다. 겹친 로브들에 대해서, 이것은 과도한 로브 형상 압축을 수반할 수도 있어, 어떤 오브젝트들에 대해서는 아마도 단일 값 포스터라이제이션을 초래할 수도 있다.

가시도에 초점을 맞추는 최적화들에서(어떤 파워 이용은 감소시키는), 뷰어는 예를 들면, 요구되는 JND들의 량을 뷰어의 원격 제어기로 증가시킬 수도 있다. 이것은 노인에게, 그러나 또한 예를 들면, 뷰어들이 강한 램프 밑에서 카드놀이를 하고 있기 때문에 가시도가 오추정되었다면, 유용할 수도 있다.

또한, 일부 실시예들은 예를 들면, 멀리있는 뷰어는 변하는 글로벌 패턴(명멸하는 전구처럼), 또는 반대로, 더 작아지는 오브젝트들, 및 해상도의 이유로 이미 소실되는 화상 상세 이외는 무엇에든 덜 관심을 보일 것이며, 이들 오브젝트들은 더 잘 포스터라이즈되거나, 적어도 단지 몇 개의 내부 값들로 표현되지만, 로브들을 최대한 분리되게 한다는 가설을 토대로, 파라미터들을 (반)자동으로 뷰어의 거리에 따라 변경시킬 것이다 - 이 경우 최적화에서 수동 입력이 유용할 수 있다 -.

도 4는 일 예시적인 뷰어 비헤이비어 검출 수단, 즉 전형적으로 응시 분석기(121)에 있게 될 유닛들로서, 이용자가 디스플레이 상에 어떤 것을(텔레비전 프로그램, 자신의 이메일, 등)을 보고 있는지를 체크하는 것을 구성하는 방법에 관한 더 많은 정보를 보여준다. 응시 분석기는 카메라로부터 로우 화상(raw picture)인 비헤이비어 측정 신호(일반적으로 어떤 이용자 비헤이비어 양태를 개략 추정하기에 충분한 정보를 포함하는 임의의 신호)(I_usr)(일부 실시예들에서도 가능한 것으로 예를 들면, 얼굴 방위각과 같은 이미 미리 처리된 정보인 I_usr이 아닌)를 연결부(C_i)를 통해 얻는 것으로 가정한다. 먼저, 장면 분석 유닛은 예를 들면, 얼굴의 색을 토대로 얼굴들(411)을 추출한다. 얼굴 분석 유닛(420)은 먼저, 예를 들면 탄원체 형상을 근거로 얼굴이 검출되었는지(그리고 얼국 색의 꽃병(412)이 아닌)를 체크하지만, 이 유닛은 얼굴을 조사하여 이의 방위(각도(Ah)가 계산되어 다른 시스템 모듈들에 출력될 수 있다)를 추출하도록 또한 배열된다. 이것은 예를 들면, 특징적 얼굴의 포인트들(눈의 단부들, 코 밑에 그늘,...) 사이를 연결한 네트워크(421)를 살펴보고 이의 원근 수축을 조사함으로써 행해질 수 있다.

양 눈이 추출되었으면, 눈 분석 유닛(430)은 눈, 및 특히 이의 응시 방향을 분석하도록 배열된다. 이것은 밝은 영역과 어두운 영역 사이에 원호들(431)을 검출하고 동공(432)의 중심 포인트들을 추정하여, 적어도 수평 각(Aeh), 및 아마도 수직 각(둘 모두는 음의 최대값과 양의 최대값 사이에 있으며, 제로는 정면)도 얻게 함으로써 행해질 수 있다. 예를 들면, 눈의 홍채(AmL, AmR)의 어느 하나의 측이 백색인 량과 같은, 그외 측정들이 결정에 이용될 수 있다(대안적으로 또는 정확도를 증가시키기 위해서). 또한, 눈 분석 유닛(430)은 예를 들면, 디스플레이, 카메라, 및 방의 기하학적 구조와 같은 팩터들을 고려함으로써, 디스플레이 쪽을 보고 있는지의 여부를 각도들(Aeh, Aev)로부터 계산하도록 배열된다(이용자가 시스템이 몇 개의 시청/비-시청 눈 위치들을 측정하게 하여 눈 각도 공간에서 분류 경계들, 및 아마도 관계된 확률들을 초래하는 사전캘리브레이션 얼굴도 또한 가능하다).

마지막으로, 이 적어도 수평 눈 각도 데이터는 시간 통계 유닛(440)을 위해 입력될 수도 있다(이 유닛은 선택적이며, 다른 유닛들은 단지 가능한 예들이지만, 상이하게 구성될 수 있다). 사람은 충분히 긴 시간 간격(I_w) 동안에(예를 들면, 2초) 각도(Aeh)가 거의 제로이라면(눈이 디스플레이에 중심 근처인 어떤 곳을 볼 만큼 적어도 충분히 작은) 어떤 순간에 보고 있는 것으로서(W(t)=1) 분류될 수 있다.

또한, 보다 진보된 시스템들에서, 뷰어 활동 분류 유닛이 제공될 수 있는데(예를 들면, 카메라에 결합되어 지능형 홈 시스템을 이미 구동하고 있는 원격 pc에, 또는 파워 최적기에), 이는 이용자의 비헤이비어의 어떤 인디케이터(indicator)를 추출한다(예를 들면, "IND=passive=l"은 이용자가 잠들어 있을 수 있는 것이며, "IND=running around=2"= 는 방을 활동적으로 분주히 이동하고 있고 거의 시청하지 않게 하는 다른 액티비티들 등에 연루되어 있을 수 있는 것이다). 이것은 예를 들면, 카메라 화상들로부터 추출된 사람 오브젝트들의 움직임 패턴 분석으로 행해질 수 있지만, 몇 가지 그외 다른 알고리즘들이 가능하다(예를 들면, 실내에서 어떤 3D 위치들의 시간량을 분류하는 것이 커버(cover)되고, 특정의 인식된 몸짓들, 등).

마지막으로, 소위 앰비라이트 디스플레이들(ambilight displays)이라고 하는 것으로서, 투과형 디스플레이의 공간적 주변을 조명하도록 배열된 조명 유닛(191)을 포함하며, 콘텐트에 더 밀접한 투입을 허용하는(이미지 또는 적어도 어떤 환경적 느낌/이의 암시가 실내로 확대되는 것), 최근의 텔레비전들(및 이것은 다른 유형들의 표시 장치로 발전할 것이다)이 출현하였다.

알려진 바와 같이 제공된 화상과 함께 앰비라이트가 전개되게 할 수도 있을 것이지만, 본 발명은 별도의 알고리즘으로, 앰비라이트를 더 최적으로 제어할 수 있게 한다. 밸런싱은 이제 3가지 기준으로서:

앰비라이트에 의해 소비된 파워의 량을 포함한다. 적어도 앰비라이트 광들에 대해 파워를 절약하기 위해, 이용자가 시청하지 않는다면 앰비라이트를 스위치 오프 할 수도 있을 것으로 생각할 수도 있지만, 반대로 이용자가 "분위기 모드"에서 텔레비전을 스위칭하고 단지 분위기 제공자로서만 이를 이용하며 상세한 화상 정보를 볼 수 있게 면밀히 시청하지 않고 있다면, 앰비라이트는 더 큰 중요성을 가질 수 있다. 이용자는 전형적으로, 전체 텔레비전(화상) + 일종의 가변 램프로서의 앰비라이트 시스템을 이용하는 것부터, 그에 반하여 콘텐트가 더 중요하고, 명료하게 볼 수 있을 것이 필요한 시나리오까지, 다수의 선택가능한 설정들을 가질 것이다. 앰비라이트로의 파워는 또한 조명된 필드의 크기 및 야기될 수 있는 얼마나 많은 공간적 변동(단일 TL 튜브 대 몇 개의 LED 모듈들(191))과 같은 팩터들에 따를 것이다.

앰비라이트의 "가시도"는 이것이 화상에 비해 얼마나 중요한가라는 새로운 기준이 되는데, 예를 들면 위에 설정에 따라 전체 벽을 분위기 황색으로 도색하기 위해(여기에서 앰비라이트는 비디오 신호보다 낮은 시간적 변동으로 설정될 수도 있다) 충분한 앰비라이트가 생성될 필요가 있다.

화상의 가시도는 특히, 앰비라이트에 대해서 주변 오브젝트들/벽들이 얼마나 반사(백색)되는가에 따를 것이다. 적어도 텔레비전 이미지 콘텐트가 우세하고 매우 잘 보여야 하는 설정에서는, 근본적으로 뷰어에게 전부 검게 보이는 이미지 주위에 앰비라이트가 밝은 고리가 되는 상황(극단적 변동을 나타내기 위해서)에 이르지 않아야 한다. 이들 시나리오들에서 이미지 콘텐트는 부스트(boost)될 필요가 있을 수도 있는데, 더 중요하게는 아마도 앰비라이트는 상한으로 구속된다(예를 들면, 이미지 콘텐트를 적분함으로써 구동 값을 주는 일반적인 어떤 앰비라이트 알고리즘이든지 최종 구동 값은 주변 휘도가 평균 화상 휘도의 10% 미만이도록 클립(clip)되어야 하고; 이것은 소비자가 홈 캘리브레이션에 대한 옵션을 가질 수도 있어도, 전형적으로 공장 설정에서 백색 벽들로 가정할 것이다). 이 경우 가시도 추정은 예를 들면, 이미지의 크기 및 위치 및 주변 패치들, 등과 같은 팩터들을 고려하여, 헌트 공식(Hunt formulae)으로 고무될 수도 있다.

출력은 연결부(O_AMBIL) 위의 적어도 하나의 최적의 앰비라이트 구동 신호(D_AMB)이다.

본원에 개시된 알고리즘 구성요소들은 실제로는 하드웨어로서(전체적으로 또는 부분적으로) 실현될 수도 있고(예를 들면, 애플리케이션 특정의 IC의 부분들) 또는 특별한 디지털 신호 프로세서, 또는 일반 프로세서, 등 상에서 구동되는 소프트웨어로서 실현될 수도 있다.

구성요소들이 선택적 개선들일 수 있고 다른 구성요소들과 조합하여 실현될 수 있는 본 개시로부터 당업자에게 이해될 수 있을 것이며, 방법들의 (선택적) 단계들이 장치들의 각각의 수단에 어떻게 대응하는가 및 그 반대로는 어떻게 대응하는가가 당업자에게 이해될 수 있을 것이며, 여기에서 우리는 이들 조합들을 적어도 함축적으로 개시한다. 이 출원에서의 장치는 사전에 제시된 최장의 의미로, 즉 특정 목적의 실현을 할 수 있게 하는 하나의 그룹의 수단으로 이용되며, 따라서 IC(의 작은 부분), 또는 전용의 가전기기, 또는 네트워크 연결되는 시스템의 일부, 등일 수 있다.

방법이 작동되게 하는데 요구되는 일부 단계들은 이미 데이터 입력 및 출력의 단계들과 같은, 컴퓨터 프로그램 제품에 기술되는 대신 프로세서의 기능성에 이미 제시될 수도 있다.

위에 언급된 실시예들은 본 발명을 제한하기보다 예시하는 것임에 유의한다. 당업자가 청구항들의 다른 영역들에 제시된 예들의 매핑을 쉽게 실현할 수 있는 경우, 우리는 간결함을 위해 이들 모든 선택들을 상세히 언급하지 않았다. 청구항들에 조합된 본 발명의 요소들의 조합과는 별개로, 요소들의 다른 조합들이 가능하다. 요소들의 임의의 조합은 단일의 전용 요소로 실현될 수 있다.

청구항에서 괄호 내의 참조 부호는 청구항을 한정하려는 것이 아니다. "포함하다(comprising)"라는 단어는 청구항에 열거되지 않은 요소들의 존재 또는 양태들을 배제하지 않는다. 요소 앞의 단어("a" 또는 "an")는 복수의 이러한 요소들의 존재를 배제하지 않는다.

100: 투과형 디스플레이 106: 백라이트 모듈
107: TL 튜브 110: LCD 밸브
120: 파워 최적기 150: 초음파 방출기
152: 수신기 160: 카메라
165: 열 적외 검출기 170: 이용자 인터페이스
198: 커넥터 411: 얼굴
412: 꽃병 420: 얼굴 분석 유닛
430: 눈 분석 유닛 440: 시간 통계 유닛

Claims

백라이트(106) 및 상기 백라이트로부터 광을 변조하여 이미지를 생성하기 위한 밸브(110)를 포함하는 투과형 디스플레이(100)에 있어서:
연결된 뷰어 비헤이비어 검출 수단(viewer behaviour detection means)((150, 152, 165), 160)과의 연결을 위한 커넥터(198), 및
상기 뷰어 비헤이비어 검출 수단으로부터 비헤이비어 측정 신호(I_usr)를 수신하기 위해 상기 뷰어 비헤이비어 검출 수단으로의 입력 연결부(C_i)를 갖고, 상기 비헤이비어 측정 신호(I_usr)에 따라 최적 구동 값(D_Lb)을 상기 백라이트(106)에 전송하기 위한 출력부(O_BL)를 갖는 파워 최적기(120)를 포함하는 것을 특징으로 하는, 투과형 디스플레이(100).
제 1 항에 있어서,
상기 파워 최적기(120)는 상기 백라이트가 상기 최적 구동 값(D_Lb)에 의해 구동될 때 상기 디스플레이에 의해 이용된 파워(P), 및 상기 생성된 이미지가 뷰어에게 얼마나 잘 보여질 수 있는지를 모델링(modelling)하는 미리 결정된 가시도 측정(V)에 따라, 결과적으로 상기 최적 구동 값(D_Lb)을 제공하는 함수(f)를 계산하는 구동가능한 소프트웨어 및/또는 하드웨어 회로에 의해 배열되는, 투과형 디스플레이(100).
제 1 항 또는 제 2 항에 있어서,
상기 파워 최적기(120)는 상기 파워 최적기(120)와 상기 밸브(110) 사이의 출력 연결부(O_v)를 통해, 입력 이미지(im)의 입력 구동 값들(I_in)의, 상기 밸브(110)의 화소들(111, 112)을 구동하기 위한 출력 구동 값들(I_out)로의 변환(T)을 계산하는 구동가능한 소프트웨어 및/또는 하드웨어 회로에 의해 배열되는, 투과형 디스플레이(100).
제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
상기 뷰어 비헤이비어 검출 수단은 카메라(160)를 포함하고, 상기 카메라(160) 또는 상기 파워 최적기(120)는 상기 카메라(160)의 화상에 기초하여 뷰어의 응시 방향을 결정하도록 배열된 응시 분석기(121)를 포함하는, 투과형 디스플레이(100).
제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
상기 뷰어 비헤이비어 검출 수단은 상기 뷰어의 상기 투과형 디스플레이(100)로의 거리를 검출하기 위한 검출기(150, 152; 160)를 포함하고, 상기 파워 최적기(120)는 상기 뷰어의 거리에 따라 상기 최적 구동 값(D_Lb) 및/또는 상기 출력 구동 값들(I_out)을 계산하도록 배열되는, 투과형 디스플레이(100).
제 4 항에 있어서,
상기 카메라(160) 시스템 또는 상기 파워 최적기(120)는 뷰어 액티비티 분류 유닛(122)을 포함하고, 상기 파워 최적기(120)는 뷰어의 특정 비헤이비어를 모델링하는 수(IND)에 따라 상기 최적 구동 값(D_Lb) 및/또는 상기 출력 구동 값들(I_out)을 계산하도록 배열되는, 투과형 디스플레이(100).
제 1 항 내지 제 6 항 중 어느 한 항에 있어서,
상기 투과형 디스플레이(100)의 공간적 주변을 조명하도록 배열된 조명 유닛(191)을 추가로 포함하고 상기 파워 최적기(120)는 상기 비헤이비어 측정 신호(I_usr) 및/또는 상기 최적 구동 값(D_Lb) 및/또는 상기 출력 구동 값들(I_out)에 따라 상기 조명 유닛(191)에 대한 구동 값(D_AMB)을 결정하도록 배열되는, 투과형 디스플레이(100).
제 1 항 내지 제 7 항 중 어느 한 항에 청구된 투과형 디스플레이(100)를 위한 구동 값들(D_Lb, (I_out, D_AMB))을 계산하는 방법에 있어서:
- 상기 투과형 디스플레이(100)의 주변 환경에서 잠재적 뷰어의 비헤이비어를 나타내는 비헤이비어 측정 신호(I_usr)를 획득하는 단계: 및
- 상기 비헤이비어 측정 신호(I_usr), 상기 구동 값들의 함수로서 파워 이용(P)의 계산, 및 상기 투과형 디스플레이(100) 상에 디스플레이될 적어도 이미지(im)의 가시도(V)의 측정에 따라, 제약된 파워 이용에 관련된 상기 구동 값들(D_Lb, (I_out, D_AMB))에 대한 최적의 값들을 계산하는 단계를 포함하는, 투과형 디스플레이(100)를 위한 구동 값들(D_Lb, (I_out, D_AMB)) 계산 방법.