KR20180005528A

KR20180005528A - 영상 처리를 위한 디스플레이 장치 및 방법

Info

Publication number: KR20180005528A
Application number: KR1020160085739A
Authority: KR
Inventors: 임경민; 김세훈; 칼라누퍼; 이영윤; 최원희; 강지영; 윤강진
Original assignee: 삼성전자주식회사
Priority date: 2016-07-06
Filing date: 2016-07-06
Publication date: 2018-01-16
Also published as: WO2018008991A1; CN109478331A; US20190244369A1

Abstract

영상 처리를 위한 디스플레이 장치 및 방법이 개시된다. 본 발명에 따른 디스플레이 장치의 영상 처리 방법은, 컨텐츠를 구성하는 복수의 영상 프레임을 입력받는 단계, 복수의 영상 프레임을 분석하여 컨텐츠를 촬영한 카메라의 움직임을 판단하는 단계, 촬영된 카메라의 움직임을 바탕으로 멀미감을 판단하는 단계 및 판단된 멀미감이 기정의된 값 이상이면, 카메라의 움직임을 바탕으로 복수의 영상 프레임에 대한 영상 처리를 수행하는 단계를 포함한다. 이에 따라, 디스플레이 장치는 멀미 유발 가능성이 높은 영상 컨텐츠에 대해서 멀미감을 저감시킬 수 있다.

Description

영상 처리를 위한 디스플레이 장치 및 방법{Display apparatus and method for image processing}

본 발명은 영상 처리를 위한 디스플레이 장치 및 방법에 관한 것으로써, 보다 상세하게는 디스플레이 장치에서 복수의 카메라를 통해 촬영된 영상을 제공하는 디스플레이 장치 및 방법에 관한 기술이다.

최근, 몰입형 디스플레이(Immersion Display) 시장이 확대되면서, 3D 영상과 같은 입체 영상 뿐만 아니라, 실제 환경과 같은 체험이 가능한 가상 환경 체험 기술이 널리 개발되고 있다.

특히, 가상 환경 체험 서비스의 경우, 가상 환경에서 사용자가 직접 체험하는 듯한 몰입도와 액티브적인 요소 등이 풍부한 컨텐츠를 개발하는 것이 매우 중요하다. 이 같은 컨텐츠가 개발될수록 사용자는 실제 환경에서 체험하는 듯한 경험을 느낄 수 있다.

그러나, 이 같은 요소적인 부분이 지나치게 사용된 컨텐츠를 이용하거나 장시간 체험할 경우, 사용자의 정도에 따라 현기증이나, 메스꺼움 등의 멀미감이 발생하는 문제가 있다.

본 발명은 상술한 필요성에 따라 안출된 것으로, 본 발명의 목적은, 디스플레이 장치를 이용하여 가상 환경 체험 시, 가상 환경 체험 후 발생하는 신체적, 정신적 변화를 최소화하도록 함을 목적으로 한다.

이상과 같은 목적을 달성하기 위한 본 발명의 일 실시예에 따른 디스플레이 장치의 영상 처리 방법은, 컨텐츠를 구성하는 복수의 영상 프레임을 입력받는 단계, 상기 복수의 영상 프레임을 분석하여 상기 컨텐츠를 촬영한 카메라의 움직임을 판단하는 단계, 상기 촬영된 카메라의 움직임을 바탕으로 멀미감을 판단하는 단계 및 상기 판단된 멀미감이 기정의된 값 이상이면, 상기 카메라의 움직임을 바탕으로 상기 복수의 영상 프레임에 대한 영상 처리를 수행하는 단계를 포함한다.

그리고, 상기 카메라의 움직임을 판단하는 단계는, 상기 복수의 영상 프레임 각각의 특징점을 검출하는 단계 및 상기 검출된 특징점 간의 변화량에 기초하여 상기 카메라의 움직임 유형별 크기를 결정하는 단계를 포함할 수 있다.

또한, 상기 카메라의 움직임 유형은, x축 방향의 움직임, y축 방향의 움직임, z축 방향의 움직임, x축 방향의 롤(roll) 회전 움직임, y축 방향의 피치(pitch) 회전 움직임, z축 방향의 요(yaw) 회전 움직임 및 지터(jitter) 움직임 중 적어도 하나일 수 있다.

그리고, 상기 멀미감을 판단하는 단계는, 상기 카메라의 움직임 유형별 크기에 기초하여 상기 카메라의 움직임 유형별 멀미값을 획득하는 단계, 상기 카메라의 움직임 유형별 멀미값에 가중치를 부여하는 단계 및 상기 가중치가 부여된 멀미값을 합하여 최종 멀미값을 산출하는 단계를 포함할 수 있다.

또한, 상기 멀미감을 판단하는 단계는, 사용자 정보 및 환경 정보 중 적어도 하나를 바탕으로 상기 최종 멀미값를 보정하는 단계를 더 포함할 수 있다.

그리고, 상기 카메라의 움직임을 판단하는 단계는, 상기 카메라의 움직임에 대한 정보가 상기 복수의 영상 프레임의 메타 데이터에 포함된 경우, 상기 메타 데이터에 포함된 정보를 바탕으로 상기 컨텐츠를 촬영한 카메라의 움직임 유형별 크기를 결정할 수 있다.

또한, 상기 영상 처리를 수행하는 단계는, 디스플레이 영역 조정, 프레임 레이트 조정 및 블러(Blur) 보정 중 적어도 하나를 이용하여 상기 복수의 영상 프레임에 대한 영상 처리를 수행할 수 있다.

그리고, 상기 영상 처리를 수행하는 단계는, 카메라 떨림 보정, 밝기 및 대조 보정, 및 뎁스 보정 중 적어도 하나를 이용하여 상기 복수의 영상 프레임에 대한 영상 처리를 더 수행할 수 있다.

또한, 상기 카메라의 움직임을 판단하는 단계는, 멀미감 저감을 위한 동작 모드가 수동 모드인 경우, 멀미감 저감 모드 실행을 위한 사용자 명령이 입력되면, 상기 카메라의 움직임을 판단할 수 있다.

그리고, 상기 컨텐츠는, 복수의 카메라로부터 촬영된 영상을 합성하여 생성된 파노라마 영상일 수 있다.

한편, 본 발명의 또다른 실시 예에 따르면, 디스플레이 장치는 컨텐츠를 구성하는 복수의 영상 프레임을 입력받는 통신부, 상기 복수의 영상 프레임에 대한 영상 처리를 수행하는 영상 처리부 및 상기 복수의 영상 프레임을 분석하여 상기 컨텐츠를 촬영한 카메라의 움직임을 판단하고, 상기 판단된 움직임을 바탕으로 멀미감을 판단하여, 상기 판단된 멀미감이 기정의된 값 이상이면, 상기 카메라의 움직임을 바탕으로 상기 복수의 영상 프레임에 대한 영상 처리를 수행하도록 상기 영상 처리부를 제어하는 프로세서를 포함한다.

그리고, 상기 프로세서는, 상기 복수의 영상 프레임 각각의 특징점을 검출하고, 상기 검출된 특징점 간의 변화량에 기초하여 상기 카메라의 움직임 유형별 크기를 결정할 수 있다.

그리고, 상기 프로세서는, 상기 카메라의 움직임 유형별 크기에 기초하여 상기 카메라의 움직임 유형별 멀미값을 획득하고, 상기 카메라의 움직임 유형별 멀미값에 가중치를 부여하며, 상기 가중치가 부여된 멀미값을 합하여 최종 멀미값을 산출할 수 있다.

또한, 상기 프로세서는, 사용자 정보 및 환경 정보 중 적어도 하나를 바탕으로 상기 최종 멀미값를 보정할 수 있다.

그리고, 상기 프로세서는, 상기 카메라의 움직임에 대한 정보가 상기 복수의 영상 프레임의 메타 데이터에 포함된 경우, 상기 메타 데이터에 포함된 정보를 바탕으로 상기 컨텐츠를 촬영한 카메라의 움직임 유형별 크기를 결정할 수 있다.

또한, 상기 프로세서는, 디스플레이 영역 조정, 프레임 레이트 조정 및 블러(Blur) 보정 중 적어도 하나를 이용하여 상기 복수의 영상 프레임에 대한 영상 처리를 수행하도록 상기 영상 처리부를 제어할 수 있다.

그리고, 상기 프로세서는, 카메라 떨림 보정, 밝기 및 대조 보정, 및 뎁스 보정 중 적어도 하나를 이용하여 상기 복수의 영상 프레임에 대한 영상 처리를 더 수행하도록 상기 영상 처리부를 제어할 수 있다.

또한, 상기 프로세서는, 멀미감 저감을 위한 동작 모드가 수동 모드인 경우, 멀미감 저감 모드 실행을 위한 사용자 명령이 입력되면, 상기 카메라의 움직임을 판단할 수 있다.

이상과 같이, 본 발명에 따르면, 디스플레이 장치는 멀미 유발 가능성이 높은 영상 컨텐츠에 대해서 멀미감을 저감시킬 수 있다.

도 1은 본 발명의 일 실시예에 따른 디스플레이 장치의 개략적인 블록도,
도 2는 본 발명의 일 실시예에 따른 프로세서의 상세 블록도,
도 3은 본 발명의 일 실시예에 따른 디스플레이 장치에서 영상 프레임 분석을 위한 영역을 결정하는 예시도,
도 4는 본 발명의 일 실시예에 따른 디스플레이 장치에서 카메라의 움직임 유형을 판단하기 위한 예시도,
도 5는 본 발명의 일 실시예에 따른 디스플레이 장치에서 카메라의 움직임 유형에 기초하여 멀미감 정도를 결정하기 위한 예시도,
도 6은 본 발명의 일 실시예에 따른 디스플레이 장치에서 멀미감 저감을 위한 영상 처리를 수행하는 제1 예시도,
도 7은 본 발명의 또다른 실시예에 따른 디스플레이 장치에서 멀미감 저감을 위한 영상 처리를 수행하는 제2 예시도,
도 8은 본 발명의 또다른 실시예에 따른 디스플레이 장치에서 멀미감 저감을 위한 영상 처리를 수행하는 제3 예시도,
도 9는 본 발명의 일 실시예에 따른 디스플레이 장치에서 멀미감 저감을 위한 영상 처리를 수행하는 제4 예시도,
도 10은 본 발명의 일 실시예에 따른 디스플레이 장치의 상세 블록도,
도 11은 본 발명의 일 실시예에 따른 디스플레이 장치의 영상 처리 방법의 흐름도,
도 12는 본 발명의 일 실시예에 따른 디스플레이 장치에서 컨텐츠를 촬영한 카메라의 움직임을 판단하는 흐름도,
도 13은 본 발명의 일 실시예에 따른 디스플레이 장치에서 컨텐츠의 멀미감 정도를 결정하기 위한 흐름도,
도 14는 본 발명의 일 실시예에 따른 디스플레이 장치에서 멀미감 저감을 위한 영상 처리를 수행하는 방법의 흐름도이다.

본 발명에 대하여 구체적으로 설명하기에 앞서, 본 명세서 및 도면의 기재 방법에 대하여 설명한다. 먼저, 본 명세서 및 청구범위에서 사용되는 용어는 본 발명의 다양한 실시 예들에서의 기능을 고려하여 일반적인 용어들을 선택하였다. 하지만, 이러한 용어들은 당 분야에 종사하는 기술자의 의도나 법률적 또는 기술적 해석 및 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 일부 용어는 출원인이 임의로 선정한 용어도 있다. 이러한 용어에 대해서는 본 명세서에서 정의된 의미로 해석될 수 있으며, 구체적인 용어 정의가 없으면 본 명세서의 전반적인 내용 및 당해 기술 분야의 통상적인 기술 상식을 토대로 해석될 수도 있다.

또한, 본 명세서에 첨부된 각 도면에 기재된 동일한 참조번호 또는 부호는 실질적으로 동일한 기능을 수행하는 부품 또는 구성요소를 나타낸다. 설명 및 이해의 편의를 위해서 서로 다른 실시 예들에서도 동일한 참조번호 또는 부호를 사용하여 설명한다. 즉, 복수의 도면에서 동일한 참조 번호를 가지는 구성요소를 모두 도시되어 있다고 하더라도, 복수의 도면들이 하나의 실시 예를 의미하는 것은 아니다.

또한, 본 명세서 및 청구범위에서는 구성요소들 간의 구별을 위하여 "제1", "제2" 등과 같이 서수를 포함하는 용어가 사용될 수 있다. 이러한 서수는 동일 또는 유사한 구성요소들을 서로 구별하기 위하여 사용하는 것이며 이러한 서수 사용으로 인하여 용어의 의미가 한정 해석되어서는 안된다. 일 예로, 이러한 서수와 결합된 구성요소는 그 숫자에 의해 사용 순서나 배치 순서 등이 제한되어서는 안된다. 필요에 따라서는, 각 서수들은 서로 교체되어 사용될 수도 있다.

본 명세서에서 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

본 발명의 실시 예에서 "모듈", "유닛", "부(part)" 등과 같은 용어는 적어도 하나의 기능이나 동작을 수행하는 구성요소를 지칭하기 위한 용어이며, 이러한 구성요소는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 "모듈", "유닛", "부(part)" 등은 각각이 개별적인 특정한 하드웨어로 구현될 필요가 있는 경우를 제외하고는, 적어도 하나의 모듈이나 칩으로 일체화되어 적어도 하나의 프로세서(미도시)로 구현될 수 있다.

또한, 본 발명의 실시 예에서, 어떤 부분이 다른 부분과 연결되어 있다고 할 때, 이는 직접적인 연결뿐 아니라, 다른 매체를 통한 간접적인 연결의 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 포함한다는 의미는, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

이하, 본 발명의 다양한 실시 예를 첨부된 도면을 참조하여 상세히 설명한다.

도 1은 본 발명의 일 실시예에 따른 디스플레이 장치의 개략적인 블록도이다.

도 1에 도시된 바와 같이, 디스플레이 장치(100)는 영상을 디스플레이하는 전자 장치로써, 특히, VR(Virtual Reality) 환경에서 파노라마 영상 컨텐츠를 제공하는 장치가 될 수 있다.

이 같은 디스플레이 장치(100)는 통신부(110), 영상 처리부(120) 및 프로세서(130)를 포함한다.

통신부(110)는 컨텐츠를 구성하는 복수의 영상 프레임을 입력받으며, 영상 처리부(120)는 통신부(110)를 통해 입력된 복수의 영상 프레임에 대한 영상 처리를 수행한다. 여기서, 복수의 영상 프레임 각각은 복수의 카메라를 통해 촬영된 영상 프레임이 결합된 영상 프레임으로써, 이 같은 복수의 영상 프레임을 포함하는 컨텐츠는 360도 어라운드 뷰 영상 제공이 가능한 파노라마 영상이 될 수 있다.

프로세서(130)는 디스플레이 장치(100)를 구성하는 각 구성들에 대한 동작을 전반적으로 제어한다. 특히, 프로세서(130)는 통신부(110)를 통해 복수의 영상 프레임이 입력되면, 복수의 영상 프레임을 분석하여 컨텐츠를 촬영한 카메라의 움직임을 판단하고, 판단된 움직임을 바탕으로 멀미감을 판단한다. 이후, 프로세서(130)는 판단된 멀미감이 기정의된 값 이상이면, 컨텐츠를 촬영한 카메라의 움직임을 바탕으로 복수의 영상 프레임에 대한 영상 처리를 수행하도록 영상 처리부(120)를 제어한다.

이 같은 프로세서(130)는 도 2와 같은 구성으로 구현될 수 있다.

도 2는 본 발명의 일 실시예에 따른 프로세서의 상세 블록도이다.

도 2에 도시된 바와 같이, 프로세서(130)는 영상 분석부(131), 움직임 분석부(132) 및 멀미감 예측부(133)를 포함한다.

영상 분석부(131)는 통신부(110)를 통해 복수의 영상 프레임이 입력되면, 입력된 복수의 영상 프레임 각각의 특징점을 검출한다. 그리고, 움직임 분석부(132)는 영상 분석부(131)를 통해 검출된 복수의 영상 프레임 각각의 특징점 간의 변화량에 기초하여 컨텐츠를 촬영한 카메라의 움직임 유형별 크기를 결정한다.

여기서, 움직임 유형은, 축 방향의 움직임, y축 방향의 움직임, z축 방향의 움직임, x축 방향의 롤(roll) 회전 움직임, y축 방향의 피치(pitch) 회전 움직임, z축 방향의 요(yaw) 회전 움직임 및 지터(jitter) 움직임 중 적어도 하나일 수 있다.

구체적으로, 영상 분석부(131)는 제1 영상 프레임과, 제1 영상 프레임과 연속된 제2 영상 프레임이 입력되면, 제1 영상 프레임으로부터 특징점을 검출한다. 실시예에 따라, 영상 분석부(131)는 제1 영상 프레임의 오브젝트의 경계 영역에 대해서 특징점을 검출할 수 있다. 이 같은 제1 영상 프레임의 특징점이 검출되면, 영상 분석부(131)는 제1 영상 프레임의 특징점에 해당하는 픽셀에 기초하여 제2 영상 프레임의 특징점을 검출한다. 이후, 움직임 분석부(132)는 제1 영상 프레임의 특징점과 제2 영상 프레임의 특징점 간의 변화량을 분석하여 제1 및 제2 영상 프레임을 촬영한 카메라의 움직임 유형을 판단하고, 판단된 움직임 유형별 크기를 결정할 수 있다.

한편, 컨텐츠를 촬영하는 카메라는 자이로 센서, 가속도 센서 등과 같은 모션 센서를 포함할 수 있다. 이 경우, 카메라는 컨텐츠를 촬영 시, 모션 센서를 통해 감지된 센싱값으로부터 메타 데이터를 생성하고, 해당 메타 데이터를 포함하는 컨텐츠를 생성할 수 있다.

이 같은 컨텐츠를 구성하는 복수의 영상 프레임이 입력되면, 움직임 분석부(132)는 컨텐츠에 포함된 메타 데이터를 참조하여 컨텐츠를 촬영한 카메라의 움직임 요소 및 각 움직임 요소별 크기를 결정할 수 있다.

그러나, 본 발명은 이에 한정되지 않으며, 움직임 분석부(132)는 전술한 컨텐츠를 구성하는 복수의 영상 프레임 각각으로부터 검출된 특징점 간의 변화량과 컨텐츠에 포함된 메타 데이터를 이용하여 해당 컨텐츠를 촬영한 카메라의 움직임 유형 및 각 움직임 유형별 크기를 결정할 수 있다.

한편, 움직임 분석부(132)는 카메라의 움직임에 대한 정보가 복수의 영상 프레임의 메타 데이터에 포함된 경우, 메타 데이터에 포함된 정보를 바탕으로 컨텐츠를 촬영한 카메라의 움직임 유형별 크기를 결정할 수 있다.

이 같은 복수의 영상 프레임으로부터 특징점을 검출하고, 검출된 특징점 간의 변화량으로부터 움직임 유형별 크기를 결정하는 기술은 공지된 기술이기에 본 발명에서는 상세한 설명을 생략하도록 한다.

이 같은 실시예를 통해 카메라의 움직임 유형별 크기가 결정되면, 멀미감 예측부(133)는 카메라의 움직임 유형별 멀미값을 획득하고, 획득한 카메라의 움직임 유형별 멀미값에 기설정된 가중치를 부여한다. 그러나, 본 발명은 이에 한정되지 않으며, 멀미감 예측부(133)는 카메라의 움직임 유형 중 멀미감 유발이 높은 움직임 유형의 가중치와 멀미감 유발이 낮은 움직임 유형의 가중치를 상이하게 설정할 수 있다.

이후, 멀미감 예측부(133)는 카메라의 움직임 유형별로 가중치가 부여된 멀미값이 산출되면, 각 움직임 유형별로 가중치가 부여된 멀미값을 합하여 최종 멀미값을 산출한다. 카메라의 움지임 유형별 최종 멀미값은 아래 [수학식 1]에 기초하여 산출될 수 있다.

여기서, S_{sicknessTotal} 은 최종 멀미값이며, S₁,S₂,S₃는 카메라의 움직임 요소가 될 수 있다.

이 같은 최종 멀리값이 산출된 상태에서, 멀미감 예측부(133)는 기설정된 사용자 정보 및 환경 정보 중 적어도 하나를 바탕으로 기산출된 최종 멀미값을 조정할 수 있다.

여기서, 사용자 정보는, 사용자 나이, 성별, 신체 정보 등이 될 수 있으며, 환경 정보는 주변 온도, 습도, 사용자의 동작 상태 등이 될 수 있다.

예를 들어, 사용자 나이가 40대에 속하며, 성별이 여자인 사용자 경우, 프로세서(130)는 사용자 나이가 40대에 속하며, 성별이 남자인 사용자보다 최종 멀미값이 높게 산출되도록 조정할 수 있다.

이 같이, 최종 멀미값이 결정되면, 멀미감 예측부(133)는 디스플레이 영역 조정, 프레임 레이트 조정 및 블러(Blur) 보정 중 적어도 하나를 이용하여 복수의 영상 프레임에 대한 영상 처리를 수행하도록 영상 처리부(120)를 제어한다.

일 실시예에 따라, 멀미감 예측부(133)는 기결정된 최종 멀미값과 기설정된 임계값을 비교하여 최종 멀미값이 기설정된 임계값을 초과하면, 멀미감 저감을 위한 영상 처리를 수행하도록 영상 처리부(120)를 제어한다. 이 같은 제어 명령에 따라, 영상 처리부(120)는 디스플레이 영역 조정, 프레임 레이트 조정 및 블러(Blur) 보정 관련 영상 처리 방식을 이용하여 복수의 영상 프레임에 대한 영상 처리를 수행할 수 있다.

또다른 실시예에 따라, 멀미감 예측부(133)는 최종 멀미값의 레벨 정도에 따라, 디스플레이 영역 조정, 프레임 레이트 조정 및 블러(Blur) 보정 관련 영상 처리 방식 중 최초 멀미값의 레벨에 대응하여 설정된 영상 처리 방식을 이용하여 복수의 영상 프레임에 대한 영상 처리를 수행하도록 영상 처리부(120)를 제어할 수 있다.

예를 들어, 멀미감 예측부(133)는 최종 멀미값이 기설정된 제1 임계값을 초과하면, 디스플레이 영역 조정 관련 영상 처리 방식을 이용하고, 최종 멀미값이 기설정된 제1 임계값 내지 제2 임계값 사이이면, 디스플레이 영역 조정 및 프레임 레이트 조정 관련 영상 처리 방식을 이용하여 복수의 영상 프레임에 대한 영상 처리를 수행하도록 영상 처리부(120)는 제어할 수 있다. 또한, 멀미감 예측부(133)는 최종 멀미값이 기설정된 제2 임계값을 초과하면, 디스플레이 영역 조정, 프레임 레이트 조정 및 블러(Blur) 보정 관련 영상 처리 방식을 이용하여 복수의 영상 프레임에 대한 영상 처리를 수행하도록 영상 처리부(120)는 제어할 수 있다.

이 같은 제어 명령에 따라, 영상 처리부(120)는 디스플레이 영역 조정, 프레임 레이트 조정 및 블러(Blur) 보정 관련 영상 처리 방식 중 최종 멀미값의 레벨에 대응하여 설정된 영상 처리 방식을 이용하여 복수의 영상 프레임에 대한 영상 처리를 수행할 수 있다.

한편, 프로세서(130)는 전술한 디스플레이 영역 조정, 프레임 레이트 조정 및 블러(Blur) 보정 관련 영상 처리 방식 뿐만 아니라, 카메라 떨림 보정, 밝기 및 대조 보정, 및 뎁스 보정 중 적어도 하나의 영상 처리 방식을 이용하여 복수의 영상 프레임에 대한 영상 처리를 수행하도록 영상 처리부(120)를 제어할 수 있다.

실시예에 따라, 프로세서(130)는 최종 멀미값이 기설정된 임계값 이하이면, 멀미 유발 가능성이 낮은 것으로 판단하고, 복수의 영상 처리 방식 중 카메라 떨림 보정, 밝기 및 대조 보정, 및 뎁스 보정 중 적어도 하나의 영상 처리 방식을 이용하여 복수의 영상 프레임에 대한 영상 처리를 수행하도록 영상 처리부(120)를 제어할 수 있다.

이 같은 제어 명령에 따라, 영상 처리부(120)는 복수의 영상 처리 방식 중 카메라 떨림 보정, 밝기 및 대조 보정, 및 뎁스 보정 중 적어도 하나의 영상 처리 방식을 이용하여 복수의 영상 프레임에 대한 영상 처리를 수행할 수 있다.

한편, 본 발명의 추가적인 양상에 따라, 프로세서(130)는 멀미감 저감을 위한 동작 모드가 수동 모드인 경우, 멀미감 저감 모드 실행을 위한 사용자 명령이 입력되면, 전술한 일련의 수행 동작을 통해 복수의 영상 프레임에 대한 영상 처리를 수행하도록 영상 처리부(120)를 제어할 수 있다.

도 3은 본 발명의 일 실시예에 따른 디스플레이 장치에서 영상 프레임 분석을 위한 영역을 결정하는 예시도이며, 도 4는 본 발명의 일 실시예에 따른 디스플레이 장치에서 카메라의 움직임 유형을 판단하기 위한 예시도이며, 도 5는 본 발명의 일 실시예에 따른 디스플레이 장치에서 카메라의 움직임 유형에 기초하여 멀미감 정도를 결정하기 위한 예시도이다.

도 3에 도시된 바와 같이, 특정 컨텐츠에 대한 영상 프레임이 입력되면, 프로세서(130)는 입력된 영상 프레임으로부터 해당 컨텐츠를 촬영한 카메라의 움직임을 판단하기 위한 영역을 선택한다.

도 3에 도시된 바와 같이, 디스플레이 장치(100)는 컨텐츠를 구성하는 영상 프레임이 입력되면, 입력된 영상 프레임에 대응되는 영상 이미지(310)에서 영상 분석을 위한 영역을 선택한다.

여기서, 컨텐츠를 구성하는 영상 프레임(310)의 영상은 복수의 카메라를 통해 촬영된 각각의 영상 프레임을 연결하여 생성된 파노라마 영상이 될 수 있다. 이 같은 영상 프레임이 입력되면, 디스플레이 장치(100)는 프로세서(130)를 통해 디스플레이 장치(100)에 입력된 영상 프레임(310)으로부터 영상 분석을 위한 부분 영상 프레임(320)을 결정한다.

실시예에 따라, 프로세서(130)는 입력된 영상 프레임(310) 상에서 사용자의 시선이 향하는 방향에 기초하여 영상 분석을 위한 부분 영상 프레임(320)을 결정할 수 있다. 구체적으로, 프로세서(130)는 사용자의 시선이 향하는 방향의 위치를 감지하고, 감지된 위치로부터 사용자의 시선이 이동하는 방향의 위치를 추적할 수 있다. 실시예에 따라, 프로세서(130)는 후술할 동공 추적이 가능한 센서를 통해 감지된 위치로부터 사용자의 시선이 이동하는 방향의 위치를 추적하여 사용자의 시선을 감지할 수 있다. 이 같은 사용자의 시선을 감지하는 기술은 공지된 기술이기에 본 발명에서는 상세한 설명을 생략하도록 한다.

한편, 프로세서(130)는 사용자의 시선이 감지되면, 감지된 시선이 향하는 방향에 기초하여 영상 프레임(310)에서 영상 분석을 위한 부분 영상 프레임(320)을 결정할 수 있다. 따라서, 프로세서(130)는 전술한 실시예를 통해 컨텐츠를 구성하는 연속된 복수의 영상 프레임 각각으로부터 영상 분석을 위한 부분 영상 프레임을 결정할 수 있다.

구체적으로, 도 4의 (a)에 도시된 바와 같이, 프로세서(130)는 컨텐츠를 구성하는 복수의 영상 프레임 각각으로부터 영상 분석을 위한 부분 영상 프레임을 결정할 수 있다. 이 같이, 영상 분석을 위한 부분 영상 이미지가 결정되면, 프로세서(130)는 각각의 부분 영상 프레임으로부터 특징점을 검출한다. 이후, 프로세서(130)는 도 4의 (b)에 도시된 바와 같이, 각각의 부분 영상 프레임으로부터 검출된 특징점 간의 변화량에 기초하여 각각의 부분 영상 프레임을 촬영한 카메라의 움직임 유형을 판단하고, 판단된 카메라의 움직임 유형별 크기를 결정한다. 즉, 프로세서(130)는 복수의 부분 영상 프레임으로부터 검출된 특징점(410)의 변화량을 분석하여 복수의 부분 영상 프레임을 촬영한 카메라의 움직임 유형을 판단하고, 판단된 움직임 유형에 대한 크기를 결정할 수 있다.

이후, 프로세서(130)는 복수의 부분 영상 프레임으로부터 검출된 특징점 간의 변화량에 기초하여 결정된 카메라의 움직임 유형별 크기로부터 멀미감 정도를 결정할 수 있다. 구체적으로, 프로세서(130)는 움직임 유형별로 기정의된 멀미감 예측 모델을 참조하여 기결정된 카메라의 움직임 유형별 크기로부터 카메라의 움직임 유형별 멀미값을 획득할 수 있다.

도 5에 도시된 바와 같이, x축 방향의 롤 회전 움직임 유형에 대한 제1 멀미감 예측 모델(510), y축 방향의 피치(pitch) 회전 움직임 유형에 대한 제2 멀미감 예측 모델(520) 및 z축 방향의 요(yaw) 회전 움직임 유형에 대한 제3 멀미감 예측 모델(520)이 기정의될 수 있다.

그리고, 복수의 부분 영상 프레임으로부터 검출된 특징점 간의 변화량에 기초하여 카메라의 x축 방향의 롤 회전 움직임 유형의 크기, y축 방향의 피치(pitch) 회전 움직임 유형의 크기 및 z축 방향의 요(yaw) 회전 움직임 유형의 크기가 결정될 수 있다.

이 경우, 프로세서(130)는 제1 내지 제3 멀미감 예측 모델(510~530)을 참조하여 기결정된 카메라의 x축 방향의 롤 회전 움직임 유형의 크기, y축 방향의 피치(pitch) 회전 움직임 유형의 크기 및 z축 방향의 요(yaw) 회전 움직임 유형의 크기 각각에 대응되는 멀미값을 획득한다. 이후, 프로세서(130)는 제1 내지 제3 멀미감 예측 모델(510~530)을 참조하여 획득된 움직임 유형별 멀미값을 이용하여 영상 프레임 각각에 대한 최종 멀미값(540)을 산출한다.

전술한 바와 같이, 프로세서(130)는 카메라의 움직임 유형별 획득한 멀미값 각각에 카메라의 움직임 유형별 설정된 가중치를 곱하고, 카메라의 움직임 유형별 가중치가 곱해진 멀미값을 모두 합하여 컨텐츠를 구성하는 복수의 영상 프레임 각각에 대응되는 최종 멀미값(540)을 산출한다.

이때, 프로세서(130)는 기설정된 사용자 정보 및 환경 정보 중 적어도 하나를 포함하는 부가 정보를 이용하여 기산출된 최종 멀미값(540)을 조정할 수 있다.

이후, 프로세서(130)는 컨텐츠를 구성하는 복수의 영상 프레임 각각에 대응되는 최종 멀미값(540)을 참조하여 복수의 영상 프레임에 대한 영상 처리 여부를 판단할 수 있다.

일 실시예에 따라, 프로세서(130)는 복수의 영상 프레임 각각에 대응되는 최종 멀미값(540)과 기설정된 임계값을 비교하여 기설정된 임계값보다 높은 값 혹은 낮은 값에 해당하는 최종 멀미값을 갖는 영상 프레임에 대해서 멀미감 저감을 위한 영상 처리를 수행하도록 영상 처리부(120)를 제어한다.

또다른 실시예에 따라, 프로세서(130)는 복수의 영상 프레임 각각에 대응되는 최종 멀미값(540) 간의 변화량을 분석하여 변화량이 기설정된 임계값보다 높거나 낮은 값이 형성되는 구간의 영상 프레임에 대해서 멀미감 저감을 위한 영상 처리를 수행하도록 영상 처리부(120)를 제어할 수 있다.

이 같은 제어 명령에 따라, 영상 처리부(120)는 복수의 영상 프레임 중 적어도 하나의 영상 프레임에 대해서 멀미감 저감을 위한 영상 처리를 수행할 수 있다.

이하에서는, 디스플레이 장치에서 멀미감 저감을 위한 영상 처리를 수행하는 동작에 대해서 상세히 설명하도록 한다.

도 6은 본 발명의 일 실시예에 따른 디스플레이 장치에서 멀미감 저감을 위한 영상 처리를 수행하는 제1 예시도이다.

디스플레이 장치(100)는 컨텐츠를 구성하는 복수의 영상 프레임 중 멀미감 유발 가능성이 높은 것으로 판단된 적어도 하나의 영상 프레임에 대해서 디스플레이 영역이 조정된 영상을 디스플레이할 수 있다.

도 5에서 설명한 바와 같이, 프로세서(130)는 컨텐츠를 구성하는 복수의 영상 프레임 각각에 대응되는 최종 멀미값에 기초하여 도 6의 (a)와 같이, 복수의 영상 프레임 중 멀미감을 유발할 수 있는 영상 프레임을 추출할 수 있다. 멀미감을 유발할 수 있는 영상 프레임이 추출되면, 영상 처리부(120)는 도 6의 (b)와 같이, 멀미감을 유발할 수 있는 영상 프레임의 영상의 디스플레이 영역을 조정한다.

구체적으로, 영상 처리부(120)는 멀미감을 유발할 수 있는 영상 프레임의 영상에 대한 FOV(Field of View)를 조정하는 영상 처리를 수행하여 해당 영상 프레임의 멀미감을 저감시킬 수 있다. 이때, 영상 처리부(120)는 멀미감을 유발할 수 있는 영상 프레임의 영상이 화면 전체에서 상하 또는 좌우에 대해 동일한 비율로 조정되도록 FOV를 조정할 수 있다. 그러나, 본 발명은 이에 한정되지 않으며, 영상 처리부(120)는 해당 영상 프레임의 영상이 화면 전체에서 상이한 비율로 조정되도록 FOV를 조정할 수 있다.

또한, 영상 처리부(120)는 화면의 세로 방향 또는 가로 방향이 조정되거나 혹은 세로 및 가로 방향이 모두 조정되도록 FOV를 조정할 수 있다. 이 같은 FOV 조정 방법은 디스플레이 영역을 검은색으로 처리하는 방법, 외곽으로 갈수록 검색으로 그라데이이션을 처리하는 방법 및 블러링(Blurring)을 수행하는 방법이 될 수 있다.

도 7은 본 발명의 또다른 실시예에 따른 디스플레이 장치에서 멀미감 저감을 위한 영상 처리를 수행하는 제2 예시도이다.

디스플레이 장치(100)는 컨텐츠를 구성하는 복수의 영상 프레임 중 멀미감 유발 가능성이 높은 것으로 판단된 적어도 하나의 영상 프레임에 대해서 프레임 레이트를 조정하여 디스플레이할 수 있다.

도 5에서 설명한 바와 같이, 프로세서(130)는 컨텐츠를 구성하는 복수의 영상 프레임 각각에 대응되는 최종 멀미값에 기초하여 복수의 영상 프레임 중 복수의 영상 프레임 중 멀미감을 유발할 수 있는 구간을 결정할 수 있다. 멀미감을 유발할 수 있는 구간이 결정되면, 영상 처리부(120)는 해당 구간에 포함된 영상 프레임의 개수를 증가시켜 프레임 레이트를 조정한다.

구체적으로, 도 7의 (a)에 도시된 바와 같이, 멀미감을 유발할 수 있는 구간에는 연속된 제1 내지 제3 영상 프레임이 포함될 수 있다. 이 경우, 영상 처리부(120)는 도 7의 (b)에 도시된 바와 같이, 멀미감을 유발할 수 있는 구간에 포함된 제1 내지 제3 영상 프레임에 기초하여 새로운 영상 프레임을 생성하여 삽입한다. 실시예에 따라, 영상 처리부(120)는 멀미감을 유발할 수 있는 구간에 포함된 제1 및 제2 영상 프레임의 픽셀값에 기초하여 중간값을 가지는 영상 프레임과, 제2 및 제3 영상 프레임의 픽셀값에 기초하여 중간값을 가지는 영상 프레임을 생성한다.

이후, 영상 처리부(120)는 새로 생성된 영상 프레임 각각은 제1 내지 제3 영상 프레임 사이에 삽입한다. 이와 같이, 본 발명에 따른 영상 처리부(120)는 멀미감을 유발할 수 있는 구간의 영상 프레임 개수를 증가시켜 해당 구간의 프레임 레이트가 높아지도록 조정할 수 있다.

도 8은 본 발명의 또다른 실시예에 따른 디스플레이 장치에서 멀미감 저감을 위한 영상 처리를 수행하는 제3 예시도이다.

디스플레이 장치(100)는 컨텐츠를 구성하는 복수의 영상 프레임 중 멀미감 유발 가능성이 높은 것으로 판단된 적어도 하나의 영상 프레임에 대해서 디스플레이 영역 및 프레임 레이트를 조정하여 디스플레이할 수 있다.

도 5에서 설명한 바와 같이, 프로세서(130)는 컨텐츠를 구성하는 복수의 영상 프레임 각각에 대응되는 최종 멀미값에 기초하여 복수의 영상 프레임 중 복수의 영상 프레임 중 멀미감을 유발할 수 있는 구간을 결정할 수 있다. 멀미감을 유발할 수 있는 구간이 결정되면, 영상 처리부(120)는 해당 구간에 포함된 영상 프레임의 개수를 증가시켜 프레임 레이트를 조정한다. 이후, 영상 처리부(120)는 프레임 레이트가 조정된 영상 프레임의 디스플레이 영역을 조정하는 영상 처리를 수행한다.

구체적으로, 도 8의 (a)에 도시된 바와 같이, 멀미감을 유발할 수 있는 구간에는 연속된 제1 내지 제3 영상 프레임이 포함될 수 있다. 이 경우, 영상 처리부(120)는 도 7의 (b)에 도시된 바와 같이, 멀미감을 유발할 수 있는 구간에 포함된 제1 내지 제3 영상 프레임에 기초하여 새로운 영상 프레임을 생성하여 삽입한다. 실시예에 따라, 영상 처리부(120)는 멀미감을 유발할 수 있는 구간에 포함된 제1 및 제2 영상 프레임의 픽셀값에 기초하여 중간값을 가지는 영상 프레임과, 제2 및 제3 영상 프레임의 픽셀값에 기초하여 중간값을 가지는 영상 프레임을 생성한다.

이후, 영상 처리부(120)는 새로 생성된 영상 프레임 각각은 제1 내지 제3 영상 프레임 사이에 삽입한다. 제1 내지 제3 영상 프레임 사이에 새로운 영상 프레임이 삽입되면, 영상 처리부(120)는 제1 내지 제3 영상 프레임 및 제1 내지 제3 영상 프레임 사이에 삽입된 영상 프레임의 영상에 대한 FOV(Field of View)를 조정하는 영상 처리를 수행한다. 이에 따라, 멀미감을 유발할 수 있는 구간에 포함된 복수의 영상 프레임의 영상에 대한 멀미감을 저감시킬 수 있다. 이때, 영상 처리부(120)는 멀미감을 유발할 수 있는 영상 프레임의 영상이 화면 전체에서 상하 또는 좌우에 대해 동일한 비율로 조정되도록 FOV를 조정할 수 있다. 그러나, 본 발명은 이에 한정되지 않으며, 영상 처리부(120)는 해당 영상 프레임의 영상이 화면 전체에서 상이한 비율로 조정되도록 FOV를 조정할 수 있다.

도 9는 본 발명의 일 실시예에 따른 디스플레이 장치에서 멀미감 저감을 위한 영상 처리를 수행하는 제4 예시도이다.

디스플레이 장치(100)는 컨텐츠를 구성하는 복수의 영상 프레임 중 멀미감 유발 가능성이 높은 것으로 판단된 적어도 하나 이상의 영상 프레임의 영상에 대해서 주변시 블러 보정된 영상을 디스플레이할 수 있다.

도 5에서 설명한 바와 같이, 프로세서(130)는 컨텐츠를 구성하는 복수의 영상 프레임 각각에 대응되는 최종 멀미값에 기초하여 복수의 영상 프레임 중 멀미감을 유발할 수 있는 영상 프레임을 추출할 수 있다. 멀미감을 유발할 수 있는 영상 프레임이 추출되면, 영상 처리부(120)는 도 9에 도시된 바와 같이, 멀미감을 유발할 수 있는 영상 프레임의 영상(910)에서 제1 오브젝트 이미지(920)를 제외한 나머지 영역의 이미지를 블러 처리함으로써, 주변시 블러 효과를 제공한다.

영상 프레임에서 블러 처리하는 영역은 통상적으로 영상의 중심을 기준으로 원 또는 타원 크기에 포함되는 영역의 영상을 제외한 나머지 영역의 영상이 될 수 있다. 즉, 영상을 중심으로 원 또는 타원 크기에 포함된 영역의 영상은 원본 영상으로 출력되고, 나머지 영역의 영상은 블러 처리된 영상이 출력될 수 있다.

이와 같이, 본 발명은 멀미감이 유발될 수 있는 구간의 영상에서 특정 오브젝트 이미지가 디스플레이되는 영역을 제외한 나머지 영역의 이미지를 블러 처리함으로써 해당 구간의 영상에 대한 멀미감을 저감시킬 수 있다.

한편, 전술한 바와 같이, 외부로부터 컨텐츠를 구성하는 복수의 영상 프레임을 입력받는 통신부(110)는 근거리 통신 모듈(111), 무선 통신 모듈(112) 및 커넥터(113)를 포함할 수 있다.

근거리 통신 모듈(111)은 디스플레이 장치(100)와 주변의 전자 장치(미도시) 사이에 무선으로 근거리 통신을 수행하는 구성이다. 이 같은 근거리 통신 모듈(111)은 블루투스(bluetooth)모듈, 적외선 통신(IrDA, infrared data association)모듈, NFC(Near Field Communication)모듈, 와이파이(WIFI)모듈, 지그비(Zigbee) 모듈 중 적어도 하나를 포함할 수 있다.

무선 통신 모듈(112)은 IEEE 등과 같은 무선 통신 프로토콜에 따라 외부 네트워크에 연결되어 통신을 수행하는 모듈이다. 이 밖에 무선 통신 모듈은 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evoloution) 등과 같은 다양한 이동 통신 규격에 따라 이동 통신 망에 접속하여 통신을 수행하는 이동 통신 모듈을 더 포함할 수도 있다.

이처럼 통신부(110)는 상술한 다양한 근거리 통신 방식에 의해 구현될 수 있고, 필요에 따라 본 명세서에 언급되지 않은 다른 통신 기술을 채용할 수 있다.

한편, 커넥터(113)는 USB 2.0, USB 3.0, HDMI, IEEE 1394 등 다양한 소스 장치와의 인터페이스를 제공하는 구성이다. 이 같은 커넥터(113)는 프로세서(130)의 제어 명령에 따라 커넥터(113)에 연결된 유선 케이블을 통해 외부 서버(미도시)로부터 전송된 컨텐츠를 수신하거나, 혹은 물리적으로 연결된 전자 장치(미도시), 외부 기록 매체 등으로부터 컨텐츠를 수신하거나 전송할 수 있다. 또한, 커넥터(113)는 커넥터(113)와 물리적으로 연결된 유선 케이블을 통해 전원 소스로부터 전원을 입력받을 수 있다.

한편, 전술한 디스플레이 장치(100)는 스마트 폰, 멀티미디어 기기 등으로 구현될 경우, 전술한 구성 외에 도 10과 같은 구성을 더 포함할 수 있다.

도 10은 본 발명의 일 실시예에 따른 디스플레이 장치의 상세 블록도이다.

도 10에 도시된 바와 같이, 디스플레이 장치(100)는 전술한 통신부(110), 영상 처리부(120) 및 프로세서(130) 구성 외에 입력부(140), 촬영부(160), 감지부(170), 출력부(180) 및 저장부(190)를 더 포함할 수 있다.

입력부(140)는 다양한 사용자 명령을 입력받아 프로세서(130)로 전달하기 위한 입력 수단으로써, 마이크(141), 조작부(142), 터치 입력부(143) 및 사용자 통신부(144)를 포함할 수 있다.

마이크(141)는 사용자의 음성 명령을 입력받으며, 조작부(142)는 각종 기능키, 숫자키, 특수키, 문자키 등을 구비한 키패드(Key Pad)로 구현될 수 있다. 그리고, 터치 입력부(143)는 후술할 디스플레이부(181)과 상호 레어어 구조를 이루는 터치 패드로 구현될 수 있다. 이 경우, 터치 입력부(143)는 디스플레이부(181)를 통해 디스플레이된 다양한 어플리케이션 관련 아이콘에 대한 선택 명령을 입력받을 수 있다.

사용자 입력부(144)는 원격 제어 장치와 같은 적어도 하나의 주변 기기(미도시)로부터 디스플레이 장치(100)의 동작을 제어하기 위한 IR 신호 혹은 RF 신호를 입력받을 수 있다.

촬영부(160)는 사용자 명령에 따라, 정지 영상 또는 동영상을 촬영하기 위한 것으로써, 전면 카메라, 후면 카메라와 같이 복수 개로 구현될 수 있다.

감지부(170)는 디스플레이 장치(100)의 움직임을 감지하는 움직임 센서(171), 지자기 센서(172), 중력 센서(173), 자이로 센서(174) 및 동공 추적 센서(175)를 포함할 수 있다.

움직임 센서(171)는 이동하는 디스플레이 장치(100)의 가속도나 충격의 세기를 측정하는 가속도 센서(Accelerometer Sensor)가 될 수 있다.

지자기 센서(Magnetic Sensor)(172)는 지구 자기장을 이용하여 방위각을 탐지할 수 있는 전자 나침판으로써, 위치 추적, 3D 영상 게임 등에 사용되거나, 스마트 폰, 무전기, GPS, PDA, 네비게이션 항법 장치 등에 사용되는 센서이다.

중력 센서(Gravity Sensor)(173)는 중력이 어느 방향으로 작용하는지 탐지하는 센서로써, 디스플레이 장치(100)의 이동 방향에 따라 자동으로 회전하여 방향을 감지하는데 이용되는 센서이다.

자이로 센서(Gyroscope Sensor)(174)는 기존의 움직임 센서(171)에 각각 회전을 넣어 6축 방향을 인식하여 하여 좀더 세밀하고 정밀한 동작을 인식할 수 있도록 도와주는 센서이다.

동공 추적 센서(175)는 동공 추적 센서(130-1)는 사용자의 안구에 근접한 곳에 위치하여, 사용자의 동공을 촬영하면서 사용자의 시선 변화를 감지하는 센서이다.

한편, 본 발명에서는 감지부(170)는 전술한 구성 외에 사물이 다른 사물에 접촉되기 이전에 근접하였는지 여부를 결정하는데 이용되는 근접 센서(미도시), 수광을 빛을 감지하여 전기적인 신호로 변환하는 광 센서(미도시) 등을 더 포함할 수 있다.

출력부(180)는 영상 처리부(120)는 영상 처리된 컨텐츠를 출력한다. 이 같은 출력부(180)는 디스플레이부(181) 및 오디오 출력부(182) 중 적어도 하나를 통해 컨테츠에 대한 영상 및 오디오를 출력할 수 있다. 즉, 디스플레이부(181)는 영상 처리부(120)는 영상 처리부(120)에 의해 영상 처리된 영상 데이터를 디스플레이하며, 오디오 출력부(182)는 오디오 신호 처리된 오디오 데이터를 가청음 형태로 출력할 수 있다.

한편, 영상 데이터를 디스플레이하는 디스플레이부(181)는 액정 표시 장치(Liquid Crystal Display, LCD), 유기 전기 발광 다이오드(Organic Light Emitting Display, OLED) 또는 플라즈마 표시 패널(Plasma Display Panel, PDP) 등으로 구현될 수 있다.　 특히, 디스플레이부(181)는 터치 입력부(143)와 함께 상호 레이어 구조를 이루는 터치 스크린 형태로 구현될 수 있다.

저장부(190)는 복수의 카메라로부터 촬영된 각각의 영상 및 각각의 영상으로부터 생성된 파노라마 영상 등의 영상 컨텐츠를 저장하거나, 외부 서버(미도시)로부터 수신된 컨텐츠의 영상 및 오디오 데이터를 저장할 수 있다. 뿐만 아니라, 저장부(190)는 디스플레이 장치(100)의 동작을 제어하기 위한 운용 프로그램을 더 저장할 수 있다. 여기서, 운용 프로그램은 디스플레이 장치(100)가 턴 온(Turn On)되는 경우, 저장부(190)에서 읽혀지고, 컴파일되어 디스플레이 장치(100)의 각 구성을 동작시키는 프로그램이 될 수 있다.

한편, 전술한 프로세서(130)는 CPU(134), GPU(135), RAM(136) 및 ROM(137)를 더 포함할 수 있으며, CPU(134), GPU(135), RAM(136) 및 ROM(137)는 버스(미도시)를 통해 서로 연결될 수 있다.

CPU(134)는 저장부(190)를 액세스하여, 저장부(190)에 저장된 OS를 이용하여 부팅을 수행한다. 또한 CPU(134)는 저장부(190)에 저장된 각종 프로그램, 컨텐츠, 데이터 등을 이용하여 다양한 동작을 수행한다.

GPU(135)는 아이콘, 이미지, 텍스트 등과 같은 다양한 객체를 포함하는 디스플레이 화면을 생성한다. 구체적으로, GPU(135)는 수신된 제어 명령에 기초하여 화면의 레이아웃에 따라 각 객체들이 표시될 좌표값, 형태, 크기, 컬러 등과 같은 속성값을 연산하고, 연상된 속성값에 기초하여 객체를 포함하는 다양한 레이아웃의 디스플레이 화면을 생성한다.

ROM(136)은 시스템 부팅을 위한 명령어 세트 등이 저장된다. 턴온 명령이 입력되어 전원이 공급되면, CPU(134)는 ROM(135)에 저장된 명령어에 따라 저장부(190)에 저장된 OS를 RAM(136)에 복사하고, OS를 실행시켜 시스템을 부팅시킨다. 부팅이 완료되면, CPU(134)는 저장부(190)에 저장된 각종 프로그램을 RAM(136)에 복사하고, RAM(136)에 복사된 프로그램을 실행시켜 각종 동작을 수행한다.

이 같은 프로세서(130)는 전술한 각 구성들과 결합되어 단일칩 시스템(System-on-a-chip 또는 System on chip, SOC, SoC)으로 구현될 수 있다.

한편, 상술한 프로세서(130)의 동작은 저장부(190)에 저장된 프로그램에 의해 이루어질 수 있다. 여기서, 저장부(190)는 ROM(137), RAM(136) 또는 디스플레이 장치(100)에 탈착/장착 가능한 메모리 카드(예, SD 카드, 메모리 스틱), 비휘발성 메모리, 휘발성 메모리, 하드 디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD) 중 적어도 하나로 구현될 수 있다.

지금까지, 본 발명에 따른 디스플레이 장치(100)의 각 구성에 대해서 상세히 설명하였다.

이하에서는, 본 발명에 따른 디스플레이 장치(100)의 동작을 제어하는 방법에 대해서 상세히 설명하도록 한다.

도 11은 본 발명의 일 실시예에 따른 디스플레이 장치의 영상 처리 방법의 흐름도이다.

도 11에 도시된 바와 같이, 디스플레이 장치(100)는 컨텐츠를 구성하는 복수의 영상 프레임을 입력받는다(S1110). 여기서, 복수의 영상 프레임 각각은 복수의 카메라를 통해 촬영된 영상 프레임이 결합된 영상 프레임으로써, 이 같은 복수의 영상 프레임을 포함하는 컨텐츠는 360도 어라운드 뷰 영상 제공이 가능한 파노라마 영상이 될 수 있다.

이 같은 복수의 영상 프레임이 입력되면, 디스플레이 장치(100)는 멀미감 저감 동작을 자동으로 수행하기 위한 모드인지 여부를 판단한다(S1120).

판단 결과, 멀미감 저감 동작 모드가 자동 모드이면, 디스플레이 장치(100)는 복수의 영상 프레임을 분석하여 컨텐츠를 촬영한 카메라의 움직임을 판단한다(S1130). 이후, 디스플레이 장치(100)는 해당 컨텐츠를 촬영한 카메라의 움직임을 바탕으로 멀미감을 판단한다(S1140). 이후, 디스플레이 장치(100)는 판단된 멀미감이 기정의된 값 이상이면, 컨텐츠를 촬영한 카메라의 움직임을 바탕으로 복수의 영상 프레임의 멀미감 저감을 위한 영상 처리를 수행한다(S1150).

한편, 전술한 단계 SS1120에서 멀미감 저감 동작을 수행하기 위한 모드가 수동 모드이면, 디스플레이 장치(100)는 멀미감 저감 동작을 위한 사용자 명령이 입력되는지 여부를 판단한다(S1160). 판단 결과, 멀미감 저감 동작을 위한 사용자 명령이 입력되면, 디스플레이 장치(100)는 전술한 단계 S1130 내지 S1150 동작을 수행한다.

한편, 멀미감 저감 동작을 위한 사용자 명령이 입력되지 않으면, 디스플레이 장치(100)는 전술한 단계 S1150을 수행하여 일반 영상 처리를 동작을 수행한다(S1160).

도 12는 본 발명의 일 실시예에 따른 디스플레이 장치에서 컨텐츠를 촬영한 카메라의 움직임을 판단하는 흐름도이다.

도 12에 도시된 바와 같이, 디스플레이 장치(100)는 컨텐츠를 구성하는 복수의 영상 프레임이 입력되면, 입력된 복수의 영상 프레임 각각의 특징점을 검출한다(S1210). 이후, 디스플레이 장치(100)는 복수의 영상 프레임 각각으로부터 검출된 특징점 및 복수의 영상 프레임의 메타 데이터 중 적어도 하나에 기초하여 컨텐츠를 촬영한 카메라의 움직임 유형을 판단하고, 그 판단된 움직임 유형에 대한 크기를 결정한다(S1220).

구체적으로, 디스플레이 장치(100)는 연속된 영상 프레임별로 특징점을 검출하고, 검출된 특징점 간의 변화량을 분석하여 연속된 영상 프레임을 촬영한 카메라의 움직임 유형을 판단하며, 판단된 움직임 유형별 크기를 결정할 수 있다.

따라서, 디스플레이 장치(100)는 컨텐츠를 구성하는 복수의 영상 프레임 각각으로부터 검출된 특징점 간의 변화량과 컨텐츠에 포함된 메타 데이터를 이용하여 해당 컨텐츠를 촬영한 카메라의 움직임 유형 및 각 움직임 유형별 크기를 결정할 수 있다.

그러나, 본 발명은 이에 한정되지 않으며, 디스플레이 장치(100)는 컨텐츠를 구성하는 복수의 영상 프레임 각각으로부터 검출된 특징점 간의 변화량 또는 컨텐츠에 포함된 메타 데이터만을 이용하여 컨텐츠를 촬영한 카메라의 움직임 요소 및 각 움직임 요소별 크기를 결정할 수 있다.

도 13은 본 발명의 일 실시예에 따른 디스플레이 장치에서 컨텐츠의 멀미감 정도를 결정하기 위한 흐름도이다.

도 13에 도시된 바와 같이, 디스플레이 장치(100)는 컨텐츠를 촬영한 카메라의 움직임 유형별 크기가 결정되면, 움직임 유형별 크기에 기초하여 움직임 유형별 멀미값을 획득한다(S1310).

구체적으로, 디스플레이 장치(100)는 움직임 유형별로 기정의된 멀미감 예측 모델을 참조하여 기결정된 카메라의 움직임 유형별 크기로부터 카메라의 움직임 유형별 멀미값을 획득할 수 있다.

이후, 디스플레이 장치(100)는 카메라의 움직임 유형별로 획득한 멀미값에 움직임 유형별로 설정된 가중치를 부여한다(S1320). 이후, 디스플레이 장치(100)는 카메라의 움직임 유형별로 가중치가 부여된 멀미값을 모두 합하여 컨텐츠를 구성하는 복수의 영상 프레임에 대한 최종 멀미값을 획득한다(S1330). 이때, 디스플레이 장치(100)는 기설정된 사용자 정보 및 환경 정보 중 적어도 하나를 포함하는 부가 정보를 이용하여 기산출된 최종 멀미값을 조정할 수 있다.

도 14는 본 발명의 일 실시예에 따른 디스플레이 장치에서 멀미감 저감을 위한 영상 처리를 수행하는 방법의 흐름도이다.

도 14에 도시된 바와 같이, 디스플레이 장치(100)는 컨텐츠를 구성하는 복수의 영상 프레임이 입력되면, 입력된 영상 프레임에 대한 카메라 떨림 보정을 수행한다(S1410). 이후, 디스플레이 장치(100)는 기산출된 컨텐츠를 구성하는 복수의 영상 프레임에 대한 최종 멀미값과 기설정된 임계값을 비교하여, 기설정된 임계값을 초과하는 최종 멀미값을 갖는 영상 프레임에 대해서 멀미감 저감을 위한 영상 추리를 수행한다(S1420,S1430).

일 실시예에 따라, 디스플레이 장치(100)는 최종 멀미값이 기설정된 임계값을 초과하면, 디스플레이 영역 조정, 프레임 레이트 조정 및 블러(Blur) 보정 관련 영상 처리 방식을 이용하여 복수의 영상 프레임에 대한 영상 처리를 수행할 수 있다.

또다른 실시예에 따라, 디스플레이 장치(100)는 최종 멀미값의 레벨 정도에 따라, 디스플레이 영역 조정, 프레임 레이트 조정 및 블러(Blur) 보정 관련 영상 처리 방식 중 최초 멀미값의 레벨에 대응하여 설정된 영상 처리 방식을 이용하여 복수의 영상 프레임에 대한 영상 처리를 수행할 수 있다. 예를 들어, 디스플레이 장치(100)는 최종 멀미값이 기설정된 제1 임계값을 초과하면, 디스플레이 영역 조정 관련 영상 처리 방식을 이용하고, 최종 멀미값이 기설정된 제1 임계값 내지 제2 임계값 사이이면, 디스플레이 영역 조정 및 프레임 레이트 조정 관련 영상 처리 방식을 이용하여 복수의 영상 프레임에 대한 영상 처리를 수행한다. 또한, 디스플레이 장치(100)는 최종 멀미값이 기설정된 제2 임계값을 초과하면, 디스플레이 영역 조정, 프레임 레이트 조정 및 블러(Blur) 보정 관련 영상 처리 방식을 이용하여 복수의 영상 프레임에 대한 영상 처리를 수행할 수 있다.

또다른 실시예에 따라, 디스플레이 장치(100)는 최종 멀미값의 크기에 따라 디스플레이 영역 조정, 프레임 레이트 조정 및 블러 보정 관련 영상 처리의 크기가 가변적으로 조정될 수 있다. 예를 들어, 최종 멀미값의 크기가 제1 임계값을 초과하면, 디스플레이 장치(100)는 디스플레이 영역이 10% 감소되고, 프레임 레이트가 30% 증가되며, 블러가 10% 강도로 보정되도록 처리할 수 있다.. 그리고, 최종 멀미값이 제2 임계값을 초과하면, 디스플레이 장치(100)는 디스플레이 영역이 30% 감소되고, 프레임 레이트가 50% 증가하며, 블러가 30% 강도로 보정되도록 처리할 수 있다.

한편, 상술한 바와 같은 디스플레이 장치(100)의 영상 처리 방법은 적어도 하나의 실행 프로그램으로 구현될 수 있으며, 이러한 실행 프로그램은 비일시적 컴퓨터 판독 가능 매체에 저장될 수 있다.

비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로, 상술한 프로그램들은 RAM(Random Access Memory), 플레시메모리, ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electronically Erasable and Programmable ROM), 레지스터, 하드디스크, 리무버블 디스크, 메모리 카드, USB 메모리, CD-ROM 등과 같이, 단말기에서 판독 가능한 다양한 유형의 기록 매체에 저장되어 있을 수 있다.

이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다.

이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

100 : 디스플레이 장치 110 : 통신부
120 : 영상 처리부 130 : 프로세서
140 : 입력부 160 : 촬영부
170 : 감지부 180 : 출력부
190 : 저장부

Claims

디스플레이 장치의 영상 처리 방법에 있어서,
컨텐츠를 구성하는 복수의 영상 프레임을 입력받는 단계;
상기 복수의 영상 프레임을 분석하여 상기 컨텐츠를 촬영한 카메라의 움직임을 판단하는 단계;
상기 촬영된 카메라의 움직임을 바탕으로 멀미감을 판단하는 단계; 및
상기 판단된 멀미감이 기정의된 값 이상이면, 상기 카메라의 움직임을 바탕으로 상기 복수의 영상 프레임에 대한 영상 처리를 수행하는 단계;
를 포함하는 영상 처리 방법.
제 1 항에 있어서,
상기 카메라의 움직임을 판단하는 단계는,
상기 복수의 영상 프레임 각각의 특징점을 검출하는 단계; 및
상기 검출된 특징점 간의 변화량에 기초하여 상기 카메라의 움직임 유형별 크기를 결정하는 단계;
를 포함하는 것을 특징으로 하는 영상 처리 방법.
제 2 항에 있어서,
상기 카메라의 움직임 유형은,
x축 방향의 움직임, y축 방향의 움직임, z축 방향의 움직임, x축 방향의 롤(roll) 회전 움직임, y축 방향의 피치(pitch) 회전 움직임, z축 방향의 요(yaw) 회전 움직임 및 지터(jitter) 움직임 중 적어도 하나인 것을 특징으로 하는 영상 처리 방법.
제 2 항에 있어서,
상기 멀미감을 판단하는 단계는,
상기 카메라의 움직임 유형별 크기에 기초하여 상기 카메라의 움직임 유형별 멀미값을 획득하는 단계;
상기 카메라의 움직임 유형별 멀미값에 가중치를 부여하는 단계; 및
상기 가중치가 부여된 멀미값을 합하여 최종 멀미값을 산출하는 단계;
를 포함하는 영상 처리 방법.
제 4 항에 있어서,
상기 멀미감을 판단하는 단계는,
사용자 정보 및 환경 정보 중 적어도 하나를 바탕으로 상기 최종 멀미값를 보정하는 단계;
를 더 포함하는 것을 특징으로 하는 영상 처리 방법.
제 1 항에 있어서,
상기 카메라의 움직임을 판단하는 단계는,
상기 카메라의 움직임에 대한 정보가 상기 복수의 영상 프레임의 메타 데이터에 포함된 경우, 상기 메타 데이터에 포함된 정보를 바탕으로 상기 컨텐츠를 촬영한 카메라의 움직임 유형별 크기를 결정하는 것을 특징으로 하는 영상 처리 방법.
제 1 항에 있어서,
상기 영상 처리를 수행하는 단계는,
디스플레이 영역 조정, 프레임 레이트 조정 및 블러(Blur) 보정 중 적어도 하나를 이용하여 상기 복수의 영상 프레임에 대한 영상 처리를 수행하는 것을 특징으로 하는 영상 처리 방법.
제 8 항에 있어서,
상기 영상 처리를 수행하는 단계는,
카메라 떨림 보정, 밝기 및 대조 보정, 및 뎁스 보정 중 적어도 하나를 이용하여 상기 복수의 영상 프레임에 대한 영상 처리를 더 수행하는 것을 특징으로 하는 영상 처리 방법.
제 1 항에 있어서,
상기 카메라의 움직임을 판단하는 단계는,
멀미감 저감을 위한 동작 모드가 수동 모드인 경우, 멀미감 저감 모드 실행을 위한 사용자 명령이 입력되면, 상기 카메라의 움직임을 판단하는 것을 특징으로 하는 영상 처리 방법.
제 1 항에 있어서,
상기 컨텐츠는,
복수의 카메라로부터 촬영된 영상을 합성하여 생성된 파노라마 영상인 것을 특징으로 하는 영상 처리 방법.
디스플레이 장치에 있어서,
컨텐츠를 구성하는 복수의 영상 프레임을 입력받는 통신부;
상기 복수의 영상 프레임에 대한 영상 처리를 수행하는 영상 처리부; 및
상기 복수의 영상 프레임을 분석하여 상기 컨텐츠를 촬영한 카메라의 움직임을 판단하고, 상기 판단된 움직임을 바탕으로 멀미감을 판단하여, 상기 판단된 멀미감이 기정의된 값 이상이면, 상기 카메라의 움직임을 바탕으로 상기 복수의 영상 프레임에 대한 영상 처리를 수행하도록 상기 영상 처리부를 제어하는 프로세서;
를 포함하는 디스플레이 장치.
제 11 항에 있어서,
상기 프로세서는,
상기 복수의 영상 프레임 각각의 특징점을 검출하고, 상기 검출된 특징점 간의 변화량에 기초하여 상기 카메라의 움직임 유형별 크기를 결정하는 것을 특징으로 하는 디스플레이 장치.
제 12 항에 있어서,
상기 카메라의 움직임 유형은,
x축 방향의 움직임, y축 방향의 움직임, z축 방향의 움직임, x축 방향의 롤(roll) 회전 움직임, y축 방향의 피치(pitch) 회전 움직임, z축 방향의 요(yaw) 회전 움직임 및 지터(jitter) 움직임 중 적어도 하나인 것을 특징으로 하는 디스플레이 장치.
제 12 항에 있어서,
상기 프로세서는,
상기 카메라의 움직임 유형별 크기에 기초하여 상기 카메라의 움직임 유형별 멀미값을 획득하고, 상기 카메라의 움직임 유형별 멀미값에 가중치를 부여하며, 상기 가중치가 부여된 멀미값을 합하여 최종 멀미값을 산출하는 것을 특징으로 하는 디스플레이 장치.
제 14 항에 있어서,
상기 프로세서는,
사용자 정보 및 환경 정보 중 적어도 하나를 바탕으로 상기 최종 멀미값를 보정하는 것을 특징으로 하는 디스플레이 장치.
제 11 항에 있어서,
상기 프로세서는,
상기 카메라의 움직임에 대한 정보가 상기 복수의 영상 프레임의 메타 데이터에 포함된 경우, 상기 메타 데이터에 포함된 정보를 바탕으로 상기 컨텐츠를 촬영한 카메라의 움직임 유형별 크기를 결정하는 것을 특징으로 하는 디스플레이 장치.
제 11 항에 있어서,
상기 프로세서는,
디스플레이 영역 조정, 프레임 레이트 조정 및 블러(Blur) 보정 중 적어도 하나를 이용하여 상기 복수의 영상 프레임에 대한 영상 처리를 수행하도록 상기 영상 처리부를 제어하는 것을 특징으로 하는 디스플레이 장치.
제 17 항에 있어서,
상기 프로세서는,
카메라 떨림 보정, 밝기 및 대조 보정, 및 뎁스 보정 중 적어도 하나를 이용하여 상기 복수의 영상 프레임에 대한 영상 처리를 더 수행하도록 상기 영상 처리부를 제어하는 것을 특징으로 하는 디스플레이 장치.
제 11 항에 있어서,
상기 프로세서는,
멀미감 저감을 위한 동작 모드가 수동 모드인 경우, 멀미감 저감 모드 실행을 위한 사용자 명령이 입력되면, 상기 카메라의 움직임을 판단하는 것을 특징으로 하는 디스플레이 장치.
제 11 항에 있어서,
상기 컨텐츠는,
복수의 카메라로부터 촬영된 영상을 합성하여 생성된 파노라마 영상인 것을 특징으로 하는 디스플레이 장치.