KR102178990B1 - 전방향 영상의 방향 정보를 생성하는 방법 및 이러한 방법을 수행하는 장치 - Google Patents

Abstract

본 발명은 전방향 영상의 방향 정보를 생성하는 방법 및 이러한 방법을 수행하는 장치에 관한 것이다. 전방향 영상의 방향 정보를 생성하는 방법은 방향 정보 처리 장치가 전방향 영상의 방향 정보를 수신하는 단계와 방향 정보 처리 장치가 방향 정보를 기반으로 전방향 영상에 대한 방향 지시자를 설정하는 단계를 포함할 수 있되, 방향 지시자는 전방향 영상의 재생 화면 상에서 적어도 하나의 방향을 지시할 수 있다.

Description

전방향 영상의 방향 정보를 생성하는 방법 및 이러한 방법을 수행하는 장치{Method for generating direction information of omnidirectional image and device for performing the method}

본 발명은 전방향 영상의 방향 정보를 생성하는 방법 및 이러한 방법을 수행하는 장치에 관한 것이다. 보다 상세하게는 전방향 영상의 생성시 방향 정보를 속성 정보로서 생성하고, 전방향 영상의 재생시 방향 정보를 전방향 영상을 시청하는 사용자에게 전달하기 위한 방법 및 장치에 관한 것이다.

전방향(omnidirectional) 영상 시스템은 특정 시점을 기준으로 모든 방향(360도)의 영상 정보를 기록할 수 있는 영상 시스템을 일컫는다. 기존의 영상 시스템에 비해 매우 넓은 시야각(field-of-view)의 영상을 얻을 수 있기 때문에 근래 들어 컴퓨터 비전, 이동 로봇 등의 연구 분야와 더불어 감시 시스템, 가상 현실 시스템, PTZ(pan-tilt-zoom) 카메라, 영상 회의와 같은 실용 분야에 이르기까지 그 응용의 폭이 점점 더 넓어지고 있다.

전방향 영상을 얻기 위해 다양한 방법이 사용될 수 있다. 예를 들어, 단일 시점(single view point)를 만족하는 광축(optical axis)를 기준으로 하나의 카메라를 회전시키면서 얻은 영상을 접합하여 전방향 영상이 생성될 수 있다. 또는 복수의 카메라를 환형 구조로 배열하여 각각의 카메라에서 얻은 영상을 조합하는 방법이 사용될 수도 있다. 사용자는 다양한 전방향 영상 처리 장치(또는 전방향 영상 처리 카메라, 360도 카메라)를 사용하여 전방향 영상을 생성할 수 있다.

현재의 전방향 영상 처리 장치에 의해 생성된 전방향 영상은 모든 방향을 촬영하여 생성된 영상 컨텐츠이다. 따라서, 전방향 영상의 이러한 특성으로 인해 전방향 영상을 시청하는 사용자는 전방향 영상에서 어디를 봐야 하는지 두리번거리거나 목적하는 피사체를 찾을 때까지 사용자의 시점을 변화시켜야 한다. 예를 들어, 범인을 쫓기 위한 영상이 전방향 영상 컨텐츠로 생성되고, 범인의 위치를 찾기 위해 영상의 회전이 빈번히 일어나면, 방향에 대한 감각이 사라지고 사용자에게 어지러움이 유발될 수 있다.

따라서, 사용자가 전방향 영상 처리 장치를 기반으로 생성된 전방향 영상을 보다 쉽고 편리하게 인식하기 위한 방법이 필요하다.

본 발명은 상술한 문제점을 모두 해결하는 것을 그 목적으로 한다.

또한, 본 발명은, 전방향 영상 처리 장치에 의해 생성된 전방향 영상 정보의 속성 정보로서 방향 정보를 추가하고 전방향 영상 정보의 재생시 방향 정보를 표시하는 것을 다른 목적으로 한다.

또한, 본 발명은, 전방향 영상 처리 장치에 의해 생성된 전방향 영상 정보에 포함된 방향 정보를 기반으로 사용자의 시선을 특정 방향으로 유도하는 것을 다른 목적으로 한다.

상기 목적을 달성하기 위한 본 발명의 대표적인 구성은 다음과 같다.

본 발명의 일 태양에 따르면, 전방향 영상의 방향 정보를 생성하는 방법은 방향 정보 처리 장치가 전방향 영상의 방향 정보를 수신하는 단계와 상기 방향 정보 처리 장치가 상기 방향 정보를 기반으로 상기 전방향 영상에 대한 방향 지시자를 설정하는 단계를 포함할 수 있되, 상기 방향 지시자는 상기 전방향 영상의 재생 화면 상에서 적어도 하나의 방향을 지시할 수 있다.

본 발명의 다른 태양에 따르면, 전방향 영상의 방향 정보를 생성하는 방향 정보 처리 장치는 전방향 영상의 방향 정보를 수신하도록 구현되는 통신부와 상기 통신부와 동작 가능하게(operatively) 연결되어 상기 방향 정보를 기반으로 상기 전방향 영상에 대한 방향 지시자를 설정하도록 구현되는 프로세서를 포함할 수 있되, 상기 방향 지시자는 상기 전방향 영상의 재생 화면 상에서 적어도 하나의 방향을 지시할 수 있다.

본 발명에 의하면, 전방향 영상 처리 장치에 의해 생성된 전방향 영상 정보의 속성 정보로서 방향 정보를 추가하고 전방향 영상 정보의 재생시 방향 정보를 표시하여 사용자가 전방향 영상을 시청시 방향을 인지할 수 있어 사용자의 전방향 영상의 이해에 도움을 줄 수 있다.

또한, 본 발명에 의하면, 방향 정보를 기반으로 재생되는 전방향 영상 정보에 방향 식별자가 추가적으로 표시될 수 있고, 방향 식별자를 기반으로 촬영자의 촬영 의도에 맞는 전방향 영상의 생성 및 시청이 가능하다.

또한, 본 발명에 의하면, 전방향 영상 정보에 포함된 방향 정보를 기반으로 전방향 영상을 시청하는 사용자의 시선을 특정 방향으로 유도할 수 있다. 따라서, 전방향 영상이 사용자에게 보다 몰입감 있게 제공될 수 있다.

도 1은 본 발명의 실시예에 따른 전방향 영상 처리 장치를 나타낸 개념도이다.
도 2는 본 발명의 실시예에 따른 전방향 영상 처리 장치에 위치한 복수의 영상 촬상부의 특성을 나타낸 개념도이다.
도 3은 본 발명의 실시예에 따른 복수의 영상 촬상부의 촬상선을 나타낸 개념도이다.
도 4는 본 발명의 실시예에 따른 복수의 영상 촬상부의 촬상선을 나타낸 개념도이다.
도 5는 본 발명의 실시예에 따른 전방향 영상의 방향 정보를 생성/표시하는 방법을 나타낸 개념도이다.
도 6은 본 발명의 실시예에 따른 전방향 영상의 재생시 방향 정보를 표시하는 방법을 나타낸 개념도이다.
도 7은 본 발명의 실시예에 따른 전방향 영상의 재생시 방향 전환 요청 지시자를 출력하는 방법을 나타낸 개념도이다.
도 8은 본 발명의 실시예에 따른 방향 정보를 생성하는 방법을 나타낸 개념도이다.
도 9는 본 발명의 실시예에 따른 방향 정보를 생성하는 방법을 나타낸 개념도이다.
도 10은 본 발명의 실시예에 따른 사용자의 관심을 고려하여 식별 정보를 생성하는 방법을 나타낸 개념도이다.
도 11은 본 발명의 실시예에 따른 사용자의 관심 객체를 결정하는 방법을 나타낸 개념도이다.
도 12는 본 발명의 실시예에 따른 사용자의 관심 객체를 결정하기 위한 방법을 나타낸 개념도이다.
도 13은 본 발명의 실시예에 따른 촬영자의 움직임을 기반으로 방향 정보의 생성 주기를 조정하기 위한 방법을 나타낸 개념도이다.

후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이러한 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 본 명세서에 기재되어 있는 특정 형상, 구조 및 특성은 본 발명의 정신과 범위를 벗어나지 않으면서 일 실시예로부터 다른 실시예로 변경되어 구현될 수 있다. 또한, 각각의 실시예 내의 개별 구성요소의 위치 또는 배치도 본 발명의 정신과 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 행하여 지는 것이 아니며, 본 발명의 범위는 특허청구범위의 청구항들이 청구하는 범위 및 그와 균등한 모든 범위를 포괄하는 것으로 받아들여져야 한다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 구성요소를 나타낸다.

이하에서는, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 여러 바람직한 실시예에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.

이하, 본 발명의 실시예에서는 전방향 영상 처리 장치는 전방향(또는 360도 영상)을 촬상할 수 있는 전방향 카메라(360도 카메라)를 포함하는 의미로 사용될 수 있다.

도 1은 본 발명의 실시예에 따른 전방향 영상 처리 장치를 나타낸 개념도이다.

도 1에서는 전방향 영상 처리 장치의 구조가 개시된다.

도 1을 참조하면, 전방향 영상 처리 장치(100)는 웨어러블 구조로 사용자의 목에 걸 수 있는 목걸이와 유사한 형상일 수 있다. 전방향 영상 처리 장치(100)는 도 1에서와 같이 일면의 개방된 목걸이의 형상일 수도 있고, 일면이 개방되지 않은 목걸이의 형상일 수도 있다. 이하, 본 발명의 실시예에서는 전방향 영상 처리 장치(100)가 일면이 개방된 U자 형상을 가지는 것으로 가정한다. 이러한 U자 형상의 전방향 영상 처리 장치(100)는 사용자의 목에 웨어러블 장치(wearable device) 형태로 걸려 전방향 영상을 촬영할 수 있다.

본 발명의 실시예에서는 설명의 편의상 전방향 영상 처리 장치(100)가 목걸이 형태(또는 일면이 개방된 목걸이 형태, U자 형태)로서 사용자의 목에 걸리는 경우가 가정된다. 하지만, 전방향 영상 처리 장치(100)는 단순히 사용자의 목에 거는 형태가 아닐 수도 있다. 예를 들어, 전방향 영상 처리 장치(100)는 걸거나/부착 가능한 다양한 형태로 사용자의 다른 신체 부위 또는 외부 물체(또는 객체)/장치/구조물 등에 설치되어 전방향 영상을 획득할 수도 있다.

사용자는 웨어러블 장치로서 구현된 전방향 영상 처리 장치(100)를 목에 걸고 양손이 자유로운 상태에서 전방향 영상의 생성하기 위한 복수의 영상을 획득할 수 있다.

전방향 영상 처리 장치(100)는 복수개의 영상 촬상부를 포함할 수 있다. 복수개의 영상 촬상부 각각은 전방향 영상 처리 장치에 특정 간격(또는 미리 설정된 간격)으로 위치하여 화각/촬상선에 따른 영상을 개별적으로 촬상할 수 있다. 복수개의 영상 촬상부 각각의 위치는 전방향 영상 처리 장치(100)에서 고정적일 수도 있으나, 복수개의 영상 촬상부 각각은 이동 가능하고, 복수개의 영상 촬상부 각각의 위치는 변할 수도 있다.

예를 들어, 전방향 영상 처리 장치(100)는 3개의 영상 촬상부를 포함할 수 있고, 3개의 영상 촬상부는 일정한 화각(field of view)(예를 들어, 120도~180도)으로 전방향 영상을 촬상할 수 있다. 3개의 영상 촬상부는 영상 촬상부1(110), 영상 촬상부2(120), 영상 촬상부3(130)일 수 있다.

이하, 설명의 편의상 3개의 영상 촬상부가 전방향 영상 처리 장치(100)에 포함된 구조가 개시된다. 하지만, 3개가 아닌 복수개(예를 들어, 2, 4, 5, 6개 등)의 영상 촬상부가 전방향 영상 처리 장치(100)에 포함되어, 전방향 영상을 촬상할 수도 있고, 이러한 형태도 본 발명의 권리 범위에 포함된다.

영상 촬상부1(110), 영상 촬상부2(120) 및 영상 촬상부3(130)은 화각에 따라 영상을 촬상할 수 있다. 동일한 시간 자원 상에서 영상 촬상부1(110)에 의해 영상1이 생성되고, 영상 촬상부2(120)에 의해 영상2가 생성되고, 영상 촬상부3(130)에 의해 영상3이 생성될 수 있다. 영상 촬상부1(110), 영상 촬상부2(120), 영상 촬상부3(130) 각각의 화각은 120도 이상일 수 있고, 영상1, 영상2 및 영상3에서는 중첩된 촬상 영역이 존재할 수 있다. 이후, 전방향 영상 처리 장치(100)에 의해 동일한 시간 자원 상에서 촬상된 영상1 및 영상2 및 영상3을 스티칭/보정하여 전방향 영상이 생성될 수 있다. 복수의 영상에 대한 스티칭 및/또는 보정 절차는 전방향 영상 처리 장치 자체에서 수행될 수도 있고, 전방향 영상 처리 장치(100)와 통신 가능한 사용자 장치(스마트 폰)을 기반으로 수행될 수도 있다. 즉, 생성된 복수 영상에 대한 추가적인 영상 처리 절차들은 전방향 영상 처리 장치(100) 및/또는 다른 영상 처리 장치(스마트폰, PC(personal computer) 등)에 의해 수행될 수도 있다.

이하, 전방향 영상 처리 장치의 구체적인 특징 및 전방향 영상 생성 방법이 구체적으로 개시된다.

도 2는 본 발명의 실시예에 따른 전방향 영상 처리 장치에 위치한 복수의 영상 촬상부의 특성을 나타낸 개념도이다.

도 2에서는 U자형의 전방향 영상 처리 장치에 위치한 복수개의 영상 촬상부의 특징이 개시된다. 도 2에서 개시되는 영상 촬상부의 위치는 예시적인 것이다. 복수의 영상 촬상부 각각은 전방향 영상의 생성을 위한 복수의 영상을 촬상하기 위해 전방향 영상 처리 장치 상의 다양한 위치에 위치할 수 있다.

도 2의 상단에서는 전방향 영상 처리 장치의 후면부가 개시된다.

전방향 영상 처리 장치에 포함된 영상 촬상부1(210) 및 영상 촬상부2(220)는 전방향 영상 처리 장치에서 곡률이 존재하는 휘어진 부분에 위치할 수 있다. 구체적으로 사용자가 웨어러블 장치로서 전방향 영상 처리 장치를 목에 거는 경우, 목의 뒷부분과 접촉되는 휘어진 영역에 영상 촬상부1(210) 및 영상 촬상부2(220)가 위치할 수 있다. 예를 들어, U자형의 전방향 영상 처리 장치의 최대 곡률 지점(예를 들어, U자형의 중간 부분)을 기준으로 영상 촬상부1(210) 및 영상 촬상부2(220)가 일정 거리 상에 위치할 수 있다.

영상 촬상부1(210)은 사용자의 시선(line of sight) 방향을 기준으로 후면 좌측 사각 영역을 포함하는 영역을 촬상할 수 있다. 영상 촬상부2(220)는 사용자의 시선을 기준으로 후면 우측 사각 영역을 포함하는 영역을 촬상할 수 있다. 구체적으로 영상 촬상부1(210)은 제1 화각을 가지고, 제1 화각에 해당하는 영역에 대한 촬상을 수행할 수 있다. 영상 촬상부2(220)는 제2 화각을 가지고, 제2 화각에 해당하는 영역에 대한 촬상을 수행할 수 있다. 예를 들어, 제1 화각 및 제2 화각은 120~180도일 수 있다.

영상 촬상부1(210) 및 영상 촬상부2(220)에 의한 촬상이 수행될 경우, 제1 화각과 제2 화각에 의해 중첩되는 제1 중첩 영역(215)이 발생할 수 있다. 이후 중첩 영역을 고려한 스티칭을 기반으로 전방향 영상이 생성할 수 있다.

도 2의 하단에서는 전방향 영상 처리 장치의 전면부가 개시된다.

전방향 영상 처리 장치의 전면부에는 영상 촬상부3(230)이 위치할 수 있다. 구체적으로 영상 촬상부3(230)은 전방향 영상 처리 장치의 말단부(U자형의 끝(말단) 부분)에 위치할 수 있다. 사용자가 전방향 영상 처리 장치를 웨어러블 장치로서 목에 거는 경우, U자형의 전방향 영상 처리 장치의 말단 부분은 사용자의 전면 방향(사용자의 시선이 바라보는 방향)에 위치할 수 있다. 전방향 영상 처리 장치는 제1 말단부와 제2 말단부를 포함하고, 영상 촬상부3(230)은 제1 말단부와 제2 말단부 중 하나의 말단부에 위치할 수 있다.

영상 촬상부3(230)은 사용자의 시선의 방향과 동일한 방향으로 촬상을 수행하여 사용자의 시선에 해당하는 영역에 대한 촬상을 수행할 수 있다.

구체적으로 영상 촬상부3(230)은 제3 화각을 가지고, 제3 화각에 해당하는 영역에 대한 촬상을 수행할 수 있다. 예를 들어, 제3 화각은 120도~180도일 수 있다. 영상 촬상부3(230)에 의한 촬상이 수행될 경우, 영상 촬상부1(210)의 제1 화각과 영상 촬상부3(230)의 제3 화각에 의한 제2 중첩 영역(225)이 발생할 수 있다. 영상 촬상부3(230)에 의한 촬상이 수행될 경우, 영상 촬상부2(220)의 제2 화각과 영상 촬상부3(230)의 제3 화각에 의한 제3 중첩 영역(235)이 발생할 수 있다.

목에 거는 웨어러블 장치의 구조상 목에 전방향 영상 처리 장치가 걸리는 경우, 영상 촬상부1(210), 영상 촬상부2(220)는 지면을 기준으로 영상 촬상부3(230)보다 상대적으로 높은 곳에 위치할 수 있다. 또한, 영상 촬상부3(230)은 한쪽 말단부에만 위치하게 된다.

기존의 전방향 영상 처리 장치에서는 동일한 높이에 위치한 복수개의 영상 촬상부가 일정한 각도를 가지고 구현되는데 반하여 본 발명의 실시예에 따른 전방향 영상 처리 장치는 복수의 영상 촬상부 간의 각도도 다르고 위치한 높이도 서로 다를 수 있다. 따라서, 복수의 영상 촬상부 각각에 의해 생성된 복수의 영상에 대한 제1 중첩 영역(215), 제2 중첩 영역(225) 및 제3 중첩 영역(235)의 크기/형태가 서로 다를 수 있다.

이후, 제1 중첩 영역(215)/제2 중첩 영역(225)/제3 중첩 영역(235)을 고려한 영상 촬상부1(210), 영상 촬상부2(220) 및 영상 촬상부3(230) 각각에 의해 생성된 영상1, 영상2 및 영상 3에 대한 영상 처리 절차(스티칭/보정 등)을 기반으로 전방향 영상이 생성될 수 있다.

제1 화각, 제2 화각, 제3 화각의 크기는 동일하게 설정될 수도 있지만, 서로 다르게 설정될 수도 있고 이러한 실시예 또한 본 발명의 권리 범위에 포함된다.

도 3은 본 발명의 실시예에 따른 복수의 영상 촬상부의 촬상선을 나타낸 개념도이다.

도 3에서는 전방향 영상 처리 장치에 설치된 복수의 영상 촬상부 각각의 촬상선이 개시된다. 지면을 X축과 Z축이 이루는 XZ 평면과 평행하다고 가정하는 경우, 촬상선은 X축/Y축/Z축으로 표현되는 공간 상에서 전방향 영상 처리 장치에 포함된 복수의 영상 촬상부 각각의 렌즈의 중앙을 수직으로 관통하는 선으로 정의될 수 있다.

기존의 전방향 영상 처리 장치는 동일한 높이에 복수의 영상 촬상부를 일정한 각도(예를 들어, 120도)로 구현될 수 있다. 이러한 경우, 기존의 전방향 영상 처리 장치에 포함된 복수의 영상 촬상부의 복수의 촬상선은 지면(또는 XZ 평면)에 평행하고 복수의 촬상선 간에 일정한 각도(예를 들어, 120도)를 가지는 복수의 선일 수 있다.

본 발명의 실시예에 따른 전방향 영상 처리 장치는 전술한 바와 같이 복수의 영상 촬상부의 높이(또는 복수의 영상 촬상부의 구현된 위치) 및 복수의 영상 촬상부 간의 각도(또는 촬상선 간에 이루는 각도)가 촬상시에 서로 다를 수 있다. 따라서, 본 발명의 실시예에 따른 전방향 영상 처리 장치의 촬상선의 특성은 기존의 전방향 영상 처리 장치의 촬상선의 특성과는 차이가 있다.

도 3에서 표현되는 복수의 영상 촬상부 각각의 촬상선은 웨어러블 디바이스의 특성으로 인한 복수의 영상 촬상부 각각의 촬상선 간의 특성(예를 들어, 높이, 각도)의 차이를 보여주기 위한 예시일 수 있다. 또한, 도 3에서 표현되는 촬상선은 전방향 영상 처리 장치를 착용한 사용자에 의한 움직임이 없거나 전방향 영상 처리 장치가 특정 상태에서 고정된 경우의 촬상선일 수 있다.

도 3의 상단은 영상 촬상부1(310) 및 영상 촬상부2(320)의 촬상선을 개시한다.

영상 촬상부1(310) 및 영상 촬상부2(320)는 영상 촬상부3(330)보다 상대적으로 높은 위치에 구현될 수 있다. 전방향 영상 처리 장치를 착용한 사용자의 서있는 방향이 Y축 방향이라고 가정하는 경우, 목에 거는 웨어러블 디바이스의 구조상 전방향 영상 촬상 장치에서 영상 촬상부1(310) 및 영상 촬상부2(320)가 위치한 곡률을 가지는 부분(U자에서 곡선/중앙 부분)이 상대적으로 올라가고 영상 촬상부3(330)이 위치한 다리 부분(U자에서 말단 부분)이 상대적으로 아래로 내려갈 수 있다.

예를 들어, 영상 촬상부1(310)의 촬상선1(315)은 XZ 평면과 평행하되, Y축의 좌표 a에서 X축과 제1 각도1, Y축과 제2 각도, Z축과 제3 각도를 가질 수 있다.

영상 촬상부2(320)의 촬상선2(325)는 XZ 평면과 평행하되, Y축의 지점 a에서 X축과 제4 각도, Y축과 제5 각도, Z축과 제6 각도를 가질 수 있다.

도 3의 하단을 참조하면, 영상 촬상부3(330)의 촬상선3(335)은 XZ 평면과 평행하고, Y축의 좌표 b에서 X축과 제7 각도, Y축과 제8 각도, Z축과 제9 각도를 가질 수 있다. b는 a보다 작은 값일 수 있다. 영상 촬상부3(330)의 촬상선3(335)은 XZ 평면과 평행하고 사용자의 시선과 동일하게 전면(예를 들어, XY 평면과 수직한 방향)을 바라보도록 구현될 수 있다.

즉, 촬상선1(315) 및 촬상선2(325)는 Y 축을 기준으로 동일한 높이를 가지고, 촬상선3(335)은 Y 축을 기준으로 촬상선1 및 촬상선2보다 상대적으로 낮은 위치에 위치할 수 있다. 도 3에서 개시된 촬상선1(315), 촬상선2(325) 및 촬상선3(335)은 서로 다른 특성을 가지는 촬상선에 대한 하나의 예시이고, 다른 다양한 촬상선이 정의되고 전방향 영상이 촬상될 수 있다.

도 4는 본 발명의 실시예에 따른 복수의 영상 촬상부의 촬상선을 나타낸 개념도이다.

도 4에서는 도 3과 다른 복수의 영상 촬상부의 촬상선이 개시된다. 마찬가지로 도 4에서도 지면이 X축과 Z축이 이루는 XZ 평면과 평행하다고 가정한다.

도 4의 상단은 영상 촬상부1(410) 및 영상 촬상부2(420)의 촬상선을 개시한다.

영상 촬상부1(410) 및 영상 촬상부2(420)는 영상 촬상부3(430)보다 상대적으로 높은 위치에 구현될 수 있다. 마찬가지로, 사용자가 서있는 방향이 Y축 방향이라고 가정하는 경우, 목에 거는 웨어러블 디바이스의 구조상 전방향 영상 촬상 장치는 영상 촬상부1(410) 및 영상 촬상부2(420)가 위치한 곡률을 가지는 부분(U자에서 곡선 부분)이 상대적으로 올라가고 영상 촬상부3(430)이 위치한 다리 부분(U자에서 말단 부분)이 상대적으로 아래로 내려간 형태로 영상을 촬상할 수 있다.

예를 들어, 영상 촬상부1(410)의 촬상선1(415)은 XZ 평면과 평행하되, Y 축의 좌표 a에서 X축과 제1 각도1, Y축과 제2 각도, Z축과 제3 각도를 가질 수 있다.

영상 촬상부2(420)의 촬상선2(415)는 XZ 평면과 평행하되, Y 축의 좌표 a에서 X축과 제4 각도, Y축과 제5 각도, Z축과 제6 각도를 가질 수 있다.

도 4의 하단은 영상 촬상부3(430)의 촬상선을 개시한다.

영상 촬상부3(430)의 촬상선3(435)는 XZ 평면과 평행하지 않을 수 있고, Y 축의 좌표 b를 시작 지점으로 하여 X축과 제7 각도, Y축과 제8 각도, Z축과 제9 각도를 가질 수 있다.

영상 촬상부3(430)은 전방향 영상 처리 장치의 말단부에 위치하기 때문에 촬상선은 XZ 평면과 평행하지 않고, XZ 평면과 일정한 각도(예를 들어, 0~30도)를 가질 수 있다.

즉, 촬상선1(415) 및 촬상선2(425)는 Y 축을 기준으로 동일한 높이를 가지고, 촬상선3(435)은 Y 축을 기준으로 촬상선1(415) 및 촬상선2(425) 보다 상대적으로 낮은 위치에 위치할 수 있다. 또한, 촬상선 1(415) 및 촬상선2(425)는 XZ 평면과 평행하나, 촬상선3(435)은 XZ 평면과 평행하지 않을 수 있다.

본 발명의 다른 실시예로, 예를 들어, 영상 촬상부1의 촬상선1은 XZ 평면과 제1' 각도를 이루고 Y 축의 좌표 a를 시작 지점으로 하여 X축과 제1 각도1, Y축과 제2 각도, Z축과 제3 각도를 가질 수 있다. 또한, 영상 촬상부2의 촬상선2는 XZ 평면과 제1' 각도를 이루고 Y 축의 좌표 a를 시작 지점으로 하여 X축과 제4 각도, Y축과 제5 각도, Z축과 제6 각도를 가질 수 있다. 영상 촬상부3의 촬상선3는 XZ 평면과 제2' 각도를 이루고 Y 축의 좌표 b를 시작 지점으로 하여 X축과 제7 각도, Y축과 제8 각도, Z축과 제9 각도를 가질 수 있다.

본 발명의 또 다른 실시예로, 예를 들어, 영상 촬상부1의 촬상선1은 XZ 평면과 제1' 각도를 이루고 Y 축의 좌표 a를 시작 지점으로 하여 X축과 제1 각도1, Y축과 제2 각도, Z축과 제3 각도를 가질 수 있다. 또한, 영상 촬상부2의 촬상선2는 XZ 평면과 제2' 각도를 이루고 Y 축의 좌표 a를 시작 지점으로 하여 X축과 제4 각도, Y축과 제5 각도, Z축과 제6 각도를 가질 수 있다. 영상 촬상부3의 촬상선3는 XZ 평면과 제3' 각도를 이루고 Y 축의 좌표 b를 시작 지점으로 하여 X축과 제7 각도, Y축과 제8 각도, Z축과 제9 각도를 가질 수도 있다.

즉, 복수의 영상 촬상부 각각의 촬상선이 기존의 동일한 Y 축 지점에서 지면과 동일한 각도를 가지는 영상 처리 장치와 다르게 본 발명의 실시예에 따른 전방향 영상 처리 장치는 복수의 영상 촬상부 각각의 촬상선이 서로 다른 Y 축 지점에서 위치하고, 지면(또는 XZ 평면)과 서로 다른 각도를 가질 수 있다.

이하, 본 발명의 실시예에서는 생성된 전방향 영상에서 방향 정보를 표시하기 위한 방법이 개시된다. 도 1 내지 도 3은 전방향 영상 처리 장치의 하나의 예시이다. 전방향 영상 및 전방향 영상의 방향 정보는 전술한 본 발명의 실시예에서 개시되는 전방향 영상 처리 장치뿐만 아니라 다른 다양한 전방향 영상 처리 장치에서도 생성될 수 있다.

도 5는 본 발명의 실시예에 따른 전방향 영상의 방향 정보를 생성/표시하는 방법을 나타낸 개념도이다.

도 5에서는 전방향 영상 정보를 생성시 속성 정보로서 방향 정보를 추가적으로 생성하고 전방향 영상의 재생시 방향 정보를 기반으로 특정 방향에 대한 지시자를 표시하기 위한 방법이 개시된다.

도 5를 참조하면, 전방향 영상 처리 장치는 지자계 센서, 가속 각축 센서 등과 같은 방위/방향을 센싱 가능한 센싱부를 포함할 수 있다.

전방향 영상 처리 장치에 포함되는 복수의 영상 촬상부 각각에 의해 복수의 영상 각각이 생성될 때 복수의 영상 각각에는 영상의 촬상 방향에 대한 정보인 방향 정보가 별도의 속성 정보로서 포함될 수 있다.

구체적으로 전방향 영상 처리 장치에 포함된 복수의 영상 촬상부에 의해 촬영이 수행되는 경우, 센서부는 복수의 영상 촬상부 각각의 촬영 방향에 대한 정보를 센싱하여 생성할 수 있다.

예를 들어, 전방향 영상 처리 장치에 영상 촬상부1, 영상 촬상부2 및 영상 촬상부3이 포함될 수 있다. 또한, 중첩된 시간 자원 상에서 영상 촬상부1에 의해 영상1이 생성되고, 영상 촬상부2에 의해 영상2가 생성되고, 영상 촬상부3에 의해 영상3이 생성될 수 있다. 영상1, 영상2 및 영상3은 영상 처리를 통해 전방향 영상 정보로서 생성될 수 있다.

전방향 영상 처리 장치의 센서부는 영상1, 영상2 및 영상3에 의해 생성되는 정방향 영상 정보에 특정 축을 기준으로 결정된 방향 정보를 생성할 수 있다. 촬상 공간이 X축/Y축/Z축으로 형성된 3차원 공간이고 지면(550)이 XZ 평면과 평행하고 가정하면, XZ 평면에 수직인 Y축(560)을 기준으로 한 영상의 방향 정보가 전방향 영상 정보에 속성 정보로서 추가될 수 있다.

이하, 설명 및 이해의 편의상 XZ 평면에 수직인 Y축(560)을 기준으로 한 영상의 방향 정보가 전방향 영상 정보에 속성 정보로서 추가되는 경우가 가정되나, X축, Z 축을 기준으로 한 영상의 방향 정보가 전방향 영상 정보에 속성 정보로서 추가될 수도 있고, 이러한 실시예 또한 본 발명의 권리 범위에 포함된다.

예를 들어, 정북 방향을 0도(기준점)(500)로 하여 Y축(560)을 기준으로 360도의 각도로 방향이 표현될 수 있다. 예를 들어, 90도 지점(510)이 정서 방향, 180도 지점(520)이 정남 방향, 270도 지점(530)이 정동 방향일 수 있다.

특정 시점에 센싱부에 의해 센싱되어 생성된 방향 정보 및 특정 시점에 대한 시간 정보가 특정 시점에 촬상된 영상1, 영상2 및 영상3을 기반으로 생성된 전방향 영상 정보의 속성 정보로서 포함될 수 있다. 즉, 전방향 영상 정보는 속성 정보로서 전방향 영상이 촬상된 시점에 대한 시간 정보 및 전방향 영상이 촬상된 방향에 대한 방향 정보를 포함할 수 있다.

이러한 방향 정보는 다양한 방식으로 표현될 수 있다. 예를 들어, 영상의 사이즈를 기준으로 백분율(0~100 사이의 값)로서 방향 정보가 표현될 수도 있다. 또는 0~255 사이의 값으로 저장될 영역의 크기를 기준으로 설정된 기준점으로부터의 상대 각도를 표시하여 방향 정보가 표현될 수도 있다.

전방향 영상의 방향 정보의 저장 간격은 전방향 영상 처리 장치에 의해 생성되는 프레임의 프레임레이트(framerate)와 일치하지 않을 수 있다. 예를 들어, 방향 정보는 프레임레이트와 다르게 정해진 특정 시간 간격/또는 설정된 조건을 만족시마다 전방향 영상 정보의 속성 정보로서 생성될 수 있다.

도 6은 본 발명의 실시예에 따른 전방향 영상의 재생시 방향 정보를 표시하는 방법을 나타낸 개념도이다.

도 6에서는 방향 정보를 기반으로 정북 방향/촬영자 시선 방향 등과 같은 특정 방향을 식별하기 위한 방향 지시자를 전방향 영상 재생시 추가하기 위한 방법이 개시된다.

도 6을 참조하면, 전방향 영상 재생 장치는 전방향 영상 정보의 속성 정보로서 포함되는 방향 정보를 기반으로 전방향 영상의 재생 화면(또는 출력 화면) 상의 특정 위치에 방향을 식별하기 위한 방향 지시자를 추가적으로 표시할 수 있다.

예를 들어, 방향 정보를 기반으로 전방향 영상 재생 장치(예를 들어, VR(virtual reality) 장치)의 재생 화면에서는 정북 방향을 지시하는 정북 방향 지시자(예를 들어, 제1 세모)(600)가 표시될 수 있다. 또한, 정북 방향 지시자(600)가 아닌 다른 방향(동/남/서 등)을 지시하는 방향 식별 지시자가 방향에 대한 정보를 전달하기 위해 추가될 수도 있다.

또한, 촬영자의 시선 방향(line of sight)을 지시하는 촬영자 시선 방향 지시자(예를 들어, 제2 세모)(650)가 전방향 영상 정보를 출력하는 전방향 영상 재생 장치에서 출력될 수 있다.

이러한 전방향 영상을 시청하는 사용자는 정북 방향 지시자(600)/촬영자 시선 방향 지시자(650) 등을 기반으로 재생되는 전방향 영상의 방향을 인지할 수 있다. 따라서, 사용자가 전방향 영상에서 현재 보고 있는 방향을 인지하고 전방향 영상을 이해하는 데에 도움을 줄 수 있다. 또한, 전방향 영상을 촬영한 촬영자의 시선 방향 지시자(650)를 기반으로 사용자가 촬영자의 정면 방향을 빠르게 인식하여 촬영자의 촬영 의도에 따른 전방향 영상을 감상할 수 있다.

도 7은 본 발명의 실시예에 따른 전방향 영상의 재생시 방향 전환 요청 지시자를 출력하는 방법을 나타낸 개념도이다.

도 7에서는 사용자에게 전방향 영상에서 특정 방향을 볼 것을 지시하기 위한 시선 유도 지시자(700)가 개시된다.

전방향 영상 정보의 속성 정보로서 방향 정보가 포함되고, 전방향 영상 정보를 촬상/생성하는 촬상자 또는 편집하는 편집자는 특정 방향을 전방향 영상을 시청하는 사용자의 주된 시청 방향으로 설정할 수 있다. 주된 시청 방향은 시선 유도 지시자(700)를 기반으로 표현될 수 있다. 주된 시청 방향은 일정한 방향이 아니고, 주된 시청 방향의 설정 의도에 따라 복수번 변경될 수도 있다.

예를 들어, 정북 방향이나 촬영자 시선 방향이 전방향 영상의 주된 시청 방향으로 설정된 경우가 가정될 수 있다. 이러한 경우, 전방향 영상 재생 장치에서는 사용자의 현재 시선 방향을 설정된 주된 시청 방향으로 유도하기 위한 시선 유도 지시자(700)가 출력될 수 있다.

전방향 영상 재생 장치는 사용자의 현재 시선 방향과 주된 시청 방향 간의 오차(또는 차이)를 계산하고, 사용자의 시선 방향을 주된 시청 방향으로 유도하기 위한 시선 유도 지시자(700)를 전방향 영상에 추가적으로 표시할 수 있다.

사용자의 현재 시선 방향과 주된 시청 방향 간의 오차에 따라 시선 유도 지시자(700)의 형태가 달라질 수 있다. 예를 들어, 시선 유도 지시자(700)가 화살표 모양의 이미지인 경우, 현재 시선 방향과 주된 시청 방향 간의 오차에 따라 화살표 모양의 형태/길이 등이 변할 수 있다. 또는 시선 유도 지시자(700)는 깜박이와 같은 이미지일 수 있고, 현재 시선 방향과 주된 시청 방향 간의 오차에 따라 이미지가 변할 수 있다.

사용자가 시선 유도 지시자(700)를 기반으로 시선 방향을 변화시키고 현재 시선 방향과 주된 시청 방향 간의 오차가 줄어드는 경우, 시선 유도 지시자(700)의 형상이 감소된 오차를 반영하여 변화될 수 있다.

사용자의 현재 시선 방향은 VR 재생 장치를 착용한 사용자가 고개를 돌리거나 몸을 움직이는 행위, 모니터를 보는 사용자가 전방향 영상을 마우스로 드래그하는 행위로 변화될 수 있다.

사용자의 현재 시선 방향이 주된 시청 방향을 기준으로 설정된 임계 범위 내에서 포함되는 경우, 시선 유도 지시자(700)는 사라질 수 있다.

또는 사용자의 현재 시선 방향이 주된 시청 방향을 기준으로 설정된 임계 범위 내에 들어온 경우, 보다 정확하게 사용자의 현재 시선 방향과 주된 시청 방향을 일치시키기 위해 시선 방향 유도 지시자(700)의 이미지가 다른 모양으로 변하거나 주된 시청 방향을 지시하는 추가적인 식별자가 전방향 영상에 추가적으로 표시되어 사용자의 시선 방향을 보다 정확하게 유도할 수 있다.

또한, 본 발명의 다른 실시예에 따르면, 전방향 영상 재생 장치는 사용자가 고개를 돌리지 않아도, 주된 시청 방향이 사용자의 현재 시선과 일치하도록 재생되는 전방향 영상의 방향을 설정할 수 있다.

예를 들어, 주된 시청 방향이 정북 방향이라고 가정하면, 사용자는 임계 시간 내에는 사용자가 고개를 돌리거나 몸을 움직이거나, 마우스로 드래그하는 방식으로 사용자의 현재 시선 방향을 변화시킬 수 있으나, 임계 시간이 지난 후에는 사용자의 현재 시선 방향이 정북 방향으로 변환될 수 있다. 다른 표현으로 임계 시간 동안 사용자의 현재 시선 방향을 변화시킨 사용자의 동작들은 무시하고, 주기적으로 사용자의 현재 시선 방향을 주된 시청 방향으로 설정된 정북 방향으로 강제적으로 변화시켜 주기적으로 사용자의 현재 시선 방향과 주된 시청 방향이 동일하도록 설정할 수 있다.

도 8은 본 발명의 실시예에 따른 방향 정보를 생성하는 방법을 나타낸 개념도이다.

도 8에서는 센싱된 방향 정보를 기반으로 전방향 영상에서 센싱된 방향이 아닌 다른 방향을 결정하기 위한 방법이 개시된다.

도 8을 참조하면, 센서부에 의해서는 특정 방향 정보(예를 들어, 정북 방향 정보)만이 센싱되어 속성 정보로서 전방향 영상 정보에 기록될 수 있다.

이후, 전방향 영상에 센싱된 방향이 아닌 다른 방향에 대한 방향 지시자를 설정하고자 하는 경우, 센싱된 방향을 기준으로 센싱되지 않은 방향에 대한 방향 정보를 생성할 수 있다.

전술한 바와 같이 전방향 영상 장치가 3개의 영상 촬상부(영상 촬상부1, 영상 촬상부2, 영상 촬상부3)를 포함할 수 있다. 3개의 영상 촬상부에 의해 생성된 영상1, 영상2 및 영상3을 기반으로 생성된 전방향 영상 정보가 센싱된 방향(제1 방향)을 지시하는 방향 정보를 속성 정보로서 포함하는 경우가 가정될 수 있다.

센싱된 방향(제1 방향)에 대한 정보만이 속성 정보로서 포함되어 있고, 영상 1의 화각 중 특정 방향이 제1 방향인 경우, 영상 1에서 제1 방향을 0도(850)로 설정하고 나머지 전방향 영상 내에 특정 방향의 각도는 보간(interpolation)을 통해 0~360도로 표현할 수 있다.

보간을 위해 영상의 화각에 대한 정보가 활용될 수 있다. 예를 들어, 영상1의 화각이 150도(-75도~+75도)라고 가정하는 경우, 0도(850)로 설정된 제1 방향 및 화각을 기준으로 영상1 내의 특정 방향에 대한 방향 정보를 결정하기 위한 보간이 수행될 수 있다. 예를 들어, 영상1의 화각의 중심 방향과 제1 방향과의 차이를 산출하여 제1 방향(0도(850))을 새로운 기준점으로 영상1의 나머지 지점의 방향 정보를 결정할 수 있다. 예를 들어, 제1 방향이 화각을 기준으로 +20도(800) 방향인 경우, 화각을 기준으로 한 +20도 방향(800))이 0도(850)로서 방향 정보를 표현하기 위한 기준점으로 설정될 수 있다. 즉, 영상 1 내의 화각을 기준으로 한 나머지 방향(-75~+75도)에 대한 방향 정보는 화각을 고려하여 새로운 기준점인 제1 방향을 기준으로 -95도(265도)~+55도로 보간되어 표현될 수 있다.

또한, 영상2 및 영상3의 경우, 영상1과의 중첩된 영역을 고려하여 영상1과의 중첩된 영역의 방향 정보 및 영상2/영상3의 화각을 고려하여 보간 절차가 수행될 수 있다. 예를 들어, 영상1과 영상2의 중첩된 영역에 위치한 객체A의 방향 정보가 전술한 영상1에 대한 보간 절차를 통해 45도로 결정된 경우, 영상 2에서 동일한 객체 A의 방향이 45도로 설정되고, 영상2 내의 나머지 방향의 방향 정보는 영상2의 화각(-75~+75)을 고려하여 결정될 수 있다.

또는 본 발명의 다른 실시예에 따르면, 방향 정보의 보간을 위해 센서부는 영상1, 영상2 및 영상3 각각의 화각의 중심 방향에 대응되는 방향 정보를 속성 정보로서 포함할 수 있다. 특정 지점에 대한 방향 정보가 필요한 경우, 영상1, 영상2 및 영상3 각각의 화각의 중심 방향의 방향 정보 및 영상1, 영상2 및 영상3 각각의 화각에 대한 정보를 고려하여 영상1, 영상2 및 영상3의 방향 정보가 보간되어 생성될 수도 있다.

도 9는 본 발명의 실시예에 따른 방향 정보를 생성하는 방법을 나타낸 개념도이다.

도 9에서는 일정 시간 간격으로 생성된 방향 정보가 존재하는 경우, 일정 시간 간격 사이에 촬상된 영상(이미지 프레임)의 방향 정보를 생성하기 위한 방법이 개시된다.

센서부에 의해 방향 정보가 1초 간격으로 센싱된다고 가정할 수 있다. 이러한 경우, 제1 방향 정보 생성 시점과 제2 방향 정보 생성 시점 간의 차이가 1초일 수 있다.

제1 방향 정보 생성 시점과 제2 방향 정보 생성 시점 사이에 생성된 이미지 프레임에는 방향 정보가 포함되지 않을 수 있다. 이러한 경우, 제1 방향 정보 생성 시점의 제1 영상 프레임의 제1 방향 정보 및/또는 제2 방향 정보 생성 시점의 제2 영상 프레임의 제2 방향 정보를 고려하여 제1 방향 정보 생성 시점과 제2 방향 정보 생성 시점 사이에서 생성된 이미지 프레임(이하, 방향 예측 대상 프레임)의 방향 정보를 추정할 수 있다.

도 9의 상단을 참조하면, 제1 영상 프레임(910)과 방향 예측 대상 프레임(900)에 공통적으로 포함되는 움직이지 않는 고정 객체(915)를 결정할 수 있다. 고정 객체(915)는 건물, 조각 등과 같은 객체일 수 있다. 제1 방향 정보 생성 시점과 제2 방향 정보 생성 시점이 임계 시간 이하인 경우, 고정되지 않은 움직이는 객체(또는 비고정 객체)도 방향 예측 대상 프레임의 방향 정보를 결정하기 위해 사용될 수 있다.

제1 영상 프레임(910)에서 고정 객체(915)의 방향 정보가 제1 방향을 지시하는 경우가 가정될 수 잇다. 고정 객체(915)의 방향 정보와 방향 예측 대상 프레임(900)에도 동일하게 포함된 고정 객체(915)의 방향 정보는 동일할 수 있다. 방향 예측 대상 프레임(900)은 결정된 고정 객체(915)의 방향 정보 및 화각을 기준으로 방향 예측 대상 프레임(900) 내의 다른 방향도 결정할 수 있다.

도 9의 하단을 참조하면, 제1 영상 프레임(960)과 방향 예측 대상 프레임(950)에 공통적으로 포함되는 움직이지 않는 고정 객체가 존재하지 않는 경우, 제2 영상 프레임(970)과 방향 예측 프레임(950)에 공통적으로 포함되는 움직이지 않는 고정 객체(955)를 결정할 수 있다.

이후, 제2 영상 프레임(970)에서 고정 객체(955)의 방향 정보가 제2 방향을 지시하는 경우가 가정될 수 있다. 이러한 경우, 방향 예측 대상 프레임(950)에도 동일하게 포함된 고정 객체(955)의 방향 정보도 제2 방향을 지시할 수 있다. 방향 예측 대상 프레임(950)은 결정된 고정 객체(955)의 방향 정보 및 화각을 기준으로 방향 예측 대상 프레임(950) 내의 다른 방향도 결정할 수 있다.

제1 영상 프레임과 방향 예측 대상 프레임에 공통적으로 포함되는 고정 객체가 존재하지 않고, 마찬가지로 제2 영상 프레임과 방향 예측 대상 프레임에 공통적으로 포함되는 고정 객체가 존재하지 않을 수 있다. 이러한 경우, 고정 객체가 아닌 움직이는 객체를 기반으로 방향 예측 대상 프레임의 방향 정보를 결정할 수 있다.

마찬가지 방식으로 제1 영상 프레임과 방향 예측 대상 프레임에 공통적으로 포함되는 움직이는 객체(비고정 객체)를 결정할 수 있다.

이후, 제1 영상 프레임에서 비고정 객체의 방향 정보에 의해 지시되는 제1 방향이 방향 예측 대상 프레임에도 동일하게 포함된 비고정 객체의 방향 정보일 수 있다. 방향 예측 대상 프레임은 결정된 비고정 객체의 방향 정보 및 화각을 기반으로 방향 예측 대상 프레임 내의 다른 방향도 결정할 수 있다.

제1 영상 프레임과 방향 예측 프레임에 공통적으로 포함되는 비고정 객체가 존재하지 않는 경우, 제2 영상 프레임과 방향 예측 프레임에 공통적으로 포함되는 비고정 객체를 결정할 수 있다.

이후, 제2 영상 프레임에서 비고정 객체의 방향 정보에 의해 지시되는 제2 방향이 방향 예측 대상 프레임에도 동일하게 포함된 비고정 객체의 방향 정보일 수 있다. 방향 예측 대상 프레임은 결정된 비고정 객체의 방향 정보 및 화각을 기반으로 방향 예측 대상 프레임 내의 다른 방향도 결정할 수 있다.

도 10은 본 발명의 실시예에 따른 사용자의 관심을 고려하여 식별 정보를 생성하는 방법을 나타낸 개념도이다.

도 10에서는 재생되는 전방향 영상에 사용자가 관심있어 하는 방향에 대한 식별자를 추가하기 위한 방법이 개시된다.

도 10을 참조하면, 사용자가 전방향 영상을 시청하는 경우, 사용자가 전방향 영상 상의 특정 객체에 관심을 가지고 객체를 추적하면서 전방향 영상을 시청할 수 있다.

예를 들어, 전방향 영상이 독수리가 나는 영상이라고 할 때 사용자는 전방향 영상에서 독수리의 움직임을 추적하면서 영상을 감상할 수 있다. 또 다른 예로, 전방향 영상이 범인 위치 추적을 위해 활용되는 경우, 사용자가 전방향 영상에서 움직이는 범인의 움직임을 트래킹할 수 있다. 전방향 영상의 특성상 360도 방향 중 특정 방향으로 독수리/범인과 같은 특정 객체가 움직일 수 있다.

본 발명의 실시예에 따르면, 전방향 영상 재생 장치는 사용자가 관심있게 시청하는 객체를 판단하고, 객체의 움직임을 트래킹하여 사용자의 현재 시선 방향을 유도할 수 있다.

우선 전방향 영상 재생 장치가 사용자가 관심있게 시청하는 관심 객체(1020)를 결정할 수 있다.

전방향 영상 재생 장치는 사용자의 시선 방향(1000)을 기준으로 임계 범위(1050) 내에 임계 시간 인상 존재하는 적어도 하나의 객체의 존재를 판단하여 사용자가 관심있게 시청하는 관심 객체(1020)를 결정할 수 있다. 사용자의 시선 방향(1000)은 현재 디스플레이 상에서 출력되는 영상의 중심 방향일 수 있다. 관심 객체를 결정하는 방법은 구체적으로 후술된다.

전방향 영상 재생 장치는 관심 객체(1020)가 사용자의 시선 방향(1000)을 기준으로 한 임계 범위(1050)를 벋어나는지 여부를 결정한다.

전방향 영상 재생 장치는 관심 객체(1020)가 사용자의 시선 방향(1000)을 기준으로 임계 범위(1050) 이상을 벋어나는 경우, 객체 위치 지시자(1030)를 생성하여 사용자에게 관심 객체(1020)가 움직이는 방향에 대한 정보를 줄 수 있다.

객체 위치 지시자(1030)는 화살표와 같은 지시자일 수 있고, 사용자는 객체 위치 지시자(1030)를 기반으로 객체의 이동 방향에 대해 추적할 수 있다.

도 11은 본 발명의 실시예에 따른 사용자의 관심 객체를 결정하는 방법을 나타낸 개념도이다.

도 11에서는 전방향 영상을 시청하는 사용자의 관심 객체를 결정하기 위한 방법이 개시된다.

도 11을 참조하면, 사용자의 제1 시점(1160)에 제1 시선 방향(1110)의 임계 범위(1100) 내에 객체(1150)가 존재하고, 제2 시점(1170)에 제2 시선 방향(1120)의 임계 범위(1100) 내에 동일한 객체(1150)가 존재하는 경우, 해당 객체(1150)를 관심 객체로 설정할 수 있다. 제1 시점(1160)과 제2 시점(1170)은 임계 시간의 차이를 가지는 시점일 수 있다.

위의 조건을 만족하는 객체가 복수개인 경우, 제1 시선 방향(1110) 및 제2 시선 방향(1120)에 상대적으로 더 인접한 객체가 관심 객체로 설정될 수 있다. 예를 들어, 제1 객체의 방향과 제1 시선 방향(1110)과의 오차가 5도이고, 제2 시선 방향(1120)과의 오차가 10도이고, 제2 객체의 방향과 제1 시선 방향(1110)과의 오차가 3도이고, 제2 시선 방향(1120)과의 오차가 5도인 경우, 제2 객체가 관심 객체로 설정될 수 있다.

또는 위의 조건을 만족하는 객체가 복수개인 경우, 제1 시선 방향(1110)보다 제2 시선 방향(1120)에 가중치를 두어 제2 시선 방향에 더 인접한 객체를 관심 객체로 설정할 수 있다. 예를 들어, 제1 객체의 방향과 제1 시선 방향(1110)과의 오차가 7도이고, 제2 시선 방향(1120)과의 오차가 5도이고, 제2 객체의 방향과 제1 시선 방향(1110)과의 오차가 10도이고, 제2 시선 방향(1120)과의 오차가 2도인 경우, 제2 객체가 관심 객체로 설정될 수 있다.

관심 객체로 설정된 객체에는 특정한 지시자가 추가될 수 있다. 사용자는 관심 객체를 변화시키고 싶은 경우, 관심 객체로 변화시키고자 객체와 시선 방향을 일치시킴으로서 관심 객체를 새롭게 설정할 수 있다.

도 12는 본 발명의 실시예에 따른 사용자의 관심 객체를 결정하기 위한 방법을 나타낸 개념도이다.

도 12에서는 다른 사용자들의 전방향 영상 감상 정보를 고려하여 전방향 영상을 시청하는 사용자의 관심 객체를 결정하기 위한 방법이 개시된다.

도 12를 참조하면, 전방향 영상을 시청한 사용자들의 시청 기록이 전방향 영상 서비스 서버(1220)로 전송될 수 있다. 복수의 전방향 영상 재생 장치(1200)는 복수의 사용자의 전방향 영상 재생과 관련된 정보인 전방향 영상 재생 정보를 전방향 영상 서비스 서버(1220)로 전송할 수 있다.

전방향 영상 재생 정보는 시청 기록 정보를 포함할 수 있다. 시청 기록 정보는 전방향 영상이 재생되는 특정 재생 시간에 사용자의 시청 방향에 대한 정보를 포함할 수 있다. 예를 들어, 시청 기록 정보는 특정 재생 시간 단위(예를 들어, 1초 단위)와 매칭된 사용자의 시선 방향 정보를 포함할 수 있다.

전방향 영상 서비스 서버(1220)는 시청 기록 정보를 기반으로 복수의 사용자들이 관심을 가지고 많이 본 객체에 대한 정보(이하, 사용자 관심 객체 정보)를 추출할 수 있다. 사용자 관심 객체는 특정 재생 시점에서 일정 임계 비율 이상의 사용자가 관심을 보인 객체일 수 있다. 사용자 관심 객체 정보는 전방향 영상 재생 장치(1250)에서 객체 위치 지시자를 생성하기 위해 사용될 수 있다. 전방향 영상 서비스 서버(1220)는 사용자 관심 객체 정보를 전방향 영상 재생 장치(1250)로 전송할 수 있다. 전방향 영상 재생 장치(1250)는 사용자 관심 객체 정보를 기반으로 재생되는 영상에서 특정 객체를 지시하기 위한 객체 위치 지시자를 출력할 수 있다.

즉, 다른 사용자들의 시청 기록 정보를 고려하여 전방향 영상을 감상하는 사용자에게 객체 위치 지시자를 생성하여 사용자에게 다른 사용자들이 관심을 보인 특정 객체가 움직이는 방향에 대한 정보를 전달할 수 있다.

도 13은 본 발명의 실시예에 따른 촬영자의 움직임을 기반으로 방향 정보의 생성 주기를 조정하기 위한 방법을 나타낸 개념도이다.

도 13에서는 전방향 영상을 촬영하는 사용자의 움직임 정도를 고려하여 방향 정보의 생성 주기를 조정하는 방법이 개시된다. 전방향 영상 처리 장치는 웨어러블 장치로서 구현되어 이동 중에 촬영이 될 수 있고, 방향 정보의 생성 주기는 조절될 수 있다.

도 13을 참조하면, 전방향 영상 처리 장치의 센서부는 전방향 영상 처리 장치의 방향 변화 정도를 센싱하고 방향 변화 정도에 따라 방향 정보 센싱 주기가 다르게 설정될 수 있다.

임계 시간 내에 방향 변화 정도를 센싱하고(단계 S1300), 방향 변화 정도가 임계값 이하인 경우(단계 S1310), 방향 정보의 센싱 주기를 증가시킬 수 있다(단계 S1320). 반대로 방향 변화 정도가 임계값을 초과하는 경우(단계 S1310), 방향 정보의 센싱 주기를 감소시킬 수 있다(단계 S1330). 이러한 센싱 주기의 증가 및 감소는 최소 주기값, 최대 주기값까지 감소 또는 증가시킬 수 있다.

즉, 촬영하는 방향이 변하지 않는 경우, 방향 정보의 센싱 주기가 점차적으로 증가하여 최대 주기값까지 증가될 수 있다. 촬영하는 방향이 변하는 경우, 방향 정보의 센싱 주기가 점차적으로 감소하여 최대 주기값까지 감소될 수 있다.

또한 본 발명의 실시예에 따르면, 전방향 영상 처리 장치의 방향이 빠르게 변하는 경우가 가정될 수 있다. 즉, 임계 시간 내의 방향 변화의 정도가 최대 임계값을 초과하는 경우, 방향 정보의 센싱 주기를 최소 주기값으로 감소시킬 수 있다.

전술한 본 발명의 실시예에서는 설명의 편의상 전방향 영상 처리 장치에서 방향 정보를 생성하고, 전방향 영상 재생 장치에서 방향 정보를 처리하여 지시자를 출력하는 것으로 가정한다. 하지만, 이러한 방향 정보의 생성/처리/활용 동작은 다양한 장치 상에서 수행될 수 있고, 위의 전방향 영상 처리 장치/전방향 영상 재생 상치에 한정되지 않는다.

전방향 영상에서 방향 정보를 생성/처리/활용하여 방향 정보를 기반으로 별도의 식별 정보/지시자를 생성하는 장치는 방향 정보 처리 장치라는 용어로 표현될 수 있다. 즉, 방향 정보 처리 장치는 전방향 영상의 방향 정보를 생성 및/또는 수신하고 방향 정보를 기반으로 전방향 영상에 대한 방향 지시자를 설정하는 장치일 수 있다. 또한, 전술한 바와 같이 방향 정보 처리 장치는 방향 정보를 기반으로 전방향 영상을 시청하는 사용자의 시선을 특정 방향으로 유도하기 위한 기능을 수행하는 장치일 수도 있다. 즉, 방향 정보 처리 장치가 도 5내지 도 13에서 전술한 기능을 수행할 수 있고, 이러한 기능은 방향 정보 처리 장치의 프로세서를 기반으로 수행될 수 있다. 예를 들어, 방향 정보 처리 장치는 통신부를 기반으로 전방향 영상의 방향 정보를 수신하고 프로세서를 사용하여 방향 정보를 기반으로 전방향 영상에 대한 방향 지시자를 설정할 수 있다.

이상 설명된 본 발명에 따른 실시예는 다양한 컴퓨터 구성요소를 통하여 실행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위하여 하나 이상의 소프트웨어 모듈로 변경될 수 있으며, 그 역도 마찬가지이다.

이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항과 한정된 실시예 및 도면에 의하여 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위하여 제공된 것일 뿐, 본 발명이 상기 실시예에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정과 변경을 꾀할 수 있다.

따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.

Claims (6)

1. 영상의 방향 정보를 생성하는 방법은,
   방향 정보 처리 장치가 시선 유도 지시자를 생성하는 단계; 및
   상기 방향 정보 처리 장치가 상기 시선 유도 지시자를 영상에 표시하는 단계를 포함하되,
   상기 시선 유도 지시자는 상기 영상을 시청하는 사용자의 현재 시선 방향과 주된 시선 방향을 기반으로 생성되고,
   상기 주된 시선 방향은 촬영자의 시선 방향을 기반으로 결정되고,
   상기 현재 시선 방향과 상기 주된 시청 방향 간의 오차에 따라 시선 유도 지시자 형태가 변화되거나 추가적인 시선 유도 지시자가 추가로 표시되는 것을 특징으로 하는 방법.
2. 제1항에 있어서,
   상기 현재 시선 방향이 상기 주된 시청 방향을 기준으로 설정된 임계 범위 내에서 포함되는 경우, 상기 시선 유도 지시자가 사라지고,
   상기 주된 시선 방향 및 상기 현재 시선 방향에 대한 방향 정보는 상기 영상을 촬상한 전방향 영상 장치에 포함되는 복수개의 영상 촬상부 각각의 화각을 기반으로 결정되는 것을 특징으로 하는 방법.
3. 제2항에 있어서,
   상기 방향 정보 처리 장치는 임계 시간 동안 상기 사용자의 상기 현재 시선 방향을 변화시킨 상기 사용자의 동작들을 무시하고, 주기적으로 상기 사용자의 상기 현재 시선 방향을 상기 주된 시청 방향으로 변화시키는 것을 특징으로 하는 방법.
4. 영상의 방향 정보를 생성하는 방향 정보 처리 장치는,
   상기 영상의 방향 정보를 수신하도록 구현되는 통신부; 및
   상기 통신부와 동작 가능하게(operatively) 연결되어 상기 방향 정보를 기반으로 상기 영상에 대한 시선 유도 지시자를 설정하도록 구현되는 프로세서를 포함하되,
   상기 프로세서는 시선 유도 지시자를 생성하고, 상기 시선 유도 지시자를 영상에 표시하도록 구현되되,
   상기 시선 유도 지시자는 상기 영상을 시청하는 사용자의 현재 시선 방향과 주된 시선 방향을 기반으로 생성되고,
   상기 주된 시선 방향은 촬영자의 시선 방향을 기반으로 결정되고,
   상기 현재 시선 방향과 상기 주된 시청 방향 간의 오차에 따라 시선 유도 지시자 형태가 변화되거나 추가적인 시선 유도 지시자가 추가로 표시되는
   상기 시선 유도 지시자는 사용자의 현재 시선 방향과 주된 시선 방향을 기반으로 생성되는 것을 특징으로 하는 방향 정보 처리 장치.
5. 제4항에 있어서,
   상기 현재 시선 방향이 상기 주된 시청 방향을 기준으로 설정된 임계 범위 내에서 포함되는 경우, 상기 시선 유도 지시자가 사라지고,
   상기 주된 시선 방향 및 상기 현재 시선 방향에 대한 방향 정보는 상기 영상을 촬상한 전방향 영상 장치에 포함되는 복수개의 영상 촬상부 각각의 화각을 기반으로 결정되는 것을 특징으로 하는 방향 정보 처리 장치.
6. 제5항에 있어서,
   상기 방향 정보 처리 장치는 임계 시간 동안 상기 사용자의 상기 현재 시선 방향을 변화시킨 상기 사용자의 동작들을 무시하고, 주기적으로 상기 사용자의 상기 현재 시선 방향을 상기 주된 시청 방향으로 변화시키는 것을 특징으로 하는 방향 정보 처리 장치.

Images