Nothing Special   »   [go: up one dir, main page]

KR20190061165A - 광고를 포함하는 360°비디오 생성 시스템 및 방법 - Google Patents

광고를 포함하는 360°비디오 생성 시스템 및 방법 Download PDF

Info

Publication number
KR20190061165A
KR20190061165A KR1020170159234A KR20170159234A KR20190061165A KR 20190061165 A KR20190061165 A KR 20190061165A KR 1020170159234 A KR1020170159234 A KR 1020170159234A KR 20170159234 A KR20170159234 A KR 20170159234A KR 20190061165 A KR20190061165 A KR 20190061165A
Authority
KR
South Korea
Prior art keywords
image
partial image
nth
partial
advertisement
Prior art date
Application number
KR1020170159234A
Other languages
English (en)
Inventor
정지욱
Original Assignee
주식회사 유브이알
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 유브이알 filed Critical 주식회사 유브이알
Priority to KR1020170159234A priority Critical patent/KR20190061165A/ko
Publication of KR20190061165A publication Critical patent/KR20190061165A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/812—Monomedia components thereof involving advertisement data

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Studio Devices (AREA)

Abstract

360°비디오가 커버하는 모든 방향(omni-direction)이 아니라 특정 방향에 대한 비디오만을 촬영하여 광고 컨텐츠를 포함하는 360°비디오를 생성할 수 있는 시스템 및 방법 이 개시된다. 본 발명의 일 측면에 따르면, 360°비디오 생성 시스템이, 정합 대상이 되는 제1부분 이미지 내지 제N부분 이미지(N은 2 이상의 자연수)를 획득하는 단계-여기서, 상기 제i부분 이미지(i는 1<=i<=N인 임의의 자연수)는 소정의 촬영 위치에서 상기 제i부분 이미지에 상응하는 제i촬영방향을 향하여 촬영된 이미지이며, 제1촬영방향 내지 제N번째 촬영방향은 모두 서로 다른 방향임-, 상기 360°비디오 생성 시스템이, 상기 제1부분 이미지 내지 상기 제N부분 이미지 중 적어도 일부인 교체 대상 이미지를 수정하여 상기 교체 대상 이미지 각각에 상응하는 광고 이미지를 생성하는 단계, 상기 360°비디오 생성 시스템이, 상기 제1부분 이미지 내지 상기 제N부분 이미지 중 상기 교체 대상 이미지를 제외한 나머지 부분 이미지, 상기 교체 대상 이미지 각각에 상응하는 광고 이미지를 정합하여 360°이미지를 생성하는 단계, 상기 360°비디오 생성 시스템이, 상기 제1촬영방향 내지 상기 제N촬영방향 중 어느 하나인 대상 방향을 향하여 촬영된 복수의 비디오 프레임 이미지를 획득하는 단계, 및 상기 360°비디오 생성 시스템이, 상기 복수의 비디오 프레임 이미지 및 상기 360°이미지에 기초하여 360°비디오를 생성하는 단계를 포함하는 360°비디오 생성 방법이 제공된다.

Description

광고를 포함하는 360°비디오 생성 시스템 및 방법{System and method for generating 360 degree video including advertisement}
본 발명은 360°비디오를 생성하기 위한 시스템 및 방법에 관한 것이다. 보다 상세하게는 360°비디오가 커버하는 모든 방향(omni-direction)이 아니라 특정 방향에 대한 비디오만을 촬영하여 광고 컨텐츠를 포함하는 360°비디오를 생성할 수 있는 시스템 및 방법에 관한 것이다.
정합 이미지를 생성하여 가상현실(Virtual Reality; VR) 또는 사실감 높은 시뮬레이션 환경을 제공하고자 하는 시도가 널리 이용되고 있다.
예를 들어, 파노라마 이미지는 복수의 이미지들을 가로(좌우)로 결합하여 가로의 시야각이 180ㅀ내지 360°를 커버할 수 있는 이미지를 의미할 수 있다. 또한 360°이미지는 사용자 혹은 특정 위치를 중심으로 상하좌우 모두가 커버될 수 있는 이미지를 의미할 수 있으며 일반적으로 풍경이나 실내를 회전하며 촬영한 여러 이미지를 가공 과정을 거쳐 연결하여 붙이고, 구형이나 원통형 모양 또는 메카토르(mercator)에 배치하는 과정을 거쳐 획득될 수 있다.
한편, 360°비디오는 촬영자가 선택한 시점에 고정되었던 기존의 비디오와는 달리 사용자 혹은 특정 위치를 중심으로 상하좌우 모두가 커버될 수 있으며, 재생 도중에 사용자가 보고 싶은 방향이나 지점을 선택할 수 있도록 구현된 비디오이다.
통상적으로 360°비디오는 복수의 카메라에 의해 촬영된 동영상들 간의 타임 라인이 동기화되고 인접한 동영상들을 스티칭(stitching)하는 과정을 통해 생성되거나 복수의 카메라에 의해 촬영된 이미지를 스티칭하여 360°비디오를 구성하는 각각의 비디오 프레임 이미지를 생성하는 방식으로 생성된다.
이와 같은 종래의 360°비디오 생성 기술은 매우 큰 리소스를 요구하기 때문에 컴퓨팅 파워가 큰 전용장비와 긴 생성시간을 필요로 한다.
한국 등록특허 10-1725024 "룩업테이블 기반의 실시간 360도 VR 동영상 제작 시스템 및 이를 이용한 360도 VR 동영상 제작 방법"
본 발명이 이루고자 하는 기술적인 과제는 비교적 적은 리소스를 이용하여 360°비디오를 생성할 수 있는 시스템 및 방법을 제공하는 것이다.
특히 사용자가 휴대하고 있는 단말기를 이용하여 간편하고 상대적으로 정확하게 360°비디오를 생성할 수 있는 방법 및 그 시스템을 제공하는 것이다.
또한 360°비디오가 커버하는 모든 방향이 아니라 특정 방향에 대한 비디오만을 촬영하여 360°비디오를 생성할 수 있는 시스템 및 방법을 제공하는 것이다.
또한 360°비디오에 광고 컨텐츠를 포함할 수 있는 기술적 사상을 제공하는 것이다.
본 발명의 일 측면에 따르면, 360°비디오 생성 시스템이, 정합 대상이 되는 제1부분 이미지 내지 제N부분 이미지(N은 2 이상의 자연수)를 획득하는 단계-여기서, 상기 제i부분 이미지(i는 1<=i<=N인 임의의 자연수)는 소정의 촬영 위치에서 상기 제i부분 이미지에 상응하는 제i촬영방향을 향하여 촬영된 이미지이며, 제1촬영방향 내지 제N번째 촬영방향은 모두 서로 다른 방향임-, 상기 360°비디오 생성 시스템이, 상기 제1부분 이미지 내지 상기 제N부분 이미지 중 적어도 일부인 교체 대상 이미지를 수정하여 상기 교체 대상 이미지 각각에 상응하는 광고 이미지를 생성하는 단계, 상기 360°비디오 생성 시스템이, 상기 제1부분 이미지 내지 상기 제N부분 이미지 중 상기 교체 대상 이미지를 제외한 나머지 부분 이미지, 상기 교체 대상 이미지 각각에 상응하는 광고 이미지를 정합하여 360°이미지를 생성하는 단계, 상기 360°비디오 생성 시스템이, 상기 제1촬영방향 내지 상기 제N촬영방향 중 어느 하나인 대상 방향을 향하여 촬영된 복수의 비디오 프레임 이미지를 획득하는 단계, 및 상기 360°비디오 생성 시스템이, 상기 복수의 비디오 프레임 이미지 및 상기 360°이미지에 기초하여 360°비디오를 생성하는 단계를 포함하는 360°비디오 생성 방법이 제공된다.
일 실시예에서, 상기 교체 대상 이미지는, 좌측 인접 이미지 및 우측 인접 이미지 중 적어도 하나를 포함하며, 상기 좌측 인접 이미지는 상기 제1부분 이미지 내지 상기 제N부분 이미지 중 상기 대상 방향을 향하여 촬영된 부분 이미지에 좌측으로 인접한 부분 이미지이며, 상기 우측 인접 이미지는 상기 제1부분 이미지 내지 상기 제N부분 이미지 중 상기 대상 방향을 향하여 촬영된 부분 이미지에 우측으로 인접한 부분 이미지인 것을 특징으로 할 수 있다.
일 실시예에서, 상기 360°비디오 생성 시스템이, 상기 제1부분 이미지 내지 상기 제N부분 이미지 중 적어도 일부인 교체 대상 이미지를 수정하여 상기 교체 대상 이미지 각각에 상응하는 광고 이미지를 생성하는 단계는, 상기 360°비디오 생성 시스템이, 상기 교체 대상 이미지에서 소정의 광고 대상 오브젝트를 검출하는 단계 및 상기 360°비디오 생성 시스템이, 검출된 광고 대상 오브젝트를 상기 광고 대상 오브젝트에 상응하는 소정의 광고 오브젝트로 교체하는 단계를 포함할 수 있다.
일 실시예에서, 상기 360°비디오 생성 시스템이, 상기 제1부분 이미지 내지 상기 제N부분 이미지 중 적어도 일부인 교체 대상 이미지를 수정하여 상기 교체 대상 이미지 각각에 상응하는 광고 이미지를 생성하는 단계는, 상기 360°비디오 생성 시스템이, 상기 교체 대상 이미지의 일부 영역을 소정의 광고 이미지로 대체하는 단계를 포함할 수 있다.
일 실시예에서, 상기 360°비디오 생성 시스템이, 상기 교체 대상 이미지의 일부 영역을 소정의 광고 이미지로 대체하는 단계는, 상기 360°비디오 생성 시스템이, 상기 교체 대상 이미지 내에서 소정의 비중요 영역을 검출하는 단계-여기서, 상기 비중요 영역은 소정의 크기 이상의 영역이며, 상기 비중요 영역 내의 각 픽셀은 상기 비중요 영역 내의 다른 모든 픽셀과의 색차(color difference)가 소정의 차이 값 이내임- 및 상기 360°비디오 생성 시스템이, 상기 교체 대상 이미지 내의 비중요 영역에 상기 광고 이미지를 삽입하는 단계를 포함할 수 있다.
일 실시예에서, 상기 360°비디오 생성 시스템이, 정합 대상이 되는 제1부분 이미지 내지 제N부분 이미지를 획득하는 단계는, 상기 360°비디오 생성 시스템이, 이미지 센서를 구비한 단말기에서 촬영된 상기 제1부분 이미지 내지 제N부분 이미지를 획득하는 단계를 포함하되, 상기 단말기는, 상기 촬영위치에서 상기 제1촬영방향을 향하여 촬영하여 상기 제1부분 이미지를 획득하고, 상기 단말기와 결합되며 상기 단말기를 회전시킬 수 있는 구동장치를 제어하여 순차적으로 상기 제2부분 이미지 내지 제N부분 이미지를 회전 촬영하되, 상기 단말기는, 상기 제j부분 이미지(j는 2<=j<=N인 임의의 자연수)를 회전 촬영하기 위하여, 상기 제(j-1)부분 이미지가 촬영된 후 상기 제(j-1)촬영방향을 향하고 있는 상기 단말기가 상기 제j촬영방향을 향하도록 상기 구동장치를 제어하고, 상기 제j촬영방향을 향하여 촬영하여 상기 제j부분 이미지를 획득할 수 있다.
일 실시예에서, 상기 360°비디오 생성 시스템이, 정합 대상이 되는 제1부분 이미지 내지 제N부분 이미지를 획득하는 단계는, 상기 360°비디오 생성 시스템이, 이미지 센서를 구비한 단말기에서 촬영된 상기 제1부분 이미지 내지 제N부분 이미지를 획득하는 단계를 포함하고, 상기 360°비디오 생성 방법은, 상기 360°비디오 생성 시스템이, 상기 단말기에서 추가 촬영된 제1추가 부분 이미지 내지 제N추가 부분 이미지를 더 획득하는 단계-여기서 상기 제i추가 부분 이미지(i는 1<=i<=N인 임의의 자연수)는 상기 촬영 위치에서 상기 제i촬영방향을 향하여 촬영된 이미지임-를 더 포함하되, 상기 360°비디오 생성 시스템이, 상기 제1촬영방향 내지 상기 제N촬영방향 중 어느 하나인 대상 방향을 특정하는 단계는, 상기 360°비디오 생성 시스템이, 상기 제1부분 이미지 내지 상기 제N부분 이미지 각각을 그에 상응하는 추가 부분 이미지와 비교하여, 상기 제1방향 내지 상기 제N방향 중 상기 대상 방향을 특정하는 단계를 포함할 수 있다.
일 실시예에서, 상기 360°비디오 생성 방법은, 상기 제1부분 이미지 내지 제N부분 이미지 중 미리 정해진 특정 객체가 촬영된 부분 이미지에 상응하는 촬영방향을 상기 대상 방향으로 결정하는 단계를 더 포함할 수 있다.
본 발명의 다른 일 측면에 따르면, 데이터 처리장치에 설치되며 상술한 방법을 수행하기 위해 컴퓨터 판독 가능한 기록 매체에 저장된 컴퓨터 프로그램이 제공된다.
본 발명의 다른 일 측면에 따르면, 360°비디오 생성 시스템으로서, 프로세서 및 상기 프로세서에 의하여 실행되는 컴퓨터 프로그램을 저장하는 메모리를 포함하며, 상기 컴퓨터 프로그램은, 상기 프로세서에 의해 실행되는 경우, 상기 360°비디오 생성 시스템이, 상술한 방법을 수행하도록 하는 360°비디오 생성 시스템이 제공된다.
본 발명의 다른 일 측면에 따르면, 정합 대상이 되는 제1부분 이미지 내지 제N부분 이미지(N은 2 이상의 자연수)를 획득하는 이미지 획득모듈-여기서, 상기 제i부분 이미지(i는 1<=i<=N인 임의의 자연수)는 소정의 촬영 위치에서 상기 제i부분 이미지에 상응하는 제i촬영방향을 향하여 촬영된 이미지이며, 제1촬영방향 내지 제N번째 촬영방향은 모두 서로 다른 방향임-, 상기 제1부분 이미지 내지 상기 제N부분 이미지 중 적어도 일부인 교체 대상 이미지를 수정하여 상기 교체 대상 이미지 각각에 상응하는 광고 이미지를 생성하는 광고 이미지 생성모듈, 상기 제1부분 이미지 내지 상기 제N부분 이미지 중 상기 교체 대상 이미지를 제외한 나머지 부분 이미지, 상기 교체 대상 이미지 각각에 상응하는 광고 이미지를 정합하여 360°이미지를 생성하는 360°이미지 생성모듈, 상기 제1촬영방향 내지 상기 제N촬영방향 중 어느 하나인 대상 방향을 향하여 촬영된 복수의 비디오 프레임 이미지를 획득하는 비디오 프레임 획득모듈 및 상기 복수의 비디오 프레임 이미지 및 상기 360°이미지에 기초하여 360°비디오를 생성하는 비디오 생성모듈을 포함하는 360°비디오 생성 시스템이 제공된다.
일 실시예에서, 상기 광고 이미지 생성모듈은, 상기 교체 대상 이미지에서 소정의 광고 대상 오브젝트를 검출하고, 검출된 광고 대상 오브젝트를 상기 광고 대상 오브젝트에 상응하는 소정의 광고 오브젝트로 교체할 수 있다.
일 실시예에서, 상기 광고 이미지 생성모듈은, 상기 교체 대상 이미지의 일부 영역을 소정의 광고 이미지로 대체할 수 있다.
일 실시예에서, 상기 광고 이미지 생성모듈은, 상기 교체 대상 이미지 내에서 소정의 비중요 영역을 검출하고-여기서, 상기 비중요 영역은 소정의 크기 이상의 영역이며, 상기 비중요 영역 내의 각 픽셀은 상기 비중요 영역 내의 다른 모든 픽셀과의 색차(color difference)가 소정의 차이 값 이내임-, 상기 교체 대상 이미지 내의 비중요 영역에 상기 광고 이미지를 삽입할 수 있다.
일 실시예에서, 상기 이미지 획득모듈은, 이미지 센서를 구비한 단말기에서 촬영된 상기 제1부분 이미지 내지 제N부분 이미지를 획득하고, 상기 단말기는, 상기 촬영위치에서 상기 제1촬영방향을 향하여 촬영하여 상기 제1부분 이미지를 획득하고, 상기 단말기와 결합되며 상기 단말기를 회전시킬 수 있는 구동장치를 제어하여 순차적으로 상기 제2부분 이미지 내지 제N부분 이미지를 회전 촬영하되, 상기 단말기는, 상기 제j부분 이미지(j는 2<=j<=N인 임의의 자연수)를 회전 촬영하기 위하여, 상기 제(j-1)부분 이미지가 촬영된 후 상기 제(j-1)촬영방향을 향하고 있는 상기 단말기가 상기 제j촬영방향을 향하도록 상기 구동장치를 제어하고, 상기 제j촬영방향을 향하여 촬영하여 상기 제j부분 이미지를 획득할 수 있다.
일 실시예에서, 상기 이미지 획득모듈은, 이미지 센서를 구비한 단말기에서 촬영된 상기 제1부분 이미지 내지 제N부분 이미지를 획득하고, 상기 단말기에서 추가 촬영된 제1추가 부분 이미지 내지 제N추가 부분 이미지를 더 획득하고-여기서 상기 제i추가 부분 이미지(i는 1<=i<=N인 임의의 자연수)는 상기 촬영 위치에서 상기 제i촬영방향을 향하여 촬영된 이미지임-, 상기 360°비디오 생성 시스템은, 상기 제1부분 이미지 내지 상기 제N부분 이미지 각각을 그에 상응하는 추가 부분 이미지와 비교하여, 상기 제1방향 내지 상기 제N방향 중 상기 대상 방향을 특정하는 특정모듈을 더 포함할 수 있다.
일 실시예에서, 상기 360°비디오 생성 시스템은, 상기 제1부분 이미지 내지 제N부분 이미지 중 미리 정해진 특정 객체가 촬영된 부분 이미지에 상응하는 촬영방향을 상기 대상 방향으로 결정하는 특정모듈을 더 포함할 수 있다.
본 발명의 기술적 사상에 의하면, 비교적 적은 리소스를 이용하여 360°비디오를 생성할 수 있는 시스템 및 방법을 제공할 수 있다.
통상적인 360°비디오의 경우에는 모든 방향에서 촬영된 부분 이미지를 정합하여 하나의 360°비디오 프레임을 생성하게 된다. 즉, 매 360°비디오 프레임을 생성하기 위해 항상 모든 방향에서 촬영한 전체 부분 이미지를 정합해야 하므로 매우 큰 리소스가 필요하다. 하지만, 본 발명의 기술적 사상에 따르면 대상 방향 이외의 촬영방향에서 촬영되는 부분 이미지는 1회만 정합되어 각 360°비디오 프레임 상에서 고정되며, 대상 방향에서 촬영된 부분만이 새로이 정합되므로 리소스가 훨씬 적게 들게 되는 장점이 있다.
본 발명의 일 실시예에 따르면 사용자가 휴대하고 있는 단말기를 이용하여 간편하고 상대적으로 정확하게 360°비디오를 생성할 수 있는 효과가 있다.
또한 본 발명의 일 실시예에 따르면 시스템 및 방법 의해 생성되는 360°비디오는 광고 컨텐츠를 포함하므로 본 발명의 기술적 사상에 의하면 360°비디오를 광고 채널로 활용할 수 있게 되는 효과가 있다. 특히 광고 컨텐츠가 포함되는 부분이 대상 방향의 좌측 인접 이미지 및/또는 우측 인접 이미지인 경우 광고 효과가 극대화될 수 있다. 본 발명의 기술적 사상에 따른 시스템 및 방법에 의해 생성되는 360°비디오는 대상 방향에서 촬영되는 부분만이 계속 변화하므로 시청자는 대부분 대상 방향에 시선을 집중하게 되며, 시청자의 시선이 집중되는 영역의 주변에 광고 컨텐츠가 배치되기 때문이다.
본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 간단한 설명이 제공된다.
도 1는 본 발명의 일 실시예에 따른 360°비디오 생성 시스템을 동작 환경을 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따른 360°비디오 생성 시스템의 구성을 개략적으로 도시한 블록도이다.
도 3은 각 촬영방향에서 촬영된 부분 이미지들의 일 예를 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 부분 이미지들을 촬영하기 위한 단말기 및 부속 장치들을 도시한 도면이다.
도 5는 도 4의 단말기에 의해 부분 이미지들이 촬영되는 과정을 간략하게 도시한 흐름도이다.
도 6(a)는 6개의 서로 다른 촬영방향에서 최초로 촬영된 6개의 부분 이미지를 나타내며, 도 6(b)는 도 6(a) 부분 이미지들이 촬영된 이후에 추가로 촬영된 6개의 추가 부분 이미지를 나타낸다.
도 7은 360°이미지의 생성을 위해 정합되는 이미지들을 설명하기 위한 도면이다.
도 8은 360°이미지를 나타내는 도면이며, 도 9은 360°비디오를 구성하는 각각의 360°비디오 프레임을 나타내는 도면이다.
도 10는 본 발명의 일 실시예에 따른 360°비디오 생성 방법을 도시한 흐름도이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 명세서에 있어서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한, 본 명세서에 있어서는 어느 하나의 구성요소가 다른 구성요소로 데이터를 '전송'하는 경우에는 상기 구성요소는 상기 다른 구성요소로 직접 상기 데이터를 전송할 수도 있고, 적어도 하나의 또 다른 구성요소를 통하여 상기 데이터를 상기 다른 구성요소로 전송할 수도 있는 것을 의미한다. 반대로 어느 하나의 구성요소가 다른 구성요소로 데이터를 '직접 전송'하는 경우에는 상기 구성요소에서 다른 구성요소를 통하지 않고 상기 다른 구성요소로 상기 데이터가 전송되는 것을 의미한다.
이하, 첨부된 도면들을 참조하여 본 발명의 실시예들을 중심으로 본 발명을 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.
도 1는 본 발명의 일 실시예에 따른 360°비디오 생성 시스템을 동작 환경을 설명하기 위한 도면이다. 본 발명의 기술적 사상에 따른 360°비디오 생성 방법을 구현하기 위하여, 360°비디오 생성 시스템(100)이 구비될 수 있다. 상기 360°비디오 생성 시스템(100)은 360°비디오를 생성할 수 있다.
도 1a에 도시된 바와 같이, 상기 360°비디오 생성 시스템(100)은 단말기(200)와 유무선 통신을 통해 연결되어 본 발명의 기술적 사상을 구현하는데 필요한 각종 데이터, 정보, 및/또는 신호를 송수신할 수 있다. 예를 들어, 상기 360°비디오 생성 시스템(100)은 상기 단말기(200)가 촬영한 이미지 및/또는 비디오 데이터를 수신할 수 있으며, 상기 단말기(200)로 상기 360°비디오 생성 시스템(100)이 생성한 360°비디오 데이터를 전송할 수 있다. 도 1a의 실시예에서, 상기 360°비디오 생성 시스템(100)은 서버의 형태일 수 있다.
도 1b에 도시된 바와 같이 상기 360°비디오 생성 시스템(100)은 단말기(200)에 포함되는 형태로 구현될 수도 있다. 구현 예에 따라, 상기 360°비디오 생성 시스템(100)은 상기 단말기(200)를 구성하는 하드웨어 및/또는 상기 단말기(200)에 설치되는 소프트웨어에 의해 구현되는 일종의 서브 시스템일 수 있다..
상기 단말기(200)은 이미지를 획득할 수 있는 이미지 센서를 구비하는 모든 형태의 데이터 처리장치를 포함할 수 있다. 이미지 센서는 이미지를 촬영/획득할 수 있는 장치를 의미할 수 있다.
상기 단말기(200)는 계산이나 데이터를 처리하거나, 입력 자료를 받아들여 처리하고 그 정보를 저장하고 처리하여 결과를 출력하는 데이터 처리 장치라면 어떠한 것이라도 무방하다. 예를 들어, 상기 단말기(200)는 범용 컴퓨터, 개인용 컴퓨터, 서버, 모바일 단말, 이동 단말기, 원격 스테이션, 원격 단말기, 액세스 단말기, 단말기, 통신 장치, 통신 단말, 사용자 에이전트, 사용자 장치, 또는 사용자 장비(UE), 터미널, 노트북, 태블릿 PC, 스마트폰 등으로 불릴 수 있는 데이터 처리 장치일 수 있다.
다만 본 발명의 기술적 사상이 도 1a 또는 도 1b의 실시예에 한정되는 것은 아니다. 실시예에 따라 상기 360°비디오 생성 시스템(100)은 도1a 및 도 1b와 달리, 단말기(200)와 네트워크를 통해 연결되거나 단말기(200)에 포함되는 형태가 아닌 독립적인 장치의 형태로 구현될 수도 있다.
도 2는 본 발명의 일 실시예에 따른 360°비디오 생성 시스템(100)의 구성을 개략적으로 도시한 블록도이다.
도 2에 도시된 바와 같이 상기 360°비디오 생성 시스템(100)은 이미지 획득모듈(110), 광고 이미지 생성모듈(130), 360°이미지 생성모듈(140), 비디오 프레임 획득모듈(150) 및 비디오 생성모듈(160)을 포함할 수 있다. 필요에 따라 상기 360°비디오 생성 시스템(100)은 특정모듈(120)을 더 포함할 수도 있다. 본 발명의 실시예에 따라, 도 2의 구성요소들 중 일부 구성요소는 반드시 본 발명의 구현에 필수적으로 필요한 구성요소에 해당하지 않을 수도 있으며, 또한 실시예에 따라 상기 360°비디오 생성 시스템(100)은 이보다 더 많은 구성요소를 포함할 수도 있음은 물론이다. 예를 들어 상기 360°비디오 생성 시스템(100)은 상기 360°비디오 생성 시스템(100)에 포함된 다른 구성(예를 들어, 이미지 획득모듈(110), 특정모듈(120), 광고 이미지 생성모듈(130), 360°이미지 생성모듈(140), 비디오 프레임 획득모듈(150) 및/또는 비디오 생성모듈(160) 등)의 기능 및/또는 리소스를 제어할 수 있는 제어모듈(미도시)을 더 포함할 수도 있다.
상기 360°비디오 생성 시스템(100)은 본 발명의 기술적 사상을 구현하기 위해 필요한 하드웨어 리소스(resource) 및/또는 소프트웨어를 구비할 수 있으며, 반드시 하나의 물리적인 구성요소를 의미하거나 하나의 장치를 의미하는 것은 아니다. 즉, 상기 360°비디오 생성 시스템(100)은 본 발명의 기술적 사상을 구현하기 위해 구비되는 하드웨어 및/또는 소프트웨어의 논리적인 결합을 의미할 수 있으며, 필요한 경우에는 서로 이격된 장치에 설치되어 각각의 기능을 수행함으로써 본 발명의 기술적 사상을 구현하기 위한 논리적인 구성들의 집합으로 구현될 수도 있다. 또한, 상기 360°비디오 생성 시스템(100)은 본 발명의 기술적 사상을 구현하기 위한 각각의 기능 또는 역할별로 별도로 구현되는 구성들의 집합을 의미할 수도 있다. 예를 들어, 상기 이미지 획득모듈(110), 특정모듈(120), 광고 이미지 생성모듈(130), 360°이미지 생성모듈(140), 비디오 프레임 획득모듈(150) 및/또는 비디오 생성모듈(160)은 서로 다른 물리적 장치에 위치할 수도 있고, 동일한 물리적 장치에 위치할 수도 있다. 또한, 구현 예에 따라서는 상기 이미지 획득모듈(110), 특정모듈(120), 광고 이미지 생성모듈(130), 360°이미지 생성모듈(140), 비디오 프레임 획득모듈(150) 및/또는 비디오 생성모듈(160) 등 각각의 모듈을 구성하는 소프트웨어 및/또는 하드웨어 역시 서로 다른 물리적 장치에 위치하고, 서로 다른 물리적 장치에 위치한 구성들이 서로 유기적으로 결합되어 각각의 모듈들이 수행하는 기능을 실현할 수도 있다.
또한, 본 명세서에서 모듈이라 함은, 본 발명의 기술적 사상을 수행하기 위한 하드웨어 및 상기 하드웨어를 구동하기 위한 소프트웨어의 기능적, 구조적 결합을 의미할 수 있다. 예를 들어, 상기 모듈은 소정의 코드와 상기 소정의 코드가 수행되기 위한 하드웨어 리소스의 논리적인 단위를 의미할 수 있으며, 반드시 물리적으로 연결된 코드를 의미하거나, 한 종류의 하드웨어를 의미하는 것은 아님은 통상의 기술자에게는 용이하게 추론될 수 있다.
상기 이미지 획득모듈(110)은 정합 대상이 되는 제1부분 이미지 내지 제N부분 이미지(N은 2 이상의 자연수)를 획득할 수 있으며, 상기 360°이미지 생성모듈(140)은 상기 제1부분 이미지 내지 상기 제N부분 이미지를 정합하여 360°이미지를 생성할 수 있다.
상기 제1부분 이미지 내지 상기 제N부분이미지 각각은 모두 소정의 촬영위치에서 촬영된 이미지일 수 있다. 또한 상기 제1부분 이미지 내지 상기 제N부분이미지 각각은 촬영방향이 모두 상이할 수 있다.
즉, 상기 제1부분 이미지 내지 상기 제N부분이미지 각각은 그에 상응하는 촬영방향을 향하여 촬영된 이미지이며, 제1촬영방향 내지 제N번째 촬영방향은 모두 서로 다른 방향일 수 있다.
달리 말하면 제i부분 이미지(i는 1<=i<=N인 임의의 자연수)는 소정의 촬영 위치에서 상기 제i부분 이미지에 상응하는 제i촬영방향을 향하여 촬영된 이미지이며, 제1촬영방향 내지 제N번째 촬영방향은 모두 서로 다른 방향일 수 있다.
상기 제1부분 이미지 내지 상기 제N부분이미지는 이미지 센서를 구비한 상기 단말기(200)에서 촬영된 이미지일 수 있다.
도 3은 각 촬영방향에서 촬영된 부분 이미지들의 일 예를 설명하기 위한 도면이다. 도 3은 촬영장치(예를 들어, 단말기(200))가 60ㅀ씩 회전하여 360°를 회전하면서 서로 다른 6장의 부분 이미지들을 촬영하는 경우를 일 예로 설명하기로 한다.
도 3에 도시된 바와 같이, 제1부분 이미지(10-1)는 제1촬영방향(10)을 향하여 촬영된 이미지일 수 있다. 제2부분 이미지(11-1)는 제1촬영방향(10)에서 60ㅀ회전된 제2촬영방향(11)을 향하여 촬영된 이미지일 수 있다. 제3부분 이미지(12-1)는 제2촬영방향(11)에서 60ㅀ회전된 제3촬영방향(12)을 향하여 촬영된 이미지일 수 있다. 제4부분 이미지(13-1)는 제3촬영방향(11)에서 60ㅀ회전된 제4촬영방향(13)을 향하여 촬영된 이미지일 수 있다. 제5부분 이미지(14-1)는 제4촬영방향(11)에서 60ㅀ회전된 제5촬영방향(14)을 향하여 촬영된 이미지일 수 있다. 제6부분 이미지(15-1)는 제5촬영방향(14)에서 60ㅀ회전된 제6촬영방향(15)을 향하여 촬영된 이미지일 수 있다.
다시 도 2를 참조하면 상기 이미지 획득모듈(110)은 상기 단말기(200)에서 촬영된 상기 제1부분 이미지 내지 상기 제N부분 이미지를 획득할 수 있다. 도 1a와 같은 구조에서는 상기 상기 360°비디오 생성 시스템(100)은 네트워크를 통하여 상기 단말기(200)로부터 상기 제1부분 이미지 내지 상기 제N부분 이미지를 수신할 수 있다. 도 1b와 같은 구조에서는 상기 단말기(200)가 상기 제1부분 이미지 내지 상기 제N부분 이미지를 촬영하여 상기 단말기(200) 내의 저장장치(미도시)에 저장하면 상기 이미지 획득모듈(110)은 상기 저장장치로부터 상기 제1부분 이미지 내지 상기 제N부분 이미지를 획득할 수 있다.
도 4는 본 발명의 일 실시예에 따른 정합 대상이 되는 부분 이미지들을 촬영하기 위한 단말기 및 부속 장치들을 도시한 도면이다.
상기 단말기(200)는 사용자가 휴대하고 다닐 수 있으며, 이미지를 획득할 수 있는 이미지 센서를 구비하는 모든 형태의 데이터 처리장치를 포함하는 의미일 수 있다. 일 예에 의하면 상기 단말기(200)는 사용자의 휴대폰일 수 있지만 이에 국한되지는 않는다. 또한 본 발명의 기술적 사상의 일부는 사용자가 휴대하고 다니지 않는 장치에 의해 구현될 수도 있으며, 이러한 경우에도 본 발명의 권리범위에 포함될 수 있음은 물론이다.
상기 단말기(200)는 회전을 수행하면서 이미지들(부분 이미지)을 촬영할 수 있다. 상기 단말기(200)는 상기 단말기(200)를 중심으로 360도를 회전할 수도 있고, 360도를 회전하지 않을 수도 있다. 어떠한 경우든 상기 단말기(200)는 생성하고자 하는 정합 이미지가 커버하고자 하는 각도(예를 들어, 360도, 270도, 180도 등)를 모두 커버할 수 있도록 필요한 만큼 회전을 수행할 수 있다. 물론 회전의 정도는 상기 단말기(200)에 구비된 이미지 센서의 시야각의 크기에 따라 달라질 수 있음은 물론이다.
상기 단말기(200)는 상기 단말기(200)를 회전하도록 하는 소정의 구동장치(210)에 부착, 체결, 또는 결합될 수 있다. 그리고 상기 구동장치(210)를 통해 상기 단말기(200)의 움직임이 수행될 수 있다.
상기 단말기(200)는 상기 구동장치(210)를 제어할 수 있다. 일 예에 의하면, 상기 단말기(200)는 상기 구동장치(210)와 소정의 근거리 무선통신(예를 들어, 블루투스, NFC, 지그비 통신, WiFi 등)을 수행할 수 있다. 상기 단말기(200)는 상기 구동장치(210)로 소정의 커맨드를 전송할 수 있고, 전송된 커맨드에 응답하여 상기 구동장치(210)는 구동을 할 수 있다. 또한 실시 예에 따라 상기 구동장치(210)는 상기 커맨드에 응답하여 수행된 구동의 구동결과를 상기 단말기(200)로 전송할 수 있다.
상기 구동장치(210)는 적어도 회전운동을 수행하는 장치일 수 있다. 이러한 회전운동을 위한 로테이터가 상기 구동장치(210)에 구비될 수 있다. 또한 상기 구동장치(210)는 상기 단말기(200)를 체결시키기 위한 소정의 체결부(미도시)가 구비될 수 있다.
일 예에 의하면, 상기 구동장치(210)는 미리 정해진 기준 각도단위로 회전을 수행할 수 있는 장치일 수 있으며, 상기 단말기(200)로부터 수신된 커맨드에 응답하여 상기 커맨드에서 원하는 만큼의 각도만큼 회전될 수 있다. 이러한 방식을 통해 상기 구동장치(210) 및/또는 상기 단말기(200)의 회전각도가 제어될 수 있다.
다른 실시 예에 의하면, 상기 구동장치(210)는 단말기(200)로부터 수신된 커맨드에 응답하여 회전을 수행할 수 있다. 그리고 상기 단말기(200)가 상기 구동장치(210)(즉, 상기 단말기(200))의 회전정도를 센싱하고, 필요한 각도가 회전되었다고 센싱되면 상기 구동장치(210)의 회전을 멈추는 커맨드를 전송할 수도 있다. 어떠한 경우든, 상기 단말기(200)는 구동장치(210)의 회전각도의 제어를 통해 자신의 회전각도를 상대적으로 정확하게 제어할 수 있다.
본 명세서에서는 상기 구동장치(210)가 단순히 상기 단말기(200)를 회전시키는 기능만을 구비한 일 예를 설명하지만, 필요에 따라 상기 구동장치(210)는 이동, 상기 단말기(200)의 틸트(tilt) 등을 수행하거나, 상하로 상기 단말기(200)의 위치를 변경하는 등의 기능을 수행하도록 구현될 수도 있다.
한편, 상기 단말기(200)에는 특정 방향(예를 들어, 상하방향)의 시야각을 확대하기 위한 소정의 시야각 확대장치(220; 예를 들어, 어안렌즈 등)가 부착될 수도 있다. 이러한 경우 상기 시야각 확대장치에 의해 상하로 거의 180ㅀ까지의 시야각이 확보될 수도 있으며, 이러한 경우에는 상기 단말기(200)가 좌우 360°의 시야각을 확보할 수 있도록 회전을 수행할 경우 360°이미지(스피어 이미지)를 생성할 수 있음은 물론이다.
결국 본 발명의 기술적 사상에 의하면 상기 단말기(200)는 상기 구동장치(210)를 제어하여 원하는 각도만큼 상대적으로 정확하게 회전(즉, 원하는 방향으로 회전)하여 이미지를 촬영한 후, 다시 원하는 각도만큼 회전을 수행하여 이미지를 촬영할 수 있다. 이러한 회전 각도의 제어가 상기 단말기(200)에 의해 상대적으로 정확하게 이루어지는 경우, 단말기(200) 및 상기 360°비디오 생성 시스템(100)은 인접한 이미지의 회전각도(시야각)을 정확하게 알고 있을 수 있으며 이러한 경우 이미지 정합(스티칭)의 정확성 및 신속성이 향상될 수 있는 효과가 있다.
도 5는 도 4의 단말기(200)에 의해 정합 대상이 되는 부분 이미지들이 촬영되는 과정을 간략하게 도시한 흐름도이다.
도 5를 참조하면, 상기 단말기(100)는 소정의 방향에서 부분 이미지를 획득할 수 있다(S10). 그리고 구동장치(200)를 제어하여 미리 정해진 각도만큼 회전을 수행할 수 있다(S20). 그리고 회전이 수행된 상태에서 해당하는 부분 이미지를 획득할 수 있다(S30). 그리고 원하는 n개의 방향에 상응하는 n개의 부분 이미지들을 획득하였는지 판단할 수 있다(S40). 만약 n개의 부분 이미지들을 모두 획득하지 못했다고 판단되면(S40), 상기 단말기(100)는 다시 구동장치를 제어하여 회전을 수행한 후 부분 이미지를 획득할 수 있다(S20, S30).
도 4의 단말기(200)가 도 3에 도시된 바와 같은 부분 이미지들을 촬영하는 과정을 예로 들어 설명하면 다음과 같다.
단말기(200)는 정합 이미지를 생성하기 위해 N개(예를 들면, 6개)의 부분 이미지들(예를 들면, 10-1 내지 15-1)을 촬영할 수 있다. 이를 위해 상기 단말기(200)는 구동장치(210)를 제어하여 N개의 촬영방향(예를 들어, 10 내지 15)을 향하도록 회전한 후, 각각의 촬영방향에서 부분 이미지를 촬영할 수 있다.
예를 들어, 상기 단말기(200)는 제1촬영방향(10)에서 제1부분 이미지(10-1)를 촬영하고, 제2촬영방향을 향하도록 구동장치(210)를 제어할 수 있다. 그리고 제2촬영방향(11)에서 제2부분 이미지(11-1)를 촬영할 수 있다. 이와 같은 방식으로 상기 단말기(200)는 6개의 부분 이미지들(10-1 내지 15-1)을 순차적으로 촬영할 수 있다. 이러한 경우 상기 단말기(200)의 이미지 센서는 적어도 좌우 360°/N(도 3의 예에서는 60ㅀ)보다는 큰 시야각을 갖는 것이 바람직할 수 있다.
상기 단말기(200)는 순차적으로 회전 및 촬영을 통해 부분 이미지들(예를 들어, 10-1 내지 15-1)을 획득할 수 있으므로, 서로 인접한 부분 이미지들이 무엇인지를 알 수 있다. 더욱이 각 부분 이미지들의 방향을 정확히 알고 있으므로 상기 360°비디오 생성 시스템(100)은 이러한 정보를 통해 상대적으로 부분 이미지들 간에 겹치는 영역을 손쉽게 판단할 수 있으며, 이를 통해 상대적으로 빠른 시간 내에 이미지 정합을 수행할 수 있다.
상기 단말기(200)가 회전을 수행하기 위해서는, 상기 단말기(200)가 상기 구동장치(210)로 미리 정해진 각도(예를 들어, 60ㅀ)를 회전하라는 커맨드를 전송할 수 있다. 그리고 커맨드에 응답하여 상기 구동장치(210)로부터 상기 각도만큼 회전이 수행되었다는 신호를 수신하면, 상기 단말기(200)는 부분 이미지를 촬영할 수 있다.
다른 실시 예에 의하면, 상기 단말기(200)는 구동장치(210)를 회전시키라는 커맨드를 구동장치(210)로 출력할 수 있다. 이에 응답하여 상기 구동장치(210)가 회전을 수행하면, 상기 단말기(200)는 회전각도를 센싱할 수 있다. 그리고 회전 각도가 원하는 각도에 상응하면 상기 단말기(200)는 구동장치(210)로 회전 중지를 위한 커맨드를 출력할 수 있다. 그러면 상기 구동장치(210)는 회전을 중지할 수 있고, 그러면 상기 단말기(200)는 부분 이미지를 촬영할 수 있다.
어떠한 방식이든 상기 단말기(200)는 원하는 각도만큼 회전을 수행하여, 수행된 각도(방향)에서 부분 이미지를 촬영할 수 있다.
다시 도 2를 참조하면, 상기 이미지 획득모듈(110)은 앞서 도 5를 참조하여 설명한 방식으로 촬영된 제1부분 이미지 내지 제N부분이미지를 획득할 수 있다.
다만 정합 대상이 되는 제1부분 이미지 내지 제N부분 이미지가 도 5를 참조하여 앞서 설명한 방식에 의해서만 촬영되는 것은 아니며, 제1부분 이미지 내지 제N부분이미지를 촬영하는 방식은 다양할 수 있다. 예를 들어 상기 제1부분 이미지 내지 제N부분이미지(예를 들어 10-1 내지 15-1)는 제1촬영방향 내지 제N촬영방향(예를 들어 10 내지 15)을 향하도록 배치된 N개의 이미지 센서를 가지는 전방향 카메라에 의해 촬영될 수도 있다. 또는 단말기(200)를 회전 가능한 삼각대 등의 회전 장치에 연결하고 회전 장치를 일정 각도씩 회전하면서 제1부분 이미지 내지 제N부분 이미지를 촬영할 수도 있다. 또는 별도의 회전 장치 없이 단말기(200)를 회전시키면서 제1부분 이미지 내지 제N부분 이미지를 촬영할 수도 있다.
상기 특정모듈(120)은 상기 제1촬영방향 내지 제N촬영방향(예를 들어, 10 내지 15) 중 어느 하나를 대상 방향으로 특정할 수 있다.
일 실시예에서, 상기 대상 방향은 사용자에 의해 지정될 수 있다.
다른 일 실시예에서 상기 대상 방향은 미리 지정되어 있을 수 있다. 예를 들어 상기 대상 방향은 최초의 촬영방향(즉, 제1촬영방향)으로 미리 지정되어 있을 수 있다.
다른 일 실시예에서, 상기 특정모듈(120)은 제1부분 이미지 내지 제N부분 이미지(예를 들어 10-1 내지 15-1) 중 미리 정해진 특정 객체가 촬영된 부분 이미지에 상응하는 촬영방향을 상기 대상 방향으로 결정할 수 있다.
예를 들어 상기 특정 객체는 사람일 수 있다. 상기 특정모듈(120)은 상기 제1부분 이미지 내지 제N부분 이미지(예를 들어 10-1 내지 15-1) 각각에 대한 이미지 분석을 실시하고 특정 객체(예를 들어, 사람)가 포함되어 있는 부분 이미지를 특정할 수 있다.
이후 상기 특정모듈(120)은 특정 객체(예를 들어, 사람)가 포함되어 있는 부분 이미지에 상응하는 촬영방향을 대상 방향으로 결정할 수 있다. 예를 들어, 도 3의 제2부분 이미지(11-1)에 특정 객체(예를 들어, 사람)이 촬영되었다면 상기 특정모듈(120)은 제2촬영방향(11)을 대상 방향으로 결정할 수 있다.
다른 일 실시예에서, 상기 특정모듈(120)은 시간차를 두고 동일한 촬영방향에서 촬영된 부분 이미지의 쌍을 비교하여 대상 방향을 결정할 수도 있는데, 이에 대하여 도 6을 참조하여 설명하기로 한다.
도 6(a)는 6개의 서로 다른 촬영방향에서 최초로 촬영된 6개의 부분 이미지를 나타내며, 도 6(b)는 도 6(a) 부분 이미지들이 촬영된 이후에 추가로 촬영된 6개의 추가 부분 이미지를 나타낸다.
도 6(a)에 도시된 바와 같이 제1부분 이미지 내지 제6부분 이미지(10-1 내지 15-1)는 각각 제1촬영방향(10 내지 15)에서 촬영된 이미지이며, 도 6(b)에 도시된 바와 같이 제1추가 부분 이미지 내지 제6추가 부분 이미지(10-2 내지 15-2)는 각각 제1촬영방향(10 내지 15)에서 촬영된 이미지이다. 즉, 제i부분 이미지(i는 1<=i<=N인 임의의 자연수) 및 제i추가 부분 이미지는 모두 제i촬영방향을 향하여 촬영된 이미지이다.
제1추가 부분 이미지 내지 제N추가 부분 이미지(예를 들어 10-2 내지 15-2) 역시 도 4의 단말기(200) 및 구동장치(210)에 의해 도 5와 같은 방식으로 촬영될 수 있다.
상기 제1추가 부분 이미지 내지 제N추가 부분 이미지는 각각 그에 상응하는 부분 이미지가 촬영된 이후의 시점에 촬영된 이미지일 수 있다. 예를 들어 상기 단말기(200)는 첫 번째로 360°회전하면서 제1부분 이미지 내지 제N부분 이미지(예를 들어 10-1 내지 15-1)을 촬영한 이후 두 번째로 360°회전하면서 제1추가 부분 이미지 내지 제N부분 이미지(10-2 내지 15-2)을 촬영할 수 있다.
또는 상기 단말기(200)는 제1촬영방향(예를 들어 10)을 향하여 제1부분 이미지(예를 들어 10-1)을 촬영하고, 일정 시간 경과 후 제1추가 부분 이미지(예를 들어, 10-2)을 촬영한 후에 제2촬영방향(예를 들어 11)으로 회전하여 제2부분 이미지(예를 들어 11-1)을 촬영하고, 일정 시간 경과 후 제2추가 부분 이미지(예를 들어, 11-2)을 촬영할 수 있다. 같은 방법으로 제N부분 이미지 및 제N추가 부분 이미지까지 촬영할 수 있다.
한편, 상기 이미지 획득모듈(110)은 제1부분 이미지 내지 제N부분 이미지(예를 들어 10-1 내지 15-1) 뿐만 아니라 상기 제1촬영방향 내지 제N촬영방향(예를 들어, 10 내지 15)에서 추가 촬영된 제1추가 부분 이미지 내지 제N추가 부분 이미지(10-2 내지 15-2)를 더 획득할 수 있다.
그러면 상기 특정모듈(120)은 상기 제1부분 이미지 내지 상기 제N부분 이미지 각각을 그에 상응하는 추가 부분 이미지와 비교하여, 상기 제1방향 내지 상기 제N방향 중 대상 방향을 특정할 수 있다.
일 실시예에서, 상기 특정모듈(120)은 각 부분 이미지 및 그에 상응하는 추가 부분 이미지의 차이를 산출하고 차이가 가장 큰 부분 이미지 및 그에 상응하는 추가 이미지가 촬영된 촬영방향을 대상 방향으로 결정할 수 있다.
예를 들어 상기 특정모듈(120)은 제1부분 이미지(10-1) 및 제1추가 부분 이미지(10-2)의 차이, 제2부분 이미지(11-1) 및 제2추가 부분 이미지(11-2)의 차이, …., 제6부분 이미지(15-1) 및 제6추가 부분 이미지(15-2)의 차이를 각각 산출할 수 있다. 만약 이들 중 제2부분 이미지(11-1) 및 제2추가 부분 이미지(11-2)의 차이가 가장 크다면 상기 특정모듈(120)은 제2촬영방향(11)을 대상 방향으로 결정할 수 있다.
다시 도 2를 참조하면, 상기 광고 이미지 생성모듈(130)은 상기 제1부분 이미지 내지 상기 제N부분 이미지 중 적어도 일부인 교체 대상 이미지를 수정하여 상기 교체 대상 이미지 각각에 상응하는 광고 이미지를 생성할 수 있다.
일 실시예에서, 상기 교체 대상 이미지는 좌측 인접 이미지 및/또는 우측 인접 이미지일 수 있다.
상기 좌측 인접 이미지는 상기 제1부분 이미지 내지 상기 제N부분 이미지 중 상기 대상 방향을 향하여 촬영된 부분 이미지에 좌측으로 인접한 부분 이미지이며, 상기 우측 인접 이미지는 상기 제1부분 이미지 내지 상기 제N부분 이미지 중 상기 대상 방향을 향하여 촬영된 부분 이미지에 우측으로 인접한 부분 이미지일 수 있다
만약 제1부분 이미지 내지 제N부분 이미지가 도 3에 도시된 바와 같으며 상기 특정모듈(120)이 제2촬영방향(11)을 대상 방향으로 특정하였다고 가정하고 좌측 인접 이미지 및 우측 인접 이미지의 예를 설명하면 다음과 같다.
위의 예에서는, 상기 대상 방향(즉, 제2촬영방향(11))을 향하여 촬영된 부분 이미지(11-1)에 좌측으로 인접한 부분 이미지인 제1촬영방향(10)을 향하여 촬영된 이미지(10-1)가 좌측 인접 이미지이며, 상기 대상 방향(즉, 제2촬영방향(11))을 향하여 촬영된 부분 이미지(11-1)에 우측으로 인접한 부분 이미지인 제3촬영방향(12)을 향하여 촬영된 이미지(12-1)가 우측 인접 이미지이다.
상술한 바와 같이, 실시예에 따라, 교체 대상 이미지는 좌측 인접 이미지 또는 우측 인접 이미지일 수 있으며, 좌측 인접 이미지 및 우측 인접 이미지 모두일 수도 있다.
한편, 일 실시예에서, 상기 광고 이미지 생성모듈(130)은 상기 교체 대상 이미지에서 소정의 광고 대상 오브젝트를 검출하고, 검출된 광고 대상 오브젝트를 상기 광고 대상 오브젝트에 상응하는 소정의 광고 오브젝트로 교체할 수 있다.
다른 일 실시예에서, 상기 광고 이미지 생성모듈(130)은 상기 교체 대상 이미지의 일부 영역을 소정의 광고 이미지로 대체할 수 있다.
일 실시예에서, 상기 광고 이미지 생성모듈(130)은 상기 교체 대상 이미지의 전체 영역을 소정의 광고 이미지로 대체할 수 있다.
또는 상기 광고 이미지 생성모듈(130)은 상기 교체 대상 이미지의 전체 영역을 소정의 광고 이미지로 대체할 수 있다. 이때 상기 광고 이미지 생성모듈(130)은 교체 대상 이미지에서 비교적 중요도가 낮은 영역(예를 들면, 벽면 등)을 검출하고, 검출된 영역에 광고 이미지를 삽입할 수 있다.
보다 상세하게 설명하면, 상기 광고 이미지 생성모듈(130)은 상기 교체 대상 이미지 내에서 소정의 비중요 영역을 검출하고, 검출된 상기 비중요 영역에 상기 광고 이미지를 삽입할 수 있다. 이때, 상기 비중요 영역은 소정의 크기 이상의 영역이며, 상기 비중요 영역 내의 각 픽셀은 상기 비중요 영역 내의 다른 모든 픽셀과의 색차(color difference)가 소정의 차이 값 이내일 수 있다.
두 픽셀 간의 색차는 픽셀을 표현하는 색 공간에서의 유클리드 거리(Euclidean Distance)일 수 있다. 예를 들어 픽셀이 <R, G, B>로 표현된다고 하면, 두 픽셀 P1 = <R1, G1, B1> 및 P2=<R2, G2, B2> 간의 색차 distance는 다음과 같은 [수식]에 의해 산출될 수 있다.
[수식]
Figure pat00001
본 실시예에 따르면, 상기 광고 이미지 생성모듈(130)은 해당 영역 내의 각 픽셀간의 색차가 크지 않은, 예를 들면 벽면과 같은, 비중요 영역에 광고 이미지를 삽입할 수 있다.
한편, 상기 360°이미지 생성모듈(140)은 획득한 제1부분 이미지 내지 제N부분 이미지 중 상기 교체 대상 이미지를 제외한 나머지 부분 이미지, 상기 교체 대상 이미지 각각에 상응하는 광고 이미지를 정합하여 360°이미지(예를 들어 스피어 이미지)를 생성할 수 있다.
도 7은 상기 360°이미지 생성모듈(140)이 360°이미지를 생성하기 위하여 정합하는 이미지들을 설명하기 위한 도면이다.
도 7은 대상 방향이 제2촬영방향(11)이며, 교체 대상 이미지가 좌측 인접 이미지 및 우측 인접 이미지인 예를 도시하고 있다. 즉, 도 7의 예에서는 상기 광고 이미지 생성모듈(130)이 좌측 인접 이미지(즉, 제1부분 이미지(10-1)) 및 우측 인접 이미지(즉, 제3부분이미지(12-1))를 교체하여 각각에 상응하는 광고 이미지를 생성한 것으로 가정한다.
도 7을 참조하면 상기 360°이미지 생성모듈(140)은 제1부분 이미지(10-1) 내지 제6부분 이미지(15-1) 중 상기 교체 대상 이미지(즉, 제1부분 이미지(10-1) 및 제3부분 이미지(12-1))를 제외한 나머지 부분 이미지(즉, 제2부분 이미지(11-1), 제4부분 이미지(13-1), 제5부분 이미지(14-1), 제6부분 이미지(15-1)) 및 상기 교체 대상 이미지인 제1부분 이미지(10-1) 및 제3부분 이미지(12-1) 각각에 상응하는 광고 이미지(10-3, 12-3)를 정합할 수 있다.
한편, 상기 360°이미지 생성모듈(140)은 공지된 다양한 스티칭 기법을 이용하여 360°이미지를 생성할 수 있다. 예를 들어, 상기 360°이미지 생성모듈(140)은 정합 대상 이미지(즉, 제1부분 이미지 내지 제N부분 이미지 중 상기 교체 대상 이미지를 제외한 나머지 부분 이미지, 상기 교체 대상 이미지 각각에 상응하는 광고 이미지)를 원통형 혹은 구형 좌표계에 투영/왜곡하고, 각 정합 대상 이미지에서 특징점을 추출하고, 인접한 정합 대상 이미지들을 정렬하고, 인접한 정합 대상 이미지들이 부드럽게 연결되도록 블렌딩하는 등의 과정을 수행할 수 있다.
비디오 프레임 획득모듈(150)은 상기 대상 방향을 향하여 촬영된 복수의 비디오 프레임 이미지를 획득할 수 있다.
예를 들어 상기 비디오 프레임 획득모듈(150)은 상기 단말기(200)로부터 상기 복수의 비디오 프레임 이미지를 획득할 수 있다. 이 경우 상기 단말기(200)는 상기 구동 장치(210)를 제어하여 상기 단말기(200)가 상기 대상 방향을 향하도록 한 후 복수의 비디오 프레임 이미지를 촬영할 수 있다.
상기 비디오 생성모듈(160)은 상기 비디오 프레임 획득모듈(150)에 의해 획득된 상기 복수의 비디오 프레임 이미지 및 상기 360°이미지 생성모듈(140)에 의해 생성된 상기 360°이미지에 기초하여 360°비디오를 생성할 수 있다.
보다 상세하게는 상기 비디오 생성모듈(160)은 상기 복수의 비디오 프레임 이미지 각각에 대하여, 상기 360°이미지에 상기 비디오 프레임 이미지를 정합하여 상기 비디오 프레임에 대응되는 360°비디오 프레임을 생성할 수 있는데, 이에 대하여 도 8 및 도 9을 참조하여 설명하기로 한다.
도 8은 상기 360°이미지 생성모듈(140)에 의해 생성되는 360°이미지를 나타내는 도면이며, 도 9은 상기 비디오 생성모듈(160)에 의해 생성되는 각각의 360°비디오 프레임을 나타내는 도면이다.
도 8 및 도 9의 예시에서 대상 방향은 제2촬영방향(11)으로 특정되었다고 가정한다.
앞서 설명한 바와 같이 360°이미지는 제1부분 이미지 내지 제N부분 이미지 중 상기 교체 대상 이미지를 제외한 나머지 부분 이미지, 상기 교체 대상 이미지 각각에 상응하는 광고 이미지의 정합에 의해 생성된다. 따라서, 도 8에 도시된 바와 같이, 360°이미지(I)는 제1부분 이미지 내지 제N부분 이미지 중 상기 교체 대상 이미지를 제외한 나머지 부분 이미지, 상기 교체 대상 이미지 각각에 상응하는 광고 이미지 각각에 상응하는 부분(20-1 내지 20-5)으로 구성될 수 있다.
만약 도 8의 360°이미지가 도 7에 도시된 바와 같은 이미지들의 정합에 의해 생성된 것이라고 가정하면, 360°이미지(I)의 제1부분(20)은 교체 대상 이미지인 제1부분 이미지(10-1)로부터 생성된 광고 이미지(10-3)에 상응하며, 360°이미지(I)의 제2부분(21)은 제2부분 이미지(11-1)에 상응하며, 360°이미지(I)의 제3부분(22)은 교체 대상 이미지인 제3부분 이미지(12-1)로부터 생성된 광고 이미지(12-3)에 상응하며, 360°이미지(I)의 제4부분(23)은 제4부분 이미지(13-1)에 상응하며, 360°이미지(I)의 제5부분(24)은 제5부분 이미지(14-1)에 상응하며, 360°이미지(I)의 제6부분(25)은 제6부분 이미지(15-1)에 상응할 수 있다.
한편, 상기 비디오 생성모듈(160)은 상기 360°이미지(I) 중 상기 대상 방향(11)에서 촬영된 부분 이미지에 상응하는 부분(21)에 각각의 비디오 프레임 이미지를 정합할 수 있다.
도 9의 예시에서 상기 비디오 생성모듈(160)은 상기 360°이미지(I) 중 상기 대상 방향(11)에서 촬영된 부분 이미지에 상응하는 부분에 첫 번째 비디오 프레임 이미지를 정합하여 첫 번째 360°비디오 프레임(F1)을 생성할 수 있다. 따라서, 첫 번째 360°비디오 프레임(F1)은 교체 대상 이미지인 제1부분 이미지(10-1)로부터 생성된 광고 이미지(10-3)에 상응에 상응하는 부분(20), 교체 대상 이미지인 제3부분 이미지(12-1)로부터 생성된 광고 이미지(12-3)에 상응하는 부분(22), 제4부분 이미지 내지 제6부분 이미지에 상응하는 부분(23 내지 25) 및 첫 번째 비디오 프레임 이미지에 상응하는 부분(31-1)로 구성될 수 있다.
또한 상기 비디오 생성모듈(160)은 상기 360°이미지(I) 중 상기 대상 방향(11)에서 촬영된 부분 이미지에 상응하는 부분에 두 번째 비디오 프레임 이미지를 정합하여 두 번째 360°비디오 프레임(F2)을 생성할 수 있다. 두 번째 360°비디오 프레임(F2)은 교체 대상 이미지인 제1부분 이미지(10-1)로부터 생성된 광고 이미지(10-3)에 상응에 상응하는 부분(20), 교체 대상 이미지인 제3부분 이미지(12-1)로부터 생성된 광고 이미지(12-3)에 상응하는 부분(22), 제4부분 이미지 내지 제6부분 이미지에 상응하는 부분(23 내지 25) 및 두 번째 비디오 프레임 이미지에 상응하는 부분(31-2)로 구성될 수 있다.
상기 비디오 생성모듈(160)은 마찬가지 방법으로 마지막 비디오 프레임 이미지에 상응하는 360°비디오 프레임(Fm)까지 생성할 수 있다. 마지막 360°비디오 프레임(Fm) 역시 교체 대상 이미지인 제1부분 이미지(10-1)로부터 생성된 광고 이미지(10-3)에 상응에 상응하는 부분(20), 교체 대상 이미지인 제3부분 이미지(12-1)로부터 생성된 광고 이미지(12-3)에 상응하는 부분(22), 제4부분 이미지 내지 제6부분 이미지에 상응하는 부분(23 내지 25) 및 마지막 비디오 프레임 이미지에 상응하는 부분(31-m)로 구성될 수 있다.
한편, 도 8 및 도 9의 예시에서, 360°이미지의 생성에 이용되는 제2부분 이미지와 각각의 360°비디오 프레임의 생성에 이용되는 각각의 비디오 프레임 이미지는 모두 동일한 방향(즉, 제2촬영방향; 11)을 향하여 촬영된 것이므로 스티칭 과정 및 스티칭 과정에 필요한 각종 파라미터, 스티칭의 과정에서 도출되는 중간 결과들이 매우 흡사할 수 있다. 따라서, 스티칭의 일부 과정이 생략되거나 매우 단순한 연산에 의해 이루어질 수 있다. 예를 들어 평면의 이미지를 구형에 배치하기 위해서는 이미지의 왜곡이 필요한데, 제2부분 이미지에 적용된 것과 동일한 왜곡 변환이 각각의 360°비디오 프레임의 생성에 이용되는 각각의 비디오 프레임 이미지에도 모두 동일하게 적용될 수 있다.
이와 같이 상기 비디오 생성모듈(160)에 의해 생성되는 360°비디오는 상기 360°비디오를 구성하는 각 프레임은 상기 대상 방향에서 촬영된 부분 이미지에 상응하는 영역을 제외한 나머지 영역에서 변화가 없으며, 상기 대상 방향에서 촬영된 부분 이미지에 상응하는 영역에서만 변화가 발생할 수 있다.
통상적인 360°비디오의 경우에는 모든 방향에서 촬영된 부분 이미지를 정합하여 하나의 360°비디오 프레임을 생성하게 된다. 즉, 매 360°비디오 프레임을 생성하기 위해 항상 모든 방향에서 촬영한 전체 부분 이미지를 정합해야 하므로 매우 큰 리소스가 필요하다. 하지만, 본 발명의 기술적 사상에 따르면 대상 방향 이외의 촬영방향에서 촬영되는 부분 이미지는 1회만 정합되어 각 360°비디오 프레임 상에서 고정되며, 대상 방향에서 촬영된 부분만이 새로이 정합되므로 리소스가 훨씬 적게 들게 되는 장점이 있다.
또한 상기 비디오 생성모듈(160)에 의해 생성되는 360°비디오는 광고 컨텐츠를 포함하므로 본 발명의 기술적 사상에 의하면 360°비디오를 광고 채널로 활용할 수 있게 되는 효과가 있다. 특히 광고 컨텐츠가 포함되는 부분이 대상 방향의 좌측 인접 이미지 및/또는 우측 인접 이미지인 경우 광고 효과가 극대화될 수 있다. 본 발명의 기술적 사상에 따른 시스템 및 방법에 의해 생성되는 360°비디오는 대상 방향에서 촬영되는 부분만이 계속 변화하므로 시청자는 대부분 대상 방향에 시선을 집중하게 되며, 시청자의 시선이 집중되는 영역의 주변에 광고 컨텐츠가 배치되기 때문이다.
도 10는 본 발명의 일 실시예에 따른 360°비디오 생성 방법을 도시한 흐름도이다.
도 10를 참조하면, 360°비디오 생성 시스템(100)은 제1부분 이미지 내지 제N부분 이미지(N은 2 이상의 자연수)를 획득할 수 있다(S100). 이때, 상기 제i부분 이미지(i는 1<=i<=N인 임의의 자연수)는 소정의 촬영 위치에서 상기 제i부분 이미지에 상응하는 제i촬영방향을 향하여 촬영된 이미지이며, 제1촬영방향 내지 제N번째 촬영방향은 모두 서로 다른 방향이다.
경우에 따라 상기 360°비디오 생성 시스템(100)은 제1추가 부분 이미지 내지 제N추가 부분 이미지를 더 획득할 수 있다(S110). 이때 상기 제i추가 부분 이미지(i는 1<=i<=N인 임의의 자연수)는 상기 촬영 위치에서 상기 제i촬영방향을 향하여 촬영된 이미지이다.
상기 360°비디오 생성 시스템(100)은 상기 제1촬영방향 내지 제N촬영방향 중 어느 하나인 대상 방향을 특정할 수 있다(S120). 일 실시예에서, 상기 360°비디오 생성 시스템(100)은 제1부분 이미지 내지 제N부분 이미지 각각의 그에 상응하는 추가 부분 이미지와 비교하여 차이가 가장 큰 부분 이미지에 상응하는 촬영방향을 상기 대상 방향으로 결정할 수 있다.
한편, 상기 360°비디오 생성 시스템(100)은 상기 제1부분 이미지 내지 상기 제N부분 이미지 중 적어도 일부인 교체 대상 이미지를 수정하여 상기 교체 대상 이미지 각각에 상응하는 광고 이미지를 생성할 수 있다(S130).
일 실시예에서, 상기 교체 대상 이미지는 좌측 인접 이미지 및 우측 인접 이미지 중 적어도 하나를 포함할 수 있다. 이때, 상기 좌측 인접 이미지는 상기 제1부분 이미지 내지 상기 제N부분 이미지 중 상기 대상 방향을 향하여 촬영된 부분 이미지에 좌측으로 인접한 부분 이미지이며, 상기 우측 인접 이미지는 상기 제1부분 이미지 내지 상기 제N부분 이미지 중 상기 대상 방향을 향하여 촬영된 부분 이미지에 우측으로 인접한 부분 이미지일 수 있다.
이후 상기 360°비디오 생성 시스템(100)은 상기 제1부분 이미지 내지 상기 제N부분 이미지 중 상기 교체 대상 이미지를 제외한 나머지 부분 이미지, 상기 교체 대상 이미지 각각에 상응하는 광고 이미지를 정합하여 360°이미지를 생성할 수 있다(S140).
또한 상기 360°비디오 생성 시스템(100)은 상기 대상 방향을 향하여 촬영된 비디오 프레임 이미지를 획득하고(S150), 획득한 비디오 프레임 이미지를 상기 360°이미지에 정합하여 360°비디오 프레임을 생성할 수 있다(S160).
한편 상기 360°비디오 생성 시스템(100)은 소정의 종료 조건(예를 들어, 완료 신호의 발생 등)이 만족될 때까지 360°비디오 프레임을 생성할 수 있다(S170).
한편, 구현 예에 따라서, 상기 360°비디오 생성 시스템(100)은 프로세서 및 상기 프로세서에 의해 실행되는 프로그램을 저장하는 메모리를 포함할 수 있다. 상기 프로세서는 싱글 코어 CPU혹은 멀티 코어 CPU를 포함할 수 있다. 메모리는 고속 랜덤 액세스 메모리를 포함할 수 있고 하나 이상의 자기 디스크 저장 장치, 플래시 메모리 장치, 또는 기타 비휘발성 고체상태 메모리 장치와 같은 비휘발성 메모리를 포함할 수도 있다. 프로세서 및 기타 구성 요소에 의한 메모리로의 액세스는 메모리 컨트롤러에 의해 제어될 수 있다. 여기서, 상기 프로그램은, 프로세서에 의해 실행되는 경우, 본 실시예에 따른 360°비디오 생성 시스템(100)으로 하여금, 상술한 360°비디오 생성 방법을 수행하도록 할 수 있다.
한편, 본 발명의 실시예에 따른 360°비디오 생성 방법은 컴퓨터가 읽을 수 있는 프로그램 명령 형태로 구현되어 컴퓨터로 읽을 수 있는 기록 매체에 저장될 수 있다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.
기록 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 소프트웨어 분야 당업자에게 공지되어 사용 가능한 것일 수도 있다.
컴퓨터로 읽을 수 있는 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 또한 상술한 매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수도 있다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 전자적으로 정보를 처리하는 장치, 예를 들어, 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다.
그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타나며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (18)

  1. 360°비디오 생성 시스템이, 정합 대상이 되는 제1부분 이미지 내지 제N부분 이미지(N은 2 이상의 자연수)를 획득하는 단계-여기서, 상기 제i부분 이미지(i는 1<=i<=N인 임의의 자연수)는 소정의 촬영 위치에서 상기 제i부분 이미지에 상응하는 제i촬영방향을 향하여 촬영된 이미지이며, 제1촬영방향 내지 제N번째 촬영방향은 모두 서로 다른 방향임;
    상기 360°비디오 생성 시스템이, 상기 제1부분 이미지 내지 상기 제N부분 이미지 중 적어도 일부인 교체 대상 이미지를 수정하여 상기 교체 대상 이미지 각각에 상응하는 광고 이미지를 생성하는 단계;
    상기 360°비디오 생성 시스템이, 상기 제1부분 이미지 내지 상기 제N부분 이미지 중 상기 교체 대상 이미지를 제외한 나머지 부분 이미지, 상기 교체 대상 이미지 각각에 상응하는 광고 이미지를 정합하여 360°이미지를 생성하는 단계;
    상기 360°비디오 생성 시스템이, 상기 제1촬영방향 내지 상기 제N촬영방향 중 어느 하나인 대상 방향을 향하여 촬영된 복수의 비디오 프레임 이미지를 획득하는 단계; 및
    상기 360°비디오 생성 시스템이, 상기 복수의 비디오 프레임 이미지 및 상기 360°이미지에 기초하여 360°비디오를 생성하는 단계를 포함하는 360°비디오 생성 방법.
  2. 제1항에 있어서,
    상기 교체 대상 이미지는,
    좌측 인접 이미지 및 우측 인접 이미지 중 적어도 하나를 포함하며, 상기 좌측 인접 이미지는 상기 제1부분 이미지 내지 상기 제N부분 이미지 중 상기 대상 방향을 향하여 촬영된 부분 이미지에 좌측으로 인접한 부분 이미지이며, 상기 우측 인접 이미지는 상기 제1부분 이미지 내지 상기 제N부분 이미지 중 상기 대상 방향을 향하여 촬영된 부분 이미지에 우측으로 인접한 부분 이미지인 것을 특징으로 하는 360°비디오 생성 방법.
  3. 제1항에 있어서,
    상기 360°비디오 생성 시스템이, 상기 제1부분 이미지 내지 상기 제N부분 이미지 중 적어도 일부인 교체 대상 이미지를 수정하여 상기 교체 대상 이미지 각각에 상응하는 광고 이미지를 생성하는 단계는,
    상기 360°비디오 생성 시스템이, 상기 교체 대상 이미지에서 소정의 광고 대상 오브젝트를 검출하는 단계; 및
    상기 360°비디오 생성 시스템이, 검출된 광고 대상 오브젝트를 상기 광고 대상 오브젝트에 상응하는 소정의 광고 오브젝트로 교체하는 단계를 포함하는 360°비디오 생성 방법.
  4. 제1항에 있어서,
    상기 360°비디오 생성 시스템이, 상기 제1부분 이미지 내지 상기 제N부분 이미지 중 적어도 일부인 교체 대상 이미지를 수정하여 상기 교체 대상 이미지 각각에 상응하는 광고 이미지를 생성하는 단계는,
    상기 360°비디오 생성 시스템이, 상기 교체 대상 이미지의 일부 영역을 소정의 광고 이미지로 대체하는 단계를 포함하는 360°비디오 생성 방법.
  5. 제4항에 있어서,
    상기 360°비디오 생성 시스템이, 상기 교체 대상 이미지의 일부 영역을 소정의 광고 이미지로 대체하는 단계는,
    상기 360°비디오 생성 시스템이, 상기 교체 대상 이미지 내에서 소정의 비중요 영역을 검출하는 단계-여기서, 상기 비중요 영역은 소정의 크기 이상의 영역이며, 상기 비중요 영역 내의 각 픽셀은 상기 비중요 영역 내의 다른 모든 픽셀과의 색차(color difference)가 소정의 차이 값 이내임; 및
    상기 360°비디오 생성 시스템이, 상기 교체 대상 이미지 내의 비중요 영역에 상기 광고 이미지를 삽입하는 단계를 포함하는 360°비디오 생성 방법.
  6. 제1항에 있어서,
    상기 360°비디오 생성 시스템이, 정합 대상이 되는 제1부분 이미지 내지 제N부분 이미지를 획득하는 단계는,
    상기 360°비디오 생성 시스템이, 이미지 센서를 구비한 단말기에서 촬영된 상기 제1부분 이미지 내지 제N부분 이미지를 획득하는 단계를 포함하되,
    상기 단말기는,
    상기 촬영위치에서 상기 제1촬영방향을 향하여 촬영하여 상기 제1부분 이미지를 획득하고,
    상기 단말기와 결합되며 상기 단말기를 회전시킬 수 있는 구동장치를 제어하여 순차적으로 상기 제2부분 이미지 내지 제N부분 이미지를 회전 촬영하되,
    상기 단말기는,
    상기 제j부분 이미지(j는 2<=j<=N인 임의의 자연수)를 회전 촬영하기 위하여, 상기 제(j-1)부분 이미지가 촬영된 후 상기 제(j-1)촬영방향을 향하고 있는 상기 단말기가 상기 제j촬영방향을 향하도록 상기 구동장치를 제어하고, 상기 제j촬영방향을 향하여 촬영하여 상기 제j부분 이미지를 획득하는 360°비디오 생성 방법.
  7. 제1항에 있어서,
    상기 360°비디오 생성 시스템이, 정합 대상이 되는 제1부분 이미지 내지 제N부분 이미지를 획득하는 단계는,
    상기 360°비디오 생성 시스템이, 이미지 센서를 구비한 단말기에서 촬영된 상기 제1부분 이미지 내지 제N부분 이미지를 획득하는 단계를 포함하고,
    상기 360°비디오 생성 방법은,
    상기 360°비디오 생성 시스템이, 상기 단말기에서 추가 촬영된 제1추가 부분 이미지 내지 제N추가 부분 이미지를 더 획득하는 단계-여기서 상기 제i추가 부분 이미지(i는 1<=i<=N인 임의의 자연수)는 상기 촬영 위치에서 상기 제i촬영방향을 향하여 촬영된 이미지임-를 더 포함하되,
    상기 360°비디오 생성 시스템이, 상기 제1촬영방향 내지 상기 제N촬영방향 중 어느 하나인 대상 방향을 특정하는 단계는,
    상기 360°비디오 생성 시스템이, 상기 제1부분 이미지 내지 상기 제N부분 이미지 각각을 그에 상응하는 추가 부분 이미지와 비교하여, 상기 제1방향 내지 상기 제N방향 중 상기 대상 방향을 특정하는 단계를 포함하는 360°비디오 생성 방법.
  8. 제1항에 있어서,
    상기 360°비디오 생성 방법은,
    상기 제1부분 이미지 내지 제N부분 이미지 중 미리 정해진 특정 객체가 촬영된 부분 이미지에 상응하는 촬영방향을 상기 대상 방향으로 결정하는 단계를 더 포함하는 360°비디오 생성 방법.
  9. 데이터 처리장치에 설치되며 제1항 내지 제8항 중 어느 한 항의 방법을 수행하기 위해 컴퓨터 판독 가능한 기록 매체에 저장된 컴퓨터 프로그램.
  10. 360°비디오 생성 시스템으로서,
    프로세서; 및
    상기 프로세서에 의하여 실행되는 컴퓨터 프로그램을 저장하는 메모리를 포함하며,
    상기 컴퓨터 프로그램은, 상기 프로세서에 의해 실행되는 경우, 상기 360°비디오 생성 시스템이, 제1항 내지 제8항 중 어느 한 항에 기재된 방법을 수행하도록 하는 360°비디오 생성 시스템.
  11. 정합 대상이 되는 제1부분 이미지 내지 제N부분 이미지(N은 2 이상의 자연수)를 획득하는 이미지 획득모듈-여기서, 상기 제i부분 이미지(i는 1<=i<=N인 임의의 자연수)는 소정의 촬영 위치에서 상기 제i부분 이미지에 상응하는 제i촬영방향을 향하여 촬영된 이미지이며, 제1촬영방향 내지 제N번째 촬영방향은 모두 서로 다른 방향임;
    상기 제1부분 이미지 내지 상기 제N부분 이미지 중 적어도 일부인 교체 대상 이미지를 수정하여 상기 교체 대상 이미지 각각에 상응하는 광고 이미지를 생성하는 광고 이미지 생성모듈;
    상기 제1부분 이미지 내지 상기 제N부분 이미지 중 상기 교체 대상 이미지를 제외한 나머지 부분 이미지, 상기 교체 대상 이미지 각각에 상응하는 광고 이미지를 정합하여 360°이미지를 생성하는 360°이미지 생성모듈;
    상기 제1촬영방향 내지 상기 제N촬영방향 중 어느 하나인 대상 방향을 향하여 촬영된 복수의 비디오 프레임 이미지를 획득하는 비디오 프레임 획득모듈; 및
    상기 복수의 비디오 프레임 이미지 및 상기 360°이미지에 기초하여 360°비디오를 생성하는 비디오 생성모듈을 포함하는 360°비디오 생성 시스템.
  12. 제11항에 있어서,
    상기 교체 대상 이미지는,
    좌측 인접 이미지 및 우측 인접 이미지 중 적어도 하나를 포함하며, 상기 좌측 인접 이미지는 상기 제1부분 이미지 내지 상기 제N부분 이미지 중 상기 대상 방향을 향하여 촬영된 부분 이미지에 좌측으로 인접한 부분 이미지이며, 상기 우측 인접 이미지는 상기 제1부분 이미지 내지 상기 제N부분 이미지 중 상기 대상 방향을 향하여 촬영된 부분 이미지에 우측으로 인접한 부분 이미지인 것을 특징으로 하는 360°비디오 생성 시스템.
  13. 제11항에 있어서,
    상기 광고 이미지 생성모듈은,
    상기 교체 대상 이미지에서 소정의 광고 대상 오브젝트를 검출하고,
    검출된 광고 대상 오브젝트를 상기 광고 대상 오브젝트에 상응하는 소정의 광고 오브젝트로 교체하는 360°비디오 생성 시스템.
  14. 제11항에 있어서,
    상기 광고 이미지 생성모듈은,
    상기 교체 대상 이미지의 일부 영역을 소정의 광고 이미지로 대체하는 360°비디오 생성 시스템.
  15. 제11항에 있어서,
    상기 광고 이미지 생성모듈은,
    상기 교체 대상 이미지 내에서 소정의 비중요 영역을 검출하고-여기서, 상기 비중요 영역은 소정의 크기 이상의 영역이며, 상기 비중요 영역 내의 각 픽셀은 상기 비중요 영역 내의 다른 모든 픽셀과의 색차(color difference)가 소정의 차이 값 이내임-,
    상기 교체 대상 이미지 내의 비중요 영역에 상기 광고 이미지를 삽입하는 360°비디오 생성 시스템.
  16. 제11항에 있어서,
    상기 이미지 획득모듈은,
    이미지 센서를 구비한 단말기에서 촬영된 상기 제1부분 이미지 내지 제N부분 이미지를 획득하고,
    상기 단말기는,
    상기 촬영위치에서 상기 제1촬영방향을 향하여 촬영하여 상기 제1부분 이미지를 획득하고,
    상기 단말기와 결합되며 상기 단말기를 회전시킬 수 있는 구동장치를 제어하여 순차적으로 상기 제2부분 이미지 내지 제N부분 이미지를 회전 촬영하되,
    상기 단말기는,
    상기 제j부분 이미지(j는 2<=j<=N인 임의의 자연수)를 회전 촬영하기 위하여, 상기 제(j-1)부분 이미지가 촬영된 후 상기 제(j-1)촬영방향을 향하고 있는 상기 단말기가 상기 제j촬영방향을 향하도록 상기 구동장치를 제어하고, 상기 제j촬영방향을 향하여 촬영하여 상기 제j부분 이미지를 획득하는 360°비디오 생성 시스템.
  17. 제11항에 있어서,
    상기 이미지 획득모듈은,
    이미지 센서를 구비한 단말기에서 촬영된 상기 제1부분 이미지 내지 제N부분 이미지를 획득하고,
    상기 단말기에서 추가 촬영된 제1추가 부분 이미지 내지 제N추가 부분 이미지를 더 획득하고-여기서 상기 제i추가 부분 이미지(i는 1<=i<=N인 임의의 자연수)는 상기 촬영 위치에서 상기 제i촬영방향을 향하여 촬영된 이미지임-,
    상기 360°비디오 생성 시스템은,
    상기 제1부분 이미지 내지 상기 제N부분 이미지 각각을 그에 상응하는 추가 부분 이미지와 비교하여, 상기 제1방향 내지 상기 제N방향 중 상기 대상 방향을 특정하는 특정모듈을 더 포함하는 360°비디오 생성 시스템.
  18. 제11항에 있어서,
    상기 360°비디오 생성 시스템은,
    상기 제1부분 이미지 내지 제N부분 이미지 중 미리 정해진 특정 객체가 촬영된 부분 이미지에 상응하는 촬영방향을 상기 대상 방향으로 결정하는 특정모듈을 더 포함하는 360°비디오 생성 시스템.
KR1020170159234A 2017-11-27 2017-11-27 광고를 포함하는 360°비디오 생성 시스템 및 방법 KR20190061165A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170159234A KR20190061165A (ko) 2017-11-27 2017-11-27 광고를 포함하는 360°비디오 생성 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170159234A KR20190061165A (ko) 2017-11-27 2017-11-27 광고를 포함하는 360°비디오 생성 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR20190061165A true KR20190061165A (ko) 2019-06-05

Family

ID=66845026

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170159234A KR20190061165A (ko) 2017-11-27 2017-11-27 광고를 포함하는 360°비디오 생성 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR20190061165A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102032817B1 (ko) * 2019-06-17 2019-10-17 주식회사 비욘드테크 지능형 객체 인식 기반 360도 영상저작물 내 광고 삽입 장치 및 그 방법
US10602062B1 (en) * 2018-12-20 2020-03-24 3I Corporation System and method for generating 360° video including advertisement

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101725024B1 (ko) 2016-11-18 2017-04-07 최재용 룩업테이블 기반의 실시간 360도 vr 동영상 제작 시스템 및 이를 이용한 360도 vr 동영상 제작 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101725024B1 (ko) 2016-11-18 2017-04-07 최재용 룩업테이블 기반의 실시간 360도 vr 동영상 제작 시스템 및 이를 이용한 360도 vr 동영상 제작 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10602062B1 (en) * 2018-12-20 2020-03-24 3I Corporation System and method for generating 360° video including advertisement
KR102032817B1 (ko) * 2019-06-17 2019-10-17 주식회사 비욘드테크 지능형 객체 인식 기반 360도 영상저작물 내 광고 삽입 장치 및 그 방법

Similar Documents

Publication Publication Date Title
US10212337B2 (en) Camera augmented reality based activity history tracking
US10250800B2 (en) Computing device having an interactive method for sharing events
JP5659304B2 (ja) 画像生成装置および画像生成方法
US10437545B2 (en) Apparatus, system, and method for controlling display, and recording medium
CN106716985B (zh) 摄像控制装置、摄像控制方法、及相机系统
WO2013069049A1 (ja) 画像生成装置および画像生成方法
WO2013069048A1 (ja) 画像生成装置および画像生成方法
US20240087157A1 (en) Image processing method, recording medium, image processing apparatus, and image processing system
CN106657792B (zh) 共享式观景装置
JP2017212510A (ja) 画像管理装置、プログラム、画像管理システム及び情報端末
JP7604829B2 (ja) 画像通信システム、通信管理装置、通信管理方法及びプログラム
WO2018066705A1 (ja) スマートフォン
JP2022057771A (ja) 通信管理装置、画像通信システム、通信管理方法及びプログラム
KR20190061165A (ko) 광고를 포함하는 360°비디오 생성 시스템 및 방법
JP2016194784A (ja) 画像管理システム、通信端末、通信システム、画像管理方法、及びプログラム
KR101963449B1 (ko) 360°비디오 생성 시스템 및 방법
CN113450254B (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
JP2018033107A (ja) 動画の配信装置及び配信方法
TW202011349A (zh) 全景圖形成方法及系統
JP2016194783A (ja) 画像管理システム、通信端末、通信システム、画像管理方法、及びプログラム
CN109804408B (zh) 一致的球面照片和视频朝向校正
JP2020204973A (ja) 情報処理装置、プログラム及び情報処理システム
US10356319B2 (en) Panoramic portals for connecting remote spaces
KR102339825B1 (ko) 상황인식 장치 및 이의 영상 스티칭 방법
CN111242107B (zh) 用于设置空间中的虚拟对象的方法和电子设备

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20171127

PA0201 Request for examination
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20181106

Patent event code: PE09021S01D

AMND Amendment
PG1501 Laying open of application
E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20190806

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20181106

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I

N231 Notification of change of applicant
PN2301 Change of applicant

Patent event date: 20190807

Comment text: Notification of Change of Applicant

Patent event code: PN23011R01D

AMND Amendment
PX0901 Re-examination

Patent event code: PX09011S01I

Patent event date: 20190806

Comment text: Decision to Refuse Application

Patent event code: PX09012R01I

Patent event date: 20190408

Comment text: Amendment to Specification, etc.

PX0601 Decision of rejection after re-examination

Comment text: Decision to Refuse Application

Patent event code: PX06014S01D

Patent event date: 20191022

Comment text: Amendment to Specification, etc.

Patent event code: PX06012R01I

Patent event date: 20191007

Comment text: Decision to Refuse Application

Patent event code: PX06011S01I

Patent event date: 20190806

Comment text: Amendment to Specification, etc.

Patent event code: PX06012R01I

Patent event date: 20190408

Comment text: Notification of reason for refusal

Patent event code: PX06013S01I

Patent event date: 20181106