Nothing Special   »   [go: up one dir, main page]

KR20170070220A - 인터액티브 비디오 생성 - Google Patents

인터액티브 비디오 생성 Download PDF

Info

Publication number
KR20170070220A
KR20170070220A KR1020177013461A KR20177013461A KR20170070220A KR 20170070220 A KR20170070220 A KR 20170070220A KR 1020177013461 A KR1020177013461 A KR 1020177013461A KR 20177013461 A KR20177013461 A KR 20177013461A KR 20170070220 A KR20170070220 A KR 20170070220A
Authority
KR
South Korea
Prior art keywords
video
customizable
selectable
data portions
analysis
Prior art date
Application number
KR1020177013461A
Other languages
English (en)
Other versions
KR101975511B1 (ko
Inventor
중환 우
무라트 칼렌더
잔 칸신
외즈귄 키라크만
무스타파 톨가 에렌
카글라 티르카즈
귄나이 굴테킨
세제르 쿠틀루크
Original Assignee
후아웨이 테크놀러지 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 후아웨이 테크놀러지 컴퍼니 리미티드 filed Critical 후아웨이 테크놀러지 컴퍼니 리미티드
Publication of KR20170070220A publication Critical patent/KR20170070220A/ko
Application granted granted Critical
Publication of KR101975511B1 publication Critical patent/KR101975511B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/80—Information retrieval; Database structures therefor; File system structures therefor of semi-structured data, e.g. markup language structured data such as SGML, XML or HTML
    • G06F17/30908—
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34—Indicating arrangements 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8543—Content authoring using a description language, e.g. Multimedia and Hypermedia information coding Expert Group [MHEG], eXtensible Markup Language [XML]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)
  • Stored Programmes (AREA)

Abstract

다양한 비디오화 해결 수단이 제공된다. 실시예에 따라 비디오를 생성하는 방법이 제공된다. 이러한 방법은, 하나 이상의 데이터 포션을 획득하고 하나 이상의 데이터 포션을 사용하고 하나 이상의 비디오 생성 템플릿을 사용하여 커스터마이저블 비디오를 생성하는 단계; 하나 이상의 오브젝트 정의를 사용하여 커스터마이저블 비디오에서 하나 이상의 선택 가능한 오브젝트를 결정하는 단계; 오브젝트 정의에 대응하는 적어도 하나의 선택 가능한 오브젝트에 대한 사용자 선택을 나타내는 지시를 수신하는 단계; 지시에 대응하는 적어도 하나의 선택 가능한 오브젝트와 관련된 추가 데이터 포션을 획득하는 단계; 및 지시에 대응하는 하나 이상의 데이터 포션 및 추가 데이터 포션을 사용하여 커스터마이저블 비디오를 재생성하는 단계를 포함한다.

Description

인터액티브 비디오 생성{INTERACTIVE VIDEO GENERATION}
본 출원은 2014년 10월 22일자로 "통합, 지능형 및 인터액티브 인터넷 서비스"의 명칭으로 미국 특허청에 가출원된 출원번호 제62/067,327호의 이익을 주장하며, 본 명세서에 전체로 포함된다.
멀티미디어 플랫폼은 텔레비전(TV), 셋톱 박스(STB), 모바일 장치, 개인용 컴퓨터(PC), 스마트 워치, 스마트 페어 안경, 스마트 미러, 자동차 멀티미디어 스크린 등을 포함할 수 있다. 비디오화된 플랫폼(videolized platform)은 멀티미디어 플랫폼과 같은 멀티미디어 환경에서 콘텐츠를 개인 비디오 콘텐츠로 변환하는 프레임워크를 제공할 수 있다. 비디오화 시스템(비디오화 system)은 그러한 비디오화된 플랫폼을 제공하는 시스템이다.
다양한 비디오화 시스템은 복수의 애플리케이션, 예를 들어 모바일 애플리케이션, 인터넷 애플리케이션 등을 통해 제공된다. 일부 비디오화 시스템은 비교 쇼핑, 검색 엔진 운영, 온라인 스크린플레이, 가상 개인 비서 및 소셜 미디어와 같은 인터넷에서 주로 데이터 자원을 얻는다.
실시예에 따라 비디오를 생성하는 방법이 제공되고, 이러한 방법은, 하나 이상의 데이터 포션(data portion)을 획득하고 상기 하나 이상의 데이터 포션을 사용하여 커스터마이저블 비디오(customizable video)를 생성하며 하나 이상의 비디오 생성 템플릿(video generation template)을 사용하는 단계; 하나 이상의 오브젝트(object) 정의를 사용하여 상기 커스터마이저블 비디오 내에서 하나 이상의 선택 가능한 오브젝트를 결정하는 단계; 오브젝트 정의에 대응하는 적어도 하나의 선택 가능한 오브젝트에 대한 사용자 선택을 나타내는 지시를 수신하는 단계; 상기 지시에 대응하는 상기 적어도 하나의 선택 가능한 오브젝트와 관련된 추가 데이터 포션을 획득하는 단계; 및 상기 지시에 대응하는, 상기 하나 이상의 데이터 포션 및 상기 추가 데이터 포션을 사용하여 상기 커스터마이저블 비디오를 재생성하는 단계를 포함한다.
실시예에 따라 비디오 처리 장치가 제공되고, 이러한 장치는, 명령을 저장하는 메모리 및 상기 메모리에 연결된 프로세서를 포함하고, 상기 프로세서는 상기 명령을 판독하고 실행하여 이하: 하나 이상의 데이터 포션을 획득하고 상기 하나 이상의 데이터 포션을 사용하고 하나 이상의 비디오 생성 템플릿을 사용하여 커스터마이저블 비디오를 생성하는 단계; 하나 이상의 오브젝트 정의를 사용하여 상기 커스터마이저블 비디오에서 하나 이상의 선택 가능한 오브젝트를 결정하는 단계: 오브젝트 정의에 대응하는 적어도 하나의 선택 가능한 오브젝트에 대한 사용자 선택을 나타내는 지시를 수신하는 단계; 상기 지시에 대응하는 상기 적어도 하나의 선택 가능한 오브젝트와 관련된 추가 데이터 포션을 획득하는 단계; 및 상기 지시에 대응하는 추가 데이터 포션을 사용하여 상기 커스터마이저블 비디오를 재생성하는 단계를 수행하도록 구성된다.
비디오 처리 장치는 하나 이상의 데이터 포션을 획득하고 상기 하나 이상의 데이터 포션을 사용하고 하나 이상의 비디오 생성 템플릿을 사용하여 커스터마이저블 비디오를 생성하는 데이터 획득 모듈; 하나 이상의 오브젝트 정의를 사용하여 상기 커스터마이저블 비디오에서 하나 이상의 선택 가능한 오브젝트를 결정하는 결정 모듈; 및 오브젝트 정의에 대응하는 적어도 하나의 선택 가능한 오브젝트에 대한 사용자 선택을 나타내는 지시를 수신하는 수신기를 포함하고, 상기 데이터 획들 모듈은, 상기 지시에 대응하는 상기 적어도 하나의 선택 가능한 오브젝트와 관련된 추가 데이터 포션을 획득하고, 상기 지시에 대응하는 추가 데이터 포션을 사용하여 상기 커스터마이저블 비디오를 재생성한다.
본 발명 및 그 이점에 대한보다 완전한 이해를 위해, 첨부 도면과 관련하여 취해진 다음의 설명을 참조한다.
도 1은 일 실시예에 따른 커스터마이저블 비디오 시스템을 도시한다.
도 2는 인터액티브 비디오 생성을 위한 방법의 일 실시예를 도시한다.
도 3은 클라우드 서비스에서 동작하는 비디오 생성 시스템의 일 실시예를 도시한다.
도 4는 비디오 생성 템플릿의 생성 프로세스의 일 실시예를 도시한다.
도 5는 실시예에 따라, 예를 들어 본 명세서에 기재된 장치 및 방법을 구현하는데 사용될 수 있는 컴퓨팅 플랫폼을 도시한다.
현재 바람직한 실시예의 구조, 제조 및 사용은 이하에서 상세히 논의된다. 그러나 본 발명은 다양한 구체적 콘텍스트에서 구체화될 수 있는 많은 적용 가능 발명 개념을 제공함을 이해해야 한다. 논의된 구체적 실시예는 단지 본 발명을 제조하고 사용하기 위한 구체적 방법의 예시이며, 본 발명의 범위를 제한하지 않는다.
자율적 비디오 생성은 사용자가 비디오 및 인간과 컴퓨터 간의 상호 작용 수단 및 비디오화를 사용하는 다양한 애플리케이션과 동적으로 상호 작용할 수 있게 한다.
비디오 내의 요소(element)는 이미지, 비디오 클립, 오디오 클립, 텍스트 비주얼, 배경 음악, 및/또는 비디오 등에 관한 인간 또는 합성 음성 오버를 포함하는 동적구성일 수 있다.
미디어 요소 특징(media element feature)는 텍스트, 오디오, 비디오, 이미지, 또는 이들의 조합에 대한 특징을 포함할 수 있다. 기본 특징은 예를 들어 텍스트 색상, 이미지 크기, 그래픽 모양, 비디오 해상도 등이 될 수 있다. 보다 고급 특징은 예를 들어 음악의 감상(sentiment of music), 사진 톤, 문장의 감정 등이 될 수 있다.
도 1은 일 실시예에 따른 커스터마이저블 비디오 시스템(100)을 도시한다. 도시된 실시예에서의 커스터마이저블 비디오 시스템(100)은 데이터 획득 컴포넌트(105), 콘텐츠 큐레이션 컴포넌트(107), 비디오 생성 컴포넌트(109), 프리젠테이션 컴포넌트(111), 및 사용자 인터페이스 컴포넌트(101)를 포함한다. 커스터마이저블 비디오 시스템(100)은 선택적으로 자연 언어 인터페이스(103)를 포함할 수 있다. 일부 실시예에서 데이터 획득 컴포넌트(105)는 적어도 사용자 인터페이스 컴포넌트(101) 및 콘텐츠 큐레이션 컴포넌트(107)에 연결된다. 콘텐츠 큐레이팅 컴포넌트(107)는 비디오 생성 컴포넌트(109)에 추가로 연결될 수 있으며, 자연 언어 인터페이스(103)는 비디오 서비스 시스템(113)에 연결될 수 있다.
사용자 인터페이스 컴포넌트(101) 및 프리젠테이션 컴포넌트(111)는 개별 컴포넌트를 포함할 수 있거나 통합 유닛을 포함할 수 있다. 일부 실시예에서, 자연 언어 인터페이스(103), 데이터 획득 컴포넌트(105), 콘텐츠 큐레이션 컴포넌트(107), 및 비디오 생성 컴포넌트(109)는 비디오화 엔진(비디오화 engine)을 포함한다.
또한, 커스터마이저블 비디오 시스템(100)은 하나 이상의 비디오 생성 템플릿을 포함할 수 있다. 하나 이상의 비디오 생성 템플릿은 비디오 포션(video portion)을 처리, 결합 및/또는 생성하는데 사용될 수 있는 템플릿을 포함한다. 또한, 비디오 생성 템플릿(120)은, 비디오, 텍스트, 오디오, 이미지 또는 애니메이션 포션 및/또는 임의의 다른 적절한 데이터를 결합 및/또는 생성하는 것을 포함하여 비디오 포션으로 데이터 포션을 처리, 결합 및/또는 생성하는데 사용될 수 있다.
커스터마이저블 비디오 시스템(100)은 커스터마이저블 비디오를 생성한다. 사용자는 커스터마이저블 비디오 시스템(100)을 사용하여 커스터마이저블 비디오를 생성할 수 있다. 사용자는 커스터마이저블 비디오 시스템(100)을 사용하여 커스터마이저블 비디오를 재생하고 볼 수 있으며, 커스터마이저블 비디오는 하나 이상의 선택 가능한 오브젝트를 포함한다.
사용자는 선택 가능한 오브젝트를 강조 표시하거나, 선택 가능한 커서 상에 또는 그 부근에 커서 또는 포인팅 요소를 위치시키거나, 사용자의 눈 움직임 및/또는 시선 위치를 결정하거나, 사용자로부터의 가청 지시(audible indication)를 수신하거나, 또는 다른 적절한 지시 등에 의해 커스터마이저블 비디오에서 선택 가능한 오브젝트를 선택하거나 지시할 수 있다.
이에 응답하여, 커스터마이저블 비디오 시스템(100)은 커스터마이저블 비디오에 추가 주제를 얻고 통합하여 커스터마이저블 비디오를 재생성할 수 있다. 추가 주제는 사용자가 선택하거나 지시한 선택 가능한 오브젝트와 관련될 수 있다. 그 결과, 커스터마이저블 비디오는 커스터마이저블 비디오 시스템(100)에 의해 신속하고 용이하게 수정되어 사용자에게 제시된다. 이는 사용자가 직접 추가 주제를 찾아서 얻지 않고도 발생한다. 이는 사용자가 추가 주제를 수동으로 통합할 필요없이 발생한다.
사용자는, 커스터마이저블 비디오에서 선택 가능한 오브젝트 또는 오브젝트에 대한 관심을 선택하거나 보여 주기만 하면 커스터마이저블 비디오를 수정할 수 있다. 사용자는 커스터마이저블 비디오에서 선택 가능한 오브젝트를 계속 선택함으로써 커스터마이저블 비디오를 반복적으로 변경하거나 조정할 수 있다. 커스터마이저블 비디오 시스템(100)은 실시간 또는 거의 실시간으로 커스터마이저블 비디오를 재생성할 수 있다. 커스터마이저블 비디오 시스템(100)은 커스터마이저블 비디오를 사용자에게 프리젠테이션하는 동안 커스터마이저블 비디오를 재생성할 수 있다.
사용자 인터페이스 컴포넌트(101)는 데이터 획득 컴포넌트(105)에 연결된다. 사용자 인터페이스 컴포넌트(101)는 예를 들어 사용자 입력을 수신하는 것을 포함하여 사용자와 통신을 교환할 수 있다. 사용자 입력은 예를 들어, 기계적 입력, 오디오 입력, 광 입력, 전기 또는 자기 입력, 또는 근접 센서 입력을 포함하는 임의의 적절한 입력을 포함할 수 있다. 다른 입력 유형도 고려되고 발명의 설명 및 청구 범위 내에 있다.
프리젠테이션 컴포넌트(111)는 사용자에게 비디오를 디스플레이(즉, 프리젠테이션)한다. 프리젠테이션 컴포넌트(111)는 디스플레이 스크린 또는 스크린들을 포함할 수 있다. 프리젠테이션 컴포넌트(111)는 스피커 또는 다른 오디오 생성 컴포넌트를 포함할 수 있다. 프리젠테이션 컴포넌트(111)는 다른 컴포넌트 또는 추가 컴포넌트를 포함할 수 있다. 일부 실시예에서, 프리젠테이션 컴포넌트(111)는 독립 컴포넌트를 포함할 수 있거나 또는 사용자 인터페이스 컴포넌트(101)와 통합될 수 있다는 것을 이해해야한다.
커스터마이저블 비디오 시스템(100)이 자연 언어 인터페이스를 포함하면, 사용자는 자연 언어 인터페이스(103)를 사용하여 커스터마이저블 비디오 시스템(100)과 상호 작용(interact)할 수 있다. 예를 들어, 일부 실시예에서 자연 언어 인터페이스(103)는 음성 분석을 수행하고 사용자로부터의 음성 입력 및 음성 명령에 응답한다. 일부 실시예에서, 언어별 언어 인터페이스(103)는 사용자에게 오디오 명령 및/또는 오디오 피드백을 생성한다.
비디오 생성 컴포넌트(109)는 커스터마이저블 비디오를 생성한다. 일부 실시예에서 비디오 생성 컴포넌트(109)는 커스터마이저블 비디오를 생성하기 위해 하나 이상의 부분(portion)을 결합 및/또는 통합한다. 하나 이상의 데이터 포션은 일부 실시예에서 비디오 포션을 포함한다. 그러나 하나 이상의 데이터 포션은 이미지, 애니메이션, 오디오, 텍스트 및 다른 데이터 포션을 포함하는 다른 데이터를 포함할 수 있음을 이해해야한다.
커스터마이저블 비디오를 생성하는 부분으로서, 커스터마이저블 비디오 시스템(100)은 커스터마이저블 비디오 내에서 선택 가능한 오브젝트를 결정할 수 있다. 커스터마이저블 비디오 시스템(100)은 일부 실시예에서 선택 가능한 오브젝트를 결정하기 위해 비디오 생성 템플릿 xxx를 사용할 수 있다. 오브젝트 정의는 커스터마이저블 비디오 내에서의 결정된 선택 가능한 오브젝트 각각에 대해 생성된다.
선택 가능한 오브젝트의 결정은 커스터마이저블 비디오의 포션 분석을 포함할 수 있다. 선택 가능한 오브젝트에 대한 분석은 커스터마이저블 비디오에서 음성 오디오의 자연 언어 처리를 포함할 수 있다. 선택 가능한 오브젝트에 대한 분석에는 커스터마이저블 비디오의 형태소 분석이 포함될 수 있다. 선택 가능한 오브젝트에 대한 분석은 커스터마이저블 비디오 내의 음성 오디오 및/또는 텍스트의 의미론적 분석을 포함할 수 있다. 선택 가능한 오브젝트에 대한 분석에는 커스터마이저블 비디오의 비디오 분석이 포함될 수 있다. 선택 가능한 오브젝트에 대한 분석에는 커스터마이저블 비디오의 이미지 분석이 포함될 수 있다. 선택 가능한 오브젝트에 대한 분석에는 커스터마이저블 비디오의 오디오 분석이 포함될 수 있다. 오디오 분석은 사용자(또는 다른 시청자)가 관심을 둘 오디오 부분을 지정할 수 있다. 선택 가능한 오브젝트에 대한 분석에는 커스터마이저블 비디오의 감정 분석이 포함될 수 있다. 감정 분석은 커스터마이저블 비디오에서 전달되거나 전달될 감정을 결정할 수 있다.
콘텐츠 큐레이션 컴포넌트(107)는 커스터마이저블 비디오에서 사용하기 위한 데이터 포션을 큐레이트(curate)한다. 콘텐츠 큐레이션 구성 요소(107)는 데이터 포션을 저장할 수 있다. 일부 실시예에서 콘텐츠 큐레이션 컴포넌트(107)는 필터링, 선명화(sharpening), 조명 변경, 컬러, 데이터 포션의 콘트라스트와 같은 데이터 포션을 처리하거나, 그렇지 않으면 데이터 포션을 처리 및/또는 개선할 수 있다. 일부 실시예에서 콘텐츠 큐레이션 구성 요소(107)는 데이터 포션을 구성한다. 일부 실시예에서 콘텐츠 큐레이션 구성 요소(107)는 데이터 포션에 대한 업데이트 또는 변경을 얻는 것을 포함하여 데이터 포션을 유지한다. 일부 실시예에서 콘텐츠 큐레이션 컴포넌트(107)는 데이터 포션을 등급 매기거나 순위 매기거나 주문하는데, 여기서 커스터마이저블 비디오 시스템(100)은 복수의 유사하거나 교환 가능한 데이터 포션 중에서 원하는 데이터 포션을 구별하고 선택할 수 있다.
데이터 획득 컴포넌트(105)는 커스터마이저블 비디오에서 사용될 데이터 포션을 획득한다. 일부 실시예에서 데이터 획득 컴포넌트(105)는 획득될 데이터 포션을 검색할 수 있다.
비디오 생성 템플릿(120)은 적절한 입력 데이터를 수용할 수 있고 수용 불가능하거나 바람직하지 않은 입력 데이터를 걸러 낼 수 있는 구성을 포함한다. 비디오 생성 템플릿(120)은 입력 데이터를 사용 가능한 데이터 포맷 또는 바람직한 데이터 포맷으로 변환할 수 있는 구성을 포함한다. 비디오 생성 템플릿(120)은 데이터 포션을 향상시키거나 최적화할 수 있는 구성을 포함한다. 비디오 생성 템플릿(120)은 데이터 포션을 결합할 수 있는 구조를 포함한다. 비디오 생성 템플릿(120)은 임의의 선택 가능한 오브젝트가 데이터 포션에 포함되는지 결정할 수 있는 구조를 포함한다.
비디오 생성 템플릿(120)은 데이터 수신 규칙 또는 기능을 포함할 수 있다. 비디오 생성 템플릿(120)은 데이터 처리 규칙 또는 기능을 포함할 수 있다. 비디오 생성 템플릿(120)은 비디오 생성 규칙 또는 기능을 포함할 수 있다. 결과적으로, 비디오 생성 템플릿(120)은 데이터 포션을 수신하고, 데이터 포션을 처리하고, 데이터 포션을 결합하고, 커스터마이저블 비디오에서 선택 가능한 오브젝트를 포함 및/또는 지정하는데 사용될 수 있다.
동작시, 커스터마이저블 비디오 시스템(100)은 커스터마이저블 비디오를 생성하기 위해, 사용자 입력 및/또는 명령을 수신한다. 커스터마이저블 비디오 시스템(100)은 비디오 생성 템플릿 또는 템플릿을 사용자에게 제공한다. 커스터마이저블 비디오 시스템(100)은 하나 이상의 데이터 포션을 획득하고, 하나 이상의 비디오 포션을 결합하고 커스터마이저블 비디오를 생성하기 위해 하나 이상의 비디오 생성 템플릿을 사용한다. 또한, 커스터마이저블 비디오 시스템(100)은 하나 이상의 비디오 생성 템플릿을 사용하여 임의의 적절한 방식으로 데이터 포션을 처리할 수 있다. 또한, 커스터마이저블 비디오 시스템(100)은 하나 이상의 비디오 생성 템플릿을 이용하여 커스터마이저블 비디오에서 하나 이상의 선택 가능한 오브젝트를 결정할 수 있다. 커스터마이저블 비디오 시스템(100)은 하나 이상의 오브젝트 정의를 사용하여 커스터마이저블 비디오 내의 하나 이상의 선택 가능한 오브젝트를 결정한다. 커스터마이저블 비디오 시스템(100)은 오브젝트 정의에 대응하는 적어도 하나의 선택 가능한 오브젝트에 대한 사용자 선택을 나타내는 지시를 수신하고, 명령에 대응하는 적어도 하나의 선택 가능한 오브젝트와 관련된 추가 데이터 포션을 획득하고, 추가 데이터 포션 및 명령에 대응하는 하나 이상의 데이터 포션을 사용하여 커스터마이저블 비디오를 재생성한다
비디오 생성 시스템(100)은 사용자에게 비디오 생성 템플릿을 제공하고 자연 언어 인터페이스(103)를 통해 사용자와 상호 작용(interact)한다. 비디오화 엔진(110)은 자연 언어 인터페이스(103), 데이터 획득 모듈(105), 콘텐츠 큐레이션 모듈(107), 비디오 생성 모듈(109), 및 프리젠테이션 모듈(111)을 포함한다. 비디오화 엔진(110)은 일부 실시예에서 자연 언어 인터페이스(103)를 사용하여 사용자와 상호 작용하도록 구성된다.
일부 실시예에서, 데이터 획득 모듈(105)은 다른 검색 엔진 및/또는 소스를 통해 제품 이미지 및 비디오와 같은 데이터를 수집할 수 있다. 콘텐츠 큐레이션 모듈(107)은 데이터를 선택하고, 비디오의 장면을 준비하며, 오브젝트 정의를 포함하는 XML(extensible markup language) 파일을 생성할 수 있다. XML 파일과 데이터는 비디오 생성 모듈로 전달된다. 비디오 생성 모듈(109)은 텍스트-음성 엔진으로 오디오 파일을 생성하고, 오디오 파일을 비주얼과 결합하고, 비디오를 구성하기 위해 애니메이션 또는 효과를 적용할 수 있다. 비디오는 프리젠테이션 모듈을 통해 사용자에게 프리젠테이션된다. 생성된 비디오는 사용자 정의 가능성(customizability) 측면에서 수동으로 제작된 비디오와 다르다. 이러한 비디오 생성 시스템(100)은 자연 언어 인터페이스(103) 또는 데이터 획득 모듈(105)을 통해 서비스 비디오 시스템에 접촉할 수 있다. 일부 실시예에서, 데이터 획득 모듈(105)은 서비스 모듈, 예를 들어 쇼핑 에이전트로부터 데이터를 수집하고, 복수의 소매 업체로부터의 제품 특징 및 가격을 제공한다. 그러한 비디오 생성 시스템(100)은 예를 들어, 쇼핑 시스템에서 사용자에 대한 제품 비교를 제공하기 위해 사용될 수 있다. 고객의 제품 검색에 따라 시스템에서 비디오를 생성할 수 있다. 이러한 시스템은 비디오 링 백 톤(video ring back tone) 경우에도 클라이언트에게 비디오 톤을 제공하기 위해 사용될 수 있다. 또는 사용자를 위해 개인화된, 개인 재정 및 뱅킹 비디오를 자동으로 생성하기 위해 비디오화 엔진을 사용하는 뱅킹 비디오 시스템에 사용될 수 있다. 또는 사용자가 인스턴트 메시징 서비스에 메시지를 직접 전달할 수 있는 비디오화 엔진의 자연 언어 인터페이스를 통해 메시지를 작성하는 인스턴트 메시징 시스템에 사용될 수 있다.
도 2는 인터액티브 비디오 생성 방법(200)의 실시예를 도시한다. 이러한 방법은 하나 이상의 데이터 포션(201)을 획득하고, 하나 이상의 데이터 포션을 사용하고 하나 이상의 비디오 생성 템플릿을 사용하여 커스터마이저블 비디오를 생성하는 단계(203); 하나 이상의 오브젝트 정의(2053)를 사용하여 커스터마이저블 비디오(205) 내의 하나 이상의 선택 가능한 오브젝트(2051)를 결정하는 단계; 오브젝트 정의(2053)에 대응하는 적어도 하나의 선택 가능한 오브젝트(2051)의 사용자 선택(207)을 나타내는 지시를 수신하는 단계; 명령(207)에 대응하는 적어도 하나의 선택 가능한 오브젝트(2051)와 관련된 추가 데이터 포션을 획득하는 단계; 및 추가 데이터 포션 및 명령(207)에 대응하는 하나 이상의 데이터 포션(201)을 사용하여 커스터마이저블 비디오(205)를 재생성하는 단계(209)를 포함한다.
데이터 포션은 비디오에 통합될 수 있는 임의의 데이터를 포함할 수 있다. 데이터 포션은 임의의 크기 또는 임의의 길이 일 수 있다. 일부 실시예에서 데이터 포션은 인터넷 또는 몇몇 다른 자원으로부터 검색될 수 있는 가장 작은 요소 일 수 있다. 예를 들어 숫자, 단어 그룹, 파일, 키워드, 그림, 오디오의 포션 등이 있다. 그러나 위의 예는 단지 설명을 위한 것이며 제한적이거나 포괄적인 것은 아니다.
명령은 선택 가능한 오브젝트에 대한 사용자 선택을 지시한다. 명령은, 비디오 생성 프로그램 플랫폼 또는 비디오 생성 시스템이 이해하는 명령을 나타내기 위해, 사용자 또는 기계에의 해 주어질 수 있다.
선택 가능한 오브젝트는 사용자가 선택할 수 있거나 그렇지 않으면 지시할 수 있는 커스터마이저블 비디오의 오브젝트를 포함한다.
선택 가능한 객체는 오디오 클립, 비디오 클립, 이미지, 그래픽 및/또는 텍스트의 조각, 또는 추가 목적, 예를 들어, 오브젝트에 관련된 다른 비디오 세그먼트를 재생하도록 플레이어(player)에 지시할 목적을 위해 작업 될 객체로서 선택될 수 있는 요소들의 조합일 수 있다. 전체 비디오 또는 비디오 세그먼트가 선택된 오브젝트 일 수 있다.
오브젝트 정의는 오브젝트의 관련 정보를 기술하는 정의 일 수 있다. 오브젝트의 특징은 컬러, 크기, 형상 등일 수 있다. 오브젝트 정의는 예를 들어, (1) 추가 설명, 저자, 버전 번호, 저작권 정보, 가격, 관련 설명적인 것과 같은 오브젝트의 메타 데이터, (2) "클릭" 및 웹 URL 표시, "마우스 온" 및 일부 메타 데이터 오버레이 표시, "버튼 1 누름" 및 일부 프로그램 실행 또는 API를 호출하는 등의 허가 되거나 또는 허용된 상호 작용에 대한 명령을 포함할 수 있다.
하나 이상의 선택된 오브젝트를 결정하는 단계는 하나 이상의 데이터 포션으로부터 미디어 요소 특징을 추출하는 단계를 더 포함할 수 있다. 하나 이상의 선택된 오브젝트를 결정하는 단계는 미디어 요소 특징의 다양한 레벨을 하나 이상의 오브젝트 정의로 라벨링하는 단계를 더 포함할 수 있다. 하나 이상의 선택된 오브젝트를 결정하는 단계는 미디어 요소 특징들의 다양한 레벨의 미디어 요소 특징을 선택 가능한 오브젝트로서 라벨링하는 단계를 더 포함할 수 있다.
오브젝트 정의는 예를 들어, XML(extensible markup language) 파일과 같은 파일에 정의될 수 있다. 결과적으로, 선택 가능한 오브젝트가 사용자에 의해 선택되거나 지시될 때, 대응하는 XML 파일은 비디오 생성 시스템(100)의 컴포넌트에 의해 전송되거나 액세스 될 수 있다. 명령은 오브젝트 정의를 비디오 설명 파일에 추가하는 비디오 설명 파일을 포함할 수 있다.
이러한 방법은 사용자에 의한 스케줄링에 따라 이러한 커스터마이저블 비디오를 업데이트하는 단계를 더 포함할 수 있다.
본 방법은 커스터마이저블 비디오를 재생성한 후에 더 많은 오브젝트 정의를 사용하여 더 많은 선택 가능한 오브젝트를 결정하는 단계를 더 포함할 수 있다.
비디오화는 인터넷 콘텐츠 및/또는 다른 콘텐츠를, TV, 모바일 장치, PC, 자동차 컴퓨터 또는 임의의 다른 적절한 장치에서 볼 수 있는 개인화되고 사용자 친화적인 비디오 콘텐츠로 변환한다. 비디오화는 사용자가 개별 웹 페이지(individual web pages)를 읽지 않아도 인터넷을 보고 들을 수 있게 한다. 그렇게 하여, 인터넷 공공 자원은 사용자가 더 잘 이해할 수 있다. 일 실시예를 제공하여, 사용자는 수동적인 방식으로 콘텐츠를 수신하거나 그 콘텐츠를 제어 및 맞춤화할 수 있다. 인터넷 콘텐츠는 콘텐츠의 출처 및 유형에 따라 분류될 수 있다. 각 카테고리는 시스템에서 별도의 채널로 제공될 수 있다. 예를 들어, 복수의 웹 페이지를 포함하는 소셜 네트워크 인터넷 웹 사이트는 단일 채널로서 제공될 수 있고, 그 웹 사이트로부터의 게시물은 에피소드로서 제공될 수 있다.
도 3은 클라우드 서비스에서 동작하는 비디오 생성 시스템의 일 실시예를 도시한다. 비디오화 클라우드 서비스 시스템(300)은 비디오화 계층(310), 저장소 계층(330) 및 애플리케이션 계층(350)을 포함한다. 계층은 소프트웨어 설계 원칙을 고려하여 오브젝트 지향 방식으로 설계된다. 계층은 SOAP(Simple Object Access Protocol) 및 REST(Representational State Transfer)와 같은 인터넷 서비스로서 구현될 수 있는 APIs(application programming interfaces)를 통해 통합된다. 당업자가 인식할 수 있는 다른 프로토콜이 또한 사용될 수 있다.
비디오화 계층(310)은 데이터 획득 모듈(311), 콘텐츠 큐레이션 모듈(313) 및 비디오 생성 모듈(315)을 포함한다. 데이터 획득 모듈(311)은 소셜 추출기(social extractor), 웹 추출기, EPG(Electronic Program Guide) 추출기, 및 뉴스 추출기를 포함한다. 일 실시예에서, 소셜 추출기, 웹 추출기, EPG 추출기. 데이터의 다양한 카테고리(예: 소셜 미디어, 뉴스 및 제품) 및 포맷(예: XML, HTML (Hypertext Markup Language), 이미지 및 비디오)은 수집되고 비디오화 될 수 있다. 콘텐츠 큐레이션(CC) 컴포넌트(313)는 형태소 분석(morphological analysis), 의미론적 분석(semantic analysis), 감정 분석(sentiment analysis), 멀티 모달 분석(multimodal analysis), 음성 인식(voice recognition), 발견적 규칙(heuristic rule), 알고리즘 및 정보 프리젠테이션(information presentation)을 포함한다.
애플리케이션에서 설명된 바와 같이, 콘텐츠 큐레이션 모듈(313)은 특정 토픽에 관련된 정보를 수집, 구성 및 디스플레이하는 프로세스를 지칭할 수 있다. 오브젝트 정의는 CC 컴포넌트(313)에 의해 수행될 수 있다.
비디오 생성 컴포넌트(315)는 시각화 모듈, 트랜스코딩(transcoding) 모듈 및 스크립팅(scripting) 모듈을 포함한다. 시각화 모듈은 CC 컴포넌트(313)에 의해 제공된 지시(directive)를 사용하여 3D 비디오 콘텐츠를 생성한다. 트랜스 코딩 모듈은 시각화 모듈에 의해 사용될 수집된 멀티미디어 콘텐츠를 디코딩하고 동일한 모듈의 출력을 원하는 포맷으로 인코딩한다. 스크립팅 모듈은 시각화 모듈에서 사용할 액션 및 디렉터 유형 스크립트(director type scripts)를 제공하고 다른 모듈과 스크립트의 통합을 처리한다. 스크립팅 모듈은 JavaScript 기술을 사용하여 API를 제공한다. 서드 파티 개발자(third party developer)는 API를 사용하여 자신의 시청각 애니메이션, 액션 및 디렉터 템플릿을 시스템에 추가할 수 있다. 액션 스크립트는 트위닝(tweening), 회전, 스케일링(scaling) 및 해석(translation)과 같은 일반적인 액션 애니메이션에 대한 JavaScript 지시(directive)이다. 서드 파티 개발자는 제공된 미리 정의된 스크립트를 사용하거나 자체 애니메이션을 액션 스크립트 데이터베이스에 추가할 수 있다. 디렉터 스크립트는 CC 지시문을 구문 분석(parse)하고 미리 정의된 템플릿에 따라 웹에서 수집된 콘텐츠를 언제, 어디서, 어떻게 표시할지 설명하는 비디오 타임 라인을 생성한다. 서드 파티 개발자는 미리 정의된 스크립트를 사용하거나 그의 의도에 따라 자체 스크립트를 추가할 수 있다. 비디오화 계층(310)은 NLP, 이미지 프로세싱 및 컴퓨터 그래픽 기술을 사용하여 획득된 구조적 콘텐츠(예: 소셜 피드 및 웹 페이지)를 비디오 포맷으로의 변환을 수행한다. 저장소 계층(330)은 사용자 프로파일, 멀티미디어 저장소, 지식 기반 및 비디오 저장소를 포함한다. 멀티미디어 저장소는 비디오 생성의 기본 멀티미디어 콘텐츠를 저장하고, 비디오 저장소는 생성된 비디오를 저장한다. 애플리케이션 계층(350)은 비디오화 API(353) 및 앞서 설명된 다양한 채널(351)을 포함한다. 애플리케이션 계층(350)은 데이터 추출을 위한 외부 웹 사이트 및 채널에 대한 사용자 인터페이스와의 통합을 포함하는 높은 레벨의 서비스를 보유하지만, 이에 한정되는 것은 아니다. 일 실시예에서, 소프트웨어는 이미지 및 비디오 처리 모듈에서 C++ 및 Java로 구현된다. 비디오화 클라우드 서비스 시스템(Videolization Cloud Services system)은 JavaScript로 작성된 미리 정의된 애니메이션 및 디렉터 스크립트에 대한 데이터베이스를 보유하고 서드 파티 개발자가 자신의 스크립트를 시스템에 추가할 수 있도록 한다. 또한, 이미지 및 비디오 처리를 위한 OpenCV 및 NLP를 위한 OpenNLP를 포함하지만, 이에 국한되지 않는 상업 및 오픈 소스 소프트웨어 개발 및 관리 도구(commercial and open-source software development and management tools)를 사용할 수 있다.
다른 실시예가 제공된다. 스크린플레이(screenplay) 시스템의 시각화는 비디오 생성 모듈을 위한 스크린플레이 XML 데이터를 생성하기 위해 콘텐츠 큐레이션 모듈을 포함한다. 콘텐츠 큐레이션 모듈은 스크린플레이 시스템의 시각화를 지시하고 추출된 웹 콘텐츠를 개별 TV 시청자에게 제공(present)하는 방법을 결정한다. 콘텐츠 큐레이션 모듈은 자연 언어 처리, 시맨틱 웹(semantic web), 멀티 모달 요약(multimodal summarization) 및 개인화 연구 과제(personalization research challenge)를 지원한다. 콘텐츠 큐레이션 모듈의 최종 출력물은 생성된 비디오의 콘텐츠를 정의하는 비디오화 비디오 설명 언어(Videolization Video Description Language)로 불리는 XML 파일이다. 비디오 설명 언어는 복수의 장면 요소로 구성된다. 각 장면 요소는 텍스트, 시각적(이미지 및 비디오), 및 오디오 아이템으로 구성될 수 있다. 다음은 비디오화 비디오 설명 언어 파일에 대한 구문의 구현 예이다.
Figure pct00001
도 4는 비디오 생성 템플릿의 생성 프로세스의 일 실시예를 도시한다. 유용하다고 여겨지는 키 정보(Key information, 401)는 데이터 획득 모듈로부터 추출될 수 있다. 콘텐츠 큐레이션 모듈에서, 다양한 규칙들 또는 원리들이 미학적 규칙 모듈(aesthetic rules module, 4031), 인식 원리 모듈(perception principles module , 4033), 표현 최적화 모듈(presentation optimization module, 4035), 또는 모바일 표시 가독성 제한 모듈(4037)과 같은 다양한 모듈들에서 연구되어, 이후의 비디오가 비디오 템플릿에 참조를 가질 수 있도록 비디오 템플릿(405)을 생성하는 것이 고려될 수 있다. 비디오 생성 모듈은 이미지 및 비디오 처리를 사용하여 콘텐츠 큐레이션 모듈(예 : XML 콘텐츠)의 출력을 비디오로 변환한다. 비디오 생성 모듈은 변환 과정에서 스케일링, 크기 조정(resizing) 및 필터링과 같은 비디오 기능을 편집한다. 예를 들어, 수신된, 시각적, 오디오, 및 텍스트 내용은 모두 액터로 간주하고 디렉터 스크립트는 콘텐츠 큐레이션 모듈에 의해 생성된 XML을 파싱하고 해석하여 액터에게 역할을 할당한다. 이 액션 스크립트는 각 실행 시간 단계에서 대응하는 액션뿐 아니라 개별 액터의 등장 시간과 종료 시간(entrance and exit time)을 정의한다.
다른 실시예가 제공된다. 비디오 처리 장치는, 하나 이상의 데이터 포션을 획득하고, 하나 이상의 데이터 포션을 사용하고 하나 이상의 비디오 템플릿을 사용하여 커스터마이저블 비디오를 생성하는 데이터 획득 모듈; 하나 이상의 오브젝트 정의를 사용하여 커스터마이저블 비디오 내에서 하나 이상의 선택 가능한 오브젝트를 결정하는 결정 모듈; 오브젝트 정의에 대응하는 적어도 하나의 선택 가능한 오브젝트에 대한 사용자 선택을 나타내는 지시를 수신하는 수신기; 이러한 지시에 대응하는 적어도 하나의 선택 가능한 오브젝트와 관련된 추가 데이터 포션을 획득하는 데이터 획득 모듈을 포함하고, 비디오 처리 장치는 이러한 지시에 대응하는 추가 데이터 포션을 사용하여 커스터마이저블 비디오를 재생성할 수 있다.
비디오 처리 장치는 실시예를 비디오 처리 장치 내의 다른 요소 또는 모듈과 매칭시켜 전술한 방법을 수행할 수 있다.
또한, 도 5는 임의의 실시예에 따라, 예를 들어 본 명세서에 기재된 장치 및 방법을 구현하는데 사용될 수 있는 컴퓨팅 플랫폼(1100)을 도시한다. 구체적 장치는 표시된 모든 구성 요소 또는 구성 요소의 하위 집합만 사용할 수 있으며 통합 레벨은 장치마다 다를 수 있다. 또한, 장치는 다중 처리 유닛, 프로세서, 메모리, 송신기, 수신기 등과 같은 구성 요소의 다수의 인스턴스를 포함할 수 있다. 도시된 실시예의 처리 시스템(1101)은 터치 스크린, 키패드, 키보드, 프린터, 디스플레이 등(도시 생략)과 같은 하나 이상의 입/출력 장치가 장착된 처리 장치를 포함할 수 있다. 프로세싱 유닛(1100)은 버스(1140)에 연결된, 중앙 처리 장치(CPU)(1110), 메모리(1120), 대용량 저장 장치(1130) 및 I/O 인터페이스(1160)를 포함할 수 있다.
버스(1140)는, 메모리 버스 또는 메모리 제어기, 주변 버스, 비디오 버스 등을 포함하는 임의의 유형의 몇몇 버스 구조들 중 하나 이상일 수 있다. CPU(1110)는 임의의 유형의 전자 데이터 프로세서를 포함할 수 있다. 메모리(1120)는 SRAM(static random access memory), DRAM(dynamic random access memory), SDRAM(synchronous DRAM), 판독 전용 메모리(ROM) 또는 이들의 조합과 같은 임의의 유형의 비 일시적인 시스템 메모리를 포함할 수 있다. 실시예에서, 메모리(1120)는 부트 업(boot-up)시 사용되는 ROM 및 프로그램을 실행하는 동안 사용을 위한 프로그램 및 데이터 저장을 위한 DRAM을 포함할 수 있다.
대용량 저장 장치(1130)는 데이터, 프로그램 및 다른 정보를 저장하고 버스를 통해 액세스 가능한 데이터, 프로그램 및 다른 정보를 생성하도록 구성된 임의의 유형의 비 일시적인 저장 장치를 포함할 수 있다. 대용량 저장 장치(1130)는 예를 들어, 솔리드 스테이트 드라이브(solid state drive), 하드 디스크 드라이브(hard disk drive), 자기 디스크 드라이브(magnetic disk drive), 광학 디스크 드라이브(optical disk drive) 등 중 하나 이상을 포함할 수 있다.
I/O 인터페이스(1160)는 외부 입력 및 출력 장치를 처리 유닛(1100)에 연결한다. 도시된 바와 같이, 입력 및 출력 장치의 예는 I/O 인터페이스(1160)에 연결된, 디스플레이 및 마우스/키보드/프린터(도시되지 않음)를 포함한다. 다른 장치가 처리 유닛(1100)에 결합 될 수 있고, 추가적 또는 더 적은 인터페이스 장치가 사용될 수 있다. 예를 들어, USB(Universal Serial Bus)(도시되지 않음)와 같은 직렬 인터페이스는 프린터에 대한 인터페이스를 제공하는데 사용될 수 있다.
프로세싱 유닛은, 또한 하나 이상의 네트워크 인터페이스(1150)를 포함하고, 이러한 하나 이상의 네트워크 인터페이스(1150)는 이더넷 케이블 등과 같은 유선 링크 및/또는 노드 또는 상이한 네트워크(1180)에 액세스하는 무선 링크를 포함할 수 있다. 네트워크 인터페이스(1150)는, 네트워크(1180)를 통해 처리 유닛이 원격 유닛과 통신할 수 있게 한다. 예를 들어, 네트워크 인터페이스(1150)는 하나 이상의 송신기/송신 안테나(1170) 및 하나 이상의 수신기/수신 안테나를 통해 무선 통신을 제공할 수 있다. 일 실시예에서, 처리 유닛은, 다른 처리 유닛, 인터넷, 원격 저장 설비 등과 같은 원격 장치와의 데이터 처리 및 통신을 위해 근거리 통신망 또는 광역 네트워크에 연결된다.
예를 들어, 비디오 처리 장치가 일례에 따라 제공된다. 이러한 장치는 명령을 저장하는 메모리 및 메모리에 연결된 프로세서를 포함하고, 프로세서는 이러한 명령을 판독 및 실행하여 이하: 하나 이상의 데이터 포션을 획득하고, 하나 이상의 데이터 포션을 사용하고 하나 이상의 비디오 생성 템플릿을 사용하여 커스터마이저블 비디오를 생성하는 단계; 하나 이상의 오브젝트 정의를 사용하여 커스터마이저블 비디오 내에서 하나 이상의 선택 가능한 오브젝트를 결정하는 단계; 오브젝트 정의에 대응하는 적어도 하나의 선택 가능한 오브젝트에 대한 사용자 선택을 나타내는 지시를 수신하는 단계; 지시에 대응하는 적어도 하나의 선택 가능한 오브젝트와 관련된 추가 데이터 포션을 획득하는 단계; 및 지시에 대응하는 추가 데이터 포션을 사용하여 커스터마이저블 비디오를 재생성하는 단계를 수행하도록 하게 할 수 있다.
사람들은 자신이 생성 한 비디오를 자신의 채널에 업로드하고, 언제 어디서나 자신의 청중을 창조하고 다가갈 수 있다.
예를 들어, 사용자가 하나 이상의 소셜 미디어 플랫폼(social media platforms)에 연결하고 사용자의 요청에 따라, 소셜 미디어 비디오 시스템은 미리 정의되고 권한이 부여된 소셜 미디어 플랫폼으로부터 데이터를 수집한다.
본 발명에 몇몇 예시적인 실시예가 제공되었지만, 개시된 시스템 및 방법은 본 개시의 사상 또는 범위를 벗어나지 않고 많은 다른 특정 형태로 구현될 수 있다는 것을 이해해야 한다. 본 실시예는 제한적인 것이 아니라 예시적인 것으로 간주하여야 하며, 본 발명의 의도는 본 명세서에 주어진 상세한 설명에 제한되지 않는다. 예를 들어, 다양한 요소 또는 구성 요소가 다른 시스템에서 결합하거나 통합될 수 있거나 특정 형상이 생략되거나 구현되지 않을 수 있다.
또한, 본 발명의 범위를 벗어나지 않으면서, 다양한 실시예에서 개별적으로 또는 분리되어 기술되고 도시된 기술, 시스템, 서브 시스템 및 방법은 다른 시스템, 모듈, 기술 또는 방법과 결합하거나 통합될 수 있다. 서로, 연결되거나 직접 연결되거나 통신하는 것으로 도시되거나 논의된 다른 아이템은 전기적으로, 기계적으로 또는 다른 방식으로, 어떤 인터페이스, 장치 또는 중간 구성 요소를 통해 간접적으로 연결되거나 통신할 수 있다. 수정, 대체 및 변경의 다른 예는 당업자에 의해 확인될 수 있으며 본 명세서에 개시된 사상 및 범위를 벗어나지 않고 이루어질 수 있다.

Claims (21)

  1. 비디오를 생성하는 방법으로서,
    하나 이상의 데이터 포션(data portion)을 획득하고 상기 하나 이상의 데이터 포션을 사용하여 커스터마이저블 비디오(customizable video)를 생성하며 하나 이상의 비디오 생성 템플릿(video generation template)을 사용하는 단계;
    하나 이상의 오브젝트(object) 정의를 사용하여 상기 커스터마이저블 비디오 내에서 하나 이상의 선택 가능한 오브젝트를 결정하는 단계;
    오브젝트 정의에 대응하는 적어도 하나의 선택 가능한 오브젝트에 대한 사용자 선택을 나타내는 지시를 수신하는 단계;
    상기 지시에 대응하는 상기 적어도 하나의 선택 가능한 오브젝트와 관련된 추가 데이터 포션을 획득하는 단계; 및
    상기 지시에 대응하는, 상기 하나 이상의 데이터 포션 및 상기 추가 데이터 포션을 사용하여 상기 커스터마이저블 비디오를 재생성하는 단계
    를 포함하는 방법.
  2. 제1항에 있어서,
    상기 하나 이상의 선택 가능한 오브젝트를 결정하는 단계는
    상기 하나 이상의 데이터 포션으로부터 미디어 요소 특징(media element feature)을 추출하는 단계;
    상기 미디어 요소 특징의 다양한 레벨을 상기 하나 이상의 오브젝트 정의로 라벨링(labeling)하는 단계; 및
    상기 미디어 요소 특징의 다양한 레벨의 미디어 요소 특징을 선택 가능한 오브젝트로서 라벨링하는 단계
    를 더 포함하는, 방법.
  3. 제1항에 있어서,
    상기 오브젝트 정의는 상기 지시 내에서 XML(extensible markup language) 파일로 전송되는 방법.
  4. 제1항에 있어서,
    상기 오브젝트 정의는, 상기 선택 가능한 오브젝트에 기초한 분석을 더 포함하고,
    상기 분석은 자연 언어 처리(natural language processing), 형태소 분석(morphological analysis), 의미론적 분석(semantic analysis), 비디오 분석, 오디오 분석, 또는 감정 분석(sentiment analysis) 중 적어도 하나에서 이루어지고,
    상기 선택 가능한 오브젝트는 텍스트, 이미지, 오디오 아이템(audio item) 또는 비디오 아이템(video item) 중 적어도 하나를 포함하는, 방법.
  5. 제1항에 있어서,
    상기 지시는 비디오 설명 파일(video description file)이고,
    상기 비디오 설명 파일은 상기 오브젝트 정의를 상기 비디오 설명 파일로 컴파일(compile)하는, 방법.
  6. 제1항에 있어서,
    사용자에 의한 스케줄링(scheduling)에 따라 상기 커스터마이저블 비디오를 업데이트 하는 단계
    를 더 포함하는 방법.
  7. 제1항에 있어서,
    상기 커스터마이저블 비디오를 상기 사용자에 프리젠테이션(presentation)하는 동안 상기 커스터마이저블 비디오를 재생성하는 단계를 더 포함하는 방법.
  8. 제1항에 있어서,
    상기 지시는 상기 커스터마이저블 비디오를 재생하는 동안 수신되는, 방법.
  9. 제1항에 있어서,
    상기 커스터마이저블 비디오를 재생성한 후, 더 많은 오브젝트 정의를 사용하여 더 많은 선택 가능한 오브젝트를 결정하는 단계를 더 포함하는 방법.
  10. 제1항에 있어서,
    상기 하나 이상의 비디오 생성 템플릿을 사용하여 상기 커스터마이저블 비디오에서 상기 하나 이상의 선택 가능한 오브젝트를 결정하는 단계를 더 포함하는 방법.
  11. 비디오를 처리하는 장치로서,
    명령을 저장하는 메모리 및 상기 메모리에 연결된 프로세서를 포함하고,
    상기 프로세서는 상기 명령을 판독하고 실행하여 이하:
    하나 이상의 데이터 포션을 획득하고 상기 하나 이상의 데이터 포션을 사용하고 하나 이상의 비디오 생성 템플릿을 사용하여 커스터마이저블 비디오를 생성하는 단계;
    하나 이상의 오브젝트 정의를 사용하여 상기 커스터마이저블 비디오에서 하나 이상의 선택 가능한 오브젝트를 결정하는 단계:
    오브젝트 정의에 대응하는 적어도 하나의 선택 가능한 오브젝트에 대한 사용자 선택을 나타내는 지시를 수신하는 단계;
    상기 지시에 대응하는 상기 적어도 하나의 선택 가능한 오브젝트와 관련된 추가 데이터 포션을 획득하는 단계; 및
    상기 지시에 대응하는 추가 데이터 포션을 사용하여 상기 커스터마이저블 비디오를 재생성하는 단계
    를 수행하도록 구성된, 장치.
  12. 제11항에 있어서,
    상기 하나 이상의 선택 가능한 오브젝트를 결정하는 단계는,
    상기 하나의 데이터 포션으로부터 미디어 요소 특징을 추출하는 단계;
    상기 미디어 요소 특징의 다양한 레벨을 상기 하나 이상의 오브젝트 정의로 라벨링하는 단계; 및
    상기 미디어 요소 특징의 다양한 레벨의 미디어 요소 특징을 선택 가능한 오브젝트로서 라벨링하는 단계
    를 더 포함하는, 장치.
  13. 제11항에 있어서,
    상기 오브젝트 정의는 상기 지시 내에서 XML파일로 전송되는, 장치.
  14. 제11항에 있어서,
    상기 오브젝트 정의는 상기 선택 가능한 오브젝트에 기초한 분석을 수행하는 것을 더 포함하고,
    상기 분석은 자연 언어 처리, 형태소 분석, 의미론적 분석, 비디오 분석, 오디오 분석, 감정 분석, 또는 이들의 조합 중 적어도 하나를 포함하고,
    상기 선택 가능한 오브젝트는 텍스트, 이미지, 오디오 아이템, 비디오 아이템, 또는 이들의 조합 중 적어도 하나를 포함하는, 장치.
  15. 제11항에 있어서,
    상기 지시는 비디오 설명 파일을 포함하고,
    상기 비디오 설명 파일은 상기 오브젝트 정의를 상기 비디오 설명 파일로 컴파일하는 것인, 장치.
  16. 제11항에 있어서,
    상기 프로세서는 상기 명령을 판독하고 실행하여,
    사용자에 의한 스케줄링에 따라 상기 커스터마이저블 비디오를 업데이트 하는 단계를 더 수행하도록 구성된, 장치.
  17. 제11항에 있어서,
    상기 프로세서는 상기 명령을 판독하고 실행하여,
    상기 커스터마이저블 비디오를 상기 사용자에 프리젠테이션하는 동안 상기 커스터마이저블 비디오를 재생성하는 단계를 더 수행하도록 구성된, 장치.
  18. 제11항에 있어서,
    상기 지시는 상기 커스터마이저블 비디오를 재생하는 동안 수신되는, 장치.
  19. 제11항에 있어서,
    상기 프로세서는 상기 명령을 판독하고 실행하여,
    상기 커스터마이저블 비디오를 재생성한 후에, 더 많은 오브젝트 정의를 사용하여 더 많은 선택 가능한 오브젝트를 결정하는 단계를 더 수행하도록 구성된, 장치.
  20. 제11항에 있어서,
    상기 프로세서는 상기 명령을 판독하고 실행하여,
    상기 하나 이상의 비디오 생성 템플릿을 사용하여, 상기 커스터마이저블 비디오에서 상기 하나 이상의 선택 가능한 오브젝트를 결정하는 단계를 더 수행하도록 구성된, 장치.
  21. 비디오를 처리하는 장치로서,
    하나 이상의 데이터 포션을 획득하고 상기 하나 이상의 데이터 포션을 사용하고 하나 이상의 비디오 생성 템플릿을 사용하여 커스터마이저블 비디오를 생성하는 데이터 획득 모듈;
    하나 이상의 오브젝트 정의를 사용하여 상기 커스터마이저블 비디오에서 하나 이상의 선택 가능한 오브젝트를 결정하는 결정 모듈; 및
    오브젝트 정의에 대응하는 적어도 하나의 선택 가능한 오브젝트에 대한 사용자 선택을 나타내는 지시를 수신하는 수신기
    를 포함하고,
    상기 데이터 획들 모듈은, 상기 지시에 대응하는 상기 적어도 하나의 선택 가능한 오브젝트와 관련된 추가 데이터 포션을 획득하고, 상기 지시에 대응하는 추가 데이터 포션을 사용하여 상기 커스터마이저블 비디오를 재생성하는, 장치.
KR1020177013461A 2014-10-22 2015-10-22 인터액티브 비디오 생성 KR101975511B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201462067327P 2014-10-22 2014-10-22
US62/067,327 2014-10-22
PCT/CN2015/092578 WO2016062264A1 (en) 2014-10-22 2015-10-22 Interactive video generation

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020197012325A Division KR102117433B1 (ko) 2014-10-22 2015-10-22 인터액티브 비디오 생성

Publications (2)

Publication Number Publication Date
KR20170070220A true KR20170070220A (ko) 2017-06-21
KR101975511B1 KR101975511B1 (ko) 2019-05-07

Family

ID=55760313

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020197012325A KR102117433B1 (ko) 2014-10-22 2015-10-22 인터액티브 비디오 생성
KR1020177013461A KR101975511B1 (ko) 2014-10-22 2015-10-22 인터액티브 비디오 생성

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020197012325A KR102117433B1 (ko) 2014-10-22 2015-10-22 인터액티브 비디오 생성

Country Status (7)

Country Link
US (1) US9972358B2 (ko)
EP (2) EP3198381B1 (ko)
JP (2) JP6517929B2 (ko)
KR (2) KR102117433B1 (ko)
CN (2) CN106662920B (ko)
BR (1) BR112017008008B1 (ko)
WO (1) WO2016062264A1 (ko)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10171843B2 (en) 2017-01-19 2019-01-01 International Business Machines Corporation Video segment manager
US11263489B2 (en) * 2017-06-29 2022-03-01 Intel Corporation Techniques for dense video descriptions
CN108334540B (zh) 2017-12-15 2020-11-10 深圳市腾讯计算机系统有限公司 媒体信息的展示方法和装置、存储介质、电子装置
CN108337531A (zh) * 2017-12-27 2018-07-27 北京酷云互动科技有限公司 视频特征信息的可视化方法、装置、服务器及系统
CN110309351A (zh) * 2018-02-14 2019-10-08 阿里巴巴集团控股有限公司 数据对象的视频影像生成、装置及计算机系统
US20190373322A1 (en) * 2018-05-29 2019-12-05 Sony Interactive Entertainment LLC Interactive Video Content Delivery
KR102026994B1 (ko) * 2018-06-29 2019-09-30 주식회사 위피엔피 비디오 모션객체를 정의하는 마크업 언어 시스템
TWI713363B (zh) * 2019-12-19 2020-12-11 宏正自動科技股份有限公司 資訊影片產生方法與裝置
CN113096633B (zh) * 2019-12-19 2024-02-13 宏正自动科技股份有限公司 信息影片产生方法与装置
CN111711856B (zh) * 2020-08-19 2020-12-01 深圳电通信息技术有限公司 交互视频的制作方法、装置、终端、存储介质及播放器
EP4131936A1 (en) * 2021-08-03 2023-02-08 Idomoo Ltd A system and method for programing video
CN115988276B (zh) * 2021-10-15 2024-06-25 腾讯科技（深圳）有限公司 多媒体信息编辑模板处理方法及装置
CN117041426B (zh) * 2023-09-19 2024-07-23 天翼爱音乐文化科技有限公司 一种视频彩铃优化制作方法、系统、设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070005795A1 (en) * 1999-10-22 2007-01-04 Activesky, Inc. Object oriented video system
US20100050082A1 (en) * 2008-08-22 2010-02-25 Pvi Virtual Media Services, Llc Interactive Video Insertions, And Applications Thereof

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6124862A (en) * 1997-06-13 2000-09-26 Anivision, Inc. Method and apparatus for generating virtual views of sporting events
JPH11275459A (ja) * 1998-03-24 1999-10-08 Nec Corp 映像編集システム
US7120924B1 (en) * 2000-02-29 2006-10-10 Goldpocket Interactive, Inc. Method and apparatus for receiving a hyperlinked television broadcast
US7248778B1 (en) * 2001-03-16 2007-07-24 Gateway Inc. Automated video editing system and method
JP2002335518A (ja) * 2001-05-09 2002-11-22 Fujitsu Ltd 表示装置を制御する制御装置、サーバ、およびプログラム
JP4843867B2 (ja) * 2001-05-10 2011-12-21 ソニー株式会社 文書処理装置、文書処理方法および文書処理プログラム、ならびに、記録媒体
GB2378371A (en) * 2001-07-31 2003-02-05 Hewlett Packard Co Virtual "Big Brother" broadcasting
JP4003940B2 (ja) * 2002-06-07 2007-11-07 日本放送協会 映像関連コンテンツ生成装置、映像関連コンテンツ生成方法及び映像関連コンテンツ生成プログラム
EP1765011A2 (en) * 2004-06-29 2007-03-21 Matsushita Electric Industrial Co., Ltd. Video edition device and method
CN106210860B (zh) * 2005-03-30 2020-12-25 乐威指南公司 用于富视频导航的系统和方法
US10003781B2 (en) * 2006-08-04 2018-06-19 Gula Consulting Limited Liability Company Displaying tags associated with items in a video playback
CN100547964C (zh) 2006-12-15 2009-10-07 腾讯科技（深圳）有限公司 基于网络电视的即时通信方法及网络电视系统
US7925112B2 (en) * 2007-02-28 2011-04-12 Honeywell International Inc. Video data matching using clustering on covariance appearance
US9609260B2 (en) * 2007-07-13 2017-03-28 Gula Consulting Limited Liability Company Video tag layout
US8005262B2 (en) * 2007-07-16 2011-08-23 Hugh Griffin System and method for video object identification
US20090210790A1 (en) * 2008-02-15 2009-08-20 Qgia, Llc Interactive video
CN101246491B (zh) * 2008-03-11 2014-11-05 孟智平 一种在网页中使用描述文件的方法和系统
EP2409493A4 (en) 2009-03-17 2012-08-22 Activevideo Networks Inc DEVICE AND METHOD FOR SYNDICATING VIDEO ON REQUEST
US8818172B2 (en) * 2009-04-14 2014-08-26 Avid Technology, Inc. Multi-user remote video editing
US20110179012A1 (en) * 2010-01-15 2011-07-21 Factery.net, Inc. Network-oriented information search system and method
JP5522789B2 (ja) * 2010-06-09 2014-06-18 日本放送協会 リンク機能付動画再生装置およびリンク機能付動画再生プログラム
US20120167146A1 (en) * 2010-12-28 2012-06-28 White Square Media Llc Method and apparatus for providing or utilizing interactive video with tagged objects
GB2488784A (en) * 2011-03-07 2012-09-12 Sharp Kk A method for user interaction of the device in which a template is generated from an object
US10319409B2 (en) * 2011-05-03 2019-06-11 Idomoo Ltd System and method for generating videos
JP5857450B2 (ja) * 2011-05-30 2016-02-10 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US20130272679A1 (en) * 2012-04-12 2013-10-17 Mario Luis Gomes Cavalcanti Video Generator System
JP5568610B2 (ja) * 2012-08-28 2014-08-06 株式会社プレミアムエージェンシー 拡張現実システム、映像合成装置、映像合成方法及びプログラム
US9436875B2 (en) * 2012-12-06 2016-09-06 Nokia Technologies Oy Method and apparatus for semantic extraction and video remix creation
CN104041063B (zh) * 2012-12-24 2017-11-24 华为技术有限公司 视频的关联信息库制作和视频播放的方法、平台及系统
CN103902966B (zh) * 2012-12-28 2018-01-05 北京大学 基于序列时空立方体特征的视频交互事件分析方法及装置
CN103108248B (zh) * 2013-01-06 2016-04-27 王汝迟 一种互动式视频的实现方法和系统
US20140226955A1 (en) * 2013-02-12 2014-08-14 Takes Llc Generating a sequence of video clips based on meta data
CN103997687B (zh) * 2013-02-20 2017-07-28 英特尔公司 用于向视频增加交互特征的方法及装置
CN104053055A (zh) * 2013-03-14 2014-09-17 梦蝶股份有限公司 制播个人化视频方法、非瞬时计算机可读存储媒介及系统
CN103400386B (zh) * 2013-07-30 2016-08-31 清华大学深圳研究生院 一种用于视频中的交互式图像处理方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070005795A1 (en) * 1999-10-22 2007-01-04 Activesky, Inc. Object oriented video system
US20100050082A1 (en) * 2008-08-22 2010-02-25 Pvi Virtual Media Services, Llc Interactive Video Insertions, And Applications Thereof

Also Published As

Publication number Publication date
US20160118083A1 (en) 2016-04-28
EP3198381B1 (en) 2020-09-16
CN112449253B (zh) 2022-12-13
EP3198381A1 (en) 2017-08-02
EP3790284B1 (en) 2024-12-11
KR101975511B1 (ko) 2019-05-07
CN106662920B (zh) 2020-11-06
US9972358B2 (en) 2018-05-15
EP3790284A1 (en) 2021-03-10
WO2016062264A1 (en) 2016-04-28
JP2019154045A (ja) 2019-09-12
KR102117433B1 (ko) 2020-06-02
JP6898965B2 (ja) 2021-07-07
JP6517929B2 (ja) 2019-05-22
JP2018503279A (ja) 2018-02-01
KR20190047144A (ko) 2019-05-07
BR112017008008A2 (pt) 2018-06-19
BR112017008008B1 (pt) 2023-01-31
CN112449253A (zh) 2021-03-05
CN106662920A (zh) 2017-05-10
EP3198381A4 (en) 2017-10-11

Similar Documents

Publication Publication Date Title
KR101975511B1 (ko) 인터액티브 비디오 생성
US10846752B2 (en) Systems and methods for managing interactive features associated with multimedia
CN111372109B (zh) 一种智能电视以及信息交互方法
US9332319B2 (en) Amalgamating multimedia transcripts for closed captioning from a plurality of text to speech conversions
US20120078712A1 (en) Systems and methods for processing and delivery of multimedia content
US20120078899A1 (en) Systems and methods for defining objects of interest in multimedia content
US20120078691A1 (en) Systems and methods for providing multimedia content editing and management tools
US20120075490A1 (en) Systems and methods for determining positioning of objects within a scene in video content
Hayashi et al. T2v: New technology of converting text to cg animation
US20180239524A1 (en) Methods and devices for providing effects for media content
CN112040339A (zh) 一种视频数据的制作方法、装置、计算机设备和存储介质
US20140058894A1 (en) Method and system for live video advice
Epelde et al. Providing universally accessible interactive services through TV sets: implementation and validation with elderly users
CN114327180A (zh) 一种音频内容的展示方法、装置、电子设备和存储介质
Pedrosa et al. A multimodal interaction component for digital television
CN112883144A (zh) 一种信息交互方法
Hayashi et al. Open framework facilitating automatic generation of CG animation from web site
CN118312071A (zh) 显示方法以及显示系统
Fricke et al. Work Package 5: LinkedTV platform
CN119135999A (zh) 一种内容处理方法、装置、电子设备和存储介质
JP2011244177A (ja) コンテンツ変換システム
Bergweiler et al. Foundations of Semantic Television Design of a Distributed and Gesture-Based Television System
Gural et al. Deliverable 5.2 LinkedTV front-end: video player and MediaCanvas API

Legal Events

Date Code Title Description
A201 Request for examination
PA0105 International application

Patent event date: 20170518

Patent event code: PA01051R01D

Comment text: International Patent Application

PA0201 Request for examination
PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20180219

Patent event code: PE09021S01D

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20180719

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20190128

A107 Divisional application of patent
GRNT Written decision to grant
PA0104 Divisional application for international application

Comment text: Divisional Application for International Patent

Patent event code: PA01041R01D

Patent event date: 20190429

PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20190429

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20190429

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20220323

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20240319

Start annual number: 6

End annual number: 6