Nothing Special   »   [go: up one dir, main page]

KR20140035713A - 실감 미디어 저작 방법 및 장치, 이를 이용하는 휴대형 단말 장치 - Google Patents

실감 미디어 저작 방법 및 장치, 이를 이용하는 휴대형 단말 장치 Download PDF

Info

Publication number
KR20140035713A
KR20140035713A KR20120102318A KR20120102318A KR20140035713A KR 20140035713 A KR20140035713 A KR 20140035713A KR 20120102318 A KR20120102318 A KR 20120102318A KR 20120102318 A KR20120102318 A KR 20120102318A KR 20140035713 A KR20140035713 A KR 20140035713A
Authority
KR
South Korea
Prior art keywords
sensory effect
effect data
image
sensory
sensor
Prior art date
Application number
KR20120102318A
Other languages
English (en)
Inventor
지덕구
박미룡
오현우
윤재관
한미경
김지연
장종현
박광로
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR20120102318A priority Critical patent/KR20140035713A/ko
Priority to US13/905,974 priority patent/US20140082465A1/en
Publication of KR20140035713A publication Critical patent/KR20140035713A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00323—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a measuring, monitoring or signaling apparatus, e.g. for transmitting measured information to a central location
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32128—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title attached to the image data, e.g. file header, transmitted message header, information on the same page or in the same computer file as the image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42202—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] environmental sensors, e.g. for detecting temperature, luminosity, pressure, earthquakes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2101/00—Still video cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0077—Types of the still picture apparatus
    • H04N2201/0084—Digital still camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H04N2201/3253—Position information, e.g. geographical position at time of capture, GPS data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3261—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of multimedia information, e.g. a sound signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3261—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of multimedia information, e.g. a sound signal
    • H04N2201/3264—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of multimedia information, e.g. a sound signal of sound signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3274—Storage or retrieval of prestored additional information

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Security & Cryptography (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

실감 미디어 저작 방법 및 장치, 이를 이용하는 휴대형 단말 장치가 개시된다. 실감 미디어 저작 장치는 영상 신호를 기반으로 영상 데이터를 생성하는 영상 생성부, 상기 영상 데이터와 연동되어 실감효과를 제공하기 위한 실감효과 관련 정보를 획득하여 실감효과 데이터를 생성하는 실감효과데이터 생성부 및 상기 영상 데이터 및 상기 실감효과 데이터를 기초로 실감 미디어를 생성하는 실감미디어 생성부를 포함하며, 상기 실감효과데이터 생성부는 상기 영상 신호로부터 획득된 영상과 관련된 실감효과 데이터, 사용자로부터 획득된 어노테이션(annotation) 정보 기반 실감효과 데이터, 센서 모듈에 의해 감지된 센싱 신호로부터 획득된 센서 관련 실감효과 데이터, 웹(web)으로부터 획득된 환경 정보 기반 실감효과 데이터 및 음향 신호로부터 획득된 음향과 관련된 실감효과 데이터 중 적어도 하나를 포함하는 상기 실감효과 데이터를 생성한다.

Description

실감 미디어 저작 방법 및 장치, 이를 이용하는 휴대형 단말 장치{METHOD AND APPARATUS FOR GENERATING IMMERSIVE-MEDIA, MOBILE TERMINAL USING THE SAME}
본 발명은 실감 미디어 저작 방법 및 장치, 이를 이용하는 휴대형 단말 장치에 관한 것으로, 보다 상세하게는 영상 촬영 시 실감 효과 관련 정보를 획득하여 실감 미디어를 저작하는 방법 및 장치, 이를 이용하는 휴대형 단말 장치에 관한 것이다.
현재 출시되고 있는 스마트 폰, 휴대폰, 태블릿 PC, 노트북, PMP, PDA 등과 같은 휴대형 단말 장치는 통신 모듈, 카메라 모듈을 구비하고 있을 뿐만 아니라, 이외에 다양한 센서를 구비하고 있다. 예컨대, 방향 감지 센서, 가속도 센서, 중력 센서, 조도 센서, GPS 센서, 자외선 센서 등을 휴대형 단말 장치에 탑재하고 있다. 또한, 음성 인식 기능을 이용하여 휴대형 단말 장치를 제어할 수 있다.
따라서, 휴대형 단말 장치는 카메라 모듈을 이용한 기존의 단순 영상 촬영이 아닌 다양한 센서를 이용하여 보다 사실감, 현장감, 몰입감을 향상시킬 수 있는 실감 효과 관련 정보를 획득할 수 있다. 나아가, 실감 효과 관련 정보를 기반으로 실감 미디어를 저작할 수 있으며, 이를 휴대형 단말 장치에 저장하거나 타 장치로 전송할 수 있다. 이러한 실감 미디어는 진동, 조명, 모션 의자, 발향 등의 재현 장치를 통하여 재현됨으로써 사실감, 현장감, 몰입감을 극대화 할 수 있다.
그러나, 종래 실감 미디어는 4D 영화관 또는 체험관에서의 상영을 목적으로 미리 촬영된 영상 콘텐츠에 실감 효과를 추가하는 방식으로 전문가에 의해 저작되고 있으며, 휴대형 단말 장치에서 실감 미디어 저작은 시도되지 않고 있다. 따라서, 휴대형 단말 장치에서 영상 촬영 당시의 실감 효과와 관련된 여러 가지 정보를 포함한 실감 미디어를 실시간으로 저작할 수 있는 방법이 필요하다.
대한민국 공개특허공보 제2010-0062847호
본 발명은 영상 촬영 시 실감효과와 관련된 정보를 획득하여 실감 미디어를 저작하는 방법 및 장치를 제공한다.
본 발명은 휴대형 단말 장치에서 영상을 촬영하면서 실시간으로 실감효과 관련 정보를 획득하여 실감 미디어를 저작하는 방법 및 장치를 제공한다.
본 발명의 일 실시형태는 실감 미디어 저작 장치에 관한 것으로, 영상 신호를 기반으로 영상 데이터를 생성하는 영상 생성부, 상기 영상 데이터와 연동되어 실감효과를 제공하기 위한 실감효과 관련 정보를 획득하여 실감효과 데이터를 생성하는 실감효과데이터 생성부 및 상기 영상 데이터 및 상기 실감효과 데이터를 기초로 실감 미디어를 생성하는 실감미디어 생성부를 포함하며, 상기 실감효과데이터 생성부는 상기 영상 신호로부터 획득된 영상과 관련된 실감효과 데이터, 사용자로부터 획득된 어노테이션(annotation) 정보 기반 실감효과 데이터, 센서 모듈에 의해 감지된 센싱 신호로부터 획득된 센서 관련 실감효과 데이터, 웹(web)으로부터 획득된 환경 정보 기반 실감효과 데이터 및 음향 신호로부터 획득된 음향과 관련된 실감효과 데이터 중 적어도 하나를 포함하는 상기 실감효과 데이터를 생성한다.
상기 실감효과데이터 생성부는, 상기 영상 신호를 기반으로 영상의 상황(context)에 부합하는 상기 영상과 관련된 실감효과 데이터를 생성하는 영상실감효과 추출부, 상기 음향 신호를 기반으로 음향 특성 패턴을 검출하고, 상기 검출된 음향 특성 패턴에 해당하는 상기 음향과 관련된 실감효과 데이터를 생성하는 음향실감효과 추출부, 상기 사용자의 음성 명령을 기초로 상기 어노테이션 정보 기반 실감효과 데이터를 생성하는 어노테이션 생성부, 상기 센서 모듈에 의해 감지된 센싱 신호를 획득하고, 상기 획득된 센싱 신호를 기반으로 상기 센서 관련 실감효과 데이터를 생성하는 센서실감효과 추출부, 무선 통신을 통하여 상기 웹으로부터 환경 정보를 획득하고, 상기 획득된 환경 정보를 기초로 상기 환경 정보 기반 실감효과 데이터를 생성하는 환경정보 생성부 및 상기 영상과 관련된 실감효과 데이터, 상기 음향과 관련된 실감효과 데이터, 상기 어노테이션 정보 기반 실감효과 데이터, 상기 센서 관련 실감효과 데이터 및 상기 환경 정보 기반 실감효과 데이터 중 적어도 하나를 포함하는 상기 실감효과 데이터를 메타데이터로 변환하는 메타데이터 변환부를 포함할 수 있다.
상기 어노테이션 생성부는, 상기 사용자로부터 상기 음성 명령을 획득하여 인식하는 음성 인식부 및 상기 음성 명령이 미리 정의된 어노테이션 테이블에 존재하는 어노테이션 명령인지를 판단하고, 상기 음성 명령이 상기 어노테이션 명령이면 상기 음성 명령을 기반으로 상기 어노테이션 정보 기반 실감효과 데이터를 생성하는 어노테이션정보 추출부를 포함할 수 있다.
상기 환경정보 생성부는, 상기 웹으로부터 소정의 시간 및 위치에 해당하는 기온, 습도, 바람 및 강수량 중 적어도 하나의 날씨 정보를 포함하는 상기 환경 정보를 획득할 수 있다.
상기 센서 모듈은 방향 감지 센서, 중력 센서, 가속도 센서, 조도 센서, GPS 센서, 자외선 센서 및 온도 센서 중 적어도 하나를 포함할 수 있다.
상기 영상 생성부는, 영상을 촬영하는 동안 카메라 모듈에 의해 획득된 상기 영상 신호와 마이크 모듈에 의해 획득된 상기 음향 신호를 부호화(encoding)하여 상기 영상 데이터를 생성할 수 있다.
본 발명의 다른 실시형태는 실감 미디어를 저작하는 휴대형 단말 장치에 관한 것으로, 영상을 촬영하여 영상 신호를 획득하는 카메라 모듈, 상기 영상 신호를 기반으로 영상 데이터를 생성하는 영상 생성부, 상기 영상 데이터와 연동되어 실감효과를 제공하기 위한 실감효과 관련 정보를 획득하여 실감효과 데이터를 생성하는 실감효과데이터 생성부 및 상기 영상 데이터 및 상기 실감효과 데이터를 기초로 실감 미디어를 생성하는 실감미디어 생성부를 포함하며, 상기 실감효과데이터 생성부는 상기 영상 신호로부터 획득된 영상과 관련된 실감효과 데이터, 사용자로부터 획득된 어노테이션(annotation) 정보 기반 실감효과 데이터, 센서 모듈에 의해 감지된 센싱 신호로부터 획득된 센서 관련 실감효과 데이터, 웹(web)으로부터 획득된 환경 정보 기반 실감효과 데이터 및 음향 신호로부터 획득된 음향과 관련된 실감효과 데이터 중 적어도 하나를 포함하는 상기 실감효과 데이터를 생성한다.
본 발명의 또 다른 실시형태는 실감 미디어 저작 방법에 관한 것으로, 영상 신호를 기반으로 영상 데이터를 생성하는 단계, 상기 영상 데이터와 연동되어 실감효과를 제공하기 위한 실감효과 관련 정보를 획득하여 실감효과 데이터를 생성하는 단계 및 상기 영상 데이터 및 상기 실감효과 데이터를 기초로 실감 미디어를 생성하는 단계를 포함하며, 상기 실감효과 데이터는 상기 영상 신호로부터 획득된 영상과 관련된 실감효과 데이터, 사용자로부터 획득된 어노테이션(annotation) 정보 기반 실감효과 데이터, 센서 모듈에 의해 감지된 센싱 신호로부터 획득된 센서 관련 실감효과 데이터, 웹(web)으로부터 획득된 환경 정보 기반 실감효과 데이터 및 음향 신호로부터 획득된 음향과 관련된 실감효과 데이터 중 적어도 하나를 포함한다.
상기 어노테이션 정보 기반 실감효과 데이터는, 상기 사용자로부터 상기 음성 명령을 획득하여 인식하고, 상기 인식된 음성 명령이 미리 정의된 어노테이션 테이블에 존재하는 어노테이션 명령인지를 판단하고, 상기 음성 명령이 상기 어노테이션 명령이면 상기 음성 명령을 기반으로 생성될 수 있다.
상기 환경 정보 기반 실감효과 데이터는, 무선 통신을 통하여 상기 웹으로부터 환경 정보를 획득하고, 상기 획득된 환경 정보를 기초로 생성될 수 있다.
상기 환경 정보는 소정의 시간 및 위치에 해당하는 기온, 습도, 바람 및 강수량 중 적어도 하나의 날씨 정보를 포함할 수 있다.
상기 센서 모듈은 방향 감지 센서, 중력 센서, 가속도 센서, 조도 센서, GPS 센서, 자외선 센서 및 온도 센서 중 적어도 하나를 포함할 수 있다.
상기 영상과 관련된 실감효과 데이터는, 상기 영상 신호를 기반으로 영상의 상황(context)에 부합하는 실감효과를 포함할 수 있다.
상기 음향과 관련된 실감효과 데이터는, 상기 음향 신호를 기반으로 음향 특성 패턴을 검출하고, 상기 검출된 음향 특성 패턴에 해당하는 음향 실감효과를 포함할 수 있다.
상기 영상 데이터는, 영상을 촬영하는 동안 카메라 모듈에 의해 획득된 상기 영상 신호와 마이크 모듈에 의해 획득된 상기 음향 신호를 부호화(encoding)하여 생성될 수 있다.
본 발명의 또 다른 실시형태는 휴대형 단말 장치에서 실감 미디어를 저작하는 방법에 관한 것으로, 카메라 모듈을 이용하여 영상을 촬영하는 단계, 상기 카메라 모듈에 의해 획득된 영상 신호를 기반으로 영상 데이터를 생성하는 단계, 상기 영상 데이터와 연동되어 실감효과를 제공하기 위한 실감효과 관련 정보를 획득하여 실감효과 데이터를 생성하는 단계 및 상기 영상 데이터 및 상기 실감효과 데이터를 기초로 실감 미디어를 생성하는 단계를 포함하며, 상기 실감효과 데이터는 상기 영상 신호로부터 획득된 영상과 관련된 실감효과 데이터, 사용자로부터 획득된 어노테이션(annotation) 정보 기반 실감효과 데이터, 센서 모듈에 의해 감지된 센싱 신호로부터 획득된 센서 관련 실감효과 데이터, 웹(web)으로부터 획득된 환경 정보 기반 실감효과 데이터 및 음향 신호로부터 획득된 음향과 관련된 실감효과 데이터 중 적어도 하나를 포함한다.
실감 미디어를 저작하기 위한 별도의 장비 없이 휴대형 단말 장치를 이용하여 영상 촬영과 동시에 실감효과 관련 정보를 획득할 수 있다. 또한, 영상 촬영 도중 사용자의 음성 명령을 기반으로 사용자가 직접 실감효과 관련 정보를 생성하는 어노테이션 기능을 제공하며, 웹 검색을 이용하여 다양한 정보를 획득함으로써 부가적인 실감효과를 생성할 수 있다. 따라서, 보다 간편하고 용이하게 실감 미디어를 저작할 수 있으며, 촬영과 동시에 실시간으로 실감 미디어를 저작할 수 있다.
도 1은 본 발명의 일 실시예에 따른 실감 미디어를 저작하기 위한 휴대형 단말 장치를 나타낸 블록도이다.
도 2는 본 발명의 일 실시예에 따른 실감 미디어를 저작하기 위한 사용자 인터페이스를 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 실감 미디어를 저작하는 방법을 나타낸 순서도이다.
이하에서는 첨부한 도면을 참조하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 또한 본 발명은 이하에서 설명하는 실시 예에 한정되지 않으며, 본 발명의 기술적 사상의 범위 내에서 여러 가지 상이한 형태로 적용될 수 있다.
본 명세서에서 설명하는 구성요소는 필요에 따라 이하에서 설명할 구성요소 이외의 것을 포함할 수 있으며, 본 발명에 직접적인 연관이 없는 부분 또는 중복되는 내용에 대해서는 자세한 설명을 생략한다. 또한, 본 명세서에서 설명하는 각 구성요소의 배치는 필요에 따라서 조정이 가능하며, 하나의 구성요소가 다른 구성요소에 포함될 수도 있고 하나의 구성요소가 둘 이상의 구성요소로 세분화 될 수도 있다.
도 1은 본 발명의 일 실시예에 따른 실감 미디어를 저작하기 위한 휴대형 단말 장치를 나타낸 블록도이다.
도 1을 참조하면, 휴대형 단말 장치(100)는 카메라 모듈(110), 마이크 모듈(120), 센서 모듈(130), 통신 모듈(140), 영상 생성부(150), 실감효과데이터 생성부(160) 및 실감미디어 생성부(170)를 포함한다.
카메라 모듈(110)은 CCD(Charge-Coupled Device) 카메라 또는 CMOS(Complementary Metal-Oxide-Semiconductor) 카메라 등을 구비하여 영상을 촬영하고, 촬영된 영상을 전기 신호로 변환하여 영상 신호를 획득한다.
마이크 모듈(120)은 마이크로폰(microphone) 등을 구비하여 마이크로폰을 통해 전달되는 소리를 인식하고, 인식된 소리를 전기적 신호로 변환하여 음향 신호를 획득한다.
센서 모듈(130)은 적어도 하나의 센서를 이용하여 적어도 하나의 센싱 정보를 획득한다. 예컨대, 센서 모듈(130)은 방향 감지 센서, 중력 센서, 가속도 센서, 조도 센서, GPS 센서, 자외선 센서, 온도 센서 중 적어도 하나의 센서를 구비할 수 있으며, 각각의 센서로부터 센싱 신호를 획득할 수 있다.
통신 모듈(140)은 통신 인터페이스를 구비하여 무선 통신(예컨대, 와이파이, 와이브로, 와이맥스, 모바일 와이맥스, LTE 등)을 지원한다. 예컨대, 통신 인터페이스에 의해 무선 통신망에 연결되어 웹(web) 서비스를 이용할 수 있다.
영상 생성부(150)는 영상 촬영시 획득되는 영상 신호 및 음향 신호를 기반으로 영상 데이터를 생성한다. 예컨대, 휴대형 단말 장치(100)를 이용하여 영상을 촬영하는 동안 카메라 모듈(110)로부터 획득되는 영상 신호와 마이크 모듈(120)로부터 획득되는 음향 신호를 부호화(encoding)하여 영상 데이터를 생성할 수 있다.
실감효과데이터 생성부(160)는 영상 생성부(150)에 의해 생성된 영상 데이터와 연동되어 실감효과를 제공하기 위한 실감효과 관련 정보를 획득하여 실감효과 데이터를 생성한다.
실감효과 데이터는 영상 신호로부터 획득된 영상과 관련된 실감효과 데이터, 사용자로부터 획득된 어노테이션(annotation) 정보 기반 실감효과 데이터, 센서 모듈에 의해 감지된 센싱 신호로부터 획득된 센서 관련 실감효과 데이터, 웹으로부터 획득된 환경 정보 기반 실감효과 데이터 및 음향 신호로부터 획득된 음향과 관련된 실감효과 데이터 중 적어도 하나를 포함한다.
보다 구체적으로, 실감효과데이터 생성부(160)는 영상실감효과 추출부(161), 음향실감효과 추출부(162), 어노테이션 생성부(163), 센서실감효과 추출부(164), 환경정보 생성부(165) 및 메타데이터 변환부(166)를 포함한다.
영상실감효과 추출부(161)는 카메라 모듈(110)로부터 획득된 영상 신호를 기반으로 영상을 분석하여 필요한 정보들을 추출하고, 추출된 정보들을 바탕으로 영상의 상황(context)에 부합하는 모션 효과 및/또는 조명 효과와 같은 영상과 관련된 실감효과 데이터를 생성한다.
예컨대, 촬영자가 롤러코스터(roller coaster)에 탑승하여 영상을 촬영하는 경우에는 모션 효과를 추출하여 실감효과 데이터를 생성하며, 불꽃 놀이를 촬영하는 경우에는 불꽃의 컬러 및 밝기에 해당하는 조명 효과를 추출하여 실감효과 데이터를 생성할 수 있다. 모션 효과는 영상 내 특정 객체의 움직임을 추출하거나, 카메라 이동에 따른 배경 영상의 이동을 추출하여 획득될 수 있다. 조명 효과는 영상 내 픽셀의 컬러와 밝기를 분석하여 추출할 수 있다.
음향실감효과 추출부(162)는 마이크 모듈(120)로부터 획득된 음향 신호를 기반으로 음향 특성 패턴을 검출하고, 검출된 음향 특성 패턴에 해당하는 음향과 관련된 실감효과 데이터를 생성한다.
이를 위해, 음향 효과부(162)는 음향 신호의 주파수 성분, 피치(pitch), 주기, MFCC(Mel Frequency Cepstral Coefficient) 등을 분석하여 음향 특성 패턴을 검출할 수 있다. 검출된 음향 특성 패턴은 미리 정의된 음향 특성 패턴 테이블을 이용하여 패턴 인식을 수행할 수 있고, 수행 결과 음향 특성 패턴에 해당하는 진동 효과, water jet 효과, wind 효과 등의 실감효과를 추출하여 음향과 관련된 실감효과 데이터를 생성할 수 있다.
예컨대, 음향 신호로부터 진동 특성을 검출하면 음향에 의한 진동 효과를 생성할 수 있고, 분수에서 물이 뿜어져 나오는 소리의 음향 특성 패턴을 검출하면 water jet 효과를 생성할 수 있다. 또는, 바람 소리 및 바람 세기에 대한 음향 특성 패턴을 검출하면 wind 효과를 생성할 수 있다.
어노테이션 생성부(163)는 사용자의 음성 명령을 기초로 어노테이션 정보 기반 실감효과 데이터를 생성한다. 이를 위해, 어노테이션 생성부(163)는 음성 인식부(163a) 및 어노테이션정보 추출부(163b)를 포함한다.
음성 인식부(163a)는 마이크 모듈(120)을 통해 사용자의 음성 명령을 획득하여 인식한다.
예컨대, 영상 촬영 도중 사용자가 직접 실감효과를 생성하기를 원하는 경우, 독립된 단어 또는 연속된 단어 등을 이용하여 음성 명령을 지시할 수 있다. 이때, 사용자의 음성 명령이 마이크 모듈(120)을 통해 음성 인식부(163a)로 전달되면, 음성 인식부(163a)는 독립된 단어 또는 연속된 단어로 구성된 음성 명령을 인식할 수 있다.
어노테이션정보 추출부(163b)는 음성 인식부(163a)에 의해 인식된 음성 명령을 기반으로 어노테이션 정보 기반 실감효과 데이터를 생성한다. 즉, 음성 인식부(163a)에 의해 인식된 음성 명령이 미리 정의된 어노테이션 테이블에 존재하는 어노테이션 명령인지를 판단한다. 판단 결과, 음성 명령이 어노테이션 명령이면 사용자의 음성 명령을 기반으로 어노테이션 정보 기반 실감효과 데이터를 생성한다.
예를 들어, 음성 인식부(163a)에 인식된 단어가 "wind", "효과", "시작", "세기 3", "종료"와 같은 일련의 순서로 구성된 음성 명령인 경우, 어노테이션정보 추출부(163b)는 어노테이션 테이블에 "wind"라는 어노테이션 명령이 존재하는지 판단한다. 만일, "wind"에 해당하는 어노테이션 명령이 존재하면, wind 효과 어노테이션을 생성할 수 있다. 또한, 어노테이션정보 추출부(163b)는 음성 명령 "시작" 및 "종료"가 입력된 시점의 시간 정보를 이용하여 wind 효과의 시작 및 종료 시간에 대한 정보와, 음성 명령 "세기 3"을 이용하여 바람의 세기(강도)에 대한 정보를 wind 효과 어노테이션에 생성할 수 있다.
본 발명에 따른 어노테이션 정보 기반 실감효과 데이터는 영상 신호, 음향 신호, 센싱 신호 등에 의해 획득되기 어려운 실감효과 관련 정보를 손쉽게 추가하기 위한 것으로, 종래의 영상 데이터를 의미론적으로 분석(semantic analysis)하여 영상에 대한 단순 정보를 기술하는 어노테이션 생성 방법과는 달리 사용자가 직접 영상 데이터에 적합한 실감효과를 삽입할 수 있도록 한다. 따라서, 단순히 영상 데이터를 분석하여 추출된 실감효과 정보를 이용하는 경우 보다 다양한 실감효과들을 제공할 수 있다.
또한, 휴대형 단말 장치의 경우 일반적으로 휴대하기 편리하도록 크기가 작게 구성되기 때문에 영상 촬영 중 장치를 조작하여 어노테이션을 생성하는 것은 어려움이 따른다. 반면, 본 발명에 의한 어노테이션 생성 방법은 음성 명령을 이용하기 때문에 휴대형 단말 장치의 사용자가 보다 용이하게 어노테이션을 생성하여 실감 미디어를 저작할 수 있다.
센서실감효과 추출부(164)는 센서 모듈(130)에 의해 획득된 센싱 신호를 기반으로 센서 관련 실감효과 데이터를 생성한다.
예컨대, 영상 촬영 중 휴대형 단말 장치 또는 이를 사용하는 사용자의 움직임은 센서 모듈(130), 예컨대 방향 감지 센서, 중력 센서, 가속도 센서 등을 이용하여 감지되어 센싱 신호를 획득할 수 있다. 이러한 센싱 신호는 센서실감효과 추출부(164)로 전달되고, 센서실감효과 추출부(164)는 센싱 신호에 부합하는 3차원 모션 효과와 같은 센서 관련 실감효과 데이터를 생성할 수 있다. 또는, 온도 센서에서 측정된 온도 정보가 센서실감효과 추출부(164)로 전달되고, 센서실감효과 추출부(164)는 온도 정보를 기반으로 히터 효과 또는 바람 효과와 같은 센서 관련 실감효과 데이터를 생성할 수 있다.
환경정보 생성부(165)는 무선 통신을 통하여 웹으로부터 환경 정보를 획득하고, 획득된 환경 정보를 기초로 환경 정보 기반 실감효과 데이터를 생성한다. 예컨대, 통신 모듈(140)에 의해 무선 통신망에 연결되어 웹 서비스를 이용할 수 있으며, 웹으로부터 필요한 정보를 검색하여 획득할 수 있다.
환경 정보 기반 실감효과 데이터는 상술한 영상과 관련된 실감효과 데이터, 음향과 관련된 실감효과 데이터, 어노테이션 정보 기반 실감효과 데이터, 센서 관련 실감효과 데이터 이외, 웹 검색을 통해 얻을 수 있는 부가적인 실감효과로서, 웹으로부터 기온, 습도, 바람, 강수량 등의 날씨 정보를 포함하는 환경 정보를 획득하여 생성된다. 또한, 웹으로부터 획득된 환경 정보는 보다 유용한 정보로 마이닝(mining)하여 이용될 수도 있다.
예컨대, 휴대형 단말 장치(100)를 이용하여 영상을 촬영하는 촬영 시점 및 촬영 위치, 휴대형 단말 장치(100)의 현재 위치 및 시간, 또는 특정 위치 및 시간에 해당하는 기온, 습도, 바람, 강수량 등의 환경 정보를 웹으로부터 수신할 수 있다. 또한, 수신된 환경 정보를 영상 신호, 음향 신호, 센싱 신호 등과 연동되어 결합될 수 있도록 유용한 정보로 마이닝 할 수도 있다. 시간 및 위치에 대한 정보는 휴대형 단말 장치(100)에 구비된 GPS 센서, 또는 휴대형 단말 장치(100)의 기지국 정보를 이용하여 획득될 수 있다.
메타데이터 변환부(166)는 상술한 영상과 관련된 실감효과 데이터, 음향과 관련된 실감효과 데이터, 어노테이션 정보 기반 실감효과 데이터, 센서 관련 실감효과 데이터, 환경 정보 기반 실감효과 데이터 중 적어도 하나를 포함하는 실감효과 데이터를 메타데이터로 변환한다. 이때, 실감효과 데이터는 MPEG-V(MPEG for Virtual world)와 같은 기술 규격을 이용하여 메타데이터로 변환될 수 있다.
MPEG-V는 가상세계와 현실세계, 그리고 가상세계와 현실세계 간 소통을 위한 인터페이스 규격을 정의하는 것으로, 바람, 온도, 진동 등과 같은 실감효과들의 표현 방법에서부터, 아바타 및 가상 오브젝트들의 표현 방법, 가상세계와 디바이스 연동을 위한 제어 명령어 기술 방법 등 다양한 기술 규격을 포함한다.
표 1은 일 실시예에 따른 바람 효과를 MPEG-V의 기술 규격을 이용하여 메타데이터로 표현한 신택스(syntax)를 나타낸다.
<!-- ################################################ -->
<!-- SEV Wind type -->
<!-- ################################################ -->
<complexType name="WindType">
<complexContent>
<extension base="sedl:EffectBaseType">
<attribute name="intensity-value" type="sedl:intensityValueType"
use="optional"/>
<attribute name="intensity-range" type="sedl:intensityRangeType"
use="optional"/>
</extension>
</complexContent>
</complexType>
실감미디어 생성부(170)는 영상 생성부(150)에 의해 생성된 영상 데이터 및 실감효과데이터 생성부(160)에 의해 생성된 실감효과 데이터를 기초로 실감 미디어를 생성한다.
이때, 영상 데이터와 실감효과 데이터를 멀티플렉싱(multiplexing)하여 하나의 파일로 구성된 실감 미디어를 생성하거나, 또는 영상 데이터와 실감효과 데이터를 각각 별도의 파일로 구성된 실감 미디어를 생성할 수 있다.
도 2는 본 발명의 일 실시예에 따른 실감 미디어를 저작하기 위한 사용자 인터페이스를 나타낸 도면이다.
휴대폰, 스마트 폰, 태블릿 PC, 노트북, PMP, PDA 등과 같은 휴대형 단말 장치를 이용하여 실감 미디어를 저작할 경우, 사용자가 간편하고 용이하게 기기를 조작할 수 있도록 사용자 인터페이스를 구성하는 것이 중요하다.
도 2에 도시된 바와 같이, 사용자 인터페이스(200)는 영상 레코딩 아이콘(210), 영상 실감효과 아이콘(220), 음향 실감효과 아이콘(230), 센서 관련 실감효과 아이콘(240), 어노테이션 아이콘(250) 및 환경정보 마이닝 아이콘(260)을 포함할 수 있다.
이때, 각 아이콘(210~260)은 사용자의 조작에 의해 해당 아이콘의 기능을 ON/OFF 할 수 있다. 예컨대, 어노테이션 아이콘(250)의 기능이 사용자의 조작에 의해 ON으로 설정된 경우에는 상술한 도 1의 어노테이션 생성부(163)에 의해 어노테이션 정보 기반 실감효과 데이터가 생성될 수 있다.
예를 들어, 사용자가 실감 미디어 저작을 위해 영상 레코딩 아이콘(210)을 누르면 제어부(미도시)에서 상기 각 아이콘(210~260)의 ON/OFF 설정에 따라 실감 미디어 저작을 위한 제어를 시작한다. 이때, 카메라 모듈(110), 마이크 모듈(120), 센서 모듈(130) 등은 독립된 주기 단위로 영상 신호, 음향 신호, 센싱 신호를 생성하므로 제어부(미도시)는 각각의 모듈에서 생성된 각 신호의 동기를 맞추는 동기화 기능을 수행한다. 그리고, 제어부(미도시)의 제어 신호에 따라 영상실감효과 추출부(161), 음향실감효과 추출부(162), 어노테이션 생성부(163), 센서실감효과 추출부(164), 환경정보 생성부(165)에서는 해당 실감효과 데이터를 생성한다.
도 3은 본 발명의 일 실시예에 따른 실감 미디어를 저작하는 방법을 나타낸 순서도이다. 이 방법은 도 1의 휴대형 단말 장치(100)에 의해 수행될 수 있다.
도 3을 참조하면, 휴대형 단말 장치(100)가 카메라 모듈(110)을 이용하여 영상을 촬영하는 동안, 휴대형 단말 장치(100)에 구비된 카메라 모듈(110), 마이크 모듈(120), 센서 모듈(130) 및 통신 모듈(140) 중 적어도 하나로부터 영상 신호, 음향 신호, 센싱 신호 및 환경 정보 중 적어도 하나를 획득한다(S10).
휴대형 단말 장치(100)는 카메라 모듈(110)에 의해 획득된 영상 신호와 마이크 모듈(120)에 의해 획득된 음향 신호를 기반으로 영상 데이터를 생성한다(S20). 이는 휴대형 단말 장치(100)의 영상 생성부(150)에 의해 수행될 수 있으며, 영상 생성부(150)가 영상 신호와 음향 신호를 부호화하여 영상 데이터를 생성할 수 있다.
휴대형 단말 장치(100)는 획득된 영상 신호, 음향 신호, 센싱 신호 및 환경 정보 중 적어도 하나를 분석하고(S30), 분석된 영상 신호, 음향 신호, 센싱 신호, 환경 정보로부터 영상 데이터와 연동되어 실감효과를 제공하기 위한 실감효과 관련 정보가 존재하는지 여부를 판단한다(S40). 판단 결과, 실감효과 관련 정보가 존재하면 실감효과 데이터를 생성한다(S50). 단계 S30 ~ S50은 휴대형 단말 장치(100)의 실감효과데이터 생성부(160)에 의해 수행될 수 있다.
예를 들면, 실감효과데이터 생성부(160)는 카메라 모듈(110)에 의해 획득된 영상 신호를 분석하여 영상의 상황에 부합하는 모션 효과, 조명 효과 등과 같은 영상과 관련된 실감효과가 존재하면 영상과 관련된 실감효과 데이터를 생성할 수 있다.
또는, 실감효과데이터 생성부(160)는 마이크 모듈(120)에 의해 획득된 음향 신호를 분석하여 음향 특성 패턴을 검출하고, 검출된 음향 특성 패턴이 미리 정의된 음향 특성 패턴 테이블에 존재하면 음향 특성 패턴에 해당하는 음향과 관련된 실감효과 데이터를 생성할 수 있다.
또는, 실감효과데이터 생성부(160)는 센서 모듈(130)에 의해 획득된 센싱 신호를 분석하여 센싱 신호에 부합하는 모션 효과, 히터 효과, 바람 효과 등과 같은 센서 관련 실감효과가 존재하면 센서 관련 실감효과 데이터를 생성할 수 있다.
또는, 실감효과데이터 생성부(160)는 통신 모듈(140)을 통해 웹과 통신하여 환경 정보, 예컨대 휴대형 단말 장치(100)의 영상 촬영 시 위치 및 시간에 해당하는 기온, 습도, 바람, 강수량 등과 같은 날씨 정보를 획득하고 분석하여 환경 정보 기반 실감효과 데이터를 생성할 수 있다.
한편, 단계 S10에서 마이크 모듈(120)에 의해 획득된 음향 신호를 기반으로 음성 인식을 수행하고(S60), 인식된 음성이 어노테이션 명령인지 여부를 판단한다(S70). 판단 결과, 어노테이션 명령이면 인식된 음성을 기반으로 어노테이션 정보 기반 실감효과 데이터를 생성한다(S80). 단계 S60 ~ S80은 휴대형 단말 장치(100)의 실감효과데이터 생성부(160)에 의해 수행될 수 있다.
예를 들면, 실감효과데이터 생성부(160)는 마이크 모듈(120)에 의해 획득된 음향 신호로부터 사용자의 음성 인식을 수행한다. 인식된 음성이 미리 정의된 어노테이션 테이블에 존재하는지 여부를 판단한다. 만일, 인식된 음성이 어노테이션 테이블에 존재하는 어노테이션 명령이면 이에 해당하는 어노테이션 정보를 생성할 수 있다.
전술한 바와 같이, 영상 신호, 음향 신호, 센신 신호, 환경 정보, 사용자의 음성 명령을 기반으로 생성된 실감효과 데이터는, 영상과 관련된 실감효과 데이터, 음향과 관련된 실감효과 데이터, 센서 관련 실감효과 데이터, 환경 정보 기반 실감효과 데이터 및 어노테이션 정보 기반 실감효과 데이터 중 적어도 하나를 포함할 수 있다. 이러한 실감효과 데이터는 시간 정보를 추가하여 메타데이터 형식으로 변환될 수 있다.
한편, 휴대형 단말 장치(100)는 영상 데이터와 실감효과 데이터를 결합하여 실감 미디어를 생성한다(S90). 이는 휴대형 단말 장치(100)의 실감미디어 생성부(170)에 의해 수행될 수 있다.
상술한 본 발명의 실시예에 따른 휴대형 단말 장치는 휴대폰, 스마트 폰, 태블릿 PC, 노트북, PMP, PDA 등일 수 있다. 또한, 본 발명에 따른 실감 미디어를 저작할 수 있는 휴대형 단말 장치의 경우, 영상 촬영 중 별도의 기기 조작 없이 촬영된 영상 신호, 음향 신호, 센싱 신호를 분석하여 실감효과 관련 정보를 자동으로 추출할 수 있으며, 사용자의 음성 명령에 의해 어노테이션을 생성하여 보다 간편하고 다양한 실감효과를 생성할 수 있다. 그리고, 웹 검색을 이용하여 환경 정보를 자동으로 추출할 수 있다. 따라서, 휴대형 단말 장치에서 영상을 촬영함과 동시에 실감 미디어를 실시간으로 생성할 수 있다.
상술한 실시예들에서, 방법들은 일련의 단계 또는 블록으로서 순서도를 기초로 설명되고 있으나, 본 발명은 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 당해 기술 분야에서 통상의 지식을 가진 자라면 순서도에 나타난 단계들이 배타적이지 않고, 다른 단계가 포함되거나, 순서도의 하나 또는 그 이상의 단계가 본 발명의 범위에 영향을 미치지 않고 삭제될 수 있음을 이해할 수 있을 것이다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호범위는 특허청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100 : 휴대형 단말 장치
110 : 카메라 모듈
120 : 마이크 모듈
130 : 센서 모듈
140 : 통신 모듈
150 : 영상 생성부
160 : 실감효과데이터 생성부
161 : 영상실감효과 추출부 162 : 음향실감효과 추출부
163 : 어노테이션 생성부
163a : 음성 인식부 163b : 어노테이션정보 추출부
164 : 센서실감효과 추출부 165 : 환경정보 생성부
166 : 메타데이터 변환부
170 : 실감미디어 생성부

Claims (16)

  1. 영상 신호를 기반으로 영상 데이터를 생성하는 영상 생성부;
    상기 영상 데이터와 연동되어 실감효과를 제공하기 위한 실감효과 관련 정보를 획득하여 실감효과 데이터를 생성하는 실감효과데이터 생성부; 및
    상기 영상 데이터 및 상기 실감효과 데이터를 기초로 실감 미디어를 생성하는 실감미디어 생성부;를 포함하며,
    상기 실감효과데이터 생성부는 상기 영상 신호로부터 획득된 영상과 관련된 실감효과 데이터, 사용자로부터 획득된 어노테이션(annotation) 정보 기반 실감효과 데이터, 센서 모듈에 의해 감지된 센싱 신호로부터 획득된 센서 관련 실감효과 데이터, 웹(web)으로부터 획득된 환경 정보 기반 실감효과 데이터 및 음향 신호로부터 획득된 음향과 관련된 실감효과 데이터 중 적어도 하나를 포함하는 상기 실감효과 데이터를 생성하는 것을 특징으로 하는 실감 미디어 저작 장치.
  2. 제1항에 있어서,
    상기 실감효과데이터 생성부는,
    상기 영상 신호를 기반으로 영상의 상황(context)에 부합하는 상기 영상과 관련된 실감효과 데이터를 생성하는 영상실감효과 추출부;
    상기 음향 신호를 기반으로 음향 특성 패턴을 검출하고, 상기 검출된 음향 특성 패턴에 해당하는 상기 음향과 관련된 실감효과 데이터를 생성하는 음향실감효과 추출부;
    상기 사용자의 음성 명령을 기초로 상기 어노테이션 정보 기반 실감효과 데이터를 생성하는 어노테이션 생성부;
    상기 센서 모듈에 의해 감지된 센싱 신호를 획득하고, 상기 획득된 센싱 신호를 기반으로 상기 센서 관련 실감효과 데이터를 생성하는 센서실감효과 추출부;
    무선 통신을 통하여 상기 웹으로부터 환경 정보를 획득하고, 상기 획득된 환경 정보를 기초로 상기 환경 정보 기반 실감효과 데이터를 생성하는 환경정보 생성부; 및
    상기 영상과 관련된 실감효과 데이터, 상기 음향과 관련된 실감효과 데이터, 상기 어노테이션 정보 기반 실감효과 데이터, 상기 센서 관련 실감효과 데이터 및 상기 환경 정보 기반 실감효과 데이터 중 적어도 하나를 포함하는 상기 실감효과 데이터를 메타데이터로 변환하는 메타데이터 변환부;를 포함하는 것을 특징으로 하는 실감 미디어 저작 장치.
  3. 제2항에 있어서,
    상기 어노테이션 생성부는,
    상기 사용자로부터 상기 음성 명령을 획득하여 인식하는 음성 인식부; 및
    상기 음성 명령이 미리 정의된 어노테이션 테이블에 존재하는 어노테이션 명령인지를 판단하고, 상기 음성 명령이 상기 어노테이션 명령이면 상기 음성 명령을 기반으로 상기 어노테이션 정보 기반 실감효과 데이터를 생성하는 어노테이션정보 추출부;를 포함하는 것을 특징으로 하는 실감 미디어 저작 장치.
  4. 제2항에 있어서,
    상기 환경정보 생성부는,
    상기 웹으로부터 소정의 시간 및 위치에 해당하는 기온, 습도, 바람 및 강수량 중 적어도 하나의 날씨 정보를 포함하는 상기 환경 정보를 획득하는 것을 특징으로 하는 실감 미디어 저작 장치.
  5. 제2항에 있어서,
    상기 센서 모듈은 방향 감지 센서, 중력 센서, 가속도 센서, 조도 센서, GPS 센서, 자외선 센서 및 온도 센서 중 적어도 하나를 포함하는 것을 특징으로 하는 실감 미디어 저작 장치.
  6. 제1항에 있어서,
    상기 영상 생성부는,
    영상을 촬영하는 동안 카메라 모듈에 의해 획득된 상기 영상 신호와 마이크 모듈에 의해 획득된 상기 음향 신호를 부호화(encoding)하여 상기 영상 데이터를 생성하는 것을 특징으로 하는 실감 미디어 저작 장치.
  7. 실감 미디어를 저작하는 휴대형 단말 장치에 있어서,
    영상을 촬영하여 영상 신호를 획득하는 카메라 모듈;
    상기 영상 신호를 기반으로 영상 데이터를 생성하는 영상 생성부;
    상기 영상 데이터와 연동되어 실감효과를 제공하기 위한 실감효과 관련 정보를 획득하여 실감효과 데이터를 생성하는 실감효과데이터 생성부; 및
    상기 영상 데이터 및 상기 실감효과 데이터를 기초로 실감 미디어를 생성하는 실감미디어 생성부;를 포함하며,
    상기 실감효과데이터 생성부는 상기 영상 신호로부터 획득된 영상과 관련된 실감효과 데이터, 사용자로부터 획득된 어노테이션(annotation) 정보 기반 실감효과 데이터, 센서 모듈에 의해 감지된 센싱 신호로부터 획득된 센서 관련 실감효과 데이터, 웹(web)으로부터 획득된 환경 정보 기반 실감효과 데이터 및 음향 신호로부터 획득된 음향과 관련된 실감효과 데이터 중 적어도 하나를 포함하는 상기 실감효과 데이터를 생성하는 것을 특징으로 하는 것을 특징으로 하는 휴대형 단말 장치.
  8. 영상 신호를 기반으로 영상 데이터를 생성하는 단계;
    상기 영상 데이터와 연동되어 실감효과를 제공하기 위한 실감효과 관련 정보를 획득하여 실감효과 데이터를 생성하는 단계; 및
    상기 영상 데이터 및 상기 실감효과 데이터를 기초로 실감 미디어를 생성하는 단계;를 포함하며,
    상기 실감효과 데이터는 상기 영상 신호로부터 획득된 영상과 관련된 실감효과 데이터, 사용자로부터 획득된 어노테이션(annotation) 정보 기반 실감효과 데이터, 센서 모듈에 의해 감지된 센싱 신호로부터 획득된 센서 관련 실감효과 데이터, 웹(web)으로부터 획득된 환경 정보 기반 실감효과 데이터 및 음향 신호로부터 획득된 음향과 관련된 실감효과 데이터 중 적어도 하나를 포함하는 것을 특징으로 하는 실감 미디어 저작 방법.
  9. 제8항에 있어서,
    상기 어노테이션 정보 기반 실감효과 데이터는,
    상기 사용자로부터 상기 음성 명령을 획득하여 인식하고, 상기 인식된 음성 명령이 미리 정의된 어노테이션 테이블에 존재하는 어노테이션 명령인지를 판단하고, 상기 음성 명령이 상기 어노테이션 명령이면 상기 음성 명령을 기반으로 생성되는 것을 특징으로 하는 실감 미디어 저작 방법.
  10. 제8항에 있어서,
    상기 환경 정보 기반 실감효과 데이터는,
    무선 통신을 통하여 상기 웹으로부터 환경 정보를 획득하고, 상기 획득된 환경 정보를 기초로 생성되는 것을 특징으로 하는 실감 미디어 저작 방법.
  11. 제10항에 있어서,
    상기 환경 정보는 소정의 시간 및 위치에 해당하는 기온, 습도, 바람 및 강수량 중 적어도 하나의 날씨 정보를 포함하는 것을 특징으로 하는 실감 미디어 저작 방법.
  12. 제8항에 있어서,
    상기 센서 모듈은 방향 감지 센서, 중력 센서, 가속도 센서, 조도 센서, GPS 센서, 자외선 센서 및 온도 센서 중 적어도 하나를 포함하는 것을 특징으로 하는 실감 미디어 저작 방법.
  13. 제8항에 있어서,
    상기 영상과 관련된 실감효과 데이터는,
    상기 영상 신호를 기반으로 영상의 상황(context)에 부합하는 실감효과를 포함하는 것을 특징으로 하는 실감 미디어 저작 방법.
  14. 제8항에 있어서,
    상기 음향과 관련된 실감효과 데이터는,
    상기 음향 신호를 기반으로 음향 특성 패턴을 검출하고, 상기 검출된 음향 특성 패턴에 해당하는 음향 실감효과를 포함하는 것을 특징으로 하는 실감 미디어 저작 방법.
  15. 제8항에 있어서,
    상기 영상 데이터는,
    영상을 촬영하는 동안 카메라 모듈에 의해 획득된 상기 영상 신호와 마이크 모듈에 의해 획득된 상기 음향 신호를 부호화(encoding)하여 생성되는 것을 특징으로 하는 실감 미디어 저작 방법.
  16. 휴대형 단말 장치에서 실감 미디어를 저작하는 방법에 있어서,
    카메라 모듈을 이용하여 영상을 촬영하는 단계;
    상기 카메라 모듈에 의해 획득된 영상 신호를 기반으로 영상 데이터를 생성하는 단계;
    상기 영상 데이터와 연동되어 실감효과를 제공하기 위한 실감효과 관련 정보를 획득하여 실감효과 데이터를 생성하는 단계; 및
    상기 영상 데이터 및 상기 실감효과 데이터를 기초로 실감 미디어를 생성하는 단계;를 포함하며,
    상기 실감효과 데이터는 상기 영상 신호로부터 획득된 영상과 관련된 실감효과 데이터, 사용자로부터 획득된 어노테이션(annotation) 정보 기반 실감효과 데이터, 센서 모듈에 의해 감지된 센싱 신호로부터 획득된 센서 관련 실감효과 데이터, 웹(web)으로부터 획득된 환경 정보 기반 실감효과 데이터 및 음향 신호로부터 획득된 음향과 관련된 실감효과 데이터 중 적어도 하나를 포함하는 것을 특징으로 하는 휴대형 단말 장치에서의 실감 미디어 저작 방법.
KR20120102318A 2012-09-14 2012-09-14 실감 미디어 저작 방법 및 장치, 이를 이용하는 휴대형 단말 장치 KR20140035713A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR20120102318A KR20140035713A (ko) 2012-09-14 2012-09-14 실감 미디어 저작 방법 및 장치, 이를 이용하는 휴대형 단말 장치
US13/905,974 US20140082465A1 (en) 2012-09-14 2013-05-30 Method and apparatus for generating immersive-media, mobile terminal using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20120102318A KR20140035713A (ko) 2012-09-14 2012-09-14 실감 미디어 저작 방법 및 장치, 이를 이용하는 휴대형 단말 장치

Publications (1)

Publication Number Publication Date
KR20140035713A true KR20140035713A (ko) 2014-03-24

Family

ID=50275787

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20120102318A KR20140035713A (ko) 2012-09-14 2012-09-14 실감 미디어 저작 방법 및 장치, 이를 이용하는 휴대형 단말 장치

Country Status (2)

Country Link
US (1) US20140082465A1 (ko)
KR (1) KR20140035713A (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160030463A (ko) * 2014-08-12 2016-03-18 시아오미 아이엔씨. 날씨 표시 방법, 장치, 프로그램 및 저장매체
US9613270B2 (en) 2014-08-12 2017-04-04 Xiaomi Inc. Weather displaying method and device
KR20180037519A (ko) * 2016-10-04 2018-04-12 한국전자통신연구원 기계 학습 기반의 실감 미디어 저작 방법 및 장치
US10719741B2 (en) 2017-02-10 2020-07-21 Electronics And Telecommunications Research Institute Sensory information providing apparatus, video analysis engine, and method thereof
US10861221B2 (en) 2017-07-14 2020-12-08 Electronics And Telecommunications Research Institute Sensory effect adaptation method, and adaptation engine and sensory device to perform the same
CN114270870A (zh) * 2019-08-14 2022-04-01 三星电子株式会社 沉浸式显示系统及其方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102252072B1 (ko) 2014-10-14 2021-05-14 삼성전자주식회사 음성 태그를 이용한 이미지 관리 방법 및 그 장치
JP6893606B2 (ja) * 2017-03-20 2021-06-23 達闥机器人有限公司 画像のタグ付け方法、装置及び電子機器
CN110917613A (zh) * 2019-11-30 2020-03-27 吉林大学 一种基于振动触觉的游戏智能桌垫
US11989890B2 (en) * 2020-03-31 2024-05-21 Hcl Technologies Limited Method and system for generating and labelling reference images
US11869319B2 (en) * 2020-12-31 2024-01-09 Datalogic Usa, Inc. Fixed retail scanner with annotated video and related methods

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5737491A (en) * 1996-06-28 1998-04-07 Eastman Kodak Company Electronic imaging system capable of image capture, local wireless transmission and voice recognition
US5969716A (en) * 1996-08-06 1999-10-19 Interval Research Corporation Time-based media processing system
GB2370709A (en) * 2000-12-28 2002-07-03 Nokia Mobile Phones Ltd Displaying an image and associated visual effect
JP3868896B2 (ja) * 2002-01-23 2007-01-17 本田技研工業株式会社 自律移動体用撮像装置、撮像装置較正方法及び撮像装置較正プログラム
US8004584B2 (en) * 2005-04-29 2011-08-23 Hewlett-Packard Development Company, L.P. Method and apparatus for the creation of compound digital image effects
GB2441434B (en) * 2006-08-29 2010-06-23 David Charles Dewhurst Audiotactile vision substitution system
KR101373333B1 (ko) * 2007-07-11 2014-03-10 엘지전자 주식회사 터치인식을 통한 영상촬영 기능을 구비한 휴대 단말기 및그 촬영방법
KR101492635B1 (ko) * 2007-10-16 2015-02-17 한국전자통신연구원 실감 미디어 생성 및 소비 방법 및 그 장치
US8245124B1 (en) * 2008-03-20 2012-08-14 Adobe Systems Incorporated Content modification and metadata
US20100257252A1 (en) * 2009-04-01 2010-10-07 Microsoft Corporation Augmented Reality Cloud Computing
WO2010120137A2 (ko) * 2009-04-15 2010-10-21 한국전자통신연구원 감각 효과를 위한 메타데이터 제공 방법 및 장치, 감각 효과를 위한 메타데이터가 기록된 컴퓨터로 읽을 수 있는 기록 매체, 감각 재생 방법 및 장치
US20100274817A1 (en) * 2009-04-16 2010-10-28 Bum-Suk Choi Method and apparatus for representing sensory effects using user's sensory effect preference metadata
CN101729665B (zh) * 2009-12-11 2013-10-02 惠州Tcl移动通信有限公司 一种具有防抖功能的拍照手机及其在拍照中的防抖方法
KR20110111251A (ko) * 2010-04-02 2011-10-10 한국전자통신연구원 감각 효과를 위한 메타데이터 제공 방법 및 장치, 감각 효과를 위한 메타데이터가 기록된 컴퓨터로 읽을 수 있는 기록 매체, 감각 재생 방법 및 장치
US20120023161A1 (en) * 2010-07-21 2012-01-26 Sk Telecom Co., Ltd. System and method for providing multimedia service in a communication system
KR20120106157A (ko) * 2011-03-17 2012-09-26 삼성전자주식회사 실감 미디어 통합 데이터 파일을 구성 및 재생하는 방법과 그 장치
US20120242572A1 (en) * 2011-03-21 2012-09-27 Electronics And Telecommunications Research Institute System and method for transaction of sensory information
CN102244717B (zh) * 2011-04-14 2014-08-13 钰创科技股份有限公司 可产生特殊音效的网络摄影机及其产生特殊音效的方法
US9286711B2 (en) * 2011-09-30 2016-03-15 Microsoft Technology Licensing, Llc Representing a location at a previous time period using an augmented reality display
US9031847B2 (en) * 2011-11-15 2015-05-12 Microsoft Technology Licensing, Llc Voice-controlled camera operations
US20130212453A1 (en) * 2012-02-10 2013-08-15 Jonathan Gudai Custom content display application with dynamic three dimensional augmented reality

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160030463A (ko) * 2014-08-12 2016-03-18 시아오미 아이엔씨. 날씨 표시 방법, 장치, 프로그램 및 저장매체
US9613270B2 (en) 2014-08-12 2017-04-04 Xiaomi Inc. Weather displaying method and device
KR20180037519A (ko) * 2016-10-04 2018-04-12 한국전자통신연구원 기계 학습 기반의 실감 미디어 저작 방법 및 장치
US10410094B2 (en) 2016-10-04 2019-09-10 Electronics And Telecommunications Research Institute Method and apparatus for authoring machine learning-based immersive (4D) media
US10719741B2 (en) 2017-02-10 2020-07-21 Electronics And Telecommunications Research Institute Sensory information providing apparatus, video analysis engine, and method thereof
US10861221B2 (en) 2017-07-14 2020-12-08 Electronics And Telecommunications Research Institute Sensory effect adaptation method, and adaptation engine and sensory device to perform the same
CN114270870A (zh) * 2019-08-14 2022-04-01 三星电子株式会社 沉浸式显示系统及其方法
CN114270870B (zh) * 2019-08-14 2024-07-09 三星电子株式会社 沉浸式显示系统及其方法

Also Published As

Publication number Publication date
US20140082465A1 (en) 2014-03-20

Similar Documents

Publication Publication Date Title
KR20140035713A (ko) 실감 미디어 저작 방법 및 장치, 이를 이용하는 휴대형 단말 장치
CN109819313B (zh) 视频处理方法、装置及存储介质
US10546582B2 (en) Information processing device, method of information processing, and program
KR102129536B1 (ko) 모바일 단말기 및 그의 제어 방법
KR101874895B1 (ko) 증강 현실 제공 방법 및 이를 지원하는 단말기
CN110933330A (zh) 视频配音方法、装置、计算机设备及计算机可读存储介质
WO2016177296A1 (zh) 一种生成视频的方法和装置
WO2017148294A1 (zh) 基于移动终端的设备控制方法、装置和移动终端
WO2016124095A1 (zh) 生成视频的方法、装置及终端
CN103916595A (zh) 用于获得图像的方法和用于处理该方法的电子装置
US8521007B2 (en) Information processing method, information processing device, scene metadata extraction device, loss recovery information generation device, and programs
CN110322760B (zh) 语音数据生成方法、装置、终端及存储介质
KR20130106833A (ko) 휴대용 전자 디바이스에 대한 입력을 증진시키기 위한 카메라 사용
JP2014011676A (ja) コンテンツ再生制御装置、コンテンツ再生制御方法及びプログラム
KR20140081636A (ko) 콘텐트 재생 방법 및 이를 위한 단말
CN110556127A (zh) 语音识别结果的检测方法、装置、设备及介质
AU2013273781A1 (en) Method and apparatus for recording video image in a portable terminal having dual camera
CN104461348B (zh) 信息选取方法及装置
CN104049861A (zh) 电子装置及操作所述电子装置的方法
CN108962220A (zh) 多媒体文件播放场景下的文本显示方法及装置
CN103731711A (zh) 智能电视对于操作的执行方法和系统
CN111368136A (zh) 歌曲识别方法、装置、电子设备及存储介质
CN112118397B (zh) 一种视频合成的方法、相关装置、设备以及存储介质
CN103338330A (zh) 一种图像处理方法、装置和终端
CN116257159A (zh) 多媒体内容的分享方法、装置、设备、介质及程序产品

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid