Nothing Special   »   [go: up one dir, main page]

KR100889367B1 - 네트워크를 통한 가상 스튜디오 구현 시스템 및 그 방법 - Google Patents

네트워크를 통한 가상 스튜디오 구현 시스템 및 그 방법 Download PDF

Info

Publication number
KR100889367B1
KR100889367B1 KR1020070023426A KR20070023426A KR100889367B1 KR 100889367 B1 KR100889367 B1 KR 100889367B1 KR 1020070023426 A KR1020070023426 A KR 1020070023426A KR 20070023426 A KR20070023426 A KR 20070023426A KR 100889367 B1 KR100889367 B1 KR 100889367B1
Authority
KR
South Korea
Prior art keywords
image
dimensional
virtual studio
virtual
client terminal
Prior art date
Application number
KR1020070023426A
Other languages
English (en)
Other versions
KR20080082759A (ko
Inventor
장철웅
Original Assignee
(주) 이브로드캐스트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주) 이브로드캐스트 filed Critical (주) 이브로드캐스트
Priority to KR1020070023426A priority Critical patent/KR100889367B1/ko
Priority to PCT/KR2008/001170 priority patent/WO2008111746A1/en
Publication of KR20080082759A publication Critical patent/KR20080082759A/ko
Application granted granted Critical
Publication of KR100889367B1 publication Critical patent/KR100889367B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H04N5/275—Generation of keying signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/74—Circuits for processing colour signals for obtaining special effects
    • H04N9/75—Chroma key
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/16—Indexing scheme for image data processing or generation, in general involving adaptation to the client's capabilities

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Studio Circuits (AREA)
  • Processing Or Creating Images (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명은 인터넷 네트워크를 통한 클라이언트 컴퓨터와 가상 스튜디오 서버와의 분산 처리 기법을 통해서 2차원 또는 3차원의 가상 스튜디오 비디오 영상을 생성하는 것이 가능하도록 하는 네트워크를 통한 가상 스튜디오 구현 시스템 및 그 방법을 제공한다.
이를 위해 본 발명은 카메라를 통해 촬영한 액터(Actor)를 포함한 영상을 네트워크를 통해 가상 스튜디오 서버에 전송하고, 가상 스튜디오 서버로부터 최종적으로 생성된 2차원 또는 3차원 가상 스튜디오 비디오 영상을 수신받아 재생 및 저장하는 클라이언트 단말과, 네트워크를 통해 수신받은 상기 클라이언트 단말로부터의 카메라 촬영 영상에서 액터 영상을 크로마 키(Chroma Key)에 의해 추출하고, 추출된 액터 영상을 2차원 또는 3차원 가상 세트 배경과 합성하여 최종적으로 생성되는 2차원 또는 3차원 가상 스튜디오 영상을 상기 클라이언트 단말에 전송하는 가상 스튜디오 서버 및, 다수 종류의 2차원 또는 3차원 세트 배경 영상을 저장하고, 클라이언트 단말로부터 제공되는 카메라 촬영 영상을 저장함과 더불어, 크로마 키에 의해 추출된 액터의 영상을 저장하고, 최종적으로 생성된 2차원 또는 3차원 가상 스튜디오 비디오 영상 데이터를 저장하는 가상 스튜디오 데이터베이스를 포함하여 구성된 것을 특징으로 한다.
가상, 스튜디오, 크로마 키, 2차원, 3차원, 세트, 배경

Description

네트워크를 통한 가상 스튜디오 구현 시스템 및 그 방법{System and Method for Realizing Vertual Studio via Network}
도 1은 본 발명에 따른 네트워크를 통한 가상 스튜디오 구현 시스템의 구성을 나타낸 도면,
도 2는 도 1에 도시된 클라이언트 단말의 구성을 상세히 나타낸 도면,
도 3은 도 1에 도시된 가상 스튜디오 서버의 구성을 상세히 나타낸 도면,
도 4는 본 발명의 바람직한 실시예에 따라 클라이언트 단말과 가상 스튜디오 서버와의 분산적인 처리에 의해 2차원 또는 3차원의 가상 스튜디오 기법이 적용된 가상 비디오가 제작되는 일예를 나타낸 도면,
도 5는 본 발명에 적용되는 크로마 키 기법에 대한 화면 예를 나타낸 도면,
도 6은 본 발명에 따른 네트워크를 통한 가상 스튜디오 구현 방법에 대한 동작을 설명하는 플로우차트이다.
<도면의 주요 부분에 대한 부호의 설명>
10:키입력부, 12:카메라,
14:하드디스크 드라이브, 16:마이크로 프로세서,
18:비디오 처리부, 20:모니터,
22:오디오 처리부, 24:스피커,
26:마이크로폰, 28:데이터 통신모듈,
30:네트워크 인터페이스, 32:오퍼레이팅 시스템,
34:디코더, 36:라이브 비디오 매니저,
38:크로마키 엔진, 40:세트 매니저,
42:2차원 믹서, 44:3차원 렌더러 엔진,
46:유저 인터페이스, 48:엔코더,
100:가상 스튜디오 서버, 200:가상 스튜디오 데이터베이스,
A1∼An:클라이언트 단말.
본 발명은 인터넷 네트워크를 통한 클라이언트 단말과 가상 스튜디오 서버의 분산 처리에 의해, 고성능의 컴퓨터 단말을 구비하지 않고서도 2차원 또는 3차원의 가상 스튜디오 비디오 영상을 제작할 수 있도록 하는 네트워크를 통한 가상 스튜디오 구현 시스템 및 그 방법에 관한 것이다.
종래, 2차원 또는 3차원의 가상적인 비디오 영상을 제작하기 위한 2차원 또는 3차원 가상 스튜디오는, 멀티미디어 기술이 대중적인 이용이 가능하도록 발전되기 이전까지 텔레비전 방송국이나 방송 프로그램의 제작사들만이 사용할 수 있었던 고가의 전용 솔루션으로 적용되어 왔다.
이러한 2차원 또는 3차원 가상 스튜디오 기술은 2차원 또는 3차원 세트의 디 자인을 위한 렌더링에 있어서 높은 CPU 파워가 요구되고, 고가의 그래픽 카드를 적용하여야 함과 더불어, 크로마 키(Chroma Key)와 같은 고가의 솔루션을 적용한 전문적인 처리 기술이 요구되는 작업이 필수적으로 필요하기 때문에, 통상적인 시스템 자원의 컴퓨터를 이용해서는 일반 사용자가 구현하기 어려운 점이 많았다.
즉, 가상 스튜디오 기술은 2차원 또는 3차원의 세트 배경 영상 생성 기술과, 세트 배경을 카메라 촬영 영상과 합성하는 기술을 모두 이용하여 그래픽으로 생성한 2차원 또는 3차원 세트 배경 영상을 카메라로부터 촬영된 액터(Actor)의 동영상과 자연스럽게 합성시키고, 카메라의 이동을 센서가 감지하여 카메라의 위치에 상응하는 배경을 그려서 합성할 수 있도록 함에 의해, 액터가 그래픽으로 구현된 세트 배경에 실제로 위치하고 있는 것과 같은 효과를 만들도록 해야 하지만, 통상의 컴퓨터에서는 그 구현이 어렵다는 단점이 있었다.
한편, 최근에는 개인용 컴퓨터의 고성능화와 더불어, 동영상 처리 및 2차원 또는 3차원의 디자인 처리 솔루션이 대중화됨에 따라, 개인용 컴퓨터를 사용하여 사용자가 임의적으로 가상적인 비디오 동영상을 디자인하여 제작하는 것이 가능하도록 되어 있고, 그 제작된 동영상을 인터넷을 통해 배포하는 사용자 제작 컨텐츠(User Created Contents; UCC) 서비스가 활발하게 운영되고 있는 상태이다.
그러나, 이러한 개인용 컴퓨터를 통한 2차원 또는 3차원의 동영상 처리 기술은, 사용자 제작 컨텐츠(UCC) 등과 같이 단순한 제작 기법이 요구되는 컨텐츠에 대해서는 무리없이 적용이 가능하도록 되어 있지만, 2차원 또는 3차원의 배경 디자인에 대한 정밀한 렌더링이 요구되거나, 크로마 키 기술이 적용되는 가상 스튜디오 기술의 플랫폼으로서는 여전히 사용하기 어렵다는 불리함이 있다.
따라서, 본 발명은 상기한 종래의 사정을 감안하여 이루어진 것으로서, 그 목적은 인터넷 네트워크를 통한 클라이언트 컴퓨터와 가상 스튜디오 서버와의 분산 처리 기법을 통해서 2차원 또는 3차원의 가상 스튜디오 비디오 영상을 생성하는 것이 가능하도록 하는 네트워크를 통한 가상 스튜디오 구현 시스템 및 그 방법을 제공하는 것이다.
상기한 목적을 달성하기 위해 본 발명의 시스템에 따르면, 카메라를 통해 촬영한 액터(Actor)를 포함한 영상을 네트워크를 통해 가상 스튜디오 서버에 전송하고, 가상 스튜디오 서버로부터 최종적으로 생성된 2차원 또는 3차원 가상 스튜디오 비디오 영상을 수신받아 재생 및 저장하는 클라이언트 단말과, 네트워크를 통해 수신받은 상기 클라이언트 단말로부터의 카메라 촬영 영상에서 액터 영상을 크로마 키(Chroma Key)에 의해 추출하고, 추출된 액터 영상을 2차원 또는 3차원 가상 세트 배경과 합성하여 최종적으로 생성되는 2차원 또는 3차원 가상 스튜디오 영상을 상기 클라이언트 단말에 전송하는 가상 스튜디오 서버 및, 다수 종류의 2차원 또는 3차원 세트 배경 영상을 저장하고, 클라이언트 단말로부터 제공되는 카메라 촬영 영상을 저장함과 더불어, 크로마 키에 의해 추출된 액터의 영상을 저장하고, 최종적으로 생성된 2차원 또는 3차원 가상 스튜디오 비디오 영상 데이터를 저장하는 가상 스튜디오 데이터베이스를 포함하여 구성된 것을 특징으로 하는 네트워크를 통한 가 상 스튜디오 구현 시스템을 제공한다.
상기한 목적을 달성하기 위해 본 발명의 방법에 따르면, 클라이언트 단말에서 네트워크를 통해 가상 스튜디오 서버와 접속하여 카메라로부터 촬영된 액터가 포함된 영상을 전송하는 단계와, 상기 가상 스튜디오 서버에서 크로마 키를 이용하여 상기 카메라 촬영 영상에서 액터 영상을 추출하는 단계, 상기 추출된 액터 영상을 2차원 또는 3차원 가상 세트 배경과 합성하는 단계 및, 상기 가상 스튜디오 서버에서 액터 영상이 2차원 또는 3차원 가상 세트 배경과 합성된 최종적인 2차원 또는 3차원 가상 스튜디오 비디오 영상을 상기 클라이언트 단말에 전송하고, 상기 클라이언트 단말에서 2차원 또는 3차원 가상 스튜디오 비디오 영상을 수신받아 재생 및 저장하는 단계를 포함하여 이루어진 것을 특징으로 하는 네트워크를 통한 가상 스튜디오 구현 방법을 제공한다.
이하, 상기한 바와 같이 구성된 본 발명에 대해 첨부도면을 참조하여 상세히 설명한다.
즉, 도 1은 본 발명에 따른 네트워크를 통한 가상 스튜디오 구현 시스템의 구성을 나타낸 도면이다.
도 1에 도시된 바와 같이, 본 발명에 다른 네트워크를 통한 가상 스튜디오 구현 시스템은, 다수의 클라이언트 단말(A1∼An)과, 가상 스튜디오 서버(100), 가상 스튜디오 데이터베이스(200)로 구성된다.
상기 다수의 클라이언트 단말(A1∼An)은 인터넷망을 통해 상기 가상 스튜디오 서버(100)에 접속하여 멀티미디어 정보의 교환이 가능하도록 하는 모뎀 및 랜카 드와 같은 네트워크 어댑터와, 인터넷 웹브라우저 프로그램이 각각 탑재되고, 주변 영상을 촬영하기 위한 카메라가 탑재되고서, 상기 가상 스튜디오 서버(100)에서 제시하는 2차원 또는 3차원 세트 배경 중에서 원하는 세트를 선택하고, 상기 카메라를 통하여 액터를 포함한 영상을 촬영하여 상기 가상 스튜디오 서버(100)에 제공하며, 상기 가상 스튜디오 서버(100)로부터의 세트 배경 렌더링과 크로마 키에 의해 추출된 액터와의 합성 처리를 통해 최종적으로 생성된 가상 스튜디오 비디오 영상을 수신받아 재생한다.
여기서, 상기 각 클라이언트 단말(A1∼An)은 도 2에 도시된 바와 같이, 키입력부(10)와, 카메라(12), 하드디스크 드라이브(14), 마이크로 프로세서(16), 비디오 처리부(18), 모니터(20), 오디오 처리부(22), 스피커(24), 마이크로폰(26), 데이터 통신 모듈(28)을 포함하여 구성된다.
상기 키입력부(10)는 키보드 및 마우스와 같은 좌표 입력 장치로 이루어지고서, 인터넷망 상에서 상기 가상 스튜디오 서버(100)로부터 제시되는 2차원 또는 3차원 세트 배경 중에서 특정 세트 배경을 선택하고, 카메라(12)로부터 촬영된 영상을 인터넷망을 통해 상기 가상 스튜디오 서버(100)로 전송하기 위한 키입력을 수행한다.
상기 카메라(12)는 가상 스튜디오 영상에 삽입될 액터를 포함한 주변 영상을 촬영하여 제공하기 위한 것이다.
상기 하드디스크 드라이브(14)는 해당 클라이언트 단말의 시스템을 운영하기 위한 윈도우즈(Windows)와 같은 운영 프로그램과, 인터넷 웹브라우저 프로그램, 상 기 카메라(12)로부터 촬영된 영상을 상기 가상 스튜디오 서버(100)에 제공하기 위한 전송 프로토콜이 정의된 응용 프로그램이 저장되고, 상기 가상 스튜디오 서버(100)로부터 생성된 최종적인 2차원 또는 3차원 가상 스튜디오 비디오 영상 데이터를 수신받아 저장하게 된다.
상기 마이크로 프로세서(16)는 인터넷 웹브라우저 프로그램을 통한 상기 가상 스튜디오 서버(100)와의 접속 상태에서, 그 가상 스튜디오 서버(100)가 제시하는 2차원 또는 3차원 세트 배경 중에서 상기 키입력부(10)의 키입력 조작으로 특정 세트 배경이 선택되도록 하고, 상기 카메라(12)로부터 촬영된 영상을 인터넷망을 통해 상기 가상 스튜디오 서버(100)에 전송하기 위한 처리를 수행하며, 상기 가상 스튜디오 서버(100)로부터의 최종적인 2차원 또는 3차원 가상 스튜디오 비디오 영상을 재생하기 위한 비디오/오디오 처리를 제어한다.
여기서, 상기 마이크로 프로세서(16)는 상기 가상 스튜디오 서버(100)와의 인터넷망을 통한 연동 기능에 의해 가상 스튜디오 처리를 수행하기 위해서 ActiveX Control을 사용하게 되는데, 해당 클라이언트 단말의 시스템 운영 프로그램으로서 윈도우 비스타(Window VISTA)를 사용하는 경우에는 AcitiveX Control 방식을 적용하지 않으므로 다른 방식을 적용하는 것도 가능하다.
상기 비디오 처리부(18)는 인터넷 웹브라우저를 통해 재현되는 상기 2차원 또는 3차원 세트 배경이나, 카메라(12)로부터 촬영된 영상, 최종적인 2차원 또는 3차원 가상 스튜디오 비디오 영상을 상기 모니터(20)를 통해 디스플레이하기 위한 영상신호의 비디오 처리를 수행하는 것이다.
상기 오디오 처리부(22)는 스피커(24) 및 마이크로폰(26)으로 이루어진 헤드셋에 카메라(12)로부터 촬영된 영상에 포함된 오디오 신호와, 최종적인 2차원 또는 3차원 가상 스튜디오 비디오 영상에 포함된 오디오 신호를 음성 출력하기 위한 오디오 처리 및, 마이크로폰(26)으로부터 입력된 음성을 카메라(12)로 촬영된 영상과 합성시키기 위해 오디오 신호 처리하기 위한 것이다.
한편, 상기 클라이언트 단말(A1∼An)은 상기 가상 스튜디오 서버(100)로부터 제시되는 2차원 또는 3차원 가상 세트 배경 중에서 원하는 세트 배경을 선택할 수 있도록 되어 있지만, 이에 한정되지 않고 해당 클라이언트 단말에서 예컨대 "3D MAX" 또는 "MAYA" 등과 같은 멀티미디어 디자인 전용 소프트웨어 프로그램을 이용하여 원하는 디자인의 2차원 또는 3차원 세트 배경을 직접 렌더링하여 작성하고, 상기 직접 작성된 2차원 또는 3차원 세트 배경을 상기 가상 스튜디오 서버(100)에 업로드하고, 가상 스튜디오 영상의 세트 배경으로서 선택하도록 하는 것도 얼마든지 가능하다.
도 1에서, 상기 가상 스튜디오 서버(100)는 인터넷망을 통해 상기 각 클라이언트 단말(A1∼An)과 접속하고서, 2차원 또는 3차원 세트 배경 정보를 제공하여 각 클라이언트 단말에서 원하는 세트 배경을 선택할 수 있도록 하고, 각 클라이언트 단말에서 제공되는 카메라로부터 촬영된 동영상 데이터에서 액터를 크로마 키에 의해 추출하고, 추출된 액터 영상을 세트 배경 영상에 합성하여 최종적으로 생성되는 2차원 또는 3차원 가상 스튜디오 비디오 영상을 해당되는 클라이언트 단말로 전송한다.
상기 가상 스튜디오 데이터베이스(200)는 상기 클라이언트 단말(A1∼An)에 제시한 다양한 종류의 2차원 또는 3차원 세트 배경 영상을 저장하고, 각 클라이언트 단말로부터 제공되는 카메라 촬영 영상을 저장함과 더불어, 크로마 키에 의해 추출된 액터의 영상을 저장하고, 최종적으로 추출된 2차원 또는 3차원 가상 스튜디오 비디오 영상 데이터를 저장하게 된다.
상기 2차원 가상 세트 배경은, 이미지 파일이나 2차원 동영상 파일, 플래시 파일로 이루어지는 것이 바람직하고, 상기 3차원 가상 세트 배경은 이미지 파일, 동영상 파일, 플래시 파일이 배경의 다이나믹한 위치 설정을 위해 XML 파일 및 자바 스크립트(Java Script) 파일과 결합된 형태(즉, 멀티미디어 파일 + XML 파일 + 자바 스크립트 파일)로 이루어지는 것이 바람직하다.
여기서, 상기 가상 스튜디오 서버(100)는 도 3에 도시된 바와 같이, 네트워크 인터페이스(Network Interface)(30)와, 오퍼레이팅 시스템(Operating System)(32), 디코더(Decoder)(34), 라이브 비디오 매니저(Live Video Manager)(36), 크로마키 엔진(Chroma Key Engine)(38), 세트 매니저(Set Manager)(40), 2차원 믹서(2 Dimension Mixer)(42), 3차원 렌더러 엔진(3 Dimension Renderer Engine)(44), 유저 인터페이스(User Interface)(46), 엔코더(Encoder)(48)를 포함하여 구성된다.
상기 네트워크 인터페이스(30)는 인터넷망을 통해 상기 클라이언트 단말과 접속하여 카메라 촬영 영상을 수신받음과 더불어, 최종적으로 합성된 2차원 또는 3차원 가상 스튜디오 비디오 영상을 전송하게 되고, 상기 오퍼레이팅 시스템(32)은 해당 서버에서 하드웨어와 소프트웨어 간의 기능을 연결하고, 해당 서버의 동작을 관리하는 운영체제이다.
상기 디코더(34)는 상기 클라이언트 단말로부터 수신받은 카메라 촬영 영상이 예컨대 "MPEG4" 와 같은 영상 압축 알고리즘에 의해 압축되어 있으면, 그 영상의 압축을 해제하기 위한 디코딩 처리를 수행한다.
상기 라이브 비디오 매니저(36)는 상기 디코더(34)를 통해서 디코딩된 카메라 촬영 영상을 상기 크로마키 엔진(38)에 제공하여 액터 영상이 추출될 수 있도록 하고, 카메라 촬영 영상과 크로마키에 의해 추출된 액터 영상을 가상 스튜디오 데이터베이스(200)에 저장하여 관리하기 위한 것이다.
상기 크로마키 엔진(38)은 상기 카메라 촬영 영상에서 세트 배경과 합성될 액터 영상부분을 크로마 키를 통해서 추출하기 위한 것이다.
상기 세트 매니저(40)는 상기 가상 스튜디오 데이터베이스(200)에 저장된 다양한 종류의 2차원 또는 3차원 세트 배경 데이터를 인터넷망을 통해 상기 클라이언트 단말에 제공하고, 그 클라이언트 단말의 사용자에 의해 선택된 2차원 또는 3차원 배경 영상이 2차원 믹서(42) 또는 3차원 렌더러 엔진(44)에 의해 액터 영상과 합성되도록 관리하기 위한 것이다.
상기 2차원 믹서(42)는 상기 크로마키 엔진(38)에서 추출된 액터 영상을 상기 유저 인터페이스(46)를 통한 관리자의 조작에 따라 상기 클라이언트 단말의 사용자가 선택한 2차원 세트 배경과 합성하기 위한 영상 믹싱 처리를 수행한다.
상기 3차원 렌더러 엔진(44)은 상기 크로마키 엔진(38)으로부터 추출된 액터 영상을 상기 유저 인터페이스(46)를 통한 관리자의 조작에 따라 상기 클라이언트 단말의 사용자가 선택한 3차원 세트 배경과 합성하기 위한 3차원 그래픽 렌더링 처리를 수행한다.
상기 엔코더(48)는 최종적으로 생성된 2차원 또는 3차원 가상 스튜디오 비디오 영상을 예컨대 "MPEG4" 와 같은 고효율의 압축 알고리즘에 의해 영상 압축하기 위한 엔코딩 처리를 수행한다.
다음에, 도 4는 본 발명의 바람직한 실시예에 따라 클라이언트 단말과 가상 스튜디오 서버와의 분산적인 처리에 의해 2차원 또는 3차원의 가상 스튜디오 기법이 적용된 가상 비디오가 제작되는 일예를 나타낸 도면이다.
도 4에 도시된 바와 같이, 특정 클라이언트 단말이 인터넷망을 통해 가상 스튜디오 서버(100)와 접속한 상태에서, 그 가상 스튜디오 서버(100)에서 다양한 종류의 2차원 또는 3차원 세트 배경 정보를 제시하게 되면, 상기 특정 클라이언트 단말에서는 사용자에 의해 특정한 2차원 또는 3차원의 세트 배경을 선택하게 된다.
그 상태에서, 상기 클라이언트 단말은 카메라(12)를 통해 액터를 포함한 주변 영상을 촬영하여 인터넷망을 통해 상기 가상 스튜디오 서버(100)에 전송하게 되고, 상기 가상 스튜디오 서버(100)는 상기 카메라 촬영 영상에서 크로마 키 기법에 의해 목표로 하는 액터 영상을 추출하여 사용자에 의해 선택된 2차원 또는 3차원 세트 배경 영상과 합성한 다음에, 최종적으로 합성된 2차원 또는 3차원 가상 스튜디오 비디오 영상을 상기 클라이언트 단말에 전송한다.
그에 따라, 상기 클라이언트 단말에서는 상기 가상 스튜디오 서버(100)로부 터 제공되는 최종적인 2차원 또는 3차원 가상 스튜디오 비디오 영상을 모니터 및 스피커를 통해 영상 디스플레이 및 음성 재생 출력함과 더불어, 그 하드디스크 드라이브에 저장하여 보관한다.
한편, 상기 가상 스튜디오 서버(100)에서 진행되는 크로마 키 기법은 도 5에 도시된 바와 같이, 청색이나 초록색의 배경에서 액터가 포함된 카메라 촬영 영상의 각각의 이미지마다 액터의 이미지를 제외한 불필요한 주변 이미지 화소를 제거하는 처리(예컨대 우측 메뉴의 타원의 범위에 있는 색상의 화소를 제거하는 작업)를 진행함에 의해 액터 이외의 모든 배경이 투명하게 처리되도록 하고, 이렇게 처리된 액터의 이미지를 합성하고자 하는 2차원 세트 배경 또는 3차원 세트 배경과 합성될 수 있도록 하는 것이다.
이어, 상기한 바와 같이 이루어진 본 발명의 동작에 대해 도 6의 플로우차트를 참조하여 상세히 설명한다.
먼저, 다수의 클라이언트 단말(A1∼An) 중에서 특정 클라이언트 단말(A1)이 인터넷망을 통해 가상 스튜디오 서버(100)와 접속한 상태에서(단계 S10), 상기 가상 스튜디오 서버(100)는 클라이언트 단말(A1)의 요청에 따라 다양한 종류의 2차원 또는 3차원 세트 배경 정보를 인터넷 웹브라우저를 통해서 제시하게 되고(단계 S 11), 상기 클라이언트 단말(A1)은 상기 제시된 다양한 종류의 세트 배경 중에서 사용자가 원하는 2차원 또는 3차원 세트 배경을 선택하게 된다(단계 S12).
그 상태에서, 상기 클라이언트 단말(A1)은 카메라(12)를 통하여 가상 스튜디오 비디오 영상에 포함될 액터를 포함한 주변 영상을 촬영하게 되고(단계 S13), 이 렇게 촬영된 동영상 데이터를 예컨대 "MPEG4" 와 같은 동영상 압축 알고리즘에 의해 압축하여 인터넷망을 통해 상기 가상 스튜디오 서버(100)에 전송한다(단계 S14).
상기 가상 스튜디오 서버(100)의 디코더(34)는 네트워크 인터페이스(30)를 통해 수신되는 카메라 촬영 영상의 동영상 압축을 해제하기 위한 디코딩 처리를 수행하고, 크로마키 엔진(38)에서는 라이브 비디오 매니저(36)의 관리하에 카메라 촬영 영상에서 액터 영상만을 추출한 다음에(단계 S15), 그 추출된 액터 영상을 사용자가 선택한 2차원 세트 배경과 합성하기 위해 2차원 믹서(42)에서 영상 합성을 진행하거나, 사용자가 선택한 3차원 세트 배경과 합성하기 위해 3차원 렌더러 엔진(44)에서 영상 합성을 진행하게 된다(단계 S16).
상기와 같이 2차원 또는 3차원 세트 배경 영상과 액터 영상이 합성되면, 상기 가상 스튜디오 서버(100)의 엔코더(48)에서는 최종적인 2차원 또는 3차원 가상 스튜디오 비디오 영상을 예컨대 "MPEG4" 와 같은 동영상 압축 알고리즘에 의해 압축하기 위한 엔코딩 처리를 수행하여 네트워크 인터페이스(30)를 통해 상기 클라이언트 단말(A1)에 전송한다(단계 S17).
상기 클라이언트 단말(A1)은 상기 가상 스튜디오 서버(100)로부터 전송받은 최종적인 2차원 또는 3차원 가상 스튜디오 비디오 영상 데이터를 그 하드디스크 드라이브(14)에 저장하게 되고, 비디오 처리부(18)의 비디오 처리와 오디오 처리부(22)를 통한 오디오 처리를 거쳐서 모니터(20)와 스피커(24)를 통해 최종적인 가상 스튜디오 비디오 영상을 디스플레이 및 음성 출력하게 된다(단계 S18).
한편, 상기 가상 스튜디오 서버(100)에서는 2차원 또는 3차원 세트 배경 영상과 액터 영상이 합성된 최종 가상 스튜디오 비디오 영상을 비디오 스트림으로서 클라이언트 단말로 전송하여 재생하거나 저장하는 것이 가능하도록 할 뿐만 아니라, 해당 가상 스튜디오 서버(100)에서 바로 그 스트림을 저장하였다가 클라이언트 단말의 사용자 요청에 의해 VOD 파일로 이용할 수 있도록 하거나, 라이브 비디오를 직접 인터넷으로 실시간 서비스하는 것이 가능하도록 한다.
상기에서 본 발명의 특정한 실시예가 설명 및 도시되었지만, 본 발명이 당업자에 의해 다양하게 변형되어 실시될 가능성이 있는 것은 자명한 일이다. 이와 같은 변형된 실시예들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안되며, 본 발명에 첨부된 청구범위 안에 속한다고 해야 할 것이다.
이상과 같이 본 발명에 따르면, 인터넷망을 통한 클라이언트측 컴퓨터 단말과 가상 스튜디오 서버와의 정보 교환에 의한 분산 처리에 의해, 클라이언트측 컴퓨터 단말에서 액터가 포함된 카메라 촬영 영상을 제공하고, 가상 스튜디오 서버에서 카메라 촬영 영상으로부터 원하는 액터의 영상을 크로마 키에 의해 추출하여 2차원 또는 3차원 가상 세트 배경에 합성함에 의해, 최종적으로 생성된 2차원 또는 3차원 가상 스튜디오 비디오 영상을 클라이언트측 컴퓨터 단말에 제공할 수 있도록함에 따라, 많은 컴퓨팅 파워 및 고가의 비디오 카드 등과 같은 가상 스튜디오용 장비를 갖추지 않아도 통상적인 시스템 제원의 컴퓨터 단말을 가지고서도 원하는 가상 스튜디오 비디오 영상을 획득할 수 있다는 효과를 갖게 된다.

Claims (9)

  1. 삭제
  2. 카메라를 통해 촬영한 액터(Actor)를 포함한 영상을 네트워크를 통해 가상 스튜디오 서버에 전송하고, 가상 스튜디오 서버로부터 최종적으로 생성된 2차원 또는 3차원 가상 스튜디오 비디오 영상을 수신받아 재생 및 저장하는 클라이언트 단말과;
    네트워크를 통해 수신받은 상기 클라이언트 단말로부터의 카메라 촬영 영상에서 액터 영상을 크로마 키(Chroma Key)에 의해 추출하고, 다수 종류의 2차원 또는 3차원 가상 세트 배경 데이터를 제시하여, 상기 클라이언트 단말에서 선택한 2차원 또는 3차원 가상 세트 배경을 상기 추출된 액터 영상과 합성하여 최종적으로 생성되는 2차원 또는 3차원 가상 스튜디오 영상을 상기 클라이언트 단말에 전송하는 가상 스튜디오 서버; 및
    다수 종류의 2차원 또는 3차원 세트 배경 영상을 저장하고, 클라이언트 단말로부터 제공되는 카메라 촬영 영상을 저장함과 더불어, 크로마 키에 의해 추출된 액터의 영상을 저장하고, 최종적으로 생성된 2차원 또는 3차원 가상 스튜디오 비디오 영상 데이터를 저장하는 가상 스튜디오 데이터베이스를 포함하여 구성된 것을 특징으로 하는 네트워크를 통한 가상 스튜디오 구현 시스템.
  3. 제 2 항에 있어서,
    상기 클라이언트 단말은, 상기 가상 스튜디오 서버로부터 제시되는 2차원 또는 3차원 세트 배경 중에서 특정 세트 배경을 선택하고, 카메라로부터 촬영된 영상을 네트워크를 통해 상기 가상 스튜디오 서버로 전송하기 위한 키입력을 수행하는 키입력부와,
    가상 스튜디오 영상에 삽입될 액터를 포함한 주변 영상을 촬영하여 제공하기 위한 카메라,
    해당 클라이언트 단말의 시스템을 운영하는 운영 프로그램과, 인터넷 웹브라우저 프로그램, 카메라로부터 촬영된 영상을 상기 가상 스튜디오 서버에 제공하기 위한 응용 프로그램이 저장되고, 상기 가상 스튜디오 서버로부터 생성된 최종적인 2차원 또는 3차원 가상 스튜디오 비디오 영상 데이터를 수신받아 저장하는 하드디스크 드라이브,
    상기 가상 스튜디오 서버에서 제시하는 2차원 또는 3차원 세트 배경의 선택과, 카메라로부터 촬영된 영상의 전송 처리, 상기 최종적인 2차원 또는 3차원 가상 스튜디오 비디오 영상을 재생하기 위한 비디오/오디오 처리를 제어하는 마이크로 프로세서,
    2차원 또는 3차원 세트 배경과, 카메라로부터 촬영된 영상, 최종적인 2차원 또는 3차원 가상 스튜디오 비디오 영상을 모니터를 통해 디스플레이하기 위한 비디오 처리를 수행하는 비디오 처리부 및,
    카메라로부터 촬영된 영상에 포함된 오디오 신호와, 최종 2차원 또는 3차원 가상 스튜디오 비디오 영상에 포함된 오디오 신호를 음성 출력하기 위한 오디오 처리 및, 마이크로폰으로부터 입력된 음성을 카메라로 촬영된 영상과 합성시키기 위해 오디오 신호 처리하기 위한 오디오 처리부를 포함하여 구성된 것을 특징으로 하는 네트워크를 통한 가상 스튜디오 구현 시스템.
  4. 제 2 항에 있어서,
    상기 가상 스튜디오 서버는, 네트워크를 통해 상기 클라이언트 단말과 접속하여 카메라 촬영 영상을 수신받음과 더불어, 최종적으로 합성된 2차원 또는 3차원 가상 스튜디오 비디오 영상을 전송하는 네트워크 인터페이스와,
    해당 서버에서 하드웨어와 소프트웨어 간의 기능을 연결하고, 해당 서버의 동작을 관리하는 오퍼레이팅 시스템,
    상기 클라이언트 단말로부터 수신받은 카메라 촬영 영상의 압축을 해제하기 위한 디코딩 처리를 수행하는 디코더,
    상기 디코더를 통해서 디코딩된 카메라 촬영 영상에서 액터 영상이 추출될 수 있도록 영상 데이터를 관리하는 라이브 비디오 매니저,
    상기 카메라 촬영 영상에서 세트 배경과 합성될 액터 영상부분을 크로마 키를 통해서 추출하기 위한 크로마키 엔진,
    2차원 또는 3차원 세트 배경 영상이 2차원 믹서 또는 3차원 렌더러 엔진에 의해 액터 영상과 합성되도록 관리하기 위한 세트 매니저,
    상기 크로마키 엔진에서 추출된 액터 영상을 2차원 세트 배경과 합성하기 위한 영상 믹싱 처리를 수행하는 2차원 믹서,
    상기 크로마키 엔진으로부터 추출된 액터 영상을 3차원 세트 배경과 합성하기 위한 3차원 그래픽 렌더링 처리를 수행하는 3차원 렌더러 엔진 및,
    최종적으로 생성된 2차원 또는 3차원 가상 스튜디오 비디오 영상을 압축 알고리즘에 의해 영상 압축하기 위한 엔코딩 처리를 수행하는 엔코더를 포함하여 구성된 것을 특징으로 하는 네트워크를 통한 가상 스튜디오 구현 시스템.
  5. 제 2 항에 있어서,
    상기 액터 영상과 합성되는 2차원 또는 3차원 가상 세트 배경은, 상기 클라이언트 단말에서 멀티미디어 디자인 전용 소프트웨어 프로그램을 이용하여 직접 디자인하고 업로드하여 설정된 세트 배경인 것을 특징으로 하는 네트워크를 통한 가상 스튜디오 구현 시스템.
  6. 삭제
  7. 클라이언트 단말에서 네트워크를 통해 가상 스튜디오 서버와 접속하여 카메라로부터 촬영된 액터가 포함된 영상을 전송하면, 가상 스튜디오 서버에서 클라이언트 단말에 다수 종류의 2차원 또는 3차원 가상 세트 배경 데이터를 제시하는 제 1단계와;
    상기 클라이언트 단말에서 상기 제시된 2차원 또는 3차원 가상 세트 배경 데이터 중에서 특정 세트 배경을 선택하는 제 2단계;
    상기 가상 스튜디오 서버에서 크로마 키를 이용하여 상기 카메라 촬영 영상에서 액터 영상을 추출하는 제 3단계;
    상기 추출된 액터 영상을 2차원 또는 3차원 가상 세트 배경과 합성하는 제 4단계; 및
    상기 가상 스튜디오 서버에서 액터 영상이 2차원 또는 3차원 가상 세트 배경과 합성된 최종적인 2차원 또는 3차원 가상 스튜디오 비디오 영상을 상기 클라이언트 단말에 전송하고, 상기 클라이언트 단말에서 2차원 또는 3차원 가상 스튜디오 비디오 영상을 수신받아 재생 및 저장하는 제 5단계를 포함하여 이루어진 것을 특징으로 하는 네트워크를 통한 가상 스튜디오 구현 방법.
  8. 제 7 항에 있어서,
    상기 제 1단계는, 상기 클라이언트 단말에서 멀티미디어 디자인 전용 소프트웨어 프로그램을 이용하여 2차원 또는 3차원 가상 세트 배경을 직접 디자인하여 상기 가상 스튜디오 서버에 업로드하는 단계와,
    상기 클라이언트 단말에서 상기 가상 스튜디오 서버에 업로드된 2차원 또는 3차원 가상 세트 배경을 가상 스튜디오 배경으로 선택하는 단계를 더 포함하여 이루어진 것을 특징으로 하는 네트워크를 통한 가상 스튜디오 구현 방법.
  9. 제 7 항에 있어서,
    상기 제 1단계에서, 상기 클라이언트 단말은 카메라로부터 촬영된 영상을 영상 압축 알고리즘에 따라 영상 압축하여 전송하고, 상기 가상 스튜디오 서버는 영상 압축된 카메라 촬영 영상을 압축 해제하며,
    상기 제 4단계에서, 상기 가상 스튜디오 서버는 최종적으로 생성된 2차원 또는 3차원 가상 스튜디오 비디오 영상을 영상 압축 알고리즘에 따라 영상 압축하여 전송하고, 상기 클라이언트 단말은 영상 압축된 2차원 또는 3차원 가상 스튜디오 비디오 영상을 압축 해제하도록 이루어진 것을 특징으로 하는 네트워크를 통한 가상 스튜디오 구현 방법.
KR1020070023426A 2007-03-09 2007-03-09 네트워크를 통한 가상 스튜디오 구현 시스템 및 그 방법 KR100889367B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020070023426A KR100889367B1 (ko) 2007-03-09 2007-03-09 네트워크를 통한 가상 스튜디오 구현 시스템 및 그 방법
PCT/KR2008/001170 WO2008111746A1 (en) 2007-03-09 2008-02-28 System and method for realizing virtual stuio through network

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070023426A KR100889367B1 (ko) 2007-03-09 2007-03-09 네트워크를 통한 가상 스튜디오 구현 시스템 및 그 방법

Publications (2)

Publication Number Publication Date
KR20080082759A KR20080082759A (ko) 2008-09-12
KR100889367B1 true KR100889367B1 (ko) 2009-03-19

Family

ID=39759662

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070023426A KR100889367B1 (ko) 2007-03-09 2007-03-09 네트워크를 통한 가상 스튜디오 구현 시스템 및 그 방법

Country Status (2)

Country Link
KR (1) KR100889367B1 (ko)
WO (1) WO2008111746A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106030646A (zh) * 2015-01-30 2016-10-12 Ds全球 用于虚拟拍摄服务的系统和方法
KR101834925B1 (ko) 2017-09-25 2018-03-06 주식회사 대경바스컴 객체 위치 변화를 벡터로 변환하여 영상 및 음향 신호를 동기화한 가상스튜디오 방송 편집 및 송출 기기와 이를 이용한 방법

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8296456B2 (en) 2010-09-03 2012-10-23 United Video Properties, Inc. Systems and methods for displaying personalized media content
WO2012030584A2 (en) * 2010-09-03 2012-03-08 United Video Properties, Inc. Systems and methods for displaying personalized media content
CN102571624A (zh) * 2010-12-20 2012-07-11 英属维京群岛商速位互动股份有限公司 实时通信系统及相关的计算器可读介质
US9761053B2 (en) 2013-08-21 2017-09-12 Nantmobile, Llc Chroma key content management systems and methods
KR20170044590A (ko) * 2015-10-15 2017-04-25 (주)잼투고 분산형 멀티미디어 편집 시스템 및 편집방법
KR102472801B1 (ko) * 2016-10-12 2022-12-01 천종윤 분산형 멀티미디어 편집 시스템 및 편집방법
CN107170305A (zh) * 2017-07-07 2017-09-15 郑州仁峰软件开发有限公司 一种将虚拟演播和现有录播系统结合的方法
WO2019127508A1 (zh) * 2017-12-29 2019-07-04 深圳配天智能技术研究院有限公司 智能终端及其3d成像方法、3d成像系统
KR102091662B1 (ko) * 2019-11-26 2020-05-15 로고몬도 주식회사 3차원 모델링의 실시간 렌더링 방법
KR102601160B1 (ko) * 2022-09-30 2023-11-13 주식회사 아리아스튜디오 버추얼 공간과 버추얼 아바타를 기초로 버추얼 콘텐츠를 제공하는 콘텐츠 서비스 플랫폼 시스템
CN116112617A (zh) * 2022-11-15 2023-05-12 北京字跳网络技术有限公司 演播画面的处理方法、装置、电子设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070016901A (ko) * 2005-08-05 2007-02-08 주식회사 오아시스미디어 실시간 다층 동영상 합성 시스템을 이용한 인터넷 방송시스템 및 이를 이용한 인터넷 방송 제공방법
KR20070019511A (ko) * 2005-08-11 2007-02-15 주식회사 오아시스미디어 실시간 다층 동영상 합성보드

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070016901A (ko) * 2005-08-05 2007-02-08 주식회사 오아시스미디어 실시간 다층 동영상 합성 시스템을 이용한 인터넷 방송시스템 및 이를 이용한 인터넷 방송 제공방법
KR20070019511A (ko) * 2005-08-11 2007-02-15 주식회사 오아시스미디어 실시간 다층 동영상 합성보드

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106030646A (zh) * 2015-01-30 2016-10-12 Ds全球 用于虚拟拍摄服务的系统和方法
CN106030646B (zh) * 2015-01-30 2020-03-17 Ds全球 用于虚拟拍摄服务的系统和方法
KR101834925B1 (ko) 2017-09-25 2018-03-06 주식회사 대경바스컴 객체 위치 변화를 벡터로 변환하여 영상 및 음향 신호를 동기화한 가상스튜디오 방송 편집 및 송출 기기와 이를 이용한 방법

Also Published As

Publication number Publication date
WO2008111746A1 (en) 2008-09-18
KR20080082759A (ko) 2008-09-12

Similar Documents

Publication Publication Date Title
KR100889367B1 (ko) 네트워크를 통한 가상 스튜디오 구현 시스템 및 그 방법
CN114503599B (zh) 使用gltf2场景描述中的扩展来支持视频和音频数据
CN110798697B (zh) 视频显示方法、装置、系统以及电子设备
EP3562163B1 (en) Audio-video synthesis method and system
US20190124371A1 (en) Systems, methods and computer software for live video/audio broadcasting
WO2018045927A1 (zh) 一种基于三维虚拟技术的网络实时互动直播方法及装置
US8639086B2 (en) Rendering of video based on overlaying of bitmapped images
CN108366293A (zh) Vr视频转码方法及装置
US20120287231A1 (en) Media sharing during a video call
JP6986158B2 (ja) 複数のビューポイントに関するメタデータを送受信する方法及び装置
US8876601B2 (en) Method and apparatus for providing a multi-screen based multi-dimension game service
JP6333858B2 (ja) 複数の視覚コンポーネントを有する画面を共有するためのシステム、装置、および方法
JP2019524004A (ja) 仮想現実メディアコンテンツのストリーミングを向上させる方法、デバイス及びコンピュータプログラム
US8650591B2 (en) Video enabled digital devices for embedding user data in interactive applications
JP2014049865A (ja) 監視カメラシステム
JP4802524B2 (ja) 画像処理装置、カメラシステム、ビデオシステム、ネットワークデータシステム、並びに、画像処理方法
CN107580228B (zh) 一种监控视频处理方法、装置及设备
WO2024082561A1 (zh) 视频处理方法、装置、计算机、可读存储介质及程序产品
WO2024027611A1 (zh) 视频直播方法、装置、电子设备以及存储介质
WO2023193524A1 (zh) 直播视频处理方法、装置、电子设备、计算机可读存储介质及计算机程序产品
WO2023182937A2 (zh) 特效视频确定方法、装置、电子设备及存储介质
CN116962742A (zh) 网络直播的视频图像数据传输方法、装置及直播系统
JP2023012941A (ja) 受信装置及びプログラム
TW200807325A (en) Method and system for performing image processing via network environment
JP2023085912A (ja) 動画配信システム、動画配信装置、端末、方法、データ構造、及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20070309

PA0201 Request for examination
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20080808

Patent event code: PE09021S01D

PG1501 Laying open of application
E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20090225

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20090311

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20090312

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20120309

Start annual number: 4

End annual number: 4

FPAY Annual fee payment

Payment date: 20130830

Year of fee payment: 5

PR1001 Payment of annual fee

Payment date: 20130830

Start annual number: 5

End annual number: 5

FPAY Annual fee payment

Payment date: 20140710

Year of fee payment: 6

PR1001 Payment of annual fee

Payment date: 20140710

Start annual number: 6

End annual number: 6

FPAY Annual fee payment

Payment date: 20150310

Year of fee payment: 7

PR1001 Payment of annual fee

Payment date: 20150310

Start annual number: 7

End annual number: 7

FPAY Annual fee payment

Payment date: 20160810

Year of fee payment: 8

PR1001 Payment of annual fee

Payment date: 20160810

Start annual number: 8

End annual number: 8

PC1903 Unpaid annual fee

Termination category: Default of registration fee

Termination date: 20171206

FPAY Annual fee payment

Payment date: 20171206

Year of fee payment: 9

PR0401 Registration of restoration

Patent event code: PR04011E01D

Patent event date: 20171206

Comment text: Registration of Restoration

PR1001 Payment of annual fee

Payment date: 20171206

Start annual number: 9

End annual number: 9

R401 Registration of restoration
FPAY Annual fee payment

Payment date: 20180801

Year of fee payment: 10

PR1001 Payment of annual fee

Payment date: 20180801

Start annual number: 10

End annual number: 10

FPAY Annual fee payment

Payment date: 20190305

Year of fee payment: 11

PR1001 Payment of annual fee

Payment date: 20190305

Start annual number: 11

End annual number: 11

FPAY Annual fee payment

Payment date: 20200311

Year of fee payment: 12

PR1001 Payment of annual fee

Payment date: 20200311

Start annual number: 12

End annual number: 12

PR1001 Payment of annual fee

Payment date: 20210408

Start annual number: 13

End annual number: 13

PR1001 Payment of annual fee

Payment date: 20220307

Start annual number: 14

End annual number: 14

PR1001 Payment of annual fee

Payment date: 20230309

Start annual number: 15

End annual number: 15

PR1001 Payment of annual fee

Payment date: 20240311

Start annual number: 16

End annual number: 16