Nothing Special   »   [go: up one dir, main page]

KR101453531B1 - 3차원 리얼타임 가상 스튜디오 장치 및 3차원 리얼타임 가상 스튜디오 장치에서의 가상 스튜디오 영상 생성 방법 - Google Patents

3차원 리얼타임 가상 스튜디오 장치 및 3차원 리얼타임 가상 스튜디오 장치에서의 가상 스튜디오 영상 생성 방법 Download PDF

Info

Publication number
KR101453531B1
KR101453531B1 KR1020130151728A KR20130151728A KR101453531B1 KR 101453531 B1 KR101453531 B1 KR 101453531B1 KR 1020130151728 A KR1020130151728 A KR 1020130151728A KR 20130151728 A KR20130151728 A KR 20130151728A KR 101453531 B1 KR101453531 B1 KR 101453531B1
Authority
KR
South Korea
Prior art keywords
image
virtual studio
virtual
background
subject
Prior art date
Application number
KR1020130151728A
Other languages
English (en)
Inventor
우덕명
이재명
Original Assignee
우덕명
이재명
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 우덕명, 이재명 filed Critical 우덕명
Priority to KR1020130151728A priority Critical patent/KR101453531B1/ko
Application granted granted Critical
Publication of KR101453531B1 publication Critical patent/KR101453531B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/74—Circuits for processing colour signals for obtaining special effects
    • H04N9/75—Chroma key

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Circuits (AREA)
  • Processing Or Creating Images (AREA)

Abstract

3차원 가상 스튜디오 영상의 크기 및 위치를 자유롭게 조절할 수 있는 3차원 리얼타임 가상 스튜디오 장치 및 3차원 리얼타임 가상 스튜디오 장치에서의 가상 스튜디오 영상 생성 방법이 개시된다. 이를 위해, 본 발명은 피사체 영상과 생성된 3차원 영상 정보를 3차원 랜더링하여 합성한 후 제1 가상 스튜디오 영상을 생성하는 랜더 엔진부;를 포함하고, 상기 랜더 엔진부는 상기 제1 가상 스튜디오 영상의 피사체 영상이 위치할 임의의 지점에 액터판을 생성하는 액터판 생성부; 상기 액터판에 상기 피사체 영상의 비디오 신호를 맵핑한 후 제2 가상 스튜디오 영상을 출력하는 액터 영상 출력부; 및 상기 가상 카메라의 360도 카메라 무빙(moving)을 이용하여 상기 제2 가상 스튜디오 영상을 축소, 확대 및 상하 좌우 이동시켜 저장한 후 해당하는 영상을 클릭함에 따라 실시간 형태로 상기 축소, 확대 및 상하 좌우 이동된 제3 가상 스튜디오 영상을 출력하는 무빙 영상 출력부를 포함한다.
이에, 본 발명은 카메라 무빙(moving, 선형적인 움직임)을 이용하여 비디오 신호로 맵핑한 가상 스튜디오 영상을 실시간으로 축소, 확대 및 상하 좌우 이동시킴으로써 다양한 형태의 실감나는 가상 영상을 보여줄 수 있다.

Description

3차원 리얼타임 가상 스튜디오 장치 및 3차원 리얼타임 가상 스튜디오 장치에서의 가상 스튜디오 영상 생성 방법{3D Real-Time Virtual Studio System And Method For Producting Virtual Studio Image In Real-Time Virtual Studio System}
본 발명은3차원 리얼타임 가상 스튜디오 장치 및 3차원 리얼타임 가상 스튜디오 장치에서의 가상 스튜디오 영상 생성 방법에 관한 것으로서, 더욱 상세하게는 3차원 가상 스튜디오 영상의 크기 및 위치를 자유롭게 조절할 수 있는 3차원 리얼타임 가상 스튜디오 장치 및 3차원 리얼타임 가상 스튜디오 장치에서의 가상 스튜디오 영상 생성 방법에 관한 것이다.
1960년대 흑백 텔레비전의 등장 이후, 텔레비전 부분의 방송기술은 전자 통신 기술 분야의 발전과 더불어 눈부시게 발전을 거듭하였다. 1980년대에는 칼라 TV가 도입되면서 사회전반에 획기적인 변화를 일으켰으며, 90년대 말부터 시작된 고화질 텔레비전(High Definition TeleVision; 이원, 간단히 'HDTV'라 함)의 방송은 또 다른 방송시대를 열었다.
최근의 고화질 텔레비전 방송에서는 그래픽과 실사 영상의 합성 기술의 발전은 실사 영상과 가상의 그래픽 영상을 구분할 수 없을 정도로 정교한 실시간 합성 영상을 방송하기에 이르렀다.
실시간 합성 영상의 대표적인 예로서 가상 스튜디오(Virtual Studio), 가상 캐릭터(Virtual Character), 가상 이미징(Virtual Imaging) 기술 등을 들 수 있다. 이중에서도 가상 스튜디오 기술이 각광받고 있었다.
이러한 가상 스튜디오 기술은 색상차를 이용하여 화면의 합성을 전기적으로 수행하는 특수 효과인 크로마키(Chroma Key) 기법을 사용한다. 예를 들면, 날씨 예보와 같이 기상 아나운서의 뒤배경으로 구름영상이나 그래픽 화면을 합성시키는 것이 그 대표적인 예라 할 수 있었다.
하지만, 종래의 크로마키 기법을 이용한 가상 스튜디오 영상은 가상 스튜디오 안에 비쳐진 각 영상들의 크기 및 위치 조절이 어려운 문제점이 있었고, 설사 가능하더라도 별도의 프로그램화하여 출력할 수 밖에 없어 크기 및 위치 조절된 영상을 바로 보여주지 못한 문제점이 있었다.
이러한 문제점을 안고 있는 대표적인 종래기술로서, 2008년 01월 10일자로 등록된 한국등록특허 제0795552호에서 비디오 텍스투어링을 이용한 삼차원 가상 스튜디오 장치를 들 수 있다.
1. 한국등록특허 제0795552호, 등록일자 : 2008년 01월 10일, 발명의 명칭 : 비디오 텍스투어링을 이용한 삼차원 가상 스튜디오 장치. 2. 한국등록특허 제0335617호, 등록일자 : 2002년 04월 23일, 발명의 명칭 : 3차원 입체영상 합성방법. 3. 한국등록특허 제0541011호, 등록일자 : 2005년 12월 28일, 발명의 명칭 : 가상 영상 합성 장치.
본 발명은 상술한 문제점을 해결하기 위하여 안출된 것으로서, 가상 스튜디오상에 구현된 각 영상 객체의 크기 및 위치를 실시간 형태로 다양하게 조절할 수 있는3차원 리얼타임 가상 스튜디오 장치 및 3차원 리얼타임 가상 스튜디오 장치에서의 가상 스튜디오 영상 생성 방법을 제공하는데 그 목적이 있다.
상기한 바와 같은 본 발명의 목적을 달성하고, 후술하는 본 발명의 특징적인 기능을 수행하기 위한, 본 발명의 특징은 다음과 같다.
본 발명의 일 관점에 따르면, 피사체와 배경 영상을 촬영하여 영상 정보를 생성하는 영상 카메라부; 생성된 상기 영상 정보에서 배경 영상을 제거한 피사체 영상만을 출력하는 크로마키 엔진부; 가상 스튜디오의 배경이 되는 복수개의 배경 영상 객체를 포함한 3차원 영상정보를 생성하는 가상 카메라부; 및 출력된 상기 피사체 영상과 생성된 상기 3차원 영상 정보를 3차원 랜더링하여 합성한 후 제1 가상 스튜디오 영상을 생성하는 랜더 엔진부;를 포함하고, 상기 랜더 엔진부는 상기 제1 가상 스튜디오 영상의 피사체 영상이 위치할 임의의 지점에 액터판을 생성하는 액터판 생성부; 상기 액터판에 상기 피사체의 비디오 신호를 맵핑(Mapping)한 후 제2 가상 스튜디오 영상을 출력하는 액터 영상 출력부; 및 상기 가상 카메라의 360도 카메라 무빙(moving)을 이용하여 상기 제2 가상 스튜디오 영상을 축소, 확대 및 상하 좌우 이동시켜 저장한 후 해당하는 영상을 클릭함에 따라 실시간 형태로 상기 축소, 확대 및 상하 좌우 이동된 제3 가상 스튜디오 영상을 출력하는 무빙 영상 출력부를 포함하는 3차원 리얼타임 가상 스튜디오 장치가 제공된다.
여기서, 본 발명의 일 관점에 따른 상기 랜더 엔진부는 상기 제2 가상 스튜디오 영상 또는 제3 가상 스튜디오 영상에 포함된 복수개의 배경 영상 객체중 임의의 배경 영상 객체의 크기를 조정하는 배경 객체 크기 조정부;를 더 포함할 수 있다.
또한, 본 발명의 일 관점에 따른 상기 랜더 엔진부는 상기 액터판의 크기 및 위치를 조정하고, 조정된 상기 액터판에 맞게 상기 피사체 영상을 조절하여 투사하는 액터판 조정부;를 더 포함할 수 있다.
또한, 본 발명의 일 관점에 따르면, (a) 영상 카메라를 통해 피사체와 배경 영상을 촬영하여 영상 정보를 생성하는 단계; (b) 크로마키 엔진을 통해 생성된 상기 영상 정보에서 배경 영상을 제거한 피사체 영상만을 출력하는 단계; (c) 가상 스튜디오의 배경이 되는 복수개의 배경 영상 객체를 포함한 3차원 영상정보를 가상 카메라에서 생성하는 단계; 및 (d) 출력된 상기 피사체 영상과 가상 카메라를 통해 생성된 상기 3차원 영상 정보를 3차원 랜더링하여 합성한 후 제1 가상 스튜디오 영상을 랜더 엔진부에서 생성하는 단계;를 포함하고, 상기 (d) 단계는 상기 제1 가상 스튜디오 영상의 피사체 영상이 위치할 지점에 생성된 액터판에 상기 피사체의 비디오신호를 맵핑(Mapping)한 후 제2 가상 스튜디오 영상을 출력하고, 상기 가상 카메라의 360도 카메라 무빙(moving)을 이용하여 상기 제2 가상 스튜디오 영상을 축소, 확대 및 상하 좌우 이동시켜 저장한 후 해당하는 영상을 클릭함에 따라 실시간 형태로 상기 축소, 확대 및 상하 좌우 이동된 제3 가상 스튜디오 영상을 출력하는 가상 스튜디오 영상 생성 방법이 제공된다.
여기서, 본 발명의 일 관점에 따른 상기 (d) 단계는 (d-1) 상기 제2 가상 스튜디오 영상 또는 제3 가상 스튜디오 영상에 포함된 복수개의 배경 영상 객체중 임의의 배경 영상 객체의 크기를 조정하는 단계; 및 (d-2) 상기 액터판의 크기 및 위치를 조정하고, 조정된 상기 액터판에 맞게 상기 피사체의 비디오신호를 맵핑(Mapping)하는 단계를 더 포함하여 이루어질 수 있다.
이상과 같이, 본 발명에 따르면, 카메라 무빙(moving, 선형적인 움직임)을 이용하여 비디오 신호를 맵핑한 가상 스튜디오 영상을 실시간으로 축소, 확대 및 상하 좌우 이동시킴으로써 다양한 형태의 실감나는 가상 영상을 보여줄 수 있는 효과가 있다.
특히, 본 발명은 가상 스튜디오 영상에 포함된 배경 영상 각 객체와 피사체 영상을 독립적으로 실행시켜 각 객체와 피사체의 크기를 각기 다르게 조정할 수 있게 되어 강조하고자 하는 영상을 제대로 보여줄 수 있고, 이로써 다양한 형태의 더욱더 실감나는 가상 영상을 보여줌과 동시에 운영자 측면에서 보면 기존 제품의 제작 번거로움을 대폭 개선하여 제작자의 생산성을 극대화시킬 수 있는 효과가 있다.
도 1은 본 발명의 제1 실시예에 따른 3차원 리얼타임 가상 스튜디오 장치(100)를 예시적으로 나타낸 도면이다.
도 2는 본 발명의 제1 실시예에 따른 3차원 리얼타임 가상 스튜디오 장치(100)의 랜더 엔진부(140)의 구성을 보다 상세하게 나타낸 도면이다.
도 3 및 도 4는 본 발명의 제1 실시예에 따른 3차원 리얼타임 가상 스튜디오 장치(100)의 랜더 엔진부(140)에서 기존의 그래픽 배경을 조절하여 원근감을 표현하는 방식이 아닌 X,Y,Z의 위치 값과 FOV(Field of View) 값을 갖는 가상 카메라 방식의 영상 화면을 나타낸 도면이다.
도 5는 본 발명의 제2 실시예에 따른 3차원 리얼타임 가상 스튜디오 장치(100)에서의 가상 스튜디오 영상 생성 방법(S100)을 예시적으로 나타낸 도면이다.
도 6은 본 발명의 제2 실시예에 따른 3차원 리얼타임 가상 스튜디오 장치(100)에서의 가상 스튜디오 영상 생성 방법(S100)의 S140 단계를 보다 상세하게 나타낸 도면이다.
도 7 및 도 8은 본 발명의 일 실시예들에 의해 구현된 제3 가상 스튜디오 영상(148)의 일례를 나타낸 도면이다.
이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 바람직한 실시예들에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
제1 실시예
도 1은 본 발명의 제1 실시예에 따른 3차원 리얼타임 가상 스튜디오 장치(100)를 예시적으로 나타낸 도면이고, 도 2는 본 발명의 제1 실시예에 따른 3차원 리얼타임 가상 스튜디오 장치(100)의 랜더 엔진부(140)의 구성을 보다 상세하게 나타낸 도면이며, 도 3 및 도 4는 본 발명의 제1 실시예에 따른 3차원 리얼타임 가상 스튜디오 장치(100)의 랜더 엔진부(140)에서 생성된 영상 화면을 나타낸 도면이다.
도시된 바와 같이, 본 발명의 제1 실시예에 따른 3차원 리얼타임 가상 스튜디오 장치(100)는 영상 카메라부(110), 크로마키 엔진부(120), 가상 카메라부(130) 및 랜더 엔진부(140)를 포함한다.
먼저, 본 발명에 따른 영상 카메라부(110)는 배경 영상(112)을 뒤로하는 피사체 영상(111)과 함께 배경 영상(112)을 촬영한 후 영상 정보(110a)를 생성한다. 이러한 영상 카메라부(110)는 통상적으로 널리 알려진 사진 카메라, 스마트폰 카메라와 같은 원리를 갖는다.
다음으로, 본 발명에 따른 크로마키 엔진부(120)는 앞서 설명한 영상 카메라부(110)에서 생성된 영상 정보(110a)에서 배경 영상(112)을 제거한 피사체 영상(111)만을 크로마키 기법을 이용하여 출력하여 가상의 피사체 영상(121)을 생성하는 역할을 한다.
이때 사용되는 크로마키 기법은 영상 카메라(110)로부터의 나오는 신호를 전자적으로 읽고, 화상의 특정한 성분들을 체계적으로 제거하여 공백으로 만드는 기법을 의미한다. 상기 공백은 가상 카메라로부터 나오는 영상 신호로 채워져 두 개의 카메라로부터 전자적으로 결합된 화면을 구성하여 실제로는 존재하지 않는 가상의 영상 화면을 만들어내는데 필요하다.
다음으로, 본 발명에 따른 가상 카메라부(130)는 가상 스튜디오의 배경이 되는 복수개의 배경 영상 객체(131,132,133)를 포함한 가상의 3차원 영상정보(130a)를 생성하는 역할을 한다.
다음으로, 본 발명에 따른 랜더 엔진부(140)는 크로마키 엔진부(120)로부터 출력된 피사체 영상(121)과 가상 카메라부(130)에 의해 생성된 3차원 영상 정보(130a)를 3차원 랜더링하여 합성한 후 제1 가상 스튜디오 영상(146)을 생성한다.
이러한 제1 가상 스튜디오 영상은 통상적으로 알려진 두개의 영상을 3차원 랜더링하여 합성하는 기법과 동일하다고 할 수 있으나, 본 실시예에서는 크로마키된 피사체 영상을 합성대상중 하나로 인식하여 처리하는 것이 다르다 할 수 있을 것이다.
이와 같은 본 발명의 랜더 엔진부(140)는 제1 가상 스튜디오 영상(146)안에 합성된 피사체 영상(121)을 제1 가상 스튜디오 영상(146)안에 존재하는 3차원 영상 정보(130a)의 임의의 지점에 위치시키도록 비디오신호 맵핑(Mapping)기법을 사용하고, 비디오신호 맵핑(Mapping)된 피사체 영상(121)과 함께 3차원 영상 정보(130a)의 각 객체의 크기 및 위치를 가상 카메라(130)의 무빙 기능을 이용하여 조정하는 역할을 한다.
이를 위해, 본 발명에 따른 랜더 엔진부(140)는 도 2에 도시된 바와 같이 액터판 생성부(141), 액터 영상 출력부(142), 무빙 영상 출력부(143), 배경 객체 크기 조정부(144) 및 액터판 조정부(145)를 포함한다.
먼저, 본 발명에 따른 액터판 생성부(141)는 랜더 엔진부(140)에서 생성된 제1 가상 스튜디오 영상(146)의 피사체 영상(121)이 위치할 임의의 지점에 액터판(146a)을 생성하는 역할을 한다.
이런 다음, 본 발명에 따른 액터 영상 출력부(142)는 액터판 생성부(141)에서 생성된 액터판(146a)에 제1 가상 스튜디오 영상(146)의 피사체 영상(121)을 투사하여 비디오 신호를 맵핑(Mapping)한 후 제2 가상 스튜디오 영상(147)을 출력한다.
이로써, 제1 가상 스튜디오 영상(146)에 포함된 배경 영상 객체(130a)의 해당하는 객체속에 비디오 신호를 맵핑(Mapping)한 피사체 영상(121)이 위치하여 제1 가상 스튜디오 영상(146)과 다른 형태의 제2 가상 스튜디오 영상(147)을 출력할 수 있게 된다.
다음으로, 본 발명에 따른 무빙 영상 출력부(143)는 가상 카메라(130)의 360도 카메라 무빙(moving)을 이용하여 액터 영상 출력부(142)에서 생성된 제2 가상 스튜디오 영상(147)을 축소, 확대 및 상하 좌우 이동시켜 저장한 후 해당하는 영상(피사체 영상, 배경 영상 객체 전체중 적어도 하나 이상을 의미함)을 클릭함에 따라 실시간 형태로 축소, 확대 및 상하 좌우 이동된 제3 가상 스튜디오 영상(148)을 출력하게 된다. 이와 같이 구현된 제3 가상 스튜디오 영상(148)의 예는 도 7 및 도 8에 나타내었다.
다시말해, 상기 제3 가상 스튜디오 영상(148)은 배경 영상 객체(130a) 및 비디오 신호를 맵핑(Mapping)한 피사체 영상(121)을 포함한 제3 가상 스튜디오 영상 전체(148)를 본 발명의 가상 카메라를 통해 축소, 확대 및 상하 좌우 이동된 결과가 가장 근접한 결과이다.
다음으로, 본 발명에 따른 배경 객체 크기 조정부(144)는 앞서 설명한 제2 가상 스튜디오 영상(147) 또는 제3 가상 스튜디오 영상(148)에 포함된 복수개의 배경 영상 객체(130a)중 임의의 배경 영상 객체의 크기를 조정하는 역할을 한다.
더욱이, 본 발명에 따른 액터판 조정부(145)는 액터판 생성부(141)에서 생성된 액터판(146a)의 크기 및 위치를 조정하고, 조정된 액터판에 맞게 피사체 영상(121)을 조절하여 맵핑(Mapping)할 수 있게 된다.
이와 같이, 제3 가상 스튜디오 영상 전체(148)를 축소, 확대 및 상하 좌우 이동시킬 수 있을뿐만 아니라, 특정 영상인 배경 영상 객체(130a)의 해당하는 객체 및/또는 피사체 영상(121)을 더욱더 조정할 수 있게 되어 강조하고자 하는 특정 가상 스튜디오 영상을 표출시킬 수 있음과 동시에 다양한 가상 스튜디오 영상을 보여줄 수 있는 잇점을 제공하게 되는 것이다.
제2 실시예
도 5는 본 발명의 제2 실시예에 따른 3차원 리얼타임 가상 스튜디오 장치(100)에서의 가상 스튜디오 영상 생성 방법(S100)을 예시적으로 나타낸 도면이며, 도 6은 본 발명의 제2 실시예에 따른 3차원 리얼타임 가상 스튜디오 장치(100)에서의 가상 스튜디오 영상 생성 방법(S100)의 S140 단계를 보다 상세하게 나타낸 도면이다.
도 5에 도시된 바와 같이, 본 발명의 제2 실시예에 따른 3차원 리얼타임 가상 스튜디오 장치(100)에서의 가상 스튜디오 영상 생성 방법(S100)은 다양한 형태의 크기 및 위치 조정이 가능한 3차원 가상 스튜디오 영상을 생성하기 위하여 S110 단계 내지 S140 단계를 포함하여 이루어진다.
먼저, 본 발명에 따른 S110 단계에서는 영상 카메라(110)를 통해 피사체(111)와 배경 영상(112)을 촬영하여 영상 정보(110a)를 생성한다.
이후, 본 발명에 따른 S120 단계에서는 크로마키 엔진(120)을 통해 생성된 영상 정보(110a)에서 배경 영상(112)을 크로마키 기법을 이용하여 제거한후 피사체 영상(121)만을 출력한다.
이때 사용되는 크로마키 기법은 영상 카메라(110)로부터의 나오는 신호를 전자적으로 읽고, 화상의 특정한 성분들을 체계적으로 제거하여 공백으로 만드는 기법을 의미한다. 상기 공백은 가상 카메라로부터 나오는 영상 신호로 채워져 두 개의 카메라로부터 전자적으로 결합된 화면을 구성하여 실제로는 존재하지 않는 가상의 영상 화면을 만들어내는데 필요하다.
이후, 본 발명에 따른 S130 단계에서는 가상 스튜디오의 배경이 되는 복수개의 배경 영상 객체(131, 132, 133)를 포함한 3차원 영상정보(130a)를 가상 카메라(130)에서 생성한다.
마지막으로, 본 발명에 따른 S140 단계에서는 S130 단계에 의해 출력된 피사체 영상(121)과 가상 카메라(130)를 통해 생성된 3차원 영상 정보(130a)를 3차원 랜더링하여 합성한 후 제1 가상 스튜디오 영상(146)을 랜더 엔진부(140)에서 생성한다.
이때, 생성된 제1 가상 스튜디오 영상(146)은 통상적으로 알려진 두개의 영상을 3차원 랜더링하여 합성하는 기법과 동일하다고 할 수 있으나, 본 실시예에서는 크로마키된 피사체 영상(121)을 합성대상중 하나로 인식하여 처리하는 것이 다르다 할 수 있을 것이다.
이에 더하여, 본 발명에 따른 S140 단계에서는 도 6에 도시된 바와 같이 제1 가상 스튜디오 영상(146)의 피사체 영상(121)이 위치할 지점에 생성된 액터판(146a)에 피사체 영상(121)을 비디오 신호로 맵핑(Mapping)한 후 제2 가상 스튜디오 영상(147)을 출력한다(S141).
이로써, 제1 가상 스튜디오 영상(146)에 포함된 배경 영상 객체(130a)의 해당하는 객체속에 비디오 신호를 맵핑(Mapping)한 피사체 영상(121)을 위치시켜 제1 가상 스튜디오 영상(146)과 다른 형태의 제2 가상 스튜디오 영상(147)을 출력할 수 있게 된다(S142).
이어서, 본 발명에 따른 S140 단계에서는 가상 카메라(130)의 360도 카메라 무빙(moving)을 이용하여 출력된 상기 제2 가상 스튜디오 영상(147)을 축소, 확대 및 상하 좌우 이동시켜 저장한 후 해당하는 영상(피사체 영상, 배경 영상 객체 전체중 적어도 하나 이상을 의미함)을 클릭함에 따라 실시간 형태로 축소, 확대 및 상하 좌우 이동된 제3 가상 스튜디오 영상(148)을 출력하게 된다(S143).
다시말해, 상기 제3 가상 스튜디오 영상(148)은 배경 영상 객체 및 비디오 신호를 맵핑(Mapping)한 피사체 영상을 포함하여 제3 가상 스튜디오 영상 전체(148)를 축소, 확대 및 상하 좌우 이동된 결과가 가장 근접한 결과이다. 이와 같이 구현된 제3 가상 스튜디오 영상(148)의 예는 도 7 및 도 8에 나타내었다.
그리고, 본 발명에 따른 S140 단계에서는 앞서 설명한 제2 가상 스튜디오 영상 또는 제3 가상 스튜디오 영상에 포함된 복수개의 배경 영상 객체중 임의의 배경 영상 객체의 크기를 조정하고, 액터판의 크기 및 위치를 조정하고, 조정된 상기 액터판에 맞게 상기 피사체 영상의 크기 및 위치등을 조절하여 맵핑(Mapping)하게 된다(S144).
이와 같이, 제3 가상 스튜디오 영상 전체를 기존의 그래픽 배경을 조절하여 원근감을 표현하는 방식이 아닌 X,Y,Z의 위치 값과 FOV(Field of View) 값을 갖는 가상 카메라 방식의 영상 화면을 나타내어 제3 가상 스튜디오 영상 전체를 축소, 확대 및 상하 좌우 이동시킬 수 있을뿐만 아니라, 특정 영상인 배경 영상 객체의 해당하는 객체 및/또는 피사체 영상을 더욱더 조정할 수 있게 되어 강조하고자 하는 특정 가상 스튜디오 영상을 표출시킬 수 있음과 동시에 다양한 가상 스튜디오 영상을 보여줄 수 있는 잇점을 제공하게 되는 것이다.
이상에서와 같이, 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고 다른 구체적인 형태로 실시할 수 있다는 것을 이해할 수 있을 것이다. 따라서 이상에서 기술한 실시예는 모든 면에서 예시적인 것이며 한정적이 아닌 것이다.
100 : 3차원 리얼타임 가상 스튜디오 장치 110 : 영상 카메라부
120 : 크로마키 엔진부 130 : 가상 카메라부
140 : 랜더 엔진부 141 : 액터판 생성부
142 : 액터 영상 출력부 143 : 무빙 영상 출력부
144 : 배경 객체 크기 조정부 145 : 액터판 조정부

Claims (5)

  1. 피사체와 배경 영상을 촬영하여 영상 정보를 생성하는 영상 카메라부;
    생성된 상기 영상 정보에서 배경 영상을 제거한 피사체 영상만을 출력하는 크로마키 엔진부;
    가상 스튜디오의 배경이 되는 복수개의 배경 영상 객체를 포함한 가상의 3차원 영상정보를 생성하는 가상 카메라부; 및
    출력된 상기 피사체 영상과 생성된 상기 3차원 영상 정보를 3차원 랜더링하여 합성한 후 제1 가상 스튜디오 영상을 생성하는 랜더 엔진부;를 포함하고,
    상기 랜더 엔진부는,
    상기 제1 가상 스튜디오 영상의 피사체 영상이 위치할 임의의 지점에 액터판을 생성하는 액터판 생성부;
    상기 제1 가상 스튜디오 영상에 포함된 배경 영상 객체의 해당 객체속에 비디오 신호를 맵핑한 상기 피사체 영상이 위치하여 상기 제1 가상 스튜디오 영상과 다른 형태의 영상을 출력할 수 있도록 상기 액터판에 상기 피사체 영상의 비디오신호를 맵핑(Mapping)한 후 제2 가상 스튜디오 영상을 출력하는 액터 영상 출력부;
    상기 가상 카메라의 360도 카메라 무빙(moving)을 이용하여 상기 제2 가상 스튜디오 영상을 축소, 확대 및 상하 좌우 이동시켜 저장한 후 해당하는 영상을 클릭함에 따라 실시간 형태로 상기 축소, 확대 및 상하 좌우 이동된 제3 가상 스튜디오 영상을 출력하는 무빙 영상 출력부;
    상기 제2 가상 스튜디오 영상 또는 제3 가상 스튜디오 영상에 포함된 복수개의 배경 영상 객체중 임의의 배경 영상 객체의 크기를 조정하는 배경 객체 크기 조정부; 및
    상기 액터판의 크기 및 위치를 조정하고, 조정된 상기 액터판에 맞게 상기 피사체 영상을 조절하여 맵핑(Mapping)하는 액터판 조정부;
    를 포함하는 것을 특징으로 하는 3차원 리얼타임 가상 스튜디오 장치.
  2. 삭제
  3. 삭제
  4. (a) 영상 카메라를 통해 피사체와 배경 영상을 촬영하여 영상 정보를 생성하는 단계;
    (b) 크로마키 엔진을 통해 생성된 상기 영상 정보에서 배경 영상을 제거한 피사체 영상만을 출력하는 단계;
    (c) 가상 스튜디오의 배경이 되는 복수개의 배경 영상 객체를 포함한 3차원 영상정보를 가상 카메라에서 생성하는 단계; 및
    (d) 출력된 상기 피사체 영상과 가상 카메라를 통해 생성된 상기 3차원 영상 정보를 3차원 랜더링하여 합성한 후 제1 가상 스튜디오 영상을 랜더 엔진부에서 생성하는 단계;를 포함하고,
    상기 (d) 단계는,
    상기 제1 가상 스튜디오 영상에 포함된 배경 영상 객체의 해당 객체속에 비디오 신호를 맵핑한 피사체 영상이 위치하여 상기 제1 가상 스튜디오 영상과 다른 형태의 영상을 출력할 수 있도록 상기 제1 가상 스튜디오 영상의 피사체 영상이 위치할 지점에 생성된 액터판에 상기 피사체 영상의 비디오 신호를 맵핑(Mapping)한 후 제2 가상 스튜디오 영상을 출력하고, 상기 가상 카메라의 360도 카메라 무빙(moving)을 이용하여 상기 제2 가상 스튜디오 영상을 축소, 확대 및 상하 좌우 이동시켜 저장한 후 해당하는 영상을 클릭함에 따라 실시간 형태로 상기 축소, 확대 및 상하 좌우 이동된 제3 가상 스튜디오 영상을 출력하며,
    상기 (d) 단계는,
    (d-1) 상기 제2 가상 스튜디오 영상 또는 제3 가상 스튜디오 영상에 포함된 복수개의 배경 영상 객체중 임의의 배경 영상 객체의 크기를 조정하는 단계; 및
    (d-2) 상기 액터판의 크기 및 위치를 조정하고, 조정된 상기 액터판에 맞게 상기 피사체 영상을 맵핑(Mapping)하는 단계;
    를 더 포함하는 것을 특징으로 하는 3차원 리얼타임 가상 스튜디오 장치에서의 가상 스튜디오 영상 생성 방법.
  5. 삭제
KR1020130151728A 2013-12-06 2013-12-06 3차원 리얼타임 가상 스튜디오 장치 및 3차원 리얼타임 가상 스튜디오 장치에서의 가상 스튜디오 영상 생성 방법 KR101453531B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130151728A KR101453531B1 (ko) 2013-12-06 2013-12-06 3차원 리얼타임 가상 스튜디오 장치 및 3차원 리얼타임 가상 스튜디오 장치에서의 가상 스튜디오 영상 생성 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130151728A KR101453531B1 (ko) 2013-12-06 2013-12-06 3차원 리얼타임 가상 스튜디오 장치 및 3차원 리얼타임 가상 스튜디오 장치에서의 가상 스튜디오 영상 생성 방법

Publications (1)

Publication Number Publication Date
KR101453531B1 true KR101453531B1 (ko) 2014-10-24

Family

ID=51998450

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130151728A KR101453531B1 (ko) 2013-12-06 2013-12-06 3차원 리얼타임 가상 스튜디오 장치 및 3차원 리얼타임 가상 스튜디오 장치에서의 가상 스튜디오 영상 생성 방법

Country Status (1)

Country Link
KR (1) KR101453531B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101769873B1 (ko) 2016-10-25 2017-08-21 신현시 스튜디오 촬영 장치 및 스튜디오 촬영 서비스 제공 방법
CN107770595A (zh) * 2017-09-19 2018-03-06 浙江科澜信息技术有限公司 一种在虚拟场景中嵌入真实场景的方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050105308A (ko) * 2004-04-28 2005-11-04 주식회사 다림비젼 삼차원 가상 스투디오를 이용한 가라오케
KR20090028674A (ko) * 2007-09-15 2009-03-19 김영대 가상 스튜디오 강의 및 회의 장치
KR20090044105A (ko) * 2007-10-31 2009-05-07 (주)한국인터넷소프트웨어 삼차원 가상 공간 콘텐츠를 이용한 영상제공시스템
KR20130106483A (ko) * 2012-03-20 2013-09-30 주식회사 다림비젼 실물화상기

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050105308A (ko) * 2004-04-28 2005-11-04 주식회사 다림비젼 삼차원 가상 스투디오를 이용한 가라오케
KR20090028674A (ko) * 2007-09-15 2009-03-19 김영대 가상 스튜디오 강의 및 회의 장치
KR20090044105A (ko) * 2007-10-31 2009-05-07 (주)한국인터넷소프트웨어 삼차원 가상 공간 콘텐츠를 이용한 영상제공시스템
KR20130106483A (ko) * 2012-03-20 2013-09-30 주식회사 다림비젼 실물화상기

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101769873B1 (ko) 2016-10-25 2017-08-21 신현시 스튜디오 촬영 장치 및 스튜디오 촬영 서비스 제공 방법
CN107770595A (zh) * 2017-09-19 2018-03-06 浙江科澜信息技术有限公司 一种在虚拟场景中嵌入真实场景的方法
CN107770595B (zh) * 2017-09-19 2019-11-22 浙江科澜信息技术有限公司 一种在虚拟场景中嵌入真实场景的方法

Similar Documents

Publication Publication Date Title
KR101723210B1 (ko) 3차원 리얼타임 가상입체 스튜디오 장치에서의 가상입체 스튜디오 영상 생성 방법
US11019259B2 (en) Real-time generation method for 360-degree VR panoramic graphic image and video
KR101961015B1 (ko) 가상 스튜디오 연동 스마트 증강현실 서비스 시스템 및 방법
CN103426163B (zh) 用于渲染受影响的像素的系统和方法
US9160938B2 (en) System and method for generating three dimensional presentations
KR102230416B1 (ko) 화상 처리 장치, 화상 생성 방법 및 컴퓨터 프로그램
KR101538947B1 (ko) 실감형 자유시점 영상 제공 장치 및 방법
CN109218630B (zh) 一种多媒体信息处理方法及装置、终端、存储介质
JP2013009274A (ja) 画像処理装置および画像処理方法、プログラム
KR20210032549A (ko) 화상 처리 장치, 화상 처리 방법 및 컴퓨터 프로그램
WO2021171982A1 (ja) 画像処理装置、３ｄモデルの生成方法、学習方法およびプログラム
JP2022031304A (ja) 動画変換システム、動画変換方法及び動画変換プログラム
JP2011035638A (ja) 仮想現実空間映像制作システム
KR100795552B1 (ko) 비디오 텍스투어링을 이용한 삼차원 가상 스튜디오 장치
KR101453531B1 (ko) 3차원 리얼타임 가상 스튜디오 장치 및 3차원 리얼타임 가상 스튜디오 장치에서의 가상 스튜디오 영상 생성 방법
US11579746B2 (en) Dynamic image capturing apparatus and method using arbitrary viewpoint image generation technology
JP2011151773A (ja) 映像処理装置及び制御方法
US20240362845A1 (en) Method and apparatus for rendering interaction picture, device, storage medium, and program product
KR20150114103A (ko) 3차원 리얼타임 가상입체 스튜디오 장치 및 3차원 리얼타임 가상입체 스튜디오 장치에서의 가상입체 스튜디오 영상 생성 방법
JP2013197881A (ja) 撮像装置及び撮像方法、画像表示装置及び画像表示方法、プログラム
KR20170077331A (ko) 임의시점 영상생성 방법 및 시스템
JP5924833B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム、及び撮像装置
JP7271095B2 (ja) 画像生成装置、画像生成方法、及びプログラム
JP7182915B2 (ja) 画像生成装置、画像生成方法、及びプログラム
KR102145017B1 (ko) 3d 가상스튜디오시스템 및 3d 가상스튜디오 영상합성방법

Legal Events

Date Code Title Description
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170808

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180716

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190717

Year of fee payment: 6