Nothing Special   »   [go: up one dir, main page]

KR20190053565A - 스티칭 장치를 이용한 생방송 스티칭 방법 - Google Patents

스티칭 장치를 이용한 생방송 스티칭 방법 Download PDF

Info

Publication number
KR20190053565A
KR20190053565A KR1020170149598A KR20170149598A KR20190053565A KR 20190053565 A KR20190053565 A KR 20190053565A KR 1020170149598 A KR1020170149598 A KR 1020170149598A KR 20170149598 A KR20170149598 A KR 20170149598A KR 20190053565 A KR20190053565 A KR 20190053565A
Authority
KR
South Korea
Prior art keywords
stitching
feature points
photographed images
extracted
stereoscopic
Prior art date
Application number
KR1020170149598A
Other languages
English (en)
Inventor
조성학
Original Assignee
(주)한비로
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)한비로 filed Critical (주)한비로
Priority to KR1020170149598A priority Critical patent/KR20190053565A/ko
Publication of KR20190053565A publication Critical patent/KR20190053565A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 스티칭 장치를 이용한 생방송 스티칭 방법에 관한 것으로, 스티칭 장치를 이용한 생방송 스티칭 방법에 있어서, 상기 스티칭 장치는 복수의 카메라로부터 복수의 촬영 영상을 실시간으로 수신하고, 상기 수신된 복수의 촬영 영상을 좌안 영상 및 우안 영상으로 구분하여 그룹핑하는 단계, 상기 그룹핑된 복수의 촬영 영상들 각각에 대해서 복수 개의 특징점을 추출하는 단계, 상기 그룹 내 복수의 촬영 영상으로부터 추출된 복수 개의 특징점들을 비교하여 일치하는 특징점들끼리 매칭하는 단계, 상기 매칭된 특징점들을 이용하여 호모그래피(Homography) 공식 추출하는 단계, 그리고 상기 추출된 호모그래피 공식과 상기 특징점들을 이용하여 각 그룹마다 하나의 360도 3D 입체 영상을 생성하도록 스티칭하는 단계를 포함한다.
본 발명에 따르면, 입체감이 향상된 소형 3D 가상 현실 컨텐츠 및 증강 현실 컨텐츠를 생성하여 제공할 수 있으며, 왜곡 없는 고품질의 360도 3D 입체 영상을 제공할 수 있다.
또한, 특징점 및 홈그래피 공식이 추출된 다음 스티칭하는 프레임 단위로 보정을 하므로 스티칭의 속도를 향상시킬 수 있다.

Description

스티칭 장치를 이용한 생방송 스티칭 방법{LIVE STITCHING METHOD USING STITCHING DEVICE}
본 발명은 스티칭 장치를 이용한 생방송 스티칭 방법에 관한 것으로, 보다 상세하게는 복수의 카메라로부터 수신한 복수의 촬영 영상을 이용하여 360도 3D 입체 영상을 생성하도록 스티칭하는 스티칭 장치를 이용한 생방송 스티칭 방법에 관한 것이다.
VR(Virtual Reality)은 사용자가 컴퓨터에 의해 만들어진 가상의 공간에서 실제 현실인 것처럼 상호작용을 하는 기술을 총칭하여 부르는 용어인데, 일반적으로 두 개의 볼록렌즈가 달린 HMD(헤드마운트 디스플레이) 기기를 사용하여 영상을 보기 때문에 이런 형태의 가상현실 체험이 VR을 대표하고 있다.
몰입감이 뛰어난 HMD 영상의 특성을 극대화 하는 방법의 일환으로 최근 카메라를 여러 대 사용해서 360도로 촬영하고 그 영상을 하나로 이어 붙여 마치 보는 사람이 그 촬영 현장에 있는 것 같은 1인칭 시점의 놀라운 경험을 제공하는 새로운 기술이 개발되고 있으며 이를 특별히 '360 VR'이라 부르고 있다. 360도 VR은 1인칭 시점의 360도 영상을 HMD를 통해서 보여주기 때문에 촬영 장소에 가지 않고도 마치 그곳에 있는 듯한 생생한 현장감을 줄 수 있기 때문에 새로운 영상 콘텐츠 방식으로 각광을 받고 있다..
즉, 가상현실이 지금까지는 주로 게임 분야에서 주도되어 왔지만 360도 VR 영상이 사람들의 관심을 끌게 되면서 영상 분야에서도 VR에 대한 연구가 증가하고 있다. 특히, VR의 몰입도와 현장감이라는 특징이 생방송에서 극대화되어 표현될 수 있기 때문에 VR 생방송에 대한 관심이 증대되고 있다.
360도 VR 영상을 생방송하기 위해서는 카메라로 촬영하는 것과 동시에 스티칭(Stitching)이라는 작업과 함께 일반 동영상의 몇 배에 달하는 360도 영상을 무선으로 전송해야 하기 때문에 효율적인 스티칭 방법의 개발 및 고사양의 컴퓨팅과 전송 속도 관련 기술의 발전이 요구된다.
본 발명의 배경이 되는 기술은 대한민국 국내등록특허 제 10-0614004호(2006.08.21 공고)에 개시되어 있다.
본 발명이 이루고자 하는 기술적 과제는 복수의 카메라로부터 수신한 복수의 촬영 영상을 이용하여 360도 3D 입체 영상을 생성하도록 스티칭하는 스티칭 장치를 이용한 생방송 스티칭 방법을 제공하는 것이다.
이러한 기술적 과제를 이루기 위한 본 발명의 실시예에 따르면, 스티칭 장치를 이용한 생방송 스티칭 방법에 있어서, 상기 스티칭 장치는 복수의 카메라로부터 복수의 촬영 영상을 실시간으로 수신하고, 상기 수신된 복수의 촬영 영상을 좌안 영상 및 우안 영상으로 구분하여 그룹핑하는 단계, 상기 그룹핑된 복수의 촬영 영상들 각각에 대해서 복수 개의 특징점을 추출하는 단계, 상기 그룹 내 복수의 촬영 영상으로부터 추출된 복수 개의 특징점들을 비교하여 일치하는 특징점들끼리 매칭하는 단계, 상기 매칭된 특징점들을 이용하여 호모그래피(Homography) 공식 추출하는 단계, 그리고 상기 추출된 호모그래피 공식과 상기 특징점들을 이용하여 각 그룹마다 하나의 360도 3D 입체 영상을 생성하도록 스티칭하는 단계를 포함한다.
상기 스티칭하는 단계는, 상기 각 그룹의 촬영 영상들을 어안 렌즈에서 등장방형도법(Equirectangular Projection)을 통해 상기 복수의 촬영 영상들의 공통 부분을 합성하여 하나의 360도 3D 입체 좌안 영상 및 하나의 360도 3D 입체 우안 영상을 생성할 수 있다.
상기 특징점 및 호모그래피(Homography) 공식이 추출된 후 복수의 촬영 영상을 실시간으로 수신하면, 상기 추출된 특징점 및 호모그래피(Homography) 공식을 이용하여 수신된 복수의 촬영 영상에서 상기 공통 부분 프레임만 보정하여 좌안 영상 및 우안 영상에 대해 각각 360도 3D 입체 영상을 생성하는 단계를 더 포함할 수 있다.
상기 360도 3D 입체 영상을 생성하면, 바이큐빅(bicubic) 또는 공일차내삽법(bilinear) 알고리즘을 이용하여 이미지 크기를 변경하여 해상도를 조정하는 단계를 더 포함할 수 있다.
본 발명에 따르면, 입체감이 향상된 소형 3D 가상 현실 컨텐츠 및 증강 현실 컨텐츠를 생성하여 제공할 수 있으며, 왜곡 없는 고품질의 360도 3D 입체 영상을 제공할 수 있다.
또한, 특징점 및 홈그래피 공식이 추출된 다음 스티칭하는 프레임 단위로 보정을 하므로 스티칭의 속도를 향상시킬 수 있다.
도 1은 본 발명의 실시예에 따른 생방송 스티칭 방법을 설명하기 위한 예시도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
그러면 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.
이하에서는 도 1을 이용하여 본 발명의 실시예에 따른 스티칭 장치를 이용하여 생방송 스티칭하는 방법에 대해서 상세하게 설명한다.
도 1은 본 발명의 실시예에 따른 생방송 스티칭 방법을 설명하기 위한 예시도이다.
먼저, 스티칭 장치는 복수의 카메라로부터 복수의 촬영 영상을 실시간으로 수신한다. 예를 들어 스티칭 장치는 최소 8개의 카메라로부터 영상을 수신받을 수 있으며, 각각의 카메라는 각각의 캡쳐 카드(Capture Card)에 연결되고 다이렉트쇼(Directshow)를 이용하여 각각의 캡처 카드 필터(Capture Card Filter)에 Sample Grabber Filter를 연결하여 동시에 8개의 영상을 지연 없이 스티칭 장치로 송신할 수 있다.
스티칭 장치는 수신된 복수의 촬영 영상을 좌안 영상 및 우안 영상으로 구분하여 그룹핑한다. 즉, 왼쪽 눈에 해당하는 영상과 오른쪽 눈에 해당하는 영상으로 구분하여 두개의 그룹으로 그룹핑할 수 있다.
다음으로 스팅칭 장치는 그룹핑된 복수의 촬영 영상들 각각에 대해서 복수 개의 특징점을 추출한다.
도 1의 (a)에 도시한 바와 같이, 스팅칭 장치는 각각의 촬영 영상에서 복수 개의 특징점들을 추출할 수 있다.
그리고, 도 1의 (b)에 도시한 바와 같이, 스티칭 장치는 각 그룹마다 촬영 영상으로 추출된 복수 개의 특징점들을 비교하여 서로 일치하는 특징점들을 매칭한다.
다음으로 스티칭 장치는 매칭된 특징점들을 이용하여 호모그래피(Homography) 공식 추출한다. 즉, 스티칭 장치는 동일한 특징점을 매칭함으로써 인접 이미지 간에 기하학적 연관관계인 호모그래피 공식을 산출한다.
그리고 스티칭 장치는 매칭된 특징점 및 호모그래피 공식을 이용하여 각 그룹의 촬영 영상들을 어안 렌즈에서 등장방형도법(Equirectangular Projection)을 통해 복수의 촬영 영상들의 공통 부분을 합성한다.
도 1의 (c)에 도시한 바와 같이, 스티칭 장치는 두 영상에서 동일한 특징점을 매칭하여 하나의 영상을 생성할 수 있도록 두 영상의 공통 부분을 스티칭한다.
즉, 스티칭 장치는 추출된 호모그래피 공식과 추출된 특징점들을 이용하여 360도 3D 입체 좌안 영상 및 하나의 360도 3D 입체 우안 영상을 생성한다.
한편, 이와 같은 과정으로 특징점 및 호모그래피(Homography) 공식이 추출된 후 복수의 촬영 영상을 실시간으로 수신하면, 스티칭 장치는 추출된 특징점 및 호모그래피(Homography) 공식을 이용하여 수신된 복수의 촬영 영상에서 공통 부분 프레임만 보정하여 좌안 영상 및 우안 영상에 대해 각각 360도 3D 입체 영상을 생성할 수 있다.
즉, 복수의 카메라들 간의 거리가 변경되지 않는다면 모두 동일하게 구해질 가능성이 크기 때문에, 수신된 영상에서 스티칭하는 단계만 거쳐 공통 부분 프레임만 보정함으로써 빠르게 360도 3D 입체 영상을 생성할 수 있다.
그리고 스티치 장치는 360도 3D 입체 영상을 생성하면, 바이큐빅(bicubic) 또는 공일차내삽법(bilinear) 알고리즘을 이용하여 이미지 크기를 변경하여 해상도를 조정할 수 있다.
한편, 오디오는 1개의 캡쳐 카드(Capture Card)에서 입력 받을 수 있으며 각각의 입력 받은 3840x2160 영상은 4개씩 스티칭 장치를 통하여 1개의 3840x2160 360 영상으로 만들어지게 되고 이렇게 만들어진 2개의 3840x2160 360 영상을 다시 top-bottom으로 1개의 3840x2160 영상으로 만들 수 있다. 그리고 만들어진 3840x2160 top-bottom 영상은 H.264 Codec에 의해서 압축 하고 오디오와 함께 매칭되어 출력될 수 있다.
이와 같이 본 발명의 실시예에 따르면, 입체감이 향상된 소형 3D 가상 현실 컨텐츠 및 증강 현실 컨텐츠를 생성하여 제공할 수 있으며, 왜곡 없는 고품질의 360도 3D 입체 영상을 제공할 수 있다.
또한, 특징점 및 홈그래피 공식이 추출된 다음 스티칭하는 프레임 단위로 보정을 하므로 스티칭의 속도를 향상시킬 수 있다.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.

Claims (4)

  1. 스티칭 장치를 이용한 생방송 스티칭 방법에 있어서,
    상기 스티칭 장치는 복수의 카메라로부터 복수의 촬영 영상을 실시간으로 수신하고, 상기 수신된 복수의 촬영 영상을 좌안 영상 및 우안 영상으로 구분하여 그룹핑하는 단계,
    상기 그룹핑된 복수의 촬영 영상들 각각에 대해서 복수 개의 특징점을 추출하는 단계,
    상기 그룹 내 복수의 촬영 영상으로부터 추출된 복수 개의 특징점들을 비교하여 일치하는 특징점들끼리 매칭하는 단계,
    상기 매칭된 특징점들을 이용하여 호모그래피(Homography) 공식 추출하는 단계, 그리고
    상기 추출된 호모그래피 공식과 상기 특징점들을 이용하여 각 그룹마다 하나의 360도 3D 입체 영상을 생성하도록 스티칭하는 단계를 포함하는 생방송 스티칭 방법.
  2. 제1항에 있어서,
    상기 스티칭하는 단계는,
    상기 각 그룹의 촬영 영상들을 어안 렌즈에서 등장방형도법(Equirectangular Projection)을 통해 상기 복수의 촬영 영상들의 공통 부분을 합성하여 하나의 360도 3D 입체 좌안 영상 및 하나의 360도 3D 입체 우안 영상을 생성하는 생방송 스티칭 방법.
  3. 제2항에 있어서,
    상기 특징점 및 호모그래피(Homography) 공식이 추출된 후 복수의 촬영 영상을 실시간으로 수신하면, 상기 추출된 특징점 및 호모그래피(Homography) 공식을 이용하여 수신된 복수의 촬영 영상에서 상기 공통 부분 프레임만 보정하여 좌안 영상 및 우안 영상에 대해 각각 360도 3D 입체 영상을 생성하는 단계를 더 포함하는 생방송 스티칭 방법.
  4. 제3항에 있어서,
    상기 360도 3D 입체 영상을 생성하면, 바이큐빅(bicubic) 또는 공일차내삽법(bilinear) 알고리즘을 이용하여 이미지 크기를 변경하여 해상도를 조정하는 단계를 더 포함하는 생방송 스티칭 방법.
KR1020170149598A 2017-11-10 2017-11-10 스티칭 장치를 이용한 생방송 스티칭 방법 KR20190053565A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170149598A KR20190053565A (ko) 2017-11-10 2017-11-10 스티칭 장치를 이용한 생방송 스티칭 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170149598A KR20190053565A (ko) 2017-11-10 2017-11-10 스티칭 장치를 이용한 생방송 스티칭 방법

Publications (1)

Publication Number Publication Date
KR20190053565A true KR20190053565A (ko) 2019-05-20

Family

ID=66678716

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170149598A KR20190053565A (ko) 2017-11-10 2017-11-10 스티칭 장치를 이용한 생방송 스티칭 방법

Country Status (1)

Country Link
KR (1) KR20190053565A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023059144A1 (ko) * 2021-10-07 2023-04-13 주식회사 벤타브이알 실시간 3d vr영상 중계를 위한 영상 스티칭 방법 및 시스템
WO2024080438A1 (ko) * 2022-10-12 2024-04-18 한국전자기술연구원 실시간 3d ar 객체 획득 장치, 시스템 및 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023059144A1 (ko) * 2021-10-07 2023-04-13 주식회사 벤타브이알 실시간 3d vr영상 중계를 위한 영상 스티칭 방법 및 시스템
US12175626B2 (en) 2021-10-07 2024-12-24 Ventavr Co.,Ltd Image stitching method and system for relaying 3D VR images in real time
WO2024080438A1 (ko) * 2022-10-12 2024-04-18 한국전자기술연구원 실시간 3d ar 객체 획득 장치, 시스템 및 방법

Similar Documents

Publication Publication Date Title
US20150358539A1 (en) Mobile Virtual Reality Camera, Method, And System
WO2012029298A1 (ja) 撮影装置および画像処理方法
JP5204349B2 (ja) 撮影装置、再生装置、および画像処理方法
JP2014504074A (ja) 立体三次元イメージおよびビデオを生成する方法、システム、装置、および、関連する処理論理回路
US20160344999A1 (en) SYSTEMS AND METHODs FOR PRODUCING PANORAMIC AND STEREOSCOPIC VIDEOS
WO2012029301A1 (ja) 撮影装置、再生装置、および画像処理方法
JP2013214975A (ja) ３ｄディスプレイ装置およびその映像処理方法
TW201351959A (zh) 立體全景影像合成方法及其相關之立體攝影機
EP3080986A1 (en) Systems and methods for producing panoramic and stereoscopic videos
JPWO2013108339A1 (ja) ステレオ撮影装置
CN108600729B (zh) 动态3d模型生成装置及影像生成方法
CN103260046A (zh) 一种三维显示方法及系统
JP2007110360A (ja) 立体画像処理装置およびプログラム
CN107172413A (zh) 现实场景视频显示方法和系统
KR20150091064A (ko) 단일의 카메라를 이용하여 3d 이미지를 캡쳐하는 방법 및 시스템
US11019323B2 (en) Apparatus and method for 3D like camera system in a handheld mobile wireless device
KR20190053565A (ko) 스티칭 장치를 이용한 생방송 스티칭 방법
CN103248910B (zh) 三维成像系统及其图像再现方法
CN104994370A (zh) 一种3d视频图像采集系统
KR101158678B1 (ko) 입체 영상 시스템 및 입체 영상 처리 방법
JP2019083504A (ja) 平板パネルにおける立体映像入力のためのハードウェアシステム
CN106680996A (zh) 头戴式虚拟现实显示器的显示方法及显示控制系统
KR101231661B1 (ko) 컬러세그먼트 추출과 깊이지도를 활용한 입체영상 제작 방법
JP2006129225A (ja) 立体映像表示装置及び立体映像表示方法
KR101578890B1 (ko) 입체 동영상 촬영용 장치 및 카메라

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20171110

PG1501 Laying open of application
PC1203 Withdrawal of no request for examination