KR102654097B1

KR102654097B1 - 실감형 스포츠 중계 송출과 시청 시스템 및 그 방법, 이를 구현하기 위한 프로그램이 저장된 기록매체 및 이를 구현하기 위해 매체에 저장된 컴퓨터프로그램

Info

Publication number: KR102654097B1
Application number: KR1020230015919A
Authority: KR
Inventors: 구재모; 주봉현; 김종열; 남현진; 백호준; 변경호; 이남정; 이정환; 이청기; 장용대; 최범수; 한준희; 구자균; 노성언; 정준일; 김태영
Original assignee: 학교법인 인산학원
Priority date: 2023-02-07
Filing date: 2023-02-07
Publication date: 2024-04-03

Abstract

본 발명은 가상현실(VR) 기술을 이용하여, 스포츠 콘텐츠 시청자가 실감 있는 중계방송을 시청할 수 있도록 하는 기술에 관한 것으로, 상세하게는 스포츠 경기에 참여하는 사람의 신체에 소형 카메라를 부착하고, 그 영상신호를 실시간으로 중계 전송하면, HMD를 착용한 시청자가 직접 스포츠 경기에 참여하는 사람의 시점으로 해당 스포츠 중계를 시청할 수 있는 실감형 스포츠 중계 송출과 시청 시스템 및 그 방법, 이를 구현하기 위한 프로그램이 저장된 기록매체 및 이를 구현하기 위해 매체에 저장된 컴퓨터프로그램을 제공한다.

Description

실감형 스포츠 중계 송출과 시청 시스템 및 그 방법, 이를 구현하기 위한 프로그램이 저장된 기록매체 및 이를 구현하기 위해 매체에 저장된 컴퓨터프로그램 {IMMERSIVE SYSTEM FOR SPORTS CONTENTS RELAY TRANSMISSION AND HMD-BASED VIEWING METHOD THEREOF AND RECORDING MEDIUM STORING PROGRAM FOR EXECUTING THE SAME, AND COMPUTER PROGRAM STORED IN RECORDING MEDIUM FOR EXECUTING THE SAME}

본 발명은 가상현실(VR) 기술을 이용하여, 스포츠 콘텐츠 시청자가 실감 있는 중계방송을 시청할 수 있도록 하는 기술에 관한 것으로, 상세하게는 스포츠 경기에 참여하는 사람의 신체에 소형 카메라를 부착하고, 그 영상신호를 실시간으로 중계 전송하면, HMD를 착용한 시청자가 직접 스포츠 경기에 참여하는 사람의 시점으로 해당 스포츠 중계를 시청할 수 있는 실감형 스포츠 중계 송출과 시청 시스템 및 그 방법, 이를 구현하기 위한 프로그램이 저장된 기록매체 및 이를 구현하기 위해 매체에 저장된 컴퓨터프로그램에 관한 것이다.

가상현실(Virtual Reality)은 컴퓨터로 만들어 놓은 가상의 세계만을 의미하지 않으며, 실사 영상이 구현하는 콘텐츠의 세계도 개념에 포함된다.

컴퓨터로 만들어 놓은 가상의 세계는 협의(狹義)의 개념이다.

광의(廣義)의 개념으로써 가상현실은 모든 종류의 미디어 경험이 포함된다.

예를 들어 스포츠 생중계의 경우, 시청자가 실제 경기장에서 직접 관람하는 것이 아니라 원격지에서 텔레비전이라는 매체를 통해 간접적으로 시청각적 경험을 하는 것이며, 영상신호 송신 과정에서 근소한 시차가 발생하기도 한다.

즉 시청자의 신체가 위치한 현실세계에서 직접 경험하는 것이 아니라 텔레비전이라는 미디어를 통해 그 스포츠 경기를 간접적으로 경험하는 것이기 때문에, 현실세계에 상대적인 개념으로써 가상세계의 범주로 포함시키는 것이 학계의 일반적인 개념 정의이다.

특히 최근에는 가상현실 개념에 '실감미디어'라는 용어를 덧붙여 '가상현실 실감미디어'라고도 하며, 그에 대한 학계의 정의는 다음과 같다.

'5G 기술의 상용화와 스마트 디바이스 보급의 확산으로 가상현실, 증강현실, 기존 3D 입체영상, 홀로그램(Hologram) 등과 더불어 디스플레이, 컴퓨터 그래픽스, 게임 산업 등 다양한 분야에서 활용되고 있는 사용자 만족도 향상을 위해 몰입감과 현장감을 극대화하여 실제로 체험하는 느낌을 제공하는 미디어'(이경아. (2021). 메타버스(Metaverse) 세계에서의 실감미디어 기술 연구. 한국컴퓨터 정보학회논문지, Vol. 26 No. 9, pp. 73-79, September 2021.)

'객관적이기 보다는 개인적·주관적·상대적이고, 사용자들에게 미디어 콘텐츠가 실제처럼 느껴지도록 경험하게 만드는 미디어'(김세웅, 조윤성. (2019). 가상현실 기술을 활용한 실감미디어 서비스 사례연구. 한국디자인리서치, 4(2), 29-38.)

'몰입감과 현장감이라는 두 가지의 요소가 극대화되어 사용자의 오감을 자극하는 것을 목표로 하며, 사용자가 현실세계에서는 경험할 수 없는 다양한 경험을 얻을 수 있게 하는 미디어'이고 '사용자에게 현장감과 몰입감을 주기 위해 오감(五感)을 통해 보고 듣고 느끼도록 만들며, 시간과 공간의 제약을 벗어나서 표현되는 미디어'(정완규. (2015). 실감미디어를 어떻게 준비할 것인가?, 한림ICT정책저널.)

'현실세계를 가장 근접 하게 재현하고자 하는 차세대 미디어로, 현재 사용하는 미디어보다 월등히 나은 표현력과 선명함, 현실감을 오감정보를 통해 제공할 수 있는 미디어'(이현철, 강임철, 김은석, 허기택. (2011). IPTV를 이용한 실감미디어 서비스의 개발현황 및 발전 전망. 한국멀티미디어학회지, 15(3·4), 39-47.)

가상현실(Virtual Reality)에서는 모두 허구의 상황만을 제시하는 것이 아니라, 실제 상황을 제시하기도 한다.

가상현실의 개념적/이론적 토대는 몰입과 관련된 프레젠스(presence) 개념으로부터 출발하며, 텔레오퍼레이션(tele-operation)에 관한 Minsky(Minsky, M.. (1980). Telepresence. Omni. quoted in Sheridan, T. B.(1992), Musings on telepresence and virtual presence. Presence: Teleoperators and Virtual Environments.)의 연구를 바탕으로 한다.

예를 들어 해양 탐사에서 원격제어 시스템의 오퍼레이터가 탐사 선박 위에서 심해에 있는 잠수정을 조작하고 있지만 자신이 심해 잠수정에 직접 탑승(존재)한 채로 조종하고 있다고 느끼는 것과 같이, '인간과 상호작용하는 시스템의 조작자(사용자)가 마치 자신의 존재가 멀리 떨어진 곳에 있다고 느끼도록 내적 감각을 일으키는 현상'을 텔레프레젠스(tele-presence)라고 했다.

이와 관련해서, HDTV 및 UHDTV의 국제기술표준을 권고안으로 규정하는 ITU(International Telecommunication Union)에서는 다음과 같이 정의하고 있다.

국제기술표준 권고안 ITU-R BT.2020-2 표준에서는 UHDTV 속성을 다음과 같이 정의하고 있다.

UHDTV will provide viewers with an enhanced visual experience primarily by having a wide field of view...(UHDTV는 더 넓은 시야각으로 시청자들에게 높은 시각적 경험을 제공해준다.)

...they will provide viewers with an increased sense of "being there" and increased sense of realness...(이를 통해서 시청자들은 증가된 '현존감'과 '실재감'을 경험하게 된다.)

기술보고서 ITU-R BT.2246-7(10/2020)에서는 UHDTV를 다음과 같이 정의하고 있다.

Television has built its history on the fundamental desire of human beings to extend their audiovisual senses spatially and temporally.(텔레비전은 시청각적 감각을 공간적, 시간적으로 확장하고자 하는 인간의 근원적 욕망으로부터 만들어진 것이다.)

UHDTV is a television application that is intended to provide viewers with an enhanced visual experience primarily by offering a wide field of view that virtually covers all of the human visual field with appropriate sizes of screens relevant to usage at home and in public places.(UHDTV는 가정이나 공공장소에서 적절한 크기의 화면으로 인간의 시야범위를 사실상 모두 채우는 시야각을 제공해서 시청자에게 향상된 시각적 경험을 제공하기 위한 텔레비전 방식이다.)

Compared with current HDTV, the UHDTV application should bring considerably improved benefits to its viewers.(기존의 HDTV와 비교해서, UHDTV는 시청자들에게 훨씬 더 향상된 효과들을 제공한다.)

a. stronger sensation of reality or presence(더 강력한 실재감 또는 현전감)

b. higher transparency to the real world(실제 세계로의 높은 투영성)

c. more information(더 많은 정보)

It will provide stronger sensation of reality and a stronger immersive feeling to viewers by offering a far wider field of view than current systems can offer.(UHDTV는 시스템에 제공할 수 있는 것보다 훨씬 넓은 시야각을 제공함으로써 더 강력한 실재감이나 몰입감을 제공해준다.)

한편, 가상현실(VR·virtual reality)과 현실 세계에 가상정보를 더해 보여주는 기술인 증강현실(AR:augmented reality)을 혼합한 기술은 혼합현실(MR:mixed reality)이라고 한다.

다만 AR은 실제 현실에 가상의 정보를 더해 보여 주는 방식이고,

MR은 AR과 VR을 혼합해 현실 배경에 현실과 가상의 정보를 혼합시켜 제공하는데, 대용량 데이터를 처리할 수 있는 기술이 필요하다.

가상현실의 체험에는 HMD(Head Mount Display)가 일반적으로 이용되는데, 이는 VR 체험을 위해 사용자가 머리에 장착하는 디스플레이 디바이스로, 사용자의 시선을 외부와 차단한 후 사용자의 시각에 가상세계를 보여주는 역할을 한다. 눈앞에 디스플레이가 오도록 얼굴에 쓰는 형태로 마이크, 스테레오 스피커를 비롯해 여러 센서 등이 탑재될 수 있다.

주로 게임의 영역에서 활용돼 온 VR이 영화, 드라마 감상이나 스포츠 중계 시청 등에도 활용 되면서 기존 미디어 형태를 변화시킬 것으로 예상된다.

스포츠 경기 영상을 VR로 변환해 보기 위해서는 초고속 및 대용량 데이터가 필수적이다. VR은 정지 화면 기준 최소 가로 약 3만개, 세로 약 2만4천개로 구성된 총 7억2천만개의 픽셀 정보를 필요로 하며, 여기에 좌우 회전까지 고려하면 약 25억개에 달하는 픽셀 정보를 감당해야한다. 따라서 일반적으로 VR영상은 기존 영상에 비해 최소 약 4배 많은 데이터를 필요로 하며, 전송 속도도 800Mbps 이상이 필요하다. 각종 스포츠 경기를 VR로 실감나게 경험하기 위해서는 고화질 영상뿐만 아니라 높은 FPS기반의 영상 제공이 필요하다.

VR영상을 60FPS(Frame Per Second)로 구현하기 위해서는 End-to-End 영상 프레임간 16.67ms 이내 전송이 필요하다.

종래의 스포츠 중계는 다수의 카메라를 경기장이 보이도록 설치하고, 다수의 카메라 중 어느 하나의 카메라가 촬영한 영상이 송출되도록 하고 있다.

그러나 이러한 방법은, 방송국에서 보여주고자 하는 화면만 일반적으로 보게되어, 수동적인 중계를 시청할 뿐이다.

보통 스포츠 경기를 관람할 경우 카메라 시야에서 벗어난 장면은 볼 수 없다는 한계가 존재한다.

이러한 한계 뿐 아니라, 보통의 스포츠 경기를 관람데 있어서, 관중이 경기장 밖에 위치하며, 선수들이 경기를 하는 영역 내로 들어갈 수 없다.

카메라도 선수들의 경기에 방해도지 않기 위해서는 경기장 영역 밖에 위치해야 하기 때문에, 텔레비전 시청으로 스포츠 경기를 관람하는 경우에도 현실세계가 아닌 가상세계에서의 간접적인 형태로 경험할 수밖에 없다는 문제가 있다.

또, 시청자가 보고 싶은 화면을 선택하여 볼 수 없다는 문제가 있다.

또한, 경기에 직접 참여하는 사람의 시점에서 경기를 볼 수 없다는 문제가 있다.

한국공개특허 [10-2021-0084248]에서는 VR 컨텐츠 중계 플랫폼 제공 방법 및 그 장치가 개시되어 있다.

한국공개특허 [10-2021-0084248](공개일자: 2021년07월07일)

따라서, 본 발명은 상기한 바와 같은 문제점을 해결하기 위하여 안출된 것으로, 본 발명의 목적은 스포츠 경기에 참여하는 사람의 신체에 소형 카메라를 부착하고, 그 영상신호를 실시간으로 중계 전송하면, HMD를 착용한 시청자가 직접 스포츠 경기에 참여하는 사람의 시점으로 해당 스포츠 중계를 시청할 수 있는 실감형 스포츠 중계 송출과 시청 시스템 및 그 방법, 이를 구현하기 위한 프로그램이 저장된 기록매체 및 이를 구현하기 위해 매체에 저장된 컴퓨터프로그램을 제공하는 것이다.

본 발명의 실시예들의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

상기한 바와 같은 목적을 달성하기 위한 본 발명의 일 실시예에 따른 실감형 스포츠 중계 송출과 시청 시스템은, 스포츠 경기에 참여하는 사람의 신체나 장비에 부착된 이동식카메라(100); 상기 이동식카메라(100)로부터 촬영된 영상데이터를 수신하는 영상수집부(200); 상기 영상수집부(200)로부터 수집된 영상데이터를 지정된 규격으로 변환하는 데이터변환부(300); 상기 데이터변환부(300)로부터 변환된 영상데이터를 영상중계부(500)로 전송하는 영상전송부(400); 상기 영상전송부(400)로부터 수집된 영상데이터를 저장 및 관리하는 영상중계부(500); 상기 영상중계부(500)로부터 필요로 하는 영상데이터를 수신받는 영상수신부(600); 및 상기 영상수신부(600)와 연결되어 HMD(Head Mount Display)로 3D(Three Dimensions)영상을 재생시키는 영상재생부(700);를 포함하며, 상기 데이터변환부(300) 또는 영상중계부(500)는 3D 컨버전(Conversions) 기술을 적용하여, 3D 영상을 전송하는 것을 특징으로 한다.

또한, 상기 영상중계부(500)는 메인 중계방송에서의 주화면에 등장한 선수의 시점을 따라가는 옵션, 공을 소유한 선수의 시점을 따라가는 옵션, 공격자의 시점을 따라가는 옵션, 수비자의 시점을 따라가는 옵션, 가장 많은 시청자가 보는 화면을 선택하는 옵션, 랜덤 옵션 중 선택된 적어도 하나의 옵션을 포함하는 복수의 옵션 중 어느 하나를 선택할 수 있는 기능을 제공하고, 선택된 옵션에 해당되는 화면을 전송하는 것을 특징으로 한다.

또, 상기 영상중계부(500)는 상기 영상수신부(600)를 통해 시청자가 AI 수신 모드를 선택하면, 기계학습 기반으로, 특정 이동식카메라(100) 시점의 영상을 자동으로 전송하는 것을 특징으로 한다.

또한, 상기 영상중계부(500)는 현재 시청하는 화면의 이동식카메라(100)와 매칭되는 주인공 프로필을 화면 일측에 보여주는 것을 특징으로 한다.

본 발명의 일 실시예에 따른 실감형 스포츠 중계 송출과 시청 방법은, 컴퓨터를 포함하는 연산처리수단에 의하여 실행되는 프로그램 형태로 이루어지는 실감형 스포츠 중계 송출과 시청 방법에 있어서, 영상수집부(200)가 이동식카메라(100)로부터 촬영된 영상데이터를 수신하는 영상수집 단계(S10); 데이터변환부(300)가 상기 영상수집부(200)로부터 수집된 영상데이터를 지정된 규격으로 변환하는 데이터변환 단계(S20); 영상전송부(400)가 상기 데이터변환부(300)로부터 변환된 영상데이터를 영상중계부(500)로 전송하는 영상전송 단계(S30); 영상중계부(500)가 상기 영상전송부(400)로부터 수집된 영상데이터를 저장 및 관리하는 영상중계 단계(S40); 영상수신부(600)가 상기 영상중계부(500)로부터 필요로 하는 영상데이터를 수신받는 영상수신 단계(S50); 및 영상재생부(700)가 상기 영상수신부(600)와 연결되어 HMD로 3D(Three Dimensions)영상을 재생시키는 영상재생 단계(S60);를 포함하며, 상기 데이터변환 단계(S20) 또는 영상중계 단계(S40)는 3D 컨버전(Conversions) 기술을 적용하여, 3D 영상을 전송하는 것을 특징으로 한다.

또한, 상기 영상중계 단계(S40)는 메인 중계방송에서의 주화면에 등장한 선수의 시점을 따라가는 옵션, 공을 소유한 선수의 시점을 따라가는 옵션, 공격자의 시점을 따라가는 옵션, 수비자의 시점을 따라가는 옵션, 가장 많은 시청자가 보는 화면을 선택하는 옵션, 랜덤 옵션 중 선택된 적어도 하나의 옵션을 포함하는 복수의 옵션 중 어느 하나를 선택할 수 있는 기능을 제공하고, 선택된 옵션에 해당되는 화면을 전송하는 것을 특징으로 한다.

또, 상기 영상중계 단계(S40)는 상기 영상수신부(600)를 통해 시청자가 AI 수신 모드를 선택하면, 기계학습 기반으로, 특정 이동식카메라(100) 시점의 영상을 자동으로 전송하는 것을 특징으로 한다.

또한, 상기 영상중계 단계(S40)는 현재 시청하는 화면의 이동식카메라(100)와 매칭되는 주인공 프로필을 화면 일측에 보여주는 것을 특징으로 한다.

또, 본 발명의 일 실시예에 따르면, 상기 실감형 스포츠 중계 송출과 시청 방법을 구현하기 위한 프로그램이 저장된 컴퓨터 판독 가능한 기록매체가 제공되는 것을 특징으로 한다.

아울러, 본 발명의 일 실시예에 따르면, 상기 실감형 스포츠 중계 송출과 시청 방법을 구현하기 위해, 컴퓨터 판독 가능한 기록매체에 저장된 프로그램이 제공되는 것을 특징으로 한다.

본 발명의 일 실시예에 따른 실감형 스포츠 중계 송출과 시청 시스템 및 그 방법, 이를 구현하기 위한 프로그램이 저장된 기록매체 및 이를 구현하기 위해 매체에 저장된 컴퓨터프로그램에 의하면, 스포츠 경기에 참여하는 사람의 신체에 소형 카메라를 부착하고, 그 영상신호를 실시간으로 중계 전송하면, HMD를 착용한 시청자가 직접 스포츠 경기에 참여하는 사람의 시점으로 해당 스포츠 중계를 시청할 수 있도록 함에 따라, 스포츠 콘텐츠 시청자가 실감 있는 중계방송을 시청할 수 있는 효과가 있다.

또한, 종래 모든 스포츠 중계는 경기장 밖에 설치되었으나, 이동식(착용식)소형 카메라를 선수 또는 심판 등 경개장 내의 사람에게 소형카메라를 설치하여 실제와 같은 몰입감을 중계할 수 있는 효과가 있다.

또, 특정 옵션을 선택하는 것으로 시점(채널)이 옵션에 따라 자동으로 변경되도록 함으로써, 여러 영상 중 시청자가 원하는 영상이 자동으로 선택되도록 하여 보다 편리한 시청이 가능하도록 할 수 있는 효과가 있다.

또, 기계학습 기반으로 시점(채널)이 자동으로 변경되도록 함으로써, 시청자의 취향에 따른 영상이 자동으로 선택되도록 하여 보다 편리한 시청이 가능하도록 할 수 있는 효과가 있다.

아울러, 현재 보여지는 화면의 주인공 프로필을 화면 일측에 보여줌으로써, 누구의 시점에서 촬영된 영상임을 확인할 수 있어, 경기 몰입감을 더욱 높일 수 있는 효과가 있다.

도 1은 본 발명의 일 실시예에 따른 실감형 스포츠 중계 송출과 시청 시스템의 블록도.
도 2는 본 발명의 일 실시예에 따른 실감형 스포츠 중계 송출과 시청 방법의 흐름도.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야한다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.

반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

본 명세서에서 사용되는 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 공정, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 공정, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미가 있는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 첨부된 도면을 참조하여 본 발명을 더욱 상세하게 설명한다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정하여 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여, 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 또한, 사용되는 기술 용어 및 과학 용어에 있어서 다른 정의가 없다면, 이 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 통상적으로 이해하고 있는 의미를 가지며, 하기의 설명 및 첨부 도면에서 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능 및 구성에 대한 설명은 생략한다. 다음에 소개되는 도면들은 당업자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 예로서 제공되는 것이다. 따라서, 본 발명은 이하 제시되는 도면들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 또한, 명세서 전반에 걸쳐서 동일한 참조번호들은 동일한 구성요소들을 나타낸다. 도면들 중 동일한 구성요소들은 가능한 한 어느 곳에서든지 동일한 부호들로 나타내고 있음에 유의해야 한다.

도 1은 본 발명의 일 실시예에 따른 실감형 스포츠 중계 송출과 시청 시스템의 블록도 이고, 도 2는 본 발명의 일 실시예에 따른 실감형 스포츠 중계 송출과 시청 방법의 흐름도이다.

도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 실감형 스포츠 중계 송출과 시청 시스템은 이동식카메라(100), 영상수집부(200), 데이터변환부(300), 영상전송부(400), 영상중계부(500), 영상수신부(600) 및 영상재생부(700)를 포함하며, 상기 데이터변환부(300) 또는 영상중계부(500)는 3D 컨버전(Conversions) 기술을 적용하여, 3D 영상을 전송하는 것을 특징으로한다.

인간의 안간 거리(평균 6.5cm) 차이로 인한 시차(Parallax)는 각기 다른 두 개의 2차원 이미지를 뇌에 전달한다.

이렇게 전달된 좌, 우 이미지는 뇌를 통하여 하나의 입체 이미지로 인식하게 된다.

두 눈이 이러한 것처럼 두 대의 카메라를 좌, 우로 배치시키고 카메라 렌즈를 통해 동시에 좌, 우 이미지를 촬영하게 된다.

이렇게 촬영된 좌, 우 이미지를 특정한 장비를 통해 상영함으로써 입체감을 습득하게 된다.

촬영된 좌, 우 이미지는 두 대의 카메라 간격으로 인해 양안시차(Binocular parallax)라는 차이가 발생하게 된다.

3D 컨버전(Conversions) 기술은 크게 두 가지로 나눌 수 있다. 첫 번째는 영화촬영에서 사용하는 방법과 같이 촬영 현장에서 두 대의 카메라를 리그(Rig)라는 장비에 설치하여 촬영하는 방법이며, 두 번째는 소프트웨어 안의 가상의 카메라를 이용하여 3D 입체영상을 촬영하여 제작하는 방법이다.

두 대의 카메라를 설치하여 촬영하는 방식은 카메라의 배치 방식에 따라 수평리그 방식과 수직리그 방식으로 나누어진다.

수평리그는 두 대의 카메라를 인간의 눈처럼 수평으로 배열하여 촬영하는 방식이다.

수평리그의 특징은 노출 감소 및 좌, 우 영상의 색상 차이가 없으며 그립장비 사용이 용이하다는 장점이 있으나, 두 대의 카메라 부피가 크면 인간의 평균 안간 거리인 6.5Cm 보다 작게 두 개의 렌즈를 배치시킬 수 없기 때문에 이러한 축간거리 조절의 제약으로 근접 촬영이 어려운 단점이 있다.

수직리그는 수평리그의 단점인 축간거리를 최소화 할 수 있어 근접촬영이 가능하고 다양한 카메라와 렌즈를 장착할 수 있다는 장점이 있다. 그러나 하프미러에 의한 광량 손실이 존재하고, 미러 품질에 의한 좌, 우영상의 색차가 존재한다.

인간은 물체를 바라볼 때 두 안구가 회전하면서 두 눈이 바라보는 교차점에 초점을 맞추게 된다. 이러한 교차점은 양안 시차가 발생하지 않은 지점이 된다.

3D 입체영상 촬영 과정에서는 두 대의 카메라를 회전하면서 초점을 조절하게 된다.

이처럼 두 대의 카메라가 바라보는 시점이 교차되는 지점을 0점(Zero Parallax Point)이라고 하며 리그를 이용한 3D 입체영상 촬영 시 0점(Zero Parallax Point)을 조절하기 위하여 3가지 주시각(Convergence Angle) 구성법을 사용한다.

3가지 주시각 구성법은 평행식(Parallel), 복합식(Complex), 폭주식(Convergence) 방법이 사용되고 있으며, 주로 폭주식 방식이 사용된다

2D to 3D 입체 변환에서 3D 컨버전(Conversions) 방법을 사용할 경우,

결과물 측면에서 공간과 인물의 입체효과가 종이 인형극처럼 표현된다.(카드보드 이펙트; card-board effect)

이러한 결과물 품질의 문제를 고려했을 때, 촬영 현장에서 두 대의 카메라를 리그(Rig)라는 장비에 설치하여 촬영하는 방식을 채택하는 것이 볼륨감 표현이 제대로 구현될 수 있고, 그것은 가상현실 실감영상에 있어서 매우 중요한 요소이기 때문에 바람직 하다 할 수 있다.

가상의 카메라를 사용하는 소프트웨어 방식은 소프트웨어에서 지원하는 가상의 카메라를 사용하는 방법이다.

두 대의 가상의 카메라로 구성된 스테레오 카메라를 모니터 화면 안에 배치시켜 사용함으로서 마우스 조절만으로도 두 카메라의 축간거리(Inter-axial distance), 0점 등을 쉽게 조절하면서 3D 입체영상 촬영이 가능하다.

이러한 가상의 3D 입체 카메라는 수평리그 배치를 사용하며 주시각 조절 방식으로는 폭주방식을 사용하고 있다.

이는 실사 촬영에서는 카메라의 부피로 인해 축간거리를 최소 간격으로 조절하면서 촬영이 어려운 반면 소프트웨어 카메라는 카메라 간격 조절에 제한이 없기 때문이다.

또한 실사 촬영에서 사용하는 폭주방식은 촬영된 좌, 우 이미지에 키스톤 왜곡(Keystone Distortion)이 발생한다.

그러므로 촬영 후 작업과정에서 키스톤 왜곡을 보정해주는 후반작업이 필요하지만 3D 소프트웨어에서 두 대의 가상의 카메라로 구성된 스테레오 카메라는 이러한 키스톤 왜곡(Keystone Distortion)없이 출력할 수 있는 기능을 지원하고 있다.

이동식카메라(100)는 스포츠 경기에 참여하는 사람의 신체나 장비에 부착된다.

예를 들어, 야구의 경우, 선수 또는 심판이 헬멧 등 보호구에 이동식카메라(100)를 설치할 수 있고, 이동식카메라(100)라가 설치된 보호구를 착용한 상태로 경기에 임하면, 해당 선수 또는 심판의 시점에서 경기 영상을 수집할 수 있다.

스포츠 경기에 참여하는 사람은 선수, 심판 등 경기장 내부에 위치할 수 있는 사람을 말한다.

상기 이동식카메라(100)의 형식은 싱글 렌즈 타입도 가능하도 듀얼 렌즈 타입도 가능하며, 규격은 2K(1920*1080) 또는 4K(3840*2160), 8K, 60P(59.94P), H.265 코덱 등 다양한 적용이 가능하다.

영상수집부(200)는 상기 이동식카메라(100)로부터 촬영된 영상데이터를 수신한다.

상기 영상수집부(200)는 안테나를 포함하며, 상기 이동식카메라(100)로부터 촬영된 영상데이터를 수신하여 지정된 저장공간에 저장되도록 한다.

이때, 상기 영상수집부(200)는 무선으로 영상데이터를 수신받을 수 있다.

데이터변환부(300)는 상기 영상수집부(200)로부터 수집된 영상데이터를 지정된 규격으로 변환한다.

상기 데이터변환부(300)는 영상신호를 5G 전용 통신망 등 지정된 통신망을 통해 전송하기 유리한 형태로 변환한다.

상기 데이터변환부(300)는 8bit, 10bit 또는 4:2:0 YUV 샘플링 변환 등의 지정된 규격으로 영상데이터를 변환할 수 있다.

영상전송부(400)는 상기 데이터변환부(300)로부터 변환된 영상데이터를 영상중계부(500)로 전송한다.

이때, 상기 영상전송부(400)는 변환된 영상데이터를 유선으로 영상중계부(500)로 전송할 수 있다.

영상중계부(500)는 상기 영상전송부(400)로부터 수집된 영상데이터를 저장 및 관리한다.

상기 영상중계부(500)는 수집된 영상데이터를 외부 요청에 의해 인터넷(온라인) 전송이 가능하다.

예를 들어, 웹사이트를 통한 실시간 스트리밍, 다시보기 등의 시청이 가능하도록 할 수 있다.

영상수신부(600)는 상기 영상중계부(500)로부터 필요로 하는 영상데이터를 수신받는다.

상기 영상수신부(600)는 컴퓨터, 셋탑박스 또는 스마트기기 등 영상을 시청하기위해 영상을 요청하는 단말을 의미한다.

예를 들어, 상기 영상수신부(600)가 상기 영상중계부(500)가 관리하는 웹사이트에 접속하여 시청자가 보려고 하는 채널을 요청하거나, 해상도 등의 변경도 요청할 수 있다.

영상재생부(700)는 상기 영상수신부(600)와 연결되어 HMD(Head Mount Display)로 3D(Three Dimensions)영상을 재생시킨다.

여기서 연결은 전기적 연결(통신 가능한 연결)이 될 수도 있고 기계적 연결이 될 수도 있다.

HMD는 가상현실 영상을 처리 및 재생하기 위한 처리장치를 내장할 수도 있고, 상기 영상수신부(600)와 연결되어, 상기 영상수신부(600)로 수신된 영상정보를 디스플레이를 이용하여 출력할 수도 있다.

상기 영상수신부(600)는 사용자 단말일 수도 있고, 서버와 연결된 컴퓨팅 장치일 수도 있다. 실시 예에 따라서, HMD는 서버로부터 수신되는 정보에 기초하여 가상현실 영상을 출력할 수도 있다.

실시 예에 따라서, HMD는 처리장치 및 디스플레이를 내장하지 않고, 사용자 단말(스마트기기 등)을 수용하여 사용자 단말의 디스플레이를 활용하는 형태로 구성될 수도 있다.

본 발명의 일 실시예에 따른 실감형 스포츠 중계 송출과 시청 시스템의 핵심 개념은 지금까지 불가침의 영역이었던 경기장 내부에 위치한 선수(or 심판) 신체에 소형 카메라를 부착하고, 사용자는 전송된 영상을 가상현실의 도구인 HMD를 통해 봄으로써 '선수의 시점'으로 경기를 직접 관람하는 효과를 갖게 하는 것이 핵심이다.

이는 ITU 국제기술표준안에서 바탕으로 삼고 있는 몰입에 관한 프레젠스 이론, 예를 들어 Heeter(Heeter, C. (1992). Being There: The subjective experience of presence. Presence: Teleoperators and Virtual Environments. MIT Press.)가 정의한'마치 그곳에 있다는 느낌(the sense of being there)'이나 Lombard & Ditton(Lombard, M., & Ditton, T. (1997). At the Heart of It All: The Concept of Presence. Journal of Computer Mediated Communication, 3(2).), Biocca(Biocca, F. (1997). The cyborg's dilemma: Progressive embodiment in virtual environments. Journal of computer-mediated communication, 3(2), JCMC324.) 등의 정의한 '시청자 자신이 그곳에 가 있다(you are there)' 또는 '내 앞에 다가와 있다(it is here)'와 같은 가상현실에서의 몰입에 관한 이론적 개념을 실제로 구현하는 것이 핵심이다.

본 발명의 일 실시예에 따른 실감형 스포츠 중계 송출과 시청 시스템의 예를 들면, 야구 중계의 경우, 포수의 안면 보호구에 소형 카메라를 부착하고 그 영상신호를 실시간으로 전송하면, HMD를 쓴 시청자는 포수의 시점으로 해당 야구 경기를 관람 할 수 있다. 시청자는 영상 신호의 채널을 변경할 수 있으며, 그 경우 심판, 투수, 1루수 등 다양한 위치의 선수 시점으로 실감 있는 스포츠 경기를 관람할 수 있다.

기존 스포츠 경기의 경우, 중계 카메라는 경기장 밖에 위치하기 때문에 시청자는 경기장 밖의 관람자 시점으로 위치하게 되지만, 본 발명의 일 실시예에 따른 실감형 스포츠 중계 송출과 시청 시스템을 이용하면 시청자가 경기장 안에서 직접 선수가 되어 보는것과 유사한 실감형 체험과 시청이 가능하다.

적용 가능한 스포츠 경기로는 야구, 아이스하키, 미식축구, 펜싱, 봅슬레이(VR), 카레이싱, 싸이클, 스노우보드, 스키점프, 스케이트(스피드스케이팅, 쇼트트랙), 승마, 요트, 태권도 등, 장비를 착용하는 경기, 장비를 사용하는 경기, 공을 이용하는 경기, 대전 경기 등 다양한 스포츠 경기에 적용이 가능하다.

펜싱 등의 대전 경기에서는 중계방송에서의 주화면을 보다가 득점이 발생되면 득점자 시점으로 전환하여 하이라이트를 득점자 시점에서 다시 볼 수 있도록 하거나, 양 선수 각각의 시점의 투샷으로 보다가 득점이 발생되면 득점자 시점으로 전환하여 하이라이트를 득점자 시점에서 다시 볼 수 있도록 하는 등의 실시도 가능하다.

이와 유사하게, 다른 스포츠 경기에서도 점수를 득점하면, 점수를 득점한 선수의 시점에서 다시 볼 수 있도록 점수를 득점한 선수의 시점 영상이 자동으로 재생되도록 하는 등의 실시도 가능하다.

본 발명의 일 실시예에 따른 실감형 스포츠 중계 송출과 시청 시스템은 상기 이동식카메라(100)로부터 상기 영상중계부(500) 이전 까지의 데이터 전송 및 처리에 MEC(Multi-access Edge Computing) 기술이 적용된 것을 특징으로 할 수 있다.

MEC(Multi-Access Edge Computing)는 트래픽 및 서비스 컴퓨팅을 중앙 집중식 클라우드에서 네트워크 에지로 이동시켜 고객과 더 가깝게 만드는 장점이 있다. 모든 데이터를 처리하기 위해 클라우드로 전송하는 대신 네트워크 에지에서 데이터를 분석, 처리 및 저장한다. 따라서 고객 가까이에서 데이터를 수집하고 처리하면 지연 시간이 단축되고 고대역폭 애플리케이션에 실시간 성능이 제공된다.

상기 이동식카메라(100)로부터 상기 영상중계부(500) 이전 까지는 무선 통신을 이용한다. 따라서, 데이터를 지정된 통신망을 통해 전송하기 유리한 형태로 변환하여 전송할 필요성이 있다.

즉, 상기 이동식카메라(100)로부터 촬영된 원본 영상을 상기 영상중계부(500)에 저장하고 가공하는 것이 아니고, 상기 데이터변환부(300) 측에서 원본영상 저장 및 가공을 수행할 수 있다.

여기서, 가공은 지정된 규격으로의 변환 뿐 아니라, 3D 컨버전(Conversions)의 가공도 포함될 수 있다.

즉, 상기 영상수신부(600)에 제공받는 영상데이터가 상기 데이터변환부(300)에서 가공될 수 있다.

이때, 5G 네트워크 연동을 위한 MEC 기술이 적용되도록 할 수 있다.

5G 네트워크 연동을 위한 MEC(Multi-access Edge Computing) 기술은 5G에 적용되는 에지 컴퓨팅 기술이다.

핵심 표준 규격은 ETSI(European Telecommunication Standards Institute) ISG(Industry Specification Group)에 의해서 만들어졌다.

MEC를 통해 에지 네트워크의 위치에 사용자 및 엔드 포인트 장치와 가까운 곳에 데이터 센터급 컴퓨팅, 스토리지 및 네트워크 리소스를 배치 할 수 있다.

MEC는 통신 서비스 제공 업체에 대기 시간을 줄이면서 새로운 실시간 서비스를 제공할 수 있는 기능을 제공한다.

또한, MEC는 중앙 집중식 클라우드로 전송되는 데이터의 양을 최소화하고 네트워크 대역폭과 리소스를 보다 효율적으로 사용하여 기업과 운영자의 비용을 줄일 수 있다.

본 발명의 일 실시예에 따른 실감형 스포츠 중계 송출과 시청 시스템의 영상중계부(500)는 메인 중계방송에서의 주화면에 등장한 선수의 시점을 따라가는 옵션, 공을 소유한 선수의 시점을 따라가는 옵션, 공격자의 시점을 따라가는 옵션, 수비자의 시점을 따라가는 옵션, 가장 많은 시청자가 보는 화면을 선택하는 옵션, 랜덤 옵션 중 선택된 적어도 하나의 옵션을 포함하는 복수의 옵션 중 어느 하나를 선택할 수 있는 기능을 제공하고, 선택된 옵션에 해당되는 화면을 전송하는 것을 특징으로 할 수 있다.

즉, 상기 영상중계부(500)는 자동 수신 모드를 제공할 수 있고, 상기 자동 수신 모드는 메인 중계방송에서의 주화면에 등장한 선수의 시점을 따라가는 옵션, 공을 소유한 선수의 시점을 따라가는 옵션, 공격자의 시점을 따라가는 옵션, 수비자의 시점을 따라가는 옵션, 가장 많은 시청자가 보는 화면을 선택하는 옵션, 랜덤 옵션 등 다양한 옵션 중 어느 하나를 선택할 수 있다.

상기에서 여러 가지 옵션을 나열하였으나, 본 발명이 이에 한정된 것은 아니며, 이들 옵션 중 어느 하나를 포함하는 다양한 옵션 적용이 가능함은 물론이다.

상기 영상중계부(500)는 시청자가 채널을 직접 선택하는 수동 수신모드와 상기 영상중계부(500)가 옵션에 따른 채널을 자동으로 변환해주는 자동 수신 모드를 제공할 수 있다.

본 발명의 일 실시예에 따른 실감형 스포츠 중계 송출과 시청 시스템의 영상중계부(500)는 상기 영상수신부(600)를 통해 시청자가 AI 수신 모드를 선택하면, 기계학습 기반으로, 특정 이동식카메라(100) 시점의 영상을 자동으로 전송하는 것을 특징으로 할 수 있다.

상기 기계학습은 상기 영상중계부(500)에 수집된 영상 데이터에 대하여, 미리 설정된 스포츠 특성 정보에 관한 특징 값을 산출하는 1차 기계학습을 수행시키고, 사용자 정보를 수집하며, 수집된 상기 사용자 정보 및 상기 1차 기계학습의 결과를 이용하여 상기 복수의 영상 데이터 중 어느 하나를 사용자 선호 스포츠 영상 데이터로서 추출하기 위한 2차 기계학습을 수행하여, 추출된 사용자 선호 스포츠 영상 데이터를 전송하도록 할 수 있다.

여기서, 상기 1차 기계학습은, 미리 설정된 스포츠 특성 정보가 포함되어 있는 복수의 영상 데이터를 기반으로 학습된 학습 모듈에 상기 영상중계부(500)에 수집된 영상 데이터를 적용하여 상기 영상중계부(500)에 수집된 영상 데이터에 스포츠 특성 정보의 포함 유무를 판단하기 위한 특징 값을 산출하는 1차 기계 학습을 수행하도록 할 수 있고,

상기 2차 기계학습은, 상기 수집된 사용자 정보 및 상기 1차 기계학습의 결과를 입력으로 하는 2차 기계학습을 수행하고, 상기 2차 기계학습을 통해 상기 영상중계부(500)에 수집된 영상 데이터 중 어느 하나를 사용자 선호 스포츠 영상 데이터로서 추출하고,

상기 미리 설정된 스포츠 특성 정보는, 스포츠 선수의 선호도 관련 정보, 공 점유 관련 정보, 경기 시청 단말 관련 정보, 공 득점 시도 선수 관련 정보, 반칙 선수 관련 정보, 득점 발생 시 선수 관련 정보 및 득점 발생 시 공 관련 정보 중 적어도 하나를 포함할 수 있다.

1차 기계학습은 인공신경망 알고리즘을 이용할 수 있다. 또한, 인공신경망은 딥 러닝 신경망일 수 있으나, 이에만 한정되는 것은 아니며, 기 개발되었거나 향후 개발되는 다양한 신경망 체계를 적용할 수 있다.

이하에서 설명되는 영상 데이터 분석에는, 영상 인식, 영상 분석, 객체 추적을 하기 위한 알고리즘이 사용될 수 있으며, 이때 사용되는 알고리즘에는 음성 인식이나 이미지 인식에서 주로 사용되는 신경망의 한 종류인 합성곱 신경망(Convolutional Neural Networks)이 이용될 수 있으나, 이에 한정되는 것은 아니며 다양한 실시예기 존재할 수 있다.

예를 들면, 상기 영상중계부(500)는 미리 설정된 스포츠 특성 정보를 입력으로 하여 학습된 학습 모듈을 이용하여 복수의 영상 데이터에서 스포츠 영상 데이터의 특징 값을 산출할 수 있다. 달리 말해, 상기 영상중계부(500)는 미리 설정된 스포츠 특성 정보를 포함하는 것으로 분류된 다량의 영상 데이터를 입력으로 하여 학습된 학습 모듈을 구축하여, 복수의 이동식카메라(100)에서 촬영된 복수의 영상 데이터에서 스포츠 영상 데이터의 특징 값을 산출할 수 있다.

많은 양의 미리 설정된 스포츠 특성 정보가 획득될수록 학습 모듈의 정확도는 높아질 수 있다.

상기 영상중계부(500)는 미리 설정된 스포츠 특성 정보가 포함된 영상 데이터에 대하여 특징 값을 1로 산출하고, 미리 설정된 스포츠 특성 정보가 포함되지 않은 영상 데이터에는 특징 값을 0으로 산출할 수 있다.

상기에서 설명의 편의를 위해 특징값을 1 또는 0으로 구분하여 산출하였으나 앞서 설명된 방식으로 한정되는 것은 아니다. 미리 설정된 스포츠 특성 정보의 포함 정도, 유사도 등에 따라 특징값은 특정 값으로 표현될 수 있다.

미리 설정된 스포츠 특성 정보는 스포츠 경기에서 주요하다고 판단하여 선정된 복수의 특징을 포함할 수 있다.

일예로, 스포츠 특성 정보는 사용자가 임의로 선정할 수 있다. 또한, 스포츠 특성 정보는, 스포츠 경기에서 주요 사건(예를 들어, 반칙, 골 득점 등)마다 방송으로 송출되는 특징을 빅데이터 분석을 통해 추출할 수 있다.

상기 2차 기계학습은 SVM(Support Vector Machine)알고리즘을 이용할 수 있다.

SVM(Support Vector Machine)알고리즘은, 기계 학습의 분야 중 하나로 패턴 인식, 자료 분석을 위한 지도 학습 모델이며, 주로 분류와 회귀 분석을 위해 사용하는 알고리즘일 수 있다.

본 발명의 일 실시예에 따른 실감형 스포츠 중계 송출과 시청 시스템의 영상중계부(500)는 현재 시청하는 화면의 이동식카메라(100)와 매칭되는 주인공 프로필을 화면 일측에 보여주는 것을 특징으로 할 수 있다.

즉, 현재 시청하고 있는 화면이 누구의 시점으로 촬영된 화면인지 확인할 수 있는 정보인 이동식카메라(100)와 매칭되는 주인공(선수, 심판 등)의 프로필이 화면 일측에 디스플레이 되도록 할 수 있다.

도 2에 도시된 바와 같이, 본 발명의 일 실시예에 따른 실감형 스포츠 중계 송출과 시청 방법은 컴퓨터를 포함하는 연산처리수단에 의하여 실행되는 프로그램 형태로 이루어지는 실감형 스포츠 중계 송출과 시청 방법에 있어서, 영상수집 단계(S10), 데이터변환 단계(S20), 영상전송 단계(S30), 영상중계 단계(S40), 영상수신 단계(S50) 및 영상재생 단계(S60)를 포함하며, 상기 데이터변환 단계(S20) 또는 영상중계 단계(S40)는 3D 컨버전(Conversions) 기술을 적용하여, 3D 영상을 전송하는 것을 특징으로한다.

현재 애니메이션 제작 시 가장 많이 사용하는 3D 소프트웨어인 Maya와 3D MAX, 영상제작에서 사용하는 Davinci Resolve, 광고 제작에서 사용하는 After Effect들의 소프트웨어는 입체영상 제작을 위한 가상의 스테레오 카메라(Stereoscopic camera)를 지원하고 있다.

영상수집 단계(S10)는 영상수집부(200)가 이동식카메라(100)로부터 촬영된 영상데이터를 수신한다.

상기 영상수집 단계(S10)는 안테나를 포함하는 영상수집부(200)가 상기 이동식카메라(100)로부터 촬영된 영상데이터를 수신하여 지정된 저장공간에 저장되도록 한다.

이때, 상기 영상수집 단계(S10)에서는 무선으로 영상데이터를 수신받을 수 있다.

데이터변환 단계(S20)는 데이터변환부(300)가 상기 영상수집부(200)로부터 수집된 영상데이터를 지정된 규격으로 변환한다.

상기 데이터변환 단계(S20)는 영상신호를 5G 전용 통신망 등 지정된 통신망을 통해 전송하기 유리한 형태로 변환한다.

상기 데이터변환 단계(S20)에서는 8bit, 10bit 또는 4:2:0 YUV 샘플링 변환 등의 지정된 규격으로 영상데이터를 변환할 수 있다.

영상전송 단계(S30) 영상전송부(400)가 상기 데이터변환부(300)로부터 변환된 영상데이터를 영상중계부(500)로 전송한다.

이때, 상기 영상전송 단계(S30)는 변환된 영상데이터를 유선으로 영상중계부(500)로 전송할 수 있다.

영상중계 단계(S40)는 영상중계부(500)가 상기 영상전송부(400)로부터 수집된 영상데이터를 저장 및 관리한다.

상기 영상중계 단계(S40) 상기 영상중계부(500)가 수집한 영상데이터를 외부 요청에 의해 인터넷(온라인) 전송이 가능하다.

영상수신 단계(S50)는 영상수신부(600)가 상기 영상중계부(500)로부터 필요로 하는 영상데이터를 수신받는다.

예를 들어, 상기 영상수신부(600)가 상기 영상중계부(500)가 관리하는 웹사이트에 접속하여 시청자가 보려고 하는 채널을 요청하거나, 해상도 등의 변경을 요청하면, 해당 영상을 상기 영상중계 단계(S40)에서 보내고, 상기 영상중계 단계(S40)에서 보낸 영상을 상기 영상수신 단계(S50)에서 수신받는다.

영상재생 단계(S60)는 영상재생부(700)가 상기 영상수신부(600)와 연결되어 HMD로 3D(Three Dimensions)영상을 재생시킨다.

본 발명의 일 실시예에 따른 실감형 스포츠 중계 송출과 시청 방법의 핵심 개념은 지금까지 불가침의 영역이었던 경기장 내부에 위치한 선수(or 심판) 신체에 소형 카메라를 부착하고, 사용자는 전송된 영상을 가상현실의 도구인 HMD를 통해 봄으로써 '선수의 시점'으로 경기를 직접 관람하는 효과를 갖게 하는 것이 핵심이다.

이는 ITU 국제기술표준안에서 바탕으로 삼고 있는 몰입에 관한 프레젠스 이론, 예를 들어 Heeter(Heeter, C. (1992). Being There: The subjective experience of presence. Presence: Teleoperators and Virtual Environments. MIT Press.)가 정의한'마치 그곳에 있다는 느낌(the sense of being there)'이나 Lombard & Ditton(Lombard, M., & Ditton, T. (1997). At the Heart of It All: The Concept of Presence. Journal of Computer Mediated Communication, 3(2).), Biocca(Biocca, F. (1997). The cyborg's dilemma: Progressive embodiment in virtual environments. Journal of computer-mediated communication, 3(2), JCMC324.) 등이 정의한 '시청자 자신이 그곳에 가 있다(you are there)' 또는 '내 앞에 다가와 있다(it is here)'와 같은 가상현실에서의 몰입에 관한 이론적 개념을 실제로 구현하는 것이 핵심이다.

예를 들어 야구 중계의 경우, 포수의 안면 보호구에 소형 카메라를 부착하고 그 영상신호를 실시간으로 전송하면, HMD를 쓴 시청자는 포수의 시점으로 해당 야구 경기를 관람 할 수 있다. 시청자는 영상 신호의 채널을 변경할 수 있으며, 그 경우 심판, 투수, 1루수 등 다양한 위치의 선수 시점으로 실감 있는 스포츠 경기를 관람할 수 있다.

본 발명의 일 실시예에 따른 실감형 스포츠 중계 송출과 시청 방법은 상기 영상수집 단계(S10)로부터 상기 영상전송 단계(S30) 이전 까지의 데이터 전송 및 처리에 MEC(Multi-access Edge Computing) 기술이 적용된 것을 특징으로 할 수 있다.

상기 이영상수집 단계(S10)로부터 상기 영상전송 단계(S30) 이전 까지는 무선 통신을 이용한다. 따라서, 데이터를 지정된 통신망을 통해 전송하기 유리한 형태로 변환하여 전송할 필요성이 있다.

즉, 상기 영상수신 단계(S50)에서 제공받는 영상데이터가 상기 데이터변환 단계(S20)에서 가공될 수 있다.

본 발명의 일 실시예에 따른 실감형 스포츠 중계 송출과 시청 시스템의 영상중계 단계(S40)는 메인 중계방송에서의 주화면에 등장한 선수의 시점을 따라가는 옵션, 공을 소유한 선수의 시점을 따라가는 옵션, 공격자의 시점을 따라가는 옵션, 수비자의 시점을 따라가는 옵션, 가장 많은 시청자가 보는 화면을 선택하는 옵션, 랜덤 옵션 중 선택된 적어도 하나의 옵션을 포함하는 복수의 옵션 중 어느 하나를 선택할 수 있는 기능을 제공하고, 선택된 옵션에 해당되는 화면을 전송하는 것을 특징으로 할 수 있다.

즉, 상기 영상중계 단계(S40)는 자동 수신 모드를 제공할 수 있고, 상기 자동 수신 모드는 메인 중계방송에서의 주화면에 등장한 선수의 시점을 따라가는 옵션, 공을 소유한 선수의 시점을 따라가는 옵션, 공격자의 시점을 따라가는 옵션, 수비자의 시점을 따라가는 옵션, 가장 많은 시청자가 보는 화면을 선택하는 옵션, 랜덤 옵션 등 다양한 옵션 중 어느 하나를 선택할 수 있다.

상기 영상중계 단계(S40)는 시청자가 채널을 직접 선택하는 수동 수신모드와 상기 영상중계 단계(S40)가 옵션에 따른 채널을 자동으로 변환해주는 자동 수신 모드를 제공할 수 있다.

본 발명의 일 실시예에 따른 실감형 스포츠 중계 송출과 시청 방법의 영상중계 단계(S40)는 상기 영상수신부(600)를 통해 시청자가 AI 수신 모드를 선택하면, 기계학습 기반으로, 특정 이동식카메라(100) 시점의 영상을 자동으로 전송하는 것을 특징으로 할 수 있다.

본 발명의 일 실시예에 따른 실감형 스포츠 중계 송출과 시청 방법의 영상중계 단계(S40)는 현재 시청하는 화면의 이동식카메라(100)와 매칭되는 주인공 프로필을 화면 일측에 보여주는 것을 특징으로 할 수 있다.

이상에서 본 발명의 일 실시예에 따른 실감형 스포츠 중계 송출과 시청 방법에 대하여 설명하였지만, 실감형 스포츠 중계 송출과 시청 방법을 구현하기 위한 프로그램이 저장된 컴퓨터 판독 가능한 기록매체 및 실감형 스포츠 중계 송출과 시청 방법을 구현하기 위한 컴퓨터 판독 가능한 기록매체에 저장된 프로그램 역시 구현 가능함은 물론이다.

즉, 상술한 실감형 스포츠 중계 송출과 시청 방법은 이를 구현하기 위한 명령어들의 프로그램이 유형적으로 구현됨으로써, 컴퓨터를 통해 판독될 수 있는 기록매체에 포함되어 제공될 수도 있음을 당업자들이 쉽게 이해할 수 있을 것이다. 다시 말해, 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어, 컴퓨터 판독 가능한 기록매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 상기 컴퓨터 판독 가능한 기록매체의 예에는 하드 디스크, 플로피 디스크 및 자기테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리, USB 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

본 발명은 상기한 실시예에 한정되지 아니하며, 적용범위가 다양함은 물론이고, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 다양한 변형 실시가 가능한 것은 물론이다.

100: 이동식카메라
200: 영상수집부
300: 데이터변환부
400: 영상전송부
500: 영상중계부
600: 영상수신부
700: 영상재생부
S10: 영상수집 단계
S20: 데이터변환 단계
S30: 영상전송 단계
S40: 영상중계 단계
S50: 영상수신 단계
S60: 영상재생 단계

Claims

스포츠 경기에 참여하는 사람의 신체나 장비에 부착된 이동식카메라(100);
상기 이동식카메라(100)로부터 촬영된 영상데이터를 수신하는 영상수집부(200);
상기 영상수집부(200)로부터 수집된 영상데이터를 지정된 규격으로 변환하는 데이터변환부(300);
상기 데이터변환부(300)로부터 변환된 영상데이터를 영상중계부(500)로 전송하는 영상전송부(400);
상기 영상전송부(400)로부터 수집된 영상데이터를 저장 및 관리하는 영상중계부(500);
상기 영상중계부(500)로부터 영상데이터를 수신받는 영상수신부(600); 및
상기 영상수신부(600)와 연결되어 HMD(Head Mount Display)로 3D(Three Dimensions)영상을 재생시키는 영상재생부(700);
를 포함하며,
상기 데이터변환부(300) 또는 영상중계부(500)는
3D 컨버전(Conversions) 기술을 적용하여, 3D 영상을 전송하는 것을 특징으로 하고,
상기 영상중계부(500)는
상기 영상수신부(600)를 통해 시청자가 AI 수신 모드를 선택하면,
기계학습 기반으로, 특정 이동식카메라(100) 시점의 영상을 자동으로 전송하는 것을 특징으로 하고,
상기 영상중계부(500)는
현재 시청하고 있는 화면이 누구의 시점으로 촬영된 화면인지 확인할 수 있도록, 현재 시청하는 화면의 이동식카메라(100)와 매칭되는 주인공 프로필을 화면 일측에 보여주는 것을 특징으로 하며,
상기 영상중계부(500)는
메인 중계방송에서의 주화면에 등장한 선수의 시점을 따라가는 옵션, 공을 소유한 선수의 시점을 따라가는 옵션, 공격자의 시점을 따라가는 옵션, 수비자의 시점을 따라가는 옵션, 랜덤 옵션 중 선택되는 적어도 어느 하나의 옵션을 포함하는 옵션 중 어느 하나를 선택하는 자동 수신 모드를 제공하는 것을 특징으로 하고,
상기 영상중계부(500)는
스포츠 경기에서 점수를 득점하면, 점수를 득점한 선수의 시점에서 다시 볼 수 있도록 점수를 득점한 선수의 시점 영상이 자동으로 재생되도록 하는 것을 특징으로 하며,
네트워크 에지에서 데이터를 분석, 처리 및 저장하는 MEC(Multi-access Edge Computing) 기술이 적용되어, 상기 데이터변환부(300)로부터 가공된 영상데이터가 상기 영상수신부(600)에 전달되는 것을 특징으로 하고,
상기 기계학습은
상기 영상중계부(500)에 수집된 영상 데이터에 대하여, 미리 설정된 스포츠 특성 정보에 관한 특징 값을 산출하는 1차 기계학습을 수행시키고, 사용자 정보를 수집하며, 수집된 상기 사용자 정보 및 상기 1차 기계학습의 결과를 이용하여 상기 복수의 영상 데이터 중 어느 하나를 사용자 선호 스포츠 영상 데이터로서 추출하기 위한 2차 기계학습을 수행하여, 추출된 사용자 선호 스포츠 영상 데이터를 전송하도록 하는 것을 특징으로 하며,
상기 1차 기계학습은,
미리 설정된 스포츠 특성 정보가 포함되어 있는 복수의 영상 데이터를 기반으로 학습된 학습 모듈에 상기 영상중계부(500)에 수집된 영상 데이터를 적용하여 상기 영상중계부(500)에 수집된 영상 데이터에 스포츠 특성 정보의 포함 유무를 판단하기 위한 특징 값을 산출하는 기계 학습인 것을 특징으로 하고,
상기 2차 기계학습은,
상기 수집된 사용자 정보 및 상기 1차 기계학습의 결과를 입력으로 하는 2차 기계학습을 수행하고, 상기 2차 기계학습을 통해 상기 영상중계부(500)에 수집된 영상 데이터 중 어느 하나를 사용자 선호 스포츠 영상 데이터로서 추출하는 것을 특징으로 하며,
상기 미리 설정된 스포츠 특성 정보는,
스포츠 선수의 선호도 관련 정보, 공 점유 관련 정보, 경기 시청 단말 관련 정보, 공 득점 시도 선수 관련 정보, 반칙 선수 관련 정보, 득점 발생 시 선수 관련 정보 및 득점 발생 시 공 관련 정보 중 선택되는 적어도 어느 하나를 포함하는 것을 특징으로 하고,
상기 2차 기계학습은
패턴 인식, 자료 분석을 위한 지도 학습 모델이며, 분류와 회귀 분석을 위해 사용하는 알고리즘인 SVM(Support Vector Machine)알고리즘을 이용하는 것을 특징으로 하는 실감형 스포츠 중계 송출과 시청 시스템.
제1항에 있어서,
상기 영상중계부(500)는
메인 중계방송에서의 주화면에 등장한 선수의 시점을 따라가는 옵션, 공을 소유한 선수의 시점을 따라가는 옵션, 공격자의 시점을 따라가는 옵션, 수비자의 시점을 따라가는 옵션, 랜덤 옵션 중 선택된 적어도 하나의 옵션을 포함하는 복수의 옵션 중 어느 하나를 선택할 수 있는 기능을 제공하고, 선택된 옵션에 해당되는 화면을 전송하는 것을 특징으로 하는 실감형 스포츠 중계 송출과 시청 시스템.
삭제
삭제
컴퓨터를 포함하는 연산처리수단에 의하여 실행되는 프로그램 형태로 이루어지는 실감형 스포츠 중계 송출과 시청 방법에 있어서,
영상수집부(200)가 이동식카메라(100)로부터 촬영된 영상데이터를 수신하는 영상수집 단계(S10);
데이터변환부(300)가 상기 영상수집부(200)로부터 수집된 영상데이터를 지정된 규격으로 변환하는 데이터변환 단계(S20);
영상전송부(400)가 상기 데이터변환부(300)로부터 변환된 영상데이터를 영상중계부(500)로 전송하는 영상전송 단계(S30);
영상중계부(500)가 상기 영상전송부(400)로부터 수집된 영상데이터를 저장 및 관리하는 영상중계 단계(S40);
영상수신부(600)가 상기 영상중계부(500)로부터 영상데이터를 수신받는 영상수신 단계(S50); 및
영상재생부(700)가 상기 영상수신부(600)와 연결되어 HMD로 3D(Three Dimensions)영상을 재생시키는 영상재생 단계(S60);
를 포함하며,
상기 데이터변환 단계(S20) 또는 영상중계 단계(S40)는
3D 컨버전(Conversions) 기술을 적용하여, 3D 영상을 전송하는 것을 특징으로 하고,
상기 영상중계 단계(S40)는
상기 영상수신부(600)를 통해 시청자가 AI 수신 모드를 선택하면,
기계학습 기반으로, 특정 이동식카메라(100) 시점의 영상을 자동으로 전송하는 것을 특징으로 하고,
상기 영상중계 단계(S40)는
현재 시청하고 있는 화면이 누구의 시점으로 촬영된 화면인지 확인할 수 있도록, 현재 시청하는 화면의 이동식카메라(100)와 매칭되는 주인공 프로필을 화면 일측에 보여주는 것을 특징으로 하며,
상기 영상중계 단계(S40)는
메인 중계방송에서의 주화면에 등장한 선수의 시점을 따라가는 옵션, 공을 소유한 선수의 시점을 따라가는 옵션, 공격자의 시점을 따라가는 옵션, 수비자의 시점을 따라가는 옵션, 랜덤 옵션 중 선택되는 적어도 어느 하나의 옵션을 포함하는 옵션 중 어느 하나를 선택하는 자동 수신 모드를 제공하는 것을 특징으로 하고,
상기 영상중계 단계(S40)는
스포츠 경기에서 점수를 득점하면, 점수를 득점한 선수의 시점에서 다시 볼 수 있도록 점수를 득점한 선수의 시점 영상이 자동으로 재생되도록 하는 것을 특징으로 하며,
네트워크 에지에서 데이터를 분석, 처리 및 저장하는 MEC(Multi-access Edge Computing) 기술이 적용되어, 상기 데이터변환 단계(S20)에서 가공된 영상데이터가 상기 영상수신 단계(S50)에서 상기 영상수신부(600)에 전달되는 것을 특징으로 하고,
상기 기계학습은
상기 영상중계부(500)에 수집된 영상 데이터에 대하여, 미리 설정된 스포츠 특성 정보에 관한 특징 값을 산출하는 1차 기계학습을 수행시키고, 사용자 정보를 수집하며, 수집된 상기 사용자 정보 및 상기 1차 기계학습의 결과를 이용하여 상기 복수의 영상 데이터 중 어느 하나를 사용자 선호 스포츠 영상 데이터로서 추출하기 위한 2차 기계학습을 수행하여, 추출된 사용자 선호 스포츠 영상 데이터를 전송하도록 하는 것을 특징으로 하며,
상기 1차 기계학습은,
미리 설정된 스포츠 특성 정보가 포함되어 있는 복수의 영상 데이터를 기반으로 학습된 학습 모듈에 상기 영상중계부(500)에 수집된 영상 데이터를 적용하여 상기 영상중계부(500)에 수집된 영상 데이터에 스포츠 특성 정보의 포함 유무를 판단하기 위한 특징 값을 산출하는 기계 학습인 것을 특징으로 하고,
상기 2차 기계학습은,
상기 수집된 사용자 정보 및 상기 1차 기계학습의 결과를 입력으로 하는 2차 기계학습을 수행하고, 상기 2차 기계학습을 통해 상기 영상중계부(500)에 수집된 영상 데이터 중 어느 하나를 사용자 선호 스포츠 영상 데이터로서 추출하는 것을 특징으로 하며,
상기 미리 설정된 스포츠 특성 정보는,
스포츠 선수의 선호도 관련 정보, 공 점유 관련 정보, 경기 시청 단말 관련 정보, 공 득점 시도 선수 관련 정보, 반칙 선수 관련 정보, 득점 발생 시 선수 관련 정보 및 득점 발생 시 공 관련 정보 중 선택되는 적어도 어느 하나를 포함하는 것을 특징으로 하고,
상기 2차 기계학습은
패턴 인식, 자료 분석을 위한 지도 학습 모델이며, 분류와 회귀 분석을 위해 사용하는 알고리즘인 SVM(Support Vector Machine)알고리즘을 이용하는 것을 특징으로 하는 실감형 스포츠 중계 송출과 시청 방법.
제5항에 있어서,
상기 영상중계 단계(S40)는
메인 중계방송에서의 주화면에 등장한 선수의 시점을 따라가는 옵션, 공을 소유한 선수의 시점을 따라가는 옵션, 공격자의 시점을 따라가는 옵션, 수비자의 시점을 따라가는 옵션, 랜덤 옵션 중 선택된 적어도 하나의 옵션을 포함하는 복수의 옵션 중 어느 하나를 선택할 수 있는 기능을 제공하고, 선택된 옵션에 해당되는 화면을 전송하는 것을 특징으로 하는 실감형 스포츠 중계 송출과 시청 방법.
삭제
삭제
제 5항 또는 제 6항에 기재된 실감형 스포츠 중계 송출과 시청 방법을 구현하기 위한 프로그램이 저장된 컴퓨터 판독 가능한 기록매체.
제 5항 또는 제 6항에 기재된 실감형 스포츠 중계 송출과 시청 방법을 구현하기 위한 컴퓨터 판독 가능한 기록매체에 저장된 프로그램.