KR101834925B1 - 객체 위치 변화를 벡터로 변환하여 영상 및 음향 신호를 동기화한 가상스튜디오 방송 편집 및 송출 기기와 이를 이용한 방법 - Google Patents

Abstract

본 발명은 객체 위치 변화를 벡터로 변환하여 영상 및 음향 신호를 동기화한 가상스튜디오 방송 편집 및 송출 기기와 이를 이용한 방송 편집 및 송출 방법에 관한 것으로서, 본 발명에 따른 방송 편집 및 송출 기기는 입력부, 제어부 및 출력부를 포함하고, 본 발명에 따른 방송 편집 및 송출 방법은 촬영 영상 및 녹음 음성 실시간 수신하는 단계, 방송 영상 및 방송 음성을 실시간으로 편집하는 단계 및 방송 영상 및 방송 음성을 출력하는 단계를 포함하며, 방송 영상의 편집에 따라 방송 영상에 대응하는 방송 음성 또한 자동으로 실시간 편집될 수 있다.

Description

객체 위치 변화를 벡터로 변환하여 영상 및 음향 신호를 동기화한 가상스튜디오 방송 편집 및 송출 기기와 이를 이용한 방법 {A SYSTEM AND METHOD FOR 3D VIRTUAL STUDIO BROADCASTING THAT SYNCHRONIZES VIDEO AND AUDIO SIGNALS BY CONVERTING OBJECT POSITION CHANGE INTO VECTOR}

본 발명은 객체 위치 변화를 벡터로 변환하여 영상 및 음향 신호를 동기화한 가상스튜디오 방송 편집 및 송출 기기와 이를 이용한 방송 편집 및 송출 방법에 관한 것으로서, 보다 상세하게는 방송 영상에 따른 방송 음성을 수작업으로 조절하지 않고, 방송 영상을 편집하는 것만으로도 방송 음성의 출력을 자동으로 편집할 수 있고, 이에 따라 방송 영상에 따른 생동감 있는 3차원 방송 음성이 자동으로 출력되는, 객체 위치 변화를 벡터로 변환하여 영상 및 음향 신호를 동기화한 가상스튜디오 방송 편집 및 송출 기기와 이를 이용한 그 방법에 관한 것이다.

3D 가상스튜디오는 컴퓨터로 만들어낸 3D 그래픽 화면 위에 촬영 영상, 현실의 객체 및 자료 영상 등과 합성하여 실제 방송 스튜디오로 재현하기 위한 것으로, 적은 비용과 시간으로 다양한 인테리어와 연출을 구현할 수 있다. 일기 예보, 선거 개표 방송, 스포츠 중계 등에서 가상스튜디오를 활용한 모습을 쉽게 찾아볼 수 있다.

그러나, 가상스튜디오에 합성된 객체 또는 자료 영상 등이 가상스튜디오 내에서 이동하거나 화면 등이 전환되는 경우, 객체 및 자료 영상이 이동하거나 화면이 전환되는 타이밍에 맞춰 수동으로 그에 대응하는 방송 음성의 출력을 조절해야 하며, 이에 따라 방송 영상 및 방송 음성이 재생되는 타이밍이 부정확하고, 방송 제작에 따른 시간, 비용 및 인력이 추가적으로 필요하다. 또한, 영화, TV드라마 등과 같이 촬영 종료 후 영상 및 음성을 편집하는 경우에는 객체가 어떠한 경로로 이동할지 예측이 되고, 예측 경로에 따라 객체에 대한 음향을 조절할 수 있지만, 실시간 생방송을 편집하고 송출하는 경우, 객체의 경우 이동 경로 등을 예측하기 어렵기 때문에 객체에 대응하는 녹음 음성의 출력을 조절하는 것이 어려운 문제점이 있다.

본 발명이 해결하고자 하는 과제는 방송 영상의 편집에 따라 방송 영상에 대응하는 음성이 자동으로 실시간으로 편집되는, 객체 위치 변화를 벡터로 변환하여 영상 및 음향 신호를 동기화한 가상스튜디오 방송 편집 및 송출 기기와 이를 이용한 방송 편집 및 송출 방법을 제공하는 것이다.

본 발명이 해결하고자 하는 또 다른 과제는 시청자에게 시청각적 입체감을 주도록 방송 영상의 편집에 따라 방송 영상에 대응하는 방송 음성이 3D 음향으로 출력되도록 실시간으로 편집하는, 객체 위치 변화를 벡터로 변환하여 영상 및 음향 신호를 동기화한 가상스튜디오 방송 편집 및 송출 기기와 이를 이용한 방송 편집 및 송출 방법을 제공하는 것이다.

본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

전술한 바와 같은 과제를 해결하기 위하여 본 발명의 일 실시예에 따른 객체 위치 변화를 벡터로 변환하여 영상 및 음향 신호를 동기화한 가상스튜디오 방송 편집 및 송출 기기는 촬영 영상을 실시간으로 수신하는 영상 입력부 및 촬영 영상에 대응하는 녹음 음성을 실시간으로 수신하는 음성 입력부를 포함하는 입력부, 입력부를 통해 수신된 촬영 영상 및 녹음 음성을 저장하고, 편집에 사용될 하나 이상의 자료 영상을 저장하는 메모리, 입력부 또는 메모리 중 적어도 하나로부터 촬영 영상 및 자료 영상을 수신하여 방송 영상을 실시간으로 편집하는 방송 영상 편집부 및 방송 영상에 대응하는 방송 음성을 실시간으로 편집하는 방송 음성 편집부를 포함하는 제어부 및 방송 영상을 출력하는 영상 출력부 및 방송 음성을 출력하는 복수의 음성 출력부를 포함하는 출력부를 포함하고, 방송 영상 편집부는 방송 영상에서 촬영 영상, 촬영 영상에서의 객체 및 자료 영상을 3차원 좌표로 나타내어 편집하고, 방송 음성 편집부는 촬영 영상의 이동, 촬영 영상에서의 객체의 이동 및 자료 영상의 이동을 나타내는 3차원 좌표의 변화에 기초하여 녹음 음성 및 자료 영상에 대응하는 음성을 사용하여 방송 음성을 실시간으로 편집하도록 구성된다.

본 발명의 다른 특징에 따르면, 방송 영상 편집부는, 방송 영상을 3차원의 가상의 공간으로 맵핑하고, 가상의 공간에서 촬영 영상, 촬영 영상에서의 객체 및 자료 영상에 3차원 좌표를 부여하며, 방송 음성 편집부는 가상의 공간에서 촬영 영상의 이동, 촬영 영상에서의 객체의 이동 및 자료 영상의 이동을 나타내는 3차원 벡터에 기초하여 복수의 음성 출력부 각각에 대한 방송 음성의 출력을 실시간으로 편집할 수 있다.

본 발명의 또 다른 특징에 따르면, 방송 음성 편집부는 촬영 영상, 촬영 영상에서의 객체 또는 자료 영상이 가상의 공간에서 x축을 따라 이동하면, 복수의 음성 출력부 중 좌우 출력에 대응하는 음성 출력부의 출력을 실시간으로 조절하고, 촬영 영상, 촬영 영상에서의 객체 또는 자료 영상이 가상의 공간에서 y축을 따라 이동하면, 복수의 음성 출력부 중 상하 출력에 대응하는 음성 출력부의 출력을 실시간으로 조절하고, 촬영 영상, 촬영 영상에서의 객체 또는 자료 영상이 가상의 공간에서 z축을 따라 이동하면, 복수의 음성 출력부 중 전후 출력에 대응하는 음성 출력부의 출력을 실시간으로 조절할 수 있다.

본 발명의 또 다른 특징에 따르면, 방송 음성 편집부는, 가상의 공간에서 촬영 영상에서의 객체가 이동하는 경우, 가상의 공간에서 객체의 3차원 좌표의 변화에 기초하여 복수의 음성 출력부 각각에 대한 방송 음성을 실시간으로 조절할 수 있다.

본 발명의 또 다른 특징에 따르면, 음성 입력부는 촬영 영상에서의 객체와 함께 이동하는 음성 입력 장치로부터 녹음 음성을 실시간으로 수신하고, 방송 음성 편집부는 가상의 공간에서 음성 입력 장치의 위치 변화에 기초하여 녹음 음성을 복수의 음성 출력부 각각으로 출력할 수 있다.

본 발명의 또 다른 특징에 따르면, 음성 입력부는 촬영 영상이 촬영되는 촬영 장소에서 복수의 위치에 고정된 복수의 음성 입력 장치로부터 복수의 녹음 음성을 실시간으로 수신하고, 방송 영상 편집부는, 가상의 공간에서 고정된 복수의 음성 입력 장치에 3차원 좌표를 부여하고, 고정된 복수의 음성 입력 장치로부터 복수의 녹음 음성의 실시간 변화에 기초하여 가상의 공간에서 객체의 이동을 검출하고, 방송 음성 편집부는 검출된 객체의 이동에 따른 가상의 공간에서 객체의 3차원 좌표의 변화에 기초하여 녹음 음성을 복수의 음성 출력부 각각으로 출력할 수 있다.

본 발명의 또 다른 특징에 따르면, 방송 음성 편집부는 가상의 공간에서 촬영 영상 또는 자료 영상이 이동하는 경우, 가상의 공간에서 촬영 영상 또는 자료 영상의 3차원 좌표의 변화에 기초하여 복수의 음성 출력부 각각에 대한 방송 음성을 실시간으로 조절할 수 있다.

본 발명의 또 다른 특징에 따르면, 방송 음성 편집부는 가상의 공간 밖으로 촬영 영상 또는 자료 영상이 이동하는 경우, 촬영 영상에 대응하는 녹음 음성 또는 자료 영상에 대응하는 음성을 음소거(mute)할 수 있다.

본 발명의 또 다른 특징에 따르면, 메모리는 가상의 공간에서 방송 영상으로 출력될 촬영 영상 및 자료 영상의 위치를 저장하는 복수의 로컬 뱅크를 저장하고, 복수의 로컬 뱅크 중 특정 로컬 뱅크를 선택하는 입력이 수신되면, 방송 음성 편집부는, 특정 로컬 뱅크로 방송 영상을 전환함에 따라 발생하는 촬영 영상의 3차원 좌표의 변화 및 자료 영상의 3차원 좌표의 변화에 기초하여 복수의 음성 출력부 각각에 대한 방송 음성을 실시간으로 조절할 수 있다.

본 발명의 또 다른 특징에 따르면, 방송 음성 편집부는 복수의 로컬 뱅크 중 제1 뱅크에서 제2 뱅크로의 전환을 선택하는 입력이 수신되는 경우, 제1 뱅크가 나타내는 촬영 영상의 3차원 좌표 및 자료 영상의 3차원 좌표와 제2 뱅크가 나타내는 촬영 영상의 3차원 좌표 및 자료 영상의 3차원 좌표를 비교하여, 촬영 영상 및 자료 영상 각각에 대한 3차원 벡터를 생성하고, 3차원 벡터에 기초하여 복수의 음성 출력부 각각에 대한 방송 음성을 실시간으로 조절할 수 있다.

전술한 바와 같은 과제를 해결하기 위하여 본 발명의 일 실시예에 따른 객체 위치 변화를 벡터로 변환하여 영상 및 음향 신호를 동기화한 가상스튜디오 방송 편집 및 송출 방법은 객체에 대한 촬영 영상 및 촬영 영상에 대응하는 녹음 음성을 실시간으로 수신하는 단계, 촬영 영상, 녹음 음성 및 메모리에 저장된 자료 영상에 기초하여 방송 영상 및 방송 영상에 대응하는 방송 음성을 실시간으로 편집하는 단계 및 방송 영상을 영상 출력부를 통해 출력하고, 방송 음성을 복수의 음성 출력부를 통해 출력하는 단계를 포함하고, 방송 영상 및 방송 음성을 실시간으로 편집하는 단계는, 방송 영상을 3차원의 가상의 공간으로 맵핑하는 단계, 가상의 공간에서, 촬영 영상, 촬영 영상에서의 객체 및 자료 영상을 3차원 좌표로 나타내는 단계 및 촬영 영상의 이동, 촬영 영상에서의 객체의 이동 및 자료 영상의 이동을 나타내는 3차원 좌표의 변화에 기초하여 방송 음성을 실시간으로 편집하는 단계로 구성된다.

본 발명의 다른 특징에 따르면, 촬영 영상, 촬영 영상에서의 객체 또는 자료 영상의 3차원 좌표의 변화에 기초하여 방송 음성을 실시간으로 편집하는 단계는, 가상의 공간에서, 촬영 영상, 촬영 영상에서의 객체 또는 자료 영상이 가상의 공간에서 x축을 따라 이동하면, 복수의 음성 출력부 중 좌우 출력에 대응하는 음성 출력부의 출력을 실시간으로 조절하고, 촬영 영상, 촬영 영상에서의 객체 또는 자료 영상이 가상의 공간에서 y축을 따라 이동하면, 복수의 음성 출력부 중 상하 출력에 대응하는 음성 출력부의 출력을 실시간으로 조절하고, 촬영 영상, 촬영 영상에서의 객체 또는 자료 영상이 가상의 공간에서 z축을 따라 이동하면, 복수의 음성 출력부 중 전후 출력에 대응하는 음성 출력부의 출력을 실시간으로 조절하여, 방송 음성을 실시간으로 편집하는 단계를 포함할 수 있다.

전술한 바와 같은 과제를 해결하기 위하여 본 발명의 일 실시예에 따른 방송 중계 시스템은, 복수의 방송 음성을 포함하는 패킷 데이터 및 방송 영상을 실시간으로 편집하는 객체 위치 변화를 벡터로 변환하여 영상 및 음향 신호를 동기화한 가상스튜디오 방송 편집 및 송출 기기, 객체 위치 변화를 벡터로 변환하여 영상 및 음향 신호를 동기화한 가상스튜디오 방송 편집 및 송출 기기로부터 패킷 데이터 및 방송 영상을 수신하는 서버, 및 서버로부터 패킷 데이터 및 방송 영상을 수신하여 영상 출력 장치 및 복수의 음성 출력 장치로 출력하는 방송 중계 단말을 포함하고, 패킷 데이터는 시간 정보, 복수의 채널 정보 및 복수의 채널에 대응하는 복수의 방송 음성을 포함하고, 방송 중계 단말은 패킷 데이터의 복수의 채널 중 복수의 음성 출력 장치에 대응되는 채널만을 선택적으로 출력한다.

본 발명의 다른 특징에 따르면, 객체 위치 변화를 벡터로 변환하여 영상 및 음향 신호를 동기화한 가상스튜디오 방송 편집 및 송출 기기는, 방송 영상에서 촬영 영상, 촬영 영상에서의 객체 및 자료 영상을 3차원 좌표로 나타내어 편집하는 방송 영상 편집부, 및 방송 음성에서 촬영 영상의 이동, 촬영 영상에서의 객체의 이동 및 자료 영상의 이동을 나타내는 3차원 좌표의 변화에 기초하여 녹음 음성 및 자료 영상에 대응하는 음성을 사용하여 방송 음성을 채널 별로 편집하는 방송 음성 편집부를 포함할 수 있다.

기타 실시예의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.

본 발명은 방송 영상의 편집에 따라 방송 영상에 대응하는 방송 음성이 자동으로 실시간으로 편집될 수 있어, 방송 영상 제작에 필요한 인력, 시간 및 비용을 절감할 수 있다.

본 발명은 방송 영상의 편집에 따라 방송 영상에 대응하는 방송 음성이 복수의 음성 출력부를 통해 3D 음향으로 출력되도록 실시간 편집될 수 있어, 방송 영상을 시청하는 시청자가 시청각적 입체감을 느끼도록 할 수 있다.

본 발명에 따른 효과는 이상에서 예시된 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 명세서 내에 포함되어 있다.

도 1은 본 발명의 일 실시예에 따른 객체 위치 변화를 벡터로 변환하여 영상 및 음향 신호를 동기화한 가상스튜디오 방송 편집 및 송출 기기의 구성들을 개략적으로 도시한 블록도이다.
도 2a는 본 발명의 일 실시예에 따른 객체 위치 변화를 벡터로 변환하여 영상 및 음향 신호를 동기화한 가상스튜디오 방송 편집 및 송출 기기의 전면부를 도시한 도면이다.
도 2b는 본 발명의 일 실시예에 따른 객체 위치 변화를 벡터로 변환하여 영상 및 음향 신호를 동기화한 가상스튜디오 방송 편집 및 송출 기기의 후면부를 도시한 도면이다.
도 3a는 본 발명의 일 실시예에 따른 객체 위치 변화를 벡터로 변환하여 영상 및 음향 신호를 동기화한 가상스튜디오 방송 편집 및 송출 기기의 제어부 조작을 위한 GUI 메뉴가 표시된 주 화면이다.
도 3b는 본 발명의 일 실시예에 따른 객체 위치 변화를 벡터로 변환하여 영상 및 음향 신호를 동기화한 가상스튜디오 방송 편집 및 송출 기기의 제어부 조작을 위한 최종 방송 영상이 송출되는 송출 화면이다.
도 4는 본 발명의 일 실시예에 따른 객체 위치 변화를 벡터로 변환하여 영상 및 음향 신호를 동기화한 가상스튜디오 방송 편집 및 송출 방법을 설명하기 위한 순서도이다.
도 5는 본 발명의 일 실시예에 따른 객체 위치 변화를 벡터로 변환하여 영상 및 음향 신호를 동기화한 가상스튜디오 방송 편집 및 송출 기기와 이를 이용한 방송 편집 및 송출 방법에서의 가상스튜디오에 대한 한 장면이다.
도 6a는 본 발명의 일 실시예에 따른 객체 위치 변화를 벡터로 변환하여 영상 및 음향 신호를 동기화한 가상스튜디오 방송 편집 및 송출 기기와 이를 이용한 방송 편집 및 송출 방법에서 제어부가 촬영 영상 및 자료 영상을 가상스튜디오에 합성하여 편집한 방송 영상의 한 장면이다.
도 6b는 본 발명의 일 실시예에 따른 객체 위치 변화를 벡터로 변환하여 영상 및 음향 신호를 동기화한 가상스튜디오 방송 편집 및 송출 기기와 이를 이용한 방송 편집 및 송출 방법에서 제어부의 방송 영상 편집부가 방송 영상을 3차원의 가상의 공간으로 맵핑하고, 가상의 공간에서 촬영 영상, 촬영 영상에서의 객체 및 자료 영상에 3차원 좌표를 부여하는 과정을 설명하기 위한 개략도이다.
도 6c는 본 발명의 일 실시예에 따른 객체 위치 변화를 벡터로 변환하여 영상 및 음향 신호를 동기화한 가상스튜디오 방송 편집 및 송출 기기와 이를 이용한 방송 편집 및 송출 방법에서 제어부의 방송 음성 편집부가 가상의 공간에서 촬영 영상의 이동, 촬영 영상에서의 객체의 이동 및 자료 영상의 이동을 나타내는 3차원 벡터에 기초하여 복수의 음성 출력부 각각에 대한 방송 음성의 출력을 실시간으로 편집하는 과정을 설명하기 위한 개략도이다.
도 7은 본 발명의 다른 실시예에 따른 객체 위치 변화를 벡터로 변환하여 영상 및 음향 신호를 동기화한 가상스튜디오 방송 편집 및 송출 기기와 이를 이용한 방송 편집 및 송출 방법에서 촬영 장소에서 복수의 위치에 고정된 복수의 음성 입력 장치로부터 녹음 음성을 녹음하는 경우를 설명하기 위한 개략도이다.
도 8a는 본 발명의 또 다른 실시예에 따른 객체 위치 변화를 벡터로 변환하여 영상 및 음향 신호를 동기화한 가상스튜디오 방송 편집 및 송출 기기와 이를 이용한 방송 편집 및 송출 방법에서 제어부가, 촬영 영상에서의 객체 및 자료 영상을 가상스튜디오에 합성하여 편집한 방송 영상의 한 장면이다.
도 8b는 도 8a의 방송 영상을 3차원의 가상의 공간으로 맵핑한 모습을 도시한 도면이다.
도 8c는 도 8a의 방송 영상에서의 자료 영상이 이동한 모습을 도시한 도면이다.
도 8d는 도 8c의 방송 영상을 3차원의 가상의 공간으로 맵핑한 모습을 도시한 도면이다.
도 9a는 도 3a의 로컬 뱅크 셀렉터에 대한 일 예시에 대한 개략도이다.
도 9b는 본 발명의 또 다른 실시예에 따른 객체 위치 변화를 벡터로 변환하여 영상 및 음향 신호를 동기화한 가상스튜디오 방송 편집 및 송출 기기와 이를 이용한 방송 편집 및 송출 방법에서 제1 로컬 뱅크를 선택하는 입력이 수신된 경우의 가상의 공간을 도시한 도면이다.
도 9c는 본 발명의 또 다른 실시예에 따른 객체 위치 변화를 벡터로 변환하여 영상 및 음향 신호를 동기화한 가상스튜디오 방송 편집 및 송출 기기와 이를 이용한 방송 편집 및 송출 방법에서 제2 로컬 뱅크를 선택하는 입력이 수신된 경우의 가상의 공간을 도시한 도면이다.
도 9d는 도 9d는 본 발명의 또 다른 실시예에 따른 객체 위치 변화를 벡터로 변환하여 영상 및 음향 신호를 동기화한 가상스튜디오 방송 편집 및 송출 기기와 이를 이용한 방송 편집 및 송출 방법에서 제3 로컬 뱅크를 선택하는 입력이 수신된 경우의 가상의 공간을 도시한 도면이다.
도 10은 본 발명의 다양한 실시예에 따른 객체 위치 변화를 벡터로 변환하여 영상 및 음향 신호를 동기화한 가상스튜디오 방송 편집 및 송출 기기를 이용한 실시간 방송 중계 시스템의 구성들을 개략적으로 도시한 블록도이다.
도 11a는 본 발명의 다양한 실시예에 따른 객체 위치 변화를 벡터로 변환하여 영상 및 음향 신호를 동기화한 가상스튜디오 방송 편집 및 송출 기기에서 송출되는 패킷 데이터를 예시적으로 도시한 구조도이다.
도 11b는 패킷 데이터의 각 채널의 해당 출력 지점을 도시한 도면이다.
도 12a 내지 도 12b는 교실 및 강당의 스피커 배치를 예시적으로 나타낸 도면이다.

본 명세서에서, 각 블록 또는 각 단계는 특정된 논리적 기능 (들) 을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또한, 몇 가지 대체 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.

본 명세서에 개시된 실시예들과 관련하여 설명된 방법 또는 알고리즘의 단계는 프로세서에 의해 실행되는 하드웨어, 소프트웨어 모듈 또는 그 2 개의 결합으로 직접 구현될 수도 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 착탈형 디스크, CD-ROM 또는 당업계에 알려진 임의의 다른 형태의 저장 매체에 상주할 수도 있다. 예시적인 저장 매체는 프로세서에 커플링되며, 그 프로세서는 저장 매체로부터 정보를 판독할 수 있고 저장 매체에 정보를 기입할 수 있다. 다른 방법으로, 저장 매체는 프로세서와 일체형일 수도 있다. 프로세서 및 저장 매체는 주문형 집적회로 내에 상주할 수도 있다. ASIC는 사용자 단말기 내에 상주할 수도 있다. 다른 방법으로, 프로세서 및 저장 매체는 사용자 단말기 내에 개별 컴포넌트로서 상주할 수도 있다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.

또한 제1, 제2 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.

명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

본 발명의 여러 실시예들의 각각 특징들이 부분적으로 또는 전체적으로 서로 결합 또는 조합 가능하며, 당업자가 충분히 이해할 수 있듯이 기술적으로 다양한 연동 및 구동이 가능하며, 각 실시예들이 서로에 대하여 독립적으로 실시 가능할 수도 있고 연관 관계로 함께 실시 가능할 수도 있다.

이하, 첨부된 도면을 참조하여 본 발명의 다양한 실시예들을 상세히 설명한다.

도 1은 본 발명의 일 실시예에 따른 객체 위치 변화를 벡터로 변환하여 영상 및 음향 신호를 동기화한 가상스튜디오 방송 편집 및 송출 기기의 구성들을 개략적으로 도시한 블록도이다.

도 1을 참조하면, 본 발명의 일 실시예에 따른 객체 위치 변화를 벡터로 변환하여 영상 및 음향 신호를 동기화한 가상스튜디오 방송 편집 및 송출 기기(100)는 입력부(110), 메모리(150), 제어부(120), 출력부(130) 및 그래픽 카드(140)를 포함한다.

입력부(110)는 촬영 영상을 실시간으로 수신하는 영상 입력부 및 촬영 영상에 대응하는 녹음 음성을 실시간으로 수신하는 음성 입력부를 포함한다. 입력부(110)는 객체 위치 변화를 벡터로 변환하여 영상 및 음향 신호를 동기화한 가상스튜디오 방송 편집 및 송출 기기(100)로 입력되는 다양한 영상 및 음성을 실시간으로 수신한다. 입력부(110)의 영상 입력부는 카메라(11), 웹캠(13) 등과 같은 영상 입력 장치를 통해 촬영된 촬영 영상을 실시간으로 수신할 수 있으며, 예를 들어, 크로마키 배경 앞에 위치한 객체에 대한 촬영 영상을 실시간으로 수신할 수 있다. 아울러, 입력부(110)의 음성 입력부(112)는 마이크(12)와 같은 음성 입력 장치를 통해 녹음되고 촬영 영상에 대응하는 녹음 음성을 실시간으로 수신할 수 있고, 예를 들어, 크로마키 배경 앞에 위치한 객체에 대한 촬영 영상에 대응하는 녹음 음성을 실시간으로 수신할 수 있다. 또한, 입력부(110)는 USB(14)와 같은 외부 저장 수단과 컴퓨터(15)와 같은 외부 전자 장치를 통해 또 다른 영상 및 음성을 수신할 수 있다. 또한, 도면에 도시되지는 않았으나, 입력부(110)는 키보드, 마우스, 터치스크린 등과 같은 사용자 입력 수단을 통해 사용자 입력을 수신할 수도 있다. 입력부(110)는 상술한 바와 같은 다양한 입력 장치, 외부 저장 수단, 외부 전자 장치, 사용자 입력 수단 등과 연결될 수 있는 입력 포트의 형태로 구현될 수 있지만, 이에 제한되는 것은 아니다.

메모리(150)는 입력부(110)를 통해 수신된 촬영 영상 및 녹음 음성을 저장하고, 편집에 사용될 하나 이상의 자료 영상을 저장한다. 자료 영상은 촬영 영상과는 상이한 영상으로서, 카메라(11), 웹캠(13) 등과 같은 영상 입력 장치를 통해 촬영되어 영상 입력부를 통해 수신된 영상이 아닌, 별도로 녹화되고 편집된 영상을 의미한다. 즉, 자료 영상은 사전에 다른 전자 장치를 통해 편집된 영상으로, 자료 영상은 자료 영상에 대응하는 음성까지 포함하는 것으로 정의될 수 있다. 다만, 이에 제한되지 않고, 자료 영상에 대응하는 자료 음성이 별도로 메모리(150)에 저장될 수도 있다. 자료 영상 내에서 각각의 객체에 대한 음성을 별도로 녹음하지 않기 때문에, 자료 영상만 편집하면 자료 영상에 대응하는 음성에 대하여 별도의 편집이 필요하지 않을 수도 있다. 메모리(150)에 저장된 영상 및 음성은 제어부(120)에서 실시간 방송을 위한 편집에 사용될 수 있다. 이외에도, 메모리(150)에는 방송 영상 제작에 필요한 가상스튜디오 배경 등이 저장될 수 있고, 제어부(120)에서 편집된 영상 및 음성이 저장될 수도 있다.

제어부(120)는 입력부(110) 또는 메모리(150) 중 적어도 하나로부터 촬영 영상, 촬영 영상에 대응하는 녹음 음성 및 자료 영상을 수신하여 방송 영상을 실시간으로 편집한다. 이때, 제어부(120)는 입력부(110)를 통해 전달된 사용자의 선택을 입력 받아 촬영 영상 및 녹음 음성을 가상스튜디오에 합성하고, 자료 영상, 자막(192), 화면 전환, 배경 음악 등의 각종 효과를 더하여 방송 영상으로 편집한다. 제어부(120)는 다양한 영상 및 음성 처리를 실시간으로 수행하기 위해 연산을 수행하는 프로세서의 형태로 구현될 수 있다. 또한, 제어부(120)는 고속 연산을 위해 RTIFC(Real Time Intelligence Format Convergence), 멀티 쓰레딩, 프로세스 로드 밸런싱, 부동소수점 연산 등의 연산 방법을 적용하여 영상 및 음성 처리를 하기 위한 연산을 수행할 수 있다.

여기서, 제어부(120)는 방송 영상을 실시간으로 편집하는 방송 영상 편집부(121) 및 방송 영상에 대응하는 음성을 실시간으로 편집하는 방송 음성 편집부(122)를 포함한다.

방송 영상 편집부(121)는 입력부(110) 또는 메모리(150) 중 적어도 하나로부터 촬영 영상 및 자료 영상을 수신하여 방송 영상을 실시간으로 편집한다. 이때, 방송 영상 편집부(121)는 방송 영상을 3차원의 가상의 공간(VS)에 맵핑하고, 가상의 공간(VS)에서 촬영 영상, 촬영 영상에서의 객체 및 자료 영상을 3차원 좌표로 나타내어 편집한다. 한편, 방송 음성 편집부(122)는 방송 영상에 대응하는 방송 음성을 실시간으로 편집한다. 이때, 방송 음성 편집부(122)는 촬영 영상의 이동, 촬영 영상에서의 객체의 이동 및 자료 영상의 이동을 나타내는 3차원 벡터에 기초하여 녹음 음성 및 자료 영상에 대응하는 음성을 사용하여 방송 음성을 실시간으로 편집한다.

출력부(130)는 방송 영상을 출력하는 영상 출력부(131) 및 방송 음성을 출력하는 복수의 음성 출력부(132)를 포함한다. 출력부(130)는 객체 위치 변화를 벡터로 변환하여 영상 및 음향 신호를 동기화한 가상스튜디오 방송 편집 및 송출 기기(100)로 제작된 방송 영상 및 방송 음성을 출력 장치로 출력한다. 출력부(130)의 영상 출력부(131)는 별도의 디스플레이(31)와 같은 영상 출력 장치를 통해 방송 영상을 출력할 수 있고, 출력부(130)의 복수의 음성 출력부(132)는 별도의 스피커(32)와 같은 음성 출력 장치를 통해 방송 영상에 대응하는 방송 음성을 출력할 수 있다. 본 발명의 일 실시예에 따른 객체 위치 변화를 벡터로 변환하여 영상 및 음향 신호를 동기화한 가상스튜디오 방송 편집 및 송출 기기(100)에서는 복수의 음성 출력부(132), 즉, 다채널의 음성 출력을 통해 방송 음성에 입체감을 부여할 수 있다. 즉, 방송 영상의 구성에 따라 방송 영상에 대응하는 방송 음성을 복수의 음성 출력부(132)마다 서로 상이하게 출력함에 따라, 객체 위치 변화를 벡터로 변환하여 영상 및 음향 신호를 동기화한 가상스튜디오 방송 편집 및 송출 기기(100)는 3차원 공간 음향 출력을 할 수 있고, 시청자는 방송 영상에 대한 입체감과 동시에 방송 음성에 대한 입체감을 느낄 수 있다. 출력부(130)는 디스플레이(31)와 같은 영상 출력 장치 및 스피커(32)와 같은 음성 출력 장치와 연결될 수 있는 출력 포트의 형태로 구현될 수 있지만, 이에 제한되는 것은 아니다.

그래픽 카드(140)는 디지털 데이터로 표현된 영상을 아날로그의 영상 신호로 변환하여 출력부(130)로 전달할 수 있다. 제어부(120)에서 디지털 데이터의 형식으로 편집되어 완성된 방송 영상은 아날로그의 데이터를 다루는 출력 장치에서 출력이 불가능하다.

또한, 도 1에 도시되지는 않았으나, 객체 위치 변화를 벡터로 변환하여 영상 및 음향 신호를 동기화한 가상스튜디오 방송 편집 및 송출 기기(100)는 사용자가 영상 및 음성을 자유롭게 편집할 수 있도록 사용자에게 다양한 화면을 제공하기 위한 표시부를 더 포함할 수 있고, 표시부는 다양한 형태의 디스플레이로 구현될 수 있다.

이하에서는 도 2a 및 도 2b를 참조하여 본 발명의 일 실시예에 따른 객체 위치 변화를 벡터로 변환하여 영상 및 음향 신호를 동기화한 가상스튜디오 방송 편집 및 송출 기기(100)의 전면부(160)와 후면부(170)를 설명하기로 한다.

도 2a는 본 발명의 일 실시예에 따른 객체 위치 변화를 벡터로 변환하여 영상 및 음향 신호를 동기화한 가상스튜디오 방송 편집 및 송출 기기의 전면부를 도시한 도면이다. 도 2b는 본 발명의 일 실시예에 따른 객체 위치 변화를 벡터로 변환하여 영상 및 음향 신호를 동기화한 가상스튜디오 방송 편집 및 송출 기기의 후면부를 도시한 도면이다.

먼저, 도 2a를 참조하면, 객체 위치 변화를 벡터로 변환하여 영상 및 음향 신호를 동기화한 가상스튜디오 방송 편집 및 송출 기기(100)의 전면부(160)에는 USB(14)와 같은 외부 저장 수단이 연결될 수 있는 입력부(110)인 USB 단자(163), 전원을 온/오프 하기 위한 전원 스위치(161) 및 리셋 스위치(162), 외부 저장 수단 중의 하나인 CD가 삽입될 수 있는 CD-ROM(164)이 배치된다. 다만, 이에 제한되지 않고, 객체 위치 변화를 벡터로 변환하여 영상 및 음향 신호를 동기화한 가상스튜디오 방송 편집 및 송출 기기(100)의 전면부(160)에는 다양한 입력부(110)와 스위치, 혹은 출력부(130) 등이 배치될 수 있다.

또한, 도 2b를 참조하면, 객체 위치 변화를 벡터로 변환하여 영상 및 음향 신호를 동기화한 가상스튜디오 방송 편집 및 송출 기기(100)의 후면부(170)에는 다양한 입력부(110) 및 출력부(130)가 배치될 수 있다. 예를 들어, 후면부(170)에는 음성 출력 단자(171), 영상 입력 단자(172), 영상 출력 단자(173), USB 단자(174) 및 확장 모듈팩 단자(175)와 같은 다양한 입력부(110) 및 출력부(130)가 배치될 수 있다.

사용자는 영상 입력 단자(172), USB 단자(174) 및 확장 모듈팩 단자(175) 등의 입력부(110)를 통해 최대 16개의 음성과 9개의 영상을 동시에 입력할 수 있고, HDMI, HD-SDI, 웹캠 등 다양한 입력 형식을 혼용하여 사용할 수 있다.

아울러, 사용자는 영상 출력 단자(173), 음성 출력 단자(171) 및 확장 모듈팩 단자(175) 등의 출력부(130)를 통해 최대 16개의 음성과 3개의 영상을 동시에 출력 받을 수 있다. 여기서, 확장 모듈팩 단자(175)는 8개의 음성 입출력이 가능한 음성 카드 전용 케이블 단자일 수 있다. 다만, 이에 제한되지 않고, 객체 위치 변화를 벡터로 변환하여 영상 및 음향 신호를 동기화한 가상스튜디오 방송 편집 및 송출 기기(100)의 출력 채널 수는 다양하게 설정될 수 있다.

상술한 바와 같이, 객체 위치 변화를 벡터로 변환하여 영상 및 음향 신호를 동기화한 가상스튜디오 방송 편집 및 송출 기기(100)의 전면부(160) 및/또는 후면부(170)에 배치된 다양한 입력부(110)를 통해 수신된 영상 및 음성은 제어부(120)로 전달되어 실시간 방송을 위한 편집 과정을 거칠 수 있고, 제어부(120)는 사용자의 선택을 입력 받아 영상 및 음성을 편집할 수 있다. 이하에서는, 사용자의 입력을 받기 위해 사용자에게 제공되는 화면들을 설명하기 위해 도 3a 내지 도 3b를 함께 참조한다.

도 3a는 본 발명의 일 실시예에 따른 객체 위치 변화를 벡터로 변환하여 영상 및 음향 신호를 동기화한 가상스튜디오 방송 편집 및 송출 기기의 제어부의 조작을 위한 GUI 메뉴가 표시된 주 화면이다. 도 3b는 본 발명의 일 실시예에 따른 객체 위치 변화를 벡터로 변환하여 영상 및 음향 신호를 동기화한 가상스튜디오 방송 편집 및 송출 기기의 제어부의 조작을 위한 최종 방송 영상이 송출되는 송출 화면이다.

도 3a를 참조하면, 객체 위치 변화를 벡터로 변환하여 영상 및 음향 신호를 동기화한 가상스튜디오 방송 편집 및 송출 기기(100)의 제어부(120)의 조작을 위한 GUI 메뉴가 표시된 주 화면(180)은 외부 소스 뷰어(181a) 및 내부 소스 뷰어(181b)로 구성된 소스 뷰어(181), A/V 플레이어 컨트롤(182a), A/V 믹서 볼륨 컨트롤(182b), 프리뷰(183a), 프로그램뷰(183b), 트랜지션바(184a), 트랜지션 이펙트 컨트롤(184b), A/V 프리셋 컨트롤(185), PIP 오브젝트 컨트롤(186), 로컬 뱅크 셀렉터(187a), 글로벌 뱅크 셀렉터(187b), A/V 레코더(188), CD 플레이어(189) 등과 같은 다양한 효과 및 편집을 위한 메뉴들로 구성될 수 있다.

소스 뷰어(181)는 외부 소스 뷰어(181a) 및 내부 소스 뷰어(181b)로 구성된다. 소스 뷰어(181)는 영상 입력 상태를 확인하고, 송출 화면(190)에 적용된 화면과 비교할 수 있는 화면이다. 외부 소스 뷰어(181a)는 객체 위치 변화를 벡터로 변환하여 영상 및 음향 신호를 동기화한 가상스튜디오 방송 편집 및 송출 기기(100)의 외부로부터 입력된 영상 입력 소스 화면으로, HDMI, HD-SDI, 웹캠(13) 등과 같은 복수의 외부 영상 입력 소스로부터의 화면이 표시될 수 있다. 또한, 스크린 캡쳐한 화면 또한 외부 소스 뷰어(181a)에 표시될 수 있다. 내부 소스 뷰어(181b)는 객체 위치 변화를 벡터로 변환하여 영상 및 음향 신호를 동기화한 가상스튜디오 방송 편집 및 송출 기기(100) 내부로부터의 영상 입력 소스 화면으로서, 복수의 내부 소스 플레이어의 동영상 재생 화면이다.

A/V 플레이어 컨트롤(182a)은 내장 소스 플레이어 메뉴 화면으로, 각각의 소스 플레이어는 내부 소스 뷰어(181b)의 영상에 대응할 수 있다. 도 3에서는 최대 3개의 소스 플레이어가 지원되는 것으로 도시되었으나, 이에 제한되지는 않는다.

A/V 믹서 볼륨 컨트롤(182b)은 음성 믹서 제어 화면으로, 사용자는 A/V 믹서 볼륨 컨트롤(182b)을 통해 각각의 입력 소스 별로 음성 출력을 제어 할 수 있다. 예를 들어, A/V 믹서 볼륨 컨트롤(182b)을 통해 PC 출력, 마이크(12) 출력, 소스별 출력, 카메라(11) 출력 등에 대한 볼륨 제어가 가능하고, 이퀄라이저 설정, 음성 출력 스위칭 등의 제어를 할 수 있다.

CD 플레이어(189)는 도 2a에 도시된 바와 같은 CD-ROM(164)에 삽입된 CD의 재생을 제어하기 위한 메뉴 화면이다.

로컬 뱅크 셀렉터(187a)는 가상스튜디오 내에서의 3D 뷰 설정을 선택할 수 있도록 구성된 화면이다. 예를 들어, 도 3에 도시된 바와 같이, 총 8개의 로컬 뱅크에 대한 프리셋이 가능하며, 프리셋된 8개의 로컬 뱅크(LB) 중 하나의 로컬 뱅크(LB)를 선택하는 방식으로 사용자는 가상스튜디오 내에서의 3D 뷰를 설정할 수 있다.

글로벌 뱅크 셀렉터(187b)는 가상스튜디오 배경을 선택할 수 있도록 구성된 화면이다. 예를 들어, 도 3에 도시된 바와 같이, 총 8개의 글로벌 뱅크에 대한 프리셋이 가능하며, 프리셋된 8개의 글로벌 뱅크 중 하나의 글로벌 뱅크를 선택하는 방식으로 사용자는 가상스튜디오 배경을 선택할 수 있다.

프리뷰(183a)는 A/V 설정과 3D 스튜디오 설정이 적용된 예비 화면이고, 프로그램뷰(183b)는 A/V 설정과 3D 스튜디오 설정이 적용된 방송 송출용 화면으로, 로컬 뱅크 셀렉터(187a)에서 선택된 로컬 뱅크(LB)와 글로벌 뱅크 셀렉터(187b)에서 선택된 가상스튜디오 배경이 바로 적용된 화면이 나타나게 된다.

트랜지션바(184a)는 프리뷰(183a)와 프로그램뷰(183b)의 화면을 전환하기 위한 메뉴이다. 그리고, 트랜지션 이펙트 컨트롤(184b)은 트랜지션바(184a)로 프리뷰(183a)와 프로그램뷰(183b)의 화면이 전환될 때 사용될 효과를 지정하기 위한 메뉴이다.

A/V 프리셋 컨트롤(185)은 3D 가상스튜디오의 주요 설정을 변경하기 위한 메뉴이다. 예를 들어, 사용자는 A/V 프리셋 컨트롤(185)을 사용하여 자막(192), 시점 변환, 조명, 성능 모니터링 등 3D 가상스튜디오의 주요 설정을 변경할 수 있다.

PIP 오브젝트 컨트롤(186)은 화면 영상에서 영상 이미지의 확대, 축소, 위치 이동, 회전 등의 제어를 위한 메뉴이다. 마지막으로, A/V 레코더(188)는 송출 화면(190)을 영상 파일로 저장하기 위한 메뉴이다.

다음으로, 도 3b를 참조하면, 송출 화면(190)은 편집이 완료된 최종 방송 송출용 화면이 출력되는 화면으로, 실제 방송에 영상이 어떻게 출력되는지 확인할 수 있다. 또한, 주 화면(180)에서 설정한 각종 방송 편집 효과가 적용되었는지 확인할 수 있으며, 예를 들어, PIP 오브젝트 컨트롤(186)메뉴를 이용해 삽입된 로고(191)이미지나, A/V 프리셋 컨트롤(185)을 사용해 삽입된 자막(192) 등이 어떻게 적용되었는지 확인할 수 있다.

이하에서는, 앞서 설명한 본 발명의 일 실시예에 따른 객체 위치 변화를 벡터로 변환하여 영상 및 음향 신호를 동기화한 가상스튜디오 방송 편집 및 송출 기기(100)에 대한 설명에 기초하여, 객체 위치 변화를 벡터로 변환하여 영상 및 음향 신호를 동기화한 가상스튜디오 방송 편집 및 송출 기기(100) 및 이를 이용한 방송 편집 및 송출 방법에서의 영상 및 음성 처리에 대하여 설명한다.

도 4는 본 발명의 일 실시예에 따른 객체 위치 변화를 벡터로 변환하여 영상 및 음향 신호를 동기화한 가상스튜디오 방송 편집 및 송출 방법을 설명하기 위한 순서도이다.

먼저, 본 발명의 일 실시예에 따른 객체 위치 변화를 벡터로 변환하여 영상 및 음향 신호를 동기화한 가상스튜디오 방송 편집 및 송출 기기(100)는 객체(OB)에 대한 촬영 영상 및 촬영 영상에 대응하는 녹음 음성을 실시간으로 수신한다(S100).

도 5는 본 발명의 일 실시예에 따른 객체 위치 변화를 벡터로 변환하여 영상 및 음향 신호를 동기화한 가상스튜디오 방송 편집 및 송출 기기와 이를 이용한 방송 편집 및 송출 방법에서의 가상스튜디오에 대한 한 장면이다. 도 5에서는 설명의 편의를 위해 크로마키 배경(BA) 앞에서 사람(OB)이 마이크(12)를 사용하여 방송을 하는 상황에 대한 가상스튜디오 장면을 도시하였다.

도 5를 참조하면, 가상스튜디오에서 사람과 같은 객체(OB)를 촬영하기 위해 카메라(C1, C2, C3) 등과 같은 하나 이상의 영상 입력 장치가 사용될 수 있다. 또한, 사람의 음성을 녹음하기 위해 사람이 직접 들고 있거나, 사람에 부착 또는 고정된 마이크(12a)와 같은 음성 입력 장치가 사용될 수도 있고, 가상스튜디오에서 특정 위치에 고정된 고정 마이크(12b)와 같은 음성 입력 장치가 사용될 수 있다.

본 발명의 일 실시예에 따른 객체 위치 변화를 벡터로 변환하여 영상 및 음향 신호를 동기화한 가상스튜디오 방송 편집 및 송출 기기(100)의 입력부(110)의 영상 입력부는 가상스튜디오에서의 카메라(C1, C2, C3) 등과 같은 영상 입력 장치로부터 촬영된 촬영 영상을 무선 또는 유선으로 실시간으로 수신할 수 있고, 입력부(110)의 음성 입력부는 사람에 고정된 마이크(12a) 및/또는 특정 위치에 고정된 고정 마이크(12b)와 같은 음성 입력 장치로부터 녹음되고, 촬영 영상에 대응하는 녹음 음성을 무선 또는 유선으로 실시간으로 수신할 수 있다.

이때, 크로마키 배경(BA)은 녹색 또는 청색과 같은 단일한 색상으로 이루어진 배경을 의미하고, 객체(OB)는 크로마키 배경(BA) 앞에 배치된 사람 등과 같은 임의의 대상물로, 크로마키 배경(BA)과 상이한 색으로 표현되는 임의의 대상물을 의미할 수 있다. 이와 같이, 입력부(110)를 통해 수신된 촬영 영상 및 녹음 음성은 제어부(120)로 전달되고, 메모리(150)에 저장될 수도 있다.

이어서, 본 발명의 일 실시예에 따른 객체 위치 변화를 벡터로 변환하여 영상 및 음향 신호를 동기화한 가상스튜디오 방송 편집 및 송출 기기(100)는 촬영 영상, 녹음 음성 및 자료 영상(DV)에 기초하여 방송 영상(BV) 및 방송 영상(BV)에 대응하는 방송 음성을 실시간으로 편집한다(S200).

객체 위치 변화를 벡터로 변환하여 영상 및 음향 신호를 동기화한 가상스튜디오 방송 편집 및 송출 기기(100)의 제어부(120)의 방송 영상 편집부(121)는 입력부(110) 또는 메모리(150) 중 적어도 하나로부터 촬영 영상 및 자료 영상(DV)을 수신하여 방송 영상(BV)을 실시간으로 편집한다. 또한, 객체 위치 변화를 벡터로 변환하여 영상 및 음향 신호를 동기화한 가상스튜디오 방송 편집 및 송출 기기(100)의 제어부(120)의 방송 음성 편집부(122)는 방송 영상(BV)에 대응하는 방송 음성을 실시간으로 편집한다. 이때, 방송 음성 편집부(122)는 촬영 영상의 이동, 촬영 영상에서의 객체(OB)의 이동 및 자료 영상(DV)의 이동을 나타내는 3차원 벡터에 기초하여 녹음 음성 및 자료 영상(DV)에 대응하는 자료 음성을 사용하여 방송 음성을 실시간으로 편집할 수 있다. 이하, 제어부(120)가 촬영 영상, 녹음 음성 및 자료 영상(DV)을 이용하여 방송 영상(BV) 및 방송 음성을 실시간으로 편집하는 과정에 대한 보다 상세한 설명을 위해 도 6a 내지 도 6c를 함께 참조한다.

도 6a는 본 발명의 일 실시예에 따른 객체 위치 변화를 벡터로 변환하여 영상 및 음향 신호를 동기화한 가상스튜디오 방송 편집 및 송출 기기와 이를 이용한 방송 편집 및 송출 방법에서 제어부가 촬영 영상 및 자료 영상을 가상스튜디오에 합성하여 편집한 방송 영상의 한 장면이다. 도 6b는 본 발명의 일 실시예에 따른 객체 위치 변화를 벡터로 변환하여 영상 및 음향 신호를 동기화한 가상스튜디오 방송 편집 및 송출 기기와 이를 이용한 방송 편집 및 송출 방법에서 제어부의 방송 영상 편집부가 방송 영상을 3차원의 가상의 공간으로 맵핑하고, 가상의 공간에서 촬영 영상, 촬영 영상에서의 객체 및 자료 영상에 3차원 좌표를 부여하는 과정을 설명하기 위한 개략도이다. 도 6c는 본 발명의 일 실시예에 따른 객체 위치 변화를 벡터로 변환하여 영상 및 음향 신호를 동기화한 가상스튜디오 방송 편집 및 송출 기기와 이를 이용한 방송 편집 및 송출 방법에서 제어부의 방송 음성 편집부가 가상의 공간에서 촬영 영상의 이동, 촬영 영상에서의 객체의 이동 및 자료 영상의 이동을 나타내는 3차원 벡터에 기초하여 복수의 음성 출력부 각각에 대한 방송 음성의 출력을 실시간으로 편집하는 과정을 설명하기 위한 개략도이다. 도 6b 및 도 6c에서는 도 5에서 설명된 음성 입력 장치 중 객체(OB)인 사람이 마이크(12a)를 직접 들고 있거나, 사람에 부착된 마이크(12a)가 사용되는 경우를 가정하였다.

먼저 도 6a를 참조하면, 본 발명의 일 실시예에 따른 객체 위치 변화를 벡터로 변환하여 영상 및 음향 신호를 동기화한 가상스튜디오 방송 편집 및 송출 기기(100)의 제어부(120)의 방송 영상 편집부(121)는 촬영 영상과 자료 영상(DV)을 수신하여 방송 영상(BV)을 실시간으로 편집한다. 구체적으로, 방송 영상 편집부(121)는 가상스튜디오에서 객체(OB)를 촬영한 촬영 영상에 자료 영상(DV)을 합성하는 방식으로 방송 영상(BV)을 실시간으로 편집할 수 있다. 도 6a에서는 설명의 편의를 위해 2개의 자료 영상(DV1, DV2)이 방송 영상(BV)에 포함된 것으로 도시되었으나, 자료 영상(DV)의 개수는 이에 제한되지 않는다.

도 5에 도시된 바와 같이 크로마키 배경(BA)을 사용하는 가상스튜디오에서 객체(OB)를 촬영하는 방식으로 촬영 영상이 획득된 경우, 방송 영상 편집부(121)는 촬영 영상과 자료 영상(DV)을 합성하여 방송 영상(BV)을 완성하기에 앞서, 촬영 영상을 크로마키 처리할 수 있다. 구체적으로, 본 발명의 일 실시예에 따른 객체 위치 변화를 벡터로 변환하여 영상 및 음향 신호를 동기화한 가상스튜디오 방송 편집 및 송출 기기(100)의 제어부(120)는 입력부(110)를 통해 수신된 촬영 영상에 대해 객체(OB)의 엣지를 검출하여 객체(OB)와 크로마키 배경(BA)을 분리할 수 있고, 크로마키 배경(BA)으로부터 분리된 객체(OB)만을 가상스튜디오에 합성할 수 있다.

이후, 제어부(120)의 방송 영상 편집부(121)는, 예를 들어, 입력부(110)를 통해 USB(14)와 같은 외부 저장 수단과 컴퓨터(15)와 같은 외부 전자 장치에서 수신하여 메모리(150)에 저장된 자료 영상(DV) 및 자료 영상(DV)에 대응하는 음성을 가상스튜디오에 합성하여 도 6a에 도시된 바와 같은 방송 영상(BV)을 실시간으로 편집할 수 있다.

이어서, 방송 영상 편집부(121)는 방송 영상(BV)을 3차원의 가상의 공간(VS)으로 맵핑하고(S210), 가상의 공간(VS)에서 촬영 영상, 촬영 영상에서의 객체(OB) 및 자료 영상(DV)에 3차원 좌표를 부여한다(S220).

도 6b를 참조하면, 방송 영상 편집부(121)는 방송 영상(BV)을 3차원의 가상의 공간(VS)으로 맵핑할 수 있다. 여기서, 3차원의 가상의 공간(VS)은 방송 영상 편집부(121)가 방송 영상(BV)에서의 촬영 영상의 이동, 촬영 영상에서의 객체(OB)의 이동 및 자료 영상(DV)의 이동을 3차원 좌표의 변화, 즉, 3차원 벡터를 사용하여 판단하고, 방송 음성 편집부(122)가 상술한 3차원 좌표의 변화에 기초하여 방송 음성을 편집하기 위한 공간이다. 3차원의 가상의 공간(VS)은 x축, y축, z축을 사용하여 정의될 수 있고, 각각의 축에 대한 좌표 값의 최대값은 1이고, 최소값인 -1인 정육면체 형상의 공간으로 정규화되어 정의될 수 있다. 다만, 이에 제한되지 않고, 가상의 공간(VS)은 x축, y축, z축 각각에 대해 다른 최대값과 최소값을 갖도록 정의될 수도 있다. 방송 영상 편집부(121)는 상술한 정규화된 3차원의 가상의 공간(VS)에 방송 영상(BV)을 맵핑할 수 있다.

도 6b를 참조하면, 제어부(120)의 방송 영상 편집부(121)는 방송 영상(BV)을 3차원의 가상의 공간(VS)에 맵핑하고, 방송 영상(BV)을 구성하는 촬영 영상, 촬영 영상에서의 객체(OB) 및 자료 영상(DV)에 3차원 좌표를 부여할 수 있다. 구체적으로, 방송 영상 편집부(121)는 가상의 공간(VS)에서 촬영 영상의 3차원 좌표(Sx, Sy, Sz), 촬영 영상에서의 객체(OB)의 3차원 좌표(Ox, Oy, Oz) 및 제1 자료 영상(DV)에 대한 3차원 좌표(D1x, D1y, D1z) 및 제2 자료 영상(DV)에 대한 3차원 좌표(D2x, D2y, D2z)를 부여할 수 있다. 여기서 촬영 영상, 촬영 영상에서의 객체(OB) 및 자료 영상(DV)에 대한 3차원 좌표는 각각의 무게 중심의 3차원 좌표로 정의할 수 있으나, 내심의 3차원 좌표, 외심의 3차원 좌표 등으로도 정의할 수 있으며, 이에 제한되지 않는다.

도 6a에 도시된 바와 같이, 방송 영상(BV)의 전체 화면이 촬영 영상 전체에 대응하는 경우, 제어부(120)의 방송 영상 편집부(121)는 촬영 영상의 3차원 좌표(Sx, Sy, Sz)를 원점(O)의 (0, 0, 0)으로 정의할 수 있다. 다만, 촬영 영상을 확대하여 방송 영상(BV)에서 촬영 영상의 일부만 포함하거나, 방송 영상(BV)에서 촬영 영상을 축소하여 촬영 영상의 전체를 포함하되 나머지 영역은 다른 부분으로 구성하는 경우 촬영 영상의 3차원 좌표(Sx, Sy, Sz)의 z좌표(Sz)가 증감할 수 있다. 또한, 촬영 영상 중 일부 영역만 방송 영상(BV)에서 포함하는 경우, 촬영 영상의 3차원 좌표(Sx, Sy, Sz) 중 x축 좌표(Sx) 및 y축 좌표(Sz)도 증감할 수 있다. 도 6b에서는 설명의 편의를 위해 촬영 영상에 대한 3차원 좌표에 대한 도시는 생략하였다.

이어서, 방송 영상 편집부(121)는 객체(OB)의 3차원 좌표(OP)인 (Ox, Oy, Oz)를 정의할 수 있다. 방송 영상 편집부(121)는 촬영 영상 내에서의 객체(OB)의 위치를 고려하여, 객체(OB)의 3차원 좌표(OP)인 (Ox, Oy, Oz)를 부여할 수 있다. 즉, 촬영 영상 내에서 객체(OB)의 좌우 위치, 상하 위치, 전후 위치를 고려하여, 방송 영상 편집부(121)는 객체(OB)의 3차원 좌표(OP)인 (Ox, Oy, Oz)를 정의할 수 있다. 또한, 몇몇 실시예에서, 방송 영상 편집부(121)는 뷰 포트(view port)에 투영되는 이미지를 사용하여 객체(OB)의 3차원 좌표(OP)인 (Ox, Oy, Oz)를 계산할 수도 있다. 즉, 3차원의 가상의 공간(VS)의 외부에 위치하며, 뷰 포트에 투영하여 시청자에게 방송 화면을 보여주기 위한 가변 가상 카메라가 존재하는 것으로 가정하고, 가변 가상 카메라와의 상대 좌표에 기초하여 객체(OB)의 좌우 위치, 상하 위치, 전후 위치를 결정하고, 객체(OB)의 3차원 좌표(OP)인 (Ox, Oy, Oz)를 부여할 수 있다. 다만, 이에 제한되지 않고, 객체(OB)의 3차원 좌표(OP)인 (Ox, Oy, Oz)는 다른 방식으로 부여될 수도 있다. 도 6b에서는 객체(OB)의 3차원 좌표(OP)인 (Ox, Oy, Oz)가 (0.5, 0, 0.5)인 것으로 가정하였다.

이어서, 방송 영상 편집부(121)는 제1 자료 영상(DV)에 대한 3차원 좌표(DP1)인 (D1x, D1y, D1z) 및 제2 자료 영상(DV)에 대한 3차원 좌표(DP2)인 (D2x, D2y, D2z)를 정의할 수 있다. 방송 영상 편집부(121)가 제1 자료 영상(DV)에 대한 3차원 좌표(DP1)인 (D1x, D1y, D1z) 및 제2 자료 영상(DV)에 대한 3차원 좌표(DP2)인 (D2x, D2y, D2z)를 정의하는 방식은 앞서 설명한 객체(OB)의 3차원 좌표(OP)인 (Ox, Oy, Oz)를 정의하는 방식과 실질적으로 동일할 수 있다. 도 6b에서는 제1 자료 영상(DV)에 대한 3차원 좌표(DP1)인 (D1x, D1y, D1z)가 (-0.3, 0.5, 0)이고, 제2 자료 영상(DV)에 대한 3차원 좌표(DP2)인 (D2x, D2y, D2z)가 (-0.3, 0.3, 0)인 것으로 가정하였다.

도 6b를 참조하면, 제어부(120)는 방송 음성을 출력할 복수의 음성 출력부(132) 및 복수의 음성 출력부(132)에 대응하는 복수의 음성 출력 장치(32a 내지 32f)에 3차원 좌표를 부여할 수 있다. 즉, 객체 위치 변화를 벡터로 변환하여 영상 및 음향 신호를 동기화한 가상스튜디오 방송 편집 및 송출 기기(100)에서 사용할 총 음성 출력 채널의 개수에 따라, 복수의 음성 출력부(132)의 개수가 결정되고, 결정된 음성 출력부(132)의 개수에 기초하여 음성 출력부(132)에 대한 3차원 좌표를 부여할 수 있다. 도 6b에서는 복수의 음성 출력부(132)에 대응하는 음성 출력 장치(32a 내지 32f)로 스피커(32)가 사용되는 것으로 가정하였고, 가상의 공간(VS)에서 우측, 좌측, 상측, 하측, 전측, 후측의 총 6개의 스피커(32)가 음성 출력부(132)에 대응하는 음성 출력 장치(32a 내지 32f)로 사용되는 것을 가정하였으며, 6개의 음성 출력 장치(32a 내지 32f) 각각이 (1, 0, 0), (-1, 0, 0), (0, 1, 0), (0, -1, 0), (0, 0, 1) 및 (0, 0, -1)의 3차원 좌표를 갖는 것으로 가정하였다. 도 6b에서는 음성 출력부(132)에 대응하는 음성 출력 장치(32a 내지 32f)가 모두 가상의 공간(VS)의 최외곽에 배치되는 것으로 가정하였으나, 이에 제한되지 않고, 음성 출력부(132)는 총 음성 출력 채널의 개수 및 객체 위치 변화를 벡터로 변환하여 영상 및 음향 신호를 동기화한 가상스튜디오 방송 편집 및 송출 기기(100)에 따라 가상의 공간(VS)의 임의의 위치에 배치될 수 있다. 다만, 방송 음성 출력의 입체감을 보다 자연스럽게 부여하기 위해, 2개의 음성 출력부(132)가 가상의 공간(VS)에서 x축, y축, z축 또는 원점(O)에 대칭되는 위치로 배치되도록 할 수 있다.

제어부(120)의 방송 음성 편집부(122)는 촬영 영상, 촬영 영상에서의 객체(OB) 또는 자료 영상(DV)의 3차원 좌표에 기초하여 복수의 음성 출력부(132) 각각의 출력을 조절할 수 있다. 즉, 방송 음성 편집부(122)는 촬영 영상, 촬영 영상에서의 객체(OB) 또는 자료 영상(DV)의 3차원 좌표 중 x축 좌표에 기초하여 우측 음성 출력부에 대응하는 우측 음성 출력 장치(32a) 및 좌측 음성 출력부에 대응하는 좌측 음성 출력 장치(32b)로 출력되는 방송 음성을 조절하고, 촬영 영상, 촬영 영상에서의 객체(OB) 또는 자료 영상(DV)의 3차원 좌표 중 y축 좌표에 기초하여 상측 음성 출력부에 대응하는 상측 음성 출력 장치(32c) 및 하측 음성 출력부에 대응하는 하측 음성 출력 장치(32d)로 출력되는 방송 음성을 조절하고, 촬영 영상, 촬영 영상에서의 객체(OB) 또는 자료 영상(DV)의 3차원 좌표 중 z축 좌표에 기초하여 전측 음성 출력부에 대응하는 전측 음성 출력 장치(32e) 및 후측 음성 출력부에 대응하는 후측 음성 출력 장치(32f)로 출력되는 방송 음성을 조절할 수 있다. 즉, x축, y축, z축 각각에 대해 서로 대칭되는 위치에 배치되는 음성 출력부(132)에 대응하는 음성 출력 장치(32a 내지 32f)에 대한 방송 음성 출력은 상대적으로 제어될 수 있다.

예를 들어, 객체(OB)의 3차원 좌표(Ox, Oy, Oz)가 원점(O)(0, 0, 0)인 경우, 객체(OB)에 대응하는 음성, 즉, 객체(OB)에 대한 녹음 음성이 6개의 음성 출력부(132)에 모두 동일한 크기로 출력될 수 있다. 다만, 객체(OB)가 가상의 공간(VS)에서 최우측에 배치되어 객체(OB)의 3차원 좌표(OP)인 (Ox, Oy, Oz)가 (1, a, a)로 정의되는 경우(-1≤a≤1), 우측 음성 출력 장치(32a)에서는 객체(OB)에 대한 녹음 음성이 최대 출력으로 출력되나 좌측 음성 출력 장치(32b)에서는 객체(OB)에 대한 녹음 음성이 최소 출력으로 출력될 수 있다. 반대로, 객체(OB)가 가상의 공간(VS)에서 최좌측에 배치되어 객체(OB)의 3차원 좌표(OP)인 (Ox, Oy, Oz)가 (-1, a, a)로 정의되는 경우, 우측 음성 출력 장치(32a)에서는 객체(OB)에 대한 녹음 음성이 최소 출력으로 출력되나 좌측 음성 출력 장치(32b)에서는 객체(OB)에 대한 녹음 음성이 최대로 출력될 수 있다. 여기서, 최소 출력은 음소거일 수도 있고, 0보다는 크지만 매우 작은 소정의 값일 수도 있으나, 이하에서는 설명의 편의상 최소 출력이 음소거인 것으로 설명한다.

또한, 객체(OB)의 3차원 좌표(Ox, Oy, Oz)가 (b, a, a)로 정의되는 경우(-1<b<1), 객체(OB)의 x축 좌표에 따라 상대적으로 우측 음성 출력 장치(32a) 및 좌측 음성 출력 장치(32b)에서의 객체(OB)에 대한 녹음 음성의 출력값이 결정될 수 있다. 예를 들어, b=0.5인 경우, x축 상에서 객체(OB)와 최우측 지점 사이의 거리가 0.5이고, 객체(OB)와 최좌측 지점 사이의 거리가 1.5이므로, 객체(OB)에 대한 녹음 음성의 음량(volume) 중 75%가 우측 음성 출력 장치(32a)로 출력되고, 25%가 좌측 음성 출력 장치(32b)로 출력될 수 있다. 다만, 최소 출력이 0이 아닌 임의의 값인 경우, 최대 출력과 최소 출력간의 값의 차이를 고려하여 객체(OB)에 대한 녹음 음성의 음량에 대한 %비율이 결정될 수도 있다. 상술한 바와 동일한 원리로 객체(OB)의 y축 좌표에 따라 상대적으로 상측 음성 출력 장치(32c) 및 하측 음성 출력 장치(32d)에서의 객체(OB)에 대한 녹음 음성의 출력값이 결정될 수 있고, 객체(OB)의 z축 좌표에 따라 상대적으로 전측 음성 출력 장치(32e) 및 후측 음성 출력 장치(32f)에서의 객체(OB)에 대한 녹음 음성의 출력값이 결정될 수 있다. 객체(OB)의 3차원 좌표(OP)인 (Ox, Oy, Oz) 따른 복수의 음성 출력 부(132)에 대응하는 복수의 음성 출력 장치(32a 내지 32f)의 출력 값은 다음과 같이 정의될 수 있다.

[수학식 1]

우측 음성 출력 장치(32a)의 객체(OB)에 대한 녹음 음성 출력 = 녹음 음성의 음량*(1 + Ox)/2

[수학식 2]

좌측 음성 출력 장치(32b)의 객체(OB)에 대한 녹음 음성 출력 = 녹음 음성의 음량*(1 - Ox)/2

[수학식 3]

상측 음성 출력 장치(32c)의 객체(OB)에 대한 녹음 음성 출력 = 녹음 음성의 음량*(1 + Oy)/2

[수학식 4]

하측 음성 출력 장치(32d)의 객체(OB)에 대한 녹음 음성 출력 = 녹음 음성의 음량*(1 - Oy)/2

[수학식 5]

전측 음성 출력 장치(32e)의 객체(OB)에 대한 녹음 음성 출력 = 녹음 음성의 음량*(1 + Oz)/2

[수학식 6]

후측 음성 출력 장치(32f)의 객체(OB)에 대한 녹음 음성 출력 = 녹음 음성의 음량*(1 - Oz)/2

다만, 상술한 예시는 도 6b에 도시된 바와 같이 6개의 음성 출력부(132)가 가상의 공간(VS)에 정의된 경우이며, 음성 출력부(132)의 개수 및 음성 출력부(132)에 대응하는 음성 출력 장치(32a 내지 32f)의 위치가 변경되면, 각각의 위치 및 대칭 관계를 고려하여 녹음 음성 출력 값은 상이하게 정의될 수 있다. 또한, 상술한 예시는 6개의 음성 출력부(132)를 사용하는 경우에서도 하나의 예시일 뿐이며, 다른 방식이 사용될 수도 있다. 예를 들어, 우측 음성 출력 장치(32a)의 객체(OB)에 대한 녹음 음성 출력과 좌측 음성 출력 장치(32b)의 객체(OB)에 대한 녹음 음성 출력의 합, 상측 음성 출력 장치(32c)의 객체(OB)에 대한 녹음 음성 출력과 하측 음성 출력 장치(132d)의 객체(OB)에 대한 녹음 음성 출력의 합 및 전측 음성 출력 장치(32e)의 객체(OB)에 대한 녹음 음성 출력과 후측 음성 출력 장치(32f)의 객체(OB)에 대한 녹음 음성 출력의 합은 항상 동일하며, 모든 음성 출력부(132)의 객체(OB)에 대한 녹음 음성 출력의 합이 녹음 음성의 총 음량인 것으로 정의될 수도 있다.

상술한 바와 같은 내용에 기초하여, 객체(OB)에 대한 녹음 음성 출력 값을 설명하면, 객체(OB)의 3차원 좌표(Ox, Oy, Oz)가 (0.5, 0, 0.5)이므로, 우측 음성 출력 장치(32a)는 객체(OB)에 대한 녹음 음성의 음량 중 75%, 좌측 음성 출력부(32b)는 객체(OB)에 대한 녹음 음성의 음량 중 25%, 상측 음성 출력 장치(32c)는 객체(OB)에 대한 녹음 음성의 음량 중 50%, 하측 음성 출력 장치(32d)는 객체(OB)에 대한 녹음 음성의 음량 중 50%, 전측 음성 출력 장치(32e)는 객체(OB)에 대한 녹음 음성의 음량 중 75%, 후측 음성 출력 장치(32f)는 객체(OB)에 대한 녹음 음성의 음량 중 25%를 출력할 수 있다. 또한, 자료 영상(DV1, DV2)에 대한 음성 출력 또한 동일한 원리로 조절될 수 있다.

몇몇 실시예에서, 자료 영상(DV1, DV2)에 대한 방송 음성 출력은 자료 영상(DV1, DV2)의 3차원 좌표(DP1, DP2)와 무관하게 처리될 수도 있다. 예를 들어, 도 5에 도시된 방송 영상(BV)에서 객체(OB)는 아나운서이고, 자료 영상(DV1, DV2)은 아나운서가 전달하는 뉴스를 설명하기 위한 특정 영상일 수도 있다. 이 경우, 아나운서의 멘트가 시청자에게 전달되어야 하는데, 자료 영상(DV1, DV2)의 음성이 출력되는 경우, 시청자가 아나운서의 멘트를 전달받는데 어려움이 있을 수도 있고, 아나운서의 멘트를 이해하는데 도움이 될 수도 있다. 이에, 본 발명의 일 실시예에 따른 객체 위치 변화를 벡터로 변환하여 영상 및 음향 신호를 동기화한 가상스튜디오 방송 편집 및 송출 기기(100)에서는 방송 영상(BV)의 컨텐츠에 기초하여, 즉, 객체(OB)에 대한 녹음 음성과 자료 영상(DV)의 음성 간의 관계 및/또는 촬영 영상과 자료 영상(DV) 간의 관계에 기초하여, 자료 영상(DV)의 음성을 자료 영상(DV)의 3차원 좌표(DP)와 무관하게 음소거시킬 수도 있고, 3차원 좌표(DP)에 기초하여 복수의 음성 출력부(132)로 출력할 수도 있다.

또한, 몇몇 실시예에서, 자료 영상(DV)의 3차원 좌표 중 z축 좌표 값에 기초하여 자료 영상(DV)에 대한 음성의 음소거 여부를 결정할 수 있다. 예를 들어, 자료 영상(DV)의 3차원 좌표(DP) 중 z축 좌표 값이 임계값 이상인 경우에는 방송 영상(BV)을 편집하는 자의 의도가 자료 영상(DV)의 음성을 시청자에게 전달하는 것일 수 있으므로, 자료 영상(DV)의 3차원 좌표(DP)에 기초하여 자료 영상(DV)의 음성이 복수의 음성 출력부(132)로 출력될 수 있다. 다만, 자료 영상(DV)의 3차원 좌표 중 z축 좌표 값이 임계값 미만인 경우에는, 자료 영상(DV)이 가상의 공간(VS)에서 매우 후측에 위치하고, 자료 영상(DV)의 크기도 매우 작을 것이므로, 방송 영상(BV)을 편집하는 자의 의도가 자료 영상(DV)의 음성을 시청자에게 전달하지 않는 것일 수 있다. 이에, 해당 경우에는 자료 영상(DV)의 음성이 음소거 처리될 수도 있다.

이어서, 방송 편집 과정 중에 촬영 영상, 촬영 영상에서의 객체(OB) 및 자료 영상(DV)이 이동하거나, 화면이 전환되는 경우, 촬영 영상, 촬영 영상에서의 객체(OB) 및 자료 영상(DV)에 부여된 3차원 좌표는 계속해서 변화할 수 있다.

이에, 방송 음성 편집부(122)는 촬영 영상의 이동, 촬영 영상에서의 객체(OB)의 이동 및 자료 영상(DV)의 이동을 나타내는 3차원 좌표의 변화, 즉, 3차원 벡터에 기초하여 방송 음성을 실시간으로 편집한다(S230).

방송 음성 편집부(122)는 가상의 공간(VS)에서, 촬영 영상, 촬영 영상에서의 객체(OB) 또는 자료 영상(DV)이 가상의 공간(VS)에서 x축을 따라 이동하면, 복수의 음성 출력부(132) 중 좌우 출력에 대응하는 음성 출력부(132)의 출력을 실시간으로 조절하고, 촬영 영상, 촬영 영상에서의 객체(OB) 또는 자료 영상(DV)이 가상의 공간(VS)에서 y축을 따라 이동하면, 복수의 음성 출력부(132) 중 상하 출력에 대응하는 음성 출력부(132)의 출력을 실시간으로 조절하고, 촬영 영상, 촬영 영상에서의 객체(OB) 또는 자료 영상(DV)이 가상의 공간(VS)에서 z축을 따라 이동하면, 복수의 음성 출력부(132) 중 전후 출력에 대응하는 음성 출력부(132)의 출력을 실시간으로 조절하여, 방송 음성을 실시간으로 편집한다. 이하에서는, 도 6c를 참조하여, 객체(OB)의 이동을 예로 들어 제어부(120)의 방송 음성 편집부(122)가 객체(OB)의 이동에 따른 복수의 음성 출력부(132) 각각에 대한 방송 음성의 출력을 조절하는 과정을 설명하기로 한다.

도 6b에 도시된 바와 같이 (0.5, 0, 0.5)의 3차원 좌표(OP)인 (Ox, Oy, Oz)를 가진 객체(OB)가 도 6c에 도시된 바와 같이 (-0.5, 0, 0.5)의 3차원 좌표(OP')인 (Ox', Oy', Oz')를 갖는 위치로 이동한다면, 복수의 음성 출력부(132)로 출력되는 방송 음성의 음량 또한 달라질 수 있다. 객체(OB)의 3차원 좌표 중에서 x축 좌표 만이 0.5에서 -0.5로 변화한 상태이며, 이 경우 제어부(120)의 방송 음성 편집부(122)는 x축의 양 끝에 배치된 음성 출력부에 대응하는 우측 음성 출력 장치(32a) 및 좌측 음성 출력 장치(32b)의 출력을 조절할 수 있다. 이 때, 객체(OB)의 이동을 나타내는 3차원 벡터

)는 점 OP에서 점 OP' 사이의 방향 및 거리를 나타내는 것으로, 점 OP와 점 OP' 사이의 3차원 벡터

)는 점 OP'-점 OP로 (Ox'-Ox, Oy'-Oy, Oz'-Oz), 즉 (-1, 0, 0)이고, 녹음 음성을 녹음하는 마이크(12a)가 객체(OB)에 고정된 상태이므로, 우측 음성 출력 장치(32a)에서의 객체(OB)에 대한 녹음 음성의 출력은 녹음 음성의 음량의 50%가 감소하고, 좌측 음성 출력 장치(32b)에서의 객체(OB)에 대한 녹음 음성의 출력은 녹음 음성의 음량의 50%가 증가할 수 있다.

이러한 원리는 모든 음성 출력부(132)에 대응하는 음성 출력 장치(32)에 적용될 수 있고, 이를 수학식으로 정리하면 다음과 같다.

[수학식 7]

우측 음성 출력 장치(32a)의 객체(OB)에 대한 녹음 음성 출력의 변화량 = 녹음 음성의 음량*(Ox'-Ox)/2

[수학식 8]

좌측 음성 출력 장치(32b)의 객체(OB)에 대한 녹음 음성 출력의 변화량 = 녹음 음성의 음량*(Ox-Ox')/2

[수학식 9]

상측 음성 출력 장치(32c)의 객체(OB)에 대한 녹음 음성 출력의 변화량 = 녹음 음성의 음량*(Oy'-Oy)/2

[수학식 10]

하측 음성 출력 장치(32d)의 객체(OB)에 대한 녹음 음성 출력의 변화량 = 녹음 음성의 음량*(Oy-Oy')/2

[수학식 11]

전측 음성 출력 장치(32e)의 객체(OB)에 대한 녹음 음성 출력의 변화량 = 녹음 음성의 음량*(Oz'-Oz)/2

[수학식 12]

후측 음성 출력 장치(32f)의 객체(OB)에 대한 녹음 음성 출력의 변화량 = 녹음 음성의 음량*(Oz-Oz')/2

또한, 도 6c를 참조하여 본 발명의 일 실시예에 따른 객체 위치 변화를 벡터로 변환하여 영상 및 음향 신호를 동기화한 가상스튜디오 방송 편집 및 송출 기기(100)의 제어부(120)의 방송 음성 편집부(122)가 객체(OB)의 x축 이동에 따른 복수의 음성 출력부(132)의 출력을 조절하는 것을 설명하였으나, 객체(OB)만이 아니라 촬영 영상 또는 자료 영상(DV)이 x축, y축 및 z축을 따라 이동할 때 복수의 음성 출력부(132)의 출력이 조절되는 방식도 앞서 설명한 바와 동일할 수 있다.

다만, 상술한 예시는 도 6c에 도시된 바와 같이 6개의 음성 출력부(132)가 정의된 경우이며, 음성 출력부(132)의 개수 및 음성 출력부(132)에 대응하는 음성 출력 장치(32a 내지 32f)의 위치가 변경되면, 각각의 위치 및 대칭 관계를 고려하여 녹음 음성 출력의 변화량은 상이하게 정의될 수 있다. 또한, 상술한 예시는 6개의 음성 출력 장치(32a 내지 32f)를 사용하는 경우에서도 하나의 예시일 뿐이며, 다른 방식이 사용될 수도 있다. 예를 들어, 우측 음성 출력 장치(32a)의 객체(OB)에 대한 녹음 음성 출력과 좌측 음성 출력 장치(32b)의 객체(OB)에 대한 녹음 음성 출력의 합, 상측 음성 출력 장치(32c)의 객체(OB)에 대한 녹음 음성 출력과 하측 음성 출력 장치(32d)의 객체(OB)에 대한 녹음 음성 출력의 합 및 전측 음성 출력 장치(32e)의 객체(OB)에 대한 녹음 음성 출력과 후측 음성 출력 장치(32f)의 객체(OB)에 대한 녹음 음성 출력의 합은 항상 동일하며, 모든 음성 출력부(132)에 대응하는 모든 음성 출력 장치(32a 내지 32f)의 객체(OB)에 대한 녹음 음성 출력의 합이 녹음 음성의 총 음량인 것으로 정의될 수도 있다.

몇몇 실시예에서, 제어부(120)의 방송 음성 편집부(122)는 상술한 바와 같은 가변 가상 카메라와 촬영 영상, 촬영 영상에서의 객체(OB), 및 자료 영상(DV) 각각 간의 상대 좌표를 연산하고, 상대 좌표에 기초하여, 촬영 영상, 객체(OB) 및 자료 영상(DV) 각각에 대한 방송 음성을 실시간으로 편집할 수 있다. 예를 들어, 가변 가상 카메라의 3차원 좌표(Vx, Vy, Vz)와 객체(OB)의 3차원 좌표(Ox, Oy, Oz)의 상대 좌표(Vx-Ox, Vy-Oy, Vz-Oz)가 증감하는 경우, 매 프레임마다 상대 좌표의 증감에 기초하여 복수의 음성 출력부(132)에 대한 음성 출력을 실시간으로 조절할 수도 있다.

몇몇 실시예에서, 촬영 영상, 촬영 영상에서의 객체(OB) 또는 자료 영상(DV)이 가상의 공간(VS)을 벗어나도록 이동하는 경우, 각각에 대한 음성은 음소거시킬 수 있다. 예를 들어, 촬영 영상에서의 객체(OB)가 일 측으로 이동하여 가상의 공간(VS)을 벗어나는 경우, 방송 영상(BV)에서 객체(OB)가 보이지 않게 된다. 이 경우, 객체(OB)에 대한 음성을 재생할 필요가 없으므로, 객체(OB)에 대한 음성을 음소거할 수 있다.

몇몇 실시예에서, 제어부(120)의 방송 음성 편집부(122)는 각각의 음성 출력부(132)의 음량이 조절되는 속도를 객체(OB)의 이동 속도와 동일하도록 조절할 수 있다. 여기서, 객체(OB)의 이동 속도는 매 프레임마다 객체(OB)의 이동을 나타내는 3차원 벡터를 계산하는 방식으로 계산될 수 있고, 매 프레임 마다 음성 출력부(132)의 음량을 조절하는 방식으로 음성 출력부(132)의 음량이 조절되는 속도를 객체(OB)의 이동 속도와 동일하도록 조절할 수 있다.

이어서, 영상 출력부(131)는 방송 영상(BV)을 영상 출력 장치로 출력하고, 복수의 음성 출력부(132)는 방송 음성을 복수의 음성 출력 장치(32a 내지 32f)로 출력한다(S300).

본 발명의 일 실시예에 따른 객체 위치 변화를 벡터로 변환하여 영상 및 음향 신호를 동기화한 가상스튜디오 방송 편집 및 송출 기기(100)의 제어부(120)는 입력부(110)로부터 사용자의 선택을 입력 받아 주 화면(180)의 GUI 메뉴를 조작하여, 촬영 영상, 촬영 영상에서의 객체(OB) 및 자료 영상(DV)을 가상스튜디오에 합성하고, 각종 효과를 더 할 수 있다. 앞서 설명했던 GUI 메뉴의 각 메뉴들을 조작하여 자막(192), 화면전환, 배경음악 등의 각종 효과를 더하여 방송 영상(BV)으로 편집할 수 있다. 도 3b를 참조하면, 송출 화면(190)을 통해 실제로 편집이 완료되어 방송될 방송 영상(BV)을 확인할 수 있다. 송출 화면(190)에 나타나있듯이, 자막(192), 로고(191) 등이 실제로 적용된 것을 확인할 수 있다. 예를 들어, 주 화면(180)의 PIP 오브젝트 컨트롤(186)을 조작하여 도 3b에 도시된 로고(191)와 같은 이미지를 삽입할 수 도 있고, A/V 프리셋 컨트롤(185)을 조작하여 자막(192)을 삽입할 수도 있다.

이어서, 제어부(120)에서 편집이 완료된 방송 영상(BV) 및 방송 음성을 출력부(130)의 영상 출력부(131) 및 복수의 음성 출력부(132) 통해 TV, 모니터, 전광판, 스피커(32) 등의 다양한 외부 출력 장치로 출력할 수도 있고, 메모리(150)에 저장할 수도 있다.

종래의 방송 편집 및 송출 방법에 있어서, 각 영상에 따라 음성이 자동으로 조절되는 것이 아니고, 영상에 대응하는 음성이 출력되도록 별도의 편집 과정이 필요했고, 이를 위한 비용과 시간 및 추가 인력까지 필요했다. 또한, 영상의 이동이나 화면 전환 등의 타이밍에 맞춰 수동으로 음성 출력을 조절하는 과정에서 영상 및 음성의 재생 타이밍이 부정확한 문제점이 있을 수 있다.

이에, 본 발명의 일 실시예에 따른 객체 위치 변화를 벡터로 변환하여 영상 및 음향 신호를 동기화한 가상스튜디오 방송 편집 및 송출 기기(100) 및 이를 이용한 방송 편집 및 송출 방법에서는 촬영된 촬영 영상에서의 객체(OB)의 위치 또는 이동에 따라, 객체(OB)에 대응하는 음성을 실시간으로 그리고 자동으로 조절하므로, 인력, 시간 및 비용을 줄일 수 있다. 또한, 본 발명의 일 실시예에 따른 객체 위치 변화를 벡터로 변환하여 영상 및 음향 신호를 동기화한 가상스튜디오 방송 편집 및 송출 기기(100) 및 이를 이용한 방송 편집 및 송출 방법에서는 실시간으로 촬영된 촬영 영상에서의 객체(OB)의 위치 또는 이동에 따라, 방송 음성 편집부(122)가 실시간으로 그리고 자동으로 방송 음성을 편집하므로, 수동으로 사람이 직접 방송 음성을 편집하는 경우 보다 정확하게 방송 음성 편집이 가능하다. 즉, 본 발명의 일 실시예에 따른 객체 위치 변화를 벡터로 변환하여 영상 및 음향 신호를 동기화한 가상스튜디오 방송 편집 및 송출 기기(100) 및 이를 이용한 방송 편집 및 송출 방법에서는 방송 영상(BV)에 따른 방송 음성을 따로 편집 또는 조절하지 않고, 방송 영상(BV)의 편집에 따라 방송 영상(BV)이 변화하는 것에 기초하여 방송 음성의 출력을 실시간으로 자동으로 조절할 수 있으므로, 종래의 방송 영상 및 방송 음성을 수동으로 사람이 직접 편집하는 경우보다 방송 영상(BV) 및 방송 음성 편집을 위한 인력, 시간 및 비용을 절감할 수 있다. 따라서, 본 발명의 일 실시예에 따른 객체 위치 변화를 벡터로 변환하여 영상 및 음향 신호를 동기화한 가상스튜디오 방송 편집 및 송출 기기(100) 및 이를 이용한 방송 편집 및 송출 방법에서는 방송 영상(BV) 및 방송 음성 편집을 수행하는 방송 운영자에게 높은 자유도를 부여할 수 있고, 보다 신속하고 효율적으로 사용자가 손쉽게 방송 영상(BV) 및 방송 음성을 제작할 수 있다.

한편, 방송 영상 시청을 시청하는 시청자가 실제 현장에 있는 것처럼 생동감을 느낄 수 있도록 3D 영상 및 3D 음성을 사용한 방송을 제작하기도 한다. 3D로 음성을 출력하기 위해서는 객체나 영상의 정확한 이동 지점, 이동 속도 등에 맞춰 복수의 음성 출력부 각각에 대한 음성 출력을 조절해야 한다. 그러나, 실시간으로 영상 및 음성을 편집하여 방송 영상으로 제작하는 경우, 영상 또는 객체의 실제 이동 위치나 이동 속도 등을 정확하게 복수의 음성 출력부에 대한 각각의 음성 출력을 개별적으로 조절하여 입체감 있는 3D 음향으로 편집하는 것이 어려운 문제점이 있다. 특히, 상술한 바와 같이, 영상의 이동이나 화면 전환 등의 타이밍에 맞춰 수동으로 음성 출력을 조절하는 과정에서 정확하게 3D 입체 음향을 구현하는 것은 어려움이 있다.

이에, 본 발명의 일 실시예에 따른 객체 위치 변화를 벡터로 변환하여 영상 및 음향 신호를 동기화한 가상스튜디오 방송 편집 및 송출 기기(100) 및 이를 이용한 방송 편집 및 송출 방법에서는 방송 영상(BV)을 3차원의 가상의 공간(VS)으로 맵핑하고, 방송 영상(BV)을 구성하는 촬영 영상, 촬영 영상에서의 객체(OB) 및 자료 영상(DV)에 3차원 좌표를 부여하고 복수의 음성 출력부(132) 각각에 대한 촬영 영상에 대응하는 녹음 음성, 객체(OB)에 대응하는 음성 및 자료 영상(DV)에 대응하는 음성의 출력을 실시간으로 자동 조절할 수 있다. 예를 들어, 제어부(120)의 방송 음성 편집부(122)가 객체(OB)의 음성에 대하여 복수의 음성 출력부(132)의 출력을 조절하는 경우, 객체(OB)와 가까운 지점의 음성 출력부(132)의 출력을 높이고, 객체(OB)와 먼 지점의 음성 출력부(132)의 출력은 낮추어 방송을 시청하는 시청자가 시청각적 입체감을 느끼도록 할 수 있다. 이처럼, 모든 방송 음성 출력을 조절하는 과정은 방송 영상(BV)에 따라 자동으로 조절되므로, 방송 영상(BV)에 따른 생동감 있는 3D 음성이 자동으로 출력되도록 할 수 있고, 사람이 수작업으로 방송 음성의 출력을 편집하는 경우에 비해 보다 정확하고 빠르게 음향 입체감을 전달할 수 있다.

한편, 영화 등과 같이 촬영된 영상과 녹음된 음성을 미리 편집하고, 편집이 완료된 영상과 음성을 시청자에게 단순히 재생하는 경우에는, 극장의 스피커 위치, 출력, 종류에 기초하여 영화 제작자가 각각의 스피커에 대한 출력을 사전에 직접 조작하여 저장하고, 저장된 음성에 대한 정보를 스피커로 전달하여 입체감 있는 음성이 출력될 수도 있다. 그러나, 영화 등과 같이 재생 이전에 사전에 영상 및 음성을 편집하는 경우에는 영화 상에서 객체가 어떠한 경로로 이동할지 예측이 되고, 예측되는 경로에 따라 객체에 대한 음향을 조절하기만 하면 되므로, 그에 따른 3D 음향의 편집도 용이하다. 그러나, 실시간 방송 편집 및 송출 시에는, 촬영 영상 내에 위치하는 객체가 어느 방향으로 어느 위치로 이동하는지를 미리 예측할 수 없으며, 실시간으로 자료 영상 등을 예정에 없는 위치 및 방향으로 이동시켜야 하는 경우가 존재한다. 따라서, 영화 등과 같은 매체와는 상이하게 실시간으로 방송을 송출하는 경우 방송 영상에 대응하는 방송 음성을 객체의 이동이나 자료 영상의 이동에 대응하여 3D 음향으로 편집하는 것이 어려운 문제점이 있다.

이에, 본 발명의 일 실시예에 따른 객체 위치 변화를 벡터로 변환하여 영상 및 음향 신호를 동기화한 가상스튜디오 방송 편집 및 송출 기기(100)와 이를 이용한 방송 편집 및 송출 방법에서는 객체(OB)의 이동 방향 및 이동 속도, 즉 3차원 벡터를 검출하여 복수의 음성 출력부(132)에 대한 각각의 음성 출력을 자동으로 조절하여 입체감 있는 3D 음향을 출력할 수 있다. 앞서 설명했듯이, 제어부(120)의 방송 음성 편집부(122)는 촬영 영상의 이동, 촬영 영상에서의 객체(OB)의 이동 및 자료 영상(DV)의 이동을 나타내는 3차원 벡터에 기초하여 촬영 영상, 촬영 영상에서의 객체(OB) 및 자료 영상(DV)이 이동하더라도 복수의 음성 출력부(132)의 출력을 조절하여 시청자가 생동감을 느끼도록 할 수 있다. 객체(OB)의 이동 방향 및 이동 속도가 예측되지 않는 돌발 상황이라도 제어부(120)가 객체(OB)의 이동 방향 및 이동 속도를 자동으로 검출하고 복수의 음성 출력부(132) 각각에 대한 방송 음성 출력을 조절하여 시청자로부터 방송 영상(BV)을 시청하며 시청각적 입체감을 느낄 수 있게 한다.

도 7은 본 발명의 다른 실시예에 따른 객체 위치 변화를 벡터로 변환하여 영상 및 음향 신호를 동기화한 가상스튜디오 방송 편집 및 송출 기기와 이를 이용한 방송 편집 및 송출 방법에서 촬영 장소에서 복수의 위치에 고정된 복수의 음성 입력 장치로부터 녹음 음성을 녹음하는 경우를 설명하기 위한 개략도이다. 도 7에서는 도 5에서 설명된 음성 입력 장치(12) 중 복수의 음성 입력 장치(12b)가 고정된 위치에 배치되는 경우를 가정하였다.

도 7을 참조하면, 본 발명의 다른 실시예에 따른 객체 위치 변화를 벡터로 변환하여 영상 및 음향 신호를 동기화한 가상스튜디오 방송 편집 및 송출 기기(100)의 입력부(110)의 음성 입력부는 촬영 영상이 촬영되는 촬영 장소에서 복수의 위치에 고정된 복수의 음성 입력 장치(12b)로부터 복수의 녹음 음성을 실시간으로 수신한다.

제어부(120)의 방송 영상 편집부(121)는 복수의 음성 입력 장치(12b1 내지 12b8)에 대해 가상의 공간(VS)에서의 3차원 좌표를 부여한다. 예를 들어, 도 7에서는 복수의 음성 입력 장치(12b1 내지 12b8)로 마이크(12)가 사용되는 것으로 가정하였고, 가상의 공간(VS)의 각 꼭지점에 복수의 음성 입력 장치가 배치되는 것을 가정하였다. 이에, 제1 음성 입력 장치(12b1)는 (-1, -1, 1), 제2 음성 입력 장치(12b2)는 (-1, -1, -1), 제3 음성 입력 장치(12b3)는 (1, -1, -1), 제4 음성 입력 장치는 (1, -1, 1), 제5 음성 입력 장치는 (-1, 1, 1), 제6 음성 입력 장치는 (-1, 1, -1), 제7 음성 입력 장치는 (1, 1, -1), 제 8 음성 입력 장치는 (1, 1, 1)의 3차원 좌표를 갖는 것으로 가정하였다. 도 7에 도시된 복수의 음성 입력 장치(12b1 내지 12b8)의 개수 및 복수의 음성 입력 장치(12b1 내지 12b8)가 고정되는 복수의 위치는 설명의 편의를 위한 것으로 복수의 음성 입력 장치(12b1 내지 12b8)의 개수 및 고정되는 위치는 이에 제한되지 않는다.

방송 영상 편집부(121)는 복수의 음성 입력 장치(12b1 내지 12b8)로부터 수신된 복수의 녹음 음성의 실시간 변화에 기초하여 가상의 공간(VS)에서 객체(OB)의 3차원 좌표를 검출할 수 있다. 구체적으로, 입력부(110)의 음성 입력부는 촬영 장소에서 복수의 위치에 고정된 복수의 음성 입력 장치(12b1 내지 12b8)로부터 객체(OB)에 대응하는 복수의 녹음 음성을 실시간으로 수신할 수 있다. 그리고, 제어부(120)의 방송 영상 편집부(121)는 각 음성 입력 장치(12b)에 수신되는 객체(OB)의 녹음 음성의 음량을 통해 객체(OB)의 3차원 좌표를 검출할 수 있다. 예를 들어, 복수의 음성 입력 장치(12b1 내지 12b8)에 수신된 복수의 녹음 음성의 크기가 모두 동일하면, 객체(OB)와 복수의 음성 입력 장치(12b1 내지 12b8) 각각의 거리가 모두 객체(OB)가 동일한 것으로, 객체(OB)의 3차원 좌표가 원점(O)임을 검출할 수 있다. 이처럼, 복수의 음성 입력 장치(12b1 내지 12b8) 각각에 수신된 객체(OB)의 녹음 음성의 크기를 비교하여, 객체(OB)가 가까이 있을수록 녹음 음성의 크기가 크고, 객체(OB)가 멀리 있을수록 녹음 음성의 크기가 작은 점을 이용하여, 각각의 음성 입력 장치(12b)에 수신된 녹음 음성 크기에 기초하여 객체(OB)의 3차원 좌표를 검출할 수 있다. 이때, 제어부(120)는 실시간으로 녹음되는 복수의 녹음 음성의 크기에 기초하여 객체(OB)의 3차원 위치를 직접 계산할 수도 있다. 또한, 메모리(150)에 객체(OB)의 특정 위치에 따른 복수의 음성 입력 장치(12b1 내지 12b8) 각각에 수신되는 객체(OB)의 녹음 음성의 크기 또는 비율을 룩업테이블 형태로 미리 저장해두고, 제어부(120)는 복수의 음성 입력 장치(12b1 내지 12b8)에 수신되는 녹음 음성에 기초하여 룩업테이블을 검색하여 객체(OB)의 3차원 좌표를 검출할 수도 있다. 다만, 이에 제한되지 않고, 객체(OB)의 3차원 좌표는 다른 방식으로 검출될 수도 있다.

도 7을 참조하면, 제어부(120)의 방송 영상 편집부(121)는 제1 음성 입력 장치(12b1) 내지 제8 음성 입력 장치(12b8)에 수신되는 객체(OB)의 녹음 음성에 기초하여 객체(OB)의 3차원 좌표를 검출할 수 있다. 객체(OB)의 초기 위치(OP)에 따르면, 제4 음성 입력 장치(12b4) 및 제8 음성 입력 장치(12b8)에 수신된 녹음 음성의 크기는 동일하고, 복수의 음성 입력 장치(12b1 내지 12b8) 중 수신된 녹음 음성의 크기가 제일 클 수 있다. 그리고, 제1 음성 입력 장치(12b1), 제3 음성 입력 장치(12b3), 제5 음성 입력 장치(12b5) 및 제7 음성 입력 장치(12b7)에 수신된 녹음 음성의 크기는 동일하고, 제4 음성 입력 장치(12b4) 및 제8 음성 입력 장치(12b8)에 수신된 녹음 음성의 크기보다는 작을 수 있다. 그리고, 제2 음성 입력 장치(12b2) 및 제6 음성 입력 장치(12b6)에 수신된 녹음 음성의 크기는 동일하고, 나머지 복수의 음성 입력 장치(12b1 내지 12b8)에 수신된 녹음 음성의 크기 중 제일 작을 수 있다. 이때, 객체(OB)의 x축 좌표는 x축의 양측에 대칭되도록 배치되어 있는 제5 음성 입력 장치(12b5)와 제8 음성 입력 장치(12b8), 제6 음성 입력 장치(12b6)와 제7 음성 입력장치(12b7), 제1 음성 입력 장치(12b1)와 제4 음성 입력 장치(12b4) 또는 제2 음성 입력 장치(12b2)와 제3 음성 입력 장치(12b3)에 수신된 녹음 음성의 크기의 비율로부터 객체(OB)의 x축 좌표를 검출할 수 있다. 객체(OB)의 y축 좌표 및 z축 좌표 또한 상술한 바와 같이 각 좌표 축의 양측에 대칭되도록 배치된 음성 입력 장치(12b)에 수신된 녹음 음성의 크기의 비율을 계산하는 방식으로 초기 위치에서의 객체(OB)의 3차원 좌표(OP)를 검출할 수 있다.

한편, 가상의 공간(VS)에서 객체(OB)가 이동하는 경우, 제어부(120)의 방송 영상 편집부(121)가 객체(OB)의 이동에 따른 3차원 좌표의 변화를 나타내는 3차원 벡터를 검출할 수 있다. 도 7을 참조하면, 방송 영상 편집부(121)는 객체(OB)의 이동 위치를 먼저 검출할 수 있다. 즉, 객체(OB)가 초기 위치에서 x축에 평행하게, x축 좌표가 감소하는 방향으로 이동하였으므로, 방송 영상 편집부(121)는 객체(OB)의 이동 위치의 좌표(OP')를 검출할 수 있다. 이때, 객체(OB)의 이동 3차원 좌표(OP')를 검출하는 과정은 앞서 설명한 초기 위치에서의 객체(OB)의 3차원 좌표(OP)를 검출하는 과정과 실질적으로 동일하므로 중복 설명을 생략한다. 제어부(120)의 방송 영상 편집부(121)는 객체(OB)의 이동 3차원 좌표(OP')를 검출하면 객체(OB)의 초기 3차원 좌표(OP)와 비교하여 객체(OB)의 이동을 나타내는 3차원 벡터

를 검출할 수 있다.

제어부(120)의 방송 영상 편집부(121)가 가상의 공간(VS)에서 객체(OB)의 이동에 따른 3차원 좌표의 변화를 나타내는 3차원 벡터

를 검출하면, 제어부(120)의 방송 음성 편집부(122)는 객체(OB)의 이동에 따른 가상의 공간(VS)에서 객체(OB)의 3차원 좌표의 변화, 즉 3차원 벡터

에 기초하여 녹음 음성을 복수의 음성 출력부(132) 각각으로 출력할 수 있다. 이는 앞서 도 6c를 참조하여 설명한 제어부(120)의 방송 음성 편집부(122)가 객체(OB)의 이동에 따른 복수의 음성 출력부(132) 각각에 대한 방송 음성의 출력을 조절하는 과정을 실질적으로 동일하므로 중복 설명을 생략한다.

본 발명의 다른 실시예에 따른 객체 위치 변화를 벡터로 변환하여 영상 및 음향 신호를 동기화한 가상스튜디오 방송 편집 및 송출 기기(100)와 이를 이용한 방송 편집 및 송출 방법에서 제어부(120)는 촬영 장소에서 복수의 위치에 고정된 복수의 음성 입력 장치(12b1 내지 12b8)에 수신된 객체(OB)의 음성의 크기에 기초하여 가상의 공간(VS)에서 객체(OB)의 3차원 좌표(OP) 및 객체(OB)의 이동에 따른 3차원 좌표의 변화를 검출하고, 객체(OB)의 3차원 좌표(OP)의 변화에 기초하여 복수의 음성 출력부(132) 각각에 대한 방송 음성을 실시간으로 조절할 수 있다. 따라서, 본 발명의 다른 실시예에 따른 객체 위치 변화를 벡터로 변환하여 영상 및 음향 신호를 동기화한 가상스튜디오 방송 편집 및 송출 기기(100) 및 이를 이용한 방송 편집 및 송출 방법에서는 객체(OB)의 이동이 예측 불가능한 상황이라도 복수의 음성 입력 장치(12b1 내지 12b8)에 수신된 객체(OB)의 녹음 음성의 크기를 이용해서 객체(OB)의 정확한 3차원 좌표(OP) 및 객체(OB)의 이동에 대한 3차원 벡터를 검출할 수 있어, 객체(OB)의 이동에 따른 생동감 있는 3D 음성이 자동으로 실시간 출력되도록 할 수 있다.

도 8a는 본 발명의 또 다른 실시예에 따른 객체 위치 변화를 벡터로 변환하여 영상 및 음향 신호를 동기화한 가상스튜디오 방송 편집 및 송출 기기와 이를 이용한 방송 편집 및 송출 방법에서 제어부가, 촬영 영상 및 자료 영상을 가상스튜디오에 합성하여 편집한 방송 영상의 한 장면이다. 도 8b는 도 8a의 방송 영상을 3차원의 가상의 공간으로 맵핑한 모습을 도시한 도면이다. 도 8c는 도 8a의 방송 영상에서 자료 영상이 이동한 모습을 도시한 도면이다. 도 8d는 도 8c의 방송 영상을 3차원의 가상의 공간으로 맵핑한 모습을 도시한 도면이다.

먼저 도 8a 및 도 8b를 참조하면, 본 발명의 또 다른 실시예에 따른 객체 위치 변화를 벡터로 변환하여 영상 및 음향 신호를 동기화한 가상스튜디오 방송 편집 및 송출 기기(100)의 제어부(120)의 방송 음성 편집부(122)는 방송 영상(BV)을 맵핑한 가상의 공간(VS)에서 촬영 영상 또는 자료 영상(DV)의 3차원 좌표에 기초하여 복수의 음성 출력부(132) 각각에 대한 방송 음성을 조절할 수 있다.

도 8a를 참조하면, 방송 영상(BV)은 촬영 영상에서의 객체(OB)와 자료 영상(DV)으로 구성되어 있으며, 도 8b를 참조하면, 도 8a의 방송 영상(BV)을 3차원의 가상의 공간(VS)에 맵핑 하였을 때, 촬영 영상에서의 객체(OB)와 자료 영상(DV)의 위치가 3차원 좌표로 표현될 수 있다. 도 8b에서는, 촬영 영상에서의 객체(OB)의 3차원 좌표(OP)는 (Ox, Oy, Oz)이고, 자료 영상(DV)의 초기 3차원 좌표(DP)는 (Dx, Dy, Dz)인 것으로 가정하였다. 도 8c를 참조하면, 도 8a의 방송 영상(BV)에서 자료 영상(DV)이 뒤로 이동하였고, 도 8d를 참조하면, 도 8c의 방송 영상(BV)을 3차원의 가상의 공간(VS)에 맵핑하였을 때, 촬영 영상에서의 객체(OB)와 자료 영상(DV)의 위치가 3차원 좌표로 표현될 수 있다. 한편, 도 8c에서는 자료 영상(DV)이 뒤로 가는 것, 다시 말해서 z축과 평행을 유지하며 z축 좌표가 감소하는 방향으로 이동하는 것을 가정하였다.

도 8a 내지 도 8d를 참조하면, 객체(OB)는 이동하지 않고 고정되므로, 객체(OB)의 3차원 좌표(OP) 또한 (Ox, Oy, Oz)로 동일할 수 있고, 자료 영상(DV)은 객체(OB)와 멀어지는 방향으로 이동하였으므로, 자료 영상(DV)의 3차원 좌표(DP, DP') 또한 (Dx, Dy, Dz)에서 (Dx', Dy', Dz')으로 변화한 것을 검출할 수 있다. 제어부(120)의 방송 음성 편집부(122)는 자료 영상(DV)의 이동에 따른 가상의 공간(VS)에서 자료 영상(DV)의 3차원 좌표(DP)와 3차원 벡터에 기초하여 자료 영상(DV)에 대응하는 음성을 복수의 음성 출력부(132) 각각으로 출력할 수 있다. 이는 앞서 도 6c를 참조하여 설명한 제어부(120)의 방송 음성 편집부(122)가 객체(OB)의 이동에 따른 복수의 음성 출력부(132) 각각에 대한 방송 음성의 출력을 조절하는 과정을 실질적으로 동일하므로 중복 설명을 생략한다.

한편, 앞서 설명했듯이 몇몇 실시예에서, 자료 영상(DV)의 3차원 좌표(DP) 중 z축 좌표 값에 기초하여 자료 영상(DV)에 대한 음소거 여부를 결정할 수 있다. 자료 영상(DV)의 3차원 좌표(DP) 중 z축 좌표 값이 임계값 미만인 경우, 자료 영상(DV)이 가상의 공간(VS) 후측에 위치하고, 자료 영상(DV)의 크기 또한 매우 작으므로, 자료 영상(DV)에 대응하는 음성을 시청자에게 전달하지 않도록 음소거될 수 있다. 그렇기 때문에, 도 8a 내지 도 8d에 도시된 바와 같이, 자료 영상(DV)이 z축을 따라 z축 좌표가 감소하는 방향으로 이동하여 특정 z축 좌표 값보다 자료 영상(DV)의 z축 좌표 값이 작아지게 되면, 자료 영상(DV)에 대응하는 음성이 출력되지 않고 음소거될 수 있다.

본 발명의 또 다른 실시예에 따른 객체 위치 변화를 벡터로 변환하여 영상 및 음향 신호를 동기화한 가상스튜디오 방송 편집 및 송출 기기(100)와 이를 이용한 방송 편집 및 송출 방법에서 제어부(120)는, 방송 영상(BV)에서의 자료 영상(DV)이 이동하는 경우, 가상의 공간(VS)에서 자료 영상(DV)의 3차원 좌표(DP)와 3차원 좌표의 변화, 즉 3차원 벡터를 검출하고, 제어부(120)의 방송 음성 편집부(122)는 자료 영상(DV)의 3차원 좌표의 변화에 기초하여 복수의 음성 출력부(132) 각각에 대한 방송 음성을 실시간으로 조절할 수 있다.

한편, 상술한 바와 같이 제어부(120)가 방송 영상(BV)에서 자료 영상(DV)이 이동하는 경우에 방송 음성의 출력을 조절하는 것만이 아니라, 방송 영상(BV)에서 촬영 영상이 이동하는 경우에도 방송 음성을 실시간으로 조절할 수 있다. 먼저, 제어부(120)는 가상의 공간(VS)에서 촬영 영상의 3차원 좌표와 3차원 좌표의 변화를 검출하고, 촬영 영상의 3차원 좌표의 변화, 즉 3차원 벡터에 기초하여 복수의 음성 출력부(132) 각각에 대한 방송 음성을 실시간으로 조절할 수 있다. 따라서, 본 발명의 또 다른 실시예에 따른 객체 위치 변화를 벡터로 변환하여 영상 및 음향 신호를 동기화한 가상스튜디오 방송 편집 및 송출 기기(100) 및 이를 이용한 방송 편집 및 송출 방법에서는 방송 영상(BV)에서 촬영 영상 및 자료 영상(DV)의 이동에 따른 생동감 있는 3D 음성이 실시간으로 자동 출력되도록 할 수 있다.

도 9a는 도 3a의 로컬 뱅크 셀렉터에 대한 일 예시에 대한 개략도이다. 도 9b는 본 발명의 또 다른 실시예에 따른 객체 위치 변화를 벡터로 변환하여 영상 및 음향 신호를 동기화한 가상스튜디오 방송 편집 및 송출 기기와 이를 이용한 방송 편집 및 송출 방법에서 제1 로컬 뱅크를 선택하는 입력이 수신된 경우의 가상의 공간을 도시한 도면이다. 도 9c는 본 발명의 또 다른 실시예에 따른 객체 위치 변화를 벡터로 변환하여 영상 및 음향 신호를 동기화한 가상스튜디오 방송 편집 및 송출 기기와 이를 이용한 방송 편집 및 송출 방법에서 제1 로컬 뱅크가 선택된 상태에서 제2 로컬 뱅크를 선택하는 입력이 수신된 경우의 가상의 공간을 도시한 도면이다. 도 9d는 본 발명의 또 다른 실시예에 따른 객체 위치 변화를 벡터로 변환하여 영상 및 음향 신호를 동기화한 가상스튜디오 방송 편집 및 송출 기기와 이를 이용한 방송 편집 및 송출 방법에서 제1 로컬 뱅크가 선택된 상태에서 제3 로컬 뱅크를 선택하는 입력이 수신된 경우의 가상의 공간을 도시한 도면이다. 도 9a에서는 설명의 편의를 위해 3개의 로컬 뱅크(LB)만을 도시하였다. 도 9b는 도 5에 도시된 제1 카메라(C1)를 통해 촬영된 촬영 영상에 대한 가상의 공간(VS)을 도시하였고, 도 9c는 도 5에 도시된 제2 카메라(C2)를 통해 촬영된 촬영 영상에 대한 가상의 공간(VS')을 도시하였으며, 도 9c는 도 5에 도시된 제3 카메라(C3)를 통해 촬영된 촬영 영상에 대한 가상의 공간(VS'')을 도시하였다.

먼저 도 9a를 참조하면, 본 발명의 또 다른 실시예에 따른 객체 위치 변화를 벡터로 변환하여 영상 및 음향 신호를 동기화한 가상스튜디오 방송 편집 및 송출 기기(100)의 메모리(150)는 가상스튜디오 내에서의 3D 뷰 설정인 복수의 로컬 뱅크(LB)를 저장할 수 있다. 여기서, 로컬 뱅크(LB)는 가상스튜디오에 대응하는 방송 영상(BV)에서의 가상의 공간(VS)에서 방송 영상(BV)으로 출력될 촬영 영상 및 자료 영상(DV)의 위치를 저장하는 일종의 프리셋이다. 객체 위치 변화를 벡터로 변환하여 영상 및 음향 신호를 동기화한 가상스튜디오 방송 편집 및 송출 기기(100)는 사용자의 입력에 의해 하나의 로컬 뱅크(LB)를 구성하는 촬영 영상 및 자료 영상(DV)의 위치를 입력받을 수 있고, 메모리(150)는 입력된 정보에 기초하여 로컬 뱅크(LB)를 저장할 수 있다.

이후, 복수의 로컬 뱅크(LB) 중 특정 로컬 뱅크(LB)를 선택하는 입력이 수신되면, 방송 음성 편집부(122)는 특정 로컬 뱅크(LB)로 방송 영상(BV)을 전환한다. 예를 들어, 최초 설정된 로컬 뱅크(LB)에서 특정 로컬 뱅크(LB)로 전환하는 과정에서 객체(OB)가 이동하거나 촬영 영상 또는 자료 영상(DV)이 이동하는 경우, 객체(OB), 촬영 영상 또는 자료 영상(DV)이 직선 운동 또는 회전 운동하는 방식 또는 가상의 공간(VS)의 x축, y축 또는 z축이 회전 운동하는 방식으로 특정 로컬 뱅크(LB)로 방송 영상(BV)이 전환될 수 있다.

이후, 방송 영상(BV)이 특정 로컬 뱅크(LB)로 전환함에 따라 발생하는 촬영 영상의 3차원 좌표의 변화 및 자료 영상(DV)의 3차원 좌표의 변화에 기초하여 복수의 음성 출력부(132) 각각에 대한 방송 음성을 실시간으로 조절할 수 있다.

이는 앞서 도 6c를 참조하여 설명한 제어부(120)의 방송 음성 편집부(122)가 객체(OB)의 이동에 따른 복수의 음성 출력부(132) 각각에 대한 방송 음성의 출력을 조절하는 과정을 실질적으로 동일하므로 중복 설명을 생략한다.

먼저, 도 9a를 참조하면, 객체(OB)의 정면에 위치한 제1 로컬 뱅크(LB1)를 선택하는 입력이 수신되면, 방송 영상(BV)에 대해 도 9b와 같은 가상의 공간(VS)이 맵핑될 수 있다. 제1 로컬 뱅크(LB1)는 객체(OB)를 정면에서 바라보는 시점으로, 도 5에서 객체(OB)를 정면에서 촬영하는 제1 카메라(C1)와 같은 시점이라 할 수 있다. 이‹š, 객체(OB)의 초기 3차원 좌표(OP)는 (Ox, Oy, Oz)으로 가정할 수 있다.

이후, 제1 로컬 뱅크(LB1)에서 제2 로컬 뱅크(LB2)로 방송 영상(BV)을 전환하는 입력이 수신되면, 방송 영상(BV)에 대해 도 9c와 같은 가상의 공간(VS')이 맵핑될 수 있다. 제2 로컬 뱅크(LB2)는 제2 카메라(C2)를 통해 촬영된 영상이므로, 도 5에서 객체(OB)를 우측 대각선의 45도 방향에서 촬영하는 카메라(C2)의 시점이다. 제1 로컬 뱅크(LB1)에서 제2 로컬 뱅크(LB2)로 전환되면, 예를 들어, 가상의 공간(VS)의 z축 및 x축이 y축을 기준으로 반시계 방향으로 45도 회전하는 것으로 정의할 수도 있다. 또는 제1 로컬 뱅크(LB1)에서 제2 로컬 뱅크(LB2)로 전환되면, 객체(OB)가 가상의 공간(VS)에서 시계 방향으로 45도만큼 y축을 중심으로 회전하는 것으로 정의할 수도 있다.

z축 및 x축이 회전함에 따라 제1 로컬 뱅크(LB1)일 때, 객체(OB)의 3차원 좌표(OP)의 (Ox, Oy, Oz)에서 제2 로컬 뱅크(LB2)일 때, 객체(OB)의 3차원 좌표(OP')의 (Ox', Oy', Oz')로 변환될 수 있다. 이때, 객체(OB)의 3차원 좌표(OP)는 원호를 그리며 계속해서 변화할 수 있고, 3차원 좌표의 변화, 즉 3차원 벡터는 원호에 접하는 방향으로 무수하게 많은 3차원 벡터를 따라 복수의 음성 출력부(132) 각각에 대한 방송 음성의 출력을 조절할 수도 있고, 객체(OB)의 초기 3차원 좌표(OP)에서 변화된 3차원 좌표(OP')을 최단거리로 연결하는 3차원 벡터

에 기초하여 복수의 음성 출력부(132) 각각에 대한 방송 음성의 출력이 조절될 수 있다. 이는, 로컬 뱅크(LB)의 전환 속도에 의해 결정될 수도 있고, 실제 객체(OB)의 이동과 프레임 레이트에 의해 결정될 수도 있다.

한편, 제1 로컬 뱅크(LB1)에서 제3 로컬 뱅크(LB3)로 방송 영상(BV)을 전환하는 입력이 수신되면, 방송 영상(BV)에 대해 도 9d와 같은 가상의 공간(VS'')이 맵핑될 수 있다. 제3 로컬 뱅크(LB3)는 제3 카메라(C3)를 통해 촬영된 영상이므로, 도 5에서 객체(OB)를 좌측 대각선의 45도 방향에서 바라보는 시점으로, 도 5에서 객체(OB)를 좌측 대각선의 45도 방향에서 촬영하는 카메라(C3)의 시점이다. 제1 로컬 뱅크(LB1)에서 제3 로컬 뱅크(LB3)로 전환되면, 예를 들어, 가상의 공간(VS)의 z축 및 x축이 y축을 기준으로 시계 방향으로 45도 회전하는 것으로 정의할 수도 있다. 또는 제1 로컬 뱅크(LB1)에서 제3 로컬 뱅크(LB3)로 전환되면, 객체(OB)가 가상의 공간(VS)에서 반시계 방향으로 45도만큼 y축을 중심으로 회전하는 것으로 정의할 수도 있다.

z'축 및 x'축이 회전함에 따라 제1 로컬 뱅크(LB1)일 때, 객체(OB)의 3차원 좌표(OP)의 (Ox, Oy, Oz)에서 제3 로컬 뱅크(LB3)일 때, 객체(OB)의 3차원 좌표(OP'')의 (Ox'', Oy'', Oz'')로 변환될 수 있다. 이때, 객체(OB)의 3차원 좌표의 변화, 즉 객체(OB)의 3차원 벡터

를 검출하고, 3차원 벡터

에 기초하여 복수의 음성 출력부(132) 각각에 대한 방송 음성의 출력을 조절하는 과정은 상술한 바와 실질적으로 동일하므로 중복 설명을 생략한다.

본 발명의 또 다른 실시예에 따른 객체 위치 변화를 벡터로 변환하여 영상 및 음향 신호를 동기화한 가상스튜디오 방송 편집 및 송출 기기(100)와 이를 이용한 방송 편집 및 송출 방법에서 메모리(150)에 가상의 공간(VS)에서 방송 영상(BV)으로 출력될 촬영 영상 및 자료 영상(DV)의 위치를 저장하는 복수의 로컬 뱅크(LB)를 저장하고, 선택된 로컬 뱅크(LB)에 따라 객체(OB)의 3차원 좌표(OP)가 변화하게 되며, 이에 따라 방송 음성이 출력되는 복수의 음성 출력부(132) 각각에 대한 출력이 자동으로 실시간 조절될 수 있다. 따라서, 본 발명의 또 다른 실시예에 따른 객체 위치 변화를 벡터로 변환하여 영상 및 음향 신호를 동기화한 가상스튜디오 방송 편집 및 송출 기기(100)와 이를 이용한 방송 편집 및 송출 방법에서는 방송 영상(BV)을 출력할 시점을 미리 로컬 뱅크(LB)에 저장해두고, 사용자가 방송으로 출력되길 원하는 시점의 로컬 뱅크(LB)를 선택하기만 하면, 이에 따라 방송 영상(BV) 및 방송 영상(BV)에 대응하는 방송 음성까지 자동으로 실시간 편집될 수 있으므로, 다채롭고 생동감있는 방송 영상(BV)을 제작할 수 있다.

이하에서는 도 10 및 도 11을 참조하여, 본 발명의 다양한 실시예에 따른 객체 위치 변화를 벡터로 변환하여 영상 및 음향 신호를 동기화한 가상스튜디오 방송 편집 및 송출 기기(100)를 이용한 방송 중계 시스템(1000)에 대하여 상세히 설명하기로 한다.

도 10은 본 발명의 다양한 실시예에 따른 객체 위치 변화를 벡터로 변환하여 영상 및 음향 신호를 동기화한 가상스튜디오 방송 편집 및 송출 기기를 이용한 실시간 방송 중계 시스템의 구성들을 개략적으로 도시한 블록도이다. 도 11a는 본 발명의 다양한 실시예에 따른 객체 위치 변화를 벡터로 변환하여 영상 및 음향 신호를 동기화한 가상스튜디오 방송 편집 및 송출 기기에서 송출되는 패킷 데이터를 예시적으로 도시한 구조도이다. 도 11b는 패킷 데이터의 각 채널의 해당 출력 지점을 도시한 도면이다.

도 10을 참조하면, 실시간 방송 중계 시스템(1000)은 객체 위치 변화를 벡터로 변환하여 영상 및 음향 신호를 동기화한 가상스튜디오 방송 편집 및 송출 기기(100), 서버(200), 방송 중계 단말(CL)을 포함한다.

객체 위치 변화를 벡터로 변환하여 영상 및 음향 신호를 동기화한 가상스튜디오 방송 편집 및 송출 기기(100)는 입력부(110)에서 수신된 촬영 영상 및 녹음 음성을 편집하여 방송 영상 및 방송 음성으로 제작한다. 촬영 영상 및 녹음 음성을 방송 영상 및 방송 음성으로 편집하는 과정은, 앞서 도1 내지 도 9d를 참조하여 상술한 바와 동일하므로 중복 설명을 생략한다. 객체 위치 변화를 벡터로 변환하여 영상 및 음향 신호를 동기화한 가상스튜디오 방송 편집 및 송출 기기(100)는 방송 영상 및 방송 음성을 서버(200)로 송신한다. 구체적으로, 하나의 방송 영상에 대한 복수의 방송 음성이 하나의 패킷 데이터(PD)로 묶여 서버로 송신된다.

앞서 도 6b를 참조하여 설명한 바와 같이, 객체 위치 변화를 벡터로 변환하여 영상 및 음향 신호를 동기화한 가상스튜디오 방송 편집 및 송출 기기(100)는 음성 출력 채널의 개수에 따라, 음성 출력 채널에 대응하는 각 복수의 음성 출력 장치(32)에 3차원 좌표를 부여하여 방송 음성을 편집할 수 있다.

도 11a를 참조하면, 패킷 데이터(PD)는 시간 정보(TS), 복수의 채널 정보(CH1a 내지 CHna) 및 채널에 대응하는 복수의 방송 음성(CH1b 내지 CHnb)을 포함한다. 패킷 데이터(PD)는 순차적으로 전송되며, 동일한 시간 정보(TS)를 가진 복수의 채널 정보(CH1a 내지 CHna) 및 복수의 방송 음성(CH1b 내지 CHnb)이 하나의 패킷 데이터(PD)로 서버에 전송된다. 패킷 데이터(PD)는 제1 시간 정보(TS1), 채널 1 정보(CH1a), 채널 1의 방송 음성(CH1b), 채널 2 정보(CH2a), 채널 2의 방송 음성(CH2b), 채널 3 정보(CH3a), 채널 3의 방송 음성(CH2b)부터 채널 n 정보(CHna), 채널 n의 방송 음성(CHnb)의 순서로 데이터가 배치된다. 즉, 시간 정보(TS), 채널 정보(CH1a 내지 CHna), 채널의 방송 음성(CH1b 내지 CHnb)의 순서로 구성된다. 이후, 다시 제2 시간 정보(TS2)에 해당하는 복수의 채널 정보 및 복수의 채널의 방송 음성이 순차적으로 전송된다.

시간 정보(TS)는 복수의 방송 음성(CH1b 내지 CHnb)이 방송 영상의 어느 지점과 일치하는지를 나타낸다. 예를 들면, 시간 정보(TS)가 방송 영상의 1분 지점을 나타낸다면, 복수의 방송 음성(CH1b 내지 CHnb)은 방송 영상의 1분 지점에서 동시에 출력될 수 있다.

채널 정보(CH1a 내지 CHna)는 각 채널에 해당하는 방송 음성(CH1b 내지 CHnb)의 출력 지점, 즉 방송 음성(CH1b 내지 CHnb)이 어떤 지점의 스피커에서 출력되는지를 나타낸다. 복수의 방송 음성(CH1b 내지 CHnb)은 가상의 공간(VS)에서 음성 출력 지점에 가상의 좌표를 부여하여 편집한 것으로, 각 채널(CH1a 내지 CHna)의 방송 음성(CH1b 내지 CHnb)마다 출력되는 음량의 크기 등이 다를 수 있다.

방송 음성(CH1b 내지 CHnb)은 해당 채널(CH1a 내지 CHna)에 대응하는 방송 음성(CH1b 내지 CHnb)으로, 채널(CH1a 내지 CHna)에 따라 방송 음성(CH1b 내지 CHnb)이 다를 수 있다. 각 방송 음성(CH1b 내지 CHnb)은 서로 다른 지점에서 출력될 것을 가정하여 편집된 것으로, 방송 영상에서 객체의 이동이나, 자료 영상의 이동 등에 따라 서로 다른 방송 음성(CH1b 내지 CHnb)이 출력된다.

다시 도 10을 참조하면, 객체 위치 변화를 벡터로 변환하여 영상 및 음향 신호를 동기화한 가상스튜디오 방송 편집 및 송출 기기(100)는 패킷 데이터(PD)를 서버(200)로 전송하고, 서버(200)는 다시 패킷 데이터를 방송 중계 단말(CL)로 송신한다.

방송 중계 단말(CL)은 수신한 패킷 데이터(PD)를 영상 출력 장치 및 음성 출력 장치에 출력한다. 방송 중계 단말(CL)은 별도의 클라이언트 기기로 구현될 수도 있고 이외에도 PC, 영상 출력 장치 또는 음성 출력 장치등과 일체로 구현될 수 있으며, 이에 제한되지 않는다.

이하에서는 도 11b를 참조하여 방송 중계 단말(CL)이 설치된 시청 환경에서의 각 채널(CH1a 내지 CHna)의 출력 지점에 대하여 좀 더 상세히 설명하기로 한다.

도 11b를 참조하면, 방송 중계 단말(CL), 각 채널(CH1a 내지 CHna)에 대응하는 출력 지점에 배치되는 음성 출력 장치인 스피커(SP) 및 영상 출력 장치인 디스플레이(31)가 배치된다.

영상 출력 장치는 방송 영상이 출력되며, 설명의 편의를 위해 영상 출력 장치가 디스플레이(31)인 것으로 도시하였으나, TV, 모니터, 빔 프로젝터 등 다양할 수 있으며 이에 제한되지 않는다. 음성 출력 장치는 복수 개가 배치되며, 설명의 편의를 위해 음성 출력 장치가 스피커(SP)인 것으로 도시하였으나, 이에 제한되지 않는다.

스피커(SP)는 시청자의 시청 지점, 즉 객석을 중심으로 하여 배치될 수 있다. 예를 들면, 제1 스피커(SP1)는 시청자의 정면 좌측, 제2 스피커(SP2)는 시청자의 정면 중앙, 제3 스피커(SP3)는 시청자의 정면 우측, 제4 스피커(SP4)는 시청자의 좌측, 제5 스피커(SP5)는 시청자의 우측, 제6 스피커(SP6)는 시청자의 후면 좌측, 제7 스피커(SP7)는 시청자의 후면 중앙, 제8 스피커(SP8)는 시청자의 후면 우측에 배치된다. 또한, 좀 더 생동감 있는 방송 음성을 제공하기 위해 중앙부에 제9 스피커(SP9)를 배치할 수 있다.

이때, 제1 스피커(SP1)는 채널 1(CH1), 제2 스피커(SP2)는 채널 2(CH2), 제3 스피커(SP3)는 채널 3(CH3), 제4 스피커(SP4)는 채널 4(CH4), 제5 스피커(SP5)는 채널 5(CH5), 제6 스피커(SP6)는 채널 6(CH6), 제7 스피커(SP7)는 채널 7(CH7), 제8 스피커(SP8)는 채널 8(CH8), 제9 스피커(SP9)는 채널 9(CH9)와 연결되어, 각 채널(CH)의 방송 음성이 출력될 수 있다. 이때, 채널(CH)의 개수 및 각 채널(CH)에 대응하는 스피커(SP)의 배치는 달라질 수 있으며, 이에 제한되지 않는다.

한편, 채널(CH)의 개수와 실제 시청 환경에 배치된 스피커(SP)의 개수가 다를 수 있다. 이러한 경우, 방송 중계 단말(CL)은 패킷 데이터(PD)에서 실제 시청 환경에 배치된 스피커(SP)에 대응하는 채널(CH)의 방송 음성만을 선택적으로 출력한다. 이에 대하여, 도 12a 내지 도 12b를 참조하여 보다 상세히 설명하기로 한다.

도 12a는 교실의 스피커 배치를 예시적으로 나타낸 도면이다. 도 12b는 다른 교실의 스피커 배치를 예시적으로 나타낸 도면이다. 도 12c는 강당의 스피커 배치를 예시적으로 나타낸 도면이다. 도 12d는 다른 강당의 스피커 배치를 예시적으로 나타낸 도면이다. 도 12a 내지 도 12d를 참조하면, 학교의 교실 및 강당의 스피커 배치를 가정한 것으로, 학교 외에 관공서, 기업, 학원 등 방송을 진행하는 곳이라면 이에 제한되지 않는다.

도 12a를 참조하면, 교실에 제1 방송 중계 단말(CL1), 제1 스피커(SP1) 및 제3 스피커(SP3)이 배치된다. 제1 스피커(SP1)는 시청자, 즉 학생의 정면 좌측에 배치되어 패킷 데이터(PD)의 채널 1(CH1)과 대응한다. 제3 스피커(SP2)는 학생의 정면 우측에 배치되어 패킷 데이터(PD)의 채널 3(CH3)과 대응한다.

제1 방송 중계 단말(CL1)은 9개 채널(CH1 내지 CH9)의 정보를 포함하는 패킷 데이터(PD)를 서버로부터 수신할 수 있다. 그러나, 교실에는 채널 1(CH1) 및 채널 3(CH3)에 대응하는 제1 스피커(SP1) 및 제3 스피커(SP3)만이 배치된다.

이에, 제1 방송 중계 단말(CL1)은 패킷 데이터(PD)의 각 채널(CH)의 방송 음성을 다시 2개의 채널로 편집하는 것이 아니라, 채널 1(CH1) 및 채널 3(CH3)의 방송 음성만을 제1 스피커(SP1) 및 제3 스피커(SP3)으로 출력한다.

도 12b를 참조하면, 교실에 제2 방송 중계 단말(CL2), 제1 스피커(SP1), 제3 스피커(SP3), 제6 스피커(SP6) 및 제8 스피커(SP8)가 배치된다. 제1 스피커(SP1)는 채널 1(CH1), 제3 스피커(SP3)는 채널 3(CH3), 제6 스피커(SP6)는 채널 6(CH6), 제8 스피커(SP8)은 채널 8(CH8)에 대응한다.

제2 방송 중계 단말(CL2)은 패킷 데이터(PD)에서 9개의 채널(CH) 중 채널 1(CH1), 채널 3(CH3), 채널 6(CH6) 및 채널 8(CH8)의 방송 음성만을 대응하는 각 스피커(SP)에 출력한다.

도 12c를 참조하면, 강당에 제3 방송 중계 단말(CL3), 제1 스피커(SP1), 제3 스피커(SP3), 제4 스피커(SP4), 제5 스피커(SP5), 제6 스피커(SP6) 및 제8 스피커(SP8)가 배치된다. 제1 스피커(SP1)는 채널 1(CH1), 제3 스피커(SP3)는 채널 3(CH3), 제4 스피커(SP4)는 채널 4(CH4), 제5 스피커(SP5)는 채널 5(CH5), 제6 스피커(SP6)는 채널 6(CH6), 제8 스피커(SP8)은 채널 8(CH8)에 대응한다.

제3 방송 중계 단말(CL3)은 패킷 데이터(PD)의 9개의 채널(CH) 중 채널1(CH1), 채널 3(CH3), 채널 4(CH4), 채널 5(CH5), 채널 6(CH6) 및 채널 8(CH8)의 방송 음성만을 대응하는 각 스피커(SP)에 출력한다.

도 12d를 참조하면, 강당에 제4 방송 중계 단말(CL4), 제1 스피커(SP1), 제2 스피커(SP2), 제3 스피커(SP3), 제4 스피커(SP4), 제5 스피커(SP5), 제6 스피커(SP6), 제7 스피커(SP7) 및 제8 스피커(SP8)가 배치된다. 제1 스피커(SP1)는 채널 1(CH1), 제2 스피커(SP2)는 채널 2(CH2), 제3 스피커(SP3)는 채널 3(CH3), 제4 스피커(SP4)는 채널 4(CH4), 제5 스피커(SP5)는 채널 5(CH5), 제6 스피커(SP6)는 채널 6(CH6), 제7 스피커(SP7)은 채널 7(CH7), 제8 스피커(SP8)은 채널 8(CH8)에 대응한다.

제4 방송 중계 단말(CL4)은 패킷 데이터(PD)의 9개의 채널(CH) 중 채널1(CH1), 채널 2(CH2), 채널 3(CH3), 채널 4(CH4), 채널 5(CH5), 채널 6(CH6) 채널 7(CH7) 및 채널 8(CH8)의 방송 음성만을 대응하는 각 스피커(SP)에 출력한다.

이처럼, 방송 중계 단말(CL)이 설치된 곳의 스피커(SP) 배치는 패킷 데이터(PD)의 채널(CH)과 일치하지 않을 수 있다. 객체 위치 변화를 벡터로 변환하여 영상 및 음향 신호를 동기화한 가상스튜디오 방송 편집 및 송출 기기(100)에서 여러 시청자의 시청 환경에 따라 서로 다른 패킷 데이터(PD)를 전송하지 않고, 패킷 데이터(PD)에서 시청 환경에 맞는 데이터만을 선택적으로 출력할 수 있다.

만약, 시청 환경에 따라 다른 패킷 데이터(PD)를 각 서버(100) 및 방송 중계 단말(CL)로 전송하는 경우, 시간이 오래 걸리고 복잡하므로, 실시간으로 방송을 하기에 적합하지 않을 수 있다. 그러나, 하나의 패킷 데이터(PD)에서 시청 환경에 맞는 채널(CH)만을 선택적으로 출력하므로, 패킷 데이터(PD)의 제작 및 전송이 간편하고, 실시간으로 여러 환경의 시청자에게 방송을 할 수 있다.

본 발명의 다양한 실시예에 따른 객체 위치 변화를 벡터로 변환하여 영상 및 음향 신호를 동기화한 가상스튜디오 방송 편집 및 송출 기기(100)와 이를 이용한 방송 편집 및 송출 방법에서는 방송 영상(BV)의 편집에 따라 방송 영상(BV)에 대응하는 방송 음성이 자동으로 편집되는 과정에서, 제어부(120)에 다양한 연산 방법을 적용하여 연산량을 줄이고 고속 연산을 할 수 있다. 구체적으로, 본 발명의 다양한 실시예에 따른 객체 위치 변화를 벡터로 변환하여 영상 및 음향 신호를 동기화한 가상스튜디오 방송 편집 및 송출 기기(100)와 이를 이용한 방송 편집 및 송출 방법에서는 다채널 3D 영상 및 음성 고속 통합 처리를 위한 멀티미디어 데이터 실시간 프로세싱 엔진을 사용할 수 있다.

먼저, 객체 위치 변화를 벡터로 변환하여 영상 및 음향 신호를 동기화한 가상스튜디오 방송 편집 및 송출 기기(100)의 제어부(120)에서는 실시간 지능형 포맷 컨버전스(RTIFC; Real Time Intelligence Format Convergence) 기술을 적용할 수 있다. 객체 위치 변화를 벡터로 변환하여 영상 및 음향 신호를 동기화한 가상스튜디오 방송 편집 및 송출 기기(100)의 입력부(110)에서 촬영 영상을 수신할 시, 각 픽셀에 대한 데이터 값은 R값, G값, B값에 투명도를 나타내는 α까지 표현된 32비트맵의 형식으로 수신할 수 있다. 그러나 그래픽 카드(140)는 1비트만 많아도 부하가 급격하게 증가하므로, 모든 픽셀들에 대한 데이터를 32비트로 연산하는 경우 연산량이 매우 증가할 수 있다. 이에, 객체 위치 변화를 벡터로 변환하여 영상 및 음향 신호를 동기화한 가상스튜디오 방송 편집 및 송출 기기(100)의 제어부(120)에서는 픽셀에 대한 데이터 값을 YUV422 포맷의 12비트로 변환하여 처리해야 할 데이터를 줄일 수 있다. YUV422 포맷은 휘도와 색 신호의 비를 4:2:2로 하여 영상 데이터를 다루는 형식으로 RGB 형식보다 데이터량을 줄일 수 있다. YUV422 포맷은 휘도와 색 신호의 비를 4:2:2로 하여 영상 데이터를 다루는 형식으로 RGB 형식보다 데이터량을 줄일 수 있지만, 투명도 값을 나타내지 않는다.

일반 영상에서는 투명도 값이 필요가 없으므로, 상술한 바와 같이 YUV422 포맷을 사용하더라도 특별한 문제가 발생하지 않는다. 다만, 상술한 바와 같이 크로마키 처리를 하기 위해서는 투명도 값이 필요하므로 YUV422의 형식으로 변환하여 데이터를 처리하는 경우 크로마키 처리가 불가능하다는 문제점이 있다. 이를 해결하기 위해, 객체 위치 변화를 벡터로 변환하여 영상 및 음향 신호를 동기화한 가상스튜디오 방송 편집 및 송출 기기(100)의 제어부(120)에서는 크로마키 처리가 필요 없는 영상은 YUV422의 12비트로 변환하여 전달하고, 크로마키 처리가 필요한 영상은 투명도를 포함한 32비트의 형식을 사용하기 때문에 기존 방식보다 연산량을 줄일 수 있다.

또한, 제어부(120)가 영상의 해상도를 변경할 때, 세미인터폴레이션(semi interpolation)과 인터폴레이션(interpolation)을 적절히 혼합하여 영상이 일그러지지 않으면서 자연스럽게 표현되도록 할 수 있다. 종래에는, 원본 영상의 해상도와 실제 방송 영상(BV)에서 표현되는 해상도가 다른 경우 원본 영상을 리사이징 하기 위해, 인터폴레이션법을 사용했는데, 예를 들어, 1920*1080의 해상도를 가진 원본 영상을 30*20의 해상도로 축소하기 위해 70번째마다 픽셀을 추출하여 30*20으로 축소하는 방식이 사용되었다. 다만 이러한 인터폴레이션법은 픽셀간의 차이를 선형적으로만 고려하여 급격하게 축소하기 때문에 영상이 일그러져 보이기 쉽다. 이러한 문제점을 해결하기 위해, 객체 위치 변화를 벡터로 변환하여 영상 및 음향 신호를 동기화한 가상스튜디오 방송 편집 및 송출 기기(100)의 제어부(120)에서는 1920*1080의 영상을 먼저 원래의 1/70보다 더 큰 크기인 1/10의 크기로 리사이징하는 세미인터폴레이션을 사용하고, 192*108의 영상을 인터폴레이션하여 30*20으로 축소한다. 즉, 객체 위치 변화를 벡터로 변환하여 영상 및 음향 신호를 동기화한 가상스튜디오 방송 편집 및 송출 기기(100)의 제어부(120)에서는 리사이징 시에 원본 영상을 최종 영상의 크기로 바로 리사이징하지 않고, 중간 크기의 영상으로 세미인터폴레이션을 한 후, 최종 영상의 크기로 인터폴레이션을 하여, 급격히 영상의 해상도를 변경하지 않고, 세미인터폴레이션과 인터폴레이션을 둘 다 사용하여 영상을 좀 더 자연스럽게 표현할 수 있다.

한편, 객체 위치 변화를 벡터로 변환하여 영상 및 음향 신호를 동기화한 가상스튜디오 방송 편집 및 송출 기기(100)의 제어부(120)에서는 멀티쓰레딩(multithreading) 기술과 프로세스 로드 밸런싱(process load balancing) 기술을 사용하여 실시간 연산 처리량을 조절할 수 있다. 객체 위치 변화를 벡터로 변환하여 영상 및 음향 신호를 동기화한 가상스튜디오 방송 편집 및 송출 기기(100)의 제어부(120)에서는 영상 및 음성을 수신하고, 영상 및 음성을 처리하며, 최종적으로 처리된 방송 영상(BV) 및 방송 음성을 송출한다. 이에, 각각의 프로세스를 처리하기 위한 쓰레드는, 예를 들어, 영상 송출 쓰레드, 영상 편집 쓰레드, 음성 편집 쓰레드 등을 포함할 수 있다. 또한, 상술한 바와 같이 객체 위치 변화를 벡터로 변환하여 영상 및 음향 신호를 동기화한 가상스튜디오 방송 편집 및 송출 기기(100)에서는 크로마키 처리도 수행하므로, 크로마키 처리를 위한 크로마키 쓰레드도 포함할 수 있다.

객체 위치 변화를 벡터로 변환하여 영상 및 음향 신호를 동기화한 가상스튜디오 방송 편집 및 송출 기기(100)의 제어부(120)에서는 실시간으로 제어부(120)의 로드를 측정할 수 있다. 예를 들어, 영상 송출 쓰레드, 영상 편집 쓰레드, 음성 편집 쓰레드 등과 같은 다양한 쓰레드에서의 로드를 측정할 수 있다. 이 때, 제어부(120)는 실시간으로 각각의 쓰레드에 대한 지터(jitter)를 측정한다. 여기서 지터는 각각의 쓰레드의 로드의 시간 변위를 나타내는 값으로, 각각의 쓰레드가 처리하는 데이터 량이 기준 데이터 량보다 얼마나 빠른지 또는 늦은지를 나타내는 값이다. 이때, 제어부(120)는 음성 편집을 위한 쓰레드인 음성 편집 쓰레드에서의 지터가 소정의 임계치보다 큰 경우, 특정 쓰레드를 음성 편집에 대한 전용(dedicated) 쓰레드로 할당할 수 있고, 동시에 영상 편집 쓰레드, 영상 송출 쓰레드, 음성 송출 쓰레드 등의 수를 감소시킬 수 있다. 또한, 제어부(120)는 영상 편집을 위한 쓰레드인 영상 편집 쓰레드에서의 지터가 소정의 임계치보다 큰 경우, 특정 쓰레드를 영상 편집에 대한 전용(dedicated) 쓰레드로 할당할 수 있고, 동시에 음성 편집 쓰레드, 영상 송출 쓰레드, 음성 송출 쓰레드 등의 수를 감소시킬 수 있다.

본 발명의 다양한 실시예에 따른 객체 위치 변화를 벡터로 변환하여 영상 및 음향 신호를 동기화한 가상스튜디오 방송 편집 및 송출 기기(100)와 이를 이용한 방송 편집 및 송출 방법에서는 상술한 바와 같은 다양한 기능을 갖는 멀티미디어 데이터 실시간 프로세싱 엔진을 사용하여 다채널 3D 영상 및 음성 고속 통합 처리를 수행할 수 있다.

이상 첨부된 도면을 참조하여 본 발명의 실시예들을 더욱 상세하게 설명하였으나, 본 발명은 반드시 이러한 실시예로 국한되는 것은 아니고, 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형실시될 수 있다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

100 : 기기
110 : 입력부
12bn : 제n 음성 입력 장치
11 : 카메라
12 : 마이크
13 : 웹캠
14 : USB
15 : 컴퓨터
120 : 제어부
121 : 방송 영상 편집부
122 : 방송 음성 편집부
130 : 출력부
131 : 영상 출력부
132 : 음성 출력부
32a 내지 32f : 음성 출력 장치
31 : 디스플레이
32 : 스피커
140 : 그래픽 카드
150 : 메모리
160 : 전면부
161 : 전원 스위치
162 : 리셋 스위치
163 : USB 단자
164 : CD-ROM
170 : 후면부
171 : 음성 출력 단자
172 : 영상 입력 단자
173 : 영상 출력 단자
174 : USB 단자
175 : 확장 모듈팩 단자
180 : 주 화면
181 : 소스 뷰어
181a : 외부 소스 뷰어
181b : 내부 소스 뷰어
182a : A/V 플레이어 컨트롤
182b : A/V 믹서 볼륨 컨트롤
183a : 프리뷰
183b : 프로그램뷰
184a : 트랜지션바
184b : 트랜지션 이펙트 컨트롤
185 : A/V 프리셋 컨트롤
186 : PIP 오브젝트 컨트롤
187a : 로컬 뱅크 셀렉터
187b : 글로벌 뱅크 셀렉터
188 : A/V 레코더
189 : CD 플레이어
190 : 송출 화면
191 : 로고
192 : 자막
200 : 서버
1000 : 방송 중계 시스템
DV : 자료 영상
DP : 자료 영상의 3차원 좌표
BV : 방송 영상
VS : 가상의 공간
LB : 로컬 뱅크
BA : 크로마키 배경
OB : 객체
OP : 객체의 3차원 좌표
C1 : 제1 카메라
C2 : 제2 카메라
C3 : 제3 카메라
O : 원점
CL : 방송 중계 단말
SP : 스피커
PD : 패킷 데이터
TS : 시간 정보
CHna : 채널 정보
CHnb : 방송 음성

Claims (14)

1. 촬영 영상을 실시간으로 수신하는 영상 입력부 및 상기 촬영 영상에 대응하는 녹음 음성을 실시간으로 수신하는 음성 입력부를 포함하는 입력부;
   상기 입력부를 통해 수신된 상기 촬영 영상 및 상기 녹음 음성을 저장하고, 편집에 사용될 하나 이상의 자료 영상을 저장하는 메모리;
   상기 입력부 또는 상기 메모리로부터 상기 촬영 영상을 수신하고 상기 메모리로부터 상기 자료 영상을 수신하여 방송 영상을 실시간으로 편집하는 방송 영상 편집부 및 상기 방송 영상에 대응하는 방송 음성을 실시간으로 편집하는 방송 음성 편집부를 포함하는 제어부; 및
   상기 방송 영상을 출력하는 영상 출력부 및 상기 방송 음성을 출력하는 복수의 음성 출력부를 포함하는 출력부를 포함하고,
   상기 방송 영상 편집부는 상기 방송 영상에서 상기 촬영 영상, 상기 촬영 영상에서의 객체 및 상기 자료 영상을 3차원 좌표로 나타내어 편집하고,
   상기 방송 음성 편집부는 상기 촬영 영상의 이동, 상기 촬영 영상에서의 객체의 이동 및 상기 자료 영상의 이동을 나타내는 상기 3차원 좌표의 변화에 기초하여 상기 녹음 음성 및 상기 자료 영상에 대응하는 음성을 사용하여 상기 방송 음성을 실시간으로 편집하는, 객체 위치 변화를 벡터로 변환하여 영상 및 음향 신호를 동기화한 가상스튜디오 방송 편집 및 송출 기기.
2. 제1항에 있어서,
   상기 방송 영상 편집부는, 상기 방송 영상을 3차원의 가상의 공간으로 맵핑하고, 상기 가상의 공간에서 상기 촬영 영상, 상기 촬영 영상에서의 객체 및 상기 자료 영상에 3차원 좌표를 부여하며,
   상기 방송 음성 편집부는, 상기 가상의 공간에서 상기 촬영 영상의 이동, 상기 촬영 영상에서의 객체의 이동 및 상기 자료 영상의 이동을 나타내는 3차원 벡터에 기초하여 상기 복수의 음성 출력부 각각에 대한 상기 방송 음성의 출력을 실시간으로 편집하는, 객체 위치 변화를 벡터로 변환하여 영상 및 음향 신호를 동기화한 가상스튜디오 방송 편집 및 송출 기기.
3. 제2항에 있어서,
   상기 방송 음성 편집부는,
   상기 촬영 영상, 상기 촬영 영상에서의 객체 또는 상기 자료 영상이 상기 가상의 공간에서 x축을 따라 이동하면, 상기 복수의 음성 출력부 중 좌우 출력에 대응하는 음성 출력부의 출력을 실시간으로 편집하고,
   상기 촬영 영상, 상기 촬영 영상에서의 객체 또는 상기 자료 영상이 상기 가상의 공간에서 y축을 따라 이동하면, 상기 복수의 음성 출력부 중 상하 출력에 대응하는 음성 출력부의 출력을 실시간으로 편집하고,
   상기 촬영 영상, 상기 촬영 영상에서의 객체 또는 상기 자료 영상이 상기 가상의 공간에서 z축을 따라 이동하면, 상기 복수의 음성 출력부 중 전후 출력에 대응하는 음성 출력부의 출력을 실시간으로 편집하는, 객체 위치 변화를 벡터로 변환하여 영상 및 음향 신호를 동기화한 가상스튜디오 방송 편집 및 송출 기기.
4. 제3항에 있어서,
   상기 방송 음성 편집부는,
   상기 가상의 공간에서 상기 촬영 영상에서의 객체가 이동하는 경우,
   상기 가상의 공간에서 상기 객체의 3차원 좌표의 변화에 기초하여 상기 복수의 음성 출력부 각각에 대한 상기 방송 음성을 실시간으로 편집하는, 객체 위치 변화를 벡터로 변환하여 영상 및 음향 신호를 동기화한 가상스튜디오 방송 편집 및 송출 기기.
5. 제4항에 있어서,
   상기 음성 입력부는, 상기 촬영 영상에서의 객체와 함께 이동하는 음성 입력 장치로부터 상기 녹음 음성을 실시간으로 수신하고,
   상기 방송 음성 편집부는, 상기 가상의 공간에서 상기 음성 입력 장치의 위치 변화에 기초하여 상기 녹음 음성을 상기 복수의 음성 출력부 각각으로 출력하는, 객체 위치 변화를 벡터로 변환하여 영상 및 음향 신호를 동기화한 가상스튜디오 방송 편집 및 송출 기기.
6. 제4항에 있어서,
   상기 음성 입력부는, 상기 촬영 영상이 촬영되는 촬영 장소에서 복수의 위치에 고정된 복수의 음성 입력 장치로부터 복수의 녹음 음성을 실시간으로 수신하고,
   상기 방송 영상 편집부는, 상기 가상의 공간에서 상기 고정된 복수의 음성 입력 장치에 3차원 좌표를 부여하고, 상기 고정된 복수의 음성 입력 장치로부터 상기 복수의 녹음 음성의 실시간 변화에 기초하여 상기 가상의 공간에서 상기 객체의 이동을 검출하고,
   상기 방송 음성 편집부는, 검출된 상기 객체의 이동에 따른 상기 가상의 공간에서 상기 객체의 3차원 좌표의 변화에 기초하여 상기 녹음 음성을 상기 복수의 음성 출력부 각각으로 출력하는, 객체 위치 변화를 벡터로 변환하여 영상 및 음향 신호를 동기화한 가상스튜디오 방송 편집 및 송출 기기.
7. 제2항에 있어서,
   상기 방송 음성 편집부는,
   상기 가상의 공간에서 상기 촬영 영상 또는 상기 자료 영상이 이동하는 경우,
   상기 가상의 공간에서 상기 촬영 영상 또는 상기 자료 영상의 3차원 좌표의 변화에 기초하여 상기 복수의 음성 출력부 각각에 대한 상기 방송 음성을 실시간으로 편집하는, 객체 위치 변화를 벡터로 변환하여 영상 및 음향 신호를 동기화한 가상스튜디오 방송 편집 및 송출 기기.
8. 제7항에 있어서,
   상기 방송 음성 편집부는,
   상기 가상의 공간 밖으로 상기 촬영 영상 또는 상기 자료 영상이 이동하는 경우,
   상기 촬영 영상에 대응하는 상기 녹음 음성 또는 상기 자료 영상에 대응하는 음성을 음소거(mute)하는, 객체 위치 변화를 벡터로 변환하여 영상 및 음향 신호를 동기화한 가상스튜디오 방송 편집 및 송출 기기.
9. 제1항에 있어서,
   상기 메모리는, 상기 가상의 공간에서 상기 방송 영상으로 출력될 상기 촬영 영상 및 상기 자료 영상의 위치를 저장하는 복수의 로컬 뱅크를 저장하고,
   상기 복수의 로컬 뱅크 중 특정 로컬 뱅크를 선택하는 입력이 수신되면,
   상기 방송 음성 편집부는, 상기 특정 로컬 뱅크로 상기 방송 영상을 전환함에 따라 발생하는 상기 촬영 영상의 3차원 좌표의 변화 및 상기 자료 영상의 3차원 좌표의 변화에 기초하여 상기 복수의 음성 출력부 각각에 대한 상기 방송 음성을 실시간으로 편집하는, 객체 위치 변화를 벡터로 변환하여 영상 및 음향 신호를 동기화한 가상스튜디오 방송 편집 및 송출 기기.
10. 제9항에 있어서,
    상기 방송 음성 편집부는,
    상기 복수의 로컬 뱅크 중 제1 뱅크에서 제2 뱅크로의 전환을 선택하는 입력이 수신되는 경우,
    상기 제1 뱅크가 나타내는 상기 촬영 영상의 3차원 좌표 및 상기 자료 영상의 3차원 좌표와 상기 제2 뱅크가 나타내는 상기 촬영 영상의 3차원 좌표 및 상기 자료 영상의 3차원 좌표를 비교하여,
    상기 촬영 영상 및 상기 자료 영상 각각에 대한 3차원 벡터를 생성하고, 상기 3차원 벡터에 기초하여 상기 복수의 음성 출력부 각각에 대한 상기 방송 음성을 실시간으로 편집하는, 객체 위치 변화를 벡터로 변환하여 영상 및 음향 신호를 동기화한 가상스튜디오 방송 편집 및 송출 기기.
11. 객체 위치 변화를 벡터로 변환하여 영상 및 음향 신호를 동기화한 가상스튜디오 방송 편집 및 송출 기기에 의해 구현되는 객체 위치 변화를 벡터로 변환하여 영상 및 음향 신호를 동기화한 가상스튜디오 방송 편집 및 송출 방법에 있어서,
    입력부에서 객체에 대한 촬영 영상 및 촬영 영상에 대응하는 녹음 음성을 실시간으로 수신하는 단계;
    제어부에서 상기 촬영 영상, 상기 녹음 음성 및 메모리에 저장된 자료 영상에 기초하여 방송 영상 및 상기 방송 영상에 대응하는 방송 음성을 실시간으로 편집하는 단계; 및
    영상 출력부에서 상기 방송 영상을 출력하고, 복수의 음성 출력부에서 상기 방송 음성을 출력하는 단계를 포함하고,
    상기 제어부에서 상기 방송 영상 및 상기 방송 음성을 실시간으로 편집하는 단계는,
    상기 제어부의 방송 영상 편집부에서 상기 방송 영상을 3차원의 가상의 공간으로 맵핑하는 단계;
    상기 방송 영상 편집부에서 상기 가상의 공간에서, 상기 촬영 영상, 상기 촬영 영상에서의 객체 및 상기 자료 영상을 3차원 좌표로 나타내는 단계; 및
    상기 제어부의 방송 음성 편집부에서 상기 촬영 영상의 이동, 상기 촬영 영상에서의 객체의 이동 및 상기 자료 영상의 이동을 나타내는 3차원 좌표의 변화에 기초하여 상기 방송 음성을 실시간으로 편집하는 단계를 포함하는, 객체 위치 변화를 벡터로 변환하여 영상 및 음향 신호를 동기화한 가상스튜디오 방송 편집 및 송출 방법.
12. 제11항에 있어서,
    상기 방송 음성 편집부에서 상기 촬영 영상, 상기 촬영 영상에서의 객체 또는 상기 자료 영상의 상기 3차원 좌표의 변화에 기초하여 상기 방송 음성을 실시간으로 편집하는 단계는,
    상기 방송 음성 편집부에서 상기 가상의 공간에서, 상기 촬영 영상, 상기 촬영 영상에서의 객체 또는 상기 자료 영상이 상기 가상의 공간에서 x축을 따라 이동하면, 상기 복수의 음성 출력부 중 좌우 출력에 대응하는 음성 출력부의 출력을 실시간으로 편집하고,
    상기 촬영 영상, 상기 촬영 영상에서의 객체 또는 상기 자료 영상이 상기 가상의 공간에서 y축을 따라 이동하면, 상기 복수의 음성 출력부 중 상하 출력에 대응하는 음성 출력부의 출력을 실시간으로 편집하고,
    상기 촬영 영상, 상기 촬영 영상에서의 객체 또는 상기 자료 영상이 상기 가상의 공간에서 z축을 따라 이동하면, 상기 복수의 음성 출력부 중 전후 출력에 대응하는 음성 출력부의 출력을 실시간으로 편집하여, 상기 방송 음성을 실시간으로 편집하는 단계를 포함하는, 객체 위치 변화를 벡터로 변환하여 영상 및 음향 신호를 동기화한 가상스튜디오 방송 편집 및 송출 방법.
13. 복수의 방송 음성을 포함하는 패킷 데이터 및 방송 영상을 실시간으로 편집하는 객체 위치 변화를 벡터로 변환하여 영상 및 음향 신호를 동기화한 가상스튜디오 방송 편집 및 송출 기기;
    상기 객체 위치 변화를 벡터로 변환하여 영상 및 음향 신호를 동기화한 가상스튜디오 방송 편집 및 송출 기기로부터 상기 패킷 데이터 및 상기 방송 영상을 수신하는 서버; 및
    상기 서버로부터 상기 패킷 데이터 및 상기 방송 영상을 수신하여 영상 출력 장치 및 복수의 음성 출력 장치로 출력하는 방송 중계 단말을 포함하고,
    상기 패킷 데이터는 시간 정보, 복수의 채널 정보 및 상기 복수의 채널에 대응하는 복수의 방송 음성을 포함하고,
    상기 방송 중계 단말은 상기 패킷 데이터의 상기 복수의 채널 중 상기 복수의 음성 출력 장치에 대응되는 채널만을 선택적으로 출력하는, 방송 중계 시스템.
14. 제13항에 있어서,
    상기 객체 위치 변화를 벡터로 변환하여 영상 및 음향 신호를 동기화한 가상스튜디오 방송 편집 및 송출 기기는,
    상기 방송 영상에서 촬영 영상, 상기 촬영 영상에서의 객체 및 자료 영상을 3차원 좌표로 나타내어 편집하는 방송 영상 편집부; 및
    상기 방송 음성에서 상기 촬영 영상의 이동, 상기 촬영 영상에서의 객체의 이동 및 상기 자료 영상의 이동을 나타내는 상기 3차원 좌표의 변화에 기초하여 녹음 음성 및 자료 영상에 대응하는 음성을 사용하여 상기 방송 음성을 채널 별로 편집하는 방송 음성 편집부를 포함하는, 방송 중계 시스템.

Images