KR100322485B1 - 다중채널 영상신호 부호화 장치 및 그 방법 - Google Patents

Abstract

본 발명은 영상신호의 부호화(encoding)에 관한 것으로, 특히 여러채널의 영상신호를 공간분할방식 또는 시간분할방식을 통하여 하나의 부호화기로 처리하는 방법 및 그 장치에 관한 것이다.

본 발명에 의한 다중처리 부호화 장치는 영상 신호를 입력받아 동기신호 및 액티브영상정보를 추출하는 신호추출부, 다중처리할 채널의 수에 따라 상기 추출된 액티브 영상정보를 공간적으로 데시메이션하는 데시메이션 필터부, 상기 데시메이션된 각 채널의 액티브 영상정보들의 동기를 일치시키는 동기화부, 상기 동기화부로부터 상기 데시메이션된 각 채널의 액티브 영상정보를 전송받아 부호화하는 부호화부를 포함하는 것을 특징으로 한다.

본 발명에 의하면 기존에 있는 하나의 부호화기를 이용하여 여러 채널의 영상신호를 동시에 그리고 각 채널간에 독립적으로 부호화할 수 있게 된다.

Description

다중채널 영상신호 부호화 장치 및 그 방법{Multi-Channel Video Encoding apparatus and method thereof }

본 발명은 영상신호의 부호화(encoding)에 관한 것으로, 특히 여러채널의 영상신호를 공간분할방식 또는 시간분할방식을 통하여 하나의 부호화기로 처리하는 방법 및 그 장치에 관한 것이다.

종래에는 영상 감시 등을 위해 입력되는 영상이 여러채널인 경우에 각 채널의 영상신호를 독립적으로 처리하기 위해 영상채널의 수만큼의 영상처리장치를 두었다. 따라서 이러한 종래의 다채널 영상처리장치는 대규모 시스템으로 구성되게되고, 씨씨티브이(CCTV)와 같은 시스템은 규모에 비하여 화질이 나쁘고, 영상신호의 저장 및 전송수단이 복잡하게되는 문제점이 있다.

최근에는 위의 이러한 문제점을 해결하기위해 디지털 압축기술을 이용한 영상신호의 전송방법이 활발히 개발되고 있는바, 현재까지 주로 개발된 영상신호 압축알고리즘은 H.261, MJPEG, MPEG-4 등으로 대부분 소프트웨어로 구현되었다. 그러나 이러한 소프트웨어는 범용의 컴퓨팅파워에 의존하므로 시스템의 가격이 비싸고 크기가 대단히 크며, 처리할 내용의 과다로 인해 시스템이 불안정하였다. 따라서 현재의 영상감시 시스템의 개발 방향은 하드웨어를 기반으로 내장형 OS를 장착한 단독시스템이 주류를 이루고 있으나, 이 경우에도 압축알고리즘으로 MPEG-1 또는 MPEG-2를 사용하고 있다. 여기서 MPEG-1 영상신호 부호화기를 사용하는 경우에는 화면의 해상도가 352 x 240에 지나지 않기 때문에 다수의 영상을 처리하는데는 부적합하고, MPEG-2 영상신호 부호화기를 사용하는 경우에는 MPEG-1의 4배에 해당하는 해상도의 영상을 처리할 수 있어 이러한 문제점은 없다고 할 것이나, 이 경우에도 한 개의 범용 MPEG-2 영상신호 부호화기로는 다수의 입력 영상을 동시에 압축할 수는 없고, 다수의 영상신호를 동시에 부호화하기 위해서는 입력되는 영상신호의 수만큼 비디오 부호화기가 필요할 뿐아니라 필터, 버퍼, 프레임 동기회로 등을 위한 추가적인 하드웨어가 많이 필요하므로 가격이 비싸고 시스템의 크기가 대단히 방대해 지는 문제점이 있다.

본 발명이 이루고자 하는 기술적 과제는, 시간분할방식 또는 공간분할방식에 기초하여 다수개의 입력되는 영상신호를 한 개의 부호화기로 처리하는 방법 및 그 장치를 제공하는데 있다.

도 1은 본발명의 시간 및 공간분할에 의한 다채널(4채널의 경우) 영상신호의 부호화 개념을 보이고 있다.

도 2는 본 발명의 다중처리 부호화기의 기본적인 구성도를 보이고 있다.

도 3은 다채널 영상신호의 시간분할방식의 부호화의 개념을 보이고 있다.

도 4는 본 발명을 실시한 시간분할방식의 다중처리를 위한 비디오 부호화기의 한 실시예의 블록선도를 보이고 있다.

도 5는 다채널 영상신호의 공간분할방식의 부호화 개념을 보이고 있다.

도 6은 본 발명을 실시한 공간분할방식의 다중처리를 위한 영상신호 부호화기의 한 실시예의 블록선도를 보이고 있다.

도 7은 다채널 영상신호를 한 화면으로 보이기 위해 화면을 분할할 때 각 화면에 대한 슬라이스(slice) 경계의 예를 보이고 있다.

도 8은 본 발명을 실시한 간략화된 공간분할방식의 다중처리를 위한 영상신호 부호화기의 한 실시예의 블록선도를 보이고 있다.

상기 과제를 해결하기 위한 본 발명의 다중처리 부호화 장치는 영상 신호를 입력받아 동기신호 및 액티브영상정보를 추출하는 신호추출부, 다중처리할 채널의 수에 따라 상기 추출된 액티브 영상정보를 공간적으로 데시메이션하는 데시메이션 필터부, 상기 데시메이션된 각 채널의 액티브 영상정보들의 동기를 일치시키는 동기화부, 상기 동기화부로부터 상기 데시메이션된 각 채널의 액티브 영상정보를 전송받아 부호화하는 부호화부를 포함하는 것을 특징으로 한다.

본 발명에 의한 시간분할방식의 다중처리 부호화 장치는 영상 신호를 입력받아 동기신호 및 액티브영상정보를 추출하는 신호추출부; 다중처리할 채널의 수에 따라 상기 추출된 액티브 영상정보를 공간적으로 데시메이션하는 데시메이션 필터부; 상기 각 채널의 액티브 영상신호를 데시메이션 필터부로부터 수신하여 저장하였다가, 가장 늦게 수신한 채널의 영상신호의 동기신호에 맞추어 상기 저장된 각 채널별로 독립된 영상신호를 순차적으로 출력하는 동기화부; 및 상기 각 채널별로 독립된 영상신호를 순차적으로 부호화하여 각 채널별로 독립된 부호화된 비트열을 생성하는 부호화부를 포함하는 것을 특징으로 하고, 상기 각 채널별의 독립적으로 부호화된 영상신호를 각 채널별의 독립된 비트열 또는 각 채널의 비트열을 하나의 비트열로 합성하여 출력하는 것을 특징으로하는 출력부를 더 포함할 수 있다.

본 발명에 의한 공간분할방식의 다중처리 부호화 장치는 영상 신호를 입력받아 동기신호 및 액티브영상정보를 추출하는 신호추출부; 다중처리할 채널의 수에 따라 상기 추출된 액티브 영상신호를 공간적으로 데시메이션하는 데시메이션 필터부; 상기 각 채널의 액티브 영상신호를 데시메이션 필터부로부터 수신하여 저장하였다가, 가장 늦게 수신한 채널의 영상신호의 동기신호에 맞추어 상기 저장된 각 채널의 독립된 영상신호를 하나의 영상신호로 합성하는 동기화부; 및 상기 합성된 영상신호를 한 채널의 영상신호로 취급하여 동시에 부호화하므로써 하나의 단일한 부호화된 비트열을 생성하는 부호화부를 포함하는 것을 특징으로 하고, 상기 부호화부는 상기 각 채널의 영상신호들간의 경계정보를 기초로하여 상기 액티브 영상정보를 각 채널의 영상정보별로 독립적으로 부호화하고, 상기 부호화된 영상신호를 각 채널별로 분리하여 비트열로 출력하는, 상기 채널의 수와 동일한 수의 가변길이부호화부및 비트열버퍼를 포함하는 특징으로 할 수 있다. 또한 본 발명에 의한 공간분할방식의 다중처리 부호화 장치는 상기 각 채널별의 독립적으로 부호화된 영상신호를 각 채널별의 독립된 비트열 또는 상기 각 채널의 비트열을 하나의 비트열로합성하여 출력하는 것을 특징으로하는 출력부를 더 포함할 수 있고, 상기 부호화부에서 생성한 하나의 단일한 부호화된 비트열에 포함된 각 채널의 경계정보에 근거하여 각 채널의 비트열을 추출하여 각 채널별로 부호화된 비트열을 출력하는 비트열분배기를 포함하는 것을 특징으로 할 수 있다.

또한 본 발명에 의한 공간분할방식의 다중처리 부호화 장치는 상기 부호화부에서 생성한 하나의 단일한 부호화된 비트열에 포함된 각 채널의 경계정보에 근거하여 다른 채널의 영상신호의 매크로블럭 사이의 차분 영상을 구하지 않도록 하여 화면의 찌그러짐을 방지하는 것을 특징으로 할 수 있으며, 상기 부호화부에서 생성한 하나의 단일한 부호화된 비트열에 포함된 각 채널의 경계정보에 근거하여 영상의 움직임 예측시 다른 채널의 영상신호의 화면의 경계를 넘어서 영상의 움직임을 탐색하지 않도록, 움직임의 탐색영역을 각 채널의 영상신호의 화면으로 제한하여 화면의 찌그러짐을 방지하는 것을 특징으로 할 수 있다.

본 발명에 의한 다중처리 부호화 방법은 영상 신호를 입력받아 상기 비디오 신호로부터 동기신호 및 액티브 비디오 정보를 추출하는 비디오신호추출단계; 다중처리할 채널의 수에 따라 상기 추출된 액티브 비디오 정보를 공간적으로 데시메이션하는 데시메이션필터링단계; 상기 데시메이션된 각 채널의 액티브 비디오 정보들의 동기를 맞추고 직렬화하는 단계; 및 상기 데시메이션된 각 채널의 액티브 비디오 정보를 순차적으로 부호화하는 부호화단계를 포함하는 것을 특징으로 한다.

이하에서 도면들을 참조하여 본 발명의 내용 및 실시예들을 상세히 설명한다.

도 1은 본발명의 시간 및 공간분할에 의한 다채널(4채널의 경우) 영상신호의 부호화 개념을 보이고 있다. 도 1에는 4개의 영상신호 채널을 가지고 있는 경우로 4개의 영상신호가 각 채널의 데시메이션필터(101, 102, 103, 104)로 입력되면 각 데시메이션필터(101, 102, 103, 104)들은 영상신호의 영상크기를 1/4로 줄이게 된다. 이러한 데시메이션 처리된 영상신호는 다시 하나의 화면으로 구성하거나 순차적인 처리를 위해 프레임버퍼(121, 122)로 입력된다. 시간분할방식의 프레임버퍼(121)에서는 데시메이션처리된 영상신호별로 저장하여다가 순차적인 영상신호(131)로 출력하고, 이 신호는 부호화부(141)에 입력되어 부호화된다. 따라서 이 경우에는 4번의 개별적인 영상신호에 대한 부호화 과정이 있게되며, 그 결과로서 4개의 독립적으로 부호화된 비트열이 순차적으로 출력된다. 공간분할방식의 프레임버퍼(122)는 4개의 데시메이션된 영상신호를 한 화면으로 합성한 신호(132)를 출력하고,이 신호는 부호화부(142)에 입력하여 한번에 전체화면을 동시에 부호화하여 그 결과로서 부호화된 하나의 비트열이 생성된다.

도 2는 본 발명의 다중처리 부호화기의 기본적인 구성도를 보이고 있다. 임의의 양의 정수인 n개의 채널로 카메라로부터 입력되는 영상신호는 NTSC/PAL(National Television Standards Committee/Phase Alternation Line)기준에 따라 858 x 525와 858 x 625의 크기이며, 이는 블랭크(blank)영역과 액티브(active)영역( NTSC : 720 x 480, PAL : 720 x 576)을 포함하는 크기이다. 카메라로부터 입력되는 신호는 아날로그신호이며, 이 신호는 NTSC/PAL 디코더에서 A/D(Analog/Digital) 변환 및 CCIR601/656 포맷변환 후 도 2의 신호추출부(201)로입력된다. 신호추출부(201)에서는 SAV(Start Active Video)와 EAV(End Active Video)라는 헤더 데이터에 근거해서 액티브 데이터의 경계를 구분하여 액티브 영상신호를 출력하고, 동기신호를 생성한다. 아울러 이를 근거로 부호화 클럭을 생성하고, 호스트데이터를 입력받아 싱글/멀티 채널의 선택신호, 코딩 파라미터, 싱글/멀티 채널의 코딩 클럭 등의 제어신호를 본 발명의 부호화기의 각 부분에 공급한다. 위 신호추출부(201)에서 출력된 액티브 영상신호는 데시메이션 필터부(202)에 입력되어 1/n 크기의 영상으로 데시메이션되어 동기화부(203)에 입력된다.

위의 동기화부(203)에서는 n개의 채널의 영상신호중 제일 늦게 입력받은 신호의 동기를 기준으로하여, 위의 입력받은 n개 채널의 영상신호를 동기화부에 공급하는데, 시간분할방식으로 다중채널을 부호화하는 경우에는 위 영상신호는 채널수와 같은 n개의 독립된 영상신호를 순차적으로 공급하고, 만일 공간분할방식으로 다중채널을 부호화하는 경우에는 위 영상신호는 n개의 데시메이션된 영상이 하나의 영상으로 합성되어 부호호부(204)에 공급된다. 위 동기화부(203)로부터 영상신호를 입력받은 부호화부(204)에서는 영상신호를 부호화하여 비트열을 출력부(205)에 공급하는데, 시간분할방식으로 다중채널을 부호화하는 경우에는 위 영상신호는 채널수와 같은 n개의 독립되고 비트열로 부호화하여 출력부(205)에 공급하고, 만일 공간분할방식으로 다중채널을 부호화하는 경우에는 단일의 비트열로 부호화하여 출력부(205)에 공급한다. 부호화된 비트열을 입력받은 출력부(205)는 필요에 따라 채널별로 독립된 비트열을 각 채널의 영상신호가 합성된 단일의 비트열로 또는 그 역으로 비트열을 변환하여 외부로 출력하게 된다.

도 3은 다채널 영상신호의 시간분할방식의 부호화의 개념을 보이고 있다. 시간분할방식으로 복수의 채널에서 공급되는 영상신호를 부호화하는 경우에 각 채널별로 독립된 복수개의 영상신호가 부호화부(204)에 공급되고, 부호화부(204)에서는 이를 각각 독립적으로 부호화하여 순차적으로 생성된 복수개의 비트열을 생성하게 된다.

도 4는 본 발명을 실시한 시간분할방식의 다중처리를 위한 비디오 부호화기의 한 실시예의 블록선도를 보이고 있다. 이하에서는 도 4를 참조하여 시간분할방식의 다중처리를 위한 비디오 부호화기의 한 실시예를 상세히 설명한다. 임의의 정수인 n개의 채널에서 영상신호가 액티브신호추출부(401)로 입력되고, 상기 액티브신호추출부(401)에서는 액티브 영상신호를 분리하고, 비디오 타이밍 신호를 추출하여, 액티브 영상신호는 1/n 데시메이션 필터(403)에 공급하고 상기 비디오 타이밍 신호는 클러생성기, 다중채널조정기, 동기조정기 및 호스트인터페이스를 포함하는 제어신호생성부(402)로 공급되고, 이 신호와 상기 제어신호생성부(402)로 입력된 호스트데이타에 근거하여 싱글/멀티 채널의 코딩 클럭, 코딩 파라미터, 싱글/멀티 채널의 선택신호를 생성하여, 본 부호화기의 각 구성부분에 공급한다. 액티브 영상신호를 입력받은 1/n 데시메이션 필터부(403)은 각 채널의 액티브 영상신호를 1/n의 크기의 화면을 갖도록 축소시켜 각 채널별로 독립된 프레임 버퍼들(405)에 공급한다.

각 채널로부터 입력되는 영상신호는 보통 인터레이스 스캔(Interlace Scan)된 영상신호로 비디오 부호화기에 입력되기 전에 NTSC/PAL 디코더에서CCIR601/656 포맷으로 변환된다. 즉, 영상이 이븐(even) 또는 오드(odd) 필드로 각각 나누어 입력되기 때문에 데시메이션을 수행할 때, 프레임영상 또는 필드영상으로 데시메이션할 수 있다. 프레임영상으로 데시메이션할 경우 한 필드와 데시메이션 필터 탭수의 절반에 해당하는 수의 라인의 첫영상 데이터가 입력될 때까지 기다렸다가 데시메이션을 수행해야 하고, 필드영상의 경우는 필터 탭 수에 해당하는 수의 라인이 첫 영상데이터가 입력될 때 까지만 기라린 후 데시메이션을 수행하면 된다. 데시메이션 필터는 수평 및 수직 방향으로 1/n 만큼 화면의 크기를 줄이는 것으로, 보통 7 탭 및 6 탭 필터를 사용한다. 1/4 데시메이션 필터의 경우는 각 화소의 위치에서 수평, 수직으로 2 화소 마다 한 화소씩 생성하여 수평 및 수직으로 절반씨 줄여 결구 1/4 크기의 화면을 생성한다. 1/9 데시메이션 필터는 수평, 수직으로 3화소 마다 한 화소를 생성하여, 수평 및 수직으로 각각 1/3씩 줄여 결국 1/9의 크기를 가진 화면을 9개 생성하는 것을 말한다. 1/16 데시메이션 필터도 1/4, 1/9 화면과 같은 방식으로 처리하여 16개의 1/16 화면을 생성시키는 것을 말한다. 필터의 구현방법으로는 일단 수평방향으로 필터링하기 위해 데이터를 필터의 탭 수 만큼 저장하였다가 처리하기 위한 버퍼가 필요하다. 그런 다음에 수평방향으로 필터링을 수행하는바, 수직방향의 경우도 마찬가지로 일단 필터의 탭 수에 해당하는 영상 라인을 메모리에 저장하였다가 수직방향의 필터링을 수행한다.

프레임버퍼들(405)은 순차출력버퍼제어부(404)의해 제어되어 가장 늦게 입력된 프레임 동기신호에 맞추어 각 프레임 데이터를 직렬로 멀티플렉서(406)으로 공급한다. 상기 액티브신호추출부에서 생성된 각 비디오 타이밍 신호에 근거하여 연속적인 n개의 영상을 부호화 할 수 있도록 생성된 상기 코딩 클럭은 각 영상신호의 부호화를 위한 기준 클럭으로 사용된다. 즉 상기 프레임 버퍼(405)들에 데이터를 저장할 때는 각각의 비디오 타이밍에 따라 저장하고, 읽을 때는 동기된 타이밍에 따라 읽게 된다.

한편, 액티브신호추출부(401)에서 추출된 액티브 영상신호는 1/n 데시메이션 필터부(403)으로 공급되는 외에 위의 멀티플렉서(406)로도 공급되고, 위 멀티플렉서(406)는 싱글/멀티 채널선택신호를 기준으로 하여 입력되는 n+1개의 신호중 하나를 선택한다. 즉 입력된 영상신호는 제어신호발생부(402)를 통한 특정 입력 채널 및 다채널의 선택에 따라서, 상기 선택된 채널에 대한 NTSC/PAL 영상의 단일 채널 부호화 및 1/n 크기의 n개 영상의 시간분할 부호화가 가능하다. 상기 멀티플렉서(406)는 단일 및 다채널 부호화를 선택적으로 수행할 수 있도록 하기 위한 것이다. 위 멀티플렉서(406)에서 선택된 신호는 원 영상 프레임 버퍼(407)로 공급된다. 위 원 영상프레임 버퍼(407)에 공급되어 저장된 영상신호는 부호화부(411)로 공급되어 부호화 과정을 거치게 된다. 부호화부(411)에는 컬러데이터의 양을 반으로 줄이는 4:2:0 필터(408), 인접하는 화면들 사이의 움직임의 추정 및 보상 방법을 사용하여 시간적인 중복 정보(Redundant Information)을 줄이는 움직임추정 및 보상부(Motion Estimation and Compensation), 주파수 변환방법을 이용하여 공간적인 중복 정보를 제거하는 이산여현변환양자화부(dctq : Discrete Cosine Transform Quantization), 가변장부호화부(vlc : Variable Length Coding)(410) 및 부호화되는 속도를 제어하고 부호화된 비트열을 저장하는 비트열 버퍼(413)을 제어하는 비트율 및 버퍼제어부(rate/buffer contol)(409)를 포함한다. 시간분할된 입력 프레임 데이터와 부호화 클럭에 따라 부호화된 비트열은 각각의 시간분할 타임 슬롯마다 독립적인 비트율 및 버퍼제어가 수행되어야 하므로 n개의 독립적인 비트열 버퍼(413)가 있어야 한다. 각 채널별로 영상신호가 부호화된 비트열들은 비트열 버퍼들(413)에 저장되고 시간분할 비트열 출력제어부(414)의 제어에 따라 채널수와 일치하는 n개의 비트열 또는 하나의 화면으로 합성된 단일한 비트열로 출력된다. 여기서 프레임버퍼(405), 원 영상 프레임 버퍼(407), 부호화된 프레임, 비트열 버퍼(413)부는 프레임 메모리(412)내에 존재한다.

이하에서는 시간분할 다중처리를 위한 영상신호 부호화기의 동작내용을 도 3 및 도 4을 참조하면서 설명한다. 시간분할 다중처리는 입력되는 n개의 영상을 공간적으로 1/n 데시메이션한 후 입력 버퍼에 저장하였다가 각 채널입력 중 가장 늦게 입력된 채널 데이터의 타이밍에 동기를 맞추어 각 화면을 정렬하여 순차적으로 비디오 부호화기에 입력시킨다. 이때 비디오 부호화기는 처리할 화면의 크기가 1/n이므로 완전해상도의 입력을 처리하는데 걸리는 전체시간의 1/n에 해당하는 시간내에 처리할 수 있어야 한다.

도 3은 이과정을 도시한 것이며, 그 결과는 n차례에 걸쳐서 n개의 서로 다른 비트스트림이 출력된다. 이때 n개의 비트스트림을 독립적으로 처리함으로써 추가되는 시간이 하나의 완전해상도를 가진 NTSC/PAL 영상의 입력주기를 초과해서는 안된다. 비디오 부호화기에서 프레임메모리를 액세스하는 방법에 따라 프레임 메모리 액세스 시간이 달라진다. 원 영상 프레임(Original Frame)데이터는 라인 단위로 메모리에 저장되고, 4:2:0으로 필터링 및 부호화하기 위해서 매크로블럭(MB :Macro Block)단위로 읽는다. 부호화된 프레임(Coded Frame) 데이터는 매크로블럭 단위로 메모리에 쓰고 읽으며, 비트열 데이터는 비트열로 메모리(413)에 저장되었다가 버퍼제어 알고리즘에 의해서 부호화기 외부로 출력된다. 비디오 부호화기를 완전해상도의 입력 뿐만 아니라 n개의 1/n 해상도 입력을 동시에 처리할 수 있는 구조로 설계하기 위해서는 n개의 화면이 독립적으로 처리될 수 있도록 원 영상 프레임 메모리의 데이터 저장을 위한 메모리 액세스 횟수 및 시간을 1/n 크기의 영상에 맞추어야 한다. 즉 한 개의 영상만 처리하는 비디오 부호화기에 비해서, 입력 채널의 개수가 n개이면 각 영상의 라인 길이가 n^1/2이므로 그만큼 랜덤액세스 횟수가 증가한다.

비트열 버퍼(413)는 1/n 크기의 화면에서 생성된 비트스트림을 n개의 독립적인 버퍼에 저장되었다가 각각의 버퍼 제어에 의해서 비트스트림이 출력되도록 한다. 부호화된 프레임 데이터는 매크로블럭 단위로 액세스되므로 랜덤 액세스로 인한 액세스 시간의 증가가 없다. 프레임 버퍼(405)는 일단 n개의 프레임 데이터를 받아들여 저장하였다가, 가장 늦게 입력된 프레임 동기신호에 맞추어 각 프레임 데이터를 직렬로 읽어 내는데 사용된다. 도 4에서 보이고 있는 시간분할 다중처리를 위한 영상신호 부호화기의 실시예의 블록도의 구조는 입력 영상의 동기 및 직렬화를 위한 프레임 버퍼와 다채널 영상처리를 위한 동기추출 및 데시메이션 필터가 추가로 필요하고, 원 영상 저장 및 비트열 버퍼의 독립적인 제어를 하는 점에서 범용의 단일 채널 처리용 비디오 부호화기의 구조와 구별된다.

도 5는 다채널 영상신호의 공간분할방식의 부호화 개념을 보이고 있다. 공간분할의 경우 입력되는 n개의 다채널 영상을 공간적으로 1/n 데시메이션하여 그 결과를 다시 통합하면, 완전 해상도를 가진 한 화면이 구성된다. 그 결과를 비디오 부호화기의 입력으로 활용하면 비디오 부호화기는 서로 다른 n개의 화면을 한 화면처럼 처리하게 되어 n개의 부호화기를 사용해야 될 것을 하나의 부호화기로 처리 가능하다.도 5는 공간적으로 분할된 입력영상을 비디오 부호화기에서 좌에서 우로, 그리고 상에서 하의 순서로 처리하는 공간분할 다중처리 순서를 개념적으로 나타낸 것이다. 이렇게 압축된 비트스트림은 각 채널의 영상신호를 독립적으로 저장 및 전송하기에 부적합하므로 n개의 화면에 대한 각각의 독립적인 비트열을 생성하기 위한 과정이 추가로 필요하다. 입력 채널이 n개일 경우 화면은 수평 및 수직방향으로 n^1/2개 이고, 이 화면들을 복합적으로 부호화하고 나면 출력되는 비트열은 이 화면들이 섞인 단일 비트열이 된다. 이렇게 서로 복잡하게 얽힌 비트열을 각각의 채널별로 개별적인 비트열로 분리하기 위해서는 이 비트열을 디코딩한 다음 다시 n개의 비트열로 만들어야 한다. 이 경우 각 채널별로 개별적인 비트열에 대한 vbv_delay와 양자화 파라미터를 각 입력 영상마다 다시 계산하여 개별 비트스트림의 헤드에 심어주어야 한다.

도 6은 본 발명을 실시한 공간분할 다중처리를 위한 영상신호 부호화기의 한 실시예의 블록선도를 보이고 있다. 이하에서는 공간분할 다중처리를 위한 영상신호부호화기의 한 실시예를 도 6을 참조하여 상세히 설명한다. 상기 도 6상의 액티브신호추출부(601), 1/n 데시메이션필터부(603), 클럭생성기와 다중채널 조정기와 동기 조정기와 호스트 인터페이스를 포함하는 제어신호발생부(602), 프레임 버퍼부(605)부, 멀티플렉서부(606), 원 영상 프레임 버퍼(607), 4:2:0 필터(608), 부호화부(611)는 상기 도 4의 본 발명을 실시한 시간분할방식의 다중처리를 위한 비디오 부호화기의 한 실시예에서와 그 기능이 같다. 다만, 여기서 클럭생성기와 다중채널조정기와 동기 조정기와 호스트 인터페이스를 포함하는 제어신호발생부(602)에서는 상기 도 4의 시간분할방식의 다중처리 영상신호 부호화기와 달리 각 채널별의 영상신호의 경계값을 생성하여 출력하고, 상기 경계값은 한 화면으로 합성된 영상신호를 부호화하는데 있어서 각 화면의 경계부분에서 전혀 다른 영상을 처리해야 하므로 부호화 과정에서 인접화면과 독립적으로 부호화하는데 사용된다. 또한 이와 더불어 채널별 영상신호의 다수의 출력 비트열간의 독립성을 보장하기 위해서 가변장부호화부(610)과 출력 비트열 버퍼(613)을 채널의 수에 알맞게 두어야 하고, 비트율 및 버퍼제어(rate/buffer control)를 각 화면에 대해서 독립적으로 수행해야 한다.

아울러 특정 채널에 대해서 단일 NTSC/PAL 영상을 부호화하기 위한 별도의 가변장부호화부(610)가 있어야 한다. n개의 화면이 결합된 단일 비트열을 출력하기 위해서는 특정 단일 채널의 부호화와 동일한 절차에 의해서 처리될 수 있다. 그러나 n개의 독립적인 비트열 생성과 n개가 결합된 단일 비트열을 동시에 생성하려면 이를 위한 비트열 버퍼 및 제어기를 따로 두어야 한다. 또한 합성출력버퍼제어부(604)는 프레임 버퍼(605)부에 저장되어 있는 영상신호를 멀티플렉서(606)으로 출력하는데 있어서, n개의 채널입력중 가장 늦게 입력된 영상의 타이밍에 동기 시켜 읽어내어 공간적으로 재배열한 후에 상기 멀티플렉서(606)에 출력하도록 제어하고, 공간분할 비트열 출력 제어부(614)는 채널별의 비트열 버퍼 및 싱글비트열 버퍼부(613)를 제어하여 필요에 따라 채널별 또는 합성된 단일의 비트열을 출력하도록 비트열 버퍼 및 싱글 비트열 버퍼부(613)를 제어한다. 여기서 프레임버퍼(605), 원 영상 프레임 버퍼(607), 부호화된 프레임, 비트열 버퍼(613)부는 프레임 메모리(612)내에 존재하는 것은 도 4와 같다.

이하에서는 서로 다른 여러 채널의 영상신호를 하나의 채널상의 영상신호인 것처럼 합성(즉 여러개의 다른 화면을 하나로 합성한 화면)한 영상신호를 단일한 비트열로 부호화하고 이를 다시 각각의 채널상의 영상신호에 대한 각각의 압축된 비트스트림으로 분리하는 방법에 대하여 상세하게 설명한다. 위의 부호화된 단일한 비트열을 다시 각각의 채널상의 영상신호에 대한 부호화된 여러개의 비트열로 분리하기 위해서는 각 화면의 경계를 알 수 있는 정보가 전체 화면에 대한 비트열에 포함되어야 하는데, MPEG-2 비트열에서 slice_start_code를 참조하면 각 화면의 위치를 구분할 수 있다. 분할된 화면의 크기는 4, 9, 16분할에 따라 달라지며, slice의 경계는 각 분할된 화면의 수평시작점에서 부여된다. 예를 들어 화면을 4분할하는 경우를 설명하면, NTSC/PAL 입력영상의 경우 수평방향으로 720개의 화소로 구성되므로 45개의 매크로블럭(MB)로 구성된다. 이때 화면의 4분할을 위해서 수평방향으로 매크로블럭의 반씩 나누면 매크로블럭 단위로 동일한 크기의 영상으로 나누어지지 않는다. 따라서 비디오 부호화 파라미터를 다음과 같이 2가지 방법으로 설정하면 된다.

그 첫 번째 방법은 수평방향의 매크로블럭의 크기를 704 화소에 해당하는 44로 설정(즉, hor_mb_size = 44)하고, 수직방향의 매크로블럭 크기를 480 화소에 해당하는 30으로 설정(즉, ver_mb_size = 30)하고 부호화 시작위치를 나타내는 수평 및 수직 방향 offset을 0, 0으로 설정(즉, hor_offset = 0, ver_offset = 0)하는 방법이다.

그리고 그 두 번째 방법은 수평방향의 매크로블럭의 크기를 704 화소에 해당하는 44로 설정(즉, hor_mb_size = 44)하고, 수직방향의 매크로블럭 크기를 480 화소에 해당하는 30으로 설정(즉, ver_mb_size = 30)하고 부호화 시작위치를 나타내는 수평 및 수직 방향 offset을 8, 0으로 설정(즉, hor_offset = 8, ver_offset = 0)하는 방법이다. 또한 화면을 9분할 하는 경우는 수평 및 수직 방향으로 정확히 3등분 가능하므로 수평 및 수직 방향의 매크로블럭 크기를 줄일 필요가 없고, 수평 및 수직 방향 offset을 각각 0으로 설정하면 된다. 그리고 화면을 16분할하는 경우는 수평방향으로 11 매크로블럭 씩 균등분할 가능하나, 수직방향으로 2개의 매크로블럭을 줄인 28개의 매크로블럭 크기로 설정한 후 각각 7개의 매크로블럭 크기를 할당한다. 혹은 수직방향의 offset을 8로 설정하면 된다. 따라서 4, 9, 16 분할한 경우 실제 부호화되는 전체 영상의 크기는 각각 704 x 480, 720 x 480, 720 x 448가 되며, 하나의 내부구성화면의 크기는 각각 352 x 240, 240 x 160, 180 x 112이고 이에 대한 각 화면의 경계를 구분하면 도 7과 같이 된다.

도 7은 다채널 영상신호를 한 화면으로 보이기 위해 화면을 분할할 때 각 화면에 대한 슬라이스(slice) 경계의 예를 보이고 있다. Slice를 나누는 이유는, slice가 시작되는 시점의 매크로블럭을 인트라로 코딩(Intra Coding - 한 화면의 자체 정보만을 이용하는 부호화)하여, DPCM(Differential Pulse Code Modulation - 같은 종류의 데이터에 대한 차분 부호화)에서, 다음 slice부터는 이전의 slice로부터의 에러가 전파되지 않도록 차단하기 위함이다. 만약 화면의 한 라인을 하나의 slice로 부호화하면 도중에 에러가 발생할 경우 에러의 전파를 한 라인으로 고립시킬 수 있다. 일반적으로 slice를 나눌 때 화면의 한 라인을 하나의 slice로 부호화하는 것이 구현하기 간단하므로 많이 사용되는 방식이다. 본 발명에서는 여러 개의 독립적인 화면을 동시에 부호화하고 그 결과를 다시 여러 개의 독립적인 비트열로 나누는 것이므로, 각 독립적인 화면의 경계를 구분하여야 한다. 이를 위해 전체 비트열을 생성하고, 그 비트스트림에 포함된 slice_start_code를 이용해서 여러개의 개별적인 비트스트림을 생성하는 것이다. 도 8에서 알 수 있듯이 여러 개의 적은 크기의 화면으로 큰 전체 화면을 구성한 경우에, 각 화면의 크기를 부호화의 최소 크기인 매크로블럭 단위로 나누면, 정확하게 배분되지 않는다. 따라서 부호화한 화면의 크기가 전부 같지 않을 수도 있다.

하나의 라인에 여러 개의 slice가 있을 때, 새로운 slice의 시작점에서 매크로블럭 어드레스 증가(macroblock_address_increment)가 라인의 시작점에서부터 지나온 매크로블럭의 개수를 더한 값이 되는데, 실제 독립적인 비트스트림이 되기 위해서는 이 값을 1로 설정해야 한다. 즉, 가변장부호화부(variable length coding)에서 새로운 비트열을 생성시킬 때 이 값을 바꾸어 주어야 한다.

또한 도 7에서와 같이 전체 화면은 여러 개의 작은 화면으로 구성되므로, 부호화시 전혀 다른 두 개의 작은 화면사이에서 움직임을 찾아야 하므로 부호의 효율이 떨어질 수 있고, 심지어 화면이 찌그러지는 현상이 발생할 수 있다. 본 발명에서는 이를 방지하기 위해 크기가 작은 각 화면을 경계로 slice_start_code를 삽입하여 공간적인 에러의 전파를 차단하고 전혀 다른 영상에서 매크로블럭 사이의 차분 영상을 구하지 않도록 하여 화면의 찌그러짐을 방지한다. 아울러 움직임 예측시 움직임을 전혀 다른 화면에서 찾지 않도록 화면의 경계를 넘어가서 움직임을 예측하지 않도록 탐색영역을 각 작은 화면으로 제한하여 화면의 찌그러짐을 방지한다. 이를 위해 도 7에서 보이는 작은 화면간의 경계값에 기초하여 움직임의 탐색범위를 제한한다.

도 8은 본 발명을 실시한 간략화된 공간분할 다중처리를 위한 영상신호 부호화기의 한 실시예의 블록선도를 보이고 있다. 액티브신호추출부(801), 클럭생성기와 다중채털조정기와 동기조정기와 호스트 인터페이스를 포함하는 제어신호발생부(802), 1/n 데시메이션 필터부(803), 합성출력버퍼제어부(804), 프레임 버퍼부(805), 멀티플렉서(806), 원 영상프레임 버퍼부(807), 4:2:0 필터부(808), 비트율 및 버퍼제어부(809), 가변장부호화부(810), 부호화부(811) 및 프레임 메모리(812), 비트열 버퍼부(813)의 기능은 도 6의 설명과 같다. 다만 도 6의 공간분할방식의 다중처리를위한 영상신호 부호화기와 달리 여기서는 부호화된 단일한 비트열만을 생성하고 이를 비트열 분배기(814)를 통하여 각 채널별의 비트열로 분리하므로 비트율 및 버퍼제어부(809), 가변장부호화부(810) 및 비트열 버퍼부(813)는 하나만 존재하게 된다. 즉 출력측에 비트열 분배기(814)를 제외하면 일반적인 비디오 부호화기와 동일하다. 이를 위해서는 출력되는 단일 비트열로부터 각 채널별의 개별적인 비트열을 분리하는데 필요한 정보가 비트열내에 존재해야 한다. 다채널 영상을 공간적으로 1/n 줄인 다음 각각을 1, 2, 3, 4 분면 등에 배치한 다음, 하나의 NTSC/PAL 영상으로 보고 부호화하면 출력되는 비트열은 하나이다. 이때 출력되는 비트열을 다시 디코딩하면 원래 입력하였던 영상이 디스플레이 된다. 이와같은 경우에는 비트열 분배부(814)는 필요없으나, 상기 부호화된 단일한 비트열에 각 채널별 화면의 경계값에 대한 정보가 포함되어 있다면 각각의 채널별 비트열을 분리하는 것이 가능하다. 이때 경계값으로서 slice_start_code가 추가되며, 부호화된 단일한 비트열로부터 각각의 채널별 비트열을 분리하는 과정은 다음과 같다. 즉 slice_start_code를 만나면 그때부터 MB_adddress_increment에 대한 가변장부호화 코드를 다시 디코딩하여 그 대신에 1에 대한 MB_address_increment 가변장부호화 코드를 심어주어야 하고 이때 코드의 바이트 정렬을 다시 해 주어야 한다.

영상신호에 대한 부호화를 고정비트율(Constant Bit Rate)로 수행할 경우 출력 비트열 버퍼(813)의 상태에 따라서 부호화할 비트량을 일정하게 조절하기 위해 비트율 및 버퍼 제어부(809)에 양자화 파라미터(Quantization Parameter)를 수시로 변경하며 발생 비트량을 조절한다. 이때 독립적인 비트열을 구성하기 위해서는 비트열 버퍼를 독립적으로 두고 버퍼제어를 각각 해야하고, 이에 따라 양자화 연산을 수행하도록 이산여현변환양자화부에 양자화 파라미터를 넘겨주어야 한다. 아울러생성할 각 비트스트림의 픽처헤드에 vbv_delay를 추가해야 하는데, 이는 각 비트열 버퍼의 상태와 발생한 비트 수를 전부 알고 있는 상태여야 한다는 것을 의미하므로 도 6과 같이 가변장부호화부, 비트율 및 버퍼 제어부(rate/buffer control), 비트열 버퍼(bitstream buffer)가 채널의 수만큼인 n개씩 있어야 한다. 따라서 CBR인 경우는 도 8과 같은 비디오 부호화기를 구성할 수 없다.

그러나 가변비트율(Variable Bit Rate)인 경우는 도 8과 같이 구성하여도, 각 화면에 해당하는 비트열을 구성할 때 slice_start_code를 참조하여 화면의 경계에서 새로운 화면이 시작할 때 동일 화면의 이전 라인에 대한 정보에 이어서 부호화할 수 있도록 하면 된다. 즉, 새로운 화면의 시작 시점에서는 매크로블럭 어드레스 증가분(macroblock address increment)을 1로 설정하고, slice_start_code( Vertical_position )를 각 화면의 시작 시점에서 1로 설정하면 된다. 그러나 이 경우에는 여러 개의 화면이 결합된 단일 비트열을 생성하는 데에는 문제가 된다. 여러 화면이 결합된 단일 비트스트림은 한 개의 디코더로 디코딩해도 여러 개의 화면을 동시에 나타낼 수 있으므로 대단히 중요한 정보가 된다.

결국 비디오 부호화기를 사용할 때, NTSC/PAL 전체화면을 부호화 하려면 고정비트율 또는 가변비트율를 사용할 수 있고, 다채널 화면을 동시에 부호화 할 경우에는 가변비트율만을 사용하여 간략하게 비디오 부호화기를 구성할 수 있다.

한편, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하다. 그리고, 컴퓨터에서 사용되는 매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 상기 매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드 디스크 등), 광학적 판독 매체(예를 들면, 씨디롬, 디브이디 등) 및 캐리어 웨이브(예를 들면, 인터넷을 통한 전송)와 같은 저장매체를 포함한다.

이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

본 발명에 의하면 위와 같은 기존의 부호화기로 다수의 입력 영상을 동시에 각각 독립적으로 부호화하기 위해서는 영상신호의 채널수 만큼 영상신호 부호화기가 필요하게 되나, 본 발명에 의하면 하나의 부호화기만을 사용하여 여러 채널의 영상신호를 부호화할 수 있게 된다. 또한 기존의 부호화기를 사용해서 여러 영상신호를 부호화하는 것과 비교하면 비용도 적게 들일뿐만 아니라 설비도 간단하게 구현할 수 있는 장점이 있다.

Claims (12)

1. 영상 신호를 입력받아 동기신호 및 액티브영상정보를 추출하는 신호추출부;

   다중처리할 채널의 수에 따라 상기 추출된 액티브 영상정보를 공간적으로 데시메이션하는 데시메이션 필터부;

   상기 데시메이션된 각 채널의 액티브 영상정보들의 동기를 일치시키는 동기화부;

   상기 동기화부로부터 상기 데시메이션된 각 채널의 액티브 영상정보를 전송받아 부호화하는 부호화부를 포함하는 것을 특징으로 하는 다중처리 부호화 장치.
2. 영상 신호를 입력받아 동기신호 및 액티브영상정보를 추출하는 신호추출부;

   다중처리할 채널의 수에 따라 상기 추출된 액티브 영상정보를 공간적으로 데시메이션하는 데시메이션 필터부;

   상기 각 채널의 액티브 영상신호를 데시메이션 필터부로부터 수신하여 저장하였다가, 가장 늦게 수신한 채널의 영상신호의 동기신호에 맞추어 상기 저장된 각 채널별로 독립된 영상신호를 순차적으로 출력하는 동기화부;

   상기 각 채널별로 독립된 영상신호를 순차적으로 부호화하여 각 채널별로 독립된 부호화된 비트열을 생성하는 부호화부를 포함하는 것을 특징으로 하는 시간분할방식의 다중처리 부호화 장치.
3. 제2항 있어서,

   상기 각 채널별의 독립적으로 부호화된 영상신호를 각 채널별의 독립된 비트열 또는 각 채널의 비트열을 하나의 비트열로 합성하여 출력하는 것을 특징으로하는 출력부를 더 포함하는것을 특징으로하는 시간분할방식의 다중처리 부호화 장치.
4. 영상 신호를 입력받아 동기신호 및 액티브영상정보를 추출하는 신호추출부;

   다중처리할 채널의 수에 따라 상기 추출된 액티브 영상신호를 공간적으로 데시메이션하는 데시메이션 필터부;

   상기 각 채널의 액티브 영상신호를 데시메이션 필터부로부터 수신하여 저장하였다가, 가장 늦게 수신한 채널의 영상신호의 동기신호에 맞추어 상기 저장된 각 채널의 독립된 영상신호를 하나의 영상신호로 합성하는 동기화부;

   상기 합성된 영상신호를 한 채널의 영상신호로 취급하여 동시에 부호화하므로써 하나의 단일한 부호화된 비트열을 생성하는 부호화부를 포함하는 것을 특징으로 하는 공간분할방식의 다중처리 부호화 장치.
5. 제4항에 있어서, 상기 부호화부는

   상기 각 채널의 영상신호들간의 경계정보를 기초로하여 상기 액티브 영상정보를 각 채널의 영상정보별로 독립적으로 부호화하고, 상기 부호화된 영상신호를 각 채널별로 분리하여 비트열로 출력하는, 상기 채널의 수와 동일한 수의 가변길이부호화부및 비트열버퍼를 포함하는 특징으로 하는 공간분할 다중처리 부호화 장치.
6. 제5항에 있어서,

   상기 각 채널별의 독립적으로 부호화된 영상신호를 각 채널별의 독립된 비트열 또는 상기 각 채널의 비트열을 하나의 비트열로 합성하여 출력하는 것을 특징으로하는 출력부를 더 포함하는 것을 특징으로 하는 공간분할방식의 다중처리 부호화 장치.
7. 제4항에 있어서,

   상기 부호화부에서 생성한 하나의 단일한 부호화된 비트열에 포함된 각 채널의 경계정보에 근거하여 각 채널의 비트열을 추출하여 각 채널별로 부호화된 비트열을 출력하는 비트열분배기를 포함하는 것을 특징으로 하는 공간분할방식의 다중처리 부호화 장치.
8. 제7항에 있어서,

   상기 각 채널의 경계정보는 슬라이스 스타트 코드(slice_start_code)이고,

   상기 비트열분배기는 매크로 블록 인크리먼트(macro_block_increment)값을 상기 슬라이스 스타트 코드가 있는 각 슬라이스의 경계의 시작점마다 1로 세팅하는 것을 특징으로 하는 공간분할 방식의 다중처리부호화 장치.
9. 제4항에 있어서,

   상기 부호화부에서 생성한 하나의 단일한 부호화된 비트열에 포함된 각 채널의 경계정보에 근거하여 다른 채널의 영상신호의 매크로블럭 사이의 차분 영상을 구하지 않도록 하여 화면의 찌그러짐을 방지하는 것을 특징으로 하는 공간분할방식의 다중처리 부호화 장치.
10. 제4항에 있어서,

    상기 부호화부에서 생성한 하나의 단일한 부호화된 비트열에 포함된 각 채널의 경계정보에 근거하여 영상의 움직임 예측시 다른 채널의 영상신호의 화면의 경계를 넘어서 영상의 움직임을 탐색하지 않도록, 움직임의 탐색영역을 각 채널의 영상신호의 화면으로 제한하여 화면의 찌그러짐을 방지하는 것을 특징으로 하는 공간분할방식의 다중처리 부호화 장치.
11. 영상 신호를 입력받아 상기 비디오 신호로부터 동기신호 및 액티브 비디오 정보를 추출하는 비디오신호추출단계;

    다중처리할 채널의 수에 따라 상기 추출된 액티브 비디오 정보를 공간적으로 데시메이션하는 데시메이션필터링단계;

    상기 데시메이션된 각 채널의 액티브 비디오 정보들의 동기를 맞추고 직렬화하는 단계; 및

    상기 데시메이션된 각 채널의 액티브 비디오 정보를 순차적으로 부호화하는 부호화단계를 포함하는 것을 특징으로 하는 다중처리 부호화 방법.
12. 제11항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.