KR20020040503A - 동영상 비디오 스트림의 장면전환 검출방법 - Google Patents

Abstract

본 발명은 동영상 비디오 스트림(Video Stream)에서 장면(scene) 전환 부분을 검출하기 위한 방법에 관한 것이다.

본 발명은 MPEG을 이용한 동영상 압축 부호화에서, 디지털 동영상 신호를 이산 코사인 변환(DCT:Discrete Cosine Transform)하고, DCT 계수 중에서 AC계수를 이용해서 동영상의 장면 전환부분을 검출하는 방법이다.

본 발명은 DCT변환의 AC계수를 이용해서 동영상 비디오 스트림의 엣지(edge) 영상의 히스토그램(histogram)을 구하고, 이 엣지 히스토그램의 변화 정도를 측정하여 조명변화나 물체의 움직임에 의한 장면전환 오검출을 방지하고, 정확한 장면전환 검출을 수행함으로써, DVD(Digital Video Disk), 전자 도서관, VOD(Video On Demand)와 같은 동영상 콘텐츠 서비스를 수행할 때 자료 검색이나 브라우징을 위한 장면전환 부분의 검출을 정확하게 수행할 수 있도록 한 동영상 비디오 스트림의 장면전환 검출방법에 관한 것이다.

Description

동영상 비디오 스트림의 장면전환 검출방법{SHOT DETECTING METHOD OF VIDEO STREAM}

본 발명은 동영상 비디오 콘텐츠에서 장면이 전환되는 부분을 정확하게 검출할 수 있도록 한 동영상 비디오 스트림의 장면전환 검출방법에 관한 것이다.

특히 본 발명은 디지털 비디오 신호에 대해서 MPEG 기반으로 압축 부호화를 수행할 때, 비디오 신호의 DCT 변환계수(Discrete Cosine Transform Coefficient) 중에서 AC 계수를 이용해서 영상의 엣지(edge)를 검출하고, 이렇게 검출된 엣지성분을 이용해서 장면전환 여부를 판단함으로써, 동영상의 장면전환 부분을 정확하게 검출할 수 있도록 한 동영상 비디오 스트림의 장면전환 검출방법에 관한 것이다.

디지털 신호처리 기술의 발달은 DVD, 전자 도서관, VOD 등과 같이, 보다 다양하고 풍부하며 사용자 친화적인 동영상 콘텐츠의 제공 뿐만 아니라, 각종 디지털 정보의 기록매체를 통한 동영상 콘텐츠의 제공, 인터넷과 같은 네트워크 기반의 동영상 콘텐츠의 제공을 가능하게 하고 있으며, 영화나 드라마 등과 같은 동영상 콘텐츠를 내용기반으로 검색 및 브라우징할 수 있는 기술적 기반이 제시되고 있다.

또한, 동영상 콘텐츠들은 디지털 압축 부호화 기술을 기반으로 해서 제공되고 있으며, 이 중에서 MPEG 기반의 영상 압축 부호화 기술이 널리 사용되고 있다.

MPEG 기반의 영상 압축 부호화 기술은, 동영상 비디오 신호의 압축 및 전송효율을 높이기 위해서 공간적 중복성을 피하기 위한 DCT변환과, 시간적 중복성을 피하기 위한 움직임 추정(ME:Motion Estimation) 및 움직임 보상(MC:Motion Compensation)을 수행하여 영상신호를 압축 부호화하고 있다.

MPEG 기반으로 압축 부호화된 동영상 비디오 스트림은 앞에서 설명한 바와같이 해당 동영상 콘텐츠에 대하여 보다 다양하고 풍부한 기능, 예를 들면 내용기반으로 동영상 검색을 수행한다던가 하는 등의 목적을 위해서, 동영상 비디오 스트림의 장면(scene)이 전환되는 부분의 검출이 요구된다.

이러한 장면전환 검출 기술로 종래에는 인접 프레임간의 영상차 즉, 장면이 전환된 부분은 이전 프레임과 현재 프레임의 영상신호의 차가 급격하게 변화된다는 점을 기반으로 하여, DCT 계수 중에서 DC계수를 이용한 방법이 있다. DCT변환의 DC계수를 이용한 장면전환 방법은 다음과 같은 기술적 근거에 따른다.

DC 계수는 전체 영상을 8 ×8 블록 단위로 분할하여 구한 블록의 평균값이기 때문에, 이 DC 계수를 이용해서 전체 영상과 비슷한 축소된 DC 영상을 얻을 수 있고, 현재 프레임의 DC 영상과 이전 프레임의 DC 영상의 차를 구함으로써, 장면전환 여부를 판정할 수 있다는 것이다.

즉, 드라마를 예로 들어 보면, 스토리 전개상 특정한 장소에서 특정한 등장인물이 계속하여 등장하고 서로 대화하는 장면이 지속된다면 카메라에 의해서 촬영된 내용의 시간적 경과에 따른 급격한 영상변화가 상대적으로 적은 값이 될 것이고, 만약 장면이 전환되어 이전 장면과 현재 장면이 전혀 다른 장소를 배경으로 하게 된다면 현재 프레임의 영상과 이전 프레임의 영상은 급격하게 변화될 것이므로, 이러한 영상신호의 급격한 변화를 DCT변환의 DC계수를 이용해서 검출 및 판정함으로써, 장면이 전환되었다고 결정하고 해당 구간을 장면전환 구간으로 설정하는 것이다.

이와같이 장면전환의 검출을 자동적으로 수행함으로써, 동영상 비디오의 내용을 장면전환 지점을 기준으로 해서 구분할 수 있고, 이러한 구분은 동영상 콘텐츠에 대한 보다 다양한 서비스를 가능하게 할 수 있는 것이다.

그러나, 종래에 DCT변환의 DC 계수를 이용해서 장면전환을 검출하는 방법은 다음과 같은 오류의 가능성이 매우 크다.

즉, 스포츠 중계 장면처럼 같은 장면에서 선수들의 움직임이 매우 빠른 동영상인 경우에는 인접 프레임 마다 그 영상의 변화 정도가 매우 급격하고 또 커질 것이지만, 이러한 경우에도 장면전환은 아니라고 할 수 있다. 그렇지만 DCT변환의 DC계수를 이용해서 장면전환을 검출하는 알고리즘이라면 이 문제를 해결할 수 없다.

더구나 조명의 변화가 매우 심한 동영상, 예를 들면 쇼 프로그램 등과 같은경우에는 장면전환이 일어나지 않더라도 이전 영상과 현재 영상의 급격한 신호 변화(DC 영상 간의 차)가 검출되기 때문에 결국 이러한 경우에도 장면이 전환된 구간으로 잘못 검출하게 될 수 있다.

장면전환의 오검출은 동영상 콘텐츠에서 예를 들면 내용기반의 검색 및 브라우징을 수행한다던가, 혹은 사용자가 특정한 장면을 검색 및 브라우징한다던가 할 때에 정확한 정보의 검색을 어렵게 하고, 콘텐츠의 서비스 질을 떨어 뜨리는 요인이 된다.

따라서, 위와같은 장면전환 오검출의 경우를 줄이고, 보다 정확하게 실질적인 장면전환이 일어난 구간을 검출하는 방법이 요구된다.

본 발명은 MPEG 기반의 동영상 압축 부호화에서, 디지털 동영상의 엣지 성분을 검출하고, 현재 프레임과 이전 프레임의 엣지 성분의 변화를 이용해서 장면전환 여부를 판별함으로써, 보다 정확하게 동영상의 장면전환 구간을 검출할 수 있도록 한 동영상 비디오 스트림의 장면전환 검출방법을 제안한다.

특히 본 발명은 MPEG 기반의 동영상 압축 부호화에서, 디지털 동영상에 대하여 DCT 변환의 AC계수를 이용해서 영상 내의 엣지 정보를 구하고, 이 구해진 엣지 정보의 변화 정도에 따라서 장면전환 여부를 검출함으로써, 같은 장면에서 조명의 변화 등에 의해 생기는 장면전환 오검출을 줄이고, 보다 정확하게 동영상의 장면전환 구간을 검출할 수 있도록 한 동영상 비디오 스트림의 장면전환 검출방법을 제안한다.

또한 본 발명은 동영상 내의 물체 형태에 대한 정보인 엣지 정보를 DCT변환의 AC계수를 이용해서 구하고, 이 엣지 영상의 히스토그램 비교를 통해서 장면 전환 여부를 검출하되, 엣지 영상의 히스토그램 비교시 움직임 보상을 한 후 그 변화정도를 측정함으로써, 같은 장면에서 물체의 움직임에 의해 발생하는 장면전환 오검출을 줄일 수 있도록 한 동영상 비디오 스트림의 장면전환 검출방법을 제안한다.

도1은 DCT 변환의 AC계수를 설명하기 위한 도면

도2는 MPEG 동영상 압축 부호화시의 움직임 추정 및 움직임 보상에 의해 부호화된 장면에서의 분산값 예측을 설명하기 위한 도면

도3은 방향성 엣지 히스토그램을 이용한 움직임 보상을 설명하기 위한 도면

본 발명의 동영상 비디오 스트림의 장면전환 검출방법은, MPEG 동영상 압축 부호화를 기반으로 하여 동영상 비디오 스트림을 처리함에 있어서, 동영상 신호의 엣지성분을 추출하는 단계와, 상기 추출된 현재 프레임과 이전 프레임의 엣지 성분을 비교하는 단계와, 상기 현재 프레임과 이전 프레임의 엣지 성분의 비교 결과가 소정의 임계치 이상인 경우 해당 구간을 장면전환 구간으로 검출하는 단계로 이루어진 것을 특징으로 하는 동영상 비디오 스트림의 장면전환 검출방법이다.

또한 본 발명은 상기 현재 프레임과 이전 프레임의 엣지 성분을 검출할 때, 동영상 신호에 대해서 DCT변환을 수행하여 구한 AC계수를 이용해서, 물체의 형태에 관한 정보인 엣지 성분을 구하는 것을 특징으로 하는 동영상 비디오 스트림의 장면전환 검출방법이다.

또한 본 발명은 상기 엣지 영상의 히스토그램을 이용해서 움직임 추정 및 보상을 수행한 후 상기 엣지 성분의 변화정도를 측정하여 장면전환 여부를 검출하는 것을 특징으로 하는 동영상 비디오 스트림의 장면전환 검출방법이다.

상기한 바와같이 이루어진 본 발명의 동영상 비디오 스트림의 장면전환 검출방법을 첨부된 도면을 참조하여 실시예로서 설명하면 다음과 같다.

먼저, 도1을 참조하여 MPEG 비디오 시퀀스 내의 DCT 변환의 AC계수(a_uv)가 나타내는 영상 내의 엣지 정보에 대해서 설명한다.

도1은 DCT변환의 기저 영상(N=4)을 나타낸 도면으로서, 이와같이 MPEG 비디오 시퀀스로부터 엣지 정보를 추출하기 위해서 영상신호를 DCT변환하고, 이로부터 AC계수에 해당하는 데이터를 추출한다. 이렇게 추출된 각각의 AC계수들은 도1에 나타낸 바와같이 영상 내에 포함된 해당 엣지 정보의 크기를 나타내고, 이 엣지 정보는 그 영상 내의 물체의 형태에 관한 정보이므로, 이 정보를 이용해서 장면전환 여부를 검출할 수 있다.

즉, 도1에서와 같이 구한 AC계수들을 이용해서 프레임 내의 엣지 강도를 구한다. 여기서 고주파에 해당하는 엣지 성분은 물체의 형태를 나타내는 엣지 정보라고 하기 보다는 텍스쳐(texture)에 관련된 경우가 많으므로, 본 발명에서는 저주파에 해당하는 F_uv=a_uv(u<N, v<N)의 계수만을 이용한다.

이 것은 예를 들면 '바람에 흩날리는 나뭇잎이 햇빛에 반사되어 반짝이는 화면'인 경우와 같은 장면에 대처하기 위함이다. 이와같이 DCT변환의 AC계수가 엣지 강도를 반영하는 것은 다음과 같은 이유에서 이다.

알려진 바와같이 MPEG은 공간적 중복성을 제거하기 위해서 DCT변환을 하고, 시간적 중복성을 제거하기 위해서 움직임 추정(ME) 및 움직임 보상(MC)을 수행하여 영상신호를 압축 부호화하고 있다. 그러므로 ME/MC에 의해서 부호화된 장면에서의엣지 정보를 구하기 위해서는 도2에 도시한 바와같은 분산값 예측 방법을 통하여 엣지 강도를 구할 수 있다.

즉, 도2에 도시한 바와같이 현재 프레임(Current frame)의 블록(Bp)의 분산값은 이전 프레임/참조 프레임(Previous frame/Reference frame)의 블록(Bp)과 겹치는 부분의 면적비와 분산값을 이용해서 구할 수 있는 것이다(Parseval의 정리).

이에 따르면 분산값은 결국 DCT 계수를 이용해서 구할 수 있게 되며, 예측된 분산값은 현재 AC계수를 이용해서 구한 엣지 강도와 비례한다. 그러므로 이 것을 이용하면 ME/MC 부호화된 장면에서의 엣지 강도를 구할 수 있게 되고, 이와같이 구해진 엣지 강도는 임의의 임계값에 의해서 엣지 영상으로 변환될 수 있다.

즉, 임의의 임계값을 기준으로 해서 그 이하인 엣지 강도와 그 이상인 엣지 강도로 나누어, 임계값 이하인 것은 버리고 임계값 이상인 것을 취하여 특정 장면에 해당하는 엣지 영상을 구하는 것이다.

이와같이 MPEG 비디오 시퀀스로부터 구한 일련의 엣지 영상들은 각각의 장면에 나타난 물체의 형태 정보를 표현하는 정보이므로, 현재 프레임과 이전 프레임에서의 엣지 정보들을 서로 비교한다면 장면 전환 여부를 쉽게 검출할 수 있게 되는 것이다. 더구나 물체의 형태는 조명의 변화에 민감하지 않기 때문에 엣지 정보를 이용해서 장면전환 여부를 검출하면, 같은 장면 내에서 조명의 변화가 심한 경우라도 그 장면을 장면전환 구간으로 오검출할 우려를 줄일 수 있다.

그러나 이 경우에도 앞에서 설명한 바와같이 스포츠 중계장면처럼 같은 장면에서 물체의 움직임이 심한 경우라면 오검출의 우려가 존재할 수 있다.

따라서, 본 발명에서는 이 것을 방지하기 위해서 엣지 영상의 히스토그램을 이용해서 움직임 추정 및 보상을 한 후 그 변화정도를 측정함으로써, 물체의 움직임에 의해서 생기는 잘못된 장면전환을 줄인다.

도3에 이 방법을 설명하기 위한, 방향성 엣지 히스토그램을 이용한 움직임 추정을 보이고 있다.

도3에 도시된 바와같이 어느 하나의 장면에서, 수직 방향의 히스토그램(Vertical histogram)을 구하고 또 수평 방향의 히스토그램(Horizontal histogram)을 구한다. 그리고 수평 및 수직 방향의 움직임을 추정하여 엣지 영상의 히스토그램 비교시 움직임 보상을 한 후, 그 변화 정도를 측정하는 것이다. 이렇게 움직임 추정 및 보상 후에 엣지성분의 변화 정도를 측정하면, 심하게 움직이는 물체가 있는 장면인지의 여부를 판별할 수 있고, 이러한 경우에는 그 장면은 비록 엣지 성분의 비교 결과가 장면전환으로 판정될 소지가 있다고 하더라도 장면전환이 아닌 경우로 간주하는 것이다.

본 발명에 따르면 같은 장면 안에서 조명의 변화나, 심하게 움직이는 물체의 움직임에 의해 발생되는 장면전환 오검출을 줄일 수 있다. 또한 DCT변환의 AC계수 중에서 몇개의 AC계수(주로 저주파에 관련된 AC계수)만을 이용하므로 계산량을 줄일 수 있다. 또한 본 발명은 MPEG 비디오의 엣지 정보를 이용해서 장면전환의 검출이 이루어질 수 있기 때문에, 내용 기반의 비디오 검색 및 브라우징 시스템에서도 뛰어난 성능을 발휘할 수 있다.

Claims (4)

1. 동영상 신호의 엣지성분을 추출하는 단계와, 상기 추출된 현재 프레임과 이전 프레임의 엣지 성분을 비교하는 단계와, 상기 현재 프레임과 이전 프레임의 엣지 성분의 비교 결과가 소정의 임계치 이상인 경우 해당 구간을 장면전환 구간으로 검출하는 단계로 이루어진 것을 특징으로 하는 동영상 비디오 스트림의 장면전환 검출방법.
2. 제 1 항에 있어서, 상기 현재 프레임과 이전 프레임의 엣지 성분을 검출할 때, 동영상 신호에 대해서 DCT변환을 수행하여 구한 AC계수를 이용해서, 물체의 형태에 관한 정보인 엣지 성분을 구하는 것을 특징으로 하는 동영상 비디오 스트림의 장면전환 검출방법.
3. 제 1 항에 있어서, 상기 엣지 영상의 히스토그램을 이용해서 움직임 추정 및 보상을 수행한 후 상기 엣지 성분의 변화정도를 측정하여 장면전환 여부를 검출하는 것을 특징으로 하는 동영상 비디오 스트림의 장면전환 검출방법.
4. 제 2 항에 있어서, 저주파에 해당하는 AC계수만을 이용해서 물체의 형태에 관한 정보인 엣지 성분을 구하여 장면전환 여부를 검출하는 것을 특징으로 하는 동영상 비디오 스트림의 장면전환 검출방법.