KR20040108796A - 워터마크 임베딩과 검색 - Google Patents

Abstract

핑거프린팅은, 신호 컨텐츠의 강한 지각적 특징들을 추출하고, 제목들, 아티스트들 등이 저장된 데이터베이스에서 추출된 특징들을 검색함으로써 멀티미디어 신호들을 식별하는 기술이다. 워터마킹은 비강제적인 방식으로 페이로드 데이터를 신호에 임베딩하는 기술이다. 본 발명은 두 기술들을 결합한다. 핑거프린트(M(i))가 호스트 신호(x)로부터 추출되고(1), 데이터베이스(5)에 저장된다. 워터마크(w(i))가 신호를 변경함으로써(21) 호스트 신호에 임베딩(2)되는데, 그러한 변경된 신호(x')의 핑거프린트(M'(i))는 원핑거프린트와 약간 다르다. 그 차이는 너무 작기 때문에, 데이터베이스는 그들을 유사한 것으로 고려한다. 수신기 단부에서, 핑거프린트가 워터마킹된 신호로부터 추출되고, 데이터베이스에 인가되는데, 이것은 신호의 원핑거프린트를 반환함으로써 응답한다. 임베딩된 워터마크는 호스트 신호로부터 추출된 핑거프린트에서 데이터베이스에 의해 공급된 원래의 핑거프린트를 감함으로써 검색된다.

Description

워터마크 임베딩과 검색{Watermark embedding and retrieval}

워터마크를 임베딩 및 검색하는 종래의 방법은, 분산 컴퓨팅 시스템들에 관한 워크샵인 2001년 IEEE 학술회의에 제출된, Khalid A. Kaabneh 및 Abdou Youssef의 "음소거-기반 오디오 워터마킹 기술(Muteness-Based Audio Watermarking Technique)" 379-383면에 개시된다. 이 종래 논문에서, 오디오 신호에서 발생하는 묵음(silence) 기간의 시퀀스(음소거 기간;mute periods)가 호스트 오디오 신호로부터 추출된다. 상기 음소거 기간을 약간만 변경하여 워터마크가 임베딩되고, 그런 워터마킹된 신호는 인간의 청각 시스템에서 지각할 정도로 상이하지 않다. 워터마크는 워터마킹된 카피로부터 음소거 기간을 추출하고, 그것으로부터 원래의 음소거 기간을 감함으로써 검색된다. 양자간의 차이는 검색될 워터마크이다.

종래 논문은, 워터마크 검출기가 음소거 기간의 원래 길이들을 갖는 것이 충분히 이용가능하다는 점을 개시한다. 원래 신호 그 자체는 요구되지 않는다. 논문은 워터마킹된 신호의 음소거 기간의 원래 길이가 어떻게 획득되는지에 관해서는 개시하지 않는다. 이것은 호스트 신호가 종종 공지되지 않는 실제 상황에서 문제가 있다.

본 발명은 워터마크를 정보 호스트 신호에 임베딩하는 방법 및 장치에 관한 것이다. 본 발명은 또한 임베딩된 워터마크를 검색하는 방법 및 장치에 관한 것이다.

도 1은 본 발명에 따른 워터마크 임베딩 장치과 워터마크 검색 장치를 포함하는 시스템의 개략도.

도 2는 본 발명에 따른 시스템의 또다른 실시예에 대한 개략도.

본 발명의 목적은 종래 워터마크 임베딩 및 검색 방법의 전술된 문제점에 대한 해법을 제공하는 것이다.

이 때문에, 본 발명은 호스트 신호에 워터마크를 임베딩하는 방법과 장치를 제공하고, 방법은 호스트 신호의 지각적 특징을 나타내는 원핑거프린트를 호스트 신호로부터 추출하는 단계; 호스트 신호의 원핑거프린트를 또다른 호스트 신호들의 원핑거프린트들과 함께 데이터베이스에 저장하는 단계; 및 핑거프린트가 임베딩될 워터마크에 따라 변경되도록 호스트 신호를 변경하는 단계를 포함한다.

서명이나 해시(hash)로 종종 언급되는 핑거프린트는, 신호의 지각적 특징들을 2진 시퀀스로 맵핑하는 기능의 결과이다. 암호 해시들이 매우 약한 것(소스 데이터의 단일 비트를 플리핑(flipping)하는 것은 일반적으로 완전히 상이한 해시를 발생시킨다)과는 달리, 핑거프린트들은 여기서 강한 것으로 이해된다. 즉, 만약 소스 신호들이 지각적으로 유사하다면, 대응하는 핑거프린트들 또한 매우 유사하다. 그러므로, 핑거프린트들은 시청각 컨텐츠를 식별하도록 사용된다. 그러한 핑거프린트들의 예와 그의 사용이, 2001년 이탈리아 브레시아에서 열린 컨텐츠-기반멀티미디어 인덱싱(Content-Based Multimedia Indexing;CBMI) 학술회의에서 발표된 Jaap Haitsma, Ton Kalker 및 Job Oostveen의 "컨텐츠 식별을 위한 강한 오디오 해싱(Robust Audio Hashing for Content Identification)"에 개시된다.

본 발명은 종래 기술에 의해 개시된 바와 같이 워터마크를 나타내도록 변경되는 지각적 특징들이 핑거프린트를 구성한다는 인식에 기초한다. 본 발명은, 지각적으로 상이한 호스트 신호들의 핑거프린트들은 실질적으로 상이한데 반하여, 워터마킹된 신호의 핑거프린트와 원핑거프린트는 약간만 상이하다는 점을 이용한다. 따라서 본 발명으로, 워터마킹된 신호가 데이터베이스에 저장된 원핑거프린트에 의해 식별될 수 있다는 점이 달성된다.

워터마킹된 호스트 신호에 임베딩된 워터마크를 검색하는 대응하는 방법은 워터마킹된 호스트 신호의 지각적 특징을 나타내는 핑거프린트를 워터마킹된 호스트 신호로부터 추출하는 단계; 복수의 호스트 신호들의 원핑거프린트들이 저장된 데이터베이스에서 추출된 핑거프린트와 실질적으로 매칭하는 원핑거프린트를 검색하는 단계; 및 데이터베이스에서 발견된 원핑거프린트와 상기 추출된 핑거프린트 사이의 차이를 결정하는 단계로서, 상기 차이는 검색될 워터마크를 나타내는, 상기 결정 단계를 포함한다. 워터마크 임베딩 방법의 실시예는 호스트 신호의 신원을 상기 호스트 신호로부터 추출하는 단계 및 대응하는 원핑거프린트의 위치를 데이터베이스에서 식별하도록 상기 신원을 데이터베이스에 저장하는 단계를 더 포함한다. 그러한 부가적인 신원은 데이터베이스에서 원핑거프린트을 검색하는 처리를 용이하고, 신속하며, 보다 단일하게 한다.

바람직한 실시예에서, 신원은 호스트 신호의 또다른 지각적 특징을 나타내는 또다른 핑거프린트이다. 그러한 실시예로, 하나의 핑거프린트가 워터마크를 전달하는 반면에, 다른 핑거프린트는 원핑거프린트의 위치를 데이터베이스에서 식별하도록 사용된다. 상이한 핑거프린트 체계들은 이제, 각각의 목적을 위해 최적으로 선택될 수 있다.

본 발명의 상기 및 다른 양상들이 이하에서 기술된 실시예를 참조하여 분명해지고 명백해질 것이다.

도 1은 본 발명에 따른 워터마크 임베딩 장치과 워터마크 검색 장치를 포함하는 시스템의 개략도이다. 워터마크 임베딩 장치은 핑거프린트 추출 회로(1)와 워터마크 임베딩 모듈(2)을 포함한다. 워터마크 검색 장치은 핑거프린트 추출 회로(3)와 워터마크 검색 모듈(4)을 포함한다. 두 장치들 모두 데이터베이스(5)에 액세스한다.

워터마크 임베딩 장치은 멀티미디어 호스트 신호(x)를 수신한다. 여기서 멀티미디어 신호(x)는 오디오 신호로 가정될 것이지만, 멀티미디어 신호는 또한 비디오, 이미지 또는 다른 유형의 신호일 수도 있다는 점이 인정될 것이다. 신호(x)가 핑거프린트 추출 회로(1)에 인가되고, 이것은 상기 참조된 Kaabneh 등의 개시에 따라 묵음 기간의 발생에 대해 오디오 신호를 분석한다. 추출 회로의 출력은 음소거 기간 M(i)의 시퀀스의 형태로 핑거프린트을 구성한다. 원래의 호스트 신호(x)로부터 추출된 핑거프린트 M(i)는 원래의 핑거프린트로서 또한 참조될 것이다. 원래의 핑거프린트 M(i)는 음악의 제목, 아티스트, 생성 날짜 등과 같은 다른 가능한 데이터와 함께 데이터 베이스(5)에 저장된다. 복수의 상이한 음악들로부터 추출된 복수의 핑거프린트들은 이런 방식으로 데이터베이스에 저장된다.

오디오 신호(x)는 또한 워터마크 임베딩 모듈(2)에 인가된다. 이 모듈에서, 워터마크가 임베딩되는데, 워터마크 신호 샘플들 w(i)의 시퀀스 형태로 모듈에 인가된다. 워터마크 임베딩 모듈(2)은, 음소거 기간 M(i)이 워터마크에 따라 약간만 길어지거나 짧아지는 방식으로 신호(x)를 변경한다. 이 연산은 일반적으로 이하와 같이 표현될 수 있다:

M'(i)=M(i)+w(i) (1)

도면에서, 워터마크 임베딩 동작이 변경 회로(21), 분리 회로(22), 및 삽입 회로(23)에 의해 실행되는 바와 같이 개략적으로 도시된다. 변경 회로(21)는 각각의 워터마크 샘플들 w(i)에 따라 원래의 음소거 기간 M(i)를 변경된 음소거 기간M'(i)으로 변경한다. 우선, 신호로부터 원래의 음소거 기간을 분리하고, 이어서 새로운 음소거 기간 M'(i)을 신호에 삽입함으로써 워터마크가 임베딩된다.

워터마크 검색 장치은 워터마킹된 신호(x')를 수신한다. 워터마크된 신호는 핑거프린트 추출 회로(3)에 인가되고, 이것은 임베딩 장치의 핑거프린트 추출 회로(1)와 유사하다. 따라서, 음소거 기간 M'(i)이 워터마킹된 신호(x')로부터 추출된다. 음소거 기간 M'(i)의 시퀀스는 데이터베이스에 저장된 복수의 원핑거프린트들과 매칭시키기 위해 데이터베이스(5)에 인가된다. 워터마킹된 신호(x')의 음소거 기간 M'(i)과 원래 신호(i)의 원핑거프린트 M(i) 사이의 차이가 작기 때문에, 데이터베이스에서 발견된 가장 유사한 음소거 기간의 시퀀스가 원래 신호(x)에 대응하는 것으로 추정될 수 있다. 다른 신호들의 저장된 핑거프린트들은 일반적으로 실질상 상이할 것이다.

데이터베이스(5)는 음소거 기간 M'(i)의 원래 시퀀스를 워터마크 검색 모듈(4)로 출력한다. 여기서, 워터마크를 검색하도록 데이터베이스에서 발견된 원래의 음소거 기간 M(i)이 추출된 음소거 기간 M'(i)과 비교된다.

식(1)에 따라, 이 연산은 일반적으로 이하와 같이 표현될 수 있다:

w(i)=M'(i)-M(i) (2)

음악의 제목, 아티스트, 생성 날짜 등과 같이, 음악과 연관된 부가적인 데이터가 데이터베이스로부터 검색될 수 있다.

전술된 예에서, 핑거프린트는 오디오 신호의 음소거 기간에 의해 나타난다. 강한 지각적 특징의 또다른 예는, 상기 참조된 Haitsma 등에 개시된 바와 같이, 핑거프린트가 오디오 신호의 일부 주파수 대역의 에너지 차에 대한 2진 표현이라는 점을 구성할 수 있다. Haitsma 등의 참조문헌은 또한, 데이터베이스에서 가장 유사한 핑거프린트를 발견하도록 실용적인 매칭 방법에 대한 상세한 설명을 제공한다. 비디오 및 이미지 애플리케이션들에 대해서는, 이미지 블록들간의 평균 휘도 차의 시퀀스가 핑거프린트를 구성할 수 있다.

도 2는 시스템의 또다른 실시예의 개략도이다. 동일한 참조 번호는 도 1과 동일한 요소를 나타내도록 이 도면에서 사용된다. 임베딩 장치은 이제, 원래의 호스트 신호(x)를 식별하도록 신원 신호(ID)를 발생하는 신원 회로(6)를 포함한다. 신원 신호(ID)는 연관된 핑거프린트 M(i)와 함께 데이터베이스(5)에 저장된다. 검색 장치은 워터마킹된 신호(x')를 식별하도록 신원 신호(ID')를 발생하는 동일 또는 유사한 신원 회로(7)를 포함한다. 이 실시예에서, 신원 신호(ID')는 원래 신호(x)의 저장된 핑거프린트 M(i)를 데이터베이스에서 검색하도록 사용된다.

만약 원래 신호(x)가 파일을 식별하는 ID 태그와 같은 메타데이터를 포함하는 디지털 컴퓨터 파일(예컨대, mp3 음악)이라면, 신원 신호(ID)는 상기 ID 태그(부분)의 형태를 취할 수 있다. ID 태그가 워터마크 임베딩 처리에 의해 영향받지 않는다고 가정하면, 워터마킹된 신호로부터 파생된 신원 신호(ID')는 정확히 동일하다. 핑거프린트 매칭에 대한 꽤 복잡한 처리는 이제 간단한 색인 동작으로 감소된다. 따라서, 원래 신호의 원핑거프린트 M(i)는 데이터베이스에서 용이하게 발견될 수 있다.

만약 원래 신호(x)가 그러한 태그를 갖지 않는다면, 신원 신호(ID)는 신호의 또다른 핑거프린트일 수 있고, 이제, 컨텐츠의 상이하고 강한 지각적 특징을 기초로하여 추출된다. 이 경우, 신원 회로들(6,7)은 또다른 핑거프린트 추출 회로들이다. 이 실시예는 각각의 목적을 위해 최적화되도록, 핑거프린트 추출 회로들(1,3)이 워터마크를 전달하게 하는 한편, 다른 한편으로는 신원 회로들(6,7)이 신원을 시그널링하게 한다.

데이터베이스(5)의 위치는 본 발명과 무관하다는 점에 유의해야 한다. 데이터베이스는 임베딩 장치 단부, 검색 장치 단부, 또는 양자로부터 원격으로 위치될 수 있다. 필요한 곳에서, 인터넷과 같은 네트워크들이 데이터베이스에 핑거프린트들을 인가하거나, 데이베이스로부터 핑거프린트들을 검색하도록 사용될 수 있다.

본 발명은 이하와 같이 요약될 수 있다. 핑거프린팅은, 신호 컨텐츠의 강한 지각적 특징들을 추출하고, 제목들, 아티스트들 등이 저장된 데이터베이스에서 추출된 특징들을 검색함으로써 멀티미디어 신호들을 식별하는 기술이다. 워터마킹은 비강제적인 방식으로 페이로드 데이터를 신호에 임베딩하는 기술이다. 본 발명은 두 기술들을 결합한다. 핑거프린트(M(i))가 호스트 신호(x)로부터 추출되고(1), 데이터베이스(5)에 저장된다. 워터마크(w(i))가 신호를 변경함으로써(21) 호스트 신호에 임베딩(2)되는데, 그러한 변경된 신호(x')의 핑거프린트(M'(i))는 원핑거프린트와 약간 다르다. 그 차이는 너무 작기 때문에, 데이터베이스는 그들을 유사한 것으로 고려한다. 수신기 단부에서, 핑거프린트가 워터마킹된 신호로부터 추출되고, 데이터베이스에 인가되는데, 이것은 신호의 원핑거프린트를 반환함으로써 응답한다. 임베딩된 워터마크는 호스트 신호로부터 추출된 핑거프린트에서 데이터베이스에 의해 공급된 원래의 핑거프린트를 감함으로써 검색된다.

Claims (8)

1. 호스트 신호에 워터마크를 임베딩하는 방법으로서,

   - 상기 호스트 신호의 지각적(perceptual) 특징을 나타내는 원핑거프린트(fingerprint)를 상기 호스트 신호로부터 추출하는 단계;

   - 상기 호스트 신호의 상기 원핑거프린트를 또다른 호스트 신호들의 원핑거프린트들과 함께 데이터베이스에 저장하는 단계; 및

   - 상기 핑거프린트가 임베딩될 상기 워터마크에 따라 변경되도록 상기 호스트 신호를 변경하는 단계를 포함하는, 워터마크 임베딩 방법.
2. 제 1 항에 있어서,

   상기 호스트 신호의 신원을 상기 호스트 신호로부터 추출하는 단계와, 상기 데이터베이스에서 대응하는 원핑거프린트의 위치를 식별하도록 상기 데이터베이스에 상기 신원을 저장하는 단계를 더 포함하는, 워터마크 임베딩 방법.
3. 제 2 항에 있어서,

   상기 신원은 상기 호스트 신호의 또다른 지각적 특징을 나타내는 또다른 핑거프린트인, 워터마크 임베딩 방법.
4. 워터마킹된 호스트 신호에 임베딩된 워터마크를 검색하는 방법으로서,

   - 상기 워터마킹된 호스트 신호의 지각적 특징을 나타내는 핑거프린트를 상기 워터마킹된 호스트 신호로부터 추출하는 단계;

   - 복수의 호스트 신호들의 원핑거프린트들이 저장되는 데이터베이스에서, 상기 추출된 핑거프린트와 실질적으로 매칭(match)하는 원핑거프린트를 검색하는 단계; 및

   - 상기 데이터베이스에서 발견된 상기 원핑거프린트와 상기 추출된 핑거프린트 사이의 차이를 결정하는 단계로서, 상기 차이는 검색될 상기 워터마크를 나타내는, 상기 결정 단계를 포함하는, 워터마크 검색 방법.
5. 제 4 항에 있어서,

   각각의 복수의 호스트 신호들에 대해, 대응하는 원핑거프린트의 위치를 식별하기 위한 신원이 상기 데이터베이스에 저장되고, 상기 방법은 상기 워터마킹된 호스트 신호로부터 상기 워터마킹된 호스트 신호의 신원을 추출하는 단계와, 상기 대응하는 원핑거프린트의 위치를 상기 데이터베이스에서 식별하도록 상기 신원을 사용하는 단계를 더 포함하는, 워터마크 검색 방법.
6. 제 5 항에 있어서,

   상기 신원은 상기 워터마킹된 호스트 신호의 또다른 지각적 특징을 나타내는 또다른 핑거프린트인, 워터마크 검색 방법.
7. 호스트 신호(x)에 워터마크를 임베딩하는 장치로서,

   - 상기 호스트 신호의 지각적 특징을 나타내는 원핑거프린트(M(i))를 상기 호스트 신호로부터 추출하고, 상기 호스트 신호의 상기 원핑거프린트를 또다른 호스트 신호들의 원핑거프린트들과 함께 데이터베이스(5)에 저장하는 수단(1); 및

   - 상기 핑거프린트가 임베딩될 상기 워터마크(w(i))에 따라 변경되도록 상기 호스트 신호를 변경하는 수단(2)을 포함하는, 워터마크 임베딩 장치.
8. 워터마킹된 호스트 신호(x')에 임베딩된 워터마크를 검색하는 장치로서,

   - 상기 워터마킹된 호스트 신호의 지각적 특징을 나타내는 핑거프린트(M'(i))를 상기 워터마킹된 호스트 신호로부터 추출하는 수단(3);

   - 복수의 호스트 신호들의 원핑거프린트들이 저장되는 데이터베이스에서, 상기 추출된 핑거프린트와 실질적으로 매칭하는 원핑거프린트(M(i))를 검색하는 수단(5); 및

   - 상기 데이터베이스에서 발견된 상기 원핑거프린트와 상기 추출된 핑거프린트 사이의 차이를 결정하는 수단(4)으로서, 상기 차이는 검색될 상기 워터마크(w(i))를 나타내는, 상기 결정 수단을 포함하는, 워터마크 검색 장치.