Nothing Special   »   [go: up one dir, main page]

KR100486047B1 - 동화상 검색 정보 기록 장치 및 동화상 검색 장치 - Google Patents

동화상 검색 정보 기록 장치 및 동화상 검색 장치 Download PDF

Info

Publication number
KR100486047B1
KR100486047B1 KR10-2001-7016932A KR20017016932A KR100486047B1 KR 100486047 B1 KR100486047 B1 KR 100486047B1 KR 20017016932 A KR20017016932 A KR 20017016932A KR 100486047 B1 KR100486047 B1 KR 100486047B1
Authority
KR
South Korea
Prior art keywords
information
scene
moving picture
search
scenes
Prior art date
Application number
KR10-2001-7016932A
Other languages
English (en)
Other versions
KR20020019482A (ko
Inventor
와따나베슈이찌
Original Assignee
샤프 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 샤프 가부시키가이샤 filed Critical 샤프 가부시키가이샤
Publication of KR20020019482A publication Critical patent/KR20020019482A/ko
Application granted granted Critical
Publication of KR100486047B1 publication Critical patent/KR100486047B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/11—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information not detectable on the record carrier
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/738—Presentation of query results
    • G06F16/739—Presentation of query results in form of a video summary, e.g. the video summary being a video sequence, a composite still image or having synthesized frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
    • G06F16/786—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content using motion, e.g. object motion or camera motion
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8227—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being at least another television signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/78—Television signal recording using magnetic recording
    • H04N5/782—Television signal recording using magnetic recording on tape
    • H04N5/783—Adaptations for reproducing at a rate different from the recording rate

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Library & Information Science (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Television Signal Processing For Recording (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

동화상 데이터에 의해 표현되며, 1 이상의 시간축 상의 부분 동화상(140, 142, 144, 146, 160)으로 이루어진 동화상을 검색하기 위한 검색 정보를, 기록 매체에 기록하는 동화상 검색 정보 기록 장치(40)는 동화상 데이터에 기초하여, 1 이상의 부분 동화상의 각각에 대응하여 검색 정보를 생성하는 검색 정보 생성부(102, 103, 104, 105)와, 검색 정보를 상기 검색 정보와 동화상 데이터와의 대응 정보와 함께 기록 매체에 기록하는 기록부(106)를 포함한다. 검색 정보 생성부(102, 103, 104, 105)는 1 이상의 시간축 상의 부분 동화상(140, 142, 144, 146, 160)의 각각을 공간적으로 분할하는 것에 의해 얻어지는 1 이상의 공간적 부분 동화상의 요약 정보(188)를 생성하기 위한 제1 요약 정보 생성 수단(103)을 포함한다.

Description

동화상 검색 정보 기록 장치 및 동화상 검색 장치{DYNAMIC IMAGE SEARCH INFORMATION RECORDING APPARATUS AND DYNAMIC IMAGE SEARCHING DEVICE}
본 발명은 동화상을 검색하기 위한 정보를 기록하는 장치(동화상 검색 정보 기록 장치) 및 동화상을 검색하기 위한 장치(동화상 검색 장치)에 관한 것으로, 보다 상세하게는 동화상을 구성하는 복수개의 장면 중에서, 원하는 장면을 효율적으로 검색하여 추출하는 것을 가능하게 하는 동화상 검색 정보 기록 장치 및 동화상 검색 장치에 관한 것이다.
컴퓨터의 성능 향상, 기억 장치의 대용량화, 통신을 위한 인프라스트럭쳐(infrastructure)의 정비 등에 의해, 대량의 화상을 데이터 베이스화해 두고 필요할 때에 필요한 화상을 배신하는 서비스 등이 보급되고 있다. 화상을 디지털화하는 기술도 보급되고 있기 때문에, 개인적으로 동화상의 데이터 베이스를 구축하는 것도 가능하다.
이와 같이 동화상을 데이터 베이스화하면, 그 중에서 어떤 방법으로 원하는 동화상을 검색할지가 문제가 된다. 본 발명은 그와 같은 동화상의 검색 기술의 개량에 관한 것이다.
본 명세서에서 사용하는 「동화상」이라는 용어는, RGB(Red, Green, Blue) 신호로 이루어진 가공되어 있지 않은 동화상 데이터 및 MPEG(Moving Picture Experts Group) 등과 같이 디지털화되어, 소정의 동화상 압축 방식에 의해 부호화된 동화상 데이터의 양자를 포함하는 것으로 한다.
「장면」이라는 용어는, 연속하는 복수의 화상 프레임으로 이루어진 동화상의 구성 단위로, 예를 들면 녹화의 개시로부터 정지까지의 1회의 촬영으로 얻어진 동화상, 또는 편집 완료된 동화상 중에서, 2개의 편집점에서 양단을 구획한 일련의 동화상을 말한다. 편집 개소가 페이딩(fading), 디졸브(dissolve) 등의 특수한 효과를 포함하고 있는 경우도 포함한다. 하나의 장면은 복수개의 장면을 포함해도 된다.
「장면 전환점」이란 2개의 장면이 전환되는 시간축 상의 위치를 가리키고, 장면이 전환된 직후의 장면의 선두 프레임을 「장면 전환 프레임」이라 한다.
「키 프레임」이란 검색 등에서 이용되는 각 장면 또는 동화상 전체를 대표하는 특징적인 프레임을 말한다.
동화상 데이터는 시간축을 따라 변화되는 화상 정보로 이루어진 콘텐츠이다. 동화상 데이터는 그 전부가 검색 대상으로 된다. 따라서, 원하는 동화상을 검색하기 위한 가장 간단한 방법은 동화상 전체를 보고 원하는 동화상을 선택하는 것이다. 그러나, 동화상 전체를 보기 위해서는 일정 시간을 요한다. 따라서, 데이터 베이스에 등록되어 있는 동화상의 수가 증가되면, 원하는 동화상을 추출하기 위해 요하는 시간이 매우 커진다. 따라서 이 방법은 현실적이지 못하다.
효율적으로 동화상을 검색하기 위한 일반적인 방법으로는, 사전에 각 동화상의 내용을 대표하는 다양한 검색을 위한 정보(검색 정보)를 각 동화상에 대하여 준비하고, 이것에 기초하여 원하는 동화상을 검색한다.
검색 정보로서 이용되는 정보는 화상에 부가된 정보(부가 정보), 화상의 특성을 나타내는 정보(특성 정보) 및 화상의 개요를 나타내는 정보(개요 정보)를 포함한다. 부가 정보는 동화상에 부수적으로 준비되는 타이틀 또는 설명문을 포함한다. 특성 정보는 화상 신호로부터 도출되는 휘도 값의 빈도 혹은 프레임 간에서의 움직임 정보 등, 화상의 특성을 나타내는 정보를 포함한다. 개요 정보는 화상의 특성 정보 또는 외부로부터의 입력에 의해 정해지는 장면 전환점 또는 키 프레임 등을 포함한다.
상기한 정보 중에서, 특성 정보는 특히 편리하고 또한 중요하다. 예를 들면 동화상을 대표하는 키 프레임은 특성 정보를 이용하여 선택할 수 있다. 특성 정보는 수치화하는 것이 용이하고, 원하는 동화상의 특성을 특성 정보의 형태로 수치화하면, 요구된 특성 정보와 일치되는 특성을 갖는 동화상을 추출하는 것도 용이하게 할 수 있다. 이하의 설명에서는 「검색 정보」와 이 특성 정보를 설명한다.
일반적으로 동화상은 복수개의 장면을 포함한다. 검색자가 동화상을 검색하는 것은, 대부분의 경우, 검색 대상이 되는 1 또는 복수의 동화상으로부터 동화상 중에 포함되어 있는 원하는 프레임 또는 원하는 장면을 발견하기 위해서이다. 검색 정보를 이용하여 동화상 중에서 원하는 프레임 또는 장면을 발견하기 위한 기본적인 방법은, 사전에 각 프레임에 관한 검색 정보 또는 각 장면에 관한 검색 정보를 구해 기록해 놓고, 이들에 기초하여 프레임 또는 장면의 선택을 행하는 것이다.
이 점에 관하여, 일본국 특개평9-284702호 공보에는 장면 전환점을 검출하기 위한 프레임의 특징량으로서 프레임마다의 움직임 벡터의 총합 및 프레임을 구성하는 복수개의 소 영역의 프레임 내 및 프레임 간의 연속도를 이용하는 장치 및 방법이 개시되어 있다.
또한 일본국 특개평7-38842호 공보에는 각 장면 내의 움직임 벡터의 크기의 평균 값 및 화상의 색 막대 그래프를 장면의 특징량으로서 이용하여, 각 장면의 대표 화상을 화상 인덱스로서 표시할 때의 제어 방법이 개시되어 있다.
이러한 종래 기술을 고려하여, 동화상을 검색하기 위한 정보를 기록하기 위한 장치(동화상 검색 정보 기록 장치) 및 동화상을 검색하기 위한 장치(동화상 검색 장치)를 작성하였다고 한다면, 이하에 설명하는 바와 같은 것으로 된다고 생각된다.
도 1을 참조하여, 상정된 종래의 동화상 검색 정보 기록 장치는 입력되는 동화상 데이터를 해석하여 장면으로 분할하고, 장면의 분할 위치(장면 전환) 등의 동화상의 구조를 나타내는 정보(동화상 구조 정보)를 출력하기 위한 해석부(601)와, 해석부(601)의 출력과 입력된 동화상 데이터를 받도록 접속되며, 해석부(601)로부터 출력된 동화상 구조 정보 및 동화상 데이터에 기초하여, 장면 내의 각 프레임에 대응하는 움직임 벡터의 총합 등의 화상의 요약 정보를 검색 정보로서 생성하여, 출력하는 프레임 단위의 검색 정보 생성부(602)와, 프레임 단위의 검색 정보 생성부(602)의 출력을 받도록 접속되며, 프레임 단위의 검색 정보 생성부(602)로부터 출력되는 프레임 단위의 요약 정보에 기초하여, 임의의 장면의 전체에 대한 움직임 벡터의 크기의 평균 값 등의 요약 정보를 검색 정보로서 생성하여 출력하기 위한 장면 단위의 검색 정보 생성부(603)와, 해석부(601)로부터 출력되는 동화상 구조 정보, 프레임 단위의 검색 정보 생성부(602)로부터 출력되는 각 프레임 단위의 검색 정보 및 장면 단위의 검색 정보 생성부(603)로부터 출력되는 장면 전체에 대한 검색 정보를 소정의 형식으로 배치함으로써, 동화상에 대응하는 검색 정보를 생성하여 출력하기 위한 동화상의 검색 정보 생성부(604)와, 원래의 동화상 데이터와, 동화상의 검색 정보 생성부(604)로부터 출력되는 동화상에 대응하는 검색 정보를 대응시켜 기록 매체(606)에 기억하기 위한 기록부(605)를 포함한다.
또, 1프레임은 동화상을 시간적으로 분할한 단위이다라고 생각할 수 있다. 따라서 프레임은 시간 분할 블록의 일례라고 할 수 있다.
도 2를 참조하여, 상정되는 종래의 화상 검색 장치는 기록 매체(606)로부터 동화상 검색 정보 및 동화상 데이터를 판독하기 위한 판독부(701)와, 판독부(701)로부터 공급되는 각 동화상 검색 정보를 유지하고, 검색 정보에 대한 요구를 받아 장면 단위의 검색 정보 또는 프레임 단위의 검색 정보를 동화상의 구조 정보와 함께 출력하기 위한 검색 정보 관리부(702)와, 장면 단위의 검색 요구를 받아, 검색 정보 관리부(702)에 장면 단위의 검색 정보와 동화상 구조 정보를 요구하고, 수취한 장면 단위의 검색 정보와 동화상 구조 정보에 기초하여, 검색 요구에 합치된 장면을 검출하여, 검출된 장면에 관한 정보를 출력하기 위한 장면 단위의 검색 실행부(703)와, 프레임 단위의 검색 요구를 받아, 검색 정보 관리부(702)에 대하여 장면 내의 프레임 단위의 검색 정보 및 동화상 구조 정보를 요구하고, 수취한 장면 내의 프레임 단위의 검색 정보 및 동화상 정보에 기초하여, 검색 요구에 합치된 장면 또는 프레임을 검출하여, 검출된 장면 또는 프레임에 관한 정보를 출력하기 위한 프레임 단위의 검색 실행부(704)와, 장면 단위의 검색 실행부(703) 및 프레임 단위의 검색 실행부(704)로부터 출력되는 검출된 장면에 관한 정보 또는 검출된 프레임에 관한 정보에 기초하여, 이들 검출된 장면 또는 프레임에 대응하는 화상 데이터를 판독부(701)를 통해 추출하여, 출력하기 위한 데이터 관리부(705)와, 오퍼레이터로부터 제공되는 검색 지시에 응답하여, 검색 요구를 장면 단위의 검색 실행부(703) 또는 프레임 단위의 검색 실행부(704)에 제공하고, 데이터 관리부(705)로부터 제공되는 동화상 데이터를 검색 결과로서 표시하는 처리를 반복하여, 검색 종료 시에는 검색 결과를 출력하기 위한 검색 제어부(706)를 포함한다.
도 1에 도시한 장치는 이하와 같이 동작하는 것이 상정된다. 동화상 데이터가 입력되면, 해석부(601)가 그 동화상 데이터를 장면 단위로 분할한다. 해석부(601)는 또한 동화상 구조 정보를 출력한다.
프레임 단위의 검색 정보 생성부(602)는 해석부(601)로부터 출력된 동화상 구조 정보 및 동화상 데이터에 기초하여, 장면 내의 프레임에 대응하는 요약 정보를 생성한다. 프레임 단위의 검색 정보 생성부(602)는 또한 이렇게 해서 생성된 요약 정보를 장면 단위의 검색 정보 생성부(603) 및 동화상의 검색 정보 생성부(604)에 검색 정보로서 출력한다.
장면 단위의 검색 정보 생성부(603)는 프레임 단위의 검색 정보 생성부(602)로부터 공급되는 프레임 단위의 요약 정보에 기초하여, 장면 전체에 대한 요약 정보를 생성한다. 장면 단위의 검색 정보 생성부(603)는 또한 이렇게 해서 생성된 요약 정보를 장면 단위의 검색 정보 생성부(603)에 검색 정보로서 제공한다.
동화상의 검색 정보 생성부(604)는 해석부(601)로부터 동화상 구조 정보를, 프레임 단위의 검색 정보 생성부(602)로부터 프레임 단위의 검색 정보를, 장면 단위의 검색 정보 생성부(603)로부터 장면 전체를 위한 검색 정보를 각각 받아, 소정의 형식으로 배치하여 동화상에 대응하는 검색 정보를 생성한다. 동화상의 검색 정보 생성부(604)는 이렇게 해서 생성된 동화상에 대응하는 검색 정보를 기록부(605)에 제공한다.
기록부(605)는 원래의 동화상 데이터와, 동화상의 검색 정보 생성부(604)로부터 제공된 검색 정보를 기록 매체(606)에 기록한다. 이 때 기록부(605)는 기록되는 동화상 데이터와 검색 정보가 대응하고 있는 것을 나타내는 정보를 동화상 데이터 또는 검색 정보 중 어느 한쪽 또는 양방에 부가하거나, 또는 동화상 데이터 및 검색 정보와는 별도로 기록한다.
도 2를 참조하여, 종래의 검색 장치는 이하와 같이 동작하는 것이 상정된다. 검색을 개시할 때, 오퍼레이터는 검색 제어부(706)에 대하여 검색 지시를 제공한다. 검색 제어부(706)는 이 검색 지시에 응답하여 장면 단위의 검색, 또는 프레임 단위의 검색 중 어느 하나를 선택한다.
예를 들면 장면 단위의 검색이 선택된 것으로 한다. 그렇게 하면, 검색 제어부(706)는 장면 단위의 검색 실행부(703)에 대하여 검색 요구를 제공한다. 장면 단위의 검색 실행부(703)는 이 요구에 응답하여, 검색 정보 관리부(702)에 대하여 장면 단위의 검색 정보와 동화상 구조 정보를 요구하고, 검색 정보 관리부(702)로부터 출력된 장면 단위의 검색 정보와 동화상 정보를 수취한다.
장면 단위의 검색 실행부(703)는, 이 장면 단위의 검색 정보와 동화상 구조 정보에 기초하여, 검색 제어부(706)로부터 제공된 검색 요구에 합치된 장면을 검출한다. 그리고 장면 단위의 검색 실행부(703)는 검출된 장면에 관한 정보를 데이터 관리부(705)에 대하여 출력한다.
데이터 관리부(705)는, 장면 단위의 검색 실행부(703)로부터 제공된 장면에 관한 정보에 기초하여, 대응하는 화상 데이터를 판독부(701)를 통해 기록 매체(606)로부터 판독하여, 검색 제어부(706)에 제공한다.
검색 제어부(706)는 이 화상 데이터를 표시한다. 오퍼레이터는 표시된 화상 데이터를 보고, 다음의 검색 방침을 결정하여, 다음의 검색 지시를 검색 제어부(706)에 제공한다. 이하, 마찬가지의 처리가 반복된다.
이렇게 해서, 오퍼레이터가 추출하고자 하는 화상이 추출되면 검색은 종료된다. 검색 결과는 검색 제어부(706)로부터 출력된다.
종래 기술에서는, 장면에 관한 검색 정보는 그 장면에 포함되는 프레임 단위의 검색 정보에 기초하여 생성되어 있다. 이것은 장면을 구성하는 최소 단위는 프레임이라고 일반적으로 인식되어 있는 것에 의한다.
이와 같이 개개의 프레임 단위의 검색 정보에 기초하여 장면의 검색 정보를 생성하면, 각 프레임을 소 영역으로 분할하여 얻어지는 각 프레임 내의 공간적인 특징(화면 분할 블록 단위의 검색 정보)을 검색 정보로서 이용할 수 있다. 그러나, 이들 종래의 장치에서는 시간축 상에 길이를 갖는 장면 전체에 걸치는 화상의 공간적인 특징을 취급할 수 없다고 하는 문제가 있다. 이 명세서에서는, 이와 같이 장면 전체에 걸치는 화상의 공간적인 특징을 「공간 분할 블록 단위의 검색 정보」라고 한다.
예를 들면, 화면 중앙부에 심하게 움직이는 물체가 나타나 있다라는 특징을 갖는 장면을 추출하고자 하는 경우를 생각한다. 종래 기술에서는 이러한 장면을 장면 단위의 검색 정보로부터 검색할 수 없어, 각 장면에 포함되는 각 프레임에 부가된 검색 정보까지 검색할 필요가 있다. 그 때문에 종래 기술에서는 그와 같은 검색은 효율이 매우 낮아진다.
본 발명은 종래 기술의 상기한 바와 같은 문제점을 감안하여 이루어진 것으로, 장면의 특징을 정확하게 나타내는 새로운 지표를 이용하여 동화상 검색을 효율적으로 행하는 것을 가능하게 하는 동화상의 검색 정보를 기록하는 장치 및 동화상을 검색하기 위한 장치를 제공하는 것을 목적으로 한다.
본 발명의 다른 목적은 장면을 시간적인 블록으로 분할하여 그 특징을 추출할 뿐만 아니라, 장면을 시간축 상에서는 분할하지 않고, 공간적으로만 분할하여 장면의 다른 특징을 추출함으로써, 동화상의 검색을 효율적으로 행하는 것을 가능하게 하는 동화상 검색 정보 기록 장치 및 동화상 검색 장치를 제공하는 것이다.
본 발명의 또 다른 목적은, 장면의 특징을 정확하게 나타내는 새로운 지표를 이용하여 동화상의 검색을 효율적으로 행하는 것이 가능하고, 또한 검색을 위한 정보의 정보량이 적게 되는 동화상 검색 정보 기록 장치 및 동화상 검색 장치를 제공하는 것이다.
<발명의 개시>
본 발명에 따른 동화상 검색 정보 기록 장치는, 동화상 데이터와, 동화상 데이터에 의해 나타내는 동화상을 시간축 상에서 1 이상의 시간축 상의 부분 동화상으로 분할하는 동화상 구조 정보에 기초하여, 1 이상의 부분 동화상의 각각에 대응하여 검색 정보를 생성하는 검색 정보 생성부와, 검색 정보와 동화상 구조 정보를 대응하는 동화상 데이터와 함께 기록 매체에 기록하는 기록부를 포함한다. 검색 정보 생성부는 1 이상의 시간축 상의 부분 동화상의 각각을 공간적으로 분할함으로써 얻어지는 1 이상의 공간적 부분 동화상의 요약 정보를 생성하기 위한 제1 요약 정보 생성부를 포함한다.
시간축 상의 부분 동화상의 각각을 공간적으로 분할함으로써 얻어지는 공간적 부분 동화상으로부터 요약 정보가 생성된다. 이 요약 정보는 본 발명에서 새롭게 도입된 것으로, 시간축 상의 부분 동화상 중의 시간적인 일부로부터 얻어지는 것은 아니다. 이 요약 정보는, 공간적으로는 화상의 일부만이지만, 시간축 상에서는 부분 동화상의 전체에 걸치는 공간적 부분 동화상으로부터 얻어진다. 따라서, 이 요약 정보는 임의의 부분 동화상의 시간적인 전체를 통해서 그 부분 동화상의 공간적인 특징을 나타낸다. 이 새로운 지표를 이용하여, 부분 동화상의 시간보다 공간적인 특징에 중점을 둔 검색을 효율적으로 행하는 것이 가능해진다.
본 발명의 다른 국면에 따른 동화상 검색 장치는, 동화상을 구성하는 1 이상의 부분 동화상의 각각에 대응한 검색 정보를 이용하여, 원하는 화상을 검색하기 위한 동화상 검색 장치이다. 이 동화상을 나타내는 동화상 데이터에는 검색 정보가 대응되어 있고, 검색 정보는 1 이상의 시간축 상의 부분 동화상의 각각을 공간적으로 분할함으로써 얻어지는 1 이상의 공간적 부분 동화상의 요약 정보를 포함한다. 본 발명에 따른 동화상 검색 장치는, 검색 정보를 판독하여 관리하기 위한 정보 추출부와, 이 정보 관리부에 접속되며, 외부로부터 제공되는 시간축 상의 부분 동화상을 검색 단위로 하는 제1 검색 요구에 응답하여, 검색 정보에 포함되는 공간적 부분 동화상의 요약 정보를 이용하여, 제1 검색 요구에 합치되는 시간축 상의 부분 동화상을 검색하기 위한 제1 부분 동화상 검색부를 포함한다.
시간축 상의 부분 동화상의 각각을 공간적으로 분할함으로써 얻어지는 공간적 부분 동화상으로부터 얻어진 요약 정보는 본 발명에서 새롭게 도입된 것으로, 공간적으로는 화상의 일부만이지만, 시간축 상에서는 부분 동화상의 전체에 걸치는 공간적 부분 동화상으로부터 얻어진다. 따라서, 이 요약 정보는 임의의 부분 동화상의 시간적인 전체를 통해서 그 부분 동화상의 공간적인 특징을 나타낸다. 따라서 본 발명에 따른 동화상 검색 장치에 따르면, 이 새로운 지표를 이용하여, 부분 동화상의 시간보다 공간적인 특징에 중점을 둔 검색을 효율적으로 행할 수 있다.
도 1은 상정된 종래의 동화상의 검색 정보 기록 장치의 개략 블록도.
도 2는 상정된 종래의 동화상의 검색 장치의 개략 블록도.
도 3은 본 발명의 일 실시예에 따른 동화상 검색 정보 기록 장치의 블록도.
도 4는 본 발명의 일 실시예에 따른 동화상 검색 정보 기록 장치에서, 동화상을 장면으로 분해하는 과정을 나타내는 도면.
도 5는 본 발명의 일 실시예에 따른 동화상 검색 정보 기록 장치에서, 시간 분할 블록 단위의 검색 정보가 생성되는 과정을 나타내는 도면.
도 6은 본 발명의 일 실시예에 따른 동화상 검색 정보 기록 장치에서, 공간 분할 블록 단위의 검색 정보가 생성되는 과정을 나타내는 도면.
도 7은 본 발명의 일 실시예에 따른 동화상 검색 정보 기록 장치에서의 장면 단위의 검색 정보의 개념을 설명하기 위한 도면.
도 8은 본 발명의 일 실시예에 따른 동화상 검색 정보 기록 장치에서의 공간 분할 블록 단위의 검색 정보의 개념을 설명하기 위한 도면.
도 9는 본 발명의 일 실시예에 따른 동화상 검색 정보 기록 장치에서의 용장성을 배제한 공간 분할 블록 단위의 검색 정보의 개념을 설명하기 위한 도면.
도 10은 본 발명의 일 실시예에 따른 동화상 검색 장치의 블록도.
도 11은 장면 단위 검색 정보에 의한 유사도 검색에서의 기준이 되는 장면을 나타내는 도면.
도 12는 장면 단위 검색 정보에 의한 유사도 검색에서의 하나의 장면을 나타내는 도면.
도 13은 장면 단위 검색 정보에 의한 유사도 검색에서의 다른 장면을 나타내는 도면.
도 14는 공간 분할 블록 단위 검색 정보에 의한 유사도 검색에서의 기준이 되는 장면을 나타내는 도면.
도 15는 공간 분할 블록 단위 검색 정보에 의한 유사도 검색에서의 하나의 장면을 나타내는 도면.
도 16은 공간 분할 블록 단위 검색 정보에 의한 유사도 검색에서의 다른 장면을 나타내는 도면.
도 17은 본 발명의 일 실시예에 따른 동화상 검색 정보 기록 장치에서의 단위 검색 정보의 기록과, 공간 분할 블록 단위의 검색 정보의 선택적인 기록이라는 개념을 나타내는 도면.
도 18은 분할수 지정 플래그의 값의 의미를 표 형식으로 나타내는 도면.
도 19는 본 발명의 일 실시예에 따른 동화상 검색 정보 기록 장치에서의 장면 단위의 검색 정보의 기록과, 공간 분할 블록 단위의 검색 정보의 계층적인 기록이라는 개념을 나타내는 도면.
도 20은 프레임을 22개로 분할할 때의 분할예를 나타내는 도면.
도 21은 프레임을 23개로 분할할 때의 분할예를 나타내는 도면.
도 22는 프레임을 24개로 분할할 때의 분할예를 나타내는 도면.
도 23은 프레임을 25개로 분할할 때의 분할예를 나타내는 도면.
도 24는 프레임을 26개로 분할할 때의 분할예를 나타내는 도면.
도 25는 동화상 데이터가 장면 단위로 분할되어 축적되어 있는 동화상 데이터 베이스를 나타내는 도면.
<발명을 실시하기 위한 최량의 형태>
도 3은 본 실시예에 따른 동화상 검색 정보 기록 장치(40)의 블록도를 나타낸다. 도 3을 참조하여, 이 동화상 검색 정보 기록 장치(40)는 동화상 데이터를 받아, 동화상의 구조를 해석하여 장면으로 분할하고, 장면 전환점 등의 동화상 구조 정보를 출력하기 위한 해석부(101)와, 동화상 데이터와, 해석부(101)로부터 출력되는 동화상 구조 정보를 받아, 각 장면에 포함되는 각 프레임의 화상 데이터에 대한 요약 정보(프레임이라는 시간 분할 블록을 단위로 하는 요약 정보)를 생성하여 출력하기 위한 제1 검색 정보 생성부(102)와, 해석부(101)로부터 출력된 동화상 구조 정보 및 동화상 데이터를 받아, 각 장면에 관한 검색 정보로서, 장면 내의 모든 프레임의 동일 분할 블록 위치의 화상 데이터로 구성되는 공간 분할 블록의 요약 정보를 생성하여 출력하기 위한 제2 검색 정보 생성부(103)와, 제1 검색 정보 생성부(102)로부터 출력된 장면 내의 각 프레임(시간 분할 블록)에 대한 요약 정보 및/또는 제2 검색 정보 생성부(103)로부터 출력된 장면 내의 각 공간 분할 블록에 대한 요약 정보를 입력으로 하고, 제1 검색 정보 생성부(102)로부터의 요약 정보 및/또는 제2 검색 정보 생성부(103)로부터의 요약 정보의 한쪽 또는 양방에 기초하여, 장면 전체에 대한 요약 정보를 생성하여 출력하기 위한 제3 검색 정보 생성부(104)와, 제1 검색 정보 생성부(102)로부터 출력된 요약 정보, 제2 검색 정보 생성부(103)로부터 출력된 요약 정보, 제3 검색 정보 생성부(104)로부터 출력되는 요약 정보 및 해석부(101)로부터 출력되는 동화상 구조 정보를 소정의 형식으로 배치함으로써 동화상에 대응하는 검색 정보를 생성하여 출력하기 위한 제4 검색 정보 생성부(105)와, 제4 검색 정보 생성부(105)로부터 출력되는 동화상에 대한 검색 정보와, 원래의 동화상 데이터를 받아, 이들 한쪽 또는 양방에 검색 정보와 동화상 데이터와의 대응 정보 등을 부가하거나 또는 별도의 데이터로 하고, 검색 정보 및 동화상 데이터와의 대응 정보 등을 기록 매체(107)에 기록하기 위한 기록부(106)를 포함한다.
본원 발명의 장치가 취급하는 동화상 데이터는 RGB 신호 등의 원화상 신호, MPEG(Moving Picture Experts Group) 등의 동화상 압축 방식을 이용하여 부호화된 화상 데이터 모두 무방하다. 본 실시예에서는 설명을 간단하게 하기 위해, 동화상 데이터는 부호화된 것으로 가정한다.
도 3에 도시한 각 블록의 기능에 대하여 더욱 상세하게 이하에 설명한다. 해석부(101)는 동화상을 시간적인 소단위(장면)로 분할한다. 그것을 위해 해석부(101)는 화상 데이터 중의 장면 전환점의 검출을 행한다. 해석부(101)는, 이 예에서는, 부호화 화상 데이터에 포함되는 부호화 블록의 예측 모드의 프레임 내에서의 빈도 정보를 이용하여 장면 전환점을 검출한다.
예를 들면, 도 4를 참조하면, 해석부(101)는 동화상(120) 중의 제1 장면 전환 프레임(130), 제2 장면 전환 프레임(132), 제3 장면 전환 프레임(134), 제4 장면 전환 프레임(136)을 검출한다. 그것에 의해 해석부(101)는 제1 장면 전환 프레임(130)과 제2 장면 전환 프레임(132) 사이의 화상 데이터(제1 장면 전환 프레임(130)을 포함함)로 이루어진 제1 장면(140), 제2 장면 전환 프레임(132)과 제3 장면 전환 프레임(134) 사이의 화상 데이터(제2 장면 전환 프레임(132)을 포함함)로 이루어진 제2 장면(142), 제3 장면 전환 프레임(134)과 제4 장면 전환 프레임(136) 사이의 화상 데이터(제3 장면 전환 프레임(134)을 포함함)로 이루어진 제3 장면(144) 및 제4 장면 전환 프레임(136)으로부터 동화상(120)의 최후까지의 화상 데이터(제4 장면 전환 프레임(136)을 포함함)로 이루어진 제4 장면(146)으로 동화상(120)을 분할한다. 즉, 해석부(101)는 동화상(120)을 이 예에서는 4개의 장면(140, 142, 144, 146)으로 분할한다.
해석부(101)는 제1 장면 전환 프레임(130), 제2 장면 전환 프레임(132), 제3 장면 전환 프레임(134), 제4 장면 전환 프레임(136) 등의 장면 전환 프레임의 화상 데이터 내의 위치를 나타내는 정보를 동화상 구조 정보로서 출력하는 기능을 갖는다.
도 5를 참조하면, 제1 검색 정보 생성부(102)는 해석부(101)로부터 출력된 동화상 구조 정보에 기초하여 동화상 데이터를 분할함으로써 얻어진 임의의 장면(160)에 대하여 이하와 같은 처리를 행하여, 장면(160)에 포함되는 각 프레임의 요약 정보를 작성한다. 또 장면(160)은 프레임(162A) 내지 프레임(162N)을 포함하는 것으로 한다.
제1 검색 정보 생성부(102)는 프레임(162A∼162N)의 각각에 대하여, 움직임 벡터의 프레임 내의 빈도 정보(166A∼166N)를 구한다. 또한 제1 검색 정보 생성부(102)는 프레임(162A∼l62N)의 각각에서의 움직임 벡터의 평균 값(168A∼168N)을 구한다.
이와 같이 하여 구해진 빈도 정보(166)와 평균 값 정보(168)가, 이 예에서는 각 프레임의 요약 정보(170)를 구성한다. 요약 정보는 프레임 번호의 함수(즉 시간의 함수)로서 제공된다.
이 요약 정보는 장면(160)에 포함되는 각 프레임의 공간 내에 분포하는 정보를 압축하여 얻어진 검색 정보이다. 각 프레임은 화상을 시간적으로 분할한 단위로, 시간 분할 블록의 일종이다. 따라서 요약 정보(170)는 시간 분할 블록 단위의 검색 정보라고 할 수 있다.
제2 검색 정보 생성부(103)는 해석부(101)로부터 출력된 동화상 구조 정보(장면 전환 위치의 정보)와, 동화상 데이터를 받는다. 제2 검색 정보 생성부(103)는 이 동화상 구조 정보와 동화상 데이터를 이용하여 이하와 같이 하여 공간 분할 블록에 대한 요약 정보를 생성한다.
또 여기서 공간 분할 블록이란 이하와 같은 것을 말한다. 하나의 장면 내의 모든 프레임의 각각을 동일한 방법으로 복수개의 분할 블록으로 공간적으로 분할한다. 이들 모든 프레임의 대응하는 위치의 분할 블록의 전체를 그 장면의 공간 분할 블록이라 한다. 따라서, 하나의 장면이 n개의 프레임을 포함하고, 각 프레임이 m개의 분할 블록으로 분할되는 경우에는, 그 장면은 m개의 공간 분할 블록으로 분할되고, 각 공간 분할 블록은 n개의 분할 블록을 포함한다.
구체적으로는, 도 6을 참조하여, 제2 검색 정보 생성부(103)에서는 장면(160)에 대하여 이하와 같은 처리가 행해진다. 전술한 바와 같이, 장면(160)이 복수개의 프레임(162A∼162N)을 포함하는 것으로 한다. 이들 프레임(162A∼162N)이 각각 M개의 분할 블록으로 공간적으로 분할된다. 여기서, 분할 블록이란 화상면을 복수로 분할하였을 때의 각 소 영역을 가리킨다. 예를 들면 도 6에 도시한 프레임(162A)은 복수개의 분할 블록(180A1 내지 180AM)으로 분할된다. 다른 프레임(162B∼162N)도 마찬가지다.
그리고, 복수개의 프레임(162A∼162N)의 각각의 동일한 위치의 분할 블록에 의해, 장면(160)의 하나의 공간 분할 블록이 형성된다. 예를 들면 N개의 프레임의 각각의 M번째의 분할 블록의 집합(그 요소의 수는 N과 같음)에 의해 공간 분할 블록(182-M)이 형성된다. 다른 공간 분할 블록도 마찬가지로 형성된다.
이렇게 해서 얻어진 M개의 공간 분할 블록의 각각에 대하여, 시간축 방향으로 분포하는 정보를 압축하여 요약 정보(188)를 생성한다. 여기서 말하는 요약 정보(188)는 각 공간 분할 블록에 대한 요약 정보로서, 각 공간 분할 블록에 포함되는 분할 블록의 프레임 내의 위치(좌표)에 대한 함수 값이다.
전형적으로는, 요약 정보(188)는 빈도 정보(184)와 평균 값 정보(186)를 포함한다. 빈도 정보(184)로서는 각 부호화 블록의 예측 모드의 공간 분할 블록 내의 빈도 정보, 또는 움직임 보상 예측 부호화 시의 움직임 벡터의 공간 분할 블록 내의 빈도 정보를 이용할 수 있다. 예를 들면 도시되어 있지 않지만 공간 분할 블록(182-1)으로부터는 빈도 정보(184A)가 얻어지고, 공간 분할 블록(182-2)으로부터는 빈도 정보(184B)가 얻어지며, 이하 마찬가지로 하여 공간 분할 블록(182-M)으로부터는 빈도 정보(184M)가 얻어진다.
또한 평균 값 정보(186)로서는 공간 분할 블록 내의 움직임 벡터의 총합 혹은 평균 값을 이용할 수 있다. 예를 들면 도시되어 있지 않지만 공간 분할 블록(182-1)으로부터는 평균 값 정보(186A)가 얻어지고, 공간 분할 블록(182-2)으로부터는 평균 값 정보(186B)가 얻어지며, 이하 마찬가지로 하여 공간 분할 블록(182M)으로부터는 평균 값 정보(186M)가 얻어진다.
이 이외에도 요약 정보로서는 공간 분할 블록 내의 움직임 벡터의 표준 편차 등을 이용할 수도 있다.
제3 검색 정보 생성부(104)는 제1 검색 정보 생성부(102)로부터 출력된 요약 정보, 또는, 제2 검색 정보 생성부(103)로부터 출력된 요약 정보를 받아, 이들의 한쪽 또는 양방에 기초하여, 장면 전체에 대한 요약 정보를 생성하여 출력한다.
여기서, 장면 전체에 대한 요약 정보는 장면을 검색할 때에 이용되는 검색 정보이다. 장면 전체에 대한 요약 정보로서는 움직임 벡터, 휘도 값, 또는 색차 값 등의 장면 전체에서의 빈도 정보, 평균 값, 표준 편차 등을 이용할 수 있다.
제4 검색 정보 생성부(105)는 제1 검색 정보 생성부(102)로부터 출력된 요약 정보와, 제2 검색 정보 생성부(103)로부터 출력된 요약 정보와, 제3 검색 정보 생성부(104)로부터 출력된 요약 정보와, 해석부(101)로부터 출력된 동화상 구조 정보를 소정의 형식으로 배치함으로써, 동화상에 대응하는 검색 정보를 생성하여 출력하여 기록부(106)에 제공한다.
기록부(106)는 제4 검색 정보 생성부(105)로부터 출력된 동화상에 대응하는 검색 정보와, 원래의 동화상 데이터를 받아, 검색 정보만, 또는 검색 정보와 동화상 데이터를 기록 매체(107)에 기록한다. 이 때 기록부(106)는 동화상 데이터와 검색 정보가 대응하고 있는 것을 나타내는 정보를 동화상 데이터 혹은 검색 정보 중 어느 한쪽 혹은 양방에 부가하거나, 또는 동화상 데이터 및 검색 정보와는 별도의 데이터로서 기록한다.
상술한 구조와 일반적 동작을 설명한 본 실시예에 따른 동화상 검색 정보 기록 장치(40)에서 이용되는 검색 정보로서는, 움직임 보상 예측 부호화된 동화상 데이터에 포함되는 움직임 벡터에 기초하여 얻어지는 움직임의 크기의 정보를 이용하는 것으로 한다.
보다 구체적으로는, 시간 분할 블록(프레임) 단위의 검색 정보는 장면 내의 각 프레임에 대하여, 각 부호화 블록에 부가된 움직임 벡터로부터 구해진 프레임 전체에서의 움직임 벡터의 절대 값의 총합으로서 구해진다. 또, 움직임 벡터의 절대 값의 총합 대신에 움직임 벡터의 절대 값의 평균으로 구해도 동일하다. 실제로, 1프레임에 포함되는 부호화 블록의 수가 정해져 있으면, 움직임 벡터의 절대 값의 총합과 그 평균 값 중 한쪽으로부터 용이하게 다른쪽이 구해진다.
공간 분할 블록 단위의 검색 정보로서는, 각 공간 분할 블록에서의 움직임 벡터의 절대 값의 총합이 사용된다. 여기서도, 움직임 벡터의 총합 대신에 그 평균을 검색 정보로서 이용할 수 있다. 공간 분할 블록을 구성하는 각 분할 블록이 부호화 블록과 일치하는 경우에는, 각 분할 블록에 대응하는 움직임 벡터의 수는 1로 된다. 각 분할 블록이 복수개의 부호화 블록을 포함하는 경우에는, 각 분할 블록에 대응하는 움직임 벡터의 수는 그 분할 블록에 포함되는 부호화 블록의 수와 같다.
또는 공간 분할 블록 단위의 검색 정보는, 각 공간 분할 블록 내에서의 움직임 벡터의 절대 값의 총합을 공간 분할 블록을 구성하는 분할 블록의 수로 나눈 값이라도 무방하다. 이 경우의 분할 블록의 수는 장면을 구성하는 프레임의 수와 같다. 또한, 공간 분할 블록 단위의 검색 정보는, 각 공간 분할 블록 내에서의 움직임 벡터의 절대 값의 총합을 공간 분할 블록을 구성하는 분할 블록에 포함되는 부호화 블록의 수의 총합으로 나눈 값이라도 무방하다.
시간 분할 블록 또는 공간 분할 블록의 검색 정보로서 움직임 벡터의 절대 값의 총합을 이용하였다고 하면, 장면에 포함되는 모든 움직임 벡터의 절대 값의 총합을 계산할 수 있다. 본 실시예에서는 이렇게 해서 얻어진 총합을 장면 단위의 검색 정보로 한다.
다음으로, 공간 분할 블록 단위에서의 검색 정보의 생성에 이용되는 분할 블록의 구체예에 대하여 설명한다. 도 7에 도시된 바와 같이, 장면(160)이 프레임(162A∼162N)으로 이루어져 있는 것으로 한다. 이들 프레임(162A∼162N)의 움직임 벡터의 절대 값의 총합으로부터 장면(160)의 장면 단위 검색 정보 I가 구해진다.
도 8에 도시된 바와 같이, 프레임(162A∼162N)은 각각 2×2개의 분할 블록으로 분할되어 있는 것으로 한다. 즉 프레임(162A∼162N)은 각각 4개의 분할 블록으로 분할되어 있다. 예를 들면 프레임(162A)은 4개의 분할 블록(190A1 내지 190A4)으로 분할된다. 이하의 프레임에 대해서도 도시하지 않지만 마찬가지이다. 예를 들면 프레임(162B)은 프레임(190B1 내지 190B4)으로 분할되는 것 등이다. 따라서 앞의 공간 분할 블록의 설명으로부터 알 수 있는 바와 같이, 장면(160)은 4개의 공간 분할 블록으로 분할되고, 이들 4개의 공간 분할 블록에 대하여, 각 공간 분할 블록 내의 움직임 벡터의 절대 값의 총합으로부터 각각 공간 분할 블록 단위의 검색 정보 I1 내지 I4 모두 실수 값으로서 구해진다.
따라서, 장면(160)을 위한 장면 검색 정보로서, 예를 들면 이들 검색 정보 I, I1, I2, I3, I4를 순서대로 배열하여 얻어지는 {I, I1 , I2, I3, I4}를 이용할 수 있다. 이 검색 정보를 원래의 화상 데이터와 함께 기록하면 된다.
단, 상기한 검색 정보는 용장성을 포함한다. 이것은 이 예에서는 장면 단위 검색 정보 I가 공간 분할 블록 단위의 검색 정보의 합과 같은 것에 의한다. 예를 들면 장면 단위 검색 정보 I는 공간 분할 블록 단위의 검색 정보 I1 내지 I4로부터 구할 수 있다. 또는, 공간 분할 블록 단위의 검색 정보 I1 내지 I4 중 임의의 3개와 장면 단위 검색 정보 I로부터, 공간 분할 블록 단위의 검색 정보의 남은 하나를 계산할 수 있다.
그래서, 본 실시예의 장치에서는, I4에 대해서는 검색 정보에는 포함시키지 않도록 한다. 또한 본 실시예의 장치에서는 각 공간 분할 블록 단위 검색 정보의 그대로의 값이 아니라, 장면 단위의 검색 정보에 대한 각 공간 분할 블록 단위 검색 정보의 값의 백분율로 나타낸다. 제1 내지 제3 공간 분할 블록의 검색 정보의 장면 단위의 검색 정보 I에 대한 비율을 P1, P2 및 P3으로 하면, 이 때의 공간 분할 블록 단위의 검색 정보는 도 9에 도시된 바와 같이 구해진다. 즉, 제1 공간 분할 블록과 장면 단위 검색 정보로부터 제1 공간 분할 블록의 검색 정보 P1이 계산된다. 제2 공간 분할 블록과 장면 단위 검색 정보로부터 제2 공간 분할 블록의 검색 정보 P2가 계산된다. 제3 공간 분할 블록과 장면 단위 검색 정보로부터 제3 공간 분할 블록의 검색 정보 P3이 계산된다. 제4 공간 분할 블록에 대하여 검색 정보를 구하면 용장으로 되기 때문에, 구하지 않는다. 즉, 장면(160)은 4개의 공간 분할 블록으로 분할되지만, 그 중 3개의 검색 정보를 구하면 된다. 일반적으로 Pk는 Pk=l00×Ik/I에 의해 구해진다.
이와 같이 공간 분할 블록의 검색 정보로서, 장면 단위 검색 정보에 대한 백분율로서 기록하면, 이하와 같은 이점이 얻어진다. 첫번째로 검색 정보를 기록하기 위한 신호의 다이내믹 범위가 제한되기 때문에, 보다 효율적으로 검색 정보를 기록할 수 있다. 즉 기록되는 정보량이 그렇지 않은 경우보다 감소한다. 두번째로, 검색 정보의 값이 정규화되기 때문에, 각각의 장면에 첨부된 검색 정보를 서로 비교하는 것이 가능해진다. 세번째로, 이미 진술한 바와 같이 기록해야 할 변수를 한개 생략할 수 있다.
이와 같이 하여 동화상 검색 정보가 제4 검색 정보 생성부(105)에 의해 생성되어, 기록부(106)를 통해 기록 매체(107)에 기록된다.
그런데, 도 3에 도시된 동화상 검색 정보 기록 장치(40)에 의해 기록 매체(107)에 기록된 동화상 데이터 및 검색 정보를 이용하여 동화상 검색을 하는 장치에 대하여 이하 설명한다. 도 10을 참조하여, 이 실시예에 따른 동화상 검색 장치(50)는 기록 매체(107)에 기록된 동화상 데이터와 그 검색 정보를 판독하기 위한 판독부(501)와, 판독부(501)에 의해 판독된 동화상의 검색 정보를 유지하고, 검색 요구에 따라 장면 단위 검색 정보, 공간 분할 블록 단위 검색 정보, 또는 시간 분할 블록 단위 검색 정보를 동화상 구조 정보와 함께 출력하기 위한 검색 정보 관리부(502)와, 장면 단위의 검색 요구에 응답하여, 검색 정보 관리부(502)에 대하여 요구를 내고, 검색 정보 관리부(502)로부터 장면 전체에 대한 검색 정보와, 동화상 구조 정보를 받아, 장면 단위의 검색 요구에 합치된 장면을 검출하여, 검출된 장면에 관한 정보를 출력하기 위한 제1 검색 실행부(503)와, 공간 분할 블록 단위의 검색 요구에 응답하여, 검색 정보 관리부(502)에 대하여 요구를 내고, 검색 정보 관리부(502)로부터 수취한 장면 내의 각 공간 분할 블록에 대한 요약 정보와, 동화상 구조 정보에 기초하여, 검색 요구에 합치된 장면을 검출하여 검출된 장면에 관한 정보를 출력하기 위한 제2 검색 실행부(504)와, 시간 분할 블록 단위의 검색 요구에 응답하여 검색 정보 관리부(502)에 대하여 요구를 내고, 검색 정보 관리부(502)로부터 수취한 장면 내의 각 프레임에 대한 요약 정보와, 동화상 구조 정보에 기초하여 검색 요구에 합치된 장면 또는 프레임을 검출하여, 검출된 장면 또는 프레임에 관한 정보를 출력하기 위한 제3 검색 실행부(505)와, 판독부(501)에 의해 판독된 동화상 정보를 유지하고, 제1 검색 실행부(503), 제2 검색 실행부(504) 또는 제3 검색 실행부(505)로부터 출력되는 검색 결과에 기초하여, 검색 결과에 기초하여 검출되는 장면 또는 프레임의 화상 데이터를 출력하기 위한 데이터 관리부(506)와, 오퍼레이터로부터의 검색 지시 입력에 응답하여, 장면 단위의 검색 요구를 제1 검색 실행부(503)에, 공간 분할 블록 단위의 검색 요구를 제2 검색 실행부(504)에, 또는 시간 분할 블록 단위의 검색 요구를 제3 검색 실행부(505)에 각각 출력하고, 그 결과 데이터 관리부(506)로부터 출력되는 장면 또는 프레임의 화상 데이터를 표시하고, 검색 종료 시는 검색 결과를 출력하기 위한 검색 제어부(507)를 포함한다.
이 동화상 검색 장치(50)는 이하와 같이 동작한다. 검색 개시 시, 오퍼레이터는 검색 제어부(507)에 대하여 검색 지시를 제공한다. 검색 제어부(507)는 이 검색 지시에 따라, 장면 단위의 검색, 공간 분할 블록 단위의 검색, 또는 시간 분할 블록 단위의 검색 중 어느 하나를 선택하고, 제1 검색 실행부(503), 제2 검색 실행부(504), 또는 제3 검색 실행부(505) 중 어느 하나에 대하여 검색 요구를 낸다.
제1 검색 실행부(503), 제2 검색 실행부(504), 제3 검색 실행부(505) 중, 검색 제어부(507)로부터 검색 요구를 수취한 것은 검색 정보 관리부(502)로부터 제공되는 동화상 구조 정보와, 장면 단위, 공간 분할 블록 단위, 또는 시간 분할 블록(프레임) 단위의 요약 정보에 기초하여, 검색 요구에 합치된 장면 또는 프레임을 검출하고, 검출된 장면 또는 프레임에 관한 정보를 데이터 관리부(506)에 제공한다.
데이터 관리부(506)는 제1 검색 실행부(503), 제2 검색 실행부(504) 또는 제3 검색 실행부(505)로부터 수취한 장면 또는 프레임에 관한 정보에 대응하는 장면 또는 프레임의 화상을 동화상 데이터로부터 추출하여 검색 제어부(507)에 제공한다.
검색 제어부(507)는 데이터 관리부(506)로부터 제공된 화상을 표시한다. 표시된 화상에 의해, 오퍼레이터는 그 화상이 원하는 장면인지의 여부를 판단하고, 원하는 장면이면 검색 결과를 출력하도록 지시를 검색 제어부(507)에 제공한다. 검색 제어부(507)는 이 지시에 응답하여, 검색 결과를 출력한다.
검색 제어부(507)에 의해 표시된 화상이 원하는 장면을 나타내는 것이 아닌 경우, 오퍼레이터는 다시 다음의 검색 지시를 검색 제어부(507)에 제공한다. 이하 검색 제어부(507)는 상술한 바와 마찬가지의 동작을 행하여, 검색 결과의 장면의 표시를 행한다. 이하, 검색이 종료될 때까지 이 동작을 반복한다.
구체적인 동화상 검색의 예에 대하여 설명한다. 이 실시예에서는, 검색 정보로서 움직임 보상 예측 부호화된 동화상 데이터에 포함되는 움직임 벡터에 기초하여 얻어지는 움직임의 크기에 관한 정보를 이용한다.
원하는 장면 또는 장면 내의 프레임은 다음과 같이 하여 검색된다.
장면 단위의 검색 정보를 이용하면, 예를 들면 전체적으로 움직임이 큰 장면과, 전체적으로 움직임이 작은 장면을 선별할 수 있다.
공간 분할 블록 단위의 검색 정보를 이용하면, 예를 들면 한 장면에 걸쳐 움직임이 공간적으로 편재되는 장면과, 움직임이 공간적으로 비교적 균등하게 분포되는 장면을 선별할 수 있다. 또한, 움직임이 편재되는 부분이 화상의 어떤 부분인지를 지정할 수 있다. 예를 들면, 화상의 중앙 부분에 심하게 움직이는 부분(피사체)이 있는 장면, 또는 화상의 하반분(下半分)에 심하게 움직이는 부분이 있는 장면(하늘을 포함하는 화상) 등을 선별할 수 있다.
본 실시예에서는, 공간 분할 블록이라는 종래에는 고려되지 않았던 것을 단위로 하는 검색 정보를 장면의 검색에 이용한다. 그 때문에, 다음과 같은 효과가 얻어진다.
도 11 내지 도 13을 참조하여, 도 12(A)에 도시한 장면 A와, 도 13(A)에 도시한 장면 B에 대하여, 도 11(A)에 도시한 기준이 되는 장면과의 유사도를 계산하는 경우를 생각한다. 이러한 「유사도」 계산에 의해, 기준이 되는 장면과 유사한 움직임 특징을 갖는 장면을 검출할 수 있다. 도 12 내지 도 13은 장면 단위의 검색 정보만을 이용한 경우를 나타낸다.
도 11(B) 내지 도 13(B)는 각각의 (A)에 도시한 화상에 대한 장면 단위 검색 정보를 나타낸다. 도 11(A) 내지 도 13(A)에 도시된 바와 같이, 장면 A 및 장면 B는 기준이 되는 장면에 대하여, 장면 전체적으로 동일한 움직임의 강함을 갖고 있다. 그 때문에, 도 11(B) 내지 도 13(B)에 도시된 바와 같이, 대응하는 장면 단위 검색 정보도 마찬가지의 값으로 된다. 즉, 장면 A, B 모두 기준이 되는 장면과 유사하다고 판단된다.
계속해서, 도 14 내지 도 16을 참조하여, 공간 분할 블록 단위의 검색 정보를 이용한 경우의 유사도 검색의 특징에 대하여 설명한다. 도 14(A) 내지 도 16(A)에는 각각 기준이 되는 장면, 장면 A, B를 나타낸다. 도시된 바와 같이, 각 장면의 각 프레임은 4개의 분할 블록을 포함한다. 그 중 각각 제1 내지 제3 분할 블록으로 이루어진 공간 분할 블록에 대하여, 공간 분할 블록 단위의 검색 정보 P1, P2 및 P3이 계산되어 있다. 또한 도 14(B) 내지 도 16(B)에 도시한 바와 같이, 기준이 되는 장면, 장면 A 및 B에 대한 장면 단위의 검색 정보는 거의 동일한 값이다.
그러나, 도 14(C) 내지 도 16(C)에 도시된 바와 같이, 공간 분할 블록 단위의 검색 정보로 각 장면을 비교하면, 다음의 사실을 알 수 있다. 즉, 장면 A쪽이 기준이 되는 장면의 공간 분할 블록 단위 검색 정보의 분포와 유사한 분포를 갖는다. 이것은 장면 B에서는 인물이 우측으로 치우쳐 있으므로, 공간적으로 움직임의 편중이 생겼기 때문이다. 기준이 되는 장면 및 장면 A는 모두 인물이 거의 중앙에 있다. 따라서, 기준이 되는 장면과 유사한 장면으로서 장면 A는 검출되지만, 장면 B는 검출되지 않는다. 즉, 장면 전체로서의 움직임은 장면 A, B도 기준이 되는 장면과 유사한 경우라도, 움직임이 편재되어 있는지의 여부에 의해 장면을 선별할 수 있다.
또한, 프레임(시간 분할 블록) 단위의 검색 정보를 이용하면, 예를 들면 장면 내의 특히 움직임이 심한 프레임, 반대로 움직임이 멈춰 있는 프레임을 선별할 수 있다.
상기한 장면 단위의 검색 정보, 공간 분할 블록 단위에서의 검색 정보 및 시간 분할 블록 단위의 검색 정보를 조합함으로써, 더 세밀하게 원하는 장면의 검색을 행할 수 있다.
예를 들면, 전체적으로 움직임이 큰 장면을 선택하고, 특히 화상의 중앙 부분에 심하게 움직이는 부분을 갖는 장면으로 압축하고, 다시 압축된 각 장면 내의 특히 움직임이 심한 프레임을 키 프레임으로서 추출하는 형태로 동화상 검색을 실행할 수 있다.
이와 같이, 본 실시예의 장치에 따르면, 다면적인 조건 지정에 의해, 화상의 움직임 등의 화상 특징에 기초하여, 원하는 장면의 화상을 효율적으로 검색할 수 있다. 검색에 요하는 시간도 단축된다.
상기한 실시예는 본 발명을 실시하기 위한 하나의 예에 불과하다. 이 밖에도 다양한 변형을 이들 장치에 대하여 행할 수 있다.
예를 들면, 이 실시예의 장치에서는 해석부(101)가 자동적으로 동화상 데이터에 대한 신호 해석에 의해 장면 전환점을 발견하고 있다. 그러나, 본 발명은 이에 한정되지 않고, 예를 들면 오퍼레이터가 동화상을 보고, 오퍼레이터의 주관에 의해 동화상의 구조를 해석하여 장면의 분할 위치에 태그를 붙이도록 해도 된다. 이 경우 해석부(101)는 동화상 데이터를 마찬가지로 해석하지만, 그 때, 동화상 데이터에 첨부된 태그를 보고 동화상을 장면으로 분할한다.
상기한 실시예에서는, 프레임의 요약 정보의 빈도 정보(166)로서 움직임 보상 예측 부호화 시의 움직임 벡터의 프레임 내 빈도 정보를 이용하였다. 그러나 본 발명은 이에는 한정되지 않고, 빈도 정보로서 각 부호화 블록의 예측 모드의 프레임 내 빈도 정보를 이용할 수도 있다.
또한, 요약 정보로서는 상기한 것 외에도, 프레임 내의 움직임 벡터의 총합 혹은 표준 편차, 또는 원화상 신호 혹은 복호 화상 신호를 이용하여 계산되는 프레임 내의 평균 휘도 값, 혹은 평균 색차 값 등을 이용해도 된다.
검색 방법 및 수순은 여기에 나타낸 조합으로 한정되지 않는다. 선택되는 후보를 압축하는 순서를 바꾸는 것도 가능하다. 또한, 생성되는 검색 정보에 의해서도 검색을 위한 방법 및 그 수순은 변화된다.
또한, 예를 들면, 상기한 실시예의 장치에서는 공간 분할 블록으로서, 1프레임을 2×2=4 분할한 분할 블록의 1장면에 걸치는 집합을 이용하였다. 분할 개수는 4개로 한정되지 않는다. 예를 들면 도 17에 도시된 바와 같이 4×4, 8×8, 또는 그 이상의 수에 의한 분할을 행하는 것도 가능하다. 4×4 분할의 경우에는, 백분율로 나타낸 공간 분할 블록 단위 검색 정보는 P1 내지 P15이다. P16은 100%로부터 다른 공간 분해 블록의 검색 정보의 합을 감하는 하는 것에 의해 얻어진다. 8×8 분할의 경우에는 백분율로 나타낸 공간 분할 블록 단위 검색 정보는 P1 내지 P63이다. P64도 100%로부터 다른 공간 분할 블록의 검색 정보의 합을 감하는 것에 의해 얻어진다.
또한, 이와 같이 복수 종류의 분할 방법 중 어느 것을 이용하는지를 선택할 수 있도록 해도 된다. 이 경우, 선택된 개수(「해상도」라고 부를 수 있음)에 따라 분할된 분할 블록에 의해 공간 분할 블록을 구성하고, 그 각각에 대하여 검색 정보를 구한다. 또한, 검색 정보를 기록할 때는 장면 단위 검색 정보와, 선택된 해상도에 의한 공간 분할 블록 단위의 검색 정보 외에, 도 18에 그 값과 분할수와의 대응 관계가 나타내는 분할수 지정 플래그를 검색 정보에 부가한다. 분할수 지정 플래그가 「0」이면 {P1, P2, P3}, 「1」이면 {P1, P2 , …, P15}, 「2」이면 {P1, P2, … P63}, 「3」이면 {P1, P2, …, P256}의 공간 분할 블록 단위의 검색 정보가 기록된다.
이와 같이 공간 분할 블록의 해상도를 복수 방법으로 지정할 수 있는 것에 의해, 이하와 같은 효과가 생긴다.
우선, 화상 중 상하 좌우의 대략적인 화상의 움직임의 분포를 알고자 하는 비교적 간이한 검색만이 요구되는 데이터 베이스에서는, 2×2 등 작은 분할수를 이용한다. 검색 정보의 기록량을 억제할 수 있다.
화상의 특정한 일부 또는 떨어진 2개의 부분에서 움직임이 큰 장면을 추출하고자 하는 요구가 빈번하게 있는 데이터 베이스에서는, 8×8 등 비교적 큰 분할수를 이용한다. 고기능 검색을 실현할 수 있다. 고해상도의 검색 정보는 저해상도의 검색 정보를 포함하기 때문에, 저해상도의 검색이 필요할 때도 저해상도의 검색 정보를 중복하여 가질 필요는 없다.
이상 설명한 실시예에서는, 2×2, 4×4 및 8×8과 같이, 세로 방향의 분할수와 가로 방향의 분할수가 같고, 또한 모두 2의 누승이다. 이러한 분할수를 선택적으로 이용하면, 분할 해상도가 상이한 공간 분할 블록 단위 검색 정보를 기록한 데이터 베이스 간에서도 검색 정보 간의 대응이 가능해진다. 또, 상이한 분할 해상도끼리에서의 검색 정보를 비교하는 것도 가능해진다.
또한, 도 19에 도시된 바와 같이, 복수 종류의 해상도의 공간 분할 블록 단위의 검색 정보를 계층적으로 기록해도 된다. 예를 들면, 장면의 검색 정보는 장면 단위의 검색 정보(200)와, 2×2 분할에 의한 공간 분할 블록 단위의 검색 정보(202)와, 4×4 분할에 의한 공간 분할 블록 단위의 검색 정보(204)와, 8×8 분할에 의한 공간 분할 블록 단위의 검색 정보(206)를 포함한다.
이 계층 구조에서는, 임의의 층의 공간 분할 블록 단위의 검색 정보는 일단 고해상도의 4개의 공간 블록 단위의 검색 정보로 나타내다. 따라서, 각 층에서 4개의 공간 분할 블록 단위의 검색 정보 중의 하나를 기록하지 않아도, 검색에 필요한 모든 정보를 얻을 수 있다.
도 19에 도시한 예에 의한 검색 정보는, 도 17에 도시한 8×8로 프레임을 분할하여 형성되는 공간 분할 블록을 단위로 하는 검색 정보를 기록하는 것과 동일한 해상도의 검색 정보를 포함한다. 한편, 도 19에 도시한 검색 정보에 따르면, 다른 해상도의 검색 정보를 용이하게 얻을 수 있다고 하는 이점을 갖는다.
상술한 실시예에서는, 장면 내의 모든 프레임을 2×2, 4×4, 8×8 등과 같이 n×n의 배치로 분할하여 공간 분할 블록을 형성하고 있다. 그러나 본 발명에 따르면, 프레임의 분할 방법은 이에 한정되지 않는다. 예를 들면 도 20 내지 도 24에 도시한 바와 같은 형태로 프레임을 분할하여, 얻어진 공간 분할 블록을 단위로 하여 검색 정보를 생성하도록 해도 된다. 도 20 내지 도 24에 도시한 예에서는 장면 내의 모든 프레임을 2의 누승(2n)개(도 20에서는 n=2, 도 21에서는 n=3, 도 22에서는 n=4, 도 23에서는 n=5, 도 24에서는 n= 6)로 분할하고 있다. 이러한 분할 방법을 이용해도, 상술한 실시예의 장치에서 얻어진 것과 마찬가지의 검색 기능을 실현하기 위한 검색 정보를 생성할 수 있다.
도 20∼도 24에 도시한 바와 같은 프레임의 분할 방법에 의해서도, 상술한 실시예와 마찬가지로, 서로 다른 해상도의 검색 정보끼리의 대응이 용이하다. 또한, 서로 다른 해상도의 검색 정보를 상호 용이하게 비교할 수 있다.
또한, 도 5에 도시한 예의 경우에는, 예를 들면 프레임(162N)을 하나의 시간 분할 블록(164N)으로 하여 요약 정보를 구하고 있다. 그러나 본 발명은 이러한 실현 예에 한정되지 않는다. 예를 들면 하나의 시간 분할 블록이 2 이상의 프레임을 포함하도록 해도 된다. 또한, 각 프레임을 서브 샘플링하여 서브 프레임을 생성하고, 한시간 분할 블록이 1 또는 복수개의 서브 프레임을 포함하도록 해도 된다. 또한 장면 내의 프레임을 적절하게 추출하여, 추출한 각 프레임에 대한 요약 정보를 이용해도 된다.
또, 도 6에 도시된 예 또는 도 8에 도시된 예의 경우에는, 공간 분할 블록에 포함되는 모든 분할 블록을 이용하여 공간 분할 블록의 요약 정보를 구하고 있다. 그러나 본 발명은 이러한 실현 예에 한정되지 않는다. 반드시 공간 분할 블록 내의 모든 분할 블록에 대응하는 화상 데이터를 이용할 필요는 없고, 분할 블록을 적당하게 추출하여, 또는 분할 블록 내의 화상 데이터를 적당하게 추출하여, 공간 분할 블록의 요약 정보를 생성해도 된다.
또, 도 5 및 도 6을 참조하여 설명한 시간 분할 블록 단위 혹은 공간 분할 블록 단위의 검색 정보, 또는 장면 단위의 검색 정보를 생성할 때, 동화상을 촬영한 카메라의 움직임에 의한 백그라운드의 움직임에의 영향을 제거하기 위해, 카메라의 움직임에 상당하는 움직임 벡터분을 보정하여 검색 정보를 생성하도록 해도 된다.
또한, 상기한 실시예에서는 동화상 검색 정보 기록 장치(40)와 동화상 검색 장치(50)는 분리된 별개의 장치이다. 그리고 검색 정보는 기록 매체(107)를 통해 동화상 검색 정보 기록 장치(40)로부터 동화상 검색 장치(50)로 전달된다. 이것 대신에, 예를 들면, 도 3에 도시한 제1 검색 정보 생성부(102), 제2 검색 정보 생성부(103), 제3 검색 정보 생성부(104)에서 생성된 각종 검색 정보를 해석부(101)로부터 출력되는 동화상 구조 정보와 정합하여, 직접 도 10의 검색 정보 관리부(502)로 전달하도록 해도 된다. 이 경우의 검색 처리는 소위 실시간 검색이라 한다.
상기한 실시예에서 프레임을 분할한 분할 블록은 부호화 블록과 일치해도 된다. 부호화 블록과는 별개의 적당한 크기의 블록을 새롭게 정의해도 된다. 상술한 실시예에서는 분할 블록은 대칭형이고, 또한 분할 블록의 배치도 대칭이다. 그러나 분할 블록을 새롭게 정의하는 경우에는 블록이 대칭형일 필요는 없다. 또한 블록의 배치에 관해도 대칭일 필요는 없다. 또한, 화상면 내를 적당하게 추출하는 것도 가능하다. 즉, 화상 내에 분할 블록이 포함되지 않은 영역이 있어도 된다. 또한, 분할 블록이 부분적으로 중복되어도 된다. 즉, 화상 내에 복수의 분할 블록에 포함되는 영역이 있어도 된다.
상기한 실시예에서는, 도 3에 도시한 제3 검색 정보 생성부(104)는 제1 검색 정보 생성부(102)로부터 출력되는 요약 정보 및 제2 검색 정보 생성부(103)로부터 출력되는 요약 정보를 받아, 장면 전체에 관한 요약 정보를 생성하고 있다. 그러나 본 발명은 이러한 실현예로 한정되지 않는다. 예를 들면 제3 검색 정보 생성부(104)는 입력된 화상 데이터로부터 직접적으로 장면 전체에 관한 요약 정보를 생성하도록 해도 된다.
또한, 상기한 실시예에서는 각종의 요약 정보(검색 정보)를 물리적으로 정의된 장면을 단위로 하여 구하고 있다. 그러나 검색 정보를 반드시 장면을 단위로 하여 구할 필요는 없다. 예를 들면 하나의 장면을 복수로 분할한 서브 장면을 단위로 하여 검색 정보를 구해도 된다. 즉 「장면」이라는 단어는 「서브 장면」을 의미하기도 한다. 반대로, 복수의 장면으로 이루어진 복합 장면을 단위로 하여 검색 정보를 구할 수도 있다. 즉 「장면」이라는 단어는 「복수의 장면의 집합」을 의미하기도 한다.
또한, 상기한 실시예에서는 하나의 동화상 데이터에 대하여 검색 정보를 생성하고, 기록하여 검색을 실행하고 있지만, 본 발명은 이러한 실현예에 한정되지 않는다. 즉, 복수의 동화상 데이터를 검색 대상으로 하여 검색 정보를 생성하고, 기록하여 복수의 동화상 데이터 중에서 원하는 장면 또는 프레임을 검색하는 것도 상정된다.
그 일례로서, 도 25에 도시한 복수의 장면의 각각이 독립된 동화상 데이터로서 축적되어 있는 화상 데이터 베이스로부터의 동화상 검색을 생각한다. 최근의 동화상을 촬영하는 것이 가능한 디지털 카메라 등으로 동화상의 촬영을 행한 경우에는, 각 촬영된 동화상, 즉 1회의 녹화 개시로부터 녹화 정지까지의 1장면을 나타내는 동화상 데이터가 각각 독립된 데이터 파일로서 생성된다. 따라서, 도 25에 도시한 바와 같은 화상 데이터 베이스도 용이하게 상기할 수 있다.
이러한 화상 데이터 베이스에 대하여, 도 3에 도시한 동화상 검색 정보 기록 장치(40)에 의해 검색 정보를 생성한다. 이 때, 입력되는 동화상 데이터는 데이터 베이스에 존재하는 복수의 동화상 데이터이다. 각 동화상 데이터는 이미 장면으로 분해되어 있기 때문에(하나의 동화상 데이터는 각각 하나의 장면만을 포함하고 있기 때문에), 동화상 구조 정보는 불필요하다. 따라서 해석부(101)에서는 동화상의 구조 해석을 행할 필요가 없다. 제1, 제2, 제3 검색 정보 생성부(102, 103, 104)는 동화상 데이터로부터 각각 프레임(시간 분할 블록), 공간 분할 블록, 장면 전체에 대한 요약 정보를 생성한다. 제4 검색 정보 생성부(105)는 이들 요약 정보를 소정의 형식으로 배치하여 동화상에 대한 검색 정보를 생성한다. 기록부(106)는 각 동화상 데이터와 각 동화상에 대응하는 검색 정보를 받아, 각 동화상 데이터와 검색 정보와의 대응 정보를 어느 한쪽 혹은 양방에 부가하거나, 또는 별도의 데이터로 하여, 검색 정보와 대응 정보를 기록 매체(107)에 기록한다.
기록 매체(107)를 원래의 화상 데이터 베이스 내로 해도 된다. 또한, 각 검색 정보는 각각 독립하여 기록해도, 또는 화상 데이터 베이스에 대응하는 검색 정보로서 통합하여 기록해도 된다.
또한, 이러한 화상 데이터 베이스 및 생성 및 기록된 검색 정보로부터, 도 10에 도시한 동화상 검색 장치에 의해 검색을 실행한다. 이 때, 판독부(501)에서 판독되어 검색 정보 관리 장치(502)에서 관리되는 것은 데이터 베이스에 존재하는 복수의 동화상 데이터에 대응한 검색 정보로서, 각 동화상 데이터에 대응한 동화상 구조 정보는 불필요하다. 제1, 제2, 제3 검색 실행부(503, 504, 505)에서는 각각 대응하는 검색 정보를 이용하여 검색 요구와 합치된 장면 또는 프레임을 검출하고, 검출된 장면 또는 프레임에 관한 정보를 출력한다. 데이터 관리부(506) 및 검색 제어부(507)는 상기한 실시예와 마찬가지로 동작하여 검색 결과가 얻어진다.
금회 개시된 실시예는 모든 점에서 예시이고 제한적인 것이 아니라고 생각되어야 한다. 본 발명의 범위는 상기한 설명이 아니라 특허 청구의 범위에 의해 나타내며, 특허 청구의 범위와 균등의 의미 및 범위 내에서의 모든 변경이 포함되는 것이 의도된다.
이상과 같이 본 발명에 따른 동화상 검색 정보 기록 장치 및 동화상 검색 장치는 장면을 시간적으로가 아니라 공간적으로 분할한 공간 분할 블록을 단위로 하여 장면의 검색 정보를 생성하고, 그 검색 정보에 기초하여 장면을 검색하기 때문에, 동화상 중의 원하는 장면을 그 장면을 통하여 관측되는 공간적인 특징에 따라 효율적으로 검색하는 시스템에 적합하다.

Claims (35)

  1. 하나 이상의 장면(140, 142, 144, 146, 160)으로 이루어진 동화상 데이터를 검색하기 위한 검색 정보를 생성하는 동화상 검색 정보 생성 장치(40)에 있어서,
    상기 장면의 각각에 대응하는 검색 정보를 생성하는 검색 정보 생성부(102, 103, 104, 105)를 포함하고,
    상기 검색 정보 생성부(102, 103, 104, 105)는
    상기 장면(140, 142, 144, 146, 160)의 각각에 대하여 해당 장면을 공간적으로 분할함으로써, 시간 방향으로는 해당 장면의 길이를 갖는 복수의 공간 분할 블록을 형성하고, 해당 공간 분할 블록에 포함된 동화상 데이터에 기초하여, 공간 분할 블록 단위의 요약 정보(188)를 생성하기 위한 제1 요약 정보 생성 수단(103)과,
    상기 요약 정보를 포함하는 상기 검색 정보를 형성하기 위한 검색 정보 형성 수단(105)
    을 포함하는 동화상 검색 정보 생성 장치(40).
  2. 제1항에 있어서,
    상기 장면(140, 142, 144, 146, 160)의 각각은 연속되는 동화상 데이터가 시간축 상에서 분할된 것이고,
    상기 장면의 각각의 상기 동화상 데이터 중의 위치를 나타내는 동화상 구조 정보를 출력하는 동화상 구조 정보 출력부(101)를 더 포함하고,
    상기 검색 정보 생성부(102, 103, 104, 105)는 상기 동화상 구조 정보와 상기 동화상 데이터에 기초하여, 상기 장면(140, 142, 144, 146, 160)의 각각에 대응한 검색 정보를 생성하는 동화상 검색 정보 생성 장치.
  3. 삭제
  4. 제1항에 있어서,
    상기 제1 요약 정보 생성 수단(103)은 상기 장면(140, 142, 144, 146, 160)을 공간적으로 분할할 때, 공간 방향으로 정의되는 2개의 방향에서 사전에 정해진 수로 분할하는 것을 특징으로 하는 동화상 검색 정보 생성 장치.
  5. 제1항에 있어서,
    상기 제1 요약 정보 생성 수단(103)은 상기 장면(140, 142, 144, 146, 160)을 공간적으로 분할할 때, 사전에 정해진 2의 누승으로 분할하는 것을 특징으로 하는 동화상 검색 정보 생성 장치.
  6. 제5항에 있어서,
    상기 검색 정보 생성부(102, 103, 104, 105)는 또한, 상기 장면(140, 142, 144, 146, 160)의 각각에 대하여, 해당 장면을 시간적으로 분할함으로써, 공간 방향으로는 해당 장면의 화상 사이즈를 갖는 복수의 시간 분할 블록을 형성하고, 해당 시간 분할 블록에 포함된 동화상 데이터에 기초하여, 시간 분할 블록 단위의 요약 정보를 생성하기 위한 제2 요약 정보 생성 수단(102)을 포함하는 동화상 검색 정보 생성 장치.
  7. 삭제
  8. 제6항에 있어서,
    상기 검색 정보 생성부(102, 103, 104, 105)는 또한, 상기 장면(140, 142, 144, 146, 160)의 각각에 대하여, 해당 장면 전체의 요약 정보를 생성하기 위한 제3 요약 정보 생성 수단(104)을 포함하는 동화상 검색 정보 생성 장치.
  9. 제4항에 있어서,
    상기 검색 정보 생성부(102, 103, 104, 105)는 또한, 상기 장면(140, 142, 144, 146, 160)의 각각에 대하여, 해당 장면을 시간적으로 분할함으로써, 공간 방향으로는 해당 장면의 화상 사이즈를 갖는 복수의 시간 분할 블록을 형성하고, 해당 시간 분할 블록에 포함된 동화상 데이터에 기초하여, 시간 분할 블록 단위의 요약 정보를 생성하기 위한 제2 요약 정보 생성 수단(102)을 포함하는 동화상 검색 정보 생성 장치.
  10. 삭제
  11. 제9항에 있어서,
    상기 검색 정보 생성부(102, 103, 104, 105)는 또한, 상기 장면(140, 142, 144, 146, 160)의 각각에 대하여, 해당 장면 전체의 요약 정보를 생성하기 위한 제3 요약 정보 생성 수단(104)을 포함하는 동화상 검색 정보 생성 장치.
  12. 삭제
  13. 삭제
  14. 삭제
  15. 제1항에 있어서,
    상기 검색 정보 생성부(102, 103, 104, 105)는 또한, 상기 장면(140, 142, 144, 146, 160)의 각각에 대하여, 해당 장면을 시간적으로 분할함으로써, 공간 방향으로는 해당 장면의 화상 사이즈를 갖는 복수의 시간 분할 블록을 형성하고, 해당 시간 분할 블록에 포함된 동화상 데이터에 기초하여, 시간 분할 블록 단위의 요약 정보를 생성하기 위한 제2 요약 정보 생성 수단(102)을 포함하는 동화상 검색 정보 생성 장치(40).
  16. 삭제
  17. 제15항에 있어서,
    상기 검색 정보 생성부(102, 103, 104, 105)는 또한, 상기 장면(140, 142, 144, 146, 160)의 각각에 대하여, 해당 장면 전체의 요약 정보를 생성하기 위한 제3 요약 정보 생성 수단(104)을 포함하는 동화상 검색 정보 생성 장치(40).
  18. 제5항에 있어서,
    상기 검색 정보 생성부(102, 103, 104, 105)는 또한, 상기 장면(140, 142, 144, 146, 160)의 각각에 대하여, 해당 장면 전체의 요약 정보를 생성하기 위한 제3 요약 정보 생성 수단(104)을 포함하는 동화상 검색 정보 생성 장치(40).
  19. 제4항에 있어서,
    상기 검색 정보 생성부(102, 103, 104, 105)는 또한, 상기 장면(140, 142, 144, 146, 160)의 각각에 대하여, 해당 장면 전체의 요약 정보를 생성하기 위한 제3 요약 정보 생성 수단(104)을 포함하는 동화상 검색 정보 생성 장치(40).
  20. 삭제
  21. 제1항에 있어서,
    상기 검색 정보 생성부(102, 103, 104, 105)는 또한, 상기 장면(140, 142, 144, 146, 160)의 각각에 대하여, 해당 장면 전체의 요약 정보를 생성하기 위한 제3 요약 정보 생성 수단(104)을 포함하는 동화상 검색 정보 생성 장치(40).
  22. 동화상 데이터를 구성하는 하나 이상의 장면(140, 142, 144, 146, 160)의 각각에 대응한 검색 정보를 이용하여, 원하는 화상을 검색하기 위한 동화상 검색 장치(50)에 있어서,
    상기 동화상 데이터에는 상기 검색 정보가 대응되어 있고,
    상기 검색 정보는, 상기 장면(140, 142, 144, 146, 160)의 각각에 대하여, 해당 장면을 공간적으로 분할함으로써 얻어지고, 시간 방향으로는 해당 장면의 길이를 갖는 복수의 공간 분할 블록을 단위로 하는, 해당 공간 분할 블록 내의 동화상 데이터에 관한 요약 정보(188)를 포함하고,
    상기 검색 정보를 판독하여 관리하기 위한 정보 관리 수단(501, 502)과,
    상기 정보 관리 수단에 접속되며, 외부로부터 제공되는 제1 검색 요구에 응답하여, 상기 정보 관리 수단으로부터 상기 검색 정보에 포함되는 상기 공간 분할 블록 단위의 요약 정보를 수취하고, 상기 공간 분할 블록 단위의 요약 정보를 이용하여 상기 제1 검색 요구에 합치되는 장면(140, 142, 144, 146, 160)을 검색하기 위한 제1 장면 검색 수단(504)을 포함하는 동화상 검색 장치(50).
  23. 제22항에 있어서,
    상기 검색 정보는 또한, 상기 장면(140, 142, 144, 146, 160)의 각각에 대하여, 해당 장면을 시간적으로 분할함으로써 얻어지고, 공간 방향으로는 해당 장면의 화상 사이즈를 갖는 복수의 시간 분할 블록을 단위로 하는, 해당 시간 분할 블록 내의 동화상 데이터에 관한 요약 정보를 포함하고,
    상기 동화상 검색 장치(50)는 또한, 상기 정보 관리 수단(501, 502)에 접속되며, 외부로부터 제공되는 제2 검색 요구에 응답하여, 상기 정보 관리 수단으로부터 상기 검색 정보에 포함되는 상기 시간 분할 블록 단위의 요약 정보를 수취하고, 상기 시간 분할 블록 단위의 요약 정보를 이용하여 상기 제2 검색 요구에 합치되는 장면(140, 142, 144, 146, 160)을 검색하기 위한 제2 장면 검색 수단(505)을 포함하는 동화상 검색 장치(50).
  24. 제23항에 있어서,
    상기 검색 정보는 또한, 상기 장면(140, 142, 144, 146, 160)의 각각을 단위로 하는 요약 정보를 포함하고,
    상기 동화상 검색 장치(50)는 또한, 상기 정보 관리 수단(501, 502)에 접속되며, 외부로부터 제공되는 제3 검색 요구에 응답하여, 상기 정보 관리 수단으로부터 상기 검색 정보에 포함되는 상기 장면 단위의 요약 정보를 수취하고, 상기 장면 단위의 요약 정보를 이용하여 상기 제3 검색 요구에 합치되는 장면(140, 142, 144, 146, 160)을 검색하기 위한 제3 장면 검색 수단(503)을 포함하는 동화상 검색 장치(50).
  25. 제22항에 있어서,
    상기 검색 정보는 또한, 상기 장면(140, 142, 144, 146, 160)의 각각을 단위로 하는 요약 정보를 포함하고,
    상기 동화상 검색 장치(50)는 또한, 상기 정보 관리 수단(501, 502)에 접속되며, 외부로부터 제공되는 제2 검색 요구에 응답하여, 상기 정보 관리 수단으로부터 상기 검색 정보에 포함되는 상기 장면 단위의 요약 정보를 수취하고, 상기 장면 단위의 요약 정보를 이용하여 상기 제2 검색 요구에 합치되는 장면(140, 142, 144, 146, 160)을 검색하기 위한 제2 장면 검색 수단(503)을 포함하는 동화상 검색 장치(50).
  26. 하나 이상의 장면(140, 142, 144, 146, 160)으로 이루어진 동화상 데이터를 검색하기 위한 검색 정보가, 상기 검색 정보와 상기 동화상 데이터와의 대응 정보와 함께 기록된 기록 매체(107)에 있어서,
    상기 검색 정보는, 상기 장면(140, 142, 144, 146, 160)의 각각에 대하여, 해당 장면을 공간적으로 분할함으로써 얻어지고, 시간 방향으로는 해당 장면의 길이를 갖는 복수의 공간 분할 블록을 단위로 하는, 해당 공간 분할 블록 내의 동화상 데이터에 관한 요약 정보(188)를 포함하는 기록 매체(107).
  27. 제26항에 있어서,
    상기 검색 정보는 또한, 상기 장면(140, 142, 144, 146, 160)의 각각에 대하여, 해당 장면을 시간적으로 분할함으로써 얻어지고, 공간 방향으로는 해당 장면의 화상 사이즈를 갖는 복수의 시간 분할 블록을 단위로 하는, 해당 시간 분할 블록 내의 동화상 데이터에 관한 요약 정보를 포함하는 기록 매체(107).
  28. 제26항에 있어서,
    상기 검색 정보는 또한, 상기 장면(140, 142, 144, 146, 160)의 각각에 대하여, 해당 장면 전체의 요약 정보를 포함하는 기록 매체(107).
  29. 동화상 데이터를 구성하는 하나 이상의 장면(140, 142, 144, 146, 160)의 각각에 대응한 검색 정보를 관리하기 위한 동화상 검색 정보 관리 장치에 있어서,
    상기 검색 정보는, 상기 장면(140, 142, 144, l46, 160)의 각각에 대하여, 해당 장면을 공간적으로 분할함으로써 얻어지고, 시간 방향으로는 해당 장면의 길이를 갖는 복수의 공간 분할 블록을 단위로 하는, 해당 공간 분할 블록 내의 동화상 데이터에 관한 요약 정보(188)를 포함하고,
    상기 검색 정보를 유지하고, 외부로부터 제공되는 제1 요구에 따라, 상기 검색 정보에 포함되는 상기 공간 분할 블록 단위의 요약 정보를 선택하여 출력하기 위한 검색 정보 관리부(502)를 구비하는 동화상 검색 정보 관리 장치.
  30. 제29항에 있어서,
    상기 검색 정보는 또한, 상기 장면(140, 142, 144,146, 160)의 각각에 대하여, 해당 장면을 시간적으로 분할함으로써 얻어지고, 공간 방향으로는 해당 장면의 화상 사이즈를 갖는 복수의 시간 분할 블록을 단위로 하는, 해당 시간 분할 블록 내의 동화상 데이터에 관한 요약 정보를 포함하고,
    상기 검색 정보 관리부(502)는 또한, 외부로부터 제공되는 제2 요구에 따라, 상기 검색 정보에 포함되는 상기 시간 분할 블록 단위의 요약 정보를 선택하여 출력하는 동화상 검색 정보 관리 장치.
  31. 제30항에 있어서,
    상기 검색 정보는 또한, 상기 장면(140, 142, 144, 146, 160)의 각각을 단위로 하는 요약 정보를 포함하고,
    상기 검색 정보 관리부(502)는 또한, 외부로부터 제공되는 제3 요구에 따라, 상기 검색 정보에 포함되는 상기 장면 단위의 요약 정보를 선택하여 출력하는 동화상 검색 정보 관리 장치.
  32. 제29항에 있어서,
    상기 검색 정보는 또한, 상기 장면(140, 142, 144, 146, 160)의 각각을 단위로 하는 요약 정보를 포함하고,
    상기 검색 정보 관리부(502)는 또한, 외부로부터 제공되는 제2 요구에 따라, 상기 검색 정보에 포함되는 상기 장면 단위의 요약 정보를 선택하여 출력하는 동화상 검색 정보 관리 장치.
  33. 하나 이상의 장면(140, 142, 144, 146, 160)으로 이루어진 동화상 데이터의 요약 정보를 생성하는 동화상 요약 정보 생성 장치에 있어서,
    상기 장면(140, 142, 144, 146, 160)의 각각에 대하여, 해당 장면을 공간적으로 분할함으로써, 시간 방향으로는 해당 장면의 길이를 갖는 복수의 공간 분할 블록을 형성하고, 해당 공간 분할 블록에 포함된 동화상 데이터에 기초하여, 공간 분할 블록 단위의 요약 정보(188)를 생성하기 위한 제1 요약 정보 생성 수단(103)을 구비하는 동화상 요약 정보 생성 장치.
  34. 하나 이상의 장면(140, 142, 144, 146, 160)으로 이루어진 동화상 데이터의 요약 정보가 기록되는 기록 매체에 있어서,
    상기 기록 매체는, 상기 장면(140, 142, 144, 146, 160)의 각각에 대하여, 해당 장면을 공간적으로 분할함으로써 얻어지고, 시간 방향으로는 해당 장면의 길이를 갖는 복수의 공간 분할 블록을 단위로 하는, 해당 공간 분할 블록 내의 동화상 데이터에 관한 요약 정보(188)를 기록하고 있는 기록 매체.
  35. 하나 이상의 장면(140, 142, 144, 146, 160)으로 이루어진 동화상 데이터의 요약 정보를 관리하기 위한 동화상 요약 정보 관리 장치에 있어서,
    상기 장면(140, 142, 144, 146, 160)의 각각에 대하여, 해당 장면을 공간적으로 분할함으로써 얻어지고, 시간 방향으로는 해당 장면의 길이를 갖는 복수의 공간 분할 블록을 단위로 하는, 해당 공간 분할 블록 내의 동화상 데이터에 관한 요약 정보(188)를 유지하고, 외부로부터의 요구에 따라 상기 공간 분할 블록 단위의 요약 정보를 출력하기 위한 요약 정보 관리부(502)를 구비하는 동화상 요약 정보 관리 장치.
KR10-2001-7016932A 1999-06-30 2000-06-29 동화상 검색 정보 기록 장치 및 동화상 검색 장치 KR100486047B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP18460699 1999-06-30
JPJP-P-1999-00184606 1999-06-30
JPJP-P-1999-00339019 1999-11-30
JP33901999 1999-11-30

Publications (2)

Publication Number Publication Date
KR20020019482A KR20020019482A (ko) 2002-03-12
KR100486047B1 true KR100486047B1 (ko) 2005-05-03

Family

ID=26502587

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2001-7016932A KR100486047B1 (ko) 1999-06-30 2000-06-29 동화상 검색 정보 기록 장치 및 동화상 검색 장치

Country Status (8)

Country Link
US (2) US7092040B1 (ko)
EP (2) EP1835421A3 (ko)
JP (2) JP4027662B2 (ko)
KR (1) KR100486047B1 (ko)
CN (1) CN1371502B (ko)
DE (1) DE60036288T2 (ko)
ES (1) ES2288859T3 (ko)
WO (1) WO2001003005A1 (ko)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7075683B1 (en) * 1999-02-15 2006-07-11 Canon Kabushiki Kaisha Dynamic image digest automatic editing system and dynamic image digest automatic editing method
KR100486047B1 (ko) 1999-06-30 2005-05-03 샤프 가부시키가이샤 동화상 검색 정보 기록 장치 및 동화상 검색 장치
US7996191B2 (en) * 2001-08-10 2011-08-09 Jon Milton Foster Property development utilizing structure depicted in a motion picture or television show
US7167574B2 (en) 2002-03-14 2007-01-23 Seiko Epson Corporation Method and apparatus for content-based image copy detection
JP2004234613A (ja) * 2002-12-02 2004-08-19 Nec Corp 映像記述システムおよび方法、映像識別システムおよび方法
US7532804B2 (en) 2003-06-23 2009-05-12 Seiko Epson Corporation Method and apparatus for video copy detection
EP1498848A3 (en) * 2003-07-18 2007-03-07 Samsung Electronics Co., Ltd. GoF/GoP texture description, and texture-based GoF/GoP retrieval
US7856054B1 (en) * 2003-11-14 2010-12-21 Apple Inc. Scene change identification during encoding of compressed video
CN101292523B (zh) * 2005-10-27 2011-02-09 三菱电机株式会社 影像摘要装置
US8009861B2 (en) * 2006-04-28 2011-08-30 Vobile, Inc. Method and system for fingerprinting digital video object based on multiresolution, multirate spatial and temporal signatures
US20090079840A1 (en) * 2007-09-25 2009-03-26 Motorola, Inc. Method for intelligently creating, consuming, and sharing video content on mobile devices
WO2010021102A1 (ja) * 2008-08-22 2010-02-25 パナソニック株式会社 関連シーン付与装置及び関連シーン付与方法
WO2010084739A1 (ja) 2009-01-23 2010-07-29 日本電気株式会社 映像識別子抽出装置
US8731292B2 (en) * 2011-01-07 2014-05-20 Alcatel Lucent Method and apparatus for comparing videos
CN102595116B (zh) 2011-01-14 2014-03-12 华为技术有限公司 多图像块划分的编解码方法和装置
JP5798497B2 (ja) * 2012-01-20 2015-10-21 ルネサスエレクトロニクス株式会社 移動量検出装置、移動体検出装置及び移動量検出方法
JP2013210845A (ja) * 2012-03-30 2013-10-10 Secom Co Ltd 移動物体照合装置
WO2020182213A1 (en) 2019-03-13 2020-09-17 Beijing Bytedance Network Technology Co., Ltd. Sub-block transform in transform skip mode
KR102364628B1 (ko) * 2019-07-03 2022-02-18 한국과학기술원 비디오 처리 방법 및 장치
CN114096987A (zh) * 2019-07-03 2022-02-25 韩国科学技术院 视频处理方法及装置
US12003601B2 (en) * 2021-12-01 2024-06-04 Tencent America LLC Method and apparatus for split rendering for lightfield/immersive media using proxy edge cloud architecture
JP7548633B1 (ja) 2023-12-21 2024-09-10 株式会社インタラクティブソリューションズ セグメント検索装置及びプログラム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0878767A1 (en) * 1997-05-16 1998-11-18 Hitachi, Ltd. Image retrieving method and apparatus

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3060433B2 (ja) * 1991-08-12 2000-07-10 日本電信電話株式会社 動きベクトル算出方法
JPH06153146A (ja) * 1992-11-04 1994-05-31 Matsushita Electric Ind Co Ltd 動画像のシーンチェンジ検出装置および編集装置
JPH0738842A (ja) 1993-06-29 1995-02-07 Toshiba Corp 動画編集装置
US5719643A (en) * 1993-08-10 1998-02-17 Kokusai Denshin Denwa Kabushiki Kaisha Scene cut frame detector and scene cut frame group detector
JPH07152779A (ja) * 1993-11-29 1995-06-16 Toshiba Corp 動画インデックス検出処理方法及び動画インデックス検出処理機能を持つ動画処理装置
US5805733A (en) * 1994-12-12 1998-09-08 Apple Computer, Inc. Method and system for detecting scenes and summarizing video sequences
US5485611A (en) * 1994-12-30 1996-01-16 Intel Corporation Video database indexing and method of presenting video database index to a user
US5779108A (en) * 1995-06-15 1998-07-14 Calmar Inc. Pressure venting trigger sprayer
JP3597271B2 (ja) * 1995-09-19 2004-12-02 Ｋｄｄｉ株式会社 動画像のカット点画像検出装置
US5819286A (en) * 1995-12-11 1998-10-06 Industrial Technology Research Institute Video database indexing and query method and system
JPH09182019A (ja) * 1995-12-26 1997-07-11 Sony Corp 映像信号記録装置及び再生装置
US5661524A (en) * 1996-03-08 1997-08-26 International Business Machines Corporation Method and apparatus for motion estimation using trajectory in a digital video encoder
JPH09284702A (ja) 1996-04-09 1997-10-31 Oki Electric Ind Co Ltd シーン変化フレーム検出方法および装置
DE19618625C1 (de) * 1996-05-09 1997-10-23 Daimler Benz Ag Flüssigkeitsgekühlter Kolben für Verbrennungsmotoren
US5778108A (en) * 1996-06-07 1998-07-07 Electronic Data Systems Corporation Method and system for detecting transitional markers such as uniform fields in a video signal
US6400853B1 (en) * 1997-03-19 2002-06-04 Canon Kabushiki Kaisha Image retrieval apparatus and method
US6427048B2 (en) * 1997-04-28 2002-07-30 Sony Corporation Apparatus and method for recording, reproducing and displaying a video signal received by a signal receiver
US6125229A (en) * 1997-06-02 2000-09-26 Philips Electronics North America Corporation Visual indexing system
JPH11103441A (ja) * 1997-09-26 1999-04-13 Matsushita Electric Ind Co Ltd クリップ表示方法とその表示装置
KR100486047B1 (ko) * 1999-06-30 2005-05-03 샤프 가부시키가이샤 동화상 검색 정보 기록 장치 및 동화상 검색 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0878767A1 (en) * 1997-05-16 1998-11-18 Hitachi, Ltd. Image retrieving method and apparatus

Also Published As

Publication number Publication date
EP1195692A1 (en) 2002-04-10
US7884884B2 (en) 2011-02-08
DE60036288T2 (de) 2008-05-29
EP1195692B1 (en) 2007-09-05
JP4027662B2 (ja) 2007-12-26
EP1835421A3 (en) 2009-04-22
JP4462922B2 (ja) 2010-05-12
CN1371502B (zh) 2010-05-05
CN1371502A (zh) 2002-09-25
EP1195692A4 (en) 2004-04-21
KR20020019482A (ko) 2002-03-12
US7092040B1 (en) 2006-08-15
WO2001003005A1 (fr) 2001-01-11
EP1835421A2 (en) 2007-09-19
ES2288859T3 (es) 2008-02-01
JP2004104836A (ja) 2004-04-02
US20060164560A1 (en) 2006-07-27
DE60036288D1 (de) 2007-10-18

Similar Documents

Publication Publication Date Title
KR100486047B1 (ko) 동화상 검색 정보 기록 장치 및 동화상 검색 장치
US5384598A (en) System and method for frame differencing video compression and decompression with frame rate scalability
EP1024444B1 (en) Image information describing method, video retrieval method, video reproducing method, and video reproducing apparatus
US6285788B1 (en) Method for fast return of abstracted images from a digital image database
JP2020053977A (ja) 再生装置、再生方法、プログラム、及び記憶媒体
KR100714548B1 (ko) 동영상의 움직임 활동 특징 기술 방법 및 장치
US6332003B1 (en) Moving image composing system
KR20040018395A (ko) 영상 특징량 부호화 방법 및 영상 특징량 복호 방법
KR20020060981A (ko) 화상 검색 시스템 및 화상 검색 방법
US20060126942A1 (en) Method of and apparatus for retrieving movie image
US20060109908A1 (en) Method of retrieving video picture and apparatus therefor
KR100547370B1 (ko) 객체 형상 정보를 이용한 요약영상 추출 장치 및 그방법과 그를 이용한 동영상 요약 및 색인 시스템
US20020141617A1 (en) Image search apparatus
US20060078308A1 (en) Video reproducing apparatus
JPS63156476A (ja) 画像フアイル装置
JP5128963B2 (ja) 動画像の多重化方法とファイル読み込み方法及び装置，並びにそのプログラムとコンピュータ読み取り可能な記録媒体
JPH09294277A (ja) 予測符号化画像データ管理方法及び装置
JPH06162116A (ja) 動画像表示装置
KR100772788B1 (ko) 동영상의 움직임 활동 특징 기술 방법 및 장치
JP2020530229A (ja) 動き補償参照フレーム圧縮
KR100855450B1 (ko) 동영상 객체의 모션 스타일 전이 방법 및 이에 적용되는장치
KR20040071555A (ko) 다채널 영상데이타 처리장치 및 방법
KR100841181B1 (ko) 동영상의 움직임 활동 특징 기술 방법 및 장치
KR100841176B1 (ko) 동영상의 움직임 활동 특징 기술 방법 및 장치
JP3455635B2 (ja) 動きベクトル検出装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130404

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20140401

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20150416

Year of fee payment: 11

LAPS Lapse due to unpaid annual fee