Nothing Special   »   [go: up one dir, main page]

WO2001003005A1 - Appareil d'enregistrement d'informations de recherche d'images dynamiques et dispositif de recherche d'images dynamiques - Google Patents

Appareil d'enregistrement d'informations de recherche d'images dynamiques et dispositif de recherche d'images dynamiques Download PDF

Info

Publication number
WO2001003005A1
WO2001003005A1 PCT/JP2000/004299 JP0004299W WO0103005A1 WO 2001003005 A1 WO2001003005 A1 WO 2001003005A1 JP 0004299 W JP0004299 W JP 0004299W WO 0103005 A1 WO0103005 A1 WO 0103005A1
Authority
WO
WIPO (PCT)
Prior art keywords
moving image
search
information
images
partial
Prior art date
Application number
PCT/JP2000/004299
Other languages
English (en)
French (fr)
Inventor
Shuichi Watanabe
Original Assignee
Sharp Kabushiki Kaisha
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Kabushiki Kaisha filed Critical Sharp Kabushiki Kaisha
Priority to JP2001508725A priority Critical patent/JP4027662B2/ja
Priority to DE60036288T priority patent/DE60036288T2/de
Priority to CN008121761A priority patent/CN1371502B/zh
Priority to EP00940880A priority patent/EP1195692B1/en
Priority to US10/019,747 priority patent/US7092040B1/en
Publication of WO2001003005A1 publication Critical patent/WO2001003005A1/ja
Priority to US11/387,772 priority patent/US7884884B2/en

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/11—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information not detectable on the record carrier
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/738—Presentation of query results
    • G06F16/739—Presentation of query results in form of a video summary, e.g. the video summary being a video sequence, a composite still image or having synthesized frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
    • G06F16/786—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content using motion, e.g. object motion or camera motion
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8227—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being at least another television signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/78—Television signal recording using magnetic recording
    • H04N5/782—Television signal recording using magnetic recording on tape
    • H04N5/783—Adaptations for reproducing at a rate different from the recording rate

Definitions

  • the present invention relates to a device for recording information for retrieving a moving image (moving image retrieval information recording device) and a device for retrieving a moving image (moving image retrieval device).
  • the present invention relates to a moving image search information recording device and a moving image search device capable of efficiently searching and extracting a desired scene from a plurality of scenes.
  • the present invention relates to an improvement in such a moving image search technique.
  • ⁇ moving image '' refers to unprocessed moving image data composed of RGB (Red, Green, Blue) signals, and MPEG (Moving Picture Experts Group). It includes both moving image data that has been digitally encoded and encoded according to a predetermined moving image compression method.
  • scene is a unit of video that consists of a series of consecutive image frames.For example, a video obtained from a single shot from the start to the end of recording, or an edited video A series of moving images in which both ends are separated by two editing points in a moving image. This includes cases where the edited part contains special effects such as fades and dissolves.
  • One scene may include a plurality of scenes.
  • the “scene change point” refers to the position on the time axis at which two scenes switch, and the first frame of the scene immediately after the scene is switched is called the “scene change frame”.
  • key frame refers to a characteristic frame used in a search or the like that does not represent each scene or the entire moving image.
  • the moving image data is content composed of image information that changes along a time axis. All of the moving image data can be searched. Therefore, the simplest method for searching for a desired moving image is to look at the entire moving image and select a desired moving image. However, it takes some time to see the entire moving image. Therefore, as the number of moving images registered in the database increases, the time required to extract a desired moving image becomes extremely long. Therefore, this method is not practical.
  • search information representing the content of each moving image are prepared in advance for each moving image. To search for a desired moving image.
  • the information used as the search information includes information added to the image (additional information), information indicating characteristics of the image (characteristic information), and information indicating the outline of the image (summary information).
  • the additional information includes a title or a description prepared for the moving image.
  • the characteristic information includes information representing characteristics of an image, such as frequency of luminance values derived from an image signal or motion information between frames.
  • the summary information includes characteristic information of an image or a scene change point or a key frame determined by an external input.
  • characteristic information is particularly convenient and important.
  • a key frame representing a moving image can be selected using characteristic information. It is easy to digitize the characteristic information, and if the characteristics of a desired moving image are quantified in the form of characteristic information, a moving image having characteristics matching the required characteristic information can be easily extracted.
  • search information refers to this characteristic information.
  • a moving image includes a plurality of scenes.
  • a searcher searches for a moving image in order to find a desired frame or a desired scene included in the moving image from one or more moving images to be searched. Move using search information
  • the basic method for finding a desired frame or scene from an image is to search and record search information for each frame or search information for each scene in advance, and select a frame or scene based on these. It is to do.
  • Japanese Patent Application Laid-Open No. Hei 9-284 7702 discloses that the feature amount of a frame for detecting a scene change point includes a sum of motion vectors for each frame and a plurality of frames constituting the frame. Apparatus and methods for using intra-frame and inter-frame continuity of individual sub-regions are disclosed.
  • Japanese Patent Application Laid-Open No. 7-38842 discloses that the average value of the magnitude of the motion vector in each scene and the color histogram of the image are used as the feature amount of the scene, A control method for displaying a representative image as an image index is disclosed.
  • a device for recording information for searching for moving images (moving image search information recording device) and a device for searching for moving images (moving image search device) were created. Then, it would be as shown below.
  • the assumed conventional moving image retrieval information recording apparatus analyzes input moving image data and divides the data into scenes.
  • An analysis unit 601 for outputting information representing the structure (moving image structure information); and an output unit connected to receive the output of the analysis unit 601 and the input moving image data.
  • image summarization information such as the sum of the motion vectors corresponding to each frame in the scene is generated as search information and output frame units Connected to receive the output of the frame-based search information generation unit 602 and the frame-based search information generation unit 602, Based on a whole scene Scene information search unit 603 for generating and outputting summary information such as the average value of the size of the moving vector as search information, and moving image structure information output from the analysis unit 601
  • the search information for each frame output from the frame-based search information generating unit 602 and the search information for the entire scene output from the scene-based search information generating unit 603 are stored in a predetermined format.
  • one frame can be considered as a unit obtained by temporally dividing a moving image. Therefore, the frame can be called an example of a time division block.
  • an assumed conventional image search device includes a reading unit 701 for reading moving image search information and moving image data from recording medium 606, and a reading unit 701 for reading.
  • a search information management unit 70 that holds each of the supplied moving image search information and receives the request for the search information and outputs the search information in a scene unit or the search information in a frame unit together with the moving image structure information.
  • 2 in response to a scene-based search request, requests the scene-based search information and the moving image structure information from the search information management unit 720, and receives the received scene-based search information and the moving image structure information.
  • a scene-based search execution section 703 for outputting a scene corresponding to the search request based on the search request and outputting information on the detected scene.
  • a search request is provided to the search execution unit 703 in scene units or the search execution unit 704 in frame units. It includes a search control unit 706 for repeating the process of displaying moving image data provided from the management unit 705 as a search result and outputting the search result when the search is completed.
  • the device shown in FIG. 1 operates as follows.
  • the analyzing unit 601 divides the moving image data into scene units.
  • the analyzing unit 600 also outputs moving image structure information.
  • the frame-based search information generation unit 602 generates summary information corresponding to a frame in a scene based on the output moving image structure information and the moving image data.
  • the frame-based search information generation unit 602 further outputs the summary information thus generated to the scene-based search information generation unit 603 and the moving image search information generation unit 604 as search information.
  • the scene-based search information generator 603 generates summary information for the entire scene based on the frame-based summary information provided from the frame-based search information generator 602.
  • the scene-based search information generator 603 further supplies the summary information generated in this way to the scene-based search information generator 603 as search information.
  • the moving image search information generation unit 604 generates the moving image structure information from the analysis unit 601, the frame-based search information generation unit 602 from the frame-unit search information generation unit, and the scene-unit search information.
  • the search information for the entire scene is received from the unit 603, and is arranged in a predetermined format to generate search information corresponding to a moving image.
  • the moving image search information generating unit 604 gives the thus generated search information corresponding to the moving image to the recording unit 605.
  • the recording unit 605 records the original moving image data and the search information provided from the moving image search information generation unit 604 on the recording medium 606. At this time, the recording unit 605 uses a force to add information indicating that the recorded moving image data corresponds to the search information to the moving image data or the search information, to one or both of them, Alternatively, it is recorded separately from moving image data and search information.
  • the conventional search device operates as follows.
  • the operator gives a search instruction to the search control unit 706.
  • the search control unit 706 selects either a scene-based search or a frame-based search in response to the search instruction.
  • the search control unit 706 gives a search request to the search execution unit 703 in scene units.
  • the search execution unit 703 in scene units requests the search information management unit 702 for search information and moving image structure information in scene units. It receives the output search information and moving image information for each scene.
  • the scene-based search execution unit 703 detects a scene that matches the search request given from the search control unit 706 based on the scene-based search information and the moving image structure information. Then, the scene-based search execution unit 703 outputs information on the detected scene to the data management unit 705.
  • the data management unit 705 reads out the corresponding image data from the recording medium 606 via the readout unit 701 based on the information on the scene given from the scene-based search execution unit 703, and performs the search. This is given to the control unit 706.
  • the search control unit 706 displays the image data. The operator looks at the displayed image data, determines the next search policy, and gives the next search instruction to the search control unit 706. Hereinafter, the same processing is repeated.
  • the search ends when the image that the operator wants to retrieve is found.
  • the search result is output from the search control unit 706.
  • search information regarding a scene is generated based on search information in frame units included in the scene. This is because the smallest unit that composes a scene is generally recognized as a frame.
  • the spatial features in each frame obtained by dividing each frame into small areas (screen division block unit) Search information) can be used as search information.
  • these conventional devices have a problem that the spatial characteristics of an image cannot be obtained over the entire scene having a certain length on the time axis.
  • the aerial features of an image over the entire scene are referred to as ⁇ ⁇ search information J in units of space division blocks.
  • the present invention has been made in view of the above-described problems of the related art, and it is an object of the present invention to efficiently perform a moving image search using a new index that accurately represents a feature of a scene. It is an object of the present invention to provide a device for recording moving image search information and a device for searching for a moving image, which enable the search for a moving image.
  • An object of the present invention is to provide a moving image search information recording device and a moving image search device that enable efficient search of a moving image by extracting features. Still another object of the present invention is to efficiently search for a moving image using a new index that accurately represents a feature of a scene, and to reduce the amount of information for search. An object of the present invention is to provide a moving image search information recording device and a moving image search device. Disclosure of the invention
  • a moving image search information recording device includes moving image data and moving image structure information for dividing a moving image represented by the moving image data into one or more partial moving images on a time axis.
  • a search information generating unit that generates search information corresponding to each of one or more partial moving images based on the search information and the moving image structure information together with the corresponding moving image data on a recording medium.
  • the search information generating unit is configured to generate first summary information for generating summary information of at least one spatial partial moving image obtained by spatially dividing each of the one or more partial moving images on the time axis. Including a generating unit.
  • Summarization information is generated from the spatial partial moving images obtained by spatially dividing each of the partial moving images on the axis B.
  • This summary information is newly introduced in the present invention, and is not obtained from a temporal part of a partial moving image on the time axis.
  • This summary information is obtained from the spatial partial video that covers only a part of the image spatially, but over the partial video in time. Therefore, this summary information represents the spatial characteristics of a partial video over the entire time. Using this new index, it is possible to efficiently search for partial moving images that focus on spatial features rather than time.
  • a moving image search device provides a moving image search device for searching for a desired image using search information corresponding to each of one or more partial moving images constituting the moving image.
  • An image search device Search information is associated with the moving image data representing the moving image, and the search information is obtained by spatially dividing each of the one or more partial moving images on the time axis. Includes the summary information of the spatial partial moving image.
  • the moving image search device is a unit for searching for a partial moving image on the time axis which is connected to the information extracting unit for reading and managing the search information and is provided from the outside.
  • a search is performed for searching for a partial moving image on the time axis that matches the first search request using the summary information of the spatial partial moving images included in the search information. It includes a first partial moving image search unit.
  • the summary information obtained from the spatial partial moving images obtained by spatially dividing each of the partial moving images on the time axis is newly introduced in the present invention. Is obtained from a spatial partial video that covers only a part of the video, but on the time axis. Therefore, this summary information represents the spatial characteristics of a partial moving image over the entire time of the partial moving image. Therefore, according to the moving picture search device according to the present invention, it is possible to efficiently perform a search of partial moving pictures, focusing on spatial characteristics rather than time, using the new index.
  • FIG. 1 is a schematic block diagram of an assumed conventional moving image search information recording apparatus.
  • FIG. 2 is a schematic block diagram of an assumed conventional moving image search device.
  • FIG. 3 is a block [ ⁇ ] of the moving image search information recording device according to the embodiment of the present invention.
  • FIG. 4 is a diagram showing a process of decomposing a moving image into scenes in the moving image search information recording device according to one embodiment of the present invention.
  • FIG. 5 is a diagram showing a process of generating search information in units of time-division blocks in the moving image search information recording device according to the embodiment of the present invention.
  • FIG. 6 is a diagram showing a process of generating search information in units of space division blocks in the moving image search information recording device according to one embodiment of the present invention.
  • FIG. 7 is a diagram for explaining the concept of scene-based search information in the moving image search information recording device according to one embodiment of the present invention.
  • FIG. 8 is a diagram for explaining the concept of search information in units of space division blocks in the moving image search information recording device according to one embodiment of the present invention.
  • FIG. 9 is a diagram for explaining the concept of search information in units of space division blocks excluding redundancy in the moving image search information recording device according to one embodiment of the present invention.
  • FIG. 10 is a block diagram of a moving image search device according to one embodiment of the present invention.
  • m 11 is a diagram showing a reference scene in the similarity search using the scene unit search information.
  • FIG. 12 is a diagram showing one to three scenes in the similarity search using the scene unit search information.
  • FIG. 13 is a diagram showing another scene in the similarity search using the scene unit search information.
  • FIG. 14 is a diagram showing a reference scene in a similarity search using space division block unit search information.
  • FIG. 15 is a diagram showing one scene in the similarity search by the space division block unit search information.
  • FIG. 16 is a diagram showing another scene in the similarity search using the space division block unit search information.
  • FIG. 17 is a diagram showing the concept of recording scene-based search information and selectively recording search information in space-divided pronk units in the moving image search information recording device according to one embodiment of the present invention. is there.
  • FIG. 18 is a diagram showing the meaning of the value of the designated division number flag in a table format.
  • FIG. 19 shows the concept of recording the search information in scene units and the hierarchical recording of the search information in space division blocks in the moving image search information recording device according to one embodiment of the present invention.
  • 2 0 is a diagram showing an example of division when dividing a full I ⁇ Ichimu 2 2.
  • Figure 2 1 is a diagram showing an example of division when dividing a frame into two three.
  • FIG. 22 is a diagram showing an example of division when dividing a frame into two.
  • FIG. 23 is a diagram showing an example of division when dividing a frame into 25 frames.
  • FIG. 24 is a diagram showing an example of division when dividing a frame into 2 ⁇ frames.
  • FIG. 25 is a diagram showing a moving image database in which moving image data is divided and stored in scene units.
  • FIG. 3 shows a block diagram of the moving picture search information recording device 40 according to the present embodiment.
  • this moving image search information recording device 40 receives moving image data, analyzes the structure of the moving image, divides the scene into scenes, and outputs moving image structure information such as scene change points.
  • a first search information generation unit 102 for generating and outputting summary information (in units of divided brons), and moving image structure information and moving image data output from the analysis unit 101 are received.
  • a second search information generation unit 103 for generating and outputting summary information of a space division block composed of image data at the same division block position of all frames in the scene as search information regarding the scene; 1 search information Summary information for each frame (time-divided block) in the scene output from the generator 102, and Z or summary for each space-division block in the scene output from the second search information generator 103 With the information as input, summary information for the entire scene is obtained based on one or both of the summary information from the first search information generation unit 102 and / or the summary information from the second search information generation unit 103.
  • a third search information generation unit 104 for generating and outputting, summary information output from the first search information generation unit 102, and a summary information output from the second search information generation unit 103
  • the search information generation unit 105 receives the search information for the moving image and the original moving image data output from the fourth search information generation unit 105, and one or both of them receive the search information.
  • a recording unit 106 for recording search information, correspondence information with moving image data, and the like on a recording medium 107, by adding information corresponding to moving image data or the like or as separate data.
  • the moving image data handled by the apparatus of the present invention is an original image signal such as an RGB signal, MPE Any of image data encoded using a moving picture compression method such as G (Moving Picture Experts Group) may be used. In the present embodiment, for simplicity of description, it is assumed that moving image data is coded.
  • the analysis unit 101 divides a moving image into small temporal units (scenes). For this purpose, the analyzing unit 101 detects a scene change point in the image data. In this example, the analysis unit 101 detects a scene change point by using the frequency information in the frame in the prediction mode of the coded block included in the coded image data.
  • the analysis unit 101 includes a first scene change frame 130, a second scene change frame 132, and a third scene change frame 130 in the moving image 120.
  • the scene change frame 1 3 4 and the fourth scene change frame 1 3 6 are detected.
  • the analyzing unit 101 includes the first scene change frame 130 including the image data between the first scene change frame 130 and the second scene change frame 132).
  • the second scene change frame 132 including the image data between the second scene change frame 132 and the third scene change frame 134)
  • a third scene change frame 13 4 and a third scene change frame 13 4 including image data between the third scene change frame 13 4 and the fourth scene change frame 13 6.
  • Scene 1 4 4 and the fourth scene consisting of the image data from the fourth scene change frame 1 36 to the end of the moving image 120 (including the fourth scene change frame 1 36)
  • the moving image 1 2 0 is divided into 1 4 6.
  • the analysis unit 101 divides the moving image 120 into four scenes ⁇ 40, 144, 144, and 146 in this example.
  • the prayer club 101 is composed of the first scene change frame 130, the second scene change frame 132, the third scene change frame 134, and the fourth scene change frame. It has a function to output information indicating the position of the scene change frame such as 36 in the image data as moving image structure information.
  • first search information generating section 102 includes a certain scene obtained by dividing moving image data based on moving image structure information output from analyzing section 101. The following processing is performed on 160, and each file included in scene 160 is processed. Create frame summary information.
  • Scene 16 includes frames 16A to 16N.
  • the first search information generation unit 102 obtains, for each of the frames 16 2 A to 16 N, the frequency information 1666 A to 16 N of the motion vector in the frame. In addition, the first search information generation unit 102 obtains 1668N from the average value of the motion vectors 1668A in each of the frames 16A to 16N.
  • the frequency information 166, the average value information 168, and the power obtained in this manner constitute the summary information 170 of each frame.
  • Summary information is given as a function of frame number ⁇ (ie, a function of time).
  • This summary information is search information obtained by compressing information distributed in the space of each frame included in the scene 160.
  • Each frame is a unit obtained by temporally dividing an image, and is a type of time-divided block. Therefore, the summary information 170 can be said to be search information in time-division block units.
  • the second search information generating unit 103 receives the moving image structure information (information of the scene change position) output from the analyzing unit 101 and the moving image data.
  • the second search information generation unit 103 generates summary information for the space division block as follows using the moving image structure information and the moving image data.
  • the empty question division block means the following.
  • Each of all the frames in a scene is spatially divided into a plurality of division prounks in the same manner.
  • the whole of the divided blocks at the corresponding positions in all of these frames is called a spatial divided block of the scene. Therefore, if a scene contains n frames and each frame is divided into m divided blocks, the scene is divided into m spatial divided blocks, and each spatial divided block is divided into n spatial divided blocks. Includes divided blocks.
  • second search information generating section 03 performs the following processing on scene 16. As described above, it is assumed that the scene 16 includes a plurality of frames 16 2 A to 16 2. Each of these frames 16 2 A to 16 2 ⁇ is spatially divided into ⁇ divided blocks.
  • the division block refers to each small area when the image plane is divided into a plurality.
  • the frame 16 2 ⁇ shown in FIG. 6 is divided into a plurality of divided blocks 18 OA 1 to 180 AM. Cracked. The same applies to the other frames 16 2 B to 16 2 N.
  • one spatial division bron of the scene 160 is formed by the division block at the same position in each of the plurality of frames 16A to 16N.
  • a set of M-th divided blocks of each of N frames (the number of elements of which is equal to N,...) Forms a spatially-divided block 18 2 -M.
  • Other space division blocks are formed similarly.
  • the summary information 188 is summary information for each space division block, and is a function ⁇ (direct) for the position (coordinates) within the frame of the division block included in each space division block.
  • summary information 188 includes frequency information 184 and average value information 186.
  • frequency information 184 frequency information in a space division block of a prediction mode of each encoding process or frequency information in a space division block of a motion vector at the time of motion compensation prediction encoding can be used.
  • the frequency division block 182-1-1 can obtain frequency information 1884A
  • the space division block 182-2-2 can obtain frequency information 1884B, and so on.
  • the space division block 1 82 2—M force gives frequency information 1 84 M.
  • the average value information 186 the sum total of the motion vectors of the space division block II or the average value can be used.
  • the average value information 1886 A is obtained from the space division block 182-1
  • the average value information 1886B is obtained from the space division block 182-2.
  • the average value information 186 M is obtained from the space division block 182 M.
  • the standard deviation of the motion vector in the space division block can be used as the summary information.
  • the third search information generation unit 104 receives the summary information output from the first search information generation unit 102 or the summary information output from the second search information generation unit 103, Based on one or both of them, summary information for the entire scene is generated and output.
  • the summary information for the entire scene is used when searching for a scene. Search information.
  • frequency information, an average value, a standard deviation, and the like for the entire scene such as a motion vector, a luminance value, or a chrominance value, can be used.
  • the fourth search information generation unit 105 includes the summary information output from the first search information generation unit 102, the summary information output from the second search information generation unit 103, and the third By arranging, in a predetermined format, the summary information output from the search information generation unit 104 and the moving image structure information output from the analysis unit 101 in a predetermined format, the search information corresponding to the moving image is obtained. 3 to provide the generated output to the recording unit 1 0 6
  • the recording unit 106 receives the search information corresponding to the moving image and the original moving image data output from the fourth search information generating unit 105, and receives only the search information or the search information. And the moving image data are recorded on the recording medium 107. At this time, the recording unit 106 adds information indicating that the moving image data corresponds to the search information to either or both of the moving image data and the search information, or Record as separate data from search information.
  • the search information used in the moving image search information recording device 40 according to the present embodiment includes a motion vector included in motion compensated predictive encoded moving image data.
  • the information on the magnitude of the motion obtained based on the information is used.
  • search information in units of time-division blocks (frames) is obtained for each frame in the scene by using the motion vector of the entire frame obtained from the motion vector added to each encoded block. It is calculated as the sum of absolute values.
  • the other can be easily obtained from one of the sum of the absolute values of the motion vectors and the average thereof.
  • the search information for each space division block the sum of the absolute values of the motion vectors in each space division block is used. Again, the average of the motion vectors can be used as search information instead of the sum. If each of the divided blocks that compose the space division block matches the coding block, the corresponding The number of motion vectors is 1. When each divided block includes a plurality of coding blocks, the number of motion vectors corresponding to each divided block is equal to the number of coding blocks included in the divided block.
  • the search information for each space division block may be a value obtained by dividing the total sum of the absolute values of the motion vectors in each space division block by the number of division blocks constituting the space division block.
  • the number of divided blocks in this case is equal to the number of frames constituting the scene.
  • the search information for each space division block is obtained by calculating the sum of the absolute values of the motion vectors in each space division block by the number of coded blocks included in the division blocks constituting the space division block. It can be a value divided by the sum.
  • the sum of the absolute values of the motion vectors is used as the search information for the time-division block or the space-division block
  • the total sum of the absolute values of all the motion vectors included in the scene can be calculated.
  • the sum thus obtained is used as search information in scene units.
  • a scene 16 is composed of frames 16A to 16N. From these sums of the absolute values of the motion vectors of the frames 16A to 16N, the scene unit search information I of the scene 160 can be obtained.
  • each of the frames 162A to 162N is divided into 2 ⁇ 2 divided blocks. That is, each of the frames 16 2 A to 16 2 N is divided into four divided blocks. For example, frame 16 2 A is divided into four divided blocks 19 O A 1 through 190 A 4. The same applies to the following frames, although not shown.
  • frame 162B is divided into frame 190B4 and frame 190B4. Therefore, as can be seen from the description of the space division block above, the scene 160 is divided into four space division blocks, and the motion vectors in each space division block are assigned to these four space division blocks. From the sum of the absolute values of, the search information I and, respectively, for each space division block can be obtained as real values.
  • scene search information for scene 160 for example, It is possible to use ⁇ I, I I 2 , I a. I 4 ⁇ obtained by sequentially arranging the rope information I, I I 2 , I 3, I 4 . This search information may be recorded together with the original image data.
  • the above search information includes redundancy.
  • the scene unit search information I is equal to the sum of the search information in space division block units.
  • the scene unit retrieval information I can from the search information I space division Proc Unit I 4 KaraMotome Mel. Or may be from any three and each scene search information I search information I, from among the 1 4 space division blocks, calculates a remaining one of the search information of the spatial division Proc units.
  • the apparatus of the present embodiment by about 1 4 is not included in the search information Unisuru.
  • the value of each space division block unit search information with respect to the scene unit search information is shown as a percentage instead of the value of each space division block unit search information as it is.
  • the first to third space division blanking opening Tsu retrieval information click of, if P have P 2 and P 3 the ratio retrieval information I of scene unit retrieval information of spatial split block units at this time is 9 Is determined as shown in That is, the search information Pi of the first space division block is calculated from the first space division block and the scene unit search information. From the second space division block and the scene unit search information, search information P2 of the second space division trunk is calculated.
  • the search information of the space division block is recorded as a percentage with respect to the scene unit search information
  • the following advantages can be obtained.
  • the dynamic range of the signal for recording the search information is limited, so that the search information can be more efficiently recorded. That is, the amount of information to be recorded is reduced as compared with the case where it is not.
  • the value of the search information is normalized, it is possible to compare the search information attached to different scenes with each other.
  • the moving image search information is generated by the fourth search information generation unit 105, and is recorded on the recording medium 107 via the recording unit 106.
  • moving image search device 50 includes a reading unit 501 for reading moving image data recorded on recording medium 107 and its search information.
  • the search information of the moving image read by the reading unit 501 is held, and the search information of the scene unit, the search unit of the space division block, or the search information of the time division block is stored according to the search request.
  • a request is made to the search information management unit 502 to output the information together with the information, and the entire scene is sent from the search information management unit 502 to the search information management unit 502.
  • a first search execution unit 5-3 for detecting a scene that matches a search request for each scene, and outputting information about the detected scene, Respond to inter-block search request Then, a request is made to the search information management unit 502, and the search is performed based on the summary information for each space division block in the scene received from the search information management unit 502 and the moving image structure information.
  • a second search execution unit 504 for detecting scenes matching the request and outputting information about the detected scenes, and a search information management unit 502 in response to a search request in units of time division blocks. A scene or frame that matches the search request based on the summary information for each frame in the scene received from the search information management unit 502 and the moving image structure information.
  • a third search execution unit 505 for detecting information and outputting information on the detected scene or frame, and holding the moving image information read by the readout unit 501 to execute the first search Part 503, second search execution part 504 or third
  • a data management unit 506 for outputting image data of a scene or a frame detected based on the search result based on the search result output from the search execution unit 505;
  • a search request in scene units is sent to the first search execution unit 503, a search request in space division block units is sent to the second search execution unit 504, or a time division block unit.
  • a search control unit 507 for displaying the image data of the scene or frame output from the data management unit 506 and outputting the search result at the end of the search.
  • the moving image search device 50 operates as follows. At the start of the search, the operator gives a search instruction to the search control unit 507.
  • the search control unit 507 selects one of a scene unit search, a space division block unit search, and a time division block unit search according to the search instruction, and executes the first search.
  • a search request is issued to any one of the section 503, the second search execution section 504, or the third search execution section 505.
  • the one that receives the search request from the search control unit 507 is the search information management unit. ⁇ ⁇ ⁇ . Detects scenes or frames that match the search request, based on the video structure information provided from Part 502 and the summary information in scene units, space-division-broken units, or time-division block (frame) units Then, information about the detected scene or frame is provided to the data management unit 506.
  • the data management unit 506 corresponds to the scene or frame information received from the first search execution unit 503, the second search execution unit 504, or the third search execution unit 505.
  • An image of a scene or a frame to be extracted is extracted from the moving image data and provided to the search control unit 507.
  • the search control unit 507 displays the image provided from the data management unit 506. From the displayed image, the operator determines whether or not the image is a desired scene, and gives an instruction to the search control unit 507 to output a search result if the image is a desired scene. The search control unit 507 outputs a search result in response to this instruction. If the image displayed by the search control unit 507 does not represent a desired scene, the operator further gives the next search instruction to the search control unit 507. Hereinafter, the search control unit 507 performs the same operation as described above, and displays the scene of the search result. Hereinafter, this operation is repeated until the search is completed.
  • the search information is based on a motion vector included in motion-compensated prediction-coded video data.
  • the information about the magnitude of the movement obtained by using is used.
  • the desired scene or frame within the scene is retrieved as follows.
  • a scene in which motion is spatially ubiquitous over one scene and a scene in which motion is distributed relatively evenly in space can be selected.
  • search information in units of space division blocks which have not been considered in the past, is used for scene search. Therefore, the following effects can be obtained.
  • FIGS. 11 to 13 scene A shown in FIG. 12 (A) and scene B shown in FIG. 13 (A) are referred to as a reference scene shown in FIG. 11 (A).
  • a reference scene shown in FIG. 11 (A) For the case of calculating the similarity of With such “similarity” calculation, it is possible to detect a scene having motion characteristics similar to the reference scene.
  • FIGS. 12 to 13 show a case where only search information in scene units is used.
  • FIGS. 11 to 13 show scene unit search information for each image shown in (A).
  • scenes A and B have the same motion intensity as the entire scene with respect to the reference scene. Therefore, as shown in FIGS. 11 to 13 (B), the corresponding scene unit search information has the same value. That is, both scenes A and B are similar to the reference scene. Is determined to be.
  • FIG. 14 to FIG. 16 show the reference scenes, scenes A and B, respectively.
  • each frame of each scene includes four divided blocks.
  • the search information for each space division block is given to the space division block consisting of the first to third division blocks.
  • the information P, P 2 and P 3 have been calculated.
  • the scene-based search information for the reference scene, scenes A and B has substantially the same value.
  • the following facts can be understood by comparing each one with search information in units of space division blocks. That is, the scene A has a distribution similar to the distribution of the space-division block unit search information of the reference scene. This is because, in scene B, since the person is on the right side, the motion can be spatially biased. In both the reference scene and scene A, the person is almost in the center. Therefore, scene A is detected as a scene similar to the reference scene, but scene B is not detected. In other words, even if the motion of the entire scene is similar to the scenes of the scenes A and B, the scene can be selected based on whether or not the motion is ubiquitous.
  • search information in units of frames for example, particularly fast-moving frames in a scene, or frames in which motion stops, can be selected.
  • search information in units of scenes By combining the above-described search information in units of scenes, search information in units of space division blocks, and search information in units of time division blocks, it is possible to more precisely search for a desired scene.
  • Video search can be performed.
  • the analyzing unit 101 automatically finds a scene change point by performing signal analysis on moving image data.
  • the operator may look at the moving image, analyze the structure of the moving image based on the subjectivity of the operation, and attach a tag to the scene division position.
  • the analysis unit 101 analyzes the moving image data in the same manner, but at that time, divides the moving image into scenes by looking at the tags attached to the moving image data
  • the intra-frame frequency information of the motion vector at the time of motion compensation prediction encoding is used as the frequency information ⁇ 66 of the summary information of the frame.
  • the present invention is not limited to this, and intra-frame frequency information of the prediction mode of each encoded block can be used as frequency information.
  • the sum or standard deviation of the motion vectors in the frame, the average luminance value in the frame calculated using the original image signal or the decoded image signal, or the average color difference value, etc. May be used.
  • Search methods and procedures are not limited to the combinations shown here. It is possible to change the order in which the selected candidates are narrowed down. Also, the method and procedure for searching vary depending on the generated search information.
  • the number of divisions is not limited to four.
  • the space division blocks search information expressed as a percentage is a gamma 1 5 from P.
  • P 16 is obtained more subtracting the ⁇ !] Search information of other space division blocks 1 0 0%.
  • space division block unit search information expressed as a percentage is from P fi 3 .
  • P64 is also obtained by subtracting the sum of the search information of other space division blocks from 100%.
  • a space division block is formed by the division blocks divided according to the selected number (which can be called “resolution”), and search information is obtained for each of them. Furthermore, when recording search information, in addition to the search information in scene units and the search information in space division proxies based on the selected resolution, the division number designation is shown in Fig. 18 showing the correspondence between the value and the division number. Search flags Add to information. If the division number designation flag is “0”, ⁇ P is P 2 , P 3 ⁇ ,
  • a database that requires only a relatively simple search such as 2 ⁇ 2 is used for a database that requires only a relatively simple search, because it is necessary to know the approximate distribution of motion in the upper, lower, left, and right images.
  • the amount of search information recorded can be reduced.
  • High-performance search can be realized. Since high-resolution search information includes low-resolution search information, there is no need to duplicate low-resolution search information when low-resolution search is required.
  • the number of divisions in the vertical direction is equal to the number of divisions in the horizontal direction, such as 2 ⁇ 2, 4 ⁇ 4, and 8 ⁇ 8, and both are powers of two. If this was the number of divisions selectively used was, even between the resolution of the partition has been recorded different spatial division Proc unit search information database that Do possible correspondence between the retrieval information u also in different division resolution each other Can also be compared. Further, as shown in FIG. 19, search information in units of space division blocks having a plurality of resolutions may be recorded in a hierarchical manner.
  • the search information of a scene is search information 200 of a scene unit, search information 202 of a space division block unit by 2 ⁇ 2 division, search information 204 of a space division block unit by 4 ⁇ 4 division, and 8 ⁇ 8 minutes. And search information 206 in units of space division blocks by division.
  • search information in units of space division blocks in a certain layer is represented by search information in units of four spatial blocks with higher resolution.
  • each layer Te smell, without recording the one of retrieval information of four spatially split block units, 3 can be obtained all the information necessary for the search
  • the search information in the example shown in Fig. 19 is divided into 8 x 8 frames shown in Fig. 7 Search information having the same resolution as that for recording search information in units of a space division block formed as a unit.
  • the search information shown in FIG. 19 has an advantage that search information of another resolution can be easily obtained.
  • the frame dividing method is not limited to this.
  • the search information may be generated by dividing the frame in a manner as shown in FIGS. 20 to 24 and using the obtained space division block as a position.
  • search information for realizing a search function similar to that obtained by the apparatus of the above-described embodiment can be generated.
  • the summary information is obtained by using the frame 16 2 ⁇ as one time-divided pronk 16 4 ⁇ .
  • one time division block may include two or more frames.
  • each frame may be sub-sampled to generate a sub-frame, and one time division block may include one or a plurality of sub-frames.
  • frames in the scene may be appropriately thinned out, and the summary information for each thinned frame may be used.
  • summary information of the space division block is obtained using all the division blocks included in the space division block.
  • the invention is not limited to such an implementation. It is not always necessary to use the image data corresponding to all the divided blocks in the space division block, and the division information is appropriately thinned out, or the image data in the division block is appropriately thinned out, and the summary information of the space division block is obtained. May be generated.
  • search vectors may be generated by correcting the movement vector corresponding to the movement of the camera.
  • the moving image search information recording device 40 and the moving image search device 50 are separate devices.
  • the search information is passed from the moving image search information recording device 40 to the moving image search device 50 via the recording medium 107.
  • the search information may be passed directly to the search information management unit 502 in FIG. 10 together with the moving image structure information output from the analysis unit 101.
  • the search process in this case is called a so-called real-time search.
  • a divided block obtained by dividing a frame in the above-described embodiment may correspond to an encoded block.
  • a block of an appropriate size different from the coding block may be newly defined.
  • the divided blocks are symmetric, and the arrangement of the divided blocks is also symmetric.
  • the block does not need to be symmetric.
  • the arrangement of the blocks does not need to be symmetric. It is also possible to appropriately thin out the image plane. That is, an image may include a region or an area that does not include a divided block. Also, the divided blocks may partially overlap. That is, an image may include an area included in a plurality of divided blocks.
  • the third search information generation unit 104 shown in FIG. 3 includes the summary information and the second search information generation unit 100 output from the first search information generation unit 1 ⁇ 2. In response to the summary information output from step 3, summary information is generated for the entire scene.
  • the invention is not limited to such an implementation.
  • the third search information generation unit 104 may generate summary information on the entire scene directly from the input image data.
  • search information In the above-described embodiment, various types of summary information (search information) are physically defined. It seeks one defined scene as a unit. However, it is not always necessary to obtain search information in scenes. For example, if a scene is divided into
  • the search information may be obtained in units of ⁇ .
  • the word “scene” also means “subscene”.
  • search information can be obtained in units of a composite scene consisting of multiple scenes.
  • the word “scene” also means “a group of scenes”.
  • search information is generated, recorded, and searched for one piece of moving image data, but the present invention is not limited to such an example. That is, it is assumed that a plurality of pieces of moving image data are to be searched, search information is generated and recorded, and a desired scene or frame is searched from the plurality of pieces of moving image data.
  • each captured moving image that is, one scene from the start of one recording to the stop of the recording is transferred.
  • the moving image data to be represented is generated as independent data files. Therefore, an image database as shown in Fig. 25 can be easily recalled.
  • search information is generated by the moving image search information recording device 40 shown in FIG.
  • the input moving image data is a plurality of moving image data existing in the database. Since the moving image data has already been decomposed into scenes (one moving image data contains only one scene each), moving image structure information is unnecessary. Therefore, it is not necessary for the analysis unit 101 to analyze the structure of the moving image.
  • the first, second, and third search information generators 102, 104, and 104 generate summary information for frames (time-divided blocks), space-divided blocks, and the entire scene from moving image data, respectively. .
  • the fourth search information generation unit 105 arranges the summary information in a predetermined format to generate search information for a moving image.
  • the recording unit 106 receives each of the moving image data and the search information corresponding to each of the moving images, and as a force or separate data for adding information corresponding to each of the moving image data and the search information to one or both of them,
  • the search information and the corresponding information are recorded on the recording medium 1-7.
  • the recording medium 107 may be in the original image database. Further, each search information may be recorded independently or collectively as search information corresponding to the image database.
  • a search is executed from such an image database and the search information generated and recorded by the moving image search device shown in FIG.
  • what is read by the reading unit 501 and managed by the search information management device 502 is search information corresponding to a plurality of moving image data existing in the database, and a moving image corresponding to each moving image data. No image structure information is required.
  • the first, second, and third search execution units 503, 504, and 505 respectively use the corresponding search information to detect a scene or a frame that matches the search request, and detect the detected scene or frame. Outputs information about frames.
  • the data management unit 506 and the search control unit 507 operate in the same manner as in the above-described embodiment, and obtain search results.
  • the moving image search information recording apparatus and the moving image search apparatus according to the tree invention generate scene search information in units of spatially divided blocks obtained by dividing a scene spatially, not temporally, and perform the search. Since a scene is searched based on information, it is suitable for a system that efficiently searches for a desired scene in a moving image according to spatial features observed through the scene.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Library & Information Science (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Television Signal Processing For Recording (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Description

明細書 動画像検索情報記録装置および動画像検索装置 技術分野
本発明は、 動画像を検索するための情報を記録する装置 （動画像検索情報記録 装置） および動画像を検索するための装置 （動画像検索装置） に関し、 より詳細 には、 動画像を構成する複数個のシーンの中から、 所望のシ一ンを効率的に検索 して取出すことを可能とする、 動両像検索情報記録装置および動画像検索装置に 関する。 背景技術
コンピュータの性能の向上、 記憶装置の大容量ィ匕、 通信のためのインフラス ト ラクチャ一の整備などにより、 大量の画像をデータベース化しておき必要なとき に必要な画像を配信するサービスなどが普及しつつある。 画像をデジタル化する 技術も普及しているため、 個人で動画像のデータベースを構築することも可能で ある。
このように動画像をデータベース化すると、 その中からいかにして所望の動画 像を検索するかが問題となる。 本発明は、 そのような動画像の検索の技術の改良 に関する。
本明細書において使用する 「動画像」 という用語は、 R G B (R e d , G r e e n , B l u e ) 信号からなる、 加工されていない動画像データ、 および M P E G (Moving Picture Experts Group) などのように、 デジタルィ匕され、 所定の動 画圧縮方式によつて符号化された動画像デ一タの両者を含むものとする。
「シーン」 という用語は、 連統する複数の画像フレームからなる、 動 像の構 成単位であって、 例えば録画の開始から停止までの 1回の撮影で得られた動画像、 または編集済みの動画像の中で、 二つの編集点で両端を区切られた一連の動両像 のことをいう。 編集箇所がフェード、 ディゾルブなどの特殊な効果を含んでいる 場合も含む。 一^ 3のシーンは複数個のシーンを含んでもよい。 「シーンチェンジ点」 とは、 二つのシーンが切り替わる時間軸上の位置を指し、 シーンが切替わった直後のシーンの先頭フレームを 「シーンチェンジフレーム」 とレ、う。
Γキ一フレーム」 とは、 検索などで利用される、 各シーンまたは動画像全体を 代表すなような特徴的なフレームをいう。
動画像データは、 時間軸に沿つて変化する画像情報からなるコンテンツである。 動画像データは、 その全てが検索の対象となる。 したがって、 所望の動両像を検 索するための最も単純な方法は、 動画像の全体を見て所望の動画像を選ぶことで ある。 しかし、 動画像の全体を見るためにはある時間を要する。 したがって、 デ —タベースに登録されている動画像の数が増えると、 所望の動画像を取出すため に要する時間が極めて大きくなる。 したがつてこの方法は現実的ではない。
効率的に動画像を検索するための一般的な方法では、 予め各動画像の内容を代 表する種々の検索のための情報 （検索情報） を各動画像について用意し、 これに 基づレ、て所望の動画像を検索する。
検索情報として用いられる情報は、 画像に付加された情報 （付加情報） 、 画像 の特性を表わす情報 （特性情報） 、 および画像の概要を表わす情報 （概要情報） を含む。 付加情報は、 動画像に附随して用意されるタイ トルまたは説明文を含む。 特性情報は、 画像信号から導出される輝度値の頻度もしくはフレーム間での動き 情報など. 画像の特性を表わす情報を含む。 概要情報は、 画像の特性情報または 外部からの入力によって定められるシーンチェンジ点またはキ一フレームなどを 含む。
上記した情報の中で、 特性情報は特に便利でかつ重要である。 たとえば動画像 を代表するキーフレームは特性情報を利用して選択できる。 特性情報は数値化す ることが容易で、 所望の動画像の特性を特性情報の形で数値化すれば、 要求され た特性情報と一致する特性を有する動画像を抽出することも容易にできる。 以下 の説明では 「検索情報」 とはこの特性情報のことをいうものとする。
一般に動画像は複数個のシーンを含む。 検索者が動画像を検索するのは、 多く の場合、 検索の対象となる 1または複数の動画像から、 動画像中に含まれている 所望のフレームまたは所望のシーンを発見するためである。 検索情報を用いて動 画像の中から所望のフレームまたはシーンを発見するための基本的な方法は、 予 め各フレームに関する検索情報または各シーンに関する検索情報を求めて記録し ておき、 これらに基づいてフレームまたはシーンの選択を行なうことである。 この点に関し日本 M特開平 9— 2 8 4 7 0 2号公報には、 シーンチェンジ点を 検出するためのフレームの特徴量として、 フレームごとの動きベク トルの総和、 ならびに、 フレームを構成する複数個の小領域の、 フレーム内およびフレーム間 の連続度を用いる装置および方法が開示されている。
また日本国特開平 7— 3 8 8 4 2号公報には、 各シーン内の動きべクトルの大 きさの平均値および画像の色ヒストグラムをシーンの特徴量として用いて、 各シ —ンの代表画像を画像ィンデックスとして表示する際の制御方法が開示されてい る。
こうした従来技術を考慮して、 動画像を検索するための情報を記録するための 装置 （動画像検索情報記録装置） および動画像を検索するための装置 （動画像検 索装置） を作成したとすれば、 以下に示すようなものとなると考えられる。
図 1を参照して、 想定された従来の動両像検索情報記録装置は、 入力される動 画像データを解析してシーンに分割し、 シーンの分割位匱 （シーンチェンジ） な どの動画像の構造を表わす情報 （動画像構造情報） を出力するための解析部 6 0 1と、 解析部 6 0 1の出力と入力された動画像データとを受けるように接続され、 解析部 6 0 1から出力された動画像構造情報および動画像データに基づいて、 シ ーン内の各フレームに対応する動きべク トルの総和などの、 画像の要約情報を検 索情報として生成し、 出力するフレーム単位の検索情報生成部 6 0 2と、 フレー ム単位の検索情報生成部 6 0 2の出力を受けるように接続され、 フレーム単位の 検索情報生成部 6 0 2から出力されるフレーム単位の要約情報に基づいて、 ある シーンの全体に対する動きべク トルの大きさの平均値などの要約情報を検索情報 として生成し出力するためのシーン単位の検索情報生成部 6 0 3と、 解析部 6 0 1から出力される動画像構造情報、 フレーム単位の検索情報生成部 6 0 2から出 力される各フレーム単位の検索情報、 およびシーン単位の検索情報生成部 6 0 3 から出力されるシ一ン全体に対する検索情報を、 所定の形式に配置することによ り、 動画像に対応する検索情報を生成し出力するための動画像の検索情報生成部 6 0 4と、 もとの動画像データと、 動画像の検索情報生成部 6 0 4から出力され る、 動画像に対応する検索情報とを対応付けて記録媒体 6 0 6に記憶するための 記録部 6 0 5とを含む。
なお、 1フレームは、 動画像を時間的に分割した単位であると考えることがで きる。 したがってフ I ^一ムは時間分割ブロックの一例と呼ぶことができる。
図 2を参照して、 想定される従来の画像検索装置は、 記録媒体 6 0 6から動画 像検索情報および動画像データを読出すための読出部 7 0 1と、 読出部 7 0 1か ら供給される各動画像検索情報を保持し、 検索情報に対する要求を受けて、 シー ン単位の検索情報またはフレーム単位の検索情報を動画像の構造情報とともに出 力するための検索情報管理部 7 0 2と、 シーン単位の検索の要求を受けて、 検索 情報管理部 7 0 2にシーン単位の検索情報と動画像構造情報とを要求し、 受取つ たシーン単位の検索情報と動画像構造情報とに基づいて、 検索要求に合致したシ ーンを検出して、 検出されたシーンに関する情報を出力するためのシーン単位の 検索実行部 7 0 3と、 フレーム単位の検索の要求を受けて、 検索情報管理部 7 0 2に対してシーン内のフレーム単位の検索情報おょぴ動画像構造情報を要求し、 受取ったシーン内のフレーム単位の検索情報および動画像情報に基づいて、 検索 要求に合致したシーンまたはフレームを検出して、 検出されたシーンまたはフレ —ムに関する情報を出力するためのフレーム単位の検索実行部 7 0 4と、 シーン 単位の検索実行部 7 0 3およびフレーム単位の検索実行部 7 0 4から出力される、 検出されたシ一ンに「する情報または検出されたフレームに関する情報に基づレ、 て、 それら検出されたシーンまたはフレームに対応する画像データを読出部 7 0 1を介して取出し、 出力するためのデータ管理部 7 0 5と、 オペレータから与え られる検索指示に応答し、 検索要求をシーン単位の検索実行部 7 0 3またはフレ —ム単位の検索実行部 7 0 4に与え、 データ管理部 7 0 5から与えられる動画像 データを検索結果として表示する処理を繰返し、 検索終了時には検索結果を出力 するための検索制御部 7 0 6とを含む。
図 1に示される装置は以下のように動作することが想定される。 動画像データ が入力されると、 解析部 6 0 1がその動両像データをシーン単位に分割する。 解 析部 6 0 1はまた、 動画像構造情報を出力する。 フレーム単位の検索情報生成部 6 0 2は、 解析部 6 0 1力 出力された動画像 構造情報および動画像データに基づいて、 シーン内のフレームに対応する要約情 報を生成する。 フレーム単位の検索情報生成部 6 0 2はさらに、 こうして生成さ れた要約情報をシーン単位の検索情報生成部 6 0 3および動画像の検索情報生成 部 6 0 4に検索情報として出力する。
シーン単位の検索情報生成部 6 0 3は、 フレーム単位の検索情報生成部 6 0 2 から与えられたフレーム単位の要約情報に基づき、 シーン全体に対する要約情報 を生成する。 シーン単位の検索情報生成部 6 0 3はさらに、 こうして生成された 要約情報をシーン単位の検索情報生成部 6 0 3に検索情報として与える。
動画像の検索情報生成部 6 0 4は、 解析部 6 0 1から動画像構造情報を、 フレ ーム単位の検索情報生成部 6 0 2からフレーム単位の検索情報を、 シーン単位の 検索情報生成部 6 0 3からシーン全体のための検索情報をそれぞれ受け、 所定の 形式で配置して動画像に対応する検索情報を生成する。 動画像の検索情報生成部 6 0 4は、 こうして生成された、 動画像に対応する検索情報を記録部 6 0 5に与 える。
記録部 6 0 5は、 もとの動画像データと、 動画像の検索情報生成部 6 0 4から 与えられた検索情報とを記録媒体 6 0 6に記録する。 このとき記録部 6 0 5は、 記録される動画像データと検索情報とが対応していることを示す情報を動画像デ —タまたは検索情報のレ、ずれか一方または双方に付加する力、 または動画像デ一 タおよび検索情報とは別に記録する。
図 2を参照して、 従来の検索装置は以下のように動作することが想定される。 検索の開始時に、 オペレータは検索制御部 7 0 6に対して検索指示を与える。 検 索制御部 7 0 6は、 この検索指示に応答してシーン単位の検索、 またはフレーム 単位の検索のいずれかを選択する。
たとえばシーン単位の検索が選択されたものとする。 すると、 検索制御部 7 0 6はシーン単位の検索実行部 7 0 3に対して検索の要求を与える。 シーン単位の 検索実行部 7 0 3はこの要求に応答して、 検索情報管理部 7 0 2に対してシーン 単位の検索情報と動画像構造情報とを要求し、 検索情報管理部 7 0 2から出力さ れたシ一ン単位の検索情報と動画像情報とを受取る。 シーン単位の検索実行部 7 0 3は、 このシーン単位の検索情報と動画像構造情 報とに基づいて、 検索制御部 7 0 6から与えられた検索要求に合致したシーンを 検出する。 そしてシーン単位の検索実行部 7 0 3は、 検出されたシーンに関する 情報をデータ管理部 7 0 5に対して出力する。
データ管理部 7 0 5は、 シーン単位の検索実行部 7 0 3から与えられたシーン に関する情報に基づいて、 対応する画像データを読出部 7 0 1を介して記録媒体 6 0 6から読出し、 検索制御部 7 0 6に与える。
検索制御部 7 0 6は、 この画像データを表示する。 オペレータは、 表示された 画像データを見て、 次の検索方針を決め、 次の検索指示を検索制御部 7 0 6に与 える。 以下、 同様の処理が繰返される。
こうして、 オペレータが取出したいと考えていた画像が ¾出されると検索は終 了する。 検索結果は検索制御部 7 0 6から出力される。
従来の技術では、 シーンに関する検索情報は、 そのシーンに含まれるフレーム 単位の検索情報に基づいて生成されている。 これは、 シーンを構成する最小の単 位はフレームであると一般的に認識されていることによる。
このように個々のフ L ^一ム単位の検索情報に基づいてシーンの検索情報を生成 すると、 各フレームを小領域に分割して得られる、 各フレーム内の空間的な特徴 (画面分割プロック単位の検索情報） を検索情報として利用することができる。 しかし、 これらの従来の装置では時間軸上である長さを有するシ一ン全体にわた る、 画像の空間的な特徴を极うことができないという問題がある。 この明細書で は. このようにシーン全体にわたる、 画像の空問的な特徴を Γ空間分割ブロック 単位の検索情報 J と呼ぶ。
たとえば、 画面の中央部に激しく動く物体が映っている、 という特徴を有する シーンを取出そうとする場合を考える。 従来の技術では、 このようなシーンをシ ーン単位の検索情報から検索することができず、 各シーンに含まれる各フレーム に付加された検索情報まで降りて検索する必要がある。 そのため従来の技術では、 そのような検索は効率が極めて低くなる。
本発明は、 従来技術の、 上記したような問題点に鑑みてなされたものであり、 シーンの特徴を的確に表わす新たな指標を用いて動画像検索を効率的に行なうこ 01 とを可能とする動画像の検索情報を記録する装置および動画像を検索するための 装置を提供することを目的とする。
本発明の他の目的は、 シーンを時間的なプロンクに分割してその特徴を抽出す るだけでなく、 シーンを、 時間軸上では分割せず、 空間的にのみ分割してシーン の別の特徴を抽出することにより、 動画像の検索を効率的に行なうことを可能と する、 動画像検索情報記録装置および動画像検索装置を提供することである。 本発明のさらに他の目的は、 シーンの特徴を的確に表わす新たな指標を用いて 動画像の検索を効率的に行なうことが可能で、 かつ検索のための情報の情報量が 少なくて済む、 動画像検索情報記録装置および動画像検索装置を提供することで ある。 発明の開示
本発明にかかる動画像検索情報記録装置は、 動画像データと、 動画像データに より表わされる動画像を時間軸上で 1以上の時間軸上の部分動画像に分割する動 画像構造情報とに基づいて、 1以上の部分動画像の各々に対応して検索情報を生 成する検索情報生成部と、 検索情報と動画像構造情報とを、 対応する動画像デ一 タとともに記録媒体に記録する記録部とを含む。 検索情報生成部は、 1以上の時 間軸上の部分動画像の各々を空間的に分割することにより得られる丄以上の空間 的部分動画像の要約情報を生成するための第 1の要約情報生成部を含む。
B 間軸上の部分動画像の各々を空間的に分割することにより得られる空間的部 分動画像から要約情報が生成される。 この要約情報は、 本発明で新たに導入され たものであり、 時間軸上の部分動画像の中の、 時間的な一部から得られるのでは ない。 この要約情報は、 空間的には画像の一部のみの、 しかし時間軸上では部分 動画像の全体にわたる空間的部分動画像から得られる。 したがって、 この要約情 報は、 ある部分動画像の時間的な全体を通じた、 その部分動画像の空間的な特徴 を表わす。 この新たな指標を用いて、 部分動画像の、 時間よりも空間的な特徴に 重点においた検索を効率的に行なうことが可能となる。
この発明の他の局面にかかる動画像検索装置は、 動画像を構成する 1以上の部 分動画像の各々に対応した検索情報を利用して、 所望の画像を検索するための動 画像検索装置である。 この動画像を表わす動画像データには、 検索情報が対応付 けられており、 検索情報は、 1以上の時間軸上の部分動画像の各々を空間的に分 割することにより得られる 1以上の空間的部分動画像の要約情報を含む。 この発 明にかかる動画像検索装匱は、 検索情報を読出して管理するための情報抽出部と、 この情報管理部に接続され、 外部から与えられる、 時間軸上の部分動画像を検索 の単位とする第 1の検索要求に応答して、 検索情報に含まれる空間的部分動画像 の要約情報を用いて、 第 1の検索要求に合致する時間軸上の部分動画像を検索す るための第 1の部分動画像検索部を含む。
時間軸上の部分動画像の各々を空間的に分割することにより得られる空間的部 分動画像から得られた要約情報は、 本発明で新たに導入されたものであり、 空間 的には画像の一部のみの、 しかし時間軸上では部分動画像の全体にわたる空間的 部分動画像から得られる。 したがって、 この要約情報は、 ある部分動画像の時間 的な全体を通じた、 その部分動画像の空間的な特徴を表わす。 したがつてこの発 明にかかる動画像検索装置によれば、 この新たな指標を用いて、 部分動画像の、 時間よりも空間的な特徴に重点においた検索を効率的に行なうことができる。 図面の簡単な説明
図 1は想定された従来の動画像の検索情報記録装置の概略ブロック図である。 図 2は想定された従来の動画像の検索装置の概略プロック図である。
図 3は本発明の一実施の形態にかかる動画像検索情報記録装置のブロック [^で ある。
図 4は本発明の一実施の形態にかかる動画像検索情報記録装置において、 動画 像をシーンに分解する過程を示す図である。
図 5は本癸明の一実施の形態にかかる動画像検索情報記録装置において、 時間 分割プロック単位の検索情報が生成される過程を示す図である。
図 6は本発明の一実施の形態にかかる動画像検索情報記録装匱において、 空間 分割プロック単位の検索情報が生成される過程を示す図である。
図 7は本発明の一実施の形態にかかる動画像検索情報記録装置におけるシーン 単位の検索情報の概念を説明するための図である。 図 8は本発明の一実施の形態にかかる動画像検索情報記録装置における空間分 割ブロック単位の検索情報の概念を説明するための図である。
図 9は本発明の一実施の形態にかかる動画像検索情報記録装置における、 冗長 性を排した空間分割ブロック単位の検索情報の概念を説明するための図である。 図 1 0は本発明の一実施の形態にかかる動画像検索装置のブロック図である。 m 1 1はシーン単位検索情報による頹似度検索における、 基準となるシーンを 示す図である。
図 1 2はシーン単位検索情報による類似度検索における、 一^ 3のシーンを示す 図である。
図 1 3はシーン単位検索情報による類似度検索における、 他のシーンを示す図 である。
図 1 4は空間分割プロック単位検索情報による類似度検索における、 基準とな るシーンを示す図である。
図 1 5は空間分割ブロック単位検索情報による類似度検索における、 一つのシ ーンを示す図である。
図 1 6は空間分割ブロック単位検索情報による類似度検索における、 他のシ一 ンを示す図である。
図 1 7は本発明の一実施の形態にかかる動画像検索情報記録装置において、 シ ーン単位検索情報の記録と、 空間分割プロンク単位の検索情報の選択的な記録と いう概念を示す図である。
図 1 8は分割指定数フラグの値の意味を表形式で示す図である。
図 1 9は本発明の一実施の形態にかかる動画像検索情報記録装置における、 シ —ン単位の検索情報の記録と、 空間分割プロック単位の検索情報の階層的な記録 とレ、う概念を表わす図である。
図 2 0はフ I ^一ムを 22個に分割するときの分割例を示す図である。
図 2 1はフレームを 23個に分割するときの分割例を示す図である。
図 2 2はフレームを 2 個に分割するときの分割例を示す図である。
図 2 3はフレームを 2 5個に分割するときの分割例を示す図である。
図 2 4はフレームを 2 β個に分割するときの分割例を示す図である。 図 2 5は動画像データがシーン単位に分割して蓄積されている動画像データべ ースを示す図である。 発明を実施するための最良の形態
図 3に、 本実施の形態にかかる動画像検索情報記録装置 4 0のブロック図を示 す。 図 3を参照して、 この動画像検索情報記録装置 4 0は、 動画像データを受け、 動画像の構造を解析してシーンに分割し、 シーンチェンジ点などの動画像構造情 報を出力するための解析部 1 0 1と、 動画像データと、 解析部 1 0 1から出力さ れる動画像構造情報とを受け、 各シーンに含まれる各フレームの画像データに対 する要約情報 （フレームという時間分割ブロンクを単位とする要約情報） を生成 し出力するための第 1の検索情報生成部 1 0 2と、 解析部 1 0 1から出力された 動画像構造情報、 および動画像データを受け、 各シーンに関する検索情報として、 シーン内の全てのフレームの同一分割ブロック位置の画像データから構成される 空間分割プロックの要約情報を生成し出力するための第 2の検索情報生成部 1 0 3と、 第 1の検索情報生成部 1 0 2から出力されたシーン内の各フレーム （時間 分割ブロック） に対する要約情報、 および Zまたは、 第 2の検索情報生成部 1 0 3から出力されたシーン内の各空間分割プロックに対する要約情報を入力とし、 第 1の検索情報生成部 1 0 2からの要約情報、 および または第 2の検索情報生 成部 1 0 3からの要約情報の一方または双方に基づき、 シーン全体に対する要約 情報を生成し出力するための第 3の検索情報生成部 1 0 4と、 第 1の検索情報生 成部 1 0 2から出力された要約情報、 第 2の検索情報生成部 1 0 3から出力され た要約情報、 第 3の検索情報生成部 1 0 4から出力される要約情報、 および解析 部 1 0 1から出力される動画像構造情報を所定の形式に配置することにより、 動 画像に対応する検索情報を生成し出力するための第 4の検索情報生成部 1 0 5と、 第 4の検索情報生成部 1 0 5から出力される、 動画像に対する検索情報と、 もと の動画像データとを受け、 それらの一方または双方に検索情報と動画像データと の対応情報などを付加するかまたは別データとし、 検索情報および動画像データ との対応情報などを'記録媒体 1 0 7に記録するための記録部 1 0 6とを含む。 本願発明の装置が扱う動画像データは、 R G B信号などの原画像信号、 MP E G (Moving Picture Experts Group) などの動画圧縮方式を用いて符号化された 画像データのいずれでも良い。 本実施の形態では、 説明の簡便のため、 動画像デ —タは符号化されたものであると仮定する。
図 3に示された各ブロックの機能についてさらに詳細に以下に説明する。 解析 部 1 0 1は、 動画像を時間的な小単位 （シーン） に分割する。 そのために解析部 1 0 1は、 画像データ中のシーンチェンジ点の検出を行なう。 解析部 1 0 1はこ の例では、 符号化画像データに含まれる符号化ブロックの予測モードの、 フレー ム内での頻度情報を用いてシーンチェンジ点を検出する。
たとえば、 図 4を参照して、 解析部 1 0 1は、 動両像 1 2 0の中の第 1のシ一 ンチェンジフレーム 1 3 0、 第 2のシーンチェンジフレーム 1 3 2、 第 3のシ一 ンチェンジフレーム 1 3 4、 第 4のシーンチェンジフレーム 1 3 6を検出する。 それによつて解析部 1 0 1は、 第 1のシーンチェンジフレーム 1 3 0と第 2のシ —ンチェンジフレーム 1 3 2との間の画像データ第 1のシーンチェンジフレーム 1 3 0を含む） からなる第 1のシーン 1 4 0、 第 2のシーンチェンジフレーム 1 3 2と第 3のシーンチェンジフレーム 1 3 4との間の画像データ第 2のシ一ンチ ェンジフ L ム 1 3 2を含む） からなる第 2のシーン 1 4 2、 第 3のシーンチェ ンジフレーム 1 3 4と第 4のシーンチェンジフレーム 1 3 6との間の画像データ 第 3のシーンチェンジフレーム 1 3 4を含む） からなる第 3のシーン 1 4 4、 お よび第 4のシーンチェンジフレーム 1 3 6から動画像 1 2 0の最後までの画像デ —タ （第 4のシーンチェンジフレーム 1 3 6を含む） からなる第 4のシーン 1 4 6とに動画像 1 2 0を分割する。 すなわち、 解析部 1 0 1は、 動画像 1 2 0をこ の例では 4つのシーン丄 4 0、 1 4 2、 1 4 4、 1 4 6に分害 ijする。
解祈部 1 0 1は、 第 1のシーンチェンジフレーム 1 3 0、 第 2のシーンチェン ジフレーム 1 3 2、 第 3のシーンチェンジフレーム 1 3 4、 第 4のシーンチェン ジフ L ^一ム 1 3 6などのシーンチェンジフレームの、 画像データ中の位置を表わ す情報を、 動画像構造情報として出力する機能を有する。
図 5を参照して、 第 1の検索情報生成部 1 0 2は、 解析部 1 0 1から出力され た動画像構造情報に基づいて動画像データを分割することにより得られたあるシ ーン 1 6 0に対して以下のような処理を行なって、 シーン 1 6 0に含まれる各フ レームの要約情報を作成する。 なおシーン 1 6 0はフレーム 1 6 2 Aから 1 6 2 Nを含むものとする。
第 1の検索情報生成部 1 0 2は、 フレーム 1 6 2 A〜l 6 2 Nの各々について、 動きべクトルのフレーム内の頻度情報 1 6 6 Aから 1 6 6 Nを求める。 また第 1 の検索情報生成部 1 0 2は、 フレーム 1 6 2 A〜 1 6 2 Nの各々における動きべ ク トルの平均値 1 6 8 Aから 1 6 8 Nを求める。
このようにして求められた頻度情報 1 6 6と平均値情報 1 6 8と力 この例で は各フレームの要約情報 1 7 0を構成する。 要約情報は、 フレーム番^の関数 (すなわち時間の関数） として与えられる。
この要約情報は、 シーン 1 6 0に含まれる各フレームの空間内に分布する情報 を圧縮して得られた検索情報である。 各フレームは、 画像を時間的に分割した単 位であって、 時間分割ブロックの一種である。 したがって要約情報 1 7 0は、 時 間分割ブロック単位の検索情報ということができる。
第 2の検索情報生成部 1 0 3は、 解析部 1 0 1から出力された動画像構造情報 (シーンチェンジ位匱の情報） と、 動画像データとを受ける。 第 2の検索情報生 成部 1 0 3はこの動画像構造情報と動画像データとを用いて以下のようにして空 間分割ブロックに対する要約情報を生成する。
なおここで空問分割ブロックとは以下のようなものをいう。 一^ 3のシーン内の 全てのフレームの各々を同じ方法で複数個の分割プロンクに空間的に分割する。 それら全てのフレームの、 対応する位置の分割ブロックの全体をそのシーンの空 間分割ブロックと呼ぶ。 したがって、 一つのシーンが n個のフレームを含み、 各 フレームが m個の分割プロックに分割される場合には、 そのシーンは m個の空間 分割ブロックに分割され、 各空間分割ブロックは n個の分割ブロックを含む。 具体的には、 図 6を参照して、 第 2の検索情報生成部 ΐ 0 3ではシーン 1 6 0 に対して以下のような処理が行なわれる。 前述のとおり、 シーン 1 6 0が複数個 のフレーム 1 6 2 A〜l 6 2 Νを含むものとする。 これらフレーム 1 6 2 A〜l 6 2 Νが各々、 Μ個の分割ブロックに空間的に分割される。 ここで、 分割ブロッ クとは、 画像面を複数に分割したときの、 各小領域を指す。 たとえば図 6に示さ れるフ L ム 1 6 2 Αは、 複数個の分割ブロック 1 8 O A 1から 1 8 0 AMに分 割される。 他のフレーム 1 6 2 Bから 1 6 2 Nも同様である。
そして、 複数個のフレーム 1 6 2 A〜 1 6 2 Nの各々の、 同じ位置の分割ブロ ックによって、 シーン 1 6 0の一つの空間分割ブロンクが形成される。 たとえば N個のフレームの各々の M番目の分割ブロックの集合 （その要素の数は Nと等し レ、。 ) によって空間分割ブロック 1 8 2— Mが形成される。 他の空間分割ブロッ クも同様に形成される。
こうして得られた M個の空間分割プロックの各々に対して、 時間軸方向に分布 する情報を圧縮して要約情報 1 8 8を生成する。 ここでいう要約情報 1 8 8は、 各空間分割プロックに対する要約情報であり、 各空間分割プロックに含まれる分 割ブロックの、 フレーム内の位置 （座標） に対する関数 ^ (直である。
典型的には、 要約情報 1 8 8は、 頻度情報 1 8 4と平均値情報 1 8 6とを含む。 頻度情報 1 8 4としては、 各符号化プロソクの予測モー ドの空間分割プロック内 の頻度情報、 または動き補償予測符号化時の動きべクトルの空間分割ブロック内 の頻度情報を用いることができる。 たとえば図示されていないが空間分割プロッ ク 1 8 2— 1からは頻度情報 1 8 4 Aが得られ、 空間分割ブロック 1 8 2— 2か らは頻度情報 1 8 4 Bが得られ、 以下同様にして空間分割プロック 1 8 2— M力 らは頻度情報 1 8 4 Mが得られる。
また平均値情報 1 8 6としては、 空間分割プロック內の動きべクトルの総和も しくは平均値を用いることができる。 たとえば図示されて 、ないが空間分割ブ口 ック 1 8 2 ? 1からは平均値情報 1 8 6 Aが得られ、 空間分割プロック 1 8 2 ? 2 からは平均値情報 1 8 6 Bが得られ、 以下同様にして空間分割ブロック 1 8 2 Mからは平均値情報 1 8 6 Mが得られる。
これ以外にも要約情報としては、 空間分割ブロック内の動きべク トルの標準偏 差などを用いることもできる。
第 3の検索情報生成部 1 0 4は、 第 1の検索情報生成部 1 0 2から出力された 要約情報、 または、 第 2の検索情報生成部 1 0 3から出力された要約情報を受け、 これらの一方または双方に基づいて、 シーン全体に対する要約情報を生成し出力 する。
二こで、 シーン全体に対する要約情報とは、 シーンを検索する際に用いられる 検索情報である。 シーン全体に対する要約情報としては、 動きべク トル、 輝度値、 または色差値などの、 シーン全体における頻度情報、 平均値、 標準偏差などを用 いることができる。
第 4の検索情報生成部 1 0 5は、 第 1の検索情報生成部 1 0 2から出力された 要約情報と、 笫 2の検索情報生成部 1 0 3から出力された要約情報と、 第 3の検 索情報生成部 1 0 4から出力された要約情報と、 解析部 1 0 1力 ら出力された動 画像構造情報とを所定の形式に配置することにより、 動画像に対応する検索情報 を生成し出力して記録部 1 0 6に与える 3
記録部 1 0 6は、 第 4の検索情報生成部 1 0 5から出力された、 動画像に対応 すろ検索情報と、 もとの動画像データとを受けて、 検索情報のみ、 または検索情 報と動画像データとを記録媒体 1 0 7に記録する。 このとき記録部 1 0 6は、 動 画像デ一タと検索情報とが対応していることを示す情報を動画像データもしくは 検索情報のいずれか一方もしくは双方に付加するか、 または動画像データおよび 検索情報とは別データとして記録する。
上に構造と一般的動作とを説明した本実施の形態にかかる動画像検索情報記録 装置 4 0において用いられる検索情報としては、 動き補償予測符号化された動画 像データに含まれる動きべク トルに基づいて得られる動きの大きさの情報を用い るものとする。
より具体的には、 時間分割ブロック （フレーム） 単位の検索情報は、 シーン内 の各フレームに対して、 各符号化ブロックに付加された動きベクトルから求めら れた、 フレーム全体における動きベク トルの絶対値の総和として求められる。 な お、 動きべクトルの絶対値の総和にかえて動きべク トルの絶対値の平均としても 同じことである。 実際、 一フレームに含まれる符号化ブロックの数が定まってい れば、 動きべク トルの絶対値の総和とその平均値との一方から容易に他方が求め られる。
空間分割ブロック単位の検索情報としては、 各空間分割ブロックにおける動き べク トルの絶対値の総和が使用される。 ここでも、 動きべクトルの総和に替えて その平均を検索情報として用いることができる。 空間分割プロ 'ンクを構成する各 分割プロックが符号化プロックと一致する場合には、 各分割プロックに対応する 動きべクトルの数は 1となる。 各分割ブロックが複数個の符号化プロックを含む 場合には、 各分割ブロックに対応する動きべク トルの数はその分割ブロックに含 まれる符号化プロックの数と等しい。
または空間分割ブロック単位の検索情報は、 各空間分割プロ 'ンク内での動きべ ク トルの絶対値の総和を、 空間分割ブロックを構成する分割ブロソクの数で除し た値でもよい。 この場合の分割ブロックの数は、 シーンを構成するフ L ムの数 と等しい。 さらにまた、 空間分割ブロック単位の検索情報は、 各空間分割ブロッ ク内での動きべク トルの絶対値の総和を、 空間分割ブロックを構成する分割プロ ックに含まれる符号化ブロックの数の総和で除した値でもよレ、。
時間分割プロックまたは空間分割プロックの検索情報として、 動きべク トルの 絶対値の総和を用いたとすると、 シーンに含まれる全ての動きべク トルの絶対値 の総和を計算することができる。 本実施の形態では、 こうして得られた総和をシ —ン単位の検索情報とすろ。
次に、 空間分割プロック単位での検索情報の生成に用いられる分割ブロックの 具体例について説明する。 図 7に示されるように、 シーン 1 6 0がフレーム 1 6 2 A〜 1 6 2 Nからなつているものとする。 こォしらフレーム 1 6 2 A〜 1 6 2 N の動きべクトルの絶対値の総和から、 シーン 1 6 0のシーン単位検索情報 Iが求 められる。
図 8に示されるように、 フレーム 1 6 2 A〜 1 6 2 Nはそれぞれ、 2 X 2個の 分割ブロックに分割されているものとする。 すなわちフレーム 1 6 2 A〜 1 6 2 Nはそれぞれ 4つの分割ブロックに分割されている。 たとえばフレーム 1 6 2 A は 4つの分割ブロック 1 9 O A 1から 1 9 0 A 4に分割される。 以下のフレーム についても図示しないが同様である。 たとえばフレーム 1 6 2 Bはフレーム 1 9 0 B 1力 ら 1 9 0 B 4に分割される、 などである。 したがって先の空間分割ブロ ックの説明からわかるように、 シーン 1 6 0は 4つの空間分割ブロックに分割さ れ、 これら 4つの空間分割ブロックに対して、 各空間分割ブロック内の動きべク トルの絶対値の総和からそれぞれ空間分割プロック単位の検索情報 I，から が いずれも実数値として求められる。
したがって、 シーン 1 6 0のためのシーン検索情報として、 たとえばこれら検 索情報 I , Iい I 2, I 3 , I 4を順番に配列して得られる { I , Iい I 2 , I a . I 4 } を用いることができる。 この検索情報をもとの両像データとともに記録す ればよい。
ただし、 上記した検索情報は冗長性を含む。 これは、 この例ではシーン単位検 索情報 Iが空間分割ブロック単位の検索情報の和と等しいことによる。 たとえば シーン単位検索情報 Iは、 空間分割プロック単位の検索情報 I から I 4から求 めることができる。 または、 空間分割ブロック単位の検索情報 I ,から 1 4のうち の任意の 3つとシーン単位検索情報 I とから、 空間分割プロック単位の検索情報 の残りの一つを計算することができる。
そこで、 本実施の形態の装置では、 1 4については検索情報には含ませないよ うにする。 さらに本実施の形態の装置では、 各空間分割ブロック単位検索情報の そのままの値ではなく、 シーン単位の検索情報に対する各空間分割プロック単位 検索情報の値の百分率で示す。 第 1から第 3の空間分割ブ口ックの検索情報の、 シーン単位の検索情報 Iに対する比率を Pい P 2および P 3とすれば、 このとき の空間分割ブロック単位の検索情報は図 9に示されるようにして求められる。 す なわち、 第 1の空間分割プロックとシーン単位検索情報とから第 1の空間分割ブ 口ックの検索情報 P iが計算される。 第 2の空間分割プロックとシーン単位検索 情報とから第 2の空間分割プロ 'ンクの検索情報 P 2が計算される。 第 3の空間分 割ブロックとシーン単位検索情報とから第 3の空間分割ブロックの検索情報 P 3 が計算される。 第 4の空間分割ブロックについて検索情報を求めると冗長となる ので、 求めることはしなレ、。 つまり、 シーン 1 6 0は 4つの空間分割ブロックに 分割される力 そのうち 3つの検索情報を求めればよい。 一般的に P kは、 P k = 1 0 0 X I k/ Iによって求められる。
このように空間分割プロックの検索情報として、 シーン単位検索情報に対する 百分率として記録すると、 以下のような利点が得られる。 第 1に検索情報を記録 するための信号のダイナミックレンジが制限されるため、 より効率的に検索情報 を言己録できる。 すなわち記録される情報量がそうでない場合より減少する。 第 2 に、 検索情報の値が正規化されるため、 別々のシーンに付された検索情報を互い に比較することが可能となる。 第 3に、 既に述べたとおり、 記録すべき変数を一 つ省略することができる。
このようにして動画像検索情報が第 4の検索情報生成部 1 0 5によって生成さ れ、 記録部 1 0 6を介して記録媒体 1 0 7に記録される。
さて、 図 3に示された動画像検索情報記録装置 4 0によって記録媒体 1 0 7に 記録された動画像データおよび検索情報を用いて動画像検索をする装置につレ、て 以下説明する。 図 1 0を参照して、 この実施の形態にかかる動画像検索装置 5 0 は、 記録媒体 1 0 7に記録された動画像データとその検索情報とを読出すための 読出部 5 0 1と、 読出部 5 0 1により読出された動画像の検索情報を保持し、 検 索要求に応じてシーン単位検索情報、 空間分割ブロック単位検索情報、 または時 間分割プロック単位検索情報を、 動画像構造情報とともに出力するための検索情 報管理部 5 0 2と、 シーン単位の検索要求に応答して、 検索情報管理部 5 0 2に 対して要求を出し、 検索情報管理部 5 0 2からシーン全体に対する検索情報と、 動画像構造情報とを受け、 シーン単位の検索要求に合致したシーンを検出して、 検出されたシーンに関する情報を出力するための第 1の検索実行部 5 ϋ 3と、 空 間分割ブロック単位の検索要求に応答して、 検索情報管理部 5 0 2に対して要求 を出し、 検索情報管理部 5 0 2から受取った、 シーン内の各空間分割ブロックに 対する要約情報と、 動画像構造情報とに基づいて、 検索要求に合致したシーンを 検出して検出されたシーンに関する情報を出力するための第 2の検索実行部 5 0 4と、 時間分割プロック単位の検索要求に応答して検索情報管理部 5 0 2に対し て要求を出し、 検索情報管理部 5 0 2から受取ったシーン内の各フ L ムに対す る要約情報と、 動画像構造情報とに基づし、て検索要求に合致したシーンまたはフ レームを検出し、 検出されたシーンまたはフレームに関する情報を出力するため の第 3の検索実行部 5 0 5と、 読出部 5 0 1によって読出された動画像情報を保 持し、 第 1の検索実行部 5 0 3、 第 2の検索実行部 5 0 4または第 3の検索実行 部 5 0 5から出力される検索結果に基づいて、 検索結果に基づき検出されるシ一 ンまたはフレームの画像データを出力するためのデータ管理部 5 0 6と、 ォペレ —タからの検索指示入力に応答して、 シーン単位の検索要求を第 1の検索実行部 5 0 3に、 空間分割プロック単位の検索要求を第 2の検索実行部 5 0 4に、 また は時間分割プロック単位の検索要求を第 3の検索実行部 5 0 5に、 それぞれ出力 し， その結果データ管理部 5 0 6から出力されるシーンまたはフレームの画像デ ータを表示し、 検索終了時には検索結果を出力するための検索制御部 5 0 7とを 含む。
この動画像検索装置 5 0は以 のように動作する。 検索開始時、 オペレータは 検索制御部 5 0 7に対して検索指示を与える。 検索制御部 5 0 7は、 この検索指 示に応じて、 シーン単位の検索、 空間分割ブロック単位での検索、 または時間分 割ブロック単位での検索のいずれかを選択し、 第 1の検索実行部 5 0 3、 第 2の 検索実行部 5 0 4、 または第 3の検索実行部 5 0 5のいずれかに対して検索要求 を出す。
第 1の検索実行部 5 0 3、 第 2の検索実行部 5 0 4、 第 3の検索実行部 5 0 5 のうち、 検索制御部 5 0 7から検索要求を受取ったものは、 検索情報管珅.部 5 0 2から与えられる動画像構造情報と、 シーン単位、 空間分割ブロンク単位、 また は時間分割ブロック （フレーム） 単位の要約情報に基づいて、 検索要求に合致し たシーンまたはフレームを検出し、 検出されたシーンまたはフレームに関する情 報をデータ管理部 5 0 6に与える。
データ管理部 5 0 6は、 第 1の検索実行部 5 0 3、 第 2の検索実行部 5 0 4ま たは第 3の検索実行部 5 0 5から受取った、 シーンまたはフレームに関する情報 に対応するシーンまたはフレームの画像を動画像データから抽出し検索制御部 5 0 7に与える。
検索制御部 5 0 7は、 データ管理部 5 0 6から与えられた画像を表示する。 表 示された画像により、 オペレータはその画像が所望のシーンであるかどうかを判 断し、 所望のシーンであれば検索結果を出力するように指示を検索制御部 5 0 7 に与える。 検索制御部 5 0 7はこの指示に応答して、 検索結果を出力する。 検索制御部 5 0 7により表示された画像が所望のシーンを表わすものではなか つた場合， オペレータはさらに次の検索指示を検索制御部 5 0 7に与える。 以下 検索制御部 5 0 7は上述したのと同様の動作を行なって、 検索結果のシーンの表 示を行なう。 以下、 検索が終了するまでこの動作を繰返す。
具体的な動画像検索の例について説明する。 この実施の形態では、 検索情報と して、 動き補償予測符号化された動画像データに含まれる動きべク トルに基づい て得られる動きの大きさに関する情報を用いる。
所望のシーンまたはシーン内のフレームは、 次のようにして検索される。
シーン単位の検索情報を利用すると、 たとえば全体的に動きの大きなシーンと、 全体的に動きの小さなシーンとを選別することができる。
空間分割プロック単位の検索情報を利用すると、 たとえば一シーンにわたって 動きが空間的に遍在するようなシーンと、 動きが空間的に比較的均等に分布する シーンとを選別できる。 また、 動きの遍在する部分が画像のどの部分かを指定す ることができる。 たとえば、 画像の中央部分に激しく動く部分 （被写体） がある シーン、 または画像の下半分に激しく動く部分があるシーン （空を含む画像） な どを選び出すことができる。
本実施の形態では、 空間分割ブロックという、 従来は考慮されていなかったも のを単位とする検索情報をシーンの検索に用いる。 そのため、 次のような効果が 得られる。
図 1 1から図 1 3を参照して、 図 1 2 (A) に示すシーン Aと、 図 1 3 ( A) に示すシーン Bとについて、 図 1 1 (A) に示す基準となるシーンとの類似度を 計算する場合を考える。 こうした 「類似度」 計算により、 基準となるシーンと類 似した動き特徴を有するシーンを検出することができる。 図 1 2から図 1 3は、 シーン単位の検索情報のみを用いた場合を示す。
図 1 1から図 1 3の （B ) に、 それぞれの （A) に示す画像に対するシーン単 位検索情報を示す。 図 1 1から図 1 3の （A) に示されるように、 シーン Aおよ びシーン Bは、 基準となるシーンに対して、 シーン全体として同じような動きの 強さを持っている。 そのため、 図 1 1から図 1 3の （B ) に示されるように、 対 応のシーン単位検索情報も同様の値となる すなわち、 シーン A、 Bのいずれも、 基準となるシーンと類似していると判断される。
続いて、 図 1 4から図 1 6を参照して、 空間分割ブロック単位の検索情報を用 いた場合の類似度検索の特徴について説明する。 図 1 4から図 1 6の （A) には それぞれ基準となるシーン、 シーン A、 Bを示す。 図示されるように、 各シーン の各フレームは 4つの分割ブロックを含む。 そのうちそれぞれ第 1から第 3の分 割ブロックからなる空間分割ブロックに対して、 空間分割ブロック単位の検索情 報 P ,、 P 2および P 3が計算されている。 また図 1 4から図 1 6の （B ) に示す ように、 基準となるシーン、 シーン Aおよび Bに対するシーン単位の検索情報は ほぼ同じ値である。
しかし、 図 1 4から図 1 6の （C ) に示されるように、 空間分割ブロック単位 の検索情報で各ン一ンを比較すると、 次の事実が分る。 すなわち、 シーン Aの方 が、 基準となるシ一ンの空間分割ブロック単位検索情報の分布と類似した分布を 有する。 これは、 シーン Bでは人物が右の方によっているため、 空間的に動きの 偏りができるためである。 基準となるシーンおよびシーン Aはいずれも、 人物が ほぼ中央にいる。 したがって、 基準となるシーンと類似したシーンとしてシーン Aは検出されるが、 シーン Bは検出されない。 つまり、 シーン全体としての動き はシーン A、 Bとも基準となるシーンと類似している場合であっても、 動きが遍 在しているか否かによってシーンを選別することができる。
さらに、 フレーム （時間分割ブロック） 単位の検索情報を利用すれば、 たとえ ばシーン内の特に動きの激しいフレーム、 逆に動きの止まっているようなフレー ムを選別することができる。
上記したシーン単位の検索情報、 空間分割ブロック単位での検索情報、 および 時間分割ブロック単位での検索情報を組合わせることによって、 さらに細かく所 望のシーンの検索をすることができる。
たとえば、 全体的に動きの大きなシーンを選び、 特に画像の中央部分に激しく 動く部分を持つシーンに絞り込み、 さらに絞り込まれた各シーン内の、 特に動き の激しいフレームをキーフレームとして取出す、 という形で動画像検索を実行す ることができる。
このように、 本実施の形態の装置によれば、 多面的な条件指定により、 画像の 動きなどの画像特徴に基づいて、 所望のシーンの画像を効率的に検索することが できる。 検索に要する時間も短縮される。
上記した実施の形態は、 本発明を実施するための一つの例に過ぎない。 この他 にも種々の変形をこれらの装置に対して行なうことができる。
たとえば、 この実施の形態の装置では解析部 1 0 1が自動的に動画像データに 対する信号解析によりシーンチェンジ点を見出している。 しかし本発明はこれに は限定されず、 たとえばオペレータが動画像を見て、 オペ L ^一タの主観によって 動画像の構造を解析しシーンの分割位置にタグを付すようにしてもよい。 この場 合解析部 1 0 1は、 動画像データを同様に解析するが、 その際、 動画像データに 付されたタグを見て動画像をシーンに分割する
上記した実施の形態では、 フレームの要約情報の頻度情報丄 6 6として動き補 償予測符号化時の動きべク トルのフレーム内頻度情報を用いた。 しかしこの発明 はこれには限定されず、 頻度情報として各符号化ブロックの予測モードのフレ一 ム内頻度情報を用いることもできる。
また、 要約情報としては、 上記したほかに、 フレーム内の動きベク トルの総和 もしくは標準偏差、 または原画像信号もしくは復号画像信号を用いて計算される フレーム内の平均輝度値、 もしくは平均色差値などを用いてもよい。
検索方法および手順は、 ここに示した組合せには限定されない。 選択される候 補を絞り込む順序を変えることも可能である。 また、 生成される検索情報によつ ても、 検索のための方法およびその手順は変化する
またたとえば、 上記した実施の形態の装置では、 空間分割ブロックとして、 1 フレームを 2 X 2 = 4分割した分割ブロックの 1シーンにわたる集合を用いた。 分割の個数は 4個には限定されない。 たとえば図 1 7に示されるように 4 X 4、 8 X 8、 またはそれ以上の数による分割を行なうことも可能である。 4 X 4分割 の場合には、 百分率で表わした空間分割ブロック単位検索情報は P から Γ 1 5で ある。 P 16は 1 0 0 %から他の空間分割ブロックの検索情報の禾!]を減ずることに より得られる。 8 X 8分割の場合には、 百分率で表わした空間分割ブロック単位 検索情報は から P fi 3である。 P 64も 1 0 0 %から他の空間分割ブロックの検 索情報の和を減ずることにより得られる。
さらに、 このように複数通りの分割方法のいずれを用いるかを選択できるよう にしてもよい。 この場合、 選択された個数 （ 「解像度」 と呼ぶことができる。 ） にしたがって分割された分割プロックによって空間分割プロックを構成し、 その 各々に対して検索情報を求める。 さらに、 検索情報を記録するときには、 シーン 単位検索情報と、 選択された解像度による空間分割プロシク単位の検索情報に加 えて、 図 1 8にその値と分割数との対応関係が示される分割数指定フラグを検索 情報に付加する。 分割数指定フラグが 「0」 であれば {Pい P2, P3} 、
「1」 であれば {P】， P2) ·■·, P 15} 、 「2j であれば {P^ P2, ■··, P 6 3) 、 「3」 であれば {Ρ ,, P 2, ··'， P2 S6} の空間分割ブロック単位の検索 情報が記録される。
このように空間分割ブロックの解像度を複数通り指定できることにより、 以下 のような効果が生じる。
まず、 画像のうち上下左右のおおまかな画像の動きの分布を知りたいという、 比較的簡易な検索のみが要求されるデータベースでは、 2 X 2など、 小さな分割 数を用いる。 検索情報の記録量を抑えることができる。
画像の特定の一部または離れた 2つの部分で動きが大きいシーンを抽出したい、 というような要求が頻繁にあるデータベースでは、 8 X 8など、 比較的大きな分 割数を用いる。 高機能な検索を実現することができる。 高解像度の検索情報は、 低解像度の検索情報を含むので、 低解像度の検索が必要なときにも、 低解像度の 検索情報を重複して持つ必要はない。
以上説明した実施の形態では、 2 X 2、 4 X 4、 および 8 X 8のように、 縦方 向の分割数と横方向の分割数とが等しく、 かついずれも 2のべき乗である。 こう した分割数を選択的に用いると、 分割の解像度が異なる空間分割プロック単位検 索情報を記録したデータベース間においても検索情報の間の対応付けが可能とな る u また、 異なる分割解像度どうしでの検索情報を比較することも可能となる。 さらに、 図 1 9に示されるように、 複数種類の解像度の空間分割ブロック単位 の検索情報を階層的に記録してもよい。 たとえば、 シーンの検索情報は、 シーン 単位の検索情報 200と、 2 X 2分割による空間分割ブロック単位の検索情報 2 02と、 4 X4分割による空間分割ブロック単位の検索情報 204と、 8 X 8分 割による空間分割ブロック単位の検索情報 206とを含む。
この階層構造では、 ある層の空間分割ブロック単位の検索情報は、 一段高解像 度の 4つの空間ブロック単位の検索情報で表わされる。 したがって、 各層におい て、 4つの空間分割ブロック単位の検索情報のうちの一つを記録しなくとも、 検 索に必要な全ての情報を得ることができる 3
図 1 9に示した例による検索情報は、 図丄 7に示した 8 X 8にフレームを分割 して形成される空間分割ブロックを単位とする検索情報を記録するのと同じ解像 度の検索情報を含む。 一方で図 1 9に示した検索情報によれば、 他の解像度の検 索情報を容易に得ることができるという利点を有する。
上に説明した実施の形態では、 シーン内の全フレームを、 2 X 2、 4 X 4、 8 X 8などのように n X nの配置に分割して、 空間分割ブロックを形成している。 しかし本発明によれば、 フレームの分割方法はこれには限られない。 たとえば図 2 0から図 2 4に示されるような形でフレームを分割して、 得られた空間分割ブ 口ックを甲.位として検索情報を生成するようにしてもよい。 図 2 0から図 2 4に 示した例では、 シーン内の全フレームを 2のべき乗 （2 n) 個 （図 2 0では n = 2、 図 2 1では n = 3、 図 2 2では n = 4、 図 2 3では n = 5、 図 2 4では n = 6 ) に分割している。 このような分割方法を用いても、 上に述べた実施の形態の 装置で得られたものと同様の検索機能を実現するための検索情報を生成すること ができる。
図 2 0〜図 2 4に示したようなフレームの分割方法によっても、 上に記載した 実 ί£の形態と同様に、 異なる解像度の検索情報同士の対応付けが容易である。 ま た、 異なる解像度の検索情報を互いに容易に比較することができる。
なお、 図 5に示される例の場合は、 たとえばフレーム 1 6 2 Νを一つの時間分 割プロンク 1 6 4 Νとして要約情報を求めている。 しかし本発明はこうした実現 例に限定されない。 たとえば一つの時間分割ブロックが 2以上のフレームを含む ようにしてもよい。 また、 各フレームをサブサンプリングしてサブフレームを生 成し、 一時間分割ブロックが一または複数個のサブフレームを含むようにしても よい。 またシーン内のフレームを適宜間引いて、 間引いた各フレームに対する要 約情報を用いるとしてもよい。
なお、 図 6に示される例または図 8に示される例の場合は、 空間分割ブロック に含まれる全ての分割ブロックを用いて空間分割プロックの要約情報を求めてい る。 しかし本発明はこうした実現例に限定されない。 必ずしも空間分割ブロック 内の全ての分割ブロックに対応する画像データを用いる必要はなく、 分割ブロッ クを適当に間引いて、 または分割ブロック内の画像データを適当に間引いて、 空 間分割プロックの要約情報を生成してもよい。 なお、 図 5および図 6を参照して説明した、 時間分割ブロック単位もしくは空 間分割プロック単位の検索情報、 またはシーン単位の検索情報を生成する際に、 動画像を撮影したカメラの動きによるバックグラウンドの動きへの影饗を除くた めに、 カメラの動きに相当する動きべク トル分を補正して検索情報を生成するよ うにしてもよレ、。
さらに、 上記した実施の形態では、 動画像検索情報記録装置 4 0と動画像検索 装置 5 0とは分離された別の装置である。 そして検索情報は記録媒体 1 0 7を介 して動画像検索情報記録装置 4 0から動画像検索装置 5 0に渡されている。 これ に替えて、 例えば、 図 3に示す第 1の検索情報生成部 1 0 2、 第 2の検索情報生 成部 1 0 3、 第 3の検索情報生成部 1 0 4で生成された各種の検索情報を、 解析 部 1 0 1から出力される動画像構造情報とあわせて、 直接図 1 0の検索情報管理 部 5 0 2に渡すようにしてもよい。 この場合の検索処理は、 いわゆるリアルタイ ム検索と呼ばれる。
上記した実施の形態でフレームを分割した分割ブロックは、 符号化ブロックと —致してもよい。 符号化ブロックとは別の、 適当な大きさのブロックを新たに定 義してもよい。 上の実施の形態では、 分割ブロックは対称形であり、 かつ分割ブ ロックの配置も対称である。 しかし分割ブロックを新しく定義する場合には、 ブ 口ックが対称形である必要はない。 またプロックの配置に関しても対称である必 要はない。 また、 画像面内を適当に間引くことも可能である。 すなわち、 画像內 に分割ブロックが含まれなレ、領域があってもよい。 また、 分割ブロックが部分的 に重複してもよい。 すなわち、 画像内に複数の分割ブロックに含まれる領域があ つてもよレゝ。
上記した実施の形態では、 図 3に示される第 3の検索情報生成部 1 0 4は、 第 1の検索情報生成部 1 ϋ 2から出力される要約情報および第 2の検索情報生成部 1 0 3から出力される要約情報を受けて、 シーン全体に関する要約情報を生成し ている。 しかし本発明はこのような実現例には限定されない。 たとえば第 3の検 索情報生成部 1 0 4は、 入力された画像データから直接にシーン全体に関する要 約情報を生成するようにしてもよい。
また、 上記した実施の形態では、 各種の要約情報 （検索情報） を、 物理的に定 義された一シーンを単位として求めている。 しかし検索情報を、 シーンを単位と して求める必要は必ずしもない。 たとえば 1つのシーンを複数に分割したサブシ
—ンを単位として検索情報を求めてもよい。 すなわち 「シーン」 という語は 「サ ブシーン」 をも意味する。 逆に、 複数のシーンからなる複合シ一ンを単位として 検索情報を求めることもできる。 すなわち 「シーン」 という語は、 「複数のシー ンの集まり」 をも意味する。
また、 上記した実施の形態では、 1つの動画像データに対して検索情報を生成 し、 記録し、 検索を実行しているが、 本発明はこうした実現例に限定されない。 すなわち、 複数の動画像データを検索の対象とし、 検索情報を生成し、 記録し、 複数の動画像データ中から所望のシーンまたはフレームを検索することも想定す るものである。
その一例として、 図 2 5に示す、 複数のシーンの各々が独立した動画像データ として蓄積されている画像データベースからの動画像検索を考える。 昨今の、 動 画像を撮影することが可能なデジタルカメラなどで動画像の撮影を行なった場合 には、 各撮影された動画像、 すなわち 1回の録画開始から録画停止までの 1シ一 ンを表わす動画像データが、 それぞれ独立したデータファイルとして生成される。 したがって、 図 2 5に示すような画像データベースも容易に想起できる。
このような画像データベースに対して、 図 3に示される動画像検索情報記録装 置 4 0によって検索情報を生成する。 このとき、 入力される動画像データは、 デ ータベースに存在する複数の動画像データである。 格動画像データは既にシーン に分解されていろ （ 1つの動画像データは各々一つのシーンのみを含んでいる） ため、 動画像構造情報は不要である。 したがって解析部 1 0 1では動画像の構造 解析を行なう必要はない。 第 1、 第 2、 第 3の検索情報生成部 1 0 2、 1 0 3、 1 0 4は、 動画像データからそれぞれフレーム （時間分割ブロック） 、 空間分割 ブロック、 シーン全体に対する要約情報を生成する。 第 4の検索情報生成部 1 0 5は、 これらの要約情報を所定の形式に配置して動画像に対する検索情報を生成 する。 記録部 1 0 6は、 各動画像データと各動画像に対応する検索情報とを受け、 各動画像データと検索情報との対応情報をいずれか一方もしくは双方に付加する 力 または別データとし、 検索情報と対応情報とを記録媒体 1 ϋ 7に記録する。 記録媒体 1 0 7を元の画像データベース内としてもよい。 また、 各検索情報は 各々独立して記録しても、 または画像データベースに対応する検索情報としてま とめて記録してもよレ、。
また、 このような画像データベースならびに生成および記録された検索情報か ら、 図 1 0に示される動画像検索装置によって検索を実行する。 このとき、 読出 部 5 0 1で読出され検索情報管理装置 5 0 2で管理されるのは、 データベースに 存在する複数の動画像データに対応した検索情報であり、 各動画像データに対応 した動画像構造情報は不要である。 第 1、 第 2、 第 3の検索実行部 5 0 3、 5 0 4、 5 0 5ではそれぞれ、 対応する検索情報を用いて検索要求と合致したシーン またはフレームを検出し、 検出されたシーンまたはフレームに関する情報を出力 する。 データ管理部 5 0 6および検索制御部 5 0 7は前記した実施の形態と同様 に動作し、 検索結果が得られる。
今回開示された実施の形態はすべての点で例示であって制限的なものではない と考えられるべきである。 本発明の範囲は上記した説明ではなくて特許請求の範 囲によって示され、 特許請求の範囲と均等の意味および範囲内でのすべての変更 が含まれることが意図される。 技術分野
以上のように木発明にかかる動画像検索情報記録装置および動画像検索装置は、 シーンを時間的にではなく空間的に分割した空間分割ブロックを単位としてシー ンの検索情報を生成し、 その検索情報に基づいてシーンを検索するので、 動画像 のうちの所望のシーンを、 そのシーンをつうじて観測される空間的な特徴にした がって効率良く検索するシステムに適している。

Claims

請求の範囲
1. 動画像データにより表わされ. 1以上の時間軸上の部分動画像 （ 140、 142、 144、 146、 1 60 ) からなる、 動画像を検索するための検索情報 を、 記録媒体に記録する動画像検索情報記録装置 （40) であって、
前記動画像データに基づいて、 前記 1以上の部分動画像の各々に対応して検索 情報を生成する検索情報生成部 （102、 丄 03、 104、 105) と、
前記検索情報を、 該検索情報と前記動画像デ一タとの対応情報とともに記録媒 体に記録する記録部 （106) とを備え、
前記検索情報生成部 （102、 1 03、 104、 105) は、 前記 1以上の時 間軸上の部分動画像 （140、 142、 144、 146、 1 60) の各々を空間 的に分割することにより得られる 1以上の空間的部分動画像の要約情報 （1 8 8) を生成するための第 1の要約情報牛.成手段 い 03) を含む、 動画像検索情 報記録装置 （40) 。
2. 前記 1以上の時間軸上の部分動画像 （140、 142、 144, 146、 160) は、 前記動画像データにより表わされる動画像が時間軸上で分割された ものであり、
前記 1以上の時間軸上の部分動画像の前記動画像データ中の位置を表わす動画 像構造情報を出力する動画像構造情報出力部 （101) を備え、
前記検索情報生成部 （102、 103、 104、 105) は、 前記動画像構造 情報と前記動画像データとに基づいて、 前記 1以上の時間軸上の部分動画像 （1 40、 142、 144、 丄 46、 160) の各々に対応した検索情報を生成し、 前記記録部 （106) は、 前記検索情報と前記動画像構造情報とを、 該検索情 報と前記動画像データとの対応情報とともに記録媒体に記録する、 請求項 1に記 載の動画像情報記録装置。
3. 前記 1以上の時間軸上の部分動両像の各々は、 1または複数個の時間的 な単位画像 （162A〜162N) を含み、
前記第 1の要約情報生成手段 （1 03) は、 前記 1以上の時間軸上の部分動画 像 （140、 142、 144、 146、 160) の各々の、 前記 1または複数個 の時間的な単位画像 （1 6 2A〜 1 6 2N) の全てを同一の態様で複数個の空間 的分割ブロックに分割し、 前記 1または複数個の時間的な単位画像 （1 6 2A~ 1 6 2N) のそれぞれ同一の位置の前記空間的分割ブロックに対応する画像デ一 タから前記空間的部分動画像の要約情報を生成するための空間的分割手段 （1 0 3) を含む、 請求項 1に記載の動画像検索情報記録装置 （40) 。
4. 前記空間的分割手段 （1 03) は、 前記 1以上の時間軸上の部分動画像 (1 40、 1 42、 1 44、 1 46、 1 60) の各々の、 前記 1または複数個の 時間的な単位画像 （1 62A〜1 6 2N) の各々を、 前記単位画像上に定義され る 2つの方向において同一の予め定める数に分割することにより前記時間的な単 位画像 （ 1 6 2 A〜 1 6 2 N) の全てを複数個の空間的分割ブロックに分割し、 前記 1または複数個の時間的な単位画像 （1 6 2A〜1 6 2N) のそれぞれ同一 の位置の前記空間的分割ブロックに対応する画像データから前記空間的部分動画 像の要約情報を生成するための手段 （ 1 03) を含む、 請求項 3に記載の動画像 検索情報記録装置。
5. 前記空間的分割手段 （1 03) は、 前記 1以上の時間軸上の部分動画像 (1 40、 142、 144、 1 46、 1 60) の各々の、 前記 1または複数個の 時間的な単位画像 （1 6 2A〜1 62N) の各々を、 予め定める 2のべき乗数に 分割することにより前記時間的な単位画像 （ 1 62 A〜 1 62 N) の全てを複数 個の空間的分割ブロックに分割し、 前記 1または複数個の時間的な単位画像 （ 1 62 A〜 1 62 N) のそれぞれ同一の位置の前記空間的分割ブロンクに対応する 画像データから前記空間的部分動画像の要約情報を生成するための手段 （1 0 3) を含む、 請求項 3に記載の動画像検索情報記録装置。
6. 前記検索情報生成部 （ 1 02、 1 03、 1 04、 1 05) はさらに、 前 記 1以上の時間軸上の部分動画像 （1 40、 1 42、 144、 1 46、 1 60) の各々に含まれる前記 1または複数個の時間的な単位画像 （ 1 6 2A〜1 6 2 N) の 1または複数個を単位として前記部分動画像を時間的に分割することによ り得られる 1以上の時間的部分動画像の要約情報を生成するための第 2の要約情 報生成手段 (1 02) を含む、 請求項 5に記載の動画像検索情報記録装置 D
7. 前記 1または複数個の時間的な単位画像 （ 1 62 A〜 1 6 2 N) の各々 は、 1フレームの画像を含む、 請求項 6に記載の動画像検索情報記録装匱。 8. 前記検索情報生成部 （ 1 02、 1 03、 1 04、 1 05) はさらに、 前 記 1以上の時間軸上の部分動画像 （1 40、 1 42、 1 44、 1 46、 1 60) の各々に含まれる全ての前記フレームから、 前記部分動画像の要約情報を生成す る第 3の要約情報生成手段 （1 04) を含む、 請求項 7に記載の動画像検索情報
9. 前記検索情報生成部 （1 02、 1 03、 1 04、 1 05) はさらに、 前 記 1以上の時間軸上の部分動画像 （ 1 40、 1 42、 1 44、 1 46、 1 60) の各々に含まれる前記 1または複数個の時間的な単位画像 （1 6 2A〜 1 6 2 N) の 1または複数個を単位として前記部分動画像を時間的に分割することによ り得られる 1以上の時間的部分動画像の要約情報を生成するための第 2の要約情 報生成手段 （1 02) を含む、 請求項 4に記載の動画像検索情報記録装匱。 10. 前 ¾ 1または複数個の時間的な単位画像 （1 6 2A〜1 6 2N) の各々 は、 1フ L ムの画像を含む、 請求項 9に記載の動画像検索情報記録装置。
1 1. 前記検索情報生成部 （ 1 02、 1 03、 1 04、 1 05) はさらに、 前 記 1以上の時間軸上の部分動画像 （1 40、 1 42、 1 44、 1 46、 1 60) の各々に含まれる全ての前記フレームから、 前記部分動画像の要約情報を生成す る第 3の要約情報生成手段 （1 04) を含む、 請求項 1 0に記載の動画像検索情 報記録装置。
1 2. 前記検索情報生成部 （1 0 2、 1 03、 1 04、 1 05) はさらに、 前 記 1以上の時間軸上の部分動画像 （ 1 40、 1 42、 1 44、 1 46、 1 60) の各々に含まれる前記 1または複数個の時間的な単位画像 （1 6 2A〜 1 6 2 N) の 1または複数個を単位として前記部分動画像を時間的に分割することによ り得られる 1以上の時間的部分動画像の要約情報を生成するための第 2の要約情 報生成手段 （1 02) を含む、 請求項 3に記載の動画像検索情報記録装置 （4 0) 。
1 3. 前記 1または複数個の時間的な単位画像 （ 1 62 A〜 1 62 N) の各々 は、 1フレームの画像を含む、 請求項 1 2に記載の動画像検索情報記録装置 （4 0) 。
14. 前記検索情報生成部 （ 102、 103、 104、 105) はさらに、 前 記 1以上の時間軸上の部分動画像 （ 140、 142、 144、 146、 160) の各々に含まれる全ての前記フレームから、 前記部分動画像の要約情報を生成す る第 3の要約情報生成手段 （104) を含む、 請求項 1 3に記載の動画像検索情 報記録装置 （40) 。
1 5. 前記 1以上の時間軸上の部分動画像 （140、 142、 144、 146、
160) の各々は、 1または複数個の時間的な単位画像 （162A〜162N) を含み、
前記検索情報生成部 （102、 103、 104, 105) はさらに、 前記 1以 上の時間軸上の部分動画像 （ 140、 142、 144、 146、 160) の各々 に含まれる前記 1または複数個の時間的な単位画像 （162A〜162N) の 1 または複数個を単位として前記部分動画像を時間的に分割することにより得られ る 1以上の時間的部分動画像の要約情報を生成するための第 2の要約情報生成手 段 （102) を含む、 請求項 1に記載の動画像検索情報記録装置 （40) 。
16. 前記 1または複数個の時間的な単位画像 （162A〜162N) の各々は、 1フレームの画像を含む、 請求項 15に記載の動画像検索情報記録装置 （40) 。
1 7. 前記検索情報生成部 （102、 103、 1 04、 105) はさらに、 前記 1以上の時間軸上の部分動画像 （140、 142、 144、 146、 1 60) の 各々に含まれる全ての前記フ レームから、 前記部分動画像の要約情報を生成する 第 3の要約情報生成手段 （104) を含む、 請求項 16に記載の動画像検索情報 記録装置 （40) 。
18. 前記検索情報生成部 （102、 103、 104、 105) はさらに、 前 記 1以上の時間軸上の部分動画像 （140、 142、 144、 146、 160) の各々に含まれる全ての前記時間的な単位幽像 （162A〜162N) から、 前 記部分動画像の要約情報を生成する第 3の要約情報生成手段 （104) を含む、 請求項 15に記載の動画像検索情報記録装置 （40) 。
19. 前記検索情報生成部 （102、 103、 104、 105) はさらに、 前 記 1以上の時間軸上の部分動画像 （ 140、 142、 144、 146、 160) の各々に含まれる全ての前記時間的な単位画像 （162A~162N) から、 前 記部分動画像の要約情報を生成する第 3の要約情報生成手段 （1 04) を含む、 請求項 5に記載の動画像検索情報記録装置 （40) 。
20. 前記検索情報生成部 （102、 1 04、 1 04、 1 05) はさらに、 前 記 Ί以上の時間軸上の部分動画像 （1 40、 142、 1 44、 1 46、 1 60) の各々に含まれる全ての前記時間的な単位画像 （1 62A〜1 6 2N) から、 前 記部分動画像の要約情報を生成する第 3の要約情報生成手段 （1 04) を含む、 請求項 4に記載の動画像検索情報記録装置 （40) 。
2 1 · 前記検索情報生成部 (1 0 2, 1 03、 1 04、 1 05) はさらに、 前 記 1以上の時間軸上の部分動画像 （1 40、 1 42、 1 44、 1 46、 1 60) の各々に含まれる全ての前記時間的な単位画像 （1 62A〜 1 6 2N) から、 前 記部分動画像の要約情報を生成する第 3の要約情報生成手段 （1 04) を含む， 請求項 1に記載の動画像検索情報記録装置 （40) 。
22. 前記 1以上の時間軸上の部分動画像 （1 40、 1 42、 1 44、 1 46、 1 60) の各々は、 1または複数個の時間的な単位画像 （1 62A〜1 6 2N) を含み、 前記検索情報生成部 （1 02、 1 03、 1 04、 1 05) はさらに、 前 記 1以上の時間軸上の部分動画像 （140、 1 42、 1 44、 1 46、 1 60) の各々に含まれる全ての前記時間的な単位画像 （1 6 2A〜1 6 2N) から、 前 記部分動画像の要約情報を生成する第 3の要約情報生成手段 （1 04) を含む、 請求項 1に記載の動画像検索情報記録装置 （40) 。
23. 動画像を構成する 1以上の時間軸上の部分動画像 （1 40、 1 42、 1 44、 1 46、 1 60) の各々に対応した検索情報を利用して、 所望の画像を検 索するための動画像検索装置 （50) であって、 前記動画像を表わす動画像デ一 タには、 前記検索情報が対応付けられており、 前記検索情報は、 前記 1以上の時 間軸上の部分動画像 （1 40、 1 42、 1 44、 1 46、 1 60) の各々を空間 的に分割することにより得られる 1以上の空間的部分動画像の要約情報 （ 1 8 8) を含み、
前記検索情報を読出して管理するための情報管理手段 （50 1、 502) と、 前記情報管理手段に接続され、 外部から与えられる、 時間軸上の部分動画像 (1 40、 142, 144、 146、 1 60) を検索の単位とする第 1の検索要 求に応答して、 前記検索情報に含まれる前記空間的部分動画像の要約情報を用い て、 前記第 1の検索要求に合致する時間軸上の部分動画像 （1 40、 1 42、 1 44、 146、 1 60) を検索するための第 1の部分動画像検索手段 （504) を含む、 動画像検索装置 （50) 。
24. 前記 1以上の時間軸上の部分動画像 （ 1 40、 1 42、 1 44、 1 46、 1 60) の各々は、 1以上の時間軸上の単位画像 （1 6 2A〜1 6 2N) を含み、 前記検索情報はさらに、 前記 1以上の時間軸上の部分動画像 （1 40、 1 42、 1 44、 1 46、 1 60) に含まれる前記 1以上の時間軸上の単位画像 （1 6 2 A〜 1 6 2 N) の 1または複数個を単位として前記部分動画像を時間的に分割す ることにより得られる 1以上の時問的部分動画像の要約情報を含み、
前記動画像検索装置 （50) はさらに、 前記情報管理手段 （50 1、 502) に接続され、 外部から与えられる、 時間軸上の部分動画像 （1 40、 1 42、 1 44、 1 46、 1 60) を検索の単位とする第 2の検索要求に応答して、 前記検 索情報に含まれる前記時間軸上の単位画像 （ 1 62 A〜 1 62 N) の 1または複 数個からなる前記 1以上の時間的部分動画像の要約情報を用いて、 前記第 2の検 索要求に合致する時間軸上の部分動画像 （1 40、 14 2、 1 44、 1 46、 1 60) を検索するための第 2の部分動画像検索手段 （50 5) を含む、 請求項 2 3に記載の動画像検索装置 （50) 。
25. 前 IE検索情報はさらに、 前記 1以上の時間軸上の部分動画像 （1 40、 1 42、 144、 1 46、 1 60) の各々を単位とする要約情報を含み、
前記動画像検索装置 （50) はさらに、 前記情報管理手段 （50 1、 502) に接続され、 外部から与えられる、 時間軸上の部分動画像 （1 40、 1 42、 1 44、 146、 1 60) を検索の単位とする第 3の検索要求に応答して、 前記検 索情報に含まれる前記時間軸上の部分動画像 （1 40、 142、 1 44、 1 46、 1 60) を単位とする要約情報を用いて、 前記笫 3の検索要求に合致する時間軸 上の部分動画像 （140、 142、 1 44、 1 46、 1 60) を検索するための 第 3の部分動画像検索手段 （503) を含む、 請求項 24に記載の動画像検索装 置 （50) 。
26. 前記検索情報はさらに、 前記 1以上の時間軸上の部分動画像 （1 40、 1 42、 144、 146、 1 60) の各々を単位とする要約情報を含み、 前記動画像検索装置 （50) はさらに、 前記情報管理手段 （50 1、 502) に接続され、 外部から与えられる、 時間軸上の部分動画像 （1 40、 1 42、 1 44、 1 46、 1 60) を検索の単位とする第 2の検索要求に応答して、 前記検 I 索情報に含まれる前記時間軸上の部分動画像 （1 40、 1 42、 1 44、 1 46、
1 60) を単位とする要約情報を用いて、 前記第 2の検索要求に合致する時間軸 上の部分動画像 （140、 142、 1 44、 1 46、 1 60) を検索するための 第 2の部分動画像検索手段 （503) を含む、 請求項 23に記載の動画像検索装 置 （50) 。
補正書の請求の範囲
[2000年 10月 10日 （10. 10. 00) 国際事務局受理： 出願当初の請求の範囲 1 7は取り下げられた；出願当初の請求の範囲 1一 16及び 18— 22は補正された；新しい請求の範囲 27-33 が加えられた；他の請求の範囲は変更なし。 （9頁） ]
請求の範囲
1. (補正後） 動画像データにより表わされ、 1以上の時間軸上の部分動画像 (140、 142、 144、 146、 1 60) からなる、 動画像を検索するため の検索情報を生成する動画像検索情報生成装置 （40) であって、
前記動画像データに基づいて、 前記 1以上の部分動画像の各々に対応して検索 情報を生成する検索情報生成部 （102、 103、 104、 105) を備え、 前記検索情報生成部 （ 1 02、 103、 104、 1 05) は、 前記 1以上の時 間軸上の部分動画像 （ 140、 142、 144、 146、 1 60) の各々を空間 的に分割することにより得られる 1以上の空間的部分動画像の要約情報 （1 8 8) を生成するための第 1の要約情報生成手段 （103) を含む、 動画像検索情 報生成装置 （40) 。
2. (補正後） 前記 1以上の時間軸上の部分動画像 （ 140、 142、 144、 146、 1 60) は、 前記動画像データにより表わされる動画像が時間軸上で分 割されたものであり、
前記 1以上の時間軸上の部分動画像の前記動画像データ中の位置を表わす動画 像構造情報を出力する動画像構造情報出力部 （10 1) をさらに備え、
前記検索情報生成部 （ 1 02、 103、 1 04、 105) は、 前記動画像構造 情報と前記動画像データとに基づいて、 前記 1以上の時間軸上の部分動画像 （ 1 40、 142、 144、 146、 1 60 ) の各々に対応した検索情報を生成する、 請求項 1に記載の動画像情報生成装置。
3. (補正後） 前記 1以上の時間軸上の部分動画像の各々は、 1または複数個の 時問的な単位画像 （ 162 A〜 1 62 N) を含み、
前記第 1の要約情報生成手段 （103) は、 前記 1以上の時間軸上の部分動画 像 （140、 142、 144、 146、 160) の各々の、 前記 1または複数個 の時間的な単位画像 （162A~1 62N) の全てを同一の態様で複数個の空間 的分割プロックに分割し、 前記 1または複数個の時間的な単位画像 （ 1 62 A〜 162N) のそれぞれ同一の位置の前記空間的分割ブロックに対応する画像デー タから前記空間的部分動画像の要約情報を生成するための空間的分割手段 （10
34
捕正された用紙 （条約第 19条） 3) を含む、 請求項 1に記載の動画像検索情報生成装置 （40) 。
4. (補正後） 前記空間的分割手段 （103) は、 前記 1以上の時間軸上の部分 動画像 （140、 142、 144、 146、 1 60) の各々の、 前記 1または複 数個の時間的な単位画像 （162A〜1 62N) の各々を、 前記単位画像上に定 義される 2つの方向において同一の予め定める数に分割することにより前記時間 的な単位画像 （ 1 62 A〜 1 62 N) の全てを複数個の空間的分割プロックに分 割し、 前記 1または複数個の時間的な単位画像 （ 1 62 A〜 1 62 N) のそれぞ れ同一の位置の前記空間的分割プロックに対応する画像データから前記空間的部 分動画像の要約情報を生成するための手段 （103) を含む、 請求項 3に記載の 動画像検索情報生成装置。
5. (補正後） 前記空間的分割手段 （103) は、 前記 1以上の時間軸上の部分 動画像 （140、 142、 144、 146、 160) の各々の、 前記 1または複 数個の時間的な単位画像 （162A〜1 62N) の各々を、 予め定める 2のべき 乗数に分割することにより前記時間的な単位画像 （1 62A〜162N) の全て を複数個の空間的分割プロックに分割し、 前記 1または複数個の時間的な単位画 像 （ 1 62 A〜 1 62 N) のそれぞれ同一の位置の前記空間的分割プロックに対 応する画像データから前記空間的部分動画像の要約情報を生成するための手段 (1 03) を含む、 請求項 3に記載の動画像検索情報生成装置。
6. (補正後） 前記検索情報生成部 （102、 103、 104、 1 05) はさら に、 前記 1以上の時間軸上の部分動画像 （140、 142、 144、 146、 1
60) の各々に含まれる前記 1または複数個の時間的な単位画像 （1 62A〜1 62N) の 1または複数個を単位として前記部分動画像を時間的に分割すること により得られる 1以上の時間的部分動画像の要約情報を生成するための第 2の要 約情報生成手段 （102) を含む、 請求項 5に記載の動画像検索情報生成装置。 7. (補正後） 前記 1または複数個の時間的な単位画像 （ 162 A〜 162 N) の各々は、 1フレームの画像を含む、 請求項 6に記載の動画像検索情報生成装置。 8. (補正後） 前記検索情報生成部 （ 102、 103、 104、 105) はさら に、 前記 1以上の時間軸上の部分動画像 （140、 142、 144、 146、 1 60) の各々に含まれる全ての前記時間的な単位画像 （162A〜162N) か
35
補正された用紙 （条約第 19条） ら、 前記部分動画像の要約情報を生成する第 3の要約情報生成手段 （104) を 含む、 請求項 6に記載の動画像検索情報生成装置。
9. (補正後） 前記検索情報生成部 （102、 1 03、 1 04、 1 05) はさら に、 前記 1以上の時間軸上の部分動画像 （140、 142、 144、 146、 1 60) の各々に含まれる前記 1または複数個の時間的な単位画像 （1 62A〜1 62N) の 1または複数個を単位として前記部分動画像を時間的に分割すること により得られる 1以上の時間的部分動画像の要約情報を生成するための第 2の要 約情報生成手段 （1 02) を含む、 請求項 4に記載の動画像検索情報生成装置。
1 0. (補正後） 前記 1または複数個の時間的な単位画像 （1 6 2A〜 1 6 2 N) の各々は、 1フレームの画像を含む、 請求項 9に記載の動画像検索情報生成
1 1. (補正後） 前記検索情報生成部 （102、 103、 104、 1 05) はさ らに、 前記 1以上の時間軸上の部分動画像 （140、 142、 144、 146、 1 60) の各々に含まれる全ての前記時間的な単位画像 （1 62A〜162N) から、 前記部分動画像の要約情報を生成する第 3の要約情報生成手段 （104) を含む、 請求項 9に記載の動画像検索情報生成装置。
1 2. (補正後） 前記検索情報生成部 （102、 103、 104、 1 05) はさ らに、 前記 1以上の時間軸上の部分動画像 （140、 142、 144、 146、 1 60) の各々に含まれる前記 1または複数個の時間的な単位画像 （1 62A〜 1 62N) の 1または複数個を単位として前記部分動画像を時間的に分割するこ とにより得られる 1以上の時間的部分動画像の要約情報を生成するための第 2の 要約情報生成手段 （1 02) を含む、 請求項 3に記載の動画像検索情報生成装置
(40) 。
1 3. (補正後） 前記 1または複数個の時間的な単位画像 （1 6 2A〜1 62 N) の各々は、 1フレームの画像を含む、 請求項 1 2に記載の動画像検索情報生 成装置 （40) 。
14. (補正後） 前記検索情報生成部 （102、 103、 104、 105) はさ らに、 前記 1以上の時間軸上の部分動画像 （140、 142、 144、 146、 1 60) の各々に含まれる全ての前記時間的な単位画像 （162A〜162N)
36
補正された用紙 （条約第 19条） から、 前記部分動画像の要約情報を生成する第 3の要約情報生成手段 （104) を含む、 請求項 1 2に記載の動画像検索情報生成装置 （40) 。
1 5. (補正後） 前記 1以上の時間軸上の部分動画像 （140、 142、 144、 146、 1 60) の各々は、 1または複数個の時間的な単位画像 （162A〜1 62 N) を含み、
前記検索情報生成部 （1 02、 103、 1 04、 105) はさらに、 前記 1以 上の時間軸上の部分動画像 （ 140、 142、 144、 146、 1 60) の各々 に含まれる前記 1または複数個の時間的な単位画像 （1 62A〜1 62N) の 1 または複数個を単位として前記部分動画像を時間的に分割することにより得られ る 1以上の時間的部分動画像の要約情報を生成するための第 2の要約情報生成手 段 （102) を含む、 請求項 1に記載の動画像検索情報生成装置 （40) 。
1 6. (補正後） 前記 1または複数個の時間的な単位画像 （1 6 2A〜 1 6 2 N) の各々は、 1フレームの画像を含む、 請求項 1 5に記載の動画像検索情報生 成装置 （40) 。
1 7. (削除）
1 8. (補正後） 前記検索情報生成部 （102、 103、 104、 105) はさ らに、 前記 1以上の時間軸上の部分動画像 （ 140、 142、 144、 146、
1 60) の各々に含まれる全ての前記時間的な単位画像 （1 62A〜1 62N) から、 前記部分動画像の要約情報を生成する第 3の要約情報生成手段 （104) を含む、 請求項 1 5に記載の動画像検索情報生成装置 （40) 。
1 9. (補正後） 前記検索情報生成部 （ 102、 103、 104、 105) はさ らに、 前記 1以上の時間軸上の部分動画像 （140、 142、 144、 146、 1 60) の各々に含まれる全ての前記時間的な単位画像 （1 62A〜162N) から、 前記部分動画像の要約情報を生成する第 3の要約情報生成手段 （104) を含む、 請求項 5に記載の動画像検索情報生成装置 （40) 。
20. (補正後） 前記検索情報生成部 （ 102、 104、 104、 105) はさ らに、 前記 1以上の時間軸上の部分動画像 （140、 142、 144、 146、 160) の各々に含まれる全ての前記時間的な単位画像 （1 62A〜1 62N) から、 前記部分動画像の要約情報を生成する第 3の要約情報生成手段 （104)
37
補正された用紙 （条約第 19条） を含む、 請求項 4に記載の動画像検索情報生成装置 （40) 。
2 1. (補正後） 前記検索情報生成部 （102、 103、 104、 105) はさ らに、 前記 1以上の時間軸上の部分動画像 （ 140、 142、 144、 146、 160) の各々に含まれる全ての前記時間的な単位画像 （1 62A〜1 62N) から、 前記部分動画像の要約情報を生成する第 3の要約情報生成手段 （104) を含む、 請求項 3に記載の動画像検索情報生成装置 （40) 。
22. (補正後） 前記 1以上の時間軸上の部分動画像 （140、 142、 144、 146、 1 60) の各々は、 1または複数個の時間的な単位画像 （1 62A〜1 62 N) を含み、 前記検索情報生成部 （102、 103、 104、 105) はさ らに、 前記 1以上の時間軸上の部分動画像 （ 140、 142、 144、 146、 1 60) の各々に含まれる全ての前記時間的な単位画像 （1 62A〜1 62N) から、 前記部分動画像の要約情報を生成する第 3の要約情報生成手段 （1 04) を含む、 請求項 1に記載の動画像検索情報生成装置 （40) D
23. 動画像を構成する 1以上の時間軸上の部分動画像 （140、 142、 14 4、 146、 1 60) の各々に対応した検索情報を利用して、 所望の画像を検索 するための動画像検索装置 （50) であって、 前記動画像を表わす動画像データ には、 前記検索情報が対応付けられており、 前記検索情報は、 前記 1以上の時間 軸上の部分動画像 （140、 142、 144、 146、 160) の各々を空間的 に分割することにより得られる 1以上の空間的部分動画像の要約情報 （1 88) を含み、
前記検索情報を読出して管理するための情報管理手段 （50 1、 502) と、 前記情報管理手段に接続され、 外部から与えられる、 時間軸上の部分動画像 (140、 142、 144、 146、 160) を検索の単位とする第 1の検索要 求に応答して、 前記検索情報に含まれる前記空間的部分動画像の要約情報を用い て、 前記第 1の検索要求に合致する時間軸上の部分動画像 （140、 142、 1 44、 146、 160) を検索するための第 1の部分動画像検索手段 （504) を含む、 動画像検索装置 （50) 。
24. 前記 1以上の時間軸上の部分動画像 （140、 142、 144、 146、
1 60) の各々は、 1以上の時間軸上の単位画像 （1 62A〜162N) を含み、
38
補正された用紙 （条約第 19条） 前記検索情報はさらに、 前記 1以上の時間軸上の部分動画像 （140、 142、 144、 146、 160) に含まれる前記 1以上の時間軸上の単位画像 （ 162 A〜 162 N) の 1または複数個を単位として前記部分動画像を時間的に分割す ることにより得られる 1以上の時間的部分動画像の要約情報を含み、
前記動画像検索装置 （50) はさらに、 前記情報管理手段 （50 1、 502) に接続され、 外部から与えられる、 時間軸上の部分動画像 （140、 142、 1 44、 146、 160) を検索の単位とする第 2の検索要求に応答して、 前記検 索情報に含まれる前記時間軸上の単位画像 （ 1 62 A〜 1 62 N) の 1または複 数個からなる前記 1以上の時間的部分動画像の要約情報を用いて、 前記第 2の検 索要求に合致する時間軸上の部分動画像 （ 140、 142、 144、 146、 1 60) を検索するための第 2の部分動画像検索手段 （505) を含む、 請求項 2 3に記載の動画像検索装置 （50) 。
25. 前記検索情報はさらに、 前記 1以上の時間軸上の部分動画像 （140、 1 42、 144、 146、 1 60) の各々を単位とする要約情報を含み、
前記動画像検索装置 （50) はさらに、 前記情報管理手段 （50 1、 502) に接続され、 外部から与えられる、 時間軸上の部分動画像 （140、 142、 1 44、 146、 1 60) を検索の単位とする第 3の検索要求に応答して、 前記検 索情報に含まれる前記時間軸上の部分動画像 （140、 142、 144、 146、 1 60) を単位とする要約情報を用いて、 前記第 3の検索要求に合致する時間軸 上の部分動画像 （140、 142、 144、 146、 1 60) を検索するための 第 3の部分動画像検索手段 （503) を含む、 請求項 24に記載の動画像検索装 置 （50) 。
26. 前記検索情報はさらに、 前記 1以上の時間軸上の部分動画像 （140、 1
42、 144、 146、 160) の各々を単位とする要約情報を含み、
前記動画像検索装置 （50) はさらに、 前記情報管理手段 （50 1、 502) に接続され、 外部から与えられる、 時間軸上の部分動画像 （140、 142、 1
44、 146、 160) を検索の単位とする第 2の検索要求に応答して、 前記検 索情報に含まれる前記時間軸上の部分動画像 （140、 142、 144、 146、
1 60) を単位とする要約情報を用いて、 前記第 2の検索要求に合致する時間軸
39
補正された用紙 （条約第 19条） 上の部分動画像 （140、 142、 144、 146、 1 60) を検索するための 第 2の部分動画像検索手段 （503) を含む、 請求項 23に記載の動画像検索装 置 （50) 。
27. (追加） 動画像データにより表わされ、 1以上の時間軸上の部分動画像 ( 140、 142、 144、 146、 160 ) からなる、 動画像を検索するため の検索情報が、 前記検索情報と前記動画像データとの対応情報とともに記録され た記録媒体 （107) であって、
前記検索情報は、 前記 1以上の時間軸上の部分動画像 （140、 142、 14 4、 146、 1 60) の各々を空間的に分割することにより得られる 1以上の空 間的部分動画像の要約情報 （1 88) を含む、 記録媒体 （107) 。
28. (追加） 前記 1以上の時間軸上の部分動画像 （140、 142、 144、 146、 1 60) の各々は、 1または複数個の時間的な単位画像 （ 1 62 A〜 1 62N) を含み、
前記検索情報はさらに、 前記 1以上の時間軸上の部分動画像 （140、 142、 144、 146、 1 60) の各々に含まれる前記 1または複数個の時間的な単位 画像 （ 1 6 2 A〜 162 N) の 1または複数個を単位として前記部分動画像を時 間的に分割することにより得られる 1以上の時間的部分動画像の要約情報を含む、 請求項 27に記載の記録媒体 （1 07) 。
29. (追加） 前記 1以上の時間軸上の部分動画像 （140、 142、 144、 146、 1 60) の各々は、 1または複数個の時間的な単位画像 （ 162 A〜 1
62 N) を含み、
前記検索情報はさらに、 前記 1以上の時間軸上の部分動画像 （140、 142、 144、 146、 160) の各々に含まれるすべての前記時間的な単位画像 （1 62A〜1 62N) から生成される前記部分動画像の要約情報を含む、 請求項 2 7に記載の記録媒体 （107) 。
30. (追加） 動画像を構成する 1以上の時間軸上の部分動画像 （140、 14
2、 144、 146、 160) の各々に対応した検索情報を管理するための動画 像検索情報管理装置であって、
前記動画像を表わす動画像データには、 前記検索情報が対応付けられており、
40
補正された用紙 （条約第 19条） 前記検索情報は、 前記 1以上の時間軸上の部分動画像 （140、 142、 14 4、 146、 160) の各々を空間的に分割することにより得られる 1以上の空 間的部分動画像の要約情報 （1 88) を含み、
前記検索情報を読出すための読出部 （501) と、
前記読出部 （50 1) により読出された検索情報を保持し、 外部から与えられ る、 時間軸上の部分動画像 （ 140、 142、 144、 146、 1 60 ) を検索 の単位とする第 1の検索要求に応じて、 前記検索情報に含まれる前記空間的部分 動画像の要約情報を出力するための検索情報管理部 （502) とを含む、 動画像 3 1. (追加） 前記 1以上の時間軸上の部分動画像 （140、 142、 144、 1 46、 1 60) の各々は、 1以上の時間軸上の単位画像 （ 1 6 2 A〜 1 6 2 N) を含み、
前記検索情報はさらに、 前記 1以上の時間軸上の部分動画像 （140、 142、 144、 146、 1 60) に含まれる前記 1以上の時間軸上の単位画像 （ 162 A〜 1 62 N) の 1または複数個を単位として前記部分動画像を時間的に分割す ることにより得られる 1以上の時間的部分動画像の要約情報を含み、
前記検索情報管理部 （502) はさらに、 外部から与えられる、 時間軸上の部 分動画像 （140、 1 42、 144、 146、 1 60 ) を検索の単位とする第 2 の検索要求に応じて、 前記検索情報に含まれる前記時間軸上の単位画像 （162 A〜 1 62 N) の 1または複数個からなる前記 1以上の時間的部分動画像の要約 情報を出力する、 請求項 30に記載の動画像情報管理装置。
32. (追加） 前記検索情報はさらに、 前記 1以上の時間軸上の部分動画像 （1 40、 142、 144、 146、 160) の各々を単位とする要約情報を含み、 前記検索情報管理部 （502) はさらに、 外部から与えられる、 時間軸上の部 分動画像 （140、 142、 144、 146、 160 ) を検索の単位とする第 3 の検索要求に応じて、 前記検索情報に含まれる前記時間軸上の部分動画像 （14 0、 142、 144、 146、 1 60) を単位とする要約情報を出力する、 請求 項 3 1に記載の動画像検索情報管理装置。
33. (追加） 前記検索情報はさらに、 前記 1以上の時間軸上の部分動画像 （1
41
補正された用紙 （条約第 19条） 40、 142、 144、 146、 1 60) の各々を単位とする要約情報を含み、 前記検索情報管理部 （502) はさらに、 外部から与えられる、 時間軸上の部 分動画像 （140、 142、 144、 146、 160) を検索の単位とする第 2 の検索要求に応じて、 前記検索情報に含まれる前記時間軸上の部分動画像 （14 0、 142、 144、 146、 1 60) を単位とする要約情報を出力する、 請求 項 30に記載の動画像検索情報管理装置。
42
補正された用紙 （条約第 19条）
PCT/JP2000/004299 1999-06-30 2000-06-29 Appareil d'enregistrement d'informations de recherche d'images dynamiques et dispositif de recherche d'images dynamiques WO2001003005A1 (fr)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2001508725A JP4027662B2 (ja) 1999-06-30 2000-06-29 動画像検索装置、および動画像検索情報管理装置
DE60036288T DE60036288T2 (de) 1999-06-30 2000-06-29 Dynamisches bildsuch-informations-aufzeichnungsgerät und dynamische bildsuchvorrichtung
CN008121761A CN1371502B (zh) 1999-06-30 2000-06-29 活动图像检索信息记录装置及活动图像检索装置
EP00940880A EP1195692B1 (en) 1999-06-30 2000-06-29 Dynamic image search information recording apparatus and dynamic image searching device
US10/019,747 US7092040B1 (en) 1999-06-30 2000-06-30 Dynamic image search information recording apparatus and dynamic image searching device
US11/387,772 US7884884B2 (en) 1999-06-30 2006-03-22 Dynamic image search information recording apparatus and dynamic image searching devices

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP18460699 1999-06-30
JP11/184606 1999-06-30
JP11/339019 1999-11-30
JP33901999 1999-11-30

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US10019747 A-371-Of-International 2000-06-29
US11/387,772 Continuation US7884884B2 (en) 1999-06-30 2006-03-22 Dynamic image search information recording apparatus and dynamic image searching devices

Publications (1)

Publication Number Publication Date
WO2001003005A1 true WO2001003005A1 (fr) 2001-01-11

Family

ID=26502587

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2000/004299 WO2001003005A1 (fr) 1999-06-30 2000-06-29 Appareil d'enregistrement d'informations de recherche d'images dynamiques et dispositif de recherche d'images dynamiques

Country Status (8)

Country Link
US (2) US7092040B1 (ja)
EP (2) EP1835421A3 (ja)
JP (2) JP4027662B2 (ja)
KR (1) KR100486047B1 (ja)
CN (1) CN1371502B (ja)
DE (1) DE60036288T2 (ja)
ES (1) ES2288859T3 (ja)
WO (1) WO2001003005A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005063418A (ja) * 2003-07-18 2005-03-10 Samsung Electronics Co Ltd ＧｏＦ／ＧｏＰの質感表現方法と、これを用いたＧｏＦ／ＧｏＰの検索方法及び装置
WO2009042340A2 (en) * 2007-09-25 2009-04-02 Motorola, Inc. Method for intelligently creating, consuming, and sharing video content on mobile devices
US7884884B2 (en) 1999-06-30 2011-02-08 Sharp Kabushiki Kaisha Dynamic image search information recording apparatus and dynamic image searching devices
JP2013149110A (ja) * 2012-01-20 2013-08-01 Renesas Electronics Corp 移動量検出装置、移動体検出装置及び移動量検出方法
JP2013210845A (ja) * 2012-03-30 2013-10-10 Secom Co Ltd 移動物体照合装置

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7075683B1 (en) * 1999-02-15 2006-07-11 Canon Kabushiki Kaisha Dynamic image digest automatic editing system and dynamic image digest automatic editing method
US7996191B2 (en) * 2001-08-10 2011-08-09 Jon Milton Foster Property development utilizing structure depicted in a motion picture or television show
US7167574B2 (en) 2002-03-14 2007-01-23 Seiko Epson Corporation Method and apparatus for content-based image copy detection
JP2004234613A (ja) * 2002-12-02 2004-08-19 Nec Corp 映像記述システムおよび方法、映像識別システムおよび方法
US7532804B2 (en) 2003-06-23 2009-05-12 Seiko Epson Corporation Method and apparatus for video copy detection
US7856054B1 (en) * 2003-11-14 2010-12-21 Apple Inc. Scene change identification during encoding of compressed video
CN101292523B (zh) * 2005-10-27 2011-02-09 三菱电机株式会社 影像摘要装置
US8009861B2 (en) * 2006-04-28 2011-08-30 Vobile, Inc. Method and system for fingerprinting digital video object based on multiresolution, multirate spatial and temporal signatures
WO2010021102A1 (ja) * 2008-08-22 2010-02-25 パナソニック株式会社 関連シーン付与装置及び関連シーン付与方法
WO2010084739A1 (ja) 2009-01-23 2010-07-29 日本電気株式会社 映像識別子抽出装置
US8731292B2 (en) * 2011-01-07 2014-05-20 Alcatel Lucent Method and apparatus for comparing videos
CN102595116B (zh) 2011-01-14 2014-03-12 华为技术有限公司 多图像块划分的编解码方法和装置
WO2020182213A1 (en) 2019-03-13 2020-09-17 Beijing Bytedance Network Technology Co., Ltd. Sub-block transform in transform skip mode
KR102364628B1 (ko) * 2019-07-03 2022-02-18 한국과학기술원 비디오 처리 방법 및 장치
CN114096987A (zh) * 2019-07-03 2022-02-25 韩国科学技术院 视频处理方法及装置
US12003601B2 (en) * 2021-12-01 2024-06-04 Tencent America LLC Method and apparatus for split rendering for lightfield/immersive media using proxy edge cloud architecture
JP7548633B1 (ja) 2023-12-21 2024-09-10 株式会社インタラクティブソリューションズ セグメント検索装置及びプログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0546769A (ja) * 1991-08-12 1993-02-26 Nippon Telegr & Teleph Corp <Ntt> 動きベクトル算出方法
JPH06153146A (ja) * 1992-11-04 1994-05-31 Matsushita Electric Ind Co Ltd 動画像のシーンチェンジ検出装置および編集装置
JPH07152779A (ja) * 1993-11-29 1995-06-16 Toshiba Corp 動画インデックス検出処理方法及び動画インデックス検出処理機能を持つ動画処理装置
JPH0983864A (ja) * 1995-09-19 1997-03-28 Kokusai Denshin Denwa Co Ltd <Kdd> 動画像のカット点画像検出装置
US5719643A (en) * 1993-08-10 1998-02-17 Kokusai Denshin Denwa Kabushiki Kaisha Scene cut frame detector and scene cut frame group detector
EP0907147A2 (en) * 1997-09-26 1999-04-07 Matsushita Electric Industrial Co., Ltd. Clip display method and display device therefor

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0738842A (ja) 1993-06-29 1995-02-07 Toshiba Corp 動画編集装置
US5805733A (en) * 1994-12-12 1998-09-08 Apple Computer, Inc. Method and system for detecting scenes and summarizing video sequences
US5485611A (en) * 1994-12-30 1996-01-16 Intel Corporation Video database indexing and method of presenting video database index to a user
US5779108A (en) * 1995-06-15 1998-07-14 Calmar Inc. Pressure venting trigger sprayer
US5819286A (en) * 1995-12-11 1998-10-06 Industrial Technology Research Institute Video database indexing and query method and system
JPH09182019A (ja) * 1995-12-26 1997-07-11 Sony Corp 映像信号記録装置及び再生装置
US5661524A (en) * 1996-03-08 1997-08-26 International Business Machines Corporation Method and apparatus for motion estimation using trajectory in a digital video encoder
JPH09284702A (ja) 1996-04-09 1997-10-31 Oki Electric Ind Co Ltd シーン変化フレーム検出方法および装置
DE19618625C1 (de) * 1996-05-09 1997-10-23 Daimler Benz Ag Flüssigkeitsgekühlter Kolben für Verbrennungsmotoren
US5778108A (en) * 1996-06-07 1998-07-07 Electronic Data Systems Corporation Method and system for detecting transitional markers such as uniform fields in a video signal
US6400853B1 (en) * 1997-03-19 2002-06-04 Canon Kabushiki Kaisha Image retrieval apparatus and method
US6427048B2 (en) * 1997-04-28 2002-07-30 Sony Corporation Apparatus and method for recording, reproducing and displaying a video signal received by a signal receiver
JP3780623B2 (ja) * 1997-05-16 2006-05-31 株式会社日立製作所 動画像の記述方法
US6125229A (en) * 1997-06-02 2000-09-26 Philips Electronics North America Corporation Visual indexing system
KR100486047B1 (ko) * 1999-06-30 2005-05-03 샤프 가부시키가이샤 동화상 검색 정보 기록 장치 및 동화상 검색 장치

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0546769A (ja) * 1991-08-12 1993-02-26 Nippon Telegr & Teleph Corp <Ntt> 動きベクトル算出方法
JPH06153146A (ja) * 1992-11-04 1994-05-31 Matsushita Electric Ind Co Ltd 動画像のシーンチェンジ検出装置および編集装置
US5719643A (en) * 1993-08-10 1998-02-17 Kokusai Denshin Denwa Kabushiki Kaisha Scene cut frame detector and scene cut frame group detector
JPH07152779A (ja) * 1993-11-29 1995-06-16 Toshiba Corp 動画インデックス検出処理方法及び動画インデックス検出処理機能を持つ動画処理装置
JPH0983864A (ja) * 1995-09-19 1997-03-28 Kokusai Denshin Denwa Co Ltd <Kdd> 動画像のカット点画像検出装置
EP0907147A2 (en) * 1997-09-26 1999-04-07 Matsushita Electric Industrial Co., Ltd. Clip display method and display device therefor

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
KOBLA V. & DOERMANN D.: "Indexing and retrieval of the MPEG compressed video", JOURNAL OF ELECTRONIC IMAGING,, vol. 7, no. 2, April 1998 (1998-04-01), pages 294 - 307, XP002930737 *
See also references of EP1195692A4 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7884884B2 (en) 1999-06-30 2011-02-08 Sharp Kabushiki Kaisha Dynamic image search information recording apparatus and dynamic image searching devices
JP2005063418A (ja) * 2003-07-18 2005-03-10 Samsung Electronics Co Ltd ＧｏＦ／ＧｏＰの質感表現方法と、これを用いたＧｏＦ／ＧｏＰの検索方法及び装置
WO2009042340A2 (en) * 2007-09-25 2009-04-02 Motorola, Inc. Method for intelligently creating, consuming, and sharing video content on mobile devices
WO2009042340A3 (en) * 2007-09-25 2009-05-22 Motorola Inc Method for intelligently creating, consuming, and sharing video content on mobile devices
JP2013149110A (ja) * 2012-01-20 2013-08-01 Renesas Electronics Corp 移動量検出装置、移動体検出装置及び移動量検出方法
JP2013210845A (ja) * 2012-03-30 2013-10-10 Secom Co Ltd 移動物体照合装置

Also Published As

Publication number Publication date
EP1195692A1 (en) 2002-04-10
US7884884B2 (en) 2011-02-08
DE60036288T2 (de) 2008-05-29
EP1195692B1 (en) 2007-09-05
JP4027662B2 (ja) 2007-12-26
EP1835421A3 (en) 2009-04-22
JP4462922B2 (ja) 2010-05-12
CN1371502B (zh) 2010-05-05
CN1371502A (zh) 2002-09-25
EP1195692A4 (en) 2004-04-21
KR20020019482A (ko) 2002-03-12
US7092040B1 (en) 2006-08-15
EP1835421A2 (en) 2007-09-19
ES2288859T3 (es) 2008-02-01
KR100486047B1 (ko) 2005-05-03
JP2004104836A (ja) 2004-04-02
US20060164560A1 (en) 2006-07-27
DE60036288D1 (de) 2007-10-18

Similar Documents

Publication Publication Date Title
WO2001003005A1 (fr) Appareil d&#39;enregistrement d&#39;informations de recherche d&#39;images dynamiques et dispositif de recherche d&#39;images dynamiques
EP1024444B1 (en) Image information describing method, video retrieval method, video reproducing method, and video reproducing apparatus
KR100492437B1 (ko) 화상 검색 시스템 및 화상 검색 방법
US7889974B2 (en) Method and apparatus for editing images, and method and apparatus for reproducing the edited images
US7266771B1 (en) Video stream representation and navigation using inherent data
US20020051081A1 (en) Special reproduction control information describing method, special reproduction control information creating apparatus and method therefor, and video reproduction apparatus and method therefor
JPH04504920A (ja) デジタル・ビデオ・データを操作する方法及び装置
JP2001527304A (ja) ディジタル動画の階層的要約及び閲覧方法
CN101346719A (zh) 从视频帧中选择关键帧
JP4520994B2 (ja) 画像処理装置、画像処理方法、および画像処理プログラム
CN102682817B (zh) 剧本编辑装置、方法和系统以及图像拍摄装置及其控制方法
JPH11284948A (ja) サムネイル作成方法及びサムネイル表示方法
CN1378178A (zh) 图像搜索设备
JP4667356B2 (ja) 映像表示装置及びその制御方法、プログラム、記録媒体
JP4574771B2 (ja) 画像情報記述方法
US20060078308A1 (en) Video reproducing apparatus
JP4167245B2 (ja) デジタル映像処理方法及びその装置
JP2000194727A (ja) 動画像検索装置、動画像検索方法、及び動画像検索プログラムを記録した記録媒体
JP3524007B2 (ja) 動画場面転換部検出装置および方法、動画場面転換部検出制御プログラムを記憶した媒体、ならびに動画処理装置
JP2006018831A (ja) 画像検索システムおよび画像検索方法
JP3581085B2 (ja) 二次コンテンツ生成システム及びその方法並びに二次コンテンツ生成プログラムを記録した記録媒体
KR100855450B1 (ko) 동영상 객체의 모션 스타일 전이 방법 및 이에 적용되는장치
KR0147568B1 (ko) 벡터 양자화에 의한 영상 압축 회로
JPH1070703A (ja) 画像情報管理用記録装置および画像情報管理用再生装置および画像情報管理用記録・再生装置
Boschetti et al. High Dynamic Range Images Coding: Embedded and Multiple Description

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): CN JP KR SG US

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): AT BE CH CY DE DK ES FI FR GB GR IE IT LU MC NL PT SE

DFPE Request for preliminary examination filed prior to expiration of 19th month from priority date (pct application filed before 20040101)
121 Ep: the epo has been informed by wipo that ep was designated in this application
ENP Entry into the national phase

Ref country code: JP

Ref document number: 2001 508725

Kind code of ref document: A

Format of ref document f/p: F

WWE Wipo information: entry into national phase

Ref document number: 2000940880

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 10019747

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 1020017016932

Country of ref document: KR

WWE Wipo information: entry into national phase

Ref document number: 008121761

Country of ref document: CN

WWP Wipo information: published in national office

Ref document number: 1020017016932

Country of ref document: KR

WWP Wipo information: published in national office

Ref document number: 2000940880

Country of ref document: EP

WWG Wipo information: grant in national office

Ref document number: 1020017016932

Country of ref document: KR

WWG Wipo information: grant in national office

Ref document number: 2000940880

Country of ref document: EP