Nothing Special   »   [go: up one dir, main page]

JP2004248312A - 画像処理装置及び画像処理方法 - Google Patents

画像処理装置及び画像処理方法 Download PDF

Info

Publication number
JP2004248312A
JP2004248312A JP2004089806A JP2004089806A JP2004248312A JP 2004248312 A JP2004248312 A JP 2004248312A JP 2004089806 A JP2004089806 A JP 2004089806A JP 2004089806 A JP2004089806 A JP 2004089806A JP 2004248312 A JP2004248312 A JP 2004248312A
Authority
JP
Japan
Prior art keywords
image
frame
image processing
feature amount
change
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004089806A
Other languages
English (en)
Other versions
JP3882824B2 (ja
Inventor
Hideo Abe
英雄 阿部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2004089806A priority Critical patent/JP3882824B2/ja
Publication of JP2004248312A publication Critical patent/JP2004248312A/ja
Application granted granted Critical
Publication of JP3882824B2 publication Critical patent/JP3882824B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Image Analysis (AREA)

Abstract

【課題】一連の動画データに含まれる撮影状況の変化や被写体の動き等に応じて静止画像を自動的に抽出し、撮影内容を直感的に認識することができる画像表現で表示出力することができる画像処理装置及び画像処理方法を提供する。
【解決手段】動画データから複数のフレーム画像を音声情報とともに抽出してフレームメモリに記憶する動画データ取込部と、動画データを構成する複数のフレーム画像に含まれる特徴量の変化を検出する特徴量検出部と、特徴量検出部により検出された画像又は音声の変化特性に基づいて、複数のフレーム画像から特定のフレーム画像を選択する表示画像選択部と、表示画像選択部により、選択されたフレーム画像を所定の表現形式に加工する画像加工部と、表示画像選択部により選択された特定のフレーム画像を静止画像として表示出力するモニタ、プリンタ等を備える。
【要約図】 図1

Description

本発明は、画像処理装置及び画像処理方法に関し、特に、ビデオカメラや電子スチルカメラ等により撮影された動画情報を、静止画像として表示出力する画像処理装置及び画像処理方法に関する。本発明は、画像処理装置及び画像処理方法に関し、特に、ビデオカメラや電子スチルカメラ等により撮影された動画情報を、静止画像として表示出力する画像処理装置及び画像処理方法に関する。
近年、AV機器の普及、機能向上が著しい。特に、民生用、業務用を始め様々な場面でビデオカメラや電子スチルカメラ等の高機能化された画像記録機器が利用されるようになっている。これらの機器により撮影された画像は、機器本体に搭載された液晶パネルや、ケーブル等を介して接続されたテレビジョンやパーソナルコンピュータ(以下、パソコンと略称する)のモニタ上に簡易に表示出力することができ、また、プリンタ等を介して直接印刷出力することもできる。従来、ビデオカメラや電子スチルカメラ等により撮影された動画に限らず、一般的な動画情報(テレビジョン放送の映像情報等を含む)を、静止画像として表現する方法としては、動画情報を構成する複数のフレーム画像の中から任意のフレーム画像を抽出して単独で表示し、また、複数のフレーム画像の場合には、順次あるいは分割画面に一括して、表示する方法等が知られている。
以下、従来技術について具体的に説明する。
図13は、動画情報を構成する複数のフレーム画像から任意のフレーム画像を選択し、表示する手法の概念図である。図13において、動画データVDには、車両Xが図面左方向から右方向へ走行する画像が含まれているものとする。ここで、動画データVDは、時系列的に配列された複数のフレーム画像(静止画)により構成されていると考えることができる。したがって、画像処理装置の利用者は、動画データVDを一旦再生、閲覧し、被写体(車両)の動きや撮影状況の変化等を把握した上で、一連のフレーム画像の中から任意のフレーム画像を選択指示することにより、動画データ中に含まれる任意のシーンの画像を静止画像として表示出力することができる。例えば、図13に示すように、動画データを構成する一連のフレーム画像の中から所望のフレーム画像(ここでは、特定時刻T4におけるフレーム画像F4)を選択するように画像処理装置のスイッチ類を操作することにより、車両Xが走行する任意の1シーンを動画データの中から抽出することができ、モニタ等に表示出力することができる。なお、選択指示したフレーム画像が複数ある場合には、例えば、スクロール表示モードによりモニタ上に時系列的に、あるいは、マルチ画面モードにより一括して表示出力される。
上述したような静止画像の選択、表示方法においては、動画データの全てを再生表示して初めて撮影状況の変化や被写体の一連の動き等の撮影内容を認識することができるものであるため、画像処理装置の利用者は、動画データVDを一旦再生、閲覧し、撮影状況の変化や被写体の動き等を把握し、所望のシーンが含まれるフレーム画像を選択指示しなければならず、撮影内容の確認作業に長時間を要するという問題、また、所望の撮影内容を静止画像として出力する際に種々の編集作業(操作)を必要とし、極めて煩雑であるという問題を有している。
そこで、本発明は、一連の動画データに含まれる撮影状況の変化や被写体の動き等に応じて静止画像を自動的に抽出し、撮影内容を直感的に認識することができる画像表現で表示出力することができる画像処理装置及び画像処理方法を提供することを目的とする。
請求項1記載の画像処理装置は、動画情報を構成する複数のフレーム画像に含まれる特徴量の変化を検出する特徴量検出手段と、前記特徴量検出手段により検出された前記特徴量の変化に基づいて、前記複数のフレーム画像から特定のフレーム画像を選択するフレーム画像選択手段と、前記フレーム画像選択手段により選択された前記特定のフレーム画像を静止画像として表示出力する画像出力手段と、を備えたことを特徴とする。
請求項2記載の画像処理装置は、請求項1記載の画像処理装置において、前記フレーム画像選択手段により選択された前記特定のフレーム画像に所定の画像加工処理を施すフレーム画像加工手段を有し、前記加工処理された前記フレーム画像を、前記画像出力手段を介して表示出力することを特徴とする。
請求項3記載の画像処理装置は、動画情報を構成する複数のフレーム画像に含まれる特徴量の変化を検出する特徴量検出手段と、前記特徴量検出手段により検出された前記特徴量の変化に基づいて、前記フレーム画像に所定の画像加工処理を施すフレーム画像加工手段と、前記フレーム画像加工手段により加工されたフレーム画像を含む前記複数のフレーム画像を静止画像として表示出力する画像出力手段と、を備えたことを特徴とする。
請求項4記載の画像処理装置は、請求項1乃至3のいずれかに記載の画像処理装置において、前記特徴量は、前記動画情報を構成する複数のフレーム画像に含まれる被写体の動きであることを特徴とする。
請求項5記載の画像処理装置は、請求項1乃至3のいずれかに記載の画像処理装置において、前記特徴量は、前記動画情報を構成する複数のフレーム画像の各々に付随する音声情報であることを特徴とする。
請求項6記載の画像処理装置は、請求項1乃至3のいずれかに記載の画像処理装置において、前記特徴量検出手段は、前記動画情報を構成する複数のフレーム画像に含まれる、異なる種類の複数の特徴量を検出し、さらに、前記複数の特徴量から任意の1又は複数の特徴量を選択する特徴量選択手段を有することを特徴とする。
請求項7記載の画像処理装置は、請求項1乃至3又は6のいずれかに記載の画像処理装置において、前記フレーム画像加工手段は、複数の異なる画像加工方法を備え、さらに、前記複数の画像加工方法から任意の加工方法を選択する加工方法選択手段を有することを特徴とする。
請求項8記載の画像処理方法は、動画情報を構成する複数のフレーム画像に含まれる特徴量の変化を検出するステップと、前記検出された前記特徴量の変化に基づいて、前記複数のフレーム画像から特定のフレーム画像を選択するステップと、前記選択された特定のフレーム画像を静止画像として表示出力するステップと、を含むことを特徴とする。
請求項1又は8記載の発明によれば、動画データが一連のフレーム画像及びそれに付随する音声情報として抽出され、これらのフレーム画像に含まれる特徴量の変化特性から動画データの撮影状況の変化が把握されて、該変化を示すフレーム画像を選択して、表示出力することができるため、動画データの全てを再生表示しつつ、任意のフレーム画像を選択する、という煩雑な編集作業を必要とすることなく、撮影状況の変化や被写体の動きを示す適切なフレーム画像を容易に抽出して、表示出力することができる。したがって、極めて迅速に動画データ撮影内容を認識することができる静止画像を表示出力することができる。
また、請求項2又は3記載の発明によれば、特徴量の変化に基づいて選択されたフレーム画像を通常の画像表示とは異なる特殊な画像表現で表示出力することができるため、一連のフレーム画像を表示する場合においても撮影状況の変化等を示すフレーム画像を強調表示することができ、画像処理装置の利用者に対して適切に認識させることができる。
また、請求項4又は5記載の発明によれば、特徴量として画像特性、あるいは、音声特性のいずれかを用いることにより、動画データの撮影状況の変化等を的確に把握することができるため、迅速かつ簡易に所望の変化状態を示すフレーム画像を選択、表示することができる。特に、音声特性という特徴量の変化を検出することにより、画像のみならず、音声によっても撮影状況の変化を把握することができるため、利用者が所望する撮影状況の変化を示すフレーム画像を適切に選択することができる。
さらに、請求項6記載の発明によれば、特徴量として画像特性や音声特性等の種々の特性を、利用者が任意に組み合わせて選択、設定することができるため、所望の撮影内容を有するフレーム画像を、より多彩な手法により迅速に選択することができる。
そして、請求項7記載の発明によれば、所定の特徴量の変化を示すフレーム画像の加工方法を、利用者が任意に選択、設定することができるため、所望の撮影内容を有するフレーム画像を、より多彩な表現形式により表示出力することができ、利用者に撮影状況の変化を確実に認識させることができる。
以下、本発明の実施の形態を、図面を参照しながら説明する。
<第1の実施形態>
図1は、本発明に係る画像処理装置の第1の実施形態を示すブロック図である。
図1において、10は動画データ取込部、20はフレームメモリ、30はMPU、40はハードディスク、50はLCD等のモニタ(画像出力手段)、60はプリンタ(画像出力手段)、70はキースイッチ等の入力部(特徴量選択手段、加工方法選択手段)、80はデータ/命令伝送用のバスである。ここで、MPU30は、特徴量検出部(特徴量検出手段)31と、表示画像選択部(フレーム画像選択手段)32と、画像加工部(フレーム画像加工手段)33の各機能を有して構成されている。
これらの各機能は、概ね以下の通りである。
(1)動画データ取込部10
動画データ取込部10は、動画データから複数のフレーム画像を音声情報とともに抽出して後述するフレームメモリ20に記憶するものである。ここで、動画データは、ビデオデータや連続撮影された複数の静止画像により構成されるものであってもよく、また、音声情報を含まず、画像情報のみから構成されるものであってもよい。要するに、本発明において、動画データは少なくとも複数のフレーム画像の連続により構成されるものであればよく、また、取り込まれるフレーム画像はアナログ画像であっても、デジタル画像であっても構わない。
動画データ取込部10の概略構成について、図面を参照して説明する。ここでは、動画データとして、画像情報に音声情報が付随したデータ構成を有しているものとして説明する。したがって、画像情報からのみ構成される動画データを対象とする場合には、音声情報を信号処理する構成は含まれない。
図2において、11はフレーム画像選択部、12は画像・音声分離部、13aは画像信号用アナログ−デジタル変換器(以下、画像A/Dと記す。)、13bは音声信号用アナログ−デジタル変換器(以下、音声A/Dと記す。)、14aは画像信号用圧縮部、14bは音声信号用圧縮部、15は画像・音声合成部(以下、ミキサと記す。)、16はバスインターフェースである。
フレーム画像選択部11は、後述するMPU30からの命令に従って、動画データから所定の時間間隔で音声情報とともにフレーム画像を選択、抽出する。なお、選択されるフレーム画像は、動画データを構成する全てのフレーム画像であってもよいし、特定の時間間隔、例えば1/5secや1/10sec毎のフレーム画像であってもよいが、動画データに含まれる特徴量の変化を検出することができる程度の時間間隔を有していることを必須とする。なお、特徴量の定義については後述する。また、フレーム画像の選択の際に用いる時間間隔は、MPU30により予め設定された基準値を用いる方法や、画像処理装置の使用者の意志により入力部70を介して指示された任意の値を用いる方法等、様々な手法を設定することができる。
画像・音声分離部12は、画像と音声の周波数帯の違いを利用して画像信号と音声信号とを分離し、以後の信号処理を画像と音声の個別の経路により実行する。
画像A/D13aは、選択されたフレーム画像がアナログ信号の場合に、アナログの画像信号をデジタル画像信号に変換する。また、音声A/D13bは、選択されたフレーム画像に付随する音声情報がアナログ信号の場合に、アナログの音声信号をデジタル音声信号に変換する。
画像信号用圧縮部14aは、画像A/D13aによりデジタル画像信号化された、あるいは、フレーム画像選択部11においてデジタル画像信号として抽出された各フレーム画像の画像信号を、所定の画像圧縮規格に準拠するように処理する。フレーム画像の圧縮符号化方式としては、JPEG規格等を適用することができる。ここで、JPEG(Joint Photographic Coding Experts Group)とは、DCT(離散コサイン変換)、量子化、可変長符号化、等の手法により原画像データを圧縮符号化する規格であり、カラーファクシミリ装置や電子スチルカメラ等に採用されている国際標準規格である。なお、画像情報の圧縮符号化方式としては、一般にJPEGのほか、GIF、TIFF、LHA、ZIP等の様々な形式、規格が利用されているため、実施の形態に応じて適切な方式を採用することができる。
また、音声信号用圧縮部14bは、音声A/D13bによりデジタル音声信号化された、あるいは、フレーム画像選択部11においてデジタル音声信号として抽出された各フレーム画像に付随する音声信号を、所定の音声圧縮規格に準拠するように処理する。音声信号の圧縮符号化方式としては、MPEG規格等を適用することができる。ここで、MPEG(Motion Picture Coding Experts Group)とは、時系列上に連続する複数の画像(画面)から構成される動画像において、画像間の動き補償された差分データを圧縮符号化する予測符号化の手法を用いて圧縮符号化する規格であるが、音声信号の圧縮符合化にも適用することができる。
このように、画像信号をJPEG規格により、また、音声信号をMPEG規格により圧縮符号化すれば、近年のインターネット等の普及に伴い、普及型のパソコンに搭載されたJPEG規格、MPEG規格に対応したソフトウェアにより、簡易に画像処理を実現することができる。
ミキサ15は、所定の規格により圧縮符号化された画像信号及び音声信号を対応付けて、一つのフレームデータに合成処理(パケット化)し、一方、バスインターフェース16は、合成処理されたフレームデータをバス80の伝送幅に変換してフレームメモリ20へ転送する。
(2)フレームメモリ20
フレームメモリ20は、DRAM(Dynamic Random Access Memory)等により構成され、動画データ取込部10により選択、圧縮符号化処理された画像信号及び音声信号(フレームデータ)にヘッダー情報を関係付けて、MPU30により指定された画像データ格納領域に格納するものである。
図3は、フレームメモリ20の内部領域を示す概念図である。
図3に示すように、フレームメモリ20の内部領域は、大別してフォーマットテーブル領域、情報テーブル領域、データ領域、オフセット領域から構成される。
フォーマットテーブル領域には、画像情報に関する総合的な情報であるフォーマット情報が格納される。また、情報テーブル領域には、画像情報を識別するための番号情報を含む画像情報識別情報、動画データの時系列上での位置(時刻)を示す時刻情報等の画像情報を識別するためのヘッダー情報が格納される。データ領域は、フレームデータ、すなわち、圧縮符号化された画像信号及びそれに付随する音声信号をひとまとめにして格納し、オフセット領域は、データ領域におけるフレームデータのデータ長を固定長とするためのオフセットデータ(ブランク)を格納する。
このように、各フレームデータは、情報テーブル領域に格納されたヘッダー情報に関係付けされてデータ領域に格納される。
(3)特徴量検出部31
特徴量検出部31は、フレームメモリ20に格納された複数のフレームデータから画像信号又は音声信号の特徴量の変化を検出するものである。ここで、画像信号の特徴量とは、フレームデータの画像、つまりフレーム画像に含まれる被写体(動体)や画面の輝度、彩度等であって、画像の変化を適切に抽出することができるものであることを必須とする。また、音声信号の特徴量とは、画像に付随する音声の音量(レベル)や音域(周波数帯)等であって、音声の変化を適切に抽出することができるものであることを必須とする。すなわち、このような特徴量の所定の変化、すなわち、予め設定されたしきい値を超過するような激しい変化や継続性(非変化状態)等について、連続するフレームデータ相互を監視し、一連のフレームデータ(動画データ)に含まれる画像や音声の変化特性を把握する。
なお、特徴量の検出方法については後述する。
(4)表示画像選択部32
表示画像選択部32は、特徴量検出部31により検出されたフレームデータに含まれる画像又は音声の変化特性に基づいて、フレームメモリ20に格納された複数のフレームデータの中から特定のフレームデータを選択、抽出し、後述する画像加工部33を介して、あるいは、直接モニタ50やプリンタ60に表示出力するものである。ここで、特定のフレームデータの選択、抽出は、上述した画像又は音声の変化特性により明らかとなった撮影状況の切り替わり直後や、被写体の急激な動作直後等の画像を含むフレームデータを選択するものであってもよいし、上記切り替わりや動作の直前直後のフレームデータを選択するものであってもよい。要するに、後述するモニタ50やプリンタ60を介して表示出力する際に、画像処理装置の利用者に特徴量の変化が生じたことを認識させることができる画像を選択、抽出するものであればよい。
(5)画像加工部33
画像加工部33は、表示画像選択部32により、選択、抽出されたフレームデータに含まれる画像を所定の表現形式に加工するものである。
所定の表現形式への加工とは、表示出力する画像サイズの大型化や、表示位置や表示画質、画調の変更、画像枠の変形(等倍変形、非等倍変形等)等であって、当該画像に相前後して、あるいは、同時に表示される他の画像に比較して、強調表示される形式への変更を意味する。
(6)MPU30、ハードディスク40
ハードディスク40は、MPU30が実行するプログラムや動作上必要なデータを記憶する。したがって、MPU30は、ハードディスク40に記憶されたアプリケーションプログラムを実行することにより、上述した特徴量検出部31、表示画像選択部32、及び、画像加工部33の各機能をソフトウェア的に実現して、後述する一連の画像処理やメモリ管理、モニタ50やプリンタ60への出力制御を行う。
(7)モニタ50、プリンタ60
表示画像選択部32により選択された画像、又は、画像加工部33により加工処理された画像を表示、あるいは、印刷出力するものであって、テレビやパソコンのモニタ、プリンタ等の出力装置である。ここで、図1においては、モニタ50やプリンタ60を、バス80に直接接続された構成として示したが、本発明はこれに限定されるものではなく、バス80に接続された通信インターフェース等を介して通信回線により接続されるファクシミリ装置や携帯情報端末(PDA)、パソコン等であってもよい。なお、本発明の説明においては、モニタ50への表示出力及びプリンタ60への印刷出力のほか、画像を出力する動作全般を、便宜的に「表示出力」と記載する。
(8)入力部70
入力部70は、画像処理装置に設けられた各種キースイッチ類であって、MPU30によるアプリケーションプログラムの実行や画像処理、モニタ50やプリンタ60への表示出力等の制御信号を生成する。また、後述する実施形態における特徴量や画像加工方法の選択手段としての機能も有する。画像処理装置に設けられた専用のキースイッチ類はもとより、パソコン等により本発明を実施する場合にはキーボードやマウス、ペンタブレット等の各種入力装置も含まれる。
なお、本実施形態においては、動画データとして、画像情報に音声情報が予め付随、合成されたものを取り込む場合の構成について説明したが、本発明はこの実施形態に限定されるものではなく、ビデオカメラや電子スチルカメラ等により撮影、収録された直後の画像情報及び音声情報のように、各々の情報を別個の信号として取り込み、処理するものであってもよい。この場合、取り込まれた情報がアナログ信号の場合には、画像A/D13a及び音声A/D13bを介して、また、デジタル信号の場合には、直接、画像信号用圧縮部14a及び音声信号用圧縮部14bに入力する構成を適用することができる。
次に、上述した構成を有する画像処理装置における処理動作について、図面を参照して説明する。
図4は、本実施形態に係る画像処理装置の処理動作を示すフローチャートである。まず、処理動作の概略について上述した構成を参照しつつ説明した後、各ステップについて個別に説明する。
図4に示すように、ステップS101、S102において、動画データ取込部10により、入力された動画データから所定の時間間隔で一連のフレーム画像及びそれに付随する音声情報を選択、抽出し、各々JPEG、MPEG等の規格に準拠するように圧縮符号化処理を施してフレームメモリ20の所定の格納領域に格納する。この際、圧縮符号化された画像信号及び音声信号を対応付けて、一つのフレームデータに合成処理し、所定のヘッダー情報を関係付けて格納される。
次いで、ステップS103、S104において、特徴量検出部31により、フレームメモリに格納された一連のフレームデータに含まれる特徴量を検出して、画像及び音声の変化特性を把握する。
次いで、ステップS105において、表示画像選択部32により、上述した画像及び音声の変化特性に基づいて、撮影状況の切り替わりや被写体の急激な動作等を判別して、例えば、変化直後の画像を含むフレームデータを選択する。次いで、ステップS106において、画像加工部33により、表示出力する画像サイズの大型化や、表示位置や表示画質、画調の変更、画像枠の変形等の加工処理を施して、他の画像に比較して強調された表示画像を作成し、ステップS107において、画像加工部33により作成された表示画像をモニタ50やプリンタ60等に表示出力する。
このように、本実施形態における画像処理装置の処理動作は、大別して、動画データ取込ステップ、特徴量検出ステップ、表示画像選択ステップ、及び、画像加工ステップから構成されている。
以下、各ステップについて、図面を参照して説明する。
(1)動画データ取込ステップ
図5は、動画データ取込ステップを示す概念図である。以下、被写体として走行する車両X、停止している車両Yの動きを例にして説明する。
ビデオカメラや電子スチルカメラにより撮影された動画データや、テレビジョン放送の映像情報等の動画データは、時系列的に配列された一連のフレーム画像の集合と、それらに付随する音声情報の合成データであるため、本ステップにおいては、図5に示すように、一連のフレーム画像から所定の時間間隔毎に、例えば動画データVDの時系列上の位置に相当する時刻T0、T2、T4、T6、T8、T10、…のフレーム画像F0、F2、F4、F6、F8、F10、…が、付随する音声データA0、A2、A4、A6、A8、A10、…とともに動画データ取込部10により選択、抽出されるものとする。なお、選択、抽出されるフレーム画像は、動画データVDを構成する一連のフレーム画像の全てであってもよく、すなわち、抽出されたフレーム画像や音声によって撮影状況の変化や被写体の動きを把握できるものであれば上述した時間間隔に限定されない。
抽出されたフレーム画像F0、F2、F4、F6、F8、F10、…及び付随する音声データA0、A2、A4、A6、A8、A10、…は、後述する信号処理を簡易に実行するためにデジタル画像信号及びデジタル音声信号に変換され、さらに、フレームメモリ20の記憶容量を有効に利用するためにJPEG、MPEG等の所定の圧縮符号化処理が施され、フレームデータとしてまとめられてヘッダー情報に関係付けられて、所定のデータ領域に順次格納される。
(2)特徴量検出ステップ
本ステップにおいては、特徴量検出部31により、フレームメモリ20に格納された複数のフレームデータから画像又は音声の急激な変化や持続状態を検出し、動画データに含まれる画像や音声の変化特性を把握する。
以下、特徴量の検出方法について説明する。
(a)第1の特徴量検出方法
特徴量検出方法の第1の例として、画像に含まれる被写体の動きを検出する手法を適用することができる。この方法は、異なる時刻におけるフレームデータの画像をそれぞれブロック領域に分割し、同一ブロック領域毎に参照画像上でのブロックマッチング処理を行い、誤差が最小となる座標位置から被写体のフレーム間での動きを検出するブロックマッチング法を適用するものである。なお、ブロックマッチング法は、ISO/IECJTC1/SC29/WG11で国際標準化が行われたIS11172−2規格などに広く利用されている。
ここで、ブロックマッチング法について説明する。
図6は、特徴量検出ステップに適用されるブロックマッチング法を示す概念図である。
例えば、『テレビジョン学会編、「画像情報圧縮」、オーム社、p.92、1991年』には、連続する複数のフレーム画像により構成される動画データに含まれる被写体の動きを検出するブロックマッチング法について記載されている。上記文献によれば、図6に示すように、注目する画像(以下、便宜的に現画像という。)Fnと、一つ前の時刻における画像(以下、便宜的に前画像という。)Fmの特定位置のブロック(領域)Rn、Rmについて、パターンマッチングを行う。パターンマッチングの方法は、例えば、ブロックRn中の画素Xnと、これをi画素分ずらしたブロックRm中の画素Xn-iとの差分の絶対値和Sを次式{1}に従って求め、この絶対値和S、すなわち評価量を最小にするずれ位置iを探索して動き量を検出するものである。
S=Σ|Xn−Xn-i| …{1}
ここで、{1}式における総和計算Σは、ブロックRnに属する全ての画素Xnについて実行される。
このように、ブロックマッチング法においては、現画像をブロックに分割し、ブロック単位で前画像との類似位置をパターンマッチングにより探索して、一連の画像に含まれる被写体の動きを検出することができる。
(b)第2の特徴量検出方法
特徴量検出方法の第2の例として、画像中に含まれる特定領域の画素特性の変化を算出する手法を適用することができる。この手法は、まず、画像に含まれる輝度成分に対してラプラシアン処理を行い、処理画像の零交点を領域境界線として検出し、連続した境界線により閉じられた部分(被写体領域)を特定領域として抽出する。あるいは、画像に含まれる色成分を解析し、色相変化の少ない連続した部分を代表色に置き換えて特定領域として抽出する。そして、抽出された特定領域について各画像間で変化量を算出することにより、領域全体としての移動量を求めることができる。また、上記特定領域を画像全域について設定し、変化量を算出することにより、撮影状況(シーン)の切り替わり等の変化を検出することができる。
(c)第3の特徴量検出方法
特徴量検出方法の第3の例として、画像に付随する音声のレベルや周波数帯等の音声特性の変化を算出する手法を適用することができる。
図7は、音声特性の変化を示す模式図である。ここで、図7(a)は、各画像に付随する音声のレベルの変化を示す模式図であり、図7(b)は、音声の周波数帯の変化を示す模式図である。
図7(a)に示すように、特徴量として画像F0〜F10に付随する音声のレベルを検出する場合においては、車両X走行時のエンジン音のレベルL2、車両X停止時のブレーキ音のレベルL4、クラクション発鳴時のレベルL6、車両Y発車時のエンジン音のレベルL8、車両X発車時のエンジン音のレベルL10の音声特性の変化が、音声データA0、A2、A4、A6、A8、A10に基づいて検出される。
一方、図7(b)に示すように、特徴量として画像F0〜F10に付随する音声データA0〜A10の周波数帯を検出する場合においては、車両X走行時のエンジン音の周波数B2、車両X停止時のブレーキ音の周波数B4、クラクション発鳴時の周波数B6、車両Y発車時のエンジン音の周波数B8、車両X発車時のエンジン音の周波数B10の音声特性の変化が、音声データA0、A2、A4、A6、A8、A10に基づいて検出される。
したがって、連続する画像相互における音声レベルの高低や無音状態への変化、周波数帯の推移等を監視することにより、車両相互の動き等を検出することができる。
なお、上述した特徴量検出方法は、本発明に適用される一例を示したものであって、本発明の実施の形態を何ら限定するものではない。また、これらの特徴検出方法は、単独で用いるものであってもよいし、適宜組み合わせて用いるものであってもよい。
(3)表示画像選択ステップ
本ステップにおいては、表示画像選択部32により、検出された特徴量と予め設定されたしきい値又は許容範囲とを比較し、しきい値又は許容範囲を超過する特徴量が出現した場合に、その特徴量を有するフレームデータの画像を表示画像として、あるいは、後述する画像加工ステップにおける加工対象画像として選択する。
図8は、画像の変化特性に基づいてフレームデータを選択する表示画像選択ステップの一例を示す概念図である。
図8に示すように、フレームメモリ20に格納された一連のフレーム画像F0〜F10から、上述した特徴量検出ステップにより判明した車両X、Yの移動量や、被写体としての車両X、Yの有無等に対して、予め設定されたしきい値との比較を行い、撮影状況の変化や被写体の動きの激しいフレーム画像を選択、抽出する。例えば、車両Xについて、フレーム画像F2では定速の走行状態が検出され、フレーム画像F4で急ブレーキによる走行速度の急激な変化が検出された場合、その変化量が予め設定されたしきい値や、他のフレーム画像相互の変化量よりも大きい場合には、フレーム画像F4を動画データ中でのトピック性が高い画像であると判断して選択する。
また、車両Xの被写体としての存在に着目し、フレーム内に車両Xが存在しないフレーム画像F0と、車両Xが常に存在するフレーム画像F2〜F10がある場合には、車両Xが出現する前後のフレーム画像F0及びF2を、動画データ中でのトピック性が高い画像であると判断して選択する。
なお、画像の変化特性に基づくフレームデータの選択方法としては、上述した手法に限定されるものではなく、被写体の輝度や彩度の急激な変化等を用いるものであってもよい。要するに、撮影状況の変化や被写体の動きを把握することができる特徴量を監視するものであればよい。
次に、音声の変化特性に基づいてフレームデータを選択する表示画像選択ステップの一例について、上述した図7を参照して説明する。
図7に示したように、動画データ中の車両X、Yの動作や撮影状況の変化は、音声としても記録されるため、上述した特徴量検出ステップにより判明した車両X、Y等が発するエンジン音やクラクション等の音声レベルや周波数帯等に対して、予め設定されたしきい値との比較を行い、撮影状況の変化やトピック性の高いフレーム画像を選択、抽出する。例えば、車両X、Yから発する音声レベルは、図7(a)のように示されるが、音声データA6におけるクラクション発鳴時の音声レベルL6が、音声データA2における車両Xの走行音のレベルL2や予め設定されたしきい値(許容範囲)に比較して極めて大きい場合には、音声データA6に対応するフレーム画像F6を動画データ中でのトピック性が高い画像であると判断して選択する。
また、車両X、Yから発する周波数帯に着目した場合、図7(b)に示したように、音声データA4における車両Xの急停止に伴うブレーキ音の周波数B4が、音声データA2における車両Xの走行音の周波数B2や予め設定されたしきい値(許容範囲)に比較して極めて高い場合には、音声データA4に対応するフレーム画像F4を動画データ中でのトピック性が高い画像であると判断して選択する。
なお、音声の変化特性に基づくフレームデータの選択方法としては、上述した手法に限定されるものではなく、音声レベルや周波数の急激な変化や、同一の音声状態(例えば、無音状態)の継続時間等を用いるものであってもよい。
(4)画像加工ステップ
本ステップは、画像加工部33により、選択されたフレーム画像を、撮影状況の変化や被写体の動きを強調する所定の表現形式に加工処理し、モニタ50やプリンタ60を介して表示出力する。ここで、モニタ50やプリンタ60等に表示出力される画像は、上記画像加工部33により強調処理された画像を特徴量の変化の度合いに応じて強調処理に変化を付けるものであってもよい。また、モニタ50やプリンタ60等への表示方法としては、強調処理された画像を他の画像とともに一括表示する方法のほかに、他の画像に優先して表示出力するものであってもよい。さらに、スクロール表示における画像の表示出力に際しては、フラッシングや文字表示、アラーム等により撮影状況の切り替わりや被写体の急激な動作を報知、認識させるものであってもよい。
以下、画像加工ステップに適用される強調処理について説明する。
(a)第1の強調処理
図9は、画像加工ステップにおける第1の強調処理の例を示す概念図である。
第1の強調処理は、表示画像選択部32により選択されたフレーム画像について、モニタ50やプリンタ60等への表示出力の際の表示枠(コマ)の形状を通常とは異なる特異な形状に変化させるものである。
図9に示すように、例えば、表示画像選択部32により、車両Xの動きの中で急ブレーキ、クラクション発鳴、急発進というトピックス性の高いフレーム画像F4、F6、F10を選択した場合、これらのフレーム画像の表示枠の形状を通常の正方形や矩形に変えて、台形や平行四辺形、あるいは予め用意された台紙枠等を適用することにより、車両Xの動きの変化毎に強調表現された静止画像を表示出力することができる。
(b)第2の強調処理
図10は、画像加工ステップにおける第2の強調処理の例を示す概念図である。
第2の強調処理は、表示画像選択部32により選択されたフレーム画像について、表示出力の際の表示サイズを通常とは異なるサイズに変化させるものである。
図10に示すように、例えば、表示画像選択部32により、車両Xの動きの中でクラクション発鳴というトピックス性の高いフレーム画像F6を選択した場合、他のフレーム画像よりも大きく表示されるように表示サイズを変更することにより、車両Xの動きの変化を強調表現した静止画像を表示出力することができる。
(c)第3の強調処理
図11は、画像加工ステップにおける第3の強調処理の例を示す概念図である。
第3の強調処理は、表示画像選択部32により選択されたフレーム画像について、特徴量の変化の度合いに応じて、表示サイズや表示枠の変形の割合を変化させるものである。
図11に示すように、例えば、特徴量検出部31により検出された車両Xの発する音声レベルの強弱に対応させて、表示サイズを段階的にあるいは傾斜的に変更する。一例として、図7に示された音声レベルを基準レベルに対する倍率として算出し、その倍率(例えば、1.2倍)をそのまま基準表示サイズに適用する。これにより、車両Xが発する急ブレーキ音やクラクション発鳴音のような音声レベルの高い音声データA4、A6については、その音声レベルに応じた表示サイズに加工されることになり、音声の変化特性を静止画像により表示出力することができる。ここで、強調処理の度合いを決定する特徴量として被写体の音声レベルを適用した例を示したが、これは一例にすぎず本発明の実施の形態を何ら限定するものではない。したがって、被写体の移動量等の大小に応じて強調処理の度合いを変化させるようなものであってもよい。
なお、画像加工の手法は、上述した各強調処理に限定されるものではなく、選択されたフレーム画像の画質や表示階調を通常表示よりも強調するものや、表示位置を変更するものであってもよい。
以上の一連のステップを有する本実施形態によれば、動画データ中の撮影状況の切り替わりや被写体の動きを画像又は音声に含まれる特徴量の変化として検出し、この特徴量に基づいて動画データ中の代表画像を選択して強調表示することができるため、簡易に動画データから静止画像を抽出し、撮影内容を直感的に認識させることができる画像表現で表示出力することができる。なお、本実施形態では、特徴量検出ステップにおいて検出された特徴量が所定の変化を示した場合に、表示画像選択ステップにおいてその特徴量を有するフレーム画像を表示画像として選択し、(画像加工を施して)表示出力する例について示したが、本発明はこれに限定されるものではなく、特徴量検出ステップにおいて所定の特徴量の変化を示したフレーム画像のみに加工処理を施して、他の加工処理を施していないフレーム画像とともに、順次あるいは一括して表示出力するものであってもよい。
<第2の実施形態>
次に、本発明に係る画像処理装置の第2の実施形態について、図面を参照して説明する。
本実施形態は、上述した第1の実施形態において、画像処理装置の利用者が特徴量及び画像加工方法を任意に選択設定するようにしたものである。
すなわち、図1に示した画像処理装置において、画像処理装置の利用者が、入力部70を操作して、あるいは、図示を省略した通信回線等を介して、特徴量選択命令及び加工方法選択命令を指示入力することにより、画像信号の特徴量変化、又は、音声信号の特徴量変化、あるいは、画像信号及び音声信号の特徴量変化のいずれかを手がかりにして所望の条件を満たすフレーム画像を選択し、さらに、フレーム画像の加工処理方法を選択して、モニタ50やプリンタ60等への表現形式を任意に設定する。
以下、本実施形態の処理動作について、図12のフローチャートを参照して説明する。上述した第1の実施形態と同等のステップについては、その説明を簡略化する。
図12に示すように、ステップS201、S202において、動画データから所定の時間間隔で一連のフレーム画像及びそれに付随する音声情報を選択、抽出し、圧縮符号化処理を施してフレームメモリ20の所定の格納領域に格納する。次いで、ステップS203、S204、S205において、フレームメモリ20に格納された一連のフレーム画像及び音声について、入力部70等を介して利用者により選択、指示された特徴量の変化を検出し、画像又は音声の変化特性を把握する。すなわち、撮影、収録された動画データについて、利用者が指示する特徴量の変化、つまり、画像や音声の変化特性に基づいて、後述するステップにおいて、所望の撮影内容を有するフレーム画像が選択、表示出力される。
次いで、ステップS206において、表示画像選択部32により、上述した画像又は音声の変化特性に基づいて、撮影状況の切り替わりや被写体の急激な動作等を含むフレーム画像を選択し、ステップS207、S208において、選択されたフレーム画像について、入力部70等を介して利用者により選択、指示された画像加工処理を施す。ここでは、上述した強調処理を含む複数の画像加工処理の中から任意の加工処理方法が選択され、例えば撮影状況の切り替わりや被写体の変化を示すフレーム画像を、通常のフレーム画像よりも表示サイズを大型化したり、表示枠を変形させたり、表示位置をモニタ画面の中央に移動する等の表示枠の制御や、表示画面の輝度や彩度を強調したり、フラッシング等の表示画質の制御を行う。
そして、ステップS209において、画像加工部33により加工処理されたフレーム画像をモニタ50やプリンタ60、あるいは、通信回線等を介して接続されたファクシミリ装置やPDA、パソコン等に表示出力する。以上の一連のステップを有する本実施形態によれば、利用者が任意の特徴量及び画像加工処理を選択することができるため、所望の撮影内容(特徴量の変化)を有するフレーム画像を、視認性のよい表現形式で表示出力することができる。なお、本実施形態においては、利用者が特徴量及び画像加工方法の双方を任意に選択設定する場合について説明したが、選択設定する対象を特徴量又は画像加工方法のいずれかとしてもよい。
ところで、各実施形態に示した画像処理装置及び画像処理方法は、上述したビデオカメラや電子スチルカメラ、パソコンのほか、ビデオプレーヤーやファクシミリ装置、プリンタ等の画像処理機器に組み込んで、あるいは、アプリケーションソフトとして提供することにより良好に実現することができるものであることはいうまでもない。
本発明に係る画像処理装置の第1の実施形態を示すブロック図である。 動画データ取込部の概略構成を示すブロック図である。 フレームメモリの内部領域を示す概念図である。 第1の実施形態における処理動作を示すフローチャートである。 動画データ取込ステップを示す概念図である。 特徴量検出ステップに適用されるブロックマッチング法を示す概念図である。 音声特性の変化を示す模式図である。 画像の変化特性に基づいてフレームデータを選択する表示画像選択ステップの一例を示す概念図である。 画像加工ステップにおける第1の強調処理の例を示す概念図である。 画像加工ステップにおける第2の強調処理の例を示す概念図である。 画像加工ステップにおける第3の強調処理の例を示す概念図である。 第2の実施形態における処理動作を示すフローチャートである。 動画情報を構成する複数のフレーム画像から任意のフレーム画像を選択し、表示する手法の概念図である。
符号の説明
10 動画データ取込部
20 フレームメモリ
30 MPU
31 特徴量検出部(特徴量検出手段)
32 表示画像選択部(フレーム画像選択手段)
33 画像加工部(フレーム画像加工手段)
40 ハードディスク
50 モニタ(画像出力手段)
60 プリンタ(画像出力手段)
70 入力部(特徴量選択手段、加工方法選択手段)
80 バス

Claims (8)

  1. 動画情報を構成する複数のフレーム画像に含まれる特徴量の変化を検出する特徴量検出手段と、
    前記特徴量検出手段により検出された前記特徴量の変化に基づいて、前記複数のフレーム画像から特定のフレーム画像を選択するフレーム画像選択手段と、
    前記フレーム画像選択手段により選択された前記特定のフレーム画像を静止画像として表示出力する画像出力手段と、
    を備えたことを特徴とする画像処理装置。
  2. 前記フレーム画像選択手段により選択された前記特定のフレーム画像に所定の画像加工処理を施すフレーム画像加工手段を有し、
    前記加工処理された前記フレーム画像を、前記画像出力手段を介して表示出力することを特徴とする請求項1記載の画像処理装置。
  3. 動画情報を構成する複数のフレーム画像に含まれる特徴量の変化を検出する特徴量検出手段と、
    前記特徴量検出手段により検出された前記特徴量の変化に基づいて、前記フレーム画像に所定の画像加工処理を施すフレーム画像加工手段と、
    前記フレーム画像加工手段により加工されたフレーム画像を含む前記複数のフレーム画像を静止画像として表示出力する画像出力手段と、
    を備えたことを特徴とする画像処理装置。
  4. 前記特徴量は、前記動画情報を構成する複数のフレーム画像に含まれる被写体の動きであることを特徴とする請求項1乃至3のいずれかに記載の画像処理装置。
  5. 前記特徴量は、前記動画情報を構成する複数のフレーム画像の各々に付随する音声情報であることを特徴とする請求項1乃至3のいずれかに記載の画像処理装置。
  6. 前記特徴量検出手段は、前記動画情報を構成する複数のフレーム画像に含まれる、異なる種類の複数の特徴量を検出し、さらに、
    前記複数の特徴量から任意の1又は複数の特徴量を選択する特徴量選択手段を有することを特徴とする請求項1乃至3のいずれかに記載の画像処理装置。
  7. 前記フレーム画像加工手段は、複数の異なる画像加工方法を備え、さらに、
    前記複数の画像加工方法から任意の加工方法を選択する加工方法選択手段を有することを特徴とする請求項1乃至3又は6のいずれかに記載の画像処理装置。
  8. 動画情報を構成する複数のフレーム画像に含まれる特徴量の変化を検出するステップと、
    前記検出された前記特徴量の変化に基づいて、前記複数のフレーム画像から特定のフレーム画像を選択するステップと、
    前記選択された特定のフレーム画像を静止画像として表示出力するステップと、
    を含むことを特徴とする画像処理方法。
JP2004089806A 2004-03-25 2004-03-25 画像処理装置及び画像処理方法 Expired - Fee Related JP3882824B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004089806A JP3882824B2 (ja) 2004-03-25 2004-03-25 画像処理装置及び画像処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004089806A JP3882824B2 (ja) 2004-03-25 2004-03-25 画像処理装置及び画像処理方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP36597298A Division JP3569800B2 (ja) 1998-12-24 1998-12-24 画像処理装置及び画像処理方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2006260179A Division JP4240098B2 (ja) 2006-09-26 2006-09-26 画像処理装置及び画像処理方法

Publications (2)

Publication Number Publication Date
JP2004248312A true JP2004248312A (ja) 2004-09-02
JP3882824B2 JP3882824B2 (ja) 2007-02-21

Family

ID=33028529

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004089806A Expired - Fee Related JP3882824B2 (ja) 2004-03-25 2004-03-25 画像処理装置及び画像処理方法

Country Status (1)

Country Link
JP (1) JP3882824B2 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006330797A (ja) * 2005-05-23 2006-12-07 Nippon Telegr & Teleph Corp <Ntt> 非定常画像検出方法、非定常画像検出装置、及び非定常画像検出プログラム
JP2006350577A (ja) * 2005-06-14 2006-12-28 Fuji Xerox Co Ltd 動作分析装置
JP2008085548A (ja) * 2006-09-27 2008-04-10 Sony Corp 撮像装置、撮像方法
JP2009135602A (ja) * 2007-11-28 2009-06-18 Canon Inc 画像処理方法および装置、プログラム、記憶媒体
JP2009135601A (ja) * 2007-11-28 2009-06-18 Canon Inc 画像処理装置および画像処理方法
JPWO2008087721A1 (ja) * 2007-01-18 2010-05-06 富士通株式会社 画像合成装置、画像合成方法、プログラム
US8817190B2 (en) 2007-11-28 2014-08-26 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and computer program
JP2016140029A (ja) * 2015-01-29 2016-08-04 京セラドキュメントソリューションズ株式会社 画像処理装置

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4641450B2 (ja) * 2005-05-23 2011-03-02 日本電信電話株式会社 非定常画像検出方法、非定常画像検出装置、及び非定常画像検出プログラム
JP2006330797A (ja) * 2005-05-23 2006-12-07 Nippon Telegr & Teleph Corp <Ntt> 非定常画像検出方法、非定常画像検出装置、及び非定常画像検出プログラム
US8385598B2 (en) 2005-06-14 2013-02-26 Fuji Xerox Co., Ltd. Action analysis apparatus
US8116517B2 (en) 2005-06-14 2012-02-14 Fuji Xerox Co., Ltd. Action analysis apparatus
JP2006350577A (ja) * 2005-06-14 2006-12-28 Fuji Xerox Co Ltd 動作分析装置
JP2008085548A (ja) * 2006-09-27 2008-04-10 Sony Corp 撮像装置、撮像方法
US8294776B2 (en) 2006-09-27 2012-10-23 Sony Corporation Imaging apparatus and imaging method
US9179057B2 (en) 2006-09-27 2015-11-03 Sony Corporation Imaging apparatus and imaging method that acquire environment information and information of a scene being recorded
JPWO2008087721A1 (ja) * 2007-01-18 2010-05-06 富士通株式会社 画像合成装置、画像合成方法、プログラム
JP2009135602A (ja) * 2007-11-28 2009-06-18 Canon Inc 画像処理方法および装置、プログラム、記憶媒体
JP2009135601A (ja) * 2007-11-28 2009-06-18 Canon Inc 画像処理装置および画像処理方法
US8817190B2 (en) 2007-11-28 2014-08-26 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and computer program
JP2016140029A (ja) * 2015-01-29 2016-08-04 京セラドキュメントソリューションズ株式会社 画像処理装置
CN105847622A (zh) * 2015-01-29 2016-08-10 京瓷办公信息系统株式会社 图像处理装置
US9774758B2 (en) 2015-01-29 2017-09-26 Kyocera Document Solutions Inc. Image processing apparatus that extracts image showing distinctive content of moving image

Also Published As

Publication number Publication date
JP3882824B2 (ja) 2007-02-21

Similar Documents

Publication Publication Date Title
JP3569800B2 (ja) 画像処理装置及び画像処理方法
CN102906818B (zh) 存储视频摘要的方法和显示相应于视频摘要的视频帧的系统
US8416332B2 (en) Information processing apparatus, information processing method, and program
JP5768126B2 (ja) 選択基準を使用した主要ビデオスニペットの決定
US8184947B2 (en) Electronic apparatus, content categorizing method, and program therefor
JP5525201B2 (ja) 画像合成装置、画像符号化装置、コンピュータプログラム、記録媒体
US20090089837A1 (en) Electronic Apparatus and Display Method
WO2007126097A1 (ja) 画像処理装置及び画像処理方法
US8218025B2 (en) Image capturing apparatus, image capturing method, and computer program product
WO2007126096A1 (ja) 画像処理装置及び画像処理方法
JP4240098B2 (ja) 画像処理装置及び画像処理方法
JP3603629B2 (ja) 画像処理装置及び画像処理方法
JP3882824B2 (ja) 画像処理装置及び画像処理方法
JP4667356B2 (ja) 映像表示装置及びその制御方法、プログラム、記録媒体
US7076151B2 (en) Image recording apparatus and method, image playback apparatus and method, and recording medium
JP2007149095A (ja) 動画像の変化点検出方法及び装置
JP5868145B2 (ja) 画像処理装置及びその制御方法
JP5942422B2 (ja) 情報処理装置、その制御方法及びプログラム
JP4796767B2 (ja) 携帯端末および動画再生方法
JP4517685B2 (ja) 動画像符号化装置、動画像復号装置及び動画像強調変換システム
JP2007097101A (ja) 動画生成装置、動画生成方法、及びプログラム
KR100487374B1 (ko) 디지털 비디오의 썸네일 영상 생성 장치
JP4881045B2 (ja) 動画生成装置、動画生成方法、及びプログラム
JP5886075B2 (ja) 画像処理装置及びプログラム
JP2006277232A (ja) 動画像データの分類装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060808

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060926

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20061024

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20061106

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101124

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101124

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111124

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111124

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121124

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131124

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees