JP2004248312A - 画像処理装置及び画像処理方法 - Google Patents
画像処理装置及び画像処理方法 Download PDFInfo
- Publication number
- JP2004248312A JP2004248312A JP2004089806A JP2004089806A JP2004248312A JP 2004248312 A JP2004248312 A JP 2004248312A JP 2004089806 A JP2004089806 A JP 2004089806A JP 2004089806 A JP2004089806 A JP 2004089806A JP 2004248312 A JP2004248312 A JP 2004248312A
- Authority
- JP
- Japan
- Prior art keywords
- image
- frame
- image processing
- feature amount
- change
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Image Analysis (AREA)
Abstract
【解決手段】動画データから複数のフレーム画像を音声情報とともに抽出してフレームメモリに記憶する動画データ取込部と、動画データを構成する複数のフレーム画像に含まれる特徴量の変化を検出する特徴量検出部と、特徴量検出部により検出された画像又は音声の変化特性に基づいて、複数のフレーム画像から特定のフレーム画像を選択する表示画像選択部と、表示画像選択部により、選択されたフレーム画像を所定の表現形式に加工する画像加工部と、表示画像選択部により選択された特定のフレーム画像を静止画像として表示出力するモニタ、プリンタ等を備える。
【要約図】 図1
Description
図13は、動画情報を構成する複数のフレーム画像から任意のフレーム画像を選択し、表示する手法の概念図である。図13において、動画データVDには、車両Xが図面左方向から右方向へ走行する画像が含まれているものとする。ここで、動画データVDは、時系列的に配列された複数のフレーム画像(静止画)により構成されていると考えることができる。したがって、画像処理装置の利用者は、動画データVDを一旦再生、閲覧し、被写体(車両)の動きや撮影状況の変化等を把握した上で、一連のフレーム画像の中から任意のフレーム画像を選択指示することにより、動画データ中に含まれる任意のシーンの画像を静止画像として表示出力することができる。例えば、図13に示すように、動画データを構成する一連のフレーム画像の中から所望のフレーム画像(ここでは、特定時刻T4におけるフレーム画像F4)を選択するように画像処理装置のスイッチ類を操作することにより、車両Xが走行する任意の1シーンを動画データの中から抽出することができ、モニタ等に表示出力することができる。なお、選択指示したフレーム画像が複数ある場合には、例えば、スクロール表示モードによりモニタ上に時系列的に、あるいは、マルチ画面モードにより一括して表示出力される。
請求項2記載の画像処理装置は、請求項1記載の画像処理装置において、前記フレーム画像選択手段により選択された前記特定のフレーム画像に所定の画像加工処理を施すフレーム画像加工手段を有し、前記加工処理された前記フレーム画像を、前記画像出力手段を介して表示出力することを特徴とする。
請求項4記載の画像処理装置は、請求項1乃至3のいずれかに記載の画像処理装置において、前記特徴量は、前記動画情報を構成する複数のフレーム画像に含まれる被写体の動きであることを特徴とする。
請求項5記載の画像処理装置は、請求項1乃至3のいずれかに記載の画像処理装置において、前記特徴量は、前記動画情報を構成する複数のフレーム画像の各々に付随する音声情報であることを特徴とする。
請求項7記載の画像処理装置は、請求項1乃至3又は6のいずれかに記載の画像処理装置において、前記フレーム画像加工手段は、複数の異なる画像加工方法を備え、さらに、前記複数の画像加工方法から任意の加工方法を選択する加工方法選択手段を有することを特徴とする。
請求項8記載の画像処理方法は、動画情報を構成する複数のフレーム画像に含まれる特徴量の変化を検出するステップと、前記検出された前記特徴量の変化に基づいて、前記複数のフレーム画像から特定のフレーム画像を選択するステップと、前記選択された特定のフレーム画像を静止画像として表示出力するステップと、を含むことを特徴とする。
また、請求項2又は3記載の発明によれば、特徴量の変化に基づいて選択されたフレーム画像を通常の画像表示とは異なる特殊な画像表現で表示出力することができるため、一連のフレーム画像を表示する場合においても撮影状況の変化等を示すフレーム画像を強調表示することができ、画像処理装置の利用者に対して適切に認識させることができる。
さらに、請求項6記載の発明によれば、特徴量として画像特性や音声特性等の種々の特性を、利用者が任意に組み合わせて選択、設定することができるため、所望の撮影内容を有するフレーム画像を、より多彩な手法により迅速に選択することができる。
そして、請求項7記載の発明によれば、所定の特徴量の変化を示すフレーム画像の加工方法を、利用者が任意に選択、設定することができるため、所望の撮影内容を有するフレーム画像を、より多彩な表現形式により表示出力することができ、利用者に撮影状況の変化を確実に認識させることができる。
<第1の実施形態>
図1は、本発明に係る画像処理装置の第1の実施形態を示すブロック図である。
図1において、10は動画データ取込部、20はフレームメモリ、30はMPU、40はハードディスク、50はLCD等のモニタ(画像出力手段)、60はプリンタ(画像出力手段)、70はキースイッチ等の入力部(特徴量選択手段、加工方法選択手段)、80はデータ/命令伝送用のバスである。ここで、MPU30は、特徴量検出部(特徴量検出手段)31と、表示画像選択部(フレーム画像選択手段)32と、画像加工部(フレーム画像加工手段)33の各機能を有して構成されている。
(1)動画データ取込部10
動画データ取込部10は、動画データから複数のフレーム画像を音声情報とともに抽出して後述するフレームメモリ20に記憶するものである。ここで、動画データは、ビデオデータや連続撮影された複数の静止画像により構成されるものであってもよく、また、音声情報を含まず、画像情報のみから構成されるものであってもよい。要するに、本発明において、動画データは少なくとも複数のフレーム画像の連続により構成されるものであればよく、また、取り込まれるフレーム画像はアナログ画像であっても、デジタル画像であっても構わない。
動画データ取込部10の概略構成について、図面を参照して説明する。ここでは、動画データとして、画像情報に音声情報が付随したデータ構成を有しているものとして説明する。したがって、画像情報からのみ構成される動画データを対象とする場合には、音声情報を信号処理する構成は含まれない。
フレーム画像選択部11は、後述するMPU30からの命令に従って、動画データから所定の時間間隔で音声情報とともにフレーム画像を選択、抽出する。なお、選択されるフレーム画像は、動画データを構成する全てのフレーム画像であってもよいし、特定の時間間隔、例えば1/5secや1/10sec毎のフレーム画像であってもよいが、動画データに含まれる特徴量の変化を検出することができる程度の時間間隔を有していることを必須とする。なお、特徴量の定義については後述する。また、フレーム画像の選択の際に用いる時間間隔は、MPU30により予め設定された基準値を用いる方法や、画像処理装置の使用者の意志により入力部70を介して指示された任意の値を用いる方法等、様々な手法を設定することができる。
画像A/D13aは、選択されたフレーム画像がアナログ信号の場合に、アナログの画像信号をデジタル画像信号に変換する。また、音声A/D13bは、選択されたフレーム画像に付随する音声情報がアナログ信号の場合に、アナログの音声信号をデジタル音声信号に変換する。
ミキサ15は、所定の規格により圧縮符号化された画像信号及び音声信号を対応付けて、一つのフレームデータに合成処理(パケット化)し、一方、バスインターフェース16は、合成処理されたフレームデータをバス80の伝送幅に変換してフレームメモリ20へ転送する。
フレームメモリ20は、DRAM(Dynamic Random Access Memory)等により構成され、動画データ取込部10により選択、圧縮符号化処理された画像信号及び音声信号(フレームデータ)にヘッダー情報を関係付けて、MPU30により指定された画像データ格納領域に格納するものである。
図3は、フレームメモリ20の内部領域を示す概念図である。
図3に示すように、フレームメモリ20の内部領域は、大別してフォーマットテーブル領域、情報テーブル領域、データ領域、オフセット領域から構成される。
フォーマットテーブル領域には、画像情報に関する総合的な情報であるフォーマット情報が格納される。また、情報テーブル領域には、画像情報を識別するための番号情報を含む画像情報識別情報、動画データの時系列上での位置(時刻)を示す時刻情報等の画像情報を識別するためのヘッダー情報が格納される。データ領域は、フレームデータ、すなわち、圧縮符号化された画像信号及びそれに付随する音声信号をひとまとめにして格納し、オフセット領域は、データ領域におけるフレームデータのデータ長を固定長とするためのオフセットデータ(ブランク)を格納する。
このように、各フレームデータは、情報テーブル領域に格納されたヘッダー情報に関係付けされてデータ領域に格納される。
特徴量検出部31は、フレームメモリ20に格納された複数のフレームデータから画像信号又は音声信号の特徴量の変化を検出するものである。ここで、画像信号の特徴量とは、フレームデータの画像、つまりフレーム画像に含まれる被写体(動体)や画面の輝度、彩度等であって、画像の変化を適切に抽出することができるものであることを必須とする。また、音声信号の特徴量とは、画像に付随する音声の音量(レベル)や音域(周波数帯)等であって、音声の変化を適切に抽出することができるものであることを必須とする。すなわち、このような特徴量の所定の変化、すなわち、予め設定されたしきい値を超過するような激しい変化や継続性(非変化状態)等について、連続するフレームデータ相互を監視し、一連のフレームデータ(動画データ)に含まれる画像や音声の変化特性を把握する。
なお、特徴量の検出方法については後述する。
表示画像選択部32は、特徴量検出部31により検出されたフレームデータに含まれる画像又は音声の変化特性に基づいて、フレームメモリ20に格納された複数のフレームデータの中から特定のフレームデータを選択、抽出し、後述する画像加工部33を介して、あるいは、直接モニタ50やプリンタ60に表示出力するものである。ここで、特定のフレームデータの選択、抽出は、上述した画像又は音声の変化特性により明らかとなった撮影状況の切り替わり直後や、被写体の急激な動作直後等の画像を含むフレームデータを選択するものであってもよいし、上記切り替わりや動作の直前直後のフレームデータを選択するものであってもよい。要するに、後述するモニタ50やプリンタ60を介して表示出力する際に、画像処理装置の利用者に特徴量の変化が生じたことを認識させることができる画像を選択、抽出するものであればよい。
画像加工部33は、表示画像選択部32により、選択、抽出されたフレームデータに含まれる画像を所定の表現形式に加工するものである。
所定の表現形式への加工とは、表示出力する画像サイズの大型化や、表示位置や表示画質、画調の変更、画像枠の変形(等倍変形、非等倍変形等)等であって、当該画像に相前後して、あるいは、同時に表示される他の画像に比較して、強調表示される形式への変更を意味する。
ハードディスク40は、MPU30が実行するプログラムや動作上必要なデータを記憶する。したがって、MPU30は、ハードディスク40に記憶されたアプリケーションプログラムを実行することにより、上述した特徴量検出部31、表示画像選択部32、及び、画像加工部33の各機能をソフトウェア的に実現して、後述する一連の画像処理やメモリ管理、モニタ50やプリンタ60への出力制御を行う。
(7)モニタ50、プリンタ60
表示画像選択部32により選択された画像、又は、画像加工部33により加工処理された画像を表示、あるいは、印刷出力するものであって、テレビやパソコンのモニタ、プリンタ等の出力装置である。ここで、図1においては、モニタ50やプリンタ60を、バス80に直接接続された構成として示したが、本発明はこれに限定されるものではなく、バス80に接続された通信インターフェース等を介して通信回線により接続されるファクシミリ装置や携帯情報端末(PDA)、パソコン等であってもよい。なお、本発明の説明においては、モニタ50への表示出力及びプリンタ60への印刷出力のほか、画像を出力する動作全般を、便宜的に「表示出力」と記載する。
入力部70は、画像処理装置に設けられた各種キースイッチ類であって、MPU30によるアプリケーションプログラムの実行や画像処理、モニタ50やプリンタ60への表示出力等の制御信号を生成する。また、後述する実施形態における特徴量や画像加工方法の選択手段としての機能も有する。画像処理装置に設けられた専用のキースイッチ類はもとより、パソコン等により本発明を実施する場合にはキーボードやマウス、ペンタブレット等の各種入力装置も含まれる。
なお、本実施形態においては、動画データとして、画像情報に音声情報が予め付随、合成されたものを取り込む場合の構成について説明したが、本発明はこの実施形態に限定されるものではなく、ビデオカメラや電子スチルカメラ等により撮影、収録された直後の画像情報及び音声情報のように、各々の情報を別個の信号として取り込み、処理するものであってもよい。この場合、取り込まれた情報がアナログ信号の場合には、画像A/D13a及び音声A/D13bを介して、また、デジタル信号の場合には、直接、画像信号用圧縮部14a及び音声信号用圧縮部14bに入力する構成を適用することができる。
図4は、本実施形態に係る画像処理装置の処理動作を示すフローチャートである。まず、処理動作の概略について上述した構成を参照しつつ説明した後、各ステップについて個別に説明する。
図4に示すように、ステップS101、S102において、動画データ取込部10により、入力された動画データから所定の時間間隔で一連のフレーム画像及びそれに付随する音声情報を選択、抽出し、各々JPEG、MPEG等の規格に準拠するように圧縮符号化処理を施してフレームメモリ20の所定の格納領域に格納する。この際、圧縮符号化された画像信号及び音声信号を対応付けて、一つのフレームデータに合成処理し、所定のヘッダー情報を関係付けて格納される。
次いで、ステップS103、S104において、特徴量検出部31により、フレームメモリに格納された一連のフレームデータに含まれる特徴量を検出して、画像及び音声の変化特性を把握する。
このように、本実施形態における画像処理装置の処理動作は、大別して、動画データ取込ステップ、特徴量検出ステップ、表示画像選択ステップ、及び、画像加工ステップから構成されている。
(1)動画データ取込ステップ
図5は、動画データ取込ステップを示す概念図である。以下、被写体として走行する車両X、停止している車両Yの動きを例にして説明する。
ビデオカメラや電子スチルカメラにより撮影された動画データや、テレビジョン放送の映像情報等の動画データは、時系列的に配列された一連のフレーム画像の集合と、それらに付随する音声情報の合成データであるため、本ステップにおいては、図5に示すように、一連のフレーム画像から所定の時間間隔毎に、例えば動画データVDの時系列上の位置に相当する時刻T0、T2、T4、T6、T8、T10、…のフレーム画像F0、F2、F4、F6、F8、F10、…が、付随する音声データA0、A2、A4、A6、A8、A10、…とともに動画データ取込部10により選択、抽出されるものとする。なお、選択、抽出されるフレーム画像は、動画データVDを構成する一連のフレーム画像の全てであってもよく、すなわち、抽出されたフレーム画像や音声によって撮影状況の変化や被写体の動きを把握できるものであれば上述した時間間隔に限定されない。
抽出されたフレーム画像F0、F2、F4、F6、F8、F10、…及び付随する音声データA0、A2、A4、A6、A8、A10、…は、後述する信号処理を簡易に実行するためにデジタル画像信号及びデジタル音声信号に変換され、さらに、フレームメモリ20の記憶容量を有効に利用するためにJPEG、MPEG等の所定の圧縮符号化処理が施され、フレームデータとしてまとめられてヘッダー情報に関係付けられて、所定のデータ領域に順次格納される。
本ステップにおいては、特徴量検出部31により、フレームメモリ20に格納された複数のフレームデータから画像又は音声の急激な変化や持続状態を検出し、動画データに含まれる画像や音声の変化特性を把握する。
以下、特徴量の検出方法について説明する。
(a)第1の特徴量検出方法
特徴量検出方法の第1の例として、画像に含まれる被写体の動きを検出する手法を適用することができる。この方法は、異なる時刻におけるフレームデータの画像をそれぞれブロック領域に分割し、同一ブロック領域毎に参照画像上でのブロックマッチング処理を行い、誤差が最小となる座標位置から被写体のフレーム間での動きを検出するブロックマッチング法を適用するものである。なお、ブロックマッチング法は、ISO/IECJTC1/SC29/WG11で国際標準化が行われたIS11172−2規格などに広く利用されている。
図6は、特徴量検出ステップに適用されるブロックマッチング法を示す概念図である。
例えば、『テレビジョン学会編、「画像情報圧縮」、オーム社、p.92、1991年』には、連続する複数のフレーム画像により構成される動画データに含まれる被写体の動きを検出するブロックマッチング法について記載されている。上記文献によれば、図6に示すように、注目する画像(以下、便宜的に現画像という。)Fnと、一つ前の時刻における画像(以下、便宜的に前画像という。)Fmの特定位置のブロック(領域)Rn、Rmについて、パターンマッチングを行う。パターンマッチングの方法は、例えば、ブロックRn中の画素Xnと、これをi画素分ずらしたブロックRm中の画素Xn-iとの差分の絶対値和Sを次式{1}に従って求め、この絶対値和S、すなわち評価量を最小にするずれ位置iを探索して動き量を検出するものである。
S=Σ|Xn−Xn-i| …{1}
ここで、{1}式における総和計算Σは、ブロックRnに属する全ての画素Xnについて実行される。
このように、ブロックマッチング法においては、現画像をブロックに分割し、ブロック単位で前画像との類似位置をパターンマッチングにより探索して、一連の画像に含まれる被写体の動きを検出することができる。
特徴量検出方法の第2の例として、画像中に含まれる特定領域の画素特性の変化を算出する手法を適用することができる。この手法は、まず、画像に含まれる輝度成分に対してラプラシアン処理を行い、処理画像の零交点を領域境界線として検出し、連続した境界線により閉じられた部分(被写体領域)を特定領域として抽出する。あるいは、画像に含まれる色成分を解析し、色相変化の少ない連続した部分を代表色に置き換えて特定領域として抽出する。そして、抽出された特定領域について各画像間で変化量を算出することにより、領域全体としての移動量を求めることができる。また、上記特定領域を画像全域について設定し、変化量を算出することにより、撮影状況(シーン)の切り替わり等の変化を検出することができる。
特徴量検出方法の第3の例として、画像に付随する音声のレベルや周波数帯等の音声特性の変化を算出する手法を適用することができる。
図7は、音声特性の変化を示す模式図である。ここで、図7(a)は、各画像に付随する音声のレベルの変化を示す模式図であり、図7(b)は、音声の周波数帯の変化を示す模式図である。
図7(a)に示すように、特徴量として画像F0〜F10に付随する音声のレベルを検出する場合においては、車両X走行時のエンジン音のレベルL2、車両X停止時のブレーキ音のレベルL4、クラクション発鳴時のレベルL6、車両Y発車時のエンジン音のレベルL8、車両X発車時のエンジン音のレベルL10の音声特性の変化が、音声データA0、A2、A4、A6、A8、A10に基づいて検出される。
したがって、連続する画像相互における音声レベルの高低や無音状態への変化、周波数帯の推移等を監視することにより、車両相互の動き等を検出することができる。
なお、上述した特徴量検出方法は、本発明に適用される一例を示したものであって、本発明の実施の形態を何ら限定するものではない。また、これらの特徴検出方法は、単独で用いるものであってもよいし、適宜組み合わせて用いるものであってもよい。
本ステップにおいては、表示画像選択部32により、検出された特徴量と予め設定されたしきい値又は許容範囲とを比較し、しきい値又は許容範囲を超過する特徴量が出現した場合に、その特徴量を有するフレームデータの画像を表示画像として、あるいは、後述する画像加工ステップにおける加工対象画像として選択する。
図8は、画像の変化特性に基づいてフレームデータを選択する表示画像選択ステップの一例を示す概念図である。
図8に示すように、フレームメモリ20に格納された一連のフレーム画像F0〜F10から、上述した特徴量検出ステップにより判明した車両X、Yの移動量や、被写体としての車両X、Yの有無等に対して、予め設定されたしきい値との比較を行い、撮影状況の変化や被写体の動きの激しいフレーム画像を選択、抽出する。例えば、車両Xについて、フレーム画像F2では定速の走行状態が検出され、フレーム画像F4で急ブレーキによる走行速度の急激な変化が検出された場合、その変化量が予め設定されたしきい値や、他のフレーム画像相互の変化量よりも大きい場合には、フレーム画像F4を動画データ中でのトピック性が高い画像であると判断して選択する。
なお、画像の変化特性に基づくフレームデータの選択方法としては、上述した手法に限定されるものではなく、被写体の輝度や彩度の急激な変化等を用いるものであってもよい。要するに、撮影状況の変化や被写体の動きを把握することができる特徴量を監視するものであればよい。
図7に示したように、動画データ中の車両X、Yの動作や撮影状況の変化は、音声としても記録されるため、上述した特徴量検出ステップにより判明した車両X、Y等が発するエンジン音やクラクション等の音声レベルや周波数帯等に対して、予め設定されたしきい値との比較を行い、撮影状況の変化やトピック性の高いフレーム画像を選択、抽出する。例えば、車両X、Yから発する音声レベルは、図7(a)のように示されるが、音声データA6におけるクラクション発鳴時の音声レベルL6が、音声データA2における車両Xの走行音のレベルL2や予め設定されたしきい値(許容範囲)に比較して極めて大きい場合には、音声データA6に対応するフレーム画像F6を動画データ中でのトピック性が高い画像であると判断して選択する。
なお、音声の変化特性に基づくフレームデータの選択方法としては、上述した手法に限定されるものではなく、音声レベルや周波数の急激な変化や、同一の音声状態(例えば、無音状態)の継続時間等を用いるものであってもよい。
本ステップは、画像加工部33により、選択されたフレーム画像を、撮影状況の変化や被写体の動きを強調する所定の表現形式に加工処理し、モニタ50やプリンタ60を介して表示出力する。ここで、モニタ50やプリンタ60等に表示出力される画像は、上記画像加工部33により強調処理された画像を特徴量の変化の度合いに応じて強調処理に変化を付けるものであってもよい。また、モニタ50やプリンタ60等への表示方法としては、強調処理された画像を他の画像とともに一括表示する方法のほかに、他の画像に優先して表示出力するものであってもよい。さらに、スクロール表示における画像の表示出力に際しては、フラッシングや文字表示、アラーム等により撮影状況の切り替わりや被写体の急激な動作を報知、認識させるものであってもよい。
以下、画像加工ステップに適用される強調処理について説明する。
図9は、画像加工ステップにおける第1の強調処理の例を示す概念図である。
第1の強調処理は、表示画像選択部32により選択されたフレーム画像について、モニタ50やプリンタ60等への表示出力の際の表示枠(コマ)の形状を通常とは異なる特異な形状に変化させるものである。
図9に示すように、例えば、表示画像選択部32により、車両Xの動きの中で急ブレーキ、クラクション発鳴、急発進というトピックス性の高いフレーム画像F4、F6、F10を選択した場合、これらのフレーム画像の表示枠の形状を通常の正方形や矩形に変えて、台形や平行四辺形、あるいは予め用意された台紙枠等を適用することにより、車両Xの動きの変化毎に強調表現された静止画像を表示出力することができる。
図10は、画像加工ステップにおける第2の強調処理の例を示す概念図である。
第2の強調処理は、表示画像選択部32により選択されたフレーム画像について、表示出力の際の表示サイズを通常とは異なるサイズに変化させるものである。
図10に示すように、例えば、表示画像選択部32により、車両Xの動きの中でクラクション発鳴というトピックス性の高いフレーム画像F6を選択した場合、他のフレーム画像よりも大きく表示されるように表示サイズを変更することにより、車両Xの動きの変化を強調表現した静止画像を表示出力することができる。
図11は、画像加工ステップにおける第3の強調処理の例を示す概念図である。
第3の強調処理は、表示画像選択部32により選択されたフレーム画像について、特徴量の変化の度合いに応じて、表示サイズや表示枠の変形の割合を変化させるものである。
図11に示すように、例えば、特徴量検出部31により検出された車両Xの発する音声レベルの強弱に対応させて、表示サイズを段階的にあるいは傾斜的に変更する。一例として、図7に示された音声レベルを基準レベルに対する倍率として算出し、その倍率(例えば、1.2倍)をそのまま基準表示サイズに適用する。これにより、車両Xが発する急ブレーキ音やクラクション発鳴音のような音声レベルの高い音声データA4、A6については、その音声レベルに応じた表示サイズに加工されることになり、音声の変化特性を静止画像により表示出力することができる。ここで、強調処理の度合いを決定する特徴量として被写体の音声レベルを適用した例を示したが、これは一例にすぎず本発明の実施の形態を何ら限定するものではない。したがって、被写体の移動量等の大小に応じて強調処理の度合いを変化させるようなものであってもよい。
以上の一連のステップを有する本実施形態によれば、動画データ中の撮影状況の切り替わりや被写体の動きを画像又は音声に含まれる特徴量の変化として検出し、この特徴量に基づいて動画データ中の代表画像を選択して強調表示することができるため、簡易に動画データから静止画像を抽出し、撮影内容を直感的に認識させることができる画像表現で表示出力することができる。なお、本実施形態では、特徴量検出ステップにおいて検出された特徴量が所定の変化を示した場合に、表示画像選択ステップにおいてその特徴量を有するフレーム画像を表示画像として選択し、(画像加工を施して)表示出力する例について示したが、本発明はこれに限定されるものではなく、特徴量検出ステップにおいて所定の特徴量の変化を示したフレーム画像のみに加工処理を施して、他の加工処理を施していないフレーム画像とともに、順次あるいは一括して表示出力するものであってもよい。
次に、本発明に係る画像処理装置の第2の実施形態について、図面を参照して説明する。
本実施形態は、上述した第1の実施形態において、画像処理装置の利用者が特徴量及び画像加工方法を任意に選択設定するようにしたものである。
すなわち、図1に示した画像処理装置において、画像処理装置の利用者が、入力部70を操作して、あるいは、図示を省略した通信回線等を介して、特徴量選択命令及び加工方法選択命令を指示入力することにより、画像信号の特徴量変化、又は、音声信号の特徴量変化、あるいは、画像信号及び音声信号の特徴量変化のいずれかを手がかりにして所望の条件を満たすフレーム画像を選択し、さらに、フレーム画像の加工処理方法を選択して、モニタ50やプリンタ60等への表現形式を任意に設定する。
図12に示すように、ステップS201、S202において、動画データから所定の時間間隔で一連のフレーム画像及びそれに付随する音声情報を選択、抽出し、圧縮符号化処理を施してフレームメモリ20の所定の格納領域に格納する。次いで、ステップS203、S204、S205において、フレームメモリ20に格納された一連のフレーム画像及び音声について、入力部70等を介して利用者により選択、指示された特徴量の変化を検出し、画像又は音声の変化特性を把握する。すなわち、撮影、収録された動画データについて、利用者が指示する特徴量の変化、つまり、画像や音声の変化特性に基づいて、後述するステップにおいて、所望の撮影内容を有するフレーム画像が選択、表示出力される。
ところで、各実施形態に示した画像処理装置及び画像処理方法は、上述したビデオカメラや電子スチルカメラ、パソコンのほか、ビデオプレーヤーやファクシミリ装置、プリンタ等の画像処理機器に組み込んで、あるいは、アプリケーションソフトとして提供することにより良好に実現することができるものであることはいうまでもない。
20 フレームメモリ
30 MPU
31 特徴量検出部(特徴量検出手段)
32 表示画像選択部(フレーム画像選択手段)
33 画像加工部(フレーム画像加工手段)
40 ハードディスク
50 モニタ(画像出力手段)
60 プリンタ(画像出力手段)
70 入力部(特徴量選択手段、加工方法選択手段)
80 バス
Claims (8)
- 動画情報を構成する複数のフレーム画像に含まれる特徴量の変化を検出する特徴量検出手段と、
前記特徴量検出手段により検出された前記特徴量の変化に基づいて、前記複数のフレーム画像から特定のフレーム画像を選択するフレーム画像選択手段と、
前記フレーム画像選択手段により選択された前記特定のフレーム画像を静止画像として表示出力する画像出力手段と、
を備えたことを特徴とする画像処理装置。 - 前記フレーム画像選択手段により選択された前記特定のフレーム画像に所定の画像加工処理を施すフレーム画像加工手段を有し、
前記加工処理された前記フレーム画像を、前記画像出力手段を介して表示出力することを特徴とする請求項1記載の画像処理装置。 - 動画情報を構成する複数のフレーム画像に含まれる特徴量の変化を検出する特徴量検出手段と、
前記特徴量検出手段により検出された前記特徴量の変化に基づいて、前記フレーム画像に所定の画像加工処理を施すフレーム画像加工手段と、
前記フレーム画像加工手段により加工されたフレーム画像を含む前記複数のフレーム画像を静止画像として表示出力する画像出力手段と、
を備えたことを特徴とする画像処理装置。 - 前記特徴量は、前記動画情報を構成する複数のフレーム画像に含まれる被写体の動きであることを特徴とする請求項1乃至3のいずれかに記載の画像処理装置。
- 前記特徴量は、前記動画情報を構成する複数のフレーム画像の各々に付随する音声情報であることを特徴とする請求項1乃至3のいずれかに記載の画像処理装置。
- 前記特徴量検出手段は、前記動画情報を構成する複数のフレーム画像に含まれる、異なる種類の複数の特徴量を検出し、さらに、
前記複数の特徴量から任意の1又は複数の特徴量を選択する特徴量選択手段を有することを特徴とする請求項1乃至3のいずれかに記載の画像処理装置。 - 前記フレーム画像加工手段は、複数の異なる画像加工方法を備え、さらに、
前記複数の画像加工方法から任意の加工方法を選択する加工方法選択手段を有することを特徴とする請求項1乃至3又は6のいずれかに記載の画像処理装置。 - 動画情報を構成する複数のフレーム画像に含まれる特徴量の変化を検出するステップと、
前記検出された前記特徴量の変化に基づいて、前記複数のフレーム画像から特定のフレーム画像を選択するステップと、
前記選択された特定のフレーム画像を静止画像として表示出力するステップと、
を含むことを特徴とする画像処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004089806A JP3882824B2 (ja) | 2004-03-25 | 2004-03-25 | 画像処理装置及び画像処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004089806A JP3882824B2 (ja) | 2004-03-25 | 2004-03-25 | 画像処理装置及び画像処理方法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP36597298A Division JP3569800B2 (ja) | 1998-12-24 | 1998-12-24 | 画像処理装置及び画像処理方法 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006260179A Division JP4240098B2 (ja) | 2006-09-26 | 2006-09-26 | 画像処理装置及び画像処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004248312A true JP2004248312A (ja) | 2004-09-02 |
JP3882824B2 JP3882824B2 (ja) | 2007-02-21 |
Family
ID=33028529
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004089806A Expired - Fee Related JP3882824B2 (ja) | 2004-03-25 | 2004-03-25 | 画像処理装置及び画像処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3882824B2 (ja) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006330797A (ja) * | 2005-05-23 | 2006-12-07 | Nippon Telegr & Teleph Corp <Ntt> | 非定常画像検出方法、非定常画像検出装置、及び非定常画像検出プログラム |
JP2006350577A (ja) * | 2005-06-14 | 2006-12-28 | Fuji Xerox Co Ltd | 動作分析装置 |
JP2008085548A (ja) * | 2006-09-27 | 2008-04-10 | Sony Corp | 撮像装置、撮像方法 |
JP2009135602A (ja) * | 2007-11-28 | 2009-06-18 | Canon Inc | 画像処理方法および装置、プログラム、記憶媒体 |
JP2009135601A (ja) * | 2007-11-28 | 2009-06-18 | Canon Inc | 画像処理装置および画像処理方法 |
JPWO2008087721A1 (ja) * | 2007-01-18 | 2010-05-06 | 富士通株式会社 | 画像合成装置、画像合成方法、プログラム |
US8817190B2 (en) | 2007-11-28 | 2014-08-26 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and computer program |
JP2016140029A (ja) * | 2015-01-29 | 2016-08-04 | 京セラドキュメントソリューションズ株式会社 | 画像処理装置 |
-
2004
- 2004-03-25 JP JP2004089806A patent/JP3882824B2/ja not_active Expired - Fee Related
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4641450B2 (ja) * | 2005-05-23 | 2011-03-02 | 日本電信電話株式会社 | 非定常画像検出方法、非定常画像検出装置、及び非定常画像検出プログラム |
JP2006330797A (ja) * | 2005-05-23 | 2006-12-07 | Nippon Telegr & Teleph Corp <Ntt> | 非定常画像検出方法、非定常画像検出装置、及び非定常画像検出プログラム |
US8385598B2 (en) | 2005-06-14 | 2013-02-26 | Fuji Xerox Co., Ltd. | Action analysis apparatus |
US8116517B2 (en) | 2005-06-14 | 2012-02-14 | Fuji Xerox Co., Ltd. | Action analysis apparatus |
JP2006350577A (ja) * | 2005-06-14 | 2006-12-28 | Fuji Xerox Co Ltd | 動作分析装置 |
JP2008085548A (ja) * | 2006-09-27 | 2008-04-10 | Sony Corp | 撮像装置、撮像方法 |
US8294776B2 (en) | 2006-09-27 | 2012-10-23 | Sony Corporation | Imaging apparatus and imaging method |
US9179057B2 (en) | 2006-09-27 | 2015-11-03 | Sony Corporation | Imaging apparatus and imaging method that acquire environment information and information of a scene being recorded |
JPWO2008087721A1 (ja) * | 2007-01-18 | 2010-05-06 | 富士通株式会社 | 画像合成装置、画像合成方法、プログラム |
JP2009135602A (ja) * | 2007-11-28 | 2009-06-18 | Canon Inc | 画像処理方法および装置、プログラム、記憶媒体 |
JP2009135601A (ja) * | 2007-11-28 | 2009-06-18 | Canon Inc | 画像処理装置および画像処理方法 |
US8817190B2 (en) | 2007-11-28 | 2014-08-26 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and computer program |
JP2016140029A (ja) * | 2015-01-29 | 2016-08-04 | 京セラドキュメントソリューションズ株式会社 | 画像処理装置 |
CN105847622A (zh) * | 2015-01-29 | 2016-08-10 | 京瓷办公信息系统株式会社 | 图像处理装置 |
US9774758B2 (en) | 2015-01-29 | 2017-09-26 | Kyocera Document Solutions Inc. | Image processing apparatus that extracts image showing distinctive content of moving image |
Also Published As
Publication number | Publication date |
---|---|
JP3882824B2 (ja) | 2007-02-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3569800B2 (ja) | 画像処理装置及び画像処理方法 | |
CN102906818B (zh) | 存储视频摘要的方法和显示相应于视频摘要的视频帧的系统 | |
US8416332B2 (en) | Information processing apparatus, information processing method, and program | |
JP5768126B2 (ja) | 選択基準を使用した主要ビデオスニペットの決定 | |
US8184947B2 (en) | Electronic apparatus, content categorizing method, and program therefor | |
JP5525201B2 (ja) | 画像合成装置、画像符号化装置、コンピュータプログラム、記録媒体 | |
US20090089837A1 (en) | Electronic Apparatus and Display Method | |
WO2007126097A1 (ja) | 画像処理装置及び画像処理方法 | |
US8218025B2 (en) | Image capturing apparatus, image capturing method, and computer program product | |
WO2007126096A1 (ja) | 画像処理装置及び画像処理方法 | |
JP4240098B2 (ja) | 画像処理装置及び画像処理方法 | |
JP3603629B2 (ja) | 画像処理装置及び画像処理方法 | |
JP3882824B2 (ja) | 画像処理装置及び画像処理方法 | |
JP4667356B2 (ja) | 映像表示装置及びその制御方法、プログラム、記録媒体 | |
US7076151B2 (en) | Image recording apparatus and method, image playback apparatus and method, and recording medium | |
JP2007149095A (ja) | 動画像の変化点検出方法及び装置 | |
JP5868145B2 (ja) | 画像処理装置及びその制御方法 | |
JP5942422B2 (ja) | 情報処理装置、その制御方法及びプログラム | |
JP4796767B2 (ja) | 携帯端末および動画再生方法 | |
JP4517685B2 (ja) | 動画像符号化装置、動画像復号装置及び動画像強調変換システム | |
JP2007097101A (ja) | 動画生成装置、動画生成方法、及びプログラム | |
KR100487374B1 (ko) | 디지털 비디오의 썸네일 영상 생성 장치 | |
JP4881045B2 (ja) | 動画生成装置、動画生成方法、及びプログラム | |
JP5886075B2 (ja) | 画像処理装置及びプログラム | |
JP2006277232A (ja) | 動画像データの分類装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060808 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060926 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20061024 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061106 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101124 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101124 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111124 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111124 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121124 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131124 Year of fee payment: 7 |
|
LAPS | Cancellation because of no payment of annual fees |