Nothing Special   »   [go: up one dir, main page]

JP2008017366A - 情報処理装置及び情報処理方法 - Google Patents

情報処理装置及び情報処理方法 Download PDF

Info

Publication number
JP2008017366A
JP2008017366A JP2006188693A JP2006188693A JP2008017366A JP 2008017366 A JP2008017366 A JP 2008017366A JP 2006188693 A JP2006188693 A JP 2006188693A JP 2006188693 A JP2006188693 A JP 2006188693A JP 2008017366 A JP2008017366 A JP 2008017366A
Authority
JP
Japan
Prior art keywords
moving image
date
image file
recording
recorded
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006188693A
Other languages
English (en)
Other versions
JP2008017366A5 (ja
JP4863462B2 (ja
Inventor
Tokuyo Murata
篤洋 村田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2006188693A priority Critical patent/JP4863462B2/ja
Priority to US12/297,887 priority patent/US8472782B2/en
Priority to PCT/JP2007/063195 priority patent/WO2008004507A1/en
Publication of JP2008017366A publication Critical patent/JP2008017366A/ja
Publication of JP2008017366A5 publication Critical patent/JP2008017366A5/ja
Application granted granted Critical
Publication of JP4863462B2 publication Critical patent/JP4863462B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/78Television signal recording using magnetic recording
    • H04N5/781Television signal recording using magnetic recording on disks or drums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H04N9/8047Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction using transform coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8227Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being at least another television signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Television Signal Processing For Recording (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

【課題】 特に日を跨いで記録された動画ファイルを適切に取り扱うことのできる情報処理装置を提供する。
【解決手段】 日を跨いで記録された動画ファイルは、その動画ファイルが記録開始された日とその翌日を記録日として有するものとして処理を行なう。例えば日付検索を行なう場合には、本来の記録日に加え、その翌日を指定した検索においても検索結果に含まれるので、ユーザは日を跨いで記録されたかを特段意識することなく検索すればよい。
【選択図】 図4

Description

本発明は、情報処理装置及び情報処理方法に関し、特には動画ファイルを取り扱う情報処理装置及び情報処理方法に関する。
近年、ハードディスクドライブ(HDD)を代表とする大容量記録媒体を利用した動画記録装置(例えば、HDDレコーダーやHDDビデオカメラなど)が普及している。記録媒体の大容量化に伴い、大量の動画ファイルを記録することが可能になってきている。
このような記録装置において、記録済みの大量の動画ファイルから、目的とする動画ファイルを容易かつ素速く検出するための機能を提供することは、ユーザの利便性を向上させる上で必須である。
例えば、動画ファイルの管理情報または動画ファイルのメタデータとして記録された作成日時情報を利用して、日付を検索条件として画像データを検出・分類する検索機能(日付検索機能)を提供することが考えられる。
しかしながら、動画記録中に日を跨いだ場合、ユーザの認識する記録日と、記録される作成日時情報の日付とが異なる場合が想定される。この場合、後日ユーザが日付検索を行なった場合、ユーザの意図する検索結果が得られない。意図した結果が得られないと、前後の日付を指定して再度検索を行なう必要があり、ユーザに使い勝手が悪いという印象を与えてしまう。
特許文献1は、デジタルカメラ等で撮影された画像を日付検索する際、指定された日付に加え、次の日の所定時刻までを前日の日付とみなして検索を行うことを開示する。特許文献1では、このような検索により、日を跨いだイベント等で撮影した一連の画像が検索結果として適切に得られるようになるとしている。
特開2006−053871号公報
しかしながら、特許文献1では、予め設定された所定時刻までを前日と見なすものであるため、その時刻を過ぎて撮影された画像は検索結果に含まれず、根本的な解決には至っていない。また、特許文献1は基本的に静止画の検索を対象としており、動画記録のように、1つの動画ファイルを記録中に日を跨ぐような画像の対処については何ら示唆されていない。
本発明は、このような従来技術の問題点に鑑みなされたものであり、特に日を跨いで記録された動画ファイルを適切に取り扱うことのできる情報処理装置及び情報処理方法を提供することを目的とする。
すなわち、上述の目的は、動画ファイルが保存される記憶手段と、動画ファイルに関連付けられた日時情報を用いて、動画ファイルが日を跨いで記録された動画ファイルか否かを判別する判別手段と、記憶手段に保存された動画ファイルを、その記録日に基づいて処理する処理手段であって、日を跨いで記録された動画ファイルについては、当動画ファイルの記録が開始された日とその翌日の両方を記録日として有するものとして処理を行なう処理手段とを有することを特徴とする情報処理装置によって達成される。
また、上述の目的は、動画像ファイルを記憶装置に記録する情報処理装置であって、記憶装置に記録する動画ファイルが、日を跨いで記録された動画ファイルか否かを判別する判別手段と、判別手段により、日を跨いで記録された動画ファイルであると判別された動画ファイルについては、日を跨いで記録されたことを表す情報を関連付けして記録する記録手段を有することを特徴とする情報処理装置によっても達成される。
また、上述の目的は、記憶手段に保存された動画ファイルについて、当動画ファイルに関連付けられた日時情報を用いて、動画ファイルが日を跨いで記録された動画ファイルか否かを判別する判別工程と、記憶手段に保存された動画ファイルを、その記録日に基づいて処理する処理工程であって、日を跨いで記録された動画ファイルについては、当動画ファイルの記録が開始された日とその翌日の両方を記録日として有するものとして処理を行なう処理工程とを有することを特徴とする情報処理方法によっても達成される。
このような構成により、本発明によれば、記録中に日付を跨いだ動画ファイルが存在する場合であっても、適切な処理を行なうことが可能になる。
以下、図面を参照して、本発明をその好適な実施形態に基づき詳細に説明する。ただし、以下の実施形態は例示であり、発明を限定するものではない。
<第1の実施形態>
図1は、本発明に係る情報処理装置の一実施形態としてのデジタルビデオカメラ100の構成例を示すブロック図である。
デジタルビデオカメラ100は、撮像部101、マイクロフォン102、操作部103、システム制御部104、記録再生部105、ハードディスクドライブ106、LCD107、記録処理ブロック110及び再生処理ブロック120を備える。
記録処理ブロック110は、画像信号処理部111、音声信号処理部112、画像データ符号化部113、音声データ符号化部114、メタデータ生成部115、データ符号化処理部116から構成される。
また、再生処理ブロック120は、画像出力部121、音声出力部122、画像データ復号化部123、音声データ復号化部124、データ復号化処理部125、再生解析部126から構成される。
操作部103は、ユーザがデジタルビデオカメラ100に各種設定や指示を行なうためのマンマシーンインタフェースである。本実施形態において、操作部103には、電源スイッチ、動作モード切り替えスイッチ、記録開始・一時停止ボタン、再生開始ボタン、早送りボタン、巻き戻しボタン、停止ボタンなどを備える。
(記録モード)
まず、記録モードにおける動作について説明する。
操作部103の動作モード切り替えスイッチにより記録モードがセットされた状態で、記録開始ボタンが押下されると、システム制御部104が検知し、記録処理ブロック110の各部を制御して記録を開始する。
記録処理ブロック110は、撮像部101より得られる画像データを符号化し、所定の形式で記録再生部105に出力する。記録再生部105は、記録処理ブロック110から出力されるデータ列に、ファイル形式毎に定められたヘッダなどの付加情報を付加して動画ファイルを生成し、ハードディスクドライブ(HDD)106に記録する。
記録処理ブロック110において、撮像部101から入力される画像データは、画像信号処理部111に供給される。画像信号処理部111は、撮像部101からの画像データに対し、予め定められた符号化形式での符号化に必要な処理、例えばサブサンプルなどの処理を施し、画像データ符号化処理部113に出力する。
画像データ符号化処理部113は画像信号処理部111からの画像データを、予め定められた符号化形式、例えばMPEG2形式やMotion JPEG形式等に従って符号化し、符号化データをデータ符号化処理部116に出力する。また、画像データ符号化部113は、一つの動画ファイルの代表画像としてのサムネイル画像を生成し、サムネイル画像のデータをデータ符号化処理部116に出力する。
また、マイクロフォン102からの音声データは音声信号処理部112に入力される。音声信号処理部112はマイクロフォン102からの音声信号をデジタルデータに変換する。音声信号処理部112は更に、音声データにノイズ抑圧や増幅等の処理を施し、音声データ符号化部114に出力する。音声データ符号化部114は、音声信号処理部112からの音声データを予め定められた符号化形式、例えばMPEG2形式に従って符号化し、データ符号化処理部116に出力する。
メタデータ生成部115は、撮影日時や絞り値(F値)などの撮影情報を示すメタデータを生成し、データ符号化処理部116に出力する。また、メタデータ生成部115は、後述する日付跨ぎフラグの設定も行なう。
図5は、メタデータ生成部115によるメタデータ生成処理を説明するフローチャートである。
記録開始前は、記録開始を待機する(S101)。記録が開始されると、メタデータ生成部115は、計時部130から現在日時を取得し、記録開始日時情報として図示しない内部メモリに記憶する(S103)。そして、メタデータ生成部115は、例えば撮像部101から、絞り値などの撮影情報を取得し、やはり内部メモリに記憶する。その後、メタデータ生成部115は記録終了まで待機する(S107)。この間、必要に応じて撮影情報を取得するようにしても良い。記録が終了すると、メタデータ生成部115は、計時部130から現在日時を取得し、記録終了日時情報として内部メモリに記憶する(S109)。
次に、メタデータ生成部115は、S103で取得した記録開始日時情報と、S109で取得した記録終了日時情報とから、記録中に日を跨いだか否か、すなわち日付が変わったかどうかを調べる(S111)。そして、メタデータ生成部115は、日付が変わっていた場合には、S115で日付跨ぎフラグを1に、日付が変わっていない場合にはS113で日付跨ぎフラグを0にそれぞれ設定する。最後に、メタデータ生成部115は、日付跨ぎフラグと、内部メモリに記憶した他の情報を、記録した動画のメタデータとしてデータ符号化処理部116へ出力し(S117)、メタデータ生成処理を終了する。この際、記録終了日時情報に代えて、あるいは加えて、記録時間をメタデータに保存することができる。
データ符号化処理部116は、画像データ符号化部113からの符号化画像データと、音声データ符号化部114からの符号化音声データとを、MPEG2形式又はJPEG形式のトランスポートストリーム(TS)形式に変換する。また、データ符号化処理部116は、メタデータ生成部115が出力するメタデータと、画像データ符号化部113からのサムネイル画像を、TS形式のデータファイルのヘッダあるいはフッタに、画像ファイルの付随情報として格納する。データ符号化部116は、TS形式に変換したファイルを、記録再生部105に出力する。
本実施形態のデジタルビデオカメラ100は、記録開始の指示が入力されてから記録停止の指示が入力されるまでの間に、撮像部101及びマイクロフォン102から入力された画像データ、音声信号をまとめて一つのファイルとして記録する。記録停止の指示は、例えば停止ボタンの押下により入力される。そして、データ符号化処理部116はメタデータ生成部115からのメタデータ及び、画像データ符号化部113からのサムネイル画像を各ファイルのヘッダあるいはフッタに格納する。ヘッダにはこの他、ファイル名なども記録される。
(再生モード)
次に、再生モードにおける動作について説明する。
操作部103の動作モード切り替えスイッチにより再生モードがセットされた状態で、再生開始ボタンが押下されると、システム制御部104が検知し、再生処理ブロック120を制御して、ハードディスクドライブ106に記録されている各動画ファイルのヘッダ又はフッタに格納されたサムネイル画像を読み出し、表示装置の一例である液晶ディスプレイ装置(LCD)107に一覧表示する。
ユーザはLCD107に表示されたサムネイル画像を確認し、例えば操作部103に含まれる上下左右キーを操作し、再生を希望するファイルのサムネイル画像を選択状態とし、決定ボタン等を押下して、再生すべき動画ファイルを指定する。システム制御部104は、再生すべき動画ファイルが指定されると、再生処理ブロック120の各部を制御して、指定された動画ファイルを復号化してLCD107に表示する。
再生処理ブロック120は指定された動画ファイルを記録再生部105を通じてハードディスクドライブ106から取得する。そして、その動画ファイル内の画像データ及び音声データを復号化し、それぞれ映像出力端子108、音声出力端子109より出力すると共に、再生された画像をLCD107に表示する。
より具体的には、システム制御部104は、再生すべき動画ファイルが指定されると、記録再生部105を制御し、指定された動画ファイルをハードディスクドライブ106読み出し、再生処理ブロック120へ供給する。
記録再生部105によりハードディスクドライブ106から読み出された動画ファイルは、データ復号化処理部125に出力される。データ復号化処理部125は供給された動画ファイルから画像データ、音声データを検出し、更に、動画ファイルのヘッダ又はフッタからメタデータを検出する。そして、画像データを画像データ復号化部123に、音声データを音声データ復号化部124にそれぞれ出力する。
画像データ復号化部123は、データ復号化処理部125から出力された画像データを復号化し、画像出力部121に出力する。画像出力部121は復号化された画像データを外部モニタやその他外部機器で処理するのに適した形式に変換し、映像出力端子108やLCD107の少なくとも一方に出力する。
音声データ復号化部124はデータ復号化処理部125から出力された音声データを復号化し、音声出力部122に出力する。音声出力部122は復号化された音声信号を外部機器で処理するのに適した形式に変換し、音声出力端子109に出力する。なお、図示しないスピーカにも音声信号を出力しても良い。
(日付検索処理)
次に、本実施形態のデジタルビデオカメラ100以下、本発明の日付検索について説明する。
図2は、本実施形態のデジタルビデオカメラ100によって記録された動画ファイルを時系列で模式的に示した図である。図2では、ハードディスクドライブ106に記録されている多数の動画ファイルのうち、2006年3月3日及び4日に撮影された6つの動画ファイルA〜動画ファイルFが示されている。図中、201から206は、各動画ファイルのヘッダ又はフッタに格納されたサムネイル画像を模式的に示している。動画ファイルDの撮影中に日付が変わっており、動画ファイルDは日を跨いで記録された動画ファイルである。
図3は、本実施形態のデジタルビデオカメラ100における日付検索動作を説明するフローチャートである。
ユーザが、例えば操作部103に含まれる方向キーや決定ボタンを用いて日付検索の項目を選択、決定する。これに応じ、システム制御部104は、ハードディスクドライブ106に記憶されている動画ファイルのヘッダ又はフッタに付随情報として記録されたメタデータを取得する(S401)。
次に、システム制御部104は、取得したメタデータに含まれる各動画ファイルの記録開始日時情報と、日付跨ぎフラグに基づいて、日付インデックス画面を表示するために必要となる日付リストを作成する処理を開始する。
まず、システム制御部104は、日付リストの作成が終了したか、すなわち、全ての動画ファイルをリストに反映したかを判定する(S402)。システム制御部104は、日付リストの作成が終了したと判定される場合、処理をS408へ移す。まだ日付リストの作成が終了していないと判定される場合には、処理をS403へ移す。
S403でシステム制御部104は、処理対象のメタデータが有する記録開始日時情報が、その時点で日付リストに含まれていない新規の日付かどうかを判別する。新規な日付であれば、システム制御部104は、その日付を日付リストに追加し、動画ファイルの登録処理を行なう(S404)。
動画ファイルの登録処理は、処理したメタデータを有する動画ファイルを特定可能な情報を、日付と対応づけて、例えばシステム制御部104の内部メモリに記憶する処理である。
さらに、新規日付を日付リストに登録した場合、システム制御部104は処理対象のメタデータに含まれる日付跨ぎフラグが設定されているか(値が1であるか)チェックする(S405)。日付跨ぎフラグが設定されている場合、システム制御部104は、その動画ファイルの記録開始日の翌日にも対応付けて登録する(S406)。この際、翌日も新規な日付であれば、日付リストに追加する。そして、システム制御部104は処理をS402へ戻し、未処理のメタデータがあれば順次処理を継続する。
一方、S403において、処理対象のメタデータが有する記録開始日時情報が、新規の日付でなかった場合、システム制御部104は、既に日付リストにある日付と対応付けて、メタデータに対応する動画ファイルを登録する(S407)。そして、システム制御部104は処理をS405へ進め、上述した日付跨ぎフラグのチェック処理を行なう。そして、日付跨ぎフラグ=1であれば、システム制御部104は、日付リストに動画ファイルの記録開始日の翌日が登録されていなければ、日付リストに追加し、動画ファイルを記録開始日の翌日にも対応付けて登録する(S406)。日付リストに記録開始日の翌日が登録されている場合、システム制御部104は、動画ファイルを記録開始日の翌日に対応付けて登録する処理のみを行ない、日付の追加は行なわない。
このように、本実施形態では、新規の日付でない動画ファイルについても日付跨ぎフラグのチェック処理を行なう。これにより、例えばメタデータの処理順序が記録日時順に行なわれない場合であっても、日を跨いで記録された動画を漏れなく記録開始日の翌日に関連付けて登録することができる。
ハードディスクドライブ106に記録された全ての動画ファイルのメタデータに対して処理を行ない、日付リストが完成すると、システム制御部104は日付インデックス画面を生成し、LCD107へ表示する(S408)。
図4は、本実施形態のデジタルビデオカメラ100において、LCD107に表示される日付インデックス画面の例を示す図である。
図4(a)に、日付インデックス画面301の例を示す。
ユーザは、日付インデックス画面301が表示されている際に操作部103の例えば上下方向キーを操作すると、カーソル310を上下移動させることができる。そして、指定したい日付をカーソル310で選択し、例えば実行ボタン又は決定ボタンを押下すると、その日付を指定することができる。
S409において、システム制御部104は、ユーザから日付指定がなされるのを待つ。日付指定がなされると、システム制御部104は、指定された日付を用いて日付リストを参照し、対応する動画ファイルのサムネイル画像を取得する(S410)。そして、システム制御部104は、取得したサムネイルの一覧表示画面(サムネイル画面)をLCD107へ表示させて処理を終了する(S411)。
図4(b)に、サムネイル画面の例を示す。図4(b)に示すサムネイル画面302は、図4(a)で指定された2006年3月3日を記録開始日時情報に含む動画ファイルのサムネイル画像を表示する。図2に示した例に基づいて、図4(a)では動画ファイルA〜動画ファイルDのサムネイル画像201〜204が表示されている。
サムネイル画面302には、サムネイル画像の他に、指定された日付や、ページ番号/総ページ数を含むタイトルが表示される。本実施形態のサムネイル画面302は、サムネイル画面をページ当たり6枚含む表示形式である。7つ以上のサムネイル画像を表示する必要のある場合、7番目以降のサムネイル画像は2ページ目以降に順次表示する。
ここで、記録中に日を跨がない動画ファイルA〜動画ファイルCのサムネイル画像201〜203と異なり、記録中に日を跨いでいる動画ファイルDのサムネイル画像204は、右隅に継続マーク306が付与されている。
すなわち、システム制御部104は、サムネイル画面を作成する際、サムネイル画像と共に取得した日付跨ぎフラグの値を参照し、日付跨ぎフラグ=1のサムネイル画像については、日付跨ぎフラグ=0のサムネイル画像と視覚的に異ならせる。
視覚的に異ならせる方法としては、日を跨いで記録された動画ファイルのサムネイル画像のみに付加的な表示を行なう方法がある。その一例として、ここでは、図4(b)に示すように、日付跨ぎフラグ=1のサムネイル画像204の一部を塗りつぶしてマーキングすることにより、日付跨ぎフラグ=0の他のサムネイル画像201〜203と視覚的に区別されるようにしている。図4(b)の例では、サムネイル画像の隅を3角形状に塗りつぶしているが、場所や塗りつぶしの形状はサムネイル画像の視認性を妨げない範囲で任意に設定できる。
また、サムネイル画像の表示は共通とし、日を跨いで記録された動画ファイルのサムネイル画像を囲む枠を表示したり、周囲に何らかのメッセージを表示する等しても良い。あるいは、付加的な表示を行なう以外に、色調を変えたり、点滅表示させるなどの方法を用いても良い。すなわち、日を跨いで記録された動画ファイルのサムネイル画像と、日を跨がずに記録された動画ファイルのサムネイル画像が視覚的に区別可能であればどのような表示方法を採用しても良い。
さらに、本実施形態では、日付跨ぎフラグ=1のサムネイル画像についても、指定された日付と動画ファイルの記録開始日との関係に応じ、表示を異ならせている。具体的には、次の日に継続する動画ファイルのサムネイル画像と、前の日から継続する動画ファイルのサムネイル画像とで、マーキングの位置を異ならせている。
すなわち、S406の処理において、日付跨ぎフラグが設定されている動画ファイルについては、記録開始日の翌日にも対応付けて登録を行なった。従って、日付跨ぎフラグが設定された動画ファイルは、記録開始日を指定した日付検索のみならず、記録開始日の翌日を指定した日付検索においても検出される。図2の例であれば、2006年3月3日に記録開始され、日を跨いで記録された動画ファイルDは、2006年3月3日と翌日の3月4日に対応付けて登録される。従って、動画ファイルDのサムネイル204は、2006年3月3日が指定された場合と、翌日の2006年3月4日が指定された場合の何れにも表示される。
図4(c)は、2006年3月4日が指定された場合に表示されるサムネイル画面の例を示す図である。サムネイル画面303には、動画ファイルD〜動画ファイルFのサムネイル画像204〜206が表示されている。
そして、前の日から引き続いている動画ファイルDのサムネイル画像204には、日を跨いだ動画ファイルであることを示すマーク307が付与されている。しかし、3月3日が指定された際に表示されるサムネイル204(図4(b))とマークの位置が異なっている。
本実施形態では、翌日へ継続する動画ファイルのサムネイル画像には、画像の右端部分に、前日から継続する動画ファイルのサムネイル画像には、画像の左端部分にマークを付与する。サムネイル画面においては、同じ行であれば新しい動画ファイルのサムネイル画像が右に表示されるようにしている。そのため、翌日へ継続する動画ファイルのサムネイル画像には右端部分にマークを付与することで、さらに続きがあることを直感的に把握しやすくしている。従って、同じ思想に基づいて、前日から継続する動画ファイルのサムネイル画像については、左端部分にマークを付与している。
ユーザは、操作部103を操作して、再生したい動画ファイルのサムネイル画像を選択、決定することで、再生指示を入力することができる。システム制御部104は、ユーザが指定したサムネイル画像に対応する動画ファイルを日付リストから特定し、上述した再生処理を実行する。
このように、本実施形態によれば、記録日に基づいて動画ファイルを処理する場合、日を跨いで記録された動画ファイルについては、動画ファイルの記録が開始された日とその翌日の両方を記録日として有するものとして取り扱う。また、このような取り扱いを行なうため、日を跨いで記録された動画ファイルが存在する場合、記録開始日及び翌日の両方に対応付ける。そのため、例えば検索処理を行なう場合、どちらの日付が指定されても検索される。しかも、記録が翌日の何時に終了しても、確実に検索される。
また、日を跨いで記録された動画ファイルが検索された場合、日を跨がずに記録された動画ファイルとは異なる方法で代表画像を表示することにより、ユーザは日を跨いで記録された動画ファイルを明確に認識することができる。
また、日付跨ぎフラグを用いずに、動画作成日時と記録時間から日付を跨いでいるか否かの判断を行うことも当然可能である。この場合、図5に示したメタデータの生成処理において、S111〜S115の処理は不要になる。また、図3のS405において、日付跨ぎフラグの値を調べる代りに、メタデータに含まれる記録開始日時及び記録終了日時とから日を跨いでいるかどうかを判断すればよい。
また、本発明を適用可能な情報処理装置の一例としてデジタルビデオカメラを示したが、撮像部を持たない単なる情報処理装置であっても本発明を適用可能である。
<第2の実施形態>
日付跨ぎフラグは日付検索だけでなく、別の用途に利用することも可能である。
例えば、第1の実施形態で説明したデジタルビデオカメラ100から他の装置(PCなど)に動画ファイルをコピーする場合に、日付跨ぎフラグを利用することができる。
動画ファイルを他の装置にコピーする際、日付毎のフォルダに分類しながら各動画ファイルをコピーすることが考えられる。この場合、日付跨ぎフラグを利用して生成した日付リストを利用し、各動画ファイルのコピー先フォルダを決定することにより、日を跨いで記録された動画ファイルを、記録開始日に対応するフォルダと翌日に対応するフォルダの両方にコピーすることができる。また、記録中に日を跨いでいない他の動画ファイルについても、適切なフォルダへ自動的に分類してコピーすることができる。
また、日付リストが生成されていなくても、コピーする動画ファイルの日付跨ぎフラグをチェックし、フラグが設定されていた場合は、日付を跨ぐ前後の日付に対応するフォルダに動画ファイルをそれぞれコピーする。
図7では、ビデオカメラ100から外部装置の一例としてのPC502へ、図2に示した動画ファイルA〜動画ファイルFをコピーする際に、日付跨ぎフラグを利用した例を示している。
このファイルコピー動作について、図6に示すフローチャートを用いて説明する。
システム制御部104は、例えばUSB I/Fを介してデジタルビデオカメラ502と接続されると、プロトコルに従って初期処理を行ない、通信を確立する(S201)。そして、例えば操作部103を通じてコピー指示が入力されると、システム制御部104は、ハードディスクドライブ106から、動画ファイルのメタデータを取得する(S203)。
そして、メタデータに含まれる記録開始日時情報から、記録開始日を特定し、そのメタデータに対応する動画ファイルを、PC502の記憶装置における、記録開始日に対応したフォルダへコピーする(S205)。この際、PC502に記録開始日に対応したフォルダが無ければ、フォルダを新たに生成するようにしてもよい。
次に、システム制御部104は、コピーした動画ファイルが日を跨いでいるかどうかを判別する。この判別は、日付跨ぎフラグを用いても良いし、記録開始日時情報と記録終了日時情報、もしくは記録開始日時情報と記録時間とから、日付を跨いでいるか否かの判断を行うことも当然可能である。
日を跨いだ動画ファイルであると判別された場合、システム制御部104は、その動画ファイルを、さらに記録開始日の翌日に対応したフォルダにもコピーする(S209)。S211で、システム制御部104は、ハードディスクドライブ106に記録された全ての動画ファイルについてコピーを終えたかどうか判別する。全ての動画ファイルについてコピーしたと判別される場合には処理を終了し、未処理の動画ファイルが残っていれば、S203へ戻って処理を繰り返す。
図7に示すように、PC502では、動画ファイルが記録開始日に対応するフォルダに自動分類されてコピーされる。さらに、日を跨いでいる動画ファイルDは、2006年3月3日のフォルダと、翌日の2006年3月4日のフォルダにコピーされている。
このように、本実施形態によれば、動画ファイルを外部装置にコピーする際にも、日を跨いだ動画ファイルについては記録開始日とその翌日の両方に関連付ける。これにより、外部装置で日付検索等を行なう場合に、ユーザが特に日を跨いだ動画ファイルかどうかを意識することなしに、適切な検索結果が得られる。
なお、S209におけるコピー処理では、動画ファイルの実体をコピーせずに、既にコピーした動画ファイルを参照する情報(ショートカット、エイリアス又はシンボリックリンク等)を登録するようにしても良い。これにより、外部装置の記憶装置の容量を大幅に節約することができる。
<他の実施形態>
上述の実施形態においては、記録開始日時情報、記録終了日時情報、記録時間、日付跨ぎフラグといった情報を画像ファイルのメタデータとのみハードディスクドライブ106に記録していた。しかし、動画ファイルの管理情報として、メタデータに含まれる情報の少なくとも一部を、画像ファイルを特定する情報と関連付けて別途記録するようにしても良い。この場合、メタデータを参照する上述の処理は、管理情報を参照して行なうことができる。
上述の実施形態は、システム或は装置のコンピュータ(或いはCPU、MPU等)によりソフトウェア的に実現することも可能である。
従って、上述の実施形態をコンピュータで実現するために、該コンピュータに供給されるコンピュータプログラム自体も本発明を実現するものである。つまり、上述の実施形態の機能を実現するためのコンピュータプログラム自体も本発明の一つである。
なお、上述の実施形態を実現するためのコンピュータプログラムは、コンピュータで読み取り可能であれば、どのような形態であってもよい。例えば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等で構成することができるが、これらに限るものではない。
上述の実施形態を実現するためのコンピュータプログラムは、記憶媒体又は有線/無線通信によりコンピュータに供給される。プログラムを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、磁気テープ等の磁気記憶媒体、MO、CD、DVD等の光/光磁気記憶媒体、不揮発性の半導体メモリなどがある。
有線/無線通信を用いたコンピュータプログラムの供給方法としては、コンピュータネットワーク上のサーバを利用する方法がある。この場合、本発明を形成するコンピュータプログラムとなりうるデータファイル(プログラムファイル)をサーバに記憶しておく。プログラムファイルとしては、実行形式のものであっても、ソースコードであっても良い。
そして、このサーバにアクセスしたクライアントコンピュータに、プログラムファイルをダウンロードすることによって供給する。この場合、プログラムファイルを複数のセグメントファイルに分割し、セグメントファイルを異なるサーバに分散して配置することも可能である。
つまり、上述の実施形態を実現するためのプログラムファイルをクライアントコンピュータに提供するサーバ装置も本発明の一つである。
上述の実施形態は、システム或は装置のコンピュータ(或いはCPU、MPU等)によりソフトウェア的に実現することも可能である。
従って、上述の実施形態をコンピュータで実現するために、該コンピュータに供給されるコンピュータプログラム自体も本発明を実現するものである。つまり、上述の実施形態の機能を実現するためのコンピュータプログラム自体も本発明の一つである。
なお、上述の実施形態を実現するためのコンピュータプログラムは、コンピュータで読み取り可能であれば、どのような形態であってもよい。例えば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等で構成することができるが、これらに限るものではない。
上述の実施形態を実現するためのコンピュータプログラムは、記憶媒体又は有線/無線通信によりコンピュータに供給される。プログラムを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、磁気テープ等の磁気記憶媒体、MO、CD、DVD等の光/光磁気記憶媒体、不揮発性の半導体メモリなどがある。
有線/無線通信を用いたコンピュータプログラムの供給方法としては、コンピュータネットワーク上のサーバを利用する方法がある。この場合、本発明を形成するコンピュータプログラムとなりうるデータファイル(プログラムファイル)をサーバに記憶しておく。プログラムファイルとしては、実行形式のものであっても、ソースコードであっても良い。
そして、このサーバにアクセスしたクライアントコンピュータに、プログラムファイルをダウンロードすることによって供給する。この場合、プログラムファイルを複数のセグメントファイルに分割し、セグメントファイルを異なるサーバに分散して配置することも可能である。
つまり、上述の実施形態を実現するためのプログラムファイルをクライアントコンピュータに提供するサーバ装置も本発明の一つである。
また、上述の実施形態を実現するためのコンピュータプログラムを暗号化して格納した記憶媒体を配布し、所定の条件を満たしたユーザに、暗号化を解く鍵情報を供給し、ユーザの有するコンピュータへのインストールを許可してもよい。鍵情報は、例えばインターネットを介してホームページからダウンロードさせることによって供給することができる。
また、上述の実施形態を実現するためのコンピュータプログラムは、すでにコンピュータ上で稼働するOSの機能を利用するものであってもよい。
さらに、上述の実施形態を実現するためのコンピュータプログラムは、その一部をコンピュータに装着される拡張ボード等のファームウェアで構成してもよいし、拡張ボード等が備えるCPUで実行するようにしてもよい。
本発明に係る情報処理装置の一実施形態としてのデジタルビデオカメラの構成例を示すブロック図である。 本発明の実施形態に係るデジタルビデオカメラによって記録された動画ファイルを時系列で模式的に示した図である。 本発明の実施形態に係るデジタルビデオカメラにおける日付検索動作を説明するフローチャートである。 本発明の実施形態に係るデジタルビデオカメラにおいて表示される日付インデックス画面の例を示す図である。 本発明の実施形態に係るデジタルビデオカメラのメタデータ生成部によるメタデータ生成処理を説明するフローチャートである。 本発明の第2の実施形態に係るデジタルビデオカメラによるコピー処理を説明するフローチャートである。 本発明の第2の実施形態に係るデジタルビデオカメラによるコピー処理を模式的に示す図である。

Claims (11)

  1. 動画ファイルが保存される記憶手段と、
    前記動画ファイルに関連付けられた日時情報を用いて、前記動画ファイルが日を跨いで記録された動画ファイルか否かを判別する判別手段と、
    前記記憶手段に保存された動画ファイルを、その記録日に基づいて処理する処理手段であって、前記日を跨いで記録された動画ファイルについては、当該動画ファイルの記録が開始された日とその翌日の両方を記録日として有するものとして前記処理を行なう処理手段とを有することを特徴とする情報処理装置。
  2. 前記処理手段が、前記記憶手段に保存された動画ファイルから、特定の記録日を有する動画ファイルを検索する処理を行なう場合、前記日を跨いで記録された動画ファイルについては、当該動画ファイルの記録が開始された日とその翌日の両方を記録日として有するものとして検索を行なうことを特徴とする請求項1記載の情報処理装置。
  3. 前記処理手段が、
    前記記憶手段に保存される個々の動画ファイルを、その記録日と対応付けたリストを生成するリスト生成手段を有し、
    当該リスト生成手段が、前記日を跨いで記録された動画ファイルについては、当該動画ファイルの記録が開始された日とその翌日の両方に対応付けて前記リストを生成し、
    前記処理手段が、前記リストを用いて前記検索を行なうことを特徴とする請求項2記載の情報処理装置。
  4. 前記処理手段が、前記記憶手段に保存された動画ファイルを、前記情報処理装置に接続された外部装置に、記録日に基づいて分類してコピーする処理を行なう場合、前記日を跨いで記録された動画ファイルについては、当該動画ファイルの記録が開始された日とその翌日に分類してコピーを行なうことを特徴とする請求項1記載の情報処理装置。
  5. 表示装置と、
    前記検索手段により検索された動画ファイルの代表画像を前記表示装置に表示させる表示制御手段とをさらに有し、
    前記表示制御手段が、前記検索手段により検索された動画ファイルのうち、前記日を跨いで記録された動画ファイルの代表画像を、日を跨がずに記録された動画ファイルの代表画像と視覚的に異ならせて表示させることを特徴とする請求項2又は請求項3記載の情報処理装置。
  6. 前記表示制御手段が、前記日を跨いで記録された動画ファイルの代表画像のみに付加的な表示を行なうことを特徴とする請求項5記載の情報処理装置。
  7. 前記表示制御手段が、前記日を跨いで記録された動画ファイルの前記代表画像を表示させる場合、当該動画ファイルの記録が開始された日とその翌日のいずれに基づいて検索されたかに応じて、前記代表画像を視覚的に異ならせて表示させることを特徴とする請求項5又は請求項6記載の情報処理装置。
  8. 前記判別手段が、前記動画ファイルに関連付けて記録された付随情報に含まれる、日付を跨いで記録されたか否かを表す情報に基づいて前記判別を行なうことを特徴とする請求項1乃至請求項7のいずれか1項に記載の情報処理装置。
  9. 前記判別手段が、前記動画ファイルに関連付けて記録された付随情報に含まれる、記録開始日時情報と、記録終了日時情報又は記録時間情報とに基づいて前記判別を行なうことを特徴とする請求項1乃至請求項7のいずれか1項に記載の情報処理装置。
  10. 動画像ファイルを記憶装置に記録する情報処理装置であって、
    前記記憶装置に記録する動画ファイルが、日を跨いで記録された動画ファイルか否かを判別する判別手段と、
    前記判別手段により、日を跨いで記録された動画ファイルであると判別された動画ファイルについては、日を跨いで記録されたことを表す情報を関連付けして記録する記録手段を有することを特徴とする情報処理装置。
  11. 記憶手段に保存された動画ファイルについて、当該動画ファイルに関連付けられた日時情報を用いて、前記動画ファイルが日を跨いで記録された動画ファイルか否かを判別する判別工程と、
    前記記憶手段に保存された動画ファイルを、その記録日に基づいて処理する処理工程であって、前記日を跨いで記録された動画ファイルについては、当該動画ファイルの記録が開始された日とその翌日の両方を記録日として有するものとして前記処理を行なう処理工程とを有することを特徴とする情報処理方法。
JP2006188693A 2006-07-07 2006-07-07 情報処理装置及び情報処理方法 Expired - Fee Related JP4863462B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2006188693A JP4863462B2 (ja) 2006-07-07 2006-07-07 情報処理装置及び情報処理方法
US12/297,887 US8472782B2 (en) 2006-07-07 2007-06-26 Information processing apparatus and information processing method
PCT/JP2007/063195 WO2008004507A1 (en) 2006-07-07 2007-06-26 Information processing apparatus and information processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006188693A JP4863462B2 (ja) 2006-07-07 2006-07-07 情報処理装置及び情報処理方法

Publications (3)

Publication Number Publication Date
JP2008017366A true JP2008017366A (ja) 2008-01-24
JP2008017366A5 JP2008017366A5 (ja) 2009-08-20
JP4863462B2 JP4863462B2 (ja) 2012-01-25

Family

ID=38894477

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006188693A Expired - Fee Related JP4863462B2 (ja) 2006-07-07 2006-07-07 情報処理装置及び情報処理方法

Country Status (3)

Country Link
US (1) US8472782B2 (ja)
JP (1) JP4863462B2 (ja)
WO (1) WO2008004507A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8599251B2 (en) * 2006-09-14 2013-12-03 Olympus Imaging Corp. Camera
US8396843B2 (en) * 2010-06-14 2013-03-12 Dell Products L.P. Active file instant cloning

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0644126A (ja) * 1992-03-25 1994-02-18 Nec Corp ファイル転送装置
JP2002094898A (ja) * 2000-09-20 2002-03-29 Hitachi Kokusai Electric Inc 映像記録システムにおける映像データ検索表示方法
JP2002112165A (ja) * 2000-09-29 2002-04-12 Canon Inc 画像処理装置、画像処理システム、画像処理方法、及び記憶媒体
JP2005012693A (ja) * 2003-06-20 2005-01-13 Casio Comput Co Ltd 動画記録装置、電子カメラ及びプログラム
JP2005051453A (ja) * 2003-07-31 2005-02-24 Olympus Corp ファイル取扱プログラム、ファイル取扱装置、ファイル取扱方法
JP2005072729A (ja) * 2003-08-20 2005-03-17 Casio Comput Co Ltd 電子カメラ及び画像撮影方法
JP2006053871A (ja) * 2004-08-16 2006-02-23 Fuji Photo Film Co Ltd 情報処理装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11122575A (ja) * 1997-10-17 1999-04-30 Canon Inc 日時表示装置
US6597859B1 (en) * 1999-12-16 2003-07-22 Intel Corporation Method and apparatus for abstracting video data
JP4328992B2 (ja) * 2000-02-03 2009-09-09 ソニー株式会社 情報処理装置および方法、並びにプログラム格納媒体
JP2004187066A (ja) * 2002-12-04 2004-07-02 Canon Inc 画像処理装置
US20050086356A1 (en) * 2003-10-15 2005-04-21 Shah Mehul Y. Systems and methods for scheduled recording of multimedia content streams
JP3934646B2 (ja) 2004-11-29 2007-06-20 京セラミタ株式会社 画像形成装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0644126A (ja) * 1992-03-25 1994-02-18 Nec Corp ファイル転送装置
JP2002094898A (ja) * 2000-09-20 2002-03-29 Hitachi Kokusai Electric Inc 映像記録システムにおける映像データ検索表示方法
JP2002112165A (ja) * 2000-09-29 2002-04-12 Canon Inc 画像処理装置、画像処理システム、画像処理方法、及び記憶媒体
JP2005012693A (ja) * 2003-06-20 2005-01-13 Casio Comput Co Ltd 動画記録装置、電子カメラ及びプログラム
JP2005051453A (ja) * 2003-07-31 2005-02-24 Olympus Corp ファイル取扱プログラム、ファイル取扱装置、ファイル取扱方法
JP2005072729A (ja) * 2003-08-20 2005-03-17 Casio Comput Co Ltd 電子カメラ及び画像撮影方法
JP2006053871A (ja) * 2004-08-16 2006-02-23 Fuji Photo Film Co Ltd 情報処理装置

Also Published As

Publication number Publication date
WO2008004507A1 (en) 2008-01-10
US8472782B2 (en) 2013-06-25
US20090185786A1 (en) 2009-07-23
JP4863462B2 (ja) 2012-01-25

Similar Documents

Publication Publication Date Title
US20080008056A1 (en) Recording apparatus having playlist editing function
JP5371489B2 (ja) 画像管理装置およびその制御方法、ならびに、プログラムおよび記憶媒体
JP4416606B2 (ja) 表示制御装置及び表示制御方法、プログラム、記憶媒体
JP2006295236A (ja) 記録再生装置、コンテンツ管理装置、コンテンツ管理方法および撮像装置
JP2005197913A (ja) 画像処理装置及び画像処理方法
JP4757183B2 (ja) 画像処理装置、画像処理装置の制御方法、プログラム
JP2007013574A (ja) ファイルアクセス手法および特定の画像ファイルを再生する方法およびその画像ファイルの再生が可能なカメラ装置
JP2008160172A (ja) 画像処理装置、画像処理方法、プログラム、記憶媒体
JPWO2004086760A1 (ja) データ処理装置
JP2008010979A (ja) カメラ装置
JP2006157324A (ja) 画像再生装置およびプログラム
JP4863462B2 (ja) 情報処理装置及び情報処理方法
JP5441349B2 (ja) 画像投射装置及びその制御方法
JP7531314B2 (ja) 情報処理装置、情報処理装置の制御方法、およびプログラム
JP2009253769A (ja) 撮像装置、撮像装置の制御方法及びプログラム
JP2018074337A (ja) 動画処理装置、動画処理方法およびプログラム
JP4735386B2 (ja) 動画中の静止画位置の再現
JP2008276899A (ja) 記録再生装置及びその制御方法
JP2005339645A (ja) 記録/再生装置、その記録/再生方法、プログラムおよび記録媒体
JP2005175822A (ja) 撮像装置、画像処理方法、記録媒体およびプログラム
JP2008310910A (ja) 記録再生装置及びその制御方法
JP2008177784A (ja) 記録再生装置及びその制御方法、プログラム、記憶媒体
JP2007134910A (ja) 撮像装置、そのメモ情報付加方法、メモ情報候補リスト作成方法、プログラム及びコンピュータ読み取り可能な記録媒体
JP2014002625A (ja) 表示制御装置、タッチパネル制御方法、制御プログラム及び記録媒体
JP2005135554A (ja) 再生装置及び方法

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090707

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090707

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110610

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110726

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110819

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111011

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111104

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111107

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141118

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141118

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees