JP4594701B2 - 情報検索装置、情報検索方法及び情報検索用プログラム並びに情報記録媒体 - Google Patents
情報検索装置、情報検索方法及び情報検索用プログラム並びに情報記録媒体 Download PDFInfo
- Publication number
- JP4594701B2 JP4594701B2 JP2004327334A JP2004327334A JP4594701B2 JP 4594701 B2 JP4594701 B2 JP 4594701B2 JP 2004327334 A JP2004327334 A JP 2004327334A JP 2004327334 A JP2004327334 A JP 2004327334A JP 4594701 B2 JP4594701 B2 JP 4594701B2
- Authority
- JP
- Japan
- Prior art keywords
- feature information
- song
- information
- search
- word
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
- G06F16/68—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/683—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
- G06F16/68—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/683—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/685—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using automatically derived transcript of audio data, e.g. lyrics
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Library & Information Science (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Reverberation, Karaoke And Other Acoustics (AREA)
Description
始めに、実施形態に係る曲検索装置の全体構成及び全体動作について、図1及び図2を用いて説明する。なお、図1は当該曲検索装置の概要構成を示すブロック図であり、図2は当該曲検索装置内に蓄積されている情報のデータ構造を例示する図である。
次に、上述した構成を備える曲検索装置Sを用いて実行される実施形態に係る曲検索処理について、具体的に図3乃至図8を用いて説明する。なお、図3は当該曲検索装置における曲検索処理を示すフローチャートであり、図4は当該曲検索処理に用いられる変換テーブルの内容を例示する図であり、図5は実施形態に係る履歴処理に用いられる履歴情報を例示する図であり、図6は当該履歴情報を用いた履歴管理処理を示すフローチャートであり、図7及び図8は当該履歴管理処理に用いられるデータベースを夫々例示する図である。
平均値算出処理を全ての構成語について実行する。
信頼限界幅=2×1.65×〔(AA×(1−AA))/曲数〕1/2 …(1)
の式により対応する信頼限界幅を算出する
次に、信頼限界幅が算出されたら、これを用いて、平均値AAの値から平均値DAの値を差し引いた値の絶対値が上記算出された信頼限界幅以上であるか否かを確認する(ステップS23)。
2 曲データベース
3 曲特徴情報データベース
4 検索語特徴情報データベース
5 音特徴情報抽出部
6 構成語情報抽出部
7 曲特徴情報生成部
8 検索処理部
9 入力部
10 曲出力部
11 履歴記憶部
20 曲特徴情報
30 検索語特徴情報
40 歌特徴情報
S 曲検索装置
T 変換テーブル
Claims (9)
- 夫々が歌詞と演奏とからなる複数の曲の中から一又は複数の当該曲を検索する情報検索装置において、
前記歌詞に含まれ得る複数種類の構成語毎に当該構成語が前記歌詞に関与しているか否かを示す構成語特徴情報と、前記演奏の音響的特徴を示す第一音特徴情報と、により構成される曲特徴情報を前記曲毎に識別可能に蓄積する曲特徴情報蓄積手段と、
検索されるべき前記曲を示す検索語を入力するために用いられる検索語入力手段と、
前記検索語を用いて検索されるべきいずれかの前記曲に含まれる前記歌詞を特徴付ける複数種類の歌特徴情報の夫々と重み付け値の組合せの集合である第一歌特徴情報と、当該検索語を用いて検索されるべきいずれかの前記曲に含まれるべき前記演奏の音響的特徴を示す第二音特徴情報と、により構成される検索語特徴情報を、前記検索語入力手段より入力され得る前記検索語毎に識別可能に蓄積する検索語特徴情報蓄積手段と、
前記歌詞を特徴付ける前記複数種類の歌特徴情報の夫々について各前記構成語に対応する重み付け値が記述された変換テーブルを記憶する変換テーブル記憶手段と、
前記複数種類の歌特徴情報の夫々について前記構成語特徴情報と前記変換テーブルとに基づいて重み付け値を算出することにより、当該複数種類の特徴情報の夫々と当該算出した重み付け値との組合せの集合である第二歌特徴情報を、前記曲毎に生成する歌特徴情報生成手段と、
前記入力された検索語に対応する前記検索語特徴情報である入力検索語特徴情報を構成する前記第一歌特徴情報と前記生成された各第二歌特徴情報とを夫々比較すると共に、前記入力検索語特徴情報を構成する前記第二音特徴情報と前記蓄積されている各第一音特徴情報とを夫々比較する比較手段と、
前記比較手段における比較結果に基づいて、前記入力検索語特徴情報を構成する前記第一歌特徴情報と前記第二音特徴情報に、最も類似している前記第二歌特徴情報と前記第一音特徴情報の組に対応する前記曲を、前記入力された検索語に対応する前記曲として抽出する抽出手段と、
前記抽出された曲が、前記入力された検索語に相応しいか否かを示す評価情報を入力するために用いられる評価情報入力手段と、
前記入力された評価情報に基づいて前記変換テーブルを更新するテーブル更新手段と、
を備えることを特徴とする情報検索装置。 - 請求項1に記載の情報検索装置において、
前記複数種類の歌特徴情報は夫々前記曲に対する主観を表す情報であるとともに、当該歌特徴情報の少なくとも一部は前記入力され得る検索語が表す前記曲に対する主観と同一の主観を表す情報であって、
前記テーブル更新手段は、前記検索語入力手段より入力された検索語が表す前記曲に対する主観が何れかの前記歌特徴情報が表す主観と同一である場合にのみ、前記変換テーブルにおける当該歌特徴情報に対応する重み付け値を更新することを特徴とする情報検索装置。 - 請求項2に記載の情報検索装置において、
前記テーブル更新手段は、各前記構成語毎に、前記入力された検索語に相応しいと評価された前記曲に当該構成語が含まれているか否かを示す相応情報を評価回数に基づいて平均化した第一平均化情報と、前記入力された検索語に相応しくないと評価された前記曲に当該構成語が含まれているか否かを示す非相応情報を前記評価回数に基づいて平均化した第二平均化情報と、の差を用いて前記変換テーブルに記述された重み付け値を更新することを特徴とする情報検索装置。 - 請求項1乃至3の何れか一項に記載の情報検索装置において、
前記複数種類の構成語毎に前記歌詞に当該構成語が含まれている否かを判定し、当該判定結果に基づいて前記構成語特徴情報を生成する構成語特徴情報生成手段を、
更に備えることを特徴とする情報検索装置。 - 請求項1乃至3の何れか一項に記載の情報検索装置において、
前記複数種類の構成語毎に当該構成語の出現回数を前記歌詞全体の長さで除した値を閾値と比較し、当該比較結果に基づいて前記構成語特徴情報を生成する構成語特徴情報生成手段を、
更に備えることを特徴とする情報検索装置。 - 請求項1乃至5の何れか一項に記載の情報検索装置において、
前記曲を複数蓄積する曲蓄積手段を更に備えることを特徴とする情報検索装置。 - 夫々が歌詞と演奏とからなる複数の曲の中から一又は複数の当該曲を検索する情報検索装置であって、
前記歌詞に含まれ得る複数種類の構成語毎に当該構成語が前記歌詞に関与しているか否かを示す構成語特徴情報と、前記演奏の音響的特徴を示す第一音特徴情報と、により構成される曲特徴情報を前記曲毎に識別可能に蓄積する曲特徴情報蓄積手段と、
検索されるべき前記曲を示す検索語を入力するために用いられる検索語入力手段と、
前記検索語を用いて検索されるべきいずれかの前記曲に含まれる前記歌詞を特徴付ける複数種類の歌特徴情報の夫々と重み付け値の組合せの集合である第一歌特徴情報と、当該検索語を用いて検索されるべきいずれかの前記曲に含まれるべき前記演奏の音響的特徴を示す第二音特徴情報と、により構成される検索語特徴情報を、前記検索語入力手段より入力され得る前記検索語毎に識別可能に蓄積する検索語特徴情報蓄積手段と、
前記歌詞を特徴付ける前記複数種類の歌特徴情報の夫々について各前記構成語に対応する重み付け値が記述された変換テーブルを記憶する変換テーブル記憶手段と、
前記検索された曲が、前記入力された検索語に相応しいか否かを示す評価情報を入力するために用いられる評価情報入力手段と、
を備える情報検索装置に含まれるコンピュータにおいて実行される情報検索方法であって、
前記複数種類の歌特徴情報の夫々について前記構成語特徴情報と前記変換テーブルとに基づいて重み付け値を算出することにより、当該複数種類の特徴情報の夫々と当該算出した重み付け値との組合せの集合である第二歌特徴情報を、前記曲毎に生成する歌特徴情報生成工程と、
前記入力された検索語に対応する前記検索語特徴情報である入力検索語特徴情報を構成する前記第一歌特徴情報と前記生成された各第二歌特徴情報とを夫々比較すると共に、前記入力検索語特徴情報を構成する前記第二音特徴情報と前記蓄積されている各第一音特徴情報とを夫々比較する比較工程と、
前記比較手段における比較結果に基づいて、前記入力検索語特徴情報を構成する前記第一歌特徴情報と前記第二音特徴情報に、最も類似している前記第二歌特徴情報と前記第一音特徴情報の組に対応する前記曲を、前記入力された検索語に対応する前記曲として抽出する抽出工程と、
前記入力された評価情報に基づいて前記変換テーブルを更新するテーブル更新工程と、
を含むことを特徴とする情報検索方法。 - コンピュータを、請求項1乃至6の何れか一項に記載の情報検索装置として機能させることを特徴とする情報検索用プログラム。
- 請求項8に記載の情報検索用プログラムが前記コンピュータにより読み出し可能に記録されていることを特徴とする情報記録媒体。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004327334A JP4594701B2 (ja) | 2003-11-14 | 2004-11-11 | 情報検索装置、情報検索方法及び情報検索用プログラム並びに情報記録媒体 |
EP04026919A EP1531405B1 (en) | 2003-11-14 | 2004-11-12 | Information search apparatus, information search method, and information recording medium on which information search program is recorded |
US10/987,188 US20050125394A1 (en) | 2003-11-14 | 2004-11-12 | Information search apparatus, information search method, and information recording medium on which information search program is recorded |
DE602004004345T DE602004004345T2 (de) | 2003-11-14 | 2004-11-12 | Vorrichtung zur Informationssuche, Verfahren zur Informationssuche und Aufzeichnungsmedium zur Speicherung des Informationssuchprogramms |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003385714 | 2003-11-14 | ||
JP2004327334A JP4594701B2 (ja) | 2003-11-14 | 2004-11-11 | 情報検索装置、情報検索方法及び情報検索用プログラム並びに情報記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005166035A JP2005166035A (ja) | 2005-06-23 |
JP4594701B2 true JP4594701B2 (ja) | 2010-12-08 |
Family
ID=34436993
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004327334A Expired - Fee Related JP4594701B2 (ja) | 2003-11-14 | 2004-11-11 | 情報検索装置、情報検索方法及び情報検索用プログラム並びに情報記録媒体 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20050125394A1 (ja) |
EP (1) | EP1531405B1 (ja) |
JP (1) | JP4594701B2 (ja) |
DE (1) | DE602004004345T2 (ja) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070079332A1 (en) * | 2005-09-30 | 2007-04-05 | Microsoft Corporation | Network branded recorded programs |
EP1998264A4 (en) * | 2006-02-23 | 2010-12-15 | Pioneer Corp | MUSIC COMPOSITION SEARCH AND METHOD AND COMPUTER PROGRAM |
CN101226526A (zh) * | 2007-01-17 | 2008-07-23 | 上海怡得网络有限公司 | 一种基于音乐片段信息查询的音乐搜索方法 |
JP5344756B2 (ja) * | 2008-07-18 | 2013-11-20 | 国立大学法人電気通信大学 | 情報処理装置、情報処理方法、及びプログラム |
US7925618B2 (en) * | 2008-12-15 | 2011-04-12 | Industrial Technology Research Institute | Information extraction method, extractor rebuilding method, and system and computer program product thereof |
US8417665B2 (en) * | 2008-12-15 | 2013-04-09 | Industrial Technology Research Institute | Information extraction method, extractor rebuilding method, and system and computer program product thereof |
KR101058558B1 (ko) * | 2009-12-31 | 2011-08-23 | 주식회사 금영 | 필기 입력을 이용한 노래반주기의 곡 검색방법 |
US10360260B2 (en) * | 2016-12-01 | 2019-07-23 | Spotify Ab | System and method for semantic analysis of song lyrics in a media content environment |
US11354510B2 (en) | 2016-12-01 | 2022-06-07 | Spotify Ab | System and method for semantic analysis of song lyrics in a media content environment |
CN106649644B (zh) * | 2016-12-08 | 2020-02-07 | 腾讯音乐娱乐(深圳)有限公司 | 一种歌词文件生成方法及装置 |
CN110866144B (zh) * | 2019-11-06 | 2022-08-05 | 腾讯音乐娱乐科技(深圳)有限公司 | 歌曲检索方法及装置 |
CN112270929B (zh) * | 2020-11-18 | 2024-03-22 | 上海依图网络科技有限公司 | 一种歌曲识别的方法及装置 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001357066A (ja) * | 2000-06-15 | 2001-12-26 | Hakuhodo Inc | 人間の感情に基づいてコンテンツを検索する検索サーバ及び該サーバを有するシステムの制御方法 |
JP2002032379A (ja) * | 2000-07-14 | 2002-01-31 | Yasuhiro Hino | 掲示板検索システム |
JP2002123272A (ja) * | 2000-10-13 | 2002-04-26 | Sony Corp | 音楽データ配信システム、サーバ装置、情報端末装置、並びに音楽データ配信方法 |
JP2002278547A (ja) * | 2001-03-22 | 2002-09-27 | Matsushita Electric Ind Co Ltd | 楽曲検索方法、楽曲検索用データ登録方法、楽曲検索装置及び楽曲検索用データ登録装置 |
JP2003022282A (ja) * | 2001-07-06 | 2003-01-24 | Alpine Electronics Inc | 検索システム及び検索方法 |
JP2003132085A (ja) * | 2001-10-19 | 2003-05-09 | Pioneer Electronic Corp | 情報選択装置及び方法、情報選択再生装置並びに情報選択のためのコンピュータプログラム |
JP2003271160A (ja) * | 2002-03-13 | 2003-09-25 | Victor Co Of Japan Ltd | 楽曲検索装置 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09293083A (ja) * | 1996-04-26 | 1997-11-11 | Toshiba Corp | 楽曲検索装置および検索方法 |
US5903892A (en) * | 1996-05-24 | 1999-05-11 | Magnifi, Inc. | Indexing of media content on a network |
US5739451A (en) * | 1996-12-27 | 1998-04-14 | Franklin Electronic Publishers, Incorporated | Hand held electronic music encyclopedia with text and note structure search |
US6504089B1 (en) * | 1997-12-24 | 2003-01-07 | Canon Kabushiki Kaisha | System for and method of searching music data, and recording medium for use therewith |
US6953886B1 (en) * | 1998-06-17 | 2005-10-11 | Looney Productions, Llc | Media organizer and entertainment center |
US7010533B1 (en) * | 1999-02-15 | 2006-03-07 | Matsushita Electric Industrial Co., Ltd. | E-mail preparation device, terminal device, information forwarding system, and program recording medium |
US6411724B1 (en) * | 1999-07-02 | 2002-06-25 | Koninklijke Philips Electronics N.V. | Using meta-descriptors to represent multimedia information |
GB9918611D0 (en) * | 1999-08-07 | 1999-10-13 | Sibelius Software Ltd | Music database searching |
US6332143B1 (en) * | 1999-08-11 | 2001-12-18 | Roedy Black Publishing Inc. | System for connotative analysis of discourse |
US7376575B2 (en) * | 2000-03-03 | 2008-05-20 | Fujitsu Limited | Designing program and method of financial article and recording medium storing financial article designing program |
US6539395B1 (en) * | 2000-03-22 | 2003-03-25 | Mood Logic, Inc. | Method for creating a database for comparing music |
US20030164844A1 (en) * | 2000-09-25 | 2003-09-04 | Kravitz Dean Todd | System and method for processing multimedia content, stored in a computer-accessible storage medium, based on various user-specified parameters related to the content |
JP2003131674A (ja) * | 2001-10-22 | 2003-05-09 | Megafusion Corp | 楽曲検索システム |
-
2004
- 2004-11-11 JP JP2004327334A patent/JP4594701B2/ja not_active Expired - Fee Related
- 2004-11-12 US US10/987,188 patent/US20050125394A1/en not_active Abandoned
- 2004-11-12 EP EP04026919A patent/EP1531405B1/en not_active Expired - Lifetime
- 2004-11-12 DE DE602004004345T patent/DE602004004345T2/de not_active Expired - Lifetime
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001357066A (ja) * | 2000-06-15 | 2001-12-26 | Hakuhodo Inc | 人間の感情に基づいてコンテンツを検索する検索サーバ及び該サーバを有するシステムの制御方法 |
JP2002032379A (ja) * | 2000-07-14 | 2002-01-31 | Yasuhiro Hino | 掲示板検索システム |
JP2002123272A (ja) * | 2000-10-13 | 2002-04-26 | Sony Corp | 音楽データ配信システム、サーバ装置、情報端末装置、並びに音楽データ配信方法 |
JP2002278547A (ja) * | 2001-03-22 | 2002-09-27 | Matsushita Electric Ind Co Ltd | 楽曲検索方法、楽曲検索用データ登録方法、楽曲検索装置及び楽曲検索用データ登録装置 |
JP2003022282A (ja) * | 2001-07-06 | 2003-01-24 | Alpine Electronics Inc | 検索システム及び検索方法 |
JP2003132085A (ja) * | 2001-10-19 | 2003-05-09 | Pioneer Electronic Corp | 情報選択装置及び方法、情報選択再生装置並びに情報選択のためのコンピュータプログラム |
JP2003271160A (ja) * | 2002-03-13 | 2003-09-25 | Victor Co Of Japan Ltd | 楽曲検索装置 |
Also Published As
Publication number | Publication date |
---|---|
EP1531405A1 (en) | 2005-05-18 |
EP1531405B1 (en) | 2007-01-17 |
DE602004004345T2 (de) | 2007-06-28 |
DE602004004345D1 (de) | 2007-03-08 |
JP2005166035A (ja) | 2005-06-23 |
US20050125394A1 (en) | 2005-06-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8073854B2 (en) | Determining the similarity of music using cultural and acoustic information | |
KR100838674B1 (ko) | 오디오 핑거프린팅 시스템 및 방법 | |
US8041734B2 (en) | System and method for storing and retrieving non-text-based information | |
US8280889B2 (en) | Automatically acquiring acoustic information about music | |
Gómez et al. | Towards computer-assisted flamenco transcription: An experimental comparison of automatic transcription algorithms as applied to a cappella singing | |
US7522967B2 (en) | Audio summary based audio processing | |
US20070276733A1 (en) | Method and system for music information retrieval | |
US20050249080A1 (en) | Method and system for harvesting a media stream | |
JP4594701B2 (ja) | 情報検索装置、情報検索方法及び情報検索用プログラム並びに情報記録媒体 | |
JP2005173938A (ja) | 曲検索装置、曲検索方法及び曲検索用プログラム並びに情報記録媒体 | |
US20060120536A1 (en) | Method for analyzing audio data | |
CN110010159B (zh) | 声音相似度确定方法及装置 | |
JP4560544B2 (ja) | 楽曲検索装置、楽曲検索方法および楽曲検索プログラム | |
KR20060019096A (ko) | 허밍 기반의 음원 질의/검색 시스템 및 그 방법 | |
JP3934556B2 (ja) | 信号識別子の抽出方法及びその装置、信号識別子からデータベースを作成する方法及びその装置、及び、検索時間領域信号を参照する方法及びその装置 | |
JP4459269B2 (ja) | 曲検索装置、曲検索方法及び曲検索用プログラム並びに情報記録媒体 | |
US20030120679A1 (en) | Method for creating a database index for a piece of music and for retrieval of piece of music | |
JP2004531758A5 (ja) | ||
Van Balen | Automatic recognition of samples in musical audio | |
EP3996084B1 (en) | Determining relations between music items | |
KR101302568B1 (ko) | 허밍 질의 기반 음원 검색 고속화 시스템 및 그 방법 | |
JP2021039345A (ja) | 電子ファイルの類似性の評価 | |
You et al. | Subjective evaluation of music similarity system based on onsets | |
Kuznetsov et al. | Searching for music: from melodies in mind to the resources on the web | |
CN116417012A (zh) | 音频识别方法、计算机设备和计算机程序产品 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20071005 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100420 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20100528 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100614 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100914 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100917 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130924 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |