Nothing Special   »   [go: up one dir, main page]

JP4770290B2 - 液晶表示装置 - Google Patents

液晶表示装置 Download PDF

Info

Publication number
JP4770290B2
JP4770290B2 JP2005187665A JP2005187665A JP4770290B2 JP 4770290 B2 JP4770290 B2 JP 4770290B2 JP 2005187665 A JP2005187665 A JP 2005187665A JP 2005187665 A JP2005187665 A JP 2005187665A JP 4770290 B2 JP4770290 B2 JP 4770290B2
Authority
JP
Japan
Prior art keywords
video signal
liquid crystal
phase
pixel data
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005187665A
Other languages
English (en)
Other versions
JP2007010699A (ja
Inventor
功二 寺脇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2005187665A priority Critical patent/JP4770290B2/ja
Publication of JP2007010699A publication Critical patent/JP2007010699A/ja
Application granted granted Critical
Publication of JP4770290B2 publication Critical patent/JP4770290B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Liquid Crystal (AREA)
  • Liquid Crystal Display Device Control (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)

Description

本発明は、液晶の応答性能改善のための液晶表示装置に関する。
一般的に液晶表示装置の応答性能に影響を及ぼす要因として2つ挙げられる。1つは液晶のホールド型駆動方法によるもので、1つは液晶そのものの応答性能によるものである。液晶パネルはマトリクス状に配置した画素に対してデータ線及びアドレス線を用いて1フレームに1回表示データを書き込んでいる。各画素は1フレーム期間中、表示データを保持し続ける。つまり、1フレーム期間は同じ画像を表示し続けていることになる。このようなホールド型の表示方法で動きのある映像を表示した場合、動いている物体の輪郭がぼやけるという現象が生じる。これはホールド型の表示方法と人間の視覚的特性による影響のためである。現象の詳細な説明は「栗田一郎:ホールド型ディスプレイにおける動画表示の画質、信学技報、EID99−10(1999−06)」で説明されているので省略する。
もう1つの要因としては、液晶自体の応答性能が遅く1フレーム以内で本来表示すべき階調まで達しないため、画像の輪郭部がぼやけるという現象が生じる。液晶の応答性能改善方法は一般的に、液晶の材料自体の改良やオーバードライブなどにより改善が行われている。オーバードライブとは任意の画素に対して、現在フレームの表示階調と1フレーム前の表示階調を比較して、1フレーム期間内に現在フレームの表示階調の輝度レベルに達するように、表示する階調を補正する方法である。オーバードライブにより応答性能を改善のする方法は簡単な回路により実現可能なため、現在最もよく用いられる方法である。
しかしながら、この方法では直前フレームの画素の画素データを記録するためのフレームメモリが必要となる。現在、テレビやモニター用などに用いられている液晶の解像度は様々であるが、例えばWXGA(1366×768)などの液晶パネルでは1366×768の画素に対しRGB3色分の画素データを記録しなければならず、大容量のメモリが必要になる。
容量削減を行う方法として、特開2003−330435号公報などに示されているものがある。この方法はメモリに記録する画素データを1画面の半分の画素データのみを記録してオーバードライブを行う方法である。補正量算出方法を説明するための図8を用いて簡単な例を説明する。
図8(a)は表示画面の一部を拡大したものを示しており、オーバードライブが適応される画素は黒く塗られた部分で1画面の半分の画素とする。また、オーバードライブの補正方法について図8(b)を用いて説明する。図8(b)の波形は液晶の輝度変化を表している。通常、オーバードライブにより応答性能の改善が図られた場合、1フレームで目標の輝度となるように調節されるのが一般的で、図8(b)のcに示す輝度変化となるように調節される。
しかしながら、従来例ではオーバードライブが適用される画素が半分であるため、オーバードライブが適用される画素と適用されない画素の輝度変化の平均値が図8(b)のcに示す変化となるように調節を行っている。つまり、オーバードライブが適用される画素は従来よりも強く補正が行われ、図8(b)のbに示すような輝度変化となるように調節される。このようにしてメモリに記録する画素データを半分にして、メモリ容量を削減し応答性能の改善を行っている。
特開2003−330435号公報
しかしながら、従来例で示すオーバードライブの調整方法では記録する画素の間引きを行い、画像の解像度を落としているため、例えば、1画素ごとに輝度が変化している動画像を表示する場合、動画像を適正に表示することができない。
詳細について回路動作を説明するための図9を用いて説明する。図9には従来例において不具合が発生する画像の一部分を示しており、階調が周期的に繰り返すストライプ画像である。又、黒く塗られた画素は応答改善のための補正処理が行われる画素で画素Aとし、白い画素は補正処理が行われない画素で画素Bとする。このような1画素ごとに変化する画像が例えば左方向に1フレーム毎に1画素または奇数画素動いた場合を考える。
この時、図9の画素A、Bが表示する階調変化を図10(a)に示す。上からフレーム毎に画素A、Bに表示される階調の変化の様子が示されており、画素Aでは0→128→0→128、画素Bでは128→0→128→0と変化する。図10(b)は図10(a)で示した映像信号が入力された場合、従来例によるオーバードライブの補正後に、実際に画素A、Bで表示される階調を示す。
この場合、画素Aでは補正が行われるので1フレーム毎に128+α→0→128+α→0(α:補正値)と表示される階調が変化する。画素Bは補正が行われないため1フレーム毎に0→128→0→128と表示される。このため隣あう二つの画素でストライプ画像の白(128階調)を表示させる階調が画素Aでは128+α、画素Bでは128と異なる。又、実際に図9のストライプの画像が1画素または奇数画素移動した場合を考え、ストライプ画像の白(128階調)に着目してみると、ストライプ画像の白部分は1フレームごとに補正がかけられる画素Aとかからない画素Bで交互に表示される。
よって、ストライプ画像の白部分の階調変化は128→128+α→128→128+αと1フレームごとに異なる階調が表示させる。よって1フレーム毎に輝度が変化するのでフリッカとして認識される。つまり、記録する画素を間引いた場合、間引いた画素の周期よりも短い周期で変化する映像信号に対しては適正に補正することができない。
この課題を解決するために本発明は、入力映像信号から水平方向1ラインの半分の画素データを出力する1相2相変換手段と、前記1相2相変換手段より出力された画素データを記録して1フレーム期間遅延させる遅延手段と、前記遅延手段により遅延されたデータと前記1相2相変換手段で出力された画素データより応答性能改善のための補正値を算出する補正値算出手段と、前記補正知算出手段で算出された補正値をもとに前記入力映像信号を補正する補正手段と、前記補正手段で補正された映像信号を表示する液晶パネルを備えた液晶表示装置において、前記1相2相変換手段に入力される映像信号の高周波成分を除去する映像信号処理手段を具備することで、入力された映像信号に対して事前に映像信号処理を行いフリッカ等の不具合を発生させる原因を除去する。
本発明による液晶表示装置を用いることにより、メモリの容量を削減し映像信号を記録する画素を減らした場合においても、不具合なく液晶の応答性能改善を図ることが可能となるものである。
以下に、本発明の実施の形態について、図面を参照しながら説明する。
(実施の形態1)
本発明の第1の発明の実施の形態について、液晶表示装置100の構成を示すブロック図1を用いて説明する。図1に示す液晶表示装置100において、映像信号処理回路20では入力映像信号I0の高周波成分を除去する信号処理を行う。信号処理された映像信号Isは1相2相変換回路30に入力される。1相2相変換回路30では入力された映像信号Isの水平方向1ラインの半分の画素データを出力する。遅延回路40では前記1相2相変換回路30より出力された画素データを記録して1フレーム期間遅延させる。補正値算出回路50では前記遅延回路40で遅延された画素データと前記1相2相変換手段で出力された画素データから応答性能の改善のための補正値を算出する。算出された補正値を元に補正回路60では入力映像信号I0に応答性能改善のための補正を行い、液晶パネル70に補正された映像信号I1を出力する。
詳細な動作について説明する。図9に示す1画素ごとに表示諧調が変化するストライプ画像が入力され、横方向へ1フレーム毎に1画素または奇数画素動いた場合を例として本発明の液晶表示装置の動作を説明する。従来までの液晶表示装置の動作の様子は図10を用いて説明したように、補正値を算出するための画素情報が間引かれると細かく変化する映像に対して適正に補正ができず、フリッカなどの不具合が発生する。
これに対して、本発明における液晶表示装置100に図9に示す映像が入力された場合、映像信号処理回路20では水平方向の階調変化の高周波成分を除去するローパスフィルタ(以後LPF)のような映像信号処理を行う。ここでは簡単のためLPFの特性をY=(X−1+2X0+X+1)/4・・・(1)とする。X−1は左隣の画素の表示階調、X0は着目画素の表示階調、X1は右隣の画素の表示階調とする。つまり、一つの画素のみならず、複数の画素に基づいて表示階調を行なう。
このLPFにより、映像処理回路20から出力される映像信号Isは高周波の成分が除去されて図2に示す変化のない一定な映像信号となる。このように信号処理された映像信号Isが1相2相変換回路30に出力される。1相2相変換回路30は入力された映像信号Isの水平方向1ラインの半分の画素データSを遅延回路40に出力する。ここでは水平方向に1画素ごとのデータを出力するものとし、図2に示す画素Aのデータを出力しているとする。遅延回路40では1相2相変換回路30で間引かれた画素データSを記録し1フレーム期間遅延させ、補正値算出回路50に出力する。
補正値算出回路50は1フレーム遅延された画素データdSと1相2相変換回路30で間引かれた画素データSより応答性能改善のための補正値hを算出する。補正量算出方法を説明するための図3を用いて補正値hを算出する様子を説明する。図3(a)には入力された映像信号I0のある一部分の画素データを示しており、フレームが変化するごとに1画素横方向へ移動した際の画素A、Bの画素データが変化する様子を示している。図3(b)には映像信号処理回路20で信号処理された映像信号がフレーム毎に変化する様子を示している。
図2で示したように、映像信号処理回路20により1画素ごとに変化する映像信号は変化のない一定の映像信号として出力されるので、映像信号処理回路20から出力される画素A,Bの画素データはフレームが変化しても変化しない。補正値算出回路50は現フレームの画素データと1フレーム前の画素データの差に基づいて補正値を算出するので、フレームが変化しても画素データが変化しないため補正値は常に0となる。図3(c)に得られた補正値を元に補正回路60で補正された映像信号の変化の様子を示す。補正値が常に0であるので入力映像信号がそのまま出力される。
つまり、1画素ごとに変化する映像信号に対しては、従来例で示した方法で応答性能改善のための補正を行うことでフリッカのような不具合が生じるので、複数の画素に基づいて画素の変化量を特定する階調表現を行なうことにより高周波成分を除去する映像信号処理回路20を設けることで、このような映像信号が入力された場合は応答性能改善のための補正が行われないようにする。また、実際には映像信号処理回路20のフィルタの特性をフリッカの原因となる周波数成分のみを除去するような設計を行っている。このようにすることでメモリ容量を削減した場合でも不具合なく適正に応答性能改善を行うことが可能となる。
(実施の形態2)
本発明の第2の発明の実施の形態について、映像表示装置の構成を示すブロック図4を用いて説明する。また、本発明の回路の動作は実施の形態1で説明した回路に特徴量検出回路10を設けたもので、ここではそれに関連する部分の動作の詳細を説明し、実施の形態1と同様の動作をする部分については説明を省略する。
図4に示す液晶表示装置101において、特徴量検出回路10は入力映像信号I0に対して映像信号の輝度情報を元にその特徴量を算出する。得られた特徴量を映像信号処理回路20に出力し、映像信号処理回路20は特徴量を元に入力映像信号に補正処理を施す。以降の1相2相変換回路30、遅延回路40、補正値算出回路50、補正回路60、液晶パネル70の機能については実施の形態1で説明したものと同様であるので省略する。
詳細な動作について、具体例を挙げ説明する。まず、実施の形態1の発明の回路では図9に示すような画像を含む映像信号が入力され、その画像がフレーム毎に横方向に1画素又は奇数画素動くような場合、映像信号処理回路20で周期的に変化をする画像が除去され、その画像を元に応答性能改善のための補正値を算出している。そのため実施の形態1で説明した図9に示す画像が入力された場合、応答性能改善のための補正が行われないようにして、フリッカなどの不具合を発生せず応答性能の改善を行っている。
ここで、図5のような周期的に変化するがその輝度変化が小さい画像が入力された場合を考える。この場合も同様に実施の形態1の発明による液晶表示装置では映像信号処理回路20により周期的変化をする画像が除去されるので応答性能改善のための補正は行われない。
しかしながら、図5に示すような輝度が周期的に変化するが輝度変化が小さい画像の場合、映像信号処理回路20で補正を行わず、従来どおりに応答性能改善のための補正処理を行ったとしても輝度変化が小さいためフリッカは目で認識できるほど発生しない。
図6は、図5に示す画像が入力された時、従来例での応答性能改善のための補正処理の様子を示している。まず図6(a)には入力された表示映像が水平方向にフレーム毎ごとに1画素又は数画素動いた時の変化の様子を示している。ここで画素A,Bに着目するとそれぞれフレーム毎に0→32→0→32と繰り返して変化している。図6(b)には応答改善のための補正処理が行われたあとの出力値が示されており、画素Aでは32+β→0→32+β→0と変化し、画素Bでは補正されないので0→32→0→32と変化する。この場合、画素Aと画素Bでストライプ画像の白(32階調)の表示階調がβ異なる。
一般的に応答改善のための補正量は着目画素の現フレーム画素データと1フレーム前の画素データの差分により求め、その差分が大きいほど補正量も大きくなる。この場合、画素Aと画素Bの差分はさほど大きくないので得られる補正量βはさほど大きくはならない。また一般的に液晶パネルは低階調ほど階調変化に対する輝度変化が少ない特性を示すので、差分のβによる輝度変化も小さくなる。これらの理由により、周期的に変化する画像であってもその輝度差が小さくまた低階調のストライプ画像のような場合は映像信号処理回路20により周期的に変化する画像を除去しなくてもフリッカは目で認識できるほど発生しない。
つまり、実施の形態1で示した液晶表示装置では、フリッカが発生しない画像であっても周期的に変化する画像であれば映像信号処理回路20により周期的に変化する画像が除去されるので応答性能改善のための補正が行われなくなる場合がある。
これを解決する手段として、本発明の液晶表示回路では特徴量検出回路10を用いる。その方法を簡単な一例として、図7のような画像が入力された場合で説明する。まずここで、特徴量検出回路10で算出する特徴量とは入力された画像がスクロール又は移動して応答改善のための補正行った際、フリッカ等の不具合を発生させる程度を示す量とする。その量が大きいほどフリッカが強く発生し、小さいほどフリッカが発生しないものとする。
ここでは、特徴量を算出する簡単な例として、着目画素とその左右の画素(又は数画素)の輝度差を算出しその平均を特徴量とした場合で説明する。なお、この特徴量は、着目画素とその左右の画素(又は数画素)の階調差を算出してその平均を特徴量とすることも可能である。図7(a)は入力された画像を示しており、ABAB画素部分の0,32,032と繰り返えす画像とA’B’A’B’画素部分の0,128,0,128と繰り返す画像が入力されたとする。この時、各画素の左右の画素との輝度差の平均値を図7(b)に示している。これを特徴量とする。入力画像の階調が0〜255まで変化すると仮定すると、特徴量は0〜255で変化する。この値を元に、映像信号処理回路20は入力映像信号に補正処理を行う。
フリッカは輝度変化が大きいほど強く認識されるので、特徴量が大きいほど入力された画像の周期的変化を除去する程度を強くするよう補正処理を行い、特徴量が小さいほど入力された画像をそのまま出力するような補正処理を行う。つまり特徴量に応じて映像信号処理回路20のフィルタの特性を変化させるようにする。
ここでは簡単に説明するため所定量として、特徴量が100以上は上述した(1)式のフィルタによる処理を行い、100以下の場合は処理を行わずそのまま出力するとする。そのときの映像信号処理回路からの出力を図7(c)とする。ABABと繰り返す画素では特徴量が小さいので入力画像がそのまま出力され、A’B’A’B’と繰り返す画素は特徴量が大きいので、(1)式で信号処理された画像が出力され表示階調が64と一定となる。図7(a)の入力映像信号がフレーム毎ごとに1画素又は奇数画素動くとすると、応答改善のための補正値を算出するために図7(c)で示す映像信号処理回路20からの出力データが用いられるで、ABAB画素部分では通常通り補正値が算出され応答性能の改善が行われ、A’B’A’B画素部分では補正値が0となり応答改善のための補正がおこなわれず、フリッカの発生を防ぐ。これによりコスト削減のために記録する画素を間引いた場合において、あらゆる画像に対して適正に応答改善のための補正を行うことが可能となる。
なお、実施の形態2で説明した特徴量検出回路10の特徴量検出方法を水平方向の輝度変化量を特徴量とし検出することも可能である。これにより、回路構成の簡略化することも可能である。なお、その基本的な動作については実施の形態2で説明したものと同様であるため省略する。
本発明による液晶表示装置を用いれば、メモリの容量を削減し映像信号を記録する画素を減らした場合においても、不具合なく液晶の応答性能改善を図ることが可能となり、液晶の応答性能改善装置として有用である。
本発明の実施の形態1における液晶表示装置を示すブロック図 本発明の実施の形態1における映像信号処理回路から出力された映像信号を示す図 本発明の実施の形態1における映像信号処理回路における入力及び出力映像信号の表示階調の変化を示す図 本発明の実施の形態2における液晶表示装置を示すブロック図 本発明の実施の形態2における映像信号処理回路から出力された映像信号を示す図 本発明の実施の形態2における映像信号処理回路における入力及び出力映像信号の表示階調の変化を示す図 本発明の実施の形態2における映像信号処理回路における入力及び出力映像信号の表示階調を示す図 従来のオーバードライブの補正方法により補正された輝度レベルを示す図 従来の液晶表示装置に入力された映像信号の表示階調を示す図 従来のフレーム単位の入力及び出力映像信号の表示階調の変化を示す図
符号の説明
10 特徴量検出回路
20 映像信号処理回路
30 1相2相変換回路
40 遅延回路
50 補正値算出回路
60 補正回路
70 液晶パネル

Claims (3)

  1. 入力映像信号から水平方向1ラインの半分の画素データを出力する1相2相変換手段と、前記1相2相変換手段より出力された画素データを記録して1フレーム期間遅延させる遅延手段と、前記遅延手段により遅延された画素データと前記1相2相変換手段から出力された画素データより補正値を算出する補正値算出手段と、前記補正値算出手段で算出された補正値をもとに前記入力映像信号を補正する補正手段と、前記補正手段で補正された映像信号を表示する液晶パネルを備えた液晶表示装置において、前記1相2相変換手段に入力される映像信号の高周波成分を除去する映像信号処理手段を具備することを特徴とする液晶表示装置。
  2. 入力映像信号の高周波成分を除去する映像信号処理手段と、前記映像信号処理手段で補正された映像信号から水平方向1ラインの半分の画素データを出力する1相2相変換手段と、出力された画素データを記録して1フレーム期間遅延させる遅延手段と、前記遅延手段により遅延された画素データと前記1相2相変換手段から出力された画素データより応答性能改善のための補正値を算出する補正値算出手段と、算出された補正値をもとに前記入力映像信号を補正する補正手段と、補正された映像信号を表示する液晶パネルを備えた液晶表示装置において、前記入力映像信号の輝度信号から特徴量を算出する特徴量検出回路を具備し、前記特徴量検出回路で算出された特徴量を元に前記映像信号処理手段は入力映像信号の高周波成分を除去することを特徴とする液晶表示装置。
  3. 前記特徴量検出回路は水平方向の輝度変化量を特徴量とすることを特徴とする請求項2記載の液晶表示装置。
JP2005187665A 2005-06-28 2005-06-28 液晶表示装置 Expired - Fee Related JP4770290B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005187665A JP4770290B2 (ja) 2005-06-28 2005-06-28 液晶表示装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005187665A JP4770290B2 (ja) 2005-06-28 2005-06-28 液晶表示装置

Publications (2)

Publication Number Publication Date
JP2007010699A JP2007010699A (ja) 2007-01-18
JP4770290B2 true JP4770290B2 (ja) 2011-09-14

Family

ID=37749360

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005187665A Expired - Fee Related JP4770290B2 (ja) 2005-06-28 2005-06-28 液晶表示装置

Country Status (1)

Country Link
JP (1) JP4770290B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007199418A (ja) * 2006-01-26 2007-08-09 Seiko Epson Corp 電気光学装置、駆動方法および電子機器
WO2013035636A1 (ja) 2011-09-08 2013-03-14 シャープ株式会社 表示制御回路、それを備えた液晶表示装置、および表示制御方法
JP6154276B2 (ja) * 2013-09-27 2017-06-28 本田技研工業株式会社 表示装置、表示方法、再生装置、再生方法、およびプログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100825103B1 (ko) * 2002-05-16 2008-04-25 삼성전자주식회사 액정 표시 장치 및 그 구동 방법
JP3594589B2 (ja) * 2003-03-27 2004-12-02 三菱電機株式会社 液晶駆動用画像処理回路、液晶表示装置、および液晶駆動用画像処理方法

Also Published As

Publication number Publication date
JP2007010699A (ja) 2007-01-18

Similar Documents

Publication Publication Date Title
US7400321B2 (en) Image display unit
US7310118B2 (en) Image display apparatus
US7733319B2 (en) Image display unit
US7639312B2 (en) Apparatus and method for processing moving picture, and computer program product
US7978211B2 (en) Liquid crystal display device and related operating method
US8026885B2 (en) Display device and display system
JP5138096B2 (ja) 画像表示装置
JP5049703B2 (ja) 画像表示装置、画像処理回路およびその方法
JP5174363B2 (ja) 表示システム
JP2008511857A (ja) Lcdビデオ/グラフィックスプロセッサ用の安価なモーションブラー低減(エコオーバドライブ)
US20070195040A1 (en) Display device and driving apparatus thereof
JP5354927B2 (ja) 液晶表示装置
JP2005148521A (ja) 画像表示装置
US8519928B2 (en) Method and system for frame insertion in a digital display system
JP2004212607A (ja) 表示装置の駆動方法、表示装置、および、そのプログラム
JP2009109694A (ja) 表示装置
JP2005309326A (ja) 液晶表示装置
US20080284706A1 (en) Driving Liquid Crystal Display with a Polarity Inversion Pattern
US8368633B2 (en) Pixel data preprocessing circuit and method
JP4770290B2 (ja) 液晶表示装置
JP2005173525A (ja) 液晶表示装置、液晶表示制御方法、並びに、そのプログラムおよび記録媒体
JP2000330501A (ja) 液晶駆動回路
US9019325B2 (en) Liquid crystal display device
JP2008009227A (ja) 画像データ出力装置及び液晶表示装置
JP4316217B2 (ja) 画像処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080514

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20091126

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110524

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110606

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140701

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140701

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees