Nothing Special   »   [go: up one dir, main page]

JP2009194469A - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
JP2009194469A
JP2009194469A JP2008030856A JP2008030856A JP2009194469A JP 2009194469 A JP2009194469 A JP 2009194469A JP 2008030856 A JP2008030856 A JP 2008030856A JP 2008030856 A JP2008030856 A JP 2008030856A JP 2009194469 A JP2009194469 A JP 2009194469A
Authority
JP
Japan
Prior art keywords
evaluation value
scanning direction
imaging apparatus
imaging
posture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2008030856A
Other languages
English (en)
Inventor
Tomohiro Sakaguchi
知弘 阪口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2008030856A priority Critical patent/JP2009194469A/ja
Priority to EP09250322.6A priority patent/EP2091233B1/en
Publication of JP2009194469A publication Critical patent/JP2009194469A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/673Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/42Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by switching between different modes of operation using different resolutions or aspect ratios, e.g. switching between interlaced and non-interlaced mode

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

【課題】撮影時の姿勢に関わらず高速なAF制御を行なうことができる撮像装置を得る。
【解決手段】被写体像を撮像する手段と、撮像素子の出力を輝度信号と色信号に処理する信号処理手段と、フォーカス調整手段と、被写体像の周波数成分によって変るフォーカス調整用のAF評価値を生成するAF評価値生成手段と、当該撮像装置の姿勢を加速度によって検出する加速度検出手段とを有し、撮像手段が、加速度検出手段が検出する撮像装置の姿勢に応じて映像信号出力の走査方向を自在に変更することができる撮像素子であって、AF評価値生成手段が、加速度検出手段が検出する撮像装置の姿勢に応じて、AF評価値の走査方向を変更する撮像装置による。
【選択図】図1

Description

本発明は、撮影時の姿勢に関わらず高速なAF制御を行なうことができる撮像装置に関するものである。
デジタルカメラなどの撮像装置(以下「カメラ」とする)のオートフォーカス(以下「AF」とする)は、できるだけ高速に処理をすることが求められる。AFは、撮像素子から出力される映像出力信号のコントラストデータをAF評価値とし、このAF評価値がピークとなる光学系の位置を合焦位置として制御する方法が一般的に知られている。カメラを正姿勢に構えて(シャッターボタンが上部に向く姿勢に構えて)撮影をするとき、AF評価値を生成するための映像出力信号の走査は、被写体に対して水平方向に行なわれる(以下、この走査方向を「正姿勢走査方向」とする)。また、当該カメラを縦姿勢に構えて(シャッターボタンが左右のどちらかに向く姿勢に構えて)撮影をするとき、撮像素子の向きは正姿勢時から90度傾いた状態となるため、AF評価値を生成するための映像出力信号の走査は、被写体に対して垂直方向に行なわれる(以下、この走査方向を「縦姿勢走査方向」とする)。
一般的には、縦方向の縞を持つ被写体(すなわち、横方向のコントラストが強い被写体)が多いと言われており、このような被写体において正姿勢走査方向で生成されるAF評価値の傾きは大きくなりやすく、AF評価値のピーク判定も素早く行なうことが可能となる。つまり、正姿勢走査方向時のAFは高速に処理をすることができる。しかし、縦姿勢走査方向で生成されるAF評価値の傾きは小さくなりやすく、AF評価値のピーク判定を素早く行なうことができない。つまり、縦姿勢走査方向時のAF制御は、正姿勢走査方向時のAF制御に比べて遅くなる。
正姿勢走査方向と縦姿勢走査方向におけるAF評価値の違いを図5及び図6を用いて説明をする。図5はカメラの姿勢の違いによる映像出力信号とその走査方向の関係を模式的に示している。図6は、カメラの姿勢の違いによる前記走査方向と生成されるAF評価値の変化の関係を模式的に示している。図5において、符号5aは、撮像素子からの映像出力信号の全範囲を示している。符号5bは映像出力信号の全範囲5aの一部であって、焦点を合わせるべき範囲、すなわちAF評価値の生成に用いる映像出力信号の読出し範囲を示している。読出し範囲5bは、任意に設定可能であるが、図5に示すように画像の中心(全範囲5aの中心)を含む範囲に設定することが好ましい。なお、図5において矢印は映像出力信号の走査方向を示している。図6において、符号6aは読出しエリア5b(図5)の一部を示しており、縦方向の縞を持つ被写体の映像出力信号を強調して示している。また、符号A及びBは走査方向を示している。AF評価値の「H」「L」は走査方向A及びBにおいて検出されるであろうAF評価値の変化を示しており、読出しエリア6b内の白抜き部分はコントラストが「H」であり、黒塗り部分はコントラストが「L」であることを表わしている。図5(a)及び図6(a)は正姿勢の場合を示し、図5(b)及び図6(b)は縦姿勢の場合を示している。
図5(a)に示すように、正姿勢走査方向で被写体に対して水平方向に走査されるので、コントラストデータは図6(a)に示すように大きく変化し、これを元にして生成するAF評価値の傾きは大きくなる。しかし、図5(b)に示すように、縦姿勢走査方向は、被写体に対して垂直方向に走査されることになるので、コントラストデータは図6(b)に示すように、変化が少なくなりやすく、これを元にして生成するAF評価値の傾きは小さくなりやすい。なお、図6は映像出力信号のコントラストを誇張して図示している。
AF評価値の傾きが小さくても正確なAFを行なうために、走査方向を変更することができる撮像素子(例えばCMOSセンサ)を用いて、映像出力信号の走査をカメラの姿勢に関わらず水平方向と垂直方向の両方向から行なうカメラが知られている(例えば「特許文献1」参照)。しかし、特許文献1におけるカメラは、通常の2倍の走査処理を行なう必要があるので、AFに要する時間が2倍になる。AFに時間がかかると、合焦位置を特定するまでの間に被写体が移動してしまう確率が高くなり、AFのやり直しが必要となるため、高速にAFを処理することがさらに困難となる。
特開2004−151608号公報
本発明は上記問題を鑑みてなされたものであって、カメラの姿勢に関わらず、正しいフォーカスを高速に行なうことができる撮像装置を提供することを目的とする。
本発明は、被写体像を撮像する手段と、撮像素子の出力を輝度信号と色信号に処理する信号処理手段と、フォーカス調整手段と、被写体像の周波数成分によって変るフォーカス調整用のAF評価値を生成するAF評価値生成手段と、を有する撮像装置において、当該撮像装置の姿勢を加速度によって検出する加速度検出手段をさらに有し、上記撮像手段が、上記加速度検出手段が検出する上記撮像装置の姿勢に応じて映像信号出力の走査方向を自在に変更することができる撮像素子であり、上記AF評価値生成手段が、上記加速度検出手段が検出する上記撮像装置の姿勢に応じて、AF評価値の走査方向を変更することを最も主要な特徴とする。
上記AF評価値の走査方向は、上記撮像素子の走査方向と同一であるようにしても良く、また、AF評価値が所定の値に達しないとき、AF評価値生成手段におけるAF評価値の走査方向を変えて、再度、AF評価値を走査してもよい。
本発明によれば、どのようなカメラの姿勢であっても最適な映像出力信号の走査方向を用いることで、AFを高速に行なうことができるようになる。すなわち、カメラの姿勢に依らず、フォーカスの合った良好な撮影画像を得ることができる。
以下、本発明の実施形態について図を用いて説明する。図1は、本発明に係る撮像装置の例を示す機能ブロック図である。図1において撮像装置であるカメラ100の撮像素子にはCMOSセンサを用いている。図1においてカメラ100は、レンズ1aとシャッター1bとからなる光学系1と、この光学系1をCPU10の指示によって駆動するモータドライバ2と、撮像素子であるCMOSセンサ3と、画像信号処理を行なうDSP4と、RAWデータや信号処理されたデータを保存するSDRAM5と、撮影した被写体画像を記憶するメモリカード6と、AF評価値の生成に用いる各種調整値などを保持するEEPROM7と、撮像した画像の確認画像の表示や再生画像若しくはカメラ100の動作設定情報の表示を行なうLCD8と、カメラ100の向きを検出する加速度センサ9と、カメラ100全体の動作を制御するCPU10と、カメラ100の撮像操作や動作情報設定操作に用いる操作部11と、を有してなる。
CMOSセンサ3は、光学系1を介して撮像した被写体像をもとに、映像信号を出力するセンサ部31と、センサ部31の出力信号のサンプリングタイミングを制御するタイミングジェネレータ(TG)32と、上記の出力信号をデジタルデータに変換するAD変換器(ADC)33を内蔵し、CPU10の指示によって動作制御がされている。CMOSセンサ3から出力されるデジタルデータは、CMOS素子の配列のままRAWデータとしてSDRAM5に記憶される。以下の説明において、「映像出力信号」とは、上記のRAWデータを指す。
DSP4は、上記CMOSセンサ3から出力される映像出力信号を元にしてAF評価値を生成する処理を行なう他に、AEやホワイトバランスなどの評価値も生成する処理を行なう。これらの評価値を用いて、CPU10はモータドライバ2の動作制御を行なう。また、通常の静止画処理においては、SDRAM5からRAWデータを読出して、輝度信号と色信号を生成して、JPEG処理を行なった後にメモリカード6に記録する。また、RAWデータから表示用RGBまたはYUVに変換されたデータは、VideoDAC(ビデオ用デジタル・アナログ変換器)41から出力されてLCD8に表示される。
CPU10は、AF、AE(自動露出)、ホワイトバランス等の各制御をDSPが生成した評価値に基づいて行なう。また、CPU10は、CMOSセンサ3・DSP4・その他のデバイスに対してパラメータを設定する機能、撮影者が操作する操作部11からの入力に応じた処理を行なう機能、などを有している。例えばAFは、モニタリング時のCMOSセンサ3の映像出力信号をバンドパスフィルタに通し、このフィルタ処理後の信号における輝度信号の周波数成分に応じてDSP4がAF評価値を生成し、このAF評価値に基づいてCPU10がモータドライバ2を介したフォーカスモータの駆動パルスを制御する。
また、CPU10は、加速度センサ9が検出したカメラ100の向きによって当該カメラが正姿勢であるか、縦姿勢であるかを判定する。この判定結果によって、CMOSセンサ3による映像出力信号の読出しエリア設定と、走査の方向の設定を行なう。
次に、本発明に係るカメラ100におけるAFの流れを図2のフローチャートと図3を用いて説明する。図2において、各処理のステップをS21、S22・・・として表記している。図3において符号3aはCMOSセンサ3からの映像出力信号の全範囲を示し、符号3bはAF評価値の算出に用いる映像出力信号の範囲を示す。読出し範囲3bは、任意に設定可能であるが、図3に示すように画像の中心部(全範囲5aの中心)を含む範囲に設定することが好ましい。また、図3において矢印は走査方向を示している。
先ず、カメラ100が被写体像を撮像素子であるCMOSセンサ3を介して撮像し、その映像出力信号をDSP4に入力する(S21)。次に加速度センサ9が、カメラ100の向きを検知して(S22)、CPU10が姿勢判断を行なう(S23)。姿勢が「正姿勢」であると判断した場合、CPU10は図3(a)に示すように、全体範囲3bと読出しエリア3aを設定する(S24a)。姿勢が「縦姿勢」であると判断した場合、CPU10は図3(b)に示すように、全体範囲3bと読出しエリア3aを設定する(S24b)
次に、上記ステップによって設定された読出しエリア3aに対して所定の方向から走査をして(S25)、AF評価値を取得する(S26)。すなわち、ステップS23において正姿勢であると判定された場合は、図3(a)に示すように、横長の全範囲3aにおいて縦方向の中央部分に横方向の読出しエリア3aを設定し、水平方向に走査方向を設定してAF評価値を生成する。これによって、横方向にコントラストが強い被写体に対して適格にAF評価値の変化を検出することができ、AF制御を高速に行なうことが出来る。また、ステップS23において縦姿勢であると判定された場合は、図3(b)に示すように、縦長の全範囲3aにおいて縦方向の中央部分に横方向の読出しエリア3aを設定し、水平方向に走査方向を設定してAF評価値を生成する。これによって、縦姿勢時も正姿勢時と同様に横方向にコントラストが強い被写体に対して適格なAF評価値の変化を検出することができるようになり、AF制御を高速に行なうことができる。
取得したAF評価値に基づいて、CPU10はAF評価値のピーク判定を行なって、モータドライバ2を介して光学系1の駆動モータの駆動パルスを制御し、合焦位置に光学系1を移動させる(S27)。
上記実施例において、ステップS22における姿勢検知処理はカメラ100の電源が投入されて撮像素子に被写体像が取り込まれる段階で行なっている。しかし、本発明にかかるカメラ100の姿勢検知処理はこれに限ることなく、当該カメラ100の電源が投入されている間は一定間隔で繰返して行なうものであってもよい。例えば、操作部11にあるシャッターボタンを押下したときに姿勢を検知してもよく、シャッターボタンが押下された後に姿勢の検知を行なってもよい。
また、上記の実施例において、加速度センサ9が検知するカメラ100の向きに応じてAF評価値の走査方向を変更したが、本発明に係るカメラ100はこれに限ることなく、加速度センサ9によって検知したカメラ100の向きに応じて、CMOSセンサ3の映像出力信号の出力時の走査方向を変更してもよい。この場合、AF評価値の走査方向は、映像出力信号の走査方向と同じ方向に設定すればよい。
次に、本発明に係るカメラ100におけるAFの別の例を図4のフローチャートを用いて説明する。
先ず、カメラ100が被写体像を撮像素子であるCMOSセンサ3を介して撮像し、その映像出力信号をDSP4に入力する(S41)。次に、加速度センサ9がカメラ100の向きを検知して(S42)、CPU10が姿勢判断を行なう(S43)。姿勢が「正姿勢」であると判断した場合、CPU10は図3(a)に示すように、正姿勢に対応した映像出力信号の全体範囲3bとAF評価値生成に用いる読出しエリア3aを設定する(S44a)。姿勢が「縦姿勢」であると判断した場合、CPU10は図3(b)に示すように、縦姿勢に対応した映像出力信号の全体範囲3bとAF評価値生成に用いる読出しエリア3aを設定する(S44b)
次に、上記ステップによって設定された走査方向に応じてAFを開始して(S45)、AF評価値を取得する(S46)。次に、取得したAF評価値を予め規定している閾値と比較して、AF評価値が大きければ(S47のYes)このAF評価値を用いたAFを行なう(S49)。AF評価値が小さければ(S47のNo)ステップ44a及び44bにおいて設定した走査方向とは異なる走査方向に設定を変更し(正姿勢時の設定であれば、縦姿勢時の設定に変更する)、再度、AF評価値の取得を行なう(S48)。取得したAF評価値に基づき、CPU10はモータドライバ2を介して光学系1の駆動モータの駆動パルスを制御する(S49)。
上記のとおり本発明に係るカメラ100は、横縞が多い被写体(縦方向にコントラストを有する被写体)を撮影する際、縦姿勢走査方向によるAF評価値が小さくなり、AF制御に十分なAF評価値が得られない場合であっても、自動的に設定を切換えて再度AF評価値を取得することができ、正確かつ高速なAF処理を行なうことが出来る。
上記の走査方向等の切り換えは、撮影者が操作部11の図示しないスイッチを操作することによって切換え動作をするものであってもよい。
本発明は、デジタルカメラの他にカメラ付携帯電話機などにも適用することができる。
本発明に係る撮像装置の例であるデジタルカメラの機能示すブロック図である。 上記撮像装置のAF制御の例を示すフローチャートである。 上記撮像装置におけるAF評価値の走査方向の例を示す図である。 上記撮像装置のAF制御の別の例を示すフローチャートである。 従来の撮像装置におけるAF評価値の走査方向の例を示す図である。 従来の撮像装置における走査方向とAF評価値の変化の例を示す図である。
符号の説明
1 光学系
2 モータドライバ
3 CMOSセンサ
4 DSP
5 SDRAM
6 メモリカード
7 EEPROM
8 LCD
9 加速度センサ
10 CPU
11 操作部

Claims (5)

  1. 被写体像を撮像する手段と、撮像素子の出力を輝度信号と色信号に処理する信号処理手段と、フォーカス調整手段と、被写体像の周波数成分によって変るフォーカス調整用のAF評価値を生成するAF評価値生成手段と、を有する撮像装置において、
    当該撮像装置の姿勢を加速度によって検出する加速度検出手段をさらに有し、
    上記撮像手段が、
    上記加速度検出手段が検出する上記撮像装置の姿勢に応じて映像信号出力の走査方向を自在に変更することができる撮像素子であり、
    上記AF評価値生成手段が、
    上記加速度検出手段が検出する上記撮像装置の姿勢に応じて、AF評価値の走査方向を変更することを特徴とする撮像装置。
  2. 上記AF評価値の走査方向は、上記撮像素子の走査方向と同一であることを特徴とする請求項1記載の撮像装置。
  3. 上記AF評価値が所定の値に達しないとき、上記AF評価値生成手段における上記AF評価値の走査方向を変更することを特徴とする請求項1記載の撮像装置。
  4. 上記AF評価値が所定の値に達しないとき、上記撮像素子の出力の走査方向を変更することを特徴とする請求項1記載の撮像装置。
  5. 上記撮像素子の走査方向及び上記AF評価値の走査方向は、撮影者の操作によって変更することができる請求項1乃至4のいずれかに記載の撮像装置。
JP2008030856A 2008-02-12 2008-02-12 撮像装置 Pending JP2009194469A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2008030856A JP2009194469A (ja) 2008-02-12 2008-02-12 撮像装置
EP09250322.6A EP2091233B1 (en) 2008-02-12 2009-02-10 Imaging apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008030856A JP2009194469A (ja) 2008-02-12 2008-02-12 撮像装置

Publications (1)

Publication Number Publication Date
JP2009194469A true JP2009194469A (ja) 2009-08-27

Family

ID=40637025

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008030856A Pending JP2009194469A (ja) 2008-02-12 2008-02-12 撮像装置

Country Status (2)

Country Link
EP (1) EP2091233B1 (ja)
JP (1) JP2009194469A (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5035702B2 (ja) 2009-02-27 2012-09-26 カシオ計算機株式会社 撮像装置、オートフォーカス方法及びプログラム
CN103959763B (zh) * 2011-12-09 2017-06-09 惠普发展公司,有限责任合伙企业 用于基于定向来生成图像的装置和方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0329474A (ja) * 1989-06-26 1991-02-07 Sony Corp 映像信号記録装置
JPH04175739A (ja) * 1990-11-09 1992-06-23 Nikon Corp 自動焦点カメラ
WO2005033764A1 (ja) * 2003-09-22 2005-04-14 Sharp Kabushiki Kaisha 撮影レンズ位置制御装置
JP2007057763A (ja) * 2005-08-24 2007-03-08 Canon Inc 焦点調節装置、及び焦点調節方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5239333A (en) * 1990-01-05 1993-08-24 Nikon Corporation Camera exposure calculation device dependent on type of scene to be photographed
US6747690B2 (en) * 2000-07-11 2004-06-08 Phase One A/S Digital camera with integrated accelerometers
JP2004151608A (ja) 2002-11-01 2004-05-27 Fuji Photo Optical Co Ltd オートフォーカスシステム
JP4290100B2 (ja) * 2003-09-29 2009-07-01 キヤノン株式会社 撮像装置及びその制御方法
WO2007045714A1 (en) * 2005-10-21 2007-04-26 Nokia Corporation A method and a device for reducing motion distortion in digital imaging

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0329474A (ja) * 1989-06-26 1991-02-07 Sony Corp 映像信号記録装置
JPH04175739A (ja) * 1990-11-09 1992-06-23 Nikon Corp 自動焦点カメラ
WO2005033764A1 (ja) * 2003-09-22 2005-04-14 Sharp Kabushiki Kaisha 撮影レンズ位置制御装置
JP2007057763A (ja) * 2005-08-24 2007-03-08 Canon Inc 焦点調節装置、及び焦点調節方法

Also Published As

Publication number Publication date
EP2091233A3 (en) 2010-05-26
EP2091233A2 (en) 2009-08-19
EP2091233B1 (en) 2013-05-08

Similar Documents

Publication Publication Date Title
JP5054583B2 (ja) 撮像装置
JP4761146B2 (ja) 撮像装置及びそのプログラム
JP4674471B2 (ja) デジタルカメラ
TWI514847B (zh) 影像處理裝置、影像處理方法、及記錄媒體
TWI459126B (zh) 可產生廣角影像之影像處理裝置、影像處理方法及記錄媒體
JP5115210B2 (ja) 撮像装置
JP2009246558A (ja) 撮像装置及びその制御方法
JP5051812B2 (ja) 撮像装置、その合焦方法および記録媒体
JP2007215091A (ja) 撮像装置及びそのプログラム
JP2008288911A (ja) 撮像装置、顔領域検出プログラム、及び、顔領域検出方法
JP2008054177A (ja) 撮像装置
JP2013098935A (ja) 追尾装置及び追尾方法
JP2011066827A (ja) 画像処理装置、画像処理方法及びプログラム
JP2009175442A (ja) 撮像装置
JP6172973B2 (ja) 画像処理装置
JP2001255451A (ja) 自動合焦装置、デジタルカメラ、および携帯情報入力装置
JP5195663B2 (ja) 撮像装置、合焦方法及びプログラム
JP2009194469A (ja) 撮像装置
JP2007052061A (ja) 撮像装置、合焦動作制御方法および電子情報機器
JP4989243B2 (ja) 撮像装置及びその被写体検出方法
JP2012220890A (ja) 焦点調節装置
JP4985716B2 (ja) 撮像装置、合焦評価領域の設定方法、及び、プログラム
CN106464783B (zh) 图像拾取控制设备、图像拾取设备和图像拾取控制方法
JP5641411B2 (ja) 撮像装置、電子機器、画像処理システムおよびコンピュータ読み取り可能な記録媒体
JP5644180B2 (ja) 撮像装置、撮像方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100709

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110907

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110913

RD13 Notification of appointment of power of sub attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7433

Effective date: 20111110

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111111

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111111

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120515

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20120925