JP2008271368A - 撮像装置、撮像方法、露光制御方法、プログラム - Google Patents
撮像装置、撮像方法、露光制御方法、プログラム Download PDFInfo
- Publication number
- JP2008271368A JP2008271368A JP2007113965A JP2007113965A JP2008271368A JP 2008271368 A JP2008271368 A JP 2008271368A JP 2007113965 A JP2007113965 A JP 2007113965A JP 2007113965 A JP2007113965 A JP 2007113965A JP 2008271368 A JP2008271368 A JP 2008271368A
- Authority
- JP
- Japan
- Prior art keywords
- exposure
- image signal
- short
- time
- long
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 87
- 238000000034 method Methods 0.000 title claims description 49
- 238000012545 processing Methods 0.000 claims description 56
- 239000002131 composite material Substances 0.000 claims description 40
- 238000001514 detection method Methods 0.000 claims description 23
- 230000002194 synthesizing effect Effects 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 abstract description 2
- 230000008569 process Effects 0.000 description 29
- 238000012937 correction Methods 0.000 description 24
- 230000003287 optical effect Effects 0.000 description 15
- 230000008859 change Effects 0.000 description 11
- 230000015572 biosynthetic process Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 238000012544 monitoring process Methods 0.000 description 7
- 238000007781 pre-processing Methods 0.000 description 7
- 238000003786 synthesis reaction Methods 0.000 description 7
- 229920006395 saturated elastomer Polymers 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003247 decreasing effect Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 241000287463 Phalacrocorax Species 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000000875 corresponding effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000005357 flat glass Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000002087 whitening effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
Abstract
【解決手段】ユーザの設定に応じて絞りや長時間露光時間やPGAゲインを調整する設定露光モードでワイドダイナミックレンジ撮像を行う。そして例えば1フィールド期間などの単位期間に得られる長時間露光画像信号と短時間露光画像信号から合成画像信号を生成するが、その合成画像信号について、輝度ヒストグラムを分析する。そしてその結果から短時間露光時間の自動制御を行って、主要被写体以外での白とびを防ぐ。
【選択図】図4
Description
これを応用したものとして、ダイナミックレンジの広い画像を撮像可能な装置(ワイドダイナミックレンジカメラ)があり、その合成画像の品質を向上させる装置・方法が上記特許文献2,3に開示されている。
なお、以下では説明上、ユーザ設定に基づいて露光制御を行う露光モードを「設定露光モード」といい、「自動露光モード」と区別する。
設定露光モードは、撮像素子部での露光時間、絞り、撮像素子部からの撮像信号に与えるゲインを、撮像したい被写体の状態に合わせて、ユーザーが任意の値に設定するモードである。
自動露光モードは、上記の露光時間、絞り、ゲインを、撮像エリアの輝度の検出結果に応じて、適切な輝度になるように、機器内の制御部(マイクロコンピュータ)が自動的に設定するモードである。
その結果、背景などの主要被写体以外の部分で輝度変化が発生したとしても、主要被写体の輝度は変化しないという利点はあるが、一方背景に関しては輝度変化に追従することができないため、輝度の高いものに対しては、飽和して白とびを発生させるといった問題がある。
また上記検波部は、上記輝度情報として輝度ヒストグラムを生成し、上記制御部は、上記輝度ヒストグラムから上記合成画像信号における白とびを検出し、検出結果に基づいて短時間露光時間を設定し、該短時間露光時間を用いて上記撮像部の上記短時間露光画像信号に関する自動露光制御を行う。
また上記制御部は、現在の短時間露光時間と固定値との演算により新たな短時間露光時間を設定する。
或いは上記制御部は、短時間露光時間の収束目標との差分値を算出し、現在の短時間露光時間と上記差分値との演算により新たな短時間露光時間を設定する。
また、上記検波部は、上記輝度ヒストグラムとして、少なくとも輝度レベルを、黒レベル、中間レベル、白レベルに分けて輝度分布を示す情報を生成するとともに、上記制御部は、上記短時間露光時間の設定に、上記中間レベルの情報を用いる。
また本発明のプログラムは、演算処理装置に上記露光制御方法の各ステップの処理を実行させるプログラムである。
つまり、設定露光モードの際に、ワイドダイナミックレンジ撮像機能を利用し、得られた合成後の画像の輝度ヒストグラム(頻度分布)に基づいて短時間露光時間(短時間露光用電子シャッター)を可変させて白とびを防ぐ。
また、この露光制御処理は、あくまで合成画像信号に基づくものであり、合成前の長時間露光画像信号と短時間露光画像信号の処理に依存しない。各種のワイドダイナミックレンジカメラシステムにおいては合成までの処理に各種の違いがあるが、そのような各機種での処理の差異にかかわらず、本発明はワイドダイナミックレンジカメラシステムに広く適用できる。
[1.ワイドダイナミックレンジカメラの概要]
[2.撮像装置の構成]
[3.撮像装置の全体動作]
[4.白とび補正処理]
[5.白とび補正処理の他の例]
[6.変形例及びプログラム]
本実施の形態の撮像装置1は、ワイドダイナミックレンジカメラとしての撮像装置であり、例えば監視カメラなどとして好適に用いられる。もちろん一般ユーザが通常用いるデジタルスチルカメラ、デジタルビデオカメラなどとしても適用可能である。
ここではまず、ワイドダイナミックレンジカメラについて述べておく。
図2は、CCDやCMOS(Complementary Metal Oxide Semiconductor)センサアレイとしての撮像素子部での、1フィールド内の露光時間と蓄積される露光量(電荷量)を示している。
例えば1/60秒の1フィールド期間において、1/64秒の長時間露光と、1/2000秒の短時間露光を行うとする。なお、長時間露光時間と短時間露光時間は可変制御可能である。
この長時間露光と短時間露光を行うことで、1フィールド期間に、長時間露光画像信号と短時間露光画像信号を得る。そしてこの両画像信号を合成する。
合成処理においては、例えば所定の輝度値を切替ポイントSPとする。そして切替ポイントSPよりも低輝度の画素は、長時間露光画像信号の画素信号を採用する。一方、切替ポイントSPよりも高輝度の画素については、短時間露光画像信号の画素信号を採用する。このとき、長時間露光画像と短時間露光画像との露光比を短時間露光画像に乗算することで双方の画像のレベル合わせを行う。
仮に長時間露光画像と短時間露光画像との露光比が10:1であるとすると、短時間露光画像の露光は長時間露光画像の10分の1である。しかし存在する光の量としては短時間露光画像の輝度信号レベルの10倍は光量がある。したがって短時間露光画像信号に10を乗算することによりレベルを合わせる。
このように短時間露光画像信号についてゲイン乗算を行い、図に示すように長時間露光画像信号特性とレベルの合った特性kBを得る。
結果として、特性A−kBの合成画像を生成する。即ち合成画像では、被写体内で比較的暗い領域は長時間露光画像信号による黒つぶれのない画像が得られ、比較的明るい領域は短時間露光画像信号による白とびのない画像が得られる。
例えば画素単位に感度を変えて撮像素子から同じ露光条件の信号のみを抜き出して画像を再生し、露光条件の異なる1又は2以上の画像を合成する方法もある。
またはプリズムにより入射光を分けて、撮像素子と、透過する光を全波長に渡って減少させる、つまり入射光量を等しく減少させるNDフィルタ(Neutral Density Filter:光量調節フィルタ)のような減光機能を持つものとを張り合わせた撮像素子から出力される信号を合成する方法などもある。
例えば銀行などの店舗の出入口、または交通状況の把握のために交通道路など、日中、夜間など撮像される時間帯によりダイナミックレンジが大きく異なる場合において撮像することが多いカメラ、特に監視カメラなどに好適となる。
図1に本例の撮像装置の構成を示す。本例の撮像装置は、撮像光学系1、撮像素子部2,前処理部3、信号処理部4、出力部5、検波部6、タイミングジェネレータ7、光学部品駆動部8、制御部10、操作部11を備える。
撮像素子部2は、例えばCCDセンサアレイ、CMOSセンサアレイなどの固体撮像素子部として構成される。この撮像素子部2は撮像光学系1を介して導かれた光を光電変換し、撮像画像としての電気信号を出力する。本例の場合、撮像素子部2では1フィールド期間に上述した長時間露光と短時間露光を行い、長時間露光画像信号と短時間露光画像信号としての電気信号を時分割出力する。
なお、撮像素子部2は、固体撮像素子を用いる構成に限られない。例えば撮像管のような非固体撮像素子を用いる構成でもよい。非固体撮像素子についても、メカニカルシャッタ、液晶シャッタ等を利用して、長時間露光と短時間露光を行うことは可能である。
前処理部3は、いわゆるアナログフロントエンドであり、撮像素子部2から出力される撮像画像としての電気信号に対してCDS(correlated double sampling :相関2重サンプリング)処理、プログラマブルゲインアンプ(PGA)によるゲイン処理、A/D変換処理を行う。そしてこれらの処理を行った長時間露光画像信号と短時間露光画像信号を信号処理部4に供給する。
信号処理部4は、生成した合成画像信号を出力部5及び検波部6に出力する。
検波部6は、信号処理部4からの合成画像信号についての輝度分析処理を行い、合成画像信号の輝度情報として輝度ヒストグラムの情報を生成し、制御部10に供給する。
制御部10におけるROMには、後述する設定露光モードでの露光制御処理を実行させるプログラムが格納されており、該プログラムに基づいて、上記の検波部6から供給される輝度ヒストグラムを用い、必要な演算・制御処理を実行する。
また撮像素子部2の駆動の調整により、図2のような露光時間が相対的に長い長時間露光画像信号と、露光時間が相対的に短い短時間露光画像信号とを出力させることが可能である。また長時間露光画像信号と短時間露光画像信号について、露光時間を可変することも可能である。
光学部品駆動部8は、撮像光学系1における光学部品の駆動を行う。本例に関していえば、少なくとも絞り1aを駆動し、入射光量を調節するための駆動回路部とされる。
特に本例における設定露光モードの場合は、ユーザは絞り1aの開口量、撮像素子部2における長時間露光時間、前処理部3のプログラマブルゲインアンプ(PGA)のゲインに関する設定操作を、操作部11により実行できる。
また、ここでは図示していないが、例えば電波や赤外線による無線方式での操作信号の受信部を設け、リモートコントローラを用いた操作により、ユーザが露光設定の操作を実行できるようにしてもよい。もちろんリモートコントローラが有線接続されてリモートコントローラからの操作信号が入力されるようにしてもよい。
以下、本例の撮像装置で実行される露光制御に関する動作を説明する。まずここでは撮像装置が設定露光モードとされた際の、露光制御を含む全体的な撮像動作を述べる。
図4は、1フィールド期間としての一連の動作を示している。撮像中は、この図4の処理が繰り返される。
設定露光モードの場合、ユーザが例えば操作部11により操作を行って、主要被写体に対して適切な露光設定を行うことになる。このため、制御部10は撮像中にステップST1としてユーザの露光調整の操作を監視しており、ユーザが操作部11から露光調整の操作を行うと、制御部10はステップST2として露光制御を行う。
即ち制御部10は、ユーザによる絞り1a、長時間露光時間、PGAゲインについての設定操作入力値に基づく制御を行う。この場合、光学部品駆動部8に絞り1aの駆動を実行させ、またタイミングジェネレータ7に長時間露光時間を指示し、また前処理部3にPGAのゲインを指示する。
この処理により、ユーザは撮像したい被写体の状態に合わせて操作を行うことで、絞り1aの開口量、長時間露光時間、PGAゲイン定が、ユーザの求める値に設定される。例えば、長時間露光時間1/120秒、絞りF8、ゲイン6dBなどというような任意の値に設定される。
なお、これらの3つのパラメータの制御を全て行う他、これらの内の1つ又は2つの制御を行うようにしても良い。
またユーザによる操作方式としては、これら3つのパラメータをそれぞれ個別に指定できるようにしてもよいし、ユーザ操作としては露光量の増大/低減の操作を行うようにし、その操作に応じて制御部10が絞り1a、長時間露光時間、PGAゲインについての各設定値を算出して制御するようにしてもよい。
タイミングジェネレータ7は、異なる二つの電子シャッタースピードを設定することが可能であり、1フィールド期間に図2で述べたような長時間露光と短時間露光を撮像素子部2に実行させる。これにより露光量の違う二つの撮像画像信号が得られる。上記のとおり、長時間露光画像信号と短時間露光画像信号はそれぞれ前処理部3で処理されて信号処理部4に供給される。
なお、長時間露光時間は、ユーザ設定としての露光操作に基づいて調整された露光時間となる。一方、短時間露光時間は、後述するステップST7で自動制御される露光時間となる。
信号処理部4は、前処理部3でデジタル化された長時間露光画像信号と短時間露光画像信号を図3で述べた手法で合成し、ダイナミックレンジを拡大させた合成画像信号を生成する。この合成画像信号は、出力部5から例えばモニタディスプレイでの表示のために出力される。
合成画像信号は検波部6にも供給される。検波部6は、合成画像信号の輝度ヒストグラムを生成し、それをフィールド毎に制御部10に送信する。
図5に輝度ヒストグラムの例を示す。この例では、輝度について黒レベルBから白レベルWまでを、「B」「mb1」「mb2」「mb3」「mw3」「mw2」「mw1」「W」という8段階の輝度に分け、この8段階の各輝度についての1フィールド画像内での割合(%)を示すものとしている。
制御部10は、検波部6から輝度ヒストグラムを取得する。そして輝度ヒストグラムから合成画像信号における白とびを検出する。さらに、合成画像信号の白とびがなくなるように短時間露光時間を決定する。
白とびの検出は、輝度ヒストグラムの白部分(W)の比率を検査することで行う。また短時間露光時間は、輝度ヒストグラムの白部分(W)が一定の割合になる様に設定する。
制御部10は、上記白とび補正処理として決定した短時間露光時間を用いて自動的な露光制御を行う。
即ち上記白とび補正処理で設定された短時間露光時間をタイミングジェネレータ7に指示し、撮像素子部2の短時間露光時間を変化させることとで、短時間露光画像信号について必要な露光量を得る。
上記図4のステップST6として制御部10が実行する白とび補正処理を図6に詳細に示す。
制御部10はステップF100で、検波部6から出力される輝度ヒストグラムを取得する。
そして制御部10は、ステップF101で輝度ヒストグラムの白部分(W)の比率が10%以上であるか否かを判断する。10%以上であれば、合成画像信号において白とびが発生していると判断し、ステップF103に進んで、短時間露光時間Ttを、現在の短時間露光時間Ttから固定値Ctを減算した値に更新する。つまり、露光量を少なくする方向に更新する。
また、輝度ヒストグラムの白部分(W)の比率が10%未満であった場合は、ステップF102で、白部分(W)の比率が5%以下であるか否かを判断する。5%以下であれば、ステップF104に進んで、短時間露光時間Ttを、現在の短時間露光時間Ttに固定値Ctを加算した値に更新する。つまり露光量を多くする方向に更新する。
ステップF102で5%以下ではない、つまり白部分(W)が5〜10%の範囲であった場合は、適正な露光量であるとしてステップF105に進み、短時間露光時間Ttを現状のまま維持する。
この図6のような白とび補正処理(ST6)を含む図4の処理がフィールド期間毎に繰り返されることで、合成画像信号において白とびが発生しない露光状態に収束されていく。
なお、図6のステップF103,F104で、現在の短時間露光時間と固定値との演算により新たな短時間露光時間を設定することで、露光量が緩やかにを変化されながら合成画像信号の輝度が調節されることになる。
上述したように、ワイドダイナミックレンジ撮像機能を持たない通常のカメラにおいて、露光制御モードを設定露光モードとした場合は、ユーザ操作に応じて、撮像したい被写体(主要被写体)の輝度に合わせて適正露光レベルとなるように絞り、露光時間、ゲインを調整することになる。その結果、背景などの主要被写体以外の部分で輝度変化が発生したとしても、主要被写体の輝度は変化しないという利点はあるが、背景に関しては輝度変化に追従することができず輝度の高い部分で白とびを発生させる可能性がある。
本例の撮像装置では、設定露光モードでワイドダイナミックレンジ撮像を行ない、その合成後の画像の輝度ヒストグラム(頻度分布)を分析し、その結果から短時間露光時間をフィードバック制御することで白とびを防ぐ。これにより設定露光モードでの問題を解消することができる。
図7では、銀行などの或る建物30の室内に監視カメラ20を設置した状態を示している。この監視カメラ20により室内の画像が撮像される。例えば室内に居る人物31が撮像される。さらに、特に屋内に居る人物31と合わせて、屋外の駐車車両32も監視したいため、窓ガラス33から見える屋外の画像も撮像できるように監視カメラ20が配置されているとする。
例えば室内の照度は800ルクス、屋外が10,000ルクスと輝度差が大きいので、ワイドダイナミックレンジ撮像を行なうことで、室内と屋内で、それぞれ黒つぶれや白とびが発生しないような撮像を行うものである。
また自動露光モードでの処理については詳細は省略するが、自動露光モードの場合、例えば検波部6で得られる輝度ヒストグラムや輝度積算値から、制御部10が適切な補正量を算出し、絞り1aの開口量、長時間露光時間、PGAゲインを自動制御する。
自動露光モードでワイドダイナミックレンジ撮像した場合、撮像された映像全体を黒つぶれ、白とびがないようにできるが、そのとき人物31の顔などは、周辺の輝度の影響を受けるので、最も確認しやすい露光状態とは限らない。このため、若干見えずらい状況となることがある。
そこで、ユーザは、不審な人物31の映像を録画機に残すことを考え、顔が最もよく確認できる状態にするために自動露光モードから設定露光モードに切り替える。
そしてユーザは撮像画像を見ながら操作部11で露光調整操作を行う。制御部10はユーザの操作に応じて絞り1aの開口量、長時間露光時間、PGAゲインを制御する。ユーザが人物31の顔を主要被写体として画像を見ながら露光設定を行うことで、人物31が最もよく確認できる露光状態に調整されることになる。
設定露光モードに切り替えて露光調整を行った場合、ワイドダイナミックレンジ撮像ができない通常のカメラでは、人物31の顔は鮮明に確認できるが、屋外の駐車車両32は輝度差が大きいため、図8(b)のように飽和(白とび)してしまい車種を確認することができない。
またワイドダイナミックレンジ撮像が可能なカメラであっても、本例のように輝度変化に追従して短時間露光時間が変化されるものではない場合(短時間露光時間が固定のカメラ場合)、屋外の照度は天候や時間帯で変化することから、屋外が想定よりも高い照度であった場合は図8(b)のように飽和(白とび)してしまい、車種を確認できないことが考えられる。
このため、図8(b)のような白とびが発生することが防止され、室内と屋外の照度差や、屋外の照度変化に影響を受けることなく、図8(c)のような撮像画像を得ることができる。即ち屋内の不審な人物31の鮮明な確認と、屋外の駐車車両32の車種等の確認が可能な画像を得ることができ、設定露光モードを有効に活用することができる。
これはモニタディスプレイに出力される映像の画質を向上させていることに等しく、モニタディスプレイを見る利用者の観点での画質向上が可能となるものである。
ワイドダイナミックレンジカメラにおいては、ダイナミックレンジといった数値的な観点も重要であるが、利用者は最終映像の仕上がりを重視する面もあり、最終段階での画像を最適化できることの効果は大きい。
また合成のタイミング(1フィールドもしくは2フィールドで二つの異なる露光量の画像を得るのか)にも影響を受けないため、装置全体に対する依存率が下がり、より多くのワイドダイナミックレンジカメラシステムに適応できる。
また、検波部6は合成画像信号を扱うため、1系統の検波部だけがあればよく、長時間露光画像信号と短時間露光画像信号のそれぞれに対して検波部を設ける必要もないため装置全体を簡素化できる利点がある。
上記実施の形態においては、図4のステップST6の白とび補正処理の処理例として図6の処理を述べたが、この白とび補正処理の他の例を図9,図10で説明する。
図9のステップF100で、輝度ヒストグラムを取得したら、制御部10は、ステップF100−2として、輝度ヒストグラムのM2部が40%以下であるか否かを判別する。
M2部とは、図5の輝度ヒストグラムにおける、mw1部、mw2部、mw3部(つまり中間輝度の高輝度側)のことであり、mw1部、mw2部、mw3部の合算値が40%を越えているか否かを判別する。
このM2部となる中間部分の輝度が十分に取れている場合は、白とびを解消することにより、中間輝度部分の輝度を低下させてしまう可能性があるため、補正を行わないようにする。
即ち、M2部が40%を越えている場合は、ステップF105に進み、短時間露光時間Ttは現状の値を維持する。
M2部が40%以下であったら、ステップF101に進む。ステップF101,F102、F103,F104,F105の処理は図6と同様である。
このような処理によれば、白とびを解消させることで逆に輝度低下領域が発生してしまうような事態を避けることができる。
この図10の処理では、制御部10はステップF100で輝度ヒストグラムを取得したら、ステップF110で輝度ヒストグラムにおける白部分(W)の割合X%を確認する。
そしてステップF111で、白部分(W)の割合を7%にするために必要な短時間露光時間差分値ΔTを算出する。短時間露光時間差分値ΔTは、輝度ヒストグラムの白部分(W)の割合を7%にするために必要な短時間露光時間Ttの補正量としての値であり、これは現在の白部分(W)の割合X%から関数Fにより求められることとする。また7%は適正な白部分(W)の割合としての設定値の一例である。
そしてステップF512で、短時間露光時間Ttを、現在の短時間露光時間Ttに短時間露光時間差分値ΔTを加算した値に更新する。
以上、実施の形態を説明してきたが、本発明としては多様な変形例が考えられる。
例えば本発明は動画撮像を行うカメラシステムに適用できるが、静止画撮像を行うカメラシステムにも適用できる。設定露光モードで静止画撮像を行う場合であっても、例えば撮像タイミングに至までのモニタリング中に、各フィールド期間で上述のような露光制御(短時間露光時間の制御)を行えばよい。
また、例えばノンインターレーススキャン方式の撮像を行う場合、上述してきたフィールド期間の処理はフレーム期間の処理として考えればよい。
もちろん、スキャン方式に限らず、設定露光モードにおいて短時間露光時間の自動制御を行う単位期間としては、フィールド期間、フレーム期間、複数フィールド期間、複数フレーム期間などとして、多様に考えられる。例えば複数フレーム期間ごとに1回の割合で、図4の輝度ヒストグラム生成処理(ST5)、白とび補正処理(ST6)、短時間露光制御処理(ST7)が行われるような動作例も考えられる。
このようなプログラムは、パーソナルコンピュータや、撮像装置等の機器に内蔵されている記録媒体としてのHDDや、CPUを有するマイクロコンピュータ内のROMやフラッシュメモリ等に予め記録しておくことができる。
あるいはまた、フレキシブルディスク、CD−ROM(Compact Disc Read Only Memory)、MO(Magnet optical)ディスク、DVD(Digital Versatile Disc)、ブルーレイディスク、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納(記録)しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、プログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、LAN(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。
Claims (8)
- 被写体からの入射光から、露光時間が相対的に長い長時間露光画像信号と露光時間が相対的に短い短時間露光画像信号とから成る撮像画像信号を出力する撮像部と、
上記長時間露光画像信号と上記短時間露光画像とを合成することにより、少なくとも上記長時間露光画像信号又は上記短時間露光画像信号のダイナミックレンジいずれかよりも相対的にダイナミックレンジが広い合成画像信号を生成する信号処理部と、
上記合成画像信号についての輝度情報を生成する検波部と、
ユーザ設定に基づく露光モードにおいて、上記ユーザ設定に応じて上記撮像部の露光制御を行うとともに、上記輝度情報を用いて、上記撮像部の上記短時間露光画像信号に関する自動露光制御を行う制御部と、
を備えたことを特徴とする撮像装置。 - 上記検波部は、上記輝度情報として輝度ヒストグラムを生成し、
上記制御部は、上記輝度ヒストグラムから上記合成画像信号における白とびを検出し、検出結果に基づいて短時間露光時間を設定し、該短時間露光時間を用いて上記撮像部の上記短時間露光画像信号に関する自動露光制御を行うことを特徴とする請求項1に記載の撮像装置。 - 上記制御部は、現在の短時間露光時間と固定値との演算により新たな短時間露光時間を設定することを特徴とする請求項1に記載の撮像装置。
- 上記制御部は、短時間露光時間の収束目標との差分値を算出し、現在の短時間露光時間と上記差分値との演算により新たな短時間露光時間を設定することを特徴とする請求項1に記載の撮像装置。
- 上記検波部は、上記輝度ヒストグラムとして、少なくとも輝度レベルを、黒レベル、中間レベル、白レベルに分けて輝度分布を示す情報を生成するとともに、
上記制御部は、上記短時間露光時間の設定に、上記中間レベルの情報を用いることを特徴とする請求項2に記載の撮像装置。 - ユーザ設定に基づいて露光制御が行われる露光モードにおいて、被写体からの入射光から、露光時間が相対的に長い長時間露光画像信号と露光時間が相対的に短い短時間露光画像信号とから成る撮像画像信号を出力するステップと、
上記長時間露光画像信号と上記短時間露光画像とを合成することにより、少なくとも上記長時間露光画像信号又は上記短時間露光画像信号のダイナミックレンジいずれかよりも相対的にダイナミックレンジが広い合成画像信号を生成するステップと、
上記合成画像信号についての輝度情報を生成するステップと、
上記輝度情報を用いて上記短時間露光画像信号に関する自動露光制御を行うステップと、
を備えたことを特徴とする撮像方法。 - 露光時間が相対的に長い長時間露光画像信号と露光時間が相対的に短い短時間露光画像信号を得、上記長時間露光画像信号と上記短時間露光画像とを合成することにより、少なくとも上記長時間露光画像信号又は上記短時間露光画像信号のダイナミックレンジいずれかよりも相対的にダイナミックレンジが広い合成画像信号を生成して出力する撮像装置の、ユーザ設定に基づく露光制御が行われる露光モードでの露光制御方法として、
上記合成画像信号についての輝度情報を取得するステップと、
上記輝度情報から上記合成画像信号における白とびを検出するステップと、
白とびの検出結果に基づいて短時間露光時間を設定するステップと、
上記短時間露光時間を用いて上記短時間露光画像に関する露光制御を行うステップと、
を備えたことを特徴とする露光制御方法。 - 露光時間が相対的に長い長時間露光画像信号と露光時間が相対的に短い短時間露光画像信号を得、上記長時間露光画像信号と上記短時間露光画像とを合成することにより、少なくとも上記長時間露光画像信号又は上記短時間露光画像信号のダイナミックレンジいずれかよりも相対的にダイナミックレンジが広い合成画像信号を生成して出力する撮像装置における、ユーザ設定に基づく露光制御が行われる露光モードでの露光制御のためのプログラムとして、
上記合成画像信号についての輝度情報を取得するステップと、
上記輝度情報から上記合成画像信号における白とびを検出するステップと、
白とびの検出結果に基づいて短時間露光時間を設定するステップと、
上記短時間露光時間を用いて上記短時間露光画像に関する露光制御を行うステップと、
を演算処理装置に実行させるプログラム。
Priority Applications (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007113965A JP4341691B2 (ja) | 2007-04-24 | 2007-04-24 | 撮像装置、撮像方法、露光制御方法、プログラム |
US12/055,741 US7948538B2 (en) | 2007-04-24 | 2008-03-26 | Image capturing apparatus, image capturing method, exposure control method, and program |
EP08005827.4A EP1986422B1 (en) | 2007-04-24 | 2008-03-27 | Image capturing apparatus, image capturing method, exposure control method, and program |
TW097114288A TWI371964B (en) | 2007-04-24 | 2008-04-18 | Image capturing apparatus, image capturing method, exposure control method, and program |
CN2008100950193A CN101296321B (zh) | 2007-04-24 | 2008-04-23 | 摄像装置、摄像方法和曝光控制方法 |
KR1020080037644A KR101432307B1 (ko) | 2007-04-24 | 2008-04-23 | 촬상 장치, 촬상 방법, 노광 제어 방법, 및 기록 매체 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007113965A JP4341691B2 (ja) | 2007-04-24 | 2007-04-24 | 撮像装置、撮像方法、露光制御方法、プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008271368A true JP2008271368A (ja) | 2008-11-06 |
JP4341691B2 JP4341691B2 (ja) | 2009-10-07 |
Family
ID=39639528
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007113965A Expired - Fee Related JP4341691B2 (ja) | 2007-04-24 | 2007-04-24 | 撮像装置、撮像方法、露光制御方法、プログラム |
Country Status (6)
Country | Link |
---|---|
US (1) | US7948538B2 (ja) |
EP (1) | EP1986422B1 (ja) |
JP (1) | JP4341691B2 (ja) |
KR (1) | KR101432307B1 (ja) |
CN (1) | CN101296321B (ja) |
TW (1) | TWI371964B (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010178164A (ja) * | 2009-01-30 | 2010-08-12 | Ricoh Co Ltd | 撮像装置 |
US8421882B2 (en) | 2009-06-03 | 2013-04-16 | Sony Corporation | Imaging apparatus and imaging control method |
CN103685965A (zh) * | 2012-09-18 | 2014-03-26 | 浙江大华技术股份有限公司 | 一种图像信息的处理方法和设备 |
JP2015144475A (ja) * | 2015-03-11 | 2015-08-06 | キヤノン株式会社 | 撮像装置、撮像装置の制御方法、プログラム及び記憶媒体 |
US9743031B2 (en) | 2013-09-27 | 2017-08-22 | Fujifilm Corporation | Imaging device and imaging method |
JP2021042977A (ja) * | 2019-09-06 | 2021-03-18 | 株式会社ミツトヨ | 画像測定機および画像測定方法 |
Families Citing this family (45)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8763925B2 (en) | 2005-11-17 | 2014-07-01 | Pentair Water Pool And Spa, Inc. | Laminar flow water jet with wave segmentation, additive, and controller |
US8149283B2 (en) * | 2007-01-23 | 2012-04-03 | Nikon Corporation | Image processing device, electronic camera, image processing method, and image processing program |
JP4424403B2 (ja) * | 2007-09-28 | 2010-03-03 | ソニー株式会社 | 撮像装置、撮像方法及び撮像プログラム |
JP4438847B2 (ja) | 2007-09-28 | 2010-03-24 | ソニー株式会社 | 撮像装置、撮像制御方法及び撮像制御プログラム |
JP4424402B2 (ja) * | 2007-09-28 | 2010-03-03 | ソニー株式会社 | 撮像装置、撮像制御方法、撮像制御プログラム |
JP4561912B2 (ja) * | 2008-09-12 | 2010-10-13 | ソニー株式会社 | 撮像装置、撮像方法及びプログラム |
JP2010219624A (ja) * | 2009-03-13 | 2010-09-30 | Toshiba Corp | 画像信号処理装置及び画像信号処理方法 |
WO2010118177A1 (en) * | 2009-04-08 | 2010-10-14 | Zoran Corporation | Exposure control for high dynamic range image capture |
DE102009018318A1 (de) * | 2009-04-22 | 2010-10-28 | Wincor Nixdorf International Gmbh | Selbstbedienungsterminal mit mindestens einer Bilddaten erzeugenden Kamera zum Erkennen von Manipulationsversuchen |
US8525900B2 (en) | 2009-04-23 | 2013-09-03 | Csr Technology Inc. | Multiple exposure high dynamic range image capture |
US8237813B2 (en) | 2009-04-23 | 2012-08-07 | Csr Technology Inc. | Multiple exposure high dynamic range image capture |
US8570396B2 (en) * | 2009-04-23 | 2013-10-29 | Csr Technology Inc. | Multiple exposure high dynamic range image capture |
US20100289910A1 (en) * | 2009-05-15 | 2010-11-18 | Moran Research And Consulting, Inc. | Method and apparatus for remote camera control |
JP5439197B2 (ja) * | 2010-01-15 | 2014-03-12 | オリンパスイメージング株式会社 | 撮像装置、撮像方法、および、撮像プログラム |
EP2590024A4 (en) * | 2010-06-30 | 2016-05-18 | Fujifilm Corp | METHOD AND APPARATUS FOR IMAGING |
ES2726775T3 (es) * | 2010-09-09 | 2019-10-09 | Red Com Llc | Aparato y método para reducir o evitar el aliasing temporal en cámaras cinematográficas |
CN102075688B (zh) * | 2010-12-28 | 2012-07-25 | 青岛海信网络科技股份有限公司 | 单帧双曝光图像宽动态处理方法 |
US9516238B2 (en) * | 2011-02-10 | 2016-12-06 | Hewlett-Packard Development Company, L.P. | Noise suppression |
JP5744614B2 (ja) * | 2011-04-28 | 2015-07-08 | オリンパス株式会社 | 画像処理装置、画像処理方法、および、画像処理プログラム |
JP6021465B2 (ja) * | 2011-07-11 | 2016-11-09 | キヤノン株式会社 | 画像処理装置及び画像処理装置の制御方法 |
CN103999458A (zh) * | 2011-12-16 | 2014-08-20 | 索尼公司 | 图像捕获设备 |
JP6107079B2 (ja) * | 2012-11-21 | 2017-04-05 | 富士通株式会社 | 報知制御方法、報知制御装置および報知制御プログラム |
EP2763396A1 (en) * | 2013-01-30 | 2014-08-06 | ST-Ericsson SA | Automatic exposure bracketing |
ES2700733T3 (es) | 2013-04-05 | 2019-02-19 | Red Com Llc | Filtración óptica para cámaras |
KR102145201B1 (ko) * | 2013-08-12 | 2020-08-18 | 삼성전자주식회사 | 이미지의 동적 범위 향상을 위한 방법 및 장치 |
KR102130756B1 (ko) * | 2013-12-24 | 2020-07-06 | 한화테크윈 주식회사 | 자동 초점 조절 방법 및 자동 초점 조절 장치 |
JP2016006930A (ja) * | 2014-06-20 | 2016-01-14 | ソニー株式会社 | 撮像装置および撮像方法 |
CN104144325A (zh) * | 2014-07-08 | 2014-11-12 | 北京汉王智通科技有限公司 | 一种监控方法及监控设备 |
CN104113701B (zh) * | 2014-07-25 | 2017-08-11 | 努比亚技术有限公司 | 拍摄方法及装置 |
JP2016049260A (ja) * | 2014-08-29 | 2016-04-11 | アルプス電気株式会社 | 車載用撮像装置 |
CN104639845B (zh) | 2015-03-17 | 2017-12-26 | 上海兆芯集成电路有限公司 | 高动态范围图像产生方法以及使用该方法的装置 |
TWI576653B (zh) * | 2015-07-31 | 2017-04-01 | 廣達電腦股份有限公司 | 曝光控制系統及其方法 |
CN107534737B (zh) * | 2015-08-31 | 2020-11-17 | 华为技术有限公司 | 一种拍摄图片的方法及装置 |
CN106056129A (zh) * | 2016-05-16 | 2016-10-26 | 西安邮电大学 | 一种融合多种特征的监控视频图像过曝光区域检测方法 |
JP6534780B2 (ja) * | 2016-10-04 | 2019-06-26 | 富士フイルム株式会社 | 撮像装置、撮像方法、およびプログラム |
CN106791470B (zh) * | 2016-12-28 | 2019-08-16 | 上海兴芯微电子科技有限公司 | 基于高动态范围摄像装置的曝光控制方法和装置 |
CN109413335B (zh) * | 2017-08-16 | 2020-12-18 | 瑞芯微电子股份有限公司 | 一种双重曝光合成hdr图像的方法和装置 |
CN107635102B (zh) * | 2017-10-30 | 2020-02-14 | Oppo广东移动通信有限公司 | 高动态范围图像曝光补偿值获取方法和装置 |
EP3585047B1 (de) * | 2018-06-20 | 2021-03-24 | ZKW Group GmbH | Verfahren und vorrichtung zur erstellung von hochkontrastbildern |
CN110891146B (zh) * | 2018-09-10 | 2021-12-28 | 浙江宇视科技有限公司 | 一种强光抑制方法及装置 |
CN110661983B (zh) * | 2019-11-12 | 2021-03-19 | 腾讯科技(深圳)有限公司 | 图像采集方法、装置、设备及存储介质 |
CN111654638B (zh) * | 2020-04-30 | 2021-09-07 | 深圳英飞拓智能技术有限公司 | 摄像机宽动态成像曝光调节方法及装置 |
CN112819722B (zh) * | 2021-02-03 | 2024-09-20 | 东莞埃科思科技有限公司 | 一种红外图像人脸曝光方法、装置、设备及存储介质 |
US11651601B1 (en) * | 2022-01-26 | 2023-05-16 | Conduent Business Services, Llc | Automatic license plate recognition camera for traffic enforcement |
CN115361505B (zh) * | 2022-08-16 | 2024-04-30 | 豪威集成电路(成都)有限公司 | 一种场景自适应的aec目标亮度控制方法 |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5194960A (en) * | 1990-03-05 | 1993-03-16 | Konica Corporation | Optical image signal control device |
JP3074967B2 (ja) | 1992-10-27 | 2000-08-07 | 松下電器産業株式会社 | 高ダイナミックレンジ撮像・合成方法及び高ダイナミックレンジ撮像装置 |
JP3805094B2 (ja) | 1998-01-16 | 2006-08-02 | 松下電器産業株式会社 | 固体撮像装置 |
DE69804756D1 (de) | 1998-01-16 | 2002-05-16 | Innolink S A | Zusammensetzung zur Herstellung von Palettenfüssen oder von Bauteilen wie Bauplatten, Mauerweksteinen und dergleichen |
JP2000050238A (ja) * | 1998-07-27 | 2000-02-18 | Matsushita Electric Ind Co Ltd | 監視カメラ装置 |
JP4245699B2 (ja) | 1998-09-16 | 2009-03-25 | オリンパス株式会社 | 撮像装置 |
CA2314758A1 (en) | 2000-07-28 | 2002-01-28 | Tenet Medical Engineering Inc. | Releasable lockable re-positionable arm like support apparatus |
JP2002084449A (ja) | 2000-09-08 | 2002-03-22 | Sanyo Electric Co Ltd | 固体撮像素子を用いた撮像装置 |
JP3949903B2 (ja) | 2001-04-09 | 2007-07-25 | 東芝エルエスアイシステムサポート株式会社 | 撮像装置及び撮像信号処理方法 |
US7176976B2 (en) | 2001-08-30 | 2007-02-13 | Lightsurf Technologies, Inc. | Autoexposure methodology in a digital camera |
US7379094B2 (en) * | 2002-04-18 | 2008-05-27 | Olympus Corporation | Electronic still imaging apparatus and method having function for acquiring synthesis image having wide-dynamic range |
JP3801126B2 (ja) | 2002-09-25 | 2006-07-26 | ソニー株式会社 | 撮像装置,撮像装置の画像出力方法,およびコンピュータプログラム |
JP4306750B2 (ja) * | 2007-03-14 | 2009-08-05 | ソニー株式会社 | 撮像装置、撮像方法、露光制御方法、プログラム |
JP4438847B2 (ja) | 2007-09-28 | 2010-03-24 | ソニー株式会社 | 撮像装置、撮像制御方法及び撮像制御プログラム |
JP4424403B2 (ja) | 2007-09-28 | 2010-03-03 | ソニー株式会社 | 撮像装置、撮像方法及び撮像プログラム |
JP4424402B2 (ja) | 2007-09-28 | 2010-03-03 | ソニー株式会社 | 撮像装置、撮像制御方法、撮像制御プログラム |
JP4561912B2 (ja) | 2008-09-12 | 2010-10-13 | ソニー株式会社 | 撮像装置、撮像方法及びプログラム |
-
2007
- 2007-04-24 JP JP2007113965A patent/JP4341691B2/ja not_active Expired - Fee Related
-
2008
- 2008-03-26 US US12/055,741 patent/US7948538B2/en active Active
- 2008-03-27 EP EP08005827.4A patent/EP1986422B1/en not_active Ceased
- 2008-04-18 TW TW097114288A patent/TWI371964B/zh not_active IP Right Cessation
- 2008-04-23 KR KR1020080037644A patent/KR101432307B1/ko active IP Right Grant
- 2008-04-23 CN CN2008100950193A patent/CN101296321B/zh not_active Expired - Fee Related
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010178164A (ja) * | 2009-01-30 | 2010-08-12 | Ricoh Co Ltd | 撮像装置 |
US8421882B2 (en) | 2009-06-03 | 2013-04-16 | Sony Corporation | Imaging apparatus and imaging control method |
CN103685965A (zh) * | 2012-09-18 | 2014-03-26 | 浙江大华技术股份有限公司 | 一种图像信息的处理方法和设备 |
US9743031B2 (en) | 2013-09-27 | 2017-08-22 | Fujifilm Corporation | Imaging device and imaging method |
JP2015144475A (ja) * | 2015-03-11 | 2015-08-06 | キヤノン株式会社 | 撮像装置、撮像装置の制御方法、プログラム及び記憶媒体 |
JP2021042977A (ja) * | 2019-09-06 | 2021-03-18 | 株式会社ミツトヨ | 画像測定機および画像測定方法 |
JP7303074B2 (ja) | 2019-09-06 | 2023-07-04 | 株式会社ミツトヨ | 画像測定機および画像測定方法 |
Also Published As
Publication number | Publication date |
---|---|
CN101296321B (zh) | 2010-12-15 |
JP4341691B2 (ja) | 2009-10-07 |
TWI371964B (en) | 2012-09-01 |
TW200913682A (en) | 2009-03-16 |
CN101296321A (zh) | 2008-10-29 |
US20080266424A1 (en) | 2008-10-30 |
EP1986422B1 (en) | 2016-11-30 |
EP1986422A1 (en) | 2008-10-29 |
US7948538B2 (en) | 2011-05-24 |
KR20080095786A (ko) | 2008-10-29 |
KR101432307B1 (ko) | 2014-08-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4341691B2 (ja) | 撮像装置、撮像方法、露光制御方法、プログラム | |
JP4306750B2 (ja) | 撮像装置、撮像方法、露光制御方法、プログラム | |
JP4424402B2 (ja) | 撮像装置、撮像制御方法、撮像制御プログラム | |
JP4424403B2 (ja) | 撮像装置、撮像方法及び撮像プログラム | |
JP4438847B2 (ja) | 撮像装置、撮像制御方法及び撮像制御プログラム | |
JP4306752B2 (ja) | 撮像装置、測光方法、輝度算出方法、プログラム | |
JP4561912B2 (ja) | 撮像装置、撮像方法及びプログラム | |
JP4770907B2 (ja) | 撮像装置、撮像方法及びプログラム | |
JP4600684B2 (ja) | 撮影装置及び撮影方法 | |
JP4893569B2 (ja) | 撮像装置、撮像制御方法及び撮像制御プログラム | |
JP2014017681A (ja) | 撮像装置、該撮像装置の制御方法、プログラム、記憶媒体 | |
JP2008206111A (ja) | 撮影装置及び撮影方法 | |
JP5257487B2 (ja) | 撮像装置、撮像方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090327 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090407 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090511 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090616 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090629 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120717 Year of fee payment: 3 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 4341691 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120717 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120717 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130717 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |