JP2012138671A - ステレオカメラ装置 - Google Patents
ステレオカメラ装置 Download PDFInfo
- Publication number
- JP2012138671A JP2012138671A JP2010288259A JP2010288259A JP2012138671A JP 2012138671 A JP2012138671 A JP 2012138671A JP 2010288259 A JP2010288259 A JP 2010288259A JP 2010288259 A JP2010288259 A JP 2010288259A JP 2012138671 A JP2012138671 A JP 2012138671A
- Authority
- JP
- Japan
- Prior art keywords
- camera
- timing
- imaging units
- stereo camera
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 claims description 62
- 238000000034 method Methods 0.000 claims description 37
- 230000001360 synchronised effect Effects 0.000 abstract description 19
- 230000010363 phase shift Effects 0.000 description 26
- 238000010586 diagram Methods 0.000 description 14
- 230000008054 signal transmission Effects 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 3
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 1
Images
Landscapes
- Stereoscopic And Panoramic Photography (AREA)
- Studio Devices (AREA)
Abstract
【解決手段】複数の撮像部と、該複数の撮像部のそれぞれの撮像タイミングをフレーム同期信号によって制御する制御部と、前記撮像部から出力された映像信号を受けて画像処理を行う画像処理部とからなるステレオカメラ装置において、前記制御部は、被写体との距離が所定の距離よりも大きい場合に前記複数の撮像部のフレーム同期信号のタイミングを一致させておき、被写体との距離が前記所定の距離以下である場合に前記複数の撮像部のフレーム同期信号のタイミングをずらして撮影を行う。
【選択図】 図10
Description
さらに、特許文献3には、各撮像部の撮像タイミングのずれを調整してタイミングジェネレータを介して各撮像部が撮像するためのタイミング信号を各撮像部に供給する技術が開示されている。
例えば特許文献1〜3に開示されたような複数の撮像部の同期をとったステレオカメラでは、高速のフレームレートが要求される場合には、フレームレートの周期に合わせて露光時間を短くせざるを得ない。露光時間が短くなると取り込む画像の光量不足になったり、該光量不足を補うために撮像素子のゲインを上げると画像にノイズがのってきたりするという課題が発生するが、例えば特許文献1〜3に開示されたような複数の撮像部全てを同期して駆動するステレオカメラではこれらの課題を解決することはできない。
これにより、少なくとも1つの撮像部の周波数の変更だけで前記複数の撮像部の同期をとることができる。従って、簡単で正確に、且つ外部からの信号の入力が必要ないため機器を煩雑化することがないステレオカメラを提供することを目的とする。
これにより、少なくとも1つの撮像部のブランキング期間の長さの変更だけで前記複数の撮像部の同期をとることができる。従って、簡単で正確に、且つ外部からの信号の入力が必要ないため機器を煩雑化することがないステレオカメラを提供することを目的とする。
これにより、前記画像処理部で処理される画像を連続的に確認することができる。
これにより、より細かな時間で画像情報を得ることができる。また、複数の撮像部のフレームレートの共通時間が連続する時間を長くとることができる。
本発明の実施例に係る車載ステレオカメラ装置について、図1〜図3を用いて2つのカメラ(撮像部)の同期をとる一実施形態について説明する。
図1は実施例に係る車載ステレオカメラ装置のカメラの同期に関する部分の構成を示すブロック図である。図2は、実施例に係る車載ステレオカメラ装置における2つのカメラの同期をとるための動作フローを示す図である。図3は実施例に係る車載ステレオカメラ装置を構成する2つのカメラの垂直同期信号の発生するタイミングを示すタイムチャートである。
図1において、ステレオカメラ装置は、カメラの同期に関する部分として、カメラ11、カメラ12の2つのカメラ(撮像部)と、1つの制御ユニット13を有している。また、制御ユニット13は、位相判定部14、遅延量判断部15及びPLL回路最適クロック生成部16を有している。ここで、便宜上カメラ11をカメラA、カメラ12をカメラBと称することとする。またカメラA及びカメラBの少なくとも一方は周波数が可変であり、この可変の周波数はPLL回路最適クロック生成部16からの指令により可変である。本実施例においてはカメラBの周波数をPLL回路最適クロック生成部16からの指令により可変であるものとする。
まずステップS11及びステップS12において、カメラA、カメラBからそれぞれ垂直同期信号が、制御ユニット13を構成する位相判定部14に供給される。
ここで、カメラA及びカメラBからの画像信号は、所定の規格でカメラ11、カメラ12に入力される水平同期信号、垂直同期信号に基づいて出力される。つまり、カメラ11、12の画像出力は、カメラの出力の開始を表す垂直同期信号を待ち、その垂直同期信号を受け取った時点から規定の走査ライン数分の画像信号を出力する。
ステップS13では、位相判定部14にてカメラAからの垂直同期信号と、カメラBからの垂直同期信号との位相のずれを判定し、両者に位相のずれがある場合はステップS14に進み、位相のずれがない場合はステップS16に進む。
ステップS14では、遅延量判断手段14によって垂直同期信号の発生タイミングのずれからカメラAとカメラBとの位相のずれθを判断する。
ステップS15ではPLL回路最適クロック生成部16からの指令によって、カメラBの周波数を変更し、カメラBの周期をカメラAの周期と異ならせる。本実施例においては、図3(b)に123で示したように、カメラBの周波数を変更することで、カメラBの周期をカメラAの周期の5/6としている。本実施例においては、カメラBの周期をカメラAの周期の5/6に変更しているが、カメラBの周期の変更幅はこれに限定されるものではなく、例えばカメラAとカメラBの位相のずれθに基づいてθが大きいときにはカメラBの周期の変更幅が大きくなるように、θが小さいときにはカメラBの変更幅が小さくなるようにといったようにθの大きさに応じて適宜変更することができる。
本発明の実施例に係る車載ステレオカメラ装置について、図4〜図6を用いて2つのカメラ(撮像部)の同期をとる別の実施形態について説明する。
図4は実施例に係る車載ステレオカメラ装置のカメラの同期に関する部分の構成を示す別の例のブロック図である。図5は、実施例に係る車載ステレオカメラ装置における2つのカメラの同期をとるための別の例の動作フローを示す図である。図6は実施例に係る車載ステレオカメラ装置を構成する2つのカメラの垂直同期信号の発生するタイミングを示す別の例のタイムチャートである。
図4において、ステレオカメラ装置は、カメラの同期に関する部分として、カメラ11、カメラ12の2つのカメラ(撮像部)と、1つの制御ユニット13’を有している。また、制御ユニット13’は、位相判定部14、遅延量判断部15及び制御信号発信部17を有している。ここで、便宜上カメラ11をカメラA、カメラ12をカメラBと称することとする。またカメラA及びカメラBの少なくとも一方はブランキング期間の長さが可変であり、この可変のブランキング期間の長さは制御信号発信部17からの指令により変更できる。本実施例においてはカメラBのブランキング期間の長さを制御信号発信部17からの指令により可変であるものとする。なお、図4において、図1と同一符号は同一物を表している。
まずステップS21及びステップS22において、カメラA、カメラBからそれぞれ垂直同期信号が、制御ユニット13’を構成する位相判定部14に供給される。
ステップS23では、位相判定部14にてカメラAからの垂直同期信号と、カメラBからの垂直同期信号との位相のずれを判定し、両者に位相のずれがある場合はステップS24に進み、位相のずれがない場合はステップS26に進む。
ステップS24では、遅延量判断手段14によって垂直同期信号の発生タイミングのずれからカメラAとカメラBとの位相のずれθを判断する。
ステップS25では制御信号発信部17からの指令によって、カメラBのブランキング期間の長さを変更して、カメラBの垂直同期信号の発生のタイミングを変更している。本実施例においては、図6(b)に223で示したように、カメラBのブランキング期間の長さを変更することで、時刻t’においてカメラAとカメラBの垂直同期信号の発生のタイミングを一致させてカメラAとカメラBの同期をとっている。
本発明の実施例に係る車載ステレオカメラ装置について、図7〜図9を用いて2つのカメラ(撮像部)の同期をとるさらに別の実施形態について説明する。
図7は実施例に係る車載ステレオカメラ装置を構成する2つのカメラの垂直同期信号の発生するタイミングを示すさらに別の例のタイムチャートである。図8は実施例に係る車載ステレオカメラ装置及びその周辺機器のカメラの同期に関する部分の構成を示す別の例のブロック図である。図9は、実施例に係る車載ステレオカメラ装置における2つのカメラの同期をとるためのさらに別の例の動作フローを示す図である。
図8において、ステレオカメラ装置は、カメラの同期に関する部分として、カメラ21、カメラ22の2つのカメラ(撮像部)と、1つの制御ユニット23を有している。また、制御ユニット23は、位相判定部24、遅延量判断部25及び制御信号発信部27を有している。ここで、便宜上カメラ21をカメラA、カメラ22をカメラBと称することとする。
まずステップS31及びステップS32において、カメラA、カメラBからそれぞれ画像データが、制御ユニット23を構成する位相判定部24に供給される。
ステップS33では、位相判定部24にてカメラAからの画像データと、カメラBからの画像データとの位相のずれを判定し、両者に位相のずれがある場合はステップS34に進み、位相のずれがない場合はステップS36に進む。
ステップS33では、位相判定手段24によって前述のカメラAからの出力yaとカメラBからの出力ybの差に基づいてカメラAとカメラBとの位相のずれの有無を判断する。
ステップS34では、遅延量判断手段25によって前述のカメラAからの出力yaとカメラBからの出力ybの差に基づいてカメラAとカメラBとの位相のずれ量θ’を判断する。前述の通り、カメラAからの出力yaとカメラBからの出力ybの差は、カメラAとカメラBの位相のずれに対応するので、カメラAからの出力yaとカメラBからの出力ybの差が分かれば、位相のずれ量θ’を判断することができる。
ステップS35では制御信号発信部27からの指令によって、図4〜図6を用いて説明した場合と同様に、カメラBのブランキング期間の長さを変更して、カメラBの垂直同期信号の発生のタイミングを変更する。これによりカメラAとカメラBの同期をとることができる。
なお、制御信号発信部27に変えてPLL回路最適クロック生成部を設け、ステップS35で前記PLL回路最適クロック生成部からの指令によって、図1〜図3を用いて説明した場合と同様に、カメラBの周期を調整してカメラAとカメラBの同期をとることもできる。
図10は、ステレオカメラと被写体との距離に応じたカメラAとカメラBの垂直同期信号のタイムチャートを示したものである。
図10(a)に示すように、先行車(被写体)との距離が予め定めた所定の距離より大きい場合は、前述した方法でカメラAとカメラBの同期をとっておく。ここで前記所定の距離とは、ステレオカメラが搭載された車両と先行車との距離が小さく衝突の可能性が生じる距離であって、車両速度に関わらず一定の距離を設定してもよく、車両の速度に応じて可変する距離としてもよい。前記先行車との距離は、別途距離計を設けて求めてもよいが、ステレオカメラを用いて三角測量の原理により先行車までの距離を求めると部品点数を少なく発明を実施することができる。
しかし、本発明では、図10(b)に示したように、カメラAとカメラBの位相をずらしてX+1フレームを生成し、細かな時間で画像情報を得ることができるため、X+1フレームで衝突の瞬間を捉えることができる。
13 制御ユニット(制御部)
14 位相判定部
15 遅延量判断部
16 PLL回路最適クロック生成部
17 制御信号発信部
Claims (5)
- 複数の撮像部と、該複数の撮像部のそれぞれの撮像タイミングをフレーム同期信号によって制御する制御部と、前記撮像部から出力された映像信号を受けて画像処理を行う画像処理部とからなるステレオカメラ装置において、
前記制御部は、被写体との距離が所定の距離よりも大きい場合に前記複数の撮像部のフレーム同期信号のタイミングを一致させておき、被写体との距離が前記所定の距離以下である場合に前記複数の撮像部のフレーム同期信号のタイミングをずらして撮影を行うことを特徴とするステレオカメラ装置。 - 前記制御部は、前記複数の撮像部の少なくとも1つの周波数を他の撮像部の周波数と異ならせることでフレーム同期信号のタイミングを変更した後、前記周波数を他の撮像部の周波数と異ならせた撮像部の周波数を前記他の撮像部の周波数と一致させることを特徴とする請求項1記載のステレオカメラ装置。
- 前記制御部は、前記複数の撮像部の少なくとも1つのブランキング期間の長さを変更することで、前記複数の撮像部のフレーム同期信号のタイミングを変更することを特徴とする請求項1記載のステレオカメラ装置。
- 前記画像処理部は、前記複数の撮像部のフレーム同期信号のタイミングをずらして撮影された画像のフレームを時系列に並べ替える処理を行うことを特徴とする請求項1〜3何れかに記載のステレオカメラ装置。
- 前記フレーム同期信号のタイミングのずらし量は、前記撮像部の数がnであるとき、フレーム周期/nであることを特徴とする請求項1〜4何れかに記載のステレオカメラ装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010288259A JP5568458B2 (ja) | 2010-12-24 | 2010-12-24 | ステレオカメラ装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010288259A JP5568458B2 (ja) | 2010-12-24 | 2010-12-24 | ステレオカメラ装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012138671A true JP2012138671A (ja) | 2012-07-19 |
JP5568458B2 JP5568458B2 (ja) | 2014-08-06 |
Family
ID=46675783
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010288259A Expired - Fee Related JP5568458B2 (ja) | 2010-12-24 | 2010-12-24 | ステレオカメラ装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5568458B2 (ja) |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014138401A (ja) * | 2013-01-18 | 2014-07-28 | Fujitsu Semiconductor Ltd | 画像処理装置、画像処理方法及びプログラム |
JP2014216803A (ja) * | 2013-04-25 | 2014-11-17 | 株式会社富士通アドバンストエンジニアリング | 画像処理装置および方法 |
JP2015033066A (ja) * | 2013-08-06 | 2015-02-16 | 株式会社ニコン | カメラシステム |
WO2015136798A1 (ja) * | 2014-03-13 | 2015-09-17 | ソニー株式会社 | 撮像装置、撮像システム、および、撮像装置の制御方法 |
JP2015165628A (ja) * | 2014-03-03 | 2015-09-17 | Smk株式会社 | 画像処理システム |
JP2016178523A (ja) * | 2015-03-20 | 2016-10-06 | 株式会社リコー | 撮像装置、撮像方法、プログラム、車両制御システム、および車両 |
JP2018186525A (ja) * | 2018-06-26 | 2018-11-22 | 株式会社ニコン | 撮像装置 |
CN109862342A (zh) * | 2019-04-16 | 2019-06-07 | 廖新兴 | 一种具有多摄像头模组的三维数码立体拍摄终端 |
WO2019239779A1 (ja) * | 2018-06-12 | 2019-12-19 | ローム株式会社 | カメラシステム、そのコントローラ、自動車、デシリアライザ回路 |
US10807532B2 (en) | 2014-05-29 | 2020-10-20 | Nikon Corporation | Image capture device and vehicle |
CN113840133A (zh) * | 2020-06-23 | 2021-12-24 | 佳能株式会社 | 成像方法、成像系统、制造系统、以及用于制造产品的方法 |
WO2023013108A1 (ja) * | 2021-08-02 | 2023-02-09 | 日立Astemo株式会社 | マルチカメラ装置 |
WO2023130706A1 (zh) * | 2022-01-04 | 2023-07-13 | 北京石头创新科技有限公司 | 多摄像头的帧同步控制方法及自行走设备 |
US11961307B2 (en) | 2019-06-14 | 2024-04-16 | Mazda Motor Corporation | Outside environment recognition device |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1127701A (ja) * | 1997-06-30 | 1999-01-29 | Sony Corp | 撮像信号処理装置及び方法 |
JP2000261691A (ja) * | 1999-03-12 | 2000-09-22 | Toshiba Corp | 同期信号制御回路 |
JP2004266458A (ja) * | 2003-02-28 | 2004-09-24 | Shimadzu Corp | 撮影装置、および、同期撮影タイミング制御器 |
JP2006246307A (ja) * | 2005-03-07 | 2006-09-14 | Seiko Epson Corp | 画像データ処理装置 |
JP2007028043A (ja) * | 2005-07-14 | 2007-02-01 | Eastman Kodak Co | デジタルカメラ |
JP2007030603A (ja) * | 2005-07-25 | 2007-02-08 | Mazda Motor Corp | 車両用走行支援装置 |
JP2007172035A (ja) * | 2005-12-19 | 2007-07-05 | Fujitsu Ten Ltd | 車載画像認識装置、車載撮像装置、車載撮像制御装置、警告処理装置、画像認識方法、撮像方法および撮像制御方法 |
JP2008298532A (ja) * | 2007-05-30 | 2008-12-11 | Konica Minolta Holdings Inc | 障害物計測方法、障害物計測装置及び障害物計測システム |
-
2010
- 2010-12-24 JP JP2010288259A patent/JP5568458B2/ja not_active Expired - Fee Related
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1127701A (ja) * | 1997-06-30 | 1999-01-29 | Sony Corp | 撮像信号処理装置及び方法 |
JP2000261691A (ja) * | 1999-03-12 | 2000-09-22 | Toshiba Corp | 同期信号制御回路 |
JP2004266458A (ja) * | 2003-02-28 | 2004-09-24 | Shimadzu Corp | 撮影装置、および、同期撮影タイミング制御器 |
JP2006246307A (ja) * | 2005-03-07 | 2006-09-14 | Seiko Epson Corp | 画像データ処理装置 |
JP2007028043A (ja) * | 2005-07-14 | 2007-02-01 | Eastman Kodak Co | デジタルカメラ |
JP2007030603A (ja) * | 2005-07-25 | 2007-02-08 | Mazda Motor Corp | 車両用走行支援装置 |
JP2007172035A (ja) * | 2005-12-19 | 2007-07-05 | Fujitsu Ten Ltd | 車載画像認識装置、車載撮像装置、車載撮像制御装置、警告処理装置、画像認識方法、撮像方法および撮像制御方法 |
JP2008298532A (ja) * | 2007-05-30 | 2008-12-11 | Konica Minolta Holdings Inc | 障害物計測方法、障害物計測装置及び障害物計測システム |
Cited By (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014138401A (ja) * | 2013-01-18 | 2014-07-28 | Fujitsu Semiconductor Ltd | 画像処理装置、画像処理方法及びプログラム |
JP2014216803A (ja) * | 2013-04-25 | 2014-11-17 | 株式会社富士通アドバンストエンジニアリング | 画像処理装置および方法 |
JP2015033066A (ja) * | 2013-08-06 | 2015-02-16 | 株式会社ニコン | カメラシステム |
JP2015165628A (ja) * | 2014-03-03 | 2015-09-17 | Smk株式会社 | 画像処理システム |
US10178307B2 (en) | 2014-03-03 | 2019-01-08 | Smk Corporation | Image processing system |
WO2015136798A1 (ja) * | 2014-03-13 | 2015-09-17 | ソニー株式会社 | 撮像装置、撮像システム、および、撮像装置の制御方法 |
US10807532B2 (en) | 2014-05-29 | 2020-10-20 | Nikon Corporation | Image capture device and vehicle |
US11572016B2 (en) | 2014-05-29 | 2023-02-07 | Nikon Corporation | Image capture device and vehicle |
US11220215B2 (en) | 2014-05-29 | 2022-01-11 | Nikon Corporation | Image capture device and vehicle |
JP2016178523A (ja) * | 2015-03-20 | 2016-10-06 | 株式会社リコー | 撮像装置、撮像方法、プログラム、車両制御システム、および車両 |
WO2019239779A1 (ja) * | 2018-06-12 | 2019-12-19 | ローム株式会社 | カメラシステム、そのコントローラ、自動車、デシリアライザ回路 |
JPWO2019239779A1 (ja) * | 2018-06-12 | 2021-04-30 | ローム株式会社 | カメラシステム、そのコントローラ、自動車、デシリアライザ回路 |
JP7100702B2 (ja) | 2018-06-12 | 2022-07-13 | ローム株式会社 | カメラシステム、そのコントローラ、自動車 |
US11451697B2 (en) | 2018-06-12 | 2022-09-20 | Rohm Co., Ltd. | Camera system, controller thereof, automobile, and deserializer circuit |
JP2018186525A (ja) * | 2018-06-26 | 2018-11-22 | 株式会社ニコン | 撮像装置 |
CN109862342A (zh) * | 2019-04-16 | 2019-06-07 | 廖新兴 | 一种具有多摄像头模组的三维数码立体拍摄终端 |
US11961307B2 (en) | 2019-06-14 | 2024-04-16 | Mazda Motor Corporation | Outside environment recognition device |
CN113840133A (zh) * | 2020-06-23 | 2021-12-24 | 佳能株式会社 | 成像方法、成像系统、制造系统、以及用于制造产品的方法 |
WO2023013108A1 (ja) * | 2021-08-02 | 2023-02-09 | 日立Astemo株式会社 | マルチカメラ装置 |
WO2023130706A1 (zh) * | 2022-01-04 | 2023-07-13 | 北京石头创新科技有限公司 | 多摄像头的帧同步控制方法及自行走设备 |
Also Published As
Publication number | Publication date |
---|---|
JP5568458B2 (ja) | 2014-08-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5568458B2 (ja) | ステレオカメラ装置 | |
JP5500034B2 (ja) | 手振れ補正機構を備えた撮影装置 | |
CN111866398B (zh) | 事件相机 | |
KR101767662B1 (ko) | 다시점 카메라 동기화 시스템 및 방법 | |
JP5551824B2 (ja) | 撮像装置 | |
CN108668118A (zh) | 自动对焦系统、具有自动对焦系统的投影机以及自动对焦方法 | |
KR101642569B1 (ko) | 디지털 촬영시스템 및 그 제어방법 | |
JP7195941B2 (ja) | 情報処理装置及びその制御方法並びにプログラム | |
JP2014032159A (ja) | 投影撮像システム及び投影撮像システムの制御方法 | |
US10045015B2 (en) | Method for operating a camera and a projector in a synchronized manner | |
JP6003745B2 (ja) | 画像処理装置 | |
CN109842750B (zh) | 摄像装置系统 | |
US9363502B2 (en) | Apparatus for synchronizing stereocamera, stereocamera, and method of synchronizing stereocamera | |
US8780184B2 (en) | Image pickup apparatus | |
US20120162453A1 (en) | Image pickup apparatus | |
JP5500786B2 (ja) | 投射型表示装置 | |
JP2007129404A (ja) | カメラシステム | |
US8947556B2 (en) | Image pickup apparatus, control method therefor, and storage medium storing control program therefor | |
US10972665B2 (en) | Imaging apparatus and image blurring amount calculation method therefor | |
JP2019087880A (ja) | 信号出力装置、カメラ雲台、カメラ雲台連動システム、およびプログラム | |
JP2017520049A (ja) | ジェスチャ認識のための画像マトリクスを生成するためのモジュール、システムおよび方法 | |
US11146778B2 (en) | Synchronization control device and synchronization control method | |
US10044963B2 (en) | Imaging apparatus | |
JP2014107840A (ja) | 撮像装置、撮像方法及びプログラム | |
JP2015035001A (ja) | ブレ補正装置及び光学機器 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20131015 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140522 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140606 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140623 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5568458 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |