Nothing Special   »   [go: up one dir, main page]

JP2012001101A - 駐車支援装置 - Google Patents

駐車支援装置 Download PDF

Info

Publication number
JP2012001101A
JP2012001101A JP2010138012A JP2010138012A JP2012001101A JP 2012001101 A JP2012001101 A JP 2012001101A JP 2010138012 A JP2010138012 A JP 2010138012A JP 2010138012 A JP2010138012 A JP 2010138012A JP 2012001101 A JP2012001101 A JP 2012001101A
Authority
JP
Japan
Prior art keywords
image
vehicle
display
parking
white line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010138012A
Other languages
English (en)
Other versions
JP5561478B2 (ja
Inventor
Hiroyuki Konno
裕之 今野
Hitoshi Kubota
整 久保田
Naoya Murota
直哉 室田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzuki Motor Corp
Original Assignee
Suzuki Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzuki Motor Corp filed Critical Suzuki Motor Corp
Priority to JP2010138012A priority Critical patent/JP5561478B2/ja
Publication of JP2012001101A publication Critical patent/JP2012001101A/ja
Application granted granted Critical
Publication of JP5561478B2 publication Critical patent/JP5561478B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】駐車支援装置において、駐車白線の前端・後端を認識して、駐車枠に対する車両位置の演算結果から各画像の切替タイミングを決定し、駐車動作の進行に合わせて適切な車両の後方画像を運転者に自動的に提供する。
【解決手段】表示切換制御手段11Cは、白線端点検出手段11Eにより検出された白線前端と車両との距離に基づいて表示手段10に表示する画像を後方画像と俯瞰画像とのいずれかに切り換えるとともに、白線端点検出手段11Eにより検出された白線後端と車両との距離に基づいて表示手段10に表示する俯瞰画像の仮想視点の高さを変える。
【選択図】図1

Description

この発明は、駐車支援装置に係り、特に車両の後部に取り付けた撮像手段(バックカメラ等)により撮像された車両の後方画像を表示手段に表示させる駐車支援装置に関する。
車両には、駐車時の運転を支援するために、駐車支援装置を搭載している。この駐車支援装置は、車両の後方を撮像する撮像手段を設け、画像を表示する表示手段を設け、また、撮像手段により撮像された車両の後方画像を俯瞰画像に変換する画像変換手段と、撮像手段により撮像された車両の後方画像と画像変換手段により変換された俯瞰画像とのいずれかを表示手段に表示させる表示切換制御手段とが備えられた制御手段を設けている。
この駐車支援装置においては、画像処理技術により、超広角の撮影手段(バックカメラ等)の画像を、歪みを補正した歪み補正画像及び真上から見下ろしたような俯瞰画像に変換して、運転者に提示するシステムが実用化されている。
上述の歪み補正画像は、周囲の視野を確保しつつ駐車枠(駐車スペース)の白線が直線として見えるため、駐車枠に接近するときに有効な画像である。また、上述の俯瞰画像は、車両に近接するエリアの距離感が掴みやすいこと、白線と車両との関係が直観的に分かりやすいことから、駐車位置に近づいたときに有効な画像である。
また、駐車支援装置においては、駐車の初期段階では、安全確認をしやすい広視野の画像、駐車動作の終わりに近づくにつれ、俯瞰表示など近接物との距離感をより掴みやすくする画像を提供することが望ましいものである。
特開2008−148113号公報 特開2004−32464号公報
特許文献1に係る運転支援装置は、車両旋回時、中立位置からハンドル操舵角の大きさが大きいほど遠景用投影面と遠景用撮像面による斜め視点映像を俯瞰映像化し、仮想カメラと俯瞰映像化制御による仮想立体投影面及び仮想立体撮像面を用いた視点変換により、つまり、ハンドル操舵角に応じて広視野から斜め俯瞰、頂上俯瞰に切り替え、モニタに映し出すモニタ画像データを生成し、運転場面に応じたモニタ映像の表示変更制御を行うものである。
特許文献2に係る信号処理装置を搭載した車両周囲監視装置は、画像切替手段からの画像切替信号に基づいて複数のルックアップテーブルを選択・参照してそのルックアップテーブルに応じてメモリのどのアドレス情報を用いるのかをメモリに指示した後に、画像重畳部からの重畳処理信号に基づいてエンコーダ部でアナログ出力画像信号を得て、状況に応じて変化する利用者の好みに対して最適な視点変換画像を与えるものである。
ところで、従来、上記の特許文献1では、最後の俯瞰画像への切り替え条件が、ハンドル舵角の零(0)となっており、駐車枠(駐車スペース)に対して、適切に画像切り替えを行うには、改良の余地がある。また、駐車場の入口段階で、既にハンドルが真っ直ぐである場合に、切替タイミングが早くなりすぎるという不都合があった。
また、舵角センサで後退駐車時の画像の切替タイミングを決める場合には、駐車場への進入角度によって、切替タイミングが変わってしまうという不都合があった。
そこで、この発明の目的は、駐車動作の進行に合わせて適切な車両の後方画像を運転者に自動的に提供することにある。
この発明は、車両の後方を撮像する撮像手段を設け、画像を表示する表示手段を設け、 前記撮像手段により撮像された車両の後方画像を俯瞰画像に変換する画像変換手段と、前記撮像手段により撮像された車両の後方画像と前記画像変換手段により変換された俯瞰画像とのいずれかを前記表示手段に表示させる表示切換制御手段とを備えた制御手段を設けた駐車支援装置において、前記制御手段は前記画像変換手段により変換された俯瞰画像から駐車枠の左右の白線を検出する白線検出手段とこの白線検出手段により検出された左右の白線の前後端を検出する白線端点検出手段とを備え、前記表示切換制御手段は、前記白線端点検出手段により検出された白線前端と車両との距離に基づいて前記表示手段に表示する画像を後方画像と俯瞰画像とのいずれかに切り換えるとともに、前記白線端点検出手段により検出された白線後端と車両との距離に基づいて前記表示手段に表示する俯瞰画像の仮想視点の高さを変えることを特徴とする。
この発明の駐車支援装置は、駐車白線を認識することで、駐車場に対する車両位置を演算し、適切な切替タイミングで運転者に車両の後方画像を提供し、つまり、駐車白線の前端・後端を認識して、駐車枠(駐車スペース)に対する車両位置の演算結果から各画像の切替タイミングを決定し、駐車動作の進行に合わせて適切な車両の後方画像を運転者に自動的に提供できる。
図1は駐車支援装置のシステム構成図である。(実施例) 図2は車両及び駐車枠を示す平面図である。(実施例) 図3は通常動作時の処理のフローチャートである。(実施例) 図4は車速が高い状態で駐車場に進入した場合の動作のフローチャートである。(実施例) 図5は後退開始時の車両の動作を示す図である。(実施例) 図6は第1の広視野な歪取り画像の図である。(実施例) 図7は第2の広視野な歪取り画像の図である。(実施例) 図8は第3の広視野な歪取り画像の図である。(実施例) 図9は駐車枠内に進入する時の車両の動作を示す図である。(実施例) 図10は第1の頂上俯瞰画像(高)の図である。(実施例) 図11は第2の頂上俯瞰画像(高)の図である。(実施例) 図12は第3の頂上俯瞰画像(高)の図である。(実施例) 図13は駐車枠内で駐車する車両の動作を示す図である。(実施例) 図14は第1の頂上俯瞰画像(低)の図である。(実施例) 図15は第2の頂上俯瞰画像(低)の図である。(実施例) 図16は第3の頂上俯瞰画像(低)の図である。(実施例)
この発明は、駐車動作の進行に合わせて適切な車両の後方画像を運転者に自動的に提供する目的を、駐車白線の前端・後端を認識して、駐車枠に対する車両位置の演算結果から各画像の切替タイミングを決定して実現するものである。
図1〜図16は、この発明の実施例を示すものである。
図2において、1は車両、2は駐車場、3はこの駐車場2の駐車枠(駐車スペース)である。この駐車枠3は、車両1の駐車範囲を区画する白線として、所定長さで平行な左右の白線4・5で形成される。また、この駐車枠3には、後方部で、輪止めとして、左右の輪止め6・7が直列で且つ左右の白線4・5に対して直角方向に向いて配設されている。
車両1には、駐車支援装置8が搭載される。
この駐車支援装置8は、図1に示すように、車両1の後方を撮像する超広角の撮影手段(バックカメラ等)9と、画像を表示する表示手段10と、撮像手段9により撮像された車両1の後方画像(カメラ画像)を表示手段10に表示させる制御手段11とを備えている。
撮像手段9は、車両1の後部に取り付けた超広角のバックカメラ等の撮像機器からなる。
表示手段10は、車両1の車室内に配置されたカーナビゲーションシステムのモニター等の表示機器からなる。
制御手段11は、撮像手段9により撮像された後方画像の歪み(車両の傾き、ずれ等)を補正して歪み補正画像にする歪み補正手段11Aと、撮像手段9により撮像された車両1の後方画像を俯瞰画像に変換する画像変換手段11Bと、撮像手段9により撮像された車両1の後方画像と画像変換手段11Bにより変換された俯瞰画像とのいずれかを表示手段10に表示させる表示切換制御手段11Cと、画像変換手段11Bにより変換された俯瞰画像から駐車枠3の左右の白線4・5を検出する白線検出手段11Dと、この白線検出手段11Dにより検出された左右の白線4・5の前端4F・5F及び左右の白線4・5の後端4B・5Bを検出する白線端点検出手段11Eとを備える。
表示切換制御手段11Cは、白線端点検出手段11Eにより検出された左右の白線4の前端4F・白線5の前端5Fと車両1との距離に基づいて表示手段10に表示する画像を後方画像と俯瞰画像とのいずれかに切り換えるとともに、白線端点検出手段11Eにより検出された左右の白線4・5の後端4B・5Bと車両1との距離に基づいて表示手段10に表示する俯瞰画像の仮想視点の高さを変える。
また、表示切換制御手段11Cは、車速を検出する車速検出手段12に連絡し、この車速検出手段12により検出された車速が予め設定された車速である設定値Vhよりも大きい時に、車両1の後方画像を表示手段10に表示する。
更に、制御手段11は、輪止め6・7を検出する輪止め検出手段11Fを備えている。そして、表示切換制御手段11Cは、輪止め検出手段11Fにより検出された輸止め6・7と車両1との距離に基づいて表示手段10に表示する俯瞰画像の仮想視点の高さを変える。
制御手段11は、表示切換制御手段11Cに連絡して各種認識結果を記憶する記憶手段(メモリ)11Gを備えている。そして、表示切換制御手段11Cには、車両1の前進・後進状態を検出するギヤ位置検出手段13と音声出力手段14とが連絡している。
次に、車両1の通常動作の処理について、図3のフローチャートに基づいて説明する。
図3に示すように、制御手段11のプログラムがスタートし(ステップA01)、後退にギヤが入り、運転者による車両(自車)1の後退動作が開始すると(ステップA02)(図5参照)、広視野(最大視野)な後方画像(歪取り画像又は歪み有り画像)を表示し(ステップA03)(図6〜図8参照)、駐車白線認識を開始し(ステップA04)、さらに、左右の白線4・5の前端4F・5Fを検出するとともに、車両1の後端1Bとの距離を演算する(ステップA05)。
そして、車両1が駐車枠3内に進入する際に(図9参照)、車両1の後退動作を左右の白線4・5の前端4F・5Fと車両1の後端1Bとの距離が、距離≦設定値Lfか否かを判断し(ステップA06)、このステップA06がNOの場合には、前記ステップA05に戻す。
このステップA06がYESの場合には、画像を頂上俯瞰画像(高)に切り替えて表示し(ステップA07)(図10〜図12参照)、左右の白線4・5の後端4B・5Bを検出するとともに、車両1の後端1Bとの距離を演算する(ステップA08)。この場合、左右の白線4・5の後端4B・5Bの代わりに、左右の輪止め6・7を認識した結果を用いることも可能である。
そして、車両1が駐車枠3内に進入して車両1が左右の白線4・5の前端4F・5Fに入った際に(図13参照)、左右の白線4・5の後端4B・5Bと車両1の後端1Bとの距離が、距離≦設定値Lrか否かを判断し(ステップA09)、このステップA09がNOの場合には、前記ステップA08に戻す。
このステップA08がYESで、左右の白線4・5の後端4B・5B(若しくは左右の輪止め6・7)を検出した場合には、画像を頂上俯瞰画像(低)に切り替えて表示し(ステップA10)(図14〜図16参照)、運転者による停車動作を行い(ステップA11)、プログラムをエンドとする(ステップA12)。
このように、表示切換制御手段11Cは、白線端点検出手段11Eにより検出された左右の白線4・5の前端4F・5Fと車両1との距離に基づいて表示手段10に表示する画像を後方画像と俯瞰画像とのいずれかに切り換えるとともに、白線端点検出手段11Eにより検出された左右の白線4・5の後端4B・5B(若しくは左右の輪止め6・7)と車両1との距離に基づいて表示手段10に表示する俯瞰画像の仮想視点の高さを変える。これにより、駐車動作の進行に合わせて、適切な画像を運転者に自動で提供することができる。
また、表示切換制御手段11Cは、輪止め検出手段11Fにより検出された左右の輸止め6・7と車両1との距離に基づいて表示手段10に表示する俯瞰画像の仮想視点の高さを変える。これにより、画像の切換タイミングの精度を向上することができる。
次いで、車速が高い状態で車両1が駐車枠3内に進入した場合の処理を、図4にフローチャートに基づいて説明する。
図4に示すように、制御手段11のプログラムがスタートし(ステップB01)、後退にギヤが入り、運転者による車両1の後退動作が開始すると(ステップB02)(図5参照)、広視野(最大視野)な後方画像(歪取り画像又は歪み有り画像)を表示し(ステップB03)(図6〜図8参照)、駐車白線認識を開始し(ステップB04)、左右の白線4・5の前端4F・5Fを検出するとともに、車両1の後端1Bとの距離を演算する(ステップB05)。
そして、車両1が駐車枠3内に進入する際に(図9参照)、左右の白線4・5の前端4F・5Fと車両1の後端1Bとの距離が、距離≦設定値Lfか否かを判断し(ステップB06)、このステップB06がNOの場合には、前記ステップB05に戻す。
このステップB06がYESの場合には、車両1の速度が、車速≦設定値Vhか否かを判断し(ステップB07)、このステップB07がNOで、車速が設定値Vhよりも高い場合には、画像を頂上俯瞰画像(高)に切り替えず、初期の広視野(最大視野)な後方画像(歪取り画像又は歪み有り画像)(図6〜図8参照)を表示し続けつつ、この判断を継続する。
このステップB07がYESで、車速が設定値Vh以下になった場合には、画像を頂上俯瞰画像(高)に切り替えて表示し(ステップB08)(図10〜図12参照)、左右の白線4・5の後端4B・5Bを検出するとともに、車両1の後端1Bとの距離を演算する(ステップB09)。この場合、左右の白線4・5の後端4B・5Bの代わりに、左右の輪止め6・7を認識した結果を用いることも可能である。
そして、車両1が駐車枠3内に進入した際に(図13参照)、左右の白線4・5の後端4B・5Bと車両1の後端1Bとの距離が、距離≦設定値Lrか否かを判断し(ステップB10)、このステップB10がNOの場合には、前記ステップB09に戻す。
このステップB10がYESの場合には、左右の白線4・5の後端4B・5B(若しくは左右の輪止め6・7)を検出した場合には、画像を頂上俯瞰画像(低)に切り替えて表示し(ステップB11)(図14〜図16参照)、運転者による停車動作を行い(ステップB12)、プログラムをエンドとする(ステップB13)。
このように、表示切換制御手段11Cは、車速検出手段12により検出された車速が予め設定された車速(設定値)より大きい時に、後方画像を表示手段10に表示する。これにより、車速が高い場合には単位時間当たりの車両の移動距離が大きいので、広視野の画像を表示することにより、運転しやすくすることができる。
なお、この発明においては、車両1の切り返し等の前進時にも画像情報を運転者に提供する場合に、頂上俯瞰画像(低)から頂上俯瞰画像(高)、広視野(最大視野)な後方画像(歪取り画像又は歪み有り画像)へと、逆方向で表示手段10での画像の表示を切り替えることも可能である。
この発明の駐車支援装置は、運転者に適切な画像を提供させるものであり、各種車両に適用できる。
1 車両
2 駐車場
3 駐車枠(駐車スペース)
4 駐車枠の左側の白線
5 駐車枠の右側の白線
6 駐車枠の左側の輪止め
7 駐車枠の右側の輪止め
8 駐車支援装置
9 撮像手段
10 表示手段
11 制御手段
11B 画像変換手段
11C 表示切換制御手段
11D 白線検出手段
11E 白線端点検出手段
11F 輪止め検出手段
11G 記憶手段
12 車速検出手段
13 ギヤ位置検出手段

Claims (3)

  1. 車両の後方を撮像する撮像手段を設け、画像を表示する表示手段を設け、前記撮像手段により撮像された車両の後方画像を俯瞰画像に変換する画像変換手段と、前記撮像手段により撮像された車両の後方画像と前記画像変換手段により変換された俯瞰画像とのいずれかを前記表示手段に表示させる表示切換制御手段とを備えた制御手段を設けた駐車支援装置において、前記制御手段は前記画像変換手段により変換された俯瞰画像から駐車枠の左右の白線を検出する白線検出手段とこの白線検出手段により検出された左右の白線の前後端を検出する白線端点検出手段とを備え、前記表示切換制御手段は、前記白線端点検出手段により検出された白線前端と車両との距離に基づいて前記表示手段に表示する画像を後方画像と俯瞰画像とのいずれかに切り換えるとともに、前記白線端点検出手段により検出された白線後端と車両との距離に基づいて前記表示手段に表示する俯瞰画像の仮想視点の高さを変えることを特徴とする駐車支援装置。
  2. 前記表示切換制御手段は、車速を検出する車速検出手段に連絡し、この車速検出手段により検出された車速が予め設定された車速よりも大きい時に、車両の後方画像を前記表示手段に表示することを特徴とする請求項1に記載の駐車支援装置。
  3. 前記制御手段は輪止めを検出する輪止め検出手段を備え、前記表示切換制御手段は、前記輪止め検出手段により検出された輸止めと車両との距離に基づいて前記表示手段に表示する俯瞰画像の仮想視点の高さを変えることを特徴とする請求項1又は請求項2に記載の駐車支援装置。
JP2010138012A 2010-06-17 2010-06-17 駐車支援装置 Active JP5561478B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010138012A JP5561478B2 (ja) 2010-06-17 2010-06-17 駐車支援装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010138012A JP5561478B2 (ja) 2010-06-17 2010-06-17 駐車支援装置

Publications (2)

Publication Number Publication Date
JP2012001101A true JP2012001101A (ja) 2012-01-05
JP5561478B2 JP5561478B2 (ja) 2014-07-30

Family

ID=45533582

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010138012A Active JP5561478B2 (ja) 2010-06-17 2010-06-17 駐車支援装置

Country Status (1)

Country Link
JP (1) JP5561478B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013212723A (ja) * 2012-03-30 2013-10-17 Fujitsu Ten Ltd 駐車支援装置、及び駐車支援方法
JP2017171128A (ja) * 2016-03-24 2017-09-28 アルパイン株式会社 駐車支援装置および駐車支援方法
JP2017219949A (ja) * 2016-06-06 2017-12-14 三菱電機株式会社 自車位置推定装置
CN111824132A (zh) * 2020-07-24 2020-10-27 广州小鹏车联网科技有限公司 一种泊车显示方法和车辆

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102164702B1 (ko) * 2019-04-26 2020-10-14 주식회사 켐트로닉스 자동 주차 장치 및 자동 주차 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003267171A (ja) * 2002-03-13 2003-09-25 Nissan Motor Co Ltd 車両後方監視装置
JP2008013022A (ja) * 2006-07-05 2008-01-24 Sanyo Electric Co Ltd 車両の運転支援装置
JP2009284386A (ja) * 2008-05-26 2009-12-03 Suzuki Motor Corp 車両用駐車支援装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003267171A (ja) * 2002-03-13 2003-09-25 Nissan Motor Co Ltd 車両後方監視装置
JP2008013022A (ja) * 2006-07-05 2008-01-24 Sanyo Electric Co Ltd 車両の運転支援装置
JP2009284386A (ja) * 2008-05-26 2009-12-03 Suzuki Motor Corp 車両用駐車支援装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013212723A (ja) * 2012-03-30 2013-10-17 Fujitsu Ten Ltd 駐車支援装置、及び駐車支援方法
JP2017171128A (ja) * 2016-03-24 2017-09-28 アルパイン株式会社 駐車支援装置および駐車支援方法
JP2017219949A (ja) * 2016-06-06 2017-12-14 三菱電機株式会社 自車位置推定装置
CN111824132A (zh) * 2020-07-24 2020-10-27 广州小鹏车联网科技有限公司 一种泊车显示方法和车辆
WO2022017139A1 (zh) * 2020-07-24 2022-01-27 广州橙行智动汽车科技有限公司 一种泊车显示方法和车辆

Also Published As

Publication number Publication date
JP5561478B2 (ja) 2014-07-30

Similar Documents

Publication Publication Date Title
US9219887B2 (en) Drive assist device
JP4766841B2 (ja) 車両に搭載されるカメラ装置及び車両周辺監視装置
JP5052708B2 (ja) 運転支援装置、運転支援システム、および運転支援カメラユニット
JP6307895B2 (ja) 車両用周辺監視装置
US20110228980A1 (en) Control apparatus and vehicle surrounding monitoring apparatus
US20110304726A1 (en) All-around parking assisting system
JP2010130646A (ja) 車両周辺確認装置
JP5036891B2 (ja) 車両に搭載されるカメラ装置及び車両周辺監視装置
JP5136256B2 (ja) 駐車支援装置および画像表示方法
JP7006460B2 (ja) 車両用表示制御装置、車両用表示システム、車両用表示制御方法、およびプログラム
JP5561478B2 (ja) 駐車支援装置
JP2009065483A (ja) 駐車支援装置
JP2010015346A (ja) 周辺監視装置
JP4725233B2 (ja) 俯瞰画像表示システム
JP2009284386A (ja) 車両用駐車支援装置
JP2011230615A (ja) 駐車支援装置
JP2012065225A (ja) 車載用画像処理装置、周辺監視装置、および、車両
KR101179326B1 (ko) 차량 후방 감시 장치
JP4857159B2 (ja) 車両運転支援装置
JP6585371B2 (ja) 画像処理装置、画像処理方法および車載装置
JP2012166689A (ja) 運転支援装置
JP2012096585A (ja) 駐車支援装置
JP2010184606A (ja) 車両周辺表示装置
WO2021131481A1 (ja) 表示装置、表示方法及び表示プログラム
JP6274936B2 (ja) 運転支援装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130116

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131009

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131101

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131216

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140203

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140324

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140514

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140527

R151 Written notification of patent or utility model registration

Ref document number: 5561478

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151