JP7206867B2 - Display controller and display control program - Google Patents
Display controller and display control program Download PDFInfo
- Publication number
- JP7206867B2 JP7206867B2 JP2018227383A JP2018227383A JP7206867B2 JP 7206867 B2 JP7206867 B2 JP 7206867B2 JP 2018227383 A JP2018227383 A JP 2018227383A JP 2018227383 A JP2018227383 A JP 2018227383A JP 7206867 B2 JP7206867 B2 JP 7206867B2
- Authority
- JP
- Japan
- Prior art keywords
- display
- vehicle
- traveling direction
- image
- direction image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 claims description 16
- 238000012545 processing Methods 0.000 claims description 13
- 230000007423 decrease Effects 0.000 claims description 10
- 238000000034 method Methods 0.000 description 16
- 238000012544 monitoring process Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 9
- 238000004590 computer program Methods 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 230000004907 flux Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000000523 sample Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000000725 suspension Substances 0.000 description 1
Images
Landscapes
- Navigation (AREA)
- Instrument Panels (AREA)
- Traffic Control Systems (AREA)
Description
この明細書における開示は、虚像を表示する表示制御装置および表示制御プログラムに関する。 The disclosure in this specification relates to a display control device and a display control program for displaying a virtual image.
特許文献1には、車両用表示装置が開示されている。この車両用表示装置は、車線変更を誘導する誘導画像を乗員の前方視界に表示する。
一般的に、自車両および先行車間の好ましい車間距離は、自車両の走行速度が高くなるほど、長くなる。こうした好ましい車間距離が確保されない場合、特許文献1に示すような車両用表示装置を利用して、車間距離をあけることを促す車間警告の実施が考えられる。しかし、車間警告は、運転者に煩雑な印象を与えてしまうおそれがある。
In general, the preferred inter-vehicle distance between the own vehicle and the preceding vehicle increases as the traveling speed of the own vehicle increases. If such a preferable inter-vehicle distance cannot be ensured, it is conceivable to implement an inter-vehicle warning to increase the inter-vehicle distance using a vehicle display device as disclosed in
開示される目的は、煩雑な印象を抑制しつつ、走行速度に応じた好ましい車間距離を運転者に把握させる表示制御装置および表示制御プログラムを提供することである。 An object of the disclosure is to provide a display control device and a display control program that allow the driver to grasp a preferable inter-vehicle distance according to the traveling speed while suppressing a complicated impression.
この明細書に開示された複数の態様は、それぞれの目的を達成するために、互いに異なる技術的手段を採用する。また、特許請求の範囲およびこの項に記載した括弧内の符号は、ひとつの態様として後述する実施形態に記載の具体的手段との対応関係を示す一例であって、技術的範囲を限定するものではない。 The multiple aspects disclosed in this specification employ different technical means to achieve their respective objectives. In addition, the symbols in parentheses described in the claims and this section are examples showing the corresponding relationship with the specific means described in the embodiment described later as one aspect, and limit the technical scope. is not.
開示された表示制御装置のひとつは、車両(A)において用いられ、運転者の前景中にある重畳対象に重畳される虚像(Vi)の表示を制御する表示制御装置であって、車両の走行速度を取得する速度取得部(200)と、前景に虚像表示され運転者へ情報を提示する情報表示像(Di)として、予定経路情報に基づく車両の進行予定方向を通知する進行方向画像を生成し、走行速度が小さいほど進行方向画像の最上位置を下方にすることにより、走行速度が小さいほど進行方向画像を上方から下方の最下位置に向かって縮ませる表示制御を行う表示生成部(207)と、を備える。 One of the disclosed display control devices is a display control device that is used in a vehicle (A) and controls the display of a virtual image (Vi) that is superimposed on a superimposition target in the foreground of the driver. A speed acquisition unit (200) that acquires speed, and an information display image (Di) that is displayed as a virtual image in the foreground and presents information to the driver. display generation unit ( 207) and
開示された表示制御プログラムのひとつは、車両(A)において用いられ、運転者の前景中にある重畳対象に重畳される虚像(Vi)の表示を制御する表示制御プログラムであって、少なくとも1つの処理部(20a)を、車両の走行速度を取得する速度取得部(200)、前景に虚像表示され運転者へ情報を提示する情報表示像(Di)として、予定経路情報に基づく車両の進行予定方向を通知する進行方向画像を生成し、走行速度が小さいほど進行方向画像の最上位置を下方にすることにより、走行速度が小さいほど進行方向画像を上方から下方の最下位置に向かって縮ませる表示制御を行う表示生成部(207)、として機能させる。 One of the disclosed display control programs is a display control program used in a vehicle (A) for controlling display of a virtual image (Vi) superimposed on a superimposition target in the foreground of the driver, at least one The processing unit (20a) is a speed acquisition unit (200) that acquires the running speed of the vehicle, and an information display image (Di) that is displayed as a virtual image in the foreground and presents information to the driver. A travel direction image is generated to notify the planned direction, and the lower the travel speed is, the lower the travel direction image is. It functions as a display generation unit (207) that controls the display to be displayed.
これらの開示によれば、前景に重畳表示される虚像の最上位置は、走行速度が高いほど、上方になる。故に、前景中に先行車が存在する場合、車両の走行速度が高いほど、先行車と、情報表示像としての進行方向画像との重ならない車間距離が長くなる。以上のように、進行方向画像は、先行車との位置関係から、本来提示する情報に加えて、走行速度に応じた好ましい車間距離を提示できる。したがって、煩雑な印象を抑制しつつ、走行速度に応じた好ましい車間距離が運転者に提示可能となる。 According to these disclosures, the uppermost position of the virtual image superimposed on the foreground is higher as the running speed is higher. Therefore, when a preceding vehicle is present in the foreground, the higher the traveling speed of the vehicle, the longer the inter-vehicle distance in which the preceding vehicle and the traveling direction image as the information display image do not overlap. As described above, the traveling direction image can present a preferable inter-vehicle distance according to the running speed, in addition to the information originally presented, based on the positional relationship with the preceding vehicle. Therefore, it is possible to present a preferable inter-vehicle distance to the driver according to the running speed while suppressing a complicated impression.
(第1実施形態)
第1実施形態の表示制御装置について、図1~図7を参照しながら説明する。車両システム1は、自動車といった路上を走行する車両Aで用いられるものである。車両システム1は、一例として、図1に示すように、HMI(Human Machine Interface)システム2、ADAS(Advanced Driver Assistance Systems)ロケータ3、周辺監視センサ4、運転支援ECU6を含んでいる。HMIシステム2、ADASロケータ3、周辺監視センサ4、運転支援ECU6、ナビゲーション装置7、および車速センサ8は、例えば車内LANに接続されている。
(First embodiment)
A display control device according to the first embodiment will be described with reference to FIGS. 1 to 7. FIG. The
ADASロケータ3は、図1に示すように、GNSS(Global Navigation Satellite System)受信機30、慣性センサ31、および地図データベース(以下、地図DB)32を備えている。GNSS受信機30は、複数の人工衛星からの測位信号を受信する。慣性センサ31は、例えばジャイロセンサおよび加速度センサを備える。ADASロケータ3は、GNSS受信機30で受信する測位信号と、慣性センサ31の計測結果とを組み合わせることにより、自車の車両位置を逐次測位する。なお、ADASロケータ3は、車両位置の測位に、自車に搭載された車速センサ8から逐次出力される検出結果から求めた走行距離等を用いてもよい。ADASロケータ3は、測位した車両位置を車内LANへ出力する。
The ADAS
地図DB32は、不揮発性メモリであって、リンクデータ、ノードデータ、道路形状等の地図データを格納している。リンクデータは、リンクを特定するリンクID、リンクの長さを示すリンク長、リンク方位、リンク旅行時間、リンクの始端と終端とのノード座標、および道路属性等の各データから構成される。ノードデータは、地図上のノード毎に固有の番号を付したノードID、ノード座標、ノード名称、ノード種別、ノードに接続するリンクのリンクIDが記述される接続リンクID、交差点種別等の各データから構成される。 The map DB 32 is a non-volatile memory and stores map data such as link data, node data, and road shapes. The link data includes data such as a link ID specifying a link, link length indicating the length of the link, link direction, link travel time, node coordinates of the start and end of the link, and road attributes. The node data includes a node ID with a unique number assigned to each node on the map, node coordinates, node name, node type, connection link ID describing the link ID of the link connecting to the node, intersection type, etc. consists of
また、地図データとして、道路形状および構造物の特徴点の点群からなる三次元地図を用いる構成としてもよく、この三次元地図を用いる場合はこの点群の高さ方向の座標を高さの情報として用いてもよい。ADASロケータ3は、この三次元地図を用いる場合、GNSS受信機30を用いずに、この三次元地図と、道路形状および構造物の特徴点の点群を検出するLIDAR(Light Detection and Ranging/Laser Imaging Detection and Ranging)等の周辺監視センサ4での検出結果とを用いて、自車の車両位置を特定する。なお、地図データは、車両Aに搭載された車載通信モジュールを用いて車両Aの外部から取得されてもよい。
Further, as the map data, a three-dimensional map consisting of point groups of characteristic points of road shapes and structures may be used. You may use it as information. When using this three-dimensional map, the ADAS
周辺監視センサ4は、自車の周辺環境を監視する自律センサである。周辺監視センサ4は、歩行者、人間以外の動物、自車以外の車両等の移動する動的物標、および路上の落下物、ガードレール、縁石、走行区画線等の路面表示、および樹木等の静止している静的物標といった自車周辺の対象物を検出する。
The surroundings monitoring
例えば周辺監視センサ4としては、自車周囲の所定範囲を撮像する周辺監視カメラ、自車周囲の所定範囲に探査波を送信するミリ波レーダ、ソナー、LIDAR等の探査波センサがある。周辺監視カメラは、逐次撮像する撮像画像をセンシング情報として車内LANへ逐次出力する。探査波センサは、対象物によって反射された反射波を受信した場合に得られる受信信号に基づく走査結果をセンシング情報として車内LANへ逐次出力する。第1実施形態の周辺監視センサ4は、少なくとも、自車の前方の所定範囲を撮像範囲とする前方カメラ41を含む。前方カメラ41は、例えば、自車のルームミラー、インストルメントパネル上面等に設けられている。
For example, the
運転支援ECU6は、乗員による運転操作の代行を行う自動運転機能を実行する。運転支援ECU6は、ADASロケータ3から取得する自車の車両位置および地図データ、周辺監視センサ4でのセンシング情報をもとに、自車の走行環境を認識する。例えば運転支援ECU6は、前方カメラ41の撮像データから、走行区画線を認識し、車両Aの前方を走行している他車両のうち、車両Aが走行している車線と同じ車線を走行している先行車LVを検出する。また、運転支援ECU6は、他の探査波センサ等からの情報に基づいて先行車LVを検出してもよい。運転支援ECU6は、先行車LVが検出された場合、その検出情報を、HCU20に逐次出力する。運転支援ECU6は、先行車LVが検出されなかった場合、検出情報を出力しない。または、運転支援ECU6は、先行車LVが検出されなかったことを示す情報を出力してもよい。
The
運転支援ECU6で実行する自動運転機能の一例としては、駆動力および制動力を調整することで、先行車LVとの目標車間距離を維持するように自車の走行速度を制御するACC(Adaptive Cruise Control)機能がある。また、前方のセンシング情報をもとに制動力を発生させることで、自車を強制的に減速させるAEB(Autonomous Emergency Braking)機能がある。なお、運転支援ECU6は、自動運転の機能として他の機能を備えていてもよい。 An example of an automatic driving function executed by the driving support ECU 6 is ACC (Adaptive Cruise Control), which controls the traveling speed of the own vehicle so as to maintain the target inter-vehicle distance from the preceding vehicle LV by adjusting the driving force and braking force. Control) function. It also has an AEB (Autonomous Emergency Braking) function that forcibly decelerates the vehicle by generating a braking force based on forward sensing information. In addition, driving assistance ECU6 may be provided with another function as a function of automatic driving.
ナビゲーション装置7は、地図データを格納した地図DBを備え、設定される目的地までの時間優先,距離優先等の条件を満たす経路を探索し、その探索した経路に従った経路案内を行う。地図DBは、不揮発性メモリであって、リンクデータ、セグメントデータ、ノードデータ、道路形状等の地図データを格納している。なお、地図データには、道路形状および構造物の特徴点の点群からなる三次元地図を含む構成であってもよい。
The
車速センサ8は、車両Aの走行速度を測定するセンサである。車速センサ8は、例えば車速に対応する車輪の回転速度を検出する。車速センサ8は、検出信号を走行速度情報としてHCU20等へ向けて逐次出力する。
The
HMIシステム2は、HCU(Human Machine Interface Control Unit)20、操作デバイス21、および表示装置23を備えており、自車のユーザである乗員からの入力操作を受け付けたり、自車の乗員に向けて情報を提示したりする。操作デバイス21は、自車の乗員が操作するスイッチ群である。操作デバイス21は、各種の設定を行うために用いられる。例えば、操作デバイス21としては、自車のステアリングのスポーク部に設けられたステアリングスイッチ等がある。
The
表示装置23は、例えばヘッドアップディスプレイ(以下、HUDと表記)230である。図2に示すようにHUD230は、自車のインストルメントパネル12に設けられている。HUD230は、例えば液晶式又は走査式等のプロジェクタ231により、HCU20から出力される画像データに基づく表示画像を形成する。
The
HUD230は、プロジェクタ231によって形成される表示画像を、例えば凹面鏡等の光学系232を通じて、投影部材としてのフロントウインドシールドWSに規定された投影領域PAに投影する。投影領域PAは、運転席前方に位置するものとする。フロントウインドシールドWSによって車室内側に反射された表示画像の光束は、運転席に着座する乗員によって知覚される。また、透光性ガラスにより形成されるフロントウインドシールドWSを透過した、自車の前方に存在する風景としての前景からの光束も、運転席に着座する乗員によって知覚される。これにより、乗員は、フロントウインドシールドWSの前方にて表示される表示画像の虚像Viを、前景の一部と重ねて視認可能となる。HUD230は、車両Aの前景に虚像Viを重畳表示し、所謂AR(Augmented Reality)表示を実現する。なお、HUD230が表示画像を投影する投影部材は、フロントウインドシールドWSに限らず、透光性コンバイナであってもよい。
The
HCU20は、プロセッサ20a、RAM20b、メモリ装置20c、I/O20d、これらを接続するバスを備えるマイクロコンピュータを主体として構成され、HUD230と車内LANとに接続されている。HCU20は、メモリ装置20cに記憶された表示制御プログラムを実行することにより、HUD230による表示を制御する。HCU20は、表示制御装置の一例であり、プロセッサ20aは処理部の一例である。メモリ装置20cは、コンピュータによって読み取り可能なプログラムおよびデータを非一時的に格納する非遷移的実体的記憶媒体(non-transitory tangible storage medium)である。また、非遷移的実体的記憶媒体は、半導体メモリ又は磁気ディスクなどによって実現される。
The
図3に示すように、HCU20は、機能ブロックとして速度取得部200、先行車情報取得部201、予定経路取得部202、自車位置取得部203、表示物決定部205、表示領域設定部206、および表示生成部207を備える。なお、HCU20が実行する機能の一部又は全部を、1つ或いは複数のIC等によりハードウェア的に構成してもよい。また、HCU20が備える機能ブロックの一部又は全部は、プロセッサ20aによるソフトウェアの実行とハードウェア部材の組み合わせによって実現されてもよい。
As shown in FIG. 3, the
速度取得部200は、車速センサ8から出力された走行速度情報を取得する。先行車情報取得部201は、運転支援ECU6から出力された先行車LVの検出情報を取得する。予定経路取得部202は、ナビゲーション装置7にて設定された目的地までの車両Aの予定経路情報を取得する。予定経路情報は、車両Aの進行予定方向を含む情報である。自車位置取得部203は、ADASロケータ3で逐次測位する自車の車両位置を取得する。
The
表示物決定部205は、取得された予定経路情報および車両Aの現在位置に基づき、生成する情報表示物を決定する。一例として、表示物決定部205は、車両Aの現在位置が右左折または車線変更を行う区間(例えば交差点等)である場合、後述の走行経路画像Riを、情報表示物として決定する。また、表示物決定部205は、車両Aの現在位置が上述の区間外である場合、後述の進行方向画像Diを、情報表示物として決定する。以下において、走行経路画像Riを表示する区間を走行経路表示区間、進行方向画像Diを表示する区間を進行方向表示区間と表記する。
The display
表示領域設定部206は、表示物決定部205にて生成される情報表示像が進行方向画像Diに決定された場合、進行方向画像Diの表示される表示領域DAを、投影領域PA内に設定する。ここで表示領域DAは、生成される進行方向画像Diの収まる範囲である。表示領域設定部206は、表示領域DAを、表示制御上の仮想的な領域として設定する。表示領域設定部206は、車両Aの走行速度情報および先行車LVの検出情報に基づいて、表示領域DAの面積を変更する。具体的には、表示領域設定部206は、車両Aの走行速度が小さいほど、表示領域DAを上方から減少させる。
When the information display image generated by the display
表示生成部207は、表示物決定部205にて決定された情報表示像の画像データを生成して画像データをHUD230に出力することで、情報表示像を虚像Viとして重畳表示させる。特に表示生成部207は、進行方向画像Diが情報表示物として決定されていた場合、表示領域設定部206にて設定された表示領域DAに収まるような表示態様にて進行方向画像Diの画像データを生成する。表示生成部207は、画像表示部の一例である。
The
次に、HCU20が生成する情報表示像およびその表示態様の設定の一例について図4~図6を参照して説明する。HCU20は、進行方向画像Diおよび走行経路画像Riを車両Aの走行区間に応じて生成する。
Next, an information display image generated by the
進行方向画像Diは、予定経路情報に基づく車両Aの進行予定方向を運転者に通知する画像である。具体的には、進行方向画像Diは、次に通過する走行経路表示区間において予定経路を走行するために車両Aが進行すべき方向を示す情報表示物である。一例として、車両Aが次の交差点等で右折する必要がある場合、進行方向画像Diは、図4に示すように右方向を指し示す矢印画像として生成される。進行方向画像Diは、車両A前方の路面を特定の重畳対象として重畳表示される重畳虚像である。 The traveling direction image Di is an image that notifies the driver of the planned traveling direction of the vehicle A based on the planned route information. Specifically, the traveling direction image Di is an information display object indicating the direction in which the vehicle A should travel in order to travel along the planned route in the next traveling route display section. As an example, when the vehicle A needs to turn right at the next intersection or the like, the traveling direction image Di is generated as an arrow image pointing rightward as shown in FIG. The traveling direction image Di is a superimposed virtual image superimposed on the road surface in front of the vehicle A as a specific superimposition target.
進行方向画像Diは、表示領域DA内に収まる表示態様で表示される情報表示物である。表示領域DAは、先行車LVの検出情報および車両Aの速度情報に基づき設定される。図4に示すように、先行車LVの検出情報がない、すなわち先行車LVが検出されていない場合には、表示領域DAは、走行速度に関わらず投影領域PAと実質的に一致する領域として設定される。この投影領域PAと実質的に一致する領域が、表示領域DAの最大領域である。 The traveling direction image Di is an information display object displayed in a display mode that fits within the display area DA. The display area DA is set based on the detection information of the preceding vehicle LV and the speed information of the vehicle A. As shown in FIG. 4, when there is no detection information of the preceding vehicle LV, that is, when the preceding vehicle LV is not detected, the display area DA is an area that substantially matches the projection area PA regardless of the traveling speed. set. The area that substantially coincides with the projection area PA is the maximum area of the display area DA.
したがって、進行方向画像Diは、先行車LVが検出されていない場合、規定された最大の大きさで投影領域PA内に生成される。一例として、進行方向画像Diは、投影領域PAからはみ出さない大きさで、投影領域PAの上下方向範囲全体にわたって表示される。この場合、進行方向画像Diの大きさおよび形状等の表示態様は、車両Aの走行速度によって変更されずに一定に維持される。なお、車両Aの傾き等、走行速度以外のパラメータの変化に基づく進行方向画像Diの表示態様の変更は実行されてよい。 Therefore, the traveling direction image Di is generated in the projection area PA with the specified maximum size when the preceding vehicle LV is not detected. As an example, the traveling direction image Di is sized so as not to protrude from the projection area PA, and is displayed over the entire vertical range of the projection area PA. In this case, the display mode such as the size and shape of the traveling direction image Di is maintained constant without being changed by the traveling speed of the vehicle A. FIG. Note that the display mode of the traveling direction image Di may be changed based on changes in parameters other than the running speed, such as the inclination of the vehicle A.
一方で図5に示すように、先行車LVが検出されている場合、表示領域DAは、走行速度が小さいほど上方から減少していくように設定される。すなわち、表示領域DAにおける上辺側の領域境界線Bの上下位置が、走行速度が小さいほど下方に設定される。一例として、図5Aは、走行速度が100Km/hである場合の表示領域DAを示しており、図5Bは、走行速度が60km/hである場合の表示領域DAを示している。 On the other hand, as shown in FIG. 5, when the preceding vehicle LV is detected, the display area DA is set to decrease from above as the traveling speed decreases. That is, the vertical position of the area boundary line B on the upper side of the display area DA is set downward as the travel speed decreases. As an example, FIG. 5A shows the display area DA when the traveling speed is 100 km/h, and FIG. 5B shows the display area DA when the traveling speed is 60 km/h.
領域境界線Bの上下位置は、予めHCU20に設定された車両Aの走行速度との対応関係により決定される。具体的には、領域境界線Bの上下位置は、好ましい先行車LVとの車間距離に対応する前景中の路面上の位置と実質的に一致するように設定される。ここで好ましい先行車LVとの車間距離は、予め決められた車間時間(例えば2秒)の距離換算により決定されている。このため、走行速度が小さいほど、好ましい車間距離は短くなる。その結果、領域境界線Bの上下位置は、走行速度が小さいほど下方に設定されることになる。
The upper and lower positions of the area boundary line B are determined by the corresponding relationship with the traveling speed of the vehicle A set in the
また、領域境界線Bの形状は、上方に凸の円弧状になるように設定されている。すなわち、領域境界線Bは、左右方向の端部側ほど下方に位置するように設定されている。領域境界線Bの円弧の曲率は、例えば、領域境界線Bに対応する路面上の位置の車両Aからの距離が、領域境界線Bの左右方向位置によらず実質的に一定となるように設定される。 Also, the shape of the area boundary line B is set to be an upwardly convex circular arc shape. In other words, the area boundary line B is set so as to be located downward toward the left and right ends. The curvature of the arc of the area boundary line B is such that, for example, the distance from the vehicle A to the position on the road surface corresponding to the area boundary line B is substantially constant regardless of the horizontal position of the area boundary line B. set.
進行方向画像Diは、先行車LVが検出されている場合、上述のように設定された表示領域DAに収まるような表示態様で生成される。特に、進行方向画像Diの最上位置は、領域境界線Bによって規定されて、領域境界線B内に収まるように表示される。一例として、図5Aおよび図5Bに示すように、進行方向画像Diの最上位置は、領域境界線Bと同じ位置になるように調整される。すなわち、進行方向画像Diの最上位置は、車両Aと先行車LVとの間の好ましい車間距離に基づいて設定されて、好ましい車間距離だけ車両Aから離れた路面上の位置に対応するように表示制御される。したがって、進行方向画像Diの投影領域PA内での投影位置は、走行速度に対応した路面上の位置、運転者の視点位置、および投影領域PAの位置関係等に基づき、幾何学的な演算によって算出される。 When the preceding vehicle LV is detected, the traveling direction image Di is generated in a display mode that fits within the display area DA set as described above. In particular, the uppermost position of the traveling direction image Di is defined by the area boundary line B and displayed so as to fit within the area boundary line B. FIG. As an example, as shown in FIGS. 5A and 5B, the uppermost position of the traveling direction image Di is adjusted to be the same position as the area boundary line B. FIG. That is, the uppermost position of the traveling direction image Di is set based on the preferred inter-vehicle distance between the vehicle A and the preceding vehicle LV, and is displayed so as to correspond to a position on the road surface separated from the vehicle A by the preferred inter-vehicle distance. controlled. Therefore, the projection position of the traveling direction image Di within the projection area PA is determined by geometric calculation based on the position on the road surface corresponding to the running speed, the position of the driver's viewpoint, and the positional relationship of the projection area PA. Calculated.
結果として進行方向画像Diは、走行速度が小さいほど、最上位置が下方となるように表示される。これにより、図5Aおよび図5Bに示す例では、進行方向画像Diは、走行速度が小さいほど下方に縮んでいくように表示される。以上のように、進行方向画像Diは、進行予定方向の提示に加えて、車両Aの走行速度の変化に応じた好ましい車間距離を、その最上位置によって運転者に提示する。すなわち、進行方向画像Diの最上位置が、先行車LVとの間の好ましい車間距離だけ車両Aから離れた路面上の位置に対応するので、進行方向画像Diと先行車LVとが重ならない走行速度が、先行車LVとの車間距離を維持して走行するための走行速度となる。 As a result, the travel direction image Di is displayed such that the lower the travel speed, the lower the top position. As a result, in the example shown in FIGS. 5A and 5B, the traveling direction image Di is displayed so as to shrink downward as the travel speed decreases. As described above, the travel direction image Di not only presents the planned travel direction, but also presents to the driver the preferred inter-vehicle distance according to the change in the running speed of the vehicle A by its highest position. That is, since the uppermost position of the traveling direction image Di corresponds to a position on the road surface separated from the vehicle A by the preferred inter-vehicle distance from the preceding vehicle LV, the traveling direction image Di and the preceding vehicle LV do not overlap each other. is the running speed for running while maintaining the inter-vehicle distance to the preceding vehicle LV.
また、先行車LVが検出されている場合であっても、走行速度が閾値を下回る場合には、図5Cに示すように非重畳画像D2iが生成される。閾値は、例えば進行方向画像Diを運転者が認識困難となる程度に表示領域DAが狭くなる走行速度として、予めHCU20に設定されている値(例えば30km/h)である。非重畳画像D2iは、進行方向画像Diと同様に車両Aの進行予定方向を指し示す画像であって、進行方向画像Diと異なり特定の重畳対象に重畳されず、単に前景に表示される表示物である。
Further, even when the preceding vehicle LV is detected, if the running speed is below the threshold, a non-superimposed image D2i is generated as shown in FIG. 5C. The threshold value is a value (eg, 30 km/h) preset in the
図6に示すように、走行経路画像Riは、予定経路情報に基づく走行経路表示区間における車両Aの辿るべき走行経路を運転者に通知する表示物である。走行経路画像Riは、先行車LVの有無に関わらず表示される。一例として、走行経路画像Riは、車両Aの走行予定経路に沿って延びる一続きのシート状の画像として表示されている。走行経路画像Riは、車両A前方の路面を重畳対象として重畳表示されている。 As shown in FIG. 6, the travel route image Ri is a display that notifies the driver of the travel route that the vehicle A should follow in the travel route display section based on the planned route information. The travel route image Ri is displayed regardless of the presence or absence of the preceding vehicle LV. As an example, the travel route image Ri is displayed as a series of sheet-like images extending along the planned travel route of the vehicle A. FIG. The travel route image Ri is superimposed and displayed with the road surface in front of the vehicle A as the superimposition target.
次に、これまで説明した情報通知を行う場合にHCU20が実行する処理について、図7のフローチャートを参照して説明する。図7に示す処理は、例えばナビゲーション装置7への目的地の設定が完了すると開始される。
Next, the processing executed by the
HCU20は、まずステップS10で、進行方向画像Diの表示シーンであるか否かを判定する。進行方向画像Diの表示シーンであるか否かは、例えば車両Aの現在位置に基づく現在の走行区間が、進行方向表示区間であるか否かにより判定される。進行方向画像Diの表示シーンではないと判定すると、ステップS12へと進み、現在の走行シーンに応じた表示物の生成が必要であれば、当該表示物の生成を行う。具体的には、現在の走行区間が走行経路表示区間であった場合には、走行経路画像Riの生成を行う。
First, in step S10, the
一方で、進行方向画像Diの表示シーンであった場合、ステップS20へと進み、先行車LVが在るか否かを判定する。先行車LVが無いと判定すると、ステップS22へと進み、先行車LVが検出されている状態から検出されていない状態となってからの未検出時間が閾時間を上回るか否かを判定する。先行車LVの未検出時間が閾時間を上回ると判定した場合には、ステップS24へと進み、投影領域PAに収まる進行方向画像Diを生成する。ステップS24の処理を実行すると、再びステップS10へと戻る。 On the other hand, if it is the display scene of the traveling direction image Di, the process proceeds to step S20 to determine whether or not the preceding vehicle LV is present. If it is determined that there is no preceding vehicle LV, the process proceeds to step S22, and it is determined whether or not the non-detection time after the state where the preceding vehicle LV is detected exceeds the threshold time. If it is determined that the preceding vehicle LV undetected time exceeds the threshold time, the process proceeds to step S24 to generate the traveling direction image Di that fits within the projection area PA. After executing the process of step S24, the process returns to step S10 again.
ステップS20にて先行車LVが在ると判定した場合、またはステップS22にて先行車LVの未検出時間が閾時間を下回ると判定された場合には、ステップS30へと進む。ステップS30では、車両Aの走行速度を取得する。ステップS40では、取得した走行速度が閾値を下回るか否かを判定する。 If it is determined in step S20 that there is a preceding vehicle LV, or if it is determined in step S22 that the undetected time of the preceding vehicle LV is less than the threshold time, the process proceeds to step S30. In step S30, the running speed of vehicle A is acquired. In step S40, it is determined whether or not the acquired travel speed is below a threshold.
走行速度が閾値を下回ると判定された場合には、ステップS42へと進む。ステップS42では、進行方向画像Diの代わりに、非重畳画像D2iを生成する。ステップS42の処理を実行すると、再びステップS10へと戻る。 If it is determined that the running speed is below the threshold, the process proceeds to step S42. In step S42, a non-superimposed image D2i is generated instead of the traveling direction image Di. After executing the process of step S42, the process returns to step S10 again.
一方でステップS40にて走行速度が閾値を上回ると判定されると、ステップS50へと進む。ステップS50では、走行速度に応じて表示領域DAを規定する。ステップS60では、ステップS50にて規定した表示領域DAに収まるように、進行方向画像Diの位置、形状および大きさを決定し、決定した態様にて進行方向画像Diを表示する。ステップS60の処理を実行すると、再びステップS10へと戻る。 On the other hand, if it is determined in step S40 that the traveling speed exceeds the threshold value, the process proceeds to step S50. In step S50, the display area DA is defined according to the running speed. In step S60, the position, shape, and size of the traveling direction image Di are determined so as to fit within the display area DA defined in step S50, and the traveling direction image Di is displayed in the determined manner. After executing the process of step S60, the process returns to step S10.
次に第1実施形態のHCU20の構成および作用効果について説明する。
Next, the configuration and effects of the
HCU20は、車両Aの走行速度を取得する速度取得部200と、運転者へ情報を提示する進行方向画像Diを生成する表示生成部207とを備える。表示生成部207は、走行速度が小さいほど進行方向画像Diの最上位置が下方になる表示態様で進行方向画像Diを生成する。
The
これによれば、前景中に先行車LVが存在する場合、車両Aの走行速度が小さいほど、先行車LVと進行方向画像Diとの重ならない位置が下方となる。すなわち、車両Aの走行速度が小さいほど、先行車LVと進行方向画像Diとの重ならない車間距離が短くなる。したがって、運転者は、進行方向画像Diの先行車LVとの位置関係を視認することで、進行方向画像Diの本来提示する情報に加えて、走行速度に応じた先行車LVとの車間距離を把握することができる。このため、運転者に対して複数の表示物をそれぞれ視認させる必要性が低減される。以上により、煩雑な印象を抑制しつつ、走行速度に応じた車間距離を運転者に提示可能なHCU20を提供することができる。
According to this, when the preceding vehicle LV is present in the foreground, the lower the traveling speed of the vehicle A is, the lower the position where the preceding vehicle LV and the traveling direction image Di do not overlap. That is, the lower the running speed of the vehicle A, the shorter the inter-vehicle distance at which the preceding vehicle LV and the traveling direction image Di do not overlap. Therefore, by visually recognizing the positional relationship between the traveling direction image Di and the preceding vehicle LV, the driver can determine the inter-vehicle distance from the preceding vehicle LV according to the traveling speed in addition to the information originally presented by the traveling direction image Di. can grasp. This reduces the need for the driver to visually recognize each of the plurality of display objects. As described above, it is possible to provide the
表示生成部207は、上部の領域境界線Bが上方に凸となる円弧状に設定された表示領域DAに収まるように進行方向画像Diを表示する。これによれば、領域境界線Bに対応する前景中の路面上の位置と、車両Aとの距離が、領域境界線Bの左右方向位置によって異なることを抑制し得る。
The
HCU20は、先行車LVの検出情報を取得する先行車情報取得部201をさらに有する。表示生成部207は、先行車LVが検出されていない場合には、走行速度に基づく進行方向画像Diの表示制御を中止する。これによれば、先行車LVが検出されていない場合には、走行速度の変化によって進行方向画像Diの表示態様が変更されない。このため、運転者は、進行方向画像Diの形状を認識しやすくなり、進行方向画像Diの提示する情報を把握しやすい。
The
表示生成部207は、先行車LVが検出されている状態から検出されていない状態へと変化して閾時間が経過するまでは、走行速度に基づく進行方向画像Diの表示制御を継続する。これによれば、例えばカーブ走行時等にて先行車LVを一時的に検出できなくなった場合でも、閾時間が経過するまでは走行速度に基づく進行方向画像Diの表示制御を中止しないので、表示制御の継続と中止とが頻繁に繰り返されることを抑制できる。
The
表示生成部207は、進行方向画像Diを、前景中の路面を重畳対象として重畳させる。これによれば、走行速度により表示態様が変更されても比較的違和感のない表示物によって、走行速度に応じた車間距離を把握させることができる。
The
表示生成部207は、先行車LVが検出されている状態で走行速度が閾値を下回る場合には、進行方向画像Diを路面へ重畳させない。これによれば、表示生成部207は、走行速度の低下によって進行方向画像Diの最上位置が過度に下方に位置し、進行方向画像Diの視認性が低下することを避けることができる。特に第1実施形態の表示生成部207は、路面に重畳されず単に前景に表示される非重畳画像D2iを進行方向画像Diに代わって表示するので、進行予定方向に関する情報の提示を継続することができる。
The
(他の実施形態)
この明細書における開示は、例示された実施形態に制限されない。開示は、例示された実施形態と、それらに基づく当業者による変形態様を包含する。例えば、開示は、実施形態において示された部品および/または要素の組み合わせに限定されない。開示は、多様な組み合わせによって実施可能である。開示は、実施形態に追加可能な追加的な部分をもつことができる。開示は、実施形態の部品および/または要素が省略されたものを包含する。開示は、ひとつの実施形態と他の実施形態との間における部品および/または要素の置き換え、または組み合わせを包含する。開示される技術的範囲は、実施形態の記載に限定されない。開示されるいくつかの技術的範囲は、特許請求の範囲の記載によって示され、さらに特許請求の範囲の記載と均等の意味及び範囲内での全ての変更を含むものと解されるべきである。
(Other embodiments)
The disclosure herein is not limited to the illustrated embodiments. The disclosure encompasses the illustrated embodiments and variations thereon by those skilled in the art. For example, the disclosure is not limited to the combinations of parts and/or elements shown in the embodiments. The disclosure can be implemented in various combinations. The disclosure can have additional parts that can be added to the embodiments. The disclosure encompasses omitting parts and/or elements of the embodiments. The disclosure encompasses permutations or combinations of parts and/or elements between one embodiment and another. The disclosed technical scope is not limited to the description of the embodiments. The disclosed technical scope is indicated by the description of the claims, and should be understood to include all changes within the meaning and range of equivalents to the description of the claims. .
上述の実施形態において、表示生成部207は、進行方向画像Diを走行速度が小さいほど下方に縮んでいくように表示するとした。これに代えて、表示生成部207は、進行方向画像Diの形状を変更せず、単に下方に移動させる構成であってもよい。
In the above-described embodiment, the
上述の実施形態において、表示生成部207は、先行車LVが検出されていない場合には、走行速度によらず進行方向画像Diの表示態様を変更しないとした。これに代えて、表示生成部207は、先行車LVの有無に関わらず、走行速度に応じて進行方向画像Diの表示態様を変更してもよい。
In the above-described embodiment, the
上述の実施形態において、表示生成部207は、走行速度が小さいほど、進行方向画像Diの最上位置を下方となるように表示するとした。これに代えて、表示生成部207は、進行方向画像Di以外の情報表示物を、走行速度が小さいほど最上位置を下方とするように表示させてもよい。
In the above-described embodiment, the
上述の実施形態におけるプロセッサ20aは、一つ又は複数のCPU(Central Processing Unit)を含む処理部である。こうしたプロセッサは、CPUに加えて、GPU(Graphics Processing Unit)及びDFP(Data Flow Processor)等を含む処理部であってよい。さらにプロセッサは、FPGA(Field-Programmable Gate Array)、並びにAIの学習及び推論等の特定処理に特化したIPコア等を含む処理部であってもよい。こうしたプロセッサの各演算回路部は、プリント基板に個別に実装された構成であってもよく、又はASIC(Application Specific Integrated Circuit)及びFPGA等に実装された構成であってもよい。
The
本開示に記載の制御部及びその手法は、コンピュータプログラムにより具体化された一つ乃至は複数の機能を実行するようにプログラムされたプロセッサを構成する専用コンピュータにより、実現されてもよい。あるいは、本開示に記載の装置及びその手法は、専用ハードウェア論理回路により、実現されてもよい。もしくは、本開示に記載の装置及びその手法は、コンピュータプログラムを実行するプロセッサと一つ以上のハードウェア論理回路との組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されていてもよい。 The controller and techniques described in this disclosure may be implemented by a special purpose computer comprising a processor programmed to perform one or more functions embodied by a computer program. Alternatively, the apparatus and techniques described in this disclosure may be implemented by dedicated hardware logic circuitry. Alternatively, the apparatus and techniques described in this disclosure may be implemented by one or more special purpose computers configured in combination with a processor executing a computer program and one or more hardware logic circuits. The computer program may also be stored as computer-executable instructions on a computer-readable non-transitional tangible recording medium.
20 HCU(表示制御装置)、 200 速度取得部、 201 先行車情報取得部、 207 表示生成部、 20a プロセッサ(処理部)、 A 車両、 B 領域境界線、 DA 表示領域、 Di 情報表示像、 LV 先行車、 Vi 虚像。
20 HCU (display control unit) 200
Claims (8)
前記車両の走行速度を取得する速度取得部(200)と、
前記前景に虚像表示され前記運転者へ情報を提示する情報表示像(Di)として、予定経路情報に基づく前記車両の進行予定方向を通知する進行方向画像を生成し、前記走行速度が小さいほど前記進行方向画像の最上位置を下方にすることにより、前記走行速度が小さいほど前記進行方向画像を上方から下方の最下位置に向かって縮ませる表示制御を行う表示生成部(207)と、
を備える表示制御装置。 A display control device used in a vehicle (A) for controlling the display of a virtual image (Vi) superimposed on the foreground of the driver,
a speed acquisition unit (200) for acquiring the running speed of the vehicle;
As an information display image (Di) that is displayed as a virtual image in the foreground and presents information to the driver, a traveling direction image that notifies the planned traveling direction of the vehicle based on the planned route information is generated. a display generation unit (207) that performs display control such that the uppermost position of the traveling direction image is positioned downward so that the lower the traveling speed, the smaller the traveling direction image is, and the lower the lowermost position;
A display controller comprising:
前記表示領域は、上部の領域境界線(B)が上方に凸となる弧状に設定されている請求項1または請求項2に記載の表示制御装置。 The display generation unit generates the traveling direction image so that the upper area boundary line (B) fits in an arc-shaped display area (DA) that is convex upward,
3. The display control device according to claim 1, wherein the display area is set in an arc shape with an upper area boundary line (B) protruding upward.
前記表示生成部は、当該先行車が検出されていない場合には、前記進行方向画像の前記表示制御を中止する請求項1または請求項2に記載の表示制御装置。 Further comprising a preceding vehicle information acquisition unit (201) for acquiring detection information of the preceding vehicle (LV),
3. The display control device according to claim 1, wherein the display generation unit suspends the display control of the traveling direction image when the preceding vehicle is not detected.
少なくとも1つの処理部(20a)を、
前記車両の走行速度を取得する速度取得部(200)、
前記前景に虚像表示され前記運転者へ情報を提示する情報表示像(Di)として、予定経路情報に基づく前記車両の進行予定方向を通知する進行方向画像を生成し、前記走行速度が小さいほど前記進行方向画像の最上位置を下方にすることにより、前記走行速度が小さいほど前記進行方向画像を上方から下方の最下位置に向かって縮ませる表示制御を行う表示生成部(207)、として機能させる表示制御プログラム。 A display control program for controlling the display of a virtual image (Vi) that is used in a vehicle (A) and superimposed on the foreground of a driver,
at least one processing unit (20a),
a speed acquisition unit (200) for acquiring the running speed of the vehicle;
As an information display image (Di) that is displayed as a virtual image in the foreground and presents information to the driver, a traveling direction image that notifies the planned traveling direction of the vehicle based on the planned route information is generated. Functioning as a display generation unit (207) that performs display control such that the traveling direction image is shrunk from above toward the lowest position, as the traveling speed decreases, by placing the highest position of the traveling direction image downward. A display control program that allows
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018227383A JP7206867B2 (en) | 2018-12-04 | 2018-12-04 | Display controller and display control program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018227383A JP7206867B2 (en) | 2018-12-04 | 2018-12-04 | Display controller and display control program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020091148A JP2020091148A (en) | 2020-06-11 |
JP7206867B2 true JP7206867B2 (en) | 2023-01-18 |
Family
ID=71012688
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018227383A Active JP7206867B2 (en) | 2018-12-04 | 2018-12-04 | Display controller and display control program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7206867B2 (en) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002163798A (en) | 2000-11-22 | 2002-06-07 | Michihiro Kannonji | Inter-vehicle distance warning device and display device |
JP2006309552A (en) | 2005-04-28 | 2006-11-09 | Denso Corp | Display device for vehicle |
WO2015128985A1 (en) | 2014-02-27 | 2015-09-03 | パイオニア株式会社 | Display device, control method, program, and storage medium |
JP2016203850A (en) | 2015-04-24 | 2016-12-08 | 株式会社リコー | Information providing device, information providing method and control program for providing information |
WO2017029740A1 (en) | 2015-08-20 | 2017-02-23 | 三菱電機株式会社 | Display control device, display device, and display control method |
JP2017215816A (en) | 2016-05-31 | 2017-12-07 | 株式会社リコー | Information display device, information display system, information display method, and program |
JP2018092442A (en) | 2016-12-05 | 2018-06-14 | 株式会社デンソー | Vehicle display control device and vehicle display system |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3656293B2 (en) * | 1995-09-29 | 2005-06-08 | 株式会社エクォス・リサーチ | Automatic transmission control device for vehicle |
JP4249037B2 (en) * | 2004-01-06 | 2009-04-02 | アルパイン株式会社 | Peripheral vehicle display device, navigation device, and vehicle display method |
JP4779355B2 (en) * | 2004-12-21 | 2011-09-28 | 日産自動車株式会社 | Display device and display method for driving operation assist device for vehicle |
JP5294562B2 (en) * | 2007-01-18 | 2013-09-18 | クラリオン株式会社 | Vehicle periphery monitoring device and display method thereof |
JP2009113710A (en) * | 2007-11-08 | 2009-05-28 | Denso Corp | Head-up display device |
JP2013073363A (en) * | 2011-09-27 | 2013-04-22 | Toyota Motor Corp | Rear side approach warning device |
KR102277685B1 (en) * | 2015-03-11 | 2021-07-16 | 현대모비스 주식회사 | Head up display and control method thereof |
JP6930120B2 (en) * | 2017-02-02 | 2021-09-01 | 株式会社リコー | Display device, mobile device and display method. |
-
2018
- 2018-12-04 JP JP2018227383A patent/JP7206867B2/en active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002163798A (en) | 2000-11-22 | 2002-06-07 | Michihiro Kannonji | Inter-vehicle distance warning device and display device |
JP2006309552A (en) | 2005-04-28 | 2006-11-09 | Denso Corp | Display device for vehicle |
WO2015128985A1 (en) | 2014-02-27 | 2015-09-03 | パイオニア株式会社 | Display device, control method, program, and storage medium |
JP2016203850A (en) | 2015-04-24 | 2016-12-08 | 株式会社リコー | Information providing device, information providing method and control program for providing information |
WO2017029740A1 (en) | 2015-08-20 | 2017-02-23 | 三菱電機株式会社 | Display control device, display device, and display control method |
JP2017215816A (en) | 2016-05-31 | 2017-12-07 | 株式会社リコー | Information display device, information display system, information display method, and program |
JP2018092442A (en) | 2016-12-05 | 2018-06-14 | 株式会社デンソー | Vehicle display control device and vehicle display system |
Also Published As
Publication number | Publication date |
---|---|
JP2020091148A (en) | 2020-06-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10293748B2 (en) | Information presentation system | |
US11189250B2 (en) | Display control device and display control method | |
JP7052786B2 (en) | Display control device and display control program | |
JP7251582B2 (en) | Display controller and display control program | |
US11287879B2 (en) | Display control device, display control method, and program for display based on travel conditions | |
KR20200016958A (en) | Parking Assistance Method and Parking Assistance Device | |
JP7139902B2 (en) | Notification device | |
WO2020003750A1 (en) | Vehicle display control device, vehicle display control method, and control program | |
JP2022079590A (en) | Display control device and display control program | |
JP7024619B2 (en) | Display control device for mobile body, display control method for mobile body, and control program | |
JP7355057B2 (en) | Vehicle control device and vehicle control method | |
WO2020189238A1 (en) | Vehicular display control device, vehicular display control method, and vehicular display control program | |
JP7400242B2 (en) | Vehicle display control device and vehicle display control method | |
JP7263962B2 (en) | VEHICLE DISPLAY CONTROL DEVICE AND VEHICLE DISPLAY CONTROL METHOD | |
JP7206867B2 (en) | Display controller and display control program | |
JP7302311B2 (en) | Vehicle display control device, vehicle display control method, vehicle display control program | |
JP7487593B2 (en) | Vehicle display control device, vehicle display control system, and vehicle display control method | |
JP2021028587A (en) | In-vehicle display control device | |
JP7294091B2 (en) | Display controller and display control program | |
JP2021037895A (en) | Display control system, display control device, and display control program | |
JP2020138609A (en) | Display control device for vehicle, display control method for vehicle, and display control program for vehicle | |
US20240399866A1 (en) | Display apparatus for vehicle, display method, and display program | |
JP7172730B2 (en) | Vehicle display control device, vehicle display control method, vehicle display control program | |
WO2019220884A1 (en) | Driving assistance device | |
JP2022166700A (en) | Vehicular display control device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210413 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220315 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220510 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220627 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221018 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221107 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221206 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221219 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7206867 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |