CN112849148B - 一种自动驾驶功能控制方法、自动驾驶系统、汽车、控制器及计算机可读存储介质 - Google Patents
一种自动驾驶功能控制方法、自动驾驶系统、汽车、控制器及计算机可读存储介质 Download PDFInfo
- Publication number
- CN112849148B CN112849148B CN202110031667.8A CN202110031667A CN112849148B CN 112849148 B CN112849148 B CN 112849148B CN 202110031667 A CN202110031667 A CN 202110031667A CN 112849148 B CN112849148 B CN 112849148B
- Authority
- CN
- China
- Prior art keywords
- seat
- user
- driver
- current driver
- automatic driving
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 28
- 238000012544 monitoring process Methods 0.000 claims abstract description 33
- 230000006870 function Effects 0.000 claims description 55
- 230000003213 activating effect Effects 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 5
- 238000013459 approach Methods 0.000 claims description 4
- 230000001815 facial effect Effects 0.000 abstract description 3
- 230000008569 process Effects 0.000 description 3
- 238000012790 confirmation Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000006996 mental state Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000006461 physiological response Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
- B60W60/0015—Planning or execution of driving tasks specially adapted for safety
- B60W60/0016—Planning or execution of driving tasks specially adapted for safety of the vehicle or its occupants
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/005—Handover processes
- B60W60/0051—Handover processes from occupants to vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/005—Handover processes
- B60W60/0059—Estimation of the risk associated with autonomous or manual driving, e.g. situation too complex, sensor failure or driver incapacity
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
- B60W2040/0809—Driver authorisation; Driver identity check
Landscapes
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Seats For Vehicles (AREA)
Abstract
本发明提供了一种自动驾驶功能控制方法、自动驾驶系统、汽车、控制器及计算机可读存储介质，旨在克服对当前的驾驶员状态监测系统布置在转向管柱或A柱上导致的自动驾驶功能激活时无法较为完整的监测到驾驶员面部图像的问题，本方案中通过手动或电动地调节座椅位置来弥补驾驶员状态监测系统的摄像头布置弊端，能在自动驾驶使用过程使驾驶员的面部被全面识别，对驾驶员疲劳、注意力分散进行准确评估，以便准确分析驾驶员接管能力，这样大大提升了自动驾驶员性能指标，提高安全性，减少用户抱怨，提高使用率。
Description
技术领域
本发明涉及一种自动驾驶车辆领域，具体为一种自动驾驶功能控制方法、自动驾驶系统、汽车、控制器及计算机可读存储介质。
背景技术
检索专利技术，尽管已有关于驾驶员状态监测的专利，但这些专利均与本发明专利无相关性及相似性。
驾驶员状态监测，是自动驾驶的L3 阶段必备的功能之一，在自动驾驶过程的特定运行区域可实现长时间的脱手、脱眼，则需通过驾驶员状态监测系统实时检测驾驶员生理反应，包括PERCLOS检测、头部位置、嘴巴张合度状态、视线方向为基础判别数据，对驾驶员精神状态如疲劳、注意力分散等进行快速评估，以便分析驾驶员当前的接管能力，因此要能更好得实现该作用，需要将驾驶员状态监测系统的摄像头布置在面部正前方，且高度和面部高度一致的位置，如主驾仪表台板上方或仪表上方位置处，但这样破坏了造型的美观性和整体性，因此当前大多数车厂均布置在A柱、或转向管柱。
对于当前市场上驾驶员状态监测系统摄像头布置位置，存在很多弊端：
1、布置在转向管柱处位置偏低，且随着驾驶员调节方向盘时，摄像头会随着管柱位置变化，这样会增加自适应标定，多个标定点选取困难，且对标定点处材料颜色有要求，这样需要为了保持和周边颜色一致而做一些特殊处理，增加工艺难度和成本；且根据管柱的调节会造成对驾驶员面部识别不全，因此部分人群低头时驾驶员疲劳漏报率大幅度增加，这样大大降低了自动驾驶员性能及安全性，增加用户抱怨，导致自动驾驶使用率降低，对品牌价值不利。
2、布置在A柱，会造成用户在头部右偏时摄像头无法检测到驾驶员双眼，因此对驾驶员注意力分散完全无法判断，这样大大增加了驾驶员注意力分散的误报率，这样对在用户使用自动驾驶辅助系统时，由于未正确或及时提醒用户恢复注意力，会造成极大安全隐患。当前这种布置方案日渐减少。
发明内容
本发明提供了一种自动驾驶功能控制方法、自动驾驶系统、汽车、控制器及计算机可读存储介质，旨在克服对当前的驾驶员状态监测系统布置在转向管柱或A柱上导致的自动驾驶功能激活时无法较为完整的监测到驾驶员面部图像的问题，本方案中通过手动或电动地调节座椅位置来弥补驾驶员状态监测系统的摄像头布置弊端，能在自动驾驶使用过程使驾驶员的面部被全面识别，对驾驶员疲劳、注意力分散进行准确评估，以便准确分析驾驶员接管能力，这样大大提升了自动驾驶员性能指标，提高安全性，减少用户抱怨，提高使用率。
本发明实施例提供了一种自动驾驶功能控制方法，包括：
接收驾驶员状态监测系统当前输出的驾驶员头部位置的超差值和针对当前驾驶员的用户ID识别结果；
根据所述超差值和所述用户ID识别结果，选择座椅调节方式；
按照对应的座椅调节方式控制或促使座椅调节；
在座椅调节到使所述驾驶员头部位置满足设定超差要求时，激活自动驾驶功能。
优选地，根据所述超差值和所述用户ID识别结果，选择座椅调节方式的具体步骤为：
在所述用户ID识别结果显示历史存储的用户信息中不存在当前驾驶员的用户ID时，选择座椅调节方式为座椅手动调节；历史存储的每一条用户信息中均包括：一个特定驾驶员的用户ID及对应的第一目标位置和第二目标位置，或，一个特定驾驶员的用户ID及对应的第二目标位置；第一目标位置为车辆处于自动驾驶功能激活状态下使驾驶员状态监测系统能采集到所述特定驾驶员的符合设定超差要求的驾驶员头部位置的座椅位置，第二目标位置车辆尚未激活自动驾驶功能状态下特定驾驶员手动调节的使其主观上满意的舒适座椅位置；
在所述用户ID识别结果显示历史存储的用户信息中存在当前驾驶员的用户ID时，根据历史存储的当前驾驶员的用户信息判断是否存在第一目标位置；若存在，则选择座椅调节方式为座椅自动调节；若不存在，则选择座椅调节方式为座椅手动调节。
优选地，按照对应的座椅调节方式控制或促使座椅调节的步骤包括：
在所述座椅调节方式为座椅手动调节时，根据所述超差值确定对应的超差等级和座椅待调节方向；所述座椅待调节方向用于使驾驶员头部位置逐渐靠近设定超差要求；所述超差等级越大表示驾驶员头部位置越不满足设定超差要求；
基于所述超差等级和所述座椅待调节方向通过HMI系统提示用户，促使用户进行座椅手动调节。
优选地，按照对应的座椅调节方式控制或促使座椅调节的步骤包括：
在所述座椅调节方式为座椅自动调节时，根据历史存储的当前驾驶员的用户信息中记录的第一目标位置，控制座椅系统按照所述第一目标位置进行座椅自动调节。
优选地，所述方法还包括：
在所述用户ID识别结果显示历史存储的用户信息中存在当前驾驶员的用户ID时，若自动驾驶功能关闭，则根据历史存储的当前驾驶员的用户信息中记录的第二目标位置，控制座椅系统按照所述第二目标位置进行座椅自动调节；
在所述用户ID识别结果显示历史存储的用户信息中不存在当前驾驶员的用户ID时，若自动驾驶功能关闭，控制座椅系统按照车辆在本次上电后的座椅初始位置进行座椅自动调节。
优选地，在座椅调节到使所述驾驶员头部位置满足设定超差要求时，所述方法还包括：
若所述用户ID识别结果显示历史存储的用户信息中不存在当前驾驶员的用户ID，则通过HMI系统提示用户是否进行当前驾驶员的用户信息存储；
若收到进行当前驾驶员的用户信息存储的指示，则生成当前驾驶员的用户ID，将当前驾驶员按照HMI系统提示而手动调节的使驾驶员头部位置满足设定超差要求的座椅位置作为第一目标位置，并将车辆尚未激活自动驾驶功能状态下当前驾驶员手动调节的使其主观上满意的舒适座椅位置作为第二目标位置；将当前驾驶员的用户ID及对应的第一目标位置和第二目标位置作为一条用户信息进行存储。
优选地，所述方法还包括：
在所述用户ID识别结果显示历史存储的用户信息中不存在当前驾驶员的用户ID时，通过HMI系统提示用户是否进行当前驾驶员的用户信息存储；
若收到进行当前驾驶员的用户信息存储的指示，则生成当前驾驶员的用户ID，将车辆尚未激活自动驾驶功能状态下当前驾驶员手动调节的使其主观上满意的舒适座椅位置作为第二目标位置；再将当前驾驶员的用户ID及对应的第二目标位置作为一条用户信息进行存储。
本发明还提供了一种自动驾驶系统，包括：
接收模块，用于接收驾驶员状态监测系统当前输出的驾驶员头部位置的超差值和针对当前驾驶员的用户ID识别结果；
选择模块，用于根据所述超差值和所述用户ID识别结果，选择座椅调节方式；
座椅调节模块，用于按照对应的座椅调节方式控制或促使座椅调节；
激活模块，用于在座椅调节到使所述驾驶员头部位置满足设定超差要求时，激活自动驾驶功能。
优选地，选择模块包括：
第一选择单元，用于在所述用户ID识别结果显示历史存储的用户信息中不存在当前驾驶员的用户ID时，选择座椅调节方式为座椅手动调节；历史存储的每一条用户信息中均包括：一个特定驾驶员的用户ID及对应的第一目标位置和第二目标位置，或，一个特定驾驶员的用户ID及对应的第二目标位置；第一目标位置为车辆处于自动驾驶功能激活状态下使驾驶员状态监测系统能采集到所述特定驾驶员的符合设定超差要求的驾驶员头部位置的座椅位置，第二目标位置车辆尚未激活自动驾驶功能状态下特定驾驶员手动调节的使其主观上满意的舒适座椅位置；
第二选择单元，用于在所述用户ID识别结果显示历史存储的用户信息中存在当前驾驶员的用户ID时，根据历史存储的当前驾驶员的用户信息判断是否存在第一目标位置；若存在，则选择座椅调节方式为座椅自动调节；若不存在，则选择座椅调节方式为座椅手动调节。
优选地，座椅调节模块包括：
第一确定单元，用于在所述座椅调节方式为座椅手动调节时，根据所述超差值确定对应的超差等级和座椅待调节方向；所述座椅待调节方向用于使驾驶员头部位置逐渐靠近设定超差要求；所述超差等级越大表示驾驶员头部位置越不满足设定超差要求；
手动调节单元，用于基于所述超差等级和所述座椅待调节方向通过HMI系统提示用户，促使用户进行座椅手动调节。
优选地，座椅调节模块包括：
自动调节单元，用于在所述座椅调节方式为座椅自动调节时，根据历史存储的当前驾驶员的用户信息中记录的第一目标位置，控制座椅系统按照所述第一目标位置进行座椅自动调节。
优选地，所述系统还包括：
第一控制模块，用于在所述用户ID识别结果显示历史存储的用户信息中存在当前驾驶员的用户ID时，若自动驾驶功能关闭，则根据历史存储的当前驾驶员的用户信息中记录的第二目标位置，控制座椅系统按照所述第二目标位置进行座椅自动调节；
第二控制模块，用于在所述用户ID识别结果显示历史存储的用户信息中不存在当前驾驶员的用户ID时，若自动驾驶功能关闭，控制座椅系统按照车辆在本次上电后的座椅初始位置进行座椅自动调节。
优选地，在座椅调节到使所述驾驶员头部位置满足设定超差要求时，所述系统还包括：
第一提示模块，用于若所述用户ID识别结果显示历史存储的用户信息中不存在当前驾驶员的用户ID，则通过HMI系统提示用户是否进行当前驾驶员的用户信息存储；
第一存储模块，用于若收到进行当前驾驶员的用户信息存储的指示，则生成当前驾驶员的用户ID，将当前驾驶员按照HMI系统提示而手动调节的使驾驶员头部位置满足设定超差要求的座椅位置作为第一目标位置，并将车辆尚未激活自动驾驶功能状态下当前驾驶员手动调节的使其主观上满意的舒适座椅位置作为第二目标位置；将当前驾驶员的用户ID及对应的第一目标位置和第二目标位置作为一条用户信息进行存储。
优选地，所述系统还包括：
第二提示模块，用于在所述用户ID识别结果显示历史存储的用户信息中不存在当前驾驶员的用户ID时，通过HMI系统提示用户是否进行当前驾驶员的用户信息存储；
第二存储模块，用于若收到进行当前驾驶员的用户信息存储的指示，则生成当前驾驶员的用户ID，将车辆尚未激活自动驾驶功能状态下当前驾驶员手动调节的使其主观上满意的舒适座椅位置作为第二目标位置；再将当前驾驶员的用户ID及对应的第二目标位置作为一条用户信息进行存储。
本发明还提供了一种汽车，包括上述的自动驾驶系统。
本发明实施例还提供了一种控制器，包括存储器和处理器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、至少一段程序、代码集或指令集由所述处理器加载并执行，以实现如上述的自动驾驶功能控制方法。
本发明实施例还提供了一种计算机可读存储介质，所述存储介质上存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、至少一段程序、代码集或指令集由所述处理器加载并执行，以实现如上述的自动驾驶功能控制方法。
本发明具有以下优点：
（1）本发明是通过座椅的调节来弥补转向管柱自身位置及运动位置带来的弊端，能够保证自动驾驶功能激活后，驾驶员状态监测模块能够完全识别到人脸；
（2）本发明通过HMI系统提示引导用户，相关操作需得到用户许可，让用户享有主动权，则用户对自动驾驶功能接受度增加；
（3）本发明解决了人脸识别范围不足的弊端，能够大大降低驾驶员疲劳的漏报率，安自动驾驶性能得到保证，安全也大大提高；
（4）本发明由于解决了人脸识别范围不足的问题，提高了自动驾驶的使用率，这样减少了用户抱怨，提高了满意度，因为自动驾驶的使用率提高增强了品牌形象，无形提升了品牌竞争力。
附图说明
图1为发明方法的逻辑框图；
图2为本发明的方法的详细流程图。
具体实施方式
下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。
本发明所述的一种驾驶员状态监测面部识别不全的解决方案，此方案包含涉及自动驾驶系统、驾驶员状态监测系统、座椅系统、HMI系统四部分协同工作。
所述驾驶员状态监测系统用于向自动驾驶系统提供驾驶员的头部检测信息、驾驶员面部识别的超差信息、驾驶员的身份ID信息。
所述HMI系统用于向自动驾驶系统提供驾驶员输入信息以及呈现给驾驶员自动驾驶系统发出的提示信息。
所述座椅系统用于向自动驾驶系统提供座椅当前位置信息以及执行自动驾驶系统发出的指令进行座椅位置自动调节。
所述自动驾驶系统接收驾驶员状态监测系统、HMI系统、座椅系统的反馈信息，综合判断决策并输出显示指令和座椅调节指令。
本发明所述采用驾驶员状态监测系统实时检测用户面部识别是否满足预设容差范围、身份信息输出给自动驾驶系统，自动驾驶系统根据接收信息进行超差等级划分、且判断当前车辆状态是否需要进行座椅调节，并将需要调节指令发送给HMI系统，HMI系统提示用户座椅调节，并引导用户调节方向和调节量，自动驾驶系统根据驾驶员状态监测系统反馈的超差值对应到超差等级，当超差等级为0时，反馈给HMI系统，HMI系统告知用户调节完毕，并提示用户确认记忆当前状态，自动驾驶系统根据用户输入的确认进行用户信息的指令记忆当前座椅位置（第一目标位置）、驾驶员身份ID以及初始超差量（即第二目标位置），当后期出现同一用户的相同超差时，自动驾驶系统发出座椅调节指令，座椅系统根据指令对座椅实现自动调节。当退出自动驾驶模式时，自动驾驶系统根据用户初始位置调节座椅（即第二目标位置）。
参考图1和图2所示逻辑框图，具体逻辑如下：
1）、待当前驾驶员保持正确坐姿后，驾驶员状态监测系统根据其搭载的摄像头采集的当前驾驶员的面部图像进行对比，确定当前驾驶员的面部图像是否在容差范围之内（其中这一手段为现有技术中的驾驶员状态监测模块执行的逻辑）；若没超差（即当前面部图像在容差范围之内），则结束本次逻辑；若超出容差范围，发出具体的超差值给自动驾驶系统；同时驾驶员状态监测模块根据采集到的驾驶员头部位置进行图像特征提取与比对，确定历史存储的驾驶员信息中是否包含有当前驾驶员的身份ID，若存在，则将当前驾驶员的身份ID发送给自动驾驶系统；若不存在，则反馈一个不存在当前驾驶员用户ID的信息给自动控制系统；此外，座椅系统将驾驶员当前自主设置的使其主观上满意的舒适座椅位置发送给自动驾驶系统。
通常来说，驾驶员在新进入一辆车内行驶时，驾驶员在保持正确坐姿之前，需要进行座椅位置调节，直至座椅调节至使其主观上满意的舒适座椅位置；在完成座椅位置及反光镜等一系列调整后，驾驶员才能够保持到即将进入车辆行驶的状态，此时，驾驶员能够保持到正确坐姿。座椅系统记录驾驶员当前调节的使其主观上满意的舒适座椅位置并发送给自动驾驶系统。
2)、当接收到驾驶员状态监测系统实时发出的超差值和不存在当前驾驶员的用户ID的反馈信息时，自动驾驶系统按照历史存储的该当前驾驶员的用户信息中的第一目标位置控制座椅系统自动进行座椅位置调节。
其中。历史存储的每一条用户信息中均包括：一个特定驾驶员的用户ID及对应的第一目标位置和第二目标位置，第一目标位置为车辆处于自动驾驶功能激活状态下使驾驶员状态监测系统能采集到所述特定驾驶员的符合设定超差要求的驾驶员头部位置的座椅位置，第二目标位置车辆尚未激活自动驾驶功能状态下特定驾驶员手动调节的使其主观上满意的舒适座椅位置。
3）、自动驾驶系统中预先对驾驶员容差范围值进行7个超差等级划分。当接收到驾驶员状态监测系统实时发出的超差值和不存在当前驾驶员的用户ID的反馈信息时，便根据该超差值所处的驾驶员容差范围对应到相应的超差等级，同时根据该超差值确定座椅应当朝向哪一方向调节才能使得驾驶员头部位置逐进入容差范围之内（即确定座椅待调节方向）；所确定的超差等级即为当前采集到的驾驶员头部位置所处的超差等级；同时，自动驾驶系统判断当前车辆是否处于静止状态，挡位是否处于P档，若满足车辆处于静止状态且挡位处于P挡的条件，则将发送采集到的驾驶员头部位置所处的超差等级和提示请求给HMI系统，发送给HMI的提示请求中具体包含有请求HMI系统向用户显示座椅待调节方向信息以及超差等级信息，促使驾驶员按照提示的座椅待调节方向进行手动座椅位置调节；反之则结束此流程，无法激活自动驾驶功能。
在该步骤中，超差等级越大表示驾驶员头部位置越不满足容差要求，HMI系统显示该超差等级的目的在于便于驾驶员能够快速了解到当前驾驶员头部位置超差的严重程度。
4）、HMI系统在接收到提示请求和超差等级，将输出提示用户调节座椅的信息，并通过图示化信息显示该座椅待调节方向和超差等级，引导驾驶员进行座椅位置调节。
5）、若用户未按照提示进行座椅调节，则本次点火周期无法激活自动驾驶功能，直到下一次点火周期重复逻辑步骤1）。
6）、若用户按照HMI系统的提示进行了座椅调节；则驾驶员状态监测系统根据位置调节后采集到的驾驶员头部位置发送实时超差值给自动驾驶系统，自动驾驶系统将座椅位置调节后对应的新的超差等级发送给HMI系统，HMI系统图示化显示新的超差等级。
7）、当用户进行座椅位置调节到使驾驶员状态监测系统最新采集到的驾驶员头部位置的超差值为0时，则表示驾驶员状态监测系统最新采集的驾驶员头部位置满足容差要求；此时，自动驾驶系统判断满足激活自动驾驶功能的条件。此后，自动驾驶系统首先发送提示用户确认是否需要对当前驾驶员的用户信息进行存储的记忆请求信息给HMI系统，HMI系统根据该记忆请求显示相应文案对话，并且根据用户选择发送相应的用户确认结果给自动驾驶系统。
8）、自动驾驶系统接收到HMI系统发送的用户确认结果，将生成当前驾驶员的身份ID，并将当前驾驶员按照HMI系统提示而手动调节的使驾驶员头部位置满足设定超差要求的座椅位置作为第一目标位置，并辆尚未激活自动驾驶功能状态下当前驾驶员手动调节的使其主观上满意的舒适座椅位置作为第二目标位置；再将当前驾驶员的用户ID及对应的第一目标位置和第二目标位置作为一条用户信息进行存储。
9）、在所述用户ID识别结果显示历史存储的用户信息中存在当前驾驶员的用户ID时，若自动驾驶功能关闭，则根据历史存储的当前驾驶员的用户信息中记录的第二目标位置，控制座椅系统按照所述第二目标位置进行座椅自动调节；
10)、在所述用户ID识别结果显示历史存储的用户信息中不存在当前驾驶员的用户ID时，若自动驾驶功能关闭，控制座椅系统按照车辆在本次上电后的座椅初始位置进行座椅自动调节。
本发明还提供了一种自动驾驶系统，包括：
接收模块，用于接收驾驶员状态监测系统当前输出的驾驶员头部位置的超差值和针对当前驾驶员的用户ID识别结果；
选择模块，用于根据所述超差值和所述用户ID识别结果，选择座椅调节方式；
座椅调节模块，用于按照对应的座椅调节方式控制或促使座椅调节；
激活模块，用于在座椅调节到使所述驾驶员头部位置满足设定超差要求时，激活自动驾驶功能。
优选地，选择模块包括：
第一选择单元，用于在所述用户ID识别结果显示历史存储的用户信息中不存在当前驾驶员的用户ID时，选择座椅调节方式为座椅手动调节；历史存储的每一条用户信息中均包括：一个特定驾驶员的用户ID及对应的第一目标位置和第二目标位置，或，一个特定驾驶员的用户ID及对应的第二目标位置；第一目标位置为车辆处于自动驾驶功能激活状态下使驾驶员状态监测系统能采集到所述特定驾驶员的符合设定超差要求的驾驶员头部位置的座椅位置，第二目标位置车辆尚未激活自动驾驶功能状态下特定驾驶员手动调节的使其主观上满意的舒适座椅位置；
第二选择单元，用于在所述用户ID识别结果显示历史存储的用户信息中存在当前驾驶员的用户ID时，根据历史存储的当前驾驶员的用户信息判断是否存在第一目标位置；若存在，则选择座椅调节方式为座椅自动调节；若不存在，则选择座椅调节方式为座椅手动调节。
优选地，座椅调节模块包括：
第一确定单元，用于在所述座椅调节方式为座椅手动调节时，根据所述超差值确定对应的超差等级和座椅待调节方向；所述座椅待调节方向用于使驾驶员头部位置逐渐靠近设定超差要求；所述超差等级越大表示驾驶员头部位置越不满足设定超差要求；
手动调节单元，用于基于所述超差等级和所述座椅待调节方向通过HMI系统提示用户，促使用户进行座椅手动调节。
优选地，座椅调节模块包括：
自动调节单元，用于在所述座椅调节方式为座椅自动调节时，根据历史存储的当前驾驶员的用户信息中记录的第一目标位置，控制座椅系统按照所述第一目标位置进行座椅自动调节。
优选地，所述系统还包括：
第一控制模块，用于在所述用户ID识别结果显示历史存储的用户信息中存在当前驾驶员的用户ID时，若自动驾驶功能关闭，则根据历史存储的当前驾驶员的用户信息中记录的第二目标位置，控制座椅系统按照所述第二目标位置进行座椅自动调节；
第二控制模块，用于在所述用户ID识别结果显示历史存储的用户信息中不存在当前驾驶员的用户ID时，若自动驾驶功能关闭，控制座椅系统按照车辆在本次上电后的座椅初始位置进行座椅自动调节。
优选地，在座椅调节到使所述驾驶员头部位置满足设定超差要求时，所述系统还包括：
第一提示模块，用于若所述用户ID识别结果显示历史存储的用户信息中不存在当前驾驶员的用户ID，则通过HMI系统提示用户是否进行当前驾驶员的用户信息存储；
第一存储模块，用于若收到进行当前驾驶员的用户信息存储的指示，则生成当前驾驶员的用户ID，将当前驾驶员按照HMI系统提示而手动调节的使驾驶员头部位置满足设定超差要求的座椅位置作为第一目标位置，并将车辆尚未激活自动驾驶功能状态下当前驾驶员手动调节的使其主观上满意的舒适座椅位置作为第二目标位置；将当前驾驶员的用户ID及对应的第一目标位置和第二目标位置作为一条用户信息进行存储。
优选地，所述系统还包括：
第二提示模块，用于在所述用户ID识别结果显示历史存储的用户信息中不存在当前驾驶员的用户ID时，通过HMI系统提示用户是否进行当前驾驶员的用户信息存储；
第二存储模块，用于若收到进行当前驾驶员的用户信息存储的指示，则生成当前驾驶员的用户ID，将车辆尚未激活自动驾驶功能状态下当前驾驶员手动调节的使其主观上满意的舒适座椅位置作为第二目标位置；再将当前驾驶员的用户ID及对应的第二目标位置作为一条用户信息进行存储。
本发明还提供了一种汽车，包括上述的自动驾驶系统。
本发明实施例还提供了一种控制器，包括存储器和处理器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、至少一段程序、代码集或指令集由所述处理器加载并执行，以实现如上述的自动驾驶功能控制方法。
本发明实施例还提供了一种计算机可读存储介质，所述存储介质上存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、至少一段程序、代码集或指令集由所述处理器加载并执行，以实现如上述的自动驾驶功能控制方法。
上述实施例只对其中一些本发明的一个或多个实施例进行了描述，但是本领域普通技术人员应当了解，本发明可以在不偏离其主旨与范围内以许多其他的形式实施。因此，所展示的例子与实施方式被视为示意性的而非限制性的，在不脱离如所附各权利要求所定义的本发明精神及范围的情况下，本发明可能涵盖各种的修改与替换。
Claims (10)
1.一种自动驾驶功能控制方法，其特征在于，包括：
接收驾驶员状态监测系统当前输出的驾驶员头部位置的超差值和针对当前驾驶员的用户ID识别结果；
根据所述超差值和所述用户ID识别结果，选择座椅调节方式；
按照对应的座椅调节方式控制或促使座椅调节；
在座椅调节到使所述驾驶员头部位置满足设定超差要求时，激活自动驾驶功能；
根据所述超差值和所述用户ID识别结果，选择座椅调节方式的具体步骤为：
在所述用户ID识别结果显示历史存储的用户信息中不存在当前驾驶员的用户ID时，选择座椅调节方式为座椅手动调节；历史存储的每一条用户信息中均包括：一个特定驾驶员的用户ID及对应的第一目标位置和第二目标位置，或，一个特定驾驶员的用户ID及对应的第二目标位置；第一目标位置为车辆处于自动驾驶功能激活状态下使驾驶员状态监测系统能采集到所述特定驾驶员的符合设定超差要求的驾驶员头部位置的座椅位置，第二目标位置车辆尚未激活自动驾驶功能状态下特定驾驶员手动调节的使其主观上满意的舒适座椅位置；
在所述用户ID识别结果显示历史存储的用户信息中存在当前驾驶员的用户ID时，根据历史存储的当前驾驶员的用户信息判断是否存在第一目标位置；若存在，则选择座椅调节方式为座椅自动调节；若不存在，则选择座椅调节方式为座椅手动调节。
2.根据权利要求1所述的方法，其特征在于，按照对应的座椅调节方式控制或促使座椅调节的步骤包括：
在所述座椅调节方式为座椅手动调节时，根据所述超差值确定对应的超差等级和座椅待调节方向；所述座椅待调节方向用于使驾驶员头部位置逐渐靠近设定超差要求；所述超差等级越大表示驾驶员头部位置越不满足设定超差要求；
基于所述超差等级和所述座椅待调节方向通过HMI系统提示用户，促使用户进行座椅手动调节。
3.根据权利要求1所述的方法，其特征在于，按照对应的座椅调节方式控制或促使座椅调节的步骤包括：
在所述座椅调节方式为座椅自动调节时，根据历史存储的当前驾驶员的用户信息中记录的第一目标位置，控制座椅系统按照所述第一目标位置进行座椅自动调节。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
在所述用户ID识别结果显示历史存储的用户信息中存在当前驾驶员的用户ID时，若自动驾驶功能关闭，则根据历史存储的当前驾驶员的用户信息中记录的第二目标位置，控制座椅系统按照所述第二目标位置进行座椅自动调节；
在所述用户ID识别结果显示历史存储的用户信息中不存在当前驾驶员的用户ID时，若自动驾驶功能关闭，控制座椅系统按照车辆在本次上电后的座椅初始位置进行座椅自动调节。
5.根据权利要求1所述的方法，其特征在于，在座椅调节到使所述驾驶员头部位置满足设定超差要求时，所述方法还包括：
若所述用户ID识别结果显示历史存储的用户信息中不存在当前驾驶员的用户ID，则通过HMI系统提示用户是否进行当前驾驶员的用户信息存储；
若收到进行当前驾驶员的用户信息存储的指示，则生成当前驾驶员的用户ID，将当前驾驶员按照HMI系统提示而手动调节的使驾驶员头部位置满足设定超差要求的座椅位置作为第一目标位置，并将车辆尚未激活自动驾驶功能状态下当前驾驶员手动调节的使其主观上满意的舒适座椅位置作为第二目标位置；再将当前驾驶员的用户ID及对应的第一目标位置和第二目标位置作为一条用户信息进行存储。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
在所述用户ID识别结果显示历史存储的用户信息中不存在当前驾驶员的用户ID时，通过HMI系统提示用户是否进行当前驾驶员的用户信息存储；
若收到进行当前驾驶员的用户信息存储的指示，则生成当前驾驶员的用户ID，将车辆尚未激活自动驾驶功能状态下当前驾驶员手动调节的使其主观上满意的舒适座椅位置作为第二目标位置；再将当前驾驶员的用户ID及对应的第二目标位置作为一条用户信息进行存储。
7.一种自动驾驶系统，其特征在于，包括：
接收模块，用于接收驾驶员状态监测系统当前输出的驾驶员头部位置的超差值和针对当前驾驶员的用户ID识别结果；
选择模块，用于根据所述超差值和所述用户ID识别结果，选择座椅调节方式；
座椅调节模块，用于按照对应的座椅调节方式控制或促使座椅调节；
激活模块，用于在座椅调节到使所述驾驶员头部位置满足设定超差要求时，激活自动驾驶功能；
选择模块具体用于：
在所述用户ID识别结果显示历史存储的用户信息中不存在当前驾驶员的用户ID时，选择座椅调节方式为座椅手动调节；历史存储的每一条用户信息中均包括：一个特定驾驶员的用户ID及对应的第一目标位置和第二目标位置，或，一个特定驾驶员的用户ID及对应的第二目标位置；第一目标位置为车辆处于自动驾驶功能激活状态下使驾驶员状态监测系统能采集到所述特定驾驶员的符合设定超差要求的驾驶员头部位置的座椅位置，第二目标位置车辆尚未激活自动驾驶功能状态下特定驾驶员手动调节的使其主观上满意的舒适座椅位置；
在所述用户ID识别结果显示历史存储的用户信息中存在当前驾驶员的用户ID时，根据历史存储的当前驾驶员的用户信息判断是否存在第一目标位置；若存在，则选择座椅调节方式为座椅自动调节；若不存在，则选择座椅调节方式为座椅手动调节。
8.一种汽车，其特征在于，包括权利要求7所述的自动驾驶系统。
9.一种控制器，其特征在于，包括存储器和处理器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、至少一段程序、代码集或指令集由所述处理器加载并执行，以实现如权利要求1至6任一所述的自动驾驶功能控制方法。
10.一种计算机可读存储介质，其特征在于，所述存储介质上存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、至少一段程序、代码集或指令集由所述处理器加载并执行，以实现如权利要求1至6任一所述的自动驾驶功能控制方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110031667.8A CN112849148B (zh) | 2021-01-11 | 2021-01-11 | 一种自动驾驶功能控制方法、自动驾驶系统、汽车、控制器及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110031667.8A CN112849148B (zh) | 2021-01-11 | 2021-01-11 | 一种自动驾驶功能控制方法、自动驾驶系统、汽车、控制器及计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112849148A CN112849148A (zh) | 2021-05-28 |
| CN112849148B true CN112849148B (zh) | 2023-03-14 |
Family
ID=76002432
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110031667.8A Active CN112849148B (zh) | 2021-01-11 | 2021-01-11 | 一种自动驾驶功能控制方法、自动驾驶系统、汽车、控制器及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112849148B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113247092B (zh) * | 2021-05-30 | 2022-11-04 | 重庆长安汽车股份有限公司 | 一种驾驶员脱手检测方法、装置、汽车及计算机存储介质 |
| CN113361086B (zh) * | 2021-05-31 | 2024-05-28 | 重庆长安汽车股份有限公司 | 一种智能驾驶行车安全约束方法及系统、车辆 |
| CN114248666A (zh) * | 2021-11-26 | 2022-03-29 | 武汉路特斯汽车有限公司 | 基于人脸识别的座椅调整方法、装置、介质及设备 |
| CN115285133A (zh) * | 2022-08-30 | 2022-11-04 | 重庆长安汽车股份有限公司 | 驾驶员疲劳检测方法、系统、电子设备及可读存储介质 |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008227906A (ja) * | 2007-03-13 | 2008-09-25 | Aisin Seiki Co Ltd | 撮影範囲調節装置、撮影範囲調節方法及びコンピュータプログラム |
| JP2009201756A (ja) * | 2008-02-28 | 2009-09-10 | Omron Corp | 情報処理装置および方法、並びに、プログラム |
| JP2010108046A (ja) * | 2008-10-28 | 2010-05-13 | Toyota Motor Corp | 顔認識装置 |
| EP3048026A1 (en) * | 2015-01-22 | 2016-07-27 | Volvo Car Corporation | Method and system for assisting a vehicle occupant in tailoring vehicle settings |
| CN107199917A (zh) * | 2016-03-18 | 2017-09-26 | 株式会社斯巴鲁 | 车辆用座椅装置 |
| CN107466273A (zh) * | 2015-04-13 | 2017-12-12 | 宝马股份公司 | 用于运行车辆的方法和车辆 |
| CN208264161U (zh) * | 2018-05-09 | 2018-12-21 | 长城汽车股份有限公司 | 一种座椅控制系统和车辆 |
| CN109562740A (zh) * | 2016-08-31 | 2019-04-02 | 宝马股份公司 | 用于远程访问车辆的个人功能简档的指纹装置和方法 |
| CN109747658A (zh) * | 2017-11-07 | 2019-05-14 | 丰田自动车株式会社 | 车辆的控制装置 |
| JP2019087874A (ja) * | 2017-11-07 | 2019-06-06 | トヨタ自動車株式会社 | 車両の制御装置 |
| CN109866657A (zh) * | 2017-12-01 | 2019-06-11 | 通用汽车环球科技运作有限责任公司 | 提供用于车辆中的自动乘客座椅调节的系统、方法和装置 |
| JP2019217803A (ja) * | 2018-06-15 | 2019-12-26 | 日産自動車株式会社 | シートポジション調整方法及びシートポジション調整装置 |
| CN110816448A (zh) * | 2019-12-20 | 2020-02-21 | 奇瑞汽车股份有限公司 | 一种座椅和后视镜的调节控制系统及方法 |
| CN111132886A (zh) * | 2017-05-08 | 2020-05-08 | 乔伊森安全系统收购有限责任公司 | 乘员监测系统与车辆控制系统的集成 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3025921B1 (en) * | 2013-07-23 | 2017-08-09 | Nissan Motor Co., Ltd | Vehicular drive assist device, and vehicular drive assist method |
| JP6753923B2 (ja) * | 2016-03-15 | 2020-09-09 | 本田技研工業株式会社 | 車両制御システム、車両制御方法、および車両制御プログラム |
| JP6997003B2 (ja) * | 2018-02-20 | 2022-02-03 | 本田技研工業株式会社 | 車両制御装置 |
| JP7222216B2 (ja) * | 2018-10-29 | 2023-02-15 | 株式会社アイシン | 運転支援装置 |
| US20200239003A1 (en) * | 2019-01-30 | 2020-07-30 | Cobalt Industries Inc. | Systems and methods for recommending and selecting personalized output actions in a vehicle environment |
| CN211196033U (zh) * | 2019-11-28 | 2020-08-07 | 重庆长安汽车股份有限公司 | 智能化驾驶状态提示系统 |
-
2021
- 2021-01-11 CN CN202110031667.8A patent/CN112849148B/zh active Active
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008227906A (ja) * | 2007-03-13 | 2008-09-25 | Aisin Seiki Co Ltd | 撮影範囲調節装置、撮影範囲調節方法及びコンピュータプログラム |
| JP2009201756A (ja) * | 2008-02-28 | 2009-09-10 | Omron Corp | 情報処理装置および方法、並びに、プログラム |
| JP2010108046A (ja) * | 2008-10-28 | 2010-05-13 | Toyota Motor Corp | 顔認識装置 |
| EP3048026A1 (en) * | 2015-01-22 | 2016-07-27 | Volvo Car Corporation | Method and system for assisting a vehicle occupant in tailoring vehicle settings |
| CN107466273A (zh) * | 2015-04-13 | 2017-12-12 | 宝马股份公司 | 用于运行车辆的方法和车辆 |
| CN107199917A (zh) * | 2016-03-18 | 2017-09-26 | 株式会社斯巴鲁 | 车辆用座椅装置 |
| CN109562740A (zh) * | 2016-08-31 | 2019-04-02 | 宝马股份公司 | 用于远程访问车辆的个人功能简档的指纹装置和方法 |
| CN111132886A (zh) * | 2017-05-08 | 2020-05-08 | 乔伊森安全系统收购有限责任公司 | 乘员监测系统与车辆控制系统的集成 |
| JP2019087874A (ja) * | 2017-11-07 | 2019-06-06 | トヨタ自動車株式会社 | 車両の制御装置 |
| CN109747658A (zh) * | 2017-11-07 | 2019-05-14 | 丰田自动车株式会社 | 车辆的控制装置 |
| CN109866657A (zh) * | 2017-12-01 | 2019-06-11 | 通用汽车环球科技运作有限责任公司 | 提供用于车辆中的自动乘客座椅调节的系统、方法和装置 |
| CN208264161U (zh) * | 2018-05-09 | 2018-12-21 | 长城汽车股份有限公司 | 一种座椅控制系统和车辆 |
| JP2019217803A (ja) * | 2018-06-15 | 2019-12-26 | 日産自動車株式会社 | シートポジション調整方法及びシートポジション調整装置 |
| CN110816448A (zh) * | 2019-12-20 | 2020-02-21 | 奇瑞汽车股份有限公司 | 一种座椅和后视镜的调节控制系统及方法 |
Non-Patent Citations (1)
| Title |
|---|
| 自主品牌驾驶辅助系统应用分析和发展建议;么丽欣;《汽车文摘》;20200929(第10期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112849148A (zh) | 2021-05-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112849148B (zh) | 一种自动驾驶功能控制方法、自动驾驶系统、汽车、控制器及计算机可读存储介质 | |
| CN109263645B (zh) | 用于调整机动车的运行参数的方法和系统以及机动车 | |
| CN113246815B (zh) | 车辆座椅自动调节方法及装置 | |
| WO2015125243A1 (ja) | 表示制御装置、表示制御装置の表示制御方法、視線方向検出システムおよび視線方向検出システムのキャリブレーション制御方法 | |
| DE102015201369A1 (de) | Verfahren und Vorrichtung zum Betreiben eines zumindest teilautomatisch fahrenden oder fahrbaren Kraftfahrzeugs | |
| CN103359000B (zh) | 一种汽车后视镜调节装置、方法、系统及汽车 | |
| JP2018122822A (ja) | シートベルト着用促進装置 | |
| US20160107574A1 (en) | Control unit for a motor vehicle having a camera for the driver's face, and method for imaging the face of a vehicle occupant | |
| CN113942519B (zh) | 车辆操作辅助方法、系统及车辆 | |
| CN114212026B (zh) | 车辆后视镜调节方法、装置、车辆及存储介质 | |
| CN103010150A (zh) | 一种安全带高度自适应调节的方法和装置 | |
| CN207523617U (zh) | 驾驶位置调节装置、服务器及系统 | |
| CN105522970A (zh) | 选择调节镜的方法 | |
| CN113830102A (zh) | 驾驶模式切换方法、装置、存储介质及计算机设备 | |
| DE102011108305A1 (de) | Verfahren und Vorrichtung zur Ermittlung von Müdigkeit und/oder Unachtsamkeit eines Fahrers eines Fahrzeugs | |
| WO2020224985A1 (de) | Verfahren zum durchführen eines rangiervorgangs eines kraftfahrzeugs mit aufmerksamkeitsbeurteilung eines nutzers sowie rangierassistenzsystem für ein kraftfahrzeug | |
| DE102005019154A1 (de) | Vorrichtung zur Einstellung von wenigstens einer Fahrzeugkomponente in Abhängigkeit eines Signals einer bildgebenden Sensorik in einem Fahrzeug | |
| CN215621527U (zh) | 一种座椅调节装置 | |
| CN114572226A (zh) | 基于驾驶员状态的车辆控制方法、装置、车辆及存储介质 | |
| CN118544810A (zh) | 车辆的抬头显示系统调节方法、装置、车辆及存储介质 | |
| CN208264161U (zh) | 一种座椅控制系统和车辆 | |
| CN117666803A (zh) | 一种车辆控制方法、装置、存储介质和车辆 | |
| US11945461B2 (en) | System for preventing drunk driving and method for controlling the same | |
| CN108973785A (zh) | 用于汽车的驾驶位座椅的控制系统 | |
| CN108790958A (zh) | 用于汽车的驾驶位座椅的控制系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |