Nothing Special   »   [go: up one dir, main page]

JP7383828B2 - 障害物認識方法、装置、自律移動機器及び記憶媒体 - Google Patents

障害物認識方法、装置、自律移動機器及び記憶媒体 Download PDF

Info

Publication number
JP7383828B2
JP7383828B2 JP2022541668A JP2022541668A JP7383828B2 JP 7383828 B2 JP7383828 B2 JP 7383828B2 JP 2022541668 A JP2022541668 A JP 2022541668A JP 2022541668 A JP2022541668 A JP 2022541668A JP 7383828 B2 JP7383828 B2 JP 7383828B2
Authority
JP
Japan
Prior art keywords
line laser
obstacle
contour
determining
vertical distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022541668A
Other languages
English (en)
Other versions
JP2023500994A (ja
Inventor
佳佳 孫
銀波 徐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dreame Innovation Technology Suzhou Co Ltd
Original Assignee
Dreame Innovation Technology Suzhou Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dreame Innovation Technology Suzhou Co Ltd filed Critical Dreame Innovation Technology Suzhou Co Ltd
Publication of JP2023500994A publication Critical patent/JP2023500994A/ja
Application granted granted Critical
Publication of JP7383828B2 publication Critical patent/JP7383828B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
    • A47L11/40—Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
    • A47L11/4011—Regulation of the cleaning machine by electric means; Control systems and remote control systems therefor
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4814—Constructional features, e.g. arrangements of optical elements of transmitters alone
    • G01S7/4815—Constructional features, e.g. arrangements of optical elements of transmitters alone using multiple transmitters
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0223—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • G05D1/024—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/24—Arrangements for determining position or orientation
    • G05D1/242—Means based on the reflection of waves generated by the vehicle
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/60—Intended control result
    • G05D1/648—Performing a task within a working area or space, e.g. cleaning
    • G05D1/6484—Performing a task within a working area or space, e.g. cleaning by taking into account parameters or characteristics of the working area or space, e.g. size or shape
    • G05D1/6485—Performing a task within a working area or space, e.g. cleaning by taking into account parameters or characteristics of the working area or space, e.g. size or shape by taking into account surface type, e.g. carpeting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L2201/00—Robotic cleaning machines, i.e. with automatic control of the travelling movement or the cleaning operation
    • A47L2201/04—Automatic control of the travelling movement; Automatic obstacle detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/20—Static objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2105/00—Specific applications of the controlled vehicles
    • G05D2105/10—Specific applications of the controlled vehicles for cleaning, vacuuming or polishing
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2109/00—Types of controlled vehicles
    • G05D2109/10—Land vehicles
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2111/00—Details of signals used for control of position, course, altitude or attitude of land, water, air or space vehicles
    • G05D2111/10—Optical signals
    • G05D2111/17—Coherent light, e.g. laser signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Software Systems (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Description

本願は、障害物認識方法、装置、自律移動機器及び記憶媒体に関し、コンピュータの技術分野に属する。
知能化の持続的な発展に伴い、自律移動機器（例えば、掃除ロボット、スマート芝刈り機など）は前方に障害物が存在するか否かを自動的に認識し、障害物回避戦略を取る。
関連技術では、画像認識アルゴリズムによって画像内の障害物を認識する。
しかし、画像認識アルゴリズムによって障害物を認識する際に、周囲光が弱い場合、画像認識結果が影響を受け、結果として、障害物の認識ができない。
本願は、障害物認識結果を向上できる障害物認識方法、装置、自律移動機器及び記憶媒体を提供する。
第１態様では、本願の実施例は、
自律移動機器に適用され、前記自律移動機器には第１ラインレーザトランスミッタと画像収集ユニットが取り付けられ、前記第１ラインレーザトランスミッタは走行方向に対する斜め下に沿ってラインレーザを出射するものであり、前記画像収集ユニットは前記ラインレーザが物体によって反射された反射光を含む環境画像を収集するものであり、
前記画像収集ユニットによって送信された環境画像を取得するステップと、
前記環境画像内の反射光の画素座標を用いて、前記ラインレーザの作用する物体の輪郭情報を決定するステップと、
前記輪郭情報によって示される輪郭が障害物輪郭であるとき、前記ラインレーザの作用する物体が障害物であると決定するステップとを含む、障害物認識方法を提供する。
１つの可能な実施形態では、前記ラインレーザの作用する物体が障害物であると決定する前記ステップの後、
前記輪郭情報に従って前記障害物の地面に対する垂直方向距離を決定するステップをさらに含む。
１つの可能な実施形態では、前記輪郭情報に従って前記障害物の地面に対する垂直方向距離を決定する前記ステップは、
地面と前記第１ラインレーザトランスミッタとの間の第１垂直方向距離を取得するステップと、
レーザー測距原理及び前記輪郭情報の画素座標に基づいて、前記ラインレーザの作用する物体と前記第１ラインレーザトランスミッタとの間の第２垂直方向距離を決定するステップと、
前記第２垂直方向距離と前記第１垂直方向距離との間の差を前記垂直方向距離として決定するステップとを含む。
１つの可能な実施形態では、地面と前記第１ラインレーザトランスミッタとの間の第１垂直方向距離を取得する前記ステップは、
過去に収集された、前記ラインレーザの作用する物体の地面に対する垂直方向距離が前記予め設定された距離閾値以下の過去環境画像について、レーザー測距原理及び前記過去環境画像内の反射光の画素座標に基づいて、前記物体と前記第１ラインレーザトランスミッタとの間の垂直方向距離を決定し、前記第１垂直方向距離を得るステップを含む。
１つの可能な実施形態では、前記自律移動機器には、第２ラインレーザトランスミッタがさらに配置されており、前記第２ラインレーザトランスミッタは前記ラインレーザと出射方向が異なる他のラインレーザを送信するものであり、前記環境画像は前記他のラインレーザが物体によって反射された反射光をさらに含む。
１つの可能な実施形態では、前記ラインレーザの作用する物体が障害物であると決定する前記ステップの後、
前記障害物のタイプに基づいて、前記障害物を回避又は乗り越えるための前記自律移動機器の作動戦略を決定するステップをさらに含む。
１つの可能な実施形態では、前記障害物のタイプに基づいて前記自律移動機器の作動戦略を決定する前記ステップは、
前記障害物がカーペットであり、かつ前記カーペットの地面に対する垂直方向距離が第１閾値よりも大きく、第２閾値よりも小さい場合、前記障害物を乗り越えるために前記自律移動機器の作動戦略として加速走行を決定するステップと、
前記障害物がカーペットであり、かつ前記カーペットの地面に対する垂直方向距離が第２閾値以上である場合、前記障害物を回避するために前記自律移動機器の作動戦略として運転方向変更を決定するステップと、
前記障害物が階段であり、前記階段が地下にあり、かつ地面に対する垂直方向距離が第３閾値よりも大きく、第４閾値よりも小さい場合、前記階段に対応する高さに降下するために前記自律移動機器の作動戦略として減速運転を決定するステップと、
前記障害物が階段であり、前記階段が地下にあり、かつ地面に対する垂直方向距離が第４閾値以上である場合、前記障害物を回避するために前記自律移動機器の作動戦略として運転方向変更を決定するステップとを含む。
１つの可能な実施形態では、環境画像内の反射光の画素座標を用いて、前記ラインレーザの作用する物体の輪郭情報を決定する前記ステップの後、
前記輪郭情報中の輪郭形状における凸起の数を決定するステップと、
前記凸起の数が閾値よりも大きく、非画像認識アルゴリズムによって前記輪郭情報によって示される輪郭が障害物輪郭であると決定されたとき、前記ラインレーザの作用する物体が障害物であると決定し、前記凸起の数が閾値以下であるとき、輪郭情報によって示される輪郭が障害物輪郭ではないと決定するステップとをさらに含む。
１つの可能な実施形態では、前記ラインレーザが平坦な地面に照射されるとき、前記画像収集ユニットによってキャプチャされた環境画像から抽出された地面情報は、平坦かつ光滑であるものであり、前記障害物がカーペットであり、かつ前記ラインレーザがカーペットに照射されるとき、前記画像収集ユニットによってキャプチャされた環境画像から抽出された地面情報はノイズを伴う不規則なデータである。
第２態様では、本願の実施例は、
自律移動機器に適用され、前記自律移動機器には第１ラインレーザトランスミッタと画像収集ユニットが取り付けられ、前記第１ラインレーザトランスミッタは走行方向に対する斜め下に沿ってラインレーザを出射するものであり、前記画像収集ユニットは前記ラインレーザが物体によって反射された反射光を含む環境画像を収集するものであり、
前記画像収集ユニットによって送信された環境画像を取得する画像取得モジュールと、
前記環境画像内の反射光の画素座標を用いて、前記ラインレーザの作用する物体の輪郭情報を決定する輪郭決定モジュールと、
前記輪郭情報によって示される輪郭が障害物輪郭であるとき、前記ラインレーザの作用する物体が障害物であると決定する物体認識モジュールとを含む、障害物認識装置を提供する。
第３態様では、本願の実施例は、プロセッサとメモリとを含み、前記メモリには、前記プロセッサによってロードされて実行されて第１態様に記載の障害物認識方法を実現するプログラムが記憶されている障害物認識装置を提供する。
第４態様では、本願の実施例は、前記プロセッサによってロードされて実行されて第１態様に記載の障害物認識方法を実現するプログラムが記憶されているコンピュータ読み取り可能な記憶媒体を提供する。
第５態様では、本願の実施例は、ハウジングと、第１ラインレーザトランスミッタと、画像収集ユニットと、制御ユニットとを含み、前記第１ラインレーザトランスミッタは前記ハウジングに設けられ、走行方向に対する斜め下に沿ってラインレーザを出射するものであり、前記画像収集ユニットは前記ラインレーザが物体によって反射された反射光を含む環境画像を収集するものであり、前記第１ラインレーザトランスミッタ及び前記画像収集ユニットはそれぞれ前記制御ユニットに通信可能に接続され、前記制御ユニットは、
前記画像収集ユニットによって送信された環境画像を取得し、
前記環境画像内の反射光の画素座標を用いて、前記ラインレーザの作用する物体の輪郭情報を決定し、
前記輪郭情報によって示される輪郭が障害物輪郭であるとき、前記ラインレーザの作用する物体が障害物であると決定するものである、自律移動機器を提供する。
１つの可能な実施形態では、前記自律移動機器は第２ラインレーザトランスミッタをさらに含み、前記第２ラインレーザトランスミッタは前記ラインレーザと出射方向が異なる他のラインレーザを送信するものであり、前記環境画像は前記他のラインレーザが物体によって反射された反射光をさらに含む。
本願の実施例では、自律移動機器には第１ラインレーザトランスミッタと画像収集ユニットが取り付けられ、第１ラインレーザトランスミッタは走行方向に対する斜め下に沿ってラインレーザを出射するものであり、画像収集ユニットはラインレーザが物体によって反射された反射光を含む環境画像を収集するものであり、画像収集ユニットによって送信された環境画像を取得し、環境画像内の反射光の画素座標を用いて、ラインレーザの作用する物体の輪郭情報を決定し、輪郭情報によって示される輪郭が障害物輪郭であるとき、ラインレーザの作用する物体が障害物であると決定し、これによって、周囲光により影響されやすく、結果として認識結果が不正確になるという従来の障害物認識方法の問題を解決し、第１ラインレーザトランスミッタと画像収集ユニットとを組み合わせることによって環境画像を収集するため、周囲光が少ない場合にも、画像収集ユニットはラインレーザの反射光の画像を収集することができ、したがって、周囲光が少ない場合にも障害物を認識できることを確保する。また、画像認識アルゴリズムを用いて障害物を認識する代わりに、ラインレーザの反射光の画素座標に従って物体輪郭情報を抽出し、この輪郭情報に従って障害物を認識し、これによって、障害物の認識に要する機器リソースを節約することができる。
上記の説明は本願の技術案の概要に過ぎず、本願の技術手段をより明確に把握し、明細書の内容に基づいて実施できるように、以下、本願の好適な実施例及び図面の詳細を組み合わせて以下のように説明する。
本願の一実施例に係る自律移動機器の構造概略図である。 本願の一実施例に係る障害物認識方法のフローチャートである。 本願の一実施例に係る認識障害物のシーンの概略図である。 本願の一実施例に係る障害物認識装置のブロック図である。 本願の一実施例に係る障害物認識装置のブロック図である。
以下、図面及び実施例を参照して、本願の具体的な実施形態についてさらに詳細に説明する。以下の実施例は本願を説明するものであり、本願の範囲を限定するものではない。
図１は本願の一実施例に係る自律移動機器の構造概略図である。自律移動機器とは、手動で力を印加せずに移動可能な機器である。自律移動機器には、掃除ロボット、スマート芝刈り機などが含まれるが、これらに限定されるものではなく、本実施例は、自律移動機器のタイプについて限定しない。図１に示すように、該自律移動機器は、少なくとも、第１ラインレーザトランスミッタ１１０と、画像収集ユニット１２０と、制御ユニット１３０とを含む。
第１ラインレーザトランスミッタ１１０は、自律移動機器のハウジングに設けられ、走行方向に対する斜め下に沿ってラインレーザを出射するものである。第１ラインレーザトランスミッタ１１０の数は１つ又は複数であり、本実施例は、第１ラインレーザセンサ１１０の数について限定しない。
走行方向に対する斜め下の角度は、水平方向に対して１５°、３０°、４５°などであってもよく、本実施例は走行方向に対する斜め下の角度の値について限定しない。
画像収集ユニット１２０はラインレーザが物体によって反射された反射光を含む環境画像を収集するものである。１つの可能な実施形態では、画像収集ユニット１２０はカメラ、ビデオカメラなどであり、本実施例は画像収集ユニット１２０の機器のタイプについて限定しない。
第１ラインレーザトランスミッタ１１０及び画像収集ユニット１２０は、それぞれ、制御ユニット１３０に通信可能に接続される。制御ユニット１３０は、第１ラインレーザトランスミッタ１１０及び画像収集ユニット１２０の作動タイミングを制御する。１つの可能な実施形態では、制御ユニット１３０は第１ラインレーザトランスミッタ１１０を制御して画像収集ユニット１２０よりも先に作動を開始させる。
本願の実施例では、制御ユニット１３０は、また、画像収集ユニット１２０によって送信された環境画像を取得し、環境画像内の反射光の画素座標を用いて、ラインレーザの作用する物体の輪郭情報を決定し、輪郭情報によって示される輪郭が障害物輪郭であるとき、ラインレーザの作用する物体が障害物であると決定するものである。
１つの可能な実施形態では、輪郭情報は輪郭の形状及び位置を含む。
１つの可能な実施形態では、自律移動機器には、第２ラインレーザトランスミッタ１４０が配置されており、第２ラインレーザトランスミッタ１４０は、第１ラインレーザトランスミッタ１１０から出射されるラインレーザと出射方向が異なる他のラインレーザを送信するものであり、環境画像は他のラインレーザが物体によって反射された反射光をさらに含む。このとき、他のラインレーザの反射光は自律移動機器による障害物の有無の決定を支援してもよい。
本実施例に係る自律移動機器では、第１ラインレーザトランスミッタと画像収集ユニットとを組み合わせることによって環境画像を収集し、周囲光が少ない場合にも、画像収集ユニットはラインレーザの反射光の画像を収集することができ、したがって、周囲光が少ない場合にも障害物を認識できることを確保する。
また、画像認識アルゴリズムを用いて障害物を認識する代わりに、ラインレーザの反射光の画素座標に従って物体の輪郭情報を抽出し、この輪郭情報に従って障害物を認識することにより、障害物の認識に要する機器リソースを節約することができる。
図２は本願の一実施例に係る障害物認識方法のフローチャートである。本実施例では、該方法は図１に示す自律移動機器に適用され、かつ各ステップの実行部は自律移動機器の制御ユニット１３０である場合を例として説明する。該方法は、少なくとも、ステップ２０１～ステップ２０３を含む。
ステップ２０１において、画像収集ユニットによって送信された環境画像を取得する。
環境画像は第１ラインレーザトランスミッタから出射されたラインレーザが物体によって反射された反射光を含む。
１つの可能な実施形態では、自律移動機器には第２ラインレーザトランスミッタがさらに配置されており、第２ラインレーザトランスミッタは、ラインレーザと出射方向が異なる他のラインレーザを送信するものであり、環境画像は他のラインレーザが物体によって反射された反射光をさらに含む。このとき、環境画像は他のラインレーザが物体によって反射された反射光をさらに含む。
ステップ２０２において、環境画像内の反射光の画素座標を用いて、ラインレーザの作用する物体の輪郭情報を決定する。
輪郭情報は、輪郭の形状及び位置を含むが、これらに限定されるものではない。
自律移動機器の走行方向に障害物が存在しないとき、物体の輪郭情報は平坦且つ光滑であるものである。一方、走行方向に障害物が存在するとき、物体の輪郭情報は通常凹凸のあるものである。これに基づいて、自律移動機器は、輪郭情報によって走行方向に障害物が存在するか否かを決定することができる。
１つの可能な実施形態では、自律移動機器は反射光の画素座標を繋いで、物体の輪郭情報を得る。
ステップ２０３において、輪郭情報によって示される輪郭が障害物輪郭であるとき、ラインレーザの作用する物体が障害物であると決定する。
１つの可能な実施形態では、自律移動機器は、輪郭情報中の輪郭形状をテンプレート形状と比較し、該輪郭形状がテンプレートの形状とマッチングすれば、輪郭情報によって示される輪郭は障害物輪郭であり、該輪郭形状がテンプレート形状とマッチングしなければ、輪郭情報によって示される輪郭は障害物輪郭ではない。
ここで、テンプレート形状は、各種の障害物の輪郭形状、例えば、カーペットの輪郭形状、階段の輪郭形状やワードローブの輪郭形状などを含む。
及び／又は、自律移動機器は、輪郭形状中の凸起の数を決定し、凸起の数が閾値よりも大きいとき、輪郭情報によって示される輪郭が障害物輪郭であると決定し、凸起の数が閾値以下であるとき、輪郭情報によって示される輪郭が障害物輪郭ではないと決定する。
もちろん、自律移動機器は、他の方式によって、輪郭情報によって示される輪郭が障害物輪郭であるか否かを決定してもよく、本実施例は、ここで一々例示していない。
１つの可能な実施形態では、ラインレーザの作用する物体が障害物であると決定した後、自律移動機器はまた、輪郭情報に従って、障害物の地面に対する垂直方向距離を決定してもよい。
一例では、輪郭情報に従って障害物の地面に対する垂直方向距離を決定するステップは、地面と第１ラインレーザトランスミッタとの間の第１垂直方向距離を取得するステップと、レーザー測距原理及び輪郭情報の画素座標に基づいて、ラインレーザの作用する物体と第１ラインレーザトランスミッタとの間の第２垂直方向距離を決定するステップと、第２垂直方向距離と第１垂直方向距離との間の差を垂直方向距離として決定するステップとを含む。
制御ユニットはレーザー測距原理及び反射光の画素座標に基づいて第１ラインレーザトランスミッタと物体との間の距離を測定し、ラインレーザの出射角度は自律移動機器に予め記憶されており、このため、第１ラインレーザトランスミッタと物体との間の距離及び該出射角度に基づいて、物体と第１ラインレーザトランスミッタとの間の第２垂直方向距離を決定することができる。
地面と第１ラインレーザトランスミッタとの間の第１垂直方向距離を取得するステップは、過去に収集された、ラインレーザの作用する物体の地面に対する垂直方向距離が予め設定された距離閾値以下である過去環境画像について、レーザー測距原理及び過去環境画像内の反射光の画素座標に基づいて、物体と第１ラインレーザトランスミッタとの間の垂直方向距離を決定し、第１垂直方向距離を得るステップを含む。ラインレーザの作用する物体の地面に対する垂直方向距離が予め設定された距離閾値以下であることから、過去環境画像内のラインレーザの作用する物体が障害物ではないことが示され、この場合、デフォルトではこの物体は地面である。
１つの可能な実施形態では、ラインレーザの作用する物体と第１ラインレーザトランスミッタとの間の第２垂直方向距離を決定するステップは、レーザー測距原理及び環境画像内の反射光の画素座標に基づいて、ラインレーザの作用する物体と第１ラインレーザトランスミッタとの間の垂直方向距離及び最小垂直方向距離を決定するステップと、垂直方向距離と最小垂直方向距離との平均値を第２垂直方向距離として決定するステップとを含む。もちろん、第２垂直方向距離はこの垂直方向距離であってもよく、本実施例は、第２垂直方向距離を設定する方式について限定しない。
ラインレーザが平坦な地面に放射されるとき、画像収集ユニットによってキャプチャされた画像から抽出された地面情報は、平坦かつ光滑であるものである。このとき、地面の第１ラインレーザトランスミッタに対する第１垂直方向距離Ｈ１を推定することができる。
図３に示すように、ラインレーザがカーペットに照射されるとき、カーペットの縁部の特性により、抽出された地面情報はノイズを伴う不規則なデータである。この場合、カーペットの第１ラインレーザトランスミッタに対する第２垂直方向距離Ｈ２を推定することができる。カーペットが検出されると、自律移動機器の走行方向において検出された第１垂直方向距離Ｈ１から、カーペットの垂直方向距離（Ｈ２－Ｈ１）を推定することができる。
自律移動機器が第２ラインレーザトランスミッタをさらに含む場合、図３に示すように、第２ラインレーザトランスミッタから出射された他のラインレーザがカーペットに照射されるとき、カーペットの縁部の特性により、抽出された地面情報はノイズを伴う不規則なデータである。この場合、他のラインレーザがカーペットから出射された反射光は自律移動機器によるカーペットの垂直方向距離の決定を支援する。
前記のように、本実施例に係る障害物認識方法では、自律移動機器には第１ラインレーザトランスミッタと画像収集ユニットが取り付けられ、第１ラインレーザトランスミッタは走行方向に対する斜め下に沿ってラインレーザを出射するものであり、画像収集ユニットはラインレーザが物体によって反射された反射光を含む環境画像を収集するものであり、画像収集ユニットによって送信された環境画像を取得し、環境画像内の反射光の画素座標を用いて、ラインレーザの作用する物体の輪郭情報を決定し、輪郭情報によって示される輪郭が障害物輪郭であるとき、ラインレーザの作用する物体が障害物であると決定し、これにより、周囲光により影響されやすく、結果として認識結果が不正確になるという従来の障害物認識方法の問題を解決し、第１ラインレーザトランスミッタと画像収集ユニットとを組み合わせることによって環境画像を収集するため、周囲光が少ない場合にも、画像収集ユニットはラインレーザの反射光の画像を収集することができ、したがって、周囲光が少ない場合にも障害物を認識できることを確保する。また、画像認識アルゴリズムを用いて障害物を認識する代わりに、ラインレーザの反射光の画素座標に従って物体輪郭情報を抽出し、この輪郭情報に従って障害物を認識することによって、障害物認識に要する機器リソースを節約することができる。
１つの可能な実施形態では、ステップ２０３の後、自律移動機器は、障害物のタイプに基づいて障害物を回避又は乗り越える自律移動機器の作動戦略を決定してもよい。
一例では、障害物がカーペットであり、かつカーペットの地面に対する垂直方向距離が第１閾値よりも大きく、第２閾値よりも小さい場合、障害物を乗り越えるために自律移動機器の作動戦略として加速走行を決定し、障害物がカーペットであり、かつカーペットの地面に対する垂直方向距離が第２閾値以上である場合、障害物を回避するために自律移動機器の作動戦略として運転方向変更を決定し、障害物が階段であり、階段が地下にあり、かつ地面に対する最大垂直方向距離が第３閾値よりも大きく、第４閾値よりも小さい場合、階段に対応する高さに降下するために自律移動機器の作動戦略として減速運転を決定し、障害物が階段であり、階段が地下にあり、かつ地面に対する最大垂直方向距離が第４閾値以上である場合、障害物を回避するために自律移動機器の作動戦略として運転方向変更を決定する。
第２閾値は第１閾値よりも大きく、本実施例は、第１閾値及び第２閾値の値について限定しない。
第４閾値は第３閾値よりも大きく、本実施例は、第３閾値及び第４閾値の値について限定しない。
本実施例では、障害物の地面に対する垂直方向距離によってさまざまな作動戦略を取ることによって、自律移動機器が障害物に詰まったり高所から落下したりして、自律移動機器の耐用年数を損なうことを回避する。
図４は本願の一実施例に係る障害物認識装置のブロック図であり、本実施例では、該装置が図１に示す自律移動機器に適用される場合を例として説明する。該装置は、少なくとも、画像取得モジュール４１０と、輪郭決定モジュール４２０と、物体認識モジュール４３０とを含む。
画像取得モジュール４１０は、前記画像収集ユニットによって送信された環境画像を取得し、
輪郭決定モジュール４２０は、前記環境画像内の反射光の画素座標を用いて、前記ラインレーザの作用する物体の輪郭情報を決定し、
物体認識モジュール４３０は、前記輪郭情報によって示される輪郭が障害物輪郭であるとき、前記ラインレーザの作用する物体が障害物であると決定する。
関連詳細は上記方法の実施例を参照する。
なお、上記実施例に係る障害物認識装置による障害物の認識に関しては、上記の各機能モジュールの区分は例示的に説明するものに過ぎず、実際の適用では、上記機能は必要に応じて異なる機能モジュールによって発揮されてもよく、即ち、障害物認識装置の内部構造は異なる機能モジュールに分割されて、上記した全部又は一部の機能を発揮する。また、上記実施例に係る障害物認識装置は、障害物認識方法の実施例と同一の構想であるので、具体的な実現過程については方法実施例に示されており、ここでは詳しく説明しない。
図５は本願一実施例に係る障害物認識装置のブロック図であり、該装置は図１に示す自律移動機器であってもよい。該装置は、少なくともプロセッサ５０１とメモリ５０２を含む。
プロセッサ５０１は１つ又は複数の処理コア、例えば、４コアプロセッサ、８コアプロセッサなどを含んでもよい。プロセッサ５０１は、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ、デジタル信号処理）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ、フィールドプログラマブルゲートアレイ）、ＰＬＡ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ａｒｒａｙ、プログラマブルロジックアレイ）のうちの少なくとも１種のハードウェアの形態で実現されてもよい。プロセッサ５０１は、メインプロセッサとコプロセッサを含んでもよく、メインプロセッサはウェイクアップ状態でのデータを処理するためのプロセッサであり、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、中央処理装置）とも呼ばれ、コプロセッサは、待機状態でのデータを処理する低電力プロセッサである。いくつかの実施例では、プロセッサ５０１はＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、画像プロセッサ）を統合してもよく、ＧＰＵはディスプレイに表示すべき内容のレンダリングや描画を行う。いくつかの実施例では、プロセッサ５０１はＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ、人工知能）プロセッサをさらに含んでもよく、該ＡＩプロセッサは機械学習に関連する計算操作を処理する。
メモリ５０２は１つ又は複数のコンピュータ読み取り可能な記憶媒体を含んでもよく、該コンピュータ読み取り可能な記憶媒体は非一時的なものであってもよい。メモリ５０２はまた、高速ランダムアクセスメモリ、及び不揮発性メモリ、例えば１つ又は複数の磁気ディスク記憶機器、フラッシュ記憶機器を含んでもよい。いくつかの実施例では、メモリ５０２の中の非一時的なコンピュータ読み取り可能な記憶媒体は少なくとも１つの命令を記憶するものであり、この少なくとも１つの命令は、プロセッサ５０１によって実行されて、本願の方法実施例に係る障害物認識方法を実現する。
いくつかの実施例では、障害物認識装置は、任意選択的に、周辺機器インターフェース及び少なくとも１つの周辺機器を含んでもよい。プロセッサ５０１、メモリ５０２及び周辺機器インターフェースは互いにバス又は信号線を介して接続されてもよい。各周辺機器はバス、信号線又は回路基板を介して周辺機器インターフェースに接続されてもよい。例示的には、周辺機器は、ＲＦ回路、画像収集ユニット、ラインレーザトランスミッタ、オーディオ回路や電源などを含むが、これらに限定されるものではない。
もちろん、障害物認識装置はより少ない又はより多いユニットを含んでもよく、本実施例はこれについて限定しない。
１つの可能な実施形態では、本願の実施例はまた、プロセッサによってロードされて実行されて上記方法の実施例の障害物認識方法を実現するプログラムが記憶されているコンピュータ読み取り可能な記憶媒体を提供する。
１つの可能な実施形態では、本願の実施例はまた、プロセッサによってロードされて実行されて上記方法の実施例の障害物認識方法を実現するプログラムが記憶されているコンピュータ読み取り可能な記憶媒体を含むコンピュータ製品を提供する。
以上の前記実施例の各技術的特徴は任意に組み合わせられてもよく、説明の便宜上、上記実施例の各技術的特徴の全ての可能な組み合わせを記載していないが、これらの技術的特徴の組み合わせには矛盾がない限り、本明細書に記載の範囲内であるとみなすべきである。
以上の前記実施例は本願のいくつかの実施形態だけを示しており、その説明は具体的かつ詳細であるが、発明特許範囲を制限するものとして解釈すべきではない。なお、当業者であれば、本願の構想を逸脱することなく、いくつかの変形や改良を加えることもでき、これらは全て本願の特許範囲に属する。したがって、本願特許の範囲は添付の特許請求の範囲に準じるべきである。

Claims (10)

  1. 自律移動機器に適用され、前記自律移動機器には第１ラインレーザトランスミッタと画像収集ユニットが取り付けられ、前記第１ラインレーザトランスミッタは走行方向に対する斜め下に沿ってラインレーザを出射するものであり、前記画像収集ユニットは前記ラインレーザが物体によって反射された反射光を含む環境画像を収集するものであり、
    前記画像収集ユニットによって送信された環境画像を取得するステップと、
    前記環境画像内の反射光の画素座標を用いて、前記ラインレーザの作用する物体の輪郭情報を決定するステップと、
    前記輪郭情報によって示される輪郭が障害物輪郭であるとき、前記ラインレーザの作用する物体が障害物であると決定するステップとを含み、
    前記環境画像内の反射光の画素座標を用いて、前記ラインレーザの作用する物体の輪郭情報を決定する前記ステップの後に、
    前記輪郭情報中の輪郭形状における凸起の数を決定するステップと、
    前記凸起の数が閾値よりも大きいとき、前記輪郭情報によって示される輪郭が障害物輪郭であると決定し、前記凸起の数が閾値以下であるとき、前記輪郭情報によって示される輪郭が障害物輪郭ではないと決定するステップとをさらに含む、ことを特徴とする障害物認識方法。
  2. 前記ラインレーザの作用する物体が障害物であると決定する前記ステップの後、
    前記輪郭情報に従って前記障害物の地面に対する垂直方向距離を決定するステップをさらに含む、ことを特徴とする請求項１に記載の方法。
  3. 前記輪郭情報に従って前記障害物の地面に対する垂直方向距離を決定する前記ステップは、
    地面と前記第１ラインレーザトランスミッタとの間の第１垂直方向距離を取得するステップと、
    レーザー測距原理及び前記輪郭情報の画素座標に基づいて、前記ラインレーザの作用する物体と前記第１ラインレーザトランスミッタとの間の第２垂直方向距離を決定するステップと、
    前記第２垂直方向距離と前記第１垂直方向距離との間の差を前記垂直方向距離として決定するステップとを含む、ことを特徴とする請求項２に記載の方法。
  4. 地面と前記第１ラインレーザトランスミッタとの間の第１垂直方向距離を取得する前記ステップは、
    過去に収集された、前記ラインレーザの作用する物体の地面に対する垂直方向距離が予め設定された距離閾値以下の過去環境画像について、レーザー測距原理及び前記過去環境画像内の反射光の画素座標に基づいて、前記物体と前記第１ラインレーザトランスミッタとの間の垂直方向距離を決定し、前記第１垂直方向距離を得るステップを含む、ことを特徴とする請求項３に記載の方法。
  5. 前記自律移動機器には、第２ラインレーザトランスミッタがさらに配置されており、前記第２ラインレーザトランスミッタは前記ラインレーザと出射方向が異なる他のラインレーザを送信するものであり、前記環境画像は前記他のラインレーザが物体によって反射された反射光をさらに含む、ことを特徴とする請求項１に記載の方法。
  6. 前記ラインレーザの作用する物体が障害物であると決定する前記ステップの後、
    前記障害物のタイプに基づいて、前記障害物を回避又は乗り越えるための前記自律移動機器の作動戦略を決定するステップをさらに含む、ことを特徴とする請求項１に記載の方法。
  7. 前記障害物のタイプに基づいて前記自律移動機器の作動戦略を決定する前記ステップは、前記障害物がカーペットであり、かつ前記カーペットの地面に対する垂直方向距離が第１閾値よりも大きく、第２閾値よりも小さい場合、前記障害物を乗り越えるために、前記自律移動機器の作動戦略として加速走行を決定するステップと、
    前記障害物がカーペットであり、かつ前記カーペットの地面に対する垂直方向距離が第２閾値以上である場合、前記障害物を回避するために前記自律移動機器の作動戦略として運転方向変更を決定するステップと、
    前記障害物が階段であり、前記階段が地下にあり、かつ地面に対する最大垂直方向距離が第３閾値よりも大きく、第４閾値よりも小さい場合、前記階段に対応する高さに降下するために前記自律移動機器の作動戦略として減速運転を決定するステップと、
    前記障害物が階段であり、前記階段が地下にあり、かつ地面に対する最大垂直方向距離が第４閾値以上である場合、前記障害物を回避するために前記自律移動機器の作動戦略として運転方向変更を決定するステップとを含む、ことを特徴とする請求項６に記載の方法。
  8. 前記ラインレーザが平坦な地面に照射されるとき、前記画像収集ユニットによってキャプチャされた環境画像から抽出された地面情報は、平坦かつ光滑であるものであり、前記障害物がカーペットであり、かつ前記ラインレーザがカーペットに照射されるとき、前記画像収集ユニットによってキャプチャされた環境画像から抽出された地面情報はノイズを伴う不規則なデータである、ことを特徴とする請求項１に記載の方法。
  9. 自律移動機器に適用され、前記自律移動機器には、第１ラインレーザトランスミッタと画像収集ユニットが取り付けられ、前記第１ラインレーザトランスミッタは走行方向に対する斜め下に沿ってラインレーザを出射するものであり、前記画像収集ユニットは前記ラインレーザが物体によって反射された反射光を含む環境画像を収集するものであり、
    前記画像収集ユニットによって送信された環境画像を取得する画像取得モジュールと、
    前記環境画像内の反射光の画素座標を用いて、前記ラインレーザの作用する物体の輪郭情報を決定する輪郭決定モジュールと、
    前記輪郭情報によって示される輪郭が障害物輪郭であるとき、前記ラインレーザの作用する物体が障害物であると決定する物体認識モジュールとを含み、
    前記輪郭情報中の輪郭形状における凸起の数を決定し、前記凸起の数が閾値よりも大きいとき、前記輪郭情報によって示される輪郭が障害物輪郭であると決定し、前記凸起の数が閾値以下であるとき、前記輪郭情報によって示される輪郭が障害物輪郭ではないと決定する、ことを特徴とする障害物認識装置。
  10. ハウジングと、第１ラインレーザトランスミッタと、画像収集ユニットと、制御ユニットとを含み、前記第１ラインレーザトランスミッタは前記ハウジングに設けられ、走行方向に対する斜め下に沿ってラインレーザを出射するものであり、前記画像収集ユニットは前記ラインレーザが物体によって反射された反射光を含む環境画像を収集するものであり、前記第１ラインレーザトランスミッタ及び前記画像収集ユニットはそれぞれ前記制御ユニットに通信可能に接続され、
    前記制御ユニットは、
    前記画像収集ユニットによって送信された環境画像を取得し、
    前記環境画像内の反射光の画素座標を用いて、前記ラインレーザの作用する物体の輪郭情報を決定し、
    前記輪郭情報によって示される輪郭が障害物輪郭であるとき、前記ラインレーザの作用する物体が障害物であると決定するものであり、
    前記輪郭情報中の輪郭形状における凸起の数を決定し、前記凸起の数が閾値よりも大きいとき、前記輪郭情報によって示される輪郭が障害物輪郭であると決定し、前記凸起の数が閾値以下であるとき、前記輪郭情報によって示される輪郭が障害物輪郭ではないと決定する、ことを特徴とする自律移動機器。
JP2022541668A 2020-04-22 2021-02-20 障害物認識方法、装置、自律移動機器及び記憶媒体 Active JP7383828B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN202010322554.9A CN111538034B (zh) 2020-04-22 2020-04-22 障碍物识别方法、装置及存储介质
CN202010322554.9 2020-04-22
PCT/CN2021/076964 WO2021212986A1 (zh) 2020-04-22 2021-02-20 障碍物识别方法、装置、自移动设备及存储介质

Publications (2)

Publication Number Publication Date
JP2023500994A JP2023500994A (ja) 2023-01-17
JP7383828B2 true JP7383828B2 (ja) 2023-11-20

Family

ID=71973097

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022541668A Active JP7383828B2 (ja) 2020-04-22 2021-02-20 障害物認識方法、装置、自律移動機器及び記憶媒体

Country Status (6)

Country Link
US (1) US20220273152A1 (ja)
EP (1) EP4050378A4 (ja)
JP (1) JP7383828B2 (ja)
KR (1) KR20220086682A (ja)
CN (3) CN113189614B (ja)
WO (1) WO2021212986A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113189614B (zh) * 2020-04-22 2023-08-11 追觅创新科技(苏州)有限公司 障碍物识别方法、装置及存储介质
CN112417944B (zh) * 2020-08-31 2024-04-16 深圳银星智能集团股份有限公司 一种机器人控制方法及电子设备
CN114445440A (zh) * 2020-11-03 2022-05-06 苏州科瓴精密机械科技有限公司 一种应用于自行走设备的障碍物识别方法及自行走设备
CN114617476A (zh) * 2021-06-02 2022-06-14 北京石头创新科技有限公司 自移动设备
CN113848943B (zh) * 2021-10-18 2023-08-08 追觅创新科技(苏州)有限公司 栅格地图的修正方法及装置、存储介质及电子装置
CN116069004A (zh) * 2021-10-29 2023-05-05 追觅创新科技(苏州)有限公司 自移动设备、自移动设备的障碍物边缘确定方法及介质
CN114815821B (zh) * 2022-04-19 2022-12-09 山东亚历山大智能科技有限公司 基于多线激光雷达的室内自适应全景避障方法及系统
CN118151641A (zh) * 2022-12-02 2024-06-07 北京石头世纪科技股份有限公司 避障模块、机器人、控制方法、避障方法和相关装置
CN118259659A (zh) * 2022-12-23 2024-06-28 速感科技（北京）有限公司 自主移动设备及其障碍物探测方法以及计算机可读介质
CN117008594A (zh) * 2022-12-30 2023-11-07 北京石头创新科技有限公司 基于线激光的自行走设备避障方法及装置、设备和介质
CN117048596B (zh) * 2023-08-04 2024-05-10 广州汽车集团股份有限公司 避让障碍物的方法、装置、车辆及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006146778A (ja) 2004-11-24 2006-06-08 Konica Minolta Photo Imaging Inc ヘッドマウントディスプレイ装置
JP2011069626A (ja) 2009-09-24 2011-04-07 Hitachi Automotive Systems Ltd 障害物検知装置
JP2014194729A (ja) 2013-02-27 2014-10-09 Sharp Corp 周囲環境認識装置、それを用いた自律移動システムおよび周囲環境認識方法
CN107632308A (zh) 2017-08-24 2018-01-26 吉林大学 一种基于递归叠加算法的车辆前方障碍物轮廓检测方法
WO2018219473A1 (en) 2017-06-02 2018-12-06 Aktiebolaget Electrolux Method of detecting a difference in level of a surface in front of a robotic cleaning device
CN110353583A (zh) 2019-08-21 2019-10-22 追创科技(苏州)有限公司 扫地机器人及扫地机器人的自动控制方法

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9203448D0 (en) * 1992-02-18 1992-04-01 British Steel Plc Shape detection
US7079943B2 (en) * 2003-10-07 2006-07-18 Deere & Company Point-to-point path planning
JP4241651B2 (ja) * 2005-03-16 2009-03-18 パナソニック電工株式会社 移動装置
CN101227539B (zh) * 2007-01-18 2010-09-29 联想移动通信科技有限公司 导盲手机及导盲方法
JP2011060113A (ja) * 2009-09-11 2011-03-24 Mitsubishi Fuso Truck & Bus Corp 車両の衝突回避支援装置
CN102495672A (zh) * 2011-10-20 2012-06-13 广州市迪拓信息科技有限公司 一种体感控制中位置判断的方法
JP5862623B2 (ja) * 2013-08-08 2016-02-16 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
US11176655B2 (en) * 2014-01-27 2021-11-16 Cognex Corporation System and method for determining 3D surface features and irregularities on an object
WO2016045593A1 (zh) * 2014-09-23 2016-03-31 苏州宝时得电动工具有限公司 自移动机器人
JP2016211852A (ja) * 2015-04-28 2016-12-15 一般財団法人電力中央研究所 表面凹凸の計測方法及び計測装置
KR101762504B1 (ko) * 2015-08-31 2017-07-28 고려대학교 산학협력단 레이저 거리 센서를 이용한 바닥 장애물 검출 방법
JP6677516B2 (ja) * 2016-01-21 2020-04-08 シャープ株式会社 自律走行装置
CN108008411A (zh) * 2016-10-31 2018-05-08 张舒怡 一种用于自动驾驶的传感器
CN107589625B (zh) * 2017-09-30 2020-05-29 歌尔科技有限公司 投影仪的自动变焦方法和投影仪
CN109753982B (zh) * 2017-11-07 2021-09-03 北京京东乾石科技有限公司 障碍点检测方法、装置和计算机可读存储介质
CN108444390B (zh) * 2018-02-08 2021-01-26 天津大学 一种无人驾驶汽车障碍物识别方法及装置
CN109166125B (zh) * 2018-07-06 2021-03-12 长安大学 一种基于多边缘融合机制的三维深度图像分割算法
CN113961005A (zh) * 2018-10-22 2022-01-21 科沃斯机器人股份有限公司 行进控制的方法、表面清洁机器人及存储介质
CN209803009U (zh) * 2018-10-30 2019-12-17 四川晴测科技有限公司 路面裂纹检测装置
CN109357091B (zh) * 2018-12-18 2024-04-26 广东福斯特流体技术有限公司 一种管路部件连接结构以及连接方法
CN109350018B (zh) * 2019-01-08 2019-04-26 湖南超能机器人技术有限公司 应用于手掌疱疹检测系统的基于图像的手掌检测方法
CN109782807B (zh) * 2019-03-08 2021-10-01 哈尔滨工程大学 一种回形障碍物环境下的auv避障方法
CN110298853B (zh) * 2019-07-04 2021-05-25 易思维（杭州）科技有限公司 面差视觉检测方法
CN110928301B (zh) * 2019-11-19 2023-06-30 北京小米智能科技有限公司 一种检测微小障碍的方法、装置及介质
CN110928315A (zh) * 2019-12-20 2020-03-27 深圳市杉川机器人有限公司 自主机器人及其控制方法
CN110989631B (zh) * 2019-12-30 2022-07-12 科沃斯机器人股份有限公司 自移动机器人控制方法、装置、自移动机器人和存储介质
CN113189614B (zh) * 2020-04-22 2023-08-11 追觅创新科技(苏州)有限公司 障碍物识别方法、装置及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006146778A (ja) 2004-11-24 2006-06-08 Konica Minolta Photo Imaging Inc ヘッドマウントディスプレイ装置
JP2011069626A (ja) 2009-09-24 2011-04-07 Hitachi Automotive Systems Ltd 障害物検知装置
JP2014194729A (ja) 2013-02-27 2014-10-09 Sharp Corp 周囲環境認識装置、それを用いた自律移動システムおよび周囲環境認識方法
WO2018219473A1 (en) 2017-06-02 2018-12-06 Aktiebolaget Electrolux Method of detecting a difference in level of a surface in front of a robotic cleaning device
CN107632308A (zh) 2017-08-24 2018-01-26 吉林大学 一种基于递归叠加算法的车辆前方障碍物轮廓检测方法
CN110353583A (zh) 2019-08-21 2019-10-22 追创科技(苏州)有限公司 扫地机器人及扫地机器人的自动控制方法

Also Published As

Publication number Publication date
CN113189614A (zh) 2021-07-30
CN113296117A (zh) 2021-08-24
KR20220086682A (ko) 2022-06-23
CN111538034B (zh) 2021-05-28
CN113296117B (zh) 2023-08-08
WO2021212986A1 (zh) 2021-10-28
CN113189614B (zh) 2023-08-11
EP4050378A1 (en) 2022-08-31
JP2023500994A (ja) 2023-01-17
EP4050378A4 (en) 2023-05-24
US20220273152A1 (en) 2022-09-01
CN111538034A (zh) 2020-08-14

Similar Documents

Publication Publication Date Title
JP7383828B2 (ja) 障害物認識方法、装置、自律移動機器及び記憶媒体
CN110582778B (zh) 具有对传感器数据的机器学习分类的嵌入式机动车辆感知
EP3852064B1 (en) Object labeling method and apparatus, movement control method and apparatus, device, and storage medium
US10776939B2 (en) Obstacle avoidance system based on embedded stereo vision for unmanned aerial vehicles
US12008778B2 (en) Information processing apparatus, control method for same, non-transitory computer-readable storage medium, and vehicle driving support system
EP3234839B1 (en) Systems and methods for capturing images and annotating the captured images with information
US11669972B2 (en) Geometry-aware instance segmentation in stereo image capture processes
CN108509820B (zh) 障碍物分割方法及装置、计算机设备及可读介质
KR102555374B1 (ko) 전자 장치 및 그 제어 방법
CN111932943B (zh) 动态目标的检测方法、装置、存储介质及路基监测设备
CN110765922A (zh) 一种agv用双目视觉物体检测障碍物系统
US11471016B2 (en) Method and apparatus for executing cleaning operation
CN109993192B (zh) 目标对象识别方法及装置、电子设备、存储介质
CN113907663B (zh) 障碍物地图构建方法、清洁机器人及存储介质
CN106573588A (zh) 驾驶辅助装置、驾驶辅助方法和程序
CN109840454B (zh) 目标物定位方法、装置、存储介质以及设备
US12094129B2 (en) Electronic apparatus and controlling method thereof
KR20210061839A (ko) 전자 장치 및 그 제어 방법
CN111913177A (zh) 对目标物探测方法、装置以及存储介质
CN111591284A (zh) 基于单目识别的视野盲区避障方法及装置
WO2022117072A1 (zh) 自主工作装置和自主工作装置的控制方法
US20220284707A1 (en) Target detection and control method, system, apparatus and storage medium
JP2024062357A (ja) 情報処理装置、情報処理方法、及び情報処理プログラム
CN118323110A (zh) 泊车与特征地图的生成方法、装置、设备、可读存储介质
WO2022263004A1 (en) Method for annotating objects in an image and driver assistant system for performing the method

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220705

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220705

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20220705

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230124

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230421

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230613

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230912

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231010

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231108

R150 Certificate of patent or registration of utility model

Ref document number: 7383828

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D02