Nothing Special   »   [go: up one dir, main page]

KR20210012677A - 사람의 머리를 회피하여 이동하는 로봇 및 이의 동작 제어 방법 - Google Patents

사람의 머리를 회피하여 이동하는 로봇 및 이의 동작 제어 방법 Download PDF

Info

Publication number
KR20210012677A
KR20210012677A KR1020190090803A KR20190090803A KR20210012677A KR 20210012677 A KR20210012677 A KR 20210012677A KR 1020190090803 A KR1020190090803 A KR 1020190090803A KR 20190090803 A KR20190090803 A KR 20190090803A KR 20210012677 A KR20210012677 A KR 20210012677A
Authority
KR
South Korea
Prior art keywords
pixels
floor
robot
head
height
Prior art date
Application number
KR1020190090803A
Other languages
English (en)
Inventor
곽승철
주정우
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020190090803A priority Critical patent/KR20210012677A/ko
Priority to US16/550,804 priority patent/US11226629B2/en
Publication of KR20210012677A publication Critical patent/KR20210012677A/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/009—Carrying-vehicles; Arrangements of trollies or wheels; Means for avoiding mechanical obstacles
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
    • A47L11/40—Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
    • A47L11/4011—Regulation of the cleaning machine by electric means; Control systems and remote control systems therefor
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
    • A47L11/40—Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
    • A47L11/4061—Steering means; Means for avoiding obstacles; Details related to the place where the driver is accommodated
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • A47L9/2805—Parameters or conditions being sensed
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • A47L9/2805—Parameters or conditions being sensed
    • A47L9/2826—Parameters or conditions being sensed the condition of the floor
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • A47L9/2836—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means characterised by the parts which are controlled
    • A47L9/2852—Elements for displacement of the vacuum cleaner or the accessories therefor, e.g. wheels, casters or nozzles
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • A47L9/2889—Safety or protection devices or systems, e.g. for prevention of motor over-heating or for protection of the user
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/008—Manipulators for service tasks
    • B25J11/0085—Cleaning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B25J9/1666—Avoiding collision or forbidden zones
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1674—Programme controls characterised by safety, monitoring, diagnostic
    • B25J9/1676—Avoiding collision or forbidden zones
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L2201/00—Robotic cleaning machines, i.e. with automatic control of the travelling movement or the cleaning operation
    • A47L2201/04—Automatic control of the travelling movement; Automatic obstacle detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Robotics (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Human Computer Interaction (AREA)
  • Manipulator (AREA)
  • Image Processing (AREA)

Abstract

사람의 머리를 회피하여 이동하는 로봇 및 이의 동작 제어 방법이 개시된다. 본 발명의 로봇은 특정 영역에 대한 뎁스(depth) 이미지를 획득하는 뎁스 이미지 획득부, 상기 뎁스 이미지에 기초하여 상기 특정 영역에 대한 높이 맵을 생성하는 높이 맵 생성부 및 상기 높이 맵에 기초하여 상기 특정 영역에 누워있는 사람의 머리가 존재하는지 여부를 판단하는 판단부를 포함하되, 상기 판단부는, 상기 높이 맵의 높이 값을 이용하여 상기 높이 맵을 구성하는 화소들을 바닥 영역을 구성하는 바닥 화소들 및 비 바닥 영역을 구성하는 비 바닥 화소들로 구분하고, 상기 비 바닥 화소들의 중 제1 비 바닥 화소들을 시작점으로 하는 경로들을 설정하며, 상기 경로들의 수렴 여부를 이용하여 상기 사람의 머리가 존재하는지를 판단한다.

Description

사람의 머리를 회피하여 이동하는 로봇 및 이의 동작 제어 방법{ROBOT FOR MOVING WITH HUMAN HEAD AVOIDANCE AND METHOD FOR CONTROLLING THEREOF}
본 발명은 사람의 머리를 회피하여 이동하는 로봇 및 이의 동작 제어 방법에 관한 기술이다.
일반적으로 로봇은 산업용으로 개발되어 공장 자동화의 일 부분을 담당하여 왔다. 최근에는 로봇을 응용한 분야가 더욱 확대되어, 의료용 로봇, 우주 항공 로봇 등이 개발되고, 일반 가정에서 사용할 수 있는 가정용 로봇도 만들어지고 있다.
가정용 로봇의 대표적인 예는 로봇 청소기로서, 일정 영역을 스스로 주행하면서 주변의 먼지 또는 이물질을 흡입하여 청소하는 가전 기기의 일종이다. 이러한 로봇 청소기는 일반적으로 충전 가능한 배터리를 구비하고, 주행 중 장애물을 피할 수 있는 카메라, 센서 등을 센서를 구비하며, 자율로 주행하여 청소를 수행할 수 있다.
로봇 청소기는 가정 내에서 물체에 부딪치지 않으며 자율 주행을 수행하여야 한다. 물체를 회피하기 위해서, 로봇 청소기는 물체의 존재를 감지해야 한다. 그러나, 물체의 높이, 너비, 색깔, 재질 등의 조건에 따라 로봇 청소기가 물체의 존재를 감지하지 못하는 경우들이 발생할 수 있다.
특히, 종래의 로봇 청소기는 특정 영역에 누워있는 사람의 머리에 대한 인식 성능이 현저히 떨어진다. 즉, 도 1에 도시된 바와 같이, 종래의 로봇 청소기는 사람의 머리에 붙어있는 머리카락을 인식하지 못하여 머리카락을 흡입하게 된다. 따라서, 종래의 로봇 청소기는 사용자의 불편함을 초래할 수 있는 문제점이 있다.
본 발명의 목적은 특정 공간에 누어있는 사람의 머리를 효과적으로 인식할 수 있는 로봇 및 이의 제어 방법을 제공하는 것이다.
또한, 본 발명의 다른 목적은 축구공 등과 같이 사람의 머리와 형상이 유사한 물체를 사람의 머리와 구별함으로써 동작이 효과적으로 제어될 수 있는 로봇 및 이의 제어 방법을 제공하는 것이다.
본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 발명의 실시예에 의해 보다 분명하게 이해될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
상술한 바와 같은 과제를 해결하기 위해, 본 발명의 일 실시예에 의한 로봇은 특정 영역에 대한 뎁스(depth) 이미지를 획득하는 뎁스 이미지 획득부, 상기 뎁스 이미지에 기초하여 상기 특정 영역에 대한 높이 맵을 생성하는 높이 맵 생성부 및 상기 높이 맵에 기초하여 상기 특정 영역에 누워있는 사람의 머리가 존재하는지 여부를 판단하는 판단부를 포함하되, 상기 판단부는, 상기 높이 맵의 높이 값을 이용하여 상기 높이 맵을 구성하는 화소들을 바닥 영역을 구성하는 바닥 화소들 및 비 바닥 영역을 구성하는 비 바닥 화소들로 구분하고, 상기 비 바닥 화소들의 중 제1 비 바닥 화소들을 시작점으로 하는 경로들을 설정하며, 상기 경로들의 수렴 여부를 이용하여 상기 사람의 머리가 존재하는지를 판단한다.
또한, 본 발명의 다른 실시예에 의한 로봇은 특정 영역에 대한 뎁스 이미지를 획득하는 뎁스 이미지 획득부, 상기 뎁스 이미지에 기초하여 상기 특정 영역에 대한 높이 맵을 생성하는 높이 맵 생성부 및 상기 높이 맵에 기초하여 상기 특정 영역에 누워있는 사람의 머리가 존재하는지 여부를 판단하는 판단부를 포함하되, 상기 판단부는, 상기 높이 맵의 높이 값을 이용하여 상기 높이 맵을 구성하는 화소들을 바닥 영역을 구성하는 바닥 화소들 및 비 바닥 영역을 구성하는 비 바닥 화소들로 구분하고, 상기 비 바닥 화소들의 중 제1 비 바닥 화소들을 시작점으로 하는 경로들을 설정하며, 상기 경로들의 수렴 여부, 상기 경로들의 수렴 시 수렴하는 화소와 대응되는 상기 뎁스 이미지의 화소에서의 원 또는 타원 형태의 곡선이 검출되는지 여부 및 상기 뎁스 이미지 상의 상기 경로들에 포함된 화소들의 명도에 관련된 값을 이용하여 상기 사람의 머리가 존재하는지를 판단한다.
또한, 본 발명의 다른 실시예에 의한 로봇의 제어 방법은, 뎁스 카메라가 특정 영역에 대한 뎁스 이미지를 획득하는 단계 (a), 높이 맵 생성부가 상기 뎁스 이미지에 기초하여 상기 특정 영역에 대한 높이 맵을 생성하는 단계 (b), 판단부가 상기 높이 맵에 기초하여 상기 특정 영역에 누워있는 사람의 머리가 존재하는지 여부를 판단하는 단계 (c) 및 제어부가 상기 판단 결과에 기초하여 로봇의 동작을 제어하는 단계 (d)를 포함하되, 상기 단계 (c)는, 상기 높이 맵의 높이 값을 이용하여 상기 높이 맵을 구성하는 화소들을 바닥 영역을 구성하는 바닥 화소들 및 비 바닥 영역을 구성하는 비 바닥 화소들로 구분하는 단계 (c1), 상기 비 바닥 화소들의 중 제1 비 바닥 화소들을 시작점으로 하는 경로들을 설정하는 단계 (c2) 및 상기 경로들의 수렴 여부를 이용하여 상기 사람의 머리가 존재하는지를 판단하는 단계 (c3)를 포함한다.
본 발명에 따르면, 특정 공간에 누어있는 사람의 머리를 효과적으로 인식하여 사용자의 로봇 사용의 불편함을 해소할 수 있다.
또한, 본 발명에 따르면, 사람의 머리와 형상이 유사한 물체를 사람의 머리와 구별함으로써 로봇의 동작을 효과적으로 제어할 수 있다.
또한, 본 발명의 효과는 상기한 효과로 한정되는 것은 아니며, 본 발명의 상세한 설명 또는 특허청구범위에 기재된 발명의 구성으로부터 추론 가능한 모든 효과를 포함하는 것으로 이해되어야 한다.
도 1은 종래 기술에 따른 로봇의 동작의 문제점을 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 로봇의 외관을 보여주는 도면이다.
도 3는 본 발명의 일 실시예에 따른 로봇의 주요 구성들 간의 제어관계를 도시한 블록도이다.
도 4는 본 발명의 일 실시예에 따른 높이 맵의 개념을 도시한 도면이다.
도 5 및 도 6은 본 발명의 일 실시예에 따른 로봇의 제어 방법의 흐름도를 도시한 도면이다.
이하, 도면을 참조하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다.
본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조 부호를 붙이도록 한다. 또한, 본 발명의 일부 실시예들을 예시적인 도면을 참조하여 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가질 수 있다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략할 수 있다.
본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질, 차례, 순서 또는 개수 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성 요소 사이에 다른 구성 요소가 "개재"되거나, 각 구성 요소가 다른 구성 요소를 통해 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
또한, 본 발명을 구현함에 있어서 설명의 편의를 위하여 구성요소를 세분화하여 설명할 수 있으나, 이들 구성요소가 하나의 장치 또는 모듈 내에 구현될 수도 있고, 혹은 하나의 구성요소가 다수의 장치 또는 모듈들에 나뉘어져서 구현될 수도 있다.
이하, 본 명세서에서 로봇은 특정한 기능을 수행하며, 특정 지역을 주행하는 장치를 통칭한다. 로봇이 수행하는 기능이란 청소, 방법, 안내, 맵 작성 등의 기능 및 보안기능 등과 같이 이동하는 장치가 제공할 수 있는 다양한 기능들을 포함한다. 특히, 설명의 편의를 위해, 본 명세서에 개시된 로봇은 청소를 수행하는 로봇, 즉 로봇 청소기로 가정하여 설명한다.
도 2는 본 발명의 일 실시예에 따른 로봇의 외관을 보여주는 도면이다.
도 2를 참조하면, 로봇(200)는 일정 영역을 스스로 주행하면서 바닥을 청소하는 기능을 수행한다. 여기서, '바닥의 청소'는, 바닥의 먼지(이물질을 포함함)를 흡입하는 동작 또는 바닥을 걸레질하는 동작이 포함한다. 이하, 설명의 편의를 위해, '바닥의 청소'는 바닥의 먼지를 흡입하는 동작을 가정하여 설명한다. 그러나, 본 발명이 이에 한정되는 것은 아니다.
로봇(200)는 본체부(210), 주행부(220), 흡입 유닛부(230) 및 뎁스 카메라(240)를 포함한다.
본체부(210)에는 아래에서 설명하는 바와 같이 로봇(200)의 이동 및 청소 동작의 제어를 위한 제어부(미도시)가 내장되어 있으며, 로봇(200)의 이동을 위한 주행부(220)가 구비된다. 주행부(220)에 의해 로봇(200)는 전후좌우로 이동되거나 회전될 수 있다.
흡입 유닛부(230)은 본체부(210)의 일측에서 돌출된 형태로 배치될 수 있으며, 먼지가 포함된 공기를 흡입한다. 일례로, 일측은 본체부(210)가 정방향일 수 있다.
뎁스 카메라(240)는 본체부(210)의 일측에 부착된다. 이 때, 뎁스 카메라(240)는 특정 공간의 바닥을 바라보도록 전면의 배치 각도가 설정될 수 있다. 일례로, 뎁스 카메라(240)는 적외선 신호를 방사하는 IR(Infra Red) 카메라일 수 있다.
한편, 도 2에 도시되지 않았지만, 로봇(200)는 센서부(미도시)를 더 포함할 수 있다.
도 3는 본 발명의 일 실시예에 따른 로봇(200)의 주요 구성들 간의 제어관계를 도시한 블록도이다.
도 3를 참조하면, 본 발명의 일 실시예에 따른 로봇(200)는 앞서 설명한 주행부(220), 흡입 유닛부(230), 뎁스 카메라(240) 및 센서부(250) 외에, 높이 맵 생성부(260), 판단부(270) 및 제어부(280)를 포함한다.
여기서, 높이 맵 생성부(260), 판단부(270) 및 제어부(280)는 프로세서 내에서 논리적으로 구분된 모듈일 수 있다. 한편, 본 명세서에서 개시된 모듈은 본 발명의 기술적 사상을 수행하기 위한 소프트웨어의 기능적, 구조적 결합을 의미할 수 있다.
이하, 각 구성 요소 별 기능을 보다 상세하게 설명한다.
뎁스 카메라(240)는 특정 영역에 대한 뎁스 이미지를 획득한다. 이 때, 뎁스 이미지는 그레이 스케일 이미지일 수 있다.
보다 상세하게, 뎁스 카메라(240)는 장면의 깊이, 즉 카메라와 물체까지의 거리를 측정하여 영상으로 출력하는 기기이다. 뎁스 카메라(240)는 Time-of-Flight(TOF) 기술을 사용하여 장면의 깊이 영상을 획득한다. TOF 기술이란 적외선 신호가 촬영하는 장면 내의 물체에 반사되어 돌아오는 시간을 계산하여 거리를 측정하는 방식이다. TOF 기술을 이용하여 획득한 장면의 깊이 정보는 양자화 과정을 통해 깊이 영상으로 표현된다. 즉, 촬영하는 장면의 공간을 0부터 255의 값을 가지도록 분할하고, 측정된 각 물체의 거리를 바탕으로 알맞은 깊이 값을 부여한다.
한편, 뎁스 카메라(240)는 앞서 언급한 바와 같이 특정 공간의 바닥을 바라보도록 전면이 배치되며, 따라서 바닥과 관련된 영역의 뎁스 이미지를 획득할 수 있다.
센서부(250)는 장애물을 감지하는 센서 등과 같은 복수의 센서를 포함한다. 일례로, 센서부는 가속도 센서, 자이로 센서, 라이더(lidar) 센서, 초음파 센서, RF 센서, 지자기 센서, PSD(Position Sensitive Device) 센서 중 적어도 하나를 포함할 수 있다.
높이 맵 생성부(260)는 뎁스 이미지에 기초하여 특정 영역에 대한 높이 맵(Elevation Map)을 생성한다.
높이 맵은 특정 영역에 대한 뎁스 이미지의 각각의 화소에 대한 높이 값이 저장되어 있는 맵이다. 높이 맵 각각의 화소 값은 뎁스 이미지의 각각의 화소에 대한 높이 값과 대응된다.
도 4에서는 높이 맵의 개념을 도시하고 있다. 뎁스 카메라(240)가 축구공에 대한 뎁스 이미지를 획득하는 경우, 도 4의 위쪽에 표시된 높이 맵이 생성될 수 있고, 뎁스 카메라(240)가 누워있는 사람의 머리에 한 뎁스 이미지를 획득하는 경우, 도 4의 아래쪽에 도시된 높이 맵이 생성될 수 있다.
일례로서, 높이 맵 각각의 화소는 일례로 0 내지 10의 값을 가질 수 있으며, 숫자가 높을수록 높이가 커진다. 그러나, 이는 본 발명의 일 실시예에 불과하며, 다양한 높이 값이 설정될 수 있다.
판단부(270)는 높이 맵에 기초하여 특정 영역에 누워있는 사람의 머리가 존재하는지 여부를 판단한다. 즉, 판단부(270)는 붙어있는 머리카락이 붙어있는 사람의 머리가 특정 영역에 존재하는지 여부를 판단한다. 판단부(270)에서 수행되는 판단 과정은 아래에서 보다 상세하게 설명하기로 한다.
제어부(280)는 로봇(200) 내의 각 구성 요소의 동작을 제어한다. 즉, 제어부(280)는 주행부(220)의 로봇 이동 동작을 제어하고, 흡입 유닛부(230)의 흡입 동작을 제어하고, 뎁스 카메라(240)의 뎁스 이미지 획득 동작을 제어할 수 있다.
이하, 도 5 내지 도 7을 참조하여, 로봇(200)의 동작을 보다 상세하게 설명한다
도 5는 본 발명의 일 실시예에 따른 로봇의 제어 방법의 흐름도를 도시한 도면이다.
이하, 각 단계 별로 수행되는 과정을 상세하게 설명한다.
뎁스 카메라(240)는 특정 영역에 대한 뎁스 이미지를 획득한다(S510). 즉, 로봇(200)는 뎁스 카메라(240)를 이용하여 로봇(200)의 전방 환경을 센싱한다. 이 때, 특정 영역은 공간의 바닥 영역을 포함하는 영역일 수 있다.
그 후, 높이 맵 생성부(260)는 뎁스 이미지에 기초하여 특정 영역에 대한 높이 맵을 생성한다(S520).
즉, 높이 맵 생성부(260)는 뎁스 이미지에서 획득된 거리값을 좌표 변환하여 전역 좌표값을 획득하고, 획득된 전역 좌표값들을 이용하여 각각의 화소에 높이 값이 저장된 높이 맵을 생성한다.
계속하여, 판단부(270)는 높이 맵에 기초하여 특정 영역에 누워있는 사람의 머리가 존재하는지 여부를 판단한다(S530). 이는 아래에서 보다 상세하게 설명한다.
마지막으로, 제어부(280)는 판단부(270)의 판단 결과에 기초하여 로봇(200)의 동작을 제어한다(S540).
일례로서, 사람의 머리가 존재하는 것으로 판단된 경우, 제어부(280)는 사람의 머리로부터 일정 거리만큼 떨어져서 회피하도록 주행하고, 흡입 강도를 감소시키도록 로봇(200)를 제어할 수 있다.
다른 일례로서, 사람의 머리가 아닌 다른 객체가 존재하는 것으로 판단된 경우, 제어부(280)는 객체를 회피하지 않고 주행하고, 흡입 강도를 유지하도록 로봇(200)를 제어할 수 있다.
한편, 흡입 유닛부(240)를 대신하여 걸레질을 수행하는 걸레질 수행부가 포함될 수 있으며, 누워있는 사람의 머리가 존재하는 것으로 판단된 경우, 제어부(280)는 걸레질의 동작 강도를 감소시키도록 걸레질 수행부의 동작을 제어할 수 있다. 상기의 구성을 일반화하면, 제어부(280)는 청소 수행부의 청소 기능을 위한 동작의 강도를 감소시키도록 청소 수행부의 동작을 제어할 수 있다.
이하, 도 6을 참조하여 상기한 단계(S530)의 내용을 보다 상세하게 설명한다.
도 6은 단계(S530)의 세부적인 단계의 흐름도를 도시한 도면이다.
먼저, 판단부(270)는 높이 맵의 높이 값을 이용하여, 높이 맵을 구성하는 화소들을, 바닥 영역을 구성하는 바닥 화소들 및 비 바닥 영역을 구성하는 비 바닥 화소들로 구분한다(S531). 다양한 알고리즘이 바닥 화소들 및 비 바닥 화소를 구분하는데 사용될 수 있다.
일례로서, 도 4를 참조하면, 판단부(270)는, 높이 맵 내의 화소들 중 높이 값이 0인 화소들을 바닥 화소들로 설정하고, 높이 맵 내의 화소들 중 높이 값이 1 이상의 값을 가지는 화소들을 비 바닥 화소들로 설정할 수 있다.
다음으로, 판단부(270)는 비 바닥 화소들의 중 제1 비 바닥 화소들을 선정한다(S532). 여기서, 제1 비 바닥 화소들은 아래에서 설명하는 경로들의 시작점과 대응되는 화소들이다.
본 발명의 일 실시예에 따르면, 판단부(270)는 비 바닥 화소들의 중 높이 맵 상의 최외각에 위치한 최외각 비 바닥 화소들을 추출하고, 최외각 비 바닥 화소들의 랜덤 선택을 통해 제1 비 바닥 화소들을 선정한다. 이 때, 최외각 비 바닥 화소들은 바닥 화소들과 이어지는 비 바닥 화소와 대응된다.
일례로서, 도 4를 참조하면, 점선 영역이 비 바닥 화소이고, 점선 부분의 최외각 화소들이 최외각 비 바닥 화소이다.
이 후, 판단부(270)는 선정된 제1 비 바닥 화소들을 시작점으로 하는 경로들을 설정한다(S533). 이 때, 경로들 각각은 복수의 화소를 포함한다.
본 발명의 일 실시예에 따르면, 판단부(270)는 제1 비 바닥 화소들 각각을 기준으로 높이 값 경사를 산출하고, 최대의 높이 값 경사를 갖는 방향으로 각각의 경로들을 설정할 수 있다.
즉, 사람의 머리는 구 형태를 가지고 있으며, 누워있는 사람의 머리의 중앙 부분의 높이 값은 누워있는 사람의 머리의 외각 부분의 높이 값보다 더 큰 값을 가진다. 본 발명의 단계(530)는 누워있는 구 형태의 머리가 존재하는지 여부를 판단하는 단계이고, 단계(S533)는 누워있는 객체가 구 형태인지 여부를 판단하기 위한 사전 단계이므로, 판단부(530)는 제1 비 바닥 화소들(즉, 외곽 부분) 각각을 시작점으로 하여 최대의 높이 값 경사를 갖는 방향으로 경로들을 설정한다.
그리고, 판단부(270)는 경로들이 최종 지점(화소)에서 수렴하는지 여부를 판단한다(S534).
이 때, 경로들이 수렴하지 않는 경우, 판단부(270)는 사람의 머리가 존재하지 않는 것으로 판단한다(S535).
그리고, 경로들이 수렴하는 경우, 판단부(270)는 경로들이 수렴하는 화소들과 대응되는 뎁스 이미지의 화소들에서의 원 또는 타원 형태의 곡선이 검출되는지 여부를 판단한다(S536). 즉, 단계(S536)는 사람의 머리 또는 사람의 머리와 유사한 물체가 특정 영역에 존재하는지 여부를 확정하는 단계이다.
이 때, 원 또는 타원 형태의 곡선이 검출되지 않는 경우, 판단부(270)는 사람의 머리가 존재하지 않는 것으로 판단한다(S535).
그리고, 원 또는 타원 형태의 곡선이 검출되는 경우, 판단부(270)는 경로들에 포함된 화소들의 명도의 평균값이 제1 임계값 이상인지 여부를 판단한다(S537).
이 때, 제1 임계값은 뎁스 이미지인 IR 이미지에 내의 모든 화소들의 명도 값의 평균값과 대응될 수 있다.
만약, 경로들에 포함된 화소들의 명도의 평균값이 제1 임계값 미만인 경우, 판단부(270)는 사람의 머리와 유사한 물체(일례로, 축구공)이 특정 영역에 존재하는 것으로 판단하며, 따라서 사람의 머리가 존재하지 않는 것으로 판단한다(S535). 반대로, 경로들에 포함된 화소들의 명도의 평균값이 제1 임계값 이상인 경우, 판단부(270)는 사람의 머리가 존재하는 것으로 판단한다(S537).
즉, 경로들이 최종 지점에 수렴하는 경우 특정 영역에 물체가 존재하는 것으로 추정되며, 단계(S537)는 특정 영역에 존재하는 물체가, 사람이 머리인지 아니면 사람의 머리와 유사한 물체인지를 판단하는 과정이다.
이 때, 뎁스 카메라(240)는 IR 카메라로 구성되는데, 사람의 머리에 적외선 신호가 방사되는 경우, 머리카락에서 적외선 신호가 난반사된다. 따라서, 뎁스 이미지 내의 머리카락과 대응되는 복수의 화소들은 높은 명도값을 가진다.
단계(S537)는 상기에서 설명한 내용에 기반한 것으로서, 경로들에 포함된 화소들의 명도의 평균값이 낮은 경우(즉, 제1 임계값 미만인 경우), 판단부(270)는 특정 영역에 존재하는 물체를 사람의 머리와 유사한 물체로 판단하고, 경로들에 포함된 화소들의 명도의 평균값이 높은 경우(즉, 제1 임계값 이상인 경우), 판단부(270)는 특정 영역에 존재하는 물체를 사람의 머리로 판단한다.
계속하여, 판단부(270)는 사람의 머리가 존재하는 것으로 판단된 경우, 제2 임계값을 이용하여 사람의 머리의 종류(스타일)를 판단한다(S539).
보다 상세하게, 바닥 화소의 높이 값과 최외각 비 바닥 화소들의 높이 값의 차이가 제2 임계값 이상인 경우, 판단부(270)는 사람의 머리를 단발 머리로 판단한다. 그리고, 바닥 화소의 높이 값과 최외각 비 바닥 화소들의 높이 값의 차이가 제2 임계값 미만인 경우, 판단부(270)는 사람의 머리를 장발 머리로 판단한다.
이 때, 제2 임계값은 장발 머리와 단발 머리를 구별하기 위한 기준 높이값으로 정의되며, 이는 실험적으로 결정될 수 있다. 즉, 제2 임계값은 실험을 토대로 얻은 장발 머리/단발 머리 각각의 평균값에 대한 중간값으로 정의될 수 있다.
예를 들어, 실험을 통해 획득한 장발 머리의 최외각 비 바닥 화소들의 높이 값의 평균값이 1.6이고, 실험을 통해 획득한 단발 머리의 최외각 비 바닥 화소들의 높이 값의 평균값이 8.4인 경우 제2 임계값은 5일 수 있다.
한편, 앞서 언급한 바와 같이 사람의 머리의 종류(스타일)를 판단에 따라 주행부(220) 및 흡입 유닛부(230)의 동작이 상이해질 수 있다.
일례로, 특정 영역에 누워있는 사람의 머리의 스타일이 장발 머리인 경우, 제어부(280)는 최외각 비 바닥 화소로부터 제1 임계 거리 이내로 접근하지 않도록 회피하도록 로봇(200)을 제어하고, 특정 영역에 누워있는 사람의 머리의 스타일이 단발 머리인 경우 제어부(280)는 최외각 비 바닥 화소로부터 제2 임계 거리 이내로 접근하지 않도록 회피하도록 로봇(200)을 제어할 수 있다. 이 때, 제1 임계 거리는 제2 임계 거리보다 큰 값이다.
정리하면, 판단부(270)는 경로들의 수렴 여부를 이용하여 특정 지역에 사람이 머리가 존재하는지를 판단하며, 바람직하게는 경로들의 수렴 여부와 함께 경로들에 포함된 화소들의 명도에 관련된 값을 이용하여 사람의 머리가 존재하는지를 판단한다. 이에 따라, 본 발명은 특정 영역에 존재하는 물체가 사람의 머리인지 또는 사람의 머리와 유사한 영상의 물체인지를 구별할 수 있다.
본 발명에 따른 로봇(200)는 상기의 내용을 통해 특정 공간에 누어있는 사람의 머리를 효과적으로 인식하며, 특히 사람의 머리와 형상이 유사한 물체를 사람의 머리와 구별함으로써 로봇의 동작을 효과적으로 제어할 수 있다. 특히, 로봇(200)이 청소 로봇인 경우 머리카락이 청소 로봇에 흡입되는 상황을 방지하여 사용자의 로봇(200) 사용의 편의성을 보장할 수 있다.
또한, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합되거나 결합되어 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니며, 본 발명의 목적 범위 내에서 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 반도체 기록소자를 포함하는 저장매체를 포함한다. 또한 본 발명의 실시예를 구현하는 컴퓨터 프로그램은 외부의 장치를 통하여 실시간으로 전송되는 프로그램 모듈을 포함한다.
이상에서는 본 발명의 실시예를 중심으로 설명하였지만, 통상의 기술자의 수준에서 다양한 변경이나 변형을 가할 수 있다. 따라서, 이러한 변경과 변형이 본 발명의 범위를 벗어나지 않는 한 본 발명의 범주 내에 포함되는 것으로 이해할 수 있을 것이다.
200: 로봇 210: 본체부
220: 주행부 230: 흡입 유닛부
240: 뎁스 카메라 250: 센서부
260: 높이 맵 생성부 270: 판단부
280: 제어부

Claims (18)

  1. 특정 영역에 대한 뎁스(depth) 이미지를 획득하는 뎁스 이미지 획득부;
    상기 뎁스 이미지에 기초하여 상기 특정 영역에 대한 높이 맵을 생성하는 높이 맵 생성부; 및
    상기 높이 맵에 기초하여 상기 특정 영역에 누워있는 사람의 머리가 존재하는지 여부를 판단하는 판단부;를 포함하되,
    상기 판단부는, 상기 높이 맵의 높이 값을 이용하여 상기 높이 맵을 구성하는 화소들을 바닥 영역을 구성하는 바닥 화소들 및 비 바닥 영역을 구성하는 비 바닥 화소들로 구분하고, 상기 비 바닥 화소들의 중 제1 비 바닥 화소들을 시작점으로 하는 경로들을 설정하며, 상기 경로들의 수렴 여부를 이용하여 상기 사람의 머리가 존재하는지를 판단하는, 로봇.
  2. 제1항에 있어서,
    상기 로봇을 이동시키는 주행부;
    청소 기능을 위한 동작을 수행하는 청소 수행부; 및
    상기 주행부 및 상기 청소 수행부를 제어하는 제어부;를 더 포함하되,
    상기 제어부는 상기 사람의 머리가 존재하는 것으로 판단되는 경우, 상기 사람의 머리를 회피하고, 상기 청소 기능을 위한 동작의 강도를 감소시키도록 상기 주행부 및 상기 청소 수행부를 제어하는, 로봇.
  3. 제1항에 있어서,
    상기 판단부는, 상기 제1 비 바닥 화소들 각각을 기준으로 높이 값 경사를 산출하고, 상기 높이 값 경사가 최대인 방향으로 각각의 상기 경로들을 설정하는, 로봇.
  4. 제1항에 있어서,
    상기 판단부는, 상기 비 바닥 화소들 중 상기 높이 맵 상의 최외각에 위치한 최외각 비 바닥 화소들을 추출하고, 상기 최외각 비 바닥 화소들의 랜덤 선택을 통해 상기 제1 비 바닥 화소들을 선정하는, 로봇.
  5. 제4항에 있어서,
    상기 판단부는, 상기 경로들이 상기 높이 맵 내의 최대 높이는 가지는 화소에 수렴하는 경우 상기 사람의 머리가 존재하는 것으로 판단하는, 로봇.
  6. 제5항에 있어서,
    상기 판단부는, 상기 수렴하는 화소와 대응되는 상기 뎁스 이미지의 화소에서의 원 또는 타원 형태의 곡선이 검출되는지 여부를 더 이용하여 상기 사람의 머리가 존재하는지 여부를 판단하는, 로봇.
  7. 제5항에 있어서,
    상기 판단부는, 상기 뎁스 이미지 상의 상기 경로들에 포함된 화소들의 명도에 관련된 값을 더 이용하여 상기 사람의 머리가 존재하는지를 판단하는, 로봇.
  8. 제7항에 있어서,
    상기 판단부는, 상기 수렴하는 경로들에 포함된 화소들의 명도의 평균값이 제1 임계값 이상인 경우, 상기 사람이 머리가 존재하는 것으로 판단하는, 로봇.
  9. 제8항에 있어서,
    상기 제1 임계값은 상기 뎁스 이미지 내의 화소들의 명도 값의 평균값과 대응되는, 로봇.
  10. 제5항에 있어서,
    상기 판단부는, 상기 사람의 머리가 존재하는 것으로 판단된 경우, 상기 사람의 머리의 종류를 판단하되,
    상기 바닥 화소의 높이 값과 상기 최외각 비 바닥 화소들의 높이 값의 차이가 제2 임계값 이상인 경우 상기 사람의 머리를 단발 머리로 판단하고,
    상기 바닥 화소의 높이 값과 상기 최외각 비 바닥 화소들의 높이 값의 차이가 제2 임계값 미만인 경우 상기 사람의 머리를 장발 머리로 판단하는, 로봇.
  11. 제10항에 있어서,
    상기 제2 임계값은 장발 머리 및 단발 머리 각각의 평균값에 대한 중간값과 대응되는, 로봇.
  12. 특정 영역에 대한 뎁스 이미지를 획득하는 뎁스 이미지 획득부;
    상기 뎁스 이미지에 기초하여 상기 특정 영역에 대한 높이 맵을 생성하는 높이 맵 생성부; 및
    상기 높이 맵에 기초하여 상기 특정 영역에 누워있는 사람의 머리가 존재하는지 여부를 판단하는 판단부;를 포함하되,
    상기 판단부는, 상기 높이 맵의 높이 값을 이용하여 상기 높이 맵을 구성하는 화소들을 바닥 영역을 구성하는 바닥 화소들 및 비 바닥 영역을 구성하는 비 바닥 화소들로 구분하고, 상기 비 바닥 화소들의 중 제1 비 바닥 화소들을 시작점으로 하는 경로들을 설정하며, 상기 경로들의 수렴 여부, 상기 경로들의 수렴 시 수렴하는 화소와 대응되는 상기 뎁스 이미지의 화소에서의 원 또는 타원 형태의 곡선이 검출되는지 여부 및 상기 뎁스 이미지 상의 상기 경로들에 포함된 화소들의 명도에 관련된 값을 이용하여 상기 사람의 머리가 존재하는지를 판단하는, 로봇.
  13. 뎁스 카메라가 특정 영역에 대한 뎁스 이미지를 획득하는 단계 (a);
    높이 맵 생성부가 상기 뎁스 이미지에 기초하여 상기 특정 영역에 대한 높이 맵을 생성하는 단계 (b);
    판단부가 상기 높이 맵에 기초하여 상기 특정 영역에 누워있는 사람의 머리가 존재하는지 여부를 판단하는 단계 (c); 및
    제어부가 상기 판단 결과에 기초하여 로봇의 동작을 제어하는 단계 (d);를 포함하되,
    상기 단계 (c)는,
    상기 높이 맵의 높이 값을 이용하여 상기 높이 맵을 구성하는 화소들을 바닥 영역을 구성하는 바닥 화소들 및 비 바닥 영역을 구성하는 비 바닥 화소들로 구분하는 단계 (c1);
    상기 비 바닥 화소들의 중 제1 비 바닥 화소들을 시작점으로 하는 경로들을 설정하는 단계 (c2); 및
    상기 경로들의 수렴 여부를 이용하여 상기 사람의 머리가 존재하는지를 판단하는 단계 (c3);를 포함하는, 로봇의 제어 방법.
  14. 제13항에 있어서,
    상기 단계 (c2)는, 상기 판단부는, 상기 제1 비 바닥 화소들 각각을 기준으로 높이 값 경사를 산출하고, 상기 높이 값 경사가 최대인 방향으로 각각의 상기 경로들을 설정하는, 로봇의 제어 방법.
  15. 제13항에 있어서,
    상기 단계(c2)는, 상기 비 바닥 화소들 중 상기 높이 맵 상의 최외각에 위치한 최외각 비 바닥 화소들을 추출하고, 상기 최외각 비 바닥 화소들의 랜덤 선택을 통해 상기 제1 비 바닥 화소들을 선정하는, 로봇의 제어 방법.
  16. 제13항에 있어서,
    상기 단계(c3)는, 상기 경로들이 상기 높이 맵 내의 최대 높이는 가지는 화소에 수렴하고, 상기 수렴하는 화소와 대응되는 상기 뎁스 이미지의 화소에서의 원 또는 타원 형태의 곡선이 검출되는 경우, 상기 사람의 머리가 존재하는 것으로 판단하는, 로봇의 제어 방법.
  17. 제16항에 있어서,
    상기 단계(c3)는, 상기 뎁스 이미지 상의 상기 경로들에 포함된 화소들의 명도에 관련된 값을 더 이용하여 상기 사람의 머리가 존재하는지를 판단하되, 상기 수렴하는 경로들에 포함된 화소들의 명도의 평균값이 제1 임계값 이상인 경우, 상기 사람이 머리가 존재하는 것으로 판단하는, 로봇의 제어 방법.
  18. 제13항에 있어서,
    상기 로봇은 이동하면서 청소 기능을 수행하는 청소 로봇이고,
    상기 단계 (d)는, 상기 사람의 머리가 존재하는 것으로 판단되는 경우, 상기 사람의 머리를 회피하고, 상기 청소 기능을 위한 동작의 강도를 감소시키도록 상기 로봇을 제어하는, 로봇의 제어 방법.

KR1020190090803A 2019-07-26 2019-07-26 사람의 머리를 회피하여 이동하는 로봇 및 이의 동작 제어 방법 KR20210012677A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190090803A KR20210012677A (ko) 2019-07-26 2019-07-26 사람의 머리를 회피하여 이동하는 로봇 및 이의 동작 제어 방법
US16/550,804 US11226629B2 (en) 2019-07-26 2019-08-26 Robot for detecting human head and control method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190090803A KR20210012677A (ko) 2019-07-26 2019-07-26 사람의 머리를 회피하여 이동하는 로봇 및 이의 동작 제어 방법

Publications (1)

Publication Number Publication Date
KR20210012677A true KR20210012677A (ko) 2021-02-03

Family

ID=68764857

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190090803A KR20210012677A (ko) 2019-07-26 2019-07-26 사람의 머리를 회피하여 이동하는 로봇 및 이의 동작 제어 방법

Country Status (2)

Country Link
US (1) US11226629B2 (ko)
KR (1) KR20210012677A (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210012677A (ko) * 2019-07-26 2021-02-03 엘지전자 주식회사 사람의 머리를 회피하여 이동하는 로봇 및 이의 동작 제어 방법
KR20210099787A (ko) * 2020-02-05 2021-08-13 삼성전자주식회사 안전 서비스를 제공하는 전자 장치 및 그 방법
US11116374B2 (en) 2020-02-10 2021-09-14 Matician, Inc. Self-actuated cleaning head for an autonomous vacuum
KR20220039101A (ko) * 2020-09-21 2022-03-29 삼성전자주식회사 로봇 및 그의 제어 방법
KR20220072146A (ko) * 2020-11-25 2022-06-02 삼성전자주식회사 전자 장치 및 그 제어 방법
CN112605999B (zh) * 2020-12-22 2022-01-18 杭州北冥星眸科技有限公司 基于红外线深度摄像头技术的机器人障碍检测方法及系统

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8019121B2 (en) * 2002-07-27 2011-09-13 Sony Computer Entertainment Inc. Method and system for processing intensity from input devices for interfacing with a computer program
US7627139B2 (en) * 2002-07-27 2009-12-01 Sony Computer Entertainment Inc. Computer image and audio processing of intensity and input devices for interfacing with a computer program
US9224060B1 (en) * 2013-09-17 2015-12-29 Amazon Technologies, Inc. Object tracking using depth information
US11347054B2 (en) * 2017-02-16 2022-05-31 Magic Leap, Inc. Systems and methods for augmented reality
JP7519742B2 (ja) * 2018-07-23 2024-07-22 マジック リープ， インコーポレイテッド 位置ベクトルを使用して半球曖昧性を解決するための方法およびシステム
KR20210012677A (ko) * 2019-07-26 2021-02-03 엘지전자 주식회사 사람의 머리를 회피하여 이동하는 로봇 및 이의 동작 제어 방법
US11017595B2 (en) * 2019-10-29 2021-05-25 Microsoft Technology Licensing, Llc Object segmentation using high-level structural meshes

Also Published As

Publication number Publication date
US20190377355A1 (en) 2019-12-12
US11226629B2 (en) 2022-01-18

Similar Documents

Publication Publication Date Title
KR20210012677A (ko) 사람의 머리를 회피하여 이동하는 로봇 및 이의 동작 제어 방법
JP5946147B2 (ja) 可動式ヒューマンインターフェースロボット
US11687092B2 (en) Techniques for bounding cleaning operations of a robotic surface cleaning device within a region of interest
EP2677386B1 (en) Robot cleaner and obstacle detection control method of the same
US11076734B2 (en) Robot cleaner and control method thereof using artificial intelligence
US9278690B2 (en) Autonomous mobile robot
US12064080B2 (en) Cleaning robot and control method thereof
WO2019126332A1 (en) Intelligent cleaning robot
WO2019007038A1 (zh) 扫地机器人、扫地机器人系统及其工作方法
KR101985188B1 (ko) 이동 로봇 및 이동 로봇의 주행방법
US11297992B2 (en) Robot cleaner and method for controlling the same
KR20180131909A (ko) 이동 로봇 및 그 제어방법
KR102369661B1 (ko) 이동 로봇 및 복수의 이동 로봇의 제어방법
CN113413091B (zh) 清洁机器人及其避障方法
KR102424536B1 (ko) 이동 로봇 및 이동 로봇의 제어방법
US20220125255A1 (en) Mobile robot and method of controlling mobile robot
US11915475B2 (en) Moving robot and traveling method thereof in corner areas
US11986137B2 (en) Mobile robot
KR20210122921A (ko) 로봇 청소기 및 그 제어 방법
WO2020017239A1 (ja) 自走式掃除機及び自走式掃除機の制御方法
KR102500525B1 (ko) 이동 로봇
KR20220121483A (ko) 지능적 맵 생성 방법 및 그 이동 로봇
CN215838742U (zh) 清洁机器人
TWI824503B (zh) 自移動設備及其控制方法
JP4698540B2 (ja) 目標物判別システム、目標物判別方法および目標物判別制御プログラム

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right