KR102203434B1

KR102203434B1 - 로봇 청소기 및 로봇 청소기의 제어방법

Info

Publication number: KR102203434B1
Application number: KR1020160049075A
Authority: KR
Inventors: 노동기; 임승욱; 이태경; 심인보
Original assignee: 엘지전자 주식회사
Priority date: 2016-04-22
Filing date: 2016-04-22
Publication date: 2021-01-14
Also published as: KR20160048750A

Abstract

본 발명의 로봇 청소기의 제어방법은 청소구역을 주행하는 중에 주변의 영상들을 획득하는 (a)단계; 상기 (a)단계에서 획득된 영상들을 바탕으로, 방별로 정해진 규칙에 따라 각 방별 특징분포들을 구하는 (b)단계; 현재 위치에서 주변의 영상을 획득하는 (c)단계; 상기 (c)단계에서 구해진 영상에 대해, 상기 (b)단계에서 적용된 상기 방별로 규칙들을 적용하여 특징분포들로 구성된 비교군을 구하는 (d)단계; 및 상기 (d)단계에서 구한 비교군과, 상기 (b)단계에서 구한 각 방별 특징분포들을 비교하여, 로봇 청소기가 현재 위치하는 방을 결정하는 (e)단계를 포함한다.

Description

로봇 청소기 및 로봇 청소기의 제어방법{A ROBOT CLEANER AND CONTROL METHOD THEREOF}

본 발명은 로봇 청소기 및 로봇 청소기의 제어방법에 관한 것이다.

로봇은 산업용으로 개발되어 공장 자동화의 일 부분을 담당하여 왔다. 최근에는 로봇을 응용한 분야가 더욱 확대되어, 의료용 로봇, 우주 항공 로봇 등이 개발되고, 일반 가정에서 사용할 수 있는 가정용 로봇도 만들어지고 있다. 이러한 로봇 중에서 자력으로 주행이 가능한 것을 이동 로봇이라고 한다.

가정에서 사용되는 이동 로봇의 대표적인 예는 로봇 청소기로써, 청소하고자 하는 구역을 주행하면서 먼지 또는 이물질을 흡입하여 청소하는 가전기기의 일종이다. 로봇 청소기는 충전 가능한 배터리를 구비하여 스스로 주행이 가능하며, 배터리의 잔량이 부족한 경우나 청소가 완료된 이후에는, 충전대를 찾아 스스로 이동하여 배터리를 충전한다.

종래, 로봇 청소기는 적외선 센서를 통해 충전대로부터 송출된 적외선(IR: InfraRed)신호를 감지하여 충전대를 탐색하였다. 더 나아가, 로봇 청소기가 주행중에 탐색된 주변 정보를 바탕으로, 스스로 청소구역의 지도를 생성하는 다양한 방법이 이미 알려져 있는데, 이렇게 생성된 지도는 충전대의 위치에 대한 정보를 담고 있다.

그런데, 충전이 필요한 경우에 있어서, 로봇 청소기가 충전대로 정확하게 복귀할 수 있기 위해서는, 로봇 청소기 스스로가 지도 상에서 자신의 위치가 어디인지를 정확하게 파악하고 있어야 함이 전제가 되어야한다. 따라서, 외부적인 요인에 의해 주행 중인 로봇 청소기의 위치가 강제로 변경된 경우(예를들어, 사용자가 주행 중인 로봇 청소기를 다른 방으로 옮겨버린 경우), 로봇 청소기는 현재 생성 중인 지도 또는 기 생성된 지도 상에서 자신이 어느 위치에 있는지를 파악할 수 없게 되고, 그 결과 충전대로의 복귀가 불가능한 사정에 이르게 된다. 이 경우, 로봇 청소기는 현 위치에서 충전대로부터 송출된 적외선 신호를 다시 탐색하게 되나, 이렇게 자신의 위치를 모르는 상태에서 실시되는 충전대 탐색은 우연히 신호를 감지하는 경우가 있을지는 몰라도, 대부분의 경우는 신호를 찾아 배회하다 배터리가 방전되는 불상사에 이르게 된다. 이러한 문제는 로봇 청소기가 이동된 위치에서 그 주변의 지도를 다시 생성하는 경우에도 마찬가이다. 청소구역 내 전체 지도 상에서 자신의 위치를 파악하지 못하는 이상, 충전대로의 복귀는, 변동된 위치에서 충전대로부터 송출된 신호가 탐지될 수 있느냐의 문제를 수반하는 것으로 여전히 시행착오에 의존하기 때문이다. 따라서, 로봇 청소기가 스스로 전체 지도 상에서 현위치를 파악할 수 있는 전역위치인식(Global Localization)방법을 강구할 필요가 있다.

한편, 이상에서 설명한 충전대로의 복기 실패 문제는, 전역위치인식 기능이 탑재되지 않은 로봇 청소기로부터 발생될 수 있는 여러 문제들 중 한가지를 예로 든것으로, 그 밖에도 다양한 문제들이 발생될 수 있다. 예를들어, 최근에는 무선 네트워크를 통해 로봇 청소기와 통신하는 단말기(예를들어, 리모콘, 스마트 폰 등)를 이용하여 청소범위를 설정하는 기술이 활성화되고 있는 추세인데, 이 경우에도 상기 단말기를 통한 청소범위의 설정은 전역위치인식이 기반이 되어야 정확하게 이루어질 수 있을 것이다.

본 발명이 해결하고자 하는 과제는 첫째, 전역위치인식을 기반으로 주행을 하는 로봇 청소기와 이의 제어방법을 제공하는 것이다.

둘째, 충전대로의 복귀 동작을 정확하게 수행하는 로봇 청소기 및 로봇 청소기의 제어방법을 제공하는 것이다.

셋째, 주행 중에 사용자에 의해 임으로 다른 위치로 이동되더라도, 자신의 위치를 신속하게 인식할 수 있는 로봇 청소기 및 로봇 청소기의 제어방법을 제공하는 것이다.

넷째, 지도 상에서의 자신의 위치를 잃은 상황에서도 현재 위치에서 구해진 영상을 바탕으로 현재의 위치를 신속하게 재인식할 수 있는 로봇 청소기 및 로봇 청소기의 제어방법을 제공하는 것이다.

다른 측면으로, 본 발명의 로봇 청소기의 제어방법은 청소구역 내를 이동하며 주변의 영상들을 획득하고; 각 방별로 정해진 규칙에 따라, i) 방별로 획득된 영상들에서 특징을 검출하고, ii) 검출된 특징들에 대한 라벨을 생성하고, iii) 각각의 라벨들에 점수를 부여하고, iv) 각 방별로 라벨별 점수분포를 구하여 저장하고; 상기 각 방별로 라벨별 점수분포가 저장된 이후에, 주변의 영상을 획득하고, 획득된 영상에 대해, 상기 i), ii), iii) 및 iv)에서 적용된 방별로 정해진 규칙에 따라 특징들에 대한 라벨을 생성하고, 생성된 라벨들에 점수를 부여하여, 각 방별로 정해진 규칙에 따른 라벨별 점수분포들로 구성된 비교군을 구하고, 상기 비교군과 상기 iv)단계에서 각 방별로 구한 라벨별 점수분포를 바탕으로, 로봇 청소기가 현재 위치하는 방을 결정하는 것을 포함한다.

본 발명의 로봇 청소기는 주변의 영상들을 획득하는 영상획득부; 상기 영상획득부를 통해 획득된 영상들을 바탕으로, 방별로 정해진 규칙에 따라 각 방별 특징분포들을 구하는 특징분포학습모듈; 및 로봇 청소기의 현재 위치에서 상기 영상획득부를 통해 획득된 영상에 대해 상기 방별로 적용된 규칙들을 적용하여 특징분포들로 구성된 비교군을 구하고, 상기 비교군과 상기 특징분포학습모듈을 통해 구해진 방별 특징분포들을 비교하여 로봇 청소기가 현재 위치하는 방을 결정하는 위치인식모듈을 포함한다.

본 발명의 로봇 청소기 및 로봇 청소기의 제어방법은 첫째, 전역위치인식을 기반으로 자신의 위치를 정확하게 파악할 수 있는 효과가 있다.

둘째, 충전대로의 복귀 동작을 정확하게 수행할 수 있는 효과가 있다.

셋째, 주행 중에 사용자에 의해 임으로 다른 위치로 이동되더라도, 이동된 위치에서 자신의 위치를 다시 인식할 수 있어, 종래 자신의 위치를 파악하지 못하고 배회하던 현상을 방지할 수 있다.

넷째, 지도 상에서의 자신의 위치를 잃은 상황에서도 현재 위치에서 구해진 영상을 바탕으로 현재의 위치를 신속하게 재인식할 수 있는 효과가 있다.

다섯째, 로봇 청소기가 현재 자신의 위치에서 획득된 영상을 특징분포 학습과정에서 구해진 모든 영상들의 특징들과 비교하지 않고, 각 방별로 구해진 영상들에서 구해진 특징분포를 취합한 각 방별 특징분포와 비교하여 현재 청소기가 위치하는 방을 식별하기 때문에, 특징 매칭에 필요한 데이터량과 소요되는 시간을 줄일 수 있는 효과가 있다.

도 1은 본 발명의 일 실시예에 따른 로봇 청소기와, 로봇 청소기를 충전시키는 충전대를 도시한 사시도이다.
도 2는 도 1에 도시된 로봇 청소기의 상면부를 도시한 것이다.
도 3은 도 1에 도시된 로봇 청소기를 정면부를 도시한 것이다.
도 4는 도 1에 도시된 로봇 청소기의 저면부를 도시한 것이다.
도 5는 로봇 청소기를 구성하는 주요부들 간의 제어관계를 도시한 블록도이다.
도 6은 청소구역 내의 어떤 방에서 촬영된 영상이다.
도 7은 특징분포학습모듈에 의해 지도가 학습되는 과정을 도시한 개요도이다.
도 8은 특징 검출을 위해 SIFT(Scale Invariant Feature Transform) 기법을 이용하여 특징벡터들을 추출한 것을 보이는 도면이다.
도 9는 청소구역 내에 N개의 방이 존재하는 경우에, 획득영상들을 방별로 분류한 것을 보여주고 있다.
도 10은 방별로 분류된 영상들에서 검출된 특징들에 부여된 라벨들을 획득영상에 표시한 것이다.
도 11은 N개의 방 모두에서 획득된 영상들로부터 각각 구해진 영상별 히스토그램들로부터 각 방별 특징분포를 구하는 과정을 도시한 것이다.
도 12는 위치인식모듈에 의해 로봇 청소기의 위치를 인식하는 과정을 도시한 개요도이다.
도 13은 로봇 청소기의 현재의 위치에서 획득한 영상에 대해 병별로 정해진 규칙(특징분포 학습과정에서 적용된 규칙)을 적용하여 라벨을 생성하고, 라벨에 점수를 부여하여 N개의 비교 히스토그램을 생성하는 것을 보여준다.
도 14는 N개의 방별 히스토그램(방(1) 히스토그램 내지 방(N) 히스토그램)과 N개의 비교 히스토그램(비교 히스토그램(1) 내지 비교 히스토그램(N))을 매칭하는 것을 보여준다.
도 15는 현재의 위치에서 획득된 영상으로부터 구해진 비교 히스토그램(K)와 특징분포학습과정에서 방(K) 내에서 획득된 영상들로부터 구해진 히스토그램을 비교하는 것을 보여준다.

본발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본발명의 개시가 완전하도록 하고, 본발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

도 1은 본 발명의 일 실시예에 따른 로봇 청소기(100)와, 로봇 청소기를 충전시키는 충전대(200)를 도시한 사시도이다. 도 2는 도 1에 도시된 로봇 청소기의 상면부를 도시한 것이다. 도 3은 도 1에 도시된 로봇 청소기를 정면부를 도시한 것이다. 도 4는 도 1에 도시된 로봇 청소기의 저면부를 도시한 것이다. 도 5는 로봇 청소기를 구성하는 주요부들 간의 제어관계를 도시한 블록도이다.

도 1 내지 도 4를 참조하면, 로봇 청소기(100)는 본체(110)와, 본체(110) 주변의 영상을 획득하는 영상획득부(120)를 포함할 수 있다. 이하, 본체(110)의 각부분을 정의함에 있어서, 청소구역 내의 천장을 향하는 부분을 상면부(도 2 참조.)로 정의하고, 청소구역 내의 바닥을 향하는 부분을 저면부(도 4 참조.)로 정의하고, 상기 상면부와 저면부 사이에서 본체(110)의 둘레를 이루는 부분 중 주행방향을 향하는 부분을 전면부(도 3 참조.)라고 정의한다.

본체(110)를 이동시키는 적어도 하나의 구동 바퀴(136)가 구비되며, 구동 바퀴(136)는 구동 모터(139)에 의해 구동된다. 구동 바퀴(136)는 본체(110)의 좌, 우 측에 각각 구비될 수 있으며, 이하, 각각 좌륜(136(L))과 우륜(136(R))이라고 한다.

좌륜(136(L))과 우륜(136(R))은 하나의 구동 모터에 의해 구동될 수도 있으나, 필요에 따라 좌륜(136(L))을 구동시키는 좌륜 구동 모터와 우륜(136(R))을 구동시키는 우륜 구동 모터가 각각 구비될 수도 있다. 좌륜(136(L))과 우륜(136(R))의 회전 속도에 차이를 두어 좌측 또는 우측으로 본체(110)의 주행방향을 전환할 수 있다.

본체(110)의 저면부에는 공기의 흡입이 이루어지는 흡입구(110h)가 형성될 수 있으며, 본체(110) 내에는 흡입구(110h)를 통해 공기가 흡입될 수 있도록 흡입력을 제공하는 흡입장치(미도시)와, 흡입구(110h)를 통해 공기와 함께 흡입된 먼지를 집진하는 먼지통(미도시)이 구비될 수 있다.

본체(110)는 로봇 청소기(100)를 구성하는 각종 부품들이 수용되는 공간을 형성하는 케이스(111)를 포함할 수 있다. 케이스(111)에는 상기 먼지통의 삽입과 탈거를 위한 개구부가 형성될 수 있고, 상기 개구부를 여닫는 먼지통 커버(112)가 케이스(111)에 대해 회전 가능하게 구비될 수 있다.

흡입구(110h)를 통해 노출되는 솔들을 갖는 롤형의 메인 브러시(134)와, 본체(110)의 저면부 전방측에 위치하며, 방사상으로 연장된 다수개의 날개로 이루어진 솔을 갖는 보조 브러시(135)가 구비될 수 있다. 이들 브러시(134, 135)들의 회전에 의해 청소구역내 바닥으로부터 먼지들이 제거되며, 이렇게 바닥으로부터 분리된 먼지들은 흡입구(110h)를 통해 흡입되어 먼지통에 모인다.

배터리(138)는 상기 구동 모터 뿐만 아니라, 로봇 청소기(100)의 작동 전반에 필요한 전원을 공급하는 것이다. 배터리(138)가 방전될 시, 로봇 청소기(100)는 충전을 위해 충전대(200)로 복귀하는 주행을 실시할 수 있으며, 이러한 복귀 주행 중, 로봇 청소기(100)는 스스로 충전대(200)의 위치를 탐지할 수 있다.

충전대(200)는 소정의 복귀 신호를 송출하는 신호 송출부(미도시)를 포함할 수 있다. 상기 복귀 신호는 초음파 신호 또는 적외선 신호일 수 있으나, 반드시 이에 한정되어야하는 것은 아니다.

로봇 청소기(100)는 상기 복귀 신호를 수신하는 신호 감지부(미도시)를 포함할 수 있다. 충전대(200)는 신호 송출부를 통해 적외선 신호를 송출하고, 상기 신호 감지부는 상기 적외선 신호를 감지하는 적외선 센서를 포함할 수 있다. 로봇 청소기(100)는 충전대(200)로부터 송출된 적외선 신호에 따라 충전대(200)의 위치로 이동하여 충전대(200)와 도킹(docking)한다. 이러한 도킹에 의해 로봇 청소기(100)의 충전 단자(133)와 충전대(200)의 충전 단자(210) 간에 충전에 이루어진다.

영상획득부(120)는 청소구역을 촬영하는 것으로, 디지털 카메라를 포함할 수 있다. 상기 디지털 카메라는 적어도 하나의 광학렌즈와, 상기 광학렌즈를 통과한 광에 의해 상이 맺히는 다수개의 광다이오드(photodiode, 예를들어, pixel)를 포함하여 구성된 이미지센서(예를들어, CMOS image sensor)와, 상기 광다이오드들로부터 출력된 신호를 바탕으로 영상을 구성하는 디지털 신호 처리기(DSP: Digital Signal Processor)를 포함할 수 있다. 상기 디지털 신호 처리기는 정지영상은 물론이고, 정지영상으로 구성된 프레임들로 이루어진 동영상을 생성하는 것도 가능하다.

바람직하게, 영상획득부(120)는 본체(110)의 상면부에 구비되어, 청소구역 내의 천장에 대한 영상을 획득하나, 영상획득부(120)의 위치와 촬영범위가 반드시 이에 한정되어야 하는 것은 아니다. 예를들어, 영상획득부(120)는 본체(110) 전방의 영상을 획득하도록 구비될 수도 있다.

한편, 로봇 청소기(100)는 청소구역 내 바닥에 낭떠러지의 존재 여부를 감지하는 낭떠러지 감지센서(132)와, 바닥의 영상을 획득하는 하부 카메라 센서(139)를 더 포함할 수 있다.

도 5를 참조하면, 로봇 청소기(100)는 제어부(140)와 저장부(150)를 포함할 수 있다. 제어부(140)는 로봇 청소기(100)를 구성하는 각종 구성들(예를들어, 영상획득부(120), 조작부(137), 구동 모터(139) 등)의 제어를 통해, 로봇 청소기(100)의 동작 전반을 제어하며, 특히, 주행제어모듈(141), 특징검출모듈(142), 특징분포학습모듈(143) 및 위치인식모듈(144)을 포함할 수 있다.

저장부(150)는 로봇 청소기(100)의 제어에 필요한 각종 정보들을 기록하는 것으로, 휘발성 또는 비휘발성 기록 매체를 포함할 수 있다. 상기 기록 매체는 마이크로 프로세서(micro processor)에 의해 읽힐 수 있는 데이터를 저장한 것으로, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등을 포함할 수 있다.

한편, 저장부(150)에는 청소구역에 대한 지도가 저장될 수 있다. 상기 지도는 로봇 청소기(100)와 유선 또는 무선 통신을 통해 정보를 교환할 수 있는 외부 단말기에 의해 입력된 것일 수도 있고, 다르게는, 로봇 청소기(100)가 스스로 학습을 하여 생성한 것일 수도 있다. 전자의 경우, 외부 단말기로는 지도 설정을 위한 어플리케이션(application)이 탑재된 리모콘, PDA, 랩탑(laptop), 스마트 폰, 태블렛 등을 예로들 수 있다.

상기 지도에는 청소구역 내의 방들의 위치가 표시될 수 있다. 또한, 로봇 청소기(100)의 현재 위치가 상기 지도 상에 표시될 수 있으며, 상기 지도 상에서의 로봇 청소기(100)의 현재의 위치는 주행 과정에서 갱신될 수 있다.

주행제어모듈(141)은 로봇 청소기(100)의 주행을 제어하는 것으로, 주행 설정에 따라 구동 모터(139)의 구동을 제어한다. 또한, 주행제어모듈(141)은 구동 모터(139)의 동작을 바탕으로 로봇 청소기(100)의 이동 경로를 파악할 수 있다. 예를들어, 주행제어모듈(141)은 구동 바퀴(136)의 회전속도를 바탕으로 로봇 청소기(100)의 현재 또는 과거의 이동속도, 주행한 거리 등을 파악할 수 있으며, 각 구동 바퀴(136(L), 136(R))의 회전 방향에 따라 현재 또는 과거의 방향 전환 과정 또한 파악할 수 있다. 이렇게 파악된 로봇 청소기(100)의 주행 정보를 바탕으로, 지도 상에서 로봇 청소기(100)의 위치가 갱신될 수 있다.

로봇 청소기(100)가 주행하는 중에, 영상획득부(120)는 로봇 청소기(100) 주변의 영상들을 획득한다. 이하, 영상획득부(120)에 의해 획득된 영상을 '획득영상'이라고 병칭하기로 한다. 바람직하게는, 영상획득부(120)는 지도 상의 각 방들에서마다 적어도 하나의 획득영상을 획득한다. 도 6은 청소구역 내의 어떤 방에서 촬영된 영상으로, 영상을 통해 천장에 위치하는 조명들(11), 벽체의 코너(12) 등의 여러가지 특징(feature)들이 확인된다.

특징검출모듈(142)은 획득영상들 각각으로부터 특징(feature)을 검출한다. 컴퓨터 비전(Computer Vision) 기술 분야에서 영상으로부터 특징을 검출하는 다양한 방법(Feature Detection)이 잘 알려져 있다. 상기 특징들로는 경계(edge), 코너(corner), 얼룩(blob), 굴곡(ridge) 등이 있으며, 이들 특징들의 검출에 적합한 여러 특징검출기(feature detector)들이 알려져 있다. 예를들어, Canny, Sobel, Harris&Stephens/Plessey, SUSAN, Shi&Tomasi, Level curve curvature, FAST, Laplacian of Gaussian, Difference of Gaussians, Determinant of Hessian, MSER, PCBR, Grey-level blobs 검출기 등이 있다.

도 8은 특징 검출을 위해 SIFT(Scale Invariant Feature Transform) 기법을 이용하여 특징벡터들을 추출한 것을 보이는 도면이다. SIFT는 영상에서 코너점 등 식별이 용이한 특징점(keypoint)을 선택한 후, 각 특징점 주변의 일정한 구역에 속한 픽셀들의 밝기 구배(gradient)의 분포 특성(밝기 변화의 방향 및 변화의 급격한 정도)에 대한 히스토그램을 구한 후, 상기 히스토그램의 빈(bin)값들로부터 128차원의 벡터를 구하는 영상인식기법이다.

SIFT는 촬영 대상의 스케일(scale), 회전, 밝기변화에 대해서 불변하는 특징을 검출할 수 있어, 같은 영역을 로봇 청소기(100)의 자세를 달리하며 촬영하더라도 불변하는(즉, 회전 불변한(Rotation-invariant)) 특징을 검출할 수 있다. 물론, 이에 한정되지 않고 다른 다양한 기법(예를들어, HOG: Histogram of Oriented Gradient, Haar feature, Fems, LBP:Local Binary Pattern, MCT:Modified Census Transform)들이 적용될 수도 있다.

특징분포학습모듈(143)은 특징검출모듈(142)을 통해 검출된 특징들을 바탕으로 특징들에 대한 라벨을 생성하고, 라벨들에 점수를 부여하여, 각 영상들에 대한 라벨별 점수분포(이하, 영상별 라벨-점수분포라고 함.)와, 이렇게 구해진 영상별 라벨-점수분포들을 바탕으로 각각의 방에 대한 라벨별 점수분포(이하, 방별 라벨-점수분포라고 함.)를 구한다. 보다 상세하게 후술하겠지만, 영상별 라벨-점수분포와 방별 라벨-점수분포는, 로봇 청소기(100)가 지도 상에서 자신의 위치를 파악하지 못하는 상황이 발생한 경우(예를들어, 지도를 바탕으로 주행하는 중에, 로봇 청소기(100)의 위치가 갑자기 옮겨진 경우)에, 그 위치에서 획득된 영상과의 비교를 통해 현재의 위치를 결정하는데 이용된다. 이하, 방별 라벨-점수분포를 구하기까지의 일련의 과정을 특징분포학습과정이라고 부르고, 방별 라벨-점수분포와 영상별 라벨-점수분포를 바탕으로, 현재의 로봇 청소기(100)의 위치를 인식하는 과정을 위치인식과정이라고 부르기로 한다. 특징분포학습과정과 위치인식과정을 통해서, 청소구역의 전범위를 대상으로 하여 로봇 청소기(100)의 현재의 위치가 결정될 수 있다. (전역위치인식:Global Localization)

도 7은 특징분포학습모듈에 의해 지도가 학습되는 과정을 도시한 개요도이다. 도 7을 참조하면, 전술한 바와 같이, 특징검출모듈(142)은 청소구역 내 다양한 위치들에서 획득된 영상들에 대해 특징검출(feature detection)을 실시한다. 이렇게 획득된 영상들은 병별로 분류된 데이터베이스로 저장부(150)에 기록된다. 청소구역 내에 N개의 방이 있는 경우, 각 방들에서 적어도 하나의 영상이 획득되되는 것이 바람직하며, 이렇게 획득된 영상들로부터 각각 특징이 검출된다. 이때, 각 방에서 획득된 영상들은 방 내에서 로봇 청소기(100)의 자세를 변화시켜 가면서 촬영된 영상(예를들어, 로봇 청소기(100)가 제자리에서 회전하면서 영상을 획득)들 또는 위치를 변화시켜가면서 촬영한 영상들로 구성될 수 있다. 로봇 청소기(100)는 방 내에서 임의로 자세 또는 위치를 변화시켜가며 영상을 획득할 수 있으며, 이를 특징탐지동작이라고 한다. 특징탐지동작은 청소구역 내 모든 방들에서 실시될 수 있으며, 특징탐지동작을 실시하며 청소구역의 전범위를 탐지하는 과정을 이하, 특징탐지운전이라고 하기로 한다. 특징탐지운전은 조작부(137)를 통해 입력된 소정의 명령에 따라 실시될 수 있으며, 다르게는, 로봇 청소기(100)가 충전을 위해 충전대(200)로 복귀할 시 실시될 수도 있다. 특히, 후자의 경우, 특징탐지운전이 이미 실시되어, 청소구역 전범위에서 영상들이 획득되고, 저장부(150)에 기록된 이후에는, 다시 충전대로의 복귀가 실시된다고 하더라도 더 이상 특징탐지운전이 실시될 필요는 없다.

획득영상들로부터 검출된 특징들에 대해서는 라벨이 생성되고(721), 점수가 부여된다(722). 이때, 라벨의 생성과 점수의 부여는 방별로 정해진 규칙에 따라 이루어지며, 상기 규칙은 방별로 다른 것이 바람직하다.

예를들어, 도 9는 청소구역 내에 N개의 방이 존재하는 경우에, 획득영상들을 방별로 분류한 것을 보여주고 있다. 각 영상에 표시된 8방향의 화살표들은 SIFT 기법을 적용하여 획득영상에서 특징들을 표현한 서술자(descriptor)들이다. 특징분포학습모듈(143)은 각 방별로 정해진 규칙에 따라 서술자들을 분류하여 유사한 특징들에 대해서는 동일한 라벨을 생성한다. 이때, 라벨들은 각 방별로 정해진 규칙에 따라 정의된다.

도 10은 방별로 분류된 영상들에서 검출된 특징들에 부여된 라벨들을 획득영상에 표시한 것이다. 실시예에서는 각 방별로 정해진 규칙에 따라 5개의 라벨로 특징들을 분류하였으나, 라벨의 개수가 이에 한정되어야 하는 것은 아니다.

방 1에서 획득된 영상에서는 검출된 특징들에 대해 방 1의 규칙에 따른 P11, P12, P13, P14, P15의 라벨을 생성하였다. 그리고, 방 N에서 획득된 영상에서는 검출된 특징들에 대해 방 N의 규칙에 따른 PN1, PN2, PN3, PN4, PN5을 생성하였다. 이러한 방식으로 N개의 방 모두에 대해 각 방별로 정해진 규칙에 따라 라벨이 생성된다. 라벨의 생성은 특징분포학습모듈(143)에 의해 실시된다.

또한, 특징분포학습모듈(143)은 라벨들에 대해 방별로 정해진 규칙에 따라 점수를 부여한다. 예를들어, 도 10에서 보이는 바와 같이, 방 1에서 획득된 획득영상들을 바탕으로 생성된 라벨들 P11, P12, P13, P14, P15에 대해서는 각각 1.5, 2.1, 1.0, 2.3, 1.5 점을 부여하고, 다른 방(예를들어, 방 N)의 획득영상들로부터 생성된 라벨들 PN1, PN2, PN3, PN4, PN5에 대해서는 방 1과는 다른 기준에 따라 점수를 부여한다. 실시예에서는 PN1, PN2, PN3, PN4, PN5에 대해 각각 0.8, 1.1, 1.2, 2.5, 1.3점이 부여되었다.

이제 각 획득영상들에 대해 라벨이 생성되고, 생성된 라벨에 점수가 부여되었으므로 영상별 특징분포가 구해질 수 있다. 이하, 상기 영상별 특징분포는 각각의 라벨들에 대해, 획득영상에서의 출현빈도에 점수를 곱한 것을 바(bar)의 길이로 하는 영상별 히스토그램으로 표현한다.

특징분포학습모듈(143)은 영상별 특징분포(예를들어, 영상별 라벨-점수분포)로부터 방별 특징분포(예를들어, 방별 라벨-점수분포)를 구할 수 있다. 도 11은 N개의 방 모두에서 획득된 영상들로부터 각각 구해진 영상별 히스토그램들(1110)로부터 각 방별 특징분포를 구하는 과정을 도시한 것이다. 이하, 방별 특징분포는 히스토그램(1120)으로 표현하기로 하고, 이를 방별 히스토그램이라고 한다.

방별 히스토그램(1120)은 각 방별로 구해진 영상별 히스토그램들에서 라벨별로 점수들을 평균한 것이다. 즉, 도 11에 도시된 바와 같이, 방 1에서 획득된 M개의 영상들로부터 구해진 각각의 영상별 히스토그램들(방(1) 영상(1) 히스토그램 ~ 방(1) 영상(M) 히스토그램)로부터 각각의 라벨들(P11 내지 P15)별로 점수를 평균하여 방 1에 대한 히스토그램(방(1) 히스토그램)이 구해질 수 있다. 특징분포학습모듈(143)은 상기한 과정을 모든 방들에 대해 실시함으로써, N개의 방별 히스토그램을 구할 수 있고, 이렇게 구해진 방별 히스토그램들은 저장부(150)에 저장된다.

방별 특징분포(방별 히스토그램)는 해당 방에서의 특징들의 분포를 반영하는 것이기 때문에, 그 방을 식별하는 지표가 될 수 있으며, 영상별 특징분포는 다시 방 내에서의 영상이 획득된 위치를 보다 구체적으로 식별하는 지표가 될 수 있다. 특히, 정상적으로 지도를 따라 로봇 청소기(100)의 주행이 제어되고 있는 중에는, 주행제어모듈(141)에 의해 지도 상에서의 로봇 청소기(100)의 위치가 계속적으로 감지되기 때문에, 영상획득부(120)에 의해 영상이 획득될 시 로봇 청소기(100)가 방 내에서 어느 위치에 있었는지가 파악될 수 있다. 따라서, 이렇게 지도를 바탕으로 인식된 로봇 청소기(100)의 위치정보를 함께 고려하면, 영상별 특징분포는 특정한 방 내에서 영상이 구해진 위치를 식별하는 지표가 될 수 있다.

이제, 방을 식별하는 지표(방별 특징분포)와, 방 내에서의 위치를 식별하는 지표(영상별 특징분포)가 구해졌는바, 이하, 이를 이용한 위치인식과정을 살펴보기로 한다.

도 12는 위치인식모듈에 의해 로봇 청소기의 위치를 인식하는 과정을 도시한 개요도이다. 도 12를 참조하면, 위치인식과정은 로봇 청소기(100)가 현재의 위치에서 주변영상(예를들어, 천장)을 획득하는 단계와, 이렇게 획득된 영상에서 특징들을 검출하는 단계와, 검출된 특징들에 방별로 정해진 규칙(특징분포학습과정에서 방별로 적용된 규칙)을 적용하여 N개의 특징분포를 구하는 단계를 포함한다.

이때, 획득영상으로부터의 특징들의 검출과, 라벨의 생성 및 라벨에 점수를 부여하는 과정은, 특징분포학습과정에서 적용된 방별로 정해진 규칙에 따라 실시될 수 있다. 상기 방별로 정해진 규칙은 방의 개수(N개)에 대응하는 수 만큼 존재할 수 있으며, 따라서, 이들 규칙들을 적용하여 획득영상으로부터 구해지는 N개의 특징분포(이하, 히스토그램인 것으로 예를듦.)들은 로봇 청소기(100)가 현재위치하는 방을 식별하는데 사용되는 비교군을 형성한다. 위치인식모듈(144)은 상기 비교군을 구성하는 특징분포(이하, 비교군으로써의 특징분포라고 함.)들을 특징분포학습과정에서 구한 방별 특징분포들과 비교함으로써, 현재 위치에서 획득된 영상이 어느 방 내에서 구해진 것인지를 결정할 수 있다.

방별 특징분포는, 그 방에서 획득한 여러 개의 영상들에 대해서 라벨별로 점수를 평균한 것이기 때문에, 비교군으로써의 특징분포들 중 어느 것과 정확하게 일치하지 않을 수 있다. 따라서, 위치인식모듈(144)은 비교군으로써의 특징분포들 중 어느 것과 가장 근사하게 매칭되는 방별 특징분포를 구함으로써, 현재 위치에서 획득한 영상이 어느 방에서 구해진 것인지를 결정할 수 있다.

이하, 위치인식과정을 도 13 내지 도 15를 통해 보다 상세하게 설명한다. 도 13은 로봇 청소기의 현재의 위치에서 획득한 영상에 대해 병별로 정해진 규칙(특징분포 학습과정에서 적용된 규칙)을 적용하여 라벨을 생성하고, 라벨에 점수를 부여하여 N개의 비교 히스토그램을 생성하는 것을 보여준다. N개의 비교 히스토그램은 동일한 영상으로부터 구해진 것이지만, 각각의 비교 히스토그램들은 각 방별로 정해진 규칙을 적용함으로써 구해진 것들이기 때문에, 라벨의 생성 기준과 점수의 부여 기준이 달라, 바람직하게는, N개의 서로 다른 비교 히스토그램들이 구해질 수 있다. 이제, 위치인식모듈(144)은 이들 N개의 비교 히스토그램들을 각각 특징분포학습과정에서 구한 N개의 방별 히스토그램들과 비교한다.

도 14는 N개의 방별 히스토그램(방(1) 히스토그램 내지 방(N) 히스토그램)과 N개의 비교 히스토그램(비교 히스토그램(1) 내지 비교 히스토그램(N))을 매칭하는 것을 보여준다. 도면에서 보이는 바와 같이, 방별 히스토그램들과 비교 히스토그램들을 서로 비교한 결과, 현재의 위치에서 획득한 영상에 K번째 방의 규칙을 적용하여 구한 비교 히스토그램(K)가, 특징분포학습과정에서 구한 K번째 방의 히스토그램(방(K) 히스토그램)과 가장 근사하였다. 따라서, 이 경우, 위치인식모듈(144)은 로봇 청소기(100)가 현재 K방 내에 위치하는 것으로 결정한다.

이렇게 로봇 청소기(100)가 현재 자신의 위치에서 획득한 영상을 바탕으로, 자신의 위치를 결정하는 방식은, 지도 상에서 로봇 청소기(100)의 위치가 불연속적으로 변경된 경우, 예를들어, 주행제어모듈(141)에 의해 주행 경과가 파악되지 못하고 이동이 이루어져, 주행제어모듈(141)로부터 얻은 주행 정보를 가지고는 지도 상에서 자신의 위치를 파악할 수 없는 경우에도, 현재의 위치를 파악할 수 있다.

또 다른 예로, 로봇 청소기(100)가 저장부(150)에 기 저장된 지도를 따라 스스로 주행을 하며 거실을 청소를 실시하는 중에, 사용자에 의해 임의로 경로를 이탈하여 거실 밖의 방으로 이동되어, 이동된 방에서 다시 주행을 하는 경우, 주행제어모듈(141)로부터 얻은 주행 기록에 따라 지도에만 의존하여 자신의 위치를 파악하는 기존의 방식에서는, 제어부(140)로써는 로봇 청소기(100)가 아직도 거실에 있는 것으로 파악할 수 밖에 없다. 그러나, 본 발명과 같이, 새로운 방에서 획득한 영상을 바탕으로 위치인식과정을 실시하는 경우에는, 현재 로봇 청소기(100)가 어느 방에 속하는지를 알 수가 있다. 따라서, 지도 상에서 로봇 청소기(100)가 어느 방에 위치하는지를 다시 파악하여, 지도를 바탕으로 주행을 제어하는 전역위치인식 기반의 제어가 가능하다.

도 15는 현재의 위치에서 획득된 영상으로부터 구해진 비교 히스토그램(K)와 특징분포학습과정에서 방(K) 내에서 획득된 영상들로부터 구해진 히스토그램을 비교하는 것을 보여준다.

방(K)는 위치인식모듈(144)에 의해 파악된 로봇 청소기(100)가 현재 위치하는 방이며, 특징분포학습과정에서 방(K) 내에서 획득된 M개의 영상들로부터 구한 M개의 히스토그램은 방(K) 영상(1) 히스토그램 내지 방(K) 영상(M) 히스토그램으로 표시되었다. 비교 히스토그램(K)이 방(K) 영상(L)과 가장 근사하며, 위치인식모듈(144)은 로봇 청소기(100)가 현재 방(K)내에 위치하되, M개의 영상 중 영상(L)이 구해진 곳에 위치하는 것으로 결정할 수 있다. 여기서, 영상(L)이 구해진 장소는 특징분포학습과정에서 주행제어모듈(141)에 의해 구해진 주행기록에 따라 지도 상에서 특정될 수 있다.

본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구의 범위에 의하여 나타내어지며, 특허청구의 범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims

청소구역을 주행하는 중에 주변의 영상들을 획득하는 (a)단계;
상기 (a)단계에서 획득된 영상들을 바탕으로, 방별로 정해진 규칙에 따라 각 방별 특징분포들을 구하는 (b)단계;
현재 위치에서 주변의 영상을 획득하는 (c)단계;
상기 (c)단계에서 구해진 영상에 대해, 상기 (b)단계에서 적용된 상기 방별로 규칙들을 적용하여 특징분포들로 구성된 비교군을 구하는 (d)단계; 및
상기 (d)단계에서 구한 비교군과, 상기 (b)단계에서 구한 각 방별 특징분포들을 비교하여, 로봇 청소기가 현재 위치하는 방을 결정하는 (e)단계를 포함하고,
상기 (b)단계는,
상기 (a)단계에서 획득된 영상들에 대한 특징분포들을 구하는 (b-1)단계; 및
상기 (b-1)단계에서 구해진 상기 영상들에 대한 특징분포들을 바탕으로 상기 영상들이 획득된 방별로 상기 방별 특징분포들을 구하는 (b-2)단계를 포함하며,
기 저장된 청소구역의 지도를 바탕으로 로봇 청소기의 위치를 파악하는 단계를 더 포함하고,
상기 (c)단계 내지 (e)단계는,
상기 지도 상에서의 로봇 청소기의 위치가 파악되지 않을 시에 실시되는 로봇 청소기의 제어방법.
삭제
제 1 항에 있어서,
상기 (b-1)단계는,
상기 (a)단계에서 획득된 영상들로부터 특징들을 검출하는 단계;
방별로 정해진 규칙에 따라 상기 검출된 특징들에 대한 라벨들을 생성하는 단계; 및
상기 라벨들에 점수를 부여하여, 각 영상들에 대한 라벨별 점수분포를 구하는 단계를 포함하고,
상기 (b-2)단계는,
상기 각 영상들에 대한 라벨별 점수분포를 바탕으로, 각 방별로 라벨별 점수분포를 구하는 로봇 청소기의 제어방법.
제 3 항에 있어서,
상기 (b-1)단계에서 상기 라벨들에 점수를 부여하는 것은,
방별로 정해진 규칙에 따라 실시되는 로봇 청소기의 제어방법.
제 3 항에 있어서,
상기 (b-2)단계에서 상기 각 방별로 구해진 라벨별 점수분포는,
상기 각 영상들에 대한 라벨별 점수분포들을 방별로 평균한 것인 로봇 청소기의 제어방법.
제 1 항에 있어서,
상기 (d)단계에서 구한 상기 비교군들 중, 상기 (e)단계에서 로봇 청소기가 현재 위치하는 것으로 결정된 방의 규칙이 적용된 특징분포와 상기 (b)단계에서 구해진 상기 영상들에 대한 특징분포를 비교하여, 로봇 청소기가 방 내에서 어느 영역에 위치하는지를 결정하는 단계를 더 포함하는 로봇 청소기의 제어방법.
삭제
제 1 항에 있어서,
상기 지도는,
상기 로봇 청소기와 무선으로 통신하는 외부 단말기로부터 입력된 것인 로봇 청소기의 제어방법.
제 1 항에 있어서,
상기 주변영상은 청소구역 내의 천장을 촬영한 것인 로봇 청소기의 제어방법.
제 1 항에 있어서,
상기 각 방별로 정해진 규칙들은 서로 다른 것들인 로봇 청소기의 제어방법.
주변의 영상들을 획득하는 영상획득부;
상기 영상획득부를 통해 획득된 영상들을 바탕으로, 방별로 정해진 규칙에 따라 각 방별 특징분포들을 구하는 특징분포학습모듈; 및
로봇 청소기의 현재 위치에서 상기 영상획득부를 통해 획득된 영상에 대해 상기 방별로 적용된 규칙들을 적용하여 특징분포들로 구성된 비교군을 구하고, 상기 비교군과 상기 특징분포학습모듈을 통해 구해진 방별 특징분포들을 비교하여 로봇 청소기가 현재 위치하는 방을 결정하는 위치인식모듈을 포함하고,
상기 특징분포학습모듈은,
상기 영상획득부에 의해 획득된 영상들에 대한 특징분포를 구하고, 상기 영상들에 대한 특징분포들을 바탕으로 상기 영상들이 획득된 방별로 상기 방별 특징분포들을 구하며,
상기 영상획득부에 의해 획득된 영상들로부터 특징들을 검출하는 특징검출모듈을 더 포함하고,
상기 특징분포학습모듈은,
상기 특징검출모듈에 의해 추출된 특징들에 대해 상기 방별로 정해진 규칙에 따라 라벨들을 생성하고, 상기 라벨들에 점수를 부여하여 각 영상들에 대한 라벨별 점수분포를 구하고, 상기 각 영상들에 대한 라벨별 점수분포들을 바탕으로 각 방별로 라벨별 점수분포를 구하는 로봇 청소기.
삭제
삭제
제 11 항에 있어서,
상기 라벨들에 점수를 부여하는 것은 방별로 정해진 규칙에 따라 실시되는 로봇 청소기.
제 11 항에 있어서,
상기 각 방별로 구해진 라벨별 점수분포는,
상기 영상들에 대한 라벨별 점수분포들을 방별로 평균한 것인 로봇 청소기.
제 11 항에 있어서,
상기 위치인식모듈은,
상기 비교군들 중, 상기 위치인식모듈에 의해 로봇 청소기가 현재 위치하는 것으로 결정된 방의 규칙이 적용된 특징분포와, 상기 로봇 청소기가 현재 위치하는 것으로 결정된 방에서 구해진 영상들에 대한 특징분포들을 비교하여, 로봇 청소기가 방내에서 어느 영역에 위치하는지를 결정하는 로봇 청소기.
제 11 항에 있어서,
상기 영상획득부는,
청소구역의 천장을 촬영하도록 구비되는 로봇 청소기.
삭제