KR101776823B1

KR101776823B1 - 외부 감시카메라를 이용한 모바일 로봇의 위치인식 방법 및 시스템

Info

Publication number: KR101776823B1
Application number: KR1020160025126A
Authority: KR
Inventors: 조영임
Original assignee: 가천대학교 산학협력단
Priority date: 2016-03-02
Filing date: 2016-03-02
Publication date: 2017-09-11
Also published as: US9849589B2; US20170252925A1

Abstract

본 발명에 따른, 외부 감시카메라를 이용한 모바일 로봇의 위치인식 방법 및 시스템이 적용된 모바일 로봇은, 실내에 인접하여 설치된 감시카메라들로부터 영상을 획득하고, 이들 영상에 그림자 제거와 호모그래피를 수행하여 영상에 포함된 물체들을 인식하고, 인식한 물체들을 회피할 수 있는 주행경로를 설정하여 주행한다.
본 발명에 따른, 외부 감시카메라를 이용한 모바일 로봇의 위치인식 방법 및 시스템이 적용된 모바일 로봇은, 종래의 영상 기반 자율 주행 로봇에 비하여, 빠른 위치 인식과 저가격화가 가능하므로, 서비스 로봇의 실용화를 앞당길 수 있을 것으로 예상된다.

Description

외부 감시카메라를 이용한 모바일 로봇의 위치인식 방법 및 시스템{A MOBILE ROBOT LOCALIZATION METHOD AND SYSTEM VIA INDOOR SURVEILLANCE CAMERAS}

본 발명은 모바일 로봇을 제어하기 위한 위치인식 시스템 및 방법에 관한 것으로서, 특히 2대의 실내 감시카메라로 촬영된 영상을 이용하여 실내에 존재하는 장애물의 위치를 인식하는 방법과 이 방법을 이용하여 영상 내의 물체, 즉 장애물을 인식하고, 장애물을 회피하여 목표지점으로 이동하는 시스템에 관한 것이다.

이동형 서비스 로봇이 실·내외에서 활동하기 위해 주변 환경정보를 통해 로봇의 위치를 파악하는 위치인식 기술이 필요하며, 다양한 방법으로 연구되고 있다. 일반적으로 서비스 로봇은 위치인식을 위해 로봇에 탑재된 센서를 이용해서 환경정보를 습득하고, 위치정보와 맵을 생성한다. 이 경우 다양한 환경에서 적용이 가능하지만 가격이 비싸고, 복잡한 제어 구조를 가진다. 하지만 실내 공간은 구조를 사전에 알 수 있기 때문에 로봇에 최소한의 센서를 사용하여 외부 장치로부터 신호를 받거나 특정 표식을 사용하여 위치인식을 하는 기법들이 연구되고 있다. WLAN과 같이 단말기가 수신하는 RF 신호 강도를 측정하고, 신호전달 거리를 측정하여 위치를 계산하는 위치 인식 방법이나, 빠른 RF신호와 상대적으로 느린 초음파의 전송속도 차를 이용하여 로봇의 위치를 찾아내는 방법, 실내에 부착된 고유 패턴을 가진 랜드마크(Land Mark)와 같은 인공 표식(artificial landmark)을 사용한 위치인식방법 등이 연구되고 있다. 그러나 이러한 연구는 외부 장비를 추가로 설치해야 하므로 설치 및 유지보수가 어렵고, 정밀도가 떨어진다. 따라서 로봇이 GPS 센서와 같이 위치정보를 받을 수 있도록 외부장치를 통해 로봇의 위치정보와 환경 맵을 구하고 전송할 수 있는 방법이 필요하게 되었다.

일반적으로 실내 환경에 설치된 감시카메라는 각 건물마다 사각이 없도록 설치되어 있으며, 영상정보는 중앙 서버를 통해 수집되기 때문에 영상정보를 분석처리 할 수 있다. 실내에 설치된 감시카메라를 이용하면 영상의 환경정보로부터 물체 또는 로봇의 위치정보를 구하고, 맵을 생성할 수 있으며, 위치정보를 로봇에 전송하여 별다른 센서 없이도 이동로봇을 목적지로 이동할 수 있으며, 복수의 로봇에도 적용할 수 있는 가능성이 있다. 그러나 실내에 설치된 감시 카메라의 영상을 이용한 위치인식 방법에는 문제가 있다. 첫째는 저가형 카메라의 렌즈로 인한 왜곡 문제와 빛에 의한 그림자 영향이다. 정확한 물체의 영상을 구하기 위해 영상의 왜곡을 보정하고, 광원에 의한 그림자영향을 제거해야 한다. 둘째는 단일 영상에서 물체에 가려진 영역의 정보를 알 수 없다는 점이다. 물체의 위치와 크기를 구하기 위해 가려진 영역정보를 가진 다른 시점의 영상정보를 이용해서 환경정보를 보완할 필요가 있다.

특허문헌 1은, 위치를 인식하기 위해 위치 인식 시스템이 놓여 있는 공간에 미리 마커가 설치되어 있어야 하는 제약을 가지고 있으며,

특허문헌 2는, 스테레오 파노라믹 카메라를 구비하는 로봇 비전 시스템에 관한 것으로서, 시스템 자체에 카메라를 구비하여 시스템 구현 비용 증대 등의 문제를 가지고 있다.

대한민국 등록특허 제1203816호 (등록일 2012년 11월 15일) 대한민국 공개특허 제2009-0095761호 (공개일 2009년 9월 10일)

본 발명의 일 목적은, 기존 복도환경에 설치된 감시 카메라의 영상을 이용하여 물체와 로봇의 위치정보를 가진 멀티 영상 기반의 2D 맵(Map)을 생성하고, 맵 정보를 이용하여 이동로봇이 장애물과의 충돌을 회피하면서 목적지까지 이동하기 위한 위치인식 방법을 제공하는 데 있다.

본 발명의 다른 목적은, 영상만으로 로봇의 위치를 제어할 수 있도록 하여, 로봇에 별다른 센서를 구비하지 않아도 로봇의 위치를 인식하고 장애물을 회피하여 주행할 수 있게 됨으로써, 서비스 로봇의 가격 경쟁력을 높이는데 기여할 수 있는, 위치인식 시스템을 제공하는 데 있다.

또한, 본 발명이 "해결하고자 하는 과제"는 이상에서 언급한 과제(들)로 제한되지 않으며, 언급되지 않은 또 다른 과제(들)는 이하의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

상술한 본 발명이 "해결하고자 하는 과제"의 해결 수단으로서, 본 발명의 바람직한 일 실시예에 따른, 외부 감시카메라를 이용한 모바일 로봇의 위치인식 방법 및 시스템은,

전달받은 감시카메라 영상 중의 물체 및 장애물을, 그림자 제거 기법과 호모그래피 기법을 통하여 인식하고, 물체 및 장애물을 피하여 주행하는 이동 경로를 생성하고, 그에 따른 제어신호를 발생시켜 자신 이외의 구성요소들을 제어하는 제어부; 조향각과 구동모터의 회전을 감지하여 제어부에 전달하는 감지부; 제어신호에 의해 추진력을 발생시키는 주행부; 제어신호에 의해 이동 경로를 따르도록 조향되는 조향부; 감시카메라로부터 획득한 영상을 제어부에 전달하는 통신부; 자신 이외의 구성요소들에 전력을 제공하는 전원부; 를 포함하여 구성되는 것을 특징으로 하는, 외부 감시카메라를 이용한 모바일 로봇의 위치인식 시스템과,

인접하여 설치된 실내 감시카메라들로부터 획득한 원본 영상들을, 이진화하고 그림자 제거하는 단계; 이진화되고 그림자 제거된 영상들을 호모그래피 기법으로 병합하는 단계; 컨투어 기법을 통하여 원본 영상에 포함된 물체들의 위치와 크기를 인식하는 단계; 인식된 물체의 위치와 크기 오차를 보상하고, 그리드와 병합된 실제 바닥 영상에 위치와 크기가 보상된 물체를 맵핑하는 단계; 를 포함하는 것을 특징으로 하는, 외부 감시카메라를 이용한 모바일 로봇의 위치인식 방법법을 포함한다.

또한, 외부 감시카메라를 이용한 모바일 로봇의 위치인식 시스템은,

그림자 제거 시스템의 외각 일측면에 근접센서 또는 거리센서를 더 포함하여 구성되는 실시예,

주행부에는 BLDC 모터가 구비되고, 조향부에는 스테핑 모터가 구비되는 실시예,

지그비(Zigbee)를 포함한 여러 무선 통신 프로토콜을 사용하여 감시카메라 등의 외부기기와 통신할 수 있는 통신부가 구비되는 실시예,

감지부에 카메라 또는 시각센서가 더 구비되는 실시예,

바퀴 이외의 이동수단을 구비하는 주행부를 포함하는 실시예를 포함할 수 있으며,

또한, 외부 감시카메라를 이용한 모바일 로봇의 위치인식 방법은,

위치와 크기가 보상된 물체를 맵핑하는 단계 이후에 맵핑에 기초하여 이동경로를 계획하는 단계; 를 더 포함하는 실시예,

이동경로를 계획하는 단계 이후, 계획된 이동경로를 따르는, 모바일 로봇의 실제 주행이 있은 후에, 계획된 이동경로와 실제 주행경로를 동일한 맵 상에 표시하고, 이동경로와 주행경로 사이의 오차 경계를 구하는 단계; 및 오차 경계를 외부 시스템으로 전송하는 단계; 를 더 포함하는 실시예,

계획된 이동경로와 실제 주행경로가 함께 표시되는 맵 상에, 일정 간격의 정방형 눈금을 포함하는 격자 또는 그리드가, 이동경로 및 주행경로와 함께 표시되도록 하는 실시예,

오차 경계가 전송되는 외부 시스템은, 복수의 모바일 로봇으로부터 전송되는 오차 경계를 저장 및 처리하며, 저장된 오차 경계 또는 처리의 결과를 다시 외부로 전송할 수 있도록 구성하는 실시예를 포함할 수 있다.

기타 실시예의 구체적인 사항은 "발명을 실시하기 위한 구체적인 내용" 및 첨부 "도면"에 포함되어 있다.

본 발명의 이점 및/또는 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 각종 실시예를 참조하면 명확해질 것이다.

그러나, 본 발명은 이하에서 개시되는 각 실시예의 구성만으로 한정되는 것이 아니라 서로 다른 다양한 형태로도 구현될 수도 있으며, 단지 본 명세서에서 개시한 각각의 실시예는 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구범위의 각 청구항의 범주에 의해 정의될 뿐임을 알아야 한다.

이상과 같은 구성을 갖는, 본 발명의 바람직한 일실시예에 따른, 외부 감시카메라를 이용한 모바일 로봇의 위치인식 방법 및 시스템에 따르면, 로봇에 별다른 센서를 구비하지 않아도 로봇의 위치를 인식하고, 장애물을 회피하여 목적지까지 주행할 수 있는 로봇이 제공될 수 있다.

또한, 본 발명의 바람직한 일실시예에 따른, 외부 감시카메라를 이용한 모바일 로봇의 위치인식 방법 및 시스템이 적용된 로봇은, 별다른 센서를 구비하지 않아도 로봇의 위치를 인식하고, 장애물을 회피하여 목적지까지 주행할 수 있기 때문에, 로봇의 가격 경쟁력을 높이는 효과가 있다.

또한, 본 발명의 바람직한 일실시예에 따른, 외부 감시카메라를 이용한 모바일 로봇의 위치인식 방법 및 시스템이 적용된 로봇은, 카메라 또는 시각센서를 생략하여 구성되므로, 그 구성이 간소화되어 고장률이 낮아지고, 제어 부하를 덜 수 있으며, 유지보수가 간소화되는 효과가 있다.

도 1은, 본 발명의 바람직한 일 실시예에 따른, 외부 감시카메라를 이용한 모바일 로봇의 위치인식 시스템의 구성을 개략적으로 나타낸, 시스템 구성도이다.
도 2는, 본 발명의 바람직한 일 실시예에 따른, 외부 감시카메라를 이용한 모바일 로봇의 위치인식 방법 및 시스템에서 이용하는, 외부 감시카메라의 바람직한 설치 위치의 예를 나타낸 그림이다.
도 3은, 본 발명의 바람직한 일 실시예에 따른, 외부 감시카메라를 이용한 모바일 로봇의 위치인식 방법 및 시스템에서 이용되는 영상들 중의 일부로서, 좌측은 외부 감시카메라로부터 획득된 영상이고, 우측은 호모그래피에 의해 에어뷰로 변환된 영상이다.
도 4는, 2대의 카메라로부터 얻은 영상에서 투영변환을 하기 위해 공통영역의 특징점 Q를 체스보드 형태의 현수막을 이용하여 검출하는 과정의 영상이다.
도 5는, 본 발명의 바람직한 일 실시예에 따른, 외부 감시카메라를 이용한 모바일 로봇의 위치인식 방법 및 시스템에서 이용되는 영상들 중의 일부로서, 도 4a는 원본 영상의 Q평면을 나타낸 영상이고, 도 4b는 에어뷰 영상의 q평면을 나타낸 영상이다.
도 6은, 본 발명의 바람직한 일 실시예에 따른, 외부 감시카메라를 이용한 모바일 로봇의 위치인식 방법 및 시스템에서 이용되는 영상들 중의 일부로서, 호모그래피에 의해, 2 투영 영상으로부터 2차원 맵을 추출하는 과정을 나타낸 영상이다.
도 7은, 본 발명의 바람직한 일 실시예에 따른, 외부 감시카메라를 이용한 모바일 로봇의 위치인식 방법 및 시스템에서 이용되는 영상들 중 2 감시카메라의 호모그래피 투영 영상으로서, 도 6a는 2 감시카메라의 원본 영상, 도 6b는 그림자 효과가 제거된 도 6a 영상의 이진화 영상, 도 6c는 도 6b 영상이 호모그래피 투영된 것이다.
도 8은, 본 발명의 바람직한 일 실시예에 따른, 외부 감시카메라를 이용한 모바일 로봇의 위치인식 방법 및 시스템에서 이용되는 영상들 중의 일부로서, 도 6c의 카메라 1, 2의 각 투영 영상 중 공통 영역이 나타난 영상이다.
도 9는, 본 발명의 바람직한 일 실시예에 따른, 외부 감시카메라를 이용한 모바일 로봇의 위치인식 방법 및 시스템에서 이용되는 영상들 중의 일부로서, 물체 영역과 투영된 바닥이 결합된 2차원 맵 영상이다.
도 10은, 본 발명의 바람직한 일 실시예에 따른, 외부 감시카메라를 이용한 모바일 로봇의 위치인식 방법 및 시스템에서 이용되는 영상들 중의 일부로서, 시각적으로 검출된 물체영역의 위치 오차를 측정하기 위한 격자 영상으로서, 도 9a는 카메라 1의 영상, 도 9b는 카메라 2의 영상이다.
도 11은, 본 발명의 바람직한 일 실시예에 따른, 외부 감시카메라를 이용한 모바일 로봇의 위치인식 방법 및 시스템에서 이용되는 영상들 중의 일부로서, 호모그래피로 검출된 물체 영역의 오차 보정 결과 영상이다.
도 12는, 본 발명의 바람직한 일 실시예에 따른, 외부 감시카메라를 이용한 모바일 로봇의 위치인식 방법 및 시스템에서 이용되는 영상들 중의 일부로서, 몇 물체가 놓여 있는 실험적 환경을 감시카메라로 촬영한 영상이다.
도 13은, 본 발명의 바람직한 일 실시예에 따른, 외부 감시카메라를 이용한 모바일 로봇의 위치인식 방법 및 시스템이 적용된, 모바일 로봇의 경로 제어 실험 결과를 나타낸 그림이다.
도 14는, 본 발명의 바람직한 일 실시예에 따른, 외부 감시카메라를 이용한 모바일 로봇의 위치인식 방법 및 시스템이 적용된 모바일 로봇과 그 구동부를 개략적으로 나타낸 구성도이다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 여러 가지 실시예에 대해서 설명하기로 한다.

본 발명을 상세하게 설명하기 전에, 본 명세서에서 사용된 용어나 단어는 통상적이거나 사전적인 의미로 무조건 한정하여 해석되어서는 아니되며, 본 발명의 발명자가 자신의 발명을 가장 최선의 방법으로 설명하기 위해서 각종 용어의 개념을 적절하게 정의하여 사용할 수 있고, 더 나아가 이들 용어나 단어는 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 함을 알아야 한다.

즉, 본 명세서에서 사용된 용어는 본 발명의 바람직한 실시예를 설명하기 위해서 사용되는 것일 뿐이고, 본 발명의 내용을 구체적으로 한정하려는 의도로 사용된 것이 아니며, 이들 용어는 본 발명의 여러 가지 가능성을 고려하여 정의된 용어임을 알아야 한다.

또한, 본 명세서에 있어서, 단수의 표현은 문맥상 명확하게 다른 의미로 지시하지 않는 이상, 복수의 표현을 포함할 수 있으며, 유사하게 복수로 표현되어 있다고 하더라도 단수의 의미를 포함할 수 있음을 알아야 한다.

본 명세서의 전체에 걸쳐서 어떤 구성 요소가 다른 구성 요소를 "포함"한다고 기재하는 경우에는, 특별히 반대되는 의미의 기재가 없는 한 임의의 다른 구성 요소를 제외하는 것이 아니라 임의의 다른 구성 요소를 더 포함할 수도 있다는 것을 의미할 수 있다.

더 나아가서, 어떤 구성 요소가 다른 구성 요소의 "내부에 존재하거나, 연결되어 설치된다"고 기재한 경우에는, 이 구성 요소가 다른 구성 요소와 직접적으로 연결되어 있거나 접촉하여 설치되어 있을 수 있고, 일정한 거리를 두고 이격되어 설치되어 있을 수도 있으며, 일정한 거리를 두고 이격되어 설치되어 있는 경우에 대해서는 해당 구성 요소를 다른 구성 요소에 고정 내지 연결시키기 위한 제 3의 구성 요소 또는 수단이 존재할 수 있으며, 이 제 3의 구성 요소 또는 수단에 대한 설명은 생략될 수도 있음을 알아야 한다.

반면에, 어떤 구성 요소가 다른 구성 요소에 "직접 연결"되어 있다거나, 또는 "직접 접속"되어 있다고 기재되는 경우에는, 제 3의 구성 요소 또는 수단이 존재하지 않는 것으로 이해하여야 한다.

마찬가지로, 각 구성 요소 간의 관계를 설명하는 다른 표현들, 즉 " ~ 사이에"와 "바로 ~ 사이에", 또는 " ~ 에 이웃하는"과 " ~ 에 직접 이웃하는" 등도 마찬가지의 취지를 가지고 있는 것으로 해석되어야 한다.

또한, 본 명세서에 있어서 "일면", "타면", "일측", "타측", "제 1", "제 2" 등의 용어는, 사용된다면, 하나의 구성 요소에 대해서 이 하나의 구성 요소가 다른 구성 요소로부터 명확하게 구별될 수 있도록 하기 위해서 사용되며, 이와 같은 용어에 의해서 해당 구성 요소의 의미가 제한적으로 사용되는 것은 아님을 알아야 한다.

또한, 본 명세서에서 "상", "하", "좌", "우" 등의 위치와 관련된 용어는, 사용된다면, 해당 구성 요소에 대해서 해당 도면에서의 상대적인 위치를 나타내고 있는 것으로 이해하여야 하며, 이들의 위치에 대해서 절대적인 위치를 특정하지 않는 이상은, 이들 위치 관련 용어가 절대적인 위치를 언급하고 있는 것으로 이해하여서는 아니된다.

더욱이, 본 발명의 명세서에서는, "…부", "…기", "모듈", "장치" 등의 용어는, 사용된다면, 하나 이상의 기능이나 동작을 처리할 수 있는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어, 또는 하드웨어와 소프트웨어의 결합으로 구현될 수 있음을 알아야 한다.

또한, 본 명세서에서는 각 도면의 각 구성 요소에 대해서 그 도면 부호를 명기함에 있어서, 동일한 구성 요소에 대해서는 이 구성 요소가 비록 다른 도면에 표시되더라도 동일한 도면 부호를 가지고 있도록, 즉 명세서 전체에 걸쳐 동일한 참조 부호는 동일한 구성 요소를 지시하고 있다.

본 명세서에 첨부된 도면에서 본 발명을 구성하는 각 구성 요소의 크기, 위치, 결합 관계 등은 본 발명의 사상을 충분히 명확하게 전달할 수 있도록 하기 위해서 또는 설명의 편의를 위해서 일부 과장 또는 축소되거나 생략되어 기술되어 있을 수 있고, 따라서 그 비례나 축척은 엄밀하지 않을 수 있다.

또한, 이하에서, 본 발명을 설명함에 있어서, 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 구성, 예를 들어, 종래 기술을 포함하는 공지 기술에 대한 상세한 설명은 생략될 수도 있다.

도 1은, 본 발명의 바람직한 일 실시예에 따른, 외부 감시카메라를 이용한 모바일 로봇의 위치인식 시스템의 구성을 개략적으로 나타낸, 시스템 구성도이다.

도 1에 도시된 바와 같이, 본 발명의 바람직한 일 실시예에 따른, 외부 감시카메라를 이용한 모바일 로봇의 위치인식 시스템(1000)은, 제어부(100)와 감지부(200), 주행부(300), 조향부(400), 통신부(500), 전원부(600)를 포함하여 구성된다.

제어부(100)는, 감지부(200)와 주행부(300), 조향부(400), 통신부(500)를 제어하여 위치인식 시스템(1000)이 장애물을 피하여 주행하도록 제어하는 구성요소로서, 통신부(500)로부터 감시카메라(도면 부호 생략)에서 촬영된 영상을 전달받아 상기 영상에 포함된 그림자를 제거하고, 상기 영상에 포함된 물체 및 장애물을 인지하여, 위치인식 시스템(1000) 및 모바일 로봇이 상기 물체 및 장애물을 피하여 주행할 수 있는 주행 경로를 구성하여 구동부(450)를 제어한다.

감지부(200)는, 주행부(300)에 구비되어 구동모터(360)의 회전을 계수하기 위한 엔코더(미도시)와, 조향부(400)에 구비되어 조향각도를 계측하는 터릿엔코더(420)를 아울러 지칭한다. 감지부(200)의 추가적인 구성요소로서, 근접센서 또는 거리센서 등을 더 포함하여 구성될 수도 있다.

주행부(300)는, 외부 감시카메라를 이용한 모바일 로봇의 위치인식 시스템(1000)의 이동수단이 되는 부분으로서, 본 발명의 바람직한 실시예에서는, 모터드라이버(310)와 구동휠(320), 구동풀리(330)(350), 구동벨트(340), 구동모터(360)를 포함하여 구성된다(도 14 참조).

여기에서, 모터드라이버(310)는 제어부(100)의 제어를 받아, 구동모터(360)의 회전 방향과 회전량을 제어하고,

구동휠(320)은 구동풀리(330)와 직결되어 구동모터(360)와 직결되어 있는 구동풀리(350)로부터의 회전력을, 구동벨트(340)를 통하여 전달받아 회전함으로써, 위치인식 시스템(1000)을 이동시킨다.

조향부(400)는, 터릿풀리(410)과 터릿엔코더(420), 터릿모터(미도시)를 포함하여 구성되며(도 14 참조), 터릿모터가 회전되면, 터릿풀리(410)가 회전되어 위치인식 시스템(1000)의 주행방향을 조향하는 역할을 수행한다.

구동부(450)는, 주행부(300)과 조향부(400)를 아울러 지칭하는 용어로서, 위치인식 시스템(1000)을 이동시키는 역할을 수행하는 부분을 의미한다.

통신부(500)는, 감시카메라(도면 부호 생략)로부터, 감시카메라에서 촬영된 영상을 넘겨받아 제어부(100)에 전달하는 역할을 한다. 여기에서 감시카메라와 통신부(500) 사이의 통신 프로토콜로서 지그비(Zigbee) 방식을 사용함이 바람직하지만, 실시 목적이나 실시 환경 등의 이유에 따라서는 지그비(Zigbee) 이외의 통신 프로토콜을 적용하여도 무방하다.

전원부(600)는, 자신 이외의 각 구성요소들, 즉 제어부(100)와 감지부(200), 주행부(300), 조향부(400), 통신부(500)에 전원을 공급하는 역할을 한다. 제어부(100)와 감지부(200), 조향부(400), 통신부(500)는 전원부(600)와 직접 연결되어 전원을 공급받으며, 주행부(300)는 전원부(100)와 직접 연결되지 않고, 조향부(400)에 연결되어 전원을 공급받는 형태로 구현된다. 물론, 실시예에 따라서는 주행부(300) 역시 전원부(100)에 직접 연결되어 전원을 공급받는 형태로 구현되어도 무방하다.

외부 감시카메라를 이용한 모바일 로봇의 위치인식 시스템(1000)은, 제어부(100)와 감지부(200), 주행부(300), 조향부(400), 통신부(500), 전원부(600)를 포함하여 구성되는 시스템으로서, 바람직하게는 장애물을 피하여 주행할 수 있는 모바일 로봇의 형태로 구현될 것이다.

또한, 본 발명의 바람직한 실시예에 따른, 외부 감시카메라를 이용한 모바일 로봇의 위치인식 시스템(1000)의 외각 일측면에 근접센서 또는 거리센서를 더 구비하는 구성을 통하여, 위치인식 시스템(1000) 및 모바일 로봇과 장애물 사이의 거리를 측정하거나, 위치인식 시스템(1000) 및 모바일 로봇이 장애물에 근접해 있음을 감지할 수 있도록 구성될 수도 있다.

또한, 주행부에는 BLDC 모터를 구비하고, 조향부에는 스테핑 모터를 구비하는 구성을 통하여, 주행부(300)의 수명 연장과 조향부(400)의 미세 조향 능력을 향상시키는 구성도 가능하다.

또한, 본 발명의 실시예에 있어서, 본 발명의 바람직한 실시예에 따른 외부 감시카메라를 이용한 모바일 로봇의 위치인식 시스템(1000)은 그 이동수단으로서, 휠 및 바퀴를 사용하여 주행하는 것으로 설명되고 도시되었으나, 본 발명의 외부 감시카메라를 이용한 모바일 로봇의 위치인식 시스템(1000)이 적용된 로봇의 이동수단이 반드시 바퀴인 것으로 한정되는 것은 아니며, 무한궤도, 보행용 다리 등 다른 이동수단을 이용하는 로봇에, 본 발명의 외부 감시카메라를 이용한 모바일 로봇의 위치인식 시스템(1000)이 적용되어도 무방하다.

또한, 도 1에는 제어부(100)에서 전원부(600)에 제어신호를 보내지 않는 것으로 도시되어 있으나, 제어부(100)에서 전원부(600)에 제어신호를 보내, 각 구성요소들로 공급되는 전원을 제어하는 형태로 구현될 수도 있다.

또한, 감지부(200)에 카메라 또는 시각센서를 더 구비하는 구성을 통하여, 본 발명에 따른, 외부 감시카메라를 이용한 모바일 로봇의 위치인식 시스템(1000) 및 모바일 로봇의 활동범위를 실내 뿐만이 아닌 실외까지 넓히는 형태로도 구현될 수 있다.

또한, 도 1에서 각 구성요소를 이어주는 선들에 대하여 설명하면,

일단에 화살표가 표시되지 않은 선들은 전원선으로서, 전원부(600)에서 발생되는 전원을 각 구성요소로 공급하기 위한 선을 나타내며,

일단에 화살표가 있는 선들은 제어부(100)에서 발생되는 제어 신호의 전달 방향 또는 데이터의 전달 방향을 나타내는 선들로서, 해당 선의 양단부 중 화살표가 없는 단부에 연결된 구성요소로부터 화살표가 있는 단부에 연결된 구성요소로 제어신호 또는 데이터가 전달됨을 나타낸다.

도 2는, 본 발명의 바람직한 일 실시예에 따른, 외부 감시카메라를 이용한 모바일 로봇의 위치인식 방법 및 시스템에서 이용하는, 외부 감시카메라의 바람직한 설치 위치의 예를 나타낸 그림이다.

여기에서, 실내에 설치되는, 로봇 외부의 감시카메라는 설치되는 실내 공간의 대향하는 2 측면에 각각 설치되어, 물체에 가려진 영역의 정보를 보완할 수 있도록 설치되는 것이 바람직하다.

도 3은, 본 발명의 바람직한 일 실시예에 따른, 외부 감시카메라를 이용한 모바일 로봇의 위치인식 방법 및 시스템에서 이용되는 영상들 중의 일부로서, 도 3a는 외부 감시카메라로부터 획득된 영상이고, 도 3b는 호모그래피 기법을 통하여 2 영상을 하나의 영상으로 결합시키고, 에어뷰로 변환한 영상이다.

도 3a와 같은 감시카메라의 복도 영상을 조감도와 같은 에어뷰 형태로 변환하기 위해, 영상에서 특정 위치의 영상 좌표와 실제 복도 상의 좌표가 매칭되도록 호모그래피를 이용하여 투영변환하는 과정을 거쳐 그림 3b와 같은 영상을 얻을 수 있게 된다.

도 4는, 2대의 카메라로부터 얻은 영상에서 투영변환을 하기 위해 공통영역의 특징점 Q를 체스보드 형태의 현수막을 이용하여 검출하는 과정의 영상이다.

도 3b의 에어뷰 영상과 같이 투영변환하기 위해서는, 기존 영상의 특징점 Q와 새 영상평면에서 대응되는 점 q의 좌표를 결정해야 한다. 그림 4는 양방향에서 서로 마주 보고 있는 2대의 카메라로부터 얻은 영상으로부터, 투영변환을 하기 위해 공통영역의 특징점 Q를 체스보드 형태의 현수막을 이용해서 검출하는 과정이다.

여기에서, 도 4b의 체스보드는 한 칸의 크기가 45X45 (cm)이며, 복도 폭으로 특징점 거리는 2칸(90cm), 복도 길이로는 12칸(540cm)이다. 본 발명에서는 영상정보를 규격화하기 위해 점 Q에 대응하는 점 q의 좌표를 도 5b와 같이 1cm 당 1화소의 간격으로 구성한다. 상기 체스보드 칸의 크기 및 복도의 길이는 필요에 따라 조정될 수 있음은 물론이다.

도 5는, 본 발명의 바람직한 일 실시예에 따른, 외부 감시카메라를 이용한 모바일 로봇의 위치인식 방법 및 시스템에서 이용되는 영상들 중의 일부로서, 도 5a는 원본 영상의 평면 Q를 나타낸 영상이고, 도 5b는 에어뷰 영상의 평면 q를 나타낸 영상이다.

도 6은, 본 발명의 바람직한 일 실시예에 따른, 외부 감시카메라를 이용한 모바일 로봇의 위치인식 방법 및 시스템에서 이용되는 영상들 중의 일부로서, 호모그래피에 의해, 2 투영 영상으로부터 2차원 맵을 추출하는 과정을 나타낸 영상이다.

도 5까지와 같이 구한 평면 Q의 네 개의 점과 평면 q의 네 개의 점을 이용하여, 3X3의 호모그래피 행렬 H를 구할 수 있다. 이때, 호모그래피 행렬을 구하기 위해서 하기 수학식 1이 사용되며, 평면 Q의 네 개의 점과 평면 q의 네 개의 점에 각각 적용하여, 호모그래피 행렬 H를 얻을 수 있다.

[수학식 1]

단, 수학식 1에서 q와 Q는 각각 평면 q, 평면 Q를 의미함.

호모그래피를 이용한 투영변환 결과인 두 영상의 특징점의 좌표를 도 6의 ①과 같이 새로운 투영평면상의 좌표로 결합하게 되면 도 6의 ②와 같은 결과를 얻을 수 있다. 이 영상에서 실제로 사용하게 될 복도 영역을 관심영역(ROI, Region Of Interest)으로 추출하면 도 6의 ③과 같은 2차원 맵을 구할 수 있다.

도 7은, 본 발명의 바람직한 일 실시예에 따른, 외부 감시카메라를 이용한 모바일 로봇의 위치인식 방법 및 시스템에서 이용되는 영상들 중 2 감시카메라의 호모그래피 투영 영상으로서, 도 7a는 감시카메라의 원본 영상, 도 7b는 도 7a 영상에서 그림자 효과가 제거된 이진화 영상, 도 7c는 도 7b 영상이 호모그래피 투영된 것이다.

여기에서, 2차원 맵 상의 물체 바닥 영역을 구하기 위해서, 도 7a와 같은 감시카메라의 원본 영상을 획득하고, 이 도 7a 영상에서 그림자 효과가 제거된 이진화 영상을 도 7b와 같이 얻은 후, 상기 도 7b의 영상을 호모그래피 투영하여 도 7c와 같은, 호모그래피 투영 영상을 얻는다.

이제, 2차원 맵 내 물체 영상의 중심 위치와 그 크기가 계산되어야 한다.

두 투영변환 영상의 좌표들이 서로 근사하다고 가정하면, 영상에서 바닥에 접해있는 물체 부분의 크기와 위치는 실제 환경의 물체와 거의 일치할 것이다. 따라서 두 영상에서 바닥과 근접한 부분은 남겨두고 겹치지 않는 부분을 제거하면 조감도처럼 위에서 물체를 바라보는 효과를 얻을 수 있다.

이때 호모그래피 투영에는 하기 수학식 2가 사용된다.

여기에서, 1번 카메라 영상의 투영영상이 I ₁ ^H ( x,y ), 2번 카메라 영상의 투영영상이 I ₂ ^H (x,y)라 하면, 수학식 1에 의해 투영평면에 물체 크기와 위치가 생성된다.

[수학식 2]

단, 수학식 2의, I ₁ ^H (x,y)는 카메라 1의 투영 영상, I ₂ ^H (x,y)는 카메라 2의 투영 영상을 의미한다.

도 8은, 본 발명의 바람직한 일 실시예에 따른, 외부 감시카메라를 이용한 모바일 로봇의 위치인식 방법 및 시스템에서 이용되는 영상들 중의 일부로서, 도 7c의 카메라 1, 2의 각 투영 영상 중 공통 영역을 나타낸 영상이며, 그 의미는 호모그래피에 기초한 2차원 맵 상의 물체라 할 수 있다.

도 8은 생성된 호모그래피 영상 기반 2차원 맵 상에서 로봇이 복도에 위치한 모습이다. 그림에서 왼쪽이 1번 카메라 위치이며, 오른쪽이 2번 카메라 위치이다. 이렇게 생성된 영상은 천정에서 아래 방향으로 물체를 보는 것과 같은 효과를 얻을 수 있다.

영상에서 각 물체의 정보를 검출하기 위해 다음과 같은 과정을 수행하였다.

첫째는 물체 영역을 검출하는 과정이다. 영상에서 물체를 검출하기 위해 일반적으로 라벨링(Labeling) 또는 컨투어(Contour) 기법을 사용한다. 이러한 기법들은 이진화 영상을 입력으로 받기 때문에 도 8과 같은 영상에서 물체 영역을 검출하기에 적합하다. 본 발명에서는 빠른 처리과정을 위해 외각선만 검출하는 컨투어 기법을 사용하였다. 컨투어 기법을 통해 각 물체의 외각선 정보를 메모리 스토리지에 저장하였으며, 본 발명의 바람직한 실시예에서는, 제어부(100)에 통합되어 있는 메모리 스토리지를 이용한다.

둘째는 물체 영역의 중심좌표와 면적을 구하기 위해 모멘트(Moment)를 계산하는 과정이다. 모멘트는 물체영역의 크기를 계산할 때 사용된다. 컨투어 기법에서 구한 외각선 정보를 통해 물체의 크기와 중심좌표를 구하였다.

도 8의 물체 영역을 실제 위치와 비교해 보기 위하여 실제 복도 영상을 투영변환으로 생성하여 도 9와 같이 맵을 만들고, 컨투어 과정을 통해 검출한 물체 정보를 표시하였다.

도 9는, 본 발명의 바람직한 일 실시예에 따른, 외부 감시카메라를 이용한 모바일 로봇의 위치인식 방법 및 시스템에서 이용되는 영상들 중의 일부로서, 물체 영역과 투영된 바닥이 결합된 2차원 맵 영상이다.

컨투어 처리로부터 획득된 물체 영역의 크기 및 중심위치를 물체의 실제 크기 및 중심위치 값들과 비교할 때, 상당한 오차가 있었으므로, 도 10과 같은 격자를 사용하여 영상처리를 통해 검출된 물체의 위치와 실제 위치 사이의 차이를 측정하였다.

도 10은, 본 발명의 바람직한 일 실시예에 따른, 외부 감시카메라를 이용한 모바일 로봇의 위치인식 방법 및 시스템에서 이용되는 영상들 중의 일부로서, 시각적으로 검출된 물체영역의 위치 오차를 측정하기 위한 격자 영상으로서, 도 10a는 카메라 1의 영상, 도 10b는 카메라 2의 영상이다.

오차 측정 실험을 위해서는 20 cm 직경의 원통형 물체를 사용하였다. 물체 영역 검출의 1차 측정 오차 보상은 호모그래피를 사용하여 수행되었다. 영상처리를 통해 검출된 그리드를 에어뷰 상의 바닥 영상에 맵핑하여 얻은, 2차원 맵 상의 오차 경계는 7.1 cm 였으며, 도 11은, 호모그래피에 의해 검출된 물체 영역의 오차 보상 결과를 나타낸다.

도 11은, 본 발명의 바람직한 일 실시예에 따른, 외부 감시카메라를 이용한 모바일 로봇의 위치인식 방법 및 시스템에서 이용되는 영상들 중의 일부로서, 호모그래피로 검출된 물체 영역의 오차 보상 결과 영상이다.

도 12는, 본 발명의 바람직한 일 실시예에 따른, 외부 감시카메라를 이용한 모바일 로봇의 위치인식 방법 및 시스템에서 이용되는 영상들 중의 일부로서, 몇 물체가 놓여 있는 실험적 환경을 감시카메라로 촬영한 영상이다. 모바일 로봇은 한 위치에서 다른 위치로 이동하기 위하여 제어된다.

이때, 도 2 내지 도 11 및 수학식 1, 2를 통하여 설명된, 외부 감시카메라를 이용한 모바일 로봇의 위치인식 방법을 이용하는 시스템(1000)이 적용된, 모바일 로봇이 바닥에 놓인 물체들을 물체영역으로 검출하여 장애물로 인식하고, 이동 경로를 결정하여 이동한다. 여기에서, 상기 모바일 로봇이 자체적으로 이동 경로를 결정하도록 구성될 수도 있지만, 서버와 같은 외부 시스템에서 이동 경로를 결정하도록 구성될 수도 있다.

도 13은, 본 발명의 바람직한 일 실시예에 따른, 외부 감시카메라를 이용한 모바일 로봇의 위치인식 방법 및 시스템이 적용된, 모바일 로봇의 경로 제어 실험 결과를 나타낸 그림으로서,

본 발명의 바람직한 일 실시예에 따른, 외부 감시카메라를 이용한 모바일 로봇의 위치인식 방법 및 시스템이 적용된 모바일 로봇이 계획한 이동경로와,

상기 모바일 로봇이 실제 움직인 주행경로 사이의 오차 경계는 ±5 센티미터이다.

여기에서, 상기 모바일 로봇은, 상기 계획한 이동경로와 상기 실제 움직인 주행경로 사이의 오차 경계를 구하고, 그 결과를 지정된 외부 시스템으로 전송할 수 있다. 이때의 외부 시스템은, 상기 모바일 로봇 사용자가 지정하는 컴퓨팅 시스템으로서, 개인용 컴퓨터 시스템일 수도 있고, 서버 등의 서비스용 컴퓨터 시스템일 수도 있다.

도 14는, 본 발명의 바람직한 일 실시예에 따른, 외부 감시카메라를 이용한 모바일 로봇의 위치인식 방법 및 시스템이 적용된 모바일 로봇과 그 구동부를 개략적으로 나타낸 구성도이며, 모바일 로봇과 그 구동부에 대한 상세한 설명은 상기 도 1에 대한 설명에 포함되어 있다.

이상, 일부 예를 들어서 본 발명의 바람직한 여러 가지 실시예에 대해서 설명하였지만, 본 "발명을 실시하기 위한 구체적인 내용" 항목에 기재된 여러 가지 다양한 실시예에 관한 설명은 예시적인 것에 불과한 것이며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 이상의 설명으로부터 본 발명을 다양하게 변형하여 실시하거나 본 발명과 균등한 실시를 행할 수 있다는 점을 잘 이해하고 있을 것이다.

또한, 본 발명은 다른 다양한 형태로 구현될 수 있기 때문에 본 발명은 상술한 설명에 의해서 한정되는 것이 아니며, 이상의 설명은 본 발명의 개시 내용이 완전해지도록 하기 위한 것으로 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것일 뿐이며, 본 발명은 청구범위의 각 청구항에 의해서 정의될 뿐임을 알아야 한다.

100 : 제어부
200 : 감지부
300 : 주행부
310 : 모터드라이버
320 : 구동휠
330 : 구동풀리
340 : 구동벨트
350 : 구동풀리
360 : 구동모터
400 : 조향부
410 : 터릿풀리
420 : 터릿엔코더
450 : 구동부
500 : 통신부
600 : 전원부
1000 : 그림자 제거 시스템

Claims

전달받은 감시카메라 영상 중의 물체 및 장애물을, 그림자 제거 기법과 호모그래피 기법을 통하여 인식하고, 상기 물체 및 장애물을 피하여 주행하는 이동 경로를 생성하고, 그에 따른 제어신호를 발생시켜 자신 이외의 구성요소들을 제어하는 제어부;
조향각과 구동모터의 회전을 감지하여 제어부에 전달하는 감지부;
상기 제어신호에 의해 추진력을 발생시키는 주행부;
상기 제어신호에 의해 이동 경로를 따르도록 조향되는 조향부;
감시카메라로부터 획득한 영상을 제어부에 전달하는 통신부;
자신 이외의 구성요소들에 전력을 제공하는 전원부; 를 포함하여 구성되고,
상기 제어부는
컨투어 기법을 통해 검출된 상기 물체 및 장애물의 외각선 정보를 저장하고, 상기 검출된 물체 및 장애물 영역의 크기 및 중심 위치값을 격자를 사용하여 상기 물체 및 장애물의 실제 크기 및 중심 위치값과 비교하여 차이를 측정하는 것을 특징으로 하는,
외부 감시카메라를 이용한 모바일 로봇의 위치인식 시스템.
제 1항에 있어서,
상기 위치인식 시스템의 외각 일측면에 근접센서 또는 거리센서를 더 포함하는 것을 특징으로 하는,
외부 감시카메라를 이용한 모바일 로봇의 위치인식 시스템.
제 1항에 있어서,
상기 주행부에는 BLDC 모터가 구비되고,
상기 조향부에는 스테핑 모터가 구비되는 것을 특징으로 하는,
외부 감시카메라를 이용한 모바일 로봇의 위치인식 시스템.
제 1항에 있어서,
상기 통신부에 적용되는 통신 프로토콜은 지그비(Zigbee) 무선 통신 프로토콜인 것을 특징으로 하는,
외부 감시카메라를 이용한 모바일 로봇의 위치인식 시스템.
제 1항에 있어서,
상기 통신부에 적용되는 무선 통신 프로토콜은,
하나 또는 복수의 무선 통신 프로토콜이 동시 적용되는 것을 특징으로 하는,
외부 감시카메라를 이용한 모바일 로봇의 위치인식 시스템.
제 1항에 있어서,
상기 주행부의 이동수단으로서, 바퀴 또는 무한궤도 또는 보행용 다리가 구비되는 것을 특징으로 하는,
외부 감시카메라를 이용한 모바일 로봇의 위치인식 시스템.
제 1항 내지 제 6항 중의 어느 한 항에 있어서,
상기 감지부에 카메라 또는 시각센서를 더 구비하는 것을 특징으로 하는,
외부 감시카메라를 이용한 모바일 로봇의 위치인식 시스템.
인접하여 설치된 실내 감시카메라들로부터 획득한 원본 영상들을, 이진화하고 그림자 제거하는 단계;
상기 이진화되고 그림자 제거된 영상들을 호모그래피 기법으로 병합하는 단계;
컨투어 기법을 통하여 상기 원본 영상에 포함된 물체들의 위치와 크기를 인식하는 단계;
인식된 물체의 위치와 크기 오차를 보상하고, 그리드와 병합된 실제 바닥 영상에 상기 위치와 크기가 보상된 물체를 맵핑하는 단계;
외부 감시카메라를 이용한 모바일 로봇의 위치인식 방법.
제 8항에 있어서,
상기 호모그래피 기법으로 병합하는 단계에서는,
상기 이진화되고 그림자 제거된 영상들에 하기 수학식 1과 수학식 2를 적용하는 것을 특징으로 하는,
외부 감시카메라를 이용한 모바일 로봇의 위치인식 방법.

[수학식 1]

(상기 수학식 1에서 q와 Q는 각각 평면 q, 평면 Q를 의미함.)

[수학식 2]

(상기 수학식 2의, I ₁ ^H (x,y)는 카메라 1의 투영 영상, I ₂ ^H (x,y)는 카메라 2의 투영 영상을 의미한다.)
제 8항 또는 제 9항에 있어서,
상기 위치와 크기가 보상된 물체를 맵핑하는 단계 이후에,
상기 맵핑에 기초하여 이동경로를 계획하는 단계; 를 더 포함하는 것을 특징으로 하는,
외부 감시카메라를 이용한 모바일 로봇의 위치인식 방법.
제 10항에 있어서,
상기 이동경로를 계획하는 단계 이후,
상기 계획된 이동경로를 따르는, 상기 모바일 로봇의 실제 주행이 이루어진 후에,
상기 계획된 이동경로와 상기 실제 주행경로를 동일한 맵 상에 표시하고,
상기 이동경로와 상기 주행경로 사이의 오차 경계를 구하는 단계; 및
상기 오차 경계를 외부 시스템으로 전송하는 단계; 를 더 포함하는 것을 특징으로 하는,
외부 감시카메라를 이용한 모바일 로봇의 위치인식 방법.
제 11항에 있어서,
상기 계획된 이동경로와 상기 실제 주행경로가 함께 표시되는 상기 맵 상에,
일정 간격의 정방형 눈금을 포함하는 격자 또는 그리드가, 상기 이동경로 및 상기 주행경로와 함께 표시되는 것을 특징으로 하는,
외부 감시카메라를 이용한 모바일 로봇의 위치인식 방법.
제 11항에 있어서,
상기 오차 경계가 전송되는 외부 시스템은,
복수의 모바일 로봇으로부터 전송되는 오차 경계를 저장 및 처리하며,
상기 저장된 오차 경계 또는 상기 처리의 결과를 다시 외부로 전송할 수 있도록 구성되는 것을 특징으로 하는,
외부 감시카메라를 이용한 모바일 로봇의 위치인식 방법.