KR20200106122A - ToF 센서를 이용한 영상 검출을 통한 로봇 제어방법 - Google Patents

Abstract

본 발명은 로봇 제어방법에 관한 것으로서, 보다 구체적으로는 ToF 센서에 의한 정밀한 거리측정 정보에 기초하여 카메라가 촬영한 영상을 분석하여 로봇을 제어함으로써 로봇의 자세와 움직임을 정확하게 제어할 수 있는 ToF 센서를 이용한 영상 검출을 통한 로봇 제어방법에 관한 것이다.
이를 위해 본 발명은, 적외선의 비상 시간을 측정하여 거리로 환산 가능하도록 하는 ToF(Time of Flight) 센서와, 영상 촬영을 위한 촬영 카메라를 구비한 로봇의 제어방법에 있어서, 상기 ToF 센서가 대상물의 거리를 측정하는 대상물 거리 측정단계와; 상기 대상물 거리 측정단계를 통해 확인된 대상물이 일정 범위 내에 있을 경우 촬영 카메라를 작동시키는 카메라 작동단계와; 상기 카메라 작동단계를 거쳐 촬영 카메라가 촬영한 영상을 분석하여 로봇의 이동 경로를 생성하는 로봇 경로 생성단계와; 상기 로봇 경로 생성단계에서 생성된 이동 경로에 기초하여 로봇의 이동수단을 제어하는 로봇 이동수단 제어단계;를 포함하는 것을 특징으로 한다.

Description

ToF 센서를 이용한 영상 검출을 통한 로봇 제어방법{ROBOT CONTROL METHOD THROUGH PICTURE DETECTING USING ToF SENSOR}

본 발명은 로봇 제어방법에 관한 것으로서, 보다 구체적으로는 ToF 센서에 의한 정밀한 거리측정 정보에 기초하여 카메라가 촬영한 영상을 분석하여 로봇을 제어함으로써 로봇의 자세와 움직임을 정확하게 제어할 수 있는 ToF 센서를 이용한 영상 검출을 통한 로봇 제어방법에 관한 것이다.

일반적으로 이동용 로봇은 본체 상에 설치된 초음파 센서를 이용하여 벽이나 장애물로 둘러싸인 공간의 감지하고, 이를 토대로 주행방향을 설정하며, 설정된 주행경로에 따라 바퀴의 회전수 및 회전각도를 검출하는 센서를 통해 검출된 신호로부터 주행거리 및 현재 위치를 산출하면서 계획된 주행경로를 주행할 수 있도록 바퀴를 구동시키게 되어 있다.

그러나, 이러한 종래의 주행제어 방법은 이동로봇이 주행하는 동안 바퀴의 슬립, 바닥면의 굴곡 등에 의해 센서로 검출된 신호로부터 산출된 주행방향과 실제 주행방향 사이에 오차가 발생하게되며, 이러한 방향 인식오차는 이동로봇이 주행하면할 수록 누적되어 오차량이 커지게 되는 경향이 있었다.

이와 같은 오차량의 증가에 의해 이동로봇은 최초로 계획되어 설정된 경로를 이탈하게 되기도 하며, 이러한 주행경로 이탈로 인하여 작업수행능력 및 효율이 저하되고, 예기치 못한 충돌사고가 발생되기도 하며, 이로인해 수리비용이 발생되었다.

특히, 특정 공간내를 순차적으로 왕복이동하는 로봇이나, 설정된 구역을 청소하는 청소용 로봇의 경우, 설정된 주행경로를 이탈하게 될 경우, 작업이 불가능하게 되고, 감시자가 항시 대기하거나 수시로 주행상태를 체크해야 하므로, 추가 인력이 필요하며, 이로 인해 로봇의 적용목적을 무의미하게 하는 등 여러 가지 문제점이 있었다.

대한민국 등록특허공보 제10-1448278호 대한민국 등록특허공보 제10-1777019호

본 발명은 상기한 종래 기술의 문제점을 해결하기 위해 안출된 것으로서, ToF 센서에 의한 정밀한 거리측정 정보에 기초하여 카메라가 촬영한 영상을 분석하여 로봇을 제어함으로써 로봇의 자세와 움직임을 정확하게 제어할 수 있는 ToF 센서를 이용한 영상 검출을 통한 로봇 제어방법을 제공하는데 그 목적이 있다.

상기 목적을 달성하기 위하여, 본 발명은, 적외선의 비상 시간을 측정하여 거리로 환산 가능하도록 하는 ToF(Time of Flight) 센서와, 영상 촬영을 위한 촬영 카메라를 구비한 로봇의 제어방법에 있어서, 상기 ToF 센서가 대상물의 거리를 측정하는 대상물 거리 측정단계와; 상기 대상물 거리 측정단계를 통해 확인된 대상물이 일정 범위 내에 있을 경우 촬영 카메라를 작동시키는 카메라 작동단계와; 상기 카메라 작동단계를 거쳐 촬영 카메라가 촬영한 영상을 분석하여 로봇의 이동 경로를 생성하는 로봇 경로 생성단계와; 상기 로봇 경로 생성단계에서 생성된 이동 경로에 기초하여 로봇의 이동수단을 제어하는 로봇 이동수단 제어단계;를 포함하는 것을 특징으로 한다.

여기서, 상기 로봇 경로 생성단계는 촬영 카메라가 촬영한 영상에서 이동 경로를 생성할 시에 물체가 있는 구역을 확인하여 물체를 회피하도록 이동 경로를 생성하는 것을 특징으로 한다.

또한, 상기 로봇 경로 생성단계는 촬영 카메라가 촬영한 영상을 3D로 변환한 다음 가상의 이동 경로를 시뮬레이션한 상태에서 이상 없음이 판단되는 이동 경로를 생성하는 것을 특징으로 한다.

이상과 같은 본 발명에 따른 ToF 센서를 이용한 영상 검출을 통한 로봇 제어방법은 ToF 센서에 의한 정밀한 거리측정 정보에 기초하여 카메라가 촬영한 영상을 분석하여 로봇을 제어함으로써 로봇의 자세와 움직임을 정확하게 제어할 수 있다.

도 1은 본 발명에 따른 ToF 센서를 이용한 영상 검출을 통한 로봇 제어방법을 도시한 순서도.

본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.

따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.

이하, 도면을 참조로 하여 본 발명에 따른 ToF 센서를 이용한 영상 검출을 통한 로봇 제어방법을 설명하기로 한다.

도 1은 본 발명에 따른 ToF 센서를 이용한 영상 검출을 통한 로봇 제어방법을 도시한 순서도이다.

본 발명은 적외선의 비상 시간을 측정하여 거리로 환산 가능하도록 하는 ToF(Time of Flight) 센서와, 영상 촬영을 위한 촬영 카메라를 구비한 로봇의 제어방법에 관한 것으로서, 기본적으로 대상물 거리 측정단계와, 카메라 작동단계와, 로봇 경로 생성단계와, 로봇 이동수단 제어단계를 포함하여 구성된다.

보다 구체적으로, 본 발명은 상기 ToF 센서가 대상물의 거리를 측정하는 대상물 거리 측정단계와, 대상물 거리 측정단계를 통해 확인된 대상물이 일정 범위 내에 있을 경우 촬영 카메라를 작동시키는 카메라 작동단계와, 카메라 작동단계를 거쳐 촬영 카메라가 촬영한 영상을 분석하여 로봇의 이동 경로를 생성하는 로봇 경로 생성단계와, 로봇 경로 생성단계에서 생성된 이동 경로에 기초하여 로봇의 이동수단을 제어하는 로봇 이동수단 제어단계를 포함하여 이루어진다.

상기 대상물 거리 측정단계에서는 ToF 센서를 사용함에 따라 대상물의 거리 측정정보를 촬영 카메라가 촬영한 영상과 매칭시켜 공간상의 깊이 정보가 컬러를 갖는 2D 형태의 영상에 일대일 형태로 정합시켜 사용 가능하도록 하게 된다.

상기 ToF 센서는 거리 측정 정보를 실시간 영상 처리 가능하게 하고 가격이 저렴함과 아울러 실내에서는 주야간 모두 사용이 가능하며, 영상처리에서 발생하는 오류로부터 비교적 자유로운 정보를 취득하는 장점을 갖는다.

상기 카메라 작동단계는 ToF 센서에 의해 감지된 대상물 위주로 촬영 카메라가 영상을 촬영하도록 함으로써 불필요한 영상 촬영에 따른 전력 소모와 데이터 처리에 소요되는 시간을 배제시키도록 한다.

상기 로봇 경로 생성단계는 로봇이 이동할 경로를 생성하기 위한 것으로, 카마레 작동단계에서 촬영된 영상을 분석하여 로봇이 이동할 전체적인 경로를 실시간으로 분석하여 생성하게 된다.

여기서, 상기 로봇 경로 생성단계는 촬영 카메라가 촬영한 영상에서 이동 경로를 생성할 시에 물체가 있는 구역을 확인하여 물체를 회피하도록 이동 경로를 생성하도록 함으로써 물체와 로봇이 충돌하지 않도록 하는데, ToF 센서 및 촬영 카메라가 촬영한 영상을 실시간으로 분석하여 순간적인 이동 경로 생성/변경 등이 가능할 수 있다.

또한, 상기 로봇 경로 생성단계는 촬영 카메라가 촬영한 영상을 3D로 변환한 다음 가상의 이동 경로를 시뮬레이션한 상태에서 이상 없음이 판단되는 이동 경로를 생성하게 되며, 이는 ToF 센서 및 촬영 카메라가 촬영한 영상을 실시간으로 분석하여 생성된 이동 경로 정보에 따라 로봇이 이동하면서 잘못된 이동 경로 정보로 인해 로봇이 훼손되는 문제점을 미리 가상의 이동 경로를 시뮬레이션함으로써 방지할 수 있는 한편, 혹여 생성된 이동 경로 정보 및 가상의 이동 경로 시뮬레이션에서도 문제가 발견될 시에, 이를 상호 비교하여 딥 러닝 방식을 통해 지속적으로 원인을 분석함으로써 시간 경과에 따라 최적의 로봇 이동 경로를 생성 가능하게 할 수 있다.

상기 로봇 이동수단 제어단계는 로봇 경로 생성단계에서 생성된 로봇 이동 경로에 기초하여, 로봇의 바퀴, 모터, 전원공급 상황 등을 제어하기 위한 것으로, 로봇의 해당 구성요소를 제어하여 희망하는 로봇의 최종 이동 위치까지 최대한 물체와의 접촉을 방지한 상태로 이동 가능하게 지원하게 된다.

이상에서 첨부된 도면을 참조하여 본 발명을 설명함에 있어 특정형상 및 방향을 위주로 설명하였으나, 본 발명은 당업자에 의하여 다양한 변형 및 변경이 가능하고, 이러한 변형 및 변경은 본 발명의 권리범위에 포함되는 것으로 해석되어야 한다.

Claims (3)

1. 적외선의 비상 시간을 측정하여 거리로 환산 가능하도록 하는 ToF(Time of Flight) 센서와, 영상 촬영을 위한 촬영 카메라를 구비한 로봇의 제어방법에 있어서,
   상기 ToF 센서가 대상물의 거리를 측정하는 대상물 거리 측정단계와;
   상기 대상물 거리 측정단계를 통해 확인된 대상물이 일정 범위 내에 있을 경우 촬영 카메라를 작동시키는 카메라 작동단계와;
   상기 카메라 작동단계를 거쳐 촬영 카메라가 촬영한 영상을 분석하여 로봇의 이동 경로를 생성하는 로봇 경로 생성단계와;
   상기 로봇 경로 생성단계에서 생성된 이동 경로에 기초하여 로봇의 이동수단을 제어하는 로봇 이동수단 제어단계;를 포함하는 것을 특징으로 하는 ToF 센서를 이용한 영상 검출을 통한 로봇 제어방법.
   
2. 청구항 1에 있어서,
   상기 로봇 경로 생성단계는 촬영 카메라가 촬영한 영상에서 이동 경로를 생성할 시에 물체가 있는 구역을 확인하여 물체를 회피하도록 이동 경로를 생성하는 것을 특징으로 하는 ToF 센서를 이용한 영상 검출을 통한 로봇 제어방법.
   
3. 청구항 1에 있어서,
   상기 로봇 경로 생성단계는 촬영 카메라가 촬영한 영상을 3D로 변환한 다음 가상의 이동 경로를 시뮬레이션한 상태에서 이상 없음이 판단되는 이동 경로를 생성하는 것을 특징으로 하는 ToF 센서를 이용한 영상 검출을 통한 로봇 제어방법.
   

Images