KR20220139528A - 로봇 및 사람이 탑승하는 엘리베이터를 제어하는 방법 및 엘리베이터 제어 시스템 - Google Patents

Abstract

로봇과 사람이 탑승 가능하도록 구성된 엘리베이터 카 내부를 촬영한 영상에 기반하여, 엘리베이터 카에 탑승한 오브젝트(들)의 공간 점유 정도를 계산하고, 계산된 공간 점유 정도에 기반하여 해당 엘리베이터 카 내에 로봇을 탑승시키기 위해 엘리베이터 카의 이동을 제어하기 위한 신호를 생성하는 엘리베이터 제어 방법이 제공된다.

Description

로봇 및 사람이 탑승하는 엘리베이터를 제어하는 방법 및 엘리베이터 제어 시스템{ELEVATOR CONTROL SYSTEM AND METHOD FOR CONTROLLING ELEVATOR WHICH ROBOT AND HUMAN BOARD}

아래의 설명은 로봇 및 사람의 탑승을 위한 엘리베이터를 제어하는 시스템 및 방법에 관한 것이다.

자율 주행 로봇은 스스로 주변을 살피고 장애물을 감지하면서 바퀴나 다리를 이용하여 목적지까지 최적 경로를 찾아가는 로봇으로, 자율 주행 차량이나, 물류, 호텔 서비스, 로봇 청소기 등 다양한 분야를 위해 개발 및 활용되고 있다.

건물 내에서 서비스를 제공하기 위해 사용되는 로봇은, 건물의 특정한 층에서 서비스를 제공하기 위해 해당 건물 내에 설치된 엘리베이터(엘리베이터 카)에 탑승해야 하는 경우가 있다. 그러나, 로봇이 사람이 이용하는 엘리베이터에 탑승하는 경우, 로봇과 사람 간의 충돌 또는 간섭이 발생하거나, 엘리베이터 내에 로봇이 탑승하기 위한 충분한 공간이 마련되지 않는 경우가 많다.

따라서, 로봇 또는 로봇 제어 시스템에 의한 요청에 따라, 엘리베이터 내에 로봇이 탑승할 수 있는 충분한 공간이 확보되고 있는지를 판정하고, 로봇의 탑승에 적합한 엘리베이터를 결정하여 로봇이 탑승하도록 제어할 수 있는 엘리베이터 제어 시스템이 요구된다.

한국공개특허 제10-2019-0002131호는 엘리베이터를 이용하려는 이용자의 수를 분석하고 각 경우에 맞게 스스로 학습하고 수정하되, 이용자가 잘못된 엘리베이터 층수를 입력하더라도 빅데이터 기반으로 원하는 층수를 스스로 제시 가능하도록 하는 인공 지능형 이용자 기반 엘리베이터 장치 및 그 제어 방법에 대해 개시하고 있다.

상기에서 설명된 정보는 단지 이해를 돕기 위한 것이며, 종래 기술의 일부를 형성하지 않는 내용을 포함할 수 있다.

로봇과 사람이 탑승 가능하도록 구성된 엘리베이터 카 내부를 촬영한 영상에 기반하여, 엘리베이터 카에 탑승한 오브젝트(들)의 공간 점유 정도(예컨대, 점유율 또는 공간 점유 정보)를 계산하고, 계산된 공간 점유 정도에 기반하여 해당 엘리베이터 카 내에 로봇을 탑승시키기 위해 엘리베이터 카의 이동을 제어하기 위한 신호를 생성하는 엘리베이터 제어 방법을 제공한다.

탑승한 오브젝트의 공간 점유 정도를 계산하기 위해, 엘리베이터 카의 바닥의 위치에 따라 상이하게 정의되는 가중치를 적용함으로써, 카메라에 의한 왜곡을 보정하고 공간 점유 정도를 정확하게 계산하는 방법을 제공한다.

로봇 또는 로봇 제어 시스템에 의한 요청에 따라, 로봇이 탑승 가능한 충분한 공간이 확보되고 있는 엘리베이터 카를 선택하여, 선택된 엘리베이터 카를 로봇의 탑승을 위해 제어하는 방법을 제공한다.

일 측면에 있어서, 엘리베이터 제어 시스템에 의해 수행되는 엘리베이터 제어 방법에 있어서, 로봇과 사람이 탑승 가능하도록 구성된 엘리베이터 카 내에 마련된 카메라에 의해 촬영된 상기 엘리베이터 카 내부의 영상에 기반하여, 상기 엘리베이터 카 내에 탑승하고 있는 오브젝트에 의한 상기 엘리베이터 카에 대한 공간 점유 정도를 계산하는 단계 및 상기 계산된 공간 점유 정도에 기반하여, 상기 엘리베이터 카 내에 상기 로봇을 탑승시키기 위해 상기 로봇의 위치로 이동하도록 상기 엘리베이터 카를 제어하기 위한 신호를 생성하는 단계를 포함하는, 엘리베이터 제어 방법이 제공된다.

상기 카메라는, 상기 엘리베이터 카의 천장의 중앙 또는 상기 엘리베이터 카의 도어의 반대측의 천장의 모서리의 중앙에 설치되는 광각 카메라이며, 상기 엘리베이터 카의 바닥을 촬영하도록 구성될 수 있다.

상기 공간 점유 정도를 계산하는 단계는, 상기 영상으로부터 상기 엘리베이터 카 내에 탑승하고 있는 오브젝트의 각각을 검출하는 단계, 상기 엘리베이터 카의 바닥의 면적과 상기 오브젝트의 각각이 차치하는 면적의 차이 또는 상기 바닥의 면적에 대한 상기 오브젝트의 각각이 차치하는 면적의 비율을 계산하는 단계 및 상기 계산된 차이 또는 비율에 기반하여 상기 공간 점유 정도를 계산하는 단계를 포함할 수 있다.

상기 차이 또는 비율을 계산하는 단계는, 상기 바닥에 대해 상기 검출된 오브젝트의 각각을 투영시키는 단계 및 상기 바닥의 면적과 상기 투영된 오브젝트의 각각이 차지하는 면적에 기반하여 상기 차이 또는 비율을 계산하는 단계를 포함할 수 있다.

상기 차이 또는 비율을 계산하는 단계는, 상기 오브젝트의 각각의 상기 바닥 상에서의 위치를 결정하는 단계 및 상기 바닥 상의 각 위치에 대해 적용되는 가중치를 정의하는 가중치 맵을 상기 오브젝트의 각각에 대해 적용함으로써 상기 오브젝트의 각각이 차치하는 면적을 계산하는 단계를 포함할 수 있다.

상기 가중치 맵은, 상기 바닥의 중심으로부터 상기 바닥의 꼭지점을 향할수록 더 큰 값의 가중치를 갖는 것으로 정의되거나, 복수의 구역들로 구분된 상기 바닥에 대해 상기 구역들 별로 상이한 가중치를 갖는 것으로 정의될 수 있다.

상기 공간 점유 정도를 계산하는 단계는, 상기 계산된 차이 또는 비율에 기반한 제1 공간 점유 정도와 상기 엘리베이터 카에 대한 최대 탑승 인원 수에 대한 상기 엘리베이터 카 내에 탑승하고 있는 오브젝트의 수에 기반한 제2 공간 점유 정도를 계산하는 단계 및 상기 제1 공간 점유 정도 및 상기 제2 공간 점유 정도에 기반하여 상기 공간 점유 정도를 계산하는 단계를 포함할 수 있다.

상기 공간 점유 정도는, 상기 제1 공간 점유 정도에 제1 가중치를 곱한 값과 상기 제2 공간 점유 정도에 제2 가중치를 곱한 값의 합에 기반하여 계산되고, 상기 제1 가중치는 상기 제2 가중치에 비해 더 작은 값으로 정의될 수 있다.

상기 오브젝트의 각각을 검출하는 단계는, 상기 영상 내에서 상기 오브젝트 각각의 머리 부분을 검출함으로써 상기 오브젝트의 각각을 검출하고, 상기 오브젝트 각각의 머리 부분은, 바닥을 수직 방향으로 촬영한 영상으로부터 사람 또는 로봇의 머리 부분을 검출하도록 훈련된 학습 모델을 사용하여 검출될 수 있다.

상기 차이 또는 비율을 계산하는 단계는, 상기 영상에서 상기 오브젝트의 각각을 상기 바닥과 구분되도록 세그먼트화하는 단계, 상기 바닥에 해당하는 바닥 부분 중 세그먼트화된 상기 오브젝트가 차지하는 점유 부분을 식별하는 단계 및 상기 바닥 부분에 대한 상기 점유 부분의 비율을 상기 바닥의 면적에 대한 상기 오브젝트가 차치하는 면적의 비율로서 계산하는 단계를 포함할 수 있다.

상기 엘리베이터 제어 방법은, 상기 로봇 또는 상기 로봇을 제어하는 로봇 제어 시스템으로부터, 엘리베이터 카에 대한 호출을 수신하는 단계를 더 포함하고, 상기 신호를 생성하는 단계는, 상기 계산된 공간 점유 정도에 기반하여 상기 로봇이 탑승 가능한 것으로 판정된 엘리베이터 카를 상기 로봇의 위치로 이동하도록 제어하기 위한 신호를 생성하는 단계를 포함할 수 있다.

상기 엘리베이터 제어 방법은, 상기 로봇의 위치로 이동되는 상기 엘리베이터 카는, 복수의 엘리베이터 카들 중에서 상기 계산된 공간 점유 정도가 소정의 값 미만인 것으로서 선택된 것일 수 있다.

상기 호출은 상기 로봇의 크기 정보 또는 상기 로봇의 엘리베이터 카 내의 탑승을 위해 필요한 요구 면적 정보를 포함하고, 상기 크기 정보 또는 상기 요구 면적 정보와 상기 계산된 공간 점유 정도에 기반하여 엘리베이터 카에 상기 로봇이 탑승 가능한지 여부가 판정될 수 있다.

상기 엘리베이터 제어 방법은, 복수의 로봇들 중 적어도 하나 또는 상기 로봇들을 제어하는 로봇 제어 시스템으로부터, 상기 로봇들의 탑승을 위한 엘리베이터 카에 대한 호출을 수신하는 단계를 더 포함하고, 상기 신호를 생성하는 단계는, 상기 계산된 공간 점유 정도에 기반하여 상기 로봇들이 탑승 가능한 것으로 판정된 엘리베이터 카를 상기 로봇들의 탑승을 위해 상기 로봇들의 위치로 이동하도록 제어하기 위한 신호를 생성하는 단계를 포함할 수 있다.

상기 공간 점유 정도는, 상기 카메라가 마련된 위치 정보, 상기 엘리베이터 카에 대한 최대 탑승 인원 수 및 상기 엘리베이터 카의 바닥의 면적 정보에 기반하여, 상기 영상을 분석함으로써 계산될 수 있다.

다른 일 측면에 있어서, 로봇과 사람이 탑승 가능하도록 구성된 엘리베이터 카를 제어하는 엘리베이터 제어 시스템에 있어서, 컴퓨터에서 판독 가능한 명령을 실행하도록 구현되는 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는, 상기 엘리베이터 카 내에 마련된 카메라에 의해 촬영된 상기 엘리베이터 카 내부의 영상에 기반하여, 상기 엘리베이터 카 내에 탑승하고 있는 오브젝트에 의한 상기 엘리베이터 카에 대한 공간 점유 정도를 계산하고, 상기 계산된 공간 점유 정도에 기반하여, 상기 엘리베이터 카 내에 상기 로봇을 탑승시키기 위해 상기 로봇의 위치로 이동하도록 상기 엘리베이터 카를 제어하기 위한 신호를 생성하는, 엘리베이터 제어 시스템이 제공된다.

또 다른 일 측면에 있어서, 컴퓨터 시스템에 의해 수행되는, 엘리베이터 카에 대한 공간 점유 정도를 계산하는 방법에 있어서, 로봇과 사람이 탑승 가능하도록 구성된 엘리베이터 카 내에 마련된 카메라에 의해 촬영된 상기 엘리베이터 카 내부의 영상에 기반하여, 상기 엘리베이터 카 내에 탑승하고 있는 오브젝트에 의한 상기 엘리베이터 카에 대한 공간 점유 정도를 계산하는 단계 및 상기 계산된 공간 점유 정도를, 상기 엘리베이터 카 내에 상기 로봇을 탑승시키기 위해 상기 로봇의 위치로 이동하도록 상기 엘리베이터 카를 제어하는 제어반을 포함하는 시스템으로 전달하는 단계를 포함하는, 공간 점유 정도를 계산하는 방법이 제공된다.

무게 센서를 비롯한 기타 다수의 센서에 의하지 않고도, 엘리베이터 카 내부를 촬영한 영상에 기반하여 엘리베이터 카에 탑승한 오브젝트의 공간 점유 정도(즉, 공간 점유율 또는 공간 점유 정보)를 계산할 수 있다. 즉, 무게 센서만으로는 엘리베이터 카 내의 정확한 탑승 인원을 알 수 없으며, 엘리베이터 카 내에 다수의 센서를 배치하더라도 엘리베이터 카 내부의 공간 점유 정도를 정확하게 탐지할 수는 없었으나, 실시예를 통해서는 영상을 분석함으로써 엘리베이터 카 내부의 공간 점유 정도를 정확하게 계산해 낼 수 있다.

엘리베이터 카의 바닥의 위치/구역에 따라 상이하게 정의되는 가중치를 적용하여 엘리베이터 카에 탑승한 오브젝트의 공간 점유 정도를 계산함으로써, 공간 점유 정도 계산에 있어서의 정확도를 높일 수 있다.

제1 공간 점유 정도에 해당하는 바닥 부분의 전체 공간에 대한 오브젝트에 의한 바닥 부분의 점유 부분의 비율에 해당하는 바닥 공간 점유율과 제2 공간 점유 정도에 해당하는 엘리베이터 카의 최대 탑승 인원 수에 대한 탑승한 오브젝트의 수의 비율에 대해, 각기 다른 가중치를 적용함으로써, 영상의 왜곡에 따른 오차를 최소화하면서 엘리베이터 카에 탑승한 오브젝트의 공간 점유 정도를 정확하게 계산할 수 있다.

로봇 또는 로봇 제어 시스템에 의한 요청에 따라, 로봇이 탑승 가능한 충분한 공간이 확보되고 있는 엘리베이터 카를 선택하여 선택된 엘리베이터 카를 로봇의 탑승을 위해 제어함으로써, 로봇과 사람이 함께 사용하는 엘리베이터에 대한 효용성을 높일 수 있다.

도 1은 일 실시예에 따른, 로봇과 사람이 탑승 가능하도록 구성된 엘리베이터 카를 제어하는 엘리베이터 제어 시스템에 의해 수행되는 엘리베이터 제어 방법을 나타낸다.
도 2 는 일 실시예에 따른, 건물 내에서 서비스를 제공하는 로봇을 나타내는 블록도이다.
도 3은 일 실시예에 따른, 엘리베이터 카를 제어하는 엘리베이터 제어 시스템을 나타내는 블록도이다.
도 4는 일 실시예에 따른, 로봇을 제어하는 로봇 제어 시스템을 나타내는 블록도이다.
도 5는 일 실시예에 따른, 로봇과 사람이 탑승 가능하도록 구성된 엘리베이터 카를 제어하는 엘리베이터 제어 방법을 나타내는 흐름도이다.
도 6은 일 예에 따른, 엘리베이터 카 내부의 영상에 기반하여, 탑승한 오브젝트(들)의 공간 점유 정도를 계산하는 방법을 나타내는 흐름도이다.
도 7, 도 8 및 도 10은 일 예에 따른, 엘리베이터 카의 바닥의 면적과 오브젝트의 면적이 차이 또는 엘리베이터 카의 바닥의 면적에 대한 오브젝트의 면적의 비율을 계산하는 방법을 나타내는 흐름도이다.
도 9는 일 예에 따른, 엘리베이터 카에 탑승한 오브젝트(들)의 공간 점유 정도를 계산하는 방법을 나타내는 흐름도이다.
도 11은 일 예에 따른, 엘리베이터 카에 탑승한 오브젝트(들)의 공간 점유 정도를 계산하기 위해 사용되는 가중치 맵을 나타낸다.
도 12 및 도 13은 일 예에 따른, 가중치 맵에 따른 가중치의 적용 및 비율 가중치의 적용에 따라 엘리베이터 카에 탑승한 오브젝트(들)의 공간 점유 정도를 계산하는 방법을 나타낸다.
도 14는 일 예에 따른, 엘리베이터 카 내부를 촬영한 영상에서 엘리베이터 카에 탑승한 오브젝트들을 식별하고 이들에 의한 공간 점유 정도를 계산한 결과를 나타낸다.
도 15는 일 예에 따른, 엘리베이터 카를 제어하기 위한 엘리베이터 제어 시스템의 네트워크 구성을 나타낸다.
도 16는 일 예에 따른, 공간 점유 정도를 계산하기 위해 엘리베이터 카 내부를 촬영한 영상을 처리하고, 엘리베이터 카를 제어하는 방법을 나타낸다.
도 17 및 도 18은 일 예에 따른, 엘리베이터 카 내에 엘리베이터 카의 바닥을 촬영하기 위한 카메라를 설치하는 방법을 나타낸다.
도 19는 일 예에 따른, 엘리베이터 카 내부를 촬영한 영상을 세그먼트화 한 결과를 나타낸다.

이하, 실시예를 첨부한 도면을 참조하여 상세히 설명한다.

도 1은 일 실시예에 따른, 로봇과 사람이 탑승 가능하도록 구성된 엘리베이터 카를 제어하는 엘리베이터 제어 시스템에 의해 수행되는 엘리베이터 제어 방법을 나타낸다.

도 1에서는 사람과 로봇(100)이 탑승 가능하도록 구성되는 건물 내에 설치된 엘리베이터(20)(이하, '엘리베이터 카'라고 함)와, 엘리베이터 카(20)를 제어하는 엘리베이터 제어 시스템(130)과, 로봇(100)을 제어하는 로봇 제어 시스템(140)이 도시되었다.

로봇(100)은 건물 내의 적어도 하나의 층에서 서비스를 제공하기 위한 서비스 로봇일 수 있다.

엘리베이터 카(20)는 건물 내의 층들 간을 이동하는 장치로서, 서비스를 제공하기 위해, 로봇(100)이 탑승하여 로봇(100)이 건물 내의 층들 간을 이동하도록 할 수 있다. 엘리베이터 카(20)는 사람과 로봇(100)의 탑승이 모두 허용되는 엘리베이터일 수 있다. 말하자면, 엘리베이터 카(20)는 로봇(100)의 탑승만이 허용되는 로봇 전용 엘리베이터와는 구분되는 것일 수 있다.

도시되지는 않았으나, 엘리베이터 카(20)가 마련되는 건물 내에는 복수의 엘리베이터 카들이 마련될 수 있고, 도시된 엘리베이터 카(20)는 이러한 복수의 엘리베이터 카들 중 어느 하나를 나타내는 것일 수 있다. 또한, 로봇(100)은 도시된 복수의 로봇들 중 어느 하나로서, 서비스 제공을 위해 엘리베이터 카를 호출하여 엘리베이터 카(20)에 탑승하고자 하는 로봇을 나타낼 수 있다. 후술될 상세한 설명에서도 이에 따라 엘리베이터 카(20) 및 로봇(100)에 관해 설명한다.

엘리베이터 카(20)는 엘리베이터 제어 시스템(130)에 의해(또는 엘리베이터 제어 시스템(130)에 의해 생성되는 신호에 기반하여) 제어될 수 있다. 예컨대, 엘리베이터 제어 시스템(130)은 서비스 요청자 또는 로봇(100)(로봇(100)을 제어하는 로봇 제어 시스템(140))으로부터의 호출에 따라, 복수의 엘리베이터 카들 중 로봇(100)이 탑승 가능한(예컨대, 로봇(100)이 탑승 가능한 공간이 확보되어 있는) 엘리베이터 카(20)를 선택할 수 있고, 선택된 엘리베이터 카(20)를 로봇(100)의 위치(즉, 로봇(100)이 위치하는 층)로 이동시킬 수 있다.

엘리베이터 카(20)가 로봇(100)의 위치에 도착한 때, 엘리베이터 제어 시스템(130)은 엘리베이터 카(20)의 도어를 제어하여 로봇(100)이 엘리베이터 카(20)에 탑승하도록 할 수 있다.

로봇(100)의 이동 및 로봇(100)의 엘리베이터 카(20)에 대한 탑승 또는 하차는 로봇 제어 시스템(140)에 의해 제어될 수 있다.

엘리베이터 카(20)의 내부에는 카메라가 마련될 수 있고, 카메라에 의해 엘리베이터 카(20)의 내부가 촬영될 수 있다. 이러한 카메라는 엘리베이터 카(20)의 천장의 중앙 또는 엘리베이터 카(20)의 도어의 반대측의 천장의 모서리의 중앙에 설치되는 광각 카메라(광각 렌즈를 포함하는 카메라)일 수 있다. 설치된 카메라는 엘리베이터 카(20)의 바닥(50)을 (수직으로 또는 가능한 한 수직으로) 촬영하도록 구성될 수 있다.

관련하여, 도 17 및 도 18은 일 예에 따른, 엘리베이터 카 내에 엘리베이터 카의 바닥을 촬영하기 위한 카메라를 설치하는 방법을 나타낸다.

도 17에서는, 카메라가 엘리베이터 카(20)의 도어의 반대측의 천장의 모서리의 중앙에 설치된 예시가 도시되었다. 도 18에서는, 카메라가 엘리베이터 카(20)의 천장의 중앙에 설치된 예시가 도시되었다.

도 17 및 18에서 도시된 것처럼, 카메라는 바닥(50)을 수직으로 촬영할 수 있도록 설치될 수 있고, 카메라는 바닥(50)의 전체를 촬영 가능하도록 하는 화각을 가질 수 있다. 도시된 것과는 달리, 카메라는 엘리베이터 카(20)의 벽면에 마련될 수도 있다.

실시예에서는, 엘리베이터 카(20)의 내부에 설치된 카메라로부터 촬영된 엘리베이터 카(20)의 내부의 영상에 기반하여 엘리베이터 카(20)에 탑승하고 있는 오브젝트(들)(예컨대, 로봇, 사람 혹은 기타 사물)이 엘리베이터 카(20)의 내부 공간을 점유하고 있는 정도(즉, 공간 점유 정도 또는 공간 점유 정보)가 계산될 수 있다. 예컨대, 엘리베이터 제어 시스템(130)은 엘리베이터 카(20)의 내부에 설치된 카메라로부터 엘리베이터 카(20)의 내부의 영상을 수신할 수 있고, 수신된 영상을 분석하여 상기 공간 점유 정도를 계산할 수 있다. 엘리베이터 제어 시스템(130)은 계산된 공간 점유 정도에 기반하여 엘리베이터 카(20)에 로봇(100)을 탑승시키기 위해 로봇(100)의 위치로 이동하도록 엘리베이터 카(20)를 제어할 수 있다(또는, 엘리베이터 카(20)를 제어하기 위한 신호를 생성할 수 있다). 로봇(100)의 위치에 엘리베이터 카(20)가 도착하면, 엘리베이터 카(20)의 도어가 열리고, 로봇(100)은 엘리베이터 카(20)에 탑승할 수 있다.

이러한 엘리베이터 제어 시스템(130)에 의한 엘리베이터 카(20)의 제어의 동작 및 공간 점유 정도 계산의 동작은 로봇(100) 또는 로봇 제어 시스템(140)으로부터 엘리베이터 카를 호출하는 요청이 수신됨에 따라 이루어지는 것일 수 있다. 말하자면, 로봇(100) 또는 로봇 제어 시스템(140)으로부터 엘리베이터 카를 호출하는 요청이 수신되면, 엘리베이터 제어 시스템(130)은 엘리베이터 카들 각각에 대해 상기 공간 점유 정도를 계산할 수 있고, 로봇(100)이 탑승하기에 충분한 공간이 확보된 엘리베이터 카(20)를 선택하여 로봇(100)의 위치로 이동하도록 제어할 수 있다.

또는, 엘리베이터 제어 시스템(130)은 로봇(100) 또는 로봇 제어 시스템(140)으로부터의 요청과는 관계 없이 실시간으로 또는 주기적으로 엘리베이터 카(20) 내부의 영상을 분석하여 공간 점유 정도를 계산하도록 구성될 수도 있다.

"공간 점유 정도"는 엘리베이터 카(20)에 탑승하고 있는 오브젝트가 엘리베이터 카(20)의 내부 공간을 점유하고 있는 정도를 나타내는 파라미터로서, 예컨대, 공간 점유율을 포함할 수 있다. 일례로, 공간 점유 정도는 엘리베이터 카(20)의 바닥(50)의 면적과 바닥(50)에서 엘리베이터 카(20)에 탑승하고 있는 오브젝트가 차지하는 면적의 차이, 또는 바닥(50)의 면적에 대한 오브젝트가 차지하는 면적의 비율에 기반하여 계산될 수 있다.

엘리베이터 제어 시스템(130)은 엘리베이터 카(20)에 대한 공간 점유 정도를 계산함으로써, 엘리베이터 카(20)에 로봇(100)이 탑승 가능한지 여부를 판정할 수 있고, 따라서, 로봇(100)의 탑승에 적합한 엘리베이터 카를 선택하여 제어할 수 있다.

따라서, 실시예에 의해서는 엘리베이터 카(20)가 포함하는 무게 센서에 의해 엘리베이터 카(20)의 만원 여부를 판정하지 않고도, 엘리베이터 카(20)의 내부의 영상을 분석함으로써 엘리베이터 카(20)에 대한 공간 점유 정도가 계산될 수 있다. 또한, 실시예에서는 엘리베이터 카(20)에 대한 공간 점유 정도를 계산하기 위해 다양한 센서를 엘리베이터 카(20)에 내부에 설치할 필요를 없앨 수 있다.

한편, 실시예에 따른 공간 점유 정도를 계산하는 방법 및 엘리베이터 카(20)를 제어하는 방법은 무게 센서(및 기타 센서들)를 사용하여 공간 점유 정도를 계산하는 방법에 대해 추가로(또는 보조적으로) 사용될 수도 있다.

엘리베이터 카(20)에 대한 공간 점유 정도를 계산하는 방법과, 엘리베이터 카(20)를 제어하는 구체적인 방법에 대해서는 후술될 도 2 내지 도 16 및 도 19를 참조하여 더 자세하게 설명된다.

도 2 는 일 실시예에 따른, 건물 내에서 서비스를 제공하는 로봇을 나타내는 블록도이다.

로봇(100)은 건물 내에서 서비스를 제공하기 위해 사용되는 서비스 로봇일 수 있다. 로봇(100)은 건물의 적어도 하나의 층에서 서비스를 제공하도록 구성될 수 있다. 또한, 로봇(100)이 복수인 경우 복수의 로봇들 각각은 적어도 하나의 층에서 서비스를 제공하도록 구성될 수 있다. 말하자면, 서비스의 종류/제공 빈도 및/또는 건물(층)의 형태/구조에 따라, 로봇(100)은 하나 또는 그 이상의 층들에서 서비스를 제공하도록 구성될 수 있고, 복수의 로봇들이 하나의 층에서 서비스를 제공하도록 구성될 수도 있다. 로봇(100)은 자율 주행을 통해 건물의 소정의 위치(특정 층)에서 건물 내의 사용자에게 서비스를 제공할 수 있다.

로봇(100)이 제공하는 서비스는 예컨대, 택배 전달 서비스, 주문에 따른 음료(커피 등) 전달 서비스, 청소 서비스, 및 기타 정보/콘텐츠 제공 서비스 중 적어도 하나를 포함할 수 있다.

로봇(100)의 이동 및 서비스의 제공과 엘리베이터 카에 대한 호출의 적어도 일부는 로봇 제어 시스템(140)에 의한 제어를 통해 이루어질 수 있다. 예컨대, 로봇 제어 시스템(140)에 의한 호출에 따라, 엘리베이터 제어 시스템(130)이 로봇(100)이 위치하는 층으로 적절한 엘리베이터 카(20)를 호출할 수 있다.

로봇(100)은 물리적인 장치일 수 있으며, 도시된 바와 같이, 제어부(104), 구동부(108), 센서부(106) 및 통신부(102)를 포함할 수 있다.

제어부(104)는 로봇(100)에 내장된 물리적인 프로세서일 수 있으며, 도시되지는 않았으나, 경로 계획 처리 모듈, 맵핑 처리 모듈, 구동 제어 모듈, 로컬리제이션 처리 모듈, 데이터 처리 모듈 및 서비스 처리 모듈을 포함할 수 있다. 이 때, 경로 계획 처리 모듈, 맵핑 처리 모듈 및 로컬리제이션 처리 모듈은 로봇 제어 시스템(140)과 통신이 이루어지지 않는 경우에도 로봇(100)의 실내 자율 주행이 이루어질 수 있도록 하기 위해 실시예에 따라 선택적으로 제어부(104)에 포함되는 것일 수 있다.

통신부(102)는 로봇(100)이 다른 장치(다른 로봇 또는 로봇 제어 시스템(140) 등)와 통신하기 위한 구성일 수 있다. 말하자면, 통신부(102)는 다른 장치에 대해 데이터 및/또는 정보를 전송/수신하는, 로봇(100)의 안테나, 데이터 버스, 네트워크 인터페이스 카드, 네트워크 인터페이스 칩 및 네트워킹 인터페이스 포트 등과 같은 하드웨어 모듈 또는 네트워크 디바이스 드라이버(driver) 또는 네트워킹 프로그램과 같은 소프트웨어 모듈일 수 있다.

구동부(108)는 로봇(100)의 이동을 제어하며 이동을 가능하게 하는 구성으로서 이를 수행하기 위한 장비를 포함할 수 있다.

센서부(106)는 로봇(100)의 자율 주행 및 서비스 제공에 있어서 요구되는 데이터를 수집하기 위한 구성일 수 있다. 센서부(106)는 고가의 센싱 장비를 포함하지 않을 수 있고, 단지 저가형 초음파 센서 및/또는 저가형 카메라 등과 같은 센서를 포함할 수 있다.

일례로, 제어부(104)의 데이터 처리 모듈은 센서부(106)의 센서들의 출력값을 포함하는 센싱 데이터를 통신부(102)를 통해 로봇 제어 시스템(140)으로 전송할 수 있다. 로봇 제어 시스템(140)은 건물 내의 실내 지도를 사용하여 생성된 경로 데이터를 로봇(100)으로 전송할 수 있다. 경로 데이터는 통신부(102)를 통해 데이터 처리 모듈로 전달될 수 있다. 데이터 처리 모듈은 경로 데이터를 바로 구동 제어 모듈로 전달할 수 있고, 구동 제어 모듈은 경로 데이터에 따라 구동부(108)를 제어하여 로봇(100)의 실내 자율 주행을 제어할 수 있다.

로봇(100)과 로봇 제어 시스템(140)이 통신할 수 없는 경우, 데이터 처리 모듈은 센싱 데이터를 로컬리제이션 처리 모듈로 전송하고, 경로 계획 처리 모듈와 맵핑 처리 모듈을 통해 경로 데이터를 생성하여 로봇(100)의 실내 자율 주행을 직접 처리할 수도 있다.

로봇(100)은 건물 내의 실내 지도를 생성하기 위해 사용되는 맵핑 로봇과는 구별되는 것일 수 있다. 이 때, 로봇(100)은 고가의 센싱 장비를 포함하지 않기 때문에 저가형 초음파 센서 및/또는 저가형 카메라 등과 같은 센서의 출력값을 이용하여 실내 자율 주행을 처리할 수 있다. 한편, 로봇(100)이 기존에 로봇 제어 시스템(140)과의 통신을 통해 실내 자율 주행을 처리한 적이 있다면, 로봇 제어 시스템(140)으로부터 기존에 수신한 경로 데이터가 포함하는 맵핑 데이터 등을 더 활용함으로써 저가의 센서들을 이용하면서도 보다 정확한 실내 자율 주행이 가능하게 될 수 있다.

서비스 처리 모듈은 로봇 제어 시스템(140)을 통해 수신되는 명령을 통신부(102)를 통해 또는 통신부(102)와 데이터 처리 모듈을 통해 전달받을 수 있다. 구동부(108)는 로봇(100)의 이동을 위한 장비뿐만 아니라, 로봇(100)이 제공하는 서비스와 관련된 장비를 더 포함할 수 있다. 예컨대, 음식물/택배물 전달 서비스를 수행하기 위해 로봇(100)의 구동부(108)는 음식물/택배물을 적재하기 위한 구성이나 음식물/택배물을 사용자에게 전달하기 위한 구성(일례로, 로봇 암(arm))을 포함할 수 있다. 또한, 로봇(100)은 정보/콘텐츠의 제공을 위한 스피커 및/또는 디스플레이 등을 더 포함할 수도 있다. 서비스 처리 모듈은 제공해야 할 서비스를 위한 구동 명령을 구동 제어 모듈로 전달할 수 있고, 구동 제어 모듈은 구동 명령에 따라 로봇(100)이나 구동부(108)가 포함하는 구성을 제어하여 서비스가 제공될 수 있도록 할 수 있다.

로봇(100)은 로봇 제어 시스템(140)에 의한 제어를 통해 호출된 엘리베이터 카(20)를 감지할 수 있고, 엘리베이터 카(20)에 탑승할 수 있다. 엘리베이터 카(20)가 로봇(100)이 서비스를 제공하기 위한 층에 도착하면, 로봇(100)은 엘리베이터 카(20)에서 하차하여, 해당 층에서 서비스를 제공할 수 있다.

구체적인 제어가 로봇 제어 시스템(140)에 의해 이루어지는 경우, 로봇(100)은 로봇(100)의 제어를 위한 센싱 데이터를 로봇 제어 시스템(140)으로 제공할 뿐이라는 점에서 브레인리스 로봇에 해당할 수 있다.

엘리베이터 제어 시스템(130) 및 로봇 제어 시스템(140)의 구조에 대해서는 후술될 도 3 및 도 4를 참조하여 더 자세하게 설명한다.

이상 도 1, 도 17 및 도 18을 참조하여 전술된 기술적 특징에 대한 설명은, 도 2에 대해서도 그대로 적용될 수 있으므로 중복되는 설명은 생략한다.

도 3은 일 실시예에 따른, 엘리베이터 카를 제어하는 엘리베이터 제어 시스템을 나타내는 블록도이다.

엘리베이터 제어 시스템(130)은 건물 내를 이동(예컨대, 승강)하는 엘리베이터 카(20)에 대한 호출 및 엘리베이터 카(20)의 이동을 제어(또는, 엘리베이터 카(20)의 이동을 제어하기 위한 신호를 생성)하는 장치일 수 있다. 엘리베이터 제어 시스템(130)은 적어도 하나의 컴퓨팅 장치를 포함할 수 있고, 건물 내 또는 건물 외부에 위치하는 컴퓨터 시스템으로 구현될 수 있다.

엘리베이터 제어 시스템(130)은 엘리베이터 카(20)를 직접 제어하는 제어반과는 구분되는 것일 수 있다. 엘리베이터 제어 시스템(130)은 엘리베이터 카(20)를 제어하기 위해 요구되는 신호를 제어반으로 전달할 수 있다. 또는, 엘리베이터 제어 시스템(130)은 제어반을 포함하도록 구성될 수도 있다.

엘리베이터 제어 시스템(130)은, 엘리베이터 카(20) 내부를 촬영하는 카메라가 AI 카메라인 경우, AI 카메라 내부에 마련되거나 카메라와 통신 가능한 컴퓨터 시스템으로서 구현될 수도 있다. 예컨대, 엘리베이터 제어 시스템(130)에 포함되는 FPGA SoC와, 게이트웨이 보드를 포함하여 구성될 수 있다.

엘리베이터 제어 시스템(130)은 도시된 것처럼, 메모리(330), 프로세서(320), 통신부(310) 및 입출력 인터페이스(340)를 포함할 수 있다.

메모리(330)는 컴퓨터에서 판독 가능한 기록매체로서, RAM(random access memory), ROM(read only memory) 및 디스크 드라이브와 같은 비소멸성 대용량 기록장치(permanent mass storage device)를 포함할 수 있다. 여기서 ROM과 비소멸성 대용량 기록장치는 메모리(330)와 분리되어 별도의 영구 저장 장치로서 포함될 수도 있다. 또한, 메모리(330)에는 운영체제와 적어도 하나의 프로그램 코드가 저장될 수 있다. 이러한 소프트웨어 구성요소들은 메모리(330)와는 별도의 컴퓨터에서 판독 가능한 기록매체로부터 로딩될 수 있다. 이러한 별도의 컴퓨터에서 판독 가능한 기록매체는 플로피 드라이브, 디스크, 테이프, DVD/CD-ROM 드라이브, 메모리 카드 등의 컴퓨터에서 판독 가능한 기록매체를 포함할 수 있다. 다른 실시예에서 소프트웨어 구성요소들은 컴퓨터에서 판독 가능한 기록매체가 아닌 통신부(310)을 통해 메모리(330)에 로딩될 수도 있다.

프로세서(320)는 기본적인 산술, 로직 및 입출력 연산을 수행함으로써, 컴퓨터 프로그램의 명령을 처리하도록 구성될 수 있다. 명령은 메모리(330) 또는 통신부(310)에 의해 프로세서(320)로 제공될 수 있다. 예를 들어, 프로세서(320)는 메모리(330)에 로딩된 프로그램 코드에 따라 수신되는 명령을 실행하도록 구성될 수 있다.

프로세서(320)는 도시되지 않은 구성들로서 소프트웨어 및/또는 하드웨어 모듈(들)을 포함할 수 있다. 이러한 프로세서(320)의 구성들을 통해 후술될 엘리베이터 제어 방법이 수행될 수 있다. 즉, 프로세서(320)는 엘리베이터 카(20)의 내부를 촬영한 영상을 분석하여 엘리베이터 카(20)에 대한 공간 점유 정도를 계산할 수 있고, 엘리베이터 카를 호출한 로봇(100)에 대해, 로봇(100)이 탑승하기에 충분한 공간이 확보된 엘리베이터 카(20)를 결정하여 로봇(100)의 위치로 이동시킬 수 있다. 공간 점유 정도의 계산과 엘리베이터 카(20)의 제어는 별개의 프로세서 또는 모듈에 의해 수행될 수도 있다.

통신부(310)는 엘리베이터 제어 시스템(130)이 다른 장치(엘리베이터 카(20) 또는 로봇 제어 시스템(140) 등)와 통신하기 위한 구성일 수 있다. 말하자면, 통신부(310)는 다른 장치에 대해 데이터 및/또는 정보를 전송/수신하는, 엘리베이터 제어 시스템(130)의 안테나, 데이터 버스, 네트워크 인터페이스 카드, 네트워크 인터페이스 칩 및 네트워킹 인터페이스 포트 등과 같은 하드웨어 모듈 또는 네트워크 디바이스 드라이버(driver) 또는 네트워킹 프로그램과 같은 소프트웨어 모듈일 수 있다.

입출력 인터페이스(340)는 키보드 또는 마우스 등과 같은 입력 장치 및 디스플레이나 스피커와 같은 출력 장치와의 인터페이스를 위한 수단일 수 있다.

또한, 다른 실시예들에서 엘리베이터 제어 시스템(130)은 도시된 구성요소들보다 더 많은 구성요소들을 포함할 수도 있다.

엘리베이터 제어 시스템(130)이 엘리베이터 카(20)에 대한 공간 점유 정도를 계산하고, 엘리베이터 카(20)를 제어하는 보다 구체적인 방법에 대해서는 후술될 도 5 내지 도 16 및 도 19를 참조하여 더 자세하게 설명한다.

이상 도 1, 도 2, 도 17 및 도 18을 참조하여 전술된 기술적 특징에 대한 설명은, 도 3에 대해서도 그대로 적용될 수 있으므로 중복되는 설명은 생략한다.

도 4는 일 실시예에 따른, 로봇을 제어하는 로봇 제어 시스템을 나타내는 블록도이다.

로봇 제어 시스템(140)은 전술된 로봇(100)의 이동 및 로봇(100)에 의한 건물 내에서의 서비스의 제공을 제어하는 장치일 수 있다. 로봇 제어 시스템(140)은 복수의 로봇들 각각의 이동 및 로봇들 각각의 서비스의 제공을 제어할 수 있다. 로봇 제어 시스템(140)은 엘리베이터 제어 시스템(130)과의 통신을 통해, 로봇(100)이 서비스를 제공할 층으로 로봇(100)을 이동시키기 위해 엘리베이터 카(20)를 호출할 수 있다. 로봇 제어 시스템(140)은 로봇(100)이 호출된 엘리베이터 카(20)를 인식하여 탑승할 수 있도록 로봇(100)을 제어하고, 서비스를 제공할 층에서 엘리베이터 카(20)에서 하차하도록 로봇(100)을 제어할 수 있다.

로봇 제어 시스템(140)은 적어도 하나의 컴퓨팅 장치를 포함할 수 있고, 건물 내 또는 건물 외부에 위치하는 서버로 구현될 수 있다. 로봇 제어 시스템(140)은 클라우드 서버(시스템)으로 구현될 수도 있다.

로봇 제어 시스템(140)은 도시된 것처럼, 메모리(430), 프로세서(420), 통신부(410) 및 입출력 인터페이스(440)를 포함할 수 있다. 로봇 제어 시스템(140)의 구성들(410 내지 430)에 대한 일반적인 설명에 대해서는 전술된 엘리베이터 제어 시스템(130)의 구성들(310 내지 340)의 일반적인 기술적 특징에 대한 설명이 그대로 적용될 수 있으므로 중복되는 설명은 생략한다.

한편, 구현의 방법에 따라, 엘리베이터 제어 시스템(130)과 로봇 제어 시스템(140)은 하나의 단일한 시스템(125)으로 구현될 수도 있다. 말하자면, 엘리베이터 제어 시스템(130)과 로봇 제어 시스템(140)은 건물 내에 또는 건물 외부에 존재하는 단일한 서버 또는 컴퓨팅 장치로서 구현될 수 있다.

이상 도 1 내지 도 3, 도 17 및 도 18을 참조하여 전술된 기술적 특징에 대한 설명은, 도 4에 대해서도 그대로 적용될 수 있으므로 중복되는 설명은 생략한다.

후술될 상세한 설명에서, 엘리베이터 제어 시스템(130) 또는 로봇 제어 시스템(140)의 구성들에 의해 수행되는 동작은 설명의 편의상 엘리베이터 제어 시스템(130) 또는 로봇 제어 시스템(140)에 의해 수행되는 동작으로 설명될 수 있다.

후술될 상세한 설명에서 공간 점유 정도(공간 점유 정보)의 "계산"은 공간 점유 정도를 계산하기 위한 연산의 수행, (연산된) 공간 점유 정도의 생성, 및 (연산된) 공간 점유 정도의 결정을 포괄하는 의미로 사용될 수 있다.

도 5는 일 실시예에 따른, 로봇과 사람이 탑승 가능하도록 구성된 엘리베이터 카를 제어하는 엘리베이터 제어 방법을 나타내는 흐름도이다.

단계(520)에서, 엘리베이터 제어 시스템(130)은 로봇(100)과 사람이 탑승 가능하도록 구성된 엘리베이터 카(20) 내에 마련된 카메라에 의해 촬영된 엘리베이터 카(20) 내부의 영상에 기반하여, 엘리베이터 카(20) 내에 탑승하고 있는 오브젝트에 의한 엘리베이터 카에 대한 공간 점유 정도(공간 점유 정보)를 계산할 수 있다.

엘리베이터 카(20)에 탑승하고 있는 오브젝트의 각각은 예컨대, 로봇, 사람 혹은 기타 사물일 수 있다. 엘리베이터 제어 시스템(130)은 엘리베이터 카(20)의 내부 공간에 대해 상기 오브젝트가 차지하고 있는 공간의 정도를 나타내는 지표로서 공간 점유 정도를 계산할 수 있다. 공간 점유 정도는 공간 점유 정보로도 명명될 수 있다.

엘리베이터 제어 시스템(130)은, 일례로, 엘리베이터 카(20)의 바닥(50)의 면적과 바닥(50)에서 엘리베이터 카(20)에 탑승하고 있는 오브젝트가 차지하는 면적의 차이, 또는 바닥(50)의 면적에 대한 오브젝트가 차지하는 면적의 비율에 기반하여 상기 공간 점유 정도를 계산할 수 있다.

공간 점유 정도를 계산하기 위한 분석이 되는 영상은 엘리베이터 카(20)의 바닥(50)을 (수직으로 또는 가능한 한 수직으로) 촬영한 영상으로서 바닥(50)의 전체의 영역을 촬영한 영상일 수 있다.

공간 점유 정도는 카메라가 마련된 (엘리베이터 카(20) 내의) 위치 정보(카메라가 마련된 천장의 위치 및 바닥으로부터의 높이 등), 엘리베이터 카(20)에 대한 최대 탑승 인원 수 및 엘리베이터 카(20)의 바닥(50)의 면적 정보에 기반하여, 엘리베이터 카(20)의 내부의 영상을 분석함으로써 계산될 수 있다. 또한, 공간 점유 정도를 계산하기 위해서는 카메라의 파라미터(카메라의 화각 정보 및 촬영과 연관된 파라미터들 등)가 더 사용될 수 있다.

엘리베이터 제어 시스템(130)은 엘리베이터 카(20)의 내부의 영상으로부터 바닥(50)의 부분을 인식할 수 있고, 해당 바닥(50)의 면적(초기화 면적)을 계산할 수 있다. 엘리베이터 제어 시스템(130)은 영상 내에서 오브젝트를 인식하여, 인식된 오브젝트가 차지하는 면적을 계산함으로써 상기 공간 점유 정도를 계산할 수 있다. 공간 점유 정도를 계산하는 보다 구체적인 방법에 대해서는 후술한다.

단계(530)에서, 엘리베이터 제어 시스템(130)은 단계(520)에 의해 계산된 공간 점유 정도(공간 점유 정보)에 기반하여, 엘리베이터 카(20) 내에 로봇(100)을 탑승시키기 위해 로봇(100)의 위치로 이동하도록 엘리베이터 카(20)를 제어할 수 있다. 또는, 엘리베이터 제어 시스템(130)은 엘리베이터 카(20) 내에 로봇(100)을 탑승시키기 위해 로봇(100)의 위치로 이동하도록 엘리베이터 카(20)를 제어하기 위한 신호를 생성할 수 있다. 엘리베이터 제어 시스템(130)은 로봇(100)이 탑승 가능한 충분한 공간이 확보된 엘리베이터 카(20)를 결정하여, 해당 엘리베이터 카(20)를 로봇(100)의 위치(즉, 로봇(100)이 대기하고 있거나 대기 예정인 위치/층)로 이동시킬 수 있다.

전술한 것처럼, 단계(530)에서의 엘리베이터 카(20)에 대한 제어는 엘리베이터 제어 시스템(130)이 로봇(100) 또는 로봇(100)을 제어하는 로봇 제어 시스템(140)으로부터, 엘리베이터 카에 대한 호출을 수신함에 따라 이루어지는 것일 수 있다.

단계(510)에서, 엘리베이터 제어 시스템(130)은 로봇(100) 또는 로봇(100)을 제어하는 로봇 제어 시스템(140)으로부터, 엘리베이터 카에 대한 호출을 수신할 수 있다. 도시된 것과는 달리, 단계(510)은 단계(520) 이후에 수행되는 것일 수도 있다.

로봇(100) 또는 로봇(100)을 제어하는 로봇 제어 시스템(140)으로부터의 호출에 따라, 엘리베이터 제어 시스템(130)은 단계(520)에서 계산된 공간 점유 정도에 기반하여 로봇(100)이 탑승 가능한 것으로 판정된 엘리베이터 카(20)를 로봇(100)의 위치로 이동하도록 제어할 수 있다(또는, 엘리베이터 제어 시스템(130)은 엘리베이터 카(20)를 제어하기 위한 신호를 생성할 수 있다). 엘리베이터 카(20)는 엘리베이터 제어 시스템(130)이 제어하는 복수의 엘리베이터 카들 중에서 로봇(100)이 탑승 가능한 것으로 판정되어 선택된 것일 수 있다.

예컨대, 엘리베이터 제어 시스템(130)은 엘리베이터 카(20)에 대해 계산된 공간 점유 정도가 소정의 값 미만인 경우, 엘리베이터 카(20)를 로봇(100)이 탑승 가능한 것으로 판정하여, 해당 엘리베이터 카(20)를 로봇(100)의 위치로 이동하도록 제어할 수 있다(또는, 엘리베이터 제어 시스템(130)은 엘리베이터 카(20)를 제어하기 위한 신호를 생성할 수 있다). 이 때 로봇(100)의 위치로 이동되는 엘리베이터 카(20)는, 엘리베이터 제어 시스템(130)이 제어하는 복수의 엘리베이터 카들 중에서 계산된 공간 점유 정도가 소정의 값 미만인 것으로서 선택된 것일 수 있다.

다양한 크기/종류의 로봇들이 사용되는 경우에 있어서, 엘리베이터 제어 시스템(130)은 엘리베이터 카를 호출한 로봇(100)의 종류 또는 크기에 따라 상이한 기준을 적용하여 로봇(100)이 탑승 가능한 엘리베이터 카를 결정할 수 있다.

로봇(100) 또는 로봇 제어 시스템(140)으로부터의 호출은 로봇(100)의 크기 정보 또는 상기 로봇의 엘리베이터 카 내의 탑승을 위해 필요한 요구 면적 정보를 포함할 수 있다. 또는, 이러한 호출은 로봇(100)의 종류 정보 또는 로봇(100)이 제공하는 서비스에 대한 정보를 포함할 수 있다.

엘리베이터 제어 시스템(130)은 로봇(100)의 크기 정보 또는 요구 면적 정보와 엘리베이터 카(20)에 대해 계산된 공간 점유 정도에 기반하여 엘리베이터 카(20)에 로봇이 탑승 가능한지 여부를 판정할 수 있다.

예컨대, 엘리베이터 제어 시스템(130)은 엘리베이터 카(20)에 대해 계산된 공간 점유 정도가, 로봇(100)의 요구 면적 정보(또는 로봇(100)의 크기 정보로부터 계산된 요구 면적 정보)에 따른 면적만큼을 더 수용할 수 있는 경우, 엘리베이터 카(20)를 로봇(100)이 탑승 가능한 것으로 판정할 수 있다.

말하자면, 엘리베이터 제어 시스템(130)은 엘리베이터 카(20)에 대해 계산된 공간 점유 정도가 소정의 값 미만인 경우, 엘리베이터 카(20)를 로봇(100)이 탑승 가능한 것으로 판정하여, 로봇(100)의 탑승을 위해 엘리베이터 카(20)를 로봇(20)의 위치로 이동시킬 수 있다. 이 때, 소정의 값은 상기 호출에 포함된 크기 정보 또는 요구 면적 정보에 따라 상이하게 설정될 수 있다.

요구 면적 정보는 호출에 포함되어 제공되는 것일 수 있으나, 엘리베이터 제어 시스템(130)에서 생성되는 것일 수도 있다. 예컨대, 엘리베이터 제어 시스템(130)은 호출에 포함된 로봇(100)의 크기 정보, 로봇(100)의 종류 정보 또는 로봇(100)이 제공하는 서비스에 대한 정보에 기반하여 로봇(100)이 요구하는 면적에 대응하는 요구 면적 정보를 생성할 수 있다. 일례로, 로봇(100)이 위험도가 상대적으로 높은 작업을 수행하는 것이거나, 로봇(100)이 제공하는 서비스가 위험도가 상대적으로 높은 것(예컨대, 뜨거운 음식물의 운반 등)인 경우 로봇(100)은 더 넓은 면적을 요구하는 것으로 판정될 수 있다.

한편, 엘리베이터 제어 시스템(130)은 복수의 로봇들의 탑승을 위한 엘리베이터 카에 대한 호출을 수신할 수 있다. 이 때의 호출은 복수의 로봇들 중 적어도 하나(예컨대, 로봇들 중 선택된 대표 로봇) 또는 로봇들을 제어하는 로봇 제어 시스템(140)으로부터 수신될 수 있다.

엘리베이터 제어 시스템(130)의 호출은 로봇들의 수량 정보를 더 포함할 수 있다. 엘리베이터 제어 시스템(130)은, 엘리베이터 카(20)에 대해 계산된 공간 점유 정도가, 수량 정보(및 로봇들의 크기/종류/서비스 정보)에 따라 결정되는 로봇들의 요구 면적 정보에 따른 면적만큼을 더 수용할 수 있는 경우, 엘리베이터 카(20)를 로봇들이 탑승 가능한 것으로 판정할 수 있다. 일례로, 로봇들의 요구 면적은 호출에 포함된 로봇들의 수량과 각 로봇의 크기(또는 요구 면적)에 기반하여 계산될 수 있다.

따라서, 엘리베이터 제어 시스템(130)은 엘리베이터 카(20)에 대해 계산된 공간 점유 정도에 기반하여 엘리베이터 카(20)에 로봇들이 탑승 가능한지 여부를 판정하여, 로봇들이 탑승 가능한 것으로 판정된 엘리베이터 카(20)를 로봇들의 위치로 이동시킬 수 있다. 로봇들이 각각 다른 층에 위치하는 경우, 엘리베이터 카(20)는 각 로봇이 위치하는 층을 순차적으로 이동하도록 제어될 수 있다.

설명한 것처럼, 실시예에 의해서는, 엘리베이터 카의 내부를 촬영한 영상에 기반하여 계산된 공간 점유 정도에 기반하여, 로봇(100) 또는 로봇들이 탑승 가능한 엘리베이터 카가 결정되어 제어될 수 있는 바, 사람과 로봇이 함께 사용하는 엘리베이터 카를 사용함에 있어서 사람과 로봇 간의 간섭이 최소화될 수 있다.

엘리베이터 카(20)의 내부를 촬영한 영상에 기반하여 공간 점유 정도를 계산하는 더 구체적인 방법에 대해서는 후술한다.

이상 도 1 내지 도 4, 도 17 및 도 18을 참조하여 전술된 기술적 특징에 대한 설명은, 도 5에 대해서도 그대로 적용될 수 있으므로 중복되는 설명은 생략한다.

도 6은 일 예에 따른, 엘리베이터 카 내부의 영상에 기반하여, 탑승한 오브젝트(들)의 공간 점유 정도를 계산하는 방법을 나타내는 흐름도이다.

도 6을 참조하여, 전술한 단계(520)에서의 공간 점유 정도를 계산하는 방법을 더 자세하게 설명한다.

단계(610)에서, 엘리베이터 제어 시스템(130)은 엘리베이터 카(20)의 내부를 촬영한 영상으로부터 엘리베이터 카(20) 내에 탑승하고 있는 오브젝트의 각각을 검출할 수 있다.

엘리베이터 제어 시스템(130)은 엘리베이터 카(20)의 내부를 촬영한 영상을 인공지능 기반의 모델을 사용하여 분석함으로써 영상 내부에서 오브젝트를 검출할 수 있다. 인공지능 기반의 모델을 사용하여 분석되는 영상은 엘리베이터 카(20)의 내부를 촬영한 영상이 전처리(예컨대, 왜곡 보정, 크롭 처리, 스케일링 처리, 회전 처리 등)된 영상일 수 있다.

엘리베이터 제어 시스템(130)은 영상 내에서 (영상에 포함된) 오브젝트 각각의 머리 부분을 검출함으로써 오브젝트의 각각을 검출할 수 있다. 머리 부분은 오브젝트의 상단 부분으로서, 오브젝트를 위에서 바라본 때에 식별되는 오브젝트의 특정한 부분일 수 있다. 예컨대, 엘리베이터 제어 시스템(130)은 인공지능 기반의 모델로서 엘리베이터 카(20)의 바닥(50)을 수직 방향으로 촬영한 영상으로부터 사람 또는 로봇의 머리/상단 부분을 검출하도록 훈련된 학습 모델을 영상으로부터 사람 또는 로봇의 머리/상단 부분을 검출할 수 있다. 학습 모델은 엘리베이터 카의 바닥 또는 공간 내의 바닥을 수직으로 촬영한, 오브젝트(들)을 포함하는 훈련용 영상을 사용하여 훈련된 것일 수 있다.

머리 부분을 검출하여 객체를 검출함으로써 영상에서의 오브젝트의 검출에 있어서 겹침에 의한 검출 오류를 최소화할 수 있다.

학습 모델은 인공신경망 기반의 모델로서 CNN 기반의 모델 딥러닝(DNN, ANN, RNN 등) 기반의 모델일 수 있다. 학습 모델은 공간 점유 정도를 계산하기 위해 사용되는 엘리베이터 카(20)의 내부의 영상에 기반하여 더 훈련될(업데이트) 수 있다.

학습 모델은 엘리베이터 카(20)에 마련된 거울 또는 벽면으로부터 반사되는 오브젝트나, 오브젝트의 그림자에 해당하는 부분을 배제하도록 훈련된 것일 수 있다.

또한, 학습 모델은 보다 정확하게 사람을 검출하기 위해 사람의 형태를 검출할 수 있도록 더 훈련될 수 있다.

또한, 학습 모델은 엘리베이터 카(20)에 자주 탑승하는 물체를 추가로 학습함으로써 업데이트될 수 있다.

실시예에서의 학습 모델을 훈련시키는 방법 및 학습 모델을 사용하여 오브젝트를 식별/검출하는 방법에 대해서는 여하한 인공지능 기반의 모델에 의한 오브젝트를 식별/검출하는 방법이 적용될 수 있는 바, 자세한 설명은 생략한다.

단계(620)에서, 엘리베이터 제어 시스템(130)은 엘리베이터 카(20)의 바닥(50)의 면적과 검출된 오브젝트의 각각이 차치하는 면적의 차이(제1 값), 또는 바닥(50)의 면적에 대한 검출된 오브젝트의 각각이 차치하는 면적(또는, 오브젝트 전체가 차지하는 면적)의 비율(제2 값)을 계산할 수 있다.

엘리베이터 제어 시스템(130)은 엘리베이터 카(20)의 내부의 영상으로부터 바닥(50)의 부분을 인식할 수 있고, 해당 바닥(50)의 면적(초기화 면적)을 계산할 수 있다. 계산되는 바닥(50)의 면적은 상대적인 값일 수 있다. 엘리베이터 제어 시스템(130)은 영상 내에서 검출된 오브젝트가 바닥(50)에 대해서 차지하는 면적을 계산함으로써 상기 제1 값 또는 상기 제2 값을 계산할 수 있다.

예컨대, 제1 값은 바닥(50)의 면적에서 검출된 오브젝트의 각각이 차치하는 면적을 차감한 값에 해당할 수 있다. 제2 값은 바닥(50)의 면적을 검출된 오브젝트의 각각이 바닥(50)에서 차치하는 면적(또는, 오브젝트 전체가 바닥(50)에서 차지하는 면적)을 나눈 값에 해당할 수 있다. 또는, 제1 값은 1에서 제2 값을 차감한 값일 수 있다.

단계(630)에서, 엘리베이터 제어 시스템(130)은 단계(620)에서 계산된 차이 또는 비율에 기반하여 엘리베이터 카(20)에 대한 공간 점유 정도(공간 점유 정보)를 계산할 수 있다. 계산되는 공간 점유 정도(정보)는 엘리베이터 카(20)에 대한 최종 공간 점유 정도로서, 단계(620)에서 계산된 제1 값 또는 제2 값에 기반한 바닥 점유 정도(후술될 제1 공간 점유 정도)와, 최대 탑승 인원 수와 엘리베이터 카(20)에 탑승한 오브젝트의 수에 기반한 인원 점유 정도(후술될 제2 공간 점유 정도)에 기반하여 계산되는 것일 수 있다.

단계(620)의 제1 값 또는 제2 값을 계산하는 보다 구체적인 방법과 최종 공간 점유 정도를 계산하는 구체적인 방법은 후술된다.

이상 도 1 내지 도 5, 도 17 및 도 18을 참조하여 전술된 기술적 특징에 대한 설명은, 도 6에 대해서도 그대로 적용될 수 있으므로 중복되는 설명은 생략한다.

도 7, 도 8 및 도 10은 일 예에 따른, 엘리베이터 카의 바닥의 면적과 오브젝트의 면적이 차이(전술한 제1 값) 또는 엘리베이터 카의 바닥의 면적에 대한 오브젝트의 면적의 비율(전술한 제2 값)을 계산하는 방법을 나타내는 흐름도이다.

관련하여, 도 7은 바닥(50)에 대해 검출된 오브젝트를 투영시켜(projecting) 오브젝트가 바닥(50)에서 차지하는 정도를 계산하는 방법에 대해 설명한다.

단계(710)에서, 엘리베이터 제어 시스템(130)은 영상에서 인식된 바닥(50)에 대해 검출된 오브젝트의 각각을 투영시킬 수 있다. 이 때, 바닥(50)은 영상의 전처리 작업에 따라 인식된 부분으로서 사각형의 평면에 해당할 수 있다. 영상에서 검출된 오브젝트에 해당하는 부분은 바닥(50)에 대해 투영될 수 있고, 엘리베이터 제어 시스템(130)은 오브젝트가 투영된 부분과 오브젝트가 투영되지 않은 바닥(50)의 부분을 구분하여 인식할 수 있다.

단계(720)에서, 엘리베이터 제어 시스템(130)은 바닥(50)의 (예컨대, 상대적인) 면적과 바닥(50)에 투영된 오브젝트의 각각이 차지하는 (예컨대, 상대적인) 면적에 기반하여 차이(제1 값) 또는 비율(제2 값)을 계산할 수 있다.

엘리베이터 제어 시스템(130)은 바닥(50)에 해당하는 평면에서 투영된 오브젝트에 해당하는 부분을 구분하여 인식함에 따라, 오브젝트가 투영된 부분의 면적과 바닥(50)의 면적을 비교하여 상기 제1 값 또는 상기 제2 값을 계산해 낼 수 있다.

한편, 바닥(50) 상에서의 오브젝트의 위치(또는, 오브젝트가 위치하는 방향)에 따라, 오브젝트가 실제로 차지하는 면적에 대한 왜곡이 발생할 수 있다. 이러한 오브젝트가 차지하는 면적에 대해 발생되는 왜곡을 보정하기 위해, 바닥(50)의 위치에 따라 다르게 적용되는 가중치를 오브젝트에 대해 적용할 수 있다.

관련하여, 도 8은 바닥(50)의 위치에 따라 다르게 적용되는 가중치를 오브젝트에 대해 적용하여 상기 제1 값 또는 상기 제2 값을 계산하기 위한 오브젝트가 차지하는 면적(보정된 면적)을 계산하는 방법을 설명한다.

단계(810)에서, 엘리베이터 제어 시스템(130)은 영상에서 검출된 오브젝트의 각각의 바닥(50) 상에서의 위치를 결정할 수 있다. 예컨대, 엘리베이터 제어 시스템(130)은 각 오브젝트를 구성하는 포인트들(일례로, 픽셀들)에 해당하는 위치들을 결정할 수 있다. 오브젝트는 도 7을 참조하여 전술한 것처럼 바닥(50)에 투영된 것일 수 있는 바, 해당 오브젝트의 위치는 바닥(50)에 해당하는 평면 상에서의 위치(즉, 투영된 오브젝트의 위치)로서 결정될 수 있다.

단계(820)에서, 엘리베이터 제어 시스템(130)은 바닥(50) 상의 각 위치에 대해 적용되는 가중치를 정의하는 가중치 맵을 검출된 오브젝트의 각각에 대해 적용함으로써 해당 오브젝트의 각각이 차치하는 면적(보정된 면적)을 계산할 수 있다. 예컨대, 엘리베이터 제어 시스템(130)은 바닥(50)에 해당하는 평면 상의 각 위치에 대해 적용되는 가중치를 정의하는 가중치 맵을 바닥(50)에 투영된 오브젝트의 대응하는 각각의 위치에 대해 적용함으로써 해당 오브젝트의 각각이 차치하는 면적(보정된 면적)을 계산할 수 있다. 가중치는, 일례로, 0 내지 1의 값일 수 있고, 가중치의 적용은 가중치를 해당하는 오브젝트의 위치의 값에 곱하는 연산일 수 있다.

가중치 맵은 바닥(50)(바닥(50)에 해당하는 평면)의 중심으로부터 바닥(50)의 꼭지점을 향할수록 더 큰 값의 가중치를 갖는 것으로 정의될 수 있다. 또는, 가중치 맵은 복수의 구역들로 구분된 바닥(50)에 대해 상기 구역들 별로 상이한 가중치를 갖는 것으로 정의될 수 있다. 예컨대, 바닥(50)에 해당하는 평면은 9개의 구역들(즉, 3*3의 구역들)로 구분될 수 있고, 가중치 맵은 각 구역의 특성에 따라 적절한 가중치가 할당되도록 정의될 수 있다.

관련하여, 도 11은 일 예에 따른, 엘리베이터 카(20)에 탑승한 오브젝트(들)의 공간 점유 정도를 계산하기 위해 사용되는 가중치 맵을 나타낸다. 도시된 가중치 맵은 상기 제1 값 및 상기 제2 값을 계산하기 위해 사용되는 것일 수 있다. 도시된 가중치 맵은 어두운 부분인 바닥(50)의 중심으로부터 밝은 부분인 바닥(50)의 꼭지점을 향할수록 더 큰 값의 가중치가 할당되도록 정의되었다. 가중치 맵은 엘리베이터 카(20)에 카메라가 마련되는 위치나 카메라의 파라미터, 촬영된 영상에서 오브젝트가 왜곡되는 방식에 따라 상이하게 정의될 수 있다.

이와 같은 가중치 맵을 사용하여 오브젝트가 바닥(50)에서 차지하는 면적을 보정함으로써, 영상의 왜곡에 따라 오브젝트가 바닥(50)에서 차지하는 면적이 잘못 인식되는 오류가 최소화될 수 있다. 따라서, 계산되는 엘리베이터 카(20)에 대한 최종 공간 점유 정도의 정확도가 높아질 수 있다.

관련하여, 도 12 및 도 13은 일 예에 따른, 가중치 맵에 따른 가중치의 적용 및 비율 가중치의 적용에 따라 엘리베이터 카에 탑승한 오브젝트(들)의 공간 점유 정도를 계산하는 방법을 나타낸다. 비율 가중치의 적용에 대해서는 도 9를 참조하여 후술하고 여기에서는 가중치 맵에 따른 가중치의 적용에 관해 설명한다.

도 12의 첫 번째 그림은 가중치 맵에 의한 가중치가 적용되지 않은 경우에 있어서, 바닥(50) 상에서의 오브젝트의 위치에 따라 오브젝트가 바닥(50)에 대해 차지하는 면적의 비율을 나타낸다.

도 12의 두 번째 그림은 가중치 맵에 의한 가중치가 적용된 경우에 있어서, 바닥(50) 상에서의 오브젝트의 위치에 따라 오브젝트가 바닥(50)에 대해 차지하는 면적의 비율을 나타낸다.

도 12에서는 바닥(50)을 3*3의 구역들로 구분하고, 각 구역에 오브젝트가 위치하는 경우에 있어서의 오브젝트가 바닥(50)에 대해 차지하는 면적의 비율이 도시되었다.

도 13은 바닥(50)을 3*3의 구역들로 구분한 경우에 있어서, 각 구역에 오브젝트가 위치한 경우의 엘리베이터 카(20)의 내부의 영상을 나타낸다.

카메라가 설치되는 위치(도어의 반대측의 천장의 모서리의 중앙 혹은 천정의 중앙)와 카메라의 광각 렌즈의 특성에 의해 오브젝트가 바닥(50)을 차지하는 비율에는 왜곡이 발생할 수 있다.

도 13에서는 카메라는 도어의 반대측의 천장의 모서리의 중앙에 마련된 것으로 가정되었다. 이 때에는, 오브젝트의 위치가 바닥(50)의 중앙으로부터 멀어질수록 왜곡은 커질 수 있다(x 축 방향). 가령 오브젝트가 좌측 또는 우측에 위치할 경우 영상에서는 오브젝트가 기울어져 나타나므로 바닥(50)에서 차지하는 면적이 줄어드는 왜곡이 나타날 수 있다. 또한, 오브젝트가 도어 측으로 가깝게 위치할수록 왜곡은 커질 수 있다(y 축 방향). 가령 오브젝트가 도어로부터 2/3 구역에서는 왜곡에 의해 바닥(50)을 차지하는 면적이 더 넓어지게 되는 왜곡이 발생할 수 있고, 도어로부터 1/3 지점에서는 오브젝트가 도어 측으로 넘어가 버려 바닥(50)을 차지하는 면적이 더 작아지게 되는 왜곡이 발생할 수 있다.

도 12의 첫 번째 그림에서 도시된 것처럼, 가중치 맵에 의한 가중치가 적용되지 않은 경우에는 바닥(50)에 대해 오브젝트가 차지하는 비율이 왜곡되어 있음을 확인할 수 있다. 즉, 오브젝트의 위치에 따른 바닥(50)에 대해 오브젝트가 차지하는 비율의 편차가 크게 됨을 확인할 수 있다.

이에 비해, 도 12의 두 번째 그림에서와 같이, 가중치 맵에 의한 가중치를 적용할 경우에는, 오브젝트의 위치에 따른 바닥(50)에 대해 오브젝트가 차지하는 비율의 편차가 더 줄어들게 됨을 확인할 수 있다.

따라서, 도 11에서 도시된 것과 같은 가중치 맵을 사용하여 오브젝트가 바닥(50)에서 차지하는 면적을 보정함으로써, 영상의 왜곡에 따라 오브젝트가 바닥(50)에서 차지하는 면적이 잘못 인식되는 오류가 최소화될 수 있다. 따라서, 계산되는 엘리베이터 카(20)에 대한 최종 공간 점유 정도의 정확도가 높아질 수 있다.

한편, 도 10을 참조하여 전술한 제1 값 및 제2 값을 계산하는 방법으로서, 세그먼트화 된 영상을 사용하는 방법에 대해 설명한다.

단계(1010)에서, 엘리베이터 제어 시스템(130)은 엘리베이터 카(20)의 내부의 영상에서 검출된 오브젝트의 각각을 바닥과 구분되도록 세그먼트할 수 있다. 세그먼트화는 오브젝트의 각각과 바닥을 시각적으로 서로 구분되도록 하는 것일 수 있다. 예컨대, 오브젝트의 각각은 상이한 색상으로 영상에서 오버레이될 수 있다(도 12 참조).

도 19는 일 예에 따른, 엘리베이터 카(20) 내부를 촬영한 영상을 세그먼트화 한 결과를 나타낸다. 도시된 것처럼, 바닥(1910), 오브젝트의 머리 부분(1920) 및 오브젝트의 기타 부분(몸통 등)(1930)은 시각적으로 서로 구분되도록 표시될 수 있다. 영상의 세그먼트화는 영상에서 각 오브젝트를 도식화하는 것일 수 있다.

세그먼트화된 영상(1900)은 엘리베이터 제어 시스템(130)의 관리자가 (예컨대, 엘리베이터 제어 시스템(130)의 테스트 환경 등에서) 확인 가능하도록 제공될 수 있다.

단계(1020)에서, 엘리베이터 제어 시스템(130)은 바닥(50)에 해당하는 바닥 부분(1910) 중 세그먼트화된 오브젝트가 차지하는 점유 부분(1920 및 1039)을 식별할 수 있다.

단계(1030)에서, 엘리베이터 제어 시스템(130)은 바닥 부분(1910)에 대한 점유 부분의 비율(1920 및 1930)을 바닥(50)의 면적에 대한 오브젝트가 차치하는 면적의 비율로서 계산할 수 있다. 즉, 엘리베이터 제어 시스템(130)은 세그먼트화 된 영상으로부터 상기 제1 값 또는 상기 제2 값을 계산할 수 있다.

도 5 내지 도 8을 참조하여 전술된 영상으로부터 공간 점유 정도를 계산하는 방법에 관한 기술적인 내용은 세그먼트화 된 영상에 대해서도 유사하게 적용될 수 있다.

이상 도 1 내지 도 6, 도 17 및 도 18을 참조하여 전술된 기술적 특징에 대한 설명은, 도 7, 도 8, 도 10 내지 도 13 및 도 19에 대해서도 그대로 적용될 수 있으므로 중복되는 설명은 생략한다.

도 9는 일 예에 따른, 엘리베이터 카에 탑승한 오브젝트(들)의 공간 점유 정도를 계산하는 방법을 나타내는 흐름도이다.

도 9를 참조하여 엘리베이터 카(20)에 대한 공간 점유 정도(공간 점유 정보)로서, 단계(620)에서 계산된 제1 값 또는 제2 값에 기반한 바닥 점유 정도(제1 공간 점유 정도)와, 최대 탑승 인원 수와 엘리베이터 카(20)에 탑승한 오브젝트의 수에 기반한 인원 점유 정도(후술될 제2 공간 점유 정도)에 기반하여 최종 공간 점유 정도를 계산하는 방법에 대해 설명한다.

단계(910)에서, 엘리베이터 제어 시스템(130)은 전술된 단계(620)에서 계산된 차이 또는 비율에 기반한 제1 공간 점유 정도와, 엘리베이터 카(20)에 대한 최대 탑승 인원 수에 대한 엘리베이터 카(20) 내에 탑승하고 있는 오브젝트의 수에 기반한 제2 공간 점유 정도를 계산할 수 있다.

제1 공간 점유 정도는 바닥(50)을 차지하는 엘리베이터 카(20)에 탑승한 오브젝트의 점유 정도를 나타내는 것으로서, 예컨대, 바닥 공간 점유율일 수 있다. 제1 공간 점유 정도는 도 7, 도 8 및 도 10을 참조하여 전술된 제1 값 또는 제2 값에 대응할 수 있다. 바닥 공간 점유율은 아래의 수학식에 의해 표현되는 값일 수 있다.

[수학식 1]

바닥 공간 점유율 = (바닥면의 점유 부분) / (바닥 전체 공간)

바닥면의 점유 부분은 영상 내의 바닥(50)의 부분(예컨대, 세그먼트화된 바닥(50)의 부분) 중 오브젝트(사람 및/또는 물체)의 인식된 부분을 의미할 수 있다. 바닥 전체 공간은 영상에서의 바닥(50)에 해당하는 전체 부분을 의미할 수 있다.

제2 공간 점유 정도는 엘리베이터 카(20)의 최대 탑승 인원 수에 대한 현재 탑승한 오브젝트의 수의 비율로서, 예컨대, 인원 점유율일 수 있다. 인원 점유율은 아래의 수학식에 의해 표현되는 값일 수 있다.

[수학식 2]

인원 점유율 = 탑승 오브젝트 수/최대 탑승 인원 수

최종 점유율.

엘리베이터 카(20)에 대한 공간 점유 정도(최종 공간 점유 정도)는 이러한 제1 공간 점유 정도 및 제2 공간 점유 정도를 종합적으로 고려하여 계산될 수 있다.

단계(920)에서, 엘리베이터 제어 시스템(130)은 제1 공간 점유 정도 및 제2 공간 점유 정도에 기반하여 공간 점유 정보(최종 공간 점유 정도)를 계산할 수 있다. 예컨대, 엘리베이터 제어 시스템(130)은 제1 공간 점유 정도에 제1 가중치를 곱한 값과 제2 공간 점유 정도에 제2 가중치를 곱한 값의 합에 기반하여 최종 공간 점유 정도를 계산할 수 있다. 이 때, 제1 가중치는 제2 가중치에 비해 더 작은 값으로 정의될 수 있다. 제1 가중치와 제2 가중치는 엘리베이터 카들 및 로봇들의 운용 상황에 따라서 관리자게 의해 적절하게 조정되거나, 엘리베이터 제어 시스템(130)에 의해 자동으로 조절될 수 있다.

즉, 실시예의 최종 공간 점유 정도를 계산함에 있어서는, 제1 공간 점유 정도(바닥 공간 점유율)이 제2 공간 점유 정도(인원 점유율)에 비해 더 적게 고려될 수 있다.

이는 영상에서 가려지는 부분에 의해 오브젝트가 바닥(50)을 점유하는 정도가 정확하게 파악되지 않기 때문이다. 예컨대, 오브젝트가 바닥(50)의 중앙에 위치되는 경우에는 바닥(50)을 차지하는 넓이가 지나치게 커지게 되는 문제가 발생할 수 있다. 또한, 영상에서 오브젝트가 기울어져 나타나는 왜곡이 발생할 수 있다. 또한, 카메라의 각도, 다양한 환경요인, 오브젝트의 움직임에 따라, 바닥 공간 점유율의 변화가 발생하게 되고 이에 따른 왜곡이 발생될 수 있다.

전술한 가중치 맵을 사용함으로써 왜곡을 줄일 수 있으나, 보다 정확한 최종 공간 점유 정도의 계산을 위해 제1 공간 점유 정도(바닥 공간 점유율)의 비중을 비율 가중치(전술한 제1 가중치 및 제2 가중치)를 사용하여 더 줄일 수 있다.

말하자면, 최대/최소 오차 범위를 줄이기 위해 바닥 공간 점유율의 비율 가중치를 인원 점유율의 비율 가중치에 비해 더 줄일 수 있다.

도 12의 세 번째 그림은 도 12의 두 번째 그림의 경우에 비해 비율 가중치를 더 적용한 경우의, 바닥(50) 상에서의 오브젝트의 위치에 따라 오브젝트가 바닥(50)에 대해 차지하는 면적의 비율을 나타낸다.

전술한 도 12의 두 번째 그림과 도 12의 세 번째 그림을 비교해 보면, 비율 가중치를 적용한 경우가 그렇지 않은 경우에 비해, 오브젝트의 위치에 따른 바닥(50)에 대해 오브젝트가 차지하는 비율의 편차가 더 줄어들게 됨을 확인할 수 있다.

비율 가중치를 적용한 최종 공간 점유 정도는 아래의 수학식 3과 같이 계산될 수 있다.

[수학식 3]

최종 공간 점유 정도(최종 점유율) = (인원 점유율)x0.8 + 바닥 공간 점유율x0.2

한편, 비율 가중치(전술한 제1 가중치 및 제2 가중치)를 더 조절한 수정 최종 공간 점유 정도는 아래의 수학식 4과 같이 계산될 수 있다.

[수학식 4]

수정 최종 공간 점유 정도(최종 점유율) = (인원 점유율)x0.9 + 바닥 공간 점유율x0.1

수학식 4에서와 같이 수정 최종 공간 점유 정도를 계산함으로써, 바닥 공간 점유율에 있어서의 왜곡의 효과를 최소화할 수 있다. 이 때, 제1 가중치는 0.1이고, 제2 가중치는 0.9가 될 수 있다.

이상 도 1 내지 도 8, 도 10 내지 도 13 및 도 17 내지 도 19를 참조하여 전술된 기술적 특징에 대한 설명은, 도 9에 대해서도 그대로 적용될 수 있으므로 중복되는 설명은 생략한다.

도 14는 일 예에 따른, 엘리베이터 카 내부를 촬영한 영상에서 엘리베이터 카에 탑승한 오브젝트들을 식별하고 이들에 의한 공간 점유 정도를 계산한 결과를 나타낸다.

도 14에서는, 영상의 분석에 따라 오브젝트들이 검출되고, 오브젝트들의 엘리베이터 카(20)에 대한 공간 점유 정도가 계산된 결과가 도시되었다.

도시된 것처럼, 오브젝트로서는 사람이 2명(I 2), 로봇이 1개(R 1) 검출되었다. 이러한 오브젝트들에 의한 공간 점유 정도는 14%(A 14%)로 계산되었다.

오브젝트로서 사람과 로봇은 서로 구분되어 인식될 수 있다. 예컨대, 오브젝트를 검출하기 위한 학습 모델은 사람의 머리 부분과 로봇의 상단 부분을 다른 종류의 오브젝트로 검출하도록 훈련될 수 있다.

학습 모델은 다양한 종류/크기의 로봇을 검출할 수 있도록 추가적으로 훈련된 것일 수 있다.

한편, 실시예에서, 로봇은 사람과 차지하는 면적이 동일한 것으로 가정될 수 있고, 따라서, 최종 공간 점유 정도를 계산함에 있어서 동일하게 취급될 수 있다. 말하자면, 인원 점유율을 계산함에 있어서 로봇 1개는 사람 1개와 동일하게 취급될 수 있다. 실시예에 따라서는, 로봇과 사람은 인원 점유율을 계산함에 있어서도 상이하게 취급될 수도 있다.

이상 도 1 내지 도 13 및 도 17 내지 도 19를 참조하여 전술된 기술적 특징에 대한 설명은, 도 14에 대해서도 그대로 적용될 수 있으므로 중복되는 설명은 생략한다.

도 15는 일 예에 따른, 엘리베이터 카를 제어하기 위한 엘리베이터 제어 시스템의 네트워크 구성을 나타낸다.

전술된 엘리베이터 제어 시스템(130)은 도시된 게이트웨이(Gateway)를 포함하여 구성될 수 있다. 엘리베이터 제어 시스템(130)은 CAN 통신을 통해 엘리베이터 카들을 제어할 수 있다. 카메라를 통해 수신된 영상에 대한 딥러닝 처리는 게이트웨이에서 수행될 수 있다.

게이트웨이(Gateway)는 LAN을 통해 AP와 통신할 수 있으며 AP는 LAN을 통해 외부망과 연결될 수 있다. 게이트웨이(Gateway)에 의한 영상의 처리에 따라, 처리의 결과 값(예컨대, 엘리베이터 카 제어를 위한 신호, 탑승 오브젝트의 수, 공간 점유 정도 등)은 CAN을 통해 CTC 및 제어반으로 전달되어 엘리베이터 카의 제어를 위해 사용될 수 있다. 영상은 LAN을 통해 외부망으로 전달될 수 있다.

이상 도 1 내지 도 14 및 도 17 내지 도 19를 참조하여 전술된 기술적 특징에 대한 설명은, 도 15에 대해서도 그대로 적용될 수 있으므로 중복되는 설명은 생략한다.

도 16는 일 예에 따른, 공간 점유 정도를 계산하기 위해 엘리베이터 카 내부를 촬영한 영상을 처리하고, 엘리베이터 카를 제어하는 방법을 나타낸다.

실시예에서는, 엘리베이터 카의 내부에 수직 방향으로 바닥을 촬영하도록 광각 렌즈를 포함하는 카메라가 설치될 수 있고, 카메라로부터 수집된 영상이 전처리-딥러닝-후처리됨으로써 그 결과에 따라 엘리베이터 카가 제어되어 로봇이 해당 엘리베이터 카에 탑승 가능하게 될 수 있다.

도시된 것처럼, 카메라에 의해 촬영된 영상은 왜곡 보정 및 JPEG 압축 후 원본 영상으로서 RTP (Realtime Transport Protocol)를 사용하여 (예컨대, 외부망 또는 원본 영상을 시청/관리하는 개체로) 전송될 수 있다. 한편, 공간 점유 정도를 분석하기 위해, 카메라에 의해 촬영된 영상은 크롭/스케일링 처리(전처리)된 후 인공 신경망을 통해 분석될 수 있다. 후처리 작업 후, 처리의 결과 값(예컨대, 엘리베이터 카 제어를 위한 신호, 탑승 오브젝트의 수, 공간 점유 정도 등)은 CAN을 통해 엘리베이터 카의 제어를 위해 전송될 수 있다. 한편, 후처리가 완료된 후의 영상(딥러닝 영상) RTP를 사용하여 엘리베이터 카 제어 및 엘리베이터 카에 대한 공간 점유 정도를 원격으로 모니터링하는 주체(예컨대, 엘리베이터 제어 시스템(130)의 관리자)에 대해 전송될 수 있다.

이상 도 1 내지 도 15 및 도 17 내지 도 19를 참조하여 전술된 기술적 특징에 대한 설명은, 도 16에 대해서도 그대로 적용될 수 있으므로 중복되는 설명은 생략한다.

실시예에서의 공간 점유 정도의 계산(및 거기에 기반한 엘리베이터 카 제어)의 사용 여부는 API 또는 API의 파라미터를 통해 제어될 수 있다. 예컨대, 해당 파라미터를 On/Off함에 따라, 실시예에 따라 계산된 공간 점유 정도를 엘리베이터 카 제어에 사용하거나 사용하지 않을 수 있다(예컨대, Off인 경우 기존의 무게 센서를 사용하는 방식을 사용함).

실시예에서 엘리베이터 카의 내부를 촬영하기 위해 사용되는 카메라는 FPGA SoC를 사용하는 것으로 (거의) 실시간 딥러닝이 가능하도록 하는 AI Smart Camera일 수 있다. AI Smart Camera는 CAN통신을 통해 엘리베이터 카 제어반으로 오브젝트의 카운트 수, 계산된 공간 점유 정도를 전송할 수 있다. 촬영된 영상은 게이트웨이 보드(Gateway Board)를 통해 모니터링되고 거기에 저장될 수 있다.

전술한 엘리베이터 제어 시스템(130)은 이러한 카메라(AI Smart Camera)에 포함되는 (예컨대, FPGA SoC를 포함하는) 컴퓨터 시스템일 수 있고, 전술한 게이트웨이 보드를 포함하여 구성될 수 있다. 말하자면, 엘리베이터 제어 시스템(130)은 엘리베이터 카를 직접 제어하는 제어반(및 제어반을 포함하는 시스템)과는 구분되는 것일 수 있다. 엘리베이터 제어 시스템(130)은 영상을 분석함에 따른 결과로서의 계산된 공간 점유 정도를 엘리베이터 카를 제어하기 위한 신호로서 제어반(제어반을 포함하는 시스템)으로 전달할 수 있고, 엘리베이터 카에 대한 제어는 제어반에 의해 직접적으로 수행될 수 있다.

이상에서 설명된 시스템 또는 장치는 하드웨어 구성요소, 소프트웨어 구성요소 또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록매체에 저장될 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (19)

1. 엘리베이터 제어 시스템에 의해 수행되는 엘리베이터 제어 방법에 있어서,
   로봇과 사람이 탑승 가능하도록 구성된 엘리베이터 카 내에 마련된 카메라에 의해 촬영된 상기 엘리베이터 카 내부의 영상에 기반하여, 상기 엘리베이터 카 내에 탑승하고 있는 오브젝트에 의한 상기 엘리베이터 카에 대한 공간 점유 정도를 계산하는 단계; 및
   상기 계산된 공간 점유 정도에 기반하여, 상기 엘리베이터 카 내에 상기 로봇을 탑승시키기 위해 상기 로봇의 위치로 이동하도록 상기 엘리베이터 카를 제어하기 위한 신호를 생성하는 단계
   를 포함하는, 엘리베이터 제어 방법.
2. 제1항에 있어서,
   상기 카메라는, 상기 엘리베이터 카의 천장의 중앙 또는 상기 엘리베이터 카의 도어의 반대측의 천장의 모서리의 중앙에 설치되는 광각 카메라이며, 상기 엘리베이터 카의 바닥을 촬영하도록 구성되는, 엘리베이터 제어 방법.
3. 제1항에 있어서,
   상기 공간 점유 정도를 계산하는 단계는,
   상기 영상으로부터 상기 엘리베이터 카 내에 탑승하고 있는 오브젝트의 각각을 검출하는 단계;
   상기 엘리베이터 카의 바닥의 면적과 상기 오브젝트의 각각이 차치하는 면적의 차이 또는 상기 바닥의 면적에 대한 상기 오브젝트의 각각이 차치하는 면적의 비율을 계산하는 단계; 및
   상기 계산된 차이 또는 비율에 기반하여 상기 공간 점유 정도를 계산하는 단계
   를 포함하는, 엘리베이터 제어 방법.
4. 제3항에 있어서,
   상기 차이 또는 비율을 계산하는 단계는,
   상기 바닥에 대해 상기 검출된 오브젝트의 각각을 투영시키는 단계; 및
   상기 바닥의 면적과 상기 투영된 오브젝트의 각각이 차지하는 면적에 기반하여 상기 차이 또는 비율을 계산하는 단계
   를 포함하는, 엘리베이터 제어 방법.
5. 제3항에 있어서,
   상기 차이 또는 비율을 계산하는 단계는,
   상기 오브젝트의 각각의 상기 바닥 상에서의 위치를 결정하는 단계; 및
   상기 바닥 상의 각 위치에 대해 적용되는 가중치를 정의하는 가중치 맵을 상기 오브젝트의 각각에 대해 적용함으로써 상기 오브젝트의 각각이 차치하는 면적을 계산하는 단계
   를 포함하는, 엘리베이터 제어 방법.
6. 제5항에 있어서,
   상기 가중치 맵은,
   상기 바닥의 중심으로부터 상기 바닥의 꼭지점을 향할수록 더 큰 값의 가중치를 갖는 것으로 정의되거나,
   복수의 구역들로 구분된 상기 바닥에 대해 상기 구역들 별로 상이한 가중치를 갖는 것으로 정의되는, 엘리베이터 제어 방법.
7. 제3항에 있어서,
   상기 공간 점유 정도를 계산하는 단계는,
   상기 계산된 차이 또는 비율에 기반한 제1 공간 점유 정도와 상기 엘리베이터 카에 대한 최대 탑승 인원 수에 대한 상기 엘리베이터 카 내에 탑승하고 있는 오브젝트의 수에 기반한 제2 공간 점유 정도를 계산하는 단계; 및
   상기 제1 공간 점유 정도 및 상기 제2 공간 점유 정도에 기반하여 상기 공간 점유 정도를 계산하는 단계
   를 포함하는, 엘리베이터 제어 방법.
8. 제7항에 있어서,
   상기 공간 점유 정도는,
   상기 제1 공간 점유 정도에 제1 가중치를 곱한 값과 상기 제2 공간 점유 정도에 제2 가중치를 곱한 값의 합에 기반하여 계산되고,
   상기 제1 가중치는 상기 제2 가중치에 비해 더 작은 값으로 정의되는, 엘리베이터 제어 방법.
9. 제3항에 있어서,
   상기 오브젝트의 각각을 검출하는 단계는,
   상기 영상 내에서 상기 오브젝트 각각의 머리 부분을 검출함으로써 상기 오브젝트의 각각을 검출하고,
   상기 오브젝트 각각의 머리 부분은,
   바닥을 수직 방향으로 촬영한 영상으로부터 사람 또는 로봇의 머리 부분을 검출하도록 훈련된 학습 모델을 사용하여 검출되는, 엘리베이터 제어 방법.
10. 제3항에 있어서,
    상기 차이 또는 비율을 계산하는 단계는,
    상기 영상에서 상기 오브젝트의 각각을 상기 바닥과 구분되도록 세그먼트화하는 단계;
    상기 바닥에 해당하는 바닥 부분 중 세그먼트화된 상기 오브젝트가 차지하는 점유 부분을 식별하는 단계; 및
    상기 바닥 부분에 대한 상기 점유 부분의 비율을 상기 바닥의 면적에 대한 상기 오브젝트가 차치하는 면적의 비율로서 계산하는 단계
    를 포함하는, 엘리베이터 제어 방법.
11. 제1항에 있어서,
    상기 로봇 또는 상기 로봇을 제어하는 로봇 제어 시스템으로부터, 엘리베이터 카에 대한 호출을 수신하는 단계
    를 더 포함하고,
    상기 신호를 생성하는 단계는,
    상기 계산된 공간 점유 정도에 기반하여 상기 로봇이 탑승 가능한 것으로 판정된 엘리베이터 카를 상기 로봇의 위치로 이동하도록 제어하기 위한 신호를 생성하는 단계
    를 포함하는, 엘리베이터 제어 방법.
12. 제11항에 있어서,
    상기 로봇의 위치로 이동되는 상기 엘리베이터 카는, 복수의 엘리베이터 카들 중에서 상기 계산된 공간 점유 정도가 소정의 값 미만인 것으로서 선택된 것인, 엘리베이터 제어 방법.
13. 제11항에 있어서,
    상기 호출은 상기 로봇의 크기 정보 또는 상기 로봇의 엘리베이터 카 내의 탑승을 위해 필요한 요구 면적 정보를 포함하고,
    상기 크기 정보 또는 상기 요구 면적 정보와 상기 계산된 공간 점유 정도에 기반하여 엘리베이터 카에 상기 로봇이 탑승 가능한지 여부가 판정되는, 엘리베이터 제어 방법.
14. 제1항에 있어서,
    복수의 로봇들 중 적어도 하나 또는 상기 로봇들을 제어하는 로봇 제어 시스템으로부터, 상기 로봇들의 탑승을 위한 엘리베이터 카에 대한 호출을 수신하는 단계
    를 더 포함하고,
    상기 신호를 생성하는 단계는,
    상기 계산된 공간 점유 정도에 기반하여 상기 로봇들이 탑승 가능한 것으로 판정된 엘리베이터 카를 상기 로봇들의 탑승을 위해 상기 로봇들의 위치로 이동하도록 제어하기 위한 신호를 생성하는 단계
    를 포함하는, 엘리베이터 제어 방법.
15. 제1항에 있어서,
    상기 공간 점유 정도는, 상기 카메라가 마련된 위치 정보, 상기 엘리베이터 카에 대한 최대 탑승 인원 수 및 상기 엘리베이터 카의 바닥의 면적 정보에 기반하여, 상기 영상을 분석함으로써 계산되는, 엘리베이터 제어 방법.
16. 제1항 내지 제15항 중 어느 한 항의 방법을 컴퓨터 시스템인 상기 엘리베이터 제어 시스템에서 실행시키기 위해 비-일시적인 컴퓨터 판독가능한 기록 매체에 저장되는 컴퓨터 프로그램.
17. 제1항 내지 제15항 중 어느 한 항의 방법을 컴퓨터 시스템인 상기 엘리베이터 제어 시스템에서 실행시키기 위한 프로그램이 기록되어 있는 비-일시적인 컴퓨터 판독 가능한 기록 매체.
18. 로봇과 사람이 탑승 가능하도록 구성된 엘리베이터 카를 제어하는 엘리베이터 제어 시스템에 있어서,
    컴퓨터에서 판독 가능한 명령을 실행하도록 구현되는 적어도 하나의 프로세서
    를 포함하고,
    상기 적어도 하나의 프로세서는,
    상기 엘리베이터 카 내에 마련된 카메라에 의해 촬영된 상기 엘리베이터 카 내부의 영상에 기반하여, 상기 엘리베이터 카 내에 탑승하고 있는 오브젝트에 의한 상기 엘리베이터 카에 대한 공간 점유 정도를 계산하고,
    상기 계산된 공간 점유 정도에 기반하여, 상기 엘리베이터 카 내에 상기 로봇을 탑승시키기 위해 상기 로봇의 위치로 이동하도록 상기 엘리베이터 카를 제어하기 위한 신호를 생성하는, 엘리베이터 제어 시스템.
19. 컴퓨터 시스템에 의해 수행되는, 엘리베이터 카에 대한 공간 점유 정도를 계산하는 방법에 있어서,
    로봇과 사람이 탑승 가능하도록 구성된 엘리베이터 카 내에 마련된 카메라에 의해 촬영된 상기 엘리베이터 카 내부의 영상에 기반하여, 상기 엘리베이터 카 내에 탑승하고 있는 오브젝트에 의한 상기 엘리베이터 카에 대한 공간 점유 정도를 계산하는 단계; 및
    상기 계산된 공간 점유 정도를, 상기 엘리베이터 카 내에 상기 로봇을 탑승시키기 위해 상기 로봇의 위치로 이동하도록 상기 엘리베이터 카를 제어하는 제어반을 포함하는 시스템으로 전달하는 단계
    를 포함하는, 공간 점유 정도를 계산하는 방법.

Images