KR101109337B1 - 자동 해충 인지 및 방제 시스템 및 방법 - Google Patents

Abstract

본 발명은 자동 해충 인지 및 방제 시스템 및 방법에 관한 것으로, 더욱 상세하게는 쌍안입체영상시스템을 이용하여 온실 작물의 개개의 잎에 대하여 잎의 모양, 색상 등을 분석하여 각 잎의 공간적 위치를 기록하고, 잎에 있는 해충이 감지되는 경우에는 그 해충이 존재하는 부위에 해충 수에 따라 적당량의 살충제를 자동 분사하는 자동 해충 인지 및 방제 시스템 및 방법에 관한 것이다.

온실 재배, 잎 모양 인지, 잎 위치 기록, 해충 인지, 해충 방제.

Description

자동 해충 인지 및 방제 시스템 및 방법{Automatic pest recognition and control system and method}

본 발명은 자동 해충 인지 및 방제 시스템 및 방법에 관한 것으로, 더욱 상세하게는 쌍안입체영상시스템을 이용하여 온실 작물의 개개의 잎에 대하여 잎의 모양, 색상 등을 분석하여 각 잎의 공간적 위치를 기록하고, 잎에 있는 해충이 감지되는 경우에는 그 해충이 존재하는 부위에 해충 수에 따라 적당량의 살충제를 자동 분사하는 자동 해충 인지 및 방제 시스템 및 방법에 관한 것이다.

농업 분야에서 특히 파프리카와 같은 온실 작물 재배는 경제성이 매우 높고 대량 재배가 가능하여 농가 소득에 매우 유리하다. 이를 위해서는 해충 방제가 무엇보다 중요하며, 이러한 해충 방제를 위하여 이제껏 사용되어 온 방식 중 농약을 살포하는 재배가 주를 이루고 있다.

하지만, 이러한 농약의 과다 사용으로 인하여 최근 들어 먹거리의 오염과 환경 교란 문제가 경제적 사회적 문제로 심각하게 대두됨에 따라 농작물 재배에 있어서 농약 사용을 최소화하면서도 효율적으로 해충을 방제할 수 있는 관리 기법 개발이 요구된다. 이를 통해 식물 재배의 생산성을 제고하되 농약 살포를 줄임으로써 작물 및 환경 오염을 최소화하는 친생태적 해충 관리 기법이 절실히 필요하다.

특히, 최대한 농약 살포를 자제하고 효율적인 해충 종합 관리를 실현하기 위해서는 대상 작물에 존재하는 해충의 정확한 분포와 밀도 예측이 필수적으로 요구되지만, 종래 이러한 해충 밀도나 개체수를 계수하고자 하는 경우 전통적으로 주로 사람에 의존하여 실시되므로 정확한 밀도 파악에 어려운 점이 많았고, 많은 노동력이 필요한 문제점이 있었다.

이에 따라 본 발명은 해충에 대한 영상 인지와 온실 내에서 구동할 수 있는 로봇팔과 약제 살포 및 기타 환경 인지 기술 등을 이용하여 작물 개체에 서식하고 있는 해충을 자동 인지하고 인지된 해충의 개체 수에 알맞은 살충제를 분사하는 해충 인지 및 방제 로봇 시스템의 개발을 제안하고자 한다.

본 발명에 따른 자동 해충 인지 및 방제 시스템 및 방법은 사람의 살충제 노출를 최소화하는 무인 정밀 방제로 경작자의 건강 유지와 생산성은 제고하되 농약살포를 줄여 작물과 환경 오염을 최소화하는 친생태적 해충 관리 기법을 제공하는 것을 목적으로 한다.

본 발명은 패턴 인지 등을 통한 해충인지의 자동화 기법으로 대상 작물 해충의 객관적이고도 정확한 분포와 밀도 예측을 하여 최소의 미량 농약 살포와 작물 개체별로 해충이 서식하는 부위에 선택적인 살충제 분사가 자동으로 가능하도록 함으로써 효율적인 해충 종합관리가 실현되도록 자동 해충 인지 및 방제 시스템을 제공하는 것을 목적으로 한다.

이와 같은 목적을 달성하기 위해 본 발명에 따른 자동 해충 인지 및 방제 시스템의 일실시 예는, 온실 작물을 재배하는 온실 내에 설치된 레일을 따라 전후로 이동하며 해충을 방제하는 이동 로봇을 구비하되, 상기 이동 로봇의 몸체에 수직팔이 고정되어 장착되고, 상기 수직팔에 대하여 수평으로 부착되어 상하로 이동가능한 상부 수평팔 및 하부 수평팔이 구성되며, 상기 상부 수평팔의 상부에는 작물의 잎을 분석하여 목적하는 잎의 정확한 위치를 측정하도록 이중 카메라로 구성하여 쌍안입체영상을 사용한 쌍안입체영상시스템을 구비하되, 상기 상부 수평팔에는 작물 잎에 있는 해충을 인지하는 해충 탐지 카메라가 끝단에 구비되고, 하부 수평팔에는 분사노즐이 끝단에 구비된 것을 특징으로 한다.

본 발명에 있어서, 상기 해충 탐지 카메라는 LED로 된 보조광을 더 구비한 것을 특징으로 한다.

본 발명에 있어서, 상기 해충 탐지 카메라는 색상 세분화(color segmentation), 이진법 이미지화(binary image), 잡음 제거(filtering noise), 블로브 결정(blob determination)과 해충 계수(counting pest)에 의해 크기와 모양을 결정하도록 한 것을 특징으로 한다.

본 발명에 있어서, 상기 분사노즐은 상기 탐지된 잎의 뒷면을 분사하도록 구부러져 있는 3개의 노즐로 구성되되, 각 분사노즐은 각각 독립된 스위치로 조절가능하도록 구성된 것을 특징으로 한다.

한편, 본 발명에 따른 자동 해충 인지 및 방제 방법의 일실시 예는, 본 발명의 이동 로봇의 해충 인지 및 방제 시스템을 이루는 이동 로봇을 구비하되, 상기 상부 수평팔 및 하부 수평팔이 상기 수직팔의 축방향을 따라 상하로 움직이면서 상기 쌍안입체영상시스템에 의하여 작물과 작물의 잎을 인지한 후 시들지 않고 해충에 의해 훼손되지 않은 잎을 판별하는 단계; 상기 판별 단계에서 얻어진 시들지 않고 해충에 의해 훼손되지 않은 잎의 위치를 기록하는 단계; 상기 기록된 위치를 상기 이동 로봇이 접근할 수 있는 로봇좌표로 전환하는 단계; 상기 전환된 좌표값에 따라 상기 해충 탐지 카메라는 상기 상부 수평팔의 축방향을 따라 상기 기록된 위치의 잎 또는 잎의 뒷면으로 이동하여 해충을 탐지하는 단계; 및 상기 해충이 탐지되면 상기 하부 수평팔이 구동하여 분사노즐이 계산된 해충이 있는 잎의 위치로 이동하여 살충제를 분사하는 단계;로 이루어지는 것을 특징으로 한다.

본 발명에 있어서, 상기 쌍안입체영상시스템을 통한 작물의 잎의 인지는, 상기 이중 카메라로부터 개개의 잎까지의 상대적 거리차인 격차지도(disparity map)를 구성하는 단계; 개개의 잎에 대한 색상(Hue), 채도(Saturation), 명도(Intensity)로 이루어진 HSI 모델을 사용하여 잎의 색상을 세분화하는 단계; 상기 색상 세분화된 잎을 스캔하는 것으로서 일정 탐색창 안에 식물 영상을 식물픽셀로 스캔하고, 상기 탐색창 내의 식물픽셀의 빈도 수가 40% 이하인 탐색창 부분을 잎의 선단부로 결정하는 단계; 및 상기 잎을 배경으로부터 구분하기 위하여 변형된 틀(deformable templates)을 적용한 모수 모델(parametric model)을 사용하여 영상에 나타나는 잎의 유형에 일치시킨 잎 모양을 만드는 단계;로 이루어지는 것을 특징으로 한다.

본 발명에 있어서, 상기 선단부 결정은 잎마다 선단부의 끝이 뻗어나간 모양이나 각도가 다른 경우에 있어 잎 끝에 선단부의 형상에 맞추어 설정된 형상의 타원을 만들어 회전시키면서 식물픽셀을 계수하되, 식물픽셀이 최대값을 나타내는 위치를 잎의 선단부로 선택하도록 하는 것을 특징으로 한다.

본 발명에 있어서, 상기 모수모델은

여기서,

i: 현재지점 지표

(x, y): 현재지점의 x,y좌표

(x_s , y_s): 골격지점의 대응좌표

f_E : 골격의 가로축 함수

: (x_s, y_s)에서의 표준벡터(normal vector)

인 것을 특징으로 한다.

본 발명에 있어서, 상기 해충 탐지는 색상 세분화(color segmentation), 이진법화(binarization), 잡음 제거(filtering noise), 블로브 결정(blob determination)과 해충 계수(counting pest)를 통하여 이루어지는 것을 특징으로 한다.

본 발명에 있어서, 상기 분사되는 살충제의 양은 상기 해충 탐지에서 얻어진 해충 수를 근거로 분사시간을 제어하여 조절하는 것을 특징으로 한다.

본 발명에 있어서, 상기 분사노즐은 상기 탐지된 잎의 뒷면을 분사하도록 구부러져 있는 3개의 노즐로 구성되되, 각 분사노즐은 각각 독립된 스위치로 조절 가능하도록 구성된 것을 특징으로 한다.

이상에서 설명한 바와 같이 본 발명에 따른 자동 해충 인지 및 방제 시스템 및 방법은 해충 자동 인지와 미량 분사 구동 시스템을 적용하여 온실 내에서 상시 해충 순찰 체제를 확립함으로써 효과적인 방제로 인해 농작물(예:파프리카)의 생산성 제고와 정밀 구획 방제를 통한 약제 사용량 감소 및 경작자 건강을 유지할 수 있는 효과가 있다.

본 발명은 재배 - 해충 관리 - 자동 방제 - 온실로 연계되는 관리 시스템 프로그램의 개발 및 보급으로 온실 내에서의 작물 경작 및 해충에 대한 효율적 방제 매뉴얼 소프트웨어를 구성할 수 있으며, 관리 프로그램의 영농 활용 및 온실 내 해충 분포 및 동태에 관한 기초정보를 제공할 수 있는 효과가 있다.

본 발명은 무인 방제를 통한 인력절감 및 농업 생산의 자동화에 기여할 수 있는 효과가 있다.

이하, 본 발명에 따른 자동 해충 인지 및 방제 시스템 및 방법에 대한 바람직한 실시 예를 첨부된 도면들을 참조하여 상세히 설명한다.

도 1은 본 발명에 따른 자동 해충 인지 및 방제 시스템을 도시한 도면이고, 도 2는 본 발명에 따른 자동 해충 인지 및 방제 시스템에 사용되는 분사노즐의 일실시 예를 도시한 도면이며, 도 3은 본 발명에 따른 자동 해충 인지 및 방제 시스템에서 쌍안입체영상을 사용한 격차지도의 예를 도시한 도면이고, 도 4는 본 발명에 따른 자동 해충 인지 및 방제 시스템에 사용되는 HSI 모델을 도시한 도면이며, 도 5는 본 발명에 따른 자동 해충 인지 및 방제 시스템에서 잎의 선단부를 감지하는 방법을 도시한 도면이고, 도 6은 본 발명에 따른 자동 해충 인지 및 방제 시스템에서 주변 배경으로부터 잎을 구분하기 위한 잎 모양의 일치화를 도시한 도면이며, 도 7은 본 발명에 따른 자동 해충 인지 및 방제 시스템에서 잎 모양이 완성되는 과정과 완성된 결과를 도시한 도면이며, 도 8은 본 발명에 따른 자동 해충 인지 및 방제 시스템에서 카메라 좌표와 로봇좌표의 관계를 도시한 도면이고, 도 9는 본 발명에 따른 자동 해충 인지 및 방제 시스템에서 해충을 탐지하는 과정을 도시한 흐름도이며, 도 10은 본 발명에 따른 자동 해충 인지 및 방제 시스템에서 해충 탐지한 결과를 도시한 도면이다.

도 1에 도시한 바와 같이, 본 발명에 따른 자동 해충 인지 및 방제 시스템은 온실 작물을 재배하는 온실 내에 설치된 레일(101)을 따라 전후로 이동하며 해충을 방제하는 이동 로봇(100)을 구비하고, 상기 이동 로봇(100)의 몸체에 수직팔(110)이 고정되어 장착되고, 상기 수직팔(110)에 대하여 수평으로 부착되어 상하로 이동가능한 상부 수평팔(120) 및 하부 수평팔(130)이 구성되며, 상기 상부 수평팔(120)의 상부에는 작물의 잎을 분석하여 목적하는 잎의 정확한 위치를 측정하도록 이중 카메라(140)로 구성하여 쌍안입체영상을 사용한 쌍안입체영상시스템을 구비하되, 상기 상부 수평팔(120)에는 작물 잎에 있는 해충을 인지하는 해충 탐지 카메라(150)가 끝단에 구비되고, 하부 수평팔(130)에는 분사노즐(160)이 끝단에 구비되어 구성된다.

상기 본 발명에 따른 자동 해충 인지 및 방제 시스템은, 상기 수평팔(120) 및 하부 수평팔(130)이 상기 수직팔(110)의 축방향을 따라 상하로 움직이면서 상기 쌍안입체영상시스템에 의하여 작물과 작물의 잎을 인지한 후 시들지 않고 해충에 의해 훼손되지 않은 잎을 판별하고, 상기 판별에 의해 얻어진 시들지 않고 해충에 의해 훼손되지 않은 잎의 위치를 기록하며, 상기 기록된 위치를 상기 이동 로봇(100)이 접근할 수 있는 로봇좌표로 전환하고, 상기 전환된 좌표값에 따라 상기 해충 탐지 카메라(150)가 상기 상부 수평팔(120)의 축방향을 따라 상기 기록된 위치의 잎 또는 잎의 뒷면으로 이동하여 해충을 탐지하며, 이때, 상기 해충이 탐지되면 상기 하부 수평팔(130)이 구동하여 분사노즐(160)이 계산된 해충이 있는 잎의 위치로 이동하여 살충제를 분사하고 난 후 다음 작물로 이동하도록 제어된다.

여기서, 상기 쌍안입체영상시스템을 통한 작물과 작물 잎의 인지는, 상기 이중 카메라(140)로부터 개개의 잎까지의 상대적 거리차인 격차지도(disparity map)를 구성하는 단계와, 개개의 잎에 대한 색상(Hue), 채도(Saturation), 명도(Intensity)로 이루어진 HSI 모델을 사용하여 잎의 색상을 세분화하는 단계와, 상기 색상 세분화된 잎을 스캔하는 것으로서 일정 탐색창 안에 식물 영상을 식물픽셀로 스캔하고, 상기 탐색창 내의 식물픽셀의 빈도 수가 일정 범위 이하인 탐색창 부분을 잎의 선단부로 결정하는 단계, 및 상기 잎을 배경으로부터 구분하기 위하여 변형된 틀(deformable templates)을 적용한 모수 모델(parametric model)을 사용하여 영상에 나타나는 잎의 유형에 일치시킨 잎 모양을 만드는 단계;를 거쳐 이루어진다. 이때, 상기 일정 범위의 기준은 40%로 함이 바람직하다.

여기서, 상기 격차지도(disparity map)는 도 3에 도시된 바와 같이, 잎의 공간적 모델을 분석하여 잎의 윤곽, pose(자세), 깊이(심도)에 관한 정보를 제공하는 것으로, 3차원 재구성을 위해 사용하는 모듈인 상기 쌍안입체영상시스템에 의하여 제공된다. 이에 대한 자세한 설명은 도 9 및 도 10에서 하기로 한다.

상기 색상 세분화(color segmentation)는 상기 격차지도의 심도차이를 통하여 세분화나 잡음제거를 도와 줄 수 있는 보조 수단으로, 실제 식물과 잎을 주위 배경으로부터 효과적으로 분리할 수 있다.

이에 대하여 도 4를 참조하면, 상기 색상 세분화는 색상(Hue), 채도(Saturation), 명도(Intensity)라는 세 가지 특성들이 컬러를 설명하는 데 사용되기 때문에, 이와 대응되는 컬러 모델을 HSI라고 한다.

이때, HSI 컬러 공간을 사용할 때, 어떤 컬러를 만들어 내기 위해서 몇 퍼센트의 파랑색이나 녹색이 필요한지 알 필요가 없다. 진한 빨강색을 분홍색으로 바꾸기 위해 단순히 채도를 조절하면 되고, 어두운 것을 밝게 하려면 명도를 변경하면 된다. 도 3을 간단히 설명하자면,

색상(H) : 0도에서 360도의 범위를 가진 각도로 표현하고,

채도(S) : 0에서 1까지의 범위를 가지는 반지름에 해당하고,

명도(I) : z축에 해당하는데 0일 때는 검정색을, 1일 때는 흰색을 나타낸다.

상기 잎의 선단부 결정은 도 5에 도시된 바와 같이, 먼저 상기 기술된 색상 세분화를 통해 일정부분의 식물을 배경으로부터 분리해 내어 일정한 탐색창(window, 10 내지 13) 안에 식물의 영상을 스캔하고 스캔된 이미지를 분석함으로써 잎의 선단부를 탐색한다. 이때, 상기 탐색창(10 내지 13) 내의 식물픽셀(20 내지 23)의 빈도가 높은 부분은 개개의 잎이 모이는 부분이며 빈도가 낮은 부분이 잎의 선단부를 나타낸다. 즉, 상기 빈도의 범위가 40% 이하인 경우를 잎의 선단부로 결정한다.

또한, 실제의 경우에 잎마다 선단부의 끝이 뻗어나간 모양이나 각도가 다르게 보이므로 이것을 개선하기 위해 잎 끝에 선단부의 형상에 맞추어 설정된 형상의 타원(30)을 만들어 회전시키면서 식물픽셀(31)을 계수한다. 이때, 식물픽셀(31)이 최대값을 나타내는 위치를 잎의 선단부로 선택한다.

한편, 상기 잎 모양의 일치화는 도 6 및 도 7에 도시된 바와 같다.

상기 잎 선단부 검색을 통해 잎이 찾아지면 복잡한 배경에서 개개의 잎을 구분해내기 위해서 변형 주형(Deformable templates)을 적용하여 잎의 모양을 판별한다. 이를 위해 Active contour 또는 snake method 을 적용한다. 이 방법은 입수된 이미지에서 식물잎의 높이차, 위치, 방향, 모양의 변형을 고려하여 잎의 모양을 갖추기 위한 최적의 보정조건을 찾는 잇점이 있다. 잎 윤곽의 길이나 만곡(구부러짐, 휘어짐)을 고려함으로써 주형에 연속성과 smoothness을 부여한다. 변형 이미지(Deformable image)는 모수모델(Parametric model) 또는 연쇄적인 점(snakes)으로 표현될 수 있다. 모수모델은 목적하는 잎의 모양을 하나의 변수 셋으로 설정하여 묘사할 수 있는데 변형 이미지를 모수의 변이로써 나타낸다.

최대로 많은 잎을 기술하기 위해 Generic model을 적용한다. 사용된 모델 구조는 골격(skeleton)과 그 위에 얹혀지는 대칭 테두리(symmetric envelope)로 나타내어진다. 이러한 골격과 대칭 테두리는 잎의 모양이나 휘어짐을 적절히 표출한다.

상기 모수 모델(Parametric model)은 아래와 같다.

여기서, i는 현재지점 좌표로 이에 대한 각 기호의 정의는 아래와 같다.

(x, y): 현재지점의 x, y 좌표

(x_s , y_s): 골격지점의 대응좌표

f_E : 골격의 가로축 함수

: (x_s, y_s)의 표준벡터(normal vector)

이 모델을 통해 골격과 대칭 테두리의 변수 모형을 적절히 변하게 하여 영상에 나타나는 잎의 유형과 일치하게 된다. 잎 면적 측정을 검정하기 위한 심도차 계산을 반복적으로 수행함으로써 도 7과 같이 최적의 잎 모양 일치화(matching)가 되도록 한다.

상기 기록된 위치를 상기 이동 로봇(100)이 접근할 수 있는 로봇좌표로 전환은 도 8에 도시된 바와 같다.

대상 잎들의 공간적인 관계를 나타내기 위해서는 일정한 좌표가 필요하며 위치에 관한 정보를 적절히 관리함으로써 로봇의 수직 및 수평팔(110, 120, 130)과 분산노즐(160)과 같은 다른 장치를 유용하게 조절할 수 있다. 여기서, 로봇이 가동되려면 이차원 영상으로 인지된 잎은 반드시 3차원적 좌표로 전환되어야 하며, 로봇을 작동하는 데 있어 대상물은 로봇이 움직이는 좌표와 일치해야 한다.

이를 위해 로봇의 상부 수평팔(120)에는 해충 탐지 카메라(150)가 장착되어 있으며 그 좌표는 OcXcYcZc이고, 로봇좌표는 OwXwYwZw로 나타낸다.

따라서, 이러한 변환에 의해 측정된 결과가 3차원 로봇 좌표로 전환되어 분사기를 조절하게 된다.

상기 해충 탐지 카메라(150)는 도 9 및 도 10에 도시된 바와 같이, 색상 세 분화(color segmentation), 이진법화(binarization), 잡음 제거(filtering noise), 블로브 결정(blob determination)과 해충 계수(counting pest)를 통하여 해충을 탐지한다.

즉, 해충은 잎 색깔과 다르므로 색상 세부화를 적용하면 해충이 있는 지점을 효과적으로 식별할 수 있다. 이진화의 결과(binarized result)는 해충이 있을 가능성이 있는 지역을 블로브 영역(blob area)으로 나타낸다. 그러므로 블로브 영역(blob area)의 크기와 모양을 조사(blob checking)하여 해충의 유무를 판단한다.

이에 대해 상술하면 다음과 같다.

상기 색상 세분화는 위에서도 이미 언급했듯이 색상에 대한 정보는 잎과 해충을 구별하는데 아주 중요하다. 먼저 얻어진 이미지는 HSI 색상 모델로 변환되어 잎색상이 효과적으로 세분화되고 배경은 제거된다. 이어서 잎 표면을 분석하는데, 선택된 잎에서 해충의 색깔(예:파프리카에 있는 가루이 벌레는 흰색)이 잎과 구별되므로 해충 위치를 알아낼 수 있다.

상기 이진법화는 전단계에서 얻어진 세분화 결과를 이진법화 이미지(binary image)화 하면 단지 흑과 백의 두 색상으로만 표현되어 과정을 줄일 수가 있다(도 10 참조). 즉, 잎 부분은 검게 해충이 있는 부분은 희게 나타나므로 이 부분을 해충 소재 지역으로 간주한다.

상기 잡음 제거는 조명 때문에 간혹 잎의 반사로 인한 잡음(noises)이 생기는데 반사의 주원인은 잎맥이다. 이런 경우 대개는 해충보다는 크기가 더 크므로 무시한다. 해충보다 더 작은 잡음은 erosion method로 제거한다.

상기 얼룩 결정과 해충 계수는 블로브(blob)의 크기와 수로 해충 존재의 수를 판단하는데, 해충의 평균 크기(예:가루이의 경우 1mm-2mm)를 고려하여 잡음(noises)의 크기를 결정한다. 해충의 평균 크기보다 크거나 작은 블로브는 잡음으로 판단한 후 블로브의 수를 해충의 수로 계수한다.

여기서 얻어진 해충의 수를 근거로 분사노즐(160)의 분사시간을 제어함으로써 살충제의 분사량을 조절하도록 함이 바람직하다.

상기 분사노즐(160)은 도 1 및 도 2에 도시된 바와 같이, 탐지된 잎의 뒷면을 분사하도록 구부러져 있는 3개의 노즐로 구성된다. 이때, 상기 구부러진 각도는 45도 정도가 바람직하다. 상기 분사노즐(160)은 방향에 따라 각각 위-좌측, 위, 위-우측으로 향해 있어 잎의 전면에 동시에 살포가 가능하다. 또한, 3개의 노즐은 각각 독립된 스위치로 조절가능하게 되어 있어 국소지역에 선택적으로 소량 분사도 가능하도록 함이 바람직하다.

또한, 상기 분사노즐(160)을 통하여 분사되는 살충제의 양은 상기 해충 탐지에서 얻어진 해충 수를 근거로 분사시간을 제어하여 조절하도록 함이 바람직하다.

이상에서 설명한 본 발명은 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환 변형 및 변경이 가능하므로 전술한 실시 예 및 첨부된 도면에 한정되는 것은 아니다.

도 1은 본 발명에 따른 자동 해충 인지 및 방제 시스템을 도시한 도면,

도 2는 본 발명에 따른 자동 해충 인지 및 방제 시스템에 사용되는 분사노즐의 일실시 예를 도시한 도면,

도 3은 본 발명에 따른 자동 해충 인지 및 방제 시스템에서 쌍안입체영상을 사용한 격차지도의 예를 도시한 도면,

도 4는 본 발명에 따른 자동 해충 인지 및 방제 시스템에 사용되는 HSI 모델을 도시한 도면,

도 5는 본 발명에 따른 자동 해충 인지 및 방제 시스템에서 잎의 선단부를 감지하는 방법을 도시한 도면,

도 6은 본 발명에 따른 자동 해충 인지 및 방제 시스템에서 주변 배경으로부터 잎을 구분하기 위한 잎 모양의 일치화를 도시한 도면,

도 7은 본 발명에 따른 자동 해충 인지 및 방제 시스템에서 잎 모양이 완성되는 과정과 완성된 결과를 도시한 도면,

도 8은 본 발명에 따른 자동 해충 인지 및 방제 시스템에서 카메라 좌표와 로봇좌표의 관계를 도시한 도면,

도 9는 본 발명에 따른 자동 해충 인지 및 방제 시스템에서 해충을 탐지하는 과정을 도시한 흐름도,

도 10은 본 발명에 따른 자동 해충 인지 및 방제 시스템에서 해충 탐지한 결과를 도시한 도면이다.

*** 도면의 주요 부분에 대한 부호의 설명 ***

10 내지 13 : 탐색창

20 내지 23 : 식물픽셀

30 : 타원 31 : 식물픽셀

40 : 골격 41 : 잎테두리

100 : 이동 로봇 101 : 레일

110 : 수직팔 120 : 상부 수평팔

130 : 하부 수평팔 140 : 이중 카메라

150 : 해충 탐지 카메라

160 : 분사노즐

Claims (11)

1. 온실 작물을 재배하는 온실 내에 설치된 레일을 따라 전후로 이동하며 해충을 방제하는 이동 로봇을 구비하되,

   상기 이동 로봇의 몸체에 수직팔이 고정되어 장착되고, 상기 수직팔에 대하여 수평으로 부착되어 상하로 이동가능한 상부 수평팔 및 하부 수평팔이 구성되며,

   상기 상부 수평팔의 상부에는 작물의 잎을 분석하여 목적하는 잎의 정확한 위치를 측정하도록 이중 카메라로 구성하여 쌍안입체영상을 사용한 쌍안입체영상시스템을 구비하되, 상기 상부 수평팔에는 작물 잎에 있는 해충을 인지하는 해충 탐지 카메라가 끝단에 구비되고, 하부 수평팔에는 분사노즐이 끝단에 구비된 것을 특징으로 하는 자동 해충 인지 및 방제 시스템.
2. 제 1항에 있어서,

   상기 해충 탐지 카메라는 LED로 된 보조광을 더 구비한 것을 특징으로 하는 자동 해충 인지 및 방제 시스템.
3. 제 1항에 있어서,

   상기 해충 탐지 카메라는 색상 세분화(color segmentation), 이진법 이미지화(binary image), 잡음 제거(filtering noise), 블로브 결정(blob determination)과 해충 계수(counting pest)에 의해 크기와 모양을 결정하도록 한 것을 특징으로 하는 자동 해충 인지 및 방제 시스템.
4. 제 1항에 있어서,

   상기 분사노즐은 상기 탐지된 잎의 뒷면을 분사하도록 구부러져 있는 3개의 노즐로 구성되되, 각 분사노즐은 각각 독립된 스위치로 조절가능하도록 구성된 것을 특징으로 하는 자동 해충 인지 및 방제 시스템.
5. 제 1항의 이동 로봇을 구비하고,

   상기 상부 수평팔 및 하부 수평팔이 상기 수직팔의 축방향을 따라 상하로 움직이면서 상기 쌍안입체영상시스템에 의하여 작물과 작물의 잎을 인지한 후 시들지 않고 해충에 의해 훼손되지 않은 잎을 판별하는 단계;

   상기 판별 단계에서 얻어진 시들지 않고 해충에 의해 훼손되지 않은 잎의 위치를 기록하는 단계;

   상기 기록된 위치를 상기 이동 로봇이 접근할 수 있는 로봇좌표로 전환하는 단계;

   상기 전환된 좌표값에 따라 상기 해충 탐지 카메라는 상기 상부 수평팔의 축방향을 따라 상기 기록된 위치의 잎 또는 잎의 뒷면으로 이동하여 해충을 탐지하는 단계; 및

   상기 해충이 탐지되면 상기 하부 수평팔이 구동하여 분사노즐이 계산된 해충이 있는 잎의 위치로 이동하여 살충제를 분사하는 단계;로 이루어지는 것을 특징으로 하는 자동 해충 인지 및 방제 방법.
6. 제 5항에 있어서,

   상기 쌍안입체영상시스템을 통한 작물의 잎의 인지는,

   상기 이중 카메라로부터 개개의 잎까지의 상대적 거리차인 격차지도(disparity map)를 구성하는 단계;

   개개의 잎에 대한 색상(Hue), 채도(Saturation), 명도(Intensity)로 이루어진 HSI 모델을 사용하여 잎의 색상을 세분화하는 단계;

   상기 색상 세분화된 잎을 스캔하는 것으로서 일정 탐색창 안에 식물 영상을 식물픽셀로 스캔하고, 상기 탐색창 내의 식물픽셀의 빈도 수가 40% 이하인 탐색창 부분을 잎의 선단부로 결정하는 단계; 및

   상기 잎을 배경으로부터 구분하기 위하여 변형된 틀(deformable templates)을 적용한 모수 모델(parametric model)을 사용하여 영상에 나타나는 잎의 유형에 일치시킨 잎 모양을 만드는 단계;로 이루어지는 것을 특징으로 하는 자동 해충 인지 및 방제 방법.
7. 제 6항에 있어서,

   상기 선단부 결정은 잎마다 선단부의 끝이 뻗어나간 모양이나 각도가 다른 경우에 있어 잎 끝에 선단부의 형상에 맞추어 설정된 형상의 타원을 만들어 회전시키면서 식물픽셀을 계수하되, 식물픽셀이 최대값을 나타내는 위치를 잎의 선단부로 선택하도록 하는 것을 특징으로 하는 자동 해충 인지 및 방제 방법.
8. 제 6항에 있어서,

   상기 모수모델은

   

   여기서,

   i: 현재지점 지표

   (x, y): 현재지점의 x,y좌표

   (x_s , y_s): 골격지점의 대응좌표

   f_E : 골격의 가로축 함수

   

   : (x_s, y_s)에서의 표준벡터

   인 것을 특징으로 하는 자동 해충 인지 및 방제 방법.
9. 제 6항에 있어서,

   상기 해충 탐지는 색상 세분화(color segmentation), 이진법화(binarization), 잡음 제거(filtering noise), 블로브 결정(blob determination)과 해충 계수(counting pest)를 통하여 이루어지는 것을 특징으로 하는 자동 해충 인지 및 방제 방법.
10. 제 6항에 있어서,

    상기 분사되는 살충제의 양은 상기 해충 탐지에서 얻어진 해충 수를 근거로 분사시간을 제어하여 조절하는 것을 특징으로 하는 자동 해충 인지 및 방제 방법.
11. 제 6항에 있어서,

    상기 분사노즐은 상기 탐지된 잎의 뒷면을 분사하도록 구부러져 있는 3개의 노즐로 구성되되, 각 분사노즐은 각각 독립된 스위치로 조절 가능하도록 구성된 것을 특징으로 하는 자동 해충 인지 및 방제 방법.

Images