KR102587495B1

KR102587495B1 - 미생물 정보 제공 장치 및 방법

Info

Publication number: KR102587495B1
Application number: KR1020210008250A
Authority: KR
Inventors: 김영덕; 박용근; 김건
Original assignee: 주식회사 더웨이브톡; 한국과학기술원
Priority date: 2019-04-17
Filing date: 2021-01-20
Publication date: 2023-10-12
Also published as: KR20210013240A

Abstract

본 발명의 일 실시예는, 시료로부터 출사되는 출사파동을 시계열 순으로 촬영한 복수의 영상을 수신하는 수신부, 상기 시계열 순으로 촬영한 복수의 영상으로부터 시간에 따른 변화의 특징(feature)을 추출하는 검출부, 상기 추출된 특징을 기초로 분류기준을 기계학습하는 학습부 및 상기 분류기준을 기초로 시료에 포함된 미생물의 종류 또는 농도를 구분하는 판단부를 포함하고, 상기 복수의 영상 각각은 상기 시료로 입사되는 파동에 기인하여 상기 미생물에 의해 다중산란(multiple scattering)되어 발생되는 스펙클(speckle) 정보를 포함하는, 미생물 정보 제공 장치를 제공한다.

Description

미생물 정보 제공 장치 및 방법{APPARATUS AND METHOD FOR PROVIDING MICROORGANISM INFORMATION}

본 발명의 실시예들은 미생물 정보 제공 장치 및 방법에 관한 것이다.

세균, 진균, 바이러스와 같은 다양한 병원성 미생물은 혈액, 체액 및 인체의 조직 내에 출현하여 서식하기 시작하면서 감염성 질환을 일으킨다. 최근에는 병원성 감염이 사회적으로 크게 부각되고 있는데, 그 빈도가 점차 증가하고 있고 의료계에서 법적인 문제가 되기 시작한 병원성 감염은 적절한 치료가 이루어지지 않을 경우 인명을 잃을 수 있으므로, 조기 진단과 합병증 없는 신속한 치료가 중요하다. 따라서 이러한 병원성 미생물에 대한 정확하고 신속한 진단법의 개발은 시대가 요구하는 의료 기술이다.

더욱이 최근에는 항생제의 투여의 오남용으로 인해 세균의 배양률이 감소하게 되었고, 이식에 따른 면역 억제제 사용의 증가, 항암 치료로 인한 약물투여의 증가, AIDS의 증가로 인한 원인 균주가 다양해지게 되면서 배양 검사와 같은 기존의 감염질환을 진단하는 진단 방법들이 점차 어려움에 부딪히고 있는 실정이다.

상기한 문제 및/또는 한계를 해결하기 위하여, 기계학습을 이용하여 시료 내 미생물의 종류 및 농도를 구분하여 미생물 정보를 제공하는 장치 및 방법을 제공하는 데에 목적이 있다.

본 발명의 일 실시예에 있어서, 상기 학습부는 컨볼루션 신경망(Convolution Neural Network; CNN)을 이용하여 상기 분류기준을 학습할 수 있다.

본 발명의 일 실시예에 있어서, 상기 학습부는 하나의 스펙클의 크기보다 작은 크기를 갖는 컨볼루션 커널(convolution kernel)을 이용하여 컨볼루션 연산을 수행할 수 있다.

본 발명의 일 실시예에 있어서, 상기 학습부는 하나의 스펙클의 크기가 m개의 픽셀(pixel)에 대응되는 경우, m보다 작은 n x n 크기의 컨볼루션 커널(convolution kernel)을 이용하여 컨볼루션 연산을 수행할 수 있다.

본 발명의 일 실시예에 있어서, 상기 컨볼루션 연산의 스트라이드(stride)는 상기 n 값에 대응될 수 있다.

본 발명의 일 실시예에 있어서, 상기 컨볼루션 커널은 상기 복수의 영상 개수에 대응되거나 상기 복수의 영상 개수보다 큰 커널 특징 맵들을 포함할 수 있다.

본 발명의 일 실시예에 있어서, 상기 학습부는 출력 채널 개수에 대응되는 복수의 컨볼루션 커널들을 포함하는 커널 세트를 이용하여 컨볼루션 연산을 수행할 수 있다.

본 발명의 일 실시예에 있어서, 상기 컨볼루션 연산에 의한 상기 출력 채널 개수는 상기 복수의 영상 개수에 대응될 수 있다.

본 발명의 일 실시예에 있어서, 상기 학습부는 상기 복수의 영상들의 시간 상관관계(temporal correlation)을 기초로 상기 분류기준을 학습할 수 있다.

본 발명의 일 실시예에 있어서, 상기 분류기준은 상기 특징 중 스펙클 패턴의 형태의 변화, 상기 스펙클 패턴의 빛의 세기를 기초로 계산된 시간상관관계계수, 상기 스펙클 패턴의 빛의 세기(intensity)의 표준편차 값의 변화량 중 하나를 이용하여 학습될 수 있다.

본 발명의 일 실시예에 있어서, 상기 표준편차 값과 상기 미생물의 농도는 선형적인 관계를 가질 수 있다.

본 발명의 일 실시예는, 미생물의 종류 또는 농도를 미리 알고 있는 시료에 파동을 조사하여 출사되는 출사파동을 시계열 순으로 기촬영한 복수의 학습영상을 수신하는 단계, 상기 시계열 순으로 기촬영한 복수의 학습영상으로부터 시간에 따른 변화의 특징(feature)을 기초로 분류기준을 기계학습하는 단계, 신규 시료에 파동을 조사하여 출사되는 출사파동을 시계열 순으로 촬영한 복수의 영상을 수신하는 단계 및 상기 복수의 영상 및 상기 분류기준을 기초로 상기 신규 시료에 포함된 미생물의 종류 또는 농도를 구분하는 단계를 포함하고, 상기 복수의 학습영상 각각 또는 상기 복수의 영상 각각은 상기 시료로 입사되는 파동에 기인하여 상기 미생물에 의해 다중산란(multiple scatterin)되어 발생되는 스펙클(speckle) 정보를 포함하는, 미생물 정보 제공 방법을 제공한다.

본 발명의 일 실시예에 있어서, 상기 분류기준을 기계학습하는 단계는, 컨볼루션 신경망(Convolution Neural Network; CNN)을 이용하여 상기 분류기준을 학습할 수 있다.

본 발명의 일 실시예에 있어서, 상기 분류기준을 기계학습 하는 단계는, 하나의 스펙클의 크기보다 작은 크기를 갖는 컨볼루션 커널(convolution kernel)을 이용하여 컨볼루션 연산을 수행할 수 있다.

본 발명의 일 실시예에 있어서, 상기 분류기준을 기계학습 하는 단계는, 하나의 스펙클의 크기가 m개의 픽셀(pixel)에 대응되는 경우, m보다 작은 n x n 크기의 컨볼루션 커널(convolution kernel)을 이용하여 컨볼루션 연산을 수행할 수 있다.

본 발명의 일 실시예에 있어서 상기 컨볼루션 커널은 상기 복수의 영상 개수에 대응되거나 상기 복수의 영상 개수보다 큰 커널 특징 맵들을 포함할 수 있다.

본 발명의 일 실시예에 있어서, 상기 분류기준을 기계학습 하는 단계는, 출력 채널 개수에 대응되는 복수의 컨볼루션 커널들을 포함하는 커널 세트를 이용하여 컨볼루션 연산을 수행할 수 있다.

본 발명의 일 실시예에 있어서 상기 학습부는 상기 복수의 영상들의 시간 상관관계(temporal correlation)을 기초로 상기 분류기준을 학습할 수 있다.

본 발명의 일 실시예는, 시료를 수용하는 시료부, 상기 시료를 향하여 파동을 조사하는 파동원, 상기 시료로부터 출사되는 출사파동을 시계열 순으로 촬영하여 복수의 영상을 획득하는 영상 센서 및 상기 시계열 순으로 촬영한 복수의 영상을 이용하여 미생물의 종류 또는 농도를 포함하는 미생물 정보를 제공하는 미생물 정보 제공 장치를 포함하고, 상기 미생물 정보 제공 장치는, 상기 복수의 영상을 수신하는 수신부, 상기 시계열 순으로 촬영한 복수의 영상으로부터 시간에 따른 변화의 특징(feature)을 추출하는 검출부, 상기 추출된 특징을 기초로 분류기준을 기계학습하는 학습부, 상기 분류기준을 기초로 시료에 포함된 미생물의 종류 또는 농도를 구분하는 판단부를 포함하고, 상기 복수의 영상 각각은 상기 시료로 입사되는 파동에 기인하여 상기 미생물에 의해 다중산란(multiple scattering)되어 발생되는 스펙클(speckle) 정보를 포함하는, 미생물 정보 제공 시스템를 제공한다.

전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.

본 발명의 실시예들에 따른 미생물 정보 제공 장치 및 방법은 스펙클의 시간에 따른 변화의 특징을 추출하고, 이를 학습하여 미생물의 종류 또는 농도를 분류하는 분류기준을 획득함으로써, 별도의 화학적 방법에 의하지 않고 신속하고 정확하게 시료 내의 미생물의 종류 또는 농도를 구분할 수 있다.

도 1은 본 발명의 일 실시예에 따른 미생물 정보 제공 시스템을 개략적으로 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 네트워크 환경의 예를 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 미생물 정보 제공 장치의 블록도이다.
도 4는 본 발명의 일 실시예에 따른 미생물 정보 제공 장치가 시료 내의 미생물의 존재를 확인하는 기본적인 원리를 설명하기 위한 도면이다.
도 5a 및 도 5b는 본 발명의 일 실시예에 따른 미생물 정보 제공 방법을 시계열적으로 나타낸 것이다.
도 6은 본 발명의 일 실시예에 따른 학습부에서 스펙클의 시간 상관 관계를 분석하는 방법을 설명하기 위한 도면이다.
도 7은 시간에 따라 측정된 스펙클의 빛 세기의 표준편차 분포를 도시한 도면이다.
도 8은 본 발명의 일 실시예에 따른 컨볼루션 신경망의 예시도이다.
도 9 및 도 10은 도 8의 컨볼루션 연산을 설명하기 위한 도면이다.
도 11은 본 발명의 일 실시예에 따른 미생물 정보 제공 방법을 이용하여 획득된 예상 미생물 정보와 실제 미생물 정보를 비교한 그래프이다.

이하, 첨부된 도면을 참조하여 이하의 실시예들을 상세히 설명하기로 하며, 도면을 참조하여 설명할 때 동일하거나 대응하는 구성 요소는 동일한 도면부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.

본 실시예들은 다양한 변환을 가할 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 본 실시예들의 효과 및 특징, 그리고 그것들을 달성하는 방법은 도면과 함께 상세하게 후술되어 있는 내용들을 참조하면 명확해질 것이다. 그러나 본 실시예들은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있다.

이하의 실시예에서 제1, 제2 등의 용어는 한정적인 의미가 아니라 하나의 구성 요소를 다른 구성 요소와 구별하는 목적으로 사용되었다.

이하의 실시예에서 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.

이하의 실시예에서 포함하다 또는 가지다 등의 용어는 명세서상에 기재된 특징, 또는 구성요소가 존재함을 의미하는 것이고, 하나 이상의 다른 특징들 또는 구성요소가 부가될 가능성을 미리 배제하는 것은 아니다.

이하의 실시예에서 유닛, 영역, 구성 요소 등의 부분이 다른 부분 위에 또는 상에 있다고 할 때, 다른 부분의 바로 위에 있는 경우뿐만 아니라, 그 중간에 다른 유닛, 영역, 구성 요소 등이 개재되어 있는 경우도 포함한다.

이하의 실시예에서 연결하다 또는 결합하다 등의 용어는 문맥상 명백하게 다르게 뜻하지 않는 한, 반드시 두 부재의 직접적 및/또는 고정적 연결 또는 결합을 의미하는 것은 아니며, 두 부재 사이에 다른 부재가 개재된 것을 배제하는 것이 아니다.

명세서상에 기재된 특징, 또는 구성요소가 존재함을 의미하는 것이고, 하나 이상의 다른 특징들 또는 구성요소가 부가될 가능성을 미리 배제하는 것은 아니다.

도면에서는 설명의 편의를 위하여 구성 요소들이 그 크기가 과장 또는 축소될 수 있다. 예컨대, 도면에서 나타난 각 구성의 크기 및 두께는 설명의 편의를 위해 임의로 나타내었으므로, 이하의 실시예는 반드시 도시된 바에 한정되지 않는다.

도 1은 본 발명의 일 실시예에 따른 미생물 정보 제공 시스템(1)을 개략적으로 도시한 도면이다.

도 1을 참조하면, 본 발명의 일 실시예에 따른 미생물 정보 제공 시스템(1)은 파동원(100), 시료부(200), 영상 센서(300) 및 미생물 정보 제공 장치(400)를 포함한다.

파동원(100)은 시료(201)를 향하여 파동(L1)을 조사할 수 있다. 파동원(100)은 파동(wave)을 생성할 수 있는 모든 종류의 소스 장치를 적용할 수 있으며, 예를 들면, 특정 파장 대역의 광을 조사할 수 있는 레이저(laser)일 수 있다. 본 발명은 파동원의 종류에 제한이 없으나, 다만, 이하에서는 설명의 편의를 위하여 레이저인 경우를 중심으로 설명하기로 한다.

예를 들어, 시료에 스펙클(speckle)을 형성하기 위해서 간섭성(coherence)이 좋은 레이저를 파동원(100)으로 이용할 수 있다. 이때, 레이저 파동원의 간섭성을 결정하는 파동원의 스펙트럴 대역폭(spectral bandwidth)이 짧을수록 측정 정확도가 증가할 수 있다. 즉, 간섭 길이(coherence length)가 길수록 측정 정확도가 증가할 수 있다. 이에 따라, 파동원의 스펙트럴 대역폭이 기정의된 기준 대역폭 미만인 레이저광이 파동원(100)으로 이용될 수 있으며, 기준 대역폭보다 짧을수록 측정 정확도는 증가할 수 있다. 예컨대, 아래의 수학식 1의 조건이 유지되도록 파동원의 스펙트럴 대역폭이 설정될 수 있다.

[수학식 1]

수학식 1에 따르면, 레이저 스펙클의 패턴 변화를 측정하기 위해, 기준 시간마다 시료(201) 내에 광을 조사 시에 파동원(100)의 스펙트럴 대역폭은 5nm 미만을 유지할 수 있다.

일 실시예로서, 파동원(100)은 도시된 바와 같이, 시료부(200)의 외부에 배치되어 시료부(200)를 향하여 파동(L1)을 조사할 수 있다. 이때, 파동원(100)은 시료부(200)에 인접하게 배치되어 시료부(200)를 향하여 직접 파동(L1)을 조사할 수도 있으나, 시료부(200)로부터 이격되어 배치되어 광 파이버(optical fiber, 105)를 통해 시료부(200)로 파동(L1)을 조사할 수도 있다.

광 파이버(105)는 특정 파장에 대해서만 전달하는 기능을 수행하므로, 파동원(100)로부터 전달되는 파동(L1)의 노이즈를 제거할 수 있으며, 파동(L1)을 출사시킬 때 빔 사이즈를 확대시켜 시준기(107)로 제공할 수도 있다.

시료부(200)는 측정하고자 하는 시료(201)를 수용할 수 있다. 시료(201)는 용기 또는 파이프와 같은 시료배치수단을 통해 수용될 수 있으며, 안정화된 상태(static state)로 수용될 수 있다. 일 실시예로서, 도면에 도시된 바와 같이, 시료부(200)는 용기를 이용하여 유동성이 없어 안정화된 시료(201)를 수용할 수 있다. 다른 실시예로서, 도시하지 않았으나, 시료부(200)는 파이프를 이용하여 유동성 있는 시료(201)를 수용할 수 있다. 이때, 시료부(200)가 파이프를 이용하는 경우, 시료(201)는 액체일 수 있으며, 시료부(200)는 파이프를 포함하는 전체 유로를 따라 상기 시료(201)를 1회 이상 순환시켜 파이프 내에서 시료(201)의 안정화된 상태를 형성할 수 있다.

시료부(200)는 다중산란증폭부를 더 포함할 수 있다. 다중산란증폭부는 시료(201)로부터 출사되는 출사파동(L2)의 적어도 일부를 시료(201)로 반사시켜 시료(201)에서의 다중산란횟수를 증폭시킬 수 있다. 다중산란증폭부는 다중산란물질(multiple scattering material)을 포함할 수 있다. 예를 들어, 다중산란물질은 산화티타늄(TiO2)을 포함하며, 다중산란증폭부는 다중산란증폭부로 입사되는 파동(L1)의 적어도 일부를 반사시킬 수 있다.

다중산란증폭부는 시료(201)와 인접하게 배치되어, 시료(201)로부터 다중산란되어 출사되는 출사파동(L2)이 시료(201)와 다중산란증폭부 사이의 공간을 적어도 1회 이상 왕복하도록 할 수 있다. 다중산란증폭부는 파동의 경로 상에 배치될 수 있으며, 입사 파동(L1)의 경로 및 출사 파동(L2)의 경로 상 각각에 배치될 수 있다.

다른 실시예로서, 시료부(200)는 별도의 구성으로서 다중산란증폭부를 구비하는 것이 아니라, 시료(201)를 수용하는 시료부(200) 본체의 표면에 다중산란증폭물질을 이용하여 코팅함으로써, 다중산란증폭영역으로 구성될 수도 있다. 또는, 시료부(200)는 다중산란물질이 시료(201) 냉 포함되도록 구성할 수 있다. 다중산란증폭영역은 시료부(200)의 내부공간으로 입사되어 시료(201)를 지나 출사되는 파동의 적어도 일부를 다시 시료(201) 내로 산란시킬 수 있다. 이렇게 산란된 파동은 다시 시료(201)를 거쳐 타측으로 출사되어 산란되며, 이러한 과정을 통해 시료(201) 내에서 다중산란횟수는 증가될 수 있다. 다중산란증폭영역은 파동이 지나가는 경로 중 적어도 일부 영역에 형성될 수 있으며, 파동의 출사되는 일부 영역 및 입사되는 일부 영역을 제외한 전(全) 영역에 배치될 수도 있다.

영상 센서(300)는 출사파동(L2)이 지나가는 경로 상에 배치되며, 시료(201)로부터 출사되는 출사파동(L2)을 시계열 순으로 촬영하여 복수의 영상을 획득할 수 있다. 영상 센서(300)는 파동원(100)의 종류에 대응한 감지수단을 포함할 수 있으며, 예를 들면, 가시광선 파장 대역의 광원을 이용하는 경우에는 영상을 촬영하는 촬영장치인 CCD 카메라(camera)가 이용될 수 있다.

여기서, 복수의 영상 각각은 시료(201)로 입사되는 파동(L1)에 기인하여 미생물에 의해 다중산란(multiple scattering)되어 발생되는 스펙클(speckle) 정보를 포함할 수 있다. 다시 말해, 영상 센서(300)는 조사된 파동(L1)이 시료(201) 내에서 다중 산란되어 발생되는 레이저 스펙클을, 사전에 설정된 시점에 검출할 수 있다. 여기서, 시점(time)이란, 연속적인 시간의 흐름 가운데 어느 한 순간을 의미하며, 시점(time)들은 동일한 시간 간격으로 사전에 설정될 수 있으나 반드시 이에 제한되지 않으며, 임의의 시간 간격으로 사전에 설정될 수도 있다.

영상 센서(300)는 적어도 제1 시점에서의 제1 스펙클 정보를 포함하는 제1 영상을 검출하고, 제2 시점에서의 제2 스펙클 정보를 포함하는 제2 영상을 촬영하여 미생물 정보 제공 장치(400)로 제공할 수 있다. 한편, 제1 시점 및 제2 시점은 설명의 편의를 위하여 선택된 하나의 예시일 뿐이며, 영상 센서(300)는 제1 시점 및 제2 시점보다 많은 복수의 시점에서 복수의 영상들을 촬영할 수 있다. 영상 센서(300)는 출사파동(L2)이 지나가는 경로에 편광판(polarizer, 305)를 구비함으로써, 스펙클 형성을 위한 간섭 효율의 최대화가 가능하며, 불필요한 외부의 반사광 등을 제거할 수 있다.

영상 센서(300)는 영상 센서 한 픽셀(pixel)의 크기 d가 스펙클 패턴의 입자 크기(grain size)보다 작거나 같아지도록 시료부(200)로부터 일정 거리 이격된 위치에 배치될 수 있다. 예컨대, 아래의 수학식 2의 조건을 만족하도록 영상 센서(300)는 출사파동(L2)이 지나가는 경로 상에 배치될 수 있다.

[수학식 2]

수학식 2와 같이, 영상 센서(300)의 한 픽셀(pixel)의 크기 d가 스펙클 패턴의 입자 크기(grain size) 이하여야 하나, 픽셀의 크기가 너무 작아지면 언더샘플링(undersampling)이 발생해서 픽셀 해상도를 활용하는데 어려움이 존재할 수 있다. 이에 따라, 효과적인 SNR(signal to noise ratio)를 달성하기 위해 스펙클 입자 크기(speckle grain size)에 최대 5개 이하의 픽셀이 위치하도록 영상 센서(300)가 배치될 수 있다.

한편, 미생물 정보 제공 장치(400)는 영상 센서(300)로부터 복수의 영상들을 수신받고, 이를 이용하여 기계학습한 후, 시료(201) 내의 미생물의 종류 또는 농도를 구분하는 기능을 수행할 수 있다. 이하에서는 도 2 및 도 3을 참조하여, 본 발명의 미생물 정보 제공 장치(400)를 좀 더 자세하게 설명하기로 한다.

도 2는 본 발명의 일 실시예에 따른 네트워크 환경의 예를 도시한 도면이다.

도 2의 네트워크 환경은 복수의 사용자 단말들(401, 402, 403, 404), 서버(405) 및 네트워크(406)를 포함하는 예를 나타내고 있다. 여기서, 미생물 정보 제공 장치(400)는 서버 또는 사용자 단말일 수 있다. 이러한 도 2는 발명의 설명을 위한 일례로 사용자 단말의 수나 서버의 수가 도 2와 같이 한정되는 것은 아니다.

복수의 사용자 단말들(401, 402, 403, 404)은 컴퓨터 장치로 구현되는 고정형 단말이거나 이동형 단말일 수 있다. 미생물 정보 제공 장치(400)가 서버(405)인 경우, 복수의 사용자 단말들(401, 402, 403, 404)은 서버를 제어하는 관리자의 단말일 수 있다. 복수의 사용자 단말들(401, 402, 403, 404)의 예를 들면, 스마트폰(smart phone), 휴대폰, 네비게이션, 컴퓨터, 노트북, 디지털방송용 단말, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 태블릿 PC 등이 있다. 일례로, 사용자 단말 1(401)은 무선 또는 유선 통신 방식을 이용하여 네트워크(406)를 통해 다른 사용자 단말들(402, 403, 404) 및/또는 서버(405)와 통신할 수 있다. 다른 실시예로서, 복수의 사용자 단말들(401, 402, 403, 404)은 전술한 영상 센서(300)를 구비하여, 획득된 복수의 영상들을 네트워크(406)를 통해 서버(405)로 전송할 수도 있다.

통신 방식은 제한되지 않으며, 네트워크(406)가 포함할 수 있는 통신망(일례로, 이동통신망, 유선 인터넷, 무선 인터넷, 방송망)을 활용하는 통신 방식뿐만 아니라 기기들간의 근거리 무선 통신 역시 포함될 수 있다. 예를 들어, 네트워크(406)는, PAN(personal area network), LAN(local area network), CAN(capus area network), MAN(metropolitan area network), WAN(wide area network), MAN(metropolitan area network), WAN(wide area network), BBN(broadband network), 인터넷 등의 네트워크 중 하나 이상의 임의의 네트워크를 포함할 수 있다. 또한, 네트워크(406)는 버스 네트워크, 스타 네트워크, 링 네트워크, 메쉬 네트워크, 스타-버스 네트워크, 트리 또는 계층적(hierarchical) 네트워크 등을 포함하는 네트워크 토폴로지 중 임의의 하나 이상을 포함할 수 있으나, 이에 제한되지 않는다.

서버(405)는 복수의 사용자 단말들(401, 402, 403, 404)과 네트워크(406)를 통해 통신하여 명령, 코드, 파일, 컨텐츠, 서비스 등을 제공하는 컴퓨터 장치 또는 복수의 컴퓨터 장치들로 구현될 수 있다.

일례로, 서버(405)는 네트워크(406)를 통해 접속한 사용자 단말 1(401)로 어플리케이션의 설치를 위한 파일을 제공할 수 있다. 이 경우, 사용자 단말 1(401)은 서버로부터 제공된 파일을 이용하여 어플리케이션을 설치할 수 있다. 또한, 사용자 단말 1(401)이 포함되는 운영체제(Operating system, OS) 및 적어도 하나의 프로그램(일례로 브라우저나 설치된 어플리케이션)의 제어에 따라 서버(405)에 접속하여 서버(405)가 제공하는 서비스나 컨텐츠를 제공받을 수 있다. 다른 예로, 서버(405)는 데이터 송수신을 위한 통신 세션을 설정하고, 설정된 통신 세션을 통해 복수의 사용자 단말들(401, 402, 403, 404) 간의 데이터 송수신을 라우팅할 수도 있다.

도 3은 본 발명의 일 실시예에 따른 미생물 정보 제공 장치(400)의 블록도이다.

도 3을 참조하면, 본 발명의 일 실시예에 따른 미생물 정보 제공 장치(400)는 적어도 하나 이상의 프로세서(processor)에 해당하거나, 적어도 하나 이상의 프로세서를 포함할 수 있다. 이에 따라 미생물 정보 제공 장치(400)는 마이크로 프로세서나 범용 컴퓨터 시스템과 같은 하드웨어 장치에 포함된 형태로 구동될 수 있다. 여기서, '프로세서(processor)'는, 예를 들어 프로그램 내에 포함된 코드 또는 명령으로 표현된 기능을 수행하기 위해 물리적으로 구조화된 회로를 갖는, 하드웨어에 내장된 데이터 처리 장치를 의미할 수 있다. 이와 같이 하드웨어에 내장된 데이터 처리 장치의 일 예로써, 마이크로프로세서(Microprocessor), 중앙처리장치(Central Processing Unit: CPU), 프로세서 코어(Processor Core), 멀티프로세서(Multiprocessor), ASIC(Application-Specific Integrated Circuit), FPGA(Field Programmable Gate Array) 등의 처리 장치를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다. 미생물 정보 제공 장치(400)는 복수의 사용자 단말(401, 402, 403, 404) 중 적어도 하나에 탑재되거나, 서버(405)에 구비될 수 있다. 다른 실시예로서, 미생물 정보 제공 장치(400)는 두 개의 서버(405)에 구비될 수 있다. 이때, 하나의 서버를 통해 후술하는 미생물 분류기준에 대한 학습이 이루어지고, 다른 하나의 서버에서는 학습된 알고리즘을 기초로 측정 시료의 미생물 종류 또는 농도를 판단할 수 있다.

도 3에 도시된 미생물 정보 제공 장치(400)는 본 실시예의 특징이 흐려지는 것을 방지하기 위하여 본 실시예와 관련된 구성요소들만을 도시한 것이다. 따라서, 도 3에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 더 포함될 수 있음을 본 실시예와 관련된 기술분야에서 통상의 지식을 가진 자라면 이해할 수 있다.

도 3을 참조하면, 본 발명의 일 실시예에 따른 미생물 정보 제공 장치(400)는 수신부(410), 프로세서(420), 메모리(430) 및 입출력 인터페이스(440)를 포함할 수 있다.

수신부(410)는 상기한 시료(201)로부터 출사되는 출사파동(L2)을 시계열 순으로 촬영한 복수의 영상을 수신할 수 있다. 일 실시예로서, 미생물 정보 제공 장치(400)가 영상 센서(300)를 구비하는 사용자 단말(401, 402, 403, 440)에 탑재되는 경우, 수신부(410)는 영상 센서(300)와 유선으로 연결되어 촬영된 복수의 영상을 제공받을 수 있다.

다른 실시예로서, 미생물 정보 제공 장치(400)가 영상 센서(300)와 별도로 구비되는 서버(405)에 구비되는 경우, 수신부(410)는 유선 또는 무선 통신을 이용하는 통신모듈로서 기능하여, 복수의 영상을 제공받을 수 있다. 이때, 수신부(410)는 네트워크(406)를 통해 사용자 단말 1(401)과 서버(405)가 통신하기 위한 기능을 제공할 수 있으며, 다른 사용자 단말(일례로 사용자 단말 2(402)) 또는 다른 서버(일례로 서버(405))와 통신하기 위한 기능을 제공할 수 있다.

일례로, 사용자 단말 1(401)의 프로세서가 메모리와 같은 기록 장치에 저장된 프로그램 코드에 따라 생성한 요청이 통신 모듈의 제어에 따라 네트워크(406)를 통해 서버(405)로 전달될 수 있다. 역으로, 서버(405)의 프로세서(420)의 제어에 따라 제공되는 제어 신호나, 명령, 컨텐츠, 파일 등이 수신부(410)와 네트워크(406)를 거쳐 사용자 단말 1(401)의 통신 모듈을 통해 사용자 단말 1(401)로 수신될 수 있다. 예를 들어 통신 모듈을 통해 수신된 서버(405)의 제어 신호나 명령 등은 프로세서나 메모리로 전달될 수 있다.

프로세서(420)는 기본적인 산술, 로직 및 입출력 연산을 수행함으로써, 컴퓨터 프로그램의 명령을 처리하도록 구성될 수 있다. 명령은 메모리(430) 또는 수신부(410)에 의해 프로세서(420)로 제공될 수 있다. 예를 들어, 프로세서(420)는 메모리(430)와 같은 기록 장치에 저장된 프로그램 코드에 따라 수신되는 명령을 실행하도록 구성될 수 있다. 프로세서(420)는 학습부(421), 검출부(422) 및 판단부(423)를 포함할 수 있다.

메모리(430)는 컴퓨터에서 판독 가능한 기록 매체로서, RAM(random acess memory), ROM(read only memory) 및 디스크 드라이브와 같은 비소멸성 대용량 기록장치(permanent mass storage device)를 포함할 수 있다. 또한, 메모리(430)에는 운영체제와 적어도 하나의 프로그램 코드(일례로 사용자 단말 1(401)에 설치되어 구동되는 브라우저나 상술한 어플리케이션 등을 위한 코드)가 저장될 수 있다. 이러한 소프트웨어 구성요소들은 드라이브 메커니즘(drive mechanism)을 이용하여 메모리(430)와는 별도의 컴퓨터에서 판독 가능한 기록 매체로부터 로딩될 수 있다. 이러한 별도의 컴퓨터에서 판독가능한 기록 매체는 플로피 드라이브, 디스크, 테이프, DVD/CD-ROM 드라이브, 메모리 카드 등의 컴퓨터에서 판독 가능한 기록 매체를 포함할 수 있다. 다른 실시예에서 소프트웨어 구성요소들은 컴퓨터에서 판독 가능한 기록 매체가 아닌 수신부(410)를 통해 메모리(430)에 로딩될 수도 있다. 예를 들어 적어도 하나의 프로그램은 개발자들 또는 어플리케이션의 설치 파일을 배포하는 파일 배포 시스템(일례로 상술한 서버(405))가 네트워크(406)를 통해 제공하는 파일들에 의해 설치되는 프로그램(일례로 상술한 어플리케이션)에 기반하여 메모리(430)에 로딩될 수 있다.

입출력 인터페이스(440)는 입출력 장치와의 인터페이스를 위한 수단일 수 있다. 예를 들어, 입력 장치는 키보드 또는 마우스 등의 장치를, 그리고 출력 장치는 어플리케이션의 통신 세션을 표시하기 위한 디스플레이와 같은 장치를 포함할 수 있다. 다른 예로 입출력 인터페이스(440)는 터치스크린과 같이 입력과 출력을 위한 기능이 하나로 통합된 장치와의 인터페이스를 위한 수단일 수도 있다. 보다 구체적인 예로, 서버(405)의 프로세서(420)는 메모리(430)에 로딩된 컴퓨터 프로그램의 명령을 처리함에 있어서 사용자 단말 2(402)가 제공하는 데이터를 이용하여 구성되는 서비스 화면이나 컨텐츠가 입출력 인터페이스(440)를 통해 디스플레이에 표시될 수 있다.

이하, 도 4를 참조하여, 본 발명의 미생물 정보 제공 장치(400)의 원리에 대하여 설명한다.

도 4는 본 발명의 일 실시예에 따른 미생물 정보 제공 장치(400)가 시료(201) 내의 미생물의 존재를 확인하는 기본적인 원리를 설명하기 위한 도면이다.

유리와 같이 내부 굴절율이 균질한 물질의 경우에는 광을 조사했을 때에 일정한 방향으로 굴절이 일어난다. 하지만, 내부 굴절률이 불균질한 물체에 레이저와 같은 간섭광(coherent light)을 조사하면, 물질 내부에서 매우 복잡한 다중 산란(multiple scattering)이 발생하게 된다.

도 4를 참조하면, 파동원에서 조사한 빛 또는 파동(이하, 간략화를 위하여 파동이라 함) 중, 다중 산란을 통해 복잡한 경로로 산란된 파동의 일부는 검사 대상면을 통과하게 된다. 검사 대상면의 여러 지점을 통과하는 파동들이 서로 보강 간섭(constructive interference) 또는 상쇄 간섭(destructive interference)를 일으키게 되고, 이러한 파동들의 보강/상쇄 간섭은 낱알 모양의 무늬(스펙클; speckle)를 발생시키게 된다.

본 명세서에서는 이러한 복잡한 경로로 산란되는 파동들을 "혼돈파(chaotic wave)"라고 명명하였으며, 혼돈파는 스펙클 정보를 통해 검출할 수 있다.

다시, 도 4의 좌측 도면은 안정한 매질을 레이저로 조사하였을 때를 나타낸 도면이다. 내부 구성 물질의 움직임이 없는 안정한 매질을 간섭광(예를 들어 레이저)으로 조사하였을 때에는 변화가 없는 안정한 스펙클 무늬를 관측할 수 있다.

그러나, 도 4의 우측 도면과 같이, 내부에 박테리아 등, 내부 구성 물질 중 움직임이 있는 불안정한 매질을 포함하고 있는 경우에는 스펙클 무늬가 변화하게 된다.

즉, 생물의 미세한 생명활동(예컨대, 세포 내 움직임, 미생물의 이동, 진드기의 움직임 등)으로 인해 광경로가 실시간으로 변화할 수 있다. 스펙클 패턴은 파동의 간섭으로 인해 발생하는 현상이기 때문에, 미세한 광경로의 변화는 스펙클 패턴에 변화를 발생시킬 수 있다. 특히, 미세한 광경로의 변화는 본 발명의 실시예들에 의해 측정된 데이터의 특성으로 인해 높은 신호대 잡음비로 표현되는데, 이는 좁은 대역폭의 광원이 간섭한 이미지이며 다중 산란으로 인해 신호가 미생물에 의해 여러 번 영향을 받기 때문이다. 이에 따라, 스펙클 패턴의 시간적인 변화를 측정함으로써, 생물의 움직임을 신속하게 측정할 수 있다. 이처럼, 스펙클 패턴의 시간에 따른 변화를 측정하는 경우, 생물의 존재여부 및 농도를 알 수 있으며, 더 나아가서는 생물의 종류 또한 알 수 있다.

도 5a 및 도 5b는 본 발명의 일 실시예에 따른 미생물 정보 제공 방법을 시계열적으로 나타낸 것이다. 구체적으로, 도 5a는 본 발명의 일 실시예에 따른 미생물 정보 제공 방법 중 분류기준을 학습하는 방법을 시계열적으로 나타낸 것이고, 도 5b는 본 발명의 일 실시예에 따른 미생물 정보 제공 방법 중 분류기준을 기초로 미생물의 농도 또는 종류를 구분하는 방법을 시계열적으로 나타낸 것이다.

먼저, 도 5a를 참조하면, 본 발명의 일 실시예에 따른 미생물 정보 제공 시스템(1)은 미생물의 종류 또는 농도를 미리 알고 있는 시료를 준비하고, 이를 촬영하여 복수의 학습영상을 획득할 수 있다.

미생물 정보 제공 시스템(1)에서 복수의 학습영상을 수신하는 과정은 후술하는 신규 시료의 복수의 영상을 수신하는 과정과 동일하다. 다시 말해, 미생물 정보 제공 시스템(1)은 파동원(100)을 이용하여 시료부(200)에 수용된 시료(201)에 파동(L1)을 조사하게 된다. 이때, 상기 시료(201)는 미생물의 농도 또는 종류를 미리 알고 있는 시료일 수 있다.

다음으로, 영상 센서(300)는 시료(201)로부터 출사되는 출사파동(L2)을 시계열 순으로 촬영하여 복수의 영상들을 획득한다. 다시 말해, 영상 센서(300)는 사전에 설정된 시점에 또는 시점마다 시료(201)를 촬영하여 복수의 영상들을 회득할 수 있으며, 이때, 복수의 영상 각각은 시료(201)로 입사되는 파동(L1)에 기인하여 미생물에 의해 다중산란되어 발생되는 스펙클 정보를 포함할 수 있다. 영상 센서(300)는 미생물의 움직임을 감지할 수 있을 정도의 속도로 복수의 영상을 획득할 수 있으며, 예를 들면, 초당 25 프레임 내지 30프레임의 속도로 시료(201)를 촬영할 수 있다.

다음으로, 미생물 정보 제공 장치(400)는 수신부(410)에 의해, 영상 센서(300)에서 획득한 복수의 학습영상들을 수신한다.

다음으로, 검출부(422)는 복수의 학습영상으로부터 시간에 따른 변화의 특징(feature)을 추출한다(S12). 여기서, 복수의 학습영상들은 시간 간격을 두고 연속적으로 촬영된 영상들로서, 시계열 순으로 촬영한 복수의 학습영상들 사이에는 시간(time) 정보를 포함하게 된다. 검출부(422)는 이러한 복수의 학습영상들로부터 시간에 따른 변화의 특징(feature)을 추출할 수 있다.

다음으로, 학습부(421)는 상기 추출된 특징을 기초로 분류기준을 기계학습한다(S13). 학습부(421)는 딥러닝(Deep learning)을 기반으로 분류기준을 학습하며, 딥러닝은 여러 비선형 변환기법의 조합을 통해 높은 수준의 추상화(abstractions, 다량의 데이터나 복잡한 자료들 속에서 핵심적인 내용 또는 기능을 요약하는 작업)를 시도하는 기계학습 알고리즘의 집합으로 정의된다. 학습부(421)는 딥러닝의 모델 중 예컨대 심층 신경망(Deep Neural Networks, DNN), 컨볼루션 신경망(Convolutional Neural Networks, CNN), 순환 신경망(Reccurent Neural Network, RNN) 및 심층 신뢰 신경 망(Deep Belief Networks, DBN) 중 어느 하나를 이용한 것일 수 있다.

일 실시예로서, 학습부(421)는 상기 수신한 복수의 학습영상들의 시간 상관관계(temporal correlation)를 기초로 분류기준을 기계학습(machine learning)할 수 있다.

복수의 학습영상은 전술한 바와 같이, 시료(201)로부터 다중산란되어 발생된 스펙클의 정보를 포함할 수 있다. 앞서 도 4를 통해 설명한 바와 같이, 시료(201) 내에 미생물이 존재하는 경우, 미생물의 생명활동으로 인하여 스펙클은 시간에 따라 변화할 수 있다. 또한, 이러한 시간에 따른 스펙클의 변화는 미생물의 종류 또는 농도에 따라서 다르므로, 학습부(421)는 스펙클의 시간에 따른 변화를 이용하여 미생물의 종류 또는 농도를 분류하는 분류기준을 학습할 수 있다.

일 실시예로서, 학습부(421)는 복수의 학습영상들 각각에 포함된 스펙클 정보인 스펙클 패턴의 변화를 이용하여 분류기준을 기계학습하거나, 상기 수신한 복수의 학습영상들의 시간 상관관계(temporal correlation)를 기초로 분류기준을 기계학습(machine learning)할 수 있다. 이때, 학습부(421)는 상기 특징(feature) 중 복수의 학습영상 각각에서 검출된 스펙클 패턴을 이용하여 미생물의 분류기준을 학습할 수 있다.

한편, 도 5a에서는 검출부(422)에서 시간에 따른 변화의 특징을 추출하는 단계(S12)와 학습부(421)에서 추출된 특징을 기초로 분류기준을 기계학습하는 단계(S13)를 구분하여 도시하였으나, 본 발명은 반드시 이에 제한되지 않으며, 각 단계는 선후관계를 갖지 아니하고 동시에 이루어질 수도 있음은 물론이다.

도 6은 본 발명의 일 실시예에 따른 학습부(421)에서 스펙클의 시간 상관 관계를 분석하는 방법을 설명하기 위한 도면이다.

도 6을 참조하면, 학습부(421)는 제1 시점에서 검출된 스펙클의 제1 영상정보와, 제1 시점과 다른 제2 시점에서 검출된 스펙클의 제2 영상정보 차이를 이용하여 분류기준을 학습할 수 있다. 여기서, 제1 영상정보 및 제2 영상정보는 스펙클 패턴 정보 또는 파동의 세기 정보 중 적어도 어느 하나일 수 있다. 한편, 본 발명의 일 실시예는, 제1 시점에서의 제1 영상정보와 제2 시점에서의 제2 영상정보 차이만을 이용하는 것이 아니며, 이를 확장하여 복수의 시점에서 검출된 복수의 영상들에 포함된 스펙클 정보들을 이용할 수 있다. 학습부(421)는 사전에 설정된 복수의 시점에 생성된 스펙클의 영상정보를 이용하여 영상들 간의 시간 상관 관계 계수를 계산할 수 있으며, 시간 상관 관계 계수에 기초하여 분류기준을 학습할 수 있다.

일례로, 스펙클 패턴의 빛의 세기를 기초로 계산된 시간 상관 관계 계수는 아래의 수학식 3을 이용하여 계산될 수 있다.

[수학식 3]

수학식 3에서 은 시간 상관 관계 계수, 은 표준화된 빛 세기, (x,y)는 카메라의 픽셀 좌표, t는 측정된 시간, T는 총 측정 시간, 는 타임래그(time lag)를 나타낸다.

수학식 3에 따라 시간 상관 관계 계수가 계산될 수 있으며, 일 실시예로서, 시간 상관 관계 계수가 사전에 설정된 기준값 이하로 떨어지는 분석을 통해 학습부(421)는 미생물의 종류 또는 농도를 구분하는 분류기준을 학습하게 된다. 구체적으로, 시간 상관 관계 계수가 사전에 설정된 오차 범위를 넘어 기준값 이하로 떨어지는 것으로 미생물이 존재한다고 분석할 수 있으며, 이러한 기준값들은 미생물의 종류에 따라 다른 값을 가질 수 있다. 학습부(421)는 상기한 시간 상관 관계 계수의 기준값 분석을 이용하여 미생물의 종류를 구분하는 분류기준을 학습할 수 있다.

또한, 도 6의 그래프에 도시된 바와 같이, 미생물의 농도가 증가할수록 시간 상관 관계 계수는 기준값 이하로 떨어지는 시간이 짧아지는데, 이를 이용하여 시간 상관 관계 계수를 나타내는 그래프의 기울기 값을 통해 미생물의 농도를 분석할 수 있다. 학습부(421)는 시간 상관 관계 계수의 기울기 값 분석을 이용하여 미생물의 농도를 구분하는 분류기준을 학습할 수 있다.

도 7은 시간에 따라 측정된 스펙클의 빛 세기의 표준편차 분포를 도시한 도면이다.

도 7을 참조하면, 학습부(421)는 기준 시간마다 측정된 복수의 학습영상들을 이용하여 스펙클 패턴의 빛 세기(intensity)의 표준편차를 계산할 수 있다. 시료 내에 존재하는 세균 및 미생물이 지속적으로 움직임에 따라 보강 간섭과 상쇄 간섭이 상기 움직임에 대응하여 변화할 수 있다. 이때, 보강 간섭과 상쇄 간섭이 변화함에 따라, 빛 세기의 정도가 변화할 수 있다. 학습부(421)는 빛의 세기의 변화 정도를 나타내는 표준편차를 구하여 시료에서 세균 및 미생물이 있는 곳을 분석하고, 세균 및 미생물의 분포도를 학습할 수 있다.

예를 들어, 학습부(421)는 복수의 학습영상 각각에서 검출된 스펙클 패턴의 시간에 따른 빛 세기의 표준편차를 계산할 수 있다. 스펙클의 시간에 따른 빛 세기 표준편차는 아래의 수학식 4에 기초하여 계산될 수 있다.

[수학식 4]

수학식 4에서, S: 표준편차, (x,y): 카메라 픽셀 좌표, T: 총 측정 시간, t: 측정 시간, It: t 시간에 측정된 빛 세기, : 시간에 따른 평균 빛 세기를 나타낼 수 있다.

세균 및 미생물의 움직임에 따라 보강 및 상쇄 간섭 패턴이 달라지게 되고, 수학식 4에 기초하여 계산된 표준편차 값이 달라지기 때문에 이에 기초하여 세균 및 미생물의 농도가 측정될 수 있다. 학습부(421)는 스펙클 패턴의 빛의 세기의 표준편차 값의 크기와 세균 및 미생물 농도와의 선형적인 관계에 기초하여 분류기준을 학습할 수 있다.

이하에서는, 학습부(421)가 컨볼루션 신경망(CNN)을 이용하여 분류기준을 학습하는 경우를 중점으로 설명하기로 한다.

여기서, 컨볼루션 신경망(CNN)은 최소한의 전처리(prepocess)를 사용하도록 설계된 다계층 퍼셉트론(multilayer perceptrons)의 한 종류이다. 컨볼루션 신경망(CNN)은 입력 데이터에 대하여 컨볼루션을 수행하는 컨볼루션 계층을 포함하며, 그리고 영상에 대해 서브샘플링(subsampling)을 수행하는 서브샘플링 계층을 더 포함하여, 해당 데이터로부터 특징맵을 추출할 수 있다. 여기서, 서브샘플링 계층이란 이웃하고 있는 데이터 간의 대비율(contrast)를 높이고 처리해야 할 데이터의 양을 줄여주는 계층으로서, 최대 풀링(max pooling), 평균 풀링(average pooling) 등이 이용될 수 있다.

도 8은 본 발명의 일 실시예에 따른 컨볼루션 신경망의 예시도이고, 도 9 및 도 10은 도 8의 컨볼루션 연산을 설명하기 위한 도면이다.

도 8 내지 도 10을 참조하면, 본 발명의 일 실시예에 따른 학습부(421)에서 이용하는 컨볼루션 신경망(CNN, 510)은 복수의 컨볼루션 레이어들(A1)을 포함할 수 있다. 학습부(421)는 컨볼루션 레이어들의 커널들 및 입력들 사이의 컨볼루션 연산을 수행하여 출력을 생성할 수 있다.

컨볼루션 레이어의 입력은 해당 컨볼루션 레이어의 입력으로 채용되는 데이터로서, 최초 입력 데이터 또는 이전 레이어에 의해 생성된 출력에 대응하는 적어도 하나의 입력 특징 맵(feature map)을 포함한다. 예를 들어, 도 8에 도시된 컨볼루션 레이어 1(A11)의 입력은 컨볼루션 신경망(510)의 최초 입력인 복수의 영상들(501)이며, 컨볼루션 레이어 2(A12)의 입력은 컨볼루션 레이어 1(A11)의 출력(511)일 수 있다.

컨볼루션 신경망(510)의 입력(501)은 수신부(410)에서 수신한 C개의 복수의 영상들(501)이며, 입력 특징 맵인 각 영상들 사이에는 시간 상관관계가 성립될 수 있다. 각 영상, 다시 말해 각 입력 특징 맵은 사전에 설정된 너비(W)와 높이(H)로 이루어진 복수의 픽셀들을 가질 수 있다. 이러한 입력 특징 맵이 C개이므로, 입력(501)의 크기는 W x H x C로 표현될 수 있다. 학습부(421)는 컨볼루션 레이어(A1)에 대응하는 하나의 커널을 이용하여, 입력(501)에 대응하는 컨볼루션 연산을 수행할 수 있다.

컨볼루션 레이어(A1)의 적어도 하나의 커널은 해당 컨볼루션 레이어(A1)에 대응하는 컨볼루션 연산을 위해 채용되는 데이터로서, 예를 들면 해당 컨볼루션 레이어의 입력 및 출력에 기초하여 정의될 수 있다. 컨볼루션 신경망(510)을 구성하는 컨볼루션 레이어(A1)들 별로 적어도 하나의 커널이 설계될 수 있는데, 각 컨볼루션 레이어에 대응하는 적어도 하나의 커널을 커널 세트(S600)으로 지칭할 수 있다.

여기서, 커널 세트(S600)는 출력 채널들(D)에 대응하는 커널들을 포함할 수 있다. 예를 들면, 컨볼루션 레이어(A1)의 원하는 출력을 획득하기 위해, 해당 컨볼루션 레이어의 입력과 컨볼루션 연산이 수행되도록 해당 컨볼루션 레이어의 커널 세트(S600)가 정의될 수 있다. 컨볼루션 레이어(A1)의 출력은 해당 컨볼루션 레이어의 입력과 커널 세트 사이의 컨볼루션 연산 결과에 의한 데이터로서, 적어도 하나의 출력 특징 맵을 포함하고 다음 레이어의 입력으로 채용될 수 있다.

학습부(421)는 컨볼루션 레이어(A1)에 대응하는 커널 세트(S600)와 입력(501) 사이의 컨볼루션 연산을 수행하여 출력(511)을 생성할 수 있다. 컨볼루션 레이어(A1)의 출력(511)은 D개의 출력 채널에 대응하는 출력 특징 맵(5111)들을 포함하고, 각 출력 특징 맵(5111)의 크기는 W x H일 수 있다. 여기서, 출력(511)의 너비, 높이 및 개수(깊이)는 각각 W, H 및 D이고, 출력(511)의 크기는 W x H x D로 표현될 수 있다.

예를 들어, 컨볼루션 레이어(A1)에 대응하는 커널 세트(S600)는 D개의 출력 채널 개수에 대응하는 컨볼루션 커널들을 포함할 수 있다. 학습부(421)는 입력(501)과 D개의 출력 채널들에 대응하는 커널들 사이의 연산결과들에 기초하여, D개의 출력 채널들에 대응하는 출력 특징 맵(5111)들을 생성할 수 있다.

학습부(421)는 복수의 컨볼루션 레이어(A1)를 포함하며, 일 실시예로서 4 내지 7개의 컨볼루션 레이어(A1)들을 포함할 수 있다. 예를 들면, 도면에 도시된 바와 같이, 5개의 컨볼루션 레이어들(A11, A12, A13, A14, A15)들을 포함할 수 있다. 이러한 복수의 컨볼루션 레이어(A11, A12, A13, A14, A15)들을 통해, 학습부(421)는 복잡한 비선형 관계를 함축할 수 있는 학습용량이 높아질 수 있다. 그러나, 본 발명은 이에 제한되지 않으며, 더 많은 컨볼루션 레이어(A1)들을 이용하여 학습할 수 있음은 물론이다.

한편, 컨볼루션 레이어(A1) 각각은 활성 함수(activation function)을 포함할 수 있다. 활성 함수는 각층의 레이어들마다 적용되어 각 입력들이 복잡한 비선형성(non-linear) 관계를 갖게 하는 기능을 수행할 수 있다. 활성 함수는 입력을 표준화(normalization)된 출력으로 변환시킬 수 있는 시그모이드 함수(Sigmoid), 탄치 함수(tanh), 렐루(Rectified Linear Unit, ReLU), 리키 렐루(Leacky ReLU) 등이 사용될 수 있다.

본 발명의 일 실시예에 따른 학습부(421)는 컨볼루션 신경망(510)을 이용하여 처음 학습시킴에 있어 -1 내지 1의 값들을 이용하여 커널들을 완전히 초기화시키기게 되는데, 음수값을 갖는 데이터들을 모두 0으로 출력하는 활성함수를 이용하는 경우 유효한 정보들을 포함하는 출력값들이 다음 컨볼루션 레이어로 전달될 수 없어 학습 효율이 떨어질 수 있다. 따라서, 본 발명의 일 실시예에 있어서, 학습부(421)는 컨볼루션 레이어(A1) 뒤에 리키 렐루(Leacky ReLU) 레이어를 추가하여, 양수 값은 그대로 출력하되, 음수 값의 입력 데이터에는 일정한 기울기를 갖도록 출력할 수 있다. 이를 통해, 학습부(421)는 학습하는 동안 수렴 속도 저하와 로컬 최소화 문제를 방지할 수 있다.

입력(501)은 패딩(padding)이 적용된 입력 특징 맵들의 집합일 수 있는데, 패딩이란 입력의 일부 영역을 특정 값으로 채우는 기법을 의미한다. 구체적으로 패드(Pad)의 크기를 1로 하여 입력에 패딩을 적용한다는 것은 입력 특징 맵의 가장자리에 특정값을 채우는 동작을 의미하고, 제로 패딩(zoro padding)은 그 특정 값을 0으로 설정하는 것을 의미한다. 예를 들어, X x Y x Z의 크기 입력에 패드(pad)의 크기가 1인 제로 패딩(zero padding)이 적용된다면, 패딩이 적용된 입력은 가장자리가 0이고, 크기가 (X+1) x (Y+1) x Z인 데이터로서, (X+1) x (Y+1) x Z개의 입력 요소들을 포함할 수 있다.

한편, 학습부(421)는 스펙클 정보를 포함하는 복수의 영상들을 입력으로 하여 컨볼루션 연산을 수행함에 있어, 복수의 영상들의 시간 상관관계를 이용하여 학습하게 되는데, 이때, 각각의 영상들에는 낱알 모양의 무늬들인 복수의 스펙클들을 포함할 수 있다. 이때, 학습부(421)는 스펙클 각각의 시간 상관관계를 기초로 하여 분류기준을 학습시킬 수 있으며, 다시 말해, 학습부(421)는 영상의 2차원적인 정보가 아닌 시간의 정보를 포함하는 3차원적 정보를 이용하여 분류기준을 학습하게 된다.

학습부(421)는 하나의 스펙클에 대한 정보에 집중해야 하며, 하나의 스펙클에 대한 3차원적 정보를 정확히 획득하기 위하여 상기한 하나의 스펙클과 주변의 스펙클들을 구분하여 분류기준을 학습시켜야 한다. 따라서, 학습부(421)는 하나의 스펙클의 크기보다 작은 크기를 갖는 컨볼루션 커널(convolution kernel)을 이용하여 컨볼루션 연산을 수행할 수 있다. 즉, 학습부(421)는 하나의 스펙클의 크기가 m개의 픽셀(pixel)에 대응되는 경우, m보다 작은 n x n 크기의 컨볼루션 커널을 이용하여 컨볼루션 연산을 수행하게 된다. 일 실시예로서, 전술한 바와 같이, 영상 센서(300)는 스펙클 입자 크기(speckle grain size)에 최대 5개 이하의 픽셀이 위치하도록 배치되므로, m은 5가 될 수 있고 이때 n은 1의 값을 가질 수 있다. 즉, 학습부(421)는 1 x 1 컨볼루션 커널을 이용하여 컨볼루션 연산을 수행할 수 있다. 그러나, 본 발명의 기술적 사상은 스펙클의 크기보다 작은 크기의 커널을 이용하여 컨볼로션 연산을 수행하는 것인 바, 이에 제한되는 것은 아니다.

커널 세트(S600)는 D개의 출력 채널들에 대응하는 컨볼루션 커널들을 포함하고, 각 컨볼루션 커널은 복수의 영상 개수에 대응되는 커널 특징 맵들을 포함할 수 있다. 각 커널 특징 맵의 크기가 n x n 이므로, 커널 세트(S600)는 n x n x C x D 개의 커널 요소들을 포함한다. 여기서, 컨볼루션 커널의 사이즈는 n x n x C가 되며, C는 복수의 영상들의 개수, 즉 영상 프레임 수가 될 수 있다. 컨볼루션 커널의 개수는 복수의 영상들의 개수(C)와 동일할 수 있고, 이 경우, 각 레이어의 출력 결과를 이용해 동일 조건의 푸리에 변환 또는 이를 이용한 분석 등에 사용할 수 있다.

도 9에 도시된 바와 같이, 학습부(421)는 커널 세트(S600) 중 첫번째 출력 채널에 대응하는 컨볼루션 커널과 입력(501) 사이의 연산을 수행하여 첫번째 출력 채널에 대응하는 출력 특징 맵(5111)을 생성할 수 있다. 이와 같은 방식으로 학습부(421)는 커널 세트(S600) 내 D개의 커널들과 입력(501) 사이의 연산을 각각 수행하여 D개의 출력 채널들에 대응하는 출력 특징 맵(5111)들을 생성할 수 있고, 생성된 출력 특징 맵(5111)들을 포함한 출력(511)을 생성할 수 있다.

예를 들면, 학습부(421)는 n x n x C개의 크기인 D번째 출력 채널에 대응하는 컨볼루션 커널(600)과 W x H x C의 크기인 입력(501) 사이의 연산을 수행하여 W x H의 크기인 출력 특징 맵(5111)을 생성할 수 있고, 생성된 출력 특징 맵(5111)은 D번째 출력 채널에 대응한다. 구체적으로, D번째의 출력 채널에 대응하는 컨볼루션 커널(600)은 C개의 컨널 특징 맵들을 포함하고, 각 커널 특징 맵의 크기는 n x n이다. 학습부(421)는 입력(501)에 포함된 W x H의 크기인 각 입력 특징 맵 상에서 n x n의 크기인 각 커널 특징 맵을 특정 스트라이드(stride)로 슬라이딩하여, D번째의 출력 채널에 대응하는 컨볼루션 커널(600) 및 입력(501) 사이의 연산 결과인 출력 특징 맵(5111)을 생성할 수 있다.

여기서, 스트라이드(stride)란 컨볼루션 연산 시 커널 특징 맵을 슬라이딩하는 간격을 의미한다. 앞서 설명한 바와 같이, 학습부(421)는 하나의 스펙클에 대한 정보에 집중하기 위해, 상기한 하나의 스펙클과 주변의 스펙클들을 구분하여 분류기준을 학습시켜야 하므로, 슬라이딩 간격인 스트라이드(s)는 각 컨볼루션 커널들과 이에 대응되는 영역이 중첩되지 않도록 컨볼루션 커널의 크기에 대응되는 값을 가질 수 있다. 다시 말해, n x n 크기의 컨볼루션 커널을 사용하는 경우, 스트라이드(s)는 n 값을 가질 수 있다. 예를 들면, 1 x 1 컨볼루션 커널인 경우, 스트라이드(s)는 1일 수 있다. 이를 통해, 학습부(421)는 하나의 스펙클이 주변 다른 스펙클들과 비중첩시켜, 오직 하나의 스펙클이 갖는 시간 정보로 분류기준을 학습시킬 수 있다.

일 실시예로서, 학습부(421)는 컨볼루션 신경망(510)을 이용하여 분류기준을 학습함에 있어, 복수의 영상 개수(C)와 동일한 출력 채널 개수(D)를 갖도록 컨볼루션 연산을 수행할 수 있다. 다시 말해, 커널 세트(S600)는 C개의 커널 특징 맵을 포함하는 컨볼루션 커널들을 D개 구비할 수 있으며, 이때, C와 D는 동일할 수 있다.

한편, 학습부(421)는 컨볼루션 레이어(A1)들을 이용한 컨볼루션 연산 후 풀링 연산을 이용하여 출력(515)의 사이즈를 축소시킬 수 있다. 예를 들면, 학습부(421)는 서브 샘플링(sub sampling, A2)을 이용하여 출력(515)의 사이즈를 축소시킬 수 있다. 예를 들면, 서브 샘플링은 일정한 크기의 범위 내의 평균치를 해당 범위의 대표로 설정하는 연산인 평균 풀링(global average pooling)일 수 있다. 그러나, 본 발명은 이에 제한되지 않으며 최대 풀링(max pooling), 최소 풀링(min pooing) 등이 사용될 수 있음은 물론이다.

이후, 학습부(421)는 완전 연결 레이어(Fully connected layer)를 이용하여, 서브 샘플링(A2) 필터를 통과시켜 추출한 특징 맵(521)들에 대해 소정의 연산과 함께 가중치를 적용한 후, 최종 출력(541)을 획득할 수 있다. 예를 들면, 학습부(421)는 서브 샘플링(A2)을 수행한 후의 완전 연결 레이어(Fully connected layer)에 리키 렐루(Leaky ReLU)를 더 적용하고(A3), 이후, 완전 연결 레이어(Fully connected layer)에 소프트맥스 레이어(softmax layer)를 적용하여(A4) 최종 출력을 획득할 수 있다. 여기서, 최종 출력(541)은 스펙클의 시간 상관관계에 의한 미생물 종류 또는 농도를 구분하는 분류기준일 수 있다.

다음, 도 5b를 참조하면, 본 발명의 일 실시예에 따른 미생물 정보 제공 방법은 신규 시로에 파동을 조사하여(S21) 출사되는 출사파동을 시계열 순으로 촬영한 복수의 영상을 수신한다(S22). 이후 미생물 정보 제공 방법은 판단부(423)에 의해 상기 획득한 분류기준을 기초로 신규 시료(201)에 포함된 미생물의 종류 또는 농도를 구분할 수 있다(S23). 전술한 과정을 통해 획득한 출력데이터는 학습부(421)에 다시 제공되어 학습데이터로 사용될 수 있다.

도 11은 본 발명의 일 실시예에 따른 미생물 정보 제공 방법을 이용하여 획득된 예상 미생물 정보(prediction)와 실제 미생물 정보(ground truth)를 비교한 그래프이다.

도 11을 참조하면, 본 발명의 일 실시예에 따른 미생물 정보 제공 방법을 통해 획득한 예상 미생물 정보와 실제 미생물 정보 사이의 매칭율이 매우 높음을 확인할 수 있다. 도 11의 결과를 통해, 미생물 정보 제공 방법이 시료(201) 내에 포함된 미생물의 종류(B.subtilis, E.Coli, P.aeruginosa, S.aureus) 등을 구분함은 물론, 각각의 농도까지 구분하고 있음을 확인할 수 있다.

전술한 바와 같이, 본 발명의 실시예들에 따른 미생물 정보 제공 장치 및 방법은 스펙클의 시간 상관관계의 변화를 이용하여 미생물의 종류 또는 농도를 분류하는 분류기준을 획득함으로써, 별도의 화학적 방법에 의하지 않고 신속하고 정확하게 시료 내의 미생물의 종류 또는 농도를 구분할 수 있다. 이를 통해, 감염질환 환자에게 신속하고 효과적인 항생제 등의 의학적 처방이 가능함은 물론, 대상체의 건강상태도 확인하는 등의 다양한 응용이 가능하다.

이제까지 본 발명에 대하여 바람직한 실시예를 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명을 구현할 수 있음을 이해할 것이다. 그러므로 상기 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 한다.

1 : 미생물 정보 제공 시스템
100 : 파동원
200 : 시료부
300 : 영상 센서
400 : 미생물 정보 제공 장치
410 : 수신부
421 : 학습부
422 : 검출부
423 : 판단부

Claims

시료로부터 출사되는 출사파동을 시계열 순으로 촬영한 복수의 영상을 수신하는 수신부;
상기 시계열 순으로 촬영한 복수의 영상으로부터 시간에 따른 변화의 특징(feature)을 추출하는 검출부;
상기 추출된 특징을 기초로 분류기준을 기계학습하는 학습부; 및
상기 분류기준을 기초로 시료에 포함된 미생물의 종류 또는 농도를 구분하는 판단부;를 포함하고,
상기 복수의 영상 각각은 상기 시료로 입사되는 파동에 기인하여 상기 미생물에 의해 다중산란(multiple scattering)되어 발생되는 스펙클(speckle) 정보를 포함하고,
상기 학습부는
상기 복수의 영상으로부터 하나의 스펙클과, 상기 하나의 스펙클의 주변에 형성되되 상기 하나의 스펙클과 다른 주변의 스펙클들을 구분하고,
구분된 상기 하나의 스펙클이 갖는 시간 정보를 기초로 상기 분류기준을 학습하는, 미생물 정보 제공 장치.