KR101593676B1 - 주행상황 인지 방법 및 장치 - Google Patents

Abstract

주행상황 인지 방법이 개시된다. 본 발명의 일 실시예에 따른 주행상황 인지 방법은 제1지역의 주행상황에 대하여 촬영된 동영상을 영상정보와 소리정보로 분리하고, 그 영상정보 및 소리정보 중 적어도 하나를 제2지역의 교통사고에 대한 동영상을 분석하여 미리 생성된 사고 참조 정보와 비교한 후, 그 비교 결과에 기초하여 교통사고 발생 여부 및 발생 가능성을 판단한다.

Description

주행상황 인지 방법 및 장치{Method and device for perceiving driving situation}

본 발명의 일 실시예는 주행상황 인지에 관한 것으로, 특히 정확하고 신속히 주행상황을 인지할 수 있는 주행상황 인지 방법 및 장치에 관한 것이다.

일반적으로 교통사고를 비롯한 주행상황에 대한 정보의 획득은 신고 등 사람의 행위를 통하거나 CCTV, 교통정보수집용 카메라 등을 관리자가 직접 보고 정보를 획득하게 된다.

현재 경찰청과 일부 지자체에 의하여 운영되고 있는 도시 교통정보시스템(Urban Traffic Information System, UTIS)은 택시, 순찰차 등의 Probe차량에 설치된 차량내 통신장치(On Board Equipment, OBE)와 도로변에 설치된 노변기지국(Road Side Equipment, RSE)간의 실시간 양방향 통신을 통하여 차량의 위치정보 및 속도정보를 수집하고 사용자에게 교통정보, 돌발상황정보, 기상정보 등의 정보를 제공하고 있다.

그러나 UTIS에 있어서도 OBE 장비는 영상과 음향/음성을 기반으로 하는 것이 아닌 위치와 속도를 기반으로 주행상황을 파악하는 원리이기에 교통정체 여부를 분석하는 수준 이상의 교통 정보는 파악하기 어려운 문제점이 있다.

또한 기존의 시스템은 인적이 드문 곳이나 사람이 신고를 할 수 없는 경우이거나 교통정보수집용 카메라가 없는 구역에서 사고 등이 발생한 경우에는 적당한 조치를 할 수 없는 경우가 있다.

따라서 이러한 문제점을 극복할 수 있는 새로운 방식의 주행상황 인지 시스템의 도입이 필요하다.

관련 선행기술로는 공개특허 제1020-060025930호(발명의 명칭 : 실시간 행위분석 및 상황인지 기반 스마트 영상 보안시스템)가 있다.

본 발명의 일 실시예의 목적은 주행상황에 관하여 촬영된 동영상을 영상정보와 소리정보를 통합적으로 분석하여 정확하고 신속히 주행상황을 인지할 수 있는 주행상황 인지 방법 및 그 장치를 제공하는 것이다.

상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 주행상황 인지 방법은 제1지역의 주행상황에 대하여 촬영된 동영상을 영상정보와 소리정보로 분리하는 단계; 상기 영상정보 및 상기 소리정보 중 적어도 하나를 제2지역의 교통사고에 대한 동영상을 분석하여 미리 생성된 사고 참조 정보와 비교하는 단계; 및 상기 비교 결과에 기초하여 교통사고 발생 여부 및 발생 가능성을 판단하는 단계를 포함할 수 있다.

바람직하게는, 상기 영상정보를 상기 사고 참조 정보와 비교하는 단계는 상기 영상정보로부터 기호, 문자, 숫자 중 적어도 하나를 포함하는 텍스트정보를 추출하는 단계; 상기 영상정보로부터 상기 텍스트정보가 추출된 영역 이외의 나머지 영역에서 객체정보를 추출하는 단계; 및 상기 텍스트정보 및 상기 객체정보 중 적어도 하나를 상기 사고 참조 정보와 비교하는 단계를 더 포함할 수 있다.

바람직하게는, 상기 사고 참조 정보는 교통사고와 관련된 키워드정보를 더 포함할 때, 상기 텍스트정보를 상기 사고 참조 정보와 비교하는 단계는 상기 텍스트정보를 상기 키워드정보와 비교하여 상기 키워드정보와 유사한 유사 키워드정보를 선별하는 단계를 더 포함할 수 있다.

바람직하게는, 상기 객체를 상기 사고 참조 정보와 비교하는 단계는 상기 객체를 객체의 종류에 따라 구분하는 단계; 및 상기 구분된 객체의 종류별로 상기 사고 참조 정보와 비교하는 단계를 포함할 수 있다.

바람직하게는, 상기 소리정보를 상기 사고 참조 정보와 비교하는 단계는 상기 소리정보를 음성정보와 음향정보로 분리하는 단계; 및 상기 음성정보 및 상기 음향정보 중 적어도 하나를 상기 사고 참조 정보와 비교하는 단계를 포함할 수 있다.

바람직하게는, 상기 사고 참조 정보는 교통사고와 관련된 키워드정보를 더 포함할 때, 상기 음성정보를 상기 사고 참조 정보와 비교하는 단계는 상기 음성정보를 상기 키워드정보와 비교하여 상기 키워드정보와 유사한 유사 키워드정보를 선별하는 단계를 포함할 수 있다.

바람직하게는, 본 발명의 일 실시예에 따른 주행상황 인지 방법은 상기 영상정보의 날씨를 분석하는 단계를 더 포함하고, 상기 교통사고 발생 여부 및 발생 가능성을 판단하는 단계는 상기 날씨 분석 결과에 더 기초하여 수행될 수 있다.

바람직하게는, 상기 제1지역의 주행상황에 대하여 촬영된 동영상은 상기 제1지역에 고정 설치된 고정형 촬영장치 또는 상기 제1지역을 이동하면서 촬영하는 이동형 촬영장치에 의하여 촬영될 수 있다.

바람직하게는, 본 발명의 일 실시예에 따른 주행상황 인지 방법은 상기 이동형 촬영장치의 위치정보를 획득하는 단계를 더 포함하고, 상기 교통사고 발생 여부 및 발생 가능성을 판단하는 단계는 상기 위치정보에 더 기초하여 수행될 수 있다.

상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 주행상황 인지 장치는 제1지역의 주행상황에 대하여 촬영된 동영상을 영상정보와 소리정보로 분리하는 동영상 분리부; 상기 영상정보를 제2지역의 교통사고에 대한 동영상을 분석하여 미리 생성된 사고 참조 정보와 비교하는 영상정보 분석부 및 상기 소리정보를 상기 사고 참조 정보와 비교하는 소리정보 분석부를 포함하는 비교부; 및 상기 비교 결과에 기초하여 상기 교통사고 발생 여부 및 발생 가능성을 판단하는 판단부를 포함할 수 있다.

바람직하게는, 본 발명의 일 실시예에 따른 주행상황 인지 장치는 상기 영상정보로부터 상기 텍스트정보를 추출하는 텍스트 검출부; 상기 영상정보로부터 상기 텍스트정보가 추출된 영역 이외의 나머지 영역에서 상기 객체정보를 추출하는 객체 검출부; 및 상기 텍스트정보 및 상기 객체정보 중 적어도 하나를 상기 사고 참조 정보와 비교하는 영상 비교부를 포함할 수 있다.

바람직하게는, 본 발명의 일 실시예에 따른 주행상황 인지 장치는 사고 참조 정보가 교통사고와 관련된 키워드정보를 더 포함할 때, 영상 비교부는 상기 텍스트정보를 상기 키워드정보와 비교하여 상기 유사 키워드정보를 선별할 수 있다.

바람직하게는, 본 발명의 일 실시예에 따른 주행상황 인지 장치는 상기 객체를 객체의 종류에 따라 구분하고, 상기 구분된 객체의 종류별로 상기 객체를 상기 사고 참조 정보와 비교할 수 있다.

바람직하게는, 본 발명의 일 실시예에 따른 주행상황 인지 장치는 상기 소리정보를 음성정보와 음향정보로 분리하는 소리 분리부; 및 상기 음성정보 및 상기 음향정보 중 적어도 하나를 상기 사고 참조 정보와 비교하는 소리 비교부를 포함할 수 있다.

바람직하게는, 본 발명의 일 실시예에 따른 주행상황 인지 장치는 상기 사고 참조 정보가 교통사고와 관련된 키워드정보를 더 포함할 때, 상기 소리 비교부는 상기 음성정보를 상기 키워드정보와 비교하여 상기 유사 키워드정보를 선별할 수 있다.

바람직하게는, 본 발명의 일 실시예에 따른 주행상황 인지 장치는 상기 영상정보의 날씨를 분석하는 날씨 분석부를 더 포함하고, 상기 판단부는 상기 날씨 분석 결과에 더 기초하여 상기 판단을 수행할 수 있다.

바람직하게는, 본 발명의 일 실시예에 따른 주행상황 인지 장치에 있어 상기 제1지역의 주행상황에 대하여 촬영된 동영상은 상기 제1지역에 고정 설치된 고정형 촬영장치 또는 상기 제1지역을 이동하면서 촬영하는 이동형 촬영장치에 의하여 촬영될 수 있다.

바람직하게는, 본 발명의 일 실시예에 따른 주행상황 인지 장치는 상기 이동형 촬영장치의 상기 위치정보를 획득하는 위치 정보 획득부를 더 포함하고, 상기 판단부는 상기 위치정보에 더 기초하여 상기 판단을 수행 할 수 있다.

본 발명의 일 실시예는 주행상황에 대한 영상과 음성 및 음향에 기초하여 교통사고 발생 가능성을 판단함으로써 교통사고 발생 여부 및 발생 가능성을 신속하고 정확하게 판단할 수 있다.

또한 이를 교통관제 업무를 담당하는 자에게 전송함으로써 신속한 후속처리를 할 수 있다.

또한 긴급한 상황이 발생한 경우 주행상황 인지 장치가 직접 차량을 제어하거나 운전자에게 경고를 할 수 있다.

도 1은 본 발명의 일 실시예에 따른 주행상황 인지 방법을 설명하기 위하여 도시한 흐름도이다.
도 2는 본 발명의 일 실시예에 따른 영상정보 분석 방법을 설명하기 위하여 도시한 흐름도이다.
도 3은 본 발명의 다른 실시예에 따른 주행상황 인지 방법을 설명하기 위하여 도시한 흐름도이다.
도 4는 본 발명의 일 실시예에 따른 판단부의 동작을 설명하기 위하여 도시한 도면이다.
도 5는 본 발명의 일 실시예에 따른 주행상황 인지 장치를 설명하기 위하여 도시한 도면이다.
도 6은 본 발명의 일 실시예에 따른 비교부를 설명하기 위하여 도시한 도면이다.
도 7은 본 발명의 일 실시예에 따른 영상정보 분석부를 설명하기 위하여 도시한 도면이다.
도 8은 본 발명의 일 실시예에 따른 주행상황 제공 어플리케이션의 UI를 설명하기 위하여 도시한 도면이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.

제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.

도 1은 본 발명의 일 실시예에 따른 주행상황 인지 방법을 설명하기 위하여 도시한 흐름도이다.

단계 110에서는, 제1지역의 주행상황에 대하여 촬영된 동영상을 영상정보와 소리정보로 분리한다.

이때 동영상은 CCTV, 교통정보수집용 카메라와 같은 고정형 촬영장치나 또는 차량용 블랙박스나 스마트폰과 같은 이동형 촬영장치로부터 입력된 동영상일 수 있다.

이때 제1지역은 촬영장치가 촬영하게 되는 지역을 의미하는데, 촬영장치의 카메라가 향하고 있는 전방, 후방 및 측방에 있는 지역이 이에 해당한다. 즉 제1지역은 분석의 대상이 되는 정보가 있고 분석의 대상이 되는 동영상이 획득되는 지역이다.

영상정보는 주행상황이 촬영된 동영상에서 시각적으로 인식할 수 있는 정보를 말한다. 영상정보에는 영상에서 나타나는 기호, 문자 및 숫자 등을 나타내는 텍스트정보와 텍스트정보 이외의 공간을 차지하는 물체인 객체정보를 포함한다.

소리정보는 주행상황이 촬영된 동영상에서 청각적으로 인식 할 수 있는 정보를 말한다. 소리정보에는 사람의 음성인 음성정보와 그 이외의 정보인 음향정보를 포함한다.

단계 120에서는, 영상정보 및 소리정보 중 적어도 하나를 제2지역의 교통사고에 대한 동영상을 분석하여 미리 생성된 사고 참조 정보와 비교한다.

제2지역은 교통사고가 발생한 지역 또는 교통사고가 발생할 가능성이 높은 지역을 의미한다. 즉 제2지역은 제1지역 동영상의 분석 기준을 획득하게 되는 지역이다. 교통사고 발생 여부 및 발생 가능성을 산출하는데 필요한 제2지역과 관련된 정보들은 미리 획득하여 저장하게 되는데, 이를 '사고 참조 정보'라 한다. 사고 참조 정보에는 교통사고 발생과 관련된 텍스트, 객체, 음성 및 음향정보가 저장되어 있다.

이때 제1지역과 제2지역은 동일지역일 수도 있고 상이한 지역일 수도 있다.

단계 130에서는, 상기 비교 결과에 기초하여 교통사고 발생 여부 및 발생 가능성을 판단한다.

이때 동영상 정보를 사고 참조 정보와 비교함으로써 교통사고 발생 여부 및 발생 가능성을 판단할 수 있다. 사고 참조 정보에는 교통사고와 관련된 정보가 저장되어 있고, 제1지역 동영상의 분석자료를 사고 참조 정보와 비교함으로써 교통사고가 발생하였는지 또는 발생할 가능성이 있는지를 알 수 있다.

영상정보와 사고 참조 정보를 비교하는 과정에 대해서는 도 2를 참조하여 후술한다.

도 2는 본 발명의 일 실시예에 따른 영상정보 분석 방법을 설명하기 위하여 도시한 흐름도이다.

단계 210에서는, 영상정보로부터 기호, 문자, 숫자 중 적어도 하나를 포함하는 텍스트정보를 추출한다.

이때 기호는 도로에 그려진 차선 진행 방향 표시 등을 포함하고, 문자는 표지판에 그려진 지명, 도로 정보 등을 포함하고, 숫자는 도로 또는 표지판에 나타난 제한 속도 표시가 포함 될 수 있다. 이때 텍스트정보는 영상정보의 텍스트정보가 포함된 영역을 설정한 후 상기 영역에 OCR(Optical Character Reader) 기법을 적용함으로써 추출될 수 있다.

단계 220에서는, 영상정보로부터 텍스트정보가 추출된 영역 이외의 나머지 영역에서 객체정보를 추출한다.

객체란 영상에 나타나는 대상 및 물체들로서 예를 들어 자동차, 도로, 사람, 구름, 신호등 및 교량 등이 여기에 해당된다.

단계 230에서는, 텍스트정보 및 객체정보 중 적어도 하나를 사고 참조 정보와 비교한다.

이와 같이, 본 발명의 일 실시예는 텍스트정보 또는 객체정보를 사고 참조 정보와 비교함으로써 제1지역 동영상 중에서 영상정보에 기초하여 교통사고의 발생 여부 및 발생 가능성을 산출할 수 있다.

도 3은 본 발명의 다른 실시예에 따른 주행상황 인지 방법을 설명하기 위하여 도시한 흐름도이다.

단계 310에서는, 제1지역의 주행상황에 대하여 촬영된 동영상을 영상정보와 소리정보로 분리한다.

단계 320에서는, 영상정보의 날씨를 분석한다.

예컨대 영상정보의 영상에서 날씨 분석을 통해 현재 내리고 있는 비 또는 눈, 이미 내린 비 또는 눈으로 인한 도로정보를 인식할 수 있다.

단계 330에서는, 영상정보를 제2지역의 교통사고에 대한 동영상을 분석하여 미리 생성된 사고 참조 정보와 비교한다.

이때 제2지역은 제1지역과 동일할 수도 있고 상이할 수도 있다.

단계 340에서는, 날씨의 분석 결과 및 비교 결과에 기초하여 교통사고 발생 여부 및 발생 가능성을 판단한다.

예컨대 영상정보와 사고 참조 정보의 비교 결과 교통사고 발생 여부 및 발생 가능성이 보통 이상으로 판단되었는데, 날씨가 비가 오는 상황이면 교통사고 발생 여부 및 발생 가능성이 높음으로 상향하여 판단할 수 있다.

다른 실시예에서는, 블랙박스와 같은 이동형 카메라의 경우 위치정보를 획득할 수 있는 별도의 위치인식 장치를 사용하여 획득한 위치정보에 더 기초하여 교통사고 발생 여부 및 발생 가능성을 판단할 수 있다.

예컨대, 제1지역과 제2지역의 위치가 일치할 경우 더 정확히 판단할 수 있다.

또한, 교통사고 발생 여부 및 발생 가능성을 판단할 때 운전자가 교통사고 다발지역에 있는 경우에는 교통사고 발생 여부 및 발생 가능성을 더 높게 판단할 것이다. 또한 이미 그 지역에 교통사고가 발생하였거나 정체지역에 들어설 예정이거나, 이미 들어선 경우에는 관제센터를 통하여 이를 운전자에게 알려 줄 수 있으며, 인적이 드문 곳에서 운전자에게 사고가 발생한 경우에는 자동으로 위치를 파악하여 관제센터에 이 정보를 알려주어 후속조치를 하도록 할 수 있다.

도 4는 본 발명의 일 실시예에 따른 판단부의 동작을 설명하기 위하여 도시한 도면이다.

도 4를 참조하면, 3초의 시간 간격으로 동영상을 구분하여 각 구간동안 음향정보, 텍스트정보, 객체정보를 분석하고 이 정보와 더불어 음성정보를 기초로 하여 교통사고 발생 가능성을 상,중,하로 판단할 수 있다.

도 4에서는 교통사고 발생 가능성을 처음 1,2,3구간의 분석에서는 교통사고 발생 가능성을 '중'으로 판단하였으나, 3구간에서 유사 키워드 정보가 검출됨에 따라, 이를 기초로 한 4구간의 판단에서는 교통사고 발생 가능성을 '상'으로 상승시켜 판단하였다.

유사 키워드정보란 교통사고와 관련되어 미리 설정된 키워드정보와 유사한 정보로서, 텍스트정보 혹은 음성정보를 키워드정보와 비교하여 교통사고와의 관련성이 인정된다면 이 정보는 유사 키워드정보로 선별되어 교통사고 발생 여부 및 발생 가능성 산출의 기초가 된다.

즉, 도 4의 실시예에서는 처음 1, 2 구간의 음성정보로부터는 유사 키워드 정보가 검출되지 않았으나 3구간에서는 유사 키워드 정보가 검출됨으로써 교통사고 발생 가능성 판단에 영향을 준 것이다.

도 5는 본 발명의 일 실시예에 따른 주행상황 인지 장치를 설명하기 위하여 도시한 도면이다.

도 5를 참조하면, 본 발명의 일 실시예에 따른 주행상황 인지 장치는 동영상 분리부(510), 비교부(520) 및 판단부(530)를 포함한다.

동영상 분리부(510)는 촬영장치로 촬영된 동영상을 영상정보와 소리정보로 분리한다.

비교부(520)는 그 분리된 영상정보 및 소리정보 중 적어도 하나를 참조 정보와 비교한다.

이때, 비교부(520)는 영상정보 분석부(522) 및 소리정보 분석부(524)를 포함할 수 있는데, 영상정보 분석부(522) 및 소리정보 분석부(524)의 구체적인 동작에 대해서는 도 6을 참조하여 후술한다.

판단부(530)는 그 비교 결과에 기초하여 교통사고 발생 여부 및 발생 가능성을 판단한다.

도 6은 본 발명의 일 실시예에 따른 비교부(520)를 설명하기 위하여 도시한 도면이다.

도 6을 참조하면, 비교부(520)는 영상정보 분석부(522) 및 소리정보 분석부(524)를 포함한다.

영상정보 분석부(522)는 영상정보를 사고 참조 정보와 비교한다.

본 발명의 일 실시예에 따른 영상정보 분석부(522)의 구체적인 구성에 대해서는 도 7을 참조하여 후술한다.

소리정보 분석부(524)는 소리정보를 미리 생성된 사고 참조 정보와 비교한다.

바람직하게는, 소리정보 분석부(524)는 소리정보를 음성정보와 음향정보로 분리하는 소리 분리부(미도시) 및 음성정보 및 음향정보 중 적어도 하나를 사고 참조 정보와 비교하는 소리 비교부(미도시)를 포함할 수 있다.

이때, 소리 비교부는 음성정보를 사고 참조 정보에 저장된 교통사고와 관련된 키워드정보와 비교하여 유사 키워드정보를 선별하는 음성정보 비교부(미도시) 및 음향정보를 사고 참조 정보와 비교하는 음향정보 비교부(미도시)를 포함한다.

음성정보 비교부는 소리 분리부에서 분리된 음성정보를 입력받는다. 예를 들어 ‘조심해’, ‘파티에 가는 중이야’, ‘앞을 봐!’ 및 ‘샌드위치를 만들어’의 음성정보가 입력될 수 있다. 이를 교통사고와 관련된 키워드정보와 비교하여 교통사고와 관련이 있는 ‘조심해’ 및 ‘앞을 봐!’와 같은 음성정보가 유사 키워드정보로 선별될 것이다.

음향정보 비교부는 소리 분리부에서 분리된 음향정보를 입력받는다. 예를 들어 소리 분리부에서 분리된 음향정보에서 ‘자동차의 급제동 소리, 라디오 소리, 자동차 충돌 소리, 비행기 소리’등이 포함된 경우 음향정보 비교부는 이를 사고 참조 정보와 비교한다.

바람직하게는, 교통사고와의 관련성에 따라 각각의 음향정보에 대해 평가값을 산출할 수 있다. 이 경우 각 음향정보는 교통사고와의 연관성에 따라 차등된 평가값을 갖게 된다. 예를 들어 ‘자동차 급제동 소리’는 교통사고 발생의 추정 근거가 될 것인데 반하여 ‘자동차 충돌 소리’는 교통사고 인지의 직접적인 근거가 될 수 있기에 후자가 전자에 비하여 교통사고와 관련하여 높은 평가값을 갖게 될 것이다.

도 7은 본 발명의 일 실시예에 따른 영상정보 분석부(522)를 설명하기 위하여 도시한 도면이다.

도 7을 참조하면, 본 발명의 일 실시예에 따른 주행상황 인지 장치는 동영상 텍스트 검출부(522a), 객체 검출부(522b) 및 영상 비교부(522c)를 포함한다.

텍스트 검출부(522a)는 영상정보로부터 텍스트정보를 추출한다.

객체 검출부(522b)는 영상정보로부터 텍스트정보가 추출된 영역 이외의 나머지 영역에서 객체정보를 추출한다.

영상 비교부(522c)는 텍스트정보 및 객체정보 중 적어도 하나를 사고 참조 정보와 비교한다.

바람직하게는 영상 비교부(522c)는 텍스트 검출부(522a)에서 추출된 텍스트정보를 사고 참조 정보와 비교하는 텍스트정보 비교부(미도시) 및 객체 검출부(522b)에서 추출된 객체정보를 사고 참조 정보와 비교하는 객체정보 비교부(미도시)를 포함할 수 있다.

텍스트정보 비교부는 추출된 텍스트정보를 교통사고와 관련이 있는 키워드정보와 비교를 해서 유사 키워드정보를 선별할 수 있다.

예를 들어 텍스트 검출부(522a)에서 교통표지판에서 ‘사고 다발 구역’이라는 텍스트와 도로광고판에서 광고 텍스트를 읽은 경우 광고 텍스트는 제외하고 ‘사고 다발 구역’이라는 텍스트만을 유사 키워드정보로 선별하게 된다. ‘사고 다발 구역’이라는 표지가 있는 경우 교통사고가 일어날 수 있는 가능성이 더 높아지기에 이 텍스트정보는 교통사고와 밀접한 관계가 있다고 볼 것이고 이런 정보들이 유사 키워드정보로 선별될 수 있다.

객체정보 비교부는 추출된 객체정보를 객체의 종류에 따라 구분하고, 사고 참조 정보와 비교할 수 있다.

예를 들어 객체정보 비교부는 객체 검출부(522b)에서 추출한 객체정보 '자동차, 도로, 사람, 구름, 신호등, 교량'을 객체의 종류에 따라 구분하고, 구분된 객체정보를 사고 참조 정보와 비교한다.

이때, 객체정보 비교부는 교통사고와의 관련성에 따라 객체들에 대해 평가값을 차등하여 산출할 수 있다. 위의 객체정보에서 주행상황과 밀접한 관계가 있는 ‘자동차, 도로, 사람, 신호등, 교량’은 '구름'과 비교하여 높은 평가값을 산출하게 될 것이다.

다른 실시예에서는, 본 발명의 일 실시예에 따른 객체정보 비교부는 객체와 객체간의 관계를 비교할 수도 있다. 예컨대, 자동차와 사람이 일반적 거리 이상 근접한 경우, 또는 도로가 급커브를 형성하고 있고 난간이 없는 경우 등은 객체간의 관계를 분석하여 판단부(530)에 제공할 수 있다.

도 8은 본 발명의 일 실시예에 따른 주행상황 제공 어플리케이션의 UI를 설명하기 위하여 도시한 도면이다.

도 8을 참조하면, 주행상황 제공 어플리케이션의 최좌측에 동영상 영역(1110)이 도시되어 있다.

동영상 영역의 상단에는 현재 선택된 주행상황에 관한 동영상의 영상정보가 표시될 수 있는데, 특정 시간을 선택하면 그 시간에 대응되는 영상정보가 동영상 영역(1110)에 표시될 수 있다. 또한 영상정보 아래에는 영상정보와 시간적으로 대응되는 소리정보가 표시될 수 있다. 또한 동영상 영역(1110)에는 동영상을 선택 및 관리할 수 있는 메뉴들도 선택적으로 구비될 수 있다.

도 8의 가운데 상단 영역에는 음향정보 영역(1120)이 도시되어 있다.

도 8을 참조하면, 음향정보 영역(1120)에는 소리정보에 포함된 각 음향정보가 그 빈도의 크기에 따라 차례대로 그래프로 도시되어 있는데, 도 8에서는 음향정보 중에서 가장 빈도가 높은 상위 3개의 음향정보의 종류가표시되어 있다.

도 8의 오른쪽 상단 영역에는 객체정보 영역(1130)이 도시되어 있다.

객체 정보 영역(1130)에는 영상정보에 포함된 각 객체정보가 빈도의 크기에 따라 그래프로 도시되어 있는데, 가장 빈도가 높은 3개의 객체정보의 종류가 표시되어 있다. 객체정보를 선택할 때, 교통사고와 관련이 없거나 오검출된 객체정보들(예를 들어 1130 영역의 'candy' 정보)은 추후에 진행 될 사고 참조 정보와 비교하는 프로세스를 거쳐 판단대상에서 제외될 수 있다.

도 8의 가운데 왼쪽 하단 영역에는 텍스트정보 및 음성정보 영역(1140)이 도시되어 있다.

텍스트정보 및 음성정보 영역(1140)에는 OCR 기법을 통하여 인식된 텍스트정보와 ASR(Automatic Speech Recognition) 기법을 통하여 인식된 음성정보가 표시된다. 다른 실시예에서, 텍스트 정보 및 음성정보 영역(1140)에는 텍스트정보와 음성정보 중에서 유사 키워드 정보만이 표시될 수도 있다. 도 8의 가운데 오른쪽 하단 영역에는 프로세스 표시 영역(1150)이 도시되어 있다.

프로세스 표시 영역(1150)에는 동영상에서 영상정보와 소리정보를 분리하고, 분리된 영상정보에서 텍스트정보와 객체정보를 분리하고, 분리된 소리정보에서 음성정보와 음향정보를 분리하고, 분리된 각 정보를 사고 참조 정보와 비교한 후, 그 비교 결과를 기초로 교통사고 발생 여부 및 발생 가능성을 산출하는 일련의 프로세스가 표시될 수 있다. 또한, 프로세스 표시 영역(1150)에는 그 프로세스 각각의 진행 상태와 결과 및 프로세스 진행 방법 등 필요로 하는 모든 프로세스가 표시될 수 있다.

도 8의 오른쪽 하단 영역에는 결과 표시 영역(1160)이 도시되어 있다.

본 발명의 일 실시예에서는 미리 설정된 특정값을 기준으로 하여 일정 확률 이상으로 교통사고 발생 가능성이 나타난 경우 '사고 발생', 기준값 미만의 확률로 교통사고 발생 가능성이 나타난 경우 '사고 미발생'의 결과를 나타낼 수 있다.

다른 실시예에서는, 미리 설정된 특정 범위의 확률을 기준으로 하여 사고발생 가능성을 '상', '중', '하'로 나타낼 수도 있다.

도 8에 나타난 도면은 주행상황 제공 어플리케이션의 UI의 일 실시예에 해당하기에 특허청구범위에서 벗어나지 않는 한 당업자의 필요에 의하여 필요한 영역을 더 추가하거나 예시된 영역을 삭제할 수 있을 것이다.

이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (18)

1. 제1지역의 주행상황에 대하여 촬영된 동영상을 영상정보와 소리정보로 분리하는 단계;
   상기 영상정보 및 상기 소리정보 중 적어도 하나를 제2지역의 교통사고에 대한 동영상을 분석하여 미리 생성된 사고 참조 정보와 비교하는 단계; 및
   상기 비교 결과에 기초하여 교통사고 발생 여부 및 발생 가능성을 판단하는 단계를 포함하고,
   상기 영상정보를 상기 사고 참조 정보와 비교하는 단계는
   상기 영상정보로부터 기호, 문자, 숫자 중 적어도 하나를 포함하는 텍스트정보를 추출하는 단계;
   상기 영상정보로부터 상기 텍스트정보가 추출된 영역 이외의 나머지 영역에서 객체정보를 추출하는 단계; 및
   상기 텍스트정보 및 상기 객체정보 중 적어도 하나를 상기 사고 참조 정보와 비교하는 단계를 더 포함하는 주행상황 인지 방법.
2. 삭제
3. 제1항에 있어서,
   상기 사고 참조 정보는 교통사고와 관련된 키워드정보를 더 포함할 때,
   상기 텍스트정보를 상기 사고 참조 정보와 비교하는 단계는
   상기 텍스트정보를 상기 키워드정보와 비교하여 상기 키워드정보와 유사한 유사 키워드정보를 선별하는 단계를 더 포함하는 주행상황 인지 방법.
4. 제1항에 있어서,
   상기 객체를 상기 사고 참조 정보와 비교하는 단계는
   상기 객체를 객체의 종류에 따라 구분하는 단계; 및
   상기 구분된 객체의 종류별로 상기 사고 참조 정보와 비교하는 단계를 포함하는 주행상황 인지 방법.
5. 제1항에 있어서,
   상기 소리정보를 상기 사고 참조 정보와 비교하는 단계는
   상기 소리정보를 음성정보와 음향정보로 분리하는 단계; 및
   상기 음성정보 및 상기 음향정보 중 적어도 하나를 상기 사고 참조 정보와 비교하는 단계를 포함하는 주행상황 인지 방법.
6. 제5항에 있어서,
   상기 사고 참조 정보는 교통사고와 관련된 키워드정보를 더 포함할 때,
   상기 음성정보를 상기 사고 참조 정보와 비교하는 단계는
   상기 음성정보를 상기 키워드정보와 비교하여 상기 키워드정보와 유사한 유사 키워드정보를 선별하는 단계를 포함하는 주행상황 인지 방법.
7. 제1항에 있어서,
   상기 영상정보의 날씨를 분석하는 단계를 더 포함하고,
   상기 교통사고 발생 여부 및 발생 가능성을 판단하는 단계는 상기 날씨 분석 결과에 더 기초하여 수행되는 주행상황 인지 방법.
8. 제1항에 있어서,
   상기 제1지역의 주행상황에 대하여 촬영된 동영상은
   상기 제1지역에 고정 설치된 고정형 촬영장치 또는 상기 제1지역을 이동하면서 촬영하는 이동형 촬영장치에 의하여 촬영되는 주행상황 인지 방법.
9. 제8항에 있어서,
   상기 이동형 촬영장치의 위치정보를 획득하는 단계를 더 포함하고,
   상기 교통사고 발생 여부 및 발생 가능성을 판단하는 단계는 상기 위치정보에 더 기초하여 수행되는 주행상황 인지 방법.
10. 제1지역의 주행상황에 대하여 촬영된 동영상을 영상정보와 소리정보로 분리하는 동영상 분리부;
    상기 영상정보를 제2지역의 교통사고에 대한 동영상을 분석하여 미리 생성된 사고 참조 정보와 비교하는 영상정보 분석부 및 상기 소리정보를 상기 사고 참조 정보와 비교하는 소리정보 분석부를 포함하는 비교부; 및
    상기 비교 결과에 기초하여 상기 교통사고 발생 여부 및 발생 가능성을 판단하는 판단부;
    를 포함하고,
    상기 영상정보 분석부는
    상기 영상정보로부터 텍스트정보를 추출하는 텍스트 검출부;
    상기 영상정보로부터 상기 텍스트정보가 추출된 영역 이외의 나머지 영역에서 객체정보를 추출하는 객체 검출부; 및
    상기 텍스트정보 및 상기 객체정보 중 적어도 하나를 상기 사고 참조 정보와 비교하는 영상 비교부를 포함하는 주행상황 인지 장치.
11. 삭제
12. 제10항에 있어서,
    상기 사고 참조 정보는 교통사고와 관련된 키워드정보를 더 포함할 때,
    상기 영상 비교부는
    상기 텍스트정보를 상기 키워드정보와 비교하여 유사 키워드정보를 더 선별하는 것을 특징으로 하는 주행상황 인지 장치.
13. 제10항에 있어서,
    상기 영상 비교부는
    상기 객체를 객체의 종류에 따라 구분하고,
    상기 구분된 객체의 종류별로 상기 객체를 상기 사고 참조 정보와 비교하는 것을 특징으로 하는 주행상황 인지 장치.
14. 제10항에 있어서,
    상기 소리정보 분석부는
    상기 소리정보를 음성정보와 음향정보로 분리하는 소리 분리부; 및
    상기 음성정보 및 상기 음향정보 중 적어도 하나를 상기 사고 참조 정보와 비교하는 소리 비교부를 포함하는 주행상황 인지 장치.
15. 제14항에 있어서,
    상기 사고 참조 정보는 교통사고와 관련된 키워드정보를 더 포함할 때,
    상기 소리 비교부는
    상기 음성정보를 상기 키워드정보와 비교하여 유사 키워드정보를 더 선별하는 것을 특징으로 하는 주행상황 인지 장치.
16. 제10항에 있어서,
    상기 영상정보의 날씨를 분석하는 날씨 분석부를 더 포함하고,
    상기 판단부는 상기 날씨 분석 결과에 더 기초하여 상기 판단을 수행하는 것을 특징으로 하는 주행상황 인지 장치.
17. 제10항에 있어서,
    상기 제1지역의 주행상황에 대하여 촬영된 동영상은
    상기 제1지역에 고정 설치된 고정형 촬영장치 또는 상기 제1지역을 이동하면서 촬영하는 이동형 촬영장치에 의하여 촬영되는 것을 특징으로 하는 주행상황 인지 장치.
18. 제17항에 있어서,
    상기 이동형 촬영장치의 위치정보를 획득하는 위치 정보 획득부를 더 포함하고,
    상기 판단부는 상기 위치정보에 더 기초하여 상기 판단을 수행하는 것을 특징으로 하는 주행상황 인지 장치.
    

Images