Nothing Special   »   [go: up one dir, main page]

KR20160000136A - 보행 패턴 분석 시스템 및 방법 - Google Patents

보행 패턴 분석 시스템 및 방법 Download PDF

Info

Publication number
KR20160000136A
KR20160000136A KR1020140077080A KR20140077080A KR20160000136A KR 20160000136 A KR20160000136 A KR 20160000136A KR 1020140077080 A KR1020140077080 A KR 1020140077080A KR 20140077080 A KR20140077080 A KR 20140077080A KR 20160000136 A KR20160000136 A KR 20160000136A
Authority
KR
South Korea
Prior art keywords
subject
image
vehicle
condition
walking
Prior art date
Application number
KR1020140077080A
Other languages
English (en)
Other versions
KR101628117B1 (ko
Inventor
최규재
정현채
Original Assignee
군산대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 군산대학교산학협력단 filed Critical 군산대학교산학협력단
Priority to KR1020140077080A priority Critical patent/KR101628117B1/ko
Publication of KR20160000136A publication Critical patent/KR20160000136A/ko
Application granted granted Critical
Publication of KR101628117B1 publication Critical patent/KR101628117B1/ko

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)

Abstract

본 발명은 교차로, 커브길, 횡단보도 등의 다양한 도로 환경에서, 차량이 피험자로 접근 시, 피험자의 반응 행동패턴을 이용하여 차량과 보행자가 충돌할 가능성을 판단하는데 이용 가능한 보행 패턴 분석 시스템을 제안한다. 이를 위해 본 발명은 피험자의 머리 움직임을 감지하기 위한 센서를 구비하고, 피험자의 머리 움직임에 따른 영상을 제공하는 가상현실 HMD(Head Mount Display) 장치, 피험자를 미리 설정된 기준 속도에 따라 이동시키는 보행기, 보행기에서 움직이는 상기 피험자를 촬상하는 영상 촬상장치 및 피험자의 주변을 주행하는 차량의 차량 조건 및 차량과 피험자 사이의 도로 구조에 대한 도로 조건에 따른 보행 상황을 설정하고, 보행 상황에 따른 설정 영상을 가상현실 HMD(Head Mount Display) 장치로 제공하고, 영상 촬상장치로부터 설정 영상에 반응하여 움직이는 피험자의 보행 영상을 획득하고 이를 토대로 피험자의 반응 행동패턴을 획득하는 보행 분석장치를 포함하여 구성될 수 있다.

Description

보행 패턴 분석 시스템 및 방법{Walking pattern analysis system and method}
본 발명은 보행 패턴 분석 시스템 및 방법에 관한 것으로, 더욱 상세하게는 피험자에게 가상의 설정 영상을 보여주고, 피험자의 행동 패턴을 이용하여 도로에서 실제 차량과 충돌 가능성을 갖는 보행자를 판단하는데 적용 가능한 보행 패턴 분석 시스템 및 방법에 관한 것이다.
통상적으로, 보행자 충돌 감지 시스템의 충돌감지 알고리즘은 보행자와 차량 사이의 거리를 감지하여 보행자가 차량과 근거리에 접근하는 경우, 보행자와 차량 사이에 충돌 가능성이 있는 것으로 판단하고 있다. 종래의 보행자 충돌감지 알고리즘은, 차량의 전방(또는 측방)에 보행자/장애물이 위치하는가를 판단하고, 차량의 전방(또는 측방)에 위치하는 보행자와의 거리를 판단하고, 차량의 진행속도와 보행자와의 거리를 참조하여 충돌 가능성을 판단하고 있다. 이러한 충돌감지 알고리즘은 등록특허 10-1141874에도 드러나는데, 등록특허 10-1141874는 감지센서를 이용하여 차량 주변의 장애물(보행자)을 감지하고, 장애물과 차량의 거리를 산출하고, 산출된 거리를 이용하여 장애물이 위치하는 영역을 위험 영역으로 설정하며, 카메라를 통해 촬상된 영상에 대해 비전인식을 수행하여 보행자 여부를 판단하는 위험 지역의 검출 장치 및 그를 이용한 보행자 검출장치를 제안하고 있다. 등록특허 10-1141874는 센서로 장애물을 감지 후, 카메라 영상을 이용하여 보행자 여부를 판단하고 있는데, 이러한 보행자 검출방식은 보행자와 차량 사이의 거리가 충돌 가능성을 판단하는 주요 인자로 이용되고 있다. 그러나, 현재의 충돌감지 알고리즘은 보행자가 도로(또는 횡단보도)를 건너는 것인지, 보행자가 도로에 멈출지에 대해서는 판단하지 않고 단순히 차량 전방에 위치하는 보행자와의 거리를 주요 판단 기준으로 삼고 있다.
본 발명의 목적은 피험자에게 가상의 설정 영상을 보여주고, 보행기 상에서 이동하도록 함으로써 피험자에게 실제 도로나 횡단 보도를 건너는 상황을 제공하고, 피험자가 차량과 충돌할 가능성이 있는 환경에서의 행동패턴을 획득하여 분석하는 보행 패턴 분석 시스템 및 방법을 제공함에 있다.
위와 같은 목적을 달성하기 위하여, 본 발명의 실시예에 따른 보행 패턴 분석 시스템은 가상현실 HMD(Head Mount Display) 장치, 보행기 및 행동 분석장치를 포함하여 구성될 수 있다.
가상현실 HMD(Head Mount Display) 장치는 보행자의 머리 움직임을 감지하기 위한 센서를 구비하고, 보행자의 머리 움직임에 따른 도로 및 차량에 대한 설정 영상을 제공하고, 보행기는 설정 영상에 따라 보행자가 움직일 수 있도록 하고, 영상 촬상장치는 보행기에서 움직이는 보행자를 촬상하며, 행동 분석장치는 보행자의 주변을 주행하는 차량의 차량 조건 및 차량과 보행자 사이의 도로 구조에 대한 도로 조건에 따른 보행 상황을 설정하고, 보행 상황에 따른 설정 영상을 가상현실 HMD(Head Mount Display) 장치로 제공하고, 영상 촬상장치로부터 설정 영상에 반응하여 움직이는 보행자의 보행자 영상을 획득하고 이를 토대로 보행자의 반응 행동패턴을 획득할 수 있다.
위와 같은 목적을 달성하기 위하여, 본 발명의 실시예에 따른 보행 패턴 분석 방법은, 보행상황 설정단계, 가상현실 수행단계 및 반응 행동패턴 획득단계를 포함하여 구성될 수 있다.
보행상황 설정단계는 보행자의 주변을 주행하는 차량의 차량 조건 및 차량과 보행자 사이의 도로 조건에 따른 보행 상황을 설정하는 단계에 대응하고, 가상현실 수행단계는 보행 상황에 따른 설정 영상을 가상현실 HMD(Head Mount Display) 장치로 제공하고 보행 상황에 따라 보행기를 구동하는 단계에 대응하며, 반응 행동패턴 획득단계는 영상 촬상장치로부터 설정 영상에 반응하여 움직이는 보행자의 보행자 영상을 획득하고 이를 토대로 보행자의 반응 행동패턴을 획득하는 단계에 대응할 수 있다.
본 발명은 교차로, 커브길, 횡단보도 등의 다양한 도로 환경에서, 차량이 보행자로 접근 시, 보행자의 반응 행동패턴을 이용하여 차량과 보행자가 충돌할 가능성을 판단하는데 이용할 수 있다. 이러한 반응 행동패턴은 추후 차량에 탑재형 장치에 응용되어 차량과 보행자간 충돌 가능성에 따라 차량을 제어하거나, 스마트 도로에 적용될 수 있다.
도 1은 본 발명의 일 실시예에 따른 보행 패턴 분석 시스템의 개념도를 도시한다.
도 2는 도 1의 실시예를 통해 설명된 가상현실 HMD(Head Mount Display) 장치에서 피험자에게 제공되는 설정 영상의 일 예에 대한 참조도면을 도시한다.
도 3은 보행 분석장치에서 생성되는 레이아웃 이미지의 일 예에 대한 참조도면을 도시한다.
도 4와 도 5는 각각 피험자가 설정 영상 속에서 D2 방향으로 보행할 때의 상황 및 도 4의 상황에서 보행 분석장치에 의해 생성되는 레이아웃 이미지의 일 예에 대한 참조도면을 도시한다.
도 6은 보행상황 설정모듈에서 가상현실 HMD(Head Mount Display) 장치로 제공하는 보행 환경에 따른 설정 영상의 일 예에 대한 참조도면을 도시한다.
도 7은 본 발명의 일 실시예에 따른 보행 패턴 분석 방법에 대한 흐름도를 도시한다.
본 명세서에서 언급되는 가상현실 HMD(Head Mount Display) 장치는 피험자의 머리에 착용되어 사용되는 것으로, 피험자의 안구에 3D를 느끼도록 하는 가상 입체영상을 제공하고, 피험자의 머리 움직임을 감지하는 센서(예컨대, 자이로 센서)를 내장하여 피험자의 머리가 이동하는 방향을 판단하고, 이를 토대로 피험자의 머리 움직임에 맞는 가상 영상을 피험자에게 제공하는 장치를 의미할 수 있다. 이러한 가상현실 HMD 장치로는 페이스북에 인수된 오큘러스 리프트(Oculs Lift)가 있으며, 오큘러스 리프트는 피험자의 양쪽 안구에 가상 영상을 보여주고, 자이로 센서 및 가속도 센서를 이용하여 사용자 머리의 움직임을 검출하고, 검출된 움직임에 맞추어 사용자의 자세에 맞는 가상 영상을 제공한다. 오큘러스 리프트에 대한 상세한 사항은 Oculus VR 社의 공식 홈페이지(http://www.oculusvr.com)를 참조하도록 한다.
본 명세서에서 언급되는 보행기는 피험자가 가상현실 HMD(Head Mount Display) 장치를 착용한 상태에서 가상 환경의 도로, 횡단 보도를 건너도록 하기 위해 마련된다. 본 명세서에서는 벨트 회전에 의해 피험자를 움직이는 런닝머신 형태의 보행기가 제안되고 있으나, 이는 일 예시일 뿐이며, 이 외에도 Virtuix 社가 개발한 OMNI와 같은 원형의 보행기가 이용될 수도 있다. 다만 한정하지는 않는다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명한다. 이때, 첨부된 도면에서 동일한 구성 요소는 가능한 동일한 부호로 나타내고 있음에 유의한다. 또한, 본 발명의 요지를 흐리게 할 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략할 것이다. 마찬가지 이유로 첨부 도면에 있어서 일부 구성요소는 과장되거나 생략되거나 개략적으로 도시되었다.
도 1은 본 발명의 일 실시예에 따른 보행 패턴 분석 시스템의 개념도를 도시한다.
도 1을 참조하면 실시예에 따른 보행 패턴 분석 시스템은 피험자(5)에게 이동성을 제공하는 보행기(50), 피험자(5)의 머리에 장착되는 가상현실 HMD 장치(10) 및 보행 분석장치(100)를 포함하여 구성될 수 있다.
가상현실 HMD 장치(10)는 자이로 센서 및 가속도 센서와 같은 피험자(5) 머리의 위치변화를 판단하기 위한 센서를 구비하며, 센서를 이용하여 피험자(5)의 머리에 위치변화가 발생 시, 이를 보행 분석장치(100)로 제공할 수 있다.
또는, 카메라 시스템을 이용하여 모션 캡쳐를 하거나, 또는 피험자의 신체에 각 속도계를 부착하여 관절의 움직임을 캡쳐할 수도 있다. 이때, 피험자의 신체로부터 획득되는 각 속도 정보와 모션 캡쳐 정보를 결합하여 피험자의 보행 움직임에 대한 협응 패턴을 분석할 수도 있다. 다만 한정하지는 않는다.
가상현실 HMD 장치(10)는 피험자(5)의 양측 안구에 입체 영상을 구현하기 위한 한 쌍의 가상 영상을 제공하며, 피험자(5)는 가상현실 HMD 장치(10)에서 제공하는 한 쌍의 가상 영상을 이용하여 실제 상황과 유사한 체험을 느낄 수 있다. 본 실시예에서, 가상현실 HMD 장치(10)는 보행 분석장치(100)에서 제공하는 설정 영상을 피험자(5)에게 제공할 수 있는데, 실시예에 따른 설정 영상은 교차로, 도로, 횡단 보도와 같은 장소에서 피험자(5)가 도로(또는 교차로나 횡단 보도)를 건너야 하고, 이때, 피험자(5) 주변에 차량이 지나가거나, 차량이 피험자(5)를 향해 주행하는 영상을 지칭할 수 있다.
보행기(50)는 보행 분석장치(100)에 의해 제어되며, 설정 영상 속에서 피험자가 이동해야 할 속도에 맞추어 벨트를 구동함으로써, 피험자(5)가 설정 영상 속에서 도로, 횡단 보도 또는 교차로를 건너는 가상 환경을 제공할 수 있다. 보행기(50)는 서보 모터 또는 스테핑 모터에 의해 구동될 수 있으며, 이 경우, 보행 분석장치(100)는 서보 모터 또는 스테핑 모터를 구동하기 위한 구동 드라이버를 더 포함할 수 있다.
보행기(50)에는 엔코더(51)가 부착되어 피험자(5)가 설정 영상 속에서 올바른 속도로 움직이고 있는가를 판단할 수 있다.
카메라(20)는 피험자(5)가 설정 영상에 따라 보행기(50)에서 움직일 때, 피험자(5)의 측면, 후면 및 정면에서 피험자(5)를 촬상하고, 촬상된 영상을 보행 분석장치(100)로 제공할 수 있다.
보행 분석장치(100)는 보행 상황을 설정하고, 설정된 보행 상황에 따른 설정 영상을 가상현실 HMD 장치(10)로 제공하고, 마찬가지로, 설정 환경에 따라 보행기(50)를 구동하며, 피험자(5)가 설정 영상에 반응하는 반응 행동패턴을 획득하여 피험자(5)의 보행 패턴을 분석할 수 있다.
만일, 피험자(5)의 신체에 가속도 센서를 부착하여 관절의 움직임을 계측하면서 카메라 시스템을 이용하여 모션 캡쳐를 하여 피험자(5)의 보행 움직임에 대해 협응 패턴을 분석하는 경우, 보행 분석장치(100)는 가속도 센서에 의한 피험자(5)의 움직임과 영상에 대한 협응 패턴 분석을 통해 보행 패턴을 분석할 수도 있다.
보행 분석장치(100)는 차량 조건 및 도로 조건에 따라 다양한 설정 환경을 생성할 수 있다.
- 차량 조건은 설정 영상 속에서 피험자(5) 주변을 주행하는 차량의 종류나 크기(트럭, 화물차, 버스, 승용차 등), 차량의 속도(10Km/h, 30Km/h, 60Km/h 등) 설정 영상 속에서 차량과 피험자(5) 사이의 거리에 대한 조건을 의미할 수 있다.
- 도로 조건은 설정 영상 속에서 피험자(5) 주변의 도로 환경에 대한 조건을 의미할 수 있다. 예컨대, 도로 조건은 설정 영상 속에서 피험자(5)가 이동해야 할 이동 경로 주변의 주변 영상, 도로의 구조(교차로, 횡단 보도, 1차선, 2차선... 등)에 대한 조건을 의미할 수 있다.
보행 분석장치(100)는 차량 조건과 도로 조건을 미리 설정된 몇 개로 나누고, 이를 다수의 피험자에게 동일하게 적용하거나 또는 랜덤한 차량 조건과 도로 조건을 하나 또는 다수의 피험자에게 적용할 수도 있다. 보행 분석장치(100)는 설정 환경에 따른 설정 영상을 가상현실 HMD 장치(10)로 제공하여 피험자(5)가 설정 영상을 시청하도록 하며, 이때, 보행기(50)를 구동하여 피험자(5)가 설정 영상 속에서 설정 환경에 따라 도로, 횡단 보도 또는 교차로를 건너가도록 한다.
또한, 보행 분석장치(100)는 가상현실 HMD 장치(10)에 설정 영상을 제공하고, 보행기(50)를 구동할 때, 카메라(20)를 통해 피험자(5)의 신체를 촬상하고, 촬상된 영상을 이용하여 피험자(5)의 신체에 대한 레이아웃 이미지를 생성할 수 있다. 레이아웃 이미지는 피험자(5)의 관절 영역 및 관절 영역과 연결되는 뼈대에 대한 이미지를 의미할 수 있는데, 이는 피험자(5)의 행동 패턴을 다이어그램 형태로 단순화시키고, 이를 통해 다수의 피험자의 반응 행동패턴을 획득하는데 이용하기 위한 것이다. 보행 분석장치(100)는 동일한 설정 영상을 복수의 피험자에게 제공하고, 각 피험자별 레이아웃 이미지를 획득함으로써, 주변 차량에 의한 피험자의 반응 행동패턴을 파악할 수 있다. 또는, 보행 분석장치(100)는 피험자(5)의 신체에 가속도 센서를 부착하여 관절의 움직임을 계측하면서 카메라 시스템을 이용하여 모션 캡쳐를 하여 피험자(5)의 보행 움직임에 대해 협응 패턴을 분석하는 경우, 보행 분석장치(100)는 가속도 센서에 의한 피험자(5)의 움직임과 영상에 대한 협응 패턴 분석을 통해 보행 패턴을 분석할 수도 있다.
레이아웃 이미지는 관절 영역 및 관절 영역과 연결되는 뼈대 영역에 대해 형성되며, 피험자(5)의 의복이나 체형에 따른 특성을 최소화하여 반응 행동패턴만을 획득할 수 있다. 예컨대, 레이아웃 이미지는 피험자(5)의 뼈대만으로 그려지는 이미지 또는 찰흙이나 석고를 이용하여 입체적인 조형물을 생성 시, 조형물의 내측에 배치하는 철심처럼 피험자(5)의 움직임을 파악하는데 필요치 않은 정보를 제거한 형태로 구현될 수 있다. 보행 분석장치(100)가 복수의 피험자를 통해 획득하는 레이아웃 이미지를 통해 설정 환경별로 피험자들이 어떤 반응 행통패턴을 보이는가를 추출할 수 있으며, 이렇게 추출된 반응 행동패턴은 추후 스마트 차량에 탑재되어 실제 보행자와의 충돌 가능성이 있을 경우, 스마트 차량을 강제 정차(또는 서행)시키는 스마트 차량의 자동 제어장치에 적용되거나, 스마트 도로에서 차량과의 충돌 가능성이 있는 보행자에게 위험을 통보하는데 적용될 수 있다.
바람직하게는 보행 분석장치(100)는 보행상황 설정모듈(110), 보행기 제어모듈(120), 가상현실 장치 제어모듈(130), 설정 영상 제공모듈(140), 보행패턴 분석모듈(150) 및 데이터베이스(160)를 포함하여 구성될 수 있다.
보행상황 설정모듈(110)은 차량 조건 및 도로 조건에 따른 보행 상황을 설정할 수 있다. 보행 상황은 피험자(5)가 가상현실 HMD 장치(10)를 통해 가상 환경이 제공하는 배경, 분위기, 차량의 수, 피험자(5)와 근접한 차량과의 거리, 차량 사이의 거리, 피험자(5)를 향하는 차량의 방향 및 피험자(5)가 설정 영상 속에서 걸어야 할 거리를 설정할 수 있다.
보행상황 설정모듈(110)은 각 보행 상황별로 피험자(5)가 보행기(50)에서 이동해야 할 속도정보를 구비하며, 구비된 속도정보는 보행기 제어모듈(120)로 제공되고, 보행기 제어모듈(120)로부터는 엔코더(51)의 속도 정보를 피드백 받아 보행기(50)가 올바로 구동하는가를 파악할 수 있다.
보행기 제어모듈(120)은 보행상황 설정모듈(110)에서 설정된 보행 상황에 따라 보행기(50)의 구동 속도를 제어할 수 있다. 보행기(50)의 구동 속도는 보행 상황에 따라 다르나, 크게, 걷는 속도나 뛰는 속도일 수 있다.
가상현실 장치 제어모듈(130)은 가상현실 HMD 장치(10)에 마련되는 센서(예컨대 자이로 센서 및 가속도 센서)의 센서 값에 반응하여 가상현실 HMD 장치(10)로 제공되는 설정 영상의 시점을 판단하고, 이를 설정 영상 제공모듈(140)로 제공할 수 있다.
설정 영상 제공모듈(140)은 보행 상황에 맞는 설정 영상을 가상현실 HMD 장치(10)로 제공하며, 가상현실 HMD 장치(10)에 마련되는 센서(예컨대 자이로 센서 또는 가속도 센서)의 센서 값에 반응하여 피험자(5)의 시점변화에 맞도록 설정 영상을 변환하여 가상현실 HMD 장치(10)로 제공할 수 있다.
보행패턴 분석모듈(150)은 피험자(5)의 주변을 주행하는 차량의 차량 조건 및 차량과 피험자(5) 사이의 도로 구조에 대한 도로 조건에 따른 보행 상황에 따라, 가상현실 HMD 장치(10)와 보행기(50)가 구동한 후, 카메라(20)에 의해 촬상되는 피험자(5)의 영상으로부터 레이아웃 이미지를 획득할 수 있다. 레이아웃 이미지는 카메라(20)를 통해 촬상된 영상에서 피험자(5)의 신체의 뼈대를 이루는 구조를 추출하여 작성하여 획득되며, 획득한 레이아웃 이미지를 데이터베이스(160)에 저장하고, 이후, 다수의 피험자들에 대한 레이아웃 이미지를 이용하여 보행 상황별 피험자의 반응 행동패턴을 파악할 수 있다. 예컨대, 동일한 보행 상황에 대해 복수의 피험자가 보이는 레이아웃 이미지가 상호 동일성이 인정되는 경우, 이를 보행 상황에 대한 통상적인 피험자의 반응 행동패턴으로 파악할 수 있다.
보행패턴 분석모듈(150)은 카메라(20)에 의해 촬상된 영상을 단독으로 이용하여 보행자에 대한 레이아웃 이이지를 획득하고, 이를 통해 피험자의 행동 패턴을 파악할 수도 있으나, 전술한 바와 같이, 피험자(5)의 신체에 가속도 센서를 부착하여 관절의 움직임을 계측하면서 카메라 시스템을 이용하여 모션 캡쳐를 하여 피험자(5)의 보행 움직임에 대해 협응 패턴을 분석하는 경우, 보행 분석장치(100)는 가속도 센서에 의한 피험자(5)의 움직임과 영상에 대한 협응 패턴 분석을 통해 보행 패턴을 분석할 수도 있다. 다만 한정하지는 않는다.
도 2는 도 1의 실시예를 통해 설명된 가상현실 HMD 장치(10)에서 피험자에게 제공되는 설정 영상의 일 예에 대한 참조도면을 도시한다.
도 2를 참조하면, 실시예에 따른 설정 영상은 피험자(5)의 양쪽 안구에 3D 가상환경을 느낄 수 있도록 하는 설정 영상을 투사하는 것을 볼 수 있다. 도 2에서 좌측 이미지와 우측 이미지는 상호 유사하나 그 형태와 위치관계에 대해 미차가 있으며, 이는 피험자(5)의 양쪽 안구에 제공되는 영상의 편차에 의해 가상현실 HMD 장치(10)가 피험자(5)에게 제공하는 영상이 3D 입체로 느껴지도록 한다.
도 3은 보행 분석장치(100)에서 생성되는 레이아웃 이미지의 일 예에 대한 참조도면을 도시한다.
도 3을 참조하면, 도 3의 (a) 도 3의 (b) 및 도 3의 (c)는 카메라(20)에 의해 획득 가능한 통상적인 영상을 나타내는 반면, 도 3의 (d) 내지 도 3의 (f)는 각각 도 3의 (a) 내지 도 3의 (c)에 대한 레이아웃 이미지를 나타내고 있다. 도 3의 (a) 내지 도 3의 (f)를 살펴보면, 카메라에 의해 촬상된 영상이 단순화되어 머리에서 요추까지의 허리선, 팔 및 다리의 형태를 직선으로 처리하고 있음을 볼 수 있다. 도 3의 (b)의 경우 보행에 따른 무릎관절의 꺽임이 표현되고 있다. 즉, 실시예에 따른 레이아웃 이미지는 피험자(5)의 관절 영역과 뼈대 영역만이 표현되며, 피험자(5)의 의복이나 체형에 관한 정보는 제거되고 오로지 보행 시의 뼈대 형태와 뼈대 사이의 관절 영역만이 도출됨을 볼 수 있다.
도 4와 도 5는 각각 피험자가 설정 영상 속에서 D2 방향으로 보행할 때의 상황 및 도 4의 상황에서 보행 분석장치(100)에 의해 생성되는 레이아웃 이미지의 일 예에 대한 참조도면을 도시한다.
도 4를 참조하면, 설정 영상속에서 피험자(5)는 P1, P2 또는 P3의 위치에서 시작하여 D2 방향으로 도로를 횡단하며, 이때, 피험자(5)는 설정 영상속에서 두 대의 차량(20, 30) 사이를 지나간다고 가정한다.
두 차량(20, 30) 사이의 거리(d1)가 충분히 이격되는 경우, 피험자(5)는 설정 영상 속에서 D2 방향으로 보행하여 도로를 지나갈 수 있을 것이다. 반면, 두 차량(20, 30) 사이의 거리(d1)가 충분치 못하다면, 피험자(5)는 설정 영상 속에서 P1 위치에서 더 이상 전진하지 못하고 멈추어 서게 된다. 실시예에 따른 보행 분석장치(100)는 두 차량(20, 30) 간 거리에 따라 피험자(5)가 어떤 식으로 반응하고, 어떤 레이아웃 이미지를 생성하는가를 관찰하는데, 이는 도 5를 함께 참조하여 설명하도록 한다.
도 5를 참조하면, 도 5의 (a)는 피험자(5)가 설정 영상 속에서 P3 지점에서 P2 지점을 향해 보행할 때의 레이아웃 이미지를 나타낸다. 피험자(5)는 두 차량(20, 30)과 어느 정도 이격된 상태이며, 두 차량(20, 30) 사이를 보행할 수 있는지 가늠할 것이다.
다음으로, 도 5의 (b)는 피험자(5)가 P2 지점에서 P1 지점을 향해 보행할 때의 레이아웃 이미지를 나타낸다. 피험자(5)는 두 차량(20, 30) 사이의 거리(d1)가 보행하기에 충분치 못하다고 판단하기 시작하였으며, 걸음걸이가 위축되었다. 도 5의 (b)에 도시된 레이아웃 이미지를 참조하면, 피험자(5)의 팔과 다리 모양이 보행보다는 정지하는데 가깝다는 것을 볼 수 있다.
다음으로, 도 5의 (c)는 피험자(5)가 P1 지점에 도달하였을 때의 레이아웃 이미지를 도시한다. 도 5의 (c)를 살펴보면, 피험자(5)는 두 차량(20, 30) 사이의 거리(d1)이 도로를 건너기에 부족하다고 판단하여 P1 지점에서 정지한 상태이며, 레이아웃 이미지를 볼 때, 피험자(5)의 움직임은 정지한 상태로 판단할 수 있다.
보행 분석장치(100)는 차간 거리(d1)에 따라 피험자(5)가 어떤 레이아웃 이미지를 생성하는가를 수집하여 데이터베이스(160)에 저장해둘 수 있다. 또한, 보행 분석장치?(100)는 차간 거리(d1)에 따라 타 피험자들이 어떤 레이아웃 이미지를 생성하는가를 판단할 수 있다. 이후, 보행 분석장치(100)는 다수의 피험자(5)에 대한 레이아웃 이미지에 대한 이미지 매칭을 통해 차간 거리(d1)일 때, 도 5의 (c)와 같은 레이아웃 이미지가 일정 확률(예컨대 90%) 이상 획득될 때, 도 5의 (a) 내지 (c)를 피험자(5)의 판단에 따른 정지 영상으로 파악할 수 있다.
도 6은 보행상황 설정모듈(110)에서 가상현실 HMD 장치(10)로 제공하는 보행 환경에 따른 설정 영상의 일 예에 대한 참조도면을 도시한다.
보행상황 설정모듈(110)은 피험자(5)가 도로, 횡단 보도 및 교차로를 건너기 전, 건너는 중에 적절한 설정 영상을 선택하여 가상현실 HMD 장치(10)로 제공함으로써, 피험자(5)에 대한 다양한 실험을 진행할 수 있다.
도 6에서, 피험자는 가상현실 HMD 장치(10)를 통해 횡단 보도를 건너는 중 좌측에서 접근중인 차량(40)과 마주치는 설정 영상을 접하게 된다. 이때, 피험자(5)는 d3 방향으로 이동하거나, d4 방향으로 이동하거나, 또는 컨택 포인트(contact point)에서 멈춰 서버릴 수도 있다. 보행 분석장치(100)는 d3 또는 d4 방향으로 이동하는 피험자(5)의 레이아웃 이미지를 획득하거나, 컨택 포인트(contact point)에서 멈춰선 피험자(5)의 레이아웃 이미지를 획득하여 데이터베이스(160)에 저장하고, 이후, 다수의 피험자들에 대해 동일한 설정 영상을 제공하여 각 피험자들에 대한 레이아웃 이미지에 대해 이미지 매칭을 수행하여 공통된 반응 행동패턴을 획득할 수 있다.
도 7은 본 발명의 일 실시예에 따른 보행 패턴 분석 방법에 대한 흐름도를 도시한다.
도 7을 참조하면, 실시예에 따른 보행 패턴 분석 방법은, 먼저 보행 분석장치(100)에서 보행상황을 설정하고(S302), 설정된 보행 상황에 따른 설정 영상을 가상현실 HMD 장치(10)로 제공하며(S303), 이때, 보행 분석장치(100)는 보행기(50)를 구동하여(S304) 피험자(5)가 설정 영상 속에서 실제로 움직이는 느낌을 갖도록 한다. 이때, 보행 상황은 피험자(5)가 가상현실 HMD 장치(10)를 통해 가상 환경이 제공하는 배경이나 분위기, 차량의 수, 피험자(5)와 근접한 차량과의 거리, 차량 사이의 거리, 피험자(5)를 향하는 차량의 방향 및 피험자(5)가 설정 영상 속에서 걸어야 할 거리에 대한 상황을 의미할 수 있다.
다음으로, 보행 분석장치(100)는 가상현실 HMD 장치(10)에 장착되는 센서를 이용하여 피험자의 머리 위치의 변동이 발생하는가를 판단하고(S305), 머리 위치가 변동되는 경우, 머리 위치 변동에 맞추어 시점이 변환된 설정 영상을 가상현실 HMD 장치(10)에 제공할 수 있다(S306).
다음으로, 보행 분석장치(100)는 카메라(20)를 이용하여 피험자를 촬상하고(S307), 촬상된 피험자에 대한 레이아웃 이미지를 생성하며(S308), 생성된 레이아웃 이미지를 각 피험자별로 수집하여 이미지 매칭을 수행하고, 이를 통해 피험자(5)에 대한 반응 행동패턴을 획득할 수 있다(S309).
한편, 본 명세서와 도면에 개시된 본 발명의 실시예들은 본 발명이 기술 내용을 쉽게 설명하고 본 발명의 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.
10 : 가상현실 HMD(Head Mount Display) 장치 50 : 보행기
100 : 보행 분석장치 110 : 보행상황 설정모듈
120 : 보행기 제어모듈 130 : 가상현실 장치 제어모듈
140 : 설정 영상 제공모듈 150 : 보행패턴 분석모듈
160 : 데이터베이스

Claims (10)

  1. 피험자의 머리 움직임을 감지하기 위한 센서를 구비하고, 상기 피험자의 머리 움직임에 따른 가상 영상을 제공하는 가상현실 HMD(Head Mount Display) 장치;
    상기 피험자를 미리 설정된 기준 속도에 따라 이동시키는 보행기;
    상기 보행기에서 움직이는 상기 피험자를 촬상하는 영상 촬상장치; 및
    상기 피험자의 주변을 주행하는 차량의 차량 조건 및 상기 차량과 상기 피험자 사이의 도로 구조에 대한 도로 조건에 따른 보행 상황을 설정하고, 상기 보행 상황에 따른 설정 영상을 상기 가상현실 HMD(Head Mount Display) 장치로 제공하고, 상기 영상 촬상장치로부터 상기 설정 영상에 반응하여 움직이는 상기 피험자에 대한 보행 영상을 획득하고 이를 토대로 상기 피험자의 반응 행동패턴을 획득하는 보행 분석장치;를 포함하는 것을 특징으로 하는 보행 패턴 분석 시스템.
  2. 제1항에 있어서,
    상기 차량 조건은,
    상기 설정 영상에서 상기 피험자의 주변을 주행하는 상기 차량의 크기, 상기 차량의 속도, 상기 차량의 주행 패턴 및 이웃하는 차량과의 차간거리 중 적어도 하나에 대한 설정 조건인 것을 특징으로 하는 보행 패턴 분석 시스템.
  3. 제1항에 있어서,
    상기 도로 조건은,
    상기 피험자가 상기 설정 영상 속에서 이동해야 할, 횡단 보도 또는 도로의 크기, 구조 및 상기 도로 주변의 건축 구조물에 대한 조건인 것을 특징으로 하는 보행 패턴 분석 시스템.
  4. 제1항에 있어서,
    상기 반응 행동패턴은,
    상기 영상 촬상장치에 의해 촬상되는 상기 피험자의 신체에 대한 레이아웃 이미지를 토대로 생성되는 것을 특징으로 하는 보행 패턴 분석 시스템.
  5. 제4항에 있어서,
    상기 레이아웃 이미지는,
    상기 피험자의 관절 영역 및 상기 관절 영역과 연결되는 뼈대의 이미지로 구성되는 것을 특징으로 하는 보행 패턴 분석 시스템.
  6. 가상 영상을 피험자에게 제공하는 가상현실 HMD(Head Mount Display) 장치, 보행기 및 카메라와 연결되는 행동 분석장치에 의해 수행되며,
    상기 피험자의 주변을 주행하는 차량의 차량 조건 및 상기 차량과 상기 피험자 사이의 도로 조건에 따른 보행 상황을 설정하는 보행상황 설정단계;
    상기 보행 상황에 따른 설정 영상을 상기 가상현실 HMD(Head Mount Display) 장치로 제공하고 상기 보행 상황에 따라 상기 보행기를 구동하는 가상현실 수행단계; 및
    상기 영상 촬상장치로부터 상기 설정 영상에 반응하여 움직이는 상기 피험자의 피험에 대한 영상을 획득하고 이를 토대로 상기 피험자의 반응 행동패턴을 획득하는 반응 행동패턴 획득단계;를 포함하는 것을 특징으로 하는 보행 패턴 분석 방법.
  7. 제6항에 있어서,
    상기 반응 행동패턴은,
    상기 영상 촬상장치에 의해 촬상되는 상기 피험자의 신체에 대한 레이아웃 이미지를 토대로 생성되는 것을 특징으로 하는 보행 패턴 분석 방법.
  8. 제6항에 있어서,
    상기 차량 조건은,
    상기 설정 영상에서 상기 피험자의 주변을 주행하는 상기 차량의 크기, 상기 차량의 속도, 상기 차량의 주행 패턴 및 이웃하는 차량과의 차간거리 중 적어도 하나에 대한 설정 조건인 것을 특징으로 하는 보행 패턴 분석 방법.
  9. 제6항에 있어서,
    상기 도로 조건은,
    상기 피험자가 상기 설정 영상 속에서 이동해야 할, 횡단 보도 또는 도로의 크기, 구조 및 상기 도로 주변의 건축 구조물에 대한 조건인 것을 특징으로 하는 보행 패턴 분석 방법.
  10. 제6항에 있어서,
    상기 레이아웃 이미지는,
    상기 피험자의 관절 영역 및 상기 관절 영역과 연결되는 뼈대의 이미지로 구성되는 것을 특징으로 하는 보행 패턴 분석 방법.
KR1020140077080A 2014-06-24 2014-06-24 보행 패턴 분석 시스템 및 방법 KR101628117B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140077080A KR101628117B1 (ko) 2014-06-24 2014-06-24 보행 패턴 분석 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140077080A KR101628117B1 (ko) 2014-06-24 2014-06-24 보행 패턴 분석 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20160000136A true KR20160000136A (ko) 2016-01-04
KR101628117B1 KR101628117B1 (ko) 2016-06-08

Family

ID=55164096

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140077080A KR101628117B1 (ko) 2014-06-24 2014-06-24 보행 패턴 분석 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR101628117B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180266776A1 (en) * 2017-03-15 2018-09-20 Doosan Heavy Industries & Construction Co., Ltd. Heat transfer tube having superhydrophobic surface and method for manufacturing the same
KR20180108010A (ko) * 2017-03-23 2018-10-04 한림대학교 산학협력단 가상현실기반 보행기능 측정 시스템
GB2563400A (en) * 2017-06-13 2018-12-19 Kompetenzzentrum Das Virtuelle Fahrzeug Method and process for co-simulation with virtual testing of real environments with pedestrian interaction

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101958908B1 (ko) * 2017-07-31 2019-03-15 전북대학교산학협력단 동작 인식 기반 동적 하네스 재활 훈련 시스템

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1055132A (ja) * 1996-08-08 1998-02-24 Tani Hakushi 仮想現実体験装置
JP2006330438A (ja) * 2005-05-27 2006-12-07 Akita Univ 歩行環境シミュレータ

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1055132A (ja) * 1996-08-08 1998-02-24 Tani Hakushi 仮想現実体験装置
JP2006330438A (ja) * 2005-05-27 2006-12-07 Akita Univ 歩行環境シミュレータ

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180266776A1 (en) * 2017-03-15 2018-09-20 Doosan Heavy Industries & Construction Co., Ltd. Heat transfer tube having superhydrophobic surface and method for manufacturing the same
KR20180108010A (ko) * 2017-03-23 2018-10-04 한림대학교 산학협력단 가상현실기반 보행기능 측정 시스템
GB2563400A (en) * 2017-06-13 2018-12-19 Kompetenzzentrum Das Virtuelle Fahrzeug Method and process for co-simulation with virtual testing of real environments with pedestrian interaction

Also Published As

Publication number Publication date
KR101628117B1 (ko) 2016-06-08

Similar Documents

Publication Publication Date Title
US10572746B2 (en) Apparatus detecting driving incapability state of driver
US20210166007A1 (en) Information processing apparatus, information processing method, and program
US20200082190A1 (en) Apparatus detecting driving incapability state of driver
Göhring et al. Semi-autonomous car control using brain computer interfaces
JP7136106B2 (ja) 車両走行制御装置、および車両走行制御方法、並びにプログラム
JP6106229B2 (ja) 車線認識装置
EP2936065B1 (en) A system for a vehicle
CN109795413B (zh) 驾驶辅助装置和驾驶辅助方法
JP7099037B2 (ja) データ処理装置、モニタリングシステム、覚醒システム、データ処理方法、及びデータ処理プログラム
US20140226015A1 (en) Apparatus for monitoring surroundings of vehicle
US20140107911A1 (en) User interface method for terminal for vehicle and apparatus thereof
KR101628117B1 (ko) 보행 패턴 분석 시스템 및 방법
WO2014050286A1 (ja) 移動物体認識装置
KR102349915B1 (ko) 이동체용 이미지 생성 기록 표시 장치 및 프로그램
KR20160091585A (ko) 차량용 보행자 인지 표시 장치
JP2016200910A (ja) 運転者状態判定装置
EP3617850A1 (en) Information processing device, information processing method, and program
US10684695B2 (en) Data processing device, monitoring system, awakening system, data processing method, and data processing program
JP2015067030A (ja) 運転支援装置
US11425364B2 (en) Head-up display system for vehicle
CN111753632B (zh) 驾驶辅助装置
US20220237920A1 (en) Outside environment recognition device
JP5332549B2 (ja) 運転支援装置及び運転支援方法
JP2022122936A (ja) 情報表示システム
US20210208584A1 (en) Moving body control device, moving body control method, and computer readable recording medium

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20140624

PA0201 Request for examination
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20150918

Patent event code: PE09021S01D

PG1501 Laying open of application
E90F Notification of reason for final refusal
PE0902 Notice of grounds for rejection

Comment text: Final Notice of Reason for Refusal

Patent event date: 20160330

Patent event code: PE09021S02D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20160531

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20160601

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20160602

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20190530

Year of fee payment: 4

PR1001 Payment of annual fee

Payment date: 20190530

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20200424

Start annual number: 5

End annual number: 5

PC1903 Unpaid annual fee
PR0401 Registration of restoration

Patent event code: PR04011E01D

Patent event date: 20220224

Comment text: Registration of Restoration

PR1001 Payment of annual fee

Payment date: 20220225

Start annual number: 6

End annual number: 6

PR1001 Payment of annual fee

Payment date: 20220510

Start annual number: 7

End annual number: 7

PR1001 Payment of annual fee

Payment date: 20230601

Start annual number: 8

End annual number: 8