Nothing Special   »   [go: up one dir, main page]

KR20190069919A - 시각 장애인용 보행 보조 장치 및 시스템 - Google Patents

시각 장애인용 보행 보조 장치 및 시스템 Download PDF

Info

Publication number
KR20190069919A
KR20190069919A KR1020170170281A KR20170170281A KR20190069919A KR 20190069919 A KR20190069919 A KR 20190069919A KR 1020170170281 A KR1020170170281 A KR 1020170170281A KR 20170170281 A KR20170170281 A KR 20170170281A KR 20190069919 A KR20190069919 A KR 20190069919A
Authority
KR
South Korea
Prior art keywords
user
obstacle
unit
visually impaired
camera units
Prior art date
Application number
KR1020170170281A
Other languages
English (en)
Inventor
권충일
김경대
Original Assignee
(주)리터너블
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)리터너블 filed Critical (주)리터너블
Priority to KR1020170170281A priority Critical patent/KR20190069919A/ko
Publication of KR20190069919A publication Critical patent/KR20190069919A/ko

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61HPHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H3/00Appliances for aiding patients or disabled persons to walk about
    • A61H3/06Walking aids for blind persons
    • A61H3/061Walking aids for blind persons with electronic detecting or guiding means
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61FFILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F9/00Methods or devices for treatment of the eyes; Devices for putting-in contact lenses; Devices to correct squinting; Apparatus to guide the blind; Protective devices for the eyes, carried on the body or in the hand
    • A61F9/08Devices or methods enabling eye-patients to replace direct visual perception by another kind of perception
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61HPHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H3/00Appliances for aiding patients or disabled persons to walk about
    • A61H3/06Walking aids for blind persons
    • A61H3/061Walking aids for blind persons with electronic detecting or guiding means
    • A61H2003/063Walking aids for blind persons with electronic detecting or guiding means with tactile perception
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61HPHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/50Control means thereof
    • A61H2201/5007Control means thereof computer controlled
    • A61H2201/501Control means thereof computer controlled connected to external computer devices or networks
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61HPHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/50Control means thereof
    • A61H2201/5023Interfaces to the user
    • A61H2201/5048Audio interfaces, e.g. voice or music controlled

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Vascular Medicine (AREA)
  • Biomedical Technology (AREA)
  • Engineering & Computer Science (AREA)
  • Ophthalmology & Optometry (AREA)
  • Epidemiology (AREA)
  • Pain & Pain Management (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Rehabilitation Therapy (AREA)
  • Rehabilitation Tools (AREA)

Abstract

본 발명은 시각 장애인용 보행 보조 장치 및 시스템에 관한 것이다. 상기 시각 장애인용 보행 보조 장치는, 사용자의 안면에 착용 가능한 안경형 프레임, 상기 안경형 프레임의 일측 및 타측에 서로 이격되어 배치되는 제1 및 제2 카메라부, 상기 제1 및 제2 카메라부에서 각각 촬영된 영상을 기초로 사용자의 전방에 배치된 장애물을 인식하고, 상기 장애물과 상기 사용자 사이의 거리 및 방향을 계산하는 제어부, 상기 장애물에 대한 거리 및 방향을 사용자에게 소리 또는 진동으로 안내하는 출력부, 상기 제1 및 제2 카메라부에서 촬영된 영상 및 상기 장애물에 대한 데이터를 저장하는 저장부, 및 상기 촬영된 영상 및 상기 장애물에 대한 데이터를 다른 기기에 무선으로 전송하는 통신부를 포함한다.

Description

시각 장애인용 보행 보조 장치 및 시스템{Walking assistive device and system for visually impaired people}
본 발명은 복수의 카메라를 이용하여 사용자가 바라보는 방향에 위치하는 장애물을 탐지하여 장애물과의 거리 및 방향을 산출하고, 장애물에 대한 정보를 실시간으로 사용자에게 제공하는 시각 장애인용 보행 보조 장치 및 시스템에 관한 것이다.
시각 장애인은 시력이나 시야, 안구 등 시각계의 불완전으로 시기능에 제한이 있는 사용자를 의미한다. 우리 사회의 경우, 시각 장애인과 관련된 복지 제도가 충분하지 않고, 시각 장애인을 위한 보조 장비의 개발 미흡으로 인하여 시각 장애인들의 활동에 큰 제약이 있는 것이 현실이다.
이러한 시각 장애인을 위한 서비스 중 하나로써, 맹도견을 훈련시켜 시각 장애인과 함께 안전하게 보행할 수 있도록 하고 있으나, 맹도견을 훈련시키기 위한 비용, 맹도견을 유지 및 관리하기 위한 부대시설 등을 고려할 때, 모든 시각 장애인이 이러한 서비스를 용이하게 사용하기 어려운 문제점이 있다.
통상의 시각 장애인은 주로 흰지팡이를 이용하여 지면을 두드리면서 장애물을 감지한다. 이 경우, 높은 위치에 있는 장애물은 지팡이로 감지하기 어려우며, 원거리에 있는 장애물의 경우에는 지팡이가 닿을 수 없어 시각 장애인이 인지하기 어려운 문제점이 있었다.
따라서, 간편하고 효율적인 방법으로 시각 장애인의 보행을 보조할 수 있는 시각 보조 장치의 개발이 요구되고 있는 실정이다.
본 발명은 복수의 카메라를 이용하여 사용자가 바라보는 방향에 위치한 장애물을 탐지하여 장애물과의 거리 및 방향을 산출하고, 장애물에 대한 정보를 사용자에게 제공하는 시각 장애인용 보행 보조 장치 및 시스템을 제공하는 것을 목적으로 한다.
또한, 본 발명은 사용자가 바라보는 방향에 위치하는 장애물에 대한 정보를 소리 또는 진동으로 사용자에게 제공하는 시각 장애인용 보행 보조 장치 및 시스템을 제공하는 것을 다른 목적으로 한다.
본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 발명의 실시예에 의해 보다 분명하게 이해될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
상기 목적을 위한 본 발명의 일 실시예에 따른 시각 장애인용 보행 보조 장치는, 사용자의 안면에 착용 가능한 안경형 프레임, 상기 안경형 프레임의 일측 및 타측에 서로 이격되어 배치되는 제1 및 제2 카메라부, 상기 제1 및 제2 카메라부에서 각각 촬영된 영상을 기초로 사용자의 전방에 배치된 장애물을 인식하고, 상기 장애물과 상기 사용자 사이의 거리 및 방향을 계산하는 제어부, 상기 장애물에 대한 거리 및 방향을 사용자에게 소리 또는 진동으로 안내하는 출력부, 상기 제1 및 제2 카메라부에서 촬영된 영상 및 상기 장애물에 대한 데이터를 저장하는 저장부, 및 상기 촬영된 영상 및 상기 장애물에 대한 데이터를 다른 기기에 무선으로 전송하는 통신부를 포함한다.
또한, 상기 제어부는, 상기 제1 및 제2 카메라부로부터 각각 수신되는 영상에 포함된 공통되는 특징점을 추출하고, 상기 특징점과 사용자 사이의 거리를 계산하고, 상기 거리에 따라 서로 다른 종류 또는 서로 다른 세기의 자극을 사용자에게 제공하도록 상기 출력부를 제어할 수 있다.
또한, 상기 제어부는, 상기 제1 및 제2 카메라부에서 촬영된 영상에 포함된 텍스트를 추출하고, 추출된 상기 텍스트를 음성으로 변환하여 상기 출력부를 통해 사용자에게 제공할 수 있다.
또한, 상기 제어부는, 상기 제1 및 제2 카메라부에서 촬영된 영상에 포함된 이미지를 추출하고, 추출된 상기 이미지에 대한 설명을 검색하고, 검색된 결과를 상기 출력부를 통해 사용자에게 음성으로 제공할 수 있다.
또한, 상기 저장부는, 상기 제1 및 제2 카메라부에서 촬영된 영상을 실시간으로 저장하고, 상기 제어부는, 상기 저장부에 미리 저장된 영상을 검색 또는 조회하여 상기 사용자에게 제공하거나, 상기 통신부를 통해 상기 다른 기기에 전달할 수 있다.
또한, 상기 제1 및 제2 카메라부의 촬영 각도를 각각 조절하는 제1 및 제2 구동부를 더 포함하고, 상기 제어부는, 미리 정해진 시간 간격마다 상기 제1 및 제2 구동부를 동작시켜, 상기 제1 및 제2 카메라부의 촬영 각도를 변경시킬 수 있다.
또한, 상기 제어부는, 제1 시간 동안 제1 거리 이내의 장애물을 탐색하고, 제2 시간 동안 상기 제1 거리보다 큰 제2 거리 이내의 장애물을 탐색하는 과정을 반복할 수 있다.
또한, 상기 안경형 프레임은, 렌즈가 삽입되는 바디부와, 상기 바디부의 양측에 형성되는 안경다리부를 포함하고, 상기 제어부, 상기 출력부, 상기 저장부, 및 상기 통신부에 전원을 제공하는 전원부를 더 포함하며, 상기 제어부, 상기 출력부, 상기 저장부, 상기 통신부, 및 상기 전원부는 상기 안경다리부 내에 형성될 수 있다.
상기 목적을 위한 본 발명의 다른 실시예에 따른 시각 장애인용 보행 보조 장치는, 사용자의 안면에 착용 가능한 안경형 프레임, 상기 안경형 프레임의 일측 및 타측에 서로 이격되어 배치되는 제1 및 제2 카메라부, 상기 제1 및 제2 카메라부의 촬영 각도를 각각 조절하는 제1 및 제2 구동부, 상기 사용자의 안구의 움직임을 측정하는 안구 추적부, 상기 안구 추적부에서 측정한 데이터를 기초로 상기 제1 및 제2 구동부의 동작을 제어하고, 상기 제1 및 제2 카메라부에서 각각 촬영된 영상을 기초로 사용자의 시야 내에 포함된 장애물의 위치를 산출하는 제어부, 및 상기 장애물의 위치에 대한 정보를 사용자에게 소리 또는 진동을 이용하여 안내하는 출력부를 포함한다.
또한, 상기 제어부는, 상기 제1 및 제2 카메라부로부터 각각 수신되는 영상에 포함된 공통되는 특징점을 추출하고, 상기 특징점과 사용자 사이의 거리를 계산하고, 상기 거리에 따라 서로 다른 종류 또는 서로 다른 세기의 자극을 사용자에게 제공하도록 상기 출력부를 제어할 수 있다.
또한, 상기 제1 및 제2 카메라부에서 촬영된 영상 및 상기 장애물의 위치에 대한 정보를 저장하는 저장부와, 상기 촬영된 영상 및 상기 장애물의 위치에 대한 정보를 다른 기기에 무선으로 전송하는 통신부를 더 포함할 수 있다.
또한, 상기 제어부는, 미리 정해진 시간 간격마다 상기 제1 및 제2 구동부를 동작시켜, 상기 제1 및 제2 카메라부의 촬영 각도를 변경시킬 수 있다.
또한, 상기 제어부는, 상기 제1 및 제2 카메라부에서 촬영된 영상에 포함된 텍스트를 추출하고, 추출된 상기 텍스트를 음성으로 변환하여 상기 출력부를 통해 사용자에게 제공할 수 있다.
상기 목적을 위한 본 발명의 일 실시예에 따른 시각 장애인용 보행 보조 시스템은, 사용자의 안면에 착용 가능한 안경형 보행 보조 장치, 및 상기 안경형 보행 보조 장치와 데이터를 교환하는 사용자 단말기를 포함하되, 상기 안경형 보행 보조 장치는, 안경형 프레임의 일측 및 타측에 서로 이격되어 배치되는 제1 및 제2 카메라부와, 상기 제1 및 제2 카메라부에서 상기 촬영된 영상을 상기 사용자 단말기에 무선으로 전송하는 통신부와, 상기 장애물에 대한 거리 및 방향에 대한 정보를 사용자에게 소리 또는 진동 신호로 안내하는 출력부를 포함하고, 상기 사용자 단말기는, 상기 제1 및 제2 카메라부에서 각각 촬영된 영상을 기초로 사용자의 전방에 배치된 장애물을 인식하고 상기 장애물과 상기 사용자 사이의 거리 및 방향을 계산하는 제어부와, 상기 제1 및 제2 카메라부에서 촬영된 영상 및 상기 장애물에 대한 데이터를 저장하는 저장부를 포함한다.
본 발명의 시각 장애인용 보행 보조 장치 및 시스템은, 복수의 카메라를 이용하여 시각 장애인이 바라보는 방향에 위치한 장애물을 탐지하여 장애물과의 거리 및 방향을 산출하고, 장애물에 대한 정보를 시각 장애인에게 제공함으로써, 시각 장애인이 독자적으로 보행을 할 수 있도록 효과적으로 보조할 수 있다.
또한, 본 발명의 시각 장애인용 보행 보조 장치 및 시스템은, 사용자의 눈동자의 움직임에 따라 사용자가 바라보는 방향에 위치하는 장애물에 대한 정보를 소리 또는 진동으로 사용자에게 제공함으로써, 보다 세밀하게 장애물의 위치를 시각 장애인에게 전달할 수 있으며, 시각 장애인은 장애물의 위치를 정확히 파악할 수 있어 보행의 편의성이 개선될 수 있다.
상술한 효과와 더불어 본 발명의 구체적인 효과는 이하 발명을 실시하기 위한 구체적인 사항을 설명하면서 함께 기술한다.
도 1은 본 발명의 일 실시예에 따른 시각 장애인용 보행 보조 시스템을 설명하기 위한 도면이다.
도 2는 도 1의 시각 장애인용 보행 보조 장치에 대한 블록도이다.
도 3은 도 2의 제어부에서 장애물의 위치 및 방향을 산출 판별하는 동작을 설명하기 위한 도면이다.
도 4 및 도 5는 본 발명의 일 실시예에 따른 시각 장애인용 보행 보조 장치의 동작을 설명하기 위한 도면이다.
도 6 및 도 7은 본 발명의 다른 실시예에 따른 시각 장애인용 보행 보조 장치를 설명하기 위한 도면이다.
도 8은 본 발명의 다른 실시예에 따른 시각 장애인용 보행 보조 장치에 대한 블록도이다.
도 9 및 도 10은 본 발명의 다른 실시예에 따른 시각 장애인용 보행 보조 장치의 동작을 설명하기 위한 도면이다.
전술한 목적, 특징 및 장점은 첨부된 도면을 참조하여 상세하게 후술되며, 이에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 상세한 설명을 생략한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하기로 한다. 도면에서 동일한 참조부호는 동일 또는 유사한 구성요소를 가리키는 것으로 사용된다.
본 명세서에서 사용하는 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로서, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서 "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하에서, 도 1 내지 도 10을 참조하여 본 발명의 몇몇 실시예에 따른 시각 장애인용 보행 보조 장치 및 시스템에 대해 설명하도록 한다.
도 1은 본 발명의 일 실시예에 따른 시각 장애인용 보행 보조 시스템을 설명하기 위한 도면이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 시각 장애인용 보행 보조 시스템은, 시각 장애인용 보행 보조 장치(1000)(이하, 보행 보조 장치)와, 사용자 단말기(2000)를 포함한다.
보행 보조 장치(1000)는 사용자의 안면에 착용 가능한 안경형 프레임(B, Lg1, Lg2)과, 안경형 프레임(B, Lg1, Lg2)의 일측과 타측에 배치된 복수의 카메라부(120, 130)를 포함한다.
안경형 프레임(B, Lg1, Lg2)은 한쌍의 렌즈가 구비되는 바디부(B)와, 바디부(B)의 양측에 구비되어 귀에 거치할 수 있는 형상을 지닌 안경다리부(Lg1, Lg2)로 구성된다. 즉, 보행 보조 장치(1000)는 사용자의 안면에 착용 가능한 안경 또는 썬글라스 형상으로 형성될 수 있다. 다만, 본 발명이 이에 한정되는 것은 아니며, 본 발명의 보행 보조 장치(1000)는 의류, 모자, 암밴드, 목걸이 등의 다양한 웨어러블 형상으로 형성될 수 있다.
보행 보조 장치(1000)는 바디부(B)의 일측 및 타측에 구비된 카메라부(120, 130)에서 촬영한 영상을 이용하여 장애물을 인식하고, 인식된 장애물에 대한 정보를 보행 보조 장치(1000)를 착용한 사용자에게 음성 또는 진동으로 알려줄 수 있다.
또한, 보행 보조 장치(1000)는 촬영된 영상 내에 포함된 글자를 인식하여 사용자에게 음성으로 안내해 줄 수 있다. 이때, 보행 보조 장치(1000)는 OCR 과 같은 문자 인식 기능을 통해 촬영된 영상 내에 포함된 글자를 추출하고, 추출된 글자를 음성으로 변환하여 사용자에게 제공할 수 있다.
보행 보조 장치(1000)는 촬영된 영상 내에 포함된 이미지에 대한 정보를 검색하고, 검색된 결과를 사용자에게 음성으로 안내해 줄 수 있다. 이 과정에서, 사용자는 검색된 결과에 대한 더 구체적인 정보를 보행 보조 장치(1000)에 요청할 수 있으며, 보행 보조 장치(1000)는 사용자가 입력한 요청 사항에 대한 결과를 검색하여, 음성으로 재 안내할 수 있다. 다만, 이는 하나의 예에 불과하며, 본 발명이 이에 한정되는 것은 아니다.
보행 보조 장치(1000)는 촬영된 영상에 대한 정보 및 인식된 장애물에 대한 정보를 저장하거나, 사용자 단말기(2000)에 전달할 수 있다. 사용자 단말기(2000)는 유무선 통신을 통해 보행 보조 장치(1000)로부터 데이터를 수신할 수 있으며, 원격으로 보행 보조 장치(1000)에서 촬영한 영상과 인식된 장애물에 대한 정보를 조회할 수 있다.
보행 보조 장치(1000)에서 출력된 데이터(즉, 촬영된 영상 및 장애물에 대한 정보)는 보행 보조 장치(1000) 또는 사용자 단말기(2000)의 저장장치에 저장되어, 추후 사용자가 원하는 경우 검색 또는 조회할 수 있다.
여기에서, 사용자 단말기(2000)는 개인 휴대용 정보 단말기(PDA, personal digital assistant), 포터블 컴퓨터(portable computer), 웹 타블렛(web tablet), 무선 전화기(wireless phone), 모바일 폰(mobile phone), 디지털 뮤직 플레이어(digital music player), 메모리 카드(memory card), 또는 정보를 무선환경에서 송신 및/또는 수신할 수 있는 모든 전자 제품을 의미한다.
이하에서는 보행 보조 장치(1000)에 대한 구성요소를 구체적으로 살펴보도록 한다.
도 2는 도 1의 시각 장애인용 보행 보조 장치에 대한 블록도이다.
도 2를 참조하면, 보행 보조 장치(1000)는 제어부(110), 제1 카메라부(120), 제2 카메라부(130), 저장부(140), 인터페이스부(145), 출력부(150), 전원부(160), 통신부(170), 위치인식부(180)를 포함한다. 다만, 본 발명이 이에 한정되는 것은 아니며, 일부 구성요소가 생략되거나 더 추가되어 실시될 수 있다.
제어부(110)는 보행 보조 장치(1000)에 포함된 각 구성요소의 동작을 제어한다. 제어부(110)는 제1 카메라부(120) 및 제2 카메라부(130)에서 각각 촬영한 영상을 기초로 사용자의 전방에 배치된 장애물을 인식한다. 이어서, 제어부(110)는 장애물과 사용자 사이의 거리 및 방향을 계산한다. 이어서 제어부(110)는 장애물에 대한 정보를 출력부(150)를 통해 소리 또는 진동으로 출력한다. 또한, 제어부(110)는 촬영된 영상과 장애물에 대한 정보를 저장부(140)에 저장할 수 있다.
제어부(110)는 인터페이스부(145)를 통해 입력되는 사용자의 입력에 대응되는 동작을 수행하도록 보행 보조 장치(1000)에 포함된 각 구성요소의 동작을 제어할 수 있다. 다만, 이는 하나의 예시에 불과하며, 제어부(110)의 동작이 이에 한정되는 것은 아니다.
제어부(110)는 임의의 유형의 종래의 프로세서, 마이크로 프로세서, 또는 명령어들을 해석하고 실행하는 프로세싱 로직을 포함할 수 있다. 또한, 제어부(110)는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 실행할 수 있고, 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다.
제1 카메라부(120) 및 제2 카메라부(130)는 고화질의 영상을 촬영하여 제어부(110)에 전달할 수 있다. 제1 카메라부(120) 및 제2 카메라부(130)는 안경형 프레임의 바디부(B)에 서로 이격되도록 배치될 수 있다. 예를 들어, 제1 카메라부(120)는 제1 렌즈(Lz1)의 일측에 배치되고, 제2 카메라부(130)는 제2 렌즈(lz2)의 타측에 배치될 수 있다. 제1 카메라부(120) 및 제2 카메라부(130)는 바디부(B)의 정면을 향하도록 배치될 수 있다. 다만, 본 발명이 이에 한정되는 것은 아니며, 이후에 설명한 다른 실시예에서, 제1 및 제2 카메라부(120, 130)의 각도는 사용자의 시선에 따라 또는 일정한 주기로 조절될 수 있다. 이에 대한 자세한 설명은 이하에서 후술하도록 한다.
저장부(140)는 제1 및 제2 카메라부(120, 130)에서 촬영한 영상과, 제어부(110)에서 산출된 장애물에 대한 정보를 저장할 수 있다. 저장부(140)는 다양한 저장매체가 이용될 수 있다. 예를 들어, 저장부(140)는 RAM(Random Access Memory)과 같이 제어부(110)에 의한 실행을 위한 동적 정보 및 명령어들을 저장하는 동적 저장 디바이스를 포함할 수 있다. 또한, 저장부(140)는 ROM(Read Only Memory)과 같이 제어부(110)에 의한 사용을 위한 정적 정보 및 명령어들을 저장하는 정적 저장 디바이스를 포함할 수 있다. 저장부(140)는 휘발성 메모리 유닛 또는 비휘발성 메모리 유닛일 수 있다. 또한, 저장부(140)는 또한 자기 또는 광디스크와 같은 컴퓨터 판독가능 매체의 또 다른 유형일 수 있다.
인터페이스부(145)는 사용자의 입력을 수신할 수 있다. 예를 들어, 도면에 명확하게 도시하지는 않았으나, 인터페이스부(145)는 보행 보조 장치(1000)의 일측에 배치되어, 사용자의 명령을 입력받거나 보행 보조 장치(1000)의 설정을 조절할 수 있는 컨트롤 버튼을 포함할 수 있다. 또한, 인터페이스부(145)는 보행 보조 장치(1000)의 상태를 나타내고, 사용자의 명령을 입력 받을 수 있는 터치 스크린 등을 포함할 수 있다. 다만, 이는 하나의 예시에 불과하며, 본 발명이 이에 한정되는 것은 아니다.
또한, 인터페이스부(145)는 사용자의 음성을 감지하고, 감지된 음성 신호를 제어부(110)에 전달하는 마이크를 포함할 수 있다. 마이크는 보행 보조 장치(1000)의 일측에 배치될 수 있다. 제어부(110)는 마이크를 통해 입력된 음성 신호에서 명령어를 추출하여 보행 보조 장치(1000)의 동작을 제어할 수 있다. 또한, 제어부(110)는 마이크를 통해 입력된 음성을 녹음하거나, 추후 녹음된 음성을 재생시킬 수 있다.
출력부(150)는 사용자에게 소리 또는 진동을 제공할 수 있다. 출력부(150)는 소리를 출력하는 스피커부(152)와, 진동을 출력하는 진동생성부(154)를 포함할 수 있다.
스피커부(152)는 제어부(110)로부터 수신한 데이터를 소리로 출력한다. 예를 들어, 스피커부(152)는 장애물에 대한 정보를 음성으로 출력하거나, 촬영된 이미지에 포함된 글자를 음성으로 출력할 수 있다. 또한, 스피커부(152)는 소리 뿐만 아니라 골전도를 통해 사용자에게 음성을 전달할 수 있다. 다만, 이는 하나의 예에 불과하며, 본 발명이 이에 한정되는 것은 아니다.
진동생성부(154)는 제어부(110)로부터 수신한 데이터를 미리 정해진 진동 신호로 출력한다. 예를 들어, 진동생성부(154)는 사용자와 장애물과의 거리가 상대적으로 가까운 경우 짧은 주기의 진동을 출력하고, 반대의 경우 긴주기의 진동을 출력할 수 있다. 또한, 사용자와 미리 약속된 패턴의 진동을 전달하여 사용자가 어떠한 장애물이 있는지 파악하도록 할 수 있다. 다만, 이는 하나의 예에 불과하며, 본 발명이 이에 한정되는 것은 아니다.
전원부(160)는 외부 전원으로부터 전력을 전달 받거나, 배터리를 이용하여 보행 보조 장치(1000)에 포함된 각 구성요소에 전력을 제공할 수 있다. 전원부(160)는 외부 전원을 입력 받기 위한 전원 포트(미도시)를 포함할 수 있으며, 외부 전원을 이용하여 배터리를 충전할 수 있다.
통신부(170)는 다른 단말 장치와 유무선으로 데이터를 주고 받는 전자 장치, 모듈 또는 프로그램을 포함할 수 있다. 통신부(170)에서 이용하는 무선 통신망으로는 무선랜(WLAN), 와이 파이(Wi-Fi), 와이브로(Wireless Broadband: Wibro), 와이맥스(World Interoperability for Microwave Access: Wimax), HSDPA(High Speed Downlink Packet Access), 롱 텀 에볼루션(Long Term Evolution: LTE), IEEE802.16, 광대역 무선 이동 통신 서비스(Wireless Mobile Broadband Service: WMBS) 등이 포함될 수 있다.
또한, 근거리 무선 통신망으로는 비콘(Beacon), 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association: IrDA), UWB(Ultra Wideband), 지그비(ZigBee) 및 지웨이브(Z-Wave) 등이 포함될 수 있다. 다만, 본 발명이 이에 한정되는 것은 아니다.
위치인식부(180)는 사용자의 위치 정보를 획득할 수 있다. 그의 대표적인 예로는 GPS(Global Position System) 모듈이 있다. 예를 들어, 위치인식부(180)는 3개 이상의 위성으로부터 떨어진 거리 정보와 정확한 시간 정보를 산출한 다음 상기 산출된 정보에 삼각법을 적용함으로써, 위도, 경도, 및 고도에 따른 3차원의 현 위치 정보를 산출할 수 있다. 현재, 3개의 위성을 이용하여 위치 및 시간 정보를 산출하고, 또 다른 1개의 위성을 이용하여 상기 산출된 위치 및 시간 정보의 오차를 수정하는 방법이 널리 사용되고 있다. 산출된 위치 정보는 제어부(110)를 통해 사용자 단말기(2000)로 전달될 수 있다.
도 3은 도 2의 제어부에서 장애물을 판별하는 동작을 설명하기 위한 도면이다.
도 3을 참조하면, 본 발명의 일 실시예에 따른 보행 보조 장치(1000)는 복수의 카메라부(120, 130)를 이용하여 영상을 촬영하고, 촬영된 영상에서 장애물을 인식할 수 있다.
구체적으로, 제어부(110)는 촬영된 각 영상으로부터 특징점을 추출한다. 특징점은 카메라부(120, 130)를 이용하여 촬영하는 피사체의 소정부를 의미하는 것으로서 예를 들어 피사체의 관찰자 방향으로 가장 돌출된 부분 또는 관찰자와 가장 가까운 지점 등으로 설정될 수 있다. 공통되는 특징점을 추출함에 있어서는 SIFT 또는 SURF 알고리즘을 이용할 수 있다.
SIFT(Scale Invariant Feature Transform) 알고리즘은 David G. Lowe에 의하여 제안되었는데 이는 객체의 모서리나 꼭지점 등에서 생성되는 특징점을 벡터로 추출하여, 영상의 크기변화, 회전, 조명변화 등에 의한 변형에 대해 뛰어난 매칭 성능을 가진다. SIFT 서술자(Descriptor)는 영상 변환, 크기, 회전, 노이즈 영향에도 일정한 특징 정합 성능을 유지한다. SIFT 를 이용한 특징 추출 과정은 크게 특징점을 찾는 부분과 선택된 특징점의 서술자를 생성하는 두 단계로 구분할 수 있다. 먼저, 특징점을 추출하는 단계에서는 스케일 공간상의 후보 특징점을 추출하고 후보 특징점의 안정성을 검사하여 안정된 특징점의 위치를 세부 위치로 보정한다. 서술자를 생성하는 단계에서는 선택된 점들을 중심으로 주변 영역의 그래디언트를 통해 방향 성분을 얻고, 얻어진 방향 성분을 중심으로 관심 영역을 재설정하여 서술자를 생성하게 된다.
SURF(Speeded Up Robust Features) 알고리즘은 SIFT 알고리즘과 같이 크기와 회전 변화에 강건한 특징점을 추출하는 알고리즘으로 객체 인식이나 파노라마 이미지 생성, 3차원 영상 복원 등에 활용된다. SURF 알고리즘은 크기 변화에 강건한 특징점을 추출하는 스케일 공간(Scale space)을 표현하기 위해 이미지 피라미드(Image pyramids)를 생성하고 생성된 이미지 피라미드에서 특징점을 추출한다.
이어서, 제어부(110)는 복수의 카메라부(120, 130)로부터 촬영된 영상의 공통되는 특징점을 이용하여 특징점과 관찰자와의 상대적 거리 및 방향을 계산한다. 이어서, 제어부(110)는 계산된 거리를 기초로 출력부(150)를 통해 계산된 거리에 상응하는 자극을 가지는 경보를 발생시킨다. 경보의 예로는 소리의 크기나 진동의 세기를 들 수 있으며, 특징점이 관찰자로부터 가까이 있을수록 소리가 커지거나 진동이 강해지도록 하여 관찰자에게 장애물과의 거리를 알릴 수 있다. 또한, 제어부(110)는 특징점의 x, y 좌표 값을 이용하여 특징점의 방향을 관찰자에게 소리로 안내할 수 있다.
이하에서는, 제어부(110)에서 수행되는 공통되는 특징점과 관찰자 사이의 상대적 거리를 계산하는 방법을 자세히 설명하도록 한다.
원점을 중심으로 d 만큼 떨어진 곳에 제1 카메라부(120)와 제2 카메라부(130)가 위치한다고 가정할 때, 제1 카메라부(120)의 좌표 F를 (u, v, w), 제2 카메라부(130)의 좌표 F'을 (u', v', w'), 특징점 P의 좌표를 (x, y, z)라고 하면 특징점 P가 제1 카메라부(120)와 제2 카메라부(130)의 부채꼴 형상의 촬영 반경 안에 위치하고 있으므로 특징점 P는 제1 및 제2 카메라부(130)로 촬영된 영상에 있어 공통되는 특징점이라 할 수 있다.
제1 카메라부(120)를 이용하여 촬영된 영상 속에서 특징점 P는 제1 카메라부(120)의 초점거리 f만큼 떨어진 (px, py)에 상이 맺히고, 마찬가지로 제2 카메라부(130)를 이용하여 촬영된 영상 속에서 특징점 P는 제2 카메라부(130)의 초점거리 f'만큼 떨어진 (p'x, p'y)에 상이 맺히게 된다.
px, py, p'x, p'y를 이용하면 특징점 P의 좌표 (x, y, z)를 구할 수 있다. 보다 상세히 하기 {수학식}을 이용하여 특징점의 상대적 좌표를 계산할 수 있다.
Figure pat00001
Figure pat00002
Figure pat00003
여기에서, f 및 f'는 각각 제1 카메라부(120) 및 제2 카메라부(130)의 초점거리이며, Px 및 Py는 제1 카메라부(120)를 이용하여 촬영된 영상 내에서 f만큼 떨어진 곳에서 특징점이 맺히는 좌표이고, Px' 및 Py'는 제2 카메라부(130)를 이용하여 촬영된 영상 내에서 f'만큼 떨어진 곳에서 특징점이 맺히는 좌표이며, d는 관찰자와 제1 카메라부(120) 또는 제2 카메라부(130) 중 어느 하나와의 최소 거리를 의미한다.
만약, 원점(0)을 관찰자의 위치라고 한다면, 특징점의 상대적 좌표와 원점의 최소 거리를 계산해 관찰자와 장애물 사이의 상대적 위치를 계산할 수 있다. 다만, 이는 하나의 실시예에 불과하며, 본 발명이 이의 계산법에 한정되는 것은 아니다.
도 4 및 도 5는 본 발명의 일 실시예에 따른 시각 장애인용 보행 보조 장치의 동작을 설명하기 위한 도면이다.
도 4를 참조하면, 본 발명의 일 실시예에 따른 보행 보조 장치(1000)는 사용자의 정면 시야 내에 위치한 장애물을 인식하고, 인식된 장애물에 대한 정보를 사용자에게 소리 또는 진동으로 안내해 줄 수 있다.
이때, 보행 보조 장치(1000)는 촬영된 영상의 이미지를 인식하고, 이미지의 종류를 검색하여, 검색된 결과를 사용자에게 음성으로 안내해 줄 수 있다.
예를 들어, 사용자의 정면을 기준으로 제1 방향의 제1 거리(L1)에 위치한 계단이 촬영되는 경우, 보행 보조 장치(1000)는 계단이 위치한 방향 및 제1 거리(L1)에 대한 안내를 음성 또는 진동을 통해 사용자에게 알려줄 수 있다. 이때, 보행 보조 장치(1000)는 인식된 계단이 어느 장소로 향하는지에 대한 정보를 검색하여 사용자에게 제공할 수 있다. 이때, 보행 보조 장치(1000)는 촬영된 영상에 포함된 이미지 및 텍스트를 이용하여 인식된 계단에 대한 정보를 검색하고, 검색된 결과를 사용자에게 안내할 수 있다.
또한, 다른 예로, 보행 보조 장치(1000)는 사용자의 정면을 기준으로 제2 방향의 제2 거리(L2)에 위치한 차량, 제3 방향의 제3 거리(L3)에 위치한 삼각뿔, 제4 방향의 제4 거리(L4)에 위치한 공사지역, 제5 방향의 제5 거리(L5)에 위치한 신호등에 대한 정보(즉, 장애물의 방향과 거리)를 사용자에게 음성 또는 진동을 통해 제공할 수 있다.
사용자가 움직이는 동안, 보행 보조 장치(1000)는 촬영된 영상에 대한 정보 및 인식된 장애물에 대한 정보를 저장부(140)에 저장할 수 있다. 보행 보조 장치(1000)는 사용자가 요청하는 경우, 기저장된 영상 및 데이터를 검색 또는 조회할 수 있다.
도 5를 참조하면, 본 발명의 일 실시예에 따른 보행 보조 장치(1000)는 촬영된 영상에 포함된 텍스트를 인식하고, 인식된 텍스트를 사용자에게 음성으로 안내할 수 있다. 보행 보조 장치(1000)의 제어부(110)는 문자 인식 기능(예를 들어, OCR 기능)을 수행한다. 예를 들어, 사용자가 보행 보조 장치(1000)의 카메라부(120, 130)를 통해 표지판을 바라본 경우, 제어부(110)는 사용자가 바라본 방향에서 촬영된 영상에 포함된 문자를 인식한 뒤, 사용자에게 해당 문자에 대한 정보를 제공한다.
예를 들어, “보행 금지” 표지판을 사용자가 바라본 경우, 보행 보조 장치(1000)는 “전방에 보행 금지 지역이 있으므로, 다른 방향으로 이동하시기 바랍니다”와 같은 안내 멘트를 사용자에게 제공할 수 있다. 다만, 이는 하나의 예에 불과하며, 본 발명이 이에 한정되는 것은 아니다.
이를 통해, 본 발명의 일 실시예에 따른 보행 보조 장치(1100)는 복수의 카메라를 이용하여 시각 장애인이 바라보는 방향에 위치한 장애물을 탐지하고 장애물과의 거리 및 방향을 산출하고, 장애물에 대한 정보를 시각 장애인에게 제공함으로써, 시각 장애인이 독자적으로 보행을 할 수 있도록 효과적으로 보조할 수 있다.
도 6 및 도 7은 본 발명의 다른 실시예에 따른 시각 장애인용 보행 보조 장치를 설명하기 위한 도면이다. 도 8은 본 발명의 다른 실시예에 따른 시각 장애인용 보행 보조 장치에 대한 블록도이다. 이하에서는 앞에서 설명한 내용과 공통되는 내용은 생략하고 차이점을 위주로 설명하도록 한다.
도 6 내지 도 8을 참조하면, 본 발명의 다른 실시예에 따른 보행 보조 장치(1100)는 사용자의 안면에 착용 가능한 안경형 프레임(B, Lg1, Lg2)과, 안경형 프레임(B, Lg1, Lg2)의 일측과 타측에 배치된 복수의 카메라부(120, 130)를 포함한다.
이때, 각각의 카메라부(120, 130)는 카메라의 촬영 각도를 조절하는 구동부(125, 135)를 포함한다. 구동부(125, 135)는 일정한 광각을 갖는 카메라의 촬영 각도를 일정 범위 내에서 조절할 수 있으며, 제어부(110)에 의해 제어될 수 있다.
또한, 보행 보조 장치(1100)는 사용자의 안구의 움직임을 측정하는 안구 추적부(190)를 더 포함한다. 안구 추적부(190)는 안경형 프레임(B, Lg1, Lg2)의 바디부(B)의 내측에 배치될 수 있다. 예를 들어, 안구 추적부(190)는 한 쌍의 안구 추적 센서(192, 194)를 포함하며, 안구 추적 센서(192, 194)는 바디부(B)에 고정된 렌즈(Lz1, Lz2)의 상부에 각각 형성될 수 있다. 다만, 이는 하나의 예시에 불과하며, 안구 추적 센서(192, 194)는 바디부(B)의 다양한 위치에 배치될 수 있다.
안구 추적부(190)는 다양한 방식으로 사용자의 안구의 움직임을 측정할 수 있다. 예를 들어, 안구 추적부(190)는 카메라 센서, 적외선 센서, 혈류량 센서, 안구 전위 센서 등을 이용하여 사용자의 눈동자에 대한 움직임을 파악할 수 있다. 또한, 안구 추적부(190)는 사용자가 눈을 감은 상태에서도 눈꺼풀 아래의 눈동자의 움직임을 감지할 수 있다.
시각 장애인의 경우, 시력이 미약하여 사물을 제대로 인식하지 못한 뿐, 안구의 움직임은 정상적으로 이루어질 수 있다. 따라서, 시각 장애인은 정상인과 마찬가지로 자신이 보고 싶은 방향을 향해 무의식적으로 눈동자를 향하게 된다.
본 발명의 다른 실시예에 따른 보행 보조 장치(1100)의 제어부(110)는 안구 추적부(190)에서 측정한 사용자의 안구의 움직임을 기초로, 구동부(125, 135)의 동작을 제어한다. 예를 들어, 사용자가 갑작스런 소리에 반응하여 왼쪽을 바라본 경우, 구동부(125, 135)는 카메라부(120, 130)가 왼쪽 방향을 향하도록 동작한다. 이를 통해, 보행 보조 장치(1100)는 정면보다 왼쪽으로 편향된 범위 내에 위치한 장애물을 인식하고, 이에 대한 정보를 사용자에게 안내할 수 있다.
이에 따라, 본 발명의 다른 실시예에 따른 보행 보조 장치(1100)에 포함된 카메라부(120, 130)는 안경형 프레임(B, Lg1, Lg2)에 위치가 고정된 본 발명의 일 실시예의 카메라부(120, 130)보다 더 넓은 범위 내에 위치한 장애물을 인식할 수 있으며, 사용자에게 해당 장애물에 대한 정보를 제공할 수 있다.
도 9 및 도 10은 본 발명의 다른 실시예에 따른 시각 장애인용 보행 보조 장치의 동작을 설명하기 위한 도면이다.
도 9를 참조하면, 본 발명의 다른 실시예에 따른 보행 보조 장치(1100)를 착용한 사용자는 정면 방향(S1), 왼쪽 방향(S2) 또는 오른쪽 방향(S3)을 바라볼 수 있다.
안구 추적부(190)는 사용자의 눈동자의 움직임을 감지하여 제어부(110)에 전달한다. 제어부(110)는 사용자가 정면 방향(S1)을 바라보는 경우, 제1 범위(R1)를 촬영하도록 구동부(125, 135)를 제어한다. 이와 다르게, 제어부(110)는 사용자가 왼쪽 방향(S2)을 바라보는 경우 제2 범위(R2)를 촬영하도록 구동부(125, 135)를 제어하고, 사용자가 오른쪽 방향(S3)을 바라보는 경우, 제3 범위(R3)를 촬영하도록 구동부(125, 135)를 제어할 수 있다.
이를 통해, 본 발명의 다른 실시예에 따른 보행 보조 장치(1100)는 사용자가 바라보는 시선 방향에 대응되는 범위 내에 위치한 장애물을 감지하여, 사용자에게 알려줌으로써, 보다 정확한 장애물에 대한 정보를 사용자에게 제공할 수 있다.
또한, 보행 보조 장치(1100)는 제1 내지 제3 범위(R1, R2, R3)를 모두 커버할 수 있으므로, 보다 넓은 범위의 장애물을 감지하여 사용자에게 제공할 수 있다.
도 10을 참조하면, 본 발명의 다른 실시예에 따른 보행 보조 장치(1100)에서, 제어부(110)는 일정 시간 간격으로 카메라부(120, 130)의 상하 각도가 조절되도록 구동부(125, 135)를 제어함으로써, 보다 멀리에 있는 장애물을 감지하여 사용자에게 안내할 수 있다.
구체적으로, 보행 보조 장치(1100)의 제어부(110)는 구동부(125, 135)를 수평 방향에서 제1 각도(θ1)로 조절하여 제1 거리(D1) 내에 위치한 장애물을 감지한다. 또한, 제어부(110)는 구동부(125, 135)를 수평 방향에서 제2 각도(θ2)로 조절하여 제2 거리(D2) 내에 위치한 장애물을 감지한다.
제어부(110)는 안구 추적부(190)에서 측정한 안구의 상하 움직임에 따라, 카메라부(120, 130)의 상하 각도를 조절함으로써, 사용자의 시야 내에 위치한 장애물에 대한 정확한 위치 정보를 사용자에게 제공할 수 있다.
또한, 제어부(110)는 일정 시간 간격으로 카메라부(120, 130)의 각도가 제1 각도(θ1) 및 제2 각도(θ2)를 교번하여 촬영하도록 구동부(125, 135)를 제어할 수 있다. 이를 통해, 보행 보조 장치(1100)는 근거리의 장애물과 원거리의 장애물을 모두 감지하여, 사용자에게 안내할 수 있다.
이때, 제어부(110)는 미리 입력된 값을 이용하여 일정 시간 간격으로 카메라부(120, 130)의 각도를 변경하거나, 사용자의 입력값을 기초로 카메라부(120, 130)의 각도를 변경할 수 있다. 보행 보조 장치(1100)는 제1 각도(θ1) 및 제2 각도(θ2)의 교번 시간이 짧을수록 보다 정밀하게 장애물에 대한 정보를 사용자에게 제공할 수 있다. 다만, 교번 시간은 운용 전력 소모량 및 데이터 처리 속도를 고려하여 적절한 값으로 조절될 수 있다.
즉, 본 발명의 다른 실시예에 따른 시각 장애인용 보행 보조 장치 및 시스템은, 사용자의 눈동자의 움직임에 따라 사용자가 바라보는 방향(예를 들어, 좌우 및 상하)에 위치하는 장애물에 대한 정보를 소리 또는 진동으로 사용자에게 제공함으로써, 보다 세밀하게 장애물의 위치를 시각 장애인에게 전달할 수 있으며, 시각 장애인은 장애물의 위치를 정확히 파악할 수 있어 보행의 편의성이 개선될 수 있다.
전술한 바와 같은 본 발명은, 본 발명이 속하는 기술 분야의 통상의 기술자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로, 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.
110: 제어부 120: 제1 카메라부
130: 제2 카메라부 140: 저장부
145: 인터페이스부 150: 출력부
152: 스피커부 154: 진동생성부
160: 전원부 170: 통신부
180: 위치연산부 190: 안구 추적부
1000, 1100: 보행 보조 장치
2000: 사용자 단말기

Claims (14)

  1. 사용자의 안면에 착용 가능한 안경형 프레임;
    상기 안경형 프레임의 일측 및 타측에 서로 이격되어 배치되는 제1 및 제2 카메라부;
    상기 제1 및 제2 카메라부에서 각각 촬영된 영상을 기초로 사용자의 전방에 배치된 장애물을 인식하고, 상기 장애물과 상기 사용자 사이의 거리 및 방향을 계산하는 제어부;
    상기 장애물에 대한 거리 및 방향을 사용자에게 소리 또는 진동으로 안내하는 출력부;
    상기 제1 및 제2 카메라부에서 촬영된 영상 및 상기 장애물에 대한 데이터를 저장하는 저장부; 및
    상기 촬영된 영상 및 상기 장애물에 대한 데이터를 다른 기기에 무선으로 전송하는 통신부를 포함하는
    시각 장애인용 보행 보조 장치.
  2. 제1항에 있어서,
    상기 제어부는, 상기 제1 및 제2 카메라부로부터 각각 수신되는 영상에 포함된 공통되는 특징점을 추출하고, 상기 특징점과 사용자 사이의 거리를 계산하고,
    상기 거리에 따라 서로 다른 종류 또는 서로 다른 세기의 자극을 사용자에게 제공하도록 상기 출력부를 제어하는
    시각 장애인용 보행 보조 장치.
  3. 제1항에 있어서,
    상기 제어부는, 상기 제1 및 제2 카메라부에서 촬영된 영상에 포함된 텍스트를 추출하고, 추출된 상기 텍스트를 음성으로 변환하여 상기 출력부를 통해 사용자에게 제공하는
    시각 장애인용 보행 보조 장치.
  4. 제1항에 있어서,
    상기 제어부는, 상기 제1 및 제2 카메라부에서 촬영된 영상에 포함된 이미지를 추출하고, 추출된 상기 이미지에 대한 설명을 검색하고, 검색된 결과를 상기 출력부를 통해 사용자에게 음성으로 제공하는
    시각 장애인용 보행 보조 장치.
  5. 제1항에 있어서,
    상기 저장부는, 상기 제1 및 제2 카메라부에서 촬영된 영상을 실시간으로 저장하고,
    상기 제어부는, 상기 저장부에 미리 저장된 영상을 검색 또는 조회하여 상기 사용자에게 제공하거나, 상기 통신부를 통해 상기 다른 기기에 전달하는
    시각 장애인용 보행 보조 장치.
  6. 제1항에 있어서,
    상기 제1 및 제2 카메라부의 촬영 각도를 각각 조절하는 제1 및 제2 구동부를 더 포함하고,
    상기 제어부는, 미리 정해진 시간 간격마다 상기 제1 및 제2 구동부를 동작시켜, 상기 제1 및 제2 카메라부의 촬영 각도를 변경시키는
    시각 장애인용 보행 보조 장치.
  7. 제6항에 있어서,
    상기 제어부는, 제1 시간 동안 제1 거리 이내의 장애물을 탐색하고, 제2 시간 동안 상기 제1 거리보다 큰 제2 거리 이내의 장애물을 탐색하는 과정을 반복하는
    시각 장애인용 보행 보조 장치.
  8. 제1항에 있어서,
    상기 안경형 프레임은, 렌즈가 삽입되는 바디부와, 상기 바디부의 양측에 형성되는 안경다리부를 포함하고,
    상기 제어부, 상기 출력부, 상기 저장부, 및 상기 통신부에 전원을 제공하는 전원부를 더 포함하며,
    상기 제어부, 상기 출력부, 상기 저장부, 상기 통신부, 및 상기 전원부는 상기 안경다리부 내에 형성되는
    시각 장애인용 보행 보조 장치.
  9. 사용자의 안면에 착용 가능한 안경형 프레임;
    상기 안경형 프레임의 일측 및 타측에 서로 이격되어 배치되는 제1 및 제2 카메라부;
    상기 제1 및 제2 카메라부의 촬영 각도를 각각 조절하는 제1 및 제2 구동부;
    상기 사용자의 안구의 움직임을 측정하는 안구 추적부;
    상기 안구 추적부에서 측정한 데이터를 기초로 상기 제1 및 제2 구동부의 동작을 제어하고, 상기 제1 및 제2 카메라부에서 각각 촬영된 영상을 기초로 사용자의 시야 내에 포함된 장애물의 위치를 산출하는 제어부; 및
    상기 장애물의 위치에 대한 정보를 사용자에게 소리 또는 진동을 이용하여 안내하는 출력부를 포함하는
    시각 장애인용 보행 보조 장치.
  10. 제9항에 있어서,
    상기 제어부는, 상기 제1 및 제2 카메라부로부터 각각 수신되는 영상에 포함된 공통되는 특징점을 추출하고, 상기 특징점과 사용자 사이의 거리를 계산하고,
    상기 거리에 따라 서로 다른 종류 또는 서로 다른 세기의 자극을 사용자에게 제공하도록 상기 출력부를 제어하는
    시각 장애인용 보행 보조 장치.
  11. 제9항에 있어서,
    상기 제1 및 제2 카메라부에서 촬영된 영상 및 상기 장애물의 위치에 대한 정보를 저장하는 저장부와,
    상기 촬영된 영상 및 상기 장애물의 위치에 대한 정보를 다른 기기에 무선으로 전송하는 통신부를 더 포함하는
    시각 장애인용 보행 보조 장치.
  12. 제9항에 있어서,
    상기 제어부는, 미리 정해진 시간 간격마다 상기 제1 및 제2 구동부를 동작시켜, 상기 제1 및 제2 카메라부의 촬영 각도를 변경시키는
    시각 장애인용 보행 보조 장치.
  13. 제9항에 있어서,
    상기 제어부는, 상기 제1 및 제2 카메라부에서 촬영된 영상에 포함된 텍스트를 추출하고, 추출된 상기 텍스트를 음성으로 변환하여 상기 출력부를 통해 사용자에게 제공하는
    시각 장애인용 보행 보조 장치.
  14. 사용자의 안면에 착용 가능한 안경형 보행 보조 장치; 및
    상기 안경형 보행 보조 장치와 데이터를 교환하는 사용자 단말기를 포함하되,
    상기 안경형 보행 보조 장치는, 안경형 프레임의 일측 및 타측에 서로 이격되어 배치되는 제1 및 제2 카메라부와, 상기 제1 및 제2 카메라부에서 촬영된 영상을 상기 사용자 단말기에 무선으로 전송하는 통신부와, 장애물에 대한 거리 및 방향에 대한 정보를 사용자에게 소리 또는 진동 신호로 안내하는 출력부를 포함하고,
    상기 사용자 단말기는, 상기 제1 및 제2 카메라부에서 각각 촬영된 영상을 기초로 사용자의 전방에 배치된 장애물을 인식하고 상기 장애물과 상기 사용자 사이의 거리 및 방향을 계산하는 제어부와, 상기 제1 및 제2 카메라부에서 촬영된 영상 및 상기 장애물에 대한 데이터를 저장하는 저장부를 포함하는
    시각 장애인용 보행 보조 시스템.
KR1020170170281A 2017-12-12 2017-12-12 시각 장애인용 보행 보조 장치 및 시스템 KR20190069919A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170170281A KR20190069919A (ko) 2017-12-12 2017-12-12 시각 장애인용 보행 보조 장치 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170170281A KR20190069919A (ko) 2017-12-12 2017-12-12 시각 장애인용 보행 보조 장치 및 시스템

Publications (1)

Publication Number Publication Date
KR20190069919A true KR20190069919A (ko) 2019-06-20

Family

ID=67103759

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170170281A KR20190069919A (ko) 2017-12-12 2017-12-12 시각 장애인용 보행 보조 장치 및 시스템

Country Status (1)

Country Link
KR (1) KR20190069919A (ko)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111942285A (zh) * 2020-07-10 2020-11-17 夏牧谣 基于车载玻璃振动反馈的智能视障人员服务方法及其系统
KR20210025835A (ko) * 2019-08-28 2021-03-10 구본준 스테레오 카메라와 적외선 센서를 활용한 시각장애인을 위한 웨어러블 기기
KR102252352B1 (ko) * 2020-12-04 2021-05-17 주식회사 바토너스 보행 안내 방법 및 장치
KR20210076235A (ko) * 2019-12-13 2021-06-24 동국대학교 산학협력단 초음파 센서를 통해 감지된 장애물에 대한 음성 정보를 제공하는 스마트 지팡이 및 그 동작 방법
CN113080550A (zh) * 2021-05-12 2021-07-09 新疆爱华盈通信息技术有限公司 用于识别障碍物的头巾及其识别障碍物的方法
KR102291296B1 (ko) * 2021-05-12 2021-08-20 방윤 시각 장애인 보행 보조 시스템
KR20220120262A (ko) * 2021-02-23 2022-08-30 청주대학교 산학협력단 시각장애인을 위한 스마트 글라스 시스템
KR102665012B1 (ko) * 2023-06-07 2024-05-14 정성율 시각장애인용 스마트 지팡이

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210025835A (ko) * 2019-08-28 2021-03-10 구본준 스테레오 카메라와 적외선 센서를 활용한 시각장애인을 위한 웨어러블 기기
KR20210076235A (ko) * 2019-12-13 2021-06-24 동국대학교 산학협력단 초음파 센서를 통해 감지된 장애물에 대한 음성 정보를 제공하는 스마트 지팡이 및 그 동작 방법
CN111942285A (zh) * 2020-07-10 2020-11-17 夏牧谣 基于车载玻璃振动反馈的智能视障人员服务方法及其系统
CN111942285B (zh) * 2020-07-10 2022-11-18 夏牧谣 基于车载玻璃振动反馈的智能视障人员服务方法及其系统
KR102252352B1 (ko) * 2020-12-04 2021-05-17 주식회사 바토너스 보행 안내 방법 및 장치
KR20220120262A (ko) * 2021-02-23 2022-08-30 청주대학교 산학협력단 시각장애인을 위한 스마트 글라스 시스템
CN113080550A (zh) * 2021-05-12 2021-07-09 新疆爱华盈通信息技术有限公司 用于识别障碍物的头巾及其识别障碍物的方法
KR102291296B1 (ko) * 2021-05-12 2021-08-20 방윤 시각 장애인 보행 보조 시스템
KR102665012B1 (ko) * 2023-06-07 2024-05-14 정성율 시각장애인용 스마트 지팡이

Similar Documents

Publication Publication Date Title
KR20190069919A (ko) 시각 장애인용 보행 보조 장치 및 시스템
US10571715B2 (en) Adaptive visual assistive device
Manjari et al. A survey on assistive technology for visually impaired
Poggi et al. A wearable mobility aid for the visually impaired based on embedded 3D vision and deep learning
US9035970B2 (en) Constraint based information inference
Hu et al. An overview of assistive devices for blind and visually impaired people
US9105210B2 (en) Multi-node poster location
TWI597623B (zh) 可穿戴基於行爲的視覺系統
US9323325B2 (en) Enhancing an object of interest in a see-through, mixed reality display device
US20130131985A1 (en) Wearable electronic image acquisition and enhancement system and method for image acquisition and visual enhancement
Paul et al. Smart Eye for Visually Impaired-An aid to help the blind people
CN107533375B (zh) 场景图像分析模块
US20190286232A1 (en) Bracelet in a distributed artificial reality system
KR102242681B1 (ko) 스마트 웨어러블 디바이스, 이를 사용한 3차원 얼굴과 공간 정보 인식 방법 및 시스템
KR20140059213A (ko) 홍채 스캔 프로파일링을 이용하는 헤드 마운티드 디스플레이
KR20120127790A (ko) 시선추적 시스템 및 그 방법
KR20170028942A (ko) 안전한 웨어러블 컴퓨터 인터페이스
US11240596B2 (en) Systems and methods for directing audio output of a wearable apparatus
US10572002B2 (en) Distributed artificial reality system with contextualized hand tracking
US11670157B2 (en) Augmented reality system
KR20190111262A (ko) 시각 장애인을 위한 장애물 거리 측정 단말기
Mattoccia et al. 3D glasses as mobility aid for visually impaired people
Sun et al. “Watch your step”: precise obstacle detection and navigation for Mobile users through their Mobile service
US20180122145A1 (en) Display apparatus, display system, and control method for display apparatus
KR20120088320A (ko) 시각장애인을 위한 사물인식 및 보행안내 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application