KR102024111B1

KR102024111B1 - Smart stick for weak person using a microcomputer and an obstacle warning method of the smart stick

Info

Publication number: KR102024111B1
Application number: KR1020180141917A
Authority: KR
Inventors: 박은찬; 김현석; 박현수; 이재현; 김정은
Original assignee: 동국대학교 산학협력단
Priority date: 2018-11-16
Filing date: 2018-11-16
Publication date: 2019-09-24

Abstract

Disclosed are: a smart cane for weak people using a microcomputer; and a method for warning obstacles of the smart cane. The smart cane according to the present invention, after determining whether a user is close to an obstacle by considering the distance between the obstacle ahead and a size of the obstacle together and if it is determined that a collision would occur with the obstacle, generates vibration informing a collision risk state to the user through a vibration generator, thereby being able to support weak people such as blind people to easily avoid the obstacle.

Description

SMART STICK FOR WEAK PERSON USING A MICROCOMPUTER AND AN OBSTACLE WARNING METHOD OF THE SMART STICK}

본 발명은 전방의 장애물과의 충돌 위험 여부를 사용자에게 진동으로 알려줄 수 있는 이동약자를 위한 스마트 지팡이에 대한 것이다.The present invention relates to a smart wand for the mobile weak that can inform the user whether the risk of collision with an obstacle in front of the vibration.

일반적으로, 시각 장애인은 시각 장애인 전용 지팡이를 사용하여 전방의 장애물을 감지하고 주변 상황을 예측하여 보행한다.In general, the visually impaired person uses a walking stick for the visually impaired to detect obstacles in front of the vehicle and to predict the surrounding situation.

지팡이 사용자는 지팡이가 닿는 부분의 장애물만을 감지할 수 있어 다양한 장애물에 대한 정보를 파악하기 어려우므로, 시각 장애인들이 상해를 입는 경우가 자주 발생한다. 이를 보완하고 다양한 기능을 추가하여 시각 장애인들의 삶의 질을 향상시키고자 연구가 시작되었다.The cane user can only detect obstacles in the area where the cane touches, so it is difficult to grasp information on various obstacles, so that the visually impaired are frequently injured. The research was started to improve the quality of life of the visually impaired by supplementing it and adding various functions.

대한민국 등록특허 제10-1878263호(2018년 7월 9일, 등록)에는 "시각 장애인용 지팡이"가 소개되어 있다.Republic of Korea Patent No. 10-1878263 (registered on July 9, 2018) is a "cane for the visually impaired" is introduced.

상기 시각 장애인용 지팡이는 지팡이의 양단 중 지면과 접촉하게 되는 일단에 구비된 제1 스위치; 상기 제1 스위치가 지면과 접촉된 경우, 상기 지팡이와 상기 지면이 이루는 각도를 측정하는 자이로 센서; 실시간으로 전방의 영상을 촬영하는 깊이 카메라(3D Depth Camera); 상기 손잡이의 내측에 서로 이격되게 구비된 복수 개의 진동모터들; 및 기설정된 초기값과 상기 측정된 각도 간의 변화량 및 촬영된 영상에 기반하여 객체의 존부를 판단하고, 상기 객체가 존재한다고 판단된 경우, 상기 진동모터들 중 상기 객체의 종류에 대응되는 하나 이상의 진동모터를 선택적으로 동작시키는 제어부를 포함한다.The cane for the visually impaired includes a first switch provided at one end of the cane in contact with the ground; A gyro sensor which measures an angle between the wand and the ground when the first switch is in contact with the ground; Depth camera (3D Depth Camera) for taking the image of the front in real time; A plurality of vibration motors provided to be spaced apart from each other inside the handle; And determining the existence of the object based on the change amount between the preset initial value and the measured angle and the photographed image, and when it is determined that the object exists, one or more vibrations corresponding to the type of the object among the vibration motors. And a control unit for selectively operating the motor.

그러나, 상기 시각 장애인용 지팡이에는 카메라를 통해 촬영한 전방 영상으로부터 장애물의 존재여부를 판정하는 구성이 개시되어 있지만, 장애물과의 거리와 크기를 기반으로 장애물과의 충돌 여부를 판정해서 시각 장애인에게 충돌 상황임을 알리는 내용이 제시되어 있지 않다.However, although the configuration for determining the presence of the obstacle from the front image captured by the camera is disclosed in the cane for the visually impaired, the collision with the visually impaired is determined based on the distance and size of the obstacle. There is no information indicating the situation.

본 발명에 따른 스마트 지팡이는 전방의 장애물과의 이격 거리와 장애물의 크기를 함께 고려해서 사용자가 상기 장애물에 근접하였는지를 판정한 후 상기 장애물과 충돌이 발생할 것으로 판단된 경우, 진동 발생기를 통해 상기 사용자에게 충돌 위험 상태임을 알리는 진동을 발생시킴으로써, 시각장애인과 같은 이동 약자가 장애물을 쉽게 회피할 수 있도록 지원하고자 한다.Smart wand according to the present invention determines the collision with the obstacle after determining whether the user is close to the obstacle in consideration of the distance of the obstacle and the size of the obstacle in front of the obstacle, to the user through the vibration generator By generating a vibration indicating that the collision is in danger, it is intended to support a mobile weak person, such as a blind person, to easily avoid obstacles.

본 발명의 일실시예에 따른 마이크로 컴퓨터를 이용한 이동약자를 위한 스마트 지팡이는 초음파를 방사하여 사용자의 전방에 위치한 장애물과의 이격 거리를 측정하는 초음파 센서, 상기 사용자의 전방에 위치한 상기 장애물을 촬영하는 카메라 모듈 및 상기 초음파 센서를 통해 측정된 상기 장애물과의 이격 거리 및, 상기 카메라 모듈을 통해 촬영된 이미지로부터 획득된 상기 장애물의 크기에 기초하여 상기 장애물에 대한 상기 사용자의 전방 충돌 위험 여부를 판단한 후 상기 장애물에 대해 충돌 위험 상태인 것으로 판단되면, 진동 발생기를 통해 상기 사용자에게 전방 충돌 위험을 알리기 위한 진동을 발생시키는 마이크로 컴퓨터를 포함한다.Smart wand for a mobile weak using a microcomputer according to an embodiment of the present invention is an ultrasonic sensor for measuring the separation distance from the obstacle located in front of the user by radiating ultrasonic waves, to photograph the obstacle located in front of the user After determining whether there is a risk of forward collision of the user on the obstacle based on the distance between the obstacle measured by the camera module and the ultrasonic sensor, and the size of the obstacle obtained from the image captured by the camera module. If it is determined that the collision risk state for the obstacle, the vibration generator includes a microcomputer for generating a vibration for notifying the user of the risk of forward collision.

또한, 본 발명의 일실시예에 따른 스마트 지팡이의 장애물 경고 방법은 초음파 센서를 이용하여 사용자의 전방에 위치한 장애물과의 이격 거리를 측정하는 단계, 카메라 모듈을 이용하여 상기 사용자의 전방에 위치한 상기 장애물을 촬영하는 단계 및 상기 초음파 센서를 통해 측정된 상기 장애물과의 이격 거리 및, 상기 카메라 모듈을 통해 촬영된 이미지로부터 획득된 상기 장애물의 크기에 기초하여 상기 장애물에 대한 사용자의 전방 충돌 위험 여부를 판단한 후 상기 장애물에 대해 충돌 위험 상태인 것으로 판단되면, 진동 발생기를 통해 상기 사용자에게 전방 충돌 위험을 알리기 위한 진동을 발생시키는 단계를 포함한다.In addition, the obstacle warning method of the smart wand in accordance with an embodiment of the present invention measuring the separation distance with the obstacle located in front of the user using an ultrasonic sensor, the obstacle located in front of the user using a camera module Determining whether a user's forward collision risk is caused to the obstacle based on a distance between the obstacle and the distance measured from the obstacle measured by the ultrasonic sensor, and the size of the obstacle obtained from the image captured by the camera module. After it is determined that the collision risk state for the obstacle, comprising the step of generating a vibration for informing the user of the risk of forward collision through a vibration generator.

본 발명에 따른 스마트 지팡이는 전방의 장애물과의 이격 거리와 장애물의 크기를 함께 고려해서 사용자가 상기 장애물에 근접하였는지를 판정한 후 상기 장애물과 충돌이 발생할 것으로 판단된 경우, 진동 발생기를 통해 상기 사용자에게 충돌 위험 상태임을 알리는 진동을 발생시킴으로써, 시각장애인과 같은 이동 약자가 장애물을 쉽게 회피할 수 있도록 지원할 수 있다.Smart wand according to the present invention determines the collision with the obstacle after determining whether the user is close to the obstacle in consideration of the distance of the obstacle and the size of the obstacle in front of the obstacle, to the user through the vibration generator By generating a vibration indicating that the collision is in danger, it is possible to support a mobile weak person such as a blind person to easily avoid obstacles.

도 1은 본 발명의 일실시예에 따른 마이크로 컴퓨터를 이용한 이동약자를 위한 스마트 지팡이의 구조를 도시한 도면이다.
도 2는 본 발명의 일실시예에 따른 스마트 지팡이의 장애물 경고 방법을 도시한 순서도이다.1 is a view showing the structure of a smart wand for a mobile weak using a microcomputer according to an embodiment of the present invention.
2 is a flowchart illustrating an obstacle warning method of a smart wand according to an embodiment of the present invention.

이하에서는 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명하기로 한다. 이러한 설명은 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였으며, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 본 명세서 상에서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 사람에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings. This description is not intended to limit the invention to the specific embodiments, it should be understood to include all changes, equivalents, and substitutes included in the spirit and scope of the invention. In describing the drawings, similar reference numerals are used for similar components, and unless otherwise defined, all terms used in the present specification, including technical or scientific terms, may be used in the art to which the present invention pertains. It has the same meaning as is commonly understood by someone who has it.

본 문서에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다. 또한, 본 발명의 다양한 실시예들에 있어서, 각 구성요소들, 기능 블록들 또는 수단들은 하나 또는 그 이상의 하부 구성요소로 구성될 수 있고, 각 구성요소들이 수행하는 전기, 전자, 기계적 기능들은 전자회로, 집적회로, ASIC(Application Specific Integrated Circuit) 등 공지된 다양한 소자들 또는 기계적 요소들로 구현될 수 있으며, 각각 별개로 구현되거나 2 이상이 하나로 통합되어 구현될 수도 있다. In this document, when a part "includes" a certain component, it means that it may further include other components, except to exclude other components unless specifically stated otherwise. Further, in various embodiments of the present invention, each component, functional block or means may be composed of one or more subcomponents, and the electrical, electronic and mechanical functions performed by each component are electronic The circuit, integrated circuit, ASIC (Application Specific Integrated Circuit) may be implemented as a variety of known elements or mechanical elements, each may be implemented separately, or two or more may be integrated into one.

한편, 첨부된 블록도의 블록들이나 흐름도의 단계들은 범용 컴퓨터, 특수용 컴퓨터, 휴대용 노트북 컴퓨터, 네트워크 컴퓨터 등 데이터 프로세싱이 가능한 장비의 프로세서나 메모리에 탑재되어 지정된 기능들을 수행하는 컴퓨터 프로그램 명령들(instructions)을 의미하는 것으로 해석될 수 있다. 이들 컴퓨터 프로그램 명령들은 컴퓨터 장치에 구비된 메모리 또는 컴퓨터에서 판독 가능한 메모리에 저장될 수 있기 때문에, 블록도의 블록들 또는 흐름도의 단계들에서 설명된 기능들은 이를 수행하는 명령 수단을 내포하는 제조물로 생산될 수도 있다. 아울러, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 명령들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 가능한 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 정해진 순서와 달리 실행되는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 실질적으로 동시에 수행되거나, 역순으로 수행될 수 있으며, 경우에 따라 일부 블록들 또는 단계들이 생략된 채로 수행될 수도 있다.On the other hand, the steps of the blocks or flowcharts in the attached block diagrams are computer program instructions that are mounted in a processor or memory of a data processing device such as a general purpose computer, special purpose computer, portable notebook computer, or network computer to perform specified functions. It can be interpreted as meaning. Because these computer program instructions can be stored in a memory provided in a computer device or in a computer readable memory, the functions described in the blocks of the block diagram or the steps of the flowchart are produced as a product containing an instruction means for performing this. May be In addition, each block or step may represent a portion of a module, segment, or code that includes one or more executable instructions for executing a specified logical function (s). It should also be noted that in some alternative embodiments, the functions recited in blocks or steps may be performed in a different order. For example, two blocks or steps shown in succession may be performed substantially concurrently or in reverse order, and in some cases, may be performed with some blocks or steps omitted.

도 1은 본 발명의 일실시예에 따른 마이크로 컴퓨터를 이용한 이동약자를 위한 스마트 지팡이의 구조를 도시한 도면이다.1 is a view showing the structure of a smart wand for a mobile weak using a microcomputer according to an embodiment of the present invention.

도 1을 참조하면, 본 발명에 따른 마이크로 컴퓨터를 이용한 이동약자를 위한 스마트 지팡이(110)는 초음파 센서(111), 카메라 모듈(112) 및 마이크로 컴퓨터(113)를 포함한다.Referring to FIG. 1, the smart wand 110 for a mobile weak using a microcomputer according to the present invention includes an ultrasonic sensor 111, a camera module 112, and a microcomputer 113.

초음파 센서(111)는 초음파를 방사하여 사용자의 전방에 위치한 장애물과의 이격 거리를 측정한다.The ultrasonic sensor 111 emits ultrasonic waves to measure a distance from an obstacle located in front of the user.

관련해서, 초음파 센서(111)는 전방에 초음파를 방사한 후 전방에 존재하는 장애물에 반사되어 돌아오는 초음파의 회귀 시간을 측정함으로써, 상기 사용자와 상기 장애물 간의 이격 거리를 측정할 수 있다.In relation to this, the ultrasonic sensor 111 may measure a separation distance between the user and the obstacle by measuring a regression time of the ultrasonic wave which is reflected by an obstacle existing in the front after radiating the ultrasonic wave in front.

카메라 모듈(112)는 상기 사용자의 전방에 위치한 상기 장애물을 촬영한다.The camera module 112 photographs the obstacle located in front of the user.

마이크로 컴퓨터(113)는 초음파 센서(111)를 통해 측정된 상기 장애물과의 이격 거리 및, 카메라 모듈(112)을 통해 촬영된 이미지로부터 획득된 상기 장애물의 크기에 기초하여 상기 장애물에 대한 상기 사용자의 전방 충돌 위험 여부를 판단한 후 상기 장애물에 대해 충돌 위험 상태인 것으로 판단되면, 진동 발생기를 통해 상기 사용자에게 전방 충돌 위험을 알리기 위한 진동을 발생시킨다.The microcomputer 113 determines the distance between the obstacle and the user based on the distance of the obstacle measured by the ultrasonic sensor 111 and the size of the obstacle obtained from the image captured by the camera module 112. If it is determined that the collision risk state for the obstacle after determining whether the front collision risk, the vibration generator generates a vibration for informing the user of the front collision risk.

이때, 본 발명의 일실시예에 따르면, 마이크로 컴퓨터(113)는 크기 연산부(114), 벡터 생성부(115), 유클리드 거리 연산부(116), 판단부(117) 및 진동 발생부(118)를 포함한다.At this time, according to an embodiment of the present invention, the microcomputer 113 includes a magnitude calculator 114, a vector generator 115, a Euclidean distance calculator 116, a determiner 117, and a vibration generator 118. Include.

크기 연산부(114)는 카메라 모듈(112)을 통해 촬영된 이미지로부터 객체 추적을 수행하여 상기 장애물에 대응하는 영역을 인식한 후 상기 인식된 영역의 크기를 상기 장애물에 대한 크기로 연산한다.The size calculator 114 recognizes an area corresponding to the obstacle by performing object tracking from the image photographed by the camera module 112, and then calculates the size of the recognized area as the size of the obstacle.

관련해서, 크기 연산부(114)는 상기 카메라 모듈(112)을 통해 촬영된 이미지를 구성하는 화소들 중 상기 장애물을 인식하기 위해서 미리 설정된 색상값을 화소값으로 갖는 화소들을 상기 장애물에 대응하는 영역으로 인식한 후 상기 인식된 영역의 크기를 상기 장애물의 크기로 연산할 수 있다.In this regard, the size calculating unit 114 may move pixels having a preset color value as a pixel value to an area corresponding to the obstacle, in order to recognize the obstacle among pixels constituting the image photographed by the camera module 112. After recognition, the size of the recognized area may be calculated as the size of the obstacle.

벡터 생성부(115)는 상기 장애물과의 이격 거리와 상기 장애물의 크기를 성분으로 포함하는 2차원의 측정 벡터를 생성한다.The vector generator 115 generates a two-dimensional measurement vector including a distance between the obstacle and the size of the obstacle as a component.

예컨대, 상기 장애물과의 이격 거리가 'd', 상기 장애물의 크기를 'm'이라고 하는 경우, 벡터 생성부(115)는 'd'와 'm'을 성분으로 포함하는 '(d, m)'이라고 하는 2차원의 측정 벡터를 생성할 수 있다.For example, when the distance between the obstacle is 'd' and the size of the obstacle is 'm', the vector generator 115 includes 'd' and 'm' as '(d, m)' It is possible to generate a two-dimensional measurement vector called '.

유클리드 거리 연산부(116)는 상기 측정 벡터와 미리 정해진 기준 벡터 간의 유클리드 거리(Euclidean Distance)를 연산한다.The Euclidean distance calculator 116 calculates an Euclidean distance between the measurement vector and a predetermined reference vector.

여기서, 상기 기준 벡터는 개발자나 사용자에 의해 미리 설정된 벡터로 장애물과의 충돌 가능성을 판정하기 위한 미리 설정된 임계치에 해당된다.Here, the reference vector is a vector preset by a developer or a user and corresponds to a preset threshold for determining a possibility of collision with an obstacle.

그리고, 유클리드 거리란 두 벡터 간의 거리를 의미하는 것으로 하기의 수학식 1에 따라 연산될 수 있다.The Euclidean distance means a distance between two vectors and may be calculated according to Equation 1 below.

상기 수학식 1에서 D는 유클리드 거리, p_i와 q_i는 두 벡터에 포함되어 있는 i번째 성분들을 의미한다. 두 벡터 간의 유클리드 거리가 작을수록 두 벡터는 유사한 벡터라고 볼 수 있고, 두 벡터 간의 유클리드 거리가 클수록 두 벡터는 비유사한 벡터라고 볼 수 있다.In Equation 1, D is Euclidean distance, p _i and q _i refers to the i-th component included in the two vectors. The smaller the Euclidean distance between two vectors, the two vectors can be regarded as similar vectors, and the larger the Euclidean distance between the two vectors, the two vectors can be regarded as dissimilar vectors.

즉, 상기 측정 벡터와 상기 기준 벡터 간의 유클리드 거리가 작을수록 상기 측정 벡터는 상기 기준 벡터와 유사한 벡터라고 볼 수 있고, 유클리드 거리가 클수록 상기 측정 벡터는 상기 기준 벡터와 비유사한 벡터라고 볼 수 있다.That is, as the Euclidean distance between the measurement vector and the reference vector is smaller, the measurement vector can be regarded as a vector similar to the reference vector, and as the Euclidean distance is larger, the measurement vector can be regarded as a vector dissimilar to the reference vector.

판단부(117)는 상기 유클리드 거리의 연산값과 미리 정해진 유클리드 기준 거리를 비교하여 상기 장애물에 대한 충돌 위험여부를 판단한다.The determination unit 117 compares the operation value of the Euclidean distance with a predetermined Euclidean reference distance to determine whether the collision risk for the obstacle.

이때, 본 발명의 일실시예에 따르면, 판단부(117)는 상기 유클리드 거리의 연산값과 상기 유클리드 기준 거리를 비교하여, 상기 유클리드 거리의 연산값이 상기 유클리드 기준 거리 미만인 것으로 확인되면, 상기 장애물에 대해 충돌 위험 상태인 것으로 판단할 수 있다.At this time, according to an embodiment of the present invention, the determination unit 117 compares the operation value of the Euclidean distance and the Euclidean reference distance, if it is determined that the operation value of the Euclidean distance is less than the Euclidean reference distance, the obstacle Can be determined to be in a collision risk.

즉, 상기 측정 벡터와 상기 기준 벡터 간의 유클리드 거리가 상기 유클리드 기준 거리 미만으로 될 정도로 상기 측정 벡터가 상기 기준 벡터에 근접하게 되면, 상기 사용자가 장애물에 아주 근접한 상황으로 볼 수 있기 때문에 판단부(117)는 상기 장애물에 대해 충돌 위험 상태인 것으로 판단할 수 있다.That is, when the measurement vector is close to the reference vector such that the Euclidean distance between the measurement vector and the reference vector is less than the Euclidean reference distance, the user can see the situation as being very close to the obstacle. ) May be determined to be in a collision risk state with respect to the obstacle.

진동 발생부(118)는 판단부(117)가 상기 장애물에 대한 충돌 위험여부를 판단한 결과, 상기 장애물에 대해 충돌 위험 상태인 것으로 판단된 경우, 상기 진동 발생기를 통해 상기 사용자에게 충돌 위험 상태임을 알리기 위한 진동을 발생시킨다.The vibration generating unit 118 notifies the user of the collision danger state through the vibration generator when it is determined that the collision unit 117 is in danger of collision as a result of the determination unit 117. To generate vibration.

즉, 본 발명에 따른 스마트 지팡이(110)는 장애물과의 이격 거리와 장애물의 크기를 함께 고려해서 사용자가 상기 장애물에 근접하였는지를 판정한 후 상기 장애물과 충돌이 발생할 것으로 판단된 경우, 진동 발생기를 통해 상기 사용자에게 충돌 위험 상태임을 알리는 진동을 발생시킴으로써, 시각장애인과 같은 이동 약자가 장애물을 쉽게 회피할 수 있도록 지원할 수 있다.That is, the smart wand 110 according to the present invention considers the distance between the obstacle and the size of the obstacle together to determine whether the user is close to the obstacle, and when it is determined that the collision with the obstacle, through the vibration generator By generating a vibration informing the user that the collision is in danger, it is possible to support a mobile weak person such as a blind person to easily avoid obstacles.

이때, 본 발명의 일실시예에 따르면, 진동 발생부(118)는 테이블 유지부(119), 진동 세기값 확인부(120) 및 진동 발생 처리부(121)를 포함할 수 있다.At this time, according to an embodiment of the present invention, the vibration generating unit 118 may include a table holding unit 119, the vibration intensity value checking unit 120 and the vibration generating processing unit 121.

테이블 유지부(119)는 미리 정해진 서로 다른 복수의 진동 세기값들과 상기 복수의 진동 세기값들 각각에 대응하는 미리 정해진 서로 다른 유클리드 거리에 대한 상한값과 하한값이 지정된 범위값이 기록되어 있는 진동 세기 테이블을 저장하여 유지한다.The table holding unit 119 is configured to record a plurality of different vibration intensity values and a range value in which upper and lower limits are specified for different different Euclidean distances corresponding to each of the plurality of vibration intensity values. Save and maintain the table.

예컨대, 상기 진동 세기 테이블에는 하기의 표 1과 같이 정보가 기록되어 있을 수 있다.For example, information may be recorded in the vibration intensity table as shown in Table 1 below.

복수의 진동 세기값들Multiple vibration intensity values 유클리드 거리에 대한 범위값Range value for Euclidean distance 강River 0~100-10 중medium 10~2010-20 약about 20~3020-30

진동 세기값 확인부(120)는 판단부(117)에서 상기 장애물에 대해 충돌 위험 상태인 것으로 판단된 경우, 상기 진동 세기 테이블로부터 상기 유클리드 거리의 연산값이 속해있는 제1 유클리드 거리의 범위값에 대응되어 기록되어 있는 제1 진동 세기값을 확인한다.When the determination unit 117 determines that the collision level is in danger of the obstacle, the vibration intensity value confirming unit 120 determines a range of the first Euclidean distance to which the calculated value of the Euclidean distance belongs from the vibration intensity table. The first vibration intensity value recorded correspondingly is confirmed.

예컨대, 유클리드 거리 연산부(116)에서 연산된 상기 측정 벡터와 상기 기준 벡터 간의 유클리드 거리의 연산값이 '15'라고 하는 경우, 진동 세기값 확인부(120)는 상기 표 1과 같은 진동 세기 테이블로부터 상기 유클리드 거리의 연산값인 '15'가 속해있는 '10~20'이라는 범위값에 대응되어 기록되어 있는 '중'이라는 진동 세기값을 상기 제1 진동 세기값으로 확인할 수 있다.For example, when the calculated value of the Euclidean distance between the measurement vector and the reference vector calculated by the Euclidean distance calculating unit 116 is '15', the vibration intensity value confirming unit 120 is determined from the vibration intensity table as shown in Table 1 above. A vibration intensity value of 'middle' recorded corresponding to a range value of '10 to 20 'to which the calculation value' 15 'of the Euclidean distance belongs may be identified as the first vibration intensity value.

이렇게, 상기 제1 진동 세기값이 확인되면, 진동 발생 처리부(121)는 상기 진동 발생기를 통해 상기 제1 진동 세기값에 따른 진동 세기를 갖는 진동을 발생시킨다.As such, when the first vibration intensity value is confirmed, the vibration generation processor 121 generates a vibration having the vibration intensity according to the first vibration intensity value through the vibration generator.

즉, 본 발명에 따른 스마트 지팡이(110)는 장애물과의 충돌 위험 정도라고 볼 수 있는 상기 측정 벡터와 상기 기준 벡터 간의 유클리드 거리에 따라 서로 다른 진동 세기값에 따른 진동 세기로 진동을 발생시킴으로써, 사용자가 진동 세기를 기초로 현재 얼마나 위험한 상태인지를 인지할 수 있도록 지원할 수 있다.That is, the smart wand 110 according to the present invention generates vibrations with vibration intensities according to different vibration intensity values according to the Euclidean distance between the measurement vector and the reference vector, which can be regarded as a degree of risk of collision with an obstacle, Can help you recognize how dangerous it is now based on vibration intensity.

도 2는 본 발명의 일실시예에 따른 스마트 지팡이의 장애물 경고 방법을 도시한 순서도이다.2 is a flowchart illustrating an obstacle warning method of a smart wand according to an embodiment of the present invention.

단계(S210)에서는 초음파 센서를 이용하여 사용자의 전방에 위치한 장애물과의 이격 거리를 측정한다.In operation S210, a distance from an obstacle located in front of the user is measured by using an ultrasonic sensor.

단계(S220)에서는 카메라 모듈을 이용하여 상기 사용자의 전방에 위치한 상기 장애물을 촬영한다.In step S220, the obstacle is located in front of the user by using a camera module.

단계(S230)에서는 상기 초음파 센서를 통해 측정된 상기 장애물과의 이격 거리 및, 상기 카메라 모듈을 통해 촬영된 이미지로부터 획득된 상기 장애물의 크기에 기초하여 상기 장애물에 대한 사용자의 전방 충돌 위험 여부를 판단한 후 상기 장애물에 대해 충돌 위험 상태인 것으로 판단되면, 진동 발생기를 통해 상기 사용자에게 전방 충돌 위험을 알리기 위한 진동을 발생시킨다.In step S230, it is determined whether the user's forward collision risk to the obstacle based on the separation distance from the obstacle measured by the ultrasonic sensor, and the size of the obstacle obtained from the image captured by the camera module. If it is determined that the collision risk state for the obstacle, the vibration generator generates a vibration for notifying the user of the risk of forward collision.

이때, 본 발명의 일실시예에 따르면, 단계(S230)에서는 상기 카메라 모듈을 통해 촬영된 이미지로부터 객체 추적을 수행하여 상기 장애물에 대응하는 영역을 인식한 후 상기 인식된 영역의 크기를 상기 장애물에 대한 크기로 연산하는 단계, 상기 장애물과의 이격 거리와 상기 장애물의 크기를 성분으로 포함하는 2차원의 측정 벡터를 생성하는 단계, 상기 측정 벡터와 미리 정해진된 기준 벡터 간의 유클리드 거리를 연산하는 단계, 상기 유클리드 거리의 연산값과 미리 정해진 유클리드 기준 거리를 비교하여 상기 장애물에 대한 충돌 위험여부를 판단하는 단계 및 상기 장애물에 대한 충돌 위험여부를 판단한 결과, 상기 장애물에 대해 충돌 위험 상태인 것으로 판단된 경우, 상기 진동 발생기를 통해 상기 사용자에게 상기 장애물과의 충돌 위험 상태임을 알리는 진동을 발생시키는 단계를 포함할 수 있다.At this time, according to an embodiment of the present invention, in step S230, after tracking the object from the image captured by the camera module to recognize the area corresponding to the obstacle, the size of the recognized area to the obstacle Calculating a two-dimensional measurement vector including a distance between the obstacle and a size of the obstacle as a component, calculating a Euclidean distance between the measurement vector and a predetermined reference vector; Comparing the calculated value of the Euclidean distance with a predetermined Euclidean reference distance to determine whether the collision is in danger of the obstacle, and determining whether the collision is in danger of the obstacle, when it is determined that the collision is in a dangerous state. , The vibration generator is a state of danger of collision with the obstacle to the user The alert may include generating a vibration.

이때, 본 발명의 일실시예에 따르면, 상기 판단하는 단계는 상기 유클리드 거리의 연산값과 상기 유클리드 기준 거리를 비교하여, 상기 유클리드 거리의 연산값이 상기 유클리드 기준 거리 미만인 것으로 확인되면, 상기 장애물에 대해 충돌 위험 상태인 것으로 판단할 수 있다.In this case, according to one embodiment of the present invention, the determining may include comparing the operation value of the Euclidean distance with the Euclidean reference distance, and if the operation value of the Euclidean distance is determined to be less than the Euclidean reference distance, Can be determined to be in a collision risk condition.

또한, 본 발명의 일실시예에 따르면, 상기 장애물과의 충돌 위험 상태임을 알리는 진동을 발생시키는 단계는 미리 정해진 서로 다른 복수의 진동 세기값들과 상기 복수의 진동 세기값들 각각에 대응하는 미리 정해진 서로 다른 유클리드 거리에 대한 상한값과 하한값이 지정된 범위값이 기록되어 있는 진동 세기 테이블을 저장하여 유지하는 단계, 상기 판단하는 단계에서 상기 장애물에 대해 충돌 위험 상태인 것으로 판단된 경우, 상기 진동 세기 테이블로부터 상기 유클리드 거리의 연산값이 속해있는 제1 유클리드 거리의 범위값에 대응되어 기록되어 있는 제1 진동 세기값을 확인하는 단계 및 상기 제1 진동 세기값이 확인되면, 상기 진동발생기를 통해 상기 제1 진동 세기값에 따른 진동 세기를 갖는 진동을 발생시키는 단계를 포함한다.In addition, according to an embodiment of the present invention, the generating of the vibration informing that the collision state with the obstacle is a predetermined plurality of vibration intensity values different from each other and predetermined predetermined corresponding to each of the plurality of vibration intensity values Storing and maintaining a vibration intensity table in which upper and lower limit values for different Euclidean distances are specified, and when it is determined that there is a collision risk state for the obstacle in the determining step, from the vibration intensity table Checking a first vibration intensity value recorded corresponding to a range value of the first Euclidean distance to which the calculation value of the Euclidean distance belongs, and if the first vibration intensity value is confirmed, the first through the vibration generator Generating a vibration having a vibration intensity according to the vibration intensity value.

이상, 도 2를 참조하여 본 발명의 일실시예에 따른 스마트 지팡이의 장애물 경고 방법에 대해 설명하였다. 여기서, 본 발명의 일실시예에 따른 스마트 지팡이의 장애물 경고 방법은 도 1을 이용하여 설명한 마이크로 컴퓨터를 이용한 이동약자를 위한 스마트 지팡이(110)의 동작에 대한 구성과 대응될 수 있으므로, 이에 대한 보다 상세한 설명은 생략하기로 한다.In the above, the obstacle warning method of the smart cane according to an embodiment of the present invention has been described. Here, the obstacle warning method of the smart wand according to an embodiment of the present invention may correspond to the configuration of the operation of the smart wand 110 for the mobile weak using the microcomputer described using FIG. Detailed description will be omitted.

본 발명의 일실시예에 따른 스마트 지팡이의 장애물 경고 방법은 컴퓨터와의 결합을 통해 실행시키기 위한 저장매체에 저장된 컴퓨터 프로그램으로 구현될 수 있다.Obstacle warning method of the smart wand according to an embodiment of the present invention may be implemented as a computer program stored in a storage medium for execution through a combination with a computer.

또한, 본 발명의 일실시예에 따른 스마트 지팡이의 장애물 경고 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. In addition, the obstacle warning method of the smart wand according to an embodiment of the present invention is implemented in the form of program instructions that can be executed by various computer means may be recorded on a computer readable medium. The computer readable medium may include program instructions, data files, data structures, etc. alone or in combination. Program instructions recorded on the media may be those specially designed and constructed for the purposes of the present invention, or they may be of the kind well-known and available to those having skill in the computer software arts. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tape, optical media such as CD-ROMs, DVDs, and magnetic disks, such as floppy disks. Magneto-optical media, and hardware devices specifically configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like.

이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. In the present invention as described above has been described by the specific embodiments, such as specific components and limited embodiments and drawings, but this is provided to help a more general understanding of the present invention, the present invention is not limited to the above embodiments. For those skilled in the art, various modifications and variations are possible from these descriptions.

따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.Therefore, the spirit of the present invention should not be limited to the described embodiments, and all the things that are equivalent to or equivalent to the claims as well as the following claims will belong to the scope of the present invention. .

110: 마이크로 컴퓨터를 이용한 이동약자를 위한 스마트 지팡이
111: 초음파 센서 112: 카메라 모듈
113: 마이크로 컴퓨터 114: 크기 연산부
115: 벡터 생성부 116: 유클리드 거리 연산부
117: 판단부 118: 진동 발생부
119: 테이블 유지부 120: 진동 세기값 확인부
121: 진동 발생 처리부110: smart stick for mobile
111: ultrasonic sensor 112: camera module
113: microcomputer 114: size calculator
115: vector generator 116: Euclidean distance calculator
117: determination unit 118: vibration generating unit
119: table holding unit 120: vibration intensity value check unit
121: vibration generating processing unit

Claims

Ultrasonic sensor for emitting the ultrasonic wave to measure the separation distance from the obstacle located in front of the user;
A camera module for photographing the obstacle located in front of the user; And
After determining whether there is a risk of forward collision of the user on the obstacle based on the separation distance from the obstacle measured by the ultrasonic sensor and the size of the obstacle obtained from the image captured by the camera module to the obstacle. If it is determined that the vehicle is in a collision risk state, the microcomputer generates a vibration to inform the user of a risk of forward collision through a vibration generator.
Including,
The microcomputer
A size calculator configured to perform object tracking from the image photographed by the camera module, recognize an area corresponding to the obstacle, and calculate the size of the recognized area as the size of the obstacle;
A vector generator for generating a two-dimensional measurement vector including a distance between the obstacle and a size of the obstacle as a component;
A Euclidean distance calculator for calculating a Euclidean distance between the measurement vector and a predetermined reference vector;
A determination unit comparing the operation value of the Euclidean distance with a predetermined Euclidean reference distance to determine whether there is a risk of collision with the obstacle; And
When the determination unit determines that the collision risk for the obstacle, as a result, it is determined that the collision risk state, the vibration generating unit for generating a vibration for notifying the user of the collision risk state through the vibration generator
Smart stick for the mobile using the microcomputer including.

delete

The method of claim 1,
The determination unit
For comparing the Euclidean distance and the Euclidean reference distance, if it is determined that the Euclidean distance is less than the Euclidean reference distance, the mobile weakness for a mobile computer using a microcomputer to determine that the obstacle is in danger of collision. Smart cane.

The method of claim 1,
The vibration generating unit
Vibration for storing and maintaining a vibration intensity table in which a plurality of predetermined vibration intensity values and a range value in which upper and lower limits for predetermined different Euclidean distances corresponding to each of the plurality of vibration intensity values are respectively recorded are recorded. An intensity table holder;
When the determination unit determines that the obstacle is in danger of collision, the vibration intensity table records the first vibration intensity value recorded corresponding to the range value of the first Euclidean distance to which the calculation value of the Euclidean distance belongs. Vibration intensity value check unit for checking; And
When the first vibration intensity value is confirmed, a vibration generating processor for generating a vibration having a vibration intensity according to the first vibration intensity value through the vibration generator
Smart stick for the mobile using the microcomputer including.

Measuring a separation distance from an obstacle located in front of the user using an ultrasonic sensor;
Photographing the obstacle located in front of the user using a camera module; And
After determining whether the user's forward collision risk to the obstacle based on the separation distance from the obstacle measured by the ultrasonic sensor and the size of the obstacle obtained from the image taken by the camera module for the obstacle If it is determined that the collision is in danger, generating a vibration for notifying the user of the risk of forward collision through the vibration generator.
Including,
Generating a vibration for notifying the risk of forward collision
Performing object tracking from the image photographed by the camera module to recognize an area corresponding to the obstacle, and calculating the size of the recognized area as the size of the obstacle;
Generating a two-dimensional measurement vector including a distance between the obstacle and a size of the obstacle as a component;
Calculating a Euclidean distance between the measurement vector and a predetermined reference vector;
Comparing the calculated value of the Euclidean distance with a predetermined Euclidean reference distance to determine whether there is a risk of collision with the obstacle; And
If it is determined that the collision risk state for the obstacle, as determined as a collision risk state for the obstacle, generating a vibration informing the user that the collision risk state with the obstacle through the vibration generator
Obstacle warning method of smart wand including.

delete

The method of claim 5,
The determining step
And comparing the calculated value of the Euclidean distance with the Euclidean reference distance and determining that the calculated value of the Euclidean distance is less than the Euclidean reference distance, determining that the obstacle is in a collision risk state with respect to the obstacle.

The method of claim 5,
Generating a vibration indicating that the collision state with the obstacle is in danger
Storing and maintaining a vibration intensity table in which a plurality of predetermined vibration intensity values and a range value in which upper and lower values are specified for different different Euclidean distances corresponding to each of the plurality of vibration intensity values are recorded; ;
In the determining step, when it is determined that the collision risk state for the obstacle, the first vibration intensity value recorded from the vibration intensity table corresponding to the range value of the first Euclidean distance to which the calculation value of the Euclidean distance belongs Confirming; And
When the first vibration intensity value is confirmed, generating a vibration having a vibration intensity according to the first vibration intensity value through the vibration generator;
Obstacle warning method of smart wand including.

A computer readable recording medium having recorded thereon a computer program for executing the method of any one of claims 5, 7, or 8 in combination with a computer.

A computer program stored in a storage medium for executing the method of any one of claims 5, 7, or 8 in combination with a computer.