KR102499113B1 - Apparatus for rehabilitation using virtual transplant based on vr/ar for overcoming phantom pain - Google Patents
Apparatus for rehabilitation using virtual transplant based on vr/ar for overcoming phantom pain Download PDFInfo
- Publication number
- KR102499113B1 KR102499113B1 KR1020220118671A KR20220118671A KR102499113B1 KR 102499113 B1 KR102499113 B1 KR 102499113B1 KR 1020220118671 A KR1020220118671 A KR 1020220118671A KR 20220118671 A KR20220118671 A KR 20220118671A KR 102499113 B1 KR102499113 B1 KR 102499113B1
- Authority
- KR
- South Korea
- Prior art keywords
- virtual
- shape
- image
- movement
- patient
- Prior art date
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
- A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1123—Discriminating type of movement, e.g. walking or running
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
- A61B5/7445—Display arrangements, e.g. multiple display units
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/003—Navigation within 3D models or images
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
- A61B2562/02—Details of sensors specially adapted for in-vivo measurements
- A61B2562/0261—Strain gauges
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
- A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
- A61M2021/0005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
- A61M2021/0044—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the sight sense
- A61M2021/005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the sight sense images, e.g. video
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
- A61M2205/00—General characteristics of the apparatus
- A61M2205/50—General characteristics of the apparatus with microprocessors or computers
- A61M2205/502—User interfaces, e.g. screens or keyboards
- A61M2205/507—Head Mounted Displays [HMD]
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Public Health (AREA)
- Heart & Thoracic Surgery (AREA)
- Veterinary Medicine (AREA)
- General Health & Medical Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Biomedical Technology (AREA)
- Medical Informatics (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- General Physics & Mathematics (AREA)
- Pathology (AREA)
- Software Systems (AREA)
- Hematology (AREA)
- Physiology (AREA)
- Psychology (AREA)
- Anesthesiology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Acoustics & Sound (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Dentistry (AREA)
- Theoretical Computer Science (AREA)
- Optics & Photonics (AREA)
- Rehabilitation Tools (AREA)
Abstract
본 발명의 일 실시예에 따른 가상 이식을 이용한 재활 장치는 환자의 절단되거나 마비된 신체 부위에 해당하는 제1 신체와 대칭되는 신체 부위인 제2 신체를 촬영하여 상기 제2 신체의 형태 및 움직임을 센싱하는 뎁스 카메라; 및 상기 뎁스 카메라가 센싱한 정보를 기초로 상기 제2 신체의 형태 및 움직임과 좌우가 반전된 형태 및 움직임을 갖는 가상의 신체 영상을 생성하는 프로세서 및, 상기 제1 신체의 일단에 상기 가상의 신체 영상을 출력하는 디스플레이로 구성된 HMD 장치를 포함할 수 있다. A rehabilitation device using virtual implantation according to an embodiment of the present invention captures a second body, which is a body part symmetrical to a first body corresponding to a body part that has been severed or paralyzed, and measures the shape and movement of the second body. a depth camera that senses; and a processor for generating a virtual body image having a shape and movement in which the shape and movement of the second body and the left and right are reversed based on the information sensed by the depth camera, and the virtual body at one end of the first body. An HMD device configured as a display outputting an image may be included.
Description
본 발명은 VR/AR 기반의 가상 이식을 이용한 재활 장치에 관한 것이다. The present invention relates to a rehabilitation device using virtual implantation based on VR/AR.
당뇨병, 버거병 등 현대 사회와 관련된 질병으로 인하여 팔이나 다리를 절단하는 환자의 수가 매년 증가하고 있다. 이처럼 팔이나 다리를 절단한 사지 절단 환자들의 50% 내지 80%는 환상통(Phantom Pain)을 겪는다. 환상통이란 몸의 특정 부위가 사고나 질병 등의 이유로 물리적으로 없는 상태임에도 있는 것처럼 느끼며 통증을 겪는 질환이다. The number of patients who amputate arms or legs due to diseases related to modern society, such as diabetes and Buerger's disease, is increasing every year. In this way, 50% to 80% of limb amputee patients who have had their arms or legs amputated experience phantom pain. Phantom pain is a disease in which a certain part of the body feels as if it is present even though it is physically absent due to an accident or disease.
환상통의 치료법으로는 대표적으로 거울 치료법(Mirror Therapy)이 있다. 거울 치료법은 팔이 절단된 환자에게 거울을 이용해 다른 한 팔을 비추어 마치 두 팔이 있는 것처럼 손 운동을 시킴으로써 환상통을 완화시키는 치료 방법이다. 절단 환자들에게 잘려나간 부위의 신체가 통증 없이 움직인다는 시각적 착각을 일으키게 하여 절단된 부위에서 느끼는 환상통을 줄이는 방법으로서 이러한 치료법의 효과는 의학계에서 입증되어 있다. A typical treatment for phantom pain is mirror therapy. Mirror therapy is a treatment method that alleviates phantom pain by using a mirror to reflect the other arm on a patient whose arm has been amputated and allowing them to exercise their hands as if they had two arms. As a method of reducing phantom pain felt in the amputated area by causing amputation patients to have the visual illusion that the body in the amputated area moves without pain, the effectiveness of this treatment has been proven in the medical world.
그러나 거울 치료법은 거울에 대한 환자의 시선이 이루는 각도를 정확하게 맞춘 자세에서 수행해야 하므로 적용이 불편하고, 거울 바로 옆에서 제한적인 범위의 움직임만 가능하여 현실감이 떨어진다는 단점이 있었다. However, mirror therapy has disadvantages in that it is inconvenient to apply because it must be performed in a posture that accurately matches the angle of the patient's gaze to the mirror, and that it is less realistic because only a limited range of movement is possible right next to the mirror.
또한, 거울을 이용한 치료 방법은 다리가 절단된 환자의 경우, 환자의 시선과 거울이 이루는 각도를 현실감 있게 맞추기가 쉽지 않기 때문에 하지가 절단되거나 마비된 환자에게는 적용하기 어려웠다.In addition, the treatment method using a mirror is difficult to apply to a patient with a lower extremity amputated or paralyzed because it is not easy to realistically match the angle formed by the patient's line of sight and the mirror in the case of a patient with a leg amputation.
본 발명의 실시예에서 해결하고자 하는 과제는 환자들에게 절단된 부위의 신체가 통증 없이 움직인다는 시각적 효과로 착각을 일으키게 하여 절단 부위에서 느끼는 환상통을 줄인다는 거울 치료법의 치료 개념을 유지하면서, 환자가 거울 없이도 다양한 동작을 수행할 수 있는 VR/AR 기술 결합 방식을 구현하여, 사지 절단 환자의 환상통을 완화하는 치료와 재활 훈련의 효과를 높이는데 기여하는 기술을 제공하는 것이다.The problem to be solved in the embodiment of the present invention is to give patients the illusion that the body of the amputated part moves without pain, thereby reducing the phantom pain felt at the amputated part while maintaining the treatment concept of the mirror therapy, By realizing a VR/AR technology combination method that allows various movements to be performed without a mirror, it is to provide technology that contributes to improving the effectiveness of treatment and rehabilitation training to alleviate phantom pain in limb amputee patients.
다만, 본 발명의 실시예가 이루고자 하는 기술적 과제는 이상에서 언급한 과제로 제한되지 않으며, 이하에서 설명할 내용으로부터 통상의 기술자에게 자명한 범위 내에서 다양한 기술적 과제가 도출될 수 있다.However, the technical problems to be achieved by the embodiments of the present invention are not limited to the above-mentioned problems, and various technical problems may be derived from the contents to be described below within a range apparent to those skilled in the art.
일 실시예에 따른 가상 이식을 이용한 재활 장치는 환자의 절단되거나 마비된 신체 부위에 해당하는 제1 신체와 대칭되는 신체 부위인 제2 신체를 촬영하여 상기 제2 신체의 형태 및 움직임을 센싱하는 뎁스 카메라; 및 상기 뎁스 카메라가 센싱한 정보를 기초로 상기 제2 신체의 형태 및 움직임과 좌우가 반전된 형태 및 움직임을 갖는 가상의 신체 영상을 생성하는 프로세서 및, 상기 제1 신체의 일단에 상기 가상의 신체 영상을 출력하는 디스플레이로 구성된 HMD 장치를 포함할 수 있다. Rehabilitation apparatus using virtual implantation according to an embodiment is a depth that senses the shape and movement of the second body by photographing a second body that is a body part symmetrical to a first body corresponding to a body part that is amputated or paralyzed of a patient camera; and a processor for generating a virtual body image having a shape and movement in which the shape and movement of the second body and the left and right are reversed based on the information sensed by the depth camera, and the virtual body at one end of the first body. An HMD device configured as a display outputting an image may be included.
또한, 상기 뎁스 카메라는 상기 센싱한 정보를 기초로 상기 제2 신체의 형태 및 움직임과 좌우가 반전된 형태 및 움직임을 갖는 가상의 신체 영상에 대한 정보를 생성할 수 있다. In addition, the depth camera may generate information about a virtual body image having a shape and motion of the second body and a left and right reversed shape and motion based on the sensed information.
또한, 상기 프로세서는 상기 뎁스 카메라가 센싱한 정보를 기초로 상기 제2 신체의 형태 및 움직임 정보를 구성하는 복수의 3차원 위치 정보를 생성하는 동작; 상기 복수의 3차원 위치 정보 각각을 면대칭시킨 복수의 가상 위치 정보를 생성하는 동작; 및 상기 복수의 가상 위치 정보를 3D 렌더링하여 상기 가상의 신체 영상을 생성하는 동작을 수행할 수 있다.In addition, the processor may generate a plurality of pieces of 3D location information constituting shape and motion information of the second body based on information sensed by the depth camera; generating a plurality of virtual location information obtained by plane-symmetry each of the plurality of three-dimensional location information; and generating the virtual body image by 3D rendering the plurality of virtual location information.
또한, 상기 재활 장치는 상기 제1 신체 중 소정 지점에 착용 또는 표시되는 트래커를 더 포함할 수 있다.In addition, the rehabilitation device may further include a tracker worn or displayed on a predetermined point of the first body.
또한, 상기 프로세서는 상기 트래커가 위치하는 제1 신체의 위치를 특정하는 동작; 및 상기 제1 신체의 위치에 상기 가상의 신체 영상이 출력되도록 상기 가상의 신체 영상을 상기 디스플레이에 출력하는 동작을 수행할 수 있다.In addition, the processor may include an operation of specifying a location of a first body where the tracker is located; and outputting the virtual body image to the display so that the virtual body image is output at the location of the first body.
또한, 상기 트래커는 환자의 손목 또는 팔목을 둘러싸는 본체부; 환자의 손목 인대 또는 발목 인대의 형태적 변형에 대응하여 변화하는 저항 값을 출력하는 스트레인 게이지를 포함하는 센서부; 및 상기 센서부가 인식한 스트레인 게이지의 저항 값의 패턴을 기초로 사용자가 의도한 동작의 모양을 판별하는 프로세서를 포함할 수 있다.In addition, the tracker body portion surrounding the patient's wrist or wrist; a sensor unit including a strain gauge outputting a resistance value that changes in response to morphological deformation of a patient's wrist ligament or ankle ligament; and a processor for determining a shape of an operation intended by the user based on a pattern of resistance values of the strain gauge recognized by the sensor unit.
또한, 상기 HMD 장치는 상기 트래커에 의해 판별된 동작의 모양을 기초로 상기 가상의 신체 영상에 대응되는 움직임을 반영하여 출력할 수 있다.In addition, the HMD device may reflect and output a motion corresponding to the virtual body image based on the shape of the motion determined by the tracker.
본 발명의 일 실시예에 따른 가상 이식을 이용한 재활 장치가 수행하는 가상 이식을 이용한 재활 방법은 뎁스 카메라가 환자의 절단되거나 마비된 신체 부위에 해당하는 제1 신체와 대칭되는 신체 부위인 제2 신체를 촬영하여 상기 제2 신체의 형태 및 움직임을 센싱하는 단계; 및In a rehabilitation method using virtual implantation performed by a rehabilitation device using virtual implantation according to an embodiment of the present invention, a depth camera measures a second body part that is symmetrical with a first body part corresponding to a body part that is severed or paralyzed of a patient. sensing the shape and motion of the second body by photographing; and
HMD 장치가 상기 센싱한 정보를 기초로 상기 제2 신체의 형태 및 움직임과 좌우가 반전된 형태 및 움직임을 갖는 가상의 신체 영상을 생성하고, 상기 제1 신체의 일단에 상기 가상의 신체 영상을 출력하는 단계를 포함할 수 있다.Based on the information sensed by the HMD device, a virtual body image having the shape and movement of the second body and the left and right reversed shape and movement is generated, and the virtual body image is output to one end of the first body. steps may be included.
본 발명의 일 실시예에 따른 가상이식을 이용한 재활 시스템은 환자의 절단되거나 마비된 신체 부위에 해당하는 제1 신체와 대칭되는 신체 부위인 제2 신체에 착용되고, 상기 환자의 움직임에 따른 제2 신체의 형태 및 움직임을 센싱하는 웨어러블 장치; 및 상기 웨어러블 장치가 센싱한 정보를 기초로 상기 제2 신체의 형태 및 움직임과 좌우가 반전된 형태 및 움직임을 갖는 가상의 신체 영상을 생성하는 프로세서 및, VR(Virtual Reality) 또는 AR(Augmented Reality) 영상과 함께 상기 제1 신체의 일단에 상기 가상의 신체 영상을 출력하는 디스플레이로 구성된 HMD(Head Mounted Display) 장치를 포함할 수 있다. A rehabilitation system using virtual implantation according to an embodiment of the present invention is worn on a second body, which is a body part symmetrical to a first body corresponding to a body part that is amputated or paralyzed, and a second body according to the patient's movement. A wearable device that senses the shape and movement of the body; and a processor for generating a virtual body image having a shape and movement of the second body and a left and right reversed shape and movement based on the information sensed by the wearable device, and VR (Virtual Reality) or AR (Augmented Reality) A Head Mounted Display (HMD) device configured as a display outputting the virtual body image along with an image may be included on one end of the first body.
또한, 상기 웨어러블 장치는 표면이 늘어나거나 줄어듬에 따라 변화하는 저항값을 통해 상기 표면의 형태를 센싱 가능한 플렉스(flex) 필름이 상기 제2 신체를 둘러싸도록 상기 제2 신체에 대응하는 형태로 구성되고, 상기 제2 신체를 둘러싼 상기 플렉스 필름에 의해 센싱된 상기 제2 신체의 형태 및 움직임에 대한 정보를 유무선 통신을 통해 상기 HMD 장치에 전송할 수 있다. In addition, the wearable device is configured in a shape corresponding to the second body such that a flex film capable of sensing the shape of the surface through a resistance value that changes as the surface is stretched or shrunk surrounds the second body, , Information on the shape and motion of the second body sensed by the flex film surrounding the second body may be transmitted to the HMD device through wired or wireless communication.
또한, 상기 프로세서는 상기 웨어러블 장치가 센싱한 정보를 기초로 상기 제2 신체의 형태 및 움직임 정보를 구성하는 복수의 3차원 위치 정보를 생성하는 동작; 상기 복수의 3차원 위치 정보 각각을 면대칭시킨 복수의 가상 위치 정보를 생성하는 동작; 및 상기 복수의 가상 위치 정보를 3D 렌더링하여 상기 가상의 신체 영상을 생성하는 동작을 수행할 수 있다. In addition, the processor generates a plurality of pieces of 3D location information constituting the shape and motion information of the second body based on the information sensed by the wearable device; generating a plurality of virtual location information obtained by plane-symmetry each of the plurality of three-dimensional location information; and generating the virtual body image by 3D rendering the plurality of virtual location information.
또한, 상기 프로세서는 상기 제1 신체 중 소정 지점에 착용 또는 표시된 트래커가 위치하는 제1 지점을 특정하는 동작; 상기 가상의 신체 영상에서 상기 웨어러블 장치가 착용된 신체 부분과 착용되지 않은 신체 부분의 경계 지점에 해당하는 제2 지점의 위치를 특정하는 동작; 및 상기 센싱된 제1 지점에 상기 가상의 신체 영상 중 상기 제2 지점이 연결되도록 상기 가상의 신체 영상을 상기 디스플레이에 출력할 수 있다. The processor may further include an operation of specifying a first point where a tracker worn or displayed on a predetermined point of the first body is located; specifying a location of a second point corresponding to a boundary point between a body part where the wearable device is worn and a body part where the wearable device is not worn in the virtual body image; The virtual body image may be output to the display such that the second point of the virtual body image is connected to the sensed first point.
또한, 상기 트래커는 웨어러블 밴드를 포함하고, 상기 웨어러블 밴드는 환자의 손목 또는 팔목을 둘러싸는 본체부; 상기 본체부의 상기 환자의 신체와 마주하는 면을 따라 환자의 손목 인대 또는 발목 인대의 형태적 변형에 대응하여 변화하는 저항 값을 출력하는 복수 개의 스트레인 게이지를 포함하는 센서부; 및 상기 센서부가 인식한 복수 개의 스트레인 게이지의 저항 값의 패턴을 기초로 사용자가 의도한 동작의 모양을 판별하는 프로세서를 포함하고, 상기 HMD 장치는 상기 웨어러블 밴드에 의해 판별된 동작의 모양을 기초로 상기 가상의 신체 영상에 대응되는 움직임을 반영하여 출력할 수 있다. In addition, the tracker includes a wearable band, and the wearable band includes a main body portion surrounding a patient's wrist or wrist; a sensor unit including a plurality of strain gauges outputting resistance values that change in response to morphological deformation of a wrist ligament or an ankle ligament of a patient along a surface of the main body unit facing the patient's body; and a processor for determining a shape of an operation intended by the user based on a pattern of resistance values of the plurality of strain gauges recognized by the sensor unit, wherein the HMD device determines a shape of the motion determined by the wearable band. Motion corresponding to the virtual body image may be reflected and output.
본 발명의 일 실시예에 따른 가상이식을 이용한 재활 시스템은 환자의 절단되거나 마비된 신체 부위에 해당하는 제1 신체와 대칭되는 신체 부위인 제2 신체의 형태 및 움직임을 센싱하는 뎁스 카메라; 및 상기 뎁스 카메라가 센싱한 정보를 기초로 상기 제2 신체와 대칭되는 형태 및 움직임과 좌우가 반전된 형태 및 움직임을 갖는 가상의 신체 영상을 생성하는 프로세서 및, VR(Virtual Reality) 또는 AR(Augmented Reality) 영상과 함께 상기 제1 신체의 일단에 상기 가상 신체 정보를 출력하는 디스플레이로 구성된 HMD(Head Mounted Display) 장치를 포함할 수 있다. A rehabilitation system using virtual implantation according to an embodiment of the present invention includes a depth camera that senses the shape and motion of a second body part that is symmetrical to a first body part corresponding to a body part that has been severed or paralyzed by a patient; and a processor generating a virtual body image having a shape and motion symmetrical to that of the second body and a left and right reversed shape and motion based on the information sensed by the depth camera, and a virtual reality (VR) or augmented image (AR) image. A Head Mounted Display (HMD) device configured as a display that outputs the virtual body information to one end of the first body along with a reality image may be included.
본 발명의 일 실시예에 따른 HMD 장치는 메모리; 유무선 통신 모듈; 환자의 절단되거나 마비된 신체 부위에 해당하는 제1 신체와 대칭되는 신체 부위인 제2 신체에 착용되고 상기 환자의 움직임에 따른 제2 신체의 형태 및 움직임을 센싱하는 웨어러블 장치가 센싱한 정보를 기초로 상기 제2 신체의 형태 및 움직임과 좌우가 반전된 형태 및 움직임을 갖는 가상의 신체 영상을 생성하는 프로세서; 및 VR(Virtual Reality) 또는 AR(Augmented Reality) 영상과 함께 상기 제1 신체의 일단에 상기 가상의 신체 영상을 출력하는 디스플레이를 포함할 수 있다. An HMD device according to an embodiment of the present invention includes a memory; wired/wireless communication module; Based on the information sensed by the wearable device that is worn on the second body, which is a body part that is symmetrical to the first body part corresponding to the patient's severed or paralyzed body part, and senses the shape and movement of the second body according to the patient's movement a processor for generating a virtual body image having a shape and movement of the second body and a shape and movement in which left and right are reversed; and a display that outputs the virtual body image to one end of the first body together with a Virtual Reality (VR) or Augmented Reality (AR) image.
또한, 상기 웨어러블 장치는 표면이 늘어나거나 줄어듬에 따라 변화하는 저항값을 통해 상기 표면의 형태를 센싱 가능한 플렉스(flex) 필름이 상기 제2 신체를 둘러싸도록 상기 제2 신체에 대응하는 형태로 구성되고, 상기 제2 신체를 둘러싼 상기 플렉스 필름에 의해 센싱된 상기 제2 신체의 형태 및 움직임에 대한 정보를 생성할 수 있다. In addition, the wearable device is configured in a shape corresponding to the second body such that a flex film capable of sensing the shape of the surface through a resistance value that changes as the surface is stretched or shrunk surrounds the second body, , Information on the shape and motion of the second body sensed by the flex film surrounding the second body may be generated.
또한, 상기 프로세서는 상기 웨어러블 장치가 센싱한 정보를 기초로 상기 제2 신체의 형태 및 움직임 정보를 구성하는 복수의 3차원 위치 정보를 생성하는 동작; 상기 복수의 3차원 위치 정보 각각을 면대칭시킨 복수의 가상 위치 정보를 생성하는 동작; 및 상기 복수의 가상 위치 정보를 3D 렌더링하여 상기 가상의 신체 영상을 생성하는 동작을 수행할 수 있다. In addition, the processor generates a plurality of pieces of 3D location information constituting the shape and motion information of the second body based on the information sensed by the wearable device; generating a plurality of virtual location information obtained by plane-symmetry each of the plurality of three-dimensional location information; and generating the virtual body image by 3D rendering the plurality of virtual location information.
또한, 상기 프로세서는 상기 제1 신체 중 소정 지점에 착용 또는 표시된 트래커가 위치하는 제1 지점을 특정하는 동작; 상기 가상의 신체 영상에서 상기 웨어러블 장치가 착용된 신체 부분과 착용되지 않은 신체 부분의 경계 지점에 해당하는 제2 지점의 위치를 특정하는 동작; 및 상기 센싱된 제1 지점에 상기 가상의 신체 영상 중 상기 제2 지점이 연결되도록 상기 가상의 신체 영상을 상기 디스플레이에 출력할 수 있다. The processor may further include an operation of specifying a first point where a tracker worn or displayed on a predetermined point of the first body is located; specifying a location of a second point corresponding to a boundary point between a body part where the wearable device is worn and a body part where the wearable device is not worn in the virtual body image; The virtual body image may be output to the display such that the second point of the virtual body image is connected to the sensed first point.
또한, 상기 트래커는 웨어러블 밴드를 포함하고, 상기 웨어러블 밴드는 환자의 손목 또는 팔목을 둘러싸는 본체부; 상기 본체부의 상기 환자의 신체와 마주하는 면을 따라 환자의 손목 인대 또는 발목 인대의 형태적 변형에 대응하여 변화하는 저항 값을 출력하는 복수 개의 스트레인 게이지를 포함하는 센서부; 및 상기 센서부가 인식한 복수 개의 스트레인 게이지의 저항 값의 패턴을 기초로 사용자가 의도한 동작의 모양을 판별하는 프로세서를 포함하고, 상기 HMD 장치는 상기 웨어러블 밴드에 의해 판별된 동작의 모양을 기초로 상기 가상의 신체 영상에 대응되는 움직임을 반영하여 출력할 수 있다. In addition, the tracker includes a wearable band, and the wearable band includes a main body portion surrounding a patient's wrist or wrist; a sensor unit including a plurality of strain gauges outputting resistance values that change in response to morphological deformation of a wrist ligament or an ankle ligament of a patient along a surface of the main body unit facing the patient's body; and a processor for determining a shape of an operation intended by the user based on a pattern of resistance values of the plurality of strain gauges recognized by the sensor unit, wherein the HMD device determines a shape of the motion determined by the wearable band. Motion corresponding to the virtual body image may be reflected and output.
본 발명의 일 실시예에 따른 HMD 장치는 메모리; 유무선 통신 모듈; 환자의 절단되거나 마비된 신체 부위에 해당하는 제1 신체와 대칭되는 신체 부위인 제2 신체의 형태 및 움직임을 센싱하는 뎁스 카메라가 센싱한 정보를 기초로 상기 제2 신체와 대칭되는 형태 및 움직임과 좌우가 반전된 형태 및 움직임을 갖는 가상의 신체 영상을 생성하는 프로세서; 및 VR(Virtual Reality) 또는 AR(Augmented Reality) 영상과 함께 상기 제1 신체의 일단에 상기 가상 신체 정보를 출력하는 디스플레이를 포함할 수 있다. An HMD device according to an embodiment of the present invention includes a memory; wired/wireless communication module; Based on the information sensed by the depth camera that senses the shape and movement of the second body, which is a body part symmetrical to the first body corresponding to the patient's severed or paralyzed body part, the shape and movement symmetrical to the second body and a processor generating a virtual body image having a left and right inverted shape and movement; and a display that outputs the virtual body information to one end of the first body together with a Virtual Reality (VR) or Augmented Reality (AR) image.
본 발명의 일 실시예에 따른 HMD 장치가 수행하는 재활 방법에 있어서, 상기 방법은 환자의 절단되거나 마비된 신체 부위에 해당하는 제1 신체와 대칭되는 신체 부위인 제2 신체에 착용되고, 상기 환자의 움직임에 따른 제2 신체의 형태 및 움직임을 센싱하는 웨어러블 장치가 센싱한 정보를 수신하는 단계; 상기 센싱한 정보를 기초로 상기 제2 신체의 형태 및 움직임과 좌우가 반전된 형태 및 움직임을 갖는 가상의 신체 영상을 생성하는 단계; 및 VR(Virtual Reality) 또는 AR(Augmented Reality) 영상과 함께 상기 제1 신체의 일단에 상기 가상의 신체 영상을 출력하는 단계를 포함할 수 있다. 또한, 본 발명의 일 실시예는 프로세서가 상기 방법의 각 단계를 수행하도록 하는 명령어를 포함하는 컴퓨터 프로그램 또는 컴퓨터 기록매체를 포함할 수 있다.In a rehabilitation method performed by an HMD device according to an embodiment of the present invention, the method is worn on a second body that is a body part symmetrical to a first body part corresponding to a body part that has been severed or paralyzed of a patient, and the patient Receiving information sensed by a wearable device that senses a shape and movement of a second body according to the movement of the user; generating a virtual body image having a shape and movement of the second body and a left and right reversed shape and movement based on the sensed information; and outputting the virtual body image to one end of the first body together with a Virtual Reality (VR) or Augmented Reality (AR) image. In addition, an embodiment of the present invention may include a computer program or computer recording medium including instructions for causing a processor to perform each step of the method.
본 발명의 일 실시예에 따른 HMD 장치가 수행하는 재활 방법에 있어서, 상기 방법은 환자의 절단되거나 마비된 신체 부위에 해당하는 제1 신체와 대칭되는 신체 부위인 제2 신체의 형태 및 움직임을 센싱하는 뎁스 카메라가 센싱한 정보를 수신하는 단계; 상기 센싱한 정보를 기초로 상기 제2 신체의 형태 및 움직임과 좌우가 반전된 형태 및 움직임을 갖는 가상의 신체 영상을 생성하는 단계; 및 VR(Virtual Reality) 또는 AR(Augmented Reality) 영상과 함께 상기 제1 신체의 일단에 상기 가상의 신체 영상을 출력하는 단계를 포함할 수 있다. 또한, 상기 방법을 수행하는 프로세서를 포함하는 컴퓨터 프로그램을 포함할 수 있다. 또한, 본 발명의 일 실시예는 프로세서가 상기 방법의 각 단계를 수행하도록 하는 명령어를 포함하는 컴퓨터 프로그램 또는 컴퓨터 기록매체를 포함할 수 있다.In the rehabilitation method performed by the HMD device according to an embodiment of the present invention, the method senses the shape and motion of a second body part that is symmetrical with a first body part corresponding to a body part that has been severed or paralyzed of a patient. receiving information sensed by a depth camera; generating a virtual body image having a shape and movement of the second body and a left and right reversed shape and movement based on the sensed information; and outputting the virtual body image to one end of the first body together with a Virtual Reality (VR) or Augmented Reality (AR) image. In addition, it may include a computer program including a processor for performing the method. In addition, an embodiment of the present invention may include a computer program or computer recording medium including instructions for causing a processor to perform each step of the method.
본 발명의 실시예에 따르면, 환자의 신체 절단 부위에 가상의 신체를 구현할 수 있고, 이때 구현된 가상의 신체는 절단되지 않은 신체가 갖는 움직임과 대칭되는 움직임을 갖도록 구현될 수 있다. 이에 따라, 환자는 의식적으로 양손 또는 양발이 동일한 동작을 한다고 생각하면서, 가상현실을 통해 구현되는 가상의 신체의 움직임을 시각적으로 인지함으로써, 거울 치료법과 같은 개념의 재활을 진행할 수 있다. According to an embodiment of the present invention, a virtual body can be implemented at a patient's dismembered body part, and at this time, the implemented virtual body can be implemented to have a movement symmetrical to that of a non-amputated body. Accordingly, the patient can consciously think that both hands or both feet perform the same motion, and visually recognize the movement of the virtual body implemented through virtual reality, thereby performing rehabilitation with the same concept as mirror therapy.
이에 따라, 환자는 양 신체의 행동을 동일하게 움직인다는 인지를 통해 가상의 신체를 실제의 팔과 다리처럼 움직이고, 시각적으로 신체의 움직임을 현실감을 있게 인지할 수 있게 되어, 환상통이 완화될 수 있고 재활 훈련의 효과가 향상될 수 있다.Accordingly, the patient can move the virtual body like a real arm and leg through the perception that the actions of both bodies move in the same way, and visually perceive the movement of the body with a sense of reality, so that phantom pain can be alleviated. and the effectiveness of rehabilitation training can be improved.
또한, 환자는 HMD(Head Mounted Display) 장치를 통해 실제 생활과 동일한 시점에서 가상의 신체 영상을 눈앞에서 인지하게 되므로, 실제의 신체처럼 자연스러운 시점에서 생동감 있게 인지할 수 있게 된다.In addition, since the patient perceives a virtual body image in front of his/her eyes at the same viewpoint as in real life through a Head Mounted Display (HMD) device, the patient can perceive it vividly from a natural viewpoint like the real body.
더하여, 환자의 움직임은 FLEX 필름으로 구성된 웨어러블 장치가 실제 환자의 팔 또는 다리의 세세한 움직임을 센싱하도록 구현됨으로써, 가상의 신체의 움직임이 보다 정확하게 실제 신체의 움직임을 반영하여 움직이도록 구현될 수 있다.In addition, the motion of the patient can be implemented so that the motion of the virtual body more accurately reflects the motion of the real body as the wearable device made of the FLEX film is implemented to sense the detailed motion of the real patient's arm or leg.
더불어, 환자가 가상의 신체로 수행할 수 있는 다양한 미션을 포함하는 배경 또는 객체를 VR 영상 또는 AR 영상으로 제공하여, 환자에게 흥미 요소를 결합한 치료 콘텐츠를 제공할 수 있다. In addition, it is possible to provide patients with treatment content combining interesting elements by providing VR images or AR images of backgrounds or objects including various missions that the patient can perform with a virtual body.
이 외에, 본 문서를 통해 직접적 또는 간접적으로 파악되는 다양한 효과들이 제공될 수 있다.In addition to this, various effects identified directly or indirectly through this document may be provided.
도 1은 본 발명의 일 실시예에 따른 재활 시스템의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 HMD 장치의 기능 블록도이다.
도 3은 본 발명의 일 실시예에 따라 재활 시스템을 사용하는 환자의 모습을 나타낸 예시도이다.
도 4는 본 발명의 일 실시예에 따라 재활 시스템을 사용하는 동작을 나타낸 예시도이다.
도 5 및 도 6은 본 발명의 일 실시예에 따라 재활 시스템이 VR(Virtual Reality) 또는 AR(Augmented Reality)을 활용하여 배경 또는 객체를 HMD 장치의 디스플레이에 추가적으로 출력한 콘텐츠의 예시도이다.
도 7은 본 발명의 일 실시예에 따라 재활 시스템을 실제로 착용한 모습과, 웨어러블 장치 내부가 신체 형상을 한 FLEX 필름으로 제작된 모습의 예시도이다. 1 is a block diagram of a rehabilitation system according to an embodiment of the present invention.
2 is a functional block diagram of an HMD device according to an embodiment of the present invention.
3 is an exemplary view showing a patient using a rehabilitation system according to an embodiment of the present invention.
4 is an exemplary diagram illustrating an operation using a rehabilitation system according to an embodiment of the present invention.
5 and 6 are exemplary views of content in which a background or object is additionally output to a display of an HMD device by a rehabilitation system using virtual reality (VR) or augmented reality (AR) according to an embodiment of the present invention.
7 is an exemplary view showing a state in which a rehabilitation system is actually worn and a state in which the inside of a wearable device is made of a body-shaped FLEX film according to an embodiment of the present invention.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명의 범주는 청구항에 의해 정의될 뿐이다.Advantages and features of the present invention, and methods for achieving them will become clear with reference to the detailed description of the following embodiments in conjunction with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below and can be implemented in various forms, only these embodiments make the disclosure of the present invention complete, and those skilled in the art It is provided to fully inform the person of the scope of the invention, and the scope of the invention is only defined by the claims.
본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명은 실제로 필요한 경우 외에는 생략될 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.In describing the embodiments of the present invention, detailed descriptions of well-known functions or configurations will be omitted unless actually necessary. In addition, terms to be described later are terms defined in consideration of functions in the embodiment of the present invention, which may vary according to the intention or custom of a user or operator. Therefore, the definition should be made based on the contents throughout this specification.
도면에 표시되고 아래에 설명되는 기능 블록들은 가능한 구현의 예들일 뿐이다. 다른 구현들에서는 상세한 설명의 사상 및 범위를 벗어나지 않는 범위에서 다른 기능 블록들이 사용될 수 있다. 또한 본 발명의 하나 이상의 기능 블록이 개별 블록들로 표시되지만, 본 발명의 기능 블록 중 하나 이상은 동일 기능을 실행하는 다양한 하드웨어 및 소프트웨어 구성의 조합일 수 있다.The functional blocks shown in the drawings and described below are only examples of possible implementations. Other functional blocks may be used in other implementations without departing from the spirit and scope of the detailed description. Also, while one or more functional blocks of the present invention are represented as separate blocks, one or more of the functional blocks of the present invention may be a combination of various hardware and software configurations that perform the same function.
또한 어떤 구성 요소들을 포함한다는 표현은 개방형의 표현으로서 해당 구성 요소들이 존재하는 것을 단순히 지칭할 뿐이며, 추가적인 구성 요소들을 배제하는 것으로 이해되어서는 안 된다.In addition, the expression that certain components are included simply indicates that the corresponding components exist as an open expression, and should not be understood as excluding additional components.
나아가 어떤 구성 요소가 다른 구성 요소에 연결되어 있다거나 접속되어 있다고 언급될 때에는, 그 다른 구성 요소에 직접적으로 연결 또는 접속되어 있을 수도 있지만, 중간에 다른 구성 요소가 존재할 수도 있다고 이해되어야 한다. Furthermore, it should be understood that when a component is referred to as being connected or connected to another component, it may be directly connected or connected to the other component, but other components may exist in the middle.
또한 '제1, 제2' 등과 같은 표현은 복수의 구성을 구분하기 위한 용도로만 사용된 표현으로써, 구성들 사이의 순서나 기타 특징들을 한정하지 않는다. In addition, expressions such as 'first and second' are expressions used only to classify a plurality of components, and do not limit the order or other characteristics between the components.
본 발명의 실시예에 따른 VR/AR 기반의 가상이식을 이용한 재활 시스템(10)(이하, '재활 시스템(10)'으로 지칭)은 환자들에게 절단된 부위의 신체가 통증 없이 움직인다는 시각적 효과로 착각을 일으키게 하여 잘린 부위에서 느끼는 환상통을 줄인다는 거울 치료법의 치료 개념을 유지하면서, 환자가 거울 없이도 다양한 동작을 수행할 수 있는 치료 방식을 구현하여, 사지 절단 환자의 환상통을 완화하는 치료와 재활 훈련의 효과를 높이는데 기여하는 기술을 제공한다. The rehabilitation system 10 (hereinafter referred to as 'rehabilitation system 10') using VR/AR-based virtual implantation according to an embodiment of the present invention has a visual effect that the body of the amputated part moves without pain to patients. A treatment that alleviates phantom pain in limb amputation patients by realizing a treatment method that allows patients to perform various movements without a mirror while maintaining the treatment concept of mirror therapy to reduce phantom pain felt in the amputated area by creating an illusion of and provides techniques that contribute to enhancing the effectiveness of rehabilitation training.
본 발명의 실시예에 따른 재활 시스템(10)은 VR(Virtual Reality) 또는 AR(Augmented Reality) 기술을 통해 환자의 신체가 절단된 부위에 가상의 신체를 구현하고, 이때 구현된 가상의 신체는 절단되지 않은 신체가 갖는 움직임과 대칭되는 움직임을 갖도록 구현할 수 있다. 이를 위해, 본 발명의 실시예에 따른 재활 시스템(10)이 포함하고 있는 구성들과, 각 구성의 동작을 도면들과 함께 설명하도록 한다. The rehabilitation system 10 according to an embodiment of the present invention implements a virtual body at a part where the patient's body is cut through VR (Virtual Reality) or AR (Augmented Reality) technology, and at this time, the implemented virtual body is cut It can be implemented to have a movement that is symmetrical to the movement of a body that has not been developed. To this end, the components included in the rehabilitation system 10 according to the embodiment of the present invention and the operation of each component will be described with drawings.
도 1은 본 발명의 일 실시예에 따른 재활 시스템(10)의 구성도이다.1 is a block diagram of a rehabilitation system 10 according to an embodiment of the present invention.
도 1을 참조하면, 본 발명의 일 실시예에 따른 재활 시스템(또는 장치)(10)은 웨어러블 장치(Wearable Device)(100), HMD(Head Mounted Display) 장치(200), 및 트래커(300)를 포함할 수 있다. 또한, 본 발명의 일 실시예에 따른 시스템은 뎁스 카메라(400)(Depth Camera)를 추가로 포함하거나, 웨어러블 장치(100)가 뎁스 카메라(400)로 대체되는 실시예를 포함할 수 있다. Referring to FIG. 1 , a rehabilitation system (or device) 10 according to an embodiment of the present invention includes a
웨어러블 장치(100)는 신체에 부착되거나 착용되어 외부 장치와 유무선 통신을 수행하는 장치이다. 웨어러블 장치(100)는 모션캡쳐 장갑, VR 스마트 장갑, 모션인식 장갑을 포함할 수 있고, 환자의 손, 팔, 발, 발목 등 신체의 일부분에 착용될 수 있다. 예를 들어, 웨어러블 장치(100)는 환자의 절단되거나 마비된 신체 부위(이하, "제1 신체(11)"로 지칭)와 대칭되는 신체 부위(이하, "제2 신체(12)"로 지칭)에 착용될 수 있고, 웨어러블 장치(100)는 환자의 움직임에 따른 제2 신체(12)의 형태 및 움직임을 센싱한 정보를 생성할 수 있다. The
예를 들어, 웨어러블 장치(100)는 표면이 늘어나거나 줄어듬에 따라 변화하는 저항값을 통해 표면의 형태 변화를 센싱 가능한 플렉스(flex) 필름을 포함할 수 있다. 플렉스 필름은 제2 신체(12)를 둘러쌀 수 있도록 제2 신체(12)에 대응하는 형태로 구성(ex. 도 7 도면부호 110 참조)될 수 있고, 웨어러블 장치(100)는 제2 신체(12)를 둘러싼 플렉스 필름에 의해 센싱된 제2 신체(12)의 형태 및 움직임에 대한 정보를 생성하여 유무선 통신을 통해 HMD 장치(200)로 전송할 수 있다. For example, the
뎁스 카메라(400)(Depth Camera)는 복수의 카메라 모듈을 포함하여 객체로부터 얻어지는 이미지 픽셀의 깊이 값을 계산하여 객체의 3차원 깊이 정보를 생성할 수 있는 카메라이다. 뎁스 카메라(400)는 환자의 손, 팔, 발, 발목 등을 촬영할 수 있다. 예를 들어, 뎁스 카메라(400)는 환자의 절단되거나 마비된 신체 부위에 해당하는 제1 신체(11)와 대칭되는 신체 부위인 제2 신체(12)를 촬영할 수 있고, 환자의 움직임에 따른 제2 신체(12)의 형태 및 움직임을 센싱한 정보를 생성할 수 있다. The
HMD 장치(200)(Head Mounted Display)는 환자의 안구 주위에 안경처럼 착용될 수 있고, 환자에게 가상 정보를 포함하는 영상을 출력하는 장치이다. 본 발명의 실시예의 HMD 장치(200)는 FMD(Face Mounted Display) 또는 스마트 글래스(Smart Glasses)를 포괄하는 개념이다. The HMD device 200 (Head Mounted Display) is a device that can be worn around the patient's eyes like glasses and outputs an image including virtual information to the patient. The
도 2는 본 발명의 일 실시예에 따른 HMD 장치(200)의 기능 블록도이다. 도 2를 참조하면, 본 발명의 실시예에 따른 HMD 장치(200)는 프로세서(220), 메모리(210), 및 디스플레이(230)를 포함할 수 있다. 2 is a functional block diagram of the
메모리(210)는 프로세서(220)를 동작하도록 하는 명령어와 프로세서(220)의 동작에 필요한 데이터를 저장할 수 있다. The
프로세서(220)는 중앙 처리 장치(CPU; central processing unit) 등을 포함하여 다양한 데이터의 처리 및 연산을 수행할 수 있다. 프로세서(220)는 웨어러블 장치(100) 또는 뎁스 카메라(400)가 센싱한 정보를 기초로 환자의 제2 신체(12)의 형태/움직임과 좌우가 반전된 형태/움직임을 갖는 가상의 신체 영상에 대한 정보를 생성할 수 있다. The
디스플레이(230)는 환자에게 가상 정보를 포함하는 영상을 출력할 수 있다. 디스플레이(230)는 환자의 제1 신체(11)의 일단에 프로세서(220)가 생성한 가상의 신체 영상을 VR(Virtual Reality) 또는 AR(Augmented Reality) 영상과 함께 출력할 수 있다. The
또한, HMD 장치(200)는 외부 장치와 유무선 통신을 수행하는 통신 모듈(도면 미도시) 및 외부 환경을 인식하고 촬영하는 카메라(도면 미도시)를 더 포함할 수 있다. In addition, the
트래커(300)(Tracker)는 HMD 장치(200)가 환자의 제1 신체(11)의 일단(ex. 절단된 신체 부위의 경계쪽 신체)을 특정할 수 있도록 표시된 물리적 표식(Mark) 또는 웨어러블 밴드(Wearable Band)를 포함할 수 있다. 웨어러블 밴드(300)는 환자의 제1 신체(11)의 일단(ex. 절단된 신체 부위와 연결된 손목, 팔목, 발목, 무릎 등)에 착용되어, 환자가 절단된 신체를 움직이려고 할 때 변화하는 인대의 움직임을 센싱하여 인대의 움직임에 대한 정보를 생성하고, 인대의 움직임에 대한 정보를 기초로 환자가 의도한 절단 부위의 움직임을 판별할 수 있다. The
도 3은 본 발명의 일 실시예에 따라 재활 시스템(10)을 사용하는 환자의 모습을 나타낸 예시도이다. 3 is an exemplary view showing a state of a patient using the rehabilitation system 10 according to an embodiment of the present invention.
도 3을 참조하면, 환자는 제1 신체(11)(도 3 인물의 왼손)가 절단된 상태이다. 이에 따라, 본 발명의 일 실시예에 따른 재활 시스템(10)을 사용하기 위해, 환자는 제2 신체(12)(도 3 인물의 오른손)에 웨어러블 장치(100)를 착용할 수 있다. 또한, 환자는 안구 주위에 HMD 장치(200)를 착용될 수 있다. 또한, 환자는 신체의 절단 부분의 위치를 특정하기 위해, 제1 신체(11)의 일단(도 3 도면 부호 300 부근)에 트래커(300)로서 마크를 표시하거나, 또는 웨어러블 밴드(300)를 착용할 수 있다.Referring to FIG. 3 , the patient's first body 11 (the left hand of the person in FIG. 3 ) is in a state of being severed. Accordingly, in order to use the rehabilitation system 10 according to an embodiment of the present invention, the patient may wear the
도 4는 본 발명의 일 실시예에 따라 재활 시스템(10)을 사용하는 동작을 나타낸 예시도이다. 4 is an exemplary diagram illustrating an operation using the rehabilitation system 10 according to an embodiment of the present invention.
도 4를 참조하면, HMD 장치(200)는 환자의 상지 절단된 부위와 대칭되는 부위의 신체와 좌우가 반전된 움직임을 갖는 가상의 신체 영상을 생성할 수 있다. Referring to FIG. 4 , the
일 실시예에 따르면, HMD 장치(200)의 프로세서(220)는 웨어러블 장치(100)가 환자의 절단된 신체 부위와 대칭되는 부위의 신체에 착용된 웨어러블 장치(100)가 센싱한 정보를 기초로, 제2 신체(12)의 형태 및 움직임 정보를 구성하는 복수의 3차원 위치 정보를 생성할 수 있다. According to an embodiment, the
이에 따라, 프로세서(220)는 복수의 3차원 위치 정보의 좌우를 반전시킨 복수의 가상 위치 정보를 생성할 수 있다. 예를 들어, 프로세서(220)는 소정의 3차원 면을 기준으로 복수의 3차원 위치 정보 각각을 면대칭시킴으로써, 좌우가 반전된 복수의 가상 위치 정보를 생성할 수 있다. 또는, 프로세서(220)는 복수의 3차원 위치 정보가 3차원 좌표 (x, y, z)로 구성된 경우, 이 중 어느 한 차원 정보의 부호를 반전시킨 3차원 좌표 (-x, y, z)를 생성함으로써 가상 위치 정보를 생성할 수 있다. Accordingly, the
이후, 프로세서(220)는 복수의 가상 위치 정보를 3D 렌더링하여 VR 또는 AR 영상에 시각적으로 출력될 수 있는 가상의 신체 영상을 생성할 수 있다. Thereafter, the
도 4의 Step 1 내지 Step 3를 참조하면, HMD 장치(200)는 환자의 제1 신체(11)의 일단에 가상의 신체 영상을 VR 영상 또는 AR 영상과 함께 출력할 수 있다. Referring to
일 실시예에 따르면, HMD 장치(200)의 프로세서(220)는 카메라 또는 통신모듈을 이용하여 환자의 제1 신체(11) 중 소정 지점에 착용 또는 표시된 트래커(300)가 위치하는 제1 지점을 특정할 수 있다. 이후, 프로세서(220)는 카메라 또는 통신모듈을 이용하여 가상의 신체 영상에서 웨어러블 장치(100)가 착용된 신체 부분(도 3의 도면 부호 12)과 착용되지 않은 신체 부분(도 3의 도면 부호 13)의 경계 지점(도 3의 도면 부호 a)에 해당하는 제2 지점의 위치를 특정할 수 있다. 이에 따라, 프로세서(220)는 환자의 제1 지점(300)에 가상의 신체 영상의 제2 지점이 연결되도록 가상의 신체 영상을 디스플레이(230)에 출력할 수 있다. According to an embodiment, the
더하여, 상기 트래커(300)가 웨어러블 밴드(300)인 경우, 웨어러블 밴드(300)는 환자의 인대의 움직임을 기초로, 환자가 절단된 신체를 움직이려고 의도한 동작을 판별할 수 있다. 이를 위해, 웨어러블 밴드(300)는 환자의 손목 또는 팔목을 둘러싸는 본체부, 상기 본체부가 신체가 접촉하는 면을 따라 환자의 손목 또는 발목 인대 부분의 형태적 변형에 따라 대응하는 저항 값을 출력하는 복수 개의 스트레인 게이지를 포함하는 센서부, 상기 센서부가 인식한 복수 개의 스트레인 게이지의 저항 값의 패턴을 기초로 사용자가 의도한 동작의 모양을 판별하는 프로세서를 포함할 수 있다. HMD 장치(200)는 웨어러블 밴드에 의해 판별된 동작의 모양을 기초로 가상의 신체 영상에 대응되는 움직임을 반영하여 출력할 수 있다. 이에 따라, 환자는 신체가 절단되어도 인대의 움직임에 따라 가상의 신체 영상이 움직이는 모습을 시각적으로 확인할 수 있다. In addition, when the
도 5 및 도 6은 본 발명의 일 실시예에 따라 재활 시스템(10)이 VR(Virtual Reality) 또는 AR(Augmented Reality)을 활용하여 배경 또는 객체를 HMD 장치(200)의 디스플레이(230)에 추가적으로 출력한 콘텐츠의 예시도이다. 5 and 6 show that the rehabilitation system 10 additionally displays a background or an object on the
도 5를 참조하면, HMD 장치(200)는 손등을 위로 한 채 손을 접었다 폈다 동작을 반복하는 미션, 손등을 옆으로 한 채 손을 접었다 폈다 동작을 반복하는 미션, 손등을 아래로 한 채 손을 접었다 폈다 동작을 반복하는 미션, 각 손가락을 움직이는 미션, 영상에 출력되는 소정 위치의 버튼을 누르는 미션, 영상에 출력되는 소정 위치의 객체를 옮기는 미션, 영상에 출력되는 객체에 그림을 그리는 미션, 영상에 출력되는 객체에 소정의 동작을 취하는 미션 등을 포함하는 콘텐츠를 VR 영상과 함께 출력하고, 환자가 해당 미션을 수행하도록 유도하여 환상통 치료를 도울 수 있다. Referring to FIG. 5 , the
도 6를 참조하면, HMD 장치(200)는 환자가 위치한 실제 주변 환경에 가상의 신체 영상을 출력한 AR 영상을 생성하여 출력할 수 있고, 상술한 도 5의 콘텐츠와 동일한 미션의 콘텐츠를 제공하여, 환자가 미션들을 수행하도록 유도할 수 있다. 또한, HMD 장치(200)는 영상에 특정한 손 동작이나, 숫자, 또는 수학 문제를 출력하여, 환자가 가상의 신체 영상이 특정한 손 동작을 나타내도록 유도하고, 환자가 취한 손 동작이 콘텐츠에 기 설정된 답 또는 기 설정된 손동작과 같은 것으로 인식되면 환자에게 점수를 부여하는 방식으로, 환자가 미션을 수행하도록 유도하여 환상통 치료를 도울 수 있다. Referring to FIG. 6 , the
상술한 실시예에 따르면, 환자의 신체 절단 부위에 가상의 신체를 구현할 수 있고, 이때 구현된 가상의 신체는 절단되지 않은 신체가 갖는 움직임과 대칭되는 움직임을 갖도록 구현될 수 있다. 이에 따라, 환자는 의식적으로 양손 또는 양발이 동일한 동작을 한다고 생각하면서, 가상현실을 통해 구현되는 가상의 신체의 움직임을 시각적으로 인지함으로써, 거울 치료법과 같은 개념의 치료를 진행할 수 있다. According to the above-described embodiment, a virtual body can be implemented at the patient's dismembered body part, and at this time, the implemented virtual body can be implemented to have a movement symmetrical to that of the non-amputated body. Accordingly, while the patient consciously thinks that both hands or both feet perform the same motion, the patient can proceed with the concept of mirror therapy by visually recognizing the movement of the virtual body implemented through virtual reality.
이에 따라, 환자는 양 신체의 행동을 동일하게 움직인다는 인지를 통해 가상의 신체를 실제의 팔과 다리처럼 움직이고, 시각적으로 신체의 움직임을 현실감을 있게 인지할 수 있게 되어, 환상통이 완화될 수 있고 재활 훈련의 효과가 향상될 수 있다.Accordingly, the patient can move the virtual body like a real arm and leg through the perception that the actions of both bodies move in the same way, and visually perceive the movement of the body with a sense of reality, so that phantom pain can be alleviated. and the effectiveness of rehabilitation training can be improved.
또한, 환자는 HMD(Head Mounted Display) 장치를 통해 실제 생활과 동일한 시점에서 가상의 신체 영상을 눈앞에서 인지하게 되므로, 실제의 신체처럼 자연스러운 시점에서 생동감 있게 인지할 수 있게 된다.In addition, since the patient perceives a virtual body image in front of his/her eyes at the same viewpoint as in real life through a Head Mounted Display (HMD) device, the patient can perceive it vividly from a natural viewpoint like the real body.
더하여, 환자의 움직임은 FLEX 필름으로 구성된 웨어러블 장치가 실제 환자의 팔 또는 다리의 세세한 움직임을 센싱하도록 구현됨으로써, 가상의 신체의 움직임이 보다 정확하게 실제 신체의 움직임을 반영하여 움직이도록 구현될 수 있다.In addition, the motion of the patient can be implemented so that the motion of the virtual body more accurately reflects the motion of the real body as the wearable device made of the FLEX film is implemented to sense the detailed motion of the real patient's arm or leg.
더불어, 환자가 가상의 신체로 수행할 수 있는 다양한 미션을 포함하는 배경 또는 객체를 VR 영상 또는 AR 영상으로 제공하여, 환자에게 흥미 요소를 결합한 치료 콘텐츠를 제공할 수 있다. In addition, it is possible to provide patients with treatment content combining interesting elements by providing VR images or AR images of backgrounds or objects including various missions that the patient can perform with a virtual body.
상술한 본 발명의 실시예들은 다양한 수단을 통해 구현될 수 있다. 예를 들어, 본 발명의 실시예들은 하드웨어, 펌웨어(firmware), 소프트웨어 또는 그것들의 결합 등에 의해 구현될 수 있다.The above-described embodiments of the present invention may be implemented through various means. For example, embodiments of the present invention may be implemented by hardware, firmware, software, or a combination thereof.
하드웨어에 의한 구현의 경우, 본 발명의 실시예들에 따른 방법은 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 프로세서, 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.In the case of hardware implementation, the method according to the embodiments of the present invention includes one or more ASICs (Application Specific Integrated Circuits), DSPs (Digital Signal Processors), DSPDs (Digital Signal Processing Devices), PLDs (Programmable Logic Devices) , Field Programmable Gate Arrays (FPGAs), processors, controllers, microcontrollers, microprocessors, etc.
펌웨어나 소프트웨어에 의한 구현의 경우, 본 발명의 실시예들에 따른 방법은 이상에서 설명된 기능 또는 동작을 수행하는 모듈, 절차 또는 함수 등의 형태로 구현될 수 있다. 소프트웨어 코드 등이 기록된 컴퓨터 프로그램은 컴퓨터 판독 가능 기록 매체 또는 메모리 유닛에 저장되어 프로세서에 의해 구동될 수 있다. 메모리 유닛은 프로세서 내부 또는 외부에 위치하여, 이미 공지된 다양한 수단에 의해 프로세서와 데이터를 주고받을 수 있다.In the case of implementation by firmware or software, the method according to the embodiments of the present invention may be implemented in the form of a module, procedure, or function that performs the functions or operations described above. A computer program in which software codes and the like are recorded may be stored in a computer readable recording medium or a memory unit and driven by a processor. The memory unit may be located inside or outside the processor and exchange data with the processor by various means known in the art.
또한 본 발명에 첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 인코딩 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 인코딩 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방법으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.In addition, combinations of each block of the block diagram and each step of the flowchart attached to the present invention may be performed by computer program instructions. Since these computer program instructions may be loaded into an encoding processor of a general-purpose computer, special-purpose computer, or other programmable data processing equipment, the instructions executed by the encoding processor of the computer or other programmable data processing equipment are each block or block diagram of the block diagram. Each step in the flow chart creates means for performing the functions described. These computer program instructions may also be stored in a computer usable or computer readable memory that can be directed to a computer or other programmable data processing equipment to implement functionality in a particular way, such that the computer usable or computer readable memory The instructions stored in are also capable of producing an article of manufacture containing instruction means for performing the functions described in each block of the block diagram or each step of the flow chart. The computer program instructions can also be loaded on a computer or other programmable data processing equipment, so that a series of operational steps are performed on the computer or other programmable data processing equipment to create a computer-executed process to generate computer or other programmable data processing equipment. It is also possible that the instructions performing the processing equipment provide steps for executing the functions described in each block of the block diagram and each step of the flowchart.
더불어 각 블록 또는 각 단계는 특정된 논리적 기능을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또한, 몇 가지 대체 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.In addition, each block or each step may represent a module, segment or piece of code that contains one or more executable instructions for executing a specified logical function. It should also be noted that in some alternative embodiments it is possible for the functions recited in blocks or steps to occur out of order. For example, two blocks or steps shown in succession may in fact be performed substantially concurrently, or the blocks or steps may sometimes be performed in reverse order depending on their function.
이와 같이, 본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.As such, those skilled in the art to which the present invention pertains will be able to understand that the present invention may be embodied in other specific forms without changing its technical spirit or essential features. Therefore, the embodiments described above should be understood as illustrative in all respects and not limiting. The scope of the present invention is indicated by the following claims rather than the detailed description, and all changes or modifications derived from the meaning and scope of the claims and their equivalent concepts should be construed as being included in the scope of the present invention. .
Claims (8)
상기 제1 신체에 착용되는 트래커; 및
상기 뎁스 카메라가 센싱한 정보를 기초로 상기 제2 신체의 형태 및 움직임과 좌우가 반전된 형태 및 움직임을 갖는 가상의 신체 영상을 생성하는 프로세서 및, 상기 트래커의 위치를 기초로 상기 가상의 신체 영상을 출력하는 디스플레이로 구성된 헤드 마운티드 디스플레이(HMD, Head Mounted Display) 장치를 포함하고,
상기 트래커는,
상기 제1 신체의 일부를 둘러싸는 본체부;
상기 제1 신체의 일부의 형태적 변형에 대응하여 변화하는 저항 값을 출력하는 스트레인 게이지를 포함하는 센서부; 및
상기 센서부가 인식한 스트레인 게이지의 저항 값의 패턴을 기초로 사용자가 의도한 동작의 모양을 판별하는 프로세서를 포함하는,
가상 이식을 이용한 재활 장치.
a depth camera that senses the shape and motion of the second body by capturing a second body part that is symmetrical to the first body part corresponding to the patient's severed or paralyzed body part;
a tracker worn on the first body; and
Based on the information sensed by the depth camera, a processor for generating a virtual body image having a shape and movement of the second body and a left and right reversed shape and movement, and the virtual body image based on the position of the tracker Including a head mounted display (HMD, Head Mounted Display) device composed of a display that outputs,
The tracker is
a body portion surrounding a portion of the first body;
a sensor unit including a strain gauge outputting a resistance value that changes in response to the shape deformation of the first body part; and
Including a processor for determining the shape of the user's intended operation based on the pattern of the resistance value of the strain gauge recognized by the sensor unit,
Rehabilitation device using virtual implant.
상기 뎁스 카메라는,
상기 센싱한 정보를 기초로 상기 제2 신체의 형태 및 움직임과 좌우가 반전된 형태 및 움직임을 갖는 가상의 신체 영상에 대한 정보를 생성하는,
가상 이식을 이용한 재활 장치.
According to claim 1,
The depth camera,
Based on the sensed information, generating information about a virtual body image having a shape and movement of the second body and a left and right reversed shape and movement,
Rehabilitation device using virtual implant.
상기 프로세서는,
상기 뎁스 카메라가 센싱한 정보를 기초로 상기 제2 신체의 형태 및 움직임 정보를 구성하는 복수의 3차원 위치 정보를 생성하는 동작;
상기 복수의 3차원 위치 정보 각각을 면대칭시킨 복수의 가상 위치 정보를 생성하는 동작; 및
상기 복수의 가상 위치 정보를 3D 렌더링하여 상기 가상의 신체 영상을 생성하는 동작을 수행하는,
가상 이식을 이용한 재활 장치.
According to claim 1,
the processor,
generating a plurality of pieces of 3D location information constituting shape and motion information of the second body based on information sensed by the depth camera;
generating a plurality of virtual location information obtained by plane-symmetry each of the plurality of three-dimensional location information; and
Performing an operation of generating the virtual body image by 3D rendering the plurality of virtual location information;
Rehabilitation device using virtual implant.
상기 프로세서는,
상기 트래커가 위치하는 제1 신체의 위치를 특정하는 동작; 및
상기 제1 신체의 위치에 상기 가상의 신체 영상이 출력되도록 상기 가상의 신체 영상을 상기 디스플레이에 출력하는 동작을 수행하는,
가상 이식을 이용한 재활 장치.
According to claim 1,
the processor,
specifying a location of a first body where the tracker is located; and
An operation of outputting the virtual body image to the display so that the virtual body image is output at the position of the first body,
Rehabilitation device using virtual implant.
상기 HMD 장치는,
상기 트래커에 의해 판별된 동작의 모양을 기초로 상기 가상의 신체 영상에 대응되는 움직임을 반영하여 출력하는,
가상 이식을 이용한 재활 장치.
According to claim 1,
The HMD device,
Based on the shape of the motion determined by the tracker, the motion corresponding to the virtual body image is reflected and output.
Rehabilitation device using virtual implant.
뎁스 카메라가 환자의 절단되거나 마비된 신체 부위에 해당하는 제1 신체와 대칭되는 신체 부위인 제2 신체를 촬영하여 상기 제2 신체의 형태 및 움직임을 센싱하는 단계; 및
HMD 장치가 상기 센싱한 정보를 기초로 상기 제2 신체의 형태 및 움직임과 좌우가 반전된 형태 및 움직임을 갖는 가상의 신체 영상을 생성하고, 상기 제1 신체에 착용되는 트래커의 위치를 기초로 상기 가상의 신체 영상을 출력하는 단계를 포함하고,
상기 트래커는,
상기 제1 신체의 일부를 둘러싸는 본체부;
상기 제1 신체의 일부의 형태적 변형에 대응하여 변화하는 저항 값을 출력하는 스트레인 게이지를 포함하는 센서부; 및
상기 센서부가 인식한 스트레인 게이지의 저항 값의 패턴을 기초로 사용자가 의도한 동작의 모양을 판별하는 프로세서를 포함하는,
가상 이식을 이용한 재활 장치의 작동 방법.In the method of operating a rehabilitation device using virtual implantation,
sensing the shape and movement of the second body by taking a picture of a second body, which is a body part symmetrical to the first body corresponding to the severed or paralyzed body part of the patient, by a depth camera; and
Based on the information sensed by the HMD device, a virtual body image having the shape and movement of the second body and the left and right reversed shape and movement is generated, and based on the position of the tracker worn on the first body, the image of the body is generated. Including the step of outputting a virtual body image,
The tracker is
a body portion surrounding a portion of the first body;
a sensor unit including a strain gauge outputting a resistance value that changes in response to the shape deformation of the first body part; and
Including a processor for determining the shape of the user's intended operation based on the pattern of the resistance value of the strain gauge recognized by the sensor unit,
Method of operation of rehabilitation device using virtual implant.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020220118671A KR102499113B1 (en) | 2020-11-11 | 2022-09-20 | Apparatus for rehabilitation using virtual transplant based on vr/ar for overcoming phantom pain |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200149842A KR102446921B1 (en) | 2020-11-11 | 2020-11-11 | Wearable apparatus, head mounted display apparatus and system for rehabilitation treatment using virtual transplant based on vr/ar for overcoming phantom pain |
KR1020220118671A KR102499113B1 (en) | 2020-11-11 | 2022-09-20 | Apparatus for rehabilitation using virtual transplant based on vr/ar for overcoming phantom pain |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020200149842A Division KR102446921B1 (en) | 2020-11-11 | 2020-11-11 | Wearable apparatus, head mounted display apparatus and system for rehabilitation treatment using virtual transplant based on vr/ar for overcoming phantom pain |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20220131886A KR20220131886A (en) | 2022-09-29 |
KR102499113B1 true KR102499113B1 (en) | 2023-02-10 |
Family
ID=81800901
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020200149842A KR102446921B1 (en) | 2020-11-11 | 2020-11-11 | Wearable apparatus, head mounted display apparatus and system for rehabilitation treatment using virtual transplant based on vr/ar for overcoming phantom pain |
KR1020220118671A KR102499113B1 (en) | 2020-11-11 | 2022-09-20 | Apparatus for rehabilitation using virtual transplant based on vr/ar for overcoming phantom pain |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020200149842A KR102446921B1 (en) | 2020-11-11 | 2020-11-11 | Wearable apparatus, head mounted display apparatus and system for rehabilitation treatment using virtual transplant based on vr/ar for overcoming phantom pain |
Country Status (1)
Country | Link |
---|---|
KR (2) | KR102446921B1 (en) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015039522A (en) * | 2013-08-22 | 2015-03-02 | セイコーエプソン株式会社 | Rehabilitation device and assistive device for phantom limb pain treatment |
KR101950603B1 (en) * | 2017-09-20 | 2019-05-09 | 순천향대학교 산학협력단 | Remote device control device based on virtual reality and motion recognition, and rehabilitation method using the same |
KR102164965B1 (en) * | 2019-05-03 | 2020-10-14 | 계명대학교 산학협력단 | Virtual illusion system for hemiplegic patients using brain stimulation and its way to working |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100200112B1 (en) | 1994-12-29 | 1999-06-15 | 정몽규 | Accelerator transmission |
KR20140089023A (en) * | 2012-12-31 | 2014-07-14 | 동의대학교 산학협력단 | Apparatus for Rehabilitation Training of Upper Limb of Hemiplegic Patients |
KR101980297B1 (en) | 2017-11-14 | 2019-05-20 | 고범준 | apparatus, method and program for processing 3D VR video |
-
2020
- 2020-11-11 KR KR1020200149842A patent/KR102446921B1/en active IP Right Grant
-
2022
- 2022-09-20 KR KR1020220118671A patent/KR102499113B1/en active IP Right Grant
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015039522A (en) * | 2013-08-22 | 2015-03-02 | セイコーエプソン株式会社 | Rehabilitation device and assistive device for phantom limb pain treatment |
KR101950603B1 (en) * | 2017-09-20 | 2019-05-09 | 순천향대학교 산학협력단 | Remote device control device based on virtual reality and motion recognition, and rehabilitation method using the same |
KR102164965B1 (en) * | 2019-05-03 | 2020-10-14 | 계명대학교 산학협력단 | Virtual illusion system for hemiplegic patients using brain stimulation and its way to working |
Also Published As
Publication number | Publication date |
---|---|
KR102446921B1 (en) | 2022-09-22 |
KR20220131886A (en) | 2022-09-29 |
KR20220063906A (en) | 2022-05-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111460875B (en) | Image processing method and apparatus, image device, and storage medium | |
JP6938542B2 (en) | Methods and program products for articulated tracking that combine embedded and external sensors | |
Da Gama et al. | Guidance and movement correction based on therapeutics movements for motor rehabilitation support systems | |
JP6045139B2 (en) | VIDEO GENERATION DEVICE, VIDEO GENERATION METHOD, AND PROGRAM | |
EP3631567A1 (en) | Eye tracking calibration techniques | |
CN112602090A (en) | Method and system for interpolating different inputs | |
US20160249008A1 (en) | Display apparatus, display method, and program | |
CN107875616B (en) | Exercise training device, recording medium, and display method | |
KR20090084035A (en) | A real time motion recognizing method | |
JP4025230B2 (en) | Pain treatment support device and method for displaying phantom limb images in a virtual space | |
CN115942899A (en) | Medical examination of the human body using tactile sensation | |
US20140371634A1 (en) | Method and apparatus for tracking hand and/or wrist rotation of a user performing exercise | |
KR102446922B1 (en) | Apparatus for rehabilitation treatment using virtual transplant based on vr/ar for overcoming phantom pain | |
KR102499113B1 (en) | Apparatus for rehabilitation using virtual transplant based on vr/ar for overcoming phantom pain | |
Carrino et al. | Augmented reality treatment for phantom limb pain | |
CN113902845A (en) | Motion video generation method and device, electronic equipment and readable storage medium | |
KR102253353B1 (en) | Method and apparatus for providing rehabilitation content using virtual transplant hand based on vr/ar | |
KR102483387B1 (en) | Augmented reality content provision method and finger rehabilitation training system for finger rehabilitation training | |
KR102253352B1 (en) | Method and apparatus for providing rehabilitation content using virtual transplant foot based on vr/ar | |
JP7262763B2 (en) | Rehabilitation support device and program | |
KR102635074B1 (en) | Head mounted display apparatus for providing object catching training based on virtual transplant of vr/ar technology, and operation method thereof | |
TWI644285B (en) | Acupuncture visualization Chinese medicine system and method thereof by using AR technology | |
KR102684755B1 (en) | Method of providing guide for breast cancer self diagnosis and breast massaging and breast cancer self diagnosis and breast massaging device using augmented reality | |
CN219302988U (en) | Augmented reality device | |
KR102510048B1 (en) | Control method of electronic device to output augmented reality data according to the exercise motion |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A107 | Divisional application of patent | ||
A302 | Request for accelerated examination | ||
E902 | Notification of reason for refusal | ||
AMND | Amendment | ||
E601 | Decision to refuse application | ||
AMND | Amendment | ||
X701 | Decision to grant (after re-examination) | ||
GRNT | Written decision to grant |