Nothing Special   »   [go: up one dir, main page]

KR102499113B1 - Apparatus for rehabilitation using virtual transplant based on vr/ar for overcoming phantom pain - Google Patents

Apparatus for rehabilitation using virtual transplant based on vr/ar for overcoming phantom pain Download PDF

Info

Publication number
KR102499113B1
KR102499113B1 KR1020220118671A KR20220118671A KR102499113B1 KR 102499113 B1 KR102499113 B1 KR 102499113B1 KR 1020220118671 A KR1020220118671 A KR 1020220118671A KR 20220118671 A KR20220118671 A KR 20220118671A KR 102499113 B1 KR102499113 B1 KR 102499113B1
Authority
KR
South Korea
Prior art keywords
virtual
shape
image
movement
patient
Prior art date
Application number
KR1020220118671A
Other languages
Korean (ko)
Other versions
KR20220131886A (en
Inventor
이준서
Original Assignee
이준서
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이준서 filed Critical 이준서
Priority to KR1020220118671A priority Critical patent/KR102499113B1/en
Publication of KR20220131886A publication Critical patent/KR20220131886A/en
Application granted granted Critical
Publication of KR102499113B1 publication Critical patent/KR102499113B1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1123—Discriminating type of movement, e.g. walking or running
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/7445—Display arrangements, e.g. multiple display units
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0261—Strain gauges
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M2021/0005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
    • A61M2021/0044—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the sight sense
    • A61M2021/005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the sight sense images, e.g. video
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00—General characteristics of the apparatus
    • A61M2205/50—General characteristics of the apparatus with microprocessors or computers
    • A61M2205/502—User interfaces, e.g. screens or keyboards
    • A61M2205/507—Head Mounted Displays [HMD]

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Software Systems (AREA)
  • Hematology (AREA)
  • Physiology (AREA)
  • Psychology (AREA)
  • Anesthesiology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Acoustics & Sound (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Dentistry (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Rehabilitation Tools (AREA)

Abstract

본 발명의 일 실시예에 따른 가상 이식을 이용한 재활 장치는 환자의 절단되거나 마비된 신체 부위에 해당하는 제1 신체와 대칭되는 신체 부위인 제2 신체를 촬영하여 상기 제2 신체의 형태 및 움직임을 센싱하는 뎁스 카메라; 및 상기 뎁스 카메라가 센싱한 정보를 기초로 상기 제2 신체의 형태 및 움직임과 좌우가 반전된 형태 및 움직임을 갖는 가상의 신체 영상을 생성하는 프로세서 및, 상기 제1 신체의 일단에 상기 가상의 신체 영상을 출력하는 디스플레이로 구성된 HMD 장치를 포함할 수 있다. A rehabilitation device using virtual implantation according to an embodiment of the present invention captures a second body, which is a body part symmetrical to a first body corresponding to a body part that has been severed or paralyzed, and measures the shape and movement of the second body. a depth camera that senses; and a processor for generating a virtual body image having a shape and movement in which the shape and movement of the second body and the left and right are reversed based on the information sensed by the depth camera, and the virtual body at one end of the first body. An HMD device configured as a display outputting an image may be included.

Description

VR/AR 기반의 가상 이식을 이용한 재활 장치{APPARATUS FOR REHABILITATION USING VIRTUAL TRANSPLANT BASED ON VR/AR FOR OVERCOMING PHANTOM PAIN}Rehabilitation device using virtual implantation based on VR/AR {APPARATUS FOR REHABILITATION USING VIRTUAL TRANSPLANT BASED ON VR/AR FOR OVERCOMING PHANTOM PAIN}

본 발명은 VR/AR 기반의 가상 이식을 이용한 재활 장치에 관한 것이다. The present invention relates to a rehabilitation device using virtual implantation based on VR/AR.

당뇨병, 버거병 등 현대 사회와 관련된 질병으로 인하여 팔이나 다리를 절단하는 환자의 수가 매년 증가하고 있다. 이처럼 팔이나 다리를 절단한 사지 절단 환자들의 50% 내지 80%는 환상통(Phantom Pain)을 겪는다. 환상통이란 몸의 특정 부위가 사고나 질병 등의 이유로 물리적으로 없는 상태임에도 있는 것처럼 느끼며 통증을 겪는 질환이다. The number of patients who amputate arms or legs due to diseases related to modern society, such as diabetes and Buerger's disease, is increasing every year. In this way, 50% to 80% of limb amputee patients who have had their arms or legs amputated experience phantom pain. Phantom pain is a disease in which a certain part of the body feels as if it is present even though it is physically absent due to an accident or disease.

환상통의 치료법으로는 대표적으로 거울 치료법(Mirror Therapy)이 있다. 거울 치료법은 팔이 절단된 환자에게 거울을 이용해 다른 한 팔을 비추어 마치 두 팔이 있는 것처럼 손 운동을 시킴으로써 환상통을 완화시키는 치료 방법이다. 절단 환자들에게 잘려나간 부위의 신체가 통증 없이 움직인다는 시각적 착각을 일으키게 하여 절단된 부위에서 느끼는 환상통을 줄이는 방법으로서 이러한 치료법의 효과는 의학계에서 입증되어 있다. A typical treatment for phantom pain is mirror therapy. Mirror therapy is a treatment method that alleviates phantom pain by using a mirror to reflect the other arm on a patient whose arm has been amputated and allowing them to exercise their hands as if they had two arms. As a method of reducing phantom pain felt in the amputated area by causing amputation patients to have the visual illusion that the body in the amputated area moves without pain, the effectiveness of this treatment has been proven in the medical world.

그러나 거울 치료법은 거울에 대한 환자의 시선이 이루는 각도를 정확하게 맞춘 자세에서 수행해야 하므로 적용이 불편하고, 거울 바로 옆에서 제한적인 범위의 움직임만 가능하여 현실감이 떨어진다는 단점이 있었다. However, mirror therapy has disadvantages in that it is inconvenient to apply because it must be performed in a posture that accurately matches the angle of the patient's gaze to the mirror, and that it is less realistic because only a limited range of movement is possible right next to the mirror.

또한, 거울을 이용한 치료 방법은 다리가 절단된 환자의 경우, 환자의 시선과 거울이 이루는 각도를 현실감 있게 맞추기가 쉽지 않기 때문에 하지가 절단되거나 마비된 환자에게는 적용하기 어려웠다.In addition, the treatment method using a mirror is difficult to apply to a patient with a lower extremity amputated or paralyzed because it is not easy to realistically match the angle formed by the patient's line of sight and the mirror in the case of a patient with a leg amputation.

한국 등록특허공보 제10-200112호: 자이로 센서를 이용한 모션인식 장치 및 그 모션인식 방법Korean Patent Registration No. 10-200112: Motion Recognition Apparatus Using Gyro Sensor and Motion Recognition Method 한국 등록특허공보 제10-1980297호: 3차원 VR 영상 처리 장치, 방법 및 프로그램Korean Patent Registration No. 10-1980297: 3D VR image processing device, method and program

본 발명의 실시예에서 해결하고자 하는 과제는 환자들에게 절단된 부위의 신체가 통증 없이 움직인다는 시각적 효과로 착각을 일으키게 하여 절단 부위에서 느끼는 환상통을 줄인다는 거울 치료법의 치료 개념을 유지하면서, 환자가 거울 없이도 다양한 동작을 수행할 수 있는 VR/AR 기술 결합 방식을 구현하여, 사지 절단 환자의 환상통을 완화하는 치료와 재활 훈련의 효과를 높이는데 기여하는 기술을 제공하는 것이다.The problem to be solved in the embodiment of the present invention is to give patients the illusion that the body of the amputated part moves without pain, thereby reducing the phantom pain felt at the amputated part while maintaining the treatment concept of the mirror therapy, By realizing a VR/AR technology combination method that allows various movements to be performed without a mirror, it is to provide technology that contributes to improving the effectiveness of treatment and rehabilitation training to alleviate phantom pain in limb amputee patients.

다만, 본 발명의 실시예가 이루고자 하는 기술적 과제는 이상에서 언급한 과제로 제한되지 않으며, 이하에서 설명할 내용으로부터 통상의 기술자에게 자명한 범위 내에서 다양한 기술적 과제가 도출될 수 있다.However, the technical problems to be achieved by the embodiments of the present invention are not limited to the above-mentioned problems, and various technical problems may be derived from the contents to be described below within a range apparent to those skilled in the art.

일 실시예에 따른 가상 이식을 이용한 재활 장치는 환자의 절단되거나 마비된 신체 부위에 해당하는 제1 신체와 대칭되는 신체 부위인 제2 신체를 촬영하여 상기 제2 신체의 형태 및 움직임을 센싱하는 뎁스 카메라; 및 상기 뎁스 카메라가 센싱한 정보를 기초로 상기 제2 신체의 형태 및 움직임과 좌우가 반전된 형태 및 움직임을 갖는 가상의 신체 영상을 생성하는 프로세서 및, 상기 제1 신체의 일단에 상기 가상의 신체 영상을 출력하는 디스플레이로 구성된 HMD 장치를 포함할 수 있다. Rehabilitation apparatus using virtual implantation according to an embodiment is a depth that senses the shape and movement of the second body by photographing a second body that is a body part symmetrical to a first body corresponding to a body part that is amputated or paralyzed of a patient camera; and a processor for generating a virtual body image having a shape and movement in which the shape and movement of the second body and the left and right are reversed based on the information sensed by the depth camera, and the virtual body at one end of the first body. An HMD device configured as a display outputting an image may be included.

또한, 상기 뎁스 카메라는 상기 센싱한 정보를 기초로 상기 제2 신체의 형태 및 움직임과 좌우가 반전된 형태 및 움직임을 갖는 가상의 신체 영상에 대한 정보를 생성할 수 있다. In addition, the depth camera may generate information about a virtual body image having a shape and motion of the second body and a left and right reversed shape and motion based on the sensed information.

또한, 상기 프로세서는 상기 뎁스 카메라가 센싱한 정보를 기초로 상기 제2 신체의 형태 및 움직임 정보를 구성하는 복수의 3차원 위치 정보를 생성하는 동작; 상기 복수의 3차원 위치 정보 각각을 면대칭시킨 복수의 가상 위치 정보를 생성하는 동작; 및 상기 복수의 가상 위치 정보를 3D 렌더링하여 상기 가상의 신체 영상을 생성하는 동작을 수행할 수 있다.In addition, the processor may generate a plurality of pieces of 3D location information constituting shape and motion information of the second body based on information sensed by the depth camera; generating a plurality of virtual location information obtained by plane-symmetry each of the plurality of three-dimensional location information; and generating the virtual body image by 3D rendering the plurality of virtual location information.

또한, 상기 재활 장치는 상기 제1 신체 중 소정 지점에 착용 또는 표시되는 트래커를 더 포함할 수 있다.In addition, the rehabilitation device may further include a tracker worn or displayed on a predetermined point of the first body.

또한, 상기 프로세서는 상기 트래커가 위치하는 제1 신체의 위치를 특정하는 동작; 및 상기 제1 신체의 위치에 상기 가상의 신체 영상이 출력되도록 상기 가상의 신체 영상을 상기 디스플레이에 출력하는 동작을 수행할 수 있다.In addition, the processor may include an operation of specifying a location of a first body where the tracker is located; and outputting the virtual body image to the display so that the virtual body image is output at the location of the first body.

또한, 상기 트래커는 환자의 손목 또는 팔목을 둘러싸는 본체부; 환자의 손목 인대 또는 발목 인대의 형태적 변형에 대응하여 변화하는 저항 값을 출력하는 스트레인 게이지를 포함하는 센서부; 및 상기 센서부가 인식한 스트레인 게이지의 저항 값의 패턴을 기초로 사용자가 의도한 동작의 모양을 판별하는 프로세서를 포함할 수 있다.In addition, the tracker body portion surrounding the patient's wrist or wrist; a sensor unit including a strain gauge outputting a resistance value that changes in response to morphological deformation of a patient's wrist ligament or ankle ligament; and a processor for determining a shape of an operation intended by the user based on a pattern of resistance values of the strain gauge recognized by the sensor unit.

또한, 상기 HMD 장치는 상기 트래커에 의해 판별된 동작의 모양을 기초로 상기 가상의 신체 영상에 대응되는 움직임을 반영하여 출력할 수 있다.In addition, the HMD device may reflect and output a motion corresponding to the virtual body image based on the shape of the motion determined by the tracker.

본 발명의 일 실시예에 따른 가상 이식을 이용한 재활 장치가 수행하는 가상 이식을 이용한 재활 방법은 뎁스 카메라가 환자의 절단되거나 마비된 신체 부위에 해당하는 제1 신체와 대칭되는 신체 부위인 제2 신체를 촬영하여 상기 제2 신체의 형태 및 움직임을 센싱하는 단계; 및In a rehabilitation method using virtual implantation performed by a rehabilitation device using virtual implantation according to an embodiment of the present invention, a depth camera measures a second body part that is symmetrical with a first body part corresponding to a body part that is severed or paralyzed of a patient. sensing the shape and motion of the second body by photographing; and

HMD 장치가 상기 센싱한 정보를 기초로 상기 제2 신체의 형태 및 움직임과 좌우가 반전된 형태 및 움직임을 갖는 가상의 신체 영상을 생성하고, 상기 제1 신체의 일단에 상기 가상의 신체 영상을 출력하는 단계를 포함할 수 있다.Based on the information sensed by the HMD device, a virtual body image having the shape and movement of the second body and the left and right reversed shape and movement is generated, and the virtual body image is output to one end of the first body. steps may be included.

본 발명의 일 실시예에 따른 가상이식을 이용한 재활 시스템은 환자의 절단되거나 마비된 신체 부위에 해당하는 제1 신체와 대칭되는 신체 부위인 제2 신체에 착용되고, 상기 환자의 움직임에 따른 제2 신체의 형태 및 움직임을 센싱하는 웨어러블 장치; 및 상기 웨어러블 장치가 센싱한 정보를 기초로 상기 제2 신체의 형태 및 움직임과 좌우가 반전된 형태 및 움직임을 갖는 가상의 신체 영상을 생성하는 프로세서 및, VR(Virtual Reality) 또는 AR(Augmented Reality) 영상과 함께 상기 제1 신체의 일단에 상기 가상의 신체 영상을 출력하는 디스플레이로 구성된 HMD(Head Mounted Display) 장치를 포함할 수 있다. A rehabilitation system using virtual implantation according to an embodiment of the present invention is worn on a second body, which is a body part symmetrical to a first body corresponding to a body part that is amputated or paralyzed, and a second body according to the patient's movement. A wearable device that senses the shape and movement of the body; and a processor for generating a virtual body image having a shape and movement of the second body and a left and right reversed shape and movement based on the information sensed by the wearable device, and VR (Virtual Reality) or AR (Augmented Reality) A Head Mounted Display (HMD) device configured as a display outputting the virtual body image along with an image may be included on one end of the first body.

또한, 상기 웨어러블 장치는 표면이 늘어나거나 줄어듬에 따라 변화하는 저항값을 통해 상기 표면의 형태를 센싱 가능한 플렉스(flex) 필름이 상기 제2 신체를 둘러싸도록 상기 제2 신체에 대응하는 형태로 구성되고, 상기 제2 신체를 둘러싼 상기 플렉스 필름에 의해 센싱된 상기 제2 신체의 형태 및 움직임에 대한 정보를 유무선 통신을 통해 상기 HMD 장치에 전송할 수 있다. In addition, the wearable device is configured in a shape corresponding to the second body such that a flex film capable of sensing the shape of the surface through a resistance value that changes as the surface is stretched or shrunk surrounds the second body, , Information on the shape and motion of the second body sensed by the flex film surrounding the second body may be transmitted to the HMD device through wired or wireless communication.

또한, 상기 프로세서는 상기 웨어러블 장치가 센싱한 정보를 기초로 상기 제2 신체의 형태 및 움직임 정보를 구성하는 복수의 3차원 위치 정보를 생성하는 동작; 상기 복수의 3차원 위치 정보 각각을 면대칭시킨 복수의 가상 위치 정보를 생성하는 동작; 및 상기 복수의 가상 위치 정보를 3D 렌더링하여 상기 가상의 신체 영상을 생성하는 동작을 수행할 수 있다. In addition, the processor generates a plurality of pieces of 3D location information constituting the shape and motion information of the second body based on the information sensed by the wearable device; generating a plurality of virtual location information obtained by plane-symmetry each of the plurality of three-dimensional location information; and generating the virtual body image by 3D rendering the plurality of virtual location information.

또한, 상기 프로세서는 상기 제1 신체 중 소정 지점에 착용 또는 표시된 트래커가 위치하는 제1 지점을 특정하는 동작; 상기 가상의 신체 영상에서 상기 웨어러블 장치가 착용된 신체 부분과 착용되지 않은 신체 부분의 경계 지점에 해당하는 제2 지점의 위치를 특정하는 동작; 및 상기 센싱된 제1 지점에 상기 가상의 신체 영상 중 상기 제2 지점이 연결되도록 상기 가상의 신체 영상을 상기 디스플레이에 출력할 수 있다. The processor may further include an operation of specifying a first point where a tracker worn or displayed on a predetermined point of the first body is located; specifying a location of a second point corresponding to a boundary point between a body part where the wearable device is worn and a body part where the wearable device is not worn in the virtual body image; The virtual body image may be output to the display such that the second point of the virtual body image is connected to the sensed first point.

또한, 상기 트래커는 웨어러블 밴드를 포함하고, 상기 웨어러블 밴드는 환자의 손목 또는 팔목을 둘러싸는 본체부; 상기 본체부의 상기 환자의 신체와 마주하는 면을 따라 환자의 손목 인대 또는 발목 인대의 형태적 변형에 대응하여 변화하는 저항 값을 출력하는 복수 개의 스트레인 게이지를 포함하는 센서부; 및 상기 센서부가 인식한 복수 개의 스트레인 게이지의 저항 값의 패턴을 기초로 사용자가 의도한 동작의 모양을 판별하는 프로세서를 포함하고, 상기 HMD 장치는 상기 웨어러블 밴드에 의해 판별된 동작의 모양을 기초로 상기 가상의 신체 영상에 대응되는 움직임을 반영하여 출력할 수 있다. In addition, the tracker includes a wearable band, and the wearable band includes a main body portion surrounding a patient's wrist or wrist; a sensor unit including a plurality of strain gauges outputting resistance values that change in response to morphological deformation of a wrist ligament or an ankle ligament of a patient along a surface of the main body unit facing the patient's body; and a processor for determining a shape of an operation intended by the user based on a pattern of resistance values of the plurality of strain gauges recognized by the sensor unit, wherein the HMD device determines a shape of the motion determined by the wearable band. Motion corresponding to the virtual body image may be reflected and output.

본 발명의 일 실시예에 따른 가상이식을 이용한 재활 시스템은 환자의 절단되거나 마비된 신체 부위에 해당하는 제1 신체와 대칭되는 신체 부위인 제2 신체의 형태 및 움직임을 센싱하는 뎁스 카메라; 및 상기 뎁스 카메라가 센싱한 정보를 기초로 상기 제2 신체와 대칭되는 형태 및 움직임과 좌우가 반전된 형태 및 움직임을 갖는 가상의 신체 영상을 생성하는 프로세서 및, VR(Virtual Reality) 또는 AR(Augmented Reality) 영상과 함께 상기 제1 신체의 일단에 상기 가상 신체 정보를 출력하는 디스플레이로 구성된 HMD(Head Mounted Display) 장치를 포함할 수 있다. A rehabilitation system using virtual implantation according to an embodiment of the present invention includes a depth camera that senses the shape and motion of a second body part that is symmetrical to a first body part corresponding to a body part that has been severed or paralyzed by a patient; and a processor generating a virtual body image having a shape and motion symmetrical to that of the second body and a left and right reversed shape and motion based on the information sensed by the depth camera, and a virtual reality (VR) or augmented image (AR) image. A Head Mounted Display (HMD) device configured as a display that outputs the virtual body information to one end of the first body along with a reality image may be included.

본 발명의 일 실시예에 따른 HMD 장치는 메모리; 유무선 통신 모듈; 환자의 절단되거나 마비된 신체 부위에 해당하는 제1 신체와 대칭되는 신체 부위인 제2 신체에 착용되고 상기 환자의 움직임에 따른 제2 신체의 형태 및 움직임을 센싱하는 웨어러블 장치가 센싱한 정보를 기초로 상기 제2 신체의 형태 및 움직임과 좌우가 반전된 형태 및 움직임을 갖는 가상의 신체 영상을 생성하는 프로세서; 및 VR(Virtual Reality) 또는 AR(Augmented Reality) 영상과 함께 상기 제1 신체의 일단에 상기 가상의 신체 영상을 출력하는 디스플레이를 포함할 수 있다. An HMD device according to an embodiment of the present invention includes a memory; wired/wireless communication module; Based on the information sensed by the wearable device that is worn on the second body, which is a body part that is symmetrical to the first body part corresponding to the patient's severed or paralyzed body part, and senses the shape and movement of the second body according to the patient's movement a processor for generating a virtual body image having a shape and movement of the second body and a shape and movement in which left and right are reversed; and a display that outputs the virtual body image to one end of the first body together with a Virtual Reality (VR) or Augmented Reality (AR) image.

또한, 상기 웨어러블 장치는 표면이 늘어나거나 줄어듬에 따라 변화하는 저항값을 통해 상기 표면의 형태를 센싱 가능한 플렉스(flex) 필름이 상기 제2 신체를 둘러싸도록 상기 제2 신체에 대응하는 형태로 구성되고, 상기 제2 신체를 둘러싼 상기 플렉스 필름에 의해 센싱된 상기 제2 신체의 형태 및 움직임에 대한 정보를 생성할 수 있다. In addition, the wearable device is configured in a shape corresponding to the second body such that a flex film capable of sensing the shape of the surface through a resistance value that changes as the surface is stretched or shrunk surrounds the second body, , Information on the shape and motion of the second body sensed by the flex film surrounding the second body may be generated.

또한, 상기 프로세서는 상기 웨어러블 장치가 센싱한 정보를 기초로 상기 제2 신체의 형태 및 움직임 정보를 구성하는 복수의 3차원 위치 정보를 생성하는 동작; 상기 복수의 3차원 위치 정보 각각을 면대칭시킨 복수의 가상 위치 정보를 생성하는 동작; 및 상기 복수의 가상 위치 정보를 3D 렌더링하여 상기 가상의 신체 영상을 생성하는 동작을 수행할 수 있다. In addition, the processor generates a plurality of pieces of 3D location information constituting the shape and motion information of the second body based on the information sensed by the wearable device; generating a plurality of virtual location information obtained by plane-symmetry each of the plurality of three-dimensional location information; and generating the virtual body image by 3D rendering the plurality of virtual location information.

또한, 상기 프로세서는 상기 제1 신체 중 소정 지점에 착용 또는 표시된 트래커가 위치하는 제1 지점을 특정하는 동작; 상기 가상의 신체 영상에서 상기 웨어러블 장치가 착용된 신체 부분과 착용되지 않은 신체 부분의 경계 지점에 해당하는 제2 지점의 위치를 특정하는 동작; 및 상기 센싱된 제1 지점에 상기 가상의 신체 영상 중 상기 제2 지점이 연결되도록 상기 가상의 신체 영상을 상기 디스플레이에 출력할 수 있다. The processor may further include an operation of specifying a first point where a tracker worn or displayed on a predetermined point of the first body is located; specifying a location of a second point corresponding to a boundary point between a body part where the wearable device is worn and a body part where the wearable device is not worn in the virtual body image; The virtual body image may be output to the display such that the second point of the virtual body image is connected to the sensed first point.

또한, 상기 트래커는 웨어러블 밴드를 포함하고, 상기 웨어러블 밴드는 환자의 손목 또는 팔목을 둘러싸는 본체부; 상기 본체부의 상기 환자의 신체와 마주하는 면을 따라 환자의 손목 인대 또는 발목 인대의 형태적 변형에 대응하여 변화하는 저항 값을 출력하는 복수 개의 스트레인 게이지를 포함하는 센서부; 및 상기 센서부가 인식한 복수 개의 스트레인 게이지의 저항 값의 패턴을 기초로 사용자가 의도한 동작의 모양을 판별하는 프로세서를 포함하고, 상기 HMD 장치는 상기 웨어러블 밴드에 의해 판별된 동작의 모양을 기초로 상기 가상의 신체 영상에 대응되는 움직임을 반영하여 출력할 수 있다. In addition, the tracker includes a wearable band, and the wearable band includes a main body portion surrounding a patient's wrist or wrist; a sensor unit including a plurality of strain gauges outputting resistance values that change in response to morphological deformation of a wrist ligament or an ankle ligament of a patient along a surface of the main body unit facing the patient's body; and a processor for determining a shape of an operation intended by the user based on a pattern of resistance values of the plurality of strain gauges recognized by the sensor unit, wherein the HMD device determines a shape of the motion determined by the wearable band. Motion corresponding to the virtual body image may be reflected and output.

본 발명의 일 실시예에 따른 HMD 장치는 메모리; 유무선 통신 모듈; 환자의 절단되거나 마비된 신체 부위에 해당하는 제1 신체와 대칭되는 신체 부위인 제2 신체의 형태 및 움직임을 센싱하는 뎁스 카메라가 센싱한 정보를 기초로 상기 제2 신체와 대칭되는 형태 및 움직임과 좌우가 반전된 형태 및 움직임을 갖는 가상의 신체 영상을 생성하는 프로세서; 및 VR(Virtual Reality) 또는 AR(Augmented Reality) 영상과 함께 상기 제1 신체의 일단에 상기 가상 신체 정보를 출력하는 디스플레이를 포함할 수 있다. An HMD device according to an embodiment of the present invention includes a memory; wired/wireless communication module; Based on the information sensed by the depth camera that senses the shape and movement of the second body, which is a body part symmetrical to the first body corresponding to the patient's severed or paralyzed body part, the shape and movement symmetrical to the second body and a processor generating a virtual body image having a left and right inverted shape and movement; and a display that outputs the virtual body information to one end of the first body together with a Virtual Reality (VR) or Augmented Reality (AR) image.

본 발명의 일 실시예에 따른 HMD 장치가 수행하는 재활 방법에 있어서, 상기 방법은 환자의 절단되거나 마비된 신체 부위에 해당하는 제1 신체와 대칭되는 신체 부위인 제2 신체에 착용되고, 상기 환자의 움직임에 따른 제2 신체의 형태 및 움직임을 센싱하는 웨어러블 장치가 센싱한 정보를 수신하는 단계; 상기 센싱한 정보를 기초로 상기 제2 신체의 형태 및 움직임과 좌우가 반전된 형태 및 움직임을 갖는 가상의 신체 영상을 생성하는 단계; 및 VR(Virtual Reality) 또는 AR(Augmented Reality) 영상과 함께 상기 제1 신체의 일단에 상기 가상의 신체 영상을 출력하는 단계를 포함할 수 있다. 또한, 본 발명의 일 실시예는 프로세서가 상기 방법의 각 단계를 수행하도록 하는 명령어를 포함하는 컴퓨터 프로그램 또는 컴퓨터 기록매체를 포함할 수 있다.In a rehabilitation method performed by an HMD device according to an embodiment of the present invention, the method is worn on a second body that is a body part symmetrical to a first body part corresponding to a body part that has been severed or paralyzed of a patient, and the patient Receiving information sensed by a wearable device that senses a shape and movement of a second body according to the movement of the user; generating a virtual body image having a shape and movement of the second body and a left and right reversed shape and movement based on the sensed information; and outputting the virtual body image to one end of the first body together with a Virtual Reality (VR) or Augmented Reality (AR) image. In addition, an embodiment of the present invention may include a computer program or computer recording medium including instructions for causing a processor to perform each step of the method.

본 발명의 일 실시예에 따른 HMD 장치가 수행하는 재활 방법에 있어서, 상기 방법은 환자의 절단되거나 마비된 신체 부위에 해당하는 제1 신체와 대칭되는 신체 부위인 제2 신체의 형태 및 움직임을 센싱하는 뎁스 카메라가 센싱한 정보를 수신하는 단계; 상기 센싱한 정보를 기초로 상기 제2 신체의 형태 및 움직임과 좌우가 반전된 형태 및 움직임을 갖는 가상의 신체 영상을 생성하는 단계; 및 VR(Virtual Reality) 또는 AR(Augmented Reality) 영상과 함께 상기 제1 신체의 일단에 상기 가상의 신체 영상을 출력하는 단계를 포함할 수 있다. 또한, 상기 방법을 수행하는 프로세서를 포함하는 컴퓨터 프로그램을 포함할 수 있다. 또한, 본 발명의 일 실시예는 프로세서가 상기 방법의 각 단계를 수행하도록 하는 명령어를 포함하는 컴퓨터 프로그램 또는 컴퓨터 기록매체를 포함할 수 있다.In the rehabilitation method performed by the HMD device according to an embodiment of the present invention, the method senses the shape and motion of a second body part that is symmetrical with a first body part corresponding to a body part that has been severed or paralyzed of a patient. receiving information sensed by a depth camera; generating a virtual body image having a shape and movement of the second body and a left and right reversed shape and movement based on the sensed information; and outputting the virtual body image to one end of the first body together with a Virtual Reality (VR) or Augmented Reality (AR) image. In addition, it may include a computer program including a processor for performing the method. In addition, an embodiment of the present invention may include a computer program or computer recording medium including instructions for causing a processor to perform each step of the method.

본 발명의 실시예에 따르면, 환자의 신체 절단 부위에 가상의 신체를 구현할 수 있고, 이때 구현된 가상의 신체는 절단되지 않은 신체가 갖는 움직임과 대칭되는 움직임을 갖도록 구현될 수 있다. 이에 따라, 환자는 의식적으로 양손 또는 양발이 동일한 동작을 한다고 생각하면서, 가상현실을 통해 구현되는 가상의 신체의 움직임을 시각적으로 인지함으로써, 거울 치료법과 같은 개념의 재활을 진행할 수 있다. According to an embodiment of the present invention, a virtual body can be implemented at a patient's dismembered body part, and at this time, the implemented virtual body can be implemented to have a movement symmetrical to that of a non-amputated body. Accordingly, the patient can consciously think that both hands or both feet perform the same motion, and visually recognize the movement of the virtual body implemented through virtual reality, thereby performing rehabilitation with the same concept as mirror therapy.

이에 따라, 환자는 양 신체의 행동을 동일하게 움직인다는 인지를 통해 가상의 신체를 실제의 팔과 다리처럼 움직이고, 시각적으로 신체의 움직임을 현실감을 있게 인지할 수 있게 되어, 환상통이 완화될 수 있고 재활 훈련의 효과가 향상될 수 있다.Accordingly, the patient can move the virtual body like a real arm and leg through the perception that the actions of both bodies move in the same way, and visually perceive the movement of the body with a sense of reality, so that phantom pain can be alleviated. and the effectiveness of rehabilitation training can be improved.

또한, 환자는 HMD(Head Mounted Display) 장치를 통해 실제 생활과 동일한 시점에서 가상의 신체 영상을 눈앞에서 인지하게 되므로, 실제의 신체처럼 자연스러운 시점에서 생동감 있게 인지할 수 있게 된다.In addition, since the patient perceives a virtual body image in front of his/her eyes at the same viewpoint as in real life through a Head Mounted Display (HMD) device, the patient can perceive it vividly from a natural viewpoint like the real body.

더하여, 환자의 움직임은 FLEX 필름으로 구성된 웨어러블 장치가 실제 환자의 팔 또는 다리의 세세한 움직임을 센싱하도록 구현됨으로써, 가상의 신체의 움직임이 보다 정확하게 실제 신체의 움직임을 반영하여 움직이도록 구현될 수 있다.In addition, the motion of the patient can be implemented so that the motion of the virtual body more accurately reflects the motion of the real body as the wearable device made of the FLEX film is implemented to sense the detailed motion of the real patient's arm or leg.

더불어, 환자가 가상의 신체로 수행할 수 있는 다양한 미션을 포함하는 배경 또는 객체를 VR 영상 또는 AR 영상으로 제공하여, 환자에게 흥미 요소를 결합한 치료 콘텐츠를 제공할 수 있다. In addition, it is possible to provide patients with treatment content combining interesting elements by providing VR images or AR images of backgrounds or objects including various missions that the patient can perform with a virtual body.

이 외에, 본 문서를 통해 직접적 또는 간접적으로 파악되는 다양한 효과들이 제공될 수 있다.In addition to this, various effects identified directly or indirectly through this document may be provided.

도 1은 본 발명의 일 실시예에 따른 재활 시스템의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 HMD 장치의 기능 블록도이다.
도 3은 본 발명의 일 실시예에 따라 재활 시스템을 사용하는 환자의 모습을 나타낸 예시도이다.
도 4는 본 발명의 일 실시예에 따라 재활 시스템을 사용하는 동작을 나타낸 예시도이다.
도 5 및 도 6은 본 발명의 일 실시예에 따라 재활 시스템이 VR(Virtual Reality) 또는 AR(Augmented Reality)을 활용하여 배경 또는 객체를 HMD 장치의 디스플레이에 추가적으로 출력한 콘텐츠의 예시도이다.
도 7은 본 발명의 일 실시예에 따라 재활 시스템을 실제로 착용한 모습과, 웨어러블 장치 내부가 신체 형상을 한 FLEX 필름으로 제작된 모습의 예시도이다. 1 is a block diagram of a rehabilitation system according to an embodiment of the present invention.
2 is a functional block diagram of an HMD device according to an embodiment of the present invention.
3 is an exemplary view showing a patient using a rehabilitation system according to an embodiment of the present invention.
4 is an exemplary diagram illustrating an operation using a rehabilitation system according to an embodiment of the present invention.
5 and 6 are exemplary views of content in which a background or object is additionally output to a display of an HMD device by a rehabilitation system using virtual reality (VR) or augmented reality (AR) according to an embodiment of the present invention.
7 is an exemplary view showing a state in which a rehabilitation system is actually worn and a state in which the inside of a wearable device is made of a body-shaped FLEX film according to an embodiment of the present invention.

본 발명의 이점 및 특징,　그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다.　　그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있으며,　단지 본 실시예들은 본 발명의 개시가 완전하도록 하고,　본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며,　본 발명의 범주는 청구항에　의해 정의될 뿐이다.Advantages and features of the present invention, and methods for achieving them will become clear with reference to the detailed description of the following embodiments in conjunction with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below and can be implemented in various forms, only these embodiments make the disclosure of the present invention complete, and those skilled in the art It is provided to fully inform the person of the scope of the invention, and the scope of the invention is only defined by the claims.

본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명은 실제로 필요한 경우 외에는 생략될 것이다.　　그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다.　　그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.In describing the embodiments of the present invention, detailed descriptions of well-known functions or configurations will be omitted unless actually necessary. In addition, terms to be described later are terms defined in consideration of functions in the embodiment of the present invention, which may vary according to the intention or custom of a user or operator. Therefore, the definition should be made based on the contents throughout this specification.

도면에 표시되고 아래에 설명되는 기능 블록들은 가능한 구현의 예들일 뿐이다. 다른 구현들에서는 상세한 설명의 사상 및 범위를 벗어나지 않는 범위에서 다른 기능 블록들이 사용될 수 있다. 또한 본 발명의 하나 이상의 기능 블록이 개별 블록들로 표시되지만, 본 발명의 기능 블록 중 하나 이상은 동일 기능을 실행하는 다양한 하드웨어 및 소프트웨어 구성의 조합일 수 있다.The functional blocks shown in the drawings and described below are only examples of possible implementations. Other functional blocks may be used in other implementations without departing from the spirit and scope of the detailed description. Also, while one or more functional blocks of the present invention are represented as separate blocks, one or more of the functional blocks of the present invention may be a combination of various hardware and software configurations that perform the same function.

또한 어떤 구성 요소들을 포함한다는 표현은 개방형의 표현으로서 해당 구성 요소들이 존재하는 것을 단순히 지칭할 뿐이며, 추가적인 구성 요소들을 배제하는 것으로 이해되어서는 안 된다.In addition, the expression that certain components are included simply indicates that the corresponding components exist as an open expression, and should not be understood as excluding additional components.

나아가 어떤 구성 요소가 다른 구성 요소에 연결되어 있다거나 접속되어 있다고 언급될 때에는, 그 다른 구성 요소에 직접적으로 연결 또는 접속되어 있을 수도 있지만, 중간에 다른 구성 요소가 존재할 수도 있다고 이해되어야 한다. Furthermore, it should be understood that when a component is referred to as being connected or connected to another component, it may be directly connected or connected to the other component, but other components may exist in the middle.

또한 '제1, 제2' 등과 같은 표현은 복수의 구성을 구분하기 위한 용도로만 사용된 표현으로써, 구성들 사이의 순서나 기타 특징들을 한정하지 않는다. In addition, expressions such as 'first and second' are expressions used only to classify a plurality of components, and do not limit the order or other characteristics between the components.

본 발명의 실시예에 따른 VR/AR 기반의 가상이식을 이용한 재활 시스템(10)(이하, '재활 시스템(10)'으로 지칭)은 환자들에게 절단된 부위의 신체가 통증 없이 움직인다는 시각적 효과로 착각을 일으키게 하여 잘린 부위에서 느끼는 환상통을 줄인다는 거울 치료법의 치료 개념을 유지하면서, 환자가 거울 없이도 다양한 동작을 수행할 수 있는 치료 방식을 구현하여, 사지 절단 환자의 환상통을 완화하는 치료와 재활 훈련의 효과를 높이는데 기여하는 기술을 제공한다. The rehabilitation system 10 (hereinafter referred to as 'rehabilitation system 10') using VR/AR-based virtual implantation according to an embodiment of the present invention has a visual effect that the body of the amputated part moves without pain to patients. A treatment that alleviates phantom pain in limb amputation patients by realizing a treatment method that allows patients to perform various movements without a mirror while maintaining the treatment concept of mirror therapy to reduce phantom pain felt in the amputated area by creating an illusion of and provides techniques that contribute to enhancing the effectiveness of rehabilitation training.

본 발명의 실시예에 따른 재활 시스템(10)은 VR(Virtual Reality) 또는 AR(Augmented Reality) 기술을 통해 환자의 신체가 절단된 부위에 가상의 신체를 구현하고, 이때 구현된 가상의 신체는 절단되지 않은 신체가 갖는 움직임과 대칭되는 움직임을 갖도록 구현할 수 있다. 이를 위해, 본 발명의 실시예에 따른 재활 시스템(10)이 포함하고 있는 구성들과, 각 구성의 동작을 도면들과 함께 설명하도록 한다. The rehabilitation system 10 according to an embodiment of the present invention implements a virtual body at a part where the patient's body is cut through VR (Virtual Reality) or AR (Augmented Reality) technology, and at this time, the implemented virtual body is cut It can be implemented to have a movement that is symmetrical to the movement of a body that has not been developed. To this end, the components included in the rehabilitation system 10 according to the embodiment of the present invention and the operation of each component will be described with drawings.

도 1은 본 발명의 일 실시예에 따른 재활 시스템(10)의 구성도이다.1 is a block diagram of a rehabilitation system 10 according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 일 실시예에 따른 재활 시스템(또는 장치)(10)은 웨어러블 장치(Wearable Device)(100), HMD(Head Mounted Display) 장치(200), 및 트래커(300)를 포함할 수 있다. 또한, 본 발명의 일 실시예에 따른 시스템은 뎁스 카메라(400)(Depth Camera)를 추가로 포함하거나, 웨어러블 장치(100)가 뎁스 카메라(400)로 대체되는 실시예를 포함할 수 있다. Referring to FIG. 1 , a rehabilitation system (or device) 10 according to an embodiment of the present invention includes a wearable device 100, a head mounted display (HMD) device 200, and a tracker 300 can include Also, the system according to an embodiment of the present invention may further include a depth camera 400 or may include an embodiment in which the wearable device 100 is replaced with the depth camera 400 .

웨어러블 장치(100)는 신체에 부착되거나 착용되어 외부 장치와 유무선 통신을 수행하는 장치이다. 웨어러블 장치(100)는 모션캡쳐 장갑, VR 스마트 장갑, 모션인식 장갑을 포함할 수 있고, 환자의 손, 팔, 발, 발목 등 신체의 일부분에 착용될 수 있다. 예를 들어, 웨어러블 장치(100)는 환자의 절단되거나 마비된 신체 부위(이하, "제1 신체(11)"로 지칭)와 대칭되는 신체 부위(이하, "제2 신체(12)"로 지칭)에 착용될 수 있고, 웨어러블 장치(100)는 환자의 움직임에 따른 제2 신체(12)의 형태 및 움직임을 센싱한 정보를 생성할 수 있다. The wearable device 100 is a device attached to or worn on the body to perform wired/wireless communication with an external device. The wearable device 100 may include a motion capture glove, a VR smart glove, and a motion recognition glove, and may be worn on a part of the patient's body, such as a hand, arm, foot, or ankle. For example, the wearable device 100 may include a body part that is symmetrical with a body part that is amputated or paralyzed (hereinafter referred to as “first body 11”) of the patient (hereinafter referred to as “second body 12”). ), and the wearable device 100 can generate information by sensing the shape and movement of the second body 12 according to the movement of the patient.

예를 들어, 웨어러블 장치(100)는 표면이 늘어나거나 줄어듬에 따라 변화하는 저항값을 통해 표면의 형태 변화를 센싱 가능한 플렉스(flex) 필름을 포함할 수 있다. 플렉스 필름은 제2 신체(12)를 둘러쌀 수 있도록 제2 신체(12)에 대응하는 형태로 구성(ex. 도 7 도면부호 110 참조)될 수 있고, 웨어러블 장치(100)는 제2 신체(12)를 둘러싼 플렉스 필름에 의해 센싱된 제2 신체(12)의 형태 및 움직임에 대한 정보를 생성하여 유무선 통신을 통해 HMD 장치(200)로 전송할 수 있다. For example, the wearable device 100 may include a flex film capable of sensing a shape change of a surface through a resistance value that changes as the surface is stretched or shrunk. The flex film may be configured in a shape corresponding to the second body 12 so as to surround the second body 12 (eg, see reference numeral 110 in FIG. 7 ), and the wearable device 100 may include the second body ( 12), information on the shape and movement of the second body 12 sensed by the surrounding flex film may be generated and transmitted to the HMD device 200 through wired or wireless communication.

뎁스 카메라(400)(Depth Camera)는 복수의 카메라 모듈을 포함하여 객체로부터 얻어지는 이미지 픽셀의 깊이 값을 계산하여 객체의 3차원 깊이 정보를 생성할 수 있는 카메라이다. 뎁스 카메라(400)는 환자의 손, 팔, 발, 발목 등을 촬영할 수 있다. 예를 들어, 뎁스 카메라(400)는 환자의 절단되거나 마비된 신체 부위에 해당하는 제1 신체(11)와 대칭되는 신체 부위인 제2 신체(12)를 촬영할 수 있고, 환자의 움직임에 따른 제2 신체(12)의 형태 및 움직임을 센싱한 정보를 생성할 수 있다. The depth camera 400 includes a plurality of camera modules and is capable of generating 3D depth information of an object by calculating a depth value of an image pixel obtained from the object. The depth camera 400 may photograph the patient's hands, arms, feet, ankles, and the like. For example, the depth camera 400 may capture the second body 12, which is a body part that is symmetrical with the first body 11 corresponding to the patient's severed or paralyzed body part, 2 Information obtained by sensing the shape and movement of the body 12 may be generated.

HMD 장치(200)(Head Mounted Display)는 환자의 안구 주위에 안경처럼 착용될 수 있고, 환자에게 가상 정보를 포함하는 영상을 출력하는 장치이다. 본 발명의 실시예의 HMD 장치(200)는 FMD(Face Mounted Display) 또는 스마트 글래스(Smart Glasses)를 포괄하는 개념이다. The HMD device 200 (Head Mounted Display) is a device that can be worn around the patient's eyes like glasses and outputs an image including virtual information to the patient. The HMD device 200 according to an embodiment of the present invention is a concept encompassing a face mounted display (FMD) or smart glasses.

도 2는 본 발명의 일 실시예에 따른 HMD 장치(200)의 기능 블록도이다. 도 2를 참조하면, 본 발명의 실시예에 따른 HMD 장치(200)는 프로세서(220), 메모리(210), 및 디스플레이(230)를 포함할 수 있다. 2 is a functional block diagram of the HMD device 200 according to an embodiment of the present invention. Referring to FIG. 2 , the HMD device 200 according to an embodiment of the present invention may include a processor 220, a memory 210, and a display 230.

메모리(210)는 프로세서(220)를 동작하도록 하는 명령어와 프로세서(220)의 동작에 필요한 데이터를 저장할 수 있다. The memory 210 may store instructions for operating the processor 220 and data necessary for the operation of the processor 220 .

프로세서(220)는 중앙 처리 장치(CPU; central processing unit) 등을 포함하여 다양한 데이터의 처리 및 연산을 수행할 수 있다. 프로세서(220)는 웨어러블 장치(100) 또는 뎁스 카메라(400)가 센싱한 정보를 기초로 환자의 제2 신체(12)의 형태/움직임과 좌우가 반전된 형태/움직임을 갖는 가상의 신체 영상에 대한 정보를 생성할 수 있다. The processor 220 may process and calculate various data including a central processing unit (CPU) or the like. Based on the information sensed by the wearable device 100 or the depth camera 400, the processor 220 generates a virtual body image having the form/movement of the patient's second body 12 and the left/right reversed form/movement. information can be generated.

디스플레이(230)는 환자에게 가상 정보를 포함하는 영상을 출력할 수 있다. 디스플레이(230)는 환자의 제1 신체(11)의 일단에 프로세서(220)가 생성한 가상의 신체 영상을 VR(Virtual Reality) 또는 AR(Augmented Reality) 영상과 함께 출력할 수 있다. The display 230 may output an image including virtual information to the patient. The display 230 may output a virtual body image generated by the processor 220 to one end of the patient's first body 11 together with a Virtual Reality (VR) or Augmented Reality (AR) image.

또한, HMD 장치(200)는 외부 장치와 유무선 통신을 수행하는 통신 모듈(도면 미도시) 및 외부 환경을 인식하고 촬영하는 카메라(도면 미도시)를 더 포함할 수 있다. In addition, the HMD device 200 may further include a communication module (not shown) that performs wired/wireless communication with an external device and a camera (not shown) that recognizes and captures an external environment.

트래커(300)(Tracker)는 HMD 장치(200)가 환자의 제1 신체(11)의 일단(ex. 절단된 신체 부위의 경계쪽 신체)을 특정할 수 있도록 표시된 물리적 표식(Mark) 또는 웨어러블 밴드(Wearable Band)를 포함할 수 있다. 웨어러블 밴드(300)는 환자의 제1 신체(11)의 일단(ex. 절단된 신체 부위와 연결된 손목, 팔목, 발목, 무릎 등)에 착용되어, 환자가 절단된 신체를 움직이려고 할 때 변화하는 인대의 움직임을 센싱하여 인대의 움직임에 대한 정보를 생성하고, 인대의 움직임에 대한 정보를 기초로 환자가 의도한 절단 부위의 움직임을 판별할 수 있다. The tracker 300 is a physical mark or wearable band marked so that the HMD device 200 can specify one end of the patient's first body 11 (eg, the body on the boundary side of the severed body part). (Wearable Band) may be included. The wearable band 300 is worn on one end of the patient's first body 11 (eg, a wrist, wrist, ankle, knee, etc. connected to the amputated body part), and ligaments that change when the patient tries to move the amputated body It is possible to sense the movement of the ligament to generate information about the movement of the ligament, and to determine the movement of the patient's intended cutting part based on the information about the movement of the ligament.

도 3은 본 발명의 일 실시예에 따라 재활 시스템(10)을 사용하는 환자의 모습을 나타낸 예시도이다. 3 is an exemplary view showing a state of a patient using the rehabilitation system 10 according to an embodiment of the present invention.

도 3을 참조하면, 환자는 제1 신체(11)(도 3 인물의 왼손)가 절단된 상태이다. 이에 따라, 본 발명의 일 실시예에 따른 재활 시스템(10)을 사용하기 위해, 환자는 제2 신체(12)(도 3 인물의 오른손)에 웨어러블 장치(100)를 착용할 수 있다. 또한, 환자는 안구 주위에 HMD 장치(200)를 착용될 수 있다. 또한, 환자는 신체의 절단 부분의 위치를 특정하기 위해, 제1 신체(11)의 일단(도 3 도면 부호 300 부근)에 트래커(300)로서 마크를 표시하거나, 또는 웨어러블 밴드(300)를 착용할 수 있다.Referring to FIG. 3 , the patient's first body 11 (the left hand of the person in FIG. 3 ) is in a state of being severed. Accordingly, in order to use the rehabilitation system 10 according to an embodiment of the present invention, the patient may wear the wearable device 100 on the second body 12 (the right hand of the person in FIG. 3 ). Also, the patient may wear the HMD device 200 around the eyeball. In addition, the patient displays a mark as a tracker 300 on one end of the first body 11 (near reference numeral 300 in FIG. 3) or wears a wearable band 300 in order to specify the location of the cut part of the body. can do.

도 4는 본 발명의 일 실시예에 따라 재활 시스템(10)을 사용하는 동작을 나타낸 예시도이다. 4 is an exemplary diagram illustrating an operation using the rehabilitation system 10 according to an embodiment of the present invention.

도 4를 참조하면, HMD 장치(200)는 환자의 상지 절단된 부위와 대칭되는 부위의 신체와 좌우가 반전된 움직임을 갖는 가상의 신체 영상을 생성할 수 있다. Referring to FIG. 4 , the HMD device 200 may generate a virtual body image having movements in which left and right directions are reversed from those of the patient's body that are symmetrical to the amputated upper limb.

일 실시예에 따르면, HMD 장치(200)의 프로세서(220)는 웨어러블 장치(100)가 환자의 절단된 신체 부위와 대칭되는 부위의 신체에 착용된 웨어러블 장치(100)가 센싱한 정보를 기초로, 제2 신체(12)의 형태 및 움직임 정보를 구성하는 복수의 3차원 위치 정보를 생성할 수 있다. According to an embodiment, the processor 220 of the HMD device 200 performs processing based on information sensed by the wearable device 100 worn on the body of a body part where the wearable device 100 is symmetrical to the severed body part of the patient. , It is possible to generate a plurality of 3D location information constituting the shape and motion information of the second body 12 .

이에 따라, 프로세서(220)는 복수의 3차원 위치 정보의 좌우를 반전시킨 복수의 가상 위치 정보를 생성할 수 있다. 예를 들어, 프로세서(220)는 소정의 3차원 면을 기준으로 복수의 3차원 위치 정보 각각을 면대칭시킴으로써, 좌우가 반전된 복수의 가상 위치 정보를 생성할 수 있다. 또는, 프로세서(220)는 복수의 3차원 위치 정보가 3차원 좌표 (x, y, z)로 구성된 경우, 이 중 어느 한 차원 정보의 부호를 반전시킨 3차원 좌표 (-x, y, z)를 생성함으로써 가상 위치 정보를 생성할 수 있다. Accordingly, the processor 220 may generate a plurality of virtual location information obtained by inverting the left and right of the plurality of 3D location information. For example, the processor 220 may generate a plurality of virtual location information in which the left and right sides are reversed by plane-symmetry each of a plurality of pieces of 3D location information with respect to a predetermined 3D plane. Alternatively, when the plurality of 3D location information is composed of 3D coordinates (x, y, z), the processor 220 obtains 3D coordinates (-x, y, z) obtained by inverting the sign of any one of the 3D location information. It is possible to generate virtual location information by generating.

이후, 프로세서(220)는 복수의 가상 위치 정보를 3D 렌더링하여 VR 또는 AR 영상에 시각적으로 출력될 수 있는 가상의 신체 영상을 생성할 수 있다. Thereafter, the processor 220 may generate a virtual body image that can be visually output on a VR or AR image by 3D rendering the plurality of virtual location information.

도 4의 Step 1 내지 Step 3를 참조하면, HMD 장치(200)는 환자의 제1 신체(11)의 일단에 가상의 신체 영상을 VR 영상 또는 AR 영상과 함께 출력할 수 있다. Referring to Steps 1 to 3 of FIG. 4 , the HMD device 200 may output a virtual body image along with a VR image or an AR image to one end of the patient's first body 11 .

일 실시예에 따르면, HMD 장치(200)의 프로세서(220)는 카메라 또는 통신모듈을 이용하여 환자의 제1 신체(11) 중 소정 지점에 착용 또는 표시된 트래커(300)가 위치하는 제1 지점을 특정할 수 있다. 이후, 프로세서(220)는 카메라 또는 통신모듈을 이용하여 가상의 신체 영상에서 웨어러블 장치(100)가 착용된 신체 부분(도 3의 도면 부호 12)과 착용되지 않은 신체 부분(도 3의 도면 부호 13)의 경계 지점(도 3의 도면 부호 a)에 해당하는 제2 지점의 위치를 특정할 수 있다. 이에 따라, 프로세서(220)는 환자의 제1 지점(300)에 가상의 신체 영상의 제2 지점이 연결되도록 가상의 신체 영상을 디스플레이(230)에 출력할 수 있다. According to an embodiment, the processor 220 of the HMD device 200 determines a first point where the tracker 300 worn or displayed is located at a predetermined point among the patient's first body 11 by using a camera or a communication module. can be specified Thereafter, the processor 220 uses a camera or a communication module to determine the body part on which the wearable device 100 is worn (reference numeral 12 in FIG. 3 ) and the body part not worn (reference numeral 13 in FIG. 3 ) in the virtual body image. ) It is possible to specify the location of the second point corresponding to the boundary point (reference numeral a in FIG. 3). Accordingly, the processor 220 may output the virtual body image to the display 230 such that the second point of the virtual body image is connected to the first point 300 of the patient.

더하여, 상기 트래커(300)가 웨어러블 밴드(300)인 경우, 웨어러블 밴드(300)는 환자의 인대의 움직임을 기초로, 환자가 절단된 신체를 움직이려고 의도한 동작을 판별할 수 있다. 이를 위해, 웨어러블 밴드(300)는 환자의 손목 또는 팔목을 둘러싸는 본체부, 상기 본체부가 신체가 접촉하는 면을 따라 환자의 손목 또는 발목 인대 부분의 형태적 변형에 따라 대응하는 저항 값을 출력하는 복수 개의 스트레인 게이지를 포함하는 센서부, 상기 센서부가 인식한 복수 개의 스트레인 게이지의 저항 값의 패턴을 기초로 사용자가 의도한 동작의 모양을 판별하는 프로세서를 포함할 수 있다. HMD 장치(200)는 웨어러블 밴드에 의해 판별된 동작의 모양을 기초로 가상의 신체 영상에 대응되는 움직임을 반영하여 출력할 수 있다. 이에 따라, 환자는 신체가 절단되어도 인대의 움직임에 따라 가상의 신체 영상이 움직이는 모습을 시각적으로 확인할 수 있다. In addition, when the tracker 300 is the wearable band 300, the wearable band 300 can determine the intended motion of the patient to move the amputated body based on the motion of the patient's ligaments. To this end, the wearable band 300 outputs a corresponding resistance value according to the morphological deformation of the patient's wrist or ankle ligament along the body portion surrounding the patient's wrist or wrist and the body portion contacting the body surface. It may include a sensor unit including a plurality of strain gauges, and a processor for determining a shape of an operation intended by a user based on a pattern of resistance values of the plurality of strain gauges recognized by the sensor unit. The HMD device 200 may reflect and output a motion corresponding to a virtual body image based on the motion shape determined by the wearable band. Accordingly, even if the patient's body is severed, the patient can visually check the movement of the virtual body image according to the movement of ligaments.

도 5 및 도 6은 본 발명의 일 실시예에 따라 재활 시스템(10)이 VR(Virtual Reality) 또는 AR(Augmented Reality)을 활용하여 배경 또는 객체를 HMD 장치(200)의 디스플레이(230)에 추가적으로 출력한 콘텐츠의 예시도이다. 5 and 6 show that the rehabilitation system 10 additionally displays a background or an object on the display 230 of the HMD device 200 by utilizing Virtual Reality (VR) or Augmented Reality (AR) according to an embodiment of the present invention. It is an example of output content.

도 5를 참조하면, HMD 장치(200)는 손등을 위로 한 채 손을 접었다 폈다 동작을 반복하는 미션, 손등을 옆으로 한 채 손을 접었다 폈다 동작을 반복하는 미션, 손등을 아래로 한 채 손을 접었다 폈다 동작을 반복하는 미션, 각 손가락을 움직이는 미션, 영상에 출력되는 소정 위치의 버튼을 누르는 미션, 영상에 출력되는 소정 위치의 객체를 옮기는 미션, 영상에 출력되는 객체에 그림을 그리는 미션, 영상에 출력되는 객체에 소정의 동작을 취하는 미션 등을 포함하는 콘텐츠를 VR 영상과 함께 출력하고, 환자가 해당 미션을 수행하도록 유도하여 환상통 치료를 도울 수 있다. Referring to FIG. 5 , the HMD device 200 includes a mission of repeating folding and unfolding of the hand with the back of the hand up, a mission of repeating the folding and opening of the hand with the back of the hand sideways, and a mission of repeating the operation of folding and unfolding the hand with the back of the hand facing down. A mission to repeat folding and unfolding operations, a mission to move each finger, a mission to press a button at a predetermined position output on video, a mission to move an object at a predetermined position output on video, a mission to draw a picture on an object output on video, It is possible to help treat phantom pain by outputting contents including a mission to take a predetermined action on an object displayed in the video along with the VR video and inducing the patient to perform the mission.

도 6를 참조하면, HMD 장치(200)는 환자가 위치한 실제 주변 환경에 가상의 신체 영상을 출력한 AR 영상을 생성하여 출력할 수 있고, 상술한 도 5의 콘텐츠와 동일한 미션의 콘텐츠를 제공하여, 환자가 미션들을 수행하도록 유도할 수 있다. 또한, HMD 장치(200)는 영상에 특정한 손 동작이나, 숫자, 또는 수학 문제를 출력하여, 환자가 가상의 신체 영상이 특정한 손 동작을 나타내도록 유도하고, 환자가 취한 손 동작이 콘텐츠에 기 설정된 답 또는 기 설정된 손동작과 같은 것으로 인식되면 환자에게 점수를 부여하는 방식으로, 환자가 미션을 수행하도록 유도하여 환상통 치료를 도울 수 있다. Referring to FIG. 6 , the HMD device 200 may generate and output an AR image in which a virtual body image is output to a real surrounding environment where a patient is located, and provide content of the same mission as the content of FIG. 5 described above. , can induce the patient to perform missions. In addition, the HMD device 200 outputs a specific hand motion, number, or mathematical problem to the image, so that the patient induces the virtual body image to represent a specific hand motion, and the hand motion taken by the patient is preset in the content. If it is recognized as an answer or a predetermined hand gesture, the patient can be guided to perform the mission by giving the patient a score, thereby helping the patient to treat phantom pain.

상술한 실시예에 따르면, 환자의 신체 절단 부위에 가상의 신체를 구현할 수 있고, 이때 구현된 가상의 신체는 절단되지 않은 신체가 갖는 움직임과 대칭되는 움직임을 갖도록 구현될 수 있다. 이에 따라, 환자는 의식적으로 양손 또는 양발이 동일한 동작을 한다고 생각하면서, 가상현실을 통해 구현되는 가상의 신체의 움직임을 시각적으로 인지함으로써, 거울 치료법과 같은 개념의 치료를 진행할 수 있다. According to the above-described embodiment, a virtual body can be implemented at the patient's dismembered body part, and at this time, the implemented virtual body can be implemented to have a movement symmetrical to that of the non-amputated body. Accordingly, while the patient consciously thinks that both hands or both feet perform the same motion, the patient can proceed with the concept of mirror therapy by visually recognizing the movement of the virtual body implemented through virtual reality.

이에 따라, 환자는 양 신체의 행동을 동일하게 움직인다는 인지를 통해 가상의 신체를 실제의 팔과 다리처럼 움직이고, 시각적으로 신체의 움직임을 현실감을 있게 인지할 수 있게 되어, 환상통이 완화될 수 있고 재활 훈련의 효과가 향상될 수 있다.Accordingly, the patient can move the virtual body like a real arm and leg through the perception that the actions of both bodies move in the same way, and visually perceive the movement of the body with a sense of reality, so that phantom pain can be alleviated. and the effectiveness of rehabilitation training can be improved.

또한, 환자는 HMD(Head Mounted Display) 장치를 통해 실제 생활과 동일한 시점에서 가상의 신체 영상을 눈앞에서 인지하게 되므로, 실제의 신체처럼 자연스러운 시점에서 생동감 있게 인지할 수 있게 된다.In addition, since the patient perceives a virtual body image in front of his/her eyes at the same viewpoint as in real life through a Head Mounted Display (HMD) device, the patient can perceive it vividly from a natural viewpoint like the real body.

더하여, 환자의 움직임은 FLEX 필름으로 구성된 웨어러블 장치가 실제 환자의 팔 또는 다리의 세세한 움직임을 센싱하도록 구현됨으로써, 가상의 신체의 움직임이 보다 정확하게 실제 신체의 움직임을 반영하여 움직이도록 구현될 수 있다.In addition, the motion of the patient can be implemented so that the motion of the virtual body more accurately reflects the motion of the real body as the wearable device made of the FLEX film is implemented to sense the detailed motion of the real patient's arm or leg.

더불어, 환자가 가상의 신체로 수행할 수 있는 다양한 미션을 포함하는 배경 또는 객체를 VR 영상 또는 AR 영상으로 제공하여, 환자에게 흥미 요소를 결합한 치료 콘텐츠를 제공할 수 있다. In addition, it is possible to provide patients with treatment content combining interesting elements by providing VR images or AR images of backgrounds or objects including various missions that the patient can perform with a virtual body.

상술한 본 발명의 실시예들은 다양한 수단을 통해 구현될 수 있다. 예를 들어, 본 발명의 실시예들은 하드웨어, 펌웨어(firmware), 소프트웨어 또는 그것들의 결합 등에 의해 구현될 수 있다.The above-described embodiments of the present invention may be implemented through various means. For example, embodiments of the present invention may be implemented by hardware, firmware, software, or a combination thereof.

하드웨어에 의한 구현의 경우, 본 발명의 실시예들에 따른 방법은 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 프로세서, 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.In the case of hardware implementation, the method according to the embodiments of the present invention includes one or more ASICs (Application Specific Integrated Circuits), DSPs (Digital Signal Processors), DSPDs (Digital Signal Processing Devices), PLDs (Programmable Logic Devices) , Field Programmable Gate Arrays (FPGAs), processors, controllers, microcontrollers, microprocessors, etc.

펌웨어나 소프트웨어에 의한 구현의 경우, 본 발명의 실시예들에 따른 방법은 이상에서 설명된 기능 또는 동작을 수행하는 모듈, 절차 또는 함수 등의 형태로 구현될 수 있다. 소프트웨어 코드 등이 기록된 컴퓨터 프로그램은 컴퓨터 판독 가능 기록 매체 또는 메모리 유닛에 저장되어 프로세서에 의해 구동될 수 있다. 메모리 유닛은 프로세서 내부 또는 외부에 위치하여, 이미 공지된 다양한 수단에 의해 프로세서와 데이터를 주고받을 수 있다.In the case of implementation by firmware or software, the method according to the embodiments of the present invention may be implemented in the form of a module, procedure, or function that performs the functions or operations described above. A computer program in which software codes and the like are recorded may be stored in a computer readable recording medium or a memory unit and driven by a processor. The memory unit may be located inside or outside the processor and exchange data with the processor by various means known in the art.

또한 본 발명에 첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 인코딩 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 인코딩 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방법으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.In addition, combinations of each block of the block diagram and each step of the flowchart attached to the present invention may be performed by computer program instructions. Since these computer program instructions may be loaded into an encoding processor of a general-purpose computer, special-purpose computer, or other programmable data processing equipment, the instructions executed by the encoding processor of the computer or other programmable data processing equipment are each block or block diagram of the block diagram. Each step in the flow chart creates means for performing the functions described. These computer program instructions may also be stored in a computer usable or computer readable memory that can be directed to a computer or other programmable data processing equipment to implement functionality in a particular way, such that the computer usable or computer readable memory The instructions stored in are also capable of producing an article of manufacture containing instruction means for performing the functions described in each block of the block diagram or each step of the flow chart. The computer program instructions can also be loaded on a computer or other programmable data processing equipment, so that a series of operational steps are performed on the computer or other programmable data processing equipment to create a computer-executed process to generate computer or other programmable data processing equipment. It is also possible that the instructions performing the processing equipment provide steps for executing the functions described in each block of the block diagram and each step of the flowchart.

더불어 각 블록 또는 각 단계는 특정된 논리적 기능을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또한, 몇 가지 대체 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.In addition, each block or each step may represent a module, segment or piece of code that contains one or more executable instructions for executing a specified logical function. It should also be noted that in some alternative embodiments it is possible for the functions recited in blocks or steps to occur out of order. For example, two blocks or steps shown in succession may in fact be performed substantially concurrently, or the blocks or steps may sometimes be performed in reverse order depending on their function.

이와 같이, 본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.As such, those skilled in the art to which the present invention pertains will be able to understand that the present invention may be embodied in other specific forms without changing its technical spirit or essential features. Therefore, the embodiments described above should be understood as illustrative in all respects and not limiting. The scope of the present invention is indicated by the following claims rather than the detailed description, and all changes or modifications derived from the meaning and scope of the claims and their equivalent concepts should be construed as being included in the scope of the present invention. .

Claims (8)

환자의 절단되거나 마비된 신체 부위에 해당하는 제1 신체와 대칭되는 신체 부위인 제2 신체를 촬영하여 상기 제2 신체의 형태 및 움직임을 센싱하는 뎁스 카메라;
상기 제1 신체에 착용되는 트래커; 및
상기 뎁스 카메라가 센싱한 정보를 기초로 상기 제2 신체의 형태 및 움직임과 좌우가 반전된 형태 및 움직임을 갖는 가상의 신체 영상을 생성하는 프로세서 및, 상기 트래커의 위치를 기초로 상기 가상의 신체 영상을 출력하는 디스플레이로 구성된 헤드 마운티드 디스플레이(HMD, Head Mounted Display) 장치를 포함하고,
상기 트래커는,
상기 제1 신체의 일부를 둘러싸는 본체부;
상기 제1 신체의 일부의 형태적 변형에 대응하여 변화하는 저항 값을 출력하는 스트레인 게이지를 포함하는 센서부; 및
상기 센서부가 인식한 스트레인 게이지의 저항 값의 패턴을 기초로 사용자가 의도한 동작의 모양을 판별하는 프로세서를 포함하는,
가상 이식을 이용한 재활 장치.
a depth camera that senses the shape and motion of the second body by capturing a second body part that is symmetrical to the first body part corresponding to the patient's severed or paralyzed body part;
a tracker worn on the first body; and
Based on the information sensed by the depth camera, a processor for generating a virtual body image having a shape and movement of the second body and a left and right reversed shape and movement, and the virtual body image based on the position of the tracker Including a head mounted display (HMD, Head Mounted Display) device composed of a display that outputs,
The tracker is
a body portion surrounding a portion of the first body;
a sensor unit including a strain gauge outputting a resistance value that changes in response to the shape deformation of the first body part; and
Including a processor for determining the shape of the user's intended operation based on the pattern of the resistance value of the strain gauge recognized by the sensor unit,
Rehabilitation device using virtual implant.
 제1항에 있어서,
상기 뎁스 카메라는,
상기 센싱한 정보를 기초로 상기 제2 신체의 형태 및 움직임과 좌우가 반전된 형태 및 움직임을 갖는 가상의 신체 영상에 대한 정보를 생성하는,
가상 이식을 이용한 재활 장치.
According to claim 1,
The depth camera,
Based on the sensed information, generating information about a virtual body image having a shape and movement of the second body and a left and right reversed shape and movement,
Rehabilitation device using virtual implant.
 제1항에 있어서,
상기 프로세서는,
상기 뎁스 카메라가 센싱한 정보를 기초로 상기 제2 신체의 형태 및 움직임 정보를 구성하는 복수의 3차원 위치 정보를 생성하는 동작;
상기 복수의 3차원 위치 정보 각각을 면대칭시킨 복수의 가상 위치 정보를 생성하는 동작; 및
상기 복수의 가상 위치 정보를 3D 렌더링하여 상기 가상의 신체 영상을 생성하는 동작을 수행하는,
가상 이식을 이용한 재활 장치.
According to claim 1,
the processor,
generating a plurality of pieces of 3D location information constituting shape and motion information of the second body based on information sensed by the depth camera;
generating a plurality of virtual location information obtained by plane-symmetry each of the plurality of three-dimensional location information; and
Performing an operation of generating the virtual body image by 3D rendering the plurality of virtual location information;
Rehabilitation device using virtual implant.
 삭제delete 제1항에 있어서,
상기 프로세서는,
상기 트래커가 위치하는 제1 신체의 위치를 특정하는 동작; 및
상기 제1 신체의 위치에 상기 가상의 신체 영상이 출력되도록 상기 가상의 신체 영상을 상기 디스플레이에 출력하는 동작을 수행하는,
가상 이식을 이용한 재활 장치.
According to claim 1,
the processor,
specifying a location of a first body where the tracker is located; and
An operation of outputting the virtual body image to the display so that the virtual body image is output at the position of the first body,
Rehabilitation device using virtual implant.
 삭제delete 제1항에 있어서,
상기 HMD 장치는,
상기 트래커에 의해 판별된 동작의 모양을 기초로 상기 가상의 신체 영상에 대응되는 움직임을 반영하여 출력하는,
가상 이식을 이용한 재활 장치.
According to claim 1,
The HMD device,
Based on the shape of the motion determined by the tracker, the motion corresponding to the virtual body image is reflected and output.
Rehabilitation device using virtual implant.
 가상 이식을 이용한 재활 장치의 작동 방법에 있어서,
뎁스 카메라가 환자의 절단되거나 마비된 신체 부위에 해당하는 제1 신체와 대칭되는 신체 부위인 제2 신체를 촬영하여 상기 제2 신체의 형태 및 움직임을 센싱하는 단계; 및
HMD 장치가 상기 센싱한 정보를 기초로 상기 제2 신체의 형태 및 움직임과 좌우가 반전된 형태 및 움직임을 갖는 가상의 신체 영상을 생성하고, 상기 제1 신체에 착용되는 트래커의 위치를 기초로 상기 가상의 신체 영상을 출력하는 단계를 포함하고,
상기 트래커는,
상기 제1 신체의 일부를 둘러싸는 본체부;
상기 제1 신체의 일부의 형태적 변형에 대응하여 변화하는 저항 값을 출력하는 스트레인 게이지를 포함하는 센서부; 및
상기 센서부가 인식한 스트레인 게이지의 저항 값의 패턴을 기초로 사용자가 의도한 동작의 모양을 판별하는 프로세서를 포함하는,
가상 이식을 이용한 재활 장치의 작동 방법.In the method of operating a rehabilitation device using virtual implantation,
sensing the shape and movement of the second body by taking a picture of a second body, which is a body part symmetrical to the first body corresponding to the severed or paralyzed body part of the patient, by a depth camera; and
Based on the information sensed by the HMD device, a virtual body image having the shape and movement of the second body and the left and right reversed shape and movement is generated, and based on the position of the tracker worn on the first body, the image of the body is generated. Including the step of outputting a virtual body image,
The tracker is
a body portion surrounding a portion of the first body;
a sensor unit including a strain gauge outputting a resistance value that changes in response to the shape deformation of the first body part; and
Including a processor for determining the shape of the user's intended operation based on the pattern of the resistance value of the strain gauge recognized by the sensor unit,
Method of operation of rehabilitation device using virtual implant.
KR1020220118671A 2020-11-11 2022-09-20 Apparatus for rehabilitation using virtual transplant based on vr/ar for overcoming phantom pain KR102499113B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220118671A KR102499113B1 (en) 2020-11-11 2022-09-20 Apparatus for rehabilitation using virtual transplant based on vr/ar for overcoming phantom pain

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200149842A KR102446921B1 (en) 2020-11-11 2020-11-11 Wearable apparatus, head mounted display apparatus and system for rehabilitation treatment using virtual transplant based on vr/ar for overcoming phantom pain
KR1020220118671A KR102499113B1 (en) 2020-11-11 2022-09-20 Apparatus for rehabilitation using virtual transplant based on vr/ar for overcoming phantom pain

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020200149842A Division KR102446921B1 (en) 2020-11-11 2020-11-11 Wearable apparatus, head mounted display apparatus and system for rehabilitation treatment using virtual transplant based on vr/ar for overcoming phantom pain

Publications (2)

Publication Number Publication Date
KR20220131886A KR20220131886A (en) 2022-09-29
KR102499113B1 true KR102499113B1 (en) 2023-02-10

Family

ID=81800901

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020200149842A KR102446921B1 (en) 2020-11-11 2020-11-11 Wearable apparatus, head mounted display apparatus and system for rehabilitation treatment using virtual transplant based on vr/ar for overcoming phantom pain
KR1020220118671A KR102499113B1 (en) 2020-11-11 2022-09-20 Apparatus for rehabilitation using virtual transplant based on vr/ar for overcoming phantom pain

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020200149842A KR102446921B1 (en) 2020-11-11 2020-11-11 Wearable apparatus, head mounted display apparatus and system for rehabilitation treatment using virtual transplant based on vr/ar for overcoming phantom pain

Country Status (1)

Country Link
KR (2) KR102446921B1 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015039522A (en) * 2013-08-22 2015-03-02 セイコーエプソン株式会社 Rehabilitation device and assistive device for phantom limb pain treatment
KR101950603B1 (en) * 2017-09-20 2019-05-09 순천향대학교 산학협력단 Remote device control device based on virtual reality and motion recognition, and rehabilitation method using the same
KR102164965B1 (en) * 2019-05-03 2020-10-14 계명대학교 산학협력단 Virtual illusion system for hemiplegic patients using brain stimulation and its way to working

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100200112B1 (en) 1994-12-29 1999-06-15 정몽규 Accelerator transmission
KR20140089023A (en) * 2012-12-31 2014-07-14 동의대학교 산학협력단 Apparatus for Rehabilitation Training of Upper Limb of Hemiplegic Patients
KR101980297B1 (en) 2017-11-14 2019-05-20 고범준 apparatus, method and program for processing 3D VR video

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015039522A (en) * 2013-08-22 2015-03-02 セイコーエプソン株式会社 Rehabilitation device and assistive device for phantom limb pain treatment
KR101950603B1 (en) * 2017-09-20 2019-05-09 순천향대학교 산학협력단 Remote device control device based on virtual reality and motion recognition, and rehabilitation method using the same
KR102164965B1 (en) * 2019-05-03 2020-10-14 계명대학교 산학협력단 Virtual illusion system for hemiplegic patients using brain stimulation and its way to working

Also Published As

Publication number Publication date
KR20220131886A (en) 2022-09-29
KR20220063906A (en) 2022-05-18
KR102446921B1 (en) 2022-09-22

Similar Documents

Publication Publication Date Title
CN111460875B (en) Image processing method and apparatus, image device, and storage medium
JP6938542B2 (en) Methods and program products for articulated tracking that combine embedded and external sensors
Da Gama et al. Guidance and movement correction based on therapeutics movements for motor rehabilitation support systems
JP6045139B2 (en) VIDEO GENERATION DEVICE, VIDEO GENERATION METHOD, AND PROGRAM
EP3631567A1 (en) Eye tracking calibration techniques
CN112602090A (en) Method and system for interpolating different inputs
US20160249008A1 (en) Display apparatus, display method, and program
CN107875616B (en) Exercise training device, recording medium, and display method
KR20090084035A (en) A real time motion recognizing method
JP4025230B2 (en) Pain treatment support device and method for displaying phantom limb images in a virtual space
CN115942899A (en) Medical examination of the human body using tactile sensation
US20140371634A1 (en) Method and apparatus for tracking hand and/or wrist rotation of a user performing exercise
KR102446922B1 (en) Apparatus for rehabilitation treatment using virtual transplant based on vr/ar for overcoming phantom pain
KR102499113B1 (en) Apparatus for rehabilitation using virtual transplant based on vr/ar for overcoming phantom pain
Carrino et al. Augmented reality treatment for phantom limb pain
CN113902845A (en) Motion video generation method and device, electronic equipment and readable storage medium
KR102253353B1 (en) Method and apparatus for providing rehabilitation content using virtual transplant hand based on vr/ar
KR102483387B1 (en) Augmented reality content provision method and finger rehabilitation training system for finger rehabilitation training
KR102253352B1 (en) Method and apparatus for providing rehabilitation content using virtual transplant foot based on vr/ar
JP7262763B2 (en) Rehabilitation support device and program
KR102635074B1 (en) Head mounted display apparatus for providing object catching training based on virtual transplant of vr/ar technology, and operation method thereof
TWI644285B (en) Acupuncture visualization Chinese medicine system and method thereof by using AR technology
KR102684755B1 (en) Method of providing guide for breast cancer self diagnosis and breast massaging and breast cancer self diagnosis and breast massaging device using augmented reality
CN219302988U (en) Augmented reality device
KR102510048B1 (en) Control method of electronic device to output augmented reality data according to the exercise motion

Legal Events

Date Code Title Description
A107 Divisional application of patent
A302 Request for accelerated examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant