KR102446922B1 - Apparatus for rehabilitation treatment using virtual transplant based on vr/ar for overcoming phantom pain - Google Patents
Apparatus for rehabilitation treatment using virtual transplant based on vr/ar for overcoming phantom pain Download PDFInfo
- Publication number
- KR102446922B1 KR102446922B1 KR1020200150835A KR20200150835A KR102446922B1 KR 102446922 B1 KR102446922 B1 KR 102446922B1 KR 1020200150835 A KR1020200150835 A KR 1020200150835A KR 20200150835 A KR20200150835 A KR 20200150835A KR 102446922 B1 KR102446922 B1 KR 102446922B1
- Authority
- KR
- South Korea
- Prior art keywords
- virtual
- patient
- wearable device
- worn
- image
- Prior art date
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
- A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1123—Discriminating type of movement, e.g. walking or running
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
- A61B5/7445—Display arrangements, e.g. multiple display units
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/003—Navigation within 3D models or images
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
- A61B2562/02—Details of sensors specially adapted for in-vivo measurements
- A61B2562/0261—Strain gauges
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
- A61F2/00—Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
- A61F2/50—Prostheses not implantable in the body
- A61F2002/5058—Prostheses not implantable in the body having means for restoring the perception of senses
- A61F2002/5064—Prostheses not implantable in the body having means for restoring the perception of senses for reducing pain from phantom limbs
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
- A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
- A61M2021/0005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
- A61M2021/0044—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the sight sense
- A61M2021/005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the sight sense images, e.g. video
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
- A61M2205/00—General characteristics of the apparatus
- A61M2205/50—General characteristics of the apparatus with microprocessors or computers
- A61M2205/502—User interfaces, e.g. screens or keyboards
- A61M2205/507—Head Mounted Displays [HMD]
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Heart & Thoracic Surgery (AREA)
- Biomedical Technology (AREA)
- General Physics & Mathematics (AREA)
- Surgery (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Medical Informatics (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Dentistry (AREA)
- Radar, Positioning & Navigation (AREA)
- Theoretical Computer Science (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Physiology (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Remote Sensing (AREA)
- General Engineering & Computer Science (AREA)
- Optics & Photonics (AREA)
- Acoustics & Sound (AREA)
- Psychology (AREA)
- Anesthesiology (AREA)
- Hematology (AREA)
- Rehabilitation Tools (AREA)
Abstract
본 발명의 일 실시예에 따른 가상 이식을이용한 재활 치료 장치는, 환자의 절단된거나 마비된 제1 신체에 착용되는 트래커; 상기 제1 신체와 대칭되는 신체 부위인 제2 신체에 착용되는 웨어러블 장치; 및 상기 웨어러블 장치가 센싱한 정보를 기초로 제2 신체에 대응하는 가상의 신체 영상을 생성하는 프로세서; 및 환자의 머리에 착용되어 상기 제1 신체의 일단에 상기 프로세서가 생성한 가상의 신체 영상을 출력하여 디스플레이하는 HMD(Head Mounted Display) 장치;를 포함할 수 있다.Rehabilitation treatment apparatus using a virtual implant according to an embodiment of the present invention, a tracker worn on the amputated or paralyzed first body of the patient; a wearable device worn on a second body that is a body part symmetrical to the first body; and a processor for generating a virtual body image corresponding to a second body based on information sensed by the wearable device. and a Head Mounted Display (HMD) device that is worn on the patient's head to output and display the virtual body image generated by the processor on one end of the first body.
Description
본 발명은 VR/AR 기반의 가상 이식을 이용한 재활 치료 웨어러블 장치에 관한 것이다. The present invention relates to a wearable device for rehabilitation treatment using virtual implantation based on VR/AR.
당뇨병, 버거병 등 현대 사회와 관련된 질병으로 인하여 팔이나 다리를 절단하는 환자의 수가 매년 증가하고 있다. 이처럼 팔이나 다리를 절단한 사지 절단 환자들의 50% 내지 80%는 환상통(Phantom Pain)을 겪는다. 환상통이란 몸의 특정 부위가 사고나 질병 등의 이유로 물리적으로 없는 상태임에도 있는 것처럼 느끼며 통증을 겪는 질환이다. The number of patients who have their arms or legs amputated due to diseases related to modern society, such as diabetes and Berger's disease, is increasing every year. As such, 50% to 80% of limb amputation patients who have their arms or legs amputated suffer from phantom pain. Phantom pain is a disease in which a certain part of the body feels as if it exists even though it is physically absent due to an accident or disease.
환상통의 치료법으로는 대표적으로 거울 치료법(Mirror Therapy)이 있다. 거울 치료법은 팔이 절단된 환자에게 거울을 이용해 다른 한 팔을 비추어 마치 두 팔이 있는 것처럼 손 운동을 시킴으로써 환상통을 완화시키는 치료 방법이다. 절단 환자들에게 잘려나간 부위의 신체가 통증 없이 움직인다는 시각적 착각을 일으키게 하여 절단된 부위에서 느끼는 환상통을 줄이는 방법으로서 이러한 치료법의 효과는 의학계에서 입증되어 있다. A typical treatment for phantom pain is Mirror Therapy. Mirror therapy is a treatment method that relieves phantom pain by illuminating the other arm with a mirror on a patient with an amputated arm and doing hand movements as if there were two arms. The effectiveness of this treatment has been proven in the medical community as a method of reducing the phantom pain felt at the amputated area by making the amputated patients have the visual illusion that the amputated body moves without pain.
그러나 거울 치료법은 거울에 대한 환자의 시선이 이루는 각도를 정확하게 맞춘 자세에서 수행해야 하므로 적용이 불편하고, 거울 바로 옆에서 제한적인 범위의 움직임만 가능하여 현실감이 떨어진다는 단점이 있었다. However, mirror therapy has disadvantages in that it is inconvenient to apply because it has to be performed in a position where the angle of the patient's gaze toward the mirror is precisely aligned, and the sense of reality is lowered because only a limited range of movement is possible right next to the mirror.
또한, 거울을 이용한 치료 방법은 다리가 절단된 환자의 경우, 환자의 시선과 거울이 이루는 각도를 현실감 있게 맞추기가 쉽지 않기 때문에 하지가 절단되거나 마비된 환자에게는 적용하기 어려웠다.In addition, the treatment method using a mirror is difficult to apply to a patient whose lower limb is amputated or paralyzed because it is not easy to realistically match the angle between the patient's gaze and the mirror in the case of a patient with an amputated leg.
본 발명의 실시예에서 해결하고자 하는 과제는 환자들에게 절단된 부위의 신체가 통증 없이 움직인다는 시각적 효과로 착각을 일으키게 하여 절단 부위에서 느끼는 환상통을 줄인다는 거울 치료법의 치료 개념을 유지하면서, 환자가 거울 없이도 다양한 동작을 수행할 수 있는 VR/AR 기술 결합 방식을 구현하여, 사지 절단 환자의 환상통을 완화하는 치료와 재활 훈련의 효과를 높이는데 기여하는 기술을 제공하는 것이다.The problem to be solved in the embodiments of the present invention is to make the patients mistaken for a visual effect that the body of the amputated area moves without pain, thereby reducing the phantom pain felt at the amputation site, while maintaining the treatment concept of the mirror therapy, the patient The goal is to provide a technology that contributes to improving the effectiveness of treatment and rehabilitation training to alleviate phantom pain in limb amputation patients by implementing a combination of VR/AR technology that can perform various movements without a mirror.
다만, 본 발명의 실시예가 이루고자 하는 기술적 과제는 이상에서 언급한 과제로 제한되지 않으며, 이하에서 설명할 내용으로부터 통상의 기술자에게 자명한 범위 내에서 다양한 기술적 과제가 도출될 수 있다.However, the technical tasks to be achieved by the embodiments of the present invention are not limited to the tasks mentioned above, and various technical tasks may be derived from the content to be described below within the scope obvious to those skilled in the art.
본 발명의 일 실시예에 따른 가상 이식을이용한 재활 치료 장치는, 환자의 절단된거나 마비된 제1 신체에 착용되는 트래커; 상기 제1 신체와 대칭되는 신체 부위인 제2 신체에 착용되는 웨어러블 장치; 및 상기 웨어러블 장치가 센싱한 정보를 기초로 제2 신체에 대응하는 가상의 신체 영상을 생성하는 프로세서; 및 환자의 머리에 착용되어 상기 제1 신체의 일단에 상기 프로세서가 생성한 가상의 신체 영상을 출력하여 디스플레이하는 HMD(Head Mounted Display) 장치;를 포함할 수 있다.Rehabilitation treatment apparatus using a virtual implant according to an embodiment of the present invention, a tracker worn on the amputated or paralyzed first body of the patient; a wearable device worn on a second body that is a body part symmetrical to the first body; and a processor for generating a virtual body image corresponding to a second body based on information sensed by the wearable device. and a Head Mounted Display (HMD) device that is worn on the patient's head to output and display the virtual body image generated by the processor on one end of the first body.
또한, 상기 웨어러블 장치는 표면의 인장 여부에 따라 변화하는 저항 값을 통해 형태 변화를 센싱하는 플렉스 필름; 및 외부 장치와 유무선 통신을 수행하는 유무선 통신부; 및 상기 제2 신체에 진동을 인가하는 액츄에이터;를 포함할 수 있다.In addition, the wearable device may include: a flex film for sensing a change in shape through a resistance value that changes depending on whether the surface is stretched; and a wired/wireless communication unit for performing wired/wireless communication with an external device. and an actuator that applies vibration to the second body.
또한, 상기 웨어러블 장치는 환자의 손에 착용 가능한 모션캡쳐 장갑, VR 스마트 장갑 또는 모션 인식 장갑 등 어느 하나의 형태로 구비될 수 있다.In addition, the wearable device may be provided in any one form, such as a motion capture glove, a VR smart glove, or a motion recognition glove that can be worn on the patient's hand.
또한, 상기 웨어러블 장치는 양측 단부가 상기 제2 신체의 관절부위 상측 및 하측에 연결되어 상기 제2 신체의 관절부위의 움직임에 따라 저항 값이 변하는 소프트 센서; 상기 소프트센서의 양측 단부에 구비되어 환자의 신체에 접착되는 접착부; 및 상기 접착부의 일측에 구비되어 상기 제2 신체에 진동을 인가하는 액츄에이터를 포함할 수 있다.In addition, the wearable device may include: a soft sensor having both ends connected to upper and lower portions of the joint portion of the second body to change a resistance value according to the movement of the joint portion of the second body; Adhesive portions provided at both ends of the soft sensor to be attached to the patient's body; and an actuator provided on one side of the bonding unit to apply vibration to the second body.
또한, 상기 프로세서는, 상기 웨어러블 장치가 센싱한 정보를 기초로 상기 제2 신체의 형태 및 움직임 정보를 구성하는 복수의 3차원 위치 정보를 생성하는 동작; 사익 복수의3 차원 위치 정보 각각을 면대칭시킨 복수의 가상 위치 정보를 생성하는 동작; 및 상기 복수의 가상 위치 정보를 3D 렌더링하여 상기 가상의 신체 영상을 생성하는 동작을 수행할 수 있다.The processor may further include: generating a plurality of three-dimensional position information constituting the second body shape and motion information based on the information sensed by the wearable device; generating a plurality of virtual location information in which each of the plurality of three-dimensional location information is face-symmetrical; and generating the virtual body image by 3D rendering the plurality of virtual location information.
또한, 상기 프로세서는, 상기 제1 신체 중 소점 지점에 착용 또는 표시된 트래커가 위치하는 제1 지점을 특정하는 동작; 상기 가상의 신체 영상에서 상기 웨어러블 장치가 착용된 신체 부분과 착용되지 않는 신체 부분의 경계 지점에 해당하는 제2 지점의 위치를 특정하는 동작; 및 상기 센싱된 제1 지점에 상기 가상의 신체 영상 중 상기 제2 지점이 연결되도록 상기 가상의 신체 영상을 상기 디스플레이에 출력하는 동작을 수행할 수 있다.In addition, the processor may perform an operation of specifying a first point at which a tracker worn or displayed at a small point in the first body is located; specifying a location of a second point corresponding to a boundary point between a body part on which the wearable device is worn and a body part not on which the wearable device is worn in the virtual body image; and outputting the virtual body image to the display so that the second point of the virtual body image is connected to the sensed first point.
본 발명의 실시예에 따르면, 환자의 신체 절단 부위에 가상의 신체를 구현할 수 있고, 이때 구현된 가상의 신체는 절단되지 않은 신체가 갖는 움직임과 대칭되는 움직임을 갖도록 구현될 수 있다. 이에 따라, 환자는 의식적으로 양손 또는 양발이 동일한 동작을 한다고 생각하면서, 가상현실을 통해 구현되는 가상의 신체의 움직임을 시각적으로 인지함으로써, 거울 치료법과 같은 개념의 치료를 진행할 수 있다. According to an embodiment of the present invention, a virtual body may be embodied in the cut portion of the patient's body, and in this case, the embodied virtual body may be implemented to have a movement symmetrical to the movement of the uncut body. Accordingly, while the patient consciously thinks that both hands or both feet perform the same motion, by visually recognizing the movement of the virtual body implemented through virtual reality, the treatment of the same concept as mirror therapy can be performed.
이에 따라, 환자는 양 신체의 행동을 동일하게 움직인다는 인지를 통해 가상의 신체를 실제의 팔과 다리처럼 움직이고, 시각적으로 신체의 움직임을 현실감을 있게 인지할 수 있게 되어, 환상통이 완화될 수 있고 재활 훈련의 효과가 향상될 수 있다.Accordingly, the patient can move the virtual body like real arms and legs through the recognition that both body movements are the same, and visually recognize the body movement realistically, so that phantom pain can be alleviated. and the effectiveness of rehabilitation training can be improved.
또한, 환자는 HMD(Head Mounted Display) 장치를 통해 실제 생활과 동일한 시점에서 가상의 신체 영상을 눈앞에서 인지하게 되므로, 실제의 신체처럼 자연스러운 시점에서 생동감 있게 인지할 수 있게 된다.In addition, since the patient perceives a virtual body image in front of his/her eyes at the same point in time as in real life through a Head Mounted Display (HMD) device, it is possible to vividly recognize it from a natural point of view like a real body.
더하여, 환자의 움직임은 FLEX 필름으로 구성된 웨어러블 장치가 실제 환자의 팔 또는 다리의 세세한 움직임을 센싱하도록 구현됨으로써, 가상의 신체의 움직임이 보다 정확하게 실제 신체의 움직임을 반영하여 움직이도록 구현될 수 있다.In addition, the movement of the patient is implemented so that the wearable device composed of the FLEX film senses the detailed movement of the arm or leg of the actual patient, so that the movement of the virtual body can be implemented to more accurately reflect the movement of the real body.
더불어, 환자가 가상의 신체로 수행할 수 있는 다양한 미션을 포함하는 배경 또는 객체를 VR 영상 또는 AR 영상으로 제공하여, 환자에게 흥미 요소를 결합한 치료 콘텐츠를 제공할 수 있다. In addition, by providing a background or object including various missions that the patient can perform with a virtual body as a VR image or an AR image, it is possible to provide treatment content that combines elements of interest to the patient.
이 외에, 본 문서를 통해 직접적 또는 간접적으로 파악되는 다양한 효과들이 제공될 수 있다.In addition, various effects directly or indirectly identified through this document may be provided.
도 1은 본 발명의 일 실시예에 따른 재활 치료 장치의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 HMD 장치의 기능 블록도이다.
도 3은 본 발명의 일 실시예에 따라 재활 치료 장치를 사용하는 환자의 모습을 나타낸 예시도이다.
도 4는 본 발명의 일 실시예에 따라 재활 치료 장치를 사용하는 동작을 나타낸 예시도이다.
도 5 및 도 6은 본 발명의 일 실시예에 따라 재활 치료 장치가 VR(Virtual Reality) 또는 AR(Augmented Reality)을 활용하여 배경 또는 객체를 HMD 장치의 디스플레이에 추가적으로 출력한 콘텐츠의 예시도이다.
도 7은 본 발명의 일 실시예에 따라 재활 치료 장치가 실제로 착용한 모습과, 웨어러블 장치 내부가 신체 형상을 한 FLEX 필름으로 제작된 모습의 예시도이다.
도 8은 본 발명의 일 실시예에 따른 재활 치료 장치가 포함하는 웨어러블 장치(100)의 변형예의 착용예를 도시한 도면이다.1 is a block diagram of a rehabilitation treatment apparatus according to an embodiment of the present invention.
2 is a functional block diagram of an HMD device according to an embodiment of the present invention.
3 is an exemplary view showing a state of a patient using the rehabilitation treatment apparatus according to an embodiment of the present invention.
4 is an exemplary diagram illustrating an operation of using a rehabilitation treatment apparatus according to an embodiment of the present invention.
5 and 6 are exemplary views of contents in which the rehabilitation treatment device additionally outputs a background or object to the display of the HMD device by utilizing VR (Virtual Reality) or AR (Augmented Reality) according to an embodiment of the present invention.
7 is an exemplary view of a state actually worn by the rehabilitation treatment device according to an embodiment of the present invention, and a state that the inside of the wearable device is made of a FLEX film having a body shape.
8 is a diagram illustrating a wearing example of a modified example of the
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명의 범주는 청구항에 의해 정의될 뿐이다.Advantages and features of the present invention, and a method of achieving them will become apparent with reference to the embodiments described below in detail in conjunction with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but can be implemented in various forms, only these embodiments make the disclosure of the present invention complete, and with ordinary knowledge in the art to which the present invention belongs It is provided to fully inform the person of the scope of the invention, and the scope of the present invention is only defined by the claims.
본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명은 실제로 필요한 경우 외에는 생략될 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.In describing the embodiments of the present invention, a detailed description of a well-known function or configuration will be omitted unless it is actually necessary. In addition, the terms to be described later are terms defined in consideration of functions in an embodiment of the present invention, which may vary according to intentions or customs of users and operators. Therefore, the definition should be made based on the content throughout this specification.
도면에 표시되고 아래에 설명되는 기능 블록들은 가능한 구현의 예들일 뿐이다. 다른 구현들에서는 상세한 설명의 사상 및 범위를 벗어나지 않는 범위에서 다른 기능 블록들이 사용될 수 있다. 또한 본 발명의 하나 이상의 기능 블록이 개별 블록들로 표시되지만, 본 발명의 기능 블록 중 하나 이상은 동일 기능을 실행하는 다양한 하드웨어 및 소프트웨어 구성의 조합일 수 있다.The functional blocks shown in the drawings and described below are merely examples of possible implementations. Other functional blocks may be used in other implementations without departing from the spirit and scope of the detailed description. Also, although one or more functional blocks of the present invention are represented as separate blocks, one or more of the functional blocks of the present invention may be combinations of various hardware and software configurations that perform the same function.
또한 어떤 구성 요소들을 포함한다는 표현은 개방형의 표현으로서 해당 구성 요소들이 존재하는 것을 단순히 지칭할 뿐이며, 추가적인 구성 요소들을 배제하는 것으로 이해되어서는 안 된다.In addition, the expression including certain components is an open expression and merely refers to the existence of the corresponding components, and should not be construed as excluding additional components.
나아가 어떤 구성 요소가 다른 구성 요소에 연결되어 있다거나 접속되어 있다고 언급될 때에는, 그 다른 구성 요소에 직접적으로 연결 또는 접속되어 있을 수도 있지만, 중간에 다른 구성 요소가 존재할 수도 있다고 이해되어야 한다. Furthermore, when it is said that a component is connected or connected to another component, it may be directly connected or connected to the other component, but it should be understood that another component may exist in the middle.
또한 '제1, 제2' 등과 같은 표현은 복수의 구성을 구분하기 위한 용도로만 사용된 표현으로써, 구성들 사이의 순서나 기타 특징들을 한정하지 않는다. In addition, expressions such as 'first, second', etc. are used only for distinguishing a plurality of components, and do not limit the order or other characteristics between the components.
본 발명의 실시예에 따른 VR/AR 기반의 가상이식을 이용한 재활 치료 장치(10)(이하, '재활 치료 장치(10)'로 지칭)은 환자들에게 절단된 부위의 신체가 통증 없이 움직인다는 시각적 효과로 착각을 일으키게 하여 잘린 부위에서 느끼는 환상통을 줄인다는 거울 치료법의 치료 개념을 유지하면서, 환자가 거울 없이도 다양한 동작을 수행할 수 있는 치료 방식을 구현하여, 사지 절단 환자의 환상통을 완화하는 치료와 재활 훈련의 효과를 높이는데 기여하는 기술을 제공한다. Rehabilitation treatment apparatus 10 (hereinafter referred to as 'rehabilitation treatment apparatus 10') using VR/AR-based virtual implantation according to an embodiment of the present invention tells patients that the amputated body moves without pain. While maintaining the treatment concept of mirror therapy to reduce the phantom pain felt at the amputated area by creating an illusion with a visual effect, a treatment method that allows the patient to perform various motions without a mirror is implemented, thereby relieving the phantom pain of limb amputation patients. It provides technologies that contribute to increasing the effectiveness of treatment and rehabilitation training.
본 발명의 실시예에 따른 재활 치료 장치(10)는 VR(Virtual Reality) 또는 AR(Augmented Reality) 기술을 통해 환자의 신체가 절단된 부위에 가상의 신체를 구현하고, 이때 구현된 가상의 신체는 절단되지 않은 신체가 갖는 움직임과 대칭되는 움직임을 갖도록 구현할 수 있다. 이를 위해, 본 발명의 실시예에 따른 재활 치료 장치(10)가 포함하고 있는 구성들과, 각 구성의 동작을 도면들과 함께 설명하도록 한다. Rehabilitation treatment apparatus 10 according to an embodiment of the present invention implements a virtual body in the cut part of the patient's body through VR (Virtual Reality) or AR (Augmented Reality) technology, wherein the implemented virtual body is It can be implemented to have a movement that is symmetrical to the movement of the uncut body. To this end, the components included in the rehabilitation apparatus 10 according to an embodiment of the present invention and the operation of each component will be described together with the drawings.
도 1은 본 발명의 일 실시예에 따른 재활 치료 장치(10)의 구성도이다.1 is a block diagram of a rehabilitation treatment apparatus 10 according to an embodiment of the present invention.
도 1을 참조하면, 본 발명의 일 실시예에 따른 재활 치료 장치(10)는 웨어러블 장치(Wearable Device)(100), HMD(Head Mounted Display) 장치(200), 및 트래커(300)를 포함할 수 있다. 또한, 본 발명의 일 실시예에 따른 장치(10)는 뎁스 카메라(400)(Depth Camera)를 추가로 포함하거나, 웨어러블 장치(100)가 뎁스 카메라(400)로 대체되는 실시예를 포함할 수 있다. Referring to FIG. 1 , a rehabilitation device 10 according to an embodiment of the present invention may include a
웨어러블 장치(100)는 신체에 부착되거나 착용되어 외부 장치와 유무선 통신을 수행하는 장치이다. 이를 위해 웨어러블 장치(100)는 별도의 유무선 통신부를 포함할 수 있다. 유무선 통신 방법은 당업계에서 통용되는 다양한 통신 프로토콜이 사용될 수 있다. 웨어러블 장치(100)는 모션캡쳐 장갑, VR 스마트 장갑, 모션인식 장갑을 포함할 수 있고, 환자의 손, 팔, 발, 발목 등 신체의 일부분에 착용될 수 있다. 예를 들어, 웨어러블 장치(100)는 환자의 절단되거나 마비된 신체 부위(이하, "제1 신체(11)"로 지칭)와 대칭되는 신체 부위(이하, "제2 신체(12)"로 지칭)에 착용될 수 있고, 웨어러블 장치(100)는 환자의 움직임에 따른 제2 신체(12)의 형태 및 움직임을 센싱한 정보를 생성할 수 있다. The
예를 들어, 웨어러블 장치(100)는 표면이 늘어나거나 줄어듬에 따라 변화하는 저항값을 통해 표면의 형태 변화를 센싱 가능한 플렉스(flex) 필름을 포함할 수 있다. 플렉스 필름은 제2 신체(12)를 둘러쌀 수 있도록 제2 신체(12)에 대응하는 형태로 구성(ex. 도 7 도면부호 110 참조)될 수 있고, 웨어러블 장치(100)는 제2 신체(12)를 둘러싼 플렉스 필름에 의해 센싱된 제2 신체(12)의 형태 및 움직임에 대한 정보를 생성하여 유무선 통신을 통해 HMD 장치(200)로 전송할 수 있다.For example, the
뿐만 아니라, 도 8 을 참조하면 웨어러블 장치(100)는 양측 단부가 제2 신체(12)의 관절부위(12a) 상측 및 하측에 연결되어 제2 신체(12)의 관절부위(12a)의 움직임에 따라 저항값이 변하는 소프트 센서(101), 소프트 센서(101)의 양측 단부에 구비되어 환자의 신체에 접착되는 접착부(102) 및 접착부(102)의 일측에 구비되어 제2 신체(12)에 진동을 인가하는 액츄에이터(103)를 포함할 수 있다. 환자가 제2 신체(12)의 관절부위(12a)를 움직이는 경우 소프트 센서(101)의 저항값 변화를 통해 관절부위(12a)의 움직임에 대한 정보를 생성하여 유무선 통신을 통해 HMD 장치(200)로 전송할 수 있다. In addition, referring to FIG. 8 , both ends of the
뎁스 카메라(400)(Depth Camera)는 복수의 카메라 모듈을 포함하여 객체로부터 얻어지는 이미지 픽셀의 깊이 값을 계산하여 객체의 3차원 깊이 정보를 생성할 수 있는 카메라이다. 뎁스 카메라(400)는 환자의 손, 팔, 발, 발목 등을 촬영할 수 있다. 예를 들어, 뎁스 카메라(400)는 환자의 절단되거나 마비된 신체 부위에 해당하는 제1 신체(11)와 대칭되는 신체 부위인 제2 신체(12)를 촬영할 수 있고, 환자의 움직임에 따른 제2 신체(12)의 형태 및 움직임을 센싱한 정보를 생성할 수 있다. The
HMD 장치(200)(Head Mounted Display)는 환자의 안구 주위에 안경처럼 착용될 수 있고, 환자에게 가상 정보를 포함하는 영상을 출력하는 장치이다. 본 발명의 실시예의 HMD 장치(200)는 FMD(Face Mounted Display) 또는 스마트 글래스(Smart Glasses)를 포괄하는 개념이다. The HMD device 200 (Head Mounted Display) is a device that can be worn around a patient's eye like glasses and outputs an image including virtual information to the patient. The
도 2는 본 발명의 일 실시예에 따른 HMD 장치(200)의 기능 블록도이다. 도 2를 참조하면, 본 발명의 실시예에 따른 HMD 장치(200)는 프로세서(220), 메모리(210), 및 디스플레이(230)를 포함할 수 있다. 2 is a functional block diagram of an
메모리(210)는 프로세서(220)를 동작하도록 하는 명령어와 프로세서(220)의 동작에 필요한 데이터를 저장할 수 있다. The
프로세서(220)는 중앙 처리 장치(CPU; central processing unit) 등을 포함하여 다양한 데이터의 처리 및 연산을 수행할 수 있다. 프로세서(220)는 웨어러블 장치(100) 또는 뎁스 카메라(400)가 센싱한 정보를 기초로 환자의 제2 신체(12)의 형태/움직임과 좌우가 반전된 형태/움직임을 갖는 가상의 신체 영상에 대한 정보를 생성할 수 있다. The
디스플레이(230)는 환자에게 가상 정보를 포함하는 영상을 출력할 수 있다. 디스플레이(230)는 환자의 제1 신체(11)의 일단에 프로세서(220)가 생성한 가상의 신체 영상을 VR(Virtual Reality) 또는 AR(Augmented Reality) 영상과 함께 출력할 수 있다. The
또한, HMD 장치(200)는 외부 장치와 유무선 통신을 수행하는 통신 모듈(도면 미도시) 및 외부 환경을 인식하고 촬영하는 카메라(도면 미도시)를 더 포함할 수 있다. In addition, the
트래커(300)(Tracker)는 HMD 장치(200)가 환자의 제1 신체(11)의 일단(ex. 절단된 신체 부위의 경계쪽 신체)을 특정할 수 있도록 표시된 물리적 표식(Mark) 또는 웨어러블 밴드(Wearable Band)를 포함할 수 있다. 트래커(300)는 환자의 제1 신체(11)의 일단(ex. 절단된 신체 부위와 연결된 손목, 팔목, 발목, 무릎 등)에 착용되어, 환자가 절단된 신체를 움직이려고 할 때 변화하는 인대의 움직임을 센싱하여 인대의 움직임에 대한 정보를 생성하고, 인대의 움직임에 대한 정보를 기초로 환자가 의도한 절단 부위의 움직임을 판별할 수 있다. The tracker 300 (Tracker) is a physical mark (Mark) or wearable band displayed so that the
도 3은 본 발명의 일 실시예에 따라 재활 치료 장치(10)를 사용하는 환자의 모습을 나타낸 예시도이다. 3 is an exemplary view showing a state of a patient using the rehabilitation treatment apparatus 10 according to an embodiment of the present invention.
도 3을 참조하면, 환자는 제1 신체(11)(도 3 인물의 왼손)가 절단된 상태이다. 이에 따라, 본 발명의 일 실시예에 따른 재활 치료 장치(10)를 사용하기 위해, 환자는 제2 신체(12)(도 3 인물의 오른손)에 웨어러블 장치(100)를 착용할 수 있다. 또한, 환자는 안구 주위에 HMD 장치(200)를 착용될 수 있다. 또한, 환자는 신체의 절단 부분의 위치를 특정하기 위해, 제1 신체(11)의 일단(도 3 도면 부호 300 부근)에 트래커(300)로서 마크를 표시하거나, 또는 웨어러블 밴드(300)를 착용할 수 있다.Referring to FIG. 3 , the patient is in a state in which the first body 11 (the left hand of the person in FIG. 3 ) is severed. Accordingly, in order to use the rehabilitation device 10 according to an embodiment of the present invention, the patient may wear the
도 4는 본 발명의 일 실시예에 따라 재활 치료 장치(10)를 사용하는 동작을 나타낸 예시도이다. 4 is an exemplary diagram illustrating an operation of using the rehabilitation treatment apparatus 10 according to an embodiment of the present invention.
도 4를 참조하면, HMD 장치(200)는 환자의 상지 절단된 부위와 대칭되는 부위의 신체와 좌우가 반전된 움직임을 갖는 가상의 신체 영상을 생성할 수 있다. Referring to FIG. 4 , the
일 실시예에 따르면, HMD 장치(200)의 프로세서(220)는 웨어러블 장치(100)가 환자의 절단된 신체 부위와 대칭되는 부위의 신체에 착용된 웨어러블 장치(100)가 센싱한 정보를 기초로, 제2 신체(12)의 형태 및 움직임 정보를 구성하는 복수의 3차원 위치 정보를 생성할 수 있다. According to one embodiment, the
이에 따라, 프로세서(220)는 복수의 3차원 위치 정보의 좌우를 반전시킨 복수의 가상 위치 정보를 생성할 수 있다. 예를 들어, 프로세서(220)는 소정의 3차원 면을 기준으로 복수의 3차원 위치 정보 각각을 면대칭시킴으로써, 좌우가 반전된 복수의 가상 위치 정보를 생성할 수 있다. 또는, 프로세서(220)는 복수의 3차원 위치 정보가 3차원 좌표 (x, y, z)로 구성된 경우, 이 중 어느 한 차원 정보의 부호를 반전시킨 3차원 좌표 (-x, y, z)를 생성함으로써 가상 위치 정보를 생성할 수 있다. Accordingly, the
이후, 프로세서(220)는 복수의 가상 위치 정보를 3D 렌더링하여 VR 또는 AR 영상에 시각적으로 출력될 수 있는 가상의 신체 영상을 생성할 수 있다. Thereafter, the
도 4의 Step 1 내지 Step 3를 참조하면, HMD 장치(200)는 환자의 제1 신체(11)의 일단에 가상의 신체 영상을 VR 영상 또는 AR 영상과 함께 출력할 수 있다. Referring to
일 실시예에 따르면, HMD 장치(200)의 프로세서(220)는 카메라 또는 통신모듈을 이용하여 환자의 제1 신체(11) 중 소정 지점에 착용 또는 표시된 트래커(300)가 위치하는 제1 지점을 특정할 수 있다. 이후, 프로세서(220)는 카메라 또는 통신모듈을 이용하여 가상의 신체 영상에서 웨어러블 장치(100)가 착용된 신체 부분(도 3의 도면 부호 12)과 착용되지 않은 신체 부분(도 3의 도면 부호 13)의 경계 지점(도 3의 도면 부호 a)에 해당하는 제2 지점의 위치를 특정할 수 있다. 이에 따라, 프로세서(220)는 환자의 제1 지점(300)에 가상의 신체 영상의 제2 지점이 연결되도록 가상의 신체 영상을 디스플레이(230)에 출력할 수 있다. According to an embodiment, the
더하여, 상기 트래커(300)가 웨어러블 밴드(300)인 경우, 웨어러블 밴드(300)는 환자의 인대의 움직임을 기초로, 환자가 절단된 신체를 움직이려고 의도한 동작을 판별할 수 있다. 이를 위해, 웨어러블 밴드(300)는 환자의 손목 또는 팔목을 둘러싸는 본체부, 상기 본체부가 신체가 접촉하는 면을 따라 환자의 손목 또는 발목 인대 부분의 형태적 변형에 따라 대응하는 저항 값을 출력하는 복수 개의 스트레인 게이지를 포함하는 센서부, 상기 센서부가 인식한 복수 개의 스트레인 게이지의 저항 값의 패턴을 기초로 사용자가 의도한 동작의 모양을 판별하는 프로세서를 포함할 수 있다. HMD 장치(200)는 웨어러블 밴드에 의해 판별된 동작의 모양을 기초로 가상의 신체 영상에 대응되는 움직임을 반영하여 출력할 수 있다. 이에 따라, 환자는 신체가 절단되어도 인대의 움직임에 따라 가상의 신체 영상이 움직이는 모습을 시각적으로 확인할 수 있다. In addition, when the
도 5 및 도 6은 본 발명의 일 실시예에 따라 재활 치료 장치(10)가 VR(Virtual Reality) 또는 AR(Augmented Reality)을 활용하여 배경 또는 객체를 HMD 장치(200)의 디스플레이(230)에 추가적으로 출력한 콘텐츠의 예시도이다. 5 and 6 show that the rehabilitation treatment device 10 uses VR (Virtual Reality) or AR (Augmented Reality) to display a background or object on the
도 5를 참조하면, HMD 장치(200)는 손등을 위로 한 채 손을 접었다 폈다 동작을 반복하는 미션, 손등을 옆으로 한 채 손을 접었다 폈다 동작을 반복하는 미션, 손등을 아래로 한 채 손을 접었다 폈다 동작을 반복하는 미션, 각 손가락을 움직이는 미션, 영상에 출력되는 소정 위치의 버튼을 누르는 미션, 영상에 출력되는 소정 위치의 객체를 옮기는 미션, 영상에 출력되는 객체에 그림을 그리는 미션, 영상에 출력되는 객체에 소정의 동작을 취하는 미션 등을 포함하는 콘텐츠를 VR 영상과 함께 출력하고, 환자가 해당 미션을 수행하도록 유도하여 환상통 치료를 도울 수 있다. Referring to FIG. 5 , the
도 6를 참조하면, HMD 장치(200)는 환자가 위치한 실제 주변 환경에 가상의 신체 영상을 출력한 AR 영상을 생성하여 출력할 수 있고, 상술한 도 5의 콘텐츠와 동일한 미션의 콘텐츠를 제공하여, 환자가 미션들을 수행하도록 유도할 수 있다. 또한, HMD 장치(200)는 영상에 특정한 손 동작이나, 숫자, 또는 수학 문제를 출력하여, 환자가 가상의 신체 영상이 특정한 손 동작을 나타내도록 유도하고, 환자가 취한 손 동작이 콘텐츠에 기 설정된 답 또는 기 설정된 손동작과 같은 것으로 인식되면 환자에게 점수를 부여하는 방식으로, 환자가 미션을 수행하도록 유도하여 환상통 치료를 도울 수 있다. Referring to FIG. 6 , the
상술한 실시예에 따르면, 환자의 신체 절단 부위에 가상의 신체를 구현할 수 있고, 이때 구현된 가상의 신체는 절단되지 않은 신체가 갖는 움직임과 대칭되는 움직임을 갖도록 구현될 수 있다. 이에 따라, 환자는 의식적으로 양손 또는 양발이 동일한 동작을 한다고 생각하면서, 가상현실을 통해 구현되는 가상의 신체의 움직임을 시각적으로 인지함으로써, 거울 치료법과 같은 개념의 치료를 진행할 수 있다. According to the above-described embodiment, a virtual body may be embodied in the cut part of the patient's body, and in this case, the embodied virtual body may be embodied to have a movement symmetrical to the movement of the uncut body. Accordingly, while the patient consciously thinks that both hands or both feet perform the same motion, by visually recognizing the movement of the virtual body implemented through virtual reality, the treatment of the same concept as mirror therapy can be performed.
이에 따라, 환자는 양 신체의 행동을 동일하게 움직인다는 인지를 통해 가상의 신체를 실제의 팔과 다리처럼 움직이고, 시각적으로 신체의 움직임을 현실감을 있게 인지할 수 있게 되어, 환상통이 완화될 수 있고 재활 훈련의 효과가 향상될 수 있다.Accordingly, the patient can move the virtual body like real arms and legs through the recognition that both body movements are the same, and visually recognize the body movement realistically, so that phantom pain can be alleviated. and the effectiveness of rehabilitation training can be improved.
또한, 환자는 HMD(Head Mounted Display) 장치를 통해 실제 생활과 동일한 시점에서 가상의 신체 영상을 눈앞에서 인지하게 되므로, 실제의 신체처럼 자연스러운 시점에서 생동감 있게 인지할 수 있게 된다.In addition, since the patient perceives a virtual body image in front of his/her eyes at the same point in time as in real life through a Head Mounted Display (HMD) device, it is possible to vividly recognize it from a natural point of view like a real body.
더하여, 환자의 움직임은 FLEX 필름으로 구성된 웨어러블 장치가 실제 환자의 팔 또는 다리의 세세한 움직임을 센싱하도록 구현됨으로써, 가상의 신체의 움직임이 보다 정확하게 실제 신체의 움직임을 반영하여 움직이도록 구현될 수 있다.In addition, the movement of the patient is implemented so that the wearable device composed of the FLEX film senses the detailed movement of the arm or leg of the actual patient, so that the movement of the virtual body can be implemented to more accurately reflect the movement of the real body.
더불어, 환자가 가상의 신체로 수행할 수 있는 다양한 미션을 포함하는 배경 또는 객체를 VR 영상 또는 AR 영상으로 제공하여, 환자에게 흥미 요소를 결합한 치료 콘텐츠를 제공할 수 있다. In addition, by providing a background or object including various missions that the patient can perform with a virtual body as a VR image or an AR image, it is possible to provide treatment content that combines elements of interest to the patient.
상술한 본 발명의 실시예들은 다양한 수단을 통해 구현될 수 있다. 예를 들어, 본 발명의 실시예들은 하드웨어, 펌웨어(firmware), 소프트웨어 또는 그것들의 결합 등에 의해 구현될 수 있다.The above-described embodiments of the present invention may be implemented through various means. For example, embodiments of the present invention may be implemented by hardware, firmware, software, or a combination thereof.
하드웨어에 의한 구현의 경우, 본 발명의 실시예들에 따른 방법은 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 프로세서, 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.In the case of implementation by hardware, the method according to embodiments of the present invention may include one or more Application Specific Integrated Circuits (ASICs), Digital Signal Processors (DSPs), Digital Signal Processing Devices (DSPDs), and Programmable Logic Devices (PLDs). , FPGAs (Field Programmable Gate Arrays), processors, controllers, microcontrollers, microprocessors, and the like.
펌웨어나 소프트웨어에 의한 구현의 경우, 본 발명의 실시예들에 따른 방법은 이상에서 설명된 기능 또는 동작을 수행하는 모듈, 절차 또는 함수 등의 형태로 구현될 수 있다. 소프트웨어 코드 등이 기록된 컴퓨터 프로그램은 컴퓨터 판독 가능 기록 매체 또는 메모리 유닛에 저장되어 프로세서에 의해 구동될 수 있다. 메모리 유닛은 프로세서 내부 또는 외부에 위치하여, 이미 공지된 다양한 수단에 의해 프로세서와 데이터를 주고받을 수 있다.In the case of implementation by firmware or software, the method according to the embodiments of the present invention may be implemented in the form of a module, procedure, or function that performs the functions or operations described above. A computer program in which a software code or the like is recorded may be stored in a computer-readable recording medium or a memory unit and driven by a processor. The memory unit may be located inside or outside the processor, and may exchange data with the processor by various known means.
또한 본 발명에 첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 인코딩 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 인코딩 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방법으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.Also, combinations of each block in the block diagram attached to the present invention and each step in the flowchart may be performed by computer program instructions. These computer program instructions may be embodied in an encoding processor of a general purpose computer, special purpose computer, or other programmable data processing equipment, such that the instructions executed by the encoding processor of the computer or other programmable data processing equipment may correspond to each block of the block diagram or Each step of the flowchart creates a means for performing the functions described. These computer program instructions may also be stored in a computer-usable or computer-readable memory that may direct a computer or other programmable data processing equipment to implement a function in a particular way, and thus the computer-usable or computer-readable memory. It is also possible for the instructions stored in the block diagram to produce an article of manufacture containing instruction means for performing a function described in each block of the block diagram or each step of the flowchart. The computer program instructions may also be mounted on a computer or other programmable data processing equipment, such that a series of operational steps are performed on the computer or other programmable data processing equipment to create a computer-executed process to create a computer or other programmable data processing equipment. It is also possible that instructions for performing the processing equipment provide steps for performing the functions described in each block of the block diagram and each step of the flowchart.
더불어 각 블록 또는 각 단계는 특정된 논리적 기능을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또한, 몇 가지 대체 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.In addition, each block or each step may represent a module, segment, or part of code including one or more executable instructions for executing a specified logical function. It should also be noted that it is also possible for the functions recited in blocks or steps to occur out of order in some alternative embodiments. For example, it is possible that two blocks or steps shown one after another may in fact be performed substantially simultaneously, or that the blocks or steps may sometimes be performed in the reverse order according to the corresponding function.
이와 같이, 본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.As such, those skilled in the art to which the present invention pertains will understand that the present invention may be embodied in other specific forms without changing the technical spirit or essential characteristics thereof. Therefore, it should be understood that the embodiments described above are illustrative in all respects and not restrictive. The scope of the present invention is indicated by the following claims rather than the detailed description, and all changes or modifications derived from the meaning and scope of the claims and their equivalent concepts should be construed as being included in the scope of the present invention. .
10: 장치
11: 제1 신체
12: 제2 신체
13: 착용되지 않은 신체 부분
a: 경계 지점
100: 웨어러블 장치
200: HMD 장치
210: 메모리
220: 프로세서
230: 디스플레이
300: 트래커
400: 뎁스 카메라10: device
11: first body
12: second body
13: body parts not worn
a: boundary point
100: wearable device
200: HMD device
210: memory
220: processor
230: display
300: tracker
400: depth camera
Claims (6)
상기 제1 신체와 대칭되는 신체 부위인 제2 신체에 착용되는 웨어러블 장치; 및
상기 웨어러블 장치가 센싱한 정보를 기초로 상기 제2 신체에 대응하는 가상의 신체 영상을 생성하는 프로세서와, 상기 제1 신체의 일단에 상기 가상의 신체 영상을 출력하는 디스플레이로 구성된 HMD(Head Mounted Display) 장치를 포함하고,
상기 웨어러블 장치는,
표면의 인장 여부에 따라 변화하는 저항 값을 통해 형태 변화를 센싱하는 플렉스 필름;
외부 장치와 유무선 통신을 수행하는 유무선 통신부; 및
상기 제2 신체에 진동을 인가하는 액츄에이터를 포함하는,
가상이식을 이용한 재활 치료 장치.a tracker worn on the amputated or paralyzed first body of the patient;
a wearable device worn on a second body that is a body part symmetrical to the first body; and
A head mounted display (HMD) comprising a processor for generating a virtual body image corresponding to the second body based on information sensed by the wearable device, and a display for outputting the virtual body image on one end of the first body ) including the device;
The wearable device,
a flex film that senses a change in shape through a resistance value that changes depending on whether the surface is stretched;
a wired/wireless communication unit for performing wired/wireless communication with an external device; and
An actuator for applying vibration to the second body,
Rehabilitation treatment device using virtual implantation.
상기 웨어러블 장치는,
환자의 손에 착용 가능한 모션캡쳐 장갑, VR 스마트 장갑 또는 모션 인식 장갑 중 적어도 어느 하나를 포함하는,
가상이식을 이용한 재활 치료 장치.The method of claim 1,
The wearable device,
At least one of a motion capture glove that can be worn on the patient's hand, a VR smart glove, or a motion recognition glove,
Rehabilitation treatment device using virtual implantation.
상기 제1 신체와 대칭되는 신체 부위인 제2 신체에 착용되는 웨어러블 장치; 및
상기 웨어러블 장치가 센싱한 정보를 기초로 상기 제2 신체에 대응하는 가상의 신체 영상을 생성하는 프로세서와, 상기 제1 신체의 일단에 상기 가상의 신체 영상을 출력하는 디스플레이로 구성된 HMD(Head Mounted Display) 장치를 포함하고,
상기 웨어러블 장치는,
양측 단부가 상기 제2 신체의 관절부위 상측 및 하측에 연결되어 상기 제2 신체의 관절부위의 움직임에 따라 저항 값이 변하는 소프트 센서;
상기 소프트 센서의 양측 단부에 구비되어 환자의 신체에 접착되는 접착부; 및
상기 접착부의 일측에 구비되어 상기 제2 신체에 진동을 인가하는 액츄에이터를 포함하는,
가상이식을 이용한 재활 치료 장치.a tracker worn on the patient's amputated or paralyzed first body;
a wearable device worn on a second body that is a body part symmetrical to the first body; and
A head mounted display (HMD) comprising a processor for generating a virtual body image corresponding to the second body based on information sensed by the wearable device, and a display for outputting the virtual body image on one end of the first body ) including the device;
The wearable device,
a soft sensor having both ends connected to upper and lower joint portions of the second body, the resistance value changing according to the movement of the joint portion of the second body;
Adhesive portions provided at both ends of the soft sensor to be attached to the patient's body; and
Comprising an actuator provided on one side of the bonding part to apply vibration to the second body,
Rehabilitation treatment device using virtual implantation.
상기 프로세서는,
상기 웨어러블 장치가 센싱한 정보를 기초로 상기 제2 신체의 형태 및 움직임 정보를 구성하는 복수의 3차원 위치 정보를 생성하는 동작;
상기 복수의3 차원 위치 정보 각각을 면대칭시킨 복수의 가상 위치 정보를 생성하는 동작; 및
상기 복수의 가상 위치 정보를 3D 렌더링하여 상기 가상의 신체 영상을 생성하는 동작을 수행하는,
가상이식을 이용한 재활 치료 장치.The method of claim 1,
The processor is
generating a plurality of three-dimensional position information constituting the second body shape and motion information based on the information sensed by the wearable device;
generating a plurality of pieces of virtual location information in which each of the plurality of three-dimensional location information is plane-symmetrical; and
generating the virtual body image by 3D rendering the plurality of virtual location information;
Rehabilitation treatment device using virtual implantation.
상기 프로세서는,
상기 트래커가 위치하는 제1 지점을 특정하는 동작;
상기 가상의 신체 영상 중 상기 웨어러블 장치가 착용된 신체 부분과 착용되지 않은 신체 부분의 경계 지점에 해당하는 제2 지점의 위치를 특정하는 동작; 및
상기 제1 지점과 상기 가상의 신체 영상의 상기 제2 지점이 연결되도록 상기 가상의 신체 영상을 상기 디스플레이에 출력하는 동작을 수행하는,
가상이식을 이용한 재활 치료 장치.The method of claim 1,
The processor is
specifying a first point where the tracker is located;
specifying a location of a second point corresponding to a boundary point between a body part on which the wearable device is worn and a body part on which the wearable device is not worn in the virtual body image; and
outputting the virtual body image to the display so that the first point and the second point of the virtual body image are connected;
Rehabilitation treatment device using virtual implantation.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200150835A KR102446922B1 (en) | 2020-11-12 | 2020-11-12 | Apparatus for rehabilitation treatment using virtual transplant based on vr/ar for overcoming phantom pain |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200150835A KR102446922B1 (en) | 2020-11-12 | 2020-11-12 | Apparatus for rehabilitation treatment using virtual transplant based on vr/ar for overcoming phantom pain |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20220064593A KR20220064593A (en) | 2022-05-19 |
KR102446922B1 true KR102446922B1 (en) | 2022-09-22 |
Family
ID=81805053
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020200150835A KR102446922B1 (en) | 2020-11-12 | 2020-11-12 | Apparatus for rehabilitation treatment using virtual transplant based on vr/ar for overcoming phantom pain |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102446922B1 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102720677B1 (en) | 2022-02-18 | 2024-10-23 | 주식회사 잼잼테라퓨틱스 | rehabilitation training apparatus, rehabilitation training system having the same, and rehabilitation training method |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015039522A (en) * | 2013-08-22 | 2015-03-02 | セイコーエプソン株式会社 | Rehabilitation device and assistive device for phantom limb pain treatment |
KR102164965B1 (en) * | 2019-05-03 | 2020-10-14 | 계명대학교 산학협력단 | Virtual illusion system for hemiplegic patients using brain stimulation and its way to working |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100200112B1 (en) | 1994-12-29 | 1999-06-15 | 정몽규 | Accelerator transmission |
KR20140089023A (en) * | 2012-12-31 | 2014-07-14 | 동의대학교 산학협력단 | Apparatus for Rehabilitation Training of Upper Limb of Hemiplegic Patients |
-
2020
- 2020-11-12 KR KR1020200150835A patent/KR102446922B1/en active IP Right Grant
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015039522A (en) * | 2013-08-22 | 2015-03-02 | セイコーエプソン株式会社 | Rehabilitation device and assistive device for phantom limb pain treatment |
KR102164965B1 (en) * | 2019-05-03 | 2020-10-14 | 계명대학교 산학협력단 | Virtual illusion system for hemiplegic patients using brain stimulation and its way to working |
Also Published As
Publication number | Publication date |
---|---|
KR20220064593A (en) | 2022-05-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20220011855A1 (en) | System and Methods for On Body Gestural Interfaces and Projection Displays | |
CN111460875B (en) | Image processing method and apparatus, image device, and storage medium | |
US20170014683A1 (en) | Display device and computer program | |
JP6870264B2 (en) | Exercise training equipment and programs | |
US20160249008A1 (en) | Display apparatus, display method, and program | |
JP4025230B2 (en) | Pain treatment support device and method for displaying phantom limb images in a virtual space | |
Elvitigala et al. | 2bit-tactilehand: evaluating tactons for on-body vibrotactile displays on the hand and wrist | |
CN115942899A (en) | Medical examination of the human body using tactile sensation | |
KR102446922B1 (en) | Apparatus for rehabilitation treatment using virtual transplant based on vr/ar for overcoming phantom pain | |
JP2015503393A (en) | Method and apparatus for tracking hand and / or wrist rotation of a user performing exercise | |
KR102446921B1 (en) | Wearable apparatus, head mounted display apparatus and system for rehabilitation treatment using virtual transplant based on vr/ar for overcoming phantom pain | |
KR102253353B1 (en) | Method and apparatus for providing rehabilitation content using virtual transplant hand based on vr/ar | |
KR102253352B1 (en) | Method and apparatus for providing rehabilitation content using virtual transplant foot based on vr/ar | |
JP7262763B2 (en) | Rehabilitation support device and program | |
Kavakli | Gesture recognition in virtual reality | |
KR102684755B1 (en) | Method of providing guide for breast cancer self diagnosis and breast massaging and breast cancer self diagnosis and breast massaging device using augmented reality | |
KR102635074B1 (en) | Head mounted display apparatus for providing object catching training based on virtual transplant of vr/ar technology, and operation method thereof | |
Haans et al. | Self-attribution and telepresence | |
CN219302988U (en) | Augmented reality device | |
JP7450183B2 (en) | Phantom limb pain care system, patient device, and program | |
JP2022088229A (en) | Training support device, training support method, and program | |
Ariza Nuñez | Wearable Haptic Technology for 3D Selection and Guidance | |
KR20240107458A (en) | Illusion training system for brain plasticity enhancement and method for illusion training using the same | |
JP2021173823A (en) | Exercise assisting device, exercise assisting method, program, and exercise assisting system | |
Nakagawa et al. | Development of VR simulator for nurse training |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right |