Nothing Special   »   [go: up one dir, main page]

JP2021003379A - Rehabilitation support device and program - Google Patents

Rehabilitation support device and program Download PDF

Info

Publication number
JP2021003379A
JP2021003379A JP2019118957A JP2019118957A JP2021003379A JP 2021003379 A JP2021003379 A JP 2021003379A JP 2019118957 A JP2019118957 A JP 2019118957A JP 2019118957 A JP2019118957 A JP 2019118957A JP 2021003379 A JP2021003379 A JP 2021003379A
Authority
JP
Japan
Prior art keywords
virtual model
subject
support device
image
calculation unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019118957A
Other languages
Japanese (ja)
Other versions
JP7262763B2 (en
Inventor
尚伸 高平
Naonobu Takahira
尚伸 高平
佐々木　秀一
Shuichi Sasaki
秀一 佐々木
晃司 津田
Koji Tsuda
晃司 津田
献人 田中
Kento Tanaka
献人 田中
近藤　幸一
Koichi Kondo
幸一 近藤
香苗 山下
Kanae Yamashita
香苗 山下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CHANTY KK
Kitasato Institute
Original Assignee
CHANTY KK
Kitasato Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CHANTY KK, Kitasato Institute filed Critical CHANTY KK
Priority to JP2019118957A priority Critical patent/JP7262763B2/en
Publication of JP2021003379A publication Critical patent/JP2021003379A/en
Application granted granted Critical
Publication of JP7262763B2 publication Critical patent/JP7262763B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Rehabilitation Tools (AREA)

Abstract

To provide a rehabilitation support device which has a high therapeutic effect in the phantom limb pain treatment and paralysis treatment.SOLUTION: A rehabilitation support device 1 comprises: display means 11 which displays an image of a virtual model in a superimposed manner on a visual field of a subject; a detection sensor 13 which can detect the shape and posture of the limbs of the subject; and a calculation unit 10 which calculates the image of the virtual model to be displayed in the superimposed manner on the visual field of the subject on the basis of the position, shape and posture of the virtual model in a virtual space. The calculation unit performs mirroring of the detection result of the shape and posture of the limbs on one side of the subject by the detection sensor and applies the result to the shape and posture of the virtual model imitating the limbs on the other side of the subject.SELECTED DRAWING: Figure 2

Description

本発明は、リハビリ支援装置、及びプログラムに関する。 The present invention relates to a rehabilitation support device and a program.

被験者のリハビリを支援するための装置として、例えば特許文献１には、空間認識能力の検査を的確に行うことができる高次脳機能検査用の三次元表示装置が記載されている。この高次脳機能検査用の三次元表示装置は、被験者履歴、ＴＭＴ履歴、ＢＩＴ履歴および高次脳機能検査プログラム情報を記録する記録部と、三次元表示部（ヘッドマウントディスプレイ）と、三次元表示部の表示を制御する制御部と、を含む。このような構成によれば、制御部により被験者のカルテ履歴情報および高次脳機能検査の検査履歴情報に基づいて、高次脳機能検査プログラム情報が選定される。すなわち、被験者の病状に最適な高次脳機能検査プログラム情報を選定することができる。 As a device for supporting the rehabilitation of a subject, for example, Patent Document 1 describes a three-dimensional display device for a higher brain function test that can accurately test the spatial cognitive ability. This three-dimensional display device for higher brain function test includes a recording unit that records subject history, TMT history, BIT history, and higher brain function test program information, a three-dimensional display unit (head-mounted display), and three dimensions. Includes a control unit that controls the display of the display unit. According to such a configuration, the control unit selects the higher brain function test program information based on the medical record history information of the subject and the test history information of the higher brain function test. That is, it is possible to select the higher brain function test program information most suitable for the medical condition of the subject.

特開２０１９−０１０４４１号公報JP-A-2019-010441

しかしながら、幻肢痛治療や麻痺治療の観点から、より治療効果の高い装置の開発が望まれている。 However, from the viewpoint of phantom limb pain treatment and paralysis treatment, the development of a device having a higher therapeutic effect is desired.

本発明は、このような課題に鑑みてなされたものであって、幻肢痛治療や麻痺治療において治療効果の高いリハビリ支援装置、及びプログラムを提供する。 The present invention has been made in view of such a problem, and provides a rehabilitation support device and a program having a high therapeutic effect in the treatment of phantom limb pain and the treatment of paralysis.

本発明の第１の態様によれば、リハビリ支援装置は、対象者の視界に仮想モデルの映像を重畳表示する表示手段と、前記対象者の手足の形および姿勢を検出可能な検出センサと、仮想空間における前記仮想モデルの位置、形および姿勢に基づいて、前記対象者の視界に重畳表示させるべき前記仮想モデルの映像を演算する演算部と、を備える。前記演算部は、前記検出センサによる前記対象者の一方側の手足の形および姿勢の検出結果をミラーリングして、前記対象者の他方側の手足を模した前記仮想モデルの形および姿勢に適用する。 According to the first aspect of the present invention, the rehabilitation support device includes a display means for superimposing and displaying an image of a virtual model on the field of view of the subject, a detection sensor capable of detecting the shape and posture of the limbs of the subject, and the detection sensor. A calculation unit that calculates an image of the virtual model to be superimposed and displayed in the field of view of the target person based on the position, shape, and posture of the virtual model in the virtual space is provided. The calculation unit mirrors the detection result of the shape and posture of one side of the target person by the detection sensor and applies it to the shape and posture of the virtual model imitating the other side of the target person. ..

本発明の第２の態様によれば、第１の態様に係るリハビリ支援装置は、撮影手段をさらに備える。前記演算部は、前記撮影手段によって得られた映像に含まれる第１マーカーの、前記仮想空間における位置を特定するとともに、当該第１マーカーの前記仮想空間における位置を、前記仮想モデルの映像の位置に適用する。 According to the second aspect of the present invention, the rehabilitation support device according to the first aspect further includes imaging means. The calculation unit specifies the position of the first marker included in the image obtained by the photographing means in the virtual space, and sets the position of the first marker in the virtual space as the position of the image of the virtual model. Applies to.

本発明の第３の態様によれば、第２の態様に係るリハビリ支援装置において、前記演算部は、前記撮影手段によって得られた映像に含まれる第２マーカーの、前記仮想空間における移動量を演算して記録する。 According to the third aspect of the present invention, in the rehabilitation support device according to the second aspect, the calculation unit determines the amount of movement of the second marker included in the image obtained by the photographing means in the virtual space. Calculate and record.

本発明の第４の態様によれば、第１から第３のいずれか一の態様に係るリハビリ支援装置において、前記演算部は、前記仮想モデルの大きさまたは色に関する設定の変更を受け付ける。 According to the fourth aspect of the present invention, in the rehabilitation support device according to any one of the first to third aspects, the calculation unit accepts a change in the size or color of the virtual model.

本発明の第５の態様によれば、第１から第４のいずれか一の態様に係るリハビリ支援装置において、前記演算部は、設定に応じて、前記仮想モデルの透過映像を重畳表示させる。 According to the fifth aspect of the present invention, in the rehabilitation support device according to any one of the first to fourth aspects, the calculation unit superimposes and displays the transparent image of the virtual model according to the setting.

本発明の第６の態様によれば、リハビリ支援装置のコンピュータを機能させるプログラムは、対象者の視界に仮想モデルの映像を重畳表示する表示手段と、前記対象者の手足の形および姿勢を検出可能な検出センサと、を備えるリハビリ支援装置のコンピュータに、仮想空間における前記仮想モデルの位置、形および姿勢に基づいて、前記対象者の視界に重畳表示させるべき前記仮想モデルの映像を演算するステップを実行させる。前記仮想モデルの映像を演算するステップは、さらに、前記検出センサによる前記対象者の一方側の手足の形および姿勢の検出結果をミラーリングして、前記対象者の他方側の手足を模した前記仮想モデルの形および姿勢に適用するステップを含む。 According to the sixth aspect of the present invention, the program for operating the computer of the rehabilitation support device detects the display means for superimposing the image of the virtual model on the field of view of the subject and the shape and posture of the limbs of the subject. A step of calculating an image of the virtual model to be superimposed and displayed in the field of view of the target person based on the position, shape, and posture of the virtual model in a virtual space on a computer of a rehabilitation support device including a possible detection sensor. To execute. The step of calculating the image of the virtual model further mirrors the detection result of the shape and posture of one side of the target person by the detection sensor, and imitates the other side of the target person. Includes steps applied to the shape and orientation of the model.

本発明に係るリハビリ支援装置によれば、幻肢痛治療及び麻痺治療の観点から、より治療効果の高い装置を提供することができる。 According to the rehabilitation support device according to the present invention, it is possible to provide a device having a higher therapeutic effect from the viewpoint of phantom limb pain treatment and paralysis treatment.

第１の実施形態に係るリハビリ支援装置の全体構成を示す図である。It is a figure which shows the whole structure of the rehabilitation support device which concerns on 1st Embodiment. 第１の実施形態に係るリハビリ支援装置の機能構成を示す図である。It is a figure which shows the functional structure of the rehabilitation support device which concerns on 1st Embodiment. 第１の実施形態に係るリハビリ支援装置の処理フローの一例を示す図である。It is a figure which shows an example of the processing flow of the rehabilitation support apparatus which concerns on 1st Embodiment. 第１の実施形態に係るリハビリ支援装置を介して対象者から見える視界のイメージ図である。It is an image diagram of the field of view seen from the subject through the rehabilitation support device according to the first embodiment. 第１の実施形態に係る演算部による処理を説明するためのイメージ図である。It is an image diagram for demonstrating the processing by the arithmetic unit which concerns on 1st Embodiment. 第１の実施形態に係る演算部によるミラーリングの処理を説明するためのイメージ図である。It is an image diagram for demonstrating the mirroring process by the arithmetic unit which concerns on 1st Embodiment. 第２の実施形態に係るリハビリ支援装置の全体構成を示す図である。It is a figure which shows the whole structure of the rehabilitation support device which concerns on 2nd Embodiment. 第２の実施形態に係るリハビリ支援装置の処理フローの一例を示す図である。It is a figure which shows an example of the processing flow of the rehabilitation support apparatus which concerns on 2nd Embodiment. 第２の実施形態に係るリハビリ支援装置を介して対象者から見える視界のイメージ図である。It is an image diagram of the field of view seen from the subject through the rehabilitation support device according to the second embodiment. 少なくとも一つの実施形態に係るリハビリ支援装置のハードウェア構成の一例を示す図である。It is a figure which shows an example of the hardware configuration of the rehabilitation support device which concerns on at least one Embodiment.

＜第１の実施形態＞
以下、本発明の第１の実施形態に係るリハビリ支援装置について、図１〜図６を参照しながら説明する。 <First Embodiment>
Hereinafter, the rehabilitation support device according to the first embodiment of the present invention will be described with reference to FIGS. 1 to 6.

（リハビリ支援装置の全体構成）
図１は、第１の実施形態に係るリハビリ支援装置の全体構成を示す図である。
図１に示すように、リハビリ支援装置１は、いわゆるヘッドマウント型の装置であって、幻肢痛の患者（以下、対象者Ａと記載）の頭部に装着されて用いられる。本実施形態においては、対象者Ａは、例えば左上腕部ａ２の先（左前腕部）を欠損した患者であって、当該左前腕部に係る幻肢痛を患っている。なお、対象者Ａの左前腕部ａ２の欠損端にはマーカーＭ１（第１マーカー）が付されている。 (Overall configuration of rehabilitation support device)
FIG. 1 is a diagram showing an overall configuration of a rehabilitation support device according to the first embodiment.
As shown in FIG. 1, the rehabilitation support device 1 is a so-called head mount type device, and is used by being attached to the head of a patient with phantom limb pain (hereinafter referred to as subject A). In the present embodiment, the subject A is, for example, a patient who lacks the tip (left forearm) of the upper left forearm a2 and suffers from phantom limb pain related to the left forearm. A marker M1 (first marker) is attached to the defective end of the left forearm portion a2 of the subject A.

（リハビリ支援装置の機能構成）
図２は、第１の実施形態に係るリハビリ支援装置の機能構成を示す図である。
図２に示すように、リハビリ支援装置１は、演算部１０と、プロジェクタ１１と、レンズ１２と、深度センサ１３と、ＣＣＤカメラ１４と、ＩＭＵ１５とを備えている。 (Functional configuration of rehabilitation support device)
FIG. 2 is a diagram showing a functional configuration of the rehabilitation support device according to the first embodiment.
As shown in FIG. 2, the rehabilitation support device 1 includes a calculation unit 10, a projector 11, a lens 12, a depth sensor 13, a CCD camera 14, and an IMU 15.

演算部１０は、リハビリ支援装置１の動作全体の制御および処理を司る。 The calculation unit 10 controls and processes the entire operation of the rehabilitation support device 1.

プロジェクタ１１は、仮想モデルの映像Ｐをレンズ１２に投影させる投影装置である。 The projector 11 is a projection device that projects the image P of the virtual model onto the lens 12.

レンズ１２は、透過型のゴーグルである。レンズ１２には、プロジェクタ１１によって投影された仮想モデルの映像Ｐが表示される。対象者Ａは、レンズ１２を通じて現実の空間を視認することができ、さらに、その視界に重畳表示された仮想モデルの映像Ｐを視認することができる。 The lens 12 is a transmissive goggles. The image P of the virtual model projected by the projector 11 is displayed on the lens 12. The subject A can visually recognize the real space through the lens 12, and can further visually recognize the image P of the virtual model superimposed and displayed in the field of view.

プロジェクタ１１およびレンズ１２は、対象者Ａの視界に仮想モデルの映像Ｐを重畳表示する表示手段の一態様である。 The projector 11 and the lens 12 are one aspect of the display means for superimposing the image P of the virtual model on the field of view of the subject A.

深度センサ１３は、対象者Ａの手の形（握っているか、開いているか、など）および姿勢を検出可能な検出センサである。深度センサ１３は、対象者Ａの右前腕部ａ１（欠損していない方の前腕部）の形および姿勢を検出する。右前腕部ａ１の形および姿勢の検出手法は、既知のジェスチャ認識技術などが適用される。 The depth sensor 13 is a detection sensor capable of detecting the shape (holding, open, etc.) and posture of the subject A's hand. The depth sensor 13 detects the shape and posture of the right forearm a1 (the forearm that is not missing) of the subject A. As a method for detecting the shape and posture of the right forearm a1, a known gesture recognition technique or the like is applied.

ＣＣＤカメラ１４は、リハビリ支援装置１周辺の映像を取得する撮影手段である。演算部１０は、撮影手段によって取得された映像からマーカーＭ１の画像を抽出する。そして、演算部１０は、当該画像上の位置に基づいて、マーカーＭ１の仮想空間における位置を特定する。 The CCD camera 14 is a photographing means for acquiring an image around the rehabilitation support device 1. The calculation unit 10 extracts the image of the marker M1 from the video acquired by the photographing means. Then, the calculation unit 10 specifies the position of the marker M1 in the virtual space based on the position on the image.

ＩＭＵ１５は、リハビリ支援装置１（即ち、対象者Ａの頭部）の位置、姿勢を検出する三次元加速度センサである。演算部１０は、ＩＭＵ１５によって得られるリハビリ支援装置１の位置、姿勢に基づいて、対象者Ａの視野の方位を特定する。 The IMU 15 is a three-dimensional acceleration sensor that detects the position and posture of the rehabilitation support device 1 (that is, the head of the subject A). The calculation unit 10 specifies the direction of the visual field of the subject A based on the position and posture of the rehabilitation support device 1 obtained by the IMU 15.

リハビリ支援装置１の記録媒体１６には、仮想モデルＶが記憶される。仮想モデルＶは、対象者Ａの欠損部位（左前腕部）を模した仮想モデルである。仮想モデルＶの大きさや色は、設定により適宜変更可能とされる。 The virtual model V is stored in the recording medium 16 of the rehabilitation support device 1. The virtual model V is a virtual model that imitates the defective part (left forearm part) of the subject A. The size and color of the virtual model V can be changed as appropriate by setting.

（リハビリ支援装置の処理フロー）
図３は、第１の実施形態に係るリハビリ支援装置の処理フローの一例を示す図である。
図４は、第１の実施形態に係るリハビリ支援装置を介して対象者から見える視界のイメージ図である。
図５は、第１の実施形態に係る演算部による処理を説明するためのイメージ図である。
図６は、第１の実施形態に係る演算部によるミラーリングの処理を説明するためのイメージ図である。
図３〜６を参照しながら、第１の実施形態に係るリハビリ支援装置１の演算部１０が実行する処理フローについて詳しく説明する。 (Processing flow of rehabilitation support device)
FIG. 3 is a diagram showing an example of a processing flow of the rehabilitation support device according to the first embodiment.
FIG. 4 is an image diagram of the field of view seen by the subject via the rehabilitation support device according to the first embodiment.
FIG. 5 is an image diagram for explaining the processing by the calculation unit according to the first embodiment.
FIG. 6 is an image diagram for explaining the mirroring process by the arithmetic unit according to the first embodiment.
The processing flow executed by the calculation unit 10 of the rehabilitation support device 1 according to the first embodiment will be described in detail with reference to FIGS. 3 to 6.

まず、演算部１０は、仮想モデルＶの大きさ、色を設定する（ステップＳ０１）。具体的には、演算部１０は、仮想モデルＶの模擬対象となる対象者Ａの身体の部位、即ち、対象者Ａの右前腕部ａ１の大きさ（長さ、太さ）および色（皮膚の色）を取得して、仮想モデルＶに適用する。なお、大きさおよび色の設定は、対象者Ａがキーボードなどの入力装置（不図示）から手入力するようにしてもよいし、ＣＣＤカメラ１４および深度センサ１３の検出結果に基づいて演算部１０が自動的に大きさおよび色を特定して入力するようにしてもよい。また、演算部１０は、過去に当該対象者Ａに関する設定が登録済みである場合、登録済みの設定を読み出すようにしてもよい。この仮想モデルＶの設定は、対象者Ａの個人情報（識別番号、氏名など）と対応付けて記録媒体１６に記録される。 First, the calculation unit 10 sets the size and color of the virtual model V (step S01). Specifically, the calculation unit 10 is the size (length, thickness) and color (skin) of the body part of the subject A to be simulated by the virtual model V, that is, the right forearm a1 of the subject A. Color) and apply it to the virtual model V. The size and color may be set manually by the subject A from an input device (not shown) such as a keyboard, or the calculation unit 10 may be set based on the detection results of the CCD camera 14 and the depth sensor 13. May automatically specify the size and color and enter it. Further, when the setting related to the target person A has been registered in the past, the calculation unit 10 may read the registered setting. The setting of the virtual model V is recorded on the recording medium 16 in association with the personal information (identification number, name, etc.) of the target person A.

次に、演算部１０は、ＩＭＵ１５を通じて、対象者Ａの視野の方位を特定する（ステップＳ０２）。 Next, the calculation unit 10 specifies the direction of the visual field of the target person A through the IMU 15 (step S02).

次に、演算部１０は、模擬対象である右前腕部ａ１の形、姿勢を検出する（ステップＳ０３）。具体的には、演算部１０は、深度センサ１３を通じて、仮想空間における右前腕部ａ１の各部位（手首、指の関節など）の位置を三次元座標情報（ｘ、ｙ、ｚ）で取得する。 Next, the calculation unit 10 detects the shape and posture of the right forearm portion a1 to be simulated (step S03). Specifically, the calculation unit 10 acquires the position of each part (wrist, knuckle, etc.) of the right forearm a1 in the virtual space through the depth sensor 13 with three-dimensional coordinate information (x, y, z). ..

次に、演算部１０は、マーカーＭ１の位置を検出する（ステップＳ０４）。具体的には、演算部１０は、ＣＣＤカメラ１４を通じて、仮想空間におけるマーカーＭ１の位置を三次元座標情報（ｘ、ｙ、ｚ）で取得する。 Next, the calculation unit 10 detects the position of the marker M1 (step S04). Specifically, the calculation unit 10 acquires the position of the marker M1 in the virtual space with the three-dimensional coordinate information (x, y, z) through the CCD camera 14.

次に、演算部１０は、仮想モデルの映像Ｐを演算する（ステップＳ０５）。また、演算部１０は、プロジェクタ１１を通じて、演算した仮想モデルの映像Ｐを投影する（ステップＳ０６）。そうすると、対象者Ａは、図４に示すように、レンズ１２を通じて、現実の視界に重畳された仮想モデルの映像Ｐを視認することができる。 Next, the calculation unit 10 calculates the video P of the virtual model (step S05). Further, the calculation unit 10 projects the calculated virtual model image P through the projector 11 (step S06). Then, as shown in FIG. 4, the subject A can visually recognize the image P of the virtual model superimposed on the actual field of view through the lens 12.

なお、本実施形態に係る演算部１０は、拡張現実（Augmented Reality）もしくは複合現実（Mixed Reality）と呼ばれる技術を用いて仮想モデルの映像Ｐの投影を行う。具体的には、図５に示すように、演算部１０はステップＳ０５において、深度センサ１３による対象者Ａの右前腕部ａ１の形および姿勢の検出結果をミラーリングして、対象者Ａの他方側の腕（欠損した左前腕部）を模した仮想モデルＶの形および姿勢に適用した映像Ｐを演算する。このとき、演算部１０は、取得した右前腕部ａ１の各部位の位置を左右反転して、仮想モデルＶの対応する各部位に適用する。また、演算部１０は、ＣＣＤカメラ１４により検出したマーカーＭ１の位置と、ＩＭＵ１５により特定された対象者Ａの視野の方位とに基づいて、仮想空間内における仮想モデルの映像Ｐの大きさおよび表示位置（三次元座標）を演算する。 The arithmetic unit 10 according to the present embodiment projects the image P of the virtual model by using a technique called Augmented Reality or Mixed Reality. Specifically, as shown in FIG. 5, the calculation unit 10 mirrors the detection result of the shape and posture of the right forearm portion a1 of the subject A by the depth sensor 13 in step S05, and the other side of the subject A. The image P applied to the shape and posture of the virtual model V that imitates the arm (the missing left forearm) is calculated. At this time, the calculation unit 10 flips the position of each part of the acquired right forearm part a1 left and right and applies it to each part corresponding to the virtual model V. Further, the calculation unit 10 determines the size and display of the image P of the virtual model in the virtual space based on the position of the marker M1 detected by the CCD camera 14 and the direction of the visual field of the target person A specified by the IMU 15. Calculate the position (three-dimensional coordinates).

演算部１０は、プロジェクタ１１を通じて、右前腕部ａ１の形および姿勢をミラーリングした仮想モデルの映像Ｐを投影する（ステップＳ０６）。このとき、演算部１０は、仮想空間におけるマーカーＭ１の位置に合わせて仮想モデルの映像Ｐが表示されるように、仮想モデルの映像Ｐの表示座標についてもプロジェクタ１１に指示する。仮想空間の三次元座標は、対象者Ａがレンズ１２を通じて見る現実の視界の三次元座標に対応している。このため、図４および図５に示すように、仮想モデルの映像Ｐは、レンズを通した視界において、マーカーＭ１の位置に沿うように表示されることとなる。 The calculation unit 10 projects the image P of the virtual model in which the shape and posture of the right forearm portion a1 are mirrored through the projector 11 (step S06). At this time, the calculation unit 10 also instructs the projector 11 about the display coordinates of the image P of the virtual model so that the image P of the virtual model is displayed according to the position of the marker M1 in the virtual space. The three-dimensional coordinates of the virtual space correspond to the three-dimensional coordinates of the actual field of view seen by the subject A through the lens 12. Therefore, as shown in FIGS. 4 and 5, the image P of the virtual model is displayed along the position of the marker M1 in the field of view through the lens.

また、演算部１０は、プロジェクタ１１を通じて、対象者Ａにトレーニングの指示（手の形、姿勢などの指示）を行うための映像を更に投影するようにしてもよい。この映像は、対象者Ａの視界内における右前腕部ａ１および仮想モデルＶと重ならない位置に投影される。 Further, the arithmetic unit 10 may further project an image for giving a training instruction (instruction such as a hand shape and a posture) to the subject A through the projector 11. This image is projected at a position in the field of view of the subject A that does not overlap with the right forearm a1 and the virtual model V.

次に、演算部１０は、対象者Ａのトレーニングが終了したか判定する（ステップＳ０７）。例えば、対象者Ａのトレーニングとして、所定回数、右前腕部ａ１に指定した動作を行わせることが設定されているとする。この場合、演算部１０は、深度センサ１３により、右前腕部ａ１が指定された動作を行った動作回数をカウントし、動作回数が所定回数に満たない場合は、トレーニングが終了していないと判定する（ステップＳ０７：ＮＯ）。この場合、演算部１０は、ステップＳ０２に戻り、一連の処理を繰り返す。 Next, the calculation unit 10 determines whether the training of the target person A has been completed (step S07). For example, as training for the subject A, it is assumed that the right forearm portion a1 is set to perform a designated motion a predetermined number of times. In this case, the calculation unit 10 counts the number of movements in which the right forearm portion a1 has performed the specified movement by the depth sensor 13, and if the number of movements is less than the predetermined number of movements, it is determined that the training has not been completed. (Step S07: NO). In this case, the calculation unit 10 returns to step S02 and repeats a series of processes.

演算部１０は、ステップＳ０２〜Ｓ０６の処理を繰り返し、対象者Ａの右前腕部ａ１の動きをミラーリングして演算した仮想モデルＶを、プロジェクタ１１を通じて投影する。これにより、対象者Ａは、図６に示すように、レンズ１２を通した視界内において、右前腕部ａ１の動きに合わせて仮想モデルの映像Ｐが動く様子を視認することができる。 The calculation unit 10 repeats the processes of steps S02 to S06, and projects the virtual model V calculated by mirroring the movement of the right forearm portion a1 of the target person A through the projector 11. As a result, as shown in FIG. 6, the subject A can visually recognize how the image P of the virtual model moves in accordance with the movement of the right forearm portion a1 in the field of view through the lens 12.

また、演算部１０は、動作回数が所定回数以上となった場合、トレーニングが終了したと判定する（ステップＳ０７：ＹＥＳ）。そうすると、演算部１０は、プロジェクタ１１を通じて対象者Ａのトレーニングデータを表示する（ステップＳ０８）。トレーニングデータには、対象者Ａに指定した動作と、実際の右前腕部ａ１の動作などが含まれる。また、このトレーニングデータは、対象者Ａの個人情報と対応付けて記録媒体１６に記録される。
以上で、演算部１０の一連の処理が完了する。 Further, the calculation unit 10 determines that the training has been completed when the number of operations exceeds a predetermined number of times (step S07: YES). Then, the calculation unit 10 displays the training data of the target person A through the projector 11 (step S08). The training data includes the movement specified for the subject A and the actual movement of the right forearm a1. Further, this training data is recorded on the recording medium 16 in association with the personal information of the subject A.
With the above, a series of processing of the calculation unit 10 is completed.

（作用、効果）
以上に説明した構成によれば、第１の実施形態に係るリハビリ支援装置１は、対象者Ａの右前腕部ａ１の形および姿勢をミラーリングして、対象者Ａのレンズを通した視界に重畳表示させるべき仮想モデルの映像Ｐを演算して表示することができる。したがって、対象者Ａは、現実の視界（現実の背景、および対象者Ａの右前腕部ａ１）に重畳して、仮想モデルの映像Ｐを視認することができる。
仮想現実（Virtual Reality）の技術を用いた場合は、背景、右前腕部、および左前腕部の全てが映像で表示されることとなる。このため、対象者は、映像を見ていることを意識してしまい、現実感が薄らぐ可能性がある。
しかしながら、第１の実施形態に係るリハビリ支援装置１は、上記したように拡張現実もしくは複合現実の技術を用いることで、対象者Ａから見える位置、大きさ、動きなどを、現実の右前腕部ａ１にあわせてよりリアルに再現した仮想モデルの映像Ｐを演算することができる。このようにすることで、リハビリ支援装置１は、対象者Ａに対し、あたかも現実の視界に左前腕部が存在し、自らの意思で動かしているような錯覚を強く起こさせることができる。これにより、幻肢痛治療の効果を向上させることができる。 (Action, effect)
According to the configuration described above, the rehabilitation support device 1 according to the first embodiment mirrors the shape and posture of the right forearm portion a1 of the subject A and superimposes it on the field of view through the lens of the subject A. The image P of the virtual model to be displayed can be calculated and displayed. Therefore, the subject A can visually recognize the image P of the virtual model by superimposing it on the real field of view (the real background and the right forearm a1 of the subject A).
When the virtual reality technology is used, the background, the right forearm, and the left forearm are all displayed as images. For this reason, the subject may become aware that he / she is watching the video, and the sense of reality may be diminished.
However, the rehabilitation support device 1 according to the first embodiment uses the augmented reality or mixed reality technology as described above to determine the position, size, movement, etc. that can be seen from the subject A in the actual right forearm. It is possible to calculate the image P of the virtual model that is reproduced more realistically according to a1. By doing so, the rehabilitation support device 1 can strongly give the subject A the illusion that the left forearm is present in the actual field of view and is moving by his / her own will. Thereby, the effect of the phantom limb pain treatment can be improved.

また、第１の実施形態に係るリハビリ支援装置１によれば、演算部１０は、ＣＣＤカメラ１４によって得られた映像に含まれるマーカーＭ１の仮想空間における位置を特定し、仮想モデルの映像Ｐの位置に適用する。このようにすることで、リハビリ支援装置１は、仮想モデルの映像Ｐを、マーカーＭ１が付された対象者Ａの左前腕部ａ２の位置に一致させて、対象者Ａに自身の腕であるように見せることができる。 Further, according to the rehabilitation support device 1 according to the first embodiment, the calculation unit 10 identifies the position of the marker M1 included in the image obtained by the CCD camera 14 in the virtual space, and the image P of the virtual model. Apply to position. By doing so, the rehabilitation support device 1 matches the image P of the virtual model with the position of the left forearm portion a2 of the subject A to which the marker M1 is attached, and the subject A has his / her own arm. Can be made to look like.

また、第１の実施形態に係るリハビリ支援装置１によれば、演算部１０は、仮想モデルＶの大きさまたは色に関する設定の変更を受け付ける。これにより、リハビリ支援装置１は、より違和感の少ない仮想モデルの映像Ｐを演算することができる。 Further, according to the rehabilitation support device 1 according to the first embodiment, the calculation unit 10 accepts a change in the setting regarding the size or color of the virtual model V. As a result, the rehabilitation support device 1 can calculate the image P of the virtual model with less discomfort.

＜第２の実施形態＞
次に、第２の実施形態に係るリハビリ支援装置について、図７〜図９を参照しながら説明する。 <Second embodiment>
Next, the rehabilitation support device according to the second embodiment will be described with reference to FIGS. 7 to 9.

（リハビリ支援装置の全体構成）
図７は、第２の実施形態に係るリハビリ支援装置の全体構成を示す図である。
図７に示すように、本実施形態に係るリハビリ支援装置１は、運動麻痺を有する患者である対象者Ａの頭部に装着されて用いられる。本実施形態においては、対象者Ａは、例えば左上腕部ａ２の先（左前腕部）に運動麻痺を有する患者である。対象者Ａは、リハビリ支援装置１を用いて、健常な右前腕部ａ１と、麻痺のある左前腕部ａ２とを同じように動かす（例えば、手指を曲げ伸ばしする）トレーニングを行う。 (Overall configuration of rehabilitation support device)
FIG. 7 is a diagram showing an overall configuration of the rehabilitation support device according to the second embodiment.
As shown in FIG. 7, the rehabilitation support device 1 according to the present embodiment is used by being attached to the head of a subject A who is a patient with motor paralysis. In the present embodiment, the subject A is, for example, a patient having motor paralysis at the tip of the upper left arm a2 (left forearm). Subject A uses the rehabilitation support device 1 to perform training in which a healthy right forearm a1 and a paralyzed left forearm a2 are moved in the same manner (for example, the fingers are bent and stretched).

なお、対象者Ａの左前腕部ａ２には、マーカーＭ１（第１マーカー）、およびマーカーＭ２（第２マーカー）が付されている。第１マーカーＭ１は、麻痺の生じている部位の開始位置（例えば、手首）に付され、第２マーカーＭ２は、トレーニングを行う際に動作すべき部位（例えば、手指など）に付される。なお、対象者Ａには、複数の第２マーカーＭ２が付されていてもよい。例えば、手指を動かすトレーニングを行う場合は、第２マーカーは各指の先端部に一つずつ付されてもよい。 A marker M1 (first marker) and a marker M2 (second marker) are attached to the left forearm portion a2 of the subject A. The first marker M1 is attached to the starting position (for example, the wrist) of the paralyzed part, and the second marker M2 is attached to the part (for example, the finger) to move during training. In addition, a plurality of second markers M2 may be attached to the subject A. For example, when training to move fingers, a second marker may be attached to the tip of each finger.

また、リハビリ支援装置１は、第１の実施形態に係る幻肢痛の治療を行うモードと、本実施形態に係る麻痺患者のトレーニングを行うモードとを、設定により切り替えることが可能である。演算部１０は、幻肢痛の治療を行うモードが設定されている場合、不透過の（皮膚の色の設定に合わせたテクスチャが適用された）仮想モデルの映像Ｐを演算する。一方、麻痺患者のトレーニングを行うモードが設定されている場合、仮想モデルの映像Ｐを重畳表示した際に、対象者Ａの左前腕部ａ２も同時に視認可能となるように、演算部１０は仮想モデルの透過映像Ｐ（半透明の映像、またはワイヤーフレーム映像など）を演算する。即ち、リハビリ支援装置１の演算部１０は、設定により、仮想モデルの不透過映像または透過映像のいずれを演算、重畳表示させるかを切り替えることができる。 Further, the rehabilitation support device 1 can switch between a mode for treating phantom limb pain according to the first embodiment and a mode for training a paralyzed patient according to the present embodiment by setting. When the mode for treating phantom limb pain is set, the calculation unit 10 calculates the image P of the opaque virtual model (the texture is applied according to the skin color setting). On the other hand, when the mode for training the paralyzed patient is set, the calculation unit 10 is virtual so that the left forearm a2 of the subject A can be visually recognized at the same time when the image P of the virtual model is superimposed and displayed. Calculate the transparent image P (semi-transparent image, wireframe image, etc.) of the model. That is, the calculation unit 10 of the rehabilitation support device 1 can switch whether to calculate and superimpose the opaque video or the transparent video of the virtual model by setting.

（リハビリ支援装置の処理フロー）
図８は、第２の実施形態に係るリハビリ支援装置の処理フローの一例を示す図である。
図９は、第２の実施形態に係るリハビリ支援装置を介して対象者から見える視界のイメージ図である。
図８に示す処理フローは、第１の実施形態（図３）と比較して、ステップＳ１１〜Ｓ１２の処理を含むことで相違する。 (Processing flow of rehabilitation support device)
FIG. 8 is a diagram showing an example of a processing flow of the rehabilitation support device according to the second embodiment.
FIG. 9 is an image diagram of the field of view seen by the subject via the rehabilitation support device according to the second embodiment.
The processing flow shown in FIG. 8 is different from that of the first embodiment (FIG. 3) in that the processing of steps S11 to S12 is included.

リハビリ支援装置１の演算部１０は、第１の実施形態と同様に、ステップＳ０２〜０６の処理を実行する。そうすると、図９に示すように、レンズ１２を通した視界において、対象者Ａは健常な右前腕部ａ１の動きをミラーリングした仮想モデルの映像Ｐを視認することができる。本実施形態では、この仮想モデルの透過映像Ｐは、リハビリにおける稼働目標位置を表す。 The calculation unit 10 of the rehabilitation support device 1 executes the processes of steps S02 to 06 as in the first embodiment. Then, as shown in FIG. 9, in the field of view through the lens 12, the subject A can visually recognize the image P of the virtual model that mirrors the movement of the healthy right forearm a1. In the present embodiment, the transparent image P of this virtual model represents an operation target position in rehabilitation.

仮想モデルの透過映像Ｐが表示されると、演算部１０は、第２マーカーＭ２の位置を検出する（ステップＳ１１）。具体的には、演算部１０は、ＣＣＤカメラ１４を通じて、仮想空間における第２マーカーＭ２の位置を三次元座標情報（ｘ、ｙ、ｚ）で取得する。 When the transparent image P of the virtual model is displayed, the calculation unit 10 detects the position of the second marker M2 (step S11). Specifically, the calculation unit 10 acquires the position of the second marker M2 in the virtual space with the three-dimensional coordinate information (x, y, z) through the CCD camera 14.

次に、演算部１０は、第２マーカーＭ２の位置の経時的変化に基づいて、第２マーカーＭ２の移動量を演算する（ステップＳ１２）。第２マーカーＭ２の移動量は、対象者Ａの左前腕部ａ２の実際の稼働範囲を表す。また、演算部１０は、演算した移動量と、仮想モデルの透過映像Ｐで示される稼働目標位置とを対応付けて記録媒体１６に記録する。 Next, the calculation unit 10 calculates the amount of movement of the second marker M2 based on the change over time in the position of the second marker M2 (step S12). The movement amount of the second marker M2 represents the actual operating range of the left forearm portion a2 of the subject A. Further, the calculation unit 10 records the calculated movement amount on the recording medium 16 in association with the operation target position indicated by the transparent image P of the virtual model.

また、演算部１０は、対象者Ａのトレーニングが終了していない場合（ステップＳ０７：ＮＯ）、ステップＳ０２〜Ｓ０６、およびＳ１１〜１２の処理を繰り返す。一方、演算部１０は、対象者Ａのトレーニングが終了した場合（ステップＳ０７：ＹＥＳ）、プロジェクタ１１を通じて対象者Ａのトレーニングデータを表示する（ステップＳ０８）。トレーニングデータには、対象者Ａの左前腕部ａ２の稼働目標位置、実際の稼働範囲（移動量）などが含まれる。 Further, when the training of the target person A is not completed (step S07: NO), the calculation unit 10 repeats the processes of steps S02 to S06 and S11-12. On the other hand, when the training of the target person A is completed (step S07: YES), the calculation unit 10 displays the training data of the target person A through the projector 11 (step S08). The training data includes an operation target position of the left forearm portion a2 of the subject A, an actual operation range (movement amount), and the like.

（作用、効果）
以上に説明した構成によれば、第２の実施形態に係るリハビリ支援装置１は、対象者Ａン付された第２マーカーＭ２の移動量を演算して記憶することにより、健常な右前腕部ａ１に対し、麻痺のある左前腕部ａ２をどの程度動かすことが出来たかを計測、記録することができる。これにより、対象者Ａは、トレーニングの効果を直感的に理解することができる。 (Action, effect)
According to the configuration described above, the rehabilitation support device 1 according to the second embodiment calculates and stores the movement amount of the second marker M2 attached to the subject A, and thereby a healthy right forearm portion. It is possible to measure and record how much the paralyzed left forearm a2 can be moved with respect to a1. As a result, the subject A can intuitively understand the effect of the training.

また、リハビリ支援装置１は、麻痺患者のトレーニングモードが設定されている場合、仮想モデルの透過映像Ｐを演算、重畳表示させる。これにより、対象者Ａは、稼働目標位置を表す仮想モデルの透過映像Ｐと、左前腕部ａ２の実際の動作とを同時に視認することができる。 Further, when the training mode of the paralyzed patient is set, the rehabilitation support device 1 calculates and superimposes the transparent image P of the virtual model. As a result, the target person A can simultaneously visually recognize the transparent image P of the virtual model representing the operation target position and the actual movement of the left forearm portion a2.

(リハビリ支援装置のハードウェア構成)
図１０は、少なくとも一つの実施形態に係るリハビリ支援装置のハードウェア構成の一例を示す図である。
以下、図１０を参照しながら、リハビリ支援装置１のハードウェア構成の一例について説明する。 (Hardware configuration of rehabilitation support device)
FIG. 10 is a diagram showing an example of the hardware configuration of the rehabilitation support device according to at least one embodiment.
Hereinafter, an example of the hardware configuration of the rehabilitation support device 1 will be described with reference to FIG.

図１０に示すように、コンピュータ９００は、ＣＰＵ９０１、主記憶装置９０２、補助記憶装置９０３、インタフェース９０４を備える。 As shown in FIG. 10, the computer 900 includes a CPU 901, a main storage device 902, an auxiliary storage device 903, and an interface 904.

上述の実施形態に係るリハビリ支援装置１は、コンピュータ９００に実装される。そして、上述した各処理部の動作は、プログラムの形式で補助記憶装置９０３に記憶されている。ＣＰＵ９０１は、プログラムを補助記憶装置９０３から読み出して主記憶装置９０２に展開し、当該プログラムに従って上記処理を実行する。また、ＣＰＵ９０１は、プログラムに従って、リハビリ支援装置１が各種処理に用いる記憶領域を主記憶装置９０２に確保する。また、ＣＰＵ９０１は、プログラムに従って、処理中のデータを記憶する記憶領域を補助記憶装置９０３に確保する。 The rehabilitation support device 1 according to the above-described embodiment is mounted on the computer 900. The operation of each processing unit described above is stored in the auxiliary storage device 903 in the form of a program. The CPU 901 reads the program from the auxiliary storage device 903, expands it to the main storage device 902, and executes the above processing according to the program. Further, the CPU 901 secures a storage area used by the rehabilitation support device 1 for various processes in the main storage device 902 according to the program. Further, the CPU 901 secures a storage area for storing the data being processed in the auxiliary storage device 903 according to the program.

補助記憶装置９０３の例としては、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＤＶＤ−ＲＯＭ（Digital Versatile Disc Read Only Memory）、半導体メモリ等が挙げられる。補助記憶装置９０３は、コンピュータ９００のバスに直接接続された内部メディアであってもよいし、インタフェース９０４または通信回線を介してコンピュータ９００に接続される外部メディアであってもよい。また、このプログラムが通信回線によってコンピュータ９００に配信される場合、配信を受けたコンピュータ９００が当該プログラムを主記憶装置９０２に展開し、上記処理を実行してもよい。少なくとも１つの実施形態において、補助記憶装置９０３は、一時的でない有形の記憶媒体である。 Examples of the auxiliary storage device 903 include HDD (Hard Disk Drive), SSD (Solid State Drive), magnetic disk, optical magnetic disk, CD-ROM (Compact Disc Read Only Memory), and DVD-ROM (Digital Versatile Disc Read Only). Memory), semiconductor memory, and the like. The auxiliary storage device 903 may be internal media directly connected to the bus of computer 900, or external media connected to computer 900 via interface 904 or a communication line. When this program is distributed to the computer 900 via a communication line, the distributed computer 900 may expand the program to the main storage device 902 and execute the above processing. In at least one embodiment, the auxiliary storage device 903 is a non-temporary tangible storage medium.

また、当該プログラムは、前述した機能の一部を実現するためのものであってもよい。
更に、当該プログラムは、前述した機能を補助記憶装置９０３に既に記憶されている他のプログラムとの組み合わせで実現するもの、いわゆる差分ファイル（差分プログラム）であってもよい。 Further, the program may be for realizing a part of the above-mentioned functions.
Further, the program may be a so-called difference file (difference program) that realizes the above-mentioned function in combination with another program already stored in the auxiliary storage device 903.

以上のとおり、本発明に係るいくつかの実施形態を説明したが、これら全ての実施形態は、例として提示したものであり、発明の範囲を限定することを意図していない。これらの実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で種々の省略、置き換え、変更を行うことができる。これらの実施形態およびその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 As described above, some embodiments according to the present invention have been described, but all of these embodiments are presented as examples and are not intended to limit the scope of the invention. These embodiments can be implemented in various other embodiments, and various omissions, replacements, and changes can be made without departing from the gist of the invention. These embodiments and variations thereof are included in the scope of the invention described in the claims and the equivalent scope thereof, as are included in the scope and gist of the invention.

例えば、上述の実施形態において、リハビリ支援装置１は、仮想モデルＶにより前腕の欠損部位または麻痺部位を模擬する例について説明したが、これに限られることはない。他の実施形態では、リハビリ支援装置１は、仮想モデルＶにより上肢（前腕部、上腕部、手指部など）、または下肢（下腿部、大腿部、足指部など）の一部または全体を模擬するようにしてもよい。 For example, in the above-described embodiment, the rehabilitation support device 1 has described an example of simulating a defective part or a paralyzed part of the forearm by the virtual model V, but the present invention is not limited thereto. In another embodiment, the rehabilitation support device 1 uses the virtual model V to perform a part or the whole of the upper limbs (forearm, upper arm, fingers, etc.) or lower limbs (lower legs, thighs, toes, etc.). May be simulated.

１ リハビリ支援装置
１０ 演算部
１１ 表示手段
１１ プロジェクタ
１２ レンズ
１３ 深度センサ
１３ 検出センサ
１４ ＣＣＤカメラ
１６ 記録媒体
Ｍ１ マーカー（第１マーカー）
Ｍ２ マーカー（第２マーカー） 1 Rehabilitation support device 10 Calculation unit 11 Display means 11 Projector 12 Lens 13 Depth sensor 13 Detection sensor 14 CCD camera 16 Recording medium M1 marker (first marker)
M2 marker (second marker)

Claims (6)

対象者の視界に仮想モデルの映像を重畳表示する表示手段と、
前記対象者の手または足である身体の部位の形および姿勢を検出可能な検出センサと、
仮想空間における前記仮想モデルの位置、形および姿勢に基づいて、前記対象者の視界に重畳表示させるべき前記仮想モデルの映像を演算する演算部と、
を備え、
前記演算部は、
前記検出センサによる前記対象者の一方側の身体の部位の形および姿勢の検出結果をミラーリングして、前記対象者の他方側の身体の部位を模した前記仮想モデルの形および姿勢に適用する
リハビリ支援装置。 A display means that superimposes the image of the virtual model on the subject's field of view,
A detection sensor capable of detecting the shape and posture of a body part such as the subject's hand or foot,
A calculation unit that calculates an image of the virtual model to be superimposed and displayed in the field of view of the target person based on the position, shape, and posture of the virtual model in the virtual space.
With
The calculation unit
Rehabilitation that mirrors the detection result of the shape and posture of the body part on one side of the subject by the detection sensor and applies it to the shape and posture of the virtual model that imitates the body part on the other side of the subject. Support device. 撮影手段をさらに備え、
前記演算部は、
前記撮影手段によって得られた映像に含まれる第１マーカーの、前記仮想空間における位置を特定するとともに、当該第１マーカーの前記仮想空間における位置を、前記仮想モデルの映像の位置に適用する
請求項１に記載のリハビリ支援装置。 With more shooting means
The calculation unit
Claim that the position of the first marker included in the image obtained by the photographing means in the virtual space is specified, and the position of the first marker in the virtual space is applied to the position of the image of the virtual model. The rehabilitation support device according to 1. 前記演算部は、
前記撮影手段によって得られた映像に含まれる第２マーカーの、前記仮想空間における移動量を演算して記録する
請求項２に記載のリハビリ支援装置。 The calculation unit
The rehabilitation support device according to claim 2, wherein the amount of movement of the second marker included in the image obtained by the photographing means in the virtual space is calculated and recorded. 前記演算部は、
前記仮想モデルの大きさまたは色に関する設定の変更を受け付ける
請求項１から請求項３のいずれか一項に記載のリハビリ支援装置。 The calculation unit
The rehabilitation support device according to any one of claims 1 to 3, which accepts changes in settings related to the size or color of the virtual model. 前記演算部は、
設定に応じて、前記仮想モデルの透過映像を重畳表示させる
請求項１から請求項４のいずれか一項に記載のリハビリ支援装置。 The calculation unit
The rehabilitation support device according to any one of claims 1 to 4, which superimposes and displays a transparent image of the virtual model according to the setting. 対象者の視界に仮想モデルの映像を重畳表示する表示手段と、
前記対象者の手足の形および姿勢を検出可能な検出センサと、
を備えるリハビリ支援装置のコンピュータに、
仮想空間における前記仮想モデルの位置、形および姿勢に基づいて、前記対象者の視界に重畳表示させるべき前記仮想モデルの映像を演算するステップを実行させるプログラムであって、
前記仮想モデルの映像を演算するステップは、さらに、前記検出センサによる前記対象者の一方側の手足の形および姿勢の検出結果をミラーリングして、前記対象者の他方側の手足を模した前記仮想モデルの形および姿勢に適用するステップを含む
プログラム。 A display means that superimposes the image of the virtual model on the subject's field of view,
A detection sensor capable of detecting the shape and posture of the subject's limbs,
To the computer of the rehabilitation support device equipped with
A program that executes a step of calculating an image of the virtual model to be superimposed and displayed in the field of view of the target person based on the position, shape, and posture of the virtual model in the virtual space.
The step of calculating the image of the virtual model further mirrors the detection result of the shape and posture of one side of the target person by the detection sensor, and imitates the other side of the target person. A program that contains steps to apply to the shape and orientation of the model.
JP2019118957A 2019-06-26 2019-06-26 Rehabilitation support device and program Active JP7262763B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019118957A JP7262763B2 (en) 2019-06-26 2019-06-26 Rehabilitation support device and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019118957A JP7262763B2 (en) 2019-06-26 2019-06-26 Rehabilitation support device and program

Publications (2)

Publication Number Publication Date
JP2021003379A true JP2021003379A (en) 2021-01-14
JP7262763B2 JP7262763B2 (en) 2023-04-24

Family

ID=74098142

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019118957A Active JP7262763B2 (en) 2019-06-26 2019-06-26 Rehabilitation support device and program

Country Status (1)

Country Link
JP (1) JP7262763B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023089894A (en) * 2021-12-16 2023-06-28 ▲シュ▼▲ワン▼ 許 Hand rehabilitation system using interactive augmented reality

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004298430A (en) * 2003-03-31 2004-10-28 Toshiba Corp Pain therapeutic support apparatus and method for displaying phantom limb image in animating manner in virtual space
JP2017018519A (en) * 2015-07-15 2017-01-26 セイコーエプソン株式会社 Display device and computer program
JP2018191964A (en) * 2017-05-16 2018-12-06 株式会社Ｋｉｄｓ Neuropathy-related pain treatment support system and pain treatment support method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004298430A (en) * 2003-03-31 2004-10-28 Toshiba Corp Pain therapeutic support apparatus and method for displaying phantom limb image in animating manner in virtual space
JP2017018519A (en) * 2015-07-15 2017-01-26 セイコーエプソン株式会社 Display device and computer program
JP2018191964A (en) * 2017-05-16 2018-12-06 株式会社Ｋｉｄｓ Neuropathy-related pain treatment support system and pain treatment support method

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023089894A (en) * 2021-12-16 2023-06-28 ▲シュ▼▲ワン▼ 許 Hand rehabilitation system using interactive augmented reality

Also Published As

Publication number Publication date
JP7262763B2 (en) 2023-04-24

Similar Documents

Publication Publication Date Title
JP7283506B2 (en) Information processing device, information processing method, and information processing program
US10929656B2 (en) Method and system of hand segmentation and overlay using depth data
US10359916B2 (en) Virtual object display device, method, program, and system
US11861062B2 (en) Blink-based calibration of an optical see-through head-mounted display
JP6623226B2 (en) Jaw movement tracking
JP2023086791A (en) Information processing unit, information processing method, and program
JP2021510110A (en) Guidance for surgical port placement
US8690581B2 (en) Opthalmoscope simulator
JP4732925B2 (en) Medical image display method and program thereof
JP2021510224A (en) Guidance for deploying patients and surgical robots
US20110282141A1 (en) Method and system of see-through console overlay
CN112346572A (en) Method, system and electronic device for realizing virtual-real fusion
JP2016524262A (en) 3D user interface
JP2017076295A (en) Augmented reality provision system, information processing device and program
US10433725B2 (en) System and method for capturing spatially and temporally coherent eye gaze and hand data during performance of a manual task
JP2019012965A (en) Video control method, video control device, and video control program
KR20110065388A (en) The simulation system for training and the method thereof
CN118401910A (en) Apparatus, method and graphical user interface for generating and displaying representations of users
US20240118746A1 (en) User interfaces for gaze tracking enrollment
JP4025230B2 (en) Pain treatment support device and method for displaying phantom limb images in a virtual space
JP2015503393A (en) Method and apparatus for tracking hand and / or wrist rotation of a user performing exercise
JP6803239B2 (en) Surgical training system
JP6251544B2 (en) Rehabilitation support image generation apparatus, rehabilitation support system and program
JP2021003379A (en) Rehabilitation support device and program
JP2002032788A (en) Method and device for providing virtual reality and recording medium with virtual reality providing program recorded threreon

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190726

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20220512

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220520

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230131

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230316

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230328

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230405

R150 Certificate of patent or registration of utility model

Ref document number: 7262763

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150