Nothing Special   »   [go: up one dir, main page]

JP2004298430A - Pain therapeutic support apparatus and method for displaying phantom limb image in animating manner in virtual space - Google Patents

Pain therapeutic support apparatus and method for displaying phantom limb image in animating manner in virtual space Download PDF

Info

Publication number
JP2004298430A
JP2004298430A JP2003095400A JP2003095400A JP2004298430A JP 2004298430 A JP2004298430 A JP 2004298430A JP 2003095400 A JP2003095400 A JP 2003095400A JP 2003095400 A JP2003095400 A JP 2003095400A JP 2004298430 A JP2004298430 A JP 2004298430A
Authority
JP
Japan
Prior art keywords
patient
virtual space
limb
phantom limb
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003095400A
Other languages
Japanese (ja)
Other versions
JP4025230B2 (en
Inventor
Yasutsugu Kawai
康嗣 川井
Kenichi Kameyama
研一 亀山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2003095400A priority Critical patent/JP4025230B2/en
Publication of JP2004298430A publication Critical patent/JP2004298430A/en
Application granted granted Critical
Publication of JP4025230B2 publication Critical patent/JP4025230B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a pain therapeutic support apparatus which can support a therapy matched to various type phantom limb pains or a patient state and which can support a therapy with a small negative effect, such as a side effect, etc. <P>SOLUTION: The pain therapeutic support apparatus alleviates a pain regarding at least a part of a limb existing or missing at the present patient by performing a predetermined work by the patient in the virtual space. This apparatus detects the patient attitude, etc., with a position sensor and shows the phantom image corresponding to the patient movement for performing a predetermined work in the virtual space based on the detected patient attitude, etc. The patient visually recognizes the phantom image with high presence about the phantom image, while the patient learns a gap between a visual sense and the sense of touch, etc. Thus, a conclusion that "the phantom limb does not exist" in a patient brain can be introduced. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

【0001】
【発明の属する技術分野】
本発明は、疼痛、特に幻肢痛を軽減させるペインクリニックを支援するための疼痛治療支援装置、及び仮想空間に幻肢画像を動画的に表示する方法に関する。
【0002】
【従来の技術】
不慮の事故や手術等で、四肢の一部を失った人の中には幻肢痛と呼ばれる難治性の痛みを訴える人が多い。ここで、幻肢とは、失った四肢の一部が現実に存在するかのように見える又は感じられるまぼろしを意味する。従来、こうした幻肢痛に対しても、鎮痛剤を用いた薬物治療や神経腫の切除等の外科的治療が試みられてきた。しかし、これら多くの鎮痛剤は副作用が伴うものや、習慣性があるものも多い。一方、外科的な治療も一時的には効果があるものの、患者にとっては負担が大きく、かつ、再発してしまう場合も多い。結局、幻肢痛のような原因不明の痛みや痙攣については、薬物の使用を最小限に押さえ、外科的な治療も行わずに済む疼痛治療が理想的であると言える。
【0003】
近年、感覚の機序にかかわる研究から、幻肢痛のうちの何割かは、患者に欠損四肢あるいは麻痺部位のあるべき動きや姿勢を視覚的にフィードバックすることにより抑制できることがわかってきた。例えば、欠損四肢と対になる現存四肢を鏡に写し、幻肢自体のイメージを払拭させる新しい治療法が試みられ、効果をあげている(例えば、非特許文献1参照)。
【0004】
しかしながら、この治療法は、手軽に実現できるメリットがある一方、例えば、両手や両足を同時に失った人に対しては、有効ではない。また、患者毎の状態に合わせた治療プログラムを組むのが難しいという問題がある。さらに、視覚以外の感覚、例えば、触覚その他の多感覚を統合的に制御して提示するといった拡張性に乏しく、治療成績を高めるのに限界がある場合がある。
【0005】
一方、薬物を用いる方法や外科的な治療は、対処的な療法にしかない。また、副作用が大きかったり、さらなる外科的な処置が必要になる等、患者に苦痛を強いる場合がある。
【0006】
【非特許文献1】
(Ramachandran,V.S. et al., “Touching the Phantom Limb.” Nature, 377:489−490)。
【0007】
【発明が解決しようとする課題】
本発明は、上記事情を鑑みてなされたもので、種々の幻肢痛や患者の状態に合わせた治療を支援可能であり、副作用等の弊害が少ない治療を支援可能な疼痛治療支援装置、及び仮想空間に幻肢画像を動画的に表示する方法を提供することを目的としている。
【0008】
【課題を解決するための手段】
本発明は、上記目的を達成するため、次のような手段を講じている。
【0009】
本発明の第1の視点は、患者に所定の作業を実行させることで、当該患者の現存する又は欠損した四肢の少なくとも一部に関する疼痛を軽減させる疼痛治療支援装置であって、前記所定の作業を所定の進度で仮想的に実行するための仮想空間を生成する仮想空間生成手段と、前記患者の現存する四肢の位置及び姿勢を検出する位置検出手段と、検出された前記現存する四肢の位置及び姿勢に基づいて実空間と前記仮想空間とを対応させ、前記仮想空間内における前記現存する又は欠損した四肢の少なくとも一部の位置及び姿勢を計算する計算手段と、前記計算された姿勢に基づいて、前記現存する又は欠損した四肢の少なくとも一部に関する幻肢画像を生成する幻肢画像生成手段と、前記計算された位置に基づいて、前記仮想空間内に前記幻肢画像を動画的に表示する表示手段と、を具備することを特徴とする疼痛治療支援装置である。
【0010】
本発明の第2の視点は、患者に所定の作業を実行させることで、当該患者の現存する又は欠損した四肢の少なくとも一部に関する疼痛を軽減させるために、前記所定の作業を仮想的に実行するための仮想空間に前記欠損した四肢の少なくとも一部に対応する幻肢画像を動画的に表示する方法であって、前記仮想空間を生成し、前記患者の現存する四肢の位置及び姿勢を検出し、検出された前記現存する四肢の位置及び姿勢に基づいて、実空間と前記仮想空間とを対応させ、前記仮想空間内における前記現存する又は欠損した四肢の少なくとも一部の位置及び姿勢を計算し、前記計算された姿勢に基づいて、前記現存する又は欠損した四肢の少なくとも一部に関する幻肢画像を生成し、前記計算された位置に基づいて、前記仮想空間内に前記幻肢画像を動画的に表示することを具備することを特徴とするものである。
【0011】
このような構成によれば、種々の幻肢痛や患者の状態に合わせた治療を支援可能であり、副作用等の弊害が少ない治療を支援可能な疼痛治療支援装置、及び仮想空間に幻肢画像を動画的に表示する方法を実現することができる。
【0012】
【発明の実施の形態】
以下、本発明の実施形態を図面に従って説明する。なお、以下の説明において、略同一の機能及び構成を有する構成要素については、同一符号を付し、重複説明は必要な場合にのみ行う。
【0013】
まず、このシステムを用いた疼痛軽減治療の前提となる知見について説明する。四肢など体の様々な部位の感覚は、それぞれ、大脳皮質の固有の領域にマッピングされている(文献「W. Penfield, et. al., “The Cerebral Cortex of Man: A Clinical Study of Localization of Function,” MacMillan, New York, (1950)」参照)。ところが、事故や手術で急に四肢が切断されると、この欠損四肢に対応する脳内の感覚領域が異なる部分に再配置され、かつ、そこが他の刺激、例えば、顔の動きや顔への接触等により活性化される。この感覚領域の活性化は、欠損四肢の感覚として認識されることがある。これが幻肢である。この幻肢の痛みである幻肢痛も、幻肢と同様に欠損四肢の痛覚の脳内領域の再配置により生ずると考えられている。
【0014】
幻肢体験は視覚イメージの影響を強く受ける。文献(ラマチャンドラン、ブレイクスリー著「脳の中の幽霊」(角川書店))によれば、患者の幻肢イメージに対応する仮想四肢を視覚的に提示して、幻肢が「見える」のに、運動の感覚や触感がフィードバックされないという状態を作り出せば、幻肢を消去できるという。その理由は、図1に示すように、この視覚刺激と体性感覚刺激の矛盾を解消するために、脳は「幻肢は存在しない」という結論を出さざるを得なくなるからである。この理論によれば、幻肢感覚を消去できれば幻肢痛も消すことができることになる。実際の治療現場においても、図2に示すように、現存四肢の鏡像を欠損四肢の本来あるべき位置に重ね合わせるという単純な方法で治療効果があがっている。
【0015】
この様な視覚刺激と体性感覚刺激の矛盾に基づく治療法を行う場合、仮想的に提示した四肢を自分の四肢と感じさせる臨場感が重要であると考えられる。例えば、幻肢に対応する仮想四肢を提示することに加え、この仮想四肢が仮想現実世界中でリーズナブルな動きをする環境(例えば、何らかの作業)が提示できれば、より効果的であると思われる。何故なら、作業が設定されることで、四肢の動作に関する脳内の対応領域も活性化されるからである。鏡では、現存四肢と幻肢が鏡像対称な動きをする単純でかつ恣意的な作業しか提示できないが、仮想四肢をコンピュータによって生成できれば、より自然でかつ多様な作業設定が可能となる。
【0016】
本実施形態は、以上述べた考察に端を発するものであり、幻肢に対応する仮想四肢を、仮想空間における画像として高い臨場感で提供する疼痛治療支援装置に関するものである。以下、本発明の実施形態に係る疼痛治療支援装置の構成について、図面を参照しながら説明する。
【0017】
図3は、本実施形態に係る疼痛治療支援装置1の外観を示した図である。同図に示すように、本疼痛治療支援装置1は、磁気センサ11、磁気発生源13、演算装置15、制御装置16、画像生成部17、一時記憶部18、記憶装置19、ディスプレイ20、入力部21を具備している。なお、図3においては、ディスプレイ20以外の構成要素は、装置本体10内に設けられた例を示してある。
【0018】
磁気センサ11は、装置使用者(すなわち、被治療者)の現存四肢の一部その他の身体部位に取り付けられ、当該四肢の一部又は身体全体の位置、姿勢を磁気的手段によって取得する。この磁気センサ11は、磁場発生源13との相対位置を演算装置15にて求めるシステムであり、例えば、Polhemus社のFastrak等を採用することができる。
【0019】
なお、本疼痛治療支援装置1は、事故等で失った四肢の一部を自然な形態にて視覚的に再現するものであるから、図3に示すように、磁気センサ11は、少なくとも失った四肢の一部に対応する端部に設けられていることが好ましい。また、本実施形態では磁気的手段によるセンサを使用するが、被治療者の姿勢を検出できるものであれば、どのような検出手段であってもよい。例えば、モーションキャプチャシステムのように各関節に再帰性反射材(マーカ)を貼りつけ、これを複数の光源とカメラで撮影して位置を求めるシステム(例えば、Vicom社のvicom8i等)、超音波の発信機と受信機の組み合わせで位置を求めるシステム(例えば、Logitech社の3Dマウス)等を用いてもよい。
【0020】
磁気発生源13は、被治療者の現存四肢の一部、及びその他の身体部位に取り付けられた磁気センサ11が検出するための磁場を発生する。
【0021】
演算装置15は、磁気センサ11と磁場発生源13との相対的な位置関係に基づいて、被治療者の現存四肢の一部又は身体全体の位置、姿勢を推定する。また、演算装置15は、推定された現存四肢の一部又は身体全体の位置、姿勢に基づいて、例えば逆機構学的に、後述する仮想空間における被治療者が失った四肢の一部の位置及び姿勢(すなわち、幻肢の位置姿勢)を演算する。
【0022】
制御装置16は、各構成要素の動作を制御し、本疼痛治療支援装置1の動作を統括的に制御する。
【0023】
画像生成部17は、治療を受ける患者が所定の作業を実行するための仮想空間を提供するための画像(仮想空間画像)を生成する。この仮想空間画像は、アニメーションや撮影された実画像による二次元又は三次元画像であり、高い臨場感を演出するために動画的に表示されることが好ましい。また、画像生成部17は、演算装置15によって求められた幻肢の姿勢及び位置に基づいて、幻肢を表す画像(幻視画像)を生成する。この幻視画像は、ディスプレイ20に所定の形態によって表示される。なお、これら仮想空間画像や幻肢画像の生成は、リアルタイムで実行される。
【0024】
すなわち、仮想空間内の幻視画像は、演算装置15によって逆機構学的に求められた姿勢及び位置に基づいて、画像生成部17によって生成され、ディスプレイ20にリアルタイムで表示される。従って、幻視画像は、患者の現存四肢の動きに応じて姿勢及び位置を変えながら仮想空間内を動くことになる。
【0025】
一時記憶部18は、記憶装置19から読み出された治療プログラムを一時記憶する。本治療プログラムは、制御装置16の制御のもと当該一時記憶装置18上で展開され、これに基づいて疼痛を軽減させるための各種処理が実行される。
【0026】
記憶装置19は、疼痛治療に関わるデータ、例えば治療モード毎の各種課題作業を実現するためのプログラム、各課題作業で用いる仮想物体の属性情報、仮想空間において提供される効果音、仮想物体を把持する場合に選択される種々の把持モードに関する情報を記憶している。
【0027】
ここで、治療モードとは、欠損した部位に応じた治療を選択するためのモードである。また、課題作業とは、疼痛軽減治療をするために、仮想空間において幻肢を動かすための作業である。例えば、医師の音声指示に従って、患者が幻肢を動かす、CG表示されたボールを幻肢で受け取る、幻肢と現存四肢で仮想物体を掴んで動かす、幻肢と現存四肢間でキャッチボールをする等がある。
【0028】
ディスプレイ20は、上述した仮想空間画像と幻肢画像とを合成して表示する。被治療患者からすれば、自身の動きに対応してディスプレイ20上の仮想空間画像と幻肢画像とが変化するので、仮想空間と実空間とが融合した融合空間を高い臨場感にて体感することができる。
【0029】
入力部21は、操作者からの各種指示・命令・情報を装置本体10にとりこむためのマウスやトラックボール、モード切替スイッチ、キーボード等である。
【0030】
なお、図3においては、ディスプレイ20によって仮想空間画像と幻視画像を提供するシステムを示しているが、例えば次に述べるような他の表示系を使用したシステムを採用することもできる。
【0031】
(ビデオシースルーディスプレイシステム)
図4は、ビデオシースルーディスプレイシステムの一例を示した図である。これは、現実世界の物体や患者の現存四肢をビデオカメラやレンジファインダ等によって捕らえ、これを計算機によって作られた欠損四肢のCG(Computer Graphics)モデルと同じ座標空間中で表現することによって融合するものである。このシステムは、図4に示すように、例えば手の形と位置とを取得するカメラ400と、CRTまたは液晶モニタ等の電子ディスプレイ401と、鏡402と、位置センサ403とを用いて構成することができる。
【0032】
幻肢として提示される欠損四肢(図4では、右腕)の位置は、位置センサ403によって検出される肩の位置によって、逆機構学的に求められる。幻肢として提示する映像は、立体像であっても、通常の2次元画像でもよい。なお、鏡像が空間的に正しい位置に見えるように、電子ディスプレイ401、鏡402は、患者の体に合わせて上下に移動するのが望ましい。また、スポットライト等によって手の部分を視覚的に目立たせる構成であってもよい。
【0033】
(光学シースルーディスプレイシステム)
図5は、光学シースルーディスプレイシステムの一例を示した図である。これは、鏡の代わりにハーフミラーを用いて、現実世界と仮想世界とを光学的に融合するものである。すなわち、電子ディスプレイ501と、ハーフミラー502を用い、現実世界の物体や患者の現存四肢はハーフミラーを透過させ、CGモデルはハーフミラー上での反射像として提示することで、両者を融合する。この方式では、ハーフミラーを透過してあらゆるものが見えてしまうので、装置全体を暗い環境に置き、指向性のある光源503を選択的に見せたいものだけ明るくすることで、より効果を高められる(例えば、文献「K.Kameyama, “Tangible Modeling System,” SIGGRAPH Conference Abstract (1999)」参照)。なお、このシステムを使用する場合も、提示する映像は立体像でも通常の2次元イメージでもよい。
【0034】
(フレネルレンズを使用したディスプレイシステム)
図6は、フレネルレンズを使用したディスプレイシステムの一例を示した図である。これは、像の位置を変化させる光学系を用いて、現実世界と仮想世界を光学的に融合するものである。すなわち、凹面鏡またはフレネルレンズ等の光学素子602を用いて、電子ディスプレイ601が再生する幻肢をテーブル603に関して対象の位置に映し出す。幻肢として提示する像としては、2次元イメージであってもよいが、立体像の方がより効果がある。このシステムにおいては、光学素子602を大きくすることで、より広視野な仮想空間を実現することができる。
【0035】
(影絵を利用したディスプレイシステム)
図7は、影絵を利用したディスプレイシステムの一例を示した図である。このシステムは、プロジェクタのような電子ディスプレイ701と透過型スクリーンのような光学素子702によって構成される。患者は、肩の高さに合うようにその高さが調整された光学素子702の下に、現存する腕等を入れる。光学素子702上には、幻肢はCGの影絵として、患者の現存する腕等の実世界の物体は、プロジェクタ光を遮る影として写し出される。
【0036】
以上述べた代表的な例の他、例えば患者により近い位置に立体像を提示するために超多眼ディスプレイを用いる方法、図8に示す湾曲スクリーン304に立体像を提示する方法もある。
【0037】
また、より小型・軽量化するには、ディスプレイをウェアラブルなものとするのが好ましい。図9(a)は、ハーフミラー、レンズ等の光学素子40、モニタ91、頭部位置計測装置92を有し、実世界に仮想世界を重畳させて提示可能なヘッドマウンティドディスプレイ(以下、HMDと称す)を示している。図9(b)は、小型の電子ディスプレイ90、モニタ91、頭部位置計測装置92、ビデオカメラ93を有し、実世界を取り込んで仮想世界中に提示可能なHMDを示している。特に、後者のシステムにおける表示に関しては、文献「谷口、“リアルタイムで仮想と現実を融合する”、H13電気学会電子・情報・システム部門大会論文集、(2001)」に詳しい。
【0038】
(装置の動作例)
次に、上記のように構成した疼痛治療支援装置1の疼痛軽減治療における動作を、図10乃至図14を参照しながら説明する。以下では簡単のため、仮想空間において右腕を幻肢画像として提示する場合を例にして説明する。なお、当然ながら、左腕や両腕、右足、左足、または両足を幻肢として提供する場合でも、同様の手法にて実現することができる。
【0039】
図10は、疼痛軽減治療において実行される各処理の流れを示したフローチャートである。
【0040】
同図において、まず医師は、疼痛治療支援装置1の入力部21を介して、治療対象である患者に適した治療モードを選択し、所望の課題作業を設定する(ステップS1)。制御装置16は、選択された治療モードの課題作業を実現するプログラムを記憶装置から読み出し、メモリ上に展開させる。ステップS1においては、飛んでくるボールを幻肢としての右腕によりキャッチする課題作業が選択されたものとする。
【0041】
なお、課題作業は、入力部21からの医師等の入力指示に従って進行するが、音声指示に従って進行する構成であってもよい。図11は、図5に示した光学シースルーディスプレイシステムに音声認識装置31を設けた例を示している。また、図12は、図3に示した疼痛治療支援装置1において、音声認識装置31を設けた例を示している。各図に示すシステムでは、課題作業は医師等の音声指示に従って進行され、患者は、医師等の音声指示に従って課題作業(コンピュータグラフィックス(CG)表示されたボールを幻肢で受け取る)を行うことになる。
【0042】
次に、当該疼痛軽減治療において、視覚的に提供される幻肢の形状を決定する(ステップS2)。一般に、患者は幻肢イメージをかなり明確に持っている。従ってこの幻肢の形状決定においては、現実感を高める上で、予め患者の幻肢イメージをヒヤリングしてその形状を決定する、或いは現存する左腕を計測しその鏡像を幻肢とすることが好ましい。
【0043】
次に、患者の動作に対応させて、作業状況に応じた幻肢の姿勢(posture)を求め、表示する(ステップS3乃至S8)。人の動きに対応して動作するコンピュータアニメーション等は、これまでにも様々なものが開発されている。ここではその一例として文献(Y.Koga et. al., “Planning Motions with Intentions”, Proc. of SIGGRAPH’94 (1994))に基づく方法を採用する。この方法は、手を使った作業における幻肢のアニメーション等作成に適しており、以下に示す各ステップの具体的内容は、本装置1における当該手法のアルゴリズムに対応している。
【0044】
まず、患者身体の位置・姿勢を計測して(ステップS3)、これに基づき仮想把持対象27の位置・姿勢を計算する(ステップS4)。具体的には、次の様な処理を行う。
【0045】
最初に、患者Pの位置と姿勢、例えば、現存する左腕の先端または/および左肩と右肩を磁気センサ11によって求める。次に、例えばキャッチボールの場合なら、磁気センサ11からの情報によって得られる患者Pの位置及び姿勢と、幻肢としての右手から投げられたボールの軌道とから、演算により把持対象27の各時刻における位置を求める。また、幻肢としての右手で物体を保持する場合は、磁気センサ11からの情報によって得られる患者Pの位置及び姿勢に基づいて、演算により把持対象27の各時刻における位置を求める。
【0046】
次に、把持対象27の形状から幻肢の把持モードを決定する(ステップS5)。この把持モードの決定には、例えば文献「C.C.Norkin et. al., “Joint Structure & Function: A Comprehensive Analysis”, F.A.Davis Co., Philadelphia (1983)」にある方法を採用することができる。この方法では、図13に示すように、円柱やボール、角錐、角柱等の基本形状に対する把持の仕方が予め分類(対応付け)されており、把持対象27を決定することで、幻肢の手首の姿勢が自動的に決定される。
【0047】
次に、把持対象27と患者との位置関係及び把持モードに基づき、逆機構学的に幻肢の位置・姿勢を決定し、把持対象27に沿うように指の関節角を決定する(ステップS6)。幻肢の位置・姿勢は、例えば文献「J.F. Soechting, et. al., “An algorithm for the generation of curvilinear wrist motion in an arbitrary plane in three−dimensional space,” Neuroscience, Vol.19, No.4 (1986)」、又は文献「J.F. Soechting, “Elements of coordinated arm movements in three−dimensional space,” Perspectives on the Coordination of Movements, edited by S.A. Wallace, Elsevier Science Publishers, Amsterdam, (1989)」等に記載の手法を採用することができる。
【0048】
図14は、逆機構学的に幻肢の位置・姿勢を決定する手法の概念を説明するための図である。同図に示すように、患者に設けられたセンサ11からの患者の姿勢に関する情報(図14中のχ、ψ)と、把持対象27(又は手首)の位置(x、y、z)とによって、逆機構学的に腕、手首の形(図14中のθ、β、η、α)を決めることができ、また、把持対象27の形状と把持モードとから、指の形状を決定することができる。
【0049】
次に、把持対象27および幻肢をCG等の手法によって、実写的に又はアニメーションとして描画する(ステップS7)。この描画は、所定の手法にてリアルタイムにて実行される。描画された把持対象27および幻肢は、仮想空間において所定の位置に、所定の姿勢にて表示される。
【0050】
次に、作業を中止するか否かを判別し、終了しない場合には、ステップS3乃至S7までの処理を繰り返す。一方、終了指示があった場合には、本疼痛軽減治療を終了する(ステップS8)。
【0051】
ところで、最終的に疼痛治療の目的に合った幻肢アニメーション等を提示するには、実世界とのシームレスな融合が必要である。そのため、幻肢アニメーション等の描画は、患者Pの視点位置からのものとしなければならない。患者の視点位置を精密に求め、より臨場感の高い幻肢画像を提供するためには、患者の視線をトラッキングする装置をさらに具備する構成であることが好ましい。
【0052】
なお、図1、及び図3乃至図8に示した様な固定式のディスプレイによるシステムの場合には、視点位置が大きく動くことはなく、患者毎の固定位置として取り扱うことができる。そのため、提供される幻肢アニメーション等は、患者毎に位置調整しておけば問題無い。
【0053】
また、図9に示したウェアラブルなタイプのディスプレイを有するシステムの場合には、患者の頭部(目)と操作対象の位置関係が変動する可能性が高い。このため、この様なシステムを使用する場合には、例えば文献(R.Azuma, “A Survey of Augmented Reality,” Presence, Vol.6, No.4, (1997))に紹介されている方法で、実世界と仮想世界の融合を図ることが好ましい。
【0054】
また、ディスプレイ20に表示される幻肢は、患者の着衣および皮膚色に合わせた色合いによってよりリアルに描画されるのが望ましい。これは、既述の通り、仮想四肢のリアリティが高ければ高いほど治療成績が上がると考えられるからである。基本的には、片腕、片足の欠損の場合はもう一方の腕、足のイメージを取得し、これを欠損した腕や足のテクスチャとして幻肢画像を生成する手法等を採用することができる。
【0055】
以上、幻肢としての右腕で仮想的な把持対象27を把持等する作業を例に、本疼痛治療支援装置1の動作を説明した。しかし、これに限定されず、その他の作業につても同様な構成にて治療のための幻肢を提供することができる。例えば、仮想的な対象を把持するものでなく、医師の指示によってただ単に幻肢を動かすだけの場合には、まず手先の軌道を決定し、その後、逆機構学的に腕の姿勢を決定すれば良い。
【0056】
以上述べた構成によれば、次の効果を得ることができる。
【0057】
本疼痛治療支援装置は、位置センサによって患者の姿勢等を検出し、これに基づいて当該患者の動きに対応する幻視画像を、仮想空間において提示する。従って、患者は、幻視画像を高い臨場感で視覚的に認識することができる。これにより、患者の脳に視覚と触覚等とのギャップを学習させることができ、当該脳が「幻肢は存在しない」と結論付けることを誘導することができる。その結果、当該患者の疼痛を低減させることができる。
【0058】
本装置によって提供される治療法は、特に次の点にて、大きな実益がある。第1に、欠損四肢に合わせた治療モードを選択可能であり、また、患者の能力に合わせた課題作業が選択可能である。従って、種々の幻肢痛や患者の状態に合わせた治療を提供することができる。第2に、外科的手術や薬物を必要としないため、副作用等の弊害が少ない治療を提供することができる。
【0059】
本疼痛治療支援装置は、位置センサによって患者の姿勢等を検出し、これに基づいて逆機構学的に幻肢の姿勢・位置を演算する。従って、現実の空間(実空間)における患者の動きと仮想空間における幻肢画像の動きとを自然に連動させることができる。また、この幻肢画像は、患者の衣類、皮膚等の色に合わせて表示することも可能である。これらの構成により、幻肢画像を高い臨場感で提供することができる。
【0060】
本疼痛治療支援装置は、欠損部位に関する治療に適した治療モードを複数の治療モードの中から選択することができ、また、各治療モードにおいて、キャッチボールや物体の把持等所望の課題作業を選択することができる。また、各課題作業においては、当該作業の実行に適した形態にて幻肢が提供される。従って、種々の幻肢痛や患者の状態に合わせた自由度の高い治療を、高い臨場感にて提供することができる。
【0061】
本疼痛治療支援装置は、入力部からの指示入力又は音声指示等によって、課題作業の進行を制御することができる。従って、医師等の操作者は、本装置を簡便に操作することができ、また、種々の幻肢痛や患者の状態に合わせて作業を進行させることができる。
【0062】
次に、本実施形態の変形例について説明する。
【0063】
(第1の実施例)
第1の実施例は、患者の生理状態をモニタリングする生体モニタをさらに具備するものである。この生体モニタからの出力に基づいて患者の生理状態を把握し、その内容に応じて課題作業の内容・進度は制御される。例えば、仮想空間におけるキャッチボールを課題作業とする場合、患者が緊張状態にあると判断されると、ボールの速度は緩くなるように制御される。
【0064】
この様な構成によれば、医師等の操作者は、客観的なデータに基づいて患者の整理状態を把握することができ、種々の幻肢痛や患者の状態に合わせて作業を進行させることができる。また、当該生体モニタにより生理状態をモニタリングすることで、治療の効果についての定量的評価を実行することができる。
【0065】
(第2の変形例)
第2の変形例は、視覚以外の他の感覚を利用するものである。前述の文献(ラマチャンドラン、ブレイクスリー著「脳の中の幽霊」(角川書店))によれば、部分的にでも視覚と体性感覚が融合した刺激が与えられれば、より現実感を高めることができる。
【0066】
図15は、本変形例に係る装置の構成を示した図である。同図に示すように、本変形例に係る装置は、この視覚と融合する体性感覚を提供するために、幻肢の動きに基づく仮想的な力を把持対象から伝える触覚提示装置38をさらに具備している。この触覚提示装置38は、例えば、選択した課題作業が仮想キャッチボールである場合、幻肢が投げた仮想ボールが現存する手に当たるタイミングでなんらかの力をフィードバックする様に、演算装置15によって制御される。
【0067】
この様な構成により、さらに現実感を高めることができ、高い治療効果を期待することができる。
【0068】
(第3の変形例)
疼痛は心理的な原因によって起こることも多々あり得る。この様な場合、音楽や香り等によって心理的なリラックスを促しながら、本治療を実行すると効果的である。
【0069】
図16は、本変形例に係る装置の構成を示した図である。同図に示すように、本変形例に係る装置は、音声生成装置及び芳香発生装置38の少なくとも一方と、例えば患者の生理状態をモニタリングする生体モニタ39とを具備する構成となっている。音声生成装置又は芳香発生装置の出力は、生体モニタ39からの出力に基づいて、演算装置15によって制御される。また、
この様な構成により、心理的な原因によって発生する疼痛についても、有効な治療を行うことができ、また、患者は音楽や香りによって心理的に十分リラックスした状態にて治療を受けることができる。
【0070】
以上、本発明を実施形態に基づき説明したが、本発明の思想の範疇において、当業者であれば、各種の変更例及び修正例に想到し得るものであり、それら変形例及び修正例についても本発明の範囲に属するものと了解される。例えば以下に示す(1)、(2)のように、その要旨を変更しない範囲で種々変形可能である。
【0071】
(1)上記実施形態においては、幻肢痛としての疼痛を対象とした治療を例に説明した。しかし、これに限定する趣旨ではなく、同様の構成による治療は、例えば原因不明の麻痺や痙攣にも有効であると考えられる。
【0072】
(2)上記実施形態においては、例えば病院や自宅等に設置される据え置き型の装置について説明した。これに対し、装置のコンパクト化を図ることにより、携帯型の装置とする構成であってもよい。この場合、モニタには、ヘッドマウントディスプレイを用いることで、よりコンパクトな装置を実現することができる。
【0073】
また、各実施形態は可能な限り適宜組み合わせて実施してもよく、その場合組合わせた効果が得られる。さらに、上記実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件から幾つかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果の少なくとも1つが得られる場合には、この構成要件が削除された構成が発明として抽出され得る。
【0074】
【発明の効果】
以上本発明によれば、種々の幻肢痛や患者の状態に合わせた治療を支援可能であり、副作用等の弊害が少ない治療を支援可能な疼痛治療支援装置、及び仮想空間に幻肢画像を動画的に表示する方法を実現できる。
【図面の簡単な説明】
【図1】図1は、本実施形態に係る疼痛治療支援装置が実行する疼痛治療の原理を説明するための図である。
【図2】図2は、従来の疼痛治療の一例を説明するための図である。
【図3】図3は、本実施形態に係る疼痛治療支援装置1の外観を示した図である。
【図4】図4は、ビデオシースルーディスプレイシステムの一例を示した図である。
【図5】図5は、光学シースルーディスプレイシステムの一例を示した図である。
【図6】図6は、フレネルレンズを使用したディスプレイシステムの一例を示した図である。
【図7】図7は、影絵を利用したディスプレイシステムの一例を示した図である。
【図8】図8は、湾曲スクリーンを使用したディスプレイシステムの一例を示した図である。
【図9】図9(a)、(b)は、それぞれ実世界に仮想世界を重畳させて提示可能なHMD、実世界を取り込んで仮想世界中に提示可能なHMDの一例を示した図である。
【図10】図10は、疼痛軽減治療において実行される各処理の流れを示したフローチャートである。
【図11】図11は、光学シースルーディスプレイシステムに音声認識装置を設けた例を示している。
【図12】図12は、疼痛治療支援装置において、音声認識装置を設けた例を示している。
【図13】図13は、把持対象の形状に応じた把持モードの例を示した図である。
【図14】図14は、逆機構学的に幻肢の位置・姿勢を決定する手法の概念を説明するための図である。
【図15】図15は、第2の変形例に係る装置の構成を示した図である。
【図16】図16は、第3の変形例に係る装置の構成を示した図である。
【符号の説明】
1…疼痛治療支援装置、11…磁気センサ、13…磁気発生源、15…演算装置、16…制御装置、17…画像生成部、18…一時記憶部、19…記憶装置、20…ディスプレイ、21…入力部、27…把持対象、28…ボール、40…光学素子、91…モニタ、92…頭部位置計測装置、90…電子ディスプレイ、91…モニタ、92…頭部位置計測装置、93…ビデオカメラ、304…湾曲スクリーン、400…カメラ、401…電子ディスプレイ、402…鏡、403…位置センサ、501…電子ディスプレイ、502…ハーフミラー、503…光源、601…電子ディスプレイ、602…光学素子、603…テーブル、701…電子ディスプレイ、702…光学素子
[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a pain treatment support device for supporting a pain clinic for reducing pain, particularly phantom limb pain, and a method of displaying a phantom limb image in a virtual space in a moving image.
[0002]
[Prior art]
Many people who have lost part of their limbs due to an accident or surgery have complained of intractable pain called phantom pain. Here, the term “phantom limb” means a glare that makes it appear or feel that a part of the lost limb actually exists. Conventionally, for such phantom limb pain, drug treatment using an analgesic and surgical treatment such as excision of neuroma have been attempted. However, many of these analgesics have side effects and are often addictive. On the other hand, although surgical treatment is also temporarily effective, the burden on the patient is large and it often recurs. Ultimately, for unexplained pain and convulsions such as phantom limb pain, pain treatment that minimizes drug use and does not require surgical treatment is ideal.
[0003]
In recent years, studies on sensory mechanisms have shown that some of phantom limb pain can be suppressed by visually feeding back the movement and posture of the missing limb or paralyzed site to the patient. For example, a new treatment method in which an existing limb paired with a defective limb is mirrored and the image of the phantom limb itself is wiped out has been attempted and has been effective (for example, see Non-Patent Document 1).
[0004]
However, while this treatment has the merit that it can be easily realized, it is not effective, for example, for a person who has lost both hands and both feet at the same time. Another problem is that it is difficult to formulate a treatment program tailored to each patient's condition. Furthermore, there is a case where the scalability, such as integrally controlling and presenting non-visual sensations, for example, tactile sensation and other multi-sensations, is limited, and there is a limit in improving the treatment result.
[0005]
On the other hand, drug-based methods and surgical treatments are only reactive treatments. In addition, there are cases in which the patient suffers, such as a large side effect or a need for further surgical treatment.
[0006]
[Non-patent document 1]
(Ramachandran, VS et al., "Touching the Phantom Limb." Nature, 377: 489-490).
[0007]
[Problems to be solved by the invention]
The present invention has been made in view of the above circumstances, and can support various phantom limb pain and treatment according to the patient's condition, a pain treatment support device capable of supporting treatment with less adverse effects such as side effects, and It is an object of the present invention to provide a method for displaying a phantom limb image in a virtual space as a moving image.
[0008]
[Means for Solving the Problems]
The present invention employs the following means to achieve the above object.
[0009]
According to a first aspect of the present invention, there is provided a pain treatment support apparatus for causing a patient to perform a predetermined task, thereby reducing pain relating to at least a part of an existing or missing limb of the patient. Virtual space generating means for generating a virtual space for virtually executing at a predetermined progress rate, position detecting means for detecting the position and posture of the existing limb of the patient, and the detected position of the existing limb Calculating means for calculating the position and posture of at least a part of the existing or missing limb in the virtual space by associating the real space with the virtual space based on the posture and the calculated posture. Phantom limb image generation means for generating a phantom limb image relating to at least a part of the existing or missing limb, and the phantom limb in the virtual space based on the calculated position. Is pain therapy support apparatus characterized by comprising a display means for moving displaying the image.
[0010]
A second aspect of the present invention is to perform the predetermined task virtually by causing the patient to perform the predetermined task, thereby reducing pain relating to at least a part of the existing or missing limb of the patient. A moving image of a phantom limb image corresponding to at least a part of the missing limb in a virtual space for generating the virtual space, and detecting a position and a posture of an existing limb of the patient. Then, based on the detected positions and postures of the existing limbs, make the real space correspond to the virtual space, and calculate the position and posture of at least a part of the existing or missing limbs in the virtual space. Generating a phantom limb image for at least a part of the existing or missing limb based on the calculated posture, and generating the phantom limb image in the virtual space based on the calculated position. It is characterized in that it comprises to moving to display an image.
[0011]
According to such a configuration, it is possible to support various phantom limb pains and treatments tailored to the patient's condition, a pain treatment support device capable of supporting treatment with less adverse effects such as side effects, and a phantom limb image in a virtual space. Can be realized as a moving image.
[0012]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings. In the following description, components having substantially the same functions and configurations are denoted by the same reference numerals, and repeated description will be made only when necessary.
[0013]
First, the knowledge that is the premise of pain reduction treatment using this system will be described. The sensations of various parts of the body such as the limbs are each mapped to a unique region of the cerebral cortex ("W. Penfield, et. Al.," The Cerebral Cortex of Man: A Clinical Study of Localization Fund "). , "MacMillan, New York, (1950)"). However, if the limb is suddenly cut due to an accident or surgery, the sensory area in the brain corresponding to the missing limb is rearranged to a different part, and it is used for other stimuli, such as facial movements and faces. Activated by contact with This activation of the sensory region may be perceived as a sense of a missing limb. This is the phantom limb. It is thought that the phantom limb pain, which is the pain of the phantom limb, is caused by the rearrangement of the painful brain region of the defective limb similarly to the phantom limb.
[0014]
The phantom limb experience is strongly influenced by the visual image. According to the literature ("Ghosts in the Brain" by Blancsley, Ramachandran, Kadokawa Shoten), the virtual limbs corresponding to the phantom limb image of the patient are visually presented, and the phantom limb is "visible". In addition, creating a state in which the sense of movement and tactile sensation are not fed back can eliminate phantom limbs. The reason is that, as shown in FIG. 1, in order to eliminate the contradiction between the visual stimulus and the somatosensory stimulus, the brain must conclude that "phantom limb does not exist". According to this theory, if phantom limb sensation can be eliminated, phantom limb pain can also be eliminated. At the actual treatment site, as shown in FIG. 2, the treatment effect is increased by a simple method of superimposing the mirror images of the existing limbs on the original positions of the missing limbs.
[0015]
When performing a treatment based on the contradiction between the visual stimulus and the somatosensory stimulus, it is considered that the sense of presence that makes the virtually presented limb feel as one's own limb is important. For example, in addition to presenting virtual limbs corresponding to phantom limbs, it would be more effective if an environment (for example, some work) in which the virtual limbs make reasonable movements in the virtual reality world can be presented. This is because the setting of the work also activates the corresponding region in the brain related to the movement of the limb. The mirror can present only a simple and arbitrary work in which the existing limb and the phantom limb move mirror-symmetrically, but if virtual limbs can be generated by a computer, more natural and various work settings can be made.
[0016]
The present embodiment originates from the above-described consideration, and relates to a pain treatment support device that provides virtual limbs corresponding to phantom limbs with high realism as images in a virtual space. Hereinafter, a configuration of a pain treatment support device according to an embodiment of the present invention will be described with reference to the drawings.
[0017]
FIG. 3 is a diagram illustrating an appearance of the pain treatment support device 1 according to the present embodiment. As shown in FIG. 1, the pain treatment support device 1 includes a magnetic sensor 11, a magnetic source 13, a calculation device 15, a control device 16, an image generation unit 17, a temporary storage unit 18, a storage device 19, a display 20, an input A portion 21 is provided. FIG. 3 shows an example in which components other than the display 20 are provided in the apparatus main body 10.
[0018]
The magnetic sensor 11 is attached to a part of the existing limb or other body part of the apparatus user (that is, the subject), and acquires the position and posture of a part of the limb or the whole body by magnetic means. The magnetic sensor 11 is a system for obtaining a relative position with respect to the magnetic field source 13 by the arithmetic unit 15, and for example, a Polhemus Fasttrak or the like can be used.
[0019]
Since the pain treatment support device 1 visually reproduces a part of the limb lost in an accident or the like in a natural form, the magnetic sensor 11 has at least lost as shown in FIG. It is preferably provided at the end corresponding to a part of the limb. In the present embodiment, a sensor using magnetic means is used, but any detecting means may be used as long as it can detect the posture of the patient. For example, a retroreflective material (marker) is attached to each joint as in a motion capture system, and a plurality of light sources and a camera are used to photograph the position to obtain a position (for example, Vicom8i manufactured by Vicom). A system that obtains a position by a combination of a transmitter and a receiver (for example, a 3D mouse manufactured by Logitech) may be used.
[0020]
The magnetic source 13 generates a magnetic field to be detected by the magnetic sensor 11 attached to a part of an existing limb of the subject and other body parts.
[0021]
The arithmetic unit 15 estimates the position and posture of a part of the existing limbs or the entire body of the patient based on the relative positional relationship between the magnetic sensor 11 and the magnetic field source 13. In addition, the arithmetic unit 15 calculates the position of the part of the limb that the subject has lost in the virtual space to be described later, for example, based on the estimated position and posture of a part of the existing limb or the entire body, in an inverse mechanism. And the posture (that is, the position and posture of the phantom limb) are calculated.
[0022]
The control device 16 controls the operation of each component, and comprehensively controls the operation of the present pain treatment support device 1.
[0023]
The image generation unit 17 generates an image (virtual space image) for providing a virtual space for a patient to be treated to perform a predetermined operation. This virtual space image is a two-dimensional or three-dimensional image based on an animation or a photographed real image, and is preferably displayed as a moving image in order to produce a high sense of realism. In addition, the image generation unit 17 generates an image (phantom image) representing the phantom limb based on the posture and position of the phantom limb obtained by the arithmetic unit 15. This vision image is displayed on the display 20 in a predetermined form. The generation of these virtual space images and phantom limb images is executed in real time.
[0024]
That is, the vision image in the virtual space is generated by the image generating unit 17 based on the posture and position obtained by the arithmetic unit 15 in an inverse mechanistic manner, and is displayed on the display 20 in real time. Therefore, the visual hallucination image moves in the virtual space while changing the posture and the position according to the movement of the existing limb of the patient.
[0025]
The temporary storage unit 18 temporarily stores the treatment program read from the storage device 19. The present treatment program is developed on the temporary storage device 18 under the control of the control device 16, and various processes for reducing pain are executed based on the program.
[0026]
The storage device 19 stores data relating to pain treatment, for example, a program for realizing various task tasks for each treatment mode, attribute information of a virtual object used in each task task, sound effects provided in a virtual space, and holding of virtual objects. In this case, information on various grip modes selected in the case of performing the operation is stored.
[0027]
Here, the treatment mode is a mode for selecting a treatment according to the lost site. The task task is a task for moving a phantom limb in a virtual space in order to perform pain relief treatment. For example, a patient moves a phantom limb, receives a CG-displayed ball with a phantom limb, grasps and moves a virtual object with a phantom limb and an existing limb, or catches a ball between a phantom limb and an existing limb according to a voice instruction of a doctor. Etc.
[0028]
The display 20 combines and displays the virtual space image and the phantom limb image described above. From the viewpoint of the patient to be treated, the virtual space image and the phantom limb image on the display 20 change in response to the movement of the patient, and therefore, the fusion space in which the virtual space and the real space are fused is experienced with a high sense of reality. be able to.
[0029]
The input unit 21 is a mouse, a trackball, a mode changeover switch, a keyboard, and the like for taking in various instructions, commands, and information from the operator into the apparatus main body 10.
[0030]
Although FIG. 3 shows a system that provides a virtual space image and a visual hallucination image on the display 20, a system using another display system as described below may be employed, for example.
[0031]
(Video see-through display system)
FIG. 4 is a diagram illustrating an example of a video see-through display system. In this method, a real-world object or an existing limb of a patient is captured by a video camera, a range finder, or the like, and is fused by expressing the limb in a same coordinate space as a computer graphics (CG) model of a missing limb created by a computer. Things. As shown in FIG. 4, this system is configured using a camera 400 that acquires the shape and position of a hand, an electronic display 401 such as a CRT or a liquid crystal monitor, a mirror 402, and a position sensor 403. Can be.
[0032]
The position of the missing limb (the right arm in FIG. 4) presented as a phantom limb is determined in an inverse mechanistic manner by the position of the shoulder detected by the position sensor 403. The video presented as a phantom limb may be a stereoscopic image or a normal two-dimensional image. It is desirable that the electronic display 401 and the mirror 402 move up and down in accordance with the patient's body so that the mirror image can be seen at a spatially correct position. Further, the configuration may be such that a hand portion is visually conspicuous by a spotlight or the like.
[0033]
(Optical see-through display system)
FIG. 5 is a diagram illustrating an example of the optical see-through display system. This is to optically fuse the real world and the virtual world using a half mirror instead of a mirror. That is, by using the electronic display 501 and the half mirror 502, the object in the real world and the existing limb of the patient are transmitted through the half mirror, and the CG model is presented as a reflection image on the half mirror to fuse the two. In this method, since everything can be seen through the half mirror, the entire apparatus is placed in a dark environment, and the directional light source 503 is selectively brightened only for those who want to show it, so that the effect can be further enhanced. (See, for example, the document “K. Kayama,“ Tangible Modeling System, ”SIGGRAPH Conference Abstract (1999))”. When this system is used, the video to be presented may be a stereoscopic image or a normal two-dimensional image.
[0034]
(Display system using Fresnel lens)
FIG. 6 is a diagram showing an example of a display system using a Fresnel lens. This optically fuses the real world and the virtual world using an optical system that changes the position of an image. That is, the phantom limb reproduced by the electronic display 601 is projected at a target position with respect to the table 603 using an optical element 602 such as a concave mirror or a Fresnel lens. The image presented as a phantom limb may be a two-dimensional image, but a three-dimensional image is more effective. In this system, a virtual space with a wider field of view can be realized by increasing the size of the optical element 602.
[0035]
(Display system using shadow picture)
FIG. 7 is a diagram illustrating an example of a display system using a shadow picture. This system includes an electronic display 701 such as a projector and an optical element 702 such as a transmission screen. The patient places an existing arm or the like under the optical element 702 whose height has been adjusted to match the height of the shoulder. On the optical element 702, the phantom limb is projected as a shadow image of a CG, and the real-world object such as the patient's existing arm is projected as a shadow that blocks the projector light.
[0036]
In addition to the representative examples described above, there are, for example, a method of using a super multi-view display to present a stereoscopic image closer to the patient, and a method of presenting a stereoscopic image on the curved screen 304 shown in FIG.
[0037]
In order to reduce the size and weight, it is preferable to make the display wearable. FIG. 9A shows a head-mounted display (hereinafter, referred to as a “head-mounted display”) that includes a half mirror, an optical element 40 such as a lens, a monitor 91, and a head position measuring device 92 and is capable of presenting a virtual world superimposed on the real world. HMD). FIG. 9B shows an HMD that has a small electronic display 90, a monitor 91, a head position measuring device 92, and a video camera 93 and can capture the real world and present it to the virtual world. In particular, the display in the latter system is described in detail in the document "Taniguchi," Fusing virtual and real time in real time ", Proceedings of the H13 IEEJ Electronics, Information and Systems Division Conference, (2001).
[0038]
(Example of device operation)
Next, the operation in the pain reduction treatment of the pain treatment support device 1 configured as described above will be described with reference to FIGS. For the sake of simplicity, an example will be described below in which the right arm is presented as a phantom limb image in the virtual space. It should be noted that the same technique can be used to provide the left arm, both arms, right foot, left foot, or both feet as phantom limbs.
[0039]
FIG. 10 is a flowchart showing the flow of each process executed in the pain relief treatment.
[0040]
In the figure, first, the doctor selects a treatment mode suitable for a patient to be treated through the input unit 21 of the pain treatment support device 1, and sets a desired task (step S1). The control device 16 reads a program for realizing the task in the selected treatment mode from the storage device and expands the program on the memory. In step S1, it is assumed that the task task of catching the flying ball with the right arm as a phantom limb has been selected.
[0041]
The task work proceeds in accordance with an input instruction from the input unit 21 such as a doctor, but may be configured to proceed in accordance with a voice instruction. FIG. 11 shows an example in which a speech recognition device 31 is provided in the optical see-through display system shown in FIG. FIG. 12 shows an example in which the voice recognition device 31 is provided in the pain treatment support device 1 shown in FIG. In the system shown in each figure, the task work is progressed in accordance with the voice instruction of the doctor or the like, and the patient performs the task work (the computer graphics (CG) displayed ball is received by the phantom limb) in accordance with the voice instruction of the doctor or the like. become.
[0042]
Next, in the pain reduction treatment, the shape of the phantom limb visually provided is determined (step S2). In general, patients have a phantom limb image quite clearly. Therefore, in determining the shape of the phantom limb, in order to enhance the sense of reality, it is preferable that the phantom limb image of the patient be heard in advance to determine the shape or that the existing left arm be measured and its mirror image be used as the phantom limb. .
[0043]
Next, the posture (posture) of the phantom limb according to the work situation is obtained and displayed in accordance with the movement of the patient (steps S3 to S8). Various computer animations and the like that operate in response to human movements have been developed. Here, as an example, a method based on a literature (Y. Koka et. Al., “Planning Motions with Intents”, Proc. Of SIGGRAPH'94 (1994)) is adopted. This method is suitable for creating an animation or the like of a phantom limb in a task using a hand, and the specific contents of each step described below correspond to the algorithm of the method in the device 1.
[0044]
First, the position / posture of the patient's body is measured (step S3), and the position / posture of the virtual grasping target 27 is calculated based on this (step S4). Specifically, the following processing is performed.
[0045]
First, the position and posture of the patient P, for example, the tip of the existing left arm or / and the left and right shoulders are determined by the magnetic sensor 11. Next, for example, in the case of a catch ball, each time of the grasp target 27 is calculated from the position and posture of the patient P obtained from the information from the magnetic sensor 11 and the trajectory of the ball thrown from the right hand as a phantom limb. Find the position at. When the object is held by the right hand as a phantom limb, the position of the grasping target 27 at each time is obtained by calculation based on the position and posture of the patient P obtained from the information from the magnetic sensor 11.
[0046]
Next, the grip mode of the phantom limb is determined from the shape of the grip target 27 (step S5). For the determination of the gripping mode, for example, a method described in the document “CC Norkin et. Al.,“ Joint Structure & Function: A Comprehensive Analysis ”, FA Davis Co., Philadelphia (1983)” is used. can do. In this method, as shown in FIG. 13, the way of gripping basic shapes such as a cylinder, a ball, a pyramid, and a prism is classified (correlated) in advance, and by determining the gripping target 27, the wrist of the phantom limb is determined. Is automatically determined.
[0047]
Next, based on the positional relationship between the grasping target 27 and the patient and the grasping mode, the position and posture of the phantom limb are determined in an inverse mechanism, and the joint angle of the finger is determined along the grasping target 27 (step S6). ). The position and posture of the phantom limb are described in, for example, the document "JF Soechting, et. Al.," Analysis for the generation of curvilineear wrist motion in an arbitrary planetary ancestry. .4 (1986) ", or the document" JF Soechting, "Elements of coordinated arm movements in three-dimensional space," Perspectives edificetion ed. e Publishers, Amsterdam, it is possible to adopt the method described in (1989) "and the like.
[0048]
FIG. 14 is a diagram for explaining the concept of a method of determining the position and posture of the phantom limb in an inverse mechanism. As shown in the figure, information on the posture of the patient (χ, 中 in FIG. 14) from the sensor 11 provided on the patient and the position (x, y, z) of the gripping target 27 (or wrist) are obtained. The shape of the arm and wrist (θ, β, η, α in FIG. 14) can be determined inversely mechanically, and the shape of the finger is determined from the shape of the gripping target 27 and the gripping mode. Can be.
[0049]
Next, the grasp target 27 and the phantom limb are drawn in a real-life manner or as an animation by a method such as CG (step S7). This drawing is executed in real time by a predetermined method. The drawn gripping object 27 and the phantom limb are displayed at a predetermined position in a virtual space in a predetermined posture.
[0050]
Next, it is determined whether or not the operation is to be stopped. If the operation is not to be ended, the processing of steps S3 to S7 is repeated. On the other hand, when the termination instruction is given, the present pain relief treatment is terminated (step S8).
[0051]
By the way, in order to finally present a phantom limb animation or the like suitable for the purpose of pain treatment, seamless fusion with the real world is necessary. Therefore, the drawing of the phantom limb animation or the like must be performed from the viewpoint position of the patient P. In order to precisely determine the viewpoint position of the patient and provide a phantom limb image with a higher sense of reality, it is preferable that the apparatus further includes a device that tracks the line of sight of the patient.
[0052]
In the case of a system using a fixed display as shown in FIG. 1 and FIGS. 3 to 8, the viewpoint position does not largely move and can be treated as a fixed position for each patient. Therefore, the provided phantom limb animation or the like is not problematic if the position is adjusted for each patient.
[0053]
Further, in the case of the system having the wearable type display shown in FIG. 9, there is a high possibility that the positional relationship between the patient's head (eyes) and the operation target fluctuates. For this reason, when such a system is used, for example, a method introduced in the literature (R. Azuma, “A Survey of Augmented Reality,” Presense, Vol. 6, No. 4, (1997)). It is preferable to integrate the real world and the virtual world.
[0054]
In addition, it is desirable that the phantom limb displayed on the display 20 be drawn more realistically by a color matching the clothing and skin color of the patient. This is because, as described above, the higher the reality of the virtual limb, the higher the treatment result. Basically, in the case of loss of one arm or one leg, a method of acquiring an image of the other arm or foot and generating a phantom limb image as a texture of the lost arm or foot can be adopted.
[0055]
In the above, the operation of the present pain treatment support apparatus 1 has been described by taking, as an example, the operation of gripping the virtual gripping target 27 with the right arm as a phantom limb. However, the present invention is not limited to this, and a phantom limb for treatment can be provided with a similar configuration for other operations. For example, if you do not hold a virtual object and just move the phantom limb according to the doctor's instructions, you must first determine the trajectory of the hand and then determine the posture of the arm in an inverse mechanism. Good.
[0056]
According to the configuration described above, the following effects can be obtained.
[0057]
The pain treatment support apparatus detects a posture or the like of a patient by a position sensor, and presents a vision image corresponding to the movement of the patient in a virtual space based on the detected posture. Therefore, the patient can visually recognize the vision image with a high sense of reality. This allows the patient's brain to learn the gap between sight and tactile sensation, and can induce the brain to conclude that "phantom limb does not exist". As a result, the patient's pain can be reduced.
[0058]
The therapy provided by the device has significant benefits, particularly in the following respects. First, the treatment mode can be selected according to the missing limb, and the task can be selected according to the ability of the patient. Therefore, various phantom limb pains and treatments tailored to the patient's condition can be provided. Secondly, since surgery and drugs are not required, it is possible to provide a treatment with less adverse effects such as side effects.
[0059]
The pain treatment support device detects the posture and the like of the patient by a position sensor, and calculates the posture and position of the phantom limb based on the detected posture. Therefore, the movement of the patient in the real space (real space) and the movement of the phantom limb image in the virtual space can be naturally linked. This phantom limb image can also be displayed according to the color of the patient's clothing, skin, and the like. With these configurations, a phantom limb image can be provided with a high sense of reality.
[0060]
The pain treatment support device can select a treatment mode suitable for treatment relating to a defect site from a plurality of treatment modes, and in each treatment mode, select a desired task such as catching a ball or grasping an object. can do. In each task work, a phantom limb is provided in a form suitable for execution of the task. Therefore, it is possible to provide a treatment with a high degree of freedom in accordance with various phantom limb pains and patient states with a high sense of reality.
[0061]
The pain treatment support device can control the progress of the task work by inputting an instruction from an input unit or voice instruction. Therefore, an operator such as a doctor can easily operate the present apparatus, and can proceed with the operation according to various phantom limb pains and the state of the patient.
[0062]
Next, a modified example of the present embodiment will be described.
[0063]
(First embodiment)
The first embodiment further includes a living body monitor for monitoring a physiological condition of a patient. The physiological state of the patient is grasped based on the output from the living body monitor, and the content and progress of the task are controlled according to the content. For example, when a catch ball in a virtual space is used as a task, when the patient is determined to be in a nervous state, the speed of the ball is controlled so as to decrease.
[0064]
According to such a configuration, an operator such as a doctor can grasp the organizing state of the patient based on objective data, and can proceed with work according to various phantom limb pains and the state of the patient. Can be. Further, by monitoring the physiological state by the living body monitor, it is possible to execute a quantitative evaluation on the effect of the treatment.
[0065]
(Second Modification)
The second modified example utilizes other senses than the visual sense. According to the above-mentioned literature ("Ghosts in the brain" by Ramachandran and Blaixley (Kadokawa Shoten)), if a stimulus that combines visual and somatic sensations is given even partially, it enhances the sense of reality be able to.
[0066]
FIG. 15 is a diagram illustrating a configuration of an apparatus according to the present modification. As shown in the figure, the device according to the present modification further includes a tactile presentation device 38 that transmits a virtual force based on the movement of a phantom limb from a grasping target in order to provide a somatic sensation fused with the visual sense. I have it. This tactile sense presentation device 38 is controlled by the arithmetic unit 15 so that, for example, when the selected task task is a virtual catch ball, some force is fed back at the timing when the virtual ball thrown by the phantom limb hits an existing hand. .
[0067]
With such a configuration, the sense of reality can be further enhanced, and a high therapeutic effect can be expected.
[0068]
(Third Modification)
Pain can often be caused by psychological causes. In such a case, it is effective to perform this treatment while promoting psychological relaxation by music, fragrance, and the like.
[0069]
FIG. 16 is a diagram illustrating a configuration of an apparatus according to the present modification. As shown in the figure, the device according to the present modified example is configured to include at least one of the voice generating device and the fragrance generating device 38, and a biological monitor 39 for monitoring, for example, a physiological condition of a patient. The output of the voice generation device or the fragrance generation device is controlled by the arithmetic unit 15 based on the output from the biological monitor 39. Also,
With such a configuration, effective treatment can be performed even for pain caused by psychological causes, and the patient can be treated with music and aroma while being psychologically sufficiently relaxed.
[0070]
As described above, the present invention has been described based on the embodiments. However, in the scope of the concept of the present invention, those skilled in the art can come up with various modified examples and modified examples. It is understood that it belongs to the scope of the present invention. For example, as shown in (1) and (2) below, various modifications can be made without changing the gist.
[0071]
(1) In the above embodiment, the treatment for pain as phantom limb pain has been described as an example. However, the present invention is not intended to be limited to this, and it is considered that treatment with a similar configuration is also effective, for example, for unexplained paralysis and convulsions.
[0072]
(2) In the above embodiment, a stationary device installed in a hospital, home, or the like has been described. On the other hand, the device may be configured to be a portable device by reducing the size of the device. In this case, a more compact device can be realized by using a head mounted display for the monitor.
[0073]
In addition, the embodiments may be implemented in appropriate combinations as much as possible, in which case the combined effects can be obtained. Furthermore, the above embodiments include inventions at various stages, and various inventions can be extracted by appropriately combining a plurality of disclosed constituent features. For example, even if some components are deleted from all the components shown in the embodiment, the problem described in the column of the problem to be solved by the invention can be solved, and the effects described in the column of the effect of the invention can be solved. When at least one of the above is obtained, a configuration from which this configuration requirement is deleted can be extracted as an invention.
[0074]
【The invention's effect】
According to the present invention described above, it is possible to support various phantom limb pains and treatments according to the patient's condition, and to provide a pain treatment support device capable of supporting treatment with less adverse effects such as side effects, and a phantom limb image in a virtual space. A method of displaying a moving image can be realized.
[Brief description of the drawings]
FIG. 1 is a diagram for explaining the principle of pain treatment executed by a pain treatment support device according to the present embodiment.
FIG. 2 is a diagram illustrating an example of a conventional pain treatment.
FIG. 3 is a diagram showing an appearance of the pain treatment support device 1 according to the present embodiment.
FIG. 4 is a diagram illustrating an example of a video see-through display system.
FIG. 5 is a diagram illustrating an example of an optical see-through display system.
FIG. 6 is a diagram showing an example of a display system using a Fresnel lens.
FIG. 7 is a diagram illustrating an example of a display system using a shadow picture.
FIG. 8 is a diagram illustrating an example of a display system using a curved screen.
FIGS. 9A and 9B are diagrams illustrating an example of an HMD that can present a virtual world superimposed on the real world and an example of an HMD that captures the real world and presents the virtual world. is there.
FIG. 10 is a flowchart showing a flow of each processing executed in the pain relief treatment.
FIG. 11 shows an example in which a voice recognition device is provided in the optical see-through display system.
FIG. 12 shows an example in which a voice recognition device is provided in the pain treatment support device.
FIG. 13 is a diagram illustrating an example of a gripping mode according to a shape of a gripping target.
FIG. 14 is a diagram for explaining the concept of a method for determining the position and orientation of a phantom limb in an inverse mechanistic manner.
FIG. 15 is a diagram illustrating a configuration of an apparatus according to a second modification.
FIG. 16 is a diagram showing a configuration of an apparatus according to a third modification.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 ... Pain treatment support apparatus, 11 ... Magnetic sensor, 13 ... Magnetic source, 15 ... Computing device, 16 ... Control device, 17 ... Image generation part, 18 ... Temporary storage part, 19 ... Storage device, 20 ... Display, 21 ... input unit, 27 ... gripping object, 28 ... ball, 40 ... optical element, 91 ... monitor, 92 ... head position measuring device, 90 ... electronic display, 91 ... monitor, 92 ... head position measuring device, 93 ... video Camera, 304: curved screen, 400: camera, 401: electronic display, 402: mirror, 403: position sensor, 501: electronic display, 502: half mirror, 503: light source, 601: electronic display, 602: optical element, 603 ... Table, 701 ... Electronic display, 702 ... Optical element

Claims (9)

患者に所定の作業を実行させることで、当該患者の現存する又は欠損した四肢の少なくとも一部に関する疼痛を軽減させる疼痛治療支援装置であって、
前記所定の作業を所定の進度で仮想的に実行するための仮想空間を生成する仮想空間生成手段と、
前記患者の現存する四肢の位置及び姿勢を検出する位置検出手段と、
検出された前記現存する四肢の位置及び姿勢に基づいて実空間と前記仮想空間とを対応させ、前記仮想空間内における前記現存する又は欠損した四肢の少なくとも一部の位置及び姿勢を計算する計算手段と、
前記計算された姿勢に基づいて、前記現存する又は欠損した四肢の少なくとも一部に関する幻肢画像を生成する幻肢画像生成手段と、
前記計算された位置に基づいて、前記仮想空間内に前記幻肢画像を動画的に表示する表示手段と、
を具備することを特徴とする疼痛治療支援装置。
By performing a predetermined task to the patient, a pain treatment support device that reduces the pain related to at least a part of the existing or missing limb of the patient,
Virtual space generating means for generating a virtual space for virtually executing the predetermined work at a predetermined progress rate;
Position detecting means for detecting the position and posture of the patient's existing limbs,
Calculation means for associating a real space with the virtual space based on the detected position and orientation of the existing limb, and calculating the position and orientation of at least a part of the existing or missing limb in the virtual space. When,
Based on the calculated posture, phantom limb image generating means for generating a phantom limb image for at least a part of the existing or missing limb,
Display means for displaying the phantom limb image in the virtual space based on the calculated position,
A pain treatment support device comprising:
前記計算手段は、検出された前記現存する四肢の位置及び姿勢に基づいて、逆機構学的に前記現存する又は欠損した四肢の少なくとも一部の位置及び姿勢を計算することを特徴とする請求項1記載の疼痛治療支援装置。The said calculation means calculates the position and attitude | position of at least one part of the said existing or missing limb inversely mechanically based on the detected position and attitude of the existing limb. The pain treatment support device according to claim 1. 前記所定の作業を選択するための選択手段とさらに具備し、
前記仮想空間生成手段は、選択された作業に対応する仮想空間を生成し、
前記幻肢画像生成手段は、前記選択された所定の作業に適合した形態にて前記幻肢画像を生成すること、
を特徴とする請求項1又は2記載の疼痛治療支援装置。
Further comprising a selection means for selecting the predetermined work,
The virtual space generation means generates a virtual space corresponding to the selected work,
The phantom limb image generating means generates the phantom limb image in a form suitable for the selected predetermined work,
The pain treatment support device according to claim 1 or 2, wherein:
前記幻肢画像生成手段は、前記患者の衣類又は皮膚の色の少なくとも一方に合わせて前記幻肢画像を生成することを特徴とする請求項1又は2記載の疼痛治療支援装置。3. The pain treatment support apparatus according to claim 1, wherein the phantom limb image generating unit generates the phantom limb image according to at least one of a color of clothing and skin of the patient. 4. 前記患者の現存する四肢に対して、前記仮想空間の変化に対応した触感又は作用を提供するフィードバック手段をさらに具備することを特徴とする請求項1乃至4のうちいずれか一項記載の疼痛治療支援装置。The pain treatment according to any one of claims 1 to 4, further comprising feedback means for providing a tactile sensation or an action corresponding to the change in the virtual space to the existing limb of the patient. Support equipment. 前記仮想空間生成手段は、予め設定されたプログラムに基づく自動的指示、マニュアル操作による指示、又は音声入力による指示の少なくとも一つに基づいて、前記所定の進度を制御することを特徴とする請求項1乃至4のうちいずれか一項記載の疼痛治療支援装置。The said virtual space generation means controls the said predetermined progress based on at least one of the automatic instruction | indication based on the program set beforehand, the instruction | indication by a manual operation, or the instruction | indication by a voice input. The pain treatment support device according to any one of claims 1 to 4. 前記仮想空間の変化に対応して音声を出力する音声出力手段、又は前記仮想空間の変化に対応して芳香を出力する芳香出力手段の少なくとも一方をさらに具備することを特徴とする請求項1乃至4のうちいずれか一項記載の疼痛治療支援装置。The apparatus according to claim 1, further comprising at least one of a sound output unit that outputs a sound in response to the change in the virtual space, and a fragrance output unit that outputs a fragrance in response to the change in the virtual space. The pain treatment support device according to any one of claims 4 to 7. 前記患者の生理状態をモニタリングし、当該患者に関する生理情報を出力するモニタリング手段をさらに具備し、
前記仮想空間生成手段は、前記生理状態に基づいて、前記所定の進度を制御すること、
を特徴とする請求項1乃至4のうちいずれか一項記載の疼痛治療支援装置。
Monitoring means for monitoring the physiological condition of the patient, and outputting physiological information about the patient,
The virtual space generation means controls the predetermined progress based on the physiological state,
The pain treatment support device according to any one of claims 1 to 4, characterized in that:
患者に所定の作業を実行させることで、当該患者の現存する又は欠損した四肢の少なくとも一部に関する疼痛を軽減させるために、前記所定の作業を仮想的に実行するための仮想空間に前記欠損した四肢の少なくとも一部に対応する幻肢画像を動画的に表示する方法であって、
前記仮想空間を生成し、
前記患者の現存する四肢の位置及び姿勢を検出し、
検出された前記現存する四肢の位置及び姿勢に基づいて、実空間と前記仮想空間とを対応させ、
前記仮想空間内における前記現存する又は欠損した四肢の少なくとも一部の位置及び姿勢を計算し、
前記計算された姿勢に基づいて、前記現存する又は欠損した四肢の少なくとも一部に関する幻肢画像を生成し、
前記計算された位置に基づいて、前記仮想空間内に前記幻肢画像を動画的に表示すること、
を具備することを特徴とする仮想空間に幻肢画像を動画的に表示する方法。
By causing the patient to perform a predetermined task, in order to reduce the pain related to at least a part of the existing or missing limb of the patient, the virtual space for virtually executing the predetermined task is used to execute the predetermined task. A method of displaying a phantom limb image corresponding to at least a part of the limb in a moving image,
Generating the virtual space,
Detect the position and posture of the patient's existing limbs,
Based on the detected positions and postures of the existing limbs, make the real space correspond to the virtual space,
Calculate the position and orientation of at least a part of the existing or missing limb in the virtual space,
Based on the calculated posture, generate a phantom limb image for at least a part of the existing or missing limb,
Based on the calculated position, displaying the phantom limb image in the virtual space in a moving image,
A method for displaying a phantom limb image in a virtual space in a moving image, comprising:
JP2003095400A 2003-03-31 2003-03-31 Pain treatment support device and method for displaying phantom limb images in a virtual space Expired - Fee Related JP4025230B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003095400A JP4025230B2 (en) 2003-03-31 2003-03-31 Pain treatment support device and method for displaying phantom limb images in a virtual space

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003095400A JP4025230B2 (en) 2003-03-31 2003-03-31 Pain treatment support device and method for displaying phantom limb images in a virtual space

Publications (2)

Publication Number Publication Date
JP2004298430A true JP2004298430A (en) 2004-10-28
JP4025230B2 JP4025230B2 (en) 2007-12-19

Family

ID=33407738

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003095400A Expired - Fee Related JP4025230B2 (en) 2003-03-31 2003-03-31 Pain treatment support device and method for displaying phantom limb images in a virtual space

Country Status (1)

Country Link
JP (1) JP4025230B2 (en)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006285685A (en) * 2005-03-31 2006-10-19 Hokkaido Univ Three-dimensional design support apparatus and method
FR2892940A1 (en) * 2005-11-10 2007-05-11 Olivier Lordereau BIOMEDICAL DEVICE FOR VIRTUAL IMMERSION TREATMENT
WO2008066113A1 (en) * 2006-11-30 2008-06-05 Rikkyo Gakuin Virtually sensing device for visual sense/tactual perception mutual action
JP2012000324A (en) * 2010-06-18 2012-01-05 Panasonic Electric Works Co Ltd Mirror therapy system
JP2015039522A (en) * 2013-08-22 2015-03-02 セイコーエプソン株式会社 Rehabilitation device and assistive device for phantom limb pain treatment
JP2015161699A (en) * 2014-02-26 2015-09-07 セイコーエプソン株式会社 Display system, health apparatus, and display control method
KR101620633B1 (en) 2014-05-29 2016-05-12 주식회사 한영 Upper limb rehabilitation device based augmented reality
CN106456433A (en) * 2014-06-04 2017-02-22 日本光电工业株式会社 Rehabilitation assistance system
US9810907B2 (en) 2015-02-24 2017-11-07 Seiko Epson Corporation Display apparatus, display method, and program
JP2018110672A (en) * 2017-01-11 2018-07-19 国立大学法人東京農工大学 Display control device and display control program
JP2018191964A (en) * 2017-05-16 2018-12-06 株式会社Kids Neuropathy-related pain treatment support system and pain treatment support method
WO2018223163A1 (en) * 2017-06-07 2018-12-13 Psii.Rehab Gmbh Device with a detection unit for the position and orientation of a first limb of a user
CN110604579A (en) * 2019-09-11 2019-12-24 腾讯科技(深圳)有限公司 Data acquisition method, device, terminal and storage medium
US10839706B2 (en) 2016-09-30 2020-11-17 Seiko Epson Corporation Motion training device, program, and display method
JP2021003379A (en) * 2019-06-26 2021-01-14 学校法人北里研究所 Rehabilitation support device and program

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6381097B2 (en) * 2013-08-30 2018-08-29 大学共同利用機関法人情報・システム研究機構 Rehabilitation support device and method of operating rehabilitation support device
KR102164965B1 (en) * 2019-05-03 2020-10-14 계명대학교 산학협력단 Virtual illusion system for hemiplegic patients using brain stimulation and its way to working

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006285685A (en) * 2005-03-31 2006-10-19 Hokkaido Univ Three-dimensional design support apparatus and method
JP4669941B2 (en) * 2005-03-31 2011-04-13 国立大学法人北海道大学 3D design support device and program
FR2892940A1 (en) * 2005-11-10 2007-05-11 Olivier Lordereau BIOMEDICAL DEVICE FOR VIRTUAL IMMERSION TREATMENT
WO2007057601A2 (en) * 2005-11-10 2007-05-24 Olivier Lordereau Biomedical device for treating by virtual immersion
WO2007057601A3 (en) * 2005-11-10 2007-07-12 Olivier Lordereau Biomedical device for treating by virtual immersion
US7946974B2 (en) 2005-11-10 2011-05-24 Olivier Lordereau Biomedical device for treating by virtual immersion
WO2008066113A1 (en) * 2006-11-30 2008-06-05 Rikkyo Gakuin Virtually sensing device for visual sense/tactual perception mutual action
JP2012000324A (en) * 2010-06-18 2012-01-05 Panasonic Electric Works Co Ltd Mirror therapy system
JP2015039522A (en) * 2013-08-22 2015-03-02 セイコーエプソン株式会社 Rehabilitation device and assistive device for phantom limb pain treatment
JP2015161699A (en) * 2014-02-26 2015-09-07 セイコーエプソン株式会社 Display system, health apparatus, and display control method
KR101620633B1 (en) 2014-05-29 2016-05-12 주식회사 한영 Upper limb rehabilitation device based augmented reality
CN106456433A (en) * 2014-06-04 2017-02-22 日本光电工业株式会社 Rehabilitation assistance system
EP3153146A4 (en) * 2014-06-04 2018-04-25 Nihon Kohden Corporation Rehabilitation assistance system
US9810907B2 (en) 2015-02-24 2017-11-07 Seiko Epson Corporation Display apparatus, display method, and program
US10839706B2 (en) 2016-09-30 2020-11-17 Seiko Epson Corporation Motion training device, program, and display method
JP2018110672A (en) * 2017-01-11 2018-07-19 国立大学法人東京農工大学 Display control device and display control program
JP2018191964A (en) * 2017-05-16 2018-12-06 株式会社Kids Neuropathy-related pain treatment support system and pain treatment support method
WO2018223163A1 (en) * 2017-06-07 2018-12-13 Psii.Rehab Gmbh Device with a detection unit for the position and orientation of a first limb of a user
JP2021003379A (en) * 2019-06-26 2021-01-14 学校法人北里研究所 Rehabilitation support device and program
JP7262763B2 (en) 2019-06-26 2023-04-24 学校法人北里研究所 Rehabilitation support device and program
CN110604579A (en) * 2019-09-11 2019-12-24 腾讯科技(深圳)有限公司 Data acquisition method, device, terminal and storage medium
CN110604579B (en) * 2019-09-11 2024-05-17 腾讯科技(深圳)有限公司 Data acquisition method, device, terminal and storage medium

Also Published As

Publication number Publication date
JP4025230B2 (en) 2007-12-19

Similar Documents

Publication Publication Date Title
CN111986316B (en) System and method for generating pressure point diagrams based on remotely controlled haptic interactions
US11197799B2 (en) System and method for generating pressure point maps based on remote-controlled haptic-interactions
JP4025230B2 (en) Pain treatment support device and method for displaying phantom limb images in a virtual space
Krichenbauer et al. Augmented reality versus virtual reality for 3d object manipulation
Spanlang et al. How to build an embodiment lab: achieving body representation illusions in virtual reality
Khademi et al. Comparing “pick and place” task in spatial augmented reality versus non-immersive virtual reality for rehabilitation setting
EP2726164B1 (en) Augmented-reality range-of-motion therapy system and method of operation thereof
Romanus et al. Mid-air haptic bio-holograms in mixed reality
CN117008720A (en) Apparatus, method and graphical user interface for interacting with a three-dimensional environment
KR100446548B1 (en) Oriental medicine acupuncture system in virtual reality environment
CN111276022A (en) Gastroscope simulation operation system based on VR technique
Rudolph et al. TechnoSapiens: merging humans with technology in augmented reality
White et al. A virtual reality application for stroke patient rehabilitation
JP2024028239A (en) Rehabilitation support device and rehabilitation support method
Lupu et al. A virtual reality system for post stroke recovery
JP6903317B2 (en) Neuropathic pain treatment support system and image generation method for pain treatment support
JP7262763B2 (en) Rehabilitation support device and program
JP7112077B2 (en) CONTROLLER, CONTROLLER MANUFACTURING METHOD, SIMULATED EXPERIENCE SYSTEM, AND SIMULATED EXPERIENCE METHOD
EP3797750A1 (en) Rehabilitation support device and rehabilitation support method
Hamasaki et al. Changes in body representation of the human upper limb as a function of movement and visual hand position
Spiss et al. Effect of touch stimuli on proprioceptive recalibration during upper-limb rotation in virtual reality mirror therapy
Tanaka et al. Creating Method for Real-Time CG Animation of Cooperative Motion of Both Hands for Mirror Box Therapy Support System
Sobota et al. Therapy of Upper Limbs By Means of Virtual Reality Technologies
Cidota et al. [POSTER] Affording Visual Feedback for Natural Hand Interaction in AR to Assess Upper Extremity Motor Dysfunction
SJ et al. AR Using NUI Based Physical Therapy Rehabilitation Framework with Mobile Decision Support System: A Global Solution for Remote Assistance

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20071002

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20071004

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101012

Year of fee payment: 3

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111012

Year of fee payment: 4

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111012

Year of fee payment: 4

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121012

Year of fee payment: 5

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131012

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees