JP4129527B2 - Virtual surgery simulation system - Google Patents
Virtual surgery simulation system Download PDFInfo
- Publication number
- JP4129527B2 JP4129527B2 JP2003146463A JP2003146463A JP4129527B2 JP 4129527 B2 JP4129527 B2 JP 4129527B2 JP 2003146463 A JP2003146463 A JP 2003146463A JP 2003146463 A JP2003146463 A JP 2003146463A JP 4129527 B2 JP4129527 B2 JP 4129527B2
- Authority
- JP
- Japan
- Prior art keywords
- virtual
- human body
- surgical tool
- model data
- simulation system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
Description
【0001】
【発明の属する技術分野】
本発明は、手術の技能訓練や、手術の事前検討等のために、実際の人体を用いずに手術の作業を行えるようにするための仮想手術シミュレーションシステムに関する。
【0002】
【従来の技術】
従来、学生による手術の技能訓練などにて模擬的に手術を行う方法として、人体を模擬した模擬物(例えば、動物)に対して手術を行う方法が知られている。しかし、動物愛護の観点から、動物を模擬物として用いることが困難になってきており、人工の模擬物を用いる場合でも、模擬物を繰り返し用いることが難しく費用がかかるなどの問題がある。
【0003】
この問題を改善するために、患者を模擬した仮想人体、及び、手術具を模擬した仮想手術具の3次元画像を描画してモニタ画面に表示し、使用者によるモニタ画面の前部に設けられた模擬手術具の操作に対して、連動して仮想手術具を表示し、仮想手術具による作用を仮想人体に対して反映して表示する仮想手術シミュレーションシステムにより、模擬物を用いず仮想空間内の仮想人体に対して手術を行う方法が知られている(特許文献1参照)。
【0004】
【特許文献1】
特許第3198130号公報
【0005】
【発明が解決しようとする課題】
しかし、従来の仮想手術シミュレーションシステムでは、モニタ画面に表示される画像の中の仮想人体に対して手術が行われ、使用者の視線が実際の手術時と異なるため、実際の手術の際の感覚をつかみ難いという問題が考えれられる。
【0006】
また、実際の手術では、患部の状態を各方向から自分で覗き込んでその状態を確認する場合があるが、このような場合に対して、従来の仮想手術シミュレーションシステムでは、ジョイスティックによりモニタ画面の表示範囲を切り換えての確認になるなど、実際の手術作業とのギャップがある。
【0007】
本発明は、こうした問題点に鑑みなされたものであり、実際の手術と同様の視線で、模擬物を使わずに手術の作業を模擬して行うことができる仮想手術シミュレーションシステムを提供することを目的とする。
【0008】
【課題を解決するための手段】
かかる目的を達成するためになされた請求項1記載の仮想手術シミュレーションシステムにおいては、所定の仮想空間内に立体映像を表示するための映像表示手段と、仮想空間に患者の一部又は全部を模擬した仮想人体を表示するための人体モデルデータ、及び、仮想空間に手術具を模擬した仮想手術具を表示するための手術具モデルデータが、仮想空間内に表示すべき位置の位置情報を含めて記憶された記憶手段とを備える。
【0009】
そして、位置検出手段が、仮想空間内における使用者の手又は指の位置を検出し、位置情報更新手段が、位置検出手段にて検出される使用者の手又は指の位置に、仮想手術具が変位されるように、仮想手術具の位置情報を更新し、この位置情報更新手段にて位置情報を更新された仮想手術具が仮想人体に当接する位置関係になったと判断される場合には、モデルデータ更新手段が、この位置関係で、実際の手術具を実際の人体に当接させた場合の人体における作用を演算して、この演算結果を人体モデルデータに反映する。
【0010】
そして更に、視線検出手段が、使用者の視線位置及び視線方向を検出し、映像制御手段が、最新の人体モデルデータ及び手術具モデルデータにより、仮想人体及び仮想手術具を、視線検出手段にて検出された視線位置及び視線方向から観察される仮想空間内の立体映像として、映像表示手段により表示する。
【0011】
この結果、本発明の仮想手術シミュレーションシステムによれば、使用者の視線位置及び視線方向に応じて仮想人体及び仮想手術具が立体映像で表示され、使用者は、手又は指の位置を移動することにより仮想手術具を動かし、仮想手術具を仮想人体へ当接させて、実際に手術しているかのように仮想人体を変化させることができる。
【0012】
このため、手術の技能訓練や、術前の手術方法の検討などのために、使用者は、模擬物を使わずに、実際の手術と同様の視線で、実在する患者に対するのと同様に手又は指を動かして模擬した手術を行える。また、人体モデルデータを元の状態に戻すだけで、容易に手術の模擬を繰り返して行うことができる。
【0013】
尚、位置検出手段で位置を検出する箇所は手又は指であり、検出する箇所が手の場合、この位置を手術具を握った手の位置、つまり仮想手術具の位置として位置情報更新手段で手術具の位置を更新する。そして、位置検出手段にて検出する箇所が指の位置の場合は、指を手術具とするものでも良いし、検出されたいくつかの指の位置により、仮想手術具の例えば鉗子などを、その指で操作されたように位置情報更新手段で仮想手術具の位置を更新するものでも良い。
【0014】
また、仮想手術具は、2つ以上あっても良い。この場合、各々同じ種類の手術具を模擬したものでも良いし、別々の種類の手術具を模擬したものであっても良い。そして、2つ以上の仮想手術具は、複数人での利用が可能である。
また、位置検出手段で検出する位置は、仮想手術具の数に応じて複数あっても良いし、1つの仮想手術具に対して複数箇所検出するものであっても良い。
【0015】
次に、本発明の仮想手術シミュレーションシステムは、請求項2に記載のように、位置検出手段にて位置を検出される使用者の手又は指に、反発力を与えるための体感手段を備え、モデルデータ更新手段は、実際の人体における作用を演算する際に、実際の手術具に対する反発力を演算し、この演算結果を基に体感手段を介して使用者の手又は指に反発力を与えるように構成しても良い。
【0016】
つまり、このように構成すると、立体映像で模擬される視覚に加えて、体感手段により、仮想手術具により仮想人体に及ぼす作用に応じて使用者の手又は指に生ずる反発力で、触覚が模擬されて、より現実感がある仮想手術シミュレーションシステムとすることができる。
【0017】
尚、より現実感を出すためには、仮想手術具による作用に応じた音響を発生するようにして、視覚、触覚に加え、聴覚を模擬するとより良い。
ところで、手術で用いられる手術具は、メス類、鉗子類、縫合針類、及び、人の指など種々ある。これらの手術具による人体に対する作用は、手術具の人体と当接する部分の形状によってその作用は異なってくる。
【0018】
このような、手術具による人体への種々の作用を模擬するには、請求項1又は請求項2に記載の仮想手術シミュレーションシステムを、請求項3に記載のように、モデルデータ更新手段が、仮想人体に当接する箇所の仮想手術具の形状の種類毎に、実際の人体における作用を演算するための複数の演算パターンを備え、実際の人体における作用を演算する際には、仮想人体に対する仮想手術具の当接箇所の形状に応じた複数の演算パターンを選択し、実際の人体における作用を該演算パターンで演算するように構成すると良い。
【0019】
つまり、このように構成すると、仮想手術具の種類や、仮想手術具の使い方などに応じて、仮想人体に対する作用を変えることができ、仮想手術具による仮想人体への作用を、より実際に近くなるように模擬することができる。
尚、手術における手術具による人体に対する作用には、鉗子や指などにより人体の一部を押したり、引っ張ったりして弾性変形する作用や、メスなどによる開腹、切除などの切断する作用や、縫合や吻合する際の縫合針などによる刺通する作用などがある。そして、モデルデータ更新手段は、これらの作用を模擬するための演算パターンを備えると良い。
【0020】
また、請求項1〜請求項3に記載の仮想手術シミュレーションシステムにおいて、立体表示手段の具体的な構成は種々考えられるが、この立体表示手段としては、例えば請求項4に記載のように、視差画像表示装置で、仮想人体及び仮想手術具を手術台に相当する台上面に、視差が設けられた2つの視差画像として表示し、使用者の眼前に装着される立体視眼鏡で視差画像を立体視させるように構成すると良い。
【0021】
つまり、立体表示手段をこのように構成にすると、使用者が装着するのは立体視眼鏡だけとすることができ、立体映像を表示するための他の構成であるヘッドマウントディスプレイのように、映像を表示するための大がかりな装置を頭部に装着しなくても良く、より自然な状態で手術作業を体感することができる。
【0022】
また、請求項1〜請求項4に記載の仮想手術シミュレーションシステムの記憶手段には、請求項5に記載のように、実在する患者から取得したデータより生成した人体モデルデータを記憶するようにしても良い。
つまり、このようにすると、仮想手術シミュレーションシステムを用いた手術作業により、手術の方法に対する問題の有無を事前に確認し、執刀する医者の手術の作業に対する熟練度を上げて、人体モデルデータを生成した患者を手術する際の成功率を上げることができる。
【0023】
また、請求項5に記載の仮想手術シミュレーションシステムを、現実空間に実在する患者に対して手術具を作用させるために、請求項6のように、外部出力手段で、位置検出手段で検出した使用者の手又は指の位置を、所定の外部へ出力するように構成すると良い。
【0024】
つまり、このように構成すると、外部出力手段の出力先を、出力された位置により手術具を制御して動かすロボットなどの機器とすれば、人体モデルデータを実在する患者から取得したものとし、仮想手術シミュレーションシステムでの医師による手術作業と、ロボットによる手術作業をシンクロさせて、遠隔地にいる患者に対して手術を行うことができる。つまり、仮想手術シミュレーションシステムを、いわゆるテレサージェリーシステムの入力装置とすることができる。
【0025】
また、仮想手術シミュレーションシステムを、ミクロな世界で手術するマイクロサージェリーシステムの入力装置として、外部出力手段の出力先を、ミクロな医療ロボットとし、表示する仮想人体の患部を拡大表示することにより、使用者がミクロな世界に入り込んで手術しているようにすることもできる。
【0026】
【発明の実施の形態】
以下に本発明の実施例を図面と共に説明する。
本実施例の仮想手術シミュレーションシステム1の全体構成を図1に表す。
仮想手術シミュレーションシステム1は、図1に示すように、立体映像表示装置10と、メインパーソナルコンピュータ(以降、メインPCと呼ぶ)20と、映像処理用ワークステーション(以降、映像処理用WSと呼ぶ)30と、液晶シャッタ式メガネ40と、位置センサ45と、力覚デバイス50とで構成され、技能訓練などを目的として、患者を模擬した仮想人体を立体映像で所定の空間に表示し、使用者が、この仮想人体に対して仮想的に手術を行うためのシステムである。
【0027】
尚、立体映像表示装置10においては、半球ドーム形状で半透明の球面ディスプレイ12が球面を上にして、箱形のコンソール11上部の開放された部分に装着され、映像を投影表示する2台の液晶プロジェクタ13,14が、コンソール11内の球面ディスプレイ12の下方に、それぞれ球面ディスプレイ12の内面に映像を重ねて投影するように投光部を向けて装着され、液晶プロジェクタ13,14の投光部の前部にそれぞれメカニカルシャッタ15,16が配置されている。
【0028】
また、メカニカルシャッタ15,16は、メインPC20から同期信号を受けて、これに合わせて所定の時間毎(例えば、1/60秒毎)に交互にシャッタを開閉する。このように、液晶プロジェクタ13,14が投光する映像は、所定時間毎に交互に球面ディスプレイ12の内面に投影され、球面ディスプレイ12の外面に表示される。
【0029】
また、液晶シャッタ式メガネ40は、左右のレンズ部がそれぞれ電気信号により開閉する液晶シャッタとなっており、メカニカルシャッタ15,16と同じタイミングの同期信号が、メインPC20から赤外線などにより入力されて、これに合わせて左右交互に液晶シャッタを開く。よって、液晶シャッタ式メガネ40と、メカニカルシャッタ15,16との開閉タイミングは同期する。
【0030】
このように、使用者は、液晶シャッタ式メガネ40を通して、球面ディスプレイ12に表示される映像を見ると、使用者の両目の内の一方(例えば、右目)は、液晶プロジェクタ13からの映像しか見えず、もう一方の目(例えば、左目)は、液晶プロジェクタ14からの映像しか見えないようになっている。
【0031】
このため、立体映像を表示するために視差を持った2つの画像のうち、右目用の画像を液晶プロジェクタ13、左目用の画像を液晶プロジェクタ14に入力し、立体映像表示装置10の球面ディスプレイ12に表示すると、使用者は、右目用の画像を右目で見て、左目用の画像を左目で見るため、結果的に球面ディスプレイ12に表示される映像が立体映像として見えることになる(いわゆる立体視)。
【0032】
尚、立体視させる場合には、視線に対して直交方向に画像を表示することが理想的であり、その点、本立体映像表示装置10は、映像を投影する球面ディスプレイ12が半球形状であり、コンソール11上面のどの方向から見られても直交方向の画像を表示することができ、立体視させることができる。
【0033】
また、位置センサ45は、直交コイルを内蔵し、液晶シャッタ式メガネ40に装着されている。そして、立体映像表示装置10の脇に、直交コイルで構成され、交流電流を与えると磁気を発生するトランスミッタ46が置かれていて、位置センサ45は、トランスミッタ46による磁界中に置かれると誘起電流を生じ、これを検出回路47で時分割に測定して、X、Y、Zの3次元座標値(つまり、視線位置)、及び、ピッチ、ヨー、ロールのオイラー角(つまり、視線方向)の信号をメインPC20へ出力する。
【0034】
また、力覚デバイス50は、使用者に握られるグリップ51を、X,Y,Z軸方向に移動することができるように多関節の支持部材52で支持した構成で、コンソール11の上面に配置される。そして、グリップ51先端の3次元座標位置を、各関節に設けられたエンコーダなどにより検出し、メインPC20に検出した位置信号を出力する。また、力覚デバイス50の各関節には、DCモータが設けられていて、メインPC20からのDCモータに対する駆動電流を受けて、グリップ51に対して3自由度方向の反発力を発生する。
【0035】
また、メインPC20は、CPU、ROM、RAM、外部記憶装置、I/Oなどからなる周知のパーソナルコンピュータで構成され、力覚デバイス50及び位置センサ45からの信号を入力して、メカニカルシャッタ15,16及び液晶シャッタ40への同期信号と、力覚デバイス50への駆動電流と、仮想人体及び仮想手術具を立体表示するように視差を設けて生成した2つの視差画像の映像処理用WS30へのアナログRGB信号とを出力する。尚、立体映像表示装置10にて表示する画像が、各入力に応じてリアルタイムに変化して表示されるように、メインPC20には、処理能力が十分高速なものが用いられている。
【0036】
また、映像処理用WS30は、周知のワークステーションで構成され、入力される2つの視差画像が、方形のディスプレイへ表示するための画像であるため、球面形状の球面ディスプレイ12内面に投影したときに歪んだ映像にならないように、ビデオ信号に対して映像の補正処理を行い、立体映像表示装置10の液晶プロジェクタ13,14に出力する。
【0037】
尚、映像処理用WS30には、ビデオ信号変換器31を備え、メインPC20から送られてくるアナログRGB信号による視差画像は、ビデオ信号変換器31を通され、ビデオ信号として入力される。
ところで、立体画像表示装置10により映像が立体的に表示される範囲を仮想空間とし、仮想空間内の所定の場所に表示される仮想人体の状態を表す人体モデルデータと、同じく仮想空間内の所定の場所に表示される仮想手術具の状態を表す手術具モデルデータとが、メインPC20の外部記憶装置に記憶された基本データを基に、それぞれの位置情報を含めてRAM上に記憶されている。
【0038】
尚、人体モデルデータの基本データは、人体の一部を撮影したCT(コンピュータ断層撮影装置)や、MRI(核磁気共鳴映像法)などの医療用画像から、輪郭線抽出を行い、デローニー三角形や、ボロノイ図を利用して輪郭線間の面生成を行い生成された、人体内部の情報も含む3次元形状データに、各組織毎の弾性係数など、人体の特性に関する各種情報を含んでいる。
【0039】
また、手術具モデルデータは、メスや、縫合針などの手術具の形状をデータ化した複数の3次元形状データで構成され、各仮想手術具の各部分は、その形状が種別分類され、メスなど刃物状の形状部分が種別「B」、縫合針など、針状の形状部分が種別「C」、それ以外が種別「A」として分類された形状特性のデータを有している。
【0040】
続いて、メインPC20での処理手順と共に、仮想手術シミュレーションシステム1の動作を図2に示すフローチャートにより説明する。
まず、S100(Sはステップを表す)にて、力覚デバイス50からグリップ51の位置信号を取得し、この位置信号の位置を仮想手術具の表示位置として(つまり、グリップ51に重なって仮想手術具が表示されるように)手術具モデルデータの位置情報を変更する。
【0041】
次に、S110にて、手術具モデルデータ及び人体モデルデータから、立体映像表示装置10にて仮想手術具を表示する領域が、仮想人体を表示する領域に接するか判別する。これらの領域が接する場合はS120へ移行し、接しない場合はS190へ移行する。
【0042】
次に、S120にて、表示される仮想手術具の仮想人体に接する部分の形状の種別を判別する。そして、形状の種別が「A」の場合S130へ移行し、形状の種別が刃物状の「B」の場合S150へ移行し、形状の種別が針状の「C」の場合S170へ移行する。
【0043】
S130では、仮想手術具が接する仮想人体を弾性体として、仮想手術具により変形される仮想人体の状態を有限要素方とニュートンの運動方程式とを組み合わせたモデルで計算を行い、この計算による変形量を反映した仮想人体となるように人体モデルデータを変更する。そして、S140にて、仮想手術具に対する反発力としてS130で計算の変形量に対する弾性力を求めて、S190へ移行する。
【0044】
S150では、仮想手術具の刃物状形状が接する仮想人体部分を、位相変形手法として頂点の再配置法により、ある程度滑らかな切断面にするように人体モデルデータを変更し、S160にて、仮想手術具に対する反発力としてS150で計算した切断の際の反発力を求めて、S190へ移行する。
【0045】
S170では、仮想手術具の針状形状が重なる仮想人体部分を、頂点の再配置と増殖を行って、刺通穴を生成するように人体モデルデータを変更し、S180にて、仮想手術具に対する締め付け力に起因するS180での刺通穴の刺通抵抗を求めて、S190へ移行する。
【0046】
次に、S190にて、位置センサ45からの視線位置及び視線方向の信号を取得する。
次に、S200にて、人体モデルデータ及び手術具モデルデータを基に、それぞれの位置情報の位置に表示する仮想人体及び仮想手術具を、S190で取得した視線位置及び視線方向から見た場合の3次元画像に視差を持たせた、2枚の視差画像を生成する。
【0047】
次に、S210にて、S200で生成した画像を、映像処理用WS30へ出力して立体映像表示装置10に表示し、S140又はS160又はS180で計算された反発力に基づく駆動電流を力覚デバイス50へ出力し、S100へ戻る。尚、コンソール11の上方の所定の位置に、他の仮想手術具を並べて表示し、使用者によりグリップ51をこの仮想手術具の位置に重ねられると、その仮想手術具をグリップ51に重ねて表示している仮想手術具と入れ替えて表示する。
【0048】
これにより、使用者が、立体映像表示装置10の前に立ち、液晶シャッタ式メガネ40を掛け、グリップ51を動かすと、仮想手術シミュレーションシステム1は、仮想人体及び仮想手術具を使用者の眼前に立体表示し、この仮想手術具をグリップ51に重ね、仮想手術具が仮想人体に対して接すると、仮想手術具の仮想人体と接する部分の形状に応じて弾性変形、又は、切断、又は、刺通したように仮想人体を変形して表示し、グリップ51に反発力を発生する。例えば、仮想手術具が仮想メスの場合、グリップ51が移動され、仮想メスの刃物形状部分が仮想人体に接すると、仮想メスが接した部分で切断した形状に仮想人体を変形して表示し、力覚デバイス50によりメスで切断しているような反発力を発生させて、使用者に対して仮想メスが仮想人体を切り込んでいるように感じさせる。
【0049】
以上のように、仮想手術シミュレーションシステム1によれば、使用者は、実際の手術を行う際と同様に、立体映像で表示される仮想人体及び仮想手術具を使用者の視線に応じて視認でき、仮想手術具を操作するようにグリップ51を移動して、仮想人体に対して仮想手術具を作用させることができる。また、仮想手術具により仮想人体に対して作用を及ぼしたときの反発力がグリップ51に発生するため、使用者は、触覚的にも仮想人体が実在しているように感じることができる。
【0050】
このように、仮想手術シミュレーション1は、使用者の技能訓練などに対して、実際の手術と同様の視線で、模擬物を使わずに手術の模擬作業を行わせることができる。
また、手術具による仮想人体への作用として、弾性変形、切断、刺通の演算パターンのいづれかが、手術具の形状に応じて選択されて演算されるため、種々の仮想手術具による種々の操作に応じた仮想人体への作用を模擬できる。
【0051】
また、人体モデルデータを、実際に手術を行う患者からのデータとして、当該仮想手術シミュレーションシステム1で手術の作業を手術前に行うようにすれば、手術を行う際の問題の有無を確認し、手術の作業に対する熟練度を上げ、手術の成功率を上げることができる。
【0052】
[本発明との対応関係]
本実施例の映像処理用WS30及び立体映像表示装置10が本発明の視差画像表示装置に相当し、液晶シャッタ式メガネ40が立体視眼鏡に相当し、メインPC20のRAMが記憶手段に相当し、力覚デバイス50が位置検出手段及び体感手段に相当し、位置センサ45が視線検出手段に相当し、メインPC20におけるS100での処理が位置情報更新手段に相当し、メインPC20におけるS110〜S180での処理がモデルデータ更新手段に相当し、メインPC20におけるS190〜S210での処理が映像制御手段に相当する。
【0053】
[変形例]
以上、本発明の実施形態について説明したが、本発明は上記の具体的な実施形態に限定されず、このほかにも様々な形態で実施することができる。
例えば、本実施例では、コンソール11上に仮想人体の立体映像を表示する構成であるが、そのほかの方法で立体映像が表示されるものであっても良く、例えば、ヘッドマウントディスプレイにより、眼前に仮想空間を3次元画像で立体表示するものであっても良い。但し、本実施例のコンソール11上に映像表示する方法では、ヘッドマウントディスプレイのように、映像を表示する大がかりな装置を頭部に装着しなくても良く、より自然な状態での手術作業を体感することができる。
【0054】
また、本実施例では、力覚デバイス50が1つだけ装着され、グリップ51の状態で1つの仮想手術具が操作される構成としたが、力覚デバイス50を複数設けたものであっても良く、このような構成にすると、複数の仮想手術具を両手もしくは複数人で行う手術を模擬できるようにしたり、複数の力覚デバイス50を指先で操作できるようにして、鉗子などの仮想手術具を指の動きで操作したり、指による手術作業を行えるようにするなど、手術のいろいろな状態を模擬するようにできる。
【0055】
また、力覚デバイス50からの位置信号を、外部出力器90により外部へ出力するように構成しても良く、このようにすれば、人体モデルデータを実際の患者のものとし、外部出力器90による位置信号の出力先を、位置信号に応じて実際の手術具を動かすロボットとして、本仮想手術シミュレーションシステム1で手術の作業を行うことにより、ロボットを操作し遠隔地にいる患者に対して手術を行うことができる。このような、テレサージェリーシステムの入力装置とすることができる。
【0056】
また、ミクロな世界にて手術するマイクロサージェリーシステムの入力装置として、力覚デバイス50からの位置信号を、外部出力器90によりミクロな医療ロボットに入力し、表示する仮想人体で、患部を拡大表示することにより、実際にミクロな世界に入り込んで手術をするようにもできる。
【図面の簡単な説明】
【図1】本実施例の仮想手術シミュレーションシステム1の全体構成を表す図である。
【図2】本実施例のメインPCの処理手順のフローチャート図である。
【符号の説明】
1…仮想手術シミュレーションシステム、10…立体映像表示装置、11…コンソール、12…球面ディスプレイ、13,14…液晶プロジェクタ、15,16…メカニカルシャッタ、20…メインパーソナルコンピュータ、30…映像処理用ワークステーション、40…液晶シャッタ式メガネ、45…位置センサ、46…トランスミッタ、50…力覚デバイス、90…外部出力器。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a virtual operation simulation system for enabling a surgical operation to be performed without using an actual human body for surgical skill training, preliminary examination of operation, and the like.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, a method of performing an operation on a simulated object (for example, an animal) simulating a human body is known as a method of performing a simulation in a surgical skill training by a student. However, from the viewpoint of animal welfare, it has become difficult to use animals as mimics, and even when artificial mimics are used, there are problems such that it is difficult and expensive to use the mimics repeatedly.
[0003]
In order to improve this problem, a virtual human body simulating a patient and a three-dimensional image of a virtual surgical tool simulating a surgical tool are drawn and displayed on a monitor screen, and provided at the front of the monitor screen by the user. The virtual surgical simulation system displays the virtual surgical tool in conjunction with the operation of the simulated surgical tool and reflects the action of the virtual surgical tool on the virtual human body. A method of performing an operation on a virtual human body is known (see Patent Document 1).
[0004]
[Patent Document 1]
Japanese Patent No. 3198130 [0005]
[Problems to be solved by the invention]
However, in the conventional virtual surgery simulation system, the virtual human body in the image displayed on the monitor screen is operated, and the user's line of sight is different from the actual surgery. There is a problem that it is difficult to grasp.
[0006]
Moreover, in actual surgery, there are cases where the state of the affected area is looked into from each direction by itself, and the state is confirmed. In contrast, in such a case, the conventional virtual surgery simulation system uses a joystick to display the monitor screen. There is a gap with actual surgical work, such as confirmation by switching the display range.
[0007]
The present invention has been made in view of these problems, and provides a virtual operation simulation system that can simulate an operation of an operation without using a simulant with the same line of sight as an actual operation. Objective.
[0008]
[Means for Solving the Problems]
The virtual operation simulation system according to claim 1, which has been made to achieve the above object, simulates a part or all of a patient in a virtual space, and an image display means for displaying a stereoscopic image in a predetermined virtual space. The human body model data for displaying the virtual human body and the surgical tool model data for displaying the virtual surgical tool simulating the surgical tool in the virtual space include the position information of the position to be displayed in the virtual space. Stored storage means.
[0009]
Then, the position detecting means detects the position of the user's hand or finger in the virtual space, and the position information update means is positioned at the position of the user's hand or finger detected by the position detecting means. When the position information of the virtual surgical tool is updated so that the position of the virtual surgical tool is in contact with the virtual human body is updated. The model data updating means calculates the action on the human body when the actual surgical tool is brought into contact with the actual human body in this positional relationship, and reflects the calculation result in the human body model data.
[0010]
Further, the line-of-sight detection means detects the user's line-of-sight position and line-of-sight direction, and the video control means uses the latest human body model data and surgical tool model data to convert the virtual human body and virtual surgical tool to the line-of-sight detection means. The image is displayed as a stereoscopic image in the virtual space observed from the detected line-of-sight position and line-of-sight direction.
[0011]
As a result, according to the virtual surgery simulation system of the present invention, the virtual human body and the virtual surgical tool are displayed in a stereoscopic image according to the user's line-of-sight position and line-of-sight direction, and the user moves the position of the hand or finger. Thus, the virtual surgical tool can be moved, the virtual surgical tool can be brought into contact with the virtual human body, and the virtual human body can be changed as if it was actually operated.
[0012]
For this reason, for the purpose of surgical skill training and examination of preoperative surgical methods, the user must use the same line of sight as the actual operation without using a simulated object. Or you can move your finger to perform simulated surgery. In addition, by simply returning the human body model data to the original state, it is possible to easily repeat the operation simulation.
[0013]
The location where the position is detected by the position detection means is a hand or a finger. If the location to be detected is a hand, this position is set as the position of the hand holding the surgical instrument, that is, the position of the virtual surgical instrument. Update the position of the surgical tool. If the position detected by the position detection means is the position of the finger, the finger may be used as a surgical tool, and depending on the detected position of several fingers, a forceps or the like of the virtual surgical tool may be The position information updating means may be used to update the position of the virtual surgical tool as if operated by a finger.
[0014]
Further, there may be two or more virtual surgical tools. In this case, the same type of surgical tool may be simulated, or different types of surgical tools may be simulated. Two or more virtual surgical tools can be used by a plurality of people.
Further, there may be a plurality of positions detected by the position detecting means according to the number of virtual surgical tools, or a plurality of positions may be detected for one virtual surgical tool.
[0015]
Next, the virtual surgery simulation system according to the present invention includes a sensation means for applying a repulsive force to a user's hand or finger whose position is detected by the position detection means, as described in claim 2. When calculating the action on the actual human body, the model data updating means calculates the repulsive force on the actual surgical tool, and gives the repulsive force to the user's hand or finger through the sensation means based on the calculation result. You may comprise as follows.
[0016]
In other words, in this way, in addition to the vision simulated by a stereoscopic image, the tactile sensation is simulated by the repulsive force generated on the user's hand or finger according to the action on the virtual human body by the virtual surgical tool by the sensation means. Thus, a virtual surgery simulation system with a more realistic feeling can be obtained.
[0017]
In order to obtain a more realistic feeling, it is better to simulate the auditory sense in addition to the visual sense and the tactile sense so as to generate sound according to the action of the virtual surgical tool.
By the way, there are various surgical tools used in surgery, such as scalpels, forceps, suture needles, and human fingers. The action of these surgical tools on the human body varies depending on the shape of the portion of the surgical tool that comes into contact with the human body.
[0018]
In order to simulate such various effects on the human body by the surgical tool, the virtual surgery simulation system according to claim 1 or 2, the model data updating means as described in claim 3, For each type of shape of the virtual surgical tool in contact with the virtual human body, a plurality of calculation patterns for calculating the action on the actual human body are provided, and when calculating the action on the actual human body, It is preferable to select a plurality of calculation patterns corresponding to the shape of the contact portion of the surgical tool and calculate the actual action on the human body using the calculation patterns.
[0019]
In other words, with this configuration, the action on the virtual human body can be changed according to the type of virtual surgical tool, how to use the virtual surgical tool, etc. Can be simulated.
In addition, in the operation on the human body by the surgical tool in the operation, an action of elastically deforming by pushing or pulling a part of the human body with forceps or a finger, an action of cutting such as laparotomy or excision with a scalpel, or suturing And piercing with a suture needle during anastomosis. The model data update means may include a calculation pattern for simulating these actions.
[0020]
Moreover, in the virtual surgery simulation system according to any one of claims 1 to 3, various specific configurations of the stereoscopic display means are conceivable. As the stereoscopic display means, for example, as shown in claim 4, parallax In the image display device, the virtual human body and the virtual surgical tool are displayed as two parallax images with parallax on the upper surface of the table corresponding to the operating table, and the parallax image is stereoscopically displayed with stereoscopic glasses worn in front of the user's eyes. It is good to make it see.
[0021]
In other words, when the stereoscopic display means is configured in this way, the user can only wear stereoscopic glasses, and the video can be displayed like a head-mounted display which is another configuration for displaying stereoscopic video. It is not necessary to wear a large-scale device for displaying the image on the head, and the surgical operation can be experienced in a more natural state.
[0022]
In addition, the storage means of the virtual surgery simulation system according to any one of claims 1 to 4 stores human body model data generated from data acquired from an actual patient as described in claim 5. Also good.
In other words, in this way, the operation work using the virtual operation simulation system confirms in advance whether there is a problem with the operation method, raises the skill level of the operating doctor's operation work, and generates human body model data Can increase the success rate when operating on patients.
[0023]
In addition, the virtual operation simulation system according to claim 5 is used as detected by the position detection means by the external output means, as in claim 6, in order to cause the surgical tool to act on a patient existing in the real space. The position of the person's hand or finger may be configured to be output to a predetermined outside.
[0024]
That is, with this configuration, if the output destination of the external output means is a device such as a robot that controls and moves the surgical tool according to the output position, it is assumed that the human body model data is acquired from an actual patient, By performing a surgical operation by a doctor in a surgical simulation system and a surgical operation by a robot, the operation can be performed on a patient at a remote place. That is, the virtual surgery simulation system can be used as an input device for a so-called telesurgery system.
[0025]
In addition, the virtual surgery simulation system is used as an input device for a microsurgery system for performing surgery in the micro world, the output destination of the external output means is a micro medical robot, and the affected part of the virtual human body to be displayed is enlarged and displayed. It is also possible for a user to enter a microscopic world and perform an operation.
[0026]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described below with reference to the drawings.
The overall configuration of the virtual surgery simulation system 1 of this embodiment is shown in FIG.
As shown in FIG. 1, the virtual surgery simulation system 1 includes a stereoscopic
[0027]
In the three-dimensional
[0028]
Further, the
[0029]
Further, the liquid
[0030]
As described above, when the user views the image displayed on the
[0031]
For this reason, of the two images having parallax for displaying a stereoscopic image, the right-eye image is input to the
[0032]
In the case of stereoscopic viewing, it is ideal to display an image in a direction orthogonal to the line of sight. In this regard, in the stereoscopic
[0033]
The
[0034]
The
[0035]
The
[0036]
The
[0037]
The
By the way, the range in which the image is stereoscopically displayed by the stereoscopic
[0038]
The basic data of the human body model data is obtained by extracting contour lines from medical images such as CT (Computer Tomography) or MRI (Nuclear Magnetic Resonance Imaging), which are images of a part of the human body. The three-dimensional shape data including information on the inside of the human body, which is generated by generating the surface between the contour lines using the Voronoi diagram, includes various information on the characteristics of the human body such as the elastic coefficient for each tissue.
[0039]
The surgical tool model data is composed of a plurality of three-dimensional shape data obtained by converting the shape of a surgical tool such as a scalpel or a suture needle. Each part of each virtual surgical tool is classified by type, The shape characteristic data is classified into the type “B” for the blade-like shape portion, the type “C” for the needle-like shape portion such as a suture needle, and the type “A” for the other.
[0040]
Then, the operation | movement of the virtual surgery simulation system 1 is demonstrated with the flowchart shown in FIG. 2 with the process sequence in main PC20.
First, in S100 (S represents a step), the position signal of the
[0041]
Next, in S110, it is determined from the surgical instrument model data and the human body model data whether the area where the virtual surgical instrument is displayed on the stereoscopic
[0042]
Next, in S120, the type of the shape of the portion of the displayed virtual surgical tool that contacts the virtual human body is determined. If the shape type is “A”, the process proceeds to S130. If the shape type is “B”, which is a blade, the process proceeds to S150. If the shape type is “C”, the process proceeds to S170.
[0043]
In S130, the virtual human body in contact with the virtual surgical tool is used as an elastic body, and the state of the virtual human body deformed by the virtual surgical tool is calculated using a model combining a finite element method and Newton's equation of motion. The human body model data is changed to be a virtual human body reflecting the above. In S140, the elastic force corresponding to the calculated deformation amount is obtained in S130 as the repulsive force for the virtual surgical tool, and the process proceeds to S190.
[0044]
In S150, the human body model data is changed so that the virtual human body part that is in contact with the blade-like shape of the virtual surgical tool has a smooth cut surface by a vertex rearrangement method as a phase deformation method, and in S160, the virtual operation is performed. The repulsive force at the time of cutting calculated in S150 as the repulsive force on the tool is obtained, and the process proceeds to S190.
[0045]
In S170, the human body model data is changed to generate a puncture hole by rearranging and multiplying the virtual human body portion where the needle-like shape of the virtual surgical tool overlaps, The piercing resistance of the piercing hole in S180 resulting from the tightening force is obtained, and the process proceeds to S190.
[0046]
Next, in S190, signals of the line-of-sight position and line-of-sight direction from the
Next, in S200, based on the human body model data and the surgical tool model data, the virtual human body and the virtual surgical tool to be displayed at the respective position information positions are viewed from the line-of-sight position and the line-of-sight direction acquired in S190. Two parallax images are generated by giving parallax to a three-dimensional image.
[0047]
Next, in S210, the image generated in S200 is output to the
[0048]
As a result, when the user stands in front of the stereoscopic
[0049]
As described above, according to the virtual surgery simulation system 1, the user can visually recognize the virtual human body and the virtual surgical tool displayed in a stereoscopic image according to the user's line of sight, as in the case of performing actual surgery. The virtual surgical tool can be applied to the virtual human body by moving the
[0050]
As described above, the virtual operation simulation 1 can cause the user to perform the operation simulation operation without using the simulation object with the same line of sight as the actual operation for the skill training of the user.
In addition, as the operation of the surgical tool on the virtual human body, one of the calculation patterns of elastic deformation, cutting, and piercing is selected and calculated according to the shape of the surgical tool, so that various operations using various virtual surgical tools The action on the virtual human body can be simulated.
[0051]
In addition, if the human body model data is data from a patient who actually performs an operation, and if the operation of the operation is performed before the operation in the virtual operation simulation system 1, it is confirmed whether there is a problem in performing the operation, The skill level for the operation of the operation can be increased, and the success rate of the operation can be increased.
[0052]
[Relationship with the present invention]
The
[0053]
[Modification]
As mentioned above, although embodiment of this invention was described, this invention is not limited to said specific embodiment, It can implement with a various form besides this.
For example, in the present embodiment, the stereoscopic image of the virtual human body is displayed on the
[0054]
In this embodiment, only one
[0055]
In addition, the position signal from the
[0056]
In addition, as an input device for a microsurgery system that operates in the micro world, the position signal from the
[Brief description of the drawings]
FIG. 1 is a diagram illustrating an overall configuration of a virtual surgery simulation system 1 according to the present embodiment.
FIG. 2 is a flowchart of a processing procedure of the main PC according to the present embodiment.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 ... Virtual surgery simulation system, 10 ... Stereoscopic image display apparatus, 11 ... Console, 12 ... Spherical display, 13, 14 ... Liquid crystal projector, 15, 16 ... Mechanical shutter, 20 ... Main personal computer, 30 ... Workstation for
Claims (6)
前記仮想空間に患者の一部又は全部を模擬した仮想人体を表示するための人体モデルデータ、及び、前記仮想空間に手術具を模擬した仮想手術具を表示するための手術具モデルデータが、前記仮想空間内に表示すべき位置の位置情報を含めて記憶された記憶手段と、
前記仮想空間内における使用者の手又は指の位置を検出する位置検出手段と、前記位置検出手段にて検出される使用者の手又は指の位置に、前記仮想手術具が変位されるように、前記仮想手術具の位置情報を更新する位置情報更新手段と、
前記位置情報更新手段にて位置情報を更新された前記仮想手術具が、前記仮想人体に当接する位置関係になったと判断される場合に、該位置関係で、実際の手術具を実際の人体に当接させた場合の該人体における作用を演算して、該演算結果を前記人体モデルデータに反映するモデルデータ更新手段と、
使用者の視線位置及び視線方向を検出する視線検出手段と、
最新の前記人体モデルデータ及び前記手術具モデルデータにより、前記仮想人体及び前記仮想手術具を、前記視線検出手段にて検出された視線位置及び視線方向から観察される前記仮想空間内の立体映像として、前記映像表示手段により表示する映像制御手段と、
を備えることを特徴とする仮想手術シミュレーションシステム。Video display means for displaying a stereoscopic video in a predetermined virtual space;
Human body model data for displaying a virtual human body that simulates a part or all of a patient in the virtual space, and surgical tool model data for displaying a virtual surgical tool that simulates a surgical tool in the virtual space, Storage means stored including the position information of the position to be displayed in the virtual space;
Position detecting means for detecting the position of the user's hand or finger in the virtual space, and the virtual surgical tool being displaced to the position of the user's hand or finger detected by the position detecting means. , Position information update means for updating the position information of the virtual surgical tool;
When it is determined that the virtual surgical tool whose positional information has been updated by the positional information updating means has reached a positional relationship in contact with the virtual human body, the actual surgical tool is replaced with the actual human body by the positional relationship. A model data updating means for calculating an action on the human body in a contact state and reflecting the calculation result on the human body model data;
Gaze detection means for detecting the gaze position and gaze direction of the user;
Based on the latest human body model data and surgical tool model data, the virtual human body and the virtual surgical tool are viewed as stereoscopic images in the virtual space observed from the line-of-sight position and the line-of-sight direction detected by the line-of-sight detection means. Video control means for displaying by the video display means;
A virtual surgery simulation system comprising:
前記モデルデータ更新手段は、前記実際の人体における作用を演算する際に、前記実際の手術具に対する反発力を演算し、該演算結果を基に前記体感手段を介して前記使用者の手又は指に反発力を与える、
ことを特徴とする請求項1に記載の仮想手術シミュレーションシステム。It has a sensation means for giving a repulsive force to the user's hand or finger whose position is detected by the position detection means,
The model data updating means calculates a repulsive force against the actual surgical tool when calculating the action on the actual human body, and based on the calculation result, the user's hand or finger is calculated via the sensory means. Give repulsion to
The virtual surgery simulation system according to claim 1.
前記仮想人体に当接する箇所の前記仮想手術具の形状の種類毎に、前記実際の人体における作用を演算するための複数の演算パターンを備え、
前記実際の人体における作用を演算する際には、前記仮想人体に対する前記仮想手術具の当接箇所の形状に応じた前記複数の演算パターンを選択し、前記実際の人体における作用を該演算パターンで演算する、
ことを特徴とする請求項1又は請求項2に記載の仮想手術シミュレーションシステム。The model data update means includes
For each type of shape of the virtual surgical tool in contact with the virtual human body, a plurality of calculation patterns for calculating the action in the actual human body,
When calculating the action on the actual human body, the plurality of calculation patterns corresponding to the shape of the contact position of the virtual surgical tool with respect to the virtual human body are selected, and the action on the actual human body is calculated using the calculation pattern. Calculate,
The virtual surgery simulation system according to claim 1 or 2, wherein
前記仮想人体及び前記仮想手術具を、手術台に相当する台上面に、視差が設けられた2つの視差画像として表示する視差画像表示装置と、
使用者の眼前に装着され、前記視差画像を立体視させる立体視眼鏡と、
で構成されることを特徴とする請求項1〜請求項3にいずれか記載の仮想手術シミュレーションシステム。The stereoscopic display means includes:
A parallax image display device that displays the virtual human body and the virtual surgical tool as two parallax images provided with parallax on a table top corresponding to an operating table;
Stereoscopic glasses worn in front of the user and stereoscopically viewing the parallax image;
The virtual surgery simulation system according to claim 1, wherein the virtual surgery simulation system is configured as follows.
実在する患者から取得したデータより生成した人体モデルデータが記憶されることを特徴とする請求項1〜請求項4にいずれか記載の仮想手術シミュレーションシステム。In the storage means,
The virtual operation simulation system according to any one of claims 1 to 4, wherein human body model data generated from data acquired from an actual patient is stored.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003146463A JP4129527B2 (en) | 2003-05-23 | 2003-05-23 | Virtual surgery simulation system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003146463A JP4129527B2 (en) | 2003-05-23 | 2003-05-23 | Virtual surgery simulation system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004344491A JP2004344491A (en) | 2004-12-09 |
JP4129527B2 true JP4129527B2 (en) | 2008-08-06 |
Family
ID=33533312
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003146463A Expired - Lifetime JP4129527B2 (en) | 2003-05-23 | 2003-05-23 | Virtual surgery simulation system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4129527B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012532333A (en) * | 2009-06-29 | 2012-12-13 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | Tumor ablation training system and training method |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4607656B2 (en) * | 2005-05-06 | 2011-01-05 | 株式会社神戸製鋼所 | Cell manipulation simulator, simulation method and program |
KR100721713B1 (en) | 2005-08-25 | 2007-05-25 | 명지대학교 산학협력단 | Immersive training system for live-line workers |
JP4636618B2 (en) * | 2006-09-28 | 2011-02-23 | 学校法人早稲田大学 | Simulation device, surgical robot control system using the same, and program for simulation device |
JP4991391B2 (en) * | 2007-05-22 | 2012-08-01 | 三菱プレシジョン株式会社 | Surgical cutting motion simulation method and apparatus |
WO2009094621A2 (en) * | 2008-01-25 | 2009-07-30 | University Of Florida Research Foundation, Inc. | Devices and methods for implementing endoscopic surgical procedures and instruments within a virtual environment |
JP5157024B2 (en) * | 2008-03-26 | 2013-03-06 | 学校法人早稲田大学 | Puncture ablation planning support device and program thereof |
CN101996507B (en) * | 2010-11-15 | 2011-12-28 | 罗伟 | Method for constructing surgical virtual operation teaching and training system |
CN105825752A (en) * | 2016-04-22 | 2016-08-03 | 吉林大学 | Force feedback device-based virtual corneal surgery training system |
JP6604922B2 (en) * | 2016-08-23 | 2019-11-13 | 憲隆 福永 | Microinsemination training device |
CN106448314A (en) * | 2016-08-31 | 2017-02-22 | 南京意斯伽生态科技有限公司 | Traditional Chinese medicinal acupuncture and moxibustion simulation training system based on virtual reality technology |
CN106228861B (en) * | 2016-09-26 | 2018-09-28 | 新乡医学院三全学院 | A kind of teaching simulation CT system |
KR102136471B1 (en) * | 2018-12-28 | 2020-07-23 | (주)스코넥엔터테인먼트 | Total hip replacement(bipolar hemiarthroplasty) surgical virtual reality simulator using magnetic surgical tool |
JP6744464B2 (en) * | 2019-08-14 | 2020-08-19 | 憲隆 福永 | Microinsemination training device |
CN113876437B (en) * | 2021-09-13 | 2024-02-23 | 上海微创医疗机器人(集团)股份有限公司 | Storage medium, robot system, and computer device |
CN114387836B (en) * | 2021-12-15 | 2024-03-22 | 上海交通大学医学院附属第九人民医院 | Virtual operation simulation method and device, electronic equipment and storage medium |
-
2003
- 2003-05-23 JP JP2003146463A patent/JP4129527B2/en not_active Expired - Lifetime
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012532333A (en) * | 2009-06-29 | 2012-12-13 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | Tumor ablation training system and training method |
Also Published As
Publication number | Publication date |
---|---|
JP2004344491A (en) | 2004-12-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7195385B2 (en) | Simulator system for medical procedure training | |
US11580882B2 (en) | Virtual reality training, simulation, and collaboration in a robotic surgical system | |
US11013559B2 (en) | Virtual reality laparoscopic tools | |
US20220192771A1 (en) | Emulation of robotic arms and control thereof in a virtual reality environment | |
CN110390851B (en) | Augmented reality training system | |
US6113395A (en) | Selectable instruments with homing devices for haptic virtual reality medical simulation | |
US20220101745A1 (en) | Virtual reality system for simulating a robotic surgical environment | |
JP4129527B2 (en) | Virtual surgery simulation system | |
US9330502B2 (en) | Mixed reality simulation methods and systems | |
KR101108927B1 (en) | Surgical robot system using augmented reality and control method thereof | |
US20090263775A1 (en) | Systems and Methods for Surgical Simulation and Training | |
KR20110042277A (en) | Surgical robot system using augmented reality and control method thereof | |
JP5419100B2 (en) | Sensory presentation system and sensory presentation device | |
JP7269946B2 (en) | A system for simulating surgical procedures | |
KR100957470B1 (en) | Surgical robot system using augmented reality and control method thereof | |
JPH11219100A (en) | Medical simulator system | |
JP2004348091A (en) | Entity model and operation support system using the same | |
JP7201998B2 (en) | surgical training device | |
Wieben | Virtual and augmented reality in medicine | |
KR20150007517A (en) | Control method of surgical action using realistic visual information | |
WO2024006348A1 (en) | Systems and methods for clinical procedure training using mixed environment technology | |
Shoval et al. | Reconstructing haptic sensing in tele-robotics surgery by non-attentive visual method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20050221 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20050221 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060327 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080411 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080422 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4129527 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
EXPY | Cancellation because of completion of term |