Nothing Special   »   [go: up one dir, main page]

JP2005253706A - Magnetic resonance imaging equipment with surgical navigation device - Google Patents

Magnetic resonance imaging equipment with surgical navigation device Download PDF

Info

Publication number
JP2005253706A
JP2005253706A JP2004070008A JP2004070008A JP2005253706A JP 2005253706 A JP2005253706 A JP 2005253706A JP 2004070008 A JP2004070008 A JP 2004070008A JP 2004070008 A JP2004070008 A JP 2004070008A JP 2005253706 A JP2005253706 A JP 2005253706A
Authority
JP
Japan
Prior art keywords
image
nerve fiber
nerve
images
indicator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004070008A
Other languages
Japanese (ja)
Other versions
JP2005253706A5 (en
JP4532139B2 (en
Inventor
Norihiko Ozawa
紀彦 小澤
Hiroshi Izeki
洋 伊関
Yoshihiro Muragaki
善浩 村垣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Healthcare Manufacturing Ltd
Original Assignee
Hitachi Medical Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Medical Corp filed Critical Hitachi Medical Corp
Priority to JP2004070008A priority Critical patent/JP4532139B2/en
Publication of JP2005253706A publication Critical patent/JP2005253706A/en
Publication of JP2005253706A5 publication Critical patent/JP2005253706A5/ja
Application granted granted Critical
Publication of JP4532139B2 publication Critical patent/JP4532139B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To three-dimensionally recognize the anatomical structure and the running of the nerve fibers during a surgery and perform a surgical navigation corresponding to the movement/deformation of the organ. <P>SOLUTION: This magnetic resonance imaging equipment arbitrarily images during the surgery to provide images allowing the understanding of the anatomical structure and images drawing the nerve fibers. The nerve fiber image is taken by impressing vertical MPG (Motion Proving Gradient) pulses to the running surface of the interested nerve fiber. Alternatively, diffusion tensor imaging is performed. Three cross sections orthogonally crossing the obtained anatomical image are displayed and the nerve fiber image is three-dimensionally displayed by a 3D volume rendering. On the images, the position of the distal end of an indicator operated by a surgeon is displayed and allows the surgeon to recognize the anatomical structure corresponding to the movement/deformation of the organ during the surgery, the positional relation among the nerve fibers, and an operating point. In particular, the nerve fiber image is constituted to display a desired cross section including the distal end of the indicator. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

本発明は、手術ナビゲーション装置を備えた磁気共鳴イメージング装置に関し、特に神経繊維画像上に手術操作を行う個所を表示して手術ナビゲーションシを行う技術に関する。   The present invention relates to a magnetic resonance imaging apparatus provided with a surgical navigation apparatus, and more particularly to a technique for performing surgical navigation by displaying a place where a surgical operation is performed on a nerve fiber image.

外科手術の時にMRI装置やX線CT装置などで撮影した被検体の画像上に、術者が手術操作している個所を表示することで、術者の解剖学的な空間認識を支援する手術ナビゲーション装置が開発され、脳神経外科手術などの高精度な手術操作が要求される手術に適用されている。
例えば、[特許文献1]には、上記の被検体画像を直交する3断面で表示し、同時にその画像をボリュームレンダリング処理により3D表示することで、より直感的な空間認識を可能とする方法が開示されている。
Surgery that supports the operator's anatomical spatial recognition by displaying the location of the operator's surgical operation on the image of the subject taken with an MRI or X-ray CT device during surgery Navigation devices have been developed and applied to operations that require highly precise surgical operations such as neurosurgery.
For example, in [Patent Document 1], there is a method that enables more intuitive space recognition by displaying the subject image in three orthogonal cross sections and simultaneously displaying the image in 3D by volume rendering processing. It is disclosed.

特に、脳神経外科手術などでは、腫瘍摘出時には言語野や運動野など重要な脳機能を温存しながら腫瘍などを最大限摘出することが求められる。したがって、これらの脳機能に関係する神経線維の走行を術中に確認することが求められる。また、神経線維画像は、術前のMRI検査において拡散強調イメージングや拡散テンソルイメージングによって取得できる。   In particular, in neurosurgery and the like, it is required to remove as much of the tumor as possible while preserving important brain functions such as the language and motor areas when removing the tumor. Therefore, it is required to confirm the running of nerve fibers related to these brain functions during the operation. A nerve fiber image can be acquired by diffusion weighted imaging or diffusion tensor imaging in a preoperative MRI examination.

これらのイメージングでは、神経線維は線維方向に拡散が大きく、線維と垂直な方向には拡散が制限されていることを前提としている。拡散強調イメージングでは、目的としている神経線維が走行している面をスライス面とし、Motion Proving Gradient(以下、MPGと略記する)パルスをこの面に垂直方向に印加する方法がある。この手法は、MPGパルスが印加された方向に拡散がある場合はその信号が低下し、スライス面内で拡散している部位があればその部位の信号が相対的に高くなることを利用し、スライス面内を走行する神経線維を比較的高信号に描出する手法である。また、拡散テンソルイメージングは、MPGパルスの印加方向を変えて複数回撮影を行い、その後、数学的にテンソル解析を行って神経線維の走行を画像化する。
特開2003-79637号公報
These imagings assume that nerve fibers are highly diffused in the fiber direction and that diffusion is restricted in the direction perpendicular to the fiber. In diffusion weighted imaging, there is a method in which a plane on which a target nerve fiber is running is a slice plane, and a Motion Proving Gradient (hereinafter abbreviated as MPG) pulse is applied in a direction perpendicular to the plane. This technique uses the fact that if there is diffusion in the direction in which the MPG pulse is applied, the signal will drop, and if there is a part spreading in the slice plane, the signal at that part will be relatively high, This is a technique for rendering nerve fibers traveling in the slice plane with a relatively high signal. In diffusion tensor imaging, the MPG pulse application direction is changed and images are taken a plurality of times, and then mathematical tensor analysis is performed to image nerve fiber running.
JP 2003-79637 A

術中にMRI撮影が可能なシステムとしては、オープンMRI装置を使用したシステムがあるが、静磁場強度は0.3T程度と低磁場強度であり通常の検査で使用されている1.5T程度の高磁場装置に比べ画像のSignal to Noise Ratio(以下、SNRと呼ぶ)が劣る。さらに、神経線維の走行を描出できる拡散強調イメージングでは、その画像のSNRが通常の撮影法に比べて低くなる。そのため、従来の手術ナビゲーションでは、解剖学的画像と術前の神経線維画像による空間認識は可能だであったが、術中の臓器の移動・変形に対応した神経線維画像を取得して、それに基づいたナビゲーションを行うことは困難であった。   There is a system that uses an open MRI system as a system that can perform MRI imaging during the operation, but the static magnetic field strength is about 0.3T, which is a low magnetic field strength, and a high magnetic field device of about 1.5T that is used in normal examinations. The signal to noise ratio (hereinafter referred to as SNR) of the image is inferior. Furthermore, in diffusion-weighted imaging that can depict the running of nerve fibers, the SNR of the image is lower than in normal imaging methods. Therefore, in conventional surgical navigation, spatial recognition was possible using anatomical images and preoperative nerve fiber images, but nerve fiber images corresponding to organ movement and deformation during surgery were acquired and It was difficult to navigate.

そこで本発明の第1の目的は、術中の臓器の移動・変形にも対応して解剖学的画像と神経線維の走行状態を確認できる画像を同時に提供することによって、わかりやすい手術ナビゲーションを行うことである。
また、第2の目的は、比較的小さな(実効的)スライス間隔でありながら比較的高いSNRで神経線維画像を取得することである。
Therefore, the first object of the present invention is to provide easy-to-understand surgical navigation by simultaneously providing an anatomical image and an image that can confirm the running state of nerve fibers corresponding to the movement and deformation of an organ during surgery. is there.
A second object is to acquire a nerve fiber image with a relatively high SNR while having a relatively small (effective) slice interval.

上記の目的を達成するために本発明は以下のように構成される。即ち、
被検体の解剖学的画像と神経繊維の走行状態を描出する神経繊維画像をそれぞれ計測する計測手段と、前記解剖学的画像と前記神経繊維画像を表示する表示手段と、前記被検体を指示するための指示器と、前記指示器の指示点及び指示方向を検出する検出器とを備えた磁気共鳴イメージング装置において、前記表示手段は、検出された前記指示点及び指示方向を前記解剖学的画像と前記神経線維画像上に表示する。
これにより、指示器によって指示された点と方向とに対応して解剖学的画像と神経繊維画像を撮影して表示し、それら画像上に指示点及び指示方向を表示することができるようになる。その結果、前記第1の目的を達成することができる。
In order to achieve the above object, the present invention is configured as follows. That is,
Measuring means for measuring an anatomical image of the subject and a nerve fiber image depicting the running state of nerve fibers, a display means for displaying the anatomical image and the nerve fiber image, and indicating the subject In the magnetic resonance imaging apparatus, comprising: an indicator for detecting an indication point; and a detector for detecting an indication point and an indication direction of the indicator. The display means displays the detected indication point and the indication direction in the anatomical image. And displayed on the nerve fiber image.
As a result, an anatomical image and a nerve fiber image can be captured and displayed corresponding to the point and direction indicated by the indicator, and the indication point and the indication direction can be displayed on the image. . As a result, the first object can be achieved.

好ましい実施態様は、前記計測手段は、前記神経繊維画像をマルチスライスで複数回撮影する場合に、異なる撮影間でスライス厚の一部がオーバーラップする様にスライス位置をずらす。
これにより、神経繊維画像のスライス厚を増加させつつ、実効的なスライス厚を薄くすることができるので、分解能を低減させることなく神経繊維画像のSNRを向上させることができる。その結果、前記第2の目的を達成することができる。
In a preferred embodiment, the measurement unit shifts the slice position so that a part of the slice thickness overlaps between different imagings when the nerve fiber image is imaged multiple times by multi-slices.
Accordingly, the effective slice thickness can be reduced while increasing the slice thickness of the nerve fiber image, and thus the SNR of the nerve fiber image can be improved without reducing the resolution. As a result, the second object can be achieved.

本発明により、脳神経外科手術などで術者が術中に撮影部位の解剖学的構造と共に神経線維の走行を空間的に認識することができ、これらの画像上で手術操作部位を確認することにより、臓器の移動・変形に対応した手術ナビゲーションが可能となる。その結果、重要な脳機能などに関係する神経線維に損傷を与えることなく、より安全に腫瘍などを摘出することが可能となる。   According to the present invention, it is possible for a surgeon in a neurosurgery or the like to spatially recognize the running of nerve fibers together with the anatomical structure of the imaging site during the operation, and by confirming the surgical operation site on these images, Surgical navigation corresponding to organ movement / deformation is possible. As a result, it is possible to remove tumors and the like more safely without damaging nerve fibers related to important brain functions.

以下、本発明の実施形態を添付図面に基づいて説明する。なお、発明の実施の形態を説明するための全図において、同一機能を有するものは同一符号を付け、その繰り返しの説明は省略する。
最初に、本発明を適用するMRI装置について説明する。図4は本発明を適用する磁気共鳴イメージング(以下、MRIという)装置の一実施例に関する全体構成を示すブロック図である。このMRI装置は、核磁気共鳴(NMR)現象を利用して被検体の断層画像を得るもので、図4に示すように、MRI装置は静磁場発生系2と、傾斜磁場発生系3と、送信系5と、受信系6と、データ処理系7と、シーケンサ4と、中央処理装置(CPU)8と、操作系25とを備えて構成される。
Hereinafter, embodiments of the present invention will be described with reference to the accompanying drawings. Note that components having the same function are denoted by the same reference symbols throughout the drawings for describing the embodiment of the invention, and the repetitive description thereof is omitted.
First, an MRI apparatus to which the present invention is applied will be described. FIG. 4 is a block diagram showing the overall configuration of an embodiment of a magnetic resonance imaging (hereinafter referred to as MRI) apparatus to which the present invention is applied. This MRI apparatus uses a nuclear magnetic resonance (NMR) phenomenon to obtain a tomographic image of a subject. As shown in FIG. 4, the MRI apparatus includes a static magnetic field generation system 2, a gradient magnetic field generation system 3, A transmission system 5, a reception system 6, a data processing system 7, a sequencer 4, a central processing unit (CPU) 8, and an operation system 25 are configured.

静磁場発生系2は、被検体1の周りの空間にその体軸方向(水平磁場方式)または体軸と直交する方向(垂直磁場方式)に均一な静磁場を発生させるもので、被検体1の周りに常電導方式、超電導方式、あるいは永久磁石方式の静磁場発生源が配置されている。   The static magnetic field generation system 2 generates a uniform static magnetic field in the space around the subject 1 in the direction of the body axis (horizontal magnetic field method) or in the direction perpendicular to the body axis (vertical magnetic field method). A normal magnetic field generation system, a superconductivity system, or a permanent magnet system static magnetic field generation source is arranged around the space.

傾斜磁場発生系3は、X,Y,Zの3軸方向に巻かれた傾斜磁場コイル9と、それぞれの傾斜磁場コイル9を駆動する傾斜磁場電源10とから成り、後述のシ−ケンサ4からの命令に従ってそれぞれのコイルの傾斜磁場電源10を駆動することにより、X,Y,Zの3軸方向の傾斜磁場Gx,Gy,Gzを被検体1に印加する。より具体的には、X,Y,Zのいずれかの1方向にスライス方向傾斜磁場パルス(Gs)を印加して被検体1に対するスライス面を設定し、残り2つの方向に位相エンコード方向傾斜磁場パルス(Gp)と周波数エンコード方向傾斜磁場パルス(Gf)を印加して、エコー信号にそれぞれの方向の位置情報をエンコードする。   The gradient magnetic field generating system 3 includes a gradient magnetic field coil 9 wound in three axial directions of X, Y, and Z, and a gradient magnetic field power source 10 for driving each gradient magnetic field coil 9. By driving the gradient magnetic field power supply 10 of each coil in accordance with the above command, gradient magnetic fields Gx, Gy, and Gz in three axial directions of X, Y, and Z are applied to the subject 1. More specifically, a slice direction gradient magnetic field pulse (Gs) is applied in one of X, Y, and Z to set the slice plane for the subject 1, and the phase encode direction gradient magnetic field is applied to the remaining two directions. A pulse (Gp) and a frequency encoding direction gradient magnetic field pulse (Gf) are applied, and position information in each direction is encoded in the echo signal.

シーケンサ4は、高周波磁場パルス(以下、「RFパルス」という)と傾斜磁場パルスをある所定のパルスシーケンスで繰り返し印加する制御手段で、CPU8の制御で動作し、被検体1の断層画像のデータ収集に必要な種々の命令を送信系5、傾斜磁場発生系3、および受信系6に送る。   The sequencer 4 is a control means that repeatedly applies a high-frequency magnetic field pulse (hereinafter referred to as “RF pulse”) and a gradient magnetic field pulse in a predetermined pulse sequence, and operates under the control of the CPU 8 to collect tomographic image data of the subject 1. Various commands necessary for the transmission are sent to the transmission system 5, the gradient magnetic field generation system 3, and the reception system 6.

送信系5は、被検体1の生体組織を構成する原子の原子核スピンに核磁気共鳴を起こさせるためにRFパルスを照射するもので、高周波発振器11と変調器12と高周波増幅器13と送信側の高周波コイル14aとから成る。高周波発振器11から出力された高周波パルスをシーケンサ4からの指令によるタイミングで変調器12により振幅変調し、この振幅変調された高周波パルスを高周波増幅器13で増幅した後に被検体1に近接して配置された高周波コイル14aに供給することにより、RFパルスが被検体1に照射される。   The transmission system 5 irradiates an RF pulse to cause nuclear magnetic resonance to the nuclear spins of atoms constituting the biological tissue of the subject 1, and includes a high frequency oscillator 11, a modulator 12, a high frequency amplifier 13, and a transmission side And a high-frequency coil 14a. The high-frequency pulse output from the high-frequency oscillator 11 is amplitude-modulated by the modulator 12 at a timing according to a command from the sequencer 4, and the amplitude-modulated high-frequency pulse is amplified by the high-frequency amplifier 13 and then placed close to the subject 1. By supplying to the high frequency coil 14a, the subject 1 is irradiated with the RF pulse.

受信系6は、被検体1の生体組織を構成する原子核スピンの核磁気共鳴により放出されるエコー信号(NMR信号)を検出するもので、受信側の高周波コイル14bと信号増幅器15と直交位相検波器16と、A/D変換器17とから成る。送信側の高周波コイル14aから照射されたRFパルスによって誘起される被検体1の応答のエコー信号が被検体1に近接して配置された高周波コイル14bで検出され、信号増幅器15で増幅された後、シーケンサ4からの指令によるタイミングで直交位相検波器16により直交する二系統の信号に分割され、それぞれがA/D変換器17でディジタル量に変換されてエコーデータとしてデータ処理系7に送られる。   The receiving system 6 detects an echo signal (NMR signal) emitted by nuclear magnetic resonance of nuclear spins constituting the biological tissue of the subject 1, and receives a high-frequency coil 14b on the receiving side, a signal amplifier 15, and quadrature detection. And an A / D converter 17. After the echo signal of the response of the subject 1 induced by the RF pulse irradiated from the high frequency coil 14a on the transmission side is detected by the high frequency coil 14b arranged close to the subject 1 and amplified by the signal amplifier 15 The signal is divided into two orthogonal signals by the quadrature phase detector 16 at the timing according to the command from the sequencer 4, and each signal is converted into a digital quantity by the A / D converter 17 and sent to the data processing system 7 as echo data. .

データ処理系7は、光ディスク19、磁気ディスク18等の外部記憶装置と、CRT等からなるディスプレイ20と、経時的な画像解析処理及び計測を行うプログラムやその実行において用いる不変のパラメータなどを記憶するROM(読み出し専用メモリ)21と、前計測で得た計測パラメータや上記受信系4で検出したエコーデータ及び関心領域設定に用いる画像を一時保管すると共にその関心領域を設定するためのパラメータなどを記憶するRAM(随時書き込み読み出しメモリ)22とを有し、受信系6からのエコーデータがCPU8に入力されると、CPU8が信号処理、画像再構成等の処理を実行し、その結果である被検体1の断層画像をディスプレイ20に表示すると共に、外部記憶装置の磁気ディスク18等に記録する。   The data processing system 7 stores an external storage device such as an optical disk 19 and a magnetic disk 18, a display 20 such as a CRT, a program for performing image analysis processing and measurement over time, invariant parameters used in the execution, and the like. ROM (read-only memory) 21 and measurement parameters obtained in the previous measurement, echo data detected by the receiving system 4 and images used for region of interest setting are temporarily stored and parameters for setting the region of interest are stored. When the echo data from the receiving system 6 is input to the CPU 8, the CPU 8 executes processing such as signal processing and image reconstruction, and the result is the subject. One tomographic image is displayed on the display 20 and recorded on the magnetic disk 18 of the external storage device.

操作系25は、トラックボール23及び、キーボード24とを有し、上記データ処理系7で行う処理の制御情報を入力する。この操作部25はディスプレイ20に近接して配置され、操作者がディスプレイ20を見ながら操作部25を通してインタラクティブにMRI装置の処理を制御する。   The operation system 25 includes a trackball 23 and a keyboard 24, and inputs control information for processing performed by the data processing system 7. The operation unit 25 is disposed in the vicinity of the display 20, and the operator interactively controls the processing of the MRI apparatus through the operation unit 25 while looking at the display 20.

なお、図4において、送信側の高周波コイル14aと傾斜磁場コイル9は、被検体1が挿入される静磁場発生系2の静磁場空間内に被検体1に対向して設置されている。また、受信側の高周波コイル14bは、被検体1に対向して、或いは取り囲むように設置されている。
現在MRI装置の撮像対象核種は、臨床で普及しているものとしては、被検体の主たる構成物質である水素原子核(プロトン)である。プロトン密度の空間分布や、励起状態の緩和時間の空間分布に関する情報を画像化することで、人体頭部、腹部、四肢等の形態または、機能を2次元もしくは3次元的に撮像する。
In FIG. 4, the high-frequency coil 14a and the gradient magnetic field coil 9 on the transmission side are placed facing the subject 1 in the static magnetic field space of the static magnetic field generation system 2 into which the subject 1 is inserted. The high-frequency coil 14b on the receiving side is installed so as to face or surround the subject 1.
Currently, the radionuclide to be imaged by the MRI apparatus is a hydrogen nucleus (proton) which is a main constituent material of the subject as widely used in clinical practice. By imaging information on the spatial distribution of proton density and the spatial distribution of relaxation time in the excited state, the form or function of the human head, abdomen, limbs, etc. is imaged two-dimensionally or three-dimensionally.

以下、本発明の実施形態について説明する。図1に本実施形態に係る手術ナビゲーション装置の構成を示す。図示するように、本手術ナビゲーション装置は、被検体1の解剖学的な画像及び神経線維画像を計測するMRI装置などの撮影装置80と、指示器81と、位置検出器82と、処理装置90と表示装置100から主に構成される。
特に、処理装置90は、撮影データ記憶部91、位置検出処理部92、断層画像再構成部93、ボリュームレンダリング処理部94、表示処理部95、主制御部96から構成される。そして、撮影装置80内に被検体1を配置し、被検体1にマーカ51を固定して位置検出器82でマーカ51の位置が検出される。
Hereinafter, embodiments of the present invention will be described. FIG. 1 shows a configuration of a surgical navigation apparatus according to this embodiment. As shown in the figure, this surgical navigation device includes an imaging device 80 such as an MRI device that measures an anatomical image and nerve fiber image of the subject 1, an indicator 81, a position detector 82, and a processing device 90. And the display device 100.
In particular, the processing device 90 includes an imaging data storage unit 91, a position detection processing unit 92, a tomographic image reconstruction unit 93, a volume rendering processing unit 94, a display processing unit 95, and a main control unit 96. Then, the subject 1 is placed in the imaging apparatus 80, the marker 51 is fixed to the subject 1, and the position of the marker 51 is detected by the position detector 82.

なお、本実施形態では、手術ナビゲーション装置が撮影装置80から独立した構成としているが、手術ナビゲーション装置の上記構成要素の中で撮影装置80の構成要素と共用化できるものは共用してもよい。例えば、前述のMRI装置を撮影装置80として用いた場合は、処理装置90をデータ処理系7の内部に含め、表示装置100をディスプレイ20とすることができる。そして撮影データ記憶部91を磁気ディスク18や光ディスク19とし、断層画像再構成部93及びボリュームレンダリング処理部94をCPU8とすることができる。   In the present embodiment, the surgical navigation device is configured independently of the imaging device 80, but the components of the surgical navigation device that can be shared with the components of the imaging device 80 may be shared. For example, when the aforementioned MRI apparatus is used as the imaging apparatus 80, the processing apparatus 90 can be included in the data processing system 7 and the display apparatus 100 can be the display 20. The imaging data storage unit 91 can be the magnetic disk 18 or the optical disk 19, and the tomographic image reconstruction unit 93 and the volume rendering processing unit 94 can be the CPU 8.

以下、前述のMRI装置を撮影装置90とした場合を例にして、このような手術ナビゲーション装置の動作について説明する。まず、手術の開始前後に、複数のマーカ51が固定された被検体1を撮影装置80により撮影する。撮影装置80で撮影した撮影データは処理装置90に転送され、撮影データ記憶部91に記憶される。   Hereinafter, the operation of such a surgical navigation apparatus will be described by taking as an example the case where the aforementioned MRI apparatus is an imaging apparatus 90. First, the subject 1 to which the plurality of markers 51 are fixed is imaged by the imaging device 80 before and after the start of surgery. Shooting data shot by the shooting device 80 is transferred to the processing device 90 and stored in the shooting data storage unit 91.

手術開始後、処理装置90は以下のようなレジストレーションを行う。すなわち、術者が指示器81の先端で被検体1に固定されたマーカ51を指示し、入力装置97からレジストレーションが指示されると、主制御部96を介してこの指示を受け取った位置検出処理部92は指示器81先端の実空間上の座標を算出する。   After the surgery starts, the processing apparatus 90 performs the following registration. That is, when the surgeon instructs the marker 51 fixed to the subject 1 at the tip of the indicator 81 and registration is instructed from the input device 97, the position detection is received via the main control unit 96. The processing unit 92 calculates the coordinates in the real space at the tip of the indicator 81.

この指示器81の座標を検出する位置検出器82としては光学式などの方法がある。光学式は、指示器81にマーカ(発光ダイオードなどの光源)を取り付け、視差を有する複数のカメラで撮影した画像より算出される各マーカの位置より指示器81の先端の位置を検出するか、又は、照射した赤外線の反射光を視差を有する複数のカメラで撮影し、撮影した画像より指示器81先端の位置を検出する。   As the position detector 82 for detecting the coordinates of the indicator 81, there is an optical method or the like. The optical type attaches a marker (light source such as a light emitting diode) to the indicator 81 and detects the position of the tip of the indicator 81 from the position of each marker calculated from images taken by a plurality of cameras having parallax, Alternatively, the reflected infrared reflected light is photographed by a plurality of cameras having parallax, and the position of the tip of the indicator 81 is detected from the photographed images.

次に、位置検出処理部92は、各被検体マーカ51を指示している状態に対して算出した指示器81先端の実空間座標より、撮影データ記憶部91に記憶されている撮影データの各座標と実空間上の座標との関係式、すなわち、実空間上における現在の被検体のある部分の位置と、撮影データ中の被検体1のその部分を撮影した位置を対応付ける関係式を求め、これをレジストレーション結果として記憶する。具体例としては、その時点で、指示器81の先端で被検体マーカ51を指しているときのその空間座標から、撮影データ中の指定された被検体マーカの座標へ座標変換を行う。
または、その逆の変換を行う座標変換式を求め、これをレジストレーション結果として記憶する。
Next, the position detection processing unit 92 calculates each of the imaging data stored in the imaging data storage unit 91 from the real space coordinates of the tip of the indicator 81 calculated for the state in which each object marker 51 is indicated. A relational expression between coordinates and coordinates in the real space, that is, a relational expression that associates a position of a part of the current subject in the real space with a position where the part of the subject 1 in the photographing data is imaged, This is stored as a registration result. As a specific example, coordinate conversion is performed from the spatial coordinates when the subject marker 51 is pointed at the tip of the indicator 81 to the coordinates of the designated subject marker in the imaging data.
Alternatively, a coordinate conversion formula for performing the reverse conversion is obtained and stored as a registration result.

以上のようにレジストレーションが終了すると、処理装置90は以下のようなナビゲーション動作を行う。すなわち、位置検出処理部92は、指示器81先端の位置とその指示方向を検出し、それらを先に求めたレジストレーション結果の関係式に従って、撮影データが存在する空間上の位置と方向に変換する。   When the registration is completed as described above, the processing device 90 performs the following navigation operation. That is, the position detection processing unit 92 detects the position of the tip of the indicator 81 and its pointing direction, and converts them into a position and direction in the space where the shooting data exists according to the relational expression of the registration result obtained earlier. To do.

断層画像再構成部93は、撮影データ記憶部91に記憶された撮影データから、操作位置を含む断層画像を、直交するそれぞれ所定方向の3平面について算出する。このとき、各断層画像には、操作位置を示すカーソルを表示する。
ボリュームレンダリング処理部は、撮影データ記憶部に記憶された神経画像の撮影データに対してボリュームレンダリングを行い、3D画像を生成する。この3D画像には、操作位置を示すカーソルを表示する。
The tomographic image reconstruction unit 93 calculates a tomographic image including the operation position for three orthogonal planes in a predetermined direction from the imaging data stored in the imaging data storage unit 91. At this time, a cursor indicating the operation position is displayed on each tomographic image.
The volume rendering processing unit performs volume rendering on the imaging data of the nerve image stored in the imaging data storage unit to generate a 3D image. A cursor indicating the operation position is displayed on this 3D image.

表示処理部95は、断層画像再構成部93が直交する3方向それぞれについて算出した断層画像と、ボリュームレンダリング処理部が生成した3D画像を表示装置に表示する。
この表示装置100の表示例を図2,3に示す。表示装置100のモニタには、図2に示す様なフォーマットで、直交する3断面の断層画像110,120,130とその表示パラメータ140、及び神経線維画像のボリュームレンダリング(3D)表示150とその表示パラメータ160を表示する。図3は、図2のフォーマットで表示した具体例である。図3では、左側のAnatomical Viewの第1,2,3画面(左上、中央、左下)をTRS(Transaxial), SAG(Sagittal), COR(Coronal)像とし、それぞれの表示パラメータはそれら表示方法の設定値であり、変更可能である旨を設定値を□で囲んで表示してある。つまり、図3の表示パラメータは、第1画面ではHorizontal方向をRL(Right-Left), Vertical方向をAP(Anterior-Posterior)とし、第2画面ではHorizontal方向をHF(Head-Foot), Vertical方向をAPとし、第3画面ではHorizontal方向をRL, Vertical方向をHFとした場合を示している。また、図3の右側にはCOR(Coronal)像を切り出した3Dの神経繊維画像とその表示パラメータを表示している。それぞれの画像上には操作位置を(十字)カーソル(Cursor)で表示(ON)している。また、Loadは、画像データを読み込むボタンであり、Linkは、指示器との連動を開始/停止するボタンである。
それぞれの表示方法を変更する場合には、変更する項目毎にその値を変更する。例えば、Horizontal方向を左右反転するために、RL→LRと表示設定値を変更すれば良い。
The display processing unit 95 displays the tomographic image calculated in each of the three directions orthogonal to each other by the tomographic image reconstruction unit 93 and the 3D image generated by the volume rendering processing unit on the display device.
Display examples of the display device 100 are shown in FIGS. The monitor of the display device 100 has a cross-sectional tomographic image 110, 120, 130 and its display parameter 140 in a format as shown in FIG. 2, and a volume rendering (3D) display 150 of the nerve fiber image and its display. The parameter 160 is displayed. FIG. 3 is a specific example displayed in the format of FIG. In Fig. 3, the first, second, and third screens (upper left, center, lower left) of the Anatomical View on the left are TRS (Transaxial), SAG (Sagittal), and COR (Coronal) images. The setting value is indicated by enclosing the setting value with □ to indicate that it can be changed. In other words, the display parameters in Fig. 3 are RL (Right-Left) for the horizontal direction on the first screen, AP (Anterior-Posterior) for the vertical direction, and HF (Head-Foot), Vertical direction for the second screen. In the third screen, the horizontal direction is RL and the vertical direction is HF. Further, on the right side of FIG. 3, a 3D nerve fiber image obtained by cutting out a COR (Coronal) image and its display parameters are displayed. The operation position is displayed (ON) with a (cross) cursor (Cursor) on each image. Load is a button for reading image data, and Link is a button for starting / stopping linkage with the indicator.
When changing each display method, the value is changed for each item to be changed. For example, the display setting value may be changed as RL → LR in order to horizontally flip the horizontal direction.

この神経線維画像は、指示器81で指示した断面を切り出して表示することができる。例えば、重要な神経経路である錐体路を観察する場合、表示パラメータにて通常COR断面が設定される。このとき、指示器81の先端が指す位置に応じて、その先端を含むCOR断面が即時に表示される。このようにして、術中に必要なときにMRI撮影を行うことにより術中画像を更新し、術者は術中の臓器の移動・変形に対応した解剖学的構造と神経線維の走行、及び手術操作部位を空間的に認識しながら、手術を行うことができる。   The nerve fiber image can be displayed by cutting out the cross section designated by the indicator 81. For example, when observing a pyramidal path that is an important nerve path, the COR section is usually set by the display parameter. At this time, according to the position pointed to by the tip of the indicator 81, the COR section including the tip is immediately displayed. In this way, the intraoperative image is updated by performing MRI imaging when necessary during the operation, and the operator performs the anatomical structure corresponding to the movement / deformation of the organ during the operation, the running of the nerve fiber, and the surgical operation site. Surgery can be performed while spatially recognizing.

ここで、術中に撮影を行う場合には、撮影と手術を同位置で行う場合と、撮影時のみ患者をMRIガントリー内へ挿入し、撮影後はガントリーの外へ搬出し、手術を行う場合がある。手術ナビゲーション装置は、術者が持つ術具先端位置を室内モニターで解剖学的画像と神経線維画像上に表示し、術者が実際に手術操作している位置が臓器の中のどこなのかを視覚的に示すことにより、術者の手術操作を支援する。術者は脳の深部など臓器に隠れた位置を手術操作する場合に、又は、肉眼では確認し難く、顕微鏡を使用しても視野が限られている場合などに、ナビゲーション画像を見ることによりその周囲に何があるのかを立体的に把握することができる。上記いずれの場合も、指示器81で示された位置の画像を表示して手術をナビゲートする。   Here, when performing imaging during surgery, there are cases where imaging and surgery are performed at the same position, and patients are inserted into the MRI gantry only at the time of imaging, and are taken out of the gantry after imaging and surgery is performed. is there. The surgical navigation device displays the position of the operator's surgical tool tip on the anatomical image and nerve fiber image on the room monitor, and indicates where the operator is actually operating in the organ. By visually showing, the surgeon's surgical operation is supported. When an operator operates a position hidden in an organ such as the deep part of the brain, or when it is difficult to confirm with the naked eye and the field of view is limited even using a microscope, the operator can view the navigation image. It is possible to grasp three-dimensionally what is around. In either case, the operation is navigated by displaying the image at the position indicated by the indicator 81.

神経線維画像を取得する方法の一つは、MRI装置において目的とする神経線維に直交する少なくとも1つのMPGパルスを印加して拡散強調イメージングを行う方法である。EPI法にこのイメージング法を適用した場合の詳細は、[非特許文献1]の46頁に記載されている。例えば、重要な神経線維である錐体路を描出する場合、錐体路を含むスライス面を位置決め画像での解剖学的な構造を基に設定し、このスライス面に垂直な方向にMPGパルスを印加して拡散強調イメージングを行う。このような神経線維画像を術中に取得し、臓器の移動・変形に対応した手術ナビゲーションを行う。   One method of acquiring a nerve fiber image is a method of performing diffusion weighted imaging by applying at least one MPG pulse orthogonal to a target nerve fiber in an MRI apparatus. Details of applying this imaging method to the EPI method are described on page 46 of [Non-patent Document 1]. For example, when depicting a pyramidal tract that is an important nerve fiber, a slice plane containing the pyramidal tract is set based on the anatomical structure in the positioning image, and an MPG pulse is applied in a direction perpendicular to the slice plane. Apply diffusion-weighted imaging. Such nerve fiber images are acquired during the operation, and surgical navigation corresponding to the movement / deformation of the organ is performed.

神経線維画像を取得するその他の方法として、MRI装置において拡散テンソルイメージングを行う方法がある。拡散テンソルイメージングの詳細は、[非特許文献1]の80〜103頁に記載されている。このような神経線維画像を術中に取得し、臓器の移動・変形に対応した手術ナビゲーションを行う。
青木茂樹・阿部修、「これでわかる拡散MRI」
As another method for acquiring a nerve fiber image, there is a method of performing diffusion tensor imaging in an MRI apparatus. Details of diffusion tensor imaging are described on pages 80 to 103 of [Non-Patent Document 1]. Such nerve fiber images are acquired during the operation, and surgical navigation corresponding to the movement / deformation of the organ is performed.
Shigeki Aoki and Osamu Abe, “Diffusion MRI understood by this”

神経線維画像を術中MRI撮影で拡散強調イメージングによって撮影する場合に、スライス間隔を小さくしつつ画像のSNRを向上させるため、スライスをオーバーラップさせる(以下、スライスオーバーラップ法という)。スライスオーバーラップ法は、図3に示すようにスライス位置をずらしてマルチスライス撮影を複数回(図では3回)行い、厚めに設定したスライス厚の一部を複数回の撮影間で互いにオーバーラップさせる。計測後に複数回撮影したデータを、スライス位置を指標として並べ直す。図4の場合では、401-1,402-1,403-1,401-2,402-2,403-2,…というように、左側からのスライス開始位置順に並べ直す。   When nerve fiber images are taken by diffusion-weighted imaging with intraoperative MRI, slices are overlapped in order to improve the SNR of the image while reducing the slice interval (hereinafter referred to as slice overlap method). In the slice overlap method, as shown in Fig. 3, the slice position is shifted and multi-slice shooting is performed multiple times (three times in the figure), and a part of the thick slice thickness is overlapped between multiple shootings. Let The data photographed multiple times after measurement is rearranged using the slice position as an index. In the case of FIG. 4, the slices are rearranged in the order of slice start positions from the left side, such as 401-1, 402-1, 403-1, 401-2, 402-2, 403-2,.

通常は、スライス位置のずらす量を一定量ずつとすることで、実効的なスライス間隔を一定にする。例えば、スライス厚を8mm、ギャップを1mmとすると、この場合の1回の撮影におけるスライス間隔は9mmである。一方、スライスオーバーラップ法にて3回撮影すると、スライス位置を3mmずつ、ずらして撮影し実効的なスライス間隔は3mmとなる。撮影した画像を見るときには、スライス方向の分解能に注意する必要があるが、術中に臓器の移動・変形に対応した神経線維画像を、比較的小さな(実効的)スライス間隔ながら、比較的高いSNRの画質で見ることが可能となる。   Usually, the effective slice interval is made constant by making the amount of shifting the slice position constant. For example, if the slice thickness is 8 mm and the gap is 1 mm, the slice interval in one imaging in this case is 9 mm. On the other hand, if the slice overlap method is used three times, the slice position is shifted by 3 mm and the effective slice interval is 3 mm. When viewing the captured image, it is necessary to pay attention to the resolution in the slice direction, but during operation, nerve fiber images corresponding to organ movement / deformation have a relatively high SNR with a relatively small (effective) slice interval. It becomes possible to see with image quality.

本発明の実施形態に係る手術ナビゲーション装置の構成を示すブロック図。The block diagram which shows the structure of the surgery navigation apparatus which concerns on embodiment of this invention. 本発明の実施形態に係る手術ナビゲーションの表示フォーマットを示す図。The figure which shows the display format of the surgery navigation which concerns on embodiment of this invention. 図2の具体例を示す図。The figure which shows the specific example of FIG. 本発明の実施形態に係るスライスオーバーラップ法を示す図。The figure which shows the slice overlap method which concerns on embodiment of this invention. MRI装置の一実施例の全体構成を表すブロック図。The block diagram showing the whole structure of one Example of an MRI apparatus.

符号の説明Explanation of symbols

1…被検体、2…静磁場発生系、3…傾斜磁場発生系、4…シーケンサ、5…送信系、6…受信系、7…信号処理系、8…中央処理装置(CPU)、9…傾斜磁場コイル、10…傾斜磁場電源、11…高周波発信器、12…変調器、13…高周波増幅器、14a…高周波コイル(送信コイル)、14b…高周波コイル(受信コイル)、15…信号増幅器、16…直交位相検波器、17…A/D変換器、18…磁気ディスク、19…光ディスク、20…ディスプレイ、51…対象に固定されたマーカ、80…撮影装置、81…指示器、82…位置検出器、90…処理装置、91…撮影データ記憶部、92…位置検出処理部、93…断層画像再構成部、94…ボリュームレンダリング処理部、95…表示処理部、100…表示装置、110…断層画像TRS、120…断層画像SAG、130…断層画像COR、140…断層画像表示パラメータ、150…神経線維画像、160…神経線維画像表示パラメータ   DESCRIPTION OF SYMBOLS 1 ... Subject, 2 ... Static magnetic field generation system, 3 ... Gradient magnetic field generation system, 4 ... Sequencer, 5 ... Transmission system, 6 ... Reception system, 7 ... Signal processing system, 8 ... Central processing unit (CPU), 9 ... Gradient magnetic field coil, 10 Gradient magnetic field power source, 11 High frequency transmitter, 12 Modulator, 13 High frequency amplifier, 14 a High frequency coil (transmitting coil), 14 b High frequency coil (receiving coil), 15 Signal amplifier, 16 ... Quadrature phase detector, 17 ... A / D converter, 18 ... Magnetic disk, 19 ... Optical disk, 20 ... Display, 51 ... Marker fixed to object, 80 ... Imaging device, 81 ... Indicator, 82 ... Position detection 90 ... processing device 91 ... imaging data storage unit 92 ... position detection processing unit 93 ... tomographic image reconstruction unit 94 ... volume rendering processing unit 95 ... display processing unit 100 ... display device 110 ... tomography Image TRS, 20 ... tomographic image SAG, 130 ... tomographic image COR, 140 ... tomographic image display parameters, 150 ... nerve fibers image, 160 ... nerve fibers image display parameters

Claims (2)

被検体の解剖学的画像と神経繊維の走行状態を描出する神経繊維画像をそれぞれ計測する計測手段と、前記解剖学的画像と前記神経繊維画像を表示する表示手段と、前記被検体を指示するための指示器と、前記指示器の指示点及び指示方向を検出する検出器とを備えた磁気共鳴イメージング装置において、
前記表示手段は、検出された前記指示点及び指示方向を前記解剖学的画像と前記神経線維画像上に表示することを特徴とする磁気共鳴イメージング装置。
Measuring means for measuring an anatomical image of the subject and a nerve fiber image depicting the running state of nerve fibers, a display means for displaying the anatomical image and the nerve fiber image, and indicating the subject In a magnetic resonance imaging apparatus, comprising: an indicator for detecting, and a detector for detecting an indication point and an indication direction of the indicator,
The display means displays the detected pointing point and pointing direction on the anatomical image and the nerve fiber image.
請求項1に記載の磁気共鳴イメージング装置において、前記計測手段は、前記神経繊維画像をマルチスライスで複数回撮影する場合に、異なる撮影間でスライス厚の一部がオーバーラップする様にスライス位置をずらすことを特徴とする磁気共鳴イメージング装置。   2. The magnetic resonance imaging apparatus according to claim 1, wherein when the nerve fiber image is imaged a plurality of times by multi-slice, the measurement unit sets the slice position so that a part of the slice thickness overlaps between different imaging operations. A magnetic resonance imaging apparatus characterized by shifting.
JP2004070008A 2004-02-10 2004-03-12 Magnetic resonance imaging system Expired - Fee Related JP4532139B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004070008A JP4532139B2 (en) 2004-02-10 2004-03-12 Magnetic resonance imaging system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2004033027 2004-02-10
JP2004070008A JP4532139B2 (en) 2004-02-10 2004-03-12 Magnetic resonance imaging system

Publications (3)

Publication Number Publication Date
JP2005253706A true JP2005253706A (en) 2005-09-22
JP2005253706A5 JP2005253706A5 (en) 2007-04-19
JP4532139B2 JP4532139B2 (en) 2010-08-25

Family

ID=35080020

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004070008A Expired - Fee Related JP4532139B2 (en) 2004-02-10 2004-03-12 Magnetic resonance imaging system

Country Status (1)

Country Link
JP (1) JP4532139B2 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012030051A (en) * 2010-07-02 2012-02-16 Toshiba Corp Magnetic resonance imaging apparatus and magnetic resonance imaging method
US8315954B2 (en) 2005-10-25 2012-11-20 Sony Corporation Device, method, and program for high level feature extraction
JP2016073710A (en) * 2010-07-02 2016-05-12 株式会社東芝 Magnetic resonance imaging apparatus

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07371A (en) * 1992-10-14 1995-01-06 Ge Yokogawa Medical Syst Ltd Neural path imaging method and mri system therefor
JPH07289532A (en) * 1994-04-22 1995-11-07 Hitachi Ltd Inspecting system using nuclear magnetic resonance
JPH11299782A (en) * 1998-04-24 1999-11-02 Toshiba Iyo System Engineering Kk Medical image processor
JP2002058658A (en) * 2000-06-05 2002-02-26 Toshiba Corp Magnetic resonance imaging device for interventional mri, and preparation method thereof
JP2002360538A (en) * 2001-06-08 2002-12-17 Hitachi Ltd Picture display device
JP2003079637A (en) * 2001-09-13 2003-03-18 Hitachi Medical Corp Operation navigating system
JP2003088508A (en) * 2001-09-18 2003-03-25 Hitachi Medical Corp Operation support system
JP2003190117A (en) * 2001-12-25 2003-07-08 Hitachi Medical Corp Medical operation support system

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07371A (en) * 1992-10-14 1995-01-06 Ge Yokogawa Medical Syst Ltd Neural path imaging method and mri system therefor
JPH07289532A (en) * 1994-04-22 1995-11-07 Hitachi Ltd Inspecting system using nuclear magnetic resonance
JPH11299782A (en) * 1998-04-24 1999-11-02 Toshiba Iyo System Engineering Kk Medical image processor
JP2002058658A (en) * 2000-06-05 2002-02-26 Toshiba Corp Magnetic resonance imaging device for interventional mri, and preparation method thereof
JP2002360538A (en) * 2001-06-08 2002-12-17 Hitachi Ltd Picture display device
JP2003079637A (en) * 2001-09-13 2003-03-18 Hitachi Medical Corp Operation navigating system
JP2003088508A (en) * 2001-09-18 2003-03-25 Hitachi Medical Corp Operation support system
JP2003190117A (en) * 2001-12-25 2003-07-08 Hitachi Medical Corp Medical operation support system

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8315954B2 (en) 2005-10-25 2012-11-20 Sony Corporation Device, method, and program for high level feature extraction
JP2012030051A (en) * 2010-07-02 2012-02-16 Toshiba Corp Magnetic resonance imaging apparatus and magnetic resonance imaging method
JP2016073710A (en) * 2010-07-02 2016-05-12 株式会社東芝 Magnetic resonance imaging apparatus

Also Published As

Publication number Publication date
JP4532139B2 (en) 2010-08-25

Similar Documents

Publication Publication Date Title
JP5992978B2 (en) Magnetic resonance imaging system for interventional MRI
US7653426B2 (en) Endoscopic image pickup method and magnetic resonance imaging device using the same
US7259559B2 (en) Coil element selection method and magnetic resonance imaging apparatus
JP2011143055A (en) Medical image diagnostic apparatus and medical image display apparatus
JP4939700B2 (en) Magnetic resonance imaging system for interventional MRI
JPWO2002022012A1 (en) Magnetic resonance imaging system
US20140132268A1 (en) Magnetic resonance imaging apparatus and imaging position setting assissting method
JP2006340774A (en) Sergery navigation system with nerve monitoring function
JP2004008398A (en) Medical image diagnostic apparatus
JP4532139B2 (en) Magnetic resonance imaging system
JP3817383B2 (en) MRI equipment
JP2010051615A (en) Magnetic resonance imaging apparatus
JP2006280921A (en) Magnetic resonance imaging apparatus
JP2014204907A (en) Magnetic resonance imaging device, image processor and image processing program
JP3971268B2 (en) Magnetic resonance imaging system
JP5638192B2 (en) Magnetic resonance imaging system
JP2004141269A (en) Magnetic resonance imaging apparatus
JP5492033B2 (en) Nuclear magnetic resonance imaging apparatus and surface coil selection method
JP4074513B2 (en) Magnetic resonance imaging system
JP2614726B2 (en) Nuclear magnetic resonance imaging equipment
JP5484272B2 (en) Magnetic resonance imaging apparatus and receiving coil connection state confirmation method
KR20180086795A (en) Medical imaging apparatus and method of processing medical image
JP2010172473A (en) Nuclear magnetic resonance imaging apparatus and operating method for nuclear magnetic resonance imaging apparatus
JP2005312698A (en) Nuclear magnetic resonance imaging apparatus
JP4118119B2 (en) Magnetic resonance imaging system

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070216

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070216

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090202

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100223

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100402

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100607

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100610

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130618

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees