Nothing Special   »   [go: up one dir, main page]

JP2013154037A - 手術支援装置、手術支援方法および手術支援プログラム - Google Patents

手術支援装置、手術支援方法および手術支援プログラム Download PDF

Info

Publication number
JP2013154037A
JP2013154037A JP2012018149A JP2012018149A JP2013154037A JP 2013154037 A JP2013154037 A JP 2013154037A JP 2012018149 A JP2012018149 A JP 2012018149A JP 2012018149 A JP2012018149 A JP 2012018149A JP 2013154037 A JP2013154037 A JP 2013154037A
Authority
JP
Japan
Prior art keywords
region
excision
ablation
area
abnormal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012018149A
Other languages
English (en)
Other versions
JP5797124B2 (ja
Inventor
Futoshi Sakuragi
太 櫻木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2012018149A priority Critical patent/JP5797124B2/ja
Priority to EP13743153.2A priority patent/EP2810598B1/en
Priority to PCT/JP2013/000322 priority patent/WO2013114823A1/ja
Publication of JP2013154037A publication Critical patent/JP2013154037A/ja
Priority to US14/446,572 priority patent/US10111713B2/en
Application granted granted Critical
Publication of JP5797124B2 publication Critical patent/JP5797124B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods
    • A61B17/32—Surgical cutting instruments
    • A61B17/3205—Excision instruments
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus, e.g. for MRI, optical tomography or impedance tomography apparatus; Arrangements of imaging apparatus in a room
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7475—User input or interface means, e.g. keyboard, pointing device, joystick
    • A61B5/748—Selection of a region of interest, e.g. using a graphics tablet
    • A61B5/7485—Automatic selection of region of interest
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/102—Modelling of surgical devices, implants or prosthesis
    • A61B2034/104—Modelling the effect of the tool, e.g. the effect of an implanted prosthesis or for predicting the effect of ablation or burring
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Measuring devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor or mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor or mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor or mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/42—Detecting, measuring or recording for evaluating the gastrointestinal, the endocrine or the exocrine systems
    • A61B5/4222—Evaluating particular parts, e.g. particular organs
    • A61B5/4244—Evaluating particular parts, e.g. particular organs liver
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30056—Liver; Hepatic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Software Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Dentistry (AREA)
  • Physiology (AREA)
  • Robotics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

【課題】臓器おける異常領域を含む切除領域を提示する手術支援装置において、臓器における異常領域の位置や対象臓器とその周辺臓器との位置関係も考慮したより適切な切除方法を提示する。
【解決手段】被検体の３次元医用画像を取得する医用画像取得手段１１と、医用画像取得手段１１によって取得された３次元医用画像から対象組織の領域を抽出する対象組織領域抽出手段１２と、対象組織領域抽出手段１２によって抽出された対象組織領域から異常領域を抽出する異常領域抽出手段１３と、複数の切除領域決定条件に基づいて、異常領域に対して各切除領域決定条件を満たす切除領域を設定した複数の切除方法を取得する切除方法取得手段１６と、切除方法取得手段によって取得された複数の切除方法を提示する切除方法提示手段１７とを備える。
【選択図】図１

Description

本発明は、肝臓・肺などの臓器の手術において、その臓器おける異常領域を含む切除領域を提示する手術支援装置、方法及びプログラムに関するものである。
肝臓・肺などの臓器における異常領域を切除する手術を行う場合、手術前に、たとえばＣＴ検査（Computed Tomography）やＭＲＩ（Magnetic Resonance Imaging）検査を行うことによって対象臓器の形態を表す３次元医用画像を取得し、その３次元医用画像に基づいて切除領域を予め決めておくことが行われている。
３次元医用画像に基づいて切除領域を決定する方法としては、たとえば３次元医用画像から血管や気管支を抽出し、これらの領域のうちの異常領域に関連する一部の領域が臓器に対し酸素や栄養分を供給する領域を支配領域として抽出し、この支配領域を切除領域として決定する方法が提案されている。
一方、対象臓器の表面付近にある異常領域については、血管や気管支を損傷しないように、くりぬくように部分切除をする手術手技が提案されており（たとえば非特許文献１参照）、特許文献１には、肝臓の病変領域と肝臓を走行する複数の脈管に基づいて、病変領域の中心または重心から外側に向かって複数の脈管のいずれかに接するまで球状に領域を拡張し、その拡張した球状の領域に接する略円錐領域を切除領域として決定する方法が提案されている。
特許第４１９３２０１号
Makuuchi, M.、Kosuge, T.、Takayama, T、et al. "Surgery for amall liver cancers. "Smein. Surg. Oncol.、9・4、298-304、1993.
ここで、切除領域は、手術による患者負担および手術時間を低減できるように適切に決定されることが好ましい。たとえば、切除領域は、手術による患者負担および手術時間の低減のために切除領域の切断面の表面積ができるだけ小さいことが好ましく、患者の健康な臓器をできるだけ多く残せるよう切除領域の体積ができるだけ小さいことが好ましい。
このような観点から、たとえば切除領域の切断面の表面積が最小となるような切除領域を設定して１つの切除方法を決定したり、もしくは切除領域の体積が最小となるような切除領域を設定して１つの切除方法を決定したりすることが考えられる。
しかしながら、このように１つの特定の条件を満たすように１つの切除方法を決定するようにしたのでは、実際に手術を行う場合には、たとえば異常領域が背中側に存在する場合など、対象臓器における異常領域の位置や対象臓器とその周辺臓器との位置関係から、上記のようにして決定した切除方法では切除が困難な場合がある。
本発明は、上記事情に鑑み、対象臓器における異常領域の位置や対象臓器とその周辺臓器との位置関係も考慮したより適切な切除方法を提示することができる手術支援装置、方法およびプログラムを提供することを目的とするものである。
本発明の手術支援装置は、被検体の３次元医用画像を取得する医用画像取得手段と、医用画像取得手段によって取得された３次元医用画像から対象組織の領域を抽出する対象組織領域抽出手段と、対象組織領域抽出手段によって抽出された対象組織領域から異常領域を抽出する異常領域抽出手段と、複数の切除領域決定条件に基づいて、異常領域に対して各切除領域決定条件を満たす切除領域を設定した複数の切除方法を取得する切除方法取得手段と、切除方法取得手段によって取得された複数の切除方法を提示する切除方法提示手段とを備えたことを特徴とする。
また、上記本発明の手術支援装置においては、異常領域抽出手段によって抽出された異常領域を内包する最小の内包体を設定し、その設定した内包体と対象組織の表面上の点とを含む領域を部分切除領域として抽出する部分切除領域抽出手段と、３次元医用画像から管状構造の領域を抽出し、異常領域に関連する管状構造の領域の一部と異常領域とを含む領域を支配領域として抽出する支配領域抽出手段とをさらに設け、切除方法取得手段を、部分切除領域と支配領域のいずれかを異常領域に対して設定して切除方法を取得するものとできる。
また、部分切除領域か支配領域のいずれかを設定するための切除領域決定条件を、異常領域と対象組織の表面との距離とすることができる。
また、複数の切除領域決定条件の１つを、切除領域の体積とすることができる。
また、複数の切除領域決定条件の１つを、切除領域の切断面の表面積とすることができる。
また、切除方法取得手段を、上記取得した切除方法の修正指示を受け付けるものとし、切除方法提示手段を、上記修正指示に基づいた修正後の切除方法を提示するものとできる。
また、切除方法取得手段を、上記取得した複数の切除方法のうちの１つの切除方法における所定の切除領域の他の切除方法への移動指示を受け付けるものとし、切除方法提示手段を、移動指示に基づいて所定の切除領域を移動した後の切除方法を提示するものとできる。
また、切除方法取得手段を、各切除領域決定条件に対応する評価値を取得するものとし、切除方法提示手段を、切除方法取得手段によって取得された評価値を提示するものとできる。
また、切除方法提示手段を、各切除領域決定条件に対応する切除方法と評価値とを対応付けたリストを提示するものとできる。
また、医用画像取得手段を、３次元医用画像として３次元機能画像を取得するものとし、切除方法取得部を、３次元機能画像における機能レベルに基づく切除領域決定条件に基づいて、複数の切除方法のうちの１つを取得するものとできる。
また、対象組織を肝臓や肺とすることができる。
本発明の手術支援方法は、被検体の３次元医用画像を取得し、その取得した３次元医用画像から対象組織の領域を抽出し、その抽出した対象組織領域から異常領域を抽出し、複数の切除領域決定条件に基づいて、異常領域に対して各切除領域決定条件を満たす切除領域を設定した複数の切除方法を取得し、その取得した複数の切除方法を提示することを特徴とする。
本発明の手術支援プログラムは、コンピュータを、被検体の３次元医用画像を取得する医用画像取得手段と、医用画像取得手段によって取得された３次元医用画像から対象組織の領域を抽出する対象領域抽出手段と、対象組織抽出手段によって抽出された対象組織領域から異常領域を抽出する異常領域抽出手段と、複数の切除領域決定条件に基づいて、異常領域に対して各切除領域決定条件を満たす切除領域を設定した複数の切除方法を取得する切除方法取得手段と、切除方法取得手段によって取得された複数の切除方法を提示する切除方法提示手段として機能させることを特徴とする。
本発明の手術支援装置、方法およびプログラムによれば、複数の切除領域決定条件に基づいて、異常領域に対して各切除領域決定条件を満たす切除領域を設定した複数の切除方法を取得し、その取得した複数の切除方法を提示するようにしたので、その提示された複数の切除方法の中から、対象臓器における異常領域の位置や対象臓器とその周辺臓器との位置関係も考慮したより適切な切除方法を医師が選択することができる。
また、上記本発明の手術支援装置、方法およびプログラムにおいて、上記のようにして取得した切除方法の修正指示を受け付けるようにし、その修正指示に基づいた修正後の切除方法をさらに提示できるようにした場合には、医師による切除方法の選択肢をより拡張することでき、より適切な切除方法を決定することができる。
また、上記のようにして取得した複数の切除方法のうちの１つの切除方法における所定の切除領域の他の切除方法への移動指示を受け付けるようにし、その移動指示に基づいて所定の切除領域を移動した後の切除方法を提示するようにした場合には、簡易な方法で切除方法の修正を行うことができる。
また、各切除領域決定条件に対応する評価値を取得し、その取得した評価値を提示するようにした場合には、医師がどの切除方法が最適であるかを判断する際の判断材料の１つを提示することができる。また、医師はこの評価値を参照することによって、現在決定されている切除方法に対する修正の有無を判断することができる。
また、３次元医用画像として３次元機能画像を取得し、その３次元機能画像における機能レベルに基づく切除領域決定条件に基づいて、複数の切除方法のうちの１つを取得するようにした場合には、機能レベルも考慮した切除方法を提示することができ、医師による切除方法の選択肢をより拡張することでき、より適切な切除方法を決定することができる。
本発明の手術支援装置の一実施形態を用いた手術支援システムの概略構成を示すブロック図 異常領域に基づいて設定された内包体の一例を示す図 部分切除領域の一例を示す図 支配領域の設定方法の一例を説明するための図 複数の切除方法の表示の一例を示す図 本発明の手術支援装置の一実施形態を用いた手術支援システムの作用を説明するためのフローチャート 切除方法の修正方法の一例を説明するための図 複数の切除方法の表示のその他の例を示す図 切除方法と評価値を対応付けたリストの一例を示す図 所定の切除方法における各切除領域と評価値とを対応付けたリストの一例を示す図 切除方法と、各切除方法における各切除領域と、評価値とを対応付けたリストの一例を示す図 内包体のその他の設定方法を説明するための図 ３次元機能画像に基づいて支配領域を決定する方法の一例を説明するための図
以下、本発明の手術支援装置、手術支援プログラムおよび手術支援方法の一実施形態について、図面を参照しながら詳細に説明する。図１は、本実施形態の手術支援装置の一実施形態を備えた手術支援システムの概略構成を示す図である。本実施形態の手術支援システムは、図１に示すように、手術支援装置１と記憶装置２とディスプレイ３とを備えている。
手術支援装置１は、一台のコンピュータに、本発明の手術支援プログラムの一実施形態をインストールしたものである。コンピュータは、診断を行う医師が直接操作するワークステーションやパソコンでもよいし、またはそれらとネットワークを介して接続されるサーバコンピュータでもよい。手術支援プログラムは、ＤＶＤ，ＣＤ−ＲＯＭ等の記録媒体や、ネットワークに接続された外部からアクセス可能なサーバコンピュータのなどに記憶されるものであり、医師からの要求に応じて、上記記録媒体やサーバコンピュータから読み出されてコンピュータにダウンロードされてインストールされる。
そして、手術支援装置１は、中央処理装置（ＣＰＵ）および半導体メモリや、上述した手術支援プログラムがインストールされたハードディスクやＳＳＤ(Solid State Drive)等のストレージデバイスなどを備えており、これらのハードウェアによって、図１に示すような医用画像取得部１１（医用画像取得手段）、対象組織領域抽出部１２（対象組織領域抽出手段）、異常領域抽出部１３（異常領域抽出手段）、部分切除領域抽出部１４（部分切除領域抽出手段）、支配領域抽出部１５（支配領域抽出手段）、切除方法取得部１６（切除方法取得手段）および表示制御部１７（切除方法提示手段）が構成されている。そして、ハードディスクにインストールされた手術支援プログラムが中央処理装置によって実行されることによって上記各部がそれぞれ機能する。また、手術支援装置１には、ディスプレイ３と、マウス等の入力装置４が接続されている。
医用画像取得部１１は、切除すべき患部（異常領域）を含む対象組織を表す医用画像を取得するものである。本実施形態の医用画像取得部１１は、ＣＴ検査やＭＲＩ検査において被検体の肝臓を撮影した３次元形態画像７や、ＰＥＴ（Positron Emission Tomography）検査やＳＰＥＣＴ（Single Photon Emission Computed Tomography）検査において被検体の肝臓を撮影した３次元機能画像８を医用画像として取得するものである。なお、３次元形態画像７や３次元機能画像８は、予め撮影されて記憶装置２に記憶されるものである。
対象組織領域抽出部１２は、医用画像取得部１１によって取得された３次元形態画像７が入力され、その３次元形態画像７から対象組織領域である肝臓領域を抽出するものである。本実施形態の対象組織領域抽出部１２は、３次元形態画像７を構成する各ボクセルデータの値について、肝臓の輪郭らしさを表す特徴量を算出し、その算出した特徴量を機械学習により予め取得された評価関数に基づいて評価することで、そのボクセルデータが肝臓の輪郭を表すものであるか否かを判断する。この判断を繰り返すことにより、肝臓全体の輪郭を表すボクセルデータが抽出される。本実施形態では、上記評価関数の取得にアダブーストアルゴリズムを用いている。なお、肝臓領域の抽出方法としては、その他にも種々の周知の方法を用いることができ、たとえばマシンラーニング法、統計解析法、線形判別法、ニューラルネットワーク、サポートベクターマシン等を用いるようにしてもよい。
なお、対象組織領域抽出部１２によって抽出された肝臓領域をディスプレイ３に表示させ、ユーザによって入力装置４を用いて肝臓領域を修正可能な構成としてもよい。
異常領域抽出部１３は、対象組織領域抽出部１２によって抽出された臓器領域が入力され、その臓器領域から異常陰影等の肝臓の異常領域を抽出するものである。異常領域の抽出方法としては、たとえば３次元形態画像７をディスプレイに表示させ、ユーザのマウス等による領域の指定を受け付け、その受け付けた領域を異常領域として抽出するようにしてもよいし、自動的に抽出するようにしてもよい。
自動的に異常領域を抽出する方法としては周知の種々の方法を適用することができ、具体的には、特開２００３−２２５２３１号公報、特開２００３−２７１９２４号公報、および“久保田等，「ヘリカルCT像を用いた肺がん計算機診断支援システムの評価」，電子情報通信学会，信学技報，pp.41-46，MI2001-41(2001-09)”に示される肺がんを検出する方法や、“脇田等，「びまん性肺疾患の知的CAD」，文部科学省科学研究費補助金特定領域研究"多次元医用画像の知的診断支援"，第４回シンポジウム論文集，pp. 45-54，２００７”に示されるコンソリデーション、Ground-Glass Opacity(GGO)、Crazy-Paving、蜂巣状陰影、肺気腫陰影、粒状影等のびまん性肺疾患の検出方法や、“脇田等，「多時相腹部Ｘ線ＣＴ像の時相間濃度特徴計測に基づく肝臓がん検出」，コンピュータ支援画像診断学会論文誌，Vol.10，No.1，Mar 2007”にされる肝臓がんの検出方法や、“「正常構造の理解に基づく知的CAD」，文部科学省科学研究費補助金特定領域研究"多次元医用画像の知的診断支援"，第４回シンポジウム論文集pp.55-60，２００７”に示される肝細胞がん、肝のう胞、肝血管種、肝臓領域における出血を検出する方法などを用いることができる。
なお、異常領域抽出部１３によって自動的に抽出された異常領域をディスプレイ３に表示させ、ユーザによって入力装置４を用いて異常領域を修正可能な構成としてもよい。
部分切除領域抽出部１４は、異常領域抽出部１３によって抽出された異常領域が入力され、その異常領域に基づいて部分切除領域を抽出するものである。具体的には、部分切除領域抽出部１４は、まず、異常領域を内包する最小の内包体を設定する。図２は、部分切除領域抽出部１４によって異常領域５１に基づいて設定された内包体５２の一例を示す図である。本実施形態においては、図２に示すように、異常領域５１を内包する最小の半径を有する外接球を周知の方法により算出し、その算出された球体を内包体５２として設定する。また、その設定した内包体５２の中心５２ａの座標と半径ｒがメモリに記憶される。
次に、部分切除領域抽出部１４は、内包体５２に外接する回転放物面の内側に属する領域を部分切除領域５４として抽出する。図３は、部分切除領域抽出部１４によって抽出された部分切除領域５４の一例を示す図である。本実施形態においては、図３に示すように、内包体５２である球体を内包する回転放物面５３を算出し、この回転放物面の内側に属する領域を部分切除領域５４として抽出する。
また、部分切除領域抽出部１４は、内包体５２に外接する回転放物面５３を複数算出し、その各回転放物面の内側に属する領域であって、体積が最小になる領域と切断面の表面積が最小になる領域とを部分切除領域５４としてそれぞれ算出する。ここでは、内包体５２に外接する複数の回転放物面を、下式（１）の定数ａを変化させることにより複数算出し、それぞれの回転放物面ごとに回転放物面の内側に属する領域の体積と表面積を算出する。そして、その算出された複数の回転放物面５３の内側に属する領域の体積が最小になる部分切除領域５４と、切断面の表面積が最小になる部分切除領域５４とを算出する。また、その決定した部分切除領域５４に対応する回転放物面の軸５３ａや、その軸５３ａと対象組織表面との交点５３ｂなどの回転放物面を特定するデータをメモリに記憶する。なお、式（１）においては、内包体５２である球体の中心５２ａを回転放物面の原点とし、内包体である球の半径をｒとし、原点である内包体５２の中心５２ａから対象組織表面に向かう方向をｙ軸正方向とする。
Figure 2013154037
また、本実施形態においては、内包体５２に外接する回転放物面５３の内側に属する領域を部分切除領域５４としたが、これに限らず、たとえば内包体５２に外接する回転楕円放物面の内側に属する領域や、内包体５２に外接する円錐面５３Ａ（図３参照）の内側に属する領域を部分切除領域としてもよい。
なお、部分切除領域抽出部１４によって自動的に抽出された部分切除領域をディスプレイ３に表示させ、ユーザによって入力装置４を用いて部分切除領域を修正可能な構成としてもよい。
支配領域抽出部１５は、対象組織領域抽出部１２によって抽出された臓器領域が入力されるとともに、異常領域抽出部１３によって抽出された異常領域が入力され、臓器領域から管状構造の領域を抽出し、上記異常領域に関連する上記管状構造の領域の一部を含む領域を支配領域として抽出するものである。
支配領域抽出部１５は、まず、図４に示すような入力された肝臓領域５に対して血管領域抽出処理および木構造検出処理を施す。具体的には、肝臓領域５内の局所領域ごとに、３×３のヘシアン（Hessian）行列の固有値を算出することにより線状構造の探索を行う。線状構造が含まれる領域では、ヘシアン行列の３つの固有値のうち１つは０に近い値となり、他の２つは相対的に大きな値となる。また、値が０に近い固有値に対応する固有ベクトルは、線状構造の主軸方向を示すものとなる。支配領域抽出部１５は、この関係を利用して、局所領域ごとに、ヘシアン行列の固有値に基づいて線状構造らしさを判定し、線状構造が識別された局所領域については、その中心点を候補点として検出する。
そして、探索により検出された候補点を、所定のアルゴリズムに基づいて連結する。これにより、候補点および候補点同士を連結する血管枝（エッジ）からなる木構造が構築される。検出された複数の候補点の座標情報や、血管枝の方向を示すベクトル情報は、候補点や血管枝の識別子とともにメモリに記憶される。続いて、検出された候補点ごとに、周辺のボクセルの値（ＣＴ値）に基づき、血管経路に垂直な断面において、血管の輪郭（血管の外壁）を識別する。形状の識別は、Graph-Cutsに代表される公知のセグメンテーション手法を用いて行う。以上の処理により、図４に示すような管状構造である血管領域６が抽出され、その抽出された血管領域６の特定に必要な情報が生成され、メモリに記憶される。
そして、支配領域抽出部１５は、図４に示すように、異常領域に関連する血管領域６の一部の領域５５と、異常領域５１とを含む臓器部分を支配領域５６として抽出する。具体的には、支配領域抽出部１５は、まず、異常領域に関連する血管領域６の一部の領域５５を設定する。一部の領域５５の設定方法としては、周知の種々の方法を採用することができるが、本実施形態では、ディスプレイに血管領域６を表示し、マウス等の入力装置によりユーザの操作による血管上の位置５５ａの指定を受け付け、その受け付けた指定位置５５ａから異常領域の方向に延びる領域を一部の領域５５として設定する。なお、血管領域６の一部の領域５５は、特開２００１−２８３１９１号公報に記載されているような周知の技術によって自動的に設定してもよい。
そして、支配領域抽出部１５は、上記ようにして設定した異常領域に関連する血管領域６の一部の領域５５に基づいて支配領域５６を決定する。支配領域の具体的な決定方法としては、たとえば対象組織が肝臓である場合には、肝臓領域内の血管を抽出し、ボロノイ図（Voronoi diagram）を用いて、肝臓領域内の血管以外の領域（肝臓実質等）がどの血管の支配領域に属するかを特定することによって、各血管の支配領域を肝区域として特定する方法（特開２００３−０３３３４９号公報や、“R Beichel et al.、“Liver segment approximation in CT data for surgical resection planning”、Medical Imaging 2004: Image Processing. Edited by Fitzpatrick, J. Michael; Sonka, Milan、2004年、Proceedings of the SPIE, Volume 5370, pp. 1435-1446”など参照）などを用いて支配領域を取得することができる。
また、たとえば対象組織が肺である場合には、次の方法を適用して支配領域を決定できる。まず、領域拡張法により気管支領域内の画素の集合を抽出し、抽出された気管支領域に対して細線化処理を行い、得られた気管支を表す細線の連結関係に基づいて細線上の各画素を端点・エッジ（辺）・分岐点に分類することによって、気管支を表す木構造データを得る（詳細については、“小林 大祐、他5名、「血管形状記述のための枝ベース木構造モデル構築の試み」、[online]、2005年3月9日、理化学研究所、理研シンポジウム 生体形状情報の数値化及びデータベース構築研究、pp.84-92、［2010年1月6日検索］”、インターネット〈URL：http://www.comp-bio.riken.jp/keijyo/products/2005_1_files/kobayashi_print.pdf〉、“中村 翔、他4名、「木構造解析による胸部X線CT像からの肺動脈・肺静脈の自動分類」、電子情報通信学会技術研究報告. MI, 医用画像、日本、社団法人電子情報通信学会、2006年1月21日、Vol.105, No.580、pp.105-108、［2009年11月20日検索］”、インターネット〈URL：http://www.murase.nuie.nagoya-u.ac.jp/~ide/res/paper/J05-kenkyukai-snaka-1.pdf〉等参照）。そして、得られた気管支構造を母点集合として３次元ボロノイ分割を行い、肺野領域内の各画素が気管支構造を構成する気管支のうちのどの気管支に最も近いか、すなわち、肺野領域内の各画素がどの気管支に支配されているかを求め、同じ気管支に支配されている領域をその気管支の支配領域に決定できる（詳細については、“平野 靖、他5名、「３次元ボロノイ分割を用いた胸部ＣＴ像における肺葉収縮の定量化と腫瘤影鑑別への応用」、［online］、2001年7月、日本医用画像工学会第20回大会講演論文集、pp.315-316、［2009年11月20日検索］”、インターネット〈URL：http://mase.itc.nagoya-u.ac.jp/~hirano/Papers/JAMIT2001.pdf〉等参照）。また、他の例として、肺野を抽出する技術について、特開２００１−１３７２３０号、特開２００８−２５３２９３号、肝臓を抽出する技術について特開２００１−２８３１９１号、特開２００２−３４５８０７号に記載された技術が適用できる。
なお、支配領域を抽出できる方法であれば、他の種々の周知の方法を用いることができる。
また、支配領域抽出部１５によって自動的に抽出された血管領域６や支配領域５６をディスプレイ３に表示させ、ユーザによって入力装置４を用いてこれらを修正可能な構成としてもよい。
切除方法取得部１６は、予め設定された複数の切除領域決定条件に基づいて、異常領域に対して各切除領域決定条件を満たす切除領域を設定した複数の切除方法を取得するものである。切除領域決定条件は、各異常領域に対する切除領域を決定する際に用いられる条件であり、たとえば、各異常領域に対して設定された切除領域の体積の総和が最も小さくなるという条件や、各異常領域に対して設定された切除領域の切断面の表面積の総和が最も小さくなるという条件などがある。
そして、切除方法取得部１６においては、上述した切除領域決定条件を満たすように各異常領域に対して切除領域を設定することによって切除方法の１つが取得される。
具体的には、たとえば切除領域決定条件が、切除領域の体積の総和が最小となるという条件である場合には、各異常領域に対して上述した部分切除領域や支配領域を仮に設定して切除方法候補を複数求め、その各切除方法候補について切除領域の体積の総和を算出し、その切除領域の体積の総和が最も小さくなる切除方法候補を切除領域決定条件を満たす切除方法として取得する。なお、このとき異常領域に対して仮設定される部分切除領域は、上述した体積が最小となる部分切除領域を用いるようにすればよい。
また、たとえば切除領域決定条件が、切除領域の切断面の表面積の総和が最小となるという条件である場合にも、上記と同様に、各異常領域に対して部分切除領域や支配領域を仮に設定して切除方法候補を複数求め、その各切除方法候補について切除領域の切断面の表面積の総和を算出し、その切除領域の切断面の表面積の総和が最も小さくなる切除方法候補を切除領域決定条件を満たす切除方法として取得する。なお、このとき異常領域に対して仮設定される部分切除領域は、上述した切断面の表面積が最小となる部分切除領域を用いるようにすればよい。
また、切除領域決定条件は、ユーザによって入力装置４を用いて任意に入力設定可能なものであり、上記のような体積や切断面の表面積の条件の他にも、たとえば異常領域の肝臓の表面からの距離を用いるようにしてもよい。切除領域決定条件の１つのとして、異常領域の肝臓の表面からの距離を用いる場合には、たとえば異常領域の肝臓表面からの距離が所定の閾値以下である場合には、その異常領域に対しては上述した部分切除領域を設定し、異常領域の肝臓表面からの距離が所定の閾値より大きい場合には、上述した支配領域を設定することによって切除方法の１つを取得するようにすればよい。また、上記距離とともに、異常領域の体積や半径などの条件も含めて部分切除領域か支配領域かを設定するようにしてもよい。
なお、異常領域から肝臓表面までの距離は、たとえば肝臓表面上の点と異常領域の重心との距離を算出することによって取得すればよく、肝臓表面上の点としては、異常領域の重心と肝臓表面との距離が最短となるような点を採用するようにしてもよいし、ユーザが入力装置４を用いて入力して指定または修正した点を受け付けるようにしてもよい。
また、切除領域決定条件の１つのとして、たとえば切除領域の切断面の曲率が最も小さくなるという条件を用いるようにしてもよい。具体的には、異常領域に対して部分切除領域や支配領域を仮に設定してそれぞれの切断面の曲率を算出し、より曲率が小さい方の切除領域をその異常領域に対して設定することによって切除方法の１つを取得するようにすればよい。切除領域の曲率の算出方法としては、たとえば、切除領域の全体に亘って設定された複数の点についてそれぞれ曲率を算出し、その複数の曲率の平均値または中央値をその切除領域の曲率として求めるようにしてもよいし、複数の曲率の最大値をその切除領域の曲率として求めるようにしてもよい。
そして、切除方法取得部１６によって取得された複数の切除方法は表示制御部１７に出力される。
表示制御部１７は、肝臓の３次元形態画像７上に、切除方法取得部１６によって取得された各切除方法を表す画像を重ねたものをディスプレイ３に表示させるものである。切除方法を表す画像としては、たとえば切除領域を色付けた画像としたり、半透明な画像としたりして、その切除領域以外の領域と識別可能な画像を生成するようにすればよい。また、異常領域５１、内包体５２、血管領域６、一部の血管領域５５などについても、たとえば色分け表示するなど識別可能にディスプレイ３に表示するようにしてもよい。
図５は、表示制御部１７によってディスプレイ３に表示される切除方法の一例を示したものである。図５は、各異常領域に対して設定された切除領域の体積の総和が最も小さくなるという条件に基づいて取得された切除方法１と、各異常領域に対して設定された切除領域の切断面の表面積の総和が最も小さくなるという条件に基づいて取得された切除方法２とを示すものである。
具体的には、切除方法１は、切除領域決定条件が切除領域の体積の総和が最小となるという条件である場合に、異常領域５１ａに対して切除領域として支配領域が設定され、異常領域５１ｂに対して切除領域として部分切除領域が設定された場合の切除方法を示すものである。また、切除方法２は、切除領域決定条件が切除領域の切断面の表面積の総和が最小となるという条件である場合に、異常領域５１ａに対して切除領域として部分切除領域が設定され、異常領域５１ｂに対して切除領域として支配領域が設定された場合の切除方法を示すものである。なお、図５は複数の切除方法の表示形態の一例を示すためのものであり、図５に示される切除領域の体積や表面積は正確なものを示すものではない。
図５は、複数の切除方法の一例を示すものであって、異常領域の位置によっては、たとえば一方の異常領域５１ａに対して切除領域として部分切除領域が設定され、他方の異常領域５１ｂに対して切除領域として支配領域が設定された切除方法となる場合もあるし、または、異常領域５１ａと異常領域５１ｂの両方に対して部分切除領域が設定された切除方法となる場合や、異常領域５１ａと異常領域５１ｂの両方に対して支配領域が設定された切除方法となる場合もある。
記憶装置２には、３次元形態画像７として、ＣＴ装置やＭＲＩ装置から出力されたスライスデータに基づいて再構成されたボリュームデータや、ＭＳ（Multi Slice）ＣＴ装置やコーンビームＣＴ装置から出力されたボリュームデータ等が記憶されている。
また、記憶装置２には、３次元機能画像８として、ＳＰＥＣＴ装置から出力されたＳＰＥＣＴ画像、ＭＳＣＴ装置等から出力されたボリュームデータを解析することにより生成された機能画像等が記憶されている。
図６は、本実施形態の手術支援システムの作用を説明するためのフローチャートである。以下、このフローチャートを参照しながら説明する。
まず、本実施形態の手術支援システムにおいては、ディスプレイ３に選択メニューが表示され、その選択メニューにおいて本実施形態による手術支援機能が選択されたことが検出されると、被検体のＩＤの一覧がディスプレイ３に表示される。そして、そのディスプレイ３に表示された被検体のＩＤの一覧の中から手術対象である被検体のＩＤが選択され、手術支援装置１によってユーザによる選択操作が検出されると、手術支援装置１の医用画像取得部１１によってその選択された被検体に関連する医用画像が取得される（Ｓ１０）。
次に、医用画像取得部１１によって取得された３次元形態画像７が対象組織領域抽出部１２に入力され、対象組織領域抽出部１２は、入力された３次元形態画像７から肝臓領域を抽出する（Ｓ１２）。
次に、対象組織領域抽出部１２によって抽出された肝臓領域は異常領域抽出部１３に入力され、異常領域抽出部１３は、肝臓領域から異常領域を抽出する（Ｓ１４）。本実施形態においては、ディスプレイ３に肝臓領域の３次元形態画像７が表示され、その表示された肝臓領域に含まれる異常領域がユーザによって入力装置４を用いて指定される。異常領域抽出部１３は、このユーザの指定操作を検出し、その検出した領域を異常領域として抽出する。
そして、異常領域抽出部１３によって抽出された異常領域は部分切除領域抽出部１４に入力され、部分切除領域抽出部１４は、入力された異常領域に基づいて、上述したように体積が最小になる部分切除領域と、切断面の表面積が最小になる部分切除領域とを抽出する（Ｓ１６）。一方、異常領域抽出部１３によって抽出された異常領域は支配領域抽出部１５にも入力され、支配領域抽出部１５は、入力された異常領域に基づいて、上記部分切除領域の抽出と並列して、支配領域を抽出する（Ｓ１８）。
次いで、部分切除領域抽出部１４によって各異常領域に対して抽出された部分切除領域と、支配領域抽出部１５によって各異常領域に対して抽出された支配領域とが、切除方法取得部１６に入力される。
そして、切除方法取得部１６は、上述したように、たとえば各異常領域に対して設定された切除領域の体積の総和が最も小さくなるという切除領域決定条件に基づいて、この条件を満たすように各異常領域に対して部分切除領域または支配領域を設定して切除方法の１つを取得する。また、各異常領域に対して設定された切除領域の切断面の表面積の総和が最も小さくなるという切除領域決定条件に基づいて、この条件を満たすように各異常領域に対して部分切除領域または支配領域を設定して切除方法の１つを取得する（Ｓ２０）。
そして、切除方法取得部１６によって取得された複数の切除方法は表示制御部１７に出力され、表示制御部１７は、入力された複数の切除方法に基づいて、図７に示すように肝臓の３次元形態画像７上に各切除方法を表す画像を重ねたものをディスプレイ３に表示させる（Ｓ２２）。
上記実施形態の手術支援システムによれば、複数の切除領域決定条件に基づいて、異常領域に対して各切除領域決定条件を満たす切除領域を設定した複数の切除方法を取得し、その取得した複数の切除方法を提示するようにしたので、その提示された複数の切除方法の中から、対象臓器における異常領域の位置や対象臓器とその周辺臓器との位置関係も考慮したより適切な切除方法を医師が選択することができる。
なお、上記実施形態においては、図５に示すように複数の切除方法を一覧表示するようにしたが、これに限らず、各切除方法を切り替えて表示するようにしてもよい。この場合、たとえば入力装置４においてユーザによる切り替え指示を受け付け、その切り替え指示に応じて切除方法を切り替えるようにすればよい。
また、上記実施形態においては、図５に示すように２つの切除方法を取得して表示するようにしたが、たとえば異常領域の位置によっては、このように表示された切除方法からさらにユーザが修正をした場合もある。そこで、さらにユーザによって入力装置４などを用いて修正可能な構成としてもよい。たとえば、図７に示すように、切除領域の切断面の表面積を条件として取得された切除方法２の部分切除領域５４ａを、切除領域の体積を条件として取得された切除方法１の支配領域５６ａに変更したい場合には、ユーザが入力装置４を用いて支配領域５６ａを選択し、その選択した支配領域５６ａを切除方法２の部分切除領域５４ａの位置まで移動させることによって、異常領域５１ａの切除領域を支配領域に修正できるようにしてもよい。なお、切除領域の修正方法としてはこれに限らず、その他の方法を採用するようにしてもよい。
また、図５においては、２つの切除方法を表す画像を示しているが、上述したように、たとえば異常領域の肝臓の表面からの距離を切除領域決定条件として切除方法の１つを取得し、図８に示すように３つの切除方法を表す画像を表示するようにしてもよい。
また、図５に示したように複数の切除方法を表す画像を表示するとともに、図９に示すような各切除方法に対する評価値をリストとして表示するようにしてもよい。ここで評価値とは、各切除領域決定条件を判定する際に算出された値であり、切除方法取得部１６において算出されるものである。たとえば上記実施形態のように切除領域の体積の総和と、切除領域の切断面の表面積の総和とを切除領域決定条件とした場合には、表示制御部１７は、図９に示すように切除方法１の場合における切除領域の体積の総和を評価値ａとして表示し、切除領域の切断面の表面積の総和を評価値ｃとして表示し、切除方法２の場合における切除領域の体積の総和を評価値ｂとして表示し、切除領域の切断面の表面積の総和を評価値ｄとして表示する。
このように評価値も表示させることによって、ユーザがどの切除方法が最適であるかを判断する際の判断材料の１つを提示することができる。また、ユーザはこの評価値を参照することによって、現在決定されている切除方法に対する修正の有無を判断することができる。なお、上述したように切除方法取得部１６において取得された切除方法の修正を行った場合には、その修正後の切除方法に基づく評価値に更新することが好ましい。
また、図９においては、各切除方法に対する切除領域の体積の総和と切除領域の切断面の表面積の総和とを表示するようにしたが、さらに各切除方法において設定されている複数の切除領域に対する切除領域の種類と、体積および切断面の表面積などの評価値とをリスト表示するようにしてもよい。図１０は、図５および図９における切除方法１において設定されている２つの切除領域１，２の切除領域の種類（支配領域または部分切除領域）と、体積と、切断面の表面積をリスト表示したものである。このような各切除領域に対する評価値については、図９に示すリストとともに表示するようにしてもよいし、図９に示す各切除方法の選択を受け付け、その選択に応じて表示するようにしてもよい。
また、図１１に示すように、各切除方法において設定されている複数の切除領域に対する切除領域の種類と、体積および切断面の表面積などの評価値とを１つのリストとして表示するようにしてもよい。また、図５に示すように切除方法を３次元形態画像として表示するのではなく、図１１に示すようなリストのみを表示するようにしてもよい。
また、上記実施形態においては、切除方法を取得する際、体積や表面積や距離といった１つの評価値に基づいて切除方法を取得するようにしたが、これに限らず、複数の評価値の組み合わせに基づいて切除方法を取得するようにしてもよい。たとえば、各切除領域の肝臓表面からの深さが所定の閾値以下であって、かつ各切除領域の体積の総和が最も小さくなる条件を満たすような切除方法を取得するようにしてもよい。
また、上記実施形態においては、切除領域の体積や切断面の表面積や異常領域の肝臓表面からの距離など、形態的な特徴量を切除方法決定条件として切除方法を取得するようにしたが、これに限らず、機能的な特徴量を切除方法決定条件として切除方法を取得するようにしてもよい。
具体的には、まず、医用画像取得部１１によって３次元形態画像７と３次元機能画像８の両方を取得し、切除方法取得部１６が、３次元形態画像７と３次元機能画像８との間で位置合わせ処理を行う。以下、肝臓を例に説明する。公知の剛体または非剛体レジストレーションを用いて、３次元形態画像７と３次元機能画像８との間で、肝臓領域の位置合わせを行い、それらの画像間での各画素の移動方向・移動量を求め、３次元機能画像８で抽出された肝臓領域の座標値をその移動方向・移動量を用いて変換する。これにより、それらの画像が、同一座標値において、それぞれ肝臓領域の同一位置における情報を表すものとすることができる。
そして、切除方法取得部１６は、たとえば各異常領域に対して設定された切除領域の機能レベルの総和が最も大きくなるという切除領域決定条件に基づいて、この条件を満たすように各異常領域に対して部分切除領域または支配領域を設定して切除方法の１つを取得する。具体的には、各異常領域に対して切除領域として部分切除領域と支配領域とをそれぞれ仮に設定した場合に、その設定した切除領域内の機能レベルの総和が大きい方を最終的な切除領域として取得する。また、このように機能レベルに基づいて切除方法を取得する場合においても切除方法とともに、機能レベルを評価値として表示するようにしてもよい。
また、上記実施形態においては、１つの異常領域に対して１つの内包体を設定して部分切除領域を設定するようにしたが、これに限らず、図１２に示すように、異常領域抽出部１３によって抽出された複数の異常領域５１のうちのいずれかの複数の異常領域５１が所定の距離Ｒ内に位置する場合に、その所定の距離Ｒ内に位置する複数の異常領域５１の全てを内包する１つの最小の内包体を設定してもよい。このように複数の異常領域を含む内包体を設定するようにした場合、個々の異常領域５１に対して部分切除領域を決定した場合の切断面の表面積の総和よりも小さい表面積の１つの部分切除領域を算出することができる。
また、上記実施形態の支配領域抽出処理の変形例として、たとえば臓器の各位置における機能レベルを表した３次元機能画像８を医用画像取得部１１によってさらに取得し、支配領域抽出部１５が、この３次元機能画像８を用いて支配領域を抽出するものとしてもよい。図１３は、本実施例の支配領域抽出処理の変形例を説明する図である。なお、ここでは、理解を容易にするため、２本の血管Ａ、Ｂが平行する同一径の血管である場合を例示している。
支配領域抽出部１５は、まず、３次元形態画像７と３次元機能画像８との間で位置合わせ処理を行う。この位置合わせ処理は、上述したとおりである。
続いて、支配領域抽出部１５は、血管により支配される領域（支配領域）を決定する。具体的には、血管Ａと血管Ｂの主軸方向に対して垂直方向の各経路ａｎ〜ｂｎ（ｎ＝１、２、３、・・・）において、血管Ａと血管Ｂの支配領域の境界となる点ｃｎを、次の式（２）により求める。なお、式（２）におけるαは、上述した経路上の各位置における機能レベルである。この処理により求められた複数の境界点は血管Ａと血管Ｂの支配領域の境界線Ｃを表すものとなる。
Figure 2013154037
なお、図１３においては、領域６１の各位置における機能レベルαを１、領域６２での機能レベルαが１／３、領域６３での機能レベルαを２とし、その経路上の各位置における機能レベルの分布が異なる３つの経路ａｎ〜ｂｎ（ｎ＝１、２、３）において決定した境界点ｃｎの具体例を示している。図１３に示すように、血管の中心線からその支配領域の境界までの距離は、上記経路上における機能レベルの分布に依存する。すなわち、各血管の中心線からその支配領域の境界までの距離は、上記経路上における機能レベルαが低い方が大きくなり、上記経路上における機能レベルαが高い方が小さくなる。
このようにして臓器の機能レベルに基づいて支配領域を設定することによって、支配領域を切除領域として決定した場合、より適切な切除領域を自動的に設定することができる。
また、上記実施形態において、各切除方法について、切除領域を除いた非切除領域の体積を算出し、その非切除領域の体積が肝臓全体の体積の１／３となるときに警告するようにしてもよい。一般に、切除後の肝臓の残余部分を肝臓全体の体積の１／３以上にすることが好ましいため、切除領域の体積を適切な範囲で設定する目安を提示でき、ユーザの適切な切除領域の設定を支援できる。
また、上記実施形態においては、手術支援装置１は、一台のコンピュータに各プログラムを組み込んだものであったが、複数台のコンピュータに各プログラムを分散して組み込むことにより、手術支援装置１と同等の機能を実現する手術支援システムを構築してもよい。
また、上記実施形態においては、手術支援装置１によって複数の切除方法などを表示出力する場合について説明したが、出力方法としてはこれに限らず、たとえばプリント出力、データ出力（ＣＤ−Ｒ、ＤＶＤなどのメディアへの記録もしくはネットワークを介した転送）を行うようにしてもよい。
また、上記実施形態は、対象組織が肝臓で、支配領域を決定する際の管状構造が血管の場合の処理を例示したものであるが、本発明における対象組織としては肝臓に限らず、肺等他の臓器の手術支援にも応用することができる。
１ 手術支援装置
２ 記憶装置
３ ディスプレイ
４ 入力装置
１１ 医用画像取得部
１２ 対象組織領域抽出部
１３ 異常領域抽出部
１４ 部分切除領域抽出部
１５ 支配領域抽出部
１６ 切除方法取得部
１７ 表示制御部

Claims (14)

  1. 被検体の３次元医用画像を取得する医用画像取得手段と、
    該医用画像取得手段によって取得された３次元医用画像から対象組織の領域を抽出する対象組織領域抽出手段と、
    該対象組織領域抽出手段によって抽出された対象組織領域から異常領域を抽出する異常領域抽出手段と、
    複数の切除領域決定条件に基づいて、前記異常領域に対して各切除領域決定条件を満たす切除領域を設定した複数の切除方法を取得する切除方法取得手段と、
    該切除方法取得手段によって取得された複数の切除方法を提示する切除方法提示手段とを備えたことを特徴とする手術支援装置。
  2. 前記異常領域抽出手段によって抽出された異常領域を内包する最小の内包体を設定し、該設定した内包体と前記対象組織の表面上の点とを含む領域を部分切除領域として抽出する部分切除領域抽出手段と、
    前記３次元医用画像から管状構造の領域を抽出し、前記異常領域に関連する前記管状構造の領域の一部と前記異常領域とを含む領域を支配領域として抽出する支配領域抽出手段とを備え、
    前記切除方法取得手段が、前記部分切除領域と前記支配領域のいずれかを前記異常領域に対して設定して前記切除方法を取得するものであることを特徴とする請求項１記載の手術支援装置。
  3. 前記部分切除領域か前記支配領域のいずれかを設定するための切除領域決定条件が、前記異常領域と前記対象組織の表面との距離であることを特徴とする請求項２記載の手術支援装置。
  4. 前記複数の切除領域決定条件の１つが、前記切除領域の体積であることを特徴とする請求項１から３いずれか１項記載の手術支援装置。
  5. 前記複数の切除領域決定条件の１つが、前記切除領域の切断面の表面積であることを特徴とする請求項１から４いずれか１項記載の手術支援装置。
  6. 前記切除方法取得手段が、前記取得した切除方法の修正指示を受け付けるものであり、
    前記切除方法提示手段が、前記修正指示に基づいた修正後の切除方法を提示するものであることを特徴とする請求項１から５いずれか１項記載の手術支援装置。
  7. 前記切除方法取得手段が、前記取得した複数の切除方法のうちの１つの切除方法における所定の切除領域の他の切除方法への移動指示を受け付けるものであり、
    前記切除方法提示手段が、前記移動指示に基づいて前記所定の切除領域を移動した後の切除方法を提示するものであることを特徴とする請求項６記載の手術支援装置。
  8. 前記切除方法取得手段が、各切除領域決定条件に対応する評価値を取得するものであり、
    前記切除方法提示手段が、前記切除方法取得手段によって取得された評価値を提示するものであることを特徴とする請求項１から７いずれか１項記載の手術支援装置。
  9. 前記切除方法提示手段が、前記各切除領域決定条件に対応する切除方法と前記評価値とを対応付けたリストを提示するものであることを特徴とする請求項８記載の手術支援装置。
  10. 前記医用画像取得手段が、前記３次元医用画像として３次元機能画像を取得するものであり、
    前記切除方法取得部が、前記３次元機能画像における機能レベルに基づく切除領域決定条件に基づいて、前記複数の切除方法のうちの１つを取得するものであることを特徴とする請求項１から９のいずれか１項記載の手術支援装置。
  11. 前記対象組織が肝臓であることを特徴とする請求項１から１０のいずれか１項記載の手術支援装置。
  12. 前記対象組織が肺であることを特徴とする請求項１から１０のいずれか１項記載の手術支援装置。
  13. 被検体の３次元医用画像を取得し、
    該取得した３次元医用画像から対象組織の領域を抽出し、
    該抽出した対象組織領域から異常領域を抽出し、
    複数の切除領域決定条件に基づいて、前記異常領域に対して各切除領域決定条件を満たす切除領域を設定した複数の切除方法を取得し、
    該取得した複数の切除方法を提示することを特徴とする手術支援方法。
  14. コンピュータを、
    被検体の３次元医用画像を取得する医用画像取得手段と、
    該医用画像取得手段によって取得された３次元医用画像から対象組織の領域を抽出する対象領域抽出手段と、
    該対象組織抽出手段によって抽出された対象組織領域から異常領域を抽出する異常領域抽出手段と、
    複数の切除領域決定条件に基づいて、前記異常領域に対して各切除領域決定条件を満たす切除領域を設定した複数の切除方法を取得する切除方法取得手段と、
    該切除方法取得手段によって取得された複数の切除方法を提示する切除方法提示手段として機能させることを特徴とする手術支援プログラム。
JP2012018149A 2012-01-31 2012-01-31 手術支援装置、手術支援方法および手術支援プログラム Active JP5797124B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2012018149A JP5797124B2 (ja) 2012-01-31 2012-01-31 手術支援装置、手術支援方法および手術支援プログラム
EP13743153.2A EP2810598B1 (en) 2012-01-31 2013-01-23 Surgical support device, surgical support method and surgical support program
PCT/JP2013/000322 WO2013114823A1 (ja) 2012-01-31 2013-01-23 手術支援装置、手術支援方法および手術支援プログラム
US14/446,572 US10111713B2 (en) 2012-01-31 2014-07-30 Surgery assistance apparatus, surgery assistance method and non-transitory computer-readable recording medium having stored therein surgery assistance program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012018149A JP5797124B2 (ja) 2012-01-31 2012-01-31 手術支援装置、手術支援方法および手術支援プログラム

Publications (2)

Publication Number Publication Date
JP2013154037A true JP2013154037A (ja) 2013-08-15
JP5797124B2 JP5797124B2 (ja) 2015-10-21

Family

ID=48904873

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012018149A Active JP5797124B2 (ja) 2012-01-31 2012-01-31 手術支援装置、手術支援方法および手術支援プログラム

Country Status (4)

Country Link
US (1) US10111713B2 (ja)
EP (1) EP2810598B1 (ja)
JP (1) JP5797124B2 (ja)
WO (1) WO2013114823A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2016076074A1 (ja) * 2014-11-10 2017-08-24 株式会社日立製作所 画像処理装置、ｘ線ｃｔ装置、及び画像処理方法
JP2017532996A (ja) * 2014-10-21 2017-11-09 无錫海斯凱尓医学技術有限公司Ｗｕｘｉ Ｈｉｓｋｙ Ｍｅｄｉｃａｌ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏ．，Ｌｔｄ． 肝臓境界の識別方法及びシステム
WO2018030015A1 (ja) 2016-08-08 2018-02-15 国立大学法人京都大学 切離プロセス推定装置及び切離プロセスナビゲーションシステム
JPWO2021153797A1 (ja) * 2020-01-30 2021-08-05
WO2022025151A1 (ja) * 2020-07-30 2022-02-03 アナウト株式会社 コンピュータプログラム、学習モデルの生成方法、手術支援装置、及び情報処理方法
JP7553381B2 (ja) 2021-02-22 2024-09-18 ザイオソフト株式会社 医用画像処理装置、医用画像処理方法、及び医用画像処理プログラム

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11317971B2 (en) 2012-06-21 2022-05-03 Globus Medical, Inc. Systems and methods related to robotic guidance in surgery
US10799298B2 (en) 2012-06-21 2020-10-13 Globus Medical Inc. Robotic fluoroscopic navigation
US10874466B2 (en) 2012-06-21 2020-12-29 Globus Medical, Inc. System and method for surgical tool insertion using multiaxis force and moment feedback
US10842461B2 (en) 2012-06-21 2020-11-24 Globus Medical, Inc. Systems and methods of checking registrations for surgical systems
US11793570B2 (en) 2012-06-21 2023-10-24 Globus Medical Inc. Surgical robotic automation with tracking markers
US11864745B2 (en) 2012-06-21 2024-01-09 Globus Medical, Inc. Surgical robotic system with retractor
US11786324B2 (en) 2012-06-21 2023-10-17 Globus Medical, Inc. Surgical robotic automation with tracking markers
US11857149B2 (en) 2012-06-21 2024-01-02 Globus Medical, Inc. Surgical robotic systems with target trajectory deviation monitoring and related methods
US11589771B2 (en) 2012-06-21 2023-02-28 Globus Medical Inc. Method for recording probe movement and determining an extent of matter removed
US11253327B2 (en) 2012-06-21 2022-02-22 Globus Medical, Inc. Systems and methods for automatically changing an end-effector on a surgical robot
US10624710B2 (en) 2012-06-21 2020-04-21 Globus Medical, Inc. System and method for measuring depth of instrumentation
US11857266B2 (en) 2012-06-21 2024-01-02 Globus Medical, Inc. System for a surveillance marker in robotic-assisted surgery
US12004905B2 (en) 2012-06-21 2024-06-11 Globus Medical, Inc. Medical imaging systems using robotic actuators and related methods
US11864839B2 (en) 2012-06-21 2024-01-09 Globus Medical Inc. Methods of adjusting a virtual implant and related surgical navigation systems
US11045267B2 (en) 2012-06-21 2021-06-29 Globus Medical, Inc. Surgical robotic automation with tracking markers
US11963755B2 (en) 2012-06-21 2024-04-23 Globus Medical Inc. Apparatus for recording probe movement
US11974822B2 (en) 2012-06-21 2024-05-07 Globus Medical Inc. Method for a surveillance marker in robotic-assisted surgery
US10758315B2 (en) 2012-06-21 2020-09-01 Globus Medical Inc. Method and system for improving 2D-3D registration convergence
US11298196B2 (en) 2012-06-21 2022-04-12 Globus Medical Inc. Surgical robotic automation with tracking markers and controlled tool advancement
US11896446B2 (en) 2012-06-21 2024-02-13 Globus Medical, Inc Surgical robotic automation with tracking markers
US11399900B2 (en) 2012-06-21 2022-08-02 Globus Medical, Inc. Robotic systems providing co-registration using natural fiducials and related methods
US9204937B2 (en) 2013-02-19 2015-12-08 Stryker Trauma Gmbh Software for use with deformity correction
US11883217B2 (en) 2016-02-03 2024-01-30 Globus Medical, Inc. Portable medical imaging system and method
US10251705B2 (en) 2016-06-02 2019-04-09 Stryker European Holdings I, Llc Software for use with deformity correction
EP3437559B1 (de) 2017-08-03 2020-06-24 Siemens Healthcare GmbH Ermitteln eines funktionsparameters betreffend eine lokale gewebefunktion für mehrere gewebebereiche
US12027250B2 (en) * 2017-12-05 2024-07-02 Sony Olympus Medical Solutions Inc. Medical information processing apparatus and information processing method
EP3566669A1 (en) * 2018-05-10 2019-11-13 Globus Medical, Inc. Systems and methods related to robotic guidance in surgery
JP7179707B2 (ja) * 2019-10-03 2022-11-29 富士フイルム株式会社 診療支援装置、診療支援方法、及び診療支援プログラム
CN111445977B (zh) * 2020-03-19 2024-02-13 成都尚医信息科技有限公司 一种多疾病整合运动康复管理系统
US12150728B2 (en) 2021-04-14 2024-11-26 Globus Medical, Inc. End effector for a surgical robot
EP4207061A1 (en) * 2021-12-29 2023-07-05 Shanghai United Imaging Healthcare Co., Ltd. Systems and methods for feature information determination
WO2024122442A1 (ja) * 2022-12-05 2024-06-13 国立大学法人 東京大学 情報処理システム、プログラム及び情報処理方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003033349A (ja) * 2001-07-23 2003-02-04 Hitachi Medical Corp 臓器の特定領域抽出表示方法及び装置
JP2003339644A (ja) * 2002-05-24 2003-12-02 Hitachi Medical Corp 臓器の切除領域抽出表示装置
JP2004254899A (ja) * 2003-02-26 2004-09-16 Hitachi Ltd 手術支援システム及び手術支援方法
WO2011118208A1 (ja) * 2010-03-24 2011-09-29 パナソニック株式会社 切削シミュレーション装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6167296A (en) * 1996-06-28 2000-12-26 The Board Of Trustees Of The Leland Stanford Junior University Method for volumetric image navigation
JP4702971B2 (ja) 1999-11-10 2011-06-15 株式会社東芝 コンピュータ支援診断システム
JP4748843B2 (ja) 2000-01-25 2011-08-17 株式会社日立メディコ 臓器の特定領域抽出表示装置及び臓器の特定領域抽出表示方法をコンピュータに実行させるプログラムを記録した記録媒体
JP2002306509A (ja) * 2001-04-10 2002-10-22 Olympus Optical Co Ltd 遠隔手術支援システム
JP3486615B2 (ja) 2001-05-22 2004-01-13 畦元 将吾 医療用画像の領域抽出方法
US7058210B2 (en) 2001-11-20 2006-06-06 General Electric Company Method and system for lung disease detection
JP3934959B2 (ja) 2002-03-13 2007-06-20 株式会社日立製作所 医療画像処理システム
US7440793B2 (en) * 2004-07-22 2008-10-21 Sunita Chauhan Apparatus and method for removing abnormal tissue
JP2008253293A (ja) 2007-03-30 2008-10-23 Fujifilm Corp Ｃｔ画像からの肺野領域抽出方法
JP4981938B2 (ja) * 2010-03-08 2012-07-25 富士フイルム株式会社 診断支援装置、冠動脈解析プログラムおよび冠動脈解析方法
US20130072784A1 (en) * 2010-11-10 2013-03-21 Gnanasekar Velusamy Systems and methods for planning image-guided interventional procedures

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003033349A (ja) * 2001-07-23 2003-02-04 Hitachi Medical Corp 臓器の特定領域抽出表示方法及び装置
JP2003339644A (ja) * 2002-05-24 2003-12-02 Hitachi Medical Corp 臓器の切除領域抽出表示装置
JP2004254899A (ja) * 2003-02-26 2004-09-16 Hitachi Ltd 手術支援システム及び手術支援方法
WO2011118208A1 (ja) * 2010-03-24 2011-09-29 パナソニック株式会社 切削シミュレーション装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JPN6013020534; 高橋 修一 他: '"術後の組織再生を考慮した肝切除術支援システム"' 電子情報通信学会論文誌 Ｄ-ＩＩ Ｖｏｌ．Ｊ８０-Ｄ-ＩＩ Ｎｏ．５, 199705, １２８６〜１２９４頁, 社団法人電子情報通信学会 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017532996A (ja) * 2014-10-21 2017-11-09 无錫海斯凱尓医学技術有限公司Ｗｕｘｉ Ｈｉｓｋｙ Ｍｅｄｉｃａｌ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏ．，Ｌｔｄ． 肝臓境界の識別方法及びシステム
JP2020127831A (ja) * 2014-10-21 2020-08-27 无錫海斯凱尓医学技術有限公司Ｗｕｘｉ Ｈｉｓｋｙ Ｍｅｄｉｃａｌ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏ．，Ｌｔｄ． 肝臓境界の識別方法及びシステム
JP7016549B2 (ja) 2014-10-21 2022-02-07 无錫海斯凱尓医学技術有限公司 肝臓境界の識別方法及びシステム
JPWO2016076074A1 (ja) * 2014-11-10 2017-08-24 株式会社日立製作所 画像処理装置、ｘ線ｃｔ装置、及び画像処理方法
WO2018030015A1 (ja) 2016-08-08 2018-02-15 国立大学法人京都大学 切離プロセス推定装置及び切離プロセスナビゲーションシステム
JP7153974B2 (ja) 2020-01-30 2022-10-17 アナウト株式会社 コンピュータプログラム、学習モデルの生成方法、及び画像処理装置
JPWO2021153797A1 (ja) * 2020-01-30 2021-08-05
WO2021153797A1 (ja) * 2020-01-30 2021-08-05 アナウト株式会社 コンピュータプログラム、学習モデルの生成方法、画像処理装置、及び手術支援システム
WO2022025151A1 (ja) * 2020-07-30 2022-02-03 アナウト株式会社 コンピュータプログラム、学習モデルの生成方法、手術支援装置、及び情報処理方法
JP2022069464A (ja) * 2020-07-30 2022-05-11 アナウト株式会社 コンピュータプログラム、学習モデルの生成方法、手術支援装置、及び情報処理方法
JP7031925B1 (ja) * 2020-07-30 2022-03-08 アナウト株式会社 コンピュータプログラム、手術支援装置、及び情報処理方法
JP7194889B2 (ja) 2020-07-30 2022-12-23 アナウト株式会社 コンピュータプログラム、学習モデルの生成方法、手術支援装置、及び情報処理方法
JP7553381B2 (ja) 2021-02-22 2024-09-18 ザイオソフト株式会社 医用画像処理装置、医用画像処理方法、及び医用画像処理プログラム

Also Published As

Publication number Publication date
EP2810598A4 (en) 2015-10-14
WO2013114823A1 (ja) 2013-08-08
US20140343586A1 (en) 2014-11-20
US10111713B2 (en) 2018-10-30
JP5797124B2 (ja) 2015-10-21
EP2810598A1 (en) 2014-12-10
EP2810598B1 (en) 2018-11-28

Similar Documents

Publication Publication Date Title
JP5797124B2 (ja) 手術支援装置、手術支援方法および手術支援プログラム
JP4931027B2 (ja) 医用画像診断支援装置および方法、並びにプログラム
CN111528871B (zh) 用于医学图像中全身骨移除和血管可视化的方法和系统
JP5395823B2 (ja) 手術支援装置、手術支援方法および手術支援プログラム
JP5011426B2 (ja) 画像診断支援装置、方法及びプログラム
US9495794B2 (en) Three-dimensional image display apparatus, method, and program
JP5559642B2 (ja) 手術支援装置、手術支援方法および手術支援プログラム
JP5597429B2 (ja) 医用画像処理装置および方法、並びにプログラム
CN101231678B (zh) 医用图像处理装置及医用图像处理方法
US10347033B2 (en) Three-dimensional image display apparatus, method, and program
JP5584006B2 (ja) 投影画像生成装置、投影画像生成プログラムおよび投影画像生成方法
US10380735B2 (en) Image data segmentation
US10524823B2 (en) Surgery assistance apparatus, method and program
CN105701799B (zh) 从肺部掩膜影像中分割肺血管的方法和装置
EP2216751A2 (en) Preventing thoracic bones from being displayed in 3D images
JP2013090799A (ja) 画像処理装置および方法並びにプログラム
CN114332013A (zh) 基于肺动脉树分级的ct图像靶肺段识别方法
JP5486616B2 (ja) 医用画像診断支援装置およびその作動方法、並びにプログラム
JP6827707B2 (ja) 情報処理装置および情報処理システム
Czajkowska et al. Skeleton graph matching vs. maximum weight cliques aorta registration techniques
Schaap Quantitative Image Analysis in Cardiac CT Angiography
KR20230174543A (ko) 폐 병변의 위치 지정 방법 및 이를 위한 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140501

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150512

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150710

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150728

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150818

R150 Certificate of patent or registration of utility model

Ref document number: 5797124

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250