Nothing Special   »   [go: up one dir, main page]

JP2013192939A - 歯根破折のインタラクティブな検査の方法 - Google Patents

歯根破折のインタラクティブな検査の方法 Download PDF

Info

Publication number
JP2013192939A
JP2013192939A JP2013053041A JP2013053041A JP2013192939A JP 2013192939 A JP2013192939 A JP 2013192939A JP 2013053041 A JP2013053041 A JP 2013053041A JP 2013053041 A JP2013053041 A JP 2013053041A JP 2013192939 A JP2013192939 A JP 2013192939A
Authority
JP
Japan
Prior art keywords
image
tooth
teeth
subject
operator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013053041A
Other languages
English (en)
Other versions
JP6205146B2 (ja
JP2013192939A5 (ja
Inventor
Andre Souza
ソウザ アンドレ
Lawrence A Ray
エイ レイ ローレンス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Carestream Health Inc
Original Assignee
Carestream Health Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Carestream Health Inc filed Critical Carestream Health Inc
Publication of JP2013192939A publication Critical patent/JP2013192939A/ja
Publication of JP2013192939A5 publication Critical patent/JP2013192939A5/ja
Application granted granted Critical
Publication of JP6205146B2 publication Critical patent/JP6205146B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/51Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for dentistry
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/162Segmentation; Edge detection involving graph-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/04Indexing scheme for image data processing or generation, in general involving 3D image data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/24Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20072Graph-based image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20092Interactive image processing based on input by user
    • G06T2207/20101Interactive definition of point of interest, landmark or seed
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30036Dental; Teeth

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

【課題】対象の歯の3Dインタラクティブな検査のための方法を提供する。
【解決手段】少なくとも部分的にコンピュータによって実行される、対象の歯の3Dインタラクティブな検査のための方法は、少なくとも対象の歯とその対象の歯に隣接する背景コンテンツとを含むボリューム画像データを取得し、少なくとも対象の歯と背景コンテンツとを示すボリュームデータから、第1の画像を表示する。第1の画像内の背景コンテンツの一部分は、第1の操作者命令に従って識別される。第1の画像内の少なくとも対象の歯に関する歯コンテンツは、第2の操作者命令に従って識別される。少なくとも対象の歯は、第1および第2の操作者命令に従って、ボリュームデータ内から分割される。次に、分割された対象の歯が表示される。
【選択図】図3C

Description

本発明は、概して歯科用画像化に関し、具体的には、歯構造のボリューム画像を視認するための放射線画像化装置に関する。
コーンビーム断層撮影法(CBCT)は、従来の医学的コンピュータ断層撮影法(CT)システムと比較して、患者に対して実質的により低い放射線量を用いて人体構造の3次元情報を取得することが可能なX線画像診断法である。コーンビームCTシステムは、一般的には、対象者の周囲の軌道に沿った種々の点からX線の発散コーンビームをその対象者に向けて方向付ける、画像化対象者の周囲を回転するガントリに装着された、高フレーム率のデジタルX線撮影(DR)検出器およびX線源を使用して、体積的データセットを捕捉する。CBCTシステムは、回転を通して、例えば、回転角度毎に1枚ずつの2D投影画像を通して、投影を捕捉する。投影は次に、種々の技術を使用して、3Dボリューム画像へと再構築される。3Dボリューム画像を再構築するための最も一般的な方法の中には、フィルタ逆投影手法がある。
CBCTの使用についての特定の関心領域は、歯内治療学である。従来の施術では、歯内療法に対応する問題の検出は患者の痛みの訴えから始まる。施術者は、疑わしい歯を特定するために患者と協力し、歯根構造および周囲の骨構造の何等かの異常の分離を補助するように、1つ以上の2次元(2D)歯根尖端周囲の放射線写真を獲得してもよい。多くの場合、2D画像の視診は、問題を識別するのに役立つことができる。しかしながら、ある種の状態の検出は、従来の2D画像では難しいままである。特に、ある種の垂直性歯根破折(VRF)は、歯根尖端周囲の画像内で検出することは困難な場合がある。垂直性歯根破折は歯根に影響を与える深刻な種類の歯牙破折であり、感染および炎症による痛みを引き起こし、しばしば抜歯につながる。
CBCT画像化から得ることができる改善された画像品質、および極めて低コントラストの組織領域を表示する能力により、CBCTは、VRFおよび他の歯内状態の評価のための有望な技術となっている。これは、図1の順序に示されるような、歯根管治療を支持するためのCBCT画像化を含む。この種類の治療では、感染した歯20は、治療するべき膿瘍22を有する。開口部24が歯20に作られ、道具28を使用して、感染物質にアクセスし、除去する。次に、充填器30が、歯20の歯根部分にガッタパーチャまたは他の好適な材料を充填する。歯20は次に、施術者によって挿入された心棒38上に取り付けられる充填材34または歯冠36で修復することができる。
CBCT画像化は、VRFおよび歯内療法を必要とする他の状態の検出を改善するために使用することが可能であるが、困難も依然残る。CBCT画像の取り扱いは、特に、ボリューム画像化技術に不慣れな施術者および技術者にとっては、難しい可能性がある。最も顕著に問題状態を示す特定の像を分離することは、施術者にとって困難または面倒である可能性があり、使用者に訓練およびCBCTシステムの使用のために大量の時間を課す。
したがって、迅速に学習することが可能なツールを提供し、また、施術者が歯内用途に対してCBCT画像化を効果的に使用することを可能にするより直感的な観察者体験を提供する、インタラクティブな(相互作用的な)操作者インターフェースに対する必要性があることを理解することができる。
本発明の態様は、特に、歯およびそれらの根構造のインタラクティブな(相互作用的な)検査を可能にするボリューム画像化に関する、歯科用画像化の分野を進展させるものである。有利に、本発明の実施形態は、操作者が、特定の歯または歯の群をボリューム画像データから選択し、また歯が視認される角度を修正することを可能にする。加えて、操作者はまた、従来のボリューム画像提示において提供される標準的な冠状、矢状、または軸方向画像以外の角度から、歯のスライスを通してページ処理することもできる。相互作用的操作は、操作者が、他のボリューム画像データから特定の歯についてのデータを分離するために使用される歯分割を、漸進的に改善することを可能にする。
一実施形態によると、本発明は、対象の歯の3D相互作用的検査のための方法を提供することができ、その方法は少なくとも部分的にコンピュータによって実行され、少なくとも対象の歯と対象の歯に隣接する背景コンテンツとを含む、ボリューム画像データを獲得することと、少なくとも対象の歯と背景コンテンツとを示すボリュームデータから、第1の画像を表示することと、第1の操作者命令に従って、第1の画像内の背景コンテンツの一部分を識別することと、第2の操作者命令に従って、第1の画像内の少なくとも対象の歯に関して歯コンテンツを識別することと、第1および第2の操作者命令に従って、少なくとも対象の歯をボリュームデータ内から分割することと、分割された対象の歯を表示することと、を含む。
これらの目的は、例証の目的で与えられるに過ぎず、かかる目的は、本発明の1つ以上の実施形態の例示的なものであってよい。当業者には、開示される発明によって本質的に達成される他の望ましい目的および利点が想到するか、または明白となる場合がある。本発明は、添付の特許請求の範囲によって定義される。
歯根管治療のためのステップを示す順序図である。 歯科用画像化のためのCBCT画像化装置の構成要素を示す概略ブロック図である。 歯分割のための操作者命令を提供する画像および印を示す、平面図である。 図3Aに提供されるような操作者の印付けからの分割された目的とする歯を示す、平面図である。 対象の歯に対する3D分割を獲得するための画像化システムとの操作者相互作用を示す、論理流れ図である。 同一のボリューム画像コンテンツに対する、錯角におけるスライスの配列を示す、概略図である。 同一のボリューム画像コンテンツに対する、錯角におけるスライスの配列を示す、概略図である。 歯根構造および周囲の骨構造の異常の3D可視化を提供する相互作用的ユーティリティに対する結果、ならびにツールを示す図である。 3つの代替的な視野角においてデータを視認するための命令の入力を示すように回転された、視野角アイコンを示す図である。 分割された歯に対する切断面位置を示す図である。 図7Aに示される切断面設定に従う、分割された歯からのスライスを示す図である。 図7Aに示される切断面設定に従う、分割された歯からの代替的なスライスを示す図である。 分割された歯に対する切断面位置を示す図である。 図10Aに示される切断面設定に従う、分割された歯からのスライスを示す図である。 VRFを示す対象の歯の、異なるボリュームレンダリング像を示す図である。 VRFを示す対象の歯の、異なるボリュームレンダリング像を示す図である。 VRFを示す対象の歯の、異なるボリュームレンダリング像を示す図である。 分割のための複数の歯を指示するスプラインを有する、参照画像を示す図である。 図10Aの複数のスプライン例に対して表示された、分割された歯を示す図である。 ボリューム画像の表面レンダリングのために使用される一連のステップを示す、論理流れ図である。 歯根管および破折を有する対象の歯に対する表面レンダリングの結果の画像を示す図である。 本発明の実施形態に従う、ボリュームレンダリングのために使用される一連のステップを示す、論理流れ図である。
以下は、本発明の例示的実施形態の記載であり、図面への参照がなされ、図面中、同一の参照番号は複数の図面のそれぞれにおいて同一の構造要素を識別する。用語「第1の」、「第2の」等は、それらが使用される場合、必ずしもいかなる順序または優先的関係性も意味せず、ある要素または時間間隔を別のものからより明確に区別するために使用される場合がある。
本開示の文脈において、用語「画像」は、別個の画像要素から構成された多次元画像データを指す。2D画像に関して、別個の画像要素は、ピクチャエレメントすなわちピクセルである。3D画像に関しては、ボリューム画像とも称されるが、別個の画像要素は、ボリューム画像エレメントすなわちボクセルである。本開示の文脈において、用語「スプライン」は、曲線、自由曲線、または線と同等である。
IEEE Trans on Pattern Analysis and Machine Intelligence,26(1):19−29,2004におけるFalcaoらの「The Image Foresting Transformation:Theory,Algorithm,and Applications」と題される論文に記載されるように、多次元画像は、1セットのノードおよび弧の重みとして代替的に表現することが可能である。この代替型データ構造を利用することによって、中央処理装置(CPU)における、または相当量の画像データの処理のためのグラフィック処理装置(GPU)における、単純で、効果的で、極めて高速な(準線形)処理アルゴリズムを考案することが可能である。本開示の文脈において、用語「IFT」は、ノードおよび弧の重みのセットとして画像データを表すフレームワークを指し、また画像森林化変換(image foresting transform)としても既知である。
本発明の文脈において、用語「観察者」、「使用者」、および「操作者」は、システムを使用し、また1つ以上の患者の歯に対するボリュームデータの表示された像を観察し、取り扱う人に対する、同等の用語であると見なされる。操作者は、歯科医または技術者または他の人である可能性がある。
表示された特徴に関して、用語「強調する」は、情報および画像表示の分野における当業者にとって理解されるようなその従来の意味を有する。概して、強調は、観察者の注意を引き付けるための、ある種の形式の局所的表示強化を使用する。個別の器官、骨、もしくは構造、または1つの室から次の室への経路といった、画像の一部分を強調することは、例えば、注釈付け、その付近もしくはその上への記号、輪郭描画、もしくはトレースの表示、他の画像もしくは情報コンテンツとは異なる色での、または著しく異なる明度、もしくはグレースケール値での表示、ディスプレイの一部分の点滅もしくはアニメーション、あるいは、より高い鮮明度もしくはコントラストでの表示を含むが、それらに限定されない、多数の方法のうちの任意のもので達成することができる。
図2の略図は、CBCT画像化といった、一続きの2枚またはそれ以上の2D画像を獲得し、隣接するコンテンツの情報を処理して、3Dまたはボリューム画像を形成する、ボリューム画像化のための画像化装置100を示す。患者12の画像化のための回転可能架台130が、柱118上に提供される。架台130は、X線源110および放射線センサー121を患者12の頭部の対向する側に維持し、線源110およびセンサー121を、頭部を中心としてスキャンパターンで周回させるよう回転する。架台130は、その取り付けられた構成要素が頭部を中心として周回するように、患者の頭部の中心部分に対応する軸Qを中心として回転する。本発明の実施形態に従うデジタル放射線撮影センサー、センサー121は、CBCTボリューム画像化に適切な放射線パターンを放出するX線源110の反対側で、架台130に連結される。顎台または咬合要素といった、任意選択の頭部支持136は、画像取得中の、患者の頭部の安定性を提供する。コンピュータ106は、操作者コマンドを受け付けるため、および画像化装置100によって獲得されるボリューム画像の表示のための、操作者インターフェース104およびディスプレイ108を有する。メモリ132を有するコンピュータ106は、画像データを獲得するためにセンサー121と信号で通信し、また線源110の制御のための、および任意選択で、架台130構成要素に対する回転式作動装置112の制御のための、信号を提供する。
本発明の実施形態は、画像化装置100から獲得される画像を処理し、施術者が歯および周囲の構造を詳細に視認することを可能にする、ボリューム画像を提供する。本発明の実施形態に従って、画像化装置100から獲得されるボリューム画像データは、施術者が、従来の放射線撮影画像を使用しては検出することが困難な可能性がある歯内状態の評価を可能にする歯の画像を、視認できるようにする。
図3Aは、ボリューム画像化装置100を使用して獲得された画像72の平面図を示す。画像72は、任意の画像のスライスとすることができ、画像スライスは、ディスプレイ108上に現れることとなる(図2)。画像72は、印付けのためのインデックス画像の一種として使用される。図3Aは、画像72内に、施術者が詳細に視認したいと考えるであろう、目的とする歯である対象の歯40を示す。1つ以上の近接または隣接する歯42も、示されてもよい。背景コンテンツ44は、歯40および42の外側の領域である。第1の操作者命令、歯識別曲線またはスプライン50は、対象の歯40に対する歯コンテンツの場所を指示する。第2の操作者命令、背景または彫刻曲線もしくはスプライン52を、対象の歯の境界線の外側で、または任意の適切な背景領域内で、画像72上に描画することができる。
図3Aの例において、スプライン52は、歯40および42の外側、または歯40と42との間の領域といった、背景コンテンツ44内にあるピクチャエレメントを指示する。歯識別スプライン50は、より詳細に後述するように、表示される画像72内の単一の歯に及ぶ可能性があり、または複数の歯に及ぶ可能性がある。
本発明の実施形態によると、スプライン50および52は、タッチスクリーンを使用して入力され、すなわち、画像化装置100に組み込まれるディスプレイ108(図2)は、タッチスクリーンデバイスである。代替的実施形態では、例えば、マウス、スタイラスペン、またはジョイスティックといった、別の種類のポインタデバイスが使用される。本発明の実施形態によると、歯コンテンツを識別し、かつ分割アルゴリズムのために歯コンテンツを背景コンテンツから分化させるために、異なる色のスプラインが、使用される。スプライン50および52は、任意の順序で入力することができ、色は、歯を背景コンテンツから分化させるのに役立つように使用される。処理速度を強化するため、分割アルゴリズム自体は、任意選択で、ボリューム画像データの低解像度コピーの上で稼動してもよい。
スプライン50および52は、ボリューム画像データの残部からの対象の歯40のIFTに基づいた分割に対して十分な情報を、リアルタイムで提供する。対象の歯40の3Dモデルは、図3Aおよび3Bの例に示されるように、スライス画像内の強調された2D分割領域の隣に表示される。本発明の実施形態によると、対象の歯は、操作者に対する確認としてディスプレイ画面上で強調される。強調は、色の変化、高度のコントラスト、輪郭描画、またはある種の他の表示強化特徴によって、指示することができる。
表示される画像72上の1つ以上のスプラインをトレースした後、操作者は、入力されたスプラインに従ってボリューム画像データ内から歯ボリュームを抽出するような分割を開始させる、キーボードコマンドまたは他の命令を入力する。図3Bに示されるように、3D分割処理の完了時に、対象の歯40はディスプレイ108上に表示される。図3Bは、ワイヤフレーム像を示し、キーボードコマンドといった、操作者命令が、表面レンダリングとワイヤフレームレンダリングとの間を切り替える。歯40のこの2D画像スライス像は、初期の視野角で提供されている。この初期視野角は、CBCTデータに対する初期設定視野角として一般的に使用される、従来の矢状、冠状、および軸方向の視野角のうちの1つであってもよく、または異なる視野角であってもよい。本発明の実施形態によると、3D切断面は、操作者命令に応じて自動的に生成され、IFT最適化ルーティンは、スライス画像内の歯根管様および破折様ピクセルの数を最大化する適切な視野角を見出す。これは、ボリューム画像におけるスライスを通した視認およびページングのための初期切断面であり、歯根管および歯根破折(存在する場合)の双方が強調される。次に、図5Bに示されるように、3D相互作用的検査フェーズが開始され、操作者が、切断面の法線ベクトルNを任意の所与の傾斜配向に対して変更することを可能にする。
操作者は、画像の取り扱いを制御する。これにより、操作者は、選択した歯の損失を心配することなく、3Dにおける破折といった異常を、素早く、確信を持って検査することが可能となる。
本発明の代替的実施形態によると、標準視野角間を素早く切り替えるために、制御キーが提供される。拡大/縮小ユーティリティも、マウスまたは他のポインタを使用して、同様に利用可能である。
図3Cは、対象の歯に対する3D分割をモデル化し、獲得するための、操作者の画像化システムとの相互作用を示す、論理流れ図である。物体識別ステップS110において、操作者は、1つ以上の識別スプラインを、モデル化される対象の歯の上、または歯もしくは他の構造の部分上に位置付ける。背景識別ステップS120において、操作者は、背景領域を印付けするため、1つ以上の背景または彫刻スプラインを位置付ける。ステップS110およびS120における操作者入力に応じて、システムは、モデル表示ステップS130において、粗3Dモデルを生成し、表示する。繰り返しステップS140において、操作者は、ステップS130で表示するシステムからの結果を精緻化および改善するために、必要に応じて、ステップS110およびS120に戻って繰り返す選択肢を有する。ステップS110およびS120は、任意の順序で実施されることができ、また、対象の歯または他の構造の適切な3Dモデル化を提供するために有用なだけの数の識別スプラインおよび背景スプラインの入力に伴って、必要な回数だけ反復できることに留意されたい。本発明の実施形態によると、スプラインの色は、識別スプラインとしてかまたは背景スプラインとしてかのいずれかで、その機能を示す。加えて、入力される識別スプラインの色は、表示される3Dモデルを生成するために使用する色を決定する。マウスまたは他のポインタと共に提供される画面上のユーティリティおよび道具は、入力されるスプラインの色を要望に応じて変更することを可能にする。
操作者は、対象の歯40に対して提供される分割を精緻化するために、追加のスプライン50および52を追加することができる。この特徴は、例えば、他の歯または組織が分割された対象の歯40と共に表示される場合等のように、表示される分割が不正確に見える場合に、役立つことができる。
図4Aおよび図4Bは、本発明の実施形態に従って、歯40に関するボリュームデータの像をいかに異なって提示することができるか、また切断面62をいかに画定および変更することができるかを、概略的に示す。図4Aで、ボリューム画像58は、図示されるように法線Nを有する切断面62に沿って取られた、そのスライス60a、60b、60c、60g、および他のスライスを有する。図4Bは、同一のボリューム画像データが、ボリューム画像58の画像コンテンツがスライス61a、61b、61c等によって形成されるように、対応する法線N’を有する異なる切断面62’に沿っていかに再配列されることができるかを示す。
この形式で提供されるボリューム画像を用いて、同一の対象の歯40は、代替的角度から視認されることが可能である。さらに、スライス60a、60b、60c等を通してページングすることによって、観察者は、対象の歯40内の目的とする問題または他の点を最も効果的に示すスライスを表示することができる。図4Aに示されるように、亀裂66は、切断面62によって画定される視野角において獲得されるスライス60g上で、最も容易に見ることができる。歯40の他の像は、亀裂66、または患者の状態の評価のために十分に詳細である他の異常を示さない可能性がある。
図4Aおよび図4Bは、同一のボリュームデータの異なる像を表すことに留意されたい。適切な形状のスライスへのボクセルデータの配列は、画像処理分野において当業者に周知であるボリューム画像再構築技術を使用して、実施される。ボリューム画像の連続的スライスを通したページングは、例えば、キーボードの1つのキーもしくはキーの組み合わせを押すことによって、マウスもしくはポインタを使用して、または他の適切な使用者インターフェースユーティリティを使用して、多数の方法のうちの任意のもので実施することができる。
図5Aの像は、対象の歯40の画像から獲得および表示される、スライス60を示し、スライス60は、上述したVRF等の、歯根破折、または他の歯内合併症を示している。図5Aにおいて示される歯に伴う問題は、別の角度から撮影される像においては容易に知覚することはできないことが理解できる。
図5Aは、画像データ内の歯根管および歯牙破折特徴を検出するアルゴリズムによって計算される、初期設定像である。本発明の実施形態によると、この像は、特定の歯40が選択されると自動的に表示される。この像は、一般的には、従来の軸方向、矢状、または冠状の歯像ではなく、代わりに、視野角は、歯根管および破折特徴の良好な可視性のためにシステムによって選択される。
図5Bは、IEEE Trans on Medical Imaging,24(2):223−225,2005における、Souza et al.による「Volume rendering in the presence of partial volume effects」と題される論文に記載されるような、ボリュームレンダリング74も示す。対象の歯40は、ワイヤフレーム表面レンダリング72を使用して、強調される。ボリューム画像データを配列するために使用される、特定の切断面62を規定するための、3D使用者相互作用ユーティリティが示される。角度選択アイコン70は、切断面62と、操作者による取り扱い用の表示形式での法線Nとを示す。マウス、タッチスクリーン、または他のポインティングメカニズムを使用して、操作者は、アイコン70の法線Nおよび平面62の配向を変更することができ、それによって、ボリューム画像データを提示する角度を修正するための平面角命令を提供することができる。例示の目的のため、図6A、図6B、および図6Cは、3つの代替的視野角を示すように回転されたアイコン70を示す。
例示の目的のため、図7Aは、分割された歯40の表示に対する所与の角度における、切断面62を示す。図7Bおよび図7Cはそれぞれ、この切断面の視野角において利用可能な、多数の画像スライス74および76のうちの2枚を示す。本発明の実施形態によると、順次方式で、連続するスライスの像を通して素早くページングするために、操作者マウス上のホイールが回転される。他の種類のページングユーティリティを、代わりに使用することができる。図8Aおよび図8Bは、同じ歯からの異なる視野角における画像スライス78を視認するための、代替的切断面62を示す。
視野角の変更、視野角に従ったスライスを通したページング、分割のための歯を指示するための画像の印付け、および他の機能のための操作者インターフェースユーティリティは、キーボードコマンド、ディスプレイ上に提供される画面上のメニュー命令、例えば、プルダウンメニューから等の、メニューから選択される命令、ディスプレイ画面上の制御ボタンを選択することによって入力される命令、または何らかの他の源から入力される命令を使用することができる。
図9A、図9B、および図9Cは、VRFを現す対象の歯の、異なるボリュームレンダリング像を示す。
本発明の実施形態は、操作者が、図3を参照して先に説明したスプライン印付け方法を使用して、1つの歯から次へと柔軟に切り替えることを可能にする。操作者は、スプライン52を消去し再描画すること、または別の歯の上にそのグラフィックオブジェクトを移動させることのいずれかによって、スプライン52の位置を変更することにより、異なる歯へと移動することができる。
本発明の実施形態はまた、操作者が、複数の対象の歯を分割のために同時に分割することを可能にする。図10Aを参照すると、背景コンテンツを指示するための複数の彫刻スプライン50aおよび50bを有する画像72が示される。複数の彫刻スプラインの使用は、分割アルゴリズムに対する背景コンテンツ上のより多い情報を提供するのに役立つことができる。次に、スプライン52a、52b、52c、52d、52e、および52fは、分割のため個別の対象の歯または隣接する歯群を指示する。図10Bは、ボリューム画像コンテンツから抽出され表示された、対応する複数の対象の歯40a、40b、40c、40d、40e、および40fを伴う、得られた分割を示す。操作者が入力するスプライン52a、52b等の色に対応する色を用いて、異なる色を使用して表示される個別の歯を区別することができる。単一歯表示とともに、切断面はまた、分割される構造のスライス用に視野角を調節するために使用することもできる。
本発明の実施形態は、対象の歯、その内部構造、およびその周囲の骨解剖学的構造に関する、ボリュームレンダリングと表面レンダリングとの双方の異なる3D可視化組み合わせを提供するように適合することができる。図11の論理流れ図は、ボリューム画像データの表面レンダリングのための一連のステップを示す。ボリューム獲得ステップS210において、対象の歯を含むCBCTまたは他のボリューム画像が獲得される。分割ステップS220が続き、対象の歯を、ボリューム画像データの残部から分割する。次に、3D物体生成ステップS230が、ボリューム画像から目的とする特徴を識別する。レンダリングステップS240は次に、対象の歯およびその目的とする関連する特徴の3D表面レンダリングを生成する。
図12A、図12B、および図12Cは、歯根管80および破折82を有する対象の歯40に対する表面レンダリングの結果を示す。図12Cは、別の視野角からの歯40のワイヤフレーム像を示す。
図13は、本発明の実施形態に従う、ボリュームレンダリングのために使用される一連のステップを示す論理流れ図である。ボリューム獲得ステップS310において、対象の歯を含むCBCTまたは他のボリューム画像が獲得される。任意選択的な雑音除去ステップS320は、ボリューム画像データのための雑音除去を提供する。次に、任意選択的な部分的ボリューム補正ステップS330が、部分的ボリューム効果のために補正する。これらの画像化アーチファクトは、組織インターフェースにおいて生じ、ボリュームおよび表面の双方のレンダリングにおける誤差を引き起こすことがある。部分的ボリューム補正に対する1つの手法は、例えば、IEEE Transactions on Medical Imaging,Vol.24,No.2,Feb.2005,pp.223−235における、Andre Souza,Jayaram Udupa,and Punam Sahaによる「Volume Rendering in the Presence of Partial Volume Effects」と題される論文に記載されている。次に、ボリュームレンダリングステップS340が実行され、例えば、図9A、9B、および9Cに示される画像のような、対象の歯のレンダリング画像を提供する。
多数の異なる種類の構造識別および画像分割アルゴリズムが、入力された操作者命令に従って分割を提供するために採用さる可能性がある。本発明の実施形態によると、例えば、上述のFalcaoらの論文に記載されるように、画像森林化変換(IFT)が使用される。画像を表現し、その取り扱いを可能にするために、他の種類の画像表現を代替的に使用してもよい。
当業者によって理解されるように、本発明は、図2に示されるコンピュータ106、もしくは画像を表示し、操作者命令を受け付けてデータを入力し、かつ操作者入力に応答するための命令によってプログラムされる他の制御論理プロセッサデバイスといった、コンピュータプログラム製品を使用して実行されるシステムの部分を有する、システムまたは方法として具現化されてもよい。したがって、本発明の実施形態は、全体的にハードウェア実施形態、または本明細書においてすべてが概して「回路」もしくは「システム」として言及される場合のある、ソフトウェアおよびハードウェア態様の組み合わせの実施形態の形式であってもよい。さらに、本発明の一部分は、1つ以上のコンピュータまたはホストプロセッサによって実行される命令を有するコンピュータ可読記憶媒体に具現化される、コンピュータプログラム製品の形式であってもよい。この媒体は、例えば、磁気ディスク(ハードドライブもしくは記憶ディスク等)もしくは磁気テープといった、磁気記憶媒体、例えば、光ディスク、光テープ、もしくは機械可読バーコードといった、光学記憶媒体、例えば、固体ハードドライブ、ランダムアクセスメモリ(RAM)、もしくは読み出し専用メモリ(ROM)といった、固体電子記憶デバイス、またはコンピュータプログラムを記憶するために採用される任意の他の物理デバイスもしくは媒体を備えてもよい。本発明の方法を実施するためのコンピュータプログラムはまた、インターネットまたは他の通信媒体によってホストプロセッサに接続される、コンピュータ可読記憶媒体上にも記憶されてもよい。
用語「メモリ」は、本開示の文脈において、「コンピュータアクセス可能メモリ」と同等であり、画像データの記憶および操作のために使用され、また例えば、データベースを含む、コンピュータシステムへアクセス可能な、任意の種類の一時的もしくはより持続的なデータ記憶ワークスペースを指すことができることに留意されたい。メモリは、例えば、磁気または光学式記憶といった、長期記憶媒体等を使用する、不揮発性であってもよい。代替的に、メモリは、マイクロプロセッサまたは他の制御論理プロセッサデバイスによって一時バッファまたはワークスペースとして使用されるランダムアクセスメモリ(RAM)等の、電子回路を使用する、より揮発性のものであってもよい。表示データは、例えば、典型的には、表示デバイスに直接に組み込まれ、また表示されるデータを提供するために必要に応じて周期的にリフレッシュされる、一時記憶バッファ内に記憶される。この一時記憶バッファも同様に、本開示においてその用語が使用されるとき、メモリと見なすことができる。メモリはまた、計算および他の処理の中間および最終結果を実行し、記憶するための、データワークスペースとしても使用される。コンピュータアクセス可能メモリは、揮発性、不揮発性、または揮発性型と不揮発性型とのハイブリッド式の組み合わせであってもよい。
当業者は、かかるコンピュータプログラム製品の均等物が同様にハードウェア内に構築されてもよいことを、容易に認識するであろう。コンピュータ使用可能媒体またはコンピュータ可読媒体は、命令が、例えば、紙または他の媒体の光学的スキャンを介して、電子工学的に捕捉され、次にコンパイルされ、解釈され、もしくは必要に応じて別の方法で適切な様式で処理され、次にコンピュータメモリ内に記憶されるような、その上に実行可能な命令が印刷された紙または別の好適な媒体でさえある可能性がある。本書の文脈において、コンピュータ使用可能媒体またはコンピュータ可読媒体は、命令実行システム、装置、もしくはデバイスによる使用、またはそれらとの接続のために、コンピュータ命令を含む、記憶する、通信する、伝送する、もしくは移送することができる、任意の媒体であってよい。
本発明を1つ以上の実装に関して説明してきたが、変更および/または修正が、添付の特許請求の範囲の精神および範囲から逸脱することなく、説明される実施例に対してなされてもよい。加えて、本発明の特定の特徴が複数の実装のうちの1つのみに関して開示されているが、かかる特徴は、任意の所与のまたは特定の機能に対して望ましくまた有利な、他の実装の1つ以上の他の特徴と組み合わせることができる。
用語「〜のうちの少なくとも1つ」は、列挙されるアイテムのうちの1つ以上を選択することができることを意味するために使用される。用語「約」は、列挙される値が、その変更が説明される実施形態に対してプロセスまたは構造の不適合をもたらさない限り、幾分か変更されることが可能であることを示す。
用語「例示的」は、その記載が理想的であるということを示唆するのではなく、むしろ例として使用されることを示す。
本発明の他の実施形態が、本明細書に開示される本発明の本明細書および実施の考慮から、当業者にとって明らかとなるであろう。本明細書および実施例は、例にすぎないとみなされ、本発明の真の範囲および精神は、以下の特許請求の範囲によって示されることが意図される。
40 歯、44 背景コンテンツ、50 スプライン、58 ボリューム画像、60 スライス、62 切断面、70 角度選択アイコン、72 ワイヤフレーム表面レンダリング、74 ボリュームレンダリング、78 画像スライス、80 歯根管、82 破折、100 ボリューム画像化装置、104 操作者インターフェース、106 コンピュータ、108 ディスプレイ、110 X線源、112 回転式作動装置、121 放射線センサー、130 回転可能架台、132 メモリ。

Claims (14)

  1. 対象の歯の3Dインタラクティブな検査のための方法であって、前記方法は、少なくとも部分的にコンピュータによって実行され、
    少なくとも前記対象の歯と前記対象の歯に隣接する背景コンテンツとを含む、ボリューム画像データを取得することと、
    少なくとも前記対象の歯と前記背景コンテンツとを示す前記ボリュームデータから、第1の画像を表示することと、
    第1の操作者命令に従って、前記第1の画像内の前記背景コンテンツの一部分を識別することと、
    第2の操作者命令に従って、前記第1の画像内の少なくとも前記対象の歯に関して歯コンテンツを識別することと、
    前記第1および前記第2の操作者命令に従って、少なくとも前記対象の歯を、前記ボリュームデータ内から分割することと、
    前記分割された対象の歯を表示することと、
    を含む、方法。
  2. 前記分割された対象の歯を表示することは、歯根管および破折のうちの1つ以上を示す前記歯のスライスを視認するための切断面をコンピュータ処理することをさらに含む、請求項1に記載の方法。
  3. 前記コンピュータ処理される切断面に従って、前記分割された対象の歯のスライスを表示することをさらに含む、請求項2に記載の方法。
  4. 操作者からのページング命令に従って、前記分割された対象の歯の前記表示を、前記ボリューム画像データ内の第2のスライスに変更することをさらに含む、請求項3に記載の方法。
  5. 操作者からの平面角調節命令に応じて、前記切断面の相対的な角度を変更することさらに含む、請求項2に記載の方法。
  6. 前記対象の歯の分割の前に、前記ボリューム画像データの低減された解像度のコピーを形成することをさらに含む、請求項1に記載の方法。
  7. 前記ボリューム画像データ内の部分的ボリューム効果を補正することをさらに含む、請求項1に記載の方法。
  8. 前記第1の操作者命令は、前記表示される第1の画像上に描画されるスプラインを含む、請求項1に記載の方法。
  9. 前記第2の操作者命令は、前記表示される第1の画像上に2つ以上の歯にわたって描画されるスプラインを含む、請求項1に記載の方法。
  10. 前記対象の歯は、第1の対象の歯であり、前記第1の画像内の第2の対象の歯に対する歯コンテンツの位置を指示する第3の操作者命令を受け付けることをさらに含む、請求項1に記載の方法。
  11. 前記表示される歯内の歯根管または破折を強調することをさらに含む、請求項1に記載の方法。
  12. 前記分割された対象の歯を表示することは、前記対象の歯の表面画像をレンダリングすることを含む、請求項1に記載の方法。
  13. 1つ以上の対象の歯のボリューム画像を表示するための方法であって、前記方法は、少なくとも部分的にコンピュータによって実行され、
    前記1つ以上の対象の歯と前記対象の歯の外側の背景コンテンツとを含む、ボリューム画像データを取得することと、
    少なくとも前記対象の歯と前記背景コンテンツとを示す前記ボリュームデータから、第1の画像を表示することと、
    前記第1の画像内の前記背景コンテンツを指示する、第1の操作者命令を受け付けることと、
    前記第1の画像内の前記の1つ以上の対象の歯に対する歯コンテンツの位置を指示する、第2の操作者命令を受け付けることと、
    前記第1および前記第2の操作者命令に従って、前記1つ以上の対象の歯を前記ボリュームデータ内から分割することと、
    前記分割された1つ以上の対象の歯の前記ボリューム画像コンテンツに対してコンピュータ処理された切断面に従って、前記分割された対象の歯の第1のスライスを表示することと、
    を含む、方法。
  14. 前記第1の操作者命令は、前記表示された第1の画像上に描画されるスプラインを含む、請求項13に記載の方法。
JP2013053041A 2012-03-16 2013-03-15 歯根破折のインタラクティブな検査の方法 Expired - Fee Related JP6205146B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/422,145 US8923581B2 (en) 2012-03-16 2012-03-16 Interactive 3-D examination of root fractures
US13/422,145 2012-03-16

Publications (3)

Publication Number Publication Date
JP2013192939A true JP2013192939A (ja) 2013-09-30
JP2013192939A5 JP2013192939A5 (ja) 2016-04-28
JP6205146B2 JP6205146B2 (ja) 2017-09-27

Family

ID=47844041

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013053041A Expired - Fee Related JP6205146B2 (ja) 2012-03-16 2013-03-15 歯根破折のインタラクティブな検査の方法

Country Status (4)

Country Link
US (1) US8923581B2 (ja)
EP (1) EP2639764B1 (ja)
JP (1) JP6205146B2 (ja)
KR (1) KR20130105519A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019500095A (ja) * 2015-12-04 2019-01-10 3シェイプ アー/エス デジタル歯科カルテに記入するための歯部状態情報を導出する方法

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101911567B1 (ko) * 2011-03-21 2018-10-24 케어스트림 덴탈 테크놀로지 톱코 리미티드 치면 분류 방법
US20140195030A1 (en) * 2013-01-08 2014-07-10 Warsaw Orthopedic, Inc. Cutting decision-making system and method for donated tissues
JP5744084B2 (ja) * 2013-03-06 2015-07-01 株式会社モリタ製作所 歯科用画像表示装置、歯科用施術装置及び歯科用画像表示装置の作動方法
US9855114B2 (en) * 2013-05-21 2018-01-02 Carestream Health, Inc. Method and system for user interaction in 3-D cephalometric analysis
US9947129B2 (en) * 2014-03-26 2018-04-17 Carestream Health, Inc. Method for enhanced display of image slices from 3-D volume image
CN106228549B (zh) * 2016-07-14 2019-04-19 嘉兴学院 一种基于路径规划的三角网格牙齿分割方法
DK3496654T3 (da) * 2016-08-15 2020-08-03 Trophy Dynamisk tandbuekort
WO2019147868A1 (en) * 2018-01-26 2019-08-01 Align Technology, Inc. Visual prosthetic and orthodontic treatment planning
CN112136157B (zh) * 2018-05-29 2024-04-26 麦迪西姆有限公司 根据图像对牙齿牙髓区域分割的方法、系统和计算机程序
US10977837B2 (en) * 2018-06-21 2021-04-13 Canon Medical Systems Corporation Medical image processing apparatus and method
US11389131B2 (en) 2018-06-27 2022-07-19 Denti.Ai Technology Inc. Systems and methods for processing of dental images
KR102132369B1 (ko) * 2018-08-23 2020-07-09 주식회사 쓰리디산업영상 치아 분할 시스템 및 방법
CN109146867B (zh) * 2018-08-24 2021-11-19 四川智动木牛智能科技有限公司 口腔曲面ct图像生物特征提取及匹配方法和设备
US11222435B2 (en) * 2019-11-11 2022-01-11 James R. Glidewell Dental Ceramics, Inc. Determining rotation axis from x-ray radiographs
US11585766B2 (en) 2020-05-29 2023-02-21 James R. Glidewell Dental Ceramics, Inc. CT scanner calibration

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3983664B2 (ja) * 2000-10-04 2007-09-26 学校法人日本大学 医療用x線ct画像表示方法、表示装置、医療用x線ct装置及びこの表示方法を実現するプログラムを記録した記録媒体
JP2010148590A (ja) * 2008-12-24 2010-07-08 Imagunooshisu Kk 医用三次元画像における切断面画像の表示方法、医用三次元画像の表示装置および医用画像表示プログラム
US20110268326A1 (en) * 2010-04-30 2011-11-03 Align Technology, Inc. Virtual cephalometric imaging

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6632089B2 (en) * 1999-11-30 2003-10-14 Orametrix, Inc. Orthodontic treatment planning with user-specified simulation of tooth movement
JP3802508B2 (ja) * 2003-04-21 2006-07-26 アロカ株式会社 超音波診断装置
US20080030497A1 (en) 2005-12-08 2008-02-07 Yangqiu Hu Three dimensional modeling of objects
US7978191B2 (en) 2007-09-24 2011-07-12 Dolphin Imaging Systems, Llc System and method for locating anatomies of interest in a 3D volume
JP2010246883A (ja) * 2009-03-27 2010-11-04 Mitsubishi Electric Corp 患者位置決めシステム
US8970581B2 (en) * 2012-01-04 2015-03-03 Carestream Health, Inc. System and method for interactive contouring for 3D medical images

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3983664B2 (ja) * 2000-10-04 2007-09-26 学校法人日本大学 医療用x線ct画像表示方法、表示装置、医療用x線ct装置及びこの表示方法を実現するプログラムを記録した記録媒体
JP2010148590A (ja) * 2008-12-24 2010-07-08 Imagunooshisu Kk 医用三次元画像における切断面画像の表示方法、医用三次元画像の表示装置および医用画像表示プログラム
US20110268326A1 (en) * 2010-04-30 2011-11-03 Align Technology, Inc. Virtual cephalometric imaging

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019500095A (ja) * 2015-12-04 2019-01-10 3シェイプ アー/エス デジタル歯科カルテに記入するための歯部状態情報を導出する方法
US11612324B2 (en) 2015-12-04 2023-03-28 3Shape A/S Deriving tooth condition information for populating digital dental charts
US11931128B2 (en) 2015-12-04 2024-03-19 3Shape A/S Deriving tooth condition information for populating digital dental charts

Also Published As

Publication number Publication date
US8923581B2 (en) 2014-12-30
EP2639764A1 (en) 2013-09-18
KR20130105519A (ko) 2013-09-25
JP6205146B2 (ja) 2017-09-27
EP2639764B1 (en) 2019-04-17
US20130243276A1 (en) 2013-09-19

Similar Documents

Publication Publication Date Title
JP6205146B2 (ja) 歯根破折のインタラクティブな検査の方法
US11707238B2 (en) Dental panoramic views
US9972083B2 (en) Detection of tooth fractures in CBCT image
JP5775244B2 (ja) 医学的イメージング・ボリュームの3dグラフィカル・プリスクリプションのためのシステム及び方法
JP5400326B2 (ja) トモシンセシス画像を表示するための方法
JP5427179B2 (ja) 解剖学的データの視覚化
US11045290B2 (en) Dynamic dental arch map
US11900526B2 (en) Volume rendering using surface guided cropping
US20090003668A1 (en) Image processing method, image processing program, and image processing device
JP4563326B2 (ja) 画像処理方法および画像処理プログラム
JP4122314B2 (ja) 投影画像処理方法、投影画像処理プログラム、投影画像処理装置
WO2011040015A1 (ja) 医用画像表示装置および方法ならびにプログラム
JP2001022964A (ja) 三次元画像表示装置
JP7152738B2 (ja) 画像処理装置および画像処理プログラム
JP2022539655A (ja) 口腔内トモシンセシス用の多視点合成歯科エックス線写真を生成するためのシステムおよび方法
JP2001101449A (ja) 三次元画像表示装置
EP3326536B1 (en) Improved visualization of anatomical cavities
JP6393538B2 (ja) 医用画像処理装置、医用画像処理システム、医用画像処理方法、及び医用画像処理プログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160309

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160309

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20161221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170124

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20170406

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170724

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170808

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170904

R150 Certificate of patent or registration of utility model

Ref document number: 6205146

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees