Nothing Special   »   [go: up one dir, main page]

JP5918532B2 - 穿通枝血管の灌流を評価する装置及び穿通枝血管の灌流を評価するための装置の作動制御方法 - Google Patents

穿通枝血管の灌流を評価する装置及び穿通枝血管の灌流を評価するための装置の作動制御方法 Download PDF

Info

Publication number
JP5918532B2
JP5918532B2 JP2011504574A JP2011504574A JP5918532B2 JP 5918532 B2 JP5918532 B2 JP 5918532B2 JP 2011504574 A JP2011504574 A JP 2011504574A JP 2011504574 A JP2011504574 A JP 2011504574A JP 5918532 B2 JP5918532 B2 JP 5918532B2
Authority
JP
Japan
Prior art keywords
intensity
time
image
transfer function
perfusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011504574A
Other languages
English (en)
Other versions
JP2011519589A (ja
Inventor
ペーター ドボルスキ,
ペーター ドボルスキ,
デイヴィッド, エム., エイチ. ゴエッティ,
デイヴィッド, エム., エイチ. ゴエッティ,
ティー. ブルース ジュニア ファーガソン,
ティー. ブルース ジュニア ファーガソン,
チェン チェン,
チェン チェン,
Original Assignee
ノバダック テクノロジーズ インコーポレイテッド
ノバダック テクノロジーズ インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ノバダック テクノロジーズ インコーポレイテッド, ノバダック テクノロジーズ インコーポレイテッド filed Critical ノバダック テクノロジーズ インコーポレイテッド
Publication of JP2011519589A publication Critical patent/JP2011519589A/ja
Application granted granted Critical
Publication of JP5918532B2 publication Critical patent/JP5918532B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/026Measuring blood flow
    • A61B5/0265Measuring blood flow using electromagnetic means, e.g. electromagnetic flowmeter
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0071Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by measuring fluorescence emission
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/026Measuring blood flow
    • A61B5/0261Measuring blood flow using optical means, e.g. infrared light
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/026Measuring blood flow
    • A61B5/0275Measuring blood flow using tracers, e.g. dye dilution
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/48Other medical applications
    • A61B5/4887Locating particular structures in or on the body
    • A61B5/489Blood vessels
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7239Details of waveform analysis using differentiation including higher order derivatives
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7242Details of waveform analysis using integration
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00Medical imaging apparatus involving image processing or analysis
    • A61B2576/02Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/742Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/7425Displaying combinations of multiple images regardless of image source, e.g. displaying a reference anatomical image with a live image
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/742Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/743Displaying an image simultaneously with additional graphical information, e.g. symbols, charts, function plots
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Physiology (AREA)
  • Cardiology (AREA)
  • Hematology (AREA)
  • Psychiatry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Electromagnetism (AREA)
  • Vascular Medicine (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Surgical Instruments (AREA)
  • Prostheses (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Eye Examination Apparatus (AREA)

Description

本発明は、形成外科および再建手術のための穿通枝皮弁(perforator flaps)の位置特定(locating)および分析に関する。
関連出願の相互参照
本出願は、2008年4月14日出願の米国特許仮出願第61/044,779号の優先権を主張するものであり、その全内容を参照により本明細書に組み込む。
形成外科および再建手術には、皮膚および皮下組織から構成される皮弁の位置特定および臨床評価がしばしば伴い、こうした皮弁は、独立した(isolated)穿通枝血管によって供給され、したがって身体の別の部位に移植するのに潜在的に適している。穿通枝は、それらの源の血管から、深部筋組織中、または深部筋組織間を通って皮膚表面へと通じている。良好に血管新生した皮弁は、優れた移植片候補である。
例えば、1980年代初頭から、腹部の恵皮部皮弁が、自家組織による乳房再建の標準となってきている。腹部内では、遊離脂肪の選択肢として、完全な横行腹直筋皮(TRAM)皮弁から、深下腹壁動脈(DIEA)穿通枝皮弁などの独立した穿通枝皮弁まで幅がある。穿通枝皮弁によって、患者自身の皮膚および脂肪を、恵皮部の合併症を最小限に抑えながら、信頼性の高い手法で他の組織再建部位にも移植することが可能となってきている。ランダムパターン(random pattern)の血液供給に依存していた皮弁は、間もなく有茎の軸型パターン(axial pattern)皮弁に取って代わられ、この軸型パターン皮弁では、大量の組織を信頼性高く移植することが可能である。遊離組織移植の出現によって、恵皮部と、受皮部とが適切に整合する可能性が大幅に広がることになった。穿通枝皮弁の使用が増すにつれて、DIEAおよびその穿通枝の個々の特定の解剖学的特徴(anatomical feature)について術前に精通する必要が高まってきており、特に、腹壁への脈管供給の解剖学的構造に大幅な差があることを考えると、その必要がある。
穿通枝(perforator)の位置特定および評価は、労を要し、時間のかかる工程である。しばしば術前にコンピュータ断層撮影血管造影(CTA)撮像を実施して、位置特定が行われる。かかる手法には、多額の出費が伴い、また、外科医は、事前に取得した3D様相の画像を、目下手術台の上に横たわっている患者のその時点の2D視野と、頭の中で相関させなければならないため、さらに複雑となる。したがって、より好ましい撮像様相の研究が続けられており、近年では、蛍光信号に基づき、皮膚越しに血液循環を査定するインドシアニングリーン(ICG)蛍光撮像の使用に関心が寄せられている。近赤外スペクトル領域の放射によって励起すると、発光ピークが約830nmのICG蛍光が生じる。波長約800nmの励起光は、例えば、ダイオードレーザ、発光ダイオード(LED)、またはアークランプ、ハロゲンランプなどの他の従来の照明光源を適切な帯域フィルタと共に用いることによって生成することができる。皮膚は、この波長を透過する。
ICGは、血液タンパク質と強く結合し、以前から心拍出量測定、肝機能評価、および眼血管造影に使用されてきており、有害反応はほとんど見られない。ICG蛍光信号の評価を用いて、穿通枝の位置を特定することができる。穿通枝付近の皮膚表面には、一般に周囲組織よりも多量の血液が、より速い血流で蓄積されており、ICGを注入すると、穿通枝は、周囲組織よりも明るく、かつ急速に蛍光を発する傾向がある。この迅速で高強度の蛍光によって、穿通枝の位置を視覚的に特定することが可能となる。しかし、外科医は、優れた臨床判断をサポートするために、穿通枝の位置特定だけでなく、その評価および比較にも関心を寄せている。外科医は、いくつかの穿通枝のうちのいずれが最良の移植片候補であるか決定しなければならない。そのためには、蛍光が迅速に蓄積し、消散する様子を単に視覚的に観察するだけでは十分でない。例えば、連続注入によって残留ICGが組織内に蓄積し、注入ごとに背景輝度が徐々に上がるため、最良の穿通枝候補を視覚的に識別することがさらに容易でなくなるという傾向がある。さらに、ICGは、数分にわたって非常にゆっくり移動する場合があり、そのため、かかるオンザフライ分析は非常に困難となり、主観的となってしまう。外科医は、以下の事項によって査定を行うことになる。
1)ICG結合血液が組織中に存在する量。
2)ICG結合血液が組織中に存在する時間。
3)ICG結合血液が組織中を移動する速度。
4)ボーラス注入後、解剖学的領域が発光する順序。
上記事項は、主観に基づいて答えることは困難である。したがって、穿通枝の位置を特定し、評価する客観的な標準を適用するための、より高度な画像処理および表示方法が求められている。
上述したように、本発明は、穿通枝皮弁の位置を特定し、分析する方法および装置を提供することにある。
本発明の一態様によれば、形成外科および/または再建手術のための、ICG蛍光血管造影撮像を用いて穿通枝血管(perforator vessel)を術前に識別する方法が開示される。本方法は、穿通枝位置をハイライトし、様々なメトリクス(metrics)を計算することによって、穿通枝候補の視覚的識別を可能にする時間分解画像処理を含む。外科医は、以下の処理行為の少なくとも1つに従って、時系列分析を行い、メトリクスを出力するアルゴリズムの結果を選択し、比較することが可能となる。
ピクセルバイピクセル(pixel−by−pixel)ベースで時間積分蛍光を求めること。
時間積分蛍光を経過時間で除算して、平均蛍光を計算すること。
蛍光の増大/流出率を求めること。
ピーク蛍光に達する経過時間を求めること。
様々な画像処理ステップによって、全取得時間にわたって、または選択した一時的な下位範囲で観察される入力シーケンスの各ピクセルについて、画像ピクセルを独立に処理し、特有の数値メトリクスを計算する。したがって、各画像出力は、入力画像シーケンスのフレームと同じ寸法、すなわち同じピクセル数および配列を有する数値アレイとなる。したがって、処理した画像を、撮像領域にわたって計算したピクセル値の3次元表示、例えば等高線図として、または色分けした2次元画像もしくは起伏図として表示することができる。かかる画像表示によって、画像特徴の迅速な理解が促進され、また、画像上の領域間の比較、この場合は、皮膚下の穿通枝の位置の比較が容易になる。
本発明の上記およびその他の特徴および利点は、以下の本発明の詳細な説明からよりよく理解されよう。また、以下に示す図は、本発明のある例示的な実施形態を示し、同じ参照番号は同じ要素を示す。これら図示の実施形態は、本発明の例示として理解すべきであり、いかなる形でも本発明を限定するものではない。
ICG蛍光を観察するカメラシステムの概略図である。 ピクセル値を時間で積分した、皮膚のある領域のICG蛍光画像である。 ピクセル値を経過時間で逆に重み付けして時間で積分した、皮膚のある領域のICG蛍光画像である。 ピクセル値を蛍光の増大率によって求めた、皮膚のある領域のICG蛍光画像である。 ピクセル値を最大蛍光に達する経過時間によって求めた、皮膚のある領域のICG蛍光画像である。 ピクセル値をピーク蛍光によって求めた、皮膚のある領域のICG蛍光画像である。 可変コントラスト伝達関数(variable contrast transfer function)で処理した蛍光画像のオーバーレイを示す図である。 別の可変コントラスト伝達関数で処理した蛍光画像のオーバーレイを示す図である。 別の可変コントラスト伝達関数で処理した蛍光画像のオーバーレイを示す図である。
本発明は、いかなる切開も行う前の、非侵襲的方法による穿通枝皮弁の穿通枝血管の位置の術前判定を対象とする。
図1は、ICG蛍光撮像による、術中、特に術前の、皮膚越しの非侵襲的な組織灌流判定に用いる装置を概略的に示す。赤外光源、例えば、ピーク発光が約780〜800nmの、ICGの蛍光を励起する1つまたは複数のダイオードレーザ、またはLEDが、ハウジング1内に配置されている。蛍光信号は、適切な近赤外感度を有するCCDカメラ2によって検出され、かかるカメラは、いくつかの製造業者(Hitachi、Hamamatsuなど)から市販されている。CCDカメラ2には、ビューファインダ8を設けることができるが、画像はまた、術中に外部モニタ上で見ることもでき、このモニタは、電子画像処理および評価システム11の一部とすることができる。
発散ビームまたは走査ビームでよい光ビーム3が、ハウジング1から発して、関心領域4、すなわち適切な穿通枝血管を備えた皮弁が位置すると思われる領域を照明する。関心領域は、約10cm×10cmでよいが、外科的要件、および利用可能な照度、およびカメラ感度に基づいて変えることができる。
励起光がカメラセンサに達するのを阻止し、一方で蛍光光は通過可能となるように、典型的にはフィルタ6がカメラレンズ7の前に配置される。フィルタ6は、約815nmよりも大きい波長しか透過しないNIR長波パスフィルタ(カットフィルタ)、または好ましくは830から845nmのピーク波長を透過し、約10nmから25nm、すなわち励起波長帯以外の半値全幅(FWHM)透過窓を有する帯域フィルタでよい。カメラ2はまた、関心領域のカラー画像を取得するように設計することができ、したがって蛍光画像とカラー画像との実時間相関が可能である。
本発明の例では、図1に示す装置を用いて、手術前に穿通枝血管を識別/位置特定するものであり、これは、外科医が、再建術中に使用すべき最良の皮弁または皮弁帯を選択する一助となる。
他の術後用途では、この装置は、以下の用途で使用することができる。
吻合開通、ならびに動脈流および静脈流の確認。これは、潜在的に皮弁不全をなくす結果を向上させ得るものであり、皮弁不全は、動脈流が低下し、灌流(perfusion)が不十分となり、静脈還流もやはり低下して、鬱血が生じる結果として生じる可能性がある。
完全な組織灌流の視覚化および確認。皮弁生着には、皮弁全体と元の組織との微小血管灌流が重要となるためである。
本発明では、画像処理および表示技術によって穿通枝の位置が視覚化され、それによって、穿通枝候補の客観的な視覚的識別が容易になる。ICGを注入し、ICG蛍光が灌流し流出する全サイクルを、画像形成装置によって取得する。画像取得後、全シーケンス、または画像のいくつかの一時的な下位範囲を画像処理アルゴリズムによって処理し、このアルゴリズムは外科医が選択することができる。
蛍光測定値の処理結果は、例えば、疑似カラー画像または等高線図として視覚化することができ、それによって適用したアルゴリズムに従った迅速な視覚的評価が可能となる。例えば、各ピクセルの蛍光強度は、青(「低温」スポットまたは低蛍光強度もしくは低蛍光率)から赤(「高温」スポットまたは高蛍光強度もしくは高蛍光率)までの様々なスペクトルカラーとして描画することができる。他のスペクトル関連事項も容易に適応される。出力は、元の解剖学的画像上に半透明で重ね合わせて示すことができる。こうすることによって、「高温」スポットと、下にある解剖学的構造とを視覚的に相関させることが可能となる。「高温」スポットの意味は、積分強度、重み付けありまたは重み付けなし、増大率または流出率など、使用するアルゴリズムによって変わる。
使用者には、「高温」から「低温」へのカラーマッピングについて対話式制御が与えられ、実時間でこのカラーマッピングを変化させて、各アルゴリズムの出力メトリクスのダイナミックレンジのより細かい、またはより粗い下位範囲を調べることができる。カラー窓を広げると、最も高温の領域がまずハイライトされ、次いでより低温の領域がハイライトされる。この種の調整は、取得したピクセルと、表示されている画像のピクセルとの明度またはコントラストのマッピングを変えることによって行うことができる。かかるマッピング機能は、標準の画像形成プログラムに含まれ得る。現時点で使用しているメトリクスに基づいたこうした窓掛け処理は、穿通枝間での識別の一助となり、知覚を高め、注入したICGの動きを外科医がよりよく理解できることになる。
本発明はまた、患者の皮膚上の異なる2つの位置からの2つのシーケンスの同時表示および評価をサポートする。これによって、画像形成システムの視野よりも広い間隔を置いて離れている皮弁候補間の比較が可能となる。
図2は、適切な穿通枝血管が識別されると思われる、患者の皮膚のある領域の画像を示している。各ピクセルは、画像シーケンスの露光時間にわたる蛍光強度の時間積分を表している。このモードは、典型的には、画像処理の「積分モード(integration mode)」と呼ばれ、多くの画像処理プロセッサで、このモードが標準機能として搭載されている。実際には、画像シーケンスの各フレーム中に取得されたピクセル強度(CCD内で収集された電荷)を、例えば画像処理プロセッサ内で、ピクセルバイピクセルベースで加算し、フレームの数で除算し、その後、その総和を例えば1から255(8ビット)の固定したダイナミックレンジに正規化することができる。その概念は、画像中のより明るいピクセルが、予め設定された期間にわたってICG搬送血液がより大量に流れ込んでいる皮膚領域を表す、ということである。図2では、穿通枝血管24が最も高い積分蛍光強度を示し、26で示す別の穿通枝血管が、それよりも弱い蛍光強度を示している。
この画像の透過性は、画面右上の医師によるマーカ22が、ICG蛍光画像の透過性カラーオーバーレイを透かして見えるように設定されている点に留意されたい。
図3は、ピクセル値を経過時間で逆に重み付けして時間で積分した同じ皮膚領域のICG蛍光画像を示している。この画像処理アルゴリズムは、先に説明した積分と類似しているが、各ピクセルの測定強度を直接加算するのではなく、測定強度値を、ICG蛍光の観測開始後の経過時間でまず除算し、その後加算する。このようにすると、より初期の蛍光信号には、後から取得した蛍光信号よりも高い重要性が与えられる。「最も高温」のピクセルは、画像フレームのシーケンス中で他のピクセルよりも早く蛍光を発するピクセルであり、他のピクセルにはICGボーラスが後に到達する。図2と同じ穿通枝血管34が識別され、ここでは別の血管36は、かろうじて識別可能である。
図4は、やはり同じ皮膚領域のICG蛍光画像を示し、この画像のピクセル値は、蛍光強度の増大率によって求めている。この画像処理アルゴリズムでは、画像の各ピクセルについて、ピクセル強度対経過時間の傾きが計算される。例えば、各ピクセルには、最も低い強度値(ベースライン)と、最も高い強度値(または、別の比較的高い強度値)とを割り当てることができる。各ピクセルについて、ピクセル強度がベースラインと交差する時間と、ピクセル強度が高強度値と交差する時間とが記録される。この情報から、画像処理アルゴリズムによって、画像中の各ピクセルについて増大率を計算すると、「より高温の」ピクセルはより大きい傾きを有し、すなわち、それらのピクセルは、「より低温の」ピクセルよりも速く高強度値に達することになる。したがって、画像処理アルゴリズムのこの実施形態は、ICGボーラスが穿通枝血管に達する速度をハイライトする。図4では透過性がオフになっており、したがって外科医の器具は本画像では見られない。
ここでは参照符号44で示す、先に識別された穿通枝血管は、遙かに良好に画定されており、血管46(先に26および36として示したもの)および別の血管48も同様に良好に画定されている。
図5は、ピクセル値を最大蛍光に達する経過時間によって求めた、同じ皮膚領域のICG蛍光画像を示している。時間による変化率を示す図4とは異なり、図5の画像処理アルゴリズムは、ピクセルがそれらの最大強度に達する時間を示し、「より高温の」ピクセルが、より低温のピクセルよりも素早くそれぞれのピーク蛍光強度に達している。したがって、このアルゴリズムは、穿通枝がそれらのピーク強度に達する順序で画像領域をハイライトしている。この画像では、先に識別された穿通枝血管24、34、44がやはり明白に識別可能であり、血管56および58は、図4の血管46および48に対応している。
図6は、ピクセル値を各ピクセルのピーク蛍光値によって求めた、同じ皮膚領域のICG蛍光画像を示している。より高い(「高温」)蛍光強度値64は、より高いICG濃度を示し得るか、または穿通枝血管が皮膚表面により近く位置するために示されることもあり、皮膚表面では、励起光の吸収/蛍光応答が低減する。図4および5では明白に見えていた血管66、68は、背景からかろうじて識別可能である。
例えば図2および6に示す画像は、上述の様々なアルゴリズムを用いて処理したピクセル値を表示ピクセル強度に1:1でマッピングする線形コントラスト伝達関数を用いて描画しているが、画像はまた、画像の視覚差を強調するように可変コントラスト伝達関数を用いて(等高線図または疑似カラーオーバーレイとして)描画することもできる。さらに、オーバーレイ画像には、以下でACR(積算または時間積分強度比率(accumulated or time−integrated intensity ratio))ラベルと称するラベルを付すことができ、こうしたラベルによって、解剖学的構造の2つ以上の領域間での量的比較が容易になる。
可変コントラスト伝達関数のダイナミックレンジおよび傾きを改変すると、画像の絶対ピクセル値が変わるため、ACRラベルによって、選択された任意のオーバーレイ技術(例えば積算/時間平均強度など)で測定した異なる画像領域における相対的な灌流を使用者が比較することが可能となる。
以下の手法を用いて、ACRラベル値を計算する。分かりやすいように、積算強度をオーバーレイ技術として選択するが、利用可能なオーバーレイ技術のいずれを用いても同じ手法を取ることができる。
1)画像シーケンス中の全画像の全ピクセルについて、積算強度を時間窓にわたって計算する。
2)積算強度を、選択したラベルの領域(例えば、5×5ピクセル正方行列)にわたって平均する。
3)平均強度を、全画像の積算強度の最大値に正規化する。
4)正規化した平均を、伝達関数の最大値が100%を表すようにスケーリングする。
この手法に従うことによって、伝達関数の傾きが改変されても、異なる2つのACRラベルの相対比率は変わらないままとなる。図7および図8は、異なる2つのコントラスト関数について、上述のアルゴリズムのうちの1つを用いて処理した画像シーケンスからの蛍光画像(グレースケール画像の上部)と、シーケンスからの積算強度をカラー(低値の青から高値の赤)で描画した疑似カラーオーバーレイ画像とを示す。図7のピクセル値は、第1のコントラスト伝達関数を用い、2つの領域についてそれぞれ強度52%および72%として処理しており、ラベル付けした2つの領域間の比率は52/72=.72に対応する。図8の第2のオーバーレイ画像は、異なるコントラスト伝達関数を用いて処理した同じピクセル値を示し、2つの領域の強度は、ここではそれぞれ99%および71%とラベル付けしてある。しかし、それらの相対比率は、71/99=0.72で本質的に変わらないままとなっている。
使用者は、制御領域が100%でラベル付けされるように伝達関数を改変することができ、次いで、他の全ての領域をこの制御領域と比較することができる。
図9は、オーバーレイが透過性であることを示し、ここでは、積算強度ピクセルは、伝達関数ランプ(transfer function ramp)の底部がピクセル値横軸と交差する点よりも低い値を有する。さらに、この例では、画像領域の12%(下部ウィンドウ右下の被写域数字(coverage number))が、最大積算強度の52%よりも高い積算強度を有することを示している。この図は、いくつかの領域がそれらの52%等高線で囲まれている様子を示している。
上述の実施形態は、近赤外スペクトル領域での励起後にICGによって経皮的に発せられた蛍光信号を検出する。しかし、組織が光を透過するスペクトル領域で励起し、蛍光を発することができるその他の染料も使用することができることが、当業者には理解されよう。
動脈血流、すなわち穿通枝血管(複数可)への血液供給の例に関して本発明を説明してきたが、本方法はまた、ピーク強度からベースラインに下がる変化率を定量化し、表示することによって、静脈鬱血による移植片不全を検出することもできる。ここでは、灌流領域の静脈還流がハイライトされることになる。
本発明には、様々な改変形態および代替形態が許容されるが、その特定の例を図面に示し、本明細書で詳細に説明してきた。しかし、本発明は開示の特定の形態または方法に限られるものではなく、本発明は、添付の特許請求の範囲の趣旨および範囲に含まれる全ての改変形態、均等物、代替形態をも包含するものであることを理解されたい。

Claims (6)

  1. 穿通枝血管の灌流を評価するための装置の作動制御方法であって、
    検出手段が、ICGボーラス血流に加えられた組織からの蛍光応答を検出するステップと、
    取得する手段が、所定の時間にわたって前記蛍光応答の時間的な画像シーケンスを取得するステップと、
    選択する手段が、前記画像シーケンスを処理するためのアルゴリズムを選択するステップと、
    画像を処理する手段が、前記選択したアルゴリズムを用いて、前記画像のピクセル値の時間積分強度または強度の時間微分を算出するように、前記画像シーケンスを処理するステップと、
    表示する手段が、前記時間積分強度または強度の時間微分を、カラー画像として表示するステップと、
    適用する手段が、コントラスト伝達関数を前記時間積分強度または前記強度の時間微分に適用するステップとを含み、
    前記コントラスト伝達関数は、前記時間積分強度または前記強度の時間微分を、異なる灌流特性を異なる色で表すオーバーレイ画像に変換する線形関数または非線形関数を表すことを特徴とする方法。
  2. 前記時間的な画像シーケンスは、各ピクセルの前記時間積分強度値を、ICGボーラス注入後の経過時間で除算することによって処理されることを特徴とする請求項1に記載の方法。
  3. 前記コントラスト伝達関数は、異なる傾きの領域を有する非線形関数であり、前記傾きと、前記異なる傾き間の移行とを前記血管の前記灌流を評価する手順の間、臨床医によって選択することができることを特徴とする請求項1乃至のいずれか一項に記載の方法。
  4. 前記時間積分強度または前記強度の時間微分の数値を、前記オーバーレイ画像で表示するステップをさらに含むことを特徴とする請求項1乃至のいずれか一項に記載の方法。
  5. 1つ以上の選択された画像領域について、時間積分強度比率を計算するステップをさらに含み、
    前記時間積分強度比率は、
    全ピクセルについて前記時間積分強度を計算するステップと、
    前記時間積分強度を、前記選択された画像領域にわたって平均するステップと、
    前記平均された時間積分強度を、全画像の前記時間積分強度の最大値に正規化するステップと、
    前記正規化された強度を、前記コントラスト伝達関数の前記最大値を用いてスケーリングするステップと、
    を用いて計算されることを特徴とする請求項1乃至のいずれか一項に記載の方法。
  6. 穿通枝血管の灌流を評価する装置であって、
    ICGボーラス血流に加えられた組織からの蛍光応答を検出する手段と、
    所定の時間にわたって前記蛍光応答の時間的な画像シーケンスを取得する手段と、
    前記画像シーケンスを処理するためのアルゴリズムを選択する手段と、
    前記選択したアルゴリズムを用いて、前記画像のピクセル値の時間積分強度または強度の時間微分を算出するように、前記画像シーケンスを処理する手段と、
    前記時間積分強度または前記強度の時間微分を、カラー画像として表示する手段と、
    コントラスト伝達関数を前記時間積分強度または前記強度の時間微分に適用する手段とを備え、
    前記コントラスト伝達関数は、前記時間積分強度または前記強度の時間微分を、異なる灌流特性を異なる色で表すオーバーレイ画像に変換する線形関数または非線形関数を表すことを特徴とする装置。
JP2011504574A 2008-04-14 2009-04-14 穿通枝血管の灌流を評価する装置及び穿通枝血管の灌流を評価するための装置の作動制御方法 Active JP5918532B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US4477908P 2008-04-14 2008-04-14
US61/044,779 2008-04-14
PCT/IB2009/005700 WO2009127972A2 (en) 2008-04-14 2009-04-14 Locating and analyzing perforator flaps for plastic and reconstructive surgery

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2016014503A Division JP6577877B2 (ja) 2008-04-14 2016-01-28 組織灌流を評価するための方法及びシステム

Publications (2)

Publication Number Publication Date
JP2011519589A JP2011519589A (ja) 2011-07-14
JP5918532B2 true JP5918532B2 (ja) 2016-05-18

Family

ID=41199522

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2011504574A Active JP5918532B2 (ja) 2008-04-14 2009-04-14 穿通枝血管の灌流を評価する装置及び穿通枝血管の灌流を評価するための装置の作動制御方法
JP2016014503A Active JP6577877B2 (ja) 2008-04-14 2016-01-28 組織灌流を評価するための方法及びシステム
JP2019099701A Pending JP2019193798A (ja) 2008-04-14 2019-05-28 形成外科および再建手術のための穿通枝皮弁の位置特定および分析

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2016014503A Active JP6577877B2 (ja) 2008-04-14 2016-01-28 組織灌流を評価するための方法及びシステム
JP2019099701A Pending JP2019193798A (ja) 2008-04-14 2019-05-28 形成外科および再建手術のための穿通枝皮弁の位置特定および分析

Country Status (9)

Country Link
EP (2) EP2268201B1 (ja)
JP (3) JP5918532B2 (ja)
KR (2) KR101759850B1 (ja)
CN (1) CN102083362B (ja)
BR (1) BRPI0907272A2 (ja)
HK (1) HK1158482A1 (ja)
MX (1) MX2010011249A (ja)
RU (1) RU2506896C2 (ja)
WO (1) WO2009127972A2 (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9816930B2 (en) 2014-09-29 2017-11-14 Novadaq Technologies Inc. Imaging a target fluorophore in a biological material in the presence of autofluorescence
US9936887B2 (en) 2008-01-25 2018-04-10 Novadaq Technologies ULC Method for evaluating blush in myocardial tissue
US10041042B2 (en) 2008-05-02 2018-08-07 Novadaq Technologies ULC Methods for production and use of substance-loaded erythrocytes (S-IEs) for observation and treatment of microvascular hemodynamics
US10219742B2 (en) 2008-04-14 2019-03-05 Novadaq Technologies ULC Locating and analyzing perforator flaps for plastic and reconstructive surgery
US10265419B2 (en) 2005-09-02 2019-04-23 Novadaq Technologies ULC Intraoperative determination of nerve location
US10278585B2 (en) 2012-06-21 2019-05-07 Novadaq Technologies ULC Quantification and analysis of angiography and perfusion
US10434190B2 (en) 2006-09-07 2019-10-08 Novadaq Technologies ULC Pre-and-intra-operative localization of penile sentinel nodes
US10492671B2 (en) 2009-05-08 2019-12-03 Novadaq Technologies ULC Near infra red fluorescence imaging for visualization of blood vessels during endoscopic harvest
US10631746B2 (en) 2014-10-09 2020-04-28 Novadaq Technologies ULC Quantification of absolute blood flow in tissue using fluorescence-mediated photoplethysmography
US10992848B2 (en) 2017-02-10 2021-04-27 Novadaq Technologies ULC Open-field handheld fluorescence imaging systems and methods

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010018872A1 (de) * 2010-04-30 2011-11-03 Siemens Aktiengesellschaft Bildgebendes Verfahren zur hervorgehobenen Darstellung von Gefäßen in einem Untersuchungsbereich eines Patienten und Medizinsystem zur Durchführung des Verfahrens
CN102764124B (zh) * 2012-07-09 2013-12-25 华东师范大学 一种基于磁共振成像对穿支皮瓣血管定位与测量的方法
US10426361B2 (en) 2013-06-14 2019-10-01 Novadaq Technologies ULC Quantification of absolute blood flow in tissue using fluorescence-mediated photoplethysmography
US11553844B2 (en) 2014-10-14 2023-01-17 East Carolina University Methods, systems and computer program products for calculating MetaKG signals for regions having multiple sets of optical characteristics
US10722173B2 (en) 2014-10-14 2020-07-28 East Carolina University Methods, systems and computer program products for visualizing anatomical structures and blood flow and perfusion physiology using imaging techniques
CN107257655B (zh) 2014-10-14 2020-06-16 东卡罗莱娜大学 用于利用从多谱段血液流动和灌注成像获取的信号确定血液动力学状态参数的方法、系统和计算机程序产品
KR102031738B1 (ko) * 2015-02-02 2019-10-14 노바다크 테크놀러지즈 유엘씨 피검체의 조직을 특성화하는 방법 및 시스템
US10390718B2 (en) 2015-03-20 2019-08-27 East Carolina University Multi-spectral physiologic visualization (MSPV) using laser imaging methods and systems for blood flow and perfusion imaging and quantification in an endoscopic design
US10058256B2 (en) 2015-03-20 2018-08-28 East Carolina University Multi-spectral laser imaging (MSLI) methods and systems for blood flow and perfusion imaging and quantification
WO2017007791A1 (en) * 2015-07-06 2017-01-12 Scinovia Corp. Fluorescence based flow imaging and measurements
EP3352697A4 (en) * 2015-09-23 2019-06-19 Novadaq Technologies ULC METHOD AND SYSTEMS FOR ADMINISTERING DATA FROM MEDICAL IMAGING
EP3352670B8 (en) * 2015-09-23 2024-07-03 Stryker Corporation Method and system for assessing healing of tissue
US10646128B2 (en) 2016-02-16 2020-05-12 Novadaq Technologies ULC Facilitating assessment of blood flow and tissue perfusion using fluorescence-mediated photoplethysmography
CA3021481A1 (en) 2016-07-29 2018-02-01 Novadaq Technologies ULC Methods and systems for characterizing tissue of a subject utilizing machine learning
EP3410394B1 (en) * 2017-06-01 2020-01-15 Leica Instruments (Singapore) Pte. Ltd. Method, image processor and device for observing an object containing a bolus of a fluorophore
US20220313092A1 (en) 2017-10-26 2022-10-06 Fluoptics Method and device for monitoring the fluorescence emitted at the surface of a biological tissue
JP7200755B2 (ja) * 2019-03-04 2023-01-10 株式会社島津製作所 イメージング装置およびイメージング装置の作動方法
KR102446153B1 (ko) 2019-07-31 2022-09-23 가톨릭대학교 산학협력단 피부 부착형 유리피판 혈류 모니터링 시스템
CN111358553B (zh) * 2020-03-11 2021-08-10 宁波市第一医院 一种穿支皮瓣构建方法、装置、计算机设备及可存储介质

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3906860A1 (de) * 1988-03-08 1989-09-28 Fraunhofer Ges Forschung Vorrichtung zum herstellen einer angiographie
JPH09308609A (ja) * 1996-05-24 1997-12-02 Canon Inc 眼科用画像処理装置
US6086539A (en) * 1996-12-04 2000-07-11 Acuson Corporation Methods and apparatus for ultrasound image quantification
US6915154B1 (en) * 1999-09-24 2005-07-05 National Research Council Of Canada Method and apparatus for performing intra-operative angiography
ATE506005T1 (de) * 1999-09-24 2011-05-15 Ca Nat Research Council Vorrichtung zur durchführung einer intraoperativen angiographie
US20050182434A1 (en) * 2000-08-11 2005-08-18 National Research Council Of Canada Method and apparatus for performing intra-operative angiography
DE10120980B4 (de) * 2001-05-01 2009-12-03 Pulsion Medical Systems Ag Verfahren, Vorrichtung und Computerprogramm zur Bestimmung des Blutflusses in einer Gewebe- oder Organregion
US6757554B2 (en) * 2001-05-22 2004-06-29 Alfred E. Mann Institute For Biomedical Engineering At The University Of Southern California Measurement of cardiac output and blood volume by non-invasive detection of indicator dilution
JP4515721B2 (ja) * 2002-06-21 2010-08-04 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 灌流画像を分析するための方法、装置及びソフトウェア
DE10257743B4 (de) * 2002-12-10 2006-11-23 Irmgard Zerrle Vorrichtung zur Bestimmung der Perfusion in einem Gewebebereich und des Blutflusses durch einzelne Blutgefäße
US7512436B2 (en) * 2004-02-12 2009-03-31 The Regents Of The University Of Michigan Method of evaluating metabolism of the eye
JP4533673B2 (ja) * 2004-06-07 2010-09-01 オリンパス株式会社 赤外観察システム及び赤外観察システムによる作動方法
WO2006014334A2 (en) * 2004-07-06 2006-02-09 Advanced Biophotonics, Inc. Systems and methods for localizing vascular architecture, and evaluation and monitoring of functional behavior of same
RU2288633C1 (ru) * 2005-04-29 2006-12-10 ГОУ ВПО "Красноярская государственная медицинская академия Федерального агентства по здравоохранению и социальному развитию" Способ определения границ резекции при закрытой травме поджелудочной железы с разрывом главного панкреатического протока
CN101179998B (zh) * 2005-05-20 2010-12-08 株式会社日立医药 图像诊断装置
JP2007021006A (ja) * 2005-07-20 2007-02-01 Hitachi Medical Corp X線ct装置
DE102005044531A1 (de) * 2005-09-16 2007-03-22 Myrenne Gmbh Verfahren zur Bestimmung einer Perfusionsverteilung
JP4936812B2 (ja) * 2006-07-21 2012-05-23 株式会社日本色材工業研究所 化粧料の成型装置および成型方法
KR100867977B1 (ko) * 2006-10-11 2008-11-10 한국과학기술원 인도시아닌 그린 혈중 농도 역학을 이용한 조직 관류 분석장치 및 그를 이용한 조직 관류 분석방법

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10265419B2 (en) 2005-09-02 2019-04-23 Novadaq Technologies ULC Intraoperative determination of nerve location
US10434190B2 (en) 2006-09-07 2019-10-08 Novadaq Technologies ULC Pre-and-intra-operative localization of penile sentinel nodes
US10835138B2 (en) 2008-01-25 2020-11-17 Stryker European Operations Limited Method for evaluating blush in myocardial tissue
US9936887B2 (en) 2008-01-25 2018-04-10 Novadaq Technologies ULC Method for evaluating blush in myocardial tissue
US11564583B2 (en) 2008-01-25 2023-01-31 Stryker European Operations Limited Method for evaluating blush in myocardial tissue
US10219742B2 (en) 2008-04-14 2019-03-05 Novadaq Technologies ULC Locating and analyzing perforator flaps for plastic and reconstructive surgery
US10041042B2 (en) 2008-05-02 2018-08-07 Novadaq Technologies ULC Methods for production and use of substance-loaded erythrocytes (S-IEs) for observation and treatment of microvascular hemodynamics
US10492671B2 (en) 2009-05-08 2019-12-03 Novadaq Technologies ULC Near infra red fluorescence imaging for visualization of blood vessels during endoscopic harvest
US11284801B2 (en) 2012-06-21 2022-03-29 Stryker European Operations Limited Quantification and analysis of angiography and perfusion
US10278585B2 (en) 2012-06-21 2019-05-07 Novadaq Technologies ULC Quantification and analysis of angiography and perfusion
US9816930B2 (en) 2014-09-29 2017-11-14 Novadaq Technologies Inc. Imaging a target fluorophore in a biological material in the presence of autofluorescence
US10488340B2 (en) 2014-09-29 2019-11-26 Novadaq Technologies ULC Imaging a target fluorophore in a biological material in the presence of autofluorescence
US10631746B2 (en) 2014-10-09 2020-04-28 Novadaq Technologies ULC Quantification of absolute blood flow in tissue using fluorescence-mediated photoplethysmography
US10992848B2 (en) 2017-02-10 2021-04-27 Novadaq Technologies ULC Open-field handheld fluorescence imaging systems and methods
US11140305B2 (en) 2017-02-10 2021-10-05 Stryker European Operations Limited Open-field handheld fluorescence imaging systems and methods
US12028600B2 (en) 2017-02-10 2024-07-02 Stryker Corporation Open-field handheld fluorescence imaging systems and methods

Also Published As

Publication number Publication date
RU2011111078A (ru) 2012-09-27
JP2016135253A (ja) 2016-07-28
WO2009127972A3 (en) 2010-01-28
KR101621107B1 (ko) 2016-05-13
KR101759850B1 (ko) 2017-07-19
EP3278723A1 (en) 2018-02-07
JP2011519589A (ja) 2011-07-14
BRPI0907272A2 (pt) 2015-07-21
EP2268201A4 (en) 2014-05-28
WO2009127972A2 (en) 2009-10-22
KR20160040315A (ko) 2016-04-12
KR20100136540A (ko) 2010-12-28
CN102083362B (zh) 2015-04-22
HK1158482A1 (en) 2012-07-20
EP2268201A2 (en) 2011-01-05
JP2019193798A (ja) 2019-11-07
EP2268201B1 (en) 2017-05-17
CN102083362A (zh) 2011-06-01
MX2010011249A (es) 2011-03-02
RU2506896C2 (ru) 2014-02-20
JP6577877B2 (ja) 2019-09-18

Similar Documents

Publication Publication Date Title
JP6577877B2 (ja) 組織灌流を評価するための方法及びシステム
JP6535717B2 (ja) 形成外科手術のための穿通枝皮弁の位置確認及び分析
US10869645B2 (en) Methods and systems for adaptive imaging for low light signal enhancement in medical visualization
CN108882896B (zh) 用于评定组织的治愈的方法和系统
US8948851B2 (en) Method and apparatus for depth-resolved fluorescence, chromophore, and oximetry imaging for lesion identification during surgery
KR100737620B1 (ko) 외과 수술 중의 혈관조영술을 수행하는 방법 및 장치
JP6813245B2 (ja) 単一の画像上で解剖学的データと生理学的データとを結合するためのシステムの作動方法、コンピュータシステム、及び単一の画像上で解剖学的データと生理学的データとを結合するためのプログラムが記録された記録媒体
CA2975295A1 (en) Methods and systems for characterizing tissue of a subject
CN108601510A (zh) 内窥镜观察方法和内窥镜装置
JP6485275B2 (ja) イメージング装置
US20190239749A1 (en) Imaging apparatus
US20220211258A1 (en) Contrast enhancement for medical imaging
JP6512320B2 (ja) イメージング装置
WO2024067948A1 (en) Method and apparatus
WO2018216658A1 (ja) 撮像装置、撮像システム、及び撮像方法
Stepp et al. Endoscopic ICG perfusion imaging for flap transplants: technical development

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120413

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130718

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130730

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20131029

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20131030

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20131105

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20131106

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140130

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20140818

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141218

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20150210

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150317

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20150317

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20150417

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20151214

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20160114

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160128

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160408

R150 Certificate of patent or registration of utility model

Ref document number: 5918532

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250