Nothing Special   »   [go: up one dir, main page]

JP2010240256A - 医用画像観察システム - Google Patents

医用画像観察システム Download PDF

Info

Publication number
JP2010240256A
JP2010240256A JP2009094241A JP2009094241A JP2010240256A JP 2010240256 A JP2010240256 A JP 2010240256A JP 2009094241 A JP2009094241 A JP 2009094241A JP 2009094241 A JP2009094241 A JP 2009094241A JP 2010240256 A JP2010240256 A JP 2010240256A
Authority
JP
Japan
Prior art keywords
medical image
image
map
unit
medical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009094241A
Other languages
English (en)
Other versions
JP5366622B2 (ja
Inventor
Hiroki Fujii
宏城 藤井
Kenichi Niwa
賢一 丹羽
Masakazu Osada
雅和 長田
Shinichi Hori
信一 堀
Yoshiaki Nakagawa
義章 中川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Canon Medical Systems Corp
Original Assignee
Toshiba Corp
Toshiba Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp, Toshiba Medical Systems Corp filed Critical Toshiba Corp
Priority to JP2009094241A priority Critical patent/JP5366622B2/ja
Publication of JP2010240256A publication Critical patent/JP2010240256A/ja
Application granted granted Critical
Publication of JP5366622B2 publication Critical patent/JP5366622B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Apparatus For Radiation Diagnosis (AREA)

Abstract

【課題】類似症例画像特定のための検索効率を向上可能な医用画像観察システムの提供。
【解決手段】 医用画像記憶部13は、カテーテル術において撮影された、複数の撮影領域に関する複数の医用画像のデータを記憶する。テンプレートマップ記憶部19は、複数の医用画像に関連付けられた複数の画素領域を含むテンプレートマップのデータを記憶する。類似症例画像特定部27は、テンプレートマップ上の複数の画素領域の中から、検査対称画像に関する撮影領域に解剖学上略一致する画素領域を特定する。そして類似症例画像特定部27は、特定された画素領域に関連付けられた類似症例画像を、医用画像記憶部13に記憶されている複数の医用画像の中から特定する。表示部31は、特定された類似症例医用画像を表示する。
【選択図】 図2

Description

本発明は、医用画像群を検索して検査対象の医用画像を特定して表示する医用画像観察システム。
IVR(InterVentional Radiology)等のカテーテル術において撮影された医用画像群を検索し、類似症例画像等の検査対象の医用画像を特定して表示する医用画像観察システムが開発されている。類似症例画像を特定するためには、ユーザ(医師など)が類似症例画像に関する患者IDや撮影日・撮影部位等の検索キーを手入力しなければならない。そのためユーザは、これら検索キーをカルテで確認したり、あるいは記憶したりしていなければならない。また、検索キーを手入力するのは、ユーザにとって手間である。
他の類似症例画像の特定方法として、医用画像群の中から検査対象の医用画像と特徴量が類似している医用画像を特定して表示できるシステムも開示されている。しかし、血管の形態は患者により異なる。また、特徴量計算の際、様々な撮影条件(例えば、拡大率等)を考慮しなければならない。従って、特徴量のみで最適な類似症例画像を特定するのは困難である。
本発明の目的は、類似症例画像特定のための検索効率の向上を実現する医用画像観察システムを提供することにある。
本発明の第1局面に係る医用画像観察システムは、カテーテル術において撮影された、複数の撮影領域に関する複数の医用画像のデータを記憶する第1記憶部と、前記複数の医用画像に関連付けられた複数の画素領域を含む、人体の標準的な血管形態を示すテンプレートマップのデータを記憶する第2記憶部と、前記複数の画素領域の中から、カテーテル術において撮影された検査対象の医用画像に関する撮影領域に解剖学上略一致する第1の画素領域を特定する第1特定部と、前記特定された第1の画素領域に関連付けられた少なくとも1つの特定の医用画像を前記複数の医用画像の中から特定する第2特定部と、前記特定された少なくとも1つの特定の医用画像を表示する表示部と、を具備する。
本発明の第2局面に係る医用画像観察システムは、カテーテル術中において撮影された、複数の被検体に関する複数の医用画像のデータを記憶する医用画像記憶部と、前記複数の医用画像に関連付けられた複数の画素領域を含む、人体の標準的な血管形態を示すテンプレートマップのデータを記憶するテンプレートマップ記憶部と、前記カテーテル術中においてカテーテルが通過した経路を示す、前記複数の被検体に関する複数の補正前ルートマップのデータを記憶するルートマップ記憶部と、前記複数の補正前ルートマップを前記テンプレートマップに対して解剖学的にそれぞれ整合させ、複数の補正後ルートマップのデータを生成する第1生成部と、前記複数の被検体のうちの検査対象の被検体に関する検査対象の医用画像が、前記生成された複数の補正後ルートマップのうちの検査対象の補正後ルートマップ上に占める検査対象の画素領域を特定する第1特定部と、前記特定された第1の画素領域と略同一画素位置にある前記テンプレートマップ上の第2の画素領域を前記複数の画素領域の中から特定する第2特定部と、前記特定された第2の画素領域に関連付けられた特定の医用画像を、前記複数の医用画像の中から特定する第3特定部と、前記特定された特定の医用画像を表示する表示部と、を具備する。
本発明の第3局面に関する医用画像観察システムは、カテーテル術中において撮影された、複数の被検体に関する複数の第1医用画像のデータを記憶する医用画像記憶部と、前記複数の第1医用画像に関連付けられた複数の第1画素領域を含む、人体の標準的な血管形態を示すテンプレートマップのデータを記憶するテンプレートマップ記憶部と、前記カテーテル術中においてカテーテルが通過した経路を示す、複数の被検体に関する複数の第1補正前ルートマップのデータを記憶するルートマップ記憶部と、前記複数の第1補正前ルートマップを前記テンプレートマップに対して解剖学的にそれぞれ整合させ、複数の第1補正後ルートマップのデータを生成する第1生成部と、前記複数の被検体とは異なる特定の被検体をカテーテル術中においてX線で撮影して、複数の第2医用画像のデータを発生する撮影部と、前記発生された複数の第2医用画像を相対的な位置関係に従って配置し、前記特定の被検体に関する第2補正前ルートマップのデータを生成する第2生成部と、前記生成された第2補正前ルートマップを前記テンプレートマップに対して解剖学的に整合させ、第2補正後ルートマップのデータを生成する第3生成部と、前記複数の第2医用画像のうちの特定の第2医用画像が、前記生成された第2補正後ルートマップ上に占める第2画素領域を特定する第1特定部と、前記特定された第2画素領域と略同一画素位置にある前記テンプレートマップ上の特定の第1画素領域を前記複数の第1画素領域の中から特定する第2特定部と、前記特定された特定の第1画素領域に関連付けられた特定の第1医用画像を、前記複数の第1医用画像の中から特定する第3特定部と、前記特定された特定の第1医用画像を表示する表示部と、を具備する。
本発明によれば、類似症例画像特定ための検索効率の向上を実現する医用画像観察システムを提供することが可能となる。
本発明の実施形態に係る医用画像観察システムの構成を示す図。 図1の医用画像観察システムの機能ブロックを示す図。 図2のルートマップ生成部により生成されたルートマップの一例を示す図。 図4のルートマップ上のルート領域の概念図。 図2のテンプレートマップ記憶部により記憶されているテンプレートマップの一例を示す図。 図2のルートマップ補正部による補正後ルートマップの生成処理を説明するための図。 図2の補正後ルートマップ記憶部により記憶されているルートマップテーブルの一例を示す図。 図2のテンプレートマップ記憶部により記憶されているテンプレートマップテーブルの一例を示す図。 図2のシステム制御部の制御のもとに行なわれる類似症例画像の特定・表示処理の典型的な流れを示す図。 図2のステップS6〜S8において類似症例画像特定部により実行される、類似症例画像の特定処理を説明するための図。 本実施形態の変形例1に係る医用画像観察システムの構成を示す図。
以下、図面を参照しながら本発明の実施形態に係わる医用画像観察システムを説明する。本実施形態に係る医用画像観察システムは、現在医師が検査している医用画像(以下、検査対象画像と呼ぶことにする)に類似する症例に関する医用画像(以下、類似症例画像と呼ぶことにする)を、複数の患者に関する複数の医用画像の中から特定して表示するシステムである。より詳細には、本実施形態に係る医用画像観察システムは、本実施形態に特有なテンプレートマップを利用し、検査対象画像を検索キーとして複数の医用画像を検索し、検査対象画像の類似症例画像を特定し表示するシステムである。本実施形態に係る医用画像を撮影するモダリティは、X線診断装置、X線コンピュータ断層撮影装置、磁気共鳴イメージング装置、核医学診断装置等が可能である。しかし以下の説明を具体的に行なうため、モダリティはX線診断装置であるとする。
図1は、本実施形態に係る医用画像観察システム1の構成を示す図である。図1に示すように医用画像観察システム1は、互いにネットワークを介して接続されている医用画像撮影装置2(X線診断装置)、医用画像保管装置4、及び医用画像観察装置6を備える。
X線診断装置2は、カテーテル術等が行なわれる手技室に設置される。X線診断装置2は、カテーテル術中に被検体をX線撮影し、医用画像のデータを発生する。カテーテル術中、X線診断装置2は、例えば、カテーテルの挿入地点から病変部(例えば肺血管)までの広範囲に亘って複数の医用画像のデータを発生する。以下、1回のカテーテル術で発生された複数の医用画像のセットを手技画像セットと呼ぶことにする。すなわち、1つの手技画像セットは、複数の撮影領域に関する複数の医用画像を含んでいる。
カテーテル術において撮影された医用画像には、カテーテルが通過した経路が描出されている。具体的には、経路は、被検体内を通過しているカテーテルに関するカテーテル領域、あるいはカテーテルから血管内に注入された造影剤により造影された血管に関する血管領域により構成される。発生された医用画像のデータは、ネットワークを介して医用画像保管装置4や医用画像観察装置6に送信される。
医用画像保管装置4は、ネットワークに接続された画像サーバである。医用画像保管装置4は、複数の患者に関する複数の医用画像のデータを記憶している。医用画像保管装置4は、医用画像観察装置6からの検査対象画像の指定を受けて、テンプレートマップを利用して複数の医用画像の中から検査対象画像の類似症例画像を特定する。類似症例画像のデータは、ネットワークを介して医用画像観察装置6に送信される。
医用画像観察装置6は、医用画像を読影したり、参照したりするためのクライアント端末である。医用画像観察装置6は、手技室に設置されていてもよいし、他の場所(例えば、読影室等)に設置されていてもよい。医用画像観察装置6は、本実施形態に係るコンソールとして機能する。具体的には、医用画像観察装置6は、種々の医用画像、テンプレートマップ、後述するルートマップ等を表示する。また、医用画像観察装置6は、ネットワークを介して、ユーザによる指示を医用画像保管装置4へ送信する。
上記のように医用画像撮影装置2と医用画像保管装置4と医用画像観察装置6とは、互いにネットワーク介して接続された別体の装置であるとした。しかしながら本実施形態は、これに限定する必要はない。例えば、医用画像保管装置4と医用画像観察装置6とを一体としたコンピュータ装置としてもよいし、医用画像保管装置4と医用画像観察装置6との機能を組み込んだ医用画像撮影装置2としてもよい。
また、医用画像撮影装置2は、必ずしもネットワークに接続されていなくてもよい。この場合、医用画像撮影装置2により撮影された医用画像のデータは、以下のように医用画像保管装置4に供給される。例えば、カテーテル術中、医用画像撮影装置2に搭載されたディスプレイをビデオカメラでビデオ撮影し、医用画像に関する映像データを生成する。そしてビデオカメラと医用画像保管装置4とを接続するケーブルを介して、生成された映像データをビデオカメラから医用画像保管装置4に供給する。医用画像保管装置4は、供給された映像データを医用画像のデータとして管理する。またビデオカメラを用いず、ディスプレイと医用画像保管装置4とを接続するケーブルを介して、医用画像のデータを医用画像保管装置4に供給してもよい。
図2は、医用画像観察システム1の機能ブロックを示す図である。図2に示すように、医用画像観察システム1は、医用画像撮影部11、医用画像記憶部13、ルートマップ生成部15、補正前ルートマップ記憶部17、テンプレートマップ記憶部19、ルートマップ補正部21、補正後ルートマップ記憶部23、関連付け部25、類似症例画像特定部27、操作部29、表示部31、及びシステム制御部33を有する。
医用画像撮影部11は、X線診断装置2により実現される。医用画像撮影部11は、複数の患者に関する複数の手技画像セット、すなわち複数の医用画像のデータを発生する。発生された医用画像のデータは、医用画像記憶部13に供給される。医用画像には、付帯情報として患者IDや撮影位置(モダリティ上の座標情報)、撮影時刻等が関連付けられている。
医用画像記憶部13は、医用画像撮影部11により発生された複数の医用画像のデータを、例えばDICOM(Digital Imaging and COmmunication in Medicine)規格に準拠したフォーマットで記憶する。医用画像記憶部13は、複数の患者に関する複数の医用画像のデータを手技画像セットごとに記憶している。
ルートマップ生成部15は、1つの手技画像セットに含まれる複数の医用画像を相対的な位置関係に従って配置することでルートマップのデータを生成する。
図3は、ルートマップRMの一例を示す図である。図3に示すように、ルートマップRMは、手技画像セットに含まれる複数の医用画像PI(図3における医用画像PI1、2、3)に基づいて生成される。各医用画像PIには、カテーテルが通過した経路を示すカテーテル領域や血管領域が含まれている。以下、説明を簡便にするために、医用画像に含まれるカテーテル領域や血管領域をまとめてルート領域RR(図3では、ルート領域RR1、RR2、RR3)と呼ぶことにする。各ルート領域RRがその撮影位置に従って繋ぎ合わされることによって、ルートマップRMのデータは生成される。ルートマップRMは、例えば、コロナル断面と同様の向きである。すなわち、ルートマップのZ軸方向は患者の体軸方向に、ルートマップのX軸方向は患者の横幅方向に規定される。なお、ルートマップRM上のルート領域間が途切れる場合、隣合うルート領域に基づいて途切れている部分を補間してもよい。
図4は、ルートマップRM上のルート領域RRの概念図である。図4に示すように、ルート領域R上の各画素には、そのルート領域が由来する医用画像の画像番号が割り付けられている。例えば、ルート領域RRAは、画像番号1の医用画像に由来しているため、ルート領域RRAを構成する各画素には、画像番号「1」が割り付けられている。すなわち、ルートマップRRAは、画像番号「1」が割り付けられた画素領域である。同様に、ルートマップRRBは画像番号「2」が割り付けられた画素領域、ルートマップRRCは、画像番号「3」が割り付けられた画素領域である。この画像番号は、撮影順に応じて番号付けなされている。
以後、後述するルートマップ補正部21により位置補正される前のルートマップを補正前ルートマップ、位置補正された後のルートマップを補正後ルートマップと呼ぶことにする。
補正前ルートマップ記憶部17は、補正前ルートマップのデータを当該補正前ルートマップのIDに関連付けて記憶する。また、補正前ルートマップ記憶部17は、補正前ルートマップに割り付けられた画像番号と、当該画像番号に対応する医用画像とを関連付けて記憶する。このようにして補正前ルートマップ記憶部17は、複数の患者に関する複数の補正前ルートマップのデータを記憶する。
テンプレートマップ記憶部19は、人体の標準的な血管形態を示すテンプレートマップのデータを記憶している。テンプレートマップは、典型的には、患者ごとに用意されている必要はなく、複数の患者について共通のものが用意されていればよい。テンプレートマップTMは、後述するように、複数の補正前ルートマップ間でルート領域の解剖学的な位置や形状、大きさを整合させるための基準として利用される。
図5は、テンプレートマップTMの一例を示す図である。図5に示すように、テンプレートマップTMは、ルートマップと同様に、Z軸方向が人体モデルの体軸方向に規定され、X軸方向が人体モデルの横幅方向に規定される。テンプレートマップTM上の血管領域BRは、人体モデルの主要な血管を端的に模した画素領域である。位置関係をより明確にするために、血管領域BRの端点、分岐点、変曲点が視覚的に明確になっていると良い。
後述するように、テンプレートマップTM上の画素には、当該画素に解剖学上略同一位置にある画素を含む医用画像の画像番号が割りつけられている。テンプレートマップ記憶部19は、テンプレートマップ上の画素位置と、当該画素に割り付けられた医用画像の画像番号とを関連付けたテーブルを有している。すなわち、テンプレートマップは、複数の患者に関する複数の医用画像を、そのテンプレートマップ上での位置(撮影位置)ごとに分類して管理するマップであるとも言える。
なお図5のテンプレートマップTMは、簡便のため一部の主要な血管に関する血管領域BRのみを含んでいるが、より細部の血管に関する血管領域を含んでいてもよい。また図5のテンプレートマップTMは、胴体部分のみを表しているが、検査対象や症例に応じて、心臓のみや、胸部のみ、腎臓のみ、頭部のみといったより細かな部位ごとのテンプレートマップを用意してもよい。また、全身のテンプレートマップを用意してもよい。
また、テンプレートマップ記憶部19は、テンプレートマップを図5のような画像のデータとして保存するとしたが、血管領域の端点や変曲点、分岐点等の解剖学的な特徴点の画素位置(座標)をテンプレートマップとして記憶してもよい。この際、当該特徴点の解剖学的位置の把握を容易にするために、当該特徴点が属する血管の名称を当該画素に関連付けてもよい。また、図5のテンプレートマップは、血管領域のみを含んでいるが、後述する補正前ルートマップとの位置合わせを容易にするために、大腿骨や脊柱等の解剖学的な特徴部位に関する領域を含んでいてもよい。
ルートマップ補正部21は、ユーザからの操作部29を介した指示に従って、テンプレートマップ上の血管領域に対するルートマップ上のルート領域の相対的な位置を補正する。位置整合されたルートマップを、補正後ルートマップと呼ぶことにする。
補正後ルートマップ記憶部23は、補正後ルートマップのデータと当該補正後ルートマップのIDとを関連付けて記憶する。また、補正後ルートマップ記憶部23は、補正後ルートマップに割り付けられた画像番号と当該画像番号に対応する医用画像とを関連付けて記憶する。このようにして補正後ルートマップ記憶部23は、複数の患者に関する複数の補正後ルートマップのデータを記憶する。
関連付け部25は、補正後ルートマップを利用して、テンプレートマップ上の画素に、当該画素に解剖学上略同一位置にある画素を含む医用画像を関連付ける。具体的には、関連付け部25は、テンプレートマップ上の画素に、当該画素に対応する補正後ルートマップ上の画素に割り付けら得た画像番号を割り付ける。この関連付け処理は、複数の患者の補正後ルートマップについて行なわれる。
類似症例画像特定部27は、指定された検査対象画像を検索キーとして、テンプレートマップを利用して医用画像記憶部13を検索し、複数の医用画像の中から類似症例画像を特定する。類似症例画像特定部27は、第1特定部、第2特定部、及び第3特定部を備える。第1特定部は、補正後ルートマップ上の複数の画素領域の中から、検査対象画像に関連付けられた画素領域を特定する。すなわち第1特定部は、検査対象画像に対応する画像番号が割り付けられた、補正後ルートマップ上の画素領域を特定する。第2特定部は、テンプレートマップ上の複数の画素領域の中から、検査対象画像に関連付けられた画素領域を特定する。すなわち第2特定部は、検査対象画像に対応する画像番号が割り付けられた、テンプレートマップ上の画素領域を特定する。第3特定部は、医用画像記憶部13に記憶されている複数の医用画像の中から、第2特定部により特定された画素領域に関連付けられた他の医用画像を類似症例画像として特定する。すなわち、第3特定部は、第2特定部により特定された画素領域に割り付けられた画像番号の中から、検査対象画像に対応する画像番号以外の画像番号を特定する。
操作部29は、ユーザからの各種指令や情報入力を受け付ける。例えば、操作部29は、ユーザによる検査対象画像の指定や、類似症例画像の特定・表示処理の開始要求を受け付ける。操作部29としては、マウスやトラックボールなどのポインティングデバイス、モード切替スイッチ等の選択デバイス、あるいはキーボード等の入力デバイスが適宜利用可能である。
表示部31は、種々の医用画像を表示する。例えば、表示部31は、類似症例画像特定部27により特定された類似症例画像を表示する。表示部31としては、例えばCRTディスプレイや、液晶ディスプレイ、有機ELディスプレイ、プラズマディスプレイ等が利用可能である。
システム制御部33は、医用画像観察システム1の中枢として機能する。具体的には、システム制御部33は、操作部29からの類似症例画像の特定・表示処理の開始指示を受けて、各部を制御することにより当該処理を行なう。
なお上述のように、医用画像撮影部11は、医用画像撮影装置2により実現される。医用画像記憶部13、ルートマップ生成部15、補正前ルートマップ記憶部17、テンプレートマップ記憶部19、ルートマップ補正部21、補正後ルートマップ記憶部23、関連付け部25、類似症例画像特定部27、及びシステム制御部33は、医用画像保管装置4により実現される。操作部29と表示部31とは、医用画像観察装置7により実現される。なお、医用画像記憶部13、補正前ルートマップ記憶部17、テンプレートマップ記憶部19、及び補正後ルートマップ記憶部23は、ハードウェア構成的には、複数のHDD(Hard Disk Drive)やNAS(Network Attached Storage)により実現される。
(医用画像とテンプレートマップとの関連付け)
類似症例画像の特定・表示処理は、テンプレートマップに関連付けられた医用画像の中から類似症例画像を特定する。すなわち、テンプレートマップに関連付けられた医用画像が、類似症例画像の候補となる。そのため、特定・表示処理は、多数の医用画像とテンプレートマップとの関連付けを必要とする。上述のように関連付け処理は、補正後ルートマップを利用して行なわれる。補正後ルートマップの生成処理(補正前ルートマップの補正処理)は、ユーザにより操作部29を介して、補正対象の補正前ルートマップの識別番号が入力されることを契機として開始される。
図6は、ルートマップ補正部21による補正後ルートマップの生成処理を説明するための図である。ユーザにより操作部29を介して補正前ルートマップPRMの識別番号が入力されると表示部31は、入力された識別番号に対応する補正前ルートマップPRMのデータを医用画像記憶部13から読み出し、そしてテンプレートマップTMのデータをテンプレートマップ記憶部19から読み出す。読み出し後、表示部31は、読み出した補正前ルートマップPRMとテンプレートマップTMとを重ね合わせてディスプレイに表示する。この際、表示部31は、補正前ルートマップPRMとテンプレートマップTMとの基準点(例えば、座標(0,0))を合致させて表示する。この際、補正前ルートマップPRMとテンプレートマップTMとの視認性を向上するために、これらマップを互いに異なる輝度や色で表示するとよい。補正前ルートマップPRMやテンプレートマップTMがディスプレイに映りきらない場合、表示部31は、これらマップを縮小して表示してもよい。補正前及び補正後ルートマップ上のルート領域RRには、画像番号が割り付けられているが、この補正処理中においても画像番号は変更されないものとする。異なる画像番号が割り付けられた画素を視覚的に区別するために、表示部31は、画像番号ごとに異なる色や輝度で画素を表示してもよい。また表示部31は、画像番号が変わるごとにルート領域RRを実線と破線とで交互に表示してもよい。
上述したようにテンプレートマップTMは個々の患者に特化したものではなく、複数の患者に大まかに適合する血管形態を示すマップである、従って、特定の患者に関する補正前ルートマップPRMはテンプレートマップTMと位置・大きさ・向きが整合していない。異なるルートマップ間、或いは補正前ルートマップ―テンプレートマップ間の位置や大きさ、向きを整合させるために、ユーザは、例えば、マウス等の操作部29を介して補正操作をする。より詳細には、ルートマップ上のルート領域RRとテンプレートマップ上の血管領域BRとの解剖学的な位置や大きさ、向きが整合するように、ユーザは操作部29を介して、ルート領域RR全体をスライド、回転、拡大、あるいは縮小する。また、ユーザは操作部29を介して、血管領域BRに対してルート領域RRの一部分を移動、変形させることもできる。ルートマップ補正部21は、このようなユーザによる操作部29を介した補正操作に従って補正前ルートマップRPMを補正し、補正後ルートマップのデータを生成する。生成された補正後ルートマップのデータは、補正後ルートマップ記憶部23に記憶される。
補正後ルートマップ記憶部23は、補正後ルートマップ上の画像番号と当該画像番号に対応する医用画像との対応を示すテーブル(以下、ルートマップテーブルと呼ぶ)を記憶している。図7は、ルートマップテーブルの一例を示す図である。図7に示すように、ルートマップテーブルは、補正前ルートマップを識別するためのID、補正後ルートマップを識別するためのID、ルートマップ中の画像番号、及び画像のファイル名の項目を含む。例えば、ファイル名「Image05.dcm」を有する医用画像は、ID「001」の補正前ルートマップ及びID「001A」の補正後ルートマップ上では画像番号「1」で表されている。
ルートマップ補正部21により補正後ルートマップが生成されると、関連付け部25は、医用画像とテンプレートマップとの関連付け処理を行う。具体的には、まず補正後ルートマップを構成する画素の中から画像番号が割り付けられている画素を特定する。そして特定された画素に割り付けられた画像番号を、特定された画素と同座標にあるテンプレートマップ上の画素に割り付ける。これにより、補正後ルートマップに割り付けられた画像番号がテンプレートマップにマッピングされる。
テンプレートマップ記憶部19は、テンプレートマップ上の画素位置と医用画像との対応を示すテーブル(以下、テンプレートマップテーブルと呼ぶことのする)を記憶している。このテンプレートマップテーブルは、上記の関連付け処理の際、関連付け部25により更新される。
図8は、テンプレートマップテーブルの一例を示す図である。図8に示すように、テンプレートマップテーブルは、テンプレートマップ上の画素位置(座標)、補正後のルートマップのID、当該画素位置に割り付けられた画像番号、及び当該画像番号に対応する医用画像のファイル名の項目を含む。例えば、テンプレートマップ上の座標(0,0)には、ファイル名「Image15.dcm」の医用画像、ファイル名「Image17.dcm」の医用画像、ファイル名「Image24.dcm」の医用画像、及びファイル名「Image26.dcm」の医用画像が割り付けられていることが分かる。なお、テンプレートマップテーブルの項目は、上記のみに限定されない。例えば、テンプレートマップ上の画素位置に、当該画素位置に対応する医用画像の保管場所(アドレス)を示すコードが関連付けられていてもよい。
このように、補正前ルートマップが指定されるたびに、指定された補正前ルートマップをテンプレートマップに整合させて補正後ルートマップを生成し、生成された補正後ルートマップに含まれる複数の医用画像をテンプレートマップに関連付ける。この一連の処理を複数の患者に関する複数の医用画像に実行することにより、複数の患者に関する医用画像をテンプレートマップ上の画素位置に応じて分類して、関連付けることができる。テンプレートマップに関連付けられた医用画像が検査対象画像の類似症例画像の候補となる。
(類似症例画像の特定・表示処理)
以下、類似症例画像の特定・表示処理の動作例を、現在検査のカテーテル術後における類似症例の調査時という状況下のもとで説明する。なお、類似症例画像の特定・表示処理の利用場面は、カテーテル術後のみに限定されない。例えば、治療計画の策定時や、カテーテル術中において使用されてもよい。
図9は、システム制御部33の制御のもとにカテーテル術後に行なわれる、類似症例画像の特定・表示処理の典型的な流れを示す図である。まずステップS1前の動作について説明する。現在検査のカテーテル術中において医用画像撮影部11は、検査対象者の現在検査に関する複数の医用画像のデータを発生する。発生された医用画像は、カテーテルが進んだ経路に追従して撮影されている。撮影された複数の医用画像は、全体として、カテーテルの挿入地点からカテーテル到達地点までの広範囲の撮影領域をカバーしている。発生された医用画像のデータは、医用画像記憶部13に記憶される。また、ルートマップ生成部15は、これら複数の医用画像のデータに基づいて、検査対象者の現在検査に関する補正前ルートマップのデータを生成する。生成された現在検査に関する補正前ルートマップのデータは、補正前ルートマップ記憶部17に記憶される。
現在検査に関する補正前ルートマップのデータが補正前ルートマップ記憶部17に記憶されると、システム制御部33は、類似症例画像の特定・表示処理の開始指示を待機している(ステップS1)。ユーザは、操作部29を介して、現在検査に関する補正前ルートマップのID等を入力することにより開始指示をする。ユーザにより操作部29を介して開始指示がなされると(ステップS1:YES)、システム制御部33は、現在検査に関する補正前ルートマップを補正前ルートマップ記憶部17から読み出し(ステップS2)、読み出した補正前ルートマップのデータをルートマップ補正部21に供給し、ルートマップ補正部21にルートマップ補正処理を行なわせる。
ルートマップ補正処理においてルートマップ補正部21は、ユーザからの操作部29を介した補正操作に従って、現在検査に関する補正前ルートマップをテンプレートマップを基準として解剖学的に整合させ、検査対象者の現在検査に関する補正後ルートマップのデータを生成する(ステップS3)。生成された補正後ルートマップのデータは、補正後ルートマップ記憶部23に記憶される。また、ルートマップテーブルも現在検査の相対位置補正ルートマップに従って更新される。
現在検査に関する補正後ルートマップのデータが生成されると、システム制御部33は、関連付け部25に関連付け処理を行なわせる。関連付け処理において関連付け部25は、現在検査に関する補正後ルートマップに割り付けられた画像番号をテンプレートマップにマッピングすることで、現在検査に関する複数の医用画像とテンプレートマップとを関連付ける(ステップS4)。また関連付け部25は、新たに関連付けられた医用画像の画素位置等に従ってテンプレートマップテーブルを更新する。
現在検査に関する複数の医用画像とテンプレートマップとが関連付けられると、システム制御部33は、類似症例を参照したい医用画像(検査対象画像)の指定を待機する(ステップS5)。ステップS5において表示部31は、現在検査に関する複数の医用画像の一覧(例えば、図7のような、現在検査に関する医用画像が列挙された一覧)を表示する。ユーザは、この一覧の中から検査対象画像を指定する。ユーザからの操作部29を介して検査対象画像の指定されることを契機として(ステップS5:YES)、システム制御部33は、類似症例画像特定部27に特定処理を開始させる。なお、検査対象画像の指定方法は、この方法のみに限定されない。例えば、表示部31に表示された補正後ルートマップ上、あるいはテンプレートマップ上で検査対象画像を指定してもよい。この場合、検査対象画像が補正後ルートマップ上、あるいはテンプレートマップ上に占める画素領域を、操作部29を介して指定することによって当該検査対象画像が指定される。
図10は、類似症例画像特定部27による類似症例画像の特定処理(ステップS6〜ステップS8)を説明するための図である。これから説明されるステップS6〜ステップS8の説明においては、図9とともに図10も参照されたい。
特定処理において類似症例画像特定部27は、まず指定された検査対象画像が補正後ルートマップ上に占める画素領域を特定する(ステップS6)。例えば、図7のファイル名「Image07.dcm」の医用画像が検査対象画像SIに指定された場合、検査対象画像SIの画像番号が「2」であると特定される。そして、現在検査に関する補正後ルートマップSRM中のルート領域SRRを構成する画素領域のうちの画像番号「2」が割り付けられた画素領域SRR2を特定する。これにより検査対象画像SIが補正後ルートマップSRM上に占める画素領域SRR2が特定される。
検査対象画像SIが補正後ルートマップSRM上に占める画素領域SRR2が特定されると、類似症例画像特定部27は、検査対象画像SIがテンプレートマップTM上に占める画素領域(以下、検査対象領域と呼ぶことにする)SRを特定する(ステップS7)。具体的には、類似症例画像特定部27は、ステップS6で特定された補正後ルートマップSRM上の画素領域SRR2と同座標にあるテンプレートマップTM上の画素領域SRを検査対象領域として特定する。テンプレートマップTMと補正後ルートマップSRMとの相対位置が整合されているので、画素領域SRR2と同一座標にある画素領域SRを特定するのみで、検査対象画像SIに解剖学上略一致するテンプレートマップ上の画素領域SRを特定できる。
検査対象領域SRが特定されると、類似症例画像特定部27は、検査対象領域SRに関連付けられた医用画像OI1を類似症例画像として特定する(ステップS8)。特定された類似症例画像OI1を識別するためのファイル名や保存場所を示すコードは、表示部31に供給される。なお、特定される類似症例画像は、1つの場合もあるし、複数の場合もある。また、類似症例画像が特定されない場合もある。
ステップS6〜S8により、類似症例画像特定部27は、テンプレートマップを利用して、検査対象画像を検索キーとして検査対象者とは異なる複数の患者(他人)に関する複数の補正後ルートマップORM(ORM1〜3)を介して複数の医用画像OI(OI1〜OI7)を検索し、検査対象画像SIに解剖学的に略一致する医用画像(類似症例画像)OI1を特定している。ステップS8の終了とともに、類似症例画像特定部27による特定処理が終了する。
類似症例画像が特定されるとシステム制御部33は、表示部31に表示処理を行なわせる。表示処理において表示部31は、類似症例画像のファイル名や保管場所をもとに、当該類似症例画像のデータを医用画像記憶部13から読み出して、所定のレイアウトで表示する(ステップS9)。以上で類似症例画像の特定・表示処理が終了する。
なお上記において検索対象は、検査対象画像と略同一位置に関する医用画像であるとした。しかしながら本実施形態は、これに限定する必要はない。例えば、検査対象画像の位置よりもカテーテルの到達地点に近い位置に関する医用画像を検索対象としても良い。これは、補正前及び補正後ルートマップには、撮影順すなわちカテーテルの進入時刻に応じた画像番号が割り付けられていることを利用する。上述の例で言えば、ファイル名「Image07.dcm」の医用画像を検査対象画像として指定した場合、検査対象画像が占める画素領域(画像番号「2」の画素領域)に関する医用画像を検索対象とするのではなく、検査対象画像が占める画素領域よりもカテーテル到達地点に近い画素領域(画像番号「3」の画素領域)に関する医用画像を検索対象とする。また、検査対象画像が占める画素領域よりもカテーテル挿入地点に近い画素領域(画像番号「1」の画素領域)に関する医用画像を検索対象としてもよい。また、画像番号「1」、「2」、及び「3」の画素領域に関する医用画像を同時に検索対象としてもよい。
上記構成により、本実施形態に係る医用画像観察システム1は、類似症例画像の特定処理において、検査対象画像を検索キーとしている。そのため、従来のように患者IDや撮影日・撮影部位等を検索キーとしていた従来に比して、本実施形態に係る医用画像観察システム1は、検索キーの入力作業に関する手間を軽減している。かくして本実施形態に係る医用画像観察システム1は、類似症例画像特定のための検索効率の向上が実現する。
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。
(変形例1)
図11は、本実施形態の変形例1に係る医用画像観察システム100の構成を示す図である。図11に示すように、変形例1に係る医用画像観察システム100は、さらに類似度算出部35を備える。
類似度算出部35は、類似症例画像特定部27により特定された類似症例画像(変形例1において類似症例画像の候補と呼ぶことにする)と、選択された検査対象画像との類似度を算出する。類似度の算出方法の具体例を以下に示す。
まず、検査対象画像と類似症例画像の候補とから血管領域を抽出する。例えば、検査対象画像と類似症例画像とを2値化する。2値化により画素値「1」を有する図形領域と画素値「0」を有する背景領域とが生成される。次に2値化された検査対象画像と類似症例画像の候補との差分画像を生成する。そして生成された差分画像中の背景領域の面積(あるいは背景領域の画素数)を類似度として算出する。算出された面積が大きい医用画像ほど、検査対象画像に対して精度良く位置整合していることを意味し、従って検査対象画像に良く類似していると言える。なお、血管径が所定値よりも大きいものを血管領域として抽出しても良い。
背景領域の面積(類似度)を算出すると類似度算出部35は、予め設定された閾値よりも高い面積を有する類似症例画像の候補を類似症例画像に決定する。表示部31は、類似度算出部35により決定された類似症例画像を医用画像記憶部13から読み出して、所定のレイアウトで表示する。
なお、類似度として、差分画像中の図形領域の面積(あるいは、図形領域の画素数)を算出しても良い。この場合、閾値よりも低い面積を有する類似症例画像の候補が類似症例画像に決定される。
このように、類似度が大きい医用画像を類似症例画像とすることで、検査対象画像に解剖学的に同一位置にある医用画像が多数特定された場合、類似性が高い類似症例画像に限定してユーザに提示することができる。
(変形例2)
本実施形態に係る類似症例画像の特定処理では、現在検査に関する複数の医用画像から現在検査に関する補正後ルートマップを生成し、生成された補正後ルートマップを介して類似症例画像を特定していた。
変形例2に係わる類似症例画像の特定処理は、現在検査に関する補正後ルートマップを生成しない。この場合、例えば、類似症例画像特定部27は、検査対象画像とテンプレートマップとをテンプレートマッチング処理し、検査対象画像がテンプレートマップ上に占める領域(検査対象領域)を特定する。そして特定された検査対象領域に関連付けられた医用画像を類似症例画像として特定する。特定された類似症例画像を表示する。
この特定処理を応用して、カテーテル術中において自動的に類似症例画像を特定し表示することが可能となる。すなわち、カテーテル術中において類似症例画像特定部27は、医用画像撮影部11によりリアルタイムで撮影された最新の医用画像を自動的に検査対象画像に設定し、設定された検査対象画像に上記の特定処理を行なう。この特定処理により類似症例画像特定部27は、検査対象画像(最新の医用画像)の類似症例画像を自動的に特定されてきる。特定された類似症例画像のファイル名や保管場所を示すコードは、表示部31に供給される。そして表示部31は、供給されたファイル名やコードをもとに医用画像記憶部13から類似症例画像のデータを読み出して、所定のレイアウトで表示する。
このように、補正後ルートマップを介さずに特定処理を行なうことで、ルートマップ補正処理が不要となり、類似症例画像の特定・表示処理におけるユーザの手間及び処理時間が削減される。これに伴い、カテーテル術中において、リアルタイムに撮影された医用画像を検索キーとして、類似症例画像を自動的に特定して表示することも可能となる。
また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
以上本発明によれば、類似症例画像特定のための検索効率を向上可能な医用画像観察システムの提供を実現することができる。
1…医用画像観察システム、2…医用画像撮影装置、4…医用画像保管装置、6…医用画像観察装置、11…医用画像撮影部、13…医用画像記憶部、15…ルートマップ生成部、17…補正前ルートマップ記憶部、19…テンプレートマップ記憶部、21…ルートマップ生成部、23…補正後ルートマップ記憶部、25…関連付け部、27…類似症例画像特定部、29…操作部、31…表示部、33…システム制御部

Claims (5)

  1. カテーテル術において撮影された、複数の撮影領域に関する複数の医用画像のデータを記憶する第1記憶部と、
    前記複数の医用画像に関連付けられた複数の画素領域を含む、人体の標準的な血管形態を示すテンプレートマップのデータを記憶する第2記憶部と、
    前記複数の画素領域の中から、カテーテル術において撮影された検査対象の医用画像に関する撮影領域に解剖学上略一致する第1の画素領域を特定する第1特定部と、
    前記特定された第1の画素領域に関連付けられた少なくとも1つの特定の医用画像を前記複数の医用画像の中から特定する第2特定部と、
    前記特定された少なくとも1つの特定の医用画像を表示する表示部と、
    を具備する医用画像観察システム。
  2. 前記複数の画素領域と前記複数の撮影領域との解剖学的な位置が略一致するように、前記複数の画素領域と前記複数の医用画像とを関連付ける関連付け部をさらに備える、請求項1記載の医用画像観察システム。
  3. 前記検査対象の医用画像と前記少なくとも1つの特定の医用画像との類似度を算出する算出部をさらに備え、
    前記表示部は、前記少なくとも1つの特定の医用画像のうちの、前記算出された類似度が所定値よりも大きい医用画像を表示する、
    請求項1記載の医用画像観察システム。
  4. カテーテル術中において撮影された、複数の被検体に関する複数の医用画像のデータを記憶する医用画像記憶部と、
    前記複数の医用画像に関連付けられた複数の画素領域を含む、人体の標準的な血管形態を示すテンプレートマップのデータを記憶するテンプレートマップ記憶部と、
    前記カテーテル術中においてカテーテルが通過した経路を示す、前記複数の被検体に関する複数の補正前ルートマップのデータを記憶するルートマップ記憶部と、
    前記複数の補正前ルートマップを前記テンプレートマップに対して解剖学的にそれぞれ整合させ、複数の補正後ルートマップのデータを生成する第1生成部と、
    前記複数の被検体のうちの検査対象の被検体に関する検査対象の医用画像が、前記生成された複数の補正後ルートマップのうちの検査対象の補正後ルートマップ上に占める検査対象の画素領域を特定する第1特定部と、
    前記特定された第1の画素領域と略同一画素位置にある前記テンプレートマップ上の第2の画素領域を前記複数の画素領域の中から特定する第2特定部と、
    前記特定された第2の画素領域に関連付けられた特定の医用画像を、前記複数の医用画像の中から特定する第3特定部と、
    前記特定された特定の医用画像を表示する表示部と、
    を具備する医用画像観察システム。
  5. カテーテル術中において撮影された、複数の被検体に関する複数の第1医用画像のデータを記憶する医用画像記憶部と、
    前記複数の第1医用画像に関連付けられた複数の第1画素領域を含む、人体の標準的な血管形態を示すテンプレートマップのデータを記憶するテンプレートマップ記憶部と、
    前記カテーテル術中においてカテーテルが通過した経路を示す、複数の被検体に関する複数の第1補正前ルートマップのデータを記憶するルートマップ記憶部と、
    前記複数の第1補正前ルートマップを前記テンプレートマップに対して解剖学的にそれぞれ整合させ、複数の第1補正後ルートマップのデータを生成する第1生成部と、
    前記複数の被検体とは異なる特定の被検体をカテーテル術中においてX線で撮影して、複数の第2医用画像のデータを発生する撮影部と、
    前記発生された複数の第2医用画像を相対的な位置関係に従って配置し、前記特定の被検体に関する第2補正前ルートマップのデータを生成する第2生成部と、
    前記生成された第2補正前ルートマップを前記テンプレートマップに対して解剖学的に整合させ、第2補正後ルートマップのデータを生成する第3生成部と、
    前記複数の第2医用画像のうちの特定の第2医用画像が、前記生成された第2補正後ルートマップ上に占める第2画素領域を特定する第1特定部と、
    前記特定された第2画素領域と略同一画素位置にある前記テンプレートマップ上の特定の第1画素領域を前記複数の第1画素領域の中から特定する第2特定部と、
    前記特定された特定の第1画素領域に関連付けられた特定の第1医用画像を、前記複数の第1医用画像の中から特定する第3特定部と、
    前記特定された特定の第1医用画像を表示する表示部と、
    を具備する医用画像観察システム。
JP2009094241A 2009-04-08 2009-04-08 医用画像観察システム Active JP5366622B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009094241A JP5366622B2 (ja) 2009-04-08 2009-04-08 医用画像観察システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009094241A JP5366622B2 (ja) 2009-04-08 2009-04-08 医用画像観察システム

Publications (2)

Publication Number Publication Date
JP2010240256A true JP2010240256A (ja) 2010-10-28
JP5366622B2 JP5366622B2 (ja) 2013-12-11

Family

ID=43094020

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009094241A Active JP5366622B2 (ja) 2009-04-08 2009-04-08 医用画像観察システム

Country Status (1)

Country Link
JP (1) JP5366622B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016123719A (ja) * 2015-01-05 2016-07-11 株式会社東芝 X線診断装置
JP2016523407A (ja) * 2013-06-17 2016-08-08 メディマッチ テクノロジー リミテッド 医用画像の実時間分析システム及び方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08321995A (ja) * 1995-05-25 1996-12-03 Toshiba Corp 画像診断装置
JP2004005364A (ja) * 2002-04-03 2004-01-08 Fuji Photo Film Co Ltd 類似画像検索システム
JP2006034585A (ja) * 2004-07-27 2006-02-09 Fuji Photo Film Co Ltd 画像表示装置、画像表示方法およびそのプログラム
JP2007020891A (ja) * 2005-07-15 2007-02-01 Toshiba Corp X線診断装置、撮影角度最適化支援装置及びプログラム
JP2007275440A (ja) * 2006-04-11 2007-10-25 Fujifilm Corp 類似画像検索装置および方法並びにプログラム
JP2008220480A (ja) * 2007-03-09 2008-09-25 Fujifilm Corp 放射線透視撮影装置及び撮影方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08321995A (ja) * 1995-05-25 1996-12-03 Toshiba Corp 画像診断装置
JP2004005364A (ja) * 2002-04-03 2004-01-08 Fuji Photo Film Co Ltd 類似画像検索システム
JP2006034585A (ja) * 2004-07-27 2006-02-09 Fuji Photo Film Co Ltd 画像表示装置、画像表示方法およびそのプログラム
JP2007020891A (ja) * 2005-07-15 2007-02-01 Toshiba Corp X線診断装置、撮影角度最適化支援装置及びプログラム
JP2007275440A (ja) * 2006-04-11 2007-10-25 Fujifilm Corp 類似画像検索装置および方法並びにプログラム
JP2008220480A (ja) * 2007-03-09 2008-09-25 Fujifilm Corp 放射線透視撮影装置及び撮影方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016523407A (ja) * 2013-06-17 2016-08-08 メディマッチ テクノロジー リミテッド 医用画像の実時間分析システム及び方法
JP2016123719A (ja) * 2015-01-05 2016-07-11 株式会社東芝 X線診断装置

Also Published As

Publication number Publication date
JP5366622B2 (ja) 2013-12-11

Similar Documents

Publication Publication Date Title
JP3820244B2 (ja) 挿入支援システム
US8049777B2 (en) Insertion support system for specifying a location of interest as an arbitrary region and also appropriately setting a navigation leading to the specified region
JP5314614B2 (ja) 医用画像表示装置及び医用画像表示方法並びにプログラム
US20050261550A1 (en) System, apparatus, and method for supporting insertion of endoscope
US8965072B2 (en) Image display apparatus and image display system
CN105193503A (zh) 增强的手术实践环境系统
JP2011083591A (ja) 診断支援システム、診断支援プログラムおよび診断支援方法
EP2256652A2 (en) Radiographic image display apparatus, and its method and computer program product
JP2009072432A (ja) 画像表示装置および画像表示プログラム
JP2008093254A (ja) 画像処理装置
JP2008259661A (ja) 検査情報処理システム及び検査情報処理装置
JP6967983B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP2017164075A (ja) 画像位置合せ装置、方法およびプログラム
JP4393135B2 (ja) 放射線画像処理装置、放射線画像処理方法、コンピュータプログラム、及びコンピュータ読み取り可能な記録媒体
JP5100041B2 (ja) 画像処理装置及び画像処理プログラム
JP5366622B2 (ja) 医用画像観察システム
JP2010075554A (ja) X線診断装置、及びその画像処理方法
JP2017136275A (ja) 画像位置合せ装置、方法およびプログラム
US10631948B2 (en) Image alignment device, method, and program
JP2000333971A (ja) 手術支援情報表示装置
JP5363962B2 (ja) 診断支援システム、診断支援プログラムおよび診断支援方法
JP4445792B2 (ja) 挿入支援システム
JP6876200B2 (ja) 動的術中セグメンテーションデータに対する静的術前計画データの位置合わせ
CN107260305A (zh) 计算机辅助微创手术系统
JP4575143B2 (ja) 挿入支援システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120329

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130430

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130507

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130708

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130820

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130910

R150 Certificate of patent or registration of utility model

Ref document number: 5366622

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350