Nothing Special   »   [go: up one dir, main page]

JP2011092687A - 診断支援システム、診断支援プログラムおよび診断支援方法 - Google Patents

診断支援システム、診断支援プログラムおよび診断支援方法 Download PDF

Info

Publication number
JP2011092687A
JP2011092687A JP2010097667A JP2010097667A JP2011092687A JP 2011092687 A JP2011092687 A JP 2011092687A JP 2010097667 A JP2010097667 A JP 2010097667A JP 2010097667 A JP2010097667 A JP 2010097667A JP 2011092687 A JP2011092687 A JP 2011092687A
Authority
JP
Japan
Prior art keywords
image
observation
opacity
volume data
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010097667A
Other languages
English (en)
Other versions
JP5551960B2 (ja
Inventor
Jun Masumoto
潤 桝本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2010097667A priority Critical patent/JP5551960B2/ja
Priority to EP10180896A priority patent/EP2312533B1/en
Priority to US12/893,943 priority patent/US8754906B2/en
Publication of JP2011092687A publication Critical patent/JP2011092687A/ja
Application granted granted Critical
Publication of JP5551960B2 publication Critical patent/JP5551960B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05Geographic models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/50Lighting effects
    • G06T15/503Blending, e.g. for anti-aliasing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/24Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/028Multiple view windows (top-side-front-sagittal-orthogonal)

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

【課題】画像診断において、繰り返し行われた検査で取得された多数の画像を比較するときの、ユーザの負担を軽減する。
【解決手段】異なる撮影日または撮影時刻に取得されたボリュームデータF1〜F4から、それぞれ、観察用画像ST−CPR等を生成する。観察形態が同じで撮影日または撮影時刻が異なる観察用画像を、位置合わせをして重ね合わせた重畳画像LIを生成し、診断画面74Aに配置する。時間軸上の点を移動する操作(例えば、スライダの操作)に基づいて、診断画面74A上の重畳画像LIを構成する各観察用画像の表示(例えば、不透明度)を変化させる。
【選択図】図8

Description

本発明は、医療分野での利用に適した発明で、3次元画像データに基づく画像診断を支援するシステム、コンピュータプログラムおよび方法に関するものである。
画像診断では、直近の検査で取得された被検体の画像(以下、現在画像)を、過去の検査で取得された同じ被検体の画像(以下、過去画像)と対比することにより、病状の変化を確認することがある(以下、比較読影)。このため、診断支援装置の多くは、過去画像のデータベースから、読影中の画像と同じ被検体の同じ位置を表す過去画像を選出し、読影中の現在画像と並べて表示する機能を備えている。
比較読影用のユーザインタフェースとしては、同じ大きさの現在画像と過去画像を、モニタ画面に並べて表示するインタフェースが一般的である。例えば、特許文献1の図9、図11、図12には、CT装置等により取得されたスライス画像を対比するときの画面として、スライス位置が同じ現在画像と過去画像とを並べて表示した画面が例示されている。また、同文献の図15には、モニタ画面の表示内容を、スクロール操作により、現在画像から過去画像へ、また過去画像から現在画像へと切り替えることが示されている。さらに、診断支援装置に2台以上のモニタを接続し、一台のモニタに現在画像群を表示し、他の一台または複数台のモニタに過去画像群を表示するシステムも提案されている。
特開2009−72412号公報
現在画像と過去画像とを1台または複数台のモニタ画面に並べて表示するインタフェースでは、読影を行う医師は、視線を左右上下に移動させながら画像を観察しなければならない。特に3台以上のモニタが上下左右に並んで配置されたシステムでは、視線のみならず首を左右上下に回転させなければならないこともあり、眼精疲労や肩こりを引き起こしやすい。一方、スクロール操作により現在画像と過去画像を切り替えるインタフェースでは、医師は、一方の画像が視界に入らない状態で(一方の画像を記憶に留めた状態で)他方の画像との対比を行わなければならないことがある。このような作業は、脳にかかる負担が少なくなく、神経疲労を引き起こしやすい。
本発明は、上記事情に鑑みて、対比すべき画像の数に拘らず、読影を行う医師の肉体的/精神的疲労を軽減することができるユーザインタフェースを提案することを目的とする。
本発明の診断支援システムは、以下に説明するボリュームデータ記憶手段、ボリュームデータ選出手段、観察用画像生成手段、重畳画像生成手段および表示制御手段を備えたシステムである。また、本発明の診断支援プログラムは、少なくとも一台のコンピュータに、以下に説明する各手段の処理を実行させるプログラムである。診断支援プログラムは、通常、複数のプログラムモジュールからなり、上記各手段の機能は、それぞれ、一または複数のプログラムモジュールにより実現される。これらのプログラムモジュール群は、CD−ROM,DVDなどの記録メディアに記録され、またはサーバコンピュータに付属するストレージやネットワークストレージにダウンロード可能な状態で記録されて、ユーザに提供される。また、本発明の診断支援方法は、少なくとも1台のコンピュータにより以下に説明する各手段の処理を実行することによって、診断を支援する方法である。
ボリュームデータ記憶手段は、少なくとも一つの被検体を撮影日時を異ならせて複数回撮影することにより取得された複数のボリュームデータを、被検体識別データおよび撮影日時データと関連づけて、所定の記憶装置に記憶せしめる。記憶装置は、診断支援システムを構成するコンピュータに内蔵されるメモリ、ストレージのほか、そのコンピュータに直接またはネットワークを介して接続された外部記憶装置等でもよい。
なお、「被検体」は、検査の対象、すなわち撮影および診断の対象となる部位を意味する。例えば、一人の患者が肺の検査と胃の検査を受けた場合、患者は一人であるが、被検体は2つである。この場合、被検体を示す識別データは、患者情報と撮影部位情報とを含むデータとすることが好ましい。
ボリュームデータ選出手段は、記憶装置に記憶されたボリュームデータの中から、指定された被検体を示す被検体識別データと関連づけられたボリュームデータを、複数選出する。これにより、指定された被検体について、異なる撮影日時に取得された複数のボリュームデータが取得される。例えば、その被検体について、三回のCT検査が行われていた場合には、各検査において取得された三つのボリュームデータが選出される。
観察用画像生成手段は、選出されたボリュームデータごとに、それぞれ、指定された被検体を表す観察用画像を少なくとも1つ生成する。そして、生成した観察用画像に、その観察用画像の生成に用いられたボリュームデータと関連づけられた撮影日時データを関連づける。
重畳画像生成手段は、生成された複数の観察用画像を、位置合わせをして重ね合わせた重畳画像を生成する。すなわち、複数のレイヤーにより構成された画像で、各レイヤーにそれぞれ1つの観察用画像が配された画像を生成する。
表示制御手段は、重畳画像生成手段により生成された重畳画像を、所定の画面に配置する。表示制御手段は、例えば、一画面に一つの重畳画像が配置されるように表示を制御する。また、一画面内に複数の画像ウィンドウが配置されているときには、いずれかの画像ウィンドウ内に重畳画像が配置されるように、表示を制御する。また、重畳画像が複数生成されたときには、各重畳画像が、複数の画像ウィンドウに、それぞれ配置されるように表示を制御する。なお、画像ウィンドウは、表示画面の任意の位置に、必要に応じて重ねて配置できるウィンドウであってもよいし、表示画面を複数の領域に分割して、個々の領域を1つの画像ウィンドウでもよい。
表示制御手段は、さらに、上記画面において、時間軸上の点を移動する操作を検出する。例えば画面に表示されたスライダの操作を、時間軸上の点を移動する操作として検出する。あるいは、マウスホイールの回転操作を、時間軸上の点を移動する操作として検出する。そして、その操作に基づいて、画面に配置された重畳画像を構成する各観察用画像の表示を変化させる。ここで、画像の表示を変化させるとは、画像の表示/非表示の切換え、表示属性(不透明度等)の変更、表示範囲の変更、表示位置の変更などを意味するものとする。
上記構成および手順では、診断画面において、異なる時点における被検体の状態を表す複数の画像が、画面の同じ場所に現れる。よって、診断を行う医師は、視線を動かすことなく、被検体の状態の時間的な変化を観察することができる。また、画像の入れ替えは、前の画像と次の画像とが重畳表示された状態を経て、段階的に行われるので、画像が入れ替わる過程では複数の画像を同時に観察し、対比することができる。
一実施形態において、表示制御手段は、画面に配置された重畳画像を構成する各観察用画像の 不透明度(オパシティ)を変化させる。この形態では、診断支援システムの構成を、重畳画像を構成する各観察用画像の不透明度を決定する不透明度制御手段をさらに備えた構成とし、表示制御手段が、前記操作と前記不透明度制御手段の決定とに基づいて、不透明度を変化させることが好ましい。
不透明度は、観察用画像ごとに、個別に制御される。ここでは、「不透明度」は0〜100%の数値で表され、0%が完全に透明な状態、100%が完全に不透明な状態を表すものとする。
例えば、不透明度制御手段は、各観察用画像の不透明度を、それぞれ、時間軸上の点がその観察用画像に関連づけられた撮影日時を指すときにその観察用画像の不透明度が最大となり、時間軸上の点が指す日が当該観察用画像に関連づけられた撮影日時から離れるほどその観察用画像の不透明度が低くなるように制御する。
このような制御の下で、時間軸上の点を時間の流れに沿って一方向に移動する操作を行うと、ある検査日のある時刻(撮影日時)における被検体の状態を表す観察用画像が徐々に現れ、完全に不透明な状態を経て、徐々に消えていく。さらに、次の検査日における被検体の状態を表す画像が徐々に現れ、同様に完全に不透明な状態を経て、徐々に消えていく。この過程では、異なる検査日における被検体の画像が、いずれも半透明な状態で重畳表示されることになる。2つの画像が重畳表示された状態では、診断を行う医師は、一点を注視したまま、異なる時点における被検体の状態を同時に観察し、比較することができる。
ここで、上記制御の下では、重畳画像が3以上の観察用画像により構成されている場合、すなわち3回以上検査が行われていた場合、3以上の画像が重畳表示されてしまうことがある。これを避けるためには、各観察用画像の不透明度を、複数の観察用画像のうち1つまたは2つの観察用画像の不透明度が0%より大きい値となり、他の観察用画像の不透明度が0%となるように制御することが好ましい。例えば、重畳画像が3つの観察用画像により構成されている場合、3つ目の観察用画像が現れ始めた時点で、1つ目の観察用画像は完全に透明になっているように、不透明度の増加/減衰の傾き等を決定する。
また、他の一実施形態において、表示制御手段は、重畳画像が配置された領域を格子状に区分し、その格子状の区分において交互に配置される2つの領域群において、異なる表示制御を行う。すなわち、各観察用画像が、それぞれ格子状に遮蔽された状態で表示され、一方の観察用画像が遮蔽されている区分に、他方の観察用画像が現れるように、表示を制御する。格子状の区分に2つの観察用画像が交互に配置されていたとしても、2つの観察用画像が全く同じであれば、画面の表示は、1つの画像が表示されているようにしかみえない。観察用画像間で相違する部分があると、その部分において、隣接する区分の表示にずれが生じ、その部分に格子模様が現れる。よって、検査日間で変化した箇所があった場合、その箇所を容易に見分けることができる。
また、他の一実施形態において、表示制御手段は、重畳画像を構成する観察用画像のうち、一の観察用画像を右視野画像とし、他の一の観察用画像を左視野画像とする立体表示を行う。ユーザの目には、相違する部分が浮き上がって見えるため、検査日間で変化した箇所があった場合、その箇所を容易に見分けることができる。
さらに、他の一実施形態において、前記表示制御手段は、2つの観察用画像間でモーフィング表示を行う。モーフィング処理は、重畳画像生成手段が行う剛体位置合わせまたは非剛体位置合わせの過程で推定された変形ベクトル場を利用して行う。モーフィング制御では、2つの観察用画像が全く同じであれば、画面上の画像は特に変化しない。観察用画像間で相違する部分があると、その部分において、時間軸上の点を指定する操作に応じた変化が観察されるため、検査日間で変化が生じた場合に、その箇所を容易に見分けることができる。
上記構成および手順において、観察用画像生成手段は、各ボリュームデータから、それぞれ、観察形態が異なる複数の観察用画像を生成してもよい。この場合、重畳画像生成手段は、各観察形態について、それぞれ、同じ観察形態の観察用画像を重ね合わせた重畳画像を生成し、表示制御手段は、画面上に生成された複数の重畳画像を表示する。
なお、「観察形態」が異なるとは、被検体を表現するときの表現方法が異なることを意味する。すなわち、被検体の何に着眼し、その着眼点をどのようにユーザに見せるかが異なるということである。例えば、ボリュームデータを2次元画像に変換するときの変換手法(ボリュームレンダリング法、多断面再構成法等)が異なる画像は、観察形態が異なる画像である。また、変換手法が同じであっても、変換パラメータ(視点、視線方向、スライス位置等)が異なる画像は、観察形態が異なる画像である。
複数の重畳画像を表示画面に表示する形態では、表示制御手段は、複数の重畳画像のそれぞれについて、その重畳画像を構成する各観察用画像の表示を変化させる。このような制御の下では、画面に表示されているすべての画像は、連動して、検査日が異なる画像へと段階的に変化する。したがって、この場合、画面に同時に表示される複数の画像は、常に、同じ日の被検体の状態を表すものとなる。
あるいは、診断支援装置が、アクティブ状態と非アクティブ状態の切換えが可能な画像ウィンドウを画面に複数配置して、前記切換えを制御する画像ウィンドウ制御手段を備えるものであるときは、表示制御手段は、各画像ウィンドウに各重畳画像が配置するとともに、アクティブ状態の画像ウィンドウに配置された重畳画像を構成する各観察用画像の表示を変化させてもよい。ここで、アクティブ状態とは、画像ウィンドウの表示内容に対する操作入力を受け付けられる状態を意味し、非アクティブ状態とは、画像ウィンドウの表示内容に対する操作入力を受け付けない状態を意味する。
すなわち、表示制御手段は、時間軸上の点を移動する操作が検出された際に、その操作をアクティブ状態の画像ウィンドウに対する操作として検出し、アクティブ状態の画像ウィンドウに配置された重畳画像を構成する各観察用画像の表示を変化させる。一方、非アクティブ状態の画像ウィンドウに配置された重畳画像を構成する各観察用画像の表示は、時間軸上の点を移動する操作が行われても変化させない。このような制御の下では、画像ウィンドウごとに、それぞれ最もよく観たい時期(検査日)の画像を表示させることができる。
本発明の診断支援システム、プログラムおよび方法によれば、過去に何回もの検査が行われ、比較読影の対象となり得る画像の数が多いような場合であっても、ユーザは、疲労を感じることなく比較読影を行うことができる。
診断支援システムの概略構成を示す図 診断画面のレイアウトを示す図 診断画面の表示例を示す図 スナップショット機能を利用した比較読影方法を示す図 スライドバーの操作と表示画像の関係を示す図 スライドバーの操作と表示画像の関係を示す図 スライドバーの操作と表示画像の関係を示す図 診断画面の他の表示例を示す図 診断画面のさらに他の表示例を示す図 ボリュームデータ選出手段(C)の処理を示すフローチャート 観察用画像生成手段、重畳画像生成手段および表示制御手段の処理概要を示す図 ボリュームデータの解析結果の一例を示す図 観察用画像生成処理と重畳画像生成処理の概要を示す図 観察用画像生成処理を示すフローチャート 不透明度カーブの一例を示す図(レイヤー4) 不透明度カーブの一例を示す図(レイヤー3) 不透明度カーブの一例を示す図(レイヤー2) 不透明度カーブの一例を示す図(レイヤー1) 表示制御処理の概要を示すフローチャート 格子表示された画像ウィンドウを示す図 格子区分の変更例を示す図 格子区分の他の変更例を示す図 格子表示の実現方法について説明するための図 格子表示の実現方法について説明するための図 不透明度カーブの一例を示す図(レイヤー4) 不透明度カーブの一例を示す図(レイヤー3) 不透明度カーブの他の例を示す図(レイヤー4) 不透明度カーブの他の例を示す図(レイヤー3)
図1に、本発明の一実施形態における診断支援システムの概略構成を示す。本実施形態における診断支援システム1は、ローカルエリアネットワーク(LAN)2を介して互いに接続された検査室システム3、データサーバ4、および診断用ワークステーション(WS)6により構成される。
検査室システム3は、被検体を撮影するモダリティ群32と、各モダリティから出力された画像の確認や調整を行う検査室ワークステーション(WS)31により構成される。
検査室WS31は、モダリティ32が2次元のスライスデータを出力するもの(例えばCT(Computed Tomography)装置、MR(Magnetic Resonance)装置等)である場合には、スライスデータ群を再構成することにより3次元のボリュームデータを生成し、生成したボリュームデータを付帯情報とともにデータサーバ4に転送する。また、検査室WS31は、モダリティ32がボリュームデータを直接出力するもの(例えばMS(Multi Slice)CT装置、コーンビームCT装置等)である場合には、そのボリュームデータを、付帯情報とともにデータサーバ4に転送する。
データサーバ4は、高性能プロセッサと大容量メモリを備えた比較的処理能力の高いコンピュータに、データベースマネージメントサーバ(DBMS:DataBase Management Server)の機能を提供するソフトウェアプログラムを実装したものである。プログラムはメモリに記憶され、プロセッサにより実行される。これにより、データサーバ4は、ボリュームデータ記憶手段41として、またサーバ(S)側のボリュームデータ選出手段42として機能する。
ボリュームデータ記憶手段41は、検査室WS31から転送されたボリュームデータおよび付帯情報を、データサーバ4に接続された大容量ストレージ5に、ファイル10として記憶せしめる。ファイル10は、ヘッダ領域とボリュームデータを記憶する領域とからなる。ヘッダ領域には、検査室WS31から転送された付帯情報や、データサーバ4において追加されたデータ検索用の付帯情報が記録される。例えば、被検体を特定する情報として、患者の識別番号、氏名、年齢、性別、撮影部位(頭部、胸部、腹部等)の情報が記録される。また、撮影日時を特定する情報として、検査が行われた日、撮影が行われた時刻の情報が記録される。このほか、撮影に使用されたモダリティ、撮影条件(造影剤の使用有無/使用された色素、放射線核種、放射線量など)等の情報も記録される。
なお、大容量ストレージ5にファイルとして保管するボリュームデータは、撮影モダリティから出力されたままのボリュームデータでもよいし、撮影モダリティから出力されたデータ(スライスデータ等)を再構成することにより得られたボリュームデータでもよい。さらには、撮影により取得されたボリュームデータから診断に不要な情報を削除するなど、検査室WS31において何らかの加工が施されたボリュームデータでもよい。
ボリュームデータ選出手段42は、診断用WS6からの検索要求に応じて、大容量ストレージ5に記憶されている複数のファイル10の中から、検索条件に適ったファイルを選出し、診断用WS6に送信する。
診断用WS6は、標準的なプロセッサ、メモリおよびストレージを備えた汎用のワークステーションに、後述する各機能を提供するプログラムを実装したものである。プログラムはストレージに記憶され、起動時にメモリにロードされ、プロセッサにより実行される。これにより、診断用WS6は、画像ウィンドウ制御手段61、表示制御手段62、重畳画像生成手段63、観察用画像生成手段64、クライアント(C)側のボリュームデータ選出手段65および不透明度制御手段66として機能する。また、診断用WS6には、ディスプレイ7と、マウス、キーボード等の入力装置8が接続されている。
以下、診断用WS6の機能、構成および動作について、さらに説明する。診断用WS6は、診断の対象となる生体組織(臓器、骨、筋肉、血管等)の種類に応じて、多様な診断支援機能を提供する。本発明は診断の対象に拘らず適用可能な発明であるが、ここでは、冠動脈の診断支援機能が選択された場合を例示して説明する。
はじめに、診断用WS6の機能(主にユーザインタフェース)について説明する。診断用WS6の初期画面では、機能選択メニューが表示される。初期画面において冠動脈の診断支援機能が選択されると、患者を特定する値(識別番号等)と撮影日時を示す数値を、入力または選択するためのダイアログが現れる。ユーザの入力または選択操作により、被検体(患者と部位)と撮影日時が特定されると、特定された被検体の、特定された撮影日時における冠動脈像を表す診断画面が現れる。
図2Aおよび図2Bに、冠動脈の診断画面を例示する。図2Aはディスプレイ7に表示される診断画面71の画面レイアウトを示す図であり、図2Bは診断画面71の表示を、具体的に示した図である。図2Aに示すように、診断画面71は複数の画像ウィンドウが配置された画像領域IMGと、画面切り換えや画像の調整を行うための操作ボタン等が配置された操作領域OPとに区分される。
画像領域IMGには、複数の画像ウィンドウが配置される。図は、冠動脈の平均径を表すグラフGRが表示されるウィンドウWGR、冠動脈のストレートCPR(Curved Planer Reconstruction)画像ST−CPRが表示されるウィンドウWST−CPR、直交断面を表すMPR(Multi Planer Reconstruction)画像MPR−0が表示されるウィンドウWMPR−0、アキシャル(Axial)、サジタル(Sagital)、コロナル(Coronal)断面を表す3つのMPR画像MPR−1、MPR−2、MPR−3がそれぞれ表示されるウィンドウWMPR−1、WMPR−2、WMPR−3、ストレッチCPR画像SC−CPRが表示されるウィンドウWSC−CPR、ボリュームレンダリング(Volume Rendering)画像VRが表示されるウィンドウWVRの8つのウィンドウが配置されたレイアウトを例示している。このレイアウトの診断画面は、図2Bに例示したようなものとなる。
各ウィンドウには、画像とともに、画像同士の関連性を示す標識が表示される。図2Bの例では、ウィンドウWMPR−1、WMPR−2、WMPR−3、WSC−CPRおよびWVRにおいて、画像上に互いに向き合った2つの矢印が表示されている。これらの矢印は、被検体の同じ箇所を同じ方向から指し示すものである。ユーザは、矢印の位置や向きを画像間で対比しながら観察を行うことで、例えばMPR画像として表された断面が、VR画像上のどの箇所に相当するかを把握することができる。
画像領域IMG内にある画像ウィンドウの1つをクリック操作などにより選択すると、その画像ウィンドウはアクティブ状態となる。以降、アクティブ状態の画像ウィンドウの表示は、ユーザがマウス等を使って行う操作により制御される。一方、選択されなかった画像ウィンドウの表示は、非アクティブ状態であるので、ユーザの操作とは無関係に制御される。
操作領域OPには、ボタン、チェックボックス等の操作用インタフェースが配置されている。操作用インタフェースは、診断の対象(臓器等の種類)によって異なるものとなるが、保存ボタンSVは、診断の対象に拘わらず常に表示される。診断画面において、保存ボタンSVをクリックすると、そのとき表示されている画面のイメージが、スナップショットとして保存される。
スナップショットとして保存されるデータは、ディスプレイ画面の全体イメージを表す画像データでもよいが、本実施形態では、ボリュームデータから観察用画像を生成する過程で取得された解析データや、設定されたパラメータ群が、スナップショットとして保存される。
観察用画像の生成過程では、通常、まずボリュームデータの解析により観察対象が抽出され、さらに観察対象の解析により特に観察を要する部位(病変等)、さらにはその部位の状態を示す数値データ等が算出される。解析データは、このような解析結果を示すものであり、例えば前述の例では、抽出された冠動脈領域を示すデータ、狭窄部位を示すデータ、狭窄率を示すデータ等が含まれる。一方、3次元のボリュームデータから2次元の観察用画像を生成するためには、観察形態を指定する必要がある。パラメータ群は、観察形態の特定に必要なパラメータであり、例えば、CPR画像については、抽出された冠動脈領域のうちCPR画像として表示する範囲等が、MPR画像については、断面の位置や向き等が、ボリュームレンダリング画像については、視点等がパラメータにより定義される。
保存された画面が後に再現されるときには、上記解析データやパラメータ群を用いてボリュームデータから再度各画像が生成され、表示される。このスナップショットの保存方法によれば、保存された画面を再現するとき、解析データを利用することにより短時間で以前表示した画像を表示することができる。また、その状態を基準としてさらにパラメータを調整し、あらたな画像を表示させることができる。例えば、断面の向きを調整して、抽出された病変を異なる角度から捉えた、あらたな断面像を表示させることができる。
前述のとおり、スナップショットとして保存しておいた画面は、後に所定の操作を行うことにより、簡単に再現することができ、また再現後の調整も可能である。よって、例えば、図3に示すように、3台のモニタを並べ、1つのモニタに直近の検査で取得された現在画像を並べた診断画面71を表示し、他のモニタには過去に保存しておいたスナップショットから再現された診断画面72、73を表示すれば、比較読影を行うことができる。しかしながら、この方法は、診断画面の数がモニタの台数に限定される。また、モニタ数が多くなると、対比すべき画像を同時に視界に入れることが難しくなり、頻繁且つ広範囲にわたる視線移動が必要になる。
これ対し、以下に説明するように、本実施形態のシステムは、ディスプレイが1台しかなくても、快適に比較読影を行えるよう、ユーザインタフェースに工夫がなされている。本実施形態において、比較読影機能は、設定画面においてあらかじめ設定しておくことにより、または読影の最中にユーザが所定の操作を行うことにより、有効(ON)となる。以下、比較読影機能が有効なときのユーザインタフェースについて、図4A〜図6を参照して説明する。
本実施形態のシステムでは、比較読影機能が有効になると、図4Aに例示するように、診断画面74Aの操作領域OPに、時間軸上の点を指定するためのスライダSLが表示される。スライダSLの時間軸の始点は、1回目の検査が行われた日(図の例では2005年10月8日)に対応する。また、スライダSLの時間軸の終点は、直近の検査が行われた日(図の例では2009年10月3日)に対応する。初期状態では、スライドバーBは時間軸の始点、すなわち1回目の検査が行われた日を指しており、画像領域IMGには1回目の検査のときの被検体の状態を表す画像群(以下、第1画像群)が表示される。
図4Bは、スライダSLのスライドバーBが2回目の検査が行われた日(図の例では2006年4月10日)を指した状態の診断画面74Bを例示している。このとき、画像領域IMGには、2回目の検査のときの被検体の状態を表す画像群(以下、第2画像群)が表示される。図は、1回目の検査と2回目の検査の間に、左冠動脈の起始部近くに瘤ができ、その部分のみが太くなった場合を例示している。
図4Cは、図4Aに示した状態と図4Bに示した状態の中間、すなわち、スライダSLのスライドバーBを、1回目の検査が行われた日から2回目の検査が行われた日へと移動する操作が行われているときの診断画面74Cを示している。なお、本実施形態では、スライドバーBは、カーソルをスライドバーBに合わせて、ドラッグアンドドロップ操作を行うことにより、移動することができる。また、カーソルをスライドバーBに合わせた状態で、マウスホイールを回転する操作を行うことによっても、スライドバーBを移動することができる。
診断画面74Cでは、画像領域IMGに、第1画像群と第2画像群が、画像ごとに重畳表示される。第1画像群は、スライドバーBが右へ移動するほど透明度が増し、スライドバーBが2回目の検査が行われた日に到達した時点で完全に透明になる。一方、第2画像群は、スライドバーBがスライダSLの始点にあるときには画面に現れず(透明で)、スライドバーBが右へ移動するにつれて不透明度を増す。そして、スライドバーBが2回目の検査が行われた日に到達した時点で、第1画像群と第2画像群とが完全に入れ替わる。
つまり、1回目の検査日と2回目の検査日の間の区間で、スライダSLのスライドバーBを右方向に移動する操作が行われた場合には、第1画像群は徐々に観えにくくなり、第2画像群は徐々に鮮明になる。反対に、同区間でスライドバーBを左方向に移動する操作が行われた場合には、第2画像群が徐々に観えにくくなり、第1画像群は徐々に鮮明になる。同様に、2回目の検査日と3回目の検査日の間の区間で、スライダSLのスライドバーBを右方向に移動する操作が行われた場合には、第2画像群は徐々に観えにくくなり、3回目の検査のときの被検体の状態を表す画像群(以下、第3画像群)が徐々に鮮明になる。また、同区間でスライドバーBを左方向に移動する操作が行われた場合には、第2画像群が徐々に観えにくくなり、第3画像群は徐々に鮮明になる。3回目の検査日以降の区間も同様に画像領域IMG内に配置された個々の画像が変移する。
図4Aと図4Bの対比から明らかであるように、冠動脈にできた瘤がそれほど大きくなく、血管の太さも大して変わらなかった場合、第1画像群と第2画像群とを左右に並べて観察しても、冠動脈の形状変化を識別することは難しい。第1画像群と第2画像群とを切り替え表示しながら観察を行った場合も同様に、冠動脈の形状変化を識別することは難しい。これに対し、診断画面74Cでは、形状が変化する前の状態を示す画像と、形状が変化した後の状態を示す画像とが、同じ位置に重ねて表示されるので、何かしらの変化があれば、微細な変化であっても容易に識別することができる。
また、診断画面74A〜74Cでは、検査回数や検査の間隔がスライダSLの目盛に現れるので、例えば、観察中の画像が治療初期の画像か治療終期の画像かといったことを、スライダSLの目盛から容易に把握することができる。さらには、スライドバーBの移動により、観たい時期の画像を簡単に画面に呼び出すことができる。このため、繰り返し検査が行われ、検査日が異なる多数の画像群があるときでも、表示中の画像がどの時期の画像であるかを直感的に把握することができ、また医師は画面の同じ範囲を注視したまま、各時期における被検体の状態を前後の状態と対比しながら観察することができる。
なお、図4Cに示した診断画面74Cでは、スライドバーBの操作に応じて、画像領域IMGに表示されるすべての画像が連動して変移するが、画像領域IMGに表示される一部の画像のみが変移するようにしてもよい。例えば、図5に例示する診断画面75のように、アクティブ状態の画像ウィンドウ(図の例ではウィンドウWMPR−2)に表示された画像の透明度のみが段階的に変移し、他の非アクティブ状態の画像ウィンドウはスライドバーBの操作に反応しないようにしてもよい。診断画面75では、スライドバーBを操作した際、アクティブ化された画像ウィンドウにおいてのみ画像が変移するため、他の画像ウィンドウ内の動きに惑わされることなく、変移する画像の観察に集中することができる。
また、図6に示す診断画面76のように、各画像ウィンドウの中に、その画像ウィンドウ専用のスライダをそれぞれ配置してもよい。診断画面76では、画像ウィンドウごとに、任意の検査日の画像もしくは任意の2つの検査日の画像の重畳画像を表示させることができる。
以下、図1に示した画像ウィンドウ制御手段61、表示制御手段62、重畳画像生成手段63、観察用画像生成手段64、クライアント(C)側ボリュームデータ選出手段65および不透明度制御手段66の処理を説明することにより、上記ユーザインタフェースの実現方法を明らかにする。
本実施形態では、初期画面において必要な情報が入力されると、最初に、ボリュームデータ選出手段65によるデータ選出処理が実行される。図7は、ボリュームデータ選出手段65の処理を示すフローチャートである。
ボリュームデータ選出手段65は、前述の初期画面およびその後のダイアログを表示する。そして、ユーザが行った機能選択操作、あるいは患者や撮影日時を指定する操作を検出することにより、被検体識別データと撮影日時データを取得する(S101,S102)。
本実施形態では、被検体識別データは、患者の識別番号と診断の対象となる部位を表す記号の組み合わせからなるものとする。例えば、患者の識別番号がP11861であり、部位が記号CORで表される冠動脈である場合、被検体識別データはP11861CORとなる。患者の識別番号は、初期画面において入力または選択される。また、本実施形態では、診断支援機能は診断の対象となる部位(臓器、血管、骨等)ごとに異なるため、ユーザが機能選択を行うことで、診断の対象となる部位が特定される。よって、機能選択操作と患者を指定する操作を検出することで、被検体識別データを取得することができる。
また、本実施形態では、撮影日時データは、西暦で表された撮影日と24時間表記で表された時刻とからなる12桁の数値とする。この数値は、前述のダイアログにおいて、ユーザにより入力、またはリストから選択される。
次に、ボリュームデータ選出手段65は、被検体識別データと撮影日時データとに基づいて、観察用画像の生成に用いるボリュームデータを選出する(S103)。詳細には、被検体識別データと撮影日時データを、データサーバ4側のボリュームデータ選出手段42へと送信して、大容量ストレージ5に保存されているファイルの検索を要求する。
ボリュームデータ選出手段42は、保存されているファイル群の中から、被検体識別データおよび撮影日時データとして、受信した被検体識別データおよび撮影日時データと同じ値が付与されたファイルを選出し、ボリュームデータ選出手段65に返信する。例えば、図は、被検体識別データがP11861COR、撮影日時データが200910031100、撮影モダリティを示すモダリティデータがMRIであるファイルF1が選出された場合を例示している。
その後、ボリュームデータ選出手段65は、比較読影機能が有効か否かを判定する(S104)。例えばメモリに記憶されている機能ごとの設定フラグ(ONのときは1、OFFのときは0となるフラグ)を参照することにより、比較読影機能が有効か否かを判定する。
比較読影機能が有効であった場合、ボリュームデータ選出手段65は、再度、被検体識別データに基づいて、観察用画像の生成に用いるボリュームデータを選出する(S105)。ボリュームデータは、ステップS103と同様、ボリュームデータ選出手段42に対し、該当するボリュームデータを含むファイルの検索を要求することで選出される。但し、ステップS105では、検索を要求するとき、撮影日時データは受け渡されない。これにより、指定された被検体について、異なる撮影日時に取得された複数のボリュームデータが選出される。
例えば、図は、撮影日時データとして200704031000、200604101400、200510081300がそれぞれ付与されたファイルF2、F3、F4が選出された場合を例示している。なお、比較読影機能が無効であった場合には、ステップS105の処理は実行されない。
ステップS105において選出されるボリュームデータは、多くの場合、図の例示のように異なる検査日に取得されたボリュームデータとなるが、選出されたデータの中に、同じ日の異なる時刻に取得されたボリュームデータが含まれる場合もある。例えば、造影剤投与後に所定の時間間隔で複数回の撮影を行うような検査では、一回の検査で複数個のボリュームデータが取得されるからである。
次に、図8を参照しながら、観察用画像生成手段64、重畳画像生成手段63および表示制御手段62の処理について説明する。
本実施形態では、観察用画像生成手段64は、画像生成処理全体を統括する統括部(図示せず)のほかに、解析部640、ストレートCPR画像生成部641、MPR画像生成部642、ストレッチCPR画像生成部643、およびVR画像生成部644を備える。言い換えれば、観察用画像生成手段64が実行する処理を規定するプログラムは、メインプログラムと、解析処理、ストレートCPR画像生成処理、MPR画像生成処理、ストレッチCPR画像生成処理およびVR画像生成処理を、それぞれ規定する複数のプログラムモジュール群からなる。
ボリュームデータ選出手段65により選出されたボリュームデータは、観察用画像生成手段64を構成する解析部640に供給される。解析部640は、複数種類の解析機能を備えており、ユーザが行った操作や、供給されたファイルのヘッダ領域に記録されている情報に基づいて、実行すべき解析処理の種類を決定する。例えば、冠動脈の診断支援機能が選択され、選出されたファイルのヘッダ領域に造影剤等の情報が記録されていれば、解析処理として、冠動脈領域の抽出処理を実行する。さらには、冠動脈の各部位において断面の解析を行うことにより、狭窄率を求めたり、瘤を検出したりしてもよい。一方、例えば脂肪解析機能が選択されたときには、解析処理として、脂肪領域を抽出する処理を実行し、さらに体脂肪率の算定等を行う。
図は、図7で例示したファイルF1〜F4が解析部640に供給された場合を例示している。解析部640は、供給されたファイルF1に含まれるボリュームデータV1から冠動脈領域を抽出する。同様に、ファイルF2、F3およびF4に含まれるボリュームデータからも、それぞれ冠動脈領域を抽出する。
以下、冠動脈の診断支援機能が選択された場合を例示しながら、説明する。本実施形態では、解析部640は、特願2009−69895号において提案される方法により、冠動脈領域を抽出する。この方法では、まず、所定のアルゴリズムに基づいて、ファイルに記憶されているボリュームデータから、心臓に相当する領域(以下、心臓領域)を抽出する。次に、ボリュームデータ内の心臓領域を含む直方体領域を探索範囲として設定し、所定のアルゴリズムに基づいて探索範囲に含まれる線状構造を探索する。さらに、探索により検出された線状構造に基づいて、冠動脈の芯線上の点と推定される点を検出する。以下の説明では、冠動脈経路上の点と推定される点を候補点またはノードと称する。
線状構造の探索は、探索範囲内の局所領域ごとに、3×3のヘシアン(Hessian)行列の固有値を算出することにより行う。線状構造が含まれる領域では、ヘシアン行列の3つの固有値のうち1つは0に近い値となり、他の2つは相対的に大きな値となる。また、値が0に近い固有値に対応する固有ベクトルは、線状構造の主軸方向を示すものとなる。解析部640は、この関係を利用して、局所領域ごとに、ヘシアン行列の固有値に基づいて線状構造らしさを判定し、線状構造が識別された局所領域については、その中心点を候補点として検出する。
次に、探索により検出された候補点を、所定のアルゴリズムに基づいて連結する。これにより、図9に例示するように、候補点Niおよび候補点同士を連結する血管枝(エッジ)からなる木構造が構築される。検出された複数の候補点の座標情報や、血管枝の方向を示すベクトル情報は、候補点や血管枝の識別子とともにメモリに記憶される。続いて、検出された候補点ごとに、周辺のボクセルの値(CT値)に基づき、冠動脈の形状を詳細に識別する。具体的には、冠動脈経路に垂直な断面において、冠動脈の輪郭(血管の外壁)を識別する。形状の識別は、Graph-Cutsに代表される公知のセグメンテーション手法を用いて行う。以上の処理により、抽出された冠動脈領域の特定に必要な情報が生成される。
解析部640は、木構造として抽出された冠動脈領域に対し、さらに狭窄部位の検出および狭窄率の算出、石灰化領域の検出およびサイズ測定、冠動脈瑠の検出およびサイズ測定、その他、冠動脈の診断に必要な情報を取得するための種々の解析処理を実行する。但し、これらの解析処理は、ユーザにより所定の操作が行われたときに実行するようにしてもよい。
解析結果は、スナップショットを構成する解析データとして、ボリュームデータと関連づけられて出力される。本実施形態では、上記候補点の識別子と位置座標、各血管枝の識別子と血管枝の両端に位置する候補点との関連づけ等が、解析データとして出力される。ボリュームデータとスナップショットは1つのファイルに記録して出力してもよいし、別個のファイルに記録して、ファイル間の関連性を示す情報とともに出力してもよい。
なお、ファイルF1〜F4に含まれるボリュームデータは異なる検査日に取得されたデータであるため、呼吸の影響や病状の変化により、抽出される領域の形状が部分的に異なることがある。例えば、冠動脈に瘤がある状態と瘤が無い状態とでは、血管の太さが変わるため、血管の芯線がずれ、異なる点が候補点として検出されることがある。
しかしながら、経時変化が発生していない領域では、ほぼ同じ点が候補点として検出されるので、経時変化が無い領域の候補点を基準にすれば、木構造同士のマッチングを行うことができる。
本実施形態では、解析部640は、主要なノードの類似度を、所定の評価関数に基づいて算出し、類似度が最も高い候補点同士を対応づける。そして、木構造の主要なノードの対応関係から、他の候補点の対応関係を推定する。この方法によれば、各ボリュームデータから抽出された冠動脈領域の形状が異なっていても、解剖学的に同じ点同士を対応付けることができる。なお、グラフマッチングによる解剖学的構造の対応付けについては、特開2007−44488号公報にも開示があるとおり、この他にも種々の方法が提案されている。
以上は、冠動脈に特有の構造を利用した位置合わせ方法であるが、位置合わせは、特開2005−87727号に示される方法により行ってもよいし、その他公知のあらゆる方法を用いて行うことができる。本実施形態では、解析部640は、複数種類の位置合わせ機能を備え、それらの機能を、診断の対象となる生体組織に応じて選択的に使い分けることで、正確な位置合わせを実現している。
画像生成部641〜644は、解析部640から出力されたボリュームデータとスナップショットを用いて、それぞれ、異なる時期(検査日)における被検体の状態を表す複数の観察用画像を生成する。例えば、ストレートCPR画像生成部641は、図10に例示するように、ファイルF1に含まれていたボリュームデータV1とボリュームデータV1の解析結果を含むスナップショットSS1とから2009年10月3日における冠動脈の状態を表すストレートCPR画像STR-CPR1を生成する。同様に、ファイルF2から2007年4月3日における冠動脈の状態を表すストレートCPR画像STR-CPR2を生成し、ファイルF3から2006年4月10日における冠動脈の状態を表すストレートCPR画像STR-CPR3を生成し、ファイルF4から2005年10月8日における冠動脈の状態を表すストレートCPR画像STR-CPR4を生成する。
また、MPR画像生成部642は、ファイルF1〜F4に対応する4つの直交断面画像MPR−0、4つのアキシャル断面画像MPR−1、4つのサジタル断面画像MPR−2、および、4つのコロナル断面画像MPR−3を生成する。ストレッチCPR画像生成部643およびVR画像生成部644も同様に、ファイルF1〜F4に対応する4つのストレッチCPR画像SR−CPRおよびボリュームレンダリング画像VRを生成する。なお、CPR画像、MPR画像等の生成方法は、いずれも公知であるため、各画像生成部が実行する処理の具体的説明は省略する。
図11は、観察用画像生成手段64のメインプログラムの処理を示すフローチャートであり、解析部640により冠動脈領域が抽出された後の処理を示している。解析部640による処理が完了すると、メインプログラムは、画像生成部641〜644に供給するパラメータ群を初期設定する。各パラメータの値は、解析部640が出力したスナップショットに追記される(S201)。この際、パラメータの値は、可変なデータとしてスナップショットに記録され、後に、ユーザが前述の保存ボタンSVをクリックしたときに、更新される。
画像生成部641〜644の処理に必要なパラメータは、画像生成部ごとに、すなわち生成される画像の観察形態ごとに異なる。例えば、ストレートCPR画像生成部641やストレッチCPR画像生成部643には、冠動脈の経路方向の表示範囲等を指定するパラメータが供給される。また、MPR画像生成部642には、断面の位置や向き等を指定するパラメータが、さらに、VR画像生成部644には、視点の位置等を指定するパラメータが、それぞれ供給される。
ステップS201では、画像生成部641〜644に供給するパラメータの初期値として、メモリ等に予め記憶されているデフォルト値もしくはユーザが事前に設定した値が設定される。
診断画面において、同じ種別の画像を複数表示する場合には、1種類のパラメータについて複数の値が設定される。例えば、図4A〜4Cに例示した診断画面では、直交断面、アキシャル断面、サジタル断面、コロナル断面のそれぞれについてMPR画像を表示しているので、MPR画像生成部642には、断面を指定するパラメータとして、4組の値が供給される。続いて、ステップS201で設定されたパラメータ値にしたがい、各観察用画像が生成される(S202)。
画像生成部641〜644は、それぞれ、生成した観察用画像を、所定フォーマットのファイルとしてメモリ等に保存する。この際、ファイルのヘッダ領域には、その画像の生成に用いられたファイルのヘッダ領域に記録されている情報を、コピーする。画像生成部641〜644は、さらに、ファイルのヘッダ領域に、画像の観察形態を示す情報(画像種別、パラメータ等)を、ファイルのヘッダ領域に記録する。これにより、生成された観察用画像と、被検体、撮影日時、モダリティ等の情報とが関連づけられ、観察用画像を撮影日時等に基づき検索したり、並べ替えたりすることが可能になる。
診断画面において、観察用画像の観察形態の変更を要求する操作が行われたことが検出されると(S203)、ユーザの操作に応じて、各パラメータが再設定される(S204)。各画像生成部641〜644は、先に読み込んだボリュームデータを、変更されたパラメータ値にしたがって再処理することにより、再度、各観察用画像を生成する(S202)。例えば、ユーザにより、視線方向を変更する操作(画像の回転操作)が行われた場合には、被検体を異なる方向から捉えた画像を生成し直す。
なお、ステップS203では、観察形態の変更を要求する操作として、視線方向などのパラメータを変更する操作のみならず、画像種別を変更する操作を受け付けてもよい。例えば、観察用画像生成手段64の構成を、画像生成部641〜644に加え、さらにMIP(Maximum Intensity Projection)画像生成部を備えた構成とし、ステップS203において、MPR画像からMIP画像への変更操作を受け付け、ステップS202において、MPR画像に代えてMIP画像を生成するようにしてもよい。
以下、再び、図8および図10を参照して説明する。重畳画像生成手段63は、画像生成部641〜644がメモリ等に保存した観察用画像を、ファイルヘッダの情報に基づき同じ観察形態ごとに分類し、撮影日時に基づき並べ替えをする。そして、観察形態ごとに撮影日時が降順となるように(昇順でもよい)観察用画像を重ね合わせ、重畳画像LIST−CPR、LIMPR−0、LIMPR−1、LIMPR−2、LIMPR−3、LISC−CPRおよびLIVRを生成する。なお、観察用画像生成手段64により観察用画像が更新されたときには、重畳画像生成手段63により重畳画像も更新される。
例えば、複数のレイヤーを有する層構造の画像において、図10に例示するように、2009年10月3日における被検体の冠動脈を表すストレートCPR画像STR-CPR1をレイヤー1に、2007年4月3日における被検体の冠動脈を表すストレートCPR画像STR-CPR2をレイヤー2に、2006年4月10日における被検体の冠動脈を表すストレートCPR画像STR-CPR3をレイヤー3に、2005年10月8日における被検体を表すストレートCPR画像STR-CPR4をレイヤー4に配置する。
このとき、重畳画像生成手段63は、スナップショットに含まれる解析データを利用して、ストレートCPR画像STR-CPR1、STR-CPR2、STR-CPR3およびSTR-CPR4の位置合わせを行う。例えば、各ストレートCPR画像が、図9に例示した木構造のノードN1を始点、ノードN4を終点とする経路を表す画像である場合、各ストレートCPR画像のノードN1に対応する点が、レイヤー1〜4に共通の座標系において同じ位置に配置されるように画像を配置する。さらに、ノードN3やノードN4に対応する点も、レイヤー1〜4に共通の座標系において、同じ位置に配置されるように画像を配置する。これにより、重畳画像LIST−CPRが生成される。
なお、撮影倍率の不一致などによりノード間の距離が画像によって異なる場合には、ストレートCPR画像に対し所定の正規化処理を施してから、位置合わせを行う。あるいは、正規化処理は、観察用画像生成手段64が前もって実行してもよい。
重畳画像生成手段63は、重畳画像を生成した際、各レイヤーの不透明度を初期設定する。本実施形態では、観察用画像のファイルヘッダの情報に基づき、最初の検査日の画像を配置したレイヤー(図の例ではレイヤー4)の不透明度を100%に設定し、それ以外のレイヤーの不透明度は0%に設定する。
画像ウィンドウ制御手段61は、画像領域IMGに、画像ウィンドウWGR、WST−CPR、WMPR−0、WMPR−1、WMPR−2、WMPR−3、WSC−CPRおよびWVRを配置する。複数の画像ウィンドウは、各図に例示したように画像領域IMG内に並べて配置してもよいし、移動可能な画像ウィンドウを重ねて配置してもよい。また、画像ウィンドウ制御手段61は、各画像ウィンドウについて、アクティブ状態と非アクティブ状態との切り換えを制御する。
表示制御手段62は、画像ウィンドウ制御手段61により制御される画像ウィンドウWST−CPR、WMPR−0、WMPR−1、WMPR−2、WMPR−3、WSC−CPRおよびWVRに、それぞれ、重畳画像LIST−CPR、LIMPR−0、LIMPR−1、LIMPR−2、LIMPR−3、LISC−CPRおよびLIVRを出力する。但し、初期表示では、いずれの重畳画像もレイヤー4以外は不透明度が0%に設定されているため、画面には、2005年10月8日における被検体を表す画像のみが現れる。すなわち、図4Aに例示した診断画面74Aが、ディスプレイ7上に現れる。
表示制御手段62は、重畳画像の画像ウィンドウへの出力を行う一方で、マウス等の入力装置からの信号を監視することにより、時間軸上の点を移動する操作を検出する。すなわち、最初の検査日から最新の検査日までの期間で日付を指定したり変更したりする操作を検出する。指定された日付は、スライドバーBの位置を示す座標値として、あるいはマウスホイールの回転数として、検出する。そして、検出した操作に基づいて、重畳画像を構成する各レイヤーの不透明度を変化させる。
重畳画像を構成する各レイヤーの不透明度は、横軸を時間軸、縦軸を不透明度(%)とする不透明度カーブ(オパシティカーブ)により、レイヤーごとに定義される。オパシティカーブの選択(決定)は、不透明度制御手段66が行う。
図12Aに、最初の検査日の画像を配置したレイヤー(すなわちレイヤー4)の不透明度カーブ、図12Bに、2回目の検査日の画像を配置したレイヤー(すなわちレイヤー3)の不透明度カーブ、図12Cに、3回目の検査日の画像を配置したレイヤー(すなわちレイヤー2)の不透明度カーブ、図12Dに、4回目の検査日の画像を配置したレイヤー(すなわちレイヤー1)の不透明度カーブを例示する。
1回目の検査日から2回目の検査日までの区間では、レイヤー1、2の不透明度は0に設定されている。したがって、レイヤー3,4の画像のみが画面に現れる。レイヤー4の画像の不透明度は同区間で単調減少する。反対に、レイヤー3の画像の不透明度は同区間で単調増加する。また、本実施形態では、2つのレイヤーの不透明度の合計が常に100%になるように、各レイヤーの不透明度が増加または減少する。図に示すとおり、不透明度カーブは、2回目の検査日から3回目の検査日までの区間、3回目の検査日から4回目の検査日までの区間でも、同様に定義されている。
すなわち、本実施形態において、各レイヤーの不透明度カーブは、そのレイヤーに配置された観察用画像に関連づけられた撮影日時(観察用画像のヘッダに記録されている撮影日時)において値が最大となり、その撮影日時から離れるほど値が小さくなるように定義されている。また、重畳画像は4つのレイヤーにより構成されているが、時間軸上のどの区間においても、1つまたは2つの観察用画像の不透明度が0%より大きい値となり、他の観察用画像の不透明度が0%となるように定義されている。すなわち、3以上の画像が重畳表示されることがないように、各レイヤーの不透明度が定義されている。
図13は、表示制御手段62の処理を示すフローチャートである。表示制御手段62は、スライダSLの操作を検出すると(S301)、スライドバーBの位置から、指定された検査日を算出する(S302)。続いて処理対象レイヤーの番号iを1に初期設定し(S303)、処理対象レイヤーi(この時点ではレイヤー1)の不透明度を不透明度カーブに基づいて設定する。次のレイヤーがある場合には(S305)、処理対象レイヤーの番号iを繰り上げ(S306)、処理対象レイヤーi(この時点ではレイヤー2)の不透明度を不透明度カーブに基づいて設定する。引き続き、処理対象レイヤーがなくなるまで(S305)、ステップS304〜S306の処理を繰り返す。これにより、重畳画像LIST−CPR、LIMPR−0、LIMPR−1、LIMPR−2、LIMPR−3、LISC−CPRおよびLIVRを構成する各レイヤーの不透明度が、設定される。
図12A〜12Dに例示した設定では、スライドバーBを最左端から右方向へと移動する操作が行われると、初期状態において表示されていた1回目の検査日の画像は徐々に透明度を増し、それと引き換えに2回目の検査日の画像は徐々に不透明度を増す。1回目の検査日の画像が完全に観えなくなったときには、2回目の検査日の画像のみが画面に表示された状態となる。その状態から、さらにスライドバーBを右方向へと移動すると、2回目の検査日の画像は徐々に透明度を増し、それと引き換えに3回目の検査日の画像は徐々に不透明度を増す。以降、同様に異なる検査日の画像が消えたり現れたりする。また、スライドバーBを左方向へと移動したときには、右方向へと移動したときとは逆の順番で、各画像が消えたり現れたりする。これにより、図4A〜4Cを参照して説明したようなユーザインタフェースを実現することができる。
図12A〜12Dに例示した不透明度カーブは、検査日間で不透明度が直線上に増加または減少し、且つ2つのレイヤーの不透明度の合計が100%であるので、時間軸上の点とその点を挟む2つの検査日との関係から各レイヤーの不透明度を簡単に算出することができる。すなわち、不透明度を変更するにあたり複雑な制御処理を必要としないので、ユーザの操作に応じて迅速に診断画面を更新することができる。但し、不透明度カーブは、直線上ではなく曲線上に増加あるいは減少するものであってもよい。また、2つのレイヤーの不透明度は、互いに関連づけることなく、それぞれ独立に制御してもよい。また、各レイヤーの不透明度は、処理の過程で算出してもよいし、日付と不透明度とを対応づけたテーブルを予めメモリに記憶しておき、そのテーブルを参照することにより求めてもよい。
なお、上記例では、不透明度が0%より大きい値となるレイヤー(すなわち観察用画像)が2つ以下となるように不透明度を制御しているが、例えば、ある時点における被検体の状態と、その前後2回の検査日における被検体の状態とを対比したい場合などには、3以上のレイヤーの不透明度が0%より大きい値となるように不透明度を決定してもよい。
以上、表示制御手段62および不透明度制御手段66が行う処理について説明したが、本実施形態では、設定画面での設定あるいはメニュー操作により、表示制御手段62が実行する処理を、以下に説明する処理に切り替えることができる。以下、表示制御手段62の処理が、「格子表示」、「立体表示」、「モーフィング表示」に設定されている場合について、それぞれ説明する。
まず、表示制御手段62の処理が、「格子表示」に設定されている場合について、説明する。この設定では、表示制御手段62は、先に例示した各診断画面において、スライドバーBが、検査が行われた日を指しているときに、画像領域IMGに、その検査日の被検体の状態を表す画像群を表示する。例えば、スライドバーBが2005年10月8日を指していれば、前述の第1画像群を表示し、2006年4月10日を指していれば、前述の第2画像群を表示する。
一方、スライドバーBが、検査日以外の時点を指しているときには、表示制御手段62は、スライドバーBの配置位置に基づいて、重畳画像を構成するレイヤーの中から2つのレイヤーを選択する。スライドバーBが、ある検査日と、その検査日の次の検査日の間にあれば、移動区間の両端の検査日に対応するレイヤーを選択する。そして、図14に示すように、画像領域IMG内のウィンドウWを格子状に区分けし、その格子状の区分に交互に配置される2つの領域群(ハッチングされた領域群と、無地の領域群)に、選択した2つのレイヤーの観察用画像が交互に配置されるように、表示を制御する。これにより、一方の観察用画像が、他方の観察用画像により、格子状に遮蔽された画像が表示される。例えば、スライドバーBが2005年10月8日と2006年4月10日の間に配置されているときには、図中のハッチングされた領域群に1回目の検査日の画像が、無地の領域群に2回目の検査日の画像が表示される。
格子表示では、2つの観察用画像が全く同じであれば、画面の表示は、あたかも1つの画像が表示されているようにみえる。よって、第1の検査日と第2の検査日の間で何も変化が生じていなければ、ユーザの目に格子模様が、はっきりと認識されることはない。一方、観察用画像間で相違する部分があれば、その部分において、隣接する区分の表示にずれが生じる。その結果、ユーザの目には、格子模様が、はっきりと認識される。
本実施形態では、格子の区分は、所定の操作により変更することができる。例えば、図15Aに例示するように、区分けの数を減らして個々の区分サイズを拡大したり、反対に区分けの数を増やして個々の区分サイズを縮小することができる。また、図15Bに例示するように、区分の境界線を並行移動することもできる。
以下、格子表示の実現方法について、図16Aおよび図16Bを参照して説明する。表示制御手段62は、重畳画像を構成するレイヤーのうち、選択しなかったレイヤー(不図示)の不透明度を0%に設定する。また、選択した2つのレイヤーのうち一方(レイヤー4とする)の不透明度を100%、他方(レイヤー3とする)の不透明度を0%に設定した状態で、図16Aに示すように、格子状マスクM1を使って、重畳画像の一部の領域が遮蔽された第1のマスキング画像を生成する。続いて、2つのレイヤーの不透明度を反転し、すなわちレイヤー4の不透明度を0%、レイヤー3の不透明度を100%に設定した状態で、図16Bに示すように、格子状マスクM2を使って、重畳画像の他の一部の領域が遮蔽された第2のマスキング画像を生成する。ここで、格子状マスクM2は、格子状マスクM1を反転したマスクである。そして、表示制御手段62は、第1のマスキング画像と第2のマスキング画像とを重ね合わせた画像を、ウィンドウWに出力する。これにより、ウィンドウWの表示を、図14に例示したような表示とすることができる。
なお、格子の区分サイズを変更する操作が行われたときには、マスクM1、マスクM2として区分サイズが異なる他のマスクが使用されて、上記処理と同様の処理が実行される。また、区分の境界線を平行移動する操作が行われたときには、マスキング画像を生成する際に、マスクM1,M2を平行移動することにより、遮蔽される範囲を変更する。
格子表示は、上記のとおり、検査日間で変化が生じた部分の特定を容易にする。さらに、格子表示では、変化が生じた箇所で、変化前の区分画像と変化後の区分画像とが、隣接して表示されるため、2つの検査日における状態を比較しやすい。不透明度を変更する方法では、複数の画像が重なり合って表示されるため、所定点あるいは所定範囲の信号値の変化を判別することが難しいが、格子表示では、信号値に変化が生じていれば、変化前の信号値と変化後の信号値とが交互に配置された格子模様が現れるため、信号値を比較しやすい。
なお、格子表示では、上記区分を固定してしまうと、変化が生じた範囲の面積や位置によっては格子模様が現れないことがある。しかし、本実施形態では、図15Aおよび図15Bに例示したように、区分の境界を変更することができるため、範囲の大小、位置に拘らず、生じた変化を識別することができる。
ここで、本実施形態では、表示制御手段62は、上記格子表示処理を行った上で、さらに格子の各区分の不透明度も制御する。すなわち、スライドバーの移動操作に伴い、選択した2つのレイヤー配置された観察用画像の不透明度を変化させる。以下、レイヤー4とレイヤー3が選択された場合を例示しながら説明する。
図17Aおよび図17Bは、レイヤー4とレイヤー3について設定された不透明度カーブの一部(1回目の検査日と2回目の検査日の間の区間のみ)を例示した図である。不透明度カーブは、前述の不透明度制御手段66により、選択または設定される。各レイヤーの不透明度は、マスクM1を用いてマスキング画像を生成するときには、不透明度カーブOCM1に基づいて変更される。一方、マスクM2を用いてマスキング画像を生成するときには、各レイヤーの不透明度は不透明度カーブOCM2に基づいて変更される。
図に示すように、不透明度カーブOCM1は、スライドバーの右方向への移動に伴い、レイヤー4の不透明度を単調減少、レイヤー3の不透明度を単調増加させるものである。また、不透明度カーブOCM2は、スライドバーの右方向への移動に伴い、レイヤー4の不透明度を単調増加、レイヤー3の不透明度を単調減少させるものである。スライドバーが検査日を指しているときには、前述のとおり、その検査日に対応する1つのレイヤーの観察用画像のみが、不透明度100%で表示される。スライドバーが2つの検査日の中点に配置されたときには、マスクM1、マスクM2のいずれを用いて生成したマスキング画像も、レイヤー4の観察用画像とレイヤー3の観察用画像を同じ割合で混合したものとなる。すなわち全く同じ画像となり、格子模様は認識されなくなる。
格子表示は、スライダSLにより示される時間軸の一部の区間においてのみ行ってもよい。図18Aおよび図18Bに、1/2の区間においてのみ格子表示を行う場合の、不透明度カーブの設定例を示す。ここでは、第1の検査日(2005年10月5日)から第2の検査日(2006年4月10日)までの区間を4つに分割し、それぞれ第1区間、第2区間、第3区間および第4区間と称することとする。表示制御手段62は、第2および第3区間においてのみ格子表示を行う。
第1区間では、不透明度カーブOCM2が、不透明度カーブOCM1と一致するように、各カーブを設定する。この区間では、レイヤー4については、不透明度を100%から50%まで単調減少させ、レイヤー3については、不透明度を0%から50%まで単調増加させる。第2区間および第3区間では、不透明度カーブOCM2が、不透明度カーブOCM1を反転したカーブとなるように、各カーブを設定する。これらの区間では、不透明度カーブOCM1およびOCM2ともに、不透明度を0%から100%の間で増減させ、各区間の終点において、レイヤー4とレイヤー3の不透明度がいずれも50%となるようにカーブを設定する。第4区間では、再び、不透明度カーブOCM2が、不透明度カーブOCM1と一致するように、各カーブを設定する。この区間では、レイヤー4については、不透明度を50%から0%まで単調減少させ、レイヤー3については、不透明度を50%から100%まで単調増加させる。
格子表示処理において、図18Aおよび図18Bに示した不透明度カーブを参照して不透明度を制御した場合には、第1区間の始点(すなわち第1の検査日)において表示されていたレイヤー4の画像は、スライドバーの右方向への移動に伴い透明度を増し、入れ違いにレイヤー3の画像の不透明度が増加する。第1区間では、格子を形成する2つの領域群の画像は、同じ不透明度カーブに基づいて制御されるので、格子模様が現れることはない。第1区間の終点においては、不透明度が50%に設定された2つの画像が重なって表示された状態となる。
第2区間および第3区間では、格子を形成する2つの領域群の画像は、異なる不透明度カーブに基づいて制御されるので、検査日間に生じた変化があれば、格子模様が現れる。これらの区間では、スライドバーの移動により各領域群の画像の不透明度を増減させることで、検査日間の画像の変化を確認することができる。第2および第3区間の終点では、第1区間の終点と同様、不透明度が50%に設定された2つの画像が重なって表示されることとなる。
第4区間では、スライドバーの右方向への移動に伴い、レイヤー4の画像の透明度がさらに増す。50%に設定されていた不透明度は、さらに低い不透明度に変更され、区間の終点では0%になる。反対に、レイヤー3の画像については、50%に設定されていた不透明度は、スライドバーの右方向への移動に伴い、より高い不透明度へと変更され、区間の終点では100%となる。その結果、第4区間の終点では、画面の表示は、レイヤー3の画像のみとなる。
図17Aおよび図17Bに示した不透明度カーブに基づいて不透明度を制御した場合には、ある検査日の状態を示す単一画像が、スライドバーの移動に伴い、突然2つの画像の格子表示に切り替わることになる。すなわち、表示が不連続に変化することになる。これに対し、図18Aおよび図18Bに示した不透明度カーブに基づいて不透明度を制御した場合には、画面の変化は連続的且つ自然なものとなる。
格子表示を行い、さらに格子の各区分の不透明度も制御する方法では、画像全体の不透明度を変化させる場合と同様の効果を、格子の各区分において得ることができる。病変等の形状の変化を確認したいときには、区分サイズを病変より大きいサイズに設定して、一区分の観察を行い、病変部分の信号値の変化を確認したいときには、区分サイズを病変より小さいサイズに設定して、区分間の色等の相違を観察するというように、目的に応じた使い分けも可能である。
次に、表示制御手段62の処理が、「立体表示」に設定されている場合について説明する。この設定でも、スライドバーBが、検査が行われた日を指しているときには、画像領域IMGに、その検査日の被検体の状態を表す画像群が表示される。また、スライドバーBが、検査日以外の時点を指しているときには、表示制御手段62により2つのレイヤーが選択される。レイヤーの選択方法は「格子表示」の場合と同様である。
立体表示の設定では、表示制御手段62は、スライドバーBが検査日と検査日の間の区間に配置されている間、立体表示可能なディスプレイに対し、選択した一方のレイヤーの観察用画像を右視野画像として、他方のレイヤーの観察用画像を左視野画像として供給する。立体表示では、視野画像間の一致部分は遠方にあるようにみえ、不一致部分は、視点の近くにあるように見える。検査日間で変化した箇所があった場合には、その箇所が浮き上がったように見えるので、ユーザは、変化の有無および箇所を、容易に判別することができる。
次に、表示制御手段62の処理が、「モーフィング表示」に設定されている場合について説明する。この設定は、重畳画像生成手段が、剛体位置合わせまたは非剛体位置合わせを行う場合に有効となる。重畳画像生成手段は、位置合わせを行う過程で、複数の観察用画像間で、解剖学的に同じ点同士を対応づけ、対応づけが行われた点ごとに、観察用画像間で生じた変位の大きさと方向(すなわちベクトル)を算出する。これにより、重畳画像を構成する複数の観察用画像について、変形ベクトル場が推定される。
表示制御手段62は、スライドバーBの操作が行われるのに先立ち、モーフィング表示に用いる中間画像を生成する。中間画像は、重畳画像生成手段により推定された変形ベクトル場を利用して、複数生成し、メモリに保存する。但し、中間画像の生成は、スライドバーBの操作が行われている最中に行ってもよい。
表示制御手段62は、他の設定がなされたときと同様、スライドバーBが、検査が行われた日を指しているときには、画像領域IMGに、その検査日の被検体の状態を表す画像群を表示する。また、スライドバーBが、検査日以外の時点を指しているときには、「格子表示」の場合と同様の方法により、2つのレイヤーを選択する。そして、選択した2つのレイヤーの観察用画像から生成された複数の中間画像を、メモリから読み込み、読み込んだ中間画像の中から、スライドバーBの位置に対応する中間画像を選択し、表示する。あるいは、スライドバーBの位置に応じて、必要な中間画像を生成して、表示する。この処理により、病状の進行などにより変化を、スライドバーBの操作と連動して、動画のように表示することができる。
モーフィング表示では、ユーザは、変化の有無および箇所を、容易に判別することができるだけでなく、表示される画像に基づいて、検査日間の進行状況を推測することができる。
以上、表示制御手段62の処理として4通りの処理を例示したが、他の処理として、画面に加える変化を何らかの関数として定義し、スライドバーBにより指定された日時を、その関数のパラメータとして入力するような処理も考えられる。例えば、不透明度以外の表示属性(色、表示倍率など)、表示範囲、表示位置などを変更する関数を定義してもよい。表示制御手段62が行う処理は、時間軸上の点を移動する操作に応じて、重畳画像を構成する各観察用画像の表示を変化させるような処理であればよく、上記例には限定されない。
また、上記実施形態は、前述のとおり、各画像ウィンドウの表示を、一斉に変化させるものであるが、図5に例示した診断画面75を表示する形態では、画像ウィンドウ制御手段61によりアクティブ化された画像ウィンドウの表示のみを変化させてもよい。また、図6に例示した診断画面76を表示する形態では、スライドバーBの操作が検出された画像ウィンドウの表示のみを変化させてもよい。
また、上記実施形態では、冠動脈抽出処理により構築された木構造のマッチングを行うことにより、重畳する画像間の位置合わせを行っているが、冠動脈等の観察対象を抽出する以前に、ボリュームデータ間で位置合わせを行ってもよい。ボリュームデータ間で予め位置合わせを行った場合、1つのボリュームデータから冠動脈領域を抽出すれば、ボリュームデータ同士の位置関係から他のボリュームデータに含まれる冠動脈領域を推定することができる。この方法は、被検体の抽出アルゴリズムが複雑であり、抽出処理に時間がかかるような場合には、全体の処理時間を短縮できるので好ましい。
また、図8およびその説明においては、便宜上、図4A〜4Cに例示したレイアウトを実現するために必要な画像生成部のみを示したが、前述のとおり診断画面のレイアウトは診断対象によって異なるものである。このため、観察用画像生成手段64は、上記説明で例示したプログラムモジュール以外にも、MIP画像、ブルズアイ画像、仮想内視鏡画像等、他の観察形態の画像を生成するための多数のプログラムモジュールを備え、選択された機能(診断対象)に応じて、選択的にプログラムモジュール使い分ける構成とすることが好ましい。
また、上記実施形態は、クライアント/サーバ型のシステムであるが、一台のコンピュータが、ボリュームデータ記憶手段、ボリュームデータ選出手段、観察用画像生成手段、重畳画像生成手段および表示制御手段としての機能を備えていてもよい。また、上記実施形態において診断用WS6が行っている処理は、複数のコンピュータにより分散して実行してもよい。
また、入力装置、ディスプレイ等、システムを構成する装置としては、公知のあらゆる装置を採用することができる。例えば、マウスに代えてジョイスティックを採用したり、ディスプレイに代えてタッチパネルを採用したりすることができる。時間軸上の点を指定するためのインタフェースも、スライダやマウスホイールに限らず、種々のインタフェースを採用することができる。
このように、本発明は上記実施形態に限られるものではなく、本発明の趣旨を逸脱しない範囲で、種々の変更を加えることができる。また、冠動脈に限らずあらゆる生体組織の診断支援に用いることができ、さらには、生体の診断支援に限らず、例えばCTスキャンにより機械等の劣化具合を定期的に診断するときにも、利用することができる。
1 診断支援システム、 5 大容量ストレージ、
10 ファイル、 32 モダリティ、
71,72,73,74A〜74C,75,76 診断画面
IMG 画像領域、 OP 操作領域、 SV 保存ボタン、
XX 画像ウィンドウ、SL スライダ、 B スライドバー、
F1〜F4 ボリュームデータを含むファイル、 LIXX 重畳画像、
M1,M2 マスク

Claims (12)

  1. 少なくとも一つの被検体を撮影日または撮影時刻を異ならせて複数回撮影することにより取得された複数のボリュームデータを、被検体識別データおよび撮影日時データと関連づけて、所定の記憶装置に記憶せしめるボリュームデータ記憶手段と、
    前記記憶装置に記憶されたボリュームデータの中から、指定された被検体を示す被検体識別データと関連づけられたボリュームデータを、複数選出するボリュームデータ選出手段と、
    選出されたボリュームデータごとに、それぞれ、前記指定された被検体を表す観察用画像を少なくとも1つ生成し、生成した観察用画像に当該ボリュームデータと関連づけられた撮影日時データを関連づける観察用画像生成手段と、
    生成された複数の観察用画像を、位置合わせをして重ね合わせた重畳画像を生成する重畳画像生成手段と、
    前記重畳画像を、所定の画面に配置するとともに、該画面において時間軸上の点を移動する操作を検出し、該操作に基づいて、前記画面に配置された重畳画像を構成する各観察用画像の表示を変化させる表示制御手段とを備えたことを特徴とする診断支援システム。
  2. 前記重畳画像を構成する各観察用画像の不透明度を決定する不透明度制御手段を備え、
    前記表示制御手段が、前記操作と前記不透明度制御手段の決定とに基づいて、前記画面に配置された重畳画像を構成する各観察用画像の不透明度を変化させることを特徴とする請求項1記載の診断支援システム。
  3. 前記不透明度制御手段は、各観察用画像の不透明度を、それぞれ、前記時間軸上の点が当該観察用画像に関連づけられた撮影日時を指すときに当該観察用画像の不透明度が最大となり、前記点が指す日が当該観察用画像に関連づけられた撮影日時から離れるほど当該観察用画像の不透明度が低くなるように決定することを特徴とする請求項2記載の診断支援システム。
  4. 前記不透明度制御手段は、各観察用画像の不透明度を、前記複数の観察用画像のうち1つまたは2つの観察用画像の不透明度が0%より大きい値となり、他の観察用画像の不透明度が0%となるように決定することを特徴とする請求項2または3記載の診断支援システム。
  5. 前記表示制御手段が、前記重畳画像が配置された領域を格子状に区分し、該格子状の区分において交互に配置される2つの領域群において、異なる表示制御を行うことを特徴とする請求項1から4のいずれか1項記載の診断支援システム。
  6. 前記表示制御手段が、前記重畳画像を構成する観察用画像のうち、一の観察用画像を右視野画像とし、他の一の観察用画像を左視野画像とする立体表示を行うことを特徴とする請求項1から4のいずれか1項記載の診断支援システム。
  7. 前記重畳画像生成手段が行う前記位置合わせが、剛体位置合わせまたは非剛体位置合わせであり、
    前記表示制御手段が、前記位置合わせの過程で推定された変形ベクトル場に基づくモーフィング表示を行うことを特徴とする請求項1から6のいずれか1項記載の診断支援システム。
  8. 前記観察用画像生成手段が、各ボリュームデータから、それぞれ、観察形態が異なる複数の観察用画像を生成し、
    前記重畳画像生成手段が、各観察形態について、それぞれ、同じ観察形態の観察用画像を重ね合わせた重畳画像を生成し、
    前記表示制御手段が、前記画面上に生成された複数の重畳画像を配置することを特徴とする請求項1から7のいずれか1項記載の診断支援システム。
  9. 前記表示制御手段が、前記複数の重畳画像のそれぞれについて、当該重畳画像を構成する前記複数の観察用画像の表示を変化させることを特徴とする請求項8記載の診断支援システム。
  10. アクティブ状態と非アクティブ状態の切換えが可能な画像ウィンドウを画面に複数配置して、前記切換えを制御する画像ウィンドウ制御手段をさらに備え、
    前記表示制御手段が、前記各画像ウィンドウに前記各重畳画像が配置するとともに、アクティブ状態の画像ウィンドウに配置された重畳画像を構成する各観察用画像の表示を変化させることを特徴とする請求項8または9記載の診断支援システム。
  11. 少なくとも1台のコンピュータに、
    少なくとも一つの被検体を撮影日または撮影時刻を異ならせて複数回撮影することにより取得された複数のボリュームデータを、被検体識別データおよび撮影日時データと関連づけて、所定の記憶装置に記憶せしめるボリュームデータ記憶処理、
    前記記憶装置に記憶されたボリュームデータの中から、指定された被検体を示す被検体識別データと関連づけられたボリュームデータを、複数選出するボリュームデータ選出処理、
    選出されたボリュームデータごとに、それぞれ、前記指定された被検体を表す観察用画像を少なくとも1つ生成し、生成した観察用画像に当該ボリュームデータと関連づけられた撮影日時データを関連づける観察用画像生成処理、
    生成された複数の観察用画像を、位置合わせをして重ね合わせた重畳画像を生成する重畳画像生成処理、
    前記重畳画像を、所定の画面に配置するとともに、該画面において時間軸上の点を移動する操作を検出し、該操作に基づいて、前記画面に配置された重畳画像を構成する各観察用画像の表示を変化させる表示制御処理を実行させることを特徴とする診断支援プログラム。
  12. 少なくとも1台のコンピュータにより、
    少なくとも一つの被検体を撮影日または撮影時刻を異ならせて複数回撮影することにより取得された複数のボリュームデータを、被検体識別データおよび撮影日時データと関連づけて、所定の記憶装置に記憶せしめるボリュームデータ記憶処理、
    前記記憶装置に記憶されたボリュームデータの中から、指定された被検体を示す被検体識別データと関連づけられたボリュームデータを、複数選出するボリュームデータ選出処理、
    選出されたボリュームデータごとに、それぞれ、前記指定された被検体を表す観察用画像を少なくとも1つ生成し、生成した観察用画像に当該ボリュームデータと関連づけられた撮影日時データを関連づける観察用画像生成処理、
    生成された複数の観察用画像を、位置合わせをして重ね合わせた重畳画像を生成する重畳画像生成処理、
    前記重畳画像を、所定の画面に配置するとともに、該画面において時間軸上の点を移動する操作を検出し、該操作に基づいて、前記画面に配置された重畳画像を構成する各観察用画像の表示を変化させる表示制御処理を実行することにより、診断を支援する方法。
JP2010097667A 2009-09-30 2010-04-21 診断支援システム、診断支援プログラムおよび診断支援方法 Active JP5551960B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2010097667A JP5551960B2 (ja) 2009-09-30 2010-04-21 診断支援システム、診断支援プログラムおよび診断支援方法
EP10180896A EP2312533B1 (en) 2009-09-30 2010-09-28 Computer assisted diagnosis system with a temporal slider.
US12/893,943 US8754906B2 (en) 2009-09-30 2010-09-29 Diagnosis assisting system, diagnosis assisting method, and computer readable recording medium having diagnosis assisting program recorded thereon

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2009225840 2009-09-30
JP2009225840 2009-09-30
JP2010097667A JP5551960B2 (ja) 2009-09-30 2010-04-21 診断支援システム、診断支援プログラムおよび診断支援方法

Publications (2)

Publication Number Publication Date
JP2011092687A true JP2011092687A (ja) 2011-05-12
JP5551960B2 JP5551960B2 (ja) 2014-07-16

Family

ID=43618779

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010097667A Active JP5551960B2 (ja) 2009-09-30 2010-04-21 診断支援システム、診断支援プログラムおよび診断支援方法

Country Status (3)

Country Link
US (1) US8754906B2 (ja)
EP (1) EP2312533B1 (ja)
JP (1) JP5551960B2 (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014113209A (ja) * 2012-12-06 2014-06-26 Toshiba Corp X線診断装置及び制御プログラム
EP2784654A1 (en) 2013-03-25 2014-10-01 FUJIFILM Corporation Mobile terminal apparatus with display unit
JP2016087433A (ja) * 2014-10-31 2016-05-23 株式会社東芝 医用画像処理装置および医用画像処理方法
JP2016097014A (ja) * 2014-11-20 2016-05-30 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
JP2017035467A (ja) * 2015-08-07 2017-02-16 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP2018500082A (ja) * 2014-12-16 2018-01-11 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 対応確率マップ主導の視覚化
WO2019124160A1 (ja) * 2017-12-18 2019-06-27 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP2019126654A (ja) * 2018-01-26 2019-08-01 富士フイルム株式会社 画像処理装置、画像処理方法、及びプログラム
JP2020181303A (ja) * 2019-04-24 2020-11-05 富士通株式会社 部位指定装置、部位指定方法、および部位指定プログラム
JP2021083960A (ja) * 2019-11-29 2021-06-03 キヤノンメディカルシステムズ株式会社 医用画像処理装置、医用画像処理方法、および医用画像処理プログラム

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9207894B2 (en) * 2008-09-19 2015-12-08 Microsoft Technology Licensing, Llc Print preview with page numbering for multiple pages per sheet
RU2582055C2 (ru) * 2010-05-06 2016-04-20 Конинклейке Филипс Электроникс Н.В. Совмещение данных изображения для динамической перфузионной компьютерной томографии
US9361791B2 (en) * 2012-01-23 2016-06-07 Gerard Eisterhold Systems and methods for an adaptive and interactive healing environment
BR112015003472B1 (pt) * 2012-08-22 2022-04-12 Koninklijke Philips N.V. Sistema de apoio para anotação e método de provisão de apoio para anotação
US9589000B2 (en) 2012-08-30 2017-03-07 Atheer, Inc. Method and apparatus for content association and history tracking in virtual and augmented reality
US9754082B2 (en) * 2014-05-30 2017-09-05 Heartflow, Inc. Systems and methods for reporting blood flow characteristics
KR101727195B1 (ko) 2014-07-02 2017-04-25 한양대학교 에리카산학협력단 사물 인터넷을 이용한 신체정보 스마트 차트 시스템
KR102128412B1 (ko) * 2015-12-24 2020-06-30 지멘스 메디컬 솔루션즈 유에스에이, 인크. 윈도우를 제공하는 방법 및 초음파 시스템
US20240231859A1 (en) * 2023-01-09 2024-07-11 Vmware, Inc. Displaying remote desktop information with adjustable transparency

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04292151A (ja) * 1991-03-20 1992-10-16 Hitachi Ltd 医用画像表示装置
JP2001285710A (ja) * 2000-03-29 2001-10-12 Konami Co Ltd 画像合成装置及び方法、情報記憶媒体、プログラム配信装置及び方法
JP2002052018A (ja) * 2000-08-11 2002-02-19 Canon Inc 画像表示装置、画像表示方法および記憶媒体
JP2002510230A (ja) * 1997-06-27 2002-04-02 ザ・ボード・オブ・トラスティーズ・オブ・ザ・リーランド・スタンフォード・ジュニア・ユニバーシティ 立体的画像ナビゲーション方法及び装置
JP2003265416A (ja) * 2002-03-12 2003-09-24 Konica Corp 医療画像処理装置
JP2005027978A (ja) * 2003-07-09 2005-02-03 Fujitsu Ltd 医療情報システム
JP2005528974A (ja) * 2002-06-12 2005-09-29 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 生理学的モデルに基づく非剛体画像位置合わせ
JP2006223389A (ja) * 2005-02-15 2006-08-31 Toshiba Corp 画像処理装置、画像処理プログラム及び画像処理方法
JP2007029248A (ja) * 2005-07-25 2007-02-08 Hitachi Medical Corp 比較読影支援装置及び画像処理プログラム
JP2007130487A (ja) * 2005-11-10 2007-05-31 Hologic Inc X線マンモグラフィ及びトモシンセシスにおける画像処理及び表示
JP2007282656A (ja) * 2006-04-12 2007-11-01 Toshiba Corp 医用画像表示装置
JP2008022918A (ja) * 2006-07-18 2008-02-07 Olympus Medical Systems Corp 画像表示装置
JP2008171264A (ja) * 2007-01-12 2008-07-24 Noritsu Koki Co Ltd 顔撮影装置および顔撮影方法
JP2008301984A (ja) * 2007-06-07 2008-12-18 Toshiba Corp 検査データ処理装置及び検査システム
JP2009000342A (ja) * 2007-06-22 2009-01-08 Toshiba Corp 医用画像表示装置
JP2009072412A (ja) * 2007-09-21 2009-04-09 Fujifilm Corp 画像表示システム及び画像表示装置並びに画像表示方法
JP2009522005A (ja) * 2005-12-29 2009-06-11 ケアストリーム ヘルス インク 時間横断的かつモダリティ横断的な医療診断

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6243095B1 (en) * 1996-12-05 2001-06-05 Peter E. Shile Navigation and display system for digital radiographs
US7297326B2 (en) * 2000-08-21 2007-11-20 The General Hospital Corporation Ocular diagnosis of Alzheimer's disease
US6794869B2 (en) * 2001-03-30 2004-09-21 General Electric Company Moving table MRI with frequency-encoding in the z-direction
US6900635B1 (en) * 2001-06-08 2005-05-31 General Electric Company Head RF quadrature coil array for parallel imaging
DE10318682B4 (de) * 2003-04-24 2011-12-29 Peter M. Jakob Beschleunigte Magnet-Resonanz-Bildgebung im Rahmen der parallelen Akquisition von MRT-Daten
US7620229B2 (en) * 2003-08-14 2009-11-17 Fujifilm Corporation Method and apparatus for aiding image interpretation and computer-readable recording medium storing program therefor
CN1775171B (zh) * 2004-08-30 2011-12-14 株式会社东芝 医用图像显示装置
US7646903B2 (en) 2005-06-22 2010-01-12 Siemens Medical Solutions Usa, Inc. System and method for path based tree matching
US7274109B2 (en) * 2005-09-23 2007-09-25 Avago Technologies General Ip (Singapore) Pte. Ltd. Modular bonding pad structure and method
US8098911B2 (en) * 2006-12-05 2012-01-17 Siemens Aktiengesellschaft Method and system for registration of contrast-enhanced images with volume-preserving constraint
DE102007010806B4 (de) * 2007-03-02 2010-05-12 Siemens Ag Verfahren zum Schaffen erweiterter Möglichkeiten bei der Verwendung von für den Einsatz von Registrierungsverfahren ungeeigneten Bilddaten eines Patienten und Röntgenangiographiesystem
US20080242977A1 (en) * 2007-03-30 2008-10-02 General Electric Company Systems, methods and apparatus for longitudinal/temporal analysis of plaque lesions
JP4900143B2 (ja) 2007-09-10 2012-03-21 富士ゼロックス株式会社 文書管理システム
DE102008030244A1 (de) * 2008-06-25 2009-12-31 Siemens Aktiengesellschaft Verfahren zur Unterstützung von perkutanen Interventionen
US8934684B2 (en) * 2009-07-31 2015-01-13 Siemens Aktiengesellschaft Method and system for facilitating an image guided medical procedure

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04292151A (ja) * 1991-03-20 1992-10-16 Hitachi Ltd 医用画像表示装置
JP2002510230A (ja) * 1997-06-27 2002-04-02 ザ・ボード・オブ・トラスティーズ・オブ・ザ・リーランド・スタンフォード・ジュニア・ユニバーシティ 立体的画像ナビゲーション方法及び装置
JP2001285710A (ja) * 2000-03-29 2001-10-12 Konami Co Ltd 画像合成装置及び方法、情報記憶媒体、プログラム配信装置及び方法
JP2002052018A (ja) * 2000-08-11 2002-02-19 Canon Inc 画像表示装置、画像表示方法および記憶媒体
JP2003265416A (ja) * 2002-03-12 2003-09-24 Konica Corp 医療画像処理装置
JP2005528974A (ja) * 2002-06-12 2005-09-29 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 生理学的モデルに基づく非剛体画像位置合わせ
JP2005027978A (ja) * 2003-07-09 2005-02-03 Fujitsu Ltd 医療情報システム
JP2006223389A (ja) * 2005-02-15 2006-08-31 Toshiba Corp 画像処理装置、画像処理プログラム及び画像処理方法
JP2007029248A (ja) * 2005-07-25 2007-02-08 Hitachi Medical Corp 比較読影支援装置及び画像処理プログラム
JP2007130487A (ja) * 2005-11-10 2007-05-31 Hologic Inc X線マンモグラフィ及びトモシンセシスにおける画像処理及び表示
JP2009522005A (ja) * 2005-12-29 2009-06-11 ケアストリーム ヘルス インク 時間横断的かつモダリティ横断的な医療診断
JP2007282656A (ja) * 2006-04-12 2007-11-01 Toshiba Corp 医用画像表示装置
JP2008022918A (ja) * 2006-07-18 2008-02-07 Olympus Medical Systems Corp 画像表示装置
JP2008171264A (ja) * 2007-01-12 2008-07-24 Noritsu Koki Co Ltd 顔撮影装置および顔撮影方法
JP2008301984A (ja) * 2007-06-07 2008-12-18 Toshiba Corp 検査データ処理装置及び検査システム
JP2009000342A (ja) * 2007-06-22 2009-01-08 Toshiba Corp 医用画像表示装置
JP2009072412A (ja) * 2007-09-21 2009-04-09 Fujifilm Corp 画像表示システム及び画像表示装置並びに画像表示方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KATHY RYALL, QING LI, AND ALAN ESENTHER: "Temporal Magic Lens: Combined Spatial and Temporal Query and Presentation", INTERACT 2005 (TENTH IFIP TC13 INT. CONF ON HUMAN-COMPUTER INTERACTION), JPN7013004066, 2005, ISSN: 0002674868 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014113209A (ja) * 2012-12-06 2014-06-26 Toshiba Corp X線診断装置及び制御プログラム
EP2784654A1 (en) 2013-03-25 2014-10-01 FUJIFILM Corporation Mobile terminal apparatus with display unit
US9318079B2 (en) 2013-03-25 2016-04-19 Fujifilm Corporation Mobile terminal apparatus with display unit
JP2016087433A (ja) * 2014-10-31 2016-05-23 株式会社東芝 医用画像処理装置および医用画像処理方法
JP2016097014A (ja) * 2014-11-20 2016-05-30 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
JP2018500082A (ja) * 2014-12-16 2018-01-11 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 対応確率マップ主導の視覚化
JP2017035467A (ja) * 2015-08-07 2017-02-16 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
WO2019124160A1 (ja) * 2017-12-18 2019-06-27 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP2019107218A (ja) * 2017-12-18 2019-07-04 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP2019126654A (ja) * 2018-01-26 2019-08-01 富士フイルム株式会社 画像処理装置、画像処理方法、及びプログラム
JP2020181303A (ja) * 2019-04-24 2020-11-05 富士通株式会社 部位指定装置、部位指定方法、および部位指定プログラム
JP7343751B2 (ja) 2019-04-24 2023-09-13 富士通株式会社 部位指定装置、部位指定方法、および部位指定プログラム
JP2021083960A (ja) * 2019-11-29 2021-06-03 キヤノンメディカルシステムズ株式会社 医用画像処理装置、医用画像処理方法、および医用画像処理プログラム

Also Published As

Publication number Publication date
EP2312533A1 (en) 2011-04-20
JP5551960B2 (ja) 2014-07-16
EP2312533B1 (en) 2013-01-02
US8754906B2 (en) 2014-06-17
US20110074813A1 (en) 2011-03-31

Similar Documents

Publication Publication Date Title
JP5551960B2 (ja) 診断支援システム、診断支援プログラムおよび診断支援方法
JP5572440B2 (ja) 診断支援システム、診断支援プログラムおよび診断支援方法
JP5478328B2 (ja) 診断支援システム、診断支援プログラムおよび診断支援方法
CN112740285B (zh) 在虚拟环境中对医学图像的叠加和操纵
US8929627B2 (en) Examination information display device and method
US9808213B2 (en) Image processing apparatus, image processing method, medical image diagnostic system, and storage medium
JP5345934B2 (ja) 観察のための三次元レンダリングからのデータ集合の選択
JP5309187B2 (ja) 医用情報表示装置およびその動作方法、並びに医用情報表示プログラム
US20060229513A1 (en) Diagnostic imaging system and image processing system
JP4800127B2 (ja) 医用画像分割装置、及び、医用画像分割プログラム
JP4800129B2 (ja) 医用画像表示処理装置、及び、医用画像表示処理プログラム
JP6768862B2 (ja) 医用画像処理方法、医用画像処理装置、医用画像処理システム及び医用画像処理プログラム
JP2008043524A (ja) 医用画像処理装置及び医用画像処理プログラム
US8693759B2 (en) Image processing device and image processing method
JP4492645B2 (ja) 医用画像表示装置及びプログラム
JP7525248B2 (ja) 医用情報処理装置及び医用情報処理プログラム
JP2016202721A (ja) 医用画像表示装置及びプログラム
JP5415245B2 (ja) 医用画像表示装置および方法並びにプログラム
JP2011143159A (ja) 医用画像表示装置、医用診断システム及び画像データ表示用制御プログラム
US10796433B2 (en) Interpretation support apparatus, operation method thereof, and non-transitory computer readable medium
JP2017196300A (ja) 医用画像表示装置及び表示プログラム
JP2018180834A (ja) 医用画像表示装置及びプログラム
JP6662580B2 (ja) 医用画像処理装置

Legal Events

Date Code Title Description
RD15 Notification of revocation of power of sub attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7435

Effective date: 20110510

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130118

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131028

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131112

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140114

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140430

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140523

R150 Certificate of patent or registration of utility model

Ref document number: 5551960

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250