JP2008067915A - 医用画像表示装置 - Google Patents

Abstract

【課題】 ３次元情報から生成した2次元画像を、視線方向を連続的に変化させることで３次元空間内の構造物の重なりや位置関係を良好に判断することができる医用画像表示装置を提供する。
【解決手段】 画像保存装置に保存されている画像を読み込む画像データ読み込み部と、視点位置決定部でデフォルト設定値あるいは、あらかじめ設定されている情報、あるいは視点位置変更要求により視点位置を決定する視点位置決定部と、画像データ読み込み部で読み込んだ画像データと、視点位置決定部で決定した視点位置から画像処理を行う画像処理部と、画像処理部で画像処理した画像情報を記憶する画像記憶部と、画像記憶部で記憶した画像情報を表示する画像表示部が画像を連続的に次々と表示するという動作を行い。視点位置変更部は視点位置変更を入力する入力装置から入力された情報により視点位置を決定する視点位置決定部からなる。
【選択図】 図３

Description

本発明は、医用画像を表示する装置に関し、特にＣＴ、ＭＲＩなどの３次元空間情報を持つ画像を表示する技法に関する。

近年、医療分野では、Ｘ線ＣＴ装置（Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ）装置、核磁気共鳴イメージング装置ＭＲＩ（Ｍａｇｎｅｔｉｃ Ｒｅｓｏｎａｎｃｅ Ｉｍａｇｉｎｇ）装置、ＣＲ（Ｃｏｍｐｕｔｅｄ Ｒａｄｉｏｇｒａｐｈｙ）装置など各種Ｘ線撮影装置が診断のために用いられている。また、これらＸ線撮影装置から出力されたデジタル画像は液晶ディスプレイなどのモニタに、診断若しくは治療を目的として３次元的な画像に表示するモニタ診断が行われている。

３次元的な画像を表示する手法として、ボリュームレンダリングを行い２次元平面表示でありながら直感的に３次元画像であるかのように表示する手法と（例えば、特許文献１）、物体がもともと空間に存在するのであるから立体視化を計る手法がある。ここで言うボリュームレンダリングとは、あるＣＴ値範囲に連続的に変化する不透明度を設定し、光の透過と反射を計算し影づけを行い、カラー表示をして、より実体感をもたせた表示方法である。一方、立体視化を計る手法としては、ホログラムを用いて観察する方法や（例えば、特許文献２）、視覚の差（パララックス）を利用する公知の立体視（ステレオ視）をする方法がある。

一方、既存の３次元情報を表現する２次元画像表示技術として最大値投影法（ＭＩＰ：Ｍａｘｉｍｕｍ Ｉｎｔｅｎｓｉｔｙ Ｐｒｏｊｅｃｔｉｏｎ）、最小値投影法（ＭｉｎＩＰ：Ｍｉｎｉｍｕｍ Ｉｎｔｅｎｓｉｔｙ Ｐｒｏｊｅｃｔｉｏｎ）、ＲａｙＳｕｍ法などがある。最大値投影法は、３次元画像上で所定の方向を設定し、この方向に直交するすべてのボクセルの投影線上で最大値を見つけ、これに基づいて２次元画像を作成する方法である。最小値投影法は、三次元画像上で所定の方向を設定し、この方向に直行するすべてのボクセルの投影戦場で最小値を見つけ、これに基づいて2次元画像を作成する方法である。肺野の観察に適するといわれている。ＲａｙＳｕｍ法は、三次元的に構築されたデータに対し任意の視点方向に投影処理を行い、投影経路中のすべてのデータを加算して投影面に表示する手法である。これらの手法を用いて視線方向を容易に3次元的に変更する方法も開示されている（例えば、特許文献３）。
特開２００３−９１７３５号 特開２００３−３３０３５２号 特開２０００−５７３８１号

しかしながら、特許文献１に開示されている方法では３次元情報をボリューム情報として表示することにより直感的でわかりやすく表示できる反面、画像データ作成時に画像情報の欠落がさけられないため、例えば、すりガラス状陰影などの小さく淡い陰影の発見が難しいという問題がある。また、ボリュームデータ同士が重なり合った場合の対策として特許文献１に開示されている方法では操作が煩雑であるという問題もある。

また、特許文献２に開示されている方法では、専用の装置が必要となり一般的なモニタでは表示できず容易ではない。

また、特許文献３に開示されている方法では、視線方向を容易に３次元的に変更し3次元データを表示する方法を開示しているが、3次元情報を複数の投影像として表示しているため、観察する医師は頭の中で３次元データを再構築しなければならず、時間と経験を必要とし直感的ではないという問題がある。さらに、自然画像であればある物体の影に異なる物体が重なっていれば物体同士の重なり具合から位置関係を知ることが可能であるが、医用画像の場合は白黒の濃淡画像であるため構造物の重なり具合や位置関係を表現することが難しいという問題がある。

本願発明者は、前記課題を解決すべく鋭意検討を重ねた結果、以下に示す発明の諸態様に想到した。

本発明に係る医用画像表示装置は、医用画像撮影装置などで撮影された３次元画像を表示する医用画像表示装置であって、該医用画像表示装置は複数の画像データを読み込む画像読み込み手段と、該画像読み込み手段で読み込んだ画像データを画像処理する際の視点位置を決定する視点位置決定手段と、該視点位置決定手段で決定された視点位置を元に該画像読み込み手段で読み込んだ画像データの画像処理を行う画像処理手段と、該画像処理手段で画像処理した結果の画像情報を保存する画像情報記憶手段と、該画像情報記憶手段で保存した画像情報を表示する画像表示手段を具備することを特徴とする。

簡単には、画像を読み込み、あらかじめＭＩＰ、ＲａｙＳｕｍ等の画像を視線経路に基づいて複数生成しておき、視点位置に対応する画像を表示する。視点位置を移動させることで視点位置に対応する画像を連続的に順次表示することで、重なっている構造物の見え隠れにより構造物の重なりを把握でき、構造物の移動量の違いにより前後位置関係を把握できる。視点位置を自由に変更できる。

本発明によれば、3次元空間情報を持つ画像データから生成した2次元画像を、視線方向を上下左右に少しずつ連続的に変化させることによる動画と人間の視覚特性を用いて構造物の重なりや位置関係を知ることができる。これにより、立体視するための専用ハードウェアなどを必要とせず、かつ画像欠落のない画像情報として表示することで、白黒の濃淡画像であっても構造物の視線位置の連続的に変化させることにより、重なりや位置関係を認識することが可能となる。

＜実施の形態１＞
以下、本発明の実施の形態について図面を参照しながら説明する。

図１は本発明のシステム構成図である。図１において１０１は医用画像を撮影する撮影装置、１０２は撮影された画像を保存する画像保存装置でありネットワーク１０６を介して接続されている。１０３、１０４は医用画像表示装置であり同一ネットワーク１０６上に１以上存在することが可能である。１０５は医用画像を出力するためのプリンタであるが必須ではない。

本実施の形態における画像表示装置による制御動作は、図２に示すようなコンピュータシステム（ハードウェア）を用いることにより実現できる。図２は、画像表示装置に配設されるコンピュータシステムの一例示したブロック図である。図２において、撮影装置１０１と、画像保存装置１０２と、医用画像表示装置１０３と、プリンタ１０６はネットワーク１０６により相互に接続されている。ここで、画像保存装置１０２と医用画像表示装置１０３はコンピュータシステムであり、ＣＰＵ２０１と、メモリ２０２と、ネットワークインターフェイス２０３と、入力装置２０７と出力装置２０８を制御する制御装置２０４と、患者情報を格納しているデータベース２１１と画像データが保存されている記憶部２１２とのデータの書き込み，読み出しを制御する記憶制御部２１０を有する記憶装置２０５と、画像生成部２０９とが、システムバス２０６を介して互いに通信可能に接続された構成としている。なお、本実施の形態では画像保存装置１０２と医用画像表示装置１０３を別体のコンピュータとしているが、これらが一本化されていても良い。画像保存装置１０２において、ＣＰＵ２０１は、記憶部２１２に格納されたプログラムに基づいて各種制御を実行する。また、医用画像表示装置１０３において、ＣＰＵ２０１は、記憶装置２０５に格納されたプログラムに基づいて各種制御を実行する。

図３は医用画像表示装置のブロック図である。３０１は画像データ読み込み部、３０２は視点位置決定部、３０３は画像処理部、３０４は画像記憶部、３０５は視点位置変更部、３０６は画像表示である。

先ず、撮影装置１０１で撮影された画像は、画像保存装置１０２に保存されている。画像保存装置１０２は保存している画像に関する患者情報が格納されている。これらの画像はネットワーク１０６を介して医用画像表示装置１０３、や医用画像表示装置１０４で表示される。また時にはプリンタ１０５からフイルムや紙で画像が出力される。

このようなシステムにおいて、本発明の実施形態に係る医用画像表示装置１０３は、画像保存装置１０２に保存されている画像を読み込む画像データ読み込み部３０１と、視点位置決定部３０２でデフォルト設定値あるいは、あらかじめ設定されている情報、あるいは視点位置変更要求により視点位置を決定する視点位置決定部と、画像データ読み込み部３０１で読み込んだ画像データと、視点位置決定部３０２で決定した視点位置から画像処理を行う画像処理部３０３と、画像処理部３０３で画像処理した画像情報を記憶する画像記憶部３０４と、画像記憶部３０４で記憶した画像情報を表示する画像表示部２０８、３０５が画像を連続的に次々と表示するという動作を行い。視点位置変更部３０６は視点位置変更を入力する２０７から入力された情報により視点位置を決定する３０２からなる。

次に、上述のように構成された画像表示装置の動作について具体的に説明する。図４は本発明の実施形態に係る画像表示装置の動作を示すフローチャートである。ただし、通常の表示を行っている場合は、必ずしも視点位置に依存した画像処理を行う必要はないので本実施の形態では通常の一般的な画像表示に関しては割愛する。以下、視点位置に依存した画像表示を行う場合の１実施の形態である。

先ず、ステップ４０１で複数の画像データを読み込む。通常は画像保存装置１０２に保存されている画像の一覧が、医用画像表示装置１０３に表示されており、患者名や患者ＩＤなどを用いて所望の患者や検査または画像を選択し画像を表示するようにキーボードや、マウス、ポインティングデバイスなど２０７を用いて入力する。表示指示を受け取った医用画像表示装置１０３は医用画像装置１０２から画像データを読み込む。ここでいう複数の画像データとは例えばＣＴで撮影された画像の場合は、通常１回の撮影で数十枚から数百枚の画像で構成される３次元空間情報を表す画像である。3次元画像の場合は、3次元空間メモリ領域をメモリ２０２に確保し画像データを読み込む。メモリ２０２に十分な空き容量がない場合は、一時的にローカルディスク上に保存しておき随時読み込んだり、随時画像保存装置から読み出したりという処理を行わなければならない。

次にステップ４０２で、視点位置を決定する。視点位置はあらかじめ既定してある初期値を用いる場合や、ステップ４０６で述べる視点位置変更により変更された情報を用いる場合がある。決定される内容は、視点位置５０２と、３次元空間データ５０１と視点位置５０２の距離、視点位置の座標、視点の振れ幅、画像表示フレームレート、画像表示順序さらには画像処理対象となる画像スライス情報の数、および表示する画像サイズすなわち作成する画像のサイズなどが必要である。

視点位置と3次元空間の距離は、視点５０２から3次元空間へ垂直に降ろした点５０３までの距離である。視点の振れ幅は通常あらかじめユーザが設定した値もしくは初期設定した値から決定される。例えば、図５に示す例では視点の振れ幅領域は、3次元空間５０１に平行でかつ視点５０２を含む平面５０４内であれば、あらゆる位置に指定することができる。ここでは視点の振れ幅を直線５０５で表している。なお平面５０４は必ずしも平面でなければならないというものではなく、球面であったり円錐状であったりしてもかまわない。また、図５では平面５０４は3次元空間５０１よりも小さめに描いているがこれに限定するものではない。また、ここでは始点と終点を視点の振れ幅の両端であるとして扱っているが、視点の振れ幅全体がカバーできていればこの限りではない。すなわち例えば視点の始点が振れ幅の中央であっても、始点から視点を移動し振れ幅の一方の端点に到達し、一方の端点から他方の端点に視点を移動しさらに始点に向かって始点を移動し、始点に到達した点を終点とすればなんら問題ない。また、往復するように視点を移動させた場合も同様である。

画像表示フレームレートは表示モニタの性能、ビデオカードの性能やコンピュータのメモリ量などが影響する。例えば、視点の振れ幅５０５を始点から終点まで２秒で表示する場合、フレームレートが１５ＦＰＳ（frame per second）の場合は１５＊２＝３０枚の画像を作成しなければならない。ただし、画像を保存しておくためのコンピュータのメモリ容量が必要なことや画像処理時間がかかることなどを考慮したフレームレートにしなければならない。

画像処理対象となる画像スライス情報の数は通常あらかじめユーザが設定した値もしくは初期設定した値から決定される。なお、ＣＴ、ＭＲ画像の場合はアキシャル、コロナル、サジタル各方向に対してそれぞれ視点を決定することができる。すなわちここではスライス数は3次元空間の画素数と言い換えることができる。

次にステップ４０３で、画像処理を行う。画像処理は最大値投影画像、最小値投影画像、ＲａｙＳｕｍ画像など一般的な積算処理を行うような画像処理が向いている。ここでは、ＲａｙＳｕｍ画像を作成する場合を例に説明する。まず、説明のために図５において、視線振れ幅５０５および3次元空間５０１を含む平面図６を用いて説明する。

６０１、６０２は投影面すなわち作成する画像面である。投影面は3次元空間側６０１であっても視点側６０２であっても画像処理には影響はない。例えば投影面上の画素６０３の値を求める場合は投影点６０３と視点を結ぶ直線状に存在する全ての画素の和を求め画像スライス数で割った値が投影点６０３の値となる。また、最大値投影画像の場合は投影点６０３と視点を結ぶ直線状に存在する画素の中で最も大きい値を示す値が投影点６０３の値となる。また、最小値投影画像の場合も同様でこの場合は最も小さい値を示す値が投影点６０３の値となる。ただし、ここでは単純に投影点６０３と視点を結ぶ直線状に存在する画素値を利用したが公知の画素補間法を用いて計算しても良い。これらの処理を投影面６０１の全ての画素に対して求めた結果が画像情報となる。

一方、図７に示すように画像処理パラメータとして３次元空間内の距離を考慮にいれる方法もある。いわば視界が及ぶ範囲を考慮に入れた画像処理である。投影面６０１の投影点７０１は視点５０２から投影点７０１を結ぶ経路上の画像データを計算することで求められる。ここでは７０２から７０３までの間が画像処理対象となる画像データである。一方、投影点７０４は視点から斜めに投影しているため、３次元空間内を通過する経路は投影点７０１に比べて長い。そこで３次元空間内での投影経路の長さを統一することもできる。この場合最も短いスライス数は、視点から投影画像に対して垂直に入射した場合である。この長さをＬとすると、投影点７０４の画像データは３次元空間の入射点７０５から、距離Ｌだけ入射した位置までの画像データにより処理する。全ての投影点における３次元空間内の経路を同一にするため、計算に用いる画像データのサンプリング値を統一し、3次元空間の画素値の補間が必要である。

さらに、投影点の値を計算する際に視点からの距離を元に重み付けを行い画像処理をすることも可能である。例えば、始点に近い点の画措置に対しては重みを強く与え、視点から遠ざかるにしたがって重みを軽くしたうえで、投影点データを計算することも可能。

次にステップ４０４で、ステップ３で求めた画像情報をメモリ２０２へ記憶する。

次にステップ４０５で、全ての画像が作成されていればステップ４０６へ、画像が作成されていなければステップ４０２の処理を行う。

画像が作成されていなかった場合はステップ４０２にて再び視点位置を決定する。ここでは再び視点位置を決定する場合のステップ４０２の処理について説明しておく。既にステップ４０２の説明で述べたとおり、作成する画像の数はフレームレートやコンピュータのメモリ容量、画像処理時間などのトレードオフで決定されなければならない。例えばフレームレートが３で視点の振れ幅５０５の始点から終点までの表示時間が４秒の場合では、合計で１２枚の画像を作成する必要がある。即ち、視点の振れ幅５０５を等分割し両端を含んだ１２枚の画像を作成する。視点位置を順次始点側から終点側へ移動させて画像を作成していく。

一方、これら一連の処理をハードウェアで実現しても良い、その場合は画像処理演算が高速に行えるためリアルタイムに処理結果をモニタ上に表示することが可能な場合がある。その場合は、１枚の画像処理が終了した時点で処理結果の画像情報を画像表示用メモリに格納し画像を表示する。一方、ソフトウェアで実現した場合、表示までの時間がかかることが予想される。この場合は全ての視点方向に対する画像処理を行い。全ての画像が生成された後画像を表示するようにする。

次にステップ４０６で、画像を表示する。設定されているフレームレートで画像記憶ステップ４０４で記憶した画像を順次表示していく。図８に例を示す。８０３のような卵型の２つの淡い陰影が前後に並んでいるとする。ここで視線方向はＡの向きである。これを視線位置を考慮せずに正面から表示した場合は８０６のように表示される。この場合８０２は完全に８０１の後ろに隠れてしまい見落とす可能性がある。また、ボリュームレンダリングした場合でも同様のことが言える。そこで実施の形態では視点位置を連続的に変化させることで構造物の重なりや位置関係を認識する。まず８０４の視点位置の場合は左から３次元空間を見るので８０２が左寄りに表示される。視点位置を８０５、８０６と順次移動していくことで８０２は左から右へ大きく移動しているように見える。また、８０１の移動量よりも８０２の移動量の方が大きいので視覚的に７０２のほうが奥に存在していることを認識できる。８０４から８０８へと順次表示した後は再び８０４に戻り繰り返し連続表示を続ける。なお、設定によっては８０８まで表示した後は逆に８０７、８０６と往復表示をすることも可能である。

次にステップ４０７で、視点位置が変更された場合は再びステップ４０２から繰り返す。なお、視点位置変更がなされない場合はこの限りではない。例えば図９は本発明の実施の形態の１例である。９０１は左右方向の視点位置を表示するためのスライドバーである。９０２は上下方向の視点位置を表示するためのスライドバーである。９０３は現在の視点位置が左右方向でどこに位置しているか表している。９０４は現在の視点位置が上下方向でどこに位置しているか表している。９０５、９０６は左右方向の視点の振れ幅の両端を表すメモリである。９０７は上下方向の視点の振れ幅の両端を表すメモリであるが、この例では上下方向に対する振れ幅がないためメモリ２つが重なりひとつに見えている例である。従って、左右方向と同様に上下方向に対しても視点の振れ幅の両端を指定することは可能である。９０８は視点の始点から終点まで移動するまでの時間を設定する。９０９は視点の繰返し方法の設定で、例えば始点と終点間を往復移動するチェックボタンと、終点まで移動した後再び始点から開始するチェックボタンを用意している。ここではチェックボタンを用いて選択できるようにしているがこれに限定するものではない。この例ではメモリ９０５、９０６、９０７を移動させることで視線の振れ幅を変更する手段を提供しているが、このほかにもマウスの位置によって視線方向を変更しても良い。すなわち、画像表示領域９１０上でマウスの右クリックをすることで、クリックされた点に対応する座標に視点位置を移動させた画像を表示する。さらに右クリックをしたままマウスを移動させた場合マウス位置に追従して画像を変更させることも可能である。

医用画像表示装置のシステム構成図。 医用画像表示装置のハードウェア構成を表すブロック図。 医用画像表示装置のブロック図。 実施の形態のフローチャート。 視点と視点触れ幅および3次元画像。 投影画像の視線経路。 視界を考慮した投影画像の視線経路。 連続表示による３次元情報表示。 実施の形態の画面レイアウト。

符号の説明

１０１ 撮影装置
１０２ 画像保存装置
１０３ 医用画像表示装置
１０４ 医用画像表示装置
１０５ プリンタ
１０６ ネットワーク
２０１ ＣＰＵ
２０２ メモリ
２０３ ネットワークインターフェイス
２０４ 制御装置
２０５ 記憶装置
２０６ システムバス
２０７ 入力装置
２０８ 出力装置
２０９ 画像生成部
２１０ 記憶制御部
２１１ データベース
２１２ 記憶部
３０１ 画像データ読み込み部
３０２ 視点位置決定部
３０３ 画像処理部
３０４ 画像記憶部
３０５ 視点位置変更部
３０６ 画像表示部

Claims (7)

1. 医用画像撮影装置で撮影した３次元画像を表示する医用画像表示装置であって、該医用画像表示装置は複数の画像データを読み込む画像読み込み手段と、該画像読み込み手段で読み込んだ画像データを画像処理する際の視点位置を決定する視点位置決定手段と、該視点位置決定手段で決定された視点位置を元に該画像読み込み手段で読み込んだ画像データの画像処理を行う画像処理手段と、該画像処理手段で画像処理した結果の画像情報を記憶する画像情報記憶手段と、該画像情報記憶手段で記憶した画像情報を表示する画像表示手段を含むことを特徴とする医用画像表示装置。
2. 請求項１記載の画像表示手段は、前記記憶手段で記憶した画像を順次繰り返して表示することができ、繰り返し方法には始点と終点間を往復移動する方法と、終点まで移動した後再び始点から開始する方法があることを特徴とする請求項１記載の医用画像表示装置。
3. 請求項１記載の画像処理手段は、前記視点を基準として視点から投影面への経路を用いて計算する最大値投影画像処理、最小値投影画像処理、ＲａｙＳｕｍ画像処理であることを特徴とする請求項１〜２記載の医用画像表示装置。
4. 請求項１記載の画像情報表示手段は、１枚の画像を表示してから次の画像を表示するまでの時間を自由に設定できることを特徴とする請求項１〜３記載の医用画像表示装置。
5. 請求項４記載の画像処理手段は、最大値投影画像処理または、最小値投影画像処理または、ＲａｙＳｕｍ処理を行うスライス画像の数を視点位置に関係なく一定の画像数で画像処理を行う方法と、視点からの距離に応じて画像処理を行う画像数を変更することを特徴とする請求項１〜４記載の医用画像表示装置。
6. 請求項４、５記載の画像処理手段は、画像処理パラメータとして視点位置と画像の距離に基づく重み付けを行い画像処理することを特徴とする請求項１〜５記載の医用画像表示装置。
7. 請求項１記載の視点位置変更手段は、３次元画像データと視点の位置関係において、3次元画像データに対して平行かつ視点を含む面上で全ての方向に変更することが可能であり、３次元画像データと該平面との距離およびまたは、視点の移動量を自由に変更できることを特徴とする請求項１記載の医用画像表示装置。

Images