JP2013248534A - 画像処理装置および画像処理方法、並びに、画像処理プログラム - Google Patents

Abstract

【課題】回転処理および領域指定処理を、ポインティングデバイスのみを用いた直感的に理解しやすい簡易な操作で容易に切り替えて３次元医用画像に施すことを可能にする。
【解決手段】３次元医用画像を取得して関心領域を抽出し、抽出された関心領域を画面中央に移動させて表示画面Ｗに表示し、表示画面上でユーザの入力位置および入力位置を始点とする軌跡を受け付け、入力位置が表示画面Ｗの中央領域６である場合に、関心領域内に回転中心を設定して回転処理を表示された３次元医用画像に施し、入力位置が表示画面Ｗのうち中央領域６以外の領域である場合に、領域指定処理を表示された３次元医用画像に施す。また、領域指定処理は、受け付けられた軌跡に基づいて表示画面上で閉曲線を指定し、指定された閉曲線から表示画面奥行き方向にのびる筒体の内側または外側の３次元医用画像を削除する処理である。
【選択図】図３Ｍ

Description

本発明は、３次元医用画像に回転処理および領域指定処理を切り替えて施すための画像処理技術、特に、表示された３次元医用画像を回転して不要部分を削除する処理を繰り返して、所望の臓器だけを切り出すのに適する画像処理技術に関するものである。

近年、画像処理技術の発展により、３次元医用画像をボリュームレンダリング法やサーフィスレンダリング法等の各種の画像生成方法により様々な角度から投影した投影画像を生成することができるようになってきた。そして、これらの生成された画像は、ユーザの表示画面上でのマウス等の操作により、３次元医用画像を移動、拡大、回転等させた画像として表示画面に表示され、３次元医用画像を立体的に理解することを支援する。

従来、このような３次元医用画像中から診断目的に応じた所望の部分を抽出して表示するために、放射線技師等のユーザがマウスやキーボードによるマニュアル操作により３次元医用画像を様々な向きに回転させる処理と不要な領域を指定して削除する処理を３次元医用画像が所望の部分のみになるまで何度も繰り返すことが一般に行われている。このため、３次元医用画像を様々な向きに回転させる処理と不要な領域を削除する処理を実行するためにユーザが行う必要のあるマニュアル操作をできるだけ簡易にする方法が求められている。

例えば、マウスの左ボタンによるドラッグ操作に領域指定処理を割り当て、キーボードのシフトボタンを押しながらマウスの左ボタンによるドラッグ操作に回転処理を割り当てて、領域指定処理と回転処理を切り替える方法のように、マウスの左ボタンによるドラッグ操作という一つの動作を、キーボードのシフトボタンを押す動作の有無と組み合わせることにより簡易に切り替える方法が提案されている。

また、特許文献１には、撮像画像の表示画面を所定の分割パターンで分割した複数の領域ａ、ｂ、ｃ・・・に、異なる種類の処理機能を割り当てておき、ポインティングデバイスによる所望の領域の指定を受け付け、ポインティングデバイスの操作により、指定された領域に割り当てられた処理機能を実行する画像処理方法が開示されている。

特開２００５−２９６１５６号公報

しかし、撮像された３次元医用画像を表示編集する画像処理用のコンピュータ端末の使用環境では、キーボードを用いず、マウスのみで各種作業を行いたいという要求がある。このため、マウスの左ボタンによるドラッグ操作という一つの動作を、キーボードのシフトボタンを押す動作の有無と組み合わせて、領域指定処理と回転処理を切り替える方法では、上記ユーザの要望に応えることができない。

また、特許文献１に記載された方法は、複数の領域にどのような機能が対応付けられているのかを直感的に把握できないため、不慣れなユーザには使いづらいという問題があった。さらに、領域指定のような３次元画像の任意の部分を自在に指定する必要がある処理に対しては、特許文献１の図２または図３に示されるような領域の配分で領域を対応付けると、対応付けられている領域が狭すぎて、領域指定処理を対応付けられている領域に３次元医用画像の所望の部分が含まれていない場合には、領域指定処理を対応付けられている領域に所望の部分が含まれるように３次元医用画像を平行移動する、または拡大縮小する、などの余分な処理を行う手間が生じ、複数の処理を切り替えるユーザの手間を十分に低減することはできない。

本発明は上記事情に鑑みてなされたものであり、回転処理および領域指定処理を、直感的に理解しやすい簡易な操作で容易に切り替えて３次元医用画像に施すための画像処理装置および方法、およびプログラムを提供することを目的とするものである。

本発明の画像処理装置は、３次元医用画像を取得する画像取得手段と、前記取得した３次元医用画像を表示画面に表示させる表示制御手段と、前記表示画面上でユーザの入力位置および入力操作を受け付けるポインティングデバイスからなる入力部と、前記受け付けられた入力位置が前記表示画面の中央領域である場合に、前記受け付けられた入力操作により回転処理を前記表示された３次元医用画像に施し、前記受け付けられた入力位置が前記表示画面のうち前記中央領域以外の領域である場合に、前記受け付けられた入力操作により領域指定処理を前記表示された３次元医用画像に施す画像処理手段を備え、前記領域指定処理は、前記受け付けられた入力操作に基づいて前記表示画面上で閉曲線を指定し、前記指定された閉曲線から前記表示画面奥行き方向にのびる筒体の内側または外側の３次元医用画像を削除する処理であることを特徴とするものである。

本発明の画像処理方法は、３次元医用画像を取得する画像取得ステップと、前記取得した３次元医用画像を表示画面に表示させる表示制御ステップと、前記表示画面上でユーザの入力位置および入力操作を受け付ける入力ステップと、前記受け付けられた入力位置が前記表示画面の中央領域である場合に、前記受け付けられた入力操作により回転処理を前記表示された３次元医用画像に施し、前記受け付けられた入力位置が前記表示画面のうち前記中央領域以外の領域である場合に、前記受け付けられた入力操作により領域指定処理を前記表示された３次元医用画像に施す画像処理ステップとを有する画像処理方法であって、前記領域指定処理は、前記受け付けられた入力操作に基づいて前記表示画面上で閉曲線を指定し、前記指定された閉曲線から前記表示画面奥行き方向にのびる筒体の内側または外側の３次元医用画像を削除する処理であることを特徴とするものである。

本発明の画像処理プログラムは、コンピュータを、３次元医用画像を取得する画像取得手段と、前記取得した３次元医用画像を表示画面に表示させる表示制御手段と、前記表示画面上でユーザの入力位置および入力操作を受け付けるポインティングデバイスからなる入力部と、前記受け付けられた入力位置が前記表示画面の中央領域である場合に、前記受け付けられた入力操作により回転処理を前記表示された３次元医用画像に施し、前記受け付けられた入力位置が前記表示画面のうち前記中央領域以外の領域である場合に、前記受け付けられた入力操作により領域指定処理を前記表示された３次元医用画像に施す画像処理手段として機能させる画像処理プログラムであって、前記領域指定処理は、前記受け付けられた入力操作に基づいて前記表示画面上で閉曲線を指定し、前記指定された閉曲線から前記表示画面奥行き方向にのびる筒体の内側または外側の３次元医用画像を削除する処理であるものである。

本発明において、上記ポインティングデバイスは、画面上に表れるポインタを移動操作可能な、マウスやタッチパネル等の周知の種々の入力機器を本発明の入力部として適用可能である。

また、本発明において、上記３次元医用画像は、たとえばＣＴ、ＭＲ、超音波装置、ＰＥＴ―ＣＴ、ＳＰＥＣＴ、４Ｄ-ＣＴ、ＯＣＴ、Ｘ線撮影装置（ＣＲ、ＤＲ）により撮像された医用画像データであってもよいし、たとえばボリュームデータ等の３次元画像データであってもよい。

また、表示された３次元医用画像は、３次元医用画像を表すものであれば、周知の様々な再構成法により表されたものであってよい。望ましくは、ボリュームレンダリング法で生成されたボリュームレンダリング画像または、サーフィスレンダリング法で生成されたサーフィスレンダリング画像等の擬似３次元画像であることが好ましい。

また、本発明において、前記中央領域とは、表示画面中央に集中する、画面の中心点近傍の領域を意味し、円を含む楕円形、正方形を含む矩形または他の多角形からなり、表示画面の面積の数分の１以下の面積を有するものである。数分の１とは、少なくとも４分の１よりも小さい面積で、９分の１より小さいことが望ましい。また、例えば、中心点を含む領域であってもよく、中心点を囲むドーナツ状の領域であってもよい。なお、中央領域のサイズは、画面上でポインティングデバイスにより位置の指定をできる大きさを維持する範囲で、辺縁領域の広さを十分確保するために小さい方が好ましい。また、前記中央領域は、例えば、表示画面の中心点を中心とした、表示画面の面積に対して１／９以下の面積の円または楕円であることが好ましく、さらに好ましくは、表示画面の面積の１／３００以上１／１０以下の面積を有する円または楕円であることが好ましく、最も好ましくは表示画面の面積の１／３００以上１／１８以下の面積を有する円または楕円であることが好ましい。

また、本発明において、表示制御手段は、中央領域の位置をユーザに識別させるための指標を、中央領域付近に表示することが好ましく、中央領域内に中央領域より小さい大きさの指標を表示するものであることがさらに好ましい。かかる指標は中央領域をユーザに識別容易にするとともに、３次元医用画像の観察を阻害しないものであることが好ましく、例えば指標を半透明とすることが好ましく、入力位置と入力操作を受け付けている間など、中央領域を視認する必要がないときには指標を表示させないことが好ましい。指標のサイズは、ユーザに識別容易な大きさを維持する範囲で、３次元医用画像の観察を阻害しないように小さいほうが好ましい。例えば、指標を、中央領域より小さい範囲で、画面の面積の１／３００以上１／１０以下のサイズにすることが好ましく、画面の面積の１／３００以上１／１８以下のサイズにすることが好ましく、画面の面積の１／３００以上１／２０以下のサイズにすることが好ましい。

本発明において前記領域指定処理は、前記受け付けられた入力操作に基づいて前記表示画面上で画面の外縁とともに閉曲線を指定し、前記指定された閉曲線から前記表示画面奥行き方向にのびる筒体の内側の３次元医用画像を削除する処理であってもよい。

本発明における３次元医用画像は、複数の臓器を含むものであってよい。例えば、心臓、肺、肝臓、胃、骨などを含む胸部ＣＴ撮影により得られた医用画像があげられる。

本発明の画像表示装置の画像処理装置、方法およびプログラムは、表示画面上でユーザの入力位置および入力操作を受け付け、受け付けられた入力位置が表示画面の中央領域である場合に、その入力操作により回転処理を、表示された３次元医用画像に施し、受け付けられた入力位置が表示画面のうち中央領域以外の領域である場合には、その入力操作により領域指定処理を、表示された３次元医用画像に施すものであり、領域指定処理は、受け付けられた入力操作に基づいて表示画面上で閉曲線を指定し、指定された閉曲線から表示画面奥行き方向にのびる筒体の内側または外側の３次元医用画像を削除する処理である。このため、領域指定処理に対応付けられた領域が中央領域を除く表示画面の辺縁領域であり、かかる辺縁領域が表示画面の面積に対して十分大きい面積を有するものであるため、ユーザは辺縁領域に所定の操作を行うことにより３次元画像の所望の部分をほぼ自在に指定できる。ユーザは、一般的に、ユーザの関心領域を画面中央に配置して３次元画像を観察し、ユーザの関心領域を中心に回転することがユーザの直感的な感覚に沿うものであると考えられるから、削除したい不要部分が画面中央にあることは実際には少ないので、これで不都合はなく、実用に適した効率のよい操作が可能になる。

すなわち、回転処理を中央領域に対応付けたことにより、中央領域に対する入力操作に基づいて画面の中心周りに３次元画像の回転処理を施すことができ、直感的にユーザに領域と処理の対応付けが把握しやすい。また、ポインティングデバイスにより所定の操作を入力位置を変えて入力するだけで、領域指定処理と回転処理が自動的に切り替わるので、これらの処理を別操作で切り替える煩雑な操作を行うことなく両処理を切り替えて実行できるので、ポインティングデバイスのみにより両処理を３次元画像に施したいというユーザの要望に応えるとともに、ユーザの手間と作業時間を効果的に低減できる。

本発明の実施形態における画像処理装置の機能ブロック図 本発明の実施形態における画像処理の流れを表したフローチャート 本発明の実施形態における心臓を切り出す一連の処理の表示画面例（＃１） 本発明の実施形態における心臓を切り出す一連の処理の表示画面例（＃２） 本発明の実施形態における心臓を切り出す一連の処理の表示画面例（＃３） 本発明の実施形態における心臓を切り出す一連の処理の表示画面例（＃４） 本発明の実施形態における心臓を切り出す一連の処理の表示画面例（＃５） 本発明の実施形態における心臓を切り出す一連の処理の表示画面例（＃６） 本発明の実施形態における心臓を切り出す一連の処理の表示画面例（＃７） 本発明の実施形態における心臓を切り出す一連の処理の表示画面例（＃８） 本発明の実施形態における心臓を切り出す一連の処理の表示画面例（＃９） 本発明の実施形態における心臓を切り出す一連の処理の表示画面例（＃１０） 本発明の実施形態における心臓を切り出す一連の処理の表示画面例（＃１１） 本発明の実施形態における心臓を切り出す一連の処理の表示画面例（＃１２） 本発明の実施形態における心臓を切り出す一連の処理の表示画面例（＃１３）

以下、本発明の画像処理装置、画像処理プログラムおよび画像処理方法の実施形態について、図面を参照しながら詳細に説明する。本発明は、画像装置に表示された３次元画像から所望の画像を回転させながら順次不要な領域を削除し所望の領域を抽出する処理を行う様々な分野で応用可能であるが、ここでは、医療分野における画像診断に本発明を適用した例をもとに説明を行う。

図１に、医師が使用するワークステーションに、画像表示プログラムをインストールすることにより実現された画像処理装置の概略構成を示す。画像処理装置１は、標準的なワークステーションの構成として、プロセッサおよびメモリ（いずれも図示せず）を備え、さらに、ＨＤＤ（Hard Disk Drive）やＳＳＤ(Solid State Drive)等のストレージ２を備えている。また、画像処理装置１には、ディスプレイ３と、マウス、キーボード等の入力部４が接続されている。

画像表示プログラムと画像表示プログラムが参照するデータは、インストール時にストレージ２に記憶され、起動時にメモリにロードされる。画像処理プログラムは、ＣＰＵに実行させる処理として、画像取得処理と、画像処理と、表示制御処理とを規定している。

そして、プログラムの規定にしたがって、ＣＰＵが上記各処理を実行することにより、汎用のワークステーションは、３次元医用画像を取得する画像取得手段１１と、取得した３次元医用画像を表示画面に表示させる表示制御手段１３と、表示画面上でユーザの入力位置および入力操作を受け付けるポインティングデバイスからなる入力部４と、受け付けられた入力位置が表示画面の中央領域６である場合に、受け付けられた入力操作により回転処理を表示された３次元医用画像に施し、受け付けられた入力位置が表示画面のうち中央領域以外の領域である場合に、受け付けられた入力操作により領域指定処理を表示された３次元医用画像に施す画像処理手段１２として機能する。

ストレージ２には、撮影を担当する検査部門から転送された、３次元医用画像、もしくはデータベース検索により取得された内視鏡画像および３次元医用画像が記憶される。３次元画像は、マルチスライスＣＴ装置等から直接出力された３次元医用画像でもよいし、従来型のＣＴ装置等から出力された２次元のスライスデータ群を再構成することにより生成された３次元医用画像でもよい。

画像処理装置１は、選択メニューにおいて所定の診断支援機能が選択されたことを検出すると、ユーザに、３次元医用画像の特定に必要な情報の選択または入力を促す。そして、ユーザの操作により、３次元医用画像が特定されると、ストレージ２からメモリに、該当する３次元医用画像をロードする。

ここでは、ある患者の検査において、マルチスライスＣＴ装置による撮影が行われ、患者の情報を含む３次元医用画像Ｖが取得されて不図示のデータベースに記憶されているものとする。ユーザがボリュームレンダリング表示機能を選択し、その患者の識別子や検査日を入力すると、該当する３次元医用画像Ｖが取得されてストレージ２に記憶され、本発明の画像処理方法が実行される。

図２は本発明の画像処理方法の好ましい実施形態を示すフローチャートであり、図３Ａ乃至３Ｍは、本実施形態の画像処理方法を用いて、３次元医用画像Ｖに回転処理と指定した領域を削除する処理を繰り返して、被写体５の胸部ＣＴ撮影で取得された心臓、肺、肝臓、肋骨、脊柱などを含む３次元医用画像Ｖから画像診断対象の臓器である心臓を抽出して表示する作業の表示画面例を表す図である。以下、図２および図３Ａ乃至３Ｍを参照して本実施形態の画像処理方法について説明する。

まず、画像取得手段１１がストレージ２からＣＴ装置による断層撮影により取得された観察対象である被写体５を表す３次元医用画像Ｖを取得する（Ｓ０１）。本発明の画像処理方法に先立って、ユーザの入力部を用いたマニュアル操作に応じて３次元医用画像Ｖに表される被写体５をディスプレイ３の画面上で平行移動させて、図３Ａに示すように、抽出したい臓器である心臓が中央に位置するように画面表示した状態にする。そして、ユーザが、メニュー選択により、回転処理および領域指定処理限定モードを選択すると本発明の画像処理方法が開始する。

まず、表示制御手段１３は、図３Ａに示すように、被写体５を表す３次元医用画像Ｖをディスプレイ３の表示画面Ｗに表示させる（Ｓ０２）。図３Ａに示すように、本実施形態では、中央領域６は、表示画面Ｗの面積の約４０分の１の面積を有する円領域であり、画面上に中央領域６の境界は表示されず、その代わりに、表示制御手段１３はユーザが中央領域６の大まかな位置を把握できるように中央領域内に中央領域より小さい大きさの指標である中央領域アイコンＭを表示させている。ここでは、中央領域アイコンＭは、中央領域に対して約６０％程度のサイズを有している。

入力部４は、ユーザのマウスによる入力を待機し（Ｓ０３のＮ）、ユーザの入力を検出すると（Ｓ０３のＹ）、中央領域アイコンＭを非表示にするとともに（Ｓ０４）、表示画面上での入力位置と入力操作を周知の方法により受け付ける（Ｓ０５）。ここでは、表示された３次元医用画像の回転処理または領域指定に割り当てられているユーザの入力操作は、マウスの左ボタンによるドラッグ操作であり、入力位置は、マウスのドラッグの開始位置である。かかる、入力位置と入力操作の受付は、例えば特許文献１に記載された方法が適用できる。

次いで、画像処理手段１２は、受け付けた入力操作がマウスの左ボタンによるドラッグ操作であれば、受け付けた入力位置が表示画面の中央領域である場合に（Ｓ０６のＹ）、受け付けられた入力操作により回転処理を表示された３次元医用画像に施し（Ｓ０７）、受け付けられた入力位置が表示画面のうち中央領域以外の領域である場合に（Ｓ０６のＮ）、受け付けられた入力操作により領域指定処理を表示された３次元医用画像に施す（Ｓ０８）。

なお、画像処理手段１２は、受け付けた入力操作がマウスの左ボタンによるドラッグ操作以外の入力操作であれば、その入力操作に割り当てられた所定の処理機能を実行する。また、特許文献１に記載された方法と同様に、画像処理装置１は、ストレージ２に、中央領域と回転処理、表示画面から中央領域を除いた領域に領域指定処理をそれぞれ対応付けた対応付けテーブルＴを予め記憶しており、対応付けテーブルＴをメモリ上にロードして参照し、上記処理を行う。

図３Ｂは、図３Ａから削除の対象である脊柱および肋骨領域を含む領域７を指定した図である。画像処理手段１２は、ユーザがマウス４によりポインタＰを閉曲線を描くようにドラッグする操作の開始位置と軌跡に応じて、受け付けられた入力位置が表示画面のうち中央領域以外の領域である場合に（Ｓ０６のＮ）、表示画面Ｗ上で閉曲線を指定し、指定された閉曲線から表示画面Ｗの奥行き方向にのびる筒体の内側の３次元医用画像を削除し、かかる削除処理後の３次元医用画像Ｖを生成する（Ｓ０８）。なお、３次元医用画像Ｖのうち、かかる指定された閉曲線から表示画面Ｗの奥行き方向にのびる筒体の内側に属する領域７を、本実施形態では指定領域７と場合により称する。かかる閉曲線は、ユーザの入力軌跡に基づく折れ線多角形により指定してもよく、ユーザのフリーハンド入力の軌跡により構成される曲線にしてもよく、ユーザの入力軌跡に基づくスプライン曲線により指定してもよい。また、閉曲線の指定方法を選択メニューにより指定可能にしてもよい。

また、本実施形態において、画像処理手段１３は、図３Ｂに示すように、ユーザのドラッグ操作によるマウスの軌跡が表示画面Ｗの外縁を超えて閉曲線または、曲線を描くものであれば、受け付けられた入力操作に基づいて表示画面上で画面の外縁とともに閉曲線を指定し、指定された閉曲線から表示画面奥行き方向にのびる筒体の内側の３次元医用画像を削除する。

図３Ｃに示すように、表示制御手段１３は、指定領域を削除処理した後の３次元医用画像Ｖを表示画面に表示するとともに表示画面上に中央領域アイコンＭを再表示する（Ｓ０９）。図３Ｃに示すように、表示された３次元医用画像Ｖは、図３Ｂの指定領域７が削除されている。また、回転処理および領域指定処理限定モードがオンの状態が続いているため（Ｓ１０のＮ）、図３Ｃに示す表示状態で、画像処理装置１はユーザの入力を待機する（Ｓ０３）。

図３Ｄは、図３Ｃに示す画像上でさらに削除の対象である肋骨領域を含む領域７を指定した様子を表す図である。図３Ｂの説明と同様に、入力部４がユーザの入力を受け付けるとともに中央領域アイコンＭを非表示にし、画像処理手段１２が、ユーザがマウス４によりポインタＰをドラッグする操作の位置と軌跡に応じて、表示画面Ｗ上で閉曲線を指定し、指定された閉曲線から表示画面Ｗの奥行き方向にのびる筒体の内側の３次元医用画像を削除した３次元医用画像Ｖを生成し、生成した３次元医用画像Ｖおよび中央領域アイコンＭを表示するまでのＳ０４乃至Ｓ０９の処理を実行する。

図３Ｅは、表示制御手段１３が、図３Ｄの指定領域を削除処理した後の３次元医用画像Ｖを表示画面Ｗに表示するとともに表示画面Ｗ上に中央領域アイコンＭを再表示した画面例である。図３Ｅでは、図３Ｃと同様に、回転処理および領域指定処理限定モードがオンの状態が続いているため（Ｓ１０のＮ）、図３Ｅに示す表示状態で、画像処理装置１はユーザの入力を待機する（Ｓ０３）。

図３Ｆは、図３Ｅに示した状態に対して、表示された３次元医用画像Ｖを回転させるために中央領域６からドラッグ操作が入力される様子を表している。Ｓ０４およびＳ０５の処理は、先述の領域指定処理の場合と同様である。画像処理手段１２は、対応付けテーブルＴを参照して、受け付けた入力位置が中央領域６内である場合には（Ｓ０６のＹ）、受け付けた入力操作を解析して、表示画面Ｗ上でドラッグ操作の始点から終点への向きおよび距離を算出する。そして、画像処理手段１２は、算出された向きおよび距離に応じて３次元医用画像Ｖに対する視点を回転し、かかる回転処理後の３次元医用画像Ｖを生成する（Ｓ０７）。

図３Ｆに示すように、ここでは、ユーザが、中央領域６内にある図３Ｆの下側のポインタＰの位置にポインタＰを合わせてマウスの左ボタンを押し下げ、マウスの左ボタンを押し下げた状態で白色矢印方向（画面上方）にポインタを移動させて、図３Ｆの上側のポインタＰの位置でマウスの左ボタンを解放するという操作が行われている。入力部４は、受け付けた入力操作から、マウスの左ボタンを押し下げた位置（ドラッグ操作の始点）である入力位置と左ボタンを解放した位置（ドラッグ操作の終点）を解析することにより、回転の向き（図３Ｆにおける白色矢印方向）および回転量を算出し、指定された向きおよび距離に応じて３次元医用画像に対する視点を回転し、かかる回転処理後の３次元医用画像Ｖを生成する。

そして、表示制御手段１３は、生成された３次元医用画像Ｖを表示するとともに表示画面上に中央領域アイコンＭを再表示する（Ｓ０９）。図３Ｇは、図３Ｆで指定された回転処理を行った後の表示画面Ｗの例を示す図である。

そして、画像処理装置１は、ユーザが、メニュー選択により、回転処理および領域指定処理限定モードをオフにするまで（Ｓ１０のＮ）、Ｓ０３からＳ０９までの処理を繰り返す。

本実施形態では、ユーザは適宜３次元画像を回転させて心臓以外の領域を目視確認し、心臓以外の領域がなくなるまで３次元画像から心臓以外の領域を削除する操作を繰り返す。このため、図３Ｈに示すように、画像処理装置１は、ユーザの入力に基づいて図３Ｇに表示された３次元医用画像Ｖからさらに心臓以外の領域（肺の血管領域７Ａ、７Ｂおよび肝臓領域７Ｃ）を指定して削除する領域指定処理を順に繰り返す。さらに、画像処理装置１は、図３Ｉ乃至３Ｌに示すように、ユーザの入力に基づいて３次元医用画像Ｖを回転処理して回転された３次元医用画像Ｖに対し心臓以外の領域７を指定して削除する領域指定処理を順に実行する。そして、画像処理装置１は、最終的に図３Ｍのように心臓のみが抽出された３次元画像を表示する（Ｓ０９）。

そして、ユーザが、メニュー選択により、本実施形態による回転処理および領域指定処理限定モードをオフにすると（Ｓ１０のＹ）、本実施形態による画像処理を終了し、通常の画像処理モードに戻る。

本実施形態によれば、領域指定処理に対応付けられた領域が中央領域６を除く表示画面の辺縁領域であり、かかる辺縁領域が表示画面の面積に対して十分大きい面積を有するものであるため、ユーザは辺縁領域に所定の操作を行うことにより３次元画像の所望の部分をほぼ自在に指定できる。

ユーザは、一般的に、ユーザの関心領域を画面中央に配置して３次元医用画像を観察すると推定できるため、ユーザの関心領域を中心に回転することがユーザの直感的な感覚に沿うものであると考えられる。このため、回転処理を中央領域６に対応付けたことにより、中央領域に対する入力操作に基づいて画面の中心周りに３次元医用画像の回転処理を施すことができ、直感的にユーザに領域と処理の対応付けが把握しやすい。

また、ポインティングデバイスによる所定の操作を、入力位置を変えて入力するだけで、領域指定処理と回転処理を切り替える煩雑な操作を行うことなく両処理を切り替えて実行でき、ポインティングデバイスのみにより両処理を３次元医用画像に施したいというユーザの要望に応えるとともに、ユーザの手間と作業時間を効果的に低減できる。また、キーボードを使う必要がないため、作業台のスペース確保のためにコンピュータ端末の操作を全てマウスで行っている医療現場においても、本発明の画像処理方法を好適に適用でき、使用環境に対応する汎用性が高い。

また、中央領域よりも小さい大きさの指標である中央領域アイコンＭを表示画面に表示するものであるため、指標により３次元医用画像Ｖの視認を妨げない範囲で、ユーザの中央領域６の把握を効果的に支援できる。なお、指標を半透明に設けた場合は、指標の重なっている部分であっても半透明の指標を通して３次元医用画像Ｖを視認でき、さらに好適である。

また、本実施形態における領域指定処理は、受け付けられた入力操作に基づいて表示画面上で閉曲線を指定し、指定された閉曲線から表示画面奥行き方向にのびる筒体の内側の３次元医用画像を削除する処理である。一般的に、ユーザは関心領域を画面中央に配置して３次元医用画像を観察していると推定されるため、ユーザの削除対象となる部分の閉曲線は、表示画面の中央領域ではなく辺縁領域に存在している可能性が高い。このため、ユーザは辺縁領域に閉曲線を指定するという操作を行うことにより３次元医用画像の削除部分を、３次元医用画像の移動や拡大などの余分な手間を要さず指定でき、簡単に削除操作をすることができる。また、領域指定処理は、入力操作により指定された閉曲線から表示画面奥行き方向にのびる筒体の内側でなく外側の３次元医用画像を削除する処理であってもよい。かかる場合には、ユーザの削除対象となる部分の閉曲線は、辺縁領域内において、中央領域６を取り囲むように指定される。そうすることにより、３次元医用画像の削除部分を、３次元医用画像の移動や拡大などの余分な手間を要さず指定することができる。なお、本実施形態では、領域指定処理に、削除する領域を上述の筒体の内側および外側のいずれにするかを予め設定する設定オプションが設けられ、削除する領域を上述の筒体の内側とする設定がされているものとする。なお、閉曲線を指定して３次元医用画像の一部を削除する操作をする場合でも、必要に応じて３次元医用画像の移動や拡大を行ってもよいのは言うまでもない。

また、本実施形態における領域指定処理を、指定領域を削除する処理をしないようにし、受け付けられた入力操作に基づいて表示画面上で閉曲線を指定し、指定された閉曲線から表示画面奥行き方向にのびる筒体の内側の３次元医用画像を指定する処理としてもよい。かかる場合には、指定領域を指定するドラッグ操作を行い、ドラッグ操作を終了したマウスポインタの位置（マウスのボタンを解放した位置）に、指定領域の削除（指定領域の内側の削除）、指定領域の選択（指定領域の外側の削除）を選択可能なダイアログ等を表示し、ユーザに削除領域を選択させる方法が考えられる。

また、本実施形態において、画像処理手段１３は、ユーザのドラッグ操作によるマウスの軌跡が表示画面Ｗの外縁を超えて閉曲線または曲線を描くものであれば、領域指定処理として、受け付けられた入力操作に基づいて表示画面上で画面の外縁とともに閉曲線を指定し、指定された閉曲線から表示画面奥行き方向にのびる筒体の内側の３次元医用画像を削除するため、ユーザは表示画面Ｗの外縁を意識せずに領域指定のためのマニュアル操作をすればよく、より使い勝手がよい。

また、本実施形態のように、複数の臓器を含む３次元医用画像Ｖから所望の部分を切り出す処理に、本実施形態の画像処理方法を適用した場合には、患者により異なる部位を抽出する作業を数多く行う必要がある医療分野において、本画像処理による上述の各効果が大いに有益である。

例えば、上述の実施形態において、３次元医用画像から心臓を切り出す一連の処理は、領域を指定して削除する少なくとも８回の領域指定処理と、少なくとも５回の回転処理の２種類の処理の組み合わせにより実行されている。そして、３次元医用画像からさらに複雑な形状の部分を切り出す作業では、２種類の処理の切り替えをするためのさらに多くのユーザ操作が必要となることが予想される。本実施形態の画像処理方法は、領域を指定して削除する少なくとも８回の領域指定処理と、少なくとも５回の回転処理からなる１３回の処理を、ユーザの１つの操作のみにより最低１３回の入力で実行することができるものである。マウスの入力操作とキーボードの所定の操作の有無の組合せにより実行する場合には、本実施形態のユーザ操作にキーボードの所定の操作を切り替える付加動作が必要となり、特許文献１のように、回転処理が本処理に特に適した領域と割合に割り当てられていない場合には、本実施形態のユーザ操作に３次元医用画像Ｖを領域指定処理に割り当てられた画面上の領域に移動させる余分な付加動作が必要となることを鑑みて、本実施形態の画像処理方法はユーザ操作を直感的に把握できるとともにユーザ操作の回数を必要最小限に絞り込むことができ、ユーザ操作の手間およびユーザの作業時間を著しく低減するという、ユーザにとって非常に有意義な効果をもたらすものである。

以下に本実施形態の変形例について説明する。

また、上記実施形態における表示制御手段１３が、３次元医用画像を表示画面の８割程度の体積または表示面積になるように自動的に拡大縮小して表示するものであってもよい。かかる場合には、ユーザは、３次元医用画像の回転処理または領域指定処理のみをドラッグ操作で行うだけで、３次元画像が回転、領域指定などのユーザ操作にちょうどよいサイズで自動表示されるため、領域指定により削除されてサイズが小さくなった３次元画像を拡大するための操作を行う必要がない。つまり、３次元医用画像の回転処理または領域指定処理のためのドラッグ操作以外の余分な作業を行うことなく、簡易かつ迅速に所望の部位の抽出処理を行うことができる。

上記実施形態において、画像処理装置１は、３次元医用画像の中心（例えば、３次元医用画像の重心）を関心領域として抽出し、表示制御手段１３が抽出された関心領域を画面中央に移動させて表示する関心領域移動手段をさらに備えるものであってもよい。また、画像処理装置１は、３次元画像に含まれる臓器や病変などの構造物を、自動抽出する関心領域抽出手段をさらに備え、表示制御手段１３が抽出された関心領域を画面中央に移動させて表示する関心領域移動手段を備えるものであってもよい。かかる場合には、３次元医用画像の関心領域を自動的に画面中央に配置した投影画像について本発明の画像処理を行うことができるため、ユーザは、３次元医用画像の回転処理または領域指定処理のみをドラッグ操作で行うだけで、関心領域を画面中央に表示するとともに関心領域内またはその近傍に回転中心を自動的に決定することができるため、３次元医用画像の回転処理または領域指定処理のためのドラッグ操作以外の余分な作業を行うことなく簡易かつ迅速に所望の部位の抽出処理を行うことができる。また、関心領域を中央に位置させることができ、被写体の直感的な把握が容易である。

なお、上記の関心領域抽出手段として、例えば、以下の技術が適用可能である。

例えば、計算機支援画像診断（CAD；Computer Aided Diagnosis）による抽出技術として、肺野について、特開２００１−１３７２３０号、特開２００８−２５３２９３号、肝臓抽出について特開２００１−２８３１９１号、特開２００２−３４５８０７号、骨について、特開２００８−４３５６４号、心臓について、特開２００４−１４１６１２号の技術が利用でき、その他の臓器認識技術も指定された病変の位置が所属する臓器を自動的に抽出できるものであれば利用可能である。

また、３次元画像から抽出する構造物は、医用画像に写った異常陰影等の病変でもよい。異常陰影を手動で抽出してもよく、計算機処理を用いて異常陰影候補を自動的に検出するようにした計算機支援画像診断（CAD；Computer Aided Diagnosis）を行い、自動的に病変領域を検出することができる。

病変領域検出に利用できる技術は、具体的には、特開２００３−２２５２３１号、特開２００３−２７１９２４号、および、久保田等、「ヘリカルCT像を用いた肺がん計算機診断支援システムの評価」、電子情報通信学会、信学技報、pp.41-46、MI2001-41(2001-09)に示す肺がんを検出する技術、脇田等、「びまん性肺疾患の知的CAD」、文部科学省科学研究費補助金特定領域研究"多次元医用画像の知的診断支援"、第４回シンポジウム論文集、pp. 45-54、２００７に示すコンソリデーション、Ground-Glass Opacity(GGO)、Crazy-Paving、蜂巣状陰影、肺気腫陰影、粒状影等のびまん性肺疾患の検出技術、脇田等、「多時相腹部Ｘ線ＣＴ像の時相間濃度特徴計測に基づく肝臓がん検出」、コンピュータ支援画像診断学会論文誌、Vol.10、No.1、Mar 2007に示す肝臓がん検出技術、「正常構造の理解に基づく知的CAD」、文部科学省科学研究費補助金特定領域研究"多次元医用画像の知的診断支援"、第４回シンポジウム論文集pp.55-60、２００７に示す肝細胞がん、肝のう胞、肝血管種、肝臓領域における出血、脳領域における出血を検出する技術を用いることができる。また、特開２００４−３２９９２９号に示すような血管の異常を検出する技術、本出願人の出願である特開平１０−９７６２４号に示す異常陰影候補の検出技術、特開平８−２１５１８３号に示すような石灰化領域の検出技術を用いることもできる。

また、上記実施形態において中央領域は、表示画面中央に集中する、画面の中心点近傍の領域を意味し、円を含む楕円形、正方形を含む矩形または他の多角形からなり、表示画面の面積の数分の１以下の面積を有するものである。数分の１とは、少なくとも４分の１よりも小さい面積で、９分の１より小さいことが望ましい。また、例えば、中心点を含む領域であってもよく、中心点を囲むドーナツ状の領域であってもよい。なお、中央領域のサイズは、画面上でポインティングデバイスにより位置の指定をできる大きさを維持する範囲で、辺縁領域の広さを十分確保するために小さい方が好ましい。また、前記中央領域は、例えば、表示画面の中心点を中心とした、表示画面の面積に対して１／９以下の面積の円または楕円であることが好ましく、さらに好ましくは、表示画面の面積の１／３００以上１／１０以下の面積を有する円または楕円であることが好ましく、最も好ましくは表示画面の面積の１／３００以上１／１８以下の面積を有する円または楕円であることが好ましい。また、ディスプレイ等の大きさやユーザの使い勝手に応じて、ユーザは中央領域のサイズを変更して設定可能であることが好ましい。また、かかる表示画面との関係により中央領域のサイズを決める代わりに、表示した画面上で、所望の表示サイズになるように中央領域を設定してもよく、例えば、直径０．５−５ｃｍ程度の円（または同程度のサイズの閉曲面）になるように中央領域を設定することが好ましく、直径０．７−３ｃｍ程度の円（または同程度のサイズの閉曲面）になるように中央領域を設定することがさらに好ましく、直径１−２ｃｍ程度の円（または同程度のサイズの閉曲面）になるように中央領域を設定することがさらに好ましい。

指標のサイズは、ユーザに識別容易な大きさを維持する範囲で、３次元医用画像の観察を阻害しないように小さいほうが好ましい。例えば、指標を、中央領域より小さい範囲で、例えば、指標を、中央領域より小さい範囲で、画面の面積の１／３００以上１／１０以下のサイズにすることが好ましく、画面の面積の１／３００以上１／１８以下のサイズにすることが好ましく、画面の面積の１／３００以上１／２０以下のサイズにすることが好ましい。また、ディスプレイ等の大きさやユーザの使い勝手に応じて、ユーザは中央領域アイコンのサイズを変更して設定可能であることが好ましい。また、かかる表示画面との関係により中央領域アイコンのサイズを決める代わりに、表示した画面上で、所望の表示サイズになるように中央領域アイコンのサイズを設定してもよく、例えば、中央領域よりも小さい範囲で、直径０．５−５ｃｍ程度の円と同程度のサイズになるように中央領域アイコンの大きさを設定することが好ましく、直径０．７−３ｃｍ程度の円と同程度のサイズになるように中央領域アイコンの大きさを設定することが好ましく、直径１−２ｃｍ程度の円の円と同程度のサイズになるように中央領域アイコンの大きさを設定することがさらに好ましい。

上記の各実施形態はあくまでも例示であり、上記のすべての説明が本発明の技術的範囲を限定的に解釈するために利用されるべきものではない。

この他、上記の実施形態におけるシステム構成、ハードウェア構成、処理フロー、モジュール構成、ユーザインターフェースや具体的処理内容等に対して、本発明の趣旨から逸脱しない範囲で様々な改変を行ったものも、本発明の技術的範囲に含まれる。

なお、３次元画像は、断層撮影等で取得されて形成されたものでもよく、ＣＧで仮想的に作成されたものでもよい。また、被写体は、３次元画像に表されるものであれば、なんでもよい。例えば、人体でもよく、動物や植物でもよく、幾何学的な図形でもよく、建築物や機械等の構造物や立体地図等の地形等でもよい。断層撮影に使用するモダリティは、ＣＴ、ＭＲＩ、超音波撮影装置等、３次元画像を撮影可能なものであれば何でもよい。

また、画像処理装置１は、複数台のコンピュータにより、手段としての機能を分担する構成としてもよい。また、入力部、ディスプレイ等、システムを構成する装置としては、公知のあらゆる装置を採用することができる。例えば、マウスに代えてジョイスティックを採用したり、ディスプレイに代えてタッチパネルを採用したりすることができる。

１ 画像処理装置、 ２ ストレージ、 ３ ディスプレイ
４ 入力部
５ 表示された３次元画像
６ 中央領域
７ 指定領域
１１ 画像取得手段
１２ 画像処理手段
１３ 表示制御手段
Ｖ ボリュームデータ

Claims (10)

1. 被写体を表す３次元医用画像を取得する画像取得手段と、
   前記３次元医用画像から関心領域を抽出する関心領域抽出手段と、
   抽出された前記関心領域を画面中央に移動させて前記３次元医用画像を表示画面に表示させる表示制御手段と、
   前記表示画面上でユーザの入力位置および該入力位置を始点とする軌跡の入力を受け付ける入力部と、
   前記受け付けられた入力位置が前記表示画面の中央領域である場合に、前記関心領域内に回転中心を設定し、前記受け付けられた軌跡に基づいて、前記入力位置から前記軌跡の終点に向かう向きおよび前記入力位置と前記軌跡の終点との距離に応じた回転処理を前記表示された３次元医用画像に施し、前記受け付けられた入力位置が前記表示画面のうち前記中央領域以外の領域である場合に、領域指定処理を前記表示された３次元医用画像に施す画像処理手段とを備え、
   前記領域指定処理は、前記受け付けられた軌跡に基づいて、該軌跡に応じた閉曲線を指定し、前記指定された閉曲線から前記表示画面奥行き方向にのびる筒体の内側または外側の３次元医用画像を削除する処理であり、
   前記中央領域が前記表示画面の面積の３００分の１以上２０分の１以下の面積を有し、
   前記画像取得手段は、前記回転処理または前記領域指定処理が施された３次元医用画像を、前記３次元医用画像としてさらに取得することを特徴とする画像処理装置。
2. 前記関心領域は前記３次元医用画像の中心であることを特徴とする請求項１記載の画像処理装置。
3. 前記関心領域は、前記３次元医用画像中の所定の臓器領域または所定の病変領域であることを特徴とする請求項１記載の画像処理装置。
4. 前記表示制御手段が、前記３次元医用画像を、表示画面の８割程度の体積または表示面積になるように自動的に拡大縮小して表示することを特徴とする請求項１から３のいずれか１項記載の画像処理装置。
5. 前記表示制御手段は前記中央領域内に該中央領域より小さい大きさの指標を表示させるものであることを特徴とする請求項１から４のいずれか１項記載の画像処理装置。
6. 前記表示制御手段は、前記中央領域内に該中央領域の位置を識別させるための指標を表示し、前記入力部が前記入力位置を受け付けると、前記指標を非表示にし、前記領域指定処理または前記回転処理を前記表示された３次元医用画像に施した後に、前記指標を再表示することを特徴とする請求項１から５のいずれか１項記載の画像処理装置。
7. 前記領域指定処理は、前記受け付けられた軌跡に基づいて前記表示画面上で画面の外縁とともに閉曲線を指定し、前記指定された閉曲線から前記表示画面奥行き方向にのびる筒体の内側の３次元医用画像を削除する処理であることを特徴とする請求項１から６のいずれか１項記載の画像処理装置。
8. 前記３次元医用画像は、複数の臓器を含むものであることを特徴とする請求項１から７いずれか１項記載の画像処理装置。
9. 画像処理装置の作動方法であって、
   被写体を表す３次元医用画像を取得する画像取得ステップと、
   前記３次元医用画像から関心領域を抽出する関心領域抽出ステップと、
   抽出された前記関心領域を画面中央に移動させて前記３次元医用画像を表示画面に表示させる表示制御ステップと、
   前記表示画面上でユーザの入力位置および該入力位置を始点とする軌跡の入力を受け付ける入力ステップと、
   前記受け付けられた入力位置が前記表示画面の中央領域である場合に、前記関心領域内に回転中心を設定し、前記受け付けられた軌跡に基づいて、前記入力位置から前記軌跡の終点に向かう向きおよび前記入力位置と前記軌跡の終点との距離に応じた回転処理を前記表示された３次元医用画像に施し、前記受け付けられた入力位置が前記表示画面のうち前記中央領域以外の領域である場合に、領域指定処理を前記表示された３次元医用画像に施す画像処理ステップとを有する画像処理装置の作動方法であって、
   前記領域指定処理は、前記受け付けられた軌跡に基づいて、該軌跡に応じた前記表示画面上で閉曲線を指定し、前記指定された閉曲線から前記表示画面奥行き方向にのびる筒体の内側または外側の３次元医用画像を削除する処理であり、
   前記中央領域が前記表示画面の面積の３００分の１以上２０分の１以下の面積を有し、
   前記画像取得ステップは、前記回転処理または前記領域指定処理が施された３次元医用画像を、前記３次元医用画像としてさらに取得することを特徴とする画像処理装置の作動方法。
10. コンピュータを、
    被写体を表す３次元医用画像を取得する画像取得手段と、
    前記３次元医用画像から関心領域を抽出する関心領域抽出手段と、
    抽出された前記関心領域を画面中央に移動させて前記３次元医用画像を表示画面に表示させる表示制御手段と、
    前記表示画面上でユーザの入力位置および該入力位置を始点とする軌跡の入力を受け付ける入力部と、
    前記受け付けられた入力位置が前記表示画面の中央領域である場合に、前記関心領域内に回転中心を設定し、前記受け付けられた軌跡に基づいて、前記入力位置から前記軌跡の終点に向かう向きおよび前記入力位置と前記軌跡の終点との距離に応じた回転処理を前記表示された３次元医用画像に施し、前記受け付けられた入力位置が前記表示画面のうち前記中央領域以外の領域である場合に、領域指定処理を前記表示された３次元医用画像に施す画像処理手段として機能させる画像処理プログラムであって、
    前記領域指定処理は、前記受け付けられた軌跡に基づいて、該軌跡に応じた前記表示画面上で閉曲線を指定し、前記指定された閉曲線から前記表示画面奥行き方向にのびる筒体の内側または外側の３次元医用画像を削除する処理であり、
    前記中央領域が前記表示画面の面積の３００分の１以上２０分の１以下の面積を有し、
    前記画像取得手段は、前記回転処理または前記領域指定処理が施された３次元医用画像を、前記３次元医用画像としてさらに取得することを特徴とする画像処理プログラム。