JP5684351B2 - Image processing apparatus, image processing method, and image processing program - Google Patents
Image processing apparatus, image processing method, and image processing program Download PDFInfo
- Publication number
- JP5684351B2 JP5684351B2 JP2013191405A JP2013191405A JP5684351B2 JP 5684351 B2 JP5684351 B2 JP 5684351B2 JP 2013191405 A JP2013191405 A JP 2013191405A JP 2013191405 A JP2013191405 A JP 2013191405A JP 5684351 B2 JP5684351 B2 JP 5684351B2
- Authority
- JP
- Japan
- Prior art keywords
- display screen
- medical image
- dimensional medical
- area
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 112
- 238000003672 processing method Methods 0.000 title description 14
- 238000000034 method Methods 0.000 claims description 145
- 230000008569 process Effects 0.000 claims description 116
- 230000006870 function Effects 0.000 claims description 10
- 210000000056 organ Anatomy 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 6
- 230000003902 lesion Effects 0.000 claims description 6
- 230000003252 repetitive effect Effects 0.000 claims 4
- 210000002216 heart Anatomy 0.000 description 25
- 238000004195 computer-aided diagnosis Methods 0.000 description 7
- 238000003745 diagnosis Methods 0.000 description 7
- 238000009877 rendering Methods 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 5
- 210000004185 liver Anatomy 0.000 description 5
- 230000002159 abnormal effect Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 210000004204 blood vessel Anatomy 0.000 description 3
- 238000012217 deletion Methods 0.000 description 3
- 230000037430 deletion Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 210000004072 lung Anatomy 0.000 description 3
- 238000003325 tomography Methods 0.000 description 3
- 208000019693 Lung disease Diseases 0.000 description 2
- 206010058467 Lung neoplasm malignant Diseases 0.000 description 2
- 230000000740 bleeding effect Effects 0.000 description 2
- 210000000988 bone and bone Anatomy 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013170 computed tomography imaging Methods 0.000 description 2
- 201000007270 liver cancer Diseases 0.000 description 2
- 208000014018 liver neoplasm Diseases 0.000 description 2
- 201000005202 lung cancer Diseases 0.000 description 2
- 208000020816 lung neoplasm Diseases 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 230000002685 pulmonary effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 206010014561 Emphysema Diseases 0.000 description 1
- 206010019646 Hepatic cyst Diseases 0.000 description 1
- 230000003187 abdominal effect Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000007596 consolidation process Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 239000005337 ground glass Substances 0.000 description 1
- 230000002440 hepatic effect Effects 0.000 description 1
- 206010073071 hepatocellular carcinoma Diseases 0.000 description 1
- 231100000844 hepatocellular carcinoma Toxicity 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000016507 interphase Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000000614 rib Anatomy 0.000 description 1
- 238000002603 single-photon emission computed tomography Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 210000002784 stomach Anatomy 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
- 230000006496 vascular abnormality Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Apparatus For Radiation Diagnosis (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Description
本発明は、３次元医用画像に回転処理および領域指定処理を切り替えて施すための画像処理技術、特に、表示された３次元医用画像を回転して不要部分を削除する処理を繰り返して、所望の臓器だけを切り出すのに適する画像処理技術に関するものである。 The present invention relates to an image processing technique for switching a rotation process and an area designating process to a three-dimensional medical image, and in particular, a process of rotating a displayed three-dimensional medical image and deleting an unnecessary portion, The present invention relates to an image processing technique suitable for cutting out only an organ.
近年、画像処理技術の発展により、３次元医用画像をボリュームレンダリング法やサーフィスレンダリング法等の各種の画像生成方法により様々な角度から投影した投影画像を生成することができるようになってきた。そして、これらの生成された画像は、ユーザの表示画面上でのマウス等の操作により、３次元医用画像を移動、拡大、回転等させた画像として表示画面に表示され、３次元医用画像を立体的に理解することを支援する。 In recent years, with the development of image processing technology, it has become possible to generate projection images obtained by projecting a three-dimensional medical image from various angles by various image generation methods such as a volume rendering method and a surface rendering method. These generated images are displayed on the display screen as images obtained by moving, enlarging, rotating, and the like of the 3D medical image by the user's operation on the display screen. To understand the situation.
従来、このような３次元医用画像中から診断目的に応じた所望の部分を抽出して表示するために、放射線技師等のユーザがマウスやキーボードによるマニュアル操作により３次元医用画像を様々な向きに回転させる処理と不要な領域を指定して削除する処理を３次元医用画像が所望の部分のみになるまで何度も繰り返すことが一般に行われている。このため、３次元医用画像を様々な向きに回転させる処理と不要な領域を削除する処理を実行するためにユーザが行う必要のあるマニュアル操作をできるだけ簡易にする方法が求められている。 Conventionally, in order to extract and display a desired portion according to the purpose of diagnosis from such a three-dimensional medical image, a user such as a radiographer operates the three-dimensional medical image in various directions by manual operation using a mouse or a keyboard. In general, the process of rotating and the process of specifying and deleting an unnecessary area are repeated many times until the three-dimensional medical image becomes only a desired part. For this reason, there is a need for a method that simplifies the manual operation that the user needs to perform in order to execute the process of rotating the three-dimensional medical image in various directions and the process of deleting unnecessary areas.
例えば、マウスの左ボタンによるドラッグ操作に領域指定処理を割り当て、キーボードのシフトボタンを押しながらマウスの左ボタンによるドラッグ操作に回転処理を割り当てて、領域指定処理と回転処理を切り替える方法のように、マウスの左ボタンによるドラッグ操作という一つの動作を、キーボードのシフトボタンを押す動作の有無と組み合わせることにより簡易に切り替える方法が提案されている。 For example, assigning area specification processing to the drag operation with the left mouse button, assigning rotation processing to the drag operation with the left mouse button while holding down the shift button on the keyboard, and switching between area specification processing and rotation processing, There has been proposed a method of switching easily by combining a single drag operation with the left mouse button with or without pressing a shift button on the keyboard.
また、特許文献１には、撮像画像の表示画面を所定の分割パターンで分割した複数の領域ａ、ｂ、ｃ・・・に、異なる種類の処理機能を割り当てておき、ポインティングデバイスによる所望の領域の指定を受け付け、ポインティングデバイスの操作により、指定された領域に割り当てられた処理機能を実行する画像処理方法が開示されている。 In Patent Document 1, different types of processing functions are assigned to a plurality of areas a, b, c,... Obtained by dividing a display screen of a captured image with a predetermined division pattern, and a desired area by a pointing device is assigned. An image processing method is disclosed in which a processing function assigned to a designated area is executed by operating a pointing device.
しかし、撮像された３次元医用画像を表示編集する画像処理用のコンピュータ端末の使用環境では、キーボードを用いず、マウスのみで各種作業を行いたいという要求がある。このため、マウスの左ボタンによるドラッグ操作という一つの動作を、キーボードのシフトボタンを押す動作の有無と組み合わせて、領域指定処理と回転処理を切り替える方法では、上記ユーザの要望に応えることができない。 However, in a use environment of a computer terminal for image processing for displaying and editing a captured three-dimensional medical image, there is a demand for performing various operations using only a mouse without using a keyboard. For this reason, the method of switching the region designation processing and the rotation processing by combining one operation of the drag operation with the left mouse button with or without the operation of pressing the shift button of the keyboard cannot meet the above user's request.
また、特許文献１に記載された方法は、複数の領域にどのような機能が対応付けられているのかを直感的に把握できないため、不慣れなユーザには使いづらいという問題があった。さらに、領域指定のような３次元画像の任意の部分を自在に指定する必要がある処理に対しては、特許文献１の図２または図３に示されるような領域の配分で領域を対応付けると、対応付けられている領域が狭すぎて、領域指定処理を対応付けられている領域に３次元医用画像の所望の部分が含まれていない場合には、領域指定処理を対応付けられている領域に所望の部分が含まれるように３次元医用画像を平行移動する、または拡大縮小する、などの余分な処理を行う手間が生じ、複数の処理を切り替えるユーザの手間を十分に低減することはできない。 In addition, the method described in Patent Document 1 has a problem that it is difficult for an unfamiliar user to use since it is not possible to intuitively understand what functions are associated with a plurality of areas. Furthermore, for a process that requires an arbitrary part of a three-dimensional image to be freely specified, such as area specification, the areas are associated by area allocation as shown in FIG. 2 or FIG. If the associated area is too narrow and the desired area of the 3D medical image is not included in the area associated with the area designation process, the area designation process is associated with the area designation process. Therefore, it takes time to perform extra processing such as translating or enlarging / reducing the three-dimensional medical image so that a desired portion is included in the image, and it is not possible to sufficiently reduce the user's time to switch between a plurality of processing. .
本発明は上記事情に鑑みてなされたものであり、回転処理および領域指定処理を、直感的に理解しやすい簡易な操作で容易に切り替えて３次元医用画像に施すための画像処理装置および方法、およびプログラムを提供することを目的とするものである。 The present invention has been made in view of the above circumstances, and an image processing apparatus and method for easily switching between rotation processing and region designation processing with a simple operation that is easy to understand intuitively and applying them to a three-dimensional medical image, And to provide a program.
本発明の画像処理装置は、３次元医用画像を取得する画像取得手段と、前記取得した３次元医用画像を表示画面に表示させる表示制御手段と、前記表示画面上でユーザの入力位置および入力操作を受け付けるポインティングデバイスからなる入力部と、前記受け付けられた入力位置が前記表示画面の中央領域である場合に、前記受け付けられた入力操作により回転処理を前記表示された３次元医用画像に施し、前記受け付けられた入力位置が前記表示画面のうち前記中央領域以外の領域である場合に、前記受け付けられた入力操作により領域指定処理を前記表示された３次元医用画像に施す画像処理手段を備え、前記領域指定処理は、前記受け付けられた入力操作に基づいて前記表示画面上で閉曲線を指定し、前記指定された閉曲線から前記表示画面奥行き方向にのびる筒体の内側または外側の３次元医用画像を削除する処理であることを特徴とするものである。 An image processing apparatus according to the present invention includes an image acquisition unit that acquires a three-dimensional medical image, a display control unit that displays the acquired three-dimensional medical image on a display screen, and a user input position and input operation on the display screen. An input unit including a pointing device for receiving the image, and when the received input position is a central area of the display screen, the received input operation is subjected to rotation processing on the displayed three-dimensional medical image, When the received input position is an area other than the central area in the display screen, the image processing means includes: an area specifying process performed on the displayed three-dimensional medical image by the received input operation; The area designation process designates a closed curve on the display screen based on the accepted input operation, and the specified closed curve is used to specify the closed curve. Is characterized in that a process of deleting the inside or outside of the three-dimensional medical images of tubular body extending 示画 surface depth direction.
本発明の画像処理方法は、３次元医用画像を取得する画像取得ステップと、前記取得した３次元医用画像を表示画面に表示させる表示制御ステップと、前記表示画面上でユーザの入力位置および入力操作を受け付ける入力ステップと、前記受け付けられた入力位置が前記表示画面の中央領域である場合に、前記受け付けられた入力操作により回転処理を前記表示された３次元医用画像に施し、前記受け付けられた入力位置が前記表示画面のうち前記中央領域以外の領域である場合に、前記受け付けられた入力操作により領域指定処理を前記表示された３次元医用画像に施す画像処理ステップとを有する画像処理方法であって、前記領域指定処理は、前記受け付けられた入力操作に基づいて前記表示画面上で閉曲線を指定し、前記指定された閉曲線から前記表示画面奥行き方向にのびる筒体の内側または外側の３次元医用画像を削除する処理であることを特徴とするものである。 The image processing method of the present invention includes an image acquisition step for acquiring a three-dimensional medical image, a display control step for displaying the acquired three-dimensional medical image on a display screen, and a user input position and input operation on the display screen. When the received input position is a central area of the display screen, rotation processing is performed on the displayed three-dimensional medical image by the received input operation, and the received input is received. And an image processing step of performing region designation processing on the displayed three-dimensional medical image by the accepted input operation when the position is a region other than the central region in the display screen. Then, the area designation process designates a closed curve on the display screen based on the accepted input operation, and the designated closure It is characterized in that the line is a processing for deleting the 3-dimensional medical image of the inside or outside of the cylindrical body extending on the display screen depth direction.
本発明の画像処理プログラムは、コンピュータを、３次元医用画像を取得する画像取得手段と、前記取得した３次元医用画像を表示画面に表示させる表示制御手段と、前記表示画面上でユーザの入力位置および入力操作を受け付けるポインティングデバイスからなる入力部と、前記受け付けられた入力位置が前記表示画面の中央領域である場合に、前記受け付けられた入力操作により回転処理を前記表示された３次元医用画像に施し、前記受け付けられた入力位置が前記表示画面のうち前記中央領域以外の領域である場合に、前記受け付けられた入力操作により領域指定処理を前記表示された３次元医用画像に施す画像処理手段として機能させる画像処理プログラムであって、前記領域指定処理は、前記受け付けられた入力操作に基づいて前記表示画面上で閉曲線を指定し、前記指定された閉曲線から前記表示画面奥行き方向にのびる筒体の内側または外側の３次元医用画像を削除する処理であるものである。 An image processing program according to the present invention includes: an image acquisition unit that acquires a three-dimensional medical image; a display control unit that displays the acquired three-dimensional medical image on a display screen; and a user input position on the display screen. And an input unit composed of a pointing device that accepts an input operation, and when the accepted input position is a central area of the display screen, rotation processing is performed on the displayed three-dimensional medical image by the accepted input operation. When the received input position is an area other than the central area in the display screen, the image processing means performs an area designation process on the displayed three-dimensional medical image by the received input operation. An image processing program to function, wherein the region designation processing is performed based on the accepted input operation. Specifies the closed curve on the display screen, but the is from the specified closed curve a process of deleting the 3-dimensional medical image of the inside or outside of the cylindrical body extending on the display screen depth direction.
本発明において、上記ポインティングデバイスは、画面上に表れるポインタを移動操作可能な、マウスやタッチパネル等の周知の種々の入力機器を本発明の入力部として適用可能である。 In the present invention, as the pointing device, various known input devices such as a mouse and a touch panel that can move and operate a pointer appearing on the screen can be applied as the input unit of the present invention.
また、本発明において、上記３次元医用画像は、たとえばＣＴ、ＭＲ、超音波装置、ＰＥＴ―ＣＴ、ＳＰＥＣＴ、４Ｄ-ＣＴ、ＯＣＴ、Ｘ線撮影装置（ＣＲ、ＤＲ）により撮像された医用画像データであってもよいし、たとえばボリュームデータ等の３次元画像データであってもよい。 In the present invention, the three-dimensional medical image is medical image data captured by, for example, CT, MR, ultrasonic apparatus, PET-CT, SPECT, 4D-CT, OCT, X-ray imaging apparatus (CR, DR). For example, it may be three-dimensional image data such as volume data.
また、表示された３次元医用画像は、３次元医用画像を表すものであれば、周知の様々な再構成法により表されたものであってよい。望ましくは、ボリュームレンダリング法で生成されたボリュームレンダリング画像または、サーフィスレンダリング法で生成されたサーフィスレンダリング画像等の擬似３次元画像であることが好ましい。 Further, the displayed three-dimensional medical image may be displayed by various known reconstruction methods as long as it represents a three-dimensional medical image. Desirably, it is a pseudo three-dimensional image such as a volume rendering image generated by the volume rendering method or a surface rendering image generated by the surface rendering method.
また、本発明において、前記中央領域とは、表示画面中央に集中する、画面の中心点近傍の領域を意味し、円を含む楕円形、正方形を含む矩形または他の多角形からなり、表示画面の面積の数分の１以下の面積を有するものである。数分の１とは、少なくとも４分の１よりも小さい面積で、９分の１より小さいことが望ましい。また、例えば、中心点を含む領域であってもよく、中心点を囲むドーナツ状の領域であってもよい。なお、中央領域のサイズは、画面上でポインティングデバイスにより位置の指定をできる大きさを維持する範囲で、辺縁領域の広さを十分確保するために小さい方が好ましい。また、前記中央領域は、例えば、表示画面の中心点を中心とした、表示画面の面積に対して１／９以下の面積の円または楕円であることが好ましく、さらに好ましくは、表示画面の面積の１／３００以上１／１０以下の面積を有する円または楕円であることが好ましく、最も好ましくは表示画面の面積の１／３００以上１／１８以下の面積を有する円または楕円であることが好ましい。 Further, in the present invention, the central region means a region near the center point of the screen that is concentrated in the center of the display screen, and is composed of an ellipse including a circle, a rectangle including a square, or another polygon, It has an area that is less than a fraction of the area. A fraction is preferably an area smaller than at least a quarter and smaller than one-nine. Further, for example, it may be a region including a center point or a donut-shaped region surrounding the center point. Note that the size of the central region is preferably within a range in which the size of the position can be specified by the pointing device on the screen so as to ensure a sufficient marginal region. In addition, the central region is preferably a circle or an ellipse having an area of 1/9 or less with respect to the area of the display screen centered on the center point of the display screen, and more preferably, the area of the display screen Is preferably a circle or an ellipse having an area of 1/300 or more and 1/10 or less, and most preferably a circle or an ellipse having an area of 1/300 or more and 1/18 or less of the area of the display screen. .
また、本発明において、表示制御手段は、中央領域の位置をユーザに識別させるための指標を、中央領域付近に表示することが好ましく、中央領域内に中央領域より小さい大きさの指標を表示するものであることがさらに好ましい。かかる指標は中央領域をユーザに識別容易にするとともに、３次元医用画像の観察を阻害しないものであることが好ましく、例えば指標を半透明とすることが好ましく、入力位置と入力操作を受け付けている間など、中央領域を視認する必要がないときには指標を表示させないことが好ましい。指標のサイズは、ユーザに識別容易な大きさを維持する範囲で、３次元医用画像の観察を阻害しないように小さいほうが好ましい。例えば、指標を、中央領域より小さい範囲で、画面の面積の１／３００以上１／１０以下のサイズにすることが好ましく、画面の面積の１／３００以上１／１８以下のサイズにすることが好ましく、画面の面積の１／３００以上１／２０以下のサイズにすることが好ましい。 In the present invention, the display control means preferably displays an index for allowing the user to identify the position of the central area in the vicinity of the central area, and displays an index having a size smaller than the central area in the central area. More preferably. Such an index is preferably one that makes it easy for the user to identify the central area and does not hinder the observation of the three-dimensional medical image. For example, the index is preferably translucent and accepts the input position and the input operation. It is preferable not to display the indicator when it is not necessary to visually recognize the central region, such as between. It is preferable that the size of the index is small so as not to hinder the observation of the three-dimensional medical image within a range in which the size is easily identified by the user. For example, it is preferable to set the index to a size that is 1/300 or more and 1/10 or less of the screen area in a range smaller than the central region, and to a size that is 1/300 or more and 1/18 or less of the screen area. The size is preferably 1/300 to 1/20 of the screen area.
本発明において前記領域指定処理は、前記受け付けられた入力操作に基づいて前記表示画面上で画面の外縁とともに閉曲線を指定し、前記指定された閉曲線から前記表示画面奥行き方向にのびる筒体の内側の３次元医用画像を削除する処理であってもよい。 In the present invention, the region designating process designates a closed curve together with an outer edge of the screen on the display screen based on the received input operation, and the inside of the cylinder extending from the designated closed curve in the display screen depth direction. Processing for deleting a three-dimensional medical image may be used.
本発明における３次元医用画像は、複数の臓器を含むものであってよい。例えば、心臓、肺、肝臓、胃、骨などを含む胸部ＣＴ撮影により得られた医用画像があげられる。 The three-dimensional medical image in the present invention may include a plurality of organs. For example, medical images obtained by chest CT imaging including the heart, lungs, liver, stomach, bones and the like can be mentioned.
本発明の画像表示装置の画像処理装置、方法およびプログラムは、表示画面上でユーザの入力位置および入力操作を受け付け、受け付けられた入力位置が表示画面の中央領域である場合に、その入力操作により回転処理を、表示された３次元医用画像に施し、受け付けられた入力位置が表示画面のうち中央領域以外の領域である場合には、その入力操作により領域指定処理を、表示された３次元医用画像に施すものであり、領域指定処理は、受け付けられた入力操作に基づいて表示画面上で閉曲線を指定し、指定された閉曲線から表示画面奥行き方向にのびる筒体の内側または外側の３次元医用画像を削除する処理である。このため、領域指定処理に対応付けられた領域が中央領域を除く表示画面の辺縁領域であり、かかる辺縁領域が表示画面の面積に対して十分大きい面積を有するものであるため、ユーザは辺縁領域に所定の操作を行うことにより３次元画像の所望の部分をほぼ自在に指定できる。ユーザは、一般的に、ユーザの関心領域を画面中央に配置して３次元画像を観察し、ユーザの関心領域を中心に回転することがユーザの直感的な感覚に沿うものであると考えられるから、削除したい不要部分が画面中央にあることは実際には少ないので、これで不都合はなく、実用に適した効率のよい操作が可能になる。 An image processing apparatus, method, and program for an image display apparatus according to the present invention receives a user input position and an input operation on the display screen, and when the received input position is a central area of the display screen, Rotation processing is performed on the displayed 3D medical image, and if the received input position is an area other than the central area of the display screen, the area designation processing is performed by the input operation, and the displayed 3D medical image is displayed. In the area designation process, a closed curve is designated on the display screen based on the accepted input operation, and the three-dimensional medical inside or outside the cylinder extending in the display screen depth direction from the designated closed curve. This is a process of deleting an image. For this reason, the area associated with the area designating process is an edge area of the display screen excluding the central area, and the edge area has a sufficiently large area with respect to the area of the display screen. By performing a predetermined operation on the edge region, a desired portion of the three-dimensional image can be designated almost freely. It is considered that the user generally observes a three-dimensional image by placing the user's region of interest in the center of the screen and rotates around the user's region of interest in line with the intuitive feeling of the user. Therefore, since there are actually few unnecessary parts to be deleted at the center of the screen, this is not inconvenient and enables an efficient operation suitable for practical use.
すなわち、回転処理を中央領域に対応付けたことにより、中央領域に対する入力操作に基づいて画面の中心周りに３次元画像の回転処理を施すことができ、直感的にユーザに領域と処理の対応付けが把握しやすい。また、ポインティングデバイスにより所定の操作を入力位置を変えて入力するだけで、領域指定処理と回転処理が自動的に切り替わるので、これらの処理を別操作で切り替える煩雑な操作を行うことなく両処理を切り替えて実行できるので、ポインティングデバイスのみにより両処理を３次元画像に施したいというユーザの要望に応えるとともに、ユーザの手間と作業時間を効果的に低減できる。 That is, by associating the rotation process with the central area, the rotation process of the three-dimensional image can be performed around the center of the screen based on an input operation on the central area, and the user can intuitively associate the area with the process. Is easy to grasp. In addition, simply by changing the input position and inputting a predetermined operation using a pointing device, the area designation process and the rotation process are automatically switched, so both processes can be performed without performing a complicated operation of switching these processes as separate operations. Since it can be switched and executed, it is possible to meet the user's desire to perform both processes on the three-dimensional image only with a pointing device, and to effectively reduce the user's labor and work time.
以下、本発明の画像処理装置、画像処理プログラムおよび画像処理方法の実施形態について、図面を参照しながら詳細に説明する。本発明は、画像装置に表示された３次元画像から所望の画像を回転させながら順次不要な領域を削除し所望の領域を抽出する処理を行う様々な分野で応用可能であるが、ここでは、医療分野における画像診断に本発明を適用した例をもとに説明を行う。 Hereinafter, embodiments of an image processing apparatus, an image processing program, and an image processing method of the present invention will be described in detail with reference to the drawings. The present invention can be applied in various fields in which a desired image is sequentially deleted from a three-dimensional image displayed on an image device and processing for extracting a desired region is performed. Description will be made based on an example in which the present invention is applied to image diagnosis in the medical field.
図１に、医師が使用するワークステーションに、画像表示プログラムをインストールすることにより実現された画像処理装置の概略構成を示す。画像処理装置１は、標準的なワークステーションの構成として、プロセッサおよびメモリ（いずれも図示せず）を備え、さらに、ＨＤＤ（Hard Disk Drive）やＳＳＤ(Solid State Drive)等のストレージ２を備えている。また、画像処理装置１には、ディスプレイ３と、マウス、キーボード等の入力部４が接続されている。 FIG. 1 shows a schematic configuration of an image processing apparatus realized by installing an image display program on a workstation used by a doctor. The image processing apparatus 1 includes a processor and a memory (both not shown) as a standard workstation configuration, and further includes a storage 2 such as an HDD (Hard Disk Drive) and an SSD (Solid State Drive). Yes. The image processing apparatus 1 is connected to a display 3 and an input unit 4 such as a mouse and a keyboard.
画像表示プログラムと画像表示プログラムが参照するデータは、インストール時にストレージ２に記憶され、起動時にメモリにロードされる。画像処理プログラムは、ＣＰＵに実行させる処理として、画像取得処理と、画像処理と、表示制御処理とを規定している。 The image display program and data referred to by the image display program are stored in the storage 2 at the time of installation and loaded into the memory at the time of activation. The image processing program defines image acquisition processing, image processing, and display control processing as processing to be executed by the CPU.
そして、プログラムの規定にしたがって、ＣＰＵが上記各処理を実行することにより、汎用のワークステーションは、３次元医用画像を取得する画像取得手段１１と、取得した３次元医用画像を表示画面に表示させる表示制御手段１３と、表示画面上でユーザの入力位置および入力操作を受け付けるポインティングデバイスからなる入力部４と、受け付けられた入力位置が表示画面の中央領域６である場合に、受け付けられた入力操作により回転処理を表示された３次元医用画像に施し、受け付けられた入力位置が表示画面のうち中央領域以外の領域である場合に、受け付けられた入力操作により領域指定処理を表示された３次元医用画像に施す画像処理手段１２として機能する。 The general-purpose workstation causes the image acquisition unit 11 to acquire the three-dimensional medical image and the acquired three-dimensional medical image to be displayed on the display screen when the CPU executes each of the processes according to the program. Input operation accepted when the display control means 13, the input unit 4 composed of a pointing device that accepts the input position and input operation of the user on the display screen, and the accepted input position is the central area 6 of the display screen When the received input position is an area other than the central area in the display screen, the area designation process is displayed by the accepted input operation. It functions as the image processing means 12 applied to the image.
ストレージ２には、撮影を担当する検査部門から転送された、３次元医用画像、もしくはデータベース検索により取得された内視鏡画像および３次元医用画像が記憶される。３次元画像は、マルチスライスＣＴ装置等から直接出力された３次元医用画像でもよいし、従来型のＣＴ装置等から出力された２次元のスライスデータ群を再構成することにより生成された３次元医用画像でもよい。 The storage 2 stores a three-dimensional medical image transferred from the examination department in charge of imaging, or an endoscopic image and a three-dimensional medical image acquired by database search. The three-dimensional image may be a three-dimensional medical image directly output from a multi-slice CT apparatus or the like, or a three-dimensional image generated by reconstructing a two-dimensional slice data group output from a conventional CT apparatus or the like. It may be a medical image.
画像処理装置１は、選択メニューにおいて所定の診断支援機能が選択されたことを検出すると、ユーザに、３次元医用画像の特定に必要な情報の選択または入力を促す。そして、ユーザの操作により、３次元医用画像が特定されると、ストレージ２からメモリに、該当する３次元医用画像をロードする。 When the image processing apparatus 1 detects that a predetermined diagnosis support function is selected in the selection menu, the image processing apparatus 1 prompts the user to select or input information necessary for specifying a three-dimensional medical image. When a three-dimensional medical image is specified by a user operation, the corresponding three-dimensional medical image is loaded from the storage 2 to the memory.
ここでは、ある患者の検査において、マルチスライスＣＴ装置による撮影が行われ、患者の情報を含む３次元医用画像Ｖが取得されて不図示のデータベースに記憶されているものとする。ユーザがボリュームレンダリング表示機能を選択し、その患者の識別子や検査日を入力すると、該当する３次元医用画像Ｖが取得されてストレージ２に記憶され、本発明の画像処理方法が実行される。 Here, it is assumed that imaging by a multi-slice CT apparatus is performed in an examination of a patient, and a three-dimensional medical image V including patient information is acquired and stored in a database (not illustrated). When the user selects the volume rendering display function and inputs the patient identifier and the examination date, the corresponding three-dimensional medical image V is acquired and stored in the storage 2, and the image processing method of the present invention is executed.
図２は本発明の画像処理方法の好ましい実施形態を示すフローチャートであり、図３Ａ乃至３Ｍは、本実施形態の画像処理方法を用いて、３次元医用画像Ｖに回転処理と指定した領域を削除する処理を繰り返して、被写体５の胸部ＣＴ撮影で取得された心臓、肺、肝臓、肋骨、脊柱などを含む３次元医用画像Ｖから画像診断対象の臓器である心臓を抽出して表示する作業の表示画面例を表す図である。以下、図２および図３Ａ乃至３Ｍを参照して本実施形態の画像処理方法について説明する。 FIG. 2 is a flowchart showing a preferred embodiment of the image processing method of the present invention, and FIGS. 3A to 3M show a region designated as rotation processing in the three-dimensional medical image V using the image processing method of the present embodiment. The operation of extracting and displaying the heart, which is the target organ for image diagnosis, from the three-dimensional medical image V including the heart, lungs, liver, ribs, spine, etc. acquired by chest CT imaging of the subject 5 is repeated. It is a figure showing the example of a display screen. Hereinafter, the image processing method of this embodiment will be described with reference to FIG. 2 and FIGS. 3A to 3M.
まず、画像取得手段１１がストレージ２からＣＴ装置による断層撮影により取得された観察対象である被写体５を表す３次元医用画像Ｖを取得する（Ｓ０１）。本発明の画像処理方法に先立って、ユーザの入力部を用いたマニュアル操作に応じて３次元医用画像Ｖに表される被写体５をディスプレイ３の画面上で平行移動させて、図３Ａに示すように、抽出したい臓器である心臓が中央に位置するように画面表示した状態にする。そして、ユーザが、メニュー選択により、回転処理および領域指定処理限定モードを選択すると本発明の画像処理方法が開始する。 First, the image acquisition unit 11 acquires a three-dimensional medical image V representing the subject 5 that is the observation target acquired from the storage 2 by tomography using a CT apparatus (S01). Prior to the image processing method of the present invention, the subject 5 represented in the three-dimensional medical image V is translated on the screen of the display 3 in accordance with a manual operation using the input unit of the user, as shown in FIG. 3A. The screen is displayed so that the heart, which is the organ to be extracted, is located in the center. When the user selects the rotation process and the area designation process limited mode by menu selection, the image processing method of the present invention starts.
まず、表示制御手段１３は、図３Ａに示すように、被写体５を表す３次元医用画像Ｖをディスプレイ３の表示画面Ｗに表示させる（Ｓ０２）。図３Ａに示すように、本実施形態では、中央領域６は、表示画面Ｗの面積の約４０分の１の面積を有する円領域であり、画面上に中央領域６の境界は表示されず、その代わりに、表示制御手段１３はユーザが中央領域６の大まかな位置を把握できるように中央領域内に中央領域より小さい大きさの指標である中央領域アイコンＭを表示させている。ここでは、中央領域アイコンＭは、中央領域に対して約６０％程度のサイズを有している。 First, as shown in FIG. 3A, the display control means 13 displays a three-dimensional medical image V representing the subject 5 on the display screen W of the display 3 (S02). As shown in FIG. 3A, in the present embodiment, the central region 6 is a circular region having an area that is approximately 1/40 of the area of the display screen W, and the boundary of the central region 6 is not displayed on the screen. Instead, the display control means 13 displays a central area icon M, which is an index smaller than the central area, in the central area so that the user can grasp the rough position of the central area 6. Here, the central area icon M has a size of about 60% with respect to the central area.
入力部４は、ユーザのマウスによる入力を待機し（Ｓ０３のＮ）、ユーザの入力を検出すると（Ｓ０３のＹ）、中央領域アイコンＭを非表示にするとともに（Ｓ０４）、表示画面上での入力位置と入力操作を周知の方法により受け付ける（Ｓ０５）。ここでは、表示された３次元医用画像の回転処理または領域指定に割り当てられているユーザの入力操作は、マウスの左ボタンによるドラッグ操作であり、入力位置は、マウスのドラッグの開始位置である。かかる、入力位置と入力操作の受付は、例えば特許文献１に記載された方法が適用できる。 The input unit 4 waits for input by the user's mouse (N in S03). When the user's input is detected (Y in S03), the input unit 4 hides the central area icon M (S04) and displays it on the display screen. The input position and input operation are received by a known method (S05). Here, the user's input operation assigned to the rotation processing or area designation of the displayed three-dimensional medical image is a drag operation with the left mouse button, and the input position is the start position of the mouse drag. For example, the method described in Patent Literature 1 can be applied to accept the input position and the input operation.
次いで、画像処理手段１２は、受け付けた入力操作がマウスの左ボタンによるドラッグ操作であれば、受け付けた入力位置が表示画面の中央領域である場合に（Ｓ０６のＹ）、受け付けられた入力操作により回転処理を表示された３次元医用画像に施し（Ｓ０７）、受け付けられた入力位置が表示画面のうち中央領域以外の領域である場合に（Ｓ０６のＮ）、受け付けられた入力操作により領域指定処理を表示された３次元医用画像に施す（Ｓ０８）。 Next, if the accepted input operation is a drag operation with the left mouse button, the image processing means 12 performs the accepted input operation when the accepted input position is the central area of the display screen (Y in S06). The rotation process is performed on the displayed three-dimensional medical image (S07), and when the received input position is an area other than the central area in the display screen (N in S06), the area designating process is performed by the received input operation. Is applied to the displayed three-dimensional medical image (S08).
なお、画像処理手段１２は、受け付けた入力操作がマウスの左ボタンによるドラッグ操作以外の入力操作であれば、その入力操作に割り当てられた所定の処理機能を実行する。また、特許文献１に記載された方法と同様に、画像処理装置１は、ストレージ２に、中央領域と回転処理、表示画面から中央領域を除いた領域に領域指定処理をそれぞれ対応付けた対応付けテーブルＴを予め記憶しており、対応付けテーブルＴをメモリ上にロードして参照し、上記処理を行う。 Note that if the received input operation is an input operation other than a drag operation using the left mouse button, the image processing means 12 executes a predetermined processing function assigned to the input operation. Similarly to the method described in Patent Document 1, the image processing apparatus 1 associates the storage 2 with the center area and the rotation process, and the area designation process associated with the area excluding the center area from the display screen. The table T is stored in advance, and the association table T is loaded on the memory and referenced to perform the above processing.
図３Ｂは、図３Ａから削除の対象である脊柱および肋骨領域を含む領域７を指定した図である。画像処理手段１２は、ユーザがマウス４によりポインタＰを閉曲線を描くようにドラッグする操作の開始位置と軌跡に応じて、受け付けられた入力位置が表示画面のうち中央領域以外の領域である場合に（Ｓ０６のＮ）、表示画面Ｗ上で閉曲線を指定し、指定された閉曲線から表示画面Ｗの奥行き方向にのびる筒体の内側の３次元医用画像を削除し、かかる削除処理後の３次元医用画像Ｖを生成する（Ｓ０８）。なお、３次元医用画像Ｖのうち、かかる指定された閉曲線から表示画面Ｗの奥行き方向にのびる筒体の内側に属する領域７を、本実施形態では指定領域７と場合により称する。かかる閉曲線は、ユーザの入力軌跡に基づく折れ線多角形により指定してもよく、ユーザのフリーハンド入力の軌跡により構成される曲線にしてもよく、ユーザの入力軌跡に基づくスプライン曲線により指定してもよい。また、閉曲線の指定方法を選択メニューにより指定可能にしてもよい。 FIG. 3B is a diagram in which a region 7 including a spinal column and a rib region to be deleted from FIG. 3A is designated. The image processing unit 12 determines that the received input position is an area other than the central area in the display screen according to the start position and locus of the operation of the user dragging the pointer P with the mouse 4 so as to draw a closed curve. (N in S06), a closed curve is specified on the display screen W, the 3D medical image inside the cylinder extending in the depth direction of the display screen W is deleted from the specified closed curve, and the 3D medical image after such deletion processing is performed An image V is generated (S08). Of the three-dimensional medical image V, the region 7 belonging to the inside of the cylinder extending from the designated closed curve in the depth direction of the display screen W is sometimes referred to as a designated region 7 in the present embodiment. Such a closed curve may be designated by a polygonal polygon based on the user's input trajectory, may be a curve constituted by the user's freehand input trajectory, or may be designated by a spline curve based on the user's input trajectory. Good. Further, the method for specifying a closed curve may be specified by a selection menu.
また、本実施形態において、画像処理手段１３は、図３Ｂに示すように、ユーザのドラッグ操作によるマウスの軌跡が表示画面Ｗの外縁を超えて閉曲線または、曲線を描くものであれば、受け付けられた入力操作に基づいて表示画面上で画面の外縁とともに閉曲線を指定し、指定された閉曲線から表示画面奥行き方向にのびる筒体の内側の３次元医用画像を削除する。 In this embodiment, the image processing means 13 is accepted as long as the locus of the mouse by the user's drag operation draws a closed curve or a curve beyond the outer edge of the display screen W as shown in FIG. 3B. Based on the input operation, a closed curve is designated along with the outer edge of the screen on the display screen, and the three-dimensional medical image inside the cylinder extending in the display screen depth direction is deleted from the designated closed curve.
図３Ｃに示すように、表示制御手段１３は、指定領域を削除処理した後の３次元医用画像Ｖを表示画面に表示するとともに表示画面上に中央領域アイコンＭを再表示する（Ｓ０９）。図３Ｃに示すように、表示された３次元医用画像Ｖは、図３Ｂの指定領域７が削除されている。また、回転処理および領域指定処理限定モードがオンの状態が続いているため（Ｓ１０のＮ）、図３Ｃに示す表示状態で、画像処理装置１はユーザの入力を待機する（Ｓ０３）。 As shown in FIG. 3C, the display control means 13 displays the three-dimensional medical image V after the designated area is deleted on the display screen and redisplays the central area icon M on the display screen (S09). As shown in FIG. 3C, the designated region 7 of FIG. 3B is deleted from the displayed three-dimensional medical image V. In addition, since the rotation process and the area designation process restriction mode remain on (N in S10), the image processing apparatus 1 waits for a user input in the display state shown in FIG. 3C (S03).
図３Ｄは、図３Ｃに示す画像上でさらに削除の対象である肋骨領域を含む領域７を指定した様子を表す図である。図３Ｂの説明と同様に、入力部４がユーザの入力を受け付けるとともに中央領域アイコンＭを非表示にし、画像処理手段１２が、ユーザがマウス４によりポインタＰをドラッグする操作の位置と軌跡に応じて、表示画面Ｗ上で閉曲線を指定し、指定された閉曲線から表示画面Ｗの奥行き方向にのびる筒体の内側の３次元医用画像を削除した３次元医用画像Ｖを生成し、生成した３次元医用画像Ｖおよび中央領域アイコンＭを表示するまでのＳ０４乃至Ｓ０９の処理を実行する。 FIG. 3D is a diagram illustrating a state in which an area 7 including a rib area to be deleted is further designated on the image illustrated in FIG. 3C. Similar to the description of FIG. 3B, the input unit 4 accepts user input and hides the central area icon M, and the image processing unit 12 responds to the position and locus of the operation in which the user drags the pointer P with the mouse 4. Then, a closed curve is specified on the display screen W, a 3D medical image V is generated by deleting the 3D medical image inside the cylinder extending in the depth direction of the display screen W from the specified closed curve, and the generated 3D The processes from S04 to S09 until the medical image V and the center area icon M are displayed are executed.
図３Ｅは、表示制御手段１３が、図３Ｄの指定領域を削除処理した後の３次元医用画像Ｖを表示画面Ｗに表示するとともに表示画面Ｗ上に中央領域アイコンＭを再表示した画面例である。図３Ｅでは、図３Ｃと同様に、回転処理および領域指定処理限定モードがオンの状態が続いているため（Ｓ１０のＮ）、図３Ｅに示す表示状態で、画像処理装置１はユーザの入力を待機する（Ｓ０３）。 FIG. 3E shows a screen example in which the display control means 13 displays the three-dimensional medical image V after deleting the designated region in FIG. 3D on the display screen W and redisplays the central region icon M on the display screen W. is there. In FIG. 3E, as in FIG. 3C, since the rotation process and the area designation process restriction mode remain on (N in S10), the image processing apparatus 1 receives the user input in the display state shown in FIG. 3E. Wait (S03).
図３Ｆは、図３Ｅに示した状態に対して、表示された３次元医用画像Ｖを回転させるために中央領域６からドラッグ操作が入力される様子を表している。Ｓ０４およびＳ０５の処理は、先述の領域指定処理の場合と同様である。画像処理手段１２は、対応付けテーブルＴを参照して、受け付けた入力位置が中央領域６内である場合には（Ｓ０６のＹ）、受け付けた入力操作を解析して、表示画面Ｗ上でドラッグ操作の始点から終点への向きおよび距離を算出する。そして、画像処理手段１２は、算出された向きおよび距離に応じて３次元医用画像Ｖに対する視点を回転し、かかる回転処理後の３次元医用画像Ｖを生成する（Ｓ０７）。 FIG. 3F shows a state in which a drag operation is input from the central region 6 to rotate the displayed three-dimensional medical image V with respect to the state shown in FIG. 3E. The processes in S04 and S05 are the same as those in the area specifying process described above. The image processing means 12 refers to the association table T, and if the received input position is within the central area 6 (Y in S06), analyzes the received input operation and drags it on the display screen W. Calculate the direction and distance from the start point to the end point of the operation. Then, the image processing unit 12 rotates the viewpoint with respect to the three-dimensional medical image V according to the calculated direction and distance, and generates the three-dimensional medical image V after the rotation processing (S07).
図３Ｆに示すように、ここでは、ユーザが、中央領域６内にある図３Ｆの下側のポインタＰの位置にポインタＰを合わせてマウスの左ボタンを押し下げ、マウスの左ボタンを押し下げた状態で白色矢印方向（画面上方）にポインタを移動させて、図３Ｆの上側のポインタＰの位置でマウスの左ボタンを解放するという操作が行われている。入力部４は、受け付けた入力操作から、マウスの左ボタンを押し下げた位置（ドラッグ操作の始点）である入力位置と左ボタンを解放した位置（ドラッグ操作の終点）を解析することにより、回転の向き（図３Ｆにおける白色矢印方向）および回転量を算出し、指定された向きおよび距離に応じて３次元医用画像に対する視点を回転し、かかる回転処理後の３次元医用画像Ｖを生成する。 As shown in FIG. 3F, here, the user places the pointer P at the position of the lower pointer P in FIG. 3F in the central area 6 and presses down the left button of the mouse, and presses down the left button of the mouse. The pointer is moved in the direction of the white arrow (upward on the screen), and the left mouse button is released at the position of the pointer P on the upper side of FIG. 3F. The input unit 4 analyzes the input position, which is the position where the left button of the mouse is pressed down (start point of the drag operation), and the position where the left button is released (end point of the drag operation) from the received input operation. The direction (white arrow direction in FIG. 3F) and the rotation amount are calculated, the viewpoint for the three-dimensional medical image is rotated according to the designated direction and distance, and the three-dimensional medical image V after the rotation processing is generated.
そして、表示制御手段１３は、生成された３次元医用画像Ｖを表示するとともに表示画面上に中央領域アイコンＭを再表示する（Ｓ０９）。図３Ｇは、図３Ｆで指定された回転処理を行った後の表示画面Ｗの例を示す図である。 Then, the display control means 13 displays the generated three-dimensional medical image V and redisplays the central area icon M on the display screen (S09). FIG. 3G is a diagram illustrating an example of the display screen W after the rotation process specified in FIG. 3F is performed.
そして、画像処理装置１は、ユーザが、メニュー選択により、回転処理および領域指定処理限定モードをオフにするまで（Ｓ１０のＮ）、Ｓ０３からＳ０９までの処理を繰り返す。 Then, the image processing apparatus 1 repeats the processes from S03 to S09 until the user turns off the rotation process and the area designation process limited mode by menu selection (N in S10).
本実施形態では、ユーザは適宜３次元画像を回転させて心臓以外の領域を目視確認し、心臓以外の領域がなくなるまで３次元画像から心臓以外の領域を削除する操作を繰り返す。このため、図３Ｈに示すように、画像処理装置１は、ユーザの入力に基づいて図３Ｇに表示された３次元医用画像Ｖからさらに心臓以外の領域（肺の血管領域７Ａ、７Ｂおよび肝臓領域７Ｃ）を指定して削除する領域指定処理を順に繰り返す。さらに、画像処理装置１は、図３Ｉ乃至３Ｌに示すように、ユーザの入力に基づいて３次元医用画像Ｖを回転処理して回転された３次元医用画像Ｖに対し心臓以外の領域７を指定して削除する領域指定処理を順に実行する。そして、画像処理装置１は、最終的に図３Ｍのように心臓のみが抽出された３次元画像を表示する（Ｓ０９）。 In the present embodiment, the user appropriately rotates the three-dimensional image to visually check a region other than the heart, and repeats an operation of deleting the region other than the heart from the three-dimensional image until there is no region other than the heart. For this reason, as shown in FIG. 3H, the image processing apparatus 1 further includes regions other than the heart (the pulmonary blood vessel regions 7A and 7B and the liver region) from the three-dimensional medical image V displayed in FIG. 3G based on the user input. 7C) is specified and the area specifying process to be deleted is repeated in order. Furthermore, as shown in FIGS. 3I to 3L, the image processing apparatus 1 designates a region 7 other than the heart for the rotated three-dimensional medical image V by rotating the three-dimensional medical image V based on a user input. The area specifying process to be deleted is sequentially executed. Then, the image processing apparatus 1 finally displays a three-dimensional image in which only the heart is extracted as shown in FIG. 3M (S09).
そして、ユーザが、メニュー選択により、本実施形態による回転処理および領域指定処理限定モードをオフにすると（Ｓ１０のＹ）、本実施形態による画像処理を終了し、通常の画像処理モードに戻る。 Then, when the user turns off the rotation processing and area designation processing limited mode according to the present embodiment by menu selection (Y in S10), the image processing according to the present embodiment is terminated and the normal image processing mode is restored.
本実施形態によれば、領域指定処理に対応付けられた領域が中央領域６を除く表示画面の辺縁領域であり、かかる辺縁領域が表示画面の面積に対して十分大きい面積を有するものであるため、ユーザは辺縁領域に所定の操作を行うことにより３次元画像の所望の部分をほぼ自在に指定できる。 According to the present embodiment, the region associated with the region designating process is a marginal region of the display screen excluding the central region 6, and the marginal region has a sufficiently large area with respect to the area of the display screen. Therefore, the user can designate a desired portion of the three-dimensional image almost freely by performing a predetermined operation on the edge region.
ユーザは、一般的に、ユーザの関心領域を画面中央に配置して３次元医用画像を観察すると推定できるため、ユーザの関心領域を中心に回転することがユーザの直感的な感覚に沿うものであると考えられる。このため、回転処理を中央領域６に対応付けたことにより、中央領域に対する入力操作に基づいて画面の中心周りに３次元医用画像の回転処理を施すことができ、直感的にユーザに領域と処理の対応付けが把握しやすい。 Since the user can generally estimate that the user's region of interest is placed in the center of the screen and observe the three-dimensional medical image, rotation around the user's region of interest follows the user's intuitive feeling. It is believed that there is. For this reason, by associating the rotation processing with the central region 6, the rotation processing of the three-dimensional medical image can be performed around the center of the screen based on the input operation on the central region, and the region and processing are intuitively performed by the user. Is easy to grasp.
また、ポインティングデバイスによる所定の操作を、入力位置を変えて入力するだけで、領域指定処理と回転処理を切り替える煩雑な操作を行うことなく両処理を切り替えて実行でき、ポインティングデバイスのみにより両処理を３次元医用画像に施したいというユーザの要望に応えるとともに、ユーザの手間と作業時間を効果的に低減できる。また、キーボードを使う必要がないため、作業台のスペース確保のためにコンピュータ端末の操作を全てマウスで行っている医療現場においても、本発明の画像処理方法を好適に適用でき、使用環境に対応する汎用性が高い。 In addition, by simply inputting a predetermined operation using a pointing device by changing the input position, both processes can be performed without performing a complicated operation for switching between the area designation process and the rotation process, and both processes can be performed using only the pointing device. In addition to responding to the user's desire to apply to a three-dimensional medical image, it is possible to effectively reduce the user's effort and work time. In addition, since there is no need to use a keyboard, the image processing method of the present invention can be suitably applied even in a medical field where all operations of a computer terminal are performed with a mouse in order to secure work space. High versatility.
また、中央領域よりも小さい大きさの指標である中央領域アイコンＭを表示画面に表示するものであるため、指標により３次元医用画像Ｖの視認を妨げない範囲で、ユーザの中央領域６の把握を効果的に支援できる。なお、指標を半透明に設けた場合は、指標の重なっている部分であっても半透明の指標を通して３次元医用画像Ｖを視認でき、さらに好適である。 In addition, since the central area icon M, which is an index having a size smaller than that of the central area, is displayed on the display screen, the user can grasp the central area 6 within a range that does not interfere with the visual recognition of the three-dimensional medical image V. Can be effectively supported. In addition, when the index is provided semi-transparently, it is more preferable that the three-dimensional medical image V can be visually recognized through the semi-transparent index even in a portion where the index overlaps.
また、本実施形態における領域指定処理は、受け付けられた入力操作に基づいて表示画面上で閉曲線を指定し、指定された閉曲線から表示画面奥行き方向にのびる筒体の内側の３次元医用画像を削除する処理である。一般的に、ユーザは関心領域を画面中央に配置して３次元医用画像を観察していると推定されるため、ユーザの削除対象となる部分の閉曲線は、表示画面の中央領域ではなく辺縁領域に存在している可能性が高い。このため、ユーザは辺縁領域に閉曲線を指定するという操作を行うことにより３次元医用画像の削除部分を、３次元医用画像の移動や拡大などの余分な手間を要さず指定でき、簡単に削除操作をすることができる。また、領域指定処理は、入力操作により指定された閉曲線から表示画面奥行き方向にのびる筒体の内側でなく外側の３次元医用画像を削除する処理であってもよい。かかる場合には、ユーザの削除対象となる部分の閉曲線は、辺縁領域内において、中央領域６を取り囲むように指定される。そうすることにより、３次元医用画像の削除部分を、３次元医用画像の移動や拡大などの余分な手間を要さず指定することができる。なお、本実施形態では、領域指定処理に、削除する領域を上述の筒体の内側および外側のいずれにするかを予め設定する設定オプションが設けられ、削除する領域を上述の筒体の内側とする設定がされているものとする。なお、閉曲線を指定して３次元医用画像の一部を削除する操作をする場合でも、必要に応じて３次元医用画像の移動や拡大を行ってもよいのは言うまでもない。 Further, the area designation processing in this embodiment designates a closed curve on the display screen based on the accepted input operation, and deletes the 3D medical image inside the cylinder extending in the display screen depth direction from the designated closed curve. It is processing to do. Generally, since it is presumed that the user is observing a three-dimensional medical image with the region of interest in the center of the screen, the closed curve of the part to be deleted by the user is not the center region of the display screen but the edge There is a high probability that it exists in the area. For this reason, the user can designate the deleted portion of the 3D medical image by performing an operation of designating a closed curve in the marginal area without requiring an extra effort such as moving or enlarging the 3D medical image. A delete operation can be performed. Further, the area designation process may be a process of deleting the outer three-dimensional medical image instead of the inner side of the cylinder extending in the display screen depth direction from the closed curve designated by the input operation. In such a case, the closed curve of the portion to be deleted by the user is specified so as to surround the central region 6 in the edge region. By doing so, it is possible to designate the deleted portion of the three-dimensional medical image without requiring extra effort such as moving or enlarging the three-dimensional medical image. In the present embodiment, a setting option for presetting whether the area to be deleted is inside or outside the above-described cylinder is provided in the area designating process, and the area to be deleted is defined as the inside of the above-described cylinder. It is assumed that the setting is made. Needless to say, even when an operation for deleting a part of a three-dimensional medical image by designating a closed curve is performed, the three-dimensional medical image may be moved or enlarged as necessary.
また、本実施形態における領域指定処理を、指定領域を削除する処理をしないようにし、受け付けられた入力操作に基づいて表示画面上で閉曲線を指定し、指定された閉曲線から表示画面奥行き方向にのびる筒体の内側の３次元医用画像を指定する処理としてもよい。かかる場合には、指定領域を指定するドラッグ操作を行い、ドラッグ操作を終了したマウスポインタの位置（マウスのボタンを解放した位置）に、指定領域の削除（指定領域の内側の削除）、指定領域の選択（指定領域の外側の削除）を選択可能なダイアログ等を表示し、ユーザに削除領域を選択させる方法が考えられる。 In addition, the area designation process in the present embodiment does not delete the designated area, designates a closed curve on the display screen based on the accepted input operation, and extends from the designated closed curve in the display screen depth direction. Processing for designating a three-dimensional medical image inside the cylinder may be performed. In such a case, perform a drag operation to specify the specified area, delete the specified area (delete inside the specified area), specify the specified area at the position of the mouse pointer where the drag operation has ended (the position where the mouse button was released) It is possible to display a dialog or the like that can select the selection (deletion outside the designated area) and allow the user to select the deletion area.
また、本実施形態において、画像処理手段１３は、ユーザのドラッグ操作によるマウスの軌跡が表示画面Ｗの外縁を超えて閉曲線または曲線を描くものであれば、領域指定処理として、受け付けられた入力操作に基づいて表示画面上で画面の外縁とともに閉曲線を指定し、指定された閉曲線から表示画面奥行き方向にのびる筒体の内側の３次元医用画像を削除するため、ユーザは表示画面Ｗの外縁を意識せずに領域指定のためのマニュアル操作をすればよく、より使い勝手がよい。 In this embodiment, the image processing means 13 accepts an input operation accepted as a region designation process if the locus of the mouse by a user's drag operation draws a closed curve or a curve beyond the outer edge of the display screen W. The closed curve is designated along with the outer edge of the screen on the display screen, and the 3D medical image inside the cylinder extending in the depth direction of the display screen is deleted from the designated closed curve, so that the user is conscious of the outer edge of the display screen W. It is only necessary to perform manual operation to specify the area without using it, making it easier to use.
また、本実施形態のように、複数の臓器を含む３次元医用画像Ｖから所望の部分を切り出す処理に、本実施形態の画像処理方法を適用した場合には、患者により異なる部位を抽出する作業を数多く行う必要がある医療分野において、本画像処理による上述の各効果が大いに有益である。 In addition, when the image processing method of the present embodiment is applied to the process of cutting out a desired portion from a three-dimensional medical image V including a plurality of organs as in the present embodiment, work for extracting different parts depending on the patient In the medical field where it is necessary to perform a large number of the above-described effects, the above-described effects by the image processing are greatly beneficial.
例えば、上述の実施形態において、３次元医用画像から心臓を切り出す一連の処理は、領域を指定して削除する少なくとも８回の領域指定処理と、少なくとも５回の回転処理の２種類の処理の組み合わせにより実行されている。そして、３次元医用画像からさらに複雑な形状の部分を切り出す作業では、２種類の処理の切り替えをするためのさらに多くのユーザ操作が必要となることが予想される。本実施形態の画像処理方法は、領域を指定して削除する少なくとも８回の領域指定処理と、少なくとも５回の回転処理からなる１３回の処理を、ユーザの１つの操作のみにより最低１３回の入力で実行することができるものである。マウスの入力操作とキーボードの所定の操作の有無の組合せにより実行する場合には、本実施形態のユーザ操作にキーボードの所定の操作を切り替える付加動作が必要となり、特許文献１のように、回転処理が本処理に特に適した領域と割合に割り当てられていない場合には、本実施形態のユーザ操作に３次元医用画像Ｖを領域指定処理に割り当てられた画面上の領域に移動させる余分な付加動作が必要となることを鑑みて、本実施形態の画像処理方法はユーザ操作を直感的に把握できるとともにユーザ操作の回数を必要最小限に絞り込むことができ、ユーザ操作の手間およびユーザの作業時間を著しく低減するという、ユーザにとって非常に有意義な効果をもたらすものである。 For example, in the above-described embodiment, the series of processes for cutting out the heart from a three-dimensional medical image is a combination of two types of processes, that is, at least eight area designation processes for designating and deleting an area and at least five rotation processes. Has been executed by. It is expected that more user operations for switching between the two types of processing are required in the operation of cutting out a more complicated shape from the three-dimensional medical image. The image processing method according to the present embodiment includes at least 13 times of area designation processing for designating and deleting an area, and 13 times of processing including at least 5 rotation processes, at least 13 times by only one user operation. It can be executed on input. In the case of executing by a combination of the mouse input operation and the presence / absence of the predetermined keyboard operation, an additional operation for switching the predetermined keyboard operation to the user operation of the present embodiment is required. Is not assigned to a region and a ratio particularly suitable for this processing, an extra additional operation for moving the three-dimensional medical image V to a region on the screen assigned to the region designation processing by the user operation of this embodiment. Therefore, the image processing method according to the present embodiment can intuitively grasp the user operation and can reduce the number of user operations to the minimum necessary. This is a very significant effect for the user, which is significantly reduced.
以下に本実施形態の変形例について説明する。 A modification of the present embodiment will be described below.
また、上記実施形態における表示制御手段１３が、３次元医用画像を表示画面の８割程度の体積または表示面積になるように自動的に拡大縮小して表示するものであってもよい。かかる場合には、ユーザは、３次元医用画像の回転処理または領域指定処理のみをドラッグ操作で行うだけで、３次元画像が回転、領域指定などのユーザ操作にちょうどよいサイズで自動表示されるため、領域指定により削除されてサイズが小さくなった３次元画像を拡大するための操作を行う必要がない。つまり、３次元医用画像の回転処理または領域指定処理のためのドラッグ操作以外の余分な作業を行うことなく、簡易かつ迅速に所望の部位の抽出処理を行うことができる。 In addition, the display control unit 13 in the above embodiment may automatically display the three-dimensional medical image so that the volume or display area is about 80% of the display screen. In such a case, the user simply performs the rotation process or the area designation process for the 3D medical image only by the drag operation, and the 3D image is automatically displayed in a size that is suitable for user operations such as rotation and area designation. There is no need to perform an operation for enlarging a three-dimensional image that has been deleted by area designation and has been reduced in size. That is, the extraction process of a desired part can be performed easily and quickly without performing extra work other than the drag operation for the rotation process or the area designation process of the three-dimensional medical image.
上記実施形態において、画像処理装置１は、３次元医用画像の中心（例えば、３次元医用画像の重心）を関心領域として抽出し、表示制御手段１３が抽出された関心領域を画面中央に移動させて表示する関心領域移動手段をさらに備えるものであってもよい。また、画像処理装置１は、３次元画像に含まれる臓器や病変などの構造物を、自動抽出する関心領域抽出手段をさらに備え、表示制御手段１３が抽出された関心領域を画面中央に移動させて表示する関心領域移動手段を備えるものであってもよい。かかる場合には、３次元医用画像の関心領域を自動的に画面中央に配置した投影画像について本発明の画像処理を行うことができるため、ユーザは、３次元医用画像の回転処理または領域指定処理のみをドラッグ操作で行うだけで、関心領域を画面中央に表示するとともに関心領域内またはその近傍に回転中心を自動的に決定することができるため、３次元医用画像の回転処理または領域指定処理のためのドラッグ操作以外の余分な作業を行うことなく簡易かつ迅速に所望の部位の抽出処理を行うことができる。また、関心領域を中央に位置させることができ、被写体の直感的な把握が容易である。 In the above embodiment, the image processing apparatus 1 extracts the center of the three-dimensional medical image (for example, the center of gravity of the three-dimensional medical image) as a region of interest, and moves the extracted region of interest to the center of the screen. It is also possible to further include a region-of-interest moving means for displaying. The image processing apparatus 1 further includes a region-of-interest extracting unit that automatically extracts structures such as organs and lesions included in the three-dimensional image, and the display control unit 13 moves the extracted region of interest to the center of the screen. It may be provided with a region-of-interest moving means for displaying. In such a case, since the image processing of the present invention can be performed on the projection image in which the region of interest of the three-dimensional medical image is automatically arranged at the center of the screen, the user can rotate the three-dimensional medical image or specify the region. Only by dragging, the region of interest can be displayed at the center of the screen and the center of rotation can be automatically determined in or near the region of interest. Therefore, a desired part can be extracted easily and quickly without any extra work other than the drag operation. In addition, the region of interest can be positioned in the center, so that it is easy to intuitively grasp the subject.
なお、上記の関心領域抽出手段として、例えば、以下の技術が適用可能である。 For example, the following technique can be applied as the above-described region of interest extraction means.
例えば、計算機支援画像診断（CAD；Computer Aided Diagnosis）による抽出技術として、肺野について、特開２００１−１３７２３０号、特開２００８−２５３２９３号、肝臓抽出について特開２００１−２８３１９１号、特開２００２−３４５８０７号、骨について、特開２００８−４３５６４号、心臓について、特開２００４−１４１６１２号の技術が利用でき、その他の臓器認識技術も指定された病変の位置が所属する臓器を自動的に抽出できるものであれば利用可能である。 For example, as extraction techniques based on computer-aided diagnosis (CAD), JP 2001-137230, JP 2008-253293, and JP 2001-283191, 2002 2002 for liver extraction and lung extraction, respectively. Japanese Patent No. 345807, bone, Japanese Patent Application Laid-Open No. 2008-43564, and heart, Japanese Patent Application Laid-Open No. 2004-141612 can be used, and other organ recognition techniques can automatically extract the organ to which the designated lesion position belongs. Anything can be used.
また、３次元画像から抽出する構造物は、医用画像に写った異常陰影等の病変でもよい。異常陰影を手動で抽出してもよく、計算機処理を用いて異常陰影候補を自動的に検出するようにした計算機支援画像診断（CAD；Computer Aided Diagnosis）を行い、自動的に病変領域を検出することができる。 The structure extracted from the three-dimensional image may be a lesion such as an abnormal shadow that appears in the medical image. Abnormal shadows may be extracted manually, and computer-aided diagnosis (CAD: Computer Aided Diagnosis) that automatically detects abnormal shadow candidates using computer processing is performed to automatically detect lesion areas. be able to.
病変領域検出に利用できる技術は、具体的には、特開２００３−２２５２３１号、特開２００３−２７１９２４号、および、久保田等、「ヘリカルCT像を用いた肺がん計算機診断支援システムの評価」、電子情報通信学会、信学技報、pp.41-46、MI2001-41(2001-09)に示す肺がんを検出する技術、脇田等、「びまん性肺疾患の知的CAD」、文部科学省科学研究費補助金特定領域研究"多次元医用画像の知的診断支援"、第４回シンポジウム論文集、pp. 45-54、２００７に示すコンソリデーション、Ground-Glass Opacity(GGO)、Crazy-Paving、蜂巣状陰影、肺気腫陰影、粒状影等のびまん性肺疾患の検出技術、脇田等、「多時相腹部Ｘ線ＣＴ像の時相間濃度特徴計測に基づく肝臓がん検出」、コンピュータ支援画像診断学会論文誌、Vol.10、No.1、Mar 2007に示す肝臓がん検出技術、「正常構造の理解に基づく知的CAD」、文部科学省科学研究費補助金特定領域研究"多次元医用画像の知的診断支援"、第４回シンポジウム論文集pp.55-60、２００７に示す肝細胞がん、肝のう胞、肝血管種、肝臓領域における出血、脳領域における出血を検出する技術を用いることができる。また、特開２００４−３２９９２９号に示すような血管の異常を検出する技術、本出願人の出願である特開平１０−９７６２４号に示す異常陰影候補の検出技術、特開平８−２１５１８３号に示すような石灰化領域の検出技術を用いることもできる。 Specifically, the techniques that can be used for lesion area detection are disclosed in JP 2003-225231 A, JP 2003-271924 A, and Kubota et al., “Evaluation of Lung Cancer Computer Diagnosis Support System Using Helical CT Images”, Electronic Technology for detecting lung cancer as shown in IEICE, IEICE Technical Report, pp. 41-46, MI2001-41 (2001-09), Wakita et al., "Intelligent CAD for diffuse lung disease", Ministry of Education, Culture, Sports, Science and Technology Cost-subsidy specific area research "Support for intelligent diagnosis of multidimensional medical images", 4th Symposium Proceedings, pp. 45-54, Consolidation shown in 2007, Ground-Glass Opacity (GGO), Crazy-Paving, Honeycomb For detection of diffuse lung diseases such as pulmonary shadows, emphysema shadows, and granular shadows, Wakita et al., "Detection of liver cancer based on measurement of interphase concentration characteristics of multi-phase abdominal X-ray CT images," Computer Aided Imaging , Vol.10, No.1, Mar 2007 Liver Cancer Detection Technology , “Intellectual CAD based on understanding of normal structure”, Ministry of Education, Culture, Sports, Science and Technology, Grant-in-Aid for Scientific Research, “Intelligent Diagnosis Support for Multidimensional Medical Images”, 4th Symposium Proceedings pp.55-60, 2007 Techniques for detecting hepatocellular carcinoma, hepatic cysts, hepatic blood vessel types, bleeding in the liver region, and bleeding in the brain region can be used. Further, a technique for detecting a blood vessel abnormality as disclosed in Japanese Patent Application Laid-Open No. 2004-329929, a technique for detecting an abnormal shadow candidate disclosed in Japanese Patent Application Laid-Open No. 10-97624, which is an application of the present applicant, and a technique disclosed in Japanese Patent Application Laid-Open No. 8-215183. Such a technique for detecting a calcified region can also be used.
また、上記実施形態において中央領域は、表示画面中央に集中する、画面の中心点近傍の領域を意味し、円を含む楕円形、正方形を含む矩形または他の多角形からなり、表示画面の面積の数分の１以下の面積を有するものである。数分の１とは、少なくとも４分の１よりも小さい面積で、９分の１より小さいことが望ましい。また、例えば、中心点を含む領域であってもよく、中心点を囲むドーナツ状の領域であってもよい。なお、中央領域のサイズは、画面上でポインティングデバイスにより位置の指定をできる大きさを維持する範囲で、辺縁領域の広さを十分確保するために小さい方が好ましい。また、前記中央領域は、例えば、表示画面の中心点を中心とした、表示画面の面積に対して１／９以下の面積の円または楕円であることが好ましく、さらに好ましくは、表示画面の面積の１／３００以上１／１０以下の面積を有する円または楕円であることが好ましく、最も好ましくは表示画面の面積の１／３００以上１／１８以下の面積を有する円または楕円であることが好ましい。また、ディスプレイ等の大きさやユーザの使い勝手に応じて、ユーザは中央領域のサイズを変更して設定可能であることが好ましい。また、かかる表示画面との関係により中央領域のサイズを決める代わりに、表示した画面上で、所望の表示サイズになるように中央領域を設定してもよく、例えば、直径０．５−５ｃｍ程度の円（または同程度のサイズの閉曲面）になるように中央領域を設定することが好ましく、直径０．７−３ｃｍ程度の円（または同程度のサイズの閉曲面）になるように中央領域を設定することがさらに好ましく、直径１−２ｃｍ程度の円（または同程度のサイズの閉曲面）になるように中央領域を設定することがさらに好ましい。 Further, in the above embodiment, the center area means an area in the vicinity of the center point of the screen that is concentrated in the center of the display screen, and is composed of an ellipse including a circle, a rectangle including a square, or another polygon, It has an area of one-fifth or less. A fraction is preferably an area smaller than at least a quarter and smaller than one-nine. Further, for example, it may be a region including a center point or a donut-shaped region surrounding the center point. Note that the size of the central region is preferably within a range in which the size of the position can be specified by the pointing device on the screen so as to ensure a sufficient marginal region. In addition, the central region is preferably a circle or an ellipse having an area of 1/9 or less with respect to the area of the display screen centered on the center point of the display screen, and more preferably, the area of the display screen Is preferably a circle or an ellipse having an area of 1/300 or more and 1/10 or less, and most preferably a circle or an ellipse having an area of 1/300 or more and 1/18 or less of the area of the display screen. . Moreover, it is preferable that the user can change and set the size of the central region according to the size of the display or the like and the user's usability. Further, instead of determining the size of the central region depending on the relationship with the display screen, the central region may be set to have a desired display size on the displayed screen. For example, the diameter is about 0.5-5 cm. It is preferable to set the central region so as to be a circle (or a closed surface of the same size), and the central region so as to be a circle (or a closed surface of the same size) having a diameter of about 0.7-3 cm Is more preferable, and it is more preferable to set the central region so as to be a circle having a diameter of about 1-2 cm (or a closed curved surface having the same size).
指標のサイズは、ユーザに識別容易な大きさを維持する範囲で、３次元医用画像の観察を阻害しないように小さいほうが好ましい。例えば、指標を、中央領域より小さい範囲で、例えば、指標を、中央領域より小さい範囲で、画面の面積の１／３００以上１／１０以下のサイズにすることが好ましく、画面の面積の１／３００以上１／１８以下のサイズにすることが好ましく、画面の面積の１／３００以上１／２０以下のサイズにすることが好ましい。また、ディスプレイ等の大きさやユーザの使い勝手に応じて、ユーザは中央領域アイコンのサイズを変更して設定可能であることが好ましい。また、かかる表示画面との関係により中央領域アイコンのサイズを決める代わりに、表示した画面上で、所望の表示サイズになるように中央領域アイコンのサイズを設定してもよく、例えば、中央領域よりも小さい範囲で、直径０．５−５ｃｍ程度の円と同程度のサイズになるように中央領域アイコンの大きさを設定することが好ましく、直径０．７−３ｃｍ程度の円と同程度のサイズになるように中央領域アイコンの大きさを設定することが好ましく、直径１−２ｃｍ程度の円の円と同程度のサイズになるように中央領域アイコンの大きさを設定することがさらに好ましい。 It is preferable that the size of the index is small so as not to hinder the observation of the three-dimensional medical image within a range in which the size is easily identified by the user. For example, it is preferable that the index is in a range smaller than the central area, for example, the index is smaller than the central area, and the size is 1/300 or more and 1/10 or less of the screen area. The size is preferably 300 or more and 1/18 or less, and is preferably 1/300 or more and 1/20 or less of the screen area. Moreover, it is preferable that the user can change and set the size of the central area icon according to the size of the display or the like and the user's usability. Further, instead of determining the size of the central area icon depending on the relationship with the display screen, the size of the central area icon may be set so as to be a desired display size on the displayed screen. It is preferable to set the size of the center area icon so that it is about the same size as a circle with a diameter of about 0.5-5 cm, and about the same size as a circle with a diameter of about 0.7-3 cm. It is preferable to set the size of the central region icon so that the size of the central region icon is larger than that of the circle having a diameter of about 1-2 cm.
上記の各実施形態はあくまでも例示であり、上記のすべての説明が本発明の技術的範囲を限定的に解釈するために利用されるべきものではない。 Each of the above embodiments is merely an example, and all of the above description should not be used to limit the technical scope of the present invention.
この他、上記の実施形態におけるシステム構成、ハードウェア構成、処理フロー、モジュール構成、ユーザインターフェースや具体的処理内容等に対して、本発明の趣旨から逸脱しない範囲で様々な改変を行ったものも、本発明の技術的範囲に含まれる。 In addition, the system configuration, the hardware configuration, the processing flow, the module configuration, the user interface, specific processing contents, and the like in the above embodiment are variously modified without departing from the spirit of the present invention. Are included in the technical scope of the present invention.
なお、３次元画像は、断層撮影等で取得されて形成されたものでもよく、ＣＧで仮想的に作成されたものでもよい。また、被写体は、３次元画像に表されるものであれば、なんでもよい。例えば、人体でもよく、動物や植物でもよく、幾何学的な図形でもよく、建築物や機械等の構造物や立体地図等の地形等でもよい。断層撮影に使用するモダリティは、ＣＴ、ＭＲＩ、超音波撮影装置等、３次元画像を撮影可能なものであれば何でもよい。 The three-dimensional image may be acquired and formed by tomography or the like, or may be virtually created by CG. The subject may be anything as long as it is represented in the three-dimensional image. For example, it may be a human body, an animal or a plant, a geometric figure, a structure such as a building or a machine, or a topography such as a three-dimensional map. The modality used for tomography may be anything as long as it can capture a three-dimensional image, such as CT, MRI, and ultrasonic imaging apparatus.
また、画像処理装置１は、複数台のコンピュータにより、手段としての機能を分担する構成としてもよい。また、入力部、ディスプレイ等、システムを構成する装置としては、公知のあらゆる装置を採用することができる。例えば、マウスに代えてジョイスティックを採用したり、ディスプレイに代えてタッチパネルを採用したりすることができる。 Further, the image processing apparatus 1 may be configured to share functions as means by a plurality of computers. Moreover, as a device constituting the system, such as an input unit and a display, all known devices can be employed. For example, a joystick can be used instead of a mouse, or a touch panel can be used instead of a display.
１ 画像処理装置、 ２ ストレージ、 ３ ディスプレイ
４ 入力部
５ 表示された３次元画像
６ 中央領域
７ 指定領域
１１ 画像取得手段
１２ 画像処理手段
１３ 表示制御手段
Ｖ ボリュームデータ
DESCRIPTION OF SYMBOLS 1 Image processing apparatus, 2 Storage, 3 Display 4 Input part 5 3D image displayed 6 Central area | region 7 Designated area 11 Image acquisition means 12 Image processing means 13 Display control means V Volume data
Claims (12)
視点から３次元医用画像を投影して表示画面に表示させる表示制御手段と、
前記表示画面上でユーザの入力位置および該入力位置を始点とする軌跡の入力を受け付ける入力部と、
前記受け付けられた入力位置が前記表示画面の中心点を含む所定の形状で所定の大きさの中央領域内にある場合に、前記受け付けられた軌跡に基づいて、前記入力位置から前記軌跡の終点に向かう向きおよび前記入力位置と前記軌跡の終点との距離に応じて３次元医用画像を前記表示画面に投影する前記視点を回転させる回転処理を前記表示された３次元医用画像に施し、前記受け付けられた入力位置が前記表示画面のうち前記中央領域以外の領域である場合に、領域指定処理を前記表示された３次元医用画像に施す画像処理手段とを備え、
前記領域指定処理は、前記受け付けられた軌跡に基づいて、該軌跡に応じた閉曲線を指定し、前記指定された閉曲線から前記表示画面奥行き方向にのびる筒体の内側または外側の３次元医用画像を削除する処理であり、
前記画像取得手段によって取得した３次元医用画像を前記表示制御手段を用いて前記表示画面に表示させた後に、前記入力部で前記入力位置および前記軌跡の入力を受け付ける度に、前記画像処理手段を用いて前記入力部の入力に応じた前記回転処理または前記領域指定処理を実行し、かつ、前記回転処理または前記領域指定処理が施された３次元医用画像を前記表示制御手段を用いて前記表示画面に再表示させる処理を繰り返す繰り返し制御手段をさらに備えることを特徴とする画像処理装置。 Image acquisition means for acquiring a three-dimensional medical image representing the subject ;
Display control means for projecting a three- dimensional medical image from a viewpoint and displaying it on a display screen;
An input unit that receives an input of a user's input position on the display screen and a locus starting from the input position;
If the received input position is in the middle area of a predetermined size at a predetermined shape including the center point of the display screen, based on the previous SL accepted trajectory, the end point of the trajectory from the input position A rotation process for rotating the viewpoint for projecting a three-dimensional medical image onto the display screen according to a direction toward the image and a distance between the input position and the end point of the trajectory, and displaying the received three-dimensional medical image. Image processing means for performing an area designation process on the displayed three-dimensional medical image when the input position is an area other than the central area of the display screen;
The area designating process designates a closed curve corresponding to the received trajectory based on the accepted trajectory, and creates a three-dimensional medical image inside or outside the cylinder extending in the display screen depth direction from the designated closed curve. Process to delete ,
After the three-dimensional medical image acquired by the previous SL image obtaining means is displayed on the display screen by using the display control means, every time receiving the input position and the input of the track by the input unit, the image processing unit The rotation process or the area designating process according to the input of the input unit is performed using and the three-dimensional medical image subjected to the rotation process or the area designating process is processed using the display control unit. An image processing apparatus , further comprising: a repetitive control unit that repeats the process of redisplaying on the display screen .
前記抽出された関心領域を画面中央に移動させて前記３次元医用画像を前記表示制御手段を用いて前記表示画面に表示させる関心領域移動手段とをさらに備え、A region of interest moving means for moving the extracted region of interest to the center of the screen and displaying the three-dimensional medical image on the display screen using the display control means;
前記繰り返し制御手段が、前記３次元医用画像を前記関心領域移動手段で移動表示した後に、前記入力部で前記入力位置および前記軌跡の入力を受け付ける度に、前記入力部の入力に応じた前記回転処理または前記領域指定処理を実行し、かつ、前記再表示させる処理を繰り返すことを特徴とする請求項１記載の画像処理装置。After the repetitive control means moves and displays the three-dimensional medical image by the region-of-interest moving means, the rotation corresponding to the input of the input unit every time the input unit receives the input of the input position and the locus. The image processing apparatus according to claim 1, wherein the process or the region designation process is executed and the redisplay process is repeated.
被写体を表す３次元医用画像を取得する画像取得ステップと、
視点から３次元医用画像を投影して表示画面に表示させる表示制御ステップと、
前記表示画面上でユーザの入力位置および該入力位置を始点とする軌跡の入力を受け付ける入力ステップと、
前記受け付けられた入力位置が前記表示画面の中心点を含む所定の形状で所定の大きさの中央領域内にある場合に、前記受け付けられた軌跡に基づいて、前記入力位置から前記軌跡の終点に向かう向きおよび前記入力位置と前記軌跡の終点との距離に応じて３次元医用画像を前記表示画面に投影する前記視点を回転させる回転処理を前記表示された３次元医用画像に施し、前記受け付けられた入力位置が前記表示画面のうち前記中央領域以外の領域である場合に、領域指定処理を前記表示された３次元医用画像に施す画像処理ステップとを有する画像処理装置の作動方法であって、
前記領域指定処理は、前記受け付けられた軌跡に基づいて、該軌跡に応じた前記表示画面上で閉曲線を指定し、前記指定された閉曲線から前記表示画面奥行き方向にのびる筒体の内側または外側の３次元医用画像を削除する処理であり、
前記画像取得ステップによって取得した３次元医用画像を前記表示制御ステップを用いて前記表示画面に表示させた後に、前記入力ステップで前記入力位置および前記軌跡の入力を受け付ける度に、前記画像処理ステップを用いて前記入力ステップの入力に応じた前記回転処理または前記領域指定処理を実行し、かつ、前記回転処理または前記領域指定処理が施された３次元医用画像を前記表示制御ステップを用いて前記表示画面に再表示させる処理を繰り返す繰り返し制御ステップをさらに備えることを特徴とする画像処理装置の作動方法。 An operation method of an image processing apparatus,
An image acquisition step of acquiring a three-dimensional medical image representing the subject ;
A display control step of projecting a three-dimensional medical image from a viewpoint and displaying it on a display screen;
An input step of receiving an input of a user's input position and a locus starting from the input position on the display screen;
If the received input position is in the middle area of a predetermined size at a predetermined shape including the center point of the display screen, based on the previous SL accepted trajectory, the end point of the trajectory from the input position A rotation process for rotating the viewpoint for projecting a three-dimensional medical image onto the display screen according to a direction toward the image and a distance between the input position and the end point of the trajectory, and displaying the received three-dimensional medical image. And an image processing step of performing an area designation process on the displayed three-dimensional medical image when the input position is an area other than the central area of the display screen. ,
The region designation process designates a closed curve on the display screen according to the received trajectory based on the accepted trajectory, and the inside or outside of the cylinder extending from the designated closed curve in the display screen depth direction. A process of deleting a 3D medical image ,
After the three-dimensional medical image acquired by the previous SL image acquiring step is displayed on the display screen by using the display control step, the time for receiving the input position and the input of the track at the input step, the image processing step The rotation process or the area designating process according to the input in the input step is performed using the three-dimensional medical image subjected to the rotation process or the area designating process using the display control step. An operation method of an image processing apparatus, further comprising a repetitive control step of repeating a process of redisplaying on a display screen .
被写体を表す３次元医用画像を取得する画像取得手段と、
視点から前記３次元医用画像を投影して表示画面に表示させる表示制御手段と、
前記表示画面上でユーザの入力位置および該入力位置を始点とする軌跡の入力を受け付ける入力部と、
前記受け付けられた入力位置が前記表示画面の中心点を含む所定の形状で所定の大きさの中央領域内にある場合に、前記受け付けられた軌跡に基づいて、前記入力位置から前記軌跡の終点に向かう向きおよび前記入力位置と前記軌跡の終点との距離に応じて３次元医用画像を前記表示画面に投影する前記視点を回転させる回転処理を前記表示された３次元医用画像に施し、前記受け付けられた入力位置が前記表示画面のうち前記中央領域以外の領域である場合に、領域指定処理を前記表示された３次元医用画像に施す画像処理手段として機能させる画像処理プログラムであって、
前記領域指定処理は、前記受け付けられた軌跡に基づいて、該軌跡に応じた前記表示画面上で閉曲線を指定し、前記指定された閉曲線から前記表示画面奥行き方向にのびる筒体の内側または外側の３次元医用画像を削除する処理であり、
前記画像取得手段によって取得した３次元医用画像を前記表示制御手段を用いて前記表示画面に表示させた後に、前記入力部で前記入力位置および前記軌跡の入力を受け付ける度に、前記画像処理手段を用いて前記入力部の入力に応じた前記回転処理または前記領域指定処理を実行し、かつ、前記回転処理または前記領域指定処理が施された３次元医用画像を前記表示制御手段を用いて前記表示画面に再表示させる処理を繰り返す繰り返し制御手段をさらに備えることを特徴とする画像処理プログラム。 Computer
Image acquisition means for acquiring a three-dimensional medical image representing the subject ;
Display control means for projecting the three-dimensional medical image from a viewpoint and displaying it on a display screen;
An input unit that receives an input of a user's input position on the display screen and a locus starting from the input position;
If the received input position is in the middle area of a predetermined size at a predetermined shape including the center point of the display screen, based on the previous SL accepted trajectory, the end point of the trajectory from the input position A rotation process for rotating the viewpoint for projecting a three-dimensional medical image onto the display screen according to a direction toward the image and a distance between the input position and the end point of the trajectory, and displaying the received three-dimensional medical image. An image processing program that functions as an image processing unit that performs area designation processing on the displayed three-dimensional medical image when the input position is an area other than the central area of the display screen,
The region designation process designates a closed curve on the display screen according to the received trajectory based on the accepted trajectory, and the inside or outside of the cylinder extending from the designated closed curve in the display screen depth direction. A process of deleting a 3D medical image ,
After the three-dimensional medical image acquired by the previous SL image obtaining means is displayed on the display screen by using the display control means, every time receiving the input position and the input of the track by the input unit, the image processing unit The rotation process or the area designating process according to the input of the input unit is performed using and the three-dimensional medical image subjected to the rotation process or the area designating process is processed using the display control unit. An image processing program , further comprising: a repetitive control unit that repeats the process of redisplaying on the display screen .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013191405A JP5684351B2 (en) | 2013-09-17 | 2013-09-17 | Image processing apparatus, image processing method, and image processing program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013191405A JP5684351B2 (en) | 2013-09-17 | 2013-09-17 | Image processing apparatus, image processing method, and image processing program |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011023810A Division JP2012161460A (en) | 2011-02-07 | 2011-02-07 | Image processor, image processing method and image processing program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2013248534A JP2013248534A (en) | 2013-12-12 |
| JP5684351B2 true JP5684351B2 (en) | 2015-03-11 |
Family
ID=49847762
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013191405A Active JP5684351B2 (en) | 2013-09-17 | 2013-09-17 | Image processing apparatus, image processing method, and image processing program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5684351B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105784731B (en) * | 2014-06-25 | 2019-02-22 | 同方威视技术股份有限公司 | Mesh calibration method and safe examination system in a kind of positioning three-dimensional CT image |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS61259373A (en) * | 1985-05-14 | 1986-11-17 | Toshiba Corp | X-ray photographic diagnosing device |
| JP3232612B2 (en) * | 1992-01-10 | 2001-11-26 | 株式会社日立製作所 | 3D image information presentation method |
| JPH08111816A (en) * | 1994-10-11 | 1996-04-30 | Toshiba Corp | Medical image display device |
| DE19854131A1 (en) * | 1998-11-24 | 2000-05-31 | Siemens Ag | Displaying and processing image displayed on monitor for medical examination apparatus by defining volume region of image which is to be removed from display using marking device |
| JP4493323B2 (en) * | 2003-11-28 | 2010-06-30 | 株式会社日立メディコ | Medical image display device |
| JP2005296156A (en) * | 2004-04-08 | 2005-10-27 | Hitachi Medical Corp | Medical image display device |
| DE102005026220A1 (en) * | 2005-06-07 | 2006-12-21 | Siemens Ag | Subject e.g. person, examination region`s e.g. spinal column, medical image data acquisition, analysis and representation performing method, involves displaying part of data set at display with graphical representation |
| JP4786307B2 (en) * | 2005-11-17 | 2011-10-05 | 株式会社東芝 | Image processing device |
| JP2008125881A (en) * | 2006-11-22 | 2008-06-05 | Toshiba Corp | Medical image diagnostic apparatus, and medical image processing apparatus and program |
-
2013
- 2013-09-17 JP JP2013191405A patent/JP5684351B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2013248534A (en) | 2013-12-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2012161460A (en) | Image processor, image processing method and image processing program | |
| JP4634539B2 (en) | Image processing apparatus and method, and program | |
| JP6457946B2 (en) | System and method for improving workflow efficiency in tomosynthesis medical image data interpretation | |
| US8244010B2 (en) | Image processing device and a control method and control program thereof | |
| JP6827706B2 (en) | Information processing equipment and its methods, information processing systems, computer programs | |
| JP2019069232A (en) | System and method for navigating x-ray guided breast biopsy | |
| EP2420188A1 (en) | Diagnosis support apparatus, diagnosis support method, and storage medium storing diagnosis support program | |
| JP5662082B2 (en) | Image display apparatus and method, and program | |
| JP2010042065A (en) | Medical image processor, processing method | |
| JP6440386B2 (en) | Information processing apparatus and program | |
| JP3989896B2 (en) | Medical image processing apparatus, region of interest extraction method, and program | |
| JP2009022476A (en) | Image display apparatus, control method of image display apparatus and control program of image display apparatus | |
| JP5684351B2 (en) | Image processing apparatus, image processing method, and image processing program | |
| JP2013514117A (en) | Associating acquired images with objects | |
| JP2009022307A (en) | Medical image display device and its program | |
| JP2010244224A (en) | Image display device, method, and program | |
| JP5592655B2 (en) | Image processing device | |
| JP2009061028A (en) | Image processing apparatus and medical workstation equipped with the same | |
| JP6424147B2 (en) | Image processing apparatus, method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130927 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140513 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140516 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140711 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20141216 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150114 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5684351 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |