JP2018110715A - Image processing device and image processing method - Google Patents
Image processing device and image processing method Download PDFInfo
- Publication number
- JP2018110715A JP2018110715A JP2017003112A JP2017003112A JP2018110715A JP 2018110715 A JP2018110715 A JP 2018110715A JP 2017003112 A JP2017003112 A JP 2017003112A JP 2017003112 A JP2017003112 A JP 2017003112A JP 2018110715 A JP2018110715 A JP 2018110715A
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- image
- detector
- transmission
- reconstruction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 69
- 238000003672 processing method Methods 0.000 title claims description 5
- 230000005540 biological transmission Effects 0.000 claims abstract description 101
- 238000000034 method Methods 0.000 claims abstract description 91
- 238000003384 imaging method Methods 0.000 claims abstract description 50
- 230000008569 process Effects 0.000 claims description 41
- 238000005096 rolling process Methods 0.000 claims description 25
- 238000002591 computed tomography Methods 0.000 description 22
- 238000010586 diagram Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 9
- 238000007689 inspection Methods 0.000 description 8
- 230000033001 locomotion Effects 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 6
- 238000012937 correction Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000005094 computer simulation Methods 0.000 description 2
- 238000002939 conjugate gradient method Methods 0.000 description 2
- 238000013481 data capture Methods 0.000 description 2
- 230000003111 delayed effect Effects 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000002558 medical inspection Methods 0.000 description 2
- 238000002945 steepest descent method Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 102000011990 Sirtuin Human genes 0.000 description 1
- 108050002485 Sirtuin Proteins 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000002405 diagnostic procedure Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
- A61B6/03—Computed tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
Landscapes
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Radiology & Medical Imaging (AREA)
- Heart & Thoracic Surgery (AREA)
- High Energy & Nuclear Physics (AREA)
- Theoretical Computer Science (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Optics & Photonics (AREA)
- Pathology (AREA)
- General Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Analysing Materials By The Use Of Radiation (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、複数の透過像から対象物の3次元像を再構成する技術に関する。 The present invention relates to a technique for reconstructing a three-dimensional image of an object from a plurality of transmission images.
対象物内部の3次元像や断層像を得る手法として、CT(Computed Tomography)スキ
ャン又は単にCTと呼ばれる技術が知られている。X線を用いたX線CTは医療検査装置や産業用検査装置などに実用化されている。
As a technique for obtaining a three-dimensional image or a tomographic image inside an object, a technique called CT (Computed Tomography) scan or simply CT is known. X-ray CT using X-rays has been put into practical use in medical inspection apparatuses, industrial inspection apparatuses, and the like.
X線CTでは、対向配置した光源(X線源)と検出器の間に対象物を配置し、X線の投影方向を変えながら検出器により複数の透過像(投影データとも呼ぶ)を撮影する。そして、投影方向の異なる複数の透過像を基に、コンピュータ処理によって逆問題を解くことにより、対象物内部の3次元像を再構成する。従来のX線CTでは、投影像の撮影と投影方向の変更(対象物と検出器の相対的な移動)とを交互に繰り返す、いわゆるStop&Go方式が主流であったが、最近では、撮影時間の短縮を図るため、対象物と検出器を相対的に移動させながら各投影方向の透過像を連続的に撮影する方式(連続撮像方式と呼ぶ)を採用する装置が増えつつある。 In X-ray CT, an object is placed between a light source (X-ray source) and a detector arranged opposite to each other, and a plurality of transmission images (also called projection data) are taken by the detector while changing the X-ray projection direction. . Then, based on a plurality of transmission images having different projection directions, the inverse problem is solved by computer processing to reconstruct a three-dimensional image inside the object. In the conventional X-ray CT, the so-called Stop & Go method, in which the imaging of the projected image and the change of the projection direction (relative movement of the object and the detector) are alternately performed, has been mainstream. In order to shorten the number of apparatuses, an apparatus that employs a system (referred to as a continuous imaging system) that continuously captures a transmission image in each projection direction while relatively moving an object and a detector.
検出器に用いられるCMOSセンサには、グローバルシャッター方式のものとローリングシャッター方式のものがある。グローバルシャッター方式とは、CMOSセンサの全てのラインに対し同じタイミングで露光・データ読み出しを行う方式であり、ローリングシャッター方式とは、ラインごとに露光・データ読み出しのタイミングを少しずつずらす方式である。グローバルシャッター方式に比べローリングシャッター方式のセンサの方が低コストであるため、CTの検出器としてローリングシャッター方式のセンサが採用されることも多い。 CMOS sensors used for the detector include a global shutter type and a rolling shutter type. The global shutter method is a method in which exposure and data reading are performed at the same timing for all the lines of the CMOS sensor, and the rolling shutter method is a method in which the timing of exposure and data reading is slightly shifted for each line. Since the rolling shutter type sensor is less expensive than the global shutter type, a rolling shutter type sensor is often employed as a CT detector.
しかしながら、ローリングシャッター方式のセンサの弱点として、移動する物体を撮影する場合に画像の歪みが発生するという問題がある(一般に「ローリングシャッター歪み」と呼ばれる)。それゆえ、ローリングシャッター方式のセンサを用いて上述した連続撮像方式を行うと、各透過像に歪みが発生し、再構成の精度及び再構成結果の品質を著しく低下させる可能性がある。 However, as a weak point of the rolling shutter type sensor, there is a problem that image distortion occurs when shooting a moving object (generally called “rolling shutter distortion”). Therefore, when the above-described continuous imaging method is performed using a rolling shutter sensor, each transmitted image is distorted, which may significantly reduce the accuracy of reconstruction and the quality of the reconstruction result.
なお、ローリングシャッター歪みを補正する手法は、従来からいくつか提案されている。例えば、特許文献1では、動画像のフレーム間解析を行ってカメラが移動したときに発生する動きベクトルを取得し、その動きベクトルからローリングシャッター歪み成分を推定し画像を補正する手法が開示されている。
Heretofore, several methods for correcting rolling shutter distortion have been proposed. For example,
しかしながら、特許文献1の方法は、動きベクトルを計算するための計算負荷が重く、リアルタイム処理することが困難である。また、特許文献1のように、画像処理ベースで補正する方法では、動きベクトルの推定やローリングシャッター歪みの補正に失敗する箇所があると、再構成結果にアーチファクトが発生するという問題も懸念される。したがって、特許文献1の方法は、高速性が要求される検査装置や高信頼性が要求される検査装置には適さない。
However, the method of
本発明は上記実情に鑑みてなされたものであって、複数の透過像から高品質な再構成画像を高速に生成する技術を提供することを目的とする。 The present invention has been made in view of the above circumstances, and an object thereof is to provide a technique for generating a high-quality reconstructed image from a plurality of transmission images at high speed.
上記目的を達成するために、本発明に係る画像処理装置は、光源と対象物と検出器の間の位置関係を変えながら、前記対象物を透過した電磁波を前記検出器により複数回撮像することにより得られた、複数の透過像のデータを取得する透過像取得部と、前記複数の透過像から前記対象物内部の再構成画像を生成する再構成処理を行う再構成処理部と、を有し、前記透過像が、前記光源と前記対象物と前記検出器の間の位置関係を連続的に変化させながら異なるタイミングで撮像された第1の画素と第2の画素を含んでおり、前記再構成処理部は、前記再構成処理において前記透過像と前記再構成画像の間で投影又は逆投影の操作を行うときに、前記第1の画素に対応する前記再構成画像上の画素を、前記第1の画素が撮像されたタイミングにおける前記光源と前記対象物と前記検出器の間の位置関係に基づき選択し、前記第2の画素に対応する前記再構成画像上の画素を、前記第2の画素が撮像されたタイミングにおける前記光源と前記対象物と前記検出器の間の位置関係に基づき選択することを特徴とする画像処理装置である。 In order to achieve the above object, the image processing apparatus according to the present invention images the electromagnetic wave transmitted through the object a plurality of times by the detector while changing the positional relationship among the light source, the object and the detector. A transmission image acquisition unit that acquires data of a plurality of transmission images, and a reconstruction processing unit that performs a reconstruction process for generating a reconstruction image inside the object from the plurality of transmission images. The transmission image includes first and second pixels captured at different timings while continuously changing the positional relationship between the light source, the object, and the detector, When performing a projection or backprojection operation between the transmission image and the reconstructed image in the reconstructing process, the reconstruction processing unit performs the pixel on the reconstructed image corresponding to the first pixel, At the timing when the first pixel is imaged And selecting a pixel on the reconstructed image corresponding to the second pixel at a timing at which the second pixel is imaged, based on a positional relationship between the light source, the object, and the detector. The image processing apparatus is selected based on a positional relationship among a light source, the object, and the detector.
従来の再構成処理では、1つの透過像上の画素はすべて、光源と対象物と検出器の間の位置関係(以後「投影方向」と呼ぶ)が同じ状態で撮像されたという前提で、投影(再構成画像上の点から透過像上の点への投影)及び逆投影(透過像上の点から再構成画像上の点への投影)を行っている。それゆえ、「前記透過像が、前記光源と前記対象物と前記検出器の間の位置関係を連続的に変化させながら異なるタイミングで撮像された第1の画素と第2の画素を含んで」いる場合、従来の再構成処理では、投影及び逆投影の処理において誤差が生じてしまう。 In the conventional reconstruction process, all pixels on one transmission image are projected on the assumption that the positional relationship between the light source, the object, and the detector (hereinafter referred to as “projection direction”) is the same. (Projection from a point on the reconstructed image to a point on the transmission image) and back projection (projection from a point on the transmission image to a point on the reconstructed image) are performed. Therefore, “the transmission image includes the first pixel and the second pixel captured at different timings while continuously changing the positional relationship between the light source, the object, and the detector.” In the case of the conventional reconstruction process, an error occurs in the projection and backprojection processes.
これに対し、本発明では、第1の画素と第2の画素では投影方向が異なることを考慮し、各画素が実際に撮像されたタイミングにおける投影方向に基づき、透過像上の点と再構成画像上の点の対応をとる。したがって、いずれの画素についても、再構成処理における投影及び逆投影の処理を精度良く行うことができ、高品質な再構成結果を得ることができる。また、透過像の歪みや画素値を補正するような画像処理は不要であり、単に投影及び逆投影における対応点の選択を修正するだけでよいので、処理が高速である。また、画像処理の不備(補正ミス)に起因するアーチファクトのような問題は生じない。 On the other hand, in the present invention, considering that the projection direction differs between the first pixel and the second pixel, the points on the transmission image are reconstructed based on the projection direction at the timing when each pixel is actually imaged. Corresponding points on the image. Therefore, for any pixel, the projection and backprojection processes in the reconstruction process can be performed with high accuracy, and a high-quality reconstruction result can be obtained. In addition, image processing for correcting distortion and pixel values of the transmission image is not necessary, and it is only necessary to correct the selection of corresponding points in projection and backprojection, so that the processing is fast. In addition, problems such as artifacts due to incomplete image processing (correction errors) do not occur.
「前記透過像が、前記光源と前記対象物と前記検出器の間の位置関係を連続的に変化させながら異なるタイミングで撮像された第1の画素と第2の画素を含んで」いる状態は、例えば、ラインごとに撮像タイミングが異なるローリングシャッター方式の検出器を用いて連続撮像方式による透過像の撮影を行った場合に発生する。言い換えると、本発明の手法は、ローリングシャッター方式の検出器を用いて連続撮像方式による透過像の撮影を行うCT装置に対し、好ましく適用できる。 “The transmission image includes a first pixel and a second pixel captured at different timings while continuously changing the positional relationship between the light source, the object, and the detector” For example, it occurs when a transmission image is captured by a continuous imaging method using a rolling shutter type detector having different imaging timing for each line. In other words, the method of the present invention can be preferably applied to a CT apparatus that captures a transmission image by a continuous imaging method using a rolling shutter type detector.
前記透過像上の画素の座標と前記再構成画像上の画素の座標との対応関係が定義された対応座標データを記憶する記憶部を有しており、前記再構成処理部は、前記再構成処理において前記透過像と前記再構成画像の間で投影又は逆投影の操作を行うときに、前記対応座標データを参照して前記透過像上の画素に対応する前記再構成画像上の画素を選択することが好ましい。この構成によれば、再構成処理のなかで透過像上の各画素と再構成画像上の画素との対応関係を都度計算する必要がなくなるので、再構成処理のさらなる高速化を図ることができる。 A storage unit that stores corresponding coordinate data in which a correspondence relationship between the coordinates of the pixels on the transmission image and the coordinates of the pixels on the reconstructed image is defined; and the reconstruction processing unit includes the reconstruction unit When a projection or backprojection operation is performed between the transmission image and the reconstructed image in processing, a pixel on the reconstructed image corresponding to a pixel on the transmission image is selected with reference to the corresponding coordinate data It is preferable to do. According to this configuration, it is not necessary to calculate the correspondence between each pixel on the transmission image and each pixel on the reconstructed image during the reconstructing process, so that the reconstructing process can be further speeded up. .
前記再構成処理は、フィルタ補正逆投影法を用いた処理であるとよい。フィルタ補正逆投影法を用いた再構成処理は、比較的高品質な再構成結果を高速に演算できるという利点がある。なお、本発明は、投影や逆投影が必要なアルゴリズムであれば、フィルタ補正逆投影法以外の再構成アルゴリズムに対しても好ましく適用できる。 The reconstruction process may be a process using a filtered back projection method. The reconstruction processing using the filtered back projection method has an advantage that a relatively high quality reconstruction result can be calculated at high speed. Note that the present invention can be preferably applied to a reconstruction algorithm other than the filtered backprojection method as long as the algorithm requires projection or backprojection.
なお、本発明は、上記構成ないし機能の少なくとも一部を有する画像処理装置として捉えることができる。また、本発明は、画像処理装置を備えるCT装置、再構成された3次元像を利用した検査装置や診断装置として捉えることもできる。また、本発明は、上記処理の少なくとも一部を含む、画像処理方法、CT装置の制御方法、検査方法、診断方法や、これらの方法をコンピュータに実行させるためのプログラム、又は、そのようなプログラムを非一時的に記録したコンピュータ読取可能な記録媒体として捉えることもできる。上記構成及び処理の各々は技術的な矛盾が生じない限り互いに組み合わせて本発明を構成することができる。 The present invention can be understood as an image processing apparatus having at least a part of the above configuration or function. The present invention can also be understood as a CT apparatus including an image processing apparatus, an inspection apparatus using a reconstructed three-dimensional image, and a diagnostic apparatus. The present invention also includes an image processing method, a CT apparatus control method, an inspection method, a diagnostic method, a program for causing a computer to execute these methods, or such a program, including at least a part of the above processing. Can also be regarded as a computer-readable recording medium on which non-temporary recording is performed. Each of the above configurations and processes can be combined with each other to constitute the present invention as long as there is no technical contradiction.
本発明によれば、複数の透過像から高品質な再構成画像を高速に生成することができる。 According to the present invention, a high-quality reconstructed image can be generated at high speed from a plurality of transmission images.
以下に図面を参照しつつ、本発明の好適な実施の形態を説明する。ただし、以下に記載されている各構成の説明は、発明が適用されるシステムの構成や各種条件により適宜変更されるべきものであり、この発明の範囲を以下の記載に限定する趣旨のものではない。 Hereinafter, preferred embodiments of the present invention will be described with reference to the drawings. However, the description of each configuration described below should be changed as appropriate according to the configuration of the system to which the invention is applied and various conditions, and is intended to limit the scope of the present invention to the following description. Absent.
(システム構成)
図1は、本発明の実施形態に係るCTシステム1のハードウェア構成を模式的に示している。CTシステム1は、CT(Computed Tomography)技術を利用して対象物102の
内部の3次元像や断層像のデータを取得するシステムである。CTシステム1は、例えば、人や動物の体内を可視化し診断や検査に利用する医療検査装置、工業製品の内部構造を非破壊検査する産業用検査装置などに応用することができる。
(System configuration)
FIG. 1 schematically shows a hardware configuration of a
CTシステム1は、概略、撮像装置10、制御装置11、及び、画像処理装置12を有
して構成される。撮像装置10は、対象物102の透過像を撮像する装置である。制御装置11は、撮像装置10の各部の動作を制御する装置である。画像処理装置12は、撮像装置10によって取得された透過像のデータ(投影データとも呼ぶ)に対し、画像処理や演算処理を施す装置である。撮像装置10と制御装置11と画像処理装置12は一体の装置で構成されていてもよいし、それぞれ別体の装置で構成されていてもよい。
The
撮像装置10は、対向配置された光源100と検出器101を有している。光源100から対象物102に対し電磁波103を投射し、対象物102を透過した電磁波103を検出器101で撮像することで、対象物102の透過像が得られる。本実施形態では、光源100としてコーンビームX線源を、検出器101としてシンチレータと2次元CMOSセンサで構成される2次元X線検出器を用い、1回の撮像で対象物102の2次元X線透過像を得る構成を採用する。ただし、光源100としては、ファンビームタイプやパラレルビームタイプの光源を用いてもよい。また、X線に限らず、対象物102に対し一定の透過性を有する電磁波(例えば、ガンマ線、可視光など)を撮像に用いてもよい。
The
また、撮像装置10は、光源100と対象物102と検出器101の間の位置関係(すなわち、対象物102に対する電磁波の投影方向)を変えるための移動機構(不図示)を有している。移動機構の構成としては、例えば、図2Aのように、固定した対象物102の周囲を光源100と検出器101が回転するタイプ、図2Bのように、光源100と検出器101が固定され対象物102がその場で回転するタイプ、図2Cのように、対象物102を通る軸に垂直な面内で光源100と検出器101がそれぞれ旋回するタイプ、図2Dのように、対象物102が固定され、光源100と検出部101が平行に且つ互いに反対方向に移動するタイプなど、様々な方式がある。
Further, the
制御装置11は、光源100の投射・停止、検出器101による撮像、投影方向の変更(移動機構の駆動)など、CTシステム1の統括的な制御を行う装置である。
The
画像処理装置12は、撮像装置10によって取得された透過像のデータに対し画像処理や演算処理を行う装置である。例えば、投影方向の異なる複数の透過像のデータから対象物102の再構成画像(3次元像、ボリュームデータとも呼ぶ)を生成する再構成処理、再構成画像から任意の断層像を生成する処理、再構成画像や断層像のデータを用いて特徴量の抽出や検査・診断を行う処理など、画像処理装置12にはその目的や用途に応じて様々な処理を実装することができる。
The
画像処理装置12は、プロセッサ(CPU)、メモリ、記憶装置(ハードディスクドライブなど)、入力装置(マウス、キーボード、タッチパネルなど)、出力装置(表示装置など)などを備えたコンピュータにより構成することができる。後述する画像処理装置12の機能は、記憶装置に格納されたプログラムをプロセッサが実行することにより実現される。ただし、画像処理装置12の機能の一部又は全部を、ASICやFPGAなどで構成しても構わない。あるいは、画像処理装置12の機能の一部又は全部を、他のコンピュータや、ネットワーク上のサーバなどで実行しても構わない。
The
図3は、画像処理装置12の再構成処理に関わる機能を示すブロック図である。画像処理装置12は、透過像取得部30、再構成処理部31、パラメータ記憶部32を有している。透過像取得部30は、投影方向の異なる複数の透過像のデータ(つまり、再構成に使う元データ)を取得する機能である。透過像取得部30は、撮像装置10から透過像のデータを直接取得してもよいし、過去に撮像された透過像のデータを記憶装置や外部のデータストレージから読み込んでもよい。再構成処理部31は、複数の透過像から対象物102内部の再構成画像を生成する再構成処理を行う機能である。再構成処理のアルゴリズムとしては、単純逆投影法、フィルタ補正逆投影(Filtered Back Projection)法、逐次近
似法(SIRT(Simultaneous Reconstruction Technique)法、ART(Algebraic Reconstruction Technique)法)、探索法(勾配法(Gradient Method)、共役勾配法、最急降下法))などがあり、いずれのアルゴリズムを用いてもよい。本実施形態では、比較的高品質な再構成結果を高速に演算できるという利点をもつフィルタ補正逆投影法を用いる。パラメータ記憶部32は、再構成処理で用いる各種のパラメータ(設定値、定義データ、テーブルなど)を記憶する機能である。
FIG. 3 is a block diagram illustrating functions related to the reconstruction process of the
(撮像及び再構成の原理)
本実施形態の再構成処理を説明する前に、図4A及び図4Bを参照して、一般的なCT装置における撮像及び再構成の基本的な原理を説明する。説明の簡単のため、図4Aでは、パラレルビームと3画素L0〜L1の検出器101を用いて1次元透過像の撮影を2回行う例を示す。実際の装置では、コーンビームを用いて2次元の透過像を撮影し、その枚数(投影回数)は数十から数百、透過像の画素数は数万から数百万画素となるが、基本的な原理は図4Aのものと同様である。
(Principle of imaging and reconstruction)
Before describing the reconstruction processing of the present embodiment, the basic principle of imaging and reconstruction in a general CT apparatus will be described with reference to FIGS. 4A and 4B. For ease of explanation, FIG. 4A shows an example in which a one-dimensional transmission image is captured twice using a parallel beam and
図4Aにおいて、対象物102の内部に示した数値はX線減衰係数分布を表しており、破線矢印はX線103の透過経路(投影線)を示している。まず時刻t0に、光源100及び検出器101を対象物102の上下に配置し、光源100からX線103を投射し、検出器101により第一の透過像40を撮影する。X線103は、対象物102を透過するときにエネルギの一部が吸収され、減衰する。通常、対象物102の内部のX線減衰係数分布は一様ではないため、透過経路によってX線103の減衰率に差が生じる(X線103の減衰率の自然対数の負符号を取ったものが、透過経路上のX線減衰係数の積分値に相当する。)。ただし、透過像40の値は、観測値に対して、物体が存在しないときの観測値で割り、その値の自然対数を取り負符号を取ったものである。
In FIG. 4A, the numerical value shown inside the
時刻t1では、光源100及び検出器101を移動し、投影方向を時計回りに90度変更した後、光源100からX線103を投射し、第二の透過像41を撮影する。第一の透過像40と第二の透過像41ではX線103の透過経路が異なるため、異なる値が観測されることがわかる。
At time t1, the
このようにして、投影方向の異なる複数の透過像40,41を得た後、それらの透過像40,41を用いて再構成処理を行う。図4Bに示すように、再構成処理は、複数の透過像40,41を基に対象物102内部のX線減衰係数分布42を推定する処理に相当する。
In this manner, after obtaining a plurality of
図5に、単純逆投影法による再構成処理を模式的に示す。まず、対象物102の一断面に相当する再構成画像50のデータ領域をメモリ上に確保し、ゼロで初期化する。そして、透過像40を再構成画像50に逆投影する。逆投影とは、透過像40上の点を再構成画像50上の点に投影する操作であり、ここでは、透過像40上の画素の値を再構成画像50上の対応画素に書き込む(加算する)処理となる。対応画素は、X線の透過経路上に存在する画素であり、図5の例では、透過像40の各画素に3つずつ対応画素が存在している。3つの対応画素には同じ値が書き込み(加算)される。その後、透過像41も同じように再構成画像50に逆投影する。この処理を全ての透過像に対し行い、全透過像の逆投影を累積加算することにより、再構成画像50を得ることができる。なお、図5では、逆投影を累積加算した後に投影回数(ここでは2回)で除算している。以上が単純逆投影法による再構成処理の概要である。本実施形態で用いるフィルタ補正逆投影法は、透過像にハイパスフィルタをかけた後に逆投影する点が特徴であり、それ以外の操作は単純逆投影法と基本的に同じである。
FIG. 5 schematically shows reconstruction processing by the simple back projection method. First, a data area of the reconstructed
(連続撮像方式とその課題)
本実施形態の撮像装置10は、対象物102と検出器101を相対的に移動させながら各投影方向の透過像を連続的に撮影する方式(連続撮像方式)を用いる。対象物102と検出器101の相対移動を止めて撮像を行ういわゆるStop&Go方式に比べ、連続撮像方式の方がスループットを向上できるからである。
(Continuous imaging system and its problems)
The
ただし、連続撮像方式を用いる場合には、検出器101で発生するローリングシャッター歪みの影響を考慮する必要がある。図6は、ローリングシャッター方式のCMOSセンサにおける露光・データ取り込みのタイミングを説明する図である。横軸は時間であり、縦軸はCMOSセンサのスキャンラインである。スキャンラインごとに露光・データ取り込みのタイミングが異なることがわかる。図6の例では、スキャンラインL1のデータ取り込みはスキャンラインL0に比べて時間dtだけ遅延し、スキャンラインL2のデータ取り込みはスキャンラインL0に比べて時間2×dtだけ遅延している。この遅延により、動く物体を撮影したときに、ローリングシャッター歪みと呼ばれる画像の歪みが発生する。この歪みは、対象物102と検出器101の相対速度が速くなるほど無視できなくなり、再構成処理の精度及び再構成画像の品質を著しく低下させる。
However, when the continuous imaging method is used, it is necessary to consider the influence of rolling shutter distortion generated by the
図7A〜図7C及び図8Aを用いて、ローリングシャッター方式の検出器101を用いて連続撮像を行った場合の問題を詳しく説明する。Stop&Go方式の場合(図4A参照)、光源100と対象物102と検出器101の位置関係が変わらない状態で、全スキャンラインL0〜L2のデータ取り込みが行われる。これに対し、連続撮像方式の場合は、図7A〜図7Cに示すように、スキャンラインごとに、光源100と対象物102と検出器101の位置関係(投影方向)が異なる。したがって、第1の画素700、第2の画素701、第3の画素702は、同じ透過像70の中に含まれているにもかかわらず、光源100と対象物102と検出器101の位置関係(投影方向)が異なる状態で撮像されたデータとなる。それゆえ、この透過像70を用いて再構成処理を行う際に、図8Aのごとく全画素700〜702の逆投影方向を一律にしてしまうと、誤差が生じる。
7A to 7C and FIG. 8A will be used to describe in detail the problem when continuous imaging is performed using the rolling
(再構成処理)
上記の課題に鑑み、本実施形態では、画素ごとの実際の撮像タイミング(データ取り込みタイミング)とそのときの投影方向を考慮して逆投影時の対応画素を決定することで、ローリングシャッター歪みの影響を回避する。図8Bに、本実施形態の再構成処理における逆投影を模式的に示す。図8Bに示すように、透過像70中の第1の画素700を逆投影する場合には、第1の画素700が撮像されたタイミングt00における投影方向に基づき、再構成画像80上の対応画素(グレーの画素)を選択する。第2の画素701を逆投影する場合には、第2の画素701が撮像されたタイミングt01における投影方向に基づき、再構成画像80上の対応画素(グレーの画素)を選択する。第3の画素702を逆投影する場合には、第3の画素702が撮像されたタイミングt02における投影方向に基づき、再構成画像80上の対応画素(グレーの画素)を選択する。このような方法を採ることにより、再構成処理の精度を向上することができる。
(Reconfiguration process)
In view of the above problems, in this embodiment, the influence of rolling shutter distortion is determined by determining the corresponding pixel at the time of back projection in consideration of the actual imaging timing (data acquisition timing) for each pixel and the projection direction at that time. To avoid. FIG. 8B schematically shows back projection in the reconstruction processing of the present embodiment. As shown in FIG. 8B, when the
透過像上の画素と再構成画像上の画素の対応関係は、光源100と対象物102と検出器101の配置、検出器101の仕様(画素数、画素サイズ、スキャンラインごとの撮像タイミング(フレームレート))、検出器101の移動速度など、撮像装置10の物理的仕様と連続撮像時の制御条件が分かれば、幾何学的な計算により求めることができる。したがって、本実施形態では、連続撮像時に取得する全ての透過像について、透過像上の画素と再構成画像上の画素の対応関係を予め計算し、その対応関係を定義した対応座標データをパラメータ記憶部32に格納しておく。図9に対応座標データの一例を示す。再構成処理において投影又は逆投影の操作を行う際に対応座標データを参照することで、対応画素を逐一計算するよりも、処理の高速化を図ることができる。
The correspondence between the pixels on the transmission image and the pixels on the reconstructed image is determined by the arrangement of the
図10に本実施形態の画像処理装置の処理フローを示す。ステップS100において、透過像取得部30が、投影方向の異なる複数の透過像のデータを取得する。ステップS101では、再構成処理部31が、パラメータ記憶部32から対応座標データを読み込む。ステップS102では、再構成処理部31が、各透過像にハイパスフィルタをかけた後、逆投影を行うことで再構成画像を生成する。逆投影の際は、図8Bに示したように、各画素が実際に撮像されたタイミングにおける投影方向に基づき、透過像上の点と再構成画像上の点の対応をとる。ステップS103では、再構成処理部31が、再構成画像に基づき対象物102の3次元像や断層像を表示装置に表示する。
FIG. 10 shows a processing flow of the image processing apparatus of this embodiment. In step S100, the transmission
以上述べた本実施形態の再構成処理によれば、透過像上のいずれの画素についても逆投影の処理を精度良く行うことができ、高品質な再構成結果を得ることができる。また、透過像の歪みや画素値を補正するような画像処理は不要であり、単に逆投影における対応点の選択を修正するだけでよいので、処理が高速である。また、画像処理の不備(補正ミス)に起因するアーチファクトのような問題は生じない。 According to the reconstruction process of the present embodiment described above, the backprojection process can be accurately performed for any pixel on the transmission image, and a high-quality reconstruction result can be obtained. Further, image processing for correcting distortion of the transmitted image and pixel values is unnecessary, and the selection of corresponding points in back projection need only be corrected, so that the processing is fast. In addition, problems such as artifacts due to incomplete image processing (correction errors) do not occur.
本実施形態の再構成処理を用いれば、ローリングシャッター方式の検出器101を用いて連続撮像方式による透過像の撮影を行った場合でも、高品質な再構成結果を得ることができる。言い換えると、Stop&Go方式(静止撮像)と同等の品質を維持しながら、CTシステムの高速化を図ることができる。
By using the reconstruction processing of this embodiment, a high-quality reconstruction result can be obtained even when a transmission image is captured by the continuous imaging method using the rolling
また本実施形態では、対応座標データを用いることで、再構成処理のなかで透過像上の各画素と再構成画像上の画素との対応関係を都度計算する必要がなくなるので、再構成処理のさらなる高速化を図ることができる。 Further, in this embodiment, by using the corresponding coordinate data, it is not necessary to calculate the correspondence between each pixel on the transmission image and the pixel on the reconstructed image in the reconstruction process. Further speedup can be achieved.
(実施例)
図11A〜図11Gに、コンピュータ・シミュレーションによる効果検証結果を示す。図11Aは、対象物体のモデルである。ここでは、内部に空洞111を有する球体のモデル110を用いた。このモデル110に対し32方向のX線透過像をシミュレーションにより生成し、それら32枚の透過像をCT再構成し、再構成画像(3次元像)を球体の中心でスライスした結果が、図11B、図11C、図11Dである。図11Bは、Stop&Go方式(静止撮像方式)による透過像、つまりローリングシャッター歪みの無い透過像を用いた再構成結果である。図11C及び図11Dは、連続撮像方式による透過像、つまりローリングシャッター歪みを含む透過像を用いた再構成結果であり、図11Cは従来の再構成処理(図8A)を適用した例、図11Dは本実施形態の再構成処理(図8B)を適用した例である。また、図11E〜図11Gはそれぞれ図11B〜図11Dの破線位置のプロファイルであり、横軸は画像のx座標、縦軸は正規化した線源弱係数を示す。
(Example)
FIG. 11A to FIG. 11G show the result of effect verification by computer simulation. FIG. 11A is a model of the target object. Here, a
PSNR(ピーク信号対雑音比)は再構成結果の精度を定量評価するための指標であり、下記のように定義した。PSNR値が大きいほど精度が良い(静止撮像の品質に近い)ことを表す。
PSNR=20×log10(MAXI/√MSE) [dB]
MAXI=静止撮像の再構成結果の最大値
MSE=(Σ(静止撮像の再構成結果−連続撮像の再構成結果)2)/画素数
PSNR (peak signal-to-noise ratio) is an index for quantitatively evaluating the accuracy of the reconstruction result, and is defined as follows. The larger the PSNR value, the better the accuracy (close to the quality of still imaging).
PSNR = 20 × log 10 (MAXI / √MSE) [dB]
MAXI = maximum value of reconstruction result of still imaging MSE = (Σ (reconstruction result of still imaging−reconstruction result of continuous imaging) 2 ) / number of pixels
従来の再構成処理の場合、図11C及び図11Fに示すように、ローリングシャッター歪みの影響により再構成結果の品質が著しく低下する。これに対し、本実施形態の再構成処理を適用することで、図11D及び図11Gに示すように静止撮像の場合と同等品質の再構成結果が得られることが確認できた。また、PSNR値を比較すると、従来の再構成
処理を適用した場合は11.0966[dB]であるのに対し、本実施形態の再構成処理を適用した場合は41.6434[dB]と大幅に改善することが確認できた。
In the case of the conventional reconstruction process, as shown in FIGS. 11C and 11F, the quality of the reconstruction result is significantly degraded due to the influence of rolling shutter distortion. On the other hand, it has been confirmed that by applying the reconstruction processing of the present embodiment, a reconstruction result having the same quality as that in the case of still imaging can be obtained as shown in FIGS. 11D and 11G. Further, when the PSNR values are compared, it is 11.0966 [dB] when the conventional reconstruction process is applied, whereas it is greatly increased to 41.6434 [dB] when the reconstruction process of the present embodiment is applied. It was confirmed that it improved.
(その他の実施形態)
上記の実施形態の説明は、本発明を例示的に説明するものに過ぎない。本発明は上記の具体的な形態には限定されることはなく、その技術的思想の範囲内で種々の変形が可能である。
(Other embodiments)
The above description of the embodiments is merely illustrative of the present invention. The present invention is not limited to the specific form described above, and various modifications are possible within the scope of the technical idea.
例えば、上記実施形態ではフィルタ補正逆投影法を用いたが、単純逆投影法、逐次近似法(SIRT法、ART法)、探索法(勾配法、共役勾配法、最急降下法))など、他の再構成アルゴリズムを用いてもよい。いずれのアルゴリズムでも、透過像から再構成画像への逆投影と再構成画像から透過像への投影の少なくともいずれかの操作が行われる。その逆投影又は投影の操作を行う際に、上記実施形態と同様、各画素を実際に撮像したタイミングにおける投影方向に基づき透過像と再構成画像の間の対応点を選択することで、ローリングシャッター歪みの影響の無い、高品質な再構成結果を得ることができる。 For example, although the filtered back projection method is used in the above embodiment, a simple back projection method, a successive approximation method (SIRT method, ART method), a search method (gradient method, conjugate gradient method, steepest descent method)), etc. The reconstruction algorithm may be used. In any algorithm, at least one of back projection from the transmission image to the reconstructed image and projection from the reconstructed image to the transmission image is performed. When performing the back projection or projection operation, the rolling shutter is selected by selecting corresponding points between the transmission image and the reconstructed image based on the projection direction at the timing when each pixel is actually imaged, as in the above embodiment. It is possible to obtain a high-quality reconstruction result that is not affected by distortion.
1:CTシステム、10:撮像装置、11:制御装置、12:画像処理装置
30:透過像取得部、31:再構成処理部、32:パラメータ記憶部
40,41,70:透過像、50,80:再構成画像
100:光源、101:検出器、102:対象物、103:電磁波
110:モデル、111:空洞
700:第1の画素、701:第2の画素、702:第3の画素
1: CT system, 10: imaging device, 11: control device, 12: image processing device 30: transmission image acquisition unit, 31: reconstruction processing unit, 32:
Claims (6)
前記複数の透過像から前記対象物内部の再構成画像を生成する再構成処理を行う再構成処理部と、を有し、
前記透過像が、前記光源と前記対象物と前記検出器の間の位置関係を連続的に変化させながら異なるタイミングで撮像された第1の画素と第2の画素を含んでおり、
前記再構成処理部は、
前記再構成処理において前記透過像と前記再構成画像の間で投影又は逆投影の操作を行うときに、
前記第1の画素に対応する前記再構成画像上の画素を、前記第1の画素が撮像されたタイミングにおける前記光源と前記対象物と前記検出器の間の位置関係に基づき選択し、
前記第2の画素に対応する前記再構成画像上の画素を、前記第2の画素が撮像されたタイミングにおける前記光源と前記対象物と前記検出器の間の位置関係に基づき選択する
ことを特徴とする画像処理装置。 Transmission image acquisition for acquiring data of a plurality of transmission images obtained by imaging the electromagnetic wave transmitted through the object a plurality of times with the detector while changing the positional relationship between the light source, the object and the detector. And
A reconstruction processing unit that performs a reconstruction process for generating a reconstructed image inside the object from the plurality of transmission images,
The transmission image includes a first pixel and a second pixel captured at different timings while continuously changing a positional relationship between the light source, the object, and the detector;
The reconstruction processing unit
When performing a projection or backprojection operation between the transmission image and the reconstructed image in the reconstruction process,
A pixel on the reconstructed image corresponding to the first pixel is selected based on a positional relationship between the light source, the object, and the detector at a timing when the first pixel is imaged;
A pixel on the reconstructed image corresponding to the second pixel is selected based on a positional relationship between the light source, the object, and the detector at a timing when the second pixel is imaged. An image processing apparatus.
前記再構成処理部は、前記再構成処理において前記透過像と前記再構成画像の間で投影又は逆投影の操作を行うときに、前記対応座標データを参照して前記透過像上の画素に対応する前記再構成画像上の画素を選択する
ことを特徴とする請求項1に記載の画像処理装置。 A storage unit that stores correspondence coordinate data in which a correspondence relationship between the coordinates of the pixels on the transmission image and the coordinates of the pixels on the reconstructed image is defined;
The reconstruction processing unit corresponds to a pixel on the transmission image with reference to the corresponding coordinate data when performing a projection or back projection operation between the transmission image and the reconstruction image in the reconstruction processing. The image processing apparatus according to claim 1, wherein a pixel on the reconstructed image to be selected is selected.
前記第1の画素と前記第2の画素は、前記検出器の異なるラインで撮像された画素である
ことを特徴とする請求項1又は2に記載の画像処理装置。 The detector is a rolling shutter type detector with different imaging timing for each line,
The image processing apparatus according to claim 1, wherein the first pixel and the second pixel are pixels captured by different lines of the detector.
ことを特徴とする請求項1〜3のうちいずれか1項に記載の画像処理装置。 The image processing apparatus according to claim 1, wherein the reconstruction process is a process using a filtered back projection method.
光源と対象物と検出器の間の位置関係を変えながら、前記対象物を透過した電磁波を前記検出器により複数回撮像することにより得られた、複数の透過像のデータを取得するステップと、
前記複数の透過像から前記対象物内部の再構成画像を生成する再構成処理を行うステップと、を有し、
前記透過像が、前記光源と前記対象物と前記検出器の間の位置関係を連続的に変化させながら、異なるタイミングで撮像された第1の画素と第2の画素を含んでおり、
前記再構成処理において前記透過像と前記再構成画像の間で投影又は逆投影の操作を行うときに、
前記第1の画素に対応する前記再構成画像上の画素は、前記第1の画素が撮像されたタイミングにおける前記光源と前記対象物と前記検出器の間の位置関係に基づき選択され、
前記第2の画素に対応する前記再構成画像上の画素は、前記第2の画素が撮像されたタイミングにおける前記光源と前記対象物と前記検出器の間の位置関係に基づき選択されることを特徴とする画像処理方法。 An image processing method executed by a computer,
Acquiring data of a plurality of transmission images obtained by imaging the electromagnetic wave transmitted through the object a plurality of times with the detector while changing the positional relationship between the light source, the object and the detector;
Performing a reconstruction process for generating a reconstructed image inside the object from the plurality of transmission images, and
The transmission image includes a first pixel and a second pixel captured at different timings while continuously changing a positional relationship between the light source, the object, and the detector.
When performing a projection or backprojection operation between the transmission image and the reconstructed image in the reconstruction process,
A pixel on the reconstructed image corresponding to the first pixel is selected based on a positional relationship between the light source, the object, and the detector at a timing when the first pixel is imaged.
A pixel on the reconstructed image corresponding to the second pixel is selected based on a positional relationship between the light source, the object, and the detector at a timing when the second pixel is imaged. A featured image processing method.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017003112A JP2018110715A (en) | 2017-01-12 | 2017-01-12 | Image processing device and image processing method |
PCT/JP2017/038332 WO2018131253A1 (en) | 2017-01-12 | 2017-10-24 | Image processing device, image processing method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017003112A JP2018110715A (en) | 2017-01-12 | 2017-01-12 | Image processing device and image processing method |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2018110715A true JP2018110715A (en) | 2018-07-19 |
Family
ID=62839931
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017003112A Pending JP2018110715A (en) | 2017-01-12 | 2017-01-12 | Image processing device and image processing method |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2018110715A (en) |
WO (1) | WO2018131253A1 (en) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0824251A (en) * | 1994-07-14 | 1996-01-30 | Hitachi Medical Corp | Apparatus and method for photographing x-ray tomoraphic image |
JP2000102532A (en) * | 1998-09-29 | 2000-04-11 | Toshiba Corp | X-ray ct scanner |
JP2007143605A (en) * | 2005-11-24 | 2007-06-14 | Ge Medical Systems Global Technology Co Llc | X-ray ct apparatus |
JP2011147763A (en) * | 2010-01-20 | 2011-08-04 | Toshiba Corp | Method for reconstructing image and x-ray computer tomography apparatus |
JP2012187137A (en) * | 2011-03-08 | 2012-10-04 | Toshiba Corp | X-ray ct apparatus |
-
2017
- 2017-01-12 JP JP2017003112A patent/JP2018110715A/en active Pending
- 2017-10-24 WO PCT/JP2017/038332 patent/WO2018131253A1/en active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0824251A (en) * | 1994-07-14 | 1996-01-30 | Hitachi Medical Corp | Apparatus and method for photographing x-ray tomoraphic image |
JP2000102532A (en) * | 1998-09-29 | 2000-04-11 | Toshiba Corp | X-ray ct scanner |
JP2007143605A (en) * | 2005-11-24 | 2007-06-14 | Ge Medical Systems Global Technology Co Llc | X-ray ct apparatus |
JP2011147763A (en) * | 2010-01-20 | 2011-08-04 | Toshiba Corp | Method for reconstructing image and x-ray computer tomography apparatus |
JP2012187137A (en) * | 2011-03-08 | 2012-10-04 | Toshiba Corp | X-ray ct apparatus |
Also Published As
Publication number | Publication date |
---|---|
WO2018131253A1 (en) | 2018-07-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7202302B2 (en) | Deep learning-based estimation of data for use in tomographic reconstruction | |
JP2020516345A (en) | Tomography reconstruction based on deep learning | |
RU2541860C2 (en) | Device and method of processing projection data | |
JP2020537555A (en) | Image reconstruction using machine learning regularizer | |
JP5348855B2 (en) | Object image reconstruction method and apparatus for performing the method | |
JP5918374B2 (en) | X-ray CT apparatus and X-ray CT image processing method | |
KR102234138B1 (en) | Image processing apparatus, image processing method and program | |
US20130051516A1 (en) | Noise suppression for low x-ray dose cone-beam image reconstruction | |
KR20190103816A (en) | Method and apparatus for correcting the computed tomographic image | |
CN103027705B (en) | Produce the method and system of the CT image data set of motion compensation | |
JP2005152658A (en) | Non-uniform view-weighting tomosynthesis method and apparatus | |
JP3987024B2 (en) | Method and system for enhancing tomosynthesis images using lateral filtering | |
JP2016152916A (en) | X-ray computer tomographic apparatus and medical image processing apparatus | |
CN109920020A (en) | A kind of Cone-Beam CT morbid state backprojection reconstruction artifact suppressing method | |
AU2017203626A1 (en) | A method and apparatus for motion correction in CT imaging | |
JPWO2013094186A1 (en) | Motion following X-ray CT image processing method and motion following X-ray CT image processing apparatus | |
JP2020005706A (en) | Image display device, method, and program | |
JP6185023B2 (en) | Tomographic image generating apparatus, method and program | |
US8098920B2 (en) | Method of extrapolating a grey-level bidimensional image in a radiography device and a radiography device implementing such a method | |
JP2007198866A (en) | General saddle cone beam ct system, and three-dimensional reconstitution method | |
US20230363724A1 (en) | X-ray ct apparatus and high-quality image generation device | |
JP2015089452A (en) | Image processor, image processing method and program | |
JP2023124839A (en) | Medical image processing method, medical image processing apparatus, and program | |
WO2005076038A1 (en) | Method and apparatus for providing high-resolution reconstruction of an observed object | |
Manhart et al. | Fast dynamic reconstruction algorithm with joint bilateral filtering for perfusion C-arm CT |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20180807 |