JP5510619B1 - 画像処理装置 - Google Patents
画像処理装置 Download PDFInfo
- Publication number
- JP5510619B1 JP5510619B1 JP2013543454A JP2013543454A JP5510619B1 JP 5510619 B1 JP5510619 B1 JP 5510619B1 JP 2013543454 A JP2013543454 A JP 2013543454A JP 2013543454 A JP2013543454 A JP 2013543454A JP 5510619 B1 JP5510619 B1 JP 5510619B1
- Authority
- JP
- Japan
- Prior art keywords
- region
- template
- image
- extraction
- processing apparatus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims abstract description 162
- 238000000605 extraction Methods 0.000 claims abstract description 277
- 210000004072 lung Anatomy 0.000 claims abstract description 218
- 230000008859 change Effects 0.000 claims description 94
- 238000000034 method Methods 0.000 claims description 84
- 238000003384 imaging method Methods 0.000 claims description 53
- 210000002376 aorta thoracic Anatomy 0.000 claims description 45
- 230000008569 process Effects 0.000 claims description 33
- 230000000241 respiratory effect Effects 0.000 claims description 13
- 241001465754 Metazoa Species 0.000 claims description 8
- 230000000737 periodic effect Effects 0.000 claims description 7
- 230000002685 pulmonary effect Effects 0.000 claims description 6
- 230000002123 temporal effect Effects 0.000 claims 1
- 239000000284 extract Substances 0.000 abstract description 9
- 238000010586 diagram Methods 0.000 description 71
- 238000001514 detection method Methods 0.000 description 37
- 230000005855 radiation Effects 0.000 description 29
- 238000003702 image correction Methods 0.000 description 18
- 238000003860 storage Methods 0.000 description 16
- 238000004891 communication Methods 0.000 description 13
- 238000012805 post-processing Methods 0.000 description 13
- 210000000038 chest Anatomy 0.000 description 9
- 230000001186 cumulative effect Effects 0.000 description 9
- 230000033001 locomotion Effects 0.000 description 9
- 230000017531 blood circulation Effects 0.000 description 7
- 230000009467 reduction Effects 0.000 description 7
- 230000029058 respiratory gaseous exchange Effects 0.000 description 7
- 102100024845 Taste receptor type 2 member 1 Human genes 0.000 description 6
- 101710129400 Taste receptor type 2 member 1 Proteins 0.000 description 6
- 102100024854 Taste receptor type 2 member 4 Human genes 0.000 description 6
- 108050000632 Taste receptor type 2 member 4 Proteins 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 6
- 238000003745 diagnosis Methods 0.000 description 6
- 238000011946 reduction process Methods 0.000 description 5
- 238000009826 distribution Methods 0.000 description 4
- 239000004065 semiconductor Substances 0.000 description 4
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 3
- 210000003109 clavicle Anatomy 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 238000005520 cutting process Methods 0.000 description 3
- 238000009499 grossing Methods 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 241000270295 Serpentes Species 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000000747 cardiac effect Effects 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000009423 ventilation Methods 0.000 description 2
- 101100136628 Arabidopsis thaliana PIF4 gene Proteins 0.000 description 1
- 208000012661 Dyskinesia Diseases 0.000 description 1
- 208000015592 Involuntary movements Diseases 0.000 description 1
- 101150032106 SRL2 gene Proteins 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 210000000709 aorta Anatomy 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000004195 computer-aided diagnosis Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005206 flow analysis Methods 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 230000017311 musculoskeletal movement, spinal reflex action Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000008855 peristalsis Effects 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000002601 radiography Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
- 210000000115 thoracic cavity Anatomy 0.000 description 1
- 210000001835 viscera Anatomy 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000021542 voluntary musculoskeletal movement Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/174—Segmentation; Edge detection involving the use of two or more images
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20004—Adaptive image processing
- G06T2207/20008—Globally adaptive
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30061—Lung
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Public Health (AREA)
- Pathology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Veterinary Medicine (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- High Energy & Nuclear Physics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Biophysics (AREA)
- Optics & Photonics (AREA)
- Physiology (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
画像処理装置3では、動画像に基づく時間的に連続した第1〜第nのフレーム画像(nは2以上の整数)を順次受け、テンプレートを用いて、肺野領域を粗く抽出して粗抽出処理を行うことで、第1〜第nのフレーム画像における第1〜第nの粗抽出領域を順次決定する粗抽出決定部130と、第1〜第nの粗抽出領域から肺野領域の精密抽出処理を行うことで、第1〜第nのフレーム画像における第1〜第nの精密抽出領域を順次決定する精密抽出決定部140とを備え、第iのフレーム画像(2≦i≦nの何れかの整数)の粗抽出処理で用いられるテンプレートが第(i−1)のフレーム画像の粗抽出処理結果又は精密抽出処理結果に基づいて動的に変更される。これにより、動画像から対象領域を抽出する際、効率的に抽出精度の向上を実現する。
Description
本発明は、人体または動物の所定部位が撮影された動態画像において、対象領域を抽出する画像処理装置に関する。
医療現場では、X線等を用いて内臓や骨格等に含まれる患部を撮影することにより、各種検査や診断が行われている。そして、近年では、デジタル技術の適用により、X線等を用いて患部の動きを捉えた動態画像を比較的容易に取得することが可能となっている。
そこでは、FPD(flat panel detector)等の半導体イメージセンサを利用し、対象部位を含む被写体領域に対し動態画像を撮影できるため、従来のX線撮影による静止画撮影及び診断では実施できなかった対象部位などの動き解析による診断を実施することが可能になってきた。
動態画像を用いた医療診断において、対象部位の動き解析や診断を実施するためには、対象部位の領域を精度良く抽出することが望まれる。
ところで、静止画像において対象領域を抽出する手法としては、下記のような手法が挙げられる。例えば、特許文献1及び特許文献2が開示する技術では、2値化処理やラベリング処理のような手法が提案されている。
また、特許文献3が開示する放射線画像撮影装置では、入力画像をアフィン変換してモデル画像とテンプレートマッチを行い、テンプレートとの対応点をアフィン変換した画像にマークした後に、画像を逆アフィン変換することで、単純にテンプレートを使用した場合より安定して胸郭部の検出が可能となる。
さらに、特許文献4が開示する肺領域のための2次元の統計的形状モデルを自動構成するための方法では、撮影画像から肺領域の形状標本を抽出し、形状アライメントアルゴリズムを用いることによって、全ての形状標本を所定のテンプレート形状に可能な限り近づけて位置合わせし、位置合わせされた形状標本を用いて主成分分析によって肺領域の統計的モデル形状を生成する。
しかしながら、動態画像に上記特許文献1−4の従来技術を適用し、対象領域(肺野領域)を抽出する場合においては、下記のような問題がある。すなわち、動態画像は低線量であるがためにノイズが多く画像が不鮮明画像であるため、上記特許文献1及び2の技術では、精度良く対象領域の抽出を行うことは困難である。
また、上記特許文献3及び4に開示されたテンプレートを用いた抽出方法においても、動態画像では対象部位の形状が時間方向にも変化することにより精度良く抽出することが困難である。
本発明は、このような事情に鑑みてなされたものであり、動態画像から対象領域を抽出する際、効率的に抽出精度の向上を実現する画像処理技術を提供することを目的とする。
本発明の1側面による画像生成装置は、人体または動物の所定部位がX線撮影された動画像を取得する動画像取得部と、前記動画像に基づく時間的に連続した第1〜第nのフレーム画像(nは2以上の整数)を順次受け、テンプレートを用いて、前記所定部位を含む領域の粗抽出処理を行うことで、前記第1〜第nのフレーム画像における第1〜第nの粗抽出領域を順次決定する粗抽出決定部と、前記第1〜第nの粗抽出領域から前記所定部位の精密抽出処理を行うことで、前記第1〜第nのフレーム画像における第1〜第nの精密抽出領域を順次決定する精密抽出決定部と、を備え、第iのフレーム画像(2≦i≦nの何れかの整数)の粗抽出処理で用いられるテンプレートが第(i−1)のフレーム画像の粗抽出処理結果又は精密抽出処理結果に基づいて動的に変更される。
本発明の他の側面による画像生成装置は、人体または動物の所定部位がX線撮影された画像に対して、テンプレートマッチング処理を用いて当該所定部位を抽出する抽出処理機能を備え、前記テンプレートマッチング処理に用いるテンプレートは、各々が前記所定部位を決定可能な複数枚の部分テンプレートの組合せを含むことを特徴とする。
本発明によれば、動態画像から対象領域を抽出するに際して、効率的に抽出精度の向上を実現することができる。
<1.第1実施形態>
本発明の第1実施形態に係る放射線動態画像撮影システムについて以下説明する。
本発明の第1実施形態に係る放射線動態画像撮影システムについて以下説明する。
<1−1.放射線動態画像撮影システムの全体構成>
第1実施形態に係る放射線動態画像撮影システムは、人体または動物の身体を被写体として、被写体の放射線画像の撮影を行い、撮影された放射線画像から対象部位(所定部位)の抽出を行う。以下の各実施形態では、対象部位を肺野領域として説明する。
第1実施形態に係る放射線動態画像撮影システムは、人体または動物の身体を被写体として、被写体の放射線画像の撮影を行い、撮影された放射線画像から対象部位(所定部位)の抽出を行う。以下の各実施形態では、対象部位を肺野領域として説明する。
図1は、第1実施形態に係る放射線動態画像撮影システムの全体構成を示す図である。図1に示すように、放射線動態画像撮影システム100は、撮影装置1と、撮影制御装置2(撮影用コンソール)と、画像生成装置3(診断用コンソール)と、心電計4とを備える。撮影装置1及び心電計4と、撮影制御装置2とが通信ケーブル等により接続され、撮影制御装置2と、画像生成装置3とがLAN(Local Area Network)等の通信ネットワークNTを介して接続されて構成されている。放射線動態画像撮影システム100を構成する各装置は、DICOM(Digital Image and Communications in Medicine)規格に準じており、各装置間の通信は、DICOM規格に則って行われる。
<1−1−1.撮影装置1の構成>
撮影装置1は、例えば、X線撮影装置等によって構成され、呼吸に伴う被写体Mの胸部の動態を撮影する装置である。動態撮影は、被写体Mの胸部に対し、X線等の放射線を繰り返して照射しつつ、時間順次に複数の画像を取得することにより行う。この連続撮影により得られた一連の画像を動態画像(動画像)と呼ぶ。また、動態画像を構成する複数の画像のそれぞれをフレーム画像と呼ぶ。
撮影装置1は、例えば、X線撮影装置等によって構成され、呼吸に伴う被写体Mの胸部の動態を撮影する装置である。動態撮影は、被写体Mの胸部に対し、X線等の放射線を繰り返して照射しつつ、時間順次に複数の画像を取得することにより行う。この連続撮影により得られた一連の画像を動態画像(動画像)と呼ぶ。また、動態画像を構成する複数の画像のそれぞれをフレーム画像と呼ぶ。
図1に示すように、撮影装置1は、照射部(放射線源)11と、放射線照射制御装置12と、撮像部(放射線検出部)13と、読取制御装置14と、サイクル検出センサ15と、サイクル検出装置16とを備えて構成されている。
照射部11は、放射線照射制御装置12の制御に従って、被写体Mに対し放射線(X線)を照射する。図示例は人体用のシステムであり、被写体Mは検査対象者に相当する。以下では被写体Mを「被検者」とも呼ぶ。
放射線照射制御装置12は、撮影制御装置2に接続されており、撮影制御装置2から入力された放射線照射条件に基づいて照射部11を制御して放射線撮影を行う。
撮像部13は、FPD等の半導体イメージセンサにより構成され、照射部11から照射されて被検者Mを透過した放射線を電気信号(画像情報)に変換する。
読取制御装置14は、撮影制御装置2に接続されている。読取制御装置14は、撮影制御装置2から入力された画像読取条件に基づいて撮像部13の各画素のスイッチング部を制御して、当該各画素に蓄積された電気信号の読み取りをスイッチングしていき、撮像部13に蓄積された電気信号を読み取ることにより、画像データを取得する。そして、読取制御装置14は、取得した画像データ(フレーム画像)を撮影制御装置2に出力する。画像読取条件は、例えば、フレームレート、フレーム間隔、画素サイズ、画像サイズ(マトリックスサイズ)等である。フレームレートは、1秒あたりに取得するフレーム画像数であり、パルスレートと一致している。フレーム間隔は、連続撮影において、1回のフレーム画像の取得動作開始から次のフレーム画像の取得動作開始までの時間であり、パルスレートと一致している。
ここで、放射線照射制御装置12と読取制御装置14とは互いに接続され、互いに同期信号をやりとりして放射線照射動作と画像の読み取りの動作を同調させるようになっている。
サイクル検出装置16は、被写体Mの呼吸サイクルを検出してサイクル情報を撮影制御装置2の制御部21に出力する。また、サイクル検出装置16は、例えばレーザー照射によって被写体Mの胸部の動き(被写体Mの呼吸サイクル)を検出するサイクル検出センサ15と、サイクル検出センサ15により検出された呼吸サイクルの時間を測定し制御部21に出力する計時部(不図示)とを備える。
<1−1−2.撮影制御装置2の構成>
撮影制御装置2は、放射線照射条件や画像読取条件を撮影装置1に出力して撮影装置1による放射線撮影及び放射線画像の読み取り動作を制御するとともに、撮影装置1により取得された動態画像を撮影技師によるポジショニングの確認や診断に適した画像であるか否かの確認用に表示する。
撮影制御装置2は、放射線照射条件や画像読取条件を撮影装置1に出力して撮影装置1による放射線撮影及び放射線画像の読み取り動作を制御するとともに、撮影装置1により取得された動態画像を撮影技師によるポジショニングの確認や診断に適した画像であるか否かの確認用に表示する。
図1に示すように、撮影制御装置2は、制御部21と、記憶部22と、操作部23と、表示部24と、通信部25とを備えて構成され、各部はバス26により接続されている。
制御部21は、CPU(Central Processing Unit)やRAM(Random Access Memory)等により構成される。制御部21のCPUは、操作部23の操作に応じて、記憶部22に記憶されているシステムプログラムや各種処理プログラムを読み出してRAM内に展開し、展開されたプログラムに従って後述する撮影制御処理を始めとする各種処理を実行し、撮影制御装置2各部の動作や、撮影装置1の動作を集中制御する。
記憶部22は、不揮発性の半導体メモリやハードディスク等により構成される。記憶部22は、制御部21で実行される各種プログラムやプログラムによる処理の実行に必要なパラメータ、或いは処理結果等のデータを記憶する。
操作部23は、カーソルキー、数字入力キー、及び各種機能キー等を備えたキーボードと、マウス等のポインティングデバイスとを備えて構成され、キーボードに対するキー操作、マウス操作、あるいは、タッチパネルを介して入力された指示信号を制御部21に出力する。
表示部24は、カラーLCD(Liquid Crystal Display)等のモニタにより構成され、制御部21から入力される表示信号の指示に従って、操作部23からの入力指示やデータ等を表示する。
通信部25は、LANアダプタやモデムやTA(Terminal Adapter)等を備え、通信ネットワークNTに接続された各装置との間のデータ送受信を制御する。
<1−1−3.画像処理装置3の構成>
画像処理装置3は、撮像装置1から送信された動態画像を、撮影制御装置2を介して取得し、医師等が読影診断するための画像を表示する。
画像処理装置3は、撮像装置1から送信された動態画像を、撮影制御装置2を介して取得し、医師等が読影診断するための画像を表示する。
図1に示すように、画像処理装置3は、制御部31と、記憶部32と、操作部33と、表示部34と、通信部35とを備えて構成され、各部はバス36により接続されている。
制御部31は、CPU、RAM等により構成される。制御部31のCPUは、操作部33の操作に応じて、記憶部32に記憶されているシステムプログラムや、各種処理プログラムを読み出してRAM内に展開し、展開されたプログラムに従って各種処理を実行し、画像処理装置3各部の動作を集中制御する(詳細は後述する)。
記憶部32は、不揮発性の半導体メモリやハードディスク等により構成される。記憶部32は、制御部31で実行される各種プログラムやプログラムによる処理の実行に必要なパラメータ、或いは処理結果等のデータを記憶する。例えば、記憶部32は、後述する画像生成処理を実行するための画像生成処理プログラムを記憶している。これらの各種プログラムは、読取可能なプログラムコードの形態で格納され、制御部31は、当該プログラムコードに従った動作を逐次実行する。
操作部33は、カーソルキー、数字入力キー、及び各種機能キー等を備えたキーボードと、マウス等のポインティングデバイスを備えて構成され、キーボードに対するキー操作やマウス操作、あるいは、タッチパネルを介して入力された指示信号を制御部31に出力する。
表示部34は、カラーLCD等のモニタにより構成され、制御部31から入力される表示信号の指示に従って、操作部33からの入力指示、データ、及び、後述する表示用画像を表示する。
通信部35は、LANアダプタやモデムやTA等を備え、通信ネットワークNTに接続された各装置との間のデータ送受信を制御する。
<1−1−4.心電計4の構成>
図1では心電計4は被検者Mとは離れて示されているが、実際には心電計4の各電極端子は被検者Mに装着されており、被検者Mの心電波形をデジタル信号として出力する。
図1では心電計4は被検者Mとは離れて示されているが、実際には心電計4の各電極端子は被検者Mに装着されており、被検者Mの心電波形をデジタル信号として出力する。
図1に示すように、心電計4は、位相検出部41を備えて構成され、位相検出部41は、制御部21のCPUからの制御信号に応答して、撮影装置1による撮影動作を同期させるための基礎情報として、被写体Mの心拍の位相を検出する。
<1−2.第1実施形態>
本発明の第1実施形態における放射線動態画像撮影システム100の画像処理装置3は、被検者Mの肺野領域の少なくとも一部の動き量を考慮して、肺野領域の抽出処理を行う。
本発明の第1実施形態における放射線動態画像撮影システム100の画像処理装置3は、被検者Mの肺野領域の少なくとも一部の動き量を考慮して、肺野領域の抽出処理を行う。
以下では、画像処理装置3で実現される機能的な構成について説明する。
<1−2−1.画像処理装置3の機能構成>
図2は、放射線動態画像撮影システム100における画像処理装置3において、CPU等が各種プログラムに従って動作することにより制御部31で実現される機能構成を他の構成とともに示す図である。この実施形態の画像処理装置3は、主として心臓および両肺を含む胸部が撮影された動態画像を使用する。
図2は、放射線動態画像撮影システム100における画像処理装置3において、CPU等が各種プログラムに従って動作することにより制御部31で実現される機能構成を他の構成とともに示す図である。この実施形態の画像処理装置3は、主として心臓および両肺を含む胸部が撮影された動態画像を使用する。
制御部31は、主に、動画像取得部110と、画像補正部120と、粗抽出決定部130と、精密抽出決定部140と、後処理部150と、粗抽出処理内容制御部160と、対象部位抽出部170と、から構成される。
以下では、図2で示されたような制御部31の機能的な構成が、あらかじめインストールされたプログラムの実行によって実現されるものとして説明するが、専用のハードウエア構成で実現されても良い。
以降、動画像取得部110、画像補正部120、粗抽出決定部130、精密抽出決定部140、後処理部150、粗抽出処理内容制御部160、対象部位抽出部170が行う各処理についての具体的内容を、図2を参照しながら順次説明する。
<1−2−1−1.動画像取得部110>
動画像取得部110では、撮像装置1の読取制御装置14によって撮影された人体または動物の肺野領域(所定部位)が撮影された動画像を取得する。すなわち、動画像は、肺野領域の物理的状態が時間変化する状態を捉えている。ここでいう「物理的状態」という用語は、肺野領域の幾何学的形状を指すほか、血流の濃度(血流の有無)などをも包含した意味で用いている。
動画像取得部110では、撮像装置1の読取制御装置14によって撮影された人体または動物の肺野領域(所定部位)が撮影された動画像を取得する。すなわち、動画像は、肺野領域の物理的状態が時間変化する状態を捉えている。ここでいう「物理的状態」という用語は、肺野領域の幾何学的形状を指すほか、血流の濃度(血流の有無)などをも包含した意味で用いている。
なお、図2は、撮像装置1と画像処理装置3との間に、撮影制御装置2が介在し、撮影制御装置2の記憶部22に記憶された検出データが通信部25を介して、画像処理装置3,3’,3”の通信部35に出力される。
図3は、呼吸に伴う被検者Mの胸部の動態に対し、放射線動態画像撮影によって撮影した動画像を例示する図である。図3で示されるように、動画像取得部110により取得されたフレーム画像G0(1)〜G0(10)は、呼吸サイクルの1周期を一定の撮影タイミングで連続撮影されたものである。具体的には、時刻 t=t1, t2, t3, …, t10 の撮影タイミングにおいて撮影された画像が、フレーム画像G0(1),G0(2),G0(3),…,G0(10)にそれぞれ対応している。
本実施形態の放射線動態画像撮影システム100では、肺野内の換気状態や血流状態を診断する目的で肺野内の動態機能データを定量的に解析するために、造影剤無しで放射線動画像(図3参照)の取得が可能である。
この放射線動画像に含まれるフレーム画像G0の精細な解析を行うためには、まず、肺野の領域を正確に抽出し、肺野内を詳細に解析することが望まれる。取得したフレーム画像G0の特徴としては、以下の問題がある。まず、(i)胸部の静止画撮影と比較して数枚分の被曝量であるというように低線量であるため、ノイズが多く不鮮明である。また、(ii)被写体は非健常者が中心であるため、異状が多く局所的な形状が様々である。さらに、(iii)動画が対象であるため、時間方向のバラつきが発生する。
そこで、本実施形態の以下の工程では、動画像から肺野領域(対象部位)を抽出する際、強調処理による画像補正を行った後、テンプレートマッチングで大まかに抽出(粗抽出)する処理を実施し、抽出された候補領域に対し、詳細に解析(精密抽出)することで、効率的に抽出精度の向上を実現するようにする。
<1−2−1−2.画像補正部120>
画像補正部120では、動画像取得部110において取得される動画像におけるフレーム画像G0に対して補正処理を実施することで、補正後のフレーム画像IG0を粗抽出決定部130に出力する(図2参照)。
画像補正部120では、動画像取得部110において取得される動画像におけるフレーム画像G0に対して補正処理を実施することで、補正後のフレーム画像IG0を粗抽出決定部130に出力する(図2参照)。
図4は、フレーム画像G0の特徴を説明する図である。図4(a)はフレーム画像G0の一例を示す。図4(b)はフレーム画像G0の背景領域R1(図4(a)参照)における濃淡値(横軸)に対して、その頻度(%)(縦軸)を示すヒストグラムである。図4(c)はフレーム画像G0のプロファイル領域R2(図4(a)参照)の縦方向の座標(横軸)に対して、濃淡値(縦軸)を示すグラフである。
フレーム画像G0には、以下のような特徴がある。すなわち、(1) 図4(b)で示されるように、対象物が何も存在しない背景領域R1においても、ノイズが多く存在しており、一般的な静止画像に比べ画像全体でノイズが多い。このため、画像全体(肺野内全体)においてS/N比が悪くなる傾向にある。(2) 図4(c)で示されるように、肺野内には、余分な情報(肋骨・血管といった構造物)が存在し、その肺野内の構造物にバラツキがある。このような構造物のため、エッジが不鮮明となると、肺野領域の抽出処理に影響を与える。(3) 肋横角領域(横隔膜の両端の領域)においては、肋横角付近の濃淡値が、肺野内よりも肺野外の周辺部の濃淡値に近く、また、心臓領域においては、心臓領域と肺野の境界が不鮮明であり、胸郭領域においては、胸郭付近の肺野内外の濃淡値の差が小さくなる。
そこで、これらの問題点を軽減する為に、上記ノイズを削減し、且つ、肺野内の構造物の影響を軽減するような処理として、肺野領域を明瞭にするいわゆる「強調処理」を実施する。
図5は、画像補正部120において実施する強調処理方法を説明する図である。図5(a)はフレーム画像G0を示し、図5(b)はこのフレーム画像G0に対してノイズ削減処理を施した後のフレーム画像G1を示す。そして、図5(c)はフレーム画像G1の所定の領域に対してエリア内強調処理を施した後のフレーム画像G2を示す。図5(d)はフレーム画像G2の全体領域に対して全体強調処理を施した後のフレーム画像IG0を示す。また、図5(b)〜図5(d)の下段にはそれぞれ、横軸を肺野領域における濃淡値とし、縦軸をその頻度(%)とするヒストグラムを示している。
以下では、画像補正部120が行う工程について順次説明する。
<1−2−1−2−1.ノイズ削減処理>
画像補正部120が最初に行う工程は、画像全体に存在するノイズを削減する目的としてノイズ削減処理を実施する。ノイズ削減処理として、例えば、フレーム画像G0からフレーム画像G1に縮小する縮小処理(図5(a)から図5(b)の処理)や平均値フィルタをかける処理等が挙げられる。例えば、縮小処理を実施する場合、その縮小方法は、選択エリア内の平均の画素値(濃淡値)を用いて縮小してもよく、または、選択エリア内の最大の画素値を選択して縮小するようにしても良い。この縮小処理においては、典型的には、複数画素を含む選択エリアを単一の画素値で表現することで画像の縮小を行う。
画像補正部120が最初に行う工程は、画像全体に存在するノイズを削減する目的としてノイズ削減処理を実施する。ノイズ削減処理として、例えば、フレーム画像G0からフレーム画像G1に縮小する縮小処理(図5(a)から図5(b)の処理)や平均値フィルタをかける処理等が挙げられる。例えば、縮小処理を実施する場合、その縮小方法は、選択エリア内の平均の画素値(濃淡値)を用いて縮小してもよく、または、選択エリア内の最大の画素値を選択して縮小するようにしても良い。この縮小処理においては、典型的には、複数画素を含む選択エリアを単一の画素値で表現することで画像の縮小を行う。
図6は、選択エリア内の最大の画素値を選択して縮小する処理内容を説明する図である。図6(a)はフレーム画像G0及び選択エリアR3を示す図であり、図6(b)はフレーム画像G0の選択エリアR3の拡大図であり、選択エリアR3内の最大の画素値Pmを示す図である。なお、選択エリアR3は、わかりやすさのために実際よりも大きく図示している。図6(c)はフレーム画像G0及びエリアR4を示す図であり、図6(d)はフレーム画像G0のエリアR4の拡大図であり、図6(e)は縮小処理後のフレーム画像G1のエリアR4を示す拡大図である。
図6で示されるように、最大の画素値Pmを選択エリアR3の代表値として選択して縮小処理を行うことにより、肺野内の最小値側の画素値(すなわち、ノイズ)を削減することができる。このため、肺野内の濃度を強調可能にし、肺野内のノイズの影響を低減できる効果を奏する(図6(d)及び図6(e)参照)。なお、最大の画素値Pm側のノイズが拡大される場合は、スムージングを実施するようにしても良い。
<1−2−1−2−2.エリア内強調処理>
続いて、画像補正部120は、肺野内の構造物の影響を低減するために、エリア内強調処理(図5(b)から図5(c)の処理)を実施する。具体的に、エリア内強調処理の方法としては、予め定められた固定の範囲に対してヒストグラムの強調処理を実施しても良いが、よりロバスト性を求めるためには、入力画像(フレーム画像G1)のプロファイルの特性に応じて強調処理を行うべき矩形範囲を変更しても良い。
続いて、画像補正部120は、肺野内の構造物の影響を低減するために、エリア内強調処理(図5(b)から図5(c)の処理)を実施する。具体的に、エリア内強調処理の方法としては、予め定められた固定の範囲に対してヒストグラムの強調処理を実施しても良いが、よりロバスト性を求めるためには、入力画像(フレーム画像G1)のプロファイルの特性に応じて強調処理を行うべき矩形範囲を変更しても良い。
図7は、エリア内強調処理における矩形範囲の選択方法の一例を説明する図である。図7で示されるように、縦方向のプロファイルは、フレーム画像G1のY座標に対する累積濃淡値を示し、横方向のプロファイルは、フレーム画像G1のX座標に対する累積濃淡値を示す。それぞれのプロファイルにおける変化点Px1,Px2,Py1,Py2を抽出し、これらの変化点Px1,Px2,Py1,py2により矩形範囲R5を決定することができる。
このエリア内強調処理においては、矩形範囲R5に関して、画素値(濃淡値)の大きい側(白い側)を持ち上げるような強調処理を実施する。
<1−2−1−2−3.全体強調処理>
画像補正部120の最後の工程として、肺野内の構造物の影響を低減するために、画像全体の強調処理(図5(c)から図5(d)の処理)を実施する。
画像補正部120の最後の工程として、肺野内の構造物の影響を低減するために、画像全体の強調処理(図5(c)から図5(d)の処理)を実施する。
例えば、固定の閾値を設け、その閾値により強調処理を実施する。図8は、全体強調処理の一例を説明する図であり、図8(a)はフレーム画像G2とヒストグラム(図5(c)と同様)を示し、図8(b)は補正後のフレーム画像IG0とヒストグラム(図5(d)と同様)を示す。図8では、白の画素値を固定の閾値として強調処理を実施した場合の結果であり、図8(a)のフレーム画像G2では、肺野領域を含め全体的に黒の領域が多かったのに対し、全体強調処理を施した図8(b)の補正後のフレーム画像IG0では、肺野領域を含め全体的に白の領域が強調されていることがわかる。また、図8(b)のヒストグラムにおいても、横軸の濃淡値が小さい黒側の頻度が図8(a)のヒストグラムに比べて減少している様子が見て取れる。
このような固定の閾値により全体強調処理を実施する方法だけでなく、別の方法により閾値を設定しても良い。例えば、フレーム画像G2全体の累積ヒストグラムを算出し、その累積率から閾値を決定してもよいし、また、算出した累積ヒストグラムに加え、上記で設定したエリアR5(図7参照)の面積に基づいて累積率の閾値を変動させる方法により実施してもよい。
<1−2−1−3.粗抽出決定部130>
粗抽出決定部130では、動画像に基づく時間的に連続した第1〜第nのフレーム画像(nは2以上の整数)を順次受け、テンプレートを用いて、肺野領域の粗抽出処理を行うことで、第1〜第nのフレーム画像における第1〜第nの粗抽出領域を順次決定する。また、粗抽出決定部130は、第iのフレーム画像の粗抽出処理で用いられるテンプレートを第(i−1)の精密抽出領域(詳細は後述)の少なくとも一部を用いて設定する。
粗抽出決定部130では、動画像に基づく時間的に連続した第1〜第nのフレーム画像(nは2以上の整数)を順次受け、テンプレートを用いて、肺野領域の粗抽出処理を行うことで、第1〜第nのフレーム画像における第1〜第nの粗抽出領域を順次決定する。また、粗抽出決定部130は、第iのフレーム画像の粗抽出処理で用いられるテンプレートを第(i−1)の精密抽出領域(詳細は後述)の少なくとも一部を用いて設定する。
本実施形態では、第1〜第nのフレーム画像として、画像補正部120において補正されたフレーム画像IG0を用いる。粗抽出決定部130における粗抽出処理は、先見的知識を用いて巨視的に捉えることで、大外れをなくす処理であり、部位候補位置をモデルベースの手法の1つであるテンプレートマッチングにより実施する。
図9は、粗抽出決定部130における粗抽出処理について説明する図であり、図9(a)は入力画像であるフレーム画像IG0を示し、図9(b)は出力画像である粗抽出画像IG1を示す。すなわち、粗抽出決定部130は、第1のフレーム画像IG0(1)〜第nのフレーム画像IG0(n)に対して、第1の粗抽出画像IG1(1)〜第nの粗抽出画像IG1(n)の出力画像を順次出力する。ここで、第1〜第nの粗抽出画像IG1(1)〜IG1(n)においては、第1〜第nの粗抽出領域は、それぞれ、図9(b)で示されるように、肺野領域の内部であることが確定された領域の情報を含む肺野内確定領域(所定部位内確定領域)RIと、肺野領域の外部であることが確定された領域の情報を含む肺野外確定領域(所定部位外確定領域)ROと、肺野領域の内部または外部であることが未確定である領域の情報を含む肺野未確定領域(所定部位未確定領域)RUとが決定される。
このように、粗抽出処理は、次工程の精密抽出決定部140にて実施する精密抽出処理を行うにあたり、肺野内確定領域RIと肺野外確定領域ROとを事前に決定することで、精密抽出処理を行うべき領域を肺野未確定領域RUに限定することを目的として実施する。
粗抽出処理によって適切に肺野未確定領域RUを設定することにより、次工程の精密抽出処理を比較的短時間で行い、かつ、より正確な精密抽出領域を決定することを可能にする。
図10は、粗抽出処理で用いられる肺野の形状や大きさを考慮したテンプレートの一覧を示す模式図である。また、図11は、横隔膜及び心臓の形状や大きさの個人差を例示する模式図であり、図12は、精密抽出処理が苦手とする領域を例示する模式図である。本実施形態で抽出する肺野領域は、入力画像IG0において、次のような特徴を有する。
すなわち、(I)肺野全体としては、肺野の縦サイズが人によって大きく異なり(図11(a)〜図11(c)参照)、肺野内部に境界候補が多く存在する。(II)横隔膜としては、左右位置のバリエーションが多く、心臓幅によって、横隔膜の見え幅が異なる(図11(d)〜図11(f)参照)。(III)心臓の領域(図12(b)の領域R7)においては、境界が不鮮明であり、鎖骨や肋骨等の領域(図12(a)の領域R6)においては、エッジの強い部分を肺野境界(肺尖部)と誤認する恐れがある。(IV)肋横角においては、境界が不鮮明で体表との距離が近く、(V)大動脈においては、人それぞれによる形状が異なる。
このような特徴があることから、本実施形態では、単純に肺野全体のテンプレート処理により抽出するのではなく、図10で示されるように、各主要な部分毎にテンプレートマッチング処理を実施し、テンプレートと対象部位との形状違いや上述の肺野領域の特徴(図11及び図12参照)を考慮して、複数のテンプレートで巨視的な形状を捉える。このため、本実施形態におけるテンプレートは、肺野領域の複数の位置に対応して分割された複数のテンプレートからなる。
本実施形態における第1〜第nのフレーム画像IG0で用いる第1〜第nのテンプレートは、それぞれ、領域S1,S2R,S2Lにおける横隔膜の形状を各々表現した横隔膜テンプレートT1,T2R,T2L(図10(a)及び図10(b)参照)と、領域S3における心臓の形状を表現した心臓テンプレートT3(図10(c)参照)と、領域S4R,S4Lにおける肺尖部の形状を各々表現した肺尖部テンプレートT4R,T4L(図10(d)参照)と、領域S5における大動脈弓の形状を表現した大動脈弓テンプレートT5(図10(e)参照)と、の組合せで肺野領域の巨視的な形状を捉える。なお、これらのテンプレートは、記憶部32に格納されている。
なお、テンプレートマッチング処理を行う順番は、横隔膜テンプレートT1、横隔膜テンプレートT2R,T2Lまたは肺尖部テンプレート4R,T4L、心臓テンプレートT3または大動脈弓テンプレートT5の順番にてマッチングさせることが好ましい。これより、肺野領域の抽出をより正確に行うことが可能となる。
具体的な各部位のテンプレート及び粗抽出処理を部位毎に、以下説明する。
<1−2−1−3−1.横隔膜における粗抽出処理>
横隔膜の位置及び形状の特徴としては、肺野や心臓の大きさが人によって異なるため、横隔膜の形状が異なるとともに、横隔膜の位置が左右で異なるという課題がある。そこで、本実施形態では、横隔膜の形状の差異に対して、縦横変倍の複数のテンプレートを用いることで対応する。この縦横変倍の複数のテンプレートとは、複数のテンプレートのそれぞれを用いてテンプレートマッチングを行う際に、各テンプレートの縦方向と横方向との倍率をそれぞれ独立に変化させて使用できるテンプレートを意味する。横隔膜の左右の位置関係については、左右独立のテンプレートを用いることで対応を行う。そして、横隔膜のテンプレートマッチングにおいて、粗抽出決定部130が、縦横変倍の複数のテンプレート及び左右独立のテンプレートを用いて、順次にそれぞれマッチングさせることで、テンプレートマッチング処理を行う(以下「2段階テンプレートマッチング」と称する)。
横隔膜の位置及び形状の特徴としては、肺野や心臓の大きさが人によって異なるため、横隔膜の形状が異なるとともに、横隔膜の位置が左右で異なるという課題がある。そこで、本実施形態では、横隔膜の形状の差異に対して、縦横変倍の複数のテンプレートを用いることで対応する。この縦横変倍の複数のテンプレートとは、複数のテンプレートのそれぞれを用いてテンプレートマッチングを行う際に、各テンプレートの縦方向と横方向との倍率をそれぞれ独立に変化させて使用できるテンプレートを意味する。横隔膜の左右の位置関係については、左右独立のテンプレートを用いることで対応を行う。そして、横隔膜のテンプレートマッチングにおいて、粗抽出決定部130が、縦横変倍の複数のテンプレート及び左右独立のテンプレートを用いて、順次にそれぞれマッチングさせることで、テンプレートマッチング処理を行う(以下「2段階テンプレートマッチング」と称する)。
<1−2−1−3−1−1.縦横変倍の複数テンプレートの生成方法>
図13は、本実施形態で予め準備する縦横変倍の複数のテンプレートを例示する図である。図13(a)〜図13(d)はサンプル画像SGであり、図13(e)〜図13(h)は図13(a)〜図13(d)のサンプル画像SGの横隔膜の形状を各々表現した横隔膜テンプレートT11〜T14を模式的に示す図である。
図13は、本実施形態で予め準備する縦横変倍の複数のテンプレートを例示する図である。図13(a)〜図13(d)はサンプル画像SGであり、図13(e)〜図13(h)は図13(a)〜図13(d)のサンプル画像SGの横隔膜の形状を各々表現した横隔膜テンプレートT11〜T14を模式的に示す図である。
図13で示されるように、横隔膜の形状にはかなりの個人差があり、とりわけ心臓の大きさにより横隔膜の形状が異なる。したがって、多数のサンプル画像SGの分類を行うことにより複数のテンプレートを作成する。作成ポイントとしては、心臓の大きさによりサンプル画像SGを分類し、複数のテンプレートを作成する。
図14は、4種類の縦横変倍のテンプレートを生成する方法の一例を説明する概念図である。図14で示されるように、まず、サンプル画像SGの横隔膜を含む領域S1を指定し(図14(a)参照)、指定した領域S1を手動で切り出す(図14(b)参照)。同様に、多数(例えば100枚)のサンプル画像SG(図14(c)参照)に関しても、指定した領域S1を手動で各々切り出す(図14(d)参照)。このようにして切り出された領域S1を4種類にグループ分けし、種類毎の平均画像(切り出し画像の平均により得られる画像)により4種類の横隔膜テンプレートT11〜T14を生成する(図14(e)参照)。これら4種類の横隔膜テンプレートT11〜T14のそれぞれは、テンプレートマッチングの際には、その縦方向と横方向の倍率を変化させつつ使用される。例えば、縦方向及び横方向のそれぞれについて4段階に倍率を変化させれば、4種類×縦方向倍率4段階×横方向倍率4段階の64種類のテンプレートを用いてテンプレートマッチングを行うことになる。
<1−2−1−3−1−2.左右独立のテンプレートの生成方法>
図15は左右の肺野における高さの違いを説明する模式図である。図15で示されるように、左右肺の高さに違いがある場合もあることから、上記の横隔膜テンプレートT11〜T14だけでは、正確に横隔膜の位置を特定することが困難な場合がある。
図15は左右の肺野における高さの違いを説明する模式図である。図15で示されるように、左右肺の高さに違いがある場合もあることから、上記の横隔膜テンプレートT11〜T14だけでは、正確に横隔膜の位置を特定することが困難な場合がある。
そこで、本実施形態では、左右別々の横隔膜テンプレートを作成する。この時の作成ポイントとしては、肺野の大きさが異なることを考慮し、切り出した横隔膜に対し、正規化処理により大きさを統一したものを作成する。
図16は左側横隔膜及び右側横隔膜テンプレートを生成する方法の一例を説明する概念図である。図16で示されるように、まず、サンプル画像SGの横隔膜を含む左側領域S2L及び右側領域S2Rを指定し(図16(a)参照)、指定した左側領域S2L及び右側領域S2Rを手動で切り出す(図16(b)参照)。同様に、図16(c)で示される多数(例えば100枚)のサンプル画像SGに関して、指定した左側領域S2L及び右側領域S2Rを手動で各々切り出す(図16(d)参照)。このようにして切り出された左側領域S2Lを4種類にグループ分けし、種類毎の平均画像により横隔膜テンプレートT2L1〜T2L4を生成する(図16(e)参照)。同様に、切り出された右側領域S2Rを4種類にグループ分けし、種類毎の平均画像により横隔膜テンプレートT2R1〜T2R4を生成する。
<1−2−1−3−1−3.2段階テンプレートマッチング>
粗抽出決定部130では、横隔膜のテンプレートマッチングにおいて、横隔膜テンプレートT11〜T14及び横隔膜テンプレートT2L1〜T2L4,T2R1〜T2R4を用いて、フレーム画像IG0の横隔膜領域に対して2段階のテンプレートマッチングを行う。
粗抽出決定部130では、横隔膜のテンプレートマッチングにおいて、横隔膜テンプレートT11〜T14及び横隔膜テンプレートT2L1〜T2L4,T2R1〜T2R4を用いて、フレーム画像IG0の横隔膜領域に対して2段階のテンプレートマッチングを行う。
図17は、2段階テンプレートマッチングを説明する模式図である。この2段階テンプレートマッチングでは、上述したように、図17(a)の4つの横隔膜テンプレートT11〜T14と、図17(b)の左右独立の横隔膜テンプレートT2L1〜T2L4及びT2R1〜T2R4とが用いられる。まず、フレーム画像IG0に対して横隔膜テンプレートT1(T11〜T14)を用いて第1のテンプレートマッチングを行う。この第1のテンプレートマッチングでは、4種類の横隔膜テンプレートT11〜T14のそれぞれを用いて、その縦方向と横方向の倍率を変化させつつマッチング処理を行い、フレーム画像IG0の横隔膜領域と最も一致度が高い横隔膜テンプレートT1(T11〜T14のいずれか)と縦横倍率とが特定される。この最も一致度が高い状態(テンプレート一致結果)において、横隔膜テンプレートT1によって中心ラインCLが特定され(テンプレートT1の中心線となる)、当該中心ラインCLで左右の肺野の切り分けを行う(図17(c)参照)。そして、切り分けられた左右の探索領域をベースにして、横隔膜テンプレートT2L(T2L1〜T2L4)及びT2R(T2R1〜T2R4)を用いて、第2のテンプレートマッチングを行う(図17(d)参照)。図15で示されるような左右の肺野の高さが異なる場合は、第1のテンプレートマッチングだけでは精度が低いが、このような第2のテンプレートマッチングを活用することで一致度が高くなる。
このように実施した2段階のテンプレートマッチングの結果に基づいて、横隔膜領域に対して、肺野内確定領域RIと肺野外確定領域ROと肺野未確定領域RUとの切り分けを行う。
<1−2−1−3−2.心臓における粗抽出処理>
心臓の位置及び形状の特徴としては、心拍が呼吸とは異なる時間的変化となるため、上述の横隔膜テンプレートだけでは十分な一致度が得られるとは限らない。したがって、本実施形態では、横隔膜テンプレートとは別に心臓テンプレートを予め準備する。
心臓の位置及び形状の特徴としては、心拍が呼吸とは異なる時間的変化となるため、上述の横隔膜テンプレートだけでは十分な一致度が得られるとは限らない。したがって、本実施形態では、横隔膜テンプレートとは別に心臓テンプレートを予め準備する。
<1−2−1−3−2−1.心臓テンプレートの生成方法>
本実施形態の粗抽出処理で予め準備する心臓テンプレートは、横隔膜の場合と同様に、多数のサンプル画像SGをパターンによって分類分けすることにより生成する。スケールは、変倍にしても良いが、上記横隔膜テンプレートT11〜T14によるテンプレートマッチングで算出された倍率サイズを活用しても良い。
本実施形態の粗抽出処理で予め準備する心臓テンプレートは、横隔膜の場合と同様に、多数のサンプル画像SGをパターンによって分類分けすることにより生成する。スケールは、変倍にしても良いが、上記横隔膜テンプレートT11〜T14によるテンプレートマッチングで算出された倍率サイズを活用しても良い。
図18は、心臓テンプレートを生成する方法の一例を説明する概念図である。図18で示されるように、まず、サンプル画像SGの心臓を含む領域S3を指定し(図18(a)参照)、指定した領域S3を手動で切り出す(図18(b)参照)。同様に、図18(c)で示される多数(例えば100枚)のサンプル画像SGに関しても、指定した領域S3を手動で各々切り出す(図18(d)参照)。このようにして切り出された領域S3を4種類にグループ分けし、種類毎の平均画像により、4つの心臓テンプレートT31〜T34を生成する(図18(e)参照)。
<1−2−1−3−2−2.心臓テンプレートマッチング>
図19は、心臓テンプレートT3(T31〜T34)によるテンプレートマッチング方法を説明する模式図である。図19で示されるように、心臓テンプレートマッチングの方法は、まず、上記の横隔膜テンプレートT1,T2L,T2Rを用いてマッチングを行った後(図17(c)及び図17(d)参照)、横隔膜テンプレートT2Lによって抽出された左肺の横隔膜位置の情報をベースに、心臓テンプレートT3(T31〜T34)(図18(e)参照)を用いて心臓の位置及び形状を探索する。具体的には、横隔膜テンプレートT2Lによって特定された横隔膜の位置に対し、オフセットを加えた範囲SRに対して心臓テンプレートT3によるテンプレートマッチングを行う。つまり、横隔膜の探索結果とリンクした形で行うことで、より位置関係を精度よく抽出することができる。
図19は、心臓テンプレートT3(T31〜T34)によるテンプレートマッチング方法を説明する模式図である。図19で示されるように、心臓テンプレートマッチングの方法は、まず、上記の横隔膜テンプレートT1,T2L,T2Rを用いてマッチングを行った後(図17(c)及び図17(d)参照)、横隔膜テンプレートT2Lによって抽出された左肺の横隔膜位置の情報をベースに、心臓テンプレートT3(T31〜T34)(図18(e)参照)を用いて心臓の位置及び形状を探索する。具体的には、横隔膜テンプレートT2Lによって特定された横隔膜の位置に対し、オフセットを加えた範囲SRに対して心臓テンプレートT3によるテンプレートマッチングを行う。つまり、横隔膜の探索結果とリンクした形で行うことで、より位置関係を精度よく抽出することができる。
<1−2−1−3−3.肺尖部における粗抽出処理>
肺尖部の位置及び形状の特徴としては、鎖骨や肋骨等のエッジの強い部分の影響を受けやすい傾向があるため、本実施形態では、鎖骨を含むように、肺尖部のテンプレートを予め準備する。
肺尖部の位置及び形状の特徴としては、鎖骨や肋骨等のエッジの強い部分の影響を受けやすい傾向があるため、本実施形態では、鎖骨を含むように、肺尖部のテンプレートを予め準備する。
<1−2−1−3−3−1.肺尖部テンプレートの生成方法>
本実施形態の粗抽出処理で予め準備する肺尖部テンプレートは、左側領域と右側領域の2つのテンプレートを含む。なお、大きさの違いに関しては、テンプレートの縦横変倍で対応することができる。また、この領域で最も個人差のある鎖骨の傾きを考慮して複数のパターンのテンプレートを生成するようにしてもよい。
本実施形態の粗抽出処理で予め準備する肺尖部テンプレートは、左側領域と右側領域の2つのテンプレートを含む。なお、大きさの違いに関しては、テンプレートの縦横変倍で対応することができる。また、この領域で最も個人差のある鎖骨の傾きを考慮して複数のパターンのテンプレートを生成するようにしてもよい。
図20は、肺尖部テンプレートを生成する方法の一例を説明する概念図である。図20で示されるように、まず、サンプル画像SGの肺尖部を含む左側領域S4L及び右側領域S4Rを指定し(図20(a)参照)、指定した左側領域S4L及び右側領域S4Rを手動で切り出す(図20(b)参照)。同様に、図20(c)で示される多数のサンプル画像SGに対しても同様に、指定した左側領域S4L及び右側領域S4Rを手動で各々切り出す(図20(d)参照)。このようにして切り出された左側領域S4Lの所定枚数(例えば50枚)の平均画像により肺尖部テンプレートT4Lを生成し、右側領域S4Rの所定枚数(例えば50枚)の平均画像により肺尖部テンプレートT4Rを生成する(図20(e)参照)。
<1−2−1−3−3−2.肺尖部テンプレートマッチング>
図21は、肺尖部テンプレートT4L及びT4Rによるテンプレートマッチング方法を説明する模式図である。図21で示されるように、肺尖部テンプレートマッチング方法は、まず、上記の横隔膜テンプレートT1,T2L,T2Rを用いてマッチングを行った後(図17(c)及び図17(d)参照)、横隔膜テンプレートT2L,T2Rで抽出された左右横隔膜位置情報をベースに、肺尖部テンプレートT4L及びT4Rを用いて肺尖部の位置及び形状を探索する。具体的には、横隔膜テンプレートT2L,T2Rによって特定された左右横隔膜位置より上部に、肺尖部テンプレートT4Lによる探索領域SRL及び肺尖部テンプレートT4Rによる探索領域SRRを設け、肺尖部テンプレートT4L及びT4Rを用いてテンプレートマッチングを行う。また左右の位置関係も横隔膜の位置関係により限定することで、より効率的に精度の高いマッチングを行うことができる。
図21は、肺尖部テンプレートT4L及びT4Rによるテンプレートマッチング方法を説明する模式図である。図21で示されるように、肺尖部テンプレートマッチング方法は、まず、上記の横隔膜テンプレートT1,T2L,T2Rを用いてマッチングを行った後(図17(c)及び図17(d)参照)、横隔膜テンプレートT2L,T2Rで抽出された左右横隔膜位置情報をベースに、肺尖部テンプレートT4L及びT4Rを用いて肺尖部の位置及び形状を探索する。具体的には、横隔膜テンプレートT2L,T2Rによって特定された左右横隔膜位置より上部に、肺尖部テンプレートT4Lによる探索領域SRL及び肺尖部テンプレートT4Rによる探索領域SRRを設け、肺尖部テンプレートT4L及びT4Rを用いてテンプレートマッチングを行う。また左右の位置関係も横隔膜の位置関係により限定することで、より効率的に精度の高いマッチングを行うことができる。
<1−2−1−3−4.大動脈弓における粗抽出処理>
肺野領域の抽出時に、大動脈弓が肺野内に含まれると、血流が多く流れていることから肺野内の血流の信号値に影響を与えるため、血流解析に悪影響を与える可能性が高い。
肺野領域の抽出時に、大動脈弓が肺野内に含まれると、血流が多く流れていることから肺野内の血流の信号値に影響を与えるため、血流解析に悪影響を与える可能性が高い。
図22は大動脈弓を抽出する目的を説明する模式図であり、フレーム画像IG0と大動脈弓が含まれる領域S5を示す。図22で示されるように、大動脈弓の上部P5にエッジが立っていることが多くあり、肺野抽出の精度に大きく影響を与える可能性がある。そこで、本実施形態では、大動脈弓が肺野内に含まれないようにするため、大動脈弓テンプレートを用いてテンプレートマッチングにより肺野外の領域として設定する。
<1−2−1−3−4−1.大動脈弓テンプレートの生成方法>
図23は大動脈弓の個人差を例示する模式図である。図23で示されるように、大動脈弓の位置及び形状は、人それぞれにより異なる傾向がある。そこで、本実施形態の粗抽出処理で予め準備する大動脈弓テンプレートを用いて大動脈弓の抽出を行う。この大動脈弓テンプレートにおいても、スケールを変えたり、複数パターンを用意してもよい。
図23は大動脈弓の個人差を例示する模式図である。図23で示されるように、大動脈弓の位置及び形状は、人それぞれにより異なる傾向がある。そこで、本実施形態の粗抽出処理で予め準備する大動脈弓テンプレートを用いて大動脈弓の抽出を行う。この大動脈弓テンプレートにおいても、スケールを変えたり、複数パターンを用意してもよい。
図24は、大動脈弓テンプレートを生成する方法の一例を説明する概念図である。図24で示されるように、まず、サンプル画像SGの大動脈弓を含む領域S5を指定し(図24(a)参照)、指定した領域S5を手動で切り出す(図24(b)参照)。同様に、図24(c)で示される多数(例えば100枚)のサンプル画像SGに対しても同様に、指定した領域S5を手動で各々切り出す(図24(d)参照)。このようにして切り出された領域S5の平均画像により大動脈弓テンプレートT5を生成する(図24(e)参照)。
<1−2−1−3−4−2.大動脈弓テンプレートマッチング>
図25は、大動脈弓テンプレートT5によるテンプレートマッチング方法を説明する模式図である。図25で示されるように、大動脈弓テンプレートマッチング方法は、まず、上記の横隔膜テンプレートT1,T2L,T2R及び肺尖部テンプレートT4L,T4Rを用いてマッチングを行った後(図17および図21参照)、肺尖部テンプレートT4Lで抽出された左肺尖部位置情報をベースに、大動脈弓テンプレートT5を用いて大動脈弓の位置及び形状を探索する。具体的には、肺尖部テンプレートT4Lによって特定された左肺尖部の位置に対し、オフセットを加えた範囲SRL2に対して大動脈弓テンプレートT5を用いてテンプレートマッチングを行う。
図25は、大動脈弓テンプレートT5によるテンプレートマッチング方法を説明する模式図である。図25で示されるように、大動脈弓テンプレートマッチング方法は、まず、上記の横隔膜テンプレートT1,T2L,T2R及び肺尖部テンプレートT4L,T4Rを用いてマッチングを行った後(図17および図21参照)、肺尖部テンプレートT4Lで抽出された左肺尖部位置情報をベースに、大動脈弓テンプレートT5を用いて大動脈弓の位置及び形状を探索する。具体的には、肺尖部テンプレートT4Lによって特定された左肺尖部の位置に対し、オフセットを加えた範囲SRL2に対して大動脈弓テンプレートT5を用いてテンプレートマッチングを行う。
一方、大動脈弓を抽出しない場合もあり得る。図26は大動脈弓が不鮮明な場合を例示する模式図であり、領域S5aは大動脈弓が含まれると予想される領域を示している。図26で示されるように、人により大動脈弓が不鮮明な場合や、または背骨付近に隠れてしまい存在が見られない場合がある。このような大動脈弓が見当たらない場合があるため、大動脈弓テンプレートマッチングは必ずしも実施しなくともよい。なお、大動脈弓の抽出可否の判定は、相関値などの結果により判定を行うことができる。
<1−2−1−3−5.粗抽出処理の全体の流れ>
図9で示したように、粗抽出決定部130による粗抽出処理は、精密抽出決定部140にて実施する精密抽出処理を行うために必要な情報である、肺野内確定領域RI、肺野外確定領域RO、及び、肺野未確定領域RU(以下、これらの情報の総称を「(精密抽出処理の)初期値」と呼ぶ。)を与えるために実施している処理である。したがって、粗抽出決定部130における最終のアウトプットは、精密抽出処理に初期値を与えることになる。
図9で示したように、粗抽出決定部130による粗抽出処理は、精密抽出決定部140にて実施する精密抽出処理を行うために必要な情報である、肺野内確定領域RI、肺野外確定領域RO、及び、肺野未確定領域RU(以下、これらの情報の総称を「(精密抽出処理の)初期値」と呼ぶ。)を与えるために実施している処理である。したがって、粗抽出決定部130における最終のアウトプットは、精密抽出処理に初期値を与えることになる。
図27は、粗抽出処理を行うために事前に行われている前処理を説明する模式図であり、図28は、粗抽出処理の全体の流れを説明する模式図である。
図27で示されるように、まず、各テンプレートにおいて予め正解データASが生成されている(図27(a)参照)。この正解データASは、肺野内であるか肺野外であるかを示すデータであり、図27(a)ではそれぞれ白と黒で示されている。各部位のテンプレート(例えば、テンプレートT4R,T4L,T2R,T2L)ごとにそれぞれ正解データAS−1,AS−2,AS−3,AS−4が存在する(図27(b)及び図27(c)参照)。例えば、テンプレートT2Rの場合は、図16で示されるように4種類のテンプレートT2R1〜T2R4に対して正解データが4種類それぞれ存在するため、これらの4種類の正解データの間の相関を計算する。このようにして、テンプレート毎の相関値を積算して平均した累積率画像AS’が生成される(図27(d)参照)。例えば、テンプレートT2Rに対応した累積率画像AS’−4は、4種類の正解データが反映されたものとなっており、白で示される領域はいずれの正解データにおいても肺野内であり(確率としては100%)、黒で示される領域はいずれの正解データにおいても肺野外であり(確率としては0%)、グレーで示された領域は肺野内であるか肺野外であるかの確率が0%と100%の間にあることになる。そこで、図27(e)では、テンプレートT4Rを用いたテンプレートマッチングにより粗抽出処理を行った場合の結果としての相関分布画像CRを示す。具体的には、図27(e)の左の相関分布画像CR1は、正解データとの相関が最も低い場合、すなわちテンプレートマッチングの一致度が最も低い場合に採用され、累積率画像AS’−1におけるグレーの領域の全部を肺野未確定領域RUとしている。図27(e)の右の相関分布画像CR3は、正解データとの相関が最も高い場合、すなわちテンプレートマッチングの一致度が最も高い場合に採用され、累積率画像AS’−1におけるグレーの領域の大部分を肺野内確定領域RIとし、肺野未確定領域RUを狭くしている。図27(e)の中央の相関分布画像CR2は、両者の中間の相関の場合、すなわちテンプレートマッチングの一致度が中間値である場合に採用され、肺野未確定領域RUの大きさも中間の値となる。
以上の図27で得られた前処理の結果は、図28の粗抽出処理において、粗抽出決定部130で出力される肺野内確定領域RI、肺野外確定領域RO、及び、肺野未確定領域RUの設定に用いられる。
図28で示されるように、フレーム画像IG0(図28(a)参照)に対して、例えば、横隔膜の粗抽出処理を行う際、横隔膜テンプレートT11〜T14,T2R1〜T2R4,T2L1〜T2L4(図28(b)及び図28(c)参照)を用いて、上述したように2段階のテンプレートマッチングを行う(図28(d)参照)。そして、そのテンプレートマッチングの結果に基づいて、横隔膜領域の粗抽出画像IG1’が得られる(図28(e)参照)。他の部位についても、同様の処理を行うことで全体の粗抽出画像IG1が生成され(図28(f)参照)、精密抽出処理への入力画像とされる。すなわち、粗抽出決定部130が粗抽出画像IG1を精密抽出決定部140へ出力する。
<1−2−1−4.精密抽出決定部140>
精密抽出決定部140では、第1〜第nの粗抽出領域から肺野領域の精密抽出処理を行うことで、第1〜第nのフレーム画像における第1〜第nの精密抽出領域を順次決定する。精密抽出決定部140による精密抽出処理は、肺野未確定領域RUが肺野領域の内部であるか、外部であるかを決定する処理である。
精密抽出決定部140では、第1〜第nの粗抽出領域から肺野領域の精密抽出処理を行うことで、第1〜第nのフレーム画像における第1〜第nの精密抽出領域を順次決定する。精密抽出決定部140による精密抽出処理は、肺野未確定領域RUが肺野領域の内部であるか、外部であるかを決定する処理である。
図29は精密抽出決定部140における精密抽出処理について説明する図である。図29(a)は粗抽出決定部130に対する入力画像IG0であり、図29(b)は粗抽出決定部130から出力された粗抽出画像IG1であり、これは精密抽出決定部140に対する入力画像に相当する。また、図29(c)は精密抽出決定部140から出力された精密抽出画像IG2である。
すなわち、精密抽出決定部140は、粗抽出決定部130から順次出力された第1の粗抽出画像IG1(1)〜第nの粗抽出画像IG1(n)(図29(b)参照)を入力画像として精密抽出処理を行い、その結果として第1の精密抽出画像IG2(1)〜第nの精密抽出画像IG2(n)を順次出力する(図29(c)参照)。ここで、第1〜第nの精密抽出画像IG2(1)〜IG2(n)のそれぞれにおいては、第1〜第nの精密抽出領域として、図29(c)で示されるような肺野領域RA0が決定される。
精密抽出決定部140では、形状に依存しない抽出技術により肺野領域RA0を抽出(決定)する。抽出技術においては、次のような手法であればいずれのような手法を用いても良い。
<1−2−1−4−1.エッジを情報として抽出する手法>
画像から肺野領域(対象物)の輪郭を抽出するためにエッジを情報とする抽出手法として、レベルセット(Level set)、スネーク(Snakes)(例えば、" Snakes: Active contour models,”, M.Kass, A.Witkin, and D.Terzopoulos, International Journal of Computer Vision, Vol.1, No.4, pp.321-331, 1988.等参照)といった動的輪郭モデル(Active Contour Model)を用いた手法が知られている。動的輪郭モデルとは、所定の変形傾向に沿って変形を繰り返す曲線(動的曲線)によって、肺野領域の輪郭を動的に抽出する手法である。動的曲線の変形傾向は、曲線の状態を定量的に評価した値である「動的曲線のエネルギー」によって規定される。この「動的曲線のエネルギー」は、動的曲線が肺野領域の輪郭を抽出した時点で最小となるように予め定義される。したがって、動的曲線のエネルギーが最小となるように動的曲線を変形させてゆき、エネルギーが最小となる安定状態を見つけることによって、肺野領域RA0の輪郭部SM0(図29(c)参照)を抽出することができる。
画像から肺野領域(対象物)の輪郭を抽出するためにエッジを情報とする抽出手法として、レベルセット(Level set)、スネーク(Snakes)(例えば、" Snakes: Active contour models,”, M.Kass, A.Witkin, and D.Terzopoulos, International Journal of Computer Vision, Vol.1, No.4, pp.321-331, 1988.等参照)といった動的輪郭モデル(Active Contour Model)を用いた手法が知られている。動的輪郭モデルとは、所定の変形傾向に沿って変形を繰り返す曲線(動的曲線)によって、肺野領域の輪郭を動的に抽出する手法である。動的曲線の変形傾向は、曲線の状態を定量的に評価した値である「動的曲線のエネルギー」によって規定される。この「動的曲線のエネルギー」は、動的曲線が肺野領域の輪郭を抽出した時点で最小となるように予め定義される。したがって、動的曲線のエネルギーが最小となるように動的曲線を変形させてゆき、エネルギーが最小となる安定状態を見つけることによって、肺野領域RA0の輪郭部SM0(図29(c)参照)を抽出することができる。
<1−2−1−4−2.領域を情報として抽出する手法>
画像から肺野領域(対象物)の輪郭を抽出するために領域を情報とする抽出手法として、領域拡張法(Region growing)などが挙げられる。領域拡張法では、2値化画像を用いて始点となるボクセルを決定し、2値化処理前の処理対象画像においてその始点と決定されたボクセルの近傍ボクセルを調べ、ある判定条件を満たす近傍ボクセルを肺野領域と判断する。そして、この肺野領域と判断された近傍ボクセルについても上記と同様の処理を繰り返す。このように、領域を拡張しながら判定条件を満たすボクセルを順次抽出することにより、肺野領域RA0の輪郭部SM0を抽出することができる。
画像から肺野領域(対象物)の輪郭を抽出するために領域を情報とする抽出手法として、領域拡張法(Region growing)などが挙げられる。領域拡張法では、2値化画像を用いて始点となるボクセルを決定し、2値化処理前の処理対象画像においてその始点と決定されたボクセルの近傍ボクセルを調べ、ある判定条件を満たす近傍ボクセルを肺野領域と判断する。そして、この肺野領域と判断された近傍ボクセルについても上記と同様の処理を繰り返す。このように、領域を拡張しながら判定条件を満たすボクセルを順次抽出することにより、肺野領域RA0の輪郭部SM0を抽出することができる。
<1−2−1−4−3.エッジと領域とを情報として抽出する手法>
画像から肺野領域(対象物)の輪郭を抽出するためにエッジと領域とを情報とする抽出手法として、グラフカット(Graph Cut)(例えば、”Fast Apporoximate Energy Minimization via Graph Cuts.”,Y.Boykov,O. Veksler,R. Zabih. IEEE Transactions on Pattern Analysis and Machine Intelligence 23:1222-1239:2001.等参照)などが挙げられる。グラフカット法では、マルコフ確率場(Markov Random Field: MRF)などの確率モデルの最大事後確率推定問題として定式化してエネルギー最小化問題として効率的に解く方法であり、エネルギーを比較的効率良く最小化することにより、肺野領域RA0の輪郭部SM0を抽出することができる。
画像から肺野領域(対象物)の輪郭を抽出するためにエッジと領域とを情報とする抽出手法として、グラフカット(Graph Cut)(例えば、”Fast Apporoximate Energy Minimization via Graph Cuts.”,Y.Boykov,O. Veksler,R. Zabih. IEEE Transactions on Pattern Analysis and Machine Intelligence 23:1222-1239:2001.等参照)などが挙げられる。グラフカット法では、マルコフ確率場(Markov Random Field: MRF)などの確率モデルの最大事後確率推定問題として定式化してエネルギー最小化問題として効率的に解く方法であり、エネルギーを比較的効率良く最小化することにより、肺野領域RA0の輪郭部SM0を抽出することができる。
<1−2−1−5.後処理部150>
後処理部150では、第1の精密抽出画像IG2(1)〜第nの精密抽出画像IG2(n)における不安定な精密抽出結果や抽出失敗に対し、モデル知識を使うことで、解析に必要な肺野に整形する。すなわち、不安定な精密抽出結果や抽出失敗した位置を精密抽出の結果から算出し補正を行う。補正方法としては、予め決定しておいた次元の関数フィッティングのパラメータにより、空間滑らか(平均化)処理や、心拍や呼吸による動き方向以外の情報に対してスムージングを実施することが可能である。なお、この後処理部150による処理は省略することも可能である。
後処理部150では、第1の精密抽出画像IG2(1)〜第nの精密抽出画像IG2(n)における不安定な精密抽出結果や抽出失敗に対し、モデル知識を使うことで、解析に必要な肺野に整形する。すなわち、不安定な精密抽出結果や抽出失敗した位置を精密抽出の結果から算出し補正を行う。補正方法としては、予め決定しておいた次元の関数フィッティングのパラメータにより、空間滑らか(平均化)処理や、心拍や呼吸による動き方向以外の情報に対してスムージングを実施することが可能である。なお、この後処理部150による処理は省略することも可能である。
図30は後処理部150の処理結果を説明する図であり、図29(c)で示される肺野領域RA0の輪郭部SM0に対して実施されている。図30で示されるように、後処理部150の処理による精密抽出画像IG3は、精密抽出画像IG2の肺野領域RA0の輪郭部SM0(図29参照)と比較して、肺野領域RAの輪郭部SM(図30参照)が平滑化されている様子がわかる。この処理により、精度の安定化や抽出失敗の補正を行う。
<1−2−1−6.粗抽出処理内容制御部160>
粗抽出処理内容制御部160は、粗抽出決定部130による粗抽出処理の内容を制御する。すなわち、粗抽出処理内容制御部160によって、第iのフレーム画像(2≦i≦nの何れかの整数)の粗抽出処理で用いられるテンプレートが第(i−1)のフレーム画像の精密抽出処理結果に基づいて動的に変更される。
粗抽出処理内容制御部160は、粗抽出決定部130による粗抽出処理の内容を制御する。すなわち、粗抽出処理内容制御部160によって、第iのフレーム画像(2≦i≦nの何れかの整数)の粗抽出処理で用いられるテンプレートが第(i−1)のフレーム画像の精密抽出処理結果に基づいて動的に変更される。
具体的には、最初の(1フレーム目の)フレーム画像IG0(1)に関しては、上述の通り予め準備されたテンプレートを用いて粗抽出処理を行う一方、第2のフレーム画像IG0(2)以降に関しては、直前の精密抽出処理の結果を用いてテンプレートの変更を行うように制御を行う。
本実施形態においては、第i(2≦i≦nの何れかの整数)の粗抽出領域の決定に関し、その際に用いるテンプレート(以下「第iのテンプレート」という)として、第(i−1)の精密抽出領域(すなわち、第(i−1)の精密抽出画像IG3における肺野領域RA)の一部(以下「第1領域」という)を切り出して用いる。
すなわち、粗抽出処理内容制御部160は、第iのテンプレートのうち第1領域のテンプレートに関しては、第(i−1)の精密抽出画像IG3の一部である第1領域(図32(c)参照)を切り出して用いるように粗抽出決定部130を制御する。なお、第iのテンプレートのうち第1領域以外のテンプレートに関しては、上述の通り予め準備されたテンプレート(第1のフレーム画像IG0(1)での粗抽出処理に用いたテンプレート:以下「第1のテンプレート」という)を用いればよい。
第1領域としては、例えば、肺尖部、大動脈弓、横隔膜、心臓等の上述のテンプレートと対応する領域が挙げられ、第1領域としては第(i−1)のフレーム画像IG0と第iのフレーム画像IG0との間で変化量が小さい領域(例えば肺尖部)を用いた方が効果は大きいが、いずれの領域であっても構わない。
ここで第1領域のテンプレートは、第(i−1)の精密抽出画像IG3から第1領域のテンプレートと対応する領域の画像をそのまま切り出したものである。すなわち、第1領域のテンプレートは、フレーム画像IG0(i−1)において精密抽出処理を行った結果として第1領域として位置が特定された領域の画像を含み、対応する精密抽出結果(図30の輪郭部SMに相当)を有する。この精密抽出結果(輪郭部SM)は、テンプレートの正解データAS(図27参照)に相当するものとして扱われ、その輪郭部SMを基準とした所定の範囲の領域を肺野未確定領域RUの候補領域(図27(d)におけるグレーの領域に相当)とすることができる。このようにして、第1領域のテンプレートは、予め準備された第1のテンプレートと同様に用いることができる。
<1−2−1−7.対象部位抽出部170>
対象部位抽出部170では、後処理部150において後処理を実施した第1の精密抽出画像IG3(1)〜第nの精密抽出画像IG3(n)から肺野領域RAを抽出し、記憶部32へ記憶する。なお、ここでの肺野領域RAの抽出とは、画像を切り出して別の画像として保存することだけでなく、画像における肺野領域RAの位置や形状が認識できるデータが保存されることを含む。例えば、抽出された肺野領域RAのデータに基づいて、全体画像の上に領域RAの輪郭を表示することができる。
対象部位抽出部170では、後処理部150において後処理を実施した第1の精密抽出画像IG3(1)〜第nの精密抽出画像IG3(n)から肺野領域RAを抽出し、記憶部32へ記憶する。なお、ここでの肺野領域RAの抽出とは、画像を切り出して別の画像として保存することだけでなく、画像における肺野領域RAの位置や形状が認識できるデータが保存されることを含む。例えば、抽出された肺野領域RAのデータに基づいて、全体画像の上に領域RAの輪郭を表示することができる。
<1−2−2.画像処理装置3の基本動作>
図31は、第1実施形態に係る画像処理装置3において実現される基本動作を説明するフローチャートであり、図32は、横隔膜領域に対する抽出処理の流れを示す概念図である。以下では、上述の第1領域として、横隔膜の領域(左側横隔膜及び右側横隔膜テンプレートの領域)を採用した場合について説明する。
図31は、第1実施形態に係る画像処理装置3において実現される基本動作を説明するフローチャートであり、図32は、横隔膜領域に対する抽出処理の流れを示す概念図である。以下では、上述の第1領域として、横隔膜の領域(左側横隔膜及び右側横隔膜テンプレートの領域)を採用した場合について説明する。
図31に示すように、まず、ステップSA1において、制御部31の動画像取得部110が、撮像装置1の読取制御装置14によって撮影された動画像を、撮影制御装置2を介して取得する。
ステップSA2では、画像補正部120が、ステップSA1において取得された動画像における第1のフレーム画像G0に対して、強調処理による画像補正を実施することで、第1のフレーム画像IG0を生成し、粗抽出決定部130に出力する(図5及び図32(a)参照)。
ステップSA3では、粗抽出決定部130が、ステップSA2において補正されたフレーム画像IG0に対して、第1のフレーム画像IG0(1)の場合は、予め準備された第1のテンプレートを用いてテンプレートマッチングを行い(例えば、横隔膜領域に対しては図32(b)参照)、粗抽出領域を決定し、粗抽出画像IG1を精密抽出決定部140に出力する(図9、図28参照)。
ステップSA4では、精密抽出決定部140が、ステップSA3において決定された粗抽出画像IG1を用いて、精密抽出領域(肺野領域RA)を決定し、精密抽出画像IG2を後処理部150に出力する(図29参照)。
ステップSA5では、後処理部150が、ステップSA4において決定された精密抽出画像IG2における肺野領域RA0の輪郭部SM0に対して後処理を実施し、精密抽出画像IG3を生成する(図30参照)。
ステップSA6では、対象部位抽出部170が、ステップSA5において後処理された精密抽出画像IG3の肺野領域RAを対象領域として抽出し、記憶部32へ記憶する。
ステップSA7では、制御部31が、全てのフレーム画像において肺野領域RAを抽出したか否かを判定し、未処理がある場合にはステップSA8に移り、未処理がない場合には本動作フローが終了される。
ステップSA8では、粗抽出処理内容制御部160が、第2のフレーム画像IG0(2)以降に関して、直前の精密抽出処理の結果を用いてテンプレートの変更を行うように制御を行う。具体的には、ステップSA3で用いるテンプレートとして、左側横隔膜及び右側横隔膜テンプレートに関しては、第1の精密抽出画像IG3の一部である横隔膜領域を用い(図32(c)参照)、それら以外のテンプレートに関しては、第1のテンプレートと同じテンプレートを用いるように粗抽出決定部130を制御する。
そして、ステップSA3においては、第2のフレーム画像IG0(2)の粗抽出領域を決定する際には、第2のフレーム画像IG0(2)に対して、ステップSA8で設定したテンプレートを用いてテンプレートマッチングを行う。
その後、第2のフレーム画像IG0(2)に対して、ステップSA4〜ステップSA8の処理を行い、ステップSA3〜ステップSA8のループが第nのフレーム画像IG0(n)までの処理に対して行われる。
このように、全てのフレーム画像IG0において肺野領域RAを抽出するまで、ステップSA3〜ステップSA8の工程が繰り返され、全てのフレーム画像IG0において肺野領域を抽出した後、本動作フローが終了される。
以上のように第1実施形態に係る画像処理装置3では、最初のフレーム画像に関しては予め準備されたテンプレートを用いて粗抽出処理を行う一方、第2のフレーム画像以降に関しては、直前の精密抽出処理の結果を用いてテンプレートの変更を行う。このため、第2のフレーム画像以降の粗抽出処理に関しては、必要最小限のテンプレートを用いて、第iの粗抽出領域をより適格に決定できるため、肺野領域RAの抽出精度の向上を効率的に実現することが可能となる。これにより、肺野内の換気状態や血流状態を正確に診断することが可能となる。
さらに、肺野領域を抽出するためのテンプレートとして、横隔膜の形状を表現した横隔膜テンプレートと、心臓の形状を表現した心臓テンプレートと、肺尖部の形状を表現した肺尖部テンプレートと、大動脈弓の形状を表現した大動脈弓テンプレートとの複数の分割されたテンプレートの組合せを用いるため、粗抽出領域の決定をより正確に効率的に行うことが可能となる。
<2.第2実施形態>
上述の第1実施形態では第iのテンプレートとして第(i−1)の精密抽出領域の一部を用いたが、第2実施形態では、この第iのテンプレートが第1実施形態とは異なる。具体的には、第(i−1)の精密抽出領域の一部を切り出して用いる代わりに、第(i−1)の粗抽出処理の結果に基づいて、予め準備された時系列に並ぶ時間変化テンプレート群の中から1つまたは2つを選択して用いることにする。
上述の第1実施形態では第iのテンプレートとして第(i−1)の精密抽出領域の一部を用いたが、第2実施形態では、この第iのテンプレートが第1実施形態とは異なる。具体的には、第(i−1)の精密抽出領域の一部を切り出して用いる代わりに、第(i−1)の粗抽出処理の結果に基づいて、予め準備された時系列に並ぶ時間変化テンプレート群の中から1つまたは2つを選択して用いることにする。
ここでいう時間変化テンプレート群とは、肺野領域の周期的な変化に対応して時系列に並ぶ複数のテンプレートをいう。
<2−1.粗抽出決定部130A>
粗抽出決定部130Aでは、第(i−1)の粗抽出処理で特定された時間変化テンプレート群の中の1つに基づいて、第iのフレーム画像の粗抽出処理で用いられるテンプレートを時間変化テンプレート群の中から選択する。
粗抽出決定部130Aでは、第(i−1)の粗抽出処理で特定された時間変化テンプレート群の中の1つに基づいて、第iのフレーム画像の粗抽出処理で用いられるテンプレートを時間変化テンプレート群の中から選択する。
すなわち、粗抽出決定部130Aは、第1のフレーム画像IG0(1)に対しては、第1実施形態と同様、予め準備された第1のテンプレートを用いてテンプレートマッチングを行い、第1の粗抽出画像IG1(1)を出力する。この際に用いられるテンプレートとしては、上述したように、3種類の横隔膜テンプレートと、心臓テンプレートと、肺尖部テンプレートと、大動脈弓テンプレートである。但し、この第2実施形態では、これらのうち、左側横隔膜及び右側横隔膜テンプレートについて、肺野領域の周期的な変化(呼吸による変化)の半周期以上に対応する複数枚のテンプレートを含む時間変化テンプレート群が準備されている(図34参照)。したがって、第1のフレーム画像IG0(1)に対する粗抽出処理においては、左側横隔膜及び右側横隔膜テンプレートのそれぞれについて、時間変化テンプレート群の中から最も一致度が高いテンプレートが1つ決定されることになる。
本実施形態では、この第1のフレーム画像IG0(1)での粗抽出処理の結果を利用して、第2のフレーム画像IG0(2)の粗抽出処理に利用する左側横隔膜及び右側横隔膜テンプレートを時間変化テンプレート群の中から選択して用いる。具体的には、左側横隔膜及び右側横隔膜テンプレートのそれぞれについて、第2のフレーム画像IG0(2)の粗抽出処理では、第1のフレーム画像IG0(1)での粗抽出処理で決定された最も一致度が高いテンプレートに関して、時系列で前と後に位置する一対の(2つの)テンプレートを選択して用いる。そして、第3のフレーム画像IG0(3)の粗抽出処理では、第2のフレーム画像IG0(2)での粗抽出処理で決定された最も一致度が高いテンプレートに関して、時系列で前又は後に位置する1つのテンプレートを選択して用いることができる。この場合、時系列で前に位置するテンプレートを選択するか後に位置するテンプレートを選択するかは、第1のフレーム画像の粗抽出処理と第2のフレーム画像の粗抽出処理とで特定されたテンプレートの時間方向の位置関係から判断することができる。
したがって、粗抽出決定部130Aは、肺野領域の一部である第2領域の時間変化を考慮した時間変化テンプレート群の中から、第iの粗抽出領域の決定に関し、その際に用いるテンプレートを可変設定する。ここで第2領域とは、以上の説明では左側横隔膜及び右側横隔膜テンプレートの領域である。なお、第2領域としては、フレーム画像間で変化が大きいと判断される領域に設定した場合であっても、時系列に並ぶ複数のテンプレートを用いるために容易に対応することができる。なお、この第2領域に関して、第1実施形態と第2実施形態とが択一的に用いられる場合には、第2領域は第1領域と同じ領域でよく、第1実施形態と第2実施形態とが併用される場合には、第2領域は第1領域とは異なる領域とされる。
図34は、左側横隔膜及び右側横隔膜テンプレートの時間変化テンプレート群を例示する模式図である。図34で示されるように、4種類の左側横隔膜及び右側横隔膜テンプレートについて、それぞれ時間(時系列)方向tに半周期以上の変化を表現した複数枚のテンプレートからなる時間変化テンプレート群TG1〜TG4が、記憶部32に予め記憶されている。この時間変化テンプレート群TGとしては、各々、フレーム画像IG0のフレームレートに対応して、横隔膜の動き量が反映された複数枚のテンプレートを準備する。
<2−2.画像処理装置3Aの基本動作>
続いて、図35は、第2実施形態に係る画像処理装置3Aの動作フローを例示した図である。
続いて、図35は、第2実施形態に係る画像処理装置3Aの動作フローを例示した図である。
まず、第1のフレーム画像IG0(1)に関して、第1実施形態と同様の工程として、ステップST1〜ステップST7を実行する。なお、ステップST3の粗抽出処理では、上述したように、少なくとも1種類の時間変化テンプレート群TGが用いられる。ステップST8にて、粗抽出処理内容制御部160Aが、第2のフレーム画像IG0(2)に関して、直前の粗抽出処理の結果を用いてテンプレートの変更(選択)を行うように制御を行う。具体的には、左側横隔膜及び右側横隔膜テンプレートに関して、直前の粗抽出処理において最も一致度が高いと判断されたテンプレートの時系列方向の前後に位置するテンプレート(一対)を時間変化テンプレート群TGの中から選択し、これらをテンプレートマッチングに用いるように制御する。また、第3のフレーム画像IG0(3)以降については、左側横隔膜及び右側横隔膜テンプレートに関して、直前の粗抽出処理において最も一致度が高いと判断されたテンプレートの時系列方向の前または後に位置するテンプレート(1つ)を時間変化テンプレート群TGの中から選択し、これらをテンプレートマッチングに用いるように制御する。
そして、ステップST3〜ステップST8のループが第nのフレーム画像IG0の処理に対してまで繰り返される。
このように、全てのフレーム画像IG0において肺野領域RAを抽出するまで、ステップST3〜ステップST8の工程が繰り返され、全てのフレーム画像IG0において肺野領域RAを抽出した後、本動作フローが終了される。
以上のように第2実施形態に係る画像処理装置3Aでは、少なくとも1つの時間変化テンプレート群TGを用い、第(i−1)の粗抽出処理の結果として特定されたテンプレートから、第iのテンプレートを時間変化テンプレート群の中から選択するようにしたため、全体の処理時間の短縮が図れる。また、抽出精度が一般的に低いとされる時間変化の大きい領域においても、効率的に抽出精度をさらに向上させることが可能となる。
<3.第3実施形態>
図36は、本発明の第3実施形態として構成された画像処理装置3Bで用いられる制御部31Bの機能構成を示す図である。この制御部31Bは、第1実施形態の画像処理装置3における制御部31または第2実施形態の画像処理装置3Aにおける制御部31A(図2参照)の代替として使用される。第1または第2実施形態と異なる点は、粗抽出決定部130Bがフレーム間時間変化算出部135を備える点である。なお、残余の構成は画像処理装置3と同様である。
図36は、本発明の第3実施形態として構成された画像処理装置3Bで用いられる制御部31Bの機能構成を示す図である。この制御部31Bは、第1実施形態の画像処理装置3における制御部31または第2実施形態の画像処理装置3Aにおける制御部31A(図2参照)の代替として使用される。第1または第2実施形態と異なる点は、粗抽出決定部130Bがフレーム間時間変化算出部135を備える点である。なお、残余の構成は画像処理装置3と同様である。
<3−1.フレーム間時間変化算出部135>
フレーム間時間変化算出部135は、第(i−1)の粗抽出領域及び第iの粗抽出領域の決定時に用いた第(i−1)のテンプレートと第iのテンプレートとのテンプレートマッチングにおける位置変化に基づき、肺野領域の一部である第1領域における時間変動量をフレーム間時間変化情報(時間変化情報)として算出する。そして、粗抽出決定部130Bは、当該フレーム間時間変化情報に基づいて第iの粗抽出領域の肺野未確定領域RUを可変に設定して第iの粗抽出領域を決定する。
フレーム間時間変化算出部135は、第(i−1)の粗抽出領域及び第iの粗抽出領域の決定時に用いた第(i−1)のテンプレートと第iのテンプレートとのテンプレートマッチングにおける位置変化に基づき、肺野領域の一部である第1領域における時間変動量をフレーム間時間変化情報(時間変化情報)として算出する。そして、粗抽出決定部130Bは、当該フレーム間時間変化情報に基づいて第iの粗抽出領域の肺野未確定領域RUを可変に設定して第iの粗抽出領域を決定する。
図37は、粗抽出領域の肺野未確定領域RUの設定方法について説明する模式図である。図37(a)は、第1のフレーム画像IG0(1)と第2のフレーム画像IG0(2)とを比較した場合、第2のフレーム画像IG0(2)では、横隔膜が矢印A4の方向で動き、また心臓が矢印A5の方向で動くことを示す図である。図37(b)は、第1のフレーム画像IG0(1)及び第1の粗抽出画像IG1(1)それぞれに対する心臓の領域S3の拡大図であり、図37(c)は、第1の精密抽出画像IG3(1)に対する心臓の領域S3の拡大図である。
続いて、図37(d)及び図37(e)は、粗抽出決定部130Bが、図37(c)の第1の精密抽出画像IG3(1)の心臓領域及びその近傍領域をテンプレートとして用いて得られる第2の粗抽出画像IG1(2)の心臓領域S3を示す図である。ここで、図37(d)は図37(e)の各領域を説明する図であり、領域50が肺野内確定領域RIであり、領域53が肺野外確定領域ROである。また、領域51及び領域52ともに肺野未確定領域RUであるが、その内訳は、領域51が固定の肺野未確定領域RU1に相当し、領域52がフレーム間時間変化算出部135にて算出されたフレーム間時間変化情報に基づき可変設定される肺野未確定領域RU2に相当する。
具体的に、図37(d)の領域52(肺野未確定領域RU2)は、粗抽出決定部130Bが心臓領域S3において、第1の粗抽出領域を決定するために実施したテンプレートマッチング処理後の第1のテンプレートの位置と、第2の粗抽出領域を決定するために実施したテンプレートマッチング処理後の第2のテンプレートの位置との位置変化に基づく時間変動量を考慮して設定された領域である。
図37(f)は、第2の粗抽出画像IG1(2)の全体像を示す図である。ここで、時間変化情報を心拍情報とするだけでなく、時間変化情報を呼吸情報としてもよい。すなわち、第2領域を、心臓だけではなく同じく時間変動量が大きいと予想される横隔膜においても設定した場合には、図37(d)と同様の処理が、横隔膜領域においても採られる。このため、図37(f)で示されるように、心臓および横隔膜の近傍領域WAは肺野未確定領域RUが他の部位と比較して広く採られる。
図37(g)は、第iの粗抽出画像IG1(i)の心臓領域S3における肺野未確定領域RUの設定方法を示した図である。図37(g)で示されるように、図37(d)と同様に肺野未確定領域RU1は不動(固定)の領域であるが、心臓が矢印A6のように左右の両方向に移動するため、肺野未確定領域RU2の設定方法が各フレーム毎に変わる。すなわち、心臓領域S3における第(i−1)のテンプレートと第iのテンプレートとのテンプレートマッチングにおける位置変化が左方向に移動する場合は、肺野未確定領域RU2は領域RU21と領域R22との両方の領域で設定されるのに対し、右方向に移動する場合は、肺野未確定領域RU2は領域RU21の領域で設定される。
このように、各部位の動き得る量に応じて、第iの粗抽出領域の肺野未確定領域RUを設定する。すなわち、大きく移動する可能性のある領域は肺野未確定領域RUを広くし、あまり動かない領域は肺野未確定領域RUを狭くすることで対応する。
また、肺野未確定領域RUの設定方法としては、粗抽出処理内容制御部160Bが、記憶部32に記憶された変動小領域と変動大領域とに分けて第iの粗抽出領域の肺野未確定領域RUを設定するように粗抽出決定部130Bに指令を与える方法を採用しても良い。ここで、記憶部32では、肺野領域の一部を決定可能であり、時間方向の変動面積が少ない領域である変動小領域と、肺野領域の他の一部を決定可能であり、時間方向の変動面積が大きい領域である変動大領域と、を予め記憶する。
すなわち、変動小領域は、前述の第1領域を具体化した表現であり、第(i−1)のフレーム画像IG0と第i(i≧2)のフレーム画像IG0との画像間で時間変化が小さいと想定される領域として記憶される。一方、変動大領域は、前述の第2領域を具体化した表現であり、第(i−1)のフレーム画像IG0と第iのフレーム画像IG0との画像間で時間変化が大きいと判断される領域として記憶される。
このように、変動小領域と変動大領域とに分けて第iの粗抽出領域の肺野未確定領域RUを設定することにより、肺野領域の抽出精度がより向上する。
また、変動大領域を、横隔膜領域及び心臓領域として設定することにより、第iの粗抽出領域の肺野未確定領域RUの設定において、相対的に時間変動量の大きい横隔膜領域および心臓領域を、変動小領域の領域よりも広く設定することが可能となる。すなわち、時間変動量の大きい横隔膜領域及び心臓領域に特化した重み付けを施しているため、より適切に肺野未確定領域RUが設定された第iの粗抽出領域を決定することができる。
<3−2.画像処理装置3Bの基本動作>
続いて、図38は、第3実施形態に係る画像処理装置3Bの動作フローを例示した図である。このうち、ステップSS1,SS2,SS4〜SS8は図31のステップSA1,SA2,SA4〜SA8と同様であるため、その説明は省略する。以下では、第1領域を心臓の領域に設定した場合について説明する。
続いて、図38は、第3実施形態に係る画像処理装置3Bの動作フローを例示した図である。このうち、ステップSS1,SS2,SS4〜SS8は図31のステップSA1,SA2,SA4〜SA8と同様であるため、その説明は省略する。以下では、第1領域を心臓の領域に設定した場合について説明する。
この第3実施形態では、第1実施形態では存在しなかったフレーム間時間変化算出部135が付加されたことで、下記の工程が加わる。
すなわち、第1実施形態と同様の工程として、ステップSS1〜ステップSS2を経て、図38で示されるように、ステップSS3にて、ステップSA3と同様の工程を行うが、以下の点が付加される。すなわち、フレーム間時間変化算出部135が、心臓領域においては、第2のフレーム画像IG0以降、第(i−1)の粗抽出領域及び第iの粗抽出領域の決定時に用いた第(i−1)のテンプレートと第iのテンプレートとのテンプレートマッチングにおける位置変化に基づき時間変動量をフレーム間時間変化情報として算出する。そして、粗抽出決定部130Bが、心臓領域においては、粗抽出決定部130と同様の処理に加えて、当該フレーム間時間変化情報をも考慮して第iの粗抽出領域の肺野未確定領域RUを可変に設定して第iの粗抽出領域を決定する。
続いて、第1実施形態と同様の工程として、ステップSS4〜ステップSS7を経て、ステップSS8にて、ステップSA8またはステップST8と同様の工程を行った後、ステップSS3に移る。そして、ステップSS3〜ステップSS8のループが第nのフレーム画像IG0の処理に対してまで繰り返される。
このように、全てのフレーム画像IG0において肺野領域RAを抽出するまで、ステップSS3〜ステップSS8の工程が繰り返され、全てのフレーム画像において肺野領域RAを抽出した後、本動作フローが終了される。
以上のように画像処理装置3Bでは、フレーム間時間変化情報に基づいて第iの粗抽出領域の肺野未確定領域RUを設定することにより、肺野未確定領域RUを肺野領域RAの時間変化に適合させて設定することができる。
<4.第4実施形態>
図39は、本発明の第4実施形態として構成された画像処理装置3Dで用いられる制御部31Dの機能構成を示す図である。この制御部31Dは、第1実施形態の画像処理装置3における制御部31の代替として使用される。第1実施形態と異なる点は、時間変化検出部125をさらに備え、粗抽出処理内容制御部160Dが変更されるとともに、粗抽出決定部130Dが変更される点である。なお、残余の構成は画像処理装置3と同様である。
図39は、本発明の第4実施形態として構成された画像処理装置3Dで用いられる制御部31Dの機能構成を示す図である。この制御部31Dは、第1実施形態の画像処理装置3における制御部31の代替として使用される。第1実施形態と異なる点は、時間変化検出部125をさらに備え、粗抽出処理内容制御部160Dが変更されるとともに、粗抽出決定部130Dが変更される点である。なお、残余の構成は画像処理装置3と同様である。
<4−1.時間変化検出部125>
時間変化検出部125では、肺野領域の周期的な時間変化を検出して時間変化情報を取得する。ここでいう時間変化情報は、肺野領域の周期的な時間変化であり、呼吸周期変化および心拍周期変化を指している。
時間変化検出部125では、肺野領域の周期的な時間変化を検出して時間変化情報を取得する。ここでいう時間変化情報は、肺野領域の周期的な時間変化であり、呼吸周期変化および心拍周期変化を指している。
このように、制御部31Dが時間変化検出部125を備えるため、粗抽出処理内容制御部160Dが、時間変化検出部125にて取得した呼吸周期変化に基づき肺野における横隔膜領域近傍の肺野未確定領域RUを可変に設定し、また、時間変化検出部125,125’にて取得した心拍周期変化に基づき肺野における心臓領域近傍の肺野未確定領域RUを可変に設定するように粗抽出決定部130Dに指令を与える。
以下では、心拍周期変化及び呼吸周期変化についての算出方法を説明する。
心拍情報検出方法として、図39で示されるように時間変化検出部125では、心電計4の位相検出部41から取得された結果を用いる。すなわち、時間変化検出部125は、外部より心拍周期変化が取得されるように構成される。図43は、被検者Mの心電図波形の1周期を例示する図である。なお、図43では、横軸が時刻、縦軸が電気信号の大きさ(電圧)を示しており、いわゆるP波、Q波、R波、S波、T波及びU波の形状をそれぞれ示す曲線Pp,Qp,Rp,Sp,Tp及びUpを含む電気信号の変化を示す曲線が示されている。
そこで、時間変化検出部125では、位相検出部41から取得された検出結果に基づいて、上記の点(Pp,Qp,Rp,Sp,Tp及びUp)を検出することで、心拍周期変化を取得する。
なお、位相検出部41による検出動作は撮像装置1による撮像動作と同期して行われる(図1参照)。
このように、時間変化検出部125では、外部より心拍周期変化が取得されることにより、心臓の周期的な時間変化を自動的に取得することが可能となる。
また、その他の心拍情報検出方法として、心電計に代えて、各フレーム画像から、心臓の横幅を検出することで、心拍周期を検出するようにしてもよい。具体的に、心臓の横幅を検出する手法としては、例えば、心臓の輪郭を検出して行う手法等が挙げられる。そして、この心臓の輪郭を検出する手法としては、種々の公知の手法を採用することができ、例えば、心臓の形状を示すモデル(心臓モデル)を用いて、X線画像中の特徴点と、心臓モデルの特徴点とを合わせて行くことで、心臓の輪郭を検出する手法(例えば、"Image feature analysis and computer-aided diagnosis in digital radiography: Automated analysis of sizes of heart and lung in chest images", Nobuyuki Nakamori et al., Medical Physics, Volume 17, Issue 3, May,1990, pp.342-350.等参照)等を採用することができる。
呼吸情報検出方法としては、別機器による計測結果を用いる(図39参照)。すなわち、時間変化検出部125は、外部より呼吸周期が設定可能に構成される。別機器により計測する方法としては、例えば、特許第3793102号に記載されているような装置を用いることができる。また、レーザー光とCCDカメラで構成されたセンサによるモニタリングにより実施する手法(例えば、"FG視覚センサを用いた就寝者の呼吸モニタリングに関する検討",青木 広宙,中島 真人,電子情報通信学会ソサイエティ大会講演論文集 2001年.情報・システムソサイエティ大会講演論文集, 320-321, 2001-08-29.等参照)等を採用することもできる。
なお、本実施形態では、図39で示される時間変化検出部125のように、サイクル検出装置16のサイクル検出部15が利用可能である。
このように、時間変化検出部125では、外部より呼吸周期が取得されることにより、横隔膜の周期的な時間変化を自動的に取得可能である。
<4−2.画像処理装置3Dの基本動作>
続いて、図40は、第4実施形態に係る画像処理装置3Dの動作フローを例示した図である。このうち、ステップSP2〜SP7は図31のステップSA2〜SA7と同様であるため、その説明は省略する。
続いて、図40は、第4実施形態に係る画像処理装置3Dの動作フローを例示した図である。このうち、ステップSP2〜SP7は図31のステップSA2〜SA7と同様であるため、その説明は省略する。
この第4実施形態に係る画像処理装置3Dでは、第1実施形態では存在しなかった時間変化検出部125が付加されたことで、下記の工程が加わる。
すなわち、図40で示されるように、ステップSP1では、動画像取得部110が、撮像装置1の読取制御装置14によって撮影された動画像を、撮影制御装置2を介して取得するとともに、時間変化検出部125が、撮像装置1のサイクル検出部15から呼吸周期変化を取得し、心電計4の位相検出部41から心拍周期変化を取得する。
そして、第1実施形態と同様の工程として、ステップSP2〜ステップSP7を経て、ステップSP8にて、ステップSA8またはステップST8と同様の工程を行うが、以下の点が付加される。すなわち、粗抽出処理内容制御部160Dが、時間変化検出部125にて取得した呼吸周期変化に基づき肺野における横隔膜領域近傍の肺野未確定領域RUを可変に設定し、また、時間変化検出部125にて取得した心拍周期変化に基づき肺野における心臓領域近傍の肺野未確定領域RUを可変に設定するように粗抽出決定部130Dに指令を与え、ステップSP3に移る。
そして、ステップSP3では、ステップSA3の工程内容に加え、粗抽出決定部130Dが当該指令に従って肺野未確定領域RUを決定する。そして、ステップSP3〜ステップSP8のループが第nのフレーム画像IG0の処理に対してまで繰り返される。
このように、全てのフレーム画像IG0において肺野領域RAを抽出するまで、ステップSE3〜ステップSE8の工程が繰り返され、全てのフレーム画像において肺野領域RAを抽出した後、本動作フローが終了される。
以上のように画像処理装置3Dでは、呼吸周期変化に基づき肺野における横隔膜領域近傍の肺野未確定領域RUを設定し、心拍周期変化に基づき肺野における心臓領域近傍の肺野未確定領域RUを設定する。すなわち、時間変動量の大きい横隔膜領域及び心臓領域に特化した重み付けを施しているため、より適切に肺野未確定領域RUが設定された第iの粗抽出領域を決定することができる。
<5.変形例>
以上、本発明の実施形態について説明してきたが、本発明は、上記実施形態に限定されるものではなく、様々な変形が可能である。
以上、本発明の実施形態について説明してきたが、本発明は、上記実施形態に限定されるものではなく、様々な変形が可能である。
※ 本実施形態では、画像処理装置3,3A,3B,3Dを個別に実施されるように各実施形態に分けて記載したが、これらの個別機能は、互いに矛盾しない限り、相互に組み合わせてもよい。
※ 肺野未確定領域RUの幅の設定は固定値でもよい。例えば、第3実施形態のフレーム間時間変化算出部135がテンプレートマッチングにおける位置変化に基づき算出したフレーム間時間変化情報を一旦決めると、次フレーム画像からはその幅を自動設定しても良い。
※ この発明では、身体の撮影対象となる部分のうち、物理的状態が周期的に時間変化する肺野領域を抽出対象としたが、それは、肺野領域だけでなく、蠕動などの不随意運動を行う他の臓器であってもよく、また、筋肉や関節などの随意運動を行う部位であってもよい。
※ 被写体は、人体だけでなく、動物の身体であってもよい。
1 撮影装置
2 撮影制御装置
3,3A,3B,3D 画像処理装置
4 心電計
31,31A,31B,31D 制御部
41 位相検出部
100,100A,100B,100D 放射線動態画像撮影システム
110 動画像取得部
120 画像補正部
125,125’ 時間変化検出部
130,130A,130B,130D 粗抽出決定部
135 フレーム間時間変化算出部
140 精密抽出決定部
150 後処理部
160,160A,160B,160D 粗抽出処理内容制御部
170 対象部位抽出部
RI 肺野内確定領域
RO 肺野外確定領域
RU 肺野未確定領域
IG0 フレーム画像
IG1 粗抽出画像
IG2,IG3 精密抽出画像
M 被写体(被検者)
2 撮影制御装置
3,3A,3B,3D 画像処理装置
4 心電計
31,31A,31B,31D 制御部
41 位相検出部
100,100A,100B,100D 放射線動態画像撮影システム
110 動画像取得部
120 画像補正部
125,125’ 時間変化検出部
130,130A,130B,130D 粗抽出決定部
135 フレーム間時間変化算出部
140 精密抽出決定部
150 後処理部
160,160A,160B,160D 粗抽出処理内容制御部
170 対象部位抽出部
RI 肺野内確定領域
RO 肺野外確定領域
RU 肺野未確定領域
IG0 フレーム画像
IG1 粗抽出画像
IG2,IG3 精密抽出画像
M 被写体(被検者)
Claims (12)
- 人体または動物の所定部位がX線撮影された動画像を取得する動画像取得部と、
前記動画像に基づく時間的に連続した第1〜第nのフレーム画像(nは2以上の整数)を順次受け、テンプレートを用いて、前記所定部位を含む領域の粗抽出処理を行うことで、前記第1〜第nのフレーム画像における第1〜第nの粗抽出領域を順次決定する粗抽出決定部と、
前記第1〜第nの粗抽出領域から前記所定部位の精密抽出処理を行うことで、前記第1〜第nのフレーム画像における第1〜第nの精密抽出領域を順次決定する精密抽出決定部と、
を備え、
第iのフレーム画像(2≦i≦nの何れかの整数)の粗抽出処理で用いられるテンプレートが第(i−1)のフレーム画像の粗抽出処理結果又は精密抽出処理結果に基づいて動的に変更されることを特徴とする、画像処理装置。 - 請求項1に記載の画像処理装置であって、
前記粗抽出決定部は、
第iのフレーム画像の粗抽出処理で用いられるテンプレートを第(i−1)の精密抽出領域の少なくとも一部を用いて設定することを特徴とする、画像処理装置。 - 請求項1に記載の画像処理装置であって、
前記テンプレートは、
前記所定部位の周期的な変化に対応して時系列に並ぶ複数のテンプレートを含む時間変化テンプレート群を含み、
前記粗抽出決定部は、
第(i−1)の粗抽出処理で特定された前記時間変化テンプレート群の中の1つに基づいて、第iのフレーム画像の粗抽出処理で用いられるテンプレートを前記時間変化テンプレート群の中から選択することを特徴とする、画像処理装置。 - 請求項1〜3のいずれか一項に記載の画像処理装置であって、
前記粗抽出決定部は、前記粗抽出処理として、
前記所定部位の内部であることが確定された所定部位内確定領域と、
前記所定部位の外部であることが確定された所定部位外確定領域と、
前記所定部位の内部または外部であることが未確定な所定部位未確定領域と、を特定し、
前記精密抽出決定部は、前記精密抽出処理として、
前記所定部位未確定領域が前記所定部位の内部であるか外部であるかを決定することを特徴とする、画像処理装置。 - 請求項4に記載の画像処理装置であって、
前記粗抽出決定部は、
前記所定部位の一部の時間変化を示す時間変化情報に基づいて前記所定部位未確定領域を変化させることを特徴とする、画像処理装置。 - 請求項5に記載の画像処理装置であって、
前記時間変化情報は、
前記第(i−1)の粗抽出領域及び前記第iの粗抽出領域の決定時に用いたテンプレートマッチングにおける位置変化に基づいて算出されることを特徴とする、画像処理装置。 - 請求項5に記載の画像処理装置であって、
前記所定部位は、肺野領域であって、
前記時間変化情報は、呼吸情報であることを特徴とする、画像処理装置。 - 請求項5に記載の画像処理装置であって、
前記所定部位は、肺野領域であって、
前記時間変化情報は、心拍情報であることを特徴とする、画像処理装置。 - 請求項1〜6のいずれか一項に記載の画像処理装置であって、
前記所定部位は、
肺野領域であることを特徴とする、画像処理装置。 - 請求項9に記載の画像処理装置であって、
前記テンプレートは、肺野領域の複数の位置に対応して分割された複数のテンプレートを含むことを特徴とする、画像処理装置。 - 人体または動物の所定部位がX線撮影された画像に対して、テンプレートマッチング処理を用いて当該所定部位を抽出する抽出処理機能を備え、
前記テンプレートマッチング処理に用いるテンプレートは、
各々が前記所定部位を決定可能な複数枚の部分テンプレートの組合せを含むことを特徴とする、画像処理装置。 - 請求項11に記載の画像処理装置であって、
前記所定部位は肺野領域を含み、
前記テンプレートは、
横隔膜の形状を表現した横隔膜テンプレートと、
心臓の形状を表現した心臓テンプレートと、
肺尖部の形状を表現した肺尖部テンプレートと、
大動脈弓の形状を表現した大動脈弓テンプレートと、の組合せを含み、
前記テンプレートマッチング処理は、
前記横隔膜テンプレート、前記肺尖部テンプレート、前記心臓テンプレートまたは前記大動脈弓テンプレートの順番にてマッチングさせることを特徴とする、画像処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013543454A JP5510619B1 (ja) | 2012-06-20 | 2013-06-12 | 画像処理装置 |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012138364 | 2012-06-20 | ||
JP2012138364 | 2012-06-20 | ||
PCT/JP2013/066231 WO2013191061A1 (ja) | 2012-06-20 | 2013-06-12 | 画像処理装置 |
JP2013543454A JP5510619B1 (ja) | 2012-06-20 | 2013-06-12 | 画像処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP5510619B1 true JP5510619B1 (ja) | 2014-06-04 |
JPWO2013191061A1 JPWO2013191061A1 (ja) | 2016-05-26 |
Family
ID=49768660
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013543454A Active JP5510619B1 (ja) | 2012-06-20 | 2013-06-12 | 画像処理装置 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP5510619B1 (ja) |
WO (1) | WO2013191061A1 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6221770B2 (ja) * | 2014-01-24 | 2017-11-01 | コニカミノルタ株式会社 | 画像処理装置、およびプログラム |
JP6237353B2 (ja) * | 2014-03-07 | 2017-11-29 | コニカミノルタ株式会社 | 画像処理装置、画像撮影システム及び画像処理プログラム |
JP2017205142A (ja) * | 2016-05-16 | 2017-11-24 | コニカミノルタ株式会社 | 動態解析システム |
JP2018000312A (ja) * | 2016-06-28 | 2018-01-11 | 国立大学法人 大分大学 | 肺結節明瞭化画像における背景ノイズの抑制方法 |
JP6833444B2 (ja) * | 2016-10-17 | 2021-02-24 | キヤノン株式会社 | 放射線撮影装置、放射線撮影システム、放射線撮影方法、及びプログラム |
JP7299587B2 (ja) * | 2019-02-05 | 2023-06-28 | 株式会社リコー | 情報処理装置、発話認識システム及び発話認識プログラム |
JP7318272B2 (ja) | 2019-03-29 | 2023-08-01 | 株式会社ニデック | 眼科撮影装置、および、眼科用画像処理プログラム |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08110939A (ja) * | 1994-10-12 | 1996-04-30 | Konica Corp | 画像の位置合わせ処理装置及び画像間演算処理装置 |
JP2001078996A (ja) * | 1999-03-19 | 2001-03-27 | Nippon Telegr & Teleph Corp <Ntt> | 3次元断層画像読影方法、自動照合方法、及びその装置並びにそのプログラムを記録した記録媒体 |
JP2003006661A (ja) * | 2001-06-22 | 2003-01-10 | Fuji Photo Film Co Ltd | 心胸郭輪郭検出装置 |
JP2005013363A (ja) * | 2003-06-24 | 2005-01-20 | Masakazu Yagi | 画像解析装置 |
WO2008044572A1 (fr) * | 2006-10-04 | 2008-04-17 | Hitachi Medical Corporation | dispositif de diagnostic d'images médicales |
JP2010268979A (ja) * | 2009-05-22 | 2010-12-02 | Konica Minolta Medical & Graphic Inc | 動画像処理装置及びプログラム |
-
2013
- 2013-06-12 WO PCT/JP2013/066231 patent/WO2013191061A1/ja active Application Filing
- 2013-06-12 JP JP2013543454A patent/JP5510619B1/ja active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08110939A (ja) * | 1994-10-12 | 1996-04-30 | Konica Corp | 画像の位置合わせ処理装置及び画像間演算処理装置 |
JP2001078996A (ja) * | 1999-03-19 | 2001-03-27 | Nippon Telegr & Teleph Corp <Ntt> | 3次元断層画像読影方法、自動照合方法、及びその装置並びにそのプログラムを記録した記録媒体 |
JP2003006661A (ja) * | 2001-06-22 | 2003-01-10 | Fuji Photo Film Co Ltd | 心胸郭輪郭検出装置 |
JP2005013363A (ja) * | 2003-06-24 | 2005-01-20 | Masakazu Yagi | 画像解析装置 |
WO2008044572A1 (fr) * | 2006-10-04 | 2008-04-17 | Hitachi Medical Corporation | dispositif de diagnostic d'images médicales |
JP2010268979A (ja) * | 2009-05-22 | 2010-12-02 | Konica Minolta Medical & Graphic Inc | 動画像処理装置及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
JPWO2013191061A1 (ja) | 2016-05-26 |
WO2013191061A1 (ja) | 2013-12-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5510619B1 (ja) | 画像処理装置 | |
JP6833444B2 (ja) | 放射線撮影装置、放射線撮影システム、放射線撮影方法、及びプログラム | |
JP5643304B2 (ja) | 胸部トモシンセシスイメージングにおけるコンピュータ支援肺結節検出システムおよび方法並びに肺画像セグメント化システムおよび方法 | |
EP2916738B1 (en) | Lung, lobe, and fissure imaging systems and methods | |
US9111174B2 (en) | Machine learnng techniques for pectoral muscle equalization and segmentation in digital mammograms | |
US8582854B2 (en) | Method and system for automatic coronary artery detection | |
JP6350522B2 (ja) | 画像処理装置及びプログラム | |
JP6564018B2 (ja) | 放射線画像の肺野セグメンテーション技術及び骨減弱技術 | |
US8428329B2 (en) | Image processing apparatus, image processing method, and computer-readable medium | |
JP5197140B2 (ja) | X線透視装置、動画処理方法、プログラム及び記憶媒体 | |
JP2004105737A (ja) | 心臓磁気共振潅流データのための統合的画像記録方法 | |
JP6361435B2 (ja) | 画像処理装置及びプログラム | |
JP5880332B2 (ja) | 画像処理装置及びプログラム | |
JP2004188202A (ja) | デジタル胸部放射線写真の自動分析方法 | |
JP6927020B2 (ja) | 動態画像処理方法、動態画像処理装置及びプログラム | |
JP5051025B2 (ja) | 画像生成装置、プログラム、および画像生成方法 | |
EP2178046A2 (en) | Multi-image correlation | |
JP2020527992A (ja) | 動き補償された心臓弁の再構築 | |
JP6789620B2 (ja) | 画像処理装置及びその制御方法、コンピュータプログラム | |
JP2014023606A (ja) | 画像処理装置及びプログラム | |
EP3494544B1 (en) | Robust pulmonary lobe segmentation | |
JP7052103B2 (ja) | 放射線撮影装置、放射線撮影システム、放射線撮影方法、及びプログラム | |
JP2016171961A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2015131057A (ja) | 画像処理装置、およびプログラム | |
JP7454456B2 (ja) | 画像処理装置、画像処理方法、及び、プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140225 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140310 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5510619 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |