JP2019098167A - 情報処理装置、情報処理システム、情報処理方法およびプログラム - Google Patents
情報処理装置、情報処理システム、情報処理方法およびプログラム Download PDFInfo
- Publication number
- JP2019098167A JP2019098167A JP2018217565A JP2018217565A JP2019098167A JP 2019098167 A JP2019098167 A JP 2019098167A JP 2018217565 A JP2018217565 A JP 2018217565A JP 2018217565 A JP2018217565 A JP 2018217565A JP 2019098167 A JP2019098167 A JP 2019098167A
- Authority
- JP
- Japan
- Prior art keywords
- image
- roi
- medical image
- roi image
- medical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0007—Image acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30068—Mammography; Breast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
【課題】 関心領域を精度よく設定できる装置を提供する。【解決手段】 第1の医用画像に含まれる第1の関心領域を含む第1のROI画像と、第2の医用画像に含まれる第2の関心領域を含む第2のROI画像とを取得し、第1のROI画像と第2のROI画像とに基づいて第3のROI画像を生成し、第3の医用画像と第3のROI画像とを重畳して表示部に表示させる。【選択図】 図3
Description
本明細書の開示は、情報処理装置、情報処理システム、情報処理方法およびプログラムに関する。
医師は医用画像の観察において、例えば病変領域など関心をもって観察する一部の領域を、関心領域(region of interest:ROI)として当該医用画像に設定する場合がある。
特許文献1には、複数の医用画像の比較読影を簡便に行うことを目的として、医用画像データから取得した関心領域の画像データを、他の医用画像や、異種のモダリティで収集された医用画像に重畳表示することが開示されている。
医用画像が撮像される状況や撮像装置の原理によって、関心領域の部位が医用画像に描出される態様が、異なる場合がある。このような場合にも、より精度よく関心領域を設定できるように、さらなる改善が求められている。
本発明の実施形態に係る情報処理装置は、第1の医用画像に含まれる第1の関心領域を含む第1のROI画像と、前記第1の医用画像と異なる第2の医用画像に含まれる第2の関心領域を含む第2のROI画像とを取得する取得手段と、前記第1のROI画像と前記第2のROI画像とに基づいて第3のROI画像を生成する生成手段と、前記第1の医用画像及び前記第2の医用画像と異なる第3の医用画像と、前記第3のROI画像とを重畳して表示部に表示させる表示制御手段と、を有することを特徴とする。
本発明の実施形態に係る情報処理装置によれば、医用画像における関心領域をより精度よく表示することができる。
[第1の実施形態]
医用画像撮像装置(以下、モダリティと称する。)により生成されたボリュームデータに基づいた画像を表示するイメージング技術として、超音波イメージング、核磁気共鳴イメージング、光音響イメージングなどがある。
医用画像撮像装置(以下、モダリティと称する。)により生成されたボリュームデータに基づいた画像を表示するイメージング技術として、超音波イメージング、核磁気共鳴イメージング、光音響イメージングなどがある。
超音波イメージングは、被検体に照射された超音波が被検体内で反射し、戻ってきた超音波に基づいて組織の形状や性状を画像化するものである。より具体的には、超音波イメージングは、被検体に照射された超音波が生体内の組織の境界で反射される、エコー信号の強弱に基づいて、周辺組織と異なる組織を、周辺組織と異なる輝度で画像化する。超音波イメージングにより取得された画像を、以下では超音波画像と称する。本実施形態においては、超音波画像の一例として、乳房に対する超音波ビームの走査に合わせて形成された断層像である、乳房のBモード画像を用いて説明する。
核磁気共鳴イメージング(以下、MRIと称する。)は、一定の磁場中におかれた被検体に対してラジオ波を照射して生じる磁気共鳴現象を利用して、組織の磁気的性質の違いを画像化するものである。MRIにより取得された画像を、以下ではMRI画像と称する。本実施形態においては、MRI画像の一例として、ガドリニウム造影剤を用いてMRIマンモグラフィにより撮像された乳房の断層像を用いて説明する。
光音響イメージングは、光源から発生したパルス光を生体に照射し、生体内で伝播・拡散したパルス光のエネルギーを吸収した生体組織から発生した光音響波を検出して当該パルス光のエネルギーを吸収した生体組織(光吸収体)の空間分布を画像化するものである。光音響イメージングでは、腫瘍などの被検部位とそれ以外の組織との光エネルギーの吸収率の差を利用し、被検部位が照射された光エネルギーを吸収して瞬間的に膨張する際に発生する弾性波(光音響波)をトランスデューサで受信する。より具体的には、光音響イメージングは、光音響波の発生音圧(初期音圧)、光吸収エネルギー密度、及び光吸収係数、生体を構成する物質の濃度(酸素飽和度など)などの少なくとも一つの生体情報の3次元空間分布を表すボリュームデータを取得する。光音響イメージングにより、被検体内部の光学特性に応じた、様々な種類の画像を得ることができる。光音響イメージングにより取得された画像を、以下では光音響画像と称する。例えば、光音響画像には吸収密度分布を示す吸収係数画像が含まれる。また、吸収係数画像から、酸化ヘモグロビン、還元ヘモグロビン、水、脂肪、コラーゲンといった生体分子の存在や、比率等を示す画像が生成される。例えば、酸化ヘモグロビンと還元ヘモグロビンとの比率に基づいて、ヘモグロビンの酸素との結合状況を示す指標である酸素飽和度に関する画像が得られる。本実施形態においては、光音響画像の一例として乳房における血管を画像化した断層像を用いて説明する。また、以下では超音波と光音響波とを音響波と称する場合がある。
また近年では、上述の各種の医用画像を含め、診断に用いられる医用画像や診断に関する各種の情報が電子化されている。医用画像を撮像する装置と、当該装置と接続される各種の装置との間の情報連携のために、例えばDICOM(Digital Imaging and Communications in Medicine)規格が用いられることが多い。DICOMは医用画像のフォーマットと、それらの画像を扱う装置間の通信プロトコルを定義した規格である。DICOMに基づいてやりとりされる対象となるデータは情報オブジェクト(IOD:Information Object Definitions)と呼ばれる。以下では、情報オブジェクトをIOD、或いはオブジェクトと称する場合がある。IODの例としては、医用画像、患者情報、検査情報、構造化レポート等が挙げられ、医用画像を用いた検査や治療にかかわる様々なデータがその対象となり得る。
DICOMに基づいて取り扱われる画像、すなわちIODである画像は、付帯情報と画像データとで構成される。付帯情報には、例えば患者、検査、シリーズ、画像に関する情報が含まれる。付帯情報はDICOMデータエレメントと呼ばれるデータ要素の集まりで構成される。各々のDICOMデータエレメントにはデータ要素を識別するためのタグが付加される。DICOMデータエレメントの一例である、ピクセルデータ(画像データ)には、画像データであることを示すタグが付加される。付帯情報のそれぞれにおいても、例えば患者氏名には、患者氏名であることを示すタグが付加される。当該付帯情報と当該画像データをDICOMデータセットとする場合、IODは当該DICOMデータセットに対するDICOMファイルメタ情報をさらに含んでもよい。DICOMファイルメタ情報は、例えばIOD(DICOMファイル)を作成したアプリケーションの情報を含む。
医師は、例えば乳房を撮像した医用画像を観察し、腫瘍と考えられる部位を関心領域として設定する。造影剤を用いて取得された画像では、関心領域を腫瘍領域とした場合に、関心領域が実際の生体内の腫瘍領域よりも大きく設定される傾向がある。これは、腫瘍領域では腫瘍血管などから造影剤が周囲に染み出すことによると考えられる。また、超音波診断装置で収集された超音波画像を用いると、腫瘍領域と同程度の大きさの関心領域が設定される傾向にある。しかしながら、超音波画像では、腫瘍領域の後方境界が不鮮明となることがあり、関心領域が小さく設定される場合もある。
図1(a)〜(c)は、同じ被検体を異なるモダリティによりそれぞれ取得した医用画像の一例を示す図である。図1(a)は、血管101を画像化した光音響画像120である。血管101は、血管内の血液中に存在するヘモグロビンの吸収係数を画像輝度として表示させたものである。図1(b)は、腫瘍111が描出された超音波画像100である。図1(c)は、造影剤により腫瘍121を強調して画像化したMRI画像110である。
図1(a)から分かるように、血管101を描出する光音響画像120のみでは、腫瘍の領域を確定することが難しい場合がある。これは、光音響画像120が腫瘍組織の情報を反映しない場合があるためである。このため、光音響画像120を用いて腫瘍の周辺や内部で血管新生により発生した血管を把握するためには、光音響画像120と、超音波画像100やMRI画像110などの腫瘍が画像化されている画像とを比較する場合がある。複数の医用画像を比較する手法は、例えば複数の医用画像を並列に表示させる手法や、重畳表示が挙げられる。例えば、乳がんを含む乳房を被検体とした場合、乳房内および乳がんに関連する血管を表示する光音響画像と、乳がんの腫瘍領域を表示する超音波画像やMRI画像とを取得する。取得した光音響画像100と、超音波画像100やMRI画像110などを重畳表示して、情報を補完する方法があるが、互いの画像の輝度が干渉し合うため、それぞれの画像の視認性が低下する場合がある。
また別の方法として、医用画像における腫瘍領域に対する関心領域を含む画像データを生成して、当該医用画像に重畳表示する方法がある。本実施形態においてはROIとして医用画像における腫瘍領域を抽出した領域である場合を例に説明する。また、以下ではROIを含む画像データをROI画像と称する。図1(b)のROI画像130は、超音波画像100の腫瘍111の領域から抽出した、ROI131を含むボリュームデータである。また、図1(c)のROI画像140は、MRI画像110の腫瘍121の領域から抽出した、ROI141を含むボリュームデータである。
ここで、ROI131とROI141は同じ生体の腫瘍から生成したROIであるにも関わらず、ROIの大きさが異なることが分かる。具体的には、ROI141の方がROI131よりも大きくなっている。これは、超音波画像100とMRI画像110の特徴の差によるものである。超音波画像100では、腫瘍111は前述のとおり実際の腫瘍と同程度の大きさで画像化される場合が多いが、超音波画像上で画像化される腫瘍の境界は不鮮明な場合が多く、誤検出される場合もある。具体的には、腫瘍表面の凹凸等の影響を受けて、実際の腫瘍よりも小さく画像化されることがある。超音波画像100の腫瘍111は、実施の腫瘍よりも小さく画像化された例であり、ROI131も実際の腫瘍よりも小さい大きさとなっている。MRI画像110では、腫瘍121は実際の腫瘍よりも大きく画像化されることが多い。これは、腫瘍内に注入された造影剤が、時間経過とともに周辺組織へ染み出すことが、理由と考えられる。
図1(a)に、光音響画像120にROI131とROI141を重畳表示した例を併せて示している。図から分かるように、同じ腫瘍に対して抽出された二つのROIが、異なる大きさで光音響画像100に表示されていることが分かる。つまり、ユーザが例えば光音響画像とROIを併せて観察する際、ROI画像を生成するのに用いた医用画像によって、光音響画像を観察する医師にとって観察対象となる腫瘍の大きさが異なって見えるおそれがある。
本実施形態に係る情報処理装置は、異なる複数のモダリティで取得された医用画像から抽出されたROIに基づいて、新たにROIを生成する。これにより、複数のモダリティにおいてROIとして設定されるべき領域が描出される態様が異なっていても、ROIを精度よく設定できるようにすることを目的とする。
以下に図面を参照しつつ、本実施形態について説明する。ただし、以下に記載されている構成部品の寸法、材質、形状およびそれらの相対配置などは、発明が適用される装置の構成や各種条件により適宜変更されるべきものであり、本発明の範囲を以下の記載に限定する趣旨のものではない。
第1の実施形態は、光音響画像に、第1のROIと第2のROIの差分領域の中間値から生成した、第3のROIを示す画像を光音響画像に重畳表示する、情報処理装置200の例を説明する。
<情報処理装置200の構成>
図2は第1の実施形態に係る情報処理装置200の機能構成の一例を示す図である。情報処理装置200は、記憶部220、ROI生成部230、表示制御部240、ユーザ指示取得部260を有する。また、情報処理装置200は外部記憶部210及び表示部250と接続されている。
図2は第1の実施形態に係る情報処理装置200の機能構成の一例を示す図である。情報処理装置200は、記憶部220、ROI生成部230、表示制御部240、ユーザ指示取得部260を有する。また、情報処理装置200は外部記憶部210及び表示部250と接続されている。
<<外部記憶部210>>
外部記憶部210は、様々なモダリティによりそれぞれ取得された、複数の医用画像を記憶する。外部記憶部210は、情報処理装置200の外部に配置されている。本実施形態において外部記憶部210は、サーバなどの記録媒体から構成され、通信ネットワークに接続されている。外部記憶部210は、例えばPACS(Picture Archiving and Communication System)である。
外部記憶部210は、様々なモダリティによりそれぞれ取得された、複数の医用画像を記憶する。外部記憶部210は、情報処理装置200の外部に配置されている。本実施形態において外部記憶部210は、サーバなどの記録媒体から構成され、通信ネットワークに接続されている。外部記憶部210は、例えばPACS(Picture Archiving and Communication System)である。
本実施形態において外部記憶部210は、それぞれ異なるモダリティにより取得された第1の医用画像100と第2の医用画像110と第3の医用画像120とを少なくとも記憶する。第1の医用画像100は例えば超音波画像であり、第2の医用画像110は例えばMRI画像であり、第3の医用画像120は例えば光音響画像である。
本実施形態において、第1の医用画像100、第2の医用画像110、第3の医用画像120はそれぞれDICOM規格に則って記憶される。これらの医用画像はそれぞれが取得されたモダリティにより、撮像時の被検体の体位が異なるため、それぞれの医用画像の位置情報が異なる場合がある。この場合は、少なくともいずれか一つの医用画像を変形する処理を行って、位置情報を合わせることができる。以下では、位置情報を合わせるために少なくともいずれか一つの医用画像を変形する処理を位置合わせと称する。本実施形態において、第1の医用画像100、第2の医用画像110、第3の医用画像120は予め位置合わせされているものとする。
また、外部記憶部210は第1のROI画像150と第2のROI画像160とを記憶する。第1のROI画像150と第2のROI画像160は、異なるモダリティで取得された医用画像を用いて生成されたROI画像である。本実施形態では、第1のROI画像150は第1の医用画像100を用いて生成されたROI画像であり、第2のROI画像160は第2の医用画像110を用いて生成されたROI画像である。本実施形態では、位置合わせされた医用画像を元に生成された、ROIを含むボリュームデータである第1のROI画像150、第2のROI画像160がそれぞれ記憶される。すなわち、本実施形態において第1のROI画像150と第2のROI画像は、第1の医用画像100及び第2の医用画像110と同じボリュームサイズを有していて、ボリューム内にROIの情報のみが格納されている画像となる。
本実施形態において、第1のROI画像150、第2のROI画像160は、DICOM規格に則って記憶される。第1のROI画像150は、第1のROI画像150を生成するのに用いられた医用情報である第1の医用画像100の付帯情報を有していてもよい。例えば、第1のROI画像150は、第1の医用画像100を取得したモダリティの情報を付帯情報に有していてもよい。それぞれの抽出元の生体情報画像のモダリティ情報を画像に格納することができる。例えば、第1のROI画像150と第2のROI画像160がDICOM画像であった場合、DICOM画像のヘッダー情報内に任意のタグ番号に対応したデータ要素として、モダリティ情報を格納することができる。ユーザは、このヘッダー情報を参照することで、ROI画像の抽出元の生体情報画像のモダリティ情報を確認することができる。
<<記憶部220>>
記憶部220は、ハードディスクやフラッシュメモリなどの記録媒体から構成される。外部記憶部210から通信ネットワークを介して、医用画像やROI画像を取り込み保存する。本実施形態においては、記憶部220は医師などのユーザが観察の対象として選択した第3の医用画像120と、ユーザが指定したROI画像(第1のROI画像150、第2のROI画像160)とを外部記憶部210から取得する。記憶部220は、ユーザの操作入力に応じて、記憶しているデータやファイルを外部記憶部210に出力してもよい。
記憶部220は、ハードディスクやフラッシュメモリなどの記録媒体から構成される。外部記憶部210から通信ネットワークを介して、医用画像やROI画像を取り込み保存する。本実施形態においては、記憶部220は医師などのユーザが観察の対象として選択した第3の医用画像120と、ユーザが指定したROI画像(第1のROI画像150、第2のROI画像160)とを外部記憶部210から取得する。記憶部220は、ユーザの操作入力に応じて、記憶しているデータやファイルを外部記憶部210に出力してもよい。
<<ROI生成部230>>
ROI生成部230は、第3のROI画像170を生成する。ROI生成部230としての画像処理機能を担うユニットは、CPUやGPU(Graphics Processing Unit)等のプロセッサ、FPGA(Field Programmable Gate Array)チップ等の演算回路で構成される。これらのユニットは、単一のプロセッサや演算回路から構成されるだけでなく、複数のプロセッサや演算回路から構成されていてもよい。本実施形態において、プロセッサと称する場合にFPGAを含んでよい。
ROI生成部230は、第3のROI画像170を生成する。ROI生成部230としての画像処理機能を担うユニットは、CPUやGPU(Graphics Processing Unit)等のプロセッサ、FPGA(Field Programmable Gate Array)チップ等の演算回路で構成される。これらのユニットは、単一のプロセッサや演算回路から構成されるだけでなく、複数のプロセッサや演算回路から構成されていてもよい。本実施形態において、プロセッサと称する場合にFPGAを含んでよい。
ROI生成部230は、第1のROI画像150と第2のROI画像160とに基づいて、第3のROI画像170を生成する。ROI生成部230は、ユーザによって選択された医用画像と対応するROI画像を取得する。ROI生成部230は、取得した第1のROI画像150と第2のROI画像160との差分領域から、第3のROI画像170を生成する。本実施形態においては、ROI生成部230は差分領域の中間値に基づいて第3のROI画像170を生成する。例えば、第1のROI画像の重心から放射状に線を引き、第1のROI画像の外縁と第2のROI画像の外縁に交わる線分の中点を当該中間値とする。第2のROI画像の重心から放射状に線を引き、第2のROI画像の外縁と第1のROI画像の外縁に交わる線分の中点を当該中間値としてもよい。別の実施形態では、ROI生成部230は第2のROI画像から第1のROI画像を差分した差分領域において、第1のROI画像の外縁の各点から、当該各点からの法線が第2のROI画像の外縁と交わる点までの線分の中点を当該中間値とする。それぞれの中点からなる面が第3のROI画像の外縁となる。本実施形態において、第3のROI画像は中間値に基づいて生成された外縁のみを有するアノテーション画像である。
ROI生成部230は、条件取得部261が受け付けたユーザの条件に基づいて、第3のROI画像170を生成してもよい。また、ROI生成部230で生成された第3のROI画像170は、記憶部220へ保存されてもよい。保存される場合は、第3のROI画像170が重畳して表示される第3の医用画像と関連づけて保存されてもよいし、第3のROI画像を生成するのに用いられた第1のROI画像150と第2のROI画像160との少なくともいずれか一方に関連づけて保存されてもよい。
<<表示制御部240>>
表示制御部240は、集積回路やビデオRAM(Random Access Memory)などで構成される。表示制御部240は、信号取得部262からのユーザ指示を示す信号を受けて、表示部250へ表示する医用画像や、当該医用画像に重畳表示するROI画像などの表示内容を制御する。また、表示制御部240はボリュームデータに基づいた画像を操作するためのGUIを表示部250に表示させてもよい。
表示制御部240は、集積回路やビデオRAM(Random Access Memory)などで構成される。表示制御部240は、信号取得部262からのユーザ指示を示す信号を受けて、表示部250へ表示する医用画像や、当該医用画像に重畳表示するROI画像などの表示内容を制御する。また、表示制御部240はボリュームデータに基づいた画像を操作するためのGUIを表示部250に表示させてもよい。
<<表示部250>>
表示部250は、例えば液晶ディスプレイや有機EL(Electro Luminescence)、FED(Field Emission Display)、メガネ型ディスプレイ、ヘッドマウントディスプレイなどのディスプレイである。表示部250は情報処理装置200と接続されている。表示部250は表示制御部240からの制御に基づいて、医用画像やROI画像を表示する。
表示部250は、例えば液晶ディスプレイや有機EL(Electro Luminescence)、FED(Field Emission Display)、メガネ型ディスプレイ、ヘッドマウントディスプレイなどのディスプレイである。表示部250は情報処理装置200と接続されている。表示部250は表示制御部240からの制御に基づいて、医用画像やROI画像を表示する。
<<ユーザ指示取得部260>>
ユーザ指示取得部260は、条件取得部261と信号取得部262とを含む。条件取得部261は、ROI生成部230が第3のROI画像170を生成するための条件や、表示制御部240で制御する表示内容に関するユーザ入力を取得する。条件取得部261は、例えばこれらの条件が記載されたテキストファイルなどを保存する。別の実施形態では、条件取得部261は表示制御部240を介して表示部250に、ユーザが条件を入力するためのGUIを表示させてもよい。
ユーザ指示取得部260は、条件取得部261と信号取得部262とを含む。条件取得部261は、ROI生成部230が第3のROI画像170を生成するための条件や、表示制御部240で制御する表示内容に関するユーザ入力を取得する。条件取得部261は、例えばこれらの条件が記載されたテキストファイルなどを保存する。別の実施形態では、条件取得部261は表示制御部240を介して表示部250に、ユーザが条件を入力するためのGUIを表示させてもよい。
信号取得部262は、入力部(不図示)を介してユーザにより入力される信号を取得する。入力部(不図示)は、例えばマウス、キーボード、タッチパネル、ジョイスティック、スイッチボックス、音声を含む音を受信するマイクや、特定のジェスチャーを受け付ける入力部などである。入力部(不図示)は、情報処理装置200に接続されている。
図3は、情報処理装置200により行われる処理の一例を示すフローチャートである。
(S310:観察対象の医用画像を取得する工程)
記憶部220は、ユーザの選択に基づいて外部記憶部210から医用画像を取得する。本実施形態では、光音響画像である第3の医用画像120をユーザが観察対象として選択したものとする。
記憶部220は、ユーザの選択に基づいて外部記憶部210から医用画像を取得する。本実施形態では、光音響画像である第3の医用画像120をユーザが観察対象として選択したものとする。
(S320:第1のROI画像を取得する工程)
記憶部220は、ユーザの選択に基づいて第1のROI画像150として、超音波画像である第1の医用画像100を元に生成されたROIを含むボリュームデータを取得する。第1のROI画像150は複数の断層画像が連続した画像であってもよい。
記憶部220は、ユーザの選択に基づいて第1のROI画像150として、超音波画像である第1の医用画像100を元に生成されたROIを含むボリュームデータを取得する。第1のROI画像150は複数の断層画像が連続した画像であってもよい。
(S330:第2のROI画像を取得する工程)
記憶部220は、ユーザの選択に基づいて第2のROI画像160として、MRI画像である第2の医用画像110を元に生成されたROIを含むボリュームデータを取得する。第2のROI画像160は、複数の断層画像が連続した画像であってもよい。
記憶部220は、ユーザの選択に基づいて第2のROI画像160として、MRI画像である第2の医用画像110を元に生成されたROIを含むボリュームデータを取得する。第2のROI画像160は、複数の断層画像が連続した画像であってもよい。
(S340:医用画像を表示する工程)
工程S310で取得された第3の医用画像120が、表示制御部240により表示部250に表示される。ユーザは入力部(不図示)を介して操作入力を行い、当該操作入力を示す信号を信号取得部262が取得して表示制御部240へ信号を入力し、医用画像100の表示部250への表示を制御してもよい。
工程S310で取得された第3の医用画像120が、表示制御部240により表示部250に表示される。ユーザは入力部(不図示)を介して操作入力を行い、当該操作入力を示す信号を信号取得部262が取得して表示制御部240へ信号を入力し、医用画像100の表示部250への表示を制御してもよい。
(S350:第1のROI画像と第2のROI画像とを観察対象の医用画像に重畳表示する工程)
工程S320で取得された第1のROI画像150と第2のROI画像160とが、表示制御部240により、表示部250に表示されている第3の医用画像120へ重畳表示される。図4(a)に、光音響画像である第3の医用画像120に、第1のROI画像150と第2のROI画像160とを重畳表示した表示例を示す。ここで重畳表示される第1のROI画像150及び第2のROI画像160はROIの輪郭のみを示すアノテーション画像である。ユーザの操作入力を信号取得部262が取得して表示制御部240に信号を入力することで、第1のROI画像150と第2のROI画像160を重畳表示してもよい。
工程S320で取得された第1のROI画像150と第2のROI画像160とが、表示制御部240により、表示部250に表示されている第3の医用画像120へ重畳表示される。図4(a)に、光音響画像である第3の医用画像120に、第1のROI画像150と第2のROI画像160とを重畳表示した表示例を示す。ここで重畳表示される第1のROI画像150及び第2のROI画像160はROIの輪郭のみを示すアノテーション画像である。ユーザの操作入力を信号取得部262が取得して表示制御部240に信号を入力することで、第1のROI画像150と第2のROI画像160を重畳表示してもよい。
(S360:ユーザ指示条件を取得する工程)
条件取得部261は、第3のROI画像170を生成するための条件をユーザ指示条件として、ユーザの操作入力に基づいて取得する。ユーザは、第3のROI画像170は、第1のROI画像150と第2のROI画像160との差分領域から生成されるが、どちらの画像を元画像とし、どちらの画像を差し引くかをユーザ指示条件として情報処理装置200に入力することができる。ユーザは、表示部250に表示されている二つのROI画像の関係を確認した上で、ユーザ指示条件を入力することができる。またユーザは、当該差分領域内における第3のROI画像170の位置をユーザ指示条件として入力することができる。また表示制御部240は、第1のROI画像150と第2のROI画像160のそれぞれのモダリティ情報を表示部250に表示させ、ユーザは当該モダリティ情報を確認して、第3のROI画像170の位置をユーザ指示条件として入力することができる。
条件取得部261は、第3のROI画像170を生成するための条件をユーザ指示条件として、ユーザの操作入力に基づいて取得する。ユーザは、第3のROI画像170は、第1のROI画像150と第2のROI画像160との差分領域から生成されるが、どちらの画像を元画像とし、どちらの画像を差し引くかをユーザ指示条件として情報処理装置200に入力することができる。ユーザは、表示部250に表示されている二つのROI画像の関係を確認した上で、ユーザ指示条件を入力することができる。またユーザは、当該差分領域内における第3のROI画像170の位置をユーザ指示条件として入力することができる。また表示制御部240は、第1のROI画像150と第2のROI画像160のそれぞれのモダリティ情報を表示部250に表示させ、ユーザは当該モダリティ情報を確認して、第3のROI画像170の位置をユーザ指示条件として入力することができる。
本実施形態では、第2のROI画像160から第1のROI画像150を差し引いた差分領域の中間値を第3のROI画像170の位置とする場合を例に説明する。第3のROI画像170を生成するための条件は上記に限らず、例えば、第3のROI画像170を、第2のROI画像160から第1のROI画像150を差し引いた、帯状の領域としてもよい。
(S370:第3のROI画像を生成する工程)
工程S320と工程S330とでそれぞれ取得されたROI画像と、工程S360で取得されたユーザ指示条件とに基づいて、ROI生成部230は第3のROI画像170を生成する。一つの実施形態において、生成された第3のROI画像170も、医用画像100〜130と同じボリュームサイズを有するボリュームデータである。第3のROI画像170は複数の断層画像が連続した画像であってもよい。また、第3のROI画像170は生成に用いられた画像に関する情報を、付帯情報あるいは画像内(たとえばアノテーションとして)に有していてもよい。例えば、第3のROI画像170がDICOM画像であった場合、DICOM画像のヘッダー情報内に任意のタグ番号に対応したデータ要素として、生成に用いられた画像に関する情報を格納することができる。
工程S320と工程S330とでそれぞれ取得されたROI画像と、工程S360で取得されたユーザ指示条件とに基づいて、ROI生成部230は第3のROI画像170を生成する。一つの実施形態において、生成された第3のROI画像170も、医用画像100〜130と同じボリュームサイズを有するボリュームデータである。第3のROI画像170は複数の断層画像が連続した画像であってもよい。また、第3のROI画像170は生成に用いられた画像に関する情報を、付帯情報あるいは画像内(たとえばアノテーションとして)に有していてもよい。例えば、第3のROI画像170がDICOM画像であった場合、DICOM画像のヘッダー情報内に任意のタグ番号に対応したデータ要素として、生成に用いられた画像に関する情報を格納することができる。
(S380:第3のROI画像を観察対象の医用画像に重畳表示する工程)
表示制御部240は、工程S370で生成された第3のROI画像170を医用画像130に重畳表示する。図4(b)に、図4(a)の表示に第3のROI画像170を重畳表示した表示例を示す。信号取得部262は入力部(不図示)を介したユーザの操作入力を示す信号を取得して表示制御部240に入力することで、第3のROI画像170を重畳表示してもよい。
表示制御部240は、工程S370で生成された第3のROI画像170を医用画像130に重畳表示する。図4(b)に、図4(a)の表示に第3のROI画像170を重畳表示した表示例を示す。信号取得部262は入力部(不図示)を介したユーザの操作入力を示す信号を取得して表示制御部240に入力することで、第3のROI画像170を重畳表示してもよい。
以上により、第1の実施形態に係る情報処理装置200は第1のROI画像150と第2のROI画像160に基づいて生成された第3のROI画像170を観察対象の医用画像である第3の医用画像120へ重畳表示する。すなわち、医用画像が取得されたモダリティの違いによりROIの大きさが異なっている場合にも、情報処理装置200は精度よくROIを設定し、ROI画像としてユーザに提示する。ユーザは、実際の腫瘍領域により近いと考えられるROIの位置をROI画像により確認することができる。
[第2の実施形態]
第2の実施形態に係る情報処理装置200は、観察対象の医用画像に複数のROI画像を重畳表示させ、ユーザからの指示に応じて、表示するROI画像を切り替える。
第2の実施形態に係る情報処理装置200は、観察対象の医用画像に複数のROI画像を重畳表示させ、ユーザからの指示に応じて、表示するROI画像を切り替える。
第2の実施形態に係る情報処理装置200の機能構成及びハードウェア構成は第1の実施形態において説明したのと同様であるため、上述した説明を援用することによりここでの詳しい説明を省略する。
図5は、本実施形態に係る情報処理装置の処理の一例を示すフローチャートである。工程S510〜S580は、それぞれ図3に示す工程S310〜380と同様であるため、上述した説明を援用することによりここでの詳しい説明を省略する。第1の実施形態と異なる点は工程S590で、ユーザ指示に応じて表示するROI画像を切り替える工程が追加されている。
(S590:ユーザ指示に応じて表示するROI画像を切り替える工程)
表示制御部240は、ユーザの操作入力に応じて、観察対象である医用画像に重畳して表示させるROI画像を切り替えて表示する。より具体的には、第1のROI画像150と第2のROI画像160、第3のROI画像170のいずれか1つのROI画像が、ユーザの操作入力に応じて、切り替えて第3の医用画像120に重畳表示される。ユーザは入力部(不図示)を介して操作入力を行い、信号取得部262は当該操作入力を示す信号を取得して表示制御部240に入力する。表示制御部240は信号取得部262から入力される信号に応じて、表示部250に表示するROI画像を切り替える。一つの実施形態において入力部(不図示)はマウスであり、マウスのボタンに表示切替え機能を割り当てる。例えば、マウスの左ボタンにROI画像の非表示機能、右ボタンにROI画像の表示機能を割り当てることができる。信号取得部262は、マウスの左ボタンのクリックに伴う信号を取得し、表示制御部240はクリック時に表示部250に表示されているROI画像を非表示にする。また信号取得部262は、マウスの右ボタンのクリックに伴う信号を取得し、表示制御部240は表示部250に、クリック時に表示されているROI画像とは異なるROI画像を表示させる。例えば、右クリックが行われる毎に表示制御部240は、第3のROI画像170、第1のROI画像150、第2のROI画像160の順に切り替えて表示部250に表示させる。クリック時にROI画像が非表示である場合には、表示制御部240は表示部250に非表示の処理が行われた際のROI画像を表示させる。表示制御部240は、ROI画像を非表示にする方法として、所定の時間内で表示輝度が減少していくフェードアウト表示を行ってもよい。このとき条件取得部261は、フェードアウトに要する時間をユーザ指示条件としてユーザの入力する条件を取得することができる。また別の実施形態では、信号取得部262は表示部250にGUIを表示させ、表示制御部240は当該GUIを介した操作入力に基づいて表示するROI画像を切り替えてもよい。
表示制御部240は、ユーザの操作入力に応じて、観察対象である医用画像に重畳して表示させるROI画像を切り替えて表示する。より具体的には、第1のROI画像150と第2のROI画像160、第3のROI画像170のいずれか1つのROI画像が、ユーザの操作入力に応じて、切り替えて第3の医用画像120に重畳表示される。ユーザは入力部(不図示)を介して操作入力を行い、信号取得部262は当該操作入力を示す信号を取得して表示制御部240に入力する。表示制御部240は信号取得部262から入力される信号に応じて、表示部250に表示するROI画像を切り替える。一つの実施形態において入力部(不図示)はマウスであり、マウスのボタンに表示切替え機能を割り当てる。例えば、マウスの左ボタンにROI画像の非表示機能、右ボタンにROI画像の表示機能を割り当てることができる。信号取得部262は、マウスの左ボタンのクリックに伴う信号を取得し、表示制御部240はクリック時に表示部250に表示されているROI画像を非表示にする。また信号取得部262は、マウスの右ボタンのクリックに伴う信号を取得し、表示制御部240は表示部250に、クリック時に表示されているROI画像とは異なるROI画像を表示させる。例えば、右クリックが行われる毎に表示制御部240は、第3のROI画像170、第1のROI画像150、第2のROI画像160の順に切り替えて表示部250に表示させる。クリック時にROI画像が非表示である場合には、表示制御部240は表示部250に非表示の処理が行われた際のROI画像を表示させる。表示制御部240は、ROI画像を非表示にする方法として、所定の時間内で表示輝度が減少していくフェードアウト表示を行ってもよい。このとき条件取得部261は、フェードアウトに要する時間をユーザ指示条件としてユーザの入力する条件を取得することができる。また別の実施形態では、信号取得部262は表示部250にGUIを表示させ、表示制御部240は当該GUIを介した操作入力に基づいて表示するROI画像を切り替えてもよい。
以上により、第2の実施形態に係る情報処理装置200は異なる複数のモダリティにより取得されたROIの位置や、生成されたROI画像による実際の腫瘍領域に近いROIの位置について、ROI画像の表示を切り替えて表示する。これにより、医師などのユーザは、ROI画像を観察対象の医用画像に重畳表示しないで当該医用画像の観察を行うことができ、かつ、所望のROI画像の重畳表示により複数のROI画像及び観察対象の医用画像との関係性を確認することができる。
[第3の実施形態]
第3の実施形態に係る情報処理装置200は、第3のROI画像を第1のROI画像と第2のROI画像の差分から生成される帯状の領域を示す画像とし、その画像領域内に表示される医用画像の領域から診断指標を取得して表示する。
第3の実施形態に係る情報処理装置200は、第3のROI画像を第1のROI画像と第2のROI画像の差分から生成される帯状の領域を示す画像とし、その画像領域内に表示される医用画像の領域から診断指標を取得して表示する。
<情報処理装置の構成>
図6は、本実施形態に係る情報処理装置の機能構成の一例を示す図である。第1の実施形態及び第2の実施形態と共通する機能構成については、図2と同様の符号を付し、上述した説明を援用することによりここでの詳しい説明を省略する。第1の実施形態及び第2の実施形態との差異は、診断指標取得部270が設けられている点である。
図6は、本実施形態に係る情報処理装置の機能構成の一例を示す図である。第1の実施形態及び第2の実施形態と共通する機能構成については、図2と同様の符号を付し、上述した説明を援用することによりここでの詳しい説明を省略する。第1の実施形態及び第2の実施形態との差異は、診断指標取得部270が設けられている点である。
<<ROI生成部230>>
ROI生成部230は、第1のROI画像150と第2のROI画像160とに基づいて、第3のROI画像170を生成する。第3の実施形態においては、第3のROI画像は第1のROI画像と第2のROI画像の差分から生成される帯状の領域を有するボリュームデータである。この帯状の画像領域は、実際の腫瘍の境界位置を中心として、腫瘍外側の腫瘍周辺部や腫瘍内側を含む領域となる。
ROI生成部230は、第1のROI画像150と第2のROI画像160とに基づいて、第3のROI画像170を生成する。第3の実施形態においては、第3のROI画像は第1のROI画像と第2のROI画像の差分から生成される帯状の領域を有するボリュームデータである。この帯状の画像領域は、実際の腫瘍の境界位置を中心として、腫瘍外側の腫瘍周辺部や腫瘍内側を含む領域となる。
<<診断指標取得部270>>
診断指標取得部270は、観察対象の医用画像に対する画像処理により、医師の診断の補助となるような診断指標を取得する。診断指標取得部270は、CPUやGPU(Graphics Processing Unit)等のプロセッサ、FPGA(Field Programmable Gate Array)チップ等の演算回路で構成される。診断指標取得部270は、ROI生成部230と統合されてもよい。
診断指標取得部270は、観察対象の医用画像に対する画像処理により、医師の診断の補助となるような診断指標を取得する。診断指標取得部270は、CPUやGPU(Graphics Processing Unit)等のプロセッサ、FPGA(Field Programmable Gate Array)チップ等の演算回路で構成される。診断指標取得部270は、ROI生成部230と統合されてもよい。
観察対象の医用画像として光音響画像を用いる場合、例えば第3のROI画像170の画像領域に該当する第3の医用画像120の領域内に存在する、血管の本数を診断指標として取得することができる。診断指標取得部270は、光音響画像から血管を抽出し、抽出された血管本数を診断指標としてカウントする。一つの実施形態において診断指標取得部270は診断指標として、第3のROI画像170の画像領域に該当する第3の医用画像120の領域内の血管分布情報を取得する。血管分布情報は、例えば第3のROI画像170の画像領域に該当する第3の医用画像120の領域内における血管の粗密の程度を示す情報である。一つの実施形態において診断指標取得部270は診断指標として、取得された血管の血管径の情報を取得する。
腫瘍周辺では血管新生により血管が発生して腫瘍に向かって集簇することが知られている。また、腫瘍周辺から腫瘍内部に入ると血管径が細くなることも知られている。また、上記の血管本数に関する診断指標においては、血管本数が多いほど腫瘍(ROI)の悪性度が高いと考えられる。また、血管本数が所定の値より多い場合に、血管径に関する診断指標においては、血管系が細いほど、腫瘍(ROI)の悪性度が高いと考えられる。
一つの実施形態において診断指標取得部270は診断指標として、光音響画像である酸素飽和度画像に基づいて血管の酸素飽和度を取得する。診断指標は、血管1本毎の酸素飽和度、酸素飽和度別の血管本数頻度、第3のROI画像170の領域における酸素飽和度分布情報などである。腫瘍が活発に酸素を取り込むため、腫瘍周辺では酸素飽和度が低下傾向にあることが知られている。上記の酸素飽和度に関する診断指標においては、腫瘍の周辺領域すなわち第3のROI画像の領域において酸素飽和度が低いほど、腫瘍(ROI)の悪性度が高いと考えられる。なお、上記の診断指標はそれぞれ一例であり、上記の例に限定されない。本実施形態の第3のROI画像170は、上記の血管の変化が起きやすい領域を包含した画像領域を持つ。
図7は第3の実施形態に係る情報処理装置200により行われる処理の一例を示すフローチャートである。工程S710〜S760はそれぞれ、図3に示す工程S310〜360と同様であり、工程S790は工程S380と同様であるため、上述した説明を援用することによりここでの詳しい説明を省略する。
(S770:第3のROI画像を生成する工程)
ROI生成部230は、第1のROI画像150と第2のROI画像160との差分領域から、第3のROI画像170を生成する。本実施形態において第3のROI画像170は、帯状の画像領域を有する。
ROI生成部230は、第1のROI画像150と第2のROI画像160との差分領域から、第3のROI画像170を生成する。本実施形態において第3のROI画像170は、帯状の画像領域を有する。
(S780:診断指標を取得する工程)
診断指標取得部270は、第3のROI画像170の画像領域に該当する、第3の医用画像120の領域から診断指標を取得する。本実施形態では、診断指標取得部270が血管の本数と画像領域内での分布情報とを取得する場合を例に説明する。ユーザが光音響画像である第3の医用画像120に酸素飽和度画像が追加する場合、診断指標取得部270は取得された各血管に対応する酸素飽和度を併せて取得してもよい。
診断指標取得部270は、第3のROI画像170の画像領域に該当する、第3の医用画像120の領域から診断指標を取得する。本実施形態では、診断指標取得部270が血管の本数と画像領域内での分布情報とを取得する場合を例に説明する。ユーザが光音響画像である第3の医用画像120に酸素飽和度画像が追加する場合、診断指標取得部270は取得された各血管に対応する酸素飽和度を併せて取得してもよい。
(S800:診断指標を表示する工程)
表示制御部240は、工程S780で取得された診断指標を表示部250に表示する。本実施形態では、表示制御部240は第3の医用画像120に診断指標を重畳表示する。表示制御部240は取得された血管本数を生体情報画像の画像領域外に表示してもよい。また表示制御部240は、取得された血管本数を血管径に対応するヒストグラムとして表示してもよい。表示制御部240は、血管本数の分布情報を第3の画像領域170上に等高線図として表示してもよい。本実施形態で、光音響画像として酸素飽和度画像を用いた場合、表示制御部240は第3のROI画像170の画像領域上に酸素飽和度分布を等高線図として表示してもよい。
表示制御部240は、工程S780で取得された診断指標を表示部250に表示する。本実施形態では、表示制御部240は第3の医用画像120に診断指標を重畳表示する。表示制御部240は取得された血管本数を生体情報画像の画像領域外に表示してもよい。また表示制御部240は、取得された血管本数を血管径に対応するヒストグラムとして表示してもよい。表示制御部240は、血管本数の分布情報を第3の画像領域170上に等高線図として表示してもよい。本実施形態で、光音響画像として酸素飽和度画像を用いた場合、表示制御部240は第3のROI画像170の画像領域上に酸素飽和度分布を等高線図として表示してもよい。
上記等高線図を表示する場合に、表示制御部240は第1の実施形態に記載の第3のROI画像170(図4(b))を重畳表示してもよい。これにより、ユーザは診断指標を腫瘍位置に照らし合わせて確認することができる。
以上により、第3の実施形態に係る情報処理装置200は第3のROI画像を生成し、第3のROI画像で示される腫瘍周辺の領域に基づいてから診断指標を取得して表示する。
[変形例]
医用画像の例として超音波画像、MRI画像、光音響画像の3種を説明したが、本発明の対象はこれに限定されるものではない。対象とする医用画像は、CT(Computed Tomography)装置、デジタルラジオグラフィ、SPECT(Single Photon Emission CT)装置、PET(Positron Emission Tomography)装置、眼底カメラといった撮像装置の少なくともいずれかを用いて取得された医用画像でもよい。対象とする病変は腫瘍に限らず、被検体のいかなる部位の病変であってよい。
医用画像の例として超音波画像、MRI画像、光音響画像の3種を説明したが、本発明の対象はこれに限定されるものではない。対象とする医用画像は、CT(Computed Tomography)装置、デジタルラジオグラフィ、SPECT(Single Photon Emission CT)装置、PET(Positron Emission Tomography)装置、眼底カメラといった撮像装置の少なくともいずれかを用いて取得された医用画像でもよい。対象とする病変は腫瘍に限らず、被検体のいかなる部位の病変であってよい。
それぞれ異なるモダリティで取得された医用画像を第1の医用画像、第2の医用画像、第3の医用画像として用いる場合を例に説明したが、本発明はこれに限らない。例えば同じモダリティで取得された医用画像であって、画像化の手法が異なる医用画像を用いてもよい。同じモダリティで取得された医用画像であっても、造影剤の使用の有無や、取得された信号を画像化する手法の違いによって、腫瘍などの関心領域の描出のされ方が異なる場合が考えられる。したがって、造影剤を用いて撮像されたMRI画像を第1の医用画像とし、造影剤を用いないで撮像されたMRI画像を第2の医用画像とし、それぞれ第1のROI画像と第2のROI画像とを取得してもよい。そして、第3の医用画像を例えばCT画像とし、第1のROI画像と第2のROI画像とに基づいて取得された第3のROI画像と第3の医用画像とを重畳して表示させてもよい。すなわち、第3の医用画像は第1の医用画像及び第2の医用画像とは異なる原理により取得された医用画像であればよい。
記憶部220は、ユーザが指定した医用画像(第3の医用画像)に含まれる付帯情報に基づいて、関連するROI画像が記憶されているか否かを外部記憶部210に問い合わせ、該当するROI画像を外部記憶部210から取得してもよい。
ROI生成部230は、記憶部220を介して第1の医用画像100を取得し、当該取得した第1の医用画像100に基づいて第1のROI画像150を生成してもよい。また、ROI生成部230は、記憶部220を介して第2の医用画像110を取得し、当該取得した第2の医用画像110に基づいて第2のROI画像160を生成してもよい。記憶部220が第3の医用画像に含まれる付帯情報に基づいて第1のROI画像150及び第2のROI画像160が記憶されているか否かを外部記憶部210に問い合わせ、外部記憶部210に記憶されていないROI画像があった場合に、ROI生成部230は外部記憶部210に記憶されていないROI画像を生成してもよい。
ROI画像を生成する処理は、例えば医用画像から腫瘍である可能性が高い領域をセグメンテーションする処理を含む。外部記憶部210に記憶されているROI画像及びROI生成部230により生成されるROI画像は以下の手法により生成されてよい。セグメンテーションは、二値化や領域拡張といった手法、空間フィルタ(SobelフィルタやLaplacian of Gaussianフィルタ)などにより抽出したエッジを用いる手法、統計的分類器などによって画素ごとに領域か背景かを判定する分類器・クラスタリングを用いた手法、Snakes、動的輪郭モデル、レベルセットなど可変形状モデルを用いた手法、グラフカットなどの手法の少なくともいずれかの手法で行われる。
ROI画像は抽出された腫瘍領域の画像を含むボリュームデータである場合を例に説明したが、本発明はこれに限らない。ROI画像は、腫瘍領域を示すアノテーション画像であってもよい。当該アノテーション画像は、ボリュームデータであってよく、複数の断層画像が連続した画像であってもよい。第1のROI画像150及び第2のROI画像160がそれぞれアノテーション画像で表現される場合に、ROI生成部230は第3のROI画像170をアノテーション画像として生成する。アノテーション画像を生成する場合にも、上述のようにROI生成部230は第1のROI画像と第2のROI画像との差分領域に基づいて第3のROI画像を生成する。
ROI生成部230がROI画像を生成するための条件をユーザ指示条件として条件取得部261が取得する場合を例に説明したが、本発明はこれに限らない。例えば情報処理装置200はユーザ指示条件を取得しなくてもよい。ROI生成部230は、位置合わせされた第1のROI画像及び第2のROI画像とでROIを示す画像領域を比較して第1のROI画像と第2のROI画像との差分領域を求めてもよい。具体的には、ROI生成部230は第1のROI画像と第2のROI画像とで大きい方のROI画像から小さい方のROI画像を差分することにより差分領域を求めてもよい。別の実施形態では、ROI生成部230は第1のROI画像と第2のROI画像との差分の絶対値を差分領域として求めてもよい。
この観点で、ROI生成部230は第1の医用画像に含まれる第1の関心領域と、第2の医用画像に含まれる第2の関心領域とを比較する比較手段ととらえることができる。また、第3のROI画像は当該第1の関心領域と当該第2の関心領域との差分を示す情報ととらえることができる。
ROI生成部230は、観察対象である医用画像の付帯情報に基づいて、第1のROI画像150と第2のROI画像160とを選択してもよい。例えば、観察対象である医用画像を取得したモダリティの種類に応じて、第1のROI画像150と第2のROI画像160とを選択してもよい。すなわち、ROI生成部230は第3の医用画像の付帯情報からモダリティの種類の情報を読み出して、第1のROI画像と第2のROI画像とを選択してもよい。ROI生成部230は観察対象の医用画像が光音響画像である場合に、MRI画像と超音波画像とにそれぞれ基づくROI画像を選択してもよい。ユーザは、観察対象である医用画像のモダリティと、選択するROI画像のモダリティとを予め設定しておいてもよく、ROI生成部230は当該設定に基づいてROI画像を選択してもよい。ここで、選択の処理はROI生成部230が外部記憶部210に問い合わせを行い、問合せ結果に基づいて記憶部220を介して該当するデータを取り込んで取得する処理を含んでよい。
ROI生成部230は、取得した第1のROI画像と第2のROI画像とが位置合わせされていない場合、位置合わせ処理を行ってもよい。その場合、第1の医用画像100と第2の医用画像110とをそれぞれ取得して、位置合わせ処理を行ってもよい。また、ROI生成部230は第1のROI画像及び第2のROI画像と、第3のROI画像とが位置合わせされていない場合、位置合わせ処理を行ってよい。その場合、当該位置合わせが行われた第3の医用画像に対して、第3のROI画像が重畳される。
位置合わせ処理とは、2つの画像の対応する特徴同士の位置を合わせる処理であり、一方の画像上の位置(座標)を他方の画像上の位置(座標)へ写像する空間変換関数を取得する処理を含む。
上述の実施形態においては、第1のROI画像と第2のROI画像とがそれぞれ医用画像から生成された3次元画像である場合を例に説明したが、本発明はこれに限らない。第1のROI画像は第1の医用画像における関心領域の座標を示すデータであってもよく、第2のROI画像は第2の医用画像における関心領域の座標を示すデータであってもよい。本明細書において、「第1のROI画像」及び「第2のROI画像」はそれぞれ、関心領域の座標を示すデータの意味を含む。すなわち、ROI画像は、関心領域を表す情報のことである。
第1の実施形態における工程S350、第2の実施形態における工程S550、第3の実施形態における工程S750はそれぞれ必須の工程ではない。また、第1の実施形態における工程S320〜S340の順序は図3の例に限らず、並行して行われても任意の順序で行われてもよい。第2の実施形態における工程S520〜S540の順序は図5の例に限らず、並行して行われても任意の順序で行われてもよい。第3の実施形態における工程S720〜S740の順序は図7の例に限らず、並行して行われても任意の順序で行われてもよい。
上述の実施形態においては、第1のROI画像と第2のROI画像との二つのROI画像に基づいて第3のROI画像を生成する場合を例に説明したが、本発明はこれに限らない。例えば第1のROI画像のみを用いて第3のROI画像を生成してもよい。第1の医用画像が超音波画像である場合には、第1のROI画像は実際の関心領域よりも小さい領域を示す可能性が有るので、ROI生成部230は第3のROI画像として第1のROI画像から拡大した領域を示す画像を生成する。当該拡大の程度は操作者が事前に設定しておいてもよいし、初期値として生成したROI画像を操作者が任意に変更できる構成としてもよい。ROI生成部230は造影MRI画像など、実際の関心領域よりも大きい領域を示す可能性が有るROI画像についても同様に、適宜縮小した画像をROI画像として生成してもよい。第1のROI画像を拡大または縮小して第3のROI画像を生成する場合、ROI生成部230は第1のROI画像が示し領域と、拡大または縮小されたマージンの領域とを区別可能に第3のROI画像を生成してもよい。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
上述の各実施形態における情報処理装置は、単体の装置として実現してもよいし、複数の装置を互いに通信可能に組合せて上述の処理を実行する形態としてもよく、いずれも本発明の実施形態に含まれる。共通のサーバ装置あるいはサーバ群で、上述の処理を実行することとしてもよい。情報処理装置および情報処理システムを構成する複数の装置は所定の通信レートで通信可能であればよく、また同一の施設内あるいは同一の国に存在することを要しない。
本発明の実施形態には、前述した実施形態の機能を実現するソフトウェアのプログラムを、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータが該供給されたプログラムのコードを読み出して実行するという形態を含む。
したがって、実施形態に係る処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明の実施形態の一つである。また、コンピュータが読み出したプログラムに含まれる指示に基づき、コンピュータで稼働しているOSなどが、実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現され得る。
上述の実施形態を適宜組み合わせた形態も、本発明の実施形態に含まれる。
Claims (19)
- 第1の医用画像に含まれる第1の関心領域を含む第1のROI画像と、前記第1の医用画像と異なる第2の医用画像に含まれる第2の関心領域を含む第2のROI画像とを取得する取得手段と、
前記第1のROI画像と前記第2のROI画像とに基づいて第3のROI画像を生成する生成手段と、
前記第1の医用画像及び前記第2の医用画像と異なる第3の医用画像と、前記第3のROI画像とを重畳して表示部に表示させる表示制御手段と、
を有することを特徴とする情報処理装置。 - 前記生成手段は、前記第1のROI画像と前記第2のROI画像との差分の領域に基づいて前記第3のROI画像を生成することを特徴とする請求項1に記載の情報処理装置。
- 前記第3のROI画像は、前記第1のROI画像と前記第2のROI画像との中間に位置することを特徴とする請求項2に記載の情報処理装置。
- 前記生成手段は、前記第1のROI画像と前記第2のROI画像との差分の領域を示す帯状の領域を第3のROI画像として生成することを特徴とする請求項2に記載の情報処理装置。
- 前記表示制御手段は、前記第3の医用画像に前記第1のROI画像と前記第2のROI画像と前記第3のROI画像とを重畳して表示させることを特徴とする請求項1乃至請求項4のいずれか1項に記載の情報処理装置。
- 前記表示制御手段は、ユーザの操作入力に基づいて前記第3の医用画像に重畳して表示させる画像を切り替え可能に構成されていることを特徴とする請求項1乃至請求項5のいずれか1項に記載の情報処理装置。
- 前記表示制御手段は、ユーザの操作入力に基づいて、前記第3の医用画像に重畳して表示されている前記第3のROI画像から、前記第1のROI画像又は前記第2のROI画像のいずれかの画像に切り替えて表示させることを特徴とする請求項6に記載の情報処理装置。
- 前記取得手段は外部記憶装置から前記第1のROI画像と前記第2のROI画像とを取得することを特徴とする請求項1乃至請求項7のいずれか1項に記載の情報処理装置。
- 前記取得手段は、外部記憶装置に対して前記第1のROI画像が記憶されているかを問い合わせ、
前記問い合わせの結果、前記外部記憶装置に前記第1のROI画像が記憶されている場合には、前記取得手段は前記第1のROI画像を前記外部記憶装置から取得し、
前記問い合わせの結果、前記外部記憶装置に前記第1のROI画像が記憶されていない場合には、前記取得手段は前記第1の医用画像を前記外部記憶装置から取得し、前記生成手段は前記取得された第1の医用画像から前記第1のROI画像を生成し、前記生成された第1のROI画像に基づいて前記第3のROI画像を生成することを特徴とする請求項1乃至請求項8のいずれか1項に記載の情報処理装置。 - 前記第3のROI画像に含まれる第3の関心領域に該当する前記第3の医用画像に基づいて、診断指標を取得する診断指標取得部を有する
ことを特徴とする請求項1乃至請求項9のいずれか1項に記載の情報処理装置。 - 前記第1の医用画像は、被検体に照射した超音波が前記被検体の内部で反射した反射波に基づいて撮像された超音波画像であり、
前記第2の医用画像は、磁場中の被検体における核磁気共鳴現象に基づいて撮像されたMRI画像であり、
前記第3の医用画像は、被検体に光を照射して得られる音響波に基づいて撮像された光音響画像であることを特徴とする請求項1乃至請求項10のいずれか1項に記載の情報処理装置。 - 前記第3の医用画像が被検体に光を照射して得られる音響波に基づいて撮像された光音響画像である場合に、前記生成手段は前記第3のROI画像を生成することを特徴とする請求項1乃至請求項10のいずれか1項に記載の情報処理装置。
- 前記第3の医用画像が被検体に光を照射して得られる音響波に基づいて撮像された光音響画像である場合に、
前記取得手段は、被検体に照射した超音波が前記被検体の内部で反射した反射波に基づいて撮像された超音波画像から生成されたROI画像を前記第1のROI画像として取得し、
磁場中の前記被検体に対する核磁気共鳴現象に基づいて撮像されたMRI画像から生成されたROI画像を前記第2のROI画像として取得することを特徴とする請求項1乃至請求項10のいずれか1項に記載の情報処理装置。 - 前記関心領域は、被検体の腫瘍の領域であることを特徴とする請求項1乃至請求項13のいずれか1項に記載の情報処理装置。
- 第1の医用画像に含まれる第1の関心領域と、前記第1の医用画像とは異なる第2の医用画像に含まれる第2の関心領域とを比較する比較手段と、
前記比較の結果に基づいて、前記第1の関心領域と前記第2の関心領域との差分を示す情報と、前記第1の医用画像及び前記第2の医用画像と異なる前記第3の医用画像とを重畳して表示部に表示させる表示制御手段と、
を有することを特徴とする情報処理装置。 - 第1の医用画像に含まれる第1の関心領域を含む第1のROI画像と、前記第1の医用画像と異なる第2の医用画像に含まれる第2の関心領域を含む第2のROI画像とを取得する取得手段と、
前記第1のROI画像と前記第2のROI画像とに基づいて第3のROI画像を生成する生成手段と、
前記第1の医用画像及び前記第2の医用画像と異なる第3の医用画像と、前記第3のROI画像とを重畳して表示部に表示させる表示制御手段と、
を有することを特徴とする情報処理システム。 - 第1の医用画像に含まれる関心領域を含む第1のROI画像と、前記第1の医用画像と異なる第2の医用画像に含まれる関心領域を含む第2のROI画像とを取得する工程と、
前記第1のROI画像と前記第2のROI画像とに基づいて第3のROI画像を生成する工程と、
前記第1の医用画像及び前記第2の医用画像と異なる第3の医用画像と、前記第3のROI画像とを重畳して表示部に表示させる工程と、
を有することを特徴とする情報処理方法。 - 第1の医用画像に含まれる第1の関心領域と、前記第1の医用画像とは異なる第2の医用画像に含まれる第2の関心領域とを比較する工程と、
前記比較の結果に基づいて、前記第1の関心領域と前記第2の関心領域との差分を示す情報と、前記第1の医用画像及び前記第2の医用画像と異なる前記第3の医用画像とを重畳して表示部に表示させる工程と、
を有することを特徴とする情報処理方法。 - 請求項17又は請求項18に記載の情報処理方法をコンピュータに実行させるためのプログラム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017228153 | 2017-11-28 | ||
JP2017228153 | 2017-11-28 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2019098167A true JP2019098167A (ja) | 2019-06-24 |
Family
ID=66633380
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018217565A Pending JP2019098167A (ja) | 2017-11-28 | 2018-11-20 | 情報処理装置、情報処理システム、情報処理方法およびプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US20190164286A1 (ja) |
JP (1) | JP2019098167A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024070093A1 (ja) * | 2022-09-27 | 2024-04-04 | 株式会社日立製作所 | 照射位置確認支援装置、照射位置確認支援方法、および照射位置確認支援プログラム |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7322409B2 (ja) * | 2018-08-31 | 2023-08-08 | ソニーグループ株式会社 | 医療システム、医療装置および医療方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102004059133B4 (de) * | 2004-12-08 | 2010-07-29 | Siemens Ag | Verfahren zur Unterstützung einer bildgebenden medizinischen Untersuchungsmethode |
CN103619245B (zh) * | 2012-06-20 | 2019-04-02 | 东芝医疗系统株式会社 | 医用图像处理装置及方法、磁共振成像装置及方法 |
KR20160054992A (ko) * | 2014-11-07 | 2016-05-17 | 삼성전자주식회사 | 관심영역의 재검출 회피 장치 및 방법 |
EP3539477B1 (en) * | 2016-11-11 | 2024-04-24 | FUJIFILM Corporation | Photoacoustic image evaluation device and program |
-
2018
- 2018-11-20 JP JP2018217565A patent/JP2019098167A/ja active Pending
- 2018-11-21 US US16/198,646 patent/US20190164286A1/en not_active Abandoned
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024070093A1 (ja) * | 2022-09-27 | 2024-04-04 | 株式会社日立製作所 | 照射位置確認支援装置、照射位置確認支援方法、および照射位置確認支援プログラム |
Also Published As
Publication number | Publication date |
---|---|
US20190164286A1 (en) | 2019-05-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CA2892543C (en) | System and method for improving workflow efficiences in reading tomosynthesis medical image data | |
US10055848B2 (en) | Three-dimensional image segmentation based on a two-dimensional image information | |
US9489921B2 (en) | Method and apparatus for displaying plurality of different images of object | |
KR101728044B1 (ko) | 의료 영상을 디스플레이 하기 위한 방법 및 장치 | |
US11559282B2 (en) | Medical information processing system and medical image processing apparatus | |
JP6812193B2 (ja) | 画像表示システム、画像表示方法、及びプログラム | |
US20130257910A1 (en) | Apparatus and method for lesion diagnosis | |
JP2008086767A (ja) | 3次元及び4次元コントラスト撮像のためのシステム及び方法 | |
CA2975089A1 (en) | Touchless advanced image processing and visualization | |
KR102439769B1 (ko) | 의료 영상 장치 및 그 동작방법 | |
JP2007037781A (ja) | 画像処理装置及び画像処理システム | |
JP2016116774A (ja) | 画像処理装置、画像処理方法、画像処理システム、及びプログラム | |
KR20140127635A (ko) | 영상 정합 방법 및 장치 | |
JP2017080389A (ja) | 医用画像システム及びプログラム | |
Özdemir et al. | Three-dimensional visualization and improved quantification with super-resolution ultrasound imaging-Validation framework for analysis of microvascular morphology using a chicken embryo model | |
CN108269292B (zh) | 用于根据三维图像数据组产生二维投影图像的方法和设备 | |
Kuo et al. | Segmentation of breast masses on dedicated breast computed tomography and three-dimensional breast ultrasound images | |
US20150351718A1 (en) | Method and apparatus for calculating the contact position of an ultrasound probe on a head | |
JP2019098167A (ja) | 情報処理装置、情報処理システム、情報処理方法およびプログラム | |
Birkeland et al. | The ultrasound visualization pipeline | |
JP5314342B2 (ja) | 画像を評価するための方法およびシステム | |
JP2011041804A (ja) | 胎児の肋骨数を測定する超音波システムおよび方法 | |
JP2011067594A (ja) | 肝機能造影像を用いた医用画像診断装置および方法、並びにプログラム | |
JP2013509931A (ja) | 超音波医療画像処理システム及び情報提供方法 | |
Klein et al. | Visual computing for medical diagnosis and treatment |