Nothing Special   »   [go: up one dir, main page]

JP6869086B2 - 位置合せ装置および位置合せ方法並びに位置合せプログラム - Google Patents

位置合せ装置および位置合せ方法並びに位置合せプログラム Download PDF

Info

Publication number
JP6869086B2
JP6869086B2 JP2017083403A JP2017083403A JP6869086B2 JP 6869086 B2 JP6869086 B2 JP 6869086B2 JP 2017083403 A JP2017083403 A JP 2017083403A JP 2017083403 A JP2017083403 A JP 2017083403A JP 6869086 B2 JP6869086 B2 JP 6869086B2
Authority
JP
Japan
Prior art keywords
cross
sectional image
inspection
sectional
combination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017083403A
Other languages
English (en)
Other versions
JP2018175695A (ja
Inventor
赤堀 貞登
貞登 赤堀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2017083403A priority Critical patent/JP6869086B2/ja
Priority to US15/954,764 priority patent/US10699426B2/en
Publication of JP2018175695A publication Critical patent/JP2018175695A/ja
Application granted granted Critical
Publication of JP6869086B2 publication Critical patent/JP6869086B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/457Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by analysing connectivity, e.g. edge linking, connected component analysis or slices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • G06T7/0016Biomedical image inspection using an image reference approach involving temporal comparison
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/38Registration of image sequences
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/42Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/422Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation for representing the structure of the pattern or shape of an object therefor
    • G06V10/426Graphical representations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/19Recognition using electronic means
    • G06V30/196Recognition using electronic means using sequential comparisons of the image signals with a plurality of references
    • G06V30/1983Syntactic or structural pattern recognition, e.g. symbolic string recognition
    • G06V30/1988Graph matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10088Magnetic resonance imaging [MRI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20072Graph-based image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Description

本発明は、人体または動物を撮影した断面画像を位置合わせするための位置合せ装置および位置合わせ方法並びに位置合せプログラムに関するものである。
CT(Computed Tomography)またはMRI(magnetic resonance imaging)といった画像撮影装置(モダリティ)の高速化やマルチスライス対応といった高性能化に伴い、1つの撮影シリーズで被検者の複数の部位を撮影したボリュームデータを取得することが可能になってきた。これにより、被検者は部位毎に何度も撮影を受ける必要がなくなるとともに、撮影時間も全体としては短縮されるため、患者の負担は軽減されている。
このようなCTまたはMRIなどのボリュームデータを読影ビューア上で読影する場合には、1つのウィンドウ上で2次元の断面を順に切り替えて表示しながら観察する。また、読影の際には、複数のボリュームデータを見比べることも多い。この場合、それぞれのボリュームデータに対して表示する断面を指示しなければならず、観察する位置を変える度に何度も指定するのは手間である。また、前回検査で見つかっていた病変の経時変化を確認したい場合、病変が見つかっていた場所に対応する断面を今回のボリュームデータの中から探す必要があり、このような作業に要する時間や労力が大きく読影者の負担となる。
このような問題を解決するために、ボリュームデータを解析して自動で位置を合わせる方法が種々提案されている。例えば、特許文献1には解剖学的なランドマークを見つけて断面画像間の位置合せを行う手法が提案されている。また、特許文献2には、過去画像と現在画像から肺野領域、心臓領域、および下降大動脈領域をそれぞれ抽出した上で、断面画像間のマッチング値を用いて対応する断面を見つける手法が開示されている。さらに、特許文献3には、各断面画像の部位を判別器を用いて判定し、判定した部位が体の部位の並びに沿っていることと、判定した部位の体軸方向の長さが標準的な範囲内にあるかを参考にして位置合せを行う手法が開示されている。
米国特許第7599539号公報 特開2001−137230号公報 特開2009−232981号公報
しかしながら、解剖学的なランドマークを見つけて断面画像間の位置合せを行う場合には、ランドマークがあらわれていない画面上では対処できない。また、2次元の断面画像を比較する手法では複数枚まとめて比較するので、呼吸などの影響で臓器の形状が変わり部分的な変形があると間違いが起こり易いという問題がある。
特許文献2では、肺野領域、心臓領域、および下降大動領域のように特定の領域に分けて断面画像間でマッチング値を用いて対応する位置を見つけているため、胸部の位置合せを行うか腹部の位置合せ行うかで、別の領域を特定しなければならない。さらに、特許文献3では判別器を用いて部位の判別を行っているため、予め解剖学的な構造に応じた判別器を用意しなければならない。
そこで、本発明では、上述のような問題を解決するために、精度よく、かつ、安定して動作する位置合わせを提供するための位置合せ装置および位置合せ方法並びに位置合せプログラムを提供することを目的とする。
本発明の位置合せ装置は、複数の検査断面画像を含む検査ボリュームデータと複数の参照断面画像を含む参照ボリュームデータとを記憶する記憶手段と、検査ボリュームデータと参照ボリュームデータとの間で、検査断面画像と参照断面画像の組合せのそれぞれの類似度を取得する類似度取得手段と、2つの組合せにおいて、第1の組合せに含まれる検査断面画像と第2の組合せに含まれる検査断面画像の断面位置の前後関係と、第1の組合せ含まれる参照断面画像と第2の組合せに含まれる参照断面画像の断面位置の前後関係とに基づいて類似度の調整値を取得する調整値取得手段と、検査断面画像と参照断面画像の組合せにおける類似度取得手段によって取得された全ての類似度と、2つの組合せにおける調整値取得手段によって取得された全ての調整値との総和に基づいて、検査断面画像と参照断面画像を対応付ける対応付け手段を備えたものである。
また、本発明の位置合せ方法は、複数の検査断面画像を含む検査ボリュームデータと複数の参照断面画像を含む参照ボリュームデータとを記憶する記憶手段と類似度取得手段と調整値取得手段と対応付け手段とを備えた位置合わせ装置において、類似度取得手段が、検査ボリュームデータと参照ボリュームデータとの間で、検査断面画像と参照断面画像の組合せのそれぞれの類似度を取得する類似度取得ステップと、調整値取得手段が、2つの組合せにおいて、第1の組合せに含まれる検査断面画像と第2の組合せに含まれる検査断面画像の断面位置の前後関係と、第1の組合せ含まれる参照断面画像と第2の組合せに含まれる参照断面画像の断面位置の前後関係とに基づいて類似度の調整値を取得する調整値取得ステップと、対応付け手段が、検査断面画像と参照断面画像の組合せにおける類似度取得手段によって取得された全ての類似度と、2つの組合せにおける調整値取得手段によって取得された全ての調整値との総和に基づいて、検査断面画像と参照断面画像を対応付ける対応付けステップとを備えるものである。
また、本発明の位置合せプログラムは、コンピュータを、複数の検査断面画像を含む検査ボリュームデータと複数の参照断面画像を含む参照ボリュームデータとを記憶する記憶手段と、検査ボリュームデータと参照ボリュームデータとの間で、検査断面画像と参照断面画像の組合せのそれぞれの類似度を取得する類似度取得手段と、2つの組合せにおいて、第1の組合せに含まれる検査断面画像と第2の組合せに含まれる検査断面画像の断面位置の前後関係と、第1の組合せ含まれる参照断面画像と第2の組合せに含まれる参照断面画像の断面位置の前後関係とに基づいて類似度の調整値を取得する調整値取得手段と、検査断面画像と参照断面画像の組合せにおける類似度取得手段によって取得された全ての類似度と、2つの組合せにおける調整値取得手段によって取得された全ての調整値との総和に基づいて、検査断面画像と参照断面画像を対応付ける対応付け手段として機能させるためのものである。
また、組合せは、検査断面画像に対応付けられる参照断面画像が1以下であり、かつ、参照断面画像に対応付けられる検査断面画像が1以下であるという条件を満たすように、検査断面画像と参照断面画像を対応付け、対応付けられた検査断面画像と参照断面画像を組合せたものが望ましい。
また、類似度取得手段が、検査断面画像と参照断面画像のヒストグラムに基づいて類似度を取得するものが望ましい。
また、調整値取得手段が、第1の組合せに含まれる検査断面画像と第2の組合せに含まれる検査断面画像の断面位置の順番と第1の組合せに含まれる参照断面画像と第2の組合せに含まれる参照断面画像の断面位置の順番が一致する場合には、調整値は断面位置の順番が一致しない場合より類似度を高くする値とするのが望ましい。
また、対応付け手段が、グラフマッチングの手法により参照断面画像に対応付ける検査断面画像を決定するものであってもよい。
本発明によれば、検査ボリュームデータと参照ボリュームデータの断面画像間で類似度を算出し、さらに、断面位置の前後関係とに基づいて類似度の調整値を取得して、類似度と調整値との総和から、検査ボリュームデータと参照ボリュームデータとの間の断面画像間の類似度が最も高くなるように、参照断面画像に対応する検査断面画像を対応付けるので、2つのボリュームデータ間で正確に断面が対応付けられるので読影を行う際の作業効率を向上させることが可能になる。
本発明の実施形態における位置合せ装置が導入された医療情報システムの概略構成を示す図 本発明の位置合せ装置の機能ブロック図 参照ボリュームデータと検査ボリュームデータの対応付けを行う処理のフローチャート 参照ボリュームデータを構成する参照断面画像と検査ボリュームデータを構成する検査断面画像の一例を示す図 参照断面画像と検査断面画像の一例を示す図 ヒストグラムインターセクションから類似度を求める方法を説明するための図 画面の構図を反映させた類似度を求める方法を説明するための図 調整値を求める方法を説明するための図 参照ボリュームデータと検査ボリュームデータの対応付けを説明するための図 位置合せ装置の動作を説明するためのフローチャート
図1に、本発明の実施形態における位置合せ装置が導入された医療情報システム1の概略構成を示す。この医療情報システム1は、公知のオーダリングシステムを用いた診療科の医師からの検査オーダーに基づいて、被検体の検査対象部位の撮影および保管、放射線科の読影医による撮影された画像の読影、および、依頼元の診療科の医師による読影対象の画像の詳細観察を行うためのシステムである。医療情報システム1は、図1に示すように、モダリティ2、読影医用ワークステーション3、診療科用ワークステーション4、画像管理サーバ5、および、画像データベース6を、ネットワーク9を介して互いに通信可能な状態で接続されて構成されている。各機器は、医療情報システム1の構成要素として機能させるためのアプリケーションプログラムがインストールされている。また、アプリケーションプログラムは、CD−ROM等の記録媒体からインストール、または、インターネット等のネットワーク経由で接続されたサーバの記憶装置からダウンロードされた後にインストールされてもよい。
モダリティ2には、被検体の検査対象部位を撮影することにより、その部位を表すボリュームデータを生成し、その画像にDICOM規格で規定された付帯情報を付加して出力する装置が含まれる。具体例としては、CT装置、MRI装置などが挙げられる。
読影医用ワークステーション3は、放射線科の読影医が画像の読影や読影レポートの作成に利用するコンピュータであり、CPU(Central Processing Unit)、主記憶装置、補助記憶装置、入出力インターフェース、通信インターフェース、入力装置、表示装置、および、データバス等の周知のハードウェア構成を備え、周知のオペレーションシステム等がインストールされたものであって、表示装置として1台または複数台の高精細ディスプレイを有している。この読影医用ワークステーション3では、画像管理サーバ5に対する画像の送信要求、画像管理サーバ5から受信した画像の表示、画像中の病変らしき部分の自動検出および強調表示、および、読影レポートの作成と表示等の各処理が、各処理のためのソフトウェアプログラムを実行することにより行われる。
診療科用ワークステーション4は、診療科の医師が画像の詳細観察や読影レポートの閲覧、および、電子カルテの閲覧および入力等に利用するコンピュータであり、CPU、主記憶装置、補助記憶装置、入出力インターフェース、通信インターフェース、入力装置、表示装置、および、データバス等の周知のハードウェア構成を備え、周知のオペレーションシステム等がインストールされたものであって、表示装置として1台または複数台の高精細ディスプレイを有している。この診療科用ワークステーション4では、画像管理サーバ5に対する画像の閲覧要求や、画像管理サーバ5から受信した画像の表示、画像中の病変らしき部分の自動検出または強調表示等の各処理が、各処理のためのソフトウェアプログラムの実行により行われる。
画像管理サーバ5は、汎用のコンピュータにデータベース管理システム(Data Base Management System:DBMS)の機能を提供するソフトウェアプログラムを組み込んだものである。画像管理サーバ5は、画像データベース6が構成される大容量ストレージを備えている。このストレージは、画像管理サーバ5とデータバスによって接続された大容量のハードディスク装置であってもよいし、ネットワーク9に接続されているNAS(Network Attached Storage)やSAN(Storage Area Network)に接続されたディスク装置であってもよい。
画像データベース6には、複数の患者をモダリティ2で撮影した検査画像(複数の検査画像から成るボリュームデータを含む)と付帯情報とが登録される。付帯情報には、例えば、個々の画像を識別するための画像ID(identification)、被写体を識別するための患者ID、検査を識別するための検査ID、医用画像ごとに割り振られるユニークなID(UID:unique identification)、その医用画像が生成された検査日、検査時刻、その医用画像を取得するための検査で使用されたモダリティの種類、患者氏名と年齢と性別などの患者情報、検査部位(撮影部位)、撮影条件(造影剤の使用有無または放射線量など)、および、1回の検査で複数の断面画像を取得したときのシリーズ番号などの情報が含まれる。
また、画像管理サーバ5は、読影医用ワークステーション3からの閲覧要求をネットワーク9経由で受信すると、上述の画像データベース6に登録されている検査画像を検索し、抽出された検査画像を要求元の読影医用ワークステーション3に送信する。
ネットワーク9は病院内の各種装置を接続するローカルエリアネットワークである。読影医用ワークステーション3が他の病院あるいは診療所に設置されている場合には、ネットワーク9は、各病院のローカルエリアネットワーク同士をインターネットまたは専用回線で接続した構成としてもよい。いずれの場合にも、ネットワーク9は光ネットワークなど医用画像の高速転送を実現できるものとすることが好ましい。
上述の読影医用ワークステーション3は、画像診断医等のユーザによって読影および観察対象画像の閲覧を要求する操作が行われると、画像管理サーバ5に対して閲覧要求を送信し、必要な画像を取得する。そして、その画像をディスプレイに表示する。本発明の位置合せ装置の機能は、読影医用ワークステーション3に実装されており、この処理は、インストールされたアプリケーションプログラムを実行することによって実現される。
図2は、読影医用ワークステーション3に実装された本発明の実施形態となる位置合せ装置の構成とデータの流れを模式的に示したブロック図である。なお、本発明の位置合せ装置は読影医用ワークステーション3の位置合せ処理部として以下説明する。図2に示したように、本発明の位置合せ処理部30は、受付手段31、対応付け手段32、記憶手段33、および、表示手段34から構成される。また、表示手段34には、1台または複数台のディスプレイ35が接続される。
受付手段31は、読影医用ワークステーション3で、読影医などのユーザによって検査対象の患者IDが入力されると、読影医用ワークステーション3から画像管理サーバ5に診断対象の患者IDと画像の送信要求が送信され、画像データベース6から検索された検査ボリュームデータQと参照ボリュームデータPを受信する。受信した検査ボリュームデータQと参照ボリュームデータPは、記憶手段33に一旦記憶される。
検査ボリュームデータQおよび参照ボリュームデータPは、CT撮影装置またはMRI撮影装置で撮影された複数枚の断面画像で構成される。また、検査ボリュームデータQと参照ボリュームデータPは同じモダリティ2で撮影された画像であり、かつ、断面方向は一致しているものとして以下説明する。
対応付け手段32は、類似度取得手段36と、調整値取得手段37とを備え、参照ボリュームデータPを構成する参照断面画像pに類似する検査断面画像qを検査ボリュームデータQの中から選んで対応付ける。参照断面画像pと検査断面画像qを対応付ける際には、1つの参照断面画像pに対して2つ以上の検査断面画像qが対応付けられないようにする。なお、検査ボリュームデータQに含まれる検査断面画像qの数が参照ボリュームデータPに含まれる参照断面画像pの数より少ない場合には、参照断面画像pに対応付けられる検査断面画像qが存在しないこともある。また、2つ以上の参照断面画像pに同じ検査断面画像qが対応付けられないようにもする。つまり、参照断面画像pに対応付けられる検査断面画像qは1つ以下になり、かつ、検査データに含まれる検査断面画像qに対応付けられる参照断面画像pも1つ以下になるように対応付ける。
類似度取得手段36は、参照ボリュームデータPに含まれる参照断面画像pの1つと検査ボリュームデータに含まれる検査断面画像qの1つの組合せのそれぞれについて類似度を算出する。類似度は、参照断面画像pと検査断面画像qのピクセルデータ間の類似度を求める。具体的には、類似度は相互相関やヒストグラムインターセクションなどを用いて取得することができる。なお、ピクセルデータは、画像を構成する画素(ピクセル)の集まりをいい、ピクセルデータは、DICOMタグ、ファイル名、または、撮影日時などの画像の付帯情報とは区別して以下説明する。
調整値取得手段37は、上述の参照断面画像pと検査断面画像q組合せの2つの組み合わせにおいて、第1の組合せaに含まれる参照断面画像pと第2の組合せbに含まれる参照断面画像pの関係と、第1の組合せaに含まれる検査断面画像qと第2の組合せbに含まれる検査断面画像qの関係とに基づいて類似度の調整値を求める。
参照断面画像pと検査断面画像qの間では断面位置が逆になっていても、類似する可能性がある。そこで、組合せaおよびbに含まれる2つの参照断面画像pの断面位置の前後関係と、組合せaおよびbにそれぞれ含まれる2つの検査断面画像qの断面位置の前後関係が一致する場合には、調整値を断面位置の前後関係が一致しない場合より類似度が高くなるような値にする。
例えば、アキシャル画像であるときは、組合せaおよびbに含まれる2つの参照断面画像pの断面位置の体軸方向(Z軸方向)の位置の前後関係と、組合せaおよびbに含まれる2つの検査断面画像qのZ軸方向の断面位置の前後関係が一致する場合には、調整値を断面位置の前後関係が一致しない場合より類似度が高くなるような値にする。
図3のフローチャートに従って、類似度と調整値を用いて参照断面画像pと検査断面画像qの対応付けを行う処理について具体的に説明する。図4に参照ボリュームデータPと検査ボリュームデータQの一例を示す。図4に示すように、Z軸方向に沿って参照ボリュームデータPを構成する参照断面画像p1〜p5と検査ボリュームデータQを構成する検査断面画像q1〜q7が並んでいる。図5に参照断面画像p1〜p5と、検査断面画像q1〜q7の一例を示す。
類似度取得手段36は、参照ボリュームデータPに含まれる参照断面画像pと検査ボリュームデータQに含まれる検査断面画像qの類似度θを、ヒストグラムインターセクションを用いて求める。ヒストグラムインターセクションは、図6に示すように参照断面画像pのヒストグラムh1と検査断面画像qのヒストグラムh2の共通部分の割合を指し、類似度θは0〜1.0までの値となる。画面のおおまかな構図を反映させるために、例えば、参照断面画像pと検査断面画像qを縦と横をそれぞれ3つに等分し(図7参照)、3×3区画(=9区画)に区分したそれぞれの区画でヒストグラムインターセクションを求め、その平均値を類似度θとするようにしてもよい(S1)。
図5に示すように、類似度θは、参照断面画像p〜pと検査断面画像q〜qの全ての組合せに対して求める。つまり、pに対して、q、q、q・・・qとの類似度θを求め、pに対してq、q、q・・・qとの類似度θを求める。同様にして、p〜pのそれぞれに対してq、q、q・・・qとの類似度θを求める。このように全てのpとqの組合せが終了するまで類似度θの計算を繰り返す(S2)。
次に、調整値取得手段37で、参照ボリュームデータPと検査ボリュームデータQを対応付ける時の類似度の調整値θabを求める。上述の通り、参照断面画像pと検査断面画像qを対応付けるときは、参照断面画像pに対応付けられる検査断面画像qは1つ以下になり、かつ、検査データに含まれる検査断面画像qに対応付けられる参照断面画像pも1つ以下になるように対応付け、このような対応付けの条件を満足するように対応付けをした時の、全ての対応付けパターンのうちいずれの対応付けが最適であるかを、参照断面画像pと検査断面画像qのピクセルデータ間の類似度θaだけでなく断面位置の前後関係に基づいた調整値を用いて調整する。
参照ボリュームデータPと検査ボリュームデータQにおいて、参照断面画像piに検査断面画像qjを対応付け、かつ、参照断面画像pkに検査断面画像qlを対応付けたときは、参照断面画像piと検査断面画像qjの組合せaと参照断面画像pkと検査断面画像qlの組合せbから調整値θabを算出する。参照断面画像piの断面位置z(pi)と
参照断面画像pkの断面位置z(pk)の差分Da=z(pk)−z(pi)の符号と、検
査断面画像qjの断面位置z(qj)と検査断面画像qlの断面位置z(ql)の差分Db=z(ql)−z(qj)の符号が一致している場合には(S3−Yes)、調整値θabを1とし(S4)、差分Dと時間の差分Dの符号が一致していない場合には(S3−No)、調整値θabを‐1にする(S5)。これを各対応付けパターンにおける全ての2つの組合せaおよびbに対して繰り返して、調整値θabを求める(S6)。
図8を用いて、調整値の求め方について詳細に説明する。検査ボリュームデータQの検査断面画像qがZ軸方向にq−>q−>q−>q・・・の順で並び、参照ボリュームデータPの参照断面画像pがZ軸方向にp−>p−>p・・・の順で並んでいる場合に、pとq、pとq、pとq・・・を対応付けたときを例に説明する。pとqの組合せ1とpとqの組合せ2では(図8(A))、pとpの断面位置の差分と、q2とqの断面位置の差分が一致しているので、調整値θabを1とする。pとqの組合せ2とpとqの組合せ3では(図8(B))、pとpの断面位置の差分と、qとqの断面位置の差分が一致していないので、調整値θabを‐1にする。さらに、pとqの組合せ1とpとqの組合せ3では(図8(C))、pとpの断面位置の差分と、qとqの断面位置の差分が一致しているので、調整値θabを1とする。このようにして、全ての2つの組合せaおよびbに対して、調整値θabを求める。
図9に示すように、参照ボリュームデータPと検査ボリュームデータQの間の参照断面画像pと検査断面画像qの対応付けを、0と1のバイナリデータxを要素とするP×Qの対応付行列mで表す。対応付行列mは、行が参照断面画像pを表し、列が検査断面画像qを表す。i行j列の要素xijは参照断面画像pと検査断面画像qを対応づけるか否かを表す。参照断面画像pと検査断面画像qが対応付けられないときは0とし、参照断面画像pと検査断面画像qが対応付けられるときは1とする。このとき、参照断面画像pに対応付けられる検査断面画像qは高々1つ、かつ、検査断面画像qに対応付けられる参照断面画像pも高々1つという条件を満足するように、参照断面画像pと検査断面画像qを対応付けた全ての対応付けのパターンを作成する。
なお、対応付行列mで表される対応付けパターンの集合Mは次の式(1)のように表現することができる。
Figure 0006869086
集合Mに含まれる参照断面画像pと検査断面画像qを対応付ける全てのパターンにおいて、参照ボリュームデータPの参照断面画像pと検査ボリュームデータQの検査断面画像q間の類似度を求め、類似度が最も高くなるパターンで参照断面画像pと検査断面画像qを対応付ける(S7)。これは、類似度取得手段36で求めた類似度θと、調整値取得手段37で求めた調整値θabを重みづけ加算した下式(2)を最大化する問題に置き換えることができる。例えば、文献「L. Torresani, V. Kolmogorov, and C. Rother: “Feature correspondence via graph matching: Models and global optimization”, ECCV2008.」に記載されているグラフマッチングの手法を用いて解くことができる。
なお、下式(2)の第1項は、xij=1となる参照断面画像pと検査断面画像qの組合せの類似度θの全てを加算することを意味し、第2項は、図9の対応付行列mにおいて、xij=1となる参照断面画像pと検査断面画像qの組合せの2つ(組合せa、および、組合せb)の関係から得られた調整値θabの全てを重みづけ加算することを意味する。また、係数Kは経験的に最適な値を与えればよい。
Figure 0006869086
ここで、
Aは、参照断面画像pと検査断面画像qの組み合わせの集合
Nは、参照断面画像pと検査断面画像qの組合せa、および、参照断面画像pと検査断面画像qの組合せbの集合
kは、類似度と調整値の荷重を決める係数
は、バイナリデータxのうち、組合せa(p、q)に対応する要素xijの値
は、バイナリデータxのうち、組合せb(p、q)に対応する要素xklの値
表示手段34は、対応付け手段32で、対応付けられた参照断面画像pと検査断面画像qを比較可能な状態で表示する。例えば、画面上に対応付けられた参照断面画像pと検査断面画像qをディスプレイ35の画面を2分割して左右に並べて表示する。
次に、図10のフローチャートを用いて、本実施形態の位置合せ装置の動作について説明する。なお、検査ボリュームデータQは、特定の患者の現在診断対象となっている画像であり、参照ボリュームデータPは、同じ患者を過去に撮影した画像である場合について以下説明する。
読影医によって読影医用ワークステーション3で読影のための操作が行われると(S10)、位置合せ処理部30が起動される。
続いて、読影医が診断対象の患者IDを入力すると(S11)、読影医用ワークステーション3の受付手段31は、画像管理サーバ5に患者IDと検査ボリュームデータQと参照ボリュームデータPの送信要求を送信する。画像管理サーバ5は、患者IDが割り振られている最新のボリュームデータと過去に撮影されたボリュームデータを画像データベース6から検索して読影医用ワークステーション3に送信する。受付手段31は受信した最新のボリュームデータを検査ボリュームデータQとし、過去のボリュームデータを参照ボリュームデータPとして記憶手段33に記憶する(S12)。
上述で詳細に説明した対応付け手段32を用いて、参照ボリュームデータPの参照断面画像pと検査ボリュームデータQの検査断面画像qの類似度が最も高くなるように対応付ける(S13)。
表示手段34は、対応付け手段32で対応付けられた参照断面画像pと検査断面画像qを断面位置が一致する断面画像を比較することができるように画面上に配置して表示する(S14)。
上述の通り、参照断面画像の位置関係と検査断面画像の位置関係について矛盾することがないように参照ボリュームデータと検査ボリュームデータ間の対応付けを行うことができる。
上述では、読影医用ワークステーション3に本発明の位置合せ装置が設けられる場合について説明したが、各診療科に置かれる診療科用ワークステーション4に設けて、各診療科の医師が患者への説明などを行うために、本発明の位置合せ装置が利用されてもよい。
1、1a〜1d 医療情報システム
2 モダリティ
3 読影医用ワークステーション
4 診療科用ワークステーション
5 画像管理サーバ
6 画像データベース
7 読影レポートサーバ
8 読影レポートデータベース
9 ネットワーク
10 アーカイブシステム
11 大容量記憶装置
30 位置合せ処理部
31 受付手段
32 対応付け手段
33 記憶手段
34 表示手段
35 ディスプレイ
36 類似度取得手段
37 調整値取得手段

Claims (7)

  1. 複数の検査断面画像を含む検査ボリュームデータと複数の参照断面画像を含む参照ボリュームデータとを記憶する記憶手段と、
    前記検査ボリュームデータと前記参照ボリュームデータとの間で、前記検査断面画像と前記参照断面画像の組合せのそれぞれの類似度を取得する類似度取得手段と、
    2つの前記組合せにおいて、第1の組合せに含まれる検査断面画像と第2の組合せに含まれる検査断面画像の断面位置の前後関係と、前記第1の組合せ含まれる参照断面画像と前記第2の組合せに含まれる参照断面画像の断面位置の前後関係とに基づいて前記類似度の調整値を取得する調整値取得手段と、
    前記検査断面画像と前記参照断面画像の前記組合せにおける前記類似度取得手段によって取得された全ての前記類似度と、2つの前記組合せにおける前記調整値取得手段によって取得された全ての前記調整値との総和に基づいて、前記検査断面画像と前記参照断面画像を対応付ける対応付け手段を備えた位置合せ装置。
  2. 前記組合せは、前記検査断面画像に対応付けられる前記参照断面画像が1以下であり、かつ、前記参照断面画像に対応付けられる前記検査断面画像が1以下であるという条件を満たすように、前記検査断面画像と前記参照断面画像を対応付け、対応付けられた前記検査断面画像と前記参照断面画像を組合せたものである請求項1記載の位置合せ装置。
  3. 前記類似度取得手段が、前記検査断面画像と前記参照断面画像のヒストグラムに基づいて前記類似度を取得する請求項1または2記載の位置合せ装置。
  4. 前記調整値取得手段が、前記第1の組合せに含まれる検査断面画像と前記第2の組合せに含まれる検査断面画像の断面位置の順番と前記第1の組合せに含まれる参照断面画像と前記第2の組合せに含まれる参照断面画像の断面位置の順番が一致する場合には、前記調整値は断面位置の順番が一致しない場合より類似度を高くする値とする請求項1から3いずれか1項記載の位置合せ装置。
  5. 前記対応付け手段が、グラフマッチングの手法により前記参照断面画像に対応付ける前記検査断面画像を決定する請求項1〜4のいずれか1項記載の位置合せ装置。
  6. 複数の検査断面画像を含む検査ボリュームデータと複数の参照断面画像を含む参照ボリュームデータとを記憶する記憶手段と類似度取得手段と調整値取得手段と対応付け手段とを備えた位置合わせ装置において、
    前記類似度取得手段が、前記検査ボリュームデータと前記参照ボリュームデータとの間で、前記検査断面画像と前記参照断面画像の組合せのそれぞれの類似度を取得する類似度取得ステップと、
    前記調整値取得手段が、2つの前記組合せにおいて、第1の組合せに含まれる検査断面画像と第2の組合せに含まれる検査断面画像の断面位置の前後関係と、前記第1の組合せ含まれる参照断面画像と前記第2の組合せに含まれる参照断面画像の断面位置の前後関係とに基づいて前記類似度の調整値を取得する調整値取得ステップと、
    前記対応付け手段が、前記検査断面画像と前記参照断面画像の前記組合せにおける前記類似度取得手段によって取得された全ての前記類似度と、2つの前記組合せにおける前記調整値取得手段によって取得された全ての前記調整値との総和に基づいて、前記検査断面画像と前記参照断面画像を対応付ける対応付けステップとを備える位置合せ方法。
  7. コンピュータを、
    複数の検査断面画像を含む検査ボリュームデータと複数の参照断面画像を含む参照ボリュームデータとを記憶する記憶手段と、
    前記検査ボリュームデータと前記参照ボリュームデータとの間で、前記検査断面画像と前記参照断面画像の組合せのそれぞれの類似度を取得する類似度取得手段と、
    2つの前記組合せにおいて、第1の組合せに含まれる検査断面画像と第2の組合せに含まれる検査断面画像の断面位置の前後関係と、前記第1の組合せ含まれる参照断面画像と前記第2の組合せに含まれる参照断面画像の断面位置の前後関係とに基づいて前記類似度の調整値を取得する調整値取得手段と、
    前記検査断面画像と前記参照断面画像の前記組合せにおける前記類似度取得手段によって取得された全ての前記類似度と、2つの前記組合せにおける前記調整値取得手段によって取得された全ての前記調整値との総和に基づいて、前記検査断面画像と前記参照断面画像を対応付ける対応付け手段として機能させるための位置合せプログラム。
JP2017083403A 2017-04-20 2017-04-20 位置合せ装置および位置合せ方法並びに位置合せプログラム Active JP6869086B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017083403A JP6869086B2 (ja) 2017-04-20 2017-04-20 位置合せ装置および位置合せ方法並びに位置合せプログラム
US15/954,764 US10699426B2 (en) 2017-04-20 2018-04-17 Registration apparatus, registration method, and registration program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017083403A JP6869086B2 (ja) 2017-04-20 2017-04-20 位置合せ装置および位置合せ方法並びに位置合せプログラム

Publications (2)

Publication Number Publication Date
JP2018175695A JP2018175695A (ja) 2018-11-15
JP6869086B2 true JP6869086B2 (ja) 2021-05-12

Family

ID=63854568

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017083403A Active JP6869086B2 (ja) 2017-04-20 2017-04-20 位置合せ装置および位置合せ方法並びに位置合せプログラム

Country Status (2)

Country Link
US (1) US10699426B2 (ja)
JP (1) JP6869086B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6885896B2 (ja) * 2017-04-10 2021-06-16 富士フイルム株式会社 自動レイアウト装置および自動レイアウト方法並びに自動レイアウトプログラム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3639030B2 (ja) * 1995-02-28 2005-04-13 株式会社東芝 画像表示システム及びそのシステムを用いた画像表示方法
JP4702971B2 (ja) * 1999-11-10 2011-06-15 株式会社東芝 コンピュータ支援診断システム
JP2005013363A (ja) * 2003-06-24 2005-01-20 Masakazu Yagi 画像解析装置
US7599539B2 (en) 2006-07-28 2009-10-06 Varian Medical Systems International Ag Anatomic orientation in medical images
JP2008253292A (ja) * 2007-03-30 2008-10-23 Fujifilm Corp 症例画像検索装置及びシステム
JP5229960B2 (ja) * 2008-02-28 2013-07-03 富士フイルム株式会社 画像転送システム、サーバ、方法並びにプログラム
JP5138431B2 (ja) * 2008-03-17 2013-02-06 富士フイルム株式会社 画像解析装置および方法並びにプログラム
JP5283411B2 (ja) 2008-03-26 2013-09-04 富士フイルム株式会社 画像表示装置および画像表示装置の作動方法並びに画像表示プログラム
JP5572440B2 (ja) * 2009-09-15 2014-08-13 富士フイルム株式会社 診断支援システム、診断支援プログラムおよび診断支援方法
JP5538861B2 (ja) * 2009-12-18 2014-07-02 キヤノン株式会社 情報処理装置、情報処理方法、情報処理システム、及びプログラム
WO2012125867A1 (en) * 2011-03-15 2012-09-20 The Trustees Of Columbia University In The City Of New York Method and system for quality assurance of cross sectional imaging scans
JP5693388B2 (ja) * 2011-06-10 2015-04-01 三菱電機株式会社 画像照合装置、患者位置決め装置及び画像照合方法
KR102094502B1 (ko) * 2013-02-21 2020-03-30 삼성전자주식회사 의료 영상들의 정합 방법 및 장치

Also Published As

Publication number Publication date
JP2018175695A (ja) 2018-11-15
US20180308244A1 (en) 2018-10-25
US10699426B2 (en) 2020-06-30

Similar Documents

Publication Publication Date Title
US20210158531A1 (en) Patient Management Based On Anatomic Measurements
EP2888686B1 (en) Automatic detection and retrieval of prior annotations relevant for an imaging study for efficient viewing and reporting
US7747050B2 (en) System and method for linking current and previous images based on anatomy
JP6885896B2 (ja) 自動レイアウト装置および自動レイアウト方法並びに自動レイアウトプログラム
US8194959B2 (en) Medical image part recognition apparatus and medical image part recognition program
US20060239573A1 (en) Method and system for rule-based comparison study matching to customize a hanging protocol
JP2019153250A (ja) 医療文書作成支援装置、方法およびプログラム
US10803986B2 (en) Automatic layout apparatus, automatic layout method, and automatic layout program
WO2007059020A2 (en) System and method for anatomy labeling on a pacs
US11468659B2 (en) Learning support device, learning support method, learning support program, region-of-interest discrimination device, region-of-interest discrimination method, region-of-interest discrimination program, and learned model
US10860894B2 (en) Learning data generation support apparatus, operation method of learning data generation support apparatus, and learning data generation support program
JP2019008349A (ja) 学習データ生成支援装置および学習データ生成支援方法並びに学習データ生成支援プログラム
JP2013123528A (ja) 画像診断支援装置、画像診断支援方法
JP2008200373A (ja) 類似症例検索装置、方法、およびプログラム、ならびに、類似症例データベース登録装置、方法、およびプログラム
JP2016162059A (ja) 計測値管理装置とその作動方法および作動プログラム、並びに計測値管理システム
US11688498B2 (en) Medical document display control apparatus, medical document display control method, and medical document display control program
CN111226287A (zh) 用于分析医学成像数据集的方法、用于分析医学成像数据集的系统、计算机程序产品以及计算机可读介质
JP6869086B2 (ja) 位置合せ装置および位置合せ方法並びに位置合せプログラム
JP5363962B2 (ja) 診断支援システム、診断支援プログラムおよび診断支援方法
US10552959B2 (en) System and method for using imaging quality metric ranking
JP2008217426A (ja) 症例登録システム
JP2005087470A (ja) 異常陰影候補検出装置およびプログラム

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20170530

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20170908

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20170908

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190812

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200730

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200908

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201030

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210323

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210413

R150 Certificate of patent or registration of utility model

Ref document number: 6869086

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250