JP2008253292A - 症例画像検索装置及びシステム - Google Patents
症例画像検索装置及びシステム Download PDFInfo
- Publication number
- JP2008253292A JP2008253292A JP2007095439A JP2007095439A JP2008253292A JP 2008253292 A JP2008253292 A JP 2008253292A JP 2007095439 A JP2007095439 A JP 2007095439A JP 2007095439 A JP2007095439 A JP 2007095439A JP 2008253292 A JP2008253292 A JP 2008253292A
- Authority
- JP
- Japan
- Prior art keywords
- image
- case
- cross
- arbitrary
- sectional image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003902 lesion Effects 0.000 claims description 74
- 238000004891 communication Methods 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 claims description 5
- 201000010099 disease Diseases 0.000 description 26
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 26
- 238000010586 diagram Methods 0.000 description 14
- 238000000034 method Methods 0.000 description 14
- 230000002159 abnormal effect Effects 0.000 description 9
- 206010028980 Neoplasm Diseases 0.000 description 7
- 238000003745 diagnosis Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 210000004072 lung Anatomy 0.000 description 5
- 238000000605 extraction Methods 0.000 description 3
- 230000002685 pulmonary effect Effects 0.000 description 3
- 238000000926 separation method Methods 0.000 description 3
- 210000000621 bronchi Anatomy 0.000 description 2
- 230000002308 calcification Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000012850 discrimination method Methods 0.000 description 2
- 239000006185 dispersion Substances 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 239000005337 ground glass Substances 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 238000011976 chest X-ray Methods 0.000 description 1
- 238000004195 computer-aided diagnosis Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000011994 high resolution computer tomography Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000001727 in vivo Methods 0.000 description 1
- 230000003211 malignant effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 210000001147 pulmonary artery Anatomy 0.000 description 1
- 210000003492 pulmonary vein Anatomy 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20108—Interactive selection of 2D slice in a 3D data set
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30061—Lung
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Radiology & Medical Imaging (AREA)
- Library & Information Science (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- General Engineering & Computer Science (AREA)
- Epidemiology (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Primary Health Care (AREA)
- Public Health (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Processing Or Creating Images (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Medical Treatment And Welfare Office Work (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
【課題】診断対象となる3次元画像の任意断面画像に基づいてデータベースに登録されている症例画像から類似する症例画像を検索可能にする。
【解決手段】症例画像が登録されている症例DB24から診断対象の画像と類似する症例画像を検索するための画像として、任意断面画像(MPR画像)を使用する。ユーザ端末10は、MPR画像での病変部位を基準にして該病変部位を含むアキシャル画像を生成し、このアキシャル画像に含まれる病変部位の特徴量(第1の特徴量)を算出し、症例DB24に送る。症例画像サーバ20は、受信した第1の特徴量と、特徴量DB26に登録されている症例別の特徴量(第2の特徴量)とを比較し、その比較結果に基づいて前記第1の特徴量に類似する第2の特徴量を有する症例画像を症例DB24から検索し、検索した症例画像をユーザ端末10に送る。
【選択図】 図1
【解決手段】症例画像が登録されている症例DB24から診断対象の画像と類似する症例画像を検索するための画像として、任意断面画像(MPR画像)を使用する。ユーザ端末10は、MPR画像での病変部位を基準にして該病変部位を含むアキシャル画像を生成し、このアキシャル画像に含まれる病変部位の特徴量(第1の特徴量)を算出し、症例DB24に送る。症例画像サーバ20は、受信した第1の特徴量と、特徴量DB26に登録されている症例別の特徴量(第2の特徴量)とを比較し、その比較結果に基づいて前記第1の特徴量に類似する第2の特徴量を有する症例画像を症例DB24から検索し、検索した症例画像をユーザ端末10に送る。
【選択図】 図1
Description
本発明は症例画像検索装置及びシステムに係り、特にクエリー画像から抽出した特徴量に基づいてそのクエリー画像と類似する症例画像を検索する技術に関する。
従来、検索キーとなる2次元画像から特徴量(第1の特徴量)を抽出し、一方、検索の対象となる3次元モデルを互いに異なる視点から見た複数の2次元画像を生成し、これらの複数の2次元画像からそれぞれ特徴量(第2の特徴量)を抽出し、前記第1の特徴量と第2の特徴量とを用いて類似検索を行い、検索キーに類似する3次元モデルを検索する3次元モデル検索方法が提案されている(特許文献1)。
また、診断対象となる3次元画像の一部を関心領域とし、その関心領域から特徴量を抽出して、データベース内の画像の特徴量と比較して類似度を算出し、この演算された類似度に基づいて前記データベースから類似する画像を類似度の高い順に選択する類似画像検索装置が提案されている(特許文献2)。
更に、任意の回転と任意の移動を行って表示した3次元画像を基準とて平面を画像3次元ボクセル空間に設定し、この平面に交差するボクセルの画素値からMPR画像を作成することで、任意の角度と任意の位置のMPR画像を容易に表示するとともに、3次元画像との位置関係を直感的に理解することを可能にした3次元画像表示装置が提案されている(特許文献3)。
特開2004−164503号公報
特開2001−155019号公報
特開2001−101449号公報
特許文献1に記載の3次元モデル検索方法は、予め1つの3次元モデルに対して検索用に複数の第2の特徴量(3次元モデルを互いに異なる視点から見た複数の2次元画像から抽出した特徴量)を準備しておく必要があり、特に検索キーとなる2次元画像の方向(視線方向)が定まっていない場合には、あらゆる視点方向を想定して第2の特徴量を準備しなければならず、更に検索対象の3次元モデルが多数存在する場合には、前記第2の特徴量を準備することは難しいという問題がある。
特許文献2に記載の類似画像検出装置は、2次元画像に基づいてデータベースから該2次元画像に類似する2次元画像、又は該2次元画像を包含する3次元画像を検索することができない。
特許文献3に記載の3次元画像表示装置は、画像データベースからの画像検索や、検索した画像を表示するものではなく、類似症例を検索する等の画面インターフェースは考慮されていない。
本発明はこのような事情に鑑みてなされたもので、診断対象となる3次元画像の任意断面画像に基づいてデータベースに登録されている症例画像から類似する症例画像を検索することができる症例画像検索装置及びシステムを提供することを目的とする。
前記目的を達成するために請求項1に係る症例画像検索装置は、診断対象となる3次元画像を任意の位置及び任意の角度の切断面で切断してなる任意断面画像を指定する断面画像指定手段と、前記指定された任意断面画像上での病変部位を基準にして、前記3次元画像から前記病変部位を含む予め設定された軸方向の断面画像を生成する断面画像生成手段と、前記作成された断面画像に基づいて該断面画像に含まれる病変部位の第1の特徴量を算出する特徴量算出手段と、複数の症例画像とともに各症例画像別の第2の特徴量であって、予め設定された軸方向の断面画像上での病変部位の第2の特徴量が関連づけて登録されているデータベースと、前記第1の特徴量と前記第2の特徴量とを比較し、前記第1の特徴量に類似する第2の特徴量を有する症例画像を前記データベースから検索する検索手段と、を備えたことを特徴としている。
症例画像が登録されているデータベースから診断対象の画像と類似する症例画像を検索するための検索用画像として、任意断面画像(MPR画像)を使用できるようにする。即ち、任意断面画像上での病変部位を基準にして、前記3次元画像から前記病変部位を含む予め設定された軸方向の断面画像(例えば、アキシャル画像)を生成する。そして、前記作成された断面画像に基づいて該断面画像に含まれる病変部位の第1の特徴量を算出する。一方、データベースには、複数の症例画像とともに各症例画像別の第2の特徴量であって、予め設定された軸方向の断面画像(例えば、アキシャル画像)上での病変部位の第2の特徴量が関連づけて登録されており、前記第1の特徴量と前記第2の特徴量とを比較することにより、前記第1の特徴量に類似する第2の特徴量を有する症例画像を前記データベースから検索するようにしている。
即ち、検索用画像として、任意断面画像(MPR画像)を使用可能にし、この任意断面画像を予め設定された軸方向の断面画像(例えば、アキシャル画像)に変換して第1の特徴量を算出するようにしたため、データベース側では、予め設定された軸方向の断面画像(例えば、アキシャル画像)上での病変部位の第2の特徴量を保持してればよい。
請求項2に示すように請求項1に記載の症例画像検索装置において、前記3次元画像から前記指定された第1の任意断面画像を生成する第1の断面画像生成手段と、前記生成された第1の任意断面画像を表示する第1の表示手段と、前記症例画像が3次元画像として登録されている前記データベースと、前記検索手段によって検索された症例画像に対応する3次元画像から前記断面画像指定手段によって指定された角度と同じ角度の断面画像であって、病変部位を含む任意断面画像を生成する第2の断面画像生成手段と、前記生成された第2の任意断面画像を表示する第2の表示手段と、を備えたことを特徴としている。
これにより、診断対象の第1の任意断面画像と同じ角度の第2の任意断面画像(参照にする症例画像)とを表示することができる。尚、診断対象を任意断面画像として表示することができるため、病変部位等を見やすくすることができる。
請求項3に係る症例画像検索装置は、診断対象となる3次元画像を任意の位置及び任意の角度の切断面で切断してなる任意断面画像を指定する断面画像指定手段と、前記指定された任意断面画像上での病変部位の第1の特徴量を算出する第1の特徴量算出手段と、複数の症例画像が登録されているデータベースであって、各症例画像が3次元画像として登録されているデータベースと、前記データベースに登録されている各症例画像別の3次元画像に基づいて前記断面画像指定手段によって指定された角度と同じ角度の断面画像であって、病変部位を含む任意断面画像を、各症例画像別に生成する第2の断面画像生成手段と、各症例画像別に生成された任意断面画像上での病変部位の第2の特徴量を算出する第2の特徴量算出手段と、前記第1の特徴量と前記第2の特徴量とを比較し、前記第1の特徴量に類似する第2の特徴量を有する症例画像を前記データベースから検索する検索手段と、を備えたことを特徴としている。
任意断面画像上での病変部位の第1の特徴量に基づいてデータベースから類似症例を検索できるようにする。即ち、データベースには、各症例画像別の3次元画像が登録されており、この3次元画像から前記指定された角度(任意断面画像の角度)と同じ角度の断面画像であって、病変部位を含む任意断面画像を各症例画像別に生成し、この任意断面画像上での病変部位の第2の特徴量を算出する。そして、前記第1の特徴量に類似する第2の特徴量を有する症例画像を前記データベースから検索するようにしている。
請求項4に示すように請求項3に記載の症例画像検索装置において、前記3次元画像から前記断面画像指定手段によって指定された第1の任意断面画像を生成する第1の断面画像生成手段と、前記生成された第1の任意断面画像を表示する第1の表示手段と、前記検索手段によって検索された症例画像に対応して前記第2の断面画像生成手段によって生成された第2の任意断面画像を表示する第2の表示手段と、を備えたことを特徴としている。これにより、診断対象の第1の任意断面画像と同じ角度の第2の任意断面画像(参照にする症例画像)を表示することができる。
請求項5に示すように請求項2又は4に記載の症例画像検索装置において、前記第1の表示手段と第2の表示手段とは同一の表示手段であり、前記第1の任意断面画像及び第2の任意断面画像を、同時に又は画面を切り替えて表示することを特徴としている。
請求項6に示すように請求項2に記載の症例画像検索装置において、前記第1の表示手段と第2の表示手段とは同一の表示手段であり、前記第1の任意断面画像、第2の任意断面画像及び前記作成された断面画像を、同時に又は画面を切り替えて表示することを特徴としている。
請求項7に示すように請求項2、4、5、又は6に記載の症例画像検索装置において、前記データベースには症例画像とともにその症例画像に対する診断情報が登録され、前記第2の表示手段は、前記第2の任意断面画像とともに、該第2の任意断面画像に対応する診断情報を表示することを特徴としている。
これにより、診断対象の第1の任意断面画像と同じ角度の第2の任意断面画像(参照にする症例画像)と、その診断情報とを表示することができる。
請求項8に係る発明は、ユーザ端末と症例画像サーバとがネットワークを介して接続された症例画像検索システムであって、前記ユーザ端末は、診断対象となる3次元画像を任意の位置及び任意の角度の切断面で切断してなる任意断面画像を指定する断面画像指定手段と、前記指定された任意断面画像上での病変部位を基準にして、前記3次元画像から前記病変部位を含む予め設定された軸方向の断面画像を生成する断面画像生成手段と、前記作成された断面画像に基づいて該断面画像に含まれる病変部位の第1の特徴量を算出する第1の特徴量算出手段と、前記算出した第1の特徴量を前記症例画像サーバに送信するとともに、前記症例画像サーバによって検索された症例画像を受信する第1の通信手段と、を備え、前記症例画像サーバは、複数の症例画像とともに各症例画像別の第2の特徴量であって、予め設定された軸方向の断面画像上での病変部位の第2の特徴量が関連づけて登録されているデータベースと、前記第1の特徴量と前記第2の特徴量とを比較し、前記第1の特徴量に類似する第2の特徴量を有する症例画像を前記データベースから検索する検索手段と、前記第1の特徴量を前記ユーザ端末から受信するとともに、前記検索した症例画像を前記ユーザ端末に送信する第2の通信手段と、を備えたことを特徴としている。
請求項9に係る発明は、ユーザ端末と症例画像サーバとがネットワークを介して接続された症例画像検索システムであって、前記ユーザ端末は、診断対象となる3次元画像を任意の位置及び任意の角度の切断面で切断してなる任意断面画像を指定する断面画像指定手段と、前記指定された任意断面画像上での病変部位を基準にして、前記3次元画像から前記病変部位を含む予め設定された軸方向の断面画像を生成する断面画像生成手段と、前記作成された断面画像を前記症例画像サーバに送信するとともに、前記症例画像サーバによって検索された症例画像を受信する第1の通信手段と、を備え、前記症例画像サーバは、前記作成された断面画像に基づいて該断面画像での病変部位の第1の特徴量を算出する特徴量算出手段と、複数の症例画像とともに各症例画像別の第2の特徴量であって、予め設定された軸方向の断面画像上での病変部位の第2の特徴量が関連づけて登録されているデータベースと、前記第1の特徴量と前記第2の特徴量とを比較し、前記第1の特徴量に類似する第2の特徴量を有する症例画像を前記データベースから検索する検索手段と、前記基準断面の断面画像を受信するとともに、前記検索した症例画像を前記ユーザ端末に送信する第2の通信手段と、を備えたことを特徴としている。
請求項10に係る発明は、ユーザ端末と症例画像サーバとがネットワークを介して接続された症例画像検索システムであって、前記ユーザ端末は、診断対象となる3次元画像を任意の位置及び任意の角度の切断面で切断してなる任意断面画像を指定する断面画像指定手段と、前記指定された任意断面画像に基づいて該断面画像に含まれる病変部位の第1の特徴量を算出する特徴量算出手段と、前記算出した第1の特徴量及び前記指定された任意断面画像の角度の情報を前記症例画像サーバに送信するとともに、前記症例画像サーバによって検索された症例画像を受信する第1の通信手段と、を備え、前記症例画像サーバは、複数の症例画像が登録されているデータベースであって、各症例画像が3次元画像として登録されているデータベースと、前記データベースに登録されている各症例画像別の3次元画像に基づいて前記任意断面画像の角度と同じ角度の断面画像であって、病変部位を含む任意断面画像を、各症例画像別に生成する断面画像生成手段と、各症例画像別に生成された任意断面画像上での病変部位の第2の特徴量を算出する第2の特徴量算出手段と、前記第1の特徴量と前記第2の特徴量とを比較し、前記第1の特徴量に類似する第2の特徴量を有する症例画像を前記データベースから検索する検索手段と、前記算出された第1の特徴量及び前記指定された任意断面画像の角度の情報を前記ユーザ端末から受信するとともに、前記検索した症例画像を前記ユーザ端末に送信する第2の通信手段と、を備えたことを特徴としている。
請求項11に係る発明は、ユーザ端末と症例画像サーバとがネットワークを介して接続された症例画像検索システムであって、前記ユーザ端末は、診断対象となる3次元画像を任意の位置及び任意の角度の切断面で切断してなる任意断面画像を指定する断面画像指定手段と、前記指定された任意断面画像及び該任意断面画像の角度の情報を前記症例画像サーバに送信するとともに、前記症例画像サーバによって検索された症例画像を受信する第1の通信手段と、を備え、前記症例画像サーバは、前記指定された任意断面画像に基づいて該任意断面画像での病変部位の第1の特徴量を算出する第1の特徴量算出手段と、複数の症例画像が登録されているデータベースであって、各症例画像が3次元画像として登録されているデータベースと、前記データベースに登録されている各症例画像別の3次元画像に基づいて前記任意断面画像の角度と同じ角度の断面画像であって、病変部位を含む任意断面画像を、各症例画像別に生成する断面画像生成手段と、各症例画像別に生成された任意断面画像上での病変部位の第2の特徴量を算出する第2の特徴量算出手段と、前記第1の特徴量と前記第2の特徴量とを比較し、前記第1の特徴量に類似する第2の特徴量を有する症例画像を前記データベースから検索する検索手段と、前記指定された任意断面画像及び該任意断面画像の角度の情報を前記ユーザ端末から受信するとともに、前記検索した症例画像を前記ユーザ端末に送信する第2の通信手段と、を備えたことを特徴としている。
本発明によれば、病変部位等が見やすい所望の任意断面画像を選択することができ、この任意断面画像に基づいてデータベースに登録されている症例画像から類似する症例画像を検索することができる。
以下、添付図面に従って本発明に係る症例画像検索装置及びシステムの好ましい実施の形態について説明する。
<システム構成>
図1は本発明に係る症例画像検索システムの実施の形態を示すシステム構成図である。
図1は本発明に係る症例画像検索システムの実施の形態を示すシステム構成図である。
この症例画像検索システム1は、ユーザ端末10と、症例画像サーバ20と、これらを接続するためのネットワーク網30とによって構成されている。
ユーザ端末10は、ネットワーク網30と接続されたパーソナルコンピュータ(パソコン)等によって構成されており、主として変換プログラム12、分析プログラム14、表示プログラム16、キーボード、マウス等の操作部、モニタ及び新規症例データベース(DB)18から構成されている。
新規症例DB18には、診断対象となる新規患者の3次元画像が格納されている。3次元画像は、X線CT装置等によって撮影されたもので、例えば、被検体の体軸方向と直交する断層像(アキシャル画像)が体軸方向に連続してなる3次元画像である。
ユーザは、キーボードやマウスを使用し、診断対象となる3次元画像の切断面の位置及び角度をそれぞれ任意に指定することができる。ユーザ端末10は、このようにして指定された任意の位置及び任意の角度の切断面によって診断対象となる3次元画像を切断してなる任意断面画像(以下、「MPR(Multi Planner Reconstruction)画像」と称す)を生成し、このMPR画像をモニタに表示させることができる。
即ち、ユーザは、ユーザ端末10を操作することにより、所望のMPR画像をモニタに表示させて画像診断を行うことができる。
変換プログラム12は、ユーザが指定した病変部位を含むMPR画像を、クエリーとして使用する前記病変部位内の所定の1点を通るアキシャル画像に変換する処理を行う。
分析プログラム14は、クエリー画像(アキシャル画像)から該アキシャル画像上の病変部位の特徴量(第1の特徴量)を算出する。病変部位の特徴量としては、病変部位の形状、大きさ、濃度等の複数種類のものがある。
表示プログラム16は、上記MPR画像、アキシャル画像、症例画像サーバ20からの問い合わせ結果(参照される症例画像(MPR画像)や診断情報)等をモニタに表示させる。
症例画像サーバ20は、主として検索プログラム22、症例DB24、及び特徴量DB26から構成されている。
検索プログラム22は、ユーザからの検索要求に応じて、症例DB24及び特徴量DB26から該当する情報を検索し、その検索結果をユーザ端末に送信する。
症例DB24には、検索対象となる症例情報が疾患別に格納されている。ここで、症例情報は、確定診断された各疾患の症例画像(3次元画像)と、その症例画像に対して読影医が作成した読影レポート、臨床医が作成した診断内容などのテキストベースの診断情報とから構成されている。
特徴量DB26には、各症例画像の病変部位の特徴量(第2の特徴量)であって、病変部位内の所定の1点を通るアキシャル画像上の病変部位について算出された第2の特徴量が、疾患別に格納されている。
<症例画像の入力>
図2はユーザ端末側での処理を示すフローチャートである。
図2はユーザ端末側での処理を示すフローチャートである。
ユーザは、新規症例DB18から新規患者の画像を検索し、ユーザ端末10のモニタに診断対象の症例画像(MPR画像)を表示させるが(ステップS10)、このMPR画像を表示させる際に、病変部位が見やすいMPR画像が表示されるように任意の断面(3次元画像に対する任意の位置及び任意の角度の切断面)を指定する(ステップS12)。
続いて、ユーザは、モニタに表示されたMPR画像により画像診断を行い、図3に示すようにMPR画像上の病変部位40にカーソル42をマウス等によって移動させ、1クリック3D計測でマーキングし、検索を実行する(ステップS14)。
病変部位40の1クリック3D計測は、以下のようにして行う。
まず、図4の(a)に示すように、指示された点Cを中心とした、病変部位(腫瘍領域)を抽出する。この点Cは腫瘍領域の中心に近い点を指示するのが望ましい。
腫瘍領域を充分に含む一定半径の領域を判別領域TTとして決定する。
次に、図4(a)に示すような判別領域TTの画像を、点Cからの距離と、点Cを通る所定の直線とのなす角度θで表す極座標平面上に展開した判別画像PPに変換する。たとえば、図4(a)画像の半径方向の線分CDを基準とし、時計回りの方向の角度θとして極座標変換して得られた図4(b)の極座標画像を用いて判別領域内の各画素に対して腫瘍領域の輪郭であるか否かの判定を行なう。
判別領域内の各画素(x、y)と点Cを通る直線上の1次元輝度プロファイル内の輝度情報から抽出される特徴量Lに基づいて、判別領域内の各画素(x、y)が輪郭を表す画素であるかどうかの評価値Sを算出する。
各画素(x、y)と点Cを通る直線上の1次元輝度プロファイルは、腫瘍領域の輪郭であるところの前後で輝度値が急激に変化する。そこで、輝度値から特徴量を算出して、この特徴量を用いた判別器を生成する。判別器から得られた結果に基づいて、図4(c)の太線Bで示すような輪郭を構成する画像(x、y)を求める。そこで、極座標系で表されている判別領域PPを通常の座標系に逆変換して図4(d)に示すように判別領域TTの画像上の輪郭を決定する。この輪郭に囲まれた領域を腫瘍領域(つまり、注目領域)として抽出する。
あるいは、“Wormanns D, Kohl G, Klotz E, et al. Volu- metric measurements of pulmonary nodules at multi-row detector CT: in vivo reproducibility. Eur Radiol 2004;14(1):86-92.”などに示されている領域分離技術を用いて、注目領域を抽出しても
よい。
よい。
図2に戻って、検索命令を受けると、変換プログラム12は、ユーザが断面を指定した時の角度、病変部位内の1点、3D領域分離情報から、診断対象の3次元画像を用いて病変部位内の所定の1点を通るアキシャル画像(病変部位の領域分離結果付)を生成する(ステップS16)。尚、病変部位内の所定の1点は、病変部位領域の重心などを用いる。
このように生成されたアキシャル画像(図5)が、システム内部で用いられる実際のクエリーとなる。
アキシャル画像の生成後、そのアキシャル画像を分析プログラム14に渡し、そのアキシャル画像から特徴量(第1の特徴量)を求める(ステップS18)。
上記第1の特徴量は、以下のようにして抽出される。
分析プログラム14は、前記抽出された注目領域(病変部位)の特徴を分析する。
注目領域が肺野に現れる腫瘍や肺結節などの異常陰影である場合、異常陰影は形態、大きさ、辺縁や領域内の濃度に特徴が表れる。また、各異常陰影が現れた解剖学的な位置もその異常陰影の特徴であると考えられる。そこで、注目領域を解析して、形態の特徴、大きさの特徴、注目領域内の濃度の特徴、注目領域の辺縁部の濃度の特徴、解剖学的な位置などを求める。
(1) 形態の特徴
異常陰影の形態は、図6に示すような、類円形、分葉状、多角形、星型、スピクラ、鋸歯状、不整形に分けられる(詳細は、“岩野他、孤立性肺結節の良悪性コンピュータ支援診断、JRC2006”などを参照)。
異常陰影の形態は、図6に示すような、類円形、分葉状、多角形、星型、スピクラ、鋸歯状、不整形に分けられる(詳細は、“岩野他、孤立性肺結節の良悪性コンピュータ支援診断、JRC2006”などを参照)。
これらの形態は、円形度(周囲長と面積の比)、二次重心モーメント(結節重心と結節内画素点間距離の2乗総和を面積の2乗で正規化したもの)を用いて分類することができる。
円形度と二次モーメントは図7に示すような分布を示し、各楕円で囲まれた範囲内にそれぞれ類円形、分葉状、多角形、星型、スピクラ、鋸歯状、不整形(前述のいずれにも
属さないもの)に分類される。そこで、既存の非線形判別手法、設計判別手法などを用いて、円形度と二次モーメントなどの特徴量を入力することによってどのような形態であるかを出力する判別器を実現することができる。
属さないもの)に分類される。そこで、既存の非線形判別手法、設計判別手法などを用いて、円形度と二次モーメントなどの特徴量を入力することによってどのような形態であるかを出力する判別器を実現することができる。
(2) 大きさの特徴
異常陰影の大きさは、面積、体積、長軸および短軸径などによって表され、前述の抽出手段43によって抽出された注目領域から自動的に計測することができる。
異常陰影の大きさは、面積、体積、長軸および短軸径などによって表され、前述の抽出手段43によって抽出された注目領域から自動的に計測することができる。
(3) 注目領域内の濃度の特徴
異常陰影は、濃度によってPure GGO(スリガラス影)、Mixed GGO(スリガラス影と高
濃度)、Solid(高濃度)に分けられる。前述の抽出手段43によって抽出された注目領
域内の平均値、偏差、最大値、最小値を特徴量として、既存の非線形判別手法、設計判別手法などを用いて判別することができる。
異常陰影は、濃度によってPure GGO(スリガラス影)、Mixed GGO(スリガラス影と高
濃度)、Solid(高濃度)に分けられる。前述の抽出手段43によって抽出された注目領
域内の平均値、偏差、最大値、最小値を特徴量として、既存の非線形判別手法、設計判別手法などを用いて判別することができる。
更に、濃度値から、異常陰影の領域内に石灰化有無や空洞有無でわけることができる。石灰化は、注目領域内の濃度の最大値が一定のしきい値(例えば、目安CT値500)以上
の場合は、石灰化が存在するものと判定する。空洞は、注目領域内の濃度の最小値が一定のしきい値(例えば、目安CT値500)以下の場合に空洞が存在すると判定する。
の場合は、石灰化が存在するものと判定する。空洞は、注目領域内の濃度の最小値が一定のしきい値(例えば、目安CT値500)以下の場合に空洞が存在すると判定する。
(4) 注目領域の辺縁部の濃度の特徴
異常陰影の辺縁部は、明瞭であるか、不明瞭であるかに分けることができる。辺縁部が、明瞭であるか不明瞭であるかは、分析プログラム14によって抽出された注目領域の輪郭内外の濃度差を用いて分類を行う。図8に示す太線を輪郭とする注目領域の内部領域(輪郭の内側)と周囲(輪郭の外側の斜線部)の濃度値から濃度差を、次式で求める。
異常陰影の辺縁部は、明瞭であるか、不明瞭であるかに分けることができる。辺縁部が、明瞭であるか不明瞭であるかは、分析プログラム14によって抽出された注目領域の輪郭内外の濃度差を用いて分類を行う。図8に示す太線を輪郭とする注目領域の内部領域(輪郭の内側)と周囲(輪郭の外側の斜線部)の濃度値から濃度差を、次式で求める。
濃度差=[濃度値の平均値(周囲)-平均値(内部)]/[分散(周囲)+分散(内部)]
(5) 解剖学的な位置
次に、注目領域の解剖学的な位置を認識する。例えば、胸部画像では、図9に示すように、まず、入力された胸部画像(同図(a)参照)より自動的に肺野の抽出(同図(b)参照)と気管支の抽出(同図(d))を行う。さらに、気管支の形状から葉間裂を抽出して(同
図(c)(e)参照)、肺野を分けた肺葉分類(右上、中、下葉、左上、下葉)を行う(詳細は
、文献1“林 達郎,周 向栄,原 武史,藤田広志,横山龍二郎,桐生拓司,星 博昭:胸部マルチスライスCT画像における葉間裂の自動抽出手順の開発と性能評価,電子情報通信学会技術研究報告, MI2003-53, 39-44 (2003)”、文献2“中田他、3次元胸部CT像から抽出された気管支の葉分類に関する検討、第15回コンピュータ支援画像学会、pp275-276、2005.11”、文献3“田中他、血管と気管支の空間的配置特徴に基づく胸部X線CT像からの肺動脈・肺静脈自動分類、電子情報通信学会論文誌、DII、Vol.J88、PP1421-1431、2005.4”、文献4“:Shyu C, Brodley CE, Kak A, Kosaka A,Aisen A, Broderick L. ASSERT, a physician-in-the-loop content-based image retrieval system for HRCT image databases.Computer Vision and Image Understanding,1999;74: 111-132”などを参照)。例えば、図9(a)に示す、注目領域(黒矢印が指す部分)の解剖学的位置は、「左肺・上葉・S2」として認識される。
(5) 解剖学的な位置
次に、注目領域の解剖学的な位置を認識する。例えば、胸部画像では、図9に示すように、まず、入力された胸部画像(同図(a)参照)より自動的に肺野の抽出(同図(b)参照)と気管支の抽出(同図(d))を行う。さらに、気管支の形状から葉間裂を抽出して(同
図(c)(e)参照)、肺野を分けた肺葉分類(右上、中、下葉、左上、下葉)を行う(詳細は
、文献1“林 達郎,周 向栄,原 武史,藤田広志,横山龍二郎,桐生拓司,星 博昭:胸部マルチスライスCT画像における葉間裂の自動抽出手順の開発と性能評価,電子情報通信学会技術研究報告, MI2003-53, 39-44 (2003)”、文献2“中田他、3次元胸部CT像から抽出された気管支の葉分類に関する検討、第15回コンピュータ支援画像学会、pp275-276、2005.11”、文献3“田中他、血管と気管支の空間的配置特徴に基づく胸部X線CT像からの肺動脈・肺静脈自動分類、電子情報通信学会論文誌、DII、Vol.J88、PP1421-1431、2005.4”、文献4“:Shyu C, Brodley CE, Kak A, Kosaka A,Aisen A, Broderick L. ASSERT, a physician-in-the-loop content-based image retrieval system for HRCT image databases.Computer Vision and Image Understanding,1999;74: 111-132”などを参照)。例えば、図9(a)に示す、注目領域(黒矢印が指す部分)の解剖学的位置は、「左肺・上葉・S2」として認識される。
図2に戻って、上記のようにして第1の特徴量の抽出後、第1の特徴量及び任意断面情報(角度や位置の情報)を症例画像サーバ20へ送信する(ステップS20)。
症例画像サーバ20では,この情報を元に、サーバ内の症例DB24から類似度の高い症例画像の検索を行う。
<症例の検索>
症例画像サーバ20は、ユーザ端末10から受け取った特徴量を元に、過去症例の特徴量DB26内でクエリー症例と類似度が高い症例を検索する。該当する症例が存在する場合は、その症例をキーとして、症例DB24から詳細な症例情報を入手する。
症例画像サーバ20は、ユーザ端末10から受け取った特徴量を元に、過去症例の特徴量DB26内でクエリー症例と類似度が高い症例を検索する。該当する症例が存在する場合は、その症例をキーとして、症例DB24から詳細な症例情報を入手する。
図10は症例画像サーバ側での処理を示すフローチャートである。
症例画像サーバ20は、ユーザ端末10から第1の特徴量及び任意断面情報を受信する(ステップS30)。
続いて、クエリー画像の第1の特徴量と特徴量DB26内の症例画像毎の第2の特徴量とを比較し、両者の類似度を個別に計算する(ステップS32)。
図11はクエリー画像から抽出した第1の特徴量のデータ例を示し、図12は特徴量DB26に格納されている疾患別(A,B,…)に分類されている症例画像毎(A-001,A-002,…,B-001,B-002,…)の第2の特徴量のデータ例を示す。
ステップS32では、クエリー画像から抽出した第1の特徴量mi(i=1,2,…,n)と、各症例画像の第2の特徴量Mi(i=1,2,…,n)とに基づいて、クエリー画像と各症例画像との類似度Sを、次式に基づいて計算する。
上記類似度Sの計算は、疾患毎に分けて行う。
図13は、ある疾患Aの各症例画像とクエリー画像との類似度の関係をプロットしたグラフであり、横軸は各症例を示し、縦軸は類似度を示している。図8中で、〇で囲まれている症例画像が、クエリー画像に最も類似している。
図5に戻って、ステップS34では、疾患毎に最も類似度が高い症例画像(代表症例)を検索する。
特徴量DB26に登録されている各症例画像の特徴量と、症例DB24に登録されている各症例情報とは関連づけられており、ステップS34によって検索された疾患毎に最も類似度が高い代表症例の症例IDを元に、症例DB24から対応する症例情報を取り出す(ステップS36)。
上記症例情報は、画像データの画像以外に、読影レポート、電子カルテ、確定診断情報等の検査結果などのテキストベースの診断情報から成る。これらの情報は、次に述べる方法にて、ユーザに提示される。
また、提示する症例画像としては、類似検索されたアキシャル画像と、そのアキシャル画像内の病変部位を通るMPR画像であって、新規症例画像のMPR画像と同じ角度のMPR画像とが提示される。
即ち、症例DB24には、各症例ごとに3次元画像が格納されており、症例画像サーバ20は、ユーザ端末10から受信したMPR画像の断面情報(角度情報)を元に、3次元画像から病変部位の所定の1点を通るMPR画像を生成する機能を有しており、この生成したMPR画像をユーザに提示する。
尚、本例では、疾患毎に最も類似度が高い代表症例を検索するようにしたため、同じ疾患が重複して検索されないようにすることができるが、疾患の重複にこだわらず、類似度の上位から類似画像を検索するようにしてもよい。
<類似症例画像の表示>
前述したプロセスにより、類似症例が検索された場合、症例画像と付随する情報をユーザに提示する。画像表示方法は、特開2001-101449号公報 「三次元画像表示装置」(テラリコン・インコーポレイテッド)に記載の方法を用いるか、もしくは次に述べるような手法を用いる。
前述したプロセスにより、類似症例が検索された場合、症例画像と付随する情報をユーザに提示する。画像表示方法は、特開2001-101449号公報 「三次元画像表示装置」(テラリコン・インコーポレイテッド)に記載の方法を用いるか、もしくは次に述べるような手法を用いる。
図14はユーザ端末10のモニタに表示された検索表示画面の一例を示す図である。
図14に示すように、検索表示画面には、新規症例画像(MPR画像)と、クエリー画像に類似する疾患ごとの代表症例(MPR画像)とが表示される。
尚、各代表症例は類似度順に提示され、図14上では、疾患Aの代表症例と、疾患Bの代表症例とが表示されている。また、疾患毎に代表症例の類似度、疾患別の登録数、検索結果(類似疾患)の件数の情報等が表示され、更にモニタ画面に同時に表示できない他の代表症例を表示させるための「ページ送り」のソフトボタンが表示されている。
ユーザは、新規症例画像(MPR画像)と、各疾患の代表症例(MPR画像)とを対比しながら画像診断を行うことができる。
更に、図14に示した検索結果画面から、更に詳細な情報を表示することができる詳細情報画面に遷移させることができる。
図15は選択された疾患の症例情報が表示された詳細情報画面の一例を示す図である。
図15(A)は図14に示した検索結果画面を示し、図15(B)は検索結果画面上で特定の疾患の代表症例をクリックすることで遷移した、その疾患の詳細な情報を示す詳細情報画面である。
図15(B)に示すように詳細情報画面は、左側の操作領域Aと右側の情報表示領域Bとを有している。
操作領域Aには、検索結果画面で選択された疾患(本例では、疾患B)の各症例の一覧が類似度の高い順に表示されている。この一覧から所望の症例を選択することにより、選択された症例の詳細情報が情報表示領域Bに表示される。
情報表示領域Bは、4つの表示領域B1〜B4から構成されており、表示領域B1にはMPR画像1(新規症例画像(MPR画像)と同じ角度のMPR画像)が表示され、表示領域B2にはMPR画像1とは異なる角度のMPR画像2(例えば、MPR画像1と直交するMPR画像)が表示され、表示領域B3には病変部位を含むアキシャル画像が表示され、表示領域B4には、読影レポート、確定診断情報等のテキストベースの診断情報が表示される。
<他の実施の形態>
上記の実施の形態では、ユーザ端末10において、MPR画像からアキシャル画像に変換し、この変換したアキシャル画像をクエリー画像として検索用の第1の特徴量を求め、この第1の特徴量とMPR画像の角度情報を症例画像サーバ20に送信するようにしたが、これに限らず、MPR画像をクエリー画像として検索用の第1の特徴量を求め、この第1の特徴量とMPR画像の角度情報を症例画像サーバ20に送信するようにしてもよい。
上記の実施の形態では、ユーザ端末10において、MPR画像からアキシャル画像に変換し、この変換したアキシャル画像をクエリー画像として検索用の第1の特徴量を求め、この第1の特徴量とMPR画像の角度情報を症例画像サーバ20に送信するようにしたが、これに限らず、MPR画像をクエリー画像として検索用の第1の特徴量を求め、この第1の特徴量とMPR画像の角度情報を症例画像サーバ20に送信するようにしてもよい。
MPR画像をクエリー画像とした場合には、症例画像サーバ20は、図16示すようにクエリー画像と同じ角度のMPR画像であって、病変部位の特定の1点を通過するMPR画像を症例毎に生成する。MPR画像の生成後、そのMPR画像から特徴量(第2の特徴量)を算出する。
そして、ユーザ端末10から受信した第1の特徴量と前記算出した第2の特徴量とを比較し、両者の類似度を症例別に計算し、この計算結果に基づいてクエリー画像(MPR画像)に類似する症例画像(MPR画像)を検索する。症例画像サーバ20は、このようにして検索した症例画像(MPR画像)等をユーザ端末10に送信する。
<変形例>
ユーザ端末の変換プログラムは、MPR画像をアキシャル画像に変換するようにしたが、アキシャル画像に限らず、コロナル画像、サジタル画像等の予め設定された軸方向の断面画像に変換するようにしてもよい。この場合、症例画像サーバ側では、ユーザ端末側で変換される断面画像と同じ種類の断面画像上での病変部位の特徴量を保持する必要がある。
ユーザ端末の変換プログラムは、MPR画像をアキシャル画像に変換するようにしたが、アキシャル画像に限らず、コロナル画像、サジタル画像等の予め設定された軸方向の断面画像に変換するようにしてもよい。この場合、症例画像サーバ側では、ユーザ端末側で変換される断面画像と同じ種類の断面画像上での病変部位の特徴量を保持する必要がある。
また、この実施の形態では、ユーザ端末はクエリー画像から算出した第1の特徴量を症例画像サーバに送信するようにしたが、クエリー画像自体を送信し、症例画像サーバ側で受信したクエリー画像から検索用の特徴量(第1の特徴量)を算出するようにしてもよい。
更に、図1に示したネットワーク網30は、IPSec,SSL-VPN等のセキュアな外部ネットワーク網でもよいし、院内LANなどの内部ネットワーク網でもよい。
また、本発明は、ネットワーク網を使用した症例画像検索システムに限らず、全ての処理を内部で行う自己完結型の症例画像検索装置にも適用できる。
1…症例画像検索システム、10…ユーザ端末、12…変換プログラム、14…分析プログラム、16…表示プログラム、18…新規症例DB、20…症例画像サーバ、22…検索プログラム、24…症例DB、26…特徴量DB、30…ネットワーク網
Claims (11)
- 診断対象となる3次元画像を任意の位置及び任意の角度の切断面で切断してなる任意断面画像を指定する断面画像指定手段と、
前記指定された任意断面画像上での病変部位を基準にして、前記3次元画像から前記病変部位を含む予め設定された軸方向の断面画像を生成する断面画像生成手段と、
前記作成された断面画像に基づいて該断面画像に含まれる病変部位の第1の特徴量を算出する特徴量算出手段と、
複数の症例画像とともに各症例画像別の第2の特徴量であって、予め設定された軸方向の断面画像上での病変部位の第2の特徴量が関連づけて登録されているデータベースと、
前記第1の特徴量と前記第2の特徴量とを比較し、前記第1の特徴量に類似する第2の特徴量を有する症例画像を前記データベースから検索する検索手段と、
を備えたことを特徴とする症例画像検索装置。 - 前記3次元画像から前記指定された第1の任意断面画像を生成する第1の断面画像生成手段と、
前記生成された第1の任意断面画像を表示する第1の表示手段と、
前記症例画像が3次元画像として登録されている前記データベースと、
前記検索手段によって検索された症例画像に対応する3次元画像から前記断面画像指定手段によって指定された角度と同じ角度の断面画像であって、病変部位を含む任意断面画像を生成する第2の断面画像生成手段と、
前記生成された第2の任意断面画像を表示する第2の表示手段と、
を備えたことを特徴とする請求項1に記載の症例画像検索装置。 - 診断対象となる3次元画像を任意の位置及び任意の角度の切断面で切断してなる任意断面画像を指定する断面画像指定手段と、
前記指定された任意断面画像上での病変部位の第1の特徴量を算出する第1の特徴量算出手段と、
複数の症例画像が登録されているデータベースであって、各症例画像が3次元画像として登録されているデータベースと、
前記データベースに登録されている各症例画像別の3次元画像に基づいて前記断面画像指定手段によって指定された角度と同じ角度の断面画像であって、病変部位を含む任意断面画像を、各症例画像別に生成する第2の断面画像生成手段と、
各症例画像別に生成された任意断面画像上での病変部位の第2の特徴量を算出する第2の特徴量算出手段と、
前記第1の特徴量と前記第2の特徴量とを比較し、前記第1の特徴量に類似する第2の特徴量を有する症例画像を前記データベースから検索する検索手段と、
を備えたことを特徴とする症例画像検索装置。 - 前記3次元画像から前記断面画像指定手段によって指定された第1の任意断面画像を生成する第1の断面画像生成手段と、
前記生成された第1の任意断面画像を表示する第1の表示手段と、
前記検索手段によって検索された症例画像に対応して前記第2の断面画像生成手段によって生成された第2の任意断面画像を表示する第2の表示手段と、
を備えたことを特徴とする請求項3に記載の症例画像検索装置。 - 前記第1の表示手段と第2の表示手段とは同一の表示手段であり、前記第1の任意断面画像及び第2の任意断面画像を、同時に又は画面を切り替えて表示することを特徴とする請求項2又は4に記載の症例画像検索装置。
- 前記第1の表示手段と第2の表示手段とは同一の表示手段であり、前記第1の任意断面画像、第2の任意断面画像及び前記作成された断面画像を、同時に又は画面を切り替えて表示することを特徴とする請求項2に記載の症例画像検索装置。
- 前記データベースには症例画像とともにその症例画像に対する診断情報が登録され、
前記第2の表示手段は、前記第2の任意断面画像とともに、該第2の任意断面画像に対応する診断情報を表示することを特徴とする請求項2、4、5、又は6に記載の症例画像検索装置。 - ユーザ端末と症例画像サーバとがネットワークを介して接続された症例画像検索システムであって、
前記ユーザ端末は、
診断対象となる3次元画像を任意の位置及び任意の角度の切断面で切断してなる任意断面画像を指定する断面画像指定手段と、
前記指定された任意断面画像上での病変部位を基準にして、前記3次元画像から前記病変部位を含む予め設定された軸方向の断面画像を生成する断面画像生成手段と、
前記作成された断面画像に基づいて該断面画像に含まれる病変部位の第1の特徴量を算出する第1の特徴量算出手段と、
前記算出した第1の特徴量を前記症例画像サーバに送信するとともに、前記症例画像サーバによって検索された症例画像を受信する第1の通信手段と、を備え、
前記症例画像サーバは、
複数の症例画像とともに各症例画像別の第2の特徴量であって、予め設定された軸方向の断面画像上での病変部位の第2の特徴量が関連づけて登録されているデータベースと、
前記第1の特徴量と前記第2の特徴量とを比較し、前記第1の特徴量に類似する第2の特徴量を有する症例画像を前記データベースから検索する検索手段と、
前記第1の特徴量を前記ユーザ端末から受信するとともに、前記検索した症例画像を前記ユーザ端末に送信する第2の通信手段と、を備えたことを特徴とする症例画像検索システム。 - ユーザ端末と症例画像サーバとがネットワークを介して接続された症例画像検索システムであって、
前記ユーザ端末は、
診断対象となる3次元画像を任意の位置及び任意の角度の切断面で切断してなる任意断面画像を指定する断面画像指定手段と、
前記指定された任意断面画像上での病変部位を基準にして、前記3次元画像から前記病変部位を含む予め設定された軸方向の断面画像を生成する断面画像生成手段と、
前記作成された断面画像を前記症例画像サーバに送信するとともに、前記症例画像サーバによって検索された症例画像を受信する第1の通信手段と、を備え、
前記症例画像サーバは、
前記作成された断面画像に基づいて該断面画像での病変部位の第1の特徴量を算出する特徴量算出手段と、
複数の症例画像とともに各症例画像別の第2の特徴量であって、予め設定された軸方向の断面画像上での病変部位の第2の特徴量が関連づけて登録されているデータベースと、
前記第1の特徴量と前記第2の特徴量とを比較し、前記第1の特徴量に類似する第2の特徴量を有する症例画像を前記データベースから検索する検索手段と、
前記基準断面の断面画像を受信するとともに、前記検索した症例画像を前記ユーザ端末に送信する第2の通信手段と、を備えたことを特徴とする症例画像検索システム。 - ユーザ端末と症例画像サーバとがネットワークを介して接続された症例画像検索システムであって、
前記ユーザ端末は、
診断対象となる3次元画像を任意の位置及び任意の角度の切断面で切断してなる任意断面画像を指定する断面画像指定手段と、
前記指定された任意断面画像に基づいて該断面画像に含まれる病変部位の第1の特徴量を算出する特徴量算出手段と、
前記算出した第1の特徴量及び前記指定された任意断面画像の角度の情報を前記症例画像サーバに送信するとともに、前記症例画像サーバによって検索された症例画像を受信する第1の通信手段と、を備え、
前記症例画像サーバは、
複数の症例画像が登録されているデータベースであって、各症例画像が3次元画像として登録されているデータベースと、
前記データベースに登録されている各症例画像別の3次元画像に基づいて前記任意断面画像の角度と同じ角度の断面画像であって、病変部位を含む任意断面画像を、各症例画像別に生成する断面画像生成手段と、
各症例画像別に生成された任意断面画像上での病変部位の第2の特徴量を算出する第2の特徴量算出手段と、
前記第1の特徴量と前記第2の特徴量とを比較し、前記第1の特徴量に類似する第2の特徴量を有する症例画像を前記データベースから検索する検索手段と、
前記算出された第1の特徴量及び前記指定された任意断面画像の角度の情報を前記ユーザ端末から受信するとともに、前記検索した症例画像を前記ユーザ端末に送信する第2の通信手段と、を備えたことを特徴とする症例画像検索システム。 - ユーザ端末と症例画像サーバとがネットワークを介して接続された症例画像検索システムであって、
前記ユーザ端末は、
診断対象となる3次元画像を任意の位置及び任意の角度の切断面で切断してなる任意断面画像を指定する断面画像指定手段と、
前記指定された任意断面画像及び該任意断面画像の角度の情報を前記症例画像サーバに送信するとともに、前記症例画像サーバによって検索された症例画像を受信する第1の通信手段と、を備え、
前記症例画像サーバは、
前記指定された任意断面画像に基づいて該任意断面画像での病変部位の第1の特徴量を算出する第1の特徴量算出手段と、
複数の症例画像が登録されているデータベースであって、各症例画像が3次元画像として登録されているデータベースと、
前記データベースに登録されている各症例画像別の3次元画像に基づいて前記任意断面画像の角度と同じ角度の断面画像であって、病変部位を含む任意断面画像を、各症例画像別に生成する断面画像生成手段と、
各症例画像別に生成された任意断面画像上での病変部位の第2の特徴量を算出する第2の特徴量算出手段と、
前記第1の特徴量と前記第2の特徴量とを比較し、前記第1の特徴量に類似する第2の特徴量を有する症例画像を前記データベースから検索する検索手段と、
前記指定された任意断面画像及び該任意断面画像の角度の情報を前記ユーザ端末から受信するとともに、前記検索した症例画像を前記ユーザ端末に送信する第2の通信手段と、を備えたことを特徴とする症例画像検索システム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007095439A JP2008253292A (ja) | 2007-03-30 | 2007-03-30 | 症例画像検索装置及びシステム |
US12/058,748 US8009936B2 (en) | 2007-03-30 | 2008-03-30 | Case image search apparatus and system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007095439A JP2008253292A (ja) | 2007-03-30 | 2007-03-30 | 症例画像検索装置及びシステム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2008253292A true JP2008253292A (ja) | 2008-10-23 |
Family
ID=39794430
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007095439A Pending JP2008253292A (ja) | 2007-03-30 | 2007-03-30 | 症例画像検索装置及びシステム |
Country Status (2)
Country | Link |
---|---|
US (1) | US8009936B2 (ja) |
JP (1) | JP2008253292A (ja) |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009247817A (ja) * | 2008-04-11 | 2009-10-29 | Fujifilm Corp | 断面画像表示装置および方法ならびにプログラム |
JP2009279179A (ja) * | 2008-05-22 | 2009-12-03 | Toshiba Corp | 画像表示装置および画像表示プログラム |
JP2010124843A (ja) * | 2008-11-25 | 2010-06-10 | Toshiba Corp | 画像表示装置 |
JP2011095796A (ja) * | 2009-10-27 | 2011-05-12 | Fujifilm Corp | 画像処理装置および方法並びにプログラム |
JP2011115279A (ja) * | 2009-12-01 | 2011-06-16 | Shizuoka Prefecture | 症例画像検索装置、方法およびプログラム |
WO2012058217A2 (en) * | 2010-10-29 | 2012-05-03 | The Johns Hopkins University | Image search engine |
JP2014000350A (ja) * | 2012-06-21 | 2014-01-09 | Canon Inc | 画像診断支援装置、その方法及びプログラム |
JP2014030623A (ja) * | 2012-08-03 | 2014-02-20 | Kyoto Univ | 画像処理装置、画像処理方法およびプログラム |
WO2015044983A1 (ja) * | 2013-09-27 | 2015-04-02 | テルモ株式会社 | 画像診断装置及びその制御方法 |
JP2016193295A (ja) * | 2016-08-22 | 2016-11-17 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラム |
JP2016202904A (ja) * | 2015-04-15 | 2016-12-08 | キヤノン株式会社 | 診断支援装置、診断支援システム、情報処理方法、及びプログラム |
JP2018175695A (ja) * | 2017-04-20 | 2018-11-15 | 富士フイルム株式会社 | 位置合せ装置および位置合せ方法並びに位置合せプログラム |
JP2019141478A (ja) * | 2018-02-23 | 2019-08-29 | 株式会社日立製作所 | 画像処理装置、方法及びプログラム |
US10713539B2 (en) | 2015-11-27 | 2020-07-14 | Fujitsu Limited | Recording medium, case data generation support system, and case data generation support method |
JP2020116429A (ja) * | 2015-09-30 | 2020-08-06 | パナソニックIpマネジメント株式会社 | 制御方法及びプログラム |
JPWO2020110519A1 (ja) * | 2018-11-27 | 2021-10-14 | 富士フイルム株式会社 | 類似度決定装置、方法およびプログラム |
Families Citing this family (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4905967B2 (ja) * | 2007-03-02 | 2012-03-28 | 富士フイルム株式会社 | 類似症例検索装置、方法、およびプログラム |
JP4542591B2 (ja) * | 2008-03-05 | 2010-09-15 | 富士フイルム株式会社 | 画像処理システム、画像保管装置、および、画像処理装置、並びに、画像処理方法、プログラム |
JP5454844B2 (ja) * | 2008-08-13 | 2014-03-26 | 株式会社東芝 | 超音波診断装置、超音波画像表示装置及び超音波画像表示プログラム |
JP5566657B2 (ja) * | 2008-10-15 | 2014-08-06 | 株式会社東芝 | 3次元画像処理装置及びx線診断装置 |
KR20100101204A (ko) * | 2009-03-09 | 2010-09-17 | 한국전자통신연구원 | 관심영역 기반의 유씨씨 영상 검색 방법 및 그 장치 |
US9098927B2 (en) * | 2009-08-21 | 2015-08-04 | Kabushiki Kaisha Toshiba | Image processing apparatus for diagnostic imaging and method thereof |
WO2012001594A1 (en) * | 2010-06-30 | 2012-01-05 | Koninklijke Philips Electronics N.V. | Viewing frames of medical scanner volumes |
US8884916B2 (en) * | 2010-12-09 | 2014-11-11 | Synaptics Incorporated | System and method for determining user input using polygons |
KR101805619B1 (ko) * | 2011-01-25 | 2017-12-07 | 삼성전자주식회사 | 3차원 의료 영상으로부터 최적의 2차원 의료 영상을 자동으로 생성하는 방법 및 장치 |
US10049445B2 (en) * | 2011-07-29 | 2018-08-14 | Canon Kabushiki Kaisha | Image processing apparatus and image processing method of a three-dimensional medical image |
CA3125883C (en) * | 2011-09-16 | 2023-02-14 | Mcgill University | Grading of structures for state determination |
JP5902196B2 (ja) * | 2011-12-13 | 2016-04-13 | インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation | 医用画像を検索する方法、装置及びコンピュータプログラム |
JP5764220B2 (ja) | 2011-12-13 | 2015-08-12 | インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation | 症例ごとの代表画像及び読影情報を生成する方法、装置及びコンピュータプログラム |
JP5952568B2 (ja) * | 2012-01-24 | 2016-07-13 | キヤノン株式会社 | 画像診断支援装置、その処理方法及びプログラム |
JP6018803B2 (ja) * | 2012-05-31 | 2016-11-02 | 株式会社日立ハイテクノロジーズ | 計測方法、画像処理装置、及び荷電粒子線装置 |
US9262442B2 (en) * | 2012-09-20 | 2016-02-16 | International Business Machines Corporation | Techniques for generating a representative image and radiographic interpretation information for a case |
US9411445B2 (en) | 2013-06-27 | 2016-08-09 | Synaptics Incorporated | Input object classification |
US9208173B1 (en) * | 2014-06-13 | 2015-12-08 | Globalfoundries Inc. | Techniques for medical image retreival |
US9804717B2 (en) | 2015-03-11 | 2017-10-31 | Synaptics Incorporated | Input sensing and exclusion |
CN106560827B (zh) * | 2015-09-30 | 2021-11-26 | 松下知识产权经营株式会社 | 控制方法 |
CN105718562A (zh) * | 2016-01-20 | 2016-06-29 | 北京百度网讯科技有限公司 | 基于图片的信息搜索方法和装置 |
US11170035B2 (en) * | 2019-03-29 | 2021-11-09 | Snap Inc. | Context based media curation |
US20220058230A1 (en) * | 2020-08-19 | 2022-02-24 | Marwan Hassan | 3d search engine |
CN114035466B (zh) * | 2021-11-05 | 2022-05-31 | 肇庆高峰机械科技有限公司 | 一种双工位磁片排列机的控制系统 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001101449A (ja) | 1999-09-28 | 2001-04-13 | Terarikon Inc | 三次元画像表示装置 |
US6490476B1 (en) * | 1999-10-14 | 2002-12-03 | Cti Pet Systems, Inc. | Combined PET and X-ray CT tomograph and method for using same |
US6804683B1 (en) * | 1999-11-25 | 2004-10-12 | Olympus Corporation | Similar image retrieving apparatus, three-dimensional image database apparatus and method for constructing three-dimensional image database |
JP2001155019A (ja) | 1999-11-25 | 2001-06-08 | Olympus Optical Co Ltd | 類似画像検索装置 |
US7297958B2 (en) * | 2001-12-03 | 2007-11-20 | Hitachi, Ltd. | Radiological imaging apparatus |
AU2003224997A1 (en) * | 2002-04-16 | 2003-11-03 | Michael Conditt | Computer-based training methods for surgical procedures |
JP2004164503A (ja) * | 2002-11-15 | 2004-06-10 | Olympus Corp | 三次元モデル検索方法、三次元モデル検索装置、三次元モデル検索プログラム、及び三次元モデル検索システム |
DE10254606B4 (de) * | 2002-11-22 | 2006-06-29 | Siemens Ag | Verfahren und Vorrichtung zur schnellen Verarbeitung von Messdaten mit einer Vielzahl unabhängiger Stichproben |
US7486812B2 (en) * | 2003-11-25 | 2009-02-03 | Icad, Inc. | Shape estimates and temporal registration of lesions and nodules |
-
2007
- 2007-03-30 JP JP2007095439A patent/JP2008253292A/ja active Pending
-
2008
- 2008-03-30 US US12/058,748 patent/US8009936B2/en not_active Expired - Fee Related
Cited By (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009247817A (ja) * | 2008-04-11 | 2009-10-29 | Fujifilm Corp | 断面画像表示装置および方法ならびにプログラム |
JP2009279179A (ja) * | 2008-05-22 | 2009-12-03 | Toshiba Corp | 画像表示装置および画像表示プログラム |
JP2010124843A (ja) * | 2008-11-25 | 2010-06-10 | Toshiba Corp | 画像表示装置 |
JP2011095796A (ja) * | 2009-10-27 | 2011-05-12 | Fujifilm Corp | 画像処理装置および方法並びにプログラム |
JP2011115279A (ja) * | 2009-12-01 | 2011-06-16 | Shizuoka Prefecture | 症例画像検索装置、方法およびプログラム |
WO2012058217A2 (en) * | 2010-10-29 | 2012-05-03 | The Johns Hopkins University | Image search engine |
WO2012058217A3 (en) * | 2010-10-29 | 2012-07-26 | The Johns Hopkins University | Image search engine |
JP2014000350A (ja) * | 2012-06-21 | 2014-01-09 | Canon Inc | 画像診断支援装置、その方法及びプログラム |
JP2014030623A (ja) * | 2012-08-03 | 2014-02-20 | Kyoto Univ | 画像処理装置、画像処理方法およびプログラム |
WO2015044983A1 (ja) * | 2013-09-27 | 2015-04-02 | テルモ株式会社 | 画像診断装置及びその制御方法 |
JPWO2015044983A1 (ja) * | 2013-09-27 | 2017-03-02 | テルモ株式会社 | 画像診断装置及びその作動方法及び記憶媒体 |
US11996172B2 (en) | 2015-04-15 | 2024-05-28 | Canon Kabushiki Kaisha | Diagnosis support system, information processing method, and program |
JP2016202904A (ja) * | 2015-04-15 | 2016-12-08 | キヤノン株式会社 | 診断支援装置、診断支援システム、情報処理方法、及びプログラム |
JP2021180929A (ja) * | 2015-04-15 | 2021-11-25 | キヤノン株式会社 | 診断支援装置、診断支援システム、情報処理方法、及びプログラム |
JP7065436B2 (ja) | 2015-09-30 | 2022-05-12 | パナソニックIpマネジメント株式会社 | 制御方法及びプログラム |
JP2020116429A (ja) * | 2015-09-30 | 2020-08-06 | パナソニックIpマネジメント株式会社 | 制御方法及びプログラム |
US10713539B2 (en) | 2015-11-27 | 2020-07-14 | Fujitsu Limited | Recording medium, case data generation support system, and case data generation support method |
JP2016193295A (ja) * | 2016-08-22 | 2016-11-17 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラム |
JP2018175695A (ja) * | 2017-04-20 | 2018-11-15 | 富士フイルム株式会社 | 位置合せ装置および位置合せ方法並びに位置合せプログラム |
JP2019141478A (ja) * | 2018-02-23 | 2019-08-29 | 株式会社日立製作所 | 画像処理装置、方法及びプログラム |
JPWO2020110519A1 (ja) * | 2018-11-27 | 2021-10-14 | 富士フイルム株式会社 | 類似度決定装置、方法およびプログラム |
JP7170747B2 (ja) | 2018-11-27 | 2022-11-14 | 富士フイルム株式会社 | 類似度決定装置、方法およびプログラム |
US11756292B2 (en) | 2018-11-27 | 2023-09-12 | Fujifilm Corporation | Similarity determination apparatus, similarity determination method, and similarity determination program |
Also Published As
Publication number | Publication date |
---|---|
US20080240494A1 (en) | 2008-10-02 |
US8009936B2 (en) | 2011-08-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2008253292A (ja) | 症例画像検索装置及びシステム | |
US10055543B2 (en) | Control method and storage medium for searching medical images similar to a target image | |
JP5226974B2 (ja) | 画像診断支援装置、方法及びプログラム | |
JP5128154B2 (ja) | レポート作成支援装置、レポート作成支援方法およびそのプログラム | |
US8160320B2 (en) | Medical image display apparatus, method and program, and recording medium for the program | |
Drew et al. | Scanners and drillers: characterizing expert visual search through volumetric images | |
JP5128161B2 (ja) | 画像診断支援装置及びシステム | |
US8189888B2 (en) | Medical reporting system, apparatus and method | |
US10734107B2 (en) | Image search device, image search method, and image search program | |
US6901277B2 (en) | Methods for generating a lung report | |
US20200146551A1 (en) | Control method of information terminal and computer-readable recording medium | |
JP6793332B2 (ja) | 制御方法及びプログラム | |
US10839511B2 (en) | Similar case search device, similar case search method, and non-transitory computer readable medium | |
US20030028401A1 (en) | Customizable lung report generator | |
US20070019849A1 (en) | Systems and graphical user interface for analyzing body images | |
US20080154154A1 (en) | Internet-based system and a method for automated analysis of tactile imaging data and detection of lesions | |
US6983063B1 (en) | Computer-aided diagnosis method for aiding diagnosis of three dimensional digital image data | |
EP2116974B1 (en) | Statistics collection for lesion segmentation | |
US20190279408A1 (en) | Medical image processing apparatus, medical image processing method, and medical image processing program | |
WO2020110519A1 (ja) | 類似度決定装置、方法およびプログラム | |
Choe et al. | Artificial intelligence in lung imaging | |
WO2021193548A1 (ja) | 文書作成支援装置、方法およびプログラム | |
JP2006130049A (ja) | 画像読影支援方法、およびシステム、ならびにプログラム | |
US20230360213A1 (en) | Information processing apparatus, method, and program | |
JP2015221141A (ja) | 医用画像診断支援装置、医用画像診断支援装置の作動方法、および医用画像診断支援プログラム |