Nothing Special   »   [go: up one dir, main page]

JP6885896B2 - 自動レイアウト装置および自動レイアウト方法並びに自動レイアウトプログラム - Google Patents

自動レイアウト装置および自動レイアウト方法並びに自動レイアウトプログラム Download PDF

Info

Publication number
JP6885896B2
JP6885896B2 JP2018074188A JP2018074188A JP6885896B2 JP 6885896 B2 JP6885896 B2 JP 6885896B2 JP 2018074188 A JP2018074188 A JP 2018074188A JP 2018074188 A JP2018074188 A JP 2018074188A JP 6885896 B2 JP6885896 B2 JP 6885896B2
Authority
JP
Japan
Prior art keywords
image
inspection
sample image
sample
layout
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018074188A
Other languages
English (en)
Other versions
JP2018175864A (ja
Inventor
赤堀　貞登
貞登 赤堀
佳次 杉原
佳次 杉原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Fujifilm Healthcare Americas Corp
Original Assignee
Fujifilm Corp
Fujifilm Medical Systems USA Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp, Fujifilm Medical Systems USA Inc filed Critical Fujifilm Corp
Publication of JP2018175864A publication Critical patent/JP2018175864A/ja
Application granted granted Critical
Publication of JP6885896B2 publication Critical patent/JP6885896B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/7425—Displaying combinations of multiple images regardless of image source, e.g. displaying a reference anatomical image with a live image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20072—Graph-based image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Surgery (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Description

本発明は、画像の読影を補助するための表示プロトコルに関し、特に、画像を自動レイアウトする自動レイアウト装置および自動レイアウト方法並びに自動レイアウトプログラムに関するものである。
近年、医療情報システムの普及に伴い、地域における病気診断の連携と医療情報の共有を目的として、医療機関の相互間でデータ交換が可能な広域電子カルテの実現がされつつある。広域電子カルテシステムの要素技術には、各医療機関に設けられた医用画像管理システム（ＰＡＣＳ： Picture Archiving and Communication System）がある。ＰＡＣＳでは、ＣＲ（Computed Radiography）、ＣＴ（Computed Tomography）およびＭＲＩ（magnetic resonance imaging）といった画像撮影装置（モダリティ）から受信した画像データの保管、閲覧、および管理を行っている。また、ＤＩＣＯＭ（Digital Imaging and Communication in Medicine）規格を用いて画像データを管理することにより、様々な種類の画像データの一元管理を可能にしている。
画像検査では一人の患者に対して複数の画像（単純Ｘ線画像、ＣＴ画像、ＭＲＩ画像、超音波画像など）が撮影され、撮影された画像は、ＰＡＣＳから読みだされて、読影ビューアなどの画面に表示して確認される。その際、例えば造影前の撮影画像と造影後の撮影画像を並べて表示するなど、検査の目的に応じて読影しやすいように画像を並べて表示する。実際に読影するときは、検査毎に画像を手作業で並べることが多く、サムネイル画像を見ながら画像を選び、表示させるべき場所を指定することを繰り返すことになる。
そこで、これを自動化する機能が読影ビューアには用意されている。自動化の具体的な方法として、例えば、撮影順に並べる方法、画像に付帯する情報（ＤＩＣＯＭタグ情報など）に基づいて定義されたルールに従って並べる方法が知られている。例えば、特許文献１には、複数の医用画像の並び順を医用画像の付帯情報を利用して定義した定義情報を利用し、複数の医用画像を画面に同時表示するときの医用画像の配置位置を、定義情報に従って定義された位置に配置して表示することが開示されている。また、特許文献２には、ユーザが入力したワークフローに基づいて、ユーザの好みに合ったレイアウトを機械学習アルゴリズムを用いて改良し、表示プロトコルとして適用可能なレイアウト候補を提供する手法が開示されている。
特開２００７−２６００６１号公報 特開２０１３−１０６９５１号公報
検査画像を迅速に診断するためには読影医の好みに応じた画像表示が行えることが、読影効率を向上させる上で、重要であるといわれている。さらに、読影医の好みに応じて一旦画像の配置を表示プロトコルに設定すると、以後、同様の症例に対しては自動的に同じ表示プロトコルで表示することが望まれる。
また、広域電子カルテシステムのように複数の医療機関が連携した医療情報システムが構築されている場合には、各医療機関が撮影した画像の読影が、読影専門の読影医がいる医療機関に依頼される。しかしながら、画像の撮影順や画像に付帯するＤＩＣＯＭタグのような付帯情報の記述は標準化されていない場合があるため、撮影装置のベンダー（メーカー）または撮影技師が異なる場合には異なった撮影順で撮影されていたり、タグの情報の記述方法が異なっていたりするため、特許文献１および特許文献２に開示されている手法では適切に機能しないという問題がある。
そこで、本発明では、上述のような問題を解決するために、読影に最適な表示プロトコルで画像を自動的にレイアウトするための自動レイアウト装置および自動レイアウト方法、並びに、自動レイアウトプログラムを提供することを目的とする。
本発明の自動レイアウト装置は、複数の検査画像を含む検査データを受け付ける受付手段と、複数の見本画像を画面上に配置する際の各画像の大きさと配置位置が定められたレイアウトを表すレイアウト情報を記憶する記憶手段と、レイアウトに含まれる各見本画像と、検査データに含まれる複数の各検査画像との間の類似度を用いて、レイアウトに含まれる各見本画像に類似する検査画像を対応付ける対応付け手段と、見本画像に対応付けられた検査画像を、レイアウト情報に従って検査画像が対応付けられた見本画像が配置される配置位置に表示する表示手段とを備えたものである。
また、本発明の自動レイアウト方法は、複数の見本画像を画面上に配置する際の各画像の大きさと配置位置が定められたレイアウトを表すレイアウト情報を記憶する記憶手段と、受付手段と、対応付け手段と、表示手段とを備えた自動レイアウト装置において、受付手段が、複数の検査画像を含む検査データを受け付けるステップと、対応付け手段が、レイアウトに含まれる各見本画像と、検査データに含まれる複数の各検査画像との間の類似度を用いて、レイアウトに含まれる各見本画像に類似する検査画像を対応付けるステップと、表示手段が、見本画像に対応付けられた検査画像を、レイアウト情報に従って検査画像が対応付けられた見本画像が配置される配置位置に表示するステップとを備えたものである。
また、本発明の自動レイアウトプログラムは、コンピュータを、複数の検査画像を含む検査データを受け付ける受付手段と、複数の見本画像を画面上に配置する際の各画像の大きさと配置位置が定められたレイアウトを表すレイアウト情報を記憶する記憶手段と、レイアウトに含まれる各見本画像と、検査データに含まれる複数の各検査画像との間の類似度を用いて、レイアウトに含まれる各見本画像に類似する検査画像を対応付ける対応付け手段と、見本画像に対応付けられた検査画像を、レイアウト情報に従って検査画像が対応付けられた見本画像が配置される配置位置に表示する表示手段として機能させるものである。
「レイアウト情報」とは、画面に画像を配置する際の画面の分割方法と、画像の配置位置を含む情報をいう。画面の分割方法には、例えば、２分割または４分割などの画面の分け方と、分割した各領域の大きさが含まれる。
「検査データ」とは、疾患を診断するために必要なデータをいい、複数の検査画像が含まれる。検査画像には、様々なモダリティで撮影された静止画像および動画が含まれる。さらに、検査画像が検査に関する文書データを画像化したものであってもよい。
また、対応付け手段は、レイアウトに含まれる見本画像の１つと検査データに含まれる検査画像の１つの組合せのそれぞれについて、検査画像と見本画像の類似度を取得する類似度取得手段と、２つの組合せにおいて、第１の組合せに含まれる見本画像と第２の組合せに含まれる見本画像の撮影時刻の前後関係と、第１の組合せに含まれる検査画像と第２の組合せに含まれる検査画像の撮影時刻の前後関係とに基づいて類似度の調整値を取得する調整値取得手段とを備え、見本画像に対応付けられる検査画像が１以下であり、かつ、検査画像に対応付けられる見本画像が１以下であるという条件を満たすように、見本画像と検査画像を対応付けた場合に、対応付けられた見本画像と検査画像の組合せにおける類似度取得手段によって取得された全ての類似度と、２つの組合せにおける調整値取得手段によって取得された全ての調整値とを用いて、見本画像と検査画像を対応付けるものが望ましい。
また、類似度取得手段が、検査画像の画像データと見本画像の画像データのヒストグラムに基づいて類似度を取得するようにしてもよい。
また、調整値取得手段が、第１の組合せに含まれる見本画像と第２の組合せに含まれる見本画像の撮影時刻の順番と第１の組合せに含まれる検査画像と第２の組合せに含まれる検査画像の撮影時刻の順番が一致する場合には、調整値は撮影時刻の順番が一致しない場合より類似度を高くする値とするものが望ましい。
また、対応付け手段が、条件を満たすように見本画像に検査画像を対応付けたときの、組合せから取得された全ての類似度と、２つの組合せから取得された全ての調整値との重み付き総和を用いて、グラフマッチングの手法により見本画像に対応付ける検査画像を決定するものが望ましい。
また、レイアウトの見本画像に断層画像が含まれ、検査データの検査画像に断層画像が含まれる場合には、対応付け手段が、検査データに含まれる複数の検査画像の断層画像のうち、見本画像の断層画像と断面方向が一致する検査画像とを対応付けるものが望ましい。
また、レイアウトの見本画像に断層画像が含まれ、検査データの検査画像に断層画像が含まれる場合には、対応付け手段が、レイアウトに含まれる見本画像の１つと検査データに含まれる検査画像の１つの組合せのそれぞれについて、検査画像と見本画像の類似度を取得する類似度取得手段と、２つの組合せにおいて、第１の組合せに含まれる見本画像と第２の組合せに含まれる見本画像の断層位置の前後関係と、第１の組合せ含まれる検査画像と第２の組合せに含まれる検査画像の断層位置の前後関係とに基づいて類似度の調整値を取得する調整値取得手段とを備え、見本画像に対応付けられる検査画像が１以下であり、かつ、検査画像に対応付けられる見本画像が１以下であるという条件を満たすように、見本画像と検査画像を対応付けた場合に、対応付けられた見本画像と検査画像の組合せにおける類似度取得手段によって取得された全ての類似度と、２つの組合せにおける調整値取得手段によって取得された全ての調整値とを用いて、見本画像と検査画像を対応付けるものが望ましい。
また、調整値取得手段が、第１の組合せに含まれる見本画像と第２の組合せに含まれる見本画像の断層位置の順番と第１の組合せに含まれる検査画像と第２の組合せに含まれる検査画像の断層位置の順番が一致する場合には、調整値は断層位置の順番が一致しない場合より類似度を高くする値とするものが望ましい。
本発明によれば、レイアウトに含まれる各見本画像と、検査データに含まれる複数の各検査画像との間の類似度を用いて、レイアウトに含まれる各見本画像に類似する検査画像を対応付けて、見本画像に対応付けられた検査画像を、レイアウト情報に従って検査画像が対応付けられた見本画像が配置される配置位置に表示したので、撮影装置のベンダーまたは撮影技師によって、撮影順またはタグの情報の記述方法が異なる検査画像を、用意されたレイアウトの適切な位置に配置することが可能になり、作業効率を向上させることが可能になる。
本発明の実施形態における自動レイアウト装置が導入された医療情報システムの概略構成を示す図 本発明の自動レイアウト装置の機能ブロック図 見本画像を配置したレイアウトの一例を示す図 見本画像と検査画像の対応付けを行う処理のフローチャート 見本画像と検査画像の一例を示す図 ヒストグラムインターセクションから類似度を求める方法を説明するための図 画面の構図を反映させた類似度を求める方法を説明するための図 調整値を求める方法を説明するための図 見本画像の集合Ｐと、検査画像の集合Ｑの対応付けを説明するための図 自動レイアウト装置の動作を説明するためのフローチャート 見本画像と検査画像が対応付けられた結果の一例を示す図 ディスプレイ画面上に検査画像を表示した一例を示す図 医療情報システムにアーカイブシステムを接続した概略構成を示す図
図１に、本発明の実施形態における自動レイアウト装置が導入された医療情報システム１の概略構成を示す。この医療情報システム１は、公知のオーダリングシステムを用いた診療科の医師からの検査オーダーに基づいて、被検体の検査対象部位の撮影および保管、放射線科の読影医による撮影された画像の読影と読影レポートの作成、および、依頼元の診療科の医師による読影レポートの閲覧と読影対象の画像の詳細観察を行うためのシステムである。医療情報システム１は、図１に示すように、モダリティ２、読影医用ワークステーション３、診療科用ワークステーション４、画像管理サーバ５、画像データベース６、読影レポートサーバ７、および、読影レポートデータベース８を、ネットワーク９を介して互いに通信可能な状態で接続されて構成されている。各機器は、医療情報システム１の構成要素として機能させるためのアプリケーションプログラムがインストールされている。また、アプリケーションプログラムは、ＣＤ−ＲＯＭ等の記録媒体からインストール、または、インターネット等のネットワーク経由で接続されたサーバの記憶装置からダウンロードされた後にインストールされてもよい。
モダリティ２には、被検体の検査対象部位を撮影することにより、その部位を表す検査画像を生成し、その画像にＤＩＣＯＭ規格で規定された付帯情報を付加して出力する装置が含まれる。具体例としては、ＣＴ装置、ＭＲI装置、ＰＥＴ（Positron Emission Tomography）装置、超音波装置、または、平面Ｘ線検出器（ＦＰＤ：flat panel detector）を用いたＣＲ装置などが挙げられる。
読影医用ワークステーション３は、放射線科の読影医が画像の読影や読影レポートの作成に利用するコンピュータであり、ＣＰＵ（Central Processing Unit）、主記憶装置、補助記憶装置、入出力インターフェース、通信インターフェース、入力装置、表示装置、および、データバス等の周知のハードウェア構成を備え、周知のオペレーションシステム等がインストールされたものであって、表示装置として１台または複数台の高精細ディスプレイを有している。この読影医用ワークステーション３では、画像管理サーバ５に対する画像の送信要求、画像管理サーバ５から受信した画像の表示、画像中の病変らしき部分の自動検出および強調表示、および、読影レポートの作成と表示等の各処理が、各処理のためのソフトウェアプログラムを実行することにより行われる。また、読影医用ワークステーション３は、生成した読影レポートを、ネットワーク９を介して読影レポートサーバ７に転送し、その読影レポートの読影レポートデータベース８への登録を要求する。
診療科用ワークステーション４は、診療科の医師が画像の詳細観察や読影レポートの閲覧、および、電子カルテの閲覧および入力等に利用するコンピュータであり、ＣＰＵ、主記憶装置、補助記憶装置、入出力インターフェース、通信インターフェース、入力装置、表示装置、および、データバス等の周知のハードウェア構成を備え、周知のオペレーションシステム等がインストールされたものであって、表示装置として１台または複数台の高精細ディスプレイを有している。この診療科用ワークステーション４では、画像管理サーバ５に対する画像の閲覧要求や、画像管理サーバ５から受信した画像の表示、画像中の病変らしき部分の自動検出または強調表示、読影レポートサーバ７に対する読影レポートの閲覧要求、および、読影レポートサーバ７から受信した読影レポートの表示等の各処理が、各処理のためのソフトウェアプログラムの実行により行われる。また、診療科用ワークステーション４は、各診療科で行われた内視鏡検査などの動画を、ネットワーク９を介して画像管理サーバ５に転送し、画像データベース６への登録を要求する。
画像管理サーバ５は、汎用のコンピュータにデータベース管理システム（Data Base Management System：DBMS）の機能を提供するソフトウェアプログラムを組み込んだものである。画像管理サーバ５は、画像データベース６が構成される大容量ストレージを備えている。このストレージは、画像管理サーバ５とデータバスによって接続された大容量のハードディスク装置であってもよいし、ネットワーク９に接続されているＮＡＳ（Network Attached Storage）やＳＡＮ（Storage Area Network）に接続されたディスク装置であってもよい。
画像データベース６には、複数の患者をモダリティ２で撮影した検査画像と付帯情報とが登録される。付帯情報には、例えば、個々の画像を識別するための画像ＩＤ（identification）、被写体を識別するための患者ＩＤ、検査を識別するための検査ＩＤ、医用画像ごとに割り振られるユニークなＩＤ（ＵＩＤ：unique identification）、その医用画像が生成された検査日、検査時刻、その医用画像を取得するための検査で使用されたモダリティの種類、患者氏名と年齢と性別などの患者情報、検査部位（撮影部位）、撮影条件（造影剤の使用有無または放射線量など）、および、１回の検査で複数の断層画像を取得したときのシリーズ番号などの情報が含まれる。
また、画像管理サーバ５は、読影医用ワークステーション３からの閲覧要求をネットワーク９経由で受信すると、上述の画像データベース６に登録されている検査画像を検索し、抽出された検査画像を要求元の読影医用ワークステーション３に送信する。
読影レポートサーバ７は、汎用のコンピュータにデータベース管理システム（DataBase Management System: DBMS）の機能を提供するソフトウェアプログラムを組み込んだものであり、読影医用ワークステーション３からの読影レポートの登録要求を受け付けると、その読影レポートをデータベース用のフォーマットに整えて読影レポートデータベース８に登録する。
読影レポートデータベース８には、例えば、読影対象画像もしくは代表画像を識別する画像ＩＤや、読影を行った画像診断医を識別するための読影医ＩＤ、関心領域の位置情報、所見、所見の確信度といった情報が登録される。
ネットワーク９は病院内の各種装置を接続するローカルエリアネットワークである。読影医用ワークステーション３が他の病院あるいは診療所に設置されている場合には、ネットワーク９は、各病院のローカルエリアネットワーク同士をインターネットまたは専用回線で接続した構成としてもよい。いずれの場合にも、ネットワーク９は光ネットワークなど医用画像の高速転送を実現できるものとすることが好ましい。
さらに、図１３に示すように、医療情報システム１にアーカイブシステム１０を接続したものであってもよい。アーカイブシステム１０は、複数の医療機関の医療情報システム１ａ〜１ｄの医用画像や各種動画に加えて、医療機関内の各診療科が扱う検査目的などを記載した検査依頼文書（検査オーダー）や、血液検査結果などの他の検査情報を文書化したドキュメントなど広範な診療情報を記憶および管理する大容量記憶装置１１を備えている。
上述の読影医用ワークステーション３は、画像診断医等のユーザによって読影および観察対象画像の閲覧を要求する操作が行われると、画像管理サーバ５に対して閲覧要求を送信し、必要な画像を取得する。そして、その画像をディスプレイに表示する。本発明の自動レイアウト装置の機能は、読影医用ワークステーション３に実装されており、この処理は、インストールされたアプリケーションプログラムを実行することによって実現される。
図２は、読影医用ワークステーション３に実装された本発明の実施形態となる自動レイアウト装置の構成とデータの流れを模式的に示したブロック図である。なお、本発明の自動レイアウト装置は読影医用ワークステーション３の自動レイアウト処理部として以下説明する。図２に示したように、本発明の自動レイアウト処理部３０は、受付手段３１、対応付け手段３２、記憶手段３３、および、表示手段３４から構成される。また、表示手段３４には、１台または複数台のディスプレイ３５が接続される。
受付手段３１は、読影医用ワークステーション３で、読影医などのユーザによって検査対象の患者ＩＤが入力されると、読影医用ワークステーション３から画像管理サーバ５に診断対象の患者ＩＤと画像の送信要求が送信され、画像データベース６から検索された複数の検査画像ｑを検査データとして受信する。受信した検査画像ｑは、記憶手段３３に一旦記憶される。
検査画像ｑには、様々なモダリティ２で撮影した画像が含まれ、単純Ｘ線撮影画像、同じ部位を撮影した現在画像および過去画像、造影剤の投与前後の画像、複数枚の断層画像（ＣＴ画像またはＭＲＩ画像など）、撮影条件を変えて撮影した画像（ＭＲＩ画像のＴ１強調およびＴ２強調など）、および、内視鏡で撮影された動画像などが含まれる。さらに、アーカイブシステム１０から検査依頼または検査情報を文書化した電子文書を受信し、これらの電子文書をイメージデータに変換したもの（例えば、ＰＤＦファイル）が検査画像に含まれていてもよい。
記憶手段３３は、複数の見本画像ｐと、見本画像ｐを画面上に配置したレイアウトを表すレイアウト情報Ｌを記憶している。なお、見本画像ｐは、検査画像を配置するとき見本となる画像であり、検査画像を配置する際の基準となる画像である。
レイアウト情報Ｌには、画面に画像を配置する際の画面の分割方法の情報と、分割されたそれぞれの領域にどの見本画像ｐを配置するかの配置位置の情報が定義されている。画面分割方法の情報には、分割された各表示領域の大きさも含まれ、例えば、画面を左右同じ大きさで縦２分割にする、画面を縦横に同じ大きさの４分割にする、あるいは、メイン画像を大きく画面の左半分に表示し、かつ、残りの画像を右半分に縦に並べるなどの情報が定義されている。
レイアウトは、１画面のみであっても、複数の画面で構成されたものであってもよい。例えば、レイアウトが複数ページで構成され、見本画像ｐが配置された複数ページを切り替えながら表示画面に表示するときの画面分割方法と見本画像ｐの配置位置をレイアウト情報Ｌとして定義したものであってもよい。あるいは、レイアウト情報Ｌは、読影医用ワークステーション３に複数のディスプレイを接続したときの、複数のディスプレイの画面のそれぞれの画面分割方法と見本画像ｐの配置位置が定義されたものであってもよい。例えば、１台のディスプレイで、あるページの画面分割方法と分割された各領域に配置された見本画像ｐと、その次のページの画面分割方法と分割された各領域に配置された見本画像ｐの組合せを１つのレイアウト情報Ｌとしてもよく、また、ディスプレイが複数台あって、ディスプレイＡは画面４分割とし、分割された各領域に見本画像ｐのどれを配置し、ディスプレイＢは画面２分割とし、分割された各領域に見本画像ｐのどれを配置するかという情報を、１つのレイアウト情報Ｌとしてもよい。さらには、複数ディスプレイで複数枚のページの表示画面を切り替えて表示するときの画面分割方法と分割された各領域に配置された見本画像ｐの情報を１つのレイアウト情報Ｌとしてもよい。
記憶手段３３には、標準的な見本画像ｐと、標準的な画像分割方法と見本画像ｐの標準的な配置位置が定義されたレイアウト情報Ｌを予め用意して記憶しておいてもよいし、読影医用ワークステーション３で読影医が読影する際に、画像データベース６から読み込んだ画像をディスプレイの画面上に並べた時の画面分割方法と画像の配置位置の情報を記録したものをレイアウト情報Ｌとし、その時に並べた画像を見本画像ｐとして記憶するようにしてもよい。さらに、記憶手段３３に記憶されているレイアウト情報Ｌを利用して検査画像ｑを表示し、読影医の好みに応じて、画像の配置位置や画面分割方法を変えた時のレイアウトに従って、レイアウト情報Ｌと見本画像ｐを更新してもよい。
図３（ａ）にレイアウト情報Ｌに従って見本画像ｐを配置したレイアウトの一例を示す。図３（ｂ）にレイアウトの各領域に配置される見本画像ｐ１〜ｐ７を示す。図３（ａ）は画面を４分割して、左上に見本画像ｐ１を配置し、左下に見本画像ｐ２を配置し、右上に見本画像ｐ４を配置し、右下に見本画像ｐ５を配置している。図３（ａ）において、見本画像ｐ３、ｐ６、およびｐ７は画面上に表示されていないが、次のページに見本画像ｐ３、ｐ６、およびｐ７を配置してもよい。
このようなレイアウト情報Ｌは、読影医用ワークステーション３から画像管理サーバ５に送信されて画像データベース６に見本画像ｐと対応付けて記憶するようにしてよい。読影医用ワークステーション３で読影のための操作が行われると、画像管理サーバ５にレイアウト情報Ｌと見本画像ｐの送信を要求し、送信されたレイアウト情報Ｌと見本画像ｐを記憶手段３３に記憶するようにしてもよい。記憶手段３３には、レイアウト情報Ｌおよび見本画像ｐの組合せを予め複数の種類記憶しておき、複数の種類のレイアウト情報Ｌから症例や読影医の好みに応じて選択できるようにしておくのが好ましい。
対応付け手段３２は、類似度取得手段３６と、調整値取得手段３７とを備え、レイアウトを構成する見本画像ｐに類似する検査画像ｑを検査データの中から選んで対応付ける。見本画像ｐと検査画像ｑを対応付ける際には、１つの見本画像ｐに対して２つ以上の検査画像ｑが対応付けられないようにする。なお、検査データに含まれる検査画像ｑの数がレイアウトに配置されている見本画像ｐの数より少ない場合には、見本画像ｐに対応付けられる検査画像ｑが存在しないこともある。また、２つ以上の見本画像ｐに同じ検査画像ｑが対応付けられないようにもする。つまり、見本画像ｐに対応付けられる検査画像ｑは１つ以下になり、かつ、検査データに含まれる検査画像ｑに対応付けられる見本画像ｐも１つ以下になるように対応付ける。
類似度取得手段３６は、レイアウトに含まれる見本画像ｐの１つと検査データに含まれる検査画像ｑの１つの組合せのそれぞれについて類似度を算出する。類似度は、見本画像ｐと検査画像ｑのピクセルデータ間の類似度を求める。ピクセルデータは、画像を構成する画素（ピクセル）の集まりをいう。具体的には、類似度は相互相関やヒストグラムインターセクションなどを用いて取得することができる。なお、画像のピクセルデータは、ＤＩＣＯＭタグ、ファイル名、または、撮影日時などの画像の付帯情報とは区別して以下説明する。
しかし、アキシャル断面とサジタル断面のように異なる断面方向の見本画像ｐと検査画像ｑ間でも、ピクセルデータ間の類似度が高くなる場合がある。ＤＩＣＯＭタグなどの付帯情報を参照して断面方向を判定し、レイアウトの見本画像ｐに含まれる断層画像と、検査データの検査画像ｑに含まれる断層画像の断面方向が一致する場合は、類似度は高くなり、断面方向が一致しない場合は、類似度は低くなるように類似度を算出する。
調整値取得手段３７は、組合せの２つの組み合わせにおいて、第１の組合せａに含まれる見本画像ｐと第２の組合せｂに含まれる見本画像ｐの関係と、第１の組合せａに含まれる検査画像ｑと第２の組合せｂに含まれる検査画像ｑの関係とに基づいて類似度の調整値を求める。
同じ部位を撮影した造影剤の投与前と投与後の画像は、見本画像ｐと検査画像ｑの間でも投与前の画像同士と投与後の画像同士の類似度が高くなるはずだが、画像造影剤の拡散の仕方によっては投与前の見本画像ｐと投与後の検査画像ｑの類似度が高くなる可能性がある。また、心臓の心拍フェーズの異なる複数の画像など、ピクセルデータの類似度だけでは、対応する画像を判定することが難しくなることがある。そこで、組合せａおよびｂに含まれる２つの見本画像ｐの撮影時刻の前後関係と、組合せａおよびｂにそれぞれ含まれる２つの検査画像ｑの撮影時刻の前後関係が一致する場合には、調整値を撮影時刻の前後関係が一致しない場合より類似度が高くなるような値にする。
あるいは、見本画像ｐと検査画像ｑに複数の断層画像が含まれる場合には、断層画像の並び順が入れ替わらないようにする。例えば、アキシャル画像であるときは、組合せａおよびｂに含まれる２つの見本画像ｐの断層位置の体軸方向の位置の前後関係と、組合せａおよびｂに含まれる２つの検査画像ｑの断層位置の前後関係が一致する場合には、調整値を断層位置の前後関係が一致しない場合より類似度が高くなるような値にする。
図４のフローチャートに従って、類似度と調整値を用いて見本画像ｐと検査画像ｑの対応付けを行う処理について具体的に説明する。図５に見本画像ｐ１〜ｐ７と検査画像ｑ１〜ｑ７の一例を示す。
まず、レイアウトに含まれる見本画像ｐの集合をＰ、検査データに含まれる検査画像ｑの集合をＱとする。類似度取得手段３６は、Ｐの要素である見本画像ｐｉとＱの要素である検査画像ｑｊの類似度をヒストグラムインターセクションを用いて求める。図５に示すように、類似度は、見本画像ｐ１〜ｐ７と検査画像ｑ１〜ｑ７の全ての組合せに対して求める。つまり、ｐ１に対して、ｑ１、ｑ２、ｑ３・・・ｑ７との類似度を求め、ｐ２に対してｑ１、ｑ２、ｑ３・・・ｑ７との類似度を求める。同様にして、ｐ３〜ｐ７のそれぞれに対してｑ１、ｑ２、ｑ３・・・ｑ７との類似度を求める。
見本画像ｐｉおよび検査画像ｑｊの断面方向は、例えば、ＤＩＣＯＭタグの「Image Orientation」の記述に基づいて判断することができる。例えば、見本画像ｐｉが体軸に垂直なアキシャル断面の場合、「Image Orientation」の「first row」は(1,0,0)、「first column」は(0,1,0)にほぼ一致するので、検査画像ｑｊの「Image Orientation」を参照して得られる２つのベクトルと、見本画像ｐｉの２つのベクトル(1,0,0)および(0,1,0)との一致度を、内積演算を使って求める。見本画像ｐｉと検査画像ｑｊの断面方向が一致している場合には（Ｓ１−Ｙｅｓ）、ピクセルデータ間の類似度は、ヒストグラムインターセクションを類似度θａとして求める（Ｓ２）。
図６に示すように、ヒストグラムインターセクションは、見本画像ｐｉのヒストグラムｈ１と検査画像ｑｊのヒストグラムｈ２の共通部分の割合を指す。このとき、類似度θａは０〜１．０までの値となる。画面のおおまかな構図を反映させるために、例えば、見本画像ｐｉと検査画像ｑｊを縦と横をそれぞれ３つに等分し（図７参照）、３×３区画（＝９区画）に区分したそれぞれの区画でヒストグラムインターセクションを求め、その平均値を類似度θａとするようにしてもよい（Ｓ１−Ｎｏ）。一方、見本画像ｐｉと検査画像ｑｊの断面方向が異なる場合には、類似度θａを−１とする（Ｓ３）。これを全てのｐｉとｑｊの組合せについて求める（Ｓ４）。
次に、調整値取得手段３７で、見本画像ｐｉと検査画像ｑｊを対応付けた時の類似度の調整値θａｂを求める。見本画像ｐｉと検査画像ｑｊを対応付けるときは、見本画像ｐｉに対応付けられる検査画像ｑｊは１つ以下になり、かつ、検査データに含まれる検査画像ｑｊに対応付けられる見本画像ｐｉも１つ以下になるように対応付ける。このような対応付けの条件を満足するように対応付けをした時の、全ての対応付けパターンのうちいずれの対応付けが最適であるかを、見本画像ｐｉと検査画像ｑｊのピクセルデータ間の類似度θａだけでなく撮影時刻の前後関係に基づいた調整値を用いて調整する。
集合Ｐと集合Ｑにおいて、見本画像ｐｉに検査画像ｑｊを対応付け、かつ、見本画像ｐｋに検査画像ｑｌを対応付けたときには、見本画像ｐｉと検査画像ｑｊの組合せａと見本画像ｐｋと検査画像ｑｌの組合せｂから調整値θａｂを算出する。見本画像ｐｉの撮影時刻ｔ（ｐｉ）と見本画像ｐｋの撮影時刻ｔ（ｐｋ）の差分Ｔａ＝ｔ（ｐｋ）−ｔ（ｐｉ）の符号と、検査画像ｑｊの撮影時刻ｔ（ｑｊ）と検査画像ｑｌの撮影時刻ｔ（ｑｌ）の差分Ｔｂ＝ｔ（ｑｌ）−ｔ（ｑｊ）の符号が一致している場合には（Ｓ５−Ｙｅｓ）、調整値θａｂを１とし（Ｓ６）、差分Ｔａと時間の差分Ｔｂの符号が一致していない場合には（Ｓ５−Ｎｏ）、調整値θａｂを‐１にする（Ｓ７）。これを各対応付けパターンにおける全ての２つの組合せａおよびｂに対して求める（Ｓ８）。
例えば、図８に示すように、ｐ１とｑ１、ｐ２とｑ２、ｐ３とｑ３・・・を対応付けたとき、ｐ１とｑ１の組合せ１とｐ２とｑ２の組合せ２において（図８（ａ））、ｐ１とｐ２の撮影時刻の差分と、ｑ１とｑ２の撮影時刻の差分が一致しているときには、調整値θａ＝１，ｂ＝２を１とする。ｐ２とｑ２の組合せ２とｐ３とｑ３の組合せ３において（図８（ｂ））、ｐ２とｐ３の撮影時刻の差分と、ｑ２とｑ３の撮影時刻の差分が一致していない場合には、調整値θａ＝２，ｂ＝３を‐１にする。さらに、ｐ１とｑ１の組合せ１とｐ３とｑ３の組合せ３において（図８（ｃ））、ｐ１とｐ３の撮影時刻の差分と、ｑ１とｑ３の撮影時刻の差分が一致しているときには、調整値θａ＝１，ｂ＝３を１とする。このように、全ての２つの組合せａおよびｂに対して、調整値θａｂを算出する。
図９に示すように、集合Ｐと集合Ｑにおける、見本画像ｐｉと検査画像ｑｊの対応付けを０と１のバイナリデータｘを用いてＰ×Ｑの要素の対応付行列ｍで表す。対応付行列ｍは、行が見本画像ｐｉを表し、列が検査画像ｑｊを表す。ｉ行ｊ列の要素ｘｉｊは見本画像ｐｉと検査画像ｑｊを対応づけるか否かを表す。見本画像ｐｉと検査画像ｑｊが対応付けられないときは０とし、見本画像ｐｉと検査画像ｑｊが対応付けられるときは１とする。このとき、集合Ｐと集合Ｑにおいて、見本画像ｐｉに対応付けられる検査画像ｑｊは高々１つ、かつ、検査画像ｑｊに対応付けられる見本画像ｐｉも高々１つという条件を満足するように、見本画像ｐｉと検査画像ｑｊを対応付けた全ての対応付けのパターンを作成する。
なお、対応付行列ｍで表される対応付けパターンの集合Ｍは次の式（１）のように表現することができる。
Figure 0006885896
集合Ｍに含まれる見本画像ｐｉと検査画像ｑｊを対応付ける全てのパターンにおいて、集合Ｐの見本画像ｐｉと集合Ｑの検査画像ｑｊ間の類似度が最も高くなるパターンを決定することで、見本画像ｐｉと検査画像ｑｊの最適な対応付けを決定する（Ｓ９）。これは、類似度取得手段３６で求めた類似度θａと、調整値取得手段３７で求めた調整値θａｂを重みづけ加算した下式（２）を最大化する問題に置き換えることができる。例えば、文献「L. Torresani, V. Kolmogorov, and C. Rother: “Feature correspondence via graph matching: Models and global optimization”, ECCV2008.」に記載されているグラフマッチングの手法を用いて解くことができる。
なお、下式（２）の第１項は、ｘｉｊ＝１となる見本画像ｐｉと検査画像ｑｊの組合せの類似度θａの全てを加算することを意味し、第２項は、図８の対応付行列ｍにおいて、ｘｉｊ＝１となる見本画像ｐｉと検査画像ｑｊの組合せの２つ（組合せａ、および、組合せｂ）の関係から得られた調整値θａｂの全てを重みづけ加算することを意味する。また、係数Ｋは経験的に最適な値を与えればよい。
Figure 0006885896
ここで、
Ａは、見本画像ｐｉと検査画像ｑｊの組み合わせの集合を表す。
Ｎは、見本画像ｐｉと検査画像ｑｊの組合せａ、および、見本画像ｐｋと検査画像ｑｌの組合せｂの集合を表す。
ｋは、類似度と調整値の荷重を決める係数を表す。
ｘａは、バイナリデータｘのうち、組合せａ（ｐｉ、ｑｊ）に対応する要素ｘｉｊの値を表す。
ｘｂは、バイナリデータｘのうち、組合せｂ（ｐｋ、ｑｌ）に対応する要素ｘｋｌの値を表す。
表示手段３４は、レイアウト情報Ｌに従った画像分割方法で画面を分割し、分割された各領域に、対応付け手段３２の対応付け結果に従って、見本画像ｐに対応付けられた検査画像ｑをその見本画像ｐが配置される配置位置（領域）に表示する。
次に、図１０のフローチャートを用いて、本実施形態の自動レイアウト装置の動作について説明する。
読影医によって読影医用ワークステーション３で読影のための操作が行われると（Ｓ１０）、入力された読影医ＩＤが読影医用ワークステーション３から画像管理サーバ５に送信され（Ｓ１１）、読影医ＩＤに応じたレイアウト情報Ｌと見本画像ｐが画像データベース６から送信され記憶手段３３に記憶される（Ｓ１２）。
続いて、読影医が診断対象の患者ＩＤを入力すると（Ｓ１３）、読影医用ワークステーション３の受付手段３１は、画像管理サーバ５に患者ＩＤと検査画像ｑの送信要求を送信する。画像管理サーバ５は、患者ＩＤが割り振られている検査画像ｑを画像データベース６から検索して読影医用ワークステーション３に送信する。受付手段３１は受信した検査画像ｑを検査データとして記憶手段３３に記憶する（Ｓ１４）。
上述で詳細に説明した対応付け手段３２を用いて、記憶手段３３に記憶されているレイアウト情報Ｌで用いられる見本画像ｐと検査画像ｑを対応付けた複数の対応付けパターンの集合を作成し、複数の対応付けパターンの中から全体の類似度が最も高くなる対応付けパターンを決定する（Ｓ１５）。
表示手段３４は、ディスプレイ３５の画面をレイアウト情報Ｌの画面分割方法に従って分割し、対応付け手段３２で決定された見本画像ｐと検査画像ｑの対応付けに従って、検査画像ｑを各検査画像ｑに対応付けられた見本画像ｐが配置されている領域に配置して表示する（Ｓ１６）。
対応付け手段３２によって、図１１に示すように、図５の見本画像ｐ１〜ｐ７と検査画像ｑ１〜ｑ７が対応付けられた場合には、表示手段３４によってディスプレイ画面上には図１２のように表示される。
以上の通り、画面上に配置される見本画像と類似した検査画像が配置され、さらに、見本画像の撮影時刻の順番と検査画像の撮影時刻の順番が反対にならないように並べられる。
上述では、撮影時刻の順番が見本画像と検査画像の間で一致するように対応付けパターンを決定する場合について説明したが、レイアウトの見本画像に断層画像が含まれ、検査データの検査画像にも断層画像が含まれている場合に、断層画像の位置関係の順番が見本画像と検査画像の間で一致するように対応付けパターンを決定することもできる。
この場合、類似度取得手段３６は、前述と同様に類似度θａを求めるが、調整値取得手段３７では、見本画像ｐｉと検査画像ｑｊの組合せａと見本画像ｐｋと検査画像ｑｌの組合せｂから調整値θａｂを算出するときに、見本画像ｐｉと見本画像ｐｋの断層位置の差分Ｄ１の符号と、検査画像ｑｊと検査画像ｑｌの断層位置の差分Ｄ２の符号が一致している場合には、調整値θａｂを１とし、差分Ｄ１と差分Ｄ２の符号が一致していない場合には、調整値θａｂを‐１にして、類似度θａと調整値θａｂを加算した数式（２）を最大化することによって、見本画像ｐｉに検査画像ｑｊの最適な組み合わせを決定することが可能になる。
また、見本画像の断層画像の位置関係と検査画像の断層画像の位置関係についても矛盾することがないように並べることができる。
以上詳細に説明したように、従来は画像の付帯情報からは正確に判断できなかったレイアウトが、見本画像を参考にして、見本画像と検査画像の正確な対応付けを行うことが可能になる。
１、１ａ〜１ｄ 医療情報システム
２ モダリティ
３ 読影医用ワークステーション
４ 診療科用ワークステーション
５ 画像管理サーバ
６ 画像データベース
７ 読影レポートサーバ
８ 読影レポートデータベース
９ ネットワーク
１０ アーカイブシステム
１１ 大容量記憶装置
３０ 自動レイアウト処理部
３１ 受付手段
３２ 対応付け手段
３３ 記憶手段
３４ 表示手段
３５ ディスプレイ
３６ 類似度取得手段
３７ 調整値取得手段

Claims (10)

  1. 複数の検査画像を含む検査データを受け付ける受付手段と、
    複数の見本画像を画面上に配置する際の各画像の大きさと配置位置が定められたレイアウトを表すレイアウト情報を記憶する記憶手段と、
    前記レイアウトに含まれる各見本画像と、前記検査データに含まれる複数の各検査画像との間の類似度であり、前記レイアウトに含まれる見本画像の１つと前記検査データに含まれる検査画像の１つの組合せのそれぞれについて得られた類似度を用いて、前記レイアウトに含まれる各見本画像に前記検査データに含まれる検査画像を対応付けた複数の対応付けパターンのうちの、前記各対応付けパターンに含まれる前記組合せの全体の類似度が最大になる対応付けパターンに従って、前記レイアウトに含まれる各見本画像に類似する前記検査画像を対応付ける対応付け手段と、
    前記見本画像に対応付けられた前記検査画像を、前記レイアウト情報に従って該検査画像が対応付けられた前記見本画像が配置される配置位置に表示する表示手段とを備え、
    前記対応付けパターンは、前記見本画像に対応付けられる前記検査画像が１以下であり、かつ、前記検査画像に対応付けられる前記見本画像が１以下であるという条件を満たすように、前記見本画像と前記検査画像を対応付ける自動レイアウト装置。
  2. 前記類似度は、前記レイアウトに含まれる各見本画像を構成する画素と、前記検査データに含まれる複数の各検査画像を構成する画素との間の類似度を取得する請求項１記載の自動レイアウト装置。
  3. 前記レイアウトの見本画像には断層画像が含まれ、
    前記検査データの検査画像には断層画像が含まれ、
    前記対応付け手段が、前記組合せのうち前記見本画像の断層画像と前記検査画像の断層画像の断面方向が異なる組合せには、断面方向が一致する組合せより類似度を低く設定して、全体の類似度が最大になる対応付けパターンを決定する請求項１または２記載の自動レイアウト装置。
  4. 前記対応付け手段が、
    前記組合せのそれぞれについて、前記検査画像と前記見本画像の類似度を取得する類似度取得手段と、
    ２つの前記組合せにおいて、第１の組合せに含まれる見本画像と第２の組合せに含まれる見本画像の撮影時刻の前後関係と、前記第１の組合せに含まれる検査画像と前記第２の組合せに含まれる検査画像の撮影時刻の前後関係とに基づいて、前記第１の組合せに含まれる見本画像と前記第２の組合せに含まれる見本画像の撮影時刻の順番と前記第１の組合せに含まれる検査画像と前記第２の組合せに含まれる検査画像の撮影時刻の順番とが一致する場合には、前記撮影時刻の順番が一致しない場合より前記全体の類似度を高くする調整値を取得する調整値取得手段とを備え、
    前記対応付け手段が、前記各対応付けパターンの類似度を、前記対応付けられた前記見本画像と前記検査画像の組合せにおける前記類似度取得手段によって取得された全ての前記類似度と、２つの前記組合せにおける前記調整値取得手段によって取得された全ての前記調整値とを用いて取得し、前記見本画像と前記検査画像を対応付ける請求項１記載の自動レイアウト装置。
  5. 前記類似度取得手段が、前記検査画像と前記見本画像のヒストグラムに基づいて類似度を取得する請求項４記載の自動レイアウト装置。
  6. 前記対応付け手段が、前記条件を満たすように前記見本画像に前記検査画像を対応付けたときの、前記組合せから取得された前記全ての前記類似度と、２つの前記組合せから取得された前記全ての前記調整値との重み付き総和を用いて、グラフマッチングの手法により前記見本画像に対応付ける前記検査画像を決定する請求項４〜５のいずれか１項記載の自動レイアウト装置。
  7. 前記レイアウトの見本画像には断層画像が含まれ、
    前記検査データの検査画像には断層画像が含まれ、
    前記対応付け手段が、前記検査データに含まれる複数の検査画像の断層画像のうち、前記見本画像の断層画像と断面方向が一致する検査画像とを対応付ける請求項１〜６のいずれか１項記載の自動レイアウト装置。
  8. 前記レイアウトの見本画像には断層画像が含まれ、
    前記検査データの検査画像には断層画像が含まれ、
    前記対応付け手段が、
    前記組合せのそれぞれについて、前記検査画像と前記見本画像の類似度を取得する類似度取得手段と、
    ２つの前記組合せにおいて、第１の組合せに含まれる見本画像と第２の組合せに含まれる見本画像の断層位置の前後関係と、前記第１の組合せに含まれる検査画像と前記第２の組合せに含まれる検査画像の断層位置の前後関係とに基づいて、前記第１の組合せに含まれる見本画像と前記第２の組合せに含まれる見本画像の断層位置の順番と前記第１の組合せに含まれる検査画像と前記第２の組合せに含まれる検査画像の断層位置の順番とが一致する場合には、前記断層位置の順番が一致しない場合より前記全体の類似度を高くする調整値を取得する調整値取得手段とを備え、
    前記対応付け手段が、前記各対応付けパターンの全体の類似度を、前記対応付けられた前記見本画像と前記検査画像の組合せにおける前記類似度取得手段によって取得された全ての前記類似度と、２つの前記組合せにおける前記調整値取得手段によって取得された全ての前記調整値とを用いて取得し、前記見本画像と前記検査画像を対応付ける請求項１記載の自動レイアウト装置。
  9. 複数の見本画像を画面上に配置する際の各画像の大きさと配置位置が定められたレイアウトを表すレイアウト情報を記憶する記憶手段と、受付手段と、対応付け手段と、表示手段とを備えた自動レイアウト装置において、
    前記受付手段が、複数の検査画像を含む検査データを受け付けるステップと、
    前記対応付け手段が、前記レイアウトに含まれる各見本画像と、前記検査データに含まれる複数の各検査画像との間の類似度であり、前記レイアウトに含まれる見本画像の１つと前記検査データに含まれる検査画像の１つの組合せのそれぞれについて得られた類似度を用いて、前記レイアウトに含まれる各見本画像に前記検査データに含まれる検査画像を対応付けた複数の対応付けパターンのうちの、前記各対応付けパターンに含まれる前記組合せの全体の類似度が最大になる対応付けパターンに従って、前記レイアウトに含まれる各見本画像に類似する前記検査画像を対応付けるステップと、
    前記表示手段が、前記見本画像に対応付けられた前記検査画像を、前記レイアウト情報に従って該検査画像が対応付けられた前記見本画像が配置される配置位置に表示するステップとを備え、
    前記対応付けパターンは、前記見本画像に対応付けられる前記検査画像が１以下であり、かつ、前記検査画像に対応付けられる前記見本画像が１以下であるという条件を満たすように、前記見本画像と前記検査画像を対応付ける自動レイアウト方法。
  10. コンピュータを、
    複数の検査画像を含む検査データを受け付ける受付手段と、
    複数の見本画像を画面上に配置する際の各画像の大きさと配置位置が定められたレイアウトを表すレイアウト情報を記憶する記憶手段と、
    前記レイアウトに含まれる各見本画像と、前記検査データに含まれる複数の各検査画像との間の類似度であり、前記レイアウトに含まれる見本画像の１つと前記検査データに含まれる検査画像の１つの組合せのそれぞれについて得られた類似度を用いて、前記レイアウトに含まれる各見本画像に前記検査データに含まれる検査画像を対応付けた複数の対応付けパターンのうちの、前記各対応付けパターンに含まれる前記組合せの全体の類似度が最大になる対応付けパターンに従って、前記レイアウトに含まれる各見本画像に類似する前記検査画像を対応付ける対応付け手段と、
    前記見本画像に対応付けられた前記検査画像を、前記レイアウト情報に従って該検査画像が対応付けられた前記見本画像が配置される配置位置に表示する表示手段として機能させる自動レイアウトプログラムであって、
    前記対応付けパターンは、前記見本画像に対応付けられる前記検査画像が１以下であり、かつ、前記検査画像に対応付けられる前記見本画像が１以下であるという条件を満たすように、前記見本画像と前記検査画像を対応付ける自動レイアウトプログラム。
JP2018074188A 2017-04-10 2018-04-06 自動レイアウト装置および自動レイアウト方法並びに自動レイアウトプログラム Active JP6885896B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201762483492P 2017-04-10 2017-04-10
US62/483,492 2017-04-10

Publications (2)

Publication Number Publication Date
JP2018175864A JP2018175864A (ja) 2018-11-15
JP6885896B2 true JP6885896B2 (ja) 2021-06-16

Family

ID=63711160

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018074188A Active JP6885896B2 (ja) 2017-04-10 2018-04-06 自動レイアウト装置および自動レイアウト方法並びに自動レイアウトプログラム

Country Status (2)

Country Link
US (1) US10950019B2 (ja)
JP (1) JP6885896B2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10936778B2 (en) * 2016-03-28 2021-03-02 Motivo, Inc. And optimization of physical cell placement
JP6845071B2 (ja) 2017-04-12 2021-03-17 富士フイルム株式会社 自動レイアウト装置および自動レイアウト方法並びに自動レイアウトプログラム
JP7163240B2 (ja) * 2019-04-11 2022-10-31 富士フイルム株式会社 表示制御装置、表示制御装置の作動方法、及び表示制御装置の作動プログラム
JP7440317B2 (ja) 2020-03-26 2024-02-28 キヤノンメディカルシステムズ株式会社 医用情報処理システム、医用情報処理装置及び医用情報処理プログラム
JP7556970B2 (ja) 2020-09-14 2024-09-26 富士フイルム株式会社 医療画像装置およびその作動方法
CN112508302B (zh) * 2020-12-22 2023-08-15 常州信息职业技术学院 一种快速排样方法

Family Cites Families (244)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3512992B2 (ja) * 1997-01-07 2004-03-31 株式会社東芝 画像処理装置および画像処理方法
US6928314B1 (en) * 1998-01-23 2005-08-09 Mayo Foundation For Medical Education And Research System for two-dimensional and three-dimensional imaging of tubular structures in the human body
JP4260938B2 (ja) * 1998-10-23 2009-04-30 株式会社東芝 ３次元超音波診断装置
US7075683B1 (en) * 1999-02-15 2006-07-11 Canon Kabushiki Kaisha Dynamic image digest automatic editing system and dynamic image digest automatic editing method
WO2001010339A2 (en) * 1999-08-11 2001-02-15 Case Western Reserve University Method and apparatus for producing an implant
US8781557B2 (en) * 1999-08-11 2014-07-15 Osteoplastics, Llc Producing a three dimensional model of an implant
US9208558B2 (en) * 1999-08-11 2015-12-08 Osteoplastics Llc Methods and systems for producing an implant
JP4702971B2 (ja) * 1999-11-10 2011-06-15 株式会社東芝 コンピュータ支援診断システム
JP2002010056A (ja) * 2000-06-19 2002-01-11 Fuji Photo Film Co Ltd 画像合成装置
US20020103429A1 (en) * 2001-01-30 2002-08-01 Decharms R. Christopher Methods for physiological monitoring, training, exercise and regulation
US20130211238A1 (en) * 2001-01-30 2013-08-15 R. Christopher deCharms Methods for physiological monitoring, training, exercise and regulation
US6901277B2 (en) * 2001-07-17 2005-05-31 Accuimage Diagnostics Corp. Methods for generating a lung report
US7130457B2 (en) * 2001-07-17 2006-10-31 Accuimage Diagnostics Corp. Systems and graphical user interface for analyzing body images
US20040013302A1 (en) * 2001-12-04 2004-01-22 Yue Ma Document classification and labeling using layout graph matching
US20050207630A1 (en) * 2002-02-15 2005-09-22 The Regents Of The University Of Michigan Technology Management Office Lung nodule detection and classification
JP2004160103A (ja) * 2002-11-11 2004-06-10 Terarikon Inc 医用画像複合観察装置
JP2004171361A (ja) * 2002-11-21 2004-06-17 Canon Inc 画像表示方法、画像表示装置、プログラム、および記憶媒体
US7616801B2 (en) * 2002-11-27 2009-11-10 Hologic, Inc. Image handling and display in x-ray mammography and tomosynthesis
JP4419426B2 (ja) * 2003-04-24 2010-02-24 コニカミノルタエムジー株式会社 医用画像システム
US7570791B2 (en) * 2003-04-25 2009-08-04 Medtronic Navigation, Inc. Method and apparatus for performing 2D to 3D registration
US20050152588A1 (en) * 2003-10-28 2005-07-14 University Of Chicago Method for virtual endoscopic visualization of the colon by shape-scale signatures, centerlining, and computerized detection of masses
JP4069855B2 (ja) * 2003-11-27 2008-04-02 ソニー株式会社 画像処理装置及び方法
US7450743B2 (en) * 2004-01-21 2008-11-11 Siemens Medical Solutions Usa, Inc. Method and system of affine registration of inter-operative two dimensional images and pre-operative three dimensional images
JP2006024056A (ja) * 2004-07-09 2006-01-26 Sony Corp プリンタの駆動方法、プリンタドライバのプログラム及びプリンタドライバのプログラムを記録した記録媒体
US7787672B2 (en) * 2004-11-04 2010-08-31 Dr Systems, Inc. Systems and methods for matching, naming, and displaying medical images
JP4800104B2 (ja) * 2005-06-13 2011-10-26 富士フイルム株式会社 アルバム作成装置、アルバム作成方法、及びプログラム
JP4762731B2 (ja) * 2005-10-18 2011-08-31 富士フイルム株式会社 アルバム作成装置、アルバム作成方法、およびアルバム作成プログラム
WO2007058997A2 (en) * 2005-11-11 2007-05-24 The University Of Houston System Scoring method for imaging-based detection of vulnerable patients
US7979790B2 (en) * 2006-02-28 2011-07-12 Microsoft Corporation Combining and displaying multimedia content
JP2007260061A (ja) 2006-03-28 2007-10-11 Fujifilm Corp 医用画像情報処理装置、医用画像保管システムおよび医用画像確認作業支援プログラム
US8639028B2 (en) * 2006-03-30 2014-01-28 Adobe Systems Incorporated Automatic stacking based on time proximity and visual similarity
JP4874701B2 (ja) * 2006-04-18 2012-02-15 富士フイルム株式会社 類似画像検索装置および方法並びにプログラム
JP2007287018A (ja) * 2006-04-19 2007-11-01 Fujifilm Corp 診断支援システム
JPWO2007141995A1 (ja) * 2006-06-05 2009-10-22 コニカミノルタエムジー株式会社 表示処理装置
US10387612B2 (en) * 2006-06-14 2019-08-20 Koninklijke Philips N.V. Multi-modality medical image layout editor
US8280483B2 (en) * 2006-06-14 2012-10-02 Koninklijke Philips Electronics N.V. Multi-modality medical image viewing
JP2008035328A (ja) * 2006-07-31 2008-02-14 Fujifilm Corp テンプレート生成装置、画像配置装置、変更テンプレート生成装置およびそのプログラム
JP4762827B2 (ja) * 2006-08-22 2011-08-31 富士フイルム株式会社 電子アルバム生成装置、電子アルバム生成方法、および、そのプログラム
US8160676B2 (en) * 2006-09-08 2012-04-17 Medtronic, Inc. Method for planning a surgical procedure
EP1916538A3 (en) * 2006-10-27 2011-02-16 Panasonic Electric Works Co., Ltd. Target moving object tracking device
US8358818B2 (en) * 2006-11-16 2013-01-22 Vanderbilt University Apparatus and methods of compensating for organ deformation, registration of internal structures to images, and applications of same
JP4905967B2 (ja) * 2007-03-02 2012-03-28 富士フイルム株式会社 類似症例検索装置、方法、およびプログラム
US8233965B2 (en) * 2007-03-08 2012-07-31 Oslo Universitetssykehus Hf Tumor grading from blood volume maps
JP5614037B2 (ja) * 2007-03-26 2014-10-29 株式会社ニコン 画像表示装置、および画像表示用プログラム
US8081811B2 (en) * 2007-04-12 2011-12-20 Fujifilm Corporation Method, apparatus, and program for judging image recognition results, and computer readable medium having the program stored therein
WO2008144751A1 (en) * 2007-05-21 2008-11-27 Cornell University Method for segmenting objects in images
US7889947B2 (en) * 2007-06-27 2011-02-15 Microsoft Corporation Image completion
US20090002764A1 (en) * 2007-06-27 2009-01-01 Atkins C Brian Arranging graphic objects on a page with relative area based control
US20090082660A1 (en) * 2007-09-20 2009-03-26 Norbert Rahn Clinical workflow for treatment of atrial fibrulation by ablation using 3d visualization of pulmonary vein antrum in 2d fluoroscopic images
WO2009049681A1 (en) * 2007-10-19 2009-04-23 Vascops Automatic geometrical and mechanical analyzing method and system for tubular structures
US8319781B2 (en) * 2007-11-23 2012-11-27 Pme Ip Australia Pty Ltd Multi-user multi-GPU render server apparatus and methods
JP5025457B2 (ja) * 2007-12-28 2012-09-12 キヤノン株式会社 画像処理装置およびその方法
JP5229960B2 (ja) * 2008-02-28 2013-07-03 富士フイルム株式会社 画像転送システム、サーバ、方法並びにプログラム
JP2009212969A (ja) * 2008-03-05 2009-09-17 Toshiba Corp 画像処理装置、画像処理方法、及び画像処理プログラム
JP5380283B2 (ja) * 2008-03-13 2014-01-08 株式会社東芝 テンプレート照合装置及びその方法
JP5206095B2 (ja) * 2008-04-25 2013-06-12 ソニー株式会社 構図判定装置、構図判定方法、プログラム
WO2009147840A1 (ja) * 2008-06-04 2009-12-10 国立大学法人静岡大学 画像検索装置および同画像検索装置に適用される画像検索用コンピュータプログラム
KR101388638B1 (ko) * 2008-06-06 2014-04-24 구글 인코포레이티드 이미지에 주석 달기
CA2732276A1 (en) * 2008-07-29 2010-02-04 Board Of Trustees Of Michigan State University System and method for differentiating benign from malignant contrast-enhanced lesions
JP5562598B2 (ja) * 2008-10-24 2014-07-30 株式会社東芝 画像表示装置、画像表示方法および磁気共鳴イメージング装置
JP5523791B2 (ja) * 2008-10-27 2014-06-18 株式会社東芝 Ｘ線診断装置および画像処理装置
US8004576B2 (en) * 2008-10-31 2011-08-23 Digimarc Corporation Histogram methods and systems for object recognition
US8488863B2 (en) * 2008-11-06 2013-07-16 Los Alamos National Security, Llc Combinational pixel-by-pixel and object-level classifying, segmenting, and agglomerating in performing quantitative image analysis that distinguishes between healthy non-cancerous and cancerous cell nuclei and delineates nuclear, cytoplasm, and stromal material objects from stained biological tissue materials
US8601385B2 (en) * 2008-11-25 2013-12-03 General Electric Company Zero pixel travel systems and methods of use
US8682051B2 (en) * 2008-11-26 2014-03-25 General Electric Company Smoothing of dynamic data sets
US20100135562A1 (en) * 2008-11-28 2010-06-03 Siemens Computer Aided Diagnosis Ltd. Computer-aided detection with enhanced workflow
US20100157352A1 (en) * 2008-12-19 2010-06-24 Morales Javier A Method and system for creating visual representation of wysiwyg finishing instructions for specialty photo media
US20100160765A1 (en) * 2008-12-24 2010-06-24 Marrouche Nassir F Therapeutic success prediction for atrial fibrillation
JP2010176380A (ja) * 2009-01-29 2010-08-12 Sony Corp 情報処理装置および方法、プログラム、並びに記録媒体
US9152292B2 (en) * 2009-02-05 2015-10-06 Hewlett-Packard Development Company, L.P. Image collage authoring
JP5599572B2 (ja) * 2009-03-12 2014-10-01 富士フイルム株式会社 症例画像検索装置、方法およびプログラム
CN102365641A (zh) * 2009-03-26 2012-02-29 皇家飞利浦电子股份有限公司 基于诊断信息自动检索报告模板的系统
JP5220677B2 (ja) * 2009-04-08 2013-06-26 オリンパス株式会社 画像処理装置、画像処理方法および画像処理プログラム
JP5300585B2 (ja) * 2009-05-13 2013-09-25 キヤノン株式会社 情報処理装置、情報処理方法
US8817126B2 (en) * 2009-06-24 2014-08-26 Hewlett-Packard Development Company, L.P. Compilation of images
JP5473429B2 (ja) * 2009-06-25 2014-04-16 キヤノン株式会社 眼底撮像装置及びその制御方法
WO2011028273A2 (en) * 2009-09-01 2011-03-10 Children's Medical Center Corporation Image registration methods and apparatus using random projections
US8355556B2 (en) * 2009-11-16 2013-01-15 University Health Network Method of synthetic image generation for magnetic resonance imaging
JP5580030B2 (ja) * 2009-12-16 2014-08-27 株式会社日立製作所 画像処理装置、および画像位置合せ方法
JP2011143159A (ja) * 2010-01-18 2011-07-28 Toshiba Corp 医用画像表示装置、医用診断システム及び画像データ表示用制御プログラム
CN102811863B (zh) * 2010-01-21 2015-07-22 惠普印迪戈股份公司 打印图像的自动检查
AU2011218194B2 (en) * 2010-02-16 2015-12-10 Duke University Systems, methods, compositions and devices for in vivo magnetic resonance imaging of lungs using perfluorinated gas mixtures
JP5921068B2 (ja) * 2010-03-02 2016-05-24 キヤノン株式会社 画像処理装置、制御方法及び光干渉断層撮影システム
US9235575B1 (en) * 2010-03-08 2016-01-12 Hewlett-Packard Development Company, L.P. Systems and methods using a slideshow generator
JP5152231B2 (ja) * 2010-03-12 2013-02-27 オムロン株式会社 画像処理方法および画像処理装置
CN102473307B (zh) * 2010-03-15 2015-05-27 松下电器产业株式会社 用于轨迹估计的方法和装置以及用于分割的方法
US8988456B2 (en) * 2010-03-25 2015-03-24 Apple Inc. Generating digital media presentation layouts dynamically based on image features
EP2369551B1 (en) * 2010-03-25 2019-10-30 Emory University Imaging system and method
JP5572437B2 (ja) * 2010-03-29 2014-08-13 富士フイルム株式会社 ３次元医用画像に基づいて立体視用画像を生成する装置および方法、並びにプログラム
US8396268B2 (en) * 2010-03-31 2013-03-12 Isis Innovation Limited System and method for image sequence processing
JP5458413B2 (ja) * 2010-05-14 2014-04-02 株式会社日立製作所 画像処理装置、画像処理方法、及び、画像処理プログラム
US8559596B2 (en) * 2010-06-08 2013-10-15 Accuray Incorporated Target Tracking for image-guided radiation treatment
JP6039156B2 (ja) * 2010-06-08 2016-12-07 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
US8422755B2 (en) * 2010-06-11 2013-04-16 Given Imaging Ltd. System and method for synchronizing image sequences captured in-vivo for automatic comparison
US8750375B2 (en) * 2010-06-19 2014-06-10 International Business Machines Corporation Echocardiogram view classification using edge filtered scale-invariant motion features
US9785653B2 (en) * 2010-07-16 2017-10-10 Shutterfly, Inc. System and method for intelligently determining image capture times for image applications
US8870751B2 (en) * 2010-09-28 2014-10-28 Fujifilm Corporation Endoscope system, endoscope image recording apparatus, endoscope image acquisition assisting method and computer readable medium
EP2453376B1 (en) * 2010-11-15 2019-02-20 Fujifilm Corporation Medical image recording/reproducing apparatus, medical image recording/reproducing method and program
US9262444B2 (en) * 2010-11-24 2016-02-16 General Electric Company Systems and methods for applying series level operations and comparing images using a thumbnail navigator
US9208556B2 (en) * 2010-11-26 2015-12-08 Quantitative Insights, Inc. Method, system, software and medium for advanced intelligent image analysis and display of medical images and information
AU2010257231B2 (en) * 2010-12-15 2014-03-06 Canon Kabushiki Kaisha Collaborative image capture
US20120206496A1 (en) * 2011-02-11 2012-08-16 Cok Ronald S System for imaging product layout
US9014490B2 (en) * 2011-02-15 2015-04-21 Sony Corporation Method to measure local image similarity and its application in image processing
WO2012111275A1 (ja) * 2011-02-17 2012-08-23 パナソニック株式会社 画像評価装置、画像評価方法、プログラム、集積回路
US10152951B2 (en) * 2011-02-28 2018-12-11 Varian Medical Systems International Ag Method and system for interactive control of window/level parameters of multi-image displays
JP5820142B2 (ja) * 2011-04-27 2015-11-24 キヤノン株式会社 情報処理装置およびその制御方法、並びにプログラム
JP5526193B2 (ja) * 2011-06-20 2014-06-18 富士フイルム株式会社 画像処理装置、画像処理方法および画像処理プログラム
JP5449460B2 (ja) * 2011-06-28 2014-03-19 富士フイルム株式会社 画像処理装置、画像処理方法および画像処理プログラム
JP5462414B2 (ja) * 2011-06-30 2014-04-02 パナソニック株式会社 類似症例検索装置および関連度データベース作成装置並びに類似症例検索方法および関連度データベース作成方法
CN103201769B (zh) * 2011-08-29 2016-09-07 松下电器（美国）知识产权公司 图像处理装置、图像处理方法、集成电路
US9743839B2 (en) * 2011-11-02 2017-08-29 Seno Medical Instruments, Inc. Playback mode in an optoacoustic imaging system
CN103200861B (zh) * 2011-11-04 2015-10-14 松下电器产业株式会社 类似病例检索装置以及类似病例检索方法
US8923580B2 (en) 2011-11-23 2014-12-30 General Electric Company Smart PACS workflow systems and methods driven by explicit learning from users
US9152760B2 (en) * 2011-11-23 2015-10-06 General Electric Company Smart 3D PACS workflow by learning
MX2014010832A (es) * 2012-03-09 2015-08-05 Seno Medical Instr Inc Mapeo estadistico en un sistema de imagenologia optoacustica.
FI20125278L (fi) * 2012-03-14 2013-09-15 Mirasys Business Analytics Oy Menetelmä ja järjestely ja tietokoneohjelmatuote videoitujen kohteiden tunnistamiseksi
JP5935501B2 (ja) * 2012-05-17 2016-06-15 富士通株式会社 プログラム、画像処理装置及び画像処理方法
KR101446780B1 (ko) * 2012-06-01 2014-10-01 삼성메디슨 주식회사 초음파 영상과 초음파 영상에 관련된 정보를 디스플레이하기 위한 방법 및 장치
JP6071288B2 (ja) * 2012-07-09 2017-02-01 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP6012310B2 (ja) * 2012-07-09 2016-10-25 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
JP6012308B2 (ja) * 2012-07-09 2016-10-25 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP6012309B2 (ja) * 2012-07-09 2016-10-25 キヤノン株式会社 情報処理装置、情報処理方法、およびプログラム
JP6025427B2 (ja) * 2012-07-09 2016-11-16 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP6071289B2 (ja) * 2012-07-09 2017-02-01 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
JP6099931B2 (ja) * 2012-11-01 2017-03-22 株式会社東芝 画像同期装置及びシステム
JP5939141B2 (ja) * 2012-11-21 2016-06-22 富士ゼロックス株式会社 プログラム及び診療記録検索装置
US20140143710A1 (en) * 2012-11-21 2014-05-22 Qi Zhao Systems and methods to capture and save criteria for changing a display configuration
JP5734525B2 (ja) * 2012-12-11 2015-06-17 ＶｉｅｗＳｅｎｄ ＩＣＴ株式会社 医療支援システムおよびその方法
JP6048107B2 (ja) * 2012-12-14 2016-12-21 コニカミノルタ株式会社 電子カルテ装置及びプログラム
US20150178786A1 (en) * 2012-12-25 2015-06-25 Catharina A.J. Claessens Pictollage: Image-Based Contextual Advertising Through Programmatically Composed Collages
WO2014104129A1 (ja) * 2012-12-25 2014-07-03 株式会社 東芝 画像観察装置、画像観察方法、及びコンピュータ読み取り可能な記録媒体
JP2014127011A (ja) * 2012-12-26 2014-07-07 Sony Corp 情報処理装置、情報処理方法、およびプログラム
JP5847070B2 (ja) * 2012-12-27 2016-01-20 オリンパス株式会社 サーバ装置及び撮影装置
US9177378B2 (en) * 2013-02-11 2015-11-03 Definiens Ag Updating landmarks to improve coregistration as regions of interest are corrected
JPWO2014132754A1 (ja) * 2013-02-26 2017-02-02 コニカミノルタ株式会社 画像処理装置および画像処理方法
US8976190B1 (en) * 2013-03-15 2015-03-10 Pme Ip Australia Pty Ltd Method and system for rule based display of sets of images
AU2014231346B2 (en) * 2013-03-15 2018-03-08 Synaptive Medical Inc. Planning, navigation and simulation systems and methods for minimally invasive therapy
US10070839B2 (en) * 2013-03-15 2018-09-11 PME IP Pty Ltd Apparatus and system for rule based visualization of digital breast tomosynthesis and other volumetric images
JP6104680B2 (ja) * 2013-03-21 2017-03-29 株式会社日立国際電気 画像処理装置、撮像装置、監視システム、符号化装置、画像処理方法
JP5948275B2 (ja) * 2013-03-29 2016-07-06 富士フイルム株式会社 放射線撮影装置及び放射線撮影方法、並びに放射線撮影制御プログラム
JP5830626B2 (ja) * 2013-04-05 2015-12-09 パナソニック株式会社 画像領域対応付け装置、３次元モデル生成装置、画像領域対応付け方法、及び画像領域対応付け用プログラム
KR102065362B1 (ko) * 2013-05-14 2020-01-13 삼성전자주식회사 연속 촬영 이미지에서의 고조점 이미지 추출 장치 및 방법
US20140376822A1 (en) * 2013-06-25 2014-12-25 Michael Holroyd Method for Computing the Similarity of Image Sequences
JP5977214B2 (ja) * 2013-08-23 2016-08-24 ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー 画像処理方法および装置並びにプログラム
US10169534B2 (en) * 2013-09-30 2019-01-01 Toshiba Medical Systems Corporation Medical image display system and method
EP2863363A1 (en) * 2013-09-30 2015-04-22 Samsung Medison Co., Ltd. Method and apparatus for generating three-dimensional image of target object
US10546395B2 (en) * 2013-10-03 2020-01-28 University Of Delaware XSlit camera
US9659215B2 (en) * 2013-10-07 2017-05-23 Agfa Graphics Nv Raster image processing method
GB2523531A (en) * 2013-11-29 2015-09-02 Siemens Medical Solutions Arrangements for viewing clinical images
US20150169207A1 (en) * 2013-12-18 2015-06-18 Dropbox, Inc. Systems and methods for generating personalized account reconfiguration interfaces
US10083278B2 (en) * 2014-02-12 2018-09-25 Edda Technology, Inc. Method and system for displaying a timing signal for surgical instrument insertion in surgical procedures
US9959631B2 (en) * 2014-02-21 2018-05-01 Samsung Electronics Co., Ltd. Tomography apparatus and method for reconstructing tomography image thereof
US20150248429A1 (en) * 2014-02-28 2015-09-03 Microsoft Corporation Generation of visual representations for electronic content items
US20150269456A1 (en) * 2014-03-21 2015-09-24 Bicdroid Inc Methods and systems for determining a perceptual similarity between images
JP6054330B2 (ja) * 2014-03-27 2016-12-27 富士フイルム株式会社 画像レイアウト生成装置、画像商材作成システム、画像レイアウト生成方法ならびに画像レイアウト生成プログラムおよび記録媒体
JP5810251B1 (ja) * 2014-04-09 2015-11-11 パナソニック株式会社 情報端末の制御方法及びプログラム
WO2015155808A1 (ja) * 2014-04-09 2015-10-15 パナソニック株式会社 情報端末の制御方法及びプログラム
US9361700B2 (en) * 2014-05-08 2016-06-07 Tandent Vision Science, Inc. Constraint relationship for use in an image segregation
JP6438216B2 (ja) * 2014-05-22 2018-12-12 キヤノン株式会社 画像生成装置および画像生成方法
JP6576690B2 (ja) * 2014-05-29 2019-09-18 キヤノンメディカルシステムズ株式会社 医用画像処理装置
US9613181B2 (en) * 2014-05-29 2017-04-04 Globalfoundries Inc. Semiconductor device structure including active region having an extension portion
US10216762B2 (en) * 2014-06-04 2019-02-26 Panasonic Corporation Control method and non-transitory computer-readable recording medium for comparing medical images
CN109106392A (zh) * 2014-06-11 2019-01-01 佳能株式会社 图像显示装置、显示控制装置及显示控制方法
JP6035288B2 (ja) * 2014-07-16 2016-11-30 富士フイルム株式会社 画像処理システム、クライアント、画像処理方法、プログラムおよび記録媒体
JP6293619B2 (ja) * 2014-08-28 2018-03-14 ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー 画像処理方法および装置並びにプログラム
US10748661B2 (en) * 2014-10-30 2020-08-18 Panasonic Corporation Method for controlling information terminal, and recording medium
US9507506B2 (en) * 2014-11-13 2016-11-29 Interactive Memories, Inc. Automatic target box in methods and systems for editing content-rich layouts in media-based projects
JP6548383B2 (ja) * 2014-11-28 2019-07-24 キヤノンメディカルシステムズ株式会社 磁気共鳴イメージング装置
US9839490B2 (en) * 2015-01-28 2017-12-12 Terarecon, Inc. Touchless advanced image processing and visualization
CN110338841B (zh) * 2015-02-16 2022-04-15 深圳迈瑞生物医疗电子股份有限公司 三维成像数据的显示处理方法和三维超声成像方法及系统
CN105912831B (zh) * 2015-02-19 2021-08-20 松下知识产权经营株式会社 信息终端的控制方法
JP6501569B2 (ja) * 2015-03-18 2019-04-17 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP2016189507A (ja) * 2015-03-30 2016-11-04 富士フイルム株式会社 画像処理装置、画像処理方法、プログラムおよび記録媒体
JP2016189946A (ja) * 2015-03-31 2016-11-10 富士フイルム株式会社 医用画像位置合わせ装置および方法並びにプログラム
US9767380B2 (en) * 2015-04-13 2017-09-19 Varian Medical Systems International Ag. Image comparison tool tolerant to deformable image matching
US10178149B2 (en) * 2015-05-14 2019-01-08 Adobe Inc. Analysis for framework assessment
JP6477878B2 (ja) * 2015-07-01 2019-03-06 株式会社島津製作所 データ処理装置
JP6961139B2 (ja) * 2015-07-24 2021-11-05 エーテーハー チューリッヒ 知覚的な縮小方法を用いて画像を縮小するための画像処理システム
US10242293B2 (en) * 2015-08-04 2019-03-26 The Asan Foundation Method and program for computing bone age by deep neural network
JP6532398B2 (ja) * 2015-08-07 2019-06-19 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
JP6494503B2 (ja) * 2015-08-07 2019-04-03 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP6525862B2 (ja) * 2015-08-07 2019-06-05 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
JP6422409B2 (ja) * 2015-08-07 2018-11-14 キヤノン株式会社 表示制御装置、表示制御方法、及びプログラム
JP6667231B2 (ja) * 2015-08-31 2020-03-18 キヤノン株式会社 情報処理装置、画像処理装置、情報処理システム、情報処理方法、及びプログラム。
JP6677256B2 (ja) * 2015-09-02 2020-04-08 富士通株式会社 読影支援プログラム、断面画像生成装置及び断面画像生成方法
CN105260733A (zh) * 2015-09-11 2016-01-20 北京百度网讯科技有限公司 用于处理图像信息的方法和装置
US9697623B1 (en) * 2015-09-15 2017-07-04 Shanghai United Imaging Healthcare Co., Ltd. Image reconstruction system and method
US10771815B2 (en) * 2015-09-29 2020-09-08 Lg Electronics Inc. Method and apparatus for processing video signals using coefficient induced prediction
CN106557536B (zh) * 2015-09-30 2021-12-21 松下知识产权经营株式会社 控制方法
JP6675099B2 (ja) * 2015-09-30 2020-04-01 パナソニックＩｐマネジメント株式会社 制御方法及びプログラム
CN106560827B (zh) * 2015-09-30 2021-11-26 松下知识产权经营株式会社 控制方法
US10595941B2 (en) * 2015-10-30 2020-03-24 Orthosensor Inc. Spine measurement system and method therefor
CN106845508B (zh) * 2015-12-07 2019-05-17 腾讯科技（深圳）有限公司 一种检测图像中信息卡的方法、装置和系统
KR102202398B1 (ko) * 2015-12-11 2021-01-13 삼성전자주식회사 영상처리장치 및 그의 영상처리방법
WO2017109854A1 (ja) * 2015-12-22 2017-06-29 オリンパス株式会社 学習画像自動選別装置、学習画像自動選別方法および学習画像自動選別プログラム
JP6700791B2 (ja) * 2016-01-05 2020-05-27 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
US10699156B2 (en) * 2016-01-13 2020-06-30 Peking University Shenzhen Graduate School Method and a device for image matching
CN108780570B (zh) * 2016-01-16 2022-12-06 特利丹菲力尔有限责任公司 使用迭代协同滤波的图像超分辨率的系统和方法
GB2547712A (en) * 2016-02-29 2017-08-30 Fujitsu Ltd Method and apparatus for generating time series data sets for predictive analysis
US10902656B2 (en) * 2016-02-29 2021-01-26 Fujifilm North America Corporation System and method for generating a digital image collage
JP6559609B2 (ja) * 2016-04-25 2019-08-14 富士フイルム株式会社 画像合成装置、画像合成方法および画像合成プログラム
CA3026951C (en) * 2016-06-06 2023-09-19 Perkinelmer Health Sciences, Inc. Systems and methods for automated sinogram completion, combination, and completion by combination
US10301041B2 (en) * 2016-06-09 2019-05-28 California Institute Of Technology Systems and methods for tracking moving objects
US10970887B2 (en) * 2016-06-24 2021-04-06 Rensselaer Polytechnic Institute Tomographic image reconstruction via machine learning
GB201611253D0 (en) * 2016-06-29 2016-08-10 Dolby Laboratories Licensing Corp Efficient Histogram-based luma look matching
DE102016212888A1 (de) * 2016-07-14 2018-01-18 Siemens Healthcare Gmbh Bestimmen einer Bildserie abhängig von einer Signaturmenge
CA3021481A1 (en) * 2016-07-29 2018-02-01 Novadaq Technologies ULC Methods and systems for characterizing tissue of a subject utilizing machine learning
US20180070917A1 (en) * 2016-09-13 2018-03-15 Butterfly Network, Inc. Ingestible ultrasound device, system and imaging method
JP2018050890A (ja) * 2016-09-28 2018-04-05 富士フイルム株式会社 画像表示装置及び画像表示方法並びにプログラム
US10445462B2 (en) * 2016-10-12 2019-10-15 Terarecon, Inc. System and method for medical image interpretation
US10452813B2 (en) * 2016-11-17 2019-10-22 Terarecon, Inc. Medical image identification and interpretation
US10109055B2 (en) * 2016-11-21 2018-10-23 Seiko Epson Corporation Multiple hypotheses segmentation-guided 3D object detection and pose estimation
US10140675B2 (en) * 2016-11-28 2018-11-27 Google Llc Image grid with selectively prominent images
JP6596406B2 (ja) * 2016-12-09 2019-10-23 富士フイルム株式会社 診断支援装置とその作動方法および作動プログラム、並びに診断支援システム
CN110088806B (zh) * 2016-12-22 2023-12-08 皇家飞利浦有限公司 用于在解剖结构的图像中定位标记物的方法和装置
WO2018120420A1 (zh) * 2016-12-26 2018-07-05 华为技术有限公司 一种基于模板匹配的预测方法及装置
CN106682424A (zh) * 2016-12-28 2017-05-17 上海联影医疗科技有限公司 医学图像的调节方法及其系统
CN106682636B (zh) * 2016-12-31 2020-10-16 上海联影医疗科技有限公司 血管提取方法及其系统
JP7268879B2 (ja) * 2017-01-02 2023-05-08 ガウス サージカル，インコーポレイテッド 重複撮像を予測した手術アイテムの追跡
JP6971598B2 (ja) * 2017-03-13 2021-11-24 キヤノンメディカルシステムズ株式会社 Ｘ線診断装置、画像処理装置及び画像処理プログラム
JP6934734B2 (ja) * 2017-03-17 2021-09-15 キヤノン株式会社 画像処理装置、画像処理装置の制御方法およびプログラム
EP3388962A1 (de) * 2017-04-11 2018-10-17 Siemens Healthcare GmbH Steuerverfahren eines bildgebenden medizinischen systems
JP6845071B2 (ja) * 2017-04-12 2021-03-17 富士フイルム株式会社 自動レイアウト装置および自動レイアウト方法並びに自動レイアウトプログラム
JP6949535B2 (ja) * 2017-04-13 2021-10-13 キヤノン株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム
JP6869086B2 (ja) * 2017-04-20 2021-05-12 富士フイルム株式会社 位置合せ装置および位置合せ方法並びに位置合せプログラム
US11232853B2 (en) * 2017-04-21 2022-01-25 Cubisme, Inc. System and method for creating, querying, and displaying a MIBA master file
WO2018218478A1 (zh) * 2017-05-31 2018-12-06 上海联影医疗科技有限公司 图像处理方法及系统
WO2019023900A1 (zh) * 2017-07-31 2019-02-07 深圳联影医疗科技有限公司 在体数据中提取感兴趣区域的方法及系统
JP7187099B2 (ja) * 2017-09-15 2022-12-12 サウジ アラビアン オイル カンパニー ニューラルネットワークを用いて炭化水素貯留層の石油物理特性を推測すること
JP2019056623A (ja) * 2017-09-21 2019-04-11 株式会社東芝 画像処理装置、及び、画像処理システム
JP6810009B2 (ja) * 2017-09-29 2021-01-06 トヨタ自動車株式会社 視差算出装置
JP7076974B2 (ja) * 2017-10-03 2022-05-30 キヤノン株式会社 画像処理装置、制御方法およびプログラム
JP6807820B2 (ja) * 2017-10-31 2021-01-06 富士フイルム株式会社 画像検索装置、方法およびプログラム
JP2019091324A (ja) * 2017-11-16 2019-06-13 コニカミノルタ株式会社 医療情報処理装置及びプログラム
US10304564B1 (en) * 2017-12-13 2019-05-28 International Business Machines Corporation Methods and systems for displaying an image
JP2019107084A (ja) * 2017-12-15 2019-07-04 キヤノン株式会社 医用画像装置及び医用画像の表示方法
US11497459B2 (en) * 2018-01-26 2022-11-15 General Electric Company Methods and system for optimizing an imaging scan based on a prior scan
JP6901424B2 (ja) * 2018-03-12 2021-07-14 株式会社東芝 画像処理装置、及び、画像処理方法
JP2019154744A (ja) * 2018-03-13 2019-09-19 キヤノンメディカルシステムズ株式会社 医用画像処理装置、医用画像診断装置、及び医用画像処理プログラム
JP6787358B2 (ja) * 2018-03-28 2020-11-18 京セラドキュメントソリューションズ株式会社 画像形成装置
US10462359B1 (en) * 2018-04-13 2019-10-29 Adobe Inc. Image composition instruction based on reference image perspective
JP6938422B2 (ja) * 2018-04-23 2021-09-22 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
JP6981940B2 (ja) * 2018-08-29 2021-12-17 富士フイルム株式会社 画像診断支援装置、方法及びプログラム
JP7313862B2 (ja) * 2019-03-29 2023-07-25 キヤノン株式会社 情報処理装置、方法、及びプログラム

Also Published As

Publication number Publication date
US10950019B2 (en) 2021-03-16
JP2018175864A (ja) 2018-11-15
US20180293772A1 (en) 2018-10-11

Similar Documents

Publication Publication Date Title
JP6885896B2 (ja) 自動レイアウト装置および自動レイアウト方法並びに自動レイアウトプログラム
US20210158531A1 (en) Patient Management Based On Anatomic Measurements
EP2888686B1 (en) Automatic detection and retrieval of prior annotations relevant for an imaging study for efficient viewing and reporting
US7747050B2 (en) System and method for linking current and previous images based on anatomy
JP6845071B2 (ja) 自動レイアウト装置および自動レイアウト方法並びに自動レイアウトプログラム
US8934687B2 (en) Image processing device, method and program including processing of tomographic images
JP6453668B2 (ja) 計測値管理装置とその作動方法および作動プログラム、並びに計測値管理システム
JP2009070201A (ja) 読影レポート作成システム及び読影レポート作成装置並びに読影レポート作成方法
WO2007059020A2 (en) System and method for anatomy labeling on a pacs
US11468659B2 (en) Learning support device, learning support method, learning support program, region-of-interest discrimination device, region-of-interest discrimination method, region-of-interest discrimination program, and learned model
JP7000206B2 (ja) 医用画像処理装置、医用画像処理方法、及び医用画像処理プログラム
JP6738305B2 (ja) 学習データ生成支援装置および学習データ生成支援装置の作動方法並びに学習データ生成支援プログラム
JP2008200373A (ja) 類似症例検索装置、方法、およびプログラム、ならびに、類似症例データベース登録装置、方法、およびプログラム
WO2010029470A1 (en) System and method for processing medical images
JP5363962B2 (ja) 診断支援システム、診断支援プログラムおよび診断支援方法
JP6869086B2 (ja) 位置合せ装置および位置合せ方法並びに位置合せプログラム
US10741283B2 (en) Atlas based prior relevancy and relevancy model
US20230223138A1 (en) Medical information processing system, medical information processing method, and storage medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190729

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200630

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200714

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201013

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201201

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210216

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210413

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210513

R150 Certificate of patent or registration of utility model

Ref document number: 6885896

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250