Nothing Special   »   [go: up one dir, main page]

JP7566733B2 - デジタル撮像システムおよび方法 - Google Patents

デジタル撮像システムおよび方法 Download PDF

Info

Publication number
JP7566733B2
JP7566733B2 JP2021523439A JP2021523439A JP7566733B2 JP 7566733 B2 JP7566733 B2 JP 7566733B2 JP 2021523439 A JP2021523439 A JP 2021523439A JP 2021523439 A JP2021523439 A JP 2021523439A JP 7566733 B2 JP7566733 B2 JP 7566733B2
Authority
JP
Japan
Prior art keywords
slide
image
specimen
imager
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021523439A
Other languages
English (en)
Other versions
JPWO2020091965A5 (ja
JP2022506227A (ja
Inventor
ジェノスキ,レイモンド
マイヤー,シド
ジェニングス,ロバート
オリヴァ,ライアン,ピー.
マクロレイ,ジョン,エイ.
クイック,マイケル,ディー.
ハリントン,サラ,マーガレット
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hologic Inc
Original Assignee
Hologic Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hologic Inc filed Critical Hologic Inc
Publication of JP2022506227A publication Critical patent/JP2022506227A/ja
Publication of JPWO2020091965A5 publication Critical patent/JPWO2020091965A5/ja
Application granted granted Critical
Publication of JP7566733B2 publication Critical patent/JP7566733B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • G02B21/367Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J18/00Arms
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N15/14Optical investigation techniques, e.g. flow cytometry
    • G01N15/1429Signal processing
    • G01N15/1433Signal processing using image recognition
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N35/00Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor
    • G01N35/00029Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor provided with flat sample substrates, e.g. slides
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N35/00Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor
    • G01N35/0099Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor comprising robots or similar manipulators
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/24Base structure
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/34Microscope slides, e.g. mounting specimens on microscope slides
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/22Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/693Acquisition
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N15/14Optical investigation techniques, e.g. flow cytometry
    • G01N15/1434Optical arrangements
    • G01N2015/144Imaging characterised by its optical setup
    • G01N2015/1445Three-dimensional imaging, imaging in different image planes, e.g. under different angles or at different depths, e.g. by a relative motion of sample and detector, for instance by tomography
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N15/14Optical investigation techniques, e.g. flow cytometry
    • G01N15/1434Optical arrangements
    • G01N2015/1452Adjustment of focus; Alignment

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Optics & Photonics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Robotics (AREA)
  • Dispersion Chemistry (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Microscoopes, Condenser (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)
  • Sampling And Sample Adjustment (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analysing Biological Materials (AREA)

Description

関連出願への相互参照
[0001]本特許出願は、2018年11月2日に出願された「デジタル撮像システムおよび方法」と題された米国仮出願番号62/755,151、および2018年11月2日に出願された「デジタル画像表示システムおよび方法」と題された米国仮出願番号62/755,291の優先権を主張するものであり、これらはそれぞれ参照によりその全体が本明細書に組み込まれる。
[0002]本開示は、一般に、デジタル撮像システムおよび方法に関し、より具体的には、細胞学者および/または細胞病理学者によってコンピュータモニタ上に表示され視認され得る細胞学的(細胞)標本および病理学的(固体)組織標本といった標本のデジタル画像を取得するためのデジタル撮像システムおよび方法に関する。
[0003]細胞学は、細胞の形成、構造、および機能の研究を扱う生物学の一分野である。実験室の設定で適用されるように、細胞学者、細胞学者、および他の医療専門家は、患者の細胞のサンプルの目視検査に基づいて患者の状態の医学的診断を行う。このようなサンプルは、本明細書では「細胞学的」標本と呼ばれる。典型的な細胞学的手法は「パパニコロウ塗抹検査」であり、女性の子宮頸部から細胞を掻き取り、子宮頸がんの発症の前兆である異常細胞の存在を検出するために分析する。細胞学的手法は、人体の他の部分の異常な細胞や病気を検出するためにも利用される。
[0004]細胞学的技術が広く採用されているのは、一般に、分析のための細胞サンプルの収集が、生検などの従来の外科的病理学的手順よりも侵襲性が低いためである。生検では、バネ仕掛けの並進可能なスタイレットや固定カニューレなどを有する特殊な生検針を使用して、患者から固形組織サンプル(本明細書では「病理学的」標本と呼ぶ。)が切除される。細胞サンプルは、例えば、ある領域をこするか拭き取るか、針を使用して胸腔、膀胱、脊柱管、または他の適切な領域から体液を吸引することを含む、様々な技術によって患者から取得される。取得した細胞サンプルは、通常、防腐剤溶液に入れられ、その後、溶液から抽出され、スライドガラスに移される。固定液を細胞サンプルに塗布して、細胞がスライドガラス上の所定の位置に留まるようにして、その後の染色と検査が容易になるようにする。
[0005]スライド上の細胞が適切な空間分布を有し、個々の細胞を検査できるようになっていることが一般的に望ましい。通常、単層の細胞が好ましい。したがって、多くの細胞(例えば、数万)を含む液体サンプルから細胞学的標本を調製するには、通常、最初に機械的分散、液体剪断、または他の技術によって細胞を互いに分離して、細胞の薄い単層が収集されて、スライドに配置されるようにする必要がある。この方法により、細胞学者は、患者サンプル中の異常細胞の存在をより容易に識別することができる。細胞をカウントして、適切な数の細胞が評価されたことを確認することもできる。
[0006]液体サンプル容器から細胞の薄い単層を生成し、次にこの薄い層を目視検査に好都合な「標本スライド」に移すための特定の方法および装置が、米国特許第5,143,627号、第5,240,606号、第5,269,918号、第5,282,978号、第6,562,299号、第6,572,824号および第7,579,190号に開示されている。本書で引用されるすべての刊行物は、その全体が参照により組み込まれる。これらの特許に開示されている1つの方法によれば、保存液に懸濁されてサンプル容器に格納された患者の細胞は、容器に挿入されるスピン式サンプルコレクタを用いて分散される。制御された真空をサンプルコレクタにかけて、細胞の所望の量および空間分布がフィルタに対して収集されるまで、スクリーンフィルタを通して液体を吸引する。その後、サンプルコレクタをサンプル容器から取り出し、フィルタ部分をスライドガラスに押し付けて、収集した細胞を、収集したものと実質的に同じ空間分布でスライドに移す。これらの特許の1つまたは複数の教示に従って製造された装置は、マサチューセッツ州マールボロにあるHologic、Inc.によって製造および販売されているThinPrep(商標名)2000プロセッサ(検体スライドが患者サンプルから一度に1つずつ処理される)やThinPrep(商標名)5000プロセッサ(検体スライドが患者サンプルからバッチ処理される)などのように、商業的に成功している。さらに米国特許第7,556,777号および第7,771,662号を参照する。
[0007]標本スライドが準備できたら、標本は細胞学者によって、通常は拡大下で、様々な照明源有りまたは無しで、視覚的に検査され得る。追加的または代替的に、自動スライド撮像システムを使用して、細胞学的検査プロセスを支援する。例えば、自動スライド撮像システムは、スライドに固定された細胞学的標本内の個々の細胞のすべて、または実質的にすべての画像をキャプチャし、細胞学者にスライド上の潜在的に最も関連性の高いセルを示し綿密な検査ができるように画像処理技術を使用して細胞の予備評価を実行し得る。そのような撮像システムの例が、米国特許第7,587,078号、第6,665,060号、第7,006,674号、第7,369,304号および第7,590,492号に開示されている。実際の標本スライドを拡大して検査するか、標本の拡大画像を検査するかによって、典型的に標本は細胞学者によって「正常」または「異常」のいずれかに分類され、異常なサンプルは通常、「子宮頸部/膣の細胞学的診断を報告するためのベセスダシステム」に定義される主要カテゴリの1つに分類される。このカテゴリには、低悪性度の扁平上皮内病変(LSIL)、高悪性度の扁平上皮内病変(HSIL)、扁平上皮癌、腺癌、非定型腺細胞(AGUS)、上皮内腺癌(AIS)、および異型扁平上皮細胞(ASC)が含まれる。細胞標本の分類に関する追加情報は、「子宮内膜細胞診を報告するための横浜システム」、診断細胞病理学、2018年5月、46巻(5)、400-412頁、および「非婦人科細胞病理学標本の報告のためのおよびガイドライン」、病理学および実験医学アーカイブ、2009年11月、133巻、No.11、1743-1756頁などで広く利用可能である。
[0008]しかしながら、生物学的標本のデジタル画像を取得するための従来システムおよび方法に関し多くの欠点がある。一つには、従来のシステムおよび方法は、標本全体をスキャンするのに時間がかかるため、取得時間が遅いという問題がある。さらに、従来のシステムおよび方法は、通常、標本全体で単一の焦点面のみを提供する。生物学的標本は、細胞学的標本でも病理学的標本でも、実際には三次元である(すなわち、深さを有する)。このため、生体試料のデジタル画像を取得するために必要な高倍率と焦点開口のために、画像の被写界深度は非常に制限される。したがって、焦点面の被写界深度の外側にある標本の部分は、焦点が合わないか、画像に表示されない。標本の複数の異なる深さで焦点の合ったデジタル画像を取得するには、標本またはカメラを動かすか、焦点レンズを調整するなどして、焦点面を調整する必要がある。しかしながら、これには焦点面ごとに標本の追加スキャンが必要であり、取得時間がさらに遅くなってしまう。
[0009]基板に取り付けられた標本(例えば、細胞学的または病理学的標本)を評価するための改良された自動化システムの実施形態が、本明細書に開示および記載されている。典型的に基板は顕微鏡スライドであり、したがって、実施形態では基板としてスライドを用いるものについて説明するが、本明細書に開示される自動化システムおよび方法はスライドを使用するものに限定されず、任意の適切な基板を利用できることを理解されたい。標本は、細胞学的標本、組織標本などを含む生物学的または化学的標本など、顕微鏡倍率下でデジタル撮像される任意のタイプの標本を含み得る。本明細書で使用される場合、「標本」という用語は、文脈に応じて、標本全体またはその一部に適用され得る。
[0010]開示された発明に従って構築された例示的な自動スライド撮像システムは、イメージャを具え、当該イメージャはスライドの表面に付着された標本の画像を取得するように構成されており、ここで前記標本は、三次元ボリューム内に分散された複数のオブジェクトを含み、前記イメージャは取得された画像から標本全体画像を生成するように構成されており、ここでオブジェクトは、三次元ボリューム内のそれぞれのオブジェクトの個々の位置に関係なく、標本全体画像内で焦点を合わせて描写され、三次元標本ボリュームは、長さ、幅、および厚さを有し、前記厚さはスライド表面に対してz軸を規定し、ここで標本のそれぞれのオブジェクト(例えば、場合によっては個々の細胞または組織構造)は、z軸に沿った異なる位置に配置されている。取得された画像は、標本のマクロ画像、および標本の複数のミクロ画像を含み、前記マクロ画像は、スライド表面上に配置された1つまたは複数の基準マーカを含み、前記イメージャは、前記マクロ画像から決定されたスライド表面上の標本の相対的な位置と境界に少なくとも部分的に基づいてミクロ画像を取得するように構成されている。
[0011]例示的な実施形態では、前記イメージャは、前記スライドを着座させるように構成された第1の撮像プラットフォームと、前記スライドが前記第1の撮像プラットフォームに着座したときにマクロ画像を取得するように構成された第1のカメラと、さらに前記スライドを着座させるように構成された第2の撮像プラットフォームと、当該第2の撮像プラットフォームに装着されたスライドに付着された標本のミクロ画像を取得するように構成された第2のカメラとを具える。前記イメージャは、ミクロ画像を取得するために、前記第2のカメラおよび第2の撮像プラットフォームの少なくとも一方を他方に対して自動的に移動するように構成され、ここで前記第2のカメラの光軸は、前記第2の撮像プラットフォームと非直交角度を形成し、前記イメージャは、前記三次元標本ボリュームの同じz軸で標本のミクロ画像を取得するように構成されている。特に、撮像されるスライドは厚さを有し、前記ミクロ画像は、表面の下にあるスライドの少なくとも一部を含み得る。標本は、カバースリップを通して標本のミクロ画像を取得するのに十分に透明であるカバースリップで覆われ、当該カバースリップは厚さを有し、前記ミクロ画像はそれぞれ前記カバースリップの深さの少なくとも一部を含む。例示的な実施形態では、標本スライドは、x軸を規定する幅と、y軸を規定する長さとを有し、前記イメージャは、前記第2のカメラがそれぞれのy軸位置でミクロ画像を取得するときに、前記第2のカメラに対してy軸に沿ってスライドを平行移動するように構成され、各ミクロ画像は、前記スライド表面で決定された標本の境界に基づいた標本のx軸幅全体を含む。
[0012]例示的な実施形態では、前記イメージャは、1つまたは複数のスライドホルダレセプタクルを有し、各スライドホルダレセプタクルは、複数のスロットを含むスライドホルダを受け入れるように構成され、各スロットは、個々のスライドを保持するように構成され、ロボットアームアセンブリとが、(i)前記スライドホルダレセプタクルのスライドホルダのスロットからスライドを取り出し、(ii)マクロ画像を取得するためにスライドを前記第1の撮像プラットフォームに移動して着座させ、(iii)前記第1の撮像プラットフォームからスライド再び取り出し、(iv)ミクロ画像を取得するためにスライドを前記第2の撮像プラットフォームに移動して着座させ、(v)前記第2の撮像プラットフォームからスライドを再び取り出す、ように構成される。前記ロボットアームアセンブリはさらに、(vi)スライドが取り出されたスライドホルダと同じか異なるスライドホルダにスライドを移送し、(vii)スライドをそれぞれの同じか異なるスライドホルダのスロットに解放するようにさらに構成され、ここでそれぞれの同じか異なるスライドホルダのスロットは、前記ロボットアームアセンブリによってスライドが取り出されたのと同じスロットである。
[0013]例示的な実施形態では、前記イメージャは、ミクロ画像から標本全体画像を生成するように構成された画像プロセッサを含み、当該画像プロセッサは、ミクロ画像内の個々のオブジェクトについてそれぞれのベストフォーカス画像を特定し、前記オブジェクトのベストフォーカス画像は、前記標本全体画像に組み込まれる。前記画像プロセッサは、好ましくは、標本内の関心のあるオブジェクト(例えば、個々の細胞または組織構造)を識別し、標本全体画像とともに前記識別された関心のあるオブジェクトの画像を保存するようにさらに構成される。標本のマクロ画像は、スライド表面上のバーコードの画像を含み、その場合に前記イメージャは、好ましくは、前記バーコードから標本に関する情報を取得するように構成される。
[0014]例示的な実施形態では、システムは、表示モニタ、ユーザインターフェース、およびそれぞれの表示モニタおよびユーザインターフェースと機能的に結合されたプロセッサを含むレビューステーションをさらに具え、前記プロセッサは、標本画像内の個々のオブジェクトの個別の画像とともに標本全体画像を前記表示モニタに表示するように構成される。
[0015]限定しないが、前記レビューステーションは、システムのユーザがユーザインターフェースを使用して、保存された標本全体画像のリストから標本全体画像を選択できるように構成され得る。
[0016]限定しないが、前記システムは、システムのユーザが、ユーザインターフェースを使用して標本全体画像を最終的に特徴付けるか、さもなければ二次レビューのために転送できるように構成され得る。
[0017]限定しないが、最終的に特徴付けられていないか、さもなければ二次レビューのために転送されていない保存された標本全体画像のリストは、前記ユーザインターフェースを介して受け取られた入力に基づいて、複数の異なるフォーマットで編成および表示され得る。前記システムはさらに、許可された第三者が、特定のシステムユーザがレビューするために、保存された標本全体画像のリストを全体的または部分的に入力できるように構成され得る。
[0018]例示的な実施形態では、前記システムは、システムユーザが標本全体画像および/または標本全体画像に関連付けられたデータファイルに注釈を追加できるように構成され、この注釈は、後続のシステムユーザが標本全体画像とともにレビューするために利用可能である。例えば、注釈は、標本全体画像の個々のオブジェクトに関連付けられ、標本全体画像または標本全体画像の一部の画像上に作成された電子マーキングの形態であり得る。
[0019]例示的な実施形態では、前記システムは、標本全体画像のそれぞれのオブジェクトに関連付けられたシステムユーザプロンプトに応答して、それぞれのオブジェクトと1つまたは複数の特性を共有する1つまたは複数の追加のオブジェクトを表示するように構成され、ここで1つまたは複数の追加のオブジェクト(例えば、適用可能な場合、細胞または組織構造)は、標本全体画像から、および/または以前に分類されたオブジェクトを含むライブラリからのものであり得る。限定しないが、前記システムは、標本全体画像またはその中の個々のオブジェクトに関するデータがユーザインターフェースを介して入力され、標本全体画像に関連付けられたデータファイルに格納されることを可能にするように構成され得る。
[0020]例示的な実施形態では、前記システムは、標本全体画像の少なくとも一部の拡大図を表示し、表示された標本全体画像の少なくとも一部を自動的にスキャンするように構成される。そのような実施形態では、前記システムは、好ましくは、蛇行パターン、行ごとのパターン、および列ごとのパターンを含むがこれらに限定されない、ユーザが選択するスキャンパターンで自動的にスキャンする。そのような実施形態では、前記システムは、好ましくは、システムユーザが、ユーザインターフェースを介して、システムが標本全体画像の前記スキャンされた少なくとも一部を表示する倍率レベルを設定できるように構成される。そのような実施形態では、前記システムは、好ましくは、システムユーザが、ユーザインターフェースを介して、スキャンの表示された位置でスキャンを停止および開始すること、ならびにスキャン速度を設定できるように構成される。そのような実施形態では、システムは、スキャン中にそれぞれのオブジェクトが表示される際に、システムユーザが各オブジェクトでスキャンを一時停止できるように構成される。
[0021]例示的な実施形態では、前記システムは、表示モニタ上にレビュー画面を表示するように構成され、このレビュー画面は、標本全体画像が表示されるメイン画像パネルと、標本画像内の個々のオブジェクトの別個の画像を含むオブジェクトパネルとを含み、システムユーザは、ユーザインターフェースを介して、前記メイン画像パネル内の標本全体画像をズームイン/ズームアウトおよび/またはパンすることができる。限定しないが、前記システムは、システムユーザがユーザインターフェースを介して前記オブジェクトパネル内のオブジェクトの個別の画像を選択すると、前記メイン画像パネル内のそれぞれのオブジェクトを含む標本全体画像の領域を表示するように構成され得る。限定しないが、前記システムは、システムユーザが、ユーザインターフェースを介して、表示された標本全体画像内のオブジェクトを選択できるように構成され、ここで前記システムは、システムユーザ選択画像パネルに選択されたオブジェクトの画像を表示する。
[0022]本明細書に開示される本発明のさらなる態様によれば、スライドの表面に付けられた標本の標本全体画像を生成する方法が提供され、ここで標本は、三次元ボリューム内に分散された複数のオブジェクトを含み、前記方法は、(i)標本のマクロ画像を取得するステップと、(ii)少なくとも部分的に前記マクロ画像に基づいて標本の複数のミクロ画像を取得するステップと、(iii)画像プロセッサを使用して前記ミクロ画像を処理することによって標本全体画像を生成するステップとを含み、ここで前記オブジェクトは、前記三次元ボリューム内のそれぞれのオブジェクトの個々の位置に拘わらず、標本全体画像に実質的に焦点を合わせて描写され、前記三次元ボリュームは、長さ、幅、および厚さを有し、前記厚さは前記スライド表面に対してz軸を規定し、前記標本のそれぞれのオブジェクト(例えば、細胞または組織構造)は、z軸に沿った異なる位置に配置されている。
[0023]限定しないが、前記マクロ画像は第1のカメラを使用して取得され、前記ミクロ画像は第2のカメラを使用して取得され、前記ミクロ画像を取得する際に前記第2のカメラおよびスライドの少なくとも一方が他方に対して自動的に移動され、前記第2のカメラの光軸は前記スライドと非直交角度を形成し、前記ミクロ画像は、前記三次元ボリュームと同じz軸で取得される。次に、画像プロセッサを使用して前記ミクロ画像を処理して、前記ミクロ画像内の個々のオブジェクトのそれぞれの最良焦点画像を決定し、オブジェクトのそれぞれの最良焦点画像を標本全体画像に組み込むことによって、標本全体画像を生成することができる。
[0024]前記マクロ画像は、好ましくは、スライド表面上に配置された1つ以上の基準マーカをキャプチャしており、前記方法がさらに、少なくとも部分的に前記1つ以上の基準マーカに基づいて、スライド表面上の標本の相対位置および境界を特定するステップを含み、ここで前記ミクロ画像は、前記マクロ画像から特定された前記スライド表面上の標本の相対的な位置と境界に少なくとも部分的に基づいて取得される。前記ミクロ画像は、前記第2のカメラがそれぞれのy軸位置でミクロ画像を取得する際に、前記第2のカメラに対してy軸に沿ってスライドを平行移動することによって取得することができ、各ミクロ画像は、前記スライド表面上で特定された標本の境界に基づくx軸幅全体を含む。
[0025]この方法は、標本内の関心のあるオブジェクト(例えば、個々の細胞または組織構造)を識別するステップと、識別された関心のあるオブジェクトの画像を標本全体画像とともに保存するステップとをさらに含み得る。
[0026]この方法は、ディスプレイおよびユーザインターフェースを含むコンピュータ制御のレビューステーションを使用して、その中の個々のオブジェクトの画像を含む標本全体画像をレビューするステップをさらに含み得る。
[0027]自動化された撮像およびレビューシステムの開示された実施形態の他のおよびさらなる特徴および利点が、添付の図面に示され、図面の詳細な説明に記載されている。
[0028]実施形態の前述および他の態様について、添付の図面を参照してさらに詳細に説明するが、同様の参照番号は同様の要素を指し、同様の要素の説明は、関連する場合はいつでも、説明されたすべての実施形態に適用されるものとする。
[0029]図1は、一実施形態による、自動デジタル撮像システムのブロック図である。 [0030]図2は、一実施形態による、図1の自動デジタル撮像システムのブロック図であり、単一のイメージャおよびレビューステーションを示す。 [0031]図3は、一実施形態による、図1の自動デジタル撮像システムで使用するための標本スライドを示す。 [0032]図4は、一実施形態による、図2のデジタル撮像システムのデジタルイメージャの正面斜視図である。 [0033]図5は、一実施形態による、図4のデジタルイメージャのスライドキャリアの側面斜視図である。 [0034]図6は、一実施形態による、スライドキャリアに取り付けられたスライドが装填されたスライドラックを備えた図5のスライドキャリアの側面斜視図である。 [0035]図7は、一実施形態による、図4のデジタルイメージャのスライドキャリアベイの拡大正面斜視図である。 [0036]図8は、一実施形態による、図5および図6のスライドキャリアの端面図である。 [0037]図9は、一実施形態による、図4のデジタルイメージャの背面斜視図である。 [0038]図10は、一実施形態による、図4のデジタルイメージャの正面斜視図であり、内部構成要素を示すためにエンクロージャパネルが取り外されている。 [0039]図11は、一実施形態による、図4のデジタルイメージャのイメージャコンピュータの概略図である。 [0040]図12は、一実施形態による、図4のデジタルイメージャのシャーシ/エンクロージャアセンブリの概略図である。 [0041]図13は、一実施形態による、図4のデジタルイメージャのスライドキャリアローディングデッキの概略図である。 [0042]図14は、一実施形態による、図4のデジタルイメージャのスライドハンドラの拡大正面図である。 [0043]図15は、一実施形態による、図14のスライドハンドラの側面図である。 [0044]図16は、一実施形態による、図14のスライドハンドラの正面斜視図である。 [0045]図17は、一実施形態による、図14のスライドハンドラのスライドハンドリングガントリの概略図である。 [0046]図18は、一実施形態による、図14のスライドハンドラ用のガントリロボットモーションコントローラの概略図である。 [0047]図19は、一実施形態による、図4のデジタルイメージャの正面斜視図であり、撮像ステーションを示すためにパネル、スライドハンドラ、およびスライドキャリアデッキが取り外されている。 [0048]図20は、一実施形態による、図4のデジタルイメージャの部分正面図(および振動吸収装置の正面断面図)であり、撮像ステーションを示すために、パネル、スライドハンドラ、およびスライドキャリアデッキが取り外されている。 [0049]図21は、一実施形態による、図4のデジタルイメージャ用の撮像ステーションの画像取得サブアセンブリの正面図である。 [0050]図22は、一実施形態による、図21の画像取得サブアセンブリの正面断面図である。 [0051]図23は、一実施形態による、図4のデジタルイメージャのスライド撮像ステーションの拡大上面図である。 [0052]図24は、一実施形態による、図4のデジタルイメージャのスライド撮像ステーションの拡大斜視図である。 [0053]図25Aは、従来の撮像システムの撮像面を示す図であり、撮像面がスライド(およびスライド上の標本)の名目上平行な平面である。 [0054]図25Bは、一実施形態による、図4のデジタルイメージャの傾斜した撮像面を示す図である。 [0055]図25Cは、一実施形態による、スライド上の標本の深さ全体(Z次元)を撮像するための図4のデジタルイメージャの傾斜した撮像面を示す図であり、適切なカメラ傾斜角を決定するための寸法を示す。 [0056]図26は、一実施形態による、図4のデジタルイメージャの撮像ステーションの概略図である。 [0057]図27は、一実施形態による、図4のデジタルイメージャの照明サブシステムの正面図である。 [0058]図28は、一実施形態による、図27の照明サブシステムの正面断面図である。 [0059]図29は、一実施形態による、図4のデジタルイメージャのシステムインターフェースボードの概略図である。 [0060]図30は、一実施形態による、図4のデジタルイメージャのマクロビジョンステーションの拡大斜視図である。 [0061]図31は、一実施形態による、図4のデジタルイメージャのマクロビジョンステーションの正面図である。 [0062]図32は、一実施形態による、図4のデジタルイメージャのマクロビジョンステーションの側面断面図である。 [0063]図33は、一実施形態による、標本スライドをスキャンするために図4のデジタルイメージャによって使用される蛇行スキャンパターンを示す概略図である。 [0064]図34は、一実施形態による、図1の自動デジタル撮像システムのワークフローサブシステムおよびデジタル撮像表示システム(レビューステーション)のブロック図である。 [0065]図35は、一実施形態による、標本スライドのデジタル画像をレビューするためのワークフローシナリオを示す図である。 [0066]図36は、一実施形態による、レビュープロセス中にデジタル画像表示システムによって表示されるワークリスト画面の部分図である。 [0067]図37は、一実施形態による、レビューするケースを選択するためのデジタル画像表示ステーション選択ボックスによって表示されるワークリスト画面の部分図である。 [0068]図38は、一実施形態による、レビューするケースを選択するためのデジタル画像表示ステーション選択ボックスによって表示される画面を示す概要である。 [0069]図39は、一実施形態による、異なるワークリスト画面へと切り替えるデジタル画像表示ステーションの能力を示す。 [0070]図40は、一実施形態による、デジタル画像表示システムに表示される簡単なリストフォーマットを有するワークリスト画面を示す。 [0071]図41は、一実施形態による、デジタル画像表示システムに表示されるタイル/グリッドフォーマットを有するワークリスト画面を示す。 [0072]図42は、一実施形態による、デジタル画像表示システムに表示されるソートされた列のタイル/グリッドフォーマットを有するワークリスト画面を示す。 [0073]図43は、一実施形態による、デジタル画像表示システムに表示される詳細パネルを有するワークリスト画面を示す。 [0074]図44は、一実施形態による、デジタル画像表示システムに表示されるグラフィカルステータスインジケータを有するワークリスト画面を示す。 [0075]図45は、一実施形態による、デジタル画像表示システムに表示されるGYN(「婦人科」)ケース(単一スライドの場合)のレビュー画面を示す。 [0076]図46は、一実施形態による、デジタル画像表示システムに表示されるNGYN(「非婦人科」)ケース(複数スライドの場合)のレビュー画面を示す。 [0077]図47は、一実施形態による、デジタル画像表示システムに表示されるNGYNケース(複数スライドの場合)の別のレビュー画面を示す。 [0078]図48は、一実施形態による、デジタル画像表示システムに表示される通常のGYNケース(単一スライドの場合)の完了画面を示す。 [0079]図49は、一実施形態による、デジタル画像表示システムに表示される異常なGYNケース(単一スライドの場合)の完了画面を示す。 [0080]図50は、一実施形態による、デジタル画像表示システムに表示されたケース完了後のワークリスト画面を示す。 [0081]図51は、一実施形態による、デジタル画像表示システムに表示されたケース完了後のワークリスト画面を示し、完了したケースがワークリストから隠されている。 [0082]図52は、一実施形態による、標本スライドのデジタル画像をレビューするための別のワークフローシナリオを示す図である。 [0083]図53は、一実施形態による、標本スライドのデジタル画像をレビューするためのさらに別のワークフローシナリオを示す図である。 [0084]図54は、一実施形態による、標本スライドのデジタル画像をレビューするためのさらに別のワークフローシナリオを示す図である。 [0085]図55は、一実施形態による、図35および52~54に示すワークフローの役割とシナリオの概要を示す。 [0086]図56A~56Cは、図35および52~54に示されるワークフローの役割およびシナリオに関する様々な管理者/管理層を説明する図である。 [0087]図57は、一実施形態による、デジタル画像表示システムに表示される標本領域全体のデジタル画像を表示した別のレビュー画面を示す。 [0088]図58は、一実施形態による、レビュワーがコメントを追加したり画像にマーク/描画したりできるように構成された別のレビュー画面を示す。 [0089]図59は、一実施形態による、レビュワーが記録された音声コメントをデジタル画像のケースに追加できるように構成された別のレビュー画面を示す。 [0090]図60は、一実施形態による、第1のレビュワーが当該第1のレビュワーの画面を異なる表示システム108上の第2のレビュワーと共有し、第1のレビュワーが第2のレビュワーに制御を与えて第1のレビュワーの画面上のレビュー画面434を制御可能にするように構成された別のレビュー画面を示す。 [0091]図61は、一実施形態による、レビュワーがデジタル画像のケースをブックマークできるように構成された別のレビュー画面を示す。 [0092]図62は、一実施形態による、デジタル細胞診のための画像分析アルゴリズムのグラフ表示を示す。 [0093]図63は、一実施形態による、バックアップおよびアーカイブ機能を有する例示的なワークフローサーバのブロック図を示す。 [0094]図64は、一実施形態による、アーカイブサービスモジュールを使用してスライドをアーカイブするための方法のフローチャートを示す。 [0095]図65は、一実施形態による、デジタル画像の歪み補正を実行するための較正テーブルの例を示す。
[0096]図1および2は、基板102(図3参照)上の複数の試料をデジタル撮像するための自動デジタル撮像システム100を示し、基板102上に標本が配置されている。例えば、基板102は、記載された実施形態に示されるような顕微鏡スライドであるが、マイクロプレート、マイクロアレイ、その他の適切な媒体などの任意の他の適切な基板102であってもよい。記載されるデジタル撮像システム100の実施形態は顕微鏡スライドを利用しており、したがって基板102をスライドと呼ぶが、このデジタル撮像システム100はスライドを用いるものに限定されず、任意の適切な基板102を利用し得ることを理解されたい。したがって、本明細書で使用される「スライド」という用語は、マイクロプレート、マイクロアレイ、または他の適切な媒体を含む、標本をその上に固定するための任意の適切な基板を意味するものとする。本明細書で使用される場合、「顕微鏡スライド」という用語は、顕微鏡下での検査のためにオブジェクトを保持するために使用される薄くて平らなガラスまたはプラスチック片を意味するものとする。標本は、細胞学的標本および病理学的組織標本の両方を含む生物学的または化学的標本などの、顕微鏡倍率下でデジタル撮像される任意のタイプの標本を含み得る。この撮像システム100を説明する目的において、標本は、ある次元のボリューム内に分散された個々の細胞を含む細胞学的標本である場合が用いられる。しかしながら、このシステムは、細胞学的標本に使用されるのと同じように、病理組織標本などの異なるタイプの標本にも同じように使用できることを理解されたい。
[0097]自動デジタル撮像システム100は、スライド102上の標本全体(複数の標本の場合も)の高解像度デジタル画像を取得し、物理的なスライドガラス102ではなく標本のデジタル画像を用いて標本のレビューを可能にするように設計されている。光学顕微鏡は、デジタル撮像システム100の通常のレビューワークフローでは使用されない。代わりに、スライド102上の標本全体のデジタル画像が取得され、レビューステーション108のコンピュータモニタ109で見ることができるようにされる(図2を参照)。デジタル撮像システム100はまた、スライド標本のデジタル画像を分析し、関心のあるオブジェクト(OOI)、すなわち細胞学的標本の場合は個々の細胞、病理学的固形組織標本の場合は個々の組織構造、を識別するように構成された画像処理アルゴリズムを具現化する画像処理ソフトウェアアプリケーション137(イメージャ104のイメージャコンピュータ105および/またはワークフローサブシステム106にインストールされる)を含み得る。識別されたOOIは、その後、上記米国特許第7,587,078号、第6,665,060号、第7,006,674号および第7,590,492号に記載されているように、ユーザ(例えば、細胞学者または細胞病理学者)がスライド標本のデジタル画像を迅速かつ正確にレビューするのを支援するのに用いられる。「OOI」という用語は、あるオブジェクトが、そのオブジェクト(個々の細胞または組織構造、場合によっては)が患者の診断または治療において検討するのに有用である可能性があることを示す特性を有すると判別されることを意味し、必ずしもそのようなオブジェクトが細胞学者や細胞病理学者にとって真の関心または実際の重要性があると判断されたことを意味するものではない。
[0098]自動デジタル撮像システム100は、ワークフローサブシステム106(「ワークフローサーバ106」とも呼ばれる)に機能的に接続された1つまたは複数のイメージャサブシステム103(それぞれがイメージャ104およびイメージャコンピュータ105を含む)および1つまたは複数のレビューステーション108を含む。一般に、各イメージャ104は、スライド102のデジタル画像をキャプチャするためのベンチトップシステムである。イメージャ104は、自動化された方法でスライドのバッチを処理する。ワークフローサーバ106は、主に、デジタル画像および関連するスライドデータを格納および管理するための大容量ディスクストレージシステムとして機能するコンピュータサーバである。ワークフローサーバ106はまた、画像処理およびデータ管理のためのソフトウェアを含み、また、ネットワーキング機能を提供し得る。レビューステーション108は、ワークフローサーバからデジタル画像にアクセスし、画像(OOIおよび/または標本全体画像)の診断レビューのためにデジタル画像を表示するためのコンピュータおよびモニタを含むワークステーションである。
[0099]図1に示すように、イメージャサブシステム103は、ローカルエリアネットワーク(LAN、例えばイーサネット)、ワイドエリアネットワーク(WAN)mインターネット(例えば、仮想プライベートネットワーク(VPN))、またはその他の適切なネットワークのうちの1つまたは複数を含み得る通信ネットワークを介して、ワークフローサブシステム106とデータ通信する。同様に、レビューステーション108は、ローカルエリアネットワーク(LAN、例えばイーサネット)、ワイドエリアネットワーク(WAN)、インターネット(例えば、仮想プライベートネットワーク(VPN))、またはその他の適切なネットワークのうちの1つまたは複数を含み得る通信ネットワークを介して、ワークフローサブシステム106とデータ通信する。
[00100]記載された実施形態におけるイメージャ104は、顕微鏡スライド102と動作するように設計されている。図3を参照すると、顕微鏡スライド102の例示的な実施形態が示されている。顕微鏡スライド102は、スライド識別領域112、標本領域114、および基準マーク116を有する長方形のガラス板110(または他の適切な材料)である。顕微鏡スライド102は、約75mm×25mm、または他の適切なサイズである標準サイズの顕微鏡スライドであり得る。顕微鏡スライド102は、スライド102の取り扱いおよび位置決めを容易にするために、角が斜めになっていてもよい。標本領域114は、最大約22mmの直径を有する円であり得る。顕微鏡スライド102上の標本領域全体も撮像することができる。スライド識別領域112は、最大約25~28mmの長さであり得る。スライド識別部分112には、バーコード、ID番号、および/または他の情報が印刷され得る。標本領域114は、スライドガラスの透明な領域として残されている。基準マーク116は、スライド102の位置および/または方向、ならびにイメージャ104に対しその特徴を特定するために、スライド102上の基準点としてイメージャ104によって使用され得る。三次元ボリューム内に分散された複数のオブジェクトを含む標本119は、スライド102の通常は標本領域114内に固定されるが、場合によっては、標本は標本領域114の外側に延在してもよい。三次元ボリュームは、長さ(l)、幅(w)、および厚さまたは深さ(d)を有する。厚さ(d)は、スライド102の表面に対するz軸を規定する。三次元ボリュームは、厚さ、長さ、および/または幅を含む形状が実質的に均一であってもよいし、不均一であってもよい。標本119のボリュームは均一であり、すなわち標本の1つまたは複数の寸法が10%未満、または15%未満、または20%未満しか変わらない。標本119は、オブジェクトが細胞である細胞学的標本、オブジェクトが組織構造である固体組織サンプルなどの任意の適切な標本であり得る。
[00101]図3に示されているように、カバースリップ115を使用して、標本領域114内の標本119を覆うことができる。この標本カバースリップ115は、カバースリップ115を通して標本のミクロ画像を取得するのに十分に透明である。換言すれば、カバースリップ115は、撮像ステーション190および/またはマクロビジョンステーション232を使用して、カバースリップ115を介してミクロ画像および/またはマクロ画像を取得する際にイメージャ104の妨げとならない。カバースリップ115は、標本119を保存し、自身の汚染および他を汚染することから保護するように機能し、また標本119を定位置に平らに保持する。カバースリップ115は厚さ117を有する。
[00102]図4および5を参照すると、スライドキャリア118が、複数のスライド102をイメージャ104にロードするために使用される。図4に示すように、イメージャ104は10個のスライドキャリア118の容量を有するが、任意の適切な数のスライドキャリア118を保持するように構成してもよい。各スライドキャリア118は、それぞれがスライドラック120を受け入れる2つのラックホルダ202を有する。各スライドラック120は、20枚のスライド102、または40枚のスライド102、または他の適切な数の複数のスライド102を保持し得る。スライドラック120は、サクラ(登録商標)ラックまたはライカ(登録商標)ラックなどの標準的な既製のラックであり得る。したがって、各スライドキャリア118は40枚のスライドを保持し、イメージャ104の総容量は400スライドである(10個のスライドキャリア118×キャリア118あたり40枚のスライド)。スライドキャリア118は、スライドキャリア118を運び、イメージャ104にスライドキャリア118を挿入および除去するためのハンドル122を有する。図7および8に示すように、スライドキャリア118は、スライドキャリアデッキ128に取り付けられたTレール126上にスライド受容されるTスロット124を有する。スライドキャリア118は、Tスロット124をTレール126と位置合わせし、スライドキャリア118をスライドキャリアデッキ128上にスライドさせることによって、イメージャ104に設置される。スライドキャリア118は、スライドキャリア118をスライドキャリアデッキ128から真っ直ぐに引き抜くことによって、イメージャ104から取り外される。
[00103]ここで、図2および11を参照すると、撮像サブシステム103は、イメージャ104およびイメージャコンピュータ105を含む。イメージャ104とイメージャコンピュータ105は、イーサネット接続(例えば、10GE光接続)などのネットワーク接続を介して互いにデータ通信する。イメージャコンピュータ105は、1つまたは複数のコンピュータプロセッサ(CPU)およびグラフィックプロセッサ(GPU)を有するパーソナルコンピュータなどの任意の適切なコンピュータであり得る。例えば、イメージャコンピュータ105に適した1つのコンピュータが図11に概略的に示されている。このイメージャコンピュータ105は、以下の仕様のうちの1つまたは複数を有し得る:
[00104]a.マザーボード130-デュアルプロセッササーバークラス。このデュアルプロセッサ構成は、イメージャサブシステム103上で実行することを意図したソフトウェアに適切であると理解される;
[00105]b.CPU-Intel(商標)Xeon(商標)クラス以上;
[00106]c.少なくとも64GbのDRAM;
[00107]d.2つのNvidia(商標)RTX-5000以上などの専用GPU132。イメージャサブシステム103によって撮像された各スライドについて、画像キャプチャおよびスライドデータセット(SDS304、図34参照)を生成するための十分な処理速度を保証する;
[00108]e.画像処理ソフトウェアアプリケーション137(以下に詳述する)を含む、ソフトウェアプログラム135を格納するためのローカルハードドライブ133;
[00109]f.ハードドライブ、ソリッドステートドライブなどのローカル大容量データストレージ134;
[00110]g.ネットワークおよびUSB入力/出力(I/O)136;
[00111]h.電源138;
[00112]i.無停電電源装置(UPS)140;
[00113]入力/出力136は、以下のうちの1つまたは複数を含む:
[00114]a.イメージャVGAビデオ、タッチスクリーンUSB、およびコンピュータオーディオがイメージャ104に提供される。イメージャ104は、イメージャコンピュータ105からVGAビデオを受信し、イメージャ表示モニタ168を駆動する。専用のイメージャコンピュータのUSBポートは、イメージャ表示モニタ168のタッチスクリーンをI/Oに提供する。イメージャコンピュータ105は、オーディオをイメージャ104に提供し、これがそこで増幅される。イメージャスピーカはオーディオアンプに接続されている。
[00115]b.USBポートが、キーボードとマウスの製造およびサービスのサポート用に提供されている。通常の操作では、キーボードとマウスは接続されておらず、イメージャの通常のシステム操作には必要ない。イメージャの前面には追加のUSBポートがあり、ユーザが簡単にアクセスできるようになっている。
[00116]c.イメージャのコンピュータ電源は、イメージャIECエントリコネクタを介して、主電源から、または外部スマートUPS140(接続されている場合)から取得される。
[00117]d.スマートUPSと通信するための専用USBポートが用意されている。主電源障害が発生した場合、UPSはその事象をイメージャコンピュータ105に通信し、イメージャコンピュータ105は、コンピュータソフトウェア、データ、および構成の完全性が維持されるように、制御されたパワーダウンを開始する。
[00118]上記のように、イメージャコンピュータ105は、1Gbイーサネット有線ネットワーク接続などの通信ネットワークを介してワークフローサブシステム106とデータ通信している。
[00119]図4、9および10に転ずると、イメージャ104は、ベンチトップ型デジタル撮像デバイスであり、デジタル撮像システム100全体の入力デバイスとして機能する。イメージャ104は、ユーザの介入がないか、またはほとんどない自動化された方法で、スライドキャリア118内のイメージャ104にロードされたスライド102のバッチのデジタル画像をキャプチャする。イメージャ104は、シャーシアセンブリ142、ベースアセンブリ148、およびエンクロージャアセンブリを具え、これらが、イメージャ構成要素が取り付けられイメージャ構成要素を収容するフレームワークを提供する。シャーシ/エンクロージャアセンブリ142は、幅36インチ×深さ28インチ×高さ25インチ以下の寸法を有するベンチトップ機器であるように構成することができる。イメージャ104は、スライド102またはスライドキャリア118が装填されていない状態で、200ポンド以下の重量を有し得る。これらは好ましい寸法および重量にすぎず、特許請求の範囲に指定されている場合を除いて、必ずしもイメージャ104を限定するものではない。したがって、イメージャ104は、意図された用途と一致する他の最大寸法および重量を有してもよい。
[00120]イメージャ104は、ベースアセンブリ148およびエンクロージャアセンブリ146に取り付けられたシャーシアセンブリ142を含む。撮像ステーション190は、ベース144と、イメージャ構成要素が取り付けられている防振イメージャベースプレート152(図19を参照)とを含む。撮像ステーション190は、ベースアセンブリ148に取り付けられている。エンクロージャアセンブリ146は、エンクロージャ左パネル154、エンクロージャ右パネル156、エンクロージャリアパネル158、エンクロージャトップパネル159、エンクロージャ左フロントウィンドウ160、エンクロージャ右フロントウィンドウ162、エンクロージャ右パネル164、およびスライドキャリアデッキドア166を含む。エンクロージャ構成要素のそれぞれは、シャーシアセンブリ142および/または別のエンクロージャ構成要素に取り付けられている。エンクロージャ左フロントウィンドウ160は、内部のイメージャ構成要素がエンクロージャ左フロントウィンドウ160を通して見えるように、透明または半透明である。エンクロージャ左フロントウィンドウ160は、内部のイメージャ構成要素へのアクセスを提供するために開閉できるように、枢動可能に取り付けられている。エンクロージャ右フロントウィンドウ162は、他の内部イメージャ構成要素がエンクロージャ右フロントウィンドウ162を通して見えるように、透明または半透明である。エンクロージャ左パネル154は左ウィンドウ170を有し、内部イメージャ構成要素を左ウィンドウ170を通して見ることができる。エンクロージャ上部パネル159はまた、内部イメージャ構成要素が上部ウィンドウ172を通して見えるように、上部ウィンドウ172を有し得る。エンクロージャ表示パネル168は、内部イメージャ構成要素へのアクセスを提供するために開閉できるように、枢動可能に取り付けられている。スライドキャリアデッキドア166は、スライドキャリアデッキ128をロードし、スライドキャリアデッキ128から取り外すために(図4および10を参照)、スライドキャリアデッキ128へのアクセスを提供するために開閉できるように枢動可能に取り付けられる。
[00121]エンクロージャアセンブリ146はまた、イメージャ104、ユーザアクセス、および環境制御のための入力および出力を提供する。図12は、エンクロージャアセンブリ146のブロック図である。エンクロージャアセンブリ146は、イメージャ104の内部に十分な空気流が存在するようにし、内部動作温度を最大値未満(例えば、40℃未満)に維持し、内部正圧を維持する(スライドキャリアデッキドア166が閉じている場合)ための空気管理を提供する。エンクロージャアセンブリ146は、外部信号および電源接続を提供する。
[00122]イメージャ表示モニタ168は、LCDタッチスクリーンディスプレイまたは他の適切なディスプレイであり得る。イメージャ表示モニタ168は、イメージャ104の動作およびステータスを示し、また、タッチスクリーン(または他の入力デバイス)を介したオペレータ制御を提供する。図12に示すように、イメージャ表示モニタ168は、エンクロージャアセンブリ146のバルクヘッドコネクタを介してイメージャコンピュータ105に接続されている。イメージャコンピュータ105は、VGAビデオ、タッチスクリーンUSB、およびコンピュータオーディオをイメージャ104に提供する。イメージャ104は、イメージャコンピュータ105からVGAビデオを受信し、イメージャ表示モニタ168を駆動する。専用のイメージャコンピュータのUSBポートは、イメージャ表示モニタ168のタッチスクリーンとのI/Oを提供する。イメージャコンピュータ105はまた、オーディオをイメージャ104に提供し、これがそこで増幅される。イメージャスピーカはオーディオアンプに接続されている。
[00123]引き続き図12を参照すると、エンクロージャアセンブリ146はまた、エンクロージャ左フロントウィンドウ160の開閉状態を検出するためのウィンドウセンサと、イメージャ104の撮像操作中にエンクロージャ左フロントウィンドウ160を閉位置にロックするためのウィンドウロックとを有する。エンクロージャアセンブリ146はまた、スライドキャリアデッキドア166の開閉状態を検出するためのドアセンサと、イメージャ104の撮像操作中にスライドキャリアデッキドア166を閉位置にロックするためのドアロックとを有する。
[00124]次に、イメージャ104の内部構成要素に目を向けると、スライドキャリアデッキ128は、ベース148上のイメージャの底部の近くに配置されている。スライドキャリアデッキ128は、10個のスライドキャリアベイ、または20個のスライドキャリアベイ、または他の適切な数のスライドキャリアベイといった複数のスライドキャリアベイを有し、各スライドキャリアベイは、各スライドキャリア118を受け入れるように構成される。スライドキャリアデッキ128は上部が開いており、スライドハンドラ176によってスライドキャリアデッキ128に装填されたスライドキャリア118に含まれるスライド102へのアクセスを提供する。スライドハンドラ176は、スライド102をスライドキャリア118から取り出し、スライド102をイメージャ104の様々なステーションに移動させ、スライド102をスライドキャリア118に挿入して戻す。
[00125]図13を参照すると、スライドキャリアデッキ128は、各スライドキャリアベイ174に対して、キャリアロック173およびキャリア存在センサ175を有する。キャリアロック173は、ソレノイド作動ロックまたは他の適切な動力ロック機構であり得、キャリア存在センサは、それぞれのスライドキャリアベイ174内のスライドキャリア118の存在を検出するための光学センサまたは他の適切なセンサであり得る。キャリアロック173およびキャリア存在センサ175は、システムインターフェースボード182を介してイメージャコンピュータ105とデータ通信している(後述する図29、SIBを参照)。
[00126]図10および14~16において、スライドハンドラ176は、スライド102を、スライドキャリア118、撮像ステーション190、およびマクロビジョンステーション232の間を含む、イメージャ104の様々なステーション間で自動的に移動させる。スライドハンドラ176は、支持プラットフォーム180と、支持プラットフォーム180に移動可能に結合されたスライドハンドリングガントリ178とを含む。スライドハンドリングガントリ178は、スライドグリッパ184を自由度3、すなわち横方向の動き(X軸)および(図14に示すように)垂直方向の動き(Z軸)、および(図15に示すように)前後の動き(Y軸)で動かすことができるピックアンドプレースロボットである。スライドハンドリングガントリ178はまた、シータ軸を中心にスライドグリッパ184を回転させ(図15を参照)、スライドグリッパ184を開閉してスライド102を把持および解放することもできる。スライドハンドリングガントリ178は、X軸機構254、Y軸機構264、Z軸機構274、シータ軸機構290およびグリッパ機構185を含む、スライドハンドリングガントリの移動および/または作動を提供するための運動機構を有する。X軸機構254は、モータ256、エンコーダ258、ホームセンサ260、および駆動機構262を含む。Y軸機構264は、モータ266、エンコーダ268、ホームセンサ270、および駆動機構272を含む。Z軸機構274は、モータ276、エンコーダ278、ホームセンサ280、および駆動機構282を含む。シータ軸機構290は、シータモータ292、シータエンコーダ294、シータホームセンサ(図示せず)、およびシータ駆動機構(図示せず)を含む。各運動機構は、モータ、エンコーダ、ホームセンサ、および駆動機構を含み、モーションエンベロープの移動、通過加速度、速度、およびペイロードの要件を満たすことができる。グリッパ184はまた、スライドキャリア118内のスライド102の存在または不在(在庫)、およびスライドキャリア118内のスライドラック120の存在または不在を検出するために使用される光学センサ188(スライド在庫センサ188)を有する。グリッパ184は、カリフォルニア州ロサンゼルスのSMC(商標)エレクトリックグリッパ(商標)によって製造されたものなど、スライド102をスライドの端から把持するように設計された既製の部品であり得る。
[00127]図17に示すように、スライドハンドリングガントリ178は、各運動機構の運動を制御するガントリロボット運動コントローラ186に機能的に接続されている。ガントリロボット運動コントローラ186は、コントローラエリアネットワーク(CAN)を介してイメージャコンピュータ105とデータ通信しており、コントローラエリアネットワーク(CAN)は、スライドハンドリングガントリ178の動作を制御するためにガントリロボット運動コントローラ186にデータやコマンドを送信する。図18は、ガントリロボット運動コントローラ186の概略図を示す。
[00128]ここで、図10および19~26を参照すると、イメージャ104は、デジタルカメラ192、チューブレンズアセンブリ194、ミラー196、および対物レンズ198を使用して、スライド102(すなわち、各スライド102上の標本119)のデジタルミクロ画像をキャプチャするための撮像ステーション190を有する。カメラ192は、Sony CMOS Pregius GenIIセンサを使用し、4096×2160ピクセルの解像度を有する。光路は0.255μm/ピクセルの光学分解能を提供する。カメラの視野(「FOV」)は、スライド102の標本領域114全体よりもはるかに小さいため、イメージャ104は、標本領域114全体をキャプチャするために多くのミクロ画像を撮影する必要がある。例えば、カメラ192の視野は、1044μm×550μm、または約1mm×0.5mmであり得るが、スライド102の標本領域114は21~22mmの直径を有し得る。これらの仕様に基づいて、カメラ192は、標本領域114全体を撮像するために約885の重なり合わない画像を必要とする。しかしながら、標本119の三次元ボリューム内のすべてのオブジェクトの焦点画像を取得するために、撮像ステーション190の被写界深度に等しい画像サブ領域に等しいステップサイズが使用され、その結果画像が重なるため、さらに多くのフレームがキャプチャされる。例えば、後述するように、ミクロ画像はフレーム高さの38.25μm=~1/14ごとに撮影されるため、標本領域全体のスキャン中にキャプチャされる実際の画像数は約11,000、または10,000以上、または5,000以上、または5000から15000の間となる。カメラ192は、XYスライドステージ210が標本119を一定速度で動かしている間にミクロ画像を取得する。この例では、カメラ192は、走査方向のステージ移動の約38μmごとに画像を撮影するし、したがってすべてのカメラ視野は、FOVごとに14の画像を含む。XYスライドステージ210は、カメラ192の視野とスライド102との間の相対運動を提供し、その結果、カメラ192はスライド102の標本領域114全体をスキャンし、組み合わせて標本領域114全体をカバーする複数の個別のデジタル画像を撮ることができる。
[00129]本明細書に記載されるように、個別のミクロ画像は、画像処理ソフトウェアアプリケーション137(図11を参照)を使用して組み合わされて、標本領域114全体の合成画像を作成することができる。
[00130]図19~22に示すように、撮像ステーション190は、画像取得アセンブリ191(顕微鏡カメラである)の一部である高解像度のデジタルカメラ192を含む。画像取得アセンブリ191は、0°から3°、または0°から10°、または0°から5°の範囲で角度を付けることができる。カメラ192は、10GEイーサネット光ネットワークなどの高速ネットワーク、または画像スキャンプロセス中に十分なスループットでカメラ192からイメージャコンピュータ105に高解像度ミクロ画像を送信することができる他の適切な高速ネットワークを介して、イメージャコンピュータ105とネットワークデータ通信している。
[00131]チューブレンズ194が、カメラ192の光路に配置されている。チューブレンズ192は、対物レンズ198と組み合わされて、カメラ192の光学倍率を設定する。第1の折り畳みミラー196が、チューブレンズ194の後のカメラ192の光路に配置され、カメラの光学イメージング軸に対して約45°の角度が付けられている。第1の折りたたみミラー196の角度および位置により、対物レンズの光軸およびカメラ192の中心の共直線性を変えることができる。第1の折りたたみミラー196は撮像経路内にあり、十分な品質(例えば、90%を超える反射率およびλ/4より大きい精度平坦度)を有する必要があり、そうでなければ視野の全部または一部に検出器で光をぼかすことによって画質に直接影響を与え、および/または歪みの原因となる。
[00132]対物レンズ198が、第1の折りたたみミラー196の光路の次にある。対物レンズ198の光軸は、第1の折りたたみミラー196により、カメラの光軸から約90°の角度になっている。対物レンズ198は、撮像Zステージ200に取り付けられている。Zステージ200は、対物レンズ198を取り付けるためのねじ山を有する。Zステージ200は、対物レンズ198を制御可能に動かして、スライド102上のカメラ192の焦点を調整することができる(すなわち、スライド102に対して焦点面を調整する)。Zステージの位置は、Zステージコントローラを介して設定することができる。スライド102(すなわち、スライド102上の標本119)は、対物レンズ198の前側焦点面に配置され、対物レンズ198は、第1の折りたたみミラー196およびチューブレンズ194を介してスライド102の画像をカメラ192に投影する。
[00133]図21および22に示すように、デジタルカメラ192、チューブレンズ194、第1の折りたたみミラー196、対物レンズ198およびZステージ200を含む画像取得サブアセンブリ191の構成要素はすべて、画像取得ベースプレート201に取り付けられている。画像取得ベースプレート201は、複数の画像サブアセンブリ位置合わせ調整203を有し、これにより、撮像ステーション190の他の構成要素に対する画像取得サブアセンブリ191の位置および/または角度調整、ならびに画像取得サブアセンブリ191の構成要素の相対的な位置および/または角度調整が可能になる。
[00134]図19~20および23~24では、スライド102は、カメラ192の光路内において対物レンズ198の後ろにある。スライド102は、スライドホルダ202上に保持されている。スライドホルダ202は、スライド102をスライドホルダ202上の水平位置に保持するためのスライド凹部204を有する。スライドホルダ202は、スライド凹部204内でスライド102をY方向に偏向させるためにバネ荷重がかけられた第1のスライドジャスティファイアアーム206を有する。スライドホルダ202は、スライド凹部204内でスライド102をX方向に偏向させるためにバネ荷重がかけられた第2のスライドジャスティファイアアーム208を有する。第1および第2のスライドジャスティファイアアーム206、208は、スライド102がスキャン動作中に動かないように、スライド102をスライドホルダ202上の適切な位置にしっかりと保持する。撮像ステーション190は、スライドホルダ202に対して静止しているX-Yステージプラットフォーム214に取り付けられたスライド解放ブラケット209を有する。スライドホルダ202は、スライド解放ブラケット209に対して動かされて、第1および第2のスライドジャスティファイアアーム206、208を動作させて、第1および第2のスライドジャスティファイアアーム206、208を解放または係合して、スライド102をスライドホルダ内202に保持または解放する。
[00135]図20に最もよく示すように、対物レンズ198の光軸は、走査方向にスライド102(およびスライド凹部204)の平面の直交に対して傾斜角205だけ傾斜している(図33を参照)。換言すれば、得られるカメラ192の光軸およびスライドの表面の光学系(単に「カメラ192の光軸」とも呼ばれる)は、スライド102の平面に対して非直交である。本明細書でより詳細に説明するように、傾斜角205により、イメージャ104が、スライド102上の標本119のボリューム画像(すなわち、標本119の深さまで及ぶ画像)を取得することができる。換言すれば、ミクロ画像は、標本119の直交角度で撮影された画像の場合の単一の焦点面だけではなく、スライド102上の標本119の異なる深さでの特徴物の焦点の合った画像を含む。撮像ステーション190は、ミクロ画像のそれぞれが、スライド102の表面下にあるスライド102の深さの少なくとも一部を含むミクロ画像を取得するように構成され得る。スライド102上でカバースリップ115が使用される場合、撮像ステーション190は、ミクロ画像のそれぞれがカバースリップ115の深さの少なくとも一部を含むミクロ画像を取得するように構成され得る。
[00136]本明細書で説明するように、これらのミクロ画像は、画像処理ソフトウェアアプリケーション137(図11を参照)で処理され、ミクロ画像をつなぎ合わせ、画像を平坦化して、標本119のすべての深さで焦点が合っている標本119の2次元合成画像にすることができる。例えば、米国特許出願公開第2009/0295963号は、画像をつなぎ合わせて単一のデジタル画像302を形成する方法を記載している(例えば、デジタル画像302のブロック図を示す図34参照)。図25に示すように、スライド102上の標本119の全深度(Z寸法)を撮像するための適切な傾斜角205は、標本の厚さ(d)、およびスライド102でのカメラ192の投影視野(d)の関数である。投影視野(d)は、カメラセンサの面内視野を、カメラ192の複合光学倍率(例えば、チューブレンズ194、対物レンズ198、および光路内の他の倍率を含む)で割ったものである。図25Cに示すように、傾斜角205はアークサイン(d/d)である。例として、標本の深さ(d)が10マイクロメートルの場合、面内視野が8ミリメートル、複合光学倍率が40倍(すなわち、d=8ミリメートル/40=0.20mm)の場合、傾斜角205は、アークサイン[0.01mm/(8mm/40)]で約2.86度である。図25Cに示される別の例では、標本深さ(d)が24マイクロメートル、有効面内視野(d)が0.5ミリメートル(例えば、センサ視野20ミリメートル、光学倍率40倍)の場合、傾斜角205は2.75度となる。一般に、典型的な標本の深さ、カメラセンサの寸法および倍率の場合、傾斜角205は、典型的には約2度から約10度の間である。
[00137]スライドホルダ202は、XYスライドステージ210に取り付けられたスライドホルダベースプレート212を有する。スライドホルダベースプレート212は、XYスライドステージ210に対して(および対物レンズ198の光軸に対しても)スライドホルダベースプレート212の向きを調整できるように、スライドホルダ角度調整部213を有する。
[00138]XYスライドステージ210は、撮像手順中にスライドホルダ202およびスライド102を走査パターンで移動させて、スライド102の標本領域114全体(または他の関心領域)をカバーする画像を取得する。図26に示すように、XYスライドステージ210は、モータ、エンコーダ、およびX軸およびY軸のそれぞれにおける動きの制限を含む。XYスライドステージ210は、X-Yステージドライバ211に接続され、X-Yステージドライバ211は、XYスライドステージ210の動きを制御するためのX-Yステージコントローラ215に接続されている。X-Yステージコントローラ215は、イーサネットネットワーク接続を介してイメージャコンピュータ105とデータ通信しており、イメージャコンピュータ105がXYスライドステージ210の動作を制御できるようにする。
[00139]XYスライドステージ210は、X-Yステージプラットフォーム214に取り付けられ、X-Yステージプラットフォーム214は、イメージャベースプレート152に取り付けられる。X-Yステージプラットフォーム214は、X-Yステージ角度調整部218を有し、イメージャベースプレート152に対するX-Yステージプラットフォーム214の向きを調整することができる。
[00140]したがって、スライドホルダ角度調整部部213およびXYステージ角度調整部218は、スライドホルダ202およびXYスライドステージ210の動きを水平に、または対物レンズ198の光軸(すなわち、カメラ192の光軸)に対して所望の角度に適切に位置合わせするように調整することができる。典型的には、スライドホルダ202およびスライドステージ210の動きは、スキャン中にミクロ画像の一定の焦点高さを提供するために平行になるように整列され、その結果、画像取得アセンブリ191は、スライド102の表面に対して同じ高さ(例えば、単一のz軸焦点高さ)で標本119のミクロ画像を取得する。
[00141]イメージャベースプレート152は、複数の(この場合は4つの)防振マウント221を介してスキャナシャーシ144から隔離されている。防振マウント221は、撮像ステーション190に防振を提供する。
[00142]対物レンズ198は、図19~22および24に示すように、Zステージ200を使用して、スライドホルダ202に保持されたスライド102に対して焦点を合わせる。図26に示すように、Zステージ200は、Zステージを制御し、したがって対物レンズ198の焦点を制御するためのピエゾフォーカスnポイントコントローラ217およびピエゾフォーカスnポイントステージ219を含む。
[00143]図23および24に示すように、顕微鏡較正コンポーネント207(「顕微鏡較正ターゲット」とも呼ばれる)が、当該顕微鏡較正コンポーネント207がXYスライドステージ210とともに動くように、スライドホルダベースプレート212内に配置される。顕微鏡較正コンポーネント207は、スライドホルダベースプレート212に直接取り付けられるか、スライドホルダベースプレート212に規定されてスライドホルダベースプレート212から取り外しできないように、スライドホルダベースプレート212と一体であり得る。例えば、顕微鏡較正コンポーネント207は、スライドホルダベースプレート212内に、またはこれを通して形成またはエッチングされ得る。あるいは、顕微鏡較正コンポーネント207は、スライドホルダベースプレート212によって規定される空洞に取り付けられるなど、スライドホルダベースプレート212に取り付けられるスライドホルダベースプレート212とは別個の構成要素であってもよい。顕微鏡較正コンポーネント207は、顕微鏡カメラアセンブリ191(画像取得サブアセンブリ191とも呼ばれる)の位置較正および光学較正の両方を実行するように構成され得る。あるいは、顕微鏡較正コンポーネント207は、顕微鏡カメラサブアセンブリ191の光学較正だけを実行するように構成されてもよい。位置較正の場合、較正コンポーネント207は、XYスライドステージ210の「X」位置、XYスライドステージ210の「Y」位置、XYスライドステージ210の「Z」位置、カメラとステージの位置合わせ、スライド102のマイクロイメージング中のXYスライドステージ210の「X」および「Y」位置の一方または両方の変化、および/またはスライド102のマイクロイメージング中のXYスライドステージ210の「Z」位置のレビューおよび変化のうちの1つ以上を含む位置較正パラメータを測定または決定するように構成される。光学較正の場合、較正コンポーネント207は、例えば、1つまたは複数のグレースケール直線性、倍率、信号対雑音比、照明の変化、変調伝達機能(MTF)、デジタルカメラ192(例えば、CMOSまたは電荷結合デバイス(CDD))の動かないピクセルまたは要素のチェック、照明の均等性または均一性、信号対雑音比を低下させるほこりや汚れなどのアーティファクトの検出を含む、顕微鏡カメラサブアセンブリ191の光学的較正パラメータを測定または決定するように構成される。次に、顕微鏡カメラサブアセンブリ191が、較正コンポーネント207を使用して測定または決定された位置的および/または光学的較正パラメータに基づいて、必要に応じて較正および調整される。適切な顕微鏡較正コンポーネント207の例が、米国特許第7,848,019B2号に開示されている。
[00144]図27および28を参照すると、撮像ステーション190はまた、カメラ192が高品質の画像を作成するために、対物レンズ198が収集するのに十分な均一な光をスライド102に提供するための照明モジュール222を含む。照明モジュール222は、光源224(例えば、LED224)、第1のレンズ226、第2のレンズ227、第3のレンズ229、第1のアパーチャ223、第2のアパーチャ225、第2の折り畳みミラー228、チューブレンズマウント237、および、スライド102の底部にLED光を投影するために必要な、調整可能な集束レンズ230を含む。照明モジュール222は、均一な光を投射して、標本の焦点面での均一な照明を実現する。「均一な光」という用語は、実質的に均一な色および明るさである光を意味する。「均一な照明」という用語は、標本119が実質的に均一な色および明るさの光で実質的に照明されることを意味する。照明モジュール222は、SIBを介して配線された主電源によって電力供給される。照明モジュール222の光レベルは、目標の背景輝度を達成するためにカメラからのフィードバックで設定される。照明モジュール222は、SIB182(後述する)上の照明インターフェースとインターフェースする。照明モジュール222は、画像取得アセンブリ191に対してXY平面においてY方向に照明を調整するためのY調整ねじと、XY平面において画像取得アセンブリ191に対してX方向に照明を調整するためのX調整ねじ235とを有する。
[00145]照明モジュール222は、光源224(例えば、LED)を含み、そのパワー、スペクトル分布、および放射輝度プロファイルは、高品質のミクロ画像を生成するために必要なすべての照明の均一性、品質、および量の出発点となる。
[00146]次に、スキャンステーション190を使用して、スライド102上の標本119の異なる深度での特徴の焦点の合った画像を含むスライド102のミクロ画像を取得するためのスキャンプロセスについて説明する。上述し、図25に示すように、撮像ステーション190は、焦点面がスライド102の深さを通って延びるように、スライド102上の標本119の表面に対してカメラ192の焦点面を傾けて、スライド102上の標本119のミクロ画像をキャプチャする。したがって、カメラ192にキャプチャされた各ミクロ画像は、標本119の表面に対して角度をつけて(すなわち、スライド102の表面に対して角度をつけて)撮影されるため、スライド102上の標本119の深さの画像を含む。図33に示すように、スライド102は、XYスライドステージ210によって移動され、カメラ192の視野を標本領域114全体(または実際の標本119が標本領域114とは異なる領域をカバーし、実際の標本119の境界が事前に決定されている場合などは、実際の標本119全体のうちの所定の領域)にわたってスキャンする。XYスライドステージ210は、スライド102を前後の蛇行した経路で動かして、各経路で標本119のスワス(swath)のミクロ画像をキャプチャする。スワスをキャプチャするために、XYスライドステージ210はスライド102を連続的に移動させ、カメラ192は、ステージエンコーダの位置に従って各トリガポイントに到達したときに、XYスライドステージ210にトリガされて画像をキャプチャする。連続する各スワスの開始が前のスワスの終了に近いような蛇行経路により、標本119全体をスキャンするのに必要な時間を最小限に抑えられる。スライド102がスワスに沿って移動すると、カメラ192が標本119のミクロ画像をキャプチャする。
[00147]撮像スキャン中に許容可能な焦点を維持するために、スライド102上に印刷された基準マーク116の測定値と、基準面からの標本119の最良の焦点オフセットの測定値によって定義されるオフセットとを使用して、スライド102の最良の焦点面を推定することができる。その後、オフセット平面を定義する係数がX-Yステージコントローラ215にアップロードされ、X-Yステージコントローラ215は、スキャン中にそれらの係数に従ってZステージ200の位置を維持する。撮像スキャン中、スキャン品質は、フォーカス品質メトリック、ステージ追従エラー、および画質メトリックを含むさまざまな方法で監視される。画質メトリクスは、当業者によって知られているデジタル画像アルゴリズムによって測定され得る、シャープネス、ノイズ、ダイナミックレンジ、トーン再現、コントラスト、色精度、歪み、ヴィネットなどのうちの1つ以上を含み得る。
[00148]図25Aに示すように、従来の撮像システムでは、撮像面は、名目上、スライドの平面(およびスライド上の標本119)に平行である(すなわち、製造公差内で平行である)。カメラの視野の長さ程度の間隔で撮影された隣接する視野ごとに、単一の最良の焦点面がキャプチャされる(画像のつなぎ合わせを補助するためにミクロ画像は多少重なっていてもよい)。その後、ミクロ画像をつなぎ合わせて、標本119全体の合成画像を作成する。標本119の三次元ボリューム内のスライドガラス上のオブジェクトの高さが異なるため、1回の撮像ですべてのオブジェクトが焦点の合った状態でキャプチャされるわけではないことに留意されたい。
[00149]対照的に、図25Bに示すように、イメージャ104の画像キャプチャ方法は、スライド102上の標本119に対して傾斜した撮像面を利用する。撮像面がスライド102上の標本119に対して傾斜しているので、カメラピクセルアレイの異なるサブ領域が、異なる高さの標本の画像をキャプチャする。したがって、撮像位置#1のカメラでは、オブジェクトAは焦点が合ってキャプチャされるが、その同じカメラフレームにおいてオブジェクトBはフレームの右端近くにあり、焦点がかなりずれる。カメラの位置を画像間のスキャン方向の視野の長さだけステップさせる代わりに、撮像光学系の被写界深度に一致する画像サブ領域に等しいステップサイズが使用される。一連の画像は重なっている。カメラが位置#1にあるときにはオブジェクトAに焦点が合っているが、カメラが位置#4に達するとオブジェクトBに焦点が合ってキャプチャされる。このようにして、イメージャの焦点面の左端と右端の差に等しい高さの範囲内にあるすべてのオブジェクトが、ある画像で焦点が合ってキャプチャされる。
[00150]図25Cを参照すると、一例では、カメラピクセルアレイは、24μmの試料深さにわたって異なる焦点面を表す14のサブ領域に分割され得る。各カメラサブ領域で同じサンプル領域(タイル)がキャプチャされると、それらのサブ領域は垂直方向に再構築され、タイルの焦点合成スタックが作成される。次に、スタックは、各ピクセルを同じ平面内の隣接するピクセルと比較し、米国特許第7,769,219号で教示されるようなフォーカスメトリックを有するピクセルフォーカスを決定するためのアルゴリズムを使用して、最高のフォーカス品質を持つ平面のピクセルを選択することにより、単一平面のマージされたフォーカス画像に変換される。最高のフォーカス品質を有するピクセルや他のオブジェクトを特定する例も、上記米国特許第7,736,304号に記載されている。スライド基準マークの最良の焦点を決定するための技術は、米国特許第8,116,550号に教示されている。サブ領域の数は単なる一例であり、デジタル撮像システム100は、画像処理のために任意の適切な数のサブ領域を使用することができる。
[00151]以下に、スライド102上の標本119全体のマージされた画像を得るために、GPU132によって画像を処理する例示的な方法を説明する。画像処理には、生の画像を取得し、それらを最終的にマージされた圧縮画像に変換するための多くのステップが含まれる。カラーカメラ192は、ベイヤーマスク(Bayer mask:フォトセンサのグリッド上にRGBカラーフィルタを配置するためのカラーフィルタアレイ)を利用することができる。このような場合、画像処理アルゴリズムの最初のステップは、画像をディベイヤーし(de-Bayer)、RGB画像(各ピクセルの赤/緑/青の値を保持するビットマップ画像)に変換することである。次に、画像は、事前にマッピングされた較正テーブルを用いて、均一性と歪みが補正される。一例では、較正テーブルは、カメラ画像のサイズの配列である。このテーブルには、補正された画像結果の各ピクセル位置のエントリが含まれている。各エントリは、ソース画像の2×2ピクセルのサブ領域と、それらのソースピクセルに適用され、結果のピクセル値を得るために合計される重み係数を示す。これにより、補正された画像は、較正プロセス中に測定された小さな光学歪みを補正するために必要なサブピクセルシフトを(補間によって)表すことができる。図65は、位置歪み補正が上下左右1/2ピクセルの場合の、事前マッピングされた較正テーブルの一例を示す。
[00152]タイルのすべてのサブ領域画像(例えば、14個のサブ領域)がキャプチャされると、マージされた画像が計算される。各ピクセルとその隣接領域の特定のピクセルとの差が計算される。次に、この差がピクセルの値に基づいて重み付けされ、その特定のピクセルに対するその特定の平面の相対的なメリットが決定され、平面値の値(0~13など)のタイルが生成される。次に、移動平均が平面値のタイルに適用され、最終画像内のオブジェクト間の遷移が改善される。次に、マージされた画像のピクセルが、関連付けられた平面値に基づいて選択される。マージされた画像がタイル状に並べられ、スワスが生成される。完全なスワスができあがると、前のスワスにつなぎ合わされる。標本119全体の画像がつなぎ合わされると、JPEG、JPEG2000、または他の適切な圧縮アルゴリズムを使用して、画像全体が約20:1の比率で圧縮される。次に、画像についてピラミッドが作成され、これがスライドメタデータとともにワークフローサブシステム106に転送され、そこでレビューステーション108がレビューのためにアクセスできるようになる。スライドメタデータとは、標本全体画像に関連する非画像情報をいい、スライドから読み取られたバーコードであるスライド識別子、撮像日時などである。スライドメタデータには、画像分析アルゴリズムによって識別されたOOI308の場所のリストを含み得る。「ピラミッド」の一例は、元の完全な標本全体画像から、予め設定された最小サイズになるまで50%のサイズ縮小を繰り返して得られる低解像度の画像のセットである。このピラミッドの目的は、レビュー画面でのより効率的なレンダリングをサポートすることである。レビュワーがズームアウトされた低解像度バージョンの画像を見ている場合、適切なレベルのピラミッド画像データにアクセスすることでデータを提供でき、これはフル解像度の画像を送信してからレビューステーション108でサイズを縮小するよりも少ないデータ転送で済む。
[00153]図30~32に示すように、イメージャ104はまた、各スライド102の識別情報を取得するため、およびスライド全体および/または標本領域114の拡大されていないマクロ画像を取得するため(例えば、標本領域114の外側の情報を取得するため)のマクロビジョンステーション232を有する。マクロビジョンステーション232は、マクロビジョンステーション232のマクロカメラ231(例えば、CCDまたは他の撮像センサを有するデジタルカメラ)の撮像領域内の撮像位置にある第1のスライドホルダ234と、マクロビジョンステーション232の撮像領域外の待ち行列位置にある第2のスライドホルダ236とを含む。PCBおよびLEDを有する下部照明モジュール238は、第1のスライドホルダ234の下に配置されて、第1のスライドホルダ234に配置されたスライド102の底部を照明する。ディフューザ244が、下部照明モジュール238と第1のスライドホルダ234との間に配置され得る。PCBおよびLEDを有する上部照明モジュール240が、第1のスライドホルダ234の下に配置されて、第1のスライドホルダ234に配置されたスライド102の上部を照明する。マクロビジョンステーション232は、マクロカメラ231と、マクロカメラ231の光軸を第1のスライドホルダ234内のスライド102に反射させる第2の折り畳みミラー242を有する。マクロカメラ231は、マクロカメラ231の向きを調整可能にするために、カメラ調整部246を使用して取り付けられる。
[00154]マクロビジョンステーション232は、スライド102上のバーコード識別情報および/または他の情報を含むスライド102のマクロ画像と、スライド102全体および/または標本領域114の画像とを取得し、マクロ画像をイメージャコンピュータ105に送信する。マクロ画像は、1つまたは複数の基準マーク116と、標本領域114および/または標本119を含む。イメージャコンピュータ105は、1つまたは複数の基準マーク116に少なくとも部分的に基づいて、スライド102の表面上の標本領域114および/または標本119の相対的な位置および境界を決定するように構成される。標本領域114および/または標本119の相対的な位置および境界は、撮像ステーション190に提供される。撮像ステーション190(例えば、画像取得サブアセンブリ191)は、スライド102上の標本領域114および/または標本119の相対的な位置および境界に少なくとも部分的に基づいてミクロ画像を収集するように構成される。換言すれば、撮像ステーション190は、境界標本領域114および/または標本119の相対位置および境界を利用して、ミクロ画像を取得するときのカメラ192のスキャン位置を決定し、その結果、標本領域114および/または標本119の縁を超えて時間とストレージの無駄となるオーバースキャンしないようにする。マクロビジョンステーション232はまたSIB182とインターフェースし、このSIB182はイメージャコンピュータ105とインターフェースして、マクロビジョンステーションの動作を制御する。マクロカメラ231は、100baseTイーサネットネットワークなどの通信ネットワークを介してイメージャコンピュータ105とデータ通信している。
[00155]SIB182の概略図を図29に示す。SIBは、イメージャコンピュータ105とイメージャ104との間で送信される外部信号を統合し、それらをイメージャ104の適切なコンポーネントおよびサブアセンブリ、ならびにイメージャコンピュータ105の適切な入力に再分配する。
[00156]次に、スライド102を撮像し、各スライド102上の標本119全体の単一のマージ画像を作成するためのイメージャサブシステム103の完全な動作について説明する。オペレータは、スキャンするスライド102をスライドキャリア118のそれぞれに手動で装填する。スライド102がスライドラック120に提供されている場合、これは単にスライドラック120をスライドキャリア118に挿入すればよい。スライド102がスライドラック120内にない場合、オペレータは、最初にスライド102をスライドラック120に装填し、次にスライドラック120をスライドキャリア118に挿入する。スライドキャリア118は、撮像の前後のスライド102の保管場所として、またスライド102をイメージャ104に輸送および装填するために使用することができる。
[00157]スライドキャリア118内のスライド102を手動で検査して、スライド102がスライドキャリア118内で適切に配向され、スライド識別部分112の印刷面がすべて反対向き(スライドキャリア118の背面に向かって)であることを確認する。イメージャ104がアイドルモードまたは一時停止モードにある状態で、オペレータは、スライドキャリアデッキドア166を開き、それぞれ最大40枚のスライドが装填されたスライドキャリア118をそれぞれのスライドキャリアベイ174に手動で挿入する。それぞれのスライドキャリアベイ174内のキャリア存在センサ175がそれぞれ、スライドキャリア118が取り付けられているかどうかを検出し、それに応じてイメージャコンピュータ105に信号を送る。イメージャ104によって現在アクティブに撮像されているスライドキャリア118のキャリアロック173は、イメージャ104がアクティブなスライドキャリア118からスライド102を取り外して撮像するときに、アクティブなスライドキャリア118を所定の位置にロックするように作動される。イメージャ104によってアクティブに撮像されていない他のスライドキャリア118は、ロックされない(非アクティブとみなされる)。
[00158]新しいスライドキャリア118がスライドキャリアベイ174に挿入され、そのキャリア存在センサ175がスライドキャリア118が存在することを信号で伝えると、イメージャ104は、そのようなスライドキャリア118のインベントリをスケジュールする。イメージャ104は、光学スライドインベントリセンサ188を使用して、イメージャ104に設置されたスライドキャリア118のそれぞれでインベントリを実行する。スライドハンドリングガントリ178は、スライドキャリア118のそれぞれでセンサ188をスキャンし、スライドラック120内の可能なスライドスロットのどれにスライド102が挿入されているかを判断する。このスライドインベントリ情報は、イメージャコンピュータ105に提供され、それぞれのスライドキャリア118がアクティブになり、スキャンの準備ができたときに使用されるので、スライドハンドリングガントリ178は、スライド102が存在するスライドキャリア118のスロットにのみ移動する。
[00159]スライドキャリア118のそれぞれが撮像するようにスケジュールされると、スライドハンドリングガントリ178は、スライドキャリア118内の第1のスライド102に移動し、グリッパ184を作動させてそれを把持し、スライド102をマクロビジョンステーション232に移動する。そして、第1のスライド102を、マクロビジョンステーション232の撮像位置にある第1のスライドホルダ234上に配置する。マクロビジョンステーション232は、マクロカメラ231を使用して第1のスライド102の複数のマクロ画像を取得し、完全な標本画像(すなわち、標本119全体の単一画像を含むマクロ画像)を作成し、印刷された識別情報(例えば、バーコード)を読み取る。この情報は、第1のスライド102のスライドデータセット(SDS)レコードの一部になる。本明細書で説明されるように、マクロ画像はまた、基準マーク116および標本領域114および/または標本119のうちの1つまたは複数を含む。イメージャコンピュータ105は、マクロ画像を使用して、1つまたは複数の基準マーク116に少なくとも部分的に基づいて、スライド102の表面上の標本領域114および/または標本119の相対的な位置および境界を特定する。標本領域114および/または標本119の相対的な位置および境界は、撮像ステーション190に提供される。
[00160]撮像ステーション190が新しいスライド102を受け入れる準備ができたら、スライドハンドリングガントリ178は、マクロビジョンステーション232の撮像位置にある第1のスライドホルダ234から撮像ステーション190に第1のスライドを移動させ、撮像ステーション190のスライドホルダ202上に第1のスライド102を配置する。スライドホルダ202に第1のスライド102を装填する間、XYスライドステージ210は、スライド解放ブラケット209が第1および第2のスライドジャスティファイアアーム206、208を解放位置に作動させて、第1のスライド102がスライドホルダ202上に配置されるように位置決めされ得る。第1のスライド102がスライドホルダ202上に配置されると、XYスライドステージ210は、第1および第2のスライドジャスティファイアアーム206、208がそれぞれの係合位置に付勢されるようにスライドホルダ202を動かし、それによってスキャン中に第1のスライド102がスライドホルダ202内の所定の位置に付勢され保持される。
[00161]第1のスライド102がマクロビジョンステーション232の撮像位置にある第1のスライドホルダ234から撮像ステーション190のスライドホルダ202に移動された後、スライドハンドリングガントリ178は、スライドキャリア118内の次のスライド102(すなわち、第2のスライド102)を、マクロビジョンステーション232の撮像位置にある第1のスライドホルダ234に移動させることが可能となる。マクロビジョンステーション232は、後述するように、撮像ステーション190が標本119のミクロ画像を取得するのと並行して(すなわち、同時に)第1のスライド102について説明したのと同様に、マクロ画像を取得するプロセスを実行することができる。マクロビジョンステーション232の第1のスライドホルダ234への第2のスライドの装填、および第2のスライド102のマクロ撮像は、撮像ステーション190が第1のスライド102を撮像している間に行うことができる。マクロビジョンステーション232が第2のスライド102のマクロ撮像を完了した後、典型的には、撮像ステーション190が第1のスライド102のミクロ撮像を完了し、スライドハンドリングガントリ178が第1のスライド102をスライドホルダ202からキュー位置の第2のスライドホルダ236にスライドさせるまで、第2のスライド102はマクロビジョンステーション232で待機しなければならない(以下に詳述する)。
[00162]次に、撮像ステーション190は、第1のスライド102をスキャンして、第1のスライド102上の標本119の複数のミクロ画像をキャプチャする。上記のように、デジタルカメラ192が複数のミクロ画像を撮影する間、第1のスライド102はXYスライドステージ210によって蛇行経路で連続的に移動され、対物レンズ198の下で第1のスライド102を移動させる。イメージャ104は、XYスライドステージ210の動き、およびZ軸の動き(焦点)を調整して、スライド102を撮像する。第1のスライド102がスキャンされている間、カメラ192からの画像データがイメージャコンピュータ105にストリーミングされる。ミクロ画像は、カメラ192からのセグメント化された画像データに再構成され、イメージャコンピュータ105にストリーミングされる。撮像ステーション190は、スライド102上の標本領域114および/または標本119の相対的な位置および境界に少なくとも部分的に基づいてミクロ画像を取得するので、標本領域114および/または標本119の外側をスキャンし撮像することで生じる無駄な時間およびストレージが最小限に抑えられる。
[00163]第1のスライド102が撮像された後、スライドハンドリングガントリ178は、第1のスライド102をキュー位置にある第2のスライドホルダ236に移動させる。このキュー位置は、撮像動作が完了したときのキューポイントである。この機能は、第1のスライド102をスライドキャリア118に戻すのではなく、撮像プロセスを完了したスライド102を撮像ステーション190のスライドホルダ202の近くに配置することによって、スライドハンドリングガントリ178のスループットを最適化するために使用される。第1のスライド102はキュー位置に留まり、一方でスライドハンドリングガントリ178が、撮像ステーション190によってミクロ撮像される次のスライド102(例えば、第2のスライド102)を、マクロビジョンステーション232の撮像位置の第1のスライドホルダ234から、撮像ステーション190のスライドホルダ202へと移動させる。キュー位置でない場合、次のスライド102を撮像ステーション190のスライドホルダ202に配置する前に、第1のスライド102をスライドキャリア118に戻す必要があるが、スライドキャリア118は第2のスライドホルダ236よりもスライドホルダ202から遠く離れているため、プロセスが遅くなる。撮像ステーション190によってミクロ撮像される次のスライド102がスライドホルダ202に移動された後、スライドハンドリングガントリ178は、第1のスライド102を第2のスライドホルダ236からスライドキャリア118内に戻すために利用可能である(すなわち、撮像ステーション190が次のスライド102を撮像している間)。第2のスライド102が撮像ステーション190上に移動されると、スライドハンドリングガントリ178は、第3のスライド102をアクティブなスライドキャリア118からマクロビジョンステーション232に移動させ、それを第1のスライドホルダ234上に配置し、マクロビジョンステーション232が第3のスライド102を撮像する。このプロセスが、アクティブなスライドキャリア118内のすべてのスライド102に対して繰り返される。このように、第2のスライドホルダ202のキュー位置の使用により、イメージャ104の全体スループットが増加する。
[00164]イメージャコンピュータ105は、撮像ステーション190からカメラミクロ画像を受け取り、それらを再構成し、これらは、前述のように焦点面画像に再構成され、前述のように単一のベストフォーカス面に結合される。これはすべてGPUで行われ、隣接するスワスの継ぎ合わせ/位置合わせも行われる。得られる画像はGPUからCPUにストリーミングされ、圧縮されてディスクに保存される。
[00165]イメージャコンピュータ105はまた、画像分析アルゴリズム(後述する)を利用して、画像データをスキャンして、関心のあるオブジェクト(OOI:Object of interest)を識別し、OOI位置データを生成する。OOI位置データは、画像内のOOIの位置を特定するものである。このデータもSDS304の一部になる。各SDS304は、レビューステーション108での画像表示に使用される最適化されたデータセット(「ピラミッド」)を生成するように処理される。ピラミッドデータ(圧縮されたSDSのサブセット)は、記録されたOOIのためのスライドデータへのアクセスを高速化できるように設計されている。ピラミッドデータもSDSに追加される。画像処理とピラミッド生成が完了すると、圧縮されたSDSはワークフローサブシステム106に送信され、アクティブデータ専用のNASディスクアレイ上のアクティブストレージパーティションに移動される(図1を参照)。
[00166]画像分析アルゴリズムは、任意の適切なプロセスを使用してOOIを識別し得る。一例として、画像分析アルゴリズムは、デジタル画像302をスキャンし、一次および二次セグメンテーションを実行することなどによって、デジタル画像302を分析する。一次および二次セグメンテーションは、デジタル画像302内の個々のオブジェクトおよびクラスタ化されたオブジェクトのそれぞれについて、様々な特性を測定、特定、および/または抽出する。特定の特性は、オブジェクトの分類に関連することが分かっているため、例えば正常、異常、疾患、健康、前癌性、癌性に分類するなどに利用できる。例えば、細胞学的サンプルのデジタル画像302の場合、特性は、細胞サイズ、核と細胞質の面積比、核補正統合光学密度、細胞質空胞化、暗さなどを含み、これらは細胞を前癌性、癌性、正常、および/または異常として分類するために使用され得る。一次および二次セグメンテーションは、米国特許出願公開第2004/0253616号に記載されている。次に、アルゴリズムは、それぞれの特性の測定値に基づいて、各オブジェクトのオブジェクトスコアを計算する。このスコアに基づいて、アルゴリズムは、OOI308と見なされるオブジェクトおよびクラスタ化されたオブジェクトを識別または選択する(例えば、図34を参照)。
[00167]イメージャコンピュータ105は、各OOI308の決定された特性を分析し、OOIマッチングアルゴリズムを使用して類似している同じデジタル画像302(すなわち、同じサンプル)上のOOI308を識別してもよい。OOIマッチングアルゴリズムは、OOI308のそれぞれの特定された特性を比較して、互いにそれぞれの所定の範囲内にある1つまたは複数の特性を有するなど、類似している特定された特性を有するOOI308を識別する。OOIマッチングアルゴリズムはまた、デジタル画像302上のOOI308が、OOI308のライブラリ内のOOI308に類似しているかどうかを判定するために利用されてもよい。OOI308のライブラリは、実験室情報システム(LIS)408のデータベース(図1参照)、またはイメージャコンピュータ105とネットワーク通信する別のデータ記憶装置またはシステムに格納されたデータベースに記憶されてもよい。OOI308のデータベースは、以前に分類され特徴付けられたオブジェクト(例えば、細胞)のOOI画像および/またはデジタル画像302のライブラリを含む。OOI画像および/またはデジタル画像302のライブラリ内の各オブジェクトは、イメージャコンピュータ105によって分析されているデジタル画像302上のOOI308のそれぞれの特性と比較できる以前に特定された特性を有する。ライブラリ画像内のオブジェクトは、異常、正常、前癌性、癌性、悪性、前悪性、良性など、前もって分類されてもよい。
[00168]図62は、デジタル細胞診のための画像分析アルゴリズム500のグラフ表示を示している。ステップ502において、デジタル画像302はフレームに分割される。ステップ504において、フレームは、並列スレッドで実行されるフレームプロセッサによって処理される。フレームプロセッサは、RGBのGチャネルに適用される流域法を使用するなどして、フレームをセグメント化する。さらにフレームプロセッサは、オブジェクトの特徴(特性)を計算し、イメージャコンピュータ105のCPUとGPU(グラフィックスプロセッシングユニット)で並列に実行される畳み込みニューラルネットワーク(CNN)推論(例えば、192×192ウィンドウ、カラーの修正MobileNetを使用)を実行する。ステップ506においてスライドが処理され、ステップ508において特定された特性に基づいてOOIが選択され、グループ化される。
[00169]自動化されたデジタル撮像システム100は、機械学習を利用してデジタル画像302上のオブジェクトを特徴づけおよび/または診断するように構成された機械学習診断モジュールを含み得る。機械学習診断モジュールは、イメージャコンピュータ105、レビューステーションコンピュータ111、または他の適切なコンピュータシステムにインストールされ実行され得る。機械学習診断モジュールは、デジタル画像302上のオブジェクトを特徴づけるプロセスを実行し、また、特徴づけに基づいて患者を診断することができる。例えば、1つの例示的なプロセスに示すように、プロセスは、特徴づけ/診断されたオブジェクトのトレーニングセットを作成することを含む。このトレーニングセットは、スライド102の数百、数千、数万などの多数の標本スライド102を撮像して、各標本スライド102のデジタル画像302を取得することによって作成される。次に、本明細書に記載されているように、デジタルスライド102のそれぞれでOOIが識別される。OOIは、3人、4人、5人、またはそれ以上の臨床医などの複数の臨床医(例えば、細胞学的標本の場合は細胞学者および/または病理学者)によって種類分けするように独立して分類される。例えば、オブジェクトは、HSIL、LSIL、正常、異常、病気、健康、前癌性、癌性などに分類され得る。「HSIL」はhigh grade squamous intraepithelial lesion(高悪性度の扁平上皮内病変)の頭字語であり、「LSIL」はlow grade squamous intraepithelial lesion(低悪性度の扁平上皮内病変)を意味する。病変は異常な組織の領域であり、高悪性度と低悪性度は、それが癌に進行する可能性を意味する。次に、機械学習診断モジュールが、本明細書に記載の画像分析アルゴリズムまたは同様のアルゴリズムを使用するなどして、各OOIの複数の特性を決定する。例えば、細胞学的サンプルのデジタル画像302の場合、特性は、細胞サイズ、核と細胞質の面積比、核補正統合光学密度、細胞質空胞化、暗さなどを含み、これらは、細胞を前癌性、癌性、正常、および/または異常として分類するために使用することができる。
[00170]次に、機械学習診断モジュールは、パターン認識アルゴリズムを使用して、画像分析アルゴリズムによって識別された特性と臨床医によって決定された特徴づけ/診断との間の特徴づけ/診断関係を決定する。特徴づけ/診断関係は、アルゴリズム、関数、方程式、またはその他の適切な関係であり得る。
[00171]次に、機械学習診断モジュールは、特徴づけ/診断関係を使用して、新しい標本スライド102上のオブジェクトを特徴づけ/診断することができる。撮像ステーション103は、スライド102のデジタル画像302を生成する。画像分析アルゴリズムが、デジタル画像302上のOOIを識別するために使用される。次に、機械学習診断モジュールが、画像分析アルゴリズムを使用するなどして、各OOIの複数の特性を決定する。最後に、画像分析アルゴリズムが、特徴づけ/診断関係を使用して、各OOIを特徴づけ/診断する。各OOIの特徴づけ/診断もSDS304に追加される。
[00172]機械学習診断モジュールは、新しい標本スライド102からのデジタル画像302をトレーニングセットに追加し、次にパターン認識アルゴリズムを使用して特徴付け/診断関係を生成するためのプロセスを実行することによって、特徴付け/診断関係を学習および最適化し続けることができる。
[00173]イメージャコンピュータ105はまた、スライド上のオブジェクトの数(例えば、細胞数)、境界の数などのスライド統計を識別するためのスライド統計モジュールを含み得る。イメージャコンピュータ105は、スライド統計を決定するためにOOIを決定するのと同様のプロセスを利用することができる。OOIを決定するのと同様に、イメージャコンピュータは、デジタル画像302をスキャンし、個々のオブジェクト、クラスタ化されたオブジェクト、および境界を識別して、オブジェクト、クラスタ化されたオブジェクト、および境界の数を数える。スライド統計はSDS304に追加される。
[00174]撮像サブシステム103は、イメージャ104に装填された各スライドキャリア118のすべてのスライド102の画像を撮影し、画像を処理したら、プロセスを完了する。撮像が完了したら、スライドキャリア118は、スライドキャリアデッキ128から取り外される。次に、スライド102をスライドキャリア118から取り外し、ラボの手順に従って物理的に保管されるか、もう不要の場合は廃棄することができる。
[00175]上記のように、それぞれのSDSを含む処理されたデジタル画像は、ワークフローサブシステム106に送信され、ワークフローサブシステム106に格納される。ワークフローサブシステム106は、デジタル画像をアクティブストレージに格納し、そこにレビューステーション108がアクセスすることができる。ワークフローサブシステム106は、細胞学者および/または細胞病理学者などのレビュワーによってデジタル画像をレビューするワークフローを管理するように構成されたワークフローサブシステム管理アプリケーション248(図1参照)を含む。例えば、レビュワーがレビューステーション108にログインすると、ワークフローサブシステム106は、レビュワーのためのデジタル画像を含むケースのワークリストをレビューステーション108に送信する。レビューステーション108は、ワークリストをレビュワーに表示する。その後レビュワーは、ワークリストの管理、作業するケースの選択、選択したケースのデジタル画像のレビュー、ケースの完了、および/または完了したケースと進行中のケースの追跡を行うことができる。
[00176]レビューするケースを選択すると、レビューステーション108は、ワークフローサブシステム106から選択されたケースにアクセスし、ワークフローサブシステムは、デジタル画像およびSDSをレビューステーション108に送信する。レビューステーション108は、様々なレビュー画面にデジタル画像を表示する。レビューステーション108のユーザインターフェースにより、レビュワーが異なるデジタル画像を選択することができる(例えば、1つのケースが複数のデジタル画像を含んでもよいし、1つのケースが単一のデジタル画像を含んでもよい)。レビュー画面には、選択されたデジタル画像とOOIの画像が表示される。OOIは、レビュー画面に複数のOOIを一度に表示すべくサムネイルとして表示され、レビュワーが1つのOOIを選択してOOIのフルサイズ表示を確認できるようにしてもよい。レビュワーがケースのデジタル画像をレビューすると、レビューステーション108は、ケースを「完了」または「第2のレビュワー(例えば細胞病理学者)によるレビュー」、または「後で完了する」(レビュワーがケースの完全なレビューをまだ完了していない場合)としてマークするなど、レビュワーがケースを処分できるようにする完了画面を表示する。
[00177]必要に応じて第2のレビュー(細胞病理学者などによる)を含むケースが完了すると、ケースは研究室情報システム(LIS)250に入力される(図1参照)。ワークフローサブシステム106は、完了したケースをLISに送信するためのLIS通信インターフェース252を有してもよいし、または手動でLISに入力されてもよい。その後、臨床医はLIS250を介して症例の結果にアクセスすることができる。
[00178]図34~62を参照すると、自動デジタル撮像システム100によって生成されたデジタル画像を表示するためのシステムおよび方法の実施形態がさらに詳細に説明される。デジタル表示システムおよび方法により、細胞、組織、および他の対象などの生物学的標本のレビュワーが、標本のデジタル画像をより効率的かつ正確にレビューし、標本内の属性を識別、特徴付け、および/または診断することができる。このように、デジタル表示システムおよび方法は、コンピュータの動作方法に特定の改善を提供し、生物学的標本のデジタル顕微鏡検査のコンピュータ化における様々な問題を解決する生物学的標本の表示システムに特定の機能を与える。
[00179]図34を参照すると、デジタル撮像システム100のワークフローサブシステム106およびデジタル撮像表示システム108(「レビューステーション108」とも呼ばれる)がさらに詳細に示されている。上記のように、イメージャコンピュータ105は、スライド標本119のデジタル画像を分析し、関心のあるオブジェクト(OOI)308を識別する画像処理アルゴリズム(例えば、イメージャ104および/またはワークフローサブシステム106にインストールされたソフトウェアアプリケーション135)を使用する(図36参照)。次に、識別されたOOI308を使用して、スライド標本119のデジタル画像を迅速かつ正確にレビューする際に、ユーザ(例えば、細胞学者または細胞病理学者)を支援することができる。
[00180]上記のように、ワークフローサーバ106は、各スライド102のSDS304データレコードに格納されるデジタル画像および関連するスライドデータを格納および管理するための大容量ディスク記憶システムとして主に機能するコンピュータサーバである。ワークフローサーバ106はまた、画像処理やデータ管理のためのソフトウェアを含み、ネットワーク機能を提供してもよい。SDS304は、つなぎ合わされたデジタル画像302、各スライド102についてイメージャ104によってキャプチャされたスライド情報306、およびOOI位置データ308を含む。各SDS304は、イメージャコンピュータ305によって処理されて、デジタル表示システム108での画像表示に使用される、最適化され追加されたデータセット(「ピラミッド」)を生成する。本明細書に記載されているように、ピラミッドデータ(SDSのサブセット)は、記録されたOOIのためのスライドデータのアクセスを高速化するように設計されている。ピラミッドデータはまた、OOIを有さないデジタル画像302の領域(特に非婦人科スライド)にパンおよびズームするための座標および表示情報を提供することによって、標本全体のデジタル画像302の表示を改善する情報を含んでもよい。ピラミッドデータもSDSに追加される。画像処理とピラミッド生成が完了すると、圧縮されたSDS304はワークフローサブシステム106に送信され、アクティブデータ専用のNASディスクアレイ上のアクティブストレージパーティション107に移動される(図1参照)。
[00181]デジタル表示システム108は、ワークフローサーバからデジタル画像にアクセスし、画像(OOI308および/または標本全体画像302)の診断レビューのためにデジタル画像を表示するためのコンピュータ111およびモニタ109を含むワークステーションである。図1に示すように、イメージャサブシステム103は、ローカルエリアネットワーク(LAN、例えばイーサネット)、ワイドエリアネットワーク(WAN)、インターネット(例えば仮想プライベートネットワーク(VPN))、またはその他の適切なネットワークのうちの1つまたは複数を含み得る通信ネットワークを介して、ワークフローサブシステム106とデータ通信する。同様に、レビューステーション108は、ローカルエリアネットワーク(LAN、例えばイーサネット)、ワイドエリアネットワーク(WAN)、インターネット(例えば、仮想プライベートネットワーク(VPN))、またはその他の適切なネットワークのうちの1つまたは複数を含み得る通信ネットワーク113を介してワークフローサブシステム106とデータ通信する。
[00182]デジタル画像表示システム108は、レビュワー(例えば、細胞学者および/または細胞病理学者)がモニタ109上でスライド102のデジタル画像をレビューできるようにするために、ワークフローサブシステムから各スライド102のSDS304にアクセスするように構成される。図34を参照すると、各デジタル画像表示システム108は、コンピュータ111と、コンピュータモニタ109とを含む。コンピュータ111は、マイクロプロセッサ(CPU)、メモリ、記憶装置、およびネットワークアダプタを有する任意の適切なコンピュータであり得る。コンピュータ111は、大きなデジタル画像ファイルを処理する速度を向上するためのグラフィクス処理ユニット(GPU)を有してもよい。デジタル画像表示システム108はまた、キーボード、マウス、タッチパッドなどの入力デバイスを含み得る。モニタ109は、タッチスクリーンが入力デバイスとなるようなタッチスクリーンモニタであり得る。本明細書で説明するように、デジタル画像表示システム108は、通信ネットワーク113を介してワークフローサブシステム106とデータ通信する。
[00183]モニタ109は、標本スライド102のデジタル画像302を表示するために特別に構成されたカラーモニタであり得る。例えばモニタ109は、病理学または他の特定の用途で使用するための標本スライド102の表示のために、特定の解像度および/または色較正を有してもよい。例えば、細胞病理学では、色を使用してさまざまな種類の細胞を識別し、特定の種類の着色された染色および/または試薬を使用して、標本に印を付けるレビュワーによるレビュー用の標本を準備するようにしてもよい。例えば、米国特許第6,661,501号は、様々な染色およびその製造方法、細胞の核部分を細胞質部分と対比するための細胞学的または組織学的分析のための細胞の染色方法、ならびに細胞学的サンプルを照射するためのシステムおよび方法を記載しており、これらはデジタル撮像システム100で使用するための細胞学的標本を調製するのに適している。レビュワーがスライド102を適切にレビューするために、染色および/または試薬の効果が、モニタ109に表示されたときにデジタル画像上で検出可能でなければならない。換言すれば、デジタル撮像システム100は、モニタ109上で見られるスライド102のデジタル画像が、スライド102を見るために顕微鏡ベースのシステムを使用した実際のスライド102の外観と同じまたは実質的に同じに見えるように構成され得る。
[00184]図35を参照すると、デジタル画像表示システム108を使用して標本スライド102のデジタル画像302をレビューするための例示的なワークフローパス310が示されている。レビュワーは、ケース管理システム(ワークフローサブシステム106のワークフローサブシステム管理モジュール314のコンポーネント)に格納された複数のケース312から、ケース312にアクセスする。各ケース312は、1つまたは複数のデジタル画像302をそれぞれが有する1つまたは複数のSDS304を含むか、またはそれに関連付けられている。第1のレビュワー316(例えば、細胞学者)は、デジタル画像表示システム108上にケース312を引っぱりだす。
[00185]図36~44に示すように、表示システム108はレビューされるケース312のワークリストを表示することができ、第1のレビュワー316はそこからレビューのために選択することができる。図36に示すように、表示システム108はナビゲーションメニュー318を生成し、表示システム109のモニタ108上に表示する。図36は、ナビゲーションメニュー318を折りたたんで、モニタ109上に他の情報を表示するためのスペースを確保できることを示す。ナビゲーションメニュー318内の選択項目のいずれか1つを選択すると、表示システム108はそのメニュー選択項目内のケース312のリスト320を表示する。図37に示すように、リスト320は、レビュワー316が次にレビューすることを選択できるチェックボックス322を含む。リスト320はまた、リスト320内のすべてのケース312を選択する「すべてをチェック」ボックスを含む。
[00186]図38は、表示システム108の使用中に表示システム108によって表示される異なる画面の概要を示し、異なる画面オプション、およびケース312のタイプに応じた異なる画面レイアウトを含む。図38の左端では、表示システム108はログイン画面324を表示する。ユーザがログインした後、表示システム108は、ワークリスト画面326、328、または330のうちの1つを表示する。異なるワークリスト画面326、328、330は、異なる表示フォーマットを有する。ワークリスト画面326は、図40により詳細に示すように、リストされたケース312ごとに異なる情報のための異なる列を有する簡略化されたリストフォーマットでワークリストを表示する。ワークリスト画面328は、図41により詳細に示すように、タイルの2次元配列を有するタイル/グリッドフォーマットでワークリストを表示する。ワークリスト画面330は、図42により詳細に示すように、ケース312が各ケースの状態に応じて別々の列にタイルとして表示されるかんばん形式でワークリストを表示する。ユーザがワークリスト画面の1つからケース312を選択した後、表示システム108は、婦人科ケース(GYN)の場合はレビュー画面332に、または非婦人科ケース(NGYN)の場合はレビュー画面334に選択されたケースを表示する。婦人科ケースは、通常、単一のスライド102のみを含むので、レビュー画面332は、単一のスライド102のデジタル画像をレビューするための画面を表示するようにフォーマットされている。対照的に、非婦人科ケースは、典型的に複数のスライド102を含むので、レビュー画面334は複数のスライド102のデジタル画像をレビューするための画面を同時に表示するようにフォーマットされている。したがって、説明および図面を通してGYNケースへの言及は、単一のスライド102を有するケースを指し、NGYNは、複数のスライド102を有するケースを指すと見なされ得る。
[00187]図38を参照すると、ユーザがレビュー画面332、334のレビューを完了した後、表示システム108は、それがGYNケースかNGYNケースかに応じて、レビュー完了画面336または338を表示する。ユーザがレビュー完了画面336、338を終了した後、表示システム108は、ワークリスト完了画面340またはワークリスト保存画面342を表示する。ワークリスト完了画面340はユーザによって完了されたケース312のリストを表示し、ワークリスト保存画面342は着手したがまだ完了していないケースを意味する進行中のケース312のリストを表示する。
[00188]図39は、表示システム108が、異なるワークリスト画面326、328、330の間でトグルするように構成され得ることを示している。例えば、ワークリスト画面326、328、330は、ユーザが、入力デバイスを使用してカーソルまたは他の入力コマンドで選択して、表示システム108に所望のワークリスト画面を表示するように指示することができるワークリスト画面コマンド344を含み得る。
[00189]図40に転ずると、ワークリスト画面326の詳細が示されている。ワークリスト画面326には、各ケース312がそれぞれの行にある簡略化されたリストでユーザのケース312のワークリストが示され、各ケースに関する情報がそれぞれの行の異なる列に示される。「マイワークリスト(MY WORKLIST)」タイトルは、ワークリスト画面330内のケース312の数を示すケースカウント351を含む。ワークリスト画面326は、各ケース312について、スライド数インジケータ、アクセション番号、ケースタイプ、ステータス、および期限の情報欄を含む。スライド数インジケータは、ケース312が、スライドアイコン352で示される単一のスライドを有するか、ケース312内のスライドの数を示すファイルフォルダアイコン354で示される複数のスライドを有するかを示す。ワークリスト画面326はまた、表示システム108に、表示されたリスト内のケース312をフィルタリングするフィルタ機能346を含む。ワークリスト画面326にはまた、その日にユーザが完了したレビュー数を示す完了レビューカウンタ348が表示される。ワークリスト画面326はまた、ユーザが検索クエリを入力できる検索ボックス350を有し、その場合、表示システム108は検索クエリについてケース312の検索を実行する。表示システム108は、ユーザのワークリスト、アクティブストレージ107内のケース312のデータベース全体、またはケース312の他の所望のデータベースを検索するように構成され得る。
[00190]図41は、ワークリスト画面328の詳細を示す。ワークリスト画面328は、タイル/グリッド形式でユーザのケース312のワークリストを表示する。各タイルは、スライド数インジケータ、アクセション番号、ケースタイプ、ステータス、および期限を含む、ワークリスト326の列と同じか類似の情報を含む。ワークリスト画面328はまた、ワークリスト画面326と同様に、ケースカウント351、フィルタ機能346、レビュー完了カウンタ348、および検索ボックス350を含む。
[00191]図42は、ワークリスト画面330をより詳細に示す。ワークリスト330は、ユーザのケース312のワークリストをかんばん形式で示しており、各ケースのステータスに応じてケース312が別々の列にタイルとして表示される。タイルは、ワークリスト画面326のタイルと実質的に同じである。タイルは、一次レビュー待ちの列356、レビュー中の列358、および一次レビュー完了の列360の3つの列に配置される。各タイルは、スライド数インジケータ、アクセション番号、ケースタイプ、ステータス、および期限を含む、ワークリスト326の列と同じか類似の情報を含む。一次レビュー完了列360のケース312は、一次レビュー待ちの列356、レビュー中の列358のケース312よりもコントラストを落として(例えば、グレーアウトして)表示され、完了すべきタスクから気が散らないようにしつつ、ユーザが進捗を確認できるようになっている。ワークリスト画面330はまた、ワークリスト画面326、328と同様に、ケースカウント351、フィルタ機能346、完了レビューカウンタ348、および検索ボックス350を含む。
[00192]図43は、ワークリスト画面326、328、330のいずれかにおいて表示システム108に表示され得る詳細パネル361を示している。この機能はワークリスト画面326についてのみ表示されているが、ワークリスト画面328および330でも同様に使用することができる。ワークリスト画面326は、詳細ボタン362を含む。ユーザがケース312をクリックするなどしてワークリスト内のケース312の1つを選択すると、図45に示すように、表示システム108はそのケースをリスト内で強調表示する。次に、ユーザが詳細ボタン362をクリックすると、表示システム108は、例えば、進捗インジケータ364、撮像日366、ケース312の担当レビュワー名、およびケース履歴368を含む、選択されたケース312の追加の詳細を含む詳細パネル360を表示する。詳細パネル360の幅は、それを広げたり狭くするように調整することができ、これにより、メインリストもそれぞれ狭くなったり広くなったりする。
[00193]図44は、ワークリスト画面326、328、330のいずれかにおけるケース312のステータスを表示するグラフィカルステータスインジケータ370の使用を示している。ワークリスト画面326についての図44のグラフィカルステータスインジケータ370は、特定のステータス、例えば「進行中」のステータスを有する各列の左側に沿った色付きの線である。ワークリスト画面328、330のタイルも同様に、便利で見やすいステータスインジケータを提供するために、色付きの線または色付きの境界線を含んでもよい。
[00194]図35に戻ると、レビュワー316がワークリスト画面326、328、330からレビューするケース312を決めたら、このレビュワー316はワークリスト画面326、328、330から当該ケース312を選択する。ケース312の選択を受信すると、表示システム108は、ワークフローサブシステム106のアクティブストレージ107から選択されたケース312のSDS304にアクセスし、ケース312を表示システム108にロードする。選択されたケース312のSDS304をロードすると、表示システム108は、ケース312のレビュー画面を表示する。レビュー画面は、選択した症例312がGYNケースであるかNGYNケースであるかによって異なってもよい。
[00195]図45は、例示的なGYNレビュー画面332を示している。GYNレビュー画面332は、画面の上部にケース識別パネル374を有する。ケース識別パネル374は、アクセション番号、ケースタイプ(例えば、GYNまたはNGYN)、レビュー期限、撮像日、患者情報(例えば、氏名、生年月日、年齢など)、およびレビュワーの識別情報を含む。GYNレビュー画面332は、OOIパネル376、メイン画像パネル378、およびレビュワー選択画像パネル380を有する。
[00196]表示システム108は、選択されたケース312のデジタル画像302をメイン画像パネル378に表示する。ユーザは、GYNレビュー画面332に表示されるコマンド、および/または表示システム108の入力デバイスを用いて選択可能なコマンドを使用して、メイン画像パネル378内のデジタル画像302の周りをズームおよびパンすることができる。表示システム108はまた、以下に説明するように選択されたときに、OOI画像382の領域を表示する。
[00197]表示システム108は、システムがデジタル画像302全体をスキャンしてメイン画像パネル378に表示する、デジタル画像全体のスキャン機能を有してもよい。デジタル画像全体のスキャン機能は、レビュー画面332上に選択可能なボタンを有する選択可能な機能であり得る。デジタル画像全体のスキャン機能により、ユーザは、ズームコマンドまたはレビュー画面332に表示される選択可能なコマンドを使用するなどして、デジタル画像302が自動的にスキャンされるズームレベルを設定することができる。デジタル画像全体のスキャン機能は、選択されたズームレベルでデジタル画像302全体をスキャンして、メイン画像パネル378に表示する。スキャンパターンは、スライド102を撮像するためのスキャンパターンと同様の蛇行パターン、同一方向(例えば、左から右)への行ごとのスキャン、列ごとのスキャン、または他の適切なスキャンパターンであってよい。デジタル画像全体のスキャン機能はまた、ユーザがスキャンを停止(すなわち、一時停止)および開始し、停止時間を設定し、スキャンの速度を設定し、および/またはスライドの領域数(例えば、2000個の最重要領域、20個の最重要領域など)を設定できるようにするユーザ選択可能なコマンドを含み得る。デジタル画像全体のスキャン機能はまた、デジタル画像302上のすべてのオブジェクト(例えば、各細胞または他のオブジェクト)で停止するためのユーザ選択可能なオプションを有してもよい。すべてのオブジェクトで停止するオプションを使用すると、ユーザは設定された停止時間だけ、またはユーザが選択可能なオプションを選択してスキャンを続行するまで停止することができる。
[00198]OOIパネル376は、SDS304内の各OOIのOOI位置データ308に対応するデジタル画像302の領域の複数のOOI画像382を含む。OOI画像382は、デジタル画像302の縮小画像(ズームアウト画像)である。ユーザがOOI画像382の1つを選択すると、選択されたOOI画像382のデジタル画像302の領域が、拡大サイズで(すなわち、OOI画像382と比較して拡大されて)メイン画像パネル378に表示される。メイン画像パネル378には、OOI画像382の領域を最初に表示するためにズームおよび移動されているものの、依然としてデジタル画像302を表示しているため、ユーザはデジタル画像302について説明したのと同じ方法で、選択されたOOI画像382の領域の周りをズームおよびパンすることができる。OOI画像はまた、OOI画像382上の「+記号」などで、類似検索(show similar)コマンド384を含み得る。ユーザが、選択されたOOI画像382に対して類似検索コマンド384を選択すると、表示システム108は、選択されたOOI画像382と類似した特性を有する追加のOOI画像382を表示する。例えば、表示システム108は、選択されたOOI画像382に類似するものとして、SDSに含まれる3~6個の追加のOOI画像382を表示することができる。追加のOOI画像382は、選択されたOOI画像382内のオブジェクトと1つまたは複数の特性を共有する細胞などのオブジェクトを含む。1つまたは複数の追加のOOI画像382は、同じ標本全体デジタル画像302から取得されてもよいし、選択されたOOI画像382内のオブジェクトと1つまたは複数の特性を共有する、以前に分類されたオブジェクトを含む画像のライブラリから取得されてもよい。
[00199]レビュワー選択画像パネル380は、GYNレビュー画面332の領域であり、レビュワー316は、1つまたは複数のOOI画像382、レビュワーがOOIとして追加した他の画像、またはレビュワーが特に関心があるものとして選択したデジタル画像302上の任意の他の画像/場所を配置することができる。例えば、OOI画像382は、病理学者などの第2のレビュワー317によるレビューのために選択されてもよい。
[00200]図46は、例示的なNGYNレビュー画面334を示している。本明細書で説明するように、GYNケースとNGYNケース312との主な違いは、GYNケースが単一のスライド102のデジタル画像302を含むのに対して、NGYNケース312はケースに関連する複数のスライドのそれぞれについての1のデジタル画像302を含むことである。NGYNレビュー画面334は、メイン画像パネル378およびレビュワー選択画像パネル380など、GYNレビュー画面332と同じ機能の多くを有する。
[00201]さらに、NGYNレビュー画面334は、NGYNケース312がデジタル画像302を有する各スライド102の一覧を示すスライドリスト388を有する。NGYNケース312の各スライド102は、文字や数字などの識別子を備えたスライドリスト388内のスライドアイコン387で表される。レビュワーがスライドリスト388でスライド102を選択すると、表示システム108は、選択されたスライド102のデジタル画像302をメイン画像パネル378に表示する。選択されたスライド102は、それが現在表示されているスライド102であることを示すために、スライドリスト388において強調表示されてもよい。表示システム108は、レビュワーが、上記のようにGYNケース312と同じ方法でデジタル画像302と相互作用できるようにする。レビュワーは、スライドリスト388内のスライド102のそれぞれを選択することができ、表示システム108は、スライド102のそれぞれについて表示プロセスを繰り返す。NGYNレビュー画面334はまた、レビューされたNGYNケース312のスライド数とNGYNケース312のスライド総数を示すスライドカウント392を含み得る。
[00202]図47は、NGYNレビュー画面394の別の例を示し、これはNGYNレビュー画面334と同様であるが、スライドリスト388がより広く、スライドアイコン387が個々のスライド102のそれぞれをよりよく示すために大きくなっている。
[00203]GYNレビュー画面332およびNGYNレビュー画面334、394を含む任意のレビュー画面はまた、レビュー画面に表示されているデジタル画像302のSDSからの他のデータを表示してもよい。レビュー画面は、1つまたは複数のOOIについて特定された特性を表示してもよい。レビュー画面は、各OOI画像382について、選択されたときに当該OOI画像382について特定された特性を示すようにする選択可能なオプション(上記の「+記号」と同様)を含んでもよい。特定された特性は、ポップアップウィンドウに表示されてもよい。レビュー画面はまた、OOI画像382に関連する機械学習の特徴付け/診断を表示してもよい。レビュー画面は、ポップアップウィンドウなどで、OOI画像382の特徴付け/診断を表示するために選択することができる、各OOI画像382に選択可能なオプションを含んでもよい。レビュー画面には、SDS304からのスライド統計情報を表示してもよい。スライド統計情報の表示は、ポップアップウィンドウにスライド統計情報を表示する選択可能なオプションに応答して行われてもよいし、あるいはスライド統計情報は、ケース識別パネル374またはレビュー画面の他の場所に自動的に表示されてもよい。
[00204]図58~61は、OOI画像382および/またはデジタル画像302へのコメントの追加、画面の共有、およびOOI画像382および/またはデジタル画像302のブックマークなどの追加機能を有するレビュー画面を示す。これらの追加機能およびグラフィカルユーザインターフェースのいずれか1つまたは複数が、図示され、本明細書で説明されるレビュー画面のいずれかに含まれてもよいことを理解されたい。
[00205]図58は、レビュワーがコメントを追加することができ、および/またはOOI画像382および/またはデジタル画像102上にマーク/描画できるように構成された例示的なGYNレビュー画面420を示す。レビュー画面420は、図47のレビュー画面332に類似しており、図47のレビュー画面332とほとんど同じ特徴を有する。図58に示すように、レビュー画面420は、コメントパネル422を含む。レビュー画面420は、コメント追加コマンド424を有する。レビュワーがコメント追加コマンド424を選択すると、レビュー画面420においてレビュワーは、OOIパネル376内、またはメイン画像パネル378に表示されたOOI画像382またはデジタル画像302上で、OOI画像382のコメント領域432を選択することができる。そして、レビュワーは、コメントパネル422にテキストコメント426を追加することができる。このようにして、レビュワーは、OOI画像382またはデジタル画像302上の特定のオブジェクトに向けたコメントを行うことができる。コメントパネル422は、コメントID428(例えば、数字や文字)、レビュワーID430(例えば、レビュワーの名前または他の識別子)、およびコメントテキスト426を表示する。レビュワーは、コメント追加コマンド424を選択し、プロセスを繰り返すことによって、コメントを追加することができる。コメントテキスト426、コメント領域432、コメントID428、およびレビュワーID430を含むコメントは、それぞれのスライド102のSDS304に格納される。コメントパネル422により、他のレビュワーが前のレビュワーのコメントを確認し、同じプロセスを用いてコメントを追加することができる。他のレビュワーのコメントは、コメントID428および/またはレビュワーID430が異なる。レビュワーは、コメント領域の選択をスキップし、単にコメントパネル422内にテキストコメント426を含めることによって、全体的なスライドレベルのコメントを追加することができる。あるいは、レビュー画面420は、コメントパネル422と同様の別個の全体的なスライドレベルのコメントパネルを含んでもよい。
[00206]図59は、レビュワーが記録された音声コメント(例えば、口述されたコメント)をデジタル画像102のケース312に追加すること、および/またはOOI画像382および/またはデジタル画像102上にマーク/描画できるように構成された例示的なGYNレビュー画面450を示す。レビュー画面450は、図47のレビュー画面332と類似しており、図47のレビュー画面332とほとんど同じ特徴を有する。図59に示すように、レビュー画面450は、口述コメントコマンド452を含む。レビュワーが口述コメントコマンド452を選択すると、レビュー画面450において、レビュワーが口述コメントを記録できるようになる。例えば、レビュー画面450は、口述コメントウィンドウ454を表示する。口述コメントウィンドウ454は、口述コントロールバー456を有する。口述コントロールバー456は、録音ボタン458、再生ボタン458、一時停止ボタン460、およびナビゲーションスライド462を有する。録音ボタン458は、音声コメントの録音を開始する。再生ボタン458は音声コメントを再生する。一時停止ボタン460は、録音または再生のいずれかを一時停止する。ナビゲーションスライド462は、レビュワーが記録されたコメント内で前後に進むことを可能にする。口述コメントコマンド452はまた、レビュー画面420と同様に、レビュワーがコメント領域432をマークできるようにしてもよい。したがって、レビュワーは、OOI画像382またはデジタル画像302上の特定のオブジェクトに向けたコメントを行うことができる。口述コメントウィンドウ454は、各音声コメントについて、コメントID428(例えば、数字や文字)、レビュワーID430(例えば、レビュワーの名前または他の識別子)、および口述コントロールバー456を表示する。レビュワーは、口述コメントコマンド452を選択し、プロセスを繰り返すことによって、口述コメントを追加することができる。録音された音声、コメント領域432、コメントID428、およびレビュワーID430を含む音声コメントは、それぞれのスライド102のSDS304に格納される。口述コメントウィンドウ454は、他のレビュワーが前のレビュワーの音声コメントを再生し、同じプロセスを使用して追加の音声コメントを追加できるようにする。他のレビュワーのコメントは、コメントID428とレビュワーID430が異なる。
[00207]図60は、第1のレビュワーが当該第1のレビュワーの画面を異なる表示システム108上の第2のレビュワーと共有し、第1のレビュワーが第2のレビュワーに第1のレビュワーの画面上のレビュー画面434の制御を与えることを可能にするように構成された例示的なGYNレビュー画面434を示す。換言すれば、第2のレビュワーの表示システム108には、第1のレビュワーの表示システム108に表示されているのと同じレビュー画面434が表示され、第2のレビュワーは、第2のレビュワーの表示システム108を用いて第1のレビュワーの画面上のレビュー画面434を制御できる。レビュー画面434は、画面共有コマンド436を有する。第1のレビュワーが画面共有コマンド436を選択すると、レビュー画面434は、ポップアップウィンドウなどの画面共有ウィンドウ438を表示する。画面共有ウィンドウ438は、第2のレビュワーの画面共有IDを要求する。第1のレビュワーは、第2のレビュワーの画面共有ID(例えば、名前、番号、コードなど)を入力し、エンターを押して、画面共有IDをワークフローサブシステム106に送信する。ワークフローサブシステム106は画面共有IDを検証し、その後、第1のレビュワーの表示システム108からのレビュー画面434を第2のレビュワーの表示システム108と共有する。レビュー画面434はまた、第1のレビュワーがレビュー画面434の制御を第2のレビュワーに渡せるようにする共有制御コマンド440を有する。画面共有コマンド436は、第1のレビュワーがコマンド436を選択することによってレビュー画面434の共有と共有解除を行うことができるトグルコマンドであり得る。同様に、共有制御コマンド440は、第1のレビュワーがレビュー画面434の制御の共有と共有解除を行うことができるトグルコマンドであり得る。また、画面共有コマンド436の選択により、チャットウィンドウ442を有効にすることができ、これは、レビュー画面434上の任意のオープンスペース、または移動可能なポップアップウィンドウに表示することができる。チャットウィンドウ442において、第1のレビュワーと第2のレビュワーとがチャットウィンドウ442でテキストチャットすることができる。さらに、レビュー画面434は、ワークフローサブシステムを介して、第1のレビュワーと第2のレビュワーとの間の音声または音声/ビデオ通信できるようにして、レビュワー間のオーディオまたはオーディオ/ビデオ通信を実現することができる。さらに、レビュー画面434は、追加のレビュワーに対して共有コマンドを繰り返すことによって、追加のレビュワーが第1のレビュワーのレビュー画面434を共有できるように構成することができる。
[00208]図61は例示的なGYNレビュー画面444を示し、ここでは例えばレビュワーがデジタル画像302のケース312をブックマークして、興味深いケース312およびデジタル画像302の参照ライブラリを作成できるように構成されている。レビュー画面444は、図47のレビュー画面332に類似しており、図47のレビュー画面332とほとんど同じ特徴を有する。図61に示すように、レビュー画面444は、ブックマークコマンド446を有する。レビュワーがブックマークコマンド446を選択すると、レビュー画面444は、レビュワーがコメントを入力できるようにするブックマークコメントウィンドウ448を表示する。例えばレビュワーは、当該レビュワーがケース312を関心のあるものとしてブックマークした理由についてコメントテキスト426を入力することができる。ブックマークコマンド446はまた、レビュー画面420と同様に、レビュワーがコメント領域432をマークできるようにしてもよい。ブックマークコメントウィンドウは、レビュー画面420と同様に、コメントID428およびレビュワーID430を含み得る。さらに、デジタル画像302のSDS304にも、コメントテキスト426、コメントID428、レビュワーID、およびコメント領域432を含むブックマークレコードが記録される。ワークフローサブシステム106は、ブックマークされたケース312を、興味深いケースの参照ライブラリなどの参照ライブラリに割り当てる。
[00209]レビュワーがスライドリスト388内のスライド102を選択してレビューした後、表示システム108は、それぞれのスライド102がレビューされたことを示す視覚的インジケータ390を提供する。例えば、図48に示されるスライドリスト388は、スライドリスト388内の各スライドアイコン387の上にドット390を有する。このドット390は、それぞれのスライド102がレビュワーによってレビューされたかどうかを示す。
[00210]図57は、レビュー画面414のさらに別の例を示し、これは図47のレビュー画面332に類似し、図47のレビュー画面332とほとんど同じ特徴を有している。主な違いは、レビュー画面414が、メイン画像パネル378内のデジタル画像302の標本領域全体を表示していることである。換言すれば、メイン画像パネル378の画像が完全にズームアウトされ、デジタル画像302の全体が表示されている。レビュー画面414はまた、メイン画像パネル378内の画像のズームを調整するズームスライダ416を有する。他のレビュー画面332、334、および394のいずれもまた、メイン画像パネル378において完全にズームアウトされたデジタル画像302全体を表示してもよく、またズームスライダー416も含んでもよい。
[00211]レビュワー316がケース312をレビューした後、レビュワー316は、レビュー画面332、334、394上でレビュー完了コマンド396を選択する(図45~47を参照)。レビュー完了コマンド396を受信すると、表示システム108は完了画面を表示する。図48は、レビューの結果、標本が正常であるとレビュワー316が判断した場合の、GYNケース312の完了画面336の例を示している。完了画面336は、GYNレビュー画面332と同じ機能を含み、さらにメイン画像パネル378上に表示される完了枠399を含み得る。レビュワー316は、「正常として完了」コマンド400を選択する。この正常完了コマンドを受信すると、表示システム108は、正常完了信号をワークフローサブシステム106に送信し、当該ケース312が正常と判断されたものとして更新する。図35のワークフロー図に示すように、選択されたケース312は、次に、完了したケースとしてファイルされるか、または品質管理にルーティングされるようにフラグが立てられる。第1のレビュワー316によって正常として完了したレビュー済みケースの割合は品質管理に送られ、品質管理チェックとして別のレビュワーによってレビューされる。品質管理チェックで、レビュワー316が1つまたは複数のケース312を誤って正常として完了させたかを判断してもよい。
[00212]完了枠399はまた、レビュワー316が選択されたケース312のレビューを完了しない場合に、「後で完了」コマンド401を含む。後で完了コマンド401を受信すると、表示システム108は、ケース312を進行中としてマークし、レビュワーのワークリストにケースを進行中のケースとして残す。
[00213]図49は、レビューの結果、レビュワー316が標本が異常であると判断した場合の、GYNケース312の完了画面336の例を示している。完了画面336は、GYNレビュー画面332と同じ機能を含み、さらにメイン画像パネル378上に表示される完了枠399を含み得る。標本スライド102に異常があると判断した場合、第1のレビュワー316は、病理医への送信コマンド404を選択する。すると、図35および52~54のワークフロー図に示すように、ワークフローサブシステム106によってケース312が病理医317にレビューされるようにスケジュールされる。次に、図35に示すように、病理医が表示システム108にログインし、表示システム108は、ワークリスト画面、レビュー画面、および完了画面を表示し、病理医が基本的に第1のレビュワー316と同じ方法でケースを選択、レビュー、および完了することができる。
[00214]レビュワーがケースのレビューを終了すると、レビュワーはワークリスト画面に戻ることができる。図50は、第1のレビュワー316によって異常として完了され、病理医レビューのために病理医に割り当てられたケース312の詳細パネル361を示すワークリスト画面340の例を示す。デフォルトでは、完了したケース312は、レビュワーが完了したケース312を非表示にすることを選択するまで、レビュワーのワークリストに残る。図50のワークリスト画面340は、選択された完了ケースをワークリスト画面340から非表示にするためのケース非表示コマンド406を表示する。デフォルトを変更して、完了したケースを自動的に非表示にするルールを適用することができる。図51は、完了したケース312が非表示になったワークリスト画面340を示している。
[00215]各ケース312のコメント、レビュー結果、およびステータスは、ワークフローサーバ106(例えば、データベースサーバ530、図63)内のスライドデータファイルに格納される。スライドデータファイルは、デジタル画像302、SDS304、スライド情報306、および/またはピラミッド/OOI308を含んでもよいし、またはそれは異なるデータファイルであってもよい。
[00216]図35に示すように、各ケース312の処分はその後、LIS408とデータ通信する臨床医コンピュータ410上の臨床医412がアクセスすることができる検査情報システム(LIS)408に入力されてもよい。
[00217]図35および52~56は、デジタル画像表示システム108およびワークフローサブシステム106を使用して、第1のレビュワー316(例えば、細胞学者)および第2のレビュワー317(例えば、病理学者)によるケース312のレビューのためのワークフローのいくつかの変形例を示す。図35および52~54に示すワークフローにおいて、「プル(Pull)」と「プッシュ(Push)」という用語は、レビュワーがレビュー待ちの撮像されたケースの中からケース312を引き出すか、あるいは、ケースがマネージャまたは自動化プロセス(例えば、ケース種類、ケース結果などのルールを用いたルールベースのアルゴリズム)によってレビュワーにケースが割り当てられるか(プッシュされるか)を示す。図55は、図35および52~54に示されるワークフローを完了する際の細胞学者および病理学者のための様々なシナリオを示すフローチャートを含む。図56は、図35および52~54に示すワークフローのさまざまなマネージャ/管理者の役割とシナリオを示すフローチャートを含む。
[00218]図63は、バックアップおよびアーカイブ機能を有する例示的なワークフローサーバ106のブロック図を示している。ワークフローサーバ106は、イメージャウェブサービスモジュール520、レビューステーションウェブサービスモジュール522、アーカイブサービスモジュール524、およびバックアップサービスモジュール525を含む、様々なバックアップおよびアーカイブサービスを実行するための複数のソフトウェアモジュールを含む。ワークフローサーバ106はまた、インターネット情報サービスサーバ526(例えば、MICROSOFT(商標)IIS)、セキュリティソフトウェアモジュール528(例えば、ASP.NETコア識別/許可)、スライドデータファイルのデータベース527を有するデータベースサーバ530(例えば、SQLデータベースサーバ)、画像リポジトリ532(例えば、RAIDストレージディスク上)、およびサーバーオペレーティングシステム534(例えば、Microsoft Server2016)を含む。イメージャウェブサービスモジュール520は、データベースサーバ530との間でデータを送受信するために撮像ステーション190が使用するように構成される。レビューステーションウェブサービスモジュール522は、レビューステーションアプリケーションをホストし、データベースサーバ530とデータを送受信するためのサービスを提供する。データベースサーバ530は、スライド情報306、ピラミッド/OOI308およびレビュー情報を含むSDS304を格納する。アーカイブサービスモジュール524は、スライドデータファイル、デジタル画像302、および/またはSDS304のアーカイブを実行する。バックアップサービスモジュール525は、デジタル画像ファイルやレビュー情報を含むスライドデータファイルのデータベースのバックアップを実行する。
[00219]バックアップモジュール525は、単一ディスク障害およびシステム障害から保護する。バックアップモジュール525は、データベースおよびスライド画像ファイル302をネットワークドライブ540に(例えば、WINDOWS(商標)のバックアップ機能を使用して)、またはクラウドストレージ542に(例えば、MICROSOFT AZURE(商標)バックアップエージェントを使用して)バックアップすることができる。バックアップの目的は、ローカルに保存されている情報をディスク障害などの災害から保護することである。バックアップがクラウドバックアップなどのリモートの場合、バックアップは、火災、洪水、その他の局地的インシデントなどの災害によって引き起こされる壊滅的な障害からも保護される。バックアップにより、システム障害からの復旧の一環としてデータベースとデジタル画像ファイルを復元することができる。
[00220]アーカイブサービスモジュール524は、データベースサーバ530内のローカルデータを削除し、それをより効率的に長期間保存するように構成される。これはまた、デジタル撮像システム100のストレージ要件を低減することによって、そのパフォーマンスおよび/またはユーザビリティを改善し得る。アーカイブされたデータは、リモートネットワークドライブ540またはクラウドストレージ542(例えば、MICROSOFT AZURE(商標)クラウドストレージまたはAMAZON Web Services(商標、AWS)クラウドストレージ)などの外部ストレージに格納される。アーカイブサービスモジュール524は、ユーザが、アーカイブするデジタル画像ファイル302、スライド情報306、ピラミッド/OOI308、および/またはレビュー情報を選択するためのポリシーを指定できるように構成される。アーカイブサービスモジュール524はまた、マクロ画像(システム100によって生成された場合、デジタル画像ファイル302の低解像度バージョン)をアーカイブすることができる。例えば、ユーザは、30日、15日、60日など、選択した期間を超えて最後にアクセスされたデータをアーカイブするポリシーを設定してもよい。アーカイブポリシーには、アーカイブを実行する設定時刻を含んでもよい(毎日のアーカイブの場合は毎日指定した時間、毎週のアーカイブの場合は日時など)。スライド102のデータがアーカイブされると、データベース527内の情報はアーカイブされないが、どのスライド102がアーカイブされたかを追跡するようにデータベース527が更新される。アーカイブサービスモジュール524の一実施形態では、アーカイブされるスライド102のピラミッド画像ファイル(例えば、OOI308)はアーカイブされない。アーカイブされたファイルおよびピラミッドファイルのローカルコピーは、データベース527および画像リポジトリ532から削除される。
[00221]図64を参照すると、アーカイブサービスモジュール524を使用してスライド102をアーカイブする方法600のフローチャートが示されている。ステップ602において、アーカイブサービスモジュール524は、アーカイブスケジュールを含むアーカイブポリシーを受信して保存する。ステップ604において、アーカイブスケジュールに従ってスケジュールされた時間に、アーカイブサービスモジュール524は、アーカイブのためのアーカイブポリシーを満たすスライド102を識別し、スライド102をアーカイブデータベーステーブルに配置する。ステップ606において、アーカイブデータベーステーブル内の各スライド102について、アーカイブサービスモジュール524は、データベース527および画像リポジトリ532からスライド画像ファイル302およびスライド情報306をアーカイブ外部ストレージ540、542にコピーする。コピーが成功すると、ステップ608において、アーカイブされた各スライドのスライドデータがデータベース527および画像リポジトリ532から削除される。ステップ610において、データベース527は、アーカイブされた各スライド102が正常にアーカイブされたことを示すべく更新される。ステップ612におあいて、アーカイブ履歴ログを格納する追加のアーカイブ履歴データベースも更新され得る。
[00222]アーカイブサービスモジュール524はまた、アーカイブされたスライド102のアーカイブされたスライドデータを検索するように構成される。アーカイブサービスモジュール524は、ワークフローサーバ106にインストールされたリトリーバウェブサービスを利用することができる。リトリーバウェブサービスは、リモートネットワークドライブであるか特定のクラウドストレージであるかなど、アーカイブのタイプに基づいて構成される。ユーザは、リトリーバウェブサービスを使用してアーカイブから検索されるスライド102を選択し、リトリーバは、スライド画像ファイル302、スライド情報306、マクロ画像および/またはその他のアーカイブデータを含む、選択されたスライド102のアーカイブされたスライドデータを外部ストレージ540、542からフェッチする。スライドデータの取得に成功すると、システム100は、本明細書で説明するように、OOI308を含むピラミッド画像データを再生成する。アーカイブサービスモジュール524は、検索されたスライド102のステータスに関して、アーカイブデータベーステーブルおよび/またはアーカイブ履歴データベースを更新する。取り出されたスライド102のそれぞれのSDS304は、ワークフローサーバ106のデータベース527および画像リポジトリ532に格納され得る。
[00223]特定の実施形態について図示し説明したが、上記の説明は、これらの実施形態の範囲を限定することを意図するものではなく、そのような開示は、説明および例示のみを目的として提供されることを理解されたい。したがって、添付の特許請求の範囲から逸脱することなく、開示された実施形態に対して様々な変更および修正を行うことができる。例えば、実施形態に記載された構成要素のすべてが必須ではなく、代替実施形態は、記載された構成要素の任意の適切な組み合わせを含み、構成要素の一般的な形状および相対的サイズは変更されてもよい。さらに、システムおよび方法を細胞学的サンプルについて説明したが、これは任意のタイプのサンプルのために構成および利用することができる。

Claims (15)

  1. 自動スライド撮像システムであって、
    スライド表面に固定された標本の画像を取得するように構成されたイメージャを具え、前記標本は、三次元ボリューム内に分散された複数のオブジェクトを含み、前記イメージャは取得された画像から標本全体画像を生成するように構成されており、
    前記イメージャは、前記スライドに対して非直交角度の光軸を有するデジタルカメラであって、前記三次元ボリュームの同じz軸で前記標本の複数のミクロ画像を取得するように構成されたデジタルカメラを有し、
    前記イメージャは、
    (a)前記デジタルカメラによってキャプチャされた各タイルについて、前記ミクロ画像を、標本深さにわたって異なる焦点面を表す複数のサブ領域に分割するステップと;
    (b)各タイルについて、前記サブ領域をz軸に沿って垂直方向に再構築して、焦点合成スタックを作成するステップと;
    (c)各ピクセルを同じ平面内の隣接するピクセルと比較し、ピクセルフォーカスを決定するためのアルゴリズムを使用して、各個々のオブジェクトのマージされた画像中の個々のオブジェクトについて、最良焦点の平面ピクセルを選択することにより、各タイルについての前記焦点合成スタックを単一平面のマージされた画像に変換するステップと;
    (d)マージされた画像をタイル状に並べて、それぞれのスワスを生成するステップと;
    (e)前記スワスをつなぎ合わせて、前記標本全体画像を生成するステップと
    によって前記ミクロ画像から前記標本全体画像を生成するように構成された画像プロセッサを有し、
    前記オブジェクトは、前記三次元ボリューム内のそれぞれのオブジェクトの個々の位置に関係なく、標本全体画像内で焦点を合わせて描写されることを特徴とする撮像システム。
  2. 請求項1に記載の撮像システムにおいて、前記三次元ボリュームは、長さ、幅、および厚さを有し、前記厚さは前記スライド表面に対してz軸を規定し、ここで標本のそれぞれのオブジェクトは、前記z軸に沿った異なる位置に配置されていることを特徴とする撮像システム。
  3. 請求項2に記載の撮像システムにおいて、前記イメージャは、さらに、前記スライド表面に対して非直交角度で前記標本のマクロ画像を取得するように構成されたマクロカメラを備え、
    前記取得された画像は、前記標本のマクロ画像を含むことを特徴とする自動スライド撮像システム。
  4. 請求項3に記載の撮像システムにおいて、前記マクロ画像は、前記スライド表面に配置された1つまたは複数の基準マーカを含み、前記イメージャは前記1つまたは複数の基準マーカに少なくとも部分的に基づいて、前記スライド表面上の標本の相対的な位置と境界を特定することを特徴とする撮像システム。
  5. 請求項4に記載の撮像システムにおいて、前記イメージャは、前記マクロ画像から特定される前記スライド表面上の標本の相対的な位置と境界に少なくとも部分的に基づいて前記ミクロ画像を取得するように構成されていることを特徴とする撮像システム。
  6. 請求項4または5に記載の撮像システムにおいて、前記イメージャは、
    前記スライドを着座させるように構成された第1の撮像プラットフォームと、前記スライドが前記第1の撮像プラットフォームに着座したときに前記マクロ画像を取得するように構成された前記マクロカメラと、
    前記スライドを着座させるように構成された第2の撮像プラットフォームと、当該第2の撮像プラットフォームに装着されたスライドに固定された標本のミクロ画像を取得するように構成された前記デジタルカメラとを具えることを特徴とする撮像システム。
  7. 請求項6に記載の撮像システムにおいて、前記イメージャは、前記ミクロ画像を取得するために、前記デジタルカメラおよび前記第2の撮像プラットフォームの少なくとも一方を他方に対して自動的に移動するように構成されることを特徴とする撮像システム。
  8. 請求項6または7に記載の撮像システムにおいて、前記デジタルカメラの光軸は、前記第2の撮像プラットフォームと非直交角度を形成することを特徴とする撮像システム。
  9. 請求項6乃至8のいずれかに記載の撮像システムにおいて、前記イメージャは、前記三次元ボリュームと同じz軸で前記標本のミクロ画像を取得するように構成されていることを特徴とする撮像システム。
  10. 請求項6乃至9のいずれかに記載の撮像システムにおいて、前記スライドは厚さを有し、前記ミクロ画像はそれぞれ、前記スライドの表面の下の少なくとも一部を含み、
    前記デジタルカメラは、前記スライドの厚さを通して前記標本の複数のミクロ画像を取得するように構成されていることを特徴とする撮像システム。
  11. 請求項6乃至10のいずれかに記載の撮像システムにおいて、前記標本は、カバースリップを通して標本のミクロ画像を取得するのに十分に透明であるカバースリップで覆われており、当該カバースリップは厚さを有し、前記デジタルカメラ(192)は、取得されたミクロ画像に前記カバースリップの深さの少なくとも一部を含むように構成されていることを特徴とする撮像システム。
  12. 請求項6乃至11のいずれかに記載の撮像システムにおいて、前記スライドは、x軸を規定する幅と、y軸を規定する長さとを有し、前記イメージャは、前記デジタルカメラがそれぞれのy軸位置でミクロ画像を取得するときに、前記デジタルカメラに対してy軸に沿ってスライドを平行移動するように構成され、各ミクロ画像は、前記スライド表面で特定された標本の境界に基づいた標本のx軸幅全体を含むことを特徴とする撮像システム。
  13. 請求項6乃至12のいずれかに記載の撮像システムにおいて、前記画像プロセッサは、1つまたは複数のコンピュータプロセッサ(CPU)及びグラフィックプロセッサ(GPU)を有するイメージャコンピュータを備えることを特徴とする撮像システム。
  14. 請求項13に記載の撮像システムにおいて、前記画像プロセッサは、前記標本内の関心のあるオブジェクトを識別し、前記標本全体画像とともに前記識別された関心のあるオブジェクトの画像を保存するように構成されることを特徴とする撮像システム。
  15. 請求項3乃至14のいずれかに記載の撮像システムにおいて、前記標本のマクロ画像は、スライド表面上のバーコードの画像を含み、前記イメージャが、前記バーコードから前記標本に関する情報を取得するように構成されることを特徴とする撮像システム。
JP2021523439A 2018-11-02 2019-10-09 デジタル撮像システムおよび方法 Active JP7566733B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862755151P 2018-11-02 2018-11-02
US201862755291P 2018-11-02 2018-11-02
US62/755,291 2018-11-02
US62/755,151 2018-11-02
PCT/US2019/055458 WO2020091965A2 (en) 2018-11-02 2019-10-09 Digital imaging system and method

Publications (3)

Publication Number Publication Date
JP2022506227A JP2022506227A (ja) 2022-01-17
JPWO2020091965A5 JPWO2020091965A5 (ja) 2022-10-17
JP7566733B2 true JP7566733B2 (ja) 2024-10-15

Family

ID=68345071

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021523439A Active JP7566733B2 (ja) 2018-11-02 2019-10-09 デジタル撮像システムおよび方法

Country Status (12)

Country Link
US (1) US11977215B2 (ja)
EP (1) EP3874313A2 (ja)
JP (1) JP7566733B2 (ja)
KR (1) KR20210084602A (ja)
CN (3) CN115903205A (ja)
AU (1) AU2019370154A1 (ja)
BR (1) BR112021004153A2 (ja)
CA (1) CA3112071A1 (ja)
IL (1) IL282815A (ja)
SG (1) SG11202102217SA (ja)
TW (1) TWI830803B (ja)
WO (1) WO2020091965A2 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2019370154A1 (en) 2018-11-02 2021-04-15 Hologic, Inc. Digital imaging system and method
JP2023502792A (ja) 2019-11-25 2023-01-25 ホロジック インコーポレイティド デジタル撮像システム及び方法
CN115479939A (zh) * 2021-06-16 2022-12-16 深圳迈瑞生物医疗电子股份有限公司 阅片机、阅片方法及阅片机的载物台的控制方法
WO2023278779A1 (en) * 2021-07-01 2023-01-05 Invenio Imaging, Inc. Systems and methods for preparing, imaging and analyzing cytologic samples
KR20240066530A (ko) * 2022-11-07 2024-05-16 스페클립스 주식회사 인공지능을 이용한 이미지 분석 기반 피부암 진단 방법
EP4390496A1 (en) * 2022-12-20 2024-06-26 HyprView A system for combining images of a sample from different digital imaging devices
KR102648424B1 (ko) * 2023-06-21 2024-03-15 주식회사 큐리오시스 슬라이드 정보를 디스플레이하는 장치 및 방법

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090231689A1 (en) 2007-05-04 2009-09-17 Aperio Technologies, Inc. Rapid Microscope Scanner for Volume Image Acquisition
JP2016099486A (ja) 2014-11-21 2016-05-30 富士フイルム株式会社 観察対象抽出処理装置、方法およびプログラム並びに観察画像撮像表示システム
JP2017107106A (ja) 2015-12-10 2017-06-15 キヤノン株式会社 顕微鏡システムおよびその制御方法
JP2017135437A (ja) 2016-01-25 2017-08-03 株式会社ディスコ 撮像装置
JP2017168123A (ja) 2007-05-04 2017-09-21 ライカ バイオシステムズ イメージング インコーポレイテッド 病理学における品質保証のためのシステムおよび方法
JP2018031798A (ja) 2012-07-25 2018-03-01 セラノス, インコーポレイテッドTheranos, Inc. 生物学的サンプルの画像分析および測定
WO2018094290A1 (en) 2016-11-18 2018-05-24 Tissuevision, Inc. Automated tissue section capture, indexing and storage system and methods
WO2018190055A1 (ja) 2017-04-13 2018-10-18 浜松ホトニクス株式会社 画像取得システム及び画像取得方法

Family Cites Families (86)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5240606A (en) 1990-07-09 1993-08-31 Cytyc Corporation Apparatus for preparing cells for examination
US5269918A (en) 1990-07-09 1993-12-14 Cytyc Corporation Clinical cartridge apparatus
US5282978A (en) 1990-07-09 1994-02-01 Cytyc Corporation Specimen processor method and apparatus
US5143627A (en) 1990-07-09 1992-09-01 Cytyc Corporation Method and apparatus for preparing cells for examination
US5790710A (en) 1991-07-12 1998-08-04 Jeffrey H. Price Autofocus system for scanning microscopy
CA2132269C (en) 1993-10-12 2000-02-01 Rainer Hermann Doerrer Interactive automated cytology method and system
US6396941B1 (en) 1996-08-23 2002-05-28 Bacus Research Laboratories, Inc. Method and apparatus for internet, intranet, and local viewing of virtual microscope slides
US6272235B1 (en) 1997-03-03 2001-08-07 Bacus Research Laboratories, Inc. Method and apparatus for creating a virtual microscope slide
US6031930A (en) 1996-08-23 2000-02-29 Bacus Research Laboratories, Inc. Method and apparatus for testing a progression of neoplasia including cancer chemoprevention testing
US6562299B1 (en) 1998-09-18 2003-05-13 Cytyc Corporation Method and apparatus for preparing cytological specimens
US6572824B1 (en) 1998-09-18 2003-06-03 Cytyc Corporation Method and apparatus for preparing cytological specimens
US6847729B1 (en) 1999-04-21 2005-01-25 Fairfield Imaging Limited Microscopy
US6661501B1 (en) 1999-10-29 2003-12-09 Cytyc Corporation Cytological stain composition including verification characteristic
US7369304B2 (en) 1999-10-29 2008-05-06 Cytyc Corporation Cytological autofocusing imaging systems and methods
US6665060B1 (en) 1999-10-29 2003-12-16 Cytyc Corporation Cytological imaging system and method
US7006674B1 (en) 1999-10-29 2006-02-28 Cytyc Corporation Apparatus and methods for verifying the location of areas of interest within a sample in an imaging system
US7518652B2 (en) 2000-05-03 2009-04-14 Aperio Technologies, Inc. Method and apparatus for pre-focus in a linear array based slide scanner
US7668362B2 (en) 2000-05-03 2010-02-23 Aperio Technologies, Inc. System and method for assessing virtual slide image quality
US7738688B2 (en) 2000-05-03 2010-06-15 Aperio Technologies, Inc. System and method for viewing virtual slides
US6711283B1 (en) 2000-05-03 2004-03-23 Aperio Technologies, Inc. Fully automatic rapid microscope slide scanner
US7771662B2 (en) 2001-10-19 2010-08-10 Hologic, Inc Vial system and method for processing liquid-based specimens
CA2436043C (en) 2002-02-22 2006-01-10 Bacus Research Laboratories, Inc. Focusable virtual microscopy apparatus and method
US20030210262A1 (en) * 2002-05-10 2003-11-13 Tripath Imaging, Inc. Video microscopy system and multi-view virtual slide viewer capable of simultaneously acquiring and displaying various digital views of an area of interest located on a microscopic slide
US7116440B2 (en) 2003-02-28 2006-10-03 Aperio Technologies, Inc. Image processing and analysis framework
JP4391527B2 (ja) 2003-06-12 2009-12-24 サイティック コーポレイション 関心のある複数の対象物を関心のあるフィールド内で組織化するシステム
US8185317B2 (en) 2003-06-12 2012-05-22 Cytyc Corporation Method and system of determining the stain quality of slides using scatter plot distribution
HUP0301911A2 (hu) * 2003-06-24 2005-03-29 3Dhistech Kft. Tárgylemezadagoló-egység automatikus szkennelő mikroszkóphoz
US7372985B2 (en) 2003-08-15 2008-05-13 Massachusetts Institute Of Technology Systems and methods for volumetric tissue scanning microscopy
WO2005082231A1 (en) 2004-02-29 2005-09-09 Truphatek International Ltd Metal laryngoscope blade
US7666362B2 (en) 2004-03-31 2010-02-23 Becton, Dickinson And Company Micro-plate and lid for robotic handling
EP1756750A4 (en) 2004-05-27 2010-10-20 Aperio Technologies Inc SYSTEMS AND METHOD FOR PRODUCING AND LOOKING AT THREE-DIMENSIONAL VIRTUAL FOILS
US7456377B2 (en) 2004-08-31 2008-11-25 Carl Zeiss Microimaging Ais, Inc. System and method for creating magnified images of a microscope slide
HUP0401802A2 (en) 2004-09-02 2006-03-28 3D Histech Kft Focusing method object carriers on fast-moving digitalization and object carrier moving mechanics, focusing optic, optical distance-measuring instrument
US7556777B2 (en) 2005-03-08 2009-07-07 Cytyc Corporation Specimen vial cap handler and slide labeler
US7587078B2 (en) 2005-05-02 2009-09-08 Cytyc Corporation Automated image analysis
US8164622B2 (en) 2005-07-01 2012-04-24 Aperio Technologies, Inc. System and method for single optical axis multi-detector microscope slide scanner
US7869642B2 (en) 2006-01-31 2011-01-11 Agfa Inc. Window leveling system and method
CA2641635A1 (en) 2006-02-10 2007-08-23 Monogen, Inc. Method and apparatus and computer program product for collecting digital image data from microscope media-based specimens
JP4917330B2 (ja) 2006-03-01 2012-04-18 浜松ホトニクス株式会社 画像取得装置、画像取得方法、及び画像取得プログラム
JP4917329B2 (ja) 2006-03-01 2012-04-18 浜松ホトニクス株式会社 画像取得装置、画像取得方法、及び画像取得プログラム
JP4917331B2 (ja) 2006-03-01 2012-04-18 浜松ホトニクス株式会社 画像取得装置、画像取得方法、及び画像取得プログラム
JP4890096B2 (ja) 2006-05-19 2012-03-07 浜松ホトニクス株式会社 画像取得装置、画像取得方法、及び画像取得プログラム
US7945083B2 (en) 2006-05-25 2011-05-17 Carestream Health, Inc. Method for supporting diagnostic workflow from a medical imaging apparatus
US8010555B2 (en) 2006-06-30 2011-08-30 Aperio Technologies, Inc. System and method for managing images over a network
EP2036003B1 (en) 2006-06-30 2017-05-03 Leica Biosystems Imaging, Inc. Method for storing and retrieving large images via dicom
US7769219B2 (en) 2006-12-11 2010-08-03 Cytyc Corporation Method for assessing image focus quality
US9008378B2 (en) 2006-12-20 2015-04-14 The Board Of Trustees Of The Leland Stanford Junior University Arrangement and imaging of biological samples
US8116550B2 (en) 2006-12-20 2012-02-14 Cytyc Corporation Method and system for locating and focusing on fiducial marks on specimen slides
US7839551B2 (en) 2007-01-26 2010-11-23 New York University Holographic microscopy of holographically trapped three-dimensional structures
HU0700409D0 (en) 2007-06-11 2007-08-28 3D Histech Kft Method and system for accessing a slide from a remote workstation
JP4937850B2 (ja) * 2007-07-03 2012-05-23 オリンパス株式会社 顕微鏡システム、そのvs画像生成方法、プログラム
US8041147B2 (en) 2007-07-18 2011-10-18 3DHISTECH Kft; Method for realistic stitching image blocks of an electronically recorded multipart image
US7848019B2 (en) 2007-12-10 2010-12-07 Cytyc Corporation Microscope calibration apparatus and method and stage including calibration apparatus
US7675045B1 (en) 2008-10-09 2010-03-09 Los Alamos National Security, Llc 3-dimensional imaging at nanometer resolutions
JP5643210B2 (ja) 2008-10-24 2014-12-17 アペリオ・テクノロジーズ・インコーポレイテッドAperio Technologies, Inc. スライド全体蛍光スキャナ
US8463741B2 (en) 2009-09-04 2013-06-11 Omnyx, LLC Digital pathology system
US8564623B2 (en) 2009-12-11 2013-10-22 Molecular Devices, Llc Integrated data visualization for multi-dimensional microscopy
US8565503B2 (en) 2010-06-04 2013-10-22 Leica Biosystems Imaging, Inc. System and method to determine slide quality of a digitized microscope slide
TR201814942T4 (tr) 2010-06-15 2018-11-21 Anheuser Busch Inbev Sa Mikroskopide bir görüntü işlemden geçirme yöntemi.
EP2585869B1 (en) 2010-06-24 2018-09-12 Koninklijke Philips N.V. Scanning microscope system comprising an autofocus imaging system based on differential measurements
US9025850B2 (en) * 2010-06-25 2015-05-05 Cireca Theranostics, Llc Method for analyzing biological specimens by spectral imaging
US10139613B2 (en) 2010-08-20 2018-11-27 Sakura Finetek U.S.A., Inc. Digital microscope and method of sensing an image of a tissue sample
US20120075695A1 (en) * 2010-09-23 2012-03-29 Deblasis Christopher A Holder for carrying and facilitating auto-loading of microscope specimen slides
US8542274B2 (en) * 2010-10-18 2013-09-24 Olympus America Inc. Wide field microscopic imaging system and method
US8771978B2 (en) 2010-11-15 2014-07-08 Tissuevision, Inc. Systems and methods for imaging and processing tissue
US9041791B2 (en) 2011-02-01 2015-05-26 Roche Diagnostics Hematology, Inc. Fast auto-focus in imaging
JP2012177805A (ja) * 2011-02-25 2012-09-13 Olympus Corp 顕微鏡画像撮影装置
US8923568B2 (en) 2011-07-13 2014-12-30 Leica Biosystems Imaging, Inc. Standardizing fluorescence microscopy systems
JP5784435B2 (ja) 2011-09-20 2015-09-24 オリンパス株式会社 画像処理装置、蛍光顕微鏡装置および画像処理プログラム
CN103874917B (zh) 2011-10-12 2017-05-24 文塔纳医疗系统公司 多焦点干涉图像获取
US10319466B2 (en) 2012-02-20 2019-06-11 Medicomp Systems, Inc Intelligent filtering of health-related information
CN105122114B (zh) * 2012-12-06 2018-07-27 通用电气医疗集团生物科学公司 用于生物样本的分屏显示和用于捕捉其记录的系统和方法
JP2014130221A (ja) 2012-12-28 2014-07-10 Canon Inc 画像処理装置、その制御方法、画像処理システム、及びプログラム
JP6147006B2 (ja) * 2013-01-09 2017-06-14 オリンパス株式会社 撮像装置、顕微鏡システム及び撮像方法
US10176579B2 (en) 2013-03-15 2019-01-08 Ventana Medical Systems, Inc. Tissue object-based machine learning system for automated scoring of digital whole slides
JP7180964B2 (ja) 2014-01-17 2022-11-30 ザ・トラスティーズ・オブ・コロンビア・ユニバーシティ・イン・ザ・シティ・オブ・ニューヨーク 三次元イメージング装置および方法
US10061111B2 (en) 2014-01-17 2018-08-28 The Trustees Of Columbia University In The City Of New York Systems and methods for three dimensional imaging
US10746980B2 (en) 2014-08-26 2020-08-18 General Electric Company Calibration of microscopy systems
US20170034659A1 (en) 2014-11-13 2017-02-02 Y R Tech, LLC Mobile Social Activity Networking Systems and Methods
JP6295343B2 (ja) 2014-12-22 2018-03-14 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. サンプルの複数の深さで画像データを同時に収集する方法
US9836839B2 (en) 2015-05-28 2017-12-05 Tokitae Llc Image analysis systems and related methods
US10061972B2 (en) 2015-05-28 2018-08-28 Tokitae Llc Image analysis systems and related methods
CN105699147B (zh) * 2016-03-21 2019-04-12 厦门通灵生物医药科技有限公司 一种多通道载片安装插槽装置
DE102016110988A1 (de) 2016-06-15 2017-12-21 Sensovation Ag Verfahren zum digitalen Aufnehmen einer Probe durch ein Mikroskop
CN110140129B (zh) * 2016-12-30 2023-10-17 徕卡生物系统成像股份有限公司 使用双光学路径和单成像传感器的低分辨率载片成像和载片标签成像以及高分辨率载片成像
AU2019370154A1 (en) 2018-11-02 2021-04-15 Hologic, Inc. Digital imaging system and method

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090231689A1 (en) 2007-05-04 2009-09-17 Aperio Technologies, Inc. Rapid Microscope Scanner for Volume Image Acquisition
JP2017168123A (ja) 2007-05-04 2017-09-21 ライカ バイオシステムズ イメージング インコーポレイテッド 病理学における品質保証のためのシステムおよび方法
JP2018031798A (ja) 2012-07-25 2018-03-01 セラノス, インコーポレイテッドTheranos, Inc. 生物学的サンプルの画像分析および測定
JP2016099486A (ja) 2014-11-21 2016-05-30 富士フイルム株式会社 観察対象抽出処理装置、方法およびプログラム並びに観察画像撮像表示システム
JP2017107106A (ja) 2015-12-10 2017-06-15 キヤノン株式会社 顕微鏡システムおよびその制御方法
JP2017135437A (ja) 2016-01-25 2017-08-03 株式会社ディスコ 撮像装置
WO2018094290A1 (en) 2016-11-18 2018-05-24 Tissuevision, Inc. Automated tissue section capture, indexing and storage system and methods
WO2018190055A1 (ja) 2017-04-13 2018-10-18 浜松ホトニクス株式会社 画像取得システム及び画像取得方法

Also Published As

Publication number Publication date
BR112021004153A2 (pt) 2021-05-25
CA3112071A1 (en) 2020-05-07
CN115903205A (zh) 2023-04-04
US20210350112A1 (en) 2021-11-11
TW202403668A (zh) 2024-01-16
WO2020091965A2 (en) 2020-05-07
TW202036477A (zh) 2020-10-01
WO2020091965A3 (en) 2020-06-04
TWI830803B (zh) 2024-02-01
IL282815A (en) 2021-06-30
SG11202102217SA (en) 2021-05-28
US11977215B2 (en) 2024-05-07
EP3874313A2 (en) 2021-09-08
JP2022506227A (ja) 2022-01-17
CN113039472A (zh) 2021-06-25
CN115933154A (zh) 2023-04-07
KR20210084602A (ko) 2021-07-07
AU2019370154A1 (en) 2021-04-15

Similar Documents

Publication Publication Date Title
JP7566733B2 (ja) デジタル撮像システムおよび方法
US11927738B2 (en) Computational microscopy based-system and method for automated imaging and analysis of pathology specimens
Weinstein et al. An array microscope for ultrarapid virtual slide processing and telepathology. Design, fabrication, and validation study
US7305109B1 (en) Automated microscopic image acquisition compositing, and display
CN107255863B (zh) 数字显微镜
CN108982500B (zh) 一种宫颈液基细胞学智能辅助阅片方法和系统
JP6437947B2 (ja) 全自動迅速顕微鏡用スライドスキャナ
JP2011181015A (ja) 診断情報配信装置および病理診断システム
US20160062101A1 (en) Method and apparatus for small and large format histology sample examination
US20210233647A1 (en) Digital imaging system and method
TWI855779B (zh) 數位影像系統
Weinstein et al. Reinvention of light microscopy: array microscopy and ultrarapidly scanned virtual slides for diagnostic pathology and medical education
Prochorec-Sobieszek Future perspectives of digital pathology

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221005

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221005

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230926

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231226

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240326

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20240626

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240826

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240903

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20241002

R150 Certificate of patent or registration of utility model

Ref document number: 7566733

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150