Nothing Special   »   [go: up one dir, main page]

JP2024051137A - モノクロセンサでカラービデオを生成するための装置、システム、および方法 - Google Patents

モノクロセンサでカラービデオを生成するための装置、システム、および方法 Download PDF

Info

Publication number
JP2024051137A
JP2024051137A JP2024029662A JP2024029662A JP2024051137A JP 2024051137 A JP2024051137 A JP 2024051137A JP 2024029662 A JP2024029662 A JP 2024029662A JP 2024029662 A JP2024029662 A JP 2024029662A JP 2024051137 A JP2024051137 A JP 2024051137A
Authority
JP
Japan
Prior art keywords
light
monochrome
color
sequence
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2024029662A
Other languages
English (en)
Inventor
マーク ベレッタ
Berretta Marc
ジェイソン メカム
Mecham Jason
フランク メッティング
Metting Frank
ジョナサン ポーリン
Paullin Jonathan
ポール ベーショテン
Boeschoten Paul
エリック パースマーク
Persmark Erik
エリック アルテンドルフ
Altendorf Eric
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Life Technologies Corp
Original Assignee
Life Technologies Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Life Technologies Corp filed Critical Life Technologies Corp
Publication of JP2024051137A publication Critical patent/JP2024051137A/ja
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052Optical details of the image generation
    • G02B21/0076Optical details of the image generation arrangements using fluorescence or luminescence
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/06Means for illuminating specimens
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/06Means for illuminating specimens
    • G02B21/08Condensers
    • G02B21/086Condensers for transillumination only
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • G02B21/367Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/48Picture signal generators
    • H04N1/482Picture signal generators using the same detector device sequentially for different colour components
    • H04N1/484Picture signal generators using the same detector device sequentially for different colour components with sequential colour illumination of the original
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/125Colour sequential image capture, e.g. using a colour wheel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/74Circuits for processing colour signals for obtaining special effects
    • H04N9/76Circuits for processing colour signals for obtaining special effects for mixing of colour signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00Details of colour television systems
    • H04N2209/04Picture signal generators
    • H04N2209/041Picture signal generators using solid-state devices
    • H04N2209/042Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/044Picture signal generators using solid-state devices having a single pick-up sensor using sequential colour illumination

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Microscoopes, Condenser (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

【課題】機械的により簡単で、かつ拡張された使用の機会を提供する顕微鏡システムを提供する。【解決手段】 モノクロセンサでカラービデオを生成するための装置、システム、および方法は、(i)シーケンス内で複数の光源の各々に選択的に通電する行為と、(ii)シーケンスの各段階で、モノクロカメラで、照射されたサンプルのモノクロ画像を捕捉する行為と、(iii)モノクロ画像からカラービデオを生成する行為と、を含む。シーケンスは、一連の段階を有することができ、シーケンスの各段階は、光源からの異なる波長の光の活性化に対応して、サンプルを照射する。モノクロビデオを生成することは、単一の光源を用いてモノクロセンサで捕捉された複数のモノクロ画像を、モノクロビデオを含む一連のモノクロビデオフレームにコンパイルする行為を含むことができる。【選択図】図1

Description

本出願は、ビデオを生成するための顕微鏡検査装置、システム、および方法に関する。より具体的には、本出願は、モノクロセンサで捕捉された画像のシーケンスからカラービデオを生成するための装置、システム、および方法に関する。
序論
顕微鏡検査は、小さな、しばしば非常に小さな物体の観察に関係している。従来の顕微鏡は、このような小さな物体を拡大し、それによって見ることを可能にするためのレンズのシステムを組み込む。光学顕微鏡では、レンズのシステムは、小さな物体の拡大画像を顕微鏡の接眼レンズに向けるが、デジタル顕微鏡では、画像は、カメラまたは他の画像センサに合焦される。カメラは、モニターで表示するためにレンダリングされ、または後で見るために保存され得る画像情報を記録または中継する。そのような従来の顕微鏡は、しばしば大きく高価であり、特に高解像度で非常に小さな物体を見るために必要な精度のために、ほとんどのレンズベースの顕微鏡内の光学系は、繊細である。
顕微鏡は異なるタイプの撮像方法を可能にするために装備されているため、顕微鏡のコストおよび複雑さは、悪化する可能性がある。例えば、蛍光顕微鏡検査は、研究および臨床環境において一般的に使用されており、細胞または組織サンプル内の特定のマーカー、構造体、プロセス、またはオルガネラの存在、不在、量、機能、および局在を特定するために有利に使用され得る。蛍光顕微鏡検査を可能にする顕微鏡は、フルオロフォア励起源、典型的にはレーザーを必要とし、このことは顕微鏡の複雑さおよびコストを増大させる。蛍光顕微鏡検査用に構成された顕微鏡は、モノクロカメラが、同様の数のピクセルを有するカラーカメラよりも優れたコントラストおよびより高い解像度を提供する傾向があり、多くの場合より安価であるため、蛍光画像を捕捉するためにモノクロカメラを使用することが多い。
一方、カラーカメラは、カラー画像データの捕捉に有用であり、このことは、これまでのモノクロカメラでは不可能である。カラー撮像データ(例えば、画像およびビデオ)は、通常、白色光源およびカラーカメラを使用して取得される。特に、白色光は、生の画像データまたはカラー画像データのいずれかをディスプレイに提供するカラーカメラに、サンプルを通して均等に送られる。白色発光ダイオード(LED)は、均一に照明されたサンプルを提供するために、ディフューザとともに光源としてよく使用される。ミラーはまた、サンプルの画像をカラーカメラのレンズに反映するためによく使用される。
カラーカメラによって捕捉された画像データは、カメラ上のカラー画像に処理されて送信され得るか、または生データとして送信され、次いで画像処理ソフトウェアによってカラー画像に処理され得る。両方のタイプの画像データ(すなわち、モノクロ画像データおよびカラー画像データの両方)を収集する顕微鏡は、通常、モノクロカメラおよびカラーカメラの両方を必要とする。これらの顕微鏡は、機械的により複雑であり、画像捕捉を制御するための関連付けられるプロセス(例えば、モノクロカメラおよびカラーカメラのサンプル光経路への移動の制御、差分画像データ処理ステップなど)がまた、取得のタイプごとに顕微鏡の構成を制御する必要があるため、より複雑である。これらの顕微鏡は、機械的により複雑であり、画像捕捉を制御するための関連付けられるプロセス(例えば、モノクロカメラおよびカラーカメラのサンプル光経路への移動の制御、差分画像データ処理ステップなど)がまた、取得のタイプごとに顕微鏡の構成を制御する必要があるため、より複雑である。さらに、多くのカラーカメラは、赤色、緑色、および青色の構成要素光信号を別々に受信して解釈するために、ベイヤーパターンでピクセルを配置するか、またはベイヤーマスクを適用する。これは、全体的なカメラの感度、特に赤チャンネル内での感度を低下させる可能性があり、また、結果として生じる画像内に不十分な色合いを生成する可能性がある。
現在の顕微鏡システムのバルク、複雑さ、および費用は、それらの有用性を制限する。したがって、取り扱うことができる画像取得および処理の分野における多くの追加の問題および欠点の中で、機械的により簡単で、かつ拡張された使用の機会を提供する顕微鏡システムが必要とされている。
本明細書で開示される様々な実施形態は、モノクロカメラでカラービデオを生成するための装置、方法、およびシステムに関する。かかる実施形態は、例えば、顕微鏡システムを簡素化し、構成要素の数および顕微鏡システムの全体的なサイズを低減し、本質的に同じ機能を維持しながら顕微鏡システムのコストを低減することによって、顕微鏡システムを有利に改善する。
第1の態様は、モノクロカメラでカラービデオを生成するための方法を提供する。方法は、シーケンス内で複数の光源の各々に選択的に通電することを含む。シーケンスは、一連の段階を有し、シーケンスの各段階は、1つ以上の光源からの異なる波長の光の活性化に対応して、サンプルを照射する。方法は、追加的に、シーケンスの各段階で、モノクロカメラで、照射されたサンプルのモノクロ画像を捕捉する行為と、モノクロ画像から、カラービデオを生成する行為と、を含む。
モノクロカメラでカラービデオを生成するための開示される方法は、追加的に、シーケンスの各段階における対応する異なる波長の光に基づいて、モノクロ画像に色を割り当てる行為と、合成カラー画像を含む各ビデオフレームとともにビデオフレームのシーケンスをコンパイルする行為と、を含むことができる。合成カラー画像は、第1の波長の光を用いてシーケンスの第1の段階で捕捉された第1のモノクロ画像と、第2の波長の光を用いてシーケンスの第2の段階で捕捉された第2のモノクロ画像と、第3の波長の光を用いてシーケンスの第3の段階で捕捉された第3のモノクロ画像と、を含む。いくつかの方法は、いくつかの例では、赤色光、緑色光、および青色光の原色を含む、光源の強度を自動的にまたは手動で調整することによって、カラービデオのカラーバランスを調整するステップを含むことができる。
例示的な態様では、カラービデオを生成することは、第1のビデオフレームおよび第2のビデオフレームをコンパイルすることを含む。第1のビデオフレームの合成カラー画像は、シーケンスの第1のサイクルにおける第1の波長の光と関連付けられた第1のモノクロ画像と、シーケンスの第1のサイクルにおける第2の波長の光と関連付けられた第2のモノクロ画像と、シーケンスの第1のサイクルにおける第3の波長の光と関連付けられた第3のモノクロ画像と、を含む。第1のビデオフレームの後に時系列的に存在する第2のビデオフレームは、シーケンスの第2のサイクルにおける第1の波長の光と関連付けられた第2のモノクロ画像、第3のモノクロ画像、および第4のモノクロ画像を含む、合成カラー画像である。
いくつかの実施形態において、モノクロカメラでカラービデオを生成するための方法は、追加的に、(例えば、要求に応答して)サンプルのモノクロビデオを選択的に生成することを含むことができる。モノクロビデオを生成することは、単一の光源を用いてモノクロカメラで捕捉された複数のモノクロ画像を、一連のモノクロビデオフレームにコンパイルすることを含むことができる。一連のモノクロビデオフレームは、モノクロビデオを含む。
本明細書に開示される方法は、追加的に、カラー/モノクロビデオからのモノクロ画像の選択および表示を可能にする。
別の態様は、カラービデオを生成するための撮像装置またはシステムを提供する。装置またはシステムは、光アセンブリの光軸の周りに配設された複数の光源を有する、光アセンブリを含むことができる。光アセンブリは、シーケンス内で複数の光源に選択的に通電するように構成され得る。複数の光源は、例示的な例では、白色光源、赤色光源、緑色光源、および青色光源を含むことができる。装置またはシステムは、追加的に、光アセンブリの光経路内で生体サンプルを受容するように構成された、ステージアセンブリと、光経路内に配置され、かつシーケンスの連続的な段階に対応するモノクロ画像を生成するように構成された、モノクロカメラと、モノクロカメラと電気通信する画像プロセッサと、を含むことができる。画像プロセッサは、連続的な時点でモノクロ画像を受信し、モノクロ画像を複数のビデオフレームにコンパイルして、カラービデオを生成するように構成され得る。
開示される撮像装置またはシステムは、追加的に、光軸と整列された顕微鏡対物レンズと、光軸と整列されたレンズチューブと、を含むことができる。撮像装置またはシステムは、追加的に、光軸と整列され、かつ光アセンブリを囲むように位置付けられた、光バレルを含むことができ、光バレルは、その中に位置付けられた光拡散器を有する。光バレルは、追加的に、距離を置いて光拡散器から離れて配置された第2の光拡散器と、第2の光拡散器に隣接して位置付けられ、かつ光拡散器から第2の距離だけ離れて配置された第3の光拡散器と、を含むことができる。
開示される撮像装置もしくはシステムまたはその構成要素は、1つ以上のプロセッサと、システムに、本明細書に開示される方法のうちの1つ以上の方法行為を実行させるための1つ以上のプロセッサによって実行可能である、そこに記憶されたコンピュータ実行可能命令を有する、1つ以上のコンピュータ可読媒体と、を含む、モノクロ画像からカラービデオを生成するための装置またはシステムに組み込まれ得る。
本開示の追加の特徴および利点は、以下の説明に記載されており、一部はその説明から明らかであるか、または本開示の実施によって習得され得る。本開示の特徴および利点は、添付の特許請求の範囲で特に指摘される手段および組み合わせによって実現および取得され得る。本開示のこれらおよび他の特徴は、以下の説明および添付の特許請求の範囲からより完全に明らかになるか、または以下に記載される本開示の実施によって習得され得る。
本開示の上記に列挙されたおよび他の利点および特徴を得ることができる様式を説明するために、上記で簡単に説明した本開示のより具体的な説明は、添付の図面に示されているその特定の実施形態を参照することによって描出される。これらの図面は、本開示の典型的な実施形態のみを示し、したがって、その範囲を限定するものと見なされるべきではないことを認識されたい。本開示は、以下の添付の図面の使用を通じて、さらなる特異性および詳細とともに記述および説明される。
本明細書に開示または想定される特徴を組み込むシステムの例示的な実施形態を示している。 照明コンデンサおよびカメラの簡略化された概略図を示しており、照明コンデンサとカメラとの間にサンプルが配置されている。 シーケンス内でサンプルを照射するように構成された例示的な照明コンデンサの組み立てられた斜視図を示している。 図3の照明コンデンサの断面図を示している。 本明細書に開示された照明コンデンサとともに使用するように構成された光アセンブリの一実施形態の概略図であり、電気的接続および光源の例示的な構成を示している。 カラービデオを生成するための連続的な照明およびモノクロ画像の捕捉を調整するための例示的な配線/通信図を示している。 カラービデオを含むカラービデオフレームのシーケンスを形成するために、モノクロカメラで捕捉されたモノクロ画像のストリームから画像を選択するための一実施形態を示す図である。 カラービデオを含むカラービデオフレームのシーケンスを形成するために、モノクロカメラで捕捉されたモノクロ画像のストリームから画像を選択するための別の実施形態を示す図である。 カラービデオを含むカラービデオフレームのシーケンスを形成するために、モノクロカメラで捕捉されたモノクロ画像のストリームから画像を選択するためのさらに別の実施形態を示す図である。
本明細書で使用されるように、単数形で現れる単語は、その複数形の対応物を包含し、複数形で現れる単語は、暗黙的または明示的に理解されるか、または別様に記載されない限り、その単数形の対応物を包含する。さらに、本明細書に記載される任意の所与の構成要素または実施形態について、その構成要素について列挙される可能性のある候補または代替物のうちのいずれも、暗黙的または明示的に理解されるか、または別段に記載されない限り、一般に、個別に、または互いに組み合わせて使用され得ることが理解される。加えて、そのような候補または代替物の任意のリストが、暗黙的または明示的に理解されるか、または別段に記載されない限り、単なる例示であり、限定的ではないことが理解されるであろう。加えて、別段の指示がない限り、本明細書および特許請求の範囲で使用される量、成分、距離、または他の測定値を表す数値は、用語「約」によって修正されていると理解されるべきである。
したがって、反対に示されない限り、本明細書および添付の特許請求の範囲に記載される数値パラメータは、本明細書に提示される主題によって得られることが求められる所望の特性に応じて変化し得る近似値である。少なくとも、そして均等論の適用を特許請求の範囲の範囲に限定しようとするものではなく、各数値パラメータは、少なくとも、報告された有意な桁の数を考慮して、通常の丸め手法を適用することによって解釈されるべきである。本明細書に提示される主題の広範な範囲を示す数値範囲およびパラメータが近似値であるにもかかわらず、特定の実施例に示される数値は、可能な限り正確に報告される。しかしながら、いずれの数値も、それぞれの試験測定で見つかった標準偏差から必ず生じる特定の誤差を本質的に含む。
さらに、明細書および添付の特許請求の範囲で使用されるように、「上部」、「下部」、「左」、「右」、「上方」、「下方」、「上側」、「下側」、「近位」、「隣接」、「遠位」などの方向用語は、本明細書では、相対的な方向を示すためにのみ使用され、別様に本明細書または特許請求の範囲の範囲を制限することを意図していない。
撮像システムおよび方法の概要
顕微鏡は、非常に有用なツールであり、小さな、しばしば非常に小さな物体を見るおよび撮像するために使用され得る。しかしながら、顕微鏡検査の正確な性質には、複雑で高価な器具のセットが必要である。これは、各々が追加の構成要素を必要とする、利用可能な顕微鏡検査方法の様々な数およびタイプによってさらに複雑になる。例えば、単純な光学顕微鏡は、接眼レンズとカメラレンズとの間の視野領域を切り替えて、サンプルの写真またはビデオを撮影することを可能にするカメラで変更され得る。蛍光共焦点顕微鏡などのより複雑な方法では、デジタル顕微鏡は、サンプルに存在するフルオロフォアを励起するためのレーザーと、一連のマイクロメートルの薄いz断面を介してサンプルを進めるための自動モータで変更され得る。顕微鏡と関連付けられたデジタルカメラ(またはそれと関連付けられた他の画像センサ)は、z断面の各々で画像データを同期的に捕捉する。次いで、画像データは、サンプルの3次元モデルを作成するために、コンピューティングシステムによって処理される。本明細書で使用されるとき、カメラは、電荷結合デバイス、相補型金属酸化物半導体デバイス、N型金属酸化物半導体デバイス、Quanta画像センサ、科学的相補型金属酸化物半導体デバイスなどの前述の組み合わせ、およびこれに類するものを含むがこれらに限定されない、本明細書に記載の装置、システム、および方法と互換性のある任意の適用可能な画像センサを指す。
一般的な顕微鏡検査方法の多くを実行するように顕微鏡を設計することは、法外なコストになる可能性がある。各追加の特殊な構成要素が、既存の顕微鏡内で入手し、正常に実装するために追加の時間およびリソースを必要とするだけでなく、顕微鏡上に追加される各追加の構成要素は、顕微鏡の機械的および操作的な複雑さを増加させる。これは、機械的故障の可能性を増加させ、潜在的に顕微鏡の使用をより困難にする可能性がある。さらに、多くの顕微鏡構成要素は、コンピュータ実行可能命令(例えば、ソフトウェアアプリケーション)によって操作され、様々なソフトウェアアプリケーション間の非互換性により、改良された構成要素の組み合わされた使用が制限され、または効率が低下する可能性がある。
多くの顕微鏡は、サンプルの画像データを捕捉するように構成される。実用的および経済的な理由から、これらの顕微鏡の多くは、カラーカメラではなくモノクロカメラのみに(または主に)連結される。モノクロカメラは、幅広い顕微鏡検査方法で使用され得る高解像度の画像データの捕捉を可能にするが、カラー画像データが望ましい場合、またはそれが必要な場合は、モノクロカメラがカラーカメラに置き換えられる必要があるか、またはユーザはカラー画像データを捕捉するために特別に装備された顕微鏡を見つける必要があるかのいずれかである。いずれの場合も、追加のリソースおよび時間が必要である。
従来技術の顕微鏡システムの制限を克服するために、本明細書に開示されるシステムおよび方法は、モノクロカメラからのカラー画像データの取得を可能にすることによって顕微鏡を簡素化する。例示的な方法は、1次光スペクトルの各々で照射されたサンプルの画像(すなわち、赤色、緑色、および青色(RGB)波長)を連続的に捕捉し、その画像を単一の画像にコンパイルし、それによって、モノクロカメラを使用してサンプルのカラー画像を生成する。重要なことに、結果として得られるカラー画像は、画像処理技術によって取得される偽色の画像ではなく、むしろ、コンパイルされたカラー画像の各ピクセルは、あたかも白色光源を使用して画像が捕捉されたかのように、(赤色、緑色、および青色のモノクロ画像からそれぞれ取得された)RGB強度値を含んでいる。さらに、シーケンス内で異なる光源に選択的に通電し、高いフレームレートで画像捕捉を同期することによって、モノクロカメラによって捕捉された画像データを使用して、リアルタイムのカラービデオを含むカラービデオを生成することができる。例えば、第1のカラービデオフレームは、最も新しく捕捉されたRGBモノクロ画像のコンパイルであり得る。より新しい(すなわち、より最近の)赤色、緑色、または青色のモノクロ画像を捕捉すると、古いモノクロ画像をより新しいモノクロ画像に置き換える第2のカラービデオフレームが、コンパイルされ得る。この処理は、より新しいRGBモノクロ画像が捕捉されるにつれて継続され、このようにして生成されたカラービデオフレームを連結すると、結果としてカラービデオが生じる。
この技術の適用は、モノクロカメラを既に装備している顕微鏡を、適切なハードウェアおよび/またはソフトウェアの変更を伴って修正し、それにより、カラーカメラを使用せずに、カラー画像データ、特にカラービデオを生成する能力を得ることを可能にすることによって、現在の顕微鏡システムを改善するために使用され得る。カラー画像データの生成を依然として可能にしながら、カラーカメラの必要性を除去することによって、開示されるシステムおよび方法は、それらの有用性を拡大するか、または少なくともそれらの機能性を低下させない一方で顕微鏡システムのコスト、ならびに機械的および動作的な複雑さを低減する。そのような複雑さの低減は、顕微鏡のフットプリントを有利に低減し、機械的故障の可能性を低減することができ(例えば、可動部品が少なく、顕微鏡構成要素の取り扱いが少ないため、摩耗が少なく、偶発的な損傷の発生率が低くなる)、これにより、顕微鏡の寿命を延ばすことができ、運用コストを削減することができる。
さらに、モノクロカメラを利用して、カラー画像データを生成することによって、顕微鏡は、より汎用性が高く、かつ効率的なツールになる。例えば、このような顕微鏡は、異なるカメラ間の切り替えを必要とせず、または光学フィルタを必要とせずに、カラービデオの生成からモノクロビデオの生成に切り替えることができる。同様に、このような顕微鏡は、異なるカメラ間の物理的な切り替えを必要とすることなく、モノクロビデオの生成からカラービデオの生成に切り替えることができる。これは、時間およびエネルギーを節約し、よりダイナミックで応答性の高い顕微鏡を可能にする。
明らかに、本明細書に開示されるシステムおよび方法は、従来技術の顕微鏡システムおよび方法よりも著しい利点を提供する。カラーカメラは、典型的には、3つの構成要素の原色のうちの1つを個別に取得するピクセルの配列を含む。これは、配列全体に構成要素固有のピクセルを均等に分散させること、パターンで構成要素固有のピクセルを整理すること、または各ピクセルが所与のピクセル位置で単色の強度情報のみを受信することを確実にするために、モザイクフィルタ(例えば、ベイヤーフィルタ)をオーバーレイすることによって達成され得る。各実例において、各構成要素の原色に関する解像度は、配列全体の解像度未満である。モノクロカメラの各ピクセルは光情報を記録するため、モノクロ画像は、同じピクセル数を有するカラーカメラを使用して捕捉されたカラー画像よりも高い単色解像度を有することになる。
また、本開示のシステムおよび方法によって生成されるカラー画像データは、モノクロカメラを使用して捕捉されたモノクロ構成要素のコンパイルであるため、各カラー画像またはカラービデオフレームは、モノクロカメラと同様のピクセル数を有するカラーカメラを使用して得られるものよりも高い解像度の画像/ビデオフレームであり得る。これにより、従来技術の顕微鏡システムおよび方法に比べて、画像データから抽出され得るデータの明瞭さ、および粒度が向上し(例えば、高解像度の単一構成要素画像をコンパイル済みの画像データから分析することができる)、従来、より安価なカメラであったより低い総ピクセル数のカメラを使用して、より高解像度のカラー画像データを生成することが可能になる。さらに、本明細書に記載される光源照明、画像取得、および画像処理の独自の調整は、カラー画像データの生成を高いフレームレートで実行することを可能にするため、リアルタイムまたはほぼリアルタイムのカラービデオを含むカラービデオでサンプルの表現を可能にする。
開示されるシステムおよび方法の態様は、画像処理を含む。したがって、本明細書に開示または想定される実施形態は、以下でより詳細に考察されるように、例えば1つ以上のプロセッサ等のコンピュータハードウェアを含む特定目的のコンピュータまたは汎用コンピュータを含むか、または利用し得る。実施形態はまた、コンピュータ実行可能命令および/またはデータ構造を運ぶまたは記憶するための物理的および他のコンピュータ可読媒体を含んでもよい。そのようなコンピュータ可読媒体は、汎用または特定目的コンピュータシステムによってアクセスされ得る任意の利用可能な媒体であり得る。コンピュータ実行可能命令を記憶するコンピュータ可読媒体は、物理的記憶媒体である。コンピュータ実行可能命令を運ぶコンピュータ可読媒体は、送信媒体である。したがって、限定するものではなく、例として、実施形態は、少なくとも2つの明らかに異なる種類のコンピュータ可読媒体、すなわち、コンピュータ記憶媒体および送信媒体を含むことができる。
コンピュータ記憶媒体は、RAM、ROM、EEPROM、CD-ROMもしくは他の光ディスク記憶装置、磁気ディスク記憶装置もしくは他の磁気記憶デバイス、またはコンピュータ実行可能命令もしくはデータ構造の形態で所望のプログラムコード手段を記憶するために使用され得、かつ汎用コンピュータもしくは特定目的コンピュータによってアクセスされ得る任意の他の媒体を含む。
「ネットワーク」は、コンピュータシステムおよび/またはモジュールおよび/または他の電子デバイス間の電子データの輸送を可能にする、1つ以上のデータリンクとして定義される。情報がネットワークまたは別の通信接続(ハードワイヤード、無線、またはハードワイヤードと無線の組み合わせのいずれか)を介してコンピュータに転送または提供されると、コンピュータは、接続を送信媒体として適切に認識する。送信媒体は、コンピュータ実行可能命令またはデータ構造の形態でデータまたは所望のプログラムコード手段を運ぶために使用され得、かつ汎用コンピュータまたは特定目的コンピュータによってアクセスされ得るネットワークおよび/またはデータリンクを含むことができる。上記の組み合わせは、コンピュータ可読媒体の範囲内に含まれるべきである。
さらに、様々なコンピュータシステム構成要素に到達すると、コンピュータ実行可能命令またはデータ構造の形態のプログラムコード手段は、送信媒体からコンピュータ記憶媒体に自動的に転送され得る(その逆もまた可である)。例えば、ネットワークまたはデータリンクを介して受信されたコンピュータ実行可能命令またはデータ構造は、ネットワークインターフェースモジュール(例えば、「NIC」)内のRAM内でバッファリングされ、その後、最終的には、コンピュータシステムRAMに、および/またはコンピュータシステムにおける揮発性の低いコンピュータ記憶媒体に転送され得る。したがって、コンピュータ記憶媒体は、送信媒体も(または主に)利用するコンピュータシステム構成要素に含まれ得ることが理解されるべきである。
コンピュータ実行可能命令は、例えば、汎用コンピュータ、特定目的コンピュータ、または特定目的処理デバイスに、特定の機能または一連の機能を実行させる命令およびデータを含む。コンピュータ実行可能命令は、例えば、バイナリ、アセンブリ言語などの中間フォーマット命令、またはさらにはソースコードであってもよい。本主題は、構造的特徴および/または方法論的行為に対して特有の言語で説明されているが、添付の特許請求の範囲で定義される主題は、必ずしも上記の特徴または上述の行為に限定されないことが理解されるべきである。むしろ、説明される特徴および行為は、特許請求の範囲を実施する例示的な形態として開示される。
当業者は、実施形態が、パーソナルコンピュータ、デスクトップコンピュータ、ラップトップコンピュータ、メッセージプロセッサ、ハンドヘルドデバイス、マルチプロセッサシステム、マイクロプロセッサベースまたはプログラマブル家電製品、ネットワークPC、ミニコンピュータ、メインフレームコンピュータ、タブレット、スマートフォン、ルータ、スイッチなどを含む、多くのタイプのコンピュータシステム構成を有するネットワークコンピューティング環境で実施され得ることを理解するであろう。実施形態は、ネットワークを介して(ハードワイヤードデータリンク、無線データリンク、またはハードワイヤードと無線データリンクの組み合わせのいずれかによって)リンクされたローカルおよびリモートコンピュータシステムが両方ともタスクを実行する分散システム環境において実施され得る。分散システム環境において、プログラムモジュールは、ローカルおよびリモートメモリ記憶デバイスの両方に位置してもよい。ある1つのエンティティのためのプログラムモジュールは、別のエンティティのデータセンター内または「クラウド内に」位置決めおよび/または実行されてもよい。
本明細書および以下の特許請求の範囲において、コンピュータシステムはまた、撮像システム(例えば、図1の撮像システム102)を含むように定義される。開示される撮像システムは、一連のモノクロ画像を捕捉し、その画像をビデオにコンパイルするように構成された特定目的コンピュータを含むことができる。ビデオは、好ましくはモノクロ画像のストリームから生成されるカラービデオであるが、撮像システムは、モノクロ画像の同じまたは異なるストリームからモノクロビデオを生成するように追加的に構成され得る。
図1は、本明細書に開示または想定される特徴を組み込む例示的なシステム100を示している。システム100の中心には、生体細胞などのサンプルが撮像されて、分析される撮像システム102がある。例示的な撮像システム102は、撮像デバイス104およびコンピューティングデバイス106を含むが、これらに限定されない。撮像デバイス104は、顕微鏡アセンブリ110に装着されたステージアセンブリ108を含む。ステージアセンブリ108は、顕微鏡アセンブリ110が細胞を撮像することができるように、サンプルを位置決めするために必要な構成要素(例えば、96ウェルプレートまたは細胞を含有するスライドなど)を収容するように構成される。撮像デバイス104内は、モノクロ画像データを捕捉するように構成されたモノクロカメラ(例えば、図2のモノクロカメラ114)である。いくつかの実施形態において、モノクロカメラは、撮像デバイス104によって生成された光経路内に同様に位置付けられ、サンプルを通して透過された光を捕捉する。
一般的な動作例では、撮像システム102の構成要素は、光アセンブリ116および/またはモノクロカメラ114と通信して、光源の選択的および周期的な通電、ならびに画像データの対応する捕捉を制御または調整するように構成される。例えば、コンピューティングデバイス106は、光アセンブリ116と電気通信して、複数の光源がいつ、またそのうちのどれが、どの強度で、どのくらいの時間、選択的に通電されるかを制御または指示することができる。コンピューティングデバイス106は、さらに、モノクロカメラ114と電気通信して、撮像捕捉周波数またはタイミングをインスタンス化または修正することができる。捕捉された画像データは、以下に記載されるように、カラー画像および/またはカラービデオを生成するようにさらに処理される。好ましい実施形態では、撮像システム102は、モノクロカメラ114を使用して、サンプルの照明および画像取得を高フレームレートで同期させて、サンプルのリアルタイムまたはほぼリアルタイムのカラービデオを含むカラービデオを生成する。
本明細書で使用される場合、用語「ビデオ」等は、毎秒6フレームに等しい、またはそれよりも速いフレームレートでの画像の表示を含むことを意図している。ビデオのフレームレートは、毎秒6、7、8、9、10、12、14、16、18、20、24、30、48、50、または60フレーム、ならびに毎秒6~60フレームの全ての他のレート、および毎秒60フレームを超えるフレームレートでの画像の表示を含むことができる。
本明細書で使用される場合、「リアルタイムのカラービデオ」等の用語は、画像データの任意の顕著なタイムラグまたは視覚的損失なしに、サンプルを表すビデオのほぼ同時の取得、処理、および記憶/表示を含むことが意図される。本明細書で使用されるように、「ほぼリアルタイムのカラービデオ」等という用語は、画像データのタイムラグまたは視覚的損失を含む、サンプルを表すビデオの取得、処理、および記憶/表示を含む。本明細書で使用されるようなほぼリアルタイムのビデオのタイムラグは、2~5秒未満、好ましくは1秒未満、より好ましくは0.5秒未満である。ほぼリアルタイムのビデオのデータの視覚的損失は、カラーバンディングアーチファクト、カラーバランスの欠如、または同様のものなどの視覚的アーチファクトを含み得、いくつかの実施形態において、データの視覚的損失は、本明細書に記載される画像処理技術を使用して軽減され得る。
コンピューティングデバイス106は、追加的に、(例えば、対物倍率を変更するための)顕微鏡アセンブリ110および/またはステージアセンブリ108(例えば、撮像前、撮像中、および/または撮像後にサンプルを位置決めし、合焦する)などの撮像システム102の他の構成要素と電気通信することができることを理解されたい。
図1を引き続き参照すると、ステージアセンブリ108は、撮像デバイス104上に装着され得るか、またはそれ以外の場合、撮像デバイス104と関連付けられ得、当該技術分野で既知のように、撮像デバイス104によって表示するためにサンプルを保持し、選択的に移動させるように構成された位置決め機構を含むことができる。当然のことながら、ステージアセンブリ108は、当該技術分野で既知のように、任意の3次元内で移動するように構成され得る。例えば、ステージアセンブリ108は、(例えば、撮像デバイス104によって生成された光経路に対して横方向であるx、y平面において)横方向に移動して、サンプルの異なる部分を光経路内に位置決めするように構成され得る。ステージアセンブリ108は、追加的または代替的に、例えば、ステッパモータおよびスクリュー/ナットの組み合わせなどの当該技術分野で既知の任意の機構を使用して、z方向(例えば、光経路に沿って異なる距離で各々配置された平行なx、y平面の間にある)に移動し、0.006μm/マイクロステップまで増分してカメラに向かう/カメラから離れるサンプルの段階的な移動を提供するように構成され得る。コンピューティングデバイス106は、ステージアセンブリ108(例えば、撮像前、撮像中、および/または撮像後にサンプルの位置決めおよび合焦する)および/または(例えば、対物倍率を変更するための)顕微鏡アセンブリ110などの撮像システム102の他の構成要素と電気通信することがさらに可能であることを理解されたい。
カメラで画像データを捕捉すると、データは、撮像デバイス104において、および/またはコンピューティングデバイス106と併せてローカルに分析および/または記憶され得る。これは、例えば、モノクロ画像を合成カラー画像/カラービデオフレームにコンパイルすること、および/またはモノクロ画像から(カラーまたはモノクロ)ビデオを生成することを含むことができる。コンピューティングデバイス106は、さらに、システムのためのコントローラとして使用されるだけでなく、それ自体によって、または撮像デバイス104と併せて、撮像デバイス104によって取得されたデータの分析および/または記憶を実行するためにも使用され得る。コンピューティングデバイス106は、上記に定義された汎用もしくは専用のコンピュータもしくはサーバ等、または任意の他のコンピュータ化デバイスを含むことができる。コンピューティングデバイス106は、当該技術分野で既知のように、撮像デバイス104と直接的に、またはネットワークを介して通信することができる。いくつかの実施形態において、コンピューティングデバイス106は、撮像デバイス104内に組み込まれる。いくつかの実施形態において、コンピューティングデバイス106は、選択的に通電する光源を画像取得と同期させるために、撮像デバイス104のカメラおよび光源に電子的に連結される。
システム100はまた、結果および/またはシステム構成を表示するためのユーザ表示デバイス112を含むことができる。撮像デバイス104および/またはコンピューティングデバイス106は、ユーザ表示デバイス112と直接的または間接的のいずれかで通信することができ、モノクロおよび/またはカラー画像データをユーザ表示デバイス112上に表示させることができる。例えば、コンピューティングデバイス106は、モノクロ画像からカラービデオを生成し、そのカラービデオを表示デバイス上に表示することができる。当然のことながら、生成されたビデオは、コンピューティングデバイス106によって生成されるときに、または表示される前に生成された記憶されたビデオファイルから生成されるときに、リアルタイムのビデオまたはほぼリアルタイムのビデオとして表示され得る。
一実施形態において、本明細書に記載の方法ステップのうちの1つ以上が、ソフトウェアアプリケーションとして実行される。しかしながら、実施形態は、これに限定されず、方法ステップはまた、ファームウェア、ハードウェア、もしくはファームウェアとハードウェアの組み合わせ、および/またはソフトウェアにおいても実行され得る。さらに、方法のステップは、撮像デバイス104、コンピューティングデバイス106、および/または他のコンピューティングデバイス上に全体的または部分的に存在することができる。
システムのデバイスのための動作環境は、1つ以上のマイクロプロセッサおよびシステムメモリを有する処理システムを含むか、または利用し得る。コンピュータプログラミングの当業者の実践に従い、実施形態は、別途示されない限り、処理システムによって実行される動作または命令の行為および記号表現を参照して以下に説明される。そのような行為および動作または命令は、「コンピュータ実施される」、「CPU実施される」、または「プロセッサ実施される」ものとして称される。
例示的な顕微鏡アセンブリ
上述したように、撮像システム102は、撮像デバイス104の一部として顕微鏡アセンブリ110を含むことができる。図2に示すのは、例示的な顕微鏡アセンブリ110、すなわち、照明コンデンサ111の一部分の簡略化された概略図である。簡略化された形態では、照明コンデンサ111は、1つ以上の光源118に選択的に通電して異なる波長の光(例えば、図2に示される、光源118から発せられる差分ハッチ線としての赤色、緑色、および青色の波長)を生成するように構成された光アセンブリ116と、放出された光の波長を均一に拡散し、サンプル109上に合焦するための1つ以上の光拡散器120および1つ以上のコンデンサレンズ122と、を含む。図2に示されるように、1つ以上の光源118によって生成された光は、照明コンデンサ111の1つ以上の光拡散器120および1つ以上のコンデンサレンズ122を通るように方向付けされ、ここで、それはサンプル109上で合焦される。照明コンデンサ111が作成した光経路に位置付けられたモノクロカメラ114は、サンプル109を通して透過された光を捕捉する。結果として生じるモノクロ画像は、カラービデオを含むカラービデオフレームにコンパイルされる。
図2の照明コンデンサ111の簡略化された図は、3つの均等に一定間隔で配置された光拡散器120および一対のコンデンサレンズ122を示しているが、開示されたシステム内で使用される照明コンデンサ、およびモノクロカメラを使用してカラービデオを生成するための方法は、任意の数および/またはタイプの光拡散器120およびコンデンサレンズ122を含むことができることを理解されたい。照明コンデンサは、特定の顕微鏡または顕微鏡検査方法、光源118によって放出される光の波長、所望の結果(例えば、サンプルの均一な照明)、または任意の他の理由に基づいて構成され得る。
照明コンデンサ111内の光拡散器120およびコンデンサレンズ122の数および位置決めは、とりわけ、サンプルを照射する光の均一性に影響を及ぼし得、モノクロ画像の解像度に個別に影響を与え、かつ一般的に、合成画像の解像度およびカラーバランスに影響を及ぼし得る。異なる波長の光のモノクロ画像は、カラー画像の構成要素チャネルとしてコンパイルされるため、不均一な照射光は、結果として生じる合成画像内でカラーバランスの問題を引き起こし得る。例えば、第1の波長の光(例えば、赤色光などの光の原色のうちの1つ)を使用するサンプルの不均一な照射は、サンプル内の色の実際の強度および分布を誤って表現する染みの多いまたは勾配的なモノクロ画像をもたらし得る。第2および/または第3の波長の光(例えば、第1の波長の光が赤色光であるときの、残りの原色である光-緑色および/または青色光)を有するサンプルの不均一な照射が存在する場合、特に、第2および/または第3の波長の不均一な照射が、第1の波長の光によって生成されるものとは異なる合焦または勾配光強度のパターンをもたらす場合に、この問題は複雑になり得る。そのような場合、第2/第3の波長の光から得られるモノクロ画像は、第1の波長の光から生成されるモノクロ画像に存在する不均一な照射のタイプと一致することができず、コンパイルされたときに、カラー画像の構成要素チャネルの各々に通知する強度情報は、サンプルの実際の着色と比較して歪んだおよび変色した画像を引き起こすことになる。
したがって、いくつかの実施形態において、光源、サンプル、カメラ、および/または互いからの各々の間隔に加えて、光拡散器120およびコンデンサレンズ122の数およびタイプは、使用される光の波長にかかわらず、サンプルの光散乱、混合、および均一な照射を促進するように選択される。これは、カラー画像にコンパイルされる(カラービデオ内のカラービデオフレームとして、または独立したカラー画像として使用するかどうかにかかわらず)と、良好なカラーバランスを有するサンプルの正確な再現をもたらす、より均一なモノクロ画像を有益に提供することができる。さらに、それは、均一でカラーバランスの取れたカラービデオの生成に関わるポストプロダクション画像処理の量を削減することができる。
本明細書で使用される場合、画像中の色が元のサンプルの色と同じ一般的な外観を有するように見えるとき、サンプルの画像は、「良好な」カラーバランスを有している。より具体的には、サンプル中のニュートラルな色(例えば、灰色および白色)は、画像が「良好な」カラーバランスを有するときに、再現された画像においてニュートラルに見える。追加的または代替的に、再生された画像内の非ニュートラルな色は、画像が「良好な」カラーバランスを有するときに、元のサンプルにおける色と同じ色(例えば、同じ色相、彩度、および/または明るさ)を有するように見えることができる。
いくつかの実施形態において、サンプル109は、モノクロ画像が捕捉され、カラービデオが生成される間に操作される。例えば、サンプル109は、サンプル109が位置付けられているステージアセンブリ108の1つ以上の寸法での移動によって、その位置に関して操作され得る。ステージアセンブリ108のそのような操作は、ステージアセンブリ108(およびそれに応じて、サンプル109)の、x、yおよびz寸法から選択される1つ以上の寸法における移動を含むことができる。例えば、ステージアセンブリ108は、モノクロ画像の捕捉およびカラービデオの生成中に視野をパンニングする一部として、x寸法およびy寸法の両方で移動することができる。これらの実施形態は、例えば、サンプルを操作すること、例えば、xおよびy寸法の視野をパンニングすること、z寸法のサンプルの位置を調整すること等を行いながら、リアルタイムまたはほぼリアルタイムのカラービデオを可能にする。これらの実施形態は、例えば、サンプルを操作すること、例えば、xおよびy寸法の視野をパンニングすること、z寸法のサンプルの位置を調整すること等を行いながら、リアルタイムまたはほぼリアルタイムのカラービデオを可能にする。ある特定のさらなる実施形態において、サンプルが操作されている間に生成されたリアルタイムまたはほぼリアルタイムのカラービデオは、そのような操作が発生している間、ユーザが、サンプルの操作を継続しながら生成され、表示されたビデオを見続けることを可能にするために、ユーザ表示デバイス112上に表示され、これは、例えば、ユーザが表示されたカラービデオを観察している間に、ユーザに関心のある1つ以上の領域の識別を誘導するのに役立ち得る。
いくつかの実施形態において、サンプル109は、モノクロ画像が捕捉され、カラービデオが生成されている間に、合焦される。例えば、サンプル109は、サンプル109の焦点を調整するために顕微鏡アセンブリ110および/またはステージアセンブリ108の設定を含む、撮像システム102の設定のユーザの調整によって手動で合焦され得る。代替的に、サンプル109は、例えば、コンピューティングデバイス106によって用いられるオートフォーカスソフトウェアによって、自動的に合焦され得る。これらの実施形態は、例えば、サンプル109が手動または自動的に合焦されている間に、リアルタイムまたはほぼリアルタイムのカラービデオを可能にする。ある特定のさらなる実施形態において、サンプルが合焦されている間に生成されるリアルタイムまたはほぼリアルタイムのカラービデオは、そのような合焦が起こっている間にユーザ表示デバイス112上に表示され、これは、例えば、表示されている少なくとも関心のある領域についての最適な焦点の選択を誘導するのに役立ち得る。
いくつかの実施形態において、生成されたビデオは、zスタックビデオを少なくとも部分的に含む。撮像システム102は、一連のzスタック画像を取得するように構成され得、これは、例えば、異なるレベル(例えば、サンプル109の中央、サンプル109の下部、サンプル109の上部)で合焦しながら関心のある領域を示すことができ、または個々に取得された画像よりも大きな被写界深度を有する合成画像の生成を可能にすることができる。そのような実施形態において、そのようなzスタック画像の捕捉の間、撮像システム102は、カラービデオを提供し続けることができる。これらの実施形態は、例えば、zスタック画像が取得される間に、リアルタイムまたはほぼリアルタイムのカラービデオを可能にする。特定のさらなる実施形態では、サンプルが合焦されている間に生成されるリアルタイムまたはほぼリアルタイムのカラービデオは、そのような合焦が起こっている間にユーザ表示デバイス112上に表示され、これは、例えば、zスタック設定(例えば、位置設定、ステップサイズ設定、被写界深度設定、投射方法設定など)の選択を誘導するのに役立ち得る。
いくつかの実施形態において、1つ以上の照射条件が調整されている間に、モノクロ画像が捕捉され、カラービデオが生成される。撮像システム102は、さらにモノクロ画像を捕捉し、カラービデオを生成しながら、様々な照射条件を調整することを可能にすることができる。そのような実施形態で調整され得る照射条件の非限定的な実施例は、1つ以上の照明コンデンサ(例えば、照明コンデンサ111)を調整すること、1つ以上の光拡散器(例えば、光拡散器120)を調整すること、1つ以上の光源の波長を調整すること(例えば、異なる光源を活性化することによって、フィルタホイール上で異なる励起フィルタを使用することによって等)、1つ以上の光源118のうちの1つ以上から光が遮断されるかどうかを調整すること、または光源118のうちの1つ以上から光が明らかにされるかどうかを調整することを含む。これらの実施形態は、例えば、1つ以上の照射条件が調整されている間に、リアルタイムまたはほぼリアルタイムのカラービデオを可能にする。ある特定のさらなる実施形態において、1つ以上の照射条件が調整されている間に生成されるリアルタイムまたはほぼリアルタイムのカラービデオは、そのような調整が起こっている間にユーザ表示デバイス112上に表示され、これは、例えば、表示されている少なくとも関心のある領域の最終的な照射条件の選択を誘導するのに役立ち得る。
図3および図4は、モノクロカメラを使用してカラー画像/ビデオを生成するためのシステムおよび方法で使用するための照明コンデンサ111の例示的な実施形態を示している。図3は、例示的な照明コンデンサ111の組み立てられた斜視図を示しており、図4は、図3の照明コンデンサ111の断面図を示している。
図3および図4の例示的な実施形態では、照明コンデンサ111は、光バレル124の近位端に配置された光アセンブリ116を含んでいる。光バレル124の遠位端は、コンデンサ本体126の近位端に(例えば、示されるようなねじ山によって、または当該技術分野で既知の任意の他の取り付け機構によって)連結されており、コンデンサ本体126は、その中に位相ホイール128を保持し、位相ホイール128が、様々な顕微鏡検査方法に適合するために、複数の位相環状部130のうちのいずれかを光経路内および/または光軸の周りの位置に回転させることを可能にする。位相ホイール128および関連付けられる環状部130は、当該技術分野で既知の使用のために構成され、所望の顕微鏡検査方法に基づいて選択され得る(例えば、位相ホイールは、対物レンズ固有の位相輪を組み込んで位相コントラスト顕微鏡を可能にし得るか、環状部なしで明るい視野顕微鏡を可能にし得る)。図3および図4の照明コンデンサ111はさらに、コンデンサ本体126の遠位端に(例えば、示されるように、ねじ山によって、または当該技術分野で既知の任意の他の取り付け機構によって)連結されるレンズチューブ132を含む。レンズチューブ132は、一対のコンデンサレンズ122a、122bを収容し、かつ保持する。
照明コンデンサ111の光アセンブリ116に関して、光アセンブリ116は、照明コンデンサ111の光軸134の周りに位置付けられ、かつ光バレル124内で光を放出するように選択的に通電されるように構成されている複数の光源118を含む。放出された光は、光バレル124内に配置された3つの光拡散器120a、120b、および120cの各々を通過し、そうすることで、光強度が光経路上で均一化され、適切な色の混合が生じる。示されるように、第1の光拡散器120aは、光源118から第1の距離136離れて、および第2の光拡散器120bから第2の距離138離れて位置付けられている。第1および第2の光拡散器120a、120bは、例えば、スペーサ140を使用して間隔をおいて配置され得る。第1および第2の距離136、138にまたがる空隙は、光の散乱および混合のより多くの機会を可能にすることができ、これは全体的な照射均一性を増加させる。
一実施形態において、光バレル124は、最初に、保持リングを光バレル124の遠位端に固定し、続いて、保持リングに隣接して第3の光拡散器120cを位置決めし、第3の光拡散器120cに隣接して第2の光拡散器120bを位置決めすることによって組み立てられ得る。次いで、スペーサ140は、それが第2の光拡散器120bに当接するまで、または別のやり方では、第2の光拡散器120bを光バレル124内に安定的に固定するまで、光バレル125内でその遠位端に向かってねじ状に前進され得る。第1の光拡散器120aは、その後、スペーサ140に隣接し、かつスペーサ140の第2の光拡散器120bとは反対側上に位置付けられ得る。いくつかの実施形態では、第1の光拡散器120aは、第1の光拡散器120aの近位側上に配置され、かつスペーサ140の反対側にある保持リング(図示せず)によって、光バレル124内に追加的に固定および/または保持される。
図3および図4を引き続き参照すると、非限定的な動作例は、第1の光拡散器120aが光源118から約14mm離れて位置付けられ、第2の光拡散器120bが第1の光拡散器120aから約19mm離れて位置付けられ、および第3の光拡散器120cが第2の光拡散器120bに隣接して位置付けられ、かつ第2の光拡散器120bに接触している状態で直径約32mm×長さ約53mmである、光バレル124を含むことができる。加えて、第1および第2の光拡散器120a、120bは各々、120グリットの拡散器を含むことができ、第3の光拡散器120cは、220グリットの拡散器を含むことができる。この(および他の)実施形態において、光拡散器120a、120b、120cは、グリット面が光源118とは反対側を向くように配向される。この前述の光バレル構成は、一対のコンデンサレンズ122a、122b(例えば、第3の光拡散器120cから80mm以下の間隔で配置されている)で組み立てると、良好な色の混合、強度の均一性、および光チャネル間の最小のピクセルシフトを有益に生み出すことができる。
これらの利点の多くは、他の構成で維持され得る。例えば、光チャネル間の良好な色の混合、強度の均一性、または最小のピクセルシフトのうちの1つ以上は、直径が20~50mm、好ましくは直径が30~40mm、より好ましくは直径が約32~35mmで測定され、かつ長さが10~100mm、長さが30~80mm、または長さが45~55mmのうちのいずれかで測定される光バレル内に維持され得る。一実施形態では、光バレルの長さは、光源が照明コンデンサ内のコンデンサレンズの位置に関してサンプル面にコンジュゲートされない長さに限定される。
加えて、または代替的に、第1の光拡散器120aを光源118および第2の光拡散器120bからそれぞれ間隔を置く第1の距離136および第2の距離138は、上記の非限定的な動作例に示され、かつ提供されるものとは異なる(すなわち、大きいまたは小さい)ことができる。いくつかの実施形態において、第1の距離136および/または第2の距離138が、照明コンデンサの性能に強く影響を与えることなく短縮され得ることが可能である。
さらに、照明コンデンサ111は、3つの光拡散器120a、120b、120cを有するものとして図3および図4に示されているが、いくつかの実施形態において、照明コンデンサは、図3および図4に示されているものよりも多いまたは少ない光拡散器を含むことを理解されたい。とりわけ、光拡散器の数は、色の混合、強度の均一性、ならびに同様の撮像条件を複製するためにチャネルごとに必要とされる駆動電流および光電力の量に影響を与え得る。いくつかの実施形態において、第3の光拡散器の存在は、照明コンデンサの性能に著しく影響を与える。例えば、第3の光拡散器の存在は、良好な色の混合を可能にすることができる。
したがって、光拡散器の数を減少させることは、色の混合および強度の均一性に悪影響を及ぼし得るが、図3および図4の照明コンデンサ111と同様の撮像条件を複製するために必要なチャネルごとの駆動電流および光電力を減少させる。一方で、光拡散器の数を増加させることは、色の混合および強度の均一性によい影響を及ぼし得るが、同様の撮像条件を複製するために必要なチャネルごとの駆動電流および光電力を増加させる。例えば、単一の光拡散器を有する照明コンデンサは、図3および図4の照明コンデンサ111と同様の撮像条件を複製するために、1/10~1/30の駆動電流および光電力を使用し得る。
光が位相ホイールの照明コンデンサおよび環状部(存在する場合)を通過した後、それは一対のコンデンサレンズ122a、122bに方向付けされる。上で考察された光拡散器120a、120bと同様に、コンデンサレンズ122a、122bは、レンズチューブ132と関連付けられ、かつスペーサ142によって距離を置いて位置付けられる。コンデンサレンズ122a、122bは、保持リング144によって、互いに対して定義された位置に追加的に保持され得る。一実施形態において、レンズチューブ132およびコンデンサレンズ122a、122bは、光経路がステージアセンブリ、より具体的には、それと関連付けられたサンプルに合焦するように、照明コンデンサ111内に位置付けられる。
例示的な光アセンブリ
上記で説明され、図5でより詳細に示される光アセンブリ116等の光アセンブリは、カラー画像/ビデオを生成するための開示されるシステムおよび方法で使用される。光アセンブリ116は、シーケンス内で複数の光源の各々に選択的に通電するように構成される。シーケンスは、例えば、各光源が異なる色を含む、RGBの原光色の循環シーケンスとすることができる。図5に示される例示的な実施形態では、複数の光源は、複数のエミッタLEDパッケージ148を含み得、その各色は、LED源として一緒にパッケージ化された別個のエミッタ/半導体ダイである。例えば、LEDパッケージ148は、LEDパッケージの中心の周りに四分円形状で位置付けられた赤色LED源118a、緑色LED源118b、青色LED源118c、および白色LED源118dを含むことができる。非限定的な例として、赤色LED源118aは、617nmの光であり、緑色LED源118bは、530nmの光であり、かつ青色LED源118cは、447.5nmの光である。
一実施形態において、LEDパッケージ148の中心は、照明コンデンサ111の光軸134に対応している。図5で見ることができるように、LEDパッケージ148は、光学軸134の周りに概ね円形のパターンで光源を配設することができる。いくつかの実施形態において、LEDパッケージは、概ね円形パターン(図示せず)の中心に位置付けられている追加の光源を含み得る。例えば、追加の光源は、それが照明コンデンサ111の光軸134に沿って整列するように位置付けられ得る。動作中、RGB LED源の各々は、選択的に通電され、それにより、サンプルが赤色、緑色、または青色光で照射される。RGB LED源が同じ位置から光を放出していないため、結果として生じるモノクロ画像には、RGB光チャネルの各々の間のピクセルシフトが含まれる可能性がある。RGB LED源を光軸の周囲に位置決めすることにより、ピクセルシフトの分布が低減される。RGB LED源から放出される光を光拡散器(例えば、図4の光拡散器120a、120b、および120c)を通して通過させることによって可能になる強度の均一性および色の混合は、異なる角度からサンプルを照射することから生じ得るアーチファクトをさらに防止または減少させることができる。
いくつかの実施形態において、複数の光源は、さらに、撮像されるサンプル内のフルオロフォアに方向付けされた励起光を生成し、そこからフルオロフォア放出光を誘導するように構成されたフルオロフォア励起源を含むことができる。そのような実施形態は、開示されたシステムによって可能にされた色およびモノクロ撮像に加えて、またはそれとは別に、サンプルの蛍光撮像を可能にすることができる。いくつかの実施形態において、蛍光画像は、モノクロ蛍光撮像ビデオを作成するために、またはカラービデオ内の追加の構成要素としてビデオフレームに組み込まれる。例えば、カラービデオは、RGB画像を使用して生成され、背景カラー画像を生成することができ、蛍光ピークは、カラービデオを含む画像内の蛍光物体の位置および/または作用を示す画像上に重ねられ得る。したがって、本明細書に記載のシステムは、追加的に、カラービデオもしくはモノクロビデオの一部として組み込まれるか、または単独のモノクロ蛍光画像/ビデオとして組み込まれるかにかかわらず、蛍光撮像能力を含むことができる。
いくつかの実施形態において、かつ図5に例示されるように、レンズ146は、複数の光源118a、118b、118c、118dにわたって配置され得、これは、光学軸134に沿って光経路を少なくとも部分的に集中させ、分散させるようにエミッタ起点で作用することができ、それによって、異なる角度からサンプルを照射することから生じ得るアーチファクトを減少させるようにも作用する。
図5を引き続き参照すると、光アセンブリ116は、各LED源をコネクタ(図示せず)に電気的に連結するために、当該技術分野で既知の複数の接続点150、152、154、156、158、160、162、164を含む。各LED源は、一対の接続点(1つは正端子に対応し、1つは負端子に対応する)と関連付けられる。例えば、赤色LED源118aは、2つの隣接する接続点150、152と関連付けられ得るが、白色LED源は、2つの他の接続点162、164と関連付けられ得る。図5に例示される接続点の位置および位置決めは、有益に、より良いワイヤ管理、光アセンブリ本体の溝状領域から離れたワイヤの付勢を可能にすることができるが、位置および位置決めは、当該技術分野で既知のように、変化し得る。
重要なことに、いくつかの実施形態において、光アセンブリ116のLED源は、電気スイッチの一部を形成する。例えば、接続点で終端するワイヤは、シーケンス内でLED源に選択的に通電するように構成されたコントローラと反対側の端で(例えば、直接的に、またはコネクタを介して)連結され得る。これにより、LED源が制御された様式で個別にかつ迅速に通電されることが可能になり、いくつかの実施形態において、コントローラがLED源に選択的に通電することはまた、選択的に通電されたLED源によるサンプル照射と同期して画像データを捕捉するようにモノクロカメラを制御または指示することである。
前述を示す例示的な配線/通信図166が、図6に示されている。図166は、光アセンブリ116(例えば、関連付けられるLED電子基板を介する)と、モノクロカメラ114と、コンピューティングデバイス106との間の配線を示している。図166は、光アセンブリ116とカメラ114との間に接続された3つのワイヤを示している。これらのワイヤは、例えば、カメラの汎用入出力(GPIO)接続を利用することができる。ライン1は、フレーム露光時の高レベルを示すカメラ114からの出力である。各フレーム露光が完了すると、高から低へのシグナル移行が発生し、光アセンブリ116が、所定のシーケンス(例えば、RGB、RBG、GRB、GBR、BGR、またはBRGのうちの1つまたは組み合わせを含むトリプレット環状シーケンス)内で次のカラーLED源に移行するように信号を送る。シーケンスは、例えば、赤色から緑色に青色に進み、カメラが連続的かつ/または同期的に画像を捕捉し、ライン1を通して光アセンブリ116に信号を送るときに繰り返され得る。
例示的な配線/通信図166において、ライン2および3は、通電されている電流LED源または単に照射に使用されている光の色を示す、光アセンブリ116からの出力を表している。一実施形態において、これらの値は、カラービデオ表示中に、それぞれ赤色、緑色、および青色を示すために、1(01)、2(10)、および3(11)のバイナリ値間で移行することができる。モノクロビデオおよび画像捕捉中、ライン2および3は、バイナリ0(00)であり得る。カラー情報、および任意選択で、画像が捕捉されたときに通電されるLED源と関連付けられたタイムスタンプまたは他の時間関連情報は、カメラ114内の取得された画像と関連付けられ得、この情報は、カメラ114から(例えば、USB接続を介して)コンピューティングデバイス106に画像データ自体とともに送信される。代替的に、タイムスタンプは、それがコンピューティングデバイス106によって受信されたときに基づいて、各取得された画像と関連付けられ得る。色は、それが受信されたときに基づいて各画像と関連付けられ得、あるいは、色は、光源照射シーケンスに基づいて画像が捕捉されたときにどの光源が照射されたかのバック計算に基づいて、受信された画像ごとに決定され得る。コンピューティングデバイス106に記憶されるソフトウェア等のコンピュータ実行可能命令は、色情報にアクセスして、受信した特定のモノクロ画像の照射条件を決定する。
代替的に、コンピューティングデバイス106は、モノクロカメラ114に照会して、現在のGPIOライン値を決定する(それによって画像カラーを決定する)か、または光アセンブリ116と通信して、現在のLED源照射カラーを決定することができる。しかしながら、これらの方法は、タイミングエラーを引き起こしやすく、これは、カメラ114から取得されている現在の画像の照射カラーの誤識別を引き起こす可能性がある。少なくともこの理由により、LEDカラー照射情報を画像データ自体内に埋め込む前者の方法が、好ましくあり得る。
上記に提供されるように、光アセンブリ(例えば、図5の光アセンブリ116)は、照明コンデンサの光軸の周りに位置付けられ、かつ光バレル内で光を放出するように選択的に通電されるように構成された複数の光源を含むことができる。いくつかの実施形態において、光源に選択的に通電することは、複数の光源の各々から生じる光を選択的に遮断し、露出することを含む。例えば、光アセンブリは、追加的に、複数の光源に近接し、複数の光源の各々から生じる光を選択的に遮断し、明らかにするように構成されたディスクを含むことができる。
一実施形態において、ディスクは、それが残りの光源を遮断しながら単一の光源を明らかにするように、光源に対して位置付けられた開口部を画定する。光軸を中心にディスクを回転させると、他の光源が明らかになり、以前に明らかになった光源が遮断され得る。そのような例示的な実施形態において、複数の光源は、サイクリングオンおよびオフとは対照的に通電状態にとどまることができ、開口部の回転は、個々の光源がサンプルを照らすことを可能にするように作用することができる。さらに、回転ディスクは、複数の光源の各々がサンプルを照射するときに、モノクロカメラでの画像の捕捉とともに複数の光源の各々の露出を調整するために、(例えば、上述のコンピューティングデバイス106に類似した)コンピューティングデバイスによって制御され得る。
モノクロ画像からのカラービデオの生成
カラー画像/ビデオを生成するように構成された撮像システムの動作中(または必要な画像データを取得および記憶した後)、モノクロ画像は、(上記のように)LED源照射情報とともに受信される。カラー画像は、赤色、緑色、および青色のモノクロ画像の各々から赤色、緑色、および青色のピクセルデータをコンパイルすることによって、コンピューティングデバイス106によって作成される。結果として生じるカラー画像内の各ピクセルは、赤色、緑色、および青色のモノクロ画像内の同じピクセル位置からのピクセルデータを含む。個々の赤色、緑色、および青色の値(または一般的に赤色、緑色、および青色のモノクロ画像)の強度を調整して、良好なカラーバランスを有するカラー画像を作成することができる。追加の後処理は、モノクロ画像内のピクセルシフトを補正するために実装され得、それによって、赤色、緑色、および青色のモノクロ画像内のピクセルデータが、サンプルの所与のピクセル領域が、コンパイルプロセスから生じるカラー画像内で正確に表されるようにコンパイルされることを確実にする。
一実施形態において、各LED源は、同じ強度で、同じ期間通電され、モノクロカメラは、各色について同じ露光時間を使用して、モノクロ画像を同期的に捕捉するように構成されている。しかしながら、LED源の強度、LED源が通電される期間、およびモノクロカメラの露光時間の各々は、所望の結果に調整され得る。これは、例えば、定義され、かつ潜在的に異なる時間量にわたって各光源に通電することによって、または光源を選択的に明らかにする開口部を有する回転ディスクの場合には、各光源について所望の露光時間に従って、各光源と一致する開口部を回転させることによって達成され得る。一例において、所望の結果は、良好なカラーバランスを有するカラー画像である。連続的なカラー画像をカラービデオに組み合わせる場合、モノクロ画像の取り込み速度を最大化して、ビデオフレーム間の潜在的なラグを低減することが有利であり得る。したがって、いくつかの例では、各色の露光時間を最小限に抑えることが有益であり得る。LED源の強度に対する個々の調整(例えば、赤色、緑色、および青色のLED源の強度を差分的かつ具体的に増加させる)は、結果として生じるカラー画像が良好なカラーバランスを保持することを可能にすることができる。
図7Aは、赤色、緑色、および青色のモノクロ画像の画像ストリーム170からカラービデオフレームのシーケンス172を生成するための1つのパラダイム168を示している。画像ストリーム170内の各モノクロ画像は、画像取得中に使用されるLED源の色に対応する文字(すなわち、赤色については「R」、緑色については「G」、青色については「B」)として表されている。画像ストリーム170によって示されるように、LED源を環状RGBシーケンスで選択的に通電させ、「RGBRGBRGBR…」の画像ストリームを生成した。上述のように、他のシーケンスが使用され得るか、または色のうちの1つが異なる周波数(例えば、RGBRGRGB…、RGBGBRGB…、RGBRBRGB…、RGRBRGRB…、RGBGRGBG…、RBGBRBGB…、または同様のもの)で表され得ることを理解されたい。
図7Aに示されるように、カラービデオフレームのシーケンス172内の第1のカラービデオフレームは、各構成要素カラーR、G、およびBの第1の実例のコンパイルを含む。第2のカラービデオフレームは、より新しい赤色のモノクロ画像を有する第1のカラービデオフレームからの緑色および青色のモノクロ画像のコンパイルである「GBR」である。第3のカラービデオフレームは、「BRG」であり、これは、第1のカラービデオフレームからの青色モノクロ画像、第2のビデオフレームからの赤色モノクロ画像、およびより新しい緑色モノクロ画像のコンパイルである。このパラダイム168は、(例えば、各画像と関連付けられたタイムスタンプによって決定されるように)3つの最も新しい構成要素画像のコンパイルとして汎用化され得る。連続的な各モノクロ画像が受信されると、それは、受信したモノクロ画像の色に対応していない2つの最も新しい構成要素のモノクロ画像でコンパイルされる。図7Aから推定される一般的な例として、第1のビデオフレームは、光シーケンスの第1の段階に対応する第1のモノクロ画像、光シーケンスの第2の段階に対応する第2のモノクロ画像、および光シーケンスの第3の段階に対応する第3のモノクロ画像からコンパイルされ得る。光シーケンスの繰り返される第1の段階に対応する第4のモノクロ画像を、第2および第3の画像とコンパイルして、第2のビデオフレームを生成することができる。同様に、光シーケンスの繰り返される第2の段階に対応する第5のモノクロ画像を、第3および第4のモノクロ画像とコンパイルして、第3ビデオフレームを生成することができ、光シーケンスの繰り返される第3の段階に対応する第6のモノクロ画像を、第4および第5のモノクロ画像とコンパイルして、第4のビデオフレームを生成することができる。
いくつかの実施形態において、画像ストリーム170において受信されたカラー画像は、各画像と関連付けられたタイムスタンプに基づいて(すなわち、時系列的に)、モノクロカメラによって受信された順序で、または受信された各画像と関連付けられた色を識別し、定義されたシーケンス(例えば、RGBRGBRGB…)を有するその所与の色についての次の利用可能な位置内に画像を配置することによって、順序付けされ得る。後者は、タイミングエラーまたは複数の画像の重複受信に基づいて、構成要素カラーの予め定義されたシーケンス内にカラー画像を誤って配置することを防止することができる。
図7Aのパラダイム168は、最小限のラグを伴う高忠実度の応答性カラービデオを提供することができる。第1のカラービデオフレームが生成されるとき、カラービデオのフレームレートは、モノクロ画像の捕捉速度に等しい。しかしながら、このパラダイム168は、他のカラービデオ生成パラダイムよりも計算コストが高くなる可能性がある。
図7Bは、赤色、緑色、および青色のモノクロ画像の画像ストリーム170からカラービデオフレームのシーケンス176を生成するための別のパラダイム174を示している。示されるように、カラービデオフレームのシーケンス176内の第1のカラービデオフレームは、各構成要素カラーR、G、およびBの第1の実例のコンパイルを含む。第2のカラービデオフレームは、より新しい赤色および緑色のモノクロ画像を有する第1のカラービデオフレームからの青色のモノクロ画像のコンパイルである「BRG」である。第3のカラービデオフレームは、「GBR」であり、これは、第2のカラービデオフレームからの緑色のモノクロ画像と、より新しい青色および赤色のモノクロ画像のコンパイルである。このパラダイム174は、少なくとも2つのモノクロ画像を少なくとも1つの他の合成カラー画像と共有する合成カラー画像のコンパイルとして、またはより具体的には、最も古い構成要素カラー画像と、2つの最も新しい構成要素画像のコンパイルとして汎用化され得る。
一般的な意味で、パラダイム174は、モノクロ画像データを共有する合成画像を使用して、カラービデオフレームシーケンスをコンパイルすることを可能にする。例えば、第1および第2のビデオフレームは、同じ2つのモノクロ画像を共有するが、残りのモノクロ画像に関して異なる合成画像を含むことができる。より詳細な実施例として、第1および第2のビデオフレーム(必ずしも時系列順になる必要はない)は、同じ青色および緑色のモノクロ画像を共有するが、各々が異なる赤色のモノクロ画像を使用して作られる合成画像を含むことができる。
図7Bのパラダイム174は、図7Aのパラダイム168の下で生成されるカラービデオよりもわずかに多くのラグを有する応答性の低いカラービデオを提供することができる。第1のカラービデオフレームが生成されるとき、カラービデオのフレームレートは、モノクロ画像の捕捉速度の2倍に等しい。しかしながら、このパラダイム174は、図7Aのパラダイム168よりも計算コストが安くなり得る。
図7Cは、赤色、緑色、および青色のモノクロ画像の画像ストリーム170からカラービデオフレームのシーケンス180を生成するための別のパラダイム178を示している。示されるように、カラービデオフレームのシーケンス176内の第1のカラービデオフレームは、各構成要素カラーR、G、およびBの第1の実例のコンパイルを含む。各連続的なカラービデオフレームは、同様に「RGB」であり、これは、前のカラービデオフレーム内で表現されているモノクロ画像を使用せずに、最も新しい赤色、緑色、および青色のモノクロ画像のコンパイルである。このパラダイム174は、ユニークなトリプレットRGB画像のコンパイルとして汎用化され得る。
図7Cのパラダイム174は、図7Aおよび図7Bの前のパラダイム168、174の下で生成されたカラービデオよりも多くのラグを有する応答性の低いカラービデオを提供する。カラービデオのフレームレートは、モノクロ画像の捕捉速度の3倍に等しい。
カラーカメラは、各ピクセルが所与のピクセル位置で単色の強度情報のみを受信することを確実にするためのベイヤーフィルタを含む。カラー画像を作成するためには、各ピクセルの位置に対して3色全ての情報が必要であるため、デモザイク処理を使用して、各ピクセルで欠落したカラー情報が補間される。このプロセスは、色の急激な変化が生じる、またはサンプル中に存在する鋭いエッジに沿った画像アーチファクトをもたらす。
図7A~図7Cに概説されるカラー画像生成から生じる画像は、これらのアーチファクトの影響を受けることなく、動いていないサンプルのビデオおよび捕捉された画像について、よりよい画質をもたらす。動いているサンプルについては、個々の画像色構成要素情報が時間的により新しく、したがって、画像内の他の2つの構成要素色に対して新しい位置にあることによって引き起こされるサンプル移動中に、いくつかのカラーバンディングアーチファクトが発生し得る。これらのアーチファクトは、各構成要素画像は常にわずかに異なる時間で取得されるため、カラー画像の生成に含まれる新しい画像の数を変更することによって補正することができない可能性が高い。
いくつかの実施形態において、カラーバンディングアーチファクトは、高いカメラフレームレートを維持することによって軽減され得、これは、フレーム間の時間差を小さく(したがって、移動差を小さく)維持する。いくつかの実施形態において、カラーバンディングは、サンプルを静止させることによって排除することができるか、または画像処理技術を使用して緩和することができる。そのような画像処理技術の1つでは、ビデオ内の各フレームの基礎となるオフセットを決定し、カラービデオフレームを構成する際に各カラー画像構成要素に対して補正オフセットを適用することができる。これは、例えば、カラービデオ内の各ビデオフレームの垂直方向および/または水平方向のオフセットを決定することと、影響を受けるビデオフレームを含む各モノクロ画像の全体またはその一部に垂直方向および/または水平方向のピクセル位置を調整することによって、垂直方向および/または水平方向のオフセットを補正することと、を含むことができる。これらのような補正は、特に、より遅いビデオフレームレートを有する実施形態(例えば、図7Cに示され、考察されたような)内で、ラグを低減または改善する上で有益であり得る。
結果として生じるカラー画像フレームをもたらすいくつかの色は、カラーカメラを使用する場合と比較して、それほど明確に区別できない場合がある。例えば、赤対オレンジ、および青対バイオレットは、ベイヤーフィルタを使用してカラーカメラから生成される画像と比較して、区別できない傾向がある。RGB LED照明下で同様に見える色を区別することを助けるために、追加のLED色を使用して、RGB色情報を補完することもできる。
本明細書に開示されるシステムおよび方法は、有益に、モノクロビデオの動的生成を可能にする。例えば、ユーザ要求に応答して、カラービデオ生成(および表示)は、単一のLED源に通電し、その色と関連付けられた露光率と同等のモノクロカメラで画像を捕捉することによって、モノクロビデオ生成(および表示)に切り替えることができる。モノクロビデオフレームは、その後に受信した各モノクロ画像を使用してコンパイルされる。カラービデオは、要求に応じて再開することができる。カラービデオの要求を受信すると、光アセンブリは、選択的に、シーケンス内で光源の通電を再開する。第1のカラービデオフレームは、1つの構成要素として、モノクロビデオ内で撮影された最後のモノクロ画像を含み、上で考察された例、またはその変形例に従ってカラービデオフレームをコンパイルすることができる。
本明細書の様々な実施形態に関して説明された特徴は、任意の所望の組み合わせで混合および一致され得ることを理解されたい。加えて、本明細書に開示または想定される概念は、他の特定の形態で具現化され得る。説明される実施形態は、あらゆる点において単に例示的であり、限定的ではないと見なされるべきである。したがって、その範囲は、前述の説明ではなく、添付の特許請求の範囲によって示される。特許請求の範囲の意味および同等性の範囲内に入る全ての変更は、それらの範囲内に包含されるべきである。

Claims (33)

  1. モノクロカメラでモノクロ及びカラービデオを生成するための方法であって、
    モノクロカメラにおいて補足されたコンパイルしたモノクロ画像から複数の色成分を含むカラービデオを生成することであって、該カラービデオを生成することには、
    シーケンスで複数の光源の各々に選択的に通電することであって、前記シーケンスが、一連の段階を有し、前記シーケンスの各段階が、1つ以上の光源からの異なる波長の光の活性化に対応して、サンプルを照射する、ことと、
    前記シーケンスの各段階で、前記モノクロカメラで、前記照射されたサンプルのモノクロ画像を捕捉することと、
    複数のモノクロ画像を、前記カラービデオを含む一連のカラービデオフレームにコンパイルすることと、が含まれる、前記カラービデオを生成することと、
    前記サンプルのモノクロビデオの要求を受信することと、
    前記要求を受信することに応答して、前記モノクロカメラで補足されたコンパイルしたモノクロ画像から、モノクロビデオを生成することと、を含み、
    前記モノクロビデオを生成することは、システムに、単一の光源を用いて前記モノクロカメラで補足した複数のモノクロ画像を、前記モノクロビデオを含む一連のモノクロビデオフレームにコンパイルさせ、前記単一の光源は、前記シーケンス内で活性化された前記複数の光源のうちの1つから選択され、
    前記カラービデオを生成することは、
    第1のビデオフレームをコンパイルすることであって、前記第1のビデオフレームの合成カラー画像が、前記シーケンスの第1のサイクルにおける第1の波長の光と関連付けられた第1のモノクロ画像と、前記シーケンスの前記第1のサイクルにおける第2の波長の光と関連付けられた第2のモノクロ画像と、前記シーケンスの前記第1のサイクルにおける第3の波長の光と関連付けられた第3のモノクロ画像と、を含む、ことと、
    第2のビデオフレームをコンパイルすることであって、前記第2のビデオフレームが、前記第1のビデオフレームの後に時系列的に存在し、前記第2のビデオフレームの合成カラー画像が、前記第3のモノクロ画像、前記シーケンスの第2のサイクルにおける第1の波長の光と関連付けられた第4のモノクロ画像、および前記シーケンスの第2のサイクルにおける第2の波長の光と関連付けられた第5のモノクロ画像を含む、ことと、を含む、
    方法。
  2. 前記シーケンスの各段階における対応する異なる波長の光に基づいて、前記モノクロ画像に色を割り当てることをさらに含む、請求項1に記載の方法。
  3. 前記シーケンス内で前記複数の光源の各々に選択的に通電することが、所定の期間、前記複数の光源の各々に通電することを含む、請求項1または2に記載の方法。
  4. 前記所定の期間が、前記シーケンスの少なくとも2つの段階について同じ期間である、請求項3に記載の方法。
  5. 前記所定の期間が、前記シーケンスの少なくとも2つの段階について異なる期間であり、前記少なくとも2つの段階が、同じ強度で選択的に通電された1つ以上の対応する光源を有する、請求項3に記載の方法。
  6. 前記シーケンス内で前記複数の光源の各々に選択的に通電することが、所定の強度で前記複数の光源の各々に通電することを含む、請求項1または2に記載の方法。
  7. 前記所定の強度が、前記複数の光源の各々について異なる、請求項6に記載の方法。
  8. 前記カラービデオのカラーバランスを調整することをさらに含む、請求項6または7に記載の方法。
  9. 前記カラービデオのカラーバランスを調整することが、前記複数の光源のうちの1つ以上について、自動的にまたは手動で前記所定の強度を調整することを含む、請求項8に記載の方法。
  10. 前記カラービデオのカラーバランスを調整することが、白色サンプルの前記カラービデオが白色に見えるまで、赤色チャネル、緑色チャネル、または青色チャネルのうちの1つ以上を、自動的にまたは手動で調整することを含む、請求項8に記載の方法。
  11. 前記カラービデオのカラーバランスを調整することは、前記複数の光源のうちの1つ以上が前記シーケンス内で選択的に通電される所定の強度を、自動的にまたは手動で調整することを含む、請求項8に記載の方法。
  12. 前記シーケンス内で前記複数の光源の各々に選択的に通電することが、前記複数の光源の各々から生じる光を選択的に遮断し、露出することを含む、請求項1~11のいずれか1項に記載の方法。
  13. 前記シーケンスが、繰り返される環状シーケンスを含む、請求項1~12のいずれか1項に記載の方法。
  14. 前記カラービデオを生成することが、ビデオフレームのシーケンスをコンパイルすることを含み、各ビデオフレームは、
    前記シーケンスの第1の段階で捕捉された第1のモノクロ画像であって、前記第1の段階が、第1の波長の光と関連付けられている、第1のモノクロ画像と、
    前記シーケンスの第2の段階で捕捉された第2のモノクロ画像であって、前記第2の段階が、第2の波長の光と関連付けられている、第2のモノクロ画像と、
    前記シーケンスの第3の段階で捕捉された第3のモノクロ画像であって、前記第3の段階が、第3の波長の光と関連付けられている、第3のモノクロ画像と、の合成カラー画像を含む、請求項1~13のいずれか1項に記載の方法。
  15. 前記第1、第2、および第3の波長の光が、赤色光、緑色光、および青色光から選択される異なる波長の光を含む、請求項14に記載の方法。
  16. 各モノクロ画像が、タイムスタンプを含む、請求項14または15に記載の方法。
  17. 前記ビデオフレームのシーケンスをコンパイルすることが、前記ビデオフレームのシーケンス内に最も新しいビデオフレームを生成することを含み、前記最も新しいビデオフレームが、最も新しいタイムスタンプを有する第1、第2、および第3のモノクロ画像を含む、請求項16に記載の方法。
  18. 前記シーケンスの前記第1のサイクルにおける前記第1及び第2の波長の光が、前記シーケンスの前記第2のサイクルにおける前記第1及び第2の波長の光と同じ第1及び第2の波長の光である、請求項1に記載の方法。
  19. 前記カラービデオを生成することが、追加的に、第3のビデオフレームをコンパイルすることを含み、前記第3のビデオフレームが、前記第2のビデオフレームの後に時系列的に存在し、前記第3のビデオフレームの合成カラー画像が、前記第5のモノクロ画像、前記シーケンスの第3のサイクルにおける第1の波長の光と関連付けられた第6のモノクロ画像、および前記シーケンスの前記第3のサイクルにおける第2の波長の光と関連付けられた第7のモノクロ画像を含む、請求項18に記載の方法。
  20. 前記シーケンスの前記第1のサイクルにおける前記第1及び第2の波長の光が、前記シーケンスの前記第3のサイクルにおける前記第1及び第2の波長の光と同じ第1及び第2の波長の光である、請求項19に記載の方法。
  21. 前記モノクロ画像から前記カラービデオを生成することが、前記カラービデオにおける各ビデオフレームの基礎となるオフセットを決定することと、各カラービデオフレームをコンパイルするときに、各モノクロ画像ごとに補正オフセットを適用することと、を含む、請求項1~20のいずれか1項に記載の方法。
  22. 前記基礎となるオフセットを決定することが、前記カラービデオにおける各ビデオフレームの垂直方向および/または水平方向のオフセット量のうちの1つ以上を決定することを含む、請求項21に記載の方法。
  23. 選択されたモノクロ画像を、前記カラービデオから分離および表示することをさらに含む、請求項1~22のいずれか1項に記載の方法。
  24. 前記カラービデオが、ほぼリアルタイムのカラービデオである、請求項1に記載の方法。
  25. 前記ほぼリアルタイムのカラービデオが、タイムラグを有し、前記タイムラグが、5秒未満である、請求項24に記載の方法。
  26. 前記タイムラグが、0.5秒未満である、請求項25に記載の方法。
  27. 前記カラービデオが、リアルタイムのカラービデオである、請求項1に記載の方法。
  28. 前記リアルタイムのカラービデオが、顕著なタイムラグを有していない、請求項27に記載の方法。
  29. 前記リアルタイムのカラービデオが、画像データの視覚的損失を含まない、請求項27に記載の方法。
  30. 前記画像データの視覚的損失が、カラーバンディングアーチファクトを含む、請求項29に記載の方法。
  31. 前記画像データの視覚的損失が、カラーバランスの欠如を含む、請求項29に記載の方法。
  32. 前記カラービデオが、毎秒少なくとも6フレームのフレームレートを有する、請求項1に記載の方法。
  33. 前記カラービデオが、毎秒少なくとも24フレームのフレームレートを有する、請求項32に記載の方法。
JP2024029662A 2018-04-12 2024-02-29 モノクロセンサでカラービデオを生成するための装置、システム、および方法 Pending JP2024051137A (ja)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201862656720P 2018-04-12 2018-04-12
US62/656,720 2018-04-12
US201862701419P 2018-07-20 2018-07-20
US62/701,419 2018-07-20
JP2020555800A JP2021521478A (ja) 2018-04-12 2019-04-11 モノクロセンサでカラービデオを生成するための装置、システム、および方法
PCT/US2019/027013 WO2019200116A1 (en) 2018-04-12 2019-04-11 Apparatuses, systems and methods for generating color video with a monochrome sensor

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2020555800A Division JP2021521478A (ja) 2018-04-12 2019-04-11 モノクロセンサでカラービデオを生成するための装置、システム、および方法

Publications (1)

Publication Number Publication Date
JP2024051137A true JP2024051137A (ja) 2024-04-10

Family

ID=66248881

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2020555800A Pending JP2021521478A (ja) 2018-04-12 2019-04-11 モノクロセンサでカラービデオを生成するための装置、システム、および方法
JP2024029662A Pending JP2024051137A (ja) 2018-04-12 2024-02-29 モノクロセンサでカラービデオを生成するための装置、システム、および方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2020555800A Pending JP2021521478A (ja) 2018-04-12 2019-04-11 モノクロセンサでカラービデオを生成するための装置、システム、および方法

Country Status (5)

Country Link
US (4) US10831015B2 (ja)
EP (1) EP3776055A1 (ja)
JP (2) JP2021521478A (ja)
CN (2) CN117979180A (ja)
WO (1) WO2019200116A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021521478A (ja) * 2018-04-12 2021-08-26 ライフ テクノロジーズ コーポレーション モノクロセンサでカラービデオを生成するための装置、システム、および方法
CN114788258B (zh) * 2019-12-20 2024-07-05 索尼集团公司 成像设备、信息处理方法和程序
JP7454417B2 (ja) * 2020-03-18 2024-03-22 ソニー・オリンパスメディカルソリューションズ株式会社 医療用制御装置及び医療用観察システム
EP4006613A1 (en) 2020-11-25 2022-06-01 PreciPoint GmbH Digital microscope and method of operating a digital microscope
CN115802183B (zh) * 2021-09-10 2023-10-20 荣耀终端有限公司 图像处理方法及其相关设备
DK202300246A1 (en) * 2023-03-20 2024-10-15 Exseed Health Aps An automated digital microscope system and method for testing a biological sample

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61269481A (ja) * 1985-05-23 1986-11-28 Toshiba Corp カラ−撮像装置
JP2836158B2 (ja) * 1990-01-31 1998-12-14 富士写真光機株式会社 スチル画像撮影装置
JP2964715B2 (ja) * 1991-07-01 1999-10-18 富士写真光機株式会社 電子内視鏡システム
US5332968A (en) * 1992-04-21 1994-07-26 University Of South Florida Magnetic resonance imaging color composites
JP3228621B2 (ja) * 1993-12-17 2001-11-12 オリンパス光学工業株式会社 電子内視鏡装置
WO1998037811A1 (en) * 1997-02-28 1998-09-03 Electro-Optical Sciences, Inc. Systems and methods for the multispectral imaging and characterization of skin tissue
US6956373B1 (en) * 2002-01-02 2005-10-18 Hugh Keith Brown Opposed orthogonal fusion system and method for generating color segmented MRI voxel matrices
US20040102903A1 (en) * 2002-11-27 2004-05-27 Graessle Josef A. Biological growth plate scanner
JP2005315574A (ja) * 2004-04-26 2005-11-10 Crie Inc 電子カメラ
JP4746311B2 (ja) * 2004-12-08 2011-08-10 大倉インダストリー株式会社 カラーレーザ顕微鏡
US20060226231A1 (en) * 2005-03-29 2006-10-12 University Of Washington Methods and systems for creating sequential color images
KR20080097218A (ko) * 2006-02-10 2008-11-04 모노젠, 인크. 현미경 매체기반 시료로부터 디지털 이미지데이터를 수집하기 위한 방법 및 장치와 컴퓨터 프로그램 제품
US8810651B2 (en) 2007-09-26 2014-08-19 Honeywell International, Inc Pseudo-color covert night vision security digital camera system
WO2010132990A1 (en) * 2009-05-22 2010-11-25 British Columbia Cancer Agency Branch Selective excitation light fluorescence imaging methods and apparatus
US20110184239A1 (en) * 2009-12-22 2011-07-28 Integrated Endoscopy, Inc. Methods and systems for disabling an endoscope after use
US20120013726A1 (en) * 2010-07-16 2012-01-19 Thorburn Stanley B Microscope Illumination Source
JP5677864B2 (ja) * 2011-01-17 2015-02-25 オリンパス株式会社 顕微鏡用撮像装置および顕微鏡観察方法
EP3764083A1 (en) * 2013-03-12 2021-01-13 Ventana Medical Systems, Inc. Digitally enhanced microscopy for multiplexed histology
CN106461540B (zh) * 2014-05-12 2020-02-14 赛洛米克斯股份有限公司 发色团标记样本的自动成像的系统和方法
DE102014224554B4 (de) * 2014-12-01 2018-11-22 Olympus Soft Imaging Solutions Gmbh Verfahren und System zum Erzeugen von digitalen Farbbildern oder Videosequenzen
JP6654038B2 (ja) * 2015-12-22 2020-02-26 富士フイルム株式会社 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
JP2016184948A (ja) * 2016-05-26 2016-10-20 パイオニア株式会社 撮像装置、内視鏡装置および撮像装置の制御方法
US10983325B2 (en) * 2016-12-12 2021-04-20 Molecular Devices, Llc Trans-illumination imaging with an array of light sources
US10706258B2 (en) * 2017-02-22 2020-07-07 University Of Connecticut Systems and methods for cell identification using lens-less imaging
JP2021521478A (ja) * 2018-04-12 2021-08-26 ライフ テクノロジーズ コーポレーション モノクロセンサでカラービデオを生成するための装置、システム、および方法

Also Published As

Publication number Publication date
US20220334372A1 (en) 2022-10-20
CN112005153B (zh) 2024-03-01
US20190361216A1 (en) 2019-11-28
US10831015B2 (en) 2020-11-10
CN117979180A (zh) 2024-05-03
US20240272417A1 (en) 2024-08-15
EP3776055A1 (en) 2021-02-17
CN112005153A (zh) 2020-11-27
US11340442B2 (en) 2022-05-24
JP2021521478A (ja) 2021-08-26
US20210011273A1 (en) 2021-01-14
WO2019200116A1 (en) 2019-10-17
US11906724B2 (en) 2024-02-20

Similar Documents

Publication Publication Date Title
JP2024051137A (ja) モノクロセンサでカラービデオを生成するための装置、システム、および方法
US11330237B2 (en) Medical inspection apparatus, such as a microscope or endoscope using pseudocolors
JP6066595B2 (ja) 眼底画像の画像処理装置、眼底画像の画像処理方法、及びプログラム
DE102014226941A1 (de) Vergrößernde Beobachtungsvorrichtung, vergrößerndes Bildbeobachtungsverfahren und computer-lesbares Aufzeichnungsmedium
JP2021193459A (ja) 二重光学経路および単一撮像センサを使用した低解像度スライド撮像、スライドラベル撮像および高解像度スライド撮像
US10883940B2 (en) Fluctuation-based fluorescence microscopy
JP2009025189A (ja) 計測器
US6590612B1 (en) Optical system and method for composing color images from chromatically non-compensated optics
CN119547423A (zh) 使用依赖位置的色彩转换函数的用于医学观察装置的图像处理器和计算机实现的方法
US7589330B2 (en) Ultraviolet microscope apparatus
JP6968357B2 (ja) 画像取得方法および画像取得装置
CN118112776A (zh) 一种多模态计算光学显微镜的图像采集与图像可视化方法
JP2014026233A (ja) 撮像システム
US11899276B2 (en) Imaging apparatus, information processing method, program, and interchangeable lens
JP6975418B2 (ja) 領域判定方法
US20230016712A1 (en) Imaging device, information processing method, and program
EP1169662A1 (en) A chromatically uncompensated optical system for composing colour images
EP4307026A1 (en) Digital microscope and method of generating a full overview image of a sample in a digital microscope
JPH08146302A (ja) 顕微鏡システム
JP2016224368A (ja) 撮像装置、及び、撮像システム
JP2009031726A (ja) 紫外線顕微鏡装置
JP2006030280A (ja) 顕微鏡用照明装置、方法およびコンピュータプログラム
JP2008224364A (ja) 位相情報検出方法及び位相情報検出装置
JP2012049867A (ja) 画像処理装置および方法、アスベスト観察装置、並びに、プログラム
JPH1055428A (ja) 画像読み取り装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240329